Ймовірно, місто було засноване під назвою Тсогха за часів правління царів Хим'ярського царства, як пункт і торговий центр на караванному шляху від узбережжя Аравійського моря в Сану. Перша письмова згадка про місто датується X століттям.

Протягом більшої частини своєї історії Ібб розташовувався на караванному шляху з Адена в Сану.