Ko Tao, inizialmente disabitata, era utilizzata come approdo da pescatori della zona e rifugio da alcuni pirati che infestavano il Golfo del Siam. Il 18 giugno 1899, Sua Maestà il re Chulalongkorn (Rama V, 1853-1910) visitò Ko Tao e lasciò come prova del suo passaggio il suo monogramma su un enorme masso a Jor Por Ror Bay accanto a Sairee Beach. Questo luogo è ancora oggi venerato e trattato con rispetto.

Dal 1933 l'isola fu utilizzata come carcere politico, vista la distanza considerevole dalla terraferma, fino al 1947, quando il primo ministro dell'epoca, Khuang Aphaiwong, chiese ed ottenne l'amnistia reale per tutti i detenuti dell'isola. Da allora Ko Tao venne abitata liberamente da alcuni cittadini della vicina Ko Pha Ngan che iniziarono a coltivare la sua terra fertile, vivendo inoltre di pesca e raccogliendo noci di cocco. Lentamente ma costantemente la popolazione dell'isola crebbe, nonostante le difficoltà a raggiungerla. Tra la fine degli anni ottanta e l'inizio degli anni novanta del secolo scorso, i saccopelisti cominciarono ad arrivare dalla più famosa e frequentata isola di Ko Pha Ngan, trasformando progressivamente la tranquilla Ko Tao nell'attuale attrazione turistica e sportiva.