Le origini di Castelmezzano sono datate circa tra il VI ed il V secolo a.C., quando dei coloni greci penetrarono nella valle del Basento e fondarono un centro abitato chiamato Maudoro, cioè mondo d'oro. Nel X secolo d.C., le invasioni saracene costrinsero la popolazione locale a trovare una nuova stabilizzazione. Si narra che, durante l'esodo, un pastore chiamato Paolino scoprì un luogo adatto per trasferirsi, formato da rocce ripide dalle cui cime si potevano respingere gli invasori facendo rotolare massi di pietra.

Dopo l'occupazione longobarda, vi si insediarono i Normanni tra il XI ed il XIII secolo d.C. e vi costruirono un castello, di cui sono ancora visibili i resti delle mura e la gradinata scavata nella roccia che consentiva l'accesso al punto di vedetta più alto. Fu proprio dal nome del castello, ovvero Castrum Medianum (castello di mezzo) che derivò quello della cittadina, denominato così per via della sua posizione tra quelli di Pietrapertosa e di Brindisi Montagna. Con i Normanni Castelmezzano visse un periodo di pace e di sviluppo, mentre con gli Angioini conobbe un forte declino. Nel 1310, il comune venne affidato alla Diocesi di Potenza e nel 1324 a quella di Acerenza.

Con l'arrivo degli Aragonesi tra il XIV ed il XVI secolo numerosi proprietari terrieri ricevettero come feudo Castelmezzano, sebbene le condizioni economiche e sociali rimasero perlopiù invariate. Solamente con la nomina del barone Giovanni Antonio De Leonardis (la cui famiglia governò la cittadina dal 1580 al 1686) ci fu un certo sviluppo. Successivamente passò per via nuziale ai De Lerma, ai quali rimase fino al 1805, epoca in cui il feudalesimo era in estinzione nel sud Italia.

Nel XIX secolo Castelmezzano fu toccata dal fenomeno del brigantaggio. Grazie proprio alla sua collocazione territoriale, costituita da nascondigli naturali tra le rocce e vegetazioni rigogliose, il paese fu un rifugio ideale per numerosi briganti. Alla fine dello stesso secolo il comune subì un forte fenomeno migratorio, che spinse numerose famiglie a trasferirsi oltreoceano.