I primi insediamenti nell'area risalgono all'epoca vichinga, quando c'erano quattro fattorie nei dintorni della zona in cui sorge oggi il centro di Klaksvík. Di una di queste fattorie, posizionata sul lato est del Borðoyarvík, ci sono le rovine, che furono sepolte da due valanghe nel giro di un ventennio: la prima il 12 marzo 1745, l'altra nella stessa data vent'anni dopo. Poco distante da queste rovine c'è anche il cosiddetto Íslendingatoftir, un sito sempre risalente all'epoca vichinga.

Le quattro fattorie però crebbero a tal punto da diventare quattro piccoli villaggi (Vágur, Myrkjanoyri, Gerðar e Uppsalir), che poi si fusero in un'unica città in cui si decise di creare un'amministrazione centrale per le Norðoyar. A quella città fu dato il nome di Klaksvík.

Nel 1801 Klaksvík aveva appena 88 abitanti, ma lo sviluppo vero e proprio della città iniziò soltanto nel 1838, quando la monarchia danese diede un serio avvio alle attività economiche locali. La città, infatti, si trova in un golfo ben protetto che consente la navigazione anche durante l'inverno. Questo fece sì che molti marittimi vi si stabilissero e che nel giro di breve tempo Klaksvík diventasse un centro importantissimo per l'industria del pesce. Nel frattempo, nel 1888 in città fu fondato il birrificio Föroya Bjór, che dal mese di agosto 2007 è rimasto l'unico in attività nel paese dopo l'uscita dal mercato del principale concorrente, Restorffs Bryggjarí.

Nel 1940 Klaksvík divenne la seconda città più grande e popolosa delle Fær Øer, superando Tvøroyri. Negli anni 1950 diventò il centro della politica culturale faroese in seguito al caso di un medico - il dottor Olaf Halvorsen - che fu accusato dall'Associazione medica danese di aver simpatizzato col nazismo durante la seconda guerra mondiale, la qual cosa portò a violente proteste da parte della popolazione locale. La questione si dilungò nel tempo ed ebbe alcuni momenti davvero violenti fino a raggiungere il culmine nel 1955 quando la popolazione bloccò le attività portuali e sequestrò i rappresentanti delle autorità.[1] Anche se il licenziamento di Halvorsen avrebbe probabilmente risolto la controversia, queste proteste si rifacevano in qualche modo alla richiesta di indipendenza dalla Danimarca. Il governo ristabilì l'ordini inviando 120 poliziotti e una fregata della flotta.[1]

In tempi più recenti, la città ha sviluppato buoni collegamenti con le città vicine. Il 29 aprile 2006 fu aperto il Norðoyatunnilin, che unisce Klaksvík a Leirvík, sull'isola di Eysturoy, la seconda più grande dell'arcipelago.