Al voltant del bloc principal que compon Arthur's Seat és possible trobar diverses fortificacions, algunes de les quals són indubtablement prehistòriques. Aquests forts probablement pertanyessin als Votadini, sobre els qui tracta el poema Y Gododdin, escrit al voltant de l'any 600. El poema inclou un símil en què es compara a un guerrer amb el Rei Artús, la qual cosa -si no es tracta d'un afegit posterior- podria ser una de les primeres referències a aquest personatge llegendari. Aquest passatge també recolza la teoria que la seva fama va arribar a aquesta zona, i que per tant el pujol va ser nomenat en el seu honor.

També queden algunes restes visibles d'un altre fort de l'Edat del Ferro, així com de diverses terrasses de cultiu. L'any 1836, en una cova situada gairebé en el cim del pujol, es van descobrir disset petits taüts que contenien una petita figura tallada. La seva existència mai ha pogut ser explicada de manera completament satisfactòria, encara que s'han suggerit possibles associacions amb ritus de bruixeria. Una explicació alternativa els explica com un memorial a les víctimes dels assassins William Burke (1792-1829) i William Hare (mort cap 1860).

El 6 d'agost de 2006 es va produir un incendi en el pujol.[1] Les brigades antiincendis van rebre més de 100 trucades, des de llocs tan llunyans com Burntisland (Fife). Després de cremar durant gairebé 24 hores, 3.000 m² de la façana nord van quedar calcinats. Un nou incendi el 13 de setembre va calcinar altres 3.000 m² de terreny, sense que s'hagi pogut explicar com es van iniciar aquests incendis.

La Guy Fawkes Night o "Nit de Guy Fawkes" (el 5 de novembre) ha estat especialment desgraciada per a Arthur's Seat en els últims anys: tant en 2006 com en 2007, el pujol va començar a cremar a causa de focs artificials mal dirigits. En l'incendi de 2006 el foc va bloquejar el camí de baixada, per la qual cosa centenars de persones van quedar atrapades a la part alta del pujol.