Alrededor del bloque principal que compone Arthur's Seat es posible encontrar diversos Castros, algunos de los cuales son indudablemente prehistóricos. Estos fuertes probablemente pertenecieran a los Votadini, sobre quienes trata el poema Y Gododdin, escrito alrededor del año 600. El poema incluye un símil en que se compara a un guerrero con el Rey Arturo, lo cual -si no se trata de un añadido posterior- podría ser una de las primeras referencias a este personaje legendario. Este pasaje también apoya la teoría de que su fama alcanzó esta zona, y de que por tanto la colina fue nombrada en su honor.

También quedan algunos restos visibles de otro fuerte de la Edad del Hierro, así como de varias terrazas de cultivo. En 1836, en una cueva situada casi en la cima de la colina, se descubrieron diecisiete pequeños ataúdes que contenían una pequeña figura tallada. Su existencia nunca ha podido ser explicada de modo completamente satisfactorio, aunque se han sugerido posibles asociaciones con ritos de brujería. Una explicación alternativa los explica como un memorial a las víctimas de los asesinos William Burke (1792-1829) y William Hare (muerto h. 1860).

El 6 de agosto de 2006 se produjo un incendio en la colina.[1]​ Las brigadas antiincendios recibieron más de 100 llamadas, desde lugares tan lejanos como Burntisland (Fife). Después de arder durante casi 24 horas, 3.000 m² de la fachada norte quedaron calcinados. Un nuevo incendio el 13 de septiembre calcinó otros 3.000 m² de terreno, sin que se haya podido explicar cómo se iniciaron estos incendios.

La Guy Fawkes Night o "Noche de Guy Fawkes" (el 5 de noviembre) ha sido especialmente desgraciada para Arthur's Seat en los últimos años: tanto en 2006 como en 2007, la colina comenzó a arder a causa de fuegos artificiales mal dirigidos. En el incendio de 2006 el fuego bloqueó el camino de bajada, por lo que cientos de personas quedaron atrapadas en lo alto de la colina.