Su nombre se atribuye a una derivación de "Torre", en referencia a la torre defensiva que existió para defensa del valle frente a las incursiones desde territorio francés desde la época de Juan II de Aragón (siglo XV). Esta fortaleza se supone construida donde hoy se encuentra la hermosa iglesia románica, sobre una gran roca que domina el valle y que la carretera actual atraviesa en túnel justo por debajo de la iglesia.

Su primera mención escrita data del año 1076 si bien se da por seguro que debió existir una población previa incluso en época tardorromana. La historia de Torla ha quedado profundamente marcada por su condición fronteriza, bien como cañada de paso para ganaderías (citadas ya por Alfonso X el Sabio en el siglo XIII), como frontera (considerada como tal desde 1443) o durante los numerosos conflictos que enfrentaron Torla y el Valle de Broto al que pertenecía, con el valle vecino de Baregés, perteneciente este al condado del Bigorre.

A comienzos del verano de 1319 sufrió un terrible saqueo por parte de los invasores galos lo que la llevó a mejorar notablemente sus fortificaciones, época en la que seguramente se levantaría los restos de la torre que conforman hoy la denominada "Cripta de San Jorge", entre las ruinas del castillo. Razzias, saqueos y enfrentamientos los hubo durante todo el siglo XV pero sería a raíz del segundo y más serio saqueo de la villa en 1512, cuando los torlenses pidieron ayuda para levantar el castillo y las defensas cuyos restos hoy podemos disfrutar paseando por sus medievales calles. Por cierto que mientras los franceses se retiraban de vuelta a la frontera, los de Torla se ganaron justa fama de bravos y posiblemente el título de villa, tendiendo una emboscada en la denominada garganta de Correador o Escalar, donde dieron muerte a dos capitanes enemigos y capturaron sus banderas que fueron exhibidas por un tiempo en la iglesia del pueblo. Los cuerpos de dichos capitanes fueron recogidos y enterrados con todos los honores en San Salvador donde todavía hoy reposan.

Las fortificaciones fueron levantadas a lo largo del siglo XVI, seguramente entre 1525 y 1550. Si bien Torla estuvo completamente amurallada, hoy solo conserva parte de su castillo (Museo Etnológico), la torre de Casa Mesonero donde tuvo que estar la denominada Puerta de Francia y restos de torres y puertas en Casa Ballarín y Casa Ruba. Conservó hasta 1925 otra torre de grandes dimensiones en el denominado Barrio de Santa Lucía hoy ya perdido.

El siglo XVII sin embargo fue de gran esplendor económico para la villa, época en la que una débil pero larga paz con Baregés unido al comercio y contrabando, terminaron por enriquecer a los grandes apellidos del lugar y levantar muchas de las hermosas casonas que aún hoy se conservan: Casa Viu, Casa Ruba, Casa Oliván, Casa Café, Casa Sastre, Casa Pintao, Casa Colosca, Casa Tapia. Es en ese siglo de prosperidad cuando se amplia la iglesia de San Salvador, conocida hasta el siglo XV como de San Pedro, obra concluida hacia 1679 a la que se añadieron hermosos retablos, ornatos, órgano y sillería, todo ello lamentablemente perdido durante el desastre de la guerra civil española.

Tuvo también Torla monasterio propio, el de San Basilio, cuyo origen desconocemos y que parece ser a causa de su no excesiva riqueza, desapareció a comienzos del siglo XVII siendo comprados sus edificios y terrenos por Casa Lardiés, conocida desde entonces como Casa Fraile. Una sencilla imagen de la Virgen con Niño localizada cerca de donde estuvo emplazado es prácticamente lo único que se conserva del cenobio.

Sin embargo, el XVII dio paso a siglos mucho más difíciles, como el XVIII, que comenzó con la guerra de Sucesión, donde Torla tomó partido por el bando Austria y, junto con Broto, ganaron fama de fieros defensores de sus fueros y privilegios llegando incluso a sitiar la borbona Jaca. Pero en octubre de 1706 un ejército al mando del Marqués de Saluzzi terminó por tomar el valle y bombardear el castillo de Torla que se quemó adoptando su actual fisonomía.

Ya durante la guerra de Convención (1792-1795) y durante la de Independencia (1808-1814) el castillo no podía ser usado, aunque sirviera de refugio tanto a compañías del ejército regular como a guerrilleros, los cuales no pudieron evitar la entrada de los franceses en Torla y su saqueo el 20 de septiembre de 1809.

Un último reto para los torlenses fue la Guerra Civil que no solo terminó socavando su ya no de por sí muy elevada población sino quemando parte de su antiguo esplendor si bien, en parte conservado en parte restaurado, es hoy uno de los principales atractivos de la villa.

La localidad conserva diversos elementos de la Edad Media. Cabe destacar la iglesia de San Salvador y sus retablos rescatados de pueblos abandonados, el castillo actual Museo Etnológico en especial las pinturas medievales de la Cripta de San Jorge, la plaza Mayor del siglo XIII, las casonas de los siglos XIII-XVIII, los escudos infanzones, espantabrujas, inscripciones, ventanas geminadas.

El municipio de Torla-Ordesa está compuesto además por otros tres pueblos: Fragén, Víu de Linás y Linás de Broto. En Linás a pesar del tremendo bajón demográfico sufrido, todavía hoy se puede uno deleitar por el espectacular paisaje que supone la sierra de Tendeñera, observado desde la iglesia de San Miguel, una antigua fortaleza medieval que todavía conserva aspilleras y una torre fortificada hoy usada de campanario. La obra actual, finalizada hacia 1580 presente una aspecto muy diferente al original debido a los terribles daños que sufrió en 1706 durante la guerra de Sucesión.