Il tempio è stato costruito sotto il dominio dell'imperatore Shōmu per amplificare la magnificenza del Vairocana Buddha. Il Todai-ji serviva sia come luogo di preghiera, sia come centro di ricerche delle dottrine buddiste. Fu fondato da Roben, il capo della setta buddista Kegon (il Buddha centrale di tale setta è il Vairocana). Il progetto della statua mandò quasi in bancarotta l'economia giapponese, consumando la maggior parte del bronzo disponibile. La statua del Buddha è composta da un corpo di bronzo placcato d'oro. Fu ricostruita varie volte per i danni subiti a causa di svariati terremoti e il Daibutsuden è stato ricostruito due volte a causa d'incendi (durante la guerra a causa dei Taira nel 1180, per ordine dell'imperatore Go-Shirakawa, e nel 1567). Le mani attuali della statua risalgono al periodo Momoyama (1568-1615) e la testa è stata costruita nel periodo Edo (1615-1867).

All'ingresso del tempio si è accolti dalle due statue dei guardiani raffiguranti l'inizio e la fine. Le figure danzanti del Nio furono ristrutturate nel 1991. I Nio sono conosciuti come Ungyo, con la bocca chiusa, e Agyo, che ha la bocca aperta. Dalla loro costruzione queste figure non furono mai mosse dalla loro nicchia. Una delle colonne portanti nella Great Buddha Hall ha un foro nel mezzo e si dice che sia della stessa grandezza delle narici del Daibuts. I visitatori cercano di passarvi nel mezzo perché la leggenda dice che chi riuscirà ad attraversare il foro sarà benedetto con l'illuminazione nella vita futura. I bambini possono passare senza problemi, ma i grandi ne escono a fatica.

Il tempio è stato dichiarato patrimonio dell'umanità dall'UNESCO[1], insieme ad altri sette siti, compresi templi, santuari e luoghi di Nara. L'inizio della costruzione dell'enorme tempio è indicativamente il 743, quando l'imperatore Shōmu fondò il Kinshōsen-ji (金鐘山寺?) per compiacere il principe Motoi, il primo figlio avuto dalla consorte Kōmyōshi del clan dei Fujiwara. Purtroppo il principe Motoi morì un anno dopo la sua nascita. Durante l'epoca Tempyō, il Giappone soffrì per una serie di disastri ed epidemie. Dopo queste tremende esperienze l'imperatore Shōmu emanò un editto nel 741 per promuovere la costruzione di templi provinciali per tutta la nazione. Tōdai-ji (al tempo ancora Kinshōsen-ji) fu nominato Tempio provinciale della Provincia di Yamato e principale tra tutti i Templi provinciali.

Con il presunto colpo di Stato nel 729 da parte di Nagaya, un'epidemia di vaiolo tra il 735 e il 737 ulteriormente aggravata da anni di magri raccolti, una ribellione nel 740 capitanata da Fujiwara no Hirotsugu, il paese stagnava in una caotica situazione. L'imperatore fu forzato a spostare quattro volte la capitale (indicativo del livello d'instabilità raggiunto). Nel 743, l'imperatore Shōmu emanò una legge con la quale dichiarava che tutta la popolazione doveva essere direttamente coinvolta nella costruzione dei templi buddisti in tutto il Giappone. Questo perché si credeva che così facendo il Buddha avrebbe protetto il paese da ulteriori disastri. Gyōki, accompagnato dai suoi allievi, viaggiò per le province chiedendo donazioni. Secondo gli archivi conservati nel Tōdai-ji più di 2.600.000 persone aiutarono la costruzione del Great Buddha e della sua Hall. I 16 metri di altezza della statua furono costruiti utilizzando otto stampi e i lavori durarono tre anni; la testa e il collo furono forgiati insieme come elemento separato. La costruzione della statua iniziò dapprima in Shigaraki. Dopo molteplici incendi e terremoti, la costruzione fu ripresa a Nara nel 745 e il Buddha fu finalmente portato a termine nel 751. Un anno dopo, nel 752, la cerimonia dell'apertura degli occhi fu tenuta con una partecipazione di oltre 10,000 persone, accorse per festeggiare il completamento del Buddha. Il sacerdote indiano Bodhisena eseguì la cerimonia per l'imperatore Shōmu.

L'attuale edificio risale al 1709, sebbene sia il 30% più piccolo rispetto all'originale resta sempre la costruzione in legno più grande al mondo. Il complesso originale conteneva due pagode, all'epoca seconde in altezza solo alle piramidi d'Egitto. Furono distrutte entrambe da un terremoto.