Văn miếu được xây dựng từ năm 1070, tức năm Thần Vũ thứ hai đời Lý Thánh Tông. Đại Việt sử ký toàn thư, Nxb. Khoa học xã hội, Hà Nội, tập 1, tr.234 chép: "Mùa thu tháng 8, làm Văn Miếu, đắp tượng, Khổng Tử, Chu Công và Tứ phối, vẽ tượng Thất thập nhị hiền, bốn mùa cúng tế. Hoàng thái tử đến đấy học." [1]. Như vậy Văn miếu ngoài chức năng thờ các bậc Tiên thánh, Tiên sư của đạo Nho, còn mang chức năng của một trường học Hoàng gia mà học trò đầu tiên là Thái tử Lý Càn Đức, con trai vua Lý Thánh Tông với Nguyên phi Ỷ Lan, lúc đó mới 5 tuổi, đến năm 1072 lên ngôi trở thành vua Lý Nhân Tông.

Năm 1076, Lý Nhân Tông cho lập trường Quốc Tử giám ở bên cạnh Văn miếu, có thể coi đây là trường đại học đầu tiên ở Việt Nam. Ban đầu, trường chỉ dành riêng cho con vua và con các bậc đại quyền quý (nên gọi tên là Quốc tử). (Việt sử thông giám cương mục. Nxb. Văn sử địa. 1957) chép: "Bính Thìn, năm Anh Vũ Chiêu Thắng thứ 1 tháng 4... lập nhà Quốc tử giám; tuyển trong các văn thần lấy những người có văn học, bổ vào đó". Năm 1156, Lý Anh Tông cho sửa lại Văn miếu và chỉ thờ Khổng Tử.

Năm 1253, vua Trần Thái Tông đổi Quốc Tử giám thành Quốc Học viện cho mở rộng và thu nhận cả con cái các nhà thường dân có sức học xuất sắc. Chức năng trường Quốc học ngày càng nổi bật hơn chức năng của một nơi tế lễ "Quý Sửu năm thứ ba(1253)... Tháng 6 lập Quốc Học viện, tô tượng Khổng Tử, Chu công và Á Thánh, vẽ tượng 72 người hiền để thờ... Tháng 9 xuống chiếu cho các nho sĩ trong nước đến Quốc học viện giảng học tứ thư, lục kinh" (ĐVSKTT). Lấy Phạm Ứng Thần giữ chức Thượng thư kiêm chức Đề điệu Quốc Tử viện để trông nom công việc học tập tại Quốc Tử giám".

Đời Trần Minh Tông, Chu Văn An được cử làm quan Quốc Tử giám Tư nghiệp (hiệu trưởng) và thầy dạy trực tiếp của các hoàng tử. Năm 1370 ông mất, được vua Trần Nghệ Tông cho thờ ở Văn miếu bên cạnh Khổng Tử.

Sang thời Hậu Lê, Nho giáo rất thịnh hành. Vào năm 1484, Lê Thánh Tông cho dựng bia của những người thi đỗ Tiến sĩ từ khoa thi 1442 trở đi (chủ trương đã đề ra năm 1442 nhưng chưa thực hiện được). Mỗi khoa, một tấm bia đặt trên lưng rùa. Tới năm đó, nhà Lê đã tổ chức được 12 khoa thi cao cấp, Lê Thánh Tông (1460 - 1497) đã tổ chức đều đặn cứ ba năm một lần, đúng 12 khoa thi.

Không phải khoa thi nào tiến hành xong đều được khắc bia ngay, không phải bia đã dựng thì vĩnh tồn, không hư hỏng, không mất mát. Từng thời có những đợt dựng, dựng lại lớn, như năm 1653 (Thịnh Đức năm thứ nhất), năm 1717 (Vĩnh Thịnh năm thứ 13).

Cuối triều Lê, thời Cảnh Hưng, bia vẫn được khắc đều đặn. Dù không còn giữ được đủ bia, nhà công trình điêu khắc giá trị và tư liệu lịch sử quý báu.

Năm 1762, Lê Hiển Tông cho sửa lại là Quốc Tử giám, cơ sở đào tạo và giáo dục cao cấp của triều đình. Vào thời Cảnh Hưng, Vũ Miên, Nguyễn Nghiễm, Nguyễn Lệ cho đúc Bích Ung đại chung (chuông lớn Bích Ung).

Đời nhà Nguyễn, Quốc Tử giám lập tại Huế. Năm 1802, vua Gia Long ấn định đây là Văn miếu Hà Nội. Tổng trấn Bắc Thành Nguyễn Văn Thành cho xây thêm Khuê Văn các bên cạnh giếng vuông. Như vậy vào đầu thời Nguyễn, Văn miếu Thăng Long đã một lần được sửa sang chỉ còn là Văn miếu của trấn Bắc Thành, sau đổi thành Văn Miếu Hà Nội. Còn Quốc Tử giám thì đổi thành học đường của phủ Hoài Đức và sau đó tại khu vực này xây đền Khải Thánh để thờ cha mẹ Khổng Tử.

Đầu năm 1947, thực dân Pháp nã đạn đại bác làm đổ sập căn nhà, chỉ còn cái nền với hai cột đá và 4 nghiên đá. Ngày nay toàn bộ khu Thái Học được xây dựng với diện tích 1530m2 trên tổng diện tích 6150m2 gồm các công trình kiến trúc chính là Tiền đường, Hậu đường, Tả vu, Hữu vu, nhà chuông, nhà trống được mô phỏng theo kiến trúc truyền thống trên nền đất xưa của Quốc Tử giám.