עדויות לפעילות אנושית באזור מתוארכות לפני 400,000 שנים לתקופת אדם יי-יואן הפלאוליתי. בתקופה הנאוליתית, לפני כ-6,000-5,000 שנים, הפך האזור מוקד להתפתחות שתי תרבויות: תרבות דאונקואו (Dawenkou) מצפון להר ותרבות לונגשאן (Longshan) דרומית לו. באתר של תרבות דאונקואו נערכות חפירות ארכאולוגיות משנת 1959 ונתגלו בו 133 קברים ובהם מעל ל-2,100 חפצים. בתקופת האביב והסתיו (מ-770 לפנה"ס ועד 476 לפנה"ס) התפתחו באזור שתי מדינות יריבות צ'י מצפון להר ולו מדרום לו. בתקופת המדינות הלוחמות בנתה מדינת צ'י חומה באורך של 500 קילומטרים כחשש מפלישה ממדינת צ'ו. שרידים מחומה זו קיימים עד היום.

על פי המיתולוגיה הסינית נוצרו מגופו של פנגו (盤古, פין-יין Pángǔ), היצור הראשון ובורא העולם, חמישה הרים המייצגים את ארבע רוחות השמים והמרכז שהם חמשת הכיוונים בגאומנטיה[1] הסינית. מכיוון שעל פי הדוקטרינה הסינית מסמל המזרח התחדשות ובריאה היה הר טאי, הבולט בקצה המזרחי של מישור צפון סין, ההר המזרחי (東嶽 פין-יין Dōng Yuè, תעתיק דונְג יְוֵּ'ה, מילולית "ההר המזרחי הגדול") מבין חמשת הרים אלו, ונחשב, בשל היותו מסמל לידה והתחדשות, כחשוב מביניהם. מסיבה זו נוצר הר טאי על פי המסורת מראשו של פנגו.

על פי המסורת נבנה המקדש הראשון בהר על ידי נזיר בשם לנג שבנה ב-351 לפנה"ס את מקדש לנג ואת מקדש הסלע האלוהי. בתקופת שלוש הממלכות (280-220) נבנה בהר המקדש הטאואיסטי הראשון - המקדש למלכה האם השמימית. בתקופת השושלות הדרומיות והצפוניות (589-420) נבנו מקדש מעיין הירקן, מקדש אוצר האלוהים ומקדש האור המתפשט. בהמשך נבנו מקדש העננים התכולים, מקדש אגן הסלע האחורי ומקדש שליט השמים העליון. מקדש העננים התכולים הוא בין המקדשים הטאואיסטיים החשובים ביותר בסין כיום.[2]

במשך יותר מ-2,000 שנים עלו קיסרי סין משושלות שונות לרגל להר טאי על מנת לבצע בו טקס מורכב המכונה "פנג-שאן" (fengshan), שבו הקריב הקיסר קורבנות לשמים על מזבח שהוקם בפסגת הר טאי (封 "פנג") ואחר-כך חזר על כך במזבח שהוקם בגבעת ליאנגפו (liangfu) הסמוכה על מנת להקריב קורבנות לאדמה (禪 "שאן"). מטרת הטקסים הייתה להתפלל לאל השמים ולאל האדמה שיבטיחו יציבות ושגשוג בתקופת שלטונו, וברבות השנים הם קיבלו גם משמעות פוליטית. הראשון שעליו יש עדויות כי קיים טקס זה היה המלך יִינְג גֶ'נְג מממלכת צ'ין, לעתיד לבוא צ'ין שה-חואנג קיסר סין הראשון.[3] באנציקלופדיה גְווָאנְדְזְה (管子) שנכתבה על פי המסורת בידי המדינאי וההיסטוריון גוואן ג'ונג (管仲 פין-יין Guǎn Zhòng‏; 720 לפנה"ס – 645 לפנה"ס) נטען כי על פי המסורת ביצעו 72 קדמונים את הטקס לפני צ'ין שה-חואנג, אם כי יש בידיו רישומים על 12 בלבד.[4] הקיסר ווּ משושלת האן (156 לפנה"ס – 87 לפנה"ס) ערך את הטקס שבע פעמים. בסך הכול ביצעו את הטקס שישה קיסרים.[5] כתובות החקוקות על הסלע או על אסטלות אבן ומתחמי מקדשים הקיימים בהר מעידים על קיום טקסים אלו.

הטקס עצמו היה יקר במשאבים, ולכן היו קיסרים שהחליטו לוותר עליו לחלוטין. הבולט שבהם היה הקיסר טָאידְזונְג משושלת טאנג (שלט 649-626), שנחשב לאחד מגדולי הקיסרים בתולדות סין. הוא האמין כי חובתו החשובה ביותר של מנהיג היא להביא שגשוג לעמו, ופולחנים דתיים הם נושא בלתי רלוונטי. האחרון שקיים טקס יקר זה באופן קבוע היה הקיסר גֶ'נְדְזונְג משושלת סונג (שלט 1022-997) ואחריו נערך הפולחן לעיתים רחוקות. הקמת מקדש השמיים בבייג'ינג ב-1406 נועדה להחליף את טקס הסגידה לשמים ולארץ שבוצע בהר טאי בטקס מקביל באתר קרוב לעיר האסורה, ארמונם של קיסרי סין. עם זאת, הקיסר צ'יינלונג משושלת צ'ינג אהב לבקר בהר וטיפס עליו שש פעמים.[6]

המסורות והאמונה הדתית קיבלו ביטוי בשפע האתרים הארכאולוגיים והארכיטקטוניים שבהר. על ההר יש 22 מקדשים, 97 שרידי מבנים, ארמנות וביתנים, קשתות וגשרים, מדרגות ופסלים, 819 אסטלות וקרוב ל-1,700 כתובות החקוקות על צלע ההר או על אסטלות אבן. בין הכתובות הבולטות, סוטרת היהלום הבודהיסטית החקוקה בשלמותה באחד העמקים ושירה וקטעי ספרות שכתב קונפוציוס שעיר הולדתו צ'ופו שוכנת כ-70 קילומטרים מההר. על קונפוציוס נאמר כי לאחר שהשקיף מהר טאי קבע כי "העולם קטן". שנים רבות אחר-כך נטען כי מאו דזה-דונג אמר את האמרה "המזרח הוא אדום" לאחר שצפה בזריחה מפסגת הר טאי.[7]

מתוך הכרה בערך התרבותי של המקום הכריז ארגון אונסק"ו ב-1987 על מרבית שטח ההר אתר מורשת עולמית. ב-2003 ביקרו בהר שישה מיליון תיירים. פרויקט שיפוץ שהסתיים באוקטובר 2005 נועד לשחזר את השרידים התרבותיים ולשפץ את המבנים בעלי חשיבות תרבותית שניזוקו.