העיר נוסדה ככל הנראה סביב שנת 2000 לפנה"ס. כבר במאה ה-15 לפנה"ס, בתקופה המיקנית, הייתה למרכז חשוב. הפלישה הדורית (בערך 1200 לפנה"ס) פסחה על אתונה, אך מעמדה ירד והיא הייתה לא יותר מאשר עיירת שדה קטנה.

העיר הגיעה לשיאה בימי הזהר של יוון הקלאסית תחת משטר דמוקרטי שנציגו הבולט פריקלס עזר להקים את האימפריה האתונאית. במקביל לתהליך הדמוקרטיזציה, התחזק מעמדה המדיני של אתונה והיא הפכה למנהיגה בעולם היווני, ולגורם מרכזי בפוליטיקה הבינלאומית האזורית. ככזו, לקחה חלק מכריע בבלימת התפשטותה של האימפריה הפרסית מערבה. בגלל התבוסה במלחמה עם ספרטה ירדה מרוב נכסיה האימפריאליים, אך שמרה על מעמד הבכורה בתרבות היוונית.

המלחמות בין אתונה לספרטה התישו את כוחן של שתי המעצמות הגדולות, ובמאה הרביעית לפני הספירה החלה העיר לשקוע. פיליפוס השני הביס את הקואליציה היוונית בהנהגת אתונה ותבאי בקרב כירונאה (338 לפנה"ס), ואתונה איבדה את עצמאותה. אחרי תהפוכות שעברו על יוון בעת מלחמות הדיאדוכים עברה לשלטונה של ממלכת מוקדון. אף שאיבדה את עצמאותה, הייתה אחת הערים העשירות ביוון בכלל ובממלכה המקדונית בפרט, אך לא חזרה עוד לגדולתה, עד עצמאות יוון בתחילת המאה ה-19.

במהלך העת העתיקה הייתה בעיר נוכחות פיניקית, כפי שמעידות כתובות שנמצאו בה.[1]

בתקופת השתייכותה לאימפריה הביזנטית הייתה אתונה עיירת שדה לא חשובה, אוצרותיה הרבים נשדדו על ידי הקיסרים והועברו לקונסטנטינופול. בין 1204 ל-1458 הייתה אתונה במוקד הסכסוך בין הביזנטים, הצלבנים ופושטים אחרים. ב-1458 נכבשה העיר על ידי האימפריה העות'מאנית.

לאחר מלחמת העצמאות היוונית, נבחרה אתונה, בשנת 1834, לבירת הממלכה היוונית החדשה, בעיקר בשל עברה וחשיבותה ההיסטורית. בזמן זה הייתה עיר שולית וקטנה, ומרכזה שכן למרגלות האקרופוליס. בעת שלטונו של אוטו (1832–1862) עברה העיר שינויים רבים והרשויות יזמו מפעלי בנייה רבים. ב-1896 נבחרה העיר לארח את המשחקים האולימפיים הראשונים בתקופה המודרנית (אולימפיאדת אתונה (1896)). במהלך מלחמת העולם השנייה, נכבשה העיר על ידי כוחות מדינות הציר, וב-27 באפריל הגיעו הגרמנים לשערי אתונה. יוון חולקה לשלושה אזורי כיבוש: גרמני, בולגרי ואיטלקי. העיר אתונה נכללה בשטח הכיבוש האיטלקי, ובהמשך נשלטה על ידי כוחות הוורמאכט. לאחר המלחמה גדלה אוכלוסיית העיר בקצב מהיר, וקלטה תושבים רבים שחיפשו בה פרנסה.

בשנת 2004 אירחה בפעם השנייה את המשחקים האולימפיים באולימפיאדת אתונה (2004). כחלק מההכנות עברה העיר מתיחת פנים כוללת, מערכות התחבורה עברו שדרוג משמעותי, הופחת זיהום האוויר, ואלו הפכו את אתונה למטרופולין מודרני ומתקדם.

בשנת 2006 אירחה העיר את תחרות האירוויזיון ה-51 בהיכל האולימפי.