אזור סאמרא יושב בדלילות בעת העתיקה, אך ידוע על יישוב שומרי שהתקיים במקום בין 5500 ל-4800 לפנה"ס. תרבותו הייתה מתקדמת ונקראת תרבות סאמרא. תושביו הקימו מערכות השקיה ויצרו כלי קדרות שעוטרו בדמויות בעלי חיים ובקווים גאומטריים. כלי קדרות אלה שהתגלו לראשונה סאמרא, נפוצו לאחר מכן ברחבי המזרח התיכון כולו. לפי אסטלה, הקים סנחריב יישוב אשורי על הגדה המערבית של החידקל בשנת 690 לפנה"ס. מאוחר יותר נודעה העיר כסואומה בפי היוונים, סומרה (Sumere) בפי הרומאים, או סומרה בסורית. הסאסאנים חצבו תעלת מים בין השנים 531–578 אשר הוליכה את מי החידקל אל העיר. לכבוד האירוע הוקמו בעיר מגדל "בורג' אל-קיים" וארמון.

מאוחר יותר הקימו ח'ליפי בית עבאס תעלת מים נוספת אל העיר, וזו נבנתה בסוף המאה ה-8 על ידי הארון א-רשיד, ונחגגה בתכנונו של מתומן ענק בקוטר של 1.5 ק"מ. זה זכה לשם "חוסן אל-קדישיה" אך בנייתו נזנחה ב-796. בשנים 834–835 העתיק הח'ליף אל-מעתצם את בירתו לסאמרא, שנקראה באותה עת בשם "סר מן ראא" (سر من رأى - "משוש כל הרואה (אותה)"), ושם זה השתבש לשמה הנוכחי. בשנת 836 הוא הקים עיר חדשה על הגדה המזרחית של החידקל סביב העיר הפרה-אסלאמית, ואת ארמונו קבע בצפונה, במקום בו ניצב בעבר מנזר. הארמון התחלק לשני חלקים - חלק פרטי שיועד למגורי הח'ליף ובני משפחתו, וחלקם אף נקבר בו; וחלק ציבורי, שבו הקביל את פני הבאים לבקרו. מהארמון נמשכה שדרה לאורך כ-3.5 ק"מ אשר הובילה את השווקים ואל מסגד אל-מעתצם, ששניהם שוכנים כיום מתחת לבתים מאוחרים יותר. משני צדדיה של השדרה ומחוץ לעיר שכנו מגורי החיילים, והחלק שממזרח לעיר הוקף חומה ויועד לציד. עם מותו של אל-מעתצם בשנת 842, המשיך יורשו אל-ואת'ק, והשתמש בעיר כבירה, תוך שהוא מעניק תשומת לב לרווחתה הכלכלית והופך אותה ממחנה צבאי גדול לעיר של ממש. הוא הקים ארמון חדש על הנהר, וארמון זה שימש גם את הח'ליף הבא, אל-מתוכל הראשון.

אל-מתווכל התרכז בבנייה מונומנטלית. הוא הקים מסגד גדול וחדש, והרחיב את העיר מזרחה לאזור שנועד בעבר לציד בלבד. תחת זאת הקים עשרים ארמונות חדשים ובין שניים מהם בדרומה של העיר קבע שטח ציד חדש. במזרחה של העיר נבנה מגרש מרוצים באורך כולל של 10.42 ק"מ וברוחב 80 מטר, ולצדו הוקמו מושבים לצופים. במחצית המאה ה-9 הגיעה העיר לשיאה, היו בה שבע שדרות מקבילות והקיצונית שבהן עברה לאורך גדת הנהר, שהיה לעורק האספקה העיקרי של סאמרא.

בשנת 859 החל אל-מתוכל בהקמת בירה חדשה מצפון לסאמרא, וקרא לה על שמו, אך עם ההתנקשות בחייו בשנת 861 הרעיון נזנח. ריקון הקופה הציבורית כדי להקים את הפרויקט השאפתני היה בין הסיבות לחוסר היציבות שפקד את הח'ליפות בשנים שלאחר מכן. בשנת 870 הוצא הכוח הצבאי מהעיר, ואף שהמשיכה ונחשבה למושב הח'ליף, חשיבותה הלכה ופחתה עד שבירת החליפות החדשה נקבעה בבגדאד בשנת 892.

למרות זאת שמרה העיר על חשיבותה הדתית המרכזית. במסגד אל-עסכריה שבעיר נמצאים קבריהם של עלי אל-האדי וחסן אל-עסכרי, האימאמים השיעים העשירי והאחד-עשר. גם מקום ציון היעלמותו של מוחמד אל-מהדי, המכונה "האימאם הנעלם", שהיה האימאם השנים-עשר והאחרון של השיעה, נמצא בעיר. בשל כל אלה מהווה סאמרא אתר עלייה לרגל חשוב למוסלמים שיעים. שינוי אפיק זרימתו של החידקל במאה ה-13 האיץ את שקיעתה של העיר.

במאה ה-20 עלתה חשיבותה של סאמרא בשל בניית סכר על נהר החידקל. מטרת סכר זה הייתה למנוע את ההצפות התכופות באזור בגדאד ובמורד הנהר, ובנייתו יצרה אגם מלאכותי גדול. כפריים רבים נאלצו לעזוב את כפריהם בשל התפשטות האגם, ורבים מהם עברו לסאמרא עצמה תוך שהם תורמים לגידול אוכלוסייתה.

בחודש פברואר 2006, ביצעו סונים פיגוע טרור במסגד אל-עסכריה בעיר, אירוע שנודע כ"פיגוע במסגד אל-עסכריה", ובמהלכו נהרגו כ-120 מתפללים. בעקבות כך התעוררו מהומות קשות נגד הסונים בעיראק ואף הועלה חשש מפני מלחמת אזרחים. ב-13 ביוני 2007 הותקף המסגד בשנית ושני המינרטים שלו נהרסו. חודש לאחר מכן, ב-13 ביולי 2007 פוצץ מגדל השעון בעיר.