מקורו של האלקסר של סגוביה, כמו מבצרים רבים בספרד, במצודה ערבית. ההתייחסות הראשונה לאלקסר הנוכחי היא משנת 1120, כ-32 שנים לאחר חזרתה של העיר סגוביה לידיים נוצריות. עם זאת, ממצאים ארכאולוגיים מצביעים על כך שבמיקומו של האלקסר עמד מבצר כבר בימי הרומאים, אפשרות שמקבלת משנה תוקף מקיומה של אמת המים הרומית בעיר.

מבנהו וצורתו של המבצר עד לימי אלפונסו השמיני אינם ידועים, אולם בתיעוד מוקדם מוזכרת גדר היקפית מעץ. ניתן להסיק כי לפני שלטונו של אלפונסו השמיני מדובר היה במבצר עץ מעל היסודות הרומיים. אלפונסו השמיני ואשתו אלינור הפכו את האלקסר למקום מגוריהם העיקרי, ובימיהם החלו העבודות לבנייתו של מבצר האבן הקיים כיום.

במהלך ימי הביניים המשיך האלקסר להיות מקום מגורים מועדף על רבים מבני משפחות המלוכה הקסטיליות וכן מבצר עיקרי במערך ההגנה של הממלכה. במהלך תקופה זו נבנו מרבית המבנים במתחם, והמבצר הורחב באופן משמעותי על ידי השליטים לבית טרסטמארה.

בשנת 1258 נערכו במבצר עבודות שיקום על ידי אלפונסו העשירי, לאחר קריסה חלקית של המבנה, ולאחר מכן נבנה היכל המלכים במטרה לאכלס את הפרלמנט. עם זאת, המלך שבתקופתו נעשו עבודות הבנייה המשמעותיות ביותר הוא חואן השני, שאחראי לבנייתו של 'המגדל החדש', הידוע כיום כ'מגדל חואן השני'.

בשנת 1474 מילא האלקסר תפקיד חשוב בעלייתה לשלטון של איזבלה הראשונה. ב-12 בדצמבר הגיעו לסגוביה החדשות על מותו של המלך אנריקה הרביעי במדריד, ואיזבלה מצאה מפלט בין חומות המבצר, שם היא זכתה לתמיכתם של אנדרס קבררה ומועצת העיר סגוביה. איזבלה הוכתרה למחרת למלכת קסטיליה ולאון.

השיפוץ הנרחב הבא באלקסר נערך על ידי המלך פליפה השני לאחר נישואיו לאנה, ארכידוכסית אוסטריה. במהלך השיפוץ נוספו לאלקסר הצריחים המחודדים, במטרה לשוות לו מראה המזכיר את המבצרים המרכז-אירופאים. לאחר שמשפחת המלוכה העתיקה את מגוריה למדריד, הפך האלקסר לבית סוהר למשך כמאתיים שנה.

בשנת 1762 ייסד במקום המלך קרלוס השלישי את בית הספר המלכותי לארטילריה. האלקסר שימש את בית הספר קרוב למאה שנים, עד 6 במרץ 1862, אז שרפה שפרצה במקום גרמה לנזק משמעותי לגגות ולשלד המבנה. נזקי השרפה שוקמו רק בשנת 1882. בשנת 1896 החליט המלך אלפונסו השלושה-עשר להעביר את האלקסר לרשות משרד המלחמה הספרדי ולהפכו לאקדמיה צבאית. בשנת 1953 הוקמה 'פטרונות האלקסר', הגוף שאחראי כיום על המוזיאון שנפתח באתר.