במאה השלישית לפנה"ס היה במקום כפר אטרוסקי. ההיסטוריונים לופי, קופי ופקורי טוענים שבזמן קשר קטילינה במאה הראשונה לפני הספירה ברחו שני אחים פטריקים מוציו וסילביו לעמק אלסה ובנו שתי מצודות: מוקיו וסילביה (היום סן ג'ימיניאנו).

השם סילביה שונה בשנת 450 לספירת הנוצרים לסן ג'ימיניאנו אחרי שהבישוף של מודנה, ג'מיניאנוס גרם לאנשיו של אטילה ההוני לחוס על הטירה. בעקבות פעולה זו המיוחסת לבישוף, הוקדשה לכבודו כנסייה. במאות השישית והשביעית התפתח כפר עם חומות סביבה, שנקרא לאחר מכן "הטירה של סן ג'ימיניאנו" או טירת היער בגלל היער הנרחב שסבב אותה. משנת 929 העיר נשלטה על ידי הבישופים של וולטרה.

בימי הביניים והרנסאנס, הייתה סן ג'ימיניאנו נקודת עצירה לצליינים קתולים בדרכם לרומא והוותיקן, מכיוון שהייתה ממוקמת על דרך ימי הביניים פרנצ'יג'ינה. הפיתוח של העיר השתפר בזכות הסחר של מוצרים חקלאיים מהגבעות הפורות הסמוכות, בעיקר בזכות הזעפרן ששימש למאכל ולצביעת בדים וגם בזכות יין הורנאצ'ה די סן ג'ימיניאנו שעליו אמרו כי היה מקור השראה לאפיפיורים ולמשוררים.

בשנת 1199, העיר הפכה את עצמאית מהבישופים של וולטרה והקימה פודסטה, ונבנו כנסיות ומבני ציבור. עם זאת, השלום של העיר הופרע במאתיים השנים הבאות על ידי סכסוך בין גואלפים וגיבלינים, ויריבויות משפחתיות. הדבר הביא את המשפחות היריבות לבנות מגדלים גבוהים שהראו את עושרם ומעמדם. לקראת סוף תקופת ימי הביניים היו בעיירה 72 מגדלים שהגבוה מביניהם הגיע לגובה של 70 מטר. היריבות הוסדרה בהחלטת מועצה ששום מגדל לא יהיה גבוה יותר מזה מארמון קומונלה.

בעוד הפטרון הרשמי הוא סן ג'מיניאנו, העיירה גם מכבדת סנטה פינה (הידוע גם כסנטה סרפינה) שנולדה בסן ג'ימיניאנו בשנת 1238. ה-12 במרץ הוא היום המשויך אליה (תאריך מותה). ובמקדשה של הקפלה של סנטה פינה בכנסיית קולגייט אפשר למצוא ציורי קיר שצוירו על ידי גירלנדאיו. הבית המיוחס לסנטה פינה עדיין עומד בעיר.

העיירה שגשגה עד 1348 עד שנפגעה על ידי המוות השחור שהשפיע על כל אירופה, וכמחצית תושבי העיירה מתו. לאחר המגפה העיר עברה לשליטתה של פירנצה. עם המעבר לשלטון פירנצה ארמונות גותים נבנו בסגנון פלורנטין, ורבים מהמגדלים הונמכו לגובה של הבתים. אולם לאחר זמן מה התפתחותה דעכה וסן ג'ימיניאנו נשמרה כמו שהייתה בימי הביניים שלה עד המאה ה -19 כאשר הפכה למרכז תיירותי.

להלן התפתחות האוכלוסייה בעיר מאז שנת 1861[1]: