אין עדויות חד-משמעיות על ההתיישבות הראשונה באזור ויסבי, אך ידוע שהייתה מרכז מסחר כבר באזור שנת 900. האזור היה מיושב החל מתקופת האבן, ככל הנראה בגלל שניתן היה לגשת ממנו אל נמל טבעי ומקורות מים מתוקים.

במאה ה-12 נבנתה קתדרלת ויסבי המוקדשת למרי הקדושה. הקתדרלה עוצבה מחדש במאה ה-13 וקיבלה את צורתה הנוכחית, והיא נפתחה באופן רשמי על ידי הבישוף של לינקפינג ב-1225. במאות השנים שלאחר מכן נבנו בעיירה מספר כנסיות נוספות. העיירה שגשגה הודות לברית ערי הנזה.

בנייתה של החומה ההיקפית החלה ככל הנראה במאה ה-12. בשנת 1300 הושלמה בניית החומה לגובהה הנוכחי, ונוספו לה מספר מגדלים. אולם, חלק מהמגדלים הנוכחיים נבנו רק במאה ה-15, ורוב החומה העתיקה שרדה עד ימינו.

עם הקמתה של העיר ליבק בשנת 1159/1158, הסוחרים הגרמאנים החלו להרחיב את תחום השפעתם לעבר הים הבלטי. ליבק וגוטלנד קשרו ביניהן יחסי ידידות. הסוחרים הגרמאנים התיישבו בוויסבי, שהפכה למרכז המסחר היחידי באי שהיה רשאי לסחור עם ערים גרמניות, ולפיכך הייתה המרכז של ברית ערי הנזה באזור הבלטי. בעקבות הגרמאנים הגיעו למקום סוחרים רוסים ודנים; החלה בנייתן של כנסיות ובתי מסחר, ולאורך הנמל נבנו מספר מחסנים. בנייני העץ הקדומים ביותר הוחלפו במהלך המאה ה-13 על ידי בתי אבן גדולים, שנבנו בשורות מקבילות מזרחית לנמל. במאה הזו ויסבי הפכה מכפר גוטלנדי פשוט לעיירה בינלאומית מרשימה, שהייתה מוקפת בחומת מגן חזקה, ובהדרגה הפנתה עורף לאופייה הכפרי.

מעמדה של ויסבי כעיירה חשובה בברית ערי הנזה התדרדר במאה ה-14, בעקבות סדרה של אסונות. המוות השחור הכה בעיירה ב-1350, וגרם למותם של 8,000 תושבים. צבא דנמרק כבש את האי ב-1361, וב-1396 היא נכבשה על ידי האחים ויקטואר (פריבטירים שמאוחר יותר הפכו לשודדי ים); המסדר הטבטוני גירש את האחים ב-1398, אך הם כבשו את שאר האי. אירועי השוד הימי והמלחמות גרמו לפגיעה אנושה במסחר במהלך המאה ה-15, וכלכלתה של ויסבי התפוררה. המלך אריק מפומרניה בנה את הטירה של העיירה ב-1411, והתגורר בה במשך שתים עשרה שנים שבמהלכן העיירה הפכה ל"קן שודדי ים", דבר שגרם לעצירה מוחלטת של המסחר. ברית ערי הנזה ביטלה את מעמדה של ויסבי כעיירה הנזטית ב-1470. העיירה ספגה מכה אנושה ב-1525. הסוחרים המקומיים הסתכסכו עם סוחרי ליבק, וכחלק מהסכסוך הגרמאנים שרפו את כל הכנסיות בוויסבי, מלבד את הקתדרלה. חורבותיהן של הכנסיות השתמרו מאז, והן מוסיפות נופך חמור לעיירה המודרנית. לאחר 300 שנים של שלטון דני העיירה חזרה לשליטה שוודית ב-1645, בעקבות הסכם ברימסברו שסיים את מלחמת טורסטנסון. העיירה התפתחה באיטיות כיוון שלא הושקעו בה משאבים רבים.

העיירה חוותה תקופה של תחייה מסחרית ותעשייתית במאה ה-18 לאחר שהוחזרה לשלטונה של שוודיה. בניינים חדשים נבנו על חורבות הישנים, באזור הצוק ובאזור טירת ויסבורג. חוק שוודי משנת 1757 פטר ממס את כל מי שבנה באמצעות אבן על מנת לשמר את העץ לבנייה. החוק סייע לוויסבי במידה רבה, והעיירה המשיכה להתפתח. במהלך המאה ה-19 נבנו בעיירה מספר בתי ספר, בית חולים ובית כלא. באותה תקופה - 1808 - גוטלנד נכבשה על ידי האימפריה הרוסית אך חזרה לשלטון שוודי כמה חודשים לאחר מכן, ללא מאבק.