הפירוש המילולי של שם העיר הוא "ביצת הזהב", ומקורו באגדה אודות איכר שחיפש תפוחי אדמה באזור, אך תחת זאת מצא באדמה פיסות זהב.

במאה ה-15 נוסדה העיירה מסביב לטירת קנאזווה, אך שליטתו הריכוזית של השוגון ממקום מושבו בקיוטו נחלשה והשליטים המקומיים צברו כוח רב והקימו לעצמם פייף. באותה עת פעל באזור כומר בודהיסטי בשם רניו, שהשתייך לזרם ג'ודו שינשו וסחף אחריו סמוראים ואיכרים כאחד, וצבר כוח פוליטי. לאחר מותו של השליט המקומי ב-1488 החל שלטון איכרים בני ג'ודו שינשו, שנמשך מאה שנים ונקרא "ממלכת האיכרים". מרכז השלטון היה ברכס קודצונו, מקום שהיה מוקף בנהרות משני עבריו, וסביב מרכז שלטון\דתי זה התפתחה עיירה נפרדת שהוקפה בחומה.

בשנת 1580 תקף אחד מהגנרלים של אודה נובונאגה את ממלכת האיכרים וכבש אותה, והפך את העיירה לבסיס צבאי. אולם, שלוש שנים לאחר מכן כבש את האזור טויוטומי הידיושי בעזרתו של מאדה טושיאיאה, והאחרון קיבל את השליטה באזור. טושיאיאה נפטר ב-1599 ובנו ירש אותו, ותחת שליטתו שגשגה העיירה, והמחוז כולו היה העשיר ביותר ביפן, מלבד אלה שבשליטת השוגון. השגשוג הכלכלי הביא לגידול מהיר מאוד באוכלוסייה, וכתוצאה מכך נבנו בעיר רבעים חדשים במהירות כדי לספק את הצורך במגורים של התושבים החדשים, ועד היום מאפיין את העיר העתיקה רחובות צפופים וחסרי סדר ברור.

בתקופת מייג'י הלאימה יפן את כל הטירות העתיקות ביפן. מכיוון שסימלו עידן פאודלי, וככזה – מפגר, הרסה הממשלה טירות רבות. טירת קנאזווה הפכה לבסיס צבאי, וחלקים ממנה נהרסו כדי לפנות מקום למבנים צבאיים, והצבא היפני הקיסרי החזיק בטירה עד סוף מלחמת העולם השנייה. לאחר מכן שימשה הטירה את אוניברסיטת קנאזווה, וכיום היא משמשת פארק ציבורי.

העיר קנאזווה המודרנית נוסדה ב-1 באפריל 1889, לאחר ביטול שיטת ההאן ויצירת מחוזות יפן. על אף הימצאות מפקדת הדיוויזיה התשיעית של הצבא היפני הקיסרי בעיר, לא הפציצו אותה בעלות הברית בזמן מלחמת העולם השנייה, ולכן רבים ממבניה ההיסטוריה שרדו תקופה זו. ב-25 במרץ 2007 רעידת אדמה בעוצמה 6.9 בסולם ריכטר הכתה בחוף חצי האי נוטו (אנ') שבמחוז.