העיר צמחה בשפכו של נהר, על בסיס של אדמות סחף וטיט שנסחפו על ידי הנהר. נמצאו באתר שרידים קדומים של תרבות סא הווין (Sa Huynh), המתוארכים לתקופה שבין המאה ה-1 לפנה"ס ועד המאה ה-1 לספירה. יורשיהם של בני תרבות סא היון היו בני אומת צ'אמפה ששלטה במרכז ודרום וייטנאם. הוי אן, שנקראה באותה תקופה לאם אפ פו (Lâm Ấp Phố) התפתחה להיות אחד הנמלים הגדולים בדרום-מזרח אסיה.

במאה השמינית ירדה הוי אן מגדולתה, והפעילות המסחרית עברה לנמל ט'י נאי (Thi Nay), ליד קי ניון (Quy Nhon) של היום. החל מן המאה ה-12 ועד המאה ה-15 הייתה הוי אן מרכז חשוב על הדרך הראשית בין הצפון לדרום, ובשל מיקומה גם שימשה כמרכז לסחר עם הארצות שממערב.

במאה ה-16 ובמאה ה-17 התפתחה העיר כמרכז סחר חשוב, במקביל להתפתחות המסחר באזורים הפנימיים של הארץ. ישבו בה סוחרים סיניים ממחוזות שונים, יחד עם סוחרים יפניים, הולנדים והודים. בתקופה זו נקראה העיר האי פו (Hai Pho), "עיר חוף". חלק מן העיר היה מושבה יפנית, שהייתה מחוברת לשאר העיר בגשר; הגשר (Chùa cầu) הוא מבנה ייחודי, מקורה לכל אורכו בקירוי שנבנה על ידי היפנים, ובקצהו פגודה בודהיסטית. מיקומה של העיר שוב הועיל מאוד בתקופה זו, הן בשל היותה עיר נמל, והן בשל מיקומה על הדרך בין הצפון לדרום. עד סוף המאה ה-18 זכתה העיר לפריחה כלכלית.

האירופים - צרפתים, ספרדים, פורטוגזים והולנדים - הכירו את הוי אן בשם פייפו (Faifo). הוצעו מספר הסברים לשם זה; יש הטוענים שזהו שיבוש השם האי פו; אחרים טוענים שהשם בא מקיצור השם הוי אן פו (Hội An-phố) שפירושו "העיר הוי אן"; השם קוצר להוי פו, ומשם הגיע השיבוש פייפו.

לקראת סוף המאה ה-18 החלה הוי אן לרדת מחשיבותה. במהלך המאה ה-19 גדלה הוי אן, אך חשיבותה המשיכה לרדת, עד שאבדה לקראת סוף המאה, והעיר הפכה לעיר קטנה ובעלת חשיבות נמוכה.

ב-1999 הוכרזה העיר העתיקה כאתר מורשת עולמית על ידי אונסק"ו. העיר זכתה להכרזה זו משתי סיבות: היותה דוגמה לשימור מוצלח של עיר נמל מסחרית בדרום-מזרח אסיה, מן המאות החמש עשרה עד התשע עשרה, וכן בשל השילוב ייחודי בין סגנון הבנייה המקומית לבניינים שנבנו בהשפעה זרה.