הטירה נבנתה לראשונה במאה ה-11 על ידי השליט הנורמני של אוסה, גולדן דה סאומור, שהקיף את שטח הטירה בטרסה גבוהה. הטירה הועברה לידי רוזנות דה בלואה, שבנתה אותה מחדש באבן.

 עצי תפוז ניצבים באורנז'רי שבמרפסת הטירה.

במאה ה-15, הטירה ההרוסה של אוסה נרכשה על ידי ז'אן החמישי דה בוייל, גנרל בצבאו של שארל השביעי שהפך לסניור של אוסה ב-1431. דה בוייל החל לשקם את הטירה מחדש בשנת 1440; בנו אנטואן דה בוייל התחתן בשנת 1462 עם ז'אן דה ואלואה, בתם הביולוגית של שארל השביעי ואגנס סורל, שהביאה כנדוניה 40,000 אקו זהב. אנטואן היה שרוי בחובות כבדים ובשנת 1455, מכר את הטירה לז'אק ד'אספיני, בנו של שאמבלאן דוכס ברטאן ובעצמו שאמבלאן המלך; ד'אספיני בנה את הקפלה, שהושלמה על ידי בנו שארל בשנת 1612, בה הסגנון הגותי הלוהב עורבב עם מוטיבים חדשים מתקופת הרנסאנס.

במאה ה-17 הרס לואי הראשון דה ולונטינאיי, ראש משק בית המלוכה, חלק מהבניינים הצפוניים של הטירה על מנת לפתוח את החצר הפנימית לנוף הנשקף מן מרפסת הגן, אשר עיצובה מיוחס לאדריכל הנוף הידוע אנדרה לה נוטר. חתנו של ולונטינאיי היה המהנדס הצבאי סבסטיאן דה וובאן, שביקר בטירת ד'אוסה תכופות.

שארל פרו, מחברם של כמה מן האגדות המפורסמות ביותר כיום, ביקר לעיתים קרובות בטירה והיה אורח קבוע בה. טירת ד'אוסה היא זו שהביאה לו את ההשראה לטירה מהאגדה הקלאסית היפהפייה הנרדמת אותה כתב[1].

מאוחר יותר עברה הטירה לבית רוהן. בשנת 1802 נרכשה הטירה על ידי הדוכס דה דורס; כבר במרץ 1813 נערכו באוסה פגישות חשאיות בין קבוצה של נאמני בית בורבון, שנפגשו כדי לבחון את האפשרויות לעלייה מחודשת לשלטון של בית בורבון, בין המשתתפים נכללו אנשים כגון טרמויל, הדוכס לבית פיץ ג'יימס, הנסיך ז'ול דה פוליניאק, אנטואן-פרנסואה-קלוד פרנד, מונמורנסי והדוכס לבית דה רושפוקו. בטירה יעבוד מאוחר יותר הסופר פרנסואה-רנה דה שאטובריאן על ספר הזכרונות שלו "Mémoires d'Outre-Tombe" כאורח הדוכסית קלייר דה דוראס.

בשנת 1885 הורישה הרוזנת דה לה רוצ'אקליין את הטירה לאחיינה, הרוזן דה בלאקאס.

אוסה סווגה כאנדרטה היסטורית בשנת 1931 על ידי משרד התרבות הצרפתי.