江戸時代の1600年代初め、生駒氏の家臣であった佐藤道益の居宅の作庭が本園の始まりとされている。この頃の香東川は紫雲山を挟んで東西二筋の流れであったが、生駒氏の姻戚の藤堂氏（津藩主）のもとから派遣された西嶋八兵衛の治水工事で東側の流れが堰き止められ、西側の流れ一本に改変された。川の跡地は豊富な伏流水を持つ広い土地になり、庭園となる条件が整った。この時代に生駒氏の家臣の屋敷地から、後の庭園につながる整備がされたとされている[注釈 1]。生駒氏は改易により出羽国由利郡矢島へ移付となる。1642年（寛永19年）5月、初めて入国した高松藩初代藩主の松平頼重は、7月に栗林の地を訪れ検分する。頼重は隠居に当たって栗林荘に御殿を建て居住する。第2代藩主頼常は、飢饉対策の救済事業として、被害に遭った人々を栗林荘の作庭に雇い、庭園を拡張した。この頃、南庭・北庭を備えた庭園となる。第3代藩主頼豊は、在国時は居所を高松城から栗林荘にするほど愛好し、庭内の整備を一層すすめた。第5代藩主頼恭も薬園を設ける等作庭に力を入れ、1745年（延享2年）に「名所60景」を撰名した。栗林荘の完成を区切るとすれば、現在に通じる景観が形成された、頼重着任後約100年のこの時代である。その後、高松藩松平家の国もとの下屋敷として幕末まで経営された[1][2]。

明治維新を経たのち、1871年（明治4年）廃藩置県により「栗林荘」の敷地は官収された。その後県に払い下げられ、大名の占有であった「栗林荘」は1875年（明治8年）3月、「栗林公園」として開園され、一般に開放された。しかし、香川県は合併・分離を繰り返し、手入れが行き届かず各種の問題が発生した時代があった。1899年（明治32年）香川県博物館（商工奨励館）が開館し、図書閲覧所が同館内に併設された。1903年（明治36年）の皇太子（後の大正天皇）行啓も、園内整備の契機となる。1913年（大正2年）に完成した北庭の改修は、運動場や遊戯場と複数の観覧施設を新設し、博物館の周囲も近代庭園に整備された。1930年（昭和5年）に動物園が開園、同8年に動物園にプールが併設された。太平洋戦争後の1949年（昭和24年）に高松美術館[注釈 2]、1965年（昭和40年）に讃岐民芸館が開館した。その後、運動場と遊戯場は撤去して整備され、美術館跡に鴨場（鴨引き堀）を復元、動物園とプール跡に駐車場・栗林庵（かがわ物産館）・便益施設等が新設された[2][3][4]。

引用エラー: 「注釈」という名前のグループの <ref> タグがありますが、対応する <references group="注釈"/> タグが見つかりません