公园起源于元龟、天正年间（16世纪末）居住于今高松市伏石町的豪族佐藤氏（佐藤志摩介道益）在高松西南地区修筑的别邸。

1625年左右，讚岐國国主生驹高俊（日语：生駒高俊）在南湖一带修筑庭园。宽永17年（1640年），生驹家因发生内乱（生驹骚动（日语：生駒騒動）），而遭受改易（日语：改易）的处罚，失去赞岐国的领地。宽永19年（1642年），新任高松藩主，以12万石知行入主的原水户德川家的松平赖重继续了庭园的建设。此后的建设历经高松松平家（日语：高松松平家）5代藩主时期，时间跨度超过100年，终于在延享2年（1745年）第5代藩主松平赖恭任内完工，命名为“栗林庄”，作为高松藩的别邸。

明治4年（1871年），随着废藩置县而归属于明治政府管辖，8年后复归于县内管辖，作为县立公园向公众开放。昭和28年（1953年），被指定为国家特别名胜。