De stichting van de nederzetting Grytviken, op 16 november 1904, wordt toegeschreven aan de Noorse Kapitein Carl Anton Larsen. Hij had zich gevestigd op de randen van Zuid-Georgia die al door walvisjagers waren bezocht. De naam 'Grytviken' is echter Zweeds en betekent 'Potbaai'. Deze naam werd twee jaar eerder gegeven door de Zweedse archeoloog en geoloog Johan Gunnar Andersson, naar de potten die gebruikt werden om levertraan te bereiden.

De beroemde poolonderzoeker Ernest Shackleton ligt begraven op de begraafplaats van Grytviken. Hij overleed in 1922 aan boord van de Quest terwijl deze voor anker lag bij de plaats. Hier liggen ook de herbegraven resten van zijn collega Frank Wild.

In april 1982 (Falklandoorlog) werd Grytviken Argentijns na afloop van een korte slag tegen de Britten. Echter, drie weken daarna hernamen de Britten hun positie in Grytviken. Tot 2001 was er een klein Brits garnizoen op het eiland aanwezig. In 1990 kwam het eiland weer onder civiel bestuur.