Grytviken rajati 16. novembril 1904. aastal vaalapüügijaamana. 1913. aastal rajati kirik ja 1930 elas linnas 1200 elanikku. Falklandi sõja ajal okupeerisid Grytvikeni Argentina väed.
3. oktoobril 1913 sündis Grytvikenis esimene inimene ja seega esimene inimene, kes on sündinud lõunapolaaraladel.
Viimase 60 aastaga on linna elanikkond dramaatiliselt vähenenud, kuna 1966. aastal suleti vaalapüügijaam. Tänapäeval elab Grytvikenis alaliselt kaks elanikku.
