Der Name Gamle Stavanger bedeutet im deutschen Alt Stavanger. Im Stadtteil befindet sich eine Vielzahl historischer Holzhäuser. Insgesamt zählt der Stadtteil 173 denkmalgeschützte Gebäude. Das älteste erhaltene Gebäude ist das wohl bereits Anfang des 18. Jahrhunderts errichtete Haus Blidensol in der Øvre Strandgate, dessen erste urkundliche Erwähnung aus dem Jahr 1767 überliefert ist. Blindensol war Teil eines Bauernhofs, zu dem der größte Teil der Flächen der Umgebung gehörte. Andere Häuser entstanden zum Ende des 18. Jahrhunderts nach dem Stadtbrand von Stavanger im Jahr 1760. Der überwiegende Teil der Häuser entstand jedoch zwischen 1820 und 1860. Die Wohnflächen der kleinen, ursprünglich meist von Fischerfamilien genutzten Häuser betragen nur zwischen 27 und 80 m², wobei die Gebäude zum Teil von zwei Familien genutzt worden.

Im Jahr 1948 beabsichtigte die Stadt Stavanger das Viertel abzureißen, um ein Industrieareal anzulegen. Der Stadtarchitekt Einar Hedén setzte sich jedoch für den Erhalt des Stadtteils und die Ausweisung von Denkmalschutz ein. Nachdem er 1951 eine Restaurierung von 33 Häusern vorgeschlagen hatte, stimmte eine Stadtratsmehrheit dem 1956 zu. 1957 wurde unter dem Vorsitz von Hedén ein Verein zum Erhalt der Altstadt gegründet. Die Zahl der denkmalgeschützten Bauten wurde 1964 auf 79 erhöht, bis dann 1979 ein Projekt zum Schutz des gesamten Gebiets begann. Heute (Stand 2017) präsentiert sich der Stadtteil praktisch vollständig saniert. Die überwiegend weiß gestrichenen Gebäude werden zu Wohnzwecken oder als Geschäfte bzw. Werkstätten von Kunsthandwerkern genutzt. Die Stadt Stavanger zahlt den Bewohner des Stadtteils Zuschüsse um den Erhalt der Häuser im historischen Stil zu ermöglichen.

Ein in Gamle Stavanger bestehender Platz wurde zu Ehren des Stadtarchitekten als Einar-Hedén-Platz benannt. Im Zentrum des Stadtteils befindet sich das Norwegische Konservendosenmuseum. Zum Hafen hin liegt das alte Zollamt Gamle Tollbod. Am nordöstlichen Ende Gamle Stavangers steht das Denkmal von Admiral Thore Horve. Am südlichen Zugang zum Stadtteil befindet sich die an den Philosophen Lars Lende (1882–1971) erinnernde Lars-Lende-Statue.