La première ferme sur le continent australien, « neuf acres de blé » a été créée à Farm Cove en 1788 par le gouverneur Phillip. Bien que cette ferme n'ait pas perduré, la terre y a été constamment cultivée depuis cette époque, des moyens ayant été trouvés pour rendre plus productifs ces sols relativement infertiles.

Les jardins botaniques ont été créés sur ce site par le gouverneur Macquarie en 1816, comme partie du domaine du Gouverneur. Une longue histoire de collecte et d'étude des plantes commença avec la nomination du premier botaniste colonial, Charles Fraser, en 1817. Les jardins botaniques sont donc la plus ancienne institution scientifique en Australie et, depuis les premiers jours, ont joué un rôle important dans l'acclimatation de plantes provenant d'autres régions.

Après avoir été gérés par une succession de botanistes coloniaux et de super intendants comme les frères Richard et Allan Cunningham, un premier directeur, John Carne Bidwill, fut nommé en 1847. Il fut remplacé l'année suivante par Charles Moore (1820-1905), un Écossais qui avait été formé dans les jardins botaniques de Trinity College, à Dublin. Moore, qui fut directeur pendant 48 ans (1848-96), fit beaucoup pour développer les jardins botaniques dans leur forme moderne. Il a pris en compte les problèmes de la pauvreté des sols, de la médiocre qualité de l'eau et du manque de moyens, pour développer une grande partie des jardins sous la forme que nous connaissons aujourd'hui. La palmeraie, au cœur des jardins, rappelle l'habileté et la prévoyance de Moore, car ce terrain qu'il récupéra derrière la digue Cove Farm, ajouta un domaine important aux Jardins botaniques royaux.

En 1862, le premier zoo de Sydney a été ouvert au cœur des jardins botaniques et y resta jusqu'en 1883, quand la plupart de celui-ci a été transféré à Moore Park. Au cours de ces années, une grande partie de ce qui restait de la végétation naturelle aux environs du domaine a été arrachée et l'endroit aménagé en parc. Les figuiers de la baie de Moreton (Ficus macrophylla), l'un des éléments majeurs de cette plantation, continuent de dominer le paysage.

En 1879, une partie importante du domaine, au sud des écuries du gouvernement (aujourd'hui le Conservatoire de Musique), a été utilisée pour la construction du Garden Palace. Ce bâtiment — exemple exceptionnel de l'exubérance architecturale victorienne, avec ses tours et tourelles déployées autour d'un dôme géant de 30 m de diamètre, surmonté d'une lanterne à 60 m au-dessus du sol qui domina pendant un temps l'horizon de Sydney — couvrait plus de deux hectares. Le salon international organisé dans le Palais en 1879 a attiré plus d'un million de visiteurs. Toutefois, le bâtiment a été détruit par un incendie en 1882 et l'emplacement, maintenant connu sous le nom de jardin du palais, a été ajouté au Jardin Botanique.

Vers la fin de son mandat de directeur, Moore, en collaboration avec Ernst Betche, a publié le Manuel de la Flore de la Nouvelle-Galles du Sud[1], renforçant encore plus le rôle des jardins comme centre botanique.

Moore fut remplacé par Joseph Henry Maiden qui, durant les 28 ans où il fut en poste, ajouta beaucoup de maturation aux paysages de Moore. Il a organisé la construction d'un nouvel herbier, l'Herbier nationale de Nouvelle Galles du Sud (en), ouvert en 1901 (aujourd'hui faisant partie de l'Anderson Building) et apporté d'importantes améliorations au domaine. Toutefois, les jardins botaniques ont souffert de la perte de personnel au cours de la Première Guerre mondiale et lors de la dépression des années 1930, le poste de directeur fut supprimé. L'herbier et les collections vivantes ont dépéri. En 1945 le botaniste Robert AndersonRobert Anderson a travaillé pour réunifier les deux collections. En 1959, le titre de « Royal » a été accordé à l'ensemble et l'herbier et les Jardins botaniques royaux ont été administrativement réunifiés sous le titre de Royal Botanic Gardens. Knowles Mair (1965-70) a réalisé la réunification et le Royal Botanic Gardens a commencé son retour vers les sommets.

En 2012, il fut utilisé comme décor lors de l'arrivée de la finale du jeu télévisé Pékin Express, huitième saison.