Hij werd geboren op huize de Hemelsche Berg in Oosterbeek als zoon van de jurist en schrijver [[Christianus_Petrus_Eliza_Robidé_van_der_Aa| Christianus Petrus Eliza Robidé van der Aa]] en Lucia Maria de Jongh. Nadat zijn moeder in 1846 was overleden en zijn vader in 1848 onder curatele gesteld werd de echtgenoot van zijn halfzus, Anna Cornelia Robidé van der Aa, Mr. Gerrit David Jordens, zijn voogd. Hij genoot zijn eerste opleiding op de kostschool “Het Hemeldal” gelegen op het landgoed van zijn ouders onder leiding van de heer Roodhuyzen. In 1847, kort na het overlijden van zijn moeder, werd hij op het instituut van P. de Raadt op het instituut Noorthey bij Voorschoten geplaatst, waar hij verbleef tot Augustus 1850. Van der Aa die, evenals zijn ouders, tot de Evangelisch Lutherse gemeente behoorde wilde aanvankelijk tot predikant worden opgeleid aan het Atheneum en Evangelisch Luthers Seminarie te Amsterdam. In mei 1855 legde hij in Leiden zijn kandidaats-examen in de theologie af. Daarna zette hij die studie echter niet door maar wijdde zich aan geschiedkundige en vooral aardrijkskundige studiën. In 1856 gaf hij gedurende een korte tijd aardrijkskundige lessen op het Instituut Noorthey. Maar voldoende kapitaalkrachtig om niet te hoeven werken vestigde hij zich in 1857 in Den Haag eerst aan de Wagenstraat en later aan de Laan Copes van Cattenburch waar hij begon met de aanleg van een rijke bibliotheek en kaartenverzameling. Hij bleef ongehuwd.
