Zámok Balmoral aj s priľahlými rozsiahlymi pozemkami kúpil v roku 1852 princ Albert ako darček pre svoju manželku, kráľovnú Viktóriu. Budova sa mu však nepozdávala, podľa neho nebola dostatočne dôstojná, a tak vedľa nej nechal postaviť nový majestátnejší zámok. Ten dokončili v roku 1856 a následne bol starý zámok zbúraný. Na mieste, kde stáli jeho predné dvere, však ako pamätník umiestnili kamenný stĺp.

Kráľovná Viktória si rýchlo osvojila zvyk pripomínania si životných míľnikov prostredníctvom takýchto stĺpov. Jeden nechala postaviť ako spomienku na to, že jej manžel kúpil Balmoral, a ďalších deväť vyrástlo vždy, keď sa niektoré z jej detí oženilo. Výnimkou bol princ Alfred. Dodnes sa presne nevie, prečo práve on po svadbe nedostal svoj stĺp.

Po manželovej smrti dala Viktória postaviť prvú ozajstnú pyramídu. Má pôdorys so stranou 12,5 metra, je zo žuly a stojí na vrchole malého kopca. Na jej stene je nápis: „Na milovanú pamiatku Alberta, veľkého a dobrého princa manžela. Vztýčila jeho vdova Viktória R. so zlomeným srdcom 21. augusta 1862.“

Žialiaca Viktória začala po manželovej smrti tráviť v Balmorale viac času. Ostávala tu v lete a skorej jeseni aj štyri mesiace. Keď zomrel jej verný sluha John Brown, aj jemu nechala vztýčiť stĺp, ale netrvalo dlho a dala ho strhnúť. Požiadal ju o to najstarší syn Edward, ktorý Browna neznášal.

Balmoral dodnes slúži ako jedno zo sídiel britskej kráľovskej rodiny a je majetkom kráľovnej, nie však Koruny. Alžbeta II. ho vlastní ako súkromná osoba a tamojšia záhrada je na jar prístupná verejnosti.