Ihren Ursprung hat die Eremitage in einem Tiergarten, welcher 1664 von Markgraf Christian Ernst errichtet wurde. 1715 begann dessen Sohn Georg Wilhelm mit dem Bau des Alten Schlosses als Mittelpunkt der Anlage.
Über das gesamte Grundstück wurden Eremitenhäuschen verteilt, in denen sich das höfische Leben abspielte. Ab 1735 ließ Markgräfin Wilhelmine die Anlagen durch Alleen, Bosketten und Wasseranlagen erweitern, welche dem Stil des zwar Barock folgten, allerdings dominierte dieser die Werke nicht komplett.
Heute wird die Eremitage von der Bayerischen Verwaltung der staatlichen Schlösser, Gärten und Seen betreut.
Das Alte Schloss diente als Residenz für das Markgrafenpaar Friedrich und Wilhelmine von Brandenburg-Bayreuth und bildet den Mittelpunkt der Eremitage. Als Friedrich die Anlage 1735 seiner Frau als Geburtstagsgeschenk vermachte, begann diese sofort mit dem Umbau und der Erweiterung des Schlosses.
So fanden zum Beispiel ein Musikzimmer, ein japanisches Kabinett und ein chinesisches Spiegelkabinett im Inneren des Schlosses Platz, außerhalb des Schlosses wurden verschiedene Brunnenanlagen und die Untere Grotte errichtet. Heute ist das Alte Schloss ein Museum.
Die Eremitage steckt voller beeindruckender Bauwerke. Das wohl Berühmteste ist dabei das Neue Schloss mit der oberen Grotte, welches von 1749 bis 1753 errichtet wurde und durch seine mit Steinen, Kristallen und Glasstücken mosaikartig verkleideten Außenwände hervorsticht.
Im Zentrum der Eremitage befindet sich die eindrucksvolle Orangerie mit dem Sonnentempel, in dessen Westflügel im Sommer regelmäßig Kunstausstellungen gezeigt werden.
Die Eremitage beeindruckt aber auch durch zahlreiche Wasserspiele in der Oberen Grotte vor dem Neuen Schloss (Mai - Mitte Oktober, stündlich zwischen 10 und 18 Uhr), in der Unteren Grotte des Alten Schlosses (jeweils 15 Minuten nach der Oberen Grotte) und im Grottenturm (nur während Führungen).
