Ursprünglich von einer Ringmauer und einem Wassergraben geschützt, übernahm später das Geschlecht Grafeneck das Anwesen und prägte seinen Namen. Ulrich von Grafeneck war kurzzeitig Besitzer, bevor eine wechselhafte Abfolge von Eigentümern Um- und Ausbauten durchführte, die die Geschichte über Jahrhunderte hinweg widerspiegeln. Nach der Rückgabe aus sowjetischer Verwaltung wurde die beschädigte Bausubstanz renoviert. Seit 1971 dient Grafenegg als kultureller Treffpunkt und erlebt im 21. Jahrhundert weitere Ausbauphasen als eine der bedeutendsten romantischen Schlossanlagen Österreichs.
August Ferdinand Graf Breuner-Enckevoirth errichtete das heutige Schloss Grafenegg. Durch die Heirat von Maria, der ältesten Tochter von August Johann, mit Viktor II. Herzog von Ratibor und Fürst von Corvey, gelangte das Anwesen in diese Familie. Franz Albrecht Metternich-Sándor, adoptiert von Clementine Prinzessin von Metternich-Sándor, übernahm nach dem Zweiten Weltkrieg die Besitzungen. Er etablierte 1971 die Tradition bedeutsamer Kulturveranstaltungen in Grafenegg. Der gegenwärtige Besitzer, Tassilo Metternich-Sándor, leitet die Schlossanlage gemeinsam mit seiner Frau Clarissa Gräfin zu Toerring-Jettenbach.