Das kaiserliche Quartier trägt seinen Namen von dem hier für den Thronkandidaten Karl VII. Albrecht eingerichteten Appartement, das er bewohnte, bevor er 1742 nach Frankfurt zu seiner Krönung als Römischer Kaiser zog.

Das Vorzimmer des Kaiserquartiers war früher der "Rote Saal" und zur großherzoglichen Zeit das Speisezimmer der fürstlichen Gemächer. An den Wänden die vier Tapisserien der "Teniers-Serie", die wohl zu Beginn des 18. Jahrhunderts von den Teppichwebern Jasper van der Borght und Hieronymus le Clerck aus Brüssel gefertigt wurden.