Localizada en la Dehesa de la Herrería, al Oeste del Monasterio, fue encargada al arquitecto Juan de Villanueva en 1771, para el Infante D. Gabriel de Borbón, hijo de Carlos III. Tenía como finalidad el disfrute de sus grandes aficiones, entre las que se encontraba la música y poder llevar una vida íntima, rodeado de su círculo de amistades, al margen del protocolo que rodeaba al palacio.
Está inspirada en las villas italianas y su uso es exclusivamente de recreo. Se trata de una construcción concentrada y exenta, rodeada de jardines aterrazados, tratados de manera arquitectónica, que crean una sensación de unidad, al estar relacionados con el edificio.
En la sala principal, la cúpula se decora con pinturas alegóricas relacionadas con la música. Estaba destinada a sala de audición, los músicos se instalaban en la parte de arriba y se les podía oír desde la plazoleta central del jardín.
Desde sus jardines se pueden contemplar unas maravillosas vistas del Monasterio.
Su Majestad El Rey Juan Carlos I ha sido el último miembro de la Familia Real que se ha hospedado en la Casita, durante su periodo estudiantil en el campo del Derecho. Este edificio fue declarado Monumento Histórico-Artístico en 1931 junto al Monasterio.