Es interesante la composición exterior de los pabellones auxiliares, configurado el alzado principal por cuatro grandes portales, con sus basas de piedra y dinteles de madera, los cuales comprenden toda la altura en el meridional, pero no en el Norte, pues en éste se aprovecha la pendiente de terreno para, manteniendo la cota de cornisa, obtener un nivel más. Esta decisión hace en pro de la funcionalidad, aun cuando suponga la pérdida de simetría con respecto al eje central.
La categoría de esta residencia indica que, si bien el Duque de Medinaceli pudo tener, en razón de su cargo, asegurado su alojamiento en las dependencias reales de Aranjuez durante las jornadas Reales, debió ser su propia esposa la Duquesa de Santisteban del Puerto su ocupante, acompañada de su familia, y numeroso servicio.
La propiedad la conservarían los Medinaceli durante el siglo XIX, hasta su venta y conversión en casa de vecindad, uso que conserva mayoritariamente en la actualidad. Se sabe, en cualquier caso, que en 1844 se instaló en él toma de agua y que en 1865 era uno de los palacios que descollaban en el casco de la población, muy bien alhajado, a juicio de López y Malta.
Catalogado con nivel estructural en el Plan General de Ordenación Urbana, presenta un estado regular de conservación, fundamentalmente por la segregación funcional y división de la propiedad, precisando una intervención, que aúne la recuperación de la composición original con los usos permitidos.
Se proponía también en el catálogo de 1996 la rehabilitación del jardín y su conservación en plaza, sin precisar el destino de las alas y pabellones de esquinas, aun cuando sin éstos el conjunto perdería en gran medida el sentido con el que fue concebido.
A pesar del interés de muchos de sus elementos: zaguán, escaleras, patios principal y de servicio, jardín y caballerizas posteriores, una atmósfera de abandono y desidia invade al antiguo Palacio de Medinaceli, aun siendo