La mitad restante, junto a la calle del Rey, se destina a un jardín rodeado de edificaciones auxiliares de una sola planta. Como en la casa de la Reina, un eje este-oeste ordena el conjunto, tanto al establecer la simetría básica como al organizar y jerarquizar los recorridos. Es difícil conocer con precisión su funcionamiento original, aunque es evidente que el piso primero acogía la planta noble, como indica su propia prestancia y la magnífica escalera que se conserva. Ello es coherente con la división tripartita de su alzado, donde la planta baja tiene condición de basamento y la segunda de ático, destinado probablemente a la servidumbre.
La ordenación de la crujías del edificio principal revela una atractiva coherencia entre función y construcción. EL cuerpo delantero cuenta con una triple crujía, que permite un zaguán articulado en los dos primeros vanos, previo a la espaciosa escalera; esta originalmente pudo ser doble y simétrica. También el cuerpo posterior dispone de tres crujías, de las cuales la central aloja un patio de servicio, hoy probablemente alterado. En los cuerpos laterales las crujías son dobles. A pesar de las transformaciones sufridas, aún es perceptible la inteligencia con que las crujías perpendiculares se entrelazan en las esquinas. La claridad de planteamientos se ha desdibujado con la actual distribución utilitaria; las mayores pérdidas se advierten en la interrupción del recorrido axial hasta el jardín, al que se descendía por una escalera exterior doble; la desaparición del propio jardín, hoy un erial dividido en dos por una tapia; y el general estado de deficiente conservación.
La atribución a Villanueva se basa tanto en las propias características del edificio como en los datos biográficos del arquitecto. El inmueble, aun carente de singular ornamentación, rezuma clasicismo en su organización de plantas y alzados, y en su especial carácter sobrio y monumental. En aquellos años, Juan de Villanueva trabajó para el duque en otros encargos y el palacio de Aranjuez es muy acorde con su obra contemporánea, con sorprendentes semejanzas con otros trabajos suyos como la casa del Rezado, actual Academia de la Historia en Madrid. La aportación de Villanueva a la arquitectura de Aranjuez, tanto en su vertiente normativa como en su actividad profesional, tiene una especial relevancia que se contemplará en el capítulo siguiente.
El palacio de Medinaceli está situado en una de las manzanas que ocuparon la nueva plaza de Abastos hasta acortarla en su tamaño actual. Viene a ser un edificio insertado en la ciudad existente y establecer un diálogo con ella: una lección de cómo levantar una arquitectura representativa en la regularidad del contexto urbano, de cómo encontrar el punto medio entre la homogeneidad y la singularidad. Resulta instructivo comparar esta obra con la vecina casa del Gobernador, obra del mismo Villanueva.