Hay constancia documental de esta afirmación en la respuesta del rey Felipe II al informe presentado en noviembre de 1563 por el flamenco Adrián van der Mulée, a quien, habiéndosele encomendado la búsqueda de terrenos para la construcción de estanques, le fue rechazada la propuesta de ubicar uno en la explanada al mediodía del Palacio, pues se había reservado para construir las caballerizas y las casas de servicio.
Hasta su edificación a finales del siglo XVI, los criados de S.M. habían ocupado algunas de las “casucas de barro y mezquina construcción”, como afirmaba Álvarez de Quindós, hechas cuando en 1535 se empezó a formar el Bosque Real, las cuales se hallaban muy próximas de las casa principales que fueron de D. Gonzalo Chacón, Alcaide de Aranjuez bajo los Reyes Católicos, conservadas y destinadas estas para alojamientos de los gobernadores. Se situaba este asentamiento, orgánicamente originado, a levante y mediodía del antiguo palacio maestral y luego real, las más entre las actuales embocaduras de las calles de la Reina y San Antonio, según demuestran las vistas de la época.
Estas viviendas debían saturarse cuando el Soberano acudía a solazarse al Sitio, pues el derribo de una de ellas en 1561, frontera y molesta a la perspectiva desde el Palacio, obligó a “rreparar la casa de don gonÇalo y casillas que están en medio dellas y se hizo una cozina con dos chimeneas para aposento de los ofiÇiales y serviÇio de Vuestra Magestad y en la dicha casa de don gonÇalo se hizo una caballeriza del largo del quarto y enÇima della con alholí para el trigo y Çebada que allí se recoge”. Era, en cualquier caso, una solución provisional, porque ya entonces o poco después, como se ha referido, Felipe II daría orden a Juan Bautista de Toledo de trazar una de nueva planta para acoger a la servidumbre.
Aunque antes del proyecto de este Arquitecto para el Palacio de Aranjuez hubo otro de Luis y Gaspar de Vega de 1557, se desconoce si éste comprendía algo más que la residencia regia, ya que Toledo renovaría completamente los diseños de los segundos, al recibir el encargo, extendiendo su propuesta a la urbanización del entorno inmediato.
Lamentablemente, no se conoce el proyecto de Juan Bautista de Toledo para la Casa de Oficios de Aranjuez, la cual ni siquiera había comenzado a ejecutarse a su fallecimiento ocurrido en 1567, porque Felipe II había querido paralizar estas obras hasta concluir las del Cuarto Real.
En 1577 hay documentos que prueban que el rey volvió a manifestar deseos de levantar los Oficios, cuando dirigía las construcciones en Aranjuez el maestro mayor de las obras reales, Juan de Herrera, a quien previamente le fue encomendada la realización de nuevas trazas.
Así lo demostró Juan José Martín González en base a dos mandatos de S.M. fechados en dicho año, uno del 28 de julio firmado por el secretario Martín de Gaztelú, en el que, refiriéndose a las Casa de Oficios de Aranjuez, se expresaba que “éstas se han de elegir luego como está determinado y se verá en la traza que para ello dará