Precisamente, en este sector es donde pudo actuar Villanueva con mayor libertad y donde se enmarca el encargo real de construir la casa para habitación del Gobernador y establecimiento de los edificios de Contaduría, Tesorería y Escribanía, ocupando exactamente la mitad de una de las nuevas manzanas, entre las calles del Almíbar y Capitán.
La realización de estas viviendas para la representación del Rey en el Sitio y otras oficiales era una deuda pendiente, tras el derribo en 1762 de la antigua casa donde habitaban, con el fin de adaptarse a la planificación del Sitio, Y aunque inicialmente se previó mantener el mismo emplazamiento de la casa para la gobernación que había sustituido a ésta, finalmente su solar, junto a la Plaza de San Antonio, se destinaría a los infantes hijos de rey Carlos III.
En cuanto al terreno elegido en el nuevo ensanche para el Gobernador tiene planta rectangular y una superficie de (25x50) m, aproximadamente, sobre el que se levanta un volumen de planta e “U” simétrica, alrededor de un patio rectangular medianero (10x25) m, seguramente con la pretensión de que éste se completara hasta el cuadrado con las edificaciones del resto de la manzana.
Cuenta con dos niveles, bajo y principal, más semisótano en parte de la superficie, concretamente en el ángulo Noroeste, aprovechando la pendiente de las calles del Gobernador y Almíbar, así como buhardillas vivideras. Estructuralmente se resuelve con dobles crujías de muros de carga por ala y dos cajas de escalera en cada vértice libre del patio, siendo estos núcleos de comunicación y las circulaciones que se suscitan entre ellos y los accesos al interior de la casa base de su esquema ordenador, aparentemente sencillo, pero, como en otras obras vilanovinas, complicado por el deseo de dar respuesta a los distintos usos que acogía, sin perder por ello la racionalidad y claridad formal.
El Arquitecto prevé tres entradas a la casa, centradas en cada uno de los frentes y con sus correspondientes zaguanes: las de la calle del Almíbar y Capitán, occidental y oriental respectivamente, destinadas a personas, y la del Norte o de Gobernador, común para carruajes, a través de un eje transversal, en el que se sucedían tres vanos, el último de salida al patio.
Esta composición permitiría la autonomía de los sectores en que dividía la Casa del Gobernador, uno de ellos indudablemente para residencia de éste, relacionados a través del vestíbulo central. No obstante se trataba de una autonomía incompleta, por cuanto se mantenía el mismo nivel en el piso inferior, obligando a disponer una escalinata en el vestíbulo inferior para alcanzar la cota del superior.
La escalera de cada sector es de planta cuadrada, resuelta en tres tramos con gran ojo central, permitiendo la más occidental, y sin modificar su trazado, la bajada al semisótano, consistiendo éste en una doble crujía que se iluminaba con lunetos.
Han sido tan profundas las notificaciones a lo largo de la vida del edificio, que resulta, a excepción de lo descrito, prácticamente imposible conocer su compartimentación original, en la que se debía dar satisfacción al ambivalente programa referido.
Se intuyen los frentes del patio, muy permeables, con puertas en todo el piso bajo y alargados huecos en correspondencia vertical con el superior, con balcones embebidos en su ancho. Destaca el lado mayor, en cuyo nivel inferior se alternan rítmicamente cuatro vanos rectangulares con tres arcos escarzanos.
Al exterior, la composición también es sencilla, nada ostentosa, potenciado los ejes centrales de cada fachada, siendo básicamente iguales los menores, pero inversos, organizados con cinco líneas de huecos. La portada central se enmarca con jambas y dintel moldurados de piedra de Colmenar y guardapolvos sobre el que descansa el balcón superior, de mayor longitud que los demás. En cuanto al vano intermedio de la fachada mayor se conoce escasamente, pues fue cegado en un determinado momento, si bien se sabe que