Por su cercanía a palacio fue muy valorada, a pesar de su comparativamente reducido jardín; siendo su más destacado inquilino D. Francisco Silvela, jefe del partido conservador, quien la ocupaba hacia 1902 y por quien recibe su nombre.
Su posterior abandono la llevo a un progresivo estado de degradación, que no fue revertido hasta 1987, cuando se termino un importante proyecto de rehabilitación diseñado siete años antes por el arquitecto Luis Pérez Sierra, que implico la construcción de diez viviendas individuales en la parte trasera de la parcela, pero que permitió conservar el palacio fue restaurado con cuidado, aunque perdieron algunos elementos que conocemos por antiguas fotografías, como la crestería calada de coronación de la cubierta antes citada y la cornisa de madera, simplificándose la decoración de las buhardillas.