En el año 1486 el Rey Don Fernando el Católico se trasladó al Castillo de Corullón, entonces residencia de Doña Juana Osorio y Don Luis Pimentel, para la creación del Marquesado de Villafranca. Desde esa fecha se empezó la construcción de un Castillo en Villafranca como sede del Marquesado, siendo realizado en su totalidad por el II Marqués de Villafranca y Virrey de Nápoles Don Pedro de Toledo junto a su esposa Doña María Osorio y Pimentel.
Desde principios del siglo XVI, ha existido una intensa relación entre Villafranca y la Italia del Renacimiento, que se intensificaría a todos los niveles al casarse una hija de Don Pedro de Toledo, Doña Leonor, nacida en el Castillo de Corullón con Don Cosme de Medici.
El Castillo ha sido desde entonces residencia del Marquesado de Villafranca, pasando de padres a hijos desde esa fecha hasta el día de hoy. En la guerra de la Independencia -Enero de 1809- fue quemado por las tropas inglesas y francesas. En 1850 Don Joaquín Caro y Álvarez de Toledo hereda de su madre Doña Tomasa Álvarez de Toledo, Marquesa de Villafranca y Condesa de Peña Ramiro las ruinas del Castillo, iniciando inmediatamente la restauración del mismo. Para ello solicitó la colaboración del destacado arquitecto de esa época Don Arturo Mélida, que reconstruyó la parte sur y los laterales este y oeste, dejando el resto en ruinas.
Desde ese año es residencia de los Condes de Peña Ramiro y de sus descendientes.
