Construida en base a la fachada de sillería de un antiguo caserón, este centro cultural llegó a albergar un colegio de monjas y fue Casa de Cultura y Biblioteca.
En el último tercio del siglo XIX, la casa era propiedad de D. Antonio Huertes, padre de Ventura Huertes, hasta mediados de los años 20 del siglo pasado. Durante la guerra civil, fue Hospital y más tarde cuartel de la Guardia Civil, a su vez, en esos tiempos, fue sede de la ambulancia local siendo sus conductores Jesús Santos Casquero y Agustín Loma.
Por otra parte, a partir de 1950, se acondiciona para ser Colegio de la Monjas del Amor de Dios.
Era el Palacio de los Cossíos y tras comprarlo la Corporación Municipal lo convirtió en Casa de la Cultura, ubicando allí la Biblioteca Pública. También fue colegio de monjas y sirvió de hospital durante la Guerra Civil. Construida en base a la fachada de la sillería de un antiguo caserón, sigue una línea neoclásica y barroca. Su escudo central, tallado en piedra, es el de Don Francisco Díaz-Santos Bullón con corona ducal y rematado con la talla de la Casona sostenido por la figura de dos leones.