El edificio fue fundado en 1475 por Hernando Alonso visitador del arzobispo Carrillo y canónigo de la Colegial, y su gestión hasta 1837, que pasa a la Junta Municipal de Beneficencia, fue del deán y del cabildo de la iglesia Colegial de Talavera. 

Hace tiempo se sospechó que en este lugar había estado el Foro Romano de la antigua Caesaróbriga, algo que se confirmó en la primera década del siglo XXI con la reforma del Hospital de la Misericordia, hoy Centro Cultural Rafael Morales, cuando aparecieron restos de una domus romana, así como de dos templos.

Tras esta rehabilitación, el edificio alberga un centro cultural, dedicado al poeta local Rafael Morales, donde se dan cita diferentes actos culturales tales como conferencias, exposiciones o talleres, siendo un centro de referencia para la ciudad de Talavera de la Reina.