El castillo recibe el nombre de Castillo del Condestable Dávalos, pero es más conocido como Castillo de la Triste Condesa, Doña Juana de Pimentel, viuda de don Álvaro de Luna, ajusticiado en Valladolid por disputas políticas. El castillo entonces fue el lugar de reclusión de la triste condesa. Comenzó a edificarse en 1393 y finalizaron las obras en 1423. Los habitantes de la villa de Arenas constribuyeron en gran medida a su construcción. Está situado en el centro de la población.
Es de planta cuadrada y cuatro torres circulares. En la Guerra de la Independencia sufrió fuertes destrozos por las tropas francesas y sus murallas se deterioraron integrándose en la villa.
Se encuentra situado en Arenas de San Pedro, que es la capital de la comarca Valle del Tiétar, en la provincia de Ávila. Es la comarca abulense de clima más benigno de toda la provincia. El valle del Tiétar es un gran vergel situado al lado de la Sierra de Gredos.Recibe el nombre de San Pedro desde que en 1669 fuera canonizado San Pedro de Alcántara.