- Se alza a 524 msnm sobre un escarpado peñasco que domina Sax y domina gran parte del valle del Vinalopó entre Elda y Villena.
- Los vestigios más antiguos hallados en la Peña del Castillo son íberos y romanos, aunque el origen de la actual fortaleza es andalusí, probablemente almohade.
- Es una de las tres grandes fortalezas del Alto Vinalopó, juntos con las de Villena y Biar, y formaba parte de la línea defensiva de fortificaciones.
- Ramón Folch de Cardona intentó conquistarlo, sin éxito, ya en 1239, pero fueron los caballeros de la Orden de Calatrava, mandados por el comendador de Alcañiz, los que lo tomaron a finales de ese año.
- Su posesión fue transferida a Alfonso X de Castilla, por tratarse de territorio que los convenios habían asignado a la dominación castellana.
- Quedó integrado en el señorío de Villena, hasta que en 1480 fue incorporado a la Corona por los Reyes Católicos.
- Durante la guerra de sucesión la guarnición del castillo era adicta a Felipe de Anjou; sitiada por las tropas del archiduque Carlos de Austria, se retiraron de la fortaleza.
- En 1764 Carlos III nombró alcaide del castillo al duque de Arcos.
- En 1782 pasó al duque de Maqueda.
- Es de propiedad municipal desde 1980 y actualmente se halla completamente restaurado
- El castillo se alza sobre un cerro de forma alargada, inaccesible por la vertiente oeste, por lo que se accede a la fortaleza por el noroeste.
- De época mususlmana ya existía un alcazar.
- La actual base de construcción es del siglo XIV.
- Es de planta alargada y se adapta a la cresta de la montaña, de 500 metros de altura.
- Posee dos recintos fortificados; al primero se accede por una rampa; el segundo, es de planta rectangular.
- Es alargado, 1500 m2.
- Los muros miden 110 metros.
- La torre del homenaje se encuentra en el segundo recinto.
- Sobresalen dos torres muy bien conservadas.
- La torre del Norte es de planta cuadrada y su fábrica es de tapial.
- La torre del Sur, que es más grande, mide 15 metros y su fábrica es de sillarejo combinado con sillería en las esquinas.Posee tres plantas.
- La primera y la segunda plantas poseen una bóveda de medio cañón con saeteras.
- Las plantas se comunican por medio de una escalera adosada al muro con arcos apuntados.
- Antiguamente existía un puente levadizo de acceso a la torre de homenaje que hoy ha desaparecido.
- Al lado de la torre existe un gran aljibe.
- La puerta de entrada está en el Noroeste y cerca de ella se encuentra un aljibe. Poseía puente levadizo.
- Actualmente en el aljibe se ha instalado un museo de trajes utilizados en fiestas de moros y cristianos.
- La parte más antigua del castillo correspondería a la torre de tapial y al aljibe que probablemente sean del siglo XII - XIII.
- La torre de Homenaje es de finales del siglo XIV.