Castillo de Ayala, de Santa Bárbara o Palacete de Cox, son los nombres con los que se conoce a esta fortaleza de la época almohade situada en lo alto de una colina de la Sierra de Callosa. El señor de Cox, Juan Ruiz Dávalos, lo mandó a construir en 1466 para proteger el lado oeste del territorio oriolano ante los posibles ataques de 'moros' granadinos. Fecha que lo convierte en uno de los castillos más antiguos de la Comunidad Valenciana y de España.

Durante varios siglos, el castillo estuvo en situación de abandono, pero en 1992, el arquitecto y jefe, a su vez, de la Unidad de Patrimonio Artístico, Santiago Varela Botella, se encargó de su reconstrucción. En una imagen, que data del año 1904, se ve claramente que la estructura originaria estaba dotada de almenas, partes sólidas y verticales que servían para proteger a la población, y que con la reconstrucción habían desaparecido. 

Algo con lo que muchos vecinos no estuvieron de acuerdo, como el presidente del Centro de Documentación, Investigación y Estudios Cojenses, Rafael Moñino, quien lo describe como un "monumento maltratado". 

El antiguo presidente de la Asociación de Amigos de los Castillos de Alicante, y ya fallecido, Ernesto García Llobregat, lo calificó de 'búnker' en un artículo de la revista de fiestas de la localidad haciendo referencia a la "gruesa capa de cemento que cubría los vestigios de la fortaleza". En la última restauración del castillo se incluyen además, unas puertas de hierro, de cristal y de "colores chillones" que no concuerdan con la versión original.

En una conferencia dada en Cox, Rafael Azuar reconoce públicamente su error al haberse referido a la fortaleza como palacete, una referencia que según Rafael Moñino "ha hecho historia". La página de Turismo de la Comunidad Valenciana también lo nombra como 'palacete' debido a que su tamaño y forma (dos plantas comunicadas por una escalera) recuerdan a una casa señorial de la época.

El impulsor del gentilicio cojense, Rafael Moñino, pone de manifiesto algunos fallos cometidos en la descripción del castillo de Santa Bárbara en Cox. 'Guardianes de piedra: los Castillos de Alicante', volumen editado en 2016. La obra, editada por la Diputación de Alicante, describe la edificación como 'palacio' o 'residencia señorial', algo que para el cojense es poco probable. Sobre todo, si se tiene en cuenta que el señor de Cox residía en la vecina Orihuela, y de haberse decantado por Cox, lo habría hecho el palacio que tenía en el casco urbano de la ciudad, lugar que ahora ocupa el Ayuntamiento.

Otro de los supuestos errores que describe Moñino es cuando se habla de que el castillo está dotado de bodega, ya que no es un elemento propio de una fortificación de origen musulmán. Tras la visita del clérigo José Montesinos en 1768, este describe el lugar como una especie de calabozo. De hecho, sí que funcionó puntualmente como tal cuando se condenó a un preso de la localidad. Pero, según Rafael Moñino, el lugar confundido con un calabozo, se trataba en realidad de algo "imprescindible" en cualquier castillo: el aljibe.