De claro origen árabe posee en sus enrevesadas calles restos de este urbanismo, destacando por su belleza las calles Ciervo y Peligro. Además es de destacar la Calle Mayor ya que alberga magníficos edificios de la segunda mitad del siglo XIX, y otros más antiguos como pueden ser la casa de Alberto Sols o la Casa de la Inquisición, de gran significatividad histórica.

Elevado sobre una cresta de piedra caliza sobre cuya solana, en la cara sur, se extiende el municipio. Con planta alargada, posee dos áreas diferenciadas, la primera donde se ubican la bonita muralla corrida con almenas y dos hermosas torres, una árabe de época almohade (s. XII), y la espectacular Torre del Homenaje que culmina en un tercer piso de terraza, que los historiadores fechan en el siglo XIV. La segunda área es de mayor antigüedad, en ella únicamente se conserva una estructura de planta triangular en su extremo que en su día enlazaría con la puerta principal. Su recinto mide unos 1500 m2 accediendo a él por un callejón escalonado de 110 metros de longitud. La angostura de la edificación es debida al aprovechamiento del escarpado terreno de la peña sobre la que se asienta. Aunque no existe consenso entre los historiadores sobre su antigüedad, sí es aceptado que la fortificación haya sido construida sobre ruinas romanas.

Ubicada en pleno casco histórico junto a la peña y a las faldas del Castillo, al que antiguamente se podía acceder por una escalinata, era la antigua parroquia medieval. Hoy en día alberga al patrón de la villa, San Blas.

Construida entre 1530 y 1550 es una de las muestras más puras de la zona de iglesia de nave única de influencia catalana. Su portada es renacentista y fue en 1580 cuando terminó de construirse su torre. De elegantes proporciones, 40 metros de largo por 20 de ancho posee elementos arquitectónicos de diversos estilos artísticos.

Situado a unos 6 kilómetros de Sax en dirección a Madrid se trata de una Colonia Agrícola de la última década del siglo XIX, donde hoy se conservan bodegas, fabricas de harina y alcohol, teatro, tienda, estación de ferrocarril..., y sobre todo habría que destacar el Palacio de los Condes, de estilo modernista con escudos nobiliarios a ambos lados de la puerta principal.

Situado en la cara norte de la peña del Castillo, es un enorme pozo que se utilizaba en el siglo XVIII para almacenar nieve y poder abastecer con agua a la villa en la época estival.