Sur le chemin de pèlerinage d’Orléans à Saint Gilles, Portes surveillait le passage des Cévennes sur dix lieues. Les Anduze, les Randon et les Polignac rendront hommage à l’abbé de Saint-Pierre-de-Sauve pour ce château du XIe au XIVe siècle.
La seigneurie devient de plus en plus riche et puissante jusqu’à ce que Louis XIII érige Portes en marquisat en faveur d’Antoine Hercule de Budos à qui l’on doit sans doute le Château Neuf. Son père est évêque d’Agde, une de ses soeurs duchesse de Montmorency, une autre abbesse de « l’Abbaye des Dames » de Caen. Maréchal de Camp, il est tué au siège de Privas en 1629. Sa fille, Marie-Félice, laisse le château en héritage à son neveu, le Prince de Conti, en 1693, que son descendant vend à Louis XVI en 1781.
État restitué graphiquement du début du XXe siècle
Hypothèse d’après diverses archives et observations in-situ, coupe-élévation sur la cour, par Claire Moucheboeuf Guiorgadzé, architecte. © Infographie par Jean Gire.
A la Révolution, le bien est nationalisé et vendu à six propriétaires successifs. Il aboutit en 1841 entre les mains de la famille de La Vernede qui fera restaurer le monument alors en mauvais état. A la suite d’exploitation intensive des mines de charbon sous le site, les terrains s’effondrent provoquant la ruine du château, évacué en 1929, et la démolition du village rebâti 300 m. plus loin. Vers 1960, les terrains sont stabilisés. En 1969, l’association est créée afin de sauver le château. Le château est classé Monument historique depuis 1984.
Jusqu’à la fin du XIII e siècle, il y avait là un château quadrangulaire flanqué de tours carrées, bâti en gros moellons de grès. Au XVI e siècle apparurent fenêtres à meneaux, galeries et escalier droit sur la cour d’honneur. Au début du XVII e siècle, à l’angle Sud-Est, fut édifié en grand appareil un haut bâtiment, le Château Neuf, en forme d’éperon très effilé qui fait toute l’originalité et la gloire du monument. A part les restaurations du XIX e siècle, il ne semble pas que la château ait vu d’autres travaux jusqu’à la ruine de 1929. En 1969, le château présentait de larges failles et des ouvertures aux intempéries. Les bâtiments médiévaux avaient perdu toitures et étages, l’aile Sud s’était écroulée. Au couchant, la façade d’arrivée, munie d’une porte à assommoir, est précédée d’une barbacane et encadrée de deux tours rondes, dont une fortement talutée. La cour d’honneur présente une galerie en arcade au sommet des courtines Ouest et Nord. Au midi, une galerie basse aux v o ûtes restaurées, précède le bâtiment Sud ruiné. A l’angle Sud-Ouest, l’escalier droit dessert les différentes galeries. Au levant, un bâtiment, flanqué au Nord-Est d’une tour carrée, contient les traces d’une grande cheminée du XIV e ou XV e siècle, sans doute celle des cuisines médiévales.