Avec la fin de la pax romana et la chute de l'empire romain, les habitants, confrontés à l'insécurité due aux invasions barbares, se protégèrent. Ils se regroupèrent à flanc de coteau pour poser les fondations du village actuel, entre 800 et 900, et se fortifièrent.

Cette première agglomération était comprise à l'intérieur du cercle formé par la rue de l'ancien château. Autour du donjon, s'élevaient les écuries, des granges et quelques demeures de paysans. Une chapelle ou une église donnait sur la place de la porte de France. L'ensemble était défendu par une palissade et un fossé.

Il ne reste de cet ensemble que les bases de certaines constructions inclues dans les maisons de la rue de l'ancien château (lauzes en biais).

Lorsque à partir de 1373, la famille d'Albenas, originaire de la région Nîmoise où ses membres font partie de la bourgeoisie de la ville, s'installe à Gajan, elle construit un manoir et des fortifications percées par deux portes, dont la porte de France (l'emplacement de la seconde n'est pas connu).

Ce deuxième château s'élève sur la partie nord de la place de la Glacière qui doit son nom au fait qu'à cet endroit s'élevait la construction renfermant la glace pour la conservation des aliments du seigneur. Il comprend un donjon ainsi qu'une aile dont les parties basses hébergent depuis le 19ème siècle le Temple protestant.

La deuxième famille seigneuriale en importance est celle des Paradès. Comme les Albenas, elle est issue de la bourgeoisie nîmoise et arrive dans le village en 1538. Elle habitait vraisemblablement dans le premier château