Au moyen-âge, Gajan n'était pas une localité ouverte, vicus ou villa, mais une place forte, castrum. Afin de se protéger d'éventuels agresseurs, le village était enfermé dans une enceinte.

Le premier château était entouré d'une palissade et il fallut attendre l'arrivée de la famille d'Albenas pour voir l'édification d'une deuxième enceinte, construite en pierres.

Celle-ci partait du deuxième château, suivait l'avenue du griffe jusqu'à la place de la porte de France, obliquait légèrement vers le nord et descendait doucement vers la voie ferrée pour passer au milieu des maisons qui la longe, et revenir vers son point de départ, en passant au sud du lavoir.

Très peu de restes de ces fortifications sont visibles au sol, mais il est très facile de voir l'emplacement de ces deux enceintes sur un plan du village, ou mieux, sur une photo aérienne.

Ce deuxième rempart était percé de deux portes. L'emplacement de la première est inconnu mais devait se trouver vers la partie basse du village. La seconde, par contre, nous est parvenue en assez bon état de conservation (ci-dessus).

A plein cintre, elle est bâtie de beaux matériaux, mais sans ornements. En se plaçant dessous, on peut apercevoir encore une coulisse qui permettait de manœuvrer une herse.

Elle était précédée d'un pont-levis qui enjambait un fossé.