A l’ouest de l’église, sur le penchant du coteau, se dressait l’ancien collège de Sougé fondé en 1626 par le curé René Guestier.
Suivant certaines sources archivées, c’était un important bâtiment avec un premier étage desservi par un escalier en pierre extérieur ancré dans le pignon ouest. Une galerie ouverte avec balustrade devait agrémenter la façade.
Mais l’insuffisance des ressources consacrées à l’entretien de l’établissement précipita sa décadence durant le XVIIIème siècle ; pourtant ce collège existait encore en 1780, époque à laquelle la donation foncière comprenait « la maison avec ses dépendances, douze boisselées de terre, un quartier de vigne et onze quartiers de prés ». La Révolution Française le fera disparaître.
Apparemment, cette vieille bâtisse ne laissera guère de souvenirs, restant à ce jour difficilement identifiable.