关于湘峪之名，传说这里过去名为相谷，因为村周山环水绕，故而在村名中加入了

湘峪原名“相谷”，因为村被山水包围，故而在村名中加入了“氵”和“山”，是谓湘峪。湘峪古堡始建于明万历四十二年（1614年），竣工于明崇祯七年（1634年）。孙氏兄弟先后担任都察院左都御史、右都御史、佥都御史，是少数同朝为官的现象。