충장사가 자리잡은 고개를 배재 또는 이치(梨峙)라 부른다. 이 배재는 김덕령이 살던 석저면 성안(城村)부락과는 4km거리로 이 배재에 김덕령의 집안 13기의 묘가 있다.
이 13기의 묘 중 중심에 있는 묘가 덕령의 고조부 문손(文孫)의 묘로 이 묘자리가 장군묘의 명당묘라 덕령과 같은 명장이 태어났다고 한다. 지금의 충효동은 옛날 광산군 석보면(石保面)이었는데 뒤에 석저면이 되었다가 석곡에 속했다. 덕령 일가가 살던 곳은 바로 이 면소재지 부락이다. 어느 때부터 이 집안이 이곳에 살았는지는 알 수 없으나 전설로는 덕령의 고조 문손(高祖 文孫)이 이곳에서 살 때 하루는 남루한 형색의 젊은이가 찾아와 머슴 살 것을 자원했다. 문손은 부인인 광산 노씨(光山 盧氏)가 일찍 죽어 일손이 부족한터라 이 젊은이를 집에서 부렸는데 밤이면 몰래 집을 빠져나갔다가 밤늦게 돌아오기가 일쑤였다.

문손은 이 머슴의 하는 짓이 기이하기도 하고 의심도 나서 머슴 몰래 그의 뒤를 밟아보기로 했다. 이 머슴은 성안을 벗어나 십리 거리의 배재로 오르더니 지금 그의 묘가 자리잡은 근처를 둘러보고는 ‘회룡고조’(回龍顧祖)라 분명 명지가 틀림없다고 중얼거리며 주위를 둘러보더니 담배 한 대를 피워 물고 앉아 쉬었다가 귀가하는 것이었다. 문손은 왠지 이 놈이 머슴은 살지만 분명 이인이다 싶어 더욱 그의 거동을 관찰키로 했다. 이튿날 밤에는 이 머슴이 ‘주인 어른 제가 쓸 곳이 있으니 달걀 하나만 꾸어 주십시오’하고 말했다. 문손은 이 머슴에게 주고 그날밤 동정을 살폈다.

머슴은 얘기한대로 밤이 깊다 집을 나서 배재의 어제 그 자리에 올라갔다. 머슴은 땅을 한참 파더니 가지고 간 달걀을 묻어놓고 담배 한 대를 피운 뒤 달걀을 꺼내 귀에 대고 고개를 갸웃거리더니 「이상하다, 이 자리가 틀림없는데?」하고 중얼거리며 산을 내려왔다.

이튿날 저녁 이 머슴은 다시 달걀 하나만 더 달라고 말했다. 문손은 이번만은 삶지 않은 달걀을 주고 다시 삼경이 되어 이 머슴의 뒤를 쫓아 보았다.

이 머슴은 어제 그 자리에 이르러 달걀을 파묻고 한참을 있다가 귀에 대보는 것이었다. 한참 귀에 달걀을 대고 있던 이 머슴은 「그러면 그렇지」하면서 그 자리에 돌로 표시를 해놓고 산을 내려갔다. 며칠이 지나자 이 머슴은 고향 부모께 말도 없이 떠나온 몸이라 집에 다녀오겠다면서 집이 멀어 좀 늦겠으니 용서하라고 말하는 것이었다.

문손은 선뜻 승낙하고 여비를 주어 보낸 뒤 낮에 배재에 올라 머슴이 도로 표시해놓은 자리에서 주위를 바라보니 멀리 ○○○이 ○○을 이루고 오른쪽에 철퇴형국의 산맥이 흐르고 왼쪽에 칼 형국의 맥이 뻗어있으며 뒷산 형국을 살펴보니 큰 용이 뻗어있는데 무등산을 돌아보는 형국이라 풍수지리에 서투른 사람의 눈에도 대지임에 틀림없어 보였다.

그는 급히 산을 내려와 부랴부랴 먼저 죽은 구의 부인 광산 노씨(光山 盧氏)를 이곳으로 이장해버렸다.

두 달쯤 지나 그 머슴이 돌아 왔는데 무엇인가 석작 하나를 등에 짊어지고 왔다.

이튿날 밤 문손이 그 머슴의 동정을 살펴보니 밤이 깊어지자 그의 방에 둔 석작을 짊어지고 배재로 오르더니 노씨 묘를 바라보며「아차 늦었구나」하고 한숨을 쉬었다. 이튿날 날이 밝아 그의 머슴이 문손에게 배재에 새 무덤이 하나 생겼던데 누가 묘를 썼는지 모르겠느냐고 물으므로 「내가 우리 집사람 묘를 옮겼는데 큰 흉이나 없겠더냐」고 시치미를 떼고 물어 보았다.

그 머슴은 한참 난감한 표정을 짓더니 「주인어른께서 쓰셨다면 할 수 있습니까만 사실 나는 중국서 이곳까지 자리를 구하러 온 사람입니다. 주인어른께서 쓴 묘는 후세에 대장군이 나올 자리나 한국사람보다 중국사람이라야 알맞은 자리니 저에게 양보하시면 그 대신 삼정승이 나올 자리를 잡아드리겠습니다.」하였다.

그러나 문손은 이 자가 속임수를 쓰는 것 같아 이를 거절했는데 이 중국인은 할 수 없는 일이라며 떠나는 길에 좌향을 바로잡아 주었다 한다.

이 자리가 장군대좌로 훗날 덕령과 같은 신장(神將)이 태어났다는 전설로 충장사에 가면 새로 옮긴 충장공의 묘이다.(「무등산」, 광주직할시, 1988, pp 588-589)