광산 김씨 세거지는 신라 말기의 왕자(45대 신무왕의 아들이란 설과 49대 헌강왕의 셋째 아들이란 설이 있음)인 김흥광(金興光)이 세상이 어지러워지자 경주를 떠나 이곳에 터를 잡고 은거하였는데, 고려조에만 광산김씨 가문에서 8명의 평장사(平章事 정2품)가 배출되었다 하여 이 마을(서일동)의 이름을 평장동으로 바꿔 불렀다고 한다.
조선조 때의 광산김씨는 총 265명의 문과 급제자를 배출했는데, 공자를 모시는 문묘(文廟)에 부자(父子)간인 김장생(1548-1631)과 김집(1574-1656) 두 명이 배향 되었고, 정승 5명, 대제학 7명, 청백리 4명, 왕비 1명을 배출한 명문 가문으로 손꼽히고 있다.
광산 김씨(光山 金氏)는 신라 시조 김알지(金閼智)의 후손인 김흥광을 시조로 삼고 있다. 김흥광은 신라 왕자였다고 하는데, 일설에 따르면 신라 제45대 신무왕(神武王)의 셋째 아들이라고 한다. 김흥광은 장차 나라가 어지러워 질 것을 알고 지금의 광주광역시에 해당하는 무주(武州) 서일동(西一洞)으로 내려왔다. 고려의 후삼국 통일 후 무주가 광주로 개칭되면서, 김흥광의 후손들은 광주의 별호인 광산을 본관으로 삼았다.