선종은 종파 면에서는 대승 불교의 한 갈래로 분류되며, 대승 불교와 같이 '불성(佛性)'[2]을 중요시한다. 초기 불교에서는 불성을 찾는 것이 절대적인 목표가 아니었다. 초기 불교에서 그나마 불성에 가장 가까운 개념은 '열반으로 가는 데 필요한 순수한 마음' 정도가 전부라고 한다. 일부 학자들은 불성을 '누구나 부처가 될 수 있는 가능성'을 표현한 것이지, 특정한 존재론적 개념을 상정한 것이 아니라고 주장하기도 한다. 인도 불교에서 별 인기가 없던 불성 개념이 동아시아 등지에서 크게 확산된 데 기여한 경전은 법화경이라고 한다.
초기 선종은 설일체유부의 수행법으로부터 많은 영향을 받았다.[3] 후대에 생겨난 몇 가지[4]를 제외하면, 선종은 여전히 마음을 들여다보는 심념처 수행을 기반으로 하는 등 여러 요소를 공유하고 있다. 한국 선종의 대표인 조계종에서도 대승 불교의 경전인 금강경을 소의경전(근본경전)으로 삼고 있다.
하지만 본래면목, 이심전심, 불립문자(不立文字),[5] 견성오도(見性悟道)[6]를 중심 가르침으로 삼는다는 점에서 경전을 중심으로 하는 교종과 비교되며, 그래서 참선과 수행을 중심으로 한다. 사실 등장부터 수행과 직관을 중시하는 것이 도교 등 타 종교의 영향을 받았다는 주장이 있으며, '염화미소'라는 유명한 선종의 일화가 등장한 경전 <대범천왕문불결의경>은 위경이라는 설이 주류인 등 교종 계통의 불교와 많은 배치점을 보여 성향에 따른 분류에서는 교종과 따로 떨어지는 경우도 있다. 불교는 힌두교 등과 함께 인도 계통 종교로 묶인다.
수행 방법에 따라 묵조선과 간화선으로 구분되기도 한다. 묵조선은 좌선을 중심으로 하며, 당장 깨달음을 추구하기보다는 자기 마음 속에 내재된 자성에 모든 것을 의지하는 방식이며, 조동종 쪽의 수행법이다.[7] 반면 간화선은 특정한 하나의 화두(話頭)에 대한 강한 의심을 통해 한 순간에 깨달음을 얻는 것을 목표로 하며, 임제종의 방식이다. 한국의 선종은 대부분 임제종의 영향을 받아 화두 수행을 하는 곳이 많다.
다른 특성으로, '노동'을 중시한다는 점이 있다.[8] 선종에선 노동 또한 수행의 일종이라고 보고, 수행자가 직접 일을 해서 자급자족하는 것을 중시했다. 이러한 뜻을 담은 선종의 문구가 있는데 '일일부작 일일불식(一日不作 一日不食)', 즉 '하루 일하지 않으면 하루 먹지 않는다'이다. 이 문구는 당나라의 고승인 백장(百丈)이라는 선종 승려가 했다는 발언에서 유래한다. 그래서 선종(남선종)에서는 다른 종파에 비해 탁발을 상대적으로 덜 중요하게 여기며, 덕택에 삼무일종법난에서 살아남은 거의 유일한 종파가 되었다.
중국에 온 서역승 달마대사로부터 시작된 불교의 종파. 선종 내에서는 인도에서 법맥이 이어져 중국에 전래됐다고 보지만, 학계에서는 이에 대해 회의적인 의견이 많다. 자세한 것은 달마 항목 참조. 선종은 이후 6대 조 혜능에 의해 발전하였다.
한국에서는 신라 때 원효와 의상으로 대표되는 교종불교가 발달했으나 신라 하대 선종의 출현으로 신라 말의 혼란은 더더욱 가중되었는데, 신라계 중앙귀족들은 왕실의 지원을 받는 교종(5교)을 신봉했다면 삼한계 지방 호족들은 신라의 원신라계 우대정책에 반발하여 중앙에 대한 악감정으로 누구나 부처가 될수있다는 교리를 지닌 선종(9산)을 추종하게 된다. 여기서 말하는 부처는 우리가 흔히 말하는 석가모니 부처가 아닌 수행을 통해 깨달음을 증득한 자를 말한다. 하지만 후삼국시대의 궁예는 선종의 누구나 부처가 될 수 있다는 교리를 악용하여 스스로 미륵불이라 자처하는 상황에 이르게 된다.
그렇게 스스로 미륵불이라 자처하던 궁예가 타락하고 멸망하게 되자, 왕건의 고려는 초반에 선종 세력의 후원을 많이 받았음에도 정작 국가의 지원을 받는 호국불교 교종을 국가이념으로 삼아 선종을 박해하였는데, 귀족 지배층 입장에서는 전통을 중시하는 교종 쪽이 더 매력적이었기 때문이다. 그 중 고종 시기 대각국사 의천은 선종을 매우 증오하여 선종을 사문난적이라 표현하며 조선 연산군의 파불에 가까울 정도로 박해를 가한다. 하지만 아무리 위에서 박해를 해도 대중의 지지는 선종쪽이 더 높았기 때문에 선종의 씨를 말리는것은 불가능했다. 이 교종과 선종의 대립은 12세기 후로 동아시아 국가들이 성리학을 국가 이념으로 삼고 숭유억불 방향으로 나가면서 왕실의 불교 지원이 크게 줄어들게 되고 이로 인하여 그동안 지배층의 후원으로 유지되던 정통 교종이 몰락하면서 오히려 선종만이 살아남게 되었다.
한국사에는 신라가 삼국 통일을 이룬 후 도의선사(9산중 가지산파)에 의해 처음 등장한 것으로 추정된다. 선종 전체로 봤을 때 제일 먼저 들어온 시기는 서기 8세기 후반에 신행대사가 단계적 깨달음을 중시하는 북종선을 들여온 것이 최초다. (도의선사는 우리가 잘 아는 돈오=즉각적 깨달음을 강조하는 남종선을 들여왔다.)
선종이 들어오던 서기 820년대, 이 시기는 한국사의 3대 반란으로 칭해질 만큼 기세가 무시무시했던 그 유명한 김헌창의 난이 일어났던 시기고 그 규모는 신라 9주 중 4주를 점령할 만큼 막강했으나 상당히 빨리 진압된다. 거기다가 일부 주에는 반란에 가담하지 않은 공로로 7년간 면세[9]의 혜택을 주었을 정도다. 그 정도로 이 시기까지만 해도 신라 정부의 여력이 충분하고 권위도 있었기 때문에 민중들 입장에서도 권위에 의지하지 말라는 선종의 가르침이 눈에 들어올 리 없었다. 북종선은 말할 필요도 없이 더 주목받지 못했다.
때문에 도입되던 당시에는 선종이 별로 주목받지 못했다.. 그러다가 신라 말기인 서기 890년대 이후, 흔히 말하는 국가 막장 테크 시기에 구산선문이 소율희 등 몇몇 호족들의 지원을 받고 성장하면서 보편화되었다. 잘 안 알려진 사실인데 신라 정부는 선종과의 제휴를 시도했다. 이유는 선종을 통해서 떨어지는 권위를 다시 세우려고. 물론 호족의 지원이 더 커서 선종 측은 이를 거절했다. 일본에는 남송을 통해 12세기경 유입되었다.
누구나 접근할 수 있다는 점에서 보편성에서 큰 인기를 끌었다. 간단하게 말해 원효대사의 정토종(법성종)보다도 파격적인 효과를 불러온다. 그 때문인지 '무식한' 호족과 무신정권기의 무인들에게 큰 인기를 끌었다.[10] 때문에 최충헌 시기 지눌과 같은 승려가 무신정권의 지원을 받아 성장했다고 한다.
호족들에게 인기가 있었던 이유는 선종을 지원할 경우 백성들의 지지를 얻기 쉬웠다는 점, 그리고 교리가 그들의 마음에 들었기 때문이다. 선종은 교종과 달리 "누구나 부처가 될 수 있다"는 일종의 열린 교리를 내세웠는데, 이를 "누구나 부처가 될 수 있다면 왕도 누구나 될 수 있지 않을까?"라는 마음에서 받아들인 것이다. 당연히 이는 풍수지리와 함께 자신들의 봉기를 정당화하는 데 쓰이기도 했다. 반면 교종(특히 화엄종)은 권위를 강조하기 때문에 현 신분제도를 정당화 하는 경향이 커서 왕실과 귀족사회에서 인기를 끌었다.
고려 중반기가 되면 교종과 선종을 합치려는 노력이 자주 일어나는데, 대표적인 경우가 왕족 출신의 의천이 만든 천태종(교종 중심의 통합)과 지눌 국사의 조계종(선종 중심의 통합)이다. 지금의 한국 불교는 조계종의 영향력이 크기 때문에, 굳이 따지자면 교종보다는 선종에 가까운 편이다. 그러나 이러한 노력에도 교단의 완전한 통합은 이루어지지 않았고, 티베트 불교가 원나라를 거쳐 들어와 불교계의 사치가 심해진다. 경천사 10층 석탑이나 다포식 건물의 화려한 장식은 이런 영향을 받은 것이다. 그러자 보우가 남아있던 구산선문의 전통을 임제종의 이름 아래 통합하려 했으나 좌절되었다.
다만, 교종과 선종이란 표현은 조선세종대왕 때에 와서야 보편화된 것이다. 화엄종, 법상종을 비롯한 경전을 중시하는 4개 종파는 교종으로, 나머지는 선종으로 분류되었다. 신기한건 천태종이 선종에 들어갔다. 천태종은 크게 분류하면 교종이고 정확히 분류하자면 밀교적 성향이 많이 포함된 교종이다. 한국에서 이런 특이한 분류가 생긴 건 과거 의천이 불교 교단 통합 운동을 할 때 선종 계열 종파들을 천태종 쪽으로 흡수시켰기 때문. 당연하지만 이때 의천의 정책에 반대하여 통합하지 않은 선종 종파들도 있었다.
베트남에서도 선종이 전해지는데, 중국 선종의 3대 조사 승찬과 함께 수행하던 인도 승려 비니타루치(Vinitaruci)가 베트남에 선종을 처음 전파했다고 한다. 베트남 선종에서도 화두를 활용했지만, 수행 방법으로는 염불선[12]이 지배적이었다. 베트남식 선불교를 서구인들에게 맞게 가다듬어 세계로 전파한 사람으로는 틱낫한이 있다.
참고로 마하가섭 존자가 1조고 28조가 보리달마이며 고려말 태고보우 선사가 57조이고 조선시대에 67조 환성지안 조사가 유배 뒤 법을 전하지 못해[13] 맥이 끊겼으나 현재 그 맥을 이었다고 주장하는 계열이 꽤 있다.
일본 불교에서 선종은 가마쿠라 막부 시대에 도겐(道元) 등이 중국에서 들어온 후 불교의 한 종파로서 크게 융성하였다. 한국과 달리 묵조선이 주류임도 특징. 특이한 점은 일본의 선종이 다도와 건축(예:긴카쿠지), 가레산스이 정원 등 문화적인 면에 있어서 크게 영향을 줬다는 사실이다. 인테리어 등에서 말하는 젠 스타일(Zen style)의 젠이 선종의 선이다. 주류 타종파에 비해서 규율이나 법도가 느슨하고 너그러운 편이라서 수행강도도 비교적 강하지 않다.[14]
상기했듯 서구권에 초창기에 들어간 불교 종파 중에 일본식 선종도 있었다. 미국에는 '2명의 스즈키'로 불리우는 스즈키 다이세쓰(鈴木大拙 1870-1966)와 스즈키 순류(鈴木俊降 1905-1971) 선사가 포교했고, 유럽에서는 데시마루 다이센(弟子丸泰仙 1914-1982) 선사가 일본식 선불교를 퍼뜨렸다. 1960년대 당시 68혁명세대같이 당대 기성세대에 저항적이었던 젊은이들 사이에 팽배했던 반기독교 감정과 결합하여 젊은이들 사이에 폭발적인 인기를 끌었고, 오늘날에도 진지하게 절에 다니지는 않아도 참선을 하는 유럽인들은 꽤 많다.
일본 조동종과 임제종은 각각 도쿄도 그랜드호텔[15][16]과 하나조노 회관(花園会館)이라는 숙박시설을 소유했다.
일본 조동종에서는 절 안에서 수행하는 승려들 중 짬(?)이 가장 많은 승려를 수좌(首座)라, 수좌를 인정하는 의식을 법전식(法戦式)이라고 부르는데 그 분위기가 정말 이름 그대로 살벌하다. 주지승과 짬 많은 일반 승려가 화두를 서로 나누는데 마치 싸우듯이 화두를 한다. 조동종은 묵조선식 지관타좌 참선을 주로 하지만, 이 법전식에서만큼은 공안을 주고받는다. 법전식은 한국 불교 용어로 공개 법거량(法擧揚)에 해당한다.[17]
수행 분위기도 조동종은 매우 엄격하고 임제종은 상대적으로 여유있는 편이다.(어디까지나 상대적이다. 일본 조동종과 임제종은 기본적으로 세계으로 가장 많이 전파되고 알려진 선종이다.) 메이지 유신 당시 개혁 정책의 영향으로 대처는 가능하나 정토종이나 진언종처럼 육식은 개인 사찰에서 사사롭게 하는 정도만 용인하며, 수행도량에서는 채식만 가능하다.
위 두 종단 외에 보화종(普化宗)이란 종단도 있다. 규모는 작지만 일본 내에서는 바구니 같은 것을 뒤집어 쓰고 샤쿠하치(일본식 퉁소)를 불며 탁발하는 허무승(虚無僧)[18]으로 유명하다. 이들은 다른 선종 종단들과 달리 머리를 기를 수 있다.[19] 장삼을 입고 텐카이(天蓋)라는 바구니 비슷한 삿갓을 써서 얼굴을 가린 채로 퉁소를 불면서 각처를 떠돌며 수행한다. 이런 외형적인 특징이 너무나 강렬해서 규모는 작은데도 인지도는 높다. 전국시대를 배경으로 한 일본 사극 드라마나 영화, 게임 등에서 심심치 않게 등장하곤 한다. 필요에 따라서 무술을 배워 나라가 어지러울 때에는 승병으로서 전투에 참가하기도 했다.
다른 나라와 달리, 일본의 선종 불교는 전쟁에 적극적으로 이용됨과 동시에 스스로 참여해왔다.일찍이 가마쿠라 막부때부터 사무라이들은 검술에 참선 수련을 활용했었다. 특히, 20세기초의 일본 선종은 천황제와 군국주의에 적극적으로 봉사하는데, 태평양전쟁때도 열렬한 군국주의 나팔수 역할을 자처하였다. 1937년에는 이 불교 승려들과 내각대신, 군부장성들이 모여서 다이호린 토론회를 개최하기 이르른다. 이 토론회에 참석한 스기모토 고로 중령의 발언중 일부만 인용; '선이 군인에게 중요한 이유는 모든 일본인들이 반드시 주권자와 백성이 일치한다는 정신속에 살면서, 자신들의 자아를 제거하고, 자기를 몰아내야 하기 때문입니다. 나는 선 수련을 통해서 나의 자아를 몰아낼 수 있었습니다.' 이 군인 선 수련의 대가로 인정받았던 스기모토 고로 중령이 쓴 "대의"라는 책은, 전쟁 말기 일본 학생들 중에 읽지 않은 사람이 없을정도로 어마어마한 베스트셀러였고, 학생들의 반자이 돌격, 카미카제 자폭등에 많은 영향을 주었다.
이렇게 일본의 불교, 특히 선종이 군국주의와 전쟁에 적극적으로 참여했다는걸 책으로 알린 사람은 미국의 불교학자 브라이언 다이젠 빅토리아이고, 그 저서는 "전쟁과 선"이라는 제목이다.