스크랩 정조의 고굉지신 김종수

[이장희]

정조의 고굉지신 김종수

이종묵(서울대학교 국어국문학과 교수)

1. 동덕회의 핵심 김종수

   정조는 1778년 가을 동덕회同德會라는 제목으로 시를 지었는데 “창문이 구름을 밀치는 저녁, 함지가 해를 떠받드는 가을. 백 년 이 모임 길이 하리니, 덕과 함께 복도 함께하리라[閶闔排雲夕 咸池擎日秋 百年長是會 同德又同休]”라 하였다. 얼마 전 개봉한 영화 「역린逆鱗」에도 이 동덕회라는 조직이 등장한다. 정조는 보위에 오른 이듬해 1777년 12월 3일 동덕회 멤버를 모아놓고 다음과 같이 선언하였다.

“지난 을미년(1775) 적신들의 모함이 날이 갈수록 수위를 높여오자 저위儲位가 털끝 하나에 매달린 것처럼 위태로웠는데, 그때 믿을 것이라고는 안으로 보호해 주는 궁료宮僚들과 밖으로 항의하는 재상들의 세력과 행동이 있을 뿐이었다. 당시 화복禍福과 안위安危가 한순간에 판가름 날 상황이었는데 오직 선왕께서 사랑으로 덮어 주시고 모든 것을 포용하여 보살펴 주셨으며 간사한 무리들의 속셈을 간파하시고 우리들을 위태로운 지경에서 구해 주셨기 때문에 나와 제공諸公이 비로소 목숨을 보전할 수 있었던 것이다. 아, 오늘 이 자리가 있게 된 만큼 지난날의 그 위태로웠던 시절을 잊어서는 안 될 것이고, 제공의 공로를 생각한다면 선왕의 은덕을 더더욱 기려야 할 것이다. 그렇게 해야만 오늘의 이 모임도 영구히 지속될 수 있을 것이다.”

   이에 자신을 지지했던 신료들과 함께 신전神殿에 참배한 후 음식을 준비하여 자리를 마련하였다. 그리고 “이후로 해마다 이날이면 오늘의 모임을 계승해 모이도록 하라. 제공이 나에게 산이나 송백松柏처럼 무한한 수壽를 누리라고 축원하듯이 나 역시 제공에게 무궁한 수를 누리도록 길이 축원하노라. 국가가 편안해야 상하가 다 즐길 수 있고, 상하가 다 즐거워야 이 모임이 오래 갈 수 있을 것이다. 술잔이 오가는 사이에도 위험에 처해 있었던 그 당시 심정을 비장하게 새겨 두고, 담소하며 즐기는 사이에도 와신상담하던 마음을 잊지 않는다면, 이것이 바로 즐기면서도 방자하거나 나태해지지 않고 편안한 속에서도 위태로움을 잊지 않는다는 뜻이 아니겠는가.”라고 하였다. 그리하여 이날의 대화를 기록하여 『동덕회축同德會軸』을 만들었다. 동덕회는 정조를 보위에 올린 데 핵심적인 역할을 하였던 사람들의 모임이니 『동덕회축』은 일종의 공신회맹축功臣會盟軸이었던 셈이다.

『홍재전서弘齋全書』(奎 3775) 권8에 수록된 「동덕회축서同德會軸序」

   동덕회의 멤버는 서명선徐命善, 정민시鄭民始, 김종수金鍾秀, 홍국영洪國榮 등이다. 1775년 영조가 세손 정조에게 대리청정을 명하자 홍인한洪麟漢, 정후겸鄭厚謙 등이 반대하고 나섰다. 이때 서명선이 상소하여 홍인한을 탄핵하여 파직시킴으로써 대리청정이 시행될 수 있었다. 다른 이들도 정조의 등극에 큰 공을 세웠다. 특히 김종수金鍾秀는 세손을 위하여 그 이전부터 드러나지 않게 정후겸 등을 공격한 바 있다. 『일성록日省錄』 1775년 10월 5일의 기록에 따르면 정후겸은 김종수를 두고 요사하여 못할 짓이 없는 자요, 성품이 본래 아주 괴이하고 행실도 너무 간사하다고 비난한 후, 자신들이 큰 잘못도 없는데 죽이려 든다고 주장하였다. 그리고 그 마음이 장헌세자莊獻世子[사도세자]의 원한을 풀려는 데 있는 것이요, 역심을 품은 불순한 무리들과 죽음으로 맹세한 당여가 되었으며, 세손의 궁관이 김종수 무리와 밤낮으로 매우 비밀스레 모의하면서 한밤중에 나귀를 보내어 김종수의 무리들을 태워 간다고 하였다. 이를 보면 세손과 연결되어 있던 김종수가 반대파를 제거하기 위하여 비밀리에 공작을 하였고 그 이면에 불행한 죽음을 당한 사도세자의 원한을 풀려는 의도가 있었다는 것을 알 수 있다.
   김종수는 1758년 세자익위사世子翊衛司의 세마洗馬로 있으면서 장헌세자와 인연을 맺었다. 그 후 1761년 장헌세자가 몰래 궁을 빠져나와 평안도 일대를 순행했는데, 당시 강서江西 현령이던 김종수가 영유永柔 현령 조정趙晸과 함께 평양으로 가서 장헌세자에게 눈물로 간언을 올린 일이 있었다. 기록이 전하지 않아 간언의 내용을 알 수 없지만 장헌세자의 앞날을 우려한 내용이었던 듯싶다. 훗날 정조가 김종수를 문형文衡에 임명하면서 이때의 일을 거론하고 장헌세자가 환궁 후 평안도를 다녀오면서 직신直臣 두 사람을 얻었다는 말씀이 있었다고 전한 것으로 보아 그 내용이 사소하지 않았던 것이 분명하다. 그리고 세손은 부친의 화를 당한 후 김종수의 이름을 가슴에 새겨두었을 것이다.
   그런 인연에다 1768년 6월 세손시강원에서 벼슬을 하였으니, 김종수는 세손 시절부터 정조를 가장 가까이 보필한 사람 중의 하나였던 것이다. 앞서 정조는 1766년 「소종합대종론小宗合大宗論」을 지었는데 그 요지는 다른 사람의 후사로 대통大統을 이었으면 사사롭게 생부를 높여서는 안 된다는 내용이다. 정조가 장헌세자와의 관계를 단절할 것임을 대내외에 공표하기 전 김종수에게 미리 보여준 것이다. 정조는 「여러 수권手圈의 발어跋語를 사각四閣의 정승 및 대제학에게 구하다[求諸圈跋語於四閣相及文衡]」라는 글에서 “옛날 31년 전에 존현각尊賢閣에서 경과 함께 『서경書經』의 예禮로써 마음을 제어한다는 대목과 『사기史記』의 소종小宗을 대종大宗에 합치는 일을 강론하였는데, 그때가 바로 나와 경이 처음으로 대면하는 날이었다. 그런데 말로 나타나지 않은 이면의 한마디까지 서로 맞아떨어져 마침내 천고에 드물게 만나는 군신 관계가 되었다.”고 회상하였다. 1768년 김종수는 존현각에서 같은 내용을 강론한 바 있으니, 반대파에게 빌미를 주지 않도록 정조로 하여금 소종과 대종의 문제를 직접 공표하도록 유도하였을 가능성이 높다.
   이러한 인연으로 김종수는 정조의 최측근이 되어 평생 정조의 고굉지신이 되었다. 이후 일찍 죽은 홍국영이 빠지기는 하였지만 동덕회의 모임은 지속되었다. 김종수의 연보에 해마다 12월 3일이 되면 임금이 술을 내렸다는 선온宣醞의 기사가 자주 나타난다. 특히 정조는 1792년 12월 3일 「원임 제학 김종수에게 내린 시[賜原任提學金鍾秀]」에서 “경에게 이 잔치자리에서는 취해도 좋다 윤허했는데, 이 달 이 날은 해마다 어김없이 돌아오네. 어찌 호남백 한 사람만 이 자리에 빠졌겠는가, 경도 응당 동곽에서 찬 매화와 마주하고 있으리니[許卿曾醉此筵杯 今月今辰每歲廻 可但湖南人少一 秖應東郭對寒梅]”라 하였다. 이 시에서 이른 잔치자리가 바로 동덕회 모임이다. 정조는 작고한 서명선을 위하여 그 집에 술을 보내고 전라도 관찰사로 지방에 가있어 불참한 정민시, 그리고 부인의 상을 당하여 광주廣州로 내려가 있던 김종수에게는 각기 어제시를 내렸다.
   김종수가 생을 마칠 때까지 해마다 12월 3일이면 정조가 술이나 다른 음식을 보냈으니 정조가 동덕회의 뜻을 잊지 않은 것은 분명하다. 정조는 김종수를 맹자가 그 뜻을 함께 하는 동지라는 뜻에서 이른 ‘오당지사吾黨之士’라 불렀다. 1793년 김종수를 좌의정에 임명하면서 정조는 “경은 바로 나의 구신舊臣이다. 내가 경을 알아주는 것도 경이기 때문이고 경을 취한 것도 경이기 때문이니, 경이 아니라면 내가 어찌 반드시 이미 알아주고 또 취했겠는가. 경은 옛날에 이른바 오당지사다. 서연書筵에서부터 정승의 자리에 이르기까지 온갖 풍상을 다 겪었지만 마음은 한결같았으니, 이것이 20년 동안 오늘과 같은 관계를 유지해 온 까닭이다. 동짓달 초사흗날에 내가 준 시에서 ‘동곽대매東郭對梅’라고 한 구절은 이미 내 뜻을 먼저 나타낸 것이었다. 정승의 자리에서 우리의 정치를 조화시키는 일을 경 말고 누구에게 맡기겠는가.”라 하였다.

2. 규장각 제학과 문한의 직임

   김종수(1728-1799)는 청풍김씨淸風金氏다. 이 집안은 영・정조 연간 최고의 권력을 휘둘렀다. 고조 김구金構가 우의정, 종조부 김재로金在魯, 종숙 김치인金致仁이 영의정에 올랐으며, 김구의 아우 김유金楺의 두 아들 김약로金若魯와 김상로金尙魯가 각기 좌의정과 영의정을 지냈으니 이 집안의 위세를 짐작할 수 있다. 벼슬길을 멀리하고 산림山林을 자처한 그의 형 김종후金鍾厚도 명망이 높았다.
   이런 집안의 위세를 배경으로 하여 김종수는 1772년 조정 등과 함께 성균관 대사성에 추천되었는데 추천한 사람이 영의정으로 있던 종숙부 김치인이었다. 그러나 이 때문에 오히려 청명당淸明黨의 당파주의로 몰려 김치인이 처벌을 받아 직산稷山으로 유배되었고 김종수는 경상도 기장機張으로 유배되었다가 다시 전라도 금갑도金甲島로 이배되었으며 서민의 신분으로 떨어지고 자제들도 종신 금고禁錮의 처분을 받았으니 인생의 가장 큰 위기를 맞았다 하겠다. 그런 상황에 빠졌지만 세손은 김종수가 예전 쓴 글을 가져오게 하여 읽었으니 세손은 그를 버리지 않았다고 하겠다.
   1776년 3월 영조가 승하하고 정조가 등극하였다. 이때부터 김종수는 정조의 최측근으로 승승장구하게 된다. 정조는 7월에 김종수를 우부승지로 임명하면서 「대종소종론」을 들어 고마움을 표하고 “내가 고생을 두루 겪었고 승지도 구사일생으로 살아남았으니 오늘 군신이 한 자리에 모인 것은 천행이다.”라고 하였다. 이 후 김종수의 출세가도는 짐작하고 남음이 있다. 홍문관 부제학, 공조참판, 강화유수 등을 거쳐 몇 달 만에 경기도 관찰사에까지 올랐다. 특히 1777년 8월에는, 영화 「역린」의 소재가 된 것처럼 홍상범洪相範이 역사力士를 모아 정조를 암살하려 한 사건이 일어났다. 이때 정조는 병조판서와 같은 중대한 벼슬은 국변인國邊人[국가의 편에 선 사람]에 맡겨야 한다면서 김종수를 불러들여 병권을 맡겼다. 1789년에는 판의금부사로서 훈련도감, 어영청, 금위영 대장, 총융사, 포도대장 등을 모두 겸하였으니, 그의 위세를 짐작할 수 있다. 또 육조의 판서를 두루 역임하고 가장 명예로운 홍문관 대제학으로 문형을 잡았으며, 우의정, 좌의정, 판중추부사, 봉조하 등을 두루 역임하였다.
   어쩌다 외직으로 나가게 되면 정조는 무척이나 섭섭해 하면서 융숭한 은총을 보였다. 예를 들어 1778년 평안도 관찰사로 나가게 되었을 때 정조는 “경을 보내는 회포를 정히 억제하기 어려워라. 대부인은 응당 평안하게 왕래를 하리라. 여색과 재물 멀리함은 본래의 경계 있으니, 강산이 아무리 좋아도 과음만 주의하게나[送卿懷緖正難裁 板輿知應穩往廻 遠色廉財存素戒 江山雖好惜深盃]”라는 시를 지어 부르고 이를 김종수더러 받아쓰게 하였다. 그리고 술을 경계하라면서도 이별의 정을 어쩌지 못하여 큰 술잔에 가득 술을 따라 주고 마시게 하였다. 여기에다 정조는 김종수에게 어좌 가까이 오게 하여 그의 손을 잡았고, 김종수가 자신의 얼굴을 직접 바라볼 수 있게 하였다. 그 사사로운 은총이 이 정도였다.
   그 사이 김종수는 경모궁景慕宮의 상량문을 짓고, 대리청정을 반대하던 홍인한과 정후겸을 처단한 일을 기록한 『명의록明義錄』의 발문을 제작하는 등 가장 핵심적인 문한文翰의 일을 도맡았다. 그는 뛰어난 문재로 이러한 중차대한 일을 잘 처리하였거니와, 1776년 정조가 즉위와 함께 바로 설치한 규장각에도 깊이 관여하였다. 황경원黃景源, 이복원李福源, 서명응徐命應, 채제공蔡濟恭, 홍국영, 이휘지李徽之 등에 이어 1780년 규장각 제학에 올랐고 이후 여러 차례 다시 제학의 직임을 맡았다. 1780년부터 『규장각지奎章閣志』를 편찬하는 일을 담당하였으며 이듬해에는 정조의 명으로 ‘규장각직서奎章閣直署’라는 편액을 썼다.

1781년(정조 5) 정조는 규장각제학 김종수에게 명하여 규장각의 현판을 쓰도록 하였다. 사진은 규장각에 보관중인 「규장각학사지서奎章閣學士之署」 현판.

규장각 제학으로 있으면서 『규장각고사奎章閣故事』를 편찬하여 올렸는데, 자신이 왕명으로 『명신주의名臣奏議』를 편찬하면서 중국 역대의 고사 중에서 긴요한 것을 뽑아 규장각에서 사용할 수 있도록 한 것이다.
이즈음 김종수는 왕실도서의 봉안에도 관여하였다. 정조가 즉위한 후 바로 세운 규장각은 원래 영조의 어제를 봉안하고자 한 것이다. 그 후 정조가 종부시宗簿寺에서 관리하던 역대 임금의 어제와 각판을 모두 규장각으로 옮겨 봉안하고자 하였다. 김종수는 왕실 도서의 수장과 관련한 사례를 두루 조사하여 숙종이 1694년 종부시에 규장각을 설치하여 어제를 봉안한 일과 그 해가 바로 영조가 태어났던 해였음을 보고하고, 숙종이 직접 쓴 규장각 현판과 종부시의 왕실도서를 규장각으로 옮기는 일을 맡아 하였다. 그리고 그 경과를 「규장각기奎章閣記」로 지었다.

김종수의 문집인 『몽오집』(奎 12316) 권3에 수록된 「규장각고사奎章閣故事」.

   김종수는 1785년 다시 규장각 제학이 되었는데 이때도 규장각과 관련한 많은 일을 하였다. 먼저 정조의 명으로 규장각의 봉모당 정문에 있는 운한문雲漢門의 편액을 썼다. 이 무렵 정조는 대궐 안에 있던 진장각珍藏閣에 역대 임금의 어제 86본, 석각 41본, 목각 211본, 목판 1650편, 회맹옥축會盟玉軸 3본 등이 있다는 것을 알게 되었다. 진장각은 대궐 어수당魚水堂의 뒤편 기슭에 있었는데 퇴락한 상태였다. 이에 김종수는 이를 봉모당으로 옮기는 일을 맡아 하였다. 그리고 진장각에는 숙종이 규장각을 세울 때 직접 글씨를 써서 새긴 천한각天翰閣의 명銘이 있었다. 당시 숙종은 천한각을 세우지는 못하고 이 현판만 먼저 만든 것이었다. 김종수는 이것도 봉모당에 함께 봉안하였다. 그밖에 영조가 편찬한 『갱장록羹墻錄』도 진장각에 있었는데 정조는 속편을 편찬하게 하고 다시 김종수에게 이러한 진장각의 사연을 글로 적어 남기도록 하였다. 이렇게 하여 「진장각 어제와 어필을 규장각으로 봉안한 사실을 기록한 글[珍藏閣御製御筆移奉奎章閣事實記]」을 지었다.
   김종수는 규장각 제학으로서 여러 차례 규장각의 춘첩자春帖子를 지어 붙인 바 있다. 1782년 단오에는 “붉은 전각 흰 담장은 그림 같은데, 처마에는 두루 푸른 창포를 꽂았네. 궁녀들 오색 실로 수를 놓아서, 후손들 90명이나 두시기를 축원하네[丹閣粉墻似畵圖 簷楣遍揷綠菖蒲 宮姬彩線添新繡 繡出螽斯九十雛]”라는 시를 지은 바 있다. 정조는 김종수의 시문에 대해 관심이 많았다. 1787년 섣달그믐에는 김종수가 쓴 춘첩자를 보고 규장각의 동이루東二樓에서 그를 불러 이야기를 나누었다. 김종수는 “하늘이 수북이 눈을 내려 먼지를 깨끗이 씻으니, 봄빛이 잘 돌아오도록 남 몰래 보호하네[天敎積雪凈浮埃 暗護春光好遣回]”라 하였다. 이에 대해 정조는 앞 구절에서 ‘적설’은 김종수를, ‘부애’는 잡류를 가리키는 것이며, 뒷 구절은 정조 자신이 형체를 드러내지 않고 양기를 북돋운다는 의미로 풀이하였다. 이에 대해 김종수는 정조의 풀이에 동조하되 ‘적설’은 깨끗한 사람들을 가리킨다고 달리 말하였지만, 내심은 정조와 다르지 않았을 것이다. 김종수는 규장각 제학, 홍문관 대제학으로서 이와 같은 방식으로 문한의 직임을 담당하는 한편 정조의 마음을 사로잡았다.

3. 야인을 지향한 삶

   1781년 10월 정조는 화가 한정철韓廷喆을 보내어 규장각 각신의 소상小像을 그리게 하였는데, 김종수의 소상이 완성되자 정조는 직접 소상 위에 “조정에서는 홀로 대의를 맡았고, 재야에서는 세상의 더러움에 물들지 않았으니, 이는 이른바 그 자취가 돌올突兀[우뚝하게 솟음]하고 마음이 텅 빈 사람이라는 것이 아니겠는가?”라 적었다. 여기에서 김종수는 ‘돌올공탕서주인突兀空蕩墅主人’이라는 별호를 얻었다. 정조는 그를 평하여 “급하게 자취를 보면 돌올한 듯하지만, 자세히 마음을 따져보면 실로 텅 비었다[驟看跡似突兀 細究心實空蕩]”라고 평한 바 있다. 또 정조는 그를 두고 “솔직하여 망발을 즐긴다[坦率嗜妄發]”는 말을 한 적이 있다. 원래 ‘망발’은 한무제漢武帝가 직간을 자주하는 급암汲黯을 두고 이른 말이지만 정조의 본심은 그의 경솔함을 지적한 것이었다. 『정조실록正祖實錄』에 실린 그의 졸기에서도 “매양 경연에서 아뢸 때나 상소문에서 이따금 다른 사람은 감히 말하지 못할 일을 말하였다. 그래서 행동은 매양 급하게 한 때가 많았고 언론은 혹 한쪽으로 치우치는 점도 있었으나, 대체로 또한 명예를 좋아하고 의리를 사모하는 선비였다.”라 평한 바 있다.
   김종수는 ‘돌올공탕’과 ‘탄솔망발’을 듣고 벼슬에서 물러나라는 뜻으로 알아들었다. 1779년부터 권력을 농단하던 홍국영이 배척을 당하기 시작하였는데 1780년 2월 김종수가 그를 탄핵하는 상소를 올리고 이를 계기로 하여 홍국영은 모든 벼슬에서 물러나고 이듬해 4월 죽음에 이르게 된다. 이러한 과정에서 김종수가 홍국영을 탄핵하는 상소를 올린 것은 정조로부터 무슨 언질을 받았을 가능성이 크다. 이로써 권력을 얻게 되었지만 자신의 명철보신도 생각한 듯하다. 그래서 1781년 윤5월에 김종수는 모친의 봉양을 들어 이 집안의 또 다른 별서가 있던 의왕의 백운산 아래로 물러나 자이당自怡堂에서 기거하였다. ‘자이自怡’는 중국 도홍경陶弘景이 “산중에는 무엇이 있는가 묻기에, 산 위에는 흰 구름이 많지만, 그저 나 혼자 즐길 뿐, 그대에게 줄 수는 없다 한다네[山中何所有 嶺上多白雲 只可自怡悅 不堪持贈君]”에서 나온 말이니, 그가 물러난 백운산과 잘 맞아떨어지거니와 청운을 꿈꾸는 정치 현실에서 벗어나 백운의 삶을 표방한 것이라 하겠다. 이때 정조는 불과 몇 달 떨어져 있지 않았는데도 승지를 시켜 대궐로 들어오게 하고는 “경을 본지 오래되었소. 경은 벌써 야인의 모습이 되었구려.”라 하였다. 이에 김종수는 다시 백운산으로 돌아가 ‘야인실野人室’이라 글씨를 써서 자신의 방에 붙였다.
   김종수는 젊은 시절부터 청류를 자처하였고 또 그러한 삶을 지향하였다. 벼슬에 오르기 전 20대 초반부터 산수 유람을 즐겼으며, 특히 24세 때에는 이윤영李胤永, 이인상李麟祥, 김상묵金尙默 등과 단양을 유람하면서 맑은 풍류를 누렸고 이후에도 이들 그룹과 산수의 유람을 자주 하였다. 또 낙산 아래 살면서 서화고동을 많이 소장하였던 이유수李惟秀의 집에서 조돈趙暾, 김상묵, 남유용南有容, 유언호兪彦鎬, 윤시동尹蓍東, 심이지沈履之, 윤급尹伋, 이득배李得培, 송재경宋載經, 김익金熤, 김광묵金光默 등과 매일 회합을 가져 십삼학사十三學士라는 일컬음을 받았으며 이때 정초부鄭樵夫로 알려진 양근 출신의 위항시인까지 참석하는 성황을 누렸다. 김종수는 술병을 들고 가서 시를 짓고 바둑을 두며 즐겁게 노닐었고 화가를 시켜 이를 그림으로까지 그려두게 하였다고 한다. 물론 이러한 모임의 이면에는 죽림칠현竹林七賢처럼 청류를 가장한 고도의 정치술이 담겨있다. 김종수의 연보에는 이 모임을 두고 “청의淸議를 회복하고 사풍士風을 남몰래 진작시키되, 문주文酒로 감추어 그물을 피하였다.”고 한 것을 보면 단순한 현실로부터의 도피가 아니라 자신들을 청류의 이미지로 만들어 정치적인 목적을 달성할 목적까지 있었던 것이라 하겠다. 앞서 정후겸이 자신들을 죽이려 한다고 말한 김종수의 무리가 이들 그룹이었을 가능성이 높다.

『몽오집夢梧集』(奎 12316) 권4에 수록된 「솔옹문답率翁問答」. 「솔옹문답」은 김종수가 몽촌에 은퇴한 이후 스스로를 ‘솔옹率翁’이라 자칭한데 대한 설명을 담은 글이다.

   권력을 잡고 난 후 김종수는 청류의 이미지를 명철보신의 방편으로 삼았다. 정조가 이른 대로 ‘돌올공탕’과 ‘야인’의 삶을 적극적으로 표방하였다. 그래서 김종수는 1781년 11월 아예 솔가하여 몽촌夢村으로 물러났다. 정조가 거듭 벼슬을 내렸지만 그때마다 사직의 상소를 올리고 몽촌으로 내려가 권력에 뜻을 두지 않은 것처럼 행동하였다. 김종수가 물러난 땅 몽촌은 오늘날 올림픽공원이 있는 몽촌토성 인근 지역이다. 이곳에는 그의 종숙부 김재로의 별서가 있었다. 『영조실록英祖實錄』 1744년 10월 14일의 기록에 따르면 김재로가 영의정의 신분으로 권세를 믿고 사람들을 위협하고 공갈하여 마음대로 마을에다 장사를 지내느라 40호의 집을 허물었다고 한다. 그리하여 몽촌과 오금梧琴 일대는 청풍김씨의 선산이 되어 몽촌오금비夢村梧琴碑가 세워지기까지 하였다. 김종수는 몽촌이라는 호를 사용하였거니와 이와 함께 몽오산인夢梧山人이라 자처하였다. 몽오는 그의 선산이 있는 몽촌과 오금을 합친 말이다. 또 산인은 명말청초의 지식인들이 출사하지 않고 은거하면서 본인의 뜻을 지킨다는 뜻에서 즐겨 사용한 말이다. 곧 정치에 뜻을 두지 않았다는 점을 널리 알리기 위해 스스로의 이름으로 삼은 것이다.
   물론 이후에도 판의금부사, 규장각 제학, 이조와 호조, 형조의 판서, 우의정을 차례로 지냈으니 이러한 야인으로 살겠노라는 표방은 제스처였을 가능성이 높다. 김종수는 스스로 야인으로 자처하였지만 권력에 대한 관심은 끊지 않았다. 1793년부터 장헌세자의 죽음에 관련된 자들을 추가적으로 처벌하자는 채제공의 주장에 맞서다 좌의정에서 물러났고 이듬해인 1794년 정조의 눈 밖에 났다. 관작官爵을 삭탈당하고 남해도南海島에 위리안치되었다. 다행히 얼마 후 바로 석방되어 몽촌으로 돌아왔고, 화를 푼 정조가 그에게 음식과 약을 내려 섭섭한 마음을 달래주었다.
   이러한 과정에서 김종수는 권력의 무서움을 더욱 절실히 깨달았다. 이후 벼슬길을 멀리하고 멀리 금강산과 속리산, 경기의 수락산과 현등산, 백운산, 보개산 등지를 유람 다니는 일로 소일하였다. 그때마다 정조는 규장각의 서리를 보내어 전송의 글을 직접 지어 보내었다. 특히 1796년 금강산으로 가는 김종수를 위하여 약제를 보내고 「압구정狎鷗亭 등 여러 승경을 두루 유람하고 장차 금강산으로 가려 하는 돌올공탕서주인에게 주다[贈突兀空蕩墅主人歷覽狎鷗諸勝, 將向楓嶽之行]」라는 제목의 시를 지어 전송하였다. 이때 김종수의 나이가 69세였다. 사람들은 늙고 병까지 겹친 그를 만류하였지만 김종수는 “나는 본디 집이 없는 사람일세. 가속으로는 손자 한 명만 있으니 그를 시켜 행장을 가지고 좇게 하면 된다네. 사방을 구름처럼 떠돌다가 멈출 만한 곳이 있으면 멈추겠네. 이것이 평소의 내 뜻이라네.”라 하였다. 정조는 강원도 관찰사를 통하여 그의 동태를 묻고 “길에서 밥 잘 드시고, 역원에서 편히 주무시게. 넘어지는 일 없이 내산과 외산 빼어난 땅을 두루 밟아 마음의 찌꺼기를 깨끗이 씻고 기한에 맞추어 돌아와서, 지치거나 손상하는 일이 없기를 바라네. 지나치게 완상에 빠지지 말고 근력을 잘 헤아리시게. 잘 갔다 편히 오시게. 돌아올 때 갈 때와 같기를 바라네.”라는 말을 전하게 하였다. 늙은 신하를 근심하여 이렇게 간곡하게 당부하였으니, 그를 아끼는 정조의 마음을 잘 읽을 수 있다. 김종수가 산수를 가까이 하고 권력을 멀리하였기에 정조는 생의 마지막까지, 그리고 그의 사후에도 그에 대한 지극한 애정을 표하였다.
   김종수는 1799년 손자 김동선金東善이 근무하던 포천 관아에서 눈을 감았다. 그리고 노년에 물러나 살던 몽촌 동쪽 정림靜林에 묻혔다. 정조가 내린 제문에서 “몽오의 기슭, 정림의 길[夢梧之麓 靜林之路]”이라 하여 그 노년의 공간을 부각시켰다. 또 김종수의 가묘家廟에 걸도록 보낸 시에서는 “그 옛날 즉위할 때 잡풀을 제거하고서, 일장산 아래로 대인이 돌아갔었지. 가련해라 탕탕공공의 별서에는, 봄빛이 다시 술잔에 들지 못하겠네[記昔新元闢草萊 日長山下碩人廻 可憐蕩蕩空空墅 不復春光入酒杯].”라 하였다. 정조는 그의 화려한 이력 중에서 정조 자신이 즉위하여 기틀을 잡도록 도와준 일만 기억하고 전원으로 돌아가 텅 빈 마음으로 살다 간 일만 기록하였다. 정조가 김종수에게 원한 것이 바로 이 점이었던 듯하다.