정조의 효성을 안 일부 신하들이 사도세자의 제사비용 조달을 위해 임자도 목장의 폐지를 추진한 것이다.임자도와 사도세자와의 인연은 각별하다.정조 원년에 임자도 옆섬인 수도(水島)에 사도세자가 철마를 타고 나타났다는 전설까지 있어 이 인연은 더욱 강화된다.
[수도에 이관중,김석정,채후천이라는 사람이 살고 있었다.정조 원년 10월 어느날 밤 정조의 부친 사도세자가 3인의 꿈에 나타나서 '내가 8도를 돌아다녀도 마음이 편안한 곳이 없었다.그러나 이 곳에 이르러보니 매우 조용하고 정적이 깃든 곳임을 알게 되었다.이 섬을 나의 목욕하는 곳으로 할 터이니 유념토록 하라'고 말하였다.꿈에서 깨어난 그들은 각자 이상한 꿈이라고 생각하였을 뿐 꿈에 있었던 일을 믿지않았다.그런데 다음날 저녁 사도세자가 또다시 꿈에 나타났다.
[너희들이 내 말을 믿지 못하겠다면 뒤의 포구로 가 보아라.그 곳에 가면 내가 타고
왔던 2필의 철마(鐵馬)가 있을 것이다.단을 만들어 술을 올리라.정성을 다해 청결히 하되 민폐를 끼칠까 두려우니 풍요롭게 하지말라]
세사람은 다음날 아침 서로 만나 각자가 꾸었던 꿈이야기를 하게되었다.그리고 그들 세사람은 내용이 똑 같은데 깜짝 놀랐다.그들은 급히 뒤의 포구로 달려 가보았다.과연 철마 2필이 있었다.그들은 사도세자의 영혼이 진짜로 왔음을 알고 산봉우리에 석단(舞山壇)을 설치하고 말을 단하에서 쉬게 한 다음 제를 지내었다.그 후 세 집안의 후손들은 매년 좋은 날을 잡아 이곳 무산단에서 정성을 다한 제를 올렸다.제를 올리는 날이면 바다가 울고 바람이 불었다]