이 석불에는 여러 가지 전설과 이야기들이 전해 내려오고 있다.
이 석불의 조각을 의뢰받은 이름난 석공은 그의 제자에게 제작을 시켰다. 그런데 제자의 조각 솜씨가 자기보다 뛰어난 것을 보자 스승은 샘이 났다. 이에 높은 절벽에 사다리를 걸치고 올라서서 제자가 조각을 하고 있는데 사다리를 치워버렸다. 그러자 그 제자는 한 마리의 제비가 되어 하늘로 날아갔다고 한다. 이러한 전설에 따라 이곳의 지명이 燕尾院(제비원)이 되었다고 한다.
'미륵불의 목을 벤 이여송'
임진왜란 때 명나라 원병대장으로 온 이여송은 난이 평정되어도 돌아가지 않고 우리나라에 큰 인물이 날 장소를 돌아다니며 혈을 끊었다. 전국을 다니는 길에 말을 타고 제비원 앞을 지나는데 말발굽이 붙은 듯 꼼짝하지 않았다. 이여송은 길가의 큰 미륵불을 발견하고 칼로 목을 쳐서 떨어뜨리니 미륵불 목에서 피가 흘러내렸다고 한다. 이를 안타깝게 여긴 스님이 떨어진 머리부분을 제자리에 올려놓고 횟가루로 이어 붙였는데, 그 자취가 미륵불 목에 염주모양을 이루고 있다.
지금도 가슴에 핏자국이 보이고 왼쪽 어깨에 말발굽 자리가 남아 있다고 한다.
'돌부처로 다시 태어난 연이 처녀'
옛날 이 자리에는 관리들이 묵어가는 원(院)이 있었다. 일찍이 부모를 여윈 ‘연이’ 처녀가 원에서 심부름을 하며 길손들에게 많은 도움을 주었다. 이 때 부잣집 총각이 죽어서 저승에 갔는데 염라대왕이 “너는 세상에서 못된 일을 많이 하여 저승창고가 비었다. 착한 일을 많이 한 연이의 재물을 빌려서 인정을 베풀라.”고 말했다. 총각은 염라대왕의 말대로 저승에서 좋은 일을 하고 이승으로 돌아 왔다. 총각이 저승에서 있었던 일을 말하고 연이에게 재물을 나누어 주자 연이는 그 재물로 큰 법당을 지었다. 대목수가 법당의 마지막 기와를 덮고 제비가 되어 날아가자 절 이름을 연비사(燕飛寺)라 하고 원 이름도 제비원이라 하였다. 아침저녁 법당에서 기도하던 연이 처녀가 38세의 나이로 죽자 바위가 갈라지면서 큰 돌부처가 생겨났다. 사람들은 연이의 혼이 변해서 미륵불이 되었다고 한다.