컨테이너 하우스 짓고 있습니다. 공사 중간에 건축업자가 돈이 없다며

컨테이너 주택을 짓고 있습니다.현재 내부 마감 마루리 단계입니다.계약 시 계약금 50%를 주고, 준공 후 나머지를 주기로 했습니다. 계약을 한 후에 건축 허가를 신청 하였는데, 우수로 설계 보정이 나왔습니다.그래서 우수로만 같은 건축 업에게 직영으로 하기로 하였습니다.(재료는 제가 다 사두었고, 현재 50프로정도 공사를 했습니다.) 공사 중간에 건축업자가 돈이 없다며, 천만원을 먼저 줄수 있느냐고 요청을 하였고,저는 어떻게든 만들어 줄테니, 우수로 공사를 일정 금액에 맡아서 해주는 조건을 걸었습니다. 건축 업자가 승낙을 했고, 저는 약속한 천만원과 우수공사 비용을 주었습니다. 현재 건축 공사는 내부 마감까지 마무리 단계인데,우수로 공사에대해, 건축업자는 자기가 해주기로 한적이 없다고 합니다.자기는 공사 끝내고 준공 넣을테니 나머지는 알아서 책임 지라고... 제가 실수한게 우수로 공사 부분에 대해 계약서에 추가로 명시하지 못했습니다.다행히 대화내용을 녹취한게 있어서, 그 내용을 들려주어도 변명만 하고저를 돈 몇백 주기실어서 때쓰는 사람처럼 매도합니다. 업자입장에서 남는게 없는 공사이니 이해는 가지만, 증거를 보여주어도 변명만하고 저를 이상한 사람 취급하는 업자를 그냥 두고 볼수가 없습니다.변호사 만나서 상담을 받고 소송을 진행 해야 할지 고민입니다.근데 그게 또 어려운 길이기에 결정이 어렵습니다.선배님들 고견 부탁드립니다.