김사형(金士衡)은 처음에는 음보(蔭補)로 앵계관직(鶯溪館直)이 되었다가 누천(累遷)하여 감찰규정(監察糾正)이 되었다.
공민왕 때 고공산랑(考功散郞)으로 삼았는데, 직랑(直郞) 유경원(劉慶元)과 말하기를, “안렴사(按廉使)와 수령(守令)은 직무가 공부(貢賦)를 관장하는 것인데, 근래 주현(州縣)에서 많이 공물을 빠뜨리고 있는 것이 혹 심하면 3~4년까지 이르고 있으니 청컨대 법대로 논하소서.”라고 하자, 〈왕이〉 따랐다.
우왕 3년(1377), 집의(執義)로서 조준(趙浚)·안익(安翊)·김주(金湊)·최숭겸(崔崇謙) 등과 함께 대간(臺諫)에 있게 되니, 당시 사람들이 인재를 얻었다라고 칭찬하였다. 누천하여 개성윤(開城尹)이 되고 단성보리공신(端誠輔理功臣)의 호를 받았다. 국가에서 사전(私田) 개혁을 논하던 초기에 안렴사(按廉使)를 고쳐 도관찰사(都觀察使)로 하였는데, 김사형은 교주·강릉도도관찰사(交州江陵道都觀察使)가 되자, 공명정대하고 위엄과 은혜를 베푸니 많은 칭송이 있었다. 이듬해, 지밀직사사 동지경연사(知密直司事 同知經筵事)가 되었는데, 공양왕(恭讓王)이 일찍이 경연(經筵)에 나와 무일편(無逸篇) 강론을 듣게 되자 김사형은 말하기를, “대저 환락을 탐하는 자는 향년이 짧고, 게으름이 없는 자는 수명이 긴 것은 이치가 본디 그러해서입니다. 천자의 일신(一身)은 천하 안위가 관계되고, 제후의 일신은 일국의 안위가 관계되므로, 다른 사람의 위에 있는 자는 마땅히 경(敬)을 마음의 근본으로 삼아야 하며 게으름을 경계하여야 합니다. 대개 무일하면, 백성이 안녕하고 조종이 가만히 도움을 받는데, 하늘 또한 이를 보호하는 것입니다. 환락을 탐하면 백성들이 안녕하지 못하게 되니, 조종은 가만히 노하게 되고, 하늘 또한 돕지 않습니다. 이것이 국운의 길고 짧음에 차이가 있는 까닭입니다.”라고 하였다.
후일 〈김사형이〉 지문하부사 겸 사헌부대사헌(知門下府事 兼 司憲府大司憲)으로 있을 때, 왕이 한양(漢陽)으로 천도하려 하니 동료와 함께 상소하여 말하기를, “비위(非違)를 탄핵하고 규탄하는 것은 신 등의 직무입니다. 지금 천재(天災)와 지괴(地怪)가 여러 차례 나타나 견책함을 나타내는 것은 정교(政敎)가 마땅함을 잃었기 때문이며, 공도(公道)가 혹 폐하여져 상하의 정(情)이 통하지 않고 백성의 생업이 불안하기 때문입니다. 전하께서는 더욱 마땅히 두려워하면서 성찰하여[恐懼修省] 성신(誠信)으로 아랫사람들을 거느리시고, 허심탄회하게 간언을 받아들이시어, 충직한 이를 등용하고 간사하고 망령된 이를 멀리하시어 민에게 은혜와 사랑을 베풀어 천재를 그치게 해야 합니다. 지난번 서운관(書雲觀)에서 아뢴 것으로 인하여 한양으로 천도하려 하십니다. 신 등이 엎드려 보건대, 양광도(楊廣道) 여러 주의 민은 토목공사로 곤궁해졌고 가을 농사[秋耕]에 때를 놓쳤습니다. 한양의 민가는 모두 탈점을 당하여 노약자들은 굶주림과 추위에 떨고 있으며 산과 들에 의지하여 살다가 이리저리 떠돌며 넘어져 죽고 있습니다. 시위하는 여러 관사 및 여러 도(道)의 군관은 각기 위졸(衛卒)을 거느리고 객지에서 갖은 어려움에 시달리며 아침저녁을 걱정하면서 장차 얼어 죽거나 굶주려 죽을까 우려하고 있습니다. 전하께서는 참위설을 깊이 믿고 민의 폐해를 구휼하지 않으시니, 황천의 견책을 어찌하려 하십니까? 옛날 성왕(聖王)은 가난한 민을 화목하게 함을 하늘에 빌고, 천명이 영원하길 바라는 근본으로 삼았으니, 원컨대 이를 정지하여 나라의 근본을 단단하게 하소서.” 라고 하였으나 왕이 받아들이지 않았다.
〈김사형이〉 또 상소하여 말하기를, “윤이(尹彛)·이초(李初)의 당은 모두 이미 멀리 유배되었습니다만, 우현보(禹玄寶)·권중화(權仲和)·장하(張夏)·경보(慶補) 등은 아직 도성에 있습니다. 죄는 같은 데 벌이 다른 것은 옳지 않으므로, 청컨대 그들을 모두 축출하소서.”라고 하였다. 왕은 정상(情狀)이 분명하지 않고 사안은 사면 전에 있었던 것이라 하여 윤허하지 않았다. 또 재청(再請)하였으나 모두 답하지 않았다. 이에 김사형 및 집의(執義) 안경검(安景儉)·최원(崔遠), 장령(掌令) 허주(許周)·최경(崔競), 지평(持平) 조용(趙庸) 등은 사직을 청하였는데 윤허하지 않고 일을 보도록 하니 또한 모두 병을 핑계로 나오지 않았다. 형조(刑曺)에서 다시 상소하여 우현보 등을 유배할 것을 청하니, 왕이 그 상소문을 도평의사사(都評議使司)에 내렸다. 도평의사사에서 말하기를, “마땅히 헌부(憲府)와 형조(刑曺)의 청을 따라야 합니다.”라고 하였다. 오직 찬성사(贊成事) 정몽주(鄭夢周)만이 말하기를, “윤이·이초의 당은 죄가 본래 분명하지 않고, 또한 사유(赦宥)를 받은 바 있으므로 다시 논하는 것은 불가합니다.”라고 하였다. 왕은 부득이 우현보·권중화·장하 등을 유배하고 김사형 등에게 명하여 직무를 보도록 하였다.
김사형 등은 형조를 부추겨 정몽주가 윤이·이초의 당을 도와 소관 관청을 모해한다하여 그를 탄핵하게 하였다. 판서(判書) 안경공(安景恭)과 성석연(成石珚) 등이 정몽주를 탄핵하다 모두 좌천되었고, 이근(李懃)과 이정보(李廷補)가 그 자리를 대신하였다. 이근 등은 또한 정몽주 및 좌상시(左常侍) 정우(鄭寓)·좌사의(左司議) 최운사(崔云嗣)를 탄핵하였는데 정몽주에게 당부(黨附)하여 윤이·이초 당을 논죄하지 않았기 때문이다. 헌납(獻納) 이반(李蟠)과 정언(正言) 권훈(權壎) 등이 상언하기를, “탄핵은 형조의 임무가 아닙니다.”라고 하자, 이근과 이정보는 낭사(郞舍)를 탄핵하고, 또 정몽주가 대신을 모해하려 한다고 탄핵하고는 국문할 것을 청하자 마침내 이근 등을 파직하였다. 이반이 또한 장령 최경(崔競)을 탄핵하였는데, 형조가 직책을 넘어 사안을 말한 것을 규찰하지 않았기 때문이다. 헌사(憲司)에서는 간성(諫省)은 풍헌(風憲)의 임무가 아니라고 하여 다시 이반 등을 탄핵하였다. 이반 등이 거꾸로 안경검(安景儉)·최원(崔遠)·허주(許周)·조용(趙庸) 등을 탄핵하니, 헌사와 형조가 이로 인해 하나같이 텅 비게 되었다. 김사형은 당시 막 병을 칭하고 집에 있었는데, 이를 듣고는 수레를 타고 급히 나와 일을 보면서 상서(上書)하여 논하기를, “이반과 권훈은 신분이 간관(諫官)인데, 정몽주에게 아부하여 윤이·이초의 당을 논죄하지 않고, 힘써 헌사(憲司)와 법관(法官)을 공격하니, 매우 불충하므로 청컨대 그 죄를 다스리도록 하소서.”라고 하니, 정우·최운사·이반·이근이 모두 파직되었다.
〈김사형은〉 얼마 후 삼사좌사 동 판도평의사사(三司左使 同判都評議使司事)에 제배되었다. 이 이후는 본조(本朝)에 들어간다.