서얼을 차별하는 제도는 태종 이방원이 1차 왕자의 난에서 세자 이방석을 죽이고 정권을 잡은 다음 내세운 논리인데, 첫째 이방석을 서자로 취급하였고, 둘째 형 정종 이방과를 상왕으로 올리고 자신이 왕위에 오르면서 이방과에게 적자가 없고 서자만 있었으므로 정종의 서자 아들과 그 후손들이 왕권에 도전하는 것을 막기 위해 더욱 강조하게 되었다.
사실 태종 15년(1415)에 우대언 서선이 서자를 차별해야 된다는 진언을 한 것은 사실이지만 그것이 옳아서가 아니라 태종의 비위에 맞추기 위한 것이었다.
조선은 서얼을 차별함으로 인하여 많은 우수한 인재가 등용되지 못하는 문제가 있었다.
영조실록 21년(1745) 7월 4일
고 상신 최명길도 차자로써 허요 하기를 청하였으니 허요라는 것은 곧 삼조와 각사의 관원을 지적하여 말한 것입니다.
선정신 박세채는 인재를 찾아내는 사목을 기록하여 올렸는데 역시 서얼에까지 아울러 미치게 할 것을 청하였습니다.
전후의 명신 석학들이 대개 이에 대해 말한 자가 많았으나 고질적인 폐단이 풍속으로 굳어져 변통하지 않았습니다.
따라서 아무리 투철하게 빼어난 자가 있다 하더라도 모두 막아서 제한하니 시험하여 볼 수 있는 곳이라고는 보잘것없는 우역이나 작은 고을 정도에 지나지 않았습니다.
서얼은 문과에 응시할 수 없었고, 그 후손들 또한 벼슬에 나간다 해도 미관말직만 맡을 수 있었으니 인재가 부족한 나라에서 매우 나쁜 제도를 시행한 것인데, 대개 태종 이방원의 욕심에서 시작된 것이다.
영조실록 21년(1745) 7월 4일
예로부터 내려오면서 재주를 품고 침체된 자를 손가락으로 일일이 다 꼽아 말할 수 없습니다마는, 송익필의 경학에 밝음, 박지화의 높은 절의, 신희계의 문장, 최명룡의 지략, 우경석의 재주와 슬기, 양사언의 글재주, 등 실력을 갖추었음에도 일생 동안 벼슬을 하지 않고 마쳤거나 혹은 말단 관원에 그치고 말아 마침내 그 품은 뜻을 펴지 못하였으니 신은 실로 민망하게 여깁니다.