카유보트는 어떤 면에서는 화가로서보다 인상파의 후원자로 더 이름을 날렸다. 카유보트는 인상파에 합류한 이후 제 2회 인상파 전시회때부터 전시회 개최를 위한 자금을 융통해 주고 있었다. 그뿐 아니라 모네, 르누아르, 시슬리 등 경제사정이 좋지 않았던 인상파 화가들을 금전적으로 후원해 왔다. 모네에게는 특별히 집세를 지원해 주기도 했지만, 보통 인상파 화가들을 후원하는 방법은 그림을 사주는 방법으로 였다. 덕분에 그는 죽기전 68점에 달하는 인상파 그림을 소유하게 되었다.
불행하게도 그의 부모님들은 카유보트가 젊었을 때 일찍 돌아가셨다. 거기에 바로 아래 동생 역시 젊은 시절에 질찍 죽었다. 카유보트는 자기 역시 오래 살지 못할 것으로 생각하고, 일찍부터 유언을 작성해 두었다. 그의 유언 중 가장 중요한 부분은 자신이 소장하고 있는 인상파 그림들을 프랑스 정부에 기증하는 것이었다.
단, 기증받은 그림은 전시를 해야 한다는 조건이었다. 아마 유언을 작성하던 당시로서는 거의 농담에 가까운 이야기였을 것이다. 그림을 기증한다고 루브르 같은 곳에서 아무 그림이나 걸어줄리가 없었다. 당시 인상파 그림은 바로 그 아무 그림 수준이었다.
당시 프랑스 정부는 두개의 주력 공공미술관을 운영하고 있었다. 살아있는 작가들의 작품은 뤽샹부르 궁전에, 그리고 이미 사망한 작가들의 작품은 루브르 미술관에 전시를 하고 있었다. 이는 현재의 시스템, 즉 인상파와 사실주의 시대 작품은 오르세 미술관에, 그 이전 작품은 루브르에, 그 이후 작품은 퐁피두 센터에 전시하는 것과 비슷한 시스템이었다. 기증은 받으면 그만이고, 그림이 마음에 들지 않으면 창고나 수장고에 넣어놓으면 그만이다. 하지만, 카유보트의 그림은 기증을 받으면 전시를 해야 한다는 조건이 붙었다(카유보트는 그냥 기증을 하면 인상파 그림이 곧장 수장고로 들어갈 것임을 예상하고 있었기에, 이런 조건을 붙였을 것이다). 그리고 아카데미 스타일의 화가들이 주도를 하고 있던 프랑스의 국립미술관에서는 아직 인상파 작품을 받아들일 준비가 되어 있지 않았다. 카유보트가 죽고, 그의 유언 집행인으로 지명된 르누아르가 작품 기증을 위해 프랑스 정부와 접촉하던 1896년 당시, 프랑스 정부는 인상파의 작품 중 딱 두 점을 구입했을 뿐이었다. 결국 힘겨운 협상이 오간 후, 프랑스 정부는 전시를 하는 조건으로 총 38점의 그림만을 기증받기로 합의했다. 나머지 30점은 기증이 거부된 것이었다. 그럼에도 불구하고 카유보트의 기증으로 인해 인상파 그림들이 처음으로 파리의 공공미술관에 체계적으로 전시가 될 수 있게 되었다. 인상파들의 쾌거였다. 이 소식을 들은 세잔(세잔의 그림은 두점이 기증되었다)은 얼마나 기뻤던지, 다음과 같은 말을 했다고 한다. "이제 (신고전주의의 대명사였던) 부그로는 지옥에나 가라고 해라." 세잔님, 쌓였던 것이 많았던 모양입니다.
르누아르는 1904년, 그리고 1908년 다시 정부에게 나머지 30점의 작품을 기증받을 생각이 없는지 의사를 타진했지만, 일단 한번 결론을 본 프랑스 관료체제는 단호하게 수증을 거부했다. 하지만 이제 인상파는 세상에서 가장 인기있는 그림이 되었고, 파리 미술관들도 사람들이 계속 물갈이되어 새로운 조류를 받아들이게 되었다. 그러다가 누군가가 카유보트의 기증건을 생각해 낸 모양이다. 프랑스 정부는 1928년 카유보트의 동생인 마르샬 카유보트의 미망인에게 (유언집행인인 르누아르 역시 사망했으므로) 일전에 이야기된 나머지 30여점의 인상파 그림을 기증하도록 요청을 하면서, 심지어 소송까지 제기를 했다고 한다. 하지만 이미 때는 늦었고, 세번이나 거부한 그림들이 정부 몫으로 돌아올 가능성은 없었다. 이렇게 나머지 그림들은 모두 날아가 버렸고, 카유보트의 후손들은 부자가 되었다는... 참고로 처음 이야기되던 68점의 그림 가운데 카유보트 자신의 그림은 포함되어 있지 않다. 현재 오르세 미술관에는 카유보트의 그림이 40점 소장되어 있다고 한다. 그리고 가장 최근에 거래가 된 "오스만대로가 내려다 보이는 발코니의 남자"라는 카유보트의 1880년 그림은 2000년에 1430만불에 거래가 되었다고 알려져 있다.