어제 드디어 베일에 가려져 있던 GPT-4 공개됬습니다. 여러분은 일단 openai.com 에 가입부터 하셔야겠죠. 음.. 하는 김에 MS bing의 채팅 버전도 대기 신청을 하시기 바랍니다. (이제 대기 안하고 바로 쓸 수 있나?)
/과제는 아니에요. 그러나 과제를 하려면 둘다 쓸 수 있도록 준비하는 것이 이롭습니다.
새로운 사물은, 상황은 뛰어들어 내가 직접 다루는 것 이상의 학습이 없다고 생각합니다.
저와같은 연구팀의 최승준 선생님이 밤새 잠을 안자고 GPT-4 런칭 자료를 페이스북에 올려주셔서, 그글을 이곳에 퍼왔습니다.
—
by 최승준 (원문링크)
https://www.facebook.com/seungjoon.choi?mibextid=LQQJ4d
역시 GPT-4가 나오면서 기억에 남을 한 주가 되고 있습니다. 소문에 따르면 이제 Anthropic이 남았네요. (16일의 Microsoft도 있지만)
ChatGPT+ 유저는 제한적으로 사용해 볼 수 있습니다. Poe( http://poe.com )에도 들어갔네요. 제한적 사용을 미뤄 볼 때 아직은 훨씬 더 계산 비용이 드는 모델임을 어렵지 않게 추정할 수 있습니다. (OpenAI Foundry 소식처럼 최대 32K 컨텍스트 윈도우로 보입니다)
자고 일어났더니 GPT-4가 (12시 반에 잤는데, 15일 새벽 1시에 라이브 스트리밍 https://www.youtube.com/watch?v=outcGtbnMuQ )을 했군요. 이 시간에 의한 정보 격차란! 3월 16일 Microsoft와 함께 발표일 거라 생각했는데, 독자적으로 GPT-4 브랜드를 챙겨가는군요. 구글이 PaLM API 등의 발표에 급했던 이유( https://www.facebook.com/seungjoon.choi/posts/10228496924543674 )는 뭐 확실해 보입니다.
ㅤ
ㅤ
Simon Willison는 3월 13일에 Alpaca 7B를 살펴보며 이렇게 말했었는데,
----
https://simonwillison.net/2023/Mar/13/alpaca
이번 주는 매우 바쁠 것 같습니다. 화요일에 OpenAI가 큰 발표를 할 것이라는 소문이 돌고 있는데, 아마도 GPT-4가 아닐까요? 그리고 이번 주에는 Anthropic과 Google에서도 발표가 있을 것이라는 소문이 들립니다.
----
제법 맞아떨어져 가고 있습니다.
샘 올트만은 이번 트윗에서
——
https://twitter.com/sama/status/1635687859494715393
GPT-4의 초기 학습을 마친지는 꽤 시간이 지났지만, 출시할 준비가 되었다고 느끼기까지 오랜 시간과 많은 노력이 필요했습니다. 즐겁게 사용하시길 바라며, 부족한 부분에 대한 피드백을 보내주시면 정말 감사하겠습니다.
——
라고 말했습니다.
ㅤ
ㅤ
Anthropic의 'AI 안전에 대한 핵심 관점: 언제, 왜, 무엇을, 어떻게'( https://www.facebook.com/seungjoon.choi/posts/10228473079867572 )를 보면, Claude 때는
----
저희는 2022년 봄에 대표 모델인 Claude의 첫 번째 버전을 학습시켰고, 이를 공공 배포보다는 안전 연구에 우선적으로 사용하기로 결정했습니다. 그 후 일반 대중과의 격차가 줄어든 지금에야 Claude를 배포하기 시작했습니다.
----
라고 했었죠. 그러므로 지금 다들 다음에 보여줄 패를 아끼지 않고 있는 상황이라 뭔가 보여줘야 할지 몰라요.
ㅤ
ㅤ
역시나 이 경쟁압이라는 것이 어마어마합니다. 바로 어제 스탠포드 알파카 7B( https://www.facebook.com/seungjoon.choi/posts/10228492834321421 )까지 나오며 LLM의 스테이블 모먼트 이야기가 나오니 간극을 벌리는!
ㅤ
ㅤ
밤 사이 워낙 많은 자료가 쌓여있어서 둘러보는데 한참 걸릴 것 같아요. 선두 주자인 만큼 철저하게 준비했네요. 이미 물밑에서 협업하던 곳들과 총공세를 펼치며 선두자리를 방어하고 있습니다. 협업 파트너들은 엠바고 상태에서 다른 곳의 추격 소식에 입이 무척 근질거렸을 듯 합니다.
* 공식 발표 1 (제품): https://openai.com/product/gpt-4
* 공식 발표 2 (리서치): https://openai.com/research/gpt-4
* 테크니컬 리포트: https://cdn.openai.com/papers/gpt-4.pdf
* 시스템 카드: https://cdn.openai.com/papers/gpt-4-system-card.pdf
* 칸 아카데미와 함께: https://openai.com/customer-stories/khan-academy (교육 관련은 여길 봐야겠습니다)
* https://github.com/openai/evals 에 참여하면 웨잇리스트를 당겨준다고?
멀티 모달 쪽 파트너는 be my eyes 군요. https://www.bemyeyes.com/
Stability의 Emad는 테크니컬 리포트 보고 이렇게 말했습니다.
——
https://twitter.com/emostaque/status/1635697875689537555
"경쟁 환경과 GPT-4와 같은 대규모 모델의 안전에 미치는 영향을 모두 고려할 때 이 보고서에는 아키텍처(모델 크기 포함), 하드웨어, 트레이닝 컴퓨팅, 데이터 세트 구성, 트레이닝 방법 등에 대한 자세한 내용은 포함되어 있지 않습니다.
——
즉, 정작 중요한 정보는 공개하지 않은 아쉬움이 타임라인 한 켠에서 흐르고 있는 중입니다.
ㅤ
ㅤ
때가 때인지라 OpenAI 쪽 인물들의 트윗이 무척 활발 하네요.
- Greg Brockman: https://twitter.com/gdb/status/1635692483626831872
- Sam Altman: https://twitter.com/sama/status/1635687853324902401
- Wojciech Zaremba: https://twitter.com/woj_zaremba/status/1635688861807542273
- Jan Leike: https://twitter.com/janleike/status/1635694897612173312
- Peter Welinder: https://twitter.com/npew/status/1635691262044160001
- Ilya Sutskever는 주로 리트윗: https://twitter.com/ilyasut 이라 Ilya의 트윗을 보면 되겠습니다.
이 분야 여러 인물들의 쏟아져 나오는 논평을 보는 재미가 있는 하루겠습니다.
ㅤ
ㅤ
* 더 밀크의 빠른 요약: https://themiilk.com/articles/ab42729ac
* 이상훈님의 리뷰: https://www.facebook.com/phoenixlee.sh/posts/9110165765691943
ㅤ
ㅤ
* 정말 알파고 기념주간이군요! (2016년 3월 9일)