흥미돋 실시간 제법 난리난 개흥미로운 새 ai 모델 등장

[김기인]

출처: 여성시대 김기인

제발 아무데도 불펌하지 마셈





ㅎㅇ 재밌는 ai 소식이 나와서 들고옴

미국기준 9월 14일에 출시된 아주 따끈따끈한

JEV

라는 녀석 되시겠음

 
이 초롱똘망아저씨가 새로 만든 ai 모델임

(tmi 이 아저씨 구 챗지피티 핵심개발자임)

얘가 왜 좋냐?


입력 1억 토큰 기준
지피티, 클로드의 현 최신모델들은 각각 138만원을 요구함
반면 JEV는 5800원만 내면 됨




엥 로컬 LLM처럼 존니 개느리거나 멍청하니까 싼거아님?

ㄴㄴ
오늘기준 지피티 5.6 luna, terra, 클로드소넷 5랑 비슷한 워크플로우 정확도에 속도는 최대 193배까지 빠르다함



그게 어캐 가능하냐고?

JEV의 독특한 구조 때문임



예를들어줄게

내가만약 멍청한남이라서 ai한테 카톡캡쳐 보여주면서 이게 스캠인지 물어본다고 치자

지피티나 제미나이한테 이렇게 물어보면 내용을 보고 몇초 정도 고민한 후


“응 이건 이래저래해서 로맨스스캠이야 ㅂㅅ아”


라고 대답해줄 거임




반면 JEV는?

말을 해주지않음 존나빠르게 확률로만 답변함

유저가 상황을 제시하고
지금 상황은? Yes / No / 보류
이렇게 응답하라고 미리 설정해두면 아주 빠르게 답변하는, 쉽게 말해
모든 거추장스러운 언어생성 과정을 재끼고 오로지 판단만을 돌려준다는 말임

❌물론 속도가 개빠르고 비용이 초저가인 만큼 이 모델의 지능이 기존 프론티어 LLM 수준이며 해당 모델들의 판단을 대체가능하다고 생각하면 안됨, 아예 다른 계열임
오히려 러프한 판단을 어떻게 묶어 활용하는지가 중요함





🤔그럼 구체적으로 이걸 어떻게 활용하는가?
현재 공개된 인터페이스엔 세가지 종류가 있음

1. 선택:
오늘 내가 뭐 먹을거같음? 치킨/피자/햄버거/라면
결과- 치킨 0.70 피자 0.11 햄버거 0.03 라면 0.16

2. 스코어:
오늘 내가 치킨시킬가능성을 1 매우낮음부터 5 매우높음까지 등급화하기 -> 4

3. Yes or No
이 거래가 로맨스스캠일 가능성이 있는가? -> 95%



=> 엥? 그럼 복잡한작업을 할 수 있는게 맞음?

ㅇㅇ가능
한 상태에 대해 여러 질문을 한번에 던지고 존나빠르게 실시간으로 되돌려받을수있음

이게 둠이라는 게임인데 옆에 그래프가 실시간으로 얘가 계산하는 화면임
100% 제브가 조작중인화면

적 있음? -> 공격
체력 낮음? -> 후퇴
탄약 있음? -> 재장전여부판단
어디로 가야 가장 유리함? -> 왼쪽 오른쪽 앞 뒤

이런 세세한 질문에 대한 모든 답변을
위 3가지방식을 잘 조합해서 초당 10번씩도 받을수있다는말임

이걸 다른 LLM이 평소 답변하는 방식대로 실시간으로 함께 수행하면
“현재 상황을 분석하자면 플레이어의 체력이 낮기 때문에“ 까지 답변하고 듸질거임

데모에서는 초당 10회씩 Jev를 호출해서 저 게임에 대한 의사판단을 맡겼고, 한시간동안 초당 10번 호출했는데도 고작 7달러 나왔다 함

다만 제브는 눈이안달렸기에 게임 상태를 구조화된 텍스트/데이터로 변환하여 전달한거

JEV에게 유저가 취리히->런던으로 가는 항공권을 찾으라고 웹브라우저 조작을 지시한것. 7초만에 완료

아스트라한테는 지고 속도로 페이블 따버리는 제브



생각하고 추리하여 정돈된 보고서를 쓰는건 기존 ai들이 잘하지만 얘는 고빈도 저비용 판단에 특화되어있는것

그리고 워크플로우를 어떻게 꾸리냐에 따라 다양한 방법으로 활용 가능함

자동차가격은 엔진뿐 아니라 차체와 시트같은 하드웨어요소와 디자인가격이 포함되어있는데
얜 문짝 천장 바퀴 다뜯고 존나싸고빠르니까 알아서 쓰라고 내놓은격임
(기존 llm과는 성격이 다르니까 llm처럼 쓰려면 어디어디에서 얘한테 판단을 맡길지 결정해서 잘 조립하고 뒷단에 다른 llm을 엮어서 써야함 DIY가 중요)


인간이 뭐가 날아오면 피하고 무릎을 맞으면 발로차듯이 미리 정해진 틀 내에서 반사적인 의사결정속도와 정확도를 갖고 있는 것




=> 그래서 어캐쓰냐?
api로만 가능할듯
아직 정식출시 전인 얼리엑세스 API라서 어떤 프로젝트에 얼마나 사용하고 어떻게 쓸건지 적어서 제출하면 개발자들 대상으로 초대메일이 옵니다

이 글 쓰는 동안 2천번 호출했는데 200원 나왔다네요




+ 공지라구요? 길어질까봐 생략했던 몇 가지 더 써보겠음


제브 혹은 제브와 유사한 개념의 ai들이 더 발전하고 보편화되면 어떻게 될까?

지금 ai는 우리가 뭔가 물어보거나 해결할 문제가 있을 때 불러내는 하나의 이벤트로서 호출됨


하지만 JEV류 모델들이 더 저렴해지고 발전하고 상용화된다면?

게임 npc가 단순히 미리 코딩된 움직임을 취하는 게 아니라
전개에 따라 매초
- 플레이어를 믿을까?
- 여기서 뒤통수까고 공격?
- 협상시도할까?
- 혹시 애정관계로 발전가능?
- 그렇다면 현재 호감도는 어느정도?
- 아님 걍 도망치고 쌩깔까?

이런 걸 판단하는 것도 가능함
스타듀밸리에 잼flash 같은 경량모델 api 꽂아쓰는 것과 개념은 비슷하지만 더 저렴하고 구조화되어있어서
골조를 짜기에따라 더 디테일하고 인과적으로 활용할수있겠지



초고빈도로 npc의 머릿속을 업데이트하는 상황을 상상해봐

기존 경량모델로 40명의 npc 심리상태를 각 단위마다 한번씩 업데이트한다면? 입출력 사용량이 말도안되게 크기도 하고, 결과도 너무 예측불허해져서 이런 판단이 몇번만 쌓여도 게임 개발자가 의도한 시나리오를 떠나 점점 산으로 갈 거임

그런데 제브를 갖고 40명의 심리상태를 10종류로 나누어 업데이트하게 하면? 틱당 400판단이 수치로 반환되니 여러 판단을 병렬로 묶어 훨씬 편하게 관리 가능함
이미 개발자가 허용한 값만 반환하기 때문에 게임 시스템을 망치지도 않지

내가 상호작용 위주 게임을 개발한다면, 매 대사를 쳐야 하는 순간에는 기존 대화형 모델이 한 번씩만 작동하게 하고
Jev는 그 전까지 백그라운드에서 모든 npc의 머릿속 상태와 관계를 수치화하고 지속적으로 업데이트하며
일정간격으로 요약된 맥락과 Jev가 판단한 항목별 데이터들을 묶어 더 큰 모델에 전달하는 역할을 맡도록 시킬 것 같음




그 외에도 카메라 앱이 수시로 ’유저기준에는 지금 이 장면이 저장가치 있을까?‘ 이런 생각을 하고

핸드폰 OS가 ‘지금 사용자가 평소에 업무볼 시간인데 이 알림이 작업을 방해하기에 충분한 중요도일까?‘ 뭐 이런 판단도 내릴 수 있겠지



재미로 첨언하자면 난 창의성을 요구하는 다양하고 복잡한 과제에 있어 인간처럼 움직이는 하네스 구조를 설계하는 중이야

단순화해서 설명하면
최상단에는 Astra처럼 가장 고성능에 깊은 추론이 가능한 비싼 모델을 꽂아두고 (=뇌)
거기에 Jev가 수많은 빠른 판단을 반복해서 내리고 ai와 통계모델의 중간쯤 되는... 인공지능적 직감에 가까운 데이터를 축적하고 뇌에 전달함 (=신경계)
그리고 코드는 뇌의 판단을 실제로 구동함 (=팔다리)




(컴터 성능이 남아돈다면)jev-like 모델 직접 만들어보기

개인적으로 제브의 성능보다 아이디어가 더 흥미로웠기에 이쪽을 파는게 재밌음
제브는 공식적으로 새로운 모델 아키텍쳐에 RLCD를 사용한다고 발표했고 closed-weight 모델이라 파라미터 수, 내부 프리트레이닝 데이터 등은 공개되지 않음
하지만 로컬 오픈소스 LLM 모델의 logits(= 원시 예측점수) 벡터를 추출해서 판단을 병렬화하는 방식으로 decision-only 모델을 비슷하게 구현할 수 있음

이런식으로 오픈제브 만드는 것도 재밌어서 나도 실험중이긴 한데 이거 하는 전기세나 제브 api 따쓰는거나 비슷할거 같기도...
여튼 컴퓨터 성능이 어디까지 받쳐주냐에 따라 이론상 각자 성능에 맞는 jev-like 병렬 평가 판단모델을 로컬 구동 가능함

물론 Typesafe Jev 자체는 내부데이터 비공개라 그건 제브와 같은 성능을 똑같이 구현하는게 아니지만 그 아이디어를 포크해서 로컬 jev-like 모델 만드는 게 가능하단 소리임

그리고 이건 로컬 LLM의 핵심 판단만 남겨서 병렬화하는 방식으로 로컬LLM의 고질적 문제인 속도병목을 향상하는 아이디어라는데에서 훨씬 유의미힐듯

이건 Typesafe 측에서 제시한 비용대비 워크플로우 정확도 그래프임
물론 완전히 다른 구조인 만큼 일반적 벤치마크 측정은 불가하지만 수행능력 측면에서 luna, terra, sonnet과 비슷한 라인에 있다는 게 고무적임

제미나이는 결국 도태되었는지 표에 넣어주지도 않았네요..

[이클립스레몬]

신기하다 글 고마워!

[오옷오옹]

개발자 개천재같애

[번지며 차오를래]

신기하다

[흣냐흣냐흣냐흣냐흣냐]

제미나이 살려내 ༼;´༎ຶ۝༎ຶ༽

[Kristen Stewart]

와 좋다.. 솔직히 얘네 답변을 막 장황하게 해서 오히려 안 읽히는데,, 얘네랑 일하다보면 점점 검토해야 할 것만 개많아지는데 문장까지 장황하면 막막하거든 그리고 문장 매끄럽게 만드느라 확률 낮은 거를 아예 생략할 때도 많아서 저런 식으로 빠르고 간략하게 반응하는거 넘 좋을 것 같음..

[따라다닷따 따라다라다라]

제미나이 소스가 되게 무궁무진한데 왜이렇게 못하지 신기하네 투자를 안했나? 아무튼 너무 신기하다 ai가 어떻게 어디까지 변할까

[라뤼랄랄ㅍ]

오와

[받아들일수없다면들이받자]

와 진짜 개멋잇다

[Kid-0]

오 신기하다..

[노랑클로버]

대박이다

[구구스타]

우와 대박이다..

[디쿠아솔솔]

우와 재밌다

[도라징구]

헐 나 제미나이쓰는데 더 좋은게 많은가

[오디토리엄]

재밌다 나 오픈클로 쓰는데 여기에 어떻게 얽을지 고민해봐야겠다

[오디토리엄]

키 몇시간만에 주더라! 잘 받아서 임베딩한 데이터를 불러올 때 판단자로 쓰게 했어

1. 임베딩데이터를 불러온다
2. 유사도 점수가 높은 것을 주입한다 ->여기서

3. 유사도 점수가 높은 것을 맥락파악하고 검증하여 색인하고 제브가 판단하여 상위만을 주입한다

로 바꿔서 임베딩 퀄리티 개높아짐 ㅜㅜㅜㅜㅜㅜ 고마워

[그렇게됐다고]

헐 신기하네 글 고마워

[고구마스틱춘식]

와 jev라는 ai를 알게된 것도 재밋고 신기한데 이렇게 글 써준 글쓴 여시가 더 흥미돋이다
llm 정보 얻고 활용하는거 자체가 멋진데

[망그러진 문]

와 뭐야 신기해...

[G선상의 아리아나그란데]

오 소형llm 쓰는거 이걸로 대체하면 좋겠다

[바로 못꺼졌거든]

이제 이 글은 할리갈리의 성지가 되지 않을가

[Hawaiiilemon]

너무 신기하다 와

[김지호]

어디까지 발전하는거에요

[밥먹으면서여시]

헐 써보고싶다

[대표님]

와 개좋다 아니 딱 답만 해 이거를 하는 거잖아 얘는 똑똑 여시덕에 저도 하나 알아갑니다

[고양이가짱짱만세]

와 흥미돋🥹 글도 너무 재밌어..!!!

[아샷추추충돌노바]

와 너무 흥미롭다

[슽청우]

여시야 글 너무 잘읽음 재밌어ㄷㄷㄷ

[내인생잘될게뻔해]

와 신기하다 번역같은건 어떨까 궁금하네

[김기인]

언어만드는 모델이 아니라서 불가넝 비대화형임

[고의아닙니다]

제미니 4.0프로 근데 아스트라보다 똑똑하다던데 궁금

[아임파인땡큐앤드유?]

써보고 싶다

[스크램블에그]

와 써봐야겟다 좋다

[SWEET SOUR]

문송해서 어렵지만 흥미돋는다

[코코넛꼬꼬]

초롱똘망아저씨부터 ai처럼 생기심ㄷㄷ

[I’m gonna make it high]

너무 흥미롭다

[양말강쥐]

이해는 반절밖에 못했지만 완전 몰랐던 부분이라 흥미돋이야!!!! 고마워!!!

[몬지알g]

공부하러갑니다

[푸른 소나무]

와 여시야 이런글써줘서 너무 고마워!!!

[너굴너굴22]

와미친 나 ai너무좋아하는데 정보고마워 ㄷㄷ 진짜개미쳣다

[언발란스아닙니까]

개재밋다

[난너무니]

ㅁㅊ

[링가링가링가]

와......