삼프로에 솔트룩스 이경일 대표가 나와서 ChatGPT의 원리를 설명해줬다.
정리 차원에서 화면 캡쳐를 몇개 해봤다.
구글 검색이라는 것이, 키워드를 검색하면, 구글에서 문서의 키워드를 확인해서 위치를 제공해 주는 것.
그래서 검색하는 사람이 그걸 읽고 이해하는 것인데,
ChatGPT는 사람이 질문을 하면 AI가 모두 읽고 학습해서 답을 해주는 거라고 한다.
인공지능은 수년간 발전해 오고 있는데
최근 생성적 인공지능 Generative AI가 화두이고, 이중에서 말을 생성하는 것이 GPT라고 했다.
OpenAI사에서 출시한 ChatGPT는 아래의 GPT-3에 해당된다고 한다.
그리고 1750억개의 스냅스(신경망)을 갖고 있다고 하는데, 인간은 100조개의 신경망을 갖고 있다고 한다.
GPT-3 개발에 50억불이 들었다고 하고, GPT-4 개발에는 500-1000억불이 들어갈 거라고 한다.
일반적인 인공지능에 대해서는 아래에 다시 정리할 예정인데,
ChatGPT가 현재까지 출시된 상품중에서는 탁월한 거 같다.
내가 약간의 공포감을 갖고 있는 아마존의 알렉사를 가볍게 뛰어 넘고, 심지어 IBM의 Watson까지도 뛰어 넘는다.
왜일까?
아래 그림의 Step1은 방대한 양의 데이터를 인공지능에 제공하는 과정인데
Step2라는 것이 개발자들이 인공지능한테 문제는 이렇게 푸는 거야 라고 가르치는 과정이라고 한다.
Step3에 가서야 인공지능이 Step2에서 배운 방식을 활용해서 스스로 풀어가는 과정이라고 한다.
여기서 ChatGPT가 왜 2021년까지의 자료만 제공 가능한지의 실마리가 풀린다.
그 이후의 자료는 지금 Step2와 Step3의 과정을 밟고 있다는 의미.
그럼, ChatGPT는 1~2년 이전까지의 데이터만 활용가능하다는 건가라는 질문에는
최근 많은 논문들과 이론들이 쏟아져 나오고 있어 향후 2년내로는 거의 실시간의 분석 대응이 가능해질거라는 예측을 한다.
<1차 내용 정리는 여기서 끝>
-------------
아래는 뒤의 동영상 앞부분에 나오는 인공지능의 발전과 배경 지식들이다.
우선 기계학습 (Machine Learning)
사람이 코드를 일일이 작성하지 않고, 대규모 데이터와 일반화된 알고리즘으로 문제 해결 패턴을 자동 학습하는 기술이라고 한다.
그럼 여기서 인공지능의 성능이란 무엇일까
왼쪽은 기계학습을 통해 범주화 하는 것을 보여준다.
오른쪽은 알고리즘을 통해 어떤 선을 긋는 것이 더 정확한 범주화를 할 수 있는가가 인공지능의 성능을 나타내준다고 한다.
인간 뇌의 신경망을 편미분한 수학 로직을 통해 인공지능이 문제를 해결한다고 설명하던데
왼쪽은 얕은 신경망으로 로직이 단순하다.
오른쪽은 딥러닝(심층 신경망)으로 로직이 복잡하다. 계산식이 복잡하다.
동그라미와 동그라미를 연결한 선을 스냅스(파라미터)라고 하는데 ChatGPT의 GPT-3는 이게 1750만개라는 뜻이란다.
그리고 심층 신경망으로 가는 로직들이 이슈가 되는데
아래 왼쪽의 알파고와, 이전 단계의 음성인식 인공지능들의 로직들에 비해
아래 우측 하단의 최근 구글 논문에서 밝힌 로직은 로직이 개선된 방식이라고 한다.
여기서 개념화라는 것을 잠시 짚고 가자면,
심층 신경망을 거쳐간다는 것은 개념화 한다는 것인데, 개념화할 때는 상세 정보를 버리게 된다는 의미가 된다고 한다.
그리고 사람들이 앞에 발생한 것들을 잊어버리듯, 인공지능도 개념화를 하는 과정에서 버려지는 정보가 생기게 된다고 한다.
그래서 Attention Is All You Need라는 개념이 등장하게 되었다고 한다.
개념화 과정에서 버려진, 중요한 정보를 다시 리마인드 시켜주는 방식으로.
그리고, 구조도 두가지로
하나는 언어의 구조를 이해하는 부분,
다른 하나는 말을 생성하는 영역 이렇게 구성이 되었다고 한다.
생성적 인공지능 Generative AI 중에서 말을 생성하는 것이 GPT인데
언어가 어려운 영역이라고 한다. 여기에는 기호적 접근과 비기호적 접근이 혼합되어 적용된다고 한다.