흥미돋 ChatGPT가 언어를 이해하는 방식 - 문장, 그리고 언어 (Attention)

[흥미돋는글]

출처: https://www.fmkorea.com/7167794267

1편

ChatGPT가 언어를 이해하는 방식 - 단어 (Word2Vec)'

•  

댓펌

개인적으로 조금 의아스러운 부분이 많습니다.
각 연관성이 연결은 되지만 존중이라는 단어에 연결된 단어들의 분위기를 어떻게 '인식'하게 되는가가 과정이 궁금합니다.

예를 들어 , '해야한다.' 를 보고 '안하고 있으니 해야하는구나.' 라고 인지하는 과정이 인간과 비슷한지 궁금합니다.

사람의 경우 , 각 단어를 인식한 후 예시인 '존중'에 연결되어있던 뉴런들에 신호가 발생하며 연쇄적으로 연결된 뉴런간에 신호가 오간 뒤 그 모든 신호들을 조합하여 값을 추출합니다.

물론 여기에 더해 인간이 느끼는 신호인 뉘앙스 , 분위기 , 억양 등 그 개체가 알고있는 지식 혹은 무의식적 직감 등을포함한 , 즉 뉴런에 입력된 값에 연관된 내용들에 신호가 켜지며 이 사람이 어떤 목적을 가지고 이야기하는지 인지합니다. AI도 같은 원리일까요?

뭔가 AI의 사고가 같은 원리냐는 질문에 기다 아니다를 답해드리기에는 제가 알고있는 explainable AI 지식이 짧지만...
(1) 뉴런이 연결돼서, (2) 연쇄적으로 신호가 오간 뒤, (3) 뉴런에 입력된 신호가 켜지고 -> (4) 내용 인지 및 출력 도출
의 과정은 완전히 현대 딥러닝 모델의 작동 방식과 동일합니다.

[점례마리아]

와… 너무 신기하드 특히 마지막 ㄷㄷ

[헴토리헤어]

마지막 댓펌에 대해 얘기하자면 현재 딥러닝 모델도 마찬가지로 여러가지 신호를 받고 그 신호가 어느 정도의 임계치를 넘어서야만 아웃풋으로 나오는거거든 연관성이 너무 부족해서 임계치를 못넘는다 -> 그러면 소멸되는거임 원래 인간 뇌가 작동하는 방식을 본따서 만든게 인공지능이라 원리 자체는 비슷함

[만두중의왕물만두]

와 너무 재밋다