Chapter 6. AI는 어떻게 문맥을 감지하는가

[코돌이]

'칵테일 파티'에서 내 목소리 찾기

어텐션: AI가 문맥을 정교하게 이해하는 과정 - 나는 사과를 먹었다. 그것은 맛이 없었다.

멀티헤드 어텐션: 문법적 관계(주어-동사), 의미적 관계(원인-결과), 지시 관계(대명사)

3가지 대표적 기법과 이유

1. 구체적인 맥락 제공: 초기 스타트업이 B2B SaaS 제품의 첫 100명 유료 고객을 확보하기 위한 마케팅 문구를 알려줘

2. 문장의 순서와 배치(위치 임베딩): 입력 텍스트의 맨 처음과 끝 부분에 있는 정보를 더 잘 기억 (U자형) - 중간 실종

3. 역할(페르소나) 부여: 어텐션의 강력한 기준점(나침반) - 당신은 15년 경력의 평가문항 개발의 전문가 초등학교 교사입니다.

*전문적인 답변쪽으로 '확률 분포' 이동 - 특정 영역 집

에이전트(역할 분담)가 필요한 이유: 의미의 주인공을 찾아 스포트라이트를 비추는 기술 / 흩어진 텍스트를 일관된 맥락으로 엮어낸는 연금술