CB-LM: 중앙은행을 위한 언어 모델

[이매진]

CB-LM: 중앙은행을 위한 언어 모델

https://www.bis.org/publ/work1215.htm

CB-LMs: language models for central banking

work1215 (1).pdf

1.38MB

요약집중하다

경제학자들은 통화 정책 커뮤니케이션을 분석하기 위해 자연어 처리(NLP) 기술을 점점 더 많이 적용하고 있습니다. 이러한 연구는 귀중한 통찰력을 제공하지만, 종종 일반 텍스트 모음에서 훈련된 언어 모델에 의존합니다. 이러한 한계는 모델이 중앙 은행 및 통화 경제학에 고유한 뉘앙스를 완전히 포착하는 능력을 방해할 수 있습니다. 최근 문헌에서는 도메인별 데이터에 대한 언어 모델을 재교육하면 전문화된 NLP 분석에서 성능을 향상시킬 수 있다고 제안합니다.

기부금

우리는 CB-LM(중앙은행 언어 모델)을 소개합니다. 이 언어 모델은 대규모 중앙은행 텍스트 모음에서 재교육되었습니다. BERT와 RoBERTa와 같은 저명한 모델을 사용하고 연설, 정책 노트, 연구 논문을 포함하여 중앙은행에 맞게 조정된 텍스트를 추가함으로써 CB-LM은 도메인별 의미론, 용어 및 문맥적 뉘앙스를 포착합니다. 우리의 주요 목표는 통화 경제학과 중앙은행에서 NLP 분석을 발전시키기 위해 CB-LM을 개발하고 공개하는 것입니다. 또한 다양한 교육 설정에서 다양한 대규모 언어 모델(LLM)에 대한 포괄적인 평가를 통해 중앙은행가의 특정 작업과 기술적 요구 사항에 맞게 조정된 모델 선택에 대한 통찰력을 제공합니다.

결과

우리는 CB-LM이 중앙은행 관용어법에서 가려진 단어를 예측하는 데 있어 기본 모델을 능가한다는 것을 발견했습니다. 일부 CB-LM은 원래 모델뿐만 아니라 연방공개시장위원회 성명에서 통화 정책 입장을 분류하는 데 있어 최첨단 생성 LLM을 능가합니다. CB-LM은 통화 정책의 미묘한 표현을 이해하는 데 뛰어나 중앙은행의 실시간 분석 및 의사 결정에 귀중한 도구가 될 수 있습니다. 그럼에도 불구하고 미세 조정 및 긴 텍스트 입력 처리를 위한 데이터가 제한된 경우와 같이 더 어려운 시나리오에서는 ChatGPT-4 및 Llama-3 70B와 같은 가장 큰 LLM이 CB-LM을 능가할 수 있습니다. 그러나 이러한 LLM을 배포하면 중앙은행에 기밀성, 투명성, 복제성 및 비용 효율성과 관련하여 상당한 과제가 발생합니다.

---

추상적인

우리는 중앙은행 언어 모델(CB-LM)을 소개합니다. 중앙은행 연설, 정책 문서 및 연구 논문의 포괄적인 코퍼스를 기반으로 재교육된 특수 인코더 전용 언어 모델입니다. 우리는 CB-LM이 중앙은행 관용어에서 가려진 단어를 예측하는 데 있어 기초 모델보다 성능이 우수하다는 것을 보여줍니다. 일부 CB-LM은 기초 모델보다 성능이 우수할 뿐만 아니라 연방공개시장위원회(FOMC) 성명에서 통화 정책 입장을 분류하는 데 있어 최첨단 생성적 대규모 언어 모델(LLM)보다 뛰어납니다. 미국 통화 정책과 관련된 광범위한 뉴스의 감정 분류가 필요한 보다 복잡한 시나리오에서 가장 큰 LLM이 도메인에 맞게 조정된 인코더 전용 모델보다 성능이 우수하다는 것을 발견했습니다. 그러나 이러한 대규모 LLM을 배포하면 중앙은행에 기밀성, 투명성, 복제성 및 비용 효율성 측면에서 상당한 과제가 발생합니다.

JEL 분류: E58, C55, C63, G17

키워드: 대규모 언어 모델, Gen AI, 중앙은행, 통화정책 분석