Ollama 한글 지원 모델 사용하기

[주인장]

1. 한글 경량화 모델 찾기 

https://huggingface.co/heegyu/EEVE-Korean-Instruct-10.8B-v1.0-GGUF

heegyu/EEVE-Korean-Instruct-10.8B-v1.0-GGUF · Hugging Face

2. modelfile 파일을 만들기 (eeve_q4.txt)

FROM ggml-model-Q4_K_M.gguf

TEMPLATE """### User:
{{ .Prompt }}
​
### Assistant:
"""
​
PARAMETER temperature 0.1
​
PARAMETER num_ctx 4096
PARAMETER stop "</s>"
PARAMETER stop "### System:"
PARAMETER stop "### User:"
PARAMETER stop "### Assistant:"

3. eeve 모델을 Ollama에 등록

ollama create eeve:q4 -f .\ eeve_q4.txt

4. 등록된 모델 확인 

ollama list 

5. 실행해서 확인 하기

ollama run eeve:q4 하늘은 왜 파란색일까요?