Ollama 사용가이드

 

Ollama란?

Ollama은 로컬 컴퓨터에서 실행할 수 있는 가벼운 확장 가능한 프레임워크입니다. 이 프레임워크는 언어 모델을 구축하고 실행하며 관리하기 위한 간단한 API를 제공하며, 미리 구축된 모델 라이브러리를 다양한 응용 프로그램에서 쉽게 사용할 수 있도록 합니다. Ollama는 Llama 3, Mistral, Gemma 등 다양한 모델을 지원하며 CLI, REST API, 웹 및 데스크톱 통합을 제공합니다

 

---

Ollama 설치 방법

Ollama를 사용하려면 먼저 공식 웹사이트에 접속하여 다운로드해야 합니다. 현재는 Mac OS, Linux, 윈도우를 지원합니다. 다운로드 및 설치 후 커맨드 라인에서 Ollama를 실행할 수 있게 됩니다

 

https://ollama.com/download

Download Ollama on macOS

 

---

 

Ollama 사용법

Ollama설치 후 LLM 을 받아 사용이 가능합니다

다운 가능한 Model 은 공식 홈페이지에서 찾아볼 수 있습니다.

 

https://ollama.com/library

library

 

커멘드 라인에서 해당 명령어에 원하는 모델명을 입력하면 다운로드가 진행됩니다.

 

[ Ollama 서버 실행 ]

ollama serve

 

[ LLM 설치 ]

ollama pull [model]

# 예시
> ollama pull llama3

 

[ LLM 실행(테스트) ]

ollama run [model]

# 예시
> ollama run llama3

 

[ LLM 설치 목록 확인 ]

ollama list

> ollama list

 

[ LLM 삭제 ]

ollama rm [model]

# 예시
> ollama rm llama3

---

Ollama 실행 (테스트)

 

---

 

Huggingface 모델을 Ollama에 추가

Huggingface에 등록된 모델 중에서 GGUF 형식으로 업로드 된 모델을 Ollama등록이 가능합니다.

 

예시로 해당 모델을 설치해보겠습니다.

https://huggingface.co/MLP-KTLim/llama-3-Korean-Bllossom-8B-gguf-Q4_K_M/tree/main

MLP-KTLim/llama-3-Korean-Bllossom-8B-gguf-Q4_K_M at main

 

해당 페이지에서 

llama-3-Korean-Bllossom-8B-Q4_K_M.gguf

파일을 다운로드 합니다.

 

동일한 경로에 Modelfile 파일명으로 해당내용을 작성합니다.

FROM llama-3-Korean-Bllossom-8B-Q4_K_M.gguf
  
TEMPLATE """{{- if .System }}
<s>{{ .System }}</s>
{{- end }}
<s>Human:
{{ .Prompt }}</s>
<s>Assistant:
"""

SYSTEM """A chat between a curious user and an artificial intelligence assistant. The assistant gives helpful, detailed, and polite answers to the user's questions."""

PARAMETER stop <s>
PARAMETER stop </s>

 

해당파일은 ollama 에서 사용하는 문법이며 Prompt 내용을 작성합니다.

FROM 에는 다운로드한 파일을 지정합니다.

 

다음 명령어로 model을 설치합니다

ollama create [create-model-name] -f Modelfile

# 예시
> ollama create llama3-korean -f Modelfile

 

설치가 진행되고 설치 목록을 보면 해당 모델이 적용된것을 확인할수 있습니다.

그 이후에는 기존과 동일하게 사용이 가능합니다.