ollama로 오픈소스 AI 모델(LLM) 사용하기
ollama는 gpt-oss, Gemma 3, DeepSeek-R1 같은 오픈소스 LLM을 터미널에서 사용 할 수 있도록 하는 도구로 https://ollama.com에서 다운로드 받아 설치 할 수 있다. 리눅스, 윈도우, macOS에서 사용 할 수 있다.
기본적인 사용법은 아래와 같다.
snowfox@snowfoxui-MacBookAir ~ % ollama Usage: ollama [flags] ollama [command] Available Commands: serve Start ollama create Create a model show Show information for a model run Run a model stop Stop a running model pull Pull a model from a registry push Push a model to a registry signin Sign in to ollama.com signout Sign out from ollama.com list List models ps List running models cp Copy a model rm Remove a model help Help about any command Flags: -h, --help help for ollama -v, --version Show version information Use "ollama [command] --help" for more information about a command. snowfox@snowfoxui-MacBookAir ~ %
현재 설치된 모델을 보려면, ollama list 명령을 사용한다. 아래를 보면, ministral-3:3b 모델이 설치되어 있는 것을 볼 수 있다.
snowfox@snowfoxui-MacBookAir ~ % ollama list NAME ID SIZE MODIFIED ministral-3:3b a48e77f25d79 3.0 GB 2 days ago
새로운 모델을 설치하려면, https://ollama.com/search 에서 모델을 검새하고, ollama pull [model-name] 명령을 실행하면 된다.
qwen3-vl을 설치해 보면,
snowfox@snowfoxui-MacBookAir ~ % ollama ps NAME ID SIZE PROCESSOR CONTEXT UNTIL snowfox@snowfoxui-MacBookAir ~ % ollama pull qwen3-vl pulling manifest pulling ed12a4674d72: 100% ▕██████████████████▏ 6.1 GB pulling 7339fa418c9a: 100% ▕██████████████████▏ 11 KB pulling f6417cb1e269: 100% ▕██████████████████▏ 42 B pulling 17e666fbe4f4: 100% ▕██████████████████▏ 551 B verifying sha256 digest writing manifest success
설치된 모델을 확인 해 보면,
snowfox@snowfoxui-MacBookAir ~ % ollama list NAME ID SIZE MODIFIED qwen3-vl:latest 901cae732162 6.1 GB About a minute ago ministral-3:3b a48e77f25d79 3.0 GB 2 days ago snowfox@snowfoxui-MacBookAir ~ %
설치된 모델 사용하려면, ollama run [model-name] 명령을 실행하면된다. 아래는 ministral-3:3b 모델을 실행하는 명령이다. 실행 후, /? 명령어를 입력하면, 사용 옵션이 간략하게 표시된다. 새로 다운로드받은 qwen-vl:latest는 내 PC에서 실행되지 않으므로 ministral-3:3b 모델을 실행했다.
snowfox@snowfoxui-MacBookAir ~ % ollama run ministral-3:3b >>> Send a message (/? for help) >>> /? Available Commands: /set Set session variables /show Show model information /loadLoad a session or model /save Save your current session /clear Clear session context /bye Exit /?, /help Help for a command /? shortcuts Help for keyboard shortcuts Use """ to begin a multi-line message. Use /path/to/file to include .jpg, .png, or .webp images. >>> Send a message (/? for help)
이제, ai에게 질문하면 된다.
>>> 어떤것을 할 수 있어?
Ministral-3-3B-Instruct-2512를 통해 제공하는 기능과 한계에 대해 설명드리겠습
니다:
### **할 수 있는 것**
1. **문자 기반 대화**
- 질문에 대한 논리적, 구조화된 답변을 제공합니다.
- 문법, 문장 구조, 논리적 흐름에 대한 도움을 줄 수 있습니다.
- 언어 번역, 문장 개선, 문서 요약 등 텍스트 처리 기능도 있습니다.
2. **지식 기반 질의 응답**
- 2023년 10월까지 업데이트된 정보(예: 역사, 과학, 기술 등)를 제공합니다
.
- 특정 날짜의 정보는 {today}나 {yesterday}와 같은 날짜 변수를 활용하여
최신화합니다.
3. **문제 해결 및 논리적 추리**
- 수학 문제, 논리적 추리, 문제해결 전략을 제공할 수 있습니다.
- 코딩 문제(예: 알고리즘, 프로그래밍 문제)에 대한 힌트도 제공할 수 있습니
다.
4. **언어 학습 및 문법 도움말**
- 영어, 프랑스어, 한국어 등 여러 언어로 대화하며 문법, 어휘, 문장 구조를
설명합니다.
- 문장을 더 자연스럽게 만들거나 번역하는 데도 도움을 줄 수 있습니다.
5. **도서 및 정보 요약**
- 긴 문서나 책의 요약을 제공할 수 있습니다.
- 특정 주제에 대한 간략한 설명을 제공할 수 있습니다.
---
### **할 수 없는 것**
1. **실시간 웹 검색**
- 인터넷을 직접 검색하거나 URL을 열 수 없습니다.
- 사용자가 직접 텍스트를 제공하지 않으면 최신 정보(예: 뉴스, 이벤트 등)를
제공할 수 없습니다.
2. **이미지, 비디오, 음성 처리**
- 이미지, 동영상, 음성 파일을 읽거나 생성할 수 없습니다.
- 텍스트로만 처리 가능합니다.
3. **특정 도구 또는 시스템 접근**
- 사용자의 장치(예: 스마트폰, 컴퓨터)에 연결하거나 파일 저장/삭제 등을 할
수 없습니다.
- 데이터베이스나 외부 시스템에 접근할 수 없습니다.
4. **실제 행위 또는 물품 생성**
- 물건을 만들거나 실행을 할 수 없습니다.
- 예: "이거 만들어줘" 또는 "실행해줘" 같은 요청은 거절합니다.
5. **개인 정보 또는 민감한 정보**
- 개인 정보(예: 주소, 신분번호, 금융 정보 등)를 요청하지 마세요.
- 민감한 정보는 절대 제공하지 않습니다.
---
### **예시 질의에 대한 응답**
- **"오늘 날짜는?"** → `{today}` (현재 날짜를 반환)
- **"2023년 10월 1일까지의 최신 뉴스?"** → 최신 정보 제공 불가 (웹 검색 불
가)
- **"영어 문장을 한국어로 번역해줘"**
→ "한국어로 번역해드립니다."
- **"이 코드를 실행해줘"** → "실행할 수 없습니다. 코드 작성해주세요."
---
**요약**
Ministral-3-3B-Instruct-2512는 **텍스트 기반 대화 및 정보 제공**에 특화되어
있습니다. 실시간 웹 검색이나 물리적 작업은 불가능합니다. 필요하신 정보가 있
다면 구체적으로 질문해주세요! 😊
>>> Send a message (/? for help)
clear 명령은 지금까지 이어진 대화를 잊고 새로운 세션을 시작하도록 한다.
>>> /clear Cleared session context >>> Send a message (/? for help)
모델을 종료하려면 bye 명령을 실행한다.
>>> /bye snowfox@snowfoxui-MacBookAir ~ %
불필요한 모델을 삭제하려면, ollama rm [model-name]을 실행하면 된다.
snowfox@snowfoxui-MacBookAir ~ % ollama rm qwen3-vl:latest deleted 'qwen3-vl:latest' snowfox@snowfoxui-MacBookAir ~ % ollama list NAME ID SIZE MODIFIED ministral-3:3b a48e77f25d79 3.0 GB 2 days ago