Ollama 설치 방법｜윈도우11에서 무료 로컬 AI 챗봇·오프라인 사용하기

ChatGPT나 제미나이처럼 인터넷에 접속해 사용하는 AI 챗봇과 달리, 내 컴퓨터에서 직접 실행할 수 있는 AI도 있습니다. 대표적인 프로그램이 Ollama(올라마)입니다. 무료로 AI 모델을 다운로드하고 PC에서 실행할 수 있으며, 모델을 미리 설치해 두면 인터넷이 연결되지 않은 상태에서도 질문과 답변을 주고받을 수 있습니다. 이번 글에서는 윈도우11 Ollama 설치 방법부터 한국어 AI 챗봇 실행, 오프라인 사용법, 설치 오류 해결까지 알아보겠습니다.

1. Ollama란? 내 컴퓨터에서 실행하는 무료 AI

Ollama는 다양한 AI 언어 모델을 자신의 컴퓨터에 다운로드해 실행할 수 있도록 도와주는 프로그램입니다. 구글의 Gemma, 알리바바의 Qwen 등 여러 모델을 선택해 사용할 수 있습니다. 외부 AI 서비스에 매번 질문을 전송하는 방식이 아니라, 다운로드한 모델이 컴퓨터의 CPU나 GPU를 사용해 답변을 생성할 수 있다는 점이 특징입니다.

예전에는 주로 명령어로 사용하는 프로그램이었지만, 현재 윈도우와 맥용 앱에서는 대화 화면을 통해 모델을 선택하고 질문할 수도 있습니다. 따라서 처음 사용하는 사람도 기본적인 로컬 AI 기능을 비교적 쉽게 경험할 수 있습니다.

2. Ollama 설치 전 컴퓨터 사양 확인하기

Ollama는 윈도우11과 지원되는 윈도우10 환경에서 실행할 수 있습니다. 다만 AI 모델의 크기에 따라 필요한 메모리와 저장 공간이 달라집니다. 프로그램 설치 공간 외에도 다운로드할 모델을 저장할 여유 공간이 필요합니다.

처음 사용하는 경우에는 1B처럼 크기가 작은 모델부터 시작하는 것을 추천합니다. 고성능 그래픽카드가 없어도 일부 소형 모델은 CPU로 실행할 수 있지만, 처리 속도가 느릴 수 있습니다. 복잡한 질문이나 긴 문서를 분석하려면 더 큰 모델과 충분한 메모리가 필요할 수 있습니다.

3. 윈도우11 Ollama 무료 설치 방법

먼저 Ollama 윈도우 공식 다운로드 바로가기에 접속합니다. 윈도우용 설치 파일을 내려받은 후 실행하면 됩니다. 처음부터 복잡한 명령어를 입력할 필요는 없습니다.

① 공식 사이트 접속: Ollama 다운로드 페이지에서 Windows 버전을 선택합니다.

② 설치 파일 실행: 다운로드한 OllamaSetup.exe 파일을 실행하고 설치를 진행합니다.

③ Ollama 실행: 설치가 완료되면 윈도우 시작 메뉴에서 Ollama를 실행합니다.

④ 로컬 모델 선택: 앱에서 사용할 AI 모델을 선택합니다. 인터넷 없이 사용하려면 클라우드 모델이 아닌 로컬 모델을 선택해야 합니다.

4. 처음 사용할 무료 AI 모델 추천

처음에는 구글의 Gemma 3 1B 같은 소형 모델을 추천합니다. Ollama 모델 라이브러리에서 gemma3:1b라는 이름으로 제공되며 다운로드 크기는 약 800MB입니다. 비교적 가벼운 편이라 로컬 AI를 처음 테스트하는 용도로 적합합니다.

한국어 등 여러 언어를 지원하는 Qwen3 모델도 선택할 수 있습니다. 예를 들어 qwen3:1.7b 모델은 약 1.4GB 크기로 제공됩니다. 다만 모델마다 한국어 표현, 답변 품질, 속도가 다르므로 같은 질문을 입력해 결과를 비교하는 것이 좋습니다.

모델을 선택한 뒤 다운로드를 진행하고 완료되면 대화창에서 질문을 입력할 수 있습니다. 소형 모델은 가볍게 사용하기 좋지만 복잡한 추론이나 전문적인 문서 분석에서는 성능이 부족할 수 있다는 점도 알아두세요.

5. Ollama에서 한국어로 질문하는 방법

모델 설치가 완료되었다면 일반적인 AI 챗봇처럼 질문을 입력하면 됩니다. 한국어 질문을 이해하는 모델이라면 별도의 언어 설정 없이도 한국어로 답변할 수 있습니다. 처음에는 짧고 구체적인 질문부터 시작하는 것이 좋습니다.

글쓰기: 동료에게 보낼 정중한 업무 이메일을 한국어로 5문장 작성해 줘.

문장 수정: 다음 문장을 자연스러운 한국어로 다듬고 수정 이유를 설명해 줘.

공부: 인공지능과 머신러닝의 차이를 중학생도 이해할 수 있도록 예시와 함께 설명해 줘.

문장을 요약하거나 아이디어를 정리하는 등 다양한 용도로 활용할 수 있습니다. Ollama 앱에서는 텍스트 파일이나 PDF 파일을 대화창으로 가져오는 기능도 제공하지만, 파일 분석 능력은 선택한 모델과 컴퓨터 메모리에 따라 달라집니다.

6. 인터넷 없이 AI를 사용할 수 있을까?

Ollama의 중요한 특징은 다운로드한 로컬 AI 모델을 오프라인에서 실행할 수 있다는 점입니다. 처음 프로그램과 모델을 설치할 때는 인터넷 연결이 필요하지만, 설치가 완료된 로컬 모델은 인터넷 연결을 끊어도 컴퓨터에서 답변을 생성할 수 있습니다.

다만 Ollama에는 클라우드 모델도 있습니다. 클라우드 모델은 외부 서버에서 실행되기 때문에 인터넷이 필요하며, 로컬 모델과 데이터 처리 방식이 다릅니다. 개인정보 보호나 오프라인 이용이 목적이라면 현재 선택한 모델이 로컬에서 실행되는지 확인하세요.

또한 로컬 AI는 최신 인터넷 정보를 자동으로 검색하는 서비스가 아닙니다. 새로운 뉴스나 실시간 정보를 확인하려면 별도의 검색 기능이 필요하며, AI가 생성한 사실 정보도 검증해야 합니다.

7. 명령어로 Ollama 모델 실행하는 방법

Ollama는 앱의 대화 화면뿐 아니라 윈도우 터미널이나 PowerShell에서도 사용할 수 있습니다. 윈도우 시작 메뉴에서 PowerShell을 실행하고 아래 명령어를 입력해 보세요.

모델 다운로드 및 실행: ollama run gemma3:1b

설치된 모델 확인: ollama list

필요 없는 모델 삭제: ollama rm gemma3:1b

첫 번째 명령어를 실행하면 모델이 설치되지 않은 경우 먼저 다운로드합니다. 다운로드가 완료되면 질문을 입력할 수 있습니다. 마지막 명령어는 해당 모델 파일을 삭제하므로 더 이상 사용하지 않을 때만 실행하세요.

8. Ollama 설치 오류와 실행이 느릴 때 해결 방법

명령어를 찾을 수 없다고 나온다면: 프로그램 설치가 완료되었는지 확인하고 PowerShell 창을 닫았다가 다시 실행해 보세요. 계속 실행되지 않는다면 Ollama를 재설치하거나 윈도우의 환경 변수 설정을 점검하세요.

답변 속도가 너무 느리다면: 현재 모델이 컴퓨터 메모리나 그래픽카드 성능에 비해 큰 것일 수 있습니다. 더 작은 모델로 바꿔 실행하거나 동시에 사용하는 프로그램을 줄여 보세요.

모델 다운로드가 실패한다면: 인터넷 연결 상태와 디스크 여유 공간을 확인하세요. AI 모델은 파일 크기가 크기 때문에 다운로드 도중 연결이 끊기거나 저장 공간이 부족하면 설치가 완료되지 않을 수 있습니다.

인터넷을 끊었는데 사용할 수 없다면: 클라우드 모델을 선택했거나 로컬 모델 다운로드가 완료되지 않았는지 확인하세요. 오프라인으로 사용하려면 필요한 모델 파일이 컴퓨터에 저장되어 있어야 합니다.

9. 어떤 사람에게 Ollama를 추천할까?

인터넷 없이 AI를 사용해 보고 싶은 분, 다양한 AI 모델의 답변을 직접 비교하고 싶은 분, 로컬 AI 프로그램을 공부하려는 학생과 개발자에게 추천합니다. 자신의 컴퓨터 성능에 맞는 모델을 선택할 수 있다는 점도 장점입니다.

처음부터 거대한 AI 모델을 설치할 필요는 없습니다. Ollama를 설치하고 Gemma 3 1B처럼 작은 모델부터 실행해 보세요. 간단한 한국어 질문과 문장 작성으로 사용 방법을 익힌 뒤 더 큰 모델을 비교하면 로컬 AI의 장점과 한계를 쉽게 이해할 수 있습니다.