Ollama 3개월 써봤는데 결국 ChatGPT로 돌아온 이유, 다들 로컬 AI 좋다는데 막상 일반인이 쓸 게 없는 진짜 이유

유튜브에서 "Ollama 설치하면 ChatGPT 공짜로 쓴다"는 영상 본 적 있을 거다. 조회수 잘 나온다. 댓글엔 "우와 대박", "설치해봐야겠다"가 가득하다. 근데 그 댓글 단 사람들이 지금도 Ollama 쓰고 있을까?

아마 아닐 거다.

---

설치하면 뭔 일이 벌어지냐

Ollama 설치 자체는 쉽다. brew install ollama, 끝. 근데 그다음이 문제다.

모델을 받아야 한다. llama3.1 7B가 4~5GB, 13B가 8GB, 70B는 40GB다. "ChatGPT 수준 쓰려면" 70B 이상이 필요하다고들 하는데, 그거 받으려면 M3 Pro 36GB 맥북 기준으로도 구동 속도가 초당 4~6토큰이다. 문장 하나 생성하는 데 몇 초씩 기다린다.

ChatGPT 무료 플랜이 이것보다 빠르고 답변도 낫다. 그리고 무료다.

그러면 뭘 위해 설치한 건가.

---

인플루언서들이 안 말해주는 것

"오픈소스 AI 로컬 구동" 콘텐츠가 폭발적으로 늘어난 건 이유가 있다.

신기하기 때문이다. 내 컴퓨터에서 AI가 돌아간다는 게 시각적으로 임팩트 있다. 영상 만들기 좋고, 따라하기 쉬워 보이고, 강좌로 팔기도 좋다. "설치 5분이면 끝"이라는 썸네일은 클릭률이 잘 나온다.

근데 그 영상 어디에도 이런 말은 없다:

• 설치 후 뭘 물어볼 건지
• ChatGPT 대비 어떤 상황에서 더 나은지
• 일반인이 매일 쓸 이유가 있는지

없다. 왜냐면 사실 없거든.

---

진짜 쓸만한 케이스는 딱 두 개다

첫 번째. 개발자가 코딩 보조로 쓰는 경우.

Continue.dev + Ollama 조합으로 VS Code에 로컬 AI 코딩 보조를 붙일 수 있다. 코드는 회사 서버에 올리기 찜찜한 경우가 많은데, 로컬에서 돌면 그 걱정이 없다. 속도가 느려도 자동완성 수준에선 쓸만하다.

두 번째. 민감한 데이터를 다루는 기업 환경.

의료, 법률, 금융 쪽에서 내부 문서를 ChatGPT에 올리면 안 된다. 이런 곳은 로컬 LLM이 진짜 대안이 된다. 단, 이건 기업 IT팀이 세팅하는 거지 개인이 Ollama 깔아서 해결되는 문제가 아니다.

이 두 케이스 밖에 있는 사람이라면, 그냥 ChatGPT 쓰면 된다.

---

그래서 오픈클로가 의미 없냐

아니다. 방향이 다를 뿐이다.

오픈소스 로컬 LLM이 중요한 이유는 "일반인이 당장 쓰기 좋아서"가 아니라, AI 인프라의 탈중앙화 가능성 때문이다. 지금은 ChatGPT·Claude 같은 서비스에 전부 종속돼 있는데, 로컬 구동이 가능해질수록 그 의존도가 줄어든다. 장기적으로 중요한 흐름이다.

근데 그게 지금 당신 노트북에서 Ollama 켜야 할 이유는 아니다.

---

어디에 혹할지 미리 알고 있으면 된다

"로컬 AI 구동 = 공짜 ChatGPT"라는 프레이밍은 틀렸다. 공짜는 맞는데, ChatGPT 대체는 아직 아니다. 하드웨어 진입장벽, 모델 품질, 사용성 셋 다 아직 격차가 있다.

1~2년 뒤엔 달라질 수 있다. 지금은 아니다.

인플루언서 콘텐츠 볼 때 이것만 기억하면 된다: 그 영상이 설치 방법은 가르쳐줘도, 설치 후 3개월 뒤에도 쓰고 있는지는 안 알려준다.