요즘 AI 뉴스에 "오픈웨이트"라는 말이 자주 나옵니다. 오픈소스와 비슷해 보이지만 다른 개념이고, 개인이 자기 PC에서 AI를 돌리는 흐름과 직접 연결돼 있습니다.
용어부터 정리하고, 내 컴퓨터에서 돌릴 수 있는 조건까지 짚어보겠습니다.
핵심 요약
1️⃣ 오픈웨이트 = 모델의 가중치 파일을 공개한 것, 학습 데이터·코드까지 공개한 오픈소스와는 다르다
2️⃣ 내려받아 내 PC에서 돌릴 수 있어 데이터가 밖으로 안 나간다
3️⃣ 필요한 건 주로 메모리 — 그래픽카드 VRAM 또는 통합 메모리
4️⃣ 양자화하면 용량이 줄어 일반 PC에서도 돌아간다
목차
- 오픈웨이트와 오픈소스의 차이
- 왜 로컬 실행이 늘어나나
- 내 PC에서 돌아갈까
- 시작하는 방법과 한계
오픈웨이트와 오픈소스의 차이
혼용되지만 공개 범위가 다릅니다.
| 구분 | 공개되는 것 | 공개 안 되는 것 |
|---|---|---|
| 오픈웨이트 | 학습된 가중치 파일 | 학습 데이터, 학습 코드 |
| 오픈소스(엄밀히) | 가중치 + 데이터 + 코드 | — |
| 폐쇄형 | 없음(API로만 사용) | 전부 |
가중치는 모델이 학습을 마치고 남긴 숫자 뭉치입니다. 이것만 있으면 모델을 실행할 수 있지만, 어떤 데이터로 어떻게 만들었는지는 알 수 없습니다.
그래서 "오픈웨이트를 오픈소스라 부르는 건 정확하지 않다"는 지적이 계속 나옵니다. 실행은 자유롭되 재현은 안 되기 때문입니다.
라이선스도 제각각입니다. 상업적 사용을 허용하는 것도 있고, 일정 규모 이상 서비스에는 별도 계약을 요구하는 것도 있습니다. 내려받기 전에 라이선스를 확인하는 습관이 필요합니다.
왜 로컬 실행이 늘어나나
이유가 명확합니다.
- 데이터가 밖으로 안 나감 — 사내 문서나 개인 기록을 다룰 때 결정적입니다
- 사용량 요금이 없음 — 전기요금 외에 호출당 비용이 안 붙습니다
- 인터넷 없이도 동작 — 비행기나 폐쇄망에서도 씁니다
- 모델이 바뀌지 않음 — 서비스 업데이트로 답변 성향이 바뀌는 일이 없습니다
마지막 항목은 업무에 붙여 쓰는 경우에 특히 큽니다. 클라우드 모델은 제공사가 버전을 올리면 같은 프롬프트에서 다른 결과가 나올 수 있는데, 내려받은 가중치는 그대로입니다.
반대로 포기하는 것도 있습니다. 최상위 성능은 여전히 대형 클라우드 모델 쪽이고, 로컬은 그보다 한두 단계 낮은 급을 씁니다.
내 PC에서 돌아갈까
관건은 그래픽카드 성능보다 메모리 용량입니다. 모델 파일이 통째로 메모리에 올라가야 하기 때문입니다.
여기서 양자화가 등장합니다. 가중치를 담는 숫자의 정밀도를 낮춰 파일 크기를 줄이는 기법으로, 성능을 조금 내주고 용량을 크게 줄입니다.
| 모델 규모 | 4비트 양자화 시 대략 필요 메모리 |
|---|---|
| 7~8B | 5~6GB |
| 13~14B | 9~10GB |
| 30B대 | 20GB 안팎 |
| 70B대 | 40GB 이상 |
B는 파라미터 수(billion)입니다. 8GB VRAM 그래픽카드나 통합 메모리 16GB 노트북이면 7~8B급은 대체로 돌아갑니다.
애플 실리콘 맥은 CPU와 GPU가 메모리를 함께 쓰는 구조라 상대적으로 큰 모델을 올리기 유리한 편입니다.
속도는 어느 정도인가요
체감은 초당 생성 토큰 수로 갈립니다. 사람이 읽는 속도를 따라가려면 초당 10토큰 안팎은 나와야 답답하지 않습니다.
시작하는 방법과 한계
설치형 도구들이 정리돼 있어 명령어를 몰라도 됩니다. 모델 목록에서 고르고 내려받으면 바로 대화가 시작되는 형태가 대부분입니다.
처음이라면 이 순서가 무난합니다.
- 내 PC 메모리 용량 확인(VRAM 또는 통합 메모리)
- 그 용량에 맞는 크기의 4비트 양자화 모델 선택
- 짧은 질문으로 생성 속도부터 확인
- 느리면 한 단계 작은 모델로 내려서 비교
한계도 분명합니다. 최신 정보를 모르고(학습 시점 이후는 백지), 긴 문서를 한 번에 다루는 능력이 클라우드 모델보다 좁으며, 한국어 품질은 모델마다 편차가 큽니다.
여러 사례를 보면 문서 요약·번역·초안 작성처럼 결과를 사람이 검토하는 작업에서 만족도가 높고, 사실 확인이 중요한 작업은 여전히 검증이 필요합니다.
자주 묻는 질문
Q. 오픈웨이트 모델은 무료인가요?
A. 내려받기는 대개 무료지만 라이선스 조건이 붙습니다. 상업적 사용 범위는 모델마다 다르니 확인이 필요합니다.
Q. 그래픽카드가 없으면 못 쓰나요?
A. CPU만으로도 돌아가지만 느립니다. 통합 메모리가 넉넉한 노트북이면 쓸 만한 속도가 나옵니다.
Q. 양자화하면 성능이 많이 떨어지나요?
A. 4비트 정도면 체감 저하가 크지 않다는 평가가 일반적입니다. 더 낮추면 품질 저하가 뚜렷해집니다.
Q. 내 대화 내용이 어디로 전송되나요?
A. 로컬 실행이면 전송되지 않습니다. 다만 도구에 따라 사용 통계를 보내는 설정이 있을 수 있어 설정 화면에서 확인하시는 게 좋습니다.
Q. 클라우드 AI를 완전히 대체할 수 있나요?
A. 아직은 아닙니다. 최상위 성능과 최신 정보는 클라우드 쪽이 앞서므로, 용도에 따라 나눠 쓰는 방식이 현실적입니다.
2026년 8월 기준이며, 모델별 요구 사양과 라이선스는 자주 바뀌므로 배포처 안내를 확인하시는 게 정확합니다.
출처: 각 모델 배포처 라이선스 및 공식 문서
