Ollama에서 그래픽 카드별 VRAM 사용량이 다른 이유가 궁금하신가요? 3090과 2080Ti 모델의 실제 사용량을 비교 분석하여 명확한 차이점과 그 원인을 알려드립니다.
Ollama, 그래픽 카드별 VRAM 사용량 차이는 왜 발생하나요?
Ollama를 사용하여 AI 모델을 구동할 때, 동일한 모델임에도 불구하고 그래픽 카드(GPU)의 VRAM 사용량이 크게 달라지는 경우가 있습니다. 예를 들어, 3090 (24GB)에서는 약 9GB가 사용되던 것이 2080Ti (11GB)에서는 약 3GB만 사용되는 현상이 관찰되었습니다. 두 시스템 모두 동일한 AI 모델을 사용하고 GPU 사용률도 100%에 달하는데도 불구하고 이러한 차이가 발생하는 것은 혼란스러울 수 있습니다. 실제 테스트 결과, 이러한 VRAM 사용량 차이는 주로 AI 모델이 처리하는 '컨텍스트(Context)' 길이의 차이에서 비롯됩니다.
Ollama는 사용자의 GPU VRAM 용량에 따라 기본 컨텍스트 길이를 자동으로 조절합니다. VRAM이 더 큰 그래픽 카드일수록 더 긴 컨텍스트 길이를 설정하는 경향이 있습니다. 예를 들어, 2080Ti (11GB)의 경우 기본 컨텍스트 길이가 4K로 설정될 수 있지만, 3090 (24GB)과 같이 VRAM이 훨씬 큰 그래픽 카드에서는 32K로 더 길게 설정될 수 있습니다. 컨텍스트 길이가 길어지면, AI가 이전 대화나 정보를 더 빠르고 효율적으로 참조하기 위해 사용하는 내부 메모리인 KV 캐시(Key-Value Cache)의 크기 또한 함께 증가하게 됩니다. 이 KV 캐시 메모리가 VRAM 사용량의 상당 부분을 차지하게 되어, 결과적으로 VRAM이 큰 그래픽 카드에서 더 많은 메모리를 사용하는 것처럼 보이게 되는 것입니다.
Ollama VRAM 사용량 차이, KV 캐시와 컨텍스트 길이의 관계는?
관련 글
Ollama에서 그래픽 카드별 VRAM 사용량 차이를 이해하기 위해서는 KV 캐시와 컨텍스트 길이의 관계를 명확히 파악하는 것이 중요합니다. AI 모델은 텍스트를 처리할 때 '토큰'이라는 단위로 분해하여 이해합니다. 컨텍스트 길이는 모델이 한 번에 고려할 수 있는 토큰의 최대 개수를 의미합니다. 예를 들어, 컨텍스트 길이가 4K라면 모델은 최대 4,000개의 토큰을 기억하고 처리할 수 있다는 뜻입니다. 반면, 32K는 32,000개의 토큰을 처리할 수 있음을 의미하며, 이는 훨씬 더 긴 대화 내용이나 복잡한 정보를 기억하고 활용할 수 있다는 것을 뜻합니다.
이때 KV 캐시는 이전 토큰들의 정보를 저장해두는 역할을 합니다. 컨텍스트 길이가 길어질수록 모델이 기억해야 할 이전 토큰의 수가 늘어나므로, KV 캐시의 크기도 비례하여 커집니다. 이 KV 캐시 데이터는 GPU의 VRAM에 저장되므로, 컨텍스트 길이가 길게 설정된 그래픽 카드일수록 더 많은 VRAM을 사용하게 되는 것입니다. 따라서 동일한 AI 모델을 사용하더라도, Ollama가 각기 다른 GPU의 VRAM 용량에 맞춰 설정한 기본 컨텍스트 길이와 그에 따른 KV 캐시 크기의 차이가 VRAM 사용량의 주요 원인이 됩니다.
Ollama, 컨텍스트 길이 조절로 VRAM 사용량 최적화 가능할까요?
Ollama에서 VRAM 사용량을 최적화하고 싶다면, 컨텍스트 길이를 수동으로 조절하는 방법을 고려해볼 수 있습니다. 사용자는 Ollama 실행 시 환경 변수나 커맨드라인 인자를 통해 컨텍스트 길이를 직접 설정할 수 있습니다. 예를 들어, `OLLAMA_CONTEXT_LENGTH` 환경 변수를 설정하거나, 모델 실행 시 `--context` 옵션을 사용하여 원하는 컨텍스트 길이를 지정할 수 있습니다. 만약 VRAM이 부족한 그래픽 카드에서 더 큰 모델을 실행하거나, VRAM 사용량을 줄이고 싶다면 컨텍스트 길이를 짧게 설정하는 것이 효과적입니다. 반대로, 더 긴 대화 내용을 기억하게 하거나 복잡한 추론 능력을 향상시키고 싶다면 VRAM 용량이 충분하다는 전제 하에 컨텍스트 길이를 늘릴 수 있습니다.
하지만 컨텍스트 길이를 너무 짧게 설정하면 AI 모델의 성능 저하를 초래할 수 있습니다. 특히 긴 문맥 이해가 중요한 작업에서는 이전 대화 내용을 제대로 기억하지 못해 답변의 일관성이 떨어지거나 맥락을 놓치는 경우가 발생할 수 있습니다. 따라서 자신의 GPU VRAM 용량과 사용하려는 AI 모델의 특성, 그리고 수행하려는 작업의 종류를 종합적으로 고려하여 최적의 컨텍스트 길이를 설정하는 것이 중요합니다. 필요하다면 여러 값을 시도해보며 성능과 VRAM 사용량 사이의 균형점을 찾는 것이 좋습니다.
Ollama VRAM 사용량 관련 자주 묻는 질문
Q1: Ollama에서 3090과 2080Ti의 VRAM 사용량 차이가 3배까지 나는 이유는 무엇인가요?
A1: 동일한 AI 모델을 사용하더라도, Ollama는 GPU VRAM 용량에 따라 기본 컨텍스트 길이를 다르게 설정합니다. VRAM이 큰 3090은 더 긴 컨텍스트 길이를 설정하고, 이로 인해 KV 캐시 메모리 크기가 커져 VRAM 사용량이 늘어납니다. 2080Ti는 상대적으로 짧은 컨텍스트 길이를 사용하므로 VRAM 사용량이 적습니다.
Q2: KV 캐시(KV Cache)란 정확히 무엇이며 VRAM 사용량과 어떤 관련이 있나요?
A2: KV 캐시는 AI 모델이 이전 토큰(단어 또는 문자의 일부) 정보를 빠르게 참조하여 다음 토큰을 예측하는 데 사용하는 메모리입니다. 컨텍스트 길이가 길어질수록 더 많은 이전 토큰 정보를 저장해야 하므로 KV 캐시의 크기가 커지고, 이 데이터가 VRAM에 저장되어 VRAM 사용량을 증가시키는 주요 원인이 됩니다.
Q3: Ollama에서 컨텍스트 길이를 직접 조절할 수 있나요?
A3: 네, 가능합니다. `OLLAMA_CONTEXT_LENGTH` 환경 변수를 설정하거나 모델 실행 시 `--context` 옵션을 사용하여 원하는 컨텍스트 길이를 직접 지정할 수 있습니다. VRAM이 부족할 경우 길이를 줄이고, 더 긴 맥락 이해가 필요할 경우 늘릴 수 있습니다.
더 자세한 Ollama VRAM 최적화 팁은 원본 글에서 확인하세요.
