Windows 11 - AMD Ryzen AI 시리즈를 위한 최신 HIP SDK로 Ollama 설치 방법

Windows 11에서 AMD Ryzen AI 시리즈 + 최신 HIP SDK(ROCm)를 활용해 Ollama를 설치하려면, 기본적으로 “AMD 드라이버 → HIP SDK → Ollama → ROCm 라이브러리 점검” 순서로 진행하면 된다. 아래는 Ryzen AI Max/300 시리즈, RDNA3.x 내장 GPU 기준의 일반적인 단계이다.

1. 사전 준비 사항

• Windows 11은 22H2 이상, 최신 업데이트 적용 상태 권장.[1]
• AMD Ryzen AI 지원 APU(예: Ryzen AI Max/300 시리즈)와 RDNA3/3.5 계열 GPU가 장착된 시스템.
• 로컬 디스크에 최소 수십 GB 이상 여유 공간(모델 다운로드용)과 안정적인 인터넷 연결이 필요하다.

2. AMD 드라이버 및 HIP SDK 설치

1. AMD 공식 사이트에서 사용하는 Ryzen AI APU/그래픽에 맞는 Windows 11용 최신 칩셋/그래픽 드라이버를 설치한다.
2. AMD ROCm HIP SDK(예: 6.x 버전)를 Windows용으로 다운로드해 전체 옵션으로 설치한다.
3. 설치 후 시스템을 재부팅해 환경 변수와 드라이버가 제대로 반영되도록 한다.

HIP SDK 설치 확인

• PowerShell에서 다음처럼 환경 변수를 간단히 확인한다.
  • echo $env:HIP_PATH
  • echo $env:ROCM_PATH
• HIP 샘플(있다면)을 간단히 빌드·실행하여 GPU 인식 여부를 확인하면 안정적이다.

3. Windows용 Ollama 설치

1. Ollama 공식 홈페이지에 접속해 “Download for Windows”를 클릭하고 설치 프로그램(OllamaSetup.exe)을 내려받는다.
2. 받은 설치 파일을 실행하여 기본값으로 설치를 진행한다. 이 설치 프로그램은 일반적으로 관리자 권한 없이 사용자 계정 기준 경로에 설치된다.
3. 설치가 끝나면 PowerShell 또는 CMD를 열어 아래 명령으로 기본 동작을 확인한다.
   • ollama run llama3
   • ollama run llama3.2

4. AMD GPU/HIP 가속 설정 및 ROCm 라이브러리

• 일부 AMD GPU·iGPU에서는 기본 Ollama 설치만으로는 GPU 가속이 비활성화되어 있을 수 있다.
• 이 경우 다음과 같은 추가 작업이 필요할 수 있다.
  • Ollama 설치 폴더(예: C:\Users\<사용자명>\AppData\Local\Programs\Ollama\lib\ollama\rocm)를 찾아 GPU 아키텍처(gfx11xx 등)에 맞는 최신 ROCm/rocBLAS 라이브러리로 교체.
  • AMD 또는 커뮤니티에서 제공하는 ROCmLibs 패키지를 받아 rocblas.dll과 rocblas\library 폴더를 동일 경로에 덮어쓰기
• GPU가 정상 인식되면 모델 로딩 시 VRAM 사용량 증가와 함께 추론 속도가 CPU 모드보다 눈에 띄게 빨라진다.

5. 설치 후 점검 및 활용 팁

• ollama run llama3 실행 시 에러가 나면 다음을 다시 확인한다.
  • AMD 드라이버 버전 및 HIP SDK가 최신인지.
  • ROCm 라이브러리 경로에 올바른 아키텍처용 파일이 들어 있는지.
• 모델 저장 위치를 바꾸고 싶다면 OLLAMA_MODELS 환경 변수를 설정해 별도 드라이브(예: D:\ollama-models)에 두는 것이 좋다.
• Ryzen AI NPU는 별도의 Ryzen AI 소프트웨어로 활용되며, Ollama는 현재 주로 GPU(HIP/ROCm) 가속을 이용한다.