AMD Radeon/ryzen 에서 PyTorch 설치 및 LLM 구동 가이드 (7.2.1)

Bigdata

AMD Radeon/ryzen 에서 PyTorch 설치 및 LLM 구동 가이드 (7.2.1)

올엠 2026. 5. 12. 09:15

AMD 의 ROCm 도구를 사용한 PyTorch Windows 설치 방법과 LLM 실행까지 정리했습니다.

📋 사전 준비 사항

필수 요구사항

Python 3.12 이상 (필수)
AMD 그래픽 드라이버: 버전 26.2.2 이상
- AMD 공식 다운로드 페이지

🚀 설치 방법 (PIP 사용)

단계 1: ROCm SDK 설치

CMD 또는 PowerShell 에서 다음 명령 실행:

CMD:

cmd

pip install --no-cache-dir ^
    https://repo.radeon.com/rocm/windows/rocm-rel-7.2.1/rocm_sdk_core-7.2.1-py3-none-win_amd64.whl ^
    https://repo.radeon.com/rocm/windows/rocm-rel-7.2.1/rocm_sdk_devel-7.2.1-py3-none-win_amd64.whl ^
    https://repo.radeon.com/rocm/windows/rocm-rel-7.2.1/rocm_sdk_libraries_custom-7.2.1-py3-none-win_amd64.whl ^
    https://repo.radeon.com/rocm/windows/rocm-rel-7.2.1/rocm-7.2.1.tar.gz

PowerShell:

powershell

pip install --no-cache-dir `
    https://repo.radeon.com/rocm/windows/rocm-rel-7.2.1/rocm_sdk_core-7.2.1-py3-none-win_amd64.whl `
    https://repo.radeon.com/rocm/windows/rocm-rel-7.2.1/rocm_sdk_devel-7.2.1-py3-none-win_amd64.whl `
    https://repo.radeon.com/rocm/windows/rocm-rel-7.2.1/rocm_sdk_libraries_custom-7.2.1-py3-none-win_amd64.whl `
    https://repo.radeon.com/rocm/windows/rocm-rel-7.2.1/rocm-7.2.1.tar.gz

단계 2: PyTorch 설치

PyTorch, torchvision, torchaudio 를 ROCm AMD GPU 버전으로 설치합니다 (몇 분 소요될 수 있음).

CMD:

cmd

pip install --no-cache-dir ^
    https://repo.radeon.com/rocm/windows/rocm-rel-7.2.1/torch-2.9.1%2Brocm7.2.1-cp312-cp312-win_amd64.whl ^
    https://repo.radeon.com/rocm/windows/rocm-rel-7.2.1/torchaudio-2.9.1%2Brocm7.2.1-cp312-cp312-win_amd64.whl ^
    https://repo.radeon.com/rocm/windows/rocm-rel-7.2.1/torchvision-0.24.1%2Brocm7.2.1-cp312-cp312-win_amd64.whl

PowerShell:

powershell

pip install --no-cache-dir `
    https://repo.radeon.com/rocm/windows/rocm-rel-7.2.1/torch-2.9.1%2Brocm7.2.1-cp312-cp312-win_amd64.whl `
    https://repo.radeon.com/rocm/windows/rocm-rel-7.2.1/torchaudio-2.9.1%2Brocm7.2.1-cp312-cp312-win_amd64.whl `
    https://repo.radeon.com/rocm/windows/rocm-rel-7.2.1/torchvision-0.24.1%2Brocm7.2.1-cp312-cp312-win_amd64.whl

✅ 설치 확인

1. PyTorch 기본 확인

cmd

python -c "import torch" 2>nul && echo Success || echo Failure

예상 결과: Success

2. GPU 가용성 확인

python

python -c "import torch; print(torch.cuda.is_available())"

예상 결과: True

3. GPU 이름 확인

python

python -c "import torch; print(f'device name [0]:', torch.cuda.get_device_name(0))"

예상 결과: device name [0]: Radeon RX 7900 XTX (사용 중인 AMD GPU`

4. 환경 정보 전체 출력

python

python -m torch.utils.collect_env

예시 출력:

PyTorch version: 2.9.1+rocm7.2.1
Is debug build: False
CUDA used to build PyTorch: N/A
ROCM used to build PyTorch: 7.2.53211-158bd99533

OS: Microsoft Windows 11 Pro (10.0.26200 64-bit)
Python version: 3.12.10
Is CUDA available: True
GPU models and configuration: AMD Radeon AI PRO R9700 (gfx1201)
HIP runtime version: 7.2.53211
MIOpen runtime version: 3.5.1

📦 단계 3: LLM 실행을 위한 필수 라이브러리 설치

LLM 을 구동하기 위해 가장 널리 쓰이는 transformers 와 accelerate 라이브러리를 설치해야 합니다.

bash

pip install transformers accelerate huggingface_hub

주의사항:

코드를 사용할 때 GPU 메모리 할당량과 batch size 를 적절히 조정하세요
대형 모델을 실행할 경우 float16 또는 bfloat16 정밀도를 사용 권장
ROCm 환경에서는 CUDA 관련 에러가 발생할 수 있으므로 HIP 도구를 확인

🔐 단계 4: Hugging Face 토큰 생성 및 설정

1. 토큰 생성

Hugging Face 설정 페이지 에서 다음으로 이동합니다:

Token Type: write (모델 다운로드에 필요한 권한)
Name: llm-download-token 또는 임의 이름
Description: 필요 시 설명 입력

생성된 토큰을 복사해 둡니다.

2. Python 스크립트에 직접 포함

생성된 토큰을 Python 코드로 직접 넣습니다 (보안을 위해 권장하지 않으나 간단한 테스트용).

🧪 단계 5: LLM 실행 테스트 (Python 스크립트)

Hugging Face Hub 를 통해 모델을 다운로드하고 GPU 가 정상적으로 작동하는지 확인합니다.

test_llm.py 파일로 저장:

python

import os
import torch
from transformers import AutoModelForCausalLM, AutoTokenizer
from accelerate import Accelerator

# 1. Hugging Face 토큰 설정 (직접 입력)
HF_TOKEN = "여기에_생성된_hf_token_붙여넣기"  # 예: hf_xxxxxxxxxxxxxxxxxxxxxx

os.environ["HF_TOKEN"] = HF_TOKEN

# 2. 가속화 장치 설정 (Accelerator 는 ROCm 자동 감지)
accelerator = Accelerator(device_placement=True)
device = accelerator.device
print(f"사용 중인 장치: {device}")
print(f"GPU 모델명: {torch.cuda.get_device_name(0)}")

# 3. 모델 및 토크나이저 로드 (Hugging Face Hub 에서 자동 다운로드)
model_id = "google/gemma-2b-it"
model = AutoModelForCausalLM.from_pretrained(
    model_id, 
    token=HF_TOKEN,  # 토큰 직접 전달
    torch_dtype=torch.float16,
    device_map=device,
    trust_remote_code=True  # 일부 모델은 필요할 수 있음
)
tokenizer = AutoTokenizer.from_pretrained(model_id, token=HF_TOKEN)

# 4. 텍스트 생성 테스트
prompt = "AMD Radeon GPU 에서 LLM 이 잘 작동하나요?"
inputs = tokenizer(prompt, return_tensors="pt").to(device)

outputs = model.generate(
    **inputs, 
    max_new_tokens=256,
    do_sample=True,
    temperature=0.7,
    top_p=0.9
)

decoded = tokenizer.decode(outputs[0], skip_special_tokens=True)
print(decoded[len(prompt):])  # 입력 제외하고 생성된 텍스트 출력

💡 참고 사항

보안 권장사항: 실제 프로덕션에서는 HF_TOKEN 을 환경 변수나 자격 증명 관리자에 저장하세요
호환성 확인: AMD ROCm 호환성 매트릭스 를 참조하세요
제한 사항 및 권장 설정: ROCm 제한 사항 문서 확인AMD 의 ROCm 도구를 사용한 PyTorch Windows 설치 방법과 LLM 실행까지 정리했습니다.
📋 사전 준비 사항
- Python 3.12 이상 (필수)
- AMD 그래픽 드라이버: 버전 26.2.2 이상
  - AMD 공식 다운로드 페이지
🚀 설치 방법 (PIP 사용)CMD 또는 PowerShell 에서 다음 명령 실행:
cmd
```
pip install --no-cache-dir ^    https://repo.radeon.com/rocm/windows/rocm-rel-7.2.1/rocm_sdk_core-7.2.1-py3-none-win_amd64.whl ^    https://repo.radeon.com/rocm/windows/rocm-rel-7.2.1/rocm_sdk_devel-7.2.1-py3-none-win_amd64.whl ^    https://repo.radeon.com/rocm/windows/rocm-rel-7.2.1/rocm_sdk_libraries_custom-7.2.1-py3-none-win_amd64.whl ^    https://repo.radeon.com/rocm/windows/rocm-rel-7.2.1/rocm-7.2.1.tar.gz
```
PowerShell:단계 2: PyTorch 설치CMD:PowerShell:
✅ 설치 확인
cmd
```
python -c "import torch" 2>nul && echo Success || echo Failure
```
예상 결과: Success
python
```
python -c "import torch; print(torch.cuda.is_available())"
```
예상 결과: True
python
```
python -c "import torch; print(f'device name [0]:', torch.cuda.get_device_name(0))"
```
예상 결과: device name [0]: Radeon RX 7900 XTX (사용 중인 AMD GPU`
python
```
python -m torch.utils.collect_env
```
예시 출력:
📦 단계 3: LLM 실행을 위한 필수 라이브러리 설치
bash
```
pip install transformers accelerate
```
주의사항:
- 코드를 사용할 때 GPU 메모리 할당량과 batch size 를 적절히 조정하세요
- 대형 모델을 실행할 경우 float16 또는 bfloat16 정밀도를 사용 권장
- ROCm 환경에서는 CUDA 관련 에러가 발생할 수 있으므로 HIP 도구를 확인
🔐 단계 4: Hugging Face 토큰 생성 및 설정Hugging Face 설정 페이지 에서 다음으로 이동합니다:
- Token Type: write (모델 다운로드에 필요한 권한)
- Name: llm-download-token 또는 임의 이름
- Description: 필요 시 설명 입력
생성된 토큰을 복사해 둡니다.생성된 토큰을 Python 코드로 직접 넣습니다 (보안을 위해 권장하지 않으나 간단한 테스트용).
🧪 단계 5: LLM 실행 테스트 (Python 스크립트)test_llm.py 파일로 저장:
💡 참고 사항
- 보안 권장사항: 실제 프로덕션에서는 HF_TOKEN 을 환경 변수나 자격 증명 관리자에 저장하세요
- 호환성 확인: AMD ROCm 호환성 매트릭스 를 참조하세요
- 제한 사항 및 권장 설정: ROCm 제한 사항 문서 확인

python

import osimport torchfrom transformers import AutoModelForCausalLM, AutoTokenizerfrom accelerate import Accelerator
# 1. Hugging Face 토큰 설정 (직접 입력)HF_TOKEN = "여기에_생성된_hf_token_붙여넣기"  # 예: hf_xxxxxxxxxxxxxxxxxxxxxx
os.environ["HF_TOKEN"] = HF_TOKEN
# 2. 가속화 장치 설정 (Accelerator 는 ROCm 자동 감지)accelerator = Accelerator(device_placement=True)device = accelerator.deviceprint(f"사용 중인 장치: {device}")print(f"GPU 모델명: {torch.cuda.get_device_name(0)}")
# 3. 모델 및 토크나이저 로드 (Hugging Face Hub 에서 자동 다운로드)model_id = "google/gemma-2b-it"model = AutoModelForCausalLM.from_pretrained(    model_id,     token=HF_TOKEN,  # 토큰 직접 전달    torch_dtype=torch.float16,    device_map=device,    trust_remote_code=True  # 일부 모델은 필요할 수 있음)tokenizer = AutoTokenizer.from_pretrained(model_id, token=HF_TOKEN)
# 4. 텍스트 생성 테스트prompt = "AMD Radeon GPU 에서 LLM 이 잘 작동하나요?"inputs = tokenizer(prompt, return_tensors="pt").to(device)
outputs = model.generate(    **inputs,     max_new_tokens=256,    do_sample=True,    temperature=0.7,    top_p=0.9)
decoded = tokenizer.decode(outputs[0], skip_special_tokens=True)print(decoded[len(prompt):])  # 입력 제외하고 생성된 텍스트 출력

Hugging Face Hub 를 통해 모델을 다운로드하고 GPU 가 정상적으로 작동하는지 확인합니다.
2. Python 스크립트에 직접 포함
1. 토큰 생성
LLM 을 구동하기 위해 가장 널리 쓰이는 transformers 와 accelerate 라이브러리를 설치해야 합니다.

PyTorch version: 2.9.1+rocm7.2.1Is debug build: FalseCUDA used to build PyTorch: N/AROCM used to build PyTorch: 7.2.53211-158bd99533
OS: Microsoft Windows 11 Pro (10.0.26200 64-bit)Python version: 3.12.10Is CUDA available: TrueGPU models and configuration: AMD Radeon AI PRO R9700 (gfx1201)HIP runtime version: 7.2.53211MIOpen runtime version: 3.5.1

4. 환경 정보 전체 출력
3. GPU 이름 확인
2. GPU 가용성 확인
1. PyTorch 기본 확인

powershell

pip install --no-cache-dir `    https://repo.radeon.com/rocm/windows/rocm-rel-7.2.1/torch-2.9.1%2Brocm7.2.1-cp312-cp312-win_amd64.whl `    https://repo.radeon.com/rocm/windows/rocm-rel-7.2.1/torchaudio-2.9.1%2Brocm7.2.1-cp312-cp312-win_amd64.whl `    https://repo.radeon.com/rocm/windows/rocm-rel-7.2.1/torchvision-0.24.1%2Brocm7.2.1-cp312-cp312-win_amd64.whl

cmd

pip install --no-cache-dir ^    https://repo.radeon.com/rocm/windows/rocm-rel-7.2.1/torch-2.9.1%2Brocm7.2.1-cp312-cp312-win_amd64.whl ^    https://repo.radeon.com/rocm/windows/rocm-rel-7.2.1/torchaudio-2.9.1%2Brocm7.2.1-cp312-cp312-win_amd64.whl ^    https://repo.radeon.com/rocm/windows/rocm-rel-7.2.1/torchvision-0.24.1%2Brocm7.2.1-cp312-cp312-win_amd64.whl

PyTorch, torchvision, torchaudio 를 ROCm AMD GPU 버전으로 설치합니다 (몇 분 소요될 수 있음).

powershell

pip install --no-cache-dir `    https://repo.radeon.com/rocm/windows/rocm-rel-7.2.1/rocm_sdk_core-7.2.1-py3-none-win_amd64.whl `    https://repo.radeon.com/rocm/windows/rocm-rel-7.2.1/rocm_sdk_devel-7.2.1-py3-none-win_amd64.whl `    https://repo.radeon.com/rocm/windows/rocm-rel-7.2.1/rocm_sdk_libraries_custom-7.2.1-py3-none-win_amd64.whl `    https://repo.radeon.com/rocm/windows/rocm-rel-7.2.1/rocm-7.2.1.tar.gz

CMD:
단계 1: ROCm SDK 설치
필수 요구사항