본문 바로가기
Bigdata

AMD Radeon/ryzen 에서 PyTorch 설치 및 LLM 구동 가이드 (7.2.1)

by 올엠 2026. 5. 12.
반응형

AMD 의 ROCm 도구를 사용한 PyTorch Windows 설치 방법과 LLM 실행까지 정리했습니다.

📋 사전 준비 사항

필수 요구사항

🚀 설치 방법 (PIP 사용)

단계 1: ROCm SDK 설치

CMD 또는 PowerShell 에서 다음 명령 실행:

CMD:

cmd
pip install --no-cache-dir ^
    https://repo.radeon.com/rocm/windows/rocm-rel-7.2.1/rocm_sdk_core-7.2.1-py3-none-win_amd64.whl ^
    https://repo.radeon.com/rocm/windows/rocm-rel-7.2.1/rocm_sdk_devel-7.2.1-py3-none-win_amd64.whl ^
    https://repo.radeon.com/rocm/windows/rocm-rel-7.2.1/rocm_sdk_libraries_custom-7.2.1-py3-none-win_amd64.whl ^
    https://repo.radeon.com/rocm/windows/rocm-rel-7.2.1/rocm-7.2.1.tar.gz
 

PowerShell:

powershell
pip install --no-cache-dir `
    https://repo.radeon.com/rocm/windows/rocm-rel-7.2.1/rocm_sdk_core-7.2.1-py3-none-win_amd64.whl `
    https://repo.radeon.com/rocm/windows/rocm-rel-7.2.1/rocm_sdk_devel-7.2.1-py3-none-win_amd64.whl `
    https://repo.radeon.com/rocm/windows/rocm-rel-7.2.1/rocm_sdk_libraries_custom-7.2.1-py3-none-win_amd64.whl `
    https://repo.radeon.com/rocm/windows/rocm-rel-7.2.1/rocm-7.2.1.tar.gz
 

단계 2: PyTorch 설치

PyTorch, torchvision, torchaudio 를 ROCm AMD GPU 버전으로 설치합니다 (몇 분 소요될 수 있음).

CMD:

cmd
pip install --no-cache-dir ^
    https://repo.radeon.com/rocm/windows/rocm-rel-7.2.1/torch-2.9.1%2Brocm7.2.1-cp312-cp312-win_amd64.whl ^
    https://repo.radeon.com/rocm/windows/rocm-rel-7.2.1/torchaudio-2.9.1%2Brocm7.2.1-cp312-cp312-win_amd64.whl ^
    https://repo.radeon.com/rocm/windows/rocm-rel-7.2.1/torchvision-0.24.1%2Brocm7.2.1-cp312-cp312-win_amd64.whl
 

PowerShell:

powershell
pip install --no-cache-dir `
    https://repo.radeon.com/rocm/windows/rocm-rel-7.2.1/torch-2.9.1%2Brocm7.2.1-cp312-cp312-win_amd64.whl `
    https://repo.radeon.com/rocm/windows/rocm-rel-7.2.1/torchaudio-2.9.1%2Brocm7.2.1-cp312-cp312-win_amd64.whl `
    https://repo.radeon.com/rocm/windows/rocm-rel-7.2.1/torchvision-0.24.1%2Brocm7.2.1-cp312-cp312-win_amd64.whl
 

✅ 설치 확인

1. PyTorch 기본 확인

cmd
python -c "import torch" 2>nul && echo Success || echo Failure
 

예상 결과: Success

2. GPU 가용성 확인

python
python -c "import torch; print(torch.cuda.is_available())"
 

예상 결과: True

3. GPU 이름 확인

python
python -c "import torch; print(f'device name [0]:', torch.cuda.get_device_name(0))"
 

예상 결과: device name [0]: Radeon RX 7900 XTX (사용 중인 AMD GPU`

4. 환경 정보 전체 출력

python
python -m torch.utils.collect_env
 

예시 출력:

 
PyTorch version: 2.9.1+rocm7.2.1
Is debug build: False
CUDA used to build PyTorch: N/A
ROCM used to build PyTorch: 7.2.53211-158bd99533

OS: Microsoft Windows 11 Pro (10.0.26200 64-bit)
Python version: 3.12.10
Is CUDA available: True
GPU models and configuration: AMD Radeon AI PRO R9700 (gfx1201)
HIP runtime version: 7.2.53211
MIOpen runtime version: 3.5.1
 

📦 단계 3: LLM 실행을 위한 필수 라이브러리 설치

LLM 을 구동하기 위해 가장 널리 쓰이는 transformers 와 accelerate 라이브러리를 설치해야 합니다.

bash
pip install transformers accelerate huggingface_hub
 

주의사항:

  • 코드를 사용할 때 GPU 메모리 할당량과 batch size 를 적절히 조정하세요
  • 대형 모델을 실행할 경우 float16 또는 bfloat16 정밀도를 사용 권장
  • ROCm 환경에서는 CUDA 관련 에러가 발생할 수 있으므로 HIP 도구를 확인

🔐 단계 4: Hugging Face 토큰 생성 및 설정

1. 토큰 생성

Hugging Face 설정 페이지 에서 다음으로 이동합니다:

  • Token Type: write (모델 다운로드에 필요한 권한)
  • Name: llm-download-token 또는 임의 이름
  • Description: 필요 시 설명 입력

생성된 토큰을 복사해 둡니다.

2. Python 스크립트에 직접 포함

생성된 토큰을 Python 코드로 직접 넣습니다 (보안을 위해 권장하지 않으나 간단한 테스트용).

🧪 단계 5: LLM 실행 테스트 (Python 스크립트)

Hugging Face Hub 를 통해 모델을 다운로드하고 GPU 가 정상적으로 작동하는지 확인합니다.

test_llm.py 파일로 저장:

python
import os
import torch
from transformers import AutoModelForCausalLM, AutoTokenizer
from accelerate import Accelerator

# 1. Hugging Face 토큰 설정 (직접 입력)
HF_TOKEN = "여기에_생성된_hf_token_붙여넣기"  # 예: hf_xxxxxxxxxxxxxxxxxxxxxx

os.environ["HF_TOKEN"] = HF_TOKEN

# 2. 가속화 장치 설정 (Accelerator 는 ROCm 자동 감지)
accelerator = Accelerator(device_placement=True)
device = accelerator.device
print(f"사용 중인 장치: {device}")
print(f"GPU 모델명: {torch.cuda.get_device_name(0)}")

# 3. 모델 및 토크나이저 로드 (Hugging Face Hub 에서 자동 다운로드)
model_id = "google/gemma-2b-it"
model = AutoModelForCausalLM.from_pretrained(
    model_id, 
    token=HF_TOKEN,  # 토큰 직접 전달
    torch_dtype=torch.float16,
    device_map=device,
    trust_remote_code=True  # 일부 모델은 필요할 수 있음
)
tokenizer = AutoTokenizer.from_pretrained(model_id, token=HF_TOKEN)

# 4. 텍스트 생성 테스트
prompt = "AMD Radeon GPU 에서 LLM 이 잘 작동하나요?"
inputs = tokenizer(prompt, return_tensors="pt").to(device)

outputs = model.generate(
    **inputs, 
    max_new_tokens=256,
    do_sample=True,
    temperature=0.7,
    top_p=0.9
)

decoded = tokenizer.decode(outputs[0], skip_special_tokens=True)
print(decoded[len(prompt):])  # 입력 제외하고 생성된 텍스트 출력
 

💡 참고 사항

  • 보안 권장사항: 실제 프로덕션에서는 HF_TOKEN 을 환경 변수나 자격 증명 관리자에 저장하세요
  • 호환성 확인: AMD ROCm 호환성 매트릭스 를 참조하세요
  • 제한 사항 및 권장 설정: ROCm 제한 사항 문서 확인AMD 의 ROCm 도구를 사용한 PyTorch Windows 설치 방법과 LLM 실행까지 정리했습니다.
    📋 사전 준비 사항
    🚀 설치 방법 (PIP 사용)CMD 또는 PowerShell 에서 다음 명령 실행:
    cmd
    pip install --no-cache-dir ^    https://repo.radeon.com/rocm/windows/rocm-rel-7.2.1/rocm_sdk_core-7.2.1-py3-none-win_amd64.whl ^    https://repo.radeon.com/rocm/windows/rocm-rel-7.2.1/rocm_sdk_devel-7.2.1-py3-none-win_amd64.whl ^    https://repo.radeon.com/rocm/windows/rocm-rel-7.2.1/rocm_sdk_libraries_custom-7.2.1-py3-none-win_amd64.whl ^    https://repo.radeon.com/rocm/windows/rocm-rel-7.2.1/rocm-7.2.1.tar.gz
     
    PowerShell:단계 2: PyTorch 설치CMD:PowerShell:
    ✅ 설치 확인
    cmd
    python -c "import torch" 2>nul && echo Success || echo Failure
     
    예상 결과: Success
    python
    python -c "import torch; print(torch.cuda.is_available())"
     
    예상 결과: True
    python
    python -c "import torch; print(f'device name [0]:', torch.cuda.get_device_name(0))"
     
    예상 결과: device name [0]: Radeon RX 7900 XTX (사용 중인 AMD GPU`
    python
    python -m torch.utils.collect_env
     
    예시 출력:
    📦 단계 3: LLM 실행을 위한 필수 라이브러리 설치
    bash
    pip install transformers accelerate
     
    주의사항:
    • 코드를 사용할 때 GPU 메모리 할당량과 batch size 를 적절히 조정하세요
    • 대형 모델을 실행할 경우 float16 또는 bfloat16 정밀도를 사용 권장
    • ROCm 환경에서는 CUDA 관련 에러가 발생할 수 있으므로 HIP 도구를 확인
    🔐 단계 4: Hugging Face 토큰 생성 및 설정Hugging Face 설정 페이지 에서 다음으로 이동합니다:
    • Token Type: write (모델 다운로드에 필요한 권한)
    • Name: llm-download-token 또는 임의 이름
    • Description: 필요 시 설명 입력
    생성된 토큰을 복사해 둡니다.생성된 토큰을 Python 코드로 직접 넣습니다 (보안을 위해 권장하지 않으나 간단한 테스트용).
    🧪 단계 5: LLM 실행 테스트 (Python 스크립트)test_llm.py 파일로 저장:
    💡 참고 사항
  • python
    import osimport torchfrom transformers import AutoModelForCausalLM, AutoTokenizerfrom accelerate import Accelerator
# 1. Hugging Face 토큰 설정 (직접 입력)HF_TOKEN = "여기에_생성된_hf_token_붙여넣기"  # 예: hf_xxxxxxxxxxxxxxxxxxxxxx
os.environ["HF_TOKEN"] = HF_TOKEN
# 2. 가속화 장치 설정 (Accelerator 는 ROCm 자동 감지)accelerator = Accelerator(device_placement=True)device = accelerator.deviceprint(f"사용 중인 장치: {device}")print(f"GPU 모델명: {torch.cuda.get_device_name(0)}")
# 3. 모델 및 토크나이저 로드 (Hugging Face Hub 에서 자동 다운로드)model_id = "google/gemma-2b-it"model = AutoModelForCausalLM.from_pretrained(    model_id,     token=HF_TOKEN,  # 토큰 직접 전달    torch_dtype=torch.float16,    device_map=device,    trust_remote_code=True  # 일부 모델은 필요할 수 있음)tokenizer = AutoTokenizer.from_pretrained(model_id, token=HF_TOKEN)
# 4. 텍스트 생성 테스트prompt = "AMD Radeon GPU 에서 LLM 이 잘 작동하나요?"inputs = tokenizer(prompt, return_tensors="pt").to(device)
outputs = model.generate(    **inputs,     max_new_tokens=256,    do_sample=True,    temperature=0.7,    top_p=0.9)
decoded = tokenizer.decode(outputs[0], skip_special_tokens=True)print(decoded[len(prompt):])  # 입력 제외하고 생성된 텍스트 출력
     
  • Hugging Face Hub 를 통해 모델을 다운로드하고 GPU 가 정상적으로 작동하는지 확인합니다.
  • 2. Python 스크립트에 직접 포함
  • 1. 토큰 생성
  • LLM 을 구동하기 위해 가장 널리 쓰이는 transformers 와 accelerate 라이브러리를 설치해야 합니다.
  •  
    PyTorch version: 2.9.1+rocm7.2.1Is debug build: FalseCUDA used to build PyTorch: N/AROCM used to build PyTorch: 7.2.53211-158bd99533
OS: Microsoft Windows 11 Pro (10.0.26200 64-bit)Python version: 3.12.10Is CUDA available: TrueGPU models and configuration: AMD Radeon AI PRO R9700 (gfx1201)HIP runtime version: 7.2.53211MIOpen runtime version: 3.5.1
     
  • 4. 환경 정보 전체 출력
  • 3. GPU 이름 확인
  • 2. GPU 가용성 확인
  • 1. PyTorch 기본 확인
  • powershell
    pip install --no-cache-dir `    https://repo.radeon.com/rocm/windows/rocm-rel-7.2.1/torch-2.9.1%2Brocm7.2.1-cp312-cp312-win_amd64.whl `    https://repo.radeon.com/rocm/windows/rocm-rel-7.2.1/torchaudio-2.9.1%2Brocm7.2.1-cp312-cp312-win_amd64.whl `    https://repo.radeon.com/rocm/windows/rocm-rel-7.2.1/torchvision-0.24.1%2Brocm7.2.1-cp312-cp312-win_amd64.whl
     
  • cmd
    pip install --no-cache-dir ^    https://repo.radeon.com/rocm/windows/rocm-rel-7.2.1/torch-2.9.1%2Brocm7.2.1-cp312-cp312-win_amd64.whl ^    https://repo.radeon.com/rocm/windows/rocm-rel-7.2.1/torchaudio-2.9.1%2Brocm7.2.1-cp312-cp312-win_amd64.whl ^    https://repo.radeon.com/rocm/windows/rocm-rel-7.2.1/torchvision-0.24.1%2Brocm7.2.1-cp312-cp312-win_amd64.whl
     
  • PyTorch, torchvision, torchaudio 를 ROCm AMD GPU 버전으로 설치합니다 (몇 분 소요될 수 있음).
  • powershell
    pip install --no-cache-dir `    https://repo.radeon.com/rocm/windows/rocm-rel-7.2.1/rocm_sdk_core-7.2.1-py3-none-win_amd64.whl `    https://repo.radeon.com/rocm/windows/rocm-rel-7.2.1/rocm_sdk_devel-7.2.1-py3-none-win_amd64.whl `    https://repo.radeon.com/rocm/windows/rocm-rel-7.2.1/rocm_sdk_libraries_custom-7.2.1-py3-none-win_amd64.whl `    https://repo.radeon.com/rocm/windows/rocm-rel-7.2.1/rocm-7.2.1.tar.gz
     
  • CMD:
  • 단계 1: ROCm SDK 설치
  • 필수 요구사항
반응형

'Bigdata' 카테고리의 다른 글

GPT2로 이해하는 로봇이 학습하는 법  (1) 2026.02.03
ROCm - Ryzen AI HX 370, 450 이하 PyTorch와 ComfyUI 설치하기  (0) 2026.01.30
Nemotron 3에 대해서 다른 모델보다 다른점  (1) 2025.12.23
ComfyUI on Windows + 8 GB GPU  메모리 제한을 극복하는 방법  (0) 2025.12.23
ComfyUI on Windows + 8 GB GPU  메모리 제한을 극복하는 방법  (0) 2025.12.21

관련글

티스토리툴바