반응형 Bigdata74 ROCm - Ryzen AI HX 370, 450 이하 PyTorch와 ComfyUI 설치하기 ROCm 7.10.0 프리뷰 버전을 활용해 AMD GPU에서 PyTorch와 ComfyUI를 설치하고, 텍스트‑투‑이미지 AI 모델을 실행하는 전체 흐름을 단계별로 설명합니다.필수 조건지원되는 AMD GPU (Radeon™ Instinct, Radeon™ Pro, Radeon™ RDNA 기반) Linux 배포판 (Ubuntu 22.04, RHEL 9 등) 혹은 Windows 10/11Python 3.9 이상 및 pipDocker (선택 사항, 이미지 Pull을 위한)1. Python 가상환경 준비시스템 전체에 영향을 주지 않도록 별도의 가상환경을 생성합니다.python -m venv rocm-envsource rocm-env/bin/activate # Linux/macOS# .\rocm-env\Scr.. 2026. 1. 30. Nemotron 3에 대해서 다른 모델보다 다른점 NVIDIA Nemotron 3는 “모델 자체”보다도, 데이터·훈련 포맷·엔터프라이즈 파이프라인까지 묶어서 내놓는 풀스택 패키지라는 점이 다른 오픈 모델들과 가장 크게 다르다.1. 모델 계열과 아키텍처 포지션Nemotron 3는 Nano/Ultra 등 여러 스케일로 구성된 패밀리로, 엔터프라이즈·에이전트용을 겨냥한 기본/추론/코드 특화 변형까지 포함하는 “기반 모델 군”이다.기존 Nemotron‑3‑8B 같은 버전은 표준 디코더‑온리 Transformer지만, 최신 Nemotron 3에서는 하이브리드 Transformer‑Mamba + MoE 구조가 도입되어, 토큰당 활성 파라미터를 줄이면서 긴 컨텍스트와 추론 효율을 동시에 노린다.같은 세대의 Llama 3.1, Qwen3, DeepSeek 등은 .. 2025. 12. 23. ComfyUI on Windows + 8 GB GPU 메모리 제한을 극복하는 방법 8 GB VRAM은 Stable Diffusion 시리즈 모델을 실행하는 데는 충분하지만, 고해상도, 고품질 옵션을 동시에 켜면 금 금 메모리 부족(Out‑of‑Memory) 문제가 발생할 수 있다. 아래에 실제 적용 가능한 설정 순서와 추가 팁을 정리했으니, 단계별로 따라해 보세요.1️⃣ 기본 설정 – “안전하게 시작하기”설정권장값이유SamplerEuler a 또는 DPM++ 2M Karras메모리 소모가 적은 samplerResolution512 × 512 (기본) → 640 × 640 (가능하면)해상도가 클수록 VRAM 사용량 ↑Batch size1여러 이미지를 동시에 생성하면 메모리 급증PrecisionFP16 (자동)FP32 대비 절반의 메모리 사용ModelStable Diffusion 1.5 .. 2025. 12. 23. ComfyUI on Windows + 8 GB GPU 메모리 제한을 극복하는 방법 8 GB VRAM은 Stable Diffusion 시리즈 모델을 실행하는 데는 충분하지만, 고해상도, 고품질 옵션을 동시에 켜면 금 금 메모리 부족(Out‑of‑Memory) 문제가 발생할 수 있다. 아래에 실제 적용 가능한 설정 순서와 추가 팁을 정리했으니, 단계별로 따라해 보세요.1️⃣ 기본 설정 – “안전하게 시작하기”설정권장값이유SamplerEuler a 또는 DPM++ 2M Karras메모리 소모가 적은 samplerResolution512 × 512 (기본) → 640 × 640 (가능하면)해상도가 클수록 VRAM 사용량 ↑Batch size1여러 이미지를 동시에 생성하면 메모리 급증PrecisionFP16 (자동)FP32 대비 절반의 메모리 사용ModelStable Diffusion 1.5 .. 2025. 12. 21. AMD AI 9 관련 (370 등) CPU ROCm 지원, 설치 방법 이 과정은 Stability Matrix가 관리하는 ComfyUI 가상 환경의 기존 PyTorch를 제거하고, AMD ROCm 7.1.1을 지원하는 전용 버전으로 교체하는 작업이다.AMD ROCm 7.1.1 버전은 기존에 지원하지 않던 모델을 다수 지원해주기 시작하면서 UMPC 뿐만이 아니라, 가성비 노트북등에서도 AI 성능을 보다 끌어 올릴 수 있게 된다.📋 1. 사전 준비 (Prerequisites)설치를 시작하기 전에 다음 두 가지가 반드시 준비되어야 합니다.일반적인 Adrenalin Edition이 아닌, PyTorch 전용 프리뷰 드라이버가 필요하다.다운로드: AMD 공식 웹사이트에서 "AMD Software PyTorch on Windows Edition 7.1.1" (버전 25.20.01... 2025. 12. 19. LLM 28B 모델 GPU 메모리 부족시(24GB이하) LLM 메모리 최적화 완벽 가이드 요즘 OpenModel들이 잘 나오고 있는데, 가정용으로 많이 사용되는 보통 30B 근접한 모델들을 사용하는 것이 효율적으로 좋은 것으로 판단된다. 이때 어떻게 메모리를 효율적으로 사용할 수 있는지를 확인해보고자 한다.여기에서 사용해볼만한 그래픽 카드는 랩탑 그래픽 카드 기준으로 다음과 같다.- Geforce RTX 4090 (24GB)- Geforce RTX 5090 (24GB)- AMD AI 300시리즈 (온보드 메모리 64GB 이상인 모델부터 32GB 이상 iGPU 사용이 가능) - 온보드 메모리 64GB(32GB) - 온보드 메모리 128GB(92GB) 가장 먼저 28B 모델이라고 가정하고 GPU 메모리 요구량을 개산해 보았다.28B 모델 GPU 메모리 요구사항 계산추론 모드 (Infer.. 2025. 12. 19. 이전 1 2 3 4 ··· 13 다음 반응형
