반응형 Bigdata75 GPT2로 이해하는 로봇이 학습하는 법 GPT-2: 이해하는 로봇이 학습하는 법GPT-2 논문(Language Models are Unsupervised Multitask Learners)은 "다음에 올 단어를 예측하는 것만으로 모든 문제를 풀 수 있다"는 것을 증명했습니다.1. Encode: 입력을 숫자로 바꾸는 세부 과정단순한 숫자가 아니라, 단어의 의미와 위치를 결합하는 과정입니다.(1) BPE (Byte Pair Encoding)GPT-2는 단어를 무작정 쪼개지 않고, 가장 자주 나타나는 문자 쌍을 하나로 합쳐서 어휘 사전(Vocab)을 만듭니다. (약 50,257개 토큰)(2) 코드 구현: Embedding & Position# 768차원의 숫자로 변환하는 과정self.wte = nn.Embedding(vocab_size, n_emb.. 2026. 2. 3. ROCm - Ryzen AI HX 370, 450 이하 PyTorch와 ComfyUI 설치하기 ROCm 7.10.0 프리뷰 버전을 활용해 AMD GPU에서 PyTorch와 ComfyUI를 설치하고, 텍스트‑투‑이미지 AI 모델을 실행하는 전체 흐름을 단계별로 설명합니다.필수 조건지원되는 AMD GPU (Radeon™ Instinct, Radeon™ Pro, Radeon™ RDNA 기반) Linux 배포판 (Ubuntu 22.04, RHEL 9 등) 혹은 Windows 10/11Python 3.9 이상 및 pipDocker (선택 사항, 이미지 Pull을 위한)1. Python 가상환경 준비시스템 전체에 영향을 주지 않도록 별도의 가상환경을 생성합니다.python -m venv rocm-envsource rocm-env/bin/activate # Linux/macOS# .\rocm-env\Scr.. 2026. 1. 30. Nemotron 3에 대해서 다른 모델보다 다른점 NVIDIA Nemotron 3는 “모델 자체”보다도, 데이터·훈련 포맷·엔터프라이즈 파이프라인까지 묶어서 내놓는 풀스택 패키지라는 점이 다른 오픈 모델들과 가장 크게 다르다.1. 모델 계열과 아키텍처 포지션Nemotron 3는 Nano/Ultra 등 여러 스케일로 구성된 패밀리로, 엔터프라이즈·에이전트용을 겨냥한 기본/추론/코드 특화 변형까지 포함하는 “기반 모델 군”이다.기존 Nemotron‑3‑8B 같은 버전은 표준 디코더‑온리 Transformer지만, 최신 Nemotron 3에서는 하이브리드 Transformer‑Mamba + MoE 구조가 도입되어, 토큰당 활성 파라미터를 줄이면서 긴 컨텍스트와 추론 효율을 동시에 노린다.같은 세대의 Llama 3.1, Qwen3, DeepSeek 등은 .. 2025. 12. 23. ComfyUI on Windows + 8 GB GPU 메모리 제한을 극복하는 방법 8 GB VRAM은 Stable Diffusion 시리즈 모델을 실행하는 데는 충분하지만, 고해상도, 고품질 옵션을 동시에 켜면 금 금 메모리 부족(Out‑of‑Memory) 문제가 발생할 수 있다. 아래에 실제 적용 가능한 설정 순서와 추가 팁을 정리했으니, 단계별로 따라해 보세요.1️⃣ 기본 설정 – “안전하게 시작하기”설정권장값이유SamplerEuler a 또는 DPM++ 2M Karras메모리 소모가 적은 samplerResolution512 × 512 (기본) → 640 × 640 (가능하면)해상도가 클수록 VRAM 사용량 ↑Batch size1여러 이미지를 동시에 생성하면 메모리 급증PrecisionFP16 (자동)FP32 대비 절반의 메모리 사용ModelStable Diffusion 1.5 .. 2025. 12. 23. ComfyUI on Windows + 8 GB GPU 메모리 제한을 극복하는 방법 8 GB VRAM은 Stable Diffusion 시리즈 모델을 실행하는 데는 충분하지만, 고해상도, 고품질 옵션을 동시에 켜면 금 금 메모리 부족(Out‑of‑Memory) 문제가 발생할 수 있다. 아래에 실제 적용 가능한 설정 순서와 추가 팁을 정리했으니, 단계별로 따라해 보세요.1️⃣ 기본 설정 – “안전하게 시작하기”설정권장값이유SamplerEuler a 또는 DPM++ 2M Karras메모리 소모가 적은 samplerResolution512 × 512 (기본) → 640 × 640 (가능하면)해상도가 클수록 VRAM 사용량 ↑Batch size1여러 이미지를 동시에 생성하면 메모리 급증PrecisionFP16 (자동)FP32 대비 절반의 메모리 사용ModelStable Diffusion 1.5 .. 2025. 12. 21. AMD AI 9 관련 (370 등) CPU ROCm 지원, 설치 방법 이 과정은 Stability Matrix가 관리하는 ComfyUI 가상 환경의 기존 PyTorch를 제거하고, AMD ROCm 7.1.1을 지원하는 전용 버전으로 교체하는 작업이다.AMD ROCm 7.1.1 버전은 기존에 지원하지 않던 모델을 다수 지원해주기 시작하면서 UMPC 뿐만이 아니라, 가성비 노트북등에서도 AI 성능을 보다 끌어 올릴 수 있게 된다.📋 1. 사전 준비 (Prerequisites)설치를 시작하기 전에 다음 두 가지가 반드시 준비되어야 합니다.일반적인 Adrenalin Edition이 아닌, PyTorch 전용 프리뷰 드라이버가 필요하다.다운로드: AMD 공식 웹사이트에서 "AMD Software PyTorch on Windows Edition 7.1.1" (버전 25.20.01... 2025. 12. 19. 이전 1 2 3 4 ··· 13 다음 반응형
