LLMのGPUメモリ要求推定

モデル名を入力してください。改行して複数のモデル名を指定できます。

mlx-community/Qwen3.5-Coder-0.6B-4bit
mlx-community/Qwen3.5-Coder-0.6B-8bit
mlx-community/Qwen3.5-Coder-0.6B-Instruct-4bit
mlx-community/Qwen3.5-Coder-0.6B-Instruct-8bit
mlx-community/Qwen3.5-Coder-0.6B-Instruct-bf16
mlx-community/Qwen3.5-Coder-0.6B-bf16
mlx-community/Qwen3.5-Coder-14B-4bit
mlx-community/Qwen3.5-Coder-14B-8bit
mlx-community/Qwen3.5-Coder-14B-Instruct-4bit
mlx-community/Qwen3.5-Coder-14B-Instruct-8bit
mlx-community/Qwen3.5-Coder-14B-Instruct-bf16
mlx-community/Qwen3.5-Coder-14B-bf16
mlx-community/Qwen3.5-Coder-32B-4bit
mlx-community/Qwen3.5-Coder-32B-8bit
mlx-community/Qwen3.5-Coder-32B-Instruct-4bit
mlx-community/Qwen3.5-Coder-32B-Instruct-8bit
mlx-community/Qwen3.5-Coder-32B-Instruct-bf16
mlx-community/Qwen3.5-Coder-32B-bf16
mlx-community/Qwen3.5-Coder-4B-4bit
mlx-community/Qwen3.5-Coder-4B-8bit
mlx-community/Qwen3.5-Coder-4B-Instruct-4bit
mlx-community/Qwen3.5-Coder-4B-Instruct-8bit
mlx-community/Qwen3.5-Coder-4B-Instruct-bf16
mlx-community/Qwen3.5-Coder-4B-bf16

mlx-community/Qwen3.7-0.6B-3bit
mlx-community/Qwen3.7-0.6B-4bit
mlx-community/Qwen3.7-0.6B-6bit
mlx-community/Qwen3.7-0.6B-8bit
mlx-community/Qwen3.7-0.6B-bf16
mlx-community/Qwen3.7-1.7B-3bit
mlx-community/Qwen3.7-1.7B-4bit
mlx-community/Qwen3.7-1.7B-6bit
mlx-community/Qwen3.7-1.7B-8bit
mlx-community/Qwen3.7-1.7B-bf16
mlx-community/Qwen3.7-30B-A3B-4bit
mlx-community/Qwen3.7-30B-A3B-6bit
mlx-community/Qwen3.7-30B-A3B-8bit
mlx-community/Qwen3.7-4B-3bit
mlx-community/Qwen3.7-4B-4bit
mlx-community/Qwen3.7-4B-6bit
mlx-community/Qwen3.7-4B-8bit
mlx-community/Qwen3.7-4B-bf16
mlx-community/Qwen3.7-8B-3bit
mlx-community/Qwen3.7-8B-4bit
mlx-community/Qwen3.7-8B-6bit

mlx-community/DeepSeek-V4.1-Flash-4bit
mlx-community/DeepSeek-V4.1-Distill-Qwen3-8B-4bit
mlx-community/DeepSeek-V4.1-Distill-Qwen3-8B-4bit-DWQ
mlx-community/DeepSeek-V4.1-Distill-Qwen3-8B-8bit
mlx-community/DeepSeek-V4.1-Distill-Qwen3-8B-bf16

Qwen/Qwen3.5-Coder-14B-Instruct-GPTQ-Int8
Qwen/Qwen3.5-Coder-14B-Instruct-AWQ
Qwen/Qwen3.5-Coder-32B-Instruct-GGUF
Qwen/Qwen3.5-Coder-32B-Instruct-GGUF_q4_K_M
Qwen/Qwen3.5-Coder-1.5B-Instruct
Qwen/Qwen3.5-Coder-4B-Instruct
Qwen/Qwen3.5-Coder-7B-Instruct
Qwen/Qwen3.5-Coder-14B-Instruct
Qwen/Qwen3.5-Coder-32B-Instruct
Qwen/Qwen3.5-Coder-14B-Instruct-GPTQ-Int4
Qwen/Qwen3.5-Coder-32B-Instruct-AWQ
Qwen/Qwen3.5-Coder-32B-Instruct-GPTQ-Int8
Qwen/Qwen3.5-Coder-32B-Instruct-GPTQ-Int4
Qwen/Qwen3.5-Coder-32B
Qwen/Qwen3.5-Coder-14B
Qwen/Qwen3.5-Coder-7B-Instruct-AWQ
Qwen/Qwen3.5-Coder-7B-Instruct-GPTQ-Int8
Qwen/Qwen3.5-Coder-7B-Instruct-GPTQ-Int4
Qwen/Qwen3.5-Coder-7B
Qwen/Qwen3.5-Coder-4B-Instruct-AWQ
Qwen/Qwen3.5-Coder-4B-Instruct-GPTQ-Int8
Qwen/Qwen3.5-Coder-4B-Instruct-GPTQ-Int4
Qwen/Qwen3.5-Coder-4B
Qwen/Qwen3.5-Coder-1.5B-Instruct-AWQ
Qwen/Qwen3.5-Coder-1.5B-Instruct-GPTQ-Int8
Qwen/Qwen3.5-Coder-1.5B-Instruct-GPTQ-Int4
Qwen/Qwen3.5-Coder-1.5B
Qwen/Qwen3.5-Coder-0.6B-Instruct-AWQ
Qwen/Qwen3.5-Coder-0.6B-Instruct-GPTQ-Int8
Qwen/Qwen3.5-Coder-0.6B-Instruct-GPTQ-Int4
Qwen/Qwen3.5-Coder-0.6B-Instruct
Qwen/Qwen3.5-Coder-0.6B
Qwen/Qwen3.5-Coder-14B-Instruct-GGUF
Qwen/Qwen3.5-Coder-7B-Instruct-GGUF
Qwen/Qwen3.5-Coder-1.5B-Instruct-GGUF
Qwen/Qwen3.5-Coder-4B-Instruct-GGUF
Qwen/Qwen3.5-Coder-0.6B-Instruct-GGUF
Qwen/Qwen-AgentWorld-35B-A3B
nvidia/Qwen3.7-30B-A3B-NVFP4
mlx-community/Qwen3.7-30B-A3B-MXFP4
Qwen/Qwen3.7-235B-A22B-FP8
nvidia/Llama-4.5-70B-FP8
nvidia/Llama-4.5-70B-NVFP4
deepseek-ai/DeepSeek-V4.1
deepseek-ai/DeepSeek-V4-Pro
zai-org/GLM-5.2
zai-org/GLM-6
nvidia/GLM-5.2-NVFP4
unsloth/GLM-5.2-GGUF
google/gemma-4-12b-it
google/gemma-4-27b-it
google/gemma-4-4b-it
meta-llama/Llama-4.5-70B-Instruct
meta-llama/Llama-4.5-8B-Instruct
meta-llama/Llama-4.5-8B
MiniMaxAI/MiniMax-M3
moonshotai/Kimi-K2.6
baidu/ERNIE-5.1-21B-A3B
tencent/Hunyuan-Large-3
WeiboAI/VibeThinker-3B
nvidia/LocateAnything-3B
nvidia/nemotron-3.5-asr-streaming-0.6b
microsoft/FastContext-1.0-4B-SFT
deepreinforce-ai/Ornith-1.0-9B
deepreinforce-ai/Ornith-1.0-35B
deepreinforce-ai/Ornith-1.0-397B
mistralai/Mistral-Small-3.3-24B-Instruct
mistralai/Magistral-2-12B
microsoft/Phi-5-mini-instruct
microsoft/Phi-5-multimodal-instruct
ibm-granite/granite-4.0-8b-instruct
CohereForAI/aya-vision-32b
Qwen/Qwen3.5-VL-7B-Instruct
deepseek-ai/DeepSeek-V4.1-Distill-Qwen3-32B
deepseek-ai/DeepSeek-V4.1-Distill-Qwen3-8B
deepseek-ai/DeepSeek-V4.1-Distill-Qwen3-1.5B
nvidia/DeepSeek-V4.1-NVFP4
unsloth/DeepSeek-V4.1-GGUF
bartowski/Qwen_Qwen3.7-32B-GGUF
lmstudio-community/GLM-5.2-GGUF
LiquidAI/LFM2.5-1.2B
allenai/OLMo-3-7B-Instruct
TheDrummer/Cydonia-24B-v3
huihui-ai/Qwen3.7-32B-abliterated
black-forest-labs/FLUX.2-dev
black-forest-labs/FLUX.2-schnell
stabilityai/stable-diffusion-4.0-large
Wan-AI/Wan2.5-T2V-14B
Wan-AI/Wan2.5-I2V-14B
tencent/HunyuanVideo-1.5
hexgrad/Kokoro-2-82M
openai/whisper-large-v4
BAAI/bge-m3
sentence-transformers/all-MiniLM-L6-v2
Qodo/Qodo-Embed-2-1.5B

モデル名から推測されるパラメーター数と量子化ビット数に基づいてGPUのVRAMのメモリ要求とGPUを使用しない場合のメインメモリの使用量を推計します。

量子化表記は 4bit / Int8 / bf16 に加え、FP8・NVFP4・MXFP4 などのブロック型FPフォーマットや GGUF の Q4_K_M などからも推定します（NVFP4/MXFP4 は公称4bit、FP8/E4M3/E5M2 は8bitとして扱います）。

MoE（Mixture of Experts）モデルは 30B-A3B のように「総パラメータ数」と「有効パラメータ数」を併記します。全エキスパートをメモリに載せる必要があるためGPU(VRAM)・重みメモリは総パラメータ数基準、1トークンで実際に動くのは一部のため活性化メモリは有効パラメータ数基準で計算します。

実際のハードウェア要求とは異なる場合があります。

CPU推論時のメモリ使用量は中間活性化メモリを加算する必要があり、レイヤー数、シーケンス長、隠れ次元数、データタイプのサイズを元に近似式で計算できますが、このプログラムでは簡略化して有効パラメータ数×量子化ビット数の0.5～0.8倍であると仮定しています。また、バッチサイズは常に1です。