← マシン一覧
最新RTX 5090の32GB VRAMで大規模モデルにも余裕。4-bit量子化で70B+にも対応。
スペック
- GPU構成
- RTX 5090 32GB
- CPU
- AMD Ryzen 9 9950X
- メモリ
- 64 GB
- ストレージ
- 2TB NVMe SSD
- PSU
- 1000W 80+ Platinum
- Case
- Mid Tower
- OS
- Ubuntu 24.04 LTS
対応モデル
13 ✓ / 1 △ / 20 total| 対応モデル | 推定VRAM使用量 | 最大コンテキスト | Status |
|---|---|---|---|
| 1B(1.24B) | 2.4 GB | 128K | 快適に動作 |
| 3B(3.21B) | 4.2 GB | 128K | 快適に動作 |
| 3.8B Mini(3.82B) | 6.8 GB | 128K | 快適に動作 |
| 7B(7.24B) | 6.5 GB | 32K | 快適に動作 |
| 7B(7.62B) | 6.1 GB | 128K | 快適に動作 |
| 8B(8.03B) | 6.9 GB | 128K | 快適に動作 |
| 9B(9.24B) | 9.3 GB | 8K | 快適に動作 |
| 11B Vision(10.67B) | 8.3 GB | 128K | 快適に動作 |
| Nemo 12B(12.25B) | 9.4 GB | 128K | 快適に動作 |
| 14B Medium(14B) | 10.7 GB | 128K | 快適に動作 |
| 14B(14.77B) | 11.1 GB | 128K | 快適に動作 |
| 27B(27.23B) | 19.3 GB | 8K | 快適に動作 |
| 32B(32.76B) | 21.3 GB | 128K | 快適に動作 |
| 8x7B(46.7B) | 27.6 GB | 32K | 動作可能（余裕少） |
| 70B(70.55B) | 42.1 GB | 128K | VRAM不足 |
| 72B(72.71B) | 43.2 GB | 128K | VRAM不足 |
| 8x22B(141B) | 79.0 GB | 64K | VRAM不足 |
| 405B(405B) | 223 GB | 128K | VRAM不足 |
| 671B(671B) | 395 GB | 128K | VRAM不足 |
| 671B(671B) | 395 GB | 128K | VRAM不足 |