← マシン一覧
2枚のRTX 4090で合計48GB VRAM。テンソル並列で70B〜大規模モデルに本格対応。チームやラボ向け。
スペック
- GPU構成
- RTX 4090 24GB ×2
- CPU
- AMD Threadripper 7960X
- メモリ
- 128 GB
- ストレージ
- 4TB NVMe SSD
- PSU
- 1600W 80+ Titanium
- Case
- Full Tower
- OS
- Ubuntu 24.04 LTS
対応モデル
14 ✓ / 1 △ / 20 total| 対応モデル | 推定VRAM使用量 | 最大コンテキスト | Status |
|---|---|---|---|
| 1B(1.24B) | 2.0 GB ×2 | 128K | 快適に動作 |
| 3B(3.21B) | 3.0 GB ×2 | 128K | 快適に動作 |
| 3.8B Mini(3.82B) | 4.4 GB ×2 | 128K | 快適に動作 |
| 7B(7.24B) | 4.2 GB ×2 | 32K | 快適に動作 |
| 7B(7.62B) | 4.0 GB ×2 | 128K | 快適に動作 |
| 8B(8.03B) | 4.5 GB ×2 | 128K | 快適に動作 |
| 9B(9.24B) | 5.8 GB ×2 | 8K | 快適に動作 |
| 11B Vision(10.67B) | 5.3 GB ×2 | 128K | 快適に動作 |
| Nemo 12B(12.25B) | 5.9 GB ×2 | 128K | 快適に動作 |
| 14B Medium(14B) | 6.6 GB ×2 | 128K | 快適に動作 |
| 14B(14.77B) | 6.8 GB ×2 | 128K | 快適に動作 |
| 27B(27.23B) | 11.3 GB ×2 | 8K | 快適に動作 |
| 32B(32.76B) | 12.4 GB ×2 | 128K | 快適に動作 |
| 8x7B(46.7B) | 15.9 GB ×2 | 32K | 快適に動作 |
| 70B(70.55B) | 23.8 GB ×2 | 128K | 動作可能（余裕少） |
| 72B(72.71B) | 24.5 GB ×2 | 128K | VRAM不足 |
| 8x22B(141B) | 44.1 GB ×2 | 64K | VRAM不足 |
| 405B(405B) | 123 GB ×2 | 128K | VRAM不足 |
| 671B(671B) | 218 GB ×2 | 128K | VRAM不足 |
| 671B(671B) | 218 GB ×2 | 128K | VRAM不足 |