← マシン一覧
4枚のRTX A6000で合計192GB VRAM。405Bクラスのフルサイズモデルにも対応。企業向け本格推論環境。
スペック
- GPU構成
- RTX A6000 48GB ×4
- CPU
- AMD EPYC 9454
- メモリ
- 256 GB
- ストレージ
- 8TB NVMe SSD (RAID 0)
- PSU
- 2000W Redundant
- Case
- 4U Rackmount
- OS
- Ubuntu 24.04 LTS
- NVLink
- Yes
対応モデル
17 ✓ / 0 △ / 20 total| 対応モデル | 推定VRAM使用量 | 最大コンテキスト | Status |
|---|---|---|---|
| 1B(1.24B) | 1.8 GB ×4 | 128K | 快適に動作 |
| 3B(3.21B) | 2.3 GB ×4 | 128K | 快適に動作 |
| 3.8B Mini(3.82B) | 3.0 GB ×4 | 128K | 快適に動作 |
| 7B(7.24B) | 2.9 GB ×4 | 32K | 快適に動作 |
| 7B(7.62B) | 2.8 GB ×4 | 128K | 快適に動作 |
| 8B(8.03B) | 3.0 GB ×4 | 128K | 快適に動作 |
| 9B(9.24B) | 3.8 GB ×4 | 8K | 快適に動作 |
| 11B Vision(10.67B) | 3.5 GB ×4 | 128K | 快適に動作 |
| Nemo 12B(12.25B) | 3.8 GB ×4 | 128K | 快適に動作 |
| 14B Medium(14B) | 4.2 GB ×4 | 128K | 快適に動作 |
| 14B(14.77B) | 4.3 GB ×4 | 128K | 快適に動作 |
| 27B(27.23B) | 6.6 GB ×4 | 8K | 快適に動作 |
| 32B(32.76B) | 7.2 GB ×4 | 128K | 快適に動作 |
| 8x7B(46.7B) | 9.0 GB ×4 | 32K | 快適に動作 |
| 70B(70.55B) | 13.2 GB ×4 | 128K | 快適に動作 |
| 72B(72.71B) | 13.5 GB ×4 | 128K | 快適に動作 |
| 8x22B(141B) | 23.8 GB ×4 | 64K | 快適に動作 |
| 405B(405B) | 65.2 GB ×4 | 128K | VRAM不足 |
| 671B(671B) | 115 GB ×4 | 128K | VRAM不足 |
| 671B(671B) | 115 GB ×4 | 128K | VRAM不足 |