← マシン一覧
H100 SXM 80GB×2で圧倒的な推論速度。大規模モデルを超高速で。研究機関・大企業向け。
スペック
- GPU構成
- H100 80GB ×2
- CPU
- Intel Xeon w9-3595X
- メモリ
- 512 GB
- ストレージ
- 8TB NVMe SSD (RAID 0)
- PSU
- 3000W Redundant
- Case
- 4U Rackmount
- OS
- Ubuntu 24.04 LTS
- NVLink
- NVSwitch
対応モデル
17 ✓ / 0 △ / 20 total| 対応モデル | 推定VRAM使用量 | 最大コンテキスト | Status |
|---|---|---|---|
| 1B(1.24B) | 2.0 GB ×2 | 128K | 快適に動作 |
| 3B(3.21B) | 3.0 GB ×2 | 128K | 快適に動作 |
| 3.8B Mini(3.82B) | 4.4 GB ×2 | 128K | 快適に動作 |
| 7B(7.24B) | 4.2 GB ×2 | 32K | 快適に動作 |
| 7B(7.62B) | 4.0 GB ×2 | 128K | 快適に動作 |
| 8B(8.03B) | 4.5 GB ×2 | 128K | 快適に動作 |
| 9B(9.24B) | 5.8 GB ×2 | 8K | 快適に動作 |
| 11B Vision(10.67B) | 5.3 GB ×2 | 128K | 快適に動作 |
| Nemo 12B(12.25B) | 5.9 GB ×2 | 128K | 快適に動作 |
| 14B Medium(14B) | 6.6 GB ×2 | 128K | 快適に動作 |
| 14B(14.77B) | 6.8 GB ×2 | 128K | 快適に動作 |
| 27B(27.23B) | 11.3 GB ×2 | 8K | 快適に動作 |
| 32B(32.76B) | 12.4 GB ×2 | 128K | 快適に動作 |
| 8x7B(46.7B) | 15.9 GB ×2 | 32K | 快適に動作 |
| 70B(70.55B) | 23.8 GB ×2 | 128K | 快適に動作 |
| 72B(72.71B) | 24.5 GB ×2 | 128K | 快適に動作 |
| 8x22B(141B) | 44.1 GB ×2 | 64K | 快適に動作 |
| 405B(405B) | 123 GB ×2 | 128K | VRAM不足 |
| 671B(671B) | 218 GB ×2 | 128K | VRAM不足 |
| 671B(671B) | 218 GB ×2 | 128K | VRAM不足 |