Devices
332 hardware profiles with memory, bandwidth, compute and backend. Each page lists the models that run on it, ranked, with speeds and launch commands.
Desktop GPUs
- GTX 1070 8GBNVIDIA8 GB VRAM · 256 GB/s · cuda
- GTX 1080 Ti 11GBNVIDIA11 GB VRAM · 484 GB/s · cuda
- GTX 1660 Super 6GBNVIDIA6 GB VRAM · 336 GB/s · cuda
- RTX 2060 6GBNVIDIA6 GB VRAM · 336 GB/s · cuda
- RTX 2060 12GBNVIDIA12 GB VRAM · 336 GB/s · cuda
- RTX 2070 / 2070 Super 8GBNVIDIA8 GB VRAM · 448 GB/s · cuda
- RTX 2080 / 2080 Super 8GBNVIDIA8 GB VRAM · 496 GB/s · cuda
- RTX 2080 Ti 11GBNVIDIA11 GB VRAM · 616 GB/s · cuda
- TITAN RTX 24GBNVIDIA24 GB VRAM · 672 GB/s · cuda
- RTX 3050 8GBNVIDIA8 GB VRAM · 224 GB/s · cuda
- RTX 3060 8GBNVIDIA8 GB VRAM · 240 GB/s · cuda
- RTX 3060 12GBNVIDIA12 GB VRAM · 360 GB/s · cuda
- RTX 3060 Ti 8GBNVIDIA8 GB VRAM · 448 GB/s · cuda
- RTX 3070 8GBNVIDIA8 GB VRAM · 448 GB/s · cuda
- RTX 3070 Ti 8GBNVIDIA8 GB VRAM · 608 GB/s · cuda
- RTX 3080 10GBNVIDIA10 GB VRAM · 760 GB/s · cuda
- RTX 3080 12GBNVIDIA12 GB VRAM · 912 GB/s · cuda
- RTX 3080 Ti 12GBNVIDIA12 GB VRAM · 912 GB/s · cuda
- RTX 3090 24GBNVIDIA24 GB VRAM · 936 GB/s · cuda
- RTX 3090 Ti 24GBNVIDIA24 GB VRAM · 1008 GB/s · cuda
- RTX 4060 8GBNVIDIA8 GB VRAM · 272 GB/s · cuda
- RTX 4060 Ti 8GBNVIDIA8 GB VRAM · 288 GB/s · cuda
- RTX 4060 Ti 16GBNVIDIA16 GB VRAM · 288 GB/s · cuda
- RTX 4070 12GBNVIDIA12 GB VRAM · 504 GB/s · cuda
- RTX 4070 Super 12GBNVIDIA12 GB VRAM · 504 GB/s · cuda
- RTX 4070 Ti 12GBNVIDIA12 GB VRAM · 504 GB/s · cuda
- RTX 4070 Ti Super 16GBNVIDIA16 GB VRAM · 672 GB/s · cuda
- RTX 4080 16GBNVIDIA16 GB VRAM · 717 GB/s · cuda
- RTX 4080 Super 16GBNVIDIA16 GB VRAM · 736 GB/s · cuda
- RTX 4090 24GBNVIDIA24 GB VRAM · 1008 GB/s · cuda
- RTX 4090 D 24GBNVIDIA24 GB VRAM · 1008 GB/s · cuda
- RTX 5050 8GBNVIDIA8 GB VRAM · 320 GB/s · cuda
- RTX 5060 8GBNVIDIA8 GB VRAM · 448 GB/s · cuda
- RTX 5060 Ti 8GBNVIDIA8 GB VRAM · 448 GB/s · cuda
- RTX 5060 Ti 16GBNVIDIA16 GB VRAM · 448 GB/s · cuda
- RTX 5070 12GBNVIDIA12 GB VRAM · 672 GB/s · cuda
- RTX 5070 Ti 16GBNVIDIA16 GB VRAM · 896 GB/s · cuda
- RTX 5080 16GBNVIDIA16 GB VRAM · 960 GB/s · cuda
- RTX 5090 32GBNVIDIA32 GB VRAM · 1792 GB/s · cuda
- Radeon RX 6600 / 6600 XT 8GBAMD8 GB VRAM · 256 GB/s · rocm
- Radeon RX 6700 XT 12GBAMD12 GB VRAM · 384 GB/s · rocm
- Radeon RX 6800 / 6800 XT 16GBAMD16 GB VRAM · 512 GB/s · rocm
- Radeon RX 6900 XT / 6950 XT 16GBAMD16 GB VRAM · 576 GB/s · rocm
- Radeon VII 16GBAMD16 GB VRAM · 1024 GB/s · rocm
- Radeon RX 7600 8GBAMD8 GB VRAM · 288 GB/s · rocm
- Radeon RX 7600 XT 16GBAMD16 GB VRAM · 288 GB/s · rocm
- Radeon RX 7700 XT 12GBAMD12 GB VRAM · 432 GB/s · rocm
- Radeon RX 7800 XT 16GBAMD16 GB VRAM · 624 GB/s · rocm
- Radeon RX 7900 GRE 16GBAMD16 GB VRAM · 576 GB/s · rocm
- Radeon RX 7900 XT 20GBAMD20 GB VRAM · 800 GB/s · rocm
- Radeon RX 7900 XTX 24GBAMD24 GB VRAM · 960 GB/s · rocm
- Radeon RX 9060 XT 8GBAMD8 GB VRAM · 320 GB/s · rocm
- Radeon RX 9060 XT 16GBAMD16 GB VRAM · 320 GB/s · rocm
- Radeon RX 9070 16GBAMD16 GB VRAM · 644 GB/s · rocm
- Radeon RX 9070 XT 16GBAMD16 GB VRAM · 644 GB/s · rocm
- Arc A380 6GBIntel6 GB VRAM · 186 GB/s · sycl
- Arc A580 8GBIntel8 GB VRAM · 512 GB/s · sycl
- Arc A750 8GBIntel8 GB VRAM · 512 GB/s · sycl
- Arc A770 16GBIntel16 GB VRAM · 560 GB/s · sycl
- Arc B570 10GBIntel10 GB VRAM · 380 GB/s · sycl
- Arc B580 12GBIntel12 GB VRAM · 456 GB/s · sycl
- Moore Threads MTT S80 16GBMoore Threads16 GB VRAM · 448 GB/s · musa
Laptop GPUs
- RTX 3050 Laptop 4GBNVIDIA4 GB VRAM · 192 GB/s · cuda
- RTX 3060 Laptop 6GBNVIDIA6 GB VRAM · 336 GB/s · cuda
- RTX 3070 Laptop 8GBNVIDIA8 GB VRAM · 448 GB/s · cuda
- RTX 3080 / 3080 Ti Laptop 16GBNVIDIA16 GB VRAM · 512 GB/s · cuda
- RTX 4050 Laptop 6GBNVIDIA6 GB VRAM · 192 GB/s · cuda
- RTX 4060 Laptop 8GBNVIDIA8 GB VRAM · 256 GB/s · cuda
- RTX 4070 Laptop 8GBNVIDIA8 GB VRAM · 256 GB/s · cuda
- RTX 4080 Laptop 12GBNVIDIA12 GB VRAM · 432 GB/s · cuda
- RTX 4090 Laptop 16GBNVIDIA16 GB VRAM · 576 GB/s · cuda
- RTX 5060 Laptop 8GBNVIDIA8 GB VRAM · 384 GB/s · cuda
- RTX 5070 Laptop 8GBNVIDIA8 GB VRAM · 384 GB/s · cuda
- RTX 5070 Ti Laptop 12GBNVIDIA12 GB VRAM · 672 GB/s · cuda
- RTX 5080 Laptop 16GBNVIDIA16 GB VRAM · 896 GB/s · cuda
- RTX 5090 Laptop 24GBNVIDIA24 GB VRAM · 896 GB/s · cuda
Apple Silicon Macs
- Apple M1 16GBApple16 GB · 68 GB/s · metal
- Apple M1 Pro 32GBApple32 GB · 200 GB/s · metal
- Apple M1 Max 64GBApple64 GB · 400 GB/s · metal
- Apple M1 Ultra 128GBApple128 GB · 800 GB/s · metal
- Apple M2 24GBApple24 GB · 100 GB/s · metal
- Apple M2 Pro 32GBApple32 GB · 200 GB/s · metal
- Apple M2 Max 96GBApple96 GB · 400 GB/s · metal
- Apple M2 Ultra 192GBApple192 GB · 800 GB/s · metal
- Apple M3 24GBApple24 GB · 100 GB/s · metal
- Apple M3 Pro 36GBApple36 GB · 150 GB/s · metal
- Apple M3 Max 128GBApple128 GB · 400 GB/s · metal
- Apple M3 Ultra 96GBApple96 GB · 819 GB/s · metal
- Apple M3 Ultra 256GBApple256 GB · 819 GB/s · metal
- Apple M3 Ultra 512GBApple512 GB · 819 GB/s · metal
- Apple M4 16GBApple16 GB · 120 GB/s · metal
- Apple M4 24GBApple24 GB · 120 GB/s · metal
- Apple M4 32GBApple32 GB · 120 GB/s · metal
- Apple M4 Pro 24GBApple24 GB · 273 GB/s · metal
- Apple M4 Pro 48GBApple48 GB · 273 GB/s · metal
- Apple M4 Pro 64GBApple64 GB · 273 GB/s · metal
- Apple M4 Max (32-core GPU) 36GBApple36 GB · 410 GB/s · metal
- Apple M4 Max 64GBApple64 GB · 546 GB/s · metal
- Apple M4 Max 128GBApple128 GB · 546 GB/s · metal
- Apple M5 16GBApple16 GB · 153 GB/s · metal
- Apple M5 32GBApple32 GB · 153 GB/s · metal
- Apple M5 Pro 48GBApple48 GB · 307 GB/s · metal
- Apple M5 Pro 64GBApple64 GB · 307 GB/s · metal
- Apple M5 Max (32-core GPU) 36GBApple36 GB · 460 GB/s · metal
- Apple M5 Max 64GBApple64 GB · 614 GB/s · metal
- Apple M5 Max 128GBApple128 GB · 614 GB/s · metal
Unified-memory PCs
- AMD Ryzen AI Max+ 395 128GBAMD128 GB · 256 GB/s · vulkan
- AMD Ryzen AI Max 64GBAMD64 GB · 256 GB/s · vulkan
- AMD Ryzen AI 9 HX 370 32GBAMD32 GB · 120 GB/s · vulkan
- AMD Ryzen 7 8700G 64GB DDR5AMD64 GB · 89 GB/s · vulkan
- Intel Core Ultra 7 258V (Lunar Lake) 32GBIntel32 GB · 136 GB/s · sycl
- Snapdragon X Elite 32GBQualcomm32 GB · 135 GB/s · vulkan
- Snapdragon X2 Elite Extreme 48GBQualcomm48 GB · 228 GB/s · vulkan
Workstation GPUs
- Quadro RTX 8000 48GBNVIDIA48 GB VRAM · 672 GB/s · cuda
- RTX A2000 12GBNVIDIA12 GB VRAM · 288 GB/s · cuda
- RTX A4000 16GBNVIDIA16 GB VRAM · 448 GB/s · cuda
- RTX A4500 20GBNVIDIA20 GB VRAM · 640 GB/s · cuda
- RTX A5000 24GBNVIDIA24 GB VRAM · 768 GB/s · cuda
- RTX A6000 48GBNVIDIA48 GB VRAM · 768 GB/s · cuda
- RTX 2000 Ada 16GBNVIDIA16 GB VRAM · 224 GB/s · cuda
- RTX 4000 Ada 20GBNVIDIA20 GB VRAM · 360 GB/s · cuda
- RTX 4000 SFF Ada 20GBNVIDIA20 GB VRAM · 280 GB/s · cuda
- RTX 4500 Ada 24GBNVIDIA24 GB VRAM · 432 GB/s · cuda
- RTX 5000 Ada 32GBNVIDIA32 GB VRAM · 576 GB/s · cuda
- RTX 6000 Ada 48GBNVIDIA48 GB VRAM · 960 GB/s · cuda
- RTX PRO 4000 Blackwell 24GBNVIDIA24 GB VRAM · 672 GB/s · cuda
- RTX PRO 4500 Blackwell 32GBNVIDIA32 GB VRAM · 896 GB/s · cuda
- RTX PRO 5000 Blackwell 48GBNVIDIA48 GB VRAM · 1344 GB/s · cuda
- RTX PRO 6000 Blackwell 96GBNVIDIA96 GB VRAM · 1792 GB/s · cuda
- DGX Station GB300 (288GB HBM3e + 496GB LPDDR5X)NVIDIA288 GB VRAM · 8000 GB/s · cuda
- Radeon PRO W6800 32GBAMD32 GB VRAM · 512 GB/s · rocm
- Radeon PRO W7800 32GBAMD32 GB VRAM · 576 GB/s · rocm
- Radeon PRO W7800 48GBAMD48 GB VRAM · 864 GB/s · rocm
- Radeon PRO W7900 48GBAMD48 GB VRAM · 864 GB/s · rocm
- Radeon AI PRO R9700 32GBAMD32 GB VRAM · 644 GB/s · rocm
- Arc Pro B50 16GBIntel16 GB VRAM · 224 GB/s · sycl
- Arc Pro B60 24GBIntel24 GB VRAM · 456 GB/s · sycl
Datacenter GPUs
- Tesla P40 24GBNVIDIA24 GB VRAM · 347 GB/s · cuda
- Tesla P100 16GBNVIDIA16 GB VRAM · 732 GB/s · cuda
- Tesla V100 16GBNVIDIA16 GB VRAM · 900 GB/s · cuda
- Tesla V100 32GBNVIDIA32 GB VRAM · 900 GB/s · cuda
- Tesla T4 16GBNVIDIA16 GB VRAM · 320 GB/s · cuda
- A2 16GBNVIDIA16 GB VRAM · 200 GB/s · cuda
- A10 24GBNVIDIA24 GB VRAM · 600 GB/s · cuda
- A10G 24GB (AWS)NVIDIA24 GB VRAM · 600 GB/s · cuda
- A30 24GBNVIDIA24 GB VRAM · 933 GB/s · cuda
- A40 48GBNVIDIA48 GB VRAM · 696 GB/s · cuda
- A100 40GBNVIDIA40 GB VRAM · 1555 GB/s · cuda
- A100 80GB PCIeNVIDIA80 GB VRAM · 1935 GB/s · cuda
- A100 80GB SXMNVIDIA80 GB VRAM · 2039 GB/s · cuda
- L4 24GBNVIDIA24 GB VRAM · 300 GB/s · cuda
- L20 48GBNVIDIA48 GB VRAM · 864 GB/s · cuda
- L40 48GBNVIDIA48 GB VRAM · 864 GB/s · cuda
- L40S 48GBNVIDIA48 GB VRAM · 864 GB/s · cuda
- H100 80GB PCIeNVIDIA80 GB VRAM · 2000 GB/s · cuda
- H100 80GB SXMNVIDIA80 GB VRAM · 3350 GB/s · cuda
- H100 NVL 94GBNVIDIA94 GB VRAM · 3900 GB/s · cuda
- H20 96GBNVIDIA96 GB VRAM · 4000 GB/s · cuda
- H200 141GB SXMNVIDIA141 GB VRAM · 4800 GB/s · cuda
- H200 NVL 141GBNVIDIA141 GB VRAM · 4800 GB/s · cuda
- GH200 Grace Hopper 96GB HBM3 + 480GB LPDDR5XNVIDIA96 GB VRAM · 4000 GB/s · cuda
- GH200 Grace Hopper 144GB HBM3e + 480GB LPDDR5XNVIDIA144 GB VRAM · 4900 GB/s · cuda
- RTX PRO 6000 Blackwell Server 96GBNVIDIA96 GB VRAM · 1792 GB/s · cuda
- B200 180GBNVIDIA180 GB VRAM · 8000 GB/s · cuda
- B300 (Blackwell Ultra) 288GBNVIDIA288 GB VRAM · 8000 GB/s · cuda
- GB200 superchip GPU 186GB (+ Grace 480GB)NVIDIA186 GB VRAM · 8000 GB/s · cuda
- GB300 superchip GPU 288GB (+ Grace 480GB)NVIDIA288 GB VRAM · 8000 GB/s · cuda
- Instinct MI50 32GBAMD32 GB VRAM · 1024 GB/s · rocm
- Instinct MI100 32GBAMD32 GB VRAM · 1229 GB/s · rocm
- Instinct MI210 64GBAMD64 GB VRAM · 1638 GB/s · rocm
- Instinct MI250X 128GB (2 GCDs)AMD128 GB VRAM · 3277 GB/s · rocm
- Instinct MI300X 192GBAMD192 GB VRAM · 5300 GB/s · rocm
- Instinct MI325X 256GBAMD256 GB VRAM · 6000 GB/s · rocm
- Instinct MI350X 288GBAMD288 GB VRAM · 8000 GB/s · rocm
- Instinct MI355X 288GBAMD288 GB VRAM · 8000 GB/s · rocm
- Data Center GPU Max 1100 48GBIntel48 GB VRAM · 1229 GB/s · sycl
- Gaudi 2 96GBIntel96 GB VRAM · 2460 GB/s · gaudi
- Gaudi 3 128GBIntel128 GB VRAM · 3700 GB/s · gaudi
- Moore Threads MTT S3000 32GBMoore Threads32 GB VRAM · 448 GB/s · musa
- Moore Threads MTT S4000 48GBMoore Threads48 GB VRAM · 768 GB/s · musa
- Moore Threads MTT S5000 80GBMoore Threads80 GB VRAM · 1600 GB/s · musa
- Huawei Ascend 910B 64GBHuawei64 GB VRAM · 1600 GB/s · cann
- Huawei Ascend 910C 128GBHuawei128 GB VRAM · 3200 GB/s · cann
- AMD Instinct MI300A 128GB (APU)AMD128 GB · 5300 GB/s · rocm
Multi-GPU nodes & racks
- 2x RTX 3090 (48GB)NVIDIA48 GB VRAM · 936 GB/s · cuda
- 2x RTX 4090 (48GB)NVIDIA48 GB VRAM · 1008 GB/s · cuda
- 2x RTX 5090 (64GB)NVIDIA64 GB VRAM · 1792 GB/s · cuda
- 4x RTX 3090 (96GB)NVIDIA96 GB VRAM · 936 GB/s · cuda
- 4x RTX PRO 6000 Blackwell (384GB)NVIDIA384 GB VRAM · 1792 GB/s · cuda
- NVIDIA DGX/HGX A100 8x80GB (640GB)NVIDIA640 GB VRAM · 2039 GB/s · cuda
- NVIDIA DGX/HGX H100 8x80GB (640GB)NVIDIA640 GB VRAM · 3350 GB/s · cuda
- NVIDIA DGX/HGX H200 8x141GB (1128GB)NVIDIA1128 GB VRAM · 4800 GB/s · cuda
- NVIDIA DGX/HGX B200 8x180GB (1440GB)NVIDIA1440 GB VRAM · 8000 GB/s · cuda
- NVIDIA DGX/HGX B300 8x288GB (2304GB)NVIDIA2304 GB VRAM · 8000 GB/s · cuda
- NVIDIA GB200 NVL72 (72x186GB, 13.4TB)NVIDIA13392 GB VRAM · 8000 GB/s · cuda
- NVIDIA GB300 NVL72 (72x288GB, 20.7TB)NVIDIA20736 GB VRAM · 8000 GB/s · cuda
- AMD Instinct MI300X 8x192GB (1536GB)AMD1536 GB VRAM · 5300 GB/s · rocm
- AMD Instinct MI325X 8x256GB (2048GB)AMD2048 GB VRAM · 6000 GB/s · rocm
- AMD Instinct MI355X 8x288GB (2304GB)AMD2304 GB VRAM · 8000 GB/s · rocm
- Intel Gaudi 3 8x128GB (1024GB)Intel1024 GB VRAM · 3700 GB/s · gaudi
- Huawei Atlas 8x Ascend 910C (1024GB)Huawei1024 GB VRAM · 3200 GB/s · cann
Cloud instances
- AWS g4dn.xlarge (1x T4 16GB)AWS16 GB VRAM · 320 GB/s · cuda · $0.526/h
- AWS g4dn.12xlarge (4x T4 64GB)AWS64 GB VRAM · 320 GB/s · cuda · $3.912/h
- AWS g5.xlarge (1x A10G 24GB)AWS24 GB VRAM · 600 GB/s · cuda · $1.006/h
- AWS g5.12xlarge (4x A10G 96GB)AWS96 GB VRAM · 600 GB/s · cuda · $5.672/h
- AWS g5.48xlarge (8x A10G 192GB)AWS192 GB VRAM · 600 GB/s · cuda · $16.288/h
- AWS g6.xlarge (1x L4 24GB)AWS24 GB VRAM · 300 GB/s · cuda · $0.805/h
- AWS g6.12xlarge (4x L4 96GB)AWS96 GB VRAM · 300 GB/s · cuda · $4.602/h
- AWS g6e.xlarge (1x L40S 48GB)AWS48 GB VRAM · 864 GB/s · cuda · $1.861/h
- AWS g6e.12xlarge (4x L40S 192GB)AWS192 GB VRAM · 864 GB/s · cuda · $10.493/h
- AWS g6e.48xlarge (8x L40S 384GB)AWS384 GB VRAM · 864 GB/s · cuda · $30.131/h
- AWS g7e.2xlarge (1x RTX PRO 6000 Blackwell 96GB)AWS96 GB VRAM · 1792 GB/s · cuda · $3.363/h
- AWS g7e.48xlarge (8x RTX PRO 6000 Blackwell 768GB)AWS768 GB VRAM · 1792 GB/s · cuda
- AWS p4d.24xlarge (8x A100 40GB)AWS320 GB VRAM · 1555 GB/s · cuda · $21.958/h
- AWS p4de.24xlarge (8x A100 80GB)AWS640 GB VRAM · 2039 GB/s · cuda
- AWS p5.4xlarge (1x H100 80GB)AWS80 GB VRAM · 3350 GB/s · cuda · $6.88/h
- AWS p5.48xlarge (8x H100 640GB)AWS640 GB VRAM · 3350 GB/s · cuda · $55.04/h
- AWS p5en.48xlarge (8x H200 1128GB)AWS1128 GB VRAM · 4800 GB/s · cuda · $63.296/h
- AWS p6-b200.48xlarge (8x B200 1440GB)AWS1440 GB VRAM · 8000 GB/s · cuda · $113.933/h
- AWS p6-b300.48xlarge (8x B300 2304GB)AWS2304 GB VRAM · 8000 GB/s · cuda
- Google Cloud g2-standard-8 (1x L4 24GB)Google Cloud24 GB VRAM · 300 GB/s · cuda
- Google Cloud g2-standard-48 (4x L4 96GB)Google Cloud96 GB VRAM · 300 GB/s · cuda
- Google Cloud g4-standard-48 (1x RTX PRO 6000 96GB)Google Cloud96 GB VRAM · 1792 GB/s · cuda
- Google Cloud a2-highgpu-1g (1x A100 40GB)Google Cloud40 GB VRAM · 1555 GB/s · cuda
- Google Cloud a2-ultragpu-1g (1x A100 80GB)Google Cloud80 GB VRAM · 2039 GB/s · cuda
- Google Cloud a2-ultragpu-8g (8x A100 80GB)Google Cloud640 GB VRAM · 2039 GB/s · cuda
- Google Cloud a3-highgpu-1g (1x H100 80GB)Google Cloud80 GB VRAM · 3350 GB/s · cuda
- Google Cloud a3-highgpu-8g (8x H100 640GB)Google Cloud640 GB VRAM · 3350 GB/s · cuda
- Google Cloud a3-ultragpu-8g (8x H200 1128GB)Google Cloud1128 GB VRAM · 4800 GB/s · cuda
- Google Cloud a4-highgpu-8g (8x B200 1440GB)Google Cloud1440 GB VRAM · 8000 GB/s · cuda
- DigitalOcean GPU Droplet RTX 4000 Ada 20GBDigitalOcean20 GB VRAM · 360 GB/s · cuda · $0.76/h
- DigitalOcean GPU Droplet RTX 6000 Ada 48GBDigitalOcean48 GB VRAM · 960 GB/s · cuda · $1.57/h
- DigitalOcean GPU Droplet L40S 48GBDigitalOcean48 GB VRAM · 864 GB/s · cuda · $1.57/h
- DigitalOcean GPU Droplet H100 x1 80GBDigitalOcean80 GB VRAM · 3350 GB/s · cuda · $4.41/h
- DigitalOcean GPU Droplet H100 x8 640GBDigitalOcean640 GB VRAM · 3350 GB/s · cuda · $35.28/h
- DigitalOcean GPU Droplet H200 x1 141GBDigitalOcean141 GB VRAM · 4800 GB/s · cuda · $4.47/h
- DigitalOcean GPU Droplet H200 x8 1128GBDigitalOcean1128 GB VRAM · 4800 GB/s · cuda · $35.76/h
- DigitalOcean GPU Droplet MI300X x1 192GBDigitalOcean192 GB VRAM · 5300 GB/s · rocm · $2.59/h
- DigitalOcean GPU Droplet MI300X x8 1536GBDigitalOcean1536 GB VRAM · 5300 GB/s · rocm · $20.72/h
- DigitalOcean GPU Droplet MI325X x8 2048GBDigitalOcean2048 GB VRAM · 6000 GB/s · rocm · $30.4/h
- DigitalOcean GPU Droplet MI350X x8 2304GBDigitalOcean2304 GB VRAM · 8000 GB/s · rocm · $24/h
- DigitalOcean GPU Droplet B300 x8 2304GBDigitalOcean2304 GB VRAM · 8000 GB/s · cuda · $49.36/h
- Azure NC4as_T4_v3 (1x T4 16GB)Azure16 GB VRAM · 320 GB/s · cuda
- Azure NC24ads_A100_v4 (1x A100 80GB PCIe)Azure80 GB VRAM · 1935 GB/s · cuda
- Azure NC40ads_H100_v5 (1x H100 NVL 94GB)Azure94 GB VRAM · 3900 GB/s · cuda
- Azure ND96isr_H100_v5 (8x H100 640GB)Azure640 GB VRAM · 3350 GB/s · cuda
- Azure ND96isr_H200_v5 (8x H200 1128GB)Azure1128 GB VRAM · 4800 GB/s · cuda
- Azure ND96isr_MI300X_v5 (8x MI300X 1536GB)Azure1536 GB VRAM · 5300 GB/s · rocm
- Oracle Cloud VM.GPU.A10.1 (1x A10 24GB)Oracle Cloud24 GB VRAM · 600 GB/s · cuda
- Oracle Cloud BM.GPU.H100.8 (8x H100 640GB)Oracle Cloud640 GB VRAM · 3350 GB/s · cuda
- Oracle Cloud BM.GPU.MI300X.8 (8x MI300X 1536GB)Oracle Cloud1536 GB VRAM · 5300 GB/s · rocm
- Hetzner GEX44 (RTX 4000 SFF Ada 20GB, 64GB DDR4)Hetzner20 GB VRAM · 280 GB/s · cuda · $0.27/h
- Lambda 1x H100 SXM 80GBLambda80 GB VRAM · 3350 GB/s · cuda · $4.89/h
- Lambda 8x H100 SXM 640GBLambda640 GB VRAM · 3350 GB/s · cuda · $36.72/h
- Lambda 1x GH200 96GBLambda96 GB VRAM · 4000 GB/s · cuda · $2.59/h
- Lambda 8x B200 1440GBLambda1440 GB VRAM · 8000 GB/s · cuda · $61.52/h
- AWS t4g.large (2 vCPU Graviton2, 8GB)AWS8 GB · 24 GB/s · cpu · $0.067/h
- AWS c8g.xlarge (4 vCPU Graviton4, 8GB)AWS8 GB · 48 GB/s · cpu · $0.16/h
- AWS m8g.xlarge (4 vCPU Graviton4, 16GB)AWS16 GB · 48 GB/s · cpu · $0.18/h
- AWS m8g.4xlarge (16 vCPU Graviton4, 64GB)AWS64 GB · 190 GB/s · cpu · $0.72/h
- AWS m8g.16xlarge (64 vCPU Graviton4, 256GB)AWS256 GB · 430 GB/s · cpu · $2.88/h
- AWS m7i.xlarge (4 vCPU Sapphire Rapids, 16GB)AWS16 GB · 24 GB/s · cpu · $0.202/h
- AWS r7i.8xlarge (32 vCPU Sapphire Rapids, 256GB)AWS256 GB · 190 GB/s · cpu · $2.12/h
- Google Cloud e2-standard-4 (4 vCPU, 16GB)Google Cloud16 GB · 20 GB/s · cpu
- Google Cloud e2-standard-8 (8 vCPU, 32GB)Google Cloud32 GB · 40 GB/s · cpu
- Google Cloud n4-standard-8 (8 vCPU Emerald Rapids, 32GB)Google Cloud32 GB · 48 GB/s · cpu
- Google Cloud c4a-standard-8 (8 vCPU Axion, 32GB)Google Cloud32 GB · 96 GB/s · cpu
- Google Cloud c4a-highmem-16 (16 vCPU Axion, 128GB)Google Cloud128 GB · 190 GB/s · cpu
- DigitalOcean Basic Droplet 2 vCPU / 4GBDigitalOcean4 GB · 12 GB/s · cpu · $0.036/h
- DigitalOcean Basic Droplet 4 vCPU / 8GBDigitalOcean8 GB · 20 GB/s · cpu · $0.071/h
- DigitalOcean Basic Droplet 8 vCPU / 16GBDigitalOcean16 GB · 30 GB/s · cpu · $0.143/h
- DigitalOcean CPU-Optimized Droplet 8 vCPU / 16GBDigitalOcean16 GB · 45 GB/s · cpu · $0.25/h
- DigitalOcean CPU-Optimized Droplet 16 vCPU / 32GBDigitalOcean32 GB · 80 GB/s · cpu · $0.5/h
- DigitalOcean CPU-Optimized Droplet 32 vCPU / 64GBDigitalOcean64 GB · 150 GB/s · cpu · $1/h
- DigitalOcean General Purpose Droplet 16 vCPU / 64GBDigitalOcean64 GB · 80 GB/s · cpu · $0.75/h
- Oracle Cloud Always Free A1 (2 OCPU Ampere, 12GB)Oracle Cloud12 GB · 20 GB/s · cpu
- Hetzner CAX21 (4 vCPU Ampere, 8GB)Hetzner8 GB · 30 GB/s · cpu · $0.0176/h
- Hetzner CAX41 (16 vCPU Ampere, 32GB)Hetzner32 GB · 90 GB/s · cpu · $0.0665/h
- Hetzner CCX33 (8 dedicated vCPU AMD, 32GB)Hetzner32 GB · 48 GB/s · cpu · $0.19/h
Jetson & edge AI
- NVIDIA DGX Spark (GB10) 128GBNVIDIA128 GB · 273 GB/s · cuda
- NVIDIA Jetson AGX Thor 128GBNVIDIA128 GB · 273 GB/s · cuda
- NVIDIA Jetson Thor T4000 64GBNVIDIA64 GB · 273 GB/s · cuda
- NVIDIA Jetson AGX Orin 64GBNVIDIA64 GB · 204 GB/s · cuda
- NVIDIA Jetson AGX Orin 32GBNVIDIA32 GB · 204 GB/s · cuda
- NVIDIA Jetson Orin NX 16GBNVIDIA16 GB · 102 GB/s · cuda
- NVIDIA Jetson Orin Nano 8GBNVIDIA7.3999999994412065 GB · 102 GB/s · cuda
Phones
- Apple iPhone 16 / Plus (A18) 8GBApple8 GB · 60 GB/s · metal
- Apple iPhone 16 Pro / Pro Max (A18 Pro) 8GBApple8 GB · 60 GB/s · metal
- Apple iPhone 17 (A19) 8GBApple8 GB · 68 GB/s · metal
- Apple iPhone 17 Pro / Pro Max (A19 Pro) 12GBApple12 GB · 77 GB/s · metal
- Apple iPhone Air (A19 Pro) 12GBApple12 GB · 77 GB/s · metal
- Samsung Galaxy S25 Ultra (Snapdragon 8 Elite) 12GBSamsung12 GB · 85 GB/s · cpu
- Samsung Galaxy S25 Ultra (Snapdragon 8 Elite) 16GBSamsung16 GB · 85 GB/s · cpu
- Samsung Galaxy S26 Ultra (Snapdragon 8 Elite Gen 5) 16GBSamsung16 GB · 85 GB/s · cpu
- Samsung Galaxy Z Fold7 (Snapdragon 8 Elite) 16GBSamsung16 GB · 85 GB/s · cpu
- Samsung Galaxy A56 (Exynos 1580) 8GBSamsung8 GB · 51 GB/s · cpu
- Google Pixel 9a (Tensor G4) 8GBGoogle8 GB · 68 GB/s · cpu
- Google Pixel 9 Pro / Pro XL (Tensor G4) 16GBGoogle16 GB · 68 GB/s · cpu
- Google Pixel 10 Pro / Pro XL (Tensor G5) 16GBGoogle16 GB · 68 GB/s · cpu
- Huawei Mate 70 Pro (Kirin 9020) 16GBHuawei16 GB · 51 GB/s · cpu
- Huawei Pura 80 Ultra (Kirin 9020) 16GBHuawei16 GB · 51 GB/s · cpu
- Xiaomi 15 Ultra (Snapdragon 8 Elite) 16GBXiaomi16 GB · 85 GB/s · cpu
- Xiaomi 17 Pro Max (Snapdragon 8 Elite Gen 5) 16GBXiaomi16 GB · 85 GB/s · cpu
- OPPO Find X8 Pro (Dimensity 9400) 16GBOPPO16 GB · 85 GB/s · cpu
- OPPO Find X9 Pro (Dimensity 9500) 16GBOPPO16 GB · 85 GB/s · cpu
- OnePlus 13 (Snapdragon 8 Elite) 24GBOnePlus24 GB · 85 GB/s · cpu
- OnePlus 15 (Snapdragon 8 Elite Gen 5) 16GBOnePlus16 GB · 85 GB/s · cpu
- vivo X200 Pro (Dimensity 9400) 16GBvivo16 GB · 85 GB/s · cpu
- ASUS ROG Phone 9 Pro (Snapdragon 8 Elite) 24GBASUS24 GB · 85 GB/s · cpu
Tablets
- Apple iPad mini (A17 Pro) 8GBApple8 GB · 51 GB/s · metal
- Apple iPad Air M3 8GBApple8 GB · 100 GB/s · metal
- Apple iPad Pro M4 16GB (1-2TB models)Apple16 GB · 120 GB/s · metal
- Apple iPad Pro M5 16GB (1-2TB models)Apple16 GB · 153 GB/s · metal
- Samsung Galaxy Tab S10 Ultra (Dimensity 9300+) 16GBSamsung16 GB · 77 GB/s · cpu
- Samsung Galaxy Tab S11 Ultra (Dimensity 9400+) 16GBSamsung16 GB · 85 GB/s · cpu
Single-board computers
- Raspberry Pi 4 8GBRaspberry Pi8 GB · 12.8 GB/s · cpu
- Raspberry Pi 5 8GBRaspberry Pi8 GB · 17 GB/s · cpu
- Raspberry Pi 5 16GBRaspberry Pi16 GB · 17 GB/s · cpu
- RK3588 board 16GB (Orange Pi 5 Plus, Rock 5B)Rockchip16 GB · 34 GB/s · cpu
- RK3588 board 32GB (Orange Pi 5 Plus)Rockchip32 GB · 34 GB/s · cpu
- Intel N100 16GB (mini PC; N150 similar)Intel16 GB · 38 GB/s · cpu