Gemma

Results as tablesRelease main-f03640150, as of 2026-11-13

A snapshot taken when this site was last built. The charts above read live data and may be newer. The same tables as markdown.

Throughput on Apple Silicon, tokens per second: every engine on the same model and machine, fastest first
MachineModelSetupEngines (tok/s)
M5 Max 128 GBGemma-4-E2BSingle decodePie 205 · MLX 185 · llama.cpp 166
M5 Max 128 GBGemma-4-E2BSingle prefillPie 21,112 · MLX 16,192 · llama.cpp 4,806
M5 Max 128 GBGemma-4-E2BBatched decodePie 2,020 · llama.cpp 689 · MLX 185
M5 Max 128 GBGemma-4-E2BBatched prefillPie 27,717 · MLX 17,219 · llama.cpp 7,172
M5 Max 128 GBGemma-4-E4BSingle decodePie 127 · MLX 120 · llama.cpp 107
M5 Max 128 GBGemma-4-E4BSingle prefillPie 7,539 · MLX 6,528 · llama.cpp 2,919
M5 Max 128 GBGemma-4-E4BBatched decodePie 1,317 · llama.cpp 459 · MLX 116
M5 Max 128 GBGemma-4-E4BBatched prefillPie 9,167 · MLX 6,833 · llama.cpp 4,172
M5 Max 128 GBGemma-4-12BSingle decodePie 66.3 · MLX 61 · llama.cpp 57.4
M5 Max 128 GBGemma-4-12BSingle prefillPie 1,933 · MLX 1,838 · llama.cpp 1,153
M5 Max 128 GBGemma-4-12BBatched decodePie 521 · llama.cpp 238 · MLX 54.8
M5 Max 128 GBGemma-4-12BBatched prefillMLX 1,750 · Pie 1,729 · llama.cpp 1,525
M5 Max 128 GBGemma-4-26BSingle decodePie 143 · MLX 119 · llama.cpp 98.1
M5 Max 128 GBGemma-4-26BSingle prefillPie 4,347 · MLX 4,008 · llama.cpp 2,399
M5 Max 128 GBGemma-4-26BBatched decodePie 806 · llama.cpp 456 · MLX 113
M5 Max 128 GBGemma-4-26BBatched prefillPie 5,647 · MLX 3,986 · llama.cpp 3,479
M5 Max 128 GBGemma-4-31BSingle decodePie 27 · MLX 26.5 · llama.cpp 24.6
M5 Max 128 GBGemma-4-31BSingle prefillPie 718 · MLX 637 · llama.cpp 443
M5 Max 128 GBGemma-4-31BBatched decodePie 184 · llama.cpp 97 · MLX 21.2
M5 Max 128 GBGemma-4-31BBatched prefillMLX 635 · Pie 587 · llama.cpp 558
M5 Max 64 GBGemma-4-E2BSingle decodePie 201 · vLLM Metal 189 · MLX 184 · llama.cpp 167
M5 Max 64 GBGemma-4-E2BSingle prefillPie 21,434 · MLX 16,147 · vLLM Metal 16,112 · llama.cpp 4,801
M5 Max 64 GBGemma-4-E2BBatched decodevLLM Metal 1,968 · Pie 1,939 · llama.cpp 706 · MLX 182
M5 Max 64 GBGemma-4-E2BBatched prefillPie 31,421 · vLLM Metal 29,520 · MLX 17,139 · llama.cpp 7,217
M5 Max 64 GBGemma-4-E4BSingle decodePie 129 · MLX 120 · vLLM Metal 118 · llama.cpp 105
M5 Max 64 GBGemma-4-E4BSingle prefillPie 7,636 · vLLM Metal 6,660 · MLX 6,565 · llama.cpp 2,832
M5 Max 64 GBGemma-4-E4BBatched decodePie 1,272 · vLLM Metal 1,088 · llama.cpp 467 · MLX 111
M5 Max 64 GBGemma-4-E4BBatched prefillvLLM Metal 9,153 · Pie 8,473 · MLX 6,676 · llama.cpp 3,901
M5 Max 64 GBGemma-4-12BSingle decodePie 65.2 · MLX 57.3 · vLLM Metal 55.8 · llama.cpp 52.2
M5 Max 64 GBGemma-4-12BSingle prefillvLLM Metal 1,632 · MLX 1,627 · Pie 1,555 · llama.cpp 988
M5 Max 64 GBGemma-4-12BBatched decodePie 473 · vLLM Metal 373 · llama.cpp 226 · MLX 47
M5 Max 64 GBGemma-4-12BBatched prefillvLLM Metal 1,800 · MLX 1,596 · Pie 1,564 · llama.cpp 1,419
M5 Max 64 GBGemma-4-26BSingle decodePie 144 · vLLM Metal 119 · MLX 118 · llama.cpp 98
M5 Max 64 GBGemma-4-26BSingle prefillPie 4,329 · vLLM Metal 4,114 · MLX 3,972 · llama.cpp 2,343
M5 Max 64 GBGemma-4-26BBatched decodePie 753 · vLLM Metal 482 · llama.cpp 417 · MLX 108
M5 Max 64 GBGemma-4-26BBatched prefillvLLM Metal 5,357 · Pie 5,304 · MLX 3,717 · llama.cpp 3,163
M5 Max 64 GBGemma-4-31BSingle decodePie 27.3 · MLX 24.8 · vLLM Metal 24.6 · llama.cpp 23
M5 Max 64 GBGemma-4-31BSingle prefillvLLM Metal 513 · MLX 510 · Pie 447 · llama.cpp 381
M5 Max 64 GBGemma-4-31BBatched decodePie 183 · vLLM Metal 140 · llama.cpp 67 · MLX 19.4
M5 Max 64 GBGemma-4-31BBatched prefillMLX 617 · Pie 570 · vLLM Metal 528
M5 16 GBGemma-4-E2BBatched decodellama.cpp 202 · MLX 48.9
M5 16 GBGemma-4-E4BBatched decodellama.cpp 92.8 · MLX 25.5
M5 16 GBGemma-4-12BBatched decodeMLX 9.6
M4 Pro 48 GBGemma-4-E2BSingle decodePie 126 · vLLM Metal 114 · MLX 111 · llama.cpp 103
M4 Pro 48 GBGemma-4-E2BSingle prefillPie 4,557 · MLX 4,258 · vLLM Metal 3,710 · llama.cpp 1,322
M4 Pro 48 GBGemma-4-E2BBatched decodevLLM Metal 731 · Pie 723 · llama.cpp 393 · MLX 108
M4 Pro 48 GBGemma-4-E2BBatched prefillPie 5,098 · vLLM Metal 4,416 · MLX 4,318 · llama.cpp 1,517
M4 Pro 48 GBGemma-4-E4BSingle decodePie 71.3 · vLLM Metal 65.4 · MLX 64.9 · llama.cpp 59.3
M4 Pro 48 GBGemma-4-E4BSingle prefillPie 1,276 · MLX 1,237 · vLLM Metal 1,160 · llama.cpp 677
M4 Pro 48 GBGemma-4-E4BBatched decodePie 350 · vLLM Metal 345 · llama.cpp 225 · MLX 60.7
M4 Pro 48 GBGemma-4-E4BBatched prefillPie 1,352 · vLLM Metal 1,287 · MLX 1,244 · llama.cpp 759
M4 Pro 48 GBGemma-4-12BSingle decodePie 33.4 · vLLM Metal 31.4 · MLX 31.1 · llama.cpp 29.2
M4 Pro 48 GBGemma-4-12BSingle prefillPie 286 · MLX 280 · vLLM Metal 267 · llama.cpp 259
M4 Pro 48 GBGemma-4-12BBatched decodePie 110 · vLLM Metal 110 · llama.cpp 95.4 · MLX 27.2
M4 Pro 48 GBGemma-4-12BBatched prefillPie 298 · llama.cpp 282 · MLX 280
M4 Pro 48 GBGemma-4-26BSingle decodePie 83.2 · vLLM Metal 73.8 · MLX 70.4 · llama.cpp 53.9
M4 Pro 48 GBGemma-4-26BSingle prefillPie 874 · MLX 830 · vLLM Metal 759 · llama.cpp 704
M4 Pro 48 GBGemma-4-26BBatched decodePie 232 · vLLM Metal 192 · llama.cpp 175 · MLX 63.4
M4 Pro 48 GBGemma-4-26BBatched prefillPie 984 · vLLM Metal 846 · MLX 834 · llama.cpp 792
M4 Pro 48 GBGemma-4-31BSingle decodePie 13.3 · MLX 12.9 · vLLM Metal 12.8
M4 Pro 48 GBGemma-4-31BSingle prefillPie 106 · MLX 105 · vLLM Metal 101
M4 Pro 48 GBGemma-4-31BBatched decodePie 42 · vLLM Metal 41.8 · MLX 11.3
M4 Pro 48 GBGemma-4-31BBatched prefillPie 109 · MLX 105
M3 16 GBGemma-4-E2BSingle decodePie 60.2 · vLLM Metal 57.7 · MLX 55.4 · llama.cpp 50.8
M3 16 GBGemma-4-E2BSingle prefillPie 2,408 · MLX 1,842 · vLLM Metal 1,593 · llama.cpp 591
M3 16 GBGemma-4-E2BBatched decodePie 321 · vLLM Metal 290 · llama.cpp 193 · MLX 47
M3 16 GBGemma-4-E2BBatched prefillPie 2,616 · MLX 1,896 · vLLM Metal 1,815
M3 16 GBGemma-4-E4BSingle decodePie 31.9 · vLLM Metal 30.8 · MLX 26.9 · llama.cpp 25.4
M3 16 GBGemma-4-E4BSingle prefillPie 687 · MLX 524 · vLLM Metal 493 · llama.cpp 274
M3 16 GBGemma-4-E4BBatched decodePie 122 · vLLM Metal 111 · llama.cpp 59.4 · MLX 24.6
M3 16 GBGemma-4-E4BBatched prefillPie 749 · MLX 526 · vLLM Metal 435
M3 16 GBGemma-4-12BSingle decodePie 12.6 · MLX 10.3 · vLLM Metal 8.2
M3 16 GBGemma-4-12BSingle prefillPie 154 · MLX 102 · vLLM Metal 93.3
M3 16 GBGemma-4-12BBatched decodePie 33.4 · vLLM Metal 29.4 · MLX 7.5
M3 16 GBGemma-4-12BBatched prefillPie 111 · MLX 76.3
M2 16 GBGemma-4-E2BSingle decodePie 56.2 · MLX 46.9 · llama.cpp 46.7 · vLLM Metal 42.5
M2 16 GBGemma-4-E2BSingle prefillPie 1,790 · MLX 1,343 · vLLM Metal 983 · llama.cpp 524
M2 16 GBGemma-4-E2BBatched decodePie 281 · vLLM Metal 194 · llama.cpp 179 · MLX 42.2
M2 16 GBGemma-4-E2BBatched prefillPie 2,011 · MLX 1,369 · vLLM Metal 1,162 · llama.cpp 510
M2 16 GBGemma-4-E4BSingle decodePie 30.1 · llama.cpp 25.9 · MLX 24.5 · vLLM Metal 23.1
M2 16 GBGemma-4-E4BSingle prefillPie 525 · MLX 374 · vLLM Metal 284 · llama.cpp 268
M2 16 GBGemma-4-E4BBatched decodePie 110 · vLLM Metal 76.9 · llama.cpp 69.1 · MLX 21.4
M2 16 GBGemma-4-E4BBatched prefillPie 586 · MLX 378
M2 16 GBGemma-4-12BSingle decodeMLX 10.3 · Pie 9.4 · vLLM Metal 9
M2 16 GBGemma-4-12BSingle prefillPie 114 · MLX 82.6 · vLLM Metal 57
M2 16 GBGemma-4-12BBatched decodePie 27.8 · vLLM Metal 22.5 · MLX 8.1
M2 16 GBGemma-4-12BBatched prefillPie 105 · MLX 66
Throughput on NVIDIA GPU, tokens per second: every engine on the same model and machine, fastest first
MachineModelSetupEngines (tok/s)
B200 180 GBGemma-4-E4BSingle decodePie 290 · vLLM 252 · SGLang 237 · TensorRT-LLM 229
B200 180 GBGemma-4-E4BSingle prefillPie 36,744 · SGLang 9,256 · vLLM 8,622 · TensorRT-LLM 4,258
B200 180 GBGemma-4-E4BBatched decodeSGLang 40,383 · Pie 37,249 · vLLM 33,247 · TensorRT-LLM 8,754
B200 180 GBGemma-4-E4BBatched prefillvLLM 126,822 · SGLang 121,701 · Pie 116,759 · TensorRT-LLM 100,267
B200 180 GBGemma-4-26BSingle decodePie 341 · SGLang 291 · vLLM 256 · TensorRT-LLM 217
B200 180 GBGemma-4-26BSingle prefillPie 28,266 · SGLang 7,926 · vLLM 6,521 · TensorRT-LLM 3,699
B200 180 GBGemma-4-26BBatched decodevLLM 31,100 · Pie 27,712 · SGLang 27,511 · TensorRT-LLM 9,763
B200 180 GBGemma-4-26BBatched prefillvLLM 114,958 · Pie 114,220 · SGLang 104,786 · TensorRT-LLM 49,721
B200 180 GBGemma-4-31BSingle decodeSGLang 82.2 · Pie 81.5 · TensorRT-LLM 80.9 · vLLM 76.9
B200 180 GBGemma-4-31BSingle prefillPie 12,555 · SGLang 8,174 · vLLM 7,335 · TensorRT-LLM 3,534
B200 180 GBGemma-4-31BBatched decodevLLM 6,493 · Pie 6,134 · SGLang 6,021 · TensorRT-LLM 4,930
B200 180 GBGemma-4-31BBatched prefillSGLang 19,932 · vLLM 19,717 · TensorRT-LLM 18,880 · Pie 18,509
RTX PRO 6000 96 GBGemma-4-E4BSingle decodePie 133 · vLLM 117 · SGLang 114 · TensorRT-LLM 105
RTX PRO 6000 96 GBGemma-4-E4BSingle prefillPie 22,255 · vLLM 14,936 · SGLang 11,302 · TensorRT-LLM 7,373
RTX PRO 6000 96 GBGemma-4-E4BBatched decodePie 14,827 · vLLM 14,451 · SGLang 13,615 · TensorRT-LLM 11,876
RTX PRO 6000 96 GBGemma-4-E4BBatched prefillvLLM 40,618 · Pie 38,977 · TensorRT-LLM 37,114 · SGLang 35,100
RTX PRO 6000 96 GBGemma-4-26BSingle decodePie 154 · SGLang 139 · vLLM 133 · TensorRT-LLM 118
RTX PRO 6000 96 GBGemma-4-26BSingle prefillPie 14,030 · vLLM 11,111 · SGLang 9,599 · TensorRT-LLM 6,621
RTX PRO 6000 96 GBGemma-4-26BBatched decodePie 6,892 · vLLM 6,730 · SGLang 4,927 · TensorRT-LLM 4,730
RTX PRO 6000 96 GBGemma-4-26BBatched prefillvLLM 38,562 · Pie 37,461 · TensorRT-LLM 35,825 · SGLang 32,018
RTX PRO 6000 96 GBGemma-4-31BSingle decodePie 23.4 · SGLang 22.7 · vLLM 22.5 · TensorRT-LLM 22.5
RTX PRO 6000 96 GBGemma-4-31BSingle prefillPie 5,304 · TensorRT-LLM 4,209 · SGLang 4,201 · vLLM 4,139
RTX PRO 6000 96 GBGemma-4-31BBatched decodePie 1,088 · vLLM 1,047 · SGLang 889 · TensorRT-LLM 729
RTX PRO 6000 96 GBGemma-4-31BBatched prefillvLLM 6,088 · Pie 5,965 · TensorRT-LLM 5,939 · SGLang 5,437
RTX 5090 32 GBGemma-4-E4BSingle decodePie 146 · vLLM 140 · SGLang 138 · TensorRT-LLM 132
RTX 5090 32 GBGemma-4-E4BSingle prefillPie 16,612 · vLLM 13,576 · SGLang 11,174 · TensorRT-LLM 9,338
RTX 5090 32 GBGemma-4-E4BBatched decodevLLM 9,748 · Pie 9,429 · TensorRT-LLM 4,443 · SGLang 1,453
RTX 5090 32 GBGemma-4-E4BBatched prefillPie 24,563 · vLLM 24,181 · TensorRT-LLM 23,879 · SGLang 20,770
RTX PRO 4500 32 GBGemma-4-E4BSingle decodePie 79.7 · vLLM 76.8 · SGLang 75.7 · TensorRT-LLM 73.9
RTX PRO 4500 32 GBGemma-4-E4BSingle prefillPie 13,530 · vLLM 10,489 · SGLang 10,066 · TensorRT-LLM 9,639
RTX PRO 4500 32 GBGemma-4-E4BBatched decodePie 6,424 · vLLM 6,100 · TensorRT-LLM 2,948 · SGLang 2,223
RTX PRO 4500 32 GBGemma-4-E4BBatched prefillPie 16,795 · vLLM 15,887 · TensorRT-LLM 14,882 · SGLang 14,107
H200 SXM 141 GBGemma-4-E4BSingle decodePie 228 · SGLang 191 · vLLM 189 · TensorRT-LLM 162
H200 SXM 141 GBGemma-4-E4BSingle prefillPie 37,639 · vLLM 25,378 · SGLang 13,493 · TensorRT-LLM 8,769
H200 SXM 141 GBGemma-4-E4BBatched decodeSGLang 24,229 · vLLM 23,987 · Pie 23,721 · TensorRT-LLM 21,491
H200 SXM 141 GBGemma-4-E4BBatched prefillvLLM 69,777 · Pie 65,371 · SGLang 61,185 · TensorRT-LLM 59,231
H200 SXM 141 GBGemma-4-26BSingle decodePie 293 · SGLang 234 · vLLM 212 · TensorRT-LLM 165
H200 SXM 141 GBGemma-4-26BSingle prefillPie 24,493 · vLLM 17,341 · SGLang 11,971 · TensorRT-LLM 8,015
H200 SXM 141 GBGemma-4-26BBatched decodePie 15,430 · vLLM 14,330 · SGLang 12,808 · TensorRT-LLM 10,657
H200 SXM 141 GBGemma-4-26BBatched prefillvLLM 64,793 · TensorRT-LLM 56,762 · SGLang 55,088 · Pie 54,256
H200 SXM 141 GBGemma-4-31BSingle decodePie 60.6 · SGLang 57.7 · vLLM 54
H200 SXM 141 GBGemma-4-31BSingle prefillvLLM 9,503 · Pie 9,090 · SGLang 8,724
H200 SXM 141 GBGemma-4-31BBatched decodePie 3,317 · SGLang 3,272 · vLLM 3,053
H200 SXM 141 GBGemma-4-31BBatched prefillvLLM 10,398 · Pie 9,902 · SGLang 9,646
H100 SXM 80 GBGemma-4-E4BSingle decodePie 195 · SGLang 166 · vLLM 163 · TensorRT-LLM 146
H100 SXM 80 GBGemma-4-E4BSingle prefillPie 29,796 · SGLang 12,950 · vLLM 11,085 · TensorRT-LLM 8,045
H100 SXM 80 GBGemma-4-E4BBatched decodevLLM 19,351 · SGLang 18,527 · Pie 17,349 · TensorRT-LLM 10,616
H100 SXM 80 GBGemma-4-E4BBatched prefillvLLM 64,417 · Pie 61,472 · SGLang 59,471 · TensorRT-LLM 57,388
H100 SXM 80 GBGemma-4-26BSingle decodePie 226 · SGLang 205 · vLLM 190 · TensorRT-LLM 151
H100 SXM 80 GBGemma-4-26BSingle prefillPie 19,908 · SGLang 11,625 · vLLM 8,991 · TensorRT-LLM 4,848
H100 SXM 80 GBGemma-4-26BBatched decodevLLM 9,151 · Pie 8,358 · SGLang 7,489 · TensorRT-LLM 5,085
H100 SXM 80 GBGemma-4-26BBatched prefillvLLM 60,782 · TensorRT-LLM 52,397 · Pie 50,121 · SGLang 47,118
H100 SXM 80 GBGemma-4-31BSingle decodePie 43.2 · SGLang 42.3 · vLLM 41.5
H100 SXM 80 GBGemma-4-31BSingle prefillPie 8,619 · SGLang 7,961 · vLLM 6,872
H100 SXM 80 GBGemma-4-31BBatched decodevLLM 1,317 · SGLang 787 · Pie 695
H100 SXM 80 GBGemma-4-31BBatched prefillvLLM 10,000 · Pie 9,555 · SGLang 9,461
L40S 46 GBGemma-4-E4BSingle decodePie 70 · vLLM 69.7 · SGLang 67.9 · TensorRT-LLM 66
L40S 46 GBGemma-4-E4BSingle prefillPie 15,492 · vLLM 14,639 · SGLang 13,777 · TensorRT-LLM 6,631
L40S 46 GBGemma-4-E4BBatched decodevLLM 6,379 · Pie 6,337 · SGLang 6,034 · TensorRT-LLM 5,506
L40S 46 GBGemma-4-E4BBatched prefillvLLM 20,657 · Pie 19,739 · TensorRT-LLM 19,553 · SGLang 18,160
RTX 4090 24 GBGemma-4-E4BSingle decodePie 78.8 · vLLM 78.6 · SGLang 76.7
RTX 4090 24 GBGemma-4-E4BSingle prefillPie 12,922 · vLLM 11,880 · SGLang 9,562
RTX 4090 24 GBGemma-4-E4BBatched decodevLLM 5,841 · Pie 4,566 · SGLang 3,675
RTX 4090 24 GBGemma-4-E4BBatched prefillvLLM 17,175 · Pie 16,776 · SGLang 15,330
A100 SXM 80 GBGemma-4-E4BSingle decodePie 128 · vLLM 112 · SGLang 107 · TensorRT-LLM 94.6
A100 SXM 80 GBGemma-4-E4BSingle prefillPie 17,592 · vLLM 14,396 · SGLang 9,281 · TensorRT-LLM 7,470
A100 SXM 80 GBGemma-4-E4BBatched decodevLLM 10,539 · Pie 9,494 · SGLang 9,162 · TensorRT-LLM 8,998
A100 SXM 80 GBGemma-4-E4BBatched prefillvLLM 24,724 · Pie 23,997 · TensorRT-LLM 23,781 · SGLang 14,922
A100 SXM 80 GBGemma-4-26BSingle decodePie 148 · SGLang 131 · vLLM 130 · TensorRT-LLM 104
A100 SXM 80 GBGemma-4-26BSingle prefillPie 13,410 · vLLM 9,836 · SGLang 7,577 · TensorRT-LLM 6,782
A100 SXM 80 GBGemma-4-26BBatched decodevLLM 4,701 · Pie 4,492 · SGLang 3,791 · TensorRT-LLM 3,239
A100 SXM 80 GBGemma-4-26BBatched prefillTensorRT-LLM 22,818 · Pie 21,647 · vLLM 20,449 · SGLang 11,783
A100 SXM 80 GBGemma-4-31BSingle decodePie 25.8 · SGLang 24.4 · vLLM 23.9
A100 SXM 80 GBGemma-4-31BSingle prefillPie 3,189 · vLLM 3,169 · SGLang 2,096
A100 SXM 80 GBGemma-4-31BBatched decodevLLM 638 · Pie 466 · SGLang 407
A100 SXM 80 GBGemma-4-31BBatched prefillPie 3,620 · vLLM 3,585 · SGLang 2,363
A40 48 GBGemma-4-E4BSingle decodePie 57.9 · vLLM 51.5 · SGLang 50.2 · TensorRT-LLM 48.2
A40 48 GBGemma-4-E4BSingle prefillPie 8,066 · SGLang 6,717 · vLLM 6,536 · TensorRT-LLM 6,290
A40 48 GBGemma-4-E4BBatched decodePie 4,462 · vLLM 4,367 · SGLang 4,039 · TensorRT-LLM 3,941
A40 48 GBGemma-4-E4BBatched prefillvLLM 11,584 · Pie 11,180 · TensorRT-LLM 10,631 · SGLang 8,954
Throughput on AMD GPU, tokens per second: every engine on the same model and machine, fastest first
MachineModelSetupEngines (tok/s)
MI355X 288 GBGemma-4-E4BSingle decodePie 235 · vLLM 210 · SGLang 176
MI355X 288 GBGemma-4-E4BSingle prefillPie 36,428 · vLLM 21,190 · SGLang 15,262
MI355X 288 GBGemma-4-E4BBatched decodePie 33,242 · vLLM 27,777 · SGLang 27,269
MI355X 288 GBGemma-4-E4BBatched prefillPie 106,223 · SGLang 101,060 · vLLM 81,764
MI355X 288 GBGemma-4-26BSingle decodePie 216 · vLLM 186 · SGLang 186
MI355X 288 GBGemma-4-26BSingle prefillPie 24,712 · SGLang 15,823 · vLLM 15,106
MI355X 288 GBGemma-4-26BBatched decodevLLM 22,488 · Pie 20,411 · SGLang 15,253
MI355X 288 GBGemma-4-26BBatched prefillPie 71,822 · SGLang 67,646 · vLLM 62,748
MI355X 288 GBGemma-4-31BSingle decodePie 80.4 · vLLM 73.9 · SGLang 72.2
MI355X 288 GBGemma-4-31BSingle prefillPie 12,234 · vLLM 12,037 · SGLang 11,886
MI355X 288 GBGemma-4-31BBatched decodevLLM 5,965 · Pie 4,842 · SGLang 3,685
MI355X 288 GBGemma-4-31BBatched prefillSGLang 18,591 · Pie 18,210 · vLLM 17,599
MI350X 288 GBGemma-4-E4BSingle decodePie 228 · vLLM 204 · SGLang 169
MI350X 288 GBGemma-4-E4BSingle prefillPie 32,734 · vLLM 18,815 · SGLang 14,895
MI350X 288 GBGemma-4-26BSingle decodePie 206 · vLLM 181 · SGLang 179
MI350X 288 GBGemma-4-26BSingle prefillPie 22,879 · vLLM 17,483 · SGLang 16,370
MI350X 288 GBGemma-4-31BSingle decodePie 78.8 · vLLM 72.3 · SGLang 70.3
MI350X 288 GBGemma-4-31BSingle prefillvLLM 10,181 · Pie 10,109 · SGLang 9,937
MI300X 192 GBGemma-4-E4BSingle decodePie 198 · vLLM 194
MI300X 192 GBGemma-4-E4BSingle prefillPie 15,259 · vLLM 11,773
MI300X 192 GBGemma-4-E4BBatched decodePie 11,449 · vLLM 10,608 · SGLang 9,901
MI300X 192 GBGemma-4-E4BBatched prefillPie 43,380 · vLLM 32,117 · SGLang 9,008
MI300X 192 GBGemma-4-26BSingle decodePie 180 · vLLM 179 · SGLang 144
MI300X 192 GBGemma-4-26BSingle prefillPie 14,101 · vLLM 10,968 · SGLang 9,872
MI300X 192 GBGemma-4-26BBatched decodevLLM 7,286 · Pie 7,071 · SGLang 6,969
MI300X 192 GBGemma-4-26BBatched prefillPie 36,554 · SGLang 14,543 · vLLM 11,497
MI300X 192 GBGemma-4-31BSingle decodePie 57.7 · vLLM 56.7
MI300X 192 GBGemma-4-31BSingle prefillvLLM 5,229 · Pie 4,094
MI300X 192 GBGemma-4-31BBatched decodePie 2,786 · vLLM 2,440
MI300X 192 GBGemma-4-31BBatched prefillPie 7,886 · vLLM 7,484
Throughput on Google TPU, tokens per second: every engine on the same model and machine, fastest first
MachineModelSetupEngines (tok/s)
TPU v6e 32 GBGemma-4-E2BSingle decodevLLM 235 · Pie 231
TPU v6e 32 GBGemma-4-E2BSingle prefillPie 49,315 · vLLM 36,201
TPU v6e 32 GBGemma-4-E2BBatched decodevLLM 15,113 · Pie 13,966
TPU v6e 32 GBGemma-4-E2BBatched prefillvLLM 115,393 · Pie 99,137
TPU v6e 32 GBGemma-4-E4BSingle decodevLLM 117 · Pie 116
TPU v6e 32 GBGemma-4-E4BSingle prefillPie 34,947 · vLLM 23,540
TPU v6e 32 GBGemma-4-E4BBatched decodevLLM 8,605 · Pie 8,359
TPU v6e 32 GBGemma-4-E4BBatched prefillvLLM 65,764 · Pie 61,438
TPU v6e 32 GBGemma-4-12BSingle decodevLLM 45.4 · Pie 45.3
TPU v6e 32 GBGemma-4-12BSingle prefillPie 13,725 · vLLM 11,182
TPU v6e 32 GBGemma-4-12BBatched decodevLLM 1,195 · Pie 1,129
TPU v6e 32 GBGemma-4-12BBatched prefillvLLM 23,773 · Pie 21,796
TPU v5e 16 GBGemma-4-E2BSingle decodePie 152 · vLLM 148
TPU v5e 16 GBGemma-4-E2BSingle prefillPie 26,042 · vLLM 17,095
TPU v5e 16 GBGemma-4-E2BBatched decodevLLM 8,811 · Pie 6,891
TPU v5e 16 GBGemma-4-E2BBatched prefillvLLM 39,846 · Pie 29,543
TPU v5e 16 GBGemma-4-E4BSingle decodevLLM 74.1 · Pie 68.2
TPU v5e 16 GBGemma-4-E4BSingle prefillPie 14,526 · vLLM 9,345
TPU v5e 16 GBGemma-4-E4BBatched decodevLLM 1,370 · Pie 1,309
TPU v5e 16 GBGemma-4-E4BBatched prefillvLLM 20,053 · Pie 15,908
Throughput on Browser, tokens per second: every engine on the same model and machine, fastest first
MachineModelSetupEngines (tok/s)
RTX 5090 Chrome 32 GBGemma-4-E2BSingle decodePie 84.8 · WebLLM 39 · llama.cpp WebGPU 21.5
RTX 5090 Chrome 32 GBGemma-4-E2BSingle prefillPie 3,055 · WebLLM 495 · llama.cpp WebGPU 62.3
RTX 5090 Chrome 32 GBGemma-4-E2BBatched decodePie 486 · llama.cpp WebGPU 23.9
RTX 5090 Chrome 32 GBGemma-4-E2BBatched prefillPie 2,523 · llama.cpp WebGPU 62.4
RTX 5090 Chrome 32 GBGemma-4-E4BSingle decodePie 67.9 · llama.cpp WebGPU 15.2
RTX 5090 Chrome 32 GBGemma-4-E4BSingle prefillPie 2,098 · llama.cpp WebGPU 32.6
RTX 5090 Chrome 32 GBGemma-4-E4BBatched decodePie 351 · llama.cpp WebGPU 12.9
RTX 5090 Chrome 32 GBGemma-4-E4BBatched prefillPie 1,677 · llama.cpp WebGPU 32.5
RTX 5090 Chrome 32 GBGemma-4-12BSingle decodePie 37.8 · llama.cpp WebGPU 33.8
RTX 5090 Chrome 32 GBGemma-4-12BSingle prefillPie 1,107 · llama.cpp WebGPU 414
RTX 5090 Chrome 32 GBGemma-4-12BBatched decodePie 209 · llama.cpp WebGPU 74.7
RTX 5090 Chrome 32 GBGemma-4-12BBatched prefillPie 1,213 · llama.cpp WebGPU 445
RTX 4090 Chrome 24 GBGemma-4-E2BSingle decodePie 92.8 · WebLLM 39 · llama.cpp WebGPU 25.4
RTX 4090 Chrome 24 GBGemma-4-E2BSingle prefillPie 3,122 · WebLLM 455 · llama.cpp WebGPU 71.9
RTX 4090 Chrome 24 GBGemma-4-E2BBatched decodePie 459 · llama.cpp WebGPU 26.6
RTX 4090 Chrome 24 GBGemma-4-E2BBatched prefillPie 2,947 · llama.cpp WebGPU 70.3
RTX 4090 Chrome 24 GBGemma-4-E4BSingle decodePie 72.4 · llama.cpp WebGPU 14.6
RTX 4090 Chrome 24 GBGemma-4-E4BSingle prefillPie 1,938 · llama.cpp WebGPU 34.2
RTX 4090 Chrome 24 GBGemma-4-E4BBatched decodePie 319 · llama.cpp WebGPU 13.8
RTX 4090 Chrome 24 GBGemma-4-E4BBatched prefillPie 1,761 · llama.cpp WebGPU 35.6
RTX 4090 Chrome 24 GBGemma-4-12BSingle decodellama.cpp WebGPU 42.7 · Pie 33
RTX 4090 Chrome 24 GBGemma-4-12BSingle prefillPie 874 · llama.cpp WebGPU 240
RTX 4090 Chrome 24 GBGemma-4-12BBatched decodePie 189 · llama.cpp WebGPU 56.4
RTX 4090 Chrome 24 GBGemma-4-12BBatched prefillPie 982 · llama.cpp WebGPU 253