Click a labeled budget for a measured allocation; drag between them to see the pattern interpolate. The budget is parameter-weighted: NVFP4 costs 4.5 bits with block scales, FP8 costs 8, and BF16 costs 16.
| Transformer layer → | 0 | 4 | 8 | 12 | 16 | 20 | 24 | 28 | 32 | 36 | 40 | 44 | 48 | 52 | 56 | 60 | 63 | ||||||||||||||||||||||||||||||||||||||||||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| MLP | Gate | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Up | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Down | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Linear attention | QKV | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Z | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Output | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| A | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| B | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Conv1D | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Full attention | Q | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| K | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| V | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Output | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
Scroll across layers →