Spekulative Decoding-Verfahren beschleunigen die Tokenvorhersage. Multi-Token Prediction nutzt schnelle kleine Modelle und trennt Vorhersage von Verifikation.
heise+ | Speculative Decoding: Wie Multi-Token Prediction LLMs beschleunigt
Spekulative Decoding-Verfahren beschleunigen die Tokenvorhersage. Multi-Token Prediction nutzt schnelle kleine Modelle und trennt Vorhersage von Verifikation.