Das starke Verkleinern des KV-Cache zum Sparen von Speicherplatz war bisher eher exotisch. Ein Beitrag von Google hat das Thema nun in den Mainstream gerückt.
heise+ | So funktioniert KV-Cache-Quantisierung mit Googles Verfahren TurboQuant
Das starke Verkleinern des KV-Cache zum Sparen von Speicherplatz war bisher eher exotisch. Ein Beitrag von Google hat das Thema nun in den Mainstream gerückt.