Subiect: #decodare speculativă
DeepSeek lansează DSpark: un cadru de decodare speculativă care accelerează generarea per utilizator cu 60–85% față de MTP-1
DeepSeek a lansat DSpark, un cadru de decodare speculativă care accelerează generarea de text per utilizator cu 57–85% față de MTP-1, fără pierderi de calitate. Folosește un draft paralel și un cap Markov pentru a reduce degradarea sufixelor, plus o verificare adaptivă în funcție de încărcarea GPU-ului. DeepSpec, setul de instrumente de antrenament, este open-source sub licență MIT.
AI
EAGLE 3.1: Algoritmul de decodare speculativă care repară deriva atenției în inferența modelelor de limbaj
EAGLE 3.1 este un algoritm de decodare speculativă care corectează deriva atenției în inferența modelelor de limbaj, reducând latența cu până la 60% și menținând calitatea textului generat.