Словарь
Kimi Delta Attention
Kimi Delta Attention (KDA) — механизм линейного внимания, который разработала компания Moonshot AI для архитектуры Kimi Linear. Это развитие Gated DeltaNet с более тонким управлением памятью (гейтингом). В отличие от полного внимания его затраты растут с длиной текста линейно, поэтому его чередуют со слоями полного внимания, чтобы дешевле обрабатывать длинный контекст.