近日，DeepSeek宣布推出一種名為NSA（稀疏注意力機(jī)制）的技術(shù)，該技術(shù)與硬件一致且本機(jī)可訓(xùn)練，專為超快速長上下文訓(xùn)練和推理設(shè)計(jì)。NSA通過針對(duì)現(xiàn)代硬件的優(yōu)化設(shè)計(jì)，顯著加快了推理速度，同時(shí)降低了預(yù)訓(xùn)練成本，而性能表現(xiàn)與完全注意力模型相當(dāng)甚至更好。