أطلقت جوجل خوارزمية الضغط TurboQuant، وتعلن عن تحقيق توفير ذاكرة يبلغ حوالي 6 أضعاف

تقدم شركة جوجل خوارزمية ضغط محتملة تقلل من متطلبات ذاكرة أنظمة الذكاء الاصطناعي، تسمى TurboQuant. تهدف تقنية ضغط TurboQuant إلى تقليل استهلاك الذاكرة لنماذج اللغة الكبيرة ومحركات البحث القائمة على المتجهات. تركز الخوارزمية بشكل رئيسي على مشكلة عنق الزجاجة في ذاكرة التخزين المؤقتة من نوع المفتاح والقيمة (key-value cache) المستخدمة لتخزين المعلومات ذات الوصول المتكرر في أنظمة الذكاء الاصطناعي. مع زيادة حجم نافذة السياق، أصبحت هذه التخزينات المؤقتة تشكل عنق زجاجة رئيسيًا للذاكرة. يمكن لـ TurboQuant ضغط ذاكرة التخزين المؤقتة للمفتاح والقيمة إلى دقة 3 بت دون الحاجة إلى إعادة تدريب أو تعديل النموذج، مع الحفاظ على دقة النموذج بشكل أساسي. أظهرت الاختبارات على نماذج مفتوحة المصدر مثل Gemma أن التقنية يمكن أن تحقق ضغطًا في ذاكرة التخزين المؤقتة للمفتاح والقيمة بمعدل حوالي 6 مرات. (شؤون مالية)