تعاون ريد هات مع مهندسي تيسلا لتحسين أداء استدلال Llama 3.1 70B

robot
إنشاء الملخص قيد التقدم
ME News أخبار، في 23 أبريل (UTC+8)، تعاون مهندسو Red Hat وTesla مؤخرًا لتحسين المشكلات في بيئات الإنتاج الفعلية. من خلال الجمع بين مشاريع KServe وLLM-D وvLLM، حققوا تحسينًا ملحوظًا في أداء الاستدلال على نموذج Llama 3.1 70B، حيث زاد عدد الرموز المخرجة في الثانية بمقدار 3 أضعاف، وانخفض وقت الرمز الأول بمقدار مرتين.
أثناء التعاون، تم دفع الإصلاحات ذات الصلة إلى مشروع KServe. تعتبر المقالة ذلك مثالاً للتعاون مفتوح المصدر. (المصدر: InFoQ)
شاهد النسخة الأصلية
قد تحتوي هذه الصفحة على محتوى من جهات خارجية، يتم تقديمه لأغراض إعلامية فقط (وليس كإقرارات/ضمانات)، ولا ينبغي اعتباره موافقة على آرائه من قبل Gate، ولا بمثابة نصيحة مالية أو مهنية. انظر إلى إخلاء المسؤولية للحصول على التفاصيل.
  • أعجبني
  • تعليق
  • إعادة النشر
  • مشاركة
تعليق
إضافة تعليق
إضافة تعليق
لا توجد تعليقات
  • مُثبت