أطلقت شركة Reflection أول نماذجها، Beam، بأوزان مفتوحة وترخيص Apache 2.0، بالتعاون مع أكثر من 40 شريكًا. الأوزان والمحلل اللغوي وتنفيذ مرجعي متاحة على Hugging Face.
الأرقام الأساسية
Beam نموذج MoE بحجم 501 مليار معامل، منها 23 مليارًا فعّالة، ونافذة سياق مليون رمز، ويدعم النص فقط. سجل 30 في مؤشر Artificial Analysis للذكاء، فجاء ثانيًا بين النماذج الأمريكية المفتوحة بعد Muse Spark Open من ميتا (39). وهو يستهلك نحو 26 ألف رمز ناتج لكل مهمة، أي نصف ما يستهلكه K2 Horizon الذي يتقدم عليه بنقطة واحدة.
أين يقوّى وأين يضعف؟
يتألق في سير العمل الوكيلي: 48.5% في AutomationBench-AA، متقدمًا بـ11 نقطة على K2 Horizon. لكنه ضعيف في الطرفية، فسجل 3.0% فقط في Terminal-Bench 4.0. وفي الأسئلة المعرفية يجيب صحيحًا عن 33%، وهو رقم جيد، لكن نسبة هلوسته 47%، أي أنه يخمّن كثيرًا عندما لا يعرف. صافي درجته في هذا الاختبار 1.5، وهو أفضل من منافسيه المباشرين رغم ذلك.
هل يستحق التجربة؟
إن كان عملك أتمتة مهام وكلاء ويهمك الترخيص المفتوح وكلفة الرموز، فهو مرشح جاد. أما إن كنت تعتمد على الطرفية أو تحتاج دقة معرفية عالية، فاختبره على بياناتك قبل أي قرار. وتذكّر أن النماذج المغلقة ما زالت تتصدر، فـGPT-6 Astra يسجل 53 على المؤشر نفسه.
الكلمات المفتاحية: Reflection، Beam، نماذج مفتوحة الأوزان، Artificial Analysis
المصدر: حساب Artificial Analysis في X (https://x.com/ArtificialAnlys/status/2111087606759030831)
No comments yet