كشفت أوبن إيه آي في أول مقال من سلسلة من جزأين تفاصيل Habitat، منصّة التخزين الداخلية التي بنتها لتغذية كل منتجاتها بالبيانات — من تسجيل الدخول إلى بدء محادثة جديدة في ChatGPT. اليوم تعالج المنصّة أكثر من 70 مليون طلب في الثانية، وتخدم أكثر من مليار مستخدم أسبوعيًا عبر نحو 40 منطقة جغرافية، وتُدير أكثر من 500 بيتابايت من البيانات.
من مكتبة بايثون إلى خدمة مستقلة
بدأت Habitat في منتصف 2024 كمكتبة بايثون بسيطة تتصل بخادم ChatGPT الرئيسي وتتعامل مع قاعدة بيانات واحدة هي Azure Cosmos DB. فكرتها كانت أن مهندسي المنتج لا يجب أن يهتموا بتفاصيل قواعد البيانات: البحث عن المخطط، والتوجيه، والصلاحيات، والتشفير، وتجميع الاتصالات — كل ذلك تتولاه المكتبة نيابة عنهم.
بحلول منتصف 2025، بلغت المكتبة حدودها. مع تعقّد الطبقة وازدياد عدد خدمات أوبن إيه آي، أصبح إدخال تغييرات متوافقة رجعيًا على البروتوكول شبه مستحيل. لذلك حوّلت الشركة Habitat من مكتبة جانب العميل إلى خدمة مستقلة بمعالجات منفصلة، ما أتاح نقطة تحكم واحدة للنشر والمراقبة وتطوير المنصّة.
نمو لا يشبه الجداول المعتادة
يبني مهندسو الأنظمة عادة لتحمّل نمو عشرة أضعاف ويأملون أن يصمد ذلك لسنوات. أما في حالة أوبن إيه آي، فقد نمت الحمولة أكثر من عشرة أضعاف سنويًا لثلاث سنوات متتالية — ما جعل بناء Habitat وتشغيلها سلسلة قرارات تكتيكية متلاحقة: استخراج أقصى ما يمكن من الطبقة الحالية، مع كسب الوقت للاستثمارات الأساسية الأعمق.
من بايثون إلى رست
من أبرز تلك القرارات: البدء بترحيل الخدمة تدريجيًا من بايثون — وهي لغة غير معتادة في طبقات الخدمة عالية الحمولة — إلى رست (Rust)، سعيًا لموثوقية وأداء أعلى مع استمرار النمو المتسارع.
المقال يعد بجزء ثانٍ يشرح كيف حققت أوبن إيه آي موثوقية تعدد المستأجرين على هذا المقياس، واستراتيجيتها الطبقية لتحسين أداء القراءة، وكيف طوّرت شراكتها مع Azure Cosmos DB لتحمّل هذا الطلب غير المسبوق.
المصدر: مدونة أوبن إيه آي — openai.com/index/scaling-storage-one-billion-users-part-one
الكلمات المفتاحية: أوبن إيه آي، Habitat، تخزين البيانات، ChatGPT، Azure Cosmos DB، الهندسة البرمجية، رست
No comments yet