ما نموذج التأسيس؟
عند التدريب على استخدام مجموعات البيانات الكبيرة، تُعد نماذج التأسيس (FM) شبكات عصبونية كبيرة للتعليم العميق التي غيرت الطريقة التي يتعامل بها علماء البيانات مع تعلّم الآلة (ML). ويستخدم علماء البيانات نموذج تأسيس كنقطة انطلاق لتطوير نماذج تعلّم الآلة التي تدعم التطبيقات الجديدة بسرعة أكبر وبتكلفة معقولة بدلاً من تطوير الذكاء الاصطناعي (AI) من الصفر. ابتكر الباحثون مصطلح نموذج التأسيس لوصف نماذج تعلّم الآلة التي خضعت للتدريب على مجموعة واسعة من البيانات العامة وغير المصنفة ويمكنها إجراء مجموعة كبيرة من المهام العامة، مثل فهم اللغات وإنشاء النصوص والصور والتحدث باللغة الطبيعية.
ما الذي يميز نماذج التأسيس؟
الميزة الفريدة لنماذج التأسيس هي قدرتها على التكيف. يمكن لهذه النماذج أداء مجموعة واسعة من المهام المتباينة بدرجة عالية من الدقة بناءً على مطالبات الإدخال. تتضمن بعض المهام معالجة اللغة الطبيعية (NLP) والإجابة عن الأسئلة وتصنيف الصور. إن الحجم وطبيعة الأغراض العامة لنماذج التأسيس (FM) يجعلانها مختلفة عن نماذج تعلم الآلة (ML) التقليدية التي تؤدي عادةً مهام محددة، مثل تحليل النص لاكتشاف المشاعر، وتصنيف الصور، والتنبؤ بالاتجاهات.
يمكنك استخدام نماذج التأسيس باعتبارها نماذج أساسية لتطوير المزيد من التطبيقات النهائية المتخصصة. هذه النماذج هي تتويج لأعمال استمرت لأكثر من عقد كامل زادت فيها حجمًا وتعقيدًا.
على سبيل المثال، تم إصدار BERT في عام 2018، وهو أحد نماذج التأسيس الأولى ثنائية الاتجاه. فقد دُرِّب باستخدام 340 مليون مَعْلمة ومجموعة بيانات تدريب حجمها 16 جيجابايت. في عام 2023، بعد خمس سنوات فحسب، دربت OpenAI النموذج GPT-4 باستخدام 170 تريليون مَعْلمة ومجموعة بيانات تدريب حجمها 45 جيجابايت. وفقًا لـ OpenAI، كانت تضاعفت القوة الحاسوبية المطلوبة لإنشاء نماذج التأسيس كل 3.4 أشهر منذ عام 2012. يمكن لنماذج التأسيس المتعارف عليها في يومنا الحاضر، مثل نموذجَي اللغة الكبيرين (LLM) Claude 2 وLlama 2، ونموذج تحويل النص إلى صورة Stable Diffusion المقدم من Stability AI، تنفيذ مجموعة من المهام الجاهزة التي تغطي مجالات متعددة، مثل كتابة منشورات المدونات، وإنشاء الصور، وحل مسائل الرياضيات، والتجاوب في الحوار، والإجابة عن الأسئلة بناءً على المستندات.
ما أهمية نماذج التأسيس؟
إن نماذج التأسيس مؤهلة لإحداث تغيير جذري في دورة حياة تعلم الآلة. على الرغم من أن تطوير نموذج التأسيس من الصفر يكلف حاليًا ملايين الدولارات، فإنه مفيد على المدى الطويل. من الأسرع والأرخص لعلماء البيانات استخدام نماذج التأسيس المدرَّبة مسبقًا لتطوير تطبيقات تعلم آلة جديدة بدلاً من تدريب نماذج تعلم آلة فريدة من الألف إلى الياء.
أحد الاستخدامات المحتملة هو أتمتة المهام والعمليات، خاصةً تلك التي تتطلب قدرات التفكير المنطقي. فيما يلي بعض التطبيقات لنماذج التأسيس:
- دعم العملاء
- ترجمة اللغة
- إنشاء المحتوى
- كتابة المحتوى
- تصنيف الصور
- إنشاء صور عالية الدقة وتحريرها
- استخراج المستندات
- الروبوتات
- الرعاية الصحية
- المركبات ذاتية القيادة
كيف تعمل نماذج التأسيس؟
نماذج التأسيس هي شكل من أشكال الذكاء الاصطناعي المولّد (generative AI). فهي تنشئ مخرجات من واحد أو أكثر من المدخلات (المطالبات) في شكل توجيهات باللغة البشرية. تعتمد النماذج على الشبكات العصبونية المعقدة، بما في ذلك الشبكات التنافسية المولّدة (GAN) والمحولات وأدوات التشفير المتغيرة.
على الرغم من أن كل نوع من أنواع الشبكات يعمل بشكل مختلف، فإن المبادئ الأساسية وراء كيفية عملها متشابهة. بشكل عام، يستخدم نموذج التأسيس الأنماط والعلاقات المكتسبة للتنبؤ بالعنصر التالي في تسلسل معين. على سبيل المثال، عند إنشاء الصور، يحلل النموذج الصورة وينشئ نسخة أكثر وضوحًا ودقة منها. وبالمثل، مع النص، يتنبأ النموذج بالكلمة التالية في سلسلة نصية استنادًا إلى الكلمات السابقة وسياقها. ثم يختار الكلمة التالية باستخدام تقنيات توزيع الاحتمالات.
تستخدم نماذج التأسيس التعلم الخاضع للإشراف الذاتي لإنشاء تصنيفات من بيانات الإدخال. هذا يعني أنه لم يوجه أي شخص النموذج أو يدربه باستخدام مجموعات بيانات تدريب مصنفة. تفصل هذه الميزة نماذج اللغة الكبيرة عن هياكل تعلم الآلة السابقة التي تستخدم التعلم الخاضع للإشراف أو غير الخاضع للإشراف.
ما الذي يمكن أن تقوم به نماذج التأسيس؟
يمكن أن تستمر نماذج التأسيس، على الرغم من أنها مدرَّبة مسبقًا، في التعلم من مدخلات البيانات أو المطالبات في أثناء الاستدلال. وهذا يعني أنه يمكنك تطوير مخرجات شاملة من خلال المطالبات المنسقة بعناية. تشمل المهام التي يمكن أن تؤديها نماذج التأسيس معالجة اللغة والفهم البصري وتوليد التعليمات البرمجية والمشاركة المتمحورة حول الإنسان.
معالجة اللغة
تتمتع هذه النماذج بقدرات رائعة للإجابة عن أسئلة اللغة الطبيعية، بل حتى القدرة على كتابة نصوص أو مقالات قصيرة استجابةً للمطالبات. ويمكنها أيضًا ترجمة اللغات باستخدام تقنيات معالجة اللغة الطبيعية (NPL).
الفهم البصري
تتفوق نماذج التأسيس في الرؤية الحاسوبية، خاصةً فيما يتعلق بالتعرف على الصور والأشياء المادية. يمكن استخدام هذه القدرات في تطبيقات مثل القيادة الذاتية وعلم الروبوتات. القدرة الأخرى هي إنشاء الصور استنادًا إلى نص الإدخال، بالإضافة إلى إمكانية تحرير الصور ومقاطع الفيديو.
إنشاء التعليمة البرمجية
يمكن لنماذج التأسيس إنشاء تعليمات برمجية حاسوبية بلغات برمجة مختلفة بناءً على مدخلات اللغة الطبيعية. من الممكن أيضًا استخدام نماذج التأسيس لتقييم التعليمات البرمجية وتصحيحها.
المشاركة المتمحورة حول الإنسان
تستخدم نماذج الذكاء الاصطناعي المولّد المدخلات البشرية للتعلم وتحسين التنبؤات. أحد التطبيقات المهمة المتجاهلة أحيانًا هو قدرة هذه النماذج على دعم صنع القرار البشري. تشمل الاستخدامات المحتملة التشخيصات السريرية وأنظمة دعم القرار والتحليلات.
القدرة الأخرى هي تطوير تطبيقات الذكاء الاصطناعي الجديدة من خلال إجراء ضبط دقيق لنماذج التأسيس الحالية.
تحويل الكلام إلى نص
نظرًا إلى أن نماذج التأسيس تفهم اللغة، فإنه يمكن استخدامها لمهام تحويل الكلام إلى نص، مثل التفريغ الصوتي والتعليق على الفيديو بمجموعة متنوعة من اللغات.
ما بعض الأمثلة على نماذج التأسيس؟
تشهد نماذج التأسيس زيادة في العدد والحجم في السوق بوتيرة سريعة. هناك الآن العشرات من النماذج المتاحة. فيما يلي قائمة بنماذج التأسيس البارزة الصادرة منذ عام 2018.
BERT
صدر نموذج "تمثيلات التشفير ثنائية الاتجاه من المحولات" (BERT) في عام 2018، وكان واحدًا من نماذج التأسيس الأولى. BERT هو نموذج ثنائي الاتجاه يحلل سياق تسلسل كامل ثم يطرح التنبؤات. دُرِّب هذا النموذج على مجموعة من النصوص العادية وويكيبيديا باستخدام 3,3 مليارات من الرموز المميزة (الكلمات) و340 مليون مَعْلمة. يمكن لنموذج BERT الإجابة عن الأسئلة والتنبؤ بالجمل وترجمة النصوص.
GPT
طورت OpenAI نموذج المحول المولّد المدرب مسبقًا (GPT) في عام 2018. وهو يستخدم وحدة فك ترميز محولات مكونة من 12 طبقة مزودة بآلية الانتباه الذاتي. وقد دُرِّب النموذج على مجموعة بيانات BookCorpus، التي تحتوي على أكثر من 11 ألف رواية مجانية. من ضمن الميزات البارزة لـ GPT-1 هي القدرة على التعلم بدون معرفة مسبقة.
صدر GPT-2 في عام 2019. دربت OpenAI هذا النموذج باستخدام 1,5 مليار مَعْلمة (مقارنة بـ 117 مليون مَعْلمة مستخدمة في GPT-1). يحتوي GPT-3 على شبكة عصبونية من 96 طبقة و175 مليار مَعْلمة، ويتدرب باستخدام مجموعة بيانات Common Crawl المكونة من 500 مليار كلمة. يعتمد روبوت الدردشة ChatGPT الشهير على النموذج GPT-3.5. وأُطلق أحدث إصدار من GPT-4 في أواخر عام 2022 واجتاز بنجاح امتحان المحاماة الموحد بنتيجة 297 (76%).
Amazon Titan
خضعت نماذج تأسيس Amazon Titan لتدريب مسبق على مجموعات بيانات كبيرة، ما يجعلها نماذج قوية للأغراض العامة. ويمكن استخدامها كما هي أو تخصيصها بشكل خاص باستخدام البيانات الخاصة بالشركة لمهمة معينة بدون إضافة تعليقات توضيحية لكميات كبيرة من البيانات. في البداية، سيقدم Titan نموذجين. الأول هو نموذج لغة كبير مولّد لمهام مثل التلخيص وإنشاء النصوص والتصنيف والأسئلة والأجوبة المفتوحة واستخراج المعلومات. والثاني هو نموذج لغة كبير تضميني يترجم مدخلات النصوص، بما في ذلك الكلمات والعبارات والوحدات الكبيرة من النص، إلى تمثيلات رقمية (تُعرف باسم التضمينات) تحوي المعنى الدلالي للنص. على الرغم من أن نموذج اللغة الكبير هذا لن ينشيء نصًا، فإنه مفيد لتطبيقات مثل التخصيص والبحث، لأنه من خلال مقارنة التضمينات سينتج النموذج استجابات وثيقة الصلة وسياقية بشكل أكبر من مجرد مطابقة الكلمات. لمواصلة دعم أفضل الممارسات في الاستخدام المسؤول للذكاء الاصطناعي، صُممت نماذج تأسيس Titan لاكتشاف المحتوى الضار في البيانات وإزالته، ورفض المحتوى غير اللائق في مدخلات المستخدم، وتصفية مخرجات النماذج التي تحتوي على محتوى غير لائق، مثل خطاب الكراهية والألفاظ النابية والعنف.
AI21 Jurassic
صدر Jurassic-1 في عام 2021، وهو نموذج لغة قائم على الانحدار الذاتي مكون من 76 طبقة مع 178 مليار مَعْلمة. ينشئ Jurassic-1 نصوصًا شبيهة بالنصوص التي يصنعها الإنسان ويحل المهام المعقدة. وأداؤه مشابه لـ GPT-3.
في مارس 2023، أصدرت AI21 Labs النموذج Jurrassic-2 الذي يتمتع بقدرات محسنة في اللغة واتباع التعليمات.
Claude
Claude 3.5 Sonnet
يُظهر النموذج Claude 3.5 Sonnet الأكثر ذكاءً وتقدمًا من Anthropic إمكاناتٍ استثنائيةً في مجموعة متنوعة من المهام والتقييمات وفي الوقت نفسه يتفوق أيضًا على Claude 3 Opus.
Claude 3 Opus
Opus هو نموذج ذكي للغاية يتسم بموثوقية الأداء في المهام المعقدة. يمكنه التعامل مع المطالبات المفتوحة والسيناريوهات غير المرئية بطلاقة ملحوظة وفهم يشبه الفهم البشري. استخدم Opus في أتمتة المهام، وتسريع البحث والتطوير في مجموعة متنوعة من حالات الاستخدام والقطاعات.
Claude 3 Haiku
Haiku هو نموذج Anthropic الأسرع والأكثر إحكاما للاستجابة شبه الفورية. Haiku هو الخيار الأفضل لبناء تجارب ذكاء اصطناعي سلسة تحاكي التفاعلات البشرية. يمكن للمؤسسات استخدام Haiku للإشراف على المحتوى وتحسين إدارة المخزون وإنتاج ترجمات سريعة ودقيقة وتلخيص البيانات غير المهيكلة والمزيد.
Cohere
صممت شركة Cohere اثنين من نماذج اللغة الكبيرة: أحدهما نموذج مولّد يتمتع بقدرات مماثلة لـ GPT-3 والآخر نموذج تمثيلي مخصص لفهم اللغات. في حين أن Cohere لديها 52 مليار مَعْلمة فحسب، فإنها تتفوق على GPT-3 في العديد من الجوانب.
Stable Diffusion
Stable Diffusion هو نموذج تحويل النص إلى صورة يمكنه إنشاء صور واقعية المنظر وعالية الدقة. وقد صدر في عام 2022 ويتضمن نموذج نشر يستخدم تقنيات التشويش وتقليل التشويش لتعلم كيفية إنشاء الصور.
هذا النموذج أصغر حجمًا من تقنيات الانتشار المنافسة، مثل DALL-E 2، ما يعني أنه لا يحتاج إلى بنية تحتية موسعة للحوسبة. يمكن تشغيل Stable Diffusion على بطاقة رسومات عادية أو حتى على هاتف ذكي من خلال منصة Snapdragon Gen2.
اقرأ المزيد عن Stable Diffusion »
BLOOM
BLOOM هو نموذج متعدد اللغات بهيكلة مشابهة لـ GPT-3. طُور في عام 2022 ضمن الجهود التعاونية التي ضمت أكثر من ألف عالم وفريق منصة Hugging Space. يتضمن النموذج 176 مليار مَعْلمة واستغرق التدريب ثلاثة أشهر ونصفًا باستخدام وحدات معالجة رسومات (GPU) من النوع 384 Nvidia A100. على الرغم من أن BLOOM Checkpoint تتطلب 330 جيجابايت من التخزين، فإنه يمكن تشغيلها على جهاز كمبيوتر شخصي مستقل مُزود بـ 16 جيجابايت من ذاكرة الوصول العشوائي. يمكن لـ BLOOM إنشاء نص بـ 46 لغة وكتابة التعليمات البرمجية بـ 13 لغة برمجة.
Hugging Face
Hugging Face هي عبارة عن منصة تقدم لك أدوات مفتوحة المصدر لإنشاء نماذج تعلم الآلة ونشرها. تُعد هذه المنصة مركزًا مجتمعيًا حيث يمكن للمطورين مشاركة النماذج ومجموعات البيانات واستكشافها. تتوفر العضوية المجانية للأفراد، ولكن توفر الاشتراكات المدفوعة مستويات أعلى من إمكانيات الوصول. لديك إمكانية وصول عام إلى ما يقرب من 200 ألف نموذج و30 ألف مجموعة بيانات.
ما التحديات المرتبطة بنماذج التأسيس؟
يمكن أن تستجيب نماذج التأسيس بشكل متسق للمطالبات المتعلقة بالموضوعات التي لم تتدرب عليها بشكل صريح. لكن لديها نقاط ضعف معينة. فيما يلي بعض التحديات التي تواجه نماذج التأسيس:
- متطلبات البنية التحتية. إن إنشاء نموذج تأسيس من الصفر أمر مكلف، ويتطلب موارد هائلة، وقد يستغرق التدريب شهورًا.
- تطوير الواجهة الأمامية. بالنسبة إلى التطبيقات العملية، يحتاج المطورون إلى دمج نماذج التأسيس في مجموعة برامج، بما في ذلك أدوات الهندسة السريعة والضبط الدقيق وهندسة المسارات.
- عدم الفهم. على الرغم من أن نماذج التأسيس يمكن أن تقدم إجابات صحيحة من حيث الطرح النحوي والواقعي، فإنها تواجه صعوبة في فهم سياق المطالبة. وهي ليست مدركة للجانب الاجتماعي أو النفسي.
- إجابات غير جديرة بالثقة. قد تكون الإجابات عن الأسئلة المتعلقة بموضوع معين غير جديرة بالثقة وأحيانًا غير ملائمة أو سلبية أو غير صحيحة.
- التحيز. التحيز هو احتمال واضح حيث يمكن للنماذج اكتشاف خطاب الكراهية والنبرة غير اللائقة من مجموعات بيانات التدريب. لتجنب ذلك، يجب على المطورين تصفية بيانات التدريب بعناية وترميز معايير محددة في نماذجهم.
كيف يمكن أن تساعدك AWS؟
تُعد Amazon Bedrock أسهل طريقة لإنشاء تطبيقات الذكاء الاصطناعي المولّد وتوسيع نطاقها باستخدام نماذج التأسيس. Amazon Bedrock هي خدمة مُدارة بالكامل تجعل نماذج التأسيس المقدمة من Amazon والشركات الناشئة الرائدة في مجال الذكاء الاصطناعي متاحة من خلال واجهة برمجة تطبيقات (API)، بحيث يمكنك الاختيار من بين العديد من نماذج التأسيس للعثور على النموذج الأنسب لحالة استخدامك. باستخدام Bedrock، يمكنك تسريع تطوير تطبيقات الذكاء الاصطناعي المولّد القابلة للتوسع والجديرة بالثقة والآمنة ونشرها بدون إدارة البنية التحتية.
يوفر Amazon SageMaker JumpStart، وهو مركز تعلم آلة يقدم النماذج والخوارزميات والحلول، إمكانية الوصول إلى مئات من نماذج التأسيس، بما في ذلك نماذج التأسيس الأفضل أداءً المتاحة للجمهور. تستمر إضافة نماذج تأسيس جديدة، بما في ذلك Llama 2، وFalcon، وStable Diffusion XL 1.0.
