ما هو ETL (الاستخراج والتحويل والتحميل)؟

لدى المنظمات اليوم بيانات مهيكلة وأخرى غير مهيكلة من مصادر مختلفة، بما فيها:

• بيانات العملاء من أنظمة الدفع عبر الإنترنت وإدارة علاقات العملاء (CRM)
• بيانات الجرد وبيانات العمليات من أنظمة البائعين
• بيانات الاستشعار من أجهزة إنترنت الأشياء (IoT)
• بيانات التسويق من وسائل التواصل الاجتماعي وتعليقات العملاء
• بيانات الموظفين من أنظمة الموارد البشرية الداخلية

بتطبيق عملية الاستخراج، والانتقال، والتحميل (ETL)، يمكن إعداد مجموعات بيانات أولية فردية بتنسيق وبنية أكثر قابلية للاستخدام لأغراض التحليلات، ما يؤدي إلى رؤى أكثر وضوحًا وفائدة. على سبيل المثال، يمكن لتجار التجزئة عبر الإنترنت تحليل البيانات الواردة من نقاط البيع لأغراض توقع الطلب وإدارة المخزون. يمكن لفرق التسويق دمج بيانات إدارة علاقات العملاء (CRM) مع ملحوظات العملاء على وسائل التواصل الاجتماعي لدراسة سلوك المستهلك.

نشأت عملية الاستخراج، والانتقال، والتحميل (ETL) مع ظهور قواعد البيانات العلائقية التي تخزِّن البيانات في شكل جداول للتحليل. حاولت أدوات الاستخراج، والانتقال، والتحميل (ETL) في بادئ الأمر تحويل البيانات من تنسيقات بيانات المعاملات إلى تنسيقات البيانات العلائقية من أجل تحليلها.

عملية الاستخراج، والانتقال، والتحميل (ETL) التقليدية

بشكل أساسي، كانت البيانات الأولية تُخزن في قواعد بيانات المعاملات التي تدعم العديد من طلبات القراءة والكتابة، ولكن ذلك لم ينسجم جيدًا مع التحليلات. يمكنك التفكير في الأمر باعتباره صفًا في جدول بيانات. على سبيل المثال، في نظام التجارة الإلكترونية خزَّنت قاعدة بيانات المعاملات العنصر الذي تم شراؤه وتفاصيل العميل وتفاصيل الطلب في معاملة واحدة. وعلى مدار العام، احتوت قاعدة بيانات المعاملات على قائمة طويلة من المعاملات تشمل إدخالات متكررة للعميل نفسه الذي اشترى عناصر متعددة خلال العام. ونظرًا لتكرار البيانات، أصبح من الصعب تحليل العناصر الأكثر شيوعًا أو اتجاهات الشراء في ذلك العام.

للتغلب على هذه المشكلة، حوَّلت أدوات الاستخراج، والانتقال، والتحميل (ETL) تلقائيًا بيانات المعاملات هذه إلى بيانات علائقية باستخدام جداول مترابطة. يمكن للمحللين استخدام الاستعلامات لتحديد العلاقات بين الجداول، بالإضافة إلى الأنماط والاتجاهات.

عملية الاستخراج، والانتقال، والتحميل (ETL) العصرية

مع تطور تقنية الاستخراج، والانتقال، والتحميل (ETL)، زادت كلاً من أنواع البيانات ومصادر البيانات أضعافًا مضاعفة. جاءت تكنولوجيا السحابة لإنشاء قواعد بيانات ضخمة (تسمى أيضًا أحواض البيانات). يمكن أن تستقبل أحواض البيانات هذه البيانات من مصادر متعددة، ولها موارد أساسية من الأجهزة يمكن توسعتها بمرور الوقت. أصبحت أدوات الاستخراج، والانتقال، والتحميل (ETL) أيضًا أكثر تعقيدًا، ويمكنها العمل مع أحواض البيانات الحديثة. يمكنها تحويل البيانات من تنسيقات البيانات القديمة إلى تنسيقات بيانات حديثة. فيما يلي أمثلة على قواعد البيانات الحديثة.

مستودعات البيانات

مستودع البيانات هو مستودع مركزي يمكنه تخزين قواعد بيانات متعددة. داخل كل قاعدة بيانات، يمكنك تنظيم بياناتك في جداول وأعمدة تصف أنواع البيانات الموجودة في الجدول. يعمل برنامج مستودع البيانات مع أنواع متعددة من أجهزة التخزين—مثل محركات الأقراص ذات الحالة الصلبة (SSD) ومحركات الأقراص الثابتة ووحدات التخزين السحابية الأخرى—لتحسين معالجة بياناتك.

مخازن البيانات

باستخدام مخزن البيانات، يمكنك تخزين بياناتك المهيكلة وغير المهيكلة في مستودع مركزي واحد وبأي نطاق. يمكنك تخزين البيانات كما هي بدون الحاجة إلى هيكلتها أولاً بناءً على الأسئلة التي قد تطرحها مستقبلاً. تتيح لك أيضًا مخازن البيانات تشغيل أنواع مختلفة من التحليلات لبياناتك، مثل استعلامات SQL وتحليلات البيانات الكبيرة والبحث بنص كامل والتحليلات في الوقت الفعلي وتعلّم الآلة في التوصل إلى قرارات أفضل.

في استخراج البيانات، تستخرج أدوات الاستخراج، والانتقال، والتحميل (ETL) البيانات الأولية من مصادر متعددة أو تنسخها وتخزِّنها في منطقة التشغيل المرحلي. منطقة التشغيل المرحلي (أو منطقة الأساس) هي منطقة تخزين وسيطة لتخزين البيانات المستخرجة مؤقتًا. غالبًا ما تكون مناطق التشغيل المرحلي للبيانات عابرة، ما يعني أن محتوياتها تُمحى بعد إتمام استخراج البيانات. ومع ذلك، قد تحتفظ منطقة التشغيل المرحلي أيضًا بأرشيف للبيانات لأغراض استكشاف الأخطاء وإصلاحها.

يعتمد عدد المرات التي يرسل فيها النظام البيانات من مصدر البيانات إلى مخزن البيانات الهدف على آلية الالتقاط الأساسية لبيانات التغيير. عادةً ما يحدث استخراج البيانات بإحدى الطرق الثلاث التالية.

إشعار التحديث

في إشعار التحديث، يخطرك النظام المصدر عندما يطرأ تغيير على سجل البيانات. يمكنك بعد ذلك تشغيل عملية الاستخراج لهذا التغيير. توفر معظم قواعد البيانات وتطبيقات الويب آليات تحديث لدعم هذه الطريقة لتكامل البيانات.

الاستخراج التزايدي

لا يمكن لبعض مصادر البيانات توفير إشعارات التحديث، ولكن يمكنها تحديد البيانات التي تم تعديلها خلال فترة زمنية معينة واستخراجها. في هذه الحالة، يتحقق النظام من التغييرات على فترات زمنية دورية، على سبيل المثال مرة في الأسبوع أو مرة في الشهر أو في نهاية الحملة. كل ما تحتاج إليه هو استخراج البيانات التي تغيرت.

الاستخراج الكامل

لا يمكن لبعض الأنظمة تحديد تغييرات البيانات أو إعطاء إشعارات، لذا تصبح إعادة تحميل جميع البيانات هي الخيار الوحيد. تتطلب طريقة الاستخراج هذه منك الاحتفاظ بنسخة من آخر مستخرج للتعرف على السجلات الجديدة. نظرًا إلى أن هذا الأسلوب يتضمن نقل بيانات بأحجام كبيرة، نوصي باستخدامه للجداول الصغيرة فقط.

في تحميل البيانات، تنقل أدوات الاستخراج، والانتقال، والتحميل (ETL) البيانات المحوَّلة من منطقة التشغيل المرحلي إلى مستودع البيانات الهدف. بالنسبة لمعظم المؤسسات التي تستخدم ETL، تكون العملية مؤتمتة ومحددة جيدًا ومستمرة ومدفوعة بالحزَم. تُتَّبع طريقتان لتحميل البيانات.

تحميل كامل

في حالة التحميل الكامل، تُحوَّل البيانات بالكامل من المصدر وتُنقَل إلى مستودع البيانات. عادةً ما يتم التحميل الكامل في المرة الأولى التي تحمِّل فيها البيانات من نظام مصدر إلى مستودع البيانات.

تحميل تزايدي 

في التحميل التزايدي، تحمِّل أداة ETL دلتا (أو الفرق) بين الأنظمة الهدف والأنظمة المصدر على فترات منتظمة. تخزِّن تاريخ الاستخراج الأخير بحيث تُحمَّل السجلات المضافة بعد هذا التاريخ فقط. توجد طريقتان لتنفيذ التحميل التزايدي.

دفق الحمل التزايدي

إذا كانت لديك أحجام بيانات صغيرة، يمكنك دفق التغييرات المستمرة عبر خطوط أنابيب البيانات إلى مستودع البيانات الهدف. عندما تزداد سرعة البيانات إلى ملايين الأحداث في الثانية، يمكنك استخدام معالجة دفق الأحداث لمراقبة عمليات تدفق البيانات ومعالجتها لاتخاذ القرارات في الوقت المناسب.

التحميل التزايدي للحزَم

إذا كانت لديك أحجام بيانات كبيرة، يمكنك تجميع التغييرات في بيانات التحميل في شكل حزَم دوريًا. في أثناء هذه الفترة الزمنية المحددة، لا يمكن أن تحدث أي إجراءات للنظام المصدر أو الهدف، حيث تتم مزامنة البيانات.

تستخدم المحاكاة الافتراضية للبيانات طبقة تجريد في البرنامج لإنشاء عرض متكامل للبيانات بدون استخراج البيانات أو تحويلها أو تحميلها فعليًا. تستخدم المؤسسات هذه الوظيفة كمستودع افتراضي وموحد للبيانات تفاديًا للكلفة والتعقيد التي يتسم بهما بناء منصات منفصلة للمصدر والهدف وإدارتها. في حين أنه يمكنك استخدام المحاكاة الافتراضية للبيانات جنبًا إلى جنب مع الاستخراج، والانتقال، والتحميل (ETL)، يُنظر إليها بشكل متزايد على أنها بديل لـ ETL وللطرق المادية الأخرى لتكامل البيانات. على سبيل المثال، يمكنك استخدام AWS Glue Elastic Views لإنشاء جدول افتراضي بسرعة—عرض متحقق—من مخازن بيانات متعددة ومختلفة المصادر.