ما المقصود بـ Zero ETL؟
Zero-ETL عبارة عن مجموعة من عمليات التكامل التي تلغي أو تقلل من الحاجة إلى إنشاء مسارات بيانات ETL. الاستخراج والانتقال، والتحميل (ETL) هي عملية تكامل البيانات وتنظيفها وتطبيعها من مصادر مختلفة لتجهيزها للتحليلات والذكاء الاصطناعي (AI) وأعباء تعلّم الآلة (ML). تستغرق عمليات ETL التقليدية وقتًا طويلاً وهي عمليات معقدة في التطوير والصيانة والتحجيم. بدلاً من ذلك، تعمل عمليات تكامل Zero-ETL على تسهيل حركة البيانات من نقطة إلى نقطة دون الحاجة إلى إنشاء مسارات بيانات ETL. يمكن لـ Zero-ETL أيضًا تمكين الاستعلام عبر مجموعة البيانات المنعزلة دون الحاجة إلى تحريك البيانات.
ما هي تحديات ETL التي يحلها تكامل zero-ETL؟
تعمل عمليات تكامل zero-ETL على حل العديد من تحديات حركة البيانات الحالية في عمليات ETL التقليدية.
زيادة تعقيد النظام
تضيف مسارات بيانات ETL طبقة إضافية من التعقيد لجهود تكامل البيانات الخاصة بك. يتضمن تعيين البيانات لتتناسب مع المخطط المستهدف المطلوب قواعد معقدة لرسم خرائط البيانات، ويتطلب معالجة عدم تناسق البيانات والتعارضات. يجب عليك تنفيذ آليات فعالة لمعالجة الأخطاء والتسجيل والإخطار لتشخيص المشكلات. تزيد متطلبات أمان البيانات من القيود المفروضة على النظام.
التكاليف الإضافية
تعتبر مسارات ETL باهظة الثمن في البداية، ولكن يمكن أن تتصاعد التكاليف مع نمو حجم البيانات. قد لا يكون تخزين البيانات المكررة بين الأنظمة في متناول كميات كبيرة من البيانات. بالإضافة إلى ذلك، غالبًا ما يتطلب توسيع نطاق عمليات ETL ترقيات مكلفة للبنية التحتية وتحسين أداء الاستعلام وتقنيات المعالجة المتوازية. في حالة تغيير المتطلبات، يتعين على هندسة البيانات مراقبة المسار واختباره باستمرار أثناء عملية التحديث، مما يزيد من تكاليف الصيانة.
تأخر الوقت المخصص للتحليلات والذكاء الاصطناعي وتعلم الآلة
تتطلب ETL عادةً من مهندسي البيانات إنشاء تعليمات برمجية مخصصة، بالإضافة إلى مهندسي DevOps لنشر وإدارة البنية التحتية المطلوبة لتوسيع نطاق عبء العمل. في حالة إجراء تغييرات على مصادر البيانات، يتعين على مهندسي البيانات تعديل التعليمات البرمجية يدويًا ونشرها مرة أخرى. يمكن أن تستغرق العملية أسابيع - مما يتسبب في تأخيرات في تشغيل التحليلات والذكاء الاصطناعي وأعباء عمل تعلم الآلة. علاوة على ذلك، فإن الوقت اللازم لإنشاء مسارات بيانات ETL ونشرها يجعل البيانات غير مناسبة لحالات الاستخدام في الوقت الفعلي تقريبًا مثل وضع الإعلانات عبر الإنترنت أو اكتشاف المعاملات الاحتيالية أو تحليل سلسلة التوريد في الوقت الفعلي. في هذه السيناريوهات، يتم فقدان فرصة تحسين تجارب العملاء أو معالجة فرص عمل جديدة أو تقليل مخاطر الأعمال.
ما هي فوائد zero-ETL؟
تقدم Zero-ETL العديد من الفوائد لاستراتيجية بيانات المؤسسة.
زيادة المرونة
يعمل Zero-ETL على تبسيط بنية البيانات وتقليل جهود هندسة البيانات. يسمح بإدراج مصادر بيانات جديدة دون الحاجة إلى إعادة معالجة كميات كبيرة من البيانات. تعمل هذه المرونة على تعزيز السرعة ودعم صنع القرار المستند إلى البيانات والابتكار السريع.
التكلفة الميسورة
تستخدم Zero-ETL تقنيات تكامل البيانات المبنية بالسحابة والقابلة للتطوير، مما يسمح للشركات بتحسين التكاليف بناءً على الاستخدام الفعلي واحتياجات معالجة البيانات. تعمل المؤسسات على تقليل تكاليف البنية التحتية وجهود التطوير ونفقات الصيانة العامة.
الرؤى في الوقت الفعلي
غالبًا ما تتضمن عمليات ETL التقليدية تحديثات تصحيح دورية، مما يؤدي إلى تأخر توافر البيانات. من ناحية أخرى، توفر Zero-ETL الوصول إلى البيانات في الوقت الفعلي أو شبه الفعلي، مما يضمن بيانات أحدث للتحليلات والذكاء الاصطناعي/تعلم الآلة وإعداد التقارير. يمكنك الحصول على رؤى أكثر دقة وفي الوقت المناسب لحالات الاستخدام مثل لوحات المعلومات في الوقت الفعلي وتجربة الألعاب المحسّنة ومراقبة جودة البيانات وتحليل سلوك العملاء. تقوم المؤسسات بعمل تنبؤات تعتمد على البيانات بمزيد من الثقة، وتحسن تجارب العملاء، وتعزز الرؤى القائمة على البيانات عبر الأعمال.
ما هي حالات الاستخدام المختلفة لـ zero-ETL؟
هناك ثلاث حالات استخدام رئيسية لـ zero-ETL.
الاستعلام الموحد
توفر تقنيات الاستعلام الموحدة القدرة على الاستعلام عن مجموعة متنوعة من مصادر البيانات دون الحاجة إلى القلق بشأن حركة البيانات. يمكنك استخدام أوامر SQL المألوفة لتشغيل الاستعلامات وضم البيانات عبر العديد من المصادر مثل قواعد البيانات التشغيلية ومستودعات البيانات ومخزن البيانات. تقوم In-Memory Data Grids (IMDG) بتخزين البيانات في الذاكرة ليتم تخزينها مؤقتًا ومعالجتها، حتى تتمكن من جني فوائد التحليل الفوري وأوقات استجابة الاستعلام. يمكنك بعد ذلك تخزين نتائج الانضمام في مخزن البيانات لمزيد من التحليل والاستخدام اللاحق.
استيعاب التدفق
منصات تدفق البيانات وقوائم انتظار الرسائل تعمل على بث البيانات في الوقت الفعلي من عدة مصادر. يتيح لك تكامل zero-ETL مع مستودع البيانات استيعاب البيانات من العديد من هذه التدفقات وتقديمها للتحليلات على الفور تقريبًا. لا يوجد أي شرط لتنظيم بيانات التدفق للتحويل على أي خدمة تخزين أخرى.
النسخ الفوري
عادة يتطلب نقل البيانات من قاعدة بيانات المعاملات إلى مستودع بيانات مركزي حل ETL معقدًا. في هذه الأيام، يمكن لـ zero-ETL العمل كأداة لتكرار البيانات، حيث تقوم على الفور بتكرار البيانات من قاعدة بيانات المعاملات إلى مستودع البيانات. تستخدم آلية التكرار تقنيات التقاط بيانات التغيير (CDC) ويمكن دمجها في مستودع البيانات. التكرار غير مرئي للمستخدمين - تقوم التطبيقات بتخزين البيانات في قاعدة بيانات المعاملات ويستفسر المحللون عن البيانات من المستودع بسلاسة.
كيف يمكن لـ AWS دعم جهود Zero-ETL الخاصة بك؟
تستثمر AWS في مستقبل zero-ETL. فيما يلي أمثلة للخدمات التي تقدم دعمًا مدمجًا لـ zero-ETL.
Amazon Athena هي خدمة تحليلات تفاعلية بدون خادم مبنية على أطر مفتوحة المصدر، وتدعم تنسيقات الجداول المفتوحة والملفات. توفر Athena طريقة مبسطة ومرنة لتحليل بيانات بالبيتابايت في مكان وجودها. يمكنك تحليل البيانات أو إنشاء تطبيقات من مخزن بيانات خدمة التخزين البسيطة في Amazon (S3) و30 مصدرًا للبيانات، بما في ذلك مصادر البيانات المحلية أو الأنظمة السحابية الأخرى، باستخدام SQL أو Python. تم تصميم Athena على محركات Trino وPresto المفتوحة المصدر وأطر عمل Apache Spark، بدون بذل جهود التوفير أو تكوين.
تستوعب خدمة استيعاب تدفق Amazon Redshift مئات الميجابايت من البيانات في الثانية من تدفق بيانات Amazon Kinesis أو Amazon MSK. حدد مخططًا أو اختر استيعاب البيانات شبه المهيكلة بنوع بيانات SUPER للاستعلام عن البيانات في الوقت الفعلي.
يتيح تكامل Amazon Aurora zero-ETL مع Amazon Redshift التحليلات في الوقت الفعلي تقريبًا وتعلم الآلة (ML). تستخدم Amazon Redshift لأعباء عمل التحليلات على بيانات المعاملات من Aurora والتي يصل حجمها إلى عدد من البيتابايت. إنه حل مُدار بالكامل لإتاحة بيانات المعاملات في Amazon Redshift بعد حفظها في كتلة Aurora DB.
يعمل النسخ التلقائي لـ Amazon Redshift من S3 على تبسيط عملية استيعاب الملفات وأتمتتها في Amazon Redshift. تستوعب هذه الإمكانية البيانات باستمرار بمجرد إنشاء ملفات جديدة في S3 بدون تشفير مخصص أو أنشطة استيعاب يدوية.
يقوم التحكم في الوصول إلى مشاركة البيانات مع AWS Lake Formation بإدارة الوصول الدقيق إلى البيانات المشتركة عبر مؤسستك بشكل مركزي. يمكنك تحديد الأذونات وتعديلها وتدقيقها على الجداول والأعمدة والصفوف داخل Amazon Redshift.
بدء استخدام zero ETL على AWS من خلال إنشاء حساب مجاني اليوم!
الخطوات التالية على AWS
