ما هي البيانات الضخمة ؟
البيانات الضخمة هي بيانات لها حجم كبير جدا و يزداد حجمها بشكل تصاعدي مع الوقت.
البيانات الضخمة ذات حجم كبير و معقدة بحيث لا تستطيع أنظمة تخزين ومعالجة البيانات التقليدية التعامل معها.
أمثلة على البيانات الضخمة:
– بيانات أسواق الأوراق المالية و الأسهم
مثال: سوق الأوراق في نيويورك ينتج تيرابايت واحد كل يوم
- بيانات التواصل الاجتماعي
مثال: فيسبوك تنتج 500 تيرابايت بشكل يومي
- بيانات انترنت الأشياء والمدن الذكية
اذا نحن نتكلم عن أحجام بيتابايت فما فوق.
أنواع البيانات الضخمة:
1- بيانات منظمة (structured)
2- بيانات غير منظمة (unstructured)
3- بيانات منظمة جزئيا (semi-structured)
البيانات المنظمة (structured):
هي البيانات التي لديها نمط وهيكل واضح لشكل البيانات و طريقة تنظيمها. وبالتالي معروف مسبقا كيفية قرائتها أو اضافة بيانات جديدةعليها.
مثال: قواعد البيانات مثل MySQL
البيانات الغير منظمة (unstructured):
عكس البيانات المنظمة، هي البيانات التي ليس لديها نمط أو هيكل معروف وواضح لشكل البيانات و طريقة تنظيمها. وبالتالي من الصعبتحليلها وقرائتها
مثال: صور وملفات مرئية و ملفات نصية….
البيانات المنظمة جزئياً (semi-structured):
هي تعتبر بيانات منظمة الى حد ما ولكن لم يتم تعريفها
مثال: ملفات ال XML تعتبر ملفات تحتوي على بيانات بشكل منظم ولكن لا يوجد تعريف لطريقة تنظيم البيانات في داخل الملف
خصائص البيانات الضخمة:
1- الحجم (volume)
2- التنوع (veriety)
3- السرعة (velocity)
4- التغير (variability)
هذه الخصائص تفدينا لتصنيف البيانات التي لدينا على أنها ضخمة أم عادية
تنوع البيانات:
البيانات الضخمة تعتبر متنوعة (منظمة وغير منظمة) و تأتي من العديد من المصادر و بشتى الاشكال و بتعريفات مختلفة.
تخيل أن تكون البيانات هي عبارة عن صور و ملفات مرئية و ملفات نصية و ملفات log و ملفات pdf و اكسيل و powerpoint و أيضاقواعد بيانات SQL و NoSQL
سرعة البيانات:
مصطلح سرعة البيانات يعود الى سرعة انتاج البيانات. مثال: 500 تيرابايت في اليوم.
البيانات الضخمة يجب أن تملك سرعة هائلة.
تغير البيانات:
معنى هذه الخاصية هو أن البيانات المتوقع ادخالها أو انتاجها متقلبة و غير ثابتة بين الحين والأخر. يعني أحيانا تكون ناقصة، و أحياناتكون فيها اضافات أكثر. وأحيانا نحصل على المطلوب
البيانات الضخمة تعتبر متغيرة
فوائد البيانات الضخمة؛
1- يتم استخدامها في الذكاء الاصطناعي و أتمتة الآلة لاستشراف المستقبل و المساعدة على اتخاذ القرارت
2- تحليل بيانات العملاء يساعد على خدمتهم بشكل أفضل
3- نستطيع عمل بحيرة بيانات (data lake) لتخزين البيانات في مكان معين و العودة اليها عند احتياجها.
