ظاهرة البيانات الضخمة
أجبر الانفجار الكمي للبيانات الرقمية الباحثين على إيجاد طرق جديدة لرؤية العالم وتحليله. يتعلق الأمر باكتشاف مستويات جديدة من الحجم في التقاط البيانات والعثور عليها ومشاركتها وتخزينها وتحليلها وتقديمها. وهكذا ولدت "البيانات الضخمة". إنه مفهوم لتخزين كمية لا توصف من المعلومات على أساس رقمي. وفقًا لأرشيفات المكتبة الرقمية لجمعية آلات الحوسبة (أو ACM) في المقالات العلمية حول التحديات التكنولوجية لتصور "مجموعات البيانات الكبيرة"، ظهر هذا الاسم في أكتوبر 1997.
ما هي البيانات الضخمة؟
ما هي البيانات الضخمة |
تشير البيانات الضخمة إلى مجموعات كبيرة ومتنوعة من المعلومات التي تنمو بمعدلات متزايدة باستمرار. وهي تشمل حجم المعلومات، والسرعة أو السرعة التي يتم إنشاؤها وتجميعها بها. غالبًا ما تأتي ال Big Data من التنقيب عن البيانات وتصل في تنسيقات متعددة. ببساطة إنها المعلومات من كل مكان: الرسائل التي نرسلها لبعضنا البعض، ومقاطع الفيديو التي ننشرها، ومعلومات الطقس، وإشارات GPS ، وسجلات معاملات التسوق عبر الإنترنت والمزيد. تسمى هذه البيانات البيانات الضخمة أو كميات هائلة من البيانات. عمالقة الويب، وفي مقدمتهم Yahoo (ولكن أيضًا Facebook و Google)، كانوا أول من نشر هذا النوع من التكنولوجيا.
معلومات رئيسية حول البيانات الضخمة:
- البيانات الضخمة هي كمية كبيرة من المعلومات المتنوعة التي تصل بأحجام متزايدة وبسرعة أعلى من أي وقت مضى.
- الحجم والتنوع والسرعة والتغير هي بعض خصائص البيانات الضخمة.
- خدمة العملاء المحسّنة، والكفاءة التشغيلية الأفضل، واتخاذ القرار الأفضل هي بعض مزايا ال Bigdata.
- يمكن تنظيم البيانات الضخمة (غالبًا ما تكون رقمية، ويسهل تنسيقها وتخزينها) أو غير منظمة (شكل أكثر حرية، وأقل قابلية للقياس الكمي). حيث يمكن أن تكون البيانات الضخمة 1) منظمة، 2) غير منظمة، 3) شبه منظمة.
- يمكن لكل قسم في الشركة تقريبًا الاستفادة من النتائج المستخلصة من تحليل البيانات الضخمة، ولكن التعامل مع الفوضى والضوضاء قد يؤدي إلى مشاكل.
- يمكن جمع ال Big Data من التعليقات التي تتم مشاركتها بشكل عام على الشبكات الاجتماعية ومواقع الويب، والمعلومات التي يتم جمعها طواعية من الأجهزة الإلكترونية والتطبيقات الشخصية، من خلال الاستبيانات، وشراء المنتجات، وعمليات تسجيل الوصول الإلكترونية... وغيرها من المصادر.
- غالبًا ما يتم تخزين ال Big Data في قواعد بيانات الكمبيوتر ويتم تحليلها باستخدام برنامج مصمم خصيصًا للتعامل مع مجموعات البيانات الكبيرة والمعقدة.
خصائص البيانات الضخمة
يمكن وصف البيانات الضخمة ببعض الخصائص التالية:
خصائص البيانات الضخمة |
- (1) الحجم: يرتبط اسم البيانات الضخمة بحد ذاته بحجم هائل. يلعب حجم البيانات دورًا مهمًا للغاية في تحديد قيمة البيانات. أيضًا، ما إذا كان يمكن اعتبار بيانات معينة بالفعل بيانات كبيرة أم لا، فهذا يعتمد على حجم البيانات. ومن ثم، فإن "الحجم" هو إحدى السمات التي يجب مراعاتها أثناء التعامل مع البيانات الضخمة.
- (2) التنوع: الجانب التالي للبيانات الضخمة هو تنوعها. يشير التنوع إلى مصادر غير متجانسة وطبيعة البيانات، سواء كانت منظمة أو غير منظمة. خلال السنوات السابقة، كانت جداول البيانات وقواعد البيانات هي المصادر الوحيدة للبيانات التي تعتمدها معظم التطبيقات. في الوقت الحاضر، يتم أيضًا مراعاة البيانات في شكل رسائل بريد إلكتروني وصور ومقاطع فيديو وأجهزة مراقبة وملفات PDF والصوت وما إلى ذلك في تطبيقات التحليل. يطرح هذا التنوع من البيانات غير المهيكلة بعض المشكلات المتعلقة بالتخزين والتعدين وتحليل البيانات.
- (3) السرعة: يشير مصطلح "السرعة" إلى سرعة توليد البيانات. مدى سرعة إنشاء البيانات ومعالجتها لتلبية المتطلبات، يحدد الإمكانات الحقيقية في البيانات. تتعامل سرعة البيانات الكبيرة مع السرعة التي تتدفق بها البيانات من مصادر مثل العمليات التجارية، وسجلات التطبيقات، والشبكات، ومواقع الوسائط الاجتماعية، وأجهزة الاستشعار، والأجهزة المحمولة، وما إلى ذلك. تدفق البيانات هائل ومستمر.
- (4) الموثوقية: الحقيقة هي حول موثوقية ومصداقية المعلومات التي تم جمعها. نظرًا لأن البيانات الضخمة تجعل من الممكن جمع عدد غير محدد والعديد من أشكال البيانات، فمن الصعب تبرير صحة المحتوى، إذا أخذنا في الاعتبار منشورات Twitter التي تحتوي على اختصارات ولغة عامية وعلامات الهاشتاغ والأخطاء الإملائية وما إلى ذلك. ومع ذلك، فإن عباقرة الكمبيوتر يطورون تقنيات جديدة من شأنها أن تسهل إدارة هذا النوع من البيانات، وخاصة بواسطة W3C.
- (5) القيمة: يتوافق مفهوم القيمة مع الربح الذي يمكن الحصول عليه من استخدام ال Big Data. وهناك الكثير من الشركات التي بدأت في الحصول على فوائد لا تصدق من بياناتها الضخمة. وفقًا للمديرين والاقتصاديين، فإن الشركات غير الجادة بشأن البيانات الضخمة قد تتراجع مكانتها السوقية. نظرًا لوجود الأداة، فإن عدم استخدامها سيفقد امتيازًا تنافسيًا.
- (6) التقلب: يشير هذا إلى عدم الاتساق الذي يمكن أن تظهره البيانات في بعض الأحيان، مما يعيق عملية القدرة على التعامل مع البيانات وإدارتها بفعالية.
كيف تعمل البيانات الضخمة
كيف تعمل البيانات الضخمة |
يمكن تصنيف البيانات الضخمة على أنها غير منظمة أو منظمة. تتكون البيانات المهيكلة من المعلومات التي تديرها المنظمة بالفعل في قواعد البيانات وجداول البيانات؛ غالبًا ما تكون رقمية بطبيعتها. البيانات غير المهيكلة هي معلومات غير منظمة ولا تندرج في نموذج أو تنسيق محدد مسبقًا.
تمنح البيانات الضخمة رؤى جديدة تفتح فرصًا ونماذج أعمال جديدة. للإستفادة منا يجب القيام ب ثلاثة إجراءات رئيسية:
- (1) دمج: تجمع البيانات الضخمة البيانات من العديد من المصادر والتطبيقات المتباينة على شكل مثلا التعليقات التي تتم مشاركتها بشكل عام على الشبكات الاجتماعية ومواقع الويب، والتي يتم جمعها طواعية من الأجهزة الإلكترونية والتطبيقات الشخصية، من خلال الاستبيانات، وشراء المنتجات، وعمليات تسجيل الوصول الإلكترونية. يسمح وجود المستشعرات والمدخلات الأخرى في الأجهزة الذكية بجمع البيانات عبر مجموعة واسعة من المواقف والظروف.
- (2) إدارة وتخزين: غالبًا ما يتم تخزين ال Big Data في قواعد بيانات الكمبيوتر ويتم تحليلها باستخدام برنامج مصمم خصيصًا للتعامل مع مجموعات البيانات الكبيرة والمعقدة. تتخصص العديد من شركات البرمجيات كخدمة (SaaS) في إدارة هذا النوع من البيانات المعقدة.
- (3) تحليل: يؤتي الإستثمار في البيانات الضخمة ثماره عند تحليل البيانات والتصرف بناءً عليها. حيث يتم الحصول على وضوح جديد من خلال التحليل المرئي لمجموعات البيانات المتنوعة.
أهمية / فوائد / استخدامات البيانات الضخمة
يبحث محللو البيانات في العلاقة بين أنواع مختلفة من البيانات، مثل البيانات الديموغرافية وسجل الشراء، لتحديد ما إذا كان هناك ارتباط أم لا. قد يتم إجراء مثل هذه التقييمات داخليًا أو خارجيًا بواسطة جهة خارجية تركز على معالجة البيانات الضخمة في تنسيقات قابلة للفهم. غالبًا ما تستخدم الشركات تقييم البيانات الضخمة من قبل هؤلاء الخبراء لتحويلها إلى معلومات قابلة للتنفيذ.
تتيح البيانات الضخمة الحصول على إجابات أكثر اكتمالاً لأن هناك المزيد من المعلومات. تعني الإجابات الأكثر اكتمالاً مزيدًا من الثقة في البيانات - مما يعني اتباع نهج مختلف تمامًا لمعالجة المشكلات. يمكن أن تساعد البيانات الضخمة في معالجة مجموعة من الأنشطة التجارية، من تجربة العملاء إلى التحليلات:
- تطوير المنتج: تستخدم شركات مثل Netflix و Procter & Gamble البيانات الضخمة لتوقع طلب العملاء. إنهم يبنون نماذج تنبؤية للمنتجات والخدمات الجديدة من خلال تصنيف السمات الرئيسية للمنتجات أو الخدمات السابقة والحالية ونمذجة العلاقة بين تلك السمات والنجاح التجاري للعروض. بالإضافة إلى ذلك، تستخدم شركة بروكتر آند جامبل (P&G) البيانات والتحليلات من مجموعات التركيز، ووسائل التواصل الاجتماعي، والأسواق التجريبية، وطرح المتاجر في وقت مبكر لتخطيط منتجات جديدة وإنتاجها وإطلاقها. تستخدم العديد من الشركات، مثل Alphabet و فيسبوك، البيانات الضخمة لتوليد إيرادات الإعلانات عن طريق وضع إعلانات مستهدفة للمستخدمين على وسائل التواصل الاجتماعي وأولئك الذين يتصفحون الويب. يمكن لكل قسم في الشركة تقريبًا الاستفادة من النتائج من تحليل البيانات، من الموارد البشرية والتكنولوجيا إلى التسويق والمبيعات. الهدف من ال Big Data هو زيادة السرعة التي تصل بها المنتجات إلى السوق، وتقليل مقدار الوقت والموارد المطلوبة لاكتساب اعتماد السوق، والجماهير المستهدفة، وضمان بقاء العملاء راضين.
- تجربة المستخدم: أصبح الحصول على رؤية أوضح لتجربة العملاء ممكنًا الآن أكثر من أي وقت مضى. تمكّن البيانات الضخمة من جمع البيانات من وسائل التواصل الاجتماعي وزيارات الويب وسجلات المكالمات والمصادر الأخرى لتحسين تجربة التفاعل وتعظيم القيمة المقدمة، حيث يمكن تقديم عروض مخصصة والتقليل من اضطراب العملاء، والتعامل مع المشكلات بشكل استباقي.
- التعلم الألي: يعد التعلم الآلي (الذكاء الإصطناعي) موضوعًا ساخنًا في الوقت الحالي. والبيانات - على وجه التحديد البيانات الضخمة - هي أحد أسباب ذلك. نحن الآن قادرون على تعليم الآلات بدلاً من برمجتها. إن توفر البيانات الضخمة لتدريب نماذج التعلم الآلي يجعل ذلك ممكنًا.
- دفع الابتكار: يمكن أن تساعد ال Big Data على الابتكار من خلال دراسة الترابط بين البشر والمؤسسات والكيانات... ثم تحديد طرق جديدة لاستخدام تلك الأفكار. يمكن أيضا إستخدام البيانات الضخمة لتحسين القرارات المتعلقة بالاعتبارات المالية والتخطيطية، وأيضا لفحص الاتجاهات وما يريده العملاء لتقديم منتجات وخدمات جديدة. ولتطبيق التسعير الديناميكي. هناك احتمالات لا حصر لها.
تحديات / عيوب البيانات الضخمة
تمثل الزيادة في كمية البيانات المتاحة فرصًا ومشكلات ومخاطر على حد سواء. أولاً، البيانات الضخمة… كبيرة. على الرغم من تطوير تقنيات جديدة لتخزين البيانات، تتضاعف أحجام البيانات كل عامين تقريبًا. لا تزال المنظمات تكافح لمواكبة بياناتها وإيجاد طرق لتخزينها بطريقة فعالة. بشكل عام، يجب أن يسمح وجود المزيد من البيانات حول العملاء (والعملاء المحتملين) للشركات بتصميم منتجات وجهود تسويقية بشكل أفضل من أجل خلق أعلى مستوى من الرضا وتكرار الأعمال. تُتاح للشركات التي تجمع قدرًا كبيرًا من البيانات الفرصة لإجراء تحليل أعمق وأكثر ثراءً لصالح جميع أصحاب المصلحة.
مع كمية البيانات الشخصية المتاحة للأفراد اليوم، من الأهمية أن تتخذ الشركات خطوات لحماية البيانات هاته؛ موضوع أصبح نقاشًا ساخنًا في عالم الإنترنت اليوم، لا سيما مع العديد من خروقات البيانات التي شهدتها الشركات في السنوات القليلة الماضية.
في حين أن التحليل الأفضل يعد أمرًا إيجابيًا، يمكن أن تؤدي البيانات الضخمة أيضًا إلى زيادة الحمل والضوضاء وتتداخل البيانات والمعلومات، مما يقلل من فائدتها. يجب على الشركات التعامل مع كميات أكبر من البيانات وتحديد البيانات التي تمثل إشارات مقارنة بالبيانات الغير منظمة. يصبح تحديد ما يجعل البيانات ذات صلة عاملاً رئيسياً. تتطلب البيانات النظيفة، أو البيانات ذات الصلة بالعميل والمنظمة بطريقة تتيح تحليلًا مفيدًا، قدرًا كبيرًا من العمل. يقضي علماء البيانات من 50 إلى 80 في المائة من وقتهم في تنسيق البيانات وإعدادها قبل استخدامها فعليًا.
علاوة على ذلك، يمكن أن تتطلب طبيعة البيانات وتنسيقها معالجة خاصة قبل التعامل معها. يمكن تخزين البيانات المهيكلة، التي تتكون من قيم رقمية، وفرزها بسهولة. قد تتطلب البيانات غير المنظمة، مثل رسائل البريد الإلكتروني ومقاطع الفيديو والمستندات النصية، تقنيات أكثر تعقيدًا ليتم تطبيقها قبل أن تصبح مفيدة.
أخيرًا، تتغير تقنية البيانات الضخمة بوتيرة سريعة. قبل بضع سنوات، كانت Apache Hadoop هي التقنية الشائعة المستخدمة للتعامل مع ال Big Data. ثم تم تقديم Apache Spark في عام 2014. واليوم، يبدو أن مزيجًا من الإطارين هو أفضل نهج. تعد مواكبة تكنولوجيا البيانات الضخمة تحديًا مستمرًا.
اللاعبين الرئيسيين في سوق البيانات الضخمة
اجتذب قطاع البيانات الضخمة العديد. تمركز هذا الأخير بسرعة في مختلف القطاعات. في قطاع تكنولوجيا المعلومات، نجد الموردين الكبار لحلول تكنولوجيا المعلومات مثل Oracle و HP و SAP و IBM. هناك أيضًا ممثلو الويب بما في ذلك Google أو Facebook أو Twitter. بالنسبة للمتخصصين في حلول البيانات والبيانات الضخمة، يمكننا الاستشهاد بـ MapR أو Teradata أو EMC أو Hortonworks. CapGemini و Sopra و Accenture و Atos هم شركات تكامل، ودائمًا ما تكون لاعبًا رئيسيًا في البيانات الضخمة. في صناعة التحليلات، يشمل محررو BI SAS و Micro-Strategy و Qliktech. يشمل هذا القطاع أيضًا موردين متخصصين في التحليلات مثل Datameer أو Zettaset. إلى جانب هؤلاء المشاركين الرئيسيين، ظهرت العديد من الشركات الصغيرة والمتوسطة المتخصصة في البيانات الضخمة عبر سلسلة القيمة في القطاع. في فرنسا، كان الرواد هما Hurence و Dataiku لمعدات وبرامج البيانات الضخمة؛ Criteo و Squid و Captain Dash و Tiny Clues لتحليل البيانات و Ysance للاستشارات.
أعمال ووظائف البيانات الضخمة
مسؤول عن إدارة وتحليل واستغلال ال Big Data في الشركات، تعد وظيفة عالم البيانات من بين أفضل 25 وظيفة في العالم وفقًا لدراسة أجراها موقع العمل Glassdoor. هذا يمثل تطور محلل البيانات المطلوب بشدة اليوم لمهاراته المتخصصة. في الواقع، يتطلب هذا الموقف من المسؤولية العالية مستوى عالٍ من التعليم حول هذا الموضوع ويتطلب معرفة محددة للغاية. سيسمح لك ذلك باكتساب الأدوات اللازمة للنجاح في مهنة المستقبل هذه. وهذا يشمل دراسة الإحصاء وإتقان لغات البرمجة المختلفة من خلال مفاهيم التعلم الآلي. للسجل، كان متوسط الراتب لعالم البيانات في الولايات المتحدة في عام 2020 هو 110.000 دولار.
مستقبل البيانات الضخمة
مستقبل البيانات الضخمة |
كونها اتجاهًا كبيرًا، فإن البيانات الضخمة ليست بدعة. في مجال الاستخدام، تلبي الحاجة للعمل على البيانات بشكل أكثر عمقًا، لخلق قيمة، جنبًا إلى جنب مع المهارات التكنولوجية التي لم تكن موجودة في الماضي. ومع ذلك، نظرًا لتطور التقنيات التي لا يبدو أنها تريد أن تتلاشى، لا يمكننا التحدث عن معيار أو معايير حقيقية في مجال البيانات الضخمة.
لا تزال العديد من تطبيقات ال Big Data في مهدها ويمكننا أن نتوقع رؤية استخدامات لا نتوقعها اليوم. بطريقة ما، تعد البيانات الضخمة نقطة تحول بالنسبة للمؤسسات التي لا تقل أهمية عن الإنترنت في وقتها. لذلك يجب أن تبدأ كل الأعمال التجارية الآن في إعتماد البيانات الضخمة. خلاف ذلك، هناك خطر من أنهم سيدركون في غضون سنوات قليلة أن المنافسة قد تجاوزتهم. كما تعالج الحكومات والهيئات العامة هذه القضية من خلال البيانات المفتوحة.
إذا كان لديك أي سؤال حول موضوع البيانات الضخمة، إتركه أسفله في مكان التعليقات وستجد أجوبة من إدارة الموقع ومن الزوار الكرام... شكرا لك.
المراجع والمصادر:
- What is BIG DATA? Introduction, Types, Characteristics, Example - Guru99.com.
- Définition : Qu’est-ce que le Big Data ? - LeBigData.fr.
- What Is Big Data? - Oracle.com.
- Big Data - Definition, Importance, Examples & Tools - RD-Alliance.org.
- Big Data Definition - Investopedia.com.
- What is Big Data and Why is it Important? - SearchDataManagement.TechTarget.com.