روند تغییر تحلیل داده‌ها در سال 2018
روند تغییر تحلیل داده‌ها در سال 2018
با تغییر و تحول کسب‌و‌کارها و تبدیل آنها به شرکت‌های مبتنی بر داده روزبهروز نیاز بیشتری به تکنولوژی‌ها و استراتژی‌های مبتنی بر داده حس می‌شود. در ادامه روند رشد و تحول مکانیزم‌های تحلیل داده در سال 2018 را بررسی می‌کنیم.
تحلیل داده و تکنولوژی‌های مرتبط با آن در کنار فناوری‌های موبایلی و اجتماعی بیشترین تاثیر و تحول را در عصر دیجیتال ایجاد خواهند کرد. در سال 2017، با شروع تحول کمپانی‌ها از تولید کننده داده به استفاده کننده از داده، موضوع داده و تحلیل آن تبدیل به محوریت اصلی بسیاری از شرکت‌ها و سازمان‌ها شد. در سال 2018 این فناوری‌ها باید شروع به ایجاد ارزش برای سازمان‌ها کنند. در ادامه روش‌ها، نقش‌ها و نگرانی‌هایی را که استراتژی‌های تحلیل داده در سال جاری با خود به همراه خواهند داشت را بررسی می‌کنیم.
احتمال نشت داده نیاز به نظارت بیشتر را ایجاد می‌کند
طی سال‌های گذشته داده‌های زیادی در شرکت‌های مختلف جمع‌آوری شده‌اند. اینترنت اشیاء به فرایند تولید داده، سرعت و شتاب چشمگیری بخشیده است و باعث تحول منابع تولید داده از وب به موبایل و بعد به دستگاه‌های مختلف شده است، بنابراین امکان نشت داده روزبهروز بیشتر شده است.
Churchward Guy مدیر عامل پلتفرم Data Torrent که یک پلتفرم استریمینگ داده به صورت بلادرنگ است، بر این باور است که این شرایط منجر به نیاز روزافزون جهت افزایش مقیاس خط لوله‌های داده به روش مقرون به صرفه شده است.
برای خیلی از شرکت‌هایی که از تکنولوژی‌هایی مثل هادوپ استفاده می‌کنند، پاسخ به این مسئله در ایجاد یک دریاچه داده– پلتفرم‌های مدیریت داده در سطح سازمانی برای ذخیره تمام داده‌های یک سازمان در فورمت‌های بومی – قرار دارد. دریاچه داده با ارائه یک منبع داده واحد که کل سازمان می‌تواند از آن برای انجام تمامی کارها از تحلیل‌های تجاری گرفته تا داده کاوی استفاده کنند، کمک می‌کند که انبارهای اطلاعاتی تجزیه شوند بنابراین به تمامی گروه‌ها در هر سازمانی کمک می‌کند.
اما هرچند دریاچه داده برای ذخیره حجم انبوهی از داده مفید است اما ثابت شده که بدست آوردن اطلاعاتی کاربردی از آن کار سختی است.
Churchward می‌گوید: “دریاچه داده در دوره‌ای که در آن داده‌ها “در حالت استراحت” و پردازش دسته‌ای قرار داشتند، کمک زیادی به کمپانی‌ها کرد. در سال 2015 مشخص شد که بیش از حد از این معماری استفاده شده اما در حال حاضر این معماری تبدیل به پاشنه آشیلی برای تحلیل داده‌ها به صورت بلادرنگ شده است. این که اول داده‌ها را به حالت سکون در آورده و بعد آنها را تحلیل کنیم، مضرات زیادی برای کمپانی‌ها دارد. وقتی قرار است با حداکثر سرعت یک کامپیوتر، از داده‌ها اطلاعات استخراج کرده و این اطلاعات را به کار ببندیم اگر متکی بر داده‌های قدیمی باشیم نتایج و اقدامات حاصل چندان مفید نخواهند بود و پیروی از چنین روش‌هایی ممکن است شرکت‌ها را در آستانه سقوط قرار دهد.”
Monte Zweben مدیرعامل شرکت Splice Machine با این صحبت موافق است و پیش بینی خودش برای سال 2018 را این طور بیان می‌کند: “امروزه تقریبا دوره فناوری‌هایی مثل هادوپ به سر رسیده و خیلی از کمپانی‌ها در حال غرق شدن در دریاچه داده‌های خودشان هستند چراکه به دلیل پیچیدگی سیستم‌های قدیمی مبتنی بر‌هادوپ نمی‌توانند بازگشت سرمایه مورد انتظار را داشته باشند.”
Ken Hoang مدیر بخش استراتژی و اتحادیه‌ها در شرکت Alation بر این باور است که مکانیزم دریاچه داده برای این که در سال 2018 همچنان مثل گذشته بقای خود را حفظ کند باید برای سازمان‌ها ارزش تجاری داشته باشد.
Hoang می‌گوید: “مکانیزم دریاچه داده توسعه تجربی خود را طی چند سال گذشته پشت سر گذاشته است و کم کم شاهد کنار گذاشتن آن خواهیم بود مگر این که ثابت شود این مکانیزم قابلیت ایجاد ارزش را دارد و آنچه ارزش چنین مکانیزمی را ثابت می‌کند، قابلیت آن برای کنار هم قرار دادن اطلاعات، هوش مصنوعی و اکتشاف اطلاعات جهت ایجاد دیدگاه‌ها و بینش‌های جدیدی برای کسب و کارها است.”
اما Hoang در عین حال معتقد است که همه چیز برای معماری دریاچه داده به اتمام نرسیده است. او پیش بینی می‌کند که دریاچه داده و سایر قطب‌های داده با آنچه او “ابر قطب” می‌نامد و به کمک یادگیری ماشینی، می‌تواند به حیات ادامه دهد.
Hoang می‌گوید: “استقرار قطب‌های داده‌ای بزرگ طی 25 سال گذشته (مثل انبارهای داده، دریاچه‌های داده، سیستم‌های مدیریت داده‌های اصلی، Salesforce و برنامه ریزی منابع سازمانی(ERP) منجر به تشکیل انبارهایی از داده شده که نمی‌توان به راحتی آنها را درک کرده، ارتباطات‌شان را تفسیر کرد و یا به اشتراک گذاشت. مکانیزم‌هایی مثل تشکیل قطبی از قطب‌ها امکان برقراری ارتباط بین این قطب‌ها را فراهم کرده و امکان ایجاد مکانیزم context-as-a-service یا ارائه زمینه به عنوان سرویس را فراهم می‌کند. این امر به نوبه خود اطلاعات مرتبط‌‌تر و قدرتمندتری را فراهم می‌کند که این اطلاعات نیز به ایجاد نتایج بهتر و سریع‌تر برای کسب و کارها کمک می‌کند.”
Ted Dunning مدیر ارشد معماری اپلیکیشن در MapR هم تغییری مشابه را پیش بینی می‌کند: با توجه به این که سیستم‌های داده‌ای بزرگ تبدیل به یک مرکز گرانش از نظر ذخیره اطلاعات، دسترسی به اطلاعات و انجام عملیات می‌شوند، مشاغل به دنبال ایجاد یک محصول جهانی هستند که دسترسی کاملی به داده‌های موجود در منابع مختلف را فراهم کرده و امکان انجام محاسبات روی سیستم‌هایی که واقعاً multi-tenant یا چند مستاجره هستند را ایجاد کند.
Dunning می‌گوید: “بزودی شاهد این خواهیم بود که مشاغل بیشتری بر روی داده‌های در حال جریان محاسبات خود را انجام دهند نه داده‌هایی که پردازش شده و در یک دیتابیس مقیم شده‌اند. این نوع جریان داده با ساختار داده در محیط‌های تجاری سازگاری بیشتری دارد. پایه و اساس ایجاد چنین سیستم‌های بزرگی که مبتنی بر جریان داده هستند، یک محصول داده‌ای یکپارچه و سراسری خواهد بود.”
این محصول‌ها از محاسبات مختلفی که مناسب حوزه‌های مختلف هستند، پشتیبانی می‌کنند. روندی که شاهد ظهور آن خواهیم بود ارائه محصولی است که داده‌های در حال حرکت و در حال سکون را برای محاسبات چند ابری که توسط سیستم‌هایی مثل Kubernetes ارائه می‌شوند، فراهم کنند.
Langley Eide مدیر ارشد استراتژی در شرکت تحلیل داده‌ای Alteryx بر این باور است که معماری دریاچه داده به تنهایی مسئول ایجاد ارزش برای مشاغل نیست: تحلیل‌گران خطوط شغلی (LBO) و مدیران ارشد دیجیتال (CDO) نیز در سال 2018 مسئولیت‌هایی دارند.
Eide می‌گوید: “اکثر تحلیل‌گران تا به امروز از منابع داده‌ای بدون ساختاری با حجم انبوه از جمله داده‌های مربوط به جریان کلیک کاربران، داده‌های اینترنت اشیاء، داده‌های لاگ و غیره استفاده مفیدی نکرده‌اند، عمدتا به این دلیل که انجام این کار سخت است. اما باید اذعان کرد که اگر تحلیل‌گران از این داده‌ها استفاده نکنند، کار و وظیفه اصلی خودشان را انجام نداده‌اند. تا به حال این موضوع اثبات شده که خیلی از دریاچه‌های داده، سرمایه‌هایی با عملکرد ضعیف هستند. مردم اطلاعی ندارند چه چیزی در آنها وجود دارد، چطور می‌توانند به آنها دسترسی پیدا کنند و یا چطور می‌توانند از داده‌های موجود در آنها استفاده کرده و به بینش و ادراک برسند. این واقعیت در سال 2018 تغییر خواهد کرد چون مدیران ارشد دیجیتال و کارآفرینان به دنبال بازگشت سرمایه هر چه بیشتر از طریق دریاچه داده هستند.”
Eide پیش بینی می‌کند که در سال 2018 تحلیل‌گران به جای ابزارهایی با مکانیزم جستجوی فراگیر (مثل Excel و SQL) از تکنیک‌ها و تکنولوژی‌های برنامه‌ریزی شده‌تری مثل کاتالوگ داده استفاده می‌کنند تا ارزش تحلیل داده‌ها را بیشتر اکتشاف کرده و از آن استفاده کنند.
