توسعه خطوط لوله داده هوشمند

پتانسیل هوش مصنوعی (AI) و یادگیری ماشین (ML) در توانایی آن برای به دست آوردن و هدایت منابع جدید مشتری، محصول، خدمات، عملیاتی، ارزش محیطی و اجتماعی تقریباً نامحدود به نظر می رسد. اگر سازمان شما می خواهد در اقتصاد آینده رقابت کند، هوش مصنوعی باید هسته اصلی عملیات تجاری شما باشد.

مطالعه ای که توسط Kearney با عنوان “تاثیر تجزیه و تحلیل در سال 2020” انجام شده است، سودآوری و تأثیر تجاری دست نخورده را برای سازمان هایی که به دنبال توجیه سرعت بخشیدن به علم داده (AI/ML) و سرمایه گذاری های مدیریت داده خود هستند، نشان می دهد:

• اگر مخترعان به اندازه رهبران مؤثر باشند، می توانند سودآوری را تا 20 درصد افزایش دهند
• اگر فالوورها به اندازه رهبران موثر باشند، می توانند سودآوری خود را تا 55 درصد افزایش دهند
• اگر لاگاردها به اندازه رهبران مؤثر بودند، می توانستند سودآوری را تا 81 درصد بهبود بخشند

تأثیرات تجاری، عملیاتی و اجتماعی می تواند خیره کننده باشد و داده ها را از یک چالش سازمانی مهم کنار بگذارد. اندرو نگ، پدرخوانده هوش مصنوعی، به موانع مدیریت داده ها و داده ها در توانمندسازی سازمان ها و جامعه برای درک پتانسیل هوش مصنوعی و ML اشاره کرده است:

“برای بسیاری از برنامه ها، مدل و کد اساساً یک مشکل حل شده است. اکنون که مدل ها به نقطه خاصی رسیده اند، باید داده ها را نیز کار کنیم.” – اندرو نگو

داده ها در آموزش مدل های هوش مصنوعی و ML نقش اساسی دارند. و داده های با کیفیت بالا و قابل اعتماد از طریق خطوط لوله بسیار کارآمد و مقیاس پذیر به این معنی است که هوش مصنوعی می تواند این نتایج تجاری و عملیاتی قانع کننده را فعال کند. همانطور که یک قلب سالم به اکسیژن و جریان خون قابل اطمینان نیاز دارد، جریان ثابت داده های خالص، دقیق، غنی و قابل اعتماد نیز برای موتورهای AI/ML حیاتی است.

به عنوان مثال، یک CIO دارای تیمی متشکل از 500 مهندس داده است که بیش از 15000 شغل استخراج، تبدیل و بارگذاری (ETL) را مدیریت می کنند و داده ها را به 100 مخزن داده با هدف خاص (پایگاه داده) دریافت می کنند، انتقال می دهند. مسئول جمع آوری، استانداردسازی و تراز کردن هستند. مارت، انبار داده، دریاچه داده و دریاچه داده). آنها این عملکردها را در سیستم‌های عملیاتی و رو به مشتری سازمان تحت قراردادهای سطح خدمات (SLA) انجام می‌دهند تا از تعداد روزافزون مصرف‌کنندگان داده‌های متنوع پشتیبانی کنند. به نظر می رسد که روب گلدبرگ مطمئناً یک معمار داده می شد (شکل 1).

برنامه های یکبار مصرف، ویژه و ایستا ETL برای جابجایی، خالص سازی، تراز و تبدیل داده ها، ساختارهای معماری ضعیف اسپاگتی لازم برای سازمان ها را کاهش می دهد تا به طور کامل از ویژگی های اقتصادی منحصر به فرد داده ها استفاده کنند. “با ارزش ترین منبع جهان” اقتصاددان،

ظهور خطوط لوله داده هوشمند

خطوط لوله داده برای خودکارسازی و مقیاس‌بندی وظایف جمع‌آوری، تبدیل، جابجایی و ادغام داده‌های رایج و تکراری در نظر گرفته شده‌اند. یک استراتژی خط لوله داده به درستی ساخته شده می‌تواند پردازش مرتبط با جمع‌آوری، تمیز کردن، تبدیل، غنی‌سازی و انتقال داده‌ها به سیستم‌ها و برنامه‌های پایین‌دستی را تسریع و خودکار کند. از آنجایی که حجم، تنوع و سرعت داده ها همچنان در حال افزایش است، نیاز به خطوط لوله داده که بتوانند به صورت خطی در محیط های ابری و ابری ترکیبی مقیاس شوند، برای عملیات تجاری اهمیت فزاینده ای پیدا می کند.

خط لوله داده به مجموعه ای از فعالیت های پردازش داده اطلاق می شود که منطق عملیاتی و تجاری را برای منبع یابی پیشرفته، تبدیل و بارگذاری داده ها یکپارچه می کند. خط لوله داده می‌تواند در زمان واقعی (جریان‌سازی)، بر اساس برنامه‌ریزی‌شده اجرا شود، یا با مجموعه‌ای از شرایط یا شرایط از پیش تعیین‌شده راه‌اندازی شود.

علاوه بر این، منطق و الگوریتم‌هایی را می‌توان در خط لوله داده ایجاد کرد تا یک خط لوله داده «هوشمند» ایجاد کند. خطوط لوله هوشمند دارایی‌های اقتصادی قابل استفاده مجدد و قابل توسعه هستند که می‌توانند مختص سیستم منبع باشند و تغییرات داده‌های لازم را برای پشتیبانی از داده‌ها و نیازهای تحلیلی منحصر به فرد سیستم یا برنامه مورد نظر انجام دهند.

همانطور که یادگیری ماشین و AutoML رایج تر می شوند، خطوط لوله داده به طور فزاینده ای هوشمندتر می شوند. خطوط لوله داده می توانند داده ها را بین ماژول های پیشرفته غنی سازی و تبدیل انتقال دهند، جایی که شبکه های عصبی و الگوریتم های یادگیری ماشین می توانند تبدیل و غنی سازی داده های پیشرفته تری ایجاد کنند. این شامل تقسیم بندی، تجزیه و تحلیل رگرسیون، خوشه بندی، و ایجاد شاخص های پیشرفته و امتیازات تمایل است.

در نهایت، می‌توان هوش مصنوعی را در خطوط لوله داده ادغام کرد تا بتوانند به طور مداوم بر اساس نیازهای در حال توسعه تجاری و عملیاتی سیستم منبع، تبدیل و غنی‌سازی داده‌های مورد نیاز، و سیستم‌ها و برنامه‌های کاربردی، یاد بگیرند و تطبیق دهند.

به عنوان مثال: یک خط لوله داده هوشمند در مراقبت های بهداشتی می تواند مجموعه ای از کدهای گروه های مربوط به تشخیص مراقبت های بهداشتی (DRG) را تجزیه و تحلیل کند تا از سازگاری و کامل بودن ارسال های DRG اطمینان حاصل کند و تقلب را به عنوان منبع داده DRG از داده های در حال انتقال توسط خط لوله تشخیص دهد. . سیستم برای سیستم های تحلیلی

ارزش کسب و کار را درک کنید

افسران ارشد داده و افسران ارشد تجزیه و تحلیل داده‌ها برای کشف ارزش تجاری داده‌های خود به چالش کشیده می‌شوند – برای اعمال داده‌ها در کسب‌وکار برای ایجاد تأثیر مالی کمی.

توانایی دریافت داده‌های با کیفیت بالا و قابل اعتماد به مصرف‌کننده داده مناسب در زمان مناسب برای تصمیم‌گیری به موقع و دقیق‌تر، یک تمایز کلیدی برای شرکت‌های غنی از داده امروزی خواهد بود. سیستم Rube Goldberg از اسکریپت‌های ELT و مخازن جداگانه و تخصصی متمرکز بر تحلیل، توانایی سازمان‌ها را برای دستیابی به آن هدف مختل می‌کند.

درباره خطوط لوله داده هوشمند بیشتر بدانید خط لوله داده های سازمانی مدرن (کتاب الکترونیکی) توسط Dell Technologies در اینجا.

این ماده توسط Dell Technologies تولید شده است. این توسط تحریریه MIT Technology Review نوشته نشده است.