جریان داده چیست؟

جریان داده چیست؟ در این مقاله برآن شدیم تا درباره جریان داده و برخی ویژگی‌های آن مثل حالت‌های دسته‌ای و زمان واقعی بحث کنیم. با ما همراه باشید.

بیشتر بخوانید: انواع پردازش داده چیست؟

هم‌چنین بخوانید: پردازش داده چیست؟ چرخه پردازش داده کدام است؟ ، پیش پردازش داده ها در داده کاوی چیست؟

جریان داده انتقال مداوم داده‌ها با سرعت ثابت و بالا است. برای تسهیل نیاز به تجزیه‌وتحلیل لحظه‌ای از منابع داده متفاوت، بسیاری از شرکت‌ها پردازش دسته‌ای سنتی را با معماری‌های نوین جریان داده جایگزین کرده‌اند که می‌توانند از پردازش دسته‌ای پشتیبانی کنند.

مقدمه: جریان داده چیست؟

جریان داده انتقال مداوم داده‌ها با سرعت ثابت و بالا است. اگرچه مفهوم جریان داده جدید نیست، اما کشف و ایجاد کاربردهای عملی آن پیشرفتی نسبتاً جدید به شمار می‌آید. در واقع، در سال‌های اولیه شبکه جهانی وب، اتصال به اینترنت همیشه قابل اعتماد نبود و محدودیت‌های پهنای باند اغلب مانع از رسیدن داده‌های جریانی به مقصد به شکل سریع و بدون وقفه می‌شد.

توسعه‌دهندگان بافرهایی ایجاد کردند تا به جریان‌های داده‌ای اجازه دهند تا به سطح کیفی مطلوب برسند، اما شوک‌های ناشی از این توسعه، تجربه کاربر را چنان ضعیف کرد که بیشتر مصرف‌کنندگان ترجیح می‌دهند محتوا را به جای پخش جریانی دانلود کنند.

امروزه، با ظهور اینترنت پرسرعت، محاسبات ابری و اینترنت اشیاء (IoT)، علاقه بیشتری به تجزیه‌وتحلیل داده‌ها از منابع جریان برای تصمیم‌گیری بر اساس داده‌های زمان واقعی وجود دارد.

انواع پردازش در جریان داده

برای پاسخگویی به نیازی که به تجزیه‌وتحلیل لحظه‌ای از منابع داده متفاوت وجود دارد، بسیاری از شرکت‌ها پردازش دسته‌ای سنتی را با معماری‌های جریان داده جایگزین کرده‌اند و بنابراین می‌توانند از پردازش دسته‌ای پشتیبانی کنند.

در پردازش دسته‌ای، اقلام داده تازه وارد در یک گروه جمع آوری می‌شوند و کل گروه بیشتر پردازش می‌شود. در مقابل، یک معماری داده‌های جریانی با داده‌های در حال حرکت سر و کار دارد و یک دسته ETL به عنوان یک رویداد دیگر در یک جریان پیوسته از رویدادها در نظر گرفته می‌شود.

برای به دست آوردن یک تخمین معقول از پهنای باند (که گاهی اوقات به آن توان عملیاتی می‌گویند)، کارشناسان پیشنهاد می‌کنند حداقل از سه سایت آزمایشی مختلف مانند Fast.com استفاده کنید و برای اطمینان از خواندن دقیق، هر آزمایش چندین بار اجرا شود.

YouTube TV: 13 مگابیت در ثانیه (مگابیت در ثانیه) برای پخش قابل اعتماد ویدیو با کیفیت بالا (HD)

Netflix: 25 مگابیت بر ثانیه برای پخش جریانی 4k با کیفیت فوق العاده بالا توصیه می شود

DirecTV Now: 25 مگابیت در ثانیه برای خانواده هایی که از اینترنت در چندین دستگاه استفاده می کنند

PlayStation Vue: سرعت دانلود حداقل 20 مگابیت در ثانیه برای اطمینان از جریان ثابت

Hulu: 25 مگابیت در ثانیه برای کیفیت Ultra HD

Amazon Prime Video: 3.5 مگابیت بر ثانیه برای ویدیوی HD و 15 مگابیت در ثانیه برای پخش 4k

جریان داده‌ها و داده بزرگ

برای بهره‌مندی از جریان داده در سطح سازمانی، شرکت‌هایی با معماری جریان نیاز به ابزارهای تحلیلی قدرتمند برای دریافت و پردازش اطلاعات دارند. ابزارهای محبوب سازمانی برای کار با فیدهای داده عبارتند از:

۱. ابزار Amazon Kinesis Firehose: یک وب سرویس آمازون (AWS) برای پردازش داده بزرگ در زمان واقعی. Kinesis قادر است صدها ترابایت در ساعت حجم از داده جریانی را از منابعی مانند گزارش عملیات، تراکنش‌های مالی و فید شبکه‌های اجتماعی پردازش کند.

۲. ابزار Apache Flink: یک پلتفرم پردازش داده توزیع شده برای استفاده در برنامه‌های کاربردی داده بزرگ، که عمدتاً شامل تجزیه‌وتحلیل داده‌های ذخیره‌شده در خوشه‌های Hadoop است. Flink هر دو کار دسته‌ای و جریانی را انجام می‌دهد، با پیش‌فرض کردن جریان داده‌ها و کارهای دسته‌ای که به عنوان نسخه‌های ویژه برنامه‌های جریان داده اجرا می‌شوند.

در این مقاله آموزشی درباره این که جریان داده چیست، مطالبی آموختیم. با تشکر از همراهی و مطالعه شما.

منابع

۱. تعریف جریان داده – ترجمه از انگلیسی