جریان داده چیست؟ در این مقاله برآن شدیم تا درباره جریان داده و برخی ویژگی‌های آن مثل حالت‌های دسته‌ای و زمان واقعی بحث کنیم. با ما همراه باشید.

بیشتر بخوانید: انواع پردازش داده چیست؟

هم‌چنین بخوانید: پردازش داده چیست؟ چرخه پردازش داده کدام است؟ ، پیش پردازش داده ها در داده کاوی چیست؟

جریان داده انتقال مداوم داده‌ها با سرعت ثابت و بالا است. برای تسهیل نیاز به تجزیه‌وتحلیل لحظه‌ای از منابع داده متفاوت، بسیاری از شرکت‌ها پردازش دسته‌ای سنتی را با معماری‌های نوین جریان داده جایگزین کرده‌اند که می‌توانند از پردازش دسته‌ای پشتیبانی کنند.

مقدمه: جریان داده چیست؟

جریان داده انتقال مداوم داده‌ها با سرعت ثابت و بالا است. اگرچه مفهوم جریان داده جدید نیست، اما کشف و ایجاد کاربردهای عملی آن پیشرفتی نسبتاً جدید به شمار می‌آید. در واقع، در سال‌های اولیه شبکه جهانی وب، اتصال به اینترنت همیشه قابل اعتماد نبود و محدودیت‌های پهنای باند اغلب مانع از رسیدن داده‌های جریانی به مقصد به شکل سریع و بدون وقفه می‌شد.

توسعه‌دهندگان بافرهایی ایجاد کردند تا به جریان‌های داده‌ای اجازه دهند تا به سطح کیفی مطلوب برسند، اما شوک‌های ناشی از این توسعه، تجربه کاربر را چنان ضعیف کرد که بیشتر مصرف‌کنندگان ترجیح می‌دهند محتوا را به جای پخش جریانی دانلود کنند.

امروزه، با ظهور اینترنت پرسرعت، محاسبات ابری و اینترنت اشیاء (IoT)، علاقه بیشتری به تجزیه‌وتحلیل داده‌ها از منابع جریان برای تصمیم‌گیری بر اساس داده‌های زمان واقعی وجود دارد.

این مطلب را نیز حتما بخوانید:  داده کاوی در زمان واقعی چیست؟

انواع پردازش در جریان داده

برای پاسخگویی به نیازی که به تجزیه‌وتحلیل لحظه‌ای از منابع داده متفاوت وجود دارد، بسیاری از شرکت‌ها پردازش دسته‌ای سنتی را با معماری‌های جریان داده جایگزین کرده‌اند و بنابراین می‌توانند از پردازش دسته‌ای پشتیبانی کنند.

در پردازش دسته‌ای، اقلام داده تازه وارد در یک گروه جمع آوری می‌شوند و کل گروه بیشتر پردازش می‌شود. در مقابل، یک معماری داده‌های جریانی با داده‌های در حال حرکت سر و کار دارد و یک دسته ETL به عنوان یک رویداد دیگر در یک جریان پیوسته از رویدادها در نظر گرفته می‌شود.

برای به دست آوردن یک تخمین معقول از پهنای باند (که گاهی اوقات به آن توان عملیاتی می‌گویند)، کارشناسان پیشنهاد می‌کنند حداقل از سه سایت آزمایشی مختلف مانند Fast.com استفاده کنید و برای اطمینان از خواندن دقیق، هر آزمایش چندین بار اجرا شود.

YouTube TV: 13 مگابیت در ثانیه (مگابیت در ثانیه) برای پخش قابل اعتماد ویدیو با کیفیت بالا (HD)

Netflix: 25 مگابیت بر ثانیه برای پخش جریانی 4k با کیفیت فوق العاده بالا توصیه می شود

DirecTV Now: 25 مگابیت در ثانیه برای خانواده هایی که از اینترنت در چندین دستگاه استفاده می کنند

PlayStation Vue: سرعت دانلود حداقل 20 مگابیت در ثانیه برای اطمینان از جریان ثابت

Hulu: 25 مگابیت در ثانیه برای کیفیت Ultra HD

Amazon Prime Video: 3.5 مگابیت بر ثانیه برای ویدیوی HD و 15 مگابیت در ثانیه برای پخش 4k

جریان داده‌ها و داده بزرگ

برای بهره‌مندی از جریان داده در سطح سازمانی، شرکت‌هایی با معماری جریان نیاز به ابزارهای تحلیلی قدرتمند برای دریافت و پردازش اطلاعات دارند. ابزارهای محبوب سازمانی برای کار با فیدهای داده عبارتند از:

این مطلب را نیز حتما بخوانید:  سیستم تشخیص چهره چیست؟

۱. ابزار Amazon Kinesis Firehose: یک وب سرویس آمازون (AWS) برای پردازش داده بزرگ در زمان واقعی. Kinesis قادر است صدها ترابایت در ساعت حجم از داده جریانی را از منابعی مانند گزارش عملیات، تراکنش‌های مالی و فید شبکه‌های اجتماعی پردازش کند.

۲. ابزار Apache Flink: یک پلتفرم پردازش داده توزیع شده برای استفاده در برنامه‌های کاربردی داده بزرگ، که عمدتاً شامل تجزیه‌وتحلیل داده‌های ذخیره‌شده در خوشه‌های Hadoop است. Flink هر دو کار دسته‌ای و جریانی را انجام می‌دهد، با پیش‌فرض کردن جریان داده‌ها و کارهای دسته‌ای که به عنوان نسخه‌های ویژه برنامه‌های جریان داده اجرا می‌شوند.

در این مقاله آموزشی درباره این که جریان داده چیست، مطالبی آموختیم. با تشکر از همراهی و مطالعه شما.

منابع

۱. تعریف جریان داده – ترجمه از انگلیسی

سهراب محمدی

مهندس سهراب محمدی هستم، دانش آموخته کامپیوتر از دانشگاه خوارزمی تهران؛ رتبه ۹۲۸ کنکور سراسری؛ متخصص ماشین لرنینگ و علم داده؛ انجام دهنده پروژه های صنعتی دانشگاهی معتبر ؛ و سابقه فعالیت به عنوان مسئول آنالیز دیتا و تنظیم الگوریتم دارم.

مطالب مرتبط
1 دقیقه

DNS چیست؟ و چه کاربردی دارد؟

golearnwork

DNS چیست؟ و چه کاربردی دارد؟ اجزای آن چیستند و چگونه کار می‌کنند؟ با ما در این نوشتار همراه باشید تا پاسخ این سوالات را بیابیم. DNS چیست؟ واژه DNS مخفف Domain Name System است. DNS در حقیقت شبیه به یک دفترچه راهنماست که نام هر وب‌سایت را به نشانی IP آن برمی‌گرداند. شما در […]

بلاک چین چیست؟ 1 دقیقه

بلاک چین چیست؟

golearnwork

بلاک‌چین چیست؟ در این نوشتار قصد داریم به‌صورت اجمالی درباره بلاک‌چین توضیحاتی را ارائه دهیم. پس تا انتها با ما همراه باشید. بلاک‌چین مجموعه‌ای از اطلاعات است که به شکلی بسیار پیچیده در یک سیستم گردآوری شده است. به‌گونه‌ای که تغییر و هک آن، بسیار دشوار یا تقریباً غیرممکن است. بلاک چین یک رکورد دیجیتالی […]

دیدگاهتان را بنویسید

نشانی ایمیل شما منتشر نخواهد شد. بخش‌های موردنیاز علامت‌گذاری شده‌اند *

سبد خرید
Subtotal 0 تومان