مایکروسافت فابریک چیست و در هوش تجاری چه کاربردی دارد؟

مایکروسافت فابریک یک پلتفرم پیوسته تجزیه‌وتحلیل داده است که برای استفاده شرکت‌هایی که به سیستم‌های واحد و منسجم نیاز دارند، طراحی شده است. از جمله امکانات مایکروسافت فابریک می‌توانیم به جابه‌جایی داده‌ها، پردازش، درک، تبدیل، مسیریابی رویداد‌های هم‌زمان و ساخت گزارش اشاره کنیم. این نرم‌افزار مجموعه‌ای از خدمات جامع از جمله مهندسی داده، علوم داده، تجزیه‌وتحلیل هم‌زمان، انبار داده و پایگاه‌داده را در خود جای‌ داده است.

با فابریک تمام خدمات را به‌صورت یکجا دارید. فابریک یک پلتفرم یکپارچه و کاربرپسند است که به‌راحتی تمام سرویس‌های موردنیاز تجزیه‌وتحلیل داده را در دسترس قرار می‌دهد. فابریک به‌عنوان یک پلتفرم SaaS (نرم‌افزار به‌عنوان سرویس)، سادگی و انسجام را برای سیستم‌های شما به ارمغان می‌آورد.

مایکروسافت فابریک از ترکیب بخش‌های گوناگونی ساخته شده که در کنار هم یک سرویس منسجم را تشکیل می‌دهند. به‌جای استفاده جداگانه از انبارهای داده و یا پایگاه‌های داده مختلف، می‌توانید داده‌ها را به‌صورت یکجا با استفاده از OneLake ذخیره کنید. امکانات هوش مصنوعی به‌صورت یکپارچه در فابریک تعبیه شده‌اند و نیازی ندارید تا به‌صورت دستی آن‌ها را با هم ادغام کنید. با فابریک، می‌توانید به‌راحتی داده‌های خام خود را به اطلاعات کاربردی برای استفاده کاربران تجاری تبدیل کنید.

یکپارچه‌سازی بر مبنای مدل SaaS

مدل SaaS یا نرم‌افزار به‌عنوان سرویس (Software as a Service)، مدل به کار برده شده در مایکروسافت فابریک است. فابریک بخش‌های جدید و فعال Power Bl، Azure Synapse Analytics،Azure Data Factory و به همراه سرویس‌های دیگر را در قالب یک فضای یکپارچه با هم ترکیب می‌کند. هرکدام از بخش‌ها در ادامه بر اساس تجربه‌های کاربری شخصی‌سازی می‌شوند.

فابریک خدمات تمام سرویس‌های Data Engineering، Data Factory، Data Science، Data Warehouse، Real-Time Intelligence، Industry solutions و Power BI را در بستر مدل SaaS ارائه می‌کند. تجربیات کاربری بر اساس نقش کاربرها متمایز هستند و به طور مثال برای مهندسان داده، دانشمندان داده و یا کارشناسان انبار داده به‌صورت انحصاری طراحی می‌شوند و سرویس‌های متفاوتی را پوشش می‌دهند. در تمام فضای فابریک از هوش مصنوعی استفاده شده و به این وسیله سرعت حرکت داده‌ها را در کل سیستم افزایش داده‌اند. بخش‌های مختلف فابریک همکاری مثال‌زدنی با هم دارند و به‌طورکلی مزایای زیادی دارند از جمله:

• دسترسی به طیف گسترده‌ای از سرویس‌های آنالیز و تجزیه‌وتحلیل کاملاً منسجم در صنعت.
• امکان تبادل تجربیات مرتبطی که فراگیری آن‌ها بسیار راحت است.
• دسترسی آسان و امکان استفاده مجدد در لحظه از همه امکانات
• انبار داده یکپارچه (دریاچه داده) که داده‌ها را به هنگام استفاده از ابزارهای تحلیلی در مکان اصلی خود حفظ می‌کند.
• مدیریت و نظارت متمرکز در تمامی تجربیات کاربری.

فابریک داده‌ها و سرویس‌ها را به‌صورت یکپارچه با یکدیگر ادغام می‌کند و فرایند مدیریت، نظارت و تحقیقات را به‌صورت سراسری ممکن می‌کند. امنیت بخش‌ها، داده‌ها و دسترسی در سطح ردیف را تضمین می‌کند. شما می‌توانید قابلیت‌های اصلی سازمانی را به‌صورت متمرکز پیکربندی کنید. مجوزها به طور خودکار در تمام سرویس‌های اساسی اعمال می‌شوند. علاوه بر این، الگوی حساسیت داده به طور خودکار در تمام بخش‌های مجموعه اعمال می‌شود. نظارت بر عهده Purview است که به‌عنوان بخشی مجزا در فابریک تعبیه شده است.

فابریک به کاربران اجازه می‌دهد تا بدون نیاز به ادغام‌سازی، مدیریت و درک زیرساخت‌ها، تنها بر انجام فعالیت‌های اصلی خود به بهترین نحو متمرکز باشند.

اجزای مایکروسافت فابریک

فابریک مجموعه‌ای جامع از ابزارهای تحلیلی را ارائه می‌دهد که برای تبادل اطلاعات با یکدیگر برنامه‌نویسی شده‌اند. هر کدام از این ابزارها برای استفاده یک گروه هدف خاص با وظایف خاص طراحی شده‌اند:

• Power Bl: به شما این امکان را می‌دهد تا به‌راحتی به منابع داده‌های خود متصل شوید، داده‌های مهم را مشخص و کشف کنید و آن‌ها را با افراد تیم خود به اشتراک بگذارید. با استفاده از این سرویس، صاحبان مشاغل می‌توانند با سرعت بالا به تمام داده‌های فابریک دسترسی مستقیم داشته باشند و در تصمیم‌گیری‌های خود به نتایج بهتری برسند.
• Data Factory: امکان ادغام داده‌های مدرن از منابع داده ارزشمند را با یکدیگر فراهم می‌کند و از فرایندهای درک، آماده‌سازی و تبدیل داده پشتیبانی می‌کند. سادگی Power Query را در خود دارد و به شما این امکان را می‌دهد تا منابع داده خود را در محیط سازمان و یا فضای ابری با ۲۰۰ کاربر محلی به اشتراک بگذارید.
• Data Activator: یک سرویس بدون کد در فابریک است. با تعیین یک سری فرایندهای مشخص برای Data Activator همچون اعلان‌های ایمیل و گردش کاری Power Automate، زمانی که ربات الگوها و وضعیت خاصی را از بین داده‌های شما تشخیص داد، به طور خودکار این فرایندها در سیستم اجرا می‌شوند. Data Activator وظیفه نظارت بر داده‌ها در گزارش‌های Power Bl و مجموعه رویداد‌ها را برعهده دارد. زمانی که داده به حدنصاب خاصی رسید و یا از الگوی خاصی پیروی کرد، به‌صورت اتومات فرایندهای تعیین شده را روی آن‌ پیاده می‌کند.
• Industry Solutions: فابریک در این بخش سیستم‌های داده‌ای را ارائه می‌دهد که به طور خاص برای استفاده در صنعت برنامه‌نویسی شده‌اند. در این قسمت، الزامات و چالش‌های خاص موجود در صنعت به طور انحصاری هدف‌گیری می‌شوند. فرایندهای مدیریت، تجزیه‌وتحلیل و تصمیم‌گیری در این قسمت انجام می‌شوند.
• Real-Time Intelligence: یک سیستم کلی برای سناریوهای رویدادمحور، داده‌های در جریان و گزارش‌های داده است. با استفاده از این بخش، کاربران به نتیجه‌گیری‌های جدیدی می‌رسند و می‌توانند داده‌های در حال حرکت را تجسم کنند و روی آن‌ها فرایندهایی را پیاده کنند. با مدیریت مصرف داده، تبدیل، ذخیره‌سازی، تجزیه‌وتحلیل، تجسم، ردیابی، هوش مصنوعی و فرایندهای آنی است که این قابلیت‌ها ممکن می‌شوند. پایگاه Real-Time طیف وسیعی از اتصال‌دهنده‌های بدون کدی را فراهم می‌کند که در فهرستی از داده‌های سازمانی به هم ملحق می‌شوند. این داده‌های سازمانی در بستر فابریک محافظت، نظارت و ادغام می‌شوند.
• Synapse Data Engineering: یک پلتفرم Spark است که ابزارهای نویسندگان را در اختیار کاربران قرار می‌دهد. شما می‌توانید به‌وسیله آن زیرساخت‌هایی برای جمع‌آوری، ذخیره‌سازی، پردازش و تجزیه‌وتحلیل حجم وسیع داده ایجاد، مدیریت و بهینه‌سازی کنید. ادغام Fabric Spark با Data Factory به شما این امکان را می‌دهد تا نوت‌بوک‌ها و قابلیت‌های Spark را برنامه‌ریزی و هماهنگ کنید.
• Synapse Data Science: به شما این امکان را می‌دهد تا مدل‌های یادگیری ماشینی را در بستر فابریک بسازید، مستقر و اجرا کنید. این سرویس با سرویس یادگیری ماشینی Azure ادغام می‌شود تا به‌صورت پیش‌فرض بتواند مراحل آزمایش‌ها را ردیابی کند و مدل‌ها را فهرست کند. دانشمندان داده می‌توانند داده‌های سازمانی را با استفاده از این ابزار به طور دقیق‌تر پیش‌بینی‌ کنند و تحلیلگران کسب‌وکار می‌توانند از این پیش‌بینی‌ها در گزارش‌های Bl خود استفاده کنند و بدین ترتیب یافته‌های خود را از حالت توصیفی به حالت اخباری و قابل‌پیش‌بینی تبدیل کنند.
• Synapse Data Warehouse: عملکرد و مقیاس SQL به‌عنوان استاندارد پیشرو در صنعت را ارائه می‌دهد. فرایند محاسبات را از ذخیره‌سازی جدا می‌کند و مقیاس‌پذیری هر دو مؤلفه را به‌صورت جداگانه امکان‌پذیر می‌کند. علاوه بر این، داده‌ها را به طور طبیعی در قالب باز Delta Lake ذخیره می‌کند. مایکروسافت فابریک سازمان‌ها و افراد را قادر می‌سازد تا از مخازن داده‌های بزرگ و پیچیده برای تعیین حجم کاری مناسب استفاده کنند و داده‌های آن‌ها را به‌راحتی تجزیه‌وتحلیل کنند. این سرویس نمونه بارزی از معماری شبکه داده است.

OneLake: ادغام lakehouses

پلتفرم مایکروسافت فابریک، معماری OneLake و lakehouse را در سراسر یک سازمان ادغام می‌کند.

OneLake

دریاچه داده بستری است که تمام فرایندهای فابریک در آن قرار می‌گیرد. دریاچه داده مایکروسافت فابریک با نام OneLake شناخته می‌شود. OneLake در درون پلتفرم فابریک ساخته شده و در جایی که سرویس‌ها ارائه می‌شوند، مکانی منسجم برای ذخیره‌سازی داده‌های سازمانی فراهم می‌کند.

OneLake بر روی ADLS Gen2 یا نسل دوم دریاچه داده Azure (Azure Data Lake Storage) ساخته شده است. OneLake یک تجربه کاربری منسجم را در محیط SaaS و یک انبار جادار را برای داده فراهم می‌کند که در جهت منافع توسعه‌دهندگان حرفه‌ای و متخصصان خود فابریک است. با OneLake دیگر نیازی به درک مفاهیم زیرساختی مانند گروه‌های منابع، RBAC (کنترل دسترسی مبتنی بر نقش)، Azure Resource Manager، افزونگی یا مناطق ندارید. این موضوع به‌خودی‌خود کار با فابریک را ساده‌تر می‌کند. برای استفاده از فابریک نیازی به داشتن حساب در Azure ندارید.

OneLake سیلوهای داده یا مخزن‌های مجزای داده را حذف می‌کند. توسعه‌دهندگان فردی اغلب هنگام تهیه و پیکربندی حساب‌های ذخیره‌سازی از مدل سیلوها استفاده می‌کنند. در عوض، OneLake یک سیستم ذخیره‌سازی واحد و منسجم را برای استفاده همه توسعه‌دهندگان فراهم می‌کند. کشف آسان داده‌ها، اشتراک‌گذاری، و اجرای یکنواخت سیاست‌ها و تنظیمات امنیتی توسط OneLake تضمین می‌شوند.

رتبه‌بندی داده در OneLake و lakehouse

داده‌ها در OneLake در طبقات مختلفی دسته‌بندی می‌شوند تا بدین صورت مدیریت آن‌ها در سرتاسر سازمان ساده‌تر شود. OneLake در مایکروسافت فابریک استفاده می‌شود و به هیچ تأمین و تدارکاتی از قبل نیاز ندارد. به‌ازای هر tenant یا مستأجر یک فضای OneLake وجود دارد و یک صفحه واحد از سیستم فایلی فضای نام را ارائه می‌دهد که در بین تمام کاربران از مناطق مختلف و فضای ابری گوناگون گسترش می‌یابد. OneLake داده‌ها را در واحدهای متناسب برای جابه‌جایی راحت‌تر سازماندهی می‌کند.

Tenant ‌ها ریشه‌های OneLake هستند و در رأس رتبه‌بندی‌های آن قرار دارند. شما می‌توانید هر تعداد فضای کاری که نیاز دارید در قالب پوشه بسازید و آن‌ها در داخل Tenant ‌ها دسته‌بندی کنید. Tenant واژه‌ای است برای توصیف گروهی از کاربران یا نرم‌افزارها که به یک منبع سخت‌افزاری مشترک دسترسی دارند.

تصویر زیر نشان می‌دهد که چگونه در فابریک داده‌ها در بخش‌های مختلف OneLake ذخیره می‌شوند. همان‌طور که می‌بینید، شما می‌توانید چندین فضای کاری را در داخل هر Tenant ایجاد کنید و در هر فضای کاری، چندین دریاچه داده بسازید. دریاچه داده مجموعه‌ای از فایل‌ها، پوشه‌ها و جداول است که یک پایگاه‌داده را تشکیل می‌دهد.

هر توسعه‌دهنده وب و واحدهای تجاری می‌توانند به‌راحتی فضای کاری موردنظر خود را در بخش Tenant در OneLake بسازند. آن‌ها می‌توانند داده‌ها را وارد lakehouse کنند و به سیستم اجازه دهند تا پردازش، تجزیه‌وتحلیل و مشارکت داده‌ را آغاز کند. دقیقاً به همان روشی که OneDrive در مایکروسافت آفیس عمل می‌کند.

تمام الگوهای محاسباتی مایکروسافت فابریک در داخل OneLake برنامه‌نویسی شده‌اند همان‌طور که اپلیکیشن‌های آفیس به‌گونه‌ای برنامه‌نویسی شده‌اند که برای ادامه فعالیت به OneDrive نیاز پیدا می‌کنند. سرویس‌هایی مانند Data Engineering، Data Warehouse، Data Factory، Power BI و Real-Time Intelligence از OneLake به‌عنوان محل ذخیره اصلی خود استفاده می‌کنند. این برنامه‌ها نیازی به پیکربندی اضافی ندارند.

شما می‌توانید حساب‌های ذخیره‌سازی خود در پلتفرم‌های PaaS (پلتفرم به‌عنوان سرویس) در OneLake را به‌صورت Shortcut نصب کنید. شما نیازی به انتقال و جابه‌جایی‌ هیچ‌کدام از داده‌های خود ندارید. با استفاده از این Shortcut ‌ها می‌توانید به دریاچه‌های داده در حساب Azure خود دسترسی داشته باشید.

با استفاده از Shortcut ‌ها می‌توانید داده‌ها را بدون نیاز به جابه‌جایی و کپی‌کردن، بین کاربران در اپلیکیشن‌های مختلف به اشتراک بگذارید. شما در OneLake می‌توانید برای داده‌هایی که در سایر سیستم‌های ذخیره‌سازی حضور دارند، Shortcut بسازید. این قابلیت به شما این امکان را می‌دهد تا داده‌ها را در فضای ابری به‌صورت شفاف و هوشمند در حافظه پنهان سیستم که هزینه‌ها را کاهش می‌دهد و محاسبه داده‌ها را راحت‌تر می‌کند، ترکیب و تجزیه‌وتحلیل کنید.

پایگاه Real-Time –  انسجام جریان‌های داده

پایگاه Real-Time یک مکان اصلی برای داده‌های در حال حرکت است.

پایگاه Real-Time سرویس‌های SaaS را در سطح منسجم ارائه می‌کند و یک فضای مناسب و هم‌اندازه با Tenant را برای داده‌های در حال حرکت فراهم می‌کند. داده‌ها از تمام منابعی که در دسترس کاربران هستند، کاربران بر آن‌ها تسلط دارند و آن‌ها را مدیریت و مصرف می‌کنند و به‌طورکلی تعامل دارند، در پایگاه Real-Time فهرست می‌شوند و شامل جریان‌ها و جداول پایگاه‌داده KQL هستند. جریان‌های مختلف شامل جریان داده یا Data Streams، منابع مایکروسافت (به‌عنوان‌مثال،Azure Event Hubs یا بخش رویدادهای Azure، Azure IoT Hub، Azure SQL DB Change Data Capture (CDC)، Azure Cosmos DB CDC و PostgreSQL DB CDC) و رویدادهای فابریک (سیستم رویدادهای فابریک و سیستم رویدادهای خارجی Azure، مایکروسافت ۳۶۵ و سایر فضاهای ابری) است.

پایگاه Real-Time به کاربران این امکان را می‌دهد که به‌راحتی داده‌های در حال حرکت را از منابع مختلف کشف کنند، یاد بگیرند، مدیریت و استفاده کنند تا بتوانند تمام داده‌ها را در یک مکان با هم ادغام کرده و اپلیکیشن‌های آنلاین را توسعه دهند.