انبار داده چیست؟

(Warehousing Data (DW یا همان پایگاه داده تحلیلی فرآیندی برای جمع آوری و مدیریت داده‌ها از منابع مختلف برای ارائه بینش معنادار تجاری است. انبار داده به طور معمول برای اتصال و تجزیه و تحلیل داده‌های تجاری از منابع ناهمگن استفاده می‌شود. انبار داده، هسته اصلی سیستم BI (هوش تجاری) است که برای تحلیل و گزارش داده ساخته شده است.

در این ذخیره سازی الکترونیکی، مقدار زیادی از اطلاعات توسط یک کسب و کار مشخص را که برای پرس و جو و تجزیه و تحلیل طراحی شده است، در خود جای می‌دهد. مهم‌ترین وظیفه‌ی این فرایند تبدیل داده‌ها به اطلاعات و در دسترس قرار دادن به موقع آنها در اختیار کاربران است تا تغییر مسیر سازمان به درستی ایجاد شود.

انبار داده‌ها جدا از پایگاه داده عملیاتی سازمان نگهداری می‌شود. به زبان دیگر، انبار داده یک محصول نیست بلکه یک محیط است. این یک ساختار معماری شده از یک سیستم اطلاعاتی است که اطلاعات پشتیبانی فعلی و تاریخی تصمیم‌گیری‌ها را که دسترسی به آن دشوار است یا در فروشگاه ذخیره‌سازی عملیاتی به صورت سنتی ارائه شده، در اختیار کاربران قرار می‌دهد.

اسامی دیگر

سیستم انبار داده با نام زیر نیز شناخته می‌شود:

• سیستم پشتیبانی تصمیم یا (DSS)
• سیستم اطلاعات اجرایی
• سیستم اطلاعات مدیریت
• راه حل هوش تجاری
• برنامه تحلیلی
• پایگاه داده تحلیلی

تاریخچه انبار داده

همان‌طور که ذکر شد، انبار داده به کاربران کمک می‌کند تا عملکرد سازمان خود را درک و ارتقا دهند. با پیچیده‌تر شدن سیستم‌های رایانه‌ای و نیاز مدیریت اطلاعات یک سیستم، نیاز به انبار داده‌ها تکامل یافت. با این حال، ذخیره سازی اطلاعات چیز جدیدی نیست.

 وقایع مهم در تکامل انبار داده

• ۱۹۶۰- دارتموث و جنرال میلز در یک پروژه تحقیقاتی مشترک، اصطلاحات ابعاد و حقایق را توسعه دادند.
• ۱۹۸۳- Tera Data Corporation یک سیستم مدیریت پایگاه داده را معرفی می‌کند که به طور خاص برای انبار داده‌ها طراحی شده است
• انبارداری داده‌ها از اواخر دهه ۱۹۸۰ و زمانی که کارمندان IBM، پل مورفی و باری دولین، انبار داده را ایجاد کردند، آغاز شد.

با این حال، مفهوم واقعی توسط اینمون بیل (Inmon Bill) ارائه شده است. او به عنوان پدر انبار داده شناخته می‌شود. وی در مورد موضوعات مختلفی برای ساخت، استفاده و نگهداری و انبار اطلاعات شرکت‌ها مطالب گسترده‌ای نوشته بود.

انبار داده چگونه کار می‌کند؟

انبار داده به عنوان مخزن مرکزی که در آن اطلاعات از یک یا چند منبع داده وارد می‌شوند، فعالیت دارد. داده‌ها از سیستم معاملات و سایر پایگاه‌های ارتباطی به یک انبار داده سرازیر می‌شوند. داده‎ها ممکن در سه حالت زیر پرداخته شوند:

• ساختارمند
• نیمه ساختاریافته
• داده‌های بدون ساختار

داده‌ها پردازش، تبدیل و تحلیل می‌شوند تا کاربران بتوانند از طریق ابزارهای هوش تجاری، سرویس گیرندگان SQL (نوعی زبان خاص دامنه در برنامه‌نویسی) و صفحات گسترده به داده‌های پردازش شده در انبار داده دسترسی پیدا کنند. یک انبار داده، اطلاعاتی را که از منابع مختلف در یک پایگاه داده جامع وارد می‌شود، ادغام می‌کند.

با ادغام تمام این اطلاعات در یک مکان، یک سازمان می‌تواند مشتریان خود را با نگاه کلی‌تری تجزیه و تحلیل کند. داده کاوی را امکان پذیر می‌کند و به دنبال الگوهایی در داده‌هاست که منجر به فروش و سود بیشتر شود.

انواع انبار داده

سه نوع اصلی انبار داده

1. انبار داده‌های سازمانی یا (Enterprise Data Warehouse (EDW :

یک انبار متمرکز است. این خدمات انبار داده‌ها را در سراسر شرکت فراهم می‌کند. در عین حال رویکردی واحد برای سازماندهی و نمایش داده‌ها را ارائه می‌دهد. همچنین این امکان را فراهم می‌کند تا داده‌ها را با توجه به موضوع طبقه‌بندی کرده و مطابق آن تقسیم بندی‌ها، دسترسی‌های لازم  ایجاد شوند.

1. انبار داده عملیاتی:

ذخیره داده عملیاتی، که ODS نیز نامیده می‌شود. در این محیط زمانی که به طور واقعی به داده‌ها نیازمندیم و آنها را فرا می­‌خوانیم، مورد استفاده قرار می‌گیرد. از این رو، برای فعالیت‌های معمول مانند ذخیره سوابق کارمندان مورد استفاده قرار می‌گیرد.

3. بازار داده :

این مهم با نام data mart نیز خوانده می‌شود. این بخش برای یک نوع مشاغل خاص مانند فروش و امور مالی طراحی شده است. در یک انبار داده می‌توان چندین بازار داده در نظر گرفت با این اطمینان که تغییر در یکی از این لایه‌ها تاثیری بر دیگر داده‌ها نخواهد گذاشت.

مراحل عمومی انبار داده

پیش از این، سازمان‌ها استفاده نسبتاً ساده‌ای از ذخیره سازی داده‌ها را مد نظر داشتند اما با گذشت زمان، استفاده پیچیده‌تری از انبارداری داده‌ها نیز آغاز شد. موارد زیر مراحل کلی استفاده از انبار داده است:

پایگاه داده عملیاتی آفلاین

در این مرحله، داده‌ها فقط از سیستم عملیاتی به سرور دیگری کپی می‌شوند. به این ترتیب، بارگذاری، پردازش و گزارش داده‌های کپی شده بر عملکرد سیستم عملیاتی تأثیر نمی‌گذارد.

انبار داده آفلاین

داده‌ها در انبار داده به طور منظم از پایگاه داده عملیاتی به روز می‌شوند. داده‌های انبار داده برای دستیابی به اهداف انبار داده نقشه برداری و تغییر شکل می‌یابد.

انبار داده در زمان واقعی

در این مرحله، هر زمان که معامله‌ای در پایگاه داده عملیاتی انجام شود، انبارهای داده به روز می‌شوند. به عنوان مثال، سیستم رزرو هواپیمایی یا راه آهن.

انبار داده یکپارچه

در این مرحله، داده‌های انبار هنگامی که سیستم عملیاتی معامله‌ای را انجام می‌دهد، به طور مداوم به روز می‌شوند. سپس انبار داده تراکنش‌هایی را ایجاد می‌کند که به سیستم عملیاتی بازگردانده می‌شوند.

اجزای انبار داده

چهار جز اصلی انبارهای داده عبارتند از:

۱- مدیریت بارگذاری

این کار با تمام عملیات مرتبط با استخراج و بارگذاری داده‌ها در انبار انجام می‌شود. این عملیات شامل تبدیلاتی برای آماده سازی داده‌ها برای ورود به انبار داده است.

۲- مدیریت انبار داده

 این عملیات مانند تجزیه و تحلیل داده‌ها برای اطمینان از ثبات، ایجاد شاخص‌ها و نمایش‌ها، تولید غیر عادی سازی و تجمع، تحول و ادغام داده‌های منبع و بایگانی و پردازش اطلاعات را انجام می‌دهد.

۳- مدیریت تحلیل

عملکرد بخش بر اساس آنالیزها و اطلاعات به دست آمده برای برنامه‌ریزی و پاسخ به سوالات کاربران طراحی می‌شود.

۴- ابزارهای دسترسی کاربر نهایی

این مورد در پنج گروه مختلف طبقه‌بندی می‌شود:

• گزارش دهی داده‌ها
• ابزارهای پرس و جو
• ابزارهای توسعه برنامه‌ها
• ابزارهای EIS
• ابزارهای OLAP و ابزارهای داده کاوی

چه کسی به انبار داده نیاز دارد؟

• تصمیم گیرندگانی که به مقدار انبوه داده اعتماد می‌کنند.
• کاربرانی که از فرایندهای پیچیده و سفارشی برای بدست آمده از اطلاعات چندین منبع داده استفاده می‌کنند.
• افرادی که خواهان یک رویکرد سیستماتیک برای تصمیم گیری هستند.
• کاربرانی که می‌خواهند با سرعت بالا روی مقدار زیادی از داده‌ها که برای گزارش‌ها، شبکه‌ها یا نمودارها ضروری است، عملکرد خوبی داشته باشد.
• کسانی که می‌خواهند “الگوهای پنهان” در جریان داده‌ها و گروه بندی‌ها را مورد استفاده قرار دهند.