راهنمای تحلیل اکتشافی داده ها (EDA): مفاهیم، تکنیک ها و ابزارها

تعریف و اهمیت اکتشاف داده‌ها (EDA)

داده‌ها مثل یک جعبه گنج پنهان‌شده در دست شما هستند. در این جعبه، اطلاعات با ارزشی نهفته است که می‌تواند به شما در فهمیدن دنیای اطراف کمک کند. حال مسئله این است که چگونه این گنج را کشف کنیم؟ اینجاست که "اکتشاف داده‌ها" یا همان "EDA" به ما کمک می‌کند.
EDA یعنی چه؟  یک روش است برای "باز کردن جعبه" و نگاه‌کردن به "گنج". در واقع، EDA به ما اجازه می‌دهد که به داده‌ها نگاه کنیم، با آنها بازی کنیم و سعی کنیم بفهمیم چه چیزی درون آنها پنهان است.
اما چرا EDA به این شدت مهم است؟ برای درک بهتر، بیایید یک مثال از آشپزی بیاوریم. فرض کنید که شما یک آشپز هستید و قصد دارید یک غذای جدید آماده کنید، اما اطلاعی از مواد اولیه‌ای که در اختیار دارید ندارید. حالا اگر با استفاده از EDA، شما بتوانید این مواد اولیه را بشناسید، ببینید چه مواد اولیه‌ای در اختیار شما هست و چه تأثیراتی می‌توانند در طعم و ظاهر غذای شما داشته باشند، خب آنگاه می‌توانید یک غذای خوشمزه و دلپذیر آماده کنید، درست است؟ EDA به همین شکل عمل می‌کند.
EDA به ما این امکان را می‌دهد که داده‌هایمان را به طور دقیق شناسایی کنیم، الگوها و ارتباطات موجود در آن‌ها را متوجه شویم و یاد بگیریم که چه اطلاعاتی می‌توان از داده‌ها استخراج کرد. این امکانات ما را قادر می‌سازد که بهتر درک کنیم چه کاری باید با داده‌ها انجام دهیم، چگونه می‌توانیم آن‌ها را بهتر تحلیل کنیم و چگونه می‌توانیم از آن‌ها برای پیش‌بینی و تصمیم‌گیری بهره ببریم.
به همین دلیل، EDA یکی از ابزارهای قدرتمند و ضروری در دنیای داده و یادگیری ماشین است. پس بیایید مواد اولیه را بررسی کنیم و غذای خوشمزهٔ داده‌ها را آماده کنیم!

فرایند اکتشاف داده‌ها (EDA)

حال که می‌دانیم EDA چیست و چرا مهم است، بیایید نگاهی به فرایند انجام آن بیندازیم. فرایند EDA مثل سفری است که برای کشف یک جزیره ناشناخته آغاز می‌کنیم. چه می‌توانیم در این سفر انتظار داشته باشیم؟
1.    بررسی اولیه داده‌ها: این مرحله مثل ورود به جزیره است. شما ابتدا به داده‌ها نگاه می‌کنید و سعی می‌کنید تا تصویر اولیه‌ای از آن‌ها در ذهن خود بسازید. در این مرحله، شما اطلاعات مختلفی مانند تعداد رکوردها (سطرها)، تعداد ویژگی‌ها (ستون‌ها)، نوع داده‌ها (مثل عددی، دسته‌ای، متنی و غیره) و وجود داده‌های گمشده را بررسی می‌کنید.
2.    پیش‌پردازش داده‌ها: در این مرحله، شما سعی می‌کنید داده‌های خود را برای سفر پیشرو آماده کنید. این می‌تواند شامل حذف داده‌های ناقص یا پرت، جایگزینی داده‌های گمشده یا تغییر شکل داده‌ها باشد.
3.    تجزیه‌وتحلیل آماری: حالا که داده‌ها آماده‌اند، شما شروع به کشف جزیره یا به‌عبارت‌دیگر، تجزیه‌وتحلیل آماری داده‌ها می‌کنید. شما می‌توانید به چیزهای مختلفی نظیر میانگین، میانه، واریانس و دیگر پارامترهای آماری نگاه کنید.
4.    تجسم داده: در نهایت، شما سعی می‌کنید تا کشفیات خود را به‌صورت تصویری نشان دهید. این می‌تواند با استفاده از نمودارهای مختلف مانند نمودارهای ستونی، خطی، نقطه‌ای و غیره باشد. تجسم داده به شما کمک می‌کند تا الگوها و روابط موجود در داده‌ها را بهتر ببینید و درک کنید.
توجه داشته باشید که این فرایند مداوم است و برای دستیابی به نتایج بهتر، ممکن است نیاز باشد که چندین بار به هر مرحله برگردید و تغییراتی ایجاد کنید. پس همیشه حاضر باشید برای کشف جزیره داده‌های خود، باز هم به سفر بروید!

ابزارها و تکنیک‌های اکتشاف داده‌ها (EDA)

تابه‌حال در مورد چراها و چگونگی‌های EDA صحبت کردیم، اما برای انجام این کار چه ابزارها و تکنیک‌هایی وجود دارد؟ بیایید با هم نگاهی به آن‌ها بیندازیم:
ابزارهای برنامه‌نویسی:  ابزارهای مختلفی در زبان‌های برنامه‌نویسی مختلف برای اکتشاف داده‌ها یا EDA وجود دارند. در زبان C#، می‌توان از کتابخانه‌هایی مانند Deedle و MathNet.Numerics استفاده کرد. Deedle قابلیت مدیریت داده‌ها در قالب جداول و زمان‌بندی‌های متنوع را دارد. 
در ادامه، زبان‌های برنامه‌نویسی مانند پایتون و R نیز دارای کتابخانه‌های قدرتمندی برای EDA هستند. در پایتون، کتابخانه‌هایی مانند Pandas، NumPy و Matplotlib وجود دارند که امکانات گسترده‌ای برای محاسبات آماری و تجسم داده‌ها فراهم می‌کنند. به طور مشابه، در R، کتابخانه‌هایی مانند dplyr و ggplot2 می‌توانند برای اکتشاف داده‌ها مورداستفاده قرار گیرند.
برنامه‌های تجزیه‌وتحلیل داده: برنامه‌هایی مثل Excel یا Google Sheets، ابزارهای مفیدی برای EDA به شمار می‌روند، بخصوص وقتی حجم داده‌ها زیاد نیست. با استفاده از این ابزارها، می‌توانید داده‌ها را بررسی، فیلتر و مرتب کنید، و حتی نمودارهای اولیه را بکشید.
برنامه‌های تجسم داده: ابزارهایی مثل Tableau و PowerBI امکانات پیشرفته‌ای برای تجسم داده و اجرای تحلیل‌های EDA ارائه می‌دهند. این ابزارها به شما اجازه می‌دهند که داده‌ها را به‌صورت تعاملی بررسی کنید و تحلیل‌های پیچیده را به شکل‌های قابل‌فهم تصویری تبدیل کنید.
حالا که با ابزارها آشنا شدیم، بیایید چند تکنیک مرسوم EDA را ببینیم:
1.    توصیف داده‌ها: این شامل استفاده از آماره‌های توصیفی مثل میانگین، میانه، واریانس و انحراف معیار است.
2.    تجزیه‌وتحلیل توزیع: این بررسی می‌کند که چگونه داده‌ها در مجموعه‌داده پخش شده‌اند. این شامل استفاده از نمودارهای توزیع فراوانی، نمودارهای جعبه‌ای و هیستوگرام‌ها است.
3.    بررسی روابط: در اینجا، شما سعی می‌کنید رابطه بین متغیرهای مختلف را بررسی کنید. این می‌تواند با استفاده از نمودارهای نقطه‌ای، ماتریس‌های همبستگی و رگرسیون‌ها انجام شود.
یاد بگیرید چگونه این ابزارها و تکنیک‌ها را به کار بگیرید و شما خواهید دید که چقدر سفر اکتشاف داده‌ها می‌تواند جذاب و مفید باشد!

تحلیل آماری در اکتشاف داده‌ها (EDA)

تحلیل آماری یک بخش بزرگ و مهم از EDA است. برای فهم بهتر داده‌ها، آماره‌های توصیفی و تجزیه‌وتحلیل‌های آماری مختلفی وجود دارد که می‌توانیم از آن‌ها استفاده کنیم. بیایید به برخی از آن‌ها نگاهی بیندازیم:
1.    آماره‌های توصیفی: این‌ها شامل چیزهای ساده مثل میانگین، میانه، حالت (مقداری که بیشترین تکرار را دارد)، واریانس (که نشان‌دهنده پراکندگی داده‌ها است) و انحراف معیار (که نشان‌دهنده میزان پراکندگی نسبت به میانگین است) هستند.
2.    توزیع داده‌ها: این شامل بررسی شکل توزیع داده‌ها است. برای مثال، داده‌ها می‌توانند توزیع نرمال یا توزیع بیضوی داشته باشند. شکل توزیع داده‌ها می‌تواند اطلاعات مهمی در مورد داده‌ها ارائه دهد.
3.    بررسی روابط: این شامل بررسی رابطه بین دو یا چند متغیر است. می‌توانیم از تکنیک‌های مختلفی مانند ماتریس همبستگی، نمودارهای نقطه‌ای یا حتی تحلیل رگرسیون برای بررسی این روابط استفاده کنیم.
4.    تست‌های آماری: برخی از تحلیل‌های EDA ممکن است شامل اجرای تست‌های آماری بر روی داده‌ها باشد تا بتوانیم فرضیه‌های خاصی را تست کنیم. برای مثال، تست t-Student می‌تواند بگوید که آیا تفاوت میان دو میانگین نمونه به‌صورت اتفاقی است یا خیر.
تحلیل آماری در EDA می‌تواند به ما کمک کند تا اطلاعات عمیق‌تر و دقیق‌تری از داده‌هایمان به دست آوریم و بهتر درک کنیم که چه چیزی در داده‌هایمان در حال اتفاق‌افتادن است. این فرایند می‌تواند به ما کمک کند تا پیچیدگی‌ها، الگوها و روابط مخفی در داده‌ها را کشف کنیم و در نهایت به تصمیمات بهتر و دقیق‌تر برسیم.

تجسم داده در اکتشاف داده‌ها (EDA)

تجسم داده‌ها یکی از قدرتمندترین و ساده‌ترین راه‌ها برای کاوش و درک داده‌ها است. در واقع، اغلب بینایی ما از داده‌ها به‌مراتب سریع‌تر و دقیق‌تر از تحلیل عددی آن‌ها است. با استفاده از تجسم، می‌توانیم الگوها، ترندها و روابط میان متغیرها را در داده‌ها به‌راحتی ببینیم. این تکنیک به ما این امکان را می‌دهد که به‌صورت گرافیکی و بصری با داده‌هایمان برخورد کنیم. در ادامه به برخی از تکنیک‌های تجسم داده در EDA خواهیم پرداخت:
1.    نمودارهای خطی و نقطه‌ای: این نمودارها عالی هستند برای نشان‌دادن ترند یا الگو در داده‌ها. نمودارهای خطی برای نمایش تغییرات یک متغیر در طول زمان عالی هستند، درحالی‌که نمودارهای نقطه‌ای می‌توانند رابطه بین دو متغیر را نشان دهند.
2.    نمودارهای میله‌ای و ستونی: این نمودارها عالی هستند برای نمایش تعداد یا میزان متغیر در گروه‌های مختلف.
3.    نمودارهای جعبه‌ای (Box Plots): این نمودارها عالی هستند برای نشان‌دادن توزیع داده‌ها، و همچنین برای شناسایی مقادیر پرت.
4.    نمودارهای حرارتی (Heatmaps): این نمودارها می‌توانند برای نمایش همبستگی بین متغیرها استفاده شوند.
5.    هیستوگرام‌ها: هیستوگرام‌ها نمودارهایی هستند که توزیع یک متغیر را نشان می‌دهند.
تجسم داده‌ها در EDA به ما کمک می‌کند تا فهم بهتری از داده‌هایمان داشته باشیم و قدم بعدی خود را برای تحلیل داده‌ها بهتر برنامه‌ریزی کنیم. به یاد داشته باشید که هر نمودار یا تکنیک تجسم خاصی، اطلاعات خاصی را ارائه می‌دهد و همیشه بهتر است که از مجموعه‌ای از تکنیک‌های مختلف استفاده کنیم تا دید کامل‌تری از داده‌هایمان داشته باشیم.

مطالعه موردی EDA: پیش‌بینی قیمت مسکن

برای درک بهتر EDA، یک مطالعه موردی برای پیش‌بینی قیمت مسکن را در نظر بگیرید. فرض کنید داده‌های مربوط به فروش مسکن در یک شهر خاص را دارید. این داده‌ها شامل اطلاعاتی مانند مساحت زمین، تعداد اتاق‌ها، سال ساخت، موقعیت جغرافیایی و البته قیمت فروش است.
اولین گام در EDA این است که با داده‌ها آشنا شود و آن‌ها را بررسی کنید. این شامل مشاهده ابعاد داده‌ها، نوع داده‌ها و مقادیر ناقص است. در C#، می‌توانید از کتابخانه‌هایی مثل Deedle و MathNet.Numerics استفاده کنید که امکانات گسترده‌ای را برای بررسی و تحلیل داده‌ها فراهم می‌کنند.
به‌عنوان‌مثال، در Deedle، می‌توانید از متدهایی مانند Frame.Rows.Count برای به‌دست‌آوردن تعداد ردیف‌ها یا Frame.Columns.Count برای به‌دست‌آوردن تعداد ستون‌ها استفاده کنید. برای بررسی نوع داده‌ها، می‌توانید از خاصیت Column.Keys استفاده کنید. همچنین، می‌توانید از متدهای MathNet.Numerics برای محاسبات آماری پیچیده‌تر استفاده کنید.
این روش‌ها به شما اجازه می‌دهند که یک دید کلی به داده‌ها بدهید و با ویژگی‌های اصلی آن‌ها آشنا شوید، قبل از اینکه به تحلیل و تفسیر داده‌ها بپردازید.

بعد از آن، می‌توانید به بررسی توزیع داده‌ها بپردازید. این کار می‌تواند با استفاده از هیستوگرام‌ها و نمودارهای جعبه‌ای انجام شود. به‌عنوان‌مثال، شما می‌توانید یک هیستوگرام از قیمت‌های مسکن بسازید تا ببینید آیا اکثر مسکن‌ها در یک رنج قیمت خاص قرار دارند یا خیر.
سپس، می‌توانید روابط بین متغیرها را بررسی کنید. نمودارهای نقطه‌ای و نمودارهای حرارتی برای این منظور مفید هستند. مثلاً، شما می‌توانید یک نمودار نقطه‌ای بین مساحت زمین و قیمت فروش بسازید تا ببینید آیا مساحت بیشتر باعث افزایش قیمت می‌شود یا خیر.
همچنین، می‌توانید متغیرهای دسته‌بندی را بررسی کنید. مثلاً، شما می‌توانید بررسی کنید که آیا موقعیت جغرافیایی مسکن تأثیری بر قیمت آن دارد یا خیر.
نهایتاً، EDA به شما در شناسایی و بررسی موارد عجیب‌وغریب یا مقادیر پرت در داده‌ها کمک می‌کند. به‌عنوان‌مثال، اگر یک مسکن با مساحت خیلی کم یا خیلی زیاد قیمت غیرمنتظره‌ای دارد، ممکن است بخواهید آن را بیشتر بررسی کنید.
به‌طورکلی، EDA به شما این امکان را می‌دهد که داده‌ها را از زوایای مختلف ببینید، سؤالات جدید بپرسید و بهترین راه برای پیشبرد پروژه خود را بیابید. در این مورد، EDA می‌تواند به شما کمک کند تا مدل پیش‌بینی قیمت مسکن مناسب‌تری را بسازید.

نتیجه‌گیری
اکتشاف داده‌ها یا EDA یک گام ضروری و بنیادین در هر پروژهٔ تحلیل داده و یادگیری ماشین است. این رویکرد به ما امکان می‌دهد که به‌جای اینکه فقط به داده‌ها نگاه کنیم، با آن‌ها برخورد کنیم، از آن‌ها سؤال بپرسیم، و برای برخی از چالش‌ها و مسائل راه‌حل پیدا کنیم.
در واقع، EDA یک فرصت است برای کشف الگوها، شناسایی روابط بین متغیرها، و حتی تشخیص داده‌های پرت یا نامعمول. همچنین، این فرایند می‌تواند به ما کمک کند تا فهم بهتری از داده‌هایی که با آن‌ها کار می‌کنیم داشته باشیم، و به ما بگوید که کدام ویژگی‌ها احتمالاً برای پیش‌بینی یا تحلیل ما مفیدتر هستند.
EDA ابزاری قدرتمند برای کشف داستانی است که داده‌ها دارند برای ما تعریف کرد. با استفاده از آن، ما می‌توانیم به داده‌ها نگاه عمیق‌تری بیندازیم و بفهمیم که چه چیزی در پشت آن‌ها در حال رخ‌دادن است. با یادگیری و استفاده از EDA، شما می‌توانید برای تحلیل و تفسیر داده‌ها خود یک اساس محکم و قوی بسازید.