نحوه پیش پردازش داده در پایتون — ۷ مرحله اصلی

مرحله ۳: تحلیل آماری

برای انجام تحلیل آماری، می‌توان از متد describe در Pandas استفاده کرد. این متد یک نمای کلی از ویژگی‌های آماری مجموعه داده ارائه می‌دهد، از جمله مقادیر میانگین، میانه، انحراف معیار، کمینه و بیشینه برای ستون‌های عددی.

df.describe()

خروجی:

جدول بالا تعداد، میانگین، انحراف معیار، کمینه، ۲۵٪، ۵۰٪، ۷۵٪ و بیشینه مقادیر را برای هر ستون نشان می‌دهد. زمانی که با دقت به جدول نگاه کنیم، متوجه می‌شویم که ستون‌های Insulin، Pregnancies، BMI و BloodPressure دارای مقادیر پرت هستند. برای درک بهتر، نمودار Boxplot را برای هر ستون رسم می‌کنیم.

مرحله ۴: بررسی مقادیر پرت

# Box Plots
fig, axs = plt.subplots(9,1,dpi=95, figsize=(7,17))
i = 0
for col in df.columns:
 axs[i].boxplot(df[col], vert=False)
 axs[i].set_ylabel(col)
 i+=1
plt.show()

خروجی:

از نمودار Boxplot بالا، به وضوح می‌توان مشاهده کرد که تقریباً هر ستون مقداری مقادیر پرت (Outliers) دارد.

# Identify the quartiles
q1, q3 = np.percentile(df['Insulin'], [25, 75])
# Calculate the interquartile range
iqr = q3 - q1
# Calculate the lower and upper bounds
lower_bound = q1 - (1.5 * iqr)
upper_bound = q3 + (1.5 * iqr)
# Drop the outliers
clean_data = df[(df['Insulin'] >= lower_bound) 
    & (df['Insulin'] <= upper_bound)]


# Identify the quartiles
q1, q3 = np.percentile(clean_data['Pregnancies'], [25, 75])
# Calculate the interquartile range
iqr = q3 - q1
# Calculate the lower and upper bounds
lower_bound = q1 - (1.5 * iqr)
upper_bound = q3 + (1.5 * iqr)
# Drop the outliers
clean_data = clean_data[(clean_data['Pregnancies'] >= lower_bound) 
      & (clean_data['Pregnancies'] <= upper_bound)]


# Identify the quartiles
q1, q3 = np.percentile(clean_data['Age'], [25, 75])
# Calculate the interquartile range
iqr = q3 - q1
# Calculate the lower and upper bounds
lower_bound = q1 - (1.5 * iqr)
upper_bound = q3 + (1.5 * iqr)
# Drop the outliers
clean_data = clean_data[(clean_data['Age'] >= lower_bound) 
      & (clean_data['Age'] <= upper_bound)]


# Identify the quartiles
q1, q3 = np.percentile(clean_data['Glucose'], [25, 75])
# Calculate the interquartile range
iqr = q3 - q1
# Calculate the lower and upper bounds
lower_bound = q1 - (1.5 * iqr)
upper_bound = q3 + (1.5 * iqr)
# Drop the outliers
clean_data = clean_data[(clean_data['Glucose'] >= lower_bound) 
      & (clean_data['Glucose'] <= upper_bound)]


# Identify the quartiles
q1, q3 = np.percentile(clean_data['BloodPressure'], [25, 75])
# Calculate the interquartile range
iqr = q3 - q1
# Calculate the lower and upper bounds
lower_bound = q1 - (0.75 * iqr)
upper_bound = q3 + (0.75 * iqr)
# Drop the outliers
clean_data = clean_data[(clean_data['BloodPressure'] >= lower_bound) 
      & (clean_data['BloodPressure'] <= upper_bound)]


# Identify the quartiles
q1, q3 = np.percentile(clean_data['BMI'], [25, 75])
# Calculate the interquartile range
iqr = q3 - q1
# Calculate the lower and upper bounds
lower_bound = q1 - (1.5 * iqr)
upper_bound = q3 + (1.5 * iqr)
# Drop the outliers
clean_data = clean_data[(clean_data['BMI'] >= lower_bound) 
      & (clean_data['BMI'] <= upper_bound)]


# Identify the quartiles
q1, q3 = np.percentile(clean_data['DiabetesPedigreeFunction'], [25, 75])
# Calculate the interquartile range
iqr = q3 - q1
# Calculate the lower and upper bounds
lower_bound = q1 - (1.5 * iqr)
upper_bound = q3 + (1.5 * iqr)

# Drop the outliers
clean_data = clean_data[(clean_data['DiabetesPedigreeFunction'] >= lower_bound) 
      & (clean_data['DiabetesPedigreeFunction'] <= upper_bound)]

مرحله ۵: همبستگی (Correlation)

#correlation
corr = df.corr()

plt.figure(dpi=130)
sns.heatmap(df.corr(), annot=True, fmt= '.2f')
plt.show()

خروجی:

ما همچنین می‌توانیم مقایسه را بر اساس یک ستون به صورت نزولی انجام دهیم.

corr['Outcome'].sort_values(ascending = False)

خروجی:

Outcome                     1.000000
Glucose                     0.466581
BMI                         0.292695
Age                         0.238356
Pregnancies                 0.221898
DiabetesPedigreeFunction    0.173844
Insulin                     0.130548
SkinThickness               0.074752
BloodPressure               0.0

plt.pie(df.Outcome.value_counts(), 
  labels= ['Diabetes', 'Not Diabetes'], 
  autopct='%.f', shadow=True)
plt.title('Outcome Proportionality')
plt.show()

مرحله ۶: جداسازی ویژگی‌های مستقل و متغیرهای هدف

# separate array into input and output components
X = df.drop(columns =['Outcome'])
Y = df.Outcome

مرحله ۷: نرمال‌سازی یا استانداردسازی

نرمال سازی:

• MinMaxScaler داده‌ها را طوری مقیاس‌بندی می‌کند که هر ویژگی در بازه [۰، ۱] قرار گیرد.
• این روش زمانی خوب عمل می‌کند که ویژگی‌ها مقیاس‌های متفاوتی داشته باشند و الگوریتم مورد استفاده به مقیاس ویژگی‌ها حساس باشد، مانند k-nearest neighbors یا شبکه‌های عصبی.
• داده‌های خود را با استفاده از scikit-learn و ابزار MinMaxScaler مقیاس‌بندی کنید.

# initialising the MinMaxScaler
scaler = MinMaxScaler(feature_range=(0, 1))
 
# learning the statistical parameters for each of the data and transforming
rescaledX = scaler.fit_transform(X)
rescaledX[:5]

خروجی:

array([[0.353, 0.744, 0.59 , 0.354, 0.   , 0.501, 0.234, 0.483],
       [۰.۰۵۹, ۰.۴۲۷, ۰.۵۴۱, ۰.۲۹۳, ۰.   , ۰.۳۹۶, ۰.۱۱۷, ۰.۱۶۷],
       [۰.۴۷۱, ۰.۹۲ , ۰.۵۲۵, ۰.   , ۰.   , ۰.۳۴۷, ۰.۲۵۴, ۰.۱۸۳],
       [۰.۰۵۹, ۰.۴۴۷, ۰.۵۴۱, ۰.۲۳۲, ۰.۱۱۱, ۰.۴۱۹, ۰.۰۳۸, ۰.   ],
       [۰.   , ۰.۶۸۸, ۰.۳۲۸, ۰.۳۵۴, ۰.۱۹۹, ۰.۶۴۲, ۰.۹۴۴, ۰.۲  ]])

استانداردسازی

• استانداردسازی یک تکنیک مفید است برای تبدیل ویژگی‌هایی که توزیع گاوسی دارند و میانگین‌ها و انحراف معیارهای متفاوتی دارند، به یک توزیع گاوسی استاندارد با میانگین ۰ و انحراف معیار ۱.
• ما می‌توانیم داده‌ها را با استفاده از کلاس StandardScaler در scikit-learn استانداردسازی کنیم.
• این روش زمانی خوب عمل می‌کند که ویژگی‌ها توزیع نرمال داشته باشند یا زمانی که الگوریتم مورد استفاده به مقیاس ویژگی‌ها حساس نباشد.

from sklearn.preprocessing import StandardScaler
 
scaler = StandardScaler().fit(X)
rescaledX = scaler.transform(X)
rescaledX[:5]

خروجی:

array([[ 0.64 ,  0.848,  0.15 ,  0.907, -0.693,  0.204,  0.468,  1.426],
       [-۰.۸۴۵, -۱.۱۲۳, -۰.۱۶۱,  ۰.۵۳۱, -۰.۶۹۳, -۰.۶۸۴, -۰.۳۶۵, -۰.۱۹۱],
       [ ۱.۲۳۴,  ۱.۹۴۴, -۰.۲۶۴, -۱.۲۸۸, -۰.۶۹۳, -۱.۱۰۳,  ۰.۶۰۴, -۰.۱۰۶],
       [-۰.۸۴۵, -۰.۹۹۸, -۰.۱۶۱,  ۰.۱۵۵,  ۰.۱۲۳, -۰.۴۹۴, -۰.۹۲۱, -۱.۰۴۲],
       [-۱.۱۴۲,  ۰.۵۰۴, -۱.۵۰۵,  ۰.۹۰۷,  ۰.۷۶۶,  ۱.۴۱ ,  ۵.۴۸۵,

نتیجه گیری

در این مقاله مراحل و نحوه پیش پردازش داده در پایتون را بررسی کردیم و اقدامات مختلفی را برای آماده‌سازی داده‌ها انجام دادیم. ابتدا داده‌ها را بارگذاری و اطلاعات اولیه را بررسی کردیم که نشان داد هیچ مقدار تهی (Null) در داده‌ها وجود ندارد. سپس با استفاده از تحلیل آماری، توصیفاتی از ویژگی‌های مختلف داده‌ها به دست آوردیم در نهایت، برای بررسی روابط بین ویژگی‌ها، ماتریس همبستگی را محاسبه کردیم که به ما کمک کرد تا ارتباطات مختلف بین ویژگی‌ها را درک کنیم. این مراحل برای آماده‌سازی داده‌ها به منظور اعمال مدل‌های یادگیری ماشین و بهبود دقت پیش‌بینی‌ها بسیار مهم هستند.