결정트리의 과적합(Overfitting)
1. 결정트리 더미 데이터 생성
사이킷런에서 제공하는 make_classification()를 통해 분류 모형 데이터를 생성하고 시각화해 이를 통해 과적합(Overfitting)을 살펴본다.
make_classification()는 분류를 위해 테스트용 데이터를 쉽게 만들수 있도록 하는 함수이며 파라미터는 아래와 같다.
- n_features : 독립 변수의 수, 디폴트 20
- n_samples : 표본 데이터의 수, 디폴트 100
- n_redundant : 독립 변수 중 다른 독립 변수의 선형 조합으로 나타나는 성분의 수, 디폴트 2
- n_informative : 독립 변수 중 종속 변수와 상관 관계가 있는 성분의 수, 디폴트 2
- n_repeated : 독립 변수 중 단순 중복된 성분의 수, 디폴트 0
- n_classes : 종속 변수의 클래스 수, 디폴트 2
- n_clusters_per_class : 클래스 당 클러스터의 수, 디폴트 2
- weights : 각 클래스에 할당된 표본 수
- random_state : 난수 발생 시드
⎷ 실습
과적합 케이스를 위해 다음과 같이 데이터를 생성한다. feature는 2개, 결정값 클래스는 3가지 유형을 가진 calssification 더미 데이터를 생성한다.
from sklearn.datasets import make_classification
import matplotlib.pyplot as plt
%matplotlib inline
plt.title("3 Class values with 2 Features Sample data creation")
# 2차원 시각화를 위해서 feature는 2개, 결정값 클래스는 3가지 유형의 classification 샘플 데이터 생성.
X_features, y_labels = make_classification(n_features=2, n_redundant=0, n_informative=2,
n_classes=3, n_clusters_per_class=1,random_state=0)
# plot 형태로 2개의 feature로 2차원 좌표 시각화, 각 클래스값은 다른 색깔로 표시됨.
plt.scatter(X_features[:, 0], X_features[:, 1], marker='o', c=y_labels, s=25, cmap='rainbow', edgecolor='k')▶ Out
2. 결정트리의 과적합
⎷ 실습
위에서 생성한 결정트리 더미 데이터를 가지고 Decision Boundary를 시각화하는 함수를 생성한다.
import numpy as np
# Classifier의 Decision Boundary를 시각화 하는 함수
def visualize_boundary(model, X, y):
fig,ax = plt.subplots()
# 학습 데이타 scatter plot으로 나타내기
ax.scatter(X[:, 0], X[:, 1], c=y, s=25, cmap='rainbow', edgecolor='k',
clim=(y.min(), y.max()), zorder=3)
ax.axis('tight')
ax.axis('off')
xlim_start , xlim_end = ax.get_xlim()
ylim_start , ylim_end = ax.get_ylim()
# 호출 파라미터로 들어온 training 데이타로 model 학습 .
model.fit(X, y)
# meshgrid 형태인 모든 좌표값으로 예측 수행.
xx, yy = np.meshgrid(np.linspace(xlim_start,xlim_end, num=200),np.linspace(ylim_start,ylim_end, num=200))
Z = model.predict(np.c_[xx.ravel(), yy.ravel()]).reshape(xx.shape)
# contourf() 를 이용하여 class boundary 를 visualization 수행.
n_classes = len(np.unique(y))
contours = ax.contourf(xx, yy, Z, alpha=0.3,
levels=np.arange(n_classes + 1) - 0.5,
cmap='rainbow', clim=(y.min(), y.max()),
zorder=1)
주요 하이퍼파라미터를 default 셋팅된 결정트리의 Decison Boundary를 시각화해보자. 아래 화살표에서 표시한 것처럼 별도 제약이 없으면 단 하나의 특징이 존재하면 그 곳에 분류 기준성이 생기는것을 확인할 수 있다. 이렇듯 엄격한 분할 기준으로 인해 결정 기준 경계가 많아지고 복잡해지는 것을 확인할 수 있다.
이렇게 복잡한 모델의 경우 기존과 다른 형태의 데이터가 들어오게 되면 예측 정확도가 떨어지게 되는 문제가 발생한다.
from sklearn.tree import DecisionTreeClassifier
# 특정한 트리 생성 제약없는 결정 트리의 Decsion Boundary 시각화.
dt_clf = DecisionTreeClassifier(random_state=156).fit(X_features, y_labels)
visualize_boundary(dt_clf, X_features, y_labels)▶ Out
이제 주요 하이퍼 하이퍼파라미터 중 min_samples_leaf 값을 조정하여 Decision Boundary를 시각화해보자. min_samples_leaf를 간략히 설명하면 말단 노드(Leaf)가 되기 위한 최소한의 샘플 데이터 수를 설정하기 위한 값이다.
min_samples_leaf를 6으로 설정하게 되면 6개 이하의 데이터는 리프 노드를 생성할 수 있도록 생성 규칙을 완화하게 되면 좀 더 일반화되고 덜 복잡한 형태로 분류됨을 확인할 수 있다. 이렇게 하이퍼 파라미터를 조정하게 되면 모델의 성능을 향상시킬 수 있게 된다.
# min_samples_leaf=6 으로 트리 생성 조건을 제약한 Decision Boundary 시각화
dt_clf = DecisionTreeClassifier(random_state=156, min_samples_leaf=6).fit(X_features, y_labels)
visualize_boundary(dt_clf, X_features, y_labels)▶ Out
