[인공지능 통합과정] 6주차 : 타이타닉 실습 (미니프로젝트 2)

---

# 머신러닝 프로젝트의 교과서, 타이타닉

 

6주차 (사실 5주차 마지막 날 + 6주차 첫 날) 에는 머신러닝을 배우는 사람이라면 누구나 입문하게 되는 '캐글 타이타닉 프로젝트' 를 진행하게 되었다. (캐글 데이터셋: www.kaggle.com/c/titanic) 

Titanic - Machine Learning from Disaster

이틀이라는 짧은 시간 동안 진행되었기에, '프로젝트'라고 부르기엔 약간의 어폐가 있는 것 같고 '실습활동' 정도가 적당한 것 같다. 본 실습의 목적은 정형데이터셋을 활용하여 일주일 간 배운 머신러닝 이론들을 코드로 직접 구현해보는 데 있었기에, 따로 주제를 정하거나 데이터를 수집하는데 불필요한 에너지를 들이지 않아도 되었다. 

 

팀원들과 인사를 나누고 바로 작업을 시작했는데, 작업 순서는 다음과 같았다:

1. 데이터 살펴보기 (EDA)
2. 데이터 전처리 (불필요한 데이터 제거, 결측치 채우기) 
3. 테스트/검증 데이터 분리
4. 머신러닝 모델 설계
5. 모델 검증 및 hyperparameter tuning

---

# 타이타닉 데이터는 어떻게 생겼는가 

 

본격적으로 실습에 들어가기에 앞서 데이터를 살펴보는 시간을 가졌는데, 단순히 수량적인 우열을 따지기보다 실제로 생존한 자들과 (survived) 죽은 자들(dead)의 특징이 존재하는지 알아보고자 했다. 

 

탑승자 연령대별 생존자

탑승자 호칭별 생존자

탑승자 탑승지별 생존자

 

탑승자 숙소 구역별 생존자

 

탑승자 티켓 가격대별 생존자

이 당시에 조원들 각자 몇 몇 카테고리씩 맡아 생존자 비율과 사망자 비율을 구해보았는데, 결과적으로는 그래프를 그려주는 함수 하나로 모든 시각화가 간단히 해결되었다. 

def survived_graph(value):
    survived = data_df[data_df['Survived']==1][value].value_counts()
    dead = data_df[data_df['Survived']==0][value].value_counts()
    df = pd.DataFrame([survived, dead])
    df.index = ['Survived', 'Dead']
    df.plot(kind='bar', stacked=True, figsize=(5,5))

생존자는 1, 사망자는 0으로 기록되었기 때문에 원본 데이터에서 해당 기록에 맞는 행들을 선택해 추출한뒤, 일정한 기준에 맞추어 바 그래프를 그리도록 했다. 

 

결과를 1차원적으로 해석해 보았을 때, 남성보다는 여성이, 청년층보다는 유년층이, C 지역에서 탑승한 승객들이 생존율이 더 높다는 사실을 유추해볼 수 있었다. 

---

# 빼고 채워넣기

 

타이타닉 데이터를 활용할 때 맞닥뜨린 어려움 중 하나는 데이터의 결측치였다. 탑승객들의 연령, 탑승지, 티켓값, 객실 위치 등등의 열들에서 결측치가 빈번하게 발생하고 있음을 확인한 이후, 빈 데이터를 어떻게 채워넣을지 고민해보았다. 

 

우선, 연령의 경우, 우리 조가 선택한 방법은 기존 데이터에서 결측값이 아닌 연령을 하나의 데이터셋으로 활용하여 결측치가 발생할 때마다 해당 데이터셋에서 무작위로 추출하는 방법을 선택했다. 

# 기존 데이터의 Age 를 하나의 pool 로 만들어 랜덤 추출후 값 지정

age_list = [ x for x in x_data['Age'].dropna()] 

for idx, x in enumerate(x_data['Age'].isnull()):
    new_x = random.choice(age_list)
    if x == True:
        x_data.at[idx, 'Age'] = new_x

 

객실 위치의 경우, 또 다른 열이었던 'Pclass' 에 따라 배정된 객실 위치가 달라진다는 점을 활용하여, 해당 승객의 Pclass 이 갖는 객실 위치의 데이터셋에서 무작위로 추출하도록 했다. 

# 선실유형의 null값을 Pclass에 따라 random하게 배정해줄 함수 선언
def fillnull(df):
    colList = []
    
    P1_CabinList = ["A", "B", "C", "D", "E"]
    P2_CabinList = ["D", "E", "F"]
    P3_CabinList = ["E", "F", "G"]
    for row in df.index:
        CabinName = df["Cabin"][row]
        PclassName = df["Pclass"][row]
        if CabinName == "N":
            if PclassName == 1:
                colList.append(random.choice(P1_CabinList))
            elif PclassName == 2:
                colList.append(random.choice(P2_CabinList))
            else:
                colList.append(random.choice(P3_CabinList))
        else:
            colList.append(CabinName)
    
    return colList

x_data["Cabin"] = fillnull(x_data)

 

이외에도 탑승지의 경우 탑승객이 가장 많았던 'S'로, 티켓 가격은 중간값으로 결측치를 전부 채워넣었다.

---

# 최적의 모델 찾기

 

데이터를 머신러닝 모델에 입력하기 이전에 비정형 데이터인 자료들을 정형데이터로 바꿔주는 작업을 우선적으로 거치고, 정형데이터는 표준화해주는 작업을 진행했다. Age 와 Fare 열에는 각각 Standard Scalar 를 활용해 모든 수가 -1 과 1 의 범위에 포함되도록 했고, 나머지 열들에 대해서는 one-hot encoding 을 진행했다. (Label encoding 을 활용하는 방법도 생각했으나, label encoding 의 경우 데이터 간의 우열이 발생할 가능성이 있어 사용하지 않기로 결정했다.)

 

머신러닝 모델을 설계한 목적은 '새로운 데이터를 입력했을 때, 이 사람이 살 확률이 높은지, 죽을 확률이 높은지 알아내기' 위함이었다. 결과값은 곧 '생존' 혹은 '사망' 으로 나뉘게 될 것이었기에, 이진분류 모델을 주로 활용했다.

 

우리는 Gradient Boosting Classifier, XGBoost, Support Vector Machine, Logistic Regression, K-Nearest Neighbor 등의 모델을 활용했으며, 가장 성능이 높았던 Gradient Boosting Classifier 에 한해 GridSearchCV 를 적용했다. 그 결과, 최적의 성능을 도출해낼 수 있었고, 최종적으로

Accuracy on Training set: 0.884

Accuracy on Test set: 0.840

의 결과를 얻을 수 있었다. 

 

결과와 가장 상관관계가 높은 변수를 뽑아주는 Feature Importance 그래프를 출력해보았는데 'Mr' 호칭을 갖는지 여부에 따라 생존/사망 여부가 갈릴 확률이 높다는 것을 알게 되었다. 

---

# 이번 실습의 KPT (Keep, Problem, Try)

 

• Keep: 앞으로도 유지하면 좋을 점들은?- EDA 를 탄탄하게 진행한 것. 데이터를 면밀하게 살펴보면 향후 분석을 위한 적절한 가설을 세울 수 있게 됨.
• Problem: 개선하면 좋을 점들은?- 어렵다고 생각되는 방법론을 너무 빨리 포기하지 말 것. 가령, 결측치를 채울 때 연령이나 티켓 가격은 그룹핑을 시도해보았으면 더욱 좋았을 것이며 혹은 머신러닝 모델을 미리 적용해도 괜찮았을 것이다. 다 머리를 스쳐갔던 방법들인데 시간 부족과 경험 부족으로 너무 빨리 포기했던 것이 아쉽다. 
• Try: 앞으로 시도해볼 방법들은?- 아무 모델이나 적용할 것이 아니라, 이론을 기초로 선택한 모델에 대한 근거를 제공할 것. 

* KPT 는 Design Thinking 에서 빈번하게 사용되는 Agile 방법론으로써, 프로젝트 완수 이후 지나온 과정을 톺아보며 회고하기에 적절하다고 하여 시도해보았다.