[인공지능 통합과정] 4주차: 세미프로젝트1

 

---

# 데이터 전처리의 늪

 

 

지난 글에 이어 세미프로젝트 1의 후기를 작성해본다. 우선 세미프로젝트1을 통해 가장 크게 배운 점을 요약하자면: 

!! 데이터 전처리는 데이터 분석의 핵심이다 !!

 

 

사실 이 당시, 데이터 전처리... 라고 하기에도 부끄러운 작업을 너무 오래 했었다. 지금 생각해보면 별 것도 아닌 일들에 쩔쩔매고, 어려워했다. 원인을 분석해보면, 

 

1. 팀원 전원이 pandas 에 익숙하지 않았음 -> 단순한 작업 하나도 구글링하거나 수업 자료 뒤적이느라 오래걸림
2. 데이터 선정의 미스  -> 공공데이터 한두개 정도 선정해서 작업했어야 하는데 취합할 데이터가 5-6개로 늘어남 

그도 그럴 것이, 우리 조의 주제는 '서울시 어린이 교통사고 발생 지역 분석' 이었는데, 우리가 다뤘던 공공데이터만 해도 10가지가 넘었다. '서울시 구별 면적', '서울시 구별 인구', '서울시 구별 어린이보호구역', '서울시 구별 교통사고 건수', '구별 CCTV 개수', '구별 어린이 시설 개수' 등.. 이 외에도 자잘한 데이터를 전부 하나의 데이터프레임으로 만드느라 애를 먹었다.

 

지난했던 데이터 전처리의 과정

 

각 데이터프레임의 인덱스를 맞추고, 필요한 열을 추출하고, 계속해서 이어붙이는 작업이 예상했던 것보다 오래 걸리며 우리 조는 전처리(=데이터 합치기) 만 하다가 프로젝트가 끝날까봐 노심초사했다. 그러나 다행히도 초반에 손에 붙지 않았던 작업이 익숙해지며 속도가 붙자, 점차 통계분석과 시각화까지 진행을 하게 되었다.

 

우리가 최종적으로 만든 데이터프레임은 인덱스에는 서울시의 구 이름이, 각 열에는 구별 면적/15세미만인구/교통사고발생건수/교통사고발생비율/어린이보호구역개수/어린이보호구역비율/CCTV개수/CCTV비율/아동방범CCTV개수/아동방범CCTV비율/과속방지카메라개수/과속방지카메라비율/어린이시설개수/어린이시설비율 이었다. 

 

최종 데이터를 가지고 여러 가지 작업을 할 수 있었는데, 우선은 데이터를 정규화하고 아웃라이어를 제거한 뒤 사고발생비율과 각 열의 상관계수를 구해 시각화해보았다. 

 

 

상관계수 pairplot

상관계수 Heatmap

통계분석 결과, 어린이 교통사고 발생 비율과 상관관계가 높은 변수는 (그나마) 어린이시설이었다. 그런데 특이한 점은, 어린이시설과 어린이 교통사고 발생비율의 상관계수는 0.5에 이르는데, 어린이시설과 CCTV 개수의 상관계수는 매우 낮다는 점이었다. 만약 상관계수 값들이 더극단적으로 분포되었더라면, "어린이 사고를 예방하기 위해서 어린이시설이 많은 지역에 CCTV도 많이 설치해야한다"는 결론을 도출할 수 있었을텐데, 이러한 해석을 이끌어낼만큼 강한 상관계수 값이 아니라 아쉽기도 했다. 

 

통계분석 이후에는 Geojson 과 Folium 을 활용해 시각화를 시도해 보았다. 

 

서울시 구별 교통사고 건수

지도로 시각화를 하면 좋은 점은 1) 스크롤을 하여 지도를 확대하거나 축소할 수 있어 원하는 면적에 따른 데이터를 관측할 수 있다는 것, 그리고 2) 데이터를 직관적으로 이해할 수 있다는 점이다. 

 

실제로 교통사고 좌표를 찍어, 지도를 확대했을 때 교통사고 발생 건수를 도로 단위까지 확인하여 구 내에서 실제로 교통사고가 빈번하게 발생하는 지역을 한 차례 더 볼 수 있었다. 또한, 지도를 축소해 전체 구 중에서 교통사고 빈도가 가장 높은 지역을 한 눈에 확인할 수 있다는 것 역시 좋았다. 

 

시각화 작업을 통해 확인할 수 있었던 점은 절대적인 건수와 인구밀도를 반영한 상대적인 건수의 결과가 다르다는 것이었다. 즉, 각 구별 교통사고 건수만을 표기했을 때는 송파구나 강남구 등이 위험지역으로 보이지만, 실제 어린이 인구를 반영해 다시 시각화를 해 보면 노원구와 금천구 등이 오히려 더 위험한 지역이 되었다. 이렇듯 데이터를 분석할 때는 보여지는 데이터보다 한 층위 더 내려가서 생각하고 결과를 도출해내는 노력이 중요하다는 것을 배울 수 있었다.

 

이처럼 시각화까지 마치고 발표를 잘 진행할 수 있었으며, 첫 번째 프로젝트를 우여곡절 끝에 마치게 되었다. 

---

# Lessons Learned:

 

서두에도 언급했지만, 데이터 분석의 중심은 데이터 전처리에 있다. 그 이유는, 데이터가 잘 정제되어 있지 않다면 제대로 된 결과를 도출할 수 없거나, 편향된 결과를 내게 되기 때문이다. 모든 데이터가 잘 정제된 상태로 제공되면 좋겠지만, 내가 원하는 데이터는 (또는 실무에 필요한 데이터는) 그렇지 않을 가능성이 높다. 그러므로, 데이터 시각화 또는 통계적인 감각을 늘리는 것만큼이나 중요한 것이 데이터를 잘 가공하는 스킬이다. 

 

---

# 세미프로젝트1 이후 하루 동안 진행했던 SQL 기초는 5주차 글과 함께 올리도록 하겠다!