[인공지능 통합과정] 3주차 : Selenium, 기초통계, 미니프로젝트1

---

# Selenium 을 통한 웹 크롤링

 

지난 주차에서 진행되었던 웹 크롤링에 이어, 이번에는 Selenium 과 Chrome Driver (코드로 커서를 조종할 수 있는 가상의 브라우저) 를 활용하여 조금 더 세심한 조작을 하는 웹 크롤러를 만들어보았다. 

 

Beautiful Soup 과 Selenium 의 가장 큰 차이는 어떤 페이지를 크롤링할 수 있는지이다. 전자는 페이지 내의 정보가 변하지 않거나, 추가 로그인이나 버튼 클릭이 필요하지 않은 '정적 페이지' 크롤링을 위한 라이브러리이다. 실제로 속도도 빠르고 사용하기 간편하다는 장점이 있으나, 크롤링할 수 있는 페이지가 제한적이며 페이지 곳곳에 설치된 버튼을 누르거나 javascript 코드를 실행할 수 없다는 단점도 있다. 

 

따라서 Beautiful Soup 에서는 할 수 없는 로그인 작업이나 이전/ 이후 페이지 연속 이동하기, 스크롤 내리기, 팝업창 지우기 등의 작업을 수행하기 위해서는 Selenium 을 사용해주어야 한다.  똑같이 개발자 도구를 활용하여 페이지 내의 태그 정보를 보지만, Selenium 을 활용하여 더욱 섬세한 작업들을 할 수 있게 된다. (하지만 Selenium 이 모든 문제를 해결해 주지는 않는다. 크롤러 접근을 강하게 막아놓았거나 특정 조건이 실행되었을 때 팝업창이 뜨는 등의 문제가 발생할 경우 크롤링이 까다로워진다. 이 부분은 이후 프로젝트를 진행하며 알게 되었다)

 

수업 실습에서는 기본적인 드라이버 조작법을 익힌 뒤 뉴스 기사 페이지 클릭하기, 음악 페이지 스크롤해서 정보 가져오기, 실시간으로 변하는 정보 얻어오기 등의 심화된 내용을 학습했다. 크롬 드라이버를 종료해주는 driver.close() 함수를 실행하지 않아 드라이버 창이 서너개 열린 상태로 작업하기도 했지만 점차 익숙해질수록 어려운 내용이 없다는 생각이 들었다. 크롤링의 방법은 거의 유사했기 때문에 한 번 잘 배워두면 다른 라이브러리를 사용하는데 큰 문제는 없다고 느낀다. 

 

수업 중에서 여러 정보를 수집해 워드클라우드 만들기 + 이미지 masking 을 하여 워드클라우드 만들기를 진행했다. masking 기법이 특히 더 재미있었는데, 이미지 내의 모양대로 워드클라우드를 얹혀놓아 더욱 직관적인 시각화를 가능하게 해 주는 것 같다. 

 

** 그리고 이상하게 크롬드라이버가 맥에서 작동이 안 되는 문제가 있어서 고생을 했었는데, 이 역시 경로 설정의 문제였음이 드러났다. 나의 경우 크롬 드라이버를 작업하고 있는 폴더 경로로 옮기니 작동이 안 되다가, 아나콘다 폴더로 옮겨주니 잘 작동되었다. 

** 경로 설정 후 webdriver.Chrome(executable_path='chromedriver') 를 실행해주면 된다.

---

# 기초 통계학

 

이어서 기초 통계를 간단히 보고 넘어가는 시간을 가졌다. 통계학을 처음 배우는 것은 아니지만, 시간이 오래 지났기 때문에 염려되는 부분 중 하나였다. 그런데 오랜만에 배우는 통계는 여전히 재밌었고, 이해도 잘 되었다! 

 

특히 Outlier 처리 기법 중 IQR Score 계산 방식을 배우는 것이 특히 더 재밌었다. 나는 이렇게 깔끔하게 맞아떨어지는 방식으로 정보 처리하는 것을 즐거워하는 사람인 것 같다. 아웃라이어 처리 여부에 따라 데이터 분석 결과가 달라지는 것도 눈으로 직접 확인할 수 있어서 더욱 즐겁게 진행할 수 있었다.

 

이후 상관계수 구하는 법 및 A/B 테스트에 대한 내용, 다른 자잘한 함수들도 배우긴 했으나 이번 단원의 목적은 '통계와 친숙해지기' 였던지라 내용에 깊이 들어가지는 않았다. 

 

---

# 미니프로젝트 1 시작

 

 

일방향 강의만 2주 반 가까이 듣다가, 드디어 처음으로 수강생들끼리 소통하며 직접 프로젝트를 설계해보는 시간이 마련되었다. 첫 번째 미니프로젝트는 자유주제로 진행되었으며, 기존에 배운 내용을 복습하는 것을 목표로 하였기에 조금 가벼운 마음으로 임할 수 있었다. 

 

프로젝트 진행 기간 자체는 꽤 길었다. 12월 23일부터 12월 31일이었으니, 총 8일의 시간이 있었지만, 23일은 통계분석 파트를 먼저 마쳐야 했기 때문에 프로젝트는 실질적으로 2-3 시간 정도만 진행되었고, 강사님이 주말과 휴일에는 절대 추가 작업을 하지 말라고 강조하셨기에 크리스마스와 주말 시간도 사용하지 않았다. 마지막 날인 31일은 발표자료 만들고 발표 준비하는데에 시간을 써야 했기 때문에, 결과적으로 데이터 수집 및 전처리, 분석에 들일 수 있는 시간은 총 사흘 + 2시간 정도였던 것이다.

 

물론 지금 이 작업을 한다면 충분한 시간이라고 느껴지긴 하지만, 당시에 우리 조는 데이터 전처리에서 어려움을 겪어 주제를 한 번 엎었기 때문에 시간이 부족했다. 

 

우선 수요일에는 조원들과 인사를 나누고 주제에 대한 얘기를 하다가, 여러 데이터분석 공모전들 중에 재미있어 보이는 주제 중 하나를 선택해 진행해보면 어떻냐는 의견에 따라 공모전을 알아보았다. 데이콘, 서울시 공모전, 데이터 분석 과제 (LH) 등을 둘러보다가 가장 흥미로워 보이는 "오산시 어린이 교통사고 지역 분석" 을 진행하기로 결정했다.

 

목요일에는 분석에 필요한 각종 데이터를 포털에서 다운받거나 api 를 활용하여 받아오고, 전체 데이터를 취합하기 시작했다. 그런데 이 때 취합하고자 하는 데이터들의 정렬 기준 또는 데이터 처리 기준이 각기 상이해 하나의 dataframe 을 만드는 것부터 난관이었다. 우리가 하고자 했던 작업은 전국 시군구별 도시 정보를 불러와 도시 간의 비교분석을 하는 것이었는데, 교통정보 데이터셋에서는 시군 까지만 표기되어 있는데 인구 데이터에서는 구까지 표기되어있는 경우와 같은 문제들이 있었다. (지금 돌이켜보니 애초에 여기저기서 데이터를 불러모아 하나의 데이터셋을 새롭게 만드는 과정 자체가 엄청 소모적인 작업인데 이 당시에는 이를 인지하지 못하고 쉽게 생각했던 것 같다.) 

 

인덱싱 문제가 발생하다 보니 조원들도 전처리를 어떻게 진행해야 하는지 갈팡질팡하게 되었다. 결과적으로는 목요일 하루를 거의 통으로 날린 이후에야 목표를 수정하여 '서울시 교통사고 발생 지역 분석'을 진행하기로 했다. ^ - ㅠ .. 

 

조원들도 고생 많이 했지만 팀장을 맡은 상황에서 더 나은 대안을 찾지 못했다는 자책감이 매우 컸던 시기였다.