[인공지능 통합과정] 2주차 : Pandas 라이브러리, 웹 크롤링 기초

---

# 일 7시간 강의의 강행군

 

본격적인 수업이 시작되어 매일 아침 9시에 일어나 수업을 듣고, 17시에 마무리하는 일 7시간의 일정을 몸으로 소화하게 되었다. 평소 철저한 새벽형 인간 생활을 했던 나는 늘 2-3 시에 잠들어 10시쯤 일어나 하루를 시작하곤 했는데, 갑자기 아침에 일어나 9시부터 뇌를 굴리려니 적응이 잘 되지 않았다. 이 시기에는 쉬는 시간에 틈틈이 자는 대신 저녁에 복습을 몰아서 하며 학습 진도를 따라갔다. 

 

모든 국비교육/코딩교육 프로그램이 그렇지는 않겠지만, 내가 수강하고 있는 교육과 같이 하루에 5시간 이상의 강의를 듣게 되는 경우, 이후 내용을 따라가기 위해서 제때 복습하는 것이 중요하다고 느낀다. (그리고 이 부분은 특히 1차 세미프로젝트 이후 머신러닝 파트에 진입하면서 더 체감하게 되었다. 파이썬 및 데이터분석 내용이야 실습 파일로 같이 작업하며 익혀나가는 수업으로 진행되었지만 머신러닝 이후부터는 이론 위주 + 짧은 실습으로 구성되었기 때문에 복습 없이 넘어갔다가는 코드 내용을 전혀 이해하지 못할 수도 있다)

---

 

# 파이썬 문법 기초

 

둘째 주 월요일에는 파이썬 기초 문법 학습을 마무리하는 시간을 가졌다. 학습한 내용은 크게 세 가지 영역으로 나누어 볼 수 있다.

 

• 자료형
  • Integer (int) - 정수로 표현되는 숫자 (소수점 없음)
  • Float (float) - 실수로 표현되는 숫자 (소수점 있음)
  • String (str) - 인간의 언어로 표현되는 문자형
  • Dictionary (dict) - key 와 value 로 이루어져, key 를 활용하여 value 를 소환할 수 있게 하는 사전형 {  key : value }
  • Boolean (bool) - 결과값이 True (참) / False (거짓) 으로 나오는 참거짓형
  • list (list) - index 와 item 으로 이루어져, index 를 활용하여 item 을 찾을 수 있도록 하는 리스트형
  • Tuple - ( , ) 으로 이루어져 보통 결과값으로 주어짐
  • Set (set) - list 와 같은 자료형을 하나의 집합으로 묶어줌 (중복값 불가, 순서 없음) 
• 함수
  • if  - 변수가 특정 조건을 충족할 경우 실행하도록 하는 함수, elif 및 else 와 함께 실행
  • while - 변수가 특정 값을 충족하는 동안 실행하도록 하는 함수, break 로 실행 중지해줄 수 있음 
  • for - 어떤 변수를 적용할지 지정해주도록 하는 함수 

# x 라는 변수에 1 대입
x = 1

# x 가 0 이라면 출력하고, 아니라면 'not 0' 출력하도록 하는 if 함수 
if x == 0:
	print(x)
else: 
	print("not 0")
    
    
# x의 상태가 1일 동안 x출력
while x == 1 :
	print(x)
    break #를 통해 실행 중지 가능



# 새로운 리스트 생성
test = [0, 1, 2]

# test 라는 list 안에 들어있는 각각의 item들에 대해, 1을 더한 값을 출력
for item in test:
	print(item+1)

 

• 클래스
  • 객체 (또는 instance) 를 정의하는 틀이라고 볼 수 있다. 클래스 안에서 구현된 함수는 메서드라고 불리며, 잘 활용하면 매우 유용하게 쓸 수 있다. 

 

본문에는 간단히만 요약해 두었지만, 실제로 이러한 기초 내용과 실습을 거의 하루 반만에 다 끝냈다. 파이썬 문법은 프로그래밍 언어 중에서 쉬운 축에 속하는 편이라 시간을 오래 투자하지 않아도 금방 익힐 수 있다. 문법도 쉽고 여러 모듈이나 라이브러리를 활용할 수 있는 확장성도 좋아서 확실히 초보자-friendly 한 면이 있다는 생각이 들었다. 

 

---

# Pandas 와 Dataframe

 

파이썬 문법을 떼고 곧바로 데이터분석에서 가장 널리 활용되는 pandas 모듈을 다루는 방법을 배웠다. 행렬로 구성된 dataframe 을 만드는 방법부터 합치는 법, 수정하는 법, 저장하는 법 등 pandas 에서 CRUD (Create - Read - Update - Delete) 를 하는 주요 방법을 학습했다. 

 

이틀에 걸쳐 진행된 실습을 통해 결과적으로는

 

이렇게 생긴 dataframe 을: 

전처리 이후, 이런 방식으로 시각화할 수 있었다: 

물론 이것 말고도 시각화에 사용했던 방법은 geojson 을 활용한 지도 시각화 등 더욱 다양했다. 그런데 강의를 듣다가 예전에 빌렸던 "파이썬으로 데이터 주무르기"라는 책을 뒤적여 보았는데, 이 책에 나오는 예제 2번과 거의 동일한 내용이라는 것을 알게 되었다 ㅋㅋㅋ 처음에는 의아했으나 결과적으로는 수업 내용을 놓치거나 이해 안 되는 부분 있으면 볼 소스가 하나 더 생겨 좋았다. 

 

나는 원래 업무를 하거나 프로젝트를 할 때 엑셀을 활용하여 자료나 데이터를 정리하는 것에 집착 아닌 집착을 하는 사람이었다. 엑셀이 편리하기도 하지만 좋은 결과를 내기 위해 사용할 수 있는 최고의 툴이라고 느꼈기 때문이다. 처음 엑셀을 접하고 함수를 실행하는 방법을 배웠을 때의 즐거움이 아직도 기억나는데, pandas 를 활용하여 dataframe 을 다루는 방법을 배우니 그 때의 감정이 다시 떠올랐다. 

 

수업과 실습을 들으며 느낀 pandas 의 최장점은 :

1. python 문법을 활용하여 기본적인 함수부터 복잡한 함수까지 편리하게 구현할 수 있다. 
2. 데이터 양이 많아져도 실행 속도가 잘 감소하지 않는다 

반대로 말하면 이 두 가지가 되지 않는 것이 엑셀을 활용하며 느낀 가장 큰 단점이기도 했다. dataframe 을 다룰 줄 알게 되어 더 많은 양의 데이터를 더욱 효율적으로 다루게 되어, 앞으로 많은 프로젝트를 더욱 즐겁게 참여할 수 있을 것이란 기대감이 든다. 

---

# 웹크롤링과 자연어처리 (NLP)

 

이어서 beautiful soup 을 활용한 웹 크롤링을 학습했다. 들어보니 '웹 크롤링' 이라고 칭하는 곳은 우리나라밖에 없고, 공식 명칭은 '웹 스크레이핑'이라고 하는데, 어찌 되었든 의미만 통하면 되는 것 같다. 사실 beautiful soup 은 1주차 때 잠깐 다뤘어서 아주 새롭지는 않았는데, 직접 개발자 도구를 활용하여 홈페이지 내의 태그를 일일이 살펴보는 과정이 더 재밌었다. 

 

영화 리뷰 정보의 텍스트를 불러와 파일로 저장한 뒤 출력하는 작업까지는 새로운 내용이 없었지만, 이후에 진행된 자연어처리 과정이 인상적이었다. 자연어처리란 말 그대로 사람이 쓰는 언어 ( = 자연어) 를 프로그래밍에 활용할 수 있도록 정제해주는 작업이다. 이를 잘 진행한다면 영화 리뷰 간 유사도를 구하거나, 나아가서는 내가 좋은 리뷰를 단 영화와 유사한 영화를 추천해주는 시스템도 구현할 수 있다. 

 

자연어처리는 기본적으로 000가지 단계를 거쳐 이루어진다. 

1. 데이터 수집 : 크롤링, api 등을 활용하여 자연어 수집
2. 전처리-1 : nltk 를 활용하여 텍스트 토큰화 
3. 전처리-2 : stopwords, 품사태깅을 활용하여 토큰화된 단어들 중 불용어 삭제
4. 전처리-3: lemmatize 를 활용하여 단어의 원형 복구 

전처리가 완료된 텍스트 2 개의 단어 유사도를 구하는 작업인 tfidf-vectorization 을 통해, 두 텍스트 간의 유사도 (cosine similarity) 를 구할 수 있다. 유사도 값은 -1 과 1 사이의 값이 나오게 되는데, -1에 가까울수록 반대되는 텍스트라는 의미이며, 1에 가까울수록 유사한 텍스트라는 의미를 지닌다. 

 

영화 리뷰 데이터 자연어처리를 통해 두 영화 간의 유사도를 구할 수 있었는데 결과가 꽤 잘 나오는게 신기했다. (그런데 이후 실습 + 프로젝트를 하면서 알게된 점은, 아직 한국어는 영어만큼 자연어처리가 발전하지 않아 잘 처리되지 않는 경우도 있다는 것이었다. 각 언어마다 언어의 문법도 다르고 불용어도 다를 것이기에 절대적인 기준을 가지고 연습하면 안될 것 같다는 생각이 들었다.)

 

 

---

# 마무리 

 

여러가지 내용을 한 번에 배운 주간이었던지라 정신없기도 했지만 새로운 스킬을 단기간에 배움으로써 한층 더 성장했다! 특히 여러 이론적인 교육을 통해 코드를 돌릴 때 데이터가 움직이는 메커니즘과, 코드의 구현 원리 등을 알게 되니 더 재밌었다. 

 

마무리는 강사님이 올려주신 훈훈한 슬랙 메세지와 함께 ~~