[Python] Imaplib을 사용하여 이메일 읽고쓰기

현재 수강하고 있는 웹개발 코스에서는 페어와의 협업 과제가 끝날 때마다 상호평가 내용을 이메일로 보내준다. 

정리벽이 도져서 하나하나 다 긁어 정리해볼까 싶었는데, 매번 내용을 직접 긁어 와서 정리하기가 번거롭고, 귀찮았다.

 

✨ ✨ 그러다 왠지 파이썬 코드를 작성하면 매우 간단한 작업이 될 것 같다는 생각이 들었다. 

Python 을 능숙하게 다루지는 않지만, 여러 모듈을 써 본다면 이 모든 리뷰 메일을 한 번에 모아서 내가 원하는 형태의 파일로 저장할 수 있는 방법이 있을 것 같았다. 그래서 알아본 것이 바로 python 의 imaplib 모듈이다. 

 

 이번 글은 개인 자동화 프로젝트를 진행하는데 배운 내용과 작성한 코드를 중점으로 정리해본다. 

 

 

---

 

파이썬의 가장 큰 장점 중 하나는 손쉬운 모듈 및 라이브러리의 활용이다. 내장 모듈은 물론 pip (파이썬 패키지 설치 관리자) 를 활용하여 여러가지 기능을 그대로 끌어와 사용할 수 있다. 

 

이러한 여러 모듈 중 이메일 통신 포트에 접속하여 파이썬 코드로 이메일을 주고받을 수 있도록 하는 모듈이 있는데, 바로 SMTPlib (메일 발신) 과 IMAPlib (메일 수신) 이다. 이번 게시글에서는 IMAP 의 정의와 Python 에서의 IMAPlib 활용법을 간단히 정리해보고자 한다. 클라이언트와 서버가 통신을 할 때 사용하는 것이 HTTP (hypertext transfer protocol) 이라면, 그들이 이메일을 주고받을 때 사용하는 프로토콜이 바로 SMPT (Simple Mail Transfer Protocol) 과 IMAP (Internet Message Access Protocol) 이다. 

 

SMTP 란?

이메일을 전송할 때 사용하는 프로토콜로, 클라이언트 또는 인터넷에서 서버로 메일을 전송할 때 사용하게 된다. 

 

IMAP 란?

이메일을 수신할 때 사용하는 프로토콜로, 서버에 직접 접속하여 메일을 확인하는 방식이다. 또 다른 수신 프로토콜인 POP3 와 비교하였을 때 직접 확인하고자 하는 메일을 클릭해야만 메일 내용을 다운로드 하기 때문에 속도가 빠르다는 장점이 있으나, 오프라인 상태에서는 확인할 수 없다는 점과 다소 많은 용량을 차지할 수 있다는 단점을 가지고 있다. 

 

 

SMTP 와 IMAP 의 통신 절차이다.

 

Python 의 Imaplib

Python 에서 IMAP 서버에 접속하여 이메일을 읽고자 한다면 우선 imaplib 모듈을 설치해주어야 한다. 따라서 파이썬 파일 상단에 

 

import imaplib

 

를 실행해준다. 

 

이후 접속하고자 하는 IMAP 서버를 지정해주어야 하는데, 이는 우리가 흔히 생각하는 이메일 로그인 과정과 동일하다. 이메일과 비밀번호를 변수로 생성하여 입력해주면 목표점에 접속하게 된다.

 

user = 'something@gmail.com'
password = 'asdfasdfasdfasdf'

imap = imaplib.IMAP4_SSL("imap.gmail.com")
imap.login(user, password)

 

위에서 주의할 점은 gmail 서버에 접속할 경우, 2단계 보안 인증을 거쳐 생성한 16자리 앱 비밀번호를 입력해주어야 한다는 것이다. gmail 은 보안 문제로, 유저가 사전에 등록한 기기 이외의 다른 기기에서 접속하고자 하는 경우 추가 인증 절차를 밟게 한다. 그러나 해당 절차가 까다롭기도 할 뿐더러 반복적으로 파이썬 코드를 실행할 경우 매번 새로운 로그인 정보로 인식되기 때문에 비정상적인 접속으로 간주되어 서버가 닫힐 수 있다. 따라서 유저가 새로운 앱에서도 접속할 수 있도록 하는 앱 비밀번호를 활용하면, 파이썬 코드를 통해서도 로그인할 수 있게 된다. 

 

이후 이메일을 불러들이고자 하는 메일함을 선택해주면 되는데, 메일함 목록은 imap 공식문서에서 확인할 수 있다.

 

imap.select("INBOX")

 

 

메일함까지 선택해 주었다면 원하는 조건을 선택하여 읽고자 하는 메일을 필터링해주면 된다. 메일에는 고유한 uid 가 부여되는데, 선택한 메일의 uid 를 배열로 반환한다. 

 

status, messages = imap.uid('search', None, '(FROM "somewhere@naver.com")')
messages = messages[0].split()

 

위의 코드의 경우, ('OK', [b'00001 00002 .....']) 등과 같은 tuple 객체가 반환되며, 두 번째 반환 인자인 배열을 messages 변수에 담아 다시 한 번 개별 uid 의 집합인 배열로 나누어 주었다. 

 

이후 원하는 메일의 uid 를 선택하여 해당 코드를 실행하면 된다. 이 때 uid 안에 들어가는 내용은 recent 말고는 고정된 값이다 (인코딩 관련). 

 

recent = messages[-1]
res, msg = imap.uid('fetch', recent, "(RFC822)")

 

여기까지 실행한 뒤 print 문으로 msg 를 출력해보면 메일의 헤더부터 본문이 파싱되기 이전 상태로 쭉 펼쳐질 것이다. 

대략 이런 느낌

아직 정제되지 않은 메일 데이터를 처리해주기 위해서는 추가 작업이 필요하다. 

직접 눈으로 확인하기는 어렵지만 위에 표시된 메일 정보는 배열 형태로 저장되어 있다. 따라서 메일 확인을 위해 필요한 정보만을 따로 추출한 뒤, 해당 내용을 디코딩해야 한다. 

 

raw = msg[0][1].decode('utf-8')

 

디코딩 함수 내부에 'utf-8'을 사용해줌으로써 사람이 읽을 수 있는 캐릭터로 변환을 해주게 된다. 

 

이제 새로운 모듈을 활용할 때가 되었는데, 파이썬에 내장되어 있는 email 모듈이다. 해당 모듈은 파이썬에서 email 객체를 자유자재로 사용하도록 도와준다. 앞서 디코딩한 내용이 이제 영어 또는 한국어로 변환되기는 했지만 이메일의 구조를 가지고 있기 때문에 본문만, 또는 수신인/발신인만 따로 추출해보기 어려운 상태이다. 이를 수월하게 볼 수 있도록 할 것이다. 

 

import email

email_message = email.message_from_string(raw)

 

email_message 는 email 객체이며, 이제 email 객체에 저장된 값의 키를 통해 원하는 정보를 얻을 수 있게 된다. 뿐만 아니라 내장 메서드를 통해 본문, 본문 타입, 헤더 등 여러 요소들을 확인할 수 있다. 

 

email_message['To'] // 수신인
email_message['From'] // 발신인
email_message['Subject'] // 제목

body = email_message.get_payload(decode=True).decode()

 

위와 같이 imaplib 모듈을 사용하여, 이메일을 읽어주는 간단한 파이썬 코드 작성이 가능하다.

 

 

---

완성본

python 의 imaplib 을 찾아보게 된 계기는 자동화에 대한 욕심과 반복작업의 비효율성에 대한 귀찮음이었다.  목표한 작업은 페어 평가 (리뷰) 메일을 전부 긁어와, 보기 좋은 형태로 정제하고, 한 눈에 볼 수 있도록 csv 파일에 저장하는 것이었다.

 

이를 위해 re (정규표현식 활용 모듈), csv (csv 파일 활용 모듈), os (운영체제 활용 모듈), dotenv (환경변수 활용 모듈) 등 여러 가지 필요한 모듈을 추가로 설치한 뒤, 용도에 맞게 필요한 메일을 csv 파일에 저장해주는 코드를 완성했다. 또한 위의 예제만으로는 한국어를 파싱하는 데 불충분하여 한국어 처리를 위한 추가적인 작업을 실행했다.

 

from email.header import decode_header
from datetime import datetime
import imaplib, re, csv, email
import os
from dotenv import load_dotenv

# 저장할 csv 파일 만들기
f = open('pair_feedback.csv', 'w', newline='')
write = csv.writer(f)
write.writerow(['#', '날짜', '페어', '스프린트', '잘한 점', '개선할 점'])

# 유저 개인정보 (환경변수 설정)
load_dotenv()
user = os.environ.get('mail')  # 이메일 주소 (ex. abcde@gmail.com)
password = os.environ.get('password')  # 앱 비밀번호 (16자리)

# IMAP 서버에 연결하기
imap = imaplib.IMAP4_SSL("imap.gmail.com")
imap.login(user, password)

# 접근하고자 하는 메일함 이름
imap.select("INBOX")

# status = 이메일 접근 상태
# messages = 선택한 조건에 해당하는 메일의 id 목록
# ('OK', [b'00001 00002 .....'])
status, messages = imap.uid('search', None, '(FROM "notifications@typeform.com")')
messages = messages[0].split()

# 각 메일에 대하여 실행
for n, message in enumerate(messages):

    print(f"Writing email #{n} on file...")
	
    # Standard format for fetching email message
    res, msg = imap.uid('fetch', message, "(RFC822)")  
    raw = msg[0][1]
    # type(email_message) == <class 'email.message.Message'>
    email_message = email.message_from_bytes(raw)  

    # decode 'subject' info (메일 제목)
    subject, encoding = decode_header(email_message["Subject"])[0]
    subject = subject.decode(encoding)  # 한국어로 디코딩하는 작업

    if 'Pair Review' in subject:

        # decode 'date' (날짜) & format
        # date = 'Thu, 08 Apr 2021 05:10:04 +0000'
        temp, _ = decode_header(email_message.get("Date"))[0]  

        temp = datetime.strptime(temp, '%a, %d %b %Y %H:%M:%S %z')
        date = temp.strftime('%Y년 %m월 %d일')

        # subject 에서 페어 이름 추출
        match = re.search(r'[가-힣]+님의', subject)  # 'ㅇㅇㅇ님의' 문자열 추출
        pair = match.group()  # 매치된 문자열 받아서 pair 변수에 할당
        pair = pair[:-2]   # 이름만 남도록 슬라이싱

        # get mail body (메일 본문)
        # email_message.get_content_type() == 'text/html'
        body = email_message.get_payload(decode=True).decode()
        body = body[:body.rindex('<br/>')].replace('<br/>', ' ') 
        # 본문 (body) 의 시작점부터 마지막 <br/> 이 등장하는 지점까지 추출 후, 모든 <br/> 을 공백으로 대체

        # body 에서 Sprint 내용 추출
        match = re.search(r'\[[\D]+\]', body) 
      	# 대괄호 안이 Whitespace 가 아닌 값 (예 : '[JS/Node]') 찾기
        sprint = match.group()  # 매치된 문자열 받아서 sprint 변수에 할당

        # body 에서 잘한 점, 개선할 점 내용 추출
        # 한글 이름 + 기존 문장 내용 (예 : '김코딩님이 평가한 박해커님의 잘한 점:')
        match = re.search(r'[가-힣]+님이\s평가한\s[가-힣]+님의\s잘한\s점:', body) 
        # '...잘한 점:' 문자열의 시작과 끝 인덱스 추출
        start_awesome, end_awesome = match.span()
        
        # 한글 이름 + 기존 문장 내용 (예 : '김코딩님이 평가한 박해커님의 개선하면 좋을 점:')
        match = re.search(r'[가-힣]+님이\s생각한\s[가-힣]+님의\s개선하면\s좋을\s점:', body) 
        # '...개선하면 좋을 점:' 문자열의 시작과 끝 인덱스 추출
        start_improve, end_improve = match.span()

        awesome = body[end_awesome:start_improve]
        improve = body[end_improve:]

        # csv 파일에 저장한 내용 쓰기
        write.writerow([n, date, pair, sprint, awesome, improve])

print("All complete!")
f.close()
imap.close()
imap.logout()

 

그 결과, 메일로 들어오는 다음과 같은 내용을 

 

 

 

이렇게 정리된 csv 파일 형태로 볼 수 있게 되었다!!

 

 

 

---

 

해당 프로젝트의 전체 코드와 구체적인 README 는 아래의 github 레포지토리에서 확인할 수 있다.

https://github.com/vodkamitlime/pair_review

vodkamitlime/pair_review

 

다음 목표는 해당 코드를 fastApi 프레임워크에 입혀 웹에서 메일과 비밀번호를 입력하면 메일 정보가 담긴 csv 파일을 다운로드 받게 해주는 것인데, 인증 부분을 아직 배우지 못해 성공할 수 있을지 모르겠다. 그러나 도전은 언제나 재미있는 일이니 조만간 시도해보려 한다.