10월 4일자 페이스북 장애 원인 파헤치기

지난 10월, 전 세계적으로 페이스북 서비스를 사용할 수 없는 대규모 장애가 발생했었다. 이와 관련된 글을 작성해 두었는데, 업로드 시기를 놓쳐 저장만 해두었다가 SPoF 관련 내용의 사례로 활용하기 위해 업로드하게 되었다. 

 

💡 사건의 개요

 

2021년 10월 04일, 페이스북과 인스타그램, 왓츠앱이 한 순간에 접속이 불가능해졌다. EST (동부 시간) 기준 오전 11시 40분부터 약 6시간 동안 접속할 수 없었다고 하니, 한국 시간으로는 5일 새벽 12시 반 즈음부터 오전 6시 넘어서까지 접속할 수 없었던 셈이다. 

 

개인적으로 이번 장애가 특이했던 이유는 두 가지이다. 같은 회사의 서비스인 페이스북, 인스타그램, 왓츠앱 전부가 한 번에 다운되었다는 점과, 여느 때와는 다르게 접속 시 화면에 어떠한 에러 메세지도 띄워주지 않았다는 점이다. (보통 서버가 다운되는 경우 500번대 에러가 뜨기 마련인데..) 단순히 서버 한 쪽을 담당하는 모듈에 이상한 코드가 머지(merge) 된 수준이 아닐 것이라는 생각에 이번 장애의 원인을 더 알아보았고, 예상했던 것보다 더욱 단순한 (그러나 훨씬 파급력 있는) 원인이 있었음을 알게 되었다.

 

몇 시간 동안 고통받았을 페이스북 네트워크 팀을 생각하면 내가 다 아찔하다

 

📌  장애 원인 (기본) 

이번 장애의 원인을 한 줄로 요약하면 다음과 같다. 페이스북의 라우트 (route) 가 라우터에서 (그리고 궁극적으로는 네트워크에서) 삭제되었기 때문이다. 단순히 표현하면 "페이스북으로 가는 길" 이 네트워크 상에서 완전히 사라졌기 때문에, 세계 어느 곳에서도 페이스북에 요청을 보낼 수도, 받을 수도 없게 된 것이었다.

 

 

📌  장애 원인 (심화) 

개발 고수라면 한 줄 요약본만 읽어도 대충 어떤 부분이 이번 사태의 핵심 문제였는지 감이 잡히겠지만, 이 글에서는 그렇지 않은 사람들을 위해 구체적인 원인을 순서대로 파헤쳐가며 관련 개념들도 하나씩 짚어보도록 하겠다. 

 

💡 사전 지식: 모든 url 은 유일한 ip 주소를 갖는다. 

 

컴퓨터는 웹 브라우저에 facebook.com 이라는 url 이 입력되면 facebook.com 의 서버로부터 정보를 받아와 화면을 띄운다. DNS 란 Domain Name System 의 약어로, URL 주소와 IP 주소를 매칭하는 역할을 한다. 

 

원래대로라면 웹 브라우저에 facebook.com 을 입력했을 때, 브라우저는 facebook.com 이라는 이름을 갖는 IP 주소를 알아내기 위해 DNS 쿼리를 날린다. 보통은 웹 브라우저가 위치한 컴퓨터 내에 자주 사용하는 IP 주소가 캐싱되어 있는데, 그런 경우에는 다른 네임 서버에 질의를 할 필요 없이 바로 IP 주소로 직접 요청을 보낼 수 있다.

 

하지만 그렇지 않은 경우, "facebook.com 의 IP 주소를 찾는" DNS 쿼리를 연결된 다른 네임 서버에 보낸다. 만약 해당 네임 서버 역시 facebook.com 의 IP 주소를 가지고 있지 않은 경우, 인접한 (IP 주소를 알고 있을 가능성이 높은) 다른 네임 서버의 주소를 받게 된다. 그렇게 여러 곳에 차례대로 요청을 보낸 뒤에야 비로소 facebook.com 에 해당하는 IP 주소를 얻어, 그곳으로 패킷을 보낼 수 있게 된다. (이와 관련하여 DNS의 동작 방식 포스팅 에 자세한 내용이 있다.)

 

즉, 위 내용의 핵심은 네트워크망 어디엔가 facebook.com 에 일치하는 IP 주소가 존재한다는 것, 그리고 해당 IP 주소를 찾아가면 facebook.com 의 서버에 접속할 수 있다는 것이다. 

 

❗ 그렇다면 무엇이 문제였나?

"해당 IP 주소를 찾아가면 facebook.com 의 서버에 접속할 수 있다" 는 부분에서 오류가 발생했다. 이에 대해 외신에서는 "facebook disconnected themselves from the internet" 라는 표현을 사용하기도 했는데, 그 이유는 다음과 같다. 

 

기업이 커지고 하나의 네트워크 대역에 연결된 단말이 많아지면 자기 스스로 하나의 미니 인터넷 망 (자율 시스템, AS) 을 형성하여 사용하게 된다. 페이스북도 마찬가지였다. 즉 페이스북 내의 모든 서버는 같은 망을 사용하고, 내부 망에서 외부 망으로 연결하는 하나의 연결지점을 통해 통신이 가능한 상황이었다. 이 "연결지점"이란 결국 라우터를 의미하는데, 이 라우터는 BGP4 라는 프로토콜을 사용한다. 

 

BGP(Border Gateway Protocol) : 다른 자율 시스템(AS)의 라우터 간 라우팅 정보를 교환하는 데 사용되는 프로토콜. 즉, 네트워크끼리 연결하는 라우터에서 사용된다. 자율 시스템 내부의 통신 역시 BGP 를 통해 이루어지는데, 이때 해당 프로토콜을 IBGP (Internal Border Gateway Protocol) 이라고 한다. 

 

보통 이 BGP4 의 프로토콜을 통해 네트워크들이 자신의 주소를, 즉 IP 를 계속 다른 라우터들에게 알려준다. 마치 집마다 집 주소가 붙어있듯, 라우터마다 "내 주소는 192.0.0.1 이야~" 하는 식으로 선언을 하는 것이다. 라우터와 컴퓨터들은 계속해서 자동으로 IP 경로를 최적화하기 때문에, 인터넷에 있는 모든 경로 정보를 계속 동적으로 업데이트하며, 각 라우터의 주소를 교환하여 어떤 라우터가 어떤 IP 주소로 안내하고 있는지 확인한다. 

 

하지만 한 순간에, facebook 의 라우터가 자신의 정보를 알려주는 것을 멈춰버렸다. 

 

알려진 바에 따르면, 내부 개발자가 config (설정) 작업을 마친 후 결과를 push 했는데, 작업 내용에 라우터의 정보를 삭제하는 것도 포함되어버린 것이다. 페이스북의 라우터가 IP 주소를 삭제하자, 해당 IP 로 찾아가려고 했던 수많은 패킷들은 인터넷 망에서 무한히 떠돌다가 타임아웃이 지나자 사라져버렸고, 연결되었던 라우터들도 하나둘씩 페이스북의 IP 를 주소록에서 삭제하기 시작했다. 

 

그리고 2021년 10월 4일 UTC 16:27 에 페이스북 서버는 인터넷에서 아예 끊어져버렸으며, "페이스북" 은 인터넷 상에 "없는 주소" 가 되어 버렸다. 

 

❗❗❗❗ 더 심한 문제는, 

내부에서도 igbp 를 사용하고 있었기 때문에, 내부의 모든 라우터들도 동일한 오류를 겪게 되었다. 내부에 연결된 라우터들끼리도 계속해서 통신하며 정보를 업데이트 하고 있었기 때문에, 페이스북 엔지니어들조차 페이스북 서버에 접근할 수 없는 문제가 생긴 것이다. 그래서 문제되는 서버에 접속하려 해도 물리적으로 가깝지 않은 이상 인터넷으로는 접속을 못하는 상황이었는데, 물리적으로 서버에 접속할 수 있는 사람들은 수정 권한이 없고, 권한이 있는 사람들과는 (인터넷이 안되니, 당연히) 연락이 안 되었다고 한다. 심지어는 네트워크를 사용해서 출입문을 여는 카드리더도 안되었다고 하니... 정말 심각한 상황이었을 것이다.

 

 

이 문제는 결국 당일 UTC 21:00 에 롤백해서 해결했다고 하나, 연결이 끊어진 5시간 동안 페이스북은 굉장히 큰 영업손실을 봤다. 페이스북은 굉장히 견고한 위기관리 시스템을 가지고 있기로 알려져 있는데, 이런 단순한 SPoF 요소로 인해 엄청난 문제를 야기했다는 것 자체가 굉장히 큰 이슈였다고 본다. 

 

 

💡 결론 + 흥미 포인트

개발자로서 이 문제에 관심을 가지게 된 지 얼마 지나지 않아 국내에서도 KT 인터넷이 오전 내내 먹통이 되는 이슈가 발생했다. KT 에 대한 기사도 확인해 보았는데, 역시나 설정 (config) 파일의 명령어 문제로 페이스북 연결 문제와 비슷한 부분이 있었다. 갈수록 일상의 많은 부분을 물리적인 세계보다 인터넷 망의 세계에 의존하게 되는 것이 21세기 사회의 현주소인데, 의존도가 높아질수록 정작 중요한 인터넷 인프라나 보안의 가치는 대두되고 있지 않은 것 같아 의아하기도 하다. 

 

획기적인 소프트웨어를 만들어도 이를 공급하는 네트워크 인프라가 잘 갖춰져 있지 않으면 그 서비스는 망할 수밖에 없지 않나 싶다. 개발자로서 인프라에 대한 이해도를 갖춰야 롱런할 수 있는 것 같기도 하고.. 아무튼 이번 페이스북 사태는 인프라에 대한 여러 고민을 하게 하는 사건이었던 것은 분명하다. 

 

 

✨ 참고자료

• What is the border gateway protocol (BGP)?
• 페북·인스타·와츠앱, 동시다발 ‘먹통’…개발자조차 서버 접근 못해
• Facebook Outage Visualized: Why Facebook, Instagram, and WhatsApp fell off the internet today
• What really caused the 2021 facebook outage (summary)