[용어로 보는 IT] 종단간 암호화(End to End Encryption) -메시지를 보호하는 기술

[이신성]

종단간 암호화란 메시지를 입력부터 최종적으로 수신하는 모든 단계에서 암호화하는 방식을 일컫는다. 중간에 평문으로 저장되는, 소위 ‘약한 고리’가 없다.

2014년 10월 경 카카오톡 검열 논란으로 갑작스럽게 떠오른 전문 용어가 있다. ‘종단간 암호화’(End to End Encryption) 다. ‘단대단 암호화’라고도 부른다. 줄여서 ‘E2EE’라고 쓰기도 한다.

종단간 암호화는 처음 입력하는 단계부터 최종적으로 수신하는 모든 단계에서, 메시지를 평문으로 저장하지 않고 모두 암호화하는 방식을 일컫는다. 영어 단어에서 연상할 수 있듯 종점(End Point)과 종점(End Point) 사이의 데이터를 암호화해 통신하는 패러다임이라고 설명할 수 있다.

종단간 암호화란 뭘까?

종단간 암호화 PGP 프로토콜이 작동하는 방식 <출처: 위키미디어>

메신저를 통한 커뮤니케이션은 아주 단순화하자면 스마트폰(클라이언트)↔서버↔스마트폰(클라이언트)의 형태로 교신이 진행된다. A라는 사용자가 스마트폰용 메신저 응용프로그램(앱)에 글을 입력하면 해당 메신저 서비스 업체의 서버를 거쳐 B라는 사용자의 스마트폰 앱으로 전달된다.

대부분의 메신저는 스마트폰과 서버 사이에 암호화 장치를 적용해 둔다. 통신 보안을 위해서다. 일반적으로 ‘RSA’라고 하는 공개키 암호화 알고리즘이 이 사이에 개입한다. 스마트폰과 서버만이 암호화된 자물쇠를 풀 수 있는 열쇠(Key)를 지니고 있다. 서버에 도착한 메시지는 서버에 의해 복호화, 즉 암호가 풀리게 된다. 따라서 서버에는 일반 평문으로 저장이 된다. 카카오톡 검열 논란이 불거진 배경이다.

종단간 암호화는 서버에서조차 평문으로 저장되지 않도록 하는 교신 기술이다. 즉 A의 스마트폰과 B의 스마트폰 사이에 거쳐 가는 모든 영역에서 사용자 메시지를 암호화하는 방식을 의미한다. 이를 통해 해킹의 위험에 대비하고 도감청 시도를 무력화시킨다.

메신저는 크게 P2P 방식과 서버 중개 방식으로 나눌 수 있다. 비트토런트가 출시한 ‘블립’은 대표적인 P2P 메신저다. P2P 메신저는 중개 서버를 필요로 하지 않는다. 단지 A가 대화하려는 B라는 사람만 매칭시키고 역할이 종료된다. 반면 서버 중개 메신저는 서버가 마지막까지 두 사람의 대화를 매개한다. 메신저로만 보면 A와 B가 직접 대화하는 것 같지만 그 이면에는 서버가 작동하는 것이다.

서버 중개 메신저는 사용자의 메시지가 서버에 저장될 수밖에 없는 구조다. 문제는 서버에 평문으로 저장되느냐 암호화된 채로 저장되느냐다. 카카오톡은 검열 논란 이전 서버에 평문 형태로 저장해두었는데, 종단간 암호화로 자물쇠를 채우겠다는 것이 논란 이후의 다음카카오 쪽의 대책이다. 사용자가 스마트폰에 저장한 열쇠가 없으면 서버에서조차도 메시지 대화록을 열어볼 수가 없다.

메신저 암호화와 OTR

이안 골드버그 워털루대학 교수

종단간 암호화 도구는 애플리케이션의 종류에 따라 서로 다른 방식이 개발돼 있다. 예를 들어 e메일은 PGP(Pretty Good Privacy) 방식이, 메신저는 OTR(Off the Road) 프로토콜이 널리 활용된다.

OTR는 워털루 대학의 이안 골드버그 교수가 메시저 보안을 위해 설계한 암호화 프로토콜이다. AES 대칭 알고리즘과 디피 헬먼 키 교환(Diffie–Hellman Key Exchange) 방식을 조합했다. 이미 공개된 프로그램으로 구현돼 있다.

OTR는 메신저 채팅 내용을 암호화하고 채팅하는 이들의 신분을 확인하기 위해 고안됐다. 다만 채팅 내용을 암호화할 수 있을 뿐 기타 메타데이터는 암호화하지 않는다. 예를 들어 카카오톡에 OTR 프로토콜을 적용하게 되면 메신저 내용은 암호화되지만 사용자 아이디나 메신지를 주고받은 일시, 장소 등과 같은 데이터는 암호화되지 않는다는 것이다. ‘피진’이나 ‘기버봇’ 같은 메신저가 OTR 프로토콜을 사용할 수 있는 대표적인 메신저들이다.

OTR 프로토콜을 중단간 암호화 프로그램으로 적용하게 된다면 대화록은 암호화하면서, 통신사실 확인 요청과 같은 기타 정보는 검찰 등 수사당국에 제공해줄 수도 있다.

메신저 종단간 암호화의 난제들

종단간 암호화는 경우에 따라 골치 아픈 기술적 대응을 필요로 하는 경우가 많다. 예를 들어 PC와 모바일 메신저 앱을 동시에 이용할 때다. 앞서 설명했다시피 종단간 암호화는 종점과 종점 사이를 암호화하는 통신 방식이다. 스마트폰에 설치된 메신저 앱과 PC에 설치된 메신저 앱은 다른 종점이다.

예를 들어, A라는 사용자는 스마트폰으로 B의 스마트폰 앱으로 메시지를 보냈다면 메신저의 암호를 푸는 열쇠는 A의 스마트폰과 B의 스마트폰에만 저장된다. A가 PC 메신저 앱에서 같은 내용을 확인하려면 문제가 발생한다. A의 PC 메신저 앱에는 암호를 풀 수 있는 열쇠가 존재하지 않기 때문이다. 메신저 앱으로 접속한 사용자 A와 PC 메신저 앱으로 접속한 A가 동일인임을 인증하는 부가적인 기술적 장치가 요구될 수밖에 없다.

완벽한 보안은 존재하지 않을 수도

메신저든 e메일이든 물리적 네트워크를 통해 전달되는 모든 대화는 사실상 공개돼 있다. 이 공개된 대화를 비밀스럽게(즉, 해독이 불가능하게) 전달하는 기술이 암호화다. RSA 공개 키 암호화 방식도 모든 정보를 공개적으로 전달한다는 개념에서 출발했다. 다만 공개된 키를 누군가가 중간에서 가로챈다고 하더라도 최종 대화 송·수신자가 지닌 개인 키가 없으면 해독이 불가능하다. 종단간 암호화가 여기에 더해진다면 메시징 서비스를 제공하는 기업조차도 대화록을 열람할 수 없게 된다. 메신저를 통한 사용자의 대화가 안전하게 전달될 수 있는 기틀이 마련되는 셈이다.

D-WAVE 시스템의 양자컴퓨터 칩 <출처: 위키피디아>

한 가지 유념할 사항이 있다. 세상에 완벽이란 존재하지 않다는 사실이다. 불과 몇 수년 전까지만 하더라도 불가능에 가깝다던 RSA 알고리즘이 양자컴퓨터의 등장으로 위기에 봉착했다. 미국 국가안보국(NSA)은 보안용 암호화 체계를 무력화하기 위해 7970만 달러를 투자해 양자컴퓨터 개발을 추진하고 있다. 이로 인해 다시 ‘양자암호’(Quantum Cryptography)가 등장할 것이라는 전망도 나온다. 완벽이 존재할 수 없는 인터넷 세상에, 어쩌면 가장 안전한 비밀 전달 방식은 인터넷 밖, 오프라인에 존재할지도 모른다.

참고 자료

· 존 맥코믹.(2013). 미래를 바꾼 아홉 가지 알고리즘. 에이콘 
· 박세준.(2014.10.14). 그것이 알고 싶다 – E2E & PFS. 
· 한국정보화진흥원.(2013.7.23). 개인정보보호 주간동향 20호. 

글

이성규 | 블로터닷넷 기자

발행2014.10.30