암호화는 고대부터 전쟁 시기에 빠지지 않고 등장해 온 자원입니다. 이와 관련해 가장 유명한 일화는 단연 제2차 세계대전 당시 독일의 에니그마(Enigma) 암호기 해독 사건일 것입니다. 폴란드 암호 전문가들의 초기 성과와 수학자 앨런 튜링의 활약 등을 바탕으로, 연합군은 에니그마를 해독하는 데 2년도 채 걸리지 않았습니다. 놀랍도록 짧은 시간이지만, 실은 그보다 더 극적인 이야기가 있습니다. 1940년, 한 스웨덴 수학자는 에니그마보다 훨씬 복잡한 독일의 암호 장치를 단 두 주 만에 해독해냈는데, 무려 연필과 종이만을 사용했던 것입니다. 그의 이름은 아르네 뵈를링(Arne Beurling)이었습니다.
에니그마보다 복잡한 암호기, 지멘스 T52
뵈를링이 상대한 기계는 지멘스 & 할스케 T52(Siemens & Halske T52)였습니다. 독일어로는 SFM(Schlüsselfernschreibmaschine, 열쇠식 인쇄전신기) 또는 게하임슈라이버(Geheimschreiber), 즉 '비밀 인쇄전신기'라고 불렸으며, 연합군이 붙인 가장 유명한 별명은 스터전(Sturgeon), '철갑상어'였습니다.
T52 역시 독일군이 사용했습니다. 에니그마가 기동 부대용이었고, 로렌츠 SZ 42가 국방군의 중장비급 체계였다면, T52는 원래 해군을 위해 설계되었으며 실제 사용자는 루프트바페(Luftwaffe) 공군과 크릭스마리네(Kriegsmarine) 해군의 지휘관들이었습니다.
영국의 암호 해독가들, 이른바 '블레츨리(Bletchley)'들은 각 독일 암호기마다 고유한 코드명을 붙였습니다. 모든 기계를 통칭하는 이름은 피시(Fish)였는데, 이는 에니그마를 통해 가로챈 NoMo 체계 메시지에서 독일군이 자신들의 무선 인쇄전신 전송 체계를 제게피슈(Sägefisch), 즉 '톱상어'라고 불렀다는 것을 발견했기 때문입니다. 이에 따라 로렌츠 SZ는 터니(Tunny)(참다랑어), 여러 버전으로 생산된 T52는 스터전(Sturgeon)(철갑상어)이라 불렸습니다. 전쟁 말기에 독일이 새로 선보인 T43은 블레츨리 파크에서 스래셔(Thrasher)라는 이름을 얻었습니다.
완전 자동화된 암호화 시스템
에니그마와 달리 T52는 암호화 과정이 완전히 자동화되어 있었습니다. 에니그마는 암호화 결과를 읽고 적어낸 뒤 모스 부호로 전송해야 했지만, T52는 조작원이 평문을 타이핑하면 기계가 알아서 암호화하여 인쇄전신으로 전송하고, 수신 측에서도 기계가 스스로 해독해주는 방식이었습니다. 이 방식의 장점은 두 가지였습니다. 첫째는 속도였고, 둘째는 사용자가 암호 체계를 몰라도 된다는 점이었습니다. 게다가 후기형 T52d와 T52e는 이전 모델들이 지닌 결함, 즉 열쇠(key)를 저장할 수 있어 일부 조작원이 같은 열쇠를 반복 사용하다가 적에게 해독될 위험을 노출하는 문제까지 보완했습니다.
운영 체계 역시 에니그마나 로렌츠보다 훨씬 복잡했습니다. T52는 GPAN(의사난수 생성기)에 기반을 두었는데, 이는 난수 집합에 상당히 근사하지만 완전히 무작위적이지는 않은 수열을 생성하는 알고리즘입니다. 비교적 작은 초기값 집합, 이른바 '상태(state)'에 의해 결정되기 때문입니다. 여기에 다른 기계들이 흔히 5개를 쓰는 것과 달리 10개의 릴(reel)을 사용했고, 이 릴들조차 선형으로 계단식 배열되지 않아 경이로운 조합의 수를 자랑했습니다.
독일 스스로 발견한 치명적 약점
T52a는 전쟁이 시작되기 훨씬 전인 1932~1934년에 개발되어 사용되었고, T52b는 1934년부터 1942년 사이에 개발되어 전쟁에 투입되었습니다. 두 모델의 차이는 전기 잡음 제거 정도에 불과했습니다. 그러나 1942년, 육군 최고사령부(OKH)의 수학자이자 암호학자인 하인리히 되링(Heinrich Döring)은 충격적인 연구 결과를 발표합니다. 몇백 자 분량의 암호문 두 통이 우연히 같은 열쇠로 전송된다면, 그것을 '깨뜨리는(break)' 것이 쉬워진다는 것이었습니다. 암호 해독 업계에서 '깨뜨린다'는 해독을 뜻하는 은어이며, 되링이 지적한 바로 그런 취약점은 '뎁스(depth)'라는 용어로 불립니다. 실제로 영국의 블레츨리 팀은 T52b에서 '뎁스'를 찾아내 암호를 풀어내는 데 성공한 바 있었습니다.
이 소식에 루프트바페는 1941년부터 개발해 오던 개량형 T52c의 배치를 서두르도록 요구했지만, 기대에 미치지 못한 T52c는 곧 차세대 모델 T52d에게 자리를 내주었습니다. 그런데 되링은 이 모델조차 완전히 안전하지 않음을 입증했고, 결국 1944년에야 가장 진보하고 안전한 T52e가 등장합니다. 물론 그 무렵에는 전세가 이미 기울어 있었기에, 더 개선된 T52f는 전쟁 중에 실전 배치될 시간조차 없었습니다. 그리고 그 이면에는 한 스웨덴 교수가 이미 이 기계의 비밀을 풀어냈다는 사실이 숨겨져 있었습니다.
귀족 가문 출신의 천재, 아르네 뵈를링
이야기를 거슬러 올라가면 1905년 예테보리로 향합니다. 아르네 카를-아우구스트 뵈를링(Arne Carl-August Beurling)은 귀족 가문에서 태어났습니다. 그의 학력 이력은 다소 의외의 대목이 많습니다. 웁살라 대학교에서 1924년 받은 첫 학사 학위는 문예학(Arts) 분야였고, 2년 뒤 받은 두 번째 학위는 철학(Philosophy)이었습니다. 그러나 우리가 주목해야 할 것은 1933년 취득한 수학 박사 학위입니다. 이 학위는 4년 뒤 그가 대학에서 수학을 강의하는 확고한 발판이 되어주었습니다. 그의 눈부신 경력은 1939년 세계를 덮친 참화, 제2차 세계대전마저 능가하게 됩니다.
뵈를링에게 유리하게 작용한 것은 스웨덴의 외교 노선이었습니다. 나폴레옹 전쟁 종결 이래 줄곧 이어져 온 전통에 따라 스웨덴은 중립을 선택했고, 어느 한쪽에 양보를 해야 하는 상황 속에서도 끝내 중립을 유지해냈습니다. 처음에는 독일이 점령을 시도할 경우 영국이 스웨덴을 보호할 역량이 없을 것을 우려해 추축국 쪽에 양보했고, 특히 1943년 말부터는 전세가 연합국 쪽으로 기우는 것이 분명해지자 반대편에 기울었습니다. 그럼에도 그 이전부터 공식적이든 개인적이든 지하에서 저항하려는 산발적인 시도가 있었는데, 개인 차원의 행보로 꼽을 수 있는 것이 바로 아르네 뵈를링의 활약이었습니다.
베저위붕 작전과 스웨덴의 불안
1940년 4월, 독일은 덴마크와 노르웨이 역시 중립국임에도 불구하고 베저위붕 작전(Operation Weserübung)을 개시, 두 나라를 침공합니다. 독일 정부가 내세운 명분은 잉글랜드와 프랑스의 동일한 침공으로부터 이들을 보호한다는 것이었습니다. 나르빅 항구가 봉쇄된 상황에서 그곳으로부터 히틀러 정권에 공급되는 화물(주로 스웨덴산 철광석)이 선적되고 있었기 때문입니다. 많은 스웨덴인은 자국이 다음 차례일 것을 두려워했습니다. 어떤 이들은 나치와의 협력을 지지했고, 다른 이들은 정반대로 반응했습니다.
노르웨이는 겨우 두 달 만에 적은 피해로 제압되었습니다. 독일은 스칸디나비아 해역에 있던 화물선 알트마르크(Altmark)가 영국 공군과 해군에 나포당한 사건을 전쟁 명분(casus belli)으로 삼았습니다. 노르웨이를 장악한 뒤 독일은 스웨덴을 경유하는 통신선을 구축했습니다. 당연히 이 전송은 T52로 암호화되었고, 앞서 설명했듯 체계가 복잡했기에 처음에는 안전이 보장된 것처럼 보였습니다. 한 대학 교수가 수학 지식과 연필, 종이 한 장만으로 이것을 '깨뜨릴' 것이라고 기대하는 사람은 아무도 없었습니다. 게다가 혼자서 말입니다.
단 두 주 만의 기적
군 복무 시절 암호학 훈련을 받은 뵈를링은, 많은 수학자들처럼 자국을 가로지르는 전신회선에서 가로챈 메시지 분석에 착수했습니다. 메시지는 국방참모본부 암호 부서인 '크립토 디테일 IV(Crypto Detail IV)'가 제공했으며, 이 부서는 다시 에릭슨(Ericsson)으로부터 자료를 얻었습니다. 에릭슨은 국방군이 자사 통신망을 사용할 수 있도록 허용해달라는 요구에 굴복했던 회사였습니다.
뵈를링은 자신이 어떤 방법으로 해독했는지 끝내 밝히지 않았습니다. 그러나 놀랍게도 그는 1940년 여름, 단 두 주 남짓한 시간 안에 T52 기종 두 가지를 해독해냈고, 이를 통해 스웨덴은 T52 기계의 복제품을 제작할 수 있었습니다. 이 복제품들이 전국에 배치되면서 스웨덴은 3년 동안 베를린과 오슬로·스톡홀름 주재 독일 대사관 간의 통신, 그리고 독일 본토와 핀란드 주둔 독일군 간의 통신 내용을 알아낼 수 있었습니다.
스웨덴은 이 기회를 삼아 FRA(Försvarets Radioanstalt, 국방전파국)를 창설했습니다. 심지어 스웨덴은 곧 시작될 바르바로사 작전, 즉 소련 침공 계획까지 미리 알아챘습니다. 그러나 모스크바에 보낸 경고는 묵살되고 말았습니다. 정보 출처를 밝힐 수 없었기에 신뢰성이 인정되지 않았던 것입니다. 리벤트로프-몰로토프 조약 체결로 스스로 안전하다고 믿고 있던 소련 정부는 결국 기습을 당하고 맙니다.
독일의 반격과 변화된 판도
가로챈 메시지는 무려 50만 통에 달했고, 그중 3분의 2가 해독되었습니다. 이렇게 막대한 데이터가 유출되다 보니 독일도 이상 징후를 감지하고 T52의 개량에 나섰습니다. 앞서 말했듯 b형과 c형은 성능이 미흡해 스칸디나비아 쪽이 쉽게 돌파할 수 있었지만, d형은 1943년 중반 스웨덴의 도청을 완전히 차단해냈습니다. 그러나 그 무렵에는 이미 상황을 완전히 바꿔놓은 두 가지 사건이 일어난 뒤였습니다.
하나는 폴란드 암호 기관 비우로 스프프프(Biuro Szyfrów)가 1939년 군용이 아닌 에니그마 한 대를 입수한 일입니다. 폴란드는 이를 연구한 끝에 모든 자료를 블레츨리 파크로 넘겼고, 앨런 튜링이 이끄는 수학자·암호학자 팀이 기계의 작동 원리를 완전히 규명했습니다(여기에 1941년 독일 잠수함 U-110을 나포하며 에니그마와 암호책까지 확보한 성과가 더해졌습니다). 다른 하나는 1941년 8월, 블레츨리 소속의 영국 화학자이자 수학자인 윌리엄 토머스 터트(William Thomas Tutte)가 뵈를링에 필적하는 손쉬움으로 로렌츠 기계, 이른바 '터니'의 암호를 해독한 일입니다.
결국 영국의 블레츨리 팀도 난관 끝에 '스터전'을 해독하는 데 성공합니다. 부분적으로는 루프트바페가 더 단순한 암호로 메시지를 전송하고, 무모하게 열쇠를 재사용하며, 때로는 보안성이 떨어지는 에니그마를 혼용하는 등의 실수를 저질렀기 때문입니다. 이전에도 일본 주재 독일 대사가 비슷한 부주의를 저질렀던 사례가 있었습니다. 이로써 영국은 스웨덴의 수준에 올라섰고, 정작 스웨덴은 중립국 신분 때문에 뵈를링의 성공을 연합국에 알리지 못한 채였습니다.
전설로 남은 수학자
전쟁이 끝난 뒤 뵈를링은 하버드와 프린스턴 대학교 교수로 활약했습니다. 특히 프린스턴의 고등연구소(IAS)에서는 아인슈타인과 함께 연구하기도 했습니다. 또한 렌나르트 칼레손(Lennart Carleson), 칼-구스타프 에센(Carl-Gustav Esseen) 같은 과학의 영재들을 지도한 박사 지도교수이기도 했습니다. 그는 수학 분야에 내적 함수와 외적 함수의 인수분해 정리 등 자신의 이름을 딴 획기적인 업적들을 남겼습니다.
뵈를링은 1986년 미국에서 세상을 떠났습니다. 그러나 그보다 앞선 1967년, 유명한 저서 코드브레이커스(The Codebreakers)의 저자 데이비드 칸(David Kahn)은 그에게 빛나는 찬사를 보냈습니다. 연필과 종이 하나로 강대국의 최첨단 암호를 무너뜨린 조용한 천재, 아르네 뵈를링의 이야기는 오늘날까지 암호학의 역사에서 가장 인상적인 일화로 기억되고 있습니다.
