제2차 페르시아 전쟁 동안 페르시아군은 아테네를 두 차례에 걸쳐 불태우고 파괴했습니다. 첫 번째는 기원전 480년 크세르크세스 1세가 직접 지휘했고, 두 번째는 기원전 479년 마르도니우스가 지휘했습니다.
기원전 480년, 테르모필레에서 승리한 크세르크세스는 아티카로 진격하여 수도를 점령했습니다. 당시 아테네 시민 대부분은 살라미스로 대피했고, 아크로폴리스에 참호를 구축하며 버틴 소수의 시민만이 도시에 남았습니다. 헤로도토스가 기록했듯이 도시는 완전히 파괴되었고 기념물들도 허물어졌습니다.
이후 페르시아군은 겨울을 맞아 테살리아로 철수했고, 마르도니우스는 메디아 정예부대의 지휘관으로 그곳에 남았으며 크세르크세스는 대부분의 군대를 이끌고 페르시아로 돌아갔습니다. 이듬해인 기원전 479년, 마르도니우스는 다시 아테네로 진격해 더 큰 규모의 파괴를 명령했습니다.
결국 같은 해인 기원전 479년 8월 27일 플라타이아이 전투에서 페르시아군은 결정적으로 패배했고, 아테네인들은 신전과 기념물보다 방어를 우선시한 테미스토클레스의 지휘 아래 서둘러 도시 재건에 착수했습니다. 그리하여 아크로폴리스의 성벽은 최초의 파르테논 신전, 고대 아테나 신전 등 파괴된 신전들의 잔해를 활용해 보수되었습니다.
그러나 테미스토클레스는 많은 아테네인들처럼 페르시아가 언제든 다시 돌아올 수 있다고 우려했습니다. 이러한 이유에서 그는 오늘날 우리가 테미스토클레스 성벽이라 부르는 성벽의 재건을 제안했습니다. 물론 여기에는 커다란 장애물이 있었습니다. 스파르타는 아테네가 성벽을 잘 갖추는 것을 달가워하지 않았던 것입니다. 페르시아가 아테네를 다시 정복할 경우, 그 성벽은 펠로폰네소스 반도를 공격하기에 더없이 좋은 작전 기지가 된다고 주장했기 때문입니다.
그러나 테미스토클레스는 쉽게 포기하지 않았습니다. 그는 두 가지 핵심 목표를 향한 전략을 세웠습니다. 첫째, 스파르타인들을 만족시키면서 속임수를 눈치채지 못하게 하는 것. 둘째, 아테네의 새 성벽 건설을 최대한 가속화하여 적절한 방어가 가능할 만큼 높이를 확보하는 것이었습니다.
바로 이러한 긴급함 때문에 아테네인들은 파괴된 신전의 잔해부터 부서진 조각상 파편, 도자기, 장례 비석에 이르기까지 손에 닿는 모든 것을 성벽 축조에 재활용했습니다.
성벽 공사의 지휘 체계를 갖춘 뒤 테미스토클레스는 스파르타로 향했습니다. 그리고 "곧 아테네에서 올 동료 사절들이 자세한 설명을 해줄 것"이라는 핑계로, 몇 주 동안 스파르타인들을 이 문제 앞에 붙잡아 두었습니다.
아테네를 드나든 여행자들이 가져온 소식으로 스파르타인들이 "아테네가 빠른 속도로 도시를 성벽으로 둘러싸고 있다"는 의심을 품게 되었을 때에도, 테미스토클레스는 모든 것을 부인하며 끝까지 버텼습니다.
마침내 성벽이 적절한 방어를 제공할 만큼 충분히 높아지자, 테미스토클레스는 진실을 인정했습니다. 덕분에 아테네인들은 급박함에서 벗어나 좀 더 정식적인 절차를 고려하며 아크로폴리스와 도시 전역을 정화하고 다시 요새화하기 시작할 수 있었습니다. 성벽은 기원전 479년에 완공되었으며, 총 길이 8.5km, 평균 높이 9m, 두께 3m에 출입문 13개를 갖추었습니다.
테미스토클레스 성벽은 기원전 404년 펠로폰네소스 전쟁에서 아테네가 패배한 후, 스파르타가 아테네인들에게 성벽 철거를 강요하면서 훼손되었으나 기원전 394년에 복구되었습니다. 기원전 86년 술라의 포위전 역시 성벽에 상당한 피해를 입혔습니다.
그 흔적은 오늘날에도 주로 케라메이코스 묘지(Ceramic Cemetery), 프닉스(Pnyx), 아이올루 거리(Aiolou Street), 그리고 에리시크토노스 거리 29번지 국민은행 건물 지하에서 확인할 수 있습니다. 현대 아테네에는 테미스토클레스 성벽이 남아 있는 곳이 약 115곳이 문서화되어 있으며, 이 구조물은 주로 기초부에 한두 층의 석재 주춧돌을 쌓고 지상에 두 층을 더 올린 뒤, 그 위에 진흙 벽돌로 된 상부 구조를 얹은 형태로 이루어져 있습니다.
고대 성벽에서 발굴된 문 중 가장 유명한 것은 아마도 디필론(Dipylon) 문일 것입니다. 엘레우시스(Eleusis)로 향하는 도로가 이 문을 통해 도시의 북서쪽으로 들어왔습니다. 디필론 문을 지나 약 1km를 걸으면 플라톤의 아카데메이아에 도착합니다. 디필론 문은 기원전 330년에 세워졌지만, 트라이시아스 문이 열리던 자리를 활용해 만들어졌습니다. 테미스토클레스 성벽 서쪽 탑의 기초가 아직도 남아 있습니다.
테미스토클레스는 기원전 472년 아테네에서 추방되었습니다. 명확하지 않은 이유로 그는 소아시아로 건너가 페르시아 왕 아르타크세르크세스 1세를 섬기게 되었고, 아르타크세르크세스 1세는 그를 마그네시아의 총독으로 임명했으며, 그곳에서 생애를 마감했습니다.