프런티어 AI가 공개 CTF 형식을 깨뜨렸다

배경

프런티어 AI가 공개 온라인 ( ) 의 쉬운·중간 문제를 자동화하면서, 점수판이 인간 보안 실력을 깔끔하게 반영하지 못하게 됨문제는 AI 보조 자체가 아니라, 모델이 추론과 풀이 코드 작성까지 맡아 인간에게 플래그 복사만 남기는 수준에 도달했다는 점임Claude 4.5와 이후 API로 프런티어 AI가 공개 형식을 깨뜨렸다 ()1P by GN⁺ 5일전 | ★ | 댓글 1개 프런티어 AI가 공개 온라인 ( ) 의 쉬운·중간 문제를 자동화하면서, 점수판이 인간 보안 실력을 깔끔하게 반영하지 못하게 됨 문제는 AI 보조 자체가 아니라, 모델이 추론과 풀이 코드 작성까지 맡아 인간에게 플래그 복사만 남기는 수준에 도달했다는 점임 4.5와 이후 API로 문제별 에이전트를 띄워 초반 문제를 처리하고, 사람은 어려운 문제에 집중하기 쉬워짐 Pro는 난이도 pwn까지 원샷으로 풀 수 있어, 토큰과 에이전트 비용을 감당하는 쪽이 유리해짐 공개 점수판이 AI 오케스트레이션과 과금 능력까지 측정하게 되면서, 초보자가 실력을 쌓아 상위 팀으로 올라가던 CTF의 사다리가 약해짐 공개 온라인 CTF의 점수판이 바뀜 프런티어 AI가 공개 형식을 깨뜨리면서, 점수판은 더 이상 인간 보안 실력을 깔끔하게 측정하지 못하는 상태가 됨 핵심은 AI가 힌트를 주는 정도가 아니라, 모델이 추론을 수행하고 풀이 코드를 작성한 뒤 인간에게 플래그 복사만 남기는 상황임 예전 CTF는 퍼즐 묶음이 아니라, 초보자가 실력을 쌓고 더 높은 팀과 대회로 올라가는 사다리였음 공개 온라인 성과는 보안 실력뿐 아니라 프런티어 모델을 쓰려는 의지, 자동화 구성, 충분한 토큰을 투입할 수 있는 능력까지 반영하게 됨 현재 형식의 공개 온라인 CTF는 과거의 역할을 이어가기 어렵고, 근본적 변화가 없었던 것처럼 보기 어려움 경험과 문제의식

핵심 관찰

년 대학 입학과 함께 CTF를 시작했고, 첫 대회였던 48시간 솔로 CTF를 2시간 만에 전부 풀고 우승함 이후 Blitzkrieg와 함께 호주 최대 CTF인 DownUnderCTF에서 여러 차례 우승했고, 나중에는 국제 상위권 팀 TheHackersCrew에 합류함 TheHackersCrew는 CTFTime에서 꾸준히 높은 순위를 기록했고, 2025년 말까지 세계적인 CTF에서 상위 10위권 안에 자주 들었음 CTF는 보안을 좋아하게 만든 계기였고, 학습 방법과 자기 측정 수단, 존중하는 많은 사람을 만나는 경로였음 이후의 첫 변화 등장 이후 중간 난이도 문제 상당수가 한 번의 프롬프트로 풀이와 플래그를 얻을 수 있는 원샷() 대상이 됨 암호학 문제를 ChatGPT에 붙여 넣고 10분 뒤 돌아오면 해답을 얻는 식의 상황이 가능해짐 당시에는 어려운 문제들이 대체로 영향을 덜 받았고, 절약되는 시간이 대회를 망칠 정도로 크지 않다고 여겨졌음 플레이어는 원래 도구를 사용해 왔기 때문에, 문제는 AI 보조 자체가 아니라 의미 있는 인간 작업이 사라지는 수준에 도달했는지였음 4.5가 만든 형식 변화 이후 거의 모든 중간 난이도 문제와 일부 어려운 문제가 에이전트로 풀 수 있는 대상이 됨 Code는 모든 것을 CLI로 묶고 다른 및 도구 연결을 쉽게 만들어, API로 각 문제마다 인스턴스를 띄우는 오케스트레이터 구성을 쉽게 만듦 대회 첫 1시간 동안 시스템으로 쉬운 문제와 중간 문제를 처리한 뒤, 사람은 남은 문제에만 집중하는 방식이 가능해짐 AI를 쓰지 않는 팀은 단순한 편의를 놓치는 것이 아니라, 더 느린 버전의 대회를 치르는 셈이 됨 공개 온라인 CTF는 쉬운 문제와 중간 문제를 얼마나 빨리 자동화하고, 가장 어려운 문제에 얼마나 많은 인간 주의를 남길 수 있는지의 게임으로 바뀜 점수판

실무적 함의

은 보안 실력과 함께, 때로는 그보다 더 크게 오케스트레이션 능력과 프런티어 모델을 쓸 의지를 측정하기 시작함 리더보드는 이상하게 느껴졌고, 꾸준히 상위권에 있던 전설적인 팀들이 덜 보이며, 플레이어 활동도 낮아진 듯한 상태가 됨 문제 제작자들이 몇 주 동안 정교한 문제를 만들어도 에이전트가 몇 분 만에 풀어버린다면, CTF를 예술 형식처럼 대하던 동기도 줄어듦 이후의 결정적 변화 5와 Pro는 벤치마크 기준으로 Mythos에 가깝거나, Pro의 경우 이를 넘어설 가능성이 있음 이 모델들은 HackTheBox의 난이도 문제를 원샷으로 풀 수 있음 작은 주최자가 현실적으로 만들 수 있는 문제의 큰 부분을 해결할 수 있고, 48시간 CTF에서 Pro를 문제에 오케스트레이션하면 대회 종료 전 플래그를 얻을 가능성이 있음 그 결과 공개 CTF는 과금 승부() 성격을 띠게 됨 더 많은 토큰을 대회에 투입할수록 점수판을 더 빨리 내려갈 수 있음 Robotics의 같은 특화 사이버보안 모델은 일반 프런티어 LLM에 비해 덜 중요해지는 흐름임 경쟁은 충분한 컨텍스트와 충분한 시간 동안 충분한 수의 에이전트를 돌릴 비용을 누가 감당할 수 있는지로 바뀜 성과는 예전처럼 개인의 실력을 정의하지 못하며, 성과로 보안 인력을 채용하는 의미도 약해짐 CTF에 필요한 오케스트레이션 대부분은 이미 오픈소스이거나 분위기 기반 코딩으로 만들 수 있어, AI 실력을 측정하는 좋은 지표도 아님 초보자 학습 경로의 손상 점수판은 학습 사다리였음 CTF는 초보자가 더 많은 문제를 풀고 더 높은 순위를 얻고 더 좋은 팀에 합류하며 경쟁력을 높이는 사다리였음 공개 점수판이 AI를 쓰는 팀들에 의해 지배되면, 초보자는 AI가 대체하는 감각을 익히기도 전에 AI 사용으로 밀려남 이는 능동적 학습을 막는 반패턴이며, 실제로 가르치

정리 및 전망

는 부분은 능동적 고생과 직접 부딪힘임 진짜 노력을 들여도 위쪽 사다리가 자동화되어 눈에 보이는 성장이 나타나지 않으면 동기가 크게 떨어짐 초보자용 CTF와 학습 플랫폼의 차이 초보자 CTF까지 사람들이 조용히 프롬프트를 붙여 넣고 점수판을 오르는 공간이 되면, 문제 제작자는 학습 플랫폼에 더 힘을 쓰는 편이 낫게 됨 picoGym과 같은 플랫폼에서는 기대값이 교육에 있고, 초보자가 스스로 학습을 속이는 유인이 공개 점수판보다 낮음 초보자는 공개 점수판이 인간 성장을 반영하는 척하는 경쟁보다, , , 기타 랩 환경에서 배우는 편이 더 나음 “CTF는 죽지 않았다”는 반론의 한계 AI가 모든 문제를 풀 수 없고, 같은 CTF가 여전히 있다는 반론은 일부 사실이지만 핵심 방어가 되지 못함 최상위 결승의 가장 어려운 문제들은 참가자가 매우 적고, 보통 결승보다 쉬운 예선을 통해 접근이 제한됨 예선이 에이전트에 의해 무너지면, 아직 AI에 저항하는 문제에 도달하는 진짜 자격 있는 사람이 줄어듦 소수의 엘리트 결승이 대부분의 사람이 실제로 플레이하는 공개 온라인 형식을 구해 주지는 못함 모든 문제가 풀린다는 뜻이 아니라, 점수판의 충분히 큰 부분이 자동화되어 예전과 같은 의미를 잃었다는 점이 핵심임 보안 연구와 경쟁 CTF는 다름 CTF는 새로운 흥미로운 기법을 보여줄 수 있지만, 그 자체가 보안 연구의 발견 지점은 아니었음 AI가 보안 분야에서 유용하다는 사실만으로, 해당 분야의 경쟁 구도 안에 무제한으로 들어와야 한다는 결론은 나오지 않음 CTF에서 제한 없는 AI는 인간을 퍼즐에서 거의 제거하고, 보안의 예술성을 프롬프트로 축소함 LLM은 CTF가 존재하는 한 보안 역량을 계속 높이겠지만, 그것이 경쟁 형식이 건강하다는 뜻은 아님 CTF는 기법을 공유하고 인간 보안 실력의 한계를 밀어.

원문: GeekNews