① BRAIN
LLM 두뇌
추론·다음 행동 결정. GPT/Claude 또는 로컬 모델
2024~2026년, "AI가 스스로 취약점을 찾아 공격한다"가 데모에서 실전으로 넘어왔다. 미 국방부 대회에선 사람 개입 없이 AI가 사람도 모르던 취약점(0-day) 18개를 찾아, 그중 11개를 스스로 고쳤다. 그런데 — 광고와 현실은 다르다. 핵심부터 말하면, 오늘의 '자율'은 '발견'이지 '판단'이 아니다.
프롬프트에 답하는 챗봇과 다르다. 에이전트는 목표(예: 이 웹앱을 뚫어라)를 받고, 스스로 도구를 골라 실행하며 환경과 상호작용하는 자율 행위자다. 수십 개의 오픈소스 에이전트를 뜯어보면 거의 전부 같은 5개 블록의 조합이다.
요점 하나. 이 도구들은 '새 무기'가 아니라 '기존 칼리 리눅스 도구 + LLM 오케스트레이터'다. 그래서 결과 품질은 결국 ① 두뇌 성능과 ③ 도구 래핑 폭에 좌우된다. 펜테스트 기본기를 아는 사람이 다뤄야 한계도 보인다.
가장 기본 패턴은 ReAct(Reason + Act). 한 번에 답하지 않고 반복한다.
# 관찰 → 사고 → 행동(도구 호출) → 결과 관찰 → 다시 관찰: nmap 결과 8080 포트 열림 사고: SQL 인젝션을 시도해볼 만하다 행동: curl로 페이로드 전송 # ③ 도구 관찰: 응답에 DB 오류 노출 사고: 스키마 추출 단계로 진행 ...
긴 공격은 컨텍스트가 금세 오염된다. 그래서 발전형은 계획/실행 분리, 취약점 유형별 멀티 에이전트 팀(매니저+서브에이전트), 그리고 LLM과 환경 사이에 추상화 계층을 둔다. 연구에 따르면 같은 모델이라도 구조를 잘 짜면 성공률이 3개 → 37개로 뒤집힌다. 즉 모델보다 설계가 성패를 가른다.
미국 국방부 산하 DARPA가 두 해 동안 연 대회. 규칙은 하나 — 사람 손 안 대고 진짜 오픈소스의 취약점을 자동으로 찾고 자동으로 고쳐라. 결선은 143시간 무인, 코드 5,400만 줄 분석. 결과: 실제 0-day 18개 발견 · 11개 자동 패치.
한국 관점에서도 의미가 크다. 우승팀(미 조지아텍 주도 국제 연합)에 삼성리서치·KAIST·POSTECH가 핵심으로 참여했고, 3위는 한국계 보안기업 Theori(RoboDuck)였다. 단, 정확히 — 한국이 1위를 '단독으로' 가져간 게 아니라 핵심으로 들어간 것이다.
자율 AI 펜테스터 XBOW가 미국 HackerOne 리더보드 상위에 올랐다. 인상적인 건 순위가 아니라 낮은 오탐률인데 — 그 비결은 사람이 아니라 결정론적 검증기(validator)다. 예컨대 발견한 XSS를 헤드리스 브라우저로 실제 실행해 '진짜 터지는 것'만 보고한다. 발견·검증은 거의 자동이고, 사람은 제출 전 정책 준수 점검에 가깝다(XBOW 공식 블로그 기준).
구글의 LLM 에이전트가 잘 퍼징된 실제 소프트웨어(SQLite 등)에서 진짜 0-day를 찾았다. 방식은 '변종 분석' — 최근 패치를 단서로 유사한 미수정 버그를 추적. 수년간 퍼징된 코드에서 사람·퍼저가 놓친 걸 잡았다는 게 핵심이다.
'완전 자율'은 아직 수사다. 거의 모든 시스템이 사람을 루프에 둔다. 발견·재현은 자동화됐지만 '무엇을 보고할지·실제 임팩트가 있는지'는 사람이 판단한다.
실제 웹앱 취약점을 스스로 끝까지 익스플로잇하는 성공률은 처음 측정 때 약 13%(CVE-Bench)였고, 1년 만에 30%대로 오르는 중이다 — 아직 낮지만 따라잡는 속도가 무섭다. "AI가 인간 해커를 대체했다" 식 헤드라인보다, 이 변화가 성숙도를 더 정직하게 말해준다. 지금 강한 영역은 '알려진 취약점의 자동 무기화'와 '변종 분석', 그리고 '낮은 오탐'이다.
방향은 분명하다. 새 취약점을 스스로 발견하는 성공률은 아직 낮지만(약 13%대), 이미 알려진 CVE와 그 변종을 자동·대량·저비용으로 긁는 속도에서는 AI가 사람을 앞서기 시작했다. 방어에도 쓰이지만 같은 기술이 공격에도 쓰인다 — 실제로 공개된 AI 공격 도구가 갓 패치된 신규 취약점(0-day가 아닌 n-day)을 며칠 만에 초고속 무기화하는 데 동원된 정황이 보고됐다(Check Point — 다크웹 논의 기반, 도구의 직접 개입은 미확정). 성공률이 낮아도 싸고·빠르고·대량 병렬이 가능하다는 점이 진짜 위협이다.
AI가 코드를 10배 빨리 짜고, 공격자도 AI로 10배 빨리 탐색하는 시대다. AI가 어떻게 짜는지와 AI가 어떻게 뚫는지를 둘 다 아는 사람이 봐야 한다.