저물어 가는 하네스 엔지니어링

Anthropic이 Claude Opus 5를 내놓으면서, Claude Code의 시스템 프롬프트를 80% 넘게 지웠다. 코딩 평가 점수는 움직이지 않았다.

“We removed over 80% of Claude Code’s system prompt for models like Claude Opus 5 and Claude Fable 5 with no measurable loss on our coding evaluations.”

같은 글에서 CLAUDE.md에 대해선 이렇게 말한다.

“Keep your CLAUDE.md lightweight and briefly describe what your repo is for, but spend most of the tokens on gotchas inside of the codebase.”

“Avoid stating ‘the obvious’ things Claude should know by looking at your file system or your repo.”

출처는 Anthropic의 Thariq Shihipar가 쓴 The new rules of context engineering for Claude 5 generation models다. Opus 5가 나온 바로 그날 올라왔다.

우리가 해온 일

지난 몇 년간 우리는 모델을 잘 쓰기 위해 그 주변을 설계해왔다. 컨텍스트 엔지니어링, 하네스 엔지니어링, 루프 엔지니어링. 이름은 달라도 하는 일은 비슷했다. 모델이 헤매지 않도록 규칙을 촘촘히 짜는 것.

주석을 달지 마라. 테스트는 이렇게 돌려라. 커밋 메시지는 이 형식으로 써라. 파일을 고치기 전에 반드시 읽어라. 다 끝나면 이 명령을 실행해라. CLAUDE.md는 그렇게 길어졌다. 규칙 하나가 늘 때마다 사고가 하나씩 줄었으니까, 길어지는 게 곧 성숙해지는 것처럼 보였다.

그 규칙들이 이제는 발목을 잡는다

Anthropic이 인정한 건 자기들도 똑같이 했다는 것이다. 시스템 프롬프트에서도, CLAUDE.md에서도, 스킬에서도 Claude Code를 과하게 제약하고 있었다.

문제는 제약이 쌓이면 서로 충돌한다는 데 있다. 시스템 프롬프트는 “문서는 적절히 남겨라”라고 하고, 스킬은 “주석을 절대 달지 마라”라고 한다. 사용자 요청은 또 다른 말을 한다. 한 요청 안에서 세 가지 지시가 부딪힌다. 예전 모델은 이런 모순을 적당히 뭉개고 넘어갔지만, 새 모델은 지시를 더 문자 그대로 따른다. 그래서 촘촘한 하네스가 오히려 성능을 깎는다.

해법은 더 좋은 few-shot 예시를 넣는 게 아니었다. 지우는 것이었다.

무엇을 남기나

Anthropic의 기준은 명확하다. 레포를 열어보면 알 수 있는 건 쓰지 마라. 파일 구조, 프레임워크, 테스트 러너 이름 — 모델이 ls 한 번으로 알아낼 수 있는 정보는 매 세션 토큰만 축낸다.

남길 건 코드만 봐서는 알 수 없는 것들이다. 코드에 드러나지 않는 팀의 관례, 건드리면 터지는 지점, 우리 팀만의 판단. Anthropic은 이걸 gotchas라고 불렀다.

길어질 수밖에 없는 절차는 스킬로 빼서 필요할 때만 로드되게 한다. Steering Claude Code 쪽 가이드는 숫자까지 준다.

“Keep CLAUDE.md under 200 lines, give it an owner, and review changes to it like code.”

Claude Code에는 /doctor 명령이 있다. 스킬과 CLAUDE.md의 크기를 점검해준다.

S급 인재

생각해보면 당연한 방향이다. 내가 생각하는 AI는 가이드라인 안에서만 움직이는 AI가 아니다.

회사에서 흔히 말하는 S급 직원을 떠올려보자. 시킨 일을 정확히 해내는 사람도 훌륭하다. 하지만 우리가 S급이라고 부르는 사람은 대개 그 너머까지 간다. 묻지 않은 문제를 발견하고, 요청받은 것보다 나은 방법을 찾아온다. 그 사람에게 우리는 매뉴얼을 주지 않는다. 맥락과 목표를 주고, 판단을 맡긴다.

지시를 촘촘히 적을수록 결과가 좋아진다면, 그건 아직 상대를 신입으로 대하고 있다는 뜻 아닐까.

앞으로가 기대된다

규칙을 덜어낼수록 더 잘하는 모델이 나온다는 건, 우리가 붙잡고 있던 통제권을 하나씩 놓아도 된다는 신호다. 하네스를 짜는 데 쓰던 시간을 이제 진짜 문제에 쓸 수 있게 된다.

여러분의 CLAUDE.md는 지금 몇 줄인가요? 규칙을 줄였더니 오히려 잘하더라는 경험, 아니면 반대로 안 되더라는 경험이 있으신지 궁금합니다.