에이전트에게 일을 시키고 다음 날 다시 열면, 어제의 시행착오가 사라져 있는 경우가 많다. 모델이 멍청해서가 아니라 배운 것을 남길 자리가 없어서다. Anthropic이 11월 6일 공개한 엔지니어링 글 「The components of agent memory」는 그 자리를 어떻게 설계했는지를 숫자와 함께 내놓은 드문 자료다. 핵심 장치는 dreaming이다. 에이전트가 쉬는 시간에 지난 세션의 기록을 되읽어 틀린 노트를 고치고, 노트를 주제별 위키로 엮고, 다음 세션에 미리 실을 것을 추리는 오프라인 복습이다. 같은 글의 데이터베이스 과제에서는 메모리를 쓴 모델과 안 쓴 모델의 성적이 크게 갈렸는데, 그 차이를 전하는 평균 보상 수치는 아직 그림 안에 있고, 시험장도 채점자도 전부 Anthropic 안에 있다는 점을 같이 읽어야 한다.
핵심만 먼저
메모리는 네 층 — 세션 기록, Claude가 직접 쓰는 노트, 노트를 엮은 표현(위키), 새 세션에 미리 실리는 주입 컨텍스트 (Anthropic 공식 글 직접 대조)
dreaming은 유휴 시간의 오프라인 정리 — 기록과 대조해 틀린 노트를 고치고, 새 노트와 위키를 만들고, 주입 층으로 끌어올리거나 내린다
성적 수치는 전부 회사 측정이고 CL-Bench 평균 보상은 그림 전사 — 도입의 값은 남의 0.838이 아니라 자기 기록의 오류율로 재야 한다
Anthropic의 정의부터 잘라 둘 필요가 있다. 여기서 말하는 메모리는 학습으로 가중치가 바뀌는 것이 아니고, 한 대화 안에서만 통하는 맥락도 아니고, 긴 대화를 요약으로 갈아 끼우는 compaction도 아니다. 경험에서 얻어 세션 사이에 남고, 나중에 텍스트로 다시 읽을 수 있는 지식만 메모리라고 부른다.
그 메모리는 네 층으로 쌓인다. 맨 아래는 세션 기록이다. 무슨 일이 있었는지를 그대로 남긴 로그가 ground truth 역할을 한다. 그 위에 Claude가 일하면서 직접 쓰는 노트가 있고, 노트를 주제별로 엮어 링크를 단 표현 — 위키가 대표적이다 — 이 그 위에 있다. 맨 위는 주입 층이다. 새 세션이 시작될 때 검색을 거치지 않고 미리 실리는 작은 컨텍스트로, Claude Code의 자동 메모리가 MEMORY.md의 첫 200줄 또는 25KB까지만 싣는 규격이 이 층의 실제 모습이다.
dreaming은 이 층들 사이를 오가는 정리 작업이다. 기록과 대조해 틀린 노트를 고치고(교정), 세션을 넘나들며 패턴을 찾아 새 노트와 위키를 만들고(표현 구축), 중요한 노트를 주입 층으로 끌어올리거나 덜 중요한 것을 아래로 내리며(승격과 정리), 특정 목표에 맞게 기억의 모양을 잡는다. 출발점은 Letta와 UC 버클리 연구자들이 제안한 sleep-time compute — 쉬는 시간의 컴퓨팅으로 기존 맥락을 reorganize하자는 아이디어 — 라고 글이 직접 밝힌다.
측정의 무대는 CL-Bench 1.0의 데이터베이스 조회 과제다. 질문마다 새 세션으로 시작하고, 세션을 넘어 남는 것은 메모리 디렉터리뿐이며, 답한 뒤 정답을 알려 준다. 즉 기억을 잘 쓰면 쓸수록 다음 질문이 쉬워지는 구조에서, 모델마다 남기는 기억의 질이 갈렸다. Sonnet 4.6은 왜 틀렸는지에 대한 가설을 시험하지 않은 채 나열하는 데 그쳤고, Opus 4.7은 노트를 하나의 참조 문서로 합치고 확인한 사실과 아닌 사실을 표시하기 시작했으며, Opus 5는 규칙과 그 규칙을 알게 된 근거, 발견한 함정에 대한 경고까지 갖춘 항목으로 학습 루프를 처음 닫았다.
그림이 전하는 평균 보상 수치는 이렇게 읽는다(그림 전사 — 아래 출처 절의 단서 참조). Opus 5.5는 메모리 없이 0.655에서 메모리와 함께 0.838로, Opus 4.7은 0.383에서 0.700으로, Sonnet 5는 0.306에서 0.610으로 올랐다. 구형일수록 상승 폭이 크다는 그림인데, 이것은 「기억이 약한 모델을 강하게 만든다」기보다 「원래 자기 답을 검증해 규칙으로 남기는 습관이 있는 모델은 기억을 자산으로 바꾸고, 없는 모델은 파일만 쌓는다」로 읽는 편이 본문의 서술과 맞는다.
포켓몬 실험이 그 차이를 가장 선명하게 보여 준다. 약 10,000스텝 시점에서 Sonnet 3.7의 메모리 폴더에는 225개 폴더에 413개 파일이 쌓여 있었고 배지는 1개였다. 전투와 아이템, 만난 NPC마다 파일을 만든 기록은 게임 상태가 계속 바뀌는 탓에 쌓이는 즉시 낡았고, 에이전트는 게임 대신 자기 기억을 뒤지는 데 스텝을 쓰기 시작했다. Fable 5는 반대로 폴더 2개 안의 파일 9개에 최상위 global.md 하나를 더한 구성으로 배지 4개를 땄다. 화면에서 매 턴 다시 읽을 수 있는 소지금과 현재 위치는 적지 않고, 스스로 알아내지 않으면 사라지는 전략과 검증된 규칙만 남긴 것이다. Opus 5.5도 작은 폴더를 유지하고 고쳐 쓰며 게임을 끝까지 깼다.
지시를 주는 방식도 결과가 갈렸다. 메모리의 용도만 말하고 방법은 모델에 맡기는 편이 좋았는데, 「실패만 기록하라」 같은 고정 규칙을 박으면 Opus 5와 Opus 4.7 모두 메모리로 얻던 향상분 상당 부분을 잃었다. 반대로 구형 모델에는 지시가 약이었다. Sonnet 4.6은 답하기 전에 메모리 파일을 읽고 가설을 시험하라는 프롬프트를 받자 점수가 거의 두 배가 됐고, Sonnet 5는 그런 지시 없이도 10번 중 9번 스스로 메모리를 먼저 읽었다. 기억 시스템의 성능이 모델 세대에 따라 지시 설계와 맞물려 달라진다는 뜻이다.
dreaming에는 별도 가격표가 없다. Anthropic 공식 가격 문서 어디에도 dreaming 전용 단가 행은 없고, 이 글 자체도 요금을 말하지 않는다. 그래서 값은 토큰으로 환산해서 읽어야 한다. dreaming은 쉬는 시간에 도는 모델 호출이고, 그 호출이 읽는 것은 세션 기록과 메모리 전체이며, 쓰는 것은 노트와 위키다. 공식 가격 문서로 직접 대조한 단가는 Opus 5.5 입력 100만 토큰당 4달러·출력 20달러, Sonnet 5.5 입력 2달러·출력 10달러다. 기록이 긴 에이전트일수록 복습 한 번의 입력 토큰이 커지니, dreaming의 청구서는 세션 수가 아니라 누적 기록의 크기에 비례해 자란다. 오프라인 작업이라 Batch API의 50% 할인(같은 문서에서 직접 대조)이 적용되는지는 공식 문서로 확정되지 않았다.
| 자리 (공식 가격 문서 직접 대조) | 단가 | 메모리와의 관계 |
|---|---|---|
| Claude Opus 5.5 | 입력 4달러·출력 20달러 / 100만 토큰 | CL-Bench 최고 성적 모델(그림 전사). dreaming 실행 토큰의 기준 단가 |
| Claude Sonnet 5.5 | 입력 2달러·출력 10달러 / 100만 토큰 | Opus 5.5와 비슷한 종착(그림 전사 0.833), 토큰 값은 절반 |
| 캐시 읽기 (Opus 5.5) | 0.20달러 / 100만 토큰 | 주입 층이 매 세션 다시 읽힐 때의 비용 감각을 가늠하는 참고 단가 (주입 층에 캐시 읽기와 같은 과금이 적용된다는 뜻은 아니다) |
| Letta (sleep-time compute 제안 팀) | Free 0달러(에이전트 3개) · Pro 월 20달러(에이전트 20개·월 20달러 크레딧) | 같은 개념의 상용 구현. 자체 호스팅의 과금 구조는 확인 필요 |
절약분도 숫자로 실려 있다. 위키와 검색을 함께 쓰면 질문당 약 20,000토큰을 아꼈다는 것이 회사 측정이다. Opus 5.5 입력 단가로 환산하면 질문당 약 0.08달러다. 반대로 주입 층은 매 세션 새로 청구된다. 200줄·25KB의 인덱스를 세션마다 싣는 구조에서, 그 층에 틀린 노트 하나가 올라가면 비용보다 먼저 정확도가 모든 세션에서 함께 무너진다. Anthropic이 주입 층을 작게 유지하는 일을 dreaming의 핵심 작업으로 꼽는 이유다.
동급 비교로 Letta를 나란히 놓으면 과금의 문법이 갈린다. Letta는 메모리 그 자체를 상품으로 팔아서 에이전트 수와 저장소 크기로 요금제를 나누고(Free 에이전트 3개·저장소당 5MiB, Pro는 20개·50MiB에 월 20달러), Anthropic은 메모리를 모델 플랫폼의 기능으로 두고 토큰으로만 받는다. 어느 쪽이 싼지는 에이전트 수와 기록량 중 무엇이 먼저 커지는지에 따라 갈리고, 단가표만으로는 순위를 매길 수 없는 자리다.
실험 중 실무에 가장 가까운 것은 Stainless 문서 실험이다. Anthropic이 인수한 회사의 내부 문서 약 350,000개, 약 420M 토큰 위에 Opus 5 에이전트들이 128개 세션에 걸쳐 위키를 짓고 고쳤다. dreaming 세션이 쌓일수록 위키만으로 답하는 성적은 채점 기준 충족률 13%에서 48%로 올랐고, 검색과 함께 쓰면 54%에서 61%로 올라 검색 단독의 53%를 넘었다. 법률 업무 벤치마크인 Harvey LAB에서는 여러 문서에 걸친 질문에서 위키를 본 쪽이 87%로 검색 단독 73%를 앞섰고, 계약 조건 과제에서는 실패를 되읽어 지시 자체를 고치는 루프가 사실 충족률을 72%에서 100%로 올렸다.
다만 사례의 소속을 분명히 해야 한다. 이 문서 뭉치는 Anthropic 자기가 인수한 회사의 내부 자료이고, 실험을 설계하고 채점한 것도 Anthropic이며, 이름 있는 외부 고객이 dreaming으로 거둔 성과를 공개한 사례는 이번 글에 없다. 포켓몬의 Mt. Moon 사례 — 동쪽으로 잘못 적힌 PokéCenter 노트 하나가 세 번의 추락과 포기를 만들었고, dreaming이 기록과 대조해 그 한 줄을 고치자 에이전트가 동굴을 통과했다 — 는 실무 사례라기보다 이 시스템의 실패와 복구가 어떻게 생겼는지를 보여 주는 가장 구체적인 장면이다. 개인 비서 쪽으로는 Claude Duet 같은 도우미가 돕는 사람 중심으로 기억을 조직하는 데 dreaming을 맞출 수 있다는 언급이 글에 실려 있다.
첫째, 시험장의 주인이다. CL-Bench의 상승폭, 위키의 13%에서 48%, 질문당 2만 토큰 절약까지 이 글의 모든 핵심 수치는 Anthropic이 자기 과제와 자기 채점으로 잰 값이고, 그림 속 평균 보상의 세부 수치는 이번 회차에 텍스트로 확정하지 못해 전사로 읽었다. 독립 기관이 같은 메모리 폴더를 자기 과제로 다시 잰 결과는 아직 없다.
둘째, 비용의 빈칸이다. dreaming을 얼마나 자주 돌릴지는 회사 스스로 열린 문제라고 적었고, 그 답에 따라 토큰 청구서는 몇 배로 갈린다. 기록 전체를 매번 다시 읽는 구조라면, 기억이 쌓일수록 복습이 비싸지는 역설이 생긴다. 위키가 원본보다 커진 사례(한 과제에서 원본의 1.77배라는 전사)처럼, 정리하려던 기억이 오히려 읽을 거리를 늘리는 경우도 글 안에 있다. 도입하는 쪽에서는 dreaming 주기와 1회 입력 토큰량, 그리고 그 복습이 실제로 아낀 토큰을 함께 재야 한다.
셋째, 낡음과 전파다. 메모리는 환경이 바뀌면 틀린 채로 남고, 주입 층에 오른 틀린 노트는 모든 세션이 믿는다. dreaming이 교정 장치이기는 하지만, 그 dreaming 자체도 모델의 판단으로 도는 이상 교정이 또 다른 오류를 심을 가능성을 글은 부정하지 않는다. 단일 문서 검색으로 충분한 과제에서는 위키가 이득이 없었다는 결과까지 포함하면, 이 글의 결론은 「기억을 쌓아라」가 아니라 「기억은 설계하고, 고치고, 때로는 버려야 하는 운영 대상이다」에 가깝다.
결론은 이렇게 갈라진다. 확인된 것은, Anthropic이 메모리를 기록·노트·표현·주입의 네 층으로 정의하고, dreaming이라는 오프라인 정리로 틀린 노트를 기록과 대조해 고치고 위키를 쌓는 구조를 공식 문서와 실험으로 공개했으며, 그 실험에서 회사 측정으로 데이터베이스 과제의 평균 보상이 크게 올랐고 위키와 검색의 병용이 검색 단독을 넘었다는 사실이다. 아직 확인되지 않은 것은, 그림 속 세부 점수의 눈금, 독립 재측정, dreaming의 실제 토큰 청구서와 적정 주기, 그리고 한국어 업무 기록에서의 품질이다. 검증법은 자기 기록 안에 있다. 지금 돌리는 에이전트의 지난 세션 기록 한 달 치를 모아, 틀린 노트가 몇 개인지, 그 노트를 믿고 잘못 간 실행이 몇 건인지 세는 것이다. dreaming의 값은 남의 0.838이 아니라 자기 기록의 오류율로 정해진다.
퍼즈 한 줄 정리
dreaming은 기억을 쌓는 기능이 아니라 고치는 운영이다. 네 층으로 나누고, 쉬는 시간에 기록과 대조해 틀린 노트를 바로잡는 쪽이 파일을 쌓는 쪽을 이겼다는 것이 회사 측정의 모양이고, 도입의 값은 자기 기록의 오류율을 세는 데서 정해진다 개골.