컨텍스트 엔지니어링으로 구축하는 AI 에이전트 리뷰 - 한빛미디어
March 02, 2026
“한빛미디어 서평단 <나는리뷰어다> 활동을 위해 도서를 제공받아 작성된 서평입니다.”
최근 회사에서 학습 컨텐츠를 만드는 일을 하면서, 생각보다 많은 시간을 프롬프트에 쓰고 있었다. 예시 문제(원본)가 있고, 사용자의 상황(직무/레벨/목표)에 맞게 문제를 re-writing한 뒤, 정해진 JSON 스키마에 맞춰 컨텐츠를 생성해 반환하는 작업이다.
겉으로 보면 단순하다. “규칙만 잘 지키면 자동으로 안정적인 결과가 나오겠지”라고 생각했다. 근데 운영으로 들어가니 제일 곤란한 문제가 생겼다. 결과가 항상 일정하지 않다. 어떤 날은 규칙이 잘 적용되는데, 어떤 날은 규칙이 누락되는 느낌이 들었고 컨텐츠 퀄리티도 들쭉날쭉했다.
특히 제일 치명적인 건 “형식”보다 “내용”이었다. 형식은 대부분 잘 맞춰주는데 정작 사용자 맥락을 제대로 반영하지 못하는 결과가 종종 나왔다. 사용자 입장에서는 “그럴듯한 문제”가 아니라 “내 상황에 맞는 문제”가 필요한데, 그걸 놓친 결과물은 결국 내가 다시 손으로 고쳐야 했다. 그리고 특정 한두가지 property값만 기대치에 못 미치면 스트레스를 받았다.
이 책을 읽고 나서 내가 바꾼 건 프롬프트 문장력이 아니라, 컨텍스트를 다루는 방식이었다. 특히 두 가지가 결정적이었다.
- 강화형 컨텍스트 학습으로 “생성 후 보완” 루프를 만들기
2. re-writing 컨텍스트와 컨텐츠 생성 컨텍스트를 분리하기
문제는 ‘규칙이 부족해서’가 아니라 ‘규칙이 강화되지 않아서’였다. 규칙을 전부 적어놓긴 했지만 그럼에도 고려하지 못한 부분, 엣지 케이스들이 훨씬 많았다. 그래서 필요한 건 “처음부터 완벽한 규칙”이 아니라, 구멍을 발견하면 강화하는 게 맞아 보였다.
1. 강화형 컨텍스트 학습으로 ‘생성 후 보완’ 루프 만들기
강화형 컨텍스트 학습 플로우를 만들기 위해서 결과물을 만든 다음,그 결과물에서 “규칙을 보완할 지점”을 찾아 다음 생성에 반영해 강화했다. 그러다보니 계속 진행할수록 퀄리티가 올라갔다. 생성하고 피드백한만큼 강화되는 것이다.
2. re-writing과 컨텐츠 생성 컨텍스트를 분리하기
또 하나 크게 바꾼 건 “한 번에 다 하게 만들지 말자”였다.
이전에는 한 프롬프트 안에서 원본 예시 문제를 해석하고 사용자 맥락을 반영해 re-writing하고 JSON 스키마에 맞춰 컨텐츠를 생성하고 이 모든 걸 동시에 시켰다. 내용은 빠진 게 없었지만 AI가 한번에 하려니까 퀄리티가 잘 안 나왔다.
그래서 나는 컨텍스트를 의도적으로 두 덩어리로 분리했다.
- re-writing 컨텍스트
-
사용자 맥락을 “어떻게” 반영할지에 집중
-
직무/레벨/목표를 반영하는 기준을 명시
-
원본 문제의 핵심을 유지하는 규칙 포함
→ 여기서 결과물은 “텍스트”다. (아직 JSON 아님)
- 컨텐츠 생성 컨텍스트
-
re-writing 결과를 입력으로 받아
-
JSON 스키마 준수에 집중
-
금지어/길이/톤 등 출력 제약을 강하게 적용
→ 여기서 결과물은 “JSON”이다.
이렇게 하니까 퀄리티가 훨씬 올라갔고 디버깅하기도 쉬워졌다. 중간단계인 re-writing 결과를 로그로 찍어보면 re-writing 단계의 문제인지, 뒷단의 문제인지 쉽게 판단할 수 있었다. 무엇보다 “사용자 맥락 반영”이 컨텐츠 생성 과정에서 묻히지 않았다. 맥락을 반영하는 일과, 형식을 맞추는 일을 분리하니 서로의 품질을 갉아먹지 않게 됐다.
마무리
이 책을 읽고 나서 내가 얻은 건 “프롬프트를 잘 쓰는 법”이 아니었다. 운영 가능한 컨텍스트 설계 방법이었다.
-
규칙은 한 번에 완성되지 않는다 → 강화 루프가 필요하다
-
한 프롬프트에 모든 걸 넣으면 흔들린다 → 컨텍스트를 분리해야 한다
기존에는 너무 사람처럼 생각했는데 이제는 AI의 입장에서 조금이나마 프롬프트를 작성할 수 있게 되지 않았나 싶다.
#한빛미디어 #나는리뷰어다 #컨텍스트엔지니어링으로구축하는AI에이전트
