두 AI에게 같은 브리핑 지시서를 줬습니다 — AI와 일하는 방식

2026년 9월 18일, 뉴스 브리핑을 쓰는 AI를 비교하기 시작했습니다. 정식 브리핑은 Hermes가 만들고, 10분 뒤 Claude가 같은 지시서로 한 번 더 쓰도록 했습니다. Claude의 원고는 발송하지 않고 비교용 폴더에만 남겼습니다. 당시 실행 지시서에 정한 조건입니다.

처음 계획은 일주일 뒤 역할을 정하는 것이었습니다. 10월 2일 비교 보고서에는 역할 채택 기록 없이 그날까지 실험이 이어졌다고 적혀 있습니다. 이 글은 9월 18일의 시험 기록과 그 보고서가 집계한 10월 1일까지의 결과를 다룹니다. 보고서는 어느 쪽 문장이 더 좋은가에 앞서 확인할 차이를 보여줬습니다. 같은 기준으로 브리핑을 맡겼지만 두 AI가 고른 기사는 달랐습니다.

지시서와 결과 파일을 인계 기준으로 삼았습니다

당시 집 서버에서 Hermes는 정해진 시각에 작업을 시작하고 셸 명령을 실행하며 결과를 Slack에 보냈습니다. Claude에게 집필을 맡길 때는 읽을 지시서와 결과를 쓸 위치를 알려주는 방식으로 연결했습니다. 9월 18일에는 Hermes가 Claude를 호출하고, Claude의 응답을 다시 Slack으로 보낸 왕복 시험 결과가 남았습니다.

Claude가 회신할 수 없어서 파일을 택한 것은 아닙니다. 각 실행이 무엇을 읽고 어디에 결과를 남겼는지 확인하기 쉬운 단위로 작업을 나눈 것입니다. 비교 실험에서는 정식 원고와 Claude 원고의 저장 위치를 분리하고, Claude 원고가 곧바로 독자에게 전달되지 않게 했습니다.

파일에 적어야 할 내용도 구체적입니다. 이번 회차에 읽을 자료, 독자와 편집 기준, 출력 위치가 있어야 다음 작업자가 이어갈 수 있습니다. 지시서만 같고 읽을 자료의 범위가 다르면 모델 비교에 다른 차이가 섞입니다.

세 단계 분리는 당시의 설계였고 일부는 막혀 있었습니다

뉴스 작업은 수집, 선별, 집필로 나누려 했습니다. Python이 사이트에서 자료를 가져오고, 로컬 모델이 독자에게 관련 있는 기사를 고르며, 클라우드 모델이 브리핑을 쓰는 구성이었습니다. 수집할 때마다 언어 모델이 처음부터 자료를 읽는 일을 줄이려는 설계입니다.

다만 9월 18일 실행 결과를 보면 로컬 모델 연결은 타임아웃으로 실패했습니다. 이 보고서도 선별 단계가 비활성 상태라고 적었습니다. 따라서 이 시점의 일을 ‘Python과 로컬 모델이 걸러준 목록만 클라우드 모델이 읽었다’고 설명하면 실제보다 앞서갑니다. 연결을 시험한 단계와 실제로 돌아간 단계를 구분해야 합니다.

초기 비교의 입력 수도 같은 이유로 조심해서 다뤄야 했습니다. 보존된 Hermes 시험 원고와 Claude 시험 원고에는 모두 읽은 항목 수가 417건으로 적혀 있습니다. Claude 원고는 당일 폴더 412건과 전날 저녁 5건을 합한 값이라고 설명합니다. 417건은 두 원고에 남은 입력 기록입니다. 실제로 같은 자료를 얼마나 충실하게 읽었는지 평가하려면 기사별 사용 근거도 대조해야 합니다.

비교 원고는 둘 다 남았고 빠진 회차도 있었습니다

10월 2일 비교 보고서는 9월 18일부터 10월 1일까지 14일간, 아침저녁 28회차를 집계했습니다. Hermes의 정식 원고는 25개, Claude의 비교 원고는 26개가 남았습니다.

확인한 항목	결과
비교 대상 기간	9월 18일~10월 1일, 아침저녁 28회차
Hermes 원고 파일	25개
Claude 원고 파일	26개
Hermes 파일 없이 Claude 파일만 남은 회차	9월 21일 아침, 9월 30일 아침
두 원고가 모두 없는 회차	9월 26일 아침

위 수치는 비교 보고서의 파일 집계값입니다. 이번 원고 점검에서 28회차의 파일을 다시 모두 열어 재집계한 것은 아닙니다. 모든 회차에서 두 모델이 실제로 읽은 파일 목록까지 같았는지는 별도로 확인해야 합니다.

파일 수는 실행 결과가 남았는지를 보여줍니다. 그 수가 곧 글의 품질이나 발송 성공률은 아닙니다. 특히 비교 폴더에 있는 Claude 원고는 독자에게 보내지 않는 조건으로 만든 것이므로, 원고가 있다고 정식 브리핑의 공백이 실제로 메워졌다고 쓸 수는 없습니다.

본문 대조에서는 선택한 기사가 달랐다는 관찰이 중요했습니다. 보고서는 같은 날의 수집분에서 두 모델이 고른 기사의 겹침이 적다고 기록했습니다. 10월 1일 저녁 원고를 비교한 대목에서는 Hermes가 항목별 사실과 의미를 고르게 정리한 반면, Claude는 그날 전체를 묶는 해석을 앞에 두었다고 설명합니다. Claude 쪽에 굵은 표시가 많았다는 문체 지적도 있습니다.

전체를 엮는 해석이 있다는 이유만으로 더 좋은 글이라고 정하지는 않았습니다. 어떤 기사를 골랐는지, 빠뜨린 중요한 소식은 없는지, 연결한 설명에 근거가 있는지를 함께 봐야 하기 때문입니다. 같은 지시서가 기사 선택까지 같게 만들어주지는 않았습니다.

대체 원고가 있다는 것과 대신 발송하는 것은 다릅니다

비교 보고서는 Hermes를 정식 브리핑으로 유지하고, Claude를 예비 역할로 바꾸자는 안을 냈습니다. Hermes 원고가 정해진 시각까지 없을 때 Claude 원고를 사용할 수 있도록 하자는 제안입니다. 해당 보고서의 결론은 제안이며, 이 글의 근거 자료에는 이를 채택해 자동 발송을 바꿨다는 결정이 없습니다.

대체 발송을 적용하려면 원고의 존재 외에도 확인할 조건이 있습니다. 같은 회차의 자료를 사용했는지, 이미 발송된 원고는 없는지, 그 원고가 편집 기준을 지켰는지를 확인해야 합니다. 둘 중 하나의 파일을 찾는 것과 독자에게 내보낼 원고를 고르는 것은 각각의 작업입니다.

저 김반장의 작업대는 MD와 Google Drive입니다

지시서와 정식 원고, 비교 원고를 파일로 남겼기 때문에 같은 날짜의 결과를 다시 대조할 수 있었습니다. 이번에는 실행 계획과 실제 결과 보고서도 함께 읽어, 설계한 단계와 돌아간 단계를 나눠 적었습니다.

이러한 AX 과정을 think-designer에서는 MD와 Google Drive로 일하는 방법을 중심으로, AI 대장간 ‘더포지’(the-forge.kr) 커뮤니티에서는 실제 업무를 중심으로 이야기합니다.