실측 결과
부분 재생성의 비용·품질 비교
두 실험 모두 각 항목을 동일한 모델로 두 번 처리해 링클비 적용 방식과 전체 재생성 방식을 비교했습니다. 품질은 실제로 공개된 다음 버전과 비교한 값입니다. 공개 문서 데이터로 측정한 결과입니다. 고객사 적용 효과는 로그 진단과 파일럿에서 확인합니다.
| 데이터셋 (공개 데이터) | 측정 건수 | 출력 토큰 변화율 | 비용 변화율 |
품질 점수 · 링클비 | 품질 점수 · 전체 재생성 | 품질 점수 · 이전 버전 재사용 |
| 식약처 의약품 허가사항 개정 | 45건 | −75.1% | −57.0% | 0.972 | 0.9628 | 0.9593 |
| 한국 법령 조문 개정 | 317건 | −57.1% | −38.2% | 0.9777 | 0.9811 | 0.9385 |
공개한 −38.2%는 이전 응답을 API 호출 없이 재사용한 경우를 포함하지 않은 값입니다. 모든 항목에서 변경 부분 생성을 위한 API를 실제로 호출해 측정했고, 변경 사항 적용 실패 후 재처리에 발생한 API 비용도 포함했습니다.
「열 번에 네 번」(호출을 생략하면 답이 달라지는 비율)은 유료 API 호출 78건으로 직접 측정했습니다(2026-10-18).
법령 개정 실험에서 이전 버전을 그대로 사용한 경우보다 품질 점수가 높았던 항목은 🧪 309/317건입니다. 법령 표의 출력·금액은 변경 사항 적용에 실패한 18건에 대해, 실제 제품의 재처리 방식에 따라 전체 응답을 재생성한 비용까지 포함한 값입니다(같은 호출 기록으로 다시 계산). 식약처 데이터는 실제 제품 서버를 거쳐 처리했으며, 실제로 일어난 재처리 1건의 재호출 비용이 이미 들어 있습니다. 초안을 입력에 포함하므로 입력 비용이 늘어납니다. 비용 절감률은 이 추가 비용까지 반영한 값으로, 출력 토큰 절감률보다 낮습니다. 두 실험 모두 적용군과 대조군에서 추론 기능을 비활성화했습니다. 모델은 두 실험 모두 claude-sonnet-5-5, 2026-10-17~19.
값출력 토큰 절감률과 비용 절감률
측정 건수45 · 317건
비교 대상같은 항목을 같은 모델로 전체 재생성
측정 방법AI 제공사의 사용량으로 비용을 계산하고, 실제 개정본과의 토큰 F1으로 품질을 평가했습니다. 평가 기준은 실험 전에 정했습니다.
직접 실행해 보세요로그에서 절감 가능한 비율은 진단기가 계산합니다