최종 제품소개서 기준 · 2026.10

공개 문서 개정 실험 요약

법령 개정 317건 38.2% · eCFR 개정 79건 56.9% · 의약품 허가사항 개정 45건 57.0% 비용 절감. 각 내부 품질 지표는 0.978 · 0.988 · 0.972이며 정확도 백분율이 아닙니다. 아래는 기존 사이트의 상세 측정 조건과 분석입니다.

측정 방법

절감 효과, 이렇게 측정합니다.

이 페이지는 링클비의 변경 부분 생성 기능을 평가한 실험 결과를 설명합니다. 공개 문서 개정 데이터 2종과 실제 유료 API 호출을 사용했습니다. 평가 기준은 실험 전에 정했으며, 측정 후 변경하지 않았습니다.

링클비 엔진은 고객사 서버에서 실행되며, AI 요청은 링클비 서버를 거치지 않습니다.

실측 결과

부분 재생성의 비용·품질 비교

두 실험 모두 각 항목을 동일한 모델로 두 번 처리해 링클비 적용 방식과 전체 재생성 방식을 비교했습니다. 품질은 실제로 공개된 다음 버전과 비교한 값입니다. 공개 문서 데이터로 측정한 결과입니다. 고객사 적용 효과는 로그 진단과 파일럿에서 확인합니다.

데이터셋 (공개 데이터)측정 건수출력 토큰 변화율비용 변화율 품질 점수 · 링클비품질 점수 · 전체 재생성품질 점수 · 이전 버전 재사용
식약처 의약품 허가사항 개정45건−75.1%−57.0%0.9720.96280.9593
한국 법령 조문 개정317건−57.1%−38.2%0.97770.98110.9385

공개한 −38.2%는 이전 응답을 API 호출 없이 재사용한 경우를 포함하지 않은 값입니다. 모든 항목에서 변경 부분 생성을 위한 API를 실제로 호출해 측정했고, 변경 사항 적용 실패 후 재처리에 발생한 API 비용도 포함했습니다.

「열 번에 네 번」(호출을 생략하면 답이 달라지는 비율)은 유료 API 호출 78건으로 직접 측정했습니다(2026-10-18).

법령 개정 실험에서 이전 버전을 그대로 사용한 경우보다 품질 점수가 높았던 항목은 🧪 309/317건입니다. 법령 표의 출력·금액은 변경 사항 적용에 실패한 18건에 대해, 실제 제품의 재처리 방식에 따라 전체 응답을 재생성한 비용까지 포함한 값입니다(같은 호출 기록으로 다시 계산). 식약처 데이터는 실제 제품 서버를 거쳐 처리했으며, 실제로 일어난 재처리 1건의 재호출 비용이 이미 들어 있습니다. 초안을 입력에 포함하므로 입력 비용이 늘어납니다. 비용 절감률은 이 추가 비용까지 반영한 값으로, 출력 토큰 절감률보다 낮습니다. 두 실험 모두 적용군과 대조군에서 추론 기능을 비활성화했습니다. 모델은 두 실험 모두 claude-sonnet-5-5, 2026-10-17~19.

값출력 토큰 절감률과 비용 절감률
측정 건수45 · 317건
비교 대상같은 항목을 같은 모델로 전체 재생성
측정 방법AI 제공사의 사용량으로 비용을 계산하고, 실제 개정본과의 토큰 F1으로 품질을 평가했습니다. 평가 기준은 실험 전에 정했습니다.
직접 실행해 보세요로그에서 절감 가능한 비율은 진단기가 계산합니다

가정 · 산식

가정 단가: claude-sonnet-5-5 입력 $2.00 · 출력 $10.00 / 100만 토큰 (공식 단가, 2026-10-08 확인) 토큰 수: AI 제공사가 응답에 반환한 usage 값. 응답 유사도·길이 판정만 o200k 토크나이저로 셉니다 이 비교 실험에서는 프롬프트 캐싱을 사용하지 않았습니다. 따라서 결과는 캐싱을 사용하지 않는 동일 조건에서의 비교입니다.
출력 절감 = 1 − Σ 출력(링클비) / Σ 출력(전체 재생성) 비용 절감 = 1 − Σ (입력×$2 + 출력×$10)(링클비) / Σ (입력×$2 + 출력×$10)(전체 재생성) · 링클비 쪽 입력에는 추가한 초안이 포함됩니다 · 변경 사항 적용 실패분을 전체 재생성한 비용은 법령·식약처에 포함 품질 = 토큰 F1(전체 응답, 실제로 공포·고시된 다음 버전) · 제품의 변경 사항 적용 모듈로 초안을 수정한 뒤 품질을 평가

실험 전에 정한 평가 기준

  1. 품질(링클비) ≥ 품질(전체 재생성) − 0.03
  2. 품질(링클비) > 품질(이전 버전 재사용) — 이전 응답을 그대로 재사용하는 방식보다 품질이 높아야 합니다
  3. 출력 토큰 절감 ≥ 50%

기준은 실험 전에 기록했으며, 측정 후 변경하지 않았습니다.

비용이 증가하는 조건

변경 부분 생성의 적용 기준

실제 API 호출로 수행한 4개 실험(법령 317 · 행정규칙 277 · 대상 범위 밖 법령 207 · eCFR 79, 합 880건)을 이전 응답과 다음 응답의 응답 유사도 구간으로 다시 나눈 비용 절감률입니다. 응답 유사도가 78% 미만인 구간에서는 링클비 적용 비용이 전체 재생성 비용보다 높았습니다.

응답 유사도 구간별 비용 절감률 (양수는 비용 절감 · 음수는 비용 증가)

응답 유사도 구간별 비용 절감률, 실제 API 호출 880건 응답 유사도 50% 미만 86건 -31.1%; 50–70% 54건 -16.1%; 70–78% 67건 -6.6%; 78–85% 61건 -0.8%; 85–90% 69건 +17.9%; 90–95% 128건 +41.9%; 95–97.5% 156건 +56.8%; 97.5–99% 158건 +63.9%; 99% 이상 101건 +65.7% -40% -30% -20% -10% 0 +10% +20% +30% +40% +50% +60% +70% -31.1% <50% 86 -16.1% 50–70% 54 -6.6% 70–78% 67 -0.8% 78–85% 61 +17.9% 85–90% 69 +41.9% 90–95% 128 +56.8% 95–97.5% 156 +63.9% 97.5–99% 158 +65.7% 99%+ 101 78%부터 적용 → 이전 응답과 다음 응답의 응답 유사도 (각 칸 아래 숫자는 건수)

99% 이상 구간은 비용 절감률이 가장 크지만 이전 버전을 그대로 재사용한 방식의 품질 점수가 더 높았습니다(지원 기능과 처리 방식 참조). 비용과 품질을 함께 평가합니다. 기존 응답으로 충분한 요청인지도 별도로 확인해야 합니다.

효과는 문서 특성에 따라 달라집니다. 링클비는 적용 가능성을 먼저 평가해 비용 절감이 기대되는 요청에만 이 방식을 적용하고, 기준 요청과 비교해 실제 효과를 확인합니다.

📄 타사 공개 사례(참고): 번역 회사 한 곳이 같은 아이디어를 실제로 만들어 시험했고, 결과를 공개했습니다. "같은 AI 지시문을 썼는데도 테스트 데이터셋에 따라 성능 편차가 크다"는 이유로 전면 적용을 보류했습니다.

기준 요청을 활용한 절감 효과 측정

비교 기준을 확보하기 위해 일부 문서에는 최적화를 적용하지 않습니다. 기본 배정 비율은 10%이며, 문서 단위로 배정합니다. 이 요청을 기준 요청이라고 부릅니다. 문서 처리량이 충분하면 기준 요청 비율을 낮춥니다.

기준 요청은 기존 요청을 그대로 처리하므로 측정을 위한 추가 API 비용은 발생하지 않습니다.

링클비를 거친 요청과 기준 요청의 응답 토큰당 비용을 동일한 단가표로 비교합니다. 정산에 사용하는 절감액은 점추정이 아니라 산정 범위의 하한(95% 하한)을 기준으로 합니다.

파일럿 리포트에는 비교 대상의 규모(문서 수·요청 수)와 기준 요청 배정 비율, 두 갈래의 토큰당 비용과 절감액(95% 하한 포함), AI 제공사 청구서와 대조하는 방법을 함께 담습니다.