Skip to content

feat(S15P11A705-401): 결합 신뢰도 게이트 임계값 오프라인 재측정 — 0.35 채택 - #120

Merged
ghkim1632 merged 3 commits into
devfrom
feat/S15P11A705-401-confidence-gate-threshold
Aug 8, 2026
Merged

feat(S15P11A705-401): 결합 신뢰도 게이트 임계값 오프라인 재측정 — 0.35 채택#120
ghkim1632 merged 3 commits into
devfrom
feat/S15P11A705-401-confidence-gate-threshold

Conversation

@ghkim1632

Copy link
Copy Markdown
Contributor

요약

결합 신뢰도 게이트(중앙 조정 세션 인계 문서 §4.3) threshold 후보 0.35가 다른 용도(키워드 재정렬 floor)에서 가져온 값이라 이 용도로는 검증된 적이 없었다. gate_sweep.py로 기존 행렬에 게이트 규칙을 적용해 재측정하고 0.35를 채택한다.

Jira (필수)

  • 키: S15P11A705-401
  • 완료 조건: 오프라인 재측정 결과와 채택 여부 판단

변경 사항

  • tools/search_cut/gate_sweep.py 신설 — S1/S2/S3 신호 재구성 + threshold 격자 스윕
  • docs/implements/2026-08-07-gate-threshold-remeasure.md 리포트, README 색인 갱신, WORKLOG 항목

테스트 / 검증

RED

해당 없음 — 신규 오프라인 측정 도구, 런타임 코드 변경 없음

GREEN

python tools/search_cut/gate_sweep.py → threshold 0.35에서 정답 손실 0(문장형 12·단어형 66·프로브 22), 무관 신규 침묵 단어무관 23/45·타인소유 55/96. 결정성 확인(동일 입력 2회 실행 결과 완전 일치)

Regression

  • ruff check .
  • python -m compileall app tools
  • pytest --cov=app --cov-branch --cov-report=term-missing → 게이트 line 94.64%·branch 85.00% 통과
  • DB 계약 변경 시 pgvector Testcontainers 검증 — 해당 없음(DB·GMS 호출 0회)

리뷰 포인트

  1. 최초 실행에서 recall_probe.jsonuser_id가 질의별이 아니라 최상위에만 있는 형식을 놓쳐 프로브 손실 6건을 오탐했다 — 리포트에 원인·수정 내역을 남겼다. 비슷한 형식을 쓰는 다른 하네스도 점검 부탁
  2. 0.35 재사용 여부 — 안전 구간(0.25~0.37) 내 최적값(0.36)과 사실상 동률이라 0.35 채택을 권고했다

리스크

  • 계약: 없음 (런타임 코드 미변경)
  • 데이터·개인정보: 없음
  • 운영·배포: 없음 — 측정 결과만 제공. 실제 게이트는 별도 PR(back S15P11A705-400)

범위 밖 / 후속

  • 실서버 on/off 대조는 back 구현 병합 이후 별도 필요

영구 문서

  • docs/implements/2026-08-07-gate-threshold-remeasure.md(신규), docs/implements/README.md, docs/WORKLOG.md

관련 GitHub Issue (선택)

(없음)

OFFTOPIC-CONFIDENCE-GATE-HANDOFF-DRAFT.md §4.3이 제안한 게이트의 threshold
후보 0.35는 SEARCH_KEYWORD_RERANK_FLOOR에서 가져온 값이라 이 용도(S1 단독·
저유사도 결과 숨김)로는 검증된 적이 없었다. gate_sweep.py로 기존 행렬(문장형
정답 12·단어형 정답 66·진단프로브 22·무관 60·타인소유 96건)에 게이트 규칙을
적용해 0.35에서 정답 손실 0을 유지하며 무관 노출이 크게 줄어드는 것을 확인했다.
DB·GMS 호출 없이 기존 커밋된 행렬만 읽는다.
gate-threshold-remeasure.md 리포트를 docs/implements/README.md의 두 색인
표(개별 리포트·구현·산출 전수)에 모두 추가한다. test_docs_index.py가 이
누락을 잡았다.
@colosair

colosair commented Aug 7, 2026

Copy link
Copy Markdown
Member

CI 실패 원인 확인

ai-ci / check가 첫 단계인 PR 제목 검증에서 중단됐습니다.

  • 현재 제목: Feat/s15 p11 a705 401 confidence gate threshold
  • CI 요구 형식: {type}(S15P11A705-N): 설명
  • PR 본문에 명시된 Jira 키: S15P11A705-401

따라서 제목을 예를 들어 아래처럼 정정하면 제목 검사 조건을 충족합니다.

feat(S15P11A705-401): 결합 신뢰도 게이트 임계값 재측정

로그의 coverage artifact 미발견 오류는 제목 검사 직후 테스트·coverage 생성 단계가 실행되지 않아 따라온 2차 증상입니다. 제목 정정 후 CI를 재실행해 실제 lint·테스트·coverage 결과를 확인하면 됩니다.

근거: 실패한 ai-ci run

@ghkim1632 ghkim1632 changed the title Feat/s15 p11 a705 401 confidence gate threshold feat(S15P11A705-401): 결합 신뢰도 게이트 임계값 오프라인 재측정 — 0.35 채택 Aug 8, 2026
@ghkim1632
ghkim1632 merged commit cc2156a into dev Aug 8, 2026
3 checks passed
@ghkim1632
ghkim1632 deleted the feat/S15P11A705-401-confidence-gate-threshold branch August 8, 2026 01:09
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Labels

None yet

Projects

None yet

Development

Successfully merging this pull request may close these issues.

2 participants