feat(S15P11A705-401): 결합 신뢰도 게이트 임계값 오프라인 재측정 — 0.35 채택 - #120
Merged
Conversation
OFFTOPIC-CONFIDENCE-GATE-HANDOFF-DRAFT.md §4.3이 제안한 게이트의 threshold 후보 0.35는 SEARCH_KEYWORD_RERANK_FLOOR에서 가져온 값이라 이 용도(S1 단독· 저유사도 결과 숨김)로는 검증된 적이 없었다. gate_sweep.py로 기존 행렬(문장형 정답 12·단어형 정답 66·진단프로브 22·무관 60·타인소유 96건)에 게이트 규칙을 적용해 0.35에서 정답 손실 0을 유지하며 무관 노출이 크게 줄어드는 것을 확인했다. DB·GMS 호출 없이 기존 커밋된 행렬만 읽는다.
gate-threshold-remeasure.md 리포트를 docs/implements/README.md의 두 색인 표(개별 리포트·구현·산출 전수)에 모두 추가한다. test_docs_index.py가 이 누락을 잡았다.
Member
CI 실패 원인 확인
따라서 제목을 예를 들어 아래처럼 정정하면 제목 검사 조건을 충족합니다. 로그의 coverage artifact 미발견 오류는 제목 검사 직후 테스트·coverage 생성 단계가 실행되지 않아 따라온 2차 증상입니다. 제목 정정 후 CI를 재실행해 실제 lint·테스트·coverage 결과를 확인하면 됩니다. 근거: 실패한 ai-ci run |
This file contains hidden or bidirectional Unicode text that may be interpreted or compiled differently than what appears below. To review, open the file in an editor that reveals hidden Unicode characters.
Learn more about bidirectional Unicode characters
Sign up for free
to join this conversation on GitHub.
Already have an account?
Sign in to comment
Add this suggestion to a batch that can be applied as a single commit.This suggestion is invalid because no changes were made to the code.Suggestions cannot be applied while the pull request is closed.Suggestions cannot be applied while viewing a subset of changes.Only one suggestion per line can be applied in a batch.Add this suggestion to a batch that can be applied as a single commit.Applying suggestions on deleted lines is not supported.You must change the existing code in this line in order to create a valid suggestion.Outdated suggestions cannot be applied.This suggestion has been applied or marked resolved.Suggestions cannot be applied from pending reviews.Suggestions cannot be applied on multi-line comments.Suggestions cannot be applied while the pull request is queued to merge.Suggestion cannot be applied right now. Please check back later.
요약
결합 신뢰도 게이트(중앙 조정 세션 인계 문서 §4.3) threshold 후보 0.35가 다른 용도(키워드 재정렬 floor)에서 가져온 값이라 이 용도로는 검증된 적이 없었다.
gate_sweep.py로 기존 행렬에 게이트 규칙을 적용해 재측정하고 0.35를 채택한다.Jira (필수)
변경 사항
tools/search_cut/gate_sweep.py신설 — S1/S2/S3 신호 재구성 + threshold 격자 스윕docs/implements/2026-08-07-gate-threshold-remeasure.md리포트, README 색인 갱신, WORKLOG 항목테스트 / 검증
RED
해당 없음 — 신규 오프라인 측정 도구, 런타임 코드 변경 없음
GREEN
python tools/search_cut/gate_sweep.py→ threshold 0.35에서 정답 손실 0(문장형 12·단어형 66·프로브 22), 무관 신규 침묵 단어무관 23/45·타인소유 55/96. 결정성 확인(동일 입력 2회 실행 결과 완전 일치)Regression
ruff check .python -m compileall app toolspytest --cov=app --cov-branch --cov-report=term-missing→ 게이트 line 94.64%·branch 85.00% 통과리뷰 포인트
recall_probe.json의user_id가 질의별이 아니라 최상위에만 있는 형식을 놓쳐 프로브 손실 6건을 오탐했다 — 리포트에 원인·수정 내역을 남겼다. 비슷한 형식을 쓰는 다른 하네스도 점검 부탁리스크
범위 밖 / 후속
영구 문서
docs/implements/2026-08-07-gate-threshold-remeasure.md(신규),docs/implements/README.md,docs/WORKLOG.md관련 GitHub Issue (선택)
(없음)