Skip to content

사용자 맥락 기반 피드 추천 품질 점검 및 개선 #92

Description

@ghkim1632

배경

피드에 사용자별 추천 시스템을 적용할 필요가 있습니다.

현재 추천 결과가 사용자가 작성한 맥락(Context)의 의도와 관심사를 충분히 반영하는지 명확히 검증되지 않았습니다. 사용자 맥락을 바탕으로 관련성 높은 Collection 또는 Record를 추천할 수 있는지 점검하고, 그 결과를 토대로 추천 방식을 발전시키고자 합니다.

목표

  • 사용자 맥락과 피드 추천 결과의 관련성을 점검합니다.
  • 추천 품질을 객관적으로 비교할 평가 기준과 데이터셋을 마련합니다.
  • 점검 결과를 바탕으로 추천 로직의 개선 방향을 도출하고 적용합니다.

점검 항목

  • 현재 피드 후보 생성 및 정렬 방식 파악
  • 추천에 활용되는 사용자 맥락의 범위와 전처리 방식 확인
  • 최신 맥락과 반복적으로 나타나는 관심사 등 신호별 영향 점검
  • 추천 결과의 관련성, 다양성, 중복도 및 최신성 평가
  • 맥락이 부족한 신규 사용자를 위한 기본 추천 전략 확인
  • 비공개 데이터 및 노출 권한 침해 여부 검증
  • 추천 실패, 빈 결과 및 외부 AI 서비스 장애 시 대체 동작 확인

개선 방향 후보

  • 사용자 맥락 임베딩과 추천 후보 간 유사도 기반 랭킹
  • 최신성과 사용자 관심도에 따른 가중치 조정
  • 유사한 결과가 반복되지 않도록 다양성 보정
  • 명시적·암묵적 사용자 반응을 활용한 랭킹 개선
  • 오프라인 평가 및 운영 지표를 통한 지속적인 품질 관찰

완료 조건

  • 현재 추천 파이프라인과 활용 신호가 문서화되어 있다.
  • 대표 사용자 맥락과 기대 추천 결과로 구성된 평가 데이터셋이 준비되어 있다.
  • 관련성·다양성·중복도 등 핵심 평가 지표와 기준값이 정의되어 있다.
  • 현행 추천 품질의 기준선이 측정되어 있다.
  • 개선안을 최소 1개 적용하고 기준선과 비교한 결과가 기록되어 있다.
  • 권한, 개인정보 및 장애 상황에 대한 테스트가 포함되어 있다.
  • 추가 개선 사항은 별도 후속 이슈로 분리되어 있다.

Metadata

Metadata

Assignees

Labels

No labels
No labels

Type

No type

Projects

No projects

Milestone

No milestone

Relationships

None yet

Development

No branches or pull requests

Issue actions