리뷰 신호(삭제된 기능)

리뷰 클렌징 — 조작 리뷰를 걸러 정제 후 평점을 내려고 했음.

리뷰 한 건의 조작 여부는 직접 판단하지 않음.

LLM 에게 “이 리뷰 가짜야?”라고 묻는 것에 대한 탐지율은 사람이 50.8% · GPT-4o는 50.0%라는 연구가 있음. LLM을 사용하여 텍스트만으로 판정해 보면, False positive 1% 에 탐지율 30%대가 나오고, 난독화를 조금만 가해도 탐지율이 0%가 됨. 판단하는 대신 “무엇을 관측했는지 보여준다”로 감.

누가 · 언제 — 관계·행동

제품에서 리뷰 본문을 한 글자도 읽지 않고 상품별로 관측된 사실을 서술. 예를 들면 7일 동안 글이 몰려서 작성되었다거나, 공통된 리뷰어가 작성했거나, 한 계정의 다작 여부, 구매 확인 여부, 5점 비율 같은 것.

"원래 이 제품이면 보통 몇 5%정도 7일동안 몰려서 적는데, 이 경우 10%정도 7일 동안 글이 몰려있다." 혹은 "보통 이 제품이면 3%정도가 공통된 리뷰어를 가지는데, 이 경우 15%정도 공통된 리뷰어를 가진다" 처럼 결과가 나옴.

수집한 한국어 공개 리뷰에는 작성자 ID 가 없었음. 영어로 실험을 진행하였으나, 그대로 옮겨서 사용하지 않음.

화면

결과 화면의 리뷰 상세 — 관측값을 같은 부류의 중앙값 옆에 두고, 판정은 하지 않음. 관측값과 문장은 서버 쪽에서 만듦..