AI가 출처를 지어내지 못하게 만든 방법
단톡방에 이런 메시지가 왔다고 해봅시다.
코스피 폭락했으니 지금이 매수 기회래. 바닥은 이미 지났대.
이 두 문장에는 성격이 다른 말이 섞여 있습니다. "코스피가 폭락했다"는 확인할 수 있는 사실이고, "바닥은 지났다"는 의견입니다. 사실은 다른 매체에서도 보도됐는지 보면 되고, 의견은 맞다/틀리다가 아니라 어느 쪽 주장이 얼마나 있는지를 봐야 합니다.
이걸 매번 손으로 찾기 귀찮아서 저울질을 만들었습니다. 기사 주소나 들은 말을 넣으면 사실과 의견을 나누고, 다른 매체 보도와 반대쪽 근거를 찾아 보여줍니다.
가장 쉬운 방법은 검색 결과를 AI에게 주고 "정리해줘" 하는 겁니다. 그런데 이 방식에는 출처를 다루는 서비스로서 치명적인 문제가 있습니다.
AI에게 다 맡기면 생기는 문제
"검색 결과를 보고 출처마다 신뢰도를 매기고, 반대쪽에서 가장 강한 근거를 골라줘"라고 시키면 결과는 그럴듯하지만 믿을 수가 없습니다.
- 없는 링크가 나올 수 있습니다. 언어 모델은 검색 결과에 없던 기사 주소도 그럴듯하게 만들어냅니다. 형식이 진짜 같아서 눌러보기 전엔 모릅니다.
- 등급이 그때그때 달라집니다. 같은 기사를 넣어도 실행할 때마다 "신뢰도 높음"과 "보통"을 오갈 수 있습니다.
- "가장 강한 근거"가 "가장 많이 퍼진 주장"이 되기 쉽습니다. 기사가 많은 쪽을 강하다고 보기 쉽습니다.
교차 확인 서비스가 출처를 지어내면 서비스 자체가 성립하지 않습니다. 그래서 역할을 나눴습니다.
역할 나누기: AI는 읽고 분류만, 판정은 코드가
AI가 잘하는 건 문장을 읽고 의미를 나누는 일입니다. 이 문장이 사실 주장인지 의견인지, 이 기사가 어느 입장 이야기인지 같은 것들입니다. 반대로 규칙대로 세고 비교하는 일은 코드가 훨씬 정확합니다.
그래서 흐름을 이렇게 바꿨습니다.
- 코드가 검색합니다. 검색 API로 기사를 모으고, 각 결과에 번호를 붙입니다.
- AI는 번호로만 답합니다. "이 주장은 3번, 7번 기사에 나온다"처럼요. AI 응답에는 주소를 쓰는 칸 자체가 없습니다.
- 코드가 번호를 실제 결과와 맞춰봅니다. 존재하지 않는 번호는 버립니다. 화면에 나가는 링크는 전부 1번 단계에서 받은 검색 결과에서 꺼냅니다.
이렇게 하면 없는 링크가 나올 경로가 아예 없습니다. AI가 엉뚱한 번호를 대면 그 연결이 빠질 뿐, 가짜 주소가 화면에 나가지는 않습니다.
등급은 규칙으로
출처 등급도 코드가 정합니다. 다섯 가지입니다.
| 등급 | 조건 |
|---|---|
| 1차 자료 | 정부·공공기관·연구기관 도메인 (go.kr, re.kr 등) |
| 교차 확인 | 서로 다른 매체 2곳 이상이 같은 사실을 따로 보도 |
| 당사자 자료 | 정당이나 이해 당사자가 직접 낸 자료 |
| 단독 주장 | 위 어디에도 해당하지 않음 |
| 제외 | 커뮤니티·블로그, 언론사로 확인 안 되는 사이트 |
핵심은 "교차 확인"을 AI가 판단하지 않고 코드가 센다는 점입니다. AI는 "이 사실이 몇 번 기사들에 나온다"까지만 말하고, 코드가 그 기사들의 도메인을 모아서 서로 다른 곳이 두 개 이상인지 셉니다. 같은 매체의 기사 세 건은 한 곳으로 칩니다.
도메인 분류는 직접 만든 목록을 씁니다. 언론사, 공공기관, 커뮤니티 목록입니다. 목록에 없는 사이트는 근거에서 빼고, 뺐다는 사실만 화면에 보여줍니다. 목록을 손으로 관리해야 한다는 단점이 있지만, 적어도 왜 그 등급이 붙었는지는 언제든 설명할 수 있습니다.
"반대쪽 최강 근거"를 고르는 점수
가장 고민한 부분입니다. "강한 근거"를 어떻게 정의할까요?
AI에게 맡기면 위에서 말한 문제(많이 퍼진 주장 = 강한 주장)가 생기기 쉬워서, 점수로 고릅니다.
- 1차 자료이거나 1차 자료(통계·판결·보고서)를 근거로 듦: 3점
- 다른 매체 2곳 이상에서 교차 확인됨: 2점
- 그 입장을 대표하는 주체(정부, 정당 지도부, 대표 단체)의 주장: 1점
조회수, 기사 개수, 화제성은 점수에 넣지 않았습니다. 기사가 많다고 근거가 강한 건 아니니까요. 동점이면 최신 기사를 고릅니다.
고른 근거에는 약점도 같이 붙입니다. "1차 자료 근거는 확인되지 않았습니다", "한 매체만 보도했습니다" 같은 문장은 점수에서 빠진 항목을 보고 코드가 만듭니다.
결과 맨 위 한 줄 요약도 코드가 씁니다
결과 화면이 길어서 결론이 바로 안 보였기 때문에 요약 한 줄을 넣었습니다. 여기도 AI가 쓰게 하면 편하지만, 그러면 AI가 결론을 내리는 셈이 됩니다. 그래서 이것도 앞에서 센 숫자로 만듭니다.
사실 부분은 여러 매체에서 확인 · 의견 2개는 찬반이 갈림 · 반대쪽 근거도 있음
AI 문장보다 투박하지만, 근거 없는 말이 들어갈 틈이 없습니다.
남은 한계
이 구조로도 해결 못 한 것들이 있습니다.
- 사실/의견 구분은 여전히 AI가 합니다. 여기서 틀리면 뒤의 계산이 다 어긋납니다. 그래서 결과마다 원문 링크를 붙이고, 판단 전에 원문을 보라고 안내합니다.
- AI가 기사 번호를 잘못 연결할 수 있습니다. 가짜 링크는 안 나오지만, 실제 기사를 엉뚱한 주장에 붙일 수는 있습니다.
- 언론사 목록이 완벽하지 않습니다. 지역 매체나 전문지가 빠져 있으면 근거에서 제외됩니다.
그래서 정정 요청을 받아 목록과 규칙을 계속 고치고 있습니다.
정리
AI에게 판단까지 맡기면 빨리 만들 수 있지만, 왜 그 결과가 나왔는지 설명할 수가 없습니다. 출처를 다루는 서비스에서는 그게 치명적입니다.
그래서 기준을 이렇게 잡았습니다. AI는 읽고 분류만 하고, 세고 비교하고 판정하는 건 코드가 한다. 화면에 나가는 링크는 전부 검색 결과에서만 꺼낸다.
저울질은 가입 없이 무료로 쓸 수 있습니다. 등급이 이상하게 붙은 사례를 찾으면 사이트의 정정 요청으로 알려주세요.
- 저울질: https://jeouljil.dogfootbro.dev
- 구성: Cloudflare Workers, D1, 다음 검색 API, Gemini