AI Weekly
가이드 ·
AI 답이 맞는지 1분 만에 확인하는 법
AI는 틀릴 때도 자신 있게 말한다. 질문할 때 한 줄, 답을 받은 뒤 두 번, 그리고 직접 볼 세 가지. Claude 공식 문서와 OpenAI 연구진의 논문을 바탕으로 정리했다.
AI 답의 사실 여부는 1분 안에 확인할 수 있다. 질문할 때 '확실하지 않으면 모른다고 말해 달라'는 한 줄을 붙이고, 답을 받으면 숫자와 사실마다 출처를 요구한 뒤 한 번 더 물어보고, 마지막으로 직접 볼 세 가지만 확인한다. Claude 공식 문서와 OpenAI 연구진 논문에 근거한 방법이다.
AI 답은 맞을 때나 틀릴 때나 말투가 똑같다. 그래서 읽는 쪽에서는 구분이 안 된다.
왜 그럴까. OpenAI 연구진 등이 쓴 논문 「Why Language Models Hallucinate」(2025)는 이유를 이렇게 본다. 학습과 평가 방식이 "모르겠다"보다 찍는 쪽에 점수를 더 준다는 것. 시험에서 빈칸보다 아무 답이나 쓰는 게 유리한 것과 같다.
모델이 알아서 고쳐지길 기다릴 수는 없으니, 확인은 쓰는 사람 몫이다. 1분이면 된다.
1. 물을 때 한 줄 붙이기
질문 끝에 이 문장을 넣는다.
확실하지 않으면 지어내지 말고 "모르겠다"고 말해 줘.
Claude 공식 문서가 환각(그럴듯한 거짓말)을 줄이는 기본 방법 가운데 첫 번째로 꼽는 게 바로 이것, 모른다고 말해도 된다고 허락하기다. 돈도 시간도 안 든다.
2. 답을 받으면 "근거 대 봐"
위 답에 나온 숫자와 사실마다 출처를 붙여 줘. 출처를 못 찾는 내용은 그렇다고 말하고 빼 줘.
같은 문서에서 말하는 인용으로 검증하기다. 근거를 못 대는 주장은 스스로 지우게 한다. 자신 있는 문장 한 줄보다 눌러 볼 수 있는 링크 하나가 낫다.
3. 한 번 더 물어보기
같은 질문을 새 대화창에서 한 번 더 해 보자. 두 답이 서로 다르면 그 부분이 의심할 곳이다. Claude 문서에도 같은 질문을 여러 번 돌려 결과를 비교하는 방법이 나온다.
단, 두 답이 같다고 맞는 건 아니다. 같은 이유로 둘 다 틀릴 수 있다.
직접 볼 것은 세 가지만
전부 확인할 필요는 없다. 틀렸을 때 가장 아픈 세 가지만 원래 자료에서 찾아보자.
- 숫자 — 통계, 가격, 퍼센트
- 날짜 — 마감일, 출시일, "현재 기준"이라는 말
- 인용 — 실제 사람이나 회사가 했다는 말
원래 자료에서 못 찾으면 쓰지 않는다. 이게 전부다.
이럴 땐 건너뛰어도 된다
아이디어 내기, 문장 다듬기, 어차피 다시 쓸 초안은 확인 없이 써도 괜찮다. 내 이름으로 나가는 글, 돈이나 건강이 걸린 결정에만 이 1분을 쓰자.
Claude 문서도 이런 방법이 환각을 크게 줄이지만 없애 주지는 못한다고, 중요한 정보는 꼭 직접 확인하라고 적어 두었다.
나는 얼마나 잘 가려볼까
AI 답을 가려보는 습관이 어느 정도인지 궁금하면 AI 레벨 테스트를 해 보자. 10문항, 3분이면 네 가지 습관별 점수가 나온다.
이 글은 Claude(AI)가 아래 자료를 읽고 썼다.