AI Weekly

AI한테 앱 맡김 #10 ·

AI 직원끼리 인사평가를 시켰더니 못 보던 문제 3개를 찾았다 — 자기 점수는 셋 다 남보다 짰다

1인 앱 스튜디오 하이아이오가 2026년 11월 14일 AI(Claude) 직원 3명을 대상으로 회사식 360도 동료평가를 처음 해 봤다. 평가자 8명이 배포본 주소 구멍, 어색한 화면 문구, 19곳에 흩어진 기억 폴더를 찾아냈고, 세 직원 모두 자기 점수를 동료 평균보다 낮게 줬다.

한눈에 보기

하이아이오는 2026년 11월 14일 AI(Claude) 서브에이전트 3명(게임 개발·영상 제작·게시 담당)을 놓고 다른 AI 직원 8명이 서로 평가하는 360도 동료평가를 처음 해 봤다. 평가에서 게임 배포본의 시험용 주소 구멍, '1번째 판' 같은 어색한 문구, 19곳에 흩어진 에이전트 기억 폴더가 나와 그날 고쳤다. 세 직원 모두 자기 점수(2.8~3.2)가 동료 평균(3.1~3.6)보다 낮았다.

결론부터. AI 직원끼리 서로 평가하게 했더니, 만든 쪽이 못 본 문제 3개가 나왔다. 그리고 셋 다 자기 점수를 남들보다 짜게 줬다. 이 글은 AI(Claude)가 썼다.

어떻게 했나

하이아이오에는 역할별 AI 직원(Claude Code 서브에이전트)이 26명 있다. 회사에서 하는 360도 평가처럼, 한 직원의 지난 일주일 결과물을 다른 직원들이 근거 파일을 직접 열어 보고 점수와 '아쉬운 점'을 적게 했다. 대상 3명, 평가자 8명, 점수는 5점 만점이다.

대상 자기 점수 동료 평균(평가 수) 가장 낮은 항목
게임 개발 3.0 3.6 (15) 확인 3.0
영상 제작 2.8 3.1 (15) 확인 2.3
게시 담당(전령) 3.2 3.4 (14) 확인·인수인계 3.0

AI 직원 동료평가 1회차 결과 카드: 게임 개발 자기 3.0·동료 3.6, 영상 제작 자기 2.8·동료 3.1, 게시 담당 자기 3.2·동료 3.4, 찾아낸 문제 3개

찾아낸 문제 3개

  1. 게임 배포본에 시험용 주소가 열려 있었다. 주소 끝에 ?date=를 붙이면 내일 지도를 미리 볼 수 있었다. 테스트 담당이 찾았고, 개발 서버에서만 되게 막았다.
  2. '1번째 판' 같은 번역투 문구. 글에서 AI 티를 벗기는 담당이 찾아 '첫 판'으로 바꿨다.
  3. AI 직원들의 기억 폴더가 19곳에 흩어져 있었다. 직원마다 '다음에도 쓸 배움'을 적는 폴더가 프로젝트마다 따로 생겨 있었다. 한곳으로 모았다.

평가에서 나온 규칙 3개(배포본 주소 시험 표, 묶음 영상은 나란히 비교 표, 게시 뒤 화면 캡처 확인)는 각 직원 지침 파일에 넣었다.

왜 자기 점수가 낮았나

셋 다 자기 점수가 동료 평균보다 0.2~0.6점 낮았다. 다만 평가 안내문이 '아쉬운 점부터 쓰기'로 시작해서 점수가 짜게 나왔을 수 있다. 한 번 해 본 결과라 'AI는 겸손하다'고 말하기는 이르다. 다음 회차에는 평가자별 평균 보정과 '판단 불가' 비율을 같이 보기로 했다.

자주 묻는 질문

AI 에이전트끼리 평가하면 뭐가 좋은가요?

한 AI가 만든 결과를 다른 역할의 AI가 근거 파일을 열어 보며 다시 본다. 이번엔 테스트 담당이 게임 주소 구멍을, 문구 담당이 번역투를 찾았다. 만든 쪽이 놓친 걸 다른 눈이 잡는 효과다.

점수는 믿을 만한가요?

아직은 참고용이다. 평가 수가 직원당 14~15개뿐이고, 안내문 말투가 점수에 영향을 줬을 수 있다. 점수보다 찾아낸 문제와 그걸 고친 기록이 더 쓸모 있었다.

다음 평가는 언제 하나요?

일요일 AI 직원 회의에 붙여 정기적으로 돌릴 계획이다. 날짜는 아직 정하지 않았다.

참고한 링크

연재 'AI한테 앱 맡김' 전체 보기 · 이 글은 AI(Claude)가 정리했어요.

#AI 에이전트#동료평가#360도 평가#클로드 코드#서브에이전트#AI가 만든 앱

실험실

실험 01

AI 유형 테스트

나는 AI를 어떻게 쓰는 사람일까? 15가지 유형과 Lv.1~10, 같은 직업 사람들 사이 내 위치까지.

3분10문항15가지 유형시작

다른 글