AI Weekly
실험기 ·
AI로 3D 게임 소품 12개 만들기 — 그림 한 장을 3D로 바꿔 호숫가 낚시 디오라마를 만든 기록
나무·오두막·낚시꾼·나룻배·갈대 같은 게임 소품 12개를 AI가 그림으로 그리고 TRELLIS.2로 3D 모델로 바꾼 뒤, Claude Code가 Blender 스크립트로 배치·조명·렌더까지 해서 2.5D 호숫가 낚시 장면을 만들었다. 새 소품 10개의 3D 변환은 합쳐서 약 22분(RTX 4080 한 장). 오두막 벽에 구멍이 뚫린 실패와 고친 방법, 해상도별 시간·VRAM, 아직 남은 한계를 정리했다.
하이아이오는 2026-11-05 게임 소품 12개(새로 만든 10개 + 이전 세트 2개)로 2.5D 호숫가 낚시 디오라마를 만들었다. 소품마다 Z-Image-Turbo로 그림을 그리고 TRELLIS.2(MIT 라이선스)로 약 2만 면짜리 3D 모델로 바꿨으며, 새 소품 10개의 3D 변환은 RTX 4080(16GB) 한 장에서 합쳐서 약 22분 걸렸다. 지형·물·낚싯줄은 AI가 아니라 Blender 스크립트로 만들었고, 배치·조명·렌더는 Claude Code가 스크립트로 맞췄다.
결론부터. 사람이 직접 모델링한 소품 없이, 그림 한 장씩을 3D로 바꿔 아래 장면을 만들었다. 소품은 AI가 그림으로 그리고(Z-Image-Turbo), 그 그림을 TRELLIS.2가 3D 모델로 바꿨다. 놓는 자리와 조명, 렌더는 Claude Code가 Blender 스크립트로 맞췄다. 이 글은 AI(Claude)가 작업 기록을 보고 썼다.
무엇을 만들었나
둥근 모서리 땅 조각 하나(옆면에 흙 단면이 보이는 게임 스타일) 위에 호수, 나무 부두, 부두 끝에 앉아 낚시하는 밀짚모자 아이, 나룻배, 통나무 오두막, 침엽수·활엽수·관목, 갈대, 바위, 양동이, 랜턴, 연잎을 놓았다.
- 카메라: 정사영 아이소메트릭(고도 약 30도, 방위 45도)
- 조명: 낮게 깔린 늦은 오후 햇빛 + 푸른 환경광
- 결과: 1920×1080 렌더 1장
AI가 만든 것과 아닌 것을 나눴다.
| 만든 방법 | 무엇 |
|---|---|
| AI 그림 → AI 3D 변환 | 오두막, 낚시꾼, 부두, 침엽수, 관목, 큰 바위, 작은 바위 무리, 갈대, 양동이, 랜턴(이번에 새로 10개) |
| 이전 세트 재사용 | 활엽수, 나룻배 |
| Blender 스크립트로 직접 | 땅 조각, 호수 물, 물가 거품, 연잎, 낚싯줄과 찌 |
한 소품이 만들어지는 순서
- 글 → 그림: 소품 설명 문장 뒤에 모든 소품 공통 스타일 문장을 붙여 그림을 그린다. 시드 3개로 3장을 뽑아, 윤곽이 뚜렷하고 가려진 부분이 적은 한 장을 고른다. 3D 변환이 잘 되는 그림이 기준이다.
- 그림 → 3D: TRELLIS.2가 그림 한 장을 텍스처 입힌 3D 모델(.glb)로 바꾼다. 약 2만 면으로 줄이고 텍스처는 2048px.
- 검수: 앞·옆·뒤 4방향으로 렌더해 안 보이던 뒷면이 깨졌는지 본다.
- 장면 조립: 소품마다 위치·회전·크기를 스크립트 맨 위 표 하나에 적어 두고, 숫자만 바꿔 다시 렌더한다. 크기 기준은 사람 키 1.7m.
그림 단계의 요령 하나. 이번에 쓴 설정은 '빼 줘' 문장(네거티브 프롬프트)이 듣지 않았다. 그래서 피하고 싶은 성질(반짝임, 점토 느낌)은 반대말(무광, 거친, 각진 면)로 바꿔 적었다.
제일 애먹은 것: 벽에 구멍 난 오두막
처음 만든 오두막은 통나무 벽 사이로 구멍이 숭숭 뚫려 있었다. 벽이 얇게 그려진 그림이 3D로 바뀌면서 깨진 것으로 보인다(원인은 확인하지 못했다).
그림부터 다시 그리게 했다. 설명을 **"아주 두꺼운 통나무 벽, 통나무 사이 틈 없음, 작은 창문, 닫힌 덧문"**으로 바꾸자 4방향 어디서 봐도 벽이 막혔다. 창 유리 자리만 살짝 비친다. 3D가 깨질 때 3D 설정보다 입력 그림을 3D로 바꾸기 쉽게 고치는 쪽이 빨랐다.
가장 걱정했던 낚시꾼은 밀짚모자·멜빵바지·상자·낚싯대가 그대로 살았고 뒷모습도 멀쩡했다. 얼굴은 점 두 개 수준으로 단순하다.
걸린 시간과 그래픽카드 메모리
컴퓨터는 RTX 4080(VRAM 16GB), RAM 64GB다.
| 항목 | 값 |
|---|---|
| 그림 1장 | 약 6~12초 |
| 그림→3D, 해상도 1024 | 3분 26초, 최대 VRAM 11.1GB |
| 그림→3D, 해상도 1536 | 20분 23초, 최대 VRAM 15.9GB |
| 새 소품 10개 3D 변환 합계 | 약 22분 |
| 소품당 가장 빠름 / 느림 | 부두 40초 / 오두막 324초 |
| 장면 전체 면 수 | 약 46만 면 |
해상도 1536은 16GB를 거의 다 써서 6배 가까이 느려졌다. 그래서 1024로 정했다.
아직 아쉬운 점
- 면이 너무 많다. 소품 하나에 약 2만 면인데, 모바일 게임 소품은 보통 몇백~2천 면이다. 면 줄이기와 노멀맵 굽기가 필요하다.
- 굴뚝 회색이 살짝 투명해 보이고, 랜턴은 장면에서 너무 작아 거의 안 보인다.
- 침엽수 위쪽 층 색이 바랬고, 부두는 처음에 벤치처럼 나와서 높이를 눌러 썼다.
- 낚시꾼은 상자와 한 덩어리이고 뼈대(리깅)가 없어서 아직 움직일 수 없다.
- 물은 단순한 반투명 재질이라 반사나 물결이 없다.
자주 묻는 질문
그림 한 장으로 3D 모델을 만들 수 있나요?
된다. 이번에는 TRELLIS.2로 그림 한 장을 텍스처까지 입힌 3D 모델(.glb)로 바꿨다. 다만 그림에 안 보이는 뒷면은 AI가 짐작해서 채우므로, 4방향으로 돌려 보고 깨진 곳이 있으면 그림을 고쳐 다시 만드는 과정이 필요했다.
일반 그래픽카드로도 되나요?
RTX 4080(16GB)에서 해상도 1024로 소품 하나에 40초~5분 남짓 걸렸다. 해상도를 1536으로 올리면 메모리를 거의 다 써서 20분이 넘었다.
바로 게임에 넣을 수 있나요?
아직은 아니다. 소품 하나가 약 2만 면이라 모바일 게임에는 많고, 캐릭터는 움직이는 뼈대가 없다. 면 줄이기와 리깅을 따로 해야 한다.