AI 공모전 딸깍 도전기 (3) I2V, 영상용 이미지 만들기 1

AI로 영상을 만드는 방법은 크게 두 가지가 있습니다.

 

Kling AI 예시

 

1. T2V (Text to Video) : 텍스트로 영상을 만들기

2. I2V (Image to Video) : 이미지로 영상을 만들기

 

저는 독특한 스타일과 최대한 일관성을 유지하면서 영상을 만들고 싶으므로 I2V를 선택했습니다.

이미지 생성 툴은 Midjourney를 선택했고, 빠른 작업을 위해 디스코드가 아닌 웹 플랫폼으로 진행했습니다.

이전에 제작했던 콘티를 가지고 ChatGPT의 프롬프트 제작 봇을 통해 각 키스크린의 프롬프트를 뽑아냈습니다.

 

https://ddalgakdesign.tistory.com/6

ChatGPT 딸깍 활용하기 (4) 프롬프트 GPT를 만들고 활용하는 방법

제작 봇 만드는 방법은 윗 글을 참고해 주세요!

주요 캐릭터의 외형을 설정하기

먼저 영상의 '일관성'을 확보하기 위해 주요 캐릭터의 외형을 설정하기로 마음먹었습니다.

AI으로 만드는 영상은 캐릭터의 외모를 유지하기가 힘든데 오히려 각 캐릭터의 특징을 부각해

시청자로 하여금 같은 캐릭터로 느껴질 수 있도록 유도하였습니다.

 

예를 들면 주인공 기사의 경우 '긴 검은 곱슬머리, 짧은 수염, 눈 밑 흉터, 파란 망토, 황금 방패'로 설정하여

시각적으로 같은 특징을 쉽게 파악할 수 있도록 했습니다.

일해라 프롬프트 노예

 

이렇게 열심히 ChatGPT가 뽑아주면, 이를 Midjourney에 넣고 --sref code와 조합하여 내가 원하는 이미지가 나오는지

확인하고, 프롬프트를 수정하거나 Image Variation을 통해 발산하는 과정을 반복해 줍니다.

 

프롬프트의 수정 보완, 또는 이미지의 Variation

 

이러한 과정의 반복을 통해 캐릭터 보드를 완성했습니다. 

 

영상의 등장인물인 기사, 용, 용이 변신한 여인, 노쇠한 왕의 외형을 정의하였고,

최대한 해당 외형을 유지하며 주요 영상의 이미지 작업을 시작하게 되었습니다.

 

만들면서 신기했던 점은, ChatGPTs가 프롬프트를 만들 때 이러한 캐릭터의 외형을 스스로 기억하고

이를 지속적으로 프롬프트에 반영한다는 점이었습니다. 기특한 녀석!

예상치 못한 난관

각 영상의 키스크린을 만들다 보면 생각만큼 원하는 이미지가 나오지 않거나, 죽어도 안 나오는 경우가 있는데요.

아래 이미지가 바로 그런 경우입니다.

 

왜 자꾸 카메라 보는건데

 

'결연한 표정으로 말을 타고 가는 기사 모습을 그려줘'를 주문했는데 Midjourney는 죽어라

카메라를 부담스럽게 그윽하게 바라보는 기사 이미지를 만들어냅니다.

이 경우 3가지의 문제점이 있을 수 있습니다.

 

1. 내가 참고하고 있는 sref code가 '인물의 정면 모습'만 학습한 스타일이라서

2. 적용하고 있는 비율의 문제

3. 프롬프트의 문제

 

2. 비율을 2:3과 같이 인물 사진에서 주로 쓰는 비율을 사용하면 발생할 수 있습니다. 이를 16:9로 수정해 보았습니다.

그리고 3. 프롬프트를 바꾸어 '완전 옆모습으로 보이도록' 수정하였습니다.

사실, 1의 sref code를 사용하지 않으면 정말 간단히 해결되는 일이지만 저는 오일 페인팅 효과를 포기할 수 없었습니다.

 

그래도 쳐다보네 독하다 독해

 

여기서 얻은 이미지를 바탕으로 'Strong variation'을 통해 그나마 카메라를 보지 않는 이미지를 얻을 수 있게 되었습니다.

이제, 드디어 모든 키스크린의 이미지가 만들어졌습니다.

 

Adobe Photoshop에서 디테일 수정하는 방법으로 이어서 설명하도록 하겠습니다.

'파란 망토를 빨간 망토로 바꿔줘'