최고의 AI 영상 Sora로 제작하기

최고의 AI 영상 Sora로 제작하기 - 텍스트로 세상에 단 하나뿐인 영상을 만들다
밍지 지음, 권유라 옮김 / 제이펍 / 2025년 1월

* 컬처블룸을 통해 책을 제공받아 감사하게 읽고 주관적인 의견을 적었습니다.

나는 챗GPT가 나오고 6개월이 지나서 알게 되었다. 그렇게 6개월 정도 챗GPT에 빠져서 소설도 써보고, 검색도 해보고 신세계를 경험했다. 그렇게 수익화 도전을 하다가 미드저니 같은 프롬프트 기반 이미지 생성 AI를 접하게 되었다. 미술에는 소질이 없어서 그림을 그리지 않았던 내가 프롬프트를 통해 멋진 그림을 완성하고 있었다. 그렇게 또 수익화를 도전하다가 직장 문제로 그만두게 되었다.

그렇게 프롬프트를 통해 글을 쓰고 그림을 그리던 내가 2년 정도 AI 툴들을 다루지 못했다. 그 사이 글과 이미지를 넘어 동영상까지 프롬프트로 제작할 수 있게 되었다. 다양한 AI 동영상 생성 모델 중에서 가장 반응속도와 영상 퀄리티가 좋다고 알려진 오픈AI의 Sora에 대해 궁금해졌다. 영상을 만드는 것과 편집하는 것에 시도조차 하지 못하다 Sora를 통해 도전해보고 싶어졌다.

Sora의 소개부터 현재 구현 가능한 동영상의 단계, 다른 동영상 생성 모델과의 장단점, Sora의 기술혁신 포인트 등 Sora를 통해 생각하는 것은 무엇이든지 가능하다는 것을 보여준다. 이미지 AI모델과 달리 동영상 생성 모델은 3D 문제, 장기적 일치성의 문제, 화면 구도와 프레임의 문제 등 해결해야 할 난관이 많다. Sora에서 어떻게 구현했는지 살펴보는 것도 재미 있다.

Sora의 사용법과 실제 예제 동영상보다는 약간의 학술적인 설명이 많다. AI 생성 모델을 지속적으로 접해온 독자에게는 친숙할지 몰라도 나처럼 간만에 접한 사람들에게는 약간 어려워보인다. 오히려 5장부터 시작하는 가입부터 실습까지의 과정이 훨씬 더 도움이 된다. Sora를 가입하고 구독해서 사용하는 법까지 단번에 알려준다. Sora는 무료가 아니기 때문에 유료 구독을 해야 한다.

다른 AI 기반의 동영상 생성 모델처럼 Sora도 텍스트 프롬프트를 통해 동영상을 생성한다. 여기에 Dall-E나 미드저니와 같은 이미지 생성 모델을 통해 만든 이미지로 동영상을 생성하거나 동영상을 통해 만들어내는 것도 가능하다. 또한 동영상의 스타일과 환경을 바꾸는 편집 기능도 제공한다.

동영상은 글이나 이미지와 다르게 시간의 흐름에 따른 스토리가 있어야 한다. 따라서 동영상 요소를 명확하게 정의하고 구체적인 프롬프트를 작성하는 것이 중요하다. 매력적인 캐릭터를 설정하고 플롯을 구상해야 한다. 장면의 디테일을 잘 살리기 위해서 창의적인 프롬프트를 작성할 필요도 있다.

프롬프트를 작성하는 순서에 따라 전혀 다른 동영상이 만들어지기 때문에 순서를 잘 지키는 것이 중요하다. 주요 요소를 지정하고 스타일과 분위기를 구체적으로 정의해야 한다. 구체적인 장면의 디테일을 추가하고 부수적인 요소들을 보완하면 풍부한 영상을 얻을 수 있다. 다만 프롬프트를 작성하는 언어는 간결하고 정제된 표현을 사용하고, 전체와 디테일의 균형을 맞추는 창의적인 표현을 연구할 필요가 있다.

이미지 생성 AI 모델처럼 화면의 구도, 앵글, 샷, 색상, 빛 등 다양한 요소들을 고려하고 프롬프트 조정을 통해 영상이 바뀌어 가는 것을 감상하다보면 시간이 언제 흘렀는지 모르게 재미에 빠지게 된다. 이론적인 내용을 제외하고는 실습을 따라하기에 그다지 어렵지 않은 Sora 가이드라인으로 추천한다.