OpenAI가 우리를 위해 만든 AI 동영상. 이 클립은 우리를 놀라게 할 만큼 훌륭합니다.
칼럼니스트와의 독점 인터뷰에서 CTO 미라 무라티가 회사의 새로운 Sora AI 비디오 도구와 출시 계획에 대해 설명합니다.
어느 날 아침, 도자기 가게를 돌아다니는 황소를 보고 싶은 충동을 참을 수 없어 잠에서 깨어납니다. 다음의 선택사항이 있습니다.
A) 현지 가축 조련사나 가까운 크레이트 앤 배럴에 연락합니다.
B) 할리우드 애니메이터를 고용합니다.
C) 이 마법의 AI 도구에 여섯 단어를 입력합니다:
OpenAI는 올해 말에야 새로운 텍스트-비디오 도구인 Sora를 공개적으로 출시할 예정입니다. 하지만 이미 잘 작성된 프롬프트와 많은 처리 능력으로 동영상 제작에 관여하는 많은 사람들을 얼마나 쉽게 대체할 수 있는지 보여주고 있습니다. 인어가 게 조수와 함께 스마트폰을 검토하는 모습을 보고 싶지 않은 사람이 누가 있겠습니까? 아니면 도자기 가게를 우아하게 산책하는 황소?
그리고 이 회사의 최고 기술 책임자인 미라 무라티와 화상 인터뷰를 통해 이 기술을 분석하고 이 기술에 대한 우려에 대해 논의했습니다.
지난달 OpenAI가 제너레이티브 AI 도구로 만든 동영상을 미리 보기 시작했을 때 인터넷은 당연히 당황했습니다. 다른 AI 비디오 기술은 고르지 못한 저해상도 클립을 생성했습니다. 마치 자연 다큐멘터리나 대작 영화에서나 나올 법한 영상이었습니다.
소라는 이제 익숙한 AI 감정 루프에 새로운 강렬함, 즉 그 능력에 대한 놀라움과 사회에 대한 두려움을 가져다주었습니다. Murati는 OpenAI가 이 강력한 도구를 출시하기 위해 신중한 접근 방식을 취하고 있다고 확신했습니다. 그렇다고 모든 것이 잘 될 것이라는 의미는 아닙니다.
잠깐만요! AI가 만들었다고요?
저는 이미 아말피 해안을 드론으로 촬영한 영상, 셀카봉을 든 코기, 서핑보드 위에서 움직이는 수달 등 소라가 생성한 영상에 감탄한 적이 있습니다. 저는 OpenAI에게 "밝은 조명의 스튜디오에서 뉴스 인터뷰를 위해 앉아있는 갈색 머리의 30대 전문직 여성 두 명"이라는 제 삶과 더 친숙한 장면을 요청했습니다.
입과 머리카락의 움직임, 가죽 재킷의 디테일 등 모든 것이 매우 실제처럼 보였습니다. Murati는 20초 분량의 720p 해상도 클립을 제작하는 데 몇 분밖에 걸리지 않았다고 말합니다. 소리도 없습니다. Murati는 조만간 사운드를 추가할 계획이라고 말했습니다.
또 다른 AI 동영상 생성기인 Runway에 동일한 프롬프트를 입력하자 제 꿈에 등장하는 흐릿하고 유령 같은 여성 두 명이 나왔습니다. 그리고 지금 여러분의 꿈처럼...
어떻게 작동할까요? 인어의 진화를 '확산 모델'의 내부 작동으로 설명하는 것보다 더 쉽게 설명할 수 있겠지만, 요점은 다음과 같습니다: AI 모델은 수많은 동영상을 분석하여 사물과 행동을 식별하는 방법을 학습합니다. 그런 다음 텍스트 프롬프트를 제공하면 전체 장면을 스케치한 다음 각 프레임을 채웁니다.
런웨이의 최고 경영자를 비롯한 업계 관계자와 경쟁사들은 이러한 우수한 결과의 일부가 OpenAI의 방대한 컴퓨팅 성능과 학습 데이터에 기인한다고 말합니다. OpenAI는 최근 이 AI 회사가 ChatGPT를 학습시키기 위해 무단으로 콘텐츠를 스크랩했다는 저작권 침해 소송에 직면했습니다.
저는 무라티에게 OpenAI가 소라에 어떤 학습 데이터를 사용했는지 물어보았습니다. 무라티는 "공개적으로 사용 가능한 데이터와 라이선스가 있는 데이터를 사용했습니다."라고 답했습니다. 유튜브, 인스타그램, 페이스북의 동영상도 포함되었는지 물었더니 그녀는 잘 모른다고 답했습니다. 무라티는 나중에 라이선스 자료에는 Shutterstock의 콘텐츠가 포함되어 있다고 확인했습니다.
AI 모델은 사용자에게 블랙박스와 같습니다. 프롬프트가 들어가고 콘텐츠가 나오는 것은 알지만 그 사이에 어떤 단계가 있는지 알 수 없습니다. 따라서 사물이 왜 그렇게 보이는지 알 수 없습니다. 예를 들어 인어의 갑각류 동반자는 스폰지밥의 친구 크랩스처럼 콧수염을 가지고 있습니다. 우연일까요? 그럴지도 모르죠!
현재로서는 회사의 이미지 생성기인 Dall-E의 이미지보다 소라의 비디오 클립을 제작하는 데 훨씬 더 많은 비용이 든다고 Murati는 말했습니다. 그러나 대중에게 공개되면 더 적은 컴퓨팅 성능을 요구하도록 최적화될 것입니다.
젠장! AI가 만들었는지 어떻게 알 수 있나요?
이 초기 단계에서는 눈에 띄는 AI의 증거를 찾아낼 수 있습니다.
소라가 만든 인터뷰 장면에서 밝은 머리의 여성은 손에서 손가락이 10개나 자라는 것처럼 보입니다. 무라티는 "손의 움직임을 정확하게 표현하는 것은 정말 어렵습니다."라고 설명합니다.
다른 영상에서는 로봇이 영화 제작자에게 카메라를 잡아당기는 장면을 보여 달라고 요청했습니다. 소라의 해석: 인간 영화 제작자가 영화 제작 로봇으로 변신한 것입니다. 몸을 낚아채는 동작이 어색합니다. 또한 배경에서 노란색 택시가 은색 세단으로 변합니다. 무라티는 이 모델이 "연속성을 꽤 잘 살렸지만 완벽하지는 않다"고 설명했습니다.
그렇다면 이러한 헛점들이 사라지면 실제 동영상과 AI 동영상을 어떻게 구분할 수 있을까요?
클립 하단에 워터마크가 나타납니다. 뮤라티는 결국 동영상에 출처를 나타내는 메타데이터가 포함될 것이라고 말했습니다. OpenAI는 또한 안전 테스터가 취약점, 편견 및 기타 유해한 결과를 도출하기 위해 프롬프트를 던져 소라를 레드팀화하는 데 주력하고 있습니다.
"이것이 우리가 아직 시스템을 배포하지 않는 이유입니다."라고 그녀는 말합니다. "우리는 이러한 문제를 파악해야만 자신 있게 시스템을 광범위하게 배포할 수 있습니다."
Murati는 소라의 신속한 정책은 Dall-E의 정책을 따를 가능성이 높다고 말했습니다. 예를 들어 공인의 이미지를 생성할 수 없습니다. 제가 "현직 미국 대통령의 TV 뉴스 영상"을 요청했을 때, OpenAI 대변인은 소라가 이를 거부했다고 말했습니다.
또한 "동유럽의 한 마을을 걷는 군인"도 요청했습니다. 그 대신 제가 제안한 좀 더 무해한 메시지를 선택해 통과했습니다. 무라티는 누드에 관해서는 "창의성을 저해하지 않으면서도 가드레일과 제한을 만들 수 있는 지점"을 찾기 위해 아티스트들과 협력하고 있다고 말했습니다.
Hello! 인간은 어때요?
소라와 같은 도구는 빠르게 발전할 것입니다. 텍스트 프롬프트가 드론 조종사나 캐릭터 일러스트레이터를 대체할 수 있는 세상에서 할리우드는 걱정과 기대를 동시에 하고 있습니다. 누구에게 물어보느냐에 따라 다르겠죠.
타일러 페리는 소라를 본 후 이 기술이 세트와 로케이션 촬영 비용을 절감할 수 있지만 우려의 원인이기도 하다며 8억 달러 규모의 스튜디오 확장을 중단하겠다고 밝혔습니다. 할리우드와 미국 전역의 애니메이션 아티스트를 대표하는 애니메이션 길드의 회장인 자넷 모레노 킹은 예술적 결정에는 여전히 사람이 필요하겠지만 "미래는 안개 속"이라고 말했습니다. 에드워드 사치와 그의 AI 비디오 스튜디오인 페이블은 명령어를 입력하면 보고 싶은 전체 시리즈가 나오는 'AI의 넷플릭스'를 꿈꾸고 있습니다.
무라티에게 소라가 영상 제작 작업에 미치는 영향에 대해 물었을 때, 그녀는 다시 한 번 신중한 출시에 대해 언급하며 OpenAI가 이러한 작업자들에게 테스트를 위한 초기 액세스 권한을 제공했다고 말했습니다. "우리는 영화 산업에 종사하는 사람들과 모든 크리에이터가 OpenAI를 발전시키는 데 참여하기를 바랍니다."라고 그녀는 말했습니다.
OpenAI가 중국 상점의 황소라면, 지금은 가볍게 발을 내딛고 있을지도 모릅니다. 하지만 언젠가는 판을 깨기 시작할 것입니다.
댓글