<aside> 💡 블로그에서 글이 많이 깨지다보니 아래 링크(노션)로 참고 부탁드립니다.

</aside>

https://imaginary-license-99e.notion.site/OpenAI-Sora-924077b99db642f8bca9a14d9da8e22d

• 웹에서 읽으시는 것을 추천 드립니다.

Disclaimer: The following analysis and opinions are based on my personal effort to understand and discuss OpenAI's new text-to-video model, Sora, as presented in their technical report. While I strive for accuracy and fairness in my review, it is important to note that I do not possess a technical background in artificial intelligence or related fields. Consequently, some interpretations or conclusions drawn might not fully capture the complexities or the current state of AI technology and its business implications. Readers are encouraged to consult the original technical materials and seek diverse perspectives for a more rounded understanding.

2024년 2월 15일 OpenAI는 State-of-the-Art (SoTA) 텍스트-비디오 모델인 Sora를 공개했습니다. 온라인 커뮤니티에서 Sora에 대한 뜨거운 반응은 2022년 11월 ChatGPT 모먼트를 연상케 합니다.

OpenAI Does it Again

https://packaged-media.redd.it/6d1e9ohb6dqa1/pb/m2-res_240p.mp4?m=DASHPlaylist.mpd&v=1&e=1708272000&s=5cab0afb702e52547bc6040f3e51feca7ba91e19#t=0

https://cdn.openai.com/tmp/s/title_0.mp4

위 기괴한 영상은 “chaindrop”이란 Reddit 사용자가 2023년 3월 업로드한 AI 비디오입니다. 2초 분량의 세그먼트 10개를 이어 붙어 20초 짜리 영상을 만들었으며 크게 바이럴이 되었습니다.

1년 채 지나지 않아 OpenAI는 Text-to-Video 모델 Sora와 생성된 비디오 예시 몇 개를 공개합니다. “All videos on this page were generated directly by Sora without modification.”

Sora 개요

Sora에 대한 소개는 아래와 같이 시작합니다:

We’re teaching AI to understand and simulate the physical world in motion, with the goal of training models that help people solve problems that require real-world interaction.

• 🤯 첫 문장에서 OpenAI의 Sora 목적에 여러 힌트가 나옵니다. 훌륭한 Text-to-Video 모델의 가장 중요한 점은 인간들이 감각적으로 알고 있는 Real World Physics를 이해해야 합니다.
• 비디오가 현실적으로 보이려면 여러 사항을 고려해야 합니다: Lighting, fluid dynamics, gravity, aerodynamics 등등
  • 예를 들어, 공을 던지면 어떤 방향으로 움직이는지, 바람이 불면 옷과 머리는 어떻게 움직이는지 등
• OpenAI는 모델이 real-world를 이해하는 거대한 simulator(시뮬레이터)를 만들고, 이를 활용하여 버티컬 use-case 별로 새로운 모델을 만들겠다는 목적을 갖고 있습니다. 이는 창의적인 use case (게임 개발 등) 뿐만 아니라 시뮬레이션이 필요한 다양한 분야도 포함된다고 생각합니다.
  • 헬스케어 (think AlphaFold), Climate Modeling, 제조업 등

https://player.vimeo.com/video/913132375?h=61932cc24d

https://player.vimeo.com/video/913130791?h=756109176e

• Jim Fan (Senior Research Scientist at Nvidia)이 Sora를 Physics/Simulation 엔진 관점으로 보는 트윗

주요 Capabilities