OpenAI的官网介绍称，使用这款模型可以用文本生成长达一分钟的视频，视频可具有多个角色、特定类型的运动、精确主题和背景细节等复杂场景。

sora原理

Sora要解决的任务其实非常好理解，就是给定一段文本，模型需要根据该文本生成相应的视频，简单说就是text-to-video（t2v）。t2v本身并不是一个新问题，很多厂商都在研究t2v模型，只是当前的t2v模型生成的视频普遍质量较差，很难到达工业应用级别。在Sora出现前大家的普遍认知是：t2v是一个很难的任务，工业级别t2v模型（或者说能真正实用的t2v模型）短时间内应该很难实现。然而，OpenAI又又又一次打了所有人的脸，Sora的发布意味着，这一天已经来了。

基于Transformer架构

简单描述Sora训练建模过程，就是：将原始视频通过一个视觉编码器（visual encoder）编码到隐空间（latent space）形成隐时空块（spacetime latent patches），这些隐时空块（结合text信息）通过transformer做diffusion [2, 3, 4]的训练和生成，将生成的隐时空块再通过视觉解码器（visual decoder）解码到像素空间（pixel space）。所以整个过程就是：visual encoding -> latent diffusion with diffusion transformer (DiT) [4] -> visual decoding。

扩散模型和训练稳定性

Sora模型采用了扩散模型的方法，与传统的GAN模型相比，具有更好的生成多样性和训练稳定性。扩散模型通过逐步消除噪声来生成视频，这样可以有效地提高生成的视频质量。同时，通过采用扩散模型，Sora还能够生成更加逼真的视频场景。

Sora可以灵活地采用不同时长、分辨率和长宽比的视频

OpenAI发现之前的方法大多采用固定尺寸的视频（比如4s的256x256视频）去训练模型，和现实中任意长度、长宽比有较大gap，而采用原始尺寸的视频训练模型效果更好。得益于Sora采用的transformer结构，Sora可以输入任意多个visual patches（初始为noise patches），即可生成任意尺寸的视频。

生成视频的数据处理和压缩

生成视频需要处理大量的数据，对于这一问题，Sora模型采用了数据处理和压缩的技术。通过对视频数据进行处理和压缩，Sora能够在保持视频质量的同时，减少存储空间的占用。

视频质量和逼真度

Sora模型在生成视频的过程中，注重保持视频质量和逼真度。通过采用Transformer架构和扩散模型的方法，Sora能够生成更加连贯、且具有很高逼真度的视频场景。这使得Sora在应用领域具有广泛的潜力，比如可以用于影视制作、游戏开发等方面。

参考链接：www.openai.com/research/so…

sora作品展示

案例：

1.Prompt: A stylish woman walks down a Tokyo street filled with warm glowing neon and animated city signage. She wears a black leather jacket, a long red dress, and black boots, and carries a black purse. She wears sunglasses and red lipstick. She walks confidently and casually. The street is damp and reflective, creating a mirror effect of the colorful lights. Many pedestrians walk about.

翻译：一位时尚的女性走在东京街头，周围是温暖闪亮的霓虹灯和活力四射的城市标识。她穿着一件黑色皮夹克，一条长长的红色连衣裙，搭配黑色靴子，并背着一个黑色手提包。她戴着墨镜，涂着红色口红。她步履自信，悠然自得地走着。街道潮湿而反光，呈现出丰富多彩的灯光的镜面效果。许多行人在街上走动。