Этот ИИ может превратить ваше обычное видео в захватывающее зрелище со спецэффектами

Ваш фильм «Прогулка в парке» за считанные минуты превращается в живую статую в Риме или в обезьяну в лесу

Сервис создания и редактирования видео на основе искусственного интеллекта Runway добавил обещанную функцию преобразования видео в видео в свою модельную платформу Gen-3 Alpha. Инструмент преобразования видео в видео позволяет вам отправлять видео и текстовую подсказку для его изменения. Изменения могут изменять настройки, исполнителей или другие элементы видео в соответствии с текстовой подсказкой или любым из нескольких предустановленных предложений по стилю.

Video-to-video — последнее крупное дополнение к возможностям создания видео Runway. Runway уже позволяет пользователям начинать с текста или изображений, чтобы определить вид и движение видео. Теперь, начав с реального видео, пользователи могут заранее определить движение, а затем использовать ИИ для изменения дизайна и эстетики. Runway обучил функцию на большом наборе видео и изображений с подробными субтитрами, чтобы научить модель ИИ понимать загруженные фильмы и подсказки для их изменения. Это как увидеть новое видео из совершенно другой вселенной. Вы можете увидеть, как это работает ниже.

«Video to Video представляет собой новый механизм управления для точного движения, выразительности и намерения в пределах поколений», — пояснил Runway в социальных сетях. «Чтобы использовать Video to Video, просто загрузите свое входное видео, сделайте подсказку в любом эстетическом направлении, которое вам нравится, или выберите из коллекции предустановленных стилей».

Фильм Мультивселенная

В сочетании с существующей способностью Gen-3 Alpha обрабатывать сложные переходы и выразительные человеческие лица и эмоции, результаты могут быть весьма впечатляющими. Runway быстро дополнила Gen-3 Alpha новыми опциями. Совсем недавно компания продемонстрировала версию Gen-3 Alpha Turbo своей модели, которая жертвует некоторой функциональностью ради скорости. Наряду с опцией преобразования видео в видео, инструмент также работает с Motion Brush, Advanced Camera Controls, Director Mode и другими, более детализированными функциями редактирования видео.

Gen-3 Alpha выглядит гораздо более универсальной и удобной для пользователя, чем модель Gen-2. Тем не менее, несмотря на впечатляющую производительность, у нее есть ограничения. В настоящее время она может генерировать видеоклипы длиной до 10 секунд, что едва ли можно назвать полнометражным фильмом. Скорость и качество могут компенсировать это, пока она не сможет работать дольше. Однако Runway все больше и больше приходится конкурировать, чтобы превзойти ее.

Самая известная — модель Sora от OpenAI, но она далеко не единственная. Stability AI, Pika, Luma Labs’ Dream Machine и другие соревнуются, чтобы представить модели видео с использованием ИИ публике. Даже у материнской компании TikTok, Bytedance, есть производитель видео с использованием ИИ под названием Jimeng.

Если вы хотите опробовать инструмент Runway для преобразования видео в видео, Gen-3 Alpha доступен пользователям платных планов, начиная с 12 долларов в месяц.

Гомер Карен The Little Book of Alexander McQueen: The story of the iconic brand (Little Books of...