Netflix розробила штучний інтелект для покращення невдалих моментів у своїх фільмах.

Дмитро Джугалик – журналіст новинного порталу "Межа". Моїм головним інтересом є теми, які мене самостійно захоплюють, зокрема технології, відеоігри та кіномистецтво.

Netflix анонсувала свою нову модель штучного інтелекту під назвою VOID (Video Object and Interaction Deletion), яка здатна видаляти об'єкти з відеоматеріалів разом із усіма їхніми залишками.

В представництві компанії зазначають, що існуючі засоби для видалення відеоелементів успішно справляються із завданням додавання контенту "за" об'єктом або корекції артефактів, таких як тіні чи відблиски. Однак, коли об'єкт взаємодіє в значний спосіб, наприклад, при зіткненні з іншим елементом, ці засоби не здатні адекватно впоратися з ситуацією, що призводить до появи маловірогідних результатів.

Щоб розв'язати цю проблему, дослідники з Netflix та Софійського університету Святого Климента Охридського розробили VOID - фреймворк, який дозволяє видаляти об'єкти з відео та природно "домальовувати" фон навіть у складних умовах.

Щоб тренувати модель, команда розробила новий парний датасет для видалення об'єктів з відеозаписів, використовуючи синтетичні дані з Kubric від Google та HUMOTO від Adobe. У цьому процесі видалення об'єктів потребує корекцій у подальших фізичних взаємодіях.

Завдяки цьому методу, технологія VOID здатна виправляти або радикально трансформувати окремі елементи відео. Наприклад, у сцені, де відбувається зіткнення автомобілів, система може видалити один з автомобілів, коригуючи всі подальші події так, що створюється враження, ніби аварії не сталося. Іншим прикладом може бути гра в доміно: видаливши кілька кісточок з центру, можна зовсім змінити динаміку всієї сцени.

Нова версія Netflix доступна для всіх бажаючих, і її можна протестувати на платформі Hugging Face.