Объяснение: как работает портретная видеосистема FDF на OPPO Reno5 Pro 5G

Видео всегда были важной частью нашей жизни, и поскольку смартфоны становятся все быстрее и умнее, эти портативные универсальные устройства потенциально могут заменить ваши специализированные зеркальные фотокамеры, камеры наведения и даже экшн-камеры для ваших потребностей в видеосъемке.

Насколько мы продвинулись в области создания изображений для смартфонов, видео часто игнорируются на смартфонах Android, даже на флагманах. Однако в последние годы бренды в конце концов осознали важность смартфонов как видеокамер и сосредоточились на улучшении общего опыта видеосъемки.

OPPO был в авангарде оптимизации камер смартфонов, и мы уже видели некоторые интересные технологии от этого бренда, такие как нейронная сеть RFB-ERSGAN, повышающая масштаб исходных изображений с низким разрешением. в изображения с высоким разрешением без потери деталей или даже технологию гибридного увеличения с многослойной структурой линз с перископическим увеличением.

В выпуске Reno5Pro 5G OPPO будет использовать свою совершенно новую систему портретного видео Full Dimension Fusion (FDF). Это набор алгоритмов визуализации, которые работают за кулисами для оптимизации видео на новом устройстве. А на недавнем брифинге OPPO объяснила, как работает система и как она оптимизирует видео в соответствии с рядом параметров для получения наилучшего результата.

Итак, вот краткий обзор того, как работает портретная видеосистема OPPO FDF на OPPO Reno5Pro 5G. Эта статья не предназначена для глубокого погружения в систему. Вместо этого это краткий обзор того, что происходит за кулисами, когда вы снимаете видео на телефон.

Как упоминалось выше, система камеры OPPO представляет собой набор различных алгоритмов, которые работают вместе для оптимизации видео, записанного на OPPO Reno5Pro 5G. Система состоит из двух основных двигателей:

1. Механизм повышения качества

Как следует из названия, механизм повышения качества улучшает качество видео по ряду различных параметров, таких как яркость, динамический диапазон и шумоподавление. Этот движок работает в фоновом режиме, чтобы улучшить общее качество записываемого видео.

2. Механизм портретного восприятия

Механизм восприятия портретов, с другой стороны, фокусируется на распознавании сцен. Он работает в фоновом режиме, чтобы идентифицировать человеческие фигуры на сцене и эффективно оптимизировать их по отношению к окружающей среде. Этот конкретный движок также отвечает за включение творческих фильтров внутри видео, таких как режим AI Color Portrait.

Чтобы лучше понять это, эта блок-схема даст вам краткий обзор того, как работает система.

КАК РАБОТАЕТ СИСТЕМА

Два движка работают вместе, чтобы оптимизировать видео на Reno5Pro 5G. У каждого движка есть собственный набор оптимизаций, обрабатываемых в фоновом режиме. Теперь давайте кратко рассмотрим эти процессы.

Механизм повышения качества

Механизм повышения качества состоит из двух архитектур алгоритмов AI — AI Highlight Video и Ultra Steady 3.0.

• • AI Highlight Video
    OPPO сообщает, что AI Highlight Video — это собственная архитектура алгоритмов, которая сочетает в себе алгоритмы Ultra Night Video и алгоритмы Live HDR для оптимизации яркости, цвета и четкости видео независимо от уровня освещенности. OPPO также отмечает, что впервые они смогли использовать одновременно свои алгоритмы Night и Live HDR. Это означает, что AI Highlight Video работает как при дневном свете, так и при слабом освещении и доступен как для передней, так и для задней камеры. Вам просто нужно нажать кнопку в пользовательском интерфейсе камеры, чтобы включить эту функцию.
    AI Highlight Video оптимизирует видео по трем различным параметрам.
    • • AI Adaptive Brightness Enhancement: Алгоритм использует адаптивное усиление для управления временем экспозиции, чтобы изображения в видео были яркими, но не переэкспонированными.
    • • Адаптивный динамический диапазон AI: Адаптивный динамический диапазон регулирует динамический диапазон для каждого кадра в видео с помощью технологий преобразования динамического диапазона и преобразования тонов пленки (FTM). OPPO утверждает, что этот процесс восстанавливает потерянные цвета, яркость и темноту изображения до естественного уровня. Этот процесс также включает в себя многокадровый HDR для улучшения динамического диапазона всего видео.
    • • AI Adaptive Noise Reduction: Этот процесс добавляет межкадровое слияние для временного уменьшения шума (между двумя кадрами) и внутрикадровое слияние (внутри кадра) для пространственного шумоподавления. OPPO утверждает, что этот процесс удаляет шум изображения без удаления важных деталей, в отличие от других обычных алгоритмов устранения шума.
        

        
        

        
        

    Совершенно очевидно, что OPPO придает большое значение своему алгоритму AI Highlight Video. Фактически, компания поделилась несколькими ключевыми статистическими данными о том, как она улучшает общее качество и производительность видеосъемки на смартфонах.

    OPPO сообщает, что видео AI Highlight увеличивает яркость ночного видео на 74,4% с четкостью 33,7% по сравнению с обычным режимом видео. Для завершения всего процесса на Reno5Pro 5G требуется всего 20 мсек, при этом энергопотребление также снижается на 40% по сравнению с его предшественником.

  • Ultra Steady 3.0
    Механизм повышения качества OPPO также зависит от нового поколения технологии Ultra Steady 3.0, которая обеспечивает технологию стабилизации для более широкого диапазона сценариев, таких как бег, прыжки и даже экстремальные виды спорта.
    

Далее идет машина портретного восприятия. Многие из вас, возможно, уже знакомы с этим движком. Этот набор алгоритмов отвечает за использование портретно-ориентированных функций, таких как классные видеоролики AI Color Portrait, независимо от фона или состояния человека.

Механизм портретного восприятия

Portrait Perception Engine выполняет три типичных процесса при съемке видео.

• • • • Менеджер по дизайну сцены: Первый этап — определение портретной сцены и обработка требований, необходимых для нее. Используя собственную базу данных OPPO с более чем 10 миллионами данных, менеджер Scene Design может анализировать реальные портретные сцены в различных сценариях и вносить необходимые корректировки в видео по набору фиксированных параметров. Это первый этап, на котором движок подготавливает видео к дальнейшей обработке.
        
    • • AI Modeling: После того, как сцена оценена, модели AI и глубокие нейронные сети начинают действовать, по сути отделяя портрет от фона. Это очень важная часть обработки портретного видео OPPO. Чтобы повысить скорость и точность своей модели ИИ, которая идентифицирует портреты, компания использует собственную базу данных для обучения модели ИИ SOTA. Это помогает еще больше сжать эти модели, делая их пригодными для небольших устройств, таких как смартфоны. OPPO утверждает, что весь процесс распознавания портрета может быть выполнен менее чем за миллисекунду, что чрезвычайно важно для непрерывной и мгновенной видеосъемки.
    • Обработка портретов: Когда вы смотрите на его реальные приложения, движок портретного восприятия составляет основу портретной видеосистемы OPPO FDF. Окончательный алгоритм обработки портрета оптимизирует видео по трем аспектам:
      1. Оптимизация лица
      2. Отслеживание движения
      3. Сегментация экземпляров

      
      

      

      
      

      Благодаря механизму портретного восприятия, который включает в себя портретную идентификацию и обработку портрета, смартфоны OPPO с системой портретного видео FDF могут:

      • Точно идентифицируйте черты каждого человека и их лица, даже если объекты находятся сбоку от камеры или частично не видны.
      • Применяйте оптимизацию AI Highlight Video, например настройку цвета, яркости или контрастности для портретов.
      • Добавьте индивидуальную оптимизацию для каждого объекта изображения (сегментация экземпляра)
      • Добавьте к портретам специальные функции, например Цветной портрет AI

Совершенно очевидно, что OPPO считает, что видео в ближайшие годы станут очень важной частью смартфонов. Видеосистема FDF Portrait Video System — это еще одна попытка предоставить своим пользователям больше возможностей в области видеосвязи.

Компания сообщила, что по состоянию на сентябрь 2020 года она подала заявки на получение 7300 патентов, связанных с изображениями, по всему миру, из которых 2350 уже выданы.

OPPO Reno5 Pro 5G — последняя модель, оснащенная новой портретной видеосистемой FDF. Телефон будет выпущен в Индии 18 января, поэтому мы скоро узнаем, насколько новый движок изменил качество видео.