вfacebook

Facebook улучшила просмотр видео в формате 360° за счёт прогнозирования взгляда пользователя

На конференции F8 Хоакин Куинонеро, директор отдела прикладного машинного обучения компании Facebook, описал новую технологию. С ней просмотр видео в формате 360° стал ещё лучше. Facebook использует машинное обучение для уменьшения числа пикселей, отображаемых в каждый момент времени.

С помощью прогнозирования того, куда посмотрит зритель, отображению определённых мест в кадре будет задаваться приоритет, что улучшит качество воспроизведения видео в условиях низкого качества интернет-соединения. Проблема таких видео заключается в том, что изображение в них появляется с опозданием. Майк Ковард, технический директор команды Facebook по работе с VR, сам поделился недовольством ситуацией, когда при повороте головы виден только смазанный экран.

Суть новой технологии

Частичным решением проблемы является оптимизация сжатия. Однако в компании уже используется машинное обучение для подбора лучших технологий сжатия для отдельных видео. Другим средством уменьшения объёма потоковой загрузки является просто обрезка показываемого материала. Вместо снижения качества всего видео специалисты Facebook решили попробовать улучшать разрешение тех фрагментов, в сторону которых будет скорее всего направлен взгляд пользователя.

Сначала компания выяснила, куда пользователи чаще всего смотрят при просмотре видео 360°. Команда по работе с VR создала тепловую карту, где выделены самые популярные места в видео. Исходя из этого, Facebook сделала дополнительную карту при помощи глубинной нейронной сети. С ней возможно прогнозирование просмотров новых видео. Модель Facebook создавалась на основе сотен видео, где выделялись интересные видео-кадры. После включения модели прогнозирования в работу программистам компании Facebook удалось повысить разрешение на устройствах VR на 39%. Кроме улучшения качества просмотра видео для пользователей с некачественным интернет-соединением и повышения разрешения, возможно, технология будет использована и создателями таких видео, чтобы сделать их ещё более интересными.

Новые камеры для видео 360°

Добавим, что на второй день конференции главный технический директор Facebook Майк Шрёпфер продемонстрировал дизайн двух новых камер для создания видео 360°. Обе камеры, x24 с 24 объективами и x6 с 6 объективами, могут снимать в 6 степенях подвижности для повышения реалистичности видео. Facebook планирует запатентовать дизайн обеих камер и найти коммерческих партнёров для выпуска камер на рынок в этом году.

Раскрутка требует серьёзных усилий со стороны компании, но, несмотря на усовершенствование устройств и технологий VR и видео 360°, Facebook понимает, что по большей части причина невысокой популярности кроется именно в содержании видеоконтента. Поэтому корпорация ведёт тесное сотрудничество с компаниями, занимающимися постпроизводством и визуальными эффектами.

Типичный программист.

Источник: Типичный программист