Разработан алгоритм для предсказания событий на видео

Разработан алгоритм для предсказания событий на видео

Команда исследователей Google представила самообучающуюся систему VideoBERT, которая по фрагменту видеоролика учится прогнозировать, что будет происходить дальше.

Как объясняют исследователи, цель VideoBERT – обнаружение звуковых и визуальных семантических функций высокого уровня, соответствующих событиям и действиям, разворачивающимся во времени. 

Было собрано более миллиона видеоинструкций по разным тематикам. На базе этих данных система училась прослеживать развитие некоторых повседневных для человека задач.

После обучения систему испытали на незнакомой ей подборке видео, наблюдая то, как она генерировала наборы инструкций для завершения того или иного действия. К примеру, “видя” тарелку с мукой и какао, VideoBERT делала предположение, что ингредиенты будут помещены в духовку и в итоге превратятся в пирожное. Метод тренировки позволил научить VideoBERT предсказывать развитие событий, исходя из визуально-лингвистических и визуальных представлений.

Оставьте свой комментарий