Межкадровая интерполяция

В индустрии кинематографа, уже в начале ХХ в. установился стандарт съемки по количеству кадров в секунду равный 24-ем. Этого значения вполне достаточно, чтобы передать движение. Вследствие этого подавляющее количество видеопродукции до сих пор снимается с частотой 24 кадра/секунду. Однако восприятие динамичных сцен при данном фреймрейте затруднено. Именно поэтому в современной видеосъемке наблюдается тенденция в увеличении частоты кадров в секунду.

В данной работе рассматриваются возможности качественного повышения количества кадров в секунду путем расчета промежуточных кадров. Процесс получения дополнительных кадров и называется - межкадровая интерполяция.

Расчет промежуточных кадров может быть применен, как для повышения реалистичности видео, так и для создания эффекта замедленного движения без потери качества. Информация об оптическом потоке может быть использована для сжатия видео, создания кодеков и т. п.

Человек воспринимает видео по-разному, в зависимости от многих параметров. Одним из качественных параметров является частота кадров в секунду.

В серии предыдущих работ различных ученых, на основе экспериментальных данных и опросов испытуемых была выявлена зависимость между частотой кадров в зрительном потоке и «реалистичностью» восприятия. В среднем реализм повышается вплоть до порога в 60 кадров/секунду, после которого человек перестает чувствовать разницу между этим порогом и большими значениями частот.

Повышение частоты со стандартных 24 кадров/секунду до более высоких значений позволяет человеку замечать больше деталей.
Существуют различные разработки в области повышения количества кадров в секунду. Подавляющее большинство из которых являются закрытыми.

В ходе работы был сформулирован алгоритм, и реализован прототип, который позволяет по входному видеопотоку рассчитывать промежуточные кадры и сохранять полученный результат в выходной видеопоток.

Для поиска оптического потока используется алгоритм Фарнбака. Затем исходные кадры интерполируются в обе стороны и линейно смешиваются по интенсивности.

Результат работы прототипа в зависимости от заданного параметра количества кадров в секунду может быть использован по-разному. При сохранении исходной скорости воспроизведения поток будет воспринят с эффектом замедления без потери качества, а при пропорциональном увеличении скорости значительно повышается восприятие потока человеком.

Данная разработка имеет высокий коммерческий потенциал и большую сферу применения, в качестве процессора входного видеосигнала для систем реального времени, а также в качестве программного продукта для повышения абсолютного количества кадров произвольного видеопотока без приобретения дорогостоящего оборудования.

Н. И. Коржицкий