RU2379726C1 - Способ получения и восстановления объемного изображения - Google Patents

Abstract

Изобретение относится к средствам получения и воспроизведения объемного изображения. Технический результат заявленного изобретения заключается в исключении использования зрителями поляроидных очков, исключении требования вычисления положения глаз зрителей, исключении наличия движущихся деталей; повышении разрешающей способности обычного телевизионного или компьютерного изображения. Способ получения и восстановления объемного изображения характеризуется использованием плоского экрана, который выполняют в виде сдвоенной матрицы, внешнюю матрицу которого выполняют из управляемых ячеек, которые попеременно пропускают свет от объекта съемки, а внутреннюю матрицу выполняют из светочувствительных ячеек, непосредственно отображающих объект съемки, причем каждая ячейка внешней матрицы представляет собой управляемую на основе жидкокристаллической или иной структуры микроскопическую линзу или отверстие малого диаметра, реализующее эффект камеры-обскуры, а управление ячейками внешней матрицы осуществляют поочередным их открытием для прохождения света, камеру съемки формируют в виде участка внешней матрицы, центральная ячейка которой открыта для пропускания света и кадра внутренней матрицы, состоящего из прямоугольного массива пикселей, фиксирующих изображение; при сканировании изображения камеру съемки сдвигают последовательно на одну ячейку внешней матрицы по заданному направлению обхода, причем все образованные камеры съемки обходят прямоугольную область - ракурс съемки, соответствующую кадру изображения на внутренней матрице; количество камер съемки n выбирают согласно формуле:

,

где d_i - размер камеры, w - ширина экрана и h - высота экрана; в один момент экспозиции преобразуют в цифровой вид n элементарных кадров, а в последующий момент времени все камеры и все ракурсы сдвигают на одну ячейку внешней матрицы; при восстановлении изображения направление обхода каждого элементарного кадра делают обратным направлению его обхода при получении изображения. 2 з.п. ф-лы, 8 ил.

Description

Область применения

Изобретение относится к средствам получения и воспроизведения объемного изображения и может быть использовано при получении объемных фотографий для реализации объемного телевидения, видеофонах, в компьютерных играх, в наружной рекламе, для оформления витрин и т.д.

Уровень техники

Известен способ получения фотографий, реализующих эффект объемного изображения, с использованием набора мелких цилиндрических линз. Приклеенный к ней отпечаток представляет собой картинку из полос, каждая полоса отклоняется микролинзой под определенным углом так, что в левый и правый глаз попадают немного различающиеся картинки, и мы видим либо объемное изображение, либо меняющиеся с углом поворота вариокадры. Оптическим аналогом линзового растра является решетчатый растр, состоящий из чередующихся прозрачных и непрозрачных полос. Точно также небольшие отверстия - камеры-обскуры - являются аналогом линзы (журнал «ФОТО Сибирский успех», 2003, г.Новосибирск, статья «История растровых стерео- и вариоизображений») Габриэлю Липпману принадлежит идея получения объемной фотографии с помощью пластины, состоящей из набора мелких сферических линз (интегральная фотография). Подобный способ применительно к объемной кинематографии и телевидению упоминался в патенте №2098855 (10.12.1997), автор Голенко Г.Г. (поданным на 29.04.2008 прекратил действие). Источник изображения в этом патенте выполнен в виде единого двумерного объекта, а линзы оптического линзового растра выполнены в сагиттальном сечении с переменным радиусом кривизны, изменяющимся по закону стохастически осциллирующей или периодической функции.

Недостатком такого способа при получении телевизионного объемного изображения является снижение разрешающей способности изображения, поскольку каждой микролинзе соответствует набор пикселей, то есть разрешающая способность изображения соответствует количеству микролинз в растре, количество которых в несколько раз меньше количества пикселей в передаваемом изображении. Известны также способы создания объемного изображения с помощью стереоскопической системы, сепарация ракурсов для левого и правого глаз зрителя осуществляется при помощи поляроидных очков (патенты №2006123344, №2096926, №2113771, №2202860). В некоторых случаях предлагается модификация телевизионных сигналов при трансляции объемных изображений в виде стереоизображений (патент №2211545).

Недостатком такого способа является использование зрителями дополнительного оборудования - поляроидных очков для разделения изображений для разных глаз. Известны способы формирования и восстановления объемных изображений путем измерений координат снимаемых объектов, определения положения глаз зрителя, вычисления требуемого параллакса для каждого зрителя (патент №2097940).

Подобная технология слишком сложна для реализации и массового использования как в телевидении, так и в кинематографе. Наиболее перспективное использование целесообразно в компьютерных играх, тренажерах.

Также публиковались способы получения и восстановления объемных изображений с использованием светоизлучающих элементов, перемещающихся по циклической траектории в пространстве (путем вращения) и создающих реалистичное объемное изображение (патент №2173893).

Такой способ также довольно сложен для реализации при создании объемного телевидения или кинематографа и наиболее применим при создании в рекламных целях изображения определенных объектов.

Технический результат заявленного изобретения заключается в том, что способ исключает использование зрителями поляроидных очков, не требует вычисления положения глаз зрителей, не предусматривает движущиеся детали. Также обеспечивается повышение разрешающей способности обычного телевизионного или компьютерного изображения. Способ позволяет воспроизвести систему экрана, одновременно снимающего сюжет и воспроизводящего объемное изображение.

Краткое описание чертежей

На Фиг.1 показано устройство внутренней матрицы; стрелками схематично показано направление обхода, где 1 - ячейка внутренней матрицы, 2 - внутренняя матрица, 3 - внешняя матрица, 4 - центральная открытая ячейка внешней матрицы, 5 - кадр внутренней матрицы, 6 - массив пикселей, фиксирующих изображение, 7 - закрытая ячейка внешней матрицы.

На Фиг.2 показан участок внешней матрицы, центральная ячейка которой «открыта» для пропускания света и кадр внутренней матрицы, состоящий из прямоугольного массива пикселей, фиксирующих изображение. Стрелками на чертеже показано направление обхода при преобразовании изображения в цифровой вид.

На Фиг.3 представлен в разрезе процесс получения объемного изображения (слева) и процесс восстановления этого изображения.

На Фиг.4 показан принцип обхода пикселей внутренней матрицы, которое является обратным по сравнению с направлением обхода на Фиг.2.

На Фиг.5 изображена схема, поясняющая процесс съемки объектов и воспроизведения объемного изображения.

На Фиг.6 показана схема, поясняющая строение сдвоенной матрицы и процессы преобразования изображения в цифровой вид и наоборот.

На Фиг.7 показана схема, иллюстрирующая «обход» управляемых элементов внешней матрицы и формирование многоракурсного изображения на внутренней матрице.

На Фиг.8 показано схематичное изображение сканирования внутренней матрицы при формировании видеосигнала, где 8 - место начала сканирования.

Реализация изобретения

Заявленный технический результат достигается за счет того, что способ получения и восстановления объемного изображения характеризуется использованием плоского экрана, который выполняют в виде сдвоенной матрицы, внешнюю матрицу которого выполняют из управляемых ячеек, которые попеременно пропускают свет от объекта съемки, а внутреннюю матрицу выполняют из светочувствительных ячеек, непосредственно отображающих объект съемки, причем каждая ячейка внешней матрицы представляет собой управляемую на основе жидкокристаллической или иной структуры микроскопическую линзу или отверстие малого диаметра, реализующее эффект камеры-обскуры, а управление ячейками внешней матрицы осуществляют поочередным их открытием для прохождения света, камеру съемки формируют в виде участка внешней матрицы, центральная ячейка которой открыта для пропускания света и кадра внутренней матрицы, состоящего из прямоугольного массива пикселей, фиксирующих изображение; при сканировании изображения камеру съемки сдвигают последовательно на одну ячейку внешней матрицы по заданному направлению обхода, причем все образованные камеры съемки обходят прямоугольную область - ракурс съемки, соответствующую кадру изображения на внутренней матрице; количество камер съемки n выбирают согласно формуле:

где d_i - размер камеры, w - ширина экрана и h - высота экрана; в один момент экспозиции преобразуют в цифровой вид n элементарных кадров, а в последующий момент времени все камеры и все ракурсы сдвигают на одну ячейку внешней матрицы; при восстановлении изображения направление обхода каждого элементарного кадра делают обратным направлению его обхода при получении изображения. Видеосигнал может содержать управляющие импульсы, функцией которых является управление внешней матрицей.

Каждая ячейка внутренней матрицы может представлять собой светочувствительный элемент, соответствующий одному пикселю изображения.

Преимуществом способа является то, что для его реализации способа достаточно лишь несколько модифицировать устройства для съемки сюжетов - не видеокамеры или набор видеокамер, а снимающее устройство в виде экрана. Телевизионный сигнал практически не изменяется, но в него вносится дополнительный сигнал, синхронизирующий начало цикла обхода ракурсов многоракурсной системы. При создании телевизионного сигнала требуется некоторая обработка изображения, но при введении специальной адресации пикселов внутренней матрицы, порядок их считывания обеспечит необходимую предварительную обработку сигнала. На воспроизводящем экране возможно переключение изображения от объемного на существующее в настоящее время плоское изображение. Возможна компьютерная обработка объемного изображения для создания эффекта выхода изображения перед экраном.

Предлагаемый способ может также использоваться для повышения разрешающей способности обычного телевизионного или компьютерного изображения за счет того, что количество элементов внешней матрицы превышает количество элементов внутренней матрицы.

Создание экрана, одновременно снимающего сюжет и воспроизводящего объемное изображение способно реализовать идеальную систему видеотелефона, видеоконференций и т.д.

Способ обеспечивает максимальную реалистичность результирующих изображений. В основу способа положен принцип, согласно которому при отображении объемного объекта каждая точка экрана должна нести информацию обо всем объекте. Таким образом, эффект объема изображения создается за счет записи, обработки и передачи избыточной информации.

Обычно избыток информации ограничивается созданием стереоизображения, рассматриваемого при помощи специальных растров или с использованием специальных очков.

В данном способе подобное ограничение снимается за счет распределения избыточной информации в пространстве и времени, и для просмотра восстановленного изображения не требуется никаких дополнительных приспособлений и устройств, а также нет необходимости в интерактивном процессе с определением положения зрителя.

Для преобразования объемного изображения в цифровой вид применяется плоский «многоракурсный экран» в виде сдвоенной матрицы: внешняя матрица состоит из управляемых ячеек, которые попеременно пропускают свет от объекта съемки, а внутренняя матрица состоит из светочувствительных ячеек, непосредственно отображающих объект съемки. Размеры «многоракурсного экрана» соответствует размеру дисплея, на котором будет восстанавливаться изображение. Каждая ячейка внешней матрицы представляет собой управляемую на основе жидкокристаллической или иной структуры микроскопическую линзу или, в простейшем случае, просто отверстие малого диаметра, реализующее эффект камеры-обскуры. При этом управление ячейками внешней матрицы осуществляется поочередным «открытием» для прохождения света. Каждая ячейка (1) внутренней матрицы (2) представляет собой светочувствительный элемент, соответствующий одному пикселю изображения (см. Фиг.1). При этом малый относительный размер ячейки внешней матрицы обеспечивает резкость изображения.

В сдвоенной матрице можно условно выделить элементы, которые в один момент времени формируют полное изображение объекта - это своего рода миниатюрные фотокамеры. Одной такой мини-камере соответствуют: участок внешней матрицы (3), центральная ячейка (4) которой «открыта» для пропускания света и кадр внутренней матрицы (5), состоящий из прямоугольного массива (6) пикселей, фиксирующих изображение (см. Фиг.2). Стрелками на чертеже показано направление обхода при преобразовании изображения в цифровой вид.

Чтобы достичь высокой плотности ракурсов, они распределяются не только в пространстве, но и во времени, то есть два ракурса расположены рядом друг с другом - соседние «линзы», при этом считывание изображения этих соседних ракурсов осуществляется в последовательные моменты времени.

То есть при сканировании изображения мини-камера сдвигается всего на одну ячейку внешней матрицы (на одну своего рода «линзу») - на Фиг.1 стрелками схематично показано направление обхода. Все мини-камеры обходят прямоугольную область - «область обхода одной мини-камеры», соответствующую кадру изображения на внутренней матрице - эта область на Фиг.1 показана черными линиями на поверхности внешней матрицы.

Размер мини-камеры (d_i) определяется размером кадра внутренней матрицы. От размера кадра зависит угол, под которым можно рассматривать результирующее изображение.

Количество мини-камер зависит от размеров «многоракурсного экрана» (w - ширина и h - высота) и равно:

.

Таким образом, в один момент экспозиции преобразуется в цифровой вид n элементарных кадров. В следующий момент времени все мини-камеры, равно как и все ракурсы «сдвигаются» на одну ячейку внешней матрицы. Цикл переключения мини-камер должен иметь достаточно малую продолжительность, чтобы обеспечивать немерцающее изображение объекта.

Восстановление изображения из цифрового вида осуществляется с помощью такой же сдвоенной матрицы, внешняя матрица которой также состоит из управляемых ячеек, попеременно пропускающих свет от внутренней матрицы, на которой воспроизводится изображение. Переключение ячеек внешней матрицы осуществляется по тому же алгоритму, как и при съемке объекта, то есть передача информации об открытых ячейках внешней матрицы не происходит.

Внутренняя матрица сканируется при получении изображения и при его воспроизведении также по стандартному алгоритму.

Отличительной особенностью процесса сканирования внутренней матрицы при воспроизведении изображения является то, что направление обхода каждого элементарного кадра обратно направлению его обхода при получении изображения, то есть каждый элементарный участок матрицы, соответствующий одному ракурсу съемки, отражается и по вертикальной оси, и по горизонтальной оси.

Из Фиг.3 видно, что глаза зрителя видят одну точку объекта съемки в разное время, поскольку элементы внешней матрицы и, следовательно, элементарные кадры переключаются последовательно с частотой, обеспечивающей непрерывное изображение.

Элементарные кадры при воспроизведении сканируются в обратном направлении. Если один кадр, полученный в одном ракурсе, состоит из n·m пикселей, где n - число столбцов, a m - число строк кадра, то обход кадра по координатам съемки i и j при воспроизведении изображения должен выполняться по алгоритму: «номер строки кадра» = n-i, а номер «столбца кадра» = m-j. На Фиг.4 демонстрируется направление сканирования одного кадра внутренней матрицы при восстановлении изображения. На Фиг.4 стрелками показано направление обхода пикселей внутренней матрицы, которое является обратным по сравнению с направлением обхода на Фиг.2. Предложенный способ также делает возможным цифровую обработку изображений с целью получения различных объемных эффектов.

На Фиг.5 изображена схема, поясняющая процесс съемки объектов и воспроизведения объемного изображения.

Здесь слева изображен «многоракурсный» экран, преобразующий изображение объемных объектов в цифровую последовательность. Справа - экран, воспроизводящий снятое объемное изображение. Очевидно отличие снимающей аппаратуры от существующих телекамер.

Преобразование объемного изображения в цифровой вид и восстановление изображения из цифровой последовательности, переданной по каналам связи, либо считанной с записывающего устройства, может быть реализовано на основе следующих действий. Основой для вычисления координат управляемых элементов внешней матрицы и координат считывания изображения внутренней матрицы является размер одного ракурса (d), то есть размер изображения, полученный от одного «открытого» элемента внешней матрицы. От базового размера зависит четкость объемного изображения, максимальный угол, под которым можно рассматривать результирующее изображение, а также технические характеристики каналов связи и оборудования, с помощью которого преобразуется изображение. Для удобства назовем прямоугольную область внешней матрицы, которая соответствует по размеру одному ракурсу элементарным кадром, или просто кадром.

Размер одного ракурса проще всего выразить в пикселях внутренней матрицы. При этом, если разрешающая способность внутренней матрицы отличается от разрешающей способности внешней матрицы, то вычисление координат управляемого элемента внешней матрицы будет осуществляться с применением коэффициента, численно равного отношению количества элементов, находящихся на одной стороне элементарного кадра, s к базовому размеру d (в пикселях внутренней матрицы). При этом геометрический размер стороны кадра соответствует геометрическому размеру одного ракурса. Если же и внутренняя матрица, и элементарный кадр внешней матрицы имеют одинаковое количество пикселей на единицу площади, то есть s=d, то одному пикселю внутренней матрицы ставится в соответствие один элемент внешней матрицы.

Обозначим координаты активного элемента внешней матрицы в пределах элементарного кадра, как x - номер столбца и y - номер строки. Очевидно, что обе координаты, x и y, изменяются от 1 (верхний левый элемент кадра) до величины s (количество элементов внешней матрицы на сторону кадра). Количество элементарных кадров квадратной формы на внешней матрице, шириной w и высотой h, выраженных в пикселях, равно q=w·h/s².

Обозначим также координаты каждого пикселя внутренней матрицы в пределах всего экрана, как i - номер столбца и j - номер строки. Они изменяются от 1 до соответственно w+d и h+d.

На Фиг.6 показана схема, поясняющая строение сдвоенной матрицы и процессы преобразования изображения в цифровой вид и наоборот.

Здесь d - базовый размер одного ракурса, на основе которого формируется алгоритм считывания цифровой информации, a s - количество элементов внешней матрицы, находящихся на стороне квадрата, площадь которого геометрически равна размеру одного ракурса d.

На Фиг.6 на левом верхнем элементарном кадре внешней матрицы (3) стрелками продемонстрировано направление обхода кадра, при котором управляемые ячейки последовательно открываются для пропускания света. По такому же пути осуществляется обход ячеек каждого элементарного кадра (6) внутренней матрицы (2) экрана. Все управляемые элементы всех элементарных кадров (6) связаны параллельно, что упрощает процедуру сканирования всего экрана. При ширине внешней матрицы (3) в w пикселей, одновременно открыты w/s элементов по горизонтали, то есть открыт каждый элемент, отстоящий от предыдущего открытого элемента (5) на s элементов.

Для наглядности на Фиг.7 показаны четыре последовательных состояния экрана (из s² подобных состояний), в которых зафиксированы сдвинутые ракурсы на внутренней матрице (2). Каждому из изображенных состояний соответствует один кадр телевизионного изображения, причем для обеспечения непрерывности изображения необходимо обеспечить частоту таких кадров не менее 25 кадров в секунду. Внутренняя матрица может сканироваться стандартным образом, формируя видеосигнал, который записывается или передается для воспроизведения. Для обеспечения синхронизации видеосигнал может содержать управляющие импульсы, необходимые для управления внешней матрицей.

Аналогичный алгоритм реализуется на внешней матрице (3) экрана, на котором воспроизводится снятое объемное изображение. Однако видеосигнал, полученный после сканирования внутренней матрицы, должен быть модифицирован таким образом, чтобы получить зеркальное отображение одного ракурса. В этих целях можно зеркальное отображение каждого ракурса получить при снятии изображения с внутренней матрицы, либо при воспроизведении изображения. Однако представляется более удобным такое преобразование выполнить в момент съемки, таким образом, видеосигнал будет уже полностью готов для воспроизведения итогового отображения.

Итак, при преобразовании изображения внешняя матрица сканируется показанным выше способом, а видеосигнал считывается с внутренней матрицы следующим образом:

- счетчик n изменяется в пределах одного кадра от 1 до w·h;

- начальная точка, откуда начинается сканирование i₀=s, j₀=s, при формировании последующих многоракурсных изображений начальные координаты вычисляются, как i₀=s+x и j₀=s+y (здесь x и y - координаты текущего активного элемента внешней матрицы, изменяются от 1 до s);

- при увеличении счетчика до s² координаты i и j уменьшаются от i₀ и j₀ до 1;

- после этого текущая координата равна, соответственно, i=k·s+x и j=k·s+y, где k соответствует номеру очередного ракурса и изменяется от 1 до q (см. выше).

Схематично данный алгоритм демонстрируется на Фиг.8.

При воспроизведении изображения сканирование внутренней матрицы осуществляется стандартным образом, то есть текущая координата пикселя i и j, которому передается информация, изменяется последовательно от x и y до w и h соответственно.

В аппаратной структуре, следовательно, должен присутствовать вычислительный блок, которые выполняет расчет текущих координат активных элементов обеих матриц.

Claims (3)

1. Способ получения и восстановления объемного изображения характеризуется использованием плоского экрана, который выполняют в виде сдвоенной матрицы, внешнюю матрицу которого выполняют из управляемых ячеек, которые попеременно пропускают свет от объекта съемки, а внутреннюю матрицу выполняют из светочувствительных ячеек, непосредственно отображающих объект съемки, причем каждая ячейка внешней матрицы представляет собой управляемую на основе жидкокристаллической или иной структуры микроскопическую линзу или отверстие малого диаметра, реализующее эффект камеры-обскуры, а управление ячейками внешней матрицы осуществляют поочередным их открытием для прохождения света, камеру съемки формируют в виде участка внешней матрицы, центральная ячейка которой открыта для пропускания света и кадра внутренней матрицы, состоящего из прямоугольного массива пикселей, фиксирующих изображение; при сканировании изображения камеру съемки сдвигают последовательно на одну ячейку внешней матрицы по заданному направлению обхода, причем все образованные камеры съемки обходят прямоугольную область - ракурс съемки, соответствующую кадру изображения на внутренней матрице; количество камер съемки n выбирают согласно формуле:

где d_i - размер камеры, w - ширина экрана и h - высота экрана; в один момент экспозиции преобразуют в цифровой вид n элементарных кадров, а в последующий момент времени все камеры и все ракурсы сдвигают на одну ячейку внешней матрицы; при восстановлении изображения направление обхода каждого элементарного кадра делают обратным направлению его обхода при получении изображения.

2. Способ получения и восстановления объемного изображения по п.1, отличающийся тем, что видеосигнал содержит управляющие импульсы, функцией которых является управление внешней матрицей.

3. Способ получения и восстановления объемного изображения по п.1 или 2, отличающийся тем, что каждая ячейка внутренней матрицы представляет собой светочувствительный элемент, соответствующий одному пикселю изображения.

Images