RU2379726C1 - Method to produce and recover 3-d image - Google Patents
Method to produce and recover 3-d image Download PDFInfo
- Publication number
- RU2379726C1 RU2379726C1 RU2008128515/28A RU2008128515A RU2379726C1 RU 2379726 C1 RU2379726 C1 RU 2379726C1 RU 2008128515/28 A RU2008128515/28 A RU 2008128515/28A RU 2008128515 A RU2008128515 A RU 2008128515A RU 2379726 C1 RU2379726 C1 RU 2379726C1
- Authority
- RU
- Russia
- Prior art keywords
- matrix
- image
- cell
- camera
- frame
- Prior art date
Links
Images
Landscapes
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Abstract
Description
Область примененияApplication area
Изобретение относится к средствам получения и воспроизведения объемного изображения и может быть использовано при получении объемных фотографий для реализации объемного телевидения, видеофонах, в компьютерных играх, в наружной рекламе, для оформления витрин и т.д.The invention relates to a means of obtaining and reproducing a three-dimensional image and can be used to obtain three-dimensional photographs for the implementation of three-dimensional television, videophones, in computer games, in outdoor advertising, for window dressing, etc.
Уровень техникиState of the art
Известен способ получения фотографий, реализующих эффект объемного изображения, с использованием набора мелких цилиндрических линз. Приклеенный к ней отпечаток представляет собой картинку из полос, каждая полоса отклоняется микролинзой под определенным углом так, что в левый и правый глаз попадают немного различающиеся картинки, и мы видим либо объемное изображение, либо меняющиеся с углом поворота вариокадры. Оптическим аналогом линзового растра является решетчатый растр, состоящий из чередующихся прозрачных и непрозрачных полос. Точно также небольшие отверстия - камеры-обскуры - являются аналогом линзы (журнал «ФОТО Сибирский успех», 2003, г.Новосибирск, статья «История растровых стерео- и вариоизображений») Габриэлю Липпману принадлежит идея получения объемной фотографии с помощью пластины, состоящей из набора мелких сферических линз (интегральная фотография). Подобный способ применительно к объемной кинематографии и телевидению упоминался в патенте №2098855 (10.12.1997), автор Голенко Г.Г. (поданным на 29.04.2008 прекратил действие). Источник изображения в этом патенте выполнен в виде единого двумерного объекта, а линзы оптического линзового растра выполнены в сагиттальном сечении с переменным радиусом кривизны, изменяющимся по закону стохастически осциллирующей или периодической функции.A known method of obtaining photographs realizing the effect of a volumetric image using a set of small cylindrical lenses. The fingerprint glued to it is a picture of the stripes, each strip is deflected by the microlens at a certain angle so that slightly different pictures fall into the left and right eyes, and we see either a three-dimensional image or changing with the angle of rotation of the varioframe. An optical analogue of a lens raster is a trellis raster, consisting of alternating transparent and opaque stripes. Likewise, small openings - pinhole cameras - are analogous to a lens (PHOTO Siberian Success magazine, 2003, Novosibirsk, article “History of raster stereo and variographic images”) Gabriel Lippman has the idea of obtaining volumetric photographs using a plate consisting of a set small spherical lenses (integrated photography). A similar method as applied to volumetric cinematography and television was mentioned in patent No. 2098855 (12/10/1997), author Golenko G.G. (filed on 04/29/2008 terminated). The image source in this patent is made in the form of a single two-dimensional object, and the lenses of the optical lens raster are made in a sagittal section with a variable radius of curvature that varies according to the law of a stochastically oscillating or periodic function.
Недостатком такого способа при получении телевизионного объемного изображения является снижение разрешающей способности изображения, поскольку каждой микролинзе соответствует набор пикселей, то есть разрешающая способность изображения соответствует количеству микролинз в растре, количество которых в несколько раз меньше количества пикселей в передаваемом изображении. Известны также способы создания объемного изображения с помощью стереоскопической системы, сепарация ракурсов для левого и правого глаз зрителя осуществляется при помощи поляроидных очков (патенты №2006123344, №2096926, №2113771, №2202860). В некоторых случаях предлагается модификация телевизионных сигналов при трансляции объемных изображений в виде стереоизображений (патент №2211545).The disadvantage of this method when receiving a television three-dimensional image is a decrease in the resolution of the image, since each microlens corresponds to a set of pixels, that is, the resolution of the image corresponds to the number of microlenses in the raster, the number of which is several times less than the number of pixels in the transmitted image. There are also known methods of creating a three-dimensional image using a stereoscopic system, the separation of angles for the left and right eyes of the viewer is carried out using polaroid glasses (patents No. 2006123344, No. 2096926, No. 2113771, No. 2202860). In some cases, it is proposed to modify television signals when broadcasting volumetric images in the form of stereo images (patent No. 2211545).
Недостатком такого способа является использование зрителями дополнительного оборудования - поляроидных очков для разделения изображений для разных глаз. Известны способы формирования и восстановления объемных изображений путем измерений координат снимаемых объектов, определения положения глаз зрителя, вычисления требуемого параллакса для каждого зрителя (патент №2097940).The disadvantage of this method is the use by viewers of additional equipment - polaroid glasses to separate images for different eyes. Known methods for the formation and restoration of three-dimensional images by measuring the coordinates of captured objects, determining the position of the eyes of the viewer, calculating the required parallax for each viewer (patent No. 2097940).
Подобная технология слишком сложна для реализации и массового использования как в телевидении, так и в кинематографе. Наиболее перспективное использование целесообразно в компьютерных играх, тренажерах.Such a technology is too complicated for implementation and mass use both in television and in cinema. The most promising use is advisable in computer games, simulators.
Также публиковались способы получения и восстановления объемных изображений с использованием светоизлучающих элементов, перемещающихся по циклической траектории в пространстве (путем вращения) и создающих реалистичное объемное изображение (патент №2173893).Also published methods of obtaining and restoring volumetric images using light-emitting elements that move along a circular path in space (by rotation) and create a realistic volumetric image (patent No. 2173893).
Такой способ также довольно сложен для реализации при создании объемного телевидения или кинематографа и наиболее применим при создании в рекламных целях изображения определенных объектов.This method is also quite difficult to implement when creating surround television or cinema and is most applicable when creating images of certain objects for advertising purposes.
Технический результат заявленного изобретения заключается в том, что способ исключает использование зрителями поляроидных очков, не требует вычисления положения глаз зрителей, не предусматривает движущиеся детали. Также обеспечивается повышение разрешающей способности обычного телевизионного или компьютерного изображения. Способ позволяет воспроизвести систему экрана, одновременно снимающего сюжет и воспроизводящего объемное изображение.The technical result of the claimed invention is that the method eliminates the use of spectators of polaroid glasses, does not require calculation of the position of the eyes of the audience, does not provide moving parts. An increase in the resolution of a conventional television or computer image is also provided. The method allows to reproduce a screen system that simultaneously removes the plot and reproduces the three-dimensional image.
Краткое описание чертежейBrief Description of the Drawings
На Фиг.1 показано устройство внутренней матрицы; стрелками схематично показано направление обхода, где 1 - ячейка внутренней матрицы, 2 - внутренняя матрица, 3 - внешняя матрица, 4 - центральная открытая ячейка внешней матрицы, 5 - кадр внутренней матрицы, 6 - массив пикселей, фиксирующих изображение, 7 - закрытая ячейка внешней матрицы.Figure 1 shows the device of the internal matrix; the arrows schematically show the bypass direction, where 1 is the cell of the inner matrix, 2 is the inner matrix, 3 is the outer matrix, 4 is the central open cell of the outer matrix, 5 is the frame of the inner matrix, 6 is the array of pixels capturing the image, 7 is the closed cell of the outer matrices.
На Фиг.2 показан участок внешней матрицы, центральная ячейка которой «открыта» для пропускания света и кадр внутренней матрицы, состоящий из прямоугольного массива пикселей, фиксирующих изображение. Стрелками на чертеже показано направление обхода при преобразовании изображения в цифровой вид.Figure 2 shows the plot of the external matrix, the central cell of which is "open" for transmitting light and the frame of the internal matrix, consisting of a rectangular array of pixels capturing the image. The arrows in the drawing show the bypass direction when converting the image to digital.
На Фиг.3 представлен в разрезе процесс получения объемного изображения (слева) и процесс восстановления этого изображения.Figure 3 presents in section the process of obtaining a three-dimensional image (left) and the recovery process of this image.
На Фиг.4 показан принцип обхода пикселей внутренней матрицы, которое является обратным по сравнению с направлением обхода на Фиг.2.Figure 4 shows the principle of pixel traversal of the inner matrix, which is the opposite of the circumvention direction in figure 2.
На Фиг.5 изображена схема, поясняющая процесс съемки объектов и воспроизведения объемного изображения.Fig. 5 is a diagram for explaining a process of capturing objects and reproducing a three-dimensional image.
На Фиг.6 показана схема, поясняющая строение сдвоенной матрицы и процессы преобразования изображения в цифровой вид и наоборот.6 is a diagram for explaining the structure of a dual matrix and processes for converting an image into a digital form and vice versa.
На Фиг.7 показана схема, иллюстрирующая «обход» управляемых элементов внешней матрицы и формирование многоракурсного изображения на внутренней матрице.7 is a diagram illustrating the "bypass" of the controlled elements of the external matrix and the formation of a multi-angle image on the internal matrix.
На Фиг.8 показано схематичное изображение сканирования внутренней матрицы при формировании видеосигнала, где 8 - место начала сканирования.On Fig shows a schematic image of the scan of the internal matrix during the formation of the video signal, where 8 is the start of scanning.
Реализация изобретенияThe implementation of the invention
Заявленный технический результат достигается за счет того, что способ получения и восстановления объемного изображения характеризуется использованием плоского экрана, который выполняют в виде сдвоенной матрицы, внешнюю матрицу которого выполняют из управляемых ячеек, которые попеременно пропускают свет от объекта съемки, а внутреннюю матрицу выполняют из светочувствительных ячеек, непосредственно отображающих объект съемки, причем каждая ячейка внешней матрицы представляет собой управляемую на основе жидкокристаллической или иной структуры микроскопическую линзу или отверстие малого диаметра, реализующее эффект камеры-обскуры, а управление ячейками внешней матрицы осуществляют поочередным их открытием для прохождения света, камеру съемки формируют в виде участка внешней матрицы, центральная ячейка которой открыта для пропускания света и кадра внутренней матрицы, состоящего из прямоугольного массива пикселей, фиксирующих изображение; при сканировании изображения камеру съемки сдвигают последовательно на одну ячейку внешней матрицы по заданному направлению обхода, причем все образованные камеры съемки обходят прямоугольную область - ракурс съемки, соответствующую кадру изображения на внутренней матрице; количество камер съемки n выбирают согласно формуле: 
где di - размер камеры, w - ширина экрана и h - высота экрана; в один момент экспозиции преобразуют в цифровой вид n элементарных кадров, а в последующий момент времени все камеры и все ракурсы сдвигают на одну ячейку внешней матрицы; при восстановлении изображения направление обхода каждого элементарного кадра делают обратным направлению его обхода при получении изображения. Видеосигнал может содержать управляющие импульсы, функцией которых является управление внешней матрицей.where d i is the size of the camera, w is the width of the screen and h is the height of the screen; at one moment of the exposure, n elementary frames are converted to digital form, and at a subsequent moment in time, all cameras and all angles are shifted by one cell of the external matrix; when restoring an image, the bypass direction of each elementary frame is made the opposite of its bypass direction when receiving the image. The video signal may contain control pulses, the function of which is to control the external matrix.
Каждая ячейка внутренней матрицы может представлять собой светочувствительный элемент, соответствующий одному пикселю изображения.Each cell of the internal matrix may be a photosensitive element corresponding to one pixel of the image.
Преимуществом способа является то, что для его реализации способа достаточно лишь несколько модифицировать устройства для съемки сюжетов - не видеокамеры или набор видеокамер, а снимающее устройство в виде экрана. Телевизионный сигнал практически не изменяется, но в него вносится дополнительный сигнал, синхронизирующий начало цикла обхода ракурсов многоракурсной системы. При создании телевизионного сигнала требуется некоторая обработка изображения, но при введении специальной адресации пикселов внутренней матрицы, порядок их считывания обеспечит необходимую предварительную обработку сигнала. На воспроизводящем экране возможно переключение изображения от объемного на существующее в настоящее время плоское изображение. Возможна компьютерная обработка объемного изображения для создания эффекта выхода изображения перед экраном.The advantage of the method is that for its implementation of the method, it is enough to only modify the devices for shooting scenes — not a video camera or a set of video cameras, but a shooting device in the form of a screen. The television signal practically does not change, but an additional signal is introduced into it, which synchronizes the beginning of the cycle traversing the angles of the multi-angle system. When creating a television signal, some image processing is required, but when introducing special addressing of the pixels of the internal matrix, the order of their reading will provide the necessary preliminary signal processing. On the playback screen, it is possible to switch the image from surround to the currently existing flat image. Computer processing of the volumetric image is possible to create the effect of image output in front of the screen.
Предлагаемый способ может также использоваться для повышения разрешающей способности обычного телевизионного или компьютерного изображения за счет того, что количество элементов внешней матрицы превышает количество элементов внутренней матрицы.The proposed method can also be used to increase the resolution of a conventional television or computer image due to the fact that the number of elements of the external matrix exceeds the number of elements of the internal matrix.
Создание экрана, одновременно снимающего сюжет и воспроизводящего объемное изображение способно реализовать идеальную систему видеотелефона, видеоконференций и т.д.Creating a screen that simultaneously captures the plot and reproduces a three-dimensional image is able to realize the ideal system of a videophone, video conferencing, etc.
Способ обеспечивает максимальную реалистичность результирующих изображений. В основу способа положен принцип, согласно которому при отображении объемного объекта каждая точка экрана должна нести информацию обо всем объекте. Таким образом, эффект объема изображения создается за счет записи, обработки и передачи избыточной информации.The method provides maximum realism of the resulting images. The method is based on the principle that when displaying a three-dimensional object, each point on the screen should carry information about the entire object. Thus, the effect of image volume is created by recording, processing and transmitting redundant information.
Обычно избыток информации ограничивается созданием стереоизображения, рассматриваемого при помощи специальных растров или с использованием специальных очков.Typically, the excess of information is limited to creating a stereo image, viewed using special rasters or using special glasses.
В данном способе подобное ограничение снимается за счет распределения избыточной информации в пространстве и времени, и для просмотра восстановленного изображения не требуется никаких дополнительных приспособлений и устройств, а также нет необходимости в интерактивном процессе с определением положения зрителя.In this method, such a restriction is removed due to the distribution of redundant information in space and time, and to view the restored image does not require any additional devices and devices, and there is no need for an interactive process with determining the position of the viewer.
Для преобразования объемного изображения в цифровой вид применяется плоский «многоракурсный экран» в виде сдвоенной матрицы: внешняя матрица состоит из управляемых ячеек, которые попеременно пропускают свет от объекта съемки, а внутренняя матрица состоит из светочувствительных ячеек, непосредственно отображающих объект съемки. Размеры «многоракурсного экрана» соответствует размеру дисплея, на котором будет восстанавливаться изображение. Каждая ячейка внешней матрицы представляет собой управляемую на основе жидкокристаллической или иной структуры микроскопическую линзу или, в простейшем случае, просто отверстие малого диаметра, реализующее эффект камеры-обскуры. При этом управление ячейками внешней матрицы осуществляется поочередным «открытием» для прохождения света. Каждая ячейка (1) внутренней матрицы (2) представляет собой светочувствительный элемент, соответствующий одному пикселю изображения (см. Фиг.1). При этом малый относительный размер ячейки внешней матрицы обеспечивает резкость изображения.To convert a three-dimensional image into a digital form, a flat “multi-angle screen” in the form of a double matrix is used: the external matrix consists of controlled cells that alternately transmit light from the subject, and the internal matrix consists of photosensitive cells directly displaying the subject. The dimensions of the "multi-angle screen" correspond to the size of the display on which the image will be restored. Each cell of the external matrix is a microscopic lens controlled on the basis of a liquid crystal or other structure or, in the simplest case, simply a small diameter hole that realizes the effect of a pinhole camera. In this case, the cells of the external matrix are controlled by alternate “opening” for the passage of light. Each cell (1) of the internal matrix (2) is a photosensitive element corresponding to one pixel of the image (see Figure 1). Moreover, the small relative cell size of the external matrix provides image sharpness.
В сдвоенной матрице можно условно выделить элементы, которые в один момент времени формируют полное изображение объекта - это своего рода миниатюрные фотокамеры. Одной такой мини-камере соответствуют: участок внешней матрицы (3), центральная ячейка (4) которой «открыта» для пропускания света и кадр внутренней матрицы (5), состоящий из прямоугольного массива (6) пикселей, фиксирующих изображение (см. Фиг.2). Стрелками на чертеже показано направление обхода при преобразовании изображения в цифровой вид.In a dual matrix, it is possible to conditionally distinguish elements that at one moment in time form a complete image of an object - these are a kind of miniature cameras. One such mini-camera corresponds to: a portion of the external matrix (3), the central cell (4) of which is “open” for transmitting light, and a frame of the internal matrix (5), consisting of a rectangular array (6) of pixels capturing the image (see Fig. 2). The arrows in the drawing show the bypass direction when converting the image to digital.
Чтобы достичь высокой плотности ракурсов, они распределяются не только в пространстве, но и во времени, то есть два ракурса расположены рядом друг с другом - соседние «линзы», при этом считывание изображения этих соседних ракурсов осуществляется в последовательные моменты времени.In order to achieve a high density of angles, they are distributed not only in space, but also in time, that is, two angles are located next to each other - adjacent "lenses", while the image of these neighboring angles is read at successive points in time.
То есть при сканировании изображения мини-камера сдвигается всего на одну ячейку внешней матрицы (на одну своего рода «линзу») - на Фиг.1 стрелками схематично показано направление обхода. Все мини-камеры обходят прямоугольную область - «область обхода одной мини-камеры», соответствующую кадру изображения на внутренней матрице - эта область на Фиг.1 показана черными линиями на поверхности внешней матрицы.That is, when scanning the image, the mini-camera shifts by only one cell of the external matrix (by one kind of “lens”) - in Fig. 1, the arrows show the bypass direction schematically. All mini-cameras bypass the rectangular area - the "bypass area of one mini-camera" corresponding to the image frame on the internal matrix - this area in Fig. 1 is shown by black lines on the surface of the external matrix.
Размер мини-камеры (di) определяется размером кадра внутренней матрицы. От размера кадра зависит угол, под которым можно рассматривать результирующее изображение.The size of the mini-camera (d i ) is determined by the frame size of the internal matrix. The angle at which the resulting image can be viewed depends on the frame size.
Количество мини-камер зависит от размеров «многоракурсного экрана» (w - ширина и h - высота) и равно: 
Таким образом, в один момент экспозиции преобразуется в цифровой вид n элементарных кадров. В следующий момент времени все мини-камеры, равно как и все ракурсы «сдвигаются» на одну ячейку внешней матрицы. Цикл переключения мини-камер должен иметь достаточно малую продолжительность, чтобы обеспечивать немерцающее изображение объекта.Thus, at one moment of exposure, n elementary frames are converted into a digital form. At the next moment in time, all mini-cameras, as well as all camera angles “shift” by one cell of the external matrix. The switching cycle of mini-cameras should be short enough to provide a flicker-free image of the object.
Восстановление изображения из цифрового вида осуществляется с помощью такой же сдвоенной матрицы, внешняя матрица которой также состоит из управляемых ячеек, попеременно пропускающих свет от внутренней матрицы, на которой воспроизводится изображение. Переключение ячеек внешней матрицы осуществляется по тому же алгоритму, как и при съемке объекта, то есть передача информации об открытых ячейках внешней матрицы не происходит.The image is restored from a digital view using the same dual matrix, the external matrix of which also consists of controlled cells that alternately transmit light from the internal matrix on which the image is reproduced. Switching the cells of the external matrix is carried out according to the same algorithm as when shooting an object, that is, information about open cells of the external matrix is not transmitted.
Внутренняя матрица сканируется при получении изображения и при его воспроизведении также по стандартному алгоритму.The internal matrix is scanned upon receipt of the image and during its reproduction also according to the standard algorithm.
Отличительной особенностью процесса сканирования внутренней матрицы при воспроизведении изображения является то, что направление обхода каждого элементарного кадра обратно направлению его обхода при получении изображения, то есть каждый элементарный участок матрицы, соответствующий одному ракурсу съемки, отражается и по вертикальной оси, и по горизонтальной оси.A distinctive feature of the scanning process of the internal matrix during image reproduction is that the direction of the crawl of each elementary frame is back to the direction of its crawl when receiving the image, that is, each elementary section of the matrix corresponding to one shooting angle is reflected both on the vertical axis and the horizontal axis.
Из Фиг.3 видно, что глаза зрителя видят одну точку объекта съемки в разное время, поскольку элементы внешней матрицы и, следовательно, элементарные кадры переключаются последовательно с частотой, обеспечивающей непрерывное изображение.Figure 3 shows that the viewer's eyes see one point of the subject at different times, since the elements of the external matrix and, therefore, the elementary frames are switched sequentially with a frequency that provides a continuous image.
Элементарные кадры при воспроизведении сканируются в обратном направлении. Если один кадр, полученный в одном ракурсе, состоит из n·m пикселей, где n - число столбцов, a m - число строк кадра, то обход кадра по координатам съемки i и j при воспроизведении изображения должен выполняться по алгоритму: «номер строки кадра» = n-i, а номер «столбца кадра» = m-j. На Фиг.4 демонстрируется направление сканирования одного кадра внутренней матрицы при восстановлении изображения. На Фиг.4 стрелками показано направление обхода пикселей внутренней матрицы, которое является обратным по сравнению с направлением обхода на Фиг.2. Предложенный способ также делает возможным цифровую обработку изображений с целью получения различных объемных эффектов.The elementary frames during playback are scanned in the opposite direction. If one frame obtained from one angle consists of n · m pixels, where n is the number of columns, am is the number of lines in the frame, then the frame will be traversed according to the shooting coordinates i and j during image playback according to the algorithm: “frame line number” = ni, and the number of the "column of the frame" = mj. Figure 4 shows the scanning direction of one frame of the internal matrix during image restoration. In Fig. 4, the arrows show the direction of the pixel bypass of the inner matrix, which is the opposite of the bypass direction of Figure 2. The proposed method also makes it possible to digitally process images to obtain various volumetric effects.
На Фиг.5 изображена схема, поясняющая процесс съемки объектов и воспроизведения объемного изображения.Fig. 5 is a diagram for explaining a process of capturing objects and reproducing a three-dimensional image.
Здесь слева изображен «многоракурсный» экран, преобразующий изображение объемных объектов в цифровую последовательность. Справа - экран, воспроизводящий снятое объемное изображение. Очевидно отличие снимающей аппаратуры от существующих телекамер.Here on the left is a "multi-angle" screen that converts the image of three-dimensional objects into a digital sequence. On the right is a screen that reproduces the captured volumetric image. Obviously, the difference between the shooting equipment and the existing cameras.
Преобразование объемного изображения в цифровой вид и восстановление изображения из цифровой последовательности, переданной по каналам связи, либо считанной с записывающего устройства, может быть реализовано на основе следующих действий. Основой для вычисления координат управляемых элементов внешней матрицы и координат считывания изображения внутренней матрицы является размер одного ракурса (d), то есть размер изображения, полученный от одного «открытого» элемента внешней матрицы. От базового размера зависит четкость объемного изображения, максимальный угол, под которым можно рассматривать результирующее изображение, а также технические характеристики каналов связи и оборудования, с помощью которого преобразуется изображение. Для удобства назовем прямоугольную область внешней матрицы, которая соответствует по размеру одному ракурсу элементарным кадром, или просто кадром.The conversion of a three-dimensional image into a digital form and restoration of an image from a digital sequence transmitted over communication channels or read from a recording device can be implemented based on the following actions. The basis for calculating the coordinates of the controlled elements of the external matrix and the read coordinates of the image of the internal matrix is the size of one view (d), that is, the size of the image obtained from one "open" element of the external matrix. The clarity of the volume image, the maximum angle at which the resulting image can be viewed, as well as the technical characteristics of communication channels and equipment with which the image is converted, depends on the basic size. For convenience, we call the rectangular region of the external matrix, which corresponds to the size of one view with an elementary frame, or just a frame.
Размер одного ракурса проще всего выразить в пикселях внутренней матрицы. При этом, если разрешающая способность внутренней матрицы отличается от разрешающей способности внешней матрицы, то вычисление координат управляемого элемента внешней матрицы будет осуществляться с применением коэффициента, численно равного отношению количества элементов, находящихся на одной стороне элементарного кадра, s к базовому размеру d (в пикселях внутренней матрицы). При этом геометрический размер стороны кадра соответствует геометрическому размеру одного ракурса. Если же и внутренняя матрица, и элементарный кадр внешней матрицы имеют одинаковое количество пикселей на единицу площади, то есть s=d, то одному пикселю внутренней матрицы ставится в соответствие один элемент внешней матрицы.The size of one view is most easily expressed in pixels of the internal matrix. Moreover, if the resolution of the internal matrix is different from the resolution of the external matrix, then the coordinates of the controlled element of the external matrix will be calculated using a coefficient numerically equal to the ratio of the number of elements located on one side of the elementary frame, s to the base size d (in pixels of the inner matrices). In this case, the geometric size of the side of the frame corresponds to the geometric size of one angle. If both the internal matrix and the elementary frame of the external matrix have the same number of pixels per unit area, that is, s = d, then one element of the external matrix is associated with one pixel of the internal matrix.
Обозначим координаты активного элемента внешней матрицы в пределах элементарного кадра, как x - номер столбца и y - номер строки. Очевидно, что обе координаты, x и y, изменяются от 1 (верхний левый элемент кадра) до величины s (количество элементов внешней матрицы на сторону кадра). Количество элементарных кадров квадратной формы на внешней матрице, шириной w и высотой h, выраженных в пикселях, равно q=w·h/s2.We denote the coordinates of the active element of the external matrix within the elementary frame, as x is the column number and y is the row number. Obviously, both coordinates, x and y, vary from 1 (upper left frame element) to s (the number of elements of the external matrix on the side of the frame). The number of elementary square-shaped frames on the external matrix, width w and height h, expressed in pixels, is q = w · h / s 2 .
Обозначим также координаты каждого пикселя внутренней матрицы в пределах всего экрана, как i - номер столбца и j - номер строки. Они изменяются от 1 до соответственно w+d и h+d.We also denote the coordinates of each pixel of the internal matrix within the entire screen, as i is the column number and j is the row number. They vary from 1 to w + d and h + d, respectively.
На Фиг.6 показана схема, поясняющая строение сдвоенной матрицы и процессы преобразования изображения в цифровой вид и наоборот.6 is a diagram for explaining the structure of a dual matrix and processes for converting an image into a digital form and vice versa.
Здесь d - базовый размер одного ракурса, на основе которого формируется алгоритм считывания цифровой информации, a s - количество элементов внешней матрицы, находящихся на стороне квадрата, площадь которого геометрически равна размеру одного ракурса d.Here d is the basic size of one angle, on the basis of which an algorithm for reading digital information is formed, and s is the number of elements of the external matrix located on the side of the square, the area of which is geometrically equal to the size of one angle d.
На Фиг.6 на левом верхнем элементарном кадре внешней матрицы (3) стрелками продемонстрировано направление обхода кадра, при котором управляемые ячейки последовательно открываются для пропускания света. По такому же пути осуществляется обход ячеек каждого элементарного кадра (6) внутренней матрицы (2) экрана. Все управляемые элементы всех элементарных кадров (6) связаны параллельно, что упрощает процедуру сканирования всего экрана. При ширине внешней матрицы (3) в w пикселей, одновременно открыты w/s элементов по горизонтали, то есть открыт каждый элемент, отстоящий от предыдущего открытого элемента (5) на s элементов.In Fig. 6, in the upper left elementary frame of the external matrix (3), the arrows show the direction of the frame bypass, in which the controlled cells are sequentially opened to transmit light. The same path is used to bypass the cells of each elementary frame (6) of the internal matrix (2) of the screen. All controllable elements of all elementary frames (6) are connected in parallel, which simplifies the procedure for scanning the entire screen. With the width of the external matrix (3) in w pixels, w / s elements are horizontally open at the same time, that is, each element that is s elements apart from the previous open element (5) is open.
Для наглядности на Фиг.7 показаны четыре последовательных состояния экрана (из s2 подобных состояний), в которых зафиксированы сдвинутые ракурсы на внутренней матрице (2). Каждому из изображенных состояний соответствует один кадр телевизионного изображения, причем для обеспечения непрерывности изображения необходимо обеспечить частоту таких кадров не менее 25 кадров в секунду. Внутренняя матрица может сканироваться стандартным образом, формируя видеосигнал, который записывается или передается для воспроизведения. Для обеспечения синхронизации видеосигнал может содержать управляющие импульсы, необходимые для управления внешней матрицей.For clarity, Fig. 7 shows four successive states of the screen (out of s 2 similar states) in which shifted angles are recorded on the internal matrix (2). Each of the depicted states corresponds to one frame of a television image, and in order to ensure image continuity, it is necessary to ensure the frequency of such frames at least 25 frames per second. The internal matrix can be scanned in a standard way, forming a video signal that is recorded or transmitted for playback. To ensure synchronization, the video signal may contain control pulses necessary to control the external matrix.
Аналогичный алгоритм реализуется на внешней матрице (3) экрана, на котором воспроизводится снятое объемное изображение. Однако видеосигнал, полученный после сканирования внутренней матрицы, должен быть модифицирован таким образом, чтобы получить зеркальное отображение одного ракурса. В этих целях можно зеркальное отображение каждого ракурса получить при снятии изображения с внутренней матрицы, либо при воспроизведении изображения. Однако представляется более удобным такое преобразование выполнить в момент съемки, таким образом, видеосигнал будет уже полностью готов для воспроизведения итогового отображения.A similar algorithm is implemented on the external matrix (3) of the screen on which the captured volumetric image is reproduced. However, the video signal obtained after scanning the internal matrix must be modified in such a way as to obtain a mirror image of one angle. For these purposes, you can get a mirror image of each angle when taking an image from the internal matrix, or when playing an image. However, it seems more convenient to perform such a conversion at the time of shooting, thus, the video signal will be completely ready for playback of the final display.
Итак, при преобразовании изображения внешняя матрица сканируется показанным выше способом, а видеосигнал считывается с внутренней матрицы следующим образом:So, when converting the image, the external matrix is scanned as shown above, and the video signal is read from the internal matrix as follows:
- счетчик n изменяется в пределах одного кадра от 1 до w·h;- the counter n varies within one frame from 1 to w · h;
- начальная точка, откуда начинается сканирование i0=s, j0=s, при формировании последующих многоракурсных изображений начальные координаты вычисляются, как i0=s+x и j0=s+y (здесь x и y - координаты текущего активного элемента внешней матрицы, изменяются от 1 до s);- the starting point from where the scan i 0 = s, j 0 = s starts, when forming subsequent multi-angle images, the initial coordinates are calculated as i 0 = s + x and j 0 = s + y (here x and y are the coordinates of the current active element external matrix, vary from 1 to s);
- при увеличении счетчика до s2 координаты i и j уменьшаются от i0 и j0 до 1;- when the counter is increased to s 2, the coordinates i and j decrease from i 0 and j 0 to 1;
- после этого текущая координата равна, соответственно, i=k·s+x и j=k·s+y, где k соответствует номеру очередного ракурса и изменяется от 1 до q (см. выше).- after this, the current coordinate is, respectively, i = k · s + x and j = k · s + y, where k corresponds to the number of the next angle and varies from 1 to q (see above).
Схематично данный алгоритм демонстрируется на Фиг.8.Schematically, this algorithm is shown in Fig. 8.
При воспроизведении изображения сканирование внутренней матрицы осуществляется стандартным образом, то есть текущая координата пикселя i и j, которому передается информация, изменяется последовательно от x и y до w и h соответственно.When reproducing the image, scanning of the internal matrix is carried out in a standard way, that is, the current coordinate of the pixel i and j to which the information is transmitted, changes sequentially from x and y to w and h, respectively.
В аппаратной структуре, следовательно, должен присутствовать вычислительный блок, которые выполняет расчет текущих координат активных элементов обеих матриц.In the hardware structure, therefore, there must be a computing unit that calculates the current coordinates of the active elements of both matrices.
Claims (3)
где di - размер камеры, w - ширина экрана и h - высота экрана; в один момент экспозиции преобразуют в цифровой вид n элементарных кадров, а в последующий момент времени все камеры и все ракурсы сдвигают на одну ячейку внешней матрицы; при восстановлении изображения направление обхода каждого элементарного кадра делают обратным направлению его обхода при получении изображения.1. The method of obtaining and restoring a three-dimensional image is characterized by using a flat screen, which is made in the form of a dual matrix, the external matrix of which is made of controlled cells that alternately transmit light from the subject, and the inner matrix is made of photosensitive cells directly displaying the subject, each cell of the external matrix is a microscopic lens or a small diameter hole controlled on the basis of a liquid crystal or other structure a camera that implements the effect of a pinhole camera, and the cells of the external matrix are controlled by opening them in turn to pass light, the shooting camera is formed as a portion of the external matrix, the central cell of which is open to transmit light and the frame of the internal matrix, consisting of a rectangular array of pixels capturing the image ; when scanning the image, the shooting camera is sequentially shifted by one cell of the external matrix in a predetermined bypass direction, and all the formed shooting cameras bypass the rectangular area - the camera angle corresponding to the image frame on the internal matrix; the number of cameras n is selected according to the formula:
where d i is the size of the camera, w is the width of the screen and h is the height of the screen; at one moment of the exposure, n elementary frames are converted to digital form, and at a subsequent moment in time, all cameras and all angles are shifted by one cell of the external matrix; when restoring an image, the bypass direction of each elementary frame is made the opposite of its bypass direction when receiving the image.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| RU2008128515/28A RU2379726C1 (en) | 2008-07-15 | 2008-07-15 | Method to produce and recover 3-d image |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| RU2008128515/28A RU2379726C1 (en) | 2008-07-15 | 2008-07-15 | Method to produce and recover 3-d image |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| RU2379726C1 true RU2379726C1 (en) | 2010-01-20 |
Family
ID=42120955
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| RU2008128515/28A RU2379726C1 (en) | 2008-07-15 | 2008-07-15 | Method to produce and recover 3-d image |
Country Status (1)
| Country | Link |
|---|---|
| RU (1) | RU2379726C1 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| RU2466697C2 (en) * | 2010-05-31 | 2012-11-20 | Анатолий Николаевич Лялин | Optical stereotraining device for preventing and treating acquired myopia |
-
2008
- 2008-07-15 RU RU2008128515/28A patent/RU2379726C1/en not_active IP Right Cessation
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| RU2466697C2 (en) * | 2010-05-31 | 2012-11-20 | Анатолий Николаевич Лялин | Optical stereotraining device for preventing and treating acquired myopia |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Okano et al. | Real-time integral imaging based on extremely high resolution video system | |
| US6750904B1 (en) | Camera system for three dimensional images and video | |
| Adelson et al. | Single lens stereo with a plenoptic camera | |
| EP1048167B1 (en) | System and method for generating and displaying panoramic images and movies | |
| US6141034A (en) | Immersive imaging method and apparatus | |
| US5973700A (en) | Method and apparatus for optimizing the resolution of images which have an apparent depth | |
| WO2021093584A1 (en) | Free viewpoint video generation and interaction method based on deep convolutional neural network | |
| JPH05210181A (en) | Method and apparatus for integral photographic recording and reproduction by means of electronic interpolation | |
| CN1934874A (en) | Three dimensional acquisition and visualization system for personal electronic devices | |
| JPH10512060A (en) | 3D imaging system | |
| JPH0627923B2 (en) | Device for obtaining four-dimensional images | |
| EA003495B1 (en) | Apparatus and method for photographing three-dimensional image, apparatus and method for displaying three-dimensional image, and apparatus and method for converting three-dimensional image display position | |
| WO2011099896A1 (en) | Method for representing an initial three-dimensional scene on the basis of results of an image recording in a two-dimensional projection (variants) | |
| JPH08256359A (en) | Stereoscopic camera, stereoscopic display device and stereoscopic video system | |
| RU2397524C2 (en) | Camera for recording three-dimensional images | |
| US3046330A (en) | Projection of stereoscopic pictures | |
| JP3676916B2 (en) | Stereoscopic imaging device and stereoscopic display device | |
| RU2379726C1 (en) | Method to produce and recover 3-d image | |
| Mishina | 3D television system based on integral photography | |
| JPH11187425A (en) | Stereoscopic video system and method | |
| RU78958U1 (en) | VOLUME IMAGE RECEIVING AND RECOVERY SYSTEM | |
| CN112351358B (en) | 360-degree free three-dimensional type three-dimensional display sound box based on face detection | |
| KR101608753B1 (en) | Method and apparatus for generating three dimensional contents using focal plane sweeping | |
| CN111818324A (en) | Device and method for generating three-dimensional large-visual-angle light field | |
| WO1994006049A1 (en) | Three-dimensional image display |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| MM4A | The patent is invalid due to non-payment of fees |
Effective date: 20110716 |