RU2519518C2 - Устройство генерирования стереоскопического изображения, способ генерирования стереоскопического изображения и программа - Google Patents

Устройство генерирования стереоскопического изображения, способ генерирования стереоскопического изображения и программа Download PDF

Info

Publication number
RU2519518C2
RU2519518C2 RU2010103049/08A RU2010103049A RU2519518C2 RU 2519518 C2 RU2519518 C2 RU 2519518C2 RU 2010103049/08 A RU2010103049/08 A RU 2010103049/08A RU 2010103049 A RU2010103049 A RU 2010103049A RU 2519518 C2 RU2519518 C2 RU 2519518C2
Authority
RU
Russia
Prior art keywords
image
module
display surface
projection
horopter
Prior art date
Application number
RU2010103049/08A
Other languages
English (en)
Other versions
RU2010103049A (ru
Inventor
Казухико УЕДА
Масами ОГАТА
Ясунари ХАТАСАВА
Синитиро ГОМИ
Юсуке Накамура
Original Assignee
Сони Корпорейшн
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Сони Корпорейшн filed Critical Сони Корпорейшн
Publication of RU2010103049A publication Critical patent/RU2010103049A/ru
Application granted granted Critical
Publication of RU2519518C2 publication Critical patent/RU2519518C2/ru

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/10Geometric effects
    • G06T15/20Perspective computation
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G02B30/20Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes
    • G02B30/34Stereoscopes providing a stereoscopic pair of separated images corresponding to parallactically displaced views of the same object, e.g. 3D slide viewers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/302Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/363Image reproducers using image projection screens
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/366Image reproducers using viewer tracking
    • H04N13/373Image reproducers using viewer tracking for tracking forward-backward translational head movements, i.e. longitudinal movements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/388Volumetric displays, i.e. systems where the image is built up from picture elements distributed through a volume

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • Optics & Photonics (AREA)
  • Processing Or Creating Images (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Image Processing (AREA)

Abstract

Изобретение относится к устройству генерирования стереоскопического изображения. Технический результат заключается в устранении влияния физиологических стереоскопических элементов с помощью обработки изображения, использующей преобразование проецирования. Модуль 311 проецирования изображения на поверхность гороптера предназначен для проецирования нестереоскопического изображения, передаваемого через линию 129 сигнала, на цилиндрическую поверхность (гороптер), включающую в себя окружность гороптера. Размер окружности гороптера устанавливают, например, при помощи радиуса в качестве информации об окружности гороптера. Кроме того, соотношение двух глаз задают расстоянием между глазами. Модуль 316 проецирования на поверхность дисплея для правого глаза предназначен для проецирования изображения, спроецированного на гороптер, на поверхность дисплея для правого глаза. Модуль 317 проецирования на поверхность дисплея для левого глаза предназначен для проецирования изображения, спроецированного на гороптер, на поверхность дисплея для левого глаза. Поэтому идентичные друг другу изображения на сетчатке глаза подают в два глаза для устранения влияния физиологических стереоскопических элементов и получают стереоскопическую глубину. 2 н. и 4 з.п. ф-лы, 33 ил.

Description

Область техники, к которой относится изобретение
Настоящее изобретение относится к устройству генерирования стереоскопического изображения, более конкретно, к устройству генерирования стереоскопического изображения, которое генерирует стереоскопическое изображение из нестереоскопического изображения, способу его обработки, и программе, которая обеспечивает выполнение компьютером этого способа.
Уровень техники
В последние годы, размеры и угол обзора устройств дисплея увеличились, и стало доступным отображение более реалистических изображений, чем обычно. В обычном устройстве дисплея, однако, изображение вынужденно воспринимается как размещенное на поверхности дисплея устройства дисплея, и поэтому существует риск возникновения трудности при генерировании стереоскопического ощущения с помощью генерируемых стереоскопических элементов восприятия, таких как тени и композиция. Считается, что это связано с физиологическими элементами стереоскопического восприятия, такие как изменение угла схождения, возникающее когда поверхность дисплея устройства дисплея рассматривают двумя глазами, и возникновение искажений, связанное с бинокулярным несоответствием.
Известное оптическое устройство, предназначенное для удаления таких влияний, вызываемых физиологическими стереоскопическими элементами, представляет собой стереоскоп, называемый синоптером. Синоптер сконструирован так, что с помощью полуотражающего зеркала он по отдельности подает свет, принятый в одном положении, к двум глазам. Известно, что такой синоптер позволяет сделать изображение на сетчатке глаза для двух глаз идентичными друг другу так, чтобы можно было добавить к нестереоскопическому изображению стереоскопическую глубину (см., например, непатентный документ 1).
Соответствующий технический документ
Непатентный документ
Непатентный документ 1: Jan J Koenderink et al., "On so-called paradoxical monocular stereoscopy", Perception, Pion Publication (UK), 1994, volume 23, pp.583-594
Сущность изобретения
Техническая задача
Таким образом, оптическое устройство, такое как синоптер может устранять влияния, связанные с физиологическими стереоскопическими элементами, что обеспечивают возможность формирования идентичных друг другу изображений на сетчатке глаза для двух глаз, с тем, чтобы получить стереоскопическую глубину из нестереоскопического изображения. Такое оптическое устройство позволяет реализовать стереоскопическое зрение, используя простой механизм, но в то же время устройство дисплея не обладает гибкостью, так что трудно обеспечить дополнительные визуальные эффекты.
В соответствии с этим, цель настоящего изобретения состоит в том, чтобы устранить влияние физиологических стереоскопических элементов путем обработки изображения.
Техническое решение
Настоящее изобретение было выполнено для решения описанных выше задач, и первый его аспект направлен на устройство генерирования стереоскопического изображения, включающее в себя модуль проецирования на цилиндрическую поверхность, который проецирует двумерное входное изображение на цилиндрическую плоскость, включающую в себя воображаемую окружность, расположенную по касательной к двум глазам, для генерирования цилиндрического изображения, и модуль проецирования на поверхность дисплея, который проецирует цилиндрическое изображение на поверхность дисплея в отношении каждого из двух глаз для генерирования отображаемых изображений, подлежащих поступлению соответственно в два глаза, способ генерирования стереоскопического изображения для этого устройства или программу. Таким образом, может быть получен эффект соответствующей передачи в два глаза идентичных друг другу изображений на сетчатке глаза для устранения влияния, вызываемого физиологическими стереоскопическими элементами.
Кроме того, в этом первом аспекте радиус воображаемой окружности может быть установлен в соответствии с предполагаемым расстоянием наблюдения или размером дисплея. Таким образом, может быть получен эффект, обеспечивающий возможность отображения изображения, соответствующего расстоянию наблюдения или размеру дисплея. В этом случае, в таком первом аспекте, устройство генерирования стереоскопического изображения может дополнительно включать в себя модуль измерения расстояния наблюдения, который измеряет расстояние между поверхностью дисплея и положением наблюдения, и радиус воображаемой окружности может быть установлен в соответствии с расстоянием наблюдения, измеряемым модулем измерения расстояния наблюдения. Таким образом, может быть получен эффект, обеспечивающий возможность отображения изображения, соответствующего измеренному расстоянию наблюдения.
Кроме того, в этом первом аспекте радиус воображаемой окружности может быть установлен таким образом, чтобы степень искажений отображаемых изображениях была меньше заданного порогового значения. Таким образом, достигается эффект, обеспечивающий отображение изображения в пределах допустимого диапазона искажений.
Кроме того, в этом первом аспекте устройство генерирования стереоскопического изображения может дополнительно включать в себя модуль генерирования информации о степени глубины, который генерирует информацию о степени глубины, используя двумерное входное изображение, и модуль объединения информации о степени глубины, который объединяет информацию о степени глубины с цилиндрическим изображением, и модуль проецирования на поверхность дисплея может проецировать цилиндрическое изображение с объединенной с ним информацией о степени глубины на поверхность дисплея для генерирования отображаемых изображений. Таким образом, может быть достигнут эффект, обеспечивающий возможность отображения изображения с дополнительно улучшенным стереоскопическим ощущением.
Кроме того, второй аспект настоящего изобретения направлен на устройство генерирования стереоскопического изображения, включающее в себя модуль проецирования на плоскость излучения, который проецирует двумерное входное изображение на двумерные плоскости, которые, соответственно, расположены перпендикулярно линиям зрения двух глаз, для генерирования изображений излучения, соответствующих двум глазам, и модуль проецирования на поверхность дисплея, который проецирует соответствующие изображения излучения на поверхность дисплея в отношении двух глаз, для генерирования отображаемых изображений, подлежащих поступлению в два глаза, способ генерирования стереоскопического изображения для этого устройства или программу. Таким образом, может быть обеспечен эффект соответствующей подачи идентичных друг другу изображений к сетчатке глаза в два глаза для устранения влияния, вызываемого физиологическими стереоскопическими элементами.
Кроме того, в этом втором аспекте положения изображений излучения могут быть установлены в соответствии с предполагаемым расстоянием наблюдения. Таким образом, может быть получен эффект, обеспечивающий возможность отображения изображения для расстояния наблюдения. В этом случае, в таком втором аспекте, устройство генерирования стереоскопического изображения может дополнительно включать в себя модуль измерения расстояния наблюдения, который измеряет расстояние между поверхностью дисплея и положением наблюдения, и положения изображений излучения могут быть установлены в соответствии с расстоянием наблюдения, измеренным модулем измерения расстояния наблюдения. Таким образом, может быть получен эффект, обеспечивающий возможность отображения изображения для измеренного расстояния наблюдения.
Кроме того, третий аспект настоящего изобретения направлен на устройство генерирования стереоскопического изображения, которое преобразует двумерное входное изображение таким образом, что видеоизображения, соответственно проецируемые в правый глаз и в левый глаз с поверхности дисплея, становятся идентичными друг другу для соответствующего генерирования изображения правого глаза и изображения левого глаза, способ генерирования стереоскопического изображения для этого устройства или программу. Таким образом, может быть обеспечен эффект подачи в два глаза идентичных друг другу изображений на сетчатке глаза для устранения влияний, вызываемых физиологическими стереоскопическими элементами.
Технический результат
В соответствии с настоящим изобретением может быть достигнут результат, состоящий в том, что можно устранить влияние физиологических стереоскопических элементов в результате обработки изображения.
Краткое описание чертежей
На фиг.1 показана схема, иллюстрирующая пример конфигурации устройства генерирования стереоскопического изображения в варианте выполнения настоящего изобретения.
На фиг.2 показана схема, иллюстрирующая первый пример модуля 130 трехмерного преобразования в варианте выполнения настоящего изобретения.
На фиг.3 показана схема, иллюстрирующая одну форму проекции на поверхность гороптера в первом примере трехмерного модуля 130 преобразования в варианте выполнения настоящего изобретения.
На фиг.4 показана схема, иллюстрирующая конкретный пример проекции на гороптер в первом примере модуля 130 трехмерного преобразования в варианте выполнения настоящего изобретения.
На фиг.5 показана схема, иллюстрирующая один вид проекции на поверхность дисплея в первом примере трехмерного модуля 130 преобразования в варианте выполнения настоящего изобретения.
На фиг.6 показана схема, иллюстрирующая частный пример проекции на поверхность дисплея в первом примере модуля 130 трехмерного преобразования в варианте выполнения настоящего изобретения.
На фиг.7 показана схема, иллюстрирующая примерную процедуру обработки, выполняемую в первом примере модуля 130 трехмерного преобразования в варианте выполнения настоящего изобретения.
На фиг.8 показана схема, иллюстрирующая второй пример модуля 130 трехмерного преобразования в варианте выполнения настоящего изобретения.
На фиг.9 показана схема, иллюстрирующая соотношение между размером окружности гороптера и положениями точек схождения.
На фиг.10 показана схема, иллюстрирующая одну форму проекции на гороптер во втором примере модуля 130 трехмерного преобразования в варианте выполнения настоящего изобретения.
На фиг.11 показана схема, иллюстрирующая конкретный пример проекции на гороптер во втором примере модуля 130 трехмерного преобразования в варианте выполнения настоящего изобретения.
На фиг.12 показана схема, иллюстрирующая третий пример модуля 130 трехмерного преобразования в варианте выполнения настоящего изобретения.
На фиг.13 показана схема, иллюстрирующая пример соотношения между окружностью гороптера и степенью искажения изображения.
На фиг.14 показана схема, иллюстрирующая пример взаимосвязи между углом 9 и степенью искажения Q изображения.
На фиг.15 показана схема, иллюстрирующая пример взаимосвязи между окружностью гороптера и вписанным углом.
На фиг.16 показана схема, иллюстрирующая четвертый пример модуля 130 трехмерного преобразования в варианте выполнения настоящего изобретения.
На фиг.17 показана схема, иллюстрирующая пример соотношения между окружностью гороптера и поверхностью дисплея.
На фиг.18 показана схема, иллюстрирующая пятый пример модуля 130 трехмерного преобразования в варианте выполнения настоящего изобретения.
На фиг.19 показана схема, иллюстрирующая один вид проекции на плоскости наклона-сдвига в пятом примере модуля 130 трехмерного преобразования в варианте выполнения настоящего изобретения.
На фиг.20 показана схема, иллюстрирующая частный пример проекции на плоскости наклона-сдвига в пятом примере модуля 130 трехмерного преобразования в варианте выполнения настоящего изобретения.
На фиг.21 показана схема, иллюстрирующая частный пример проекции на поверхность дисплея в пятом примере модуля 130 трехмерного преобразования в варианте выполнения настоящего изобретения.
На фиг.22 показана схема, иллюстрирующая примерную процедуру обработки, выполняемую пятым примером модуля 130 трехмерного преобразования в варианте выполнения настоящего изобретения.
На фиг.23 показана схема, иллюстрирующая шестой пример модуля 130 трехмерного преобразования в варианте выполнения настоящего изобретения.
На фиг.24 показана схема, иллюстрирующая общий вид обработки, выполняемой шестым примером модуля 130 трехмерного преобразования в варианте выполнения настоящего изобретения.
На фиг.25 показана схема, иллюстрирующая пример карты глубины поверхности гороптера в соответствии с шестым примером модуля 130 трехмерного преобразования в варианте выполнения настоящего изобретения.
На фиг.26 показана схема, иллюстрирующая пример информации о степени глубины, оценка которой была получена шестым примером модуля 130 трехмерного преобразования в варианте выполнения настоящего изобретения.
На фиг.27 показана схема, иллюстрирующая примерную конфигурацию модуля 363 объединения карты глубины в шестом примере модуля 130 трехмерного преобразования в варианте выполнения настоящего изобретения.
На фиг.28 показана схема, иллюстрирующая пример стереоскопического изображения, генерируемого шестым примером модуля 130 трехмерного преобразования в варианте выполнения настоящего изобретения.
На фиг.29 показана схема, иллюстрирующая другой пример стереоскопического изображения, генерируемого шестым примером модуля 130 трехмерного преобразования в варианте выполнения настоящего изобретения.
Подробное описание изобретения
Далее, подробно поясняется вариант выполнения настоящего изобретения со ссылкой на чертежи.
На фиг.1 показана схема, иллюстрирующая примерную конфигурацию устройства генерирования стереоскопического изображения в варианте выполнения настоящего изобретения. Такое устройство генерирования стереоскопического изображения включает в себя модуль 110 ввода сигнала изображения, модуль 120 обработки сигнала, модуль 130 трехмерного преобразования, модуль 140 установки параметра, модуль 150 измерения расстояния наблюдения, модуль 160 последующей обработки, модуль 170 преобразования формата, модуль 180 выбора источника и модуль 190 дисплея.
Модуль 110 ввода сигнала изображения выполнен с возможностью приема входного сигнала нестереоскопического изображения. Вводимое нестереоскопическое изображение не ограничено неподвижным изображением и может представлять собой движущееся изображение. Предполагается, что устройство - источник нестереоскопического изображения - представляет собой приемник телевизионного вещания, устройство воспроизведения (проигрыватель) видеоизображения, устройство формирования изображений (видеокамера) или подобное.
Модуль 120 обработки сигнала предназначен для выполнения заданной обработки сигналов для входного нестереоскопического изображения. Примеры обработки сигналов, как предполагается, включают в себя регулирование баланса белого, обработку снижения уровня шума, обработку коррекции уровня, и обработку коррекции гамма-характеристики.
Модуль 130 трехмерного преобразования представляет собой элемент, реализующий признаки настоящего изобретения, и предназначен для преобразования двумерного нестереоскопического изображения в трехмерное изображение. При такой обработке трехмерного преобразования, выполняемой в модуле 130 трехмерного преобразования, генерируется трехмерное изображение, которое основано на нестереоскопическом изображении. В качестве такого трехмерного изображения, например, получают изображение для левого глаза и изображение для правого глаза.
Модуль 140 установки параметра разработан для установки параметра, необходимого для трехмерной обработки преобразования, выполняемой в модуле 130 трехмерного преобразования. Такой параметр, как предполагается, представляет собой, например, радиус для задания окружности гороптера, описанной ниже, или тому подобное.
Модуль 150 измерения расстояния наблюдения предназначен для измерения расстояния между модулем 190 дисплея и положением наблюдателя. На основе расстояния наблюдения, измеренного таким модулем 150 измерения расстояния наблюдения, может быть выполнена обработка трехмерного преобразования в модуле 130 трехмерного преобразования. При этом можно использовать предварительно установленное расстояние наблюдения без фактического измерения расстояния наблюдения.
Модуль 160 последующей обработки предназначен для выполнения последующей обработки для недопущения возникновения ступенчатости в трехмерном изображении, полученном в результате обработки трехмерного преобразования, выполненной в модуле 130 трехмерного преобразования. Например, если предполагается, что изображение для левого глаза и изображение для правого глаза поочередно отображают, строка за строкой, в модуле 190 дисплея, существует риск возникновения зубчатых (ступенчатых кромок) отображения, из-за ступенчатости. Для предотвращения этого явления модуль 160 последующей обработки применяет фильтр в вертикальном направлении для сглаживания изменений изображения.
Модуль 170 преобразования формата предназначен для преобразования трехмерного изображения в формат, поддерживаемый модулем 190 дисплея. Модуль 170 преобразования формата может выполнять преобразование, так чтобы, например, изображение для левого глаза и изображение для правого глаза могли располагаться поочередно, строка за строкой, в соответствии с форматом, поддерживаемым модулем 190 дисплея.
Модуль 180 выбора источника предназначен для выбора в качестве источника изображения, предназначенного для отображения. То есть модуль 180 выбора источника выбирает выход модуля 120 обработки сигнала в случае, когда нестереоскопическое изображение требуется отобразить без изменений, и выбирает выход модуля 170 преобразования формата в случае, когда требуется отобразить трехмерное изображение для стереоскопического зрения.
Модуль 190 дисплея представляет собой дисплей, предназначенный для отображения изображения. Хотя, здесь предполагается, в качестве исходного условия, что модуль 190 дисплея имеет функцию отображения трехмерного изображения для стереоскопического зрения, средство для реализации такой функции не ограничено чем-либо конкретным. Например, как описано в публикации №2002-365593 нерассмотренной заявки на японский патент, можно устанавливать через строку пластины толщиной, равной длине волны, для преобразования линейно поляризованных лучей света от строк с четными номерами и строк с нечетным номерами экрана дисплея в лучи света, перпендикулярные друг другу, чтобы обеспечить возможность попадания лучей света от разных изображений в два глаза.
На фиг.2 показана схема, иллюстрирующая первый пример модуля 130 трехмерного преобразования в варианте выполнения настоящего изобретения. Этот первый пример модуля 130 трехмерного преобразования включает в себя модуль 311 проекции изображения на гороптер, модуль 316 проекции на поверхность дисплея для правого глаза, и модуль 317 проекции на поверхность дисплея для левого глаза.
Модуль 311 проекции изображения на гороптер предназначен для проецирования нестереоскопического изображения, передаваемого из модуля 120 обработки сигнала, через линию 129 сигнала, на цилиндрическую поверхность, включающую в себя окружность гороптера (гороптер). Термином «окружность гороптера» называется окружность, которая расположена по касательной к двум глазам, и при этом известно, что бинокулярные изображения на сетчатке глаз, относительно точки на этой окружности гороптера, идентичны друг другу. Такая цилиндрическая поверхность называется гороптером, и изображение, проецируемое на гороптер, называется изображением гороптера. Кроме того, пересечение визирных осей двух глаз называется точкой схождения, и угол, образуемый ими, называется углом схождения или вписанным углом. Углы схождения на окружности гороптера равны между собой. В этом первом примере размер окружности гороптера задается информацией об окружности гороптера. Кроме того, относительное взаимное положение для двух глаз задается расстоянием "2а" между глазами. Информацию об окружности гороптера и расстоянии "2а" между глазами передают из модуля 140 установки параметра через линию 149 сигнала. Следует отметить, что, хотя в дальнейшем размер окружности гороптера задается при помощи радиуса "r" в качестве информации об окружности гороптера, размер окружности гороптера может быть задан при помощи расстояния от центра двух глаз до вершины окружности гороптера, вписанного угла, или тому подобного. Следует отметить, что модуль 311 проекции изображения на гороптер является примером модуля проекции на цилиндрическую поверхность, описанного в формуле изобретения.
Модуль 316 проецирования на поверхность дисплея для правого глаза предназначен для проецирования изображения гороптера на поверхность дисплея для правого глаза. Модуль 317 проецирования на поверхность дисплея для левого глаза предназначен для проецирования изображения гороптера на поверхность дисплея для левого глаза. Модуль 316 проецирования на поверхность дисплея для правого глаза и модуль 317 проецирования на поверхность дисплея для левого глаза выполняют проецирование на поверхности дисплея для правого и левого глаз на основе расстояния "2а" между глазами, радиуса "r" окружности гороптера, и предполагаемого расстояния "d" наблюдения. Изображение, проецируемое на поверхность дисплея для правого глаза, называется изображением правого глаза, и изображение, проецируемое на поверхность дисплея для левого глаза, называется изображением левого глаза. Изображение правого глаза и изображение левого глаза подают в модуль 160 последующей обработки через линию 139 сигнала. Следует отметить, что модуль 316 проецирования на поверхность дисплея для правого глаза и модуль 317 проецирования на поверхность дисплея для левого глаза представляют собой примеры модуля проецирования на поверхность дисплея, описанного в формуле изобретения.
На фиг.3 показана схема, иллюстрирующая один вид проекции на гороптер на первом примере модуля 130 трехмерного преобразования в варианте выполнения. настоящего изобретения. Окружность 520 гороптера представляет собой окружность, которая проходит через правый глаз 511, левый глаз 512 и точку 531 (вершина) или 532 схождения. Здесь предполагается, что правый глаз 511 и левый глаз 512 отстоят на расстоянии "а" от центра двух глаз. То есть расстояние между глазами составляет "2а". Кроме того, радиус окружности 520 гороптера равен "r".
Бинокулярные изображения на сетчатке глаза для правого глаза 511 и левого глаза 512 относительно точки на окружности 520 гороптера идентичны друг другу. Это связано с тем, что углы схождения всегда равны друг другу, в случае, когда точки на окружности 520 гороптера установлены как точки схождения. Например, угол 533 схождения относительно точки 531 схождения и угол 534 схождения относительно точки 532 схождения равны друг другу. Нестереоскопическое изображение проецируют как изображение 530 гороптера на цилиндрическую поверхность (гороптер), включающую в себя окружность 520 гороптера. Таким образом, идентичные друг другу изображения на сетчатке глаза, у которых отсутствует бинокулярные различия, могут быть сформированы в правом глазу 511 и в левом глазу 512.
На фиг.4 показана схема, иллюстрирующая конкретный пример проекции на гороптер в первом примере модуля 130 трехмерного преобразования в варианте выполнения настоящего изобретения.
Часть (а) на фиг.4 иллюстрирует систему координат входного изображения I (p, q), подаваемого из модуля 120 обработки сигнала через линию 129 сигнала. Поскольку входное изображение представляет собой нестереоскопическое изображение, используют двумерную систему координат. Точка начала системы координат установлена как центральная точка входного изображения. Кроме того предполагается, что размер входного изображения (ширина) равен "2L".
Часть (b) на фиг.4 иллюстрирует систему координат гороптера, на который спроецировано изображение 530 гороптера. Поскольку гороптер является трехмерным, в данном случае используют трехмерную (х, у, z) систему координат. Начало системы координат установлено в центре окружности 520 гороптера. Часть (b) на фиг.4 представляет собой вид, наблюдаемый с направления, перпендикулярного гороптеру, то есть с направления, перпендикулярного оси Y.
В данном случае изображение Н (х, у, z) гороптера получают путем проецирования входного изображения I (p, q) на окружность гороптера, имеющую радиус r, и представляют с помощью следующей формулы:
H(x, y, z)=I((π/2-Ψ)×r, y),
где
z2+x2=r2,
Ψ=tg-1(z/x).
Следует отметить, что хотя здесь предполагается, что размер (ширина) "2L" входного изображения является таким же, как и размер (ширина) поверхности дисплея, функция увеличения или уменьшения входного изображения может быть предусмотрена на предыдущем этапе для изменения физического размера изображения.
На фиг.5 показана схема, иллюстрирующая один вид проецирования на поверхность дисплея в первом примере модуля 130 трехмерного преобразования в варианте выполнения настоящего изобретения.
В данном случае предусматривается, что точку 532 схождения на окружности 520 гороптера проецируют на поверхность 540 дисплея. Изображение, формируемое в правом глазу 511 относительно точки 532 схождения, отображают на участке 541 дисплея поверхности 540 дисплея. С другой стороны, изображение, формируемое в левом глазу 512 относительно точки 532 схождения, отображают в положении 542 дисплея на поверхности 540 дисплея. То есть, даже для одного и того же изображения 530 гороптера, изображения, отображаемые на поверхности 540 дисплея, в принципе, представляют собой разные изображения для правого глаза 511 и левого глаза 512.
На фиг.6 показана схема, иллюстрирующая частный пример проецирования на поверхность дисплея в первом примере модуля 130 трехмерного преобразования в варианте выполнения настоящего изобретения.
Часть (а) на фиг.6 иллюстрирует систему координат на гороптере и на поверхности дисплея. Хотя в данном случае используется трехмерная (х, у, z) система координат, в отличие от случая, показанного в части (а) на фиг.4, положение начала координат в плоскости ху установлено в среднюю точку, между правым глазом 511 и левым глазом 512. В данном случае расстояние с между началом координат в этой системе координат и центром окружности 520 гороптера выражается следующим образом:
c=(r22)1/2.
В части (b) на фиг.6 приведена система координат отображаемого изображения J(s, t), проецируемого на поверхность дисплея. Отображаемое изображение, соответственно, получают для правого глаза 511 и левого глаза 512. Поскольку каждое изображение представляет собой двумерное изображение, используют двумерную систему координат. Точку начала системы координат устанавливают в центральную точку отображаемых изображений.
В данном случае положение D (xR, yR, zR) на поверхности 540 дисплея, которое проецируют из правого глаза 511 через положение Н (х0, у0, z0) на изображении гороптера, задают с помощью следующей формулы:
D(xR, yR, zR)=J(xR, уR)=Н(x0, у0, zo).
Кроме того, поскольку расстояние от положения наблюдения равно расстоянию d наблюдения, получают zR=d, и справедливы следующие формулы:
0-а)/(хR-а)=у0R=z0/d,
x02+(z0-c)2=r2,
z0>0.
В соответствии с этим, изображение, проецируемое в положение D (xR, yR, zR) на поверхности 540 дисплея, может быть определено при помощи положения Н (х0, у0, Z0). То есть {х0, у0, z0} получают из {xR, yR, zR}.
Следует отметить, что, хотя здесь пояснялось положение D (xR, yR, zR), которое проецируют из правого глаза 511, положение D (xL, yL, zL) на поверхности 540 дисплея, который проецируют из левого глаза 512 через положение Н (х0, у0, z0) на изображении гороптера, также может быть определено аналогичным образом.
Кроме того, хотя, пояснения были приведены для примера, когда размер окружности гороптера задан радиусом "r", например, как описано выше, размер окружности гороптера может быть задан при помощи расстояния от центра двух глаз до вершины окружности гороптера, вписанного угла, или тому подобное. Расстояние f от центра двух глаз до точки схождения дается следующей формулой:
f=r+с
=r+(r22)1/2.
Если перенести r на левую сторону и возвести в квадрат обе стороны, получим:
f2-2rf+r2=r22,
r=(f2+a2)/2f.
Таким образом, радиус "r" может быть определен, используя расстояние "f от центра двух глаз до точки схождения и расстояние "2а" между глазами. Соотношение между вписанным углом и радиусом поясняется в дальнейшем примере (фиг.15).
На фиг.7 показана схема, иллюстрирующая примерную процедуру обработки, выполняемую первым примером модуля 130 трехмерного преобразования в варианте выполнения настоящего изобретения.
Вначале, когда входное изображение I (p, q) выводят из модуля 120 обработки сигнала через линию 129 сигнала (этап S911), входное изображение I (p, q) проецируют как изображение Н (х, у, z) гороптера на поверхность гороптера (этап S912). Следует отметить, что этап S912 представляет собой пример процедуры проецирования на цилиндрическую поверхность, описанной в формуле изобретения.
Затем отображаемые изображения генерируют соответственно для правого глаза и левого глаза следующим образом (цикл L901). Вначале выполняют перспективное преобразование для поверхности 540 дисплея, на которой должно быть спроецировано изображение от правого глаза 511 через положение Н (х0, у0, z0) на изображении гороптера для получения трехмерного положения D (xR, yR, zR) (этап S913). Затем получают двумерное отображаемое изображение J(xR, yR) для поверхности дисплея из этого трехмерного положения (этап S914). Аналогично соответствующее преобразование выполняют для поверхности 540 дисплея, на которую должно быть спроецировано изображение левого глаза 512 через положение Н (х0, у0, z0) на изображении гороптера, для получения трехмерного положения D (xL, yL, zL) (этап S913). Затем из этого трехмерного положения получают двумерное отображаемое изображение J (xL, yL) для поверхности дисплея (этап S914). Следует отметить, что этапы S913 и S914 представляют собой примеры процедуры проецирования на поверхность дисплея, описанной в формуле изобретения.
Таким образом, в первом примере модуля 130 трехмерного преобразования в соответствии с вариантом выполнения настоящего изобретения нестереоскопическое изображение проецируют как изображение гороптера на окружность 520 гороптера, заданную по информации об окружности гороптера. Затем, изображение гороптера проецируют на поверхность дисплея, расположенную на фактически измеренном или оцененном расстоянии наблюдения. Таким образом, может быть сгенерировано стереоскопическое изображение для правого глаза 511 и для левого глаза 512.
На фиг.8 показана схема, иллюстрирующая второй пример модуля 130 трехмерного преобразования в варианте выполнения настоящего изобретения. Этот второй пример модуля 130 трехмерного преобразования включает в себя модуль 321 проецирования изображения на поверхность гороптера, модуль 322 установки точки схождения, модуль 326 проецирования на поверхность дисплея для правого глаза, и модуль 327 проецирования на поверхность дисплея для левого глаза.
Как и модуль 311 проецирования изображения на поверхность гороптера, модуль 321 проецирования изображения на поверхность гороптера предназначен для проецирования нестереоскопического изображения, передаваемого из модуля 120 обработки сигнала через линию 129 сигнала на цилиндрическую поверхность, включающую в себя окружность гороптера. В этом втором примере окружность гороптера задается при помощи радиуса "r", который основан на точке схождения, установленной модулем 322 установки точки схождения. Следует отметить, что модуль 321 проецирования изображения на поверхность гороптера представляет собой пример модуля проецирования на цилиндрическую поверхность, описанную в формуле изобретения.
Модуль 322 установки точки схождения предназначен для установки точки схождения и предоставления радиуса "r", который основан на этой точке схождения. Модуль 322 установки точки схождения устанавливает точку схождения, используя расстояние "2а" между глазами, расстояние "d" наблюдения, размер "2М" поверхности дисплея и размер "2L" входного изображения.
Аналогично первому примеру, модуль 326 проецирования на поверхность дисплея для правого глаза и модуль 327 проецирования на поверхность дисплея для левого глаза предназначены для проецирования изображения гороптера на поверхность дисплея для правого глаза или левого глаза. Следует отметить, что модуль 326 проецирования на поверхность дисплея для правого глаза и модуль 327 проецирования на поверхность дисплея для левого глаза представляют собой примеры модуля проецирования на поверхность дисплея, описанного в формуле изобретения.
На фиг.9 показана схема, иллюстрирующая соотношение между размером окружности гороптера и положениями точек схождения. Окружность гороптера однозначно определяется расстоянием между глазами и радиусом. Поэтому, в случае, когда радиус не фиксирован, как на этом чертеже, можно представить себе несколько окружностей гороптера, которые проходят через два глаза. Обычно, чем меньше расстояние до точки схождения, тем больше угол схождения и поэтому меньше радиус.
Следует понимать, что, если входное изображение проецируется на окружность гороптера при фиксированном размере входного изображения так, как показано на фигуре, его размер (ширина) на поверхности дисплея отличается при переходе от одной окружности гороптера к другой. То есть в случае окружности 521 гороптера чем меньше расстояние до точки схождения, тем больше размер (ширина) поверхности дисплея. В случае окружности 522 гороптера чем больше расстояние до точки схождения, тем меньше размер (ширина) поверхности дисплея. Поэтому во втором примере с целью отображения входного изображения по всей поверхности дисплея, точку схождения на окружности гороптера определяют путем обратного расчета из размера проекции на поверхности дисплея и затем устанавливают.
На фиг.10 показана схема, иллюстрирующая один вид проекции на гороптер во втором примере модуля 130 трехмерного преобразования в варианте выполнения настоящего изобретения. В данном случае в предположении, что размер (ширина) входного изображения составляет "2L", учитывают формулу, в соответствии с которой определяется размер (ширина) "2m" изображения, спроецированного на поверхности дисплея.
Предполагая, что прямоугольный треугольник, определенный сторонами с длиной р, q и r, находится внутри окружности гороптера, р и q представляют следующими формулами:
p=r·sinϕ,
q=r·cosϕ,
где ϕ представляет собой угол, который представляет собой угол между сторонами длиной q и r. Угол ϕ представлен следующей формулой:
ϕ=(L/(2πr))·2π=L/r.
Кроме того, предполагается, что в пределах размера (ширины) "2m" изображения, проецируемого на поверхность дисплея, участок, который перекрывает прямоугольный треугольник, описанный выше, образец х, и правый его участок обозначен у. Исходя из подобия прямоугольного треугольника получают следующее соотношение:
p:x=q:(d-с).
Таким образом, х дается следующей формулой:
x=p·(d-c)/q.
Кроме того, исходя из подобия прямоугольного треугольника с вершиной Т, получают следующие взаимозависимости:
t:a=(t+c):s,
t:a=(t+с+q):p.
Отсюда s дается следующей формулой:
s=((p-а)/(а·(c+q)))·((a·(c+q)/(p-a))+с)·а
=(a·q-c·p)/(c+q).
Кроме того, исходя из подобия треугольника, формируемого сторонами длиной s и радиусом r, получают следующее соотношение:
s:y=q:(q-(d-c)).
Таким образом, у определяется следующей формулой:
y=((q-d+c)/q)·s
=((q-d+c)·(a·q-c·p))/(q·(c+q)).
Сумма х и у, получаемых таким образом, равна одной второй от размера (ширины) "m" изображения, проецируемого на поверхности дисплея:
m=х+у
=р·(d-c)/q+((q-d+c)·(a·q-c·p))/(q·(c+q)).
На фиг.11 показана схема, иллюстрирующая частный пример проецирования на гороптер во втором примере модуля 130 трехмерного преобразования в варианте выполнения настоящего изобретения. Во втором примере, как описано выше, точка схождения установлена таким образом, что ширина проекции на поверхности 540 дисплея может быть сделана растянутой на всю поверхность 540 дисплея. Поэтому, как показано на этом чертеже, сама ширина "2М" поверхности 540 дисплея выполнена такой, чтобы она соответствовала ширине "2m" проекции на поверхности дисплея, которую получают с помощью указанной выше формулой.
Поскольку размер (ширина) "2М" поверхности 540 дисплея, размер "2L" (ширина) входного изображения, расстояние "2а" между глазами и расстояние "d" наблюдения заданы для модуля 322 установки точки схождения, радиус г окружности гороптера может быть определен таким образом, что сделать размер (ширина) "2m" проекции на поверхность отображения, полученный с помощью приведенной выше формулы, совпадающим с "2М".
Таким образом, во втором примере модуля 130 трехмерного преобразования в варианте выполнения настоящего изобретения путем предварительной установки размера поверхности 540 дисплея можно установить точку схождения таким образом, что проецируемое изображение на поверхности 540 дисплея может отображаться на всей поверхности 540 дисплея, и можно однозначно задавать окружность гороптера.
На фиг.12 показана схема, иллюстрирующая третий пример модуля 130 трехмерного преобразования в соответствии с вариантом выполнения настоящего изобретения. Этот третий пример модуля 130 трехмерного преобразования предназначен определять точку схождения так, чтобы подавлять увеличение степени искажений изображения на поверхности дисплея. Чем больше отклонение от точного направления вперед для каждого из двух глаз, тем больше степень искажений между центром и краями изображения. Таким образом, точку схождения устанавливают так, чтобы эта степень искажения могла попасть в пределы приемлемого диапазона. Такой третий пример модуля 130 трехмерного преобразования включает в себя модуль 331 проецирования изображения на гороптер, модуль 332 установки точки схождения, модуль 336 проецирования на поверхность дисплея для правого глаза и модуль 337 проецирования на поверхность дисплея для левого глаза.
Как и модуль 311 проецирования изображения на гороптер, модуль 331 проецирования изображения на гороптер предназначен для проецирования нестереоскопического изображения, подаваемого в модуль 120 обработки сигнала через линию 129 сигнала, на цилиндрическую поверхность, включающую в себя окружность гороптера. В этом третьем примере окружность гороптера задается при помощи вписанного угла "τ", который основан на точке схождения, установленной модулем 332 установки точки схождения. Следует отметить, что модуль 331 проецирования изображения на гороптер представляет собой пример модуля проецирования на цилиндрическую поверхность, описанного в формуле изобретения.
Модуль 332 установки точки схождения предназначен для установки точки схождения и предоставления вписанного угла "τ", который основан на этой точке схождения. Модуль 332 установки точки схождения устанавливает точку схождения, используя расстояние "2а", между глазами, расстояние "d" наблюдения, максимальную степень искажения "Qmax" и минимальный угол "δ". Подробности установки поясняются со ссылкой на следующую фигуру.
Аналогично первому примеру, модуль 336 проецирования на поверхность дисплея для правого глаза и модуль 337 проецирования на поверхность дисплея для левого глаза предназначены для проецирования изображения гороптера на поверхность дисплея для правого глаза или левого глаза. Следует отметить, что, хотя в данном случае проецирование на поверхность дисплея выполняют при помощи вписанного угла "τ", передаваемого из модуля 332 установки точки схождения, радиус "r" в первом примере и вписанный угол "τ" в настоящем примере эквивалентны друг другу в отношении установки точки схождения. Поэтому, они оба могут при необходимости заменять друг друга. Следует отметить, что модуль 336 проецирования на поверхность дисплея для правого глаза и модуль 337 проецирования на поверхность дисплея для левого глаза представляют собой примеры модуля проецирования на поверхность дисплея, описанного в формуле изобретения.
На фиг.13 показана схема, иллюстрирующая пример соотношения между окружностью гороптера и степенью искажений изображения. Хотя степень искажений. определяется здесь для левого глаза 512, то же самое относится и к правому глазу 511.
Сравнение расстояний на поверхности 540 дисплея выполняют для случая, когда положение 535 на окружности гороптера, которую наблюдают непосредственно перед левым глазом 512, и положение 536, которое повернуто на угол δ, относительно этого положения, отклонились каждое на малый угол "δ". В случае, когда положение 535 отклонено на малый угол "δ", угол обзора из центральной точки о окружности гороптера составляет "2δ". Таким образом, имеет место отклонение "2δr" в положении 535 на окружности гороптера. В этом отношении, в случае, когда положение 536 отклонено на небольшой угол "δ", угол обзора из центральной точки о окружности гороптера также составляет "2δ". Таким образом, аналогично, имеет место отклонение "2δr" в положении 536 на окружности гороптера.
В положении 545 на поверхности 540 дисплея, которое соответствует положению 535 на окружности гороптера, если взять прямоугольный треугольник, каждая сторона которого имеет расстояние "d" наблюдения и угол "δ/2", ширина Q1 отклонения выражается следующей формулой:
Q1=2d·tan(δ/2).
С другой стороны, в положении 546 на поверхности 540 дисплея, которое соответствует положению 536 на окружности гороптера, если взять прямоугольный треугольник со сторонами, каждая из которых имеет расстояние "d" наблюдения и угол "θ", ширина Q2 отклонения выражается следующей формулой:
Q2=2d·(tanθ-tan(θ-δ/2)).
Поэтому степень Q искажений получают в виде следующей формулы:
Q=Q2/Q1
=(2d·(tanθ-tan(θ-δ/2)))/(2d·tan(δ/2))
=(tanθ-tan(θ-δ/2))/tan(δ/2).
На фиг.14 показана схема, иллюстрирующая пример соотношения между углом θ и степенью искажения Q изображения. В данном случае степень искажения Q получают в случае, когда на фиг.13 малый угол θ установлен равным "0,01", а угол θ изменяется от "-70°" до " +70°".
Как также можно видеть из этого примера, чем больше отклонение от положений, находящихся непосредственно перед глазами, тем больше степень искажения Q между центром и краями изображения. В этом третьем примере, поэтому, максимальная степень искажения "Qmax" задается в качестве порогового значения степени искажения, а угол θ устанавливается так, что степень искажений становится меньше порогового значения.
На фиг.15 показана схема, иллюстрирующая пример соотношения между окружностью гороптера и вписанным углом. Если предположить, что вписанный угол равен "τ", тогда угол, под которым рассматривают центральную точку о окружности 520 гороптера от правого глаза 511 и левого глаза 512 равен "2τ". Этот угол разделен пополам перпендикуляром от центральной точки о к центру двух глаз, и каждый из углов составляет "τ". На этом чертеже показан угол "τ" относительно левого глаза 512.
Если обратиться к треугольнику, образованному пересечением 537 центральной линии между правым глазом 511 и левым глазом 512 и окружностью 520 гороптера, левым глазом 512 и центральной точкой о окружности 520 гороптера, то оба угла в точке пересечения 537 и в левом глазу 512 равны "τ/2". Поскольку линия, соединяющая положение 535 на окружности гороптера, которое находится непосредственно перед левым глазом 512, и левым глазом 512 параллельна центральной линии между правым глазом 511 и левым глазом 512, угол, формируемый в левом глазу 512 точкой пересечения 537 и конечной точкой 538 входного изображения, выражен как "θ-τ/2". При этом угол 9 представляет собой угол, формируемый в левом глазу 512 положением 535 и конечной точкой 538 входного изображения. Таким образом, угол, под которым рассматривают центральную точку о окружности 520 гороптера из точки 537 пересечения и конечной точки 538 входного изображения равен "2×(θ-τ/2)". В данном случае длина дуги окружности соответствует размеру (ширине) входного изображения "L". Таким образом, справедлива следующая формула:
2·(θ-τ/2)·r=L.
Кроме того, если обратиться к прямоугольному треугольнику, образуемый центральной точкой между правым глазом 511 и левым глазом 512, центральной точкой о окружности 520 гороптера и левым глазом 512, то радиус г выражается приведенной ниже формулой. То есть следует понимать, что радиус "r" может быть определен при помощи вписанного угла "τ" и расстояния "2а" между глазами.
r=a/sin (τ).
Поэтому, удаляя радиус г из двух приведенных выше формул, получим следующую формулу:
2·(θ-τ/2)·(a/sin(r))=L.
Из приведенной выше формулы видно, что если известны угол "θ", половина расстояния между глазами "а" и размер "L" входного изображения, может быть получен вписанный угол "τ".
Таким образом, в третьем примере модуля 130 трехмерного преобразования в варианте выполнения настоящего изобретения, путем задания малого угла "δ" и максимальной степени искажений "Qmax" можно установить точку схождения так, чтобы искажение между центром и краями экрана было сделано равным или меньше максимальной степени искажений, и можно задать окружность гороптера.
На фиг.16 показана схема, иллюстрирующая четвертый пример модуля 130 трехмерного преобразования в варианте выполнения настоящего изобретения. Этот четвертый пример модуля 130 трехмерного преобразования предназначен для определения точки схождения для подавления увеличения искажения изображения на поверхности дисплея и для увеличения или уменьшения размера (ширины) входного изображения таким образом, чтобы отобразить входное изображение на всей поверхности дисплея. Этот четвертый пример модуля 130 трехмерного преобразования включает в себя модуль 341 проецирования изображения на гороптер, модуль 342 установки точки схождения, модуль 343 масштабирования, модуль 346 проецирования на поверхность дисплея для правого глаза и модуль 347 проецирования на поверхность дисплея для левого глаза.
Модуль 342 установки точки схождения предназначен для установки точки схождения и выдачи радиуса "r", который основан на этой точке схождения, и угла "θ". Модуль 342 установки точки схождения устанавливает точку схождения, используя расстояние "2а" между глазами, расстояние "d" наблюдения, максимальную степень искажения "Qmax", малый угол "δ" и размер "2М" поверхности дисплея.
Модуль 343 масштабирования предназначен для увеличения или уменьшения (увеличения или уменьшения масштаба) нестереоскопического изображения, подаваемого из модуля 120 обработки сигнала через линию 129 сигнала, в соответствии с точкой схождения, установленной модулем 342 установки точки схождения.
Модуль 341 проецирования изображения на гороптер предназначен для проецирования нестереоскопического изображения, увеличенного или уменьшенного с помощью модуля 343 масштабирования, на цилиндрическую поверхность, включающую в себя окружность гороптера. Следует отметить, что модуль 341 проецирования изображения на гороптер представляет собой пример модуля проекции на цилиндрическую поверхность, описанного в формуле изобретения.
Как и в первом примере, модуль 346 проецирования на поверхность дисплея для правого глаза и модуль 347 проецирования на поверхность дисплея для левого глаза предназначены для проецирования изображения гороптера на поверхности дисплея для правого глаза или левого глаза. Следует отметить, что модуль 346 проецирования на поверхность дисплея для правого глаза и модуль 347 проецирования на поверхность дисплея для левого глаза представляют собой примеры модуля проецирования на поверхность дисплея, описанного в формуле изобретения.
На фиг.17 показана схема, иллюстрирующая пример соотношения между окружностью гороптера и поверхностью дисплея. В этом четвертом примере, аналогично третьему примеру, угол "θ" определяют таким образом, что степень искажений, относительно малого угла "δ" можно сделать меньше максимальной степени искажений "Qmax". Затем на основе угла "θ" определяют окружность гороптера и, кроме того, определяют размер входного изображения.
Поскольку конечная точка 538 входного изображения расположена на окружности 520 гороптера, угол, под которым рассматривают конечную точку 538 входного изображения из правого глаза 511 и левого глаза 512, равен "τ". Кроме того, если обратиться к прямоугольному треугольнику, образованному пересечением 548 линии, соединяющей левый глаз 512 и конечную точку 538 входного изображения, и поверхности 540 дисплея, пересечением 545 линии, соединяющей левый глаз 512 и точку 535, расположенную непосредственно перед левым глазом, и поверхности 540 дисплея, и положением 512 левого глаза, то угол, образованный в точке 548 пересечения из левого глаза 512, равен "π/2-θ". Кроме того, если обратиться к прямоугольному треугольнику, включающему в себя вершину Т, то угол, образованный в точке 549 пересечения из вершины Т, равен "tg-1(x/a)".
Здесь, х удовлетворяет следующему соотношению:
х:а=(x+d):M,
и поэтому может быть записано следующим образом:
х=a·d/(M-a).
Поэтому внутренний угол в точке 549 пересечения выражается как "π-tg-1(x/a)". В соответствии с этим, угол "τ" определяют приведенной ниже формулой. То есть окружность гороптера определяют путем установки τ таким образом, чтобы была справедлива следующая формула:
τ=θ-(π/2)+tg-1(x/a).
Кроме того, как рассчитано в третьем примере, угол, под которым видна центральная точка о окружности 520 гороптера из точки 537 пересечения и конечной точки 538 входного изображения, выражается как "2·(θ-τ/2)". В данном случае длина дуги окружности соответствует размеру (ширине) входного изображения "L". Таким образом, будет справедлива следующая формула:
L=2·(θ-τ/2)·r.
В третьем примере размер входного изображения зафиксирован, в то время как в данном четвертом примере размер входного изображения может изменяться, и входное изображение формируют с увеличением или уменьшением с помощью модуля 343 масштабирования таким образом, чтобы удовлетворять приведенной выше формуле.
Таким образом, в четвертом примере модуля 130 трехмерного преобразования в варианте выполнения настоящего изобретения точка схождения может быть установлена так, чтобы искажения между центром и краями экрана можно было бы сделать равными или меньше максимальной степени искажений, и может быть задана окружность гороптера. Кроме того, входное изображение можно масштабировать с увеличением или уменьшением таким образом, чтобы входное изображение можно было отображать на всей поверхности дисплея.
На фиг.18 показана схема, иллюстрирующая пятый пример модуля 130 трехмерного преобразования в варианте выполнения настоящего изобретения. Этот пятый пример модуля 130 трехмерного преобразования предназначен для генерирования стереоскопического изображения путем проецирования нестереоскопического изображения на плоскости наклона-сдвига, соответствующие соответствующим глазам, с последующим проецированием получаемых изображений на поверхность дисплея без выполнения процедуры проецирования нестереоскопического изображения на окружность гороптера. В этом отношении, как показано ниже, изображение, отображаемое в соответствии с этим пятым примером, эквивалентно изображению, отображаемому через окружность гороптера, пояснявшемуся со ссылкой в первый - четвертый примеры. Поэтому в одном случае предполагается, что для генерирования стереоскопического изображения предполагают наличие окружности гороптера, и радиус этой окружности гороптера задают как параметр. Этот пятый пример модуля 130 трехмерного преобразования включает в себя модуль 354 установки плоскости наклона-сдвига для правого глаза, модуль 355 установки плоскости наклона-сдвига для левого глаза, модуль 356 проецирования на поверхность дисплея для правого глаза и модуль 357 проецирования на поверхность дисплея для левого глаза.
Модуль 354 установки плоскости наклона-сдвига для правого глаза предназначен для установки, в предположении, что продолжение точки зрения, для которой точка схождения находится на равном расстоянии от двух глаз, рассматривают правым глазом, плоскости наклона-сдвига, которая перпендикулярно пересекает это продолжение точки зрения, и для проецирования нестереоскопического изображения, передаваемого из модуля 120 обработки сигнала через линию 129 сигнала, в качестве изображения наклона-сдвига для правого глаза. Модуль 355 установки плоскости наклона-сдвига для левого глаза предназначен для установки, в предположении, что продолжение точки зрения, для которой точка схождения находится на равном расстоянии от двух глаз, рассматривают левым глазом, плоскости наклона-сдвига, которая перпендикулярно пересекает это продолжение точки зрения, и для проецирования нестереоскопического изображения, передаваемого из модуля 120 обработки сигнала через линию 129 сигнала, в качестве изображения наклона-сдвига для левого глаза. Модуль 354 установки плоскости наклона-сдвига для правого глаза и модуль 355 установки плоскости наклона-сдвига для левого глаза выполняют проецирование на поверхности наклона-сдвига для правого и левого глаз на основе расстояния "2а" между глазами, радиуса "r" окружности гороптера, предполагаемого расстояния "d" наблюдения и расстояния "k" до плоскости наклона-сдвига. Следует отметить, что каждая из плоскостей наклона-сдвига представляет собой пример плоскости облучения, описанной в формуле изобретения. Кроме того, модуль 354 установки плоскости наклона-сдвига для правого глаза и модуль 355 установки плоскости наклона-сдвига для левого глаза представляют собой примеры модуля проецирования плоскости облучения, описанного в формуле изобретения.
Модуль 356 проецирования на поверхность дисплея для правого глаза предназначен для проецирования изображения наклона-сдвига для правого глаза на поверхность дисплея для правого глаза. Модуль 357 проецирования на поверхность дисплея для левого глаза предназначен для проецирования изображения наклона-сдвига для левого глаза на поверхность дисплея для левого глаза. Модуль 356 проецирования на поверхность дисплея для правого глаза и модуль 357 проецирования на поверхность дисплея для левого глаза выполняют проецирование на поверхности дисплея для правого и левого глаз на основе расстояния "2а" между глазами, радиуса "r" окружности гороптера и предполагаемого расстояния "d" наблюдения. Изображение, проецируемое на поверхность дисплея для правого глаза, называется изображением для правого глаза, и изображение, проецируемое на поверхность дисплея для левого глаза, называется изображением для левого глаза. Изображения для правого глаза и левого глаза передают в модуль 160 последующей обработки через линию 139 сигнала. Следует отметить, что модуль 356 проецирования на поверхность дисплея для правого глаза и модуль 357 проецирования на поверхность дисплея для левого глаза представляют собой примеры модуля проецирования на поверхность дисплея, описанные в формуле изобретения.
На фиг.19 показана схема, иллюстрирующая одну форму проецирования на плоскости наклона-сдвига в пятом примере модуля 130 трехмерного преобразования в варианте выполнения настоящего изобретения.
Пересечение центральной линии между правым глазом 511 и левым глазом 512 и окружностью 520 гороптера представляет собой точку схождения 527, которая расположена на равном расстоянии от двух глаз. Плоскость 550 наклона-сдвига для правого глаза представляет собой плоскость, которая перпендикулярно пересекает в точке 551 продолжение точки зрения, в которой точка 527 схождения видна из правого глаза 511. Плоскость 560 наклона-сдвига для левого глаза представляет собой плоскость, которая перпендикулярно пересекает в точке 561 продолжение точки зрения, в которой точка схождения 527 видна из левого глаза 512. Предположим, что расстояние между отрезком, соединяющим положение правого глаза 511 и положение левого глаза 512, и отрезком, соединяющим точки 551 и 561, составляет расстояние "k" до плоскости наклона-сдвига.
В данном случае предполагается, что изображения на плоскости 550 наклона-сдвига для правого глаза и на плоскости 560 наклона-сдвига для левого глаза проецируют на плоскость 570 дисплея. Предположим, что расстояние между правым и левым глазами 511 и 512 и поверхностью 570 дисплея составляет расстояние "d" наблюдения. Изображение, формируемое в точке 552, которая расположена на расстоянии "S" от точки 551 на плоскости 550 наклона-сдвига для правого глаза, отображают в положении 571 дисплея на поверхности 570 дисплея. Изображение, формируемое в точке 562, которая расположена на расстоянии "S" от точки 561 на плоскости 560 наклона-сдвига для левого глаза, отображают в положении 572 дисплея на поверхности 570 дисплея. При этом линия, соединяющая правый глаз 511 и точку 571, и линия, соединяющая левый глаз 512 и точку 572, пересекаются друг с другом в точке 522 пересечения на окружности 520 гороптера. Таким образом, изображение, отображаемое в соответствии с этим пятым примером, эквивалентно изображению, отображаемому через окружность гороптера, пояснявшуюся со ссылкой на первый-четвертый примеры.
На фиг.20 показана схема, иллюстрирующая частный пример проецирования на плоскости наклона-сдвига в пятом примере модуля 130 трехмерного преобразования в варианте выполнения настоящего изобретения.
Часть (а) фиг.20 иллюстрирует систему координат входного изображения I (p, q), передаваемого из модуля 120 обработки сигнала через линию 129 сигнала. Поскольку входное изображение представляет собой нестереоскопическое изображение, используют двумерную систему координат. Начало системы координат установлено в центральной точке входного изображения. Кроме того, предполагается, что размер (ширина) входного изображения составляет "2L".
В части (b) на фиг.20 иллюстрируется система координат плоскостей наклона-сдвига, на которые проецируют изображения наклона-сдвига. Поскольку плоскости наклона-сдвига являются трехмерными, в данном случае используют трехмерную систему координат (х, у, z). Начало системы координат установлено в центре между правым глазом 511 и левым глазом 512. Часть (b) фиг.20 представляет собой чертеж, на котором показан вид из направления, перпендикулярного плоскостям наклона-сдвига, то есть, из направления, перпендикулярного оси Y.
Если считать, что угол, под которым рассматривают точку схождения на окружности 520 гороптера из правого глаза 511 и из левого глаза 512, представляет собой угол "τ" схождения, каждая из плоскости 550 наклона-сдвига для правого глаза и плоскости 560 наклона-сдвига для левого глаза имеет угол "τ/2" относительно горизонта.
Если обратиться к точке 582 пересечения перпендикуляра к линии, соединяющей два глаза из точки 561 на плоскости 560 наклона-сдвига для левого глаза, расстояние между левым глазом 512 и точкой 582 пересечения выражается как "k·tg(τ/2)". Поэтому расстояние между точкой 589, которая находится на расстоянии, равном расстоянию "k" до плоскости наклона-сдвига от начала координат, вдоль оси Z, и точкой 561 на плоскости 560 наклона-сдвига для левого глаза, выражается как "a-k·tg(τ/2)". Поэтому, соотношение между изображением L (х, у, z) наклона-сдвига для левого глаза на плоскости 560 наклона-сдвига для левого глаза и входным изображением I (p, q) представлено следующей формулой:
L(х, у, z)=I((x+а-k·tg(τ/2))/(cos(τ/2)), у),
где для этого изображения L (х, у, z) наклона-сдвига для левого глаза справедливо следующее:
z=k-((х+а-k·tg(τ/2))/sin(τ/2)).
Кроме того, аналогично, соотношение между изображением R (х, у, z) наклона-сдвига для правого глаза на плоскости 550 наклона-сдвига для правого глаза и входным изображением I (p, q) представлено следующей формулой:
R(x, у, z)=I((х-а+k·tg(r/2))/(cos(τ/2)), у),
где для этого изображения R (х, у, z) наклона-сдвига для правого глаза справедливо следующее:
z=k+((х-а+k·tg(τ/2))/sin(τ/2)).
На фиг.21 показана схема, иллюстрирующая частный пример проецирования на поверхность дисплея в пятом примере модуля 130 трехмерного преобразования в варианте выполнения настоящего изобретения.
В части (а) фиг.21 иллюстрируется система координат плоскостей наклона-сдвига и поверхности дисплея. Здесь используется трехмерная система координат (х, у, z).
В части (b) на фиг.21 иллюстрируется система координат изображения J(s, t), проецируемого на поверхность дисплея. Отображаемое изображение, соответственно, получают для правого глаза 511 и левого глаза 512. Поскольку каждое изображение представляет собой двумерное изображение, используют двумерную систему координат.
Начало системы координат установлено в центральной точке отображаемого изображения.
На этот раз изображение DL (xL, уL zL) на поверхности 570 дисплея, которое проецируют из левого глаза 512 через точку L (x0, y0, z0) на изображении наклона-сдвига для левого глаза, определяется следующей формулой:
DL(xL, yL, zL)=J(xL, yL)=L(x0, y0, z0).
Кроме того, поскольку расстояние от положения наблюдения равно расстоянию d наблюдения, получают zR=d, и справедливо следующее выражение:
0+а)/(xL+а)=у0/yL=z0/d,
z0>0.
В этом отношении, как поясняется со ссылкой на фиг.20, справедливо следующее выражение:
z0=k-((x0+а=k·tg(τ/2))/sin(τ/2)).
Следует отметить, что, хотя здесь приведены пояснения для изображения DL(xL, уL zL), которое проецируют из левого глаза 512, изображение DR(xR, уR, zR) на поверхности 570 дисплея, которое проецируют из правого глаза 511 через точку R (x0, y0, z0) на изображении наклона-сдвига для правого глаза, также может быть определено аналогичным образом.
На фиг.22 показана схема, иллюстрирующая примерную процедуру обработки, выполняемую, в соответствии с пятым примером модуля 130 трехмерного преобразования в варианте выполнения настоящего изобретения.
Вначале, когда входное изображение, I (p, q) вводят из модуля 120 обработки сигнала через линию 129 сигнала (этап S921), входное изображение I (p, q), соответственно, проецируют в качестве изображения наклона-сдвига. Таким образом, в отличие от первого примера, предусмотрены отдельные плоскости наклона-сдвига для правого глаза и левого глаза, и отображаемое изображение генерируют следующим образом (цикл L902).
Когда входное изображение I (p, q) проецируют в качестве изображения R (х, у, z) наклона-сдвига для правого глаза на плоскость 550 наклона-сдвига для правого глаза (этап S922), выполняют перспективное преобразование для поверхности 570 дисплея, и получают трехмерное положение DR (xR, yR, zR) (этап S923). Затем из этого трехмерного положения получают двумерное изображение J (xR, yR) дисплея на поверхности дисплея (этап S924). Аналогично, когда входное изображение I (p, q) проецируют в качестве изображения L (х, у, z) наклона-сдвига для левого глаза на плоскость 550 наклона-сдвига для левого глаза (этап S922), выполняют перспективное преобразование для поверхности 570 дисплея и получают трехмерное положение DL (xL, yL zL) (этап S923). Затем из этого трехмерного положения получают двумерное изображение J (xL, yL) дисплея на поверхности дисплея (этап S924). Следует отметить, что этап S922 представляет собой пример процедуры проецирования плоскости облучения, описанный в формуле изобретения. Кроме того, этапы S923 и S924 представляют собой примеры процедуры проецирования на поверхность дисплея, описанные в формуле изобретения.
Таким образом, в пятом примере модуля 130 трехмерного преобразования в варианте выполнения настоящего изобретения нестереоскопическое изображение проецируют в качестве изображений наклона-сдвига для правого глаза и левого глаза соответственно на плоскости наклона-сдвига для правого глаза и левого глаза. Затем изображения наклона-сдвига для правого глаза и левого глаза проецируют на поверхность дисплея, расположенную на фактически измеренном или оцененном расстоянии наблюдения. Поэтому может быть сгенерировано стереоскопическое изображение для правого глаза 511 и левого глаза 512.
На фиг.23 показана схема, иллюстрирующая шестой пример модуля 130 трехмерного преобразования в варианте выполнения настоящего изобретения. Этот шестой пример предназначен для генерирования стереоскопического изображения в соответствии с картой глубины, которая основана на информации о степени глубины. Этот шестой пример модуля 130 трехмерного преобразования включает в себя модуль 361 генерирования карты глубины входного изображения, модуль 362 генерирования карты глубины на гороптере, модуль 363 объединения карт глубины, модуль 366 проецирования на поверхность дисплея для правого глаза и модуль 367 проецирования на поверхность дисплея для левого глаза.
Модуль 361 генерирования карты глубины входного изображения предназначен для генерирования карты глубины для нестереоскопического изображения (входного изображения), передаваемого из модуля 120 обработки сигнала через линию 129 сигнала. Карта глубины предназначена содержать информацию, относящуюся к степени глубины для каждого пикселя, и ее получают в результате оценки на основе, например, яркости, высокочастотного компонента, движения, насыщенности и т.п. Например, в публикации №2007-502454 находящейся на экспертизе заявки на японский патент описан модуль генерирования изображения с множеством точек обзора, который генерирует карту глубины на основе кромок, детектируемых во входном изображении. Следует отметить, что модуль 361 генерирования карты глубины входного изображения представляет собой пример модуля генерирования информации о степени глубины, описанного в формуле изобретения.
Модуль 362 генерирования карты глубины на гороптере предназначен для генерирования карты глубины для гороптера. Как в первом примере, гороптер задан так, что размер окружности гороптера задается информацией об окружности гороптера, а соотношение относительного положения двух глаз определяется расстоянием "2а" между глазами.
Модуль 363 объединения карт глубины предназначен для объединения карты глубины входного изображения, сгенерированной модулем 361 генерирования карты глубины входного изображения, с картой глубины на гороптере, сгенерированной модулем 362 генерирования карты глубины на гороптере. Следует отметить, что модуль 363 объединения карты глубины представляет собой пример модуля объединения информации о степени глубины, описанного в формуле изобретения.
Модуль 366 проецирования на поверхность дисплея для правого глаза предназначен, в случае подачи нестереоскопического изображения из модуля 120 обработки сигнала через линию 129 сигнала, для проецирования стереоскопического изображения для правого глаза на поверхность дисплея для правого глаза с учетом объединенной карты глубины, полученной с помощью 363 объединения карты глубины. Кроме того, модуль 367 проецирования на поверхность дисплея для левого глаза предназначен, в случае подачи нестереоскопического изображения из модуля 120 обработки сигнала через линию 129 сигнала, для проецирования стереоскопического изображения для левого глаза на поверхность дисплея для левого глаза с учетом объединенной карты глубины, полученной с помощью модуля 363 объединения карты глубины.
На фиг.24 показана схема, иллюстрирующая общую схему обработки, выполняемую шестым примером модуля 130 трехмерного преобразования в варианте выполнения настоящего изобретения.
В этом шестом примере информацию о степени глубины оценивают с помощью модуля 361 генерирования карты глубины входного изображения и объединяют с гороптером. Таким образом, в дополнение к ощущению глубины с использованием описанного выше характера окружности гороптера стереоскопическое ощущение может быть дополнительно улучшено путем дополнительного добавления информации о степени глубины, соответствующей трехмерной структуре сцены.
Например, поскольку точка 621 после объединения расположена перед окружностью гороптера, ее проекция на поверхность дисплея воспринимается как расположенная в более близком положении. Кроме того, поскольку точка 622 после объединения расположена позади окружности гороптера, ее проекция на поверхность дисплея воспринимается как расположенная в более дальнем положении.
На фиг.25 показана схема, иллюстрирующая пример карты глубины на гороптере, в соответствии с шестым примером модуля 130 трехмерного преобразования в варианте выполнения настоящего изобретения.
В данном случае карта глубины поверхности гороптера обозначена dpH. Гороптер имеет трехмерную форму, включающую в себя окружность гороптера, и задан расстоянием от плоскости х. То есть карта глубины на поверхности гороптера представляет собой функцию х и y, и представлена следующей формулой:
dpH(х, y)=z (х, у).
При этом если считать, что расстояние до гороптера от плоскости х относительно координат (хi, уi) составляет di, тогда функция z (х, у) задана следующей формулой:
z (xi, yi)=di (i=1, 2,…,n).
На фиг.26 показана схема, иллюстрирующая пример информации о степени глубины, которую оценивают с помощью шестого примера модуля 130 трехмерного преобразования в варианте выполнения настоящего изобретения.
В данном случае карта глубины с информацией о степени глубины представлена как dpi. Информация о степени глубины предназначена для указания степени глубины, соответствующей каждому пикселю, и представлена как трехмерная информация. То есть карта глубины с информацией о степени глубины представляет собой функцию от х и у и представлена следующей формулой:
dpi(x, у)=z(x, у).
При этом если предполагается, что информация о степени глубины от плоскости х относительно координат (хi, уi) имеет значение еi, функция z (х, у) задана следующей формулой:
z(xi, yi)=ei (i=1, 2,…,n).
На фиг.27 показана схема, иллюстрирующая примерную конфигурацию модуля 363 объединения карт глубины в шестом примере модуля 130 трехмерного преобразования в варианте выполнения настоящего изобретения. Как описано выше, модуль 363 объединения карт глубины предназначен для объединения карты глубины входного изображения, которую генерируют с помощью модуля 361 генерирования карты глубины входного изображения, с картой глубины на поверхности гороптера, которая сгенерирована модулем 362 генерирования карты глубины на поверхности гороптера. Модуль 363 объединения карт глубины включает в себя модуль 3631 расчета среднего значения, блок 3632 вычитания, и сумматор 3633.
Модуль 3631 расчета среднего значения предназначен для расчета среднего значения карт глубины для каждого входного изображения. Блок 3632 вычитания разработан для вычитания среднего значения карт глубины для каждого входного изображения из карты глубины для каждого пикселя входного изображения. Таким образом, получают компоненты АС карт глубины относительно среднего значения в качестве центрального значения. Сумматор 3633 предназначен для суммирования компонентов АС карт глубины входного изображения, передаваемого из блока 3632 вычитания, с картой глубины поверхности гороптера. Таким образом, может быть получена объединенная карта глубины на поверхности гороптера.
На фиг.28 показана схема, иллюстрирующая пример стереоскопического изображения, генерируемого в шестом примере модуля 130 трехмерного преобразования в варианте выполнения настоящего изобретения. В этом примере входное нестереоскопическое изображение проецируют на изображение для левого глаза 630 на изогнутую поверхность 620, соответствующую картам глубины, и проецируют на изображение для правого глаза 640, соответствующее соответствующим точкам на искривленной поверхности 620.
Например, точку 631 изображения для левого глаза 630, которую рассматривают из левого глаза 512, проецируют на точку 621 на искривленной поверхности 620. Затем, когда точку 621 рассматривают из правого глаза 511, точку 621 проецируют на точку 641 на изображении для правого глаза 640. Аналогично точку 632 на изображении для левого глаза 630, которую рассматривают левым глазом 512, проецируют на точку 622 на искривленной поверхности 620. Затем, когда точку 622 рассматривают правым глазом 511, точку 622 проецируют на точку 642 изображения для правого глаза 640.
Следует отметить, что, хотя на этом чертеже для удобства пояснения изображение для левого глаза 630 и изображение для правого глаза 640 представлены со сдвигом положения относительно друг друга в направлении z, на самом деле оба они расположены на одной и той же плоской поверхности.
На фиг.29 показана схема, иллюстрирующая другой пример стереоскопического изображения, генерируемого, в соответствии с шестым примером модуля 130 трехмерного преобразования в варианте выполнения настоящего изобретения. На этом чертеже входное нестереоскопическое изображение проецируют в качестве изображения (входного изображения 650), которое рассматривают из центра 513 между правым глазом и левым глазом, на искривленную поверхность 620, соответствующую картам глубины, и проецируют на изображение для левого глаза 630 и изображение для правого глаза 640, соответствующие соответствующим точкам на искривленной поверхности 620.
Например, точку 651 на входном изображении 650, которую рассматривают из центра 513, проецируют в точку 621 на искривленной поверхности 620. Затем, когда точку 621 рассматривают с помощью левого глаза 512, точку 621 проецируют в точку 631 на изображении для левого глаза 630. Когда точку 621 рассматривают с помощью правого глаза 511, точку 621 проецируют в точку 641 на изображении для правого глаза 640. Аналогично, когда точку 652 на входном изображении 650, которую рассматривают из центра 513, эту точку 652 проецируют на точку 622 на искривленной поверхности 620. Затем, когда точку 622 рассматривают с помощью левого глаза 512, точку 622 проецируют в точку 632 на изображении для левого глаза 630. Когда точку 622 рассматривают с помощью правого глаза 511, точку 622 проецируют в точку 642 на изображении для правого глаза 640.
Следует отметить, что, хотя на данном чертеже для удобства пояснения изображение для левого глаза 630, изображение для правого глаза 640 и входное изображение 650 иллюстрируются со сдвигом положения относительно друг друга в направлении z, на самом деле все они расположены на одной и той же плоской поверхности.
Таким образом, в шестом примере модуля 130 трехмерного преобразования в варианте выполнения настоящего изобретения, карту глубины, которая основана на информации о степени глубины, объединяют при помощи стереоскопического зрения, в котором используется гороптер, пояснявшийся со ссылкой на другие варианты выполнения, обеспечивая таким образом возможность генерирования более выраженного стереоскопического изображения.
Следует отметить, что вариант выполнения настоящего изобретения иллюстрирует пример воплощения настоящего изобретения, и, как описано выше, имеет соответствующую взаимосвязь с частными заявленными в формуле изобретения объектами. Однако настоящее изобретение не ограничивается этим вариантом выполнения, и различные изменения могут быть внесены без выхода за пределы объема настоящего изобретения.
Кроме того, процедуры обработки, пояснявшиеся в варианте выполнения настоящего изобретения, можно считать способами, имеющими описанные выше последовательности процедур, или, кроме того, можно рассматривать как программу, обеспечивающую выполнение компьютером описанной выше последовательности процедур, или как носитель записи, на котором записана эта программа. Такой носитель записи может быть реализован с использованием, например CD (компакт-диск), MD (мини-диск), DVD (цифровой универсальный диск), карты памяти, диска Blue-ray (зарегистрированный товарный знак) или тому подобного.
Пояснение номеров ссылочных позиций
110 модуль ввода сигнала изображения
120 модуль обработки сигнала
130 модуль трехмерного преобразования
140 модуль установки параметра
150 модуль измерения расстояния наблюдения
160 модуль последующей обработки
170 модуль преобразования формата
180 модуль выбора источника
190 модуль дисплея
311, 321, 331, 341 модуль проецирования изображения на гороптер
316, 326, 336, 346, 356, 366 модуль проецирования на поверхность дисплея для правого глаза
317, 327, 337, 347, 357, 367 модуль проецирования на поверхность дисплея для левого глаза
322, 332, 342 модуль установки точки схождения 343 модуль масштабирования
354 модуль установки плоскости наклона-сдвига для правого глаза
355 модуль установки плоскости наклона-сдвига для левого глаза
361 модуль генерирования карты глубины входного изображения
362 модуль генерирования карты глубины гороптера
363 модуль объединения карт глубины
520 окружность гороптера
530 изображение гороптера
540, 570 поверхность дисплея
620 искривленная плоскость после объединения
630 изображение для левого глаза
640 изображение для правого глаза
650 входное изображение
640 изображение для правого глаза
650 входное изображение.

Claims (6)

1. Устройство генерирования стереоскопического изображения, содержащее:
модуль проецирования на цилиндрическую поверхность, выполненный с возможностью проецировать двумерное входное изображение на цилиндрическую поверхность, содержащую воображаемую окружность, расположенную по касательной к двум глазам, для генерирования цилиндрического изображения; и
модуль проецирования на поверхность дисплея, выполненный с возможностью проецировать цилиндрическое изображение на поверхность дисплея в отношении каждого из двух глаз для генерирования отображаемых изображений, подлежащих поступлению соответственно в два глаза.
2. Устройство генерирования стереоскопического изображения по п.1, в котором воображаемая окружность имеет радиус, установленный в соответствии с предполагаемым расстоянием наблюдения или размером дисплея.
3. Устройство генерирования стереоскопического изображения по п.2, дополнительно содержащее модуль измерения расстояния наблюдения, который выполнен с возможностью измерения расстояния между поверхностью дисплея и положением наблюдения,
причем радиус воображаемой окружности установлен в соответствии с расстоянием наблюдения, измеренным модулем измерения расстояния наблюдения.
4. Устройство генерирования стереоскопического изображения по п.1, в котором воображаемая окружность имеет радиус, установленный так, чтобы степень искажения отображаемых изображений была меньше заданного порогового значения.
5. Устройство генерирования стереоскопического изображения по п.1, дополнительно содержащее:
модуль генерирования информации о степени глубины, который выполнен с возможностью генерировать информацию о степени глубины с использованием двумерного входного изображения; и
модуль объединения информации о степени глубины, который выполнен с возможностью объединять информацию о степени глубины с цилиндрическим изображением,
причем модуль проецирования на поверхность дисплея проецирует цилиндрическое изображение с объединенной с ним информацией о степени глубины на поверхность дисплея для генерирования отображаемых изображений.
6. Способ генерирования стереоскопического изображения, содержащий:
процедуру проецирования на цилиндрическую поверхность, при которой проецируют двумерное входное изображение на цилиндрическую поверхность, содержащую воображаемую окружность, которая расположена по касательной к двум глазам, для генерирования цилиндрического изображения; и
процедуру проецирования на поверхность дисплея, при которой проецируют цилиндрическое изображение на поверхность дисплея в отношении каждого из двух глаз для генерирования отображаемых изображений, подлежащих поступлению соответственно в два глаза.
RU2010103049/08A 2008-06-06 2009-06-02 Устройство генерирования стереоскопического изображения, способ генерирования стереоскопического изображения и программа RU2519518C2 (ru)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2008149123A JP5083052B2 (ja) 2008-06-06 2008-06-06 立体視画像生成装置、立体視画像生成方法およびプログラム
JP2008-149123 2008-06-06
PCT/JP2009/060028 WO2009148038A1 (ja) 2008-06-06 2009-06-02 立体視画像生成装置、立体視画像生成方法およびプログラム

Publications (2)

Publication Number Publication Date
RU2010103049A RU2010103049A (ru) 2011-08-10
RU2519518C2 true RU2519518C2 (ru) 2014-06-10

Family

ID=41398115

Family Applications (1)

Application Number Title Priority Date Filing Date
RU2010103049/08A RU2519518C2 (ru) 2008-06-06 2009-06-02 Устройство генерирования стереоскопического изображения, способ генерирования стереоскопического изображения и программа

Country Status (10)

Country Link
US (1) US9507165B2 (ru)
EP (1) EP2172906A4 (ru)
JP (1) JP5083052B2 (ru)
KR (1) KR20110034575A (ru)
CN (2) CN102789058B (ru)
BR (1) BRPI0903910A2 (ru)
HK (1) HK1142427A1 (ru)
RU (1) RU2519518C2 (ru)
TW (1) TW201011689A (ru)
WO (1) WO2009148038A1 (ru)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2600524C2 (ru) * 2014-07-15 2016-10-20 Федеральное государственное автономное образовательное учреждение высшего профессионального образования "Санкт-Петербургский государственный университет аэрокосмического приборостроения" Способ конвертации 2d-изображения в квазистереоскопическое 3d-изображение
RU2721175C2 (ru) * 2015-06-16 2020-05-18 Конинклейке Филипс Н.В. Способ и устройство для определения карты глубины для изображения

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5235976B2 (ja) * 2010-05-31 2013-07-10 株式会社ソニー・コンピュータエンタテインメント 映像再生方法、および映像再生装置
KR20120051308A (ko) * 2010-11-12 2012-05-22 삼성전자주식회사 3d 입체감을 개선하고 시청 피로를 저감하는 방법 및 장치
KR20120052091A (ko) * 2010-11-15 2012-05-23 삼성전자주식회사 컴퓨터, 모니터, 기록매체 및 이에 적용되는 3차원 영상 제공방법
US9210322B2 (en) 2010-12-27 2015-12-08 Dolby Laboratories Licensing Corporation 3D cameras for HDR
US20130021446A1 (en) * 2011-07-20 2013-01-24 GM Global Technology Operations LLC System and method for enhanced sense of depth video
US20130147793A1 (en) * 2011-12-09 2013-06-13 Seongyeom JEON Mobile terminal and controlling method thereof
CN102692806B (zh) * 2012-06-04 2015-08-05 济南大学 自由视点四维空间视频序列的采集与形成方法
US9652881B2 (en) * 2012-11-19 2017-05-16 Panasonic Intellectual Property Management Co., Ltd. Image processing device and image processing method
KR102172388B1 (ko) * 2014-09-11 2020-10-30 엘지디스플레이 주식회사 곡면 디스플레이 및 이의 영상 처리 방법
CN104240294B (zh) * 2014-09-28 2017-10-20 华南理工大学 基于双目单视界的三维重建方法
US9818021B2 (en) * 2014-10-21 2017-11-14 Isra Surface Vision Gmbh Method for determining a local refractive power and device therefor
DE102014115331A1 (de) * 2014-10-21 2016-04-21 Isra Surface Vision Gmbh Verfahren und Vorrichtung zur Ermittlung einer dreidimensionalen Verzerrung
US10210660B2 (en) * 2016-04-06 2019-02-19 Facebook, Inc. Removing occlusion in camera views
US10326976B2 (en) * 2016-06-17 2019-06-18 Industry-Academic Cooperation Foundation, Yonsei University Method and apparatus for providing personal 3-dimensional image using convergence matching algorithm
US9609197B1 (en) 2016-08-19 2017-03-28 Intelligent Security Systems Corporation Systems and methods for dewarping images
US9547883B1 (en) * 2016-08-19 2017-01-17 Intelligent Security Systems Corporation Systems and methods for dewarping images
EP4153484A4 (en) * 2020-05-19 2024-05-29 Intelligent Security Systems Corporation TECHNOLOGIES FOR ANALYZING BEHAVIORS OF OR RELATING TO OBJECTS BASED ON CORRESPONDING STEREO IMAGES
CN114390271B (zh) * 2020-10-19 2023-08-18 苏州佳世达光电有限公司 判别连续影像顺序的***及其方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6507665B1 (en) * 1999-08-25 2003-01-14 Eastman Kodak Company Method for creating environment map containing information extracted from stereo image pairs
US6665003B1 (en) * 1998-09-17 2003-12-16 Issum Research Development Company Of The Hebrew University Of Jerusalem System and method for generating and displaying panoramic images and movies
RU2287858C2 (ru) * 2001-11-24 2006-11-20 Тдв Текнолоджиз Корп. Создание последовательности стереоскопических изображений из последовательности двумерных изображений
US7321374B2 (en) * 2001-11-24 2008-01-22 Newsight Corporation Method and device for the generation of 3-D images

Family Cites Families (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4875034A (en) * 1988-02-08 1989-10-17 Brokenshire Daniel A Stereoscopic graphics display system with multiple windows for displaying multiple images
US5644324A (en) * 1993-03-03 1997-07-01 Maguire, Jr.; Francis J. Apparatus and method for presenting successive images
JP3089306B2 (ja) * 1993-08-26 2000-09-18 松下電器産業株式会社 立体画像撮像及び表示装置
JPH09102052A (ja) * 1995-10-06 1997-04-15 Olympus Optical Co Ltd 立体画像表示装置
AUPN732395A0 (en) * 1995-12-22 1996-01-25 Xenotech Research Pty Ltd Image conversion and encoding techniques
JP2846856B2 (ja) * 1996-07-19 1999-01-13 三洋電機株式会社 立体映像表示装置
US6229562B1 (en) * 1997-07-08 2001-05-08 Stanley H. Kremen System and apparatus for the recording and projection of images in substantially 3-dimensional format
US7271803B2 (en) 1999-01-08 2007-09-18 Ricoh Company, Ltd. Method and system for simulating stereographic vision
JP2000228748A (ja) * 1999-02-05 2000-08-15 Ricoh Co Ltd 画像入力装置
JP2001141417A (ja) * 1999-11-11 2001-05-25 Fuji Photo Film Co Ltd 視差量補正装置
US7161614B1 (en) * 1999-11-26 2007-01-09 Sanyo Electric Co., Ltd. Device and method for converting two-dimensional video to three-dimensional video
JP4270695B2 (ja) * 1999-12-20 2009-06-03 知彦 服部 立体画像表示装置用2dー3d画像変換方式および装置
JP3425402B2 (ja) 2000-01-31 2003-07-14 独立行政法人通信総合研究所 立体画像を表示する装置および方法
JP2001245322A (ja) * 2000-03-01 2001-09-07 Inst Of Physical & Chemical Res 立体画像の入出力方法と装置
JP2002223458A (ja) * 2001-01-26 2002-08-09 Nippon Hoso Kyokai <Nhk> 立体映像作成装置
JP2002365593A (ja) 2001-06-08 2002-12-18 Sony Corp 表示装置、位置調整パターン表示プログラム、記録媒体、偏光メガネ、及び表示装置のフィルター位置調整方法
EP1410621A1 (en) * 2001-06-28 2004-04-21 Omnivee Inc. Method and apparatus for control and processing of video images
JP3929346B2 (ja) 2002-04-24 2007-06-13 日立造船株式会社 ステレオ画像表示方法およびステレオ画像表示装置
US7489812B2 (en) * 2002-06-07 2009-02-10 Dynamic Digital Depth Research Pty Ltd. Conversion and encoding techniques
US6890077B2 (en) * 2002-11-27 2005-05-10 The Boeing Company Method and apparatus for high resolution video image display
JP2004186863A (ja) * 2002-12-02 2004-07-02 Amita Technology Kk 立体映像表示装置及び立体映像信号処理回路
JP4644669B2 (ja) 2003-08-05 2011-03-02 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ マルチビュー画像の生成
JP2007524856A (ja) * 2003-12-12 2007-08-30 ヘッドプレイ、インク ヘッド・マウント・ディスプレイ用の光学構成
JP2005339313A (ja) * 2004-05-28 2005-12-08 Toshiba Corp 画像提示方法及び装置
GB0412651D0 (en) * 2004-06-07 2004-07-07 Microsharp Corp Ltd Autostereoscopic rear projection screen and associated display system
US8248458B2 (en) 2004-08-06 2012-08-21 University Of Washington Through Its Center For Commercialization Variable fixation viewing distance scanned light displays
JP4033859B2 (ja) 2004-12-28 2008-01-16 独立行政法人科学技術振興機構 立体画像表示方法
CN1330928C (zh) * 2005-12-29 2007-08-08 清华紫光股份有限公司 一种采用双波长结构光测量物体轮廓的方法
CN100552539C (zh) * 2006-01-10 2009-10-21 钟明 一种环幕立体电影图像的制作方法
JP4614456B2 (ja) 2006-07-07 2011-01-19 国立大学法人 東京大学 再帰性反射材、投影装置、航空機、および航空機用シミュレータ
US10908421B2 (en) * 2006-11-02 2021-02-02 Razer (Asia-Pacific) Pte. Ltd. Systems and methods for personal viewing devices
US8330801B2 (en) * 2006-12-22 2012-12-11 Qualcomm Incorporated Complexity-adaptive 2D-to-3D video sequence conversion
TWI331872B (en) * 2006-12-29 2010-10-11 Quanta Comp Inc Method for displaying stereoscopic image

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6665003B1 (en) * 1998-09-17 2003-12-16 Issum Research Development Company Of The Hebrew University Of Jerusalem System and method for generating and displaying panoramic images and movies
US6507665B1 (en) * 1999-08-25 2003-01-14 Eastman Kodak Company Method for creating environment map containing information extracted from stereo image pairs
RU2287858C2 (ru) * 2001-11-24 2006-11-20 Тдв Текнолоджиз Корп. Создание последовательности стереоскопических изображений из последовательности двумерных изображений
US7321374B2 (en) * 2001-11-24 2008-01-22 Newsight Corporation Method and device for the generation of 3-D images

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2600524C2 (ru) * 2014-07-15 2016-10-20 Федеральное государственное автономное образовательное учреждение высшего профессионального образования "Санкт-Петербургский государственный университет аэрокосмического приборостроения" Способ конвертации 2d-изображения в квазистереоскопическое 3d-изображение
RU2721175C2 (ru) * 2015-06-16 2020-05-18 Конинклейке Филипс Н.В. Способ и устройство для определения карты глубины для изображения

Also Published As

Publication number Publication date
RU2010103049A (ru) 2011-08-10
JP2009294988A (ja) 2009-12-17
EP2172906A4 (en) 2012-08-08
US9507165B2 (en) 2016-11-29
CN102789058A (zh) 2012-11-21
CN102789058B (zh) 2015-03-18
CN101796548B (zh) 2012-10-31
WO2009148038A1 (ja) 2009-12-10
HK1142427A1 (en) 2010-12-03
TW201011689A (en) 2010-03-16
JP5083052B2 (ja) 2012-11-28
BRPI0903910A2 (pt) 2015-06-30
EP2172906A1 (en) 2010-04-07
US20100201783A1 (en) 2010-08-12
KR20110034575A (ko) 2011-04-05
CN101796548A (zh) 2010-08-04

Similar Documents

Publication Publication Date Title
RU2519518C2 (ru) Устройство генерирования стереоскопического изображения, способ генерирования стереоскопического изображения и программа
US8503764B2 (en) Method for generating images of multi-views
US20120140038A1 (en) Zero disparity plane for feedback-based three-dimensional video
Kang et al. Experimental study of the influence of refraction on underwater three-dimensional reconstruction using the svp camera model
JP5450330B2 (ja) 画像処理装置および方法、ならびに立体画像表示装置
JP2010039501A (ja) 3次元移動の自由視点映像生成方法および記録媒体
JP2008140271A (ja) 対話装置及びその方法
CN108881893A (zh) 基于人眼跟踪的裸眼3d显示方法、装置、设备和介质
KR20080101998A (ko) 임의 시점 영상 합성 시 영상 보정 방법 및 장치
KR100980298B1 (ko) 모델링된 2차원 영상의 3차원 영상 변환 방법
JP2012042524A (ja) 画像処理装置および方法
KR20110025083A (ko) 입체 영상 시스템에서 입체 영상 디스플레이 장치 및 방법
TW201304505A (zh) 立體影像處理裝置以及立體影像處理方法
KR101741227B1 (ko) 입체 영상 표시 장치
KR101192121B1 (ko) 양안시차 및 깊이 정보를 이용한 애너그리프 영상 생성 방법 및 장치
KR20150047604A (ko) 물체 공간의 물정의 기술을 위한 방법 및 이의 실행을 위한 연결
JP5423845B2 (ja) 立体視画像生成装置、立体視画像生成方法およびプログラム
Hill Scalable multi-view stereo camera array for real world real-time image capture and three-dimensional displays
JP2013046081A (ja) 撮影装置および映像生成方法
Michels et al. Creating realistic ground truth data for the evaluation of calibration methods for plenoptic and conventional cameras
JP6076082B2 (ja) 立体画像補正装置及びそのプログラム
Hyun et al. Curved Projection Integral Imaging Using an Additional Large‐Aperture Convex Lens for Viewing Angle Improvement
KR20140000831A (ko) 디스플레이 장치 및 방법
JP2001175885A (ja) 立体画像表示装置用2dー3d画像変換方式および装置
WO2024093893A1 (zh) 空间现实显示方法、空间现实显示***以及非易失性计算机可读存储介质

Legal Events

Date Code Title Description
MM4A The patent is invalid due to non-payment of fees

Effective date: 20180603