JP2002223458A - Stereoscopic video image generator - Google Patents
Stereoscopic video image generatorInfo
- Publication number
- JP2002223458A JP2002223458A JP2001018802A JP2001018802A JP2002223458A JP 2002223458 A JP2002223458 A JP 2002223458A JP 2001018802 A JP2001018802 A JP 2001018802A JP 2001018802 A JP2001018802 A JP 2001018802A JP 2002223458 A JP2002223458 A JP 2002223458A
- Authority
- JP
- Japan
- Prior art keywords
- depth
- stereoscopic image
- display
- stereoscopic video
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Abstract
Description
【０００１】[0001]
【発明の属する技術分野】本発明は、過度の両眼視差に
よる視覚疲労を軽減し、視覚的に負担がなく、自然で見
やすい立体映像作成装置に関する。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a three-dimensional image producing apparatus which reduces visual fatigue due to excessive binocular parallax, has no visual burden, and is natural and easy to view.
【０００２】[0002]
【従来の技術】立体映像を得るためには、まず、人間の
視覚の性質を十分に把握する必要がある。われわれが周
囲の空間を奥行きをもって立体的に把握する際、いろい
ろな手がかりが用いられる。この手がかりとしては、単
眼によるものもあるが、両眼によるものもある。2. Description of the Related Art In order to obtain a stereoscopic image, it is first necessary to fully understand the nature of human vision. Various clues are used when we grasp the surrounding space three-dimensionally with depth. Some of these cues are monocular, but others are binocular.
【０００３】われわれが両眼を利用してある物体を眺め
たとき、この物体を立体として把握する場合、両眼は、
その対象の上で視線が交わるように内向きに回転し、水
晶体と呼ばれる目のレンズの厚さを変えることによりピ
ント調節が行われる。この内向きに回転する両眼の運動
は、輻輳（ふくそう）運動と呼ばれ、水晶体の動きは、
調節（Accomodation）運動と呼ばれる。When we look at an object using both eyes and grasp this object as a three-dimensional object,
Focus adjustment is performed by rotating inward so that the line of sight intersects the object and changing the thickness of the eye lens, called the crystalline lens. This inwardly rotating movement of both eyes is called convergence movement, and the movement of the crystalline lens is
It is called accommodation movement.
【０００４】図６は、この輻輳と調節との関係を示す説
明図である。この図６は、眼機能の検査で広く使用され
るDondersの輻輳線と呼ばれる図であり、輻輳運動と調
節運動とは直線Ｐで示すような関係になるといわれ、連
動している。この調節量及び輻輳量を逆数で表せば、輻
輳量と調節量との関係は領域Ｑとして表され、この領域
Ｑ内では、視対象の同一視が可能といわれている。FIG. 6 is an explanatory diagram showing the relationship between the congestion and the adjustment. FIG. 6 is a diagram called a Donders convergence line widely used in examination of eye function, and it is said that the convergence motion and the accommodative motion have a relationship shown by a straight line P, and are linked. If the amount of adjustment and the amount of convergence are represented by reciprocals, the relationship between the amount of convergence and the amount of adjustment is represented as an area Q, and within this area Q, it is said that the viewing target can be identified.
【０００５】われわれが両眼を利用して空間を立体的に
把握する場合、立体の奥行きの判断に特に重要となるの
は、輻輳と両眼視差である。両眼視差とは、両眼の網膜
上の像に生じたずれ量をいう。われわれが、ある物体を
眺めたとき、注視しているポイント、即ち、注視点で
は、両眼視差はないが、この注視点と離れた位置では、
両眼視差が生ずる。この両眼視差がある範囲以内なら
ば、われわれは、ある物体を二重像としてではなく一つ
のものとして見ることができる。これは両眼融合機能と
呼ばれる機能である。When we three-dimensionally grasp a space using both eyes, convergence and binocular disparity are particularly important for judging the depth of a solid. The binocular parallax refers to a shift amount generated in an image on the retina of both eyes. When we look at an object, there is no binocular disparity at the point we are gazing at, that is, at the gazing point, but at a position away from this gazing point,
Binocular parallax occurs. If this binocular disparity is within a certain range, we can see an object as one instead of as a double image. This is a function called a binocular fusion function.
【０００６】図７は、両眼融合機能を示す説明図であ
る。両眼で点Ｆを注視しているとき、心理的に等距離に
感じられる面がある。この面は、ホロプタ（Horopter）
と呼ばれる面であり、ホロプタは、図７に示すように、
両眼視差ゼロの軌跡を描くことにより表される。FIG. 7 is an explanatory diagram showing a binocular fusion function. When gazing at the point F with both eyes, there is a surface that is psychologically felt at an equal distance. This side is a horopter
The horopter is, as shown in FIG.
It is represented by drawing a locus of binocular disparity zero.
【０００７】このホロプタの前後の位置では、両眼の網
膜上の像にずれが生じるが、このずれの量が、図中、点
Ａで示すように斜線の範囲内であるときは、両眼の網膜
上の像は、われわれの脳内の情報処理によって、融合し
て１つのものとして見え、明確な奥行き感として知覚さ
れる。しかし、点Ｂで示すように、この範囲内からはず
れたとき、両眼の網膜上の像は、われわれの脳内の情報
処理において融合することなく、一般的には二重像とし
て知覚される。この斜線の領域はパナムの融合域（Panu
m's Fusion Area）と呼ばれる領域である。即ち、この
両眼融合機能を有することにより、物体の凹凸している
方向に応じて、その物体（両眼の網膜上の像）が前ある
いは後ろに奥行きをもって感じられる。At the positions before and after the horopter, there is a shift in the images on the retina of both eyes, and when the amount of the shift is within the range of the oblique line as indicated by point A in the figure, The image on the retina is merged and seen as one by information processing in our brain, and is perceived as a clear sense of depth. However, as shown by point B, when deviating from this range, the images on the retina of both eyes are generally perceived as double images without fusing in information processing in our brains . The shaded area is the Panum fusion area (Panu
m's Fusion Area). That is, by having the binocular fusion function, the object (the image on the retina of both eyes) is perceived with depth in front or behind, depending on the direction in which the object is uneven.
【０００８】両眼融合機能は比較的広い範囲で生じ、測
距に用いる器具に見られるように、両眼の像は、両眼間
が大きく離れた状態でも融合し、単一像として視覚され
る。また、図６にも示すように、両眼の像は、調節を一
定に保ったままでも融合する。[0008] The binocular fusion function occurs in a relatively wide range, and as seen in the instrument used for distance measurement, the images of both eyes are fused even when the distance between the eyes is large, and are viewed as a single image. You. In addition, as shown in FIG. 6, the images of both eyes are fused even when the adjustment is kept constant.
【０００９】このような人間の視覚の性質を利用して、
日常われわれが見ている世界と変わらないような立体感
と臨場感に富む画像を擬似的に作り出すための装置が立
体映像作成装置である。Utilizing the nature of human vision,
A stereoscopic image creation device is a device for artificially creating an image rich in a three-dimensional effect and a sense of reality that is not different from the world we see everyday.
【００１０】かかる立体映像作成装置では、被写体を２
方向から撮影し、２つの画像を得る。この撮影された２
つの画像を情報処理して、偏光フィルタやレンチキュラ
スクリーン等を備えた表示装置の表示画面上であるディ
スプレイ等に表示することにより、被写体が立体映像と
して再生される（作成される）。[0010] In such a stereoscopic video creating apparatus, the subject is set to 2
Shoot from the direction to obtain two images. This taken 2
By subjecting the two images to information processing and displaying them on a display or the like on a display screen of a display device provided with a polarizing filter, a lenticular screen, and the like, the subject is reproduced (created) as a stereoscopic video.
【００１１】図８は、立体映像を得るための撮影方法を
示す説明図である。撮影方法としては、平行法と交差法
がある。いずれも２つの撮影カメラが直線上に所定の間
隔（例えば瞳孔間隔：６５ｍｍ）をもって配置される
が、平行法では、図８（ａ）に示すように、２つのカメ
ラが、その光軸が平行となるように設置され、交差法で
は、図８（ｂ）に示すように、２つのカメラが、その光
軸が被写体空間中で交差するように設置される。FIG. 8 is an explanatory diagram showing a photographing method for obtaining a stereoscopic image. As the imaging method, there are a parallel method and an intersection method. In both cases, two photographing cameras are arranged at a predetermined interval (for example, pupil interval: 65 mm) on a straight line. However, in the parallel method, as shown in FIG. In the intersection method, as shown in FIG. 8B, two cameras are installed such that their optical axes intersect in the subject space.
【００１２】両眼融合機能を利用して立体映像を表示す
るには、再生像までの距離、あるいは大きさの再生を幾
何学的に正しく行うために、一般に、表示画面がひずま
ない「無ひずみ条件」での撮像、表示が望ましいとされ
ている。In order to display a stereoscopic image using the binocular fusion function, in order to reproduce the distance to the reproduced image or the size of the reproduced image geometrically correctly, generally, the display screen is not distorted. It is considered that imaging and display under “conditions” are desirable.
【００１３】図９は、無ひずみ条件の説明図である。こ
の図９（ａ）に示す２つの撮影カメラの間隔ｄ１、図９
（ｂ）に示す人間の眼の瞳孔間隔ｄ２及び左画面と右画
面のずれ量ｄ３すべてを等しく設定することにより、こ
の無ひずみ条件は満たされる。FIG. 9 is an explanatory diagram of a no-strain condition. The distance d1 between the two photographing cameras shown in FIG.
This distortion-free condition is satisfied by setting the pupil interval d2 of the human eye and the shift amount d3 between the left screen and the right screen as shown in FIG.
【００１４】このような無ひずみ条件の下で得た画像を
用い、両眼視差を利用して立体映像を再生するには、得
られた２つの画像を、左右の目にそれぞれ提示する。２
つの画像を左右の目に提示する方式としては、例えば、
偏光フィルタ方式、時分割立体方式等がある。In order to reproduce a stereoscopic video using binocular parallax using images obtained under such a distortion-free condition, the two obtained images are presented to the left and right eyes, respectively. 2
As a method of presenting one image to the left and right eyes, for example,
There are a polarizing filter method, a time-sharing three-dimensional method, and the like.
【００１５】偏光フィルタ方式は、偏光フィルタを２つ
のカメラに取り付けて左右画像をスクリーンに投写し、
直交する偏光フィルタ付きメガネで投写された映像を観
察することにより立体映像を再生する方式であり、時分
割立体方式は、視差のある左右画像を継続的に交互に切
り換えて両眼に提示すると同時に、シャッタメガネをか
け、このシャッタメガネを、左右画像の切り換えと同期
させて交互に開閉することにより立体映像を再生する方
式である。尚、立体映像を再生する方式は、この方式に
限られるものではなく、この他にも、例えば、立体鏡方
式のような光路による分離方式等、様々な方式がある。In the polarizing filter system, a polarizing filter is attached to two cameras and left and right images are projected on a screen.
It is a method of reproducing a stereoscopic image by observing the image projected with orthogonally polarized glasses with polarizing filters, and the time-division stereoscopic method is to switch the left and right images with parallax continuously alternately and present it to both eyes at the same time In this system, stereoscopic video is reproduced by putting on shutter glasses and alternately opening and closing the shutter glasses in synchronization with switching between left and right images. It should be noted that the method of reproducing the stereoscopic video is not limited to this method, and there are various other methods such as a separation method using an optical path such as a stereoscopic mirror method.
【００１６】このような方式を用いて２つの画像をスク
リーンに表示したとき、この画像の各点が両眼に対応す
るそれぞれの点となる。このスクリーンの観視者が奥行
きのある物体の一点を注視した場合、注視点に関して
は、両眼視差はゼロとなるが、この注視点からずれたと
ころでは、両眼視差が生じる。When two images are displayed on the screen using such a method, each point of the image becomes a point corresponding to both eyes. When the viewer of the screen gazes at a point of a deep object, the binocular disparity is zero with respect to the gazing point, but the binocular disparity occurs at a position shifted from the gazing point.
【００１７】しかし、前記した両眼融合機能により、観
視者は、表示画面に表示された立体映像を奥行きのある
ものとして見ることになる。この両眼融合機能は、前記
したように広い範囲で生じるため、観視者は、広い範囲
でこの立体映像を単一像としてみることができる。However, the viewer views the stereoscopic image displayed on the display screen as having a depth by the binocular fusion function described above. Since the binocular fusion function occurs in a wide range as described above, a viewer can view this stereoscopic image as a single image in a wide range.
【００１８】[0018]
【発明が解決しようとする課題】ところで、このような
従来の立体映像作成装置で作成された立体映像を、表示
装置によって表示した場合、観視者の視覚疲労が重要な
問題となる。即ち、観視者は、従来の立体映像作成装置
で作成された立体映像を見ていると、観視者の脳内の情
報処理である両眼融合機能によって、両眼視差の大きな
範囲においても、作成された立体映像を単一像として捉
えようとするので、脳内の情報処理に無理が生じ、その
結果、観視者は、目の疲れ（視覚疲労）を感じる。ま
た、奥行きのある物体の一点をより詳細に見るために
は、スクリーン上に表示された画像にピントを合わせる
必要があるが、両眼での注視点と、調節する奥行き方向
の位置とが大きくずれてくると、これが視覚疲労の原因
ともなる。When a stereoscopic image created by such a conventional stereoscopic image creating apparatus is displayed on a display device, visual fatigue of the viewer becomes an important problem. That is, when a viewer is viewing a stereoscopic video created by a conventional stereoscopic video creation device, the viewer can use a binocular fusion function, which is information processing in the brain of the viewer, even in a large range of binocular parallax. However, since the created stereoscopic image is intended to be captured as a single image, the information processing in the brain becomes unreasonable, and as a result, the viewer feels eyestrain (visual fatigue). Also, in order to see one point of a deep object in more detail, it is necessary to focus on the image displayed on the screen, but the point of gaze with both eyes and the position in the depth direction to be adjusted are large. If it shifts, this also causes visual fatigue.
【００１９】本発明は、このような点に鑑みてなされた
もので、このような視覚疲労の原因を解消し、視覚的に
負担がなく、自然で見やすい立体映像表示装置を提供す
ることを目的とする。The present invention has been made in view of the above points, and an object of the present invention is to eliminate such a cause of visual fatigue, and to provide a three-dimensional image display device which is natural and easy to view without a visual burden. And
【００２０】[0020]
【課題を解決するための手段】このため請求項１の発明
にかかる立体映像作成装置は、被写体を撮影カメラを用
いて撮影し、撮影される被写体の２つの画像を表示画面
上に表示し、これらの画像から両眼視差を利用して前記
被写体の立体映像を作成する立体映像作成装置におい
て、前記表示画面上に表示される２つの画像を、それぞ
れ所定領域に分割し、分割された２つの所定領域毎に相
関度を求め、得られた相関度に基づいて、作成される立
体映像と前記表示画面との距離の分布を算出する距離分
布計算部と、この距離分布計算部によって算出された距
離の分布に基づいて、前記表示画面上に表示される２つ
の画像の位置を制御することにより、作成される立体映
像の位置を前記表示画面の位置に対応するように制御す
る立体映像表示位置制御部と、この立体映像表示位置制
御部によって位置が制御された立体映像の２つの画像の
対応点を求め、当該対応点毎に作成される立体映像の奥
行きを計算する奥行き計算部と、この奥行き計算部によ
って計算された計算結果に基づいて、作成される立体映
像の奥行きが眼球光学系の焦点深度内となるように、当
該奥行きを制御する立体映像奥行き制御部と、を備える
ようにしたものである。According to the first aspect of the present invention, there is provided a three-dimensional image creating apparatus, wherein a subject is photographed using a photographing camera, and two images of the photographed subject are displayed on a display screen. In a three-dimensional image creating apparatus that creates a three-dimensional image of the subject using binocular parallax from these images, the two images displayed on the display screen are each divided into predetermined regions, and the two divided two A distance distribution calculating unit that calculates a degree of correlation for each predetermined area and calculates a distance distribution between the created stereoscopic image and the display screen based on the obtained degree of correlation, and a distance distribution calculating unit that calculates the distance distribution. A stereoscopic image display position for controlling the position of the created stereoscopic image to correspond to the position of the display screen by controlling the positions of the two images displayed on the display screen based on the distribution of distances; A depth calculating unit that calculates a corresponding point between two images of the stereoscopic image whose position is controlled by the stereoscopic image display position control unit, and calculates a depth of a stereoscopic image created for each corresponding point; A stereoscopic video depth control unit that controls the depth such that the depth of the created stereoscopic video is within the focal depth of the eyeball optical system based on the calculation result calculated by the depth calculation unit. Things.
【００２１】また、請求項２の発明にかかる立体映像作
成装置は、直線上或いは略円弧線上に光軸間隔をもって
配置された２つの撮影カメラを用いて被写体を撮影し、
得られた２つの画像を表示画面上に表示し、表示された
２つの表示画像から両眼視差を利用して前記被写体の立
体映像を作成する立体映像作成装置において、前記表示
画面上に表示された２つの表示画像を、それぞれ所定領
域に分割し、分割された２つの所定領域の相関度を所定
領域毎に求め、得られた相関度に基づいて、作成される
立体映像と前記表示画面との距離の分布を算出する距離
分布計算部と、この距離分布計算部によって算出された
距離の分布に基づいて、表示画面上に表示された２つの
画像の位置関係を制御することにより、作成される立体
映像の位置を表示画面の位置と対応するように制御する
立体映像表示位置制御部と、この立体映像表示位置制御
部によって位置が制御された立体映像の２つの表示画像
の対応点を求め、当該対応点毎に作成される立体映像の
奥行きを計算する奥行き計算部と、この奥行き計算部に
よって計算された計算結果に基づいて、立体映像の奥行
きが眼球光学系の焦点深度内となるように、当該奥行き
を制御する立体映像奥行き制御部と、を備えるようにし
たものである。Further, the stereoscopic image creating apparatus according to the second aspect of the present invention captures an object using two photographing cameras arranged on a straight line or a substantially circular arc line at an optical axis interval,
In a stereoscopic video creating apparatus that displays the obtained two images on a display screen and creates a stereoscopic video of the subject from the displayed two display images using binocular parallax, the stereoscopic video is displayed on the display screen. The two displayed images are each divided into predetermined regions, the degree of correlation between the two divided predetermined regions is determined for each predetermined region, and based on the obtained degree of correlation, a stereoscopic image created and the display screen are displayed. And a distance distribution calculator that calculates the distance distribution of the two images, and controls the positional relationship between the two images displayed on the display screen based on the distance distribution calculated by the distance distribution calculator. Display position control unit for controlling the position of the stereoscopic video to correspond to the position of the display screen, and the corresponding points of the two display images of the stereoscopic video whose positions are controlled by the stereoscopic video display position control unit are determined. , A depth calculation unit that calculates the depth of the stereoscopic image created for each of the corresponding points, and based on the calculation result calculated by the depth calculation unit, the depth of the stereoscopic image is within the focal depth of the eyeball optical system. , A stereoscopic video depth control unit for controlling the depth.
【００２２】かかる構成によれば、前記表示画面上に表
示された２つの表示画像は、距離分布計算部により、そ
れぞれ所定領域に分割され、分割された２つの所定領域
の相関度が所定領域毎に求められ、得られた相関度に基
づいて、作成される立体映像と表示画面との距離の分布
が算出される。According to this configuration, the two display images displayed on the display screen are each divided into predetermined regions by the distance distribution calculation unit, and the correlation between the two divided predetermined regions is determined for each predetermined region. The distribution of the distance between the created stereoscopic video and the display screen is calculated based on the obtained degree of correlation.
【００２３】表示画面上に表示された２つの画像の位置
は、算出された距離の分布に基づいて立体映像表示位置
制御部によって制御され、作成される立体映像の位置が
表示画面の位置と対応するように制御される。The positions of the two images displayed on the display screen are controlled by the stereoscopic image display position control unit based on the calculated distance distribution, and the position of the stereoscopic image created corresponds to the position of the display screen. Is controlled.
【００２４】位置が制御された立体映像の２つの表示画
像の対応点は奥行き計算部によって求められ、対応点毎
に作成される立体映像の奥行きが計算される。この計算
結果に基づいて、立体映像の奥行きは、奥行き計算部に
よって計算された計算結果に基づいて、立体映像奥行き
制御部により、眼球光学系の焦点深度内となるように制
御される。The corresponding point of the two displayed images of the stereoscopic video whose position is controlled is determined by the depth calculator, and the depth of the stereoscopic video created for each corresponding point is calculated. Based on the calculation result, the depth of the stereoscopic video is controlled by the stereoscopic video depth control unit based on the calculation result calculated by the depth calculation unit so as to be within the depth of focus of the eyeball optical system.
【００２５】このように、作成される立体映像の位置は
表示画面の位置に対応するので、輻輳と調節は一致す
る。また、立体映像の奥行きは眼球光学系の焦点深度内
となり、この眼球光学系の焦点深度内では、両眼の輻輳
と調節がうまく連動するので、制御された表示画像を両
眼で注視しても、両眼視差は軽減され、両眼での注視点
と調節する奥行き方向の位置における像はうまく融合
し、視覚疲労は軽減される。As described above, since the position of the stereoscopic image to be created corresponds to the position of the display screen, the convergence coincides with the adjustment. Also, the depth of the stereoscopic image is within the depth of focus of the eyeball optical system, and within this depth of focus of the eyeball optical system, the convergence and adjustment of both eyes work well together. However, the binocular parallax is reduced, the image at the point of gaze and the position in the depth direction to be adjusted is well fused, and visual fatigue is reduced.
【００２６】[0026]
【発明の実施の形態】以下、本発明の実施の形態を図面
に基づいて説明する。まず、第１の実施の形態について
説明する。図１は、第１の実施の形態の構成を示すブロ
ック図である。第１の実施の形態の立体映像作成装置１
は、距離分布計算部１１と、立体映像表示位置制御部１
２と、奥行き計算部１３と、立体映像奥行き制御部１４
と、を備えて構成されている。Embodiments of the present invention will be described below with reference to the drawings. First, a first embodiment will be described. FIG. 1 is a block diagram showing the configuration of the first embodiment. Stereoscopic image creation device 1 according to first embodiment
Is a distance distribution calculator 11 and a stereoscopic video display position controller 1
2, a depth calculator 13 and a stereoscopic video depth controller 14
And is provided.
【００２７】距離分布計算部１１は、立体映像をブロッ
ク状に分割し、立体映像から表示画面としてのスクリー
ンまでの距離分布を算出するブロックである。立体映像
表示位置制御部１２は、距離分布計算部１１によって算
出された距離分布に基づいて、作成される立体映像の位
置を移動し、表示画面の位置と対応するように制御する
ブロックである。The distance distribution calculator 11 is a block for dividing a stereoscopic video into blocks and calculating a distance distribution from the stereoscopic video to a screen as a display screen. The stereoscopic image display position control unit 12 is a block that moves the position of the stereoscopic image to be created based on the distance distribution calculated by the distance distribution calculation unit 11 and controls the position to correspond to the position of the display screen.
【００２８】奥行き計算部１３は、立体映像の各画素ご
とに視差を算出し、立体映像の奥行きを計算するブロッ
クである。立体映像奥行き制御部１４は、奥行き計算部
１３によって計算された計算結果に基づいて、立体映像
の奥行きが眼球光学系の焦点深度内となるように、当該
奥行きを制御するブロックである。The depth calculator 13 is a block for calculating parallax for each pixel of the stereoscopic video and calculating the depth of the stereoscopic video. The stereoscopic video depth control unit 14 is a block that controls the depth based on the calculation result calculated by the depth calculation unit 13 so that the depth of the stereoscopic video is within the focal depth of the eyeball optical system.
【００２９】次に動作を説明する。図２は第１の実施の
形態の動作を示す説明図である。ここでは、被写体とし
て円錐Ｃを用いて説明する。この円錐Ｃは、無ひずみ条
件を満足するために平行法を用いて撮像される。Next, the operation will be described. FIG. 2 is an explanatory diagram showing the operation of the first embodiment. Here, a description will be given using a cone C as a subject. This cone C is imaged using the parallel method to satisfy the distortion-free condition.
【００３０】このように撮影、再生された円錐Ｃまでの
距離、あるいは大きさの再生は、幾何学的に正しく行わ
れる。表示に際して、観視者と円錐Ｃの間には、Ｌ
（左）画面、Ｒ画面の仮想表示面を設置することが可能
である。The reproduction of the distance or the size to the cone C thus photographed and reproduced is performed geometrically correctly. At the time of display, L is placed between the viewer and the cone C.
(Left) It is possible to set virtual display surfaces of the screen and the R screen.
【００３１】尚、本実施の形態では、撮像に関して、基
本的に無ひずみ条件を満足するために平行法を用いた場
合を前提として説明するが、これに限られるものではな
く、交差法を用いても適用は可能である。In the present embodiment, the description will be given on the assumption that the parallel method is used to basically satisfy the no-strain condition. However, the present invention is not limited to this. However, the application is possible.
【００３２】観視者が両眼で円錐Ｃの一点Ａを注視した
とき、この注視点Ａに関しては、両眼視差がゼロとな
り、他の部分、例えば、点Ｂに関しては、両眼視差が生
じる。しかし、前記した両眼融合機能により、観視者
は、この円錐Ｃを奥行きのある物体として見ることにな
る。When the viewer gazes at one point A of the cone C with both eyes, the binocular disparity becomes zero for the point of regard A, and the binocular disparity occurs for other parts, for example, the point B. . However, the viewer sees the cone C as a deep object by the binocular fusion function described above.
【００３３】図２において、仮想表示面は、２つの撮影
カメラのレンズ位置に両眼を置いたときの表示面であ
る。この場合、無ひずみ条件の下では、円錐Ｃの点Ａ，
Ｂへの視線と仮想表示面とが交差した点Ｌａ，Ｒａ，Ｌ
ｂ，Ｒｂを光点としてスクリーン等の表示画面に表示す
れば、観視者は、この仮想表示面において、被写体であ
る円錐Ｃと大きさも位置も合致した円錐Ｃの立体映像を
見ることができる。In FIG. 2, the virtual display surface is a display surface when both eyes are placed at the lens positions of two photographing cameras. In this case, under the strain-free condition, the points A,
Points La, Ra, L where the line of sight to B and the virtual display surface intersect
If b and Rb are displayed as light spots on a display screen such as a screen, the viewer can see a stereoscopic image of the cone C whose size and position match the cone C as the subject on this virtual display surface. .
【００３４】実際には、撮影カメラによって撮影された
２つの画像は、例えば、偏光フィルタ方式、時分割立体
方式等を用いて観視者の左右の目にそれぞれ提示され
る。以後、この仮想表示面を、それぞれ実際のＬ画面、
Ｒ画面として説明する。In practice, two images photographed by the photographing camera are presented to the left and right eyes of the viewer using, for example, a polarizing filter method, a time-division stereoscopic method, or the like. Hereinafter, this virtual display surface is referred to as an actual L screen,
Description will be given as an R screen.
【００３５】距離分布計算部１１では、このＲ画面、Ｌ
画面の画像に対して、まず、ブロックの分割が行われ
る。次に、この各ブロックについて、２つの画像の相関
度を求める。In the distance distribution calculation unit 11, the R screen, L
First, block division is performed on the screen image. Next, the degree of correlation between the two images is determined for each block.
【００３６】相関度を求めるには、左右の画像をそれぞ
れｍ×ｎに分割し、そのうち、Ｒ画像のブロック(x,y)
におけるブロックをＲblock(x,y)として、このＲblock
(x,y)に着目する。また、対応する左画像のブロックを
Ｌblock(x,y)として、Ｌblock(x,y)から水平にｐ、垂直
にｑだけ移動し、その距離の二乗誤差を求める。To determine the degree of correlation, the left and right images are each divided into m × n, and the block (x, y) of the R image is
Let Rblock (x, y) be the block at
Focus on (x, y). Further, assuming that the corresponding block of the left image is Lblock (x, y), the block is moved horizontally by p and vertically by q from Lblock (x, y), and the square error of the distance is obtained.
【００３７】そのアルゴリズムは以下のようになる。 for(i,j＝−ｐ to＋p,−q to＋q) LRdiff(i,j)＝(Rblock(x,y)−Lblock(x＋i,y＋j)) ＊(Rblock(x,y)−Lblock(x＋i,y＋j)) 但し、LRdiff(i,j)：Ｌ，Ｒ画像におけるブロックの距
離の二乗誤差The algorithm is as follows. for (i, j = −p to + p, −q to + q) LRdiff (i, j) = (Rblock (x, y) −Lblock (x + i, y + j)) * (Rblock (x, y) −Lblock (x + i, y + j) )) Where LRdiff (i, j): square error of distance between blocks in L and R images
【００３８】さらに、求めた二乗誤差のうち、最小の二
乗誤差が得られたときの移動量ｐ，ｑを求め、ｐ，ｑの
二乗平方根から、着目している（ｘ，ｙ）での視差（pa
rallax）を求める。ただし、符号は水平方向、すなわち
ｐの符号で決定される。Further, among the obtained square errors, the movement amounts p and q when the minimum square error is obtained are obtained, and the parallax at (x, y) of interest is determined from the square root of p and q. (Pa
rallax). However, the sign is determined in the horizontal direction, that is, the sign of p.
【００３９】アルゴリズムは以下のようになる。 for(i,j＝−ｐ to＋p,−q to＋q) LRdiff(i,j)＝(Rblock(x,y)−Lblock(x＋i,y＋j)) ＊(Rblock(x,y)−Lblock(x＋i,y＋j)) 視差は、図２に示す円錐Ｃ上の位置によって異なり、そ
の値は、分割した（ｍ×ｎ）個だけ得られることにな
る。The algorithm is as follows. for (i, j = −p to + p, −q to + q) LRdiff (i, j) = (Rblock (x, y) −Lblock (x + i, y + j)) * (Rblock (x, y) −Lblock (x + i, y + j) )) The disparity differs depending on the position on the cone C shown in FIG. 2, and only (m × n) divided values are obtained.
【００４０】図３は、このようにした得られた視差の分
布の一例を示す説明図である。この図３に示すように、
視差の分布を調べるには、視差の値をｘ軸、視差の累積
値をｙ軸に取る。FIG. 3 is an explanatory diagram showing an example of the distribution of parallax obtained in this manner. As shown in FIG.
To examine the distribution of parallax, the value of parallax is set on the x-axis, and the cumulative value of parallax is set on the y-axis.
【００４１】視差がこの図３に示すように分布した場
合、この分布に対して領域スレシホールドＡth，視差の
最小スレシホールドＰar#min，最大スレシホールドＰar
#maxを設定し、これらのスレシホールドの範囲内で分布
の中心を求める。分布の中心を求めるには、例えば、重
みづけ平均による平均値を算出する。ただし、算出方法
については、このような方法に限定されるものではな
い。When the parallax is distributed as shown in FIG. 3, the distribution has an area threshold Ath, a minimum parallax threshold Par # min, and a maximum threshold Par.
Set #max and find the center of the distribution within these thresholds. In order to obtain the center of the distribution, for example, an average value based on a weighted average is calculated. However, the calculation method is not limited to such a method.
【００４２】このようにして求められた分布中心におけ
る視差は、Ｌ画面、Ｒ画面から立体映像の奥行き範囲の
中心までの距離に相当する。即ち、視差が大きければ、
映像対象はＬ画面、Ｒ画面から離れたところに位置して
いることになり、この分布中心を求めることにより、立
体映像の奥行き範囲の中心からＬ画面、Ｒ画面までの距
離が求められることになる。The parallax at the distribution center obtained in this way corresponds to the distance from the L screen and the R screen to the center of the depth range of the stereoscopic video. That is, if the parallax is large,
The image object is located far from the L screen and the R screen. By obtaining the distribution center, the distance from the center of the depth range of the stereoscopic image to the L screen and the R screen can be obtained. Become.
【００４３】立体映像表示位置制御部１２では、このよ
うに算出された立体映像の奥行き範囲の中心までの距離
に基づいて、立体映像の表示位置を制御する。制御は、
作成される円錐Ｃの映像位置をＬ画面、Ｒ画面の表示位
置と対応するように行われるが、基本的には距離の分布
中心がＬ画面、Ｒ画面と一致するようにするのが望まし
い。この制御は、左右どちらかの画像を水平方向にシフ
トすることにより行われる。The three-dimensional image display position control unit 12 controls the three-dimensional image display position based on the distance to the center of the depth range of the three-dimensional image thus calculated. Control is
Although the image position of the created cone C is made to correspond to the display positions of the L screen and the R screen, it is basically desirable that the distribution center of the distance coincides with the L screen and the R screen. This control is performed by shifting either the left or right image in the horizontal direction.
【００４４】このように画像をシフトすることにより、
視差は変化し、左右の画像のずれ量が変わり、立体映像
の奥行き範囲の中心がスクリーン上に移動する。そし
て、両眼の輻輳角は、スクリーン面と両眼との間隔で決
定され、ピント調節はこのスクリーン上で行われる。従
って、立体映像の中心をみたとき、スクリーン上での調
節と輻輳とが一致することになる。By shifting the image in this way,
The parallax changes, the amount of displacement between the left and right images changes, and the center of the depth range of the stereoscopic image moves on the screen. The angle of convergence of both eyes is determined by the distance between the screen surface and both eyes, and focus adjustment is performed on this screen. Therefore, when viewing the center of the stereoscopic image, the adjustment on the screen and the convergence coincide.
【００４５】表示位置が制御された映像情報は、立体映
像奥行き制御部１３を介して奥行き計算部１４に入力さ
れ、立体映像の奥行きが以下のように計算される。ま
ず、Ｌ画面、Ｒ画面の画像での各面素ごとの対応点が求
められる。The video information whose display position is controlled is input to the depth calculator 14 via the stereoscopic video depth controller 13, and the depth of the stereoscopic video is calculated as follows. First, corresponding points for each surface element in the images of the L screen and the R screen are obtained.
【００４６】アルゴリズム例は、以下の通りとなる。 for(i=−ｐ to＋p) Ｒimage(x) match to Ｌimage(x＋p) 但し、尚、Ｒimage(x)：右眼に対応する画像の点ｘにお
ける画素 Ｌimage(x)：右眼に対応する画像の点ｘにおける画素An example of the algorithm is as follows. for (i = -p to + p) Rimage (x) match to Limage (x + p) where Rimage (x): pixel at point x of image corresponding to right eye Limage (x): image of image corresponding to right eye Pixel at point x
【００４７】図４は、かかる奥行き計算部１４の動作を
説明するための説明図である。この図４に示すように、
前記アルゴリズムに従ってＬimage(x)をシフトし、Ｒim
age(x)との対応点を求める。この対応点を求めるには、
弛緩法を用いるのが、最も一般的な方法である。FIG. 4 is an explanatory diagram for explaining the operation of the depth calculator 14. As shown in FIG.
Shift Limage (x) according to the algorithm above and Rim
Find the corresponding point with age (x). To find this corresponding point,
Using the relaxation method is the most common method.
【００４８】対応点との差ｄは、以下のようなアルゴリ
ズムによって決定される。 Ｒimage(x)＝d when Ｒimage(x) match to Ｌimage(x) これにより、Ｒimage(x)に関して、各画素での両眼視差
（disparity）が求められる。この求められた両眼視差
に基づいて奥行きが算出される。The difference d from the corresponding point is determined by the following algorithm. Rimage (x) = d when Rimage (x) match to Limage (x) With this, the binocular disparity (disparity) at each pixel is obtained for Rimage (x). The depth is calculated based on the obtained binocular parallax.
【００４９】立体映像奥行き制御部１４では、奥行き計
算部１３によって求められた各画素での両眼視差に基づ
いて奥行きの制御が行われる。奥行き量を制御するに
は、奥行き量を外挿するのではなく、一般的には、シュ
リンクさせることになる。The stereoscopic video depth controller 14 controls the depth based on the binocular parallax of each pixel obtained by the depth calculator 13. In order to control the depth amount, shrinkage is generally performed instead of extrapolating the depth amount.
【００５０】図５は、シュリンク量の算出方法を説明す
るための説明図である。シュリンクした量をdispa'(x)
とすると、シュリンク量dispa'(x)は、この図５に示す
斜線部を通る直線に従って決定され、これにより、任意
の大きさでシュリンクさせることができる。この新たに
求めたシュリンク量dispa'(x)に基づいてＲimage(x)が
シフトされ、Ｌimage(x)が生成される。そして、Ｌimag
e(x)、Ｒimage(x)を、それぞれＬ画面、Ｒ画面に表示す
ることにより、奥行きが制御されたことになる。FIG. 5 is an explanatory diagram for explaining a method of calculating a shrink amount. Dispa '(x)
Then, the shrink amount dispa '(x) is determined according to the straight line passing through the hatched portion shown in FIG. 5, whereby the shrink amount can be shrunk at an arbitrary size. Rimage (x) is shifted based on the newly obtained shrink amount dispa '(x) to generate Limage (x). And Limag
By displaying e (x) and Rimage (x) on the L screen and the R screen, respectively, the depth is controlled.
【００５１】尚、一般的にはＤはｄに比べて小であるか
ら、（ｄ−Ｄ）個のシュリンクに伴ってアンカバー領域
（カバーできない領域）が生じるが、周囲画像からの補
間処理を施すことにより、以上の処理は可能となる。ま
た、一般的な、非対応点の問題に関しては、やはり、補
間処理で対応させるようにすればよい。Since D is generally smaller than d, an uncovered area (an area that cannot be covered) is generated with (d−D) shrinks. By performing the above, the above-described processing becomes possible. In addition, a general problem of non-corresponding points may be dealt with by interpolation processing.
【００５２】また、本実施の形態では、立体映像の位置
及び奥行きを制御しているので、立体映像の距離感及び
奥行き感は、制御しない場合と比較して変わってくる
が、この立体映像の距離感及び奥行き感は、両眼視差等
の生理的要因だけでなく、表示画面上の輝度、コントラ
スト、彩度等の絵画的要因によっても左右される。従っ
て、これらの絵画的要因を調節することにより立体映像
の距離感及び奥行き感を修正することができる。In this embodiment, since the position and the depth of the stereoscopic video are controlled, the sense of distance and the depth of the stereoscopic video are different from those without control. The sense of distance and the sense of depth are affected not only by physiological factors such as binocular parallax, but also by pictorial factors such as brightness, contrast, and saturation on the display screen. Therefore, by adjusting these pictorial factors, the sense of distance and the sense of depth of the stereoscopic image can be corrected.
【００５３】かかる構成によれば、立体映像の奥行き範
囲の中心を再生の表示面、もしくは、表示画面上に移動
し、さらに、立体映像の奥行きが眼球光学系の焦点深度
内となるように奥行きを制御するようにしたので、両眼
の輻輳と調節がうまく連動するので、制御された表示画
像を両眼で注視しても、両眼視差は軽減され、両眼での
注視点と調節する奥行き方向の位置における像はうまく
融合し、視覚疲労は軽減され、視覚疲労のない立体像を
得ることができる。According to this configuration, the center of the depth range of the stereoscopic image is moved to the display surface or the display screen for reproduction, and the depth of the stereoscopic image is set so as to be within the focal depth of the eyeball optical system. Because the convergence and the adjustment of both eyes work well together, even if the controlled display image is gazed at with both eyes, the binocular parallax is reduced and the gazing point is adjusted with both eyes The images at the positions in the depth direction are well fused, the visual fatigue is reduced, and a stereoscopic image without visual fatigue can be obtained.
【００５４】尚、両眼視差を利用して立体映像を再生す
る方式としては、偏光フィルタ方式、時分割立体方式
等、種々あるが、どのような方式を用いてもこの実施の
形態を適用することができる。There are various methods for reproducing a stereoscopic video using binocular parallax, such as a polarizing filter method and a time-division stereoscopic method. This embodiment is applied to any method. be able to.
【００５５】また、本実施の形態では、立体映像の表示
位置を制御してから奥行きを制御するようにしたが、そ
の反対に立体映像の奥行きを制御してから立体映像の表
示位置を制御することもでき、その場合でも結果は同じ
となる。Further, in the present embodiment, the depth is controlled after controlling the display position of the stereoscopic video. On the contrary, the display position of the stereoscopic video is controlled after controlling the depth of the stereoscopic video. Can be done, and the result will be the same.
【００５６】[0056]
【発明の効果】以上説明したように、請求項１の発明に
かかる立体映像作成装置によれば、奥行きある映像の奥
行き範囲の中心を再生の表示面、もしくは、表示画面上
に移動し、その状態で、立体映像の奥行きが眼球光学系
の焦点深度内となるように、奥行きを制御するようにし
たので、両眼の輻輳と調節がうまく連動する範囲内で立
体映像を作成することができ、制御された表示画像を両
眼で注視しても、両眼視差は軽減され、両眼での注視点
と調節する奥行き方向の位置における像はうまく融合
し、視覚疲労は軽減され、視覚疲労のない立体像を得る
ことができる。As described above, according to the three-dimensional image creating apparatus according to the first aspect of the present invention, the center of the depth range of the image having the depth is moved to the display surface or the display screen for reproduction. In this state, the depth is controlled so that the depth of the stereoscopic image is within the depth of focus of the eyeball optical system, so that the stereoscopic image can be created within the range where the convergence and adjustment of both eyes work well together. Even if the controlled display image is gazed at with both eyes, the binocular parallax is reduced, the gazing point with both eyes and the image at the adjusted depth position are well fused, visual fatigue is reduced, and visual fatigue is reduced. A three-dimensional image without blemishes can be obtained.
【図１】本発明の第１の実施の形態の構成を示すブロッ
ク図である。FIG. 1 is a block diagram showing a configuration of a first exemplary embodiment of the present invention.
【図２】第１の実施の形態の動作を示す説明図である。FIG. 2 is an explanatory diagram showing an operation of the first embodiment.
【図３】第１の実施の形態における視差の分布の一例を
示す説明図である。FIG. 3 is an explanatory diagram illustrating an example of a parallax distribution according to the first embodiment.
【図４】第１の実施の形態における奥行き計算部の動作
を説明するための説明図である。FIG. 4 is an explanatory diagram for explaining an operation of a depth calculation unit according to the first embodiment.
【図５】第１の実施の形態におけるシュリンク量の算出
方法を説明するための説明図である。FIG. 5 is an explanatory diagram for describing a method of calculating a shrink amount according to the first embodiment.
【図６】両眼の輻輳と調節との関係を示す説明図であ
る。FIG. 6 is an explanatory diagram showing the relationship between vergence and accommodation of both eyes.
【図７】両眼融合機能を示す説明図である。FIG. 7 is an explanatory diagram showing a binocular fusion function.
【図８】立体映像を得るための撮影方法を示す説明図で
ある。FIG. 8 is an explanatory diagram showing a shooting method for obtaining a stereoscopic video.
【図９】無ひずみ条件の説明図である。FIG. 9 is an explanatory diagram of a distortion-free condition.
１ 立体映像作成装置 １１ 距離分布計算部 １２ 立体映像表示位置制御部 １３ 奥行き計算部 １４ 立体映像奥行き制御部 DESCRIPTION OF SYMBOLS 1 3D image production apparatus 11 Distance distribution calculation unit 12 3D image display position control unit 13 Depth calculation unit 14 3D image depth control unit
Claims (2)
影される被写体の２つの画像を表示画面上に表示し、こ
れらの画像から両眼視差を利用して前記被写体の立体映
像を作成する立体映像作成装置において、 前記表示画面上に表示される２つの画像を、それぞれ所
定領域に分割し、分割された２つの所定領域毎に相関度
を求め、得られた相関度に基づいて、作成される立体映
像と前記表示画面との距離の分布を算出する距離分布計
算部と、 この距離分布計算部によって算出された距離の分布に基
づいて、前記表示画面上に表示される２つの画像の位置
を制御することにより、作成される立体映像の位置を前
記表示画面の位置に対応するように制御する立体映像表
示位置制御部と、 この立体映像表示位置制御部によって位置が制御された
立体映像の２つの画像の対応点を求め、当該対応点毎に
作成される立体映像の奥行きを計算する奥行き計算部
と、 この奥行き計算部によって計算された計算結果に基づい
て、作成される立体映像の奥行きが眼球光学系の焦点深
度内となるように、当該奥行きを制御する立体映像奥行
き制御部と、を備えたことを特徴とする立体映像作成装
置。1. A subject is photographed using a photographing camera, two images of the photographed subject are displayed on a display screen, and a stereoscopic image of the subject is created from these images using binocular parallax. In the three-dimensional image creating apparatus, the two images displayed on the display screen are each divided into predetermined regions, a correlation degree is obtained for each of the two divided predetermined regions, and a creation is performed based on the obtained correlation degree. A distance distribution calculator for calculating a distance distribution between the stereoscopic image to be displayed and the display screen; and a distance distribution calculator for calculating two images displayed on the display screen based on the distance distribution calculated by the distance distribution calculator. A stereoscopic image display position control unit that controls the position of the created stereoscopic image so as to correspond to the position of the display screen by controlling the position; and a stereoscopic image whose position is controlled by the stereoscopic image display position control unit. A depth calculating unit for calculating corresponding points of two images of the video and calculating a depth of a stereoscopic image created for each of the corresponding points; a stereoscopic image created based on a calculation result calculated by the depth calculating unit A stereoscopic video depth control unit that controls the depth of the stereoscopic video so that the depth is within the depth of focus of the eyeball optical system.
って配置された２つの撮影カメラを用いて被写体を撮影
し、得られた２つの画像を表示画面上に表示し、表示さ
れた２つの表示画像から両眼視差を利用して前記被写体
の立体映像を作成する立体映像作成装置において、 前記表示画面上に表示された２つの表示画像を、それぞ
れ所定領域に分割し、分割された２つの所定領域の相関
度を所定領域毎に求め、得られた相関度に基づいて、作
成される立体映像と前記表示画面との距離の分布を算出
する距離分布計算部と、 この距離分布計算部によって算出された距離の分布に基
づいて、表示画面上に表示された２つの画像の位置関係
を制御することにより、作成される立体映像の位置を表
示画面の位置と対応するように制御する立体映像表示位
置制御部と、 この立体映像表示位置制御部によって位置が制御された
立体映像の２つの表示画像の対応点を求め、当該対応点
毎に作成される立体映像の奥行きを計算する奥行き計算
部と、 この奥行き計算部によって計算された計算結果に基づい
て、立体映像の奥行きが眼球光学系の焦点深度内となる
ように、当該奥行きを制御する立体映像奥行き制御部
と、を備えたことを特徴とする立体映像作成装置。2. An object is photographed by using two photographing cameras arranged on a straight line or a substantially arc line with an optical axis interval, and two obtained images are displayed on a display screen. In a three-dimensional image creating apparatus that creates a three-dimensional image of the subject using a binocular parallax from a display image, two display images displayed on the display screen are each divided into predetermined regions, and the two divided images are divided into two regions. A distance distribution calculation unit that calculates a degree of correlation of the predetermined area for each predetermined area, and calculates a distribution of a distance between the created stereoscopic image and the display screen based on the obtained degree of correlation; A stereoscopic image that controls the position of the created stereoscopic image to correspond to the position of the display screen by controlling the positional relationship between the two images displayed on the display screen based on the calculated distribution of distances. display A position control unit, a depth calculation unit that calculates a corresponding point between two display images of the stereoscopic image whose position is controlled by the stereoscopic image display position control unit, and calculates a depth of a stereoscopic image created for each of the corresponding points. A stereoscopic video depth control unit that controls the depth such that the depth of the stereoscopic video is within the depth of focus of the eyeball optical system based on the calculation result calculated by the depth calculation unit. 3D image creation device.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001018802A JP2002223458A (en) | 2001-01-26 | 2001-01-26 | Stereoscopic video image generator |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001018802A JP2002223458A (en) | 2001-01-26 | 2001-01-26 | Stereoscopic video image generator |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2002223458A true JP2002223458A (en) | 2002-08-09 |
Family
ID=18884770
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001018802A Pending JP2002223458A (en) | 2001-01-26 | 2001-01-26 | Stereoscopic video image generator |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2002223458A (en) |
Cited By (21)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009294988A (en) * | 2008-06-06 | 2009-12-17 | Sony Corp | Stereoscopic image generating device, stereoscopic image generating method, and program |
| JP2010510573A (en) * | 2006-11-20 | 2010-04-02 | トムソン ライセンシング | System and method for synthesizing a three-dimensional image |
| JP2010226500A (en) * | 2009-03-24 | 2010-10-07 | Toshiba Corp | Device and method for displaying stereoscopic image |
| WO2011024710A1 (en) * | 2009-08-31 | 2011-03-03 | ソニー株式会社 | Three-dimensional image display system, parallax conversion device, parallax conversion method, and program |
| JP2011160302A (en) * | 2010-02-02 | 2011-08-18 | Waseda Univ | Three-dimensional image producing apparatus and program |
| WO2011107550A1 (en) * | 2010-03-05 | 2011-09-09 | Sony Corporation | Disparity distribution estimation for 3d tv |
| JP2011188108A (en) * | 2010-03-05 | 2011-09-22 | Mitsubishi Electric Corp | Image processing apparatus, three-dimensional image display device, and image processing method |
| JP2012010084A (en) * | 2010-06-24 | 2012-01-12 | Sony Corp | Three-dimensional display device and control method of three-dimensional display device |
| JP2013066028A (en) * | 2011-09-16 | 2013-04-11 | Nikon Corp | Display device and display control program |
| KR101295347B1 (en) | 2011-12-16 | 2013-08-12 | 경북대학교 산학협력단 | A computation apparatus of correlation of video data and a method thereof |
| JP2014504413A (en) * | 2010-12-16 | 2014-02-20 | マイクロソフト コーポレーション | Augmented reality display content based on understanding and intention |
| US8766974B2 (en) | 2010-10-22 | 2014-07-01 | Samsung Electronics Co., Ltd. | Display apparatus and method |
| US8894486B2 (en) | 2010-01-14 | 2014-11-25 | Nintendo Co., Ltd. | Handheld information processing apparatus and handheld game apparatus |
| US8952956B2 (en) | 2010-12-16 | 2015-02-10 | Nintendo Co., Ltd. | Computer-readable storage medium having stored therein display control program, display control apparatus, display control system, and display control method |
| US9128293B2 (en) | 2010-01-14 | 2015-09-08 | Nintendo Co., Ltd. | Computer-readable storage medium having stored therein display control program, display control apparatus, display control system, and display control method |
| EP2432228A3 (en) * | 2010-09-17 | 2015-10-07 | Samsung Electronics Co., Ltd. | Display apparatus and control method thereof |
| US9323325B2 (en) | 2011-08-30 | 2016-04-26 | Microsoft Technology Licensing, Llc | Enhancing an object of interest in a see-through, mixed reality display device |
| US10019962B2 (en) | 2011-08-17 | 2018-07-10 | Microsoft Technology Licensing, Llc | Context adaptive user interface for augmented reality display |
| US10223832B2 (en) | 2011-08-17 | 2019-03-05 | Microsoft Technology Licensing, Llc | Providing location occupancy analysis via a mixed reality device |
| US10506218B2 (en) | 2010-03-12 | 2019-12-10 | Nintendo Co., Ltd. | Computer-readable storage medium having stored therein display control program, display control apparatus, display control system, and display control method |
| US11127210B2 (en) | 2011-08-24 | 2021-09-21 | Microsoft Technology Licensing, Llc | Touch and social cues as inputs into a computer |
-
2001
- 2001-01-26 JP JP2001018802A patent/JP2002223458A/en active Pending
Cited By (32)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010510573A (en) * | 2006-11-20 | 2010-04-02 | トムソン ライセンシング | System and method for synthesizing a three-dimensional image |
| JP4879326B2 (en) * | 2006-11-20 | 2012-02-22 | トムソン ライセンシング | System and method for synthesizing a three-dimensional image |
| US9507165B2 (en) | 2008-06-06 | 2016-11-29 | Sony Corporation | Stereoscopic image generation apparatus, stereoscopic image generation method, and program |
| JP2009294988A (en) * | 2008-06-06 | 2009-12-17 | Sony Corp | Stereoscopic image generating device, stereoscopic image generating method, and program |
| JP2010226500A (en) * | 2009-03-24 | 2010-10-07 | Toshiba Corp | Device and method for displaying stereoscopic image |
| WO2011024710A1 (en) * | 2009-08-31 | 2011-03-03 | ソニー株式会社 | Three-dimensional image display system, parallax conversion device, parallax conversion method, and program |
| US9832445B2 (en) * | 2009-08-31 | 2017-11-28 | Sony Corporation | Stereoscopic image display system, disparity conversion device, disparity conversion method, and program |
| CN102187681A (en) * | 2009-08-31 | 2011-09-14 | 索尼公司 | Three-dimensional image display system, parallax conversion device, parallax conversion method, and program |
| EP2472883A4 (en) * | 2009-08-31 | 2016-07-20 | Sony Corp | Three-dimensional image display system, parallax conversion device, parallax conversion method, and program |
| US20150304626A1 (en) * | 2009-08-31 | 2015-10-22 | Sony Corporation | Stereoscopic image display system, disparity conversion device, disparity conversion method, and program |
| JP2011055022A (en) * | 2009-08-31 | 2011-03-17 | Sony Corp | Three-dimensional image display system, parallax conversion device, parallax conversion method, and program |
| US20120176371A1 (en) * | 2009-08-31 | 2012-07-12 | Takafumi Morifuji | Stereoscopic image display system, disparity conversion device, disparity conversion method, and program |
| US9094659B2 (en) * | 2009-08-31 | 2015-07-28 | Sony Corporation | Stereoscopic image display system, disparity conversion device, disparity conversion method, and program |
| US8894486B2 (en) | 2010-01-14 | 2014-11-25 | Nintendo Co., Ltd. | Handheld information processing apparatus and handheld game apparatus |
| US9696555B2 (en) | 2010-01-14 | 2017-07-04 | Nintendo Co., Ltd. | Computer-readable storage medium having stored therein display control program, display control apparatus, display control system, and display control method |
| US9128293B2 (en) | 2010-01-14 | 2015-09-08 | Nintendo Co., Ltd. | Computer-readable storage medium having stored therein display control program, display control apparatus, display control system, and display control method |
| JP2011160302A (en) * | 2010-02-02 | 2011-08-18 | Waseda Univ | Three-dimensional image producing apparatus and program |
| JP2011188108A (en) * | 2010-03-05 | 2011-09-22 | Mitsubishi Electric Corp | Image processing apparatus, three-dimensional image display device, and image processing method |
| WO2011107550A1 (en) * | 2010-03-05 | 2011-09-09 | Sony Corporation | Disparity distribution estimation for 3d tv |
| US10764565B2 (en) | 2010-03-12 | 2020-09-01 | Nintendo Co., Ltd. | Computer-readable storage medium having stored therein display control program, display control apparatus, display control system, and display control method |
| US10506218B2 (en) | 2010-03-12 | 2019-12-10 | Nintendo Co., Ltd. | Computer-readable storage medium having stored therein display control program, display control apparatus, display control system, and display control method |
| JP2012010084A (en) * | 2010-06-24 | 2012-01-12 | Sony Corp | Three-dimensional display device and control method of three-dimensional display device |
| EP2432228A3 (en) * | 2010-09-17 | 2015-10-07 | Samsung Electronics Co., Ltd. | Display apparatus and control method thereof |
| US8766974B2 (en) | 2010-10-22 | 2014-07-01 | Samsung Electronics Co., Ltd. | Display apparatus and method |
| JP2014504413A (en) * | 2010-12-16 | 2014-02-20 | マイクロソフト コーポレーション | Augmented reality display content based on understanding and intention |
| US8952956B2 (en) | 2010-12-16 | 2015-02-10 | Nintendo Co., Ltd. | Computer-readable storage medium having stored therein display control program, display control apparatus, display control system, and display control method |
| US10019962B2 (en) | 2011-08-17 | 2018-07-10 | Microsoft Technology Licensing, Llc | Context adaptive user interface for augmented reality display |
| US10223832B2 (en) | 2011-08-17 | 2019-03-05 | Microsoft Technology Licensing, Llc | Providing location occupancy analysis via a mixed reality device |
| US11127210B2 (en) | 2011-08-24 | 2021-09-21 | Microsoft Technology Licensing, Llc | Touch and social cues as inputs into a computer |
| US9323325B2 (en) | 2011-08-30 | 2016-04-26 | Microsoft Technology Licensing, Llc | Enhancing an object of interest in a see-through, mixed reality display device |
| JP2013066028A (en) * | 2011-09-16 | 2013-04-11 | Nikon Corp | Display device and display control program |
| KR101295347B1 (en) | 2011-12-16 | 2013-08-12 | 경북대학교 산학협력단 | A computation apparatus of correlation of video data and a method thereof |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7094266B2 (en) | Single-depth tracking-accommodation-binocular accommodation solution | |
| US7440004B2 (en) | 3-D imaging arrangements | |
| JP2002223458A (en) | Stereoscopic video image generator | |
| US4723159A (en) | Three dimensional television and video systems | |
| US10516879B2 (en) | Binocular display with digital light path length modulation | |
| JP5515301B2 (en) | Image processing apparatus, program, image processing method, recording method, and recording medium | |
| JP5419011B2 (en) | Stereoscopic display system | |
| CA2507213C (en) | Parallax scanning through scene object position manipulation | |
| WO2010084724A1 (en) | Image processing device, program, image processing method, recording method, and recording medium | |
| JP2013509804A (en) | 3D display system | |
| US6788274B2 (en) | Apparatus and method for displaying stereoscopic images | |
| JPH03292093A (en) | Three-dimensional display device | |
| JPH11508058A (en) | Method and system for obtaining automatic stereoscopic images | |
| Honda et al. | Three-dimensional display technologies satisfying" super multiview condition" | |
| JP2002196280A (en) | Display device | |
| Siegel et al. | Kinder, gentler stereo | |
| JPH11155154A (en) | Stereoscopic video processing unit | |
| JPH03236698A (en) | Picture generating device for both eye stereoscopic view | |
| EP3419287A1 (en) | An apparatus and a method for displaying a 3d image | |
| Brooker et al. | Operator performance evaluation of controlled depth of field in a stereographically displayed virtual environment | |
| JP2001218231A (en) | Device and method for displaying stereoscopic image | |
| JPH09233499A (en) | Three-dimensional image generator | |
| TWI612335B (en) | Head-mounted display device and binocular vision image calibrating method of the same | |
| Watt et al. | 3D media and the human visual system | |
| US11119300B2 (en) | Stereo microscope with single objective |