JP2006185448A - Distance computing device - Google Patents
Distance computing device Download PDFInfo
- Publication number
- JP2006185448A JP2006185448A JP2005372837A JP2005372837A JP2006185448A JP 2006185448 A JP2006185448 A JP 2006185448A JP 2005372837 A JP2005372837 A JP 2005372837A JP 2005372837 A JP2005372837 A JP 2005372837A JP 2006185448 A JP2006185448 A JP 2006185448A
- Authority
- JP
- Japan
- Prior art keywords
- image
- distance
- sphere
- determining means
- display
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Measurement Of Optical Distance (AREA)
- Processing Or Creating Images (AREA)
Abstract
Description
本発明は、例えばコンピューターグラフィックス等の技術により、３次元空間座標が設定された仮想空間内に立体モデリングされた複数のオブジェクトを配置し、これらのオブジェクトを適宜の画像表示手段を用いて観察することができるようにするための立体画像生成装置に関し、特にそれら複数のオブジェクトのうち特定のものについて適切な視差により違和感や疲労感なく観察することができるようにした立体画像生成装置に適用可能な距離演算装置に関するものである。 The present invention arranges a plurality of three-dimensionally modeled objects in a virtual space in which three-dimensional space coordinates are set by a technique such as computer graphics, and observes these objects using appropriate image display means. In particular, the present invention is applicable to a three-dimensional image generation apparatus that allows specific objects among the plurality of objects to be observed without a sense of incongruity or fatigue due to appropriate parallax. The present invention relates to a distance calculation device.
近年、ＣＧ（コンピューターグラフィックス）等の技術を用い、３次元空間座標が設定された仮想空間内に立体モデリングされた複数のオブジェクトを生成してそれぞれ静的に或いは動的に配置し、これらのオブジェクトを適宜の画像表示手段を用いて観察することができるようにするための立体画像生成装置の開発が進んでおり、種々のものが提案され、また製造されるに至っている。
このような立体画像生成装置では左眼用画像および右眼用画像の視差がない単なるステレオ表示画像を得るだけの装置に比し、両眼視差を持った２種類の画像をそれぞれ生成する必要があることから、画像生成のための演算過程が複雑となり、所要の画像データを得るまでに多大な時間を要するか、或いは、能力の高いコンピュータが必要とされるのが一般的傾向である。
In recent years, using a technique such as CG (computer graphics), a plurality of three-dimensionally modeled objects are generated in a virtual space in which three-dimensional space coordinates are set, and each of these objects is statically or dynamically arranged. Development of a stereoscopic image generation apparatus for allowing an object to be observed using an appropriate image display means has been developed, and various devices have been proposed and manufactured.
In such a stereoscopic image generating device, it is necessary to generate two types of images having binocular parallax, respectively, as compared to a device that simply obtains a stereo display image without parallax between the left-eye image and the right-eye image. For this reason, the calculation process for image generation is complicated, and it takes a long time to obtain the required image data, or a computer with high capability is generally required.
特開平０７−２３０５５７号公報には、左眼用画像および右眼用画像を生成して観察者の左眼および右眼でそれぞれ観察できるようにして立体視の効果を得るようにした装置において、左眼用画像および右眼用画像を構成するＣＧ画像をフィールド単位でレンダリング（コンピュータ内に入力された３次元のモデリングに対してディスプレイ上に可視化する作業：テレビジョン学会編、オーム社発行「３次元ＣＧ」等参照）することによってレンダリングに掛かる時間を短縮するようにしたＣＧ立体視アニメーションの生成法が提案されている。 In Japanese Patent Application Laid-Open No. 07-230557, in an apparatus that generates an image for the left eye and an image for the right eye so that it can be observed with the left eye and the right eye of the observer, respectively, to obtain a stereoscopic effect, Rendering of CG images constituting left-eye image and right-eye image on a field basis (operation for visualizing on a display for three-dimensional modeling input in a computer: edited by Television Society, published by Ohmsha "3 A method of generating a CG stereoscopic animation is proposed in which the time required for rendering is shortened by referring to “Dimensional CG” or the like.
一方、立体画像生成装置では、左眼用画像および右眼用画像の視差に対応した輻輳（見ようとする対象に両眼の視線を自然に集中すること：小柳修爾著、オプトロニクス社発行「光学技術用語辞典」等参照）と両画像を観察するための表示装置による画像（光学系によって作られる虚像）から観察者の両眼までの距離、従って眼のピント（調節）との関係に矛盾が生じると、観察者は違和感を感じ且つ疲労が生じる場合もある。また、注目した画像乃至画像の部分について視差が頻繁に変化すると、これもまた観察者の疲労を呼ぶことになる。 On the other hand, in the stereoscopic image generating device, convergence corresponding to the parallax between the left-eye image and the right-eye image (focusing the eyes of both eyes on the object to be seen naturally: Shugo Koyanagi, published by Optronics, “Optical Technology” There is a contradiction between the distance from the image (virtual image created by the optical system) by the display device for observing both images to the observer's eyes, and hence the focus (adjustment) of the eyes. The observer may feel uncomfortable and fatigue may occur. In addition, if the parallax frequently changes for the image or image portion of interest, this also causes observer fatigue.
特開平０７−１６７６３３号公報には、２台のカメラで２方向から被写体を撮影して記録し、この記録画像を再生して観察するに際しては、注目する被写体の像乃至像部分について、視差が一定となるように表示態様が制御された表示を得るようにした立体画像撮像および表示装置が開示されている。
上述した特開平０７−２３０５５７号公報に開示されたＣＧ立体視アニメーションの生成法では、仮想空間内に立体モデリングされたオブジェクトを観察する場合における違和感や疲労感の低減といった視点からの配慮は全く示唆されていない。
また、左眼用画像および右眼用画像を構成するＣＧ画像をフィールド単位でレンダリングするという方法がこの限りで提起されているだけであり、具体的な構成についての開示は無い。
In the method for generating a CG stereoscopic animation disclosed in the above-mentioned Japanese Patent Application Laid-Open No. 07-230557, consideration from the viewpoint of reducing a sense of incongruity and fatigue when observing a stereoscopically modeled object in a virtual space is completely suggested. It has not been.
Further, only the method of rendering the CG images constituting the left-eye image and the right-eye image for each field is proposed, and no specific configuration is disclosed.
特開平０７−１６７６３３号公報に開示された装置は、画像の両眼視差から観察者が最も広い範囲で被写体の奥行き世界を知覚可能である最適注視点を計算し、この最適注視点が画像表示装置の表示面位置から所定の奥行き方向距離の位置に再現されるように制御するように構成されたものである。このような制御を行うために、左眼用画像および右眼用画像から相関マッチング法を用いて視差地図を演算により求め、更に、当該画像の平均値または画面中央に重みをかけた加重平均値を演算して求める。そして、このようにして求めた視差の平均値を用いて視差制御手段により左眼用画像および右眼用画像に相応するデータの水平位置に係る読み出しのタイミングを制御することにより両画像の水平方向での映出位置を制御している。
しかしながら、この方式ではフレーム毎に画面全体の視差地図を計算するために演算が複雑となり特段高性能のコンピュータを用いてシステムを構成できることができる場合などはともかく、通常は演算結果を得るまでに比較的長い時間を要することになる。
The apparatus disclosed in Japanese Patent Application Laid-Open No. 07-167633 calculates an optimal gaze point that allows the observer to perceive the depth world of the subject in the widest range from the binocular parallax of the image, and this optimal gaze point is displayed as an image. It is configured to control to be reproduced at a predetermined depth direction distance from the display surface position of the apparatus. In order to perform such control, a parallax map is calculated from the left-eye image and the right-eye image using a correlation matching method, and an average value of the image or a weighted average value obtained by applying a weight to the center of the screen Is calculated. Then, using the average value of the parallax obtained in this way, the parallax control means controls the readout timing related to the horizontal position of the data corresponding to the image for the left eye and the image for the right eye, so that the horizontal direction of both images The projecting position is controlled.
However, with this method, the calculation is complicated to calculate the parallax map of the entire screen for each frame, and the system can be configured using a particularly high-performance computer. It takes a long time.
本発明は叙上のような事情に鑑みてなされたものであり、通常のパーソナルコンピュータ等を用いてシステムを構成したとしても演算時間が比較的短く、従って遅滞のない視差の制御或いは輻輳距離の制御が行われ得るこの種の装置を提供できることを目的とする。 The present invention has been made in view of the above circumstances, and even if the system is configured using a normal personal computer or the like, the calculation time is relatively short, and therefore, parallax control without delay or congestion distance can be controlled. The object is to be able to provide an apparatus of this kind that can be controlled.
上記課題を解決するため、一つの本願発明は：
・画像表示装置に映出された画像を観察する観察者の視線方向を検出するための視線方向検出手段と、
上記視線方向検出手段の検出出力に基づいて視線方向に係る複数の方向角を求める複数方向角決定手段と、
上記複数方向角決定手段により求められた複数の方向角に沿う各直線上にある対象物を決定する対象物決定手段と、
上記対象物決定手段により決定された対象物の奥行き距離を決定する奥行き距離決定手段と、
を備えてなることを特徴とする距離演算装置である……〔１〕
In order to solve the above problems, one invention of the present application is:
Gaze direction detection means for detecting the gaze direction of an observer who observes the image displayed on the image display device;
A plurality of direction angle determination means for obtaining a plurality of direction angles related to the line-of-sight direction based on the detection output of the line-of-sight direction detection means;
Object determining means for determining an object on each straight line along a plurality of direction angles obtained by the plurality of direction angle determining means;
Depth distance determining means for determining the depth distance of the object determined by the object determining means;
Is a distance computing device characterized by comprising ... [1]
上記〔１〕の発明では、上記複数の方向角に沿う各直線上にある対象物を決定し該決定された対象物の奥行き距離を決定するため、ヒトの眼球について通常生じている固視微動のような視線のふらつきによる対象物の決定に係る誤認が回避される。 In the invention of [1], in order to determine an object on each straight line along the plurality of directional angles and to determine the depth distance of the determined object, fixation micromotion that usually occurs for a human eyeball is determined. Such misidentification related to the determination of an object due to the fluctuation of the line of sight is avoided.
また、更に他の一つの本願発明は：
・上記複数方向角決定手段は、上記視線方向検出手段が視線方向検出動作を所定時間内に複数回繰り返すことによって得た異なる時刻での複数の検出出力に基づいて該異なる時刻に各対応する複数の視線方向角を決定するように構成され、
上記対象物決定手段は、上記決定された異なる時刻に各対応する複数の視線方向角に沿う各直線上にある対象物を決定するように構成されたものであることを特徴とする上記〔１〕に記載の距離演算装置である……〔２〕
Yet another invention of the present application is:
The multi-direction angle determination means includes a plurality of directions corresponding to the different times based on a plurality of detection outputs at different times obtained by the gaze direction detection means repeating the gaze direction detection operation a plurality of times within a predetermined time. Configured to determine the gaze direction angle of the
The object determining means is configured to determine an object on each straight line along a plurality of line-of-sight direction angles respectively corresponding to the determined different times. ] [2]
上記〔２〕の発明では、ヒトの眼球について通常生じている固視微動やサッカード現象のような視線のふらつきに対応した領域を知ることができるため、この領域内にあるものとして対象物を正確に特定できる。 In the above invention [2], since it is possible to know a region corresponding to gaze wandering such as fixation micromotion or saccade phenomenon that normally occurs in a human eyeball, the object is assumed to be within this region. It can be accurately identified.
また、更に他の一つの本願発明は：
・上記複数方向角決定手段は、上記視線方向検出手段の検出出力に対応した一の視線方向を中心とし該一の視線方向からそれぞれ所定角度の開きを有する複数の視線方向角を決定するように構成され、
上記対象物決定手段は、上記決定された異なる複数の視線方向角に沿う各直線上にある対象物を決定するように構成されたものであることを特徴とする上記〔１〕に記載の距離演算装置である……〔３〕
Yet another invention of the present application is:
The multi-direction angle determination means determines a plurality of gaze direction angles having a predetermined angle opening from the one gaze direction centered on one gaze direction corresponding to the detection output of the gaze direction detection means. Configured,
The distance according to [1], wherein the object determining means is configured to determine an object on each straight line along the determined plurality of different gaze direction angles. Arithmetic unit [3]
上記〔３〕の発明では、１回で複数の視線方向にある対象物を決定することができるため処理速度が速い。 In the above invention [3], it is possible to determine objects in a plurality of line-of-sight directions at a time, so that the processing speed is fast.
また、更に他の一つの本願発明は：
・上記奥行き距離決定手段は、上記対象物決定手段により決定された複数の対象物のうち最も発生頻度の高い対象物の奥行き距離を求めるように構成されたものであることを特徴とする上記〔１〕に記載の距離演算装置である……………………〔４〕
Yet another invention of the present application is:
The depth distance determining means is configured to obtain the depth distance of the object having the highest occurrence frequency among the plurality of objects determined by the object determining means. 1] The distance calculation device according to [1]
上記〔４〕の発明では、発生頻度の高い対象物について奥行き距離を求めるため誤検出が回避される。 In the above invention [4], since a depth distance is obtained for an object having a high occurrence frequency, erroneous detection is avoided.
また、更に他の一つの本願発明は：
・上記奥行き距離決定手段は、上記対象物決定手段により決定された複数の対象物の奥行き距離をそれぞれ求め、該求められた各距離のうち最小の距離を決定するように構成されたものであることを特徴とする上記［１］に記載の距離演算装置である…………〔５〕
Yet another invention of the present application is:
The depth distance determining means is configured to determine the depth distances of the plurality of objects determined by the object determining means, respectively, and to determine the minimum distance among the determined distances. The distance computing device according to [1] above, characterized in that ......... [5]
上記〔５〕の発明では、観察者が対象物の境界領域を注視しているような場合でもヒトの眼球について通常生じている固視微動やサッカード現象に起因する誤検出が回避される。 In the above invention [5], erroneous detection due to fixation micromotion or saccade phenomenon that normally occurs with respect to the human eyeball is avoided even when the observer is gazing at the boundary region of the object.
また、更に他の一つの本願発明は：
・上記奥行き距離決定手段は、上記対象物決定手段により決定された複数の対象物の奥行き距離をそれぞれ求め、次いで、該求められた各距離の逆数をそれぞれ求め、更に、該求められた各逆数の平均値をそれぞれ求め、次いで、該各平均値の逆数をそれぞれ求めるように構成された演算手段を含んでなるものであることを特徴とする上記〔１〕に記載の距離演算装置である………〔６〕
Yet another invention of the present application is:
The depth distance determining means obtains the depth distances of the plurality of objects determined by the object determining means, then obtains the reciprocals of the obtained distances, and further obtains the obtained reciprocals; The distance calculation device according to the above [1], which includes calculation means configured to respectively obtain an average value of each of the values, and then to obtain an inverse number of each of the average values. …… [6]
上記〔６〕の発明では、複数の対象物の中に無限遠の奥行き距離に該当するようなものが存在していても複数の対象物の平均的な奥行き距離を正確に求めることができる。 In the above invention [6], the average depth distance of a plurality of objects can be accurately obtained even if a plurality of objects corresponding to an infinite depth distance exist.
本願発明によれば、通常のパーソナルコンピュータ等を用いてシステムを構成したとしても演算時間が比較的短く対象物の決定の誤認が回避され、従って遅滞のない視差の制御或いは輻輳距離の制御が行われ得るこの種の装置の実現に寄与できる。 According to the present invention, even if the system is configured using a normal personal computer or the like, the calculation time is relatively short and misidentification of the determination of the object is avoided, so that parallax control or congestion distance control without delay is performed. This can contribute to the realization of this kind of device.
以下に、本発明をその実施の形態を示す図面に基づいて説明する。
図１は、本発明の基本概念を表したブロック図である。
Hereinafter, the present invention will be described with reference to the drawings illustrating embodiments thereof.
FIG. 1 is a block diagram showing the basic concept of the present invention.
立体画像生成装置本体（ゲーム機）１は画像表示装置としての頭部装着型画像表示装置（Head Mounted Doialay: ＨＭＤと略記）２とケーブルによって接続されており、ＨＭＤ２側から視線方向検知手段による視線方向信号を受けるように構成されている。
立体画像生成装置本体（ゲーム機）１は、上記視線方向信号に基づいて注目画像である特定オブジェクトとしてのターゲットオブジェクトを決定し、決定した当該ターゲットオブジェクトについて後述する演算によりその距離Ｌobj を算出する。
The stereoscopic image generating device main body (game machine) 1 is connected to a head-mounted image display device (Head Mounted Doialay: HMD) 2 as an image display device by a cable, and the line of sight is detected by the line-of-sight direction detecting means from the
The stereoscopic image generating apparatus body (game machine) 1 determines a target object as a specific object that is an image of interest based on the line-of-sight direction signal, and calculates the distance Lobj by the calculation described later for the determined target object.
次に、本発明の実施の形態における一つの方式として、このターゲットオブジェクトの距離Ｌobj に対応した条件下でレンダリング（仮想３次元空間内に配された当該オブジェクトについて、これを立体視するための２つの各２次元投影面上への投影を行なうに相応したデータを求めることにより、同オブジェクトを両眼で立体視できるようにするための処理）を行なうため２次元投影面の位置や向き等についてのレンダリング条件の制御を行った上、同レンダリングを実行して立体表示様のデータを得る。……………………………（Ａ方式） Next, as one method in the embodiment of the present invention, rendering is performed under a condition corresponding to the distance Lobj of the target object (2 for stereoscopic viewing of the object arranged in the virtual three-dimensional space. The position and orientation of the two-dimensional projection plane in order to perform processing for making the object stereoscopically viewable with both eyes by obtaining data corresponding to the projection onto each two-dimensional projection plane. The rendering conditions are controlled, and the rendering is executed to obtain stereoscopic display-like data. …………………………… (A method)
また、他の一つの方式として、このターゲットオブジェクトの距離Ｌobj に対応してレンダリング条件としては別段の制御を行なうことなくレンダリングを実行し、レンダリングの結果得られたデータについて、後述する画像変換処理を施して立体表示様のデータを得る。………………………（Ｂ方式） Further, as another method, rendering is performed without performing any other control as a rendering condition corresponding to the distance Lobj of the target object, and image conversion processing described later is performed on the data obtained as a result of the rendering. To obtain stereoscopic display-like data. ……………………… (B method)
上述したＡ方式またはＢ方式によって得たオブジェクトの像を表わすデータについて、それらオブジェクトの背景画像データを添える処理（後に詳述する「背景貼り込み処理」）を実行した後、この処理によって得たデータをＨＭＤ２側に供給する。 Data obtained by adding the background image data of the objects obtained by the above-described A method or B method to the background image data ("background pasting process" to be described later in detail) is executed, and then the data obtained by this processing is obtained. Is supplied to the HMD2 side.
ＨＭＤ２側では上述のようにして供給されたオブジェクトとその背景画像のデータに基づいて立体画像表示部による画像の表示（左右画像の表示素子の表示面に画像を映出する）を行なう。
On the
本発明では、このようにして映出されるターゲットオブジェクトについて既述の視距離と輻輳距離とが等しくなるように左右両画像の表示位置等についてオフセットが付加されるように構成されている。 In the present invention, an offset is added to the display positions of the left and right images so that the viewing distance and the convergence distance described above are equal to each other for the target object displayed in this way.
図２は、３次元画像表示装置としてＨＭＤ２を適用してなる本発明の実施の形態としての立体画像表示装置のシステムを示す図である。 FIG. 2 is a diagram showing a system of a stereoscopic image display device as an embodiment of the present invention to which HMD2 is applied as a three-dimensional image display device.
マイクロコンピュータを主要な要素として構成され、アプリケーションプログラムを格納したカードメモリ等のプログラム記録媒体３を装填し、このプログラム記録媒体３に格納されたデータを用いて、図３について後述するように、３次元空間座標が設定された仮想空間内に立体モデリングされた複数のオブジェクトを配置し、これらオブジェクトを立体視するための２つの２次元画像データを生成するための処理を実行するようになされた立体画像生成装置本体４（ゲーム機１）とがＨＭＤ２とケーブル５によって接続されており、データおよび電源の授受を行なうように構成されている。
A
即ち、ケーブル５を通して、立体画像生成装置本体４側からＨＭＤ２側に、左画像データ、右画像データ、左音声データ、右音声データ、液晶シャッタ駆動信号、動作電源等が供給される。
That is, the left image data, the right image data, the left audio data, the right audio data, the liquid crystal shutter drive signal, the operation power supply, and the like are supplied from the stereoscopic image generating apparatus
これら左画像データ、右画像データに基づいてＨＭＤ２の左および右の液晶表示素子の表示面に各該当する画像が映出され、左音声データ、右音声データに基づいてＨＭＤ２の左および右のスピーカ６Ｌ、６Ｒからステレオ音声が発音される。
Based on the left image data and the right image data, the corresponding images are displayed on the display surfaces of the left and right liquid crystal display elements of the
液晶シャッタ駆動信号は、ＨＭＤ２の左および右の液晶シャッタ機能を不透過状態にして液晶表示素子を画像表示用に機能させる画像表示モードと、液晶シャッタを透過状態にして前方視野を見通すことができるシースルーモードとのいずれかに選択切り換えするための駆動信号である。
The liquid crystal shutter drive signal allows the left and right liquid crystal shutter functions of the
一方、ＨＭＤ２側から立体画像生成装置本体４側には、後述する視線方向検知手段からの視線方向信号やＨＭＤ２の装着者の頭部の動き（姿勢）を検出するヘッドモーションセンサ７からのヘッドモーション信号等が供給される。
On the other hand, from the
また、立体画像生成装置本体４には、ゲームコントローラ８がケーブル９によって接続され、このゲームコントローラ８から種々の操作信号が立体画像生成装置本体４側に供給される。
In addition, a
図３は、３次元空間座標が設定された仮想空間内に立体モデリングされた複数のオブジェクトを配置し、これらオブジェクトを立体視するための２つの２次元画像データを生成するための処理を概念的に説明するための模式図である。 FIG. 3 conceptually shows a process for arranging a plurality of three-dimensionally modeled objects in a virtual space in which three-dimensional space coordinates are set, and generating two two-dimensional image data for stereoscopically viewing these objects. It is a schematic diagram for demonstrating.
図において、上記３次元空間座標（図示省略）が設定された仮想空間（図示の全域）内には、立体モデリングされた複数のオブジェクトとしての三角錐１０と球１１とが配置されている。当該立体画像生成装置内のコンピュータを主とする該当機能部によって、３次元空間座標位置が互いに異なる第１の視点および第２の視点としての左視点１２および右視点１３から各所定の第１の投影面と第２の投影面としての左投影面１４および右投影面１５に上記オブジェクトをそれぞれ投影するに相応した投影演算が実行されて該投影による第１の２次元画像および第２の２次元画像を各表わす第１の２次元画像データおよび第２の２次元画像データがそれぞれ生成される。
In the figure, a
３次元ＣＧ画像と呼ばれているものは、一つの視点から見たときの投影図を表示するようにしたものであるが、本発明に該当するものは図３について上述したように２つの視点に各対応した両２次元画像データによって表されるものである。 What is called a three-dimensional CG image is a projection view when viewed from one viewpoint, but what corresponds to the present invention is two viewpoints as described above with reference to FIG. Are represented by the corresponding two-dimensional image data.
図４は、立体画像を得るための左画像および右画像について、仮想３次元空間内を表示対象となる２つのオブジェクト（三角錐と球）がそれらの奥行き方向の相対移動する場合、左右両画面内での表示位置が移動する様子を、一般的な立体画像生成法を採った場合について示す図である。 FIG. 4 shows the left and right screens when two objects (triangular pyramid and sphere) to be displayed move in the virtual three-dimensional space relative to each other in the depth direction for the left image and the right image for obtaining a stereoscopic image. It is a figure which shows a mode that the display position moves in the case where the general stereo image production | generation method is taken.
図において、（ａ）部は表示対象となるオブジェクトの一つである三角錐１０と他の一つである球１１とが奥行き方向の相対位置が或る一定の位置に在る場合の左画像および右画像を表している。
同図の（ｂ）部は球１１のみが左視点１２および右視点１３に近づくよう移動した場合の左画像および右画像を表している。
同図の（ｃ）部は球１１のみが左視点１２および右視点１３に更に近づくよう移動した場合の左画像および右画像を表している。
In the figure, part (a) is a left image in the case where a
(B) part of the figure represents the left image and the right image when only the sphere 11 moves so as to approach the
(C) part of the figure represents the left image and the right image when only the sphere 11 moves so as to be closer to the
図４の（ａ）部乃至（ｃ）部より理解される通り、球１１のみが左視点１２および右視点１３に近づくよう移動するとき、三角錐１０の像は左右両画面内で移動せず、これに対して球１１の像は左右両画面の中間位置に向けて次第に寄ってくるように移動し且つ大きさも次第に大きくなってゆく。
As understood from the parts (a) to (c) of FIG. 4, when only the sphere 11 moves so as to approach the
図５は、図４について説明した左右画像それぞれを左および右表示素子１８、１９の画面に映出し、左および右接眼光学系（レンズ）１６、１７で拡大したときに生成される３次元空間像を示す模式図である。
図より明らかなとおり、左接眼光学系１６および左表示素子１８が左眼球２０に対応し、右接眼光学系１７および右表示素子１９が右眼球２１に対応するように配置されている。
FIG. 5 shows a three-dimensional space generated when the left and right images described with reference to FIG. 4 are projected on the screens of the left and
As is apparent from the figure, the left eyepiece
三角錐の像に対して球の像は次第に大きくなって矢線図示のように手前側に飛び出してくるように見えるが、このとき球の像を見る左右両眼の各視線方向の直線が交差する角度である輻輳角も球の像の接近と共に次第に大きくなる。 The image of the sphere gradually increases with respect to the triangular pyramid image, and it appears that it pops out to the front as shown by the arrow, but at this time, the straight lines in the gaze direction of the left and right eyes that see the sphere image intersect The angle of convergence, which is the angle at which the image is made, gradually increases as the sphere image approaches.
換言すれば、左右両眼を横に結ぶ直線から左右両眼の視線方向の直線が交差する点までの距離である輻輳距離が次第に短くなる。このようなことが起こると、左右両眼を結ぶ直線から虚像面までの距離である視距離は（左右の表示画面とそれらの各接眼光学系との関係が一定である限り）変化しないにも拘らず輻輳距離だけが変化することとなるため、観察者は視距離と輻輳距離との違いに起因する違和感を感じたり、或いは長時間の観察においては疲労感を覚えたりすることになってしまう。 In other words, the convergence distance, which is the distance from the straight line connecting the left and right eyes to the point where the straight lines in the line of sight of the left and right eyes intersect, is gradually shortened. When this happens, the viewing distance, which is the distance from the straight line connecting the left and right eyes to the virtual image plane, will not change (as long as the relationship between the left and right display screens and their respective eyepiece optical systems is constant). Regardless, only the convergence distance will change, so the observer will feel uncomfortable due to the difference between the viewing distance and the convergence distance, or will feel tired during long-term observation. .
このような違和感や疲労感を極力抑制するために、移動に伴って像が手前側に飛び出してくる飛び出し量を小さく制限してしまうことも考えられるが、このようにしてしまうと３次元画像としてのインパクトが減殺されてしまう。 In order to suppress such a sense of incongruity and fatigue as much as possible, it is conceivable that the amount of the image protruding to the near side with movement is limited to a small amount. The impact of will be diminished.
次に、輻輳距離の変化量の許容値、すなわち視差量の変化の許容値に係る文献のデータを例示する。
図６は、輻輳と調節（眼の焦点調節の状態如何）との対応関係を示す図である。同図には輻輳−調節と視差量の変化の許容範囲が示されている（文献名「オー プラス イー」（ 0 Plus E ）1985年12月 PP.103 生理光学15）。この図の横軸は輻輳（輻輳角：ＭＷ）で縦軸は調節（視度）（Ｄ：ディオプター）を示す。この図から分かるように輻輳が４ディオプター内の変化量であれば短時間提示で輻輳できる。
Next, document data relating to the allowable value of the change amount of the convergence distance, that is, the allowable value of the change amount of the parallax will be exemplified.
FIG. 6 is a diagram illustrating a correspondence relationship between convergence and adjustment (depending on the state of eye focus adjustment). The figure shows the allowable range of convergence-adjustment and the amount of parallax change (literature name “O Plus E” (0 Plus E) December 1985 PP.103 Physiological Optics 15). In this figure, the horizontal axis represents convergence (convergence angle: MW), and the vertical axis represents adjustment (diopter) (D: diopter). As can be seen from this figure, if the congestion is an amount of change within 4 diopters, it can be congested with a short presentation.
図７は、本発明の装置において、３次元画像表示（立体ディスプレイ）を得るための左画像および右画像について、表示対象となる２つのオブジェクト（三角錐と球）がそれらの奥行き方向の相対移動に伴って左右両画面内での表示位置が移動する様子を示す図である。 FIG. 7 shows the relative movement in the depth direction of two objects (triangular pyramid and sphere) to be displayed for the left image and the right image for obtaining a three-dimensional image display (stereoscopic display) in the apparatus of the present invention. It is a figure which shows a mode that the display position in right-and-left both screens moves with it.
図において、（ａ）部は表示対象となるオブジェクトの一つである三角錐と他の一つのオブジェクト（この場合での注目する対象とされるべきオブジェクト）である球とが奥行き方向の相対位置が或る一定の位置に在る場合の左画像および右画像を表している。
同図の（ｂ）部は球のみが左視点および右視点に近づくよう移動した場合の左画像および右画像を表している。
同図の（ｃ）部は球のみが左視点および右視点に更に近づくよう移動した場合の左画像および右画像を表している。
In the figure, part (a) shows a relative position in the depth direction between a triangular pyramid, which is one of the objects to be displayed, and a sphere, which is another object (an object to be noted in this case). Represents a left image and a right image in a case where is at a certain position.
(B) part of the figure represents the left image and the right image when only the sphere moves so as to approach the left viewpoint and the right viewpoint.
(C) part of the figure represents the left image and the right image when only the sphere moves so as to be closer to the left viewpoint and the right viewpoint.
図の（ａ）部乃至（ｃ）部より理解される通り、本発明の場合は、球のみが左視点および右視点に近づくよう移動するとき、三角錐の像の方が左右両画面内で両画面の中間位置からの間隔が開いてゆくように移動し、これに対して球の像は左右両画面中でその中心位置を変えないままで大きさが次第に大きくなってゆくように変化する。 As understood from the parts (a) to (c) of the figure, in the case of the present invention, when only the sphere moves so as to approach the left viewpoint and the right viewpoint, the image of the triangular pyramid is in both the left and right screens. It moves so that the distance from the middle position of both screens increases, while the image of the sphere changes so that the size gradually increases without changing its center position on both the left and right screens. .
図８は、図７について説明した左右画像それぞれを左および右表示素子の画面に映出し、左および右接眼光学系（レンズ）で拡大したときに生成される３次元空間像を示す模式図である。この図８において、既述の図５との対応部には同一の符号を付してある。 FIG. 8 is a schematic diagram showing a three-dimensional space image generated when the left and right images described with reference to FIG. 7 are projected on the screens of the left and right display elements and enlarged by the left and right eyepiece optical systems (lenses). is there. In FIG. 8, the same reference numerals are assigned to the corresponding parts in FIG.
通常、左右両眼用の各表示素子を備えた立体画像表示装置では、両眼に係る視差の無い像（オブジェクトの像）については、奥行き距離が無限大に見えることになるが、この実施の形態では、表示装置に視差の無い像を表わす画像データが供給されたときに、同装置の左右両眼用の各表示素子の画面に映出される画像の虚像の位置が、左右両眼を横に結ぶ直線から左右両眼の視線方向の直線が交差する点までの距離（輻輳距離）だけ離隔した位置に等しくなるように、両表示素子（両表示面）とこれに対応する両接眼光学系との位置関係が、前者の中心間の間隔が後者の中心間の間隔より左右とも相互に接近する方向に位置がずらされて（位置に関するオフセットが付加されて）配置されている。（後述の図１３、１４、１５を参考） Normally, in a stereoscopic image display apparatus including display elements for both the left and right eyes, the depth distance of an image without parallax (an object image) relating to both eyes appears to be infinite. In the embodiment, when image data representing an image having no parallax is supplied to the display device, the position of the virtual image of the image displayed on the screen of each display element for the left and right eyes of the same device Both display elements (both display surfaces) and the corresponding binocular optical system so that they are equal to the position separated by the distance (convergence distance) from the straight line connecting to the point where the straight line in the line of sight of the left and right eyes intersects Are arranged such that the distance between the centers of the former is shifted in the direction in which they are closer to each other than the distance between the centers of the latter (with an offset related to the position added). (See FIGS. 13, 14, and 15 below)
図７の（ａ）部から（ｃ）部へと状態が推移すると、球の像が次第に大きくなり、かつ三角錐の像は図８に矢線図示のように球の像に対して相対的に奥行き方向に遠ざかるので結果として観察者には球が手前側に飛び出してくるように見える。しかしながら、球に対する輻輳角は変化しない。 When the state transitions from the (a) part of FIG. 7 to the (c) part, the image of the sphere gradually increases, and the image of the triangular pyramid is relative to the image of the sphere as shown by the arrow in FIG. As a result, the sphere appears to jump out toward the viewer. However, the convergence angle for the sphere does not change.
換言すれば、左右両眼を横に結ぶ直線から左右両眼の視線方向の直線が交差する点までの距離である輻輳距離は球の飛び出しに対応して変化するということがない。 In other words, the convergence distance, which is the distance from the straight line connecting the left and right eyes to the point where the straight lines in the line-of-sight direction of the left and right eyes intersect, does not change corresponding to the popping out of the sphere.
従って、この場合での注目すべきオブジェクトである球については、左右両眼を結ぶ直線から虚像面までの距離である視距離と上述の輻輳距離とが一致したまま変化せず、観察者は視距離と輻輳距離との違いに起因する違和感や疲労感が大幅に軽減される。 Therefore, for the sphere, which is a notable object in this case, the viewing distance, which is the distance from the straight line connecting the left and right eyes to the virtual image plane, and the above-mentioned convergence distance do not change and the observer does not change Discomfort and fatigue caused by the difference between distance and convergence distance are greatly reduced.
また、このような違和感や疲労感を極力抑制するために、移動に伴って像が手前側に飛び出してくる飛び出し量を小さく制限することを要しないため、３次元画像としてのインパクトが減殺されてしまう虞れもない。 In addition, in order to suppress such a sense of incongruity and fatigue as much as possible, it is not necessary to limit the amount of popping out of the image to the near side as it moves, so the impact as a three-dimensional image is reduced. There is no fear of it.
図９は、本発明の実施の形態としての装置において、ＨＭＤに設けられた後述する視線方向検知手段により視線方向を検出し、この視線方向の情報によって注目画像である特定オブジェクトとしてのターゲットオブジェクトを決定する過程を説明するための模式図である。 FIG. 9 shows an apparatus according to an embodiment of the present invention, in which a visual line direction is detected by a visual line direction detection unit (to be described later) provided in the HMD, and a target object as a specific object that is an attention image is detected based on the visual line direction information. It is a schematic diagram for demonstrating the process to determine.
図９の（Ａ）部は、ＨＭＤに設けられた視線方向検知手段により視線方向を検出し、この視線方向の情報から規格化された視線方向角のデータを得る過程について説明するための、ＨＭＤ光学系によりオブジェクトの虚像を観察する状況を示す模式図である。 9A is an HMD for explaining the process of detecting the gaze direction by the gaze direction detecting means provided in the HMD and obtaining the normalized gaze direction angle data from the gaze direction information. It is a schematic diagram which shows the condition which observes the virtual image of an object with an optical system.
本例でのＨＭＤ２（図２参照）は、左右両眼に対応して各接眼光学系（レンズ）１６、１７が配され、これら左眼用レンズ１６および右眼用レンズ１７によって、各対応する左眼用表示素子および右眼用表示素子としての各ＬＣＤ１８、１９に映出された画像の虚像が観察されるようになされている。
別途説明のように、本例の装置では、視線軸は観察者の両眼のうち左眼について検出されるように構成されている。
The HMD 2 (see FIG. 2) in this example is provided with eyepiece optical systems (lenses) 16 and 17 corresponding to the left and right eyes, and the
As described separately, in the apparatus of this example, the visual axis is configured to be detected for the left eye of both eyes of the observer.
左眼用レンズ１６の主点から左表示素子としてのＬＣＤ１８の左右端を見込む画角の１／２の角度、即ち左眼用レンズ１６の主点を頂角としてＬＣＤ１８の右端に向けて引いた直線Ｌr と同ＬＣＤ１８の表示面の中心に向けて引いた直線である左光学視軸Ｌa との開き角度（半画角）がθ、同左光学視軸Ｌa と左視線軸Ｌs との開き角度がψであるとき、規格化された視線方向角ψ／θがＨＭＤ２側における該当する演算手段によって求められ、このψ／θのデータが接続ケーブル５（図２参照）を通して画像表示装置本体４（図２参照）に供給されるように構成される。
The angle from which the left and right ends of the
尚、以上は説明を簡単にするためにｘ方向（本紙面の面内方向）の視線方向角についてのみ言及したが、ｙ方向（本紙面に直交する面内の方向）の視線方向角についても上記と全く同様に規格化された視線方向角が算出され、このデータが画像表示装置本体４に供給されるように構成される。以下においても、説明を簡単にする便宜上、ｘ方向（本紙面の面内方向）の視線方向角に係る状況についてのみ詳述するが、ｙ方向（本紙面に直交する面内の方向）の視線方向角についても上記と全く同様にして説明され得るものであり、それについての説明は省略する。
In the above, for the sake of simplicity, only the viewing direction angle in the x direction (in-plane direction of the paper surface) is mentioned, but the viewing direction angle in the y direction (in-plane direction perpendicular to the paper surface) is also described. A standardized gaze direction angle is calculated in the same manner as described above, and this data is configured to be supplied to the image display apparatus
上述のように規格化された視線方向角のデータを用いるのは、仮想空間内に設定される一方の視点（左視点）１２からの視野の半画角Θは必ずしもＨＭＤ２側のθとはその絶対値が等しいとは限らないため、その半画角Θの絶対値の如何に拠らず上述のＨＭＤ２側の規格化された視線方向角ψ／θの値に対して仮想空間内での上記半画角Θを乗ずることで、ターゲットオブジェクトの方向、従ってターゲットオブジェクト自体を決定することができるようにするためである。 The standardized gaze direction angle data as described above is used because the half field angle Θ of the visual field from one viewpoint (left viewpoint) 12 set in the virtual space is not necessarily the same as θ on the HMD2 side. Since the absolute values are not necessarily equal, the above-mentioned value in the virtual space with respect to the normalized value of the viewing direction angle ψ / θ on the HMD2 side described above does not depend on the absolute value of the half angle of view Θ. This is because the direction of the target object and thus the target object itself can be determined by multiplying by the half angle of view Θ.
図９の（Ｂ）部は、３次元空間座標（図示省略）が設定された仮想空間内に立体モデリングされた複数のオブジェクトとしての三角錐と球とが配置されており、図９の（Ａ）部について説明したＨＭＤ２側の規格化された視線方向角ψ／θのデータに基づいてターゲットオブジェクトを識別する過程を説明するための模式図である。 9B, triangular pyramids and spheres as a plurality of three-dimensionally modeled objects are arranged in a virtual space in which three-dimensional space coordinates (not shown) are set. It is a schematic diagram for explaining the process of identifying the target object based on the data of the normalized line-of-sight direction angle ψ / θ on the HMD2 side explaining the portion).
上記仮想空間での左および右視点１２、１３のうち、左視点１２から左投影面１４を見込む画角（左視点からの視野角）の１／２の角度、即ち左視点１２を頂角として左投影面１４の中心に向けて引いた直線と左投影面１４の右端に向けて引いた直線との開き角度（半画角）がΘである。
Of the left and
このとき、ＨＭＤ２側から上述の規格化された視線方向角ψ／θのデータが接続ケーブルを通して立体画像生成装置本体４に供給され、この規格化された視線方向角ψ／θに上記半画角Θを乗ずることで、ターゲットオブジェクトの方向角Ψ（左視点１２を頂角として左投影面１４の中心に向けて引いた直線とターゲットオブジェクトの方向に向けて引いた直線との開き角度）が得られる。
At this time, the data of the above-described standardized line-of-sight angle ψ / θ is supplied from the
このターゲットオブジェクトの方向角Ψが判ると、立体画像生成装置本体４では自己の保有する各オブジェクトを表わすデータのうち何れのものがこの方向角Ψに該当するものかを認識できることとなる。即ち、ターゲットオブジェクトを決定することができる。
If the direction angle Ψ of the target object is known, the stereoscopic image generating apparatus
本例では、ターゲットオブジェクトは球であって、この球の左視点１２から見た奥行き方向の位置（距離）がターゲットオブジェクトの距離Ｌobj である。
以上が本発明の実施形態の全体の共通構成についての説明である。
In this example, the target object is a sphere, and the position (distance) in the depth direction viewed from the
The above is the description of the overall common configuration of the embodiment of the present invention.
以下、本発明を適用した第１の立体画像表示装置の構成例について説明する。
図１０は、本発明の実施の形態としての装置において、特定の注目オブジェクトに対する視差が一定となるような投影演算を行って左右の各２次元画像データをそれぞれ生成する原理を示す模式図であり、前述の図１のＡ方式の例である。
Hereinafter, a configuration example of a first stereoscopic image display device to which the present invention is applied will be described.
FIG. 10 is a schematic diagram illustrating the principle of generating left and right two-dimensional image data by performing a projection calculation so that the parallax with respect to a specific object of interest is constant in the apparatus according to the embodiment of the present invention. This is an example of the A method in FIG. 1 described above.
即ち、仮想空間（図示の全域）内に、立体モデリングされた複数のオブジェクトとしての三角錐１０と球１１とが配置されている場合において、特定の注目オブジェクトであるターゲットオブジェクトを球１１とし、第１の視点および第２の視点としての左視点１２および右視点１３から各対応する第１の投影面と第２の投影面としての左投影面１４および右投影面１５に上記三角錐１０と球１１のオブジェクトをそれぞれ投影するに相応した投影演算を実行するが、このとき、ターゲットオブジェクトである球については、該投影演算による第１の２次元画像および第２の２次元画像に係る視差が、球のオブジェクトの奥行き方向の距離に拠らず一定となるようにされた第１の２次元画像データおよび第２の２次元画像データたる左右の像のデータがそれぞれ生成される。
That is, when a
このような左右の像のデータを生成するために、図示のように、左視点１２および右視点１３と各対応する左投影面１４および右投影面１５のそれぞれの中心点を通る直線である左および右の視軸（この場合、両視軸は各対応する左投影面１４および右投影面１５にそれぞれ垂直である）の交点である視軸交点Ｐisが、左視点１２および右視点１３を結ぶ線分の中点で同線分に立てた垂線上に位置するように、且つ、左視点１２および右視点１３を結ぶ直線から球のオブジェクト（より厳密には、そのうちの注目点であって、この図では球の中心のように想定されている）までの距離であるオブジェクト距離Ｌobj
だけ離隔した位置（図示の直線Ｌd 上）にあるといった状態が維持されるように、左投影面１４および右投影面１５が各対応する左視点１２および右視点１３との距離を一定に保持しつつこれら両視点の回りに旋回させたに相応する演算が実行される。
In order to generate such left and right image data, as shown in the drawing, the
The
また、上述の状態において、左視点１２および右視点１３を結ぶ直線から視軸交点Ｐisまでの距離である視軸交点の距離Ｐisd が、常に、上記のオブジェクト距離Ｌobj に等しい。
In the above state, the distance Pisd of the visual axis intersection, which is the distance from the straight line connecting the
以上の条件下で、図示のように左投影面１４における右端から球の投影点までの距離ａは、右投影面１５における右端から球の投影点までの距離ａ′に、常に等しくなる。即ち、ターゲットオブジェクト（球乃至そのうちの注目点）に係る投影演算による第１の２次元画像（左画像）および第２の２次元画像（右画像）に係る視差が、球のオブジェクトの奥行き方向の距離に拠らず０となる。
Under the above conditions, as shown in the figure, the distance a from the right end of the
図１１は、図１０を用いて説明したような投影演算を実行して左右の像のデータをそれぞれ生成するまでの情報処理過程を説明するフローチャートである。 FIG. 11 is a flowchart for explaining an information processing process until the left and right image data are generated by executing the projection calculation as described with reference to FIG.
この情報処理過程がスタートすると、先ず、仮想空間内に、立体モデリングされた複数のオブジェクト（三角錐と球）が配置されている場合を想定したプログラムがロードされ（ステップＳ１）、次いで、このプログラムが実行される（ステップＳ２）。 When this information processing process starts, first, a program is loaded assuming that a plurality of three-dimensionally modeled objects (triangular pyramids and spheres) are arranged in the virtual space (step S1). Is executed (step S2).
当該情報処理機能部に対して、本例の立体画像表示システムに適用される画像表示装置（ＨＭＤ）から、図９について既述の、規格化された視線方向角ψ／θのデータが供給され、このデータに依拠して視線方向変換処理が実行され、ターゲットオブジェクトの方向角Ψが算出され（ステップＳ３）、次いで、この方向角Ψに基づいて特定の注目オブジェクトであるターゲットオブジェクト（球）が決定される（ステップＳ４）。 For the information processing function unit, the data of the normalized viewing direction angle ψ / θ described above with reference to FIG. 9 is supplied from the image display device (HMD) applied to the stereoscopic image display system of this example. Based on this data, the line-of-sight direction conversion process is executed to calculate the direction angle Ψ of the target object (step S3), and then, based on this direction angle Ψ, the target object (sphere) that is a specific object of interest is It is determined (step S4).
このようにしてターゲットオブジェクトが決定されると、このターゲットオブジェクトから視点までの距離（左右の視点を結ぶ直線までの距離）Ｌobj が、ステップＳ１でロードされている複数の各オブジェクトを表わすデータの中から該当するデータを検索して演算する如くして求められる（ステップＳ５）。 When the target object is thus determined, the distance from the target object to the viewpoint (distance to the straight line connecting the left and right viewpoints) Lobj is included in the data representing the plurality of objects loaded in step S1. The corresponding data is retrieved and calculated from (Step S5).
次に、ターゲットオブジェクトの状態に適合するようにして、図１０を用いて説明したような条件を満たすものとして左右の投影面が決定される（ステップＳ６）。 Next, the right and left projection planes are determined so as to satisfy the conditions described with reference to FIG. 10 so as to match the state of the target object (step S6).
このようにして左右の投影面が決定されると、この投影面に対して左右の画像の投影演算（レンダリング）が実行される（ステップＳ７）。投影演算の結果得られたデータ（信号）が出力されて、上記画像表示装置（ＨＭＤ）に供給される（ステップＳ８）。 When the left and right projection planes are thus determined, the left and right image projection operations (rendering) are performed on the projection planes (step S7). Data (signal) obtained as a result of the projection calculation is output and supplied to the image display device (HMD) (step S8).
上述のステップＳ８の後、再度ステップＳ３の処理に戻り、その時点での規格化された視線方向角ψ／θのデータに対応してステップＳ３〜ステップＳ８の処理が繰り返し実行される。 After the above step S8, the process returns to the process of step S3 again, and the processes of step S3 to step S8 are repeatedly executed corresponding to the data of the standardized gaze direction angle ψ / θ at that time.
図１２は、図９を用いて説明したような本例の立体画像表示システムに適用される画像表示装置（ＨＭＤ）に備えられ、既述の規格化された視線方向角ψ／θのデータを得るように構成された視線方向検出手段２２の構成例を示す模式図である。 FIG. 12 is provided in the image display apparatus (HMD) applied to the stereoscopic image display system of this example as described with reference to FIG. It is a schematic diagram which shows the structural example of the gaze direction detection means 22 comprised so that it might obtain.
本構成例では、視線方向検出手段は観察者の左眼（左眼球２０）に対応して設けられている。図１２の左表示素子としてのＬＣＤ１８は供給された左眼用画像を映出するためのものである。左眼用接眼光学系１６Ｌは自己の底部内面の凹面ミラー１６Ｌａと内部中央に略々対角線状に設けられたハーフミラー１６Ｌｂとを有するプリズムで成る。
In this configuration example, the line-of-sight direction detection means is provided corresponding to the left eye (left eyeball 20) of the observer. The
視線方向検出手段２２の光源２３は赤外線を投射する各赤外線投射用ＬＥＤを含んで成り、この光源２３からの投射光は上記プリズム（左眼用接眼光学系）１６Ｌのハーフミラー１６Ｌｂで反射されて左眼２０に平行に投射され、その角膜２４からの反射光がハーフミラー１６Ｌｂを透過してレンズ２５を通して光電変換素子２６の光電変換面２６Ｓに入射する。
The
光電変換面２６Ｓへの入射光の位置に応じた信号の値が視線方向角ψ、即ち、図９について上述の視線軸Ｌs と左光軸Ｌa との開き角度（半画角）に対応するものとなるように構成されている。このψのデータは次段の規格化演算器２７で処理されて、図９について上述の半画角をθとしたときの規格化された視線方向角ψ／θが算出され、このψ／θのデータが接続ケーブルを通して立体画像生成装置本体４（図２）に供給されるように構成される。
The value of the signal corresponding to the position of the incident light on the photoelectric conversion surface 26S corresponds to the viewing direction angle ψ, that is, the opening angle (half angle of view) between the viewing axis Ls and the left optical axis La described above with reference to FIG. It is comprised so that. The data of ψ is processed by the
図１３は、本発明の実施の形態としてのシステムに適用される頭部装着型画像表示装置（ＨＭＤ）の光学系の構成例を示す模式図である。
図１３において、既述の図８との対応部には同一の符号を付してある。
FIG. 13 is a schematic diagram showing a configuration example of an optical system of a head-mounted image display device (HMD) applied to the system as the embodiment of the present invention.
In FIG. 13, the same reference numerals are given to the corresponding parts in FIG. 8 described above.
本構成例では、両接眼光学系（接眼レンズ）１６、１７の主点を通る光軸と表示素子の表示面の中心点との相対位置を特定の関係に置くようにしたものである。即ち、左右両眼２０、２１に各対応する両表示素子１８、１９の表示面の夫々の中心点位置が各対応する接眼光学系（接眼レンズ）１６、１７の主点を通る光軸位置よりも内側に（双方が接近する方向に）等量だけずらされて位置する（図示のように位置的オフセットＳ0 が加えられた）ように構成され、且つ、このオフセット量は上記各接眼光学系（接眼レンズ）１６、１７の主点とこれに各対応する両表示素子１８、１９の表示面の中心を通る両光学視軸の交点が該両光学系による虚像面内の位置となるように選択されている。
In this configuration example, the relative position between the optical axis passing through the principal points of the both eyepiece optical systems (eyepiece lenses) 16 and 17 and the center point of the display surface of the display element is placed in a specific relationship. That is, the center point position of the display surface of each of the
このように構成された画像表示装置（ＨＭＤ）に、上記両表示面に表示されるべき画像を表わすデータとして当該立体画像生成装置本体の視差制御手段により、ターゲットオブジェクトについての左右の２次元画像に係る視差が０となるように制御された画像データが供給された場合、このターゲットオブジェクトについて左右両眼を結ぶ直線から虚像面Ｖp までの距離である視距離と輻輳距離とが一致したまま変化せず、観察者は視距離と輻輳距離との違いに起因する違和感や疲労感が大幅に軽減される。 In the image display device (HMD) configured as described above, the left and right two-dimensional images of the target object are converted into data representing the images to be displayed on both display surfaces by the parallax control means of the stereoscopic image generation device body. When image data that is controlled so that the parallax is zero is supplied, the viewing distance, which is the distance from the straight line connecting the left and right eyes to the virtual image plane Vp, and the convergence distance of the target object are changed. In other words, the observer feels significantly less discomfort and fatigue due to the difference between the viewing distance and the convergence distance.
図１４は、本発明の実施の形態としてのシステムに適用される画像表示装置（ＨＭＤ）の光学系の他の構成例を示す模式図である。
図１４においても、既述の図８との対応部には同一の符号を付してある。
FIG. 14 is a schematic diagram showing another configuration example of the optical system of the image display device (HMD) applied to the system as the embodiment of the present invention.
Also in FIG. 14, the same reference numerals are given to the corresponding parts in FIG. 8 described above.
既述の図１３のものでは両表示素子の表示面の夫々の中心点位置について位置的オフセットＳ0 が加えられた構成を採ったのに対し、この図１４のものでは両表示素子１８、１９の表示面の各裏面側が相互に向き合う方向に等量だけ適宜に傾けて、各接眼光学系（接眼レンズ）１６、１７の主点とこれに各対応する表示面の中心を通る両光学視軸の交点が該両光学系による虚像面Ｖp
内の位置となるように選択されている。
In FIG. 13 described above, a configuration in which a positional offset S0 is added to the respective center point positions of the display surfaces of both display elements is adopted, whereas in FIG. The respective back sides of the display surface are appropriately tilted by an equal amount in the direction facing each other, and the two optical visual axes passing through the principal points of the respective eyepiece optical systems (eyepiece lenses) 16 and 17 and the centers of the corresponding display surfaces. The intersection is the virtual image plane Vp by the two optical systems
Is selected to be in the position.
このように構成された画像表示装置（ＨＭＤ）に、上記両表示面に表示されるべき画像を表わすデータとして当該立体画像生成装置本体の視差制御手段により、ターゲットオブジェクトについての左右の２次元画像に係る視差が０となるように制御された画像データが供給された場合、このターゲットオブジェクトについて左右両眼を結ぶ直線から虚像面Ｖp までの距離である視距離と輻輳距離とが一致したまま変化せず、図１３の形態と同様の作用効果が得られる。 In the image display device (HMD) configured as described above, the left and right two-dimensional images of the target object are converted into data representing the images to be displayed on both display surfaces by the parallax control means of the stereoscopic image generation device body. When image data that is controlled so that the parallax is zero is supplied, the viewing distance, which is the distance from the straight line connecting the left and right eyes to the virtual image plane Vp, and the convergence distance of the target object are changed. In other words, the same effect as that of the embodiment of FIG. 13 can be obtained.
図１５は、本発明の他の実施の形態としてのシステムに適用される画像表示装置（ＨＭＤ）の光学系と画像の表示との関係を示す模式図である。 FIG. 15 is a schematic diagram showing a relationship between an optical system of an image display apparatus (HMD) applied to a system as another embodiment of the present invention and image display.
既述の図１３のものでは両表示素子の表示面の夫々の中心点位置について位置的オフセットＳ0 が加えられた構成を採ったのに対し、この図１５のものでは光学系自体にはこのうようなオフセットが付加されていない。 In the above-described FIG. 13, a configuration in which a positional offset S0 is added to the center point positions of the display surfaces of both display elements is adopted, whereas in FIG. 15, the optical system itself has this configuration. Such an offset is not added.
即ち、この構成例では、左右両表示素子１８、１９の表示面の中心点が両接眼光学系（接眼レンズ）１６、１７の主点を通る光軸上に位置するように構成され、且つ、このような左右両表示素子１８、１９によって映出されるべき画像信号として、その画像信号による画像の中心位置について、図１３で説明したオフセットＳ0 と同様の位置的オフセットが生じるよう予め所定量だけ電気的にシフティングしている。
That is, in this configuration example, the center point of the display surfaces of the left and
この図１５の構成例でも、結果的にターゲットオブジェクトについての左右の２次元画像に係る視差が０となるように制御された画像データが供給された場合、このターゲットオブジェクトについて左右両眼を結ぶ直線から虚像面Ｖp までの距離である視距離と輻輳距離とが一致したまま変化せず、図１３の形態と同様の作用効果が得られる。 Even in the configuration example of FIG. 15, when image data that is controlled so that the parallax related to the left and right two-dimensional images of the target object is consequently zero is obtained, a straight line connecting the left and right eyes of the target object The viewing distance, which is the distance from the virtual image plane Vp, and the convergence distance do not change and remain the same, and the same effect as the embodiment of FIG. 13 is obtained.
図１６は、立体画像生成装置が生成する仮想３次元空間内を２つのオブジェクト（三角錐とターゲットオブジェクトである球）がそれらの左右の視点位置を基準にして表したときの奥行き方向の相対移動の様子を示す模式図である。 FIG. 16 shows the relative movement in the depth direction when two objects (triangular pyramid and sphere that is the target object) are represented in the virtual three-dimensional space generated by the stereoscopic image generating apparatus with reference to their left and right viewpoint positions. It is a schematic diagram which shows the mode of.
図１７は、図１６について説明した表示対象となる２つのオブジェクトに対し投影演算を行った後の左画像および右画像について、それらオブジェクトの奥行き方向の相対移動に伴って左右両画面内での表示位置が移動する様子を示す図である。 FIG. 17 shows the display on the left and right screens of the left image and the right image after performing the projection operation on the two objects to be displayed described with reference to FIG. 16 as the objects move relative to each other in the depth direction. It is a figure which shows a mode that a position moves.
図において（ア）部は、上記２つのオブジェクト（三角錐と球）について、図１６について説明したようにそれらが奥行き方向に相対移動したとき左右画面内での表示位置が移動する様子を一般的な立体画像生成装置を用いた場合について示す図であり、（イ）部は、上記オブジェクトの同様の相対移動に伴なう左右両画面内での表示位置の移動を、本発明の実施の形態の立体画像生成装置を用いた場合について示す図である。 In the figure, part (a) generally shows how the display positions of the two objects (triangular pyramid and sphere) move in the left and right screens when they are relatively moved in the depth direction as described with reference to FIG. FIG. 6 is a diagram showing a case where a three-dimensional image generation apparatus is used, in which (a) part represents the movement of the display position in the left and right screens accompanying the same relative movement of the object according to the embodiment of the present invention. It is a figure shown about the case where 3D image production | generation apparatus of this is used.
図の（ア）部について、その（ａ）部は表示対象となるオブジェクトの一つである三角錐とターゲットオブジェクトである球とが奥行き方向の相対位置が或る一定の位置に在る場合の左画像および右画像を表している。 As for part (a) in the figure, part (a) shows the case where the triangular pyramid, which is one of the objects to be displayed, and the sphere, which is the target object, are at a certain relative position in the depth direction. The left image and the right image are shown.
同図（ア）の（ｂ）部は球の方が相対的に手前側に、且つ、三角錐方が相対的に奥側に移動した場合の左画像および右画像を表している。
同図（ア）の（ｃ）部は球の方が相対的に更に手前側に、且つ、三角錐方が相対的に更に奥側に移動した場合の左画像および右画像を表している。
Part (b) of FIG. 7A shows a left image and a right image when the sphere moves relatively to the near side and the triangular pyramid moves relatively to the back side.
Part (c) of FIG. 6A shows a left image and a right image when the sphere moves relatively further to the front and the triangular pyramid moves relatively further to the back.
図の（ア）の（ａ）部乃至（ｃ）部より理解される通り、球の方が三角錐に対して相対的に手前側に移動するとき、三角錐の像は左右両画面内で各画面の中央位置に向けて次第に相対的に離れるように移動し、これに対して球の像は左右両画面の中間位置に向けて次第に寄ってくるように移動し且つ大きさも次第に大きくなってゆく。 As understood from (a) to (c) of (a) in the figure, when the sphere moves to the near side relative to the triangular pyramid, the image of the triangular pyramid is displayed in both the left and right screens. The sphere image moves gradually toward the middle position of the left and right screens, and the size gradually increases. go.
即ち、ターゲットオブジェクトとして想定された球についても、その奥行き方向の移動に伴って左右の画像の視差が変化している。これは、ターゲットオブジェクトの奥行き方向の移動に伴って、観察者の両眼を結ぶ直線の位置から左右両画像を観察する光学系による虚像面までの位置である視距離と輻輳距離との乖離が大きくなってしまうことを意味している。 That is, for the sphere assumed as the target object, the parallax between the left and right images changes with the movement in the depth direction. This is because, as the target object moves in the depth direction, there is a difference between the viewing distance and the convergence distance, which is the position from the position of the straight line connecting the eyes of the observer to the virtual image plane by the optical system that observes both the left and right images. It means to grow up.
一方、図の（イ）部についても（ア）部におけると同様に、（ａ）部は表示対象となるオブジェクトの一つである三角錐と他の一つである球とが奥行き方向の相対位置が或る一定の位置に在る場合の左画像および右画像を表している。 On the other hand, in the (a) part of the figure, as in the (a) part, in the (a) part, the triangular pyramid that is one of the objects to be displayed and the other sphere are relative in the depth direction. The left image and the right image when the position is at a certain position are shown.
同図（イ）の（ｂ）部は球の方が相対的に手前側に、且つ、三角錐方が相対的に奥側に移動した場合の左画像および右画像を表している。
同図（イ）の（ｃ）部は球の方が相対的に更に手前側に、且つ、三角錐方が相対的に更に奥側に移動した場合の左画像および右画像を表している。
Part (b) of FIG. 6A shows a left image and a right image when the sphere moves relatively to the near side and the triangular pyramid moves relatively to the back side.
Part (c) of FIG. 5A shows a left image and a right image when the sphere moves relatively further to the front and the triangular pyramid moves relatively further to the back.
図の（イ）の（ａ）部乃至（ｃ）部より理解される通り、球の方が三角錐に対して相対的に手前側に移動するとき、三角錐の像は左右両画面内で次第に相対的に離れるように移動し、これに対して球の像は左右両画面とも略々その中央位置から大きく移動することがないまま大きさだけが次第に大きくなってゆく。 As can be understood from the parts (a) to (c) of the figure (a), when the sphere moves toward the front relative to the triangular pyramid, the image of the triangular pyramid is displayed in both the left and right screens. In contrast to this, the image of the sphere gradually increases in size without moving largely from the center position of both the left and right screens.
即ち、ターゲットオブジェクトとして想定された球については、その奥行き方向の移動に伴って左右の画像の視差が変化しない。これは、ターゲットオブジェクトの奥行き方向の移動に伴って、観察者の両眼を結ぶ直線の位置から左右両画像を観察する光学系による虚像面までの位置である視距離と輻輳距離との乖離が極小に抑制され得ることを意味している。 That is, for the sphere assumed as the target object, the parallax between the left and right images does not change with the movement in the depth direction. This is because, as the target object moves in the depth direction, there is a difference between the viewing distance and the convergence distance, which is the position from the position of the straight line connecting the eyes of the observer to the virtual image plane by the optical system that observes both the left and right images. It means that it can be minimized.
従って、表示面と光学系との位置関係を図１３或いは図１４について説明したように構成することにより、ターゲットオブジェクトの奥行き方向の移動に拠らず、視距離と輻輳距離が略々等しい状態を維持できることになる。 Therefore, by configuring the positional relationship between the display surface and the optical system as described with reference to FIG. 13 or FIG. 14, the viewing distance and the convergence distance are substantially equal regardless of the movement of the target object in the depth direction. It can be maintained.
左右の表示面内でのターゲットオブジェクトの位置が画面の略々中央にあって移動しなければ左右両画像の視差は常に０であるため、両画像をそのまま観察したのでは、ターゲットオブジェクトである球については輻輳距離が常に無限遠である場合と同じ状態となってしまう。これに対し、本実施の形態では、表示面と光学系との位置関係を図１３或いは図１４或いは図５について説明したように構成することにより、ターゲットオブジェクトは奥行き位置が有限の適宜の距離にあるように観察され得ることになる。 If the position of the target object in the left and right display planes is approximately in the center of the screen and does not move, the parallax between the left and right images is always 0. Therefore, if both images are observed as they are, the sphere that is the target object Is the same as when the convergence distance is always infinity. On the other hand, in the present embodiment, the positional relationship between the display surface and the optical system is configured as described with reference to FIG. 13, FIG. 14, or FIG. It can be observed as is.
図１８は、立体画像生成装置が生成する仮想３次元空間内を２つのオブジェクト（三角錐とターゲットオブジェクトである球）がそれらの左右の視点位置を基準にして表したときの奥行き方向の相対移動の様子を示す模式図である。 FIG. 18 shows the relative movement in the depth direction when two objects (triangular pyramid and sphere that is the target object) are represented in the virtual three-dimensional space generated by the stereoscopic image generating apparatus with reference to the left and right viewpoint positions. It is a schematic diagram which shows the mode of.
この図の場合、ターゲットオブジェクトである球は左視点に対応する位置より更に左側の奥手位置から斜め右手前に向かって右視点に対応する位置のところまで移動するように想定されている。 In the case of this figure, it is assumed that the sphere that is the target object moves further from the back position on the left side to the position corresponding to the right viewpoint, diagonally right before the position corresponding to the left viewpoint.
図１９は、図１８について説明した表示対象となる２つのオブジェクトに対し投影演算を行った後の左画像および右画像について、ターゲットオブジェクトの既述のような移動に伴って左右両画面内での表示位置が移動する様子を示す図である。 FIG. 19 shows the left image and the right image after the projection operation is performed on the two objects to be displayed described with reference to FIG. 18 in the left and right screens as the target object moves as described above. It is a figure which shows a mode that a display position moves.
図１９において（ア）部は、上記２つのオブジェクト（三角錐と球）について、ターゲットオブジェクトである球が図１８について説明したように移動するに伴って左右画面内での表示位置が移動する様子を一般的な立体画像生成装置を適用した場合について示す図であり、（イ）部は、上記オブジェクトの同様の移動に伴なう左右両画面内での表示位置の移動を、本発明の実施の形態の立体画像生成装置を適用した場合について示す図である。 In FIG. 19, (a) shows that the display position of the two objects (triangular pyramid and sphere) moves in the left and right screens as the target object sphere moves as described with reference to FIG. 18. Is a diagram showing a case where a general stereoscopic image generating apparatus is applied, and (a) part shows the movement of the display position in the left and right screens accompanying the similar movement of the object. It is a figure shown about the case where the stereo image production | generation apparatus of the form of is applied.
図１９の（ア）部について、（ａ）部は表示対象となるオブジェクトの一つである三角錐とターゲットオブジェクトである球とが奥行き方向の相対位置が略々等しい或る一定の位置（移動前の位置）に在る場合の左画像および右画像を表している。 19A, part (a) shows a certain position (movement) in which the triangular pyramid, which is one of the objects to be displayed, and the sphere, which is the target object, have substantially the same relative position in the depth direction. The left image and the right image in the previous position) are shown.
同図（ア）の（ｂ）部は球の方が斜め右手前側に移動し、且つ、三角錐は元の位置から移動しない場合の左画像および右画像を表している。
同図（ア）の（ｃ）部は球の方が相対的に更に斜め右手前側に移動し、且つ、三角錐は元の位置から移動しない場合の左画像および右画像を表している。
Part (b) of FIG. 6A shows a left image and a right image when the sphere moves obliquely to the right front side and the triangular pyramid does not move from the original position.
(C) part of FIG. 6A shows the left image and the right image when the sphere moves relatively further to the right front side and the triangular pyramid does not move from the original position.
図の（ア）の（ａ）部乃至（ｃ）部より理解される通り、球の方が三角錐に対して相対的に斜め右手前側に移動するとき、三角錐の像は左右両画面内で元の位置を維持し、これに対して球の像は左右両画面でいずれも次第に右側に移動し且つ大きさも次第に大きくなってゆく。そして左画面内における球の像の位置と右画面内における球の像の位置とのずれは大きくなっていく。 As understood from (a) to (c) of (a) in the figure, when the sphere moves relative to the triangular pyramid diagonally to the right front, the image of the triangular pyramid is displayed on both the left and right screens. While maintaining the original position, the image of the sphere gradually moves to the right in both the left and right screens, and the size gradually increases. The deviation between the position of the sphere image in the left screen and the position of the sphere image in the right screen increases.
即ち、図１７について説明したと同様、ターゲットオブジェクトとして想定された球について、その奥行き方向の移動に伴って左右の画像の視差が変化している。これは、ターゲットオブジェクトの奥行き方向の移動に伴って、観察者の両眼を結ぶ直線の位置から左右両画像を観察する光学系による虚像面までの位置である視距離と輻輳距離との乖離が大きくなってしまうことを意味している。 That is, as described with reference to FIG. 17, the parallax of the left and right images changes with the movement in the depth direction of the sphere assumed as the target object. This is because, as the target object moves in the depth direction, there is a difference between the viewing distance and the convergence distance, which is the position from the position of the straight line connecting the eyes of the observer to the virtual image plane by the optical system that observes both the left and right images. It means to grow up.
一方、図の（イ）部についても（ア）部におけると同様に、（ａ）部は表示対象となるオブジェクトの一つである三角錐とターゲットオブジェクトである球とが奥行き方向の相対位置が略々等しい或る一定の位置（移動前の位置）に在る場合の左画像および右画像を表している。 On the other hand, in the (a) part of the figure, as in the (a) part, the (a) part has a relative position in the depth direction between the triangular pyramid that is one of the objects to be displayed and the sphere that is the target object. The left image and the right image are shown when they are at a certain position (position before movement) that is substantially equal.
同図（ア）の（ｂ）部は球の方が斜め右手前側に移動し、且つ、三角錐は元の位置から移動しない場合の左画像および右画像を表している。
同図（ア）の（ｃ）部は球の方が相対的に更に斜め右手前側に移動し、且つ、三角錐は元の位置から移動しない場合の左画像および右画像を表している。
Part (b) of FIG. 6A shows a left image and a right image when the sphere moves obliquely to the right front side and the triangular pyramid does not move from the original position.
(C) part of FIG. 6A shows the left image and the right image when the sphere moves relatively further to the right front side and the triangular pyramid does not move from the original position.
図の（イ）の（ａ）部乃至（ｃ）部より理解される通り、球の方が三角錐に対して相対的に右斜め手前側に移動するとき、左画面内における三角錐の像は次第に左手に移動し、右画面内における三角錐の像は次第に右手に移動する。これに対して球の像は左右両画面間で各画面の中央位置と球の中心位置とのずれ量を略々等しく保ちつつ、右側に移動してゆき、且つ、大きさが次第に大きくなってゆく。 As can be understood from (a) to (c) of (a) in the figure, when the sphere moves relative to the triangular pyramid to the right obliquely front side, the image of the triangular pyramid in the left screen Gradually moves to the left hand, and the image of the triangular pyramid in the right screen gradually moves to the right hand. On the other hand, the image of the sphere moves to the right side while keeping the amount of deviation between the center position of each screen and the center position of the sphere approximately equal between the left and right screens, and the size gradually increases. go.
即ち、ターゲットオブジェクトとして想定された球については、その奥行き方向の移動に伴って左右の画像の視差が変化しない。これは、ターゲットオブジェクトの奥行き方向の移動に伴って、観察者の両眼を結ぶ直線の位置から左右両画像を観察する光学系による虚像面までの位置である視距離と輻輳距離との乖離が極小に抑制され得ることを意味している。 That is, for the sphere assumed as the target object, the parallax between the left and right images does not change with the movement in the depth direction. This is because, as the target object moves in the depth direction, there is a difference between the viewing distance and the convergence distance, which is the position from the position of the straight line connecting the eyes of the observer to the virtual image plane by the optical system that observes both the left and right images. It means that it can be minimized.
従って、この場合も、表示面と光学系との位置関係を図１３或いは図１４或いは図１５について説明したように構成することにより、ターゲットオブジェクトの奥行き方向の移動に拠らず、視距離と輻輳距離が略々等しい状態を維持できることになる。 Therefore, also in this case, by configuring the positional relationship between the display surface and the optical system as described with reference to FIG. 13, FIG. 14, or FIG. 15, the viewing distance and the convergence are not dependent on the movement of the target object in the depth direction. The state where the distances are substantially equal can be maintained.
左表示面内でのターゲットオブジェクトの位置と右の表示面内でのターゲットオブジェクトの位置とが常に等しければ、左右両画像の視差は常に０であるため、両画像をそのまま観察したのでは、ターゲットオブジェクトである球については輻輳距離が常に無限遠である場合と同じ状態となってしまう。これに対し、本実施の形態では、表示面と光学系との位置関係を図１３或いは図１４或いは図１５について説明したように構成することにより、ターゲットオブジェクトは奥行き位置が有限の適宜の距離にあるように観察され得ることになる。 If the position of the target object in the left display plane is always equal to the position of the target object in the right display plane, the parallax between the left and right images is always zero. The sphere that is an object is in the same state as when the convergence distance is always infinite. On the other hand, in the present embodiment, the positional relationship between the display surface and the optical system is configured as described with reference to FIG. 13, FIG. 14 or FIG. It can be observed as is.
図２０は、一般的な表示装置を適用して、図１９の（ア）部について説明した左右画像それぞれを左および右表示素子１８、１９の画面に映出し、左および右接眼光学系（レンズ）１６、１７で拡大したときに生成される３次元空間像を示す模式図である。
20 applies a general display device to project the left and right images described with respect to part (a) of FIG. 19 on the screens of the left and
図１９の（ア）部の（ａ）部から（ｃ）部へと状態が推移すると、球の像は矢線図示のように次第に大きくなって右斜め手前側に飛び出してくるように見え、一方、三角錐の像は大きさ位置共変化しない。 When the state transitions from (a) part to (c) part of (a) part of FIG. 19, the image of the sphere gradually increases as shown by the arrow and appears to jump out to the right front side, On the other hand, the size of the triangular pyramid image does not change.
図２１は、本発明を適用した表示装置を適用して、図１９の（イ）部について説明した左右画像それぞれを左および右表示素子１８、１９の画面に映出し、左および右接眼光学系（レンズ）１６、１７で拡大したときに生成される３次元空間像を示す模式図である。
FIG. 21 applies the display device to which the present invention is applied, and displays the left and right images described for the portion (a) in FIG. 19 on the screens of the left and
図１９の（イ）部の（ａ）部から（ｃ）部へと状態が推移すると、球の像は矢線図示のように次第に大きくなって右側に移動し、同時に、三角錐の像は大きさは変わらないまま奥行き方向に次第に遠のくため、双方の像を同時に観察する者にとっては、結果的に球の像は次第に大きくなって右斜め手前側に飛び出してくるように知覚される。 When the state changes from (a) to (c) in FIG. 19 (a), the image of the sphere gradually increases and moves to the right as shown by the arrow, and at the same time, the image of the triangular pyramid Since the size is not changed, the distance gradually increases in the depth direction, so that a person who observes both images at the same time perceives that the image of the sphere gradually becomes larger and protrudes to the right front side.
この図２１の場合は、図１３について説明した、左右両眼に各対応する両表示素子の表示面の夫々の中心点位置が各対応する接眼光学系（接眼レンズ）の主点を通る光軸位置よりも内側に（双方が接近する方向に）等量だけずらされて位置した構成の（位置的オフセットＳ0 が加えられた）表示装置を適用している。ここに、上記オフセットの量は上記各接眼光学系（接眼レンズ）の主点とこれに各対応する表示面の中心を通る両光学視軸の交点が該両光学系による虚像面内の位置となるように選択されている。 In the case of FIG. 21, the optical axis passing through the principal point of each corresponding eyepiece optical system (eyepiece lens) in which the center point positions of the display surfaces of the display elements corresponding to the left and right eyes described with reference to FIG. A display device having a configuration (with a positional offset S0 added) is applied which is shifted inward by an equal amount from the position (in the direction in which both approach). Here, the amount of the offset is the position of the intersection of both optical visual axes passing through the center of each of the eyepiece optical systems (eyepiece lenses) and the corresponding display surface in the virtual image plane. Has been selected to be.
本発明を適用した装置では、左右両眼を横に結ぶ直線から左右両眼の視線方向の直線が交差する点までの距離である輻輳距離は球の飛び出しに対応して変化するということがない。従って、この場合での注目すべきオブジェクトである球については、左右両眼を結ぶ直線から虚像面までの距離である視距離と輻輳距離とが一致したまま変化せず、観察者は視距離と輻輳距離との違いに起因する違和感や疲労感が大幅に軽減される。 In the apparatus to which the present invention is applied, the convergence distance, which is the distance from the straight line connecting the left and right eyes to the point where the straight lines in the line of sight of the left and right eyes intersect, does not change corresponding to the popping out of the sphere. . Therefore, for the sphere, which is a notable object in this case, the viewing distance that is the distance from the straight line connecting the left and right eyes to the virtual image plane and the convergence distance do not change, and the observer does not change the viewing distance. Discomfort and fatigue caused by the difference from the convergence distance are greatly reduced.
また、このような違和感や疲労感を極力抑制するために、移動に伴って像が手前側に飛び出してくる飛び出し量を小さく制限することを要しないため、３次元画像としてのインパクトが減殺されてしまう虞れもない。 In addition, in order to suppress such a sense of incongruity and fatigue as much as possible, it is not necessary to limit the amount of popping out of the image to the near side as it moves, so the impact as a three-dimensional image is reduced. There is no fear of it.
次に、本発明を適用した第２の立体画像表示装置の構成例について説明する。
図２２は、ターゲットオブジェクトに関する左右両画像間の視差が０となるような画像（データ）を生成する第２の実施形態の原理を示す概念図である。第１の実施形態と同様にＡ方式（レンダリング制御＋レンダリング）の例であるが、第１の実施形態とはレンダリング制御方法が異なる。
Next, a configuration example of the second stereoscopic image display device to which the present invention is applied will be described.
FIG. 22 is a conceptual diagram showing the principle of the second embodiment for generating an image (data) in which the parallax between the left and right images related to the target object is zero. Although it is an example of A method (rendering control + rendering) like the first embodiment, the rendering control method is different from the first embodiment.
この場合のターゲットオブジェクトである球の像は、左投影面１４上では、その中心が同左投影面１４の左端から距離ｂの点に位置するように投影される。一方、右投影面１５上でも、その中心が同右投影面１５の左端から上述の距離ｂに等しい距離ｂ′の点に位置するように投影されるよう、左右の投影面１４、１５を投影面内方向にシフトする。
In this case, the image of the sphere that is the target object is projected on the
換言すれば、左および右の投影面の位置を定めるについて距離ｂ＝距離ｂ′となるように両投影面１４、１５の面内方向の相対位置がシフトされる。 In other words, the relative positions in the in-plane directions of both projection surfaces 14 and 15 are shifted so that the distance b = distance b ′ is determined for determining the positions of the left and right projection surfaces.
このような左右の像のデータを生成するために、図示のように、左視点１２および右視点１３と各対応する左投影面１４および右投影面１５のそれぞれの中心点を通る直線である左および右の視軸の交点である視軸交点Ｐisが、左視点１２および右視点１３を結ぶ線分の中点で同線分に立てた垂線上に位置するように、且つ、左視点１２および右視点１３を結ぶ直線から球のオブジェクト（より厳密には、そのうちの注目点であって、この図では球の中心のように想定されている）までの距離であるオブジェクト距離Ｌobj
だけ離隔した位置（破線図示の直線Ｌd 上）にあるといった状態が維持されるように、左投影面１４および右投影面１５が各対応する左視点１２および右視点１３との距離を一定に保持しつつこれら両投影面の面内方向にシフトしたに相応する演算が実行される。
In order to generate such left and right image data, as shown in the drawing, the
The
また、上述の状態において、左視点１２および右視点１３を結ぶ直線から前述の視軸交点Ｐisまでの距離である視軸交点の距離Ｐisd が、常に、上記のオブジェクト距離Ｌobj に等しい。
In the above state, the distance Pisd of the visual axis intersection, which is the distance from the straight line connecting the
以上の条件下で、ターゲットオブジェクト（球乃至そのうちの注目点）に係る投影演算による第１の２次元画像（左画像）および第２の２次元画像（右画像）に係る視差が、球のオブジェクトの奥行き方向の距離に拠らず一定となる。即ち、図示のように、常に、距離ｂ＝距離ｂ′となる。 Under the above conditions, the parallax for the first two-dimensional image (left image) and the second two-dimensional image (right image) by the projection calculation for the target object (the sphere or its attention point) is a spherical object. It is constant regardless of the distance in the depth direction. That is, as shown in the figure, the distance b is always equal to the distance b ′.
上記において、左投影面１４上で、左視点１２を通る左投影面１４の垂線が同左投影面１４と交差する点と、左視点と上記視軸交点Ｐisとを結ぶ直線が左投影面１４と交差する点との距離をＳ、上記左視点１２および右視点１３を結ぶ線分の中点からいずれかの視点つでの距離をＤ（両視点間の半距離）、いずれかの視点（例えば左視点１２）から対応する投影面（左投影面１４）を見込む角の半分の角度（半画角）をΘとすると、上記Ｓは、次のように投影面の大きさに対する割合による無次元の量として扱うことができる：
また、上記Ｓを当該表示面における画素数で表すと、上記（１）式の右辺第２項の分子１には同表示面の水平方向の画素数Ｐh の１／２であるＰh-halfが対応するため次のように表される：
結果として得られる左右画像は第１の構成例と同様であり、同一の効果を有する。
In the above, on the
Further, when S is represented by the number of pixels on the display surface, the
The resulting left and right images are the same as in the first configuration example and have the same effect.
以下、本発明を適用した第３の立体画像表示装置の構成例について説明する。第３の実施形態は前述の図１のＢ３式に対応している。結果として得られる左右画像は第１の実施形態と同様であり、図２３は、本発明の装置において、立体画像を得るための左画像および右画像について、表示対象となる２つのオブジェクト（三角錐と球）のうちターゲットオブジェクトに関する視差を両画面内での表示状態を変化させることによって最適化する様子を示す図である。 Hereinafter, a configuration example of a third stereoscopic image display apparatus to which the present invention is applied will be described. The third embodiment corresponds to the above-described formula B3 in FIG. The resulting left and right images are the same as in the first embodiment, and FIG. 23 shows two objects (triangular pyramids) to be displayed for the left and right images for obtaining a stereoscopic image in the apparatus of the present invention. FIG. 6 is a diagram illustrating a state in which parallax related to a target object is optimized by changing display states in both screens.
図において、（ａ）部は表示対象となるオブジェクトの一つである三角錐と他の一つのオブジェクト（この場合での注目する対象とされるべきオブジェクト）である球についてレンダリングによる画像を別段の手段を講じることなく映出した段階での左画像および右画像を表している。 In the figure, part (a) shows an image obtained by rendering a triangular pyramid that is one of the objects to be displayed and a sphere that is another object (an object to be noted in this case). The left image and the right image at the stage of projection without taking measures are shown.
同図の（ｂ）部は各画面の左右にそれぞれ黒枠を映出させた状態での左画像および右画像を表している。ここで、黒枠を映出させているのは、後述の（Ｃ）で画像をシフトしたときに、表示画像の面積が変化してしまうのを防ぐ為である。同図の（ｃ）部はターゲットオブジェクトである球に関する左右両画像間の視差が０となるように黒枠も含めた画像全体の幅を図示のようにＳだけシフトした場合の左画像および右画像を表している。 (B) part of the same figure represents the left image and the right image in a state where black frames are projected on the left and right of each screen. Here, the black frame is displayed in order to prevent the area of the display image from changing when the image is shifted in (C) described later. (C) part of the figure shows the left image and the right image when the width of the entire image including the black frame is shifted by S as shown so that the parallax between the left and right images regarding the sphere as the target object becomes zero. Represents.
図２４は、本発明を適用した装置において、特定の注目オブジェクトに対する視差が一定となるように画像のシフトを行なう場合の条件式を導出する原理を示す模式図である。 FIG. 24 is a schematic diagram showing the principle of deriving a conditional expression when shifting an image so that the parallax with respect to a specific object of interest is constant in the apparatus to which the present invention is applied.
図中、Ｄは左視点１２および右視点１３から、各それらを結ぶ線分の中点Ｏまでの距離（即ち、両視点１２および１３間の距離の１／２の距離）、Θは各視点（左視点１２、右視点１３）から夫々対応する投影面（左投影面１４、右投影面１５）を見込む角の半分の角度（半画角）、Ｘ1 はターゲットオブジェクトの像の左投影面１４上での投影位置の中心を同左投影面１４の中央位置を基準に表したもの、Ｘ2 はターゲットオブジェクトの像の右投影面１５上での投影位置の中心を同右投影面１５の中央位置を基準に表したもの、Ｌobj
は左視点１２および右視点１４を結ぶ直線から当該ターゲットオブジェクト（より厳密には、そのうちの注目点であって、例えば球の中心のように想定される）までの距離であるオブジェクト距離である。また、−Ｈは上記中点Ｏで両視点を結ぶ線分に立てた垂線の位置を基準にしたときの上記ターゲットオブジェクト（の中心）の位置（距離）である。
In the figure, D is the distance from the
Is the object distance that is the distance from the straight line connecting the
図２５は、図２４について説明した左右の投影面の画像に対応する左右の表示面である各ＬＣＤ表示面上で見た左右画像の視差｜Ｘ1 −Ｘ2 ｜を表わす図である。この図の表現では、各ＬＣＤ表示面の水平方向の長さを２として規格化した表現となっている。原理を示す模式図である。
以上、図２４および図２５を用いて説明した各部の値に基づいて、上記左右画像の視差｜Ｘ1 −Ｘ2 ｜を表わすと次の（２）式のようになる：
As described above, the parallax | X1−X2 | of the left and right images based on the values of the respective parts described with reference to FIGS. 24 and 25 is expressed by the following equation (2):
上記（２）式は、ターゲットオブジェクト（の中心）の位置（既述の図２５では、左視点１２および右視点１３を結ぶ線分の中点Ｏで同線分に立てた垂線の位置を基準にしたときの上記ターゲットオブジェクトの中心の位置−Ｈ）に関わらず、上記Ｌobj が求まれば視差｜Ｘ1 −Ｘ2 ｜が算出されること、即ち、視差を最適な状態にするための各部の値が割り出せることを意味している。
そして、ここで求めた視差｜Ｘ1 −Ｘ2 ｜が常に０となる為の既述の図１５或いは図２３における画像乃至黒枠の所要シフト量Ｓ0 求める。図２２について説明したように当該表示面における画素数で表すと、上述した（１）式の右辺第２項の分子１には同表示面の水平方向の画素数Ｐh
の１／２であるＰh-halfが対応するため、眼幅の１／２（半眼幅）をｄ、両眼から光学系による虚像面までの視距離をＬBaseとするとき、次のように表される：
Then, the required shift amount S0 of the image or black frame in FIG. 15 or FIG. 23 described above for obtaining the parallax | X1−X2 | As described with reference to FIG. 22, when expressed in terms of the number of pixels on the display surface, the
Since the half-eye width (half-eye width) is d and the viewing distance from both eyes to the virtual image plane by the optical system is LBase, Is:
図２６は、図２４を用いて説明したような投影演算を実行して左右の像のデータをそれぞれ生成するまでの情報処理過程を説明するフローチャートである。 FIG. 26 is a flowchart for explaining an information processing process until the left and right image data are generated by executing the projection calculation as described with reference to FIG.
この情報処理過程がスタートすると、先ず、仮想空間内に、立体モデリングされた複数のオブジェクト（三角錐と球）が配置されている場合を想定したプログラムがロードされ（ステップＳ１）、次いで、このプログラムが実行される（ステップＳ２）。 When this information processing process starts, first, a program is loaded assuming that a plurality of three-dimensionally modeled objects (triangular pyramids and spheres) are arranged in the virtual space (step S1). Is executed (step S2).
この実施の形態では、プログラムの実行後直ちに、上記複数のオブジェクト（三角錐と球）について左右画像のレンダリングを実行する（ステップＳ３）。 In this embodiment, right and left images are rendered for the plurality of objects (triangular pyramid and sphere) immediately after the execution of the program (step S3).
次いでレンダリングの結果としての画像データを記憶する（ステップＳ４）。当該情報処理機能部に対して、本例の立体画像表示システムに適用される画像表示装置（ＨＭＤ）から、図９について既述の、規格化された視線方向角ψ／θのデータが供給され、このデータに依拠して視線方向変換処理が実行され、ターゲットオブジェクトの方向角Θが算出され（ステップＳ５）、次いで、この方向角Θに対して前回のシフト分相応の視線方向の補正が行われる。 Next, image data as a rendering result is stored (step S4). For the information processing function unit, the data of the normalized viewing direction angle ψ / θ described above with reference to FIG. 9 is supplied from the image display device (HMD) applied to the stereoscopic image display system of this example. Based on this data, the line-of-sight direction conversion process is executed, the direction angle Θ of the target object is calculated (step S5), and then the line-of-sight direction corresponding to the previous shift is corrected for this direction angle Θ. .
これは、前回観察者の見たオブジェクトについては既にシフトが加えられているため、このシフト相応分の影響を除去して、シフトの影響を被っていない視線方向を割り出す必要があるためである。このようにして補正された視線方向に基づいて特定の注目オブジェクトであるターゲットオブジェクト（この場合は球）が決定される（ステップＳ７）。 This is because the object already viewed by the previous observer has already been shifted, so it is necessary to determine the line-of-sight direction not affected by the shift by removing the effect corresponding to this shift. A target object (in this case, a sphere), which is a specific object of interest, is determined based on the line-of-sight direction thus corrected (step S7).
このようにしてターゲットオブジェクトが決定されると、このターゲットオブジェクトから視点までの距離（左右の視点を結ぶ直線までの距離）Ｌobj が、ステップＳ１でロードされている複数の各オブジェクトを表わすデータの中から該当するデータを検索して演算する如くして求められる（ステップＳ９）。 When the target object is thus determined, the distance from the target object to the viewpoint (distance to the straight line connecting the left and right viewpoints) Lobj is included in the data representing the plurality of objects loaded in step S1. The corresponding data is obtained by searching and calculating (step S9).
次に、ターゲットオブジェクトの状態に適合するようにして、図２５を用いて説明したような条件を満たすように左右の画像データおよび黒枠のシフト量が演算により割り出される（ステップＳ１０）。演算の結果得られたデータ（シフト量）に応じて、上記画像表示装置（ＨＭＤ）に供給されるデータが制御され、画像データも黒枠もシフトされる（ステップＳ１１）。 Next, the left and right image data and the shift amount of the black frame are calculated by calculation so as to satisfy the condition described with reference to FIG. 25 so as to match the state of the target object (step S10). The data supplied to the image display device (HMD) is controlled according to the data (shift amount) obtained as a result of the calculation, and both the image data and the black frame are shifted (step S11).
これ以降、ステップＳ３の処理に戻り、その時点での規格化された視線方向角ψ／θのデータに対応してステップＳ３〜ステップＳ１１の処理が繰り返し実行される。 Thereafter, the process returns to step S3, and the processes of step S3 to step S11 are repeatedly executed corresponding to the data of the standardized gaze direction angle ψ / θ at that time.
次に、本発明を適用した第４の立体画像表示装置の構成例について説明する。この第４の構成例も前述の図１のＢ方式に対応しているが、第３の実施形態とは画像変換方法が異なる。
図２７は、本発明の装置において、立体画像を得るための左画像および右画像について、表示対象となる２つのオブジェクト（三角錐と球）のうちターゲットオブジェクトに関する視差を両画面内での表示状態を変化させることによって最適化する様子を示す図である。
Next, a configuration example of a fourth stereoscopic image display device to which the present invention is applied will be described. The fourth configuration example also corresponds to the above-described method B in FIG. 1, but the image conversion method is different from that of the third embodiment.
FIG. 27 shows the display state of the parallax related to the target object among the two objects (triangular pyramid and sphere) to be displayed with respect to the left image and the right image for obtaining a stereoscopic image in the apparatus of the present invention. It is a figure which shows a mode that it optimizes by changing.
この図２７の構成例は図２３について説明した構成例の変形例ともいうべきものであり、現実にターゲットオブジェクトの画面内での表示位置をシフトさせるに替えて、元となる水平方向の寸法の大きい画面内でのターゲットオブジェクトの位置は変化させないまま、該元となる大きい画面からターゲットオブジェクトを含んで部分的に切り出すようにして抽出してくる画面の切り出し位置を変化させることにより、実効的にターゲットオブジェクトの表示位置をシフトさせる効果を得るようにしたものである。 The configuration example of FIG. 27 should be called a modification of the configuration example described with reference to FIG. 23. Instead of actually shifting the display position of the target object on the screen, the original horizontal dimension is changed. By changing the cutout position of the extracted screen by partially cutting out the target object including the target object from the original large screen without changing the position of the target object in the large screen, The effect of shifting the display position of the target object is obtained.
図において、（ａ）部は表示対象となるオブジェクトの一つである三角錐と他の一つのオブジェクト（この場合での注目する対象とされるべきオブジェクト）である球についてレンダリングによる画像を別段の手段を講じることなく元となる水平方向の寸法の大きい画面内に映出した段階での左画像および右画像を表している。 In the figure, part (a) shows an image obtained by rendering a triangular pyramid that is one of the objects to be displayed and a sphere that is another object (an object to be noted in this case). The left image and the right image at the stage of being projected on the screen having a large horizontal dimension without taking measures are shown.
同図の（ｂ）部は左右各画面について、元となる大きい画面からターゲットオブジェクトを含んで画面を部分的に切り出すときの切り出し位置を可変設定する様子を表している。 (B) part of the figure represents a state in which the cutout position when the screen is partially cut out including the target object from the original large screen is variably set for each of the left and right screens.
同図の（ｃ）部はターゲットオブジェクトである球を含んで切り出し（抽出）処理された後の左画像および右画像を表している。 (C) part of the figure represents the left image and the right image after being cut out (extracted) including the target object sphere.
次に、本発明の第１の実施の形態について説明する。
図２８は、本発明の距離演算装置において、ターゲットオブジェクトを識別し、その距離（既述のＬobj ）を算出する過程を説明するための模式図である。
Next, a first embodiment of the present invention will be described.
FIG. 28 is a schematic diagram for explaining a process of identifying a target object and calculating the distance (the aforementioned Lobj) in the distance calculation apparatus of the present invention.
この図２８では、オブジェクトＡ（球）とオブジェクトＢ（三角錐）とが或る平面投影状態では部分的に重なり合って位置している場合が示されている。一般に、ヒトの視点移動は比較的短時間に微動しながら逐次移動する傾向があり、この現象は固視微動として良く知られている。従って、或る一つの時点のみで視線方向をサンプリングしても、この固視微動があるため、正確に注目オブジェクトを特定することは困難である。 FIG. 28 shows a case where an object A (sphere) and an object B (triangular pyramid) are partially overlapped in a certain plane projection state. In general, the movement of the viewpoint of a human tends to move sequentially with slight movement in a relatively short time, and this phenomenon is well known as fixation fine movement. Therefore, even if the line-of-sight direction is sampled only at a certain point in time, it is difficult to accurately identify the object of interest because of this fixation fine movement.
そこで、所定時間内に複数の視線方向（注視点）をサンプリングして、これらの情報を総合的に判断の根拠として用いれば、比較的正確に注目オブジェクトを特定することができ、従って、その距離を正確に割り出すことが可能となる。 Therefore, if a plurality of gaze directions (gaze points) are sampled within a predetermined time and these pieces of information are used as a basis for comprehensive judgment, the object of interest can be identified relatively accurately, and therefore the distance Can be accurately determined.
図示の例では、５００msecの間に７ポイントの注視点を検出するようにしている。 In the illustrated example, 7 points of gazing point are detected within 500 msec.
図２９は、図２８において説明した７ポイントの注視点の情報に基づいて注目オブジェクトを決定し、その距離を割り出す方法について説明するための概念図である。 FIG. 29 is a conceptual diagram for explaining a method of determining an object of interest based on the information on the 7-point gazing point described in FIG. 28 and determining the distance.
この方法では、注視点１から注視点７までの各ポイントについて、その注視点毎にそれがオブジェクトＡに属するカウント数（度数）Ｎ（Ａ）とオブジェクトＢに属するカウント数（度数）Ｎ（Ｂ）とを求める。
In this method, for each point from the
次いで、このＮ（Ａ）とＮ（Ｂ）とを比較して、度数の高いものに係るオブジェクト（例えばオブジェクトＡである球）を注目オブジェクトとして決定し、予めその注目オブジェクトに関して保有している画像データに基づいて距離（ＬＡ１を算出して、この距離を既述のＬobj として出力する。 Next, the N (A) and N (B) are compared to determine an object related to a high frequency (for example, a sphere that is the object A) as a target object, and an image that is held in advance for the target object A distance (LA1 is calculated based on the data, and this distance is output as Lobj described above.
図３０は、図２８において説明した７ポイントの注視点の情報に基づいて各ポイントに対応したオブジェクトが何であるかを弁別して該当するオブジェクトの距離を求め、最も近い距離を注目オブジェクトの距離として割り出す方法について説明するための概念図である。 FIG. 30 discriminates what the object corresponding to each point is based on the information on the 7 points of gazing point described in FIG. 28, obtains the distance of the corresponding object, and calculates the closest distance as the distance of the object of interest. It is a conceptual diagram for demonstrating a method.
この方法では、注視点１から注視点７までの各ポイントについて、各対応するオブジェクトが何であるかを先ず弁別する。この例では、それらオブジェクトはＡまたはＢであることが弁別される。次いでこれら該当するオブジェクトの距離をそれぞれ予め保有している画像データに基づいて算出する。
In this method, for each point from the
これら算出された各距離（ＬA 、ＬB ）について相互に比較し、それらの内最も近い距離を注目オブジェクトの距離として決定し、出力するようにしている。これは、通常の観察者は近距離にあるオブジェクトに注目するであろうとの仮定に立脚した方法である。 These calculated distances (LA, LB) are compared with each other, and the closest distance among them is determined as the distance of the object of interest and output. This is a method based on the assumption that a normal observer will focus on an object at a short distance.
図３１は、図２８において説明した７ポイントの注視点の情報に基づいて各ポイントに対応したオブジェクトの距離を算出し、一旦これらの距離の逆数を求めてから、平均値をとってその値を注目オブジェクトの距離として割り出す方法について説明するための概念図である。 FIG. 31 calculates the distance of the object corresponding to each point based on the information on the 7 points of gazing point described in FIG. 28, and once obtains the reciprocal of these distances, the average value is taken to obtain the value. It is a conceptual diagram for demonstrating the method of calculating | requiring as a distance of an attention object.
この方法では、注視点１から注視点７までの各ポイントについて、先ず、各ポイントに対応したオブジェクトの距離を算出する。次いで、これら各距離の逆数を算出する。このようにして求めた逆数に基づいて図示のような演算によって距離の平均値を算出する。この平均値を注目オブジェクトの距離Ｌobj とし出力する。
上述の方法では、各距離の逆数を一旦求め、これによって距離の平均値を算出するため、一部のオブジェクトの距離が無限遠であったような場合でも平均値を算出するについて適切な有限の値を得ることができる。
In this method, for each point from the
In the above method, since the reciprocal of each distance is once obtained, and the average value of the distance is calculated by this, even when the distance of some objects is infinite, an appropriate finite value is required for calculating the average value. A value can be obtained.
図３２は、本発明の距離演算装置において、ターゲットオブジェクトを識別し、その距離（既述のＬobj ）を算出するための他の過程を説明するための模式図である。 FIG. 32 is a schematic diagram for explaining another process for identifying the target object and calculating the distance (the aforementioned Lobj) in the distance calculation apparatus of the present invention.
この図３２では、オブジェクトＡ（球）とオブジェクトＢ（三角錐）とが或る平面投影状態では部分的に重なり合って位置している場合が示されている。この方法では、予め、×で示された注目点を中心として一定の角度ずつの広がり持った領域内に所定数（この例では９ポイント）のサンプリング点（○）を設定して、これら各サンプリング点からの情報を用いて距離を割り出す。 FIG. 32 shows a case where the object A (sphere) and the object B (triangular pyramid) are positioned so as to partially overlap in a certain plane projection state. In this method, a predetermined number (nine points in this example) of sampling points (O) are set in advance in a region having a certain angle spread around the attention point indicated by x, and each of these sampling points is set. Use the information from the points to determine the distance.
図３３は、図３２において説明した９ポイントの注視点の情報に基づいて注目オブジェクトを決定し、その距離を割り出す方法について説明するための概念図である。 FIG. 33 is a conceptual diagram for explaining a method of determining an object of interest based on the nine-point gazing point information described in FIG. 32 and determining the distance.
この方法では、図３２において各○で示されたサンプリング点１からサンプリング点９までの各ポイントについて、そのサンプリングポイント毎にそれがオブジェクトＡに属するかオブジェクトＢに属するか、或いは該当するオブジェクトがないかを検出する。
In this method, for each point from
次いでオブジェクトＡに属するカウント数（度数）Ｎ（Ａ）とオブジェクトＢに属するカウント数（度数）Ｎ（Ｂ）とを求める。 Next, the count number (frequency) N (A) belonging to the object A and the count number (frequency) N (B) belonging to the object B are obtained.
この後、このＮ（Ａ）とＮ（Ｂ）とを比較して、度数の高いものに係るオブジェクト（例えばオブジェクトＡである球）を注目オブジェクトとして決定し、予めその注目オブジェクトに関して保有している画像データに基づいて距離（ＬＡ）を算出して、この距離を既述のＬobj として出力する。 Thereafter, N (A) and N (B) are compared, and an object related to a high frequency (for example, a sphere that is object A) is determined as a target object, and the target object is held in advance. A distance (LA) is calculated based on the image data, and this distance is output as the aforementioned Lobj.
図３４は、図３２において説明した９ポイントのサンプリング点の情報に基づいて各ポイントに対応したオブジェクトが何であるかを弁別して該当するオブジェクトの距離を求め、最も近い距離を注目オブジェクトの距離として割り出す方法について説明するための概念図である。 FIG. 34 discriminates what the object corresponding to each point is based on the information of the 9 sampling points described in FIG. 32, obtains the distance of the corresponding object, and calculates the closest distance as the distance of the object of interest. It is a conceptual diagram for demonstrating a method.
この方法では、サンプリング点１からサンプリング点９までの各ポイントについて、各対応するオブジェクトが何であるかを先ず弁別する。この例では、それらオブジェクトはＡまたはＢであることが弁別される。
In this method, for each point from
次いでこれら該当するオブジェクトの距離をそれぞれ予め保有している画像データに基づいて算出する。これら算出された各距離（ＬA 、ＬB ）について相互に比較し、それらの内最も近い距離を注目オブジェクトの距離として決定し、出力するようにしている。これは、通常の観察者は近距離にあるオブジェクトに注目するであろうとの仮定に立脚した方法である。 Next, the distances of the corresponding objects are calculated based on the image data held in advance. These calculated distances (LA, LB) are compared with each other, and the closest distance among them is determined as the distance of the object of interest and output. This is a method based on the assumption that a normal observer will focus on an object at a short distance.
図３５は、図３２において説明した９ポイントの注視点の情報に基づいて各ポイントに対応したオブジェクトの距離を算出し、一旦これらの距離の逆数を求めてから、平均値をとってその値を注目オブジェクトの距離として割り出す方法について説明するための概念図である。 FIG. 35 calculates the distance of the object corresponding to each point based on the information of the 9 points of gazing point described in FIG. 32, and once obtains the reciprocal of these distances, the average value is taken to obtain the value. It is a conceptual diagram for demonstrating the method of calculating | requiring as a distance of an attention object.
この方法では、サンプリング点１からサンプリング点９までの各サンプリングポイントに対応してそのポイントがオブジェクトＡに属するかオブジェクトＢに属するか、或いは該当するオブジェクトがないかを検出する。
In this method, corresponding to each sampling point from
次いで各該当するオブジェクトの距離を算出する。この後、これら各距離の逆数を算出する。このようにして求めた逆数に基づいて図示のような演算によって距離の平均値を算出する。 Next, the distance of each corresponding object is calculated. Thereafter, the reciprocal of these distances is calculated. Based on the reciprocal thus obtained, an average value of distances is calculated by a calculation as shown in the figure.
この平均値を注目オブジェクトの距離Ｌobj とし出力する。この方法では、各距離の逆数を一旦求め、これによって距離の平均値を算出するため、一部のオブジェクトの距離が無限遠であったような場合でも平均値を算出するについて適切な有限の値を得ることができる。 This average value is output as the distance Lobj of the object of interest. In this method, the reciprocal of each distance is obtained once, and the average value of the distance is calculated by this. Therefore, even when the distance of some objects is infinite, an appropriate finite value is required for calculating the average value. Can be obtained.
本発明を適用した第５の立体画像表示装置の構成例について説明する。
図３６は、本発明の装置において、立体画像を得るための左画像および右画像について、主たる表示対象となる２つのオブジェクト（三角錐と球）のうち特にターゲットオブジェクトに関する視差は既述の第１、２の実施形態のようにして両画面内での表示状態を変化させることによって最適化する一方、背景画像については適宜の固定的視差を持つようにした画像を上記左右画像に合成して（貼り込んで）しまう様子を示す図である。
A configuration example of a fifth stereoscopic image display device to which the present invention is applied will be described.
FIG. 36 shows the parallax related to the target object among the two objects (triangular pyramid and sphere) that are the main display targets for the left image and the right image for obtaining a stereoscopic image in the apparatus of the present invention. As in the second embodiment, optimization is performed by changing the display state in both screens. On the other hand, for the background image, an image having an appropriate fixed parallax is combined with the left and right images ( It is a figure which shows a mode that it sticks.
この図３６における背景画像の貼り込み処理が、図１において「オブジェクトの背景画像データを添える処理」として既述のものである。 The background image pasting process in FIG. 36 has already been described as “process for adding background image data of an object” in FIG.
図において、（ａ）部は表示対象となるオブジェクトの一つである三角錐と他の一つのオブジェクト（この場合での注目する対象とされるべきオブジェクト）である球についてのみレンダリングによる画像を画面内に映出した段階での左画像および右画像を表している。 In the figure, part (a) shows an image by rendering only for a triangular pyramid that is one of the objects to be displayed and a sphere that is another object (an object to be noted in this case). The left image and the right image at the stage of being projected are shown.
同図の（ｂ）部は左右各画面について、元となる水平方向の幅の広い同一の画像から切り出し（抽出）位置をずらした関係で各部分的に切り出した画像（テクスチャ）を左画像及び右画像用の背景として設定した様子を表している。 The (b) part of the figure shows, for each of the left and right screens, an image (texture) that has been partially cut out from the same horizontal wide original image in the relation of shifting the extraction (extraction) position to the left image and The state set as the background for the right image is shown.
同図の（ｃ）部は（ａ）部の２つのオブジェクトに対して背景となる画像を貼り込んで合成処理された後の左画像および右画像を表している。 (C) part of the figure represents a left image and a right image after the background image is pasted on the two objects of part (a) and synthesized.
図３７は、図３６における（ｂ）部について説明した背景となる画像（テクスチャ）を、元となる水平方向の幅の広い同一の画像（テクスチャＴＸ）から切り出し（抽出）位置をずらした関係で各部分的に切り出し、実線図示の枠（左テクスチャ領域）のように切り出した部分を左画像用の背景画像とし、一点鎖線図示の枠（右テクスチャ領域）のように切り出した部分を右画像用の背景画像とするときの、切り出し処理する様子を表している。双方の切り出し領域は、図２３について説明したＳの２倍だけ水平方向にずれた位置となるように選択されている。 FIG. 37 shows a relationship in which the background image (texture) described with respect to part (b) in FIG. 36 is cut out from the same horizontal wide original image (texture TX). Each part is cut out, and the part cut out like a frame (left texture area) shown as a solid line is used as the background image for the left image, and the part cut out like a frame (right texture area) shown in an alternate long and short dash line is used for the right image This shows how the cutout process is performed when the background image is used. Both cut-out areas are selected so as to be shifted in the horizontal direction by twice as large as S described with reference to FIG.
図３８は、本発明の装置において、立体画像を得るための左画像および右画像について、主たる表示対象となる２つのオブジェクト（三角錐と球）のうち特にターゲットオブジェクトに関する視差は既述の第３、４の実施形態のようにして両画面内での表示状態を変化させることによって最適化する一方、背景画像については適宜の固定的視差を持つようにした画像を上記２つのオブジェクトの像に合成して（貼り込んで）しまう他の例を示す図である。 FIG. 38 shows the parallax related to the target object among the two objects (triangular pyramid and sphere) that are the main display targets for the left image and the right image for obtaining a stereoscopic image in the apparatus of the present invention. As in the fourth embodiment, optimization is performed by changing the display state in both screens, while the background image is combined with the above two object images with an appropriate fixed parallax. It is a figure which shows the other example which carries out (pasting).
この図３８における背景画像の貼り込み処理も、図１について「オブジェクトの背景画像データを添える処理」として既述のものである。 The background image pasting process in FIG. 38 is also described as “processing for adding background image data of an object” in FIG.
図において、（ａ）部は表示対象となるオブジェクトの一つである三角錐と他の一つのオブジェクト（この場合での注目する対象とされるべきオブジェクト）である球についてのみレンダリングによる画像を画面内に映出した段階での左画像および右画像を表している。 In the figure, part (a) shows an image by rendering only for a triangular pyramid that is one of the objects to be displayed and a sphere that is another object (an object to be noted in this case). The left image and the right image at the stage of being projected are shown.
同図の（ｂ）部は左右各画面について、元となる水平方向の幅の広い同一の画像から同一部分を各切り出した画像（テクスチャ）を左画像及び右画像用の背景として設定した様子を表している。 Part (b) of the figure shows a state in which images (textures) obtained by cutting out the same portion from the same horizontal wide original image are set as the background for the left image and the right image for the left and right screens. Represents.
同図の（ｃ）部は（ａ）部の２つのオブジェクトに対して背景となる画像を貼り込んで合成処理された後の左画像および右画像を表している。 (C) part of the figure represents a left image and a right image after the background image is pasted on the two objects of part (a) and synthesized.
同図の（ｄ）部は各画面の左右にそれぞれ黒枠を映出させた状態での左画像および右画像を表している。 (D) part of the figure represents the left image and the right image in a state where black frames are projected on the left and right of each screen.
同図の（ｅ）部はオブジェクトおよび背景も共に左右画像が離隔する方向にシフトしたと実効的に等価な効果を得るように黒枠も含めた画像全体をＳだけシフトした場合の左画像および右画像を表している。 The (e) part of the figure shows the left image and the right image when the entire image including the black frame is shifted by S so as to obtain an effective effect when both the object and the background are shifted in the direction in which the left and right images are separated from each other. Represents an image.
１ ゲーム機
２ 頭部装着型画像表示装置（ＨＭＤ）
３ プログラム記録媒体
４ 立体画像生成装置本体
５ ケーブル
６Ｌ 左スピーカ
６Ｒ 右スピーカ
７ ヘッドモーションセンサ
８ ゲームコントローラ
９ ケーブル
１０ 三角錐（のオブジェクト）
１１ 球（のオブジェクト）
１２ 左視点
１３ 右視点
１４ 左投影面
１５ 右投影面
１６ 左接眼光学系
１７ 右接眼光学系
１８ 左表示素子
１９ 右表示素子
２０ 左眼球
２１ 右眼球
２２ 視線方向検出手段
２３ 光源
２４ 角膜
２５ レンズ
２６ 光電変換
２７ 規格化演算器
1
3
11 Sphere (object)
12
Claims (6)
上記視線方向検出手段の検出出力に基づいて視線方向に係る複数の方向角を求める複数方向角決定手段と、
上記複数方向角決定手段により求められた複数の方向角に沿う各直線上にある対象物を決定する対象物決定手段と、
上記対象物決定手段により決定された対象物の奥行き距離を決定する奥行き距離決定手段と、
を備えてなることを特徴とする距離演算装置。 Gaze direction detection means for detecting the gaze direction of an observer who observes the image displayed on the image display device;
A plurality of direction angle determination means for obtaining a plurality of direction angles related to the line-of-sight direction based on the detection output of the line-of-sight direction detection means;
Object determining means for determining an object on each straight line along a plurality of direction angles obtained by the plurality of direction angle determining means;
Depth distance determining means for determining the depth distance of the object determined by the object determining means;
A distance calculation device comprising:
上記対象物決定手段は、上記決定された異なる時刻に各対応する複数の視線方向角に沿う各直線上にある対象物を決定するように構成されたものであることを特徴とする請求項１に記載の距離演算装置。 The multi-direction angle determination means includes a plurality of directions corresponding to the different times based on a plurality of detection outputs at different times obtained by the gaze direction detection means repeating the gaze direction detection operation a plurality of times within a predetermined time. Configured to determine the gaze direction angle,
The object determination means is configured to determine an object on each straight line along a plurality of line-of-sight direction angles corresponding to the determined different times. The distance calculation device described in 1.
上記対象物決定手段は、上記決定された異なる複数の視線方向角に沿う各直線上にある対象物を決定するように構成されたものであることを特徴とする請求項１に記載の距離演算装置。 The multi-direction angle determining means is configured to determine a plurality of gaze direction angles having a predetermined angle opening from the one gaze direction centered on one gaze direction corresponding to the detection output of the gaze direction detection means. And
2. The distance calculation according to claim 1, wherein the object determining means is configured to determine an object on each straight line along the determined plurality of different gaze direction angles. apparatus.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2005372837A JP4270347B2 (en) | 2005-12-26 | 2005-12-26 | Distance calculator |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2005372837A JP4270347B2 (en) | 2005-12-26 | 2005-12-26 | Distance calculator |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP35780096A Division JP3802630B2 (en) | 1996-12-28 | 1996-12-28 | Stereoscopic image generating apparatus and stereoscopic image generating method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2006185448A true JP2006185448A (en) | 2006-07-13 |
| JP4270347B2 JP4270347B2 (en) | 2009-05-27 |
Family
ID=36738474
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2005372837A Expired - Fee Related JP4270347B2 (en) | 2005-12-26 | 2005-12-26 | Distance calculator |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4270347B2 (en) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101674491B (en) * | 2008-09-09 | 2012-03-21 | 索尼株式会社 | Apparatus, method, and computer program for analyzing image data |
| JP4938901B1 (en) * | 2011-05-11 | 2012-05-23 | 学校法人 文教大学学園 | Zoomable 3D photo viewer |
| JP2012237970A (en) * | 2012-01-30 | 2012-12-06 | Bunkyo Daigaku Gakuen | Zoomable stereoscopic photograph viewer |
| WO2014199598A1 (en) * | 2013-06-12 | 2014-12-18 | Seiko Epson Corporation | Head-mounted display device and control method of head-mounted display device |
| JP2016502120A (en) * | 2012-09-03 | 2016-01-21 | ゼンソモトリック インストゥルメンツ ゲゼルシャフト ヒューア イノベイティブ ゼンソリック エムベーハーＳＥＮＳＯＭＯＴＯＲＩＣ ＩＮＳＴＲＵＭＥＮＴＳ Ｇｅｓｅｌｌｓｃｈａｆｔ ｆｕｒ ｉｎｎｏｖａｔｉｖｅ Ｓｅｎｓｏｒｉｋ ｍｂＨ | Head mounted system and method for computing and rendering a stream of digital images using the head mounted system |
| GB2534921A (en) * | 2015-02-06 | 2016-08-10 | Sony Computer Entertainment Europe Ltd | Head-mountable display system |
| JP6332658B1 (en) * | 2017-03-07 | 2018-05-30 | 株式会社コナミデジタルエンタテインメント | Display control apparatus and program |
| JP2018523852A (en) * | 2015-09-13 | 2018-08-23 | シェンジェン ロイオル テクノロジーズ カンパニー リミテッドＳｈｅｎｚｈｅｎ Ｒｏｙｏｌｅ Ｔｅｃｈｎｏｌｏｇｉｅｓ Ｃｏ．， Ｌｔｄ． | Optical module, optical device and wearable display device |
-
2005
- 2005-12-26 JP JP2005372837A patent/JP4270347B2/en not_active Expired - Fee Related
Cited By (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101674491B (en) * | 2008-09-09 | 2012-03-21 | 索尼株式会社 | Apparatus, method, and computer program for analyzing image data |
| JP4938901B1 (en) * | 2011-05-11 | 2012-05-23 | 学校法人 文教大学学園 | Zoomable 3D photo viewer |
| JP2012237970A (en) * | 2012-01-30 | 2012-12-06 | Bunkyo Daigaku Gakuen | Zoomable stereoscopic photograph viewer |
| JP2016502120A (en) * | 2012-09-03 | 2016-01-21 | ゼンソモトリック インストゥルメンツ ゲゼルシャフト ヒューア イノベイティブ ゼンソリック エムベーハーＳＥＮＳＯＭＯＴＯＲＩＣ ＩＮＳＴＲＵＭＥＮＴＳ Ｇｅｓｅｌｌｓｃｈａｆｔ ｆｕｒ ｉｎｎｏｖａｔｉｖｅ Ｓｅｎｓｏｒｉｋ ｍｂＨ | Head mounted system and method for computing and rendering a stream of digital images using the head mounted system |
| US9778469B2 (en) | 2013-06-12 | 2017-10-03 | Seiko Epson Corporation | Head-mounted display device and control method of head-mounted display device |
| WO2014199598A1 (en) * | 2013-06-12 | 2014-12-18 | Seiko Epson Corporation | Head-mounted display device and control method of head-mounted display device |
| TWI615631B (en) * | 2013-06-12 | 2018-02-21 | 精工愛普生股份有限公司 | Head-mounted display device and control method of head-mounted display device |
| EP3070513A1 (en) * | 2015-02-06 | 2016-09-21 | Sony Computer Entertainment Europe Ltd. | Head-mountable display system |
| GB2534921A (en) * | 2015-02-06 | 2016-08-10 | Sony Computer Entertainment Europe Ltd | Head-mountable display system |
| EP3287837A1 (en) * | 2015-02-06 | 2018-02-28 | Sony Interactive Entertainment Europe Limited | Head-mountable display system |
| US10187633B2 (en) | 2015-02-06 | 2019-01-22 | Sony Interactive Entertainment Europe Limited | Head-mountable display system |
| GB2534921B (en) * | 2015-02-06 | 2021-11-17 | Sony Interactive Entertainment Inc | Head-mountable display system |
| JP2018523852A (en) * | 2015-09-13 | 2018-08-23 | シェンジェン ロイオル テクノロジーズ カンパニー リミテッドＳｈｅｎｚｈｅｎ Ｒｏｙｏｌｅ Ｔｅｃｈｎｏｌｏｇｉｅｓ Ｃｏ．， Ｌｔｄ． | Optical module, optical device and wearable display device |
| JP6332658B1 (en) * | 2017-03-07 | 2018-05-30 | 株式会社コナミデジタルエンタテインメント | Display control apparatus and program |
Also Published As
| Publication number | Publication date |
|---|---|
| JP4270347B2 (en) | 2009-05-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3802630B2 (en) | Stereoscopic image generating apparatus and stereoscopic image generating method | |
| US10241329B2 (en) | Varifocal aberration compensation for near-eye displays | |
| JP5515301B2 (en) | Image processing apparatus, program, image processing method, recording method, and recording medium | |
| US20160267720A1 (en) | Pleasant and Realistic Virtual/Augmented/Mixed Reality Experience | |
| JP4270347B2 (en) | Distance calculator | |
| JP5160741B2 (en) | 3D graphic processing apparatus and stereoscopic image display apparatus using the same | |
| EP3051525A1 (en) | Display | |
| US9106906B2 (en) | Image generation system, image generation method, and information storage medium | |
| JP2005295004A (en) | Stereoscopic image processing method and apparatus thereof | |
| US10890771B2 (en) | Display system with video see-through | |
| JP2014219621A (en) | Display device and display control program | |
| JP2017204674A (en) | Imaging device, head-mounted display, information processing system, and information processing method | |
| CN106444042A (en) | Dual-purpose display equipment for augmented reality and virtual reality, and wearable equipment | |
| JPH03292093A (en) | Three-dimensional display device | |
| JP7148634B2 (en) | head mounted display device | |
| WO2022017447A1 (en) | Image display control method, image display control apparatus, and head-mounted display device | |
| CN109474816B (en) | Virtual-real fusion device for augmented reality and virtual-real fusion method, equipment and medium thereof | |
| CN212460199U (en) | Head-mounted display device | |
| KR20200043483A (en) | How to fix images on a computer device | |
| JP2006287813A (en) | Three-dimensional image display device | |
| CN206331183U (en) | A kind of augmented reality and the dual-purpose display device of virtual reality and wearable device | |
| JP3425402B2 (en) | Apparatus and method for displaying stereoscopic image | |
| JPH09233499A (en) | Three-dimensional image generator | |
| JPH09224267A (en) | Stereoscopic video preparing device, device and system for displaying stereoscopic video | |
| EP4231635A1 (en) | Efficient dynamic occlusion based on stereo vision within an augmented or virtual reality application |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| RD13 | Notification of appointment of power of sub attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7433 Effective date: 20071114 |
|
| RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20080122 |
|
| A072 | Dismissal of procedure |
Free format text: JAPANESE INTERMEDIATE CODE: A073 Effective date: 20080328 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080829 |
|
| AA92 | Notification of invalidation |
Free format text: JAPANESE INTERMEDIATE CODE: A971092 Effective date: 20080930 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20081104 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20081219 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090127 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090217 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120306 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120306 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120306 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130306 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140306 Year of fee payment: 5 |
|
| LAPS | Cancellation because of no payment of annual fees |