JP4281139B2 - 位置認識装置、位置認識方法及び仮想画像立体合成装置 - Google Patents
位置認識装置、位置認識方法及び仮想画像立体合成装置 Download PDFInfo
- Publication number
- JP4281139B2 JP4281139B2 JP03191899A JP3191899A JP4281139B2 JP 4281139 B2 JP4281139 B2 JP 4281139B2 JP 03191899 A JP03191899 A JP 03191899A JP 3191899 A JP3191899 A JP 3191899A JP 4281139 B2 JP4281139 B2 JP 4281139B2
- Authority
- JP
- Japan
- Prior art keywords
- light source
- image
- observer
- virtual
- imaging
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Position Input By Displaying (AREA)
- User Interface Of Digital Computer (AREA)
Description
【発明の属する技術分野】
この発明は、仮想空間上の基準面などに複数の仮想体を出現させ、しかも、その仮想体の1つに目標を設定してその仮想体内に踏み込んだときに、その仮想体の内部の構造などが表示されるような画像処理システムに適用して好適な位置認識装置、位置認識方法及び仮想画像立体合成装置に関するものである。
【0002】
【従来の技術】
近年、バーチャル・リアリティ(仮想現実感)に基づく表示技術の向上に伴い、複数の画像表示面に跨って仮想現実感を観察者に提供するための仮想画像立体合成装置が出現している。
【0003】
この種の立体表示装置は、特開平9−237353号の技術文献に見られる。この技術文献によれば、縦横数m程度の大きさの映写空間が設けられ、各々の面に表示装置が配置され、各々の表示装置から恐竜、怪獣や武器などの仮想体の画像が立体表示される。そして、観察者は液晶シャッター付きの眼鏡をかけ、その映写空間に立つと、あたかも、各々の表示装置で表示された仮想体と同じ場所に居るようなされる。
【0004】
また、観察者が仮想空間上で手にする武器がカメラによって撮像され、その武器の動きによって仮想体が反応するように画像処理されている。これにより、観察者は数千年前の原始時代にタイムスリップして、恐竜退治などをゲーム感覚で行うことができる。
【0005】
【発明が解決しようとする課題】
ところで、従来方式の立体表示装置によれば、映写空間が立体形状であることを前提にして、その立体形状の重心が求められ、その重心から映写空間の相対座標が求められる。そして、その相対座標に基づいてカメラと、仮想体の位置関係とを求め、仮想空間上に恐竜などの仮想体を合成表示している。
【0006】
例えば、映写空間上のある基準面に恐竜などの仮想体を立たせようとしたときに、その仮想体と外接する矩形領域が画像処理によって抽出され、その矩形領域の四隅の画像上の位置が相対座標から求められ、透視投影変換法などから得られたパラメータを用いてカメラと、その仮想体の矩形領域の位置関係とが求められる。
【0007】
従って、観察者の属する実空間の実際の壁面(以下静止物体ともいう)には実物の絵画などが存在しないのに、その仮想空間の壁面及びその壁面から離れた位置に複数の絵画を出現させ、しかも、その絵画の1つに目標を設定してその目標に撮像系を近づけたときに、その絵画の下位階層の映像を表示されるような仮想画像立体合成装置を構成しようとしたときに、従来方式の装置をそのまま適用すると、画像処理システムが大がかりとなったり、静止物体の基準面の認識のための画像処理が複雑になったり、その時の計算量が多くなったりして、仮想画像立体合成装置などのコストアップにつながるという問題がある。
【0008】
そこで、本発明は上記の課題に鑑み創作されたものであり、静止物体の特定位置及びその特定位置から離れた任意の位置を簡易にかつ少ない計算量で、しかも、ベストフォーカスで精度良く画像処理系などにおいて認識できるようにした位置認識装置、位置認識方法及び仮想画像立体合成装置を提供することを目的とする。
【0009】
【課題を解決するための手段】
上述した課題は、任意の静止物体の特定位置を認識する装置であって、少なくとも、静止物体の所望位置に取付けられて、予め点滅パターンが異なるように点滅する3点以上の光源を有した複数の光源ブロックと、光源ブロック内の光源の点滅パターンを所定の撮像方向に流すように撮像する流し撮り用の撮像手段と、この撮像手段により撮像された光源ブロックによる輝度信号を画像処理して該光源ブロックの位置情報を求める演算手段とを備え、演算手段は、撮像手段により撮像された光源の点滅パターンに基づく輝度信号を画像処理して該光源の3点の位置を求めるようになされたことを特徴とする位置認識装置によって解決される。
【0010】
本発明に係る位置認識装置によれば、演算手段は、流し撮り用の撮像手段により撮像された光源ブロックによる輝度信号を画像処理して該光源ブロックの位置情報を求める。更に演算手段は、流し撮り用の撮像手段により撮像された光源の点滅パターンに基づく輝度信号を画像処理して該光源の3点の位置を求めるようになされる。
【0011】
従って、静止物体の特定位置及びその特定位置から離れた任意の位置を簡易にかつ少ない計算量で、しかも、ベストフォーカスで精度良く画像処理系などに認識させることができる。これにより、静止物体の特定位置及びその特定位置から離れた任意の位置に基準面を設定し、その基準面を取り込んだ仮想空間上で仮想体の画像を合成するような仮想画像立体合成装置などに当該位置認識装置を十分に応用することができる。
【0012】
本発明に係る位置認識方法は、任意の静止物体の特定位置を認識する方法であって、少なくとも、静止物体の所望位置に予め点滅パターンが異なるように点滅する3点以上の光源を設けた光源ブロックを作成し、その後、光源ブロックを静止物体の所望位置に3点以上を取付けて当該光源ブロックの位置情報を求める際に、第1段階で静止物体に取付けられた光源ブロックを撮像して被注視領域を画定し、第2段階で光源ブロックの任意の一つに目標を設定して撮像系を近づけたときに、被注視領域内で目標とされた光源ブロック内の光源の点滅パターンを所定の撮像方向に流すように撮像し、光源の点滅パターンの輝度信号を画像処理して光源の3点の位置を求め、その後、3点の光源の位置を結んで基準面を求めることを特徴とするものである。
【0013】
本発明に係る位置認識方法によれば、3点の光源の位置を結んで求めた基準面を取り込んだ仮想空間上で仮想体の画像を合成するような仮想画像立体合成処理などに当該位置認識方法を十分に応用することができる。
【0014】
本発明に係る仮想画像立体合成装置は、観察者の属する外界像に仮想体の画像を立体的に合成する装置であって、観察者の属する実空間上の任意の静止物体の特定位置及び該特定位置から任意に離れた位置で基準面を認識する位置認識手段と、この位置認識手段により認識された仮想空間の基準面上で仮想体の画像を合成する合成手段とを備え、位置認識手段は、少なくとも、静止物体の所望位置に取付けられて、予め点滅パターンが異なるように点滅する3点以上の光源を有した複数の光源ブロックと、光源ブロック内の光源の点滅パターンを所定の撮像方向に流すように撮像する流し撮り用の撮像手段と、この撮像手段により撮像された光源ブロックによる輝度信号を画像処理して該光源ブロックの位置情報を求める演算手段とを有し、演算手段は、撮像手段により撮像された光源の点滅パターンに基づく輝度信号を画像処理して該光源の3点の位置を求めるようになされたことを特徴とするものである。
【0015】
本発明の仮想画像立体合成装置によれば、上述の位置認識装置及び位置認識方法が応用されるので、静止物体の特定位置及びその特定位置から離れた任意の位置を簡易にかつ少ない計算量で、しかも、ベストフォーカスで精度良く画像処理系などに認識させることができる。
【0016】
従って、静止物体の特定位置及びその特定位置から離れた任意の位置に基準面を設定することができるので、その基準面を取り込んだ仮想空間上で仮想体の画像を合成するような仮想画像立体合成処理を行うことができる。例えば、予め静止物体の特定位置から任意に離れた位置に第1の基準面が設定されると共に、その静止物体の特定位置に第2の基準面が設定されると、観察者が第1の基準面よりも遠くの位置で被認識マークを注視するときは、予め準備された仮想体の画像が合成手段によって第1の基準面上で合成され、観察者が第1の基準面内に踏み込んだときは、仮想体の画像の下位階層の画像が合成手段によって第2の基準面上で合成される。
【0017】
これにより、実際の静止物体には実物の絵画などが存在しない場合であっても、仮想空間の静止物体には複数の絵画が出現し、しかも、その絵画の1つに目標を設定してその絵画の中に踏み込んだときに、その絵画の下位階層の画像が表示されるようなバーチャル美術館などを構築することができる。
【0018】
【発明の実施の形態】
以下、図面を参照しながら、この発明の実施形態としての位置認識装置、位置認識方法及び仮想画像立体合成装置について説明をする。
(1)実施形態としての位置認識装置及び位置認識方法
図1は、本発明に係る実施形態としての位置認識装置10の構成例を示す斜視図である。
この実施形態では、静止物体の所望位置に被認識マークを取り付け、その被認識マークによる輝度信号を画像処理してその被認識マークの位置情報を求める演算手段を設け、その被認識マークの任意の一つに目標を設定して撮像系を近づけた場合に、その目標とされた被認識マークの位置情報と他の被認識マークの配置情報とに基づいて目標とされた被認識マークと撮像系との間の距離情報を求め、静止物体の特定位置及びその特定位置から離れた任意の位置を簡易にかつ少ない計算量で、しかも、精度良く画像処理系などにおいて認識できるようにしたものである。
【0019】
この発明の位置認識装置10は任意の静止物体の特定位置を認識する装置である。図1に示す位置認識装置10では、少なくとも、予め壁面1などの静止物体の所望位置に複数の被認識マークMi(i=1、2、3、j〜n)が取付けられることを前提とする。この被認識マークMiに関しては、予め点滅パターンが異なるように点滅する3点以上の光源を有した複数の光源ブロック、又は、白地に黒で形成されたn行×n列の白黒マトリクスを有した二次元マトリクスコードが準備される。
【0020】
この位置認識装置10には撮像手段6が設けられ、静止物体の被認識マークMiが撮像される。この被認識マークMiに関して光源ブロックを適用する場合には、撮像手段6として流し撮り用の撮像装置が使用され、光源ブロック内の光源の点滅パターンを所定の撮像方向に流すように撮像される。ここで、流し撮りとは流し撮り撮像装置において、同一フィールド期間中に複数回、光電変換素子(フォトダイオードなど)から信号電荷を読み出す撮影モードをいう。被認識マークMiに関して二次元バーコードを適用する場合には、通常のCCD撮像装置が使用される。
【0021】
この撮像手段6には演算手段7が接続され、この撮像手段6により撮像された被認識マークMiによる輝度信号が画像処理されてその被認識マークMiの位置情報が求められる。演算手段7には中央演算装置(CPU)などが使用される。この例では、演算手段7には記憶手段8が接続され、被認識マークMiの配置情報が記憶される。記憶手段8にはRAMなどが使用される。この配置情報には、被認識マークMiの固体番号を識別するためのブロック識別情報及び被認識マークMi間の配置距離情報が含まれている。
【0022】
そして、この例では被認識マークM1〜Mnの任意の一つの被認識マークMjに目標を設定して撮像手段6を近づけたときに、演算手段7では、その目標とされた被認識マークMjの位置情報と他の被認識マークMiの配置情報とに基づいて目標とされた被認識マークMiと撮像手段6との間の距離情報Sxを求めるようになされる。その際に、演算手段7によって記憶手段8から他の被認識マークMiの配置情報が読み出され、三角法などによって被認識マークMjと撮像手段6との間の距離情報Sxが求られる。更に、被認識マークMiに関して光源ブロックが適用される場合には、流し撮り用の撮像手段6により撮像された光源の点滅パターンに基づく輝度信号が演算手段7によって画像処理され、その光源の3点の位置が求められる。
【0023】
続いて、本発明に係る位置認識方法について位置認識装置10の処理例について説明する。図2は、位置認識装置10による処理例を示すフローチャートである。この例では、壁面1などの任意の静止物体の特定位置を画像処理系などに認識させることを前提とし、その特定位置から任意に離れた位置に第1の基準面を設定し、その特定位置に第2の基準面を設定する場合を想定する。
【0024】
これを前提として、まず、図2に示すフローチャートのステップA1で、少なくとも、静止物体の所望位置に複数の被認識マークMiを取り付ける。例えば、被認識マークMiに関して、予め点滅パターンが異なるように点滅する3点以上の光源を設けた光源ブロックを作成する。そして、光源ブロックを静止物体の所望位置に3点以上を取付ける。もちろん、白地に黒で形成されたn行×n列の白黒マトリクスを有した二次元マトリクスコードを作成し、その二次元バーコードを静止物体の所望位置に3点以上を取付けてもよい。
【0025】
その後、ステップA2(第1段階)で静止物体の被認識マークMiを撮像系によって撮像する。ステップA2では静止物体に取付けられた全ての光源ブロックを撮像する位置に撮像系を固定して被注視領域を画定する。そして、ステップA3で被認識マークMiによる輝度信号を画像処理してその被認識マークMiの全ての位置情報を取得する。この被注視領域内の被認識マークMiの位置情報からステップA4で第1の基準面が画像処理系で認識される。第1の基準面は静止物体の特定位置から任意に離れた位置に設定される。
【0026】
その後、ステップA5で被認識マークMiの任意の一つに目標を設定する。そして、ステップA6(第2段階)でその被認識マークMiに撮像系を徐々に近づけて行き、その撮像系がその目標を認識できたかを判断する。その際の判断はその被注視領域内で目標とされた光源ブロック内の光源の点滅パターンを所定の撮像方向に流すように撮像したときに、その光源ブロック内の光源の点滅パターンが認識できたか否かを検出することにより行う。
【0027】
上述のステップA6で撮像系が目標とする被認識マークMjに近づいていない場合には、ステップA7に移行して撮像系を被認識マークMjに近づけて行く。ステップA6で撮像系が目標とする被認識マークMjに近づいた場合には、目標とされた光源ブロック内の光源の点滅パターンが認識できることから、ステップA8では演算手段7によってその光源ブロック内の光源の点滅パターンの輝度信号を画像処理して光源の3点の位置が求められ、その後、3点の光源の位置を結んで第2の基準面が求められる。
【0028】
この撮像系が被認識マークMjに近づいて行く間中、ステップA9でその目標とされた被認識マークMjの位置情報と他の被認識マークMiの配置情報とに基づいて目標とされた被認識マークMjと撮像系との間の距離情報Sxが演算手段7によって求められる。従って、この目標とされた光源ブロック内の光源の点滅パターンが認識できた場合には仮想空間の第2の基準面上で仮想体の画像を合成するような処理を行うことができ、その光源の点滅パターンを認識できない場合には第1の基準面上で仮想体の画像を合成するような処理を行うことができる。
【0029】
このように、本実施形態に係る位置認識装置及び位置認識方法によれば、静止物体の所望位置に取付けられた被認識マークMiの任意の一つに目標を設定して撮像手段6が近づけられたときに、その撮像手段6により撮像された被認識マークMiによる輝度信号が演算手段7によって画像処理され、目標とされた被認識マークMiの位置情報と他の被認識マークMiの配置情報とに基づいて目標とされた被認識マークMiと撮像手段6との間の距離情報Sxが求められる。
【0030】
従って、静止物体の特定位置及びその特定位置から離れた任意の位置を簡易にかつ少ない計算量で、しかも、精度良く画像処理系などに認識させることができる。これにより、静止物体の特定位置から離れた任意の位置に第1の基準面を設定し、その特定位置に第2の基準面を設定して、その第1又は第2の基準面を取り込んだ仮想空間上で仮想体の画像を合成するような仮想画像立体合成装置などに当該位置認識装置10を十分に応用することができる。
【0031】
(2)実施形態としての仮想画像立体合成装置
図3は本発明に係る位置認識装置及び位置認識方法を応用した第1の実施形態としての仮想画像立体合成装置100の構成例を示す斜視図である。
この実施形態では、上述した位置認識装置及び位置認識方法を応用して、静止物体の特定位置及びその特定位置から離れた任意の位置を簡易にかつ少ない計算量で、しかも、ベストフォーカスで精度良く画像処理系などに認識させ、静止物体の特定位置及びその特定位置から離れた任意の位置に基準面を設定し、その基準面を取り込んだ仮想空間上で仮想体の画像を合成できるようにしたものである。
【0032】
図3に示す仮想画像立体合成装置100は、観察者の属する外界像に、人物や風景などの静止画像(2D)又はTV番組のキャラクタ画像(3D)などの仮想体画像を立体的に合成表示する装置である。
【0033】
この仮想画像立体合成装置100は観察者の属する実空間上の任意の静止物体、例えば、壁面1の所望位置に取付けられた複数の被認識マークMiとして基準面設定用の8個の光源ブロックBLi(i=1〜8)と、観察者の頭部に装着される合成手段としての特殊グラストロン2と、この特殊グラストロン2における撮像画像及び表示画像の入出力を制御する画像処理装置3を備えて成るものである。
【0034】
この特殊グラストロン2の本体部21にはベルト22が設けられ、眼鏡をかけるように本体部21が観察者の顔面に装着されると共に、その観察者の頭部外周部に沿ってベルト22が固定される。この例で特殊グラストロン2は、表示手段24と、流し撮り用の撮像手段としての流し撮りCCD装置23及び領域抽出用の通常のCCD撮像装置25とを有しており、その通常のCCD撮像装置25により認識される第1の基準面(仮想壁面1’)上で仮想体の画像を合成し、及び、流し撮りCCD装置23により流し撮り(認識)された特定位置の第2の基準面(壁面1)上で仮想体の画像を表示手段24によって合成表示するようになされる。
【0035】
この例では、仮想空間の第1の基準面を構成する仮想壁面1’で、例えば、光源ブロックBL1を中心に仮想体として肖像画P11が、光源ブロックBL2を中心に船の絵画(図示せず)P21が、光源ブロックBL3を中心に山の絵画(図示せず)P31などがあたかも存在するようになされる。更に、実空間の第2の基準面を構成する壁面1上で、例えば、光源ブロックBL1を中心に肖像画P11の下位階層として人体内部構造の画像P12が、光源ブロックBL2を中心に船の絵画(図示せず)P21の下位階層として操舵室の画像P22が、光源ブロックBL3を中心に山の絵画(図示せず)P31の下位階層の画像としてその山の地底構造の画像などがあたかも存在するようになされる。第2の基準面を認識する際には、光源ブロックBLi内の複数の光源が流し撮りCCD装置23によって所定の撮像方向に流すように流し撮りされる。
【0036】
また、上述の壁面1に取付けられた8個の光源ブロックBL1〜BL8と、流し撮りCCD装置23及び通常のCCD撮像装置25とにより位置認識手段5が構成され、壁面1の特定位置から任意に離れた位置(離隔距離S0)で第1の基準面が認識され、その特定位置で第2の基準面を認識するようになされる。この位置認識手段5には本発明に係る位置認識装置10及び位置認識方法が応用される。
【0037】
この例では壁面1に取付けられた8個の光源ブロックBL1〜BL8が通常のCCD撮像装置25によって撮像されて被注視領域が画定されると共に、観察者によって8個の光源ブロックBL1〜BL8の内の任意の1つに目標が設定されてその目標に撮像系を近づけていったときに、流し撮りCCD装置23によって被注視領域内で目標とされた光源ブロックBLiが流し撮りされる。
【0038】
この流し撮りCCD装置23として垂直転送部を有するインターライン転送方式の二次元撮像デバイスを使用した場合には、同一フィールド期間中に複数回、光電変換素子から垂直転送部に信号電荷が読み出される。また、流し撮りCCD装置23として電荷蓄積部を有するフレーム転送方式の二次元撮像デバイスを使用した場合には、同一フィールド期間中に複数回、光電変換素子から電荷蓄積部に信号電荷が読み出される。
【0039】
この特殊グラストロン2には演算手段として画像処理装置3が接続され、流し撮りCCD装置23及び通常のCCD撮像装置25により撮像された光源ブロックBLiによる輝度信号が画像処理され、その光源ブロックBLiの位置情報が求められ、その位置情報に基づいて光源ブロックBLiにおける第1及び第2の基準面などが設定される。
【0040】
例えば、光源ブロックBLiの任意の一つに目標を設定して撮像系を近づけたときに、画像処理装置3は、目標とされた光源ブロックBLjの位置情報と他の光源ブロックBLiの配置情報とに基づいて目標とされた光源ブロックBLiと撮像系との間の距離情報Sxを求めるようになされる。この配置情報には、光源ブロックBLiの固体番号を識別するためのブロック識別情報及び光源ブロックBLi間の配置距離情報が含まれている。配置情報については図6で説明する。
【0041】
この例で、図4に示す基準面設定用の光源ブロックBL1〜BL8は静止物体として比較的に平坦な壁面1に取付けられる。例えば、観察者の属する実空間の間口(幅)が4m×高さが2.5m程度の大きさの壁面1に、8個の光源ブロックBL1〜BL8が予め定められた間隔で図4に示す位置に格子状に配されている。光源ブロックBLiの水平方向の間隔(ピッチ:Ph)は1m程度であり、その垂直方向の間隔(ピッチ:Pv)は1.5m程度である。この8個の光源ブロックBL1〜BL8の各々の仮想壁面1’上で肖像画P11、船の絵画P21、山の絵画P31・・・・その他の絵画P8などの画像が合成表示される。仮想壁面1’は第1の基準面を成すものであり、実空間の壁面1の特定位置から任意に離れた位置(この例では距離S0)に仮想的に存在するものである。
【0042】
これらの下位階層の人体内部構造の画像P12、操舵室の画像P22及び地底構造の画像が8個の光源ブロックBL1〜BL8の各々の壁面(第2の基準面)1上で合成される。これらの肖像画P11、船の絵画P21、山の絵画P31・・・、及び、人体内部構造の画像P12、操舵室の画像P22及び地底構造の画像等の映像情報は画像処理系のメモリなどに予め格納されているものを使用する。
【0043】
各々の光源ブロックBLiは図5に示す正方形状のプレート部11を有している。プレート部11は第2の基準面を成すものであり、凹凸の無い平坦状に形成される。プレート部11の大きさは例えば、その一辺の長さは5cm程度である。プレート部11の表面四隅には、3点以上の光源としてそれぞれ発光ダイオード(LED1〜LED4)が取付けられ、人体内部画像、操舵室の画像P22及び地底構造の画像P32などの仮想映像を飛び出せようとする基準面の4つの点p1〜p4の座標として(x1,y1)、(x2,y2)、(x3,y3)、(x4,y4)が与えられる(仮想空間上では画像を合成しようとする第2の基準面に相当する)。
【0044】
この光源ブロックBLi内には点滅制御回路13が設けられ、4個の発光ダイオードLED1〜LED4がそのマーク部としての機能を発揮するために、つまり、その取付け位置が明らかになるように、少なくとも、点滅パターンが異なるように点滅制御される。この点滅制御回路13については、図7で説明する。この発光ダイオードLED1〜LED4の点滅パターンは特殊グラストロン2内の流し撮りCCD装置23により、所定の流し撮像方向に流すように撮像される。この流し撮りは4個の発光ダイオードLED1〜LED4の取付け位置から第2の基準面を特定するためである。この第2の基準面の特定については図18、図19で説明をする。
【0045】
この例では、4つの発光ダイオードLED1〜LED4は正方形内に位置し、発光ダイオードLED1とLED3の間(x方向)の距離Lxが(x3−x1)であり、発光ダイオードLED2とLED4の間の距離もLxで、その距離Lxが(x4−x2)である。また、発光ダイオードLED1とLED2の間(y方向)の距離Lyが(y2−y1)であり、発光ダイオードLED2とLED4の間の距離もLyで、その距離Lxが(y4−y3)である。
【0046】
ここで、ブロック識別情報について説明する。この例では光源ブロックBLiを識別するために図6に示す所定のデータフォーマットが準備されている。このデータフォーマットは3つの領域に分かれている。第1のデータ領域には各光源ブロックBLiを識別するために、各々の光源ブロックBLi毎に割り当てられたブロックNo識別コード1X、2X・・・8Xなどが書き込まれ、第2のデータ領域には各光源ブロックBLi内の4個の発光ダイオードLED1〜LED4の位置情報が書き込まれ、第3のデータ領域には発光ダイオードLEDi、LEDj間の距離情報Lx、Lyが書き込まれる。このブロックNo識別コード、発光ダイオードLED1〜LED4の位置情報及び距離情報Lx、Lyを総称してブロック識別情報という。
【0047】
このデータフォーマットに基づいた8個の光源ブロックBLiのブロック識別情報を画像処理装置3内のRAMに格納するようになされる。光源ブロックBL1を例にとってそのブロック識別情報を説明すると、ブロックNo識別コード1Xには4ビットのデータが割り当てられ、4個の発光ダイオードLED1〜LED4が全て「0000」、「0000」、「0000」及び「0000」である。
【0048】
また、4個の発光ダイオードLED1〜LED4の位置情報には2ビットが割り当てられ、発光ダイオードLED1が「00」、LED2が「01」、LED3が「10」、及び、LED4が「11」である。発光ダイオードLEDi、LEDj間の距離情報Lx、Lyについては、Lx=(x3−x1)=(x4−x2)及び、Ly=(y2−y1)=(y4−y3)が書き込まれる。図6では「XX」で示している。
【0049】
更に、光源ブロックBLi間の配置距離情報は光源ブロックBLiの水平方向の間隔(ピッチ:Ph)及びその垂直方向の間隔(ピッチ:Pv)から容易に得られる。例えば、光源ブロックBL1の配置位置を原点(X,Y)=(0,0)としたときに、光源ブロックBL2の位置座標として(0,−Pv)、光源ブロックBL3=(Ph,0)、光源ブロックBL4=(Ph,−Pv)、光源ブロックBL5=(2Ph,0)、光源ブロックBL6=(2Ph,−Pv)、光源ブロックBL7=(3Ph,0)、光源ブロックBL8=(3Ph,−Pv)で与えられる。
【0050】
上述したブロック識別情報及び光源ブロックBLi間の配置距離情報によって配置情報が構成される。これらの配置情報は壁面1の認識及び第1及び第2の基準面の設定の際に使用するために、予め画像処理装置3内のRAM(情報が随時書き込み読み出し可能なメモリ)などに登録される。
【0051】
この例では、図7に示す点滅制御回路13がICチップ化され、このICチップがプレート部11内に組込まれ、4個の発光ダイオードLED1〜LED4に所定の電圧が印加されて点滅制御される。この点滅制御回路13は例えばクロック発生部61を有している。クロック発生部61には例えば、1/2分周回路62、1/3分周回路63、1/4分周回路64が接続されており、所定周波数のクロック信号CLK1と、このクロック信号CLK1を1/2分周回路62で1/2分周したクロック信号CLK2と、1/3分周回路63で1/3分周したクロック信号CLK3と、1/4分周回路64で1/4分周したクロック信号CLK4とが出力される。
【0052】
各々のクロック信号CLK1〜CLK4は安定化用の抵抗Rを通して各々の発光ダイオードLED1、LED2、LED3及びLED4に供給されている。このクロック発生部61には電源スイッチSWを介在して直流電源Eが接続され、この電源Eには小型の乾電池やボタン電池などが使用される。もちろん、8個の光源ブロックBL1〜BLの点滅制御回路13を並列に接続して、AC−DCアダプタから直流電圧を供給するようにしてもよい。
【0053】
図8は光源ブロックBLiの発光ダイオードLED1、LED2、LED3及びLED4への電圧供給例を示す波形図である。この例では、図7に示した点滅制御回路13の電源スイッチSWをオンすると、発光ダイオードLED1にはクロック信号CLK1が供給され、発光ダイオードLED2にはクロック信号CLK1を1/2分周したクロック信号CLK2が供給され、発光ダイオードLED3にはクロック信号CLK1を1/3分周したクロック信号CLK3が供給され、発光ダイオードLED4にはクロック信号CLK1を1/4分周したクロック信号CLK4が供給される。従って、各々の光源ブロックBLiの4つの発光ダイオードLED1、LED2、LED3及びLED4の点滅パターンを異なるように点滅制御をすることができる。
【0054】
図9に示す特殊グラストロン2は非透過型のヘッドマウントディスプレイを構成しており、通常のCCD撮像装置25と、上述した流し撮りCCD装置23と、第1の画像表示素子としての右眼表示用の液晶表示装置(以下LCDという)26と、第2の画像表示素子としての左眼表示用のLCD27と、図示しない注視点検出用の撮像手段(第2の撮像系、以下、注視点検出カメラ4という)とを有している。
【0055】
つまり、観察者の眉間に相当する位置には、通常のCCD撮像装置25と、流し撮りCCD装置23とが並べて配置され、前者によって観察者の属する外界像が撮像され、後者によって光源ブロックBL1〜BL8の4個の発光ダイオードLED1〜LED4が流し撮りされる。従って、観察者が基準面設定用の光源ブロックBL1〜BL8に目を向けると、その基準面の方向に流し撮りCCD装置23が向くようになる。
【0056】
この例では、流し撮りCCD装置23に自動ズーム機構が設けられ、8個の光源ブロックBL1〜BL8の中の任意の光源ブロックBLiを注視した場合や、その光源ブロックBLiの中で更に任意の発光ダイオードLEDiを注視すると、画像処理装置3によって自動的にその発光ダイオードLEDiにズームさせることができる。この自動ズーム機構に関しては、例えば、技術文献である特開平8−179193号公報の電子機器及びカメラの技術を応用することができる。
【0057】
そして、特殊グラストロン2内の観察者の右目に相対する位置にはLCD26が取付けられ、例えば、通常のCCD撮像装置25により撮影した観察者の光源ブロックBL1〜BL8と、予め準備された肖像画P11、船の絵画P21、山の絵画P31などの仮想映像とを合成したステレオ画像の一方が表示される。また、その観察者の左目に相対する位置にはLCD27が取付けられ、上述の光源ブロックBL1〜BL8と、肖像画P11、船の絵画P21、山の絵画P31などの仮想映像とを合成したステレオ画像の他方が表示される。
【0058】
この例では、図10に示す右眼表示用のLCD26と、左眼表示用のLCD27の表示面内に注視点検出カメラ4としてのフィルム状の電荷結合素子(以下フィルムCCDという)4R(右)、4L(左)が配置され、基準面を注視する観察者の眼球運動を撮像してその観察者の注視点pが検出される。この例でフィルムCCD4R、4Lは、観察者の眼球に相対するLCD26及びLCD27上に分散して配置されている。
【0059】
このフィルムCCD4R、4Lでは、例えば、図11Aに示す4×6画素のマトリクスの全体画素に対して歯抜け状(斜線部分)に撮像素子(電荷結合素子)4Aが配置されている。従って、白抜き部分には撮像素子4Aが配置されておらず、LCD26及びLCD27による映像を通すようになされる。注視点検出カメラ4R、4Lは、フィルム上に部分的にシリコン膜を形成して光電変換素子などのCCDを歯抜け状に作成し、このフィルムCCD4R、4LをLCD26及びLCD27の前方に張り合わせるなどして形成される。
【0060】
なお、フィルムCCD4R、4Lは、サファイヤを基礎材料にして、シリコン膜を部分的に形成することができるので、LCD26及びLCD27と歯抜け状のフィルムCCD4R、4Lとを1チップ化することもできる。ただし、チップの透明性(光透過率)は薄いサングラス程度となる。
【0061】
このフィルムCCD4Rでは、図11Bに示す観察者の左眼の瞳の動きや、その瞳孔の絞り状態が撮像され、フィルムCCD4Lでは、同図に示す観察者の右眼の瞳の動きや、その瞳孔の絞り状態が撮像される。多少撮像性能は落ちるが、観察者の眼球運動を撮像する分には支障はない。従って、フィルムCCD4R、4Lから得られたカメラ出力信号S3に基づいてピントが常に一定になるように流し撮りCCD装置23の自動ズーム機構を制御することができる。
【0062】
この特殊グラストロン2は図12に示す観察者の顔面又は頭部に装着され、上述のLCD26のステレオ画像と、LCD27のステレオ画像とが観察者の眼球に導くようになされる。図12において、特殊グラストロン2を装着した観察者の両目の光軸が重なったところが、注視点pである。この注視点pを基準にして、観察者の属する背景像のステレオ画像と肖像画P11、船の絵画P21、山の絵画P31などの仮想映像のステレオ画像とが頭の中で合成される。
【0063】
ここで、観察者の眼球表面から注視点pに至る離隔距離をSeとし、流し撮りCCD装置23のレンズ表面から注視点pに至る焦点距離をScとし、観察者の眼球表面と流し撮りCCD装置23のレンズ表面との間のオフセット距離をSoffとする。
【0064】
この観察者の眼球映像は、上述したように左右のLCD26、27の前面にフィルムCCD4R、4Lを設ける場合に限られることはなく、左眼表示用のLCD27から背景映像を出力し、右眼表示用のLCD26上にフィルムCCD4R目を設け、そのCCD4Rによって眼球映像を取得してもよい。この逆の方法でもよい。この例では、観察者の眼球運動から黒目と瞳孔の位置関係及び瞳孔の形状を認識し、その認識情報から注視点pの方向と離隔距離Seとを求め、その離隔距離Seに基づいて特殊グラストロン2と発光ダイオードLEDiとの間の焦点距離Sc+Soffを補正するようになされる。
【0065】
続いて、インターライン転送方式の流し撮りCCD装置23の内部構成について説明する。図13に示す流し撮りCCD装置23は基板31を有している。その基板31上には、1画素を構成する光電変換素子としてフォトダイオードPHij(i=1〜n、j=1〜m)がn列×m行のマトリクス状に配置されている。
【0066】
この基板の列方向には電荷転送部としてm本の垂直転送部32が設けられ、フォトダイオードPHijから読み出した信号電荷が垂直読み出し信号S1に基づいて垂直方向(流し撮り方向)に転送される。この垂直転送部32には水平転送部33が接続され、その信号電荷が水平読み出し信号S2に基づいて水平方向に転送されるので、出力端子34には流し撮り信号SOUTが出力される。この例では、光源ブロックBLiの4つの発光ダイオードLED1〜LED4を流し撮りをするために、少なくとも、同一フィールド期間中に複数回、フォトダイオードPHijから垂直転送部32に信号電荷が読み出される。
【0067】
また、流し撮りCCD装置23は図14に示す魚眼レンズ35を有している。魚眼レンズ35は例えばCCD撮像素子36の光軸上に設けられる。この魚眼レンズ35によって観察者の基準面設定用の光源ブロックBL1〜BL8などを広範囲に撮像できるようになされている。もちろん、通常のレンズでも構わないが、視野が狭くなるので、観察者は光源ブロックBLiに向けてより多く頭部を傾けなければならない。
【0068】
この例では、魚眼レンズ35の中央に一番近い部分で発光ダイオードLEDiの点滅パターンが確認されると、流し撮りCCD装置23の自動ズーム機構によりそのピントが常に一定になるように焦点が合わせ込まれる。従って、発光ダイオードLEDの点滅パターンの取得精度を向上させることができる。このピントが合った状態で、4個の発光ダイオードLED1〜LED4の発光位置が求められ、その位置を結んで第2の基準面が認識される。その際に、観察者の注視する発光ダイオードLEDiと流し撮りCCD装置23との焦点距離Scが近すぎて、その発光ダイオードLEDによる輝度情報が取得できない場合には、ピントを通常に戻して広域の他の発光ダイオードLEDiの点滅パターンを認識するようにする。
【0069】
続いて、仮想画像立体合成装置100の回路構成について説明する。図15に示す仮想画像立体合成装置100は大きく分けて3つの回路ブロックから成る。第1の回路ブロックは基準面設定用の光源ブロックBL1〜BL8であり、この光源ブロックBL1〜BL8には点滅制御回路13が各々設けられ、4個の発光ダイオードLED1〜LED4に所定の電圧が印加されて点滅制御される。点滅制御回路13では点滅パターンが異なるように発光ダイオードLED1、LED2、LED3及びLED4が点滅間隔が制御される(図7、図8参照)。
【0070】
第2の回路ブロックは特殊グラストロン2であり、上述した流し撮りCCD装置23、通常のCCD撮像装置25、右眼表示用のLCD26、左眼表示用のLCD27及び左右のフィルムCCD4R、4L(注視点検出用のカメラ4)を有している。
【0071】
第3の回路ブロックは画像処理装置3であり、内部バス41を有している。内部バス41にはインタフェース(I/O)42、画像キャプチャ部43、画像処理部44、CPU45、ROM46、RAM47及びE2PROM(電気的な書き込み及び消去が可能な読み出し専用メモリ)48が接続されている。流し撮りCCD装置23、通常のCCD撮像装置25、右眼表示用のLCD26、左眼表示用のLCD27及び注視点検出用のカメラ4はインタフェース42を介して内部バス41に接続される。
【0072】
この内部バス41にはE2PROM48が接続され、観察者の属する外界像に肖像画P11、船の絵画P21、山の絵画P31、これらの下位階層の人体内部構造の画像P12、操舵室の画像P22及び地底構造の画像などの仮想映像を立体的に合成するアルゴリズムが格納されている。例えば、E2PROM48には、観察者の属する実空間上の壁面1で任意に設定された仮想壁面1’で肖像画P11、船の絵画P21、山の絵画P31などの仮想映像を重ね合わせて合成するアルゴリズムと、その実空間上の壁面1で任意に設定された第2の基準面上で肖像画P11の下位階層の人体内部構造の画像P12、船の絵画P21の下位階層の操舵室の画像P22又は山の絵画P31の下位階層の地底構造の画像などの仮想映像を重ね合わせて合成するアルゴリズムが格納される。
【0073】
従って、このアルゴリズムを実行することによって、簡易に、しかも、少ない計算量で実空間の壁面1の光源ブロックBLi上で第1又は第2の基準面を認識することができる。これにより、実空間上の壁面1の光源ブロックBLiの第1の基準面の属する位置に、あたかも、肖像画P11、船の絵画P21、山の絵画P31などが存在するように仮想画像立体合成処理をすること、及び、その第2の基準面上で、これらの下位階層の人体内部構造の画像P12、操舵室の画像P22及び地底構造の画像などが存在するように仮想画像立体合成処理をすることができるので、バーチャル美術館などの仮想画像立体合成装置100を再現性良く構成することができる。
【0074】
更に、内部バス41にはROM46が接続され、この仮想画像立体合成装置100を制御するためのシステムプログラムや、メモリの読み出し手順などの制御情報などが格納される。内部バス41にはワーキング用のRAM47が接続され、システムプログラムや、肖像画P11、船の絵画P21、山の絵画P31などの仮想画像を表示する表示情報が一時記録される。
【0075】
例えば、RAM47には、基準面設定用の8個の光源ブロックBL1〜BL8の各々4つの発光ダイオードLED1〜LED4の位置情報(x1,y1)、(x2,y2)、(x3,y3)、(x4,y4)及び、4つの発光ダイオードLED1〜LED4間の距離情報Lx=(x3−x1)=(x4−x2)や、距離情報Ly=(y2−y1)=(y4−y3)が記憶されている。その際に、予め定められた配置間隔で8個の光源ブロックBL1〜BL8を壁面1に取付ける場合には、その8個の光源ブロックBL1〜BL8の配置情報を予めアドレスマップにしてRAM47に記憶しておいてもよい。
【0076】
また、内部バス41には制御手段としてCPU45が接続され、インタフェース42、画像キャプチャ部43、画像処理部44、ROM46、RAM47及びE2PROM48の入出力の制御や、流し撮りCCD装置23、CCD撮像装置25、LCD26、LCD27及び注視点検出用のカメラ4の入出力の制御が行われる。この例では観察者が注視した発光ダイオードLEDiと特殊グラストロン2との間の焦点距離ScがCPU45によって算出される。ここで算出された焦点距離Scと、フィルムCCD4R、4Lによるカメラ出力信号S3とに基づいて、観察者が注視した特定の発光ダイオードLEDiに対して流し撮りCCD装置23のピントをより高精度に合わせ込むことができる。
【0077】
例えば、CPU45はカメラ出力信号S3に基づいて流し撮りCCD装置23の焦点距離Scを調整したり、観察者の眼球運動から認識された瞳孔の動きに基づいてその観察者が注視した発光ダイオードLEDiと流し撮りCCD装置23との間の焦点距離Scを補正するように動作する。この補正動作については図16で説明する。その他にCPU45はカメラ出力信号S3に基づいてLCD26、LCD27への映像出力を制御するようになされる。例えば、観察者が注視した部分の画像を所定の倍率で拡大してLCD26、LCD27に表示するような拡大表示制御が行われる。
【0078】
これに関連してインタフェース42には操作部9が設けられ、少なくとも、観察者が注視した部分の画像を所定の大きさに戻して表示するような指示信号(リセット信号)S5がインタフェース42を介してCPU45に指示が与えるようになされている。一時拡大した画像を通常の大きさの画像に戻すためである。
【0079】
このインタフェース42には画像処理部44が接続され、例えば、流し撮りCCD装置23で撮像された基準面設定用の光源ブロックBLiの4つの発光ダイオードLED1〜LED4の画像(図17参照)が、CPU45の制御命令と共にインタフェース42を介して、画像処理部44に取り込まれ、そこで所定の画像処理がなされ、再び、インタフェース42を介して特殊グラストロン2内のLCD26及びLCD27などに転送される。
【0080】
また、インタフェース42には画像キャプチャ部43が接続され、CPU45の制御命令を受けて、流し撮りCCD装置23から入力した点滅パターンの画像データを獲得する所定のキャプチャ処理がなされる。この点滅パターンの画像データは時間経過に対応する輝度の変化として表現されている。画像キャプチャ部43には演算手段としての画像処理部44が接続され、所定の画像処理が施された画像データに関して、点滅パターンの同期ずれが補正されたり、観察者の属する基準面が求められる。この基準面の算出については図17〜図19で説明する。
【0081】
続いて、仮想画像立体合成装置100の位置認識手段5の焦点補正時の動作例について説明をする。図16に示す流し撮りCCD装置23には図示しないインタフェース42を介して画像処理部44が接続され、基準面設定用の光源ブロックBLiの4つの発光ダイオードLED1〜LED4の画像が取り込まれ、そこで所定の画像処理がなされる。
【0082】
また、図16に示す光源ブロックBLiによる基準面を注視する観察者の眼球運動が注視点検出カメラ4によって撮像され、その観察者の注視点pが検出される。この注視点検出カメラ4には図示しないインタフェース42を介して制御手段としてのCPU45が接続され、この注視点検出カメラ4から得られたカメラ出力信号S3に基づいて流し撮りCCD装置23の焦点距離が調整される。
【0083】
例えば、CPU45は、流し撮りCCD装置23にズーム制御信号S0を出力して、観察者の眼球運動から認識された瞳孔の動きに基づく発光ダイオードLEDiと流し撮りCCD装置23との間の焦点距離を補正するようになされる。
【0084】
ここで、観察者の眼球表面から注視点pに至る離隔距離をSeとし、流し撮りCCD装置23のレンズ表面から注視点pに至る焦点距離をScとし、観察者の眼球表面と流し撮りCCD装置23のレンズ表面との間のオフセット距離をSoffとすると、その注視点pに至る離隔距離Seが焦点距離Sc+Soffよりも多い場合には、CPU45がその焦点距離Scを長くするように流し撮りCCD装置23の光学系を調整する。反対に、注視点pに至る離隔距離Seが焦点距離Sc+Soffよりも少ない場合には、CPU45はその焦点距離Scを短くするように流し撮りCCD装置23の光学系を調整するようになされる。
【0085】
続いて、画像処理装置3の第2の基準面の設定時の動作例について説明をする。この例では、図15に示した画像処理装置3では、RAM47から読み出された基準面設定用の光源ブロックBL1〜BL8の4つの発光ダイオードLED1〜4の位置情報及び距離情報Lx,Lyを参照しながら、流し撮りCCD装置23で撮像された実際の4つの発光ダイオードLED1〜LED4の位置情報及び距離情報Lx,Lyが演算される。
【0086】
この実際の4つの発光ダイオードLED1〜LED4の位置情報及び距離情報Lx,LyがRAM47による発光ダイオードLED1〜LED4の位置情報及び距離情報Lx,Lyにより一層近づくように、流し撮りCCD装置23の焦点光学系が自動調節される。これにより、図19に示す基準面設定用の光源ブロックBLiの4つの発光ダイオードLED1〜LED4の修正後の画像を画像処理部44に取り込むことができる。修正後の画像は、4つの発光ダイオードLED1〜LED4の位置が、4つ輝点p1〜p4の位置座標(x1,y1)、(x2,y2)、(x3,y3)、(x4,y4)に近似し、しかも、4つの発光ダイオードLED1〜LED4間の距離がLx=(x3−x1)=(x4−x2)や、距離情報Ly=(y2−y1)=(y4−y3)に近似するようなイメージになされる。
【0087】
例えば、図15に示した画像処理部44では流し撮りCCD装置23から出力された流し撮り信号(輝度信号)SOUTの点滅パターンに関して、図19に示すウインドWにより画定された画像領域内で、4つの流し撮り輝点p1〜p4を含むXY平面を成す空間的な配置パターンに変換される。その後、その配置パターン上を走査して、少なくとも、4つの輝点p1〜p4の位置座標(X1,Y1)、(X2,Y2)、(X3,Y3)、(X4,Y4)が求められる。
【0088】
この4つの輝点p1〜p4は壁面1に取付けられた基準面設定用の8個の光源ブロックBL1〜BL8のうちの1つを注視した際の、光源ブロックBLiの4つの発光ダイオードLED1〜LED4である。実空間上の光源ブロックBLiの4つの発光ダイオードLED1〜LED4の位置座標は既知であり、その位置座標は(x1,y1)、(x2,y2)、(x3,y3)、(x4,y4)である。
【0089】
従って、上述の実空間上の光源ブロックBLiの基準面は4つの発光ダイオードLED1〜LED4の取付け位置に射影する変換行列を演算することにより得られる。ここで実空間の光源ブロックBLiの平面上の点(xi,yi,0)をある並進・回転運動によって移動し、それを透視変換で画像座標系に射影した点を(Xi,Yi)で示すと、両者の間には(1)式なる関係がある。
【0090】
【数1】
【0091】
但し、a1・・・・a8は未知の係数でCCD撮像装置25などの外部パラメータ(位置と方向)及び焦点距離などの内部パラメータである。これらのパラメータは実空間の既知の点の位置座標(x1,y1)、(x2,y2)、(x3,y3)、(x4,y4)と、それらに対応する4組の画像処理系の位置座標(X1,Y1)、(Y2,Y2)、(X3,Y3)、(X4,Y4)が存在すれば、(2)式の方程式を解くことにより得られる。
【0092】
【数2】
【0093】
ここで得られた4点の位置座標(X1,Y1)、(X2,Y2)、(X3,Y3)、(X4,Y4)を結ぶことにより、図19に示した実空間上の光源ブロックBLiの基準面が認識される。
【0094】
具体的には、図19に示す配置パターン上で流し撮像方向をY軸とし、そのY軸に直交する方向をX軸としたときに、画像処理部44によって流し撮像方向と同一方向又はその反対方向に輝度信号値が加算される。この加算値がX軸上にプロットされると、そのX軸にプロットされた輝度信号値が最大となる4つの位置が検出され、この4つの位置に対応するX座標値X1、X2、X3、X4が求められる。
【0095】
また、その配置パターン上で取得画像をY方向に走査したときに、そのY方向に並んだ複数の輝点のうち、最初に発光した輝点位置が各々X座標値に対応したY座標値Y1、Y2、Y3、Y4として求められる。この4つの輝点間の距離情報はLx=(X3−X1)=(X4−X2)及びLy=(Y2−Y1)=(Y4−Y3)として求めることができる。
【0096】
ここで、実空間上の4つの発光ダイオードLED1〜LED4の位置座標をwi(i=1〜4)とし、その4つの発光ダイオードLED1〜LED4の位置座標wiのカメラ座標系上での表現ベクトルをCiとし、その4つの発光ダイオードLED1〜4のLCD画面上での位置座標をPiとし、流し撮りCCD装置23の回転マトリクスをR、その移動ベクトルをTとすると、(3)式、すなわち、
Ci=R・wi+T ・・・(3)
但し、Ci=Pi・ki(kiはスカラー)
という関係がある。従って、通常のCCD撮像装置25の回転マトリクスRとその移動ベクトルTとを演算し、これをパラメータとして実空間と仮想空間との間で座標変換を容易に行うことができるので、仮想空間上の光源ブロックBLiの基準面に肖像画P11、船の絵画P21、山の絵画P31などの画像を合成することができる。
【0097】
続いて、壁面1、仮想壁面1’及び特殊グラストロン2を装着した観察者との位置関係について説明をする。図20は、仮想壁面1’と撮像系との位置関係例を示す上面図である。この例では、図20に示す壁面1の特定位置から距離S0だけ離れた位置に第1の基準面として仮想壁面1’が設定され、各々の光源ブロックBLi上に第2の基準面が設定される。
【0098】
そして、図20に示す位置S1に撮像系が存在する場合、すなわち、図21Aに示す特殊グラストロン2を装着した観察者30が壁面1から遠くに離れた位置SP1に立った場合(S0<<S1)には、8個の光源ブロックBL1〜BL8が壁面1に取り付けられていることが特殊グラストロン2の撮像系によって辛うじて認識される。この際に観察者30は光源ブロックBL1を頂点として壁面1に対して直角を成す方向に立つ。
【0099】
その後、撮像系の接近目標として光源ブロックBL1を設定する。そして、図20に示す位置S2に撮像系が移動した場合、すなわち、図21Bに示す観察者30が壁面1の方向に近づいて立った場合(S2>S0)には、壁面1に取り付けられた8個の光源ブロックBL1〜BL8が撮像系によって認識される。もちろん、観察者30は光源ブロックBL1に向かって真っ直ぐに移動する。この位置はそれ以上壁面側に撮像系を進ませると、8個の光源ブロックBL1〜BL8の内の右端の2つの光源ブロックBL7、BL8の画像が撮像系の視野から切れてしまう位置でもある。この位置に撮像系が存在する場合には、8個の光源ブロックBL1〜BL8の位置はRAM47からの配置距離情報を参照することによって認識することができる。
【0100】
この8個の光源ブロックBL1〜BL8の位置が画像処理系で認識可能になると、光源ブロックBLiの個々の発光ダイオードの点滅パターンがつぶれて認識できなくとも、特殊グラストロン2によって、予め準備された肖像画P11、船の絵画P21、山の絵画P31などが第1の基準面上に存在するように仮想画像立体合成処理をすることができる。
【0101】
ここで、目標とされた光源ブロックBL1と撮像系との間の距離情報Sxは(4)式により求められる。
Sx=Shx・tan(90−θ)・・・・・(4)
【0102】
但し、θは撮像系の視野角である。Shxは光源ブロックBL1からの壁面1に沿った方向への配置距離である。光源ブロックBL3、BL4では配置距離がShであり、光源ブロックBL5、BL6では配置距離が2Shであり、光源ブロックBL7、BL8では配置距離が3Shである。
【0103】
更に、図20に示す位置S3に撮像系が存在する場合、すなわち、図22Aに示す特殊グラストロン2を装着した観察者30が仮想壁面1’の直前位置SP3に立った場合(S0=S3)には、上下2個の光源ブロックBL1、BL2が壁面1に取り付けられていることが撮像系によって認識される。
【0104】
この位置はそれ以上仮想壁面1’よりに前に撮像系を進ませると、4個の光源ブロックBL1〜BL4の内の右端の2つの光源ブロックBL3及びBL4の画像が撮像系の視野から切れてしまう位置でもある。この位置が画像処理系では画像切り替え点として認識される。例えば、肖像画P11から人体内部構造の画像P12に表示を切り替える位置である。
【0105】
つまり、図20に示す位置S4に撮像系が移動した場合、すなわち、図22Bに示す観察者30が仮想壁面1’の中に踏み込んで壁面1の方向に近づいて立った場合(S4<S0)には、すでに壁面1に取り付けられた光源ブロックBL1が流し撮りCCD装置23によって認識可能となっているので、光源ブロックBL1による第2の基準面上で肖像画P11の下位階層である人体内部構造の画像P12を特殊グラストロン2の表示手段24に表示することができる。
【0106】
次に、本発明の位置認識方法に関して仮想画像立体合成装置100の動作を説明する。図23はその動作例を示すメインルーチンのフローチャートであり、図24はその流し撮りCCD装置23の焦点距離の補正例を示すサブルーチン、図25は、その通常のCCD撮像装置25の最大望遠時の動作例を示すサブルーチン、図26はその壁面1の光源ブロックBLiの拡大撮像例を示すサブルーチン、及び、図27はその発光ダイオードLED1〜LED4の位置算出例を示すサブルーチンの各々のフローチャートである。図28は仮想画像立体合成装置100を応用したバーチャル美術館の構成例を示すイメージ図である。
【0107】
この例では、ほぼ平坦な壁面1の所望位置に基準面設定用の8個の光源ブロックBLi(i=1〜8)を予め定められた配置ピッチ(間隔)で配置し、その8個の光源ブロックBLiを撮像して画像処理系に認識させた後に、第1の基準面上で仮想画像の合成処理をし、その後、8個の光源ブロックBLiの中の1つの光源ブロックBLiを目標に設定してその目標に撮像系を近づけたときに、その光源ブロックBLiを拡大して流し撮りし、この流し撮りに基づいて第2の基準面で仮想画像を合成処理する場合を想定する。
【0108】
この位置認識原理を応用して、8個の光源ブロックBL1〜BL8の各々の仮想空間上で肖像画P11、船の絵画P21、山の絵画P31・・・・その他の絵画P8などの8枚の画像を表示する。図28ではその第1の基準面を含む仮想空間上に、光源ブロックBL1を中心に肖像画P11が、光源ブロックBL2を中心に船の絵画P21が、光源ブロックBL3を中心に山の絵画P31があたかも存在するようになされる。その後、この3枚のうちの1枚の映像に観察者30が目標を設定して壁面方向に近づくと、その絵画映像が下位階層の画像に切り替えられて特殊グラストロン2に表示するような場合を想定する。もちろん、観察者30は図9に示した特殊グラストロン2を頭部に装着する。
【0109】
これを前提にして、図23に示すフローチャートのステップB1で壁面1に取付けられた光源ブロックBLiを撮像して被注視領域を画定する。例えば、図24のサブルーチンをコールしてそのフローチャートのステップC1で、まず、流し撮りCCD装置23が最大望遠状態になされる。この最大望遠状態は通常の視野で遠くの物を見た場合である。
【0110】
このように遠くから物を見た状態にすると、流し撮りCCD装置23では各光源ブロックBL1〜BL8の発光ダイオードLED1〜4の点滅パターンまで識別することができず、画像処理系では各光源ブロックBL1〜BL8が同期して点滅していると認識される。従って、光源ブロックBL1〜BL8の存在位置を画像処理系によって認識させることができる。
【0111】
つまり、ステップC2に移行して、その壁面1に配置された8個の光源ブロックBL1〜BL8が全部、流し撮りCCD装置23の撮像範囲に収まったか否かが画像処理系で判別される。この際の判別ではパターン認識などを利用して行ってもよい。その8個の光源ブロックBL1〜BL8が撮像範囲に収まらない場合には、ステップC3に移行して流し撮りCCD装置23の焦点調整機構がパーン(螺旋回転)された後に、ステップC4に移行して8個の光源ブロックBL1〜BL8が画像処理系で認識処理される。
【0112】
その後、ステップC2に戻って、その壁面1に配置された8個の光源ブロックBL1〜BL8が全部撮像範囲に収まったか否かが再度、画像処理系で判別される。そして、図23に示すメインルーチンのステップB1に戻り、ステップB2に移行して、画像処理装置3では、RAM47から読み出された8個の光源ブロックBL1〜BL8の配置距離情報を参照しながら、通常のCCD撮像装置25で撮像された実際の8個の光源ブロックBL1〜BL8の位置情報が演算される。
【0113】
その後、ステップB3では第1の基準面が認識され、特殊グラストロン2の表示手段24には仮想壁面1’が表示される。そして、ステップB4に移行して仮想壁面1’に肖像画P11、船の絵画P21、山の絵画P31・・・・その他の絵画P8などの8枚の画像が合成される。このとき、観察者30が装着した特殊グラストロン2では、LCD26により実空間の外界像である壁面1と、肖像画P11、船の絵画P21、山の絵画P31などの画像とを合成したステレオ画像の一方が観察者30の右の眼球に導くようになされる。LCD27により、実空間の壁面1と、肖像画P11、船の絵画P21、山の絵画P31などの画像とを合成したステレオ画像の他方が観察者30の左の眼球に導くようになされる。
【0114】
従って、実空間上の壁面1には、肖像画P11、船の絵画P21、山の絵画P31などが出現していない(図4参照)のに、図28に示す仮想壁面1’には肖像画P11、船の絵画P21、山の絵画P31などを出現させることができる。これにより、観察者30の属する実空間上の背景画像と、仮想空間上に出現した肖像画P11、船の絵画P21、山の絵画P31などの画像が頭の中で合成されるので、実空間上の壁面1の属する光源ブロックBLiの位置に、あたかも、肖像画P11、船の絵画P21、山の絵画P31などが存在するようにできる。
【0115】
この一連の撮像処理及び画像処理と並行して、ステップB12では観察者30の眼球運動が撮像されると共に、ステップB13で少なくとも、流し撮りCCD装置23の焦点距離の補正がなされる。もちろん、通常のCCD撮像装置25の焦点距離を補正するようにしてもよい。例えば、図25のサブルーチンをコールしてそのフローチャートのステップD1で、観察者30の注視点pが図11Aに示した歯抜けのフィルムCCD4R、4Lなどの注視点検出用のカメラ4で検出される。
【0116】
その後、ステップD2で観察者30の眼球表面から注視点pに至る離隔距離Seと、その観察者30が注視した発光ダイオードLEDiと流し撮りCCD装置23との間の焦点距離Sc+SoffとがCPU45よって比較される。ここで、注視点pに至る離隔距離Seと流し撮りCCD装置23の焦点距離Sc+Soffとが一致している場合には、光学系の調整は不要なので、ステップD8に移行して、観察者30の眼球運動の監視を継続する。この注視点pに至る離隔距離Seと流し撮りCCD装置23の焦点距離Sc+Soffとが不一致の場合には、ステップD3に移行する。
【0117】
このステップD3では、注視点pに至る離隔距離Seが流し撮りCCD装置23の焦点距離Sc+Soffよりも多い(A)か、少ない(B)かが判定される。例えば、注視点pに至る離隔距離Seが流し撮りCCD装置23の焦点距離Sc+Soffよりも多い場合には、ステップD4に移行してCPU45によってその焦点距離Scを増加するように流し撮りCCD装置23の絞りやレンズなどの光学系が調整される。
【0118】
この調整結果で、ステップD5で離隔距離Seと焦点距離Sc+Soffとが一致した場合には、ステップD8に移行し、一致しない場合はステップD4に戻って調整を継続する。反対に、観察者30の眼球表面から注視点pに至る離隔距離Seが焦点距離Sc+Soffよりも少ない場合には、ステップD6に移行してCPU45により、その焦点距離Scを減少するように流し撮りCCD装置23の光学系が調整される。その調整結果で、ステップD7で離隔距離Seと焦点距離Sc+Soffとが一致した場合には、ステップD8に移行し、一致しない場合はステップD6に戻って調整を継続する。これにより、観察者30が注視した光源ブロックBLiと流し撮りCCD装置23の光学系との間の焦点距離Sc+Soffを自動補正することができる。
【0119】
そして、図23に示すメインルーチンのステップB5では8個の光源ブロックBLiのうちのどの光源ブロックBLiに目標が設定されたかが、図25のサブルーチンのステップD1の観察者30の注視点pの情報に基づいて検出される。この際に、いずれかの光源ブロックBLiに注視された場合にはステップB6に移行する。反対に、いずれの光源ブロックBLiも注視されない場合にはステップB14に移行する。
【0120】
従って、いずれかの光源ブロックBLiに目標が設定されたときは、その目標に向かって観察者30が壁面1の方向へ近づいて行く間中、ステップB6で撮像系と目標との間の距離情報Sxが算出される。この際の距離情報Sxに関しては(4)式により演算される。もちろん、第1の基準面には肖像画P11、船の絵画P21、山の絵画P31などの画像が表示されている。
【0121】
そして、ステップB7で観察者30が仮想壁面1’に到達したか否かが検出される。観察者30が仮想壁面1’に到達していない場合にはステップB6に戻って撮像系と目標との間の距離情報Sxの算出が継続される。ここで、観察者30が図22Aに示した仮想壁面1’の直前位置SP3に立ったような場合には距離情報Sx=S0=S3が画像処理装置3によって検出される。この位置は肖像画P11から人体内部構造の画像P12に表示を切り替える位置である。従って、一歩でも仮想壁面1’内へ踏み込むと、特殊グラストロン2の表示手段24の映像が切り替わるようになされる。
【0122】
例えば、ステップB8に移行して、その被注視領域内で目標とされた光源ブロックBL1を拡大して撮像する。そして、光源ブロックBL1の4つの発光ダイオードLED1〜LED4が全部、流し撮りCCD装置23の撮像範囲に収まった場合には、図26のサブルーチンをコールしてそのフローチャートのステップE1で光源ブロックBL1に発光ダイオードLED1〜LED4が存在するか否かが検出される。このとき、観察者30が注目した光源ブロックBL1にステップE2でズームアップされる。
【0123】
この際に、画像処理装置3では、RAM47から読み出された基準面設定用の光源ブロックBL1の4つの発光ダイオードLED1〜LED4の位置情報及び距離情報Lx,Lyを参照しながら、流し撮りCCD装置23で撮像された実際の4つの発光ダイオードLED1〜LED4の位置情報及び距離情報Lx,Lyが演算される。
【0124】
そして、実際に撮像された4つの発光ダイオードLED1〜LED4の位置及び距離Lx,LyがRAM47による発光ダイオードLED1〜LED4の位置情報及び距離情報Lx,Lyにより一層近づくように、流し撮りCCD装置23の焦点光学系が自動調整される。その後、ステップE1に戻る。従って、ステップE1で観察者30が注目した光源ブロックBLiに4個の発光ダイオードLED1〜LED4が存在することが認識されると、ステップE3に移行して画像処理系では位置認識処理がなされる。この処理については、図18及び図19で説明した通りである。
【0125】
その後、ステップE4に移行して壁面1が認識できたか否かが判別される。この壁面1が認識できた場合には、この位置認識処理を終了してメインルーチンにリターンする。この壁面1が認識できない場合には、ステップE5に移行して4つの輝点の距離情報Lx、Lyが、図15に示したRAM47から読み出された距離情報(基準値)Lx、Lyよりも小さいかが検出される。RAM47による距離情報Lx、Lyよりも演算された距離情報Lx、Lyが小さい場合には、ステップE6に移行してズームアップされる。その後、ステップE3に戻って位置認識処理が行われる。
【0126】
また、ステップE5でRAM47による距離情報Lx、Lyよりも演算された距離情報Lx、Lyが大きい場合には、ステップE7に移行して再度、4つの輝点の距離情報Lx、LyがRAM47に格納された距離情報(基準値)Lx、Lyよりも大きいかが検出される。RAM47による距離情報Lx、Lyよりも演算された距離情報Lx、Lyが大きい場合には、ステップE8に移行してズームダウンされる。
【0127】
そして、ステップE8でズームダウンした後、及び、ステップE7でRAM47による距離情報Lx、Lyよりも演算された距離情報Lx、Lyが大きくない場合には、ステップE3に戻って位置認識処理が行われる。その後、ステップE4に移行して壁面1が認識できたか否かが判別される。
【0128】
以上の処理を繰り返すことで、観察者30が注視した特定の光源ブロックBLiを、再現性よく画像処理系に認識させることができる。従って、画像処理系で壁面1が認識されると、この位置認識処理を終了して図23のメインルーチンのステップB8にリターンする。
【0129】
そして、図23のフローチャートのステップB9に移行して拡大撮像された光源ブロックBLiによる輝度信号を画像処理してその光源ブロックBLiの位置を求める。例えば、図27のサブルーチンをコールしてそのフローチャートのステップF1でビデオキャプチャ処理を実行する。その後、ステップF2で光源ブロックBLiの四隅の発光ダイオードLED1〜LED4を認識する。具体的には、流し撮りCCD装置23で撮像された光源ブロックBLiの4つの発光ダイオードLED1〜LED4による輝度信号の点滅パターンが、4つの輝点p1〜p4を含むXY平面を成す空間的な配置パターンに変換される。
【0130】
その後、その配置パターン上を走査して、少なくとも、4つの輝点p1〜p4の位置座標(X1,Y1)、(X2,Y2)、(X3,Y3)、(X4,Y4)が求められ、上述した(1)式及び(2)式が演算され、実空間上の4つの発光ダイオードLED1〜4の取付け位置と、画像処理系の4点の位置座標(X1,Y1)、(X2,Y2)、(X3,Y3)、(X4,Y4)との関係が求められ、この4点を結ぶことにより基準面が求められる(壁面の認識原理)。そして、ステップF3で画像処理部44では上述の(3)式に基づいて演算処理が行われ、流し撮りCCD装置23と基準面との位置関係が検出される。
【0131】
その後、図23のメインルーチンのステップB9にリターンし、ステップB10に移行して壁面1の特定位置である光源ブロックBL1に第2の基準面が設定される。そして、ステップB11に移行して仮想空間の光源ブロックBL1の第2の基準面上に肖像画P11の下位階層の画像である人体内部構造の画像P12が特殊グラストロン2に表示される。例えば、特殊グラストロンでは、LCD26により実空間の外界像である壁面1と、肖像画P11の下位階層の画像である人体内部構造の画像P12とを合成したステレオ画像の一方が観察者30の右の眼球に導くようになされる。LCD27により、実空間の壁面1と、その人体内部構造の画像P12とを合成したステレオ画像の他方が観察者30の左の眼球に導くようになされる。
【0132】
従って、実空間上の壁面1には、人体内部構造の画像P12などが出現していない(図4参照)のに、仮想空間の光源ブロックBLiによる第2の基準面上に、は図29Aに示すような人体内部構造の画像P12を出現させることができる。これにより、観察者30の属する実空間上の背景画像と、仮想空間上に出現した人体内部構造の画像P12が頭の中で合成されるので、実空間上の壁面1の属する光源ブロックBLiの位置に、あたかも、人体内部構造の画像P12が存在するようにできる。
【0133】
この例では、上述の壁面1の認識原理を応用することにより、観察者30が例えば図28に示す左側の肖像画P11に注視すると、注視点検出用のカメラ4からCPU45へ「肖像画に注視している」旨のカメラ出力信号S3が出力されるので、画像処理装置3では、その肖像画P11に目標を設定されたことを判断できる。
【0134】
また、右眼表示用のLCD26及び左表示用のLCD27に人体内部構造の画像P12及び肖像画P11を拡大して表示した場合には、先に述べた操作部9を操作すると、指示信号S5がCPU45に出力され、観察者30が注視した肖像画P11を所定の大きさに戻した表示がなされる。そして、図23に示したフローチャートのステップB14の「終了する」に対して「NO」でステップB1に戻ってその仮想画像合成表示処理を継続し、「YES」でその仮想画像合成表示処理を終了する。
【0135】
なお、図29Aは、肖像画の下位階層の画像例を示す人体内部構造の画像P12のイメージ図、及び、図29Bは船の絵画P21の下位階層の画像例を示す操舵室から進行方向を見た画像P22を示すイメージ図である。図28において、目標を船の絵画P21に設定した場合には、観察者30が仮想壁面1’を越えた時点で図28に示した船の絵画P21から図29Bに示す操舵室の画像P22に表示を切り換えることができる。
【0136】
このように、本実施形態としての仮想画像立体合成装置100によれば、上述の位置認識装置10及び位置認識方法が応用されるので、壁面1の特定位置の光源ブロックBLi及びその光源ブロックBLiから離れた任意の位置を簡易にかつ少ない計算量で、しかも、ベストフォーカスで精度良く画像処理系などに認識させることができる。
【0137】
従って、壁面1の特定位置の光源ブロックBLiから離れた任意の位置に第1の基準面を設定し、又は、その光源ブロックBLiに第2の基準面を設定することができるので、その第1の基準面を取り込んだ仮想壁面1’上で仮想体の画像を合成するような仮想画像立体合成処理を行うこと、及び、その第2の基準面を取り込んだ壁面1上で仮想体の画像を合成するような仮想画像立体合成処理を行うことができる。
【0138】
これにより、実際の壁面1には肖像画P11、船の絵画P21、山の絵画P31などの実物の絵画などが存在しない場合であっても、仮想壁面1’には複数の絵画が出現し、しかも、その絵画の1つに目標を設定してその絵画の中に踏み込んだときに、その絵画の下位階層の画像が表示されるようなバーチャル美術館などを再現性よく構築することができる。
【0139】
また、本例のバーチャル美術館では、仮想空間上で、図28に示した肖像画P11、船の絵画P21及び山の絵画P31の3枚の画像のうち、観察者30が注視した1枚の画像に通常のCCD撮像装置25の焦点を合わせ込むとができるので、その画像をズームアップして表示することができる。従って、このバーチャル美術館では実空間の壁面1に8個の光源ブロックBLiを設け、その映像ソフトをCD−ROMなどから供給すればよく、観察者30が注視した画像を忠実に画像表示することができる。
【0140】
更に、この例では、観察者30が注視した特定の発光ダイオードLEDiに流し撮りCCD装置23の焦点を精度良く合わせ込むことができる。従って、ベストフォーカスで4つの発光ダイオードLED1〜LED4を所定の撮像方向に流すように撮像することができる。これと共に、その点滅パターンの輝度信号を画像処理装置3で最適に画像処理することができるので、8個の光源ブロックBL1〜BL8による第1及び第2の基準面を精度良く認識させることができる。
【0141】
しかも、観察者30の属する実空間上の壁面1に関して第1及び第2の基準面を簡易に、しかも、少ない計算量で認識することができる。従って、画像処理部44における演算負担を従来方式に比べて軽減できると共に、これらのバーチャル美術館などの仮想画像立体合成装置のコストダウンを図ることができる。
【0142】
この実施形態では流し撮りCCD23に関してインターライン転送方式の二次元撮像デバイスを使用する場合について説明したが、これに限られることはなく、フレーム転送方式の二次元撮像デバイスを使用する場合であっても同様な効果が得られる。
【0143】
(3)第2の仮想画像立体合成装置
図30は本発明に係る位置認識装置及び位置認識方法を応用した第2の実施形態としての仮想画像立体合成装置200の構成例を示す斜視図である。
この実施形態では、壁面1に取付けられる被認識マークMiが光源ブロックBLiから二次元バーコードBCi(i=1〜8)に置き換わったものであり、その内の任意の1つに目標が設定され、その目標に撮像系を近づけた場合において、その目標となされた二次元バーコードBCiと撮像系との距離情報を求める演算手段を設け、壁面1の特定位置及びその特定位置から離れた任意の位置を簡易にかつ少ない計算量で、しかも、ベストフォーカスで精度良く画像処理系などに認識させ、壁面1の特定位置及びその特定位置から離れた任意の位置に各々基準面を設定し、その各々の基準面を取り込んだ仮想空間上で仮想体の画像を合成できるようにしたものである。
【0144】
図30に示す仮想画像立体合成装置200は、第1の実施形態と同様にして観察者30の属する外界像に、人物や風景などの静止画像(2D)又はTV番組のキャラクタ画像(3D)などの仮想体画像を立体的に合成表示する装置である。
【0145】
この仮想画像立体合成装置200は壁面1の所望位置に取付けられた複数の被認識マークMiとしての基準面設定用の8個の二次元バーコードBCi(i=1〜8)と、観察者30の頭部に装着される合成手段としての特殊グラストロン20と、この特殊グラストロン20における撮像画像及び表示画像の入出力を制御する画像処理装置3を備えて成るものである。
【0146】
この特殊グラストロン20の本体部21には第1の実施形態と同様にしてベルト22が設けられ、眼鏡をかけるように本体部21が観察者30の顔面に装着されると共に、その観察者30の頭部外周部に沿ってベルト22が固定される。この例で特殊グラストロン20は、表示手段24と、領域抽出用の撮像手段としての通常のCCD撮像装置25とを有しており、そのCCD撮像装置25により撮像(認識)された仮想空間の基準面上に仮想体の画像を表示手段24によって合成表示するようになされる。
【0147】
この例では、実空間上の壁面1の基準面の属する位置に、例えば、光源ブロックBL1を中心に仮想体として肖像画P11が、光源ブロックBL2を中心に船の絵画(図示せず)P21が、光源ブロックBL3を中心に山の絵画(図示せず)P31などがあたかも存在するようになされる。その際に通常のCCD撮像装置25によって二次元バーコードBCiが撮像される。また、上述の壁面1に取付けられた8個の二次元バーコードBC1〜BC8と、通常のCCD撮像装置25とにより位置認識手段50が構成され、壁面1の特定位置及びその特定位置から離れた任意の位置で基準面を認識(設定)するようになされる。この位置認識手段50には本発明に係る位置認識装置10及び位置認識方法が応用される。
【0148】
この例では壁面1に取付けられた8個の二次元バーコードBC1〜BC8が通常のCCD撮像装置25によって撮像されて被注視領域が画定されると共に、観察者30によって8個の二次元バーコードBC1〜BC8の内の任意の1つに目標が設定されたときに、その被注視領域内で目標となされた二次元バーコードBCiがCCD撮像装置25によって撮像される。
【0149】
この特殊グラストロン20には演算手段としての画像処理装置3が接続され、及び通常のCCD撮像装置25により撮像された二次元バーコードBCiによる輝度信号を画像処理してその二次元バーコードBCiの位置が求められ、その位置情報に基づいて二次元バーコードBCiにおける第1及び第2の基準面などを設定するための画像処理がなされる。
【0150】
この例で、図31に示す基準面設定用の二次元バーコードBC1〜BC8は静止物体として比較的に平坦な壁面1に取付けられる。壁面1の大きさについては第1の実施形態で述べた通りであり、8個の二次元バーコードBCiが予め定められた間隔で図31に示す位置に格子状に配されている。二次元バーコードBCiの水平方向の間隔(ピッチ:Ph)は1m程度であり、その垂直方向の間隔(ピッチ:Pv)は1.5m程度である。この8個の二次元バーコードBC1〜BC8の各々の仮想空間上で第1の実施形態と同様にして肖像画P11、船の絵画P21、山の絵画P31・・・・その他の絵画P8などの画像が合成表示される。これらの肖像画P11、船の絵画P21、山の絵画P31・・・の映像や、これらの下位階層の映像は画像処理系のメモリなどに予め格納されているものを使用する。
【0151】
図32は第2の実施形態としての仮想画像立体合成装置200で使用する基準面設定用の二次元バーコードBCiの構成例を示す図である。各々の二次元バーコードBCiは、一辺が5cm程度であり、少なくとも、図32に示す白地に黒で印刷されたn行×n列(この例では、n=7)の白黒マトリクスと、その白黒マトリクスと同じ太さの黒枠部51から成る。この例では黒枠部51で囲まれた5×5画素がコード領域部52であり、この25画素のうち、図32に示す12画素が黒で塗りつぶされている。この二次元バーコードBCiが基準面として使用されるものである。
【0152】
この例でも、基準面設定用の各々の二次元バーコードBCiの各々の四隅の点の位置情報(x1,y1)、(x2,y2)、(x3,y3)、(x4,y4)及び、4つの点間の距離情報Lx=(x3−x1)=(x4−x2)や、距離情報Ly=(y2−y1)=(y4−y3)が規定されている。これらの位置情報及び距離情報は壁面1の認識の際に使用するために、ブロック識別情報と共に予め画像処理装置3内のRAMなどに登録されている。
【0153】
この例では第1の実施形態と同様にして各々の二次元バーコードBCiを識別するために所定のデータフォーマットが準備されている(図6参照)。そして、一方のデータ領域には各二次元バーコードBCiを識別するために、各々の二次元バーコードBCi毎に割り当てられたブロックNo識別コード(コード領域部52のデコード値)「1、2・・・8」などが書き込まれ、他のデータ領域には各二次元バーコードBCiの四隅の4点の位置情報及び距離情報Lx、Lyが書き込まれる。このブロックNo識別コード及び二次元バーコードBCiの四隅の点の位置情報及び距離情報Lx、Lyを総称してこの例でもブロック識別情報という。
【0154】
また、二次元バーコードBCi間の配置距離情報は二次元バーコードBCiの水平方向の間隔(ピッチ:Ph)及びその垂直方向の間隔(ピッチ:Pv)から光源ブロックBLiと同様にして容易に得られる。上述したブロック識別情報及び二次元バーコードBCi間の配置距離情報によって配置情報が構成される。これらの配置情報は壁面1の認識及び第1及び第2の基準面の設定の際に使用するために、予め画像処理装置内のRAM(情報が随時書き込み読み出し可能なメモリ)47などに登録される。
【0155】
図33に示す特殊グラストロン20は非透過型のヘッドマウントディスプレイを構成しており、通常のCCD撮像装置25と、第1の画像表示素子としての右眼表示用の液晶表示装置(以下LCDという)26と、第2の画像表示素子としての左眼表示用のLCD27と、図示しない注視点検出用の撮像手段(第2の撮像系、以下、注視点検出カメラ4という)とを有している。
【0156】
つまり、観察者30の眉間に相当する位置には、通常のCCD撮像装置25が配置され、観察者30の属する外界像が撮像されると共に、二次元バーコードBC1〜BC8が撮像される。従って、観察者30が基準面設定用の二次元バーコードBC1〜BC8に目を向けると、その基準面の方向にCCD撮像装置25が向くようになる。
【0157】
この例では、CCD撮像装置25に自動ズーム機構が設けられ、8個の二次元バーコードBC1〜BC8の中の任意の二次元バーコードBCiを注視すると、画像処理装置3によって自動的にその二次元バーコードBCiにズームさせることができる。この自動ズーム機構に関しては、第1の実施形態で説明した通りであるのその説明を省略する。
【0158】
そして、特殊グラストロン20内の観察者30の右目に相対する位置にはLCD26が取付けられ、例えば、通常のCCD撮像装置25により撮影した観察者30の二次元バーコードBC1〜BC8と、予め準備された肖像画P11、船の絵画P21、山の絵画P31などの仮想映像とを合成したステレオ画像の一方が表示される。また、その観察者30の左目に相対する位置にはLCD27が取付けられ、上述の二次元バーコードBC1〜BC8と、肖像画P11、船の絵画P21、山の絵画P31などの仮想映像とを合成したステレオ画像の他方が表示される。
【0159】
続いて、仮想画像立体合成装置200の回路構成例について説明する。図34に示す仮想画像立体合成装置200は大きく分けて2つの回路ブロックから成る。第1の回路ブロックは特殊グラストロン20であり、上述した通常のCCD撮像装置25、右眼表示用のLCD26、左眼表示用のLCD27及び左右のフィルムCCD4R、4L(注視点検出用のカメラ4)を有している。
【0160】
第2の回路ブロックは画像処理装置3であり、内部バス41を有している。内部バス41にはインタフェース(I/O)42、画像キャプチャ部43、画像処理部44、CPU45、ROM46、RAM47及びE2PROM48が接続されている。通常のCCD撮像装置25、右眼表示用のLCD26、左眼表示用のLCD27及び注視点検出用のカメラ4はインタフェース42を介して内部バス41に接続される。
【0161】
このE2PROM48には、観察者30の属する外界像に肖像画P11、船の絵画P21、山の絵画P31などの仮想映像を立体的に合成するアルゴリズムが格納されている。例えば、E2PROM48には、観察者30の属する実空間上の壁面1で任意に設定された二次元バーコードBCiに基づく基準面を撮像して仮想空間上にその基準面を表示すると共に、その仮想空間上に肖像画P11、船の絵画P21、山の絵画P31などの仮想映像を重ね合わせて合成するアルゴリズムが格納される。
【0162】
従って、このアルゴリズムを実行することによって、簡易に、しかも、少ない計算量で実空間上の壁面1の二次元バーコードBCiと撮像系との間の距離情報や、その位置で基準面を認識することができる。これにより、実空間上の壁面1の二次元バーコードBCiの基準面の属する位置に、あたかも、肖像画P11、船の絵画P21、山の絵画P31などが存在するように仮想画像立体合成処理をすることができるので、第1の実施形態と同様にしてバーチャル美術館などの仮想画像立体合成装置200を再現性良く構成することができる。
【0163】
更に、内部バス41にはROM46が接続され、この仮想画像立体合成装置200を制御するためのシステムプログラムや、メモリの読み出し手順などの制御情報などが格納される。内部バス41にはワーキング用のRAM47が接続され、システムプログラムや、肖像画P11、船の絵画P21、山の絵画P31などの仮想画像を表示する表示情報が一時記録される。
【0164】
例えば、RAM47には、基準面設定用の各々の二次元バーコードBCiの四隅の点の位置情報(x1,y1)、(x2,y2)、(x3,y3)、(x4,y4)及び、4つの点間の距離情報Lx=(x3−x1)=(x4−x2)や、距離情報Ly=(y2−y1)=(y4−y3)が記憶されている。その際に、予め定められた配置間隔で8個の二次元バーコードBC1〜BC8を壁面1に取付ける場合には、その8個の二次元バーコードBC1〜BC8の配置情報を予めアドレスマップにしてRAM47に記憶しておいてもよい。配置距離情報は水平及び垂直方向のピッチPh、Pvから得られる。
【0165】
また、内部バス41には制御手段としてCPU45が接続され、インタフェース42、画像キャプチャ部43、画像処理部44、ROM46、RAM47及びE2PROM48の入出力の制御や、CCD撮像装置25、LCD26、LCD27及び注視点検出用のカメラ4の入出力の制御が行われる。この例では観察者30が注視した二次元バーコードBCiと特殊グラストロン20との間の焦点距離ScがCPU45によって算出される。ここで算出された焦点距離Scと、フィルムCCD4R、4Lによるカメラ出力信号S3とに基づいて、観察者30が注視した特定の二次元バーコードBCiに対してのピントをより高精度に合わせ込むことができる。
【0166】
例えば、CPU45はカメラ出力信号S3に基づいての焦点距離Scを調整したり、観察者30の眼球運動から認識された瞳孔の動きに基づいてその観察者30が注視した二次元バーコードBCiとCCD撮像装置25との間の焦点距離Scを補正するように動作する。この補正動作については図35で説明する。その他にCPU45はカメラ出力信号S3に基づいてLCD26、LCD27への映像出力を制御するようになされる。例えば、観察者30が注視した部分の画像を所定の倍率で拡大してLCD26、LCD27に表示するような拡大表示制御が行われる。
【0167】
これに関連してインタフェース42には操作部9が設けられ、少なくとも、観察者30が注視した部分の画像を所定の大きさに戻して表示するような指示信号(リセット信号)S5がインタフェース42を介してCPU45に指示が与えるようになされている。これは第1の実施形態と同様にして一時拡大した画像を通常の大きさの画像に戻すためである。
【0168】
このインタフェース42には画像処理部44が接続され、例えば、通常のCCD撮像装置25で撮像された基準面設定用の二次元バーコードBCiの画像(図32参照)が、CPU45の制御命令と共にインタフェース42を介して、画像処理部44に取り込まれ、そこで所定の画像処理がなされ、再び、インタフェース42を介して特殊グラストロン20内のLCD26及びLCD27などに転送される。
【0169】
また、インタフェース42には画像キャプチャ部43が接続され、CPU45の制御命令を受けて、CCD撮像装置25から入力した二次元バーコードBCiに係る画像データを獲得する所定のキャプチャ処理がなされる。画像キャプチャ部43には内部バス41を介して演算手段としての画像処理部44が接続され、所定の画像処理が施された画像データに関して、観察者30の前に属する壁面1で基準面が求められる。
【0170】
例えば、画像処理部44では拡大撮像される二次元バーコードBCiの画像データに対して前処理が施される。この処理では、まず、CCD撮像装置25による取得画像が適当な閾値で2値化される。バーコード部分は白地に黒で印刷されているので、固定閾値によって、かなり安定的に背景画像とコード領域とを分離することができる。次に、黒ピクセルの連結領域毎にラベル付けが施される。
【0171】
この二次元バーコードBCiの黒枠部51はラベル付けされた連結領域のいずれかに含まれることとなる。従って、連結領域の外接四角形の大きさと縦横比を考慮して、コード領域部52が含まれている可能性の低い背景画像(領域)は除去するようになされる。
【0172】
その後、前処理の結果得られた連結領域の各要素に対してバーコード枠の当てはめを行う。例えば、外接四角形の各辺から内側に向かって、黒領域を探索し、コー黒枠部51の点列を得る。この点列に対して最小二乗法で線分を当てはめる。そして、当該二次元バーコードBCiに与えられたコード領域部52を認識する。
【0173】
上述の基準面は黒枠部51の4頂点を正方形の頂点に射影する変換行列を演算することにより得られる。ここで実空間の平面上の点(xi,yi,0)をある並進・回転運動によって移動し、それを透視変換で画像座標系に射影した点を(Xi,Yi)で示すと、両者の間には第1の実施形態で説明した(1)式と同様な関係がある。
【0174】
従って、これらのパラメータは実空間の既知の点の位置座標(x1,y1)、(x2,y2)、(x3,y3)、(x4,y4)と、それらに対応する4組の画像処理系の位置座標(X1,Y1)、(Y2,Y2)、(X3,Y3)、(X4,Y4)が存在すれば、先に説明した(2)式の方程式を解くことにより得られる。
【0175】
ここで得られた位置座標(x1,y1)、(x2,y2)、(x3,y3)、(x4,y4)に関して、一辺の長さを「1」とする正方形の4頂点とすると、この4頂点を結ぶ面が実空間上の基準面となる。なお、画面上の黒枠部51はCCD撮像装置25の姿勢や、透視投影によって歪んでいるが、外部パラメータ及び内部パラメータによって、画面上の矩形頂点を正方形の各頂点に射影することができる。従って、図32に示す仮想空間上の二次元バーコードBCiの四隅の位置座標から正立方体を作成することができるので、その正立方体に肖像画P11、船の絵画P21、山の絵画P31などの仮想画像などを合成することができる。
【0176】
続いて、仮想画像立体合成装置200の位置認識手段50の焦点補正時の動作例について説明をする。図35に示す通常のCCD撮像装置25には図示しないインタフェース42を介して画像処理部44が接続され、基準面設定用の二次元バーコードBCiの画像が取り込まれ、そこで所定の画像処理がなされる。
【0177】
また、図35に示す二次元バーコードBCiによる基準面を注視する観察者30の眼球運動が注視点検出カメラ4によって撮像され、その観察者30の注視点pが検出される。この注視点検出カメラ4には図示しないインタフェース42を介して制御手段としてのCPU45が接続され、この注視点検出カメラ4から得られたカメラ出力信号S3に基づいての焦点距離が調整される。例えば、CPU45は、CCD撮像装置25にズーム制御信号S0を出力して、観察者30の眼球運動から認識された瞳孔の動きに基づく二次元バーコードBCiとCCD撮像装置25との間の焦点距離を補正するようになされる。
【0178】
ここで、観察者30の眼球表面から注視点pに至る離隔距離をSeとし、CCD撮像装置25のレンズ表面から注視点pに至る焦点距離をScとし、観察者30の眼球表面とのレンズ表面との間のオフセット距離をSoffとすると、その注視点pに至る離隔距離Seが焦点距離Sc+Soffよりも多い場合には、CPU45がその焦点距離Scを長くするようにCCD撮像装置25の光学系を調整する。反対に、注視点pに至る離隔距離Seが焦点距離Sc+Soffよりも少ない場合には、CPU45はその焦点距離Scを短くするようにCCD撮像装置25の光学系を調整するようになされる。
【0179】
次に、本発明の位置認識方法に関して仮想画像立体合成装置200の動作を説明する。図36は仮想画像立体合成装置200の動作例を示すメインルーチンのフローチャートである。図37は仮想画像立体合成装置200を応用したバーチャル美術館の構成例を示すイメージ図である。なお、仮想画像立体合成装置200の動作説明に当たって、第1の実施形態で説明した図24〜図27のサブルーチンを使用することにする。
【0180】
この例では、ほぼ平坦な壁面1の所望位置に基準面設定用の8個の二次元バーコードBCi(i=1〜8)を予め定められた配置ピッチ(間隔)で配置し、その8個の二次元バーコードBCiを撮像して画像処理系に認識させた後に、第1の基準面上で仮想画像の合成処理をし、その後、8個の二次元バーコードBCiの中の1つに目標を設定してその目標に撮像系を近づけ、上述の第1の基準面を越えたときに、その二次元バーコードBCiを拡大して撮像し、この拡大撮像に基づいて第2の基準面上で仮想画像の合成処理をする場合を想定する。
【0181】
この位置認識原理を応用して8個の二次元バーコードBC1〜BC8の各々の仮想空間上で肖像画P11、船の絵画P21、山の絵画P31・・・・その他の絵画P8などの8枚の画像を表示する。図37ではその第1の基準面を含む仮想空間上に、二次元バーコードBC1を中心に肖像画P11が、二次元バーコードBC2を中心に船の絵画P21が、二次元バーコードBC3を中心に山の絵画P31があたかも存在するようになされる。
【0182】
その後、この3枚のうちの1枚の映像に観察者30が目標を設定して壁面方向に近づくと、第1の基準面を越えた時点でその絵画映像が下位階層の映像に切り換えて特殊グラストロン20に表示するような場合を想定する。もちろん、観察者30は図33に示した特殊グラストロン20を頭部に装着する。
【0183】
これらを前提にして、図36に示すフローチャートのステップG1で壁面1に取付けられた二次元バーコードBCiを撮像して被注視領域を画定する。例えば、図24に示したサブルーチンをコールしてそのフローチャートのステップC1で、まず、CCD撮像装置25が最大望遠状態になされる。CCD撮像装置25では各二次元バーコードBC1〜BC8の白黒のコード領域部52まで識別することができず、画像処理系では8個の二次元バーコードBC1〜BC8が予め定めらた位置に配置されていると認識される。従って、二次元バーコードBC1〜BC8が壁面1に存在していることを画像処理系によって認識させることができる。
【0184】
つまり、ステップC2に移行して、その壁面1に配置された8個の二次元バーコードBC1〜BC8が全部、CCD撮像装置25の撮像範囲に収まったか否かが画像処理系で判別される。この際の判別ではパターン認識などを利用して行ってもよい。その8個の二次元バーコードBC1〜BC8が撮像範囲に収まらない場合には、ステップC3に移行してCCD撮像装置25の焦点調整機構がパーン(螺旋回転)された後に、ステップC4に移行して8個の二次元バーコードBC1〜BC8が画像処理系で認識処理される。
【0185】
この際に、画像処理装置3では、RAM47から読み出された8個の二次元バーコードBC1〜BC8のコード認識情報や、配置情報を参照しながら、CCD撮像装置25で撮像された実際の8個の二次元バーコードBC1〜BC8の配置情報が演算される。その後、ステップC2に戻って、その壁面1に配置された8個の二次元バーコードBC1〜BC8が全部撮像範囲に収まったか否かが再度、画像処理系で判別される。その後、図36に示すメインルーチンのステップG1に戻り、ステップG2に移行して、画像処理装置3では、RAM47から読み出された8個の二次元バーコードBC1〜BC8の配置距離情報を参照しながら、通常のCCD撮像装置25で撮像された実際の8個の二次元バーコードBC1〜BC8の位置情報が演算される。
【0186】
その後、ステップG3では第1の基準面が認識され、特殊グラストロン20の表示手段24には仮想壁面1’が表示される。そして、ステップG4に移行して仮想壁面1’に肖像画P11、船の絵画P21、山の絵画P31・・・・その他の絵画P8などの8枚の画像が合成される。このとき、観察者30が装着した特殊グラストロン20では、LCD26により実空間の外界像である壁面1と、肖像画P11、船の絵画P21、山の絵画P31などの画像とを合成したステレオ画像の一方が観察者30の右の眼球に導くようになされる。LCD27により、実空間の壁面1と、肖像画P11、船の絵画P21、山の絵画P31などの画像とを合成したステレオ画像の他方が観察者30の左の眼球に導くようになされる。
【0187】
従って、実空間上の壁面1には、肖像画P11、船の絵画P21、山の絵画P31などが出現していない(図4参照)のに、図37に示す仮想壁面1’には肖像画P11、船の絵画P21、山の絵画P31などを出現させることができる。これにより、観察者30の属する実空間上の背景画像と、仮想空間上に出現した肖像画P11、船の絵画P21、山の絵画P31などの画像が頭の中で合成されるので、実空間上の壁面1の属する二次元バーコードBCiの位置に、あたかも、肖像画P11、船の絵画P21、山の絵画P31などが存在するようにできる。
【0188】
この一連の撮像処理及び画像処理と並行して、ステップG12では観察者30の眼球運動が撮像されると共に、ステップG13で少なくとも、CCD撮像装置25の焦点距離の補正がなされる。もちろん、通常のCCD撮像装置25の焦点距離を補正するようにしてもよい。例えば、図25に示したサブルーチンをコールしてそのフローチャートのステップD1で、観察者30の注視点pが図11Aに示した歯抜けのフィルムCCD4R、4Lなどの注視点検出用のカメラ4で検出される。
【0189】
その後、ステップD2で観察者30の眼球表面から注視点pに至る離隔距離Seと、その観察者30が注視した二次元バーコードBCiとCCD撮像装置25との間の焦点距離Sc+SoffとがCPU45よって比較される。ここで、注視点pに至る離隔距離Seとの焦点距離Sc+Soffとが一致している場合には、光学系の調整は不要なので、ステップD8に移行して、観察者30の眼球運動の監視を継続する。この注視点pに至る離隔距離Seとの焦点距離Sc+Soffとが不一致の場合には、ステップD3に移行する。
【0190】
このステップD3では、注視点pに至る離隔距離Seがの焦点距離Sc+Soffよりも多い(A)か、少ない(B)かが判定される。例えば、注視点pに至る離隔距離SeがCCD撮像装置25の焦点距離Sc+Soffよりも多い場合には、ステップD4に移行してCPU45によってその焦点距離Scを増加するようにCCD撮像装置25の絞りやレンズなどの光学系が調整される。
【0191】
この調整結果で、ステップD5で離隔距離Seと焦点距離Sc+Soffとが一致した場合には、ステップD8に移行し、一致しない場合はステップD4に戻って調整を継続する。反対に、観察者30の眼球表面から注視点pに至る離隔距離Seが焦点距離Sc+Soffよりも少ない場合には、ステップD6に移行してCPU45により、その焦点距離Scを減少するようにCCD撮像装置25の光学系が調整される。その調整結果で、ステップD7で離隔距離Seと焦点距離Sc+Soffとが一致した場合には、ステップD8に移行し、一致しない場合はステップD6に戻って調整を継続する。これにより、観察者30が注視した二次元バーコードBCiとCCD撮像装置25の光学系との間の焦点距離Sc+Soffを自動補正することができる。
【0192】
そして、メインルーチンのステップG5で8個の二次元バーコードBC1〜BC8のうちどの二次元バーコードBCiに目標が設定されたかが、図25のサブルーチンのステップD1から観察者30の注視点pの情報に基づいて検出される。この際に、いずれかの二次元バーコードBCiに注視された場合にはステップG6に移行する。反対に、いずれの二次元バーコードBCiも注視されない場合にはステップG14に移行する。
【0193】
従って、いずれかの二次元バーコードBCiに目標が設定されたときは、その目標に向かって観察者30が壁面1の方向へ近づいて行く間中、ステップG6で撮像系と目標との間の距離情報Sxが算出される。この際の距離情報Sxに関しては、(4)式により算出される。もちろん、第1の基準面には肖像画P11、船の絵画P21、山の絵画P31などの画像が表示されている。
【0194】
そして、ステップG7で観察者30が仮想壁面1’に到達したか否かが検出される。観察者30が仮想壁面1’に到達していない場合にはステップG6に戻って撮像系と目標との間の距離情報Sxの算出が継続される。ここで、観察者30が図22Aに示した仮想壁面1’の直前位置SP3に立ったような場合には距離情報Sx=S0=S3が画像処理装置3によって検出される。この位置は肖像画P11から人体内部構造の画像P12に表示を切り替える位置である。従って、一歩でも仮想壁面1’内へ踏み込むと、特殊グラストロン20の表示手段24の映像が切り替わるようになされる。
【0195】
例えば、ステップG8に移行して被注視領域内で目標となされた二次元バーコードBCiを拡大して撮像する。そして、二次元バーコードBC1の白黒のコード領域部52が全部、CCD撮像装置25の撮像範囲に収まった場合には、例えば、図26のサブルーチンをコールしてそのフローチャートのステップE1で二次元バーコードBC1に白黒のコード領域部52が存在するか否かが検出される。このとき、観察者30が注目した二次元バーコードBCiにステップE2でズームアップされる。
【0196】
この際に、画像処理装置3では、RAM47から読み出された二次元バーコードBCiの位置情報及び距離情報Lx,Lyを参照しながら、CCD撮像装置25で撮像された実際の二次元バーコードBCiの位置情報及び距離情報Lx,Lyが演算される。そして、実際に撮像された二次元バーコードBCiの位置及び距離情報Lx,LyがRAM47による二次元バーコードBCiの位置情報及び距離情報Lx,Lyにより一層近づくように、CCD撮像装置25の焦点光学系が自動調整される。
【0197】
その後、ステップE1に戻る。従って、ステップE1で観察者30が注目した二次元バーコードBCiに白黒のコード領域部52が存在することが認識されると、ステップE3に移行して画像処理系では位置認識処理がなされる。この処理については、図35で説明した通りである。
【0198】
そして、ステップE4に移行して壁面1が認識できたか否かが判別される。この壁面1が認識できた場合には、この位置認識処理を終了して図36のメインルーチンのステップG8にリターンする。この壁面1が認識できない場合には、ステップE5に移行してその二次元バーコードBCiの四隅の4つの点間の距離情報Lx、Lyが、図34に示したRAM47から読み出された距離情報(基準値)Lx、Lyよりも小さいかが検出される。RAM47による距離情報Lx、Lyよりも演算された距離情報Lx、Lyが小さい場合には、ステップE6に移行してズームアップされる。その後、ステップE3に戻って位置認識処理が行われる。
【0199】
また、ステップE5でRAM47による二次元バーコードBCiの距離情報Lx、Lyよりも演算された二次元バーコードBCiの距離情報Lx、Lyが大きい場合には、ステップE7に移行して再度、二次元バーコードBCiの四隅の4つの点間の距離情報Lx、LyがRAM47に格納された距離情報(基準値)Lx、Lyよりも大きいかが検出される。RAM47による距離情報Lx、Lyよりも演算された距離情報Lx、Lyが大きい場合には、ステップE8に移行してズームダウンされる。
【0200】
そして、ステップE8でズームダウンした後、及び、ステップE7でRAM47による距離情報Lx、Lyよりも演算された距離情報Lx、Lyが大きくない場合には、ステップE3に戻って位置認識処理が行われる。その後、ステップE4に移行して壁面1が認識できたか否かが判別される。
【0201】
以上の処理を繰り返すことで、観察者30が注視した特定の二次元バーコードBCiを、再現性よく画像処理系に認識させることができる。従って、画像処理系で壁面1が認識されると、この位置認識処理を終了して図36のメインルーチンのステップG8にリターンする。
【0202】
そして、図36のフローチャートのステップG9に移行して拡大撮像された二次元バーコードBCiによる輝度信号を画像処理してその二次元バーコードBCiの位置を求める。例えば、図27のサブルーチンをコールしてそのフローチャートのステップF1でビデオキャプチャ処理を実行する。その後、ステップF2で二次元バーコードBCiの白黒のコード領域部52を認識する。
【0203】
具体的には、CCD撮像装置25で撮像された二次元バーコードBCiによる輝度信号が適当な閾値で2値化される。次に、黒ピクセルの連結領域毎にラベル付けが施される。そして、連結領域の外接四角形の大きさと縦横比を考慮して、コード領域部52が含まれている可能性の低い背景画像(領域)は除去するようになされる。その後、前処理の結果得られた連結領域の各要素に対してバーコード枠の当てはめが行われる。例えば、外接四角形の各辺から内側に向かって、黒領域を探索し、図32に示した黒枠部51の点列を得る。その後、当該二次元バーコードBCiに与えられたコード領域部52を認識する。
【0204】
上述の基準面は黒枠部51の4頂点を正方形の頂点に射影する変換行列を演算することにより得られる。ここで実空間の平面上の点(xi,yi,0)をある並進・回転運動によって移動し、それを透視変換で画像座標系に射影した点を(Xi,Yi)で示すと、両者の間には第1の実施形態で説明した(1)式と同様な関係がある。
【0205】
従って、これらのパラメータは実空間の既知の点の位置座標(x1,y1)、(x2,y2)、(x3,y3)、(x4,y4)と、それらに対応する4組の画像処理系の位置座標(X1,Y1)、(Y2,Y2)、(X3,Y3)、(X4,Y4)が存在すれば、先に説明した(2)式の方程式を解くことにより得られる。
【0206】
ここで得られた位置座標(x1,y1)、(x2,y2)、(x3,y3)、(x4,y4)に関して、一辺の長さを「1」とする正方形の4頂点とすると、この4頂点を結ぶことにより基準面が求められる(壁面の認識原理)。そして、ステップF3で画像処理部44では上述の(3)式に基づいて演算処理が行われ、CCD撮像装置25と基準面との位置関係が検出される。
【0207】
なお、画面上の黒枠部51はCCD撮像装置25の姿勢や、透視投影によって歪んでいるが、外部パラメータ及び内部パラメータによって、画面上の矩形頂点を正方形の各頂点に射影することができる。その後、図36のメインルーチンのステップG9にリターンし、ステップG10に移行して壁面1の特定位置である二次元バーコードBCiに第2の基準面が設定される。その後、ステップG11に移行して仮想空間の二次元バーコードBCiの第2の基準面上に肖像画P11の下位階層である人体内部構造の画像P12が特殊グラストロン20に表示される。
【0208】
例えば、特殊グラストロン20では、LCD26により実空間の外界像である壁面1と、肖像画P11の下位階層である人体内部構造の画像P12とを合成したステレオ画像の一方が観察者30の右の眼球に導くようになされる。LCD27により、実空間の壁面1と、その下位階層である人体内部構造の画像P12とを合成したステレオ画像の他方が観察者30の左の眼球に導くようになされる。
【0209】
従って、実空間上の壁面1には、人体内部構造の画像P12が出現していない(図31参照)のに、図37に示す仮想空間の二次元バーコードBCiによる第2の基準面上には図29Aに示した人体内部構造の画像P12を出現させることができる。これにより、観察者30の属する実空間上の背景画像と、仮想空間上に出現した人体内部構造の画像P12が頭の中で合成されるので、実空間上の壁面1の属する二次元バーコードBCiの位置に、あたかも、人体内部構造の画像P12が存在するようにできる。
【0210】
この例では、上述の壁面1の認識原理を応用することにより、第1の実施形態と同様にして観察者30が例えば図37に示す左側の肖像画P11に注視すると、注視点検出用のカメラ4からCPU45へ「肖像画に注視している」旨のカメラ出力信号S3が出力されるので、画像処理装置3では、その肖像画P11に目標が設定されたことを判断できる。
【0211】
また、右眼表示用のLCD26及び左表示用のLCD27に人体内部構造の画像P12及び肖像画P11を拡大して表示した場合には、先に述べた操作部9を操作すると、指示信号S5がCPU45に出力され、観察者30が注視した肖像画P11などを所定の大きさに戻した表示がなされる。そして、図36に示したフローチャートのステップG14の「終了する」に対して「NO」でステップG1に戻ってその仮想画像合成表示処理を継続し、「YES」でその仮想画像合成表示処理を終了する。
【0212】
このように、第2の実施形態としての仮想画像立体合成装置200によれば、上述の位置認識装置10及び位置認識方法が応用されるので、壁面1の特定位置の二次元バーコードBCi及びその二次元バーコードBCiから離れた任意の位置を簡易にかつ少ない計算量で、しかも、ベストフォーカスで精度良く画像処理系などに認識させることができる。
【0213】
従って、壁面1の特定位置の二次元バーコードBCiから離れた任意の位置に第1の基準面を設定し、又は、その二次元バーコードBCiに第2の基準面を設定することができるので、その第1の基準面を取り込んだ仮想壁面1’上で仮想体の画像を合成するような仮想画像立体合成処理を行うこと、及び、その第2の基準面を取り込んだ壁面1上で仮想体の画像を合成するような仮想画像立体合成処理を行うことができる。
【0214】
これにより、実際の壁面1には実物の絵画などが存在しない場合であっても、仮想壁面1’には肖像画P11、船の絵画P21、山の絵画P31などが出現し、しかも、その絵画の1つに目標を設定してその絵画の中に踏み込んだときに、その絵画の下位階層の画像が表示されるようなバーチャル美術館などを再現性よく構築することができる。
【0215】
また、本例のバーチャル美術館では、仮想空間上で、図37に示した肖像画P11、船の絵画P21及び山の絵画P31の3枚の画像のうち、観察者30が注視した1枚の画像に通常のCCD撮像装置25の焦点を合わせ込むとができるので、その画像をズームアップして表示することができる。従って、このバーチャル美術館では実空間の壁面1に8個の二次元バーコードBCiを設け、その映像ソフトをCD−ROMなどから供給すればよく、観察者30が注視した画像を忠実に画像表示することができる。
【0216】
この実施形態では、仮想体画像に関して肖像画P11、船の絵画P21、山の絵画P31などの2Dポリゴンの場合について説明したが、これに限られることはなく、台座ポリゴンや、光、炎、あるいは、氷の3Dポリゴンであっても、更に、鎧のような3Dポリゴンであってもよい。
【0217】
更に、本実施形態では仮想壁面1’上に8個の絵画を表示する場合ついて説明したが、これに限られることはなく、その仮想壁面1’上で1枚の海の絵画などを表示し、その海の映像(仮想壁面1’)に足を踏み入れたときに、魚や海藻が揺れ動く海中の映像に切り換えるようにしてもよい。
【0218】
【発明の効果】
以上説明したように、本発明に係る位置認識装置によれば、流し撮り用の撮像手段により撮像された光源ブロックによる輝度信号を画像処理して該光源ブロックの位置情報を求める演算手段を備え、この演算手段は、流し撮り用の撮像手段により撮像された光源の点滅パターンに基づく輝度信号を画像処理して該光源の3点の位置を求めるものである。
【0219】
この構成によって、静止物体の特定位置及びその特定位置から離れた任意の位置を簡易にかつ少ない計算量で、しかも、ベストフォーカスで精度良く画像処理系などに認識させることができる。これにより、静止物体の特定位置及びその特定位置から離れた任意の位置に基準面を設定し、その基準面を取り込んだ仮想空間上で仮想体の画像を合成するような仮想画像立体合成装置などに当該位置認識装置を十分に応用することができる。
【0220】
本発明に係る位置認識方法によれば、静止物体の所望位置に取付けられた光源ブロックの任意の一つに目標を設定し、その目標に撮像系を近づけたときに、被注視領域内で目標とされた光源ブロック内の光源の点滅パターンを所定の撮像方向に流すように撮像し、光源の点滅パターンの輝度信号を画像処理して光源の3点の位置を求め、その後、3点の光源の位置を結んで基準面を求めるようにしたものである。
【0221】
この構成によって、静止物体の特定位置及びその特定位置から離れた任意の位置を簡易にかつ少ない計算量で、しかも、ベストフォーカスで精度良く画像処理系などに認識させることができる。これにより、その基準面を取り込んだ仮想空間上で仮想体の画像を合成するような仮想画像立体合成処理などに当該位置認識方法を十分に応用することができる。
【0222】
本発明の仮想画像立体合成装置によれば、上述の位置認識装置及び位置認識方法が応用されるので、静止物体の特定位置及びその特定位置から離れた任意の位置を簡易にかつ少ない計算量で、しかも、ベストフォーカスで精度良く画像処理系などに認識させることができる。
【0223】
この構成によって、静止物体の特定位置及びその特定位置から離れた任意の位置に基準面を設定することができるので、その基準面を取り込んだ仮想空間上で仮想体の画像を合成するような仮想画像立体合成処理を行うことができる。
【0224】
この発明は、仮想空間上の基準面などに複数の仮想体を出現させ、しかも、その仮想体の1つに目標を設定してその仮想体内に踏み込んだときに、その仮想体の内部の構造などが表示されるようなバーチャル美術館などの画像処理システムに適用して極めて好適である。
【図面の簡単な説明】
【図1】実施形態としての位置認識装置10の構成例を示す斜視図である。
【図2】位置認識装置10による処理例を示すフローチャートである。
【図3】位置認識装置10及び位置認識方法を応用した第1の実施形態としての仮想画像立体合成装置100の構成例を示す斜視図である。
【図4】その位置認識手段5の一部を構成する光源ブロックBL1〜BL8の配置例を示すイメージ図である。
【図5】その基準面設定用の光源ブロックBLiの構成例を示す斜視図である。
【図6】そのブロック認識情報のデータフォーマット例を示す図である。
【図7】その光源ブロックBLi内の点滅制御回路13の内部構成例を示す回路図である。
【図8】4つの発光ダイオードLED1〜LED4の電圧供給例を示す波形図である。
【図9】仮想画像立体合成装置100の特殊グラストロン2の構成例を示す正面から見た概念図である。
【図10】特殊グラストロン2の内部構成例を示す一部破砕の上面から見た概念図である。
【図11】そのフィルムCCD4R、4Lの構成例を示す上面から見た概念図である。
【図12】その特殊グラストロン2の装着時の注視点pの位置関係例を示す概念図である。
【図13】その特殊グラストロン2の流し撮りCCD装置23の内部構成例を示す平面図である。
【図14】その流し撮りCCD装置23の光学系の構成例を示す断面図である。
【図15】仮想画像立体合成装置100の回路ブロック例を示す図である。
【図16】その位置認識手段5の構成例を示すブロック図である。
【図17】その光源ブロックBL1〜BL8の通常画像例を示すイメージ図である。
【図18】その拡大撮像時の1つの光源ブロックBL1の通常画像例を示すイメージ図である。
【図19】その光源ブロックBL1の基準面の位置座標の算出例を示す模式図である。
【図20】壁面1、仮想壁面1’及び撮像系との位置関係例を示す上面図である。
【図21】Aは、観察者30が仮想壁面1’から遠くに離れた位置関係例、及び、Bは観察者30が仮想壁面に近づいた位置関係例(その1)を示す側面図である。
【図22】Aは、観察者30が仮想壁面1’の前に立った位置関係例及びBはその仮想壁面1’に踏み込んだ位置関係例(その2)を示す側面図である。
【図23】仮想画像立体合成装置100の動作例を示すフローチャート(メインルーチン)である。
【図24】その通常のCCD撮像装置25の最大望遠時の動作例を示すフローチャート(サブルーチン)である。
【図25】その流し撮りCCD装置23の焦点距離の補正例を示すフローチャート(サブルーチン)である。
【図26】その壁面1の光源ブロックBLiの拡大撮像例を示すフローチャート(サブルーチン)である。
【図27】その発光ダイオードLED1〜LED4の位置算出例を示すフローチャート(サブルーチン)である。
【図28】その位置認識原理を応用したバーチャル美術館の構成例を示すイメージ図である。
【図29】Aは人物の絵画の下位階層としての人体内部構造の画像P12の一例、及び、Bは船の絵画の下位階層としての操舵室の画像P22の一例を示すイメージ図である。
【図30】位置認識装置10及び位置認識方法を応用した第2の実施形態としての仮想画像立体合成装置200の構成例を示す斜視図である。
【図31】その位置認識手段50の一部を構成する二次元バーコードBC1〜BC8の配置例を示すイメージ図である。
【図32】その1つの二次元バーコードBCiの構成例を示す斜視図である。
【図33】仮想画像立体合成装置200の特殊グラストロン20の構成例を示す正面から見た概念図である。
【図34】仮想画像立体合成装置200の回路ブロック例を示す図である。
【図35】その位置認識手段50の構成例を示すブロック図である。
【図36】仮想画像立体合成装置200の動作例を示すのフローチャートである。
【図37】その位置認識原理を応用したバーチャル美術館の構成例を示すイメージ図である。
【符号の説明】
1・・・壁面、1’・・・仮想壁面(第1の基準面)、2,20・・・特殊グラストロン、3・・・画像処理装置、4・・・注視点検出用のカメラ(注視点検出用の撮像手段)、5・・・位置認識手段(位置認識装置)、6・・・撮像手段、7・・・演算手段、8・・・記憶手段、10・・・位置認識装置、11・・・プレート部(第2の基準面)、13・・・点滅制御回路、23・・・流し撮りCCD装置(流し撮り用の撮像手段)、24・・・表示手段、25・・・CCD撮像装置(領域抽出用の撮像手段)、26・・・右眼表示用のLCD、27・・・左眼表示用のLCD、32・・・垂直転送部(電荷転送部)、33・・・水平転送部、BLi(i=1〜8)・・・光源ブロック、LED1〜LED4・・・発光ダイオード(光源)、BCi(i=1〜8)・・・二次元バーコード、100,200・・・仮想画像立体合成装置
Claims (14)
- 任意の静止物体の特定位置を認識する装置であって、
少なくとも、前記静止物体の所望位置に取付けられて、予め点滅パターンが異なるように点滅する3点以上の光源を有した複数の光源ブロックと、
前記光源ブロック内の光源の点滅パターンを所定の撮像方向に流すように撮像する流し撮り用の撮像手段と、
前記撮像手段により撮像された前記光源ブロックによる輝度信号を画像処理して該光源ブロックの位置情報を求める演算手段とを備え、
前記演算手段は、
前記撮像手段により撮像された前記光源の点滅パターンに基づく輝度信号を画像処理して該光源の3点の位置を求めるようになされたことを特徴とする位置認識装置。 - 前記光源ブロックの位置情報を記憶する記憶手段が設けられ、
前記位置情報には、
前記光源ブロックの固体番号を識別するためのブロック識別情報及び前記光源ブロック間の配置距離情報を含むことを特徴とする請求項1に記載の位置認識装置。 - 前記光源ブロック及び流し撮り用の撮像手段が設けられる場合であって、
前記光源ブロックの1つを注視する観察者の眼球運動を撮像して該観察者の注視点を検出する注視点検出用の撮像手段と、
前記注視点検出用の撮像手段の出力に基づいて前記流し撮り用の撮像手段の光学系を調整する制御手段とが設けられ、
前記制御手段は、
前記観察者の眼球運動から認識された瞳孔の動きに基づいて該観察者の注視点と前記流し撮り用の撮像手段の焦点との間の距離差を補正することを特徴とする請求項1に記載の位置認識装置。 - 任意の静止物体の特定位置を認識する方法であって、
少なくとも、前記静止物体の所望位置に予め点滅パターンが異なるように点滅する3点以上の光源を設けた光源ブロックを作成し、
その後、前記光源ブロックを前記静止物体の所望位置に3点以上を取付けて当該光源ブロックの位置情報を求める際に、
第1段階で前記静止物体に取付けられた光源ブロックを撮像して被注視領域を画定し、
第2段階で前記光源ブロックの任意の一つに目標を設定して撮像系を近づけたときに、
前記被注視領域内で目標とされた光源ブロック内の光源の点滅パターンを所定の撮像方向に流すように撮像し、
前記光源の点滅パターンの輝度信号を画像処理して前記光源の3点の位置を求め、その後、前記3点の光源の位置を結んで基準面を求めることを特徴とする位置認識方法。 - 前記光源ブロックの位置情報には、
前記光源ブロックの固体番号を識別するためのブロック識別情報及び前記光源ブロック間の配置距離情報を含むことを特徴とする請求項4に記載の位置認識方法。 - 前記第2段階の被注視領域内で光源ブロックの任意の1つに目標を設定して撮像系を近づける場合であって、
前記被注視領域内で目標とされた光源ブロックを第1の撮像系で撮像すると共に、前記光源ブロック内の光源の点滅パターンを所定の撮像方向に流すように第2の撮像系によって撮像し、かつ、
前記光源ブロックを注視する観察者の眼球運動を第3の撮像系によって撮像し、
前記観察者の眼球運動から認識された瞳孔の動きに基づいてその観察者が注視した光源ブロックの位置と第2の撮像系の焦点との間の距離差を補正し、
前記距離差を補正された前記第2の撮像系によって撮像された点滅パターンの輝度信号を画像処理して前記光源の3点の位置を求め、その後、前記3点の光源の位置を結んで基準面を求めることを特徴とする請求項4に記載の位置認識方法。 - 観察者の属する外界像に仮想体の画像を立体的に合成する装置であって、
前記観察者の属する実空間上の任意の静止物体の特定位置及び該特定位置から任意に離れた位置で基準面を認識する位置認識手段と、
前記位置認識手段により認識された仮想空間の基準面上で仮想体の画像を合成する合成手段とを備え、
前記位置認識手段は、
少なくとも、前記静止物体の所望位置に取付けられて、予め点滅パターンが異なるように点滅する3点以上の光源を有した複数の光源ブロックと、
前記光源ブロック内の光源の点滅パターンを所定の撮像方向に流すように撮像する流し撮り用の撮像手段と、
前記撮像手段により撮像された前記光源ブロックによる輝度信号を画像処理して該光源ブロックの位置情報を求める演算手段とを有し、
前記演算手段は、
前記撮像手段により撮像された前記光源の点滅パターンに基づく輝度信号を画像処理して該光源の3点の位置を求めるようになされたことを特徴とする仮想画像立体合成装置。 - 前記光源ブロックの位置情報を記憶する記憶手段が設けられ、
前記位置情報には、
前記光源ブロックの固体番号を識別するためのブロック識別情報及び前記光源ブロック間の配置距離情報を含む請求項7に記載の仮想画像立体合成装置。 - 前記仮想空間の基準面上で仮想体の画像を合成する合成手段が設けられる場合であって、
予め前記静止物体の特定位置から任意に離れた位置に第1の基準面が設定されると共に、前記静止物体の特定位置に第2の基準面が設定され、
前記合成手段は、
観察者が前記第1の基準面よりも遠くの位置で被認識マークを注視するときは、予め準備された仮想体の画像を前記第1の基準面上で合成し、
観察者が前記第1の基準面内に踏み込んだときは、
前記仮想体の画像の下位階層の画像を前記第2の基準面上で合成するようになされた請求項7に記載の仮想画像立体合成装置。 - 前記光源ブロック及び流し撮り用の撮像手段が設けられる場合であって、
前記光源ブロックの1つを注視する観察者の眼球運動を撮像して該観察者の注視点を検出する注視点検出用の撮像手段と、
前記注視点検出用の撮像手段の出力に基づいて前記流し撮り用の撮像手段の光学系を調整する制御手段とが設けられ、
前記制御手段は、
前記観察者の眼球運動から認識された瞳孔の動きに基づいて該観察者の注視点と前記流し撮り用の撮像手段の焦点との間の距離差を補正することを特徴とする請求項7に記載の仮想画像立体合成装置。 - 前記流し撮り用の撮像手段には、
各画素を構成する複数の光電変換素子を有した二次元撮像デバイスが使用され、
前記光電変換素子から得られた信号電荷を所定の方向に転送するときに、
少なくとも、同一フィールド期間中に複数回、前記光電変換素子から前記信号電荷を読み出すようになされたことを特徴とする請求項7に記載の仮想画像立体合成装置。 - 前記流し撮り用の撮像手段及び演算手段が設けられる場合であって、
前記演算手段は、
前記撮像手段による輝度信号の点滅パターンに関して、3つの輝点を含むXY平面を成す空間的な配置パターンに変換し、
前記配置パターン上を走査して、少なくとも、3つの輝点の位置座標を求め、
前記3点の位置座標を結ぶことにより前記基準面を認識するようになされたことを特徴とする請求項7に記載の仮想画像立体合成装置。 - 前記演算手段は、
3つの輝点を含むXY平面を成す配置パターン上で流し撮像方向をY軸とし、該Y軸に直交する軸をX軸としたときに、
前記流し撮像方向に輝度信号値を加算してX軸上にプロットし、
前記X軸上にプロットされた輝度信号値が最大となる位置を検出して3つのX座標値を求め、かつ、
前記配置パターン上でY軸方向に走査したときに、
前記流し撮像方向に並んだ複数の輝点のうち、最初に発光した輝点位置を各々X座標値に対応したY座標値として求めることを特徴とする請求項12に記載の仮想画像立体合成装置。 - 前記合成手段及び注視点検出用の撮像手段が設けられる場合であって、
前記合成手段は、
観察者の属する外界像を撮像する撮像手段と、
前記撮像手段による外界像と予め準備された仮想体の画像と合成したステレオ画像の一方を表示する第1の画像表示素子と、
前記ステレオ画像の他方を表示する第2の画像表示素子とを有し、
前記注視点検出用の撮像手段が、前記観察者の眼球に相対する位置であって前記第1及び第2の画像表示素子の表示面内に分散して配置されることを特徴とする請求項7に記載の仮想画像立体合成装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP03191899A JP4281139B2 (ja) | 1999-02-09 | 1999-02-09 | 位置認識装置、位置認識方法及び仮想画像立体合成装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP03191899A JP4281139B2 (ja) | 1999-02-09 | 1999-02-09 | 位置認識装置、位置認識方法及び仮想画像立体合成装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2000230806A JP2000230806A (ja) | 2000-08-22 |
JP4281139B2 true JP4281139B2 (ja) | 2009-06-17 |
Family
ID=12344367
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP03191899A Expired - Fee Related JP4281139B2 (ja) | 1999-02-09 | 1999-02-09 | 位置認識装置、位置認識方法及び仮想画像立体合成装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4281139B2 (ja) |
Families Citing this family (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4282216B2 (ja) * | 2000-09-19 | 2009-06-17 | オリンパス株式会社 | 3次元位置姿勢センシング装置 |
CN100461212C (zh) | 2004-06-04 | 2009-02-11 | 松下电器产业株式会社 | 显示控制方法及装置以及便携设备 |
JP4922033B2 (ja) * | 2007-03-26 | 2012-04-25 | タツモ株式会社 | 位置検出装置 |
JP4793459B2 (ja) * | 2009-03-02 | 2011-10-12 | カシオ計算機株式会社 | シンボル読取装置、及びプログラム |
JP5681850B2 (ja) * | 2010-03-09 | 2015-03-11 | レノボ・イノベーションズ・リミテッド(香港) | ヘッドマウントディスプレイを外部表示装置として使用する携帯端末 |
JP5684178B2 (ja) * | 2012-03-23 | 2015-03-11 | ビッグローブ株式会社 | 情報処理システム |
KR101496051B1 (ko) | 2013-11-28 | 2015-02-25 | 세메스 주식회사 | 다이 본딩 위치 표시 방법 |
JP6394107B2 (ja) * | 2014-06-23 | 2018-09-26 | 富士通株式会社 | キャリブレーション装置、キャリブレーション方法、表示制御装置および表示制御方法 |
US10539509B2 (en) | 2015-08-21 | 2020-01-21 | Ns Solutions Corporation | Display system, display device, display method, and non-transitory computer readable recording medium |
CN111161232B (zh) * | 2019-12-24 | 2023-11-14 | 贵州航天计量测试技术研究所 | 一种基于图像处理的元器件表面定位方法 |
CN111207735B (zh) * | 2020-01-17 | 2023-03-28 | 中国航空工业集团公司北京长城航空测控技术研究所 | 一种用于动平台的强光干扰下高精度位姿测量方法 |
CN111563930B (zh) * | 2020-04-29 | 2023-07-07 | 达闼机器人股份有限公司 | 定位方法、装置、介质、电子设备及辅助定位模块 |
CN116946610B (zh) * | 2023-09-21 | 2023-12-12 | 中科源码(成都)服务机器人研究院有限公司 | 一种智能仓储***货物拾取方法及装置 |
-
1999
- 1999-02-09 JP JP03191899A patent/JP4281139B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2000230806A (ja) | 2000-08-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2017108387A (ja) | パノラマ魚眼カメラの画像較正、スティッチ、および深さ再構成方法、ならびにそのシステム | |
US20160295108A1 (en) | System and method for panoramic imaging | |
JP2017112602A (ja) | パノラマ魚眼カメラの画像較正、スティッチ、および深さ再構成方法、ならびにそのシステム | |
JP4281139B2 (ja) | 位置認識装置、位置認識方法及び仮想画像立体合成装置 | |
JP2020516090A (ja) | ヘッドマウントディスプレイのための光照射野キャプチャおよびレンダリング | |
US10048577B2 (en) | Imaging apparatus having two imaging units for displaying synthesized image data | |
JP2004514951A (ja) | 球面立体視撮影システム及びその方法 | |
US20120127203A1 (en) | Mixed reality display | |
US20120127302A1 (en) | Mixed reality display | |
JP4264601B2 (ja) | 情報入力装置、情報入力方法及びゲーム装置 | |
JP2002232913A (ja) | 複眼カメラ及び立体視画像観察システム | |
TWI501193B (zh) | Computer graphics using AR technology. Image processing systems and methods | |
CN206378680U (zh) | 基于结构光多模块360度空间扫描和定位的3d相机 | |
JP2013207344A (ja) | 検出装置、撮像装置、及びプログラム | |
US20090059018A1 (en) | Navigation assisted mosaic photography | |
JP2000184398A (ja) | 仮想画像立体合成装置、仮想画像立体合成方法、ゲ―ム装置及び記録媒体 | |
CN108564654B (zh) | 三维大场景的画面进入方式 | |
JP2002354505A (ja) | 立体視システム | |
CN109084679A (zh) | 一种基于空间光调制器的3d测量及获取装置 | |
JP2000132329A (ja) | 面認識装置、面認識方法及び仮想画像立体合成装置 | |
JP2000222116A (ja) | 表示画像の位置認識方法とその位置認識装置および仮想画像立体合成装置 | |
JP6257260B2 (ja) | 撮像装置及びその制御方法 | |
JP2000221953A (ja) | 映像表示装置、映像処理方法及びこれらを応用した映像表示システム | |
US20180376130A1 (en) | Image processing apparatus, image processing method, and image processing system | |
JP2000098300A (ja) | 仮想画像立体合成装置、仮想画像立体合成方法、ゲーム装置及び記録媒体 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20051226 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20060419 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20071101 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20071106 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20071228 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20081202 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090130 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090224 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090309 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120327 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130327 Year of fee payment: 4 |
|
LAPS | Cancellation because of no payment of annual fees |