JP2006352473A

JP2006352473A - 遮蔽空間の可視化方法

Info

Publication number: JP2006352473A
Application number: JP2005175530A
Authority: JP
Inventors: Seiji Ishikawa; 聖二石川; Sunao Hashimoto; 直橋本
Original assignee: Kyushu Institute of Technology NUC
Current assignee: Kyushu Institute of Technology NUC
Priority date: 2005-06-15
Filing date: 2005-06-15
Publication date: 2006-12-28
Anticipated expiration: 2025-06-15
Also published as: JP4747296B2

Abstract

【課題】精度及び現実感が高く、処理速度の速い遮蔽空間の可視化方法を提供する。
【解決手段】遮蔽物１１によって遮蔽された場所１３にある対象物１４を、遮蔽物１１を通じて視認する遮蔽空間の可視化方法であって、対象物１４を対象物１４がある場所１３に配置されたカメラ１５で撮像し、撮像した画像から左右の目１６、１７で立体像として視認できる左画像と右画像とを合成し、合成した左画像と右画像とをそれぞれハーフミラー２０、２１を介して遮蔽物１１に重ね合わせて観察する。
【選択図】図１

Description

本発明は、遮蔽された空間を３次元モデル化し、遮蔽物を通して可視化する遮蔽空間の可視化方法に関する。

出会い頭の事故は、車や建物の陰から突然人や車が現れるために起きる。また、物の陰では悪事も発生し易い。車や建物等の遮蔽物を通して物を見ることができれば、事故や犯罪を防ぐことができる。例えば、非特許文献１には、複数方向に配置したステレオカメラから得られたステレオ画像を利用して、壁面や大きな障害物などの被写体（遮蔽物）を透過性のある物体として表示することにより、遮蔽物の背後の情景を見ることができるビデオ映像の透過性表現方法が開示されている。また、特許文献１には、透過対象（遮蔽物）に再帰性反射材を塗布し、プロジェクタからハーフミラーを介して遮蔽物に遮蔽物の背後の映像を投影して、再帰性反射材に投影される遮蔽物の背後の映像を見ることができる情報提示方法及び装置が開示されている。

特開２０００−１２２１７６号公報「ビデオ映像の透過性表現」、画像電子学会論文誌、２０００年９月、第２９巻、第５号、ｐ．５３７−５４４

しかしながら、非特許文献１の発明では、精度の良い３次元モデルを生成できるが、モデルを観察するため、現実感が乏しくなると共に、複数台のステレオカメラで撮影した映像を処理するため、実時間処理が困難であるという問題もあった。また、特許文献１の発明では、遮蔽物に再帰性反射材を塗布しなければならないという問題があった。更に、３次元復元が簡易であって、奥行き情報（距離感）が正しく観察できるのは、光軸と同方向から観察した場合のみであるので、ユーザ（観察者）の視点が大きく制限されるという問題もあった。

本発明はかかる事情に鑑みてなされたもので、精度及び現実感が高く、処理速度の速い遮蔽空間の可視化方法を提供することを目的とする。

前記目的に沿う本発明に係る遮蔽空間の可視化方法は、遮蔽物によって遮蔽された場所にある対象物を、前記遮蔽物を通じて視認する遮蔽空間の可視化方法であって、
前記対象物を該対象物がある場所に配置されたカメラで撮像し、撮像した画像から左右の目で立体像として視認できる左画像と右画像を合成し、該合成した左画像と右画像とをそれぞれハーフミラーを介して前記遮蔽物に重ね合わせて観察する。
本発明に係る遮蔽空間の可視化方法において、前記左画像と前記右画像を前記遮蔽物に重ね合わせて観察する観察者の位置を検知し、前記左画像及び前記右画像に表示される前記対象物の見る角度を変更することもできる。

本発明に係る遮蔽空間の可視化方法において、前記カメラは１台のビデオカメラであって、該ビデオカメラからの画像信号と、該ビデオカメラから前記対象物までの距離信号とを組み合わせて前記右画像と前記左画像を合成することもできる。
本発明に係る遮蔽空間の可視化方法において、前記ビデオカメラは広角度カメラであるのが好ましい。
本発明に係る遮蔽空間の可視化方法において、前記カメラは、複数台のビデオカメラであって、該複数台のビデオカメラの信号から前記左画像と前記右画像を合成することもできる。

請求項１〜５に記載の遮蔽空間の可視化方法においては、対象物を対象物がある場所に配置されたカメラで撮像し、撮像した画像から左右の目で立体像として視認できる左画像と右画像を合成し、合成した左画像と右画像をそれぞれハーフミラーを介して遮蔽物に重ね合わせて観察するので、遮蔽物と対象物との位置関係、特に距離を正しく復元できる。
特に、請求項２記載の遮蔽空間の可視化方法においては、左画像と右画像を遮蔽物に重ね合わせて観察する観察者の位置を検知し、左画像及び右画像に表示される対象物の見る角度を変更するので、どの方向からも観察が可能である。

請求項３記載の遮蔽空間の可視化方法においては、カメラが１台のビデオカメラであって、ビデオカメラからの画像信号と、ビデオカメラから対象物までの距離信号とを組み合わせて右画像と左画像を合成するので、１台のカメラで距離感を正しく表示することができる。
請求項４記載の遮蔽空間の可視化方法においては、ビデオカメラが広角度カメラであるので、１台のビデオカメラでも広範囲の映像を得ることができる。
請求項５記載の遮蔽空間の可視化方法においては、カメラが、複数台のビデオカメラであって、複数台のビデオカメラの信号から左画像と右画像を合成するので、距離感を正しく表示することができると共に、対象物を３次元で表現することができる。

続いて、添付した図面を参照しつつ、本発明を具体化した実施の形態につき説明し、本発明の理解に供する。
ここで、図１は本発明の一実施の形態に係る遮蔽空間の可視化方法を適用する可視化システムの説明図、図２は同遮蔽空間の可視化方法に使用されるシースルー型のヘッドマウントディスプレイの説明図、図３は同遮蔽空間の可視化方法の原理を示す説明図、図４は同遮蔽空間の可視化方法の対象物のテクスチャを表示するレイヤの位置を決定する方法を示す説明図である。

図１〜図４を参照して、本発明の一実施の形態に係る遮蔽空間の可視化方法及びそれを適用した可視化システム１０について説明する。
図１に示すように、遮蔽空間の可視化方法は、壁等の遮蔽物１１によって遮蔽されて観察者１２から見えない場所（以下、「遮蔽空間」ともいう）１３にある対象物（例えば、作業者等）１４を、遮蔽物１１を挟んで反対側にいる観察者１２が、あたかも遮蔽物１１を透過しているかのように見る方法である。すなわち、図３に示すように、観察者１２が見る現実空間（実空間）に、カメラ画像によって構築された３次元の仮想空間内の対象物１４ａを重ね合わせて透過表現を実現したものである。

図１及び図２に示すように、可視化システム１０は、遮蔽空間１３に配置され、遮蔽空間１３内を広角度で撮影可能な魚眼レンズ（図示せず）を備えた１台の広角度カメラ（ビデオカメラの一例）１５と、広角度カメラ１５で撮影した対象物１４の画像から観察者１２の左右の目１６、１７で立体像として視認できる図示しない左画像及び右画像を合成するコンピュータ１８と、観察者１２が装着するシースルー型のヘッドマウントディスプレイ１９を有している。

図２に示すように、ヘッドマウントディスプレイ１９は、左右の目１６、１７の前に実質的に４５度の角度を有してそれぞれ配置されるハーフミラー２０、２１と、左右の目１６、１７の光軸とハーフミラー２０、２１を介して直角にそれぞれ投影される左画像と右画像を映し出すディスプレイ２２、２３とを有している。ハーフミラー２０、２１は、例えば、約５０％の透過率を有し、観察者１２は、ハーフミラー２０、２１を通して直接見える現実空間にある遮蔽物１１と、ハーフミラー２０、２１を反射して見られる左画像及び右画像に表示される対象物１４ａ（すなわち、仮想空間内の映像）とを融合したミクストリアリティ（ＭｉｘｅｄＲｅａｌｉｔｙ）の映像を見ることができる。

観察者１２は、左右の目１６、１７でそれぞれ左画像及び右画像を見ることにより対象物１４の距離感が得られる。また、ヘッドマウントディスプレイ１９には、観察者１２の頭部（すなわち、視点）の３次元位置及び角度を測定する図示しない位置姿勢センサが取付けられ、観察者１２の位置及び観察者１２の向いている方向が、位置姿勢センサとコンピュータ１８によって計算され、観察者１２と広角度カメラ１５との位置関係を検知して、左画像及び右画像に表示される対象物１４ａを見る角度を変更し、左画像と右画像を遮蔽物１１に重ね合わせることにより、どの方向からも観察が可能となる。

図４を参照して、前記した仮想空間の構築方法について説明する。
まず、予め遮蔽空間１３を撮影し、遮蔽空間１３の床面に対する画像座標系から世界座標系への２次元射影変換を求める。ここで、画像座標系とは、広角度カメラ１５で撮影される画像上の位置を示し、世界座標系とは、実際の遮蔽空間１３での位置を示すものである。すなわち、画像座標系から世界座標系への２次元射影変換とは、広角度カメラ１５によって得られる画像の位置（２次元）を、遮蔽空間１３の位置（３次元）に置き換えるものである。

広角度カメラ１５で撮影された対象物１４を含む遮蔽空間１３の画像は、コンピュータ１８によって、予め撮影された遮蔽空間１３のみの画像との間で背景差分を行い、対象物１４の画像を抽出（切り出）して、ノイズを除去し、ラベリング（２値画像からラベル画像を生成する処理）により対象物１４の領域のセグメンテーション（処理の対象となる部分パターンを切り出す操作）を行う。次に、図４に示すように、ラベル付けされた各領域において重心を求め、求めた重心座標を領域の最下部まで垂直に移動させた点の座標を、対象物１４と床面との接地点の座標（ｘ_g ，ｙ_g ）とする。ここで、予め求めた２次元射影変換によって、画像上の接地点を世界座標系における位置、すなわち、対象物１４の接地点座標（Ｘ_g ，Ｙ_g ，０）を求める。

次に、世界座標系において、対象物１４の接地点から広角度カメラ１５の光軸に下ろした垂線の足（Ｘ_c ，Ｙ_c ，Ｚ_c ）を求める。光軸上の点（Ｘ_c ，Ｙ_c ，Ｚ_c ）を含み、光軸と直交する平面が対象物１４のテクスチャ（対象物の表面のパターンによって構成される画像）が表示されるレイヤとなる。これによって、広角度カメラ１５から対象物１４までの距離が算出され、観察者１２に取付けられた位置姿勢センサによって、観察者１２と広角度カメラ１５の距離及び角度が解るので、コンピュータ１８によって、広角度カメラ１５で得られた映像から左画像及び右画像をそれぞれ合成することができる。

ここで、対象物１４の接地点は、対象物１４の下端部（例えば、両足）が床から離れている（ジャンプしている）場合、実際の位置よりも奥に計算されるが、ジャンプする時間は短いため、影響は少ない。なお、対象物１４が複数人の場合には、広角度カメラ１５からの距離が異なる作業者毎にレイヤが定義される。また、複数人が奥行き方向で重なりを生じた場合には、各人の移動の連続性を考慮して解決する。最後に対象物１４のラベル画像によるマスク処理で対象物１４毎にテクスチャを作成し、それぞれのレイヤにレンダリングする。以上の処理はフレーム毎に行われる。また、広角度カメラ１５は魚眼レンズを使用しているので、魚眼レンズ特有の歪みをコンピュータ１８によって補正して、ディスプレイ２２、２３に投影している。

次に、広角度カメラ１５で撮影された遮蔽空間１３内の対象物１４と、観察者１２が遮蔽物１１を透過して見る対象物１４ａとを同じ位置となるように表示する方法について説明する。
まず、遮蔽空間１３にあるマーカーＡ〜Ｃの世界座標系における３次元位置をそれぞれＡ（Ｘ₁ ，Ｙ₁ ，Ｚ₁ ）、Ｂ（Ｘ₂ ，Ｙ₂ ，Ｚ₂ ）、びＣ（Ｘ₃ ，Ｙ₃ ，Ｚ₃ ）とし、対応するマーカーａ〜ｃの２次元座標をａ（ｘ₁ ，ｙ₁ ）、ｂ（ｘ₂ ，ｙ₂ ）、及びｃ（ｘ₃ ，ｙ₃ ）とする。Ａ〜Ｃの３次元位置は実測して求め、ａ〜ｃの２次元位置は画像処理によって求める。

ここで、任意の２次元の点をｐ（ｘ_p ，ｙ_p ）とし、これに対応する３次元位置をＰ（Ｘ_P ，Ｙ_P ，Ｚ_P ）とする。このとき全ての点は同一平面上に存在するため、どちらの座標系においてもベクトルの相関関係は変わらないので、（１）式及び（２）式が成り立つ。

ここで、ｍ及びｎは実数である。（１）式よりｍ及びｎについて、（３）式及び（４）式からなる連立方程式が成り立つ。
ｍ（ｘ₂ −ｘ₁ ）＋ｎ（ｘ₃ −ｘ₁ ）＝ｘ_p −ｘ₁ ・・・（３）
ｍ（ｙ₂ −ｙ₁ ）＋ｎ（ｙ₃ −ｙ₁ ）＝ｙ_p −ｙ₁ ・・・（４）
（３）式及び（４）式によりｍ及びｎが求められる。

また、（２）式よりＰ（Ｘ_P ，Ｙ_P ，Ｚ_P ）は、（５）式〜（７）式で与えられる。
Ｘ_P ＝ｍ（Ｘ₂ −Ｘ₁ ）＋ｎ（Ｘ₃ −Ｘ₁ ）＋Ｘ₁ ・・・（５）
Ｙ_P ＝ｍ（Ｙ₂ −Ｙ₁ ）＋ｎ（Ｙ₃ −Ｙ₁ ）＋Ｙ₁ ・・・（６）
Ｚ_P ＝ｍ（Ｚ₂ −Ｚ₁ ）＋ｎ（Ｚ₃ −Ｚ₁ ）＋Ｚ₁ ・・・（７）
（３）式〜（７）式を解いて、ディスプレイ２２、２３に投影するマーカーａ〜ｃの映像と、遮蔽空間１３にあるマーカーＡ〜Ｃとを一致して表示することができる。

次に、本発明の作用効果を確認するために行った実施例について説明する。ここで、図５は本発明の一実施例の遮蔽空間の可視化方法を適用した実験環境の説明図、図６（Ａ）は可視化した場合の実験結果を示す説明図、（Ｂ）は可視化していない場合の説明図である。

図５に示すように、本実施例の実験環境は、観察者１２の前方に、例えば、遮蔽物の一例である衝立２５が設置され、衝立２５を挟んで観察者１２と対象物（作業者）１４が配置されている。また、衝立２５の対象物１４側には、対象物１４を撮影する広角度カメラ１５が配置されている。この実施例では、観察者１２がシースルー型のヘッドマウントディスプレイ１９を装着する代わりに、観察者１２の視点位置（目の位置）に小型のＣＣＤカメラ２６を設置した。また、広角度カメラ１５及びＣＣＤカメラ２６はコンピュータ１８を介して接続されている。

広角度カメラ１５とＣＣＤカメラ２６は固定されており、その距離は一定となっている。図６（Ａ）に示すように、広角度カメラ１５で撮影した画像と、ＣＣＤカメラ２６で撮影した画像とをコンピュータ１８によって合成し、コンピュータ１８に接続された図示しないモニタに出力（表示）する。この場合には、衝立２５の背後（遮蔽空間側）に対象物１４があるように表示される。また、広角度カメラ１５からの画像を得ない場合には、図６（Ｂ）に示すように、衝立２５によって対象物１４は遮蔽され、観察者１２は遮蔽空間の対象物１４を見ることができない。

このように、１台のカメラから得られる画像を元に簡易的な３次元復元を行って仮想空間を構築し、これを現実画像と映像的に融合し透過表示を実現することが可能となった。また、衝立２５によって遮蔽された場所を移動する複数の人物が歩き回る様子を衝立２５を透過して見ることができた。なお、ＣＣＤカメラ１５の位置を変えた場合には、ＣＣＤカメラ１５の位置及びＣＣＤカメラ１５が対象物１４を観察する方向を、コンピュータ１８に入力するか、ＣＣＤカメラ１５に位置姿勢センサを取付けてコンピュータ１８で解析する必要がある。

本発明は、前記した実施の形態に限定されるものではなく、本発明の要旨を変更しない範囲での変更は可能であり、例えば、前記したそれぞれの実施の形態や変形例の一部又は全部を組み合わせて本発明の遮蔽空間の可視化方法を構成する場合も本発明の権利範囲に含まれる。
例えば、前記実施の形態の遮蔽空間の可視化方法において、カメラは、複数台のビデオカメラであって、複数台のビデオカメラの信号から左画像と右画像を合成してもよい。

本願発明の遮蔽空間の可視化方法によって、大型車両の死角や見通しの悪い交差点における事故防止、また、建物内のセキュリティなどの分野への応用が期待される。また、医療、福祉、娯楽、情報手段、及び防災等の分野へも応用が可能である。

本発明の一実施の形態に係る遮蔽空間の可視化方法を適用する可視化システムの説明図である。同遮蔽空間の可視化方法に使用されるシースルー型のヘッドマウントディスプレイの説明図である。同遮蔽空間の可視化方法の原理を示す説明図である。同遮蔽空間の可視化方法の対象物のテクスチャを表示するレイヤの位置を決定する方法を示す説明図である。本発明の一実施例の遮蔽空間の可視化方法を適用した実験環境の説明図である。（Ａ）は可視化した場合の実験結果を示す説明図、（Ｂ）は可視化していない場合の説明図である。

符号の説明

１０：可視化システム、１１：遮蔽物、１２：観察者、１３：遮蔽された場所（遮蔽空間）、１４、１４ａ：対象物、１５：広角度カメラ、１６、１７：目、１８：コンピュータ、１９：ヘッドマウントディスプレイ、２０、２１：ハーフミラー、２２、２３：ディスプレイ、２５：衝立、２６：ＣＣＤカメラ

Claims

遮蔽物によって遮蔽された場所にある対象物を、前記遮蔽物を通じて視認する遮蔽空間の可視化方法であって、
前記対象物を該対象物がある場所に配置されたカメラで撮像し、撮像した画像から左右の目で立体像として視認できる左画像と右画像を合成し、該合成した左画像と右画像とをそれぞれハーフミラーを介して前記遮蔽物に重ね合わせて観察することを特徴とする遮蔽空間の可視化方法。
請求項１記載の遮蔽空間の可視化方法において、前記左画像と前記右画像を前記遮蔽物に重ね合わせて観察する観察者の位置を検知し、前記左画像及び前記右画像に表示される前記対象物の見る角度を変更することを特徴とする遮蔽空間の可視化方法。
請求項１及び２のいずれか１項に記載の遮蔽空間の可視化方法において、前記カメラは１台のビデオカメラであって、該ビデオカメラからの画像信号と、該ビデオカメラから前記対象物までの距離信号とを組み合わせて前記右画像と前記左画像を合成することを特徴とする遮蔽空間の可視化方法。
請求項３記載の遮蔽空間の可視化方法において、前記ビデオカメラは広角度カメラであることを特徴とする遮蔽空間の可視化方法。
請求項１及び２のいずれか１項に記載の遮蔽空間の可視化方法において、前記カメラは、複数台のビデオカメラであって、該複数台のビデオカメラの信号から前記左画像と前記右画像を合成することを特徴とする遮蔽空間の可視化方法。