JP6087224B2

JP6087224B2 - 指定点表示画像生成装置

Info

Publication number: JP6087224B2
Application number: JP2013133102A
Authority: JP
Inventors: 佐藤　康弘; 康弘佐藤; 成弘坂本; 哲夫広田; 大輔尾方
Original assignee: Taisei Corp
Current assignee: Taisei Corp
Priority date: 2013-06-25
Filing date: 2013-06-25
Publication date: 2017-03-01
Anticipated expiration: 2033-06-25
Also published as: JP2015008430A

Description

本発明は、撮影画像から指定点の三次元座標を算出して当該指定点を他の撮影画像に表示する技術に関する。

東日本大震災以降、天井の耐震改修が着目されている。天井の耐震改修を行う際には、事前に天井裏を撮影し、損傷や被害状況を調査することが行われる（特許文献１参照）。

特開２００７−１００３５３号公報

本発明者らは、天井裏の撮影画像に仮想の補強材等を表示して耐震改修後の状態を提示する技術の開発を進めている。ここで、仮想の補強材を正確に表示するには、補強材の始点及び終点を指定する必要があるが、天井裏には各種設備機器、梁等が存在するため、始点及び終点の一方を指定することができない場合がある。この場合には、補強材の三次元座標や三次元距離を正確に算出することが困難である。

本発明は、前記した事情に鑑みて創案されたものであり、撮影における障害物が存在する環境において、撮影画像における指定点を他の撮影画像に好適に表示させることが可能な指定点表示画像生成装置を提供することを課題とする。

前記課題を解決するため、本発明の指定点表示画像生成装置は、第一撮影装置によって撮影された第一画像データと、前記第一撮影装置から所定距離離間した第二撮影装置によって撮影された第二画像データと、前記第一撮影装置から所定距離離間した第三撮影装置によって撮影された第三画像データと、が関連付けて記憶される画像データ記憶部と、前記第一画像データに基づいてパノラマ画像データを生成するパノラマ画像データ生成部と、画像データを表示装置へ出力する画像データ出力部と、ユーザによる入力装置の操作に応じて、前記第二画像データ及び前記第三画像データのそれぞれにおける表示用指定点を決定する指定点決定部と、前記表示用指定点に基づいて、前記表示用指定点と当該表示用指定点に対応する撮影装置とを結ぶ２つの直線の交点である指定点の三次元座標を算出する三次元座標算出部と、を備え、前記画像データ記憶部には、一方の前記第一撮影装置、一方の前記第二撮影装置及び一方の前記第三撮影装置によって撮影された一方の前記第一画像データ、一方の前記第二画像データ及び一方の前記第三画像データと、が関連付けて記憶されているとともに、他方の前記第一撮影装置、他方の前記第二撮影装置及び他方の前記第三撮影装置によって撮影された他方の前記第一画像データ、他方の前記第二画像データ及び他方の前記第三画像データと、が関連付けて記憶されており、前記三次元座標算出部は、前記指定点決定部によって決定された一方の前記第二画像データ及び一方の前記第三画像データにおける第一の表示用指定点に基づいて、第一の指定点の三次元座標を算出するとともに、前記画像データ出力部に、前記第一の指定点の三次元座標に基づいて、他方の前記第一画像データにおける第一の表示用指定点を表示するように他方の前記第一画像データに基づくパノラマ画像データを加工して出力させ、前記指定点決定部によって決定された他方の前記第二画像データ及び他方の前記第三画像データにおける第二の表示用指定点に基づいて、第二の指定点の三次元座標を算出するとともに、前記画像データ出力部に、前記第一の指定点の三次元座標及び前記第二の指定点の三次元座標に基づいて、一方の前記第一画像データにおける第一の表示用指定点及び第二の表示用指定点を表示するように一方の前記第一画像データに基づくパノラマ画像データを加工して出力させることを特徴とする。

かかる構成によると、２つの撮影画像データに基づいて指定点の三次元座標を算出し、算出された三次元座標に基づいて、当該指定点を表示するように他の撮影画像データを加工するので、撮影における障害物が存在する天井裏等の環境においても、指定点を好適に表示することができる。

前記指定点表示画像生成装置は、前記第一の指定点の三次元座標及び前記第二の指定点の三次元座標に基づいて、前記第一の指定点と前記第二の指定点との三次元距離を算出する三次元距離算出部をさらに備えることが望ましい。

かかる構成によると、２つの視点から複眼撮影を行うので、撮影における障害物が存在する天井裏等の環境においても、２つの指定点間の三次元距離を好適に算出することができる。２つの指定点間に架設された仮想の部材を好適に表示したりすることができる。

前記画像データ出力部は、一方の前記第一画像データにおける前記第一の表示用指定点と前記第二の表示用指定点とに架設される仮想の部材を表示するように一方の前記第一画像データに基づくパノラマ画像データを加工して出力することが望ましい。

かかる構成によると、２つの視点から複眼撮影を行うので、撮影における障害物が存在する天井裏等の環境においても、２つの指定点間に架設された仮想の部材を好適に表示することができる。

本発明によれば、撮影における障害物が存在する環境において、撮影画像から好適に三次元座標を算出したり三次元距離を算出したりすることができる。

本発明の実施形態に係るパノラマ画像表示システムを示すブロック図である。板モデルの配置を説明するための模式図である。（ａ）は、第一の三次元座標の算出原理を説明するための図であり、（ｂ）は（ａ）のｘ−ｚ平面図である。（ａ）は、Ｘ軸周りの回転を説明するための図であり、（ｂ）は、Ｙ軸周りの回転を説明するための図である。パノラマ画像表示システムの動作例を説明するための図であり、各複眼撮影装置を天井裏に配置した状態を示す模式図である。（ａ）は、図５の第一の点検口側を拡大して示す模式図であり、（ｂ）は、図５の第二の点検口側を拡大して示す模式図である。パノラマ画像表示システムの動作例を説明するための図であり、第一の点検口側からの単眼パノラマ画像の画面例を示す図である。（ａ）（ｂ）は、パノラマ画像表示システムの動作例を説明するための図であり、第一の点検口側からの複眼画像の画面例を示す図である。パノラマ画像表示システムの動作例を説明するための図であり、第二の点検口側からの単眼パノラマ画像の画面例を示す図である。（ａ）（ｂ）は、パノラマ画像表示システムの動作例を説明するための図であり、第二の点検口側からの複眼画像の画面例を示す図である。パノラマ画像表示システムの動作例を説明するための図であり、第一の点検口側からの単眼パノラマ画像の画面例を示す図である。

以下、本発明の指定点表示画像生成装置を建築物の天井裏のパノラマ画像表示に適用した場合を例にとり、適宜図面を参照しながら説明する。同様の部分には同一符号を付し、重複する説明を省略する。

図１に示すように、本発明の実施形態に係るパノラマ画像表示システム１は、例えば建築物内部の全方位パノラマ画像を生成して表示するシステムであって、一方の複眼撮影ユニット１０Ａと、他方の複眼撮影ユニット１０Ｂと、入力装置２０と、指定点表示画像生成装置３０と、表示装置４０と、を備える。

＜複眼撮影ユニット１０Ａ＞
一方の複眼撮影ユニット１０Ａは、第一の点検口から天井裏を撮影するユニットであって、第一撮影装置１１ａ、第二撮影装置１１ｂ及び第三撮影装置１１ｃと、各撮影装置１１ａ，１１ｂ，１１ｃの撮影方向を変更するための駆動部１２と、各撮影装置１１ａ，１１ｂ，１１ｃ及び駆動部１２を駆動制御する制御部１３と、を備える。
第一撮影装置１１ａ、第二撮影装置１１ｂ及び第三撮影装置１１ｃは、それぞれ単眼のデジタルカメラであって、第二撮影装置１１ｂ及び第三撮影装置１１ｃの焦点距離がｆ、各撮影装置１１ａ，１１ｂ，１１ｃの光軸が互いに平行、かつ、隣り合う撮影装置１１ａ〜１１ｃの光軸間の距離が間隔ｄ／２となるように、左から第二撮影装置１１ｂ、第一撮影装置１１ａ、第三撮影装置１１ｃの順に配列されており、かつ、この配列を保持した状態でユニット化されている。なお、第一撮影装置１１ａの焦点距離は、他の第二撮影装置１１ｂ及び第三撮影装置１１ｃの焦点距離と異なっていてもよく、同じであってもよい。ここで、第一撮影装置１１ａによる第一撮影画像データは、単眼パノラマ画像を生成するためのものであり、第二撮影装置１１ｂによる第二撮影画像データ及び第三撮影装置１１ｃによる第三撮影画像データは、指定点の三次元座標を算出するためのものである。

制御部１３は、駆動部１２を回転させることによって、撮影装置１１ａ，１１ｂ，１１ｃを所望の撮影方向に向け、かかる状態で撮影装置１１ａ，１１ｂ，１１ｃのシャッタを制御することによって撮影させ、撮影画像に関する撮影画像データを指定点表示画像生成装置３０へ出力する。本実施形態において、制御部１３は、第一撮影装置１１ａを回転中心として複眼撮影ユニット１０Ａを所定角度ずつ回転させて撮影装置１１ａ，１１ｂ，１１ｃに撮影させる。
また、制御部１３は、撮影順序（すなわち、撮影方向）に基づくＩＤを撮影画像データに付与し、ＩＤが付与された撮影画像データを指定点表示画像生成装置３０へ出力する。ここで、第一撮影装置１１ａによって撮影された第一撮影画像に関する第一撮影画像データ、第二撮影装置１１ｂによって撮影された第二撮影画像に関する第二撮影画像データ、第三撮影装置１１ｃによって撮影された第三撮影画像に関する第三撮影画像データのうち、撮影方向が同じものに関しては同一ＩＤが付与されて関連付けられる。また、第二撮影装置１１ｂ及び第三撮影装置１１ｃによる第二撮影画像データ及び第三撮影画像データは、各撮影画像内における後記する第一の三次元座標系の座標のうち、Ｘ軸及びＹ軸方向の座標値と対応がとれている。

＜複眼撮影ユニット１０Ｂ＞
他方の複眼撮影ユニット１０Ｂは、第二の点検口から天井裏を撮影する装置であって、複眼撮影ユニット１０Ａと同様、第一撮影装置１１ａ、第二撮影装置１１ｂ及び第三撮影装置１１ｃと、駆動部１２と、制御部１３と、を備える。

ここで、各複眼撮影ユニット１０Ａ，１０Ｂと後記する指定点表示画像生成装置３０とは、ＳＤカード等を用いた無線通信可能に接続されており、指定点表示画像生成装置３０は、各複眼撮影ユニット１０Ａ，１０Ｂによって撮影された各撮影画像をリアルタイムで受信して表示装置４０に表示させることができる。

＜入力装置２０＞
入力装置２０は、キーボード、マウス等からなり、ユーザの操作に応じて、単眼パノラマ画像における画像データ指定指示、第二撮影画像及び第三撮影画像における指定点指示等を指定点表示画像生成装置３０へ出力する。

＜指定点表示画像生成装置３０＞
指定点表示画像生成装置３０は、ＣＰＵ、ＲＯＭ、ＲＡＭ、入出力回路等から構成されており、機能部として、撮影画像データ記憶部３１と、マップ記憶部３２と、単眼パノラマ画像データ生成部３３と、画像データ出力部３４と、画像データ指定取得部３５と、指定点決定部３６と、三次元座標算出部３７と、三次元距離算出部３８と、を備える。

≪撮影画像データ記憶部３１≫
撮影画像データ記憶部３１には、各複眼撮影装置１０Ａ，１０Ｂの制御部１３から出力された複数の撮影画像に関する複数の撮影画像データが入力されて記憶される。各撮影画像データには、撮影時点における対応する単眼撮影装置の三次元座標（後記する第二の三次元座標）と、撮影方向と、焦点距離と、当該撮影画像の平面方程式と、平面方程式におけるｘ，ｙ，ｚの範囲と、が関連付けられて記憶されている。

≪マップ記憶部３２≫
マップ記憶部３２には、各複眼撮影ユニット１０Ａ，１０Ｂのいずれかの第一撮影装置１１ａの複数の第一撮影画像（第一撮影画像データ）に基づいて単眼パノラマ画像を生成する際に用いられる単眼パノラママップが予め記憶されている。

≪単眼パノラマ画像データ生成部３３≫
単眼パノラマ画像データ生成部３３は、撮影画像データ記憶部３１から出力された複数の第一撮影画像データを読み出し、読み出された撮影画像データに基づいて、単眼パノラマ画像に関する単眼パノラマ画像データを生成する。
複眼ユニット１０Ａの第一撮影装置１１ａによって撮影された第一撮影画像データを用いる場合を例にとると、単眼パノラマ画像データ生成部３３は、マップ記憶部３２に予め記憶された単眼パノラママップ５０（図２参照）を読み出し、第一撮影装置１１ａによって撮影された第一撮影画像データを単眼パノラママップ５０の板モデル５１にマッピングすることによって、単眼パノラマ画像データを生成する。

ここで、図２を参照して、パノラママップ５０に関して説明する。図２に示すように、パノラママップ５０は、複数の板モデル５１を球状に配置して構成されている。パノラママップ５０（複数の板モデル５１によって構成された球）の中心は、第一撮影装置１１ａの設置位置に対応しており、各板モデル５１は、第一撮影装置１１ａによる各第一撮影画像の撮影範囲に対応している。すなわち、板モデル５１は、第一撮影装置１１ａによる第一撮影画像と同数であり、パノラママップ５０の中心と隣り合う板モデル５１の各中心とをそれぞれ結んだ二本の線分からなる角の角度は、第一撮影装置１１ａの設置位置で隣り合う第一撮影画像を撮影したときの第一撮影装置１１ａによる撮影方向の角度差に対応しており、各板モデル５１の縦横比は、第一撮影装置１１ａによる各第一撮影画像の縦横比に対応しており、複数の板モデル５１によって構成された球の中心から板モデル５１までの距離及び板モデル５１の縦横サイズは、第一撮影装置１１ａの焦点距離及び撮影画像の縦横サイズに対応している。また、各板モデル５１には、第一撮影画像データと同様にＩＤが付与されており、単眼パノラマ画像データ生成部３３は、第一撮影画像データに付与されたＩＤと板モデル５１に付与されたＩＤとに基づいて、第一撮影画像データを対応する板モデル５１にマッピングすることによって、単眼パノラマ画像データを生成し、生成された単眼パノラマ画像データを画像データ出力部３４に出力したり、記憶部３２に記憶させたりする。ここで、単眼パノラマ画像データ生成部３３は、入力部２０から出力された視点位置指示に基づいて、当該視点位置を中心とした所定範囲の単眼パノラマ画像データを生成することができる。

なお、パノラママップ５０における板モデル５１の数、縦横サイズ等は、撮影場所に応じて適宜変更可能である。

≪画像データ出力部３４≫
画像データ出力部３４は、単眼パノラマ画像データを表示装置４０へ出力するものであって、本実施形態では、単眼パノラマ画像データ生成部３３から出力された単眼パノラマ画像データを表示装置４０へ出力したり、撮影画像データ記憶部３１から読み出された一方（複眼撮影ユニット１０Ａ側）又は他方（複眼撮影ユニット１０Ｂ側）の第二撮影画像データ及び第三撮影画像データを表示装置４０へ出力したりする。

≪画像データ指定取得部３５≫
画像データ指定取得部３５は、ユーザの操作に応じて、表示装置４０に表示された単眼パノラマ画像から一の第一撮影画像データの指定を取得し、かかる指定結果（例えば、指定された第一撮影画像データのＩＤ）を画像データ出力部３４へ出力する。指定結果を取得すると、画像データ出力部３４は、指定結果に応じた第二撮影画像データ及び第三撮影画像データを撮影画像データ記憶部３１から読み出し、読み出された撮影画像データを表示装置４０へ出力し、指定結果に応じた撮影画像を表示装置４０に表示させる。

≪指定点決定部３６≫
指定点決定部３６は、表示用指定点を決定するものであって、入力装置２０から出力された、第二撮影画像及び第三撮影画像における指定点指示を取得する。また、指定点決定部３６は、取得した指定点指示を用いることによって、撮影画像データ記憶部３１に記憶された各撮影画像データにおける表示用指定点の二次元座標（Ｘ軸及びＹ軸の座標値）を取得し、三次元座標算出部３７へ出力する。

≪三次元座標算出部３７≫
三次元座標算出部３７は、指定点決定部３６から出力された表示用指定点の二次元座標と、第二撮影装置１１ｂ及び第三撮影装置１１ｃ間の距離ｄと、第二撮影装置１１ｂ及び第三撮影装置１１ｃの焦点距離ｆと、に基づいて、指定点の第一の三次元座標を算出する。ここで、第一の三次元座標は、撮影装置１１ａ〜１１ｃの撮影方向を基準として撮影方向ごとに固有な第一の三次元座標系における座標であり、第一の三次元座標系は撮影三次元座標系ともいい、第一の三次元座標は撮影三次元座標ともいう。すなわち、第一の三次元座標系は、撮影方向が同一の第二撮影画像及び第三撮影画像においては共通であり、撮影方向が異なる画像間においては異なる。

（第一の三次元座標の算出原理）
ここで、図３（ａ）（ｂ）を参照して、三次元座標算出部３７における第一の三次元座標の算出原理について説明する。以下では、複眼撮影ユニット１０Ａ側についての説明を行い、撮影装置１１ａ，１１ｂ，１１ｃの配列方向をＸ軸、撮影装置１１ａ，１１ｂ，１１ｃの光軸方向をＺ軸、Ｘ軸及びＺ軸と直交するＹ軸からなる右手座標系の三次元座標空間について考えるものとする。第一撮影装置１１ａを第一の三次元座標系における原点に配置し、左側の第二撮影装置１１ｂと右側の第三撮影装置１１ｃとの間隔をｄとすると、第一撮影装置１１ａの第一の三次元座標Ｏ_１、第二撮影装置１１ｂの第一の三次元座標Ｏ_２、第三撮影装置１１ｃの第一の三次元座標Ｏ_３は、以下のようになる。
Ｏ_１＝（０，０，０）
Ｏ_２＝（−ｄ／２，０，０）
Ｏ_３＝（ｄ／２，０，０）

相対三次元座標Ｒ＝（ｘ_Ｒ，ｙ_Ｒ，ｚ_Ｒ）に位置する対象物を第二撮影装置１１ｂ及び第三撮影装置１１ｃを用いて撮影し、かかる対象物が第二撮影装置１１ｂによる第二撮影画像の二次元座標Ｎ_２＝（ｘ_２，ｙ_２）、すなわち第一の三次元座標（ｘ_２，ｙ_２，−ｆ）に写っており、第三撮影装置１１ｃによる第三撮影画像の二次元座標Ｎ_３＝（ｘ_３，ｙ_３）、すなわち第一の三次元座標（ｘ_３，ｙ_３，−ｆ）に写っているとする。
ここで、三角形ＲＯ_２Ｏ_３と三角形ＲＮ_２Ｎ_３とは相似であるため、以下の関係が成立する。
ｘ_Ｒ＝ｄ（ｘ_２＋ｘ_３）／｛２（ｘ_２−ｘ_３＋ｄ）｝
ｙ_Ｒ＝ｄ（ｙ_２＋ｙ_３）／｛２（ｙ_２−ｙ_３＋ｄ）｝
ｚ_Ｒ＝−ｄｆ／｛２（ｘ_２−ｘ_３＋ｄ）｝
すなわち、三次元座標算出部３７は、予め定められた焦点距離ｆ及び間隔ｄと、撮影画像の二次元座標の値と、を用いることによって、所望の位置の第一の三次元座標Ｒ＝（ｘ_Ｒ，ｙ_Ｒ，ｚ_Ｒ）を算出することができる。

さらに、三次元座標算出部３７は、第一の三次元座標算出部３７から出力された指定点の第一の三次元座標と、撮影時における第二撮影装置１１ｂ及び第三撮影装置１１ｃの撮影方向と、に基づいて、指定点の第二の三次元座標を算出し、三次元距離算出部３８及び画像データ出力部３４へ出力する。このようにすることで、算出された第二の三次元座標が、後記する表示装置４０に表示される。ここで、第二の三次元座標は、前記した第一の三次元座標系を統合した、全ての撮影方向において共通な第二の三次元座標系における座標であり、第二の三次元座標系はパノラマ三次元座標系ともいい、第二の三次元座標はパノラマ三次元座標ともいう。すなわち、第二の三次元座標系は、全ての撮影画像において共通である。

（第二の三次元座標の算出原理）
ここで、三次元座標算出部３７における第二の三次元座標の算出原理について説明する。三次元座標算出部３７は、第二の三次元座標系における第二撮影装置１１ｂ及び第三撮影装置１１ｃの撮影方向の基準からのＹ軸周りの回転角度をθ、Ｘ軸周りの回転角度をφとしたとき、下記式によって、指定点の第二の三次元座標Ａ＝（ｘ_Ａ，ｙ_Ａ，ｚ_Ａ）を算出することができる。

ここで、回転角度θ，φとしては、パノラママップ５０の板モデル５１に関連付けてマップ記憶部３２に予め記憶されたものを用いることができる。

ここで、図４（ａ）（ｂ）に示すように、相対三次元座標のＸ軸（Ｘ_Ｒ軸）周りの角度φの回転と、相対三次元座標のＹ軸（Ｙ_Ｒ軸）周りの角度θの回転と、を第一の三次元座標系に施すことによって、相対三次元座標のＸ_Ｒ軸、Ｙ_Ｒ軸及びＺ軸（Ｚ_Ｒ軸）が、第二の三次元座標系のＸ軸（Ｘ_Ａ軸）、Ｙ軸（Ｙ_Ａ軸）及びＺ軸（Ｚ_Ａ軸）とそれぞれ一致する。なお、φは、Ｘ_Ａ軸の正側から見て反時計回りが正、時計回りが負である。θは、Ｙ_Ａ軸の正側から見て反時計回りが正、時計回りが負である。
すなわち、第一の三次元座標系における指定点の第一の三次元座標Ｒ＝（ｘ_Ｒ，ｙ_Ｒ，ｚ_Ｒ）に、Ｙ軸周りの回転（パン方向の回転）変換と、Ｘ軸周りの回転（チルト方向の回転）変換と、を施すことによって、指定点の第二の三次元座標Ａ＝（ｘ_Ａ，ｙ_Ａ，ｚ_Ａ）が算出される。本実施形態において、第二の三次元座標系における原点と第一の三次元座標系における原点すなわちＯ_１とは同じ位置であり、回転角度θは、第二の三次元座標系のＹ軸と第一の三次元座標系のＹ軸とがなす角度であり、回転角度φは、第二の三次元座標系のＸ軸と第一の三次元座標系のＸ軸とがなす角度である。また、本実施形態において、相対三次元座標系におけるＸ軸は、常に水平方向に保たれているので、Ｚ軸周りの回転変換は不要である。

なお、三次元座標算出部３７は、第二撮影装置１１ｂ及び第三撮影装置１１ｃによる撮影画像データにおける表示用指定点の第一の三次元座標と、撮影時点における対応する第二撮影装置１１ｂ及び第三撮影装置１１ｃの第二の三次元座標と、撮影方向と、焦点距離と、当該撮影画像の平面方程式と、に基づいて、第二撮影装置１１ｂ及び第三撮影装置１１ｃによる撮影画像データにおける表示用指定点の第二の三次元座標を算出し、表示用指定点の第二の三次元座標に基づいて指定点の三次元座標を算出することもできる。

また、複眼ユニット１０Ａ及び複眼ユニット１０Ｂの設置位置は予め設定されている。すなわち、複眼ユニット１０Ｂの第二の三次元座標は既知であり、三次元座標算出部３７は、複眼ユニット１０Ｂの第二の三次元座標を用いることによって、複眼ユニット１０Ｂにおける第二撮影装置１１ｂ及び第三撮影装置１１ｃによる撮影画像データにおける表示用指定点の第二の三次元座標を算出したり、指定点の三次元座標を算出したりすることができる。

≪三次元距離算出部３８≫
三次元距離算出部３８は、三次元座標算出部３７から出力された２つの指定点の第二の三次元座標を取得し、取得された第二の三次元座標に基づいて、２つの指定点間の三次元距離を算出し、画像データ出力部３４へ出力する。そして、画像データ出力部３４は、算出された三次元距離を表示装置４０へ出力して表示装置４０に表示させることができる。

＜表示装置４０＞
表示装置４０は、指定点表示画像生成装置３０から出力された単眼パノラマ画像データを用いて単眼パノラマ画像を表示したり、第二撮影画像データ及び第三撮影画像データを用いて第二撮影画像及び第三撮影画像を表示したりするものである。

＜動作例＞
続いて、本発明の実施形態に係るパノラマ画像表示システム１の動作例について、図１，５〜１１を参照して説明する。

本動作例において、複眼撮影ユニット１０Ａは、図５及び図６（ａ）に示すように、第一の点検口１０１から天井裏１００内に配置されて、一方から天井裏１００を撮影する。また、複眼撮影ユニット１０Ｂは、図５及び図６（ｂ）に示すように、第二の点検口１０２から天井裏１００内に配置されて、他方から天井裏１００を撮影する。本動作例では、野縁１０３とスラブ１０４との間に補強材（ブレース）を架設した状態を表示したいが、第一の点検口１０１側からはブレース１０４の架設箇所が梁１０５によって見えない場合を例にとって説明する。なお、図５及び図６（ａ）（ｂ）では、一方の複眼撮影ユニット１０Ａの各撮影装置１１ａ〜１１ｃを所定距離離間しているとともに、他方の複眼ユニット１０Ｂの各撮影装置１１ａ〜１１ｃを所定距離離間している。

まず、複眼撮影ユニット１０Ａにおいて、制御部１３は、駆動部１２を回転させることによって、撮影装置１１ａ，１１ｂ，１１ｃを所望の撮影方向に向け、かかる状態で撮影装置１１ａ，１１ｂ，１１ｃのシャッタを制御することによって撮影し、撮影画像に関する撮影画像データを指定点表示画像生成装置３０へ出力する。また、複眼撮影ユニット１０Ｂにおいて、制御部１３は、駆動部１２を回転させることによって、撮影装置１１ａ，１１ｂ，１１ｃを所望の撮影方向に向け、かかる状態で撮影装置１１ａ，１１ｂ，１１ｃのシャッタを制御することによって撮影し、撮影画像に関する撮影画像データを指定点表示画像生成装置３０へ出力する。なお、複眼撮影ユニット１０Ａ，１０Ｂは、同時に撮影してもよいし別々に撮影してもよい。また、第一の点検口１０１側での撮影を終えた複眼撮影ユニット１０Ａを第二の点検口１０２側に設置し直して複眼撮影ユニット１０Ｂとして用いることも可能である。

続いて、単眼パノラマ画像データ生成部３３は、複眼撮影ユニット１０Ａの第一撮影装置１１ａによって撮影された複数の第一撮影画像データを撮影画像データ記憶部３１から読み出し、読み出された第一撮影画像データに基づいて単眼パノラマ画像データを生成し、画像データ出力部３４へ出力する。画像データ出力部３４は、単眼パノラマ画像データを表示装置４０へ出力し、表示装置４０は、単眼パノラマ画像を表示する（図７参照）。

かかる状態において、ユーザによる入力装置２０の操作に応じて、入力装置２０が単眼パノラマ画像内の１枚の第一撮影画像１１１を指定するための画像データ指定を出力すると、画像データ指定取得部３５が画像データ指定を取得して画像データ出力部３４へ出力し、画像データ出力部３４は、画像データ指定に含まれるＩＤと同一ＩＤの一対の第二撮影画像データ及び第三撮影画像データを撮影画像データ記憶部３１から読み出す。

画像データ出力部３４は、一対の第二撮影画像データ及び第三撮影画像データを表示装置４０へ出力し、表示装置４０は、第一撮影画像１１１と同一撮影方向である一対の第二撮影画像１１２及び第三撮影画像１１３を同一画面上に表示する（図８（ａ）（ｂ）参照）。本動作例において、一対の第二撮影画像１１２及び第三撮影画像１１３は、左右に並べて配置されている。

かかる状態において、ユーザが入力装置２０を操作し、第二撮影画像１１２における表示用指定点（始点）Ｓ１（指定点Ｓに対応）を指定すると、第二撮影画像１１２における指定点指示が指定点決定部３６に入力される。

続いて、ユーザが入力装置２０を操作し、第三撮影画像１１３における表示用指定点（始点）Ｓ２（指定点Ｓに対応）を指定すると、第三撮影画像１１３における指定点指示が指定点決定部３６に入力される。
指定点決定部３６は、２つの指定点指示を取得すると、撮影画像データ記憶部３１に記憶された、第二撮影画像１１２における表示用指定点Ｓ１の二次元座標（ｘ_１１，ｙ_１１）及び第三撮影画像１１３における表示用指定点Ｓ２の二次元座標（ｘ_２１，ｙ_２１）を取得し、三次元座標算出部３７へ出力する。

続いて、三次元座標算出部３７は、前記した手法に基づいて、指定点Ｓの第二の三次元座標Ｓ＝（ｘ_Ｓ，ｙ_Ｓ，ｚ_Ｓ）を算出し、三次元距離算出部３８へ出力する。指定点Ｓの三次元座標は、複眼撮影ユニット１０Ａの第二撮影装置１１ｂ及び表示用指定点Ｓ１を通る直線と、複眼撮影ユニット１０Ａの第三撮影装置１１ｃ及び表示用指定点Ｓ２を通る直線と、の交点の三次元座標である。

続いて、ユーザが入力装置２０を操作すると、単眼パノラマ画像データ生成部３３は、複眼撮影ユニット１０Ｂの第一撮影装置１１ａによって撮影された複数の第一撮影画像データを撮影画像データ記憶部３１から読み出し、読み出された第一撮影画像データに基づいて単眼パノラマ画像データを生成し、画像データ出力部３４へ出力する。画像データ出力部３４は、単眼パノラマ画像データを表示装置４０へ出力し、表示装置４０は、単眼パノラマ画像を表示する（図９参照）。

＜表示用指定点Ｓ３の表示手法＞
ここで、三次元座標算出部３７による、複眼撮影ユニット１０Ｂによる第一撮影画像データにおける表示用指定点Ｓ３の表示手法について説明する。

複眼撮影ユニット１０Ｂの第一撮影装置１１ａの撮影位置（第二の三次元座標）をＰ２１（ｘ_２０１，ｙ_２０１，ｚ_２０１）とし、表示用指定点Ｓ３を表示すべき複眼撮影ユニット１０Ｂによる第一撮影画像データの平面方程式をａｘ＋ｂｙ＋ｃｚ＋ｄ＝０とする。
指定点Ｓから撮影位置Ｐ２１へのベクトルＶは、
Ｖ＝（ｖｘ，ｖｙ，ｖｚ）＝（ｘ_２０１−ｘ_ＲＳ，ｙ_２０１−ｙ_ＲＳ，ｚ_２０１−ｚ_ＲＳ）
指定点Ｓと撮影位置Ｐ２１との距離Ｌは、
Ｌ＝｛（ｘ_２０１−ｘ_ＲＳ）^２＋（ｙ_２０１−ｙ_ＲＳ）^２＋（ｚ_２０１−ｚ_ＲＳ）^２｝^１／２
ベクトルＶの単位ベクトルＥは、
Ｅ＝（ｅｘ，ｅｙ，ｅｚ）＝（ｖｘ／Ｌ，ｖｙ／Ｌ，ｖｚ／Ｌ）
したがって、撮影位置Ｐ２１から距離Ｋにある直線状の表示用指定点Ｓ３の第二の三次元座標は、式（１）によって表される。
Ｓ３＝Ｓ＋ｋ・Ｅ＝（ｘ_Ｓ＋ｋ・ｅｘ，ｙ_Ｓ＋ｋ・ｅｙ，ｚ_Ｓ＋ｋ・ｅｚ） …式（１）

ここで、表示用指定点Ｓ３が平面ａｘ＋ｂｙ＋ｃｚ＋ｄ＝０上にあるとすると、
ａ（ｘ_Ｓ＋ｋ・ｅｘ）＋ｂ（ｙ_Ｓ＋ｋ・ｅｙ）＋ｃ（ｚ_Ｓ＋ｋ・ｅｚ）＋ｄ＝０
したがって、ｋは、式（２）によって表される。
ｋ＝−（ａ・ｘ_Ｓ＋ｂ・ｙ_Ｓ＋ｃ・ｚ_Ｓ＋ｄ）／（ａ・ｅｘ＋ｂ・ｅｙ＋ｃ・ｅｚ） …式（２）
式（２）のｋを式（１）に代入することによって、複眼撮影ユニット１０Ｂの第一撮影装置１１ａによる第一撮影画像データにおける表示用指定点Ｓ３の第二の三次元座標が求められる。
画像データ出力部３４は、表示用指定点Ｓ３の第二の三次元座標に基づいて、表示用指定点Ｓ３を表示するように第一撮影画像データを加工して表示装置４０へ出力する。

続いて、入力装置２０が複眼撮影ユニット１０Ｂの第一撮影装置１１ａによる単眼パノラマ画像内の第一撮影画像１２１を指定するための画像データ指定を出力すると、画像データ指定取得部３５が画像データ指定を取得して画像データ出力部３４へ出力し、画像データ出力部３４は、画像データ指定に含まれるＩＤと同一ＩＤの一対の第二撮影画像データ及び第三撮影画像データを撮影画像データ記憶部３１から読み出す。

画像データ出力部３４は、一対の第二撮影画像データ及び第三撮影画像データを表示装置４０へ出力し、表示装置４０は、第一撮影画像１２１と同一撮影方向である一対の第二撮影画像１２２及び第三撮影画像１２３を同一画面上に表示する（図１０（ａ）（ｂ）参照）。ここで、第二撮影画像１２２には、表示用指定点Ｓ３と同様の手法によって指定点Ｓに対応する表示用指定点Ｓ４が表示されており、第三撮影画像１２３にも、表示用指定点Ｓ３と同様の手法によって指定点Ｓに対応する表示用指定点Ｓ５が表示されている。

かかる状態において、ユーザが入力装置２０を操作し、第二撮影画像１２２における表示用指定点（終点）Ｅ１（終点Ｅに対応）を指定すると、第二撮影画像１２２における指定点指示が指定点決定部３６に入力される。

続いて、ユーザが入力装置２０を操作し、第三撮影画像１２３における指定点（終点）Ｅ２（終点Ｅに対応）を指定すると、第三撮影画像１２３における指定点指示が指定点決定部３６に入力される。
指定点決定部３６は、２つの指定点指示を取得すると、撮影画像データ記憶部３１に記憶された、第二撮影画像１２２における表示用指定点Ｅ１の二次元座標（ｘ_１２，ｙ_１２）及び第三撮影画像１２３における表示用指定点Ｅ２の二次元座標（ｘ_２２，ｙ_２２）を取得し、三次元座標算出部３７へ出力する。

続いて、三次元座標算出部３７は、指定点Ｅの第二の三次元座標Ｅ＝（ｘ_Ｅ，ｙ_Ｅ，ｚ_Ｅ）を算出し、三次元距離算出部３８へ出力する。指定点Ｅの三次元座標は、複眼撮影ユニット１０Ｂの第二撮影装置１１ｂ及び表示用指定点Ｅ１を通る直線と、複眼撮影ユニット１０Ａの第三撮影装置１１ｃ及び表示用指定点Ｅ２を通る直線と、の交点の三次元座標である。

続いて、三次元距離算出部３８は、下記式に基づいて指定点Ｓ，Ｅ間の三次元距離Ｄを算出する。これにより、三次元距離が表示装置４０に表示される。
Ｄ＝｛（ｘ_Ｅ−ｘ_Ｓ）^２＋（ｙ_Ｅ−ｙ_Ｓ）^２＋（ｚ_Ｅ−ｚ_Ｓ）^２｝^１／２

また、三次元座標算出部３７は、複眼撮影ユニット１０Ａの第一撮影装置１１ａによる第一撮影画像データにおける表示用指定点（始点）Ｓ６及び表示用指定点（終点）Ｅ３の第二の三次元座標をそれぞれ算出し、表示用指定点Ｓ６及び表示用指定点Ｅ３に架設された仮想のブレース材１０６を表示するように第一撮影画像データを加工して表示装置４０へ出力する（図１１参照）。図１１では、仮想のブレース材１０６のうち、見えている部分を実線で表示し、梁１０５に隠れて見えない部分を点線で表示しているが、見えない部分を表示しない構成であってもよい。

本発明の実施形態に係るパノラマ画像表示システム１は、２つの撮影画像データに基づいて指定点の三次元座標を算出し、算出された三次元座標に基づいて、当該指定点を表示するように他の撮影画像データを加工するので、撮影における障害物が存在する天井裏等の環境においても、指定点を好適に表示することができる。

また、本発明の実施形態に係るパノラマ画像表示システム１は、２つの視点から複眼撮影を行うので、撮影における障害物が存在する天井裏等の環境においても、２つの指定点間の三次元距離を好適に算出したり、２つの指定点間に架設された仮想の部材を好適に表示したりすることができる。

また、本発明の実施形態に係るパノラマ画像表示システム１は、パノラマ画像に含まれる全ての画像に共通に使用可能な第二の三次元座標を算出することができる。また、パノラマ画像表示システム１は、２つの指定点間の三次元距離を算出することができる。また、パノラマ画像表示システム１は、一の撮影方向において、単眼パノラマ画像用の１枚の撮影画像に対応する第一撮影画像データよりも指定点取得用の２枚の撮影画像に対応する第二撮影画像データ及び第三撮影画像データのそれぞれの撮影範囲の方を広く設定しておくことで、第一撮影画像データにおける周縁付近を表示用指定点とした場合であっても、かかる表示用指定点が第二撮影画像データ及び第三撮影画像データの撮影範囲内に確実に入ることとなり、第二の三次元座標及び三次元距離を確実に算出することができる。

以上、本発明の実施形態について説明したが、本発明は前記実施形態に限定されず、本発明の要旨を逸脱しない範囲で適宜設計変更可能である。例えば、算出された第二の三次元座標及び三次元距離をユーザに通知する手法は、表示装置４０に表示させることに限定されず、通知部としてのスピーカに発話させる構成であってもよい。また、Ｚ軸周りの回転（回転角度ψ）も考慮した場合には、第二の三次元座標は、下記式によって算出可能である。

また、本発明では第一の三次元座標系及び第二の三次元座標系として右手座標系を採用したが、左手座標系を採用した場合も本発明の技術的範囲に含まれる。

また、第二撮影装置１１ｂ及び第三撮影装置１１ｃのいずれかの撮影画像データを用いて単眼パノラマ画像データを生成することによって、第一撮影装置１１ａを省略することもできる。
また、各撮影装置１１ａ，１１ｂ，１１ｃの配列方向は、左右方向に限定されず、例えば上下方向であってもよい。
また、一方の複眼撮影ユニット１０Ａと他方の複眼撮影ユニット１０Ｂは、各撮影装置１１ａ〜１１ｃ間の距離、各撮影装置１１ａ〜１１ｃの焦点距離等が異なるように設定されていてもよい。
また、指定点決定部３６は、ユーザによる入力装置２０の操作に応じて、第一撮影画像データにおいて指定された表示用指定点を取得するとともに、画像処理によって第一撮影画像データにおける表示用指定点に対応する第二撮影画像データ及び第三撮影画像データにおける表示用指定点を決定する構成であってもよい。

１パノラマ画像表示システム
３０指定点表示画像生成装置
３１画像データ記憶部
３３単眼パノラマ画像データ生成部
３４画像データ出力部
３５画像データ指定取得部
３６指定点決定部
３７三次元座標算出部
３８三次元距離算出部

Claims

第一撮影装置によって撮影された第一画像データと、前記第一撮影装置から所定距離離間した第二撮影装置によって撮影された第二画像データと、前記第一撮影装置から所定距離離間した第三撮影装置によって撮影された第三画像データと、が関連付けて記憶される画像データ記憶部と、
前記第一画像データに基づいてパノラマ画像データを生成するパノラマ画像データ生成部と、
画像データを表示装置へ出力する画像データ出力部と、
ユーザによる入力装置の操作に応じて、前記第二画像データ及び前記第三画像データのそれぞれにおける表示用指定点を決定する指定点決定部と、
前記表示用指定点に基づいて、前記表示用指定点と当該表示用指定点に対応する撮影装置とを結ぶ２つの直線の交点である指定点の三次元座標を算出する三次元座標算出部と、
を備え、
前記画像データ記憶部には、一方の前記第一撮影装置、一方の前記第二撮影装置及び一方の前記第三撮影装置によって撮影された一方の前記第一画像データ、一方の前記第二画像データ及び一方の前記第三画像データと、が関連付けて記憶されているとともに、他方の前記第一撮影装置、他方の前記第二撮影装置及び他方の前記第三撮影装置によって撮影された他方の前記第一画像データ、他方の前記第二画像データ及び他方の前記第三画像データと、が関連付けて記憶されており、
前記三次元座標算出部は、
前記指定点決定部によって決定された一方の前記第二画像データ及び一方の前記第三画像データにおける第一の表示用指定点に基づいて、第一の指定点の三次元座標を算出するとともに、前記画像データ出力部に、前記第一の指定点の三次元座標に基づいて、他方の前記第一画像データにおける第一の表示用指定点を表示するように他方の前記第一画像データに基づくパノラマ画像データを加工して出力させ、
前記指定点決定部によって決定された他方の前記第二画像データ及び他方の前記第三画像データにおける第二の表示用指定点に基づいて、第二の指定点の三次元座標を算出するとともに、前記画像データ出力部に、前記第一の指定点の三次元座標及び前記第二の指定点の三次元座標に基づいて、一方の前記第一画像データにおける第一の表示用指定点及び第二の表示用指定点を表示するように一方の前記第一画像データに基づくパノラマ画像データを加工して出力させる
ことを特徴とする指定点表示画像生成装置。
前記第一の指定点の三次元座標及び前記第二の指定点の三次元座標に基づいて、前記第一の指定点と前記第二の指定点との三次元距離を算出する三次元距離算出部をさらに備える
ことを特徴とする請求項１に記載の指定点表示画像生成装置。
前記画像データ出力部は、一方の前記第一画像データにおける前記第一の表示用指定点と前記第二の表示用指定点とに架設される仮想の部材を表示するように一方の前記第一画像データに基づくパノラマ画像データを加工して出力する
ことを特徴とする請求項２に記載の指定点表示画像生成装置。