JP6116094B2

JP6116094B2 - 画像検索装置

Info

Publication number: JP6116094B2
Application number: JP2013162393A
Authority: JP
Inventors: 佐藤　康弘; 康弘佐藤; 史彦斎藤
Original assignee: Taisei Corp
Current assignee: Taisei Corp
Priority date: 2013-08-05
Filing date: 2013-08-05
Publication date: 2017-04-19
Anticipated expiration: 2033-08-05
Also published as: JP2015032198A

Description

本発明は、例えばステレオ画像において同一位置を検索する画像検索装置に関する。

ステレオ画像において、例えば２点間の三次元距離を算出するために、２枚の画像における始点及び終点をユーザが手動によって指定する技術が知られている（特許文献１参照）。

特開２０１０−１２８０６８号公報

特許文献１に記載の技術では、ユーザが始点及び終点を好適に指定することができるように、２枚の画像に補助線を引いたものを表示することが行われている。しかし、補助線があったとしてもヒューマンエラー等によって一の画像において指定された指定点と他の画像において前記指定点に対応して指定された対応点とがずれるおそれがある。

本発明は、前記した事情に鑑みて創案されたものであり、一の画像において指定された指定点に対応する他の画像における対応点を好適に決定することが可能な画像検索装置を提供することを課題とする。

前記課題を解決するため、本発明の画像検索装置は、第一撮影装置によって撮影された第一画像データと、前記第一撮影装置から所定距離離間した第二撮影装置によって撮影された第二画像データと、前記第一撮影装置から所定距離離間した第三撮影装置によって撮影された第三画像データと、が関連付けて記憶される画像データ記憶部と、前記第一画像データを表示装置へ出力する画像データ出力部と、ユーザによる入力装置の操作に応じて、前記第一画像データにおける指定点を取得する指定点取得部と、前記第一画像データにおける前記指定点周辺の画像データを用いた画像マッチングによって、前記第二画像データ及び前記第三画像データのぞれぞれにおいて前記指定点に対応する対応点を検索する対応点検索部と、を備え、前記第一撮影装置、前記第二撮影装置及び前記第三撮影装置は、直線上に配列されて同一方向を撮影しており、前記対応点検索部は、前記第二画像データ及び前記第三画像データにおいて前記第一撮影装置、前記第二撮影装置及び前記第三撮影装置の配列方向とは直交する方向に所定幅を有する検索対象領域を設定し、前記第一画像データにおける前記指定点を含む第一領域のデータを用いて前記第二画像データ及び前記第三画像データの前記検索対象領域内をそれぞれ検索し、前記検索対象領域内において前記第一領域に対応する領域が発見された場合には、前記第一画像データにおける前記指定点を含む前記第一領域よりも狭い第二領域のデータを用いて前記第二画像データ及び第三画像データの前記第一領域に対応する領域をそれぞれ検索し、前記検索対象領域内において前記第一領域に対応する領域が発見されなかった場合には、前記第一領域を分割した領域を用いて前記第二画像データ及び前記第三画像データの前記第一領域に対応する領域を検索することを特徴とする。

また、本発明の画像検索装置は、第一撮影装置によって撮影された第一画像データと、前記第一撮影装置から所定距離離間した第二撮影装置によって撮影された第二画像データと、が関連付けて記憶される画像データ記憶部と、前記第一画像データを表示装置へ出力する画像データ出力部と、ユーザによる入力装置の操作に応じて、前記第一画像データにおける指定点を取得する指定点取得部と、前記第一画像データにおける前記指定点周辺の画像データを用いた画像マッチングによって、前記第二画像データにおいて前記指定点に対応する対応点を検索する対応点検索部と、を備え、前記第一撮影装置及び前記第二撮影装置は、同一方向を撮影しており、前記対応点検索部は、前記第二画像データにおいて前記第一撮影装置及び前記第二撮影装置の配列方向とは直交する方向に所定幅を有する検索対象領域を設定し、前記第一画像データにおける前記指定点を含む第一領域のデータを用いて前記第二画像データの前記検索対象領域内を検索し、前記検索対象領域内において前記第一領域に対応する領域が発見された場合には、前記第一画像データにおける前記指定点を含む前記第一領域よりも狭い第二領域のデータを用いて前記第二画像データの前記第一領域に対応する領域を検索し、前記検索対象領域内において前記第一領域に対応する領域が発見されなかった場合には、前記第一領域を分割した領域を用いて前記第二画像データの前記第一領域に対応する領域を検索することを特徴とする。

本発明によれば、一の画像において指定された指定点に対応する他の画像における対応点を好適に決定することができる。

本発明の第一の実施形態に係るパノラマ画像表示システムを示すブロック図である。板モデルの配置を説明するための模式図である。（ａ）は、第一の三次元座標の算出原理を説明するための図であり、（ｂ）は（ａ）のｘ−ｚ平面図である。（ａ）は、Ｘ軸周りの回転を説明するための図であり、（ｂ）は、Ｙ軸周りの回転を説明するための図である。指定点に対応する対応点を決定するための動作例を説明するためのフローチャートである。（ａ）（ｂ）は、指定点に対応する対応点を決定するための検索手法を説明するための模式図である。（ａ）（ｂ）は、指定点に対応する対応点を決定するための検索手法を説明するための模式図である。第一領域を四分割した例を示す模式図である。本発明の第二の実施形態に係るパノラマ画像表示システムを示すブロック図である。（ａ）は、第一の三次元座標の算出原理を説明するための図であり、（ｂ）は（ａ）のｘ−ｚ平面図である。（ａ）（ｂ）は、指定点に対応する対応点を決定するための検索手法を説明するための模式図である。（ａ）（ｂ）は、指定点に対応する対応点を決定するための検索手法を説明するための模式図である。

以下、本発明の画像検索装置をパノラマ画像表示に適用した場合を例にとり、適宜図面を参照しながら説明する。同様の部分には同一符号を付し、重複する説明を省略する。

＜第一の実施形態＞
図１に示すように、本発明の第一の実施形態に係るパノラマ画像表示システム１Ａは、例えば建築物内部の全方位パノラマ画像を生成して表示するシステムであって、複眼撮影装置１０Ａと、入力装置２０と、三次元座標算出装置（画像検索装置）３０と、表示装置４０と、を備える。

＜複眼撮影装置１０Ａ＞
複眼撮影装置１０Ａは、第一の単眼撮影部（第一撮影装置）１１ａと、第二の単眼撮影部（第二撮影装置）１１ｂと、第三の単眼撮影部（第三撮影装置）１１ｃと、単眼撮影部１１ａ，１１ｂ，１１ｃの撮影方向を変更するための駆動部１２と、単眼撮影部１１ａ，１１ｂ，１１ｃ及び駆動部１２を駆動制御する制御部１３と、を備える。
第一の単眼撮影部１１ａ、第二の単眼撮影部１１ｂ及び第三の単眼撮影部１１ｃは、デジタルカメラであって、第二の単眼撮影部１１ｂ及び第三の単眼撮影部１１ｃの焦点距離がｆ、各撮影部１１ａ，１１ｂ，１１ｃの光軸が互いに平行、かつ、隣り合う撮影部１１ａ〜１１ｃの光軸間の距離が間隔ｄ／２となるように、左から第二の単眼撮影部１１ｂ、第一の単眼撮影部１１ａ、第三の単眼撮影部１１ｃの順に配列されており、かつ、この配列を保持した状態でユニット化されている。なお、第一の単眼撮影部１１ａの焦点距離は、他の単眼撮影部１１ｂ，１１ｃの焦点距離と異なっていてもよく、同じであってもよい。

制御部１３は、駆動部１２を回転させることによって、単眼撮影部１１ａ，１１ｂ，１１ｃを所望の撮影方向に向け、かかる状態で単眼撮影部１１ａ，１１ｂ，１１ｃのシャッタを制御することによって撮影させ、撮影画像に関する撮影画像データを三次元座標算出装置３０へ出力する。本実施形態において、制御部１３は、第一の単眼撮影部１１ａを回転中心として複眼撮影装置１０を所定角度ずつ回転させて単眼撮影部１１ａ，１１ｂ，１１ｃに撮影させる。
また、制御部１３は、撮影順序（すなわち、撮影方向）に基づくＩＤを撮影画像データに付与し、ＩＤが付与された撮影画像データを三次元座標算出装置３０へ出力する。ここで、第一の単眼撮影部１１ａによって撮影された第一撮影画像に関する第一撮影画像データ、第二の単眼撮影部１１ｂによって撮影された第二撮影画像に関する第二撮影画像データ、第三の単眼撮影部１１ｃによって撮影された第三撮影画像に関する第三撮影画像データのうち、撮影方向が同じものに関しては同一ＩＤが付与されて関連付けられる。また、第二撮影画像データ及び第三撮影画像データは、各撮影画像内における後記する第一の三次元座標系の座標のうち、Ｘ軸及びＹ軸方向の座標値と対応がとれている。

＜入力装置２０＞
入力装置２０は、キーボード、マウス等からなり、ユーザの操作に応じて、単眼パノラマ画像における画像データ指定指示、第二撮影画像及び第三撮影画像における指定点指示等を三次元座標算出装置３０へ出力する。

＜三次元座標算出装置３０＞
三次元座標算出装置３０は、ＣＰＵ、ＲＯＭ、ＲＡＭ、入出力回路等から構成されており、機能部として、撮影画像データ記憶部３１と、マップ記憶部３２と、単眼パノラマ画像データ生成部３３と、画像データ出力部３４と、画像データ指定取得部３５と、指定点取得部３６と、第一の三次元座標算出部３７と、第二の三次元座標算出部３８と、三次元距離算出部３９と、を備える。かかる三次元座標算出装置３０は、一の画像データにおいて指定された指定点に対応する対応点を他の画像データにおいて検索する画像検索装置でもある。

≪撮影画像データ記憶部３１≫
撮影画像データ記憶部３１には、制御部１３から出力された複数の撮影画像に関する複数の撮影画像データが入力されて記憶される。

≪マップ記憶部３２≫
マップ記憶部３２には、第一の単眼撮影部１１ａの複数の第一撮影画像（第一撮影画像データ）に基づいて単眼パノラマ画像を生成する際に用いられる単眼パノラママップが予め記憶されている。

≪単眼パノラマ画像データ生成部３３≫
単眼パノラマ画像データ生成部３３は、撮影画像データ記憶部３１から出力された複数の第一撮影画像データを読み出し、読み出された第一撮影画像データに基づいて、単眼パノラマ画像に関する単眼パノラマ画像データを生成する。
具体的には、単眼パノラマ画像データ生成部３３は、マップ記憶部３２に予め記憶された単眼パノラママップ５０（図２参照）を読み出し、第一の単眼撮影部１１ａによって撮影された第一撮影画像データを単眼パノラママップ５０の板モデル５１にマッピングすることによって、単眼パノラマ画像データを生成する。

ここで、図２を参照して、パノラママップ５０に関して説明する。図２に示すように、パノラママップ５０は、複数の板モデル５１を球状に配置して構成されている。パノラママップ５０（複数の板モデル５１によって構成された球）の中心は、撮影部１１の設置位置に対応しており、各板モデル５１は、第一の単眼撮影部１１ａによる各第一撮影画像の撮影範囲に対応している。すなわち、板モデル５１は、第一の単眼撮影部１１ａによる第一撮影画像と同数であり、パノラママップ５０の中心と隣り合う板モデル５１の各中心とをそれぞれ結んだ二本の線分からなる角の角度は、第一の単眼撮影部１１ａの設置位置で隣り合う第一撮影画像を撮影したときの第一の単眼撮影部１１ａによる撮影方向の角度差に対応しており、各板モデル５１の縦横比は、第一の単眼撮影部１１ａ各第一撮影画像の縦横比に対応しており、複数の板モデル５１によって構成された球の中心から板モデル５１までの距離及び板モデル５１の縦横サイズは、第一の単眼撮影部１１ａの焦点距離及び撮影画像の縦横サイズに対応している。また、各板モデル５１には、第一撮影画像データと同様にＩＤが付与されており、単眼パノラマ画像データ生成部３３は、第一撮影画像データに付与されたＩＤと板モデル５１に付与されたＩＤとに基づいて、第一撮影画像データを対応する板モデル５１にマッピングすることによって、単眼パノラマ画像データを生成し、生成された単眼パノラマ画像データを画像データ出力部３４に出力したり、記憶部３２に記憶させたりする。ここで、単眼パノラマ画像データ生成部３３は、入力部２０から出力された視点位置指示に基づいて、当該視点位置を中心とした所定範囲の単眼パノラマ画像データを生成することができる。

≪画像データ出力部３４≫
画像データ出力部３４は、単眼パノラマ画像データを表示装置４０へ出力するものであって、本実施形態では、単眼パノラマ画像データ生成部３３から出力された単眼パノラマ画像データを表示装置４０へ出力したり、撮影画像データ記憶部３１から読み出された第二撮影画像データ及び第三撮影画像データを表示装置４０へ出力したりする。

≪画像データ指定取得部３５≫
画像データ指定取得部３５は、ユーザの操作に応じて、表示装置４０に表示された単眼パノラマ画像から一の第一撮影画像データの指定を取得し、かかる指定結果（例えば、指定された第一撮影画像データのＩＤ）を画像データ出力部３４へ出力する。指定結果を取得すると、画像データ出力部３４は、指定結果に応じた第一撮影画像データを撮影画像データ記憶部３１から読み出し、第一撮影画像データを表示装置４０へ出力し、指定結果に応じた第一撮影画像を表示装置４０に表示させる。

≪指定点取得部３６≫
指定点取得部３６は、入力装置２０から出力された、第一撮影画像における指定点指示を取得する。また、指定点取得部３５は、取得した指定点指示を用いることによって、撮影画像データ記憶部３１に記憶された第一撮影画像データにおける指定点の二次元座標（Ｘ軸及びＹ軸の座標値）を取得し、対応点検索部６１へ出力する。

≪対応点検索部６１≫
対応点検索部６１は、第一撮影画像データにおける指定点周辺のデータを用いたマッチングによって、第二撮影画像データ及び第三撮影画像データのぞれぞれにおいて指定点に対応する対応点を検索し、発見された対応点の二次元座標を第一の三次元座標算出部３７へ出力する。ここで、対応点検索部６１によるマッチング手法としては、画像データの輝度分布の一致率等を用いたものであってもよく、その他、公知の画像マッチング手法が適用可能である。

≪第一の三次元座標算出部３７≫
第一の三次元座標算出部３７は、対応点検索部６１から出力された対応点の二次元座標と、単眼撮影部１１ｂ，１１ｃ間の距離ｄと、単眼撮影部１１ｂ，１１ｃの焦点距離ｆと、に基づいて、対応点の第一の三次元座標を算出し、第二の三次元座標算出部３８へ出力する。ここで、第一の三次元座標は、単眼撮影部１１ａ〜１１ｃの撮影方向を基準として撮影方向ごとに固有な第一の三次元座標系における座標であり、第一の三次元座標系は撮影三次元座標系ともいい、第一の三次元座標は撮影三次元座標ともいう。すなわち、第一の三次元座標系は、撮影方向が同一の第二撮影画像及び第三撮影画像においては共通であり、撮影方向が異なる画像間においては異なる。

（第一の三次元座標の算出原理）
ここで、図３（ａ）（ｂ）を参照して、第一の三次元座標算出部３７における第一の三次元座標の算出原理について説明する。以下では、単眼撮影部１１ａ，１１ｂ，１１ｃの配列方向をＸ軸、単眼撮影部１１ａ，１１ｂ，１１ｃの光軸方向をＺ軸、Ｘ軸及びＺ軸と直交するＹ軸からなる右手座標系の三次元座標空間について考えるものとする。第一の単眼撮影部１１ａを第一の三次元座標系における原点に配置し、左側の第二の単眼撮影部１１ｂと右側の第三の単眼撮影部１１ｃとの間隔をｄとすると、第一の単眼撮影部１１ａの第一の三次元座標Ｏ_１、第二の単眼撮影部１１ｂの第一の三次元座標Ｏ_２、第三の単眼撮影部１１ｃの第一の三次元座標Ｏ_３は、以下のようになる。
Ｏ_１＝（０，０，０）
Ｏ_２＝（−ｄ／２，０，０）
Ｏ_３＝（ｄ／２，０，０）

相対三次元座標Ｒ＝（ｘ_Ｒ，ｙ_Ｒ，ｚ_Ｒ）に位置する対象物を単眼撮影部１１ｂ，１１ｃを用いて撮影し、かかる対象物が第二の単眼撮影部１１ｂによる第二撮影画像の二次元座標Ｎ_２＝（ｘ_２，ｙ_２）、すなわち第一の三次元座標（ｘ_２，ｙ_２，−ｆ）に写っており、第三の単眼撮影部１１ｃによる第三撮影画像の二次元座標Ｎ_３＝（ｘ_３，ｙ_３）、すなわち第一の三次元座標（ｘ_３，ｙ_３，−ｆ）に写っているとする。
ここで、三角形ＲＯ_２Ｏ_３と三角形ＲＮ_２Ｎ_３とは相似であるため、以下の関係が成立する。
ｘ_Ｒ＝ｄ（ｘ_２＋ｘ_３）／｛２（ｘ_２−ｘ_３＋ｄ）｝
ｙ_Ｒ＝ｄ（ｙ_２＋ｙ_３）／｛２（ｙ_２−ｙ_３＋ｄ）｝
ｚ_Ｒ＝−ｄｆ／｛２（ｘ_２−ｘ_３＋ｄ）｝
すなわち、第一の三次元座標算出部３７は、予め定められた焦点距離ｆ及び間隔ｄと、撮影画像の二次元座標の値と、を用いることによって、所望の位置の第一の三次元座標Ｒ＝（ｘ_Ｒ，ｙ_Ｒ，ｚ_Ｒ）を算出することができる。

≪第二の三次元座標算出部３８≫
第二の三次元座標算出部３８は、第一の三次元座標算出部３７から出力された対応点の第一の三次元座標と、撮影時における単眼撮影部１１ｂ，１１ｃの撮影方向と、に基づいて、対応点の第二の三次元座標を算出し、三次元距離算出部３９及び画像データ出力部３４へ出力する。このようにすることで、算出された第二の三次元座標が、後記する表示装置４０に表示される。ここで、第二の三次元座標は、前記した第一の三次元座標系を統合した、全ての撮影方向において共通な第二の三次元座標系における座標であり、第二の三次元座標系はパノラマ三次元座標系ともいい、第二の三次元座標はパノラマ三次元座標ともいう。すなわち、第二の三次元座標系は、全ての第二撮影画像及び第三撮影画像において共通である。

（第二の三次元座標の算出原理）
ここで、第二の三次元座標算出部３８における第二の三次元座標の算出原理について説明する。第二の三次元座標算出部３８は、第二の三次元座標系における単眼撮影部１１ｂ，１１ｃの撮影方向の基準からのＹ軸周りの回転角度をθ、Ｘ軸周りの回転角度をφとしたとき、下記式によって、指定点の第二の三次元座標Ａ＝（ｘ_Ａ，ｙ_Ａ，ｚ_Ａ）を算出することができる。

ここで、回転角度θ，φとしては、パノラママップ５０の板モデル５１に関連付けてマップ記憶部３２に予め記憶されたものを用いることができる。

ここで、図４（ａ）（ｂ）に示すように、相対三次元座標のＸ軸（Ｘ_Ｒ軸）周りの角度φの回転と、相対三次元座標のＹ軸（Ｙ_Ｒ軸）周りの角度θの回転と、を第一の三次元座標系に施すことによって、相対三次元座標のＸ_Ｒ軸、Ｙ_Ｒ軸及びＺ軸（Ｚ_Ｒ軸）が、第二の三次元座標系のＸ軸（Ｘ_Ａ軸）、Ｙ軸（Ｙ_Ａ軸）及びＺ軸（Ｚ_Ａ軸）とそれぞれ一致する。なお、φは、Ｘ_Ａ軸の正側から見て反時計回りが正、時計回りが負である。θは、Ｙ_Ａ軸の正側から見て反時計回りが正、時計回りが負である。
すなわち、第一の三次元座標系における対応点の第一の三次元座標Ｒ＝（ｘ_Ｒ，ｙ_Ｒ，ｚ_Ｒ）に、Ｙ軸周りの回転（パン方向の回転）変換と、Ｘ軸周りの回転（チルト方向の回転）変換と、を施すことによって、指定点の第二の三次元座標Ａ＝（ｘ_Ａ，ｙ_Ａ，ｚ_Ａ）が算出される。本実施形態において、第二の三次元座標系における原点と第一の三次元座標系における原点すなわちＯ_１とは同じ位置であり、回転角度θは、第二の三次元座標系のＹ軸と第一の三次元座標系のＹ軸とがなす角度であり、回転角度φは、第二の三次元座標系のＸ軸と第一の三次元座標系のＸ軸とがなす角度である。また、本実施形態において、相対三次元座標系におけるＸ軸は、常に水平方向に保たれているので、Ｚ軸周りの回転変換は不要である。

≪三次元距離算出部３９≫
三次元距離算出部３９は、第二の三次元座標算出部３８から出力された２つの対応点の第二の三次元座標を取得し、取得された第二の三次元座標に基づいて、２つの対応点間の三次元距離を算出し、画像データ出力部３４へ出力する。そして、画像データ出力部３４は、算出された三次元距離を表示装置４０へ出力して表示装置４０に表示させることができる。

＜表示装置４０＞
表示装置４０は、三次元座標算出装置３０から出力されたパノラマ画像データを用いてパノラマ画像を表示したり、第二撮影画像データ及び第三撮影画像データを用いて第二撮影画像及び第三撮影画像を表示したりするものである。

＜動作例＞
続いて、本発明の第一の実施形態に係るパノラマ画像表示システム１Ａの動作例について、異なる第一撮影画像に含まれる指定点（始点及び終点）の第二の三次元座標及び三次元距離を算出する場合を例にとり、図１，５〜８を参照して説明する。

まず、制御部１３は、駆動部１２を回転させることによって、単眼撮影部１１ａ，１１ｂ，１１ｃを所望の撮影方向に向け、かかる状態で単眼撮影部１１ａ，１１ｂ，１１ｃのシャッタを制御することによって撮影し、撮影画像に関する撮影画像データを三次元座標算出装置３０へ出力する。

続いて、単眼パノラマ画像データ生成部３３は、第一の単眼撮影部１１ａによって撮影された複数の第一撮影画像データを撮影画像データ記憶部３１から読み出し、読み出された第一撮影画像データに基づいて単眼パノラマ画像データを生成し、画像データ出力部３４へ出力する。画像データ出力部３４は、単眼パノラマ画像データを表示装置４０へ出力し、表示装置４０は、単眼パノラマ画像を表示する。

かかる状態において、ユーザが入力装置２０を操作し、図６（ａ）に示す第一撮影画像１１１において、始点としての指定点Ｐ１１を指定すると、第一撮影画像１１１における指定点指示が指定点取得部３６に入力される（図５のステップＳ１）。

続いて、図６（ｂ）に示すように、対応点検索部６１は、第一撮影画像１１１において指定点Ｐ１１を中心とする第一領域（例えば、２５６ピクセル×２５６ピクセル）Ａ１１を設定する（ステップＳ２）とともに、第一撮影画像１１１に対応する第二撮影画像１１２及び第三撮影画像１１３において、検索対象領域Ａ１２を設定する（ステップＳ３）。ここで、検索対象領域Ａ１２は、帯状の領域であって、第二撮影画像１１２及び第三撮影画像１１３において単眼撮影部１１ａ〜１１ｃの配列方向全域にわたって設定されており、各単眼撮影部１１ａ〜１１ｃの配列方向（横方向）に直交する方向（縦方向）において第一領域Ａ１１を含み得る幅を有する。対応点検索部６１は、第一領域Ａ１１を用いたマッチングによって、第二撮影画像１１２及び第三撮影画像１１３の検索対象領域Ａ１２内を検索する（ステップＳ４）。

図７（ａ）に示すように、検索対象領域Ａ１２内において第一領域Ａ１１に対応する領域Ａ１３が発見されると（ステップＳ５でＹｅｓ）、対応点検索部６１は、第一撮影画像１１１において指定点Ｐ１１を中心とする含む第一領域Ａ１１よりも狭い第二領域Ａ１４（例えば、６４ピクセル×６４ピクセル）を設定する（ステップＳ６でＮｏ、かつ、ステップＳ２）とともに領域Ａ１３を検索対象領域に設定する（ステップＳ３）。対応点検索部６１は、第二領域Ａ１４を用いたマッチングによって、第二撮影画像１１２及び第三撮影画像１１３の第一領域Ａ１１に対応する領域Ａ１３内を検索する（ステップＳ４）。

対応点検索部６１は、前記動作を第一撮影画像１１１における指定点Ｐ１１を中心とする領域のサイズを段階的に小さくして繰り返し（２５６×２５６→６４×６４→８×８）、図７（ｂ）に示すように、指定点Ｐ１１に対応する対応点Ｐ１２を決定する（ステップＳ６）。

ここで、例えば検索対象領域Ａ１２内において第一領域Ａ１に対応する領域Ａ１３が発見されなかった場合には（ステップＳ５でＮｏ）、図８に示すように、対応点検索部６１は、第一領域Ａ１１を右下領域Ａ１１ａ、左下領域Ａ１１ｂ、左上領域Ａ１１ｃ、右上領域Ａ１１ｄに四分割し（ステップＳ１１）、分割された各領域Ａ１１ａ〜Ａ１１ｄを用いたマッチングによって、第二撮影画像１１２及び第三撮影画像１１３の検索対象領域Ａ１２内を検索する（ステップＳ１２）。

ここで、分割された各領域Ａ１１ａ〜Ａ１１ｄを用いたマッチングでは、上側の領域Ａ１１ｃ，Ａ１１ｄよりも先に下側の領域Ａ１１ａ，Ａ１１ｂを用いることが望ましい。本実施形態では、右下領域Ａ１１ａ→左下領域Ａ１１ｂ→左上領域Ａ１１ｃ→右上領域Ａ１１ｄの順にマッチングを行い、対応する領域が発見された時点で次のステップに移行する。
実際の撮影画像では、大きい物体の上に小さい物体が設置されていて、下側よりも上側の方が、より奥側が写っているケースが多い。したがって、撮影画像同士の差異が小さい手前側が撮影された可能性が高い下側の領域Ａ１１ａ，Ａ１１ｂを先に用いてマッチングすることによって、マッチングの精度及び速度を両立させることができる。

検索対象領域Ａ１２内において各領域Ａ１１ａ〜Ａ１１ｄのいずれかに対応する領域が発見されると（ステップＳ１３でＹｅｓ）、対応点検索部６１は、第一撮影画像１１１において指定点Ｐ１１を中心とする含む第一領域Ａ１１よりも狭い第二領域Ａ１４（例えば、６４ピクセル×６４ピクセル）を設定する（ステップＳ６でＮｏ、かつ、ステップＳ２）とともに、発見された領域に基づいてそれ以外の領域を補完することによって、第一領域Ａ１１に対応する領域Ａ１３を設定する（ステップＳ３）。

なお、かかる動作例において、ステップＳ４，Ｓ５を省略し、ステップＳ３における検索対象領域設定の後、直ちにステップＳ１１における分割領域設定を行う構成であってもよい。

対応点検索部６１は、第二撮影画像１１２及び第三撮影画像１１３における対応点Ｐ１２を決定すると、撮影画像データ記憶部３１に記憶された、第二撮影画像１１２における対応点Ｐ１２の二次元座標（ｘ_１１，ｙ_１１）及び第三撮影画像１１３における対応点Ｐ１２の二次元座標（ｘ_２１，ｙ_２１）を取得し、第一の三次元座標算出部３７へ出力する。

続いて、第一の三次元座標算出部３７は、下記式に基づいて、始点としての対応点Ｐ１２の第一の三次元座標Ｒ_Ｓ＝（ｘ_ＲＳ，ｙ_ＲＳ，ｚ_ＲＳ）を算出し、第二の三次元座標算出部３８へ出力する。
ｘ_ＲＳ＝ｄ（ｘ_１１＋ｘ_２１）／｛２（ｘ_１１−ｘ_２１＋ｄ）｝
ｙ_ＲＳ＝ｄ（ｙ_１１＋ｙ_２１）／｛２（ｙ_１１−ｙ_２１＋ｄ）｝
ｚ_ＲＳ＝−ｄｆ／｛２（ｘ_１１−ｘ_２１＋ｄ）｝

続いて、ユーザが入力装置２０を操作し、第一撮影画像における終点としての指定点を指定すると、対応点検索部６１は、図５のフローを実行することによって、第一撮影画像に対応する第二撮影画像及び第三撮影画像における対応点を決定し、撮影画像データ記憶部３１に記憶された、第二撮影画像１２２における対応点の二次元座標（ｘ_１２，ｙ_１２）及び第三撮影画像１２３における対応点の二次元座標（ｘ_２２，ｙ_２２）を取得し、第一の三次元座標算出部３７へ出力する。

続いて、第一の三次元座標算出部３７は、下記式に基づいて、終点としての対応点の相対三次元座標Ｒ_Ｅ＝（ｘ_ＲＥ，ｙ_ＲＥ，ｚ_ＲＥ）を算出し、第二の三次元座標算出部３８へ出力する。
ｘ_ＲＥ＝ｄ（ｘ_１２＋ｘ_２２）／｛２（ｘ_１２−ｘ_２２＋ｄ）｝
ｙ_ＲＥ＝ｄ（ｙ_１２＋ｙ_２２）／｛２（ｙ_１２−ｙ_２２＋ｄ）｝
ｚ_ＲＥ＝−ｄｆ／｛２（ｘ_１２−ｘ_２２＋ｄ）｝

第二の三次元座標算出部３８は、下記式に基づいて、始点及び終点の第二の三次元座標Ａ_Ｓ＝（ｘ_ＡＳ，ｙ_ＡＳ，ｚ_ＡＳ）、Ａ_Ｅ＝（ｘ_ＡＥ，ｙ_ＡＥ，ｚ_ＡＥ）を算出し、三次元距離算出部３９へ出力する。

続いて、三次元距離算出部３９は、下記式に基づいて始点及び終点間の三次元距離Ｄを算出する。これにより、三次元距離が表示装置４０に表示される。
Ｄ＝｛（ｘ_ＡＥ−ｘ_ＡＳ）^２＋（ｙ_ＡＥ−ｙ_ＡＳ）^２＋（ｚ_ＡＥ−ｚ_ＡＳ）^２｝^１／２

本発明の第一の実施形態に係るパノラマ画像表示システム１Ａは、第一撮影画像における指定点に対応する対応点を、第二撮影画像及び第三撮影画像から検索するので、利用者の手動操作によって対応点が決定される場合と比較して、指定点と対応点とのずれを抑制することができる。
また、パノラマ画像表示システム１Ａは、パノラマ画像に含まれる全ての画像に共通に使用可能な第二の三次元座標を算出することができる。また、パノラマ画像表示システム１Ａは、２つの指定点間の三次元距離を算出することができる。また、パノラマ画像表示システム１Ａは、一の撮影方向において、単眼パノラマ画像用の１枚の撮影画像に対応する第一撮影画像データよりも指定点取得用の２枚の撮影画像に対応する第二撮影画像データ及び第三撮影画像データのそれぞれの撮影範囲の方を広く設定しておくことで、第一撮影画像データにおける周縁付近を指定点とした場合であっても、かかる指定点が第二撮影画像データ及び第三撮影画像データの撮影範囲内に確実に入ることとなり、第二の三次元座標及び三次元距離を確実に算出することができる。

＜第二の実施形態＞
続いて、本発明の第二の実施形態に係るパノラマ画像表示システムについて、第一の実施形態に係るパノラマ画像表示システム１Ａとの相違点を中心に説明する。

図９に示すように、本発明の第二の実施形態に係るパノラマ画像表示システム１Ｂは、複眼撮影装置１０Ａに代えて複眼撮影装置１０Ｂを備える。複眼撮影装置１０Ｂは、焦点距離ｆの第一の単眼撮影部１１ａ及び第二の単眼撮影部１１ｂを備えており、第三の単眼撮影部１１ｃは省略されている。本実施形態における第一の単眼撮影部１１ａによって撮影された第一撮影画像データは、第一の実施形態における第一撮影画像データ及び第二撮影画像データと同様に用いられ、本実施形態における第二の単眼撮影部１１ｂによって撮影された第二撮影画像データは、第一の実施形態における第三撮影画像データと同様に用いられる。

図８に示すように、第一の単眼撮影部１１ａを第一の三次元座標系における原点に配置し、左側の第一の単眼撮影部１１ａと右側の第二の単眼撮影部１１ｂとの間隔をｄとすると、第一の単眼撮影部１１ａの第一の三次元座標Ｏ_１、第二の単眼撮影部１１ｂの第一の三次元座標Ｏ_２は、以下のようになる。
Ｏ_１＝（０，０，０）
Ｏ_２＝（ｄ，０，０）

相対三次元座標Ｒ＝（ｘ_Ｒ，ｙ_Ｒ，ｚ_Ｒ）に位置する対象物を単眼撮影部１１ａ，１１ｂを用いて撮影し、かかる対象物が第二の単眼撮影部１１ａによる第一撮影画像の二次元座標Ｎ_１＝（ｘ_１，ｙ_２）、すなわち第一の三次元座標（ｘ_１，ｙ_１，−ｆ）に写っており、第二の単眼撮影部１１ｂによる第二撮影画像の二次元座標Ｎ_２＝（ｘ_２，ｙ_２）、すなわち第一の三次元座標（ｘ_２，ｙ_２，−ｆ）に写っているとする。
ここで、三角形ＲＯ_１Ｏ_２と三角形ＲＮ_１Ｎ_２とは相似であるため、以下の関係が成立する。
ｘ_Ｒ＝ｄｘ_１／（ｘ_１−ｘ_２）
ｙ_Ｒ＝ｄｙ_１／（ｘ_１−ｘ_２）
ｚ_Ｒ＝−ｄｆ／（ｘ_１−ｘ_２）
すなわち、第一の三次元座標算出部３７は、予め定められた焦点距離ｆ及び間隔ｄと、撮影画像の二次元座標の値と、を用いることによって、所望の位置の第一の三次元座標Ｒ＝（ｘ_Ｒ，ｙ_Ｒ，ｚ_Ｒ）を算出することができる。

＜動作例＞
続いて、本発明の第二の実施形態に係るパノラマ画像表示システム１Ｂの動作例について、異なる第一撮影画像に含まれる柱における指定点Ｓ，Ｅの第二の三次元座標及び三次元距離を算出する場合を例にとり、図５，９，１１，１２を参照して説明する。

まず、制御部１３は、駆動部１２を回転させることによって、単眼撮影部１１ａ，１１ｂを所望の撮影方向に向け、かかる状態で単眼撮影部１１ａ，１１ｂのシャッタを制御することによって撮影し、撮影画像に関する撮影画像データを三次元座標算出装置３０へ出力する。

かかる状態において、ユーザが入力装置２０を操作し、図１１（ａ）に示す第一撮影画像１２１における始点としての指定点Ｐ２１を指定すると、第一撮影画像１２１における指定点指示が指定点取得部３６に入力される（図５のステップＳ１）。

続いて、図１１（ｂ）に示すように、対応点検索部６１は、第一撮影画像１１１において指定点Ｐ２１を中心とする第一領域（例えば、２５６ピクセル×２５６ピクセル）Ａ２１を設定する（ステップＳ２）とともに、第一撮影画像１２１に対応する第二撮影画像１２２において、検索対象領域Ａ２２を設定する（ステップＳ３）。ここで、検索対象領域Ａ２２は、第二撮影画像１１２において各単眼撮影部１１ａ，１１ｂの配列方向全域にわたって設定されており、各単眼撮影部１１ａ，１１ｂの配列方向（横方向）に直交する方向（縦方向）において第一領域Ａ２１を含み得る幅を有する。対応点検索部６１は、第一領域Ａ２１を用いたマッチングによって、第二撮影画像１２２の検索対象領域Ａ２２内を検索する（ステップＳ４）。

図１２（ａ）に示すように、検索対象領域Ａ２２内において第一領域Ａ２１に対応する領域Ａ２３が発見されると（ステップＳ５でＹｅｓ）、対応点検索部６１は、第一撮影画像１２１において指定点Ｐ２１を中心とする含む第一領域Ａ２１よりも狭い第二領域Ａ２４（例えば、６４ピクセル×６４ピクセル）を設定する（ステップＳ６でＮｏ、かつ、ステップＳ２）とともに領域Ａ２３を検索対象領域に設定する（ステップＳ３）。対応点検索部６１は、第二領域Ａ２４を用いたマッチングによって、第二撮影画像１２２の第一領域Ａ２１に対応する領域Ａ２３内を検索する（ステップＳ４）。

対応点検索部６１は、前記動作を第一撮影画像１２１における指定点Ｐ２１を中心とする領域のサイズを段階的に小さくして繰り返し（２５６×２５６→６４×６４→８×８）、図１１（ｂ）に示すように、指定点Ｐ２１に対応する対応点Ｐ２２を決定する（ステップＳ６）。

ここで、例えば検索対象領域Ａ２２内において第一領域Ａ２１に対応する領域Ａ２３が発見されなかった場合には（ステップＳ５でＮｏ）、第一実施形態と同様に、対応点検索部６１は、第一領域Ａ２１を右下領域、左下領域、左上領域、右上領域に四分割し（ステップＳ１１）、分割された各領域を用いたマッチングによって、第二撮影画像１２２の検索対象領域Ａ２２内を検索する（ステップＳ１２）。

検索対象領域Ａ２２内において各領域のいずれかに対応する領域が発見されると（ステップＳ１３でＹｅｓ）、対応点検索部６１は、第一撮影画像１２１において指定点Ｐ２１を中心とする含む第一領域Ａ２１よりも狭い第二領域Ａ２４（例えば、６４ピクセル×６４ピクセル）を設定する（ステップＳ６でＮｏ、かつ、ステップＳ２）とともに、発見された領域に基づいてそれ以外の領域を補完することによって、第一領域Ａ２１に対応する領域Ａ２３を設定する（ステップＳ３）。

対応点検索部６１は、第二撮影画像１２２における対応点Ｐ２２を決定すると、撮影画像データ記憶部３１に記憶された、第二撮影画像１２２における対応点Ｐ２２の二次元座標（ｘ_２１，ｙ_２１）を取得し、指定点Ｐ２１の二次元座標（ｘ_１１，ｙ_１１）とともに第一の三次元座標算出部３７へ出力する

続いて、第一の三次元座標算出部３７は、下記式に基づいて、始点としての指定点Ｐ２１（対応点Ｐ２２）の第一の三次元座標Ｒ_Ｓ＝（ｘ_ＲＳ，ｙ_ＲＳ，ｚ_ＲＳ）を算出し、第二の三次元座標算出部３８へ出力する。
ｘ_ＲＳ＝ｄｘ_１１／（ｘ_１１−ｘ_２１）
ｙ_ＲＳ＝ｄｙ_１１／（ｘ_１１−ｘ_２１）
ｚ_ＲＳ＝−ｄｆ／（ｘ_１１−ｘ_２１）

続いて、ユーザが入力装置２０を操作し、第一撮影画像における終点としての指定点を指定すると、対応点検索部６１は、図５のフローを実行することによって、第一撮影画像に対応する第二撮影画像における対応点を決定し、撮影画像データ記憶部３１に記憶された、第二撮影画像における対応点の二次元座標（ｘ_２２，ｙ_２２）を取得し、指定点Ｐ２１の二次元座標（ｘ_１１，ｙ_１１）とともに第一の三次元座標算出部３７へ出力する。

続いて、第一の三次元座標算出部３７は、下記式に基づいて、終点としての指定点（対応点）の相対三次元座標Ｒ_Ｅ＝（ｘ_ＲＥ，ｙ_ＲＥ，ｚ_ＲＥ）を算出し、第二の三次元座標算出部３８へ出力する。
ｘ_ＲＥ＝ｄｘ_１２／（ｘ_１２−ｘ_２２）
ｙ_ＲＥ＝ｄｙ_１２／（ｘ_１２−ｘ_２２）
ｚ_ＲＥ＝−ｄｆ／（ｘ_１２−ｘ_２２）

第二の三次元座標算出部３８は、下記式に基づいて、指定及び終点の第二の三次元座標Ａ_Ｓ＝（ｘ_ＡＳ，ｙ_ＡＳ，ｚ_ＡＳ）、Ａ_Ｅ＝（ｘ_ＡＥ，ｙ_ＡＥ，ｚ_ＡＥ）を算出し、三次元距離算出部３９へ出力する。

本発明の第二の実施形態に係るパノラマ画像表示システム１Ｂは、パノラマ画像表示システム１Ａと比べて単眼撮影部を一つ省略することができる。

以上、本発明の実施形態について説明したが、本発明は前記実施形態に限定されず、本発明の要旨を逸脱しない範囲で適宜設計変更可能である。例えば、ステップＳ１１における領域の分割数は４に限定されない。また、算出された第二の三次元座標及び三次元距離をユーザに通知する手法は、表示装置４０に表示させることに限定されず、通知部としてのスピーカに発話させる構成であってもよい。また、Ｚ軸周りの回転（回転角度ψ）も考慮した場合には、第二の三次元座標は、下記式によって算出可能である。

また、本発明では第一の三次元座標系及び第二の三次元座標系として右手座標系を採用したが、左手座標系を採用することも可能である。

１Ａ，１Ｂパノラマ画像表示システム
３０三次元座標算出装置（画像検索装置）
３１画像データ記憶部
３３単眼パノラマ画像データ生成部
３４画像データ出力部
３５画像データ指定取得部
３６指定点取得部
３７第一の三次元座標算出部
３８第二の三次元座標算出部
３９三次元距離算出部
５１対応点検索部

Claims

第一撮影装置によって撮影された第一画像データと、前記第一撮影装置から所定距離離間した第二撮影装置によって撮影された第二画像データと、前記第一撮影装置から所定距離離間した第三撮影装置によって撮影された第三画像データと、が関連付けて記憶される画像データ記憶部と、
前記第一画像データを表示装置へ出力する画像データ出力部と、
ユーザによる入力装置の操作に応じて、前記第一画像データにおける指定点を取得する指定点取得部と、
前記第一画像データにおける前記指定点周辺の画像データを用いた画像マッチングによって、前記第二画像データ及び前記第三画像データのぞれぞれにおいて前記指定点に対応する対応点を検索する対応点検索部と、
を備え、
前記第一撮影装置、前記第二撮影装置及び前記第三撮影装置は、直線上に配列されて同一方向を撮影しており、
前記対応点検索部は、
前記第二画像データ及び前記第三画像データにおいて前記第一撮影装置、前記第二撮影装置及び前記第三撮影装置の配列方向とは直交する方向に所定幅を有する検索対象領域を設定し、前記第一画像データにおける前記指定点を含む第一領域のデータを用いて前記第二画像データ及び前記第三画像データの前記検索対象領域内をそれぞれ検索し、
前記検索対象領域内において前記第一領域に対応する領域が発見された場合には、前記第一画像データにおける前記指定点を含む前記第一領域よりも狭い第二領域のデータを用いて前記第二画像データ及び第三画像データの前記第一領域に対応する領域をそれぞれ検索し、
前記検索対象領域内において前記第一領域に対応する領域が発見されなかった場合には、前記第一領域を分割した領域を用いて前記第二画像データ及び前記第三画像データの前記第一領域に対応する領域を検索する
ことを特徴とする記載の画像検索装置。
第一撮影装置によって撮影された第一画像データと、前記第一撮影装置から所定距離離間した第二撮影装置によって撮影された第二画像データと、が関連付けて記憶される画像データ記憶部と、
前記第一画像データを表示装置へ出力する画像データ出力部と、
ユーザによる入力装置の操作に応じて、前記第一画像データにおける指定点を取得する指定点取得部と、
前記第一画像データにおける前記指定点周辺の画像データを用いた画像マッチングによって、前記第二画像データにおいて前記指定点に対応する対応点を検索する対応点検索部と、
を備え、
前記第一撮影装置及び前記第二撮影装置は、同一方向を撮影しており、
前記対応点検索部は、
前記第二画像データにおいて前記第一撮影装置及び前記第二撮影装置の配列方向とは直交する方向に所定幅を有する検索対象領域を設定し、前記第一画像データにおける前記指定点を含む第一領域のデータを用いて前記第二画像データの前記検索対象領域内を検索し、
前記検索対象領域内において前記第一領域に対応する領域が発見された場合には、前記第一画像データにおける前記指定点を含む前記第一領域よりも狭い第二領域のデータを用いて前記第二画像データの前記第一領域に対応する領域を検索し、
前記検索対象領域内において前記第一領域に対応する領域が発見されなかった場合には、前記第一領域を分割した領域を用いて前記第二画像データの前記第一領域に対応する領域を検索する
ことを特徴とする画像検索装置。