JP4751886B2 - 画像判定方法 - Google Patents

Description

本発明は、カメラにより撮影された映像及び画像における所定の被写体の映り具合を判定する画像判定方法などに関するものであり、特に、カメラと被写体との間に他建造物などが存在する場合であっても、当該他建造物を考慮して最適な映像及び画像データを選択することができる画像判定方法に関するものである。

従来、所定の被写体にかかる映像データなどを利用するユーザ（以下、単にユーザと表記する）が、当該被写体の映像データ及び画像を取得する場合には、異なる位置に設置された複数のカメラを利用して被写体を様々な方向から撮影し、撮影した映像及び画像群の中から最適なデータ、つまり、最も被写体の映り具合のよいデータをユーザ自身が閲覧選択し、選択した映像及び画像データを利用していた。

しかし、上述した手法では、複数のカメラが撮影する被写体の映像及び画像データの数が増えると、ユーザが一つ一つ各映像及び画像データを閲覧しながらチェックし、最適な映像中の画像フレーム及び画像データ（以下、単に画像と表記する）をユーザ自身が選択する必要があるため、ユーザにかかる負担が大きいという問題があった。

そこで、ユーザにかかる負担を軽減させるべく、カメラの撮影位置と方向と、被写体の位置を使い、カメラの撮影空間と被写体の位置関係に基づいて、最適な映像及び画像データを自動的に選択可能とする技術が公開されている（例えば、特許文献１、特許文献２参照）。これらの技術によれば、図２２に示すように、カメラＡが撮影した画像に対して、カメラＡの位置を頂点とし、撮影方向を中心として焦点距離などから算出したカメラ画角で広がる楕円錐、または四角錘の空間を撮影空間として定義し、その撮影空間内にある被写体ＡＢを該当画像に映っていると判定し、空間外にある被写体Ｃは映っていないと判定する。

また、映像及び画像の映り具合を判定する手法としては、カメラＡの画像に映っていると判定した被写体ＡＢに対して、カメラＡからの距離をそれぞれ求めて、距離が近い被写体Ｂを映りが良いと判定し、距離が遠い被写体Ａについては映りが悪いと判定する。

また、他の映像及び画像の映り具合を判定する手法としては、カメラの撮影空間に存在する被写体ＡＢの中でも特に、撮影空間の楕円錐または四角錘の中心軸近くに存在する被写体Ａの映り具合が良いと判定するという手法も存在する。

特開２００１−３４２５０号公報 特開２００３−１７９９０８号公報

しかしながら、かかる従来の技術では、必ずしも最適な映像及び画像データを選択することができないという問題があった。

なぜなら、図２３に示すように、たとえばカメラＡと被写体ＡＢとの間に他建造物体群が存在し、被写体ＡＢがこれらの他建造物物体群に隠れてしまい、カメラＡが被写体ＡＢを適切に撮影できない場合であっても、従来の手法では、被写体ＡＢに対する最適な画像データとして、カメラＡによって撮影された画像を誤選択してしまうからである。

この誤選択は、被写体の映り具合を判定して画像を選択する手法であっても起こり、従来の技術は、カメラと被写体との間に存在する他建造物を考慮していないため、最適な画像データを適切に選択することができない。

すなわち、カメラと被写体との間に他建造物などが存在する場合であっても、当該他建造物を考慮して最適な画像データを自動で選択可能とすることが極めて重要な課題となっている。

この発明は、上述した従来技術による問題点を解消するためになされたものであり、カメラと被写体との間に他建造物などが存在する場合であっても、当該他建造物を考慮して最適な画像データを自動で選択することができる画像判定方法を提供することを目的とする。

上述した課題を解決し、目的を達成するため、本発明は、コンピュータが、被写体の存在領域にかかわる情報に基づく被写体の形状に関する複数の特徴点のうち、第一の特徴点を抽出する工程と、前記第一の特徴点の位置および前記被写体を撮影するカメラの視点位置を結ぶ第一の線分と、他の被写体の存在領域に関する情報とに基づいて、該第一の線分上に該他の被写体が存在するか否かを判定する工程と、前記第一の特徴点とは異なる第二の特徴点に対する第二の線分に基づいて、前記他の被写体が前記第二の線分上に存在するか否かを判定する工程と、判定した結果に基づいて、前記カメラによる前記被写体の撮影が前記他の被写体によって遮蔽されている割合を算出する工程とを実行することを特徴とする。

本発明によれば、コンピュータが、被写体の存在領域にかかわる情報に基づく被写体の形状に関する複数の特徴点のうち、第一の特徴点を抽出する工程と、前記第一の特徴点の位置および前記被写体を撮影するカメラの視点位置を結ぶ第一の線分と、他の被写体の存在領域に関する情報とに基づいて、該第一の線分上に該他の被写体が存在するか否かを判定する工程と、前記第一の特徴点とは異なる第二の特徴点に対する第二の線分に基づいて、前記他の被写体が前記第二の線分上に存在するか否かを判定する工程と、判定した結果に基づいて、前記カメラによる前記被写体の撮影が前記他の被写体によって遮蔽されている割合を算出する工程とを実行するので、被写体と障害物とがどの程度重なっているのかを判定することができる。また、所定の被写体の映り具合の良い最適な画像データを選択することができる。

以下に、本発明における画像判定方法の実施例について説明する。

まず、本発明における画像判定方式の原理について説明する。図１は、本発明における画像判定方式の原理を示す原理図である。同図は、映像および画像内で対象となる被写体（以下、判定対象被写体）がどのような他物体遮蔽を受けているかという映り具合を、他物体遮蔽指標として算出する画像判定方式１００の構成を示すと同時に、画像判定方式１００が利用するデータ類を示す。

画像判定方式１００は、映像および画像内での具体的な他物体遮蔽による映り具合判定を開始する前処理として、主に判定対象被写体に関する処理を行う被写体形状推定部１２０と、被写体特徴点抽出部１３０を有し、この前処理の結果を用いて映像または画像の各画像フレームにおける映り具合判定そのものを処理する、他物体遮蔽判定部１４０と、他物体遮蔽指標算出部１５０とを有する。利用データ類は、画像判定方式１００を適用する判定対象被写体に関するデータである、被写体領域位置情報１１０ｄと、映像及び画像を撮影したカメラに関するカメラデータ１１０ｅと、当方式の前処理および本処理で利用する建造物・地表高さマップ情報１１０がある。

被写体領域位置情報１１０ｄは、判定対象被写体の存在領域の位置情報である。存在領域は、一点、楕円、矩形、多角形、など、様々な指定がありうるが、例えば、存在領域を多角形とする場合には、その形状を構成する各頂点の緯度経度などの位置座標値、各頂点から多角形を構成するために必要な構造情報（トポロジ）等からなる。存在領域は、判定対象被写体の各マップ上の占有領域を特定するために用いる。

建造物・地表高さマップ情報１１０ｂは、人工建造物や樹木等の自然物（以下、建造物と記載）の高さ、建造物を除いた純粋な地表の高さ、などの各種高さ情報を、その測定位置と共にマップとした情報である。このマップ情報の具体的な保持例については、実施例１以降で詳しく述べるが、これらの各種高さは別々に保持しても良いし、足した高さを保持しても良い。また、ここでは、位置情報から各種高さを取得できるという意味で、理解のためマップと表現しているが、実際に装置に実装する場合は、テーブルリストとして保持することも可能である。図２は、建造物・地表高さマップ情報１１０ｂの一例を示す図である。

カメラデータ１１０ｅは、本発明を適用する、映像及び画像の各画像フレームに関係する撮影カメラの情報であり、カメラ位置、撮影方向、焦点距離などのカメラパラメータ、また、それらから算出できる画角などの情報である。本発明では、映像および画像の各画像フレームを直接判定に利用するのではなく、それらに関連するカメラデータ１１０ｅを画像判定に用い、判定結果が良いカメラデータ１１０ｅに対応する映像データを、最終的に判定対象被写体にかかわる最適な映像データとして選択する。

被写体形状推定部１２０は、被写体領域位置情報１１０ｄと建造物・地表高さマップ情報１１０ｂをつき合わせて、判定対象被写体の存在領域の高さを取得することで、被写体形状を推定する。なお、判定対象被写体の概形状を抽出する方法は、上述した方法に限られるものではなく、ＣＡＤ（computer aided design）データのような詳細な３次元データを用いて、判定対象被写体の概形状を抽出してもよい。

被写体特徴点抽出部１３０は、被写体形状推定部１２０で推定した形状を元に、判定対象被写体を代表する特徴点の位置及び高さを算出する。判定対象被写体の位置及び形状を代表する特徴点であれば、その算出方法は特に問わないものとする。例えば、実施例１で述べるように、形状を任意の幅でメッシュ分割してメッシュ格子点を利用してもよいし、ランダムに形状内から特徴点を取得してもよいし、形状の重心一点を特徴点にしてもよい。

他物体遮蔽判定部１４０は、被写体特徴点抽出部１３０で抽出した特徴点と、カメラデータ１１０ｅである判定対象のカメラ位置とを結ぶ線分上の各ポイントに対して、建造物・地表高さマップ情報１１０ｂ内の高さ情報を取得し、その高さと線分の高さを比較することで、線分を超える被写体物体の存在を検知する。さらに、被写体領域位置情報１１０ｄの判定対象被写体の存在領域内に被写体物体が存在したポイント位置があるか否かを判定することで、被写体物体が判定対象被写体であるか否か、すなわち、他物体であるか否かを判定する。なお、調査した線分上のポイント全てで線分を超える被写体物体が存在しなかった場合は、該当特徴点は、何にも遮られないと判定する。他物体遮蔽判定部１４０は、これらの判定で特徴点を、他物体によって遮られた、判定対象被写体自身によって遮られた、何にも遮られない、の３種類に分類する。

他物体遮蔽指標算出部１５０は、他物体遮蔽判定部１４０で判定した、特徴点ごとの判定分類結果を用いて、該当カメラの関係する映像及び画像における、判定対象被写体の他物体遮蔽に関する映り具合を表す指標値を、最終的に算出する。

このように、画像判定方式１００は判定対象被写体の特徴点を抽出し、抽出した特徴点および他の被写体の高さなどを基にして、カメラから見た特徴点がどのくらい他の被写体によって隠れているかを推定し、その画像における判定対象被写体の映り具合を判定するので、ユーザは判定結果を基にして、複数のカメラによって撮影された複数の映像及び画像データの中から最適な映像及び画像データを効率よく選択することができる。

次に、本発明における画像判定方式の原理図の具体的な実施例として、画像判定方式を搭載した装置（以下、画像判定装置）の構成例である実施例１を、図面に基づいて詳細に説明する。図３は、本実施例１における画像判定装置の構成を示す機能ブロック図である。同図に示すように、この画像判定装置１０は、図１で示した本発明の原理図に加えて、入力装置４０および表示装置５０、ベクトル地図情報１１０ａ、従来被写体内在判定部６０、映像データ１１０ｃ、表示処理部１６０を有する。また、建造物・地表高さマップ情報１１０ｂの一例として、建造物こみ地表高さマップ情報１００ｂａと、地表高さマップ情報１１０ｂｂを有する。

入力装置４０は、キーボードやマウスなどの入力装置であり、出力装置５０は、ディスプレイなどの表示装置である。

ベクトル地図情報１１０ａは、図４で示すような、一般的なベクトル地図であり、建造物などの被写体が存在する地図上の領域を示す。本実施例１では、ユーザが、このベクトル地図を利用して判定対象被写体領域の位置を指定し、指定された領域位置に合致するベクトル図形をそのまま被写体領域位置情報１１０ｄとして利用する一例を示す。

図５は、本実施例１の画像判定方式を搭載した装置が、画像判定方式の利用開始に伴い、表示装置５０に表示させるベクトル地図を使った表示の一例を示す図である。ユーザは、表示装置５０に表示されたベクトル地図を基にして、判定対象被写体を指定して、ベクトル地図上のベクトル形状を選択し、その形状の各点の緯度経度等の位置情報、すなわち判定対象被写体領域の輪郭点を、被写体領域位置情報１１０ｄとみなす。この際、ユーザは、入力装置４０を利用して表示装置５０に表示されたベクトル地図上に存在する判定対象被写体をなぞって指定し、その位置にあるベクトル形状を選択する。

なお、ベクトル地図情報１１０ａを用いて被写体領域位置情報１１０ｄを取得する方法は、図５に示した方法に限定されるものではなく、例えば、図６に示すように、判定対象被写体を円で囲んで近隣のベクトル形状を指定してもよいし、図７に示すように、判定対象被写体を多角形で囲んで近隣のベクトル形状を指定してもよい。また、名前や住所、電話番号などと、ベクトル地図上のベクトル図形をあらかじめ対応付けしたものを用意しておき、名前や住所、電話番号などでベクトル図形を指定してもよい。

もちろん、本実施例１のようにベクトル地図情報１１０ａを使わずに写体領域位置情報１１０ｄを取得することも可能であり、判定対象となる被写体領域の輪郭を、緯度経度の数値で直接指定したり、または、図４のベクトル地図の代わりに、周辺領域を上空から撮影した写真や描いた絵などを表示し、図４に類似した入力装置で輪郭を描画しながら、入力装置内の描画位置を直接緯度経度に変換することで指定してもよい。

建造物・地表高さマップ情報１１０ｂは、本実施例１では一例として、建造物を含む地表の高さのデジタル地図である、建造物こみ地表高さマップ情報１１０ｂａと、純粋な地面の高さのデジタル地図である、地表の高さマップ情報１１０ｂｂから構成する。建造物こみ地表高さマップ情報１１０ｂａは、建造物がある位置は建造物の高さ、建造物がない場合は純粋な地面の高さを、位置と共に保持した情報である。この構成及び内容は一例であり、建造物のうち人工物だけの高さマップ、建造物のうち樹木のみの高さマップ、地表のみの高さマップ、など、各要素をそれぞれを分割保持して代用してもよいし、さらにこれらを行政区分単位等で分割保持してもよい。

カメラデータ１１０ｅは、図示しない複数のカメラによって映像及び画像を撮影した時のカメラの位置や方向、画角等のカメラデータを合わせたデータ群である。

映像データ１１０ｃは、図示しない複数のカメラによって撮影された映像及び画像そのものである。映像データ１１０ｃとカメラデータ１１０ｅは、相互関係がとれるように保持する。本実施例１の画像判定装置１０は、映像データ１１０ｃを直接判定するのではなく、関連するカメラデータ１１０ｅを使った画像判定方式１００を搭載することで、入力装置４０よりユーザによって指定された判定対象被写体にかかわる最適な映像データをこの映像データ１１０ｃから選択することを目的としている。

従来被写体内在判定部６０は、従来技術の項で述べた、カメラデータ１１０ｅを使って対応する映像データ１１０ｃ内に判定対象被写体が映っているかを間接的に調べる処理部である。まず、カメラデータ１１０ｅのカメラ位置や撮影方向、画角を用いて、カメラの撮影空間を楕円錘または四角錘などで定義する。次に、被写体領域位置情報１１０ｄの判定対象被写体の存在領域の位置情報を用いて、撮影空間内部に判定対象被写体が存在するか否かを判定する。具体的には、判定対象被写体のベクトル形状の各点の位置と撮影空間の位置を比較することで、ベクトル形状の一部または全部が撮影空間に含まれるか否かを判定する。撮影空間に含まれる場合は、判定対象被写体が撮影空間内部に存在するとみなし、該当するカメラデータ１１０ｅ及び対応する映像データ１１０ｃを、判定対象被写体が映っているデータであると判定する。

なお、従来技術では、実際には、判定被写体領域の形状（輪郭の複数点）ではなく、判定被写体の位置（一点）を使って、撮影空間内部に存在するか否かを判定することが多い。本実施例は、本手法の被写体領域位置情報１１０ｄを、ベクトル地図情報１１０ａから求めたため、判定対象被写体領域の形状（複数点）としているが、図１の本発明の原理図で示したように、被写体領域位置情報１１０ｄは、特に一点か複数点かを問わないため、従来のような一点として、撮影空間内部か否かの判定を行うことも可能である。

本実施例１では、画像判定方式１１０へカメラデータ１１０ｅをそのまま渡さず、従来被写体内在判定部６０を通し、判定対象被写体が各カメラの撮影範囲内にないカメラデータは渡さないことで、そもそも映像内に判定対象被写体が映っていないカメラデータに関しては画像判定方式１１０の入力とせず、他物体遮蔽による映り具合判定を行わないことを意図している。

被写体形状推定部１２０は、ベクトル地図情報１１０ａから取得した被写体領域位置情報１１０ｄの、判定対象被写体領域の輪郭の位置情報と、建造物・地表高さマップ情報１１０ｂ内の建造物こみ地表高さマップ情報１１０ｂａを突合せ、輪郭の各ポイントの位置に関わる建造物こみの地表の高さを調べることで、判定対象被写体の概形状の上面を抽出する。同様にして、建造物・地表高さマップ情報１１０ｂ内の地表高さマップ情報１１０ｂｂと突合せ、輪郭の各ポイントの位置に関わる地表の高さを調べることで、判定対象被写体の概形状の下面を抽出する。高さ的には、この上面と下面の間が、概形状になる。

図８は、被写体形状推定部１２０が判定対象被写体の概形状を取得する処理を説明するための説明図である。同図に示すように、判定対象被写体の概形状は、対応するベクトル図形（太線で示した図形。同図では、分かりやすく解説するため、判定対象被写体以外のベクトル図形も細い線で示している）の輪郭上の任意のポイントの緯度経度値と、当該緯度経度値に対応する建造物こみの地表高さマップ情報１１０ｂａ、及び地表高さマップ情報１１０ｂｂの高さをそれぞれ加えることで、判定対象被写体の概形状とする。被写体形状推定部１２０は、抽出した判定対象被写体の形状情報を被写体特徴点抽出部１３０に渡す。

なお、判定対象被写体の概形状を抽出する方法は、上述した方法に限られるものではなく、被写体の輪郭上の各ポイントの高さをそれぞれ正確に求めずに、例えば、被写体の輪郭形状の中心位置を求めて、その中心位置での高さを、当該被写体にかかわる高さとして代用してもよい。

被写体特徴点抽出部１３０は、被写体形状推定部１２０から判定対象被写体の概形状情報を取得し、建造物・地表高さマップ情報１１０ｂの建造物の高さ及び地表の高さを適宜調べながら、判定対象被写体の特徴点を抽出する。以下に、被写体特徴点抽出部１３０の処理について具体的に説明する。図９は、被写体特徴点抽出部１３０の処理を説明するための説明図である。

同図に示すように、被写体特徴点抽出部１３０は、まず、判定対象被写体の概形状にかかる側面および上面を任意の間隔でメッシュ状に分割する。分割する間隔は、一つの規定値（例えば、５ｍなど）を用いてもよいし、複数の数値（例えば、１ｍ、５ｍ、１０ｍなど）を用意し、それぞれの数値で分割してもよい。

次に、被写体特徴点抽出部１３０は、分割したメッシュのうち、特に上面の各格子点の高さを、建造物・地表高さマップ情報１１０ｂの建造物の高さ、すなわち建造物こみ地表高さマップ情報１１０ｂａの高さを適宜調べながら、算出する。なお、この高さは、被写体形状推定部１２０の対象被写体の輪郭上の各ポイントの高さと同様、それぞれ正確に求めるのではなく、輪郭形状の中心位置などの代表位置の高さを、メッシュの各格子点の共通の高さとして代用してもよい。

さらに、被写体特徴点抽出部１３０は、分割したメッシュのうち、側面の各格子点の高さを、建造物上面の高さ（＝建造物こみ地表高さマップ情報１１０ｂａの高さ）及び下接地面の高さ（＝地表の高さマップ情報１１０ｂｂの高さ）を、指定メッシュ間隔で補間した値とする。

本実施例１の被写体特徴点抽出部１３０は、このようにして判定対象被写体の概形状の側面および上面を任意の間隔で分割したメッシュの各格子点と、概形状の頂点群を、その分割間隔に対する特徴点群とする。被写体特徴点抽出部１３０は、抽出した特徴点群の情報と被写体の形状情報とを他物体遮蔽判定部１４０に渡す。

なお、被写体特徴点抽出部１３０が特徴点を抽出する手法は、上述した手法に限られるものではなく、判定対象被写体側面または上面内に含まれる点として、高さ、緯度、経度のランダム値を取得し、取得した各ランダム値を特徴点としてもよい。

また、メッシュ分割ではなく、ストリップ分割によって判定対象被写体を分割し、このストリップの各格子点と概形状の頂点群とを特徴点群としてもよい。また、概形状の側面及び上面に限らず、概形状の内部の点を特徴点としてもかまわない。更に、被写体特徴点抽出部１３０にかかわる計算量を軽減させるべく、単一の特徴点を抽出してもよい。この場合は、例えば、判定対象被写体の重心（全頂点位置群の加算平均位置）の点を特徴点とする。また、概形状に対してまんべんなく特徴点群を求めずに、より目に入りやすい建物の上層部など、任意の場所の特徴点数を増やすように算出してもよい。

他物体遮蔽判定部１４０は、被写体特徴点抽出部１３０からの判定対象被写体の形状情報および特徴点群の情報と、建造物・地表高さマップ情報１１０ｂと、カメラデータ１１０ｅのうちで従来被写体内在判定部６０を通して判定被写体が映っていると判定されたカメラデータとの３つの情報を基にして、カメラと判定対象被写体の各特徴点との間に存在する被写体物体があるかを調べ、さらにその被写体物体が判定対象被写体自身であるかどうかを判定することで、他物体による隠れを推定する処理部である。

図１０は、他物体遮蔽判定部１４０の処理を説明するための説明図である。同図に示すように、他物体遮蔽判定部１４０は、カメラ位置と特徴点とを線分で結び、結んだ線を越える被写体が存在するか否かを判定する。具体的には、カメラ位置と特徴点との線分に沿いながら、建造物・地表高さマップ情報１１０ｂの建造物こみの地表の高さマップ情報１１０ｂａを使って、建造物の高さを調べていき、線分よりも建造物の高さの方が高いポイントがないか探す。次に、そのポイントが判定対象被写体自身であるかどうかを、判定対象被写体の形状情報から判定し、判定対象被写体自身でない場合は、他の物体であると判定する。

他物体遮蔽判定部１４０は、例えば、図９の（ａ）に示すように、特徴点とカメラ位置との線分よりも高いポイントＭが、建造物こみの地表高さマップ情報１１０ｂａ上で見つかり、かつ、ポイントＭは判定被写体のポイントでなかった場合に、「カメラと判定被写体の特徴点の間には、他物体が存在する」と判定する。このような場合には、カメラ位置と当該線分をなす特徴点を、他物体に遮られる特徴点（以下、特徴点（Ｂ）と表記する）とする。

また、他物体遮蔽判定部１４０は、図１０の（ｂ）に示すように、特徴点とカメラ位置との線分よりも高いポイントが、建造物こみの地表高さマップ情報１１０ｂａ上で見つからない場合に、「カメラと判定被写体の特徴点の間には、他物体が存在しない」と判定する。このような場合には、カメラ位置と当該線分をなす特徴点を、他物体に遮られない特徴点（以下、特徴点（Ａ）と表記する）とする。

また、他物体遮蔽判定部１４０は、図１０の（ｃ）に示すように、特徴点とカメラ位置との線分よりも高いポイントＮが、建造物こみの地表高さマップ情報１１０ｂａ上で見つかり、かつ、ポイントＮが被写体内のポイントであった場合に、「カメラと判定被写体の特徴点の間には、他物体が存在しない」と判定する。このような場合には、カメラ位置と当該線分をなす特徴点を、自分自身で遮られる特徴点（以下、特徴点（Ｃ）と表記する）とする。

他物体遮蔽判定部１４０は、特徴点群それぞれに対して上述した判定を行い、特徴点（Ａ）の個数、特徴点（Ｂ）の個数、特徴点（Ｃ）の個数をカウントし、各特徴点（Ａ）〜（Ｃ）の個数にかかわる情報を、個数情報として、他物体遮蔽指標算出部１５０に渡す。

他物体遮蔽指標算出部１５０は、他物体遮蔽判定部１４０から個数情報を取得し、取得した個数情報を基にして、他物体によって判定対象被写体が遮られている割合を他物体遮蔽指標として算出する処理部である。他物体によって遮られている割合を算出する具体的な式の一例は、他物体によって遮られている割合＝特徴点（Ｂ）の個数÷（全特徴点の個数（Ａ＋Ｂ＋Ｃ）−特徴点（Ｃ）の個数）によって表される。本実施例１の他物体遮蔽指標算出部１５０は、この算出した他物体によって遮られている割合を、判定対象被写体が他物体遮蔽指標として、そのまま利用し、表示処理部１６０に渡す。

なお、他物体によって遮られている割合、及び、最終的な他物体遮蔽指標の算出方法は、上述した手法に限定されるものではなく、例えば、特徴点による重要度の違いを考慮し、重み付けをした計算をしてもよい。すなわち、他物体遮蔽判定部１４０から個数情報以外に、それぞれの特徴点の位置情報などを取得しておき、ランドマークとなるような建物の場合、目印となる特徴的な形状部分の特徴点を重視したり、建物が立てこんでいる区域の場合、建物の下層部の隠れは、重要でないとして、上層部の特徴点を重視することなどの重みを加味し、最終的な他物体遮蔽指標を算出することも考えられる。

表示処理部１６０は、他物体遮蔽指標算出部１５０から判定対象被写体の他物体遮蔽指標値を取得し、取得した指標値に基づいて、判定対象カメラデータ１１０ｅに対応する映像データ１１０ｃを探して、表示装置５０で再生表示する処理部である。図１１は、表示処理部１６０が物体遮蔽指標を利用して映像及び画像データを表示するインタフェースの一例を示す図である。

本発明の実施例１における表示処理部１６０は、図１１に示すように、映像データ（a、ｂ、e）及び画像データ（ｃ、ｄ、ｆ〜ｋ）を他物体遮蔽指標の値で昇順（数値が小さいものから大きいものへの順。この例では、数値が小さいものほど他物体による遮られる割合が低いとする）に並べる。さらに、判定対象被写体がより良く映っているものを推薦する意図のもと、他物体遮蔽指標の値が所定値未満の映像及び画像データを判定対象被写体に対して最適な映像及び画像データとみなし、例えば該当する図１１の（ａ）〜（ｅ）の映像及び画像のサムネイル画像をカラーで表示する。一方で、他物体遮蔽指標の値が所定値以上の映像及び画像データを判定対象被写体に対して適切でない映像及び画像データとみなし、例えば該当する図１１の（ｆ）〜（ｋ）の映像及び画像のサムネイル画像を白黒で表示する。

なお、本実施例１の図１１では、元の映像及び画像データ単位で結果を表示しているが、映像データを他物体遮蔽指標の数値の小さい部分、すなわち判定対象被写体の他物体による映り具合の良い部分だけ抽出することで、複数の映像ショットに分け、それらを表示してもよい。また、推薦したい映像及び画像のファイル名をリストに羅列したり、推薦度合いの高いものを大きくより画面に近くなるような３次元ＣＧで表示したり、任意の表示方法を行ってもかまわない。

本発明の実施例１における表示処理部１６０は、出力装置５０で表示した図１１に対して、入力装置４０を介してユーザが映像データを選択した場合には、選択映像及び画像データの閲覧再生などを開始する。図１２は、図１１において映像データ（ａ）が選択された場合の表示画面の一例を示す図である。図１２では、映像の画像フレーム群のうち、従来被写体内在判定部６０によってカメラの撮影領域に判定被写体が存在する判定された画像フレームであり、かつ本手法である画像判定方式１００によって他物体遮蔽指標が低い（他物体による遮蔽が少ない）と判定された画像フレームの部分を、白黒濃淡バー上に白く表示している。ユーザはこの濃淡バー上で白い部分のみを選択することで、本手法が推薦する、判定被写体が他の物体に遮られることなく映っている映像フレームのみを再生閲覧することができる。なお、図１２に示すように、他物体遮蔽指標から求めた判定被写体の映り具合を濃淡バーで表示してもよいし、他物体遮蔽指標の値を具体的な数字で表示してもよい。また、図１１の段階で遮られ率の低い画像フレームのみを集めた映像ショットに分けた場合などには、図１２で再生する映像ショットは全編を通して映りが良いと考えられるので、特に他物体遮蔽指標値や映り具合を表示しなくてもかまわない。

次に、本実施例１における画像判定装置１０の処理手順について説明する。図１３は、本実施例１に示した画像判定装置１０の処理手順を示すフローチャートである。同図に示すように、画像判定装置１０は、画像判定方式１００の処理である部分（Ｓ１０２〜Ｓ１０６）と、画像判定方式１００の前後で利用するデータを揃えると同時に入力及び出力を制御する部分（Ｓ１０１、Ｓ１０４，Ｓ１０７）に分かれる。

まず、入力装置４０経由で、表示装置５０上に表示されたベクトル地図情報１１０ａ内の判定対象被写体に関係する領域を指定することで、被写体領域位置情報１１０ｄを指定ベクトル形状情報から取得する（ステップＳ１０１）。

そして、被写体形状推定部１２０が、被写体領域位置情報１１０ｄと、建造物・地表高さマップ情報１１０ｂから被写体の概形状を特定し（ステップＳ１０２）、被写体特徴点抽出部１３０が特徴点群を抽出する（ステップＳ１０３）。

次に、従来被写体内在判定部６０が、カメラデータ１１０ｅと被写体領域位置情報１１０ｄを使って、判定対象被写体が映っているカメラデータを振り分ける（ステップＳ１０４）。

続いて、他物体遮蔽判定部１４０が、判定済みの各カメラデータと判定被写体の特徴点群、建造物・地表高さマップ情報１１０ｂを用いて、各特徴点における他物体遮蔽判定処理を実行する（ステップＳ１０５）。

続いて、他物体遮蔽指標算出部１５０が、他物体による遮蔽指標値を算出し（ステップＳ１０６）、表示処理部１６０が、遮蔽指標を基にして映像データ１１０ｃを出力する（ステップＳ１０７）。

次に、図１３のステップＳ１０５で示した他物体遮蔽判定処理について説明する。図１４は、図１３のステップＳ１０５で示した他物体遮蔽判定処理を示すフローチャートである。同図に示すように、他物体遮蔽判定部１４０は、特徴点（Ａ）、（Ｂ）、（Ｃ）のカウントを初期化（各特徴点（Ａ）〜（Ｂ）にかかる個数を０に設定）し（ステップＳ２０１）、全ての特徴点を選択したか否かを判定する（ステップＳ２０２）。

全ての特徴点を選択した場合には（ステップＳ２０３，Ｙｅｓ）、個数情報を他物体遮蔽指標算出部１５０に渡す（ステップＳ２０４）。一方、全ての特徴点を選択していない場合には（ステップＳ２０３，Ｎｏ）、未選択の特徴点を選択し（ステップＳ２０５）、カメラ位置を始点、選択した特徴点を終点とした線分を作成する（ステップＳ２０６）。

そして、他物体遮蔽判定部１４０は、作成した線分の高さを上回る被写体が存在するか否かを判定し（ステップＳ２０７）、線分を上回る被写体が存在しない場合には（ステップＳ２０８，Ｎｏ）、特徴点（Ａ）のカウントに１を加算し（ステップＳ２０９）、ステップＳ２０２に移行する。

一方、線分を上回る被写体が存在する場合には（ステップＳ２０８，Ｙｅｓ）、線分の高さを上回った被写体は、判定対象被写体か否かを判定し（ステップＳ２１０）、線分の高さを上回った被写体が判定対象被写体で無い場合には（ステップＳ２１１，Ｎｏ）、特徴点（Ｂ）のカウントに１を加算し（ステップＳ２１２）、ステップＳ２０２に移行する。

一方、線分の高さを上回った被写体が判定対象被写体である場合には（ステップＳ２１１，Ｙｅｓ）、特徴点（Ｃ）のカウントに１を加算し（ステップＳ２１３）、ステップＳ２０２に移行する。

このように、他物体遮蔽判定部１４０が、個数情報を作成し、他物体遮蔽指標算出部１５０がこの個数情報を利用してた物体遮蔽指標を算出し、表示処理部１６０が他物体遮蔽指標を基にして映像データ１１０ｃを表示装置５０に表示させるので、ユーザは効率よく、最適な映像データを選択することができる。

上述してきたように、本実施例１の画像判定装置１０は、被写体形状推定部１２０が被写体領域位置情報１１０ｄ、建造物・地表高さマップ情報１１０ｂを基にして、指定された判定対象被写体の形状を抽出し、被写体特徴点抽出部１３０が、判定対象被写体の形状を基にして特徴点を抽出し、他物体遮蔽判定部１４０が、カメラデータ１１０ｅ、判定対象被写体形状、特徴点と建造物・地表高さマップ情報１１０ｂを基にして他物体遮蔽に関する特徴点の分類個数情報を作成し、他物体遮蔽指標算出部１５０が、個数情報を基にしてカメラデータごとの他物体遮蔽指標を算出する。算出した各カメラデータ毎の他物体遮蔽指標は、本実施例１で示すように表示処理部１６０が、関連する映像データ１１０ｃを表示装置５０に表示する際の、判定被写体の他物体遮蔽に関する映り具合に対する推薦度として利用することができるため、カメラと、判定対象被写体との間に他物体が存在する場合にでも、最適な映像データを選択することができる。

なお、本実施例１にかかわる建造物・地表高さマップ情報１１０ｂは、建造物こみの地表高さマップ情報１１０ｂａ以外に、純粋な地表の高さである地表高さマップ情報１１０ｂｂを含んでいたが、建造物こみの地表高さマップ情報１１０ｂａのみで地表高さマップ情報１１０ｂｂを代用することができる。本実施例１で、地表高さマップ情報１１０ｂｂは、被写体形状推定部１２０が、被写体形状の下面、すなわち地表との接地面の高さを求めるために利用している。そこで、被写体形状推定部１２０が、被写体領域位置情報１１０ｄと建造物こみの地表高さマップ情報１１０ｂａを基にして、被写体の下接地面、すなわち被写***置における地表の高さ情報を取得する一例を示す。

被写体形状推定部１２０は、建造物こみの高さマップ情報１１０ｂａと被写体領域位置情報１１０ｄとをつき合わせ、建造物こみの高さマップ情報内で被写体領域に含まず、かつ被写体領域よりも十分大きな領域（建造物同士が地表をみせずに完全に接して存在することは稀なので、この十分大きな領域のどこかに、建造物が無く地表が現れているポイントが存在する可能性が高い）に対応する建造物こみの地表の高さを取得する。そして、被写体形状推定部１２０は、取得した高さのうち、最も低い高さを擬似的な該当領域全体の地表面の高さとする。なお、高さを取得する領域が広すぎて、擬似的な地表面の高さとみなしたポイントが、被写体の存在する領域から離れると、被写体の存在する領域の地表面との誤差が大きくなるので、単純に最も低い高さを採用するのではなく、被写体からの距離を使って重み付けをして採用してもよい。

このように、被写体形状推定部１２０が、建造物こみの高さマップ情報１１０ｂａと被写体領域位置情報１１０ｄとを利用して、地表面の高さを取得するので、地表の高さマップ情報１１０ｂｂを建造物・地表高さマップ情報１１０に含める必要性が無くなり、情報記録容量やマップ情報の取得経費、及びマップ情報を最新に保つための更新の手間および経費を節約することができる。

また、建造物・地表高さマップ情報１１０ｂの建造物こみの地表高さマップ情報１１０ｂａを利用して、ベクトル地図情報１１０ａを代用して、被写体領域位置情報１１０ｄを取得することができる。ここで、建造物こみの地表高さマップ情報１１０ｂａを利用して、判定被写体領域位置情報１０ｄを取得する一例を示す。

図１５は、建造物こみの地表高さマップ情報１１０ｂａから被写体領域位置情報１１０ｄを取得する手法を説明するための説明図である。同図に示すように、従来の被写体内在判定と同様、判定対象被写体を代表位置一点で入力装置４０などから指定する。まず、この代表位置一点を、その緯度経度などの値を使い、建造物こみ地表高さマップ情報１１０ｂａ上の代表点として設定する。

そして、代表点から周辺に向かって、円状に、所定間隔及び角度ごとに移動しながら、移動先の各ポイントに対応する建造物こみ地表の高さを取得する。各ポイントの高さを取得する際に、一つ前に取得したポイントの高さ（または、代表点の高さ）と比較し、高さが大幅に変化する場所（例えば、代表点の高さの１／４以下となる場所）を探し、大幅に変化した場所を判定対象被写体領域の外縁点として登録する（図１５の例では、Ｐ１とＰ２が外縁点として登録される）。時計周りに角度をずらしながら、周辺に向けて外縁点を探して登録していった場合には、登録順に外縁点をつなぎ合わせたものが、被写体領域位置情報１１０ｄの判定被写体領域である。

なお、ここでは、建造物・地表高さマップ情報１１０ｂのうち、建造物こみ地表高さマップ情報１１０ｂａのみを使って、被写体領域位置情報１１０ｄを取得する例を示したが、地表高さマップ情報１１０ｂｂも用いて高さの差分を求めれば、高さが大幅に変化する場所が、地表に起伏があるために、建造物の高さはそのままでも、建造物こみの地表の高さが変わった場所（傾斜地の段々形のマンションなど）なのか、地表に起伏がなく、建造物自体の高さが変わった場所なのかをより正確に推定することが可能でる。この場合、前者の場合は外縁点とはせず、後者の場合のみを外縁点とすることで、より正確な判定対象被写体領域を取得することができる。

このように、ベクトル図情報を使わず、判定被写体の代表位置一点から、建造物・地表高さマップ情報１１０ｂを利用して、自動的に被写体領域位置情報１１０ｄを取得することができるので、予めベクトル地図情報１１０ａを用意、記録させる必要性を無くすことができ記録容量を節約することができとともに、従来技術と同程度の簡単な指定方法で、被写体領域位置情報１１０ｄを自動取得することができる。

次に、本実施例２における画像判定方式を搭載した装置（画像判定装置）について説明する。本実施例２における画像判定装置は、実施例１の建造物・地表高さマップ１１０ｂの高さデータ群を、属するマップ領域毎に階層的に区切ってクラスタリングし、クラスタリング結果の領域内で、最高の高さ、最低の高さを算出する。そして、画像判定装置は、領域ごとの最高の高さを利用して、効率よく他物体遮蔽判定を行い、他物体遮蔽指標を算出する。

図１６は、本実施例２における画像判定装置２０の構成を示す機能ブロック図である。同図に示すように、この画像判定装置２０は、高さクラスタリング部２１０および内部動作が異なる他物体遮蔽判定部２２０を有する。その他の構成および動作は、実施例１に示した画像判定装置２０と同様であるので、同一の構成要素には同一の符号を付して説明を省略する。

高さクラスタリング部２１０は、建造物・地表高さマップ情報１１０ｂを基にして、マップ上に含まれる高さ群のうち、最高高さおよび最低高さを所定領域ごとに特定する（以下、特定した情報をクラスタリング情報と表記する）処理部である。図１７は、高さクラスタリング部２１０が算出するクラスタリング情報を説明するための説明図である。

同図に示すように、建造物・地表高さマップ情報１１０ｂの情報が、高さの測定単位である最小領域単位毎の高さデータで構成されている場合を考える。高さクラスタリング部２１０は、まず、近隣の最小領域単位を４つずつ纏めた統合領域を作成し、その領域内に含まれる４つの最小領域単位の高さを比較して、統合領域内での最高高さを特定する。図１７の例では、２ｍ〜４ｍの高さをもつ最小領域単位群Ａ２１１〜Ａ２１４を纏めてＡ２１という領域を作成し、最高の高さは４ｍとして特定する。同様に５ｍ〜６ｍの高さの最小領域単位群Ａ２２１〜Ａ２２４を纏めたＡ２２と、９ｍ〜１２ｍの高さの最小領域単位群Ａ２３１〜Ａ２３４を纏めたＡ２３と、１３ｍ〜１６ｍの高さの最小領域単位群Ａ２４１〜Ａ２４４を纏めたＡ２４、の３つの領域を作成し、それぞれの最高高さ（６ｍ、１２ｍ、１６ｍ）を特定する。

次に、高さクラスタリング部２１０は、近隣領域Ａ２１〜Ａ２４の四つを纏めて新たな領域Ａ２を作成し、各領域Ａ２１〜Ａ２４の最高高さを比較して、領域Ａ２の最高高さ（１６ｍ）を特定する。図１７の例では、同様にして所定領域Ａ１、Ａ３、Ａ４を作成し、その最高高さを特定する。

高さクラスタリング部２１０は、纏めた統合領域の面積が規定面積以上、または、クラスタリングによる統合階層が規定階層以上になるまで、領域統合および最高高さ特定を繰り返し行う。高さクラスタリング部２１０は、他物体遮蔽判定部２２０に算出したクラスタリング情報を渡す。

なお、本実施例２では、高さクラスタリング部２１０は、近隣の４つの小領域を統合して１つの大領域を作成する例を示しているが、統合する小領域の数は４つでなくても良いし、逆に大領域を分割しながら作成してもかまわない。さらに、一律に統合するのではなく、市街地等の検索用途の多い地域か否かや、高低差の変化の激しい場所か否か、等で階層数や統合領域数を変えて作成してもよい。また、高さクラスタリング部２１０のクラスタリング処理は、判定対象被写体とは無関係に実施することができるため、毎回処理を行うのではなく、クラスタリングしたデータを、建造物・地表高さマップ情報１１０ｂとして保持し、利用することもできる。

他物体遮蔽判定部２２０は、被写体特徴点抽出部１３０によって抽出された特徴点とクラスタリング情報とを基にして、特徴点（Ａ）、（Ｂ）、（Ｃ）にかかわる個数情報を作成する処理部である。

図１８は、特徴点とクラスタリング情報とを基にして、個数情報を作成する処理を説明するための説明図である。なお、図１８では、カメラ位置から判定対象被写体への線分Ｔが、緯度に沿って伸びている場合について説明する。また、図１８に示すように、カメラ位置と判定対象被写体との間には、クラスタリングを行った領域Ａ、Ｂが含まれている場合について説明する。

まず、他物体遮蔽判定部２２０は、線分Ｔを、領域Ａ、Ｂに沿って２分割し、分割線分をそれぞれＴＡ、ＴＢとする。そして、他物体遮蔽判定部２２０は、各分割線分ＴＡ、ＴＢの最小の高さＴＡＭｉｎ、ＴＢＭｉｎと、領域Ａ、Ｂ内で最大の高さＡＭａｘ、ＢＭａｘとを比較する。

線分の高さが、領域Ａ、Ｂの高さよりも高い場合、つまり、ＴＡＭｉｎ＞ＡＭａｘかつＴＢＭｉｎ＞ＢＭａｘの場合には、他物体遮蔽判定部２２０は、当該線分に対応する特徴点を特徴点（Ａ）と判定する。これは、領域Ａ、Ｂ内に存在する全ての被写体の高さよりも線分Ｔのほうが高いことを意味するからである。

一方、線分の高さが、領域ＡまたはＢの高さ以下の場合、つまり、ＴＡＭｉｎ≦ＡＭａｘまたはＴＢＭｉｎ≦ＢＭａｘの場合には（図１７の例では、ＴＢＭｉｎ≦ＢＭａｘである）、他物体遮蔽判定部２２０は、領域Ｂ内の対応する領域（Ｂ１〜Ｂ４のいづれかの領域）を利用して、線分Ｔと、対応する領域に含まれる被写体の高さとを比較する。

例えば、線分Ｔが、領域Ｂ１、Ｂ２に対応する場合（線分Ｔが、領域Ｂ１、Ｂ２上を通過する場合等）は、上述した手法を利用して、線分Ｔよりも高い被写体高さが存在するか否かを判定する。ここで、仮に、Ｂ１、Ｂ２が最小領域単位である場合について説明すると、線分Ｔよりも高い被写体高さが領域Ｂ１、Ｂ２に存在しない場合には、線分Ｔに対応する特徴点を特徴点（Ａ）と判定する。

一方、線分Ｔよりも高い被写体高さが領域Ｂ１またはＢ２に存在する場合には、線分Ｔに対応する特徴点を特徴点（Ｂ）または特徴点（Ｃ）と判定する。該当領域が判定対象被写体の場合には、特徴点（Ｃ）となり、該当領域が判定対象被写体でない場合には、特徴点（Ｂ）となる。

他物体遮蔽判定部２２０は、上述した手法により、判定対象被写体にかかわる特徴点群それぞれを、特徴点（Ａ）、（Ｂ）、（Ｃ）に分類し、分類した情報を個数情報として遮られ率算出部１５０に渡す。

このように、他物体遮蔽判定部２２０は、クラスタリング情報を基にして、必要なときにだけ、下位部の細かな領域単位および各測定ポイント毎の詳細な高さと線分の高さとを比較するので、他物体遮蔽判定処理にかかわる負担を軽減させることができる。

上述してきたように、本実施例２における画面判定装置２０は、高さクラスタリング部２１０が、建造物・地表高さマップ情報１１０ｂを基にして、各被写体の中で最も高い被写体の高さを所定範囲ごとに特定したクラスタリング情報を作成し、他物体遮蔽判定部２２０が、クラスタリング情報を利用して、特徴点群にかかわる個数情報を作成するので、効率よく最適な映像データを選択することができる。

なお、高さクラスタリング部２１０で統合領域を作成する際に、最高高さと同時に、各統合領域の最低高さを算出して利用してもよい。本発明の実施例１で述べた、建造物・地表高さマップ情報１１０ｂの建造物こみ地表高さマップ情報１１０ｂａのみで、地表高さマップ情報１１０ｂｂを代用する手法で、被写体形状推定部１２０で行う、被写体の下面、すなわち地表との接地面の高さを算出する手法を、クラスタリングによる各統合領域の最低高さを利用することで、より簡単に行うことができる。すなわち、本発明の実施例１では、判定被写体領域より十分大きな領域内で、建造物こみ地表高さマップ情報１１０ｂａを調べて、最低の高さを算出して擬似的な該当領域全体の地表の高さとみなす手法を述べたが、該当領域の位置から、該当領域を含むクラスタリング統合領域群を求め、それらの最低高さを比較することで、効率よく該当領域の最低高さを算出することができる。

次に、実施例３における画像判定方式を搭載した装置（画像判定装置）について説明する。図１９は、本実施例３における画像判定装置の概念を説明するための説明図である。図１９の左側に示すように、時期Ｔ１にカメラＡを利用して被写体Ａを撮影し、時期Ｔ２にカメラＢを利用して被写体Ｂを撮影し、時期Ｔ３にカメラＣを利用して被写体Ｃを撮影し、画像判定装置が、いずれの映像データに対しても、映り具合がよい（他物体遮蔽指標が所定値以下）と判定したにもかかわらず、映像データの映り具合が悪いとユーザに判断された場合に、画像判定装置は、各カメラＡ〜Ｃの撮影領域の重複部分に、遮蔽物が発生したと判定し、建造物・地表高さマップ情報などを修正する。

また、図１９の右側に示すように、時期Ｔ４に被写体Ａを撮影し、時期Ｔ５に被写体Ｂを撮影し、時期Ｔ６に被写体Ｃを撮影し、画像判定装置が、いずれの映像データに対しても、映り具合が悪い（他物体遮蔽指標が所定値より上）と判定したにもかかわらず、映像データの映り具合がよいとユーザに判断された場合に、画像判定装置は、各カメラＡ〜Ｃの撮影領域の重複部分に存在していた遮蔽物が消滅したと判定し、建造物・地表高さマップ情報などを修正する。

このように、実施例３における画像判定装置は、他物体遮蔽指標にかかわるユーザからの応答によって、建造物・地表高さマップ情報などを修正するので、他物体遮蔽指標にかかわる信頼性を向上させることができる。また、建造物・地表高さマップ情報を定期的に更新する必要がなくなるので、コストを大幅に削減することができる。

図２０は、本実施例３における画像判定装置３０の構成を示す機能ブロック図である。同図に示すように、この画像判定装置３０は、高さマップ補正処理部３３０と、建造物・地表高さマップ情報１１０ｂの関連情報として高さマップ補正情報３１０ａとを有する。その他の構成および動作は、実施例１に示した画像判定装置と同様であるので、同一の構成要素には同一の符号を付して説明を省略する。

建造物・地表高さマップ情報１１０ｂは、関連する情報として高さマップ補正情報３１０ａを有する。なお、建造物・地表高さマップ情報の一例である、建造物こみ地表高さマップ情報１１０ｂａ、地表高さマップ情報１１０ｂｂに関する説明は、実施例１と同様であるため説明を省略する。ここで、本実施例３では、一例として高さマップ補正情報３１０ａを、建造物・地表高さマップ情報１１０ｂの一部としたが、相互に対応がとれれば、別の情報として独立保持してもかまわない。

高さマップ補正情報３１０ａは、建造物・地表高さマップ情報１１０ｂのうち、特に建造物に関連した高さ情報、すなわちここでは、建造物こみの地表高さマップ情報１１０ｂａにかかわる修正情報である。図２１は、高さマップ補正情報３１０ａのデータ構造の一例を示す図である。同図に示すように、この高さマップ補正情報３１０ａは、補正エリアテーブルと、補正エリア形状テーブルと、補正エリア頂点テーブルとを有する。

補正エリアテーブルは、「ＩＤ」、「種別」、「変化発生推定時期（ＭＩＮ）」、「変化発生推定時期（ＭＡＸ）」、「推定形状ＩＤ」、「ＭＢＲ（ＭＩＮ）緯度経度」、「ＭＢＲ（ＭＡＸ）緯度経度」、「所属３次元メッシュＩＤ」を有する。

ここで、「ＩＤ（identification）」は、補正データ領域を識別するための情報であり、「種別」は、補正データ領域の高さが高すぎるという誤りから、ある高さの領域（建造物）の消滅を察知したのか、低すぎるという誤りから、ある高さの領域（建造物）の発生を察知したか、の情報であり、「変化発生推定時期（ＭＩＮ）」および「変化発生時期推定時期（ＭＡＸ）」は、建造物が変化（消滅または発生）した時期を示す情報である。

「推定形状ＩＤ」は、補正エリア形状テーブルの対応する情報を特定するための情報であり、「ＭＢＲ（ＭＩＮ）緯度経度」および「ＭＢＲ（ＭＡＸ）緯度経度」は、建造物が存在する領域の情報を示し、「所属３次元メッシュＩＤ」は、所属３次元メッシュコードを識別するための情報である。

補正エリア形状データの説明に移ると、補正エリア形状データは、「ＩＤ」、「推定高さ（ＭＡＸ）」、「推定高さ（ＭＩＮ）」、「射影形状頂点数」、「射影形状頂点ＩＤ群」とを有する。「ＩＤ」は、補正エリアテーブルにかかわる「推定形状ＩＤ」と対応づけするための識別情報であり、「推定高さ（ＭＡＸ）」および「推定高さ（ＭＩＮ）」は、推定される被写体の高さの情報である。

なお、「推定高さ（ＭＡＸ）」には、建造物が消滅したと判定された場合に、当該領域内での最大高さにかかる情報が格納され、「推定高さ（ＭＩＮ）」には、建造物が発生したと判定された場合に、当該領域内での最小高さにかかる情報が格納される。「射影形状頂点数」は、該当領域形状または該当領域に含まれる建造物の頂点数を示す情報であり、「射影形状頂点ＩＤ群」は各頂点を識別するための情報である。

補正エリア頂点テーブルは、建造物の推定形状にかかわる頂点の緯度経度情報を有し、「ＩＤ」、「緯度」、「経度」からなる。ここで、「ＩＤ」は、補正エリア形状テーブルにかかわる「射影形状頂点ＩＤ群」の各ＩＤと対応づけするための情報である。「緯度」、「経度」はそれぞれ、緯度および経度の情報を示す。

被写体形状推定部１２０が、判定対象被写体領域の上面および下接触面の高さを算出したり、被写体特徴点抽出部１３０が、判定対象被写体の特徴点を抽出する際に特徴点の高さを算出したり、他物体遮蔽判定部１４０がカメラと特徴点を結ぶ線分に沿って線分より高さの高いポイントを探索したりする際に、建造物・地表高さマップ情報１１０ｂの建造物こみ地表高さマップ情報１１０ｂａを利用するが、その時に高さマップ補正情報３１０ａを突合せ、高さマップ補正情報３１０ａによって所定領域の情報が、修正されている場合には、高さマップ補正情報３１０ａに含まれる情報を優先させる。

高さマップ補正処理部３３０は、表示処理部１６０が表示した映像データの他物体遮蔽指標に対する応答を受付け、受付けた応答に応じて高さマップ補正情報３１０ａを作成・更新する処理部である。

具体的に、この高さマップ補正処理部３３０は、表示処理部１６０が表示した映像データの他物体遮蔽指標が間違っている旨の情報（応答）を入力装置４０から取得した場合には、当該映像データを撮影したカメラ位置と判定対象被写体との間の領域にかかわる建造物・地表高さマップ情報１１０ｂが変化したと判定する。

そして、高さマップ補正処理部３３０、例えば、図１９の左側で説明したように、遮蔽物体発生が疑われるエリアをある程度特定できた場合には、当該エリアに関する情報を高さマップ補正情報３１０ａに書き込む。この場合は、「種別」を「発生」に設定し、推測される範囲を「ＭＢＲ（ＭＩＮ）経度緯度」および「ＭＢＲ（ＭＡＸ）経度緯度」に登録する。

また、変化が予測される時期に関しては、例えば、図１９の左側の例では、時期Ｔ１〜Ｔ３に変化したと推定できるため、時期Ｔ１を「変化発生推定時期（ＭＩＮ）」に登録し、時期Ｔ３を「変化発生推定時期（ＭＡＸ）」に登録する（Ｔ１＜Ｔ２＜Ｔ３の場合）。

また、図１９の右側で説明したように、遮蔽物体消滅が疑われるエリアをある程度特定できた場合には、当該エリアに関する情報を高さマップ補正情報３１０ａに書き込む。この場合は、「種別」を「消滅」に設定し、推測される範囲を「ＭＢＲ（ＭＩＮ）経度緯度」および「ＭＢＲ（ＭＡＸ）経度緯度」に登録する。

続いて、変化が予期される時期に関しては、例えば、図１９の右側の例では、時期Ｔ４〜Ｔ６に変化したと推定できるため、時期Ｔ４を「変化発生推定時期（ＭＩＮ）」に登録し、時期Ｔ６を「変化発生推定時期（ＭＡＸ）」に登録する（Ｔ４＜Ｔ５＜Ｔ６の場合）。

上述してきたように、本実施例３における画像判定装置３０は、高さマップ補正処理部３３０が、表示処理部１６０によって表示された映像データの他物体遮蔽指標にかかわる応答を入力装置４０から受付け、この応答に、他物体遮蔽指標が間違っている旨の情報が含まれている場合に、高さマップ補正情報３１０ａを作成・更新するので、建造物・地表高さマップ情報を定期的に更新保守する必要がなくなり、コストを大幅に削減することができる。

なお、実施例３の例では、遮蔽物が完全に新規発生および消滅する例を示したが、実際には建造物の改築等で、見えなかった被写体の一部が見えたり隠れたりすることも考えられる。この場合にも、撮影空間レベルでの重ね合わせではなく、それぞれの被写体特徴点群のどの部分が見えないと判定したものが誤りだったのか、などを詳細に調べて、特徴点とカメラの線分同士の重なるエリアを求め、そのエリア算出の元となった線分の高さより高いまたは、低いべきかを精査することで、エリアの高さ変化をある程度推測することもできる。

以上のように、本発明における画像判定方法は、複数台のカメラ等を利用して所定の被写体を撮影し、撮影した各映像データの中から最適な映像データを、ユーザに負担をかけることなく選択する必要のある画像判定システムなどに対して有用である。

図１は、本発明における画像判定方式の原理を示す原理図である。 図２は、建造物・地表高さマップ情報の一例を示す図である。 図３は、本実施例１における画像判定装置の構成を示す機能ブロック図である。 図４は、ベクトル地図情報であるベクトル地図の一例を示す図である。 図５は、被写体領域位置情報を取得するために、ベクトル地図を利用してユーザに入力を促す表示装置上の画面の一例を示す図である。 図６は、被写体領域位置情報を取得するために、ベクトル地図を利用してユーザに入力を促す表示装置上の画面のその他の例を示す図（１）である。 図７は、被写体領域位置情報を取得するために、ベクトル地図を利用してユーザに入力を促す表示装置上の画面のその他の例を示す図（２）である。 図８は、被写体形状推定部が判定対象被写体の概形状を取得する処理を説明するための説明図である。 図９は、被写体特徴点抽出部の処理を説明するための説明図である。 図１０は、他物体遮蔽判定部の処理を説明するための説明図である。 図１１は、表示処理部が物体遮蔽指標を利用して映像及び画像データを表示するインタフェースの一例を示す図である。 図１２は、図１１において映像データ（ａ）が選択された場合の表示画面の一例を示す図である。 図１３は、本実施例１に示した画像判定装置の処理手順を示すフローチャートである。 図１４は、図１３のステップＳ１０５で示した他物体遮蔽判定処理を示すフローチャートである。 図１５は、建造物こみの地表高さマップ情報から被写体領域位置情報を取得する手法を説明するための説明図である。 図１６は、本実施例２における画像判定装置の構成を示す機能ブロック図である。 図１７は、高さクラスタリング部が算出するクラスタリング情報を説明するための説明図である。 図１８は、特徴点とクラスタリング情報とを基にして、個数情報を作成する処理を説明するための説明図である。 図１９は、本実施例３における画像判定装置の概念を説明するための説明図である。 図２０は、本実施例３における画像判定装置の構成を示す機能ブロック図である。 図２１は、高さマップ補正情報のデータ構造の一例を示す図である。 図２２は、従来技術を説明するための説明図である。 図２３は、従来技術の問題点を説明するための説明図である。

符号の説明

１０，２０，３０ 画像判定装置
４０ 入力装置
５０ 表示装置
６０ 従来被写体内在判定部
１００ 画像判定方式
１１０ａ ベクトル地図情報
１１０ｂ 建造物・地表高さマップ情報
１１０ｂａ 建造物こみ地表高さマップ情報
１１０ｂｂ 地表高さマップ情報
１１０ｃ 映像データ
１１０ｄ 判定被写体領域位置情報
１１０ｅ カメラデータ
１２０，３２０ 被写体形状推定部
１３０ 被写体特徴点抽出部
１４０，２２０ 他物体遮蔽判定部
１５０ 他物体遮蔽指標算出部
１６０ 表示処理部
２１０ 高さクラスタリング部
３１０ａ 高さマップ補正情報
３３０ 高さマップ補正処理部

Claims (5)

1. 被写体を撮影したカメラ動画像を記憶する記憶部と、カメラの視線位置を記憶する記憶部とを有するコンピュータが、
   被写体の存在領域にかかわる情報に基づく被写体の形状に関する複数の特徴点のうち、第一の特徴点を抽出する工程と、
   前記第一の特徴点の位置および前記被写体を撮影するカメラの視点位置を結ぶ第一の線分と、他の被写体の存在領域に関する情報とに基づいて、該第一の線分上に該他の被写体が存在するか否かを判定する工程と、
   前記第一の特徴点とは異なる第二の特徴点に対する第二の線分に基づいて、前記他の被写体が前記第二の線分上に存在するか否かを判定する工程と、
   判定した結果に基づいて、複数の第一の線分のうち他の被写体と重なる第一の線分の数と、複数の第二の線分のうち他の被写体と重なる第二の線分の数とを加算した加算値を、前記複数の特徴点の数で除算することで、前記カメラによる前記被写体の撮影が前記他の被写体によって遮蔽されている割合を算出し、前記カメラ動画像の表示を前記割合を用いて変更する工程と
   を実行することを特徴とする画像判定方法。
2. 被写体の存在領域にかかわる情報を基にして、前記他の被写体の存在領域に含まれる領域において、領域内の他の被写体の高さのうち最大の高さを、異なる領域毎に算出する工程を更にコンピュータに実行させ、領域毎の最大の高さと前記第一の線分および第二の線分とを比較し、領域毎の最大の高さを下回る前記第一の線分および第二の線分を、前記他の被写体に重なる線分として判定し、判定した結果に基づいて、前記複数の第一の線分のうち他の被写体と重なる第一の線分の数と、複数の第二の線分のうち他の被写体と重なる第二の線分の数とを加算して、前記複数の特徴点の数で除算することで、割合を算出し、該割合の大きさを所定の被写体の映り具合として判定することを特徴とする請求項１に記載の画像判定方法。
3. 複数の被写体のうち、最も低い被写体の高さを地表の高さとして算出し、算出した地表の高さにより所定の被写体の高さを補正した後に、所定の被写体の存在領域にかかわる形状を構成する特徴点群から、特徴点を抽出することを特徴とする請求項１または２に記載の画像判定方法。
4. 位置と被写体または地表の高さとを対応づけた地図情報を走査し、高さの変化に基づいて被写体の領域を特定し、特定した領域と該領域上の高さに基づいて所定の被写体の形状を算出し、形状を構成する特徴点群から所定の被写体にかかわる特徴点を抽出することを特徴とする請求項１または２に記載の画像判定方法。
5. 前記カメラによる前記被写体の撮影が他の被写体によって遮蔽されている割合に基づいて、前記被写体の写り具合が良いと判定した後に、該判定結果に関わる応答を外部から受け付け、該応答に、前記判定結果が誤っている旨の情報が含まれている場合に、前記地図情報を修正する工程とを更にコンピュータに実行させることを特徴とする請求項４に記載の画像判定方法。

Images