JP7221469B2 - 信頼度推定装置、位置推定装置、及び信頼度推定方法 - Google Patents

Description

本開示は、信頼度推定装置に関する。

画像に基づいて、物体の３次元位置を推定する３次元位置推定アルゴリズムが開発されている（なお、本明細書において、物体の３次元位置は、３次元姿勢と同義とする）。例えば、非特許文献１には、単眼カメラが物体を撮影することにより得られたカメラ画像に対してニューラルネットワークモデルを適用することにより、カメラ画像における物体を認識し、当該物体の特徴点の位置を推定し、推定した特徴点の位置に基づいて物体の３次元位置を推定する３次元位置推定方法が記載されている。なお、以下では、このような３次元位置推定方法によって推定した物体の位置（例えば、物体の特徴点の位置又は物体の３次元位置等）を推定位置と呼称する。

Ｓ． Ｐｅｎｇ， Ｙ． Ｌｉｕ， Ｑ． Ｈｕａｎｇ， Ｈ．Ｂａｏ， Ｘ． Ｚｈｏｕ，"ＰＶＮｅｔ：Ｐｉｘｅｌ－ｗｉｓｅ Ｖｏｔｉｎｇ Ｎｅｔｗｏｒｋ ｆｏｒ ６ＤｏＦ Ｐｏｓｅ Ｅｓｔｉｍａｔｉｏｎ，" Ｉｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ（ＣＶＰＲ）， ２０１９．

画像に対してニューラルネットワークモデルを適用する上記のような従来の３次元位置推定方法では、推定位置を推定する際に用いた機械学習モデルと同じニューラルネットワークモデルを用いて、推定位置の信頼度を算出し、算出した信頼度を推定位置の評価に用いることがある。

その場合、推定位置の信頼性と、信頼度自体の信頼性とには相関があると考えられる。従って推定位置の信頼性が乏しい場合、信頼度自体の信頼性も乏しくなり、信頼度を用いた推定位置の評価の妥当性が不確かになってしまうという問題がある。
本開示は、上記のような問題点を解決するためになされたものであり、推定位置の信頼度自体の信頼性を向上させる技術を提供することを目的とする。

本開示に係る信頼度推定装置は、カメラ画像に基づいて推定された物体の推定位置の信頼度を推定する信頼度推定装置であって、カメラ画像における物体の複数の特徴点に関する特徴点情報に基づいて、物体の特徴量を算出する特徴量算出部と、特徴量算出部が算出した特徴量に基づいて、信頼度を算出する信頼度算出部と、を備え、特徴点情報は、複数の特徴点の各推定位置、及びカメラ画像において物体が占める領域である物体領域を含み、特徴量算出部は、複数の特徴点の各推定位置、及び物体領域に基づいて、複数の特徴点から構成される領域と当該物体領域とを入力にとる関数となる特徴量を算出する。

本開示によれば、推定位置の信頼度自体の信頼性を向上させることができる。

実施の形態１に係る位置推定システムの構成を示すブロック図である。 実施の形態１に係る位置推定装置による信頼度推定方法を示すフローチャートである。 実施の形態１に係る位置推定装置による信頼度推定方法における特徴量算出方法の詳細を示すフローチャートである。 図４Ａは、実施の形態１に係る位置推定装置の機能を実現するハードウェア構成を示すブロック図である。図４Ｂは、実施の形態１に係る位置推定装置の機能を実現するソフトウェアを実行するハードウェア構成を示すブロック図である。

以下、本開示をより詳細に説明するため、本開示を実施するための形態について、添付の図面に従って説明する。
実施の形態１．
図１は、実施の形態１に係る位置推定システム１００の構成を示すブロック図である。図１が示すように、位置推定システム１００は、位置推定装置１、Ｎ個のカメラ２（Ｎは正の整数）、及び記憶装置３を含む。位置推定装置１は、カメラ選択部４０、特徴点推定部１０、信頼度推定装置２０、及び位置算出部３０を備えている。信頼度推定装置２０は、特徴量算出部２１、及び信頼度算出部２２を備えている。

Ｎ個のカメラ２は、第１のカメラ２から第Ｎのカメラ２までの各カメラ２から構成されている。Ｎ個のカメラ２は、それぞれ、物体を撮影することによりカメラ画像（カメラ画像Ｄ１１～Ｄ１Ｎ）を取得する。Ｎ個のカメラ２は、それぞれ、取得したカメラ画像を位置推定装置１のカメラ選択部４０に出力する。

カメラ選択部４０は、複数のカメラ画像のうちから少なくとも１つのカメラ画像Ｄ２を選択する。より詳細には、実施の形態１では、カメラ選択部４０は、Ｎ個のカメラ２が取得した複数のカメラ画像Ｄ１１～Ｄ１Ｎのうちから少なくとも１つのカメラ画像Ｄ２を選択する。カメラ選択部４０の詳細な構成については後述する。カメラ選択部４０は、選択したカメラ画像Ｄ２を特徴点推定部１０及び特徴量算出部２１にそれぞれ出力する。

特徴点推定部１０は、カメラ画像に基づいて、物体の複数の特徴点に関する特徴点情報を推定する。より詳細には、実施の形態１では、特徴点推定部１０は、カメラ選択部４０が選択したカメラ画像Ｄ２に基づいて、特徴点情報を推定する。

さらに詳細には、実施の形態１では、記憶装置３が物***置検出用畳み込みニューラルネットワークモデルであるＰＶＮｅｔを記憶している。特徴点推定部１０は、カメラ選択部４０が選択したカメラ画像Ｄ２に対して、記憶装置３が記憶しているＰＶＮｅｔを適用することにより、特徴点情報として、複数の特徴点の各推定位置Ｄ３、特徴点の候補点群の分散Ｄ４、及びカメラ画像において物体が占める領域である物体領域Ｄ５を推定する。

特徴点推定部１０は、推定した複数の特徴点の各推定位置Ｄ３を位置算出部３０に出力する。また、特徴点推定部１０は、推定した複数の特徴点の各推定位置Ｄ３、特徴点の候補点群の分散Ｄ４及び物体領域Ｄ５を特徴量算出部２１に出力する。

特徴量算出部２１は、カメラ画像における物体の複数の特徴点に関する特徴点情報に基づいて、物体の特徴量を算出する。より詳細には、実施の形態１では、特徴量算出部２１は、特徴点推定部１０が推定した特徴点情報に基づいて、物体の特徴量を算出する。

さらに詳細には、実施の形態１では、特徴量算出部２１は、第１の特徴量算出部２０１から第ｍの特徴量算出部２０ｍまでのｍ個の特徴量算出部を備えている。
第１の特徴量算出部２０１は、特徴点推定部１０が推定した特徴点の候補点群の分散Ｄ４に基づいて、物体の特徴量Ｄ６１を算出する。なお、実施の形態１では、第１の特徴量算出部２０１が算出する特徴量Ｄ６１は、特徴点の候補点群の分散Ｄ４の逆数に比例する特徴量である。換言すれば、第１の特徴量算出部２０１が算出する特徴量Ｄ６１は、特徴点の候補点群の分散Ｄ４に逆比例する特徴量である。第１の特徴量算出部２０１は、算出した特徴量Ｄ６１を信頼度算出部２２に出力する。

第２の特徴量算出部２０２は、特徴点推定部１０が推定した複数の特徴点の各推定位置Ｄ３及び物体領域Ｄ５に基づいて、複数の特徴点から構成される領域と物体領域とを入力にとる関数となる特徴量Ｄ６２を算出する。より詳細には、実施の形態１では、第２の特徴量算出部２０２は、特徴点推定部１０が推定した複数の特徴点の各推定位置Ｄ３及び物体領域Ｄ５に基づいて、複数の特徴点から構成される凸平面と物体領域との面積比を算出し、算出した面積比の逆数に比例する特徴量、又は算出した面積比と１との差の逆数に比例する特徴量Ｄ６２を算出する。ここにおける「複数の特徴点から構成される凸平面」は、例えば、複数の特徴点が張る最大の凸平面、又は複数の特徴点を全て内包する最小の凸平面等である。第２の特徴量算出部２０２は、算出した特徴量Ｄ６２を信頼度算出部２２に出力する。

図示しない第３の特徴量算出部から第ｍの特徴量算出部２０ｍまでの各特徴量算出部は、カメラ選択部４０が選択したカメラ画像Ｄ２並びに特徴点推定部１０が推定した複数の特徴点の各推定位置Ｄ３、特徴点の候補点群の分散Ｄ４及び物体領域Ｄ５のうちの少なくとも1つの情報に基づいて、当該少なくとも1つの情報から算出可能な特徴量（特徴量Ｄ６３～Ｄ６ｍ）を算出する。図示しない第３の特徴量算出部から第ｍの特徴量算出部２０ｍまでの各特徴量算出部は、算出した特徴量を信頼度算出部２２に出力する。

信頼度算出部２２は、特徴量算出部２１が算出した特徴量に基づいて、物体の推定位置の信頼度を算出する。より詳細には、実施の形態１では、信頼度算出部２２は、特徴量算出部２１が複数算出した特徴量（特徴量Ｄ６１～Ｄ６ｍ）に基づいて、物体の推定位置の推定誤差に相関する信頼度Ｄ７（例えば、推定誤差に正の相関を有する信頼度Ｄ７）を算出する。

さらに詳細には、実施の形態１では、記憶装置３が特徴量から信頼度を算出するニューラルネットワークモデルを記憶している。信頼度算出部２２は、特徴量算出部２１が複数算出した特徴量（特徴量Ｄ６１～Ｄ６ｍ）に対して、記憶装置３が記憶しているニューラルネットワークモデルを適用することにより、物体の推定位置の推定誤差に逆比例する信頼度Ｄ７を算出する。信頼度算出部２２は、算出した信頼度Ｄ７を、カメラ選択部４０、及び位置推定装置１の外部にそれぞれ出力する。

上述のカメラ選択部４０は、信頼度算出部２２が算出した信頼度Ｄ７に基づいて、Ｎ個のカメラ画像Ｄ１１～Ｄ１Ｎのうちから少なくとも１つのカメラ画像Ｄ２を選択する。カメラ選択部４０は、信頼度Ｄ７に基づいて選択したカメラ画像Ｄ２を特徴点推定部１０及び特徴量算出部２１にそれぞれ出力する。

位置算出部３０は、特徴点推定部１０が推定した特徴点情報に基づいて、物体の推定位置Ｄ８を算出する。より詳細には、実施の形態１では、記憶装置３が物体の特徴点位置を記憶している。位置算出部３０は、特徴点推定部１０が推定した複数の特徴点の各推定位置Ｄ３、及び記憶装置３が記憶している物体の特徴点位置に基づいて、ＰｎＰ問題を解くことにより、物体の推定位置Ｄ８を算出する。位置算出部３０が算出する推定位置Ｄ８の例として、物体の３次元位置（３次元姿勢）等が挙げられる。位置算出部３０は、算出した推定位置Ｄ８を位置推定装置１の外部に出力する。
なお、信頼度算出部２２が位置推定装置１の外部に出力した信頼度Ｄ７は、例えば、位置算出部３０が位置推定装置１の外部に出力した推定位置Ｄ８の評価に用いられる。

以下で、実施の形態１に係る位置推定装置１の動作について図面を参照して説明する。図２は、実施の形態１に係る位置推定装置１による信頼度推定方法を示すフローチャートである。なお、以下で説明する各ステップの前に、Ｎ個のカメラ２は、それぞれ、物体を撮影することによりカメラ画像を取得し、取得したカメラ画像をカメラ選択部４０に出力したものとする。

図２が示すように、カメラ選択部４０は、複数のカメラ画像のうちから少なくとも１つのカメラ画像Ｄ２を選択する（ステップＳＴ１）。カメラ選択部４０は、選択したカメラ画像Ｄ２を特徴点推定部１０及び特徴量算出部２１にそれぞれ出力する。

なお、ステップＳＴ１において、カメラ選択部４０は、後述するステップＳＴ４の工程によって信頼度Ｄ７がまだ算出されていない場合、複数のカメラ画像のうちから任意のカメラ画像Ｄ２を選択する。または、ステップＳＴ１において、カメラ選択部４０は、後述するステップＳＴ４の工程によって信頼度Ｄ７が既に算出されている場合、当該信頼度Ｄ７に基づいて、Ｎ個のカメラ画像Ｄ１１～Ｄ１Ｎのうちから少なくとも１つのカメラ画像Ｄ２を選択する。

次に、特徴点推定部１０は、カメラ選択部４０が選択したカメラ画像Ｄ２に基づいて、特徴点情報として、複数の特徴点の各推定位置Ｄ３、特徴点の候補点群の分散Ｄ４、及び物体領域Ｄ５を推定する（ステップＳＴ２）。特徴点推定部１０は、推定した複数の特徴点の各推定位置Ｄ３、特徴点の候補点群の分散Ｄ４及び物体領域Ｄ５を特徴量算出部２１に出力する。

次に、特徴量算出部２１は、カメラ選択部４０が選択したカメラ画像Ｄ２並びに特徴点推定部１０が推定した複数の特徴点の各推定位置Ｄ３、特徴点の候補点群の分散Ｄ４及び物体領域Ｄ５を特徴量算出部２１のうちの少なくとも１つの情報に基づいて、物体の特徴量Ｄ６１～Ｄ６ｍを算出する（ステップＳＴ３）。特徴量算出部２１は、算出した特徴量Ｄ６１～Ｄ６ｍを信頼度算出部２２に出力する。

次に、信頼度算出部２２は、特徴量算出部２１が算出した特徴量Ｄ６１～Ｄ６ｍに基づいて、物体の推定位置の推定誤差に相関する信頼度Ｄ７を算出する（ステップＳＴ４）。なお、図示しないが、位置推定装置１は、上記のステップＳＴ１からステップＳＴ４までの一連の工程を繰り返し実行する。

以下で、ステップＳＴ３の詳細について説明する。図３は、ステップＳＴ３の特徴量算出方法の詳細を示すフローチャートである。
図３が示すように、第１の特徴量算出部２０１は、特徴点推定部１０が推定した特徴点の候補点群の分散Ｄ４に基づいて、当該分散Ｄ４の逆数に比例する物体の特徴量Ｄ６１を算出する（ステップＳＴ３１）。第１の特徴量算出部２０１は、算出した特徴量Ｄ６１を信頼度算出部２２に出力する。

第２の特徴量算出部２０２は、特徴点推定部１０が推定した複数の特徴点の各推定位置Ｄ３及び物体領域Ｄ５に基づいて、複数の特徴点から構成される凸平面と物体領域との面積比を算出し、算出した面積比の逆数に比例する特徴量、又は算出した面積比と１との差の逆数に比例する特徴量Ｄ６２を算出する（ステップＳＴ３２）。第２の特徴量算出部２０２は、算出した特徴量Ｄ６２を信頼度算出部２２に出力する。

第３の特徴量算出部から第ｍの特徴量算出部２０ｍまでの各特徴量算出部は、カメラ選択部４０が選択したカメラ画像Ｄ２並びに特徴点推定部１０が推定した複数の特徴点の各推定位置Ｄ３、特徴点の候補点群の分散Ｄ４及び物体領域Ｄ５のうちの少なくとも１つの情報に基づいて、その他の特徴量Ｄ６３～Ｄ６ｍを算出する（ステップＳＴ３３）。第３の特徴量算出部から第ｍの特徴量算出部２０ｍまでの各特徴量算出部は、算出した特徴量を信頼度算出部２２に出力する。

以下で、実施の形態１に係る位置推定装置１による信頼度推定方法におけるカメラ選択方法（ステップＳＴ１）の具体例について詳細に説明する。なお、以下で説明するステップＳＴ１の工程は、ステップＳＴ１からステップＳＴ４までの一連の工程を１回以上行った後に、再度行われたものとする。

当該具体例では、ステップＳＴ１において、カメラ選択部４０は、信頼度算出部２２が上述のステップＳＴ４において算出した信頼度Ｄ７に基づいて、Ｎ個のカメラ画像Ｄ１１～Ｄ１Ｎのうちから少なくとも１つのカメラ画像Ｄ２を選択する。より詳細には、当該具体例では、カメラ選択部４０は、Ｎ個のカメラ画像Ｄ１１～Ｄ１Ｎ、及び信頼度算出部２２が算出した信頼度Ｄ７に基づいて、１つのカメラ画像を用いて以降の位置推定を行うモード、又は全てのカメラ画像を順次用いて位置推定を行うモードの何れか１つのモードを選択する。

さらに詳細には、当該具体例では、ステップＳＴ１において、カメラ選択部４０は、信頼度算出部２２が算出した信頼度Ｄ７が閾値以上の場合、前回選択したカメラ画像に対応するカメラ２からのカメラ画像Ｄ２を選択する。換言すれば、カメラ選択部４０は、信頼度算出部２２が算出した信頼度Ｄ７が閾値以上の場合、前回選択したカメラ画像を撮影したカメラ２からのカメラ画像Ｄ２を選択する。その場合、上述のステップＳＴ２において、上述の通り、特徴点推定部１０は、カメラ選択部４０が選択したカメラ画像Ｄ２に基づいて、特徴点情報を推定する。

一方で、ステップＳＴ１において、カメラ選択部４０は、信頼度算出部２２が算出した信頼度が閾値未満の場合、Ｎ個のカメラ画像Ｄ１１～Ｄ１Ｎを全て選択する。次に、上述のステップＳＴ２において、特徴点推定部１０は、カメラ選択部４０がステップＳＴ１においてＮ個のカメラ画像Ｄ１１～Ｄ１Ｎを全て選択した場合、カメラ画像毎に、特徴点情報を推定する。

次に、上述のステップＳＴ３において、特徴量算出部２１は、特徴点推定部１０がステップＳＴ２においてカメラ画像毎に推定した特徴点情報に基づいて、カメラ画像毎に、物体の特徴量を算出する。
次に、上述のステップＳＴ４において、信頼度算出部２２は、特徴量算出部２１がカメラ画像毎に算出した特徴量に基づいて、カメラ画像毎に、物体の推定位置の信頼度を算出する。

次に、位置推定装置１は、上述のステップＳＴ１の工程に戻り、カメラ選択部４０は、信頼度算出部２２がカメラ画像毎に信頼度を算出した場合、信頼度算出部２２が算出したカメラ画像毎の信頼度のうちの最大の信頼度に基づいて、Ｎ個のカメラ画像Ｄ１１～Ｄ１Ｎのうちから少なくとも１つのカメラ画像Ｄ２を選択する。より詳細には、例えば、カメラ選択部４０は、信頼度算出部２２がカメラ画像毎に信頼度を算出した場合、信頼度算出部２２が算出したカメラ画像毎の信頼度のうちの最大の信頼度に対応するカメラ２が撮影したカメラ画像Ｄ２を選択する。

位置推定装置１における、カメラ選択部４０、特徴点推定部１０、信頼度推定装置２０の特徴量算出部２１及び信頼度算出部２２、並びに位置算出部３０の各機能は、処理回路により実現される。すなわち、位置推定装置１は、図２及び図３に示した各ステップの処理を実行するための処理回路を備える。この処理回路は、専用のハードウェアであってもよいが、メモリに記憶されたプログラムを実行するＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）であってもよい。

図４Ａは、位置推定装置１の機能を実現するハードウェア構成を示すブロック図である。図４Ｂは、位置推定装置１の機能を実現するソフトウェアを実行するハードウェア構成を示すブロック図である。

上記処理回路が図４Ａに示す専用のハードウェアの処理回路５０である場合、処理回路５０は、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）又はこれらを組み合わせたものが該当する。

位置推定装置１における、カメラ選択部４０、特徴点推定部１０、信頼度推定装置２０の特徴量算出部２１及び信頼度算出部２２、並びに位置算出部３０の各機能を別々の処理回路で実現してもよいし、これらの機能をまとめて１つの処理回路で実現してもよい。

上記処理回路が図４Ｂに示すプロセッサ５１である場合、位置推定装置１における、カメラ選択部４０、特徴点推定部１０、信頼度推定装置２０の特徴量算出部２１及び信頼度算出部２２、並びに位置算出部３０の各機能は、ソフトウェア、ファームウェア又はソフトウェアとファームウェアとの組み合わせによって実現される。
なお、ソフトウェア又はファームウェアは、プログラムとして記述されてメモリ５２に記憶される。

プロセッサ５１は、メモリ５２に記憶されたプログラムを読み出して実行することにより、位置推定装置１における、カメラ選択部４０、特徴点推定部１０、信頼度推定装置２０の特徴量算出部２１及び信頼度算出部２２、並びに位置算出部３０の各機能を実現する。すなわち、位置推定装置１は、これらの各機能がプロセッサ５１によって実行されるときに、図２及び図３に示した各ステップの処理が結果的に実行されるプログラムを記憶するためのメモリ５２を備える。

これらのプログラムは、位置推定装置１における、カメラ選択部４０、特徴点推定部１０、信頼度推定装置２０の特徴量算出部２１及び信頼度算出部２２、並びに位置算出部３０の各手順又は方法をコンピュータに実行させる。メモリ５２は、コンピュータを、位置推定装置１における、カメラ選択部４０、特徴点推定部１０、信頼度推定装置２０の特徴量算出部２１及び信頼度算出部２２、並びに位置算出部３０として機能させるためのプログラムが記憶されたコンピュータ可読記憶媒体であってもよい。

プロセッサ５１には、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、処理装置、演算装置、プロセッサ、マイクロプロセッサ、マイクロコンピュータ、またはＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）などが該当する。

メモリ５２には、例えば、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、フラッシュメモリ、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ－ＥＰＲＯＭ）などの不揮発性又は揮発性の半導体メモリ、ハードディスク、フレキシブルディスク等の磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク、ＣＤ（Ｃｏｍｐａｃｔ Ｄｉｓｃ）、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）などが該当する。

位置推定装置１における、カメラ選択部４０、特徴点推定部１０、信頼度推定装置２０の特徴量算出部２１及び信頼度算出部２２、並びに位置算出部３０の各機能について一部を専用のハードウェアで実現し、一部をソフトウェア又はファームウェアで実現してもよい。

例えば、カメラ選択部４０、特徴点推定部１０及び位置算出部３０の機能は、専用のハードウェアとしての処理回路で機能を実現する。信頼度推定装置２０の特徴量算出部２１及び信頼度算出部２２については、プロセッサ５１がメモリ５２に記憶されたプログラムを読み出して実行することにより機能を実現してもよい。
このように、処理回路は、ハードウェア、ソフトウェア、ファームウェア又はこれらの組み合わせにより上記機能のそれぞれを実現することができる。

以上のように、実施の形態１に係る信頼度推定装置２０は、カメラ画像に基づいて推定された物体の推定位置の信頼度を推定する信頼度推定装置２０であって、カメラ画像における物体の複数の特徴点に関する特徴点情報に基づいて、物体の特徴量を算出する特徴量算出部２１と、特徴量算出部２１が算出した特徴量に基づいて、物体の推定位置の信頼度を算出する信頼度算出部２２と、を備えている。

上記の構成によれば、特徴点情報から算出した物体の特徴量に基づいて物体の推定位置の信頼度を算出する。これにより、推定位置から直接信頼度を算出する場合よりも、推定位置の信頼度自体の信頼性が推定位置の信頼性に依存しないため、推定位置の信頼度自体の信頼性を向上させることができる。よって、例えば、推定位置を推定することが困難な画像が入力された場合でも、推定位置の信頼度自体の信頼性を向上させることができる。

実施の形態１に係る信頼度推定装置２０における特徴点情報は、特徴点の候補点群の分散を含み、特徴量算出部２１は、特徴点の候補点群の分散に基づいて、物体の特徴量を算出する。
上記の構成によれば、特徴点の候補点群の分散から算出した物体の特徴量に基づいて物体の推定位置の信頼度を算出する。これにより、推定位置の信頼度自体の信頼性を好適に向上させることができる。

実施の形態１に係る信頼度推定装置２０における特徴量算出部２１は、分散の逆数に比例する特徴量を算出する。
上記の構成によれば、分散の逆数に比例する特徴量に基づいて物体の推定位置の信頼度を算出する。これにより、推定位置の信頼度自体の信頼性を好適に向上させることができる。

実施の形態１に係る信頼度推定装置２０における特徴点情報は、複数の特徴点の各推定位置、及びカメラ画像において物体が占める領域である物体領域を含み、特徴量算出部２１は、複数の特徴点の各推定位置、及び物体領域に基づいて、複数の特徴点から構成される領域と当該物体領域とを入力にとる関数となる特徴量を算出する。

上記の構成によれば、複数の特徴点から構成される領域と当該物体領域とを入力にとる関数となる特徴量に基づいて物体の推定位置の信頼度を算出する。これにより、推定位置の信頼度自体の信頼性を好適に向上させることができる。

実施の形態１に係る信頼度推定装置２０における特徴点情報は、複数の特徴点の各推定位置、及びカメラ画像において物体が占める領域である物体領域を含み、特徴量算出部２１は、複数の特徴点の各推定位置、及び物体領域に基づいて、複数の特徴点から構成される凸平面と当該物体領域との面積比を算出し、算出した面積比の逆数に比例する特徴量、又は算出した面積比と１との差の逆数に比例する特徴量を算出する。

上記の構成によれば、複数の特徴点の各推定位置、及び物体領域から算出した面積比の逆数に比例する特徴量又は当該面積比と１との差の逆数に比例する特徴量に基づいて物体の推定位置の信頼度を算出する。これにより、推定位置の信頼度自体の信頼性を好適に向上させることができる。

実施の形態１に係る信頼度推定装置２０における特徴量算出部２１は、物体の特徴量を複数算出し、信頼度算出部２２は、特徴量算出部２１が複数算出した特徴量に基づいて、物体の推定位置の推定誤差に相関する信頼度を算出する。
上記の構成によれば、物体の推定位置の推定誤差に相関する信頼度を用いて、物体の推定位置を評価することができる。

実施の形態１に係る位置推定装置１は、実施の形態１に係る信頼度推定装置２０と、カメラ画像に基づいて、特徴点情報を推定する特徴点推定部１０と、特徴点推定部１０が推定した特徴点情報に基づいて、物体の推定位置を算出する位置算出部３０と、を備え、特徴量算出部２１は、特徴点推定部１０が推定した特徴点情報に基づいて、物体の特徴量を算出する。

上記の構成によれば、実施の形態１に係る信頼度推定装置２０が奏する上述の各効果を位置推定装置１において実現することができる。例えば、実施の形態１に係る位置推定装置１は、カメラ画像による物体の位置推定に適用可能なものである。例えば、自動炎天車両又はロボットアーム等のＦＡ機器などに利用することが可能である。

例えば、ロボットアームにより物体の把持を行う場合、当該物体の位置検出が必要となる。そこで、アームに取り付けた単眼カメラなどで撮影した画像を上述のカメラ画像として実施の形態１に係る信頼度推定装置２０に適用することにより、撮影条件の悪い位置推定困難な画像が入力された場合でも、信頼性が高い上述の信頼度を算出することができ、当該信頼度に基づいて、推定位置の評価を行うことができる。よって、安定したロボット制御を実現することが可能となる。

実施の形態１に係る位置推定装置１は、信頼度算出部２２が算出した信頼度に基づいて、複数のカメラ画像のうちから少なくとも１つのカメラ画像を選択するカメラ選択部４０をさらに備え、特徴点推定部１０は、カメラ選択部４０が選択したカメラ画像に基づいて、特徴点情報を推定する。

上記の構成によれば、推定位置の信頼度に基づいて選択したカメラ画像から特徴点情報を推定する。これにより、推定した特徴点情報の信頼性を向上させることができる。よって、特徴点情報に基づく推定位置及び信頼度の各信頼性を向上させることができる。

実施の形態１に係る位置推定装置１におけるカメラ選択部４０は、信頼度算出部２２が算出した信頼度が閾値以上の場合、前回選択したカメラ画像に対応するカメラ２からのカメラ画像を選択し、信頼度算出部２２が算出した信頼度が閾値未満の場合、複数のカメラ画像を全て選択する。

上記の構成によれば、推定位置の推定に適したカメラ画像を好適に選択することができる。よって、当該カメラ画像に基づく特徴点情報、推定位置及び信頼度の各信頼性を向上させることができる。

実施の形態１に係る位置推定装置１における特徴点推定部１０は、カメラ選択部４０が複数のカメラ画像を全て選択した場合、カメラ画像毎に、特徴点情報を推定し、特徴量算出部２１は、特徴点推定部１０がカメラ画像毎に推定した特徴点情報に基づいて、カメラ画像毎に、物体の特徴量を算出し、信頼度算出部２２は、特徴量算出部２１がカメラ画像毎に算出した特徴量に基づいて、カメラ画像毎に、物体の推定位置の信頼度を算出し、カメラ選択部４０は、信頼度算出部２２がカメラ画像毎に信頼度を算出した場合、信頼度算出部２２が算出したカメラ画像毎の信頼度のうちの最大の信頼度に基づいて、複数のカメラ画像のうちから少なくとも１つのカメラ画像を選択する。

上記の構成によれば、前回選択したカメラ画像が推定位置の推定に適していない場合でも、次回では、推定位置の推定に適したカメラ画像を選ぶことができる。よって、当該カメラ画像に基づく特徴点情報、推定位置及び信頼度の各信頼性を向上させることができる。

実施の形態１に係る信頼度推定方法は、カメラ画像に基づいて推定された物体の推定位置の信頼度を推定する信頼度推定方法であって、カメラ画像における物体の複数の特徴点に関する特徴点情報に基づいて、物体の特徴量を算出する特徴量算出ステップと、特徴量算出ステップで算出した特徴量に基づいて、信頼度を算出する信頼度算出ステップと、を含む。
上記の構成によれば、実施の形態１に係る信頼度推定装置２０が奏する上述の効果と同様の効果を奏する。
なお、実施の形態の任意の構成要素の変形、もしくは実施の形態の任意の構成要素の省略が可能である。

本開示に係る信頼度推定装置は、推定位置の信頼度自体の信頼性を向上させることができるため、位置推定装置に利用可能である。

１ 位置推定装置、２ カメラ、３ 記憶装置、１０ 特徴点推定部、２０ 信頼度推定装置、２１ 特徴量算出部、２２ 信頼度算出部、３０ 位置算出部、４０ カメラ選択部、５０ 処理回路、５１ プロセッサ、５２ メモリ、１００ 位置推定システム、２０１ 第１の特徴量算出部、２０２ 第２の特徴量算出部、２０ｍ 第ｍの特徴量算出部。

Claims (9)

1. カメラ画像に基づいて推定された物体の推定位置の信頼度を推定する信頼度推定装置であって、
   前記カメラ画像における前記物体の複数の特徴点に関する特徴点情報に基づいて、前記物体の特徴量を算出する特徴量算出部と、
   前記特徴量算出部が算出した特徴量に基づいて、前記信頼度を算出する信頼度算出部と、を備え、
   前記特徴点情報は、複数の特徴点の各推定位置、及び前記カメラ画像において前記物体が占める領域である物体領域を含み、
   前記特徴量算出部は、前記複数の特徴点の各推定位置、及び前記物体領域に基づいて、前記複数の特徴点から構成される領域と当該物体領域とを入力にとる関数となる特徴量を算出することを特徴とする、信頼度推定装置。
2. 前記特徴点情報は、前記特徴点の候補点群の分散を含み、
   前記特徴量算出部は、前記特徴点の候補点群の分散に基づいて、前記特徴量を算出することを特徴とする、請求項１に記載の信頼度推定装置。
3. 前記特徴量算出部は、前記分散の逆数に比例する特徴量を算出することを特徴とする、請求項２に記載の信頼度推定装置。
4. 前記特徴量算出部は、前記特徴量を複数算出し、
   前記信頼度算出部は、前記特徴量算出部が複数算出した特徴量に基づいて、前記物体の推定位置の推定誤差に相関する信頼度を算出することを特徴とする、請求項１に記載の信頼度推定装置。
5. 請求項１に記載の信頼度推定装置と、
   前記カメラ画像に基づいて、前記特徴点情報を推定する特徴点推定部と、
   前記特徴点推定部が推定した特徴点情報に基づいて、前記物体の推定位置を算出する位置算出部と、を備え、
   前記特徴量算出部は、前記特徴点推定部が推定した特徴点情報に基づいて、前記特徴量を算出することを特徴とする、位置推定装置。
6. 前記信頼度算出部が算出した信頼度に基づいて、複数のカメラ画像のうちから少なくとも１つのカメラ画像を選択するカメラ選択部をさらに備え、
   前記特徴点推定部は、前記カメラ選択部が選択したカメラ画像に基づいて、前記特徴点情報を推定することを特徴とする、請求項５に記載の位置推定装置。
7. 前記カメラ選択部は、
   前記信頼度算出部が算出した信頼度が閾値以上の場合、前回選択したカメラ画像に対応するカメラからのカメラ画像を選択し、
   前記信頼度算出部が算出した信頼度が閾値未満の場合、前記複数のカメラ画像を全て選択することを特徴とする、請求項６に記載の位置推定装置。
8. 前記特徴点推定部は、前記カメラ選択部が前記複数のカメラ画像を全て選択した場合、カメラ画像毎に、前記特徴点情報を推定し、
   前記特徴量算出部は、前記特徴点推定部がカメラ画像毎に推定した特徴点情報に基づいて、カメラ画像毎に、前記特徴量を算出し、
   前記信頼度算出部は、前記特徴量算出部がカメラ画像毎に算出した特徴量に基づいて、カメラ画像毎に、前記信頼度を算出し、
   前記カメラ選択部は、前記信頼度算出部がカメラ画像毎に前記信頼度を算出した場合、前記信頼度算出部が算出したカメラ画像毎の信頼度のうちの最大の信頼度に基づいて、前記複数のカメラ画像のうちから少なくとも１つのカメラ画像を選択することを特徴とする、請求項７に記載の位置推定装置。
9. カメラ画像に基づいて推定された物体の推定位置の信頼度を推定する信頼度推定方法であって、
   特徴量算出部が、前記カメラ画像における前記物体の複数の特徴点に関する特徴点情報に基づいて、前記物体の特徴量を算出する特徴量算出ステップと、
   信頼度算出部が、前記特徴量算出部が前記特徴量算出ステップで算出した特徴量に基づいて、前記信頼度を算出する信頼度算出ステップと、を含み、
   前記特徴点情報は、複数の特徴点の各推定位置、及び前記カメラ画像において前記物体が占める領域である物体領域を含み、
   前記特徴量算出部は、前記特徴量算出ステップにおいて、前記複数の特徴点の各推定位置、及び前記物体領域に基づいて、前記複数の特徴点から構成される領域と当該物体領域とを入力にとる関数となる特徴量を算出することを特徴とする、信頼度推定方法。

Images