JP2017096817A

JP2017096817A - 距離情報補正装置、距離情報補正方法及び距離情報補正プログラム

Info

Publication number: JP2017096817A
Application number: JP2015230129A
Authority: JP
Inventors: 広太竹内; Kota Takeuchi; 直己伊藤; Naoki Ito; 明小島; Akira Kojima; 慶繁福嶋; Norishige Fukushima
Original assignee: Nippon Telegraph and Telephone Corp; Nagoya Institute of Technology NUC
Current assignee: Nippon Telegraph and Telephone Corp; Nagoya Institute of Technology NUC
Priority date: 2015-11-25
Filing date: 2015-11-25
Publication date: 2017-06-01
Anticipated expiration: 2035-11-25
Also published as: JP6573196B2

Abstract

【課題】所望のデプス画像を補正処理することによってより正確な三次元形状を取得する。【解決手段】補正用デプス画像及び補正対象デプス画像を含むデプス画像と、補正用デプス画像と同時に撮像された補正用色画像を含む色画像との対である入力情報を取得する入力情報取得手段と、既知の３次元形状情報を入力し、入力情報取得手段によって取得した色画像のうち、補正用色画像を取得したしたときのセンサの位置の推定を行うセンサ位置推定手段と、センサの推定位置に基づき、基準となる既知形状を投影し参照デプス画像を得る参照デプス画像投影手段と、参照デプス画像と入力情報手段によって取得した補正用デプス画像とを比較しデプス補正パラメータを算出する補正パラメータ算出手段と、補正パラメータ算出手段によって算出されたデプス補正パラメータを用いて補正対象デプス画像を補正するデプス値補正手段とを備える。【選択図】図１

Description

本発明は、所望のデプス画像（距離画像）を補正処理によって補正する距離情報補正装置、距離情報補正方法及び距離情報補正プログラムに関する。

三次元形状計測の研究が古くから盛んに行われ、近年では手軽に三次元距離情報を取得することができる距離センサが普及し始めている。距離センサを利用した人物のジェスチャー認識機能が搭載されたゲームコントローラが登場するなど、一般ユーザに対しても広く利用されている。また一方で、ひとつの被写体に対し、複数の距離センサで取り囲む様に撮像することにより、たとえば仏像等の全身の三次元形状を取得し、文化財をデジタルとして保存しようとする取り組みが古くから検討されている。

しかし、距離センサの方式には、ＳｔｒｕｃｔｕｒｅｄＬｉｇｈｔ方式とＴｉｍｅｏｆＦｌｉｇｈｔ方式を用いる方法が開発されているが、いずれの方法を用いても画素間のセンシングノイズや距離方向の歪みなど、奥行き方向に高精度な計測をすることが難しい。特に、複数の距離センサを用いる場合には、各センサの個体差があるため、各センサが取得する三次元形状をひとつの共通三次元空間に逆投影した際に、ずれが生じてしまうという課題が知られている。また、距離センサと合わせて色情報を取得する為のカメラを同時に併用する事が多く、カメラと距離センサのキャリブレーションの誤差も、最終的な三次元形状復元結果に影響を与えてしまうことが知られている。

複数の距離センサと複数のカメラを同時に使用し、被写体の色つき三次元形状を推定する際に、各距離センサのデプス値に誤差が含まれているため、三次元形状復元結果が精確性を欠くという問題を有している。

特に、距離センサに誤差が含まれることは避けられない為、カメラの画像情報のみから三次元形状復元を行う取り組みもなされている。しかし、距離センサを用いない場合には、画像情報からステレオマッチングや視体積交差法等を用いて三次元形状を復元する必要がある。ステレオマッチングを用いる方法では、復元精度が被写体のテクスチャに依存してしまうため、たとえば均一な色を持つ物体などは、原理的に形状復元をすることができないという問題がある（例えば、非特許文献１参照）。また、距離センサの為のカメラキャリブレーションを精確に行うための方法も提案されているが（例えば、非特許文献２参照）、カメラの位置精度を向上させるものであり、奥行き方向のデプス補正を行うものではない。

Michael Bleyer, Christoph Rhemann, and Carsten Rother. "PatchMatch Stereo-Stereo Matching with Slanted Support Windows." BMVC. Vol. 11. 2011. Cha Zhang, Zhengyou Zhang. "Calibration between depth and color sensors for commodity depth cameras." Computer Vision and Machine Learning with RGB-D Sensors. Springer International Publishing, 2014. 47-64.

三次元形状の復元を正確に行う為には、デプスセンサ（距離センサ）によるデプス画像（距離画像）の精度が高い必要がある。しかしながら、非特許文献１、２に記載の方法にあっては、いずれも既知形状で構成される事前撮像環境を構築して撮像した結果から、デプスセンサ（距離センサ）が取得するデプス値を補正することはできないという問題がある。

本発明は、このような事情に鑑みてなされたもので、デプス画像を補正処理することによってより正確な三次元形状を取得することのできる距離情報補正装置、距離情報補正方法及び距離情報補正プログラムを提供することを目的とする。

本発明の一態様は、補正用デプス画像及び補正対象デプス画像を含むデプス画像と、前記補正用デプス画像と同時に撮像された補正用色画像を含む色画像との対である入力情報を取得する入力情報取得手段と、既知の３次元形状情報を入力し、前記入力情報取得手段によって取得した前記色画像のうち、前記補正用色画像を取得したしたときのセンサの位置の推定を行うセンサ位置推定手段と、前記センサの推定位置に基づき、基準となる既知形状を投影し参照デプス画像を得る参照デプス画像投影手段と、前記参照デプス画像と前記入力情報手段によって取得した前記補正用デプス画像とを比較しデプス補正パラメータを算出する補正パラメータ算出手段と、前記補正パラメータ算出手段によって算出された前記デプス補正パラメータを用いて前記補正対象デプス画像を補正するデプス値補正手段とを備える距離情報補正装置である。

本発明の一態様は、前記距離情報補正装置であって、前記入力情報取得手段は、表面が黒色以外の前記既知形状物体を用いて前記デプス画像のデプス値を取得する。

本発明の一態様は、前記距離情報補正装置であって、前記デプス値補正手段は、前記補正パラメータ算出手段において得られた前記デプス補正パラメータを用いて画像全体のデプス値を一括して補正する。

本発明の一態様は、前記距離情報補正装置であって、前記補正パラメータ算出手段は、前記参照デプス画像と前記入力情報手段によって取得した前記補正用デプス画像とを比較結果に基づき画素毎にデプス補正パラメータを算出し、前記デプス値補正手段は、前記補正パラメータ算出手段によって算出された画素毎の前記デプス補正パラメータを用いて前記補正対象デプス画像を補正する。

本発明の一態様は、補正用デプス画像及び補正対象デプス画像を含むデプス画像と、前記補正用デプス画像と同時に撮像された補正用色画像を含む色画像との対である入力情報を取得する入力情報取得手段と、補助カメラを設け、該補助カメラの位置推定を行う補助カメラ位置推定手段と、位置推定された前記補助カメラの位置に基づいて、前記補正用色画像を撮像したカメラの位置を推定するセンサ位置伝搬手段と、前記カメラの推定位置に基づき、基準となる既知形状を投影し参照デプス画像を得る参照デプス画像投影手段と、前記参照デプス画像と前記入力情報手段によって取得した前記補正用デプス画像とを比較しデプス補正パラメータを算出する補正パラメータ算出手段と、前記補正パラメータ算出手段によって算出された前記デプス補正パラメータを用いて前記補正対象デプス画像を補正するデプス値補正手段とを備える距離情報補正装置である。

本発明の一態様は、デプス画像を補正する距離情報補正装置が行う距離情報補正方法であって、補正用デプス画像及び補正対象デプス画像を含むデプス画像と、前記補正用デプス画像と同時に撮像された補正用色画像を含む色画像との対である入力情報を取得する入力情報取得ステップと、既知の３次元形状情報を入力し、前記入力情報取得ステップによって取得した前記色画像のうち、前記補正用色画像を取得したしたときのセンサの位置の推定を行うセンサ位置推定ステップと、前記センサの推定位置に基づき、基準となる既知形状を投影し参照デプス画像を得る参照デプス画像投影ステップと、前記参照デプス画像と前記入力情報ステップによって取得した前記補正用デプス画像とを比較しデプス補正パラメータを算出する補正パラメータ算出ステップと、前記補正パラメータ算出ステップによって算出された前記デプス補正パラメータを用いて前記補正対象デプス画像を補正するデプス値補正ステップとを有する距離情報補正方法である。

本発明の一態様は、デプス画像を補正する距離情報補正装置が行う距離情報補正方法であって、補正用デプス画像及び補正対象デプス画像を含むデプス画像と、前記補正用デプス画像と同時に撮像された補正用色画像を含む色画像との対である入力情報を取得する入力情報取得ステップと、補助カメラを設け、該補助カメラの位置推定を行う補助カメラ位置推定ステップと、位置推定された前記補助カメラの位置に基づいて、前記補正用色画像を撮像したカメラの位置を推定するセンサ位置伝搬ステップと、前記カメラの推定位置に基づき、基準となる既知形状を投影し参照デプス画像を得る参照デプス画像投影ステップと、前記参照デプス画像と前記入力情報ステップによって取得した前記補正用デプス画像とを比較しデプス補正パラメータを算出する補正パラメータ算出ステップと、前記補正パラメータ算出ステップによって算出された前記デプス補正パラメータを用いて前記補正対象デプス画像を補正するデプス値補正ステップとを有する距離情報補正方法である。

本発明の一態様は、コンピュータを、請求項１から６のいずれか１項に記載の距離情報補正装置と機能させるための距離情報補正プログラムである。

本発明によれば、距離センサにより取得されたデプス値を補正することができるため、より正確な三次元形状の取得ができるという効果が得られる。

本発明の第１実施形態による距離情報補正装置１の構成を示すブロック図である。図１に示す距離情報補正装置１の動作を示すフローチャートである。図１に示す入力情報取得部１１の動作の概略を示す図である。図１に示す参照デプス投影部１３、補正パラメータ算出部１４の動作概略を示す図である。本発明の第２実施形態による距離情報補正装置１の構成を示すブロック図である。図５に示す入力情報取得部１１の動作の概略を示す図である。図５に示す補助カメラ位置推定部１６とセンサ位置伝搬部１７の動作概略を示す図である。本発明の第３実施形態による距離情報補正装置１の構成を示すブロック図である。

＜第１実施形態＞
以下、図面を参照して、本発明の第１実施形態による距離情報補正装置を説明する。図１は同実施形態における距離情報補正装置の構成を示すブロック図である。距離情報補正装置１は、コンピュータ装置によって構成し、図１に示すように、入力情報取得部１１、センサ位置推定部１２、参照デプス投影部１３、補正パラメータ算出部１４、デプス値補正部１５を備えている。

図２を参照して、図１に示す距離情報補正装置１の動作を説明する。図２は、図１に示す距離情報補正装置１の動作を示すフローチャートである。

入力情報取得部１１は、距離情報補正装置１に接続されたデプスセンサもしくは事前に撮像された録画データ（デプス情報を含む）から、同時刻に撮像されたデプス画像（距離画像）と色画像の対である入力情報を複数（Ｎ枚：Ｎは２以上の自然数）取得する（ステップＳ１）。デプス補正を行うために撮像されたデプス画像および色画像のことを、以下では補正用デプス画像および補正用色画像と称する。また、デプス補正を行う対象となるデプス画像のことを、以下では補正対象デプス画像と称する（図３参照）。補正対象デプス画像とは、Ｍ枚（Ｍは自然数）以上の補正すべきデプス画像のことである。

補正用デプス画像および補正用色画像に撮像されている被写体は、形状が既知の物体が撮像している必要がある。形状が既知の物体であれば如何なる形状の物体を用いても構わないが、色・素材については近赤外光を吸収しない黒以外のものを用いる。例えば、白色と灰色で構成されたチェックパターン等が候補として挙げられる。他にも、実寸サイズとテクスチャが既知のポスタ画像を、平らな壁や床等に貼付することにより、既知形状物体として簡易に利用するようにしてもよい。

なお、補正用色画像については、対となる補正用デプス画像と同視点で撮像されているものとする。一般的な距離センサは、デプス画像を算出するために近赤外画像を同視点で取得しているため、色画像として近赤外画像を用いることができる。近赤外画像以外では、レーザ式の距離センサの場合であれば、レーザ反射強度画像を色画像として用いることができる。また、色情報とデプス情報を同位置で取得することができる画像素子センサを有した距離センサであれば、可視画像を色画像として用いることができる。色情報とデプス情報を同位置で取得するには、色画像を取得する手段とデプス画像を取得する手段とを並列に並べて画像を取得するのではなく、色画像を取得する手段とデプス画像を取得する手段の撮像視点は完全一致している必要がある。

次に、センサ位置推定部１２は、入力情報取得部１１で取得した複数枚の補正用色画像と、既知物体の３次元形状情報（例えば、チェックパターンであれば、各格子点が３次元形状情報となる）を入力として、複数枚の補正用色画像を取得したしたときのセンサ（撮像手段）の位置・姿勢の推定を行う（ステップＳ２）。ここで推定する位置・姿勢とは、既知物体からの相対的な位置・姿勢であり、撮像手段の位置が移動せずとも既知物体の位置・姿勢が変化すれば変化するものである。

補正用色画像がＮ枚あり、Ｌ（Ｌは自然数）個存在する既知形状物体表面上の三次元点のうちｍ番目の三次元点をＰｍ、Ｐｍに対応するｎ番目の補正用色画像上で二次元対応点をＱｎ，ｍとする。まずＮ枚すべての補正用色画像からそれぞれＬ個の対応点を検出する。例えば、自然特徴点と呼ばれるＳＩＦＴやＳＵＲＦを用いることで、既知テクスチャと撮像された補正用色画像との二次元対応点を取得することができる。

また、被写体がチェックパターンであれば、格子点検出手法を用いてもよい。次に、Ｑｎ，ｍとＰｍの関係から、Ｎ枚の補正用色画像それぞれに対しセンサの並進パラメータＴｎ回転パラメータＲｎ、および、距離センサの内部パラメータＡ、レンズ歪係数行列Ｄを算出する。ここで、Ｔｎは３×１、Ｒｎは３×３、Ａは３×３、Ｄは１×ｎ（ｎは歪みモデルのパラメータ数あり、事前に設定しておく値であり、例えば８である）の行列式である。また、これらのパラメータは、既知物体を設置している空間の絶対位置に基づいて求めるものである。本計算については、広くＰｎＰ問題（カメラのキャリブレーションの問題）として知られているため、計算の詳細説明は省略する。

次に、参照デプス投影部１３は、センサ位置推定部１２における既知物体の三次元形状、および算出したＴｎ、Ｒｎ、Ａ、Ｄ及び入力情報取得部１１で取得した補正用色画像を入力とし、すべての補正用デプス画像に対し、真のデプス値を持つ画素で構成される参照デプス画像および比較対象領域を示すためのマスク画像を生成する。

まず、既知形状物体をＴｎ、Ｒｎ、Ａ、Ｄを用いて補正用デプス画像の視点に対して投影する。投影計算における（１）式のｐ_ｚ値を画素ごとに格納した画像を作成し、これを参照デプス画像とする（ステップＳ３）。
既知形状物体上の３次元点（Ｐ_ｘ，Ｐ_ｙ，Ｐ_ｚ）の投影計算における、（１）式を解いて得られるＰ_ｚ値を画素ごとに格納した画像を作成し、これを参照デプス画像とする。ここでｓはスケール係数と呼ばれ、これは計算の途中で消失することが一般的に知られている。

さらに、参照デプス画像に含まれる画素のうち、既知形状物体が投影されている画素（ｐｘ、ｐｙ）位置のみの画素と、そうではない画素とを区別するためのマスク画像を生成する。マスク画像の画素値についてはそれぞれ異なる任意の値を用いればよい。以下では、既知形状物体が投影されている画素に対するマスク画像の画素値を１、そうではない画素の画素値は０として説明をする。

次に、全ての補正用画像に対して処理が完了したか否かを判定し、完了していなければ、ステップＳ２に戻り、完了するまで処理を繰り返す（ステップＳ４）。

次に、補正パラメータ算出部１４は、入力情報取得部１１にて取得した補正用デプス画像と、参照デプス投影部１３で取得した参照デプス画像とマスク画像を入力として、補正用デプス画像と参照デプス画像の比較を行い（ステップＳ５）、補正対象デプス画像を補正するためのデプス補正パラメータを推定する（ステップＳ６；図４参照）。

始めに、Ｎ枚あるうちのｎ番目の補正用デプス画像をＣｎ，Ｃｎに含まれる画素（ｉ，ｊ）のデプス値をＣｎ（ｉ，ｊ）とし、同様に参照デプス画像をＤｎ、画素（ｉ，ｊ）のデプス値をＤｎ（ｉ，ｊ）とする。また、マスク画像については画素値で１ある画素の集合をＱとして表す。すべての画素において、Ｃｎ（ｉ，ｊ）がＤｎ（ｉ，ｊ）に最も近づけられるように、以下に示すエネルギー関数Ｊの最小化を行う。
Ｊ＝（１／２）Σ^Ｎ _ｎΣ_{（ｉ，ｊ）∈Ｍ}‖Ｄｎ（ｉ，ｊ）−Ｆ（Ｃｎ（ｉ，ｊ））‖^２・・・（２）

本実施形態では、関数Ｆとして参照デプス画像に対して１次線形の誤差があるものとして、Ｄｎ（ｉ，ｊ）＝ａＣｎ（ｉ，ｊ）＋ｂのモデルを採用して説明を進める。他にもＤｎ（ｉ，ｊ）＝ａ／（Ｃｎ（ｉ，ｊ）＋ｂ）など、デプス値の逆数に比例するモデルを用いても構わない。線形モデルを用いた場合に最小化すべきエネルギー関数Ｊを以下に示す。
Ｊ＝（１／２）Σ^Ｎ _ｎΣ_{（ｉ，ｊ）∈Ｍ}‖Ｄｎ（ｉ，ｊ）−ａＣｎ（ｉ，ｊ）−ｂ）‖^２・・・（３）

Ｊを最小化するような補正パラメータａ，ｂの算出を行うが、Ｊに関しては一般的な最小二乗法を用いることで解析解が存在するため、一般的な計算方法で解くことができるため、詳細説明を省略する。

次に、デプス値補正部１５は、補正パラメータ算出部１４において算出された補正パラメータａ，ｂと、入力情報取得部１１において取得された補正対象デプス画像を入力として、補正対象デプス画像の各画素のデプス値の補正を行う（ステップＳ７）。

まず、Ｍ枚あるうちのｍ番目の補正対象デプス画像Ｇｍに含まれる画素（ｉ，ｊ）のデプス値をＧｍ（ｉ，ｊ）、同様にして、補正されたデプス画像の画素のデプス値をＶｍ（ｉ，ｊ）として以下では表現する。補正パラメータ算出部１４と同様に、線形モデルを用いた場合、補正を行う為の計算はＶｍ（ｉ，ｊ）＝ａＧｍ（ｉ，ｊ）＋ｂとなる。異なるモデルを用いていた場合でも同様の処理を行うことで、デプス値を補正することができる。

上記補正を全ての画素について行ったのち、補正されたデプス画像としてＧｍを保存する。さらに、すべてのＭ枚の補正対象デプス画像に対して上記の処理を行い、補正されたデプス画像を出力もしくは保存して処理を終了する。

＜第２実施形態＞
次に、本発明の第２実施形態による距離情報補正装置を説明する。図５は、本発明の第２実施形態による距離情報補正装置の構成を示すブロック図を示す。この図において、図１に示す装置と同一の部分には同一の符号を付し、その説明を省略する。この図に示す装置が図１に示す装置と異なる点は、補助カメラ位置推定部１６とセンサ位置伝搬部１７が新たに設けられている点である。

補助カメラを用いない第１実施形態においては、一般的な距離センサの場合では近赤外画像を補正用色画像として用いることができる。しかし、近赤外画像は一般的に解像度が低くノイズも大きいため、既知形状物体が遠方に配置されている状況では、既知形状物体の二次元対応点を検出することが困難であることが考えられる。遠方での補正を必要とせず、カメラから比較的近い１，２ｍ程度の位置での補正のみを行うのであれば、第１実施形態の構成で十分である。

そのため、第２実施形態では第１の実施形態に加え、補助カメラを入力情報取得部に追加し、補助カメラによりセンサ位置を推定することにより、補正用色画像の取得範囲を大幅に拡大することが可能となる。それに伴いセンサ位置推定部の代わりに、補助カメラ位置推定部１６およびセンサ位置伝搬部１７が追加されている。

図６を参照して、図５に示す入力情報取得部１１の動作を説明する。図６は、図５に示す入力情報取得部１１の動作の概略を示す図である。入力情報取得部１１は距離情報補正装置１に接続された補助カメラおよびデプスセンサもしくは事前に撮像された録画データから、同時刻に撮像されたデプス画像と色画像の対を複数取得する。以後、センサ位置を推定するためにセンサから撮像された色画像のことを位置推定用色画像、デプス補正を行うために撮像されたデプス画像および色画像のことを補正用デプス画像および補正用色画像と称する。また、デプス補正を行う対象となるデプス画像のことを、以下では補正対象デプス画像と称する。さらに、補助カメラから撮像された色画像のうち、補助カメラ位置推定のために撮像された画像を補助カメラ位置推定用色画像、上記補正用色画像と同時刻に撮像された色画像のことを補助カメラ補正用色画像と称する。

補助カメラ位置推定用色画像および位置推定用色画像に撮像されている被写体は、形状が既知の物体が撮像されている必要がある。形状が既知の物体であれば如何なる形状の物体を用いても構わない。補正用デプス画像および補正用色画像に撮像されている被写体は、形状が既知の物体が撮像されている必要がある。形状が既知の物体であれば如何なる形状の物体を用いても構わないが、色・素材については近赤外光を吸収しない黒以外のものを用いる。例えば、白色と灰色で構成されたチェックパターン等が候補として挙げられる。他にも、実寸サイズとテクスチャが既知のポスタ画像を、平らな壁や床等に貼付することにより、既知形状物体として簡易に利用することができる。黒以外の被写体を用いることにより、より正確にデプス値の計測を行うことができる。

なお、補正用色画像については、対となる補正用デプス画像と同視点で撮像されているものとする。一般的な距離センサは、デプス画像を算出するために近赤外画像を同視点で取得しているため、色画像として近赤外画像を用いることができる。近赤外画像以外では、レーザ式の距離センサの場合であれば、レーザ反射強度画像を色画像として用いることができる。また、色情報とデプス情報を同位置で取得することができる画像素子センサを有した距離センサであれば、可視画像をセンサの色画像として用いることができる。

次に、図７を参照して、図５に示す補助カメラ位置推定部１６及びセンサ位置伝搬部１７の動作を説明する。図７は、図５に示す補助カメラ位置推定部１６とセンサ位置伝搬部１７の動作概略を示す図である。補助カメラ位置推定部１６は、入力情報取得部１１に接続されていた補助カメラおよび距離センサのカメラパラメータを推定する。まず、入力情報取得部１１において撮像された複数の補助カメラ位置推定用色画像Ｌ枚（Ｌは自然数）それぞれに対し補助カメラの並進パラメータＴｃ＿ｌ、回転パラメータＲｃ＿ｌ、および、距離センサの内部パラメータＡｃ、レンズ歪係数行列Ｄｃを算出する。算出の方法は第１実施形態のセンサ位置推定部１２と同様にしてＰｎＰ問題を解くため、詳細説明を省略する。次に、距離センサに対しても同様にして、位置推定用色画像Ｌ枚を用いて、センサの並進パラメータＴｄ＿ｌ、回転パラメータＲｄ＿ｌ、および、距離センサの内部パラメータＡｄ、レンズ歪係数行列Ｄｄを算出する。

次に、センサ位置伝搬部１７は、補助カメラ位置推定部１６にて推定された補助カメラの並進パラメータＴｃ＿ｌ、回転パラメータＲｃ＿ｌ、および、センサの並進パラメータＴｄ＿ｌ、回転パラメータＲｄ＿ｌから、各補正用色画像のカメラパラメータを推定する。まず、Ｌ枚の補助カメラ位置推定用色画像およびセンサ位置推定用色画像のうち、それぞれについて算出されたＴｃ＿ｌ、Ｒｃ＿ｌ，Ｔｄ＿ｌ、Ｒｄ＿ｌの中から、１組のパラメータを選出しＴｃ，Ｒｃ，Ｔｄ，Ｒｄする。選出基準については、どのような方法を用いてもよいが、最も精度高く推定されているパラメータを選出するのが望ましいため、例えば再投影誤差を指標にする方法が挙げられる。

また、単に、最もカメラから近くもしくは遠くに既知形状物体が配置されている組み合わせを選出してよい。次に、Ｎ枚の補助カメラ補正用色画像それぞれについて、並進パラメータＴｒ＿ｎ、回転パラメータＲｒ＿ｎを推定する。そして、以下の（４）式〜（７）式に従って、センサ補正用色画像の各パラメータとして、並進パラメータＴｎ回転パラメータＲｎ、および、距離センサの内部パラメータＡ、レンズ歪係数行列Ｄを算出する。
Ｔｎ＝Ｔｄ＋ＲｄＲｃ^−１（Ｔｒ＿ｎ−Ｔｃ）・・・（４）
Ｒｎ＝ＲｄＲｃ^−１Ｒｒ＿ｎ・・・（５）
Ａ＝Ａｄ・・・（６）
Ｄ＝Ｄｄ・・・（７）

＜第３実施形態＞
次に、本発明の第３実施形態による距離情報補正装置を説明する。図８は、本発明の第３実施形態による距離情報補正装置の構成を示すブロック図を示す。この図において、図１に示す装置と同一の部分には同一の符号を付し、その説明を省略する。この図に示す装置が図１に示す装置と異なる点は、画素補正パラメータ算出部１８が新たに設けられている点である。

第１実施形態においては、デプス補正パラメータを画像全体で一括して算出していた。しかし、レンズ歪パラメータの推定精度が低いケースや、測距方式の特性上画像中心以外から離れるに従いデプス補正パラメータが大きくなるケースでは、画像全体を一括に扱うデプス補正が難しいことがある。そこで第３実施形態では、デプス補正パラメータを画素ごとに算出することにより、より正確なデプス補正を行うことが可能となる。図８に示す構成では、補正パラメータ算出部１４に代わり、画素補正パラメータ算出部１８が設けられている。

画素補正パラメータ算出部１８は、入力情報取得部１１にて取得した補正用デプス画像と、参照デプス投影部１３で取得した参照デプス画像とマスク画像を入力として、補正用デプス画像と参照デプス画像の比較を行い、補正対象デプス画像を補正するための補正パラメータを算出する。始めに、Ｎ枚あるうちのｎ番目の補正用デプス画像をＣｎ、Ｃｎに含まれる画素（ｉ，ｊ）のデプス値をＣｎ（ｉ，ｊ）とし、同様に参照デプス画像をＤｎ、画素（ｉ，ｊ）のデプス値をＤｎ（ｉ，ｊ）とする。また、マスク画像については画素値で１ある画素の集合をＱとして表す。すべての画素において、Ｃｎ（ｉ，ｊ）がＤｎ（ｉ，ｊ）に最も近づけられるように、以下に示すエネルギー関数Ｊ（ｉ，ｊ）の最小化を行う。
Ｊ（ｉ，ｊ）＝（１／２）Σ^Ｎ _ｎ‖Ｄｎ（ｉ，ｊ）−Ｆ（Ｃｎ（ｉ，ｊ））‖^２・・・（８）

本実施形態では、関数Ｆとして参照デプス画像に対して１次線形の誤差があるものとして、Ｄｎ（ｉ，ｊ）＝Ａ（ｉ，ｊ）Ｃｎ（ｉ，ｊ）＋Ｂ（ｉ，ｊ）のモデルを採用して説明を進める。他にもＤｎ（ｉ，ｊ）＝Ａ（ｉ，ｊ）／（Ｃｎ（ｉ，ｊ）＋Ｂ（ｉ，ｊ））など、デプス値の逆数に比例するモデルを用いても構わない。線形モデルを用いた場合に最小化すべきエネルギー関数Ｊを以下の（９）式に示す。
Ｊ（ｉ，ｊ）＝（１／２）Σ^Ｎ _ｎ‖Ｄｎ（ｉ，ｊ）−Ａ（ｉ，ｊ）Ｃｎ（ｉ，ｊ）−Ｂ（ｉ，ｊ）‖^２・・・（９）

Ｊ（ｉ，ｊ）を最小化するような補正パラメータＡ（ｉ，ｊ），Ｂ（ｉ，ｊ）の算出を行うが、Ｊ（ｉ，ｊ）に関しては一般的な最小二乗法を用いることで解析解が存在するため、一般的な計算方法で解くことができるため、詳細説明を省略する。

デプス値補正部１５は、画素補正パラメータ算出部１８において算出された補正パラメータＡ（ｉ，ｊ），Ｂ（ｉ，ｊ）と、入力情報取得部１１において取得された補正対象デプス画像を入力として、補正対象デプス画像の各画素のデプス値の補正を行う。まず、Ｍ枚あるうちのｍ番目の補正対象デプス画像Ｇｍに含まれる画素（ｉ，ｊ）のデプス値をＧｍ（ｉ，ｊ）、同様にして、補正されたデプス画像の画素のデプス値をＶｍ（ｉ，ｊ）として以下では表現する。画素補正パラメータ算出部１８と同様に、線形モデルを用いた場合、補正を行う為の計算はＶｍ（ｉ，ｊ）＝Ａ（ｉ，ｊ）Ｇｍ（ｉ，ｊ）＋Ｂ（ｉ，ｊ）となる。

異なるモデルを用いていた場合でも同様の処理を行うことで、デプス値を補正することができる。上記補正を全ての画素について行ったのち、補正されたデプス画像としてＧｍを保存する。さらに、すべてのＭ枚の補正対象デプス画像に対して上記の処理を行い、補正されたデプス画像を出力もしくは保存して処理を終了する。

以上説明したように、３次元形状計測技術を使用して得られる結果の一つであるデプス画像の補正方法を行う際に、同時刻に撮像された色画像とデプス画像の組を用いて、デプス画像の画素ごとにデプス値を補正するようにした。

この構成によれば、所望の距離画像を補正処理によってより正確な三次元形状を取得することができる。

前述した実施形態における距離情報補正装置１の全部または一部をコンピュータで実現するようにしてもよい。その場合、この機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよく、ＰＬＤ（Programmable Logic Device）やＦＰＧＡ（Field Programmable Gate Array）等のハードウェアを用いて実現されるものであってもよい。

以上、図面を参照して本発明の実施の形態を説明してきたが、上記実施の形態は本発明の例示に過ぎず、本発明が上記実施の形態に限定されるものではないことは明らかである。したがって、本発明の技術思想及び範囲を逸脱しない範囲で構成要素の追加、省略、置換、その他の変更を行ってもよい。

所望の距離画像を補正処理によってより正確な三次元形状を取得することが不可欠な用途に適用できる。

１・・・距離情報補正装置、１１・・・入力情報取得部、１２・・・センサ位置推定部、１３・・・参照デプス投影部、１４・・・補正パラメータ算出部、１５・・・デプス値補正部、１６・・・補助カメラ位置推定部、１７・・・センサ位置伝搬部、１８・・・画素補正パラメータ算出部

Claims

補正用デプス画像及び補正対象デプス画像を含むデプス画像と、前記補正用デプス画像と同時に撮像された補正用色画像を含む色画像との対である入力情報を取得する入力情報取得手段と、
既知の３次元形状物体の情報を入力し、前記入力情報取得手段によって取得した前記色画像のうち、前記補正用色画像を取得したしたときのセンサの位置の推定を行うセンサ位置推定手段と、
前記センサの推定位置に基づき、基準となる既知形状を投影し参照デプス画像を得る参照デプス画像投影手段と、
前記参照デプス画像と前記入力情報取得手段によって取得した前記補正用デプス画像とを比較しデプス補正パラメータを算出する補正パラメータ算出手段と、
前記補正パラメータ算出手段によって算出された前記デプス補正パラメータを用いて前記補正対象デプス画像を補正するデプス値補正手段と
を備える距離情報補正装置。
前記入力情報取得手段は、表面が黒色以外の前記既知の３次元形状物体を用いて前記デプス画像のデプス値を取得する請求項１に記載の距離情報補正装置。
前記デプス値補正手段は、前記補正パラメータ算出手段において得られた前記デプス補正パラメータを用いて画像全体のデプス値を一括して補正する請求項１または２に記載の距離情報補正装置。
前記補正パラメータ算出手段は、前記参照デプス画像と前記入力情報取得手段によって取得した前記補正用デプス画像とを比較結果に基づき画素毎にデプス補正パラメータを算出し、
前記デプス値補正手段は、前記補正パラメータ算出手段によって算出された画素毎の前記デプス補正パラメータを用いて前記補正対象デプス画像を補正する請求項１または２に記載の距離情報補正装置。
補正用デプス画像及び補正対象デプス画像を含むデプス画像と、前記補正用デプス画像と同時に撮像された補正用色画像を含む色画像との対である入力情報を取得する入力情報取得手段と、
補助カメラを設け、該補助カメラの位置推定を行う補助カメラ位置推定手段と、
位置推定された前記補助カメラの位置に基づいて、前記補正用色画像を撮像したカメラの位置を推定するセンサ位置伝搬手段と、
前記カメラの推定位置に基づき、基準となる既知形状を投影し参照デプス画像を得る参照デプス画像投影手段と、
前記参照デプス画像と前記入力情報取得手段によって取得した前記補正用デプス画像とを比較しデプス補正パラメータを算出する補正パラメータ算出手段と、
前記補正パラメータ算出手段によって算出された前記デプス補正パラメータを用いて前記補正対象デプス画像を補正するデプス値補正手段と
を備える距離情報補正装置。
デプス画像を補正する距離情報補正装置が行う距離情報補正方法であって、
補正用デプス画像及び補正対象デプス画像を含むデプス画像と、前記補正用デプス画像と同時に撮像された補正用色画像を含む色画像との対である入力情報を取得する入力情報取得ステップと、
既知の３次元形状物体の情報を入力し、前記入力情報取得ステップによって取得した前記色画像のうち、前記補正用色画像を取得したしたときのセンサの位置の推定を行うセンサ位置推定ステップと、
前記センサの推定位置に基づき、基準となる既知形状を投影し参照デプス画像を得る参照デプス画像投影ステップと、
前記参照デプス画像と前記入力情報取得ステップによって取得した前記補正用デプス画像とを比較しデプス補正パラメータを算出する補正パラメータ算出ステップと、
前記補正パラメータ算出ステップによって算出された前記デプス補正パラメータを用いて前記補正対象デプス画像を補正するデプス値補正ステップと
を有する距離情報補正方法。
デプス画像を補正する距離情報補正装置が行う距離情報補正方法であって、
補正用デプス画像及び補正対象デプス画像を含むデプス画像と、前記補正用デプス画像と同時に撮像された補正用色画像を含む色画像との対である入力情報を取得する入力情報取得ステップと、
補助カメラを設け、該補助カメラの位置推定を行う補助カメラ位置推定ステップと、
位置推定された前記補助カメラの位置に基づいて、前記補正用色画像を撮像したカメラの位置を推定するセンサ位置伝搬ステップと、
前記カメラの推定位置に基づき、基準となる既知形状を投影し参照デプス画像を得る参照デプス画像投影ステップと、
前記参照デプス画像と前記入力情報取得ステップによって取得した前記補正用デプス画像とを比較しデプス補正パラメータを算出する補正パラメータ算出ステップと、
前記補正パラメータ算出ステップによって算出された前記デプス補正パラメータを用いて前記補正対象デプス画像を補正するデプス値補正ステップと
を有する距離情報補正方法。
コンピュータを、請求項１から５のいずれか１項に記載の距離情報補正装置として機能させるための距離情報補正プログラム。