JP7131268B2 - 撮像装置および撮像処理方法 - Google Patents

Description

本発明は、撮像装置および撮像処理方法に関する。

実在する物体、建築物、それらを含む空間全体を、カメラで撮像したりあるいはレーザ光を照射したりするなどして計測し、その計測結果から現実空間にある３次元構造を電子データで復元する３次元モデル復元技術が知られている。椅子、机、模型などの小規模な対象物をターゲットとするものから、建設現場や観光地などのように複数の大規模な物体や開空間などをターゲットとするものまで、様々なターゲットへの利用が考えられる。

また、単色の床や壁など模様がない領域についてはパターン光を照射して深度情報を取得する技術がある。また、投射した光を受光するＬｉＤＡＲ（Light Detection and Ranging）装置を開示した文献もある（特許文献１参照）。

しかしながら、従来は、撮像装置と、レーザ光などを照射する照射装置とは別体であり、３次元モデルを復元するシステムとして複雑な準備（例えば、照射方向と撮像装置の撮像方向の位置あわせなど）をする必要があった。

本発明は、上記に鑑みてなされたものであって、距離情報を取得するための準備が簡単な撮像装置を提供することを目的とする。

上述した課題を解決し、目的を達成するために、本発明の一実施の形態の撮像装置は、計測対象を撮像する撮像手段と、前記計測対象に光を投射する投射手段と、前記計測対象から反射してきた前記光を受光する受光手段と、の組み合せの複数の組と、前記受光手段により受光した光に基づいて前記計測対象との距離情報を取得する取得手段と、を有し、前記複数の組において、一つの組と他の組とは、それぞれ異なる計測範囲の向きに設けられており、前記複数の組において、それぞれ、前記撮像手段と、前記投射手段と、前記受光手段は、共通の筐体に対し、前記筐体の長手方向において異なる位置に、前記取得手段と共に一体的に備わる、ことを特徴とする。

本発明によれば、距離情報を取得するための準備が簡単な撮像装置を実現することができるという効果を奏する。

図１は、実施の形態に係る撮像装置の外観の一例を示す図である。 図２は、撮像装置の構成を説明するための図である。 図３は、処理回路の処理ブロックの構成の一例を示す図である。 図４は、Ｃｔｏｆのコストカーブ関数の一例を示す図である。 図５は、再投影処理を模式的に示した図である。 図６は、計測範囲の入力画像に対して対象物を示すセグメンテーション情報を付与する説明図である。 図７は、撮像装置の処理回路の動作の一例を示すフロー図である。 図８は、変形例１に係る位相差検出方式で計測する撮像装置の構成について説明するための図である。 図９は、投射部の構成の一例を模式的に示す図である。 図１０は、ＭＥＭＳミラーの構成の一例を説明する図である。 図１１は、変形例２に係る撮像装置の構成の一例を説明するための図である。 図１２は、ＥｑｕｉＲｅｃｔａｎｇｕｌａｒ等の投影系の説明図である。

以下に添付図面を参照して、撮像装置および撮像処理方法の実施の形態を詳細に説明する。

［第１の実施の形態］
図１および図２は、第１の実施の形態に係る撮像装置の構成の一例を示す図である。図１は、撮像装置の外観の一例を示す図である。図２は、撮像装置の構成を説明するための図である。図２には、図１の撮像装置の内部の構成を示している。さらに、図２には、光の経路を説明するための図を重ねて示している。先ず、図１および図２を参照して撮像装置の構成について説明する。

撮像装置１は、撮像部（カメラ）１１と、可視光以外の光を投射する投射部（距離センサの発光部に相当する部分）１２と、投射部１２が投射した光に基づいて距離情報を取得する距離情報取得部（距離センサの受光部に相当する部分）１３とを筐体１０に対して一体に設けたものである。各部は、筐体１０内部の処理回路１４と同期信号線Ｌにより電気的に接続されており、それぞれ同期して動作する。ここで、撮像部１１は「撮像手段」に相当し、投射部１２は「投射手段」に相当し、距離情報取得部１３は「受光手段」に相当する。処理回路１４は、「取得手段」に相当する。

撮影スイッチ１５は、ユーザが処理回路１４に撮影指示信号を入力するためのものである。撮影指示に基づき処理回路１４は各部を制御してＲＧＢ画像や距離情報のデータを取得し、さらに「情報処理手段」として、取得した距離情報のデータをＲＧＢ画像や距離情報のデータに基づいて高密度３次元点群データに再構築する処理を行う。距離情報のデータは、そのまま使用しても３次元点群データを構築することが可能だが、その場合、３次元点群データの精度が距離情報取得部１３の画素数（解像度）に制限される。本例では、それを高密度の３次元点群データに再構築する場合の処理についても示す。再構築したデータは可搬型の記録媒体や通信などを介して外部のＰＣなどに出力され、３次元復元モデルの表示に利用される。

各部や処理回路１４には、筐体１０内部に収容されるバッテリから電力が供給される。この他にも、筐体１０の外部から接続コードにより電力供給を受ける構成としてもよい。

撮像部１１は、撮像素子１１ａや、魚眼レンズ（広角レンズ）１１ｂなどを有する。投射部１２は、光源部１２ａや広角レンズ１２ｂなどを有する。距離情報取得部１３は、ＴＯＦ（Time Of Fright）センサ１３ａや広角レンズ１３ｂなどを有する。なお、各部は、図示を省略しているがプリズムやレンズ群などの光学系を構成してよい。例えば、撮像部１１に、魚眼レンズ１１ｂが集めた光を撮像素子１１ａに結像するための光学系を構成してよい。また、投射部１２に、光源部１２ａの光を広角レンズ１２ｂに導く光学系を構成してよい。また、距離情報取得部１３に広角レンズ１３ｂが集めた光をＴＯＦセンサ１３ａに結像するための光学系を構成してよい。各光学系については、撮像素子１１ａ、光源部１２ａ、ＴＯＦセンサ１３ａなどの構成や配置に応じて適宜決めてよいものとし、ここでは、プリズムやレンズ群などの光学系については省略して説明する。

撮像素子１１ａ、光源部１２ａ、およびＴＯＦセンサ１３ａは、筐体１０の内部に一体的に収められている。魚眼レンズ１１ｂと、広角レンズ１２ｂと、広角レンズ１３ｂとは、それぞれ筐体１０の第１の面に設けられている。第１の面において、魚眼レンズ１１ｂ、広角レンズ１２ｂ、および広角レンズ１３のぞれぞれの内側の範囲は開口している。

撮像素子１１ａは、２次元解像度のイメージセンサ（エリアセンサ）である。撮像素子１１ａは、２次元方向に各画素の受光素子（フォトダイオード）が多数配列された撮像エリアを有する。撮像エリアには可視光を受光するためにベイヤ配列等のＲ（Ｒｅｄ）とＧ（Ｇｒｅｅｎ）とＢ（Ｂｌｕｅ）のカラーフィルタが設けられており、カラーフィルタを通過した光がフォトダイオードに蓄電される。ここでは、広角（例えば図２に示す撮像方向を正面とする周囲１８０度の半天球の範囲など）の２次元画像を高解像度で取得することができるように画素数の多いイメージセンサを使用する。撮像素子１１ａは、その撮像エリアに結像した光を各画素の画素回路で電気信号に変換して高解像度のＲＧＢ画像を出力する。魚眼レンズ１１ｂは、広角（例えば図２に示す撮像方向を正面とする周囲１８０度の半球の範囲など）から光を集め、その光を撮像素子１１ａの撮像エリアに結像する。

光源部１２ａは、半導体レーザであり、距離の計測に用いる可視光領域以外（ここでは一例として赤外とする）の波長帯のレーザ光を出射する。光源部１２ａには、１つの半導体レーザを用いてもよいし、複数の半導体レーザを組み合わせて使用してもよい。また、半導体レーザとして例えばＶＣＳＥＬ（Vertical Cavity Surface Emitting LASER）などの面発光型の半導体レーザを使用してもよい。また、半導体レーザの光を光学レンズにより縦に長くなるように成形し、縦長にした光を、ＭＥＭＳ（Micro Electro Mechanical Systems）ミラーなどの光偏向素子で計測範囲の一次元方向に走査するような構成にしてもよい。本実施の形態では、光源部１２ａとして、半導体レーザＬＡの光をＭＥＭＳミラーなどの光偏向素子を使用せずに広角レンズ１２ｂを介して広角の範囲に広げる形態を示している。

光源部１２ａの広角レンズ１２ｂは、光源部１２ａが出射した光を広角（例えば図２に示す撮像方向を正面とする周囲１８０度の半球の範囲など）の範囲に広げる機能を有する。

距離情報取得部１３の広角レンズ１３ｂは、投射部１２により投射された光源部１２ａの光の反射光を、計測範囲である広角（例えば図２に示す撮像方向を正面とする周囲１８０度の半球の範囲など）の各方向から取り込み、それらの光をＴＯＦセンサ１３ａの受光エリアに結像する。計測範囲には一つまたは複数の被投射物（例えば建物など）が含まれており、被投射物で反射した光（反射光）が広角レンズ１３ｂに入射する。反射光は、例えば広角レンズ１３ｂの表面全体に赤外領域の波長以上の光をカットするフィルタを設けるなどして取り込んでよい。なお、これに限らず、受光エリアに赤外領域の光が入射すればよいため、広角レンズ１３ｂから受光エリアまでの光路にフィルタなど赤外領域の波長の光を通す手段を設けてもよい。

ＴＯＦセンサ１３ａは、２次元解像度の光センサである。ＴＯＦセンサ１３ａは多数の受光素子（フォトダイオード）が２次元方向に配列された受光エリアを有する受光手段である。ＴＯＦセンサ１３ａは、計測範囲の各エリア（各エリアを位置とも言う）の反射光を、各エリアに対応する受光素子で受光し、各受光素子で検出した光に基づき各エリアまでの距離を計測（算出）する。

例えば、図２に示すパルス方式で距離を計測する構成では、光源部１２ａで、立ち上がり時間が数ナノ秒（ｎｓ）で且つ光ピークパワーが強い超短パルスの照射パルスＰ１を出射し、これに同期してＴＯＦセンサ１３ａにより、光源部１２ａが出射した照射パルスＰ１の反射光である反射パルスＰ２の受光までにかかる時間（ｔ）を計測する。この方式を採用する場合、例えばＴＯＦセンサ１３ａとして、受光素子の出力側に時間の計測を行う回路などを実装したものを使用する。各回路では、受光素子毎に、光源部１２ａが照射パルスＰ１を出射してから反射パルスＰ２を受光するまでにかかる時間を距離に換算し、各エリアまでの距離を得る。このように、ＴＯＦセンサ１３ａは、投射部１２による光の照射に同期して駆動し、各受光素子（画素に対応）で反射光を受光するまでにかかった時間から各画素に対応する距離を算出し、画素情報に計測範囲内の各エリアまでの距離を示す情報を対応付けた距離情報（「距離画像」や「ＴＯＦ画像」とも言う）を出力する。なお、測定範囲を分割することができるエリア数は、受光エリアの解像度によって決まる。従って、小型化のため解像度が低いものを使用した場合、距離画像の画素情報の数が減少するため、３次元点群の数も少なくなる。この方式は、ピーク光を使用し強力な光を出力することができるので、撮像装置１の広角化に適している。また、ＭＥＭＳミラーなどを使用して光を振る（走査する）構成にした場合には、強力な光を、広がりを抑えつつ遠くまで照射することができるため、測定距離の拡大に繋がる。この場合、光源部１２ａから出射されたレーザ光を、ＭＥＭＳミラーにより広角レンズ１２ｂへ向けて走査（偏向）するような配置関係とする。

なお、撮像部１１の有効画角と距離情報取得部１３の有効画角は例えば１８０度以上で一致していることが望ましいが、必ずしも一致していなくてもよい。必要に応じて撮像部１１の有効画角と距離情報取得部１３の有効画角とをそれぞれ減じてもよい。本実施例では、撮像部１１および距離情報取得部１３は画角に干渉するものがないように例えば１００度～１８０度の範囲内などに有効画素を減じている。また、ＴＯＦセンサ１３ａの解像度は、撮像装置１の小型化を優先して撮像素子１１ａの解像度よりも低く設定してよい。本例のようなパルス方式の場合、ＴＯＦセンサ１３ａを高解像度に設けることは難しい。ＴＯＦセンサ１３ａを撮像素子１１ａよりも低解像度のものとすることにより、受光エリアのサイズ拡大を抑えることができるため、撮像装置１の小型化に繋げることができる。このためＴＯＦセンサ１３ａは低解像度になり、ＴＯＦセンサ１３ａで得られる３次元点群は低密度となるが、「取得手段」である処理回路１４を設けているため高密度の３次元点群に変換することができる。処理回路１４において高密度の３次元点群に変換する処理については後述する。

本実施の形態では、一例として、撮像素子１１ａと、光源部１２ａと、ＴＯＦセンサ１３ａとは筐体１０の長手方向に直線上に並ぶように設けている。撮像素子１１ａの撮像エリア（撮像面）やＴＯＦセンサ１３ａの受光エリア（受光面）は、図２に示すように長手方向に直交する方向に向けて配置してもよいし、光の直進方向（光路）を９０度変換して入射させるプリズムなどを設けることで長手方向に向けて配置してもよい。この他にも、構成に応じて任意の向きに配置してもよい。つまり、撮像素子１１ａと、光源部１２ａと、ＴＯＦセンサ１３ａとは、同じ計測範囲が対象となるように配置される。撮像部１１と、投射部１２と、距離情報取得部１３とが筐体１０の一面側から、その測定範囲に向けて配置される。この際に、撮像素子１１ａとＴＯＦセンサ１３ａとを、平行ステレオ化するように同一基線上に配置できればよい。平行ステレオ化するように配置することにより、撮像素子１１ａが１つであっても、ＴＯＦセンサ１３ａの出力を利用して視差データを得ることが可能になる。光源部１２ａは、ＴＯＦセンサ１３ａの計測範囲に光を照射することができるように構成する。

（処理回路）
続いて、処理回路１４の処理について説明する。ＴＯＦセンサ１３ａだけで得たＴＯＦ画像は、そのままでは解像度が低い。このため、本例では処理回路１４により高解像度化し、高密度の３次元点群データを再構築する例を示す。なお、処理回路１４における「情報処理手段」としての以下に示す処理の一部または全ては、外部装置で行ってもよい。

図３は、処理回路１４の処理ブロックの構成の一例を示す図である。図３に示す処理回路１４は、制御部１４１と、ＲＧＢ画像データ取得部１４２と、モノクロ処理部１４３と、ＴＯＦ画像データ取得部１４４と、高解像度化部１４５と、マッチング処理部１４６と、再投影処理部１４７と、セマンティックセグメンテーション部１４８と、視差計算部１４９と、３次元再構成処理部１５０とを有する。なお、図３において、実線矢印は信号の流れを示し、破線矢印はデータの流れを示している。

制御部１４１は、撮影スイッチ１５からＯＮ信号（撮影開始信号）を受けると撮像素子１１ａ、光源部１２ａ、およびＴＯＦセンサ１３ａに同期信号を出力し、処理回路１４全体を制御する。制御部１４１は、先ず光源部１２ａに超短パルスの出射を指示する信号を出力し、これと同じタイミングでＴＯＦセンサ１３ａにＴＯＦ画像データの生成を指示する信号を出力する。さらに、制御部１４１は、撮像素子１１ａに撮像を指示する信号を出力する。なお、撮像素子１１ａにおける撮像は、光源部１２ａから超短パルスが出射されている期間でもよいし、その前後の直近の期間でもよい。

ＲＧＢ画像データ取得部１４２は、制御部１４１による撮像指示に基づき、撮像素子１１ａが撮像したＲＧＢ画像データを取得する。モノクロ処理部１４３は、ＴＯＦセンサ１３ａから得られるＴＯＦ画像データとのマッチング処理のためにデータ種を揃えるための処理を行う。この例では、モノクロ処理部１４３は、ＲＧＢ画像データをモノクロ画像に変換する処理を行う。

ＴＯＦ画像データ取得部１４４は、制御部１４１によるＴＯＦ画像データの生成指示に基づき、ＴＯＦセンサ１３ａが生成したＴＯＦ画像データを取得する。

高解像度化部１４５は、ＴＯＦ画像データをモノクロ画像に見立て、その解像度を高解像度化する。具体的に、高解像度化部１４５は、ＴＯＦ画像データの各画素に対応付けられている距離の値を、モノクロ画像の値（グレースケール値）に置き換えて使用する。さらに、高解像度化部１４５は、モノクロ画像の解像度を撮像素子１１ａから得られたＲＧＢ画像データの解像度まで高解像度化する。高解像度への変換は、例えば通常のアップコンバート処理を施すことにより行う。その他の変換方法としては、例えば連続して生成されたＴＯＦ画像データを複数フレーム取得し、それらを利用して隣接する地点の距離を追加して超解像度処理を施すなどしてもよい。

マッチング処理部１４６は、ＴＯＦ画像データを高解像度化したモノクロ画像と、ＲＧＢ画像データのモノクロ画像とについて、テクスチャのある部分の特徴量を抽出し、抽出した特徴量によりマッチング処理を行う。例えば、マッチング処理部１４６は、各モノクロ画像からエッジを抽出し、抽出したエッジ情報同士でマッチング処理を行う。この他の方法として、例えばＳＩＦＴ等のテクスチャの変化を特徴量化した手法でマッチング処理を行ってもよい。ここでマッチング処理とは、対応画素の探索のことを意味する。

マッチング処理の具体的な手法として、例えばブロックマッチングがある。ブロックマッチングは、参照する画素の周辺で、Ｍ×Ｍ（Ｍは正の整数）ピクセルサイズのブロックとして切り出される画素値と、もう一方の画像のうち、探索の中心となる画素の周辺で、同じくＭ×Ｍピクセルのブロックとして切り出される画素値の類似度を計算し、最も類似度が高くなる中心画素を対応画素とする方法である。

類似度の計算方法は様々である。例えば、次に示す（式１）は正規化自己相関係数Ｃ_ＮＣＣ（NCC：Normalized Correlation Coefficient）を示す式である。正規化自己相関係数Ｃ_ＮＣＣは数値が高いほど類似度が高いことを示し、ブロックの画素値が完全に一致していれる場合に１となる。

探索範囲の中で最も高い係数値を示すブロックの中心画素を対応画素とする。

また、ＴＯＦ画像データからテクスチャレス領域の距離のデータも得られるため、領域に応じてマッチング処理に重みをつけてもよい。例えば式１の計算において、次に示す式２に示すようにエッジ以外の箇所（テクスチャレス領域）に重みをかける計算を行ってもよい。

また、式１の代わりに、次の式３のような選択的正規化相関（ＳＣＣ：Selective Correlation Coefficient）などを用いてもよい。

式３は基本的に式１と同様であるが、選択関数Ｃ_ｎと呼ばれるマスク係数を通しているところが異なる。一般的にはＣ_ｎはｂ_ｎ，ｂ´_ｎをそれぞれ各画像に対する増分符号として定義される。つまりエッジがより強調されて計算される。この反対を使うことによってエッジでない領域によりＴＯＦデータを利用させることができる。ただし、ここでＣ_ｔｏｆは、ＴＯＦセンサ１３ａで検出された距離位置を中心に幅を持たせた重みのコストカーブ関数とする。図４が、Ｃ_ｔｏｆのコストカーブ関数の一例である。

再投影処理部１４７は、計測範囲の各位置の距離を示すＴＯＦ画像データを撮像部１１の２次元座標（スクリーン座標系）に再投影する処理を行う。再投影するとは、ＴＯＦセンサ１３ａが算出する３次元点が、撮像素子１１ａの画像ではどの座標に写るかを求めることである。ＴＯＦ画像データは、距離情報取得部１３（主に広角レンズ１３ｂ）を中心とする座標系における３次元点の位置を示す。従って、ＴＯＦ画像データが示す３次元点を、撮像部１１（主に魚眼レンズ１１ｂ）を中心とする座標系に再投影する。例えば、再投影処理部１４７は、ＴＯＦ画像データの３次元点の座標を撮像部１１を中心とする３次元点の座標に平行移動し、平行移動後に、ＲＧＢ画像データが示す２次元の座標系（スクリーン座標系）に変換する処理を施す。図５は、再投影処理を模式的に示した図である。スクリーン座標系に変換する処理について式４を用いて説明する。

式４において、（Ｘ，Ｙ，Ｚ）は撮像部１１の座標系における３次元座標を示している。３×３行列は投影行列と呼ばれるものであり、スクリーン座標系の（ｘ，ｙ）方向の焦点距離（ｆ_ｘ，ｆ_ｙ）と、光学中心に対するスクリーン座標系のずれ（ｃ_ｘ，ｃ_ｙ）とを使って示される。式２により求まるλ（ｕ，ｖ）がスクリーン座標系に変換（再投影）されたときの座標（再投影座標）である。

視差計算部１４９は、マッチング処理により得られた対応画素との距離のズレから各位置の視差を計算する。

なお、視差のマッチング処理は、再投影処理部１４７が変換した再投影座標を利用して、再投影座標の位置の周辺画素を探索することで、処理時間の短縮や、より詳細で高解像度な距離情報を取得することが可能になる。

また、視差のマッチング処理にセマンティックセグメンテーション部１４８のセマンティックセグメンテーション処理により得られたセグメンテーションデータを利用してもよい。その場合、さらに詳細で高解像度の距離情報を取得することができるようになる。

また、エッジのみや、強い特徴量のある部分のみ、視差のマッチング処理を行い、その他の部分は、ＴＯＦ画像データも利用し、例えばＲＧＢ画像特徴や確率的な手法を利用し、伝搬処理を行ってもよい。

セマンティックセグメンテーション部１４８は、深層学習を利用して、例えば図６のように、計測範囲の入力画像に対して対象物を示すセグメンテーションラベルを付与する。これにより、ＴＯＦ画像データの各画素を、距離毎に分けた複数の距離領域の何れかに拘束させることができるので、計算の信頼性がさらに高まる。

３次元再構成処理部１４５は、ＲＧＢ画像データ取得部１４２からＲＧＢ画像データを取得し、視差計算部１４９が出力した距離情報に基づいて３次元データを再構成し、各３次元点に色情報を付加した高密度３次元点群を出力する。

（処理回路の動作）
図７は、撮像装置１の処理回路１４の動作の一例を示すフロー図である。処理回路１４の制御部１４１は、ユーザにより撮影スイッチ１５がＯＮされ、撮影指示信号が入力されると、次のような方法で高密度３次元点群を生成する動作を行う。

先ず、制御部１４１は、光源部１２ａと、ＴＯＦセンサ１３ａと、撮像素子１１ａとを駆動して計測範囲を撮影する（ステップＳ１）。制御部１４１による駆動により、光源部１２ａが赤外光（照射パルス）を照射し、その反射光である反射パルスをＴＯＦセンサ１３ａが受光する。また、撮像素子１１ａが、光源部１２ａの駆動開始のタイミングあるいはその直近の期間に計測範囲を撮像する。

次に、ＴＯＦ画像データ取得部１４４が、ＴＯＦセンサ１３ａから２次元領域の各位置の距離を示すＴＯＦ画像データを取得する（ステップＳ２）。さらに、ＲＧＢ画像データ取得部１４２が、撮像素子１１ａから計測範囲のＲＧＢ画像データを取得する（ステップＳ３）。なお、ステップＳ２とステップＳ３は逆の順序で行われても良い。

次に、モノクロ処理部１４３が、ＲＧＢ画像データをモノクロ画像へ変換する（ステップＳ４）。ＴＯＦ画像データとＲＧＢ画像データとでは、それぞれが距離データとＲＧＢデータとでデータ種が異なり、そのままではマッチングを行うことができない。従って、先ず一旦、それぞれのデータをモノクロ画像に変換する。ＴＯＦ画像データについては、高解像度化部１４５が高解像度化の前に各画素の距離を示す値を、そのままモノクロ画像の値に置き換えることで変換する。

次に、高解像度化部１４５がＴＯＦ画像データの解像度を高解像度化する（ステップＳ５）。

次に、マッチング処理部１４６が、各モノクロ画像についてテクスチャのある部分の特徴量を抽出し、抽出した特徴量でマッチング処理を行う（ステップＳ６）。

次に、視差計算部１４９が、対応画素の距離のズレから各位置の視差を計算する（ステップＳ７）。

そして、３次元再構成処理部１４５が、ＲＧＢ画像データ取得部１４２からＲＧＢ画像データを取得し、視差計算部１４９が出力した距離情報に基づいて３次元データを再構成し、各３次元点に色情報を付加した高密度３次元点群を出力する（ステップＳ８）。

以上のように、本実施の形態に係る撮像装置は、可視光を受光して画像を取得する撮像部と、可視光以外の光を投射する投射部と、投射部が投射した光に基づいて距離情報を取得する距離情報取得部とを筐体に対して一体的に設ける。これにより、距離情報を取得するための準備が簡単な撮像装置を実現することができる。従来のように撮像装置と投射装置とが別体の場合は、撮影のたびに、撮像装置と投射装置のキャリブレーションが必要になる。キャリブレーションとは、投射方向と撮像方向の位置あわせなどである。しかし、本実施の形態では、共通の筐体に一体的に設けられるため、そのようなキャリブレーションは不要である、このため、距離情報を取得するための準備が簡単になる。また、処理回路において、各部が出力したデータを基に高密度の３次元点群データを再構築する。これにより、「高解像度」で「高精度」な「遠方・広角の３次元復元」を１つの小型デバイスとして実現することが可能になる。

（変形例１）
実施の形態には、パルス方式で距離を計測する構成を示したが、この方式に限らず、適宜他の方式に変形してもよい。変形例１では、パルス方式以外の一例として位相差検出方式で距離を計測する場合の構成について示す。

一般に、位相差検出方式では、基本周波数で振幅変調したレーザ光を計測範囲に照射し、その反射光を受光して照射光と反射光との位相差を測定することで時間を求め、その時間に光速をかけて距離を算出する。この方式では、ある程度の解像度が見込めることが強みだが、位相差を取るために光を出し続ける必要がある。このために強い光を出力することはできず、計測範囲を遠方まで稼ぐことが難しい。またスポット光が基本になるために広角化が難しい。変形例１では、この点も改善する。

図８は、変形例１に係る位相差検出方式で計測する撮像装置の構成について説明するための図である。図８には、図２に示す撮像装置１の構成において、位相差検出方式に変形した場合の構成を示している。ここでは、図２に示す撮像装置の構成とは異なる箇所について説明し、共通する箇所については説明を適宜省略する。

変形例１に係る撮像装置２において、光源部は、基本周波数で振幅変調したレーザ光を照射する。ここでは位相差検出方式を採用するため、スポット光を利用する。図８に示す一例では、「走査手段」である光偏向素子の一例のＭＥＭＳミラー２３１と、半導体レーザ２３２とを設けている。

ＭＥＭＳミラー２３１は、一次元方向に駆動し、半導体レーザ２３２のレーザ光を計測範囲の一方向（例えばＸ軸方向）に走査する。投射部から見た場合、計測範囲の全てはＸ軸と、これに直交するＹ軸の２次平面に投影することができる。そこで、この計測範囲の全てを２次平面と考えたときのＸ軸方向に対してＭＥＭＳミラー２３１によりレーザ光を走査する。２次平面におけるＹ軸方向の範囲についてはレーザ光に縦長の光を使用することによりカバーする。このように構成することにより、位相差検出方式において広角化を可能にする。

図８に示す例では、半導体レーザ２３２を設けて走査系拡大レンズ２３３によりレーザ光を縦長の径になるように成形することで、２次平面のＹ軸方向の範囲をカバーする。ここでは、一例として、多数の半導体レーザ２３２を使用する。なお、半導体レーザ２３２の数は、適宜決めてよい。半導体レーザ２３２は、強い光を得るために複数構成したものを示しているが、これに限定せず、１であってもよい。なお、半導体レーザ２３２の数を増やすにつれて、強い光を出し続けることがより可能になる。

半導体レーザとしてＶＣＳＥＬを使用してもよい。複数の半導体レーザを構成する場合、ＶＣＳＥＬにおいてレーザ光を出射する発光部を一次元方向に配列したものや、２次元方向に配列したものなどを利用することができる。

図９は、変形例１に係る投射部の構成の一例を模式的に示す図である。図９に示すように、処理回路１４の制御部１４１が、半導体レーザ２３２の発光回路２３２ａとＸ軸方向にスポット光を走査するＭＥＭＳミラー２３１とを共に制御する。具体的に、制御部１４１は、半導体レーザ２３２を発光した後、ＭＥＭＳミラー２３１を一軸方向（図９の回転軸周り）に往復回動させる。この制御により、半導体レーザ２３２から出射されたレーザ光ＰがＭＥＭＳミラー２３１を介して計測範囲の一次元方向（Ｘ軸方向）に走査される。

図９には、ＭＥＭＳミラー２３１を介することによりレーザ光Ｐが方向を変えて出射される様子を破線矢印で示している。また、この例では、走査系拡大レンズ２３３を設けているため、レーザ光Ｐは径が縦長になるように成形されて出射される。図９には、ＭＥＭＳミラー２３１により一次元方向に走査されるレーザ光Ｐにおいて、任意のレーザ光Ｐの径が走査系拡大レンズ２３３により縦長になるように成形されて出射される様子を一点鎖線矢印で示している。このように、変形例１に示す構成であれば、ＭＥＭＳミラー２３１の一軸方向の駆動だけで計測範囲全体にレーザ光Ｐが照射される。また、位相差検出方式において強い光を出し続けることと広角化とを実現することができる。

（光偏向素子）
図１０は、ＭＥＭＳミラー２３１の構成の一例を説明する図である。図１０に示すＭＥＭＳミラー２３１は、支持基板１３１に、可動部１３２と二組の蛇行状梁部１３３とを有する。

可動部１３２は反射ミラー１３２０を備えている。二組の蛇行状梁部１３３はそれぞれ一端が可動部１３２に連結され、他端が支持基板１３１により支持されている。二組の蛇行状梁部１３３はそれぞれミアンダ形状の複数の梁部からなり、共に、第１の電圧の印加により変形する第１の圧電部材１３３１と、第２の電圧の印加により変形する第２の圧電部材１３３２とを各梁部に１つおきに有する。第１の圧電部材１３３１と第２の圧電部材１３３２と隣り合う梁部ごとに独立に設けられている。二組の蛇行状梁部１３３はそれぞれ第１の圧電部材１３３１と第２の圧電部材１３３２への電圧の印加により変形し、可動部１３２の反射ミラー１３２０を回転軸周りに回転させる。

具体的には、第１の圧電部材１３３１と第２の圧電部材１３３２に逆位相となる電圧を印加し、各梁部に反りを発生させる。これにより、隣り合う梁部が異なる方向にたわみ、それが累積され、二組の蛇行状梁部１３３に連結する可動部１３２と共に反射ミラー１３２０が回転軸を中心に往復回動する。さらに、回転軸を回転中心とするミラー共振モードに合わせた駆動周波数をもつ正弦波を逆相で第１の圧電部材１３３１と第２の圧電部材１３３２とに印加することで、低電圧で非常に大きな回転角度を得ることができる。

なお、駆動波形は正弦波に限らない。例えばノコギリ波であってもよい。また、共振モードに限らず、非共振モードで駆動させてもよい。

（処理回路の動作）
制御部１４１は、撮影スイッチ１５からＯＮ信号（撮影開始信号）を受けると撮像素子１１ａ、光源部（半導体レーザ２３２とＭＥＭＳミラー２３１）、およびＴＯＦセンサ１３ａ（この例では位相差検出方式のＴＯＦセンサ）に同期信号を出力して駆動し、処理回路１４全体を制御する。変形例１では、制御部１４１は、光源部の複数の半導体レーザ２３２を駆動し、ＭＥＭＳミラー２３１による一走査の間、強い光をＭＥＭＳミラー２３１に照射し続ける。ＭＥＭＳミラー２３１は、半導体レーザ２３２の照射と共に走査を開始する。ＴＯＦセンサ１３ａは、走査期間中、測定範囲からの反射光を対応する受光素子で受光し、各画素のデータを処理回路１４へ出力する。

処理回路１４へ出力されたデータは、距離情報取得部１３が取得し、照射光と反射光との位相差から時間を求め、その時間に光速をかけて距離を算出する。このようにして生成されたＴＯＦ画像データは、実施の形態と同様の手順で高密度３次元点群データが再構築される。３次元点群データの再構築の処理については、実施の形態の説明の繰り返しになりため、ここでの説明は省略する。

以上のように、変形例１の構成では、光偏向素子や複数の半導体レーザを設けた場合のものについて示している。本構成では、ＭＥＭＳミラーや、ＶＣＳＥＬなどを採用することにより、撮像素子１１ａと、光源部（半導体レーザ２３２とＭＥＭＳミラー２３１）と、ＴＯＦセンサ１３ａとを筐体１０の長手方向に直線上に並ぶように設けることができるため、撮像装置１を小型化することがより可能になる。

（変形例２）
実施の形態や変形例１には、ＲＧＢ画像を取得する撮像部と、可視光領域以外の光を投射する投射部と、投射部が投射した光に基づいて距離情報を取得する距離情報取得部とを、それぞれを１組ずつ半天球（略１８０度、または１８０度以下）の測定範囲を対象に筐体１０に設けたものを示した。各部の数は、１組ずつに限らず適宜増やしてもよい。例えば、半天球（略１８０度、または１８０度以下）の測定範囲を対象に、撮像部を同一基線上に２組設け、撮像部をステレオカメラ化してもよい。また、筐体１０の正面側だけでなく背面側などにも、同じ数の撮像部、投射部、距離情報取得部を設けてもよい。このように、撮像部、投射部、および距離情報取得部を複数組設ける場合、複数組の一つの組（例えば正面側の組）と他の組（例えば背面側の組）とは計測範囲が互いに異なる計測範囲になる向きに設ける。

図１１は、変形例２に係る撮像装置の構成の一例を説明するための図である。図１１には、図２に示す撮像装置１の構成を変形した場合の構成を示している。ここでは、図２に示す撮像装置の構成とは異なる箇所について説明し、共通する箇所については説明を適宜省略する。

図１１に示す撮像装置３は、筐体１０の一面（正面とする）に撮像部１１を同一基線上に２組設けた場合のものである。また、筐体１０の背面にも、正面と同様の数および配列で、撮像部１１と、投射部１２と、距離情報取得部１３とを一体に設けている。

図１１に示すように、正面だけでなく背面側にも設けることにより、正面側の半天球（略１８０度）に背面側の半天球（略１８０度）も加わり、全天球（周囲３６０度）の範囲をカバーすることができるようになる。つまり、１度の撮影により処理回路１４は３６０度全方向のＲＧＢ画像と距離情報のデータとを取得することができ、全方向の３次元復元モデルのためのデータ（高密度３次元点群データ）を１度に生成することができる。なお、高密度３次元点群データを生成する処理は、全方向のＲＧＢ画像と距離情報のデータとを使用することを除き実施の形態と略同様である。

また、図１１に示す構成では、筐体１０の一面にＲＧＢの撮像部１１を同一基線上に２組設けている。この場合、処理回路１４において多眼での処理が可能になる。つまり、一面において所定距離離して設けた２つの撮像部１１を同時に駆動することにより２つの視点のＲＧＢ画像が得られる。このため、２つのＲＧＢ画像に基づいて計算した視差の使用が可能になり、さらに測定範囲全体の距離精度を向上させることができる。

具体的には、ＲＧＢの撮像部１１を複数設けた場合、従来の視差計算のように、ＳＳＳＤを使ったマルチベースラインステレオ（ＭＳＢ）やＥＰＩ処理などが利用可能になる。このため、これを利用することで視差の信頼度があがり、高い空間解像度と精度を実現することが可能になる。

（処理回路の動作）
例えば次に示す式５のように、式２をベースとしてさらにエッジでのＲＧＢ画像を利用する比率を高くする。ここでＣ_ＲＧＢは、ＲＧＢ多眼画像による視差計算処理であり、ＭＢＳやＥＰＩで計算されるコスト値である。ｗ_１はＣ_ｗｎｃｃとＣ_ＲＧＢのどちらを優先するかを決定する重み値であるが、式２で示したｗをそのまま利用してもよい。

マッチングした視差から、実際の距離への計算は、次式の式６により行う。Ｚが奥行き、ｆが焦点であり、ｂａｓｅｌｉｎｅは基線長と呼ばれ、撮像部１１間の基線上における距離である。ｄは視差であり、上記のマッチング処理によって算出された値、つまり、その基線方向で、参照画素と対応画素の座標値の差に画素ピッチを乗じた値である。

なお、これは画像の投影形態が透視投影の場合であり、全周囲画像等で利用されるＥｑｕｉＲｅｃｔａｎｇｕｌａｒ等の投影系では、下記（式７）が利用される。図１２に、この式を導出する説明図を示している。

（適用例）
計測範囲についての３Ｄ復元技術は、Ｓｔｒｕｃｔｕｒｅ ｆｒｏｍ Ｍｏｔｏｎと呼ばれる手法や、複数の画像撮影手段を備えた機器を用いた、ステレオ法と呼ばれる手法をメインとしている。これらの手法は基本的な処理として、カメラによって異なる位置から撮影された画像中から、同じ箇所を撮影したとされる点を、画像の類似度に基づいて探索する。この処理は対応点探索などと呼ばれる。この対応点探索処理に引き続いて、場合によっては複雑な計算を施して、大規模な空間を可能な限り隙間なく滑らかに復元しようとするものである。

異なる地点から撮影した画像において、同じ箇所が撮影されたとするような点を探す場合には、基本的には画像の特徴が重要である。例えば室内の単色の壁や、単色の床など、画像として映った際に、どこを撮影しても同じで特徴のみつからないような領域（テクスチャレス領域）については、画像の類似度を元に対応点を探すことが非常に困難になる。この対応点が見つからないと、人間の目でいうところの視差が分からないことになり、奥行きを知ることができない。つまり対応点が見つからない点については正しく３Ｄ復元することが困難になる。

この課題に対して、パターン光やランダム光を照射することで、対応画素を探しやすくする手法が知られている。これは総称してアクティブステレオ法などと呼ばれる。アクティブステレオ法の例として、ゲームプレイヤーのジェスチャ入力を可能とする装置であるＫｉｎｅｃｔに代表されるように、既知のパターン光（赤外光）を照射してカメラで撮像し、深度情報を得るデバイスもあるが、これらは深度情報を取得することのみが目的とされ、被写体の自然な色情報を同時に得ることはできない。そのため、物体や空間を３次元復元し、デジタル３Ｄデータとして再利用することは難しい。別途色情報を通常のカメラ撮影によって取得し、３Ｄメッシュのテクスチャなどとして重ね合わせることはできるが、被写体が動いたり撮像装置が動いたりしている場合には不可能である。

また、カメラのマッチングを利用して距離を推測する場合には、根本的に画像の対応点マッチングによって処理を行うため、特徴領域点においてさえも、キャリブレーション性能などによって距離精度が悪化する、対象までの距離に従って測距精度が悪化する、といった問題がある。これはアクティブステレオにおいても同様の問題である。これに加え、アクティブステレオの場合は、パターンが投射されている領域は特徴点がとれるが、しかし広角にパターンを投射するためには、大きな投影装置が必要になるという問題がある。

一方、ＴＯＦを利用した方法では、投光した光が受光装置で計測できる領域においては、距離に関わらず高い測距精度を実現することができるが、光を投射してその戻ってくる時間を計測するため、ある投光に対して受光系をなすシステムが必要になる。このため、一度に数多くの測距点を取得するためには、投光・受光系のシステムを大量に備える必要が生じ、装置が大型化し、かつコストが膨大にかかる。このため、限られた投光・受光系のシステムに回転機構を設けて、装置を実現するのが一般的である。このような場合でも、カメラほどの解像度は実現できないことと、回転系を備えるために時間差が生じてしまい、装置の大型化は避けられない。回転機構に対しては、近年、機械的な回転機構をなくして投光レーザや受光センサを振るＭＥＭＳ技術や複数点の受光を可能にするＴＯＦセンサ、それに複数のレーザを備えたＶＣＳＥＬなども出てきている。これより、根源的な解像度不足と広角化の問題が改良されはするが、それでもカメラほどの高解像度化と広角化・小型化は実現できない。また、アクティブステレオと同様に、これらは深度情報を取得することのみが目的とされ、被写体の自然な色情報を同時に得ることはできない。

従来の装置をただ接続した場合は非常に大型なものになってしまうが、本実施の形態や、その変形例として示す各撮像装置においては、これらの課題が解決される。つまり、小型でありながら、略１８０度～３６０度（全周囲）をターゲットとする広角の３次元情報をテクスチャレス領域も含め、高密度に一度に復元することができる。特に可視光以外を投光する投光系と、その光を受光するセンサを、解像度が粗くてもいいように構築する場合において非常に小型な一体構成を実現することができる。

なお、上述の実施の形態および変形例は、本発明の好適な実施の例ではあるがこれに限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変形による実施が可能である。

１ 撮像装置
１０ 筐体
１１ 撮像部
１１ａ 撮像素子
１１ｂ 魚眼レンズ
１２ 投射部
１２ａ 光源部
１２ｂ 広角レンズ
１３ 距離情報取得部
１３ａ ＴＯＦセンサ
１３ｂ 広角レンズ
１４ 処理回路
１５ 撮影スイッチ
Ｌ 同期信号線

特開２０１８－０２８５５５号公報

Claims (11)

1. 計測対象を撮像する撮像手段と、
   前記計測対象に光を投射する投射手段と、
   前記計測対象から反射してきた前記光を受光する受光手段と、
   の組み合せの複数の組と、
   前記受光手段により受光した光に基づいて前記計測対象との距離情報を取得する取得手段と、
   を有し、
   前記複数の組において、一つの組と他の組とは、それぞれ異なる計測範囲の向きに設けられており、
   前記複数の組において、それぞれ、前記撮像手段と、前記投射手段と、前記受光手段は、共通の筐体に対し、前記筐体の長手方向において異なる位置に、前記取得手段と共に一体的に備わる、
   ことを特徴とする撮像装置。
2. 前記投射手段は、前記光を走査する走査手段を含む、
   ことを特徴とする請求項１に記載の撮像装置。
3. 前記投射手段は、前記計測範囲の一次元方向に対して光の径が長くなるように前記光を投射する、
   ことを特徴とする請求項２に記載の撮像装置。
4. 前記撮像手段と、前記投射手段と、前記受光手段とは前記筐体において直線上に設けられている、
   ことを特徴とする請求項１乃至３のうちの何れか一項に記載の撮像装置。
5. 前記撮像手段および前記受光手段は、画角１００度～１８０度以内に干渉するものがないように設定されている、
   ことを特徴とする請求項１乃至４のうちの何れか一項に記載の撮像装置。
6. 前記撮像手段を同一基線上に複数備える、
   ことを特徴とする請求項１乃至５のうちの何れか一項に記載の撮像装置。
7. 前記受光手段の解像度は前記撮像手段の解像度よりも低い、
   ことを特徴とする請求項１乃至６のうちの何れか一項に記載の撮像装置。
8. 前記複数の組において、前記一つの組は前記筐体の一面側に設けられ、前記他の組は前記一面に対する前記筐体の背面側に設けらている、
   ことを特徴とする請求項１乃至７のうちの何れか一項に記載の撮像装置。
9. 前記取得手段によって取得された距離情報と前記撮像手段による撮像によって得られた画像とに基づいて３次元点群データを構成する情報処理手段を有する、
   ことを特徴とする請求項１乃至８のうちの何れか一項に記載の撮像装置。
10. 前記情報処理手段は、
    前記取得手段によって取得された距離情報に基づく距離画像の解像度を前記撮像手段による撮像によって得られた画像の解像度に高解像度化することにより前記画像との間で得た視差データを用いて、前記距離画像から得られる３次元点群データよりも高密度の３次元点群データを構成する、
    ことを特徴とする請求項９に記載の撮像装置。
11. 計測対象を撮像する撮像手段と、
    前記計測対象に光を投射する投射手段と、
    前記計測対象から反射してきた前記光を受光する受光手段と、
    の組み合せの複数の組と、
    前記受光手段により受光した光に基づいて前記計測対象との距離情報を取得する取得手段と、
    を有し、
    前記複数の組において、一つの組と他の組とは、それぞれ異なる計測範囲の向きに設けられており、
    前記複数の組において、それぞれ、前記撮像手段と、前記投射手段と、前記受光手段は、共通の筐体に対し、前記筐体の長手方向において異なる位置に、前記取得手段と共に一体的に備わる撮像装置が、
    前記投射手段により、計測対象に光を投射するステップと、
    前記受光手段により、前記計測対象から反射してきた前記光を受光するステップと、
    前記受光手段が受光した光に基づいて前記計測対象の距離情報を取得するステップと、
    前記撮像手段により前記計測対象を撮像した画像と、前記取得した距離情報とに基づいて３次元点群データを構成するステップと、
    を含む撮像処理方法。

Images