JP2020057924A - Imaging device and image processing method - Google Patents
Imaging device and image processing method Download PDFInfo
- Publication number
- JP2020057924A JP2020057924A JP2018186964A JP2018186964A JP2020057924A JP 2020057924 A JP2020057924 A JP 2020057924A JP 2018186964 A JP2018186964 A JP 2018186964A JP 2018186964 A JP2018186964 A JP 2018186964A JP 2020057924 A JP2020057924 A JP 2020057924A
- Authority
- JP
- Japan
- Prior art keywords
- imaging
- unit
- light
- imaging device
- light receiving
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Measurement Of Optical Distance (AREA)
- Studio Devices (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Stereoscopic And Panoramic Photography (AREA)
- Camera Bodies And Camera Details Or Accessories (AREA)
- Automatic Focus Adjustment (AREA)
Abstract
Description
本発明は、撮像装置および撮像処理方法に関する。 The present invention relates to an imaging device and an imaging processing method.
実在する物体、建築物、それらを含む空間全体を、カメラで撮像したりあるいはレーザ光を照射したりするなどして計測し、その計測結果から現実空間にある３次元構造を電子データで復元する３次元モデル復元技術が知られている。椅子、机、模型などの小規模な対象物をターゲットとするものから、建設現場や観光地などのように複数の大規模な物体や開空間などをターゲットとするものまで、様々なターゲットへの利用が考えられる。 Real objects, buildings, and the entire space including them are measured with a camera or by irradiating a laser beam, and the three-dimensional structure in the real space is restored with electronic data from the measurement results. A three-dimensional model restoration technique is known. From targets targeting small objects such as chairs, desks, and models to targets targeting multiple large objects and open spaces such as construction sites and sightseeing spots. Use is conceivable.
また、単色の床や壁など模様がない領域についてはパターン光を照射して深度情報を取得する技術がある。また、投射した光を受光するＬｉＤＡＲ（Light Detection and Ranging）装置を開示した文献もある（特許文献１参照）。 In addition, there is a technique of acquiring depth information by irradiating pattern light to an area without a pattern such as a single-color floor or wall. There is also a document that discloses a LiDAR (Light Detection and Ranging) device that receives the projected light (see Patent Document 1).
しかしながら、従来は、撮像装置と、レーザ光などを照射する照射装置とは別体であり、３次元モデルを復元するシステムとして複雑な準備（例えば、照射方向と撮像装置の撮像方向の位置あわせなど）をする必要があった。 However, conventionally, an imaging device and an irradiation device that irradiates a laser beam or the like are separate bodies, and a complicated preparation is required as a system for restoring a three-dimensional model (for example, alignment of the irradiation direction and the imaging direction of the imaging device, etc.). Had to do).
本発明は、上記に鑑みてなされたものであって、距離情報を取得するための準備が簡単な撮像装置を提供することを目的とする。 The present invention has been made in view of the above, and an object of the present invention is to provide an imaging device that is easily prepared for acquiring distance information.
上述した課題を解決し、目的を達成するために、本発明の一実施の形態の撮像装置は、計測対象を撮像する撮像手段と、前記計測対象に光を投射する投射手段と、前記計測対象から反射してきた前記光を受光する受光手段と、前記受光手段により受光した光に基づいて前記計測対象との距離情報を取得する取得手段と、を有し、前記撮像手段と、前記投射手段と、前記受光手段と、前記取得手段とを共通の筐体に一体的に備えることを特徴とする。 In order to solve the above-described problems and achieve the object, an imaging apparatus according to an embodiment of the present invention includes: an imaging unit configured to image a measurement target; a projection unit configured to project light onto the measurement target; A light-receiving unit that receives the light reflected from the light-receiving unit, and an acquisition unit that acquires distance information from the measurement target based on the light received by the light-receiving unit; and the imaging unit and the projection unit. , The light receiving means and the obtaining means are integrally provided in a common housing.
本発明によれば、距離情報を取得するための準備が簡単な撮像装置を実現することができるという効果を奏する。 ADVANTAGE OF THE INVENTION According to this invention, there exists an effect that the preparation for acquiring distance information can be implement | achieved easily.
以下に添付図面を参照して、撮像装置および撮像処理方法の実施の形態を詳細に説明する。 Hereinafter, embodiments of an imaging device and an imaging processing method will be described in detail with reference to the accompanying drawings.
［第１の実施の形態］
図１および図２は、第１の実施の形態に係る撮像装置の構成の一例を示す図である。図１は、撮像装置の外観の一例を示す図である。図２は、撮像装置の構成を説明するための図である。図２には、図１の撮像装置の内部の構成を示している。さらに、図２には、光の経路を説明するための図を重ねて示している。先ず、図１および図２を参照して撮像装置の構成について説明する。
[First Embodiment]
1 and 2 are diagrams illustrating an example of the configuration of the imaging device according to the first embodiment. FIG. 1 is a diagram illustrating an example of an appearance of an imaging device. FIG. 2 is a diagram for explaining the configuration of the imaging device. FIG. 2 shows an internal configuration of the imaging apparatus of FIG. Further, FIG. 2 is a diagram in which light paths for explaining light paths are superimposed. First, the configuration of the imaging device will be described with reference to FIGS.
撮像装置１は、撮像部（カメラ）１１と、可視光以外の光を投射する投射部（距離センサの発光部に相当する部分）１２と、投射部１２が投射した光に基づいて距離情報を取得する距離情報取得部（距離センサの受光部に相当する部分）１３とを筐体１０に対して一体に設けたものである。各部は、筐体１０内部の処理回路１４と同期信号線Ｌにより電気的に接続されており、それぞれ同期して動作する。ここで、撮像部１１は「撮像手段」に相当し、投射部１２は「投射手段」に相当し、距離情報取得部１３は「受光手段」に相当する。処理回路１４は、「取得手段」に相当する。
The
撮影スイッチ１５は、ユーザが処理回路１４に撮影指示信号を入力するためのものである。撮影指示に基づき処理回路１４は各部を制御してＲＧＢ画像や距離情報のデータを取得し、さらに「情報処理手段」として、取得した距離情報のデータをＲＧＢ画像や距離情報のデータに基づいて高密度３次元点群データに再構築する処理を行う。距離情報のデータは、そのまま使用しても３次元点群データを構築することが可能だが、その場合、３次元点群データの精度が距離情報取得部１３の画素数（解像度）に制限される。本例では、それを高密度の３次元点群データに再構築する場合の処理についても示す。再構築したデータは可搬型の記録媒体や通信などを介して外部のＰＣなどに出力され、３次元復元モデルの表示に利用される。
The
各部や処理回路１４には、筐体１０内部に収容されるバッテリから電力が供給される。この他にも、筐体１０の外部から接続コードにより電力供給を受ける構成としてもよい。
Electric power is supplied to each unit and the
撮像部１１は、撮像素子１１ａや、魚眼レンズ（広角レンズ）１１ｂなどを有する。投射部１２は、光源部１２ａや広角レンズ１２ｂなどを有する。距離情報取得部１３は、ＴＯＦ（Time Of Fright）センサ１３ａや広角レンズ１３ｂなどを有する。なお、各部は、図示を省略しているがプリズムやレンズ群などの光学系を構成してよい。例えば、撮像部１１に、魚眼レンズ１１ｂが集めた光を撮像素子１１ａに結像するための光学系を構成してよい。また、投射部１２に、光源部１２ａの光を広角レンズ１２ｂに導く光学系を構成してよい。また、距離情報取得部１３に広角レンズ１３ｂが集めた光をＴＯＦセンサ１３ａに結像するための光学系を構成してよい。各光学系については、撮像素子１１ａ、光源部１２ａ、ＴＯＦセンサ１３ａなどの構成や配置に応じて適宜決めてよいものとし、ここでは、プリズムやレンズ群などの光学系については省略して説明する。
The
撮像素子１１ａ、光源部１２ａ、およびＴＯＦセンサ１３ａは、筐体１０の内部に一体的に収められている。魚眼レンズ１１ｂと、広角レンズ１２ｂと、広角レンズ１３ｂとは、それぞれ筐体１０の第１の面に設けられている。第１の面において、魚眼レンズ１１ｂ、広角レンズ１２ｂ、および広角レンズ１３のぞれぞれの内側の範囲は開口している。
The
撮像素子１１ａは、２次元解像度のイメージセンサ（エリアセンサ）である。撮像素子１１ａは、２次元方向に各画素の受光素子（フォトダイオード）が多数配列された撮像エリアを有する。撮像エリアには可視光を受光するためにベイヤ配列等のＲ（Ｒｅｄ）とＧ（Ｇｒｅｅｎ）とＢ（Ｂｌｕｅ）のカラーフィルタが設けられており、カラーフィルタを通過した光がフォトダイオードに蓄電される。ここでは、広角（例えば図２に示す撮像方向を正面とする周囲１８０度の半天球の範囲など）の２次元画像を高解像度で取得することができるように画素数の多いイメージセンサを使用する。撮像素子１１ａは、その撮像エリアに結像した光を各画素の画素回路で電気信号に変換して高解像度のＲＧＢ画像を出力する。魚眼レンズ１１ｂは、広角（例えば図２に示す撮像方向を正面とする周囲１８０度の半球の範囲など）から光を集め、その光を撮像素子１１ａの撮像エリアに結像する。
The
光源部１２ａは、半導体レーザであり、距離の計測に用いる可視光領域以外（ここでは一例として赤外とする）の波長帯のレーザ光を出射する。光源部１２ａには、１つの半導体レーザを用いてもよいし、複数の半導体レーザを組み合わせて使用してもよい。また、半導体レーザとして例えばＶＣＳＥＬ（Vertical Cavity Surface Emitting LASER）などの面発光型の半導体レーザを使用してもよい。また、半導体レーザの光を光学レンズにより縦に長くなるように成形し、縦長にした光を、ＭＥＭＳ（Micro Electro Mechanical Systems）ミラーなどの光偏向素子で計測範囲の一次元方向に走査するような構成にしてもよい。本実施の形態では、光源部１２ａとして、半導体レーザＬＡの光をＭＥＭＳミラーなどの光偏向素子を使用せずに広角レンズ１２ｂを介して広角の範囲に広げる形態を示している。
The
光源部１２ａの広角レンズ１２ｂは、光源部１２ａが出射した光を広角（例えば図２に示す撮像方向を正面とする周囲１８０度の半球の範囲など）の範囲に広げる機能を有する。
The wide-
距離情報取得部１３の広角レンズ１３ｂは、投射部１２により投射された光源部１２ａの光の反射光を、計測範囲である広角（例えば図２に示す撮像方向を正面とする周囲１８０度の半球の範囲など）の各方向から取り込み、それらの光をＴＯＦセンサ１３ａの受光エリアに結像する。計測範囲には一つまたは複数の被投射物（例えば建物など）が含まれており、被投射物で反射した光（反射光）が広角レンズ１３ｂに入射する。反射光は、例えば広角レンズ１３ｂの表面全体に赤外領域の波長以上の光をカットするフィルタを設けるなどして取り込んでよい。なお、これに限らず、受光エリアに赤外領域の光が入射すればよいため、広角レンズ１３ｂから受光エリアまでの光路にフィルタなど赤外領域の波長の光を通す手段を設けてもよい。
The wide-
ＴＯＦセンサ１３ａは、２次元解像度の光センサである。ＴＯＦセンサ１３ａは多数の受光素子（フォトダイオード）が２次元方向に配列された受光エリアを有する受光手段である。ＴＯＦセンサ１３ａは、計測範囲の各エリア（各エリアを位置とも言う）の反射光を、各エリアに対応する受光素子で受光し、各受光素子で検出した光に基づき各エリアまでの距離を計測（算出）する。
The
例えば、図２に示すパルス方式で距離を計測する構成では、光源部１２ａで、立ち上がり時間が数ナノ秒（ｎｓ）で且つ光ピークパワーが強い超短パルスの照射パルスＰ１を出射し、これに同期してＴＯＦセンサ１３ａにより、光源部１２ａが出射した照射パルスＰ１の反射光である反射パルスＰ２の受光までにかかる時間（ｔ）を計測する。この方式を採用する場合、例えばＴＯＦセンサ１３ａとして、受光素子の出力側に時間の計測を行う回路などを実装したものを使用する。各回路では、受光素子毎に、光源部１２ａが照射パルスＰ１を出射してから反射パルスＰ２を受光するまでにかかる時間を距離に換算し、各エリアまでの距離を得る。このように、ＴＯＦセンサ１３ａは、投射部１２による光の照射に同期して駆動し、各受光素子（画素に対応）で反射光を受光するまでにかかった時間から各画素に対応する距離を算出し、画素情報に計測範囲内の各エリアまでの距離を示す情報を対応付けた距離情報（「距離画像」や「ＴＯＦ画像」とも言う）を出力する。なお、測定範囲を分割することができるエリア数は、受光エリアの解像度によって決まる。従って、小型化のため解像度が低いものを使用した場合、距離画像の画素情報の数が減少するため、３次元点群の数も少なくなる。この方式は、ピーク光を使用し強力な光を出力することができるので、撮像装置１の広角化に適している。また、ＭＥＭＳミラーなどを使用して光を振る（走査する）構成にした場合には、強力な光を、広がりを抑えつつ遠くまで照射することができるため、測定距離の拡大に繋がる。この場合、光源部１２ａから出射されたレーザ光を、ＭＥＭＳミラーにより広角レンズ１２ｂへ向けて走査（偏向）するような配置関係とする。
For example, in the configuration for measuring the distance by the pulse method shown in FIG. 2, the
なお、撮像部１１の有効画角と距離情報取得部１３の有効画角は例えば１８０度以上で一致していることが望ましいが、必ずしも一致していなくてもよい。必要に応じて撮像部１１の有効画角と距離情報取得部１３の有効画角とをそれぞれ減じてもよい。本実施例では、撮像部１１および距離情報取得部１３は画角に干渉するものがないように例えば１００度〜１８０度の範囲内などに有効画素を減じている。また、ＴＯＦセンサ１３ａの解像度は、撮像装置１の小型化を優先して撮像素子１１ａの解像度よりも低く設定してよい。本例のようなパルス方式の場合、ＴＯＦセンサ１３ａを高解像度に設けることは難しい。ＴＯＦセンサ１３ａを撮像素子１１ａよりも低解像度のものとすることにより、受光エリアのサイズ拡大を抑えることができるため、撮像装置１の小型化に繋げることができる。このためＴＯＦセンサ１３ａは低解像度になり、ＴＯＦセンサ１３ａで得られる３次元点群は低密度となるが、「取得手段」である処理回路１４を設けているため高密度の３次元点群に変換することができる。処理回路１４において高密度の３次元点群に変換する処理については後述する。
It is desirable that the effective angle of view of the
本実施の形態では、一例として、撮像素子１１ａと、光源部１２ａと、ＴＯＦセンサ１３ａとは筐体１０の長手方向に直線上に並ぶように設けている。撮像素子１１ａの撮像エリア（撮像面）やＴＯＦセンサ１３ａの受光エリア（受光面）は、図２に示すように長手方向に直交する方向に向けて配置してもよいし、光の直進方向（光路）を９０度変換して入射させるプリズムなどを設けることで長手方向に向けて配置してもよい。この他にも、構成に応じて任意の向きに配置してもよい。つまり、撮像素子１１ａと、光源部１２ａと、ＴＯＦセンサ１３ａとは、同じ計測範囲が対象となるように配置される。撮像部１１と、投射部１２と、距離情報取得部１３とが筐体１０の一面側から、その測定範囲に向けて配置される。この際に、撮像素子１１ａとＴＯＦセンサ１３ａとを、平行ステレオ化するように同一基線上に配置できればよい。平行ステレオ化するように配置することにより、撮像素子１１ａが１つであっても、ＴＯＦセンサ１３ａの出力を利用して視差データを得ることが可能になる。光源部１２ａは、ＴＯＦセンサ１３ａの計測範囲に光を照射することができるように構成する。
In the present embodiment, as an example, the
（処理回路）
続いて、処理回路１４の処理について説明する。ＴＯＦセンサ１３ａだけで得たＴＯＦ画像は、そのままでは解像度が低い。このため、本例では処理回路１４により高解像度化し、高密度の３次元点群データを再構築する例を示す。なお、処理回路１４における「情報処理手段」としての以下に示す処理の一部または全ては、外部装置で行ってもよい。
(Processing circuit)
Next, the processing of the
図３は、処理回路１４の処理ブロックの構成の一例を示す図である。図３に示す処理回路１４は、制御部１４１と、ＲＧＢ画像データ取得部１４２と、モノクロ処理部１４３と、ＴＯＦ画像データ取得部１４４と、高解像度化部１４５と、マッチング処理部１４６と、再投影処理部１４７と、セマンティックセグメンテーション部１４８と、視差計算部１４９と、３次元再構成処理部１５０とを有する。なお、図３において、実線矢印は信号の流れを示し、破線矢印はデータの流れを示している。
FIG. 3 is a diagram illustrating an example of a configuration of a processing block of the
制御部１４１は、撮影スイッチ１５からＯＮ信号（撮影開始信号）を受けると撮像素子１１ａ、光源部１２ａ、およびＴＯＦセンサ１３ａに同期信号を出力し、処理回路１４全体を制御する。制御部１４１は、先ず光源部１２ａに超短パルスの出射を指示する信号を出力し、これと同じタイミングでＴＯＦセンサ１３ａにＴＯＦ画像データの生成を指示する信号を出力する。さらに、制御部１４１は、撮像素子１１ａに撮像を指示する信号を出力する。なお、撮像素子１１ａにおける撮像は、光源部１２ａから超短パルスが出射されている期間でもよいし、その前後の直近の期間でもよい。
When receiving an ON signal (shooting start signal) from the
ＲＧＢ画像データ取得部１４２は、制御部１４１による撮像指示に基づき、撮像素子１１ａが撮像したＲＧＢ画像データを取得する。モノクロ処理部１４３は、ＴＯＦセンサ１３ａから得られるＴＯＦ画像データとのマッチング処理のためにデータ種を揃えるための処理を行う。この例では、モノクロ処理部１４３は、ＲＧＢ画像データをモノクロ画像に変換する処理を行う。
The RGB image data acquisition unit 142 acquires RGB image data captured by the
ＴＯＦ画像データ取得部１４４は、制御部１４１によるＴＯＦ画像データの生成指示に基づき、ＴＯＦセンサ１３ａが生成したＴＯＦ画像データを取得する。
The TOF image data acquisition unit 144 acquires the TOF image data generated by the
高解像度化部１４５は、ＴＯＦ画像データをモノクロ画像に見立て、その解像度を高解像度化する。具体的に、高解像度化部１４５は、ＴＯＦ画像データの各画素に対応付けられている距離の値を、モノクロ画像の値（グレースケール値）に置き換えて使用する。さらに、高解像度化部１４５は、モノクロ画像の解像度を撮像素子１１ａから得られたＲＧＢ画像データの解像度まで高解像度化する。高解像度への変換は、例えば通常のアップコンバート処理を施すことにより行う。その他の変換方法としては、例えば連続して生成されたＴＯＦ画像データを複数フレーム取得し、それらを利用して隣接する地点の距離を追加して超解像度処理を施すなどしてもよい。
The resolution increasing unit 145 treats the TOF image data as a monochrome image and increases the resolution. Specifically, the resolution increasing unit 145 replaces the distance value associated with each pixel of the TOF image data with a monochrome image value (grayscale value) and uses the value. Further, the resolution increasing unit 145 increases the resolution of the monochrome image to the resolution of the RGB image data obtained from the
マッチング処理部１４６は、ＴＯＦ画像データを高解像度化したモノクロ画像と、ＲＧＢ画像データのモノクロ画像とについて、テクスチャのある部分の特徴量を抽出し、抽出した特徴量によりマッチング処理を行う。例えば、マッチング処理部１４６は、各モノクロ画像からエッジを抽出し、抽出したエッジ情報同士でマッチング処理を行う。この他の方法として、例えばＳＩＦＴ等のテクスチャの変化を特徴量化した手法でマッチング処理を行ってもよい。ここでマッチング処理とは、対応画素の探索のことを意味する。 The matching processing unit 146 extracts a feature amount of a textured portion from a monochrome image obtained by increasing the resolution of the TOF image data and a monochrome image of RGB image data, and performs matching processing using the extracted feature amount. For example, the matching processing unit 146 extracts an edge from each monochrome image, and performs a matching process between the extracted edge information. As another method, for example, the matching process may be performed by a method in which a change in texture such as SIFT is featured. Here, the matching process means a search for a corresponding pixel.
マッチング処理の具体的な手法として、例えばブロックマッチングがある。ブロックマッチングは、参照する画素の周辺で、Ｍ×Ｍ（Ｍは正の整数）ピクセルサイズのブロックとして切り出される画素値と、もう一方の画像のうち、探索の中心となる画素の周辺で、同じくＭ×Ｍピクセルのブロックとして切り出される画素値の類似度を計算し、最も類似度が高くなる中心画素を対応画素とする方法である。 As a specific method of the matching processing, for example, there is block matching. In the block matching, a pixel value cut out as a block of M × M (M is a positive integer) pixel size around a reference pixel and a pixel value around a search center pixel of the other image are similarly set. In this method, the similarity of pixel values cut out as a block of M × M pixels is calculated, and a central pixel having the highest similarity is set as a corresponding pixel.
類似度の計算方法は様々である。例えば、次に示す（式１）は正規化自己相関係数ＣＮＣＣ（NCC：Normalized Correlation Coefficient）を示す式である。正規化自己相関係数ＣＮＣＣは数値が高いほど類似度が高いことを示し、ブロックの画素値が完全に一致していれる場合に１となる。 There are various methods of calculating the similarity. For example, the following (Formula 1) is a formula showing a normalized autocorrelation coefficient C NCC (NCC: Normalized Correlation Coefficient). The higher the numerical value of the normalized autocorrelation coefficient C NCC is, the higher the similarity is, and it becomes 1 when the pixel values of the blocks completely match.
探索範囲の中で最も高い係数値を示すブロックの中心画素を対応画素とする。
また、ＴＯＦ画像データからテクスチャレス領域の距離のデータも得られるため、領域に応じてマッチング処理に重みをつけてもよい。例えば式１の計算において、次に示す式２に示すようにエッジ以外の箇所（テクスチャレス領域）に重みをかける計算を行ってもよい。
In addition, since data on the distance of the textureless area can be obtained from the TOF image data, the matching processing may be weighted according to the area. For example, in the calculation of
また、式１の代わりに、次の式３のような選択的正規化相関（ＳＣＣ：Selective Correlation Coefficient）などを用いてもよい。
式３は基本的に式１と同様であるが、選択関数Ｃｎと呼ばれるマスク係数を通しているところが異なる。一般的にはＣｎはｂｎ，ｂ´ｎをそれぞれ各画像に対する増分符号として定義される。つまりエッジがより強調されて計算される。この反対を使うことによってエッジでない領域によりＴＯＦデータを利用させることができる。ただし、ここでＣｔｏｆは、ＴＯＦセンサ１３ａで検出された距離位置を中心に幅を持たせた重みのコストカーブ関数とする。図４が、Ｃｔｏｆのコストカーブ関数の一例である。
再投影処理部１４７は、計測範囲の各位置の距離を示すＴＯＦ画像データを撮像部１１の２次元座標（スクリーン座標系）に再投影する処理を行う。再投影するとは、ＴＯＦセンサ１３ａが算出する３次元点が、撮像素子１１ａの画像ではどの座標に写るかを求めることである。ＴＯＦ画像データは、距離情報取得部１３（主に広角レンズ１３ｂ）を中心とする座標系における３次元点の位置を示す。従って、ＴＯＦ画像データが示す３次元点を、撮像部１１（主に魚眼レンズ１１ｂ）を中心とする座標系に再投影する。例えば、再投影処理部１４７は、ＴＯＦ画像データの３次元点の座標を撮像部１１を中心とする３次元点の座標に平行移動し、平行移動後に、ＲＧＢ画像データが示す２次元の座標系（スクリーン座標系）に変換する処理を施す。図５は、再投影処理を模式的に示した図である。スクリーン座標系に変換する処理について式４を用いて説明する。
The reprojection processing unit 147 performs a process of reprojecting the TOF image data indicating the distance of each position in the measurement range onto the two-dimensional coordinates (screen coordinate system) of the
式４において、（Ｘ，Ｙ，Ｚ）は撮像部１１の座標系における３次元座標を示している。３×３行列は投影行列と呼ばれるものであり、スクリーン座標系の（ｘ，ｙ）方向の焦点距離（ｆｘ，ｆｙ）と、光学中心に対するスクリーン座標系のずれ（ｃｘ，ｃｙ）とを使って示される。式２により求まるλ（ｕ，ｖ）がスクリーン座標系に変換（再投影）されたときの座標（再投影座標）である。
視差計算部１４９は、マッチング処理により得られた対応画素との距離のズレから各位置の視差を計算する。 The parallax calculation unit 149 calculates the parallax of each position from the deviation of the distance from the corresponding pixel obtained by the matching processing.
なお、視差のマッチング処理は、再投影処理部１４７が変換した再投影座標を利用して、再投影座標の位置の周辺画素を探索することで、処理時間の短縮や、より詳細で高解像度な距離情報を取得することが可能になる。 The parallax matching process uses the reprojection coordinates converted by the reprojection processing unit 147 to search for peripheral pixels at the position of the reprojection coordinates, thereby shortening the processing time and achieving more detailed and high-resolution processing. Distance information can be obtained.
また、視差のマッチング処理にセマンティックセグメンテーション部１４８のセマンティックセグメンテーション処理により得られたセグメンテーションデータを利用してもよい。その場合、さらに詳細で高解像度の距離情報を取得することができるようになる。 Further, the segmentation data obtained by the semantic segmentation processing of the semantic segmentation unit 148 may be used for the parallax matching processing. In this case, more detailed and high-resolution distance information can be obtained.
また、エッジのみや、強い特徴量のある部分のみ、視差のマッチング処理を行い、その他の部分は、ＴＯＦ画像データも利用し、例えばＲＧＢ画像特徴や確率的な手法を利用し、伝搬処理を行ってもよい。 Also, the parallax matching process is performed only on the edge or only the portion having a strong feature amount, and the other portions also use the TOF image data, and perform the propagation process using, for example, an RGB image feature or a stochastic method. You may.
セマンティックセグメンテーション部１４８は、深層学習を利用して、例えば図６のように、計測範囲の入力画像に対して対象物を示すセグメンテーションラベルを付与する。これにより、ＴＯＦ画像データの各画素を、距離毎に分けた複数の距離領域の何れかに拘束させることができるので、計算の信頼性がさらに高まる。 The semantic segmentation unit 148 assigns a segmentation label indicating an object to the input image in the measurement range, for example, as shown in FIG. 6, using deep learning. This allows each pixel of the TOF image data to be constrained to one of a plurality of distance areas divided for each distance, thereby further increasing the reliability of calculation.
３次元再構成処理部１４５は、ＲＧＢ画像データ取得部１４２からＲＧＢ画像データを取得し、視差計算部１４９が出力した距離情報に基づいて３次元データを再構成し、各３次元点に色情報を付加した高密度３次元点群を出力する。 The three-dimensional reconstruction processing unit 145 acquires RGB image data from the RGB image data acquisition unit 142, reconstructs three-dimensional data based on the distance information output by the parallax calculation unit 149, and outputs color information to each three-dimensional point. Is output.
（処理回路の動作）
図７は、撮像装置１の処理回路１４の動作の一例を示すフロー図である。処理回路１４の制御部１４１は、ユーザにより撮影スイッチ１５がＯＮされ、撮影指示信号が入力されると、次のような方法で高密度３次元点群を生成する動作を行う。
(Operation of processing circuit)
FIG. 7 is a flowchart illustrating an example of the operation of the
先ず、制御部１４１は、光源部１２ａと、ＴＯＦセンサ１３ａと、撮像素子１１ａとを駆動して計測範囲を撮影する（ステップＳ１）。制御部１４１による駆動により、光源部１２ａが赤外光（照射パルス）を照射し、その反射光である反射パルスをＴＯＦセンサ１３ａが受光する。また、撮像素子１１ａが、光源部１２ａの駆動開始のタイミングあるいはその直近の期間に計測範囲を撮像する。
First, the
次に、ＴＯＦ画像データ取得部１４４が、ＴＯＦセンサ１３ａから２次元領域の各位置の距離を示すＴＯＦ画像データを取得する（ステップＳ２）。さらに、ＲＧＢ画像データ取得部１４２が、撮像素子１１ａから計測範囲のＲＧＢ画像データを取得する（ステップＳ３）。なお、ステップＳ２とステップＳ３は逆の順序で行われても良い。
Next, the TOF image data acquisition unit 144 acquires TOF image data indicating the distance of each position in the two-dimensional area from the
次に、モノクロ処理部１４３が、ＲＧＢ画像データをモノクロ画像へ変換する（ステップＳ４）。ＴＯＦ画像データとＲＧＢ画像データとでは、それぞれが距離データとＲＧＢデータとでデータ種が異なり、そのままではマッチングを行うことができない。従って、先ず一旦、それぞれのデータをモノクロ画像に変換する。ＴＯＦ画像データについては、高解像度化部１４５が高解像度化の前に各画素の距離を示す値を、そのままモノクロ画像の値に置き換えることで変換する。 Next, the monochrome processing unit 143 converts the RGB image data into a monochrome image (Step S4). The data types of the TOF image data and the RGB image data are different between the distance data and the RGB data, and matching cannot be performed as they are. Therefore, each data is first converted into a monochrome image. The TOF image data is converted by the resolution increasing unit 145 by replacing the value indicating the distance of each pixel with the value of the monochrome image as it is before increasing the resolution.
次に、高解像度化部１４５がＴＯＦ画像データの解像度を高解像度化する（ステップＳ５）。 Next, the resolution increasing unit 145 increases the resolution of the TOF image data (step S5).
次に、マッチング処理部１４６が、各モノクロ画像についてテクスチャのある部分の特徴量を抽出し、抽出した特徴量でマッチング処理を行う（ステップＳ６）。 Next, the matching processing unit 146 extracts a feature amount of a portion having a texture from each monochrome image, and performs a matching process using the extracted feature amount (step S6).
次に、視差計算部１４９が、対応画素の距離のズレから各位置の視差を計算する（ステップＳ７）。 Next, the parallax calculation unit 149 calculates the parallax of each position from the deviation of the distance of the corresponding pixel (Step S7).
そして、３次元再構成処理部１４５が、ＲＧＢ画像データ取得部１４２からＲＧＢ画像データを取得し、視差計算部１４９が出力した距離情報に基づいて３次元データを再構成し、各３次元点に色情報を付加した高密度３次元点群を出力する（ステップＳ８）。 Then, the three-dimensional reconstruction processing unit 145 acquires the RGB image data from the RGB image data acquisition unit 142, reconstructs the three-dimensional data based on the distance information output by the parallax calculation unit 149, A high-density three-dimensional point group to which color information is added is output (step S8).
以上のように、本実施の形態に係る撮像装置は、可視光を受光して画像を取得する撮像部と、可視光以外の光を投射する投射部と、投射部が投射した光に基づいて距離情報を取得する距離情報取得部とを筐体に対して一体的に設ける。これにより、距離情報を取得するための準備が簡単な撮像装置を実現することができる。従来のように撮像装置と投射装置とが別体の場合は、撮影のたびに、撮像装置と投射装置のキャリブレーションが必要になる。キャリブレーションとは、投射方向と撮像方向の位置あわせなどである。しかし、本実施の形態では、共通の筐体に一体的に設けられるため、そのようなキャリブレーションは不要である、このため、距離情報を取得するための準備が簡単になる。また、処理回路において、各部が出力したデータを基に高密度の３次元点群データを再構築する。これにより、「高解像度」で「高精度」な「遠方・広角の３次元復元」を１つの小型デバイスとして実現することが可能になる。 As described above, the imaging device according to the present embodiment is based on the imaging unit that receives visible light to acquire an image, the projection unit that projects light other than visible light, and the light that the projection unit projects. A distance information acquisition unit for acquiring distance information is provided integrally with the housing. This makes it possible to realize an imaging apparatus that is easily prepared for acquiring distance information. In the case where the imaging device and the projection device are separate from each other as in the related art, calibration of the imaging device and the projection device is required each time shooting is performed. The calibration is, for example, alignment between the projection direction and the imaging direction. However, in the present embodiment, such calibration is not required because it is integrally provided in the common housing. Therefore, preparation for acquiring distance information is simplified. In the processing circuit, high-density three-dimensional point cloud data is reconstructed based on the data output from each unit. This makes it possible to realize “high-resolution” and “high-precision” “distant / wide-angle three-dimensional restoration” as one small device.
（変形例１）
実施の形態には、パルス方式で距離を計測する構成を示したが、この方式に限らず、適宜他の方式に変形してもよい。変形例１では、パルス方式以外の一例として位相差検出方式で距離を計測する場合の構成について示す。
(Modification 1)
In the embodiment, the configuration in which the distance is measured by the pulse method has been described. In the first modification, a configuration in which a distance is measured by a phase difference detection method as an example other than the pulse method will be described.
一般に、位相差検出方式では、基本周波数で振幅変調したレーザ光を計測範囲に照射し、その反射光を受光して照射光と反射光との位相差を測定することで時間を求め、その時間に光速をかけて距離を算出する。この方式では、ある程度の解像度が見込めることが強みだが、位相差を取るために光を出し続ける必要がある。このために強い光を出力することはできず、計測範囲を遠方まで稼ぐことが難しい。またスポット光が基本になるために広角化が難しい。変形例１では、この点も改善する。 In general, in the phase difference detection method, a measuring range is irradiated with a laser beam amplitude-modulated at a fundamental frequency, the reflected light is received, the phase difference between the irradiated light and the reflected light is measured, and the time is obtained. Is multiplied by the speed of light to calculate the distance. This method has the advantage that a certain degree of resolution can be expected, but it is necessary to keep emitting light to obtain a phase difference. For this reason, strong light cannot be output, and it is difficult to increase the measurement range to a distant place. Also, it is difficult to widen the angle because spot light is fundamental. In the first modification, this point is also improved.
図８は、変形例１に係る位相差検出方式で計測する撮像装置の構成について説明するための図である。図８には、図２に示す撮像装置１の構成において、位相差検出方式に変形した場合の構成を示している。ここでは、図２に示す撮像装置の構成とは異なる箇所について説明し、共通する箇所については説明を適宜省略する。
FIG. 8 is a diagram for describing a configuration of an imaging device that performs measurement using the phase difference detection method according to the first modification. FIG. 8 illustrates a configuration in a case where the configuration of the
変形例１に係る撮像装置２において、光源部は、基本周波数で振幅変調したレーザ光を照射する。ここでは位相差検出方式を採用するため、スポット光を利用する。図８に示す一例では、「走査手段」である光偏向素子の一例のＭＥＭＳミラー２３１と、半導体レーザ２３２とを設けている。
In the imaging device 2 according to the first modification, the light source unit emits a laser beam whose amplitude is modulated at the fundamental frequency. Here, a spot light is used to adopt the phase difference detection method. In the example shown in FIG. 8, a
ＭＥＭＳミラー２３１は、一次元方向に駆動し、半導体レーザ２３２のレーザ光を計測範囲の一方向（例えばＸ軸方向）に走査する。投射部から見た場合、計測範囲の全てはＸ軸と、これに直交するＹ軸の２次平面に投影することができる。そこで、この計測範囲の全てを２次平面と考えたときのＸ軸方向に対してＭＥＭＳミラー２３１によりレーザ光を走査する。２次平面におけるＹ軸方向の範囲についてはレーザ光に縦長の光を使用することによりカバーする。このように構成することにより、位相差検出方式において広角化を可能にする。
The
図８に示す例では、半導体レーザ２３２を設けて走査系拡大レンズ２３３によりレーザ光を縦長の径になるように成形することで、２次平面のＹ軸方向の範囲をカバーする。ここでは、一例として、多数の半導体レーザ２３２を使用する。なお、半導体レーザ２３２の数は、適宜決めてよい。半導体レーザ２３２は、強い光を得るために複数構成したものを示しているが、これに限定せず、１であってもよい。なお、半導体レーザ２３２の数を増やすにつれて、強い光を出し続けることがより可能になる。
In the example shown in FIG. 8, the
半導体レーザとしてＶＣＳＥＬを使用してもよい。複数の半導体レーザを構成する場合、ＶＣＳＥＬにおいてレーザ光を出射する発光部を一次元方向に配列したものや、２次元方向に配列したものなどを利用することができる。 A VCSEL may be used as a semiconductor laser. In the case of configuring a plurality of semiconductor lasers, a VCSEL in which light-emitting portions that emit laser light are arranged in a one-dimensional direction or a two-dimensional direction can be used.
図９は、変形例１に係る投射部の構成の一例を模式的に示す図である。図９に示すように、処理回路１４の制御部１４１が、半導体レーザ２３２の発光回路２３２ａとＸ軸方向にスポット光を走査するＭＥＭＳミラー２３１とを共に制御する。具体的に、制御部１４１は、半導体レーザ２３２を発光した後、ＭＥＭＳミラー２３１を一軸方向（図９の回転軸周り）に往復回動させる。この制御により、半導体レーザ２３２から出射されたレーザ光ＰがＭＥＭＳミラー２３１を介して計測範囲の一次元方向（Ｘ軸方向）に走査される。
FIG. 9 is a diagram schematically illustrating an example of a configuration of a projection unit according to the first modification. As shown in FIG. 9, the
図９には、ＭＥＭＳミラー２３１を介することによりレーザ光Ｐが方向を変えて出射される様子を破線矢印で示している。また、この例では、走査系拡大レンズ２３３を設けているため、レーザ光Ｐは径が縦長になるように成形されて出射される。図９には、ＭＥＭＳミラー２３１により一次元方向に走査されるレーザ光Ｐにおいて、任意のレーザ光Ｐの径が走査系拡大レンズ２３３により縦長になるように成形されて出射される様子を一点鎖線矢印で示している。このように、変形例１に示す構成であれば、ＭＥＭＳミラー２３１の一軸方向の駆動だけで計測範囲全体にレーザ光Ｐが照射される。また、位相差検出方式において強い光を出し続けることと広角化とを実現することができる。
In FIG. 9, a state in which the laser light P is emitted in a different direction by passing through the
（光偏向素子）
図１０は、ＭＥＭＳミラー２３１の構成の一例を説明する図である。図１０に示すＭＥＭＳミラー２３１は、支持基板１３１に、可動部１３２と二組の蛇行状梁部１３３とを有する。
(Light deflection element)
FIG. 10 is a diagram illustrating an example of the configuration of the
可動部１３２は反射ミラー１３２０を備えている。二組の蛇行状梁部１３３はそれぞれ一端が可動部１３２に連結され、他端が支持基板１３１により支持されている。二組の蛇行状梁部１３３はそれぞれミアンダ形状の複数の梁部からなり、共に、第１の電圧の印加により変形する第１の圧電部材１３３１と、第２の電圧の印加により変形する第２の圧電部材１３３２とを各梁部に１つおきに有する。第１の圧電部材１３３１と第２の圧電部材１３３２と隣り合う梁部ごとに独立に設けられている。二組の蛇行状梁部１３３はそれぞれ第１の圧電部材１３３１と第２の圧電部材１３３２への電圧の印加により変形し、可動部１３２の反射ミラー１３２０を回転軸周りに回転させる。
The
具体的には、第１の圧電部材１３３１と第２の圧電部材１３３２に逆位相となる電圧を印加し、各梁部に反りを発生させる。これにより、隣り合う梁部が異なる方向にたわみ、それが累積され、二組の蛇行状梁部１３３に連結する可動部１３２と共に反射ミラー１３２０が回転軸を中心に往復回動する。さらに、回転軸を回転中心とするミラー共振モードに合わせた駆動周波数をもつ正弦波を逆相で第１の圧電部材１３３１と第２の圧電部材１３３２とに印加することで、低電圧で非常に大きな回転角度を得ることができる。
Specifically, voltages having opposite phases are applied to the
なお、駆動波形は正弦波に限らない。例えばノコギリ波であってもよい。また、共振モードに限らず、非共振モードで駆動させてもよい。 The drive waveform is not limited to a sine wave. For example, a sawtooth wave may be used. Further, the drive may be performed not only in the resonance mode but also in a non-resonance mode.
（処理回路の動作）
制御部１４１は、撮影スイッチ１５からＯＮ信号（撮影開始信号）を受けると撮像素子１１ａ、光源部（半導体レーザ２３２とＭＥＭＳミラー２３１）、およびＴＯＦセンサ１３ａ（この例では位相差検出方式のＴＯＦセンサ）に同期信号を出力して駆動し、処理回路１４全体を制御する。変形例１では、制御部１４１は、光源部の複数の半導体レーザ２３２を駆動し、ＭＥＭＳミラー２３１による一走査の間、強い光をＭＥＭＳミラー２３１に照射し続ける。ＭＥＭＳミラー２３１は、半導体レーザ２３２の照射と共に走査を開始する。ＴＯＦセンサ１３ａは、走査期間中、測定範囲からの反射光を対応する受光素子で受光し、各画素のデータを処理回路１４へ出力する。
(Operation of processing circuit)
Upon receiving an ON signal (shooting start signal) from the
処理回路１４へ出力されたデータは、距離情報取得部１３が取得し、照射光と反射光との位相差から時間を求め、その時間に光速をかけて距離を算出する。このようにして生成されたＴＯＦ画像データは、実施の形態と同様の手順で高密度３次元点群データが再構築される。３次元点群データの再構築の処理については、実施の形態の説明の繰り返しになりため、ここでの説明は省略する。
The data output to the
以上のように、変形例１の構成では、光偏向素子や複数の半導体レーザを設けた場合のものについて示している。本構成では、ＭＥＭＳミラーや、ＶＣＳＥＬなどを採用することにより、撮像素子１１ａと、光源部（半導体レーザ２３２とＭＥＭＳミラー２３１）と、ＴＯＦセンサ１３ａとを筐体１０の長手方向に直線上に並ぶように設けることができるため、撮像装置１を小型化することがより可能になる。
As described above, the configuration of the first modification shows the case where the light deflecting element and the plurality of semiconductor lasers are provided. In this configuration, by employing a MEMS mirror, a VCSEL, or the like, the
（変形例２）
実施の形態や変形例１には、ＲＧＢ画像を取得する撮像部と、可視光領域以外の光を投射する投射部と、投射部が投射した光に基づいて距離情報を取得する距離情報取得部とを、それぞれを１組ずつ半天球（略１８０度、または１８０度以下）の測定範囲を対象に筐体１０に設けたものを示した。各部の数は、１組ずつに限らず適宜増やしてもよい。例えば、半天球（略１８０度、または１８０度以下）の測定範囲を対象に、撮像部を同一基線上に２組設け、撮像部をステレオカメラ化してもよい。また、筐体１０の正面側だけでなく背面側などにも、同じ数の撮像部、投射部、距離情報取得部を設けてもよい。このように、撮像部、投射部、および距離情報取得部を複数組設ける場合、複数組の一つの組（例えば正面側の組）と他の組（例えば背面側の組）とは計測範囲が互いに異なる計測範囲になる向きに設ける。
(Modification 2)
Embodiments and
図１１は、変形例２に係る撮像装置の構成の一例を説明するための図である。図１１には、図２に示す撮像装置１の構成を変形した場合の構成を示している。ここでは、図２に示す撮像装置の構成とは異なる箇所について説明し、共通する箇所については説明を適宜省略する。
FIG. 11 is a diagram illustrating an example of a configuration of an imaging device according to Modification 2. FIG. 11 illustrates a configuration in which the configuration of the
図１１に示す撮像装置３は、筐体１０の一面（正面とする）に撮像部１１を同一基線上に２組設けた場合のものである。また、筐体１０の背面にも、正面と同様の数および配列で、撮像部１１と、投射部１２と、距離情報取得部１３とを一体に設けている。
The
図１１に示すように、正面だけでなく背面側にも設けることにより、正面側の半天球（略１８０度）に背面側の半天球（略１８０度）も加わり、全天球（周囲３６０度）の範囲をカバーすることができるようになる。つまり、１度の撮影により処理回路１４は３６０度全方向のＲＧＢ画像と距離情報のデータとを取得することができ、全方向の３次元復元モデルのためのデータ（高密度３次元点群データ）を１度に生成することができる。なお、高密度３次元点群データを生成する処理は、全方向のＲＧＢ画像と距離情報のデータとを使用することを除き実施の形態と略同様である。
As shown in FIG. 11, by providing not only the front side but also the rear side, the semispherical sphere on the front side (approximately 180 degrees) is added to the semispherical sphere on the front side (approximately 180 degrees), and the whole celestial sphere (around 360 degrees ) Range can be covered. In other words, the
また、図１１に示す構成では、筐体１０の一面にＲＧＢの撮像部１１を同一基線上に２組設けている。この場合、処理回路１４において多眼での処理が可能になる。つまり、一面において所定距離離して設けた２つの撮像部１１を同時に駆動することにより２つの視点のＲＧＢ画像が得られる。このため、２つのＲＧＢ画像に基づいて計算した視差の使用が可能になり、さらに測定範囲全体の距離精度を向上させることができる。
In the configuration illustrated in FIG. 11, two sets of the
具体的には、ＲＧＢの撮像部１１を複数設けた場合、従来の視差計算のように、ＳＳＳＤを使ったマルチベースラインステレオ（ＭＳＢ）やＥＰＩ処理などが利用可能になる。このため、これを利用することで視差の信頼度があがり、高い空間解像度と精度を実現することが可能になる。
More specifically, when a plurality of RGB
（処理回路の動作）
例えば次に示す式５のように、式２をベースとしてさらにエッジでのＲＧＢ画像を利用する比率を高くする。ここでＣＲＧＢは、ＲＧＢ多眼画像による視差計算処理であり、ＭＢＳやＥＰＩで計算されるコスト値である。ｗ１はＣｗｎｃｃとＣＲＧＢのどちらを優先するかを決定する重み値であるが、式２で示したｗをそのまま利用してもよい。
For example, as shown in the following
マッチングした視差から、実際の距離への計算は、次式の式６により行う。Ｚが奥行き、ｆが焦点であり、ｂａｓｅｌｉｎｅは基線長と呼ばれ、撮像部１１間の基線上における距離である。ｄは視差であり、上記のマッチング処理によって算出された値、つまり、その基線方向で、参照画素と対応画素の座標値の差に画素ピッチを乗じた値である。
なお、これは画像の投影形態が透視投影の場合であり、全周囲画像等で利用されるＥｑｕｉＲｅｃｔａｎｇｕｌａｒ等の投影系では、下記（式７）が利用される。図１２に、この式を導出する説明図を示している。
（適用例）
計測範囲についての３Ｄ復元技術は、Ｓｔｒｕｃｔｕｒｅ ｆｒｏｍ Ｍｏｔｏｎと呼ばれる手法や、複数の画像撮影手段を備えた機器を用いた、ステレオ法と呼ばれる手法をメインとしている。これらの手法は基本的な処理として、カメラによって異なる位置から撮影された画像中から、同じ箇所を撮影したとされる点を、画像の類似度に基づいて探索する。この処理は対応点探索などと呼ばれる。この対応点探索処理に引き続いて、場合によっては複雑な計算を施して、大規模な空間を可能な限り隙間なく滑らかに復元しようとするものである。
(Application example)
The 3D restoration technology for the measurement range mainly uses a method called Structure from Motoron or a method called a stereo method using a device including a plurality of image capturing units. In these methods, as a basic process, a point where the same part is photographed is searched from images photographed from different positions by the camera based on the similarity of the images. This processing is called a corresponding point search or the like. Subsequent to the corresponding point search processing, a complicated calculation is performed in some cases in order to restore a large-scale space as smoothly as possible without gaps.
異なる地点から撮影した画像において、同じ箇所が撮影されたとするような点を探す場合には、基本的には画像の特徴が重要である。例えば室内の単色の壁や、単色の床など、画像として映った際に、どこを撮影しても同じで特徴のみつからないような領域（テクスチャレス領域）については、画像の類似度を元に対応点を探すことが非常に困難になる。この対応点が見つからないと、人間の目でいうところの視差が分からないことになり、奥行きを知ることができない。つまり対応点が見つからない点については正しく３Ｄ復元することが困難になる。 In the case of searching for a point where the same part is photographed in images photographed from different points, the characteristics of the image are basically important. For example, for a region (textureless region) such as a single-color wall or a single-color floor in the room, where the same image is taken and the same feature is not found when captured as an image, the similarity of the image is used. It will be very difficult to find the corresponding point. If the corresponding point is not found, the parallax as seen by human eyes cannot be understood, and the depth cannot be known. That is, it is difficult to correctly perform 3D restoration on a point where a corresponding point is not found.
この課題に対して、パターン光やランダム光を照射することで、対応画素を探しやすくする手法が知られている。これは総称してアクティブステレオ法などと呼ばれる。アクティブステレオ法の例として、ゲームプレイヤーのジェスチャ入力を可能とする装置であるＫｉｎｅｃｔに代表されるように、既知のパターン光（赤外光）を照射してカメラで撮像し、深度情報を得るデバイスもあるが、これらは深度情報を取得することのみが目的とされ、被写体の自然な色情報を同時に得ることはできない。そのため、物体や空間を３次元復元し、デジタル３Ｄデータとして再利用することは難しい。別途色情報を通常のカメラ撮影によって取得し、３Ｄメッシュのテクスチャなどとして重ね合わせることはできるが、被写体が動いたり撮像装置が動いたりしている場合には不可能である。 To solve this problem, a method of irradiating pattern light or random light to make it easier to find a corresponding pixel is known. This is generally called an active stereo method or the like. As an example of the active stereo method, a device that irradiates a known pattern light (infrared light) and captures an image with a camera to obtain depth information, as typified by Kinect, which is a device that allows a game player to input a gesture. However, these are intended only to acquire depth information, and cannot simultaneously acquire natural color information of a subject. Therefore, it is difficult to three-dimensionally restore an object or space and reuse it as digital 3D data. Color information can be separately acquired by normal camera photography and superimposed as a 3D mesh texture or the like, but this is not possible when the subject is moving or the imaging device is moving.
また、カメラのマッチングを利用して距離を推測する場合には、根本的に画像の対応点マッチングによって処理を行うため、特徴領域点においてさえも、キャリブレーション性能などによって距離精度が悪化する、対象までの距離に従って測距精度が悪化する、といった問題がある。これはアクティブステレオにおいても同様の問題である。これに加え、アクティブステレオの場合は、パターンが投射されている領域は特徴点がとれるが、しかし広角にパターンを投射するためには、大きな投影装置が必要になるという問題がある。 In addition, when estimating the distance using camera matching, since the processing is fundamentally performed by corresponding point matching of the image, even in the characteristic region point, the distance accuracy is deteriorated due to calibration performance or the like. There is a problem that the distance measurement accuracy is deteriorated according to the distance to the camera. This is a similar problem in active stereo. In addition to this, in the case of active stereo, a feature point can be obtained in an area where a pattern is projected, but there is a problem that a large projection device is required to project a pattern at a wide angle.
一方、ＴＯＦを利用した方法では、投光した光が受光装置で計測できる領域においては、距離に関わらず高い測距精度を実現することができるが、光を投射してその戻ってくる時間を計測するため、ある投光に対して受光系をなすシステムが必要になる。このため、一度に数多くの測距点を取得するためには、投光・受光系のシステムを大量に備える必要が生じ、装置が大型化し、かつコストが膨大にかかる。このため、限られた投光・受光系のシステムに回転機構を設けて、装置を実現するのが一般的である。このような場合でも、カメラほどの解像度は実現できないことと、回転系を備えるために時間差が生じてしまい、装置の大型化は避けられない。回転機構に対しては、近年、機械的な回転機構をなくして投光レーザや受光センサを振るＭＥＭＳ技術や複数点の受光を可能にするＴＯＦセンサ、それに複数のレーザを備えたＶＣＳＥＬなども出てきている。これより、根源的な解像度不足と広角化の問題が改良されはするが、それでもカメラほどの高解像度化と広角化・小型化は実現できない。また、アクティブステレオと同様に、これらは深度情報を取得することのみが目的とされ、被写体の自然な色情報を同時に得ることはできない。 On the other hand, the method using TOF can realize high ranging accuracy regardless of the distance in an area where the projected light can be measured by the light receiving device. For measurement, a system that forms a light receiving system for a certain light emission is required. For this reason, in order to acquire many ranging points at once, it is necessary to provide a large number of light emitting / receiving systems, resulting in an increase in the size of the apparatus and an enormous cost. For this reason, it is common to provide a rotation mechanism in a limited light emitting / receiving system to realize the device. Even in such a case, the resolution cannot be realized as much as the camera, and a time difference occurs due to the provision of the rotating system, so that an increase in the size of the apparatus is inevitable. In recent years, for the rotating mechanism, MEMS technology that oscillates a light emitting laser or a light receiving sensor without a mechanical rotating mechanism, a TOF sensor that enables light reception at multiple points, and a VCSEL equipped with multiple lasers have been released. Is coming. As a result, the problems of fundamental lack of resolution and widening of the angle can be improved, but still higher resolution, wider angle, and smaller size than a camera cannot be realized. Also, as in the case of active stereo, these are intended only to acquire depth information, and cannot simultaneously acquire natural color information of a subject.
従来の装置をただ接続した場合は非常に大型なものになってしまうが、本実施の形態や、その変形例として示す各撮像装置においては、これらの課題が解決される。つまり、小型でありながら、略１８０度〜３６０度（全周囲）をターゲットとする広角の３次元情報をテクスチャレス領域も含め、高密度に一度に復元することができる。特に可視光以外を投光する投光系と、その光を受光するセンサを、解像度が粗くてもいいように構築する場合において非常に小型な一体構成を実現することができる。 If the conventional device is simply connected, the device becomes very large. However, these problems are solved in the present embodiment and each imaging device shown as a modified example thereof. In other words, although small in size, wide-angle three-dimensional information targeting approximately 180 degrees to 360 degrees (entire circumference) can be restored at a high density including the textureless region. In particular, when a light projecting system that emits light other than visible light and a sensor that receives the light are constructed so that resolution may be low, a very small integrated structure can be realized.
なお、上述の実施の形態および変形例は、本発明の好適な実施の例ではあるがこれに限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変形による実施が可能である。 The above-described embodiments and modified examples are preferred examples of the present invention, but are not limited thereto, and various modifications can be made without departing from the gist of the present invention. .
１ 撮像装置
１０ 筐体
１１ 撮像部
１１ａ 撮像素子
１１ｂ 魚眼レンズ
１２ 投射部
１２ａ 光源部
１２ｂ 広角レンズ
１３ 距離情報取得部
１３ａ ＴＯＦセンサ
１３ｂ 広角レンズ
１４ 処理回路
１５ 撮影スイッチ
Ｌ 同期信号線
Claims (12)
前記計測対象に光を投射する投射手段と、
前記計測対象から反射してきた前記光を受光する受光手段と、
前記受光手段により受光した光に基づいて前記計測対象との距離情報を取得する取得手段と、
を有し、
前記撮像手段と、前記投射手段と、前記受光手段と、前記取得手段とを共通の筐体に一体的に備える、
ことを特徴とする撮像装置。 Imaging means for imaging the measurement target;
Projection means for projecting light on the measurement object,
Light receiving means for receiving the light reflected from the measurement object,
Acquisition means for acquiring distance information with the measurement target based on light received by the light receiving means,
Has,
The imaging unit, the projection unit, the light receiving unit, and the acquisition unit integrally provided in a common housing,
An imaging device characterized by the above-mentioned.
ことを特徴とする請求項１に記載の撮像装置。 The projection unit includes a scanning unit that scans the light,
The imaging device according to claim 1, wherein:
ことを特徴とする請求項２に記載の撮像装置。 The projection unit projects the light so that the diameter of the light is longer in a one-dimensional direction of the measurement range,
The imaging device according to claim 2, wherein:
ことを特徴とする請求項１乃至３のうちの何れか一項に記載の撮像装置。 The imaging unit, the projection unit, and the light receiving unit are provided on a straight line in the housing,
The imaging device according to claim 1, wherein:
ことを特徴とする請求項１乃至４のうちの何れか一項に記載の撮像装置。 The imaging unit and the light receiving unit are set such that there is no interference within an angle of view of 100 degrees to 180 degrees.
The imaging device according to any one of claims 1 to 4, wherein:
ことを特徴とする請求項１乃至５のうちの何れか一項に記載の撮像装置。 Comprising a plurality of said imaging means on the same baseline,
The imaging device according to claim 1, wherein:
ことを特徴とする請求項１乃至６のうちの何れか一項に記載の撮像装置。 The resolution of the light receiving means is lower than the resolution of the imaging means,
The imaging device according to claim 1, wherein:
ことを特徴とする請求項１乃至７のうちの何れか一項に記載の撮像装置。 The imaging unit, the projection unit, and the light receiving unit are both provided on one surface side of the housing toward the same measurement range,
The imaging device according to claim 1, wherein:
前記複数組の一つの組と他の組とは前記計測範囲が互いに異なる計測範囲になる向きに設けられている、
ことを特徴とする請求項１乃至７のうちの何れか一項に記載の撮像装置。 A plurality of sets of the imaging unit, the projection unit, and the light receiving unit are provided in the housing,
One set and the other set of the plurality of sets are provided in a direction in which the measurement ranges are different from each other,
The imaging device according to claim 1, wherein:
ことを特徴とする請求項１乃至９のうちの何れか一項に記載の撮像装置。 An information processing unit configured to form three-dimensional point cloud data based on the distance information obtained by the obtaining unit and an image obtained by imaging by the imaging unit;
The imaging device according to claim 1, wherein:
前記取得手段によって取得された距離情報に基づく距離画像の解像度を前記撮像手段による撮像によって得られた画像の解像度に高解像度化することにより前記画像との間で得た視差データを用いて、前記距離画像から得られる３次元点群データよりも高密度の３次元点群データを構成する、
ことを特徴とする請求項１０に記載の撮像装置。 The information processing means includes:
By using the disparity data obtained between the image by increasing the resolution of the distance image based on the distance information obtained by the obtaining means to the resolution of the image obtained by imaging by the imaging means, Configure three-dimensional point cloud data of higher density than the three-dimensional point cloud data obtained from the range image,
The imaging device according to claim 10, wherein:
前記撮像装置の投射手段により、計測範囲に光を投射するステップと、
前記撮像装置の受光手段により、前記計測範囲から反射してきた前記光を受光するステップと、
前記受光手段が受光した光に基づいて前記計測範囲の距離情報を取得するステップと、
前記撮像装置の撮像手段により前記計測範囲を撮像した画像と、前記取得した距離情報とに基づいて３次元点群データを構成するステップと、
を含む撮像処理方法。 An imaging processing method using an imaging device,
Projecting light to a measurement range by a projection unit of the imaging device;
By light receiving means of the imaging device, receiving the light reflected from the measurement range,
A step of acquiring distance information of the measurement range based on the light received by the light receiving unit;
Configuring three-dimensional point cloud data based on an image of the measurement range captured by the imaging unit of the imaging device and the acquired distance information;
An imaging processing method including:
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018186964A JP7131268B2 (en) | 2018-10-01 | 2018-10-01 | Imaging device and imaging processing method |
| JP2022130760A JP7409443B2 (en) | 2018-10-01 | 2022-08-18 | Imaging device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018186964A JP7131268B2 (en) | 2018-10-01 | 2018-10-01 | Imaging device and imaging processing method |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2022130760A Division JP7409443B2 (en) | 2018-10-01 | 2022-08-18 | Imaging device |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2020057924A true JP2020057924A (en) | 2020-04-09 |
| JP7131268B2 JP7131268B2 (en) | 2022-09-06 |
Family
ID=70107983
Family Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2018186964A Active JP7131268B2 (en) | 2018-10-01 | 2018-10-01 | Imaging device and imaging processing method |
| JP2022130760A Active JP7409443B2 (en) | 2018-10-01 | 2022-08-18 | Imaging device |
Family Applications After (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2022130760A Active JP7409443B2 (en) | 2018-10-01 | 2022-08-18 | Imaging device |
Country Status (1)
| Country | Link |
|---|---|
| JP (2) | JP7131268B2 (en) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7006824B1 (en) | 2021-03-23 | 2022-01-24 | 株式会社リコー | Information processing equipment |
| JP7040660B1 (en) | 2021-03-23 | 2022-03-23 | 株式会社リコー | Information processing equipment and information processing method |
| CN115508846A (en) * | 2021-06-23 | 2022-12-23 | 株式会社理光 | Distance measuring device and distance measuring system |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002074346A (en) * | 2000-09-05 | 2002-03-15 | Asahi Optical Co Ltd | Three-dimensional image inputting device |
| JP2009047497A (en) * | 2007-08-17 | 2009-03-05 | Fujifilm Corp | Stereoscopic imaging device, control method of stereoscopic imaging device, and program |
| JP2018152782A (en) * | 2017-03-14 | 2018-09-27 | 株式会社リコー | Image processing system, imaging apparatus, image processing method, and program |
| JP2018152632A (en) * | 2017-03-09 | 2018-09-27 | 株式会社リコー | Imaging apparatus and imaging method |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007187970A (en) | 2006-01-16 | 2007-07-26 | Sumitomo Mitsui Construction Co Ltd | Wide-angle photographing device and image processing method |
| CN104567818B (en) | 2014-12-31 | 2016-09-28 | 浙江工业大学 | A kind of portable round-the-clock actively panoramic vision sensor |
| JP7025539B2 (en) | 2018-05-30 | 2022-02-24 | マクセル株式会社 | Camera device |
-
2018
- 2018-10-01 JP JP2018186964A patent/JP7131268B2/en active Active
-
2022
- 2022-08-18 JP JP2022130760A patent/JP7409443B2/en active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002074346A (en) * | 2000-09-05 | 2002-03-15 | Asahi Optical Co Ltd | Three-dimensional image inputting device |
| JP2009047497A (en) * | 2007-08-17 | 2009-03-05 | Fujifilm Corp | Stereoscopic imaging device, control method of stereoscopic imaging device, and program |
| JP2018152632A (en) * | 2017-03-09 | 2018-09-27 | 株式会社リコー | Imaging apparatus and imaging method |
| JP2018152782A (en) * | 2017-03-14 | 2018-09-27 | 株式会社リコー | Image processing system, imaging apparatus, image processing method, and program |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7006824B1 (en) | 2021-03-23 | 2022-01-24 | 株式会社リコー | Information processing equipment |
| JP7040660B1 (en) | 2021-03-23 | 2022-03-23 | 株式会社リコー | Information processing equipment and information processing method |
| JP2022151477A (en) * | 2021-03-23 | 2022-10-07 | 株式会社リコー | Information processing apparatus and information processing method |
| JP2022151478A (en) * | 2021-03-23 | 2022-10-07 | 株式会社リコー | Information processing device |
| CN115508846A (en) * | 2021-06-23 | 2022-12-23 | 株式会社理光 | Distance measuring device and distance measuring system |
Also Published As
| Publication number | Publication date |
|---|---|
| JP7131268B2 (en) | 2022-09-06 |
| JP2022176974A (en) | 2022-11-30 |
| JP7409443B2 (en) | 2024-01-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7409443B2 (en) | Imaging device | |
| US9826216B1 (en) | Systems and methods for compact space-time stereo three-dimensional depth sensing | |
| TWI668997B (en) | Image device for generating panorama depth images and related image device | |
| US10419741B2 (en) | Systems and methods for compression of three dimensional depth sensing | |
| KR20210089792A (en) | Synchronized spinning lidar and rolling shutter camera system | |
| JP6822230B2 (en) | Imaging device and imaging method | |
| JP2010113720A (en) | Method and apparatus for combining range information with optical image | |
| JPWO2006075528A1 (en) | 3D object measuring device | |
| CN212694038U (en) | TOF depth measuring device and electronic equipment | |
| US20180374230A1 (en) | Energy Optimized Imaging System With 360 Degree Field-Of-View | |
| JP7409532B2 (en) | Optical equipment, measuring equipment, robots, electronic equipment, moving objects, and modeling equipment | |
| JPWO2020183711A1 (en) | Image processing equipment and 3D measurement system | |
| US20240179416A1 (en) | Systems and methods for capturing and generating panoramic three-dimensional models and images | |
| WO2021032298A1 (en) | High resolution optical depth scanner | |
| CN112424673B (en) | Infrared projector, imaging device and terminal device | |
| JP6868167B1 (en) | Imaging device and imaging processing method | |
| CN109451294B (en) | 3D display method, system, device, electronic equipment and storage medium | |
| Chen et al. | A light modulation/demodulation method for real-time 3d imaging | |
| JP6868168B1 (en) | Imaging device and imaging processing method | |
| JP2004132759A (en) | Three-dimensional image generating data imaging device, three-dimensional image generating data imaging method, and computer program | |
| JP7120365B1 (en) | IMAGING DEVICE, IMAGING METHOD AND INFORMATION PROCESSING DEVICE | |
| JP6966011B1 (en) | Imaging device, imaging method and information processing device | |
| WO2022222497A1 (en) | Depth data measurement head, depth data computing device, and corresponding method | |
| CN207650884U (en) | Depth data detecting system and its infrared coding projection arrangement | |
| JP2021150882A (en) | Image capture device and image capture processing method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210726 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220420 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220426 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220627 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220726 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220808 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 7131268 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |