JP2020008483A - Imaging device and method for controlling imaging device - Google Patents
Imaging device and method for controlling imaging device Download PDFInfo
- Publication number
- JP2020008483A JP2020008483A JP2018131450A JP2018131450A JP2020008483A JP 2020008483 A JP2020008483 A JP 2020008483A JP 2018131450 A JP2018131450 A JP 2018131450A JP 2018131450 A JP2018131450 A JP 2018131450A JP 2020008483 A JP2020008483 A JP 2020008483A
- Authority
- JP
- Japan
- Prior art keywords
- signal
- tof
- light source
- imaging
- light
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Optical Radar Systems And Details Thereof (AREA)
- Measurement Of Optical Distance (AREA)
Abstract
Description
本発明は、撮像装置および撮像装置の制御方法に関する。 The present invention relates to an imaging device and a control method of the imaging device.
距離画像撮像装置は、物体および環境の立体形状の把握のための距離画像を生成する。距離画像撮像装置は、産業用ロボットでのワークの認識や、自動運転・自律移動のための環境認識に用いられている。 The range image capturing device generates a range image for grasping a three-dimensional shape of an object and an environment. 2. Description of the Related Art A range image capturing apparatus is used for recognition of a work by an industrial robot and environment recognition for automatic driving and autonomous movement.
距離計測方法として、光を投射し、物体表面での反射光の戻ってくる時間を計測する光飛行時間方式(Time of Flight、以下、TOFという)がある。TOFには、直接TOFと間接TOFがある。直接TOFは、短パルス光を使用し、直接、光飛行時間を測定する。計測精度向上のためには、超高速の電子回路技術が必要である。一方、間接TOFは、専用の受光素子を用い、周期的に変調された光(矩形波を含む)を使用し、変調信号と同期した復調信号で受光素子を制御することで、時間を電圧に変換して測定する。間接TOF画像素子と呼ばれる2次元センサが開発されている。 As a distance measuring method, there is an optical time-of-flight method (hereinafter, referred to as TOF) that projects light and measures a time when reflected light returns on an object surface. TOF includes direct TOF and indirect TOF. Direct TOF uses short pulse light to directly measure the time of flight. To improve measurement accuracy, ultra-high-speed electronic circuit technology is required. On the other hand, the indirect TOF uses a dedicated light receiving element, uses periodically modulated light (including a rectangular wave), and controls the light receiving element with a demodulation signal synchronized with a modulation signal, thereby converting time into a voltage. Convert and measure. Two-dimensional sensors called indirect TOF image elements have been developed.
特許文献1には、ステレオと間接TOFを組み合わせた距離画像撮像方式が記載されている。左側と右側の2つの間接TOF型距離画像撮像装置を用いている。左側の間接TOF型距離画像撮像装置の光源からの投射による計測と、右側の間接TOF型距離画像撮像装置の光源からの投射による計測と、左右両方の間接TOF型距離画像撮像装置の光源からの同時投射による計測との合計3回の計測が行われる。その3回の計測結果を基に距離画像が生成される。3回の計測結果を基にすることにより、距離画像の精度を向上させている。
間接TOFでは、TOF画像素子による復調処理により、時間差を電圧に変換している。変調信号と復調信号の位相差は、対象物と距離画像撮像装置間の光の往復飛行時間と同様に電圧に寄与する。光速度は、3×1010cm/sと高速であるため、例えば、1nsの位相差により、15cmの系統誤差が発生する。 In the indirect TOF, a time difference is converted into a voltage by a demodulation process using a TOF image element. The phase difference between the modulation signal and the demodulation signal contributes to the voltage as well as the round trip time of light between the object and the range image pickup device. Since the light speed is as high as 3 × 10 10 cm / s, a systematic error of 15 cm occurs due to a phase difference of 1 ns, for example.
特許文献1のステレオと間接TOFを組み合わせた距離画像撮像装置では、2つの間接TOF型距離画像撮像装置の変調信号と復調信号は、周波数が同じだが、位相差がある。この位相差が距離計測の系統誤差の一因となっている。
In the range image pickup device combining the stereo and the indirect TOF of
本発明の目的は、光源の発光と距離画像信号生成の同期ずれによる距離画像信号の誤差を抑制することである。 An object of the present invention is to suppress an error in a distance image signal due to a synchronization shift between light emission of a light source and generation of a distance image signal.
本発明の撮像装置は、周期信号を生成する発生部と、前記発生部が生成する周期信号に基づく第1の周期信号を基に発光する1つの光源と、前記発生部が生成する周期信号に基づく複数の第2の周期信号を基に、前記光源の発光に対する反射光に基づく距離画像信号をそれぞれ生成する複数の撮像部とを有し、前記光源の発光と前記複数の撮像部の距離画像信号生成とが同期している。 An imaging apparatus according to an aspect of the invention includes a generation unit that generates a periodic signal, one light source that emits light based on a first periodic signal based on the periodic signal generated by the generation unit, and a light source that generates a periodic signal. A plurality of imaging units that respectively generate distance image signals based on reflected light with respect to the light emission of the light source based on the plurality of second periodic signals based on the light emission of the light source and the distance images of the plurality of imaging units. Synchronization with signal generation.
本発明によれば、光源の発光と距離画像信号生成の同期ずれによる距離画像信号の誤差を抑制することができる。 According to the present invention, it is possible to suppress an error in a distance image signal due to a synchronization shift between light emission of a light source and generation of a distance image signal.
(第1の実施形態)
図1は、本発明の第1の実施形態による距離画像撮像装置100の構成例を示すブロック図である。以下の説明では、単にTOFと書いた場合は、間接TOFを意味するものとする。距離画像撮像装置100は、TOF画像撮像部101,102と、光源103と、矩形波発生部104と、制御・距離画像演算部105とを有する。距離画像撮像装置100は、2つのTOF画像撮像部101および102を有する。矩形波発生部104は、TOF画像撮像部101および102の復調信号をそれぞれ生成する。
(1st Embodiment)
FIG. 1 is a block diagram illustrating a configuration example of a range
矩形波発生部104は、制御・距離画像演算部105から矩形波制御信号を入力し、図3に示すように、光源103の変調信号(矩形波)と、2つのTOF画像撮像部101および102の復調信号(矩形波)を生成する。変調信号(矩形波)と復調信号(矩形波)は、周期信号である。矩形波発生部104は、その生成した変調信号を光源103に出力し、その生成した2つの復調信号をTOF画像撮像部101および102にそれぞれ出力する。復調信号(矩形波)の周波数は、入力される矩形波制御信号で設定される。3つの出力信号の位相差は、望ましくは零にする。
The rectangular wave generation unit 104 receives a rectangular wave control signal from the control / distance
光源103は、発光素子と駆動回路を有し、入力される図3の変調信号(矩形波)で強度変調された光を射出する。光源103の光出力等の動作パラメータは、光源制御信号で設定される。発光素子は、例えば、LEDまたはレーザであり、可視カメラとの併用を踏まえて、波長が800nm〜900nmの近赤外光を使うことが望ましい。光源103は、矩形波発生部104から変調信号(矩形波)を入力し、制御・距離画像演算部105から光源制御信号を入力し、発光する。変調信号とは、光源103の強度変調の基となる矩形波である。光源103から射出される光の波形は、デューティ比が50%のパルス波となる。光源103が射出した光は、対象物で反射し、反射光が距離画像撮像装置100に戻ってくる。
The
TOF画像撮像部101および102は、それぞれ、TOF画像素子と、処理回路と、光学系とを有する。TOF画像素子は、受光部に入射する光を、入力される図3の復調信号(矩形波)を基に復調し、撮像物の距離に応じた電気信号を出力する。処理回路は、入力されるTOF画像素子制御信号に基づき、TOF画像素子の動作パラメータの設定を行い、TOF画像素子から出力信号を処理し、距離画像信号を生成する。TOF画像撮像部101および102は、それぞれ、矩形波発生部104から復調信号(矩形波)を入力し、制御・距離画像演算部105からTOF画像素子制御信号を入力し、制御・距離画像演算部105に距離画像信号を出力する。復調信号は、TOF画像素子の受光動作をオン/オフさせる矩形波である。TOF画像素子は、デューティが50%の復調信号でオン/オフ動作する。変調信号と復調信号は、同じ周波数である。
Each of the TOF
制御・距離画像演算部105は、TOF画像撮像部101および102が生成した距離画像信号を基に、距離画像信号を再生成し、その再生成した距離画像信号を外部のパソコン等に出力する。また、制御・距離画像演算部105は、距離画像撮像装置制御信号を外部のパソコン等から入力し、距離画像撮像装置100の動作設定および動作制御を行う。
The control / range
図2(a)は、距離画像撮像装置100の回路基板の表面201の配置図であり、図2(b)は、距離画像撮像装置100の回路基板の裏面202の配置図である。図2(b)は、図2(a)を紙面裏側から見た配置を示しており、左右が逆になっている。回路基板の表面201には、左端にTOF画像撮像部101が配置され、右端にTOF画像撮像部102が配置され、中央に光源103が配置される。回路基板の裏面202には、中央下側に矩形波発生部104が配置され、空きスペースに制御・距離画像演算部105が配置される。
2A is a layout diagram of the
図3は、光源103の変調信号(光出力)と、TOF画像撮像部101および102の復調信号、反射光(TOF画素信号)を示す図である。横軸は時間、縦軸は信号強度である。
FIG. 3 is a diagram illustrating a modulation signal (light output) of the
光源103は、変調信号がハイレベルの期間では発光し、変調信号がローレベルの期間では発光しない。光源103は、デューティが50%のパルス波形の光を発光する。その光は、対象物で反射する。TOF画像撮像部101および102は、その反射光を入射する。
The
TOF画像撮像部101および102の復調信号は、光源103の変調信号に対して、周波数および位相が同じである。TOF画像撮像部101および102は、それぞれ、復調信号がハイレベルの期間では受光動作を行い、復調信号がローレベルの期間では受光動作を行わない。
The demodulated signals of the TOF
図3では、距離画像撮像装置100から対象物までの距離(以下、単に距離という)が0、L/2、L、3L/2、2Lの場合の反射光(TOF画素信号)を示す。ここで、Lは、最大計測可能距離であり、以下の式で表わされる。
L=c/(4×f)
FIG. 3 shows reflected light (TOF pixel signal) when the distance from the range
L = c / (4 × f)
ここで、cは光速、fは変調信号の周波数である。変調信号の周波数は、1MHzから10MHzオーダーである。例えば、変調信号の周波数が20MHzの場合は、最大計測可能距離Lは7.5mとなる。 Here, c is the speed of light, and f is the frequency of the modulation signal. The frequency of the modulation signal is on the order of 1 MHz to 10 MHz. For example, when the frequency of the modulation signal is 20 MHz, the maximum measurable distance L is 7.5 m.
TOF画像撮像部101および102は、対象物から反射光を入射する。距離が0である場合には、反射光の波形は、変調信号および復調信号の波形と同じになる。距離が長くなるほど、反射光の波形は、変調信号および復調信号の波形に対して、遅延時間が長くなる。TOF画像撮像部101および102は、それぞれ、復調信号がハイレベルの期間に、反射光を電荷に変換することにより、TOF画素信号を生成する。TOF画素信号の電圧は、復調信号の波形と反射光の波形とが重なった領域(斜線で示す領域)の面積に対応する。
The TOF
距離が0の場合、TOF画素信号は、反射光の波形面積の100%の面積に対応する電圧である。距離がL/2の場合、TOF画素信号は、反射光の波形面積の50%の面積に対応する電圧である。距離がLの場合、TOF画素信号は、反射光の波形面積の0%の面積に対応する電圧である。距離が3L/2の場合、TOF画素信号は、反射光の波形面積の50%の面積に対応する電圧である。距離が2Lの場合、TOF画素信号は、反射光の波形面積の100%の面積に対応する電圧である。 When the distance is 0, the TOF pixel signal is a voltage corresponding to 100% of the waveform area of the reflected light. When the distance is L / 2, the TOF pixel signal is a voltage corresponding to 50% of the waveform area of the reflected light. When the distance is L, the TOF pixel signal is a voltage corresponding to an area of 0% of the waveform area of the reflected light. When the distance is 3L / 2, the TOF pixel signal is a voltage corresponding to 50% of the waveform area of the reflected light. When the distance is 2L, the TOF pixel signal is a voltage corresponding to 100% of the waveform area of the reflected light.
図4は、距離とTOF画素信号の関係を示す図である。距離が0の場合に、TOF画素信号は最大になる。距離がLの場合に、TOF画素信号が0(最小)になる。その後、距離が2Lの場合、TOF画素信号が再び最大になる。同じ電圧のTOF画素信号に対応する距離を1つにするため、Lが最大計測可能距離となる。これは、間接TOFの原理的な制約であり、用途を限定すること、別の技術と合せることで対処できるため、ここでは単に前提として扱う。距離画像撮像装置100は、TOF画素信号を基に、距離を算出することができる。
FIG. 4 is a diagram illustrating a relationship between the distance and the TOF pixel signal. When the distance is 0, the TOF pixel signal becomes maximum. When the distance is L, the TOF pixel signal becomes 0 (minimum). Thereafter, when the distance is 2L, the TOF pixel signal becomes maximum again. In order to reduce the distance corresponding to the TOF pixel signal of the same voltage to one, L is the maximum measurable distance. This is a principle limitation of the indirect TOF, and can be dealt with by limiting the application and combining with another technology. The range
次に、図1を参照しながら、本実施形態の距離画像撮像装置100の動作について説明する。距離画像撮像装置100の電源投入後、制御・距離画像演算部105は、予めの設定あるいは距離画像撮像装置制御信号に基づき、TOF画像撮像部101,102、光源103、および矩形波発生部104の設定を行う。その後、光源103は、入力される変調信号に基づき、デューティが50%のパルス波形の光を発光する。TOF画像撮像部101および102の内部のTOF画像素子は、入力される復調信号に基づき、受光動作をオン/オフさせ、TOF画素信号を生成する。TOF画像撮像部101および102は、内部のTOF画像素子のTOF画素信号を通常のイメージセンサと同様に読み出し、2次元配列の距離画像信号として制御・距離画像演算部105に出力する。制御・距離画像演算部105は、入力された2つの距離画像信号を濃淡画像とみなし、TOF画像撮像部101および102の幾何学的配置を基に、ステレオ法による距離画像信号の生成を行う。より具体的には、制御・距離画像演算部105は、2つの距離画像信号をそれぞれI1およびI2としたとき、I1中に設定されるM×Nの部分領域T1をテンプレートとし、I2を探索して最も類似する部分領域を求める。このとき、距離画像信号I1およびI2を濃淡画像とみなす。そして、SSD(Sum of Absolute Differences)、SAD(Sum of Squared Differences)、NCC(Normalized Cross Correlation)などの相違度指標を用いる。そして、相違度指標が最も小さくなるI2中の部分領域T2を求める。TOF画像撮像部101および102の幾何学的配置は、事前にキャリブレーション等により求めておく。また、制御・距離画像演算部105は、処理に先立ち、距離画像信号I1およびI2を平行化しておく。制御・距離画像演算部105は、T2の探索時には、I2のエピポーラ線上のみを1次元走査する。制御・距離画像演算部105は、エピポーラ線がI1およびI2のx軸と平行であるとすると、T1の重心画素のx座標x1とそれに対応するT2の重心画素のx座標x2とから新たな距離画像を生成することができる。より具体的には、以下の式で奥行きdが算出される。ここで、fはTOF画像撮像部101および102の焦点距離、bはTOF画像撮像部101および102の基線長を表す。
d=f×b/(x2−x1)
Next, the operation of the range
d = f × b / (x 2 −x 1 )
制御・距離画像演算部105は、T1の画素ごとに算出される奥行きdを濃淡値として画像化したものをステレオ法による距離画像として生成する。なお、距離画像信号I1とI2の関係を逆にし、T2をテンプレートとして、T1を探索するようにしてもよい。なお、ここで説明したステレオ法は、一例に過ぎない。2つの距離画像信号の対応関係から三角測量に基づき新たな距離画像信号を生成できるものであれば、いかなる方法を用いてもよい。
Control and distance
制御・距離画像演算部105は、TOF画像撮像部101および102による2つの距離画像信号とステレオ法による距離画像信号に基づき、TOF画像撮像部101あるいは102の視点からの1つの最終的な距離画像信号を再生成し、外部に出力する。より具体的には、制御・距離画像演算部105は、TOFによる2つの距離画像信号とステレオ法による距離画像信号の距離値を、TOF画像撮像部101あるいは102の視点位置基準の距離値にそれぞれ変換する。そして、制御・距離画像演算部105は、同じ画素位置に対応する距離値Dを以下の式に基づいて求める。ここで、d1およびd2はそれぞれ変換後の同一画素におけるTOF画像による距離画像信号、d3はステレオ法による距離画像信号を示す。α、β、γは、重み係数であり、3つの和が1となるように正規化されている。
D=α×d1+β×d2+γ×d3
The control / distance
D = α × d 1 + β × d 2 + γ × d 3
係数α、β、γは、様々な方法で設定することができる。例えば、α、βはTOF画像を撮像したときの信号強度比に基づいて設定され、γは部分領域探索時の相違度指標に基づいて設定される。ある特定の画素について、TOF画像撮像部101の信号強度がTOF画像撮像部102の信号強度に対して大きい場合には、重み係数αの値が相対的に大きくなる。また、部分領域探索時の相違度指標が小さい場合には、ステレオ法による距離画像信号をより重視すべく、γの値が相対的に大きくなる。電源投入後の設定動作終了後の距離画像生成は、距離画像撮像装置制御信号により設定されたフレームレートで、継続して行われる。
The coefficients α, β, γ can be set in various ways. For example, α and β are set based on a signal intensity ratio when a TOF image is captured, and γ is set based on a difference index when a partial area is searched. When the signal strength of the TOF
次に、図2を参照しながら、距離画像撮像装置100の構成要素の回路基板での配置について説明する。ステレオ法を用いるために、TOF画像撮像部101および102は、回路基板の表面201の両端に配置される。これにより、TOF画像撮像部101および102の基線長bを最大にすることができる。回路基板の表面201では、光源103は、TOF画像撮像部101および102の間に配置される。矩形波発生部104と制御・距離画像演算部105は、基板面積を小さくするため、回路基板の裏面202に配置される。特に、矩形波発生部104は、回路基板の裏面202の中央に配置される。矩形波発生部104から複数のTOF画像撮像部101および102まで復調信号(矩形波)の配線長が同じになるようにする。これにより、2つのTOF画像撮像部101および102間での配線長による復調信号の位相差をゼロにすることができる。
Next, the arrangement of components of the range
次に、図3および図4を参照しながら、TOF方式での光飛行時間とTOF画像信号の関係を説明する。距離画像撮像装置100と対象物間を光が往復する時間により、TOF画像撮像部101および102のTOF画像素子へ光が入射するタイミングが変化する。TOF画像素子の受光動作は、復調信号によりオン/オフされるため、TOF画像素子の出力電圧は、TOF画像素子への光の入射タイミングが変わることにより変化する。図3の斜線の部分の面積は、TOF画像素子の出力電圧を示している。その結果、TOF画像素子の出力電圧と距離の関係は、図4のようになる。
Next, the relationship between the optical flight time in the TOF method and the TOF image signal will be described with reference to FIGS. The timing at which light enters the TOF image elements of the TOF
光源103の変調信号とTOF画像撮像部101,102の復調信号の位相差は、上記の入射タイミングの計測に直接影響する。例えば、最大計測可能距離Lが7.5m、変調信号の周波数が20MHzの距離画像撮像装置100では、精度を3cmとして、それに対して許容される位相差を距離精度の50%とした場合、その位相差を時間で表すと0.1nsとなる。この値は、距離画像撮像装置100を同一の回路基板で構成した場合、実現できるが、距離画像撮像装置100を別回路基板や別ユニットで構成し、個別のケーブルや個別のバッファ回路を介して接続された場合は実現が難しい。本実施形態では、2つのTOF画像撮像部101,102の復調信号と光源103の変調信号は、同一の矩形波発生部104で生成し、同一の回路基板内で配線される。そのため、変調信号と復調信号の位相差は極めて小さい。また、回路基板での配置を図2のようにすることで、2つの復調信号の配線長による位相差をゼロにすることができる。
The phase difference between the modulation signal of the
また、位相差がゼロでない複数の光源からの変調光は、重ね合わせにより波形が歪む。具体的には、波形の立ち上がりと立ち下がりが階段状になる。これもTOFでの距離計測の系統誤差の要因となる。本実施形態では、1つの光源103から投射される変調光を用いて計測するため、複数の光源による系統誤差も発生しない。
Also, the modulated light from a plurality of light sources having a non-zero phase difference has a distorted waveform due to superposition. Specifically, the rise and fall of the waveform are stepped. This also causes a systematic error in the distance measurement in the TOF. In the present embodiment, since measurement is performed using the modulated light projected from one
さらに、1つの光源103と2つのTOF画像撮像部101,102は、一体として連続動作し、動作の切り替えがないため、起動後あるいは設定終了後は、TOF画像撮像部101,102は、距離画像信号を出し続ける。
Further, since the one
以上の説明では、2つのTOF画像撮像部101および102の例を説明したが、3つ以上のTOF画像撮像部を設けても良い。その場合、矩形波発生部104の出力数は、それに合わせて増加する。例えば、TOF画像撮像部が3つの場合は、矩形波発生部104の出力数は4つになる。矩形波発生部104の出力信号は、正弦波、台形波等の周期的な周期信号でも良い。TOF画像撮像部が2つの構成における回路基板での配置は、矩形波発生部104からTOF画像撮像部101,102への2つの復調信号の配線長が、同じになるならば、図2の配置には限らない。
In the above description, an example of two TOF
TOF画像素子としては、1画素あたり2つの復調入力、2つの出力をもつ構造が主流である。本実施形態は、そのようなTOF画像素子にも適用可能である。この場合、TOF画像素子は、入力された復調信号の逆相信号を発生させ、2つの復調入力にする形になる。また、光源103の変調信号に対して、復調信号の位相を0°、90°、180°、270°遅らせ、復調する方式のTOF画像撮像部にも適用可能である。この方式のTOF画像撮像部は、4つの異なる位相の復調信号で計測したTOF画素信号を基に、TOF画素信号の特性が補償される。尚、この方式の場合、最大計測可能距離Lは、以下の式で表される。
L=c/(2×f)
As a TOF image element, a structure having two demodulation inputs and two outputs per pixel is mainly used. The present embodiment is applicable to such a TOF image element. In this case, the TOF image element generates an inverted-phase signal of the input demodulated signal to form two demodulated inputs. Further, the present invention is also applicable to a TOF image capturing unit that performs a method of delaying the phase of a demodulated signal by 0 °, 90 °, 180 °, and 270 ° with respect to the modulation signal of the
L = c / (2 × f)
本実施形態では、1つの光源103の変調信号と複数のTOF画像撮像部101,102の復調信号とが同期している。これにより、1つの光源103の発光と複数のTOF画像撮像部101,102の距離画像信号生成とが同期している。そのため、TOF画像信号の系統誤差が少なく、また、切り替え動作がないため、連続計測に適している。光源103の発光動作とTOF画像撮像部101,102の距離画像信号生成動作の同期ずれを防止することにより、同期ずれによる距離計測のための距離画像信号の誤差を抑制し、距離計測精度を向上できる。
In the present embodiment, the modulation signal of one
(第2の実施形態)
図5は、本発明の第2の実施形態による距離画像撮像装置100の構成例を示すブロック図である。図5の距離画像撮像装置100は、図1の距離画像撮像装置100に対して、矩形波発生部104の代わりに矩形波発生部501が設けられ、位相調整部502が追加されている。
(Second embodiment)
FIG. 5 is a block diagram illustrating a configuration example of the range
矩形波発生部501は、変調信号と復調信号の2出力である。矩形波発生部501は、光源103に変調信号を出力し、位相調整部502に復調信号を出力する。位相調整部502は、1つの復調信号(矩形波)を入力し、2つの復調信号(矩形波)の位相をそれぞれ調整し、位相が調整された2つの復調信号をTOF画像撮像部101および102にそれぞれ出力する。それぞれの位相調整量は、TOF画像撮像部101および102の復調が最適になる様に調整されている。TOF画像撮像部101および102の復調信号に対する応答特性、光源103の変調信号に対する応答特性を予め測定し、その結果に基づき、位相調整量を決定する。位相調整量は、矩形波発生部501が生成する復調信号(矩形波)の周波数にもよるが、0.1〜10nsのオーダーである。そのため、通常のカメラ・トリガーでのシステムクロックをベースにした遅延回路の適用は難しい。そこで、ロジックゲートを用いた遅延回路を用いる。また、PLL(Phase-Locked Loop)、DLL(Delay-Locked Loop)、SMD(Synchronous Mirror Delay)、DDS(Direct Digital Synthesizer)等を用いてもよい。位相調整方法について説明する。ロジックゲートを用いた遅延回路では、位相調整設定用外部抵抗の抵抗値を調整する。DDSでは、位相遅延量を決めるレジスタ値を調整する。TOF画像撮像部101および102は、位相が調整された2つの復調信号を基に、距離画像信号をそれぞれ生成する。
The
図6は、図3と同様に、本実施形態による光源103の変調信号(光出力)と、TOF画像撮像部101および102の復調信号、反射光(TOF画素信号)を示す図である。図6は、図3に対して、TOF画像撮像部101および102の復調信号が光源103の変調信号に対して遅れている点が異なる。位相調整部502は、位相調整した復調信号をTOF画像撮像部101および102にそれぞれ出力する。TOF画像撮像部101および102の復調信号は、光源103の変調信号に対して遅れている。TOF画像撮像部101および102は、それぞれ、復調信号がハイレベルである期間に、反射光を光電変換することにより、斜線で示すTOF画素信号を生成する。TOF画素信号の電圧は、復調信号の波形と反射光の波形が重なる面積に相当する。図6は、図3に対して、復調信号が遅延しているため、TOF画素信号の電圧が変わる。
FIG. 6 is a diagram illustrating a modulation signal (light output) of the
図7(a)および(b)は、図4と同様に、本実施形態による距離とTOF画素信号の関係を示す図であり、復調信号の遅れの影響を示す。図7(a)は、第1の実施形態のように、TOF画像撮像部101,102の復調信号の位相が光源103の変調信号の位相と同じである場合を示す。図7(b)は、第2の実施形態のように、TOF画像撮像部101,102の復調信号の位相が光源103の変調信号の位相に対して遅れている場合を示す。図7(b)のように、復調信号の位相が遅れている場合、TOF画素信号の電圧がゼロになる距離が短くなる。この場合、TOF画素信号の電圧がゼロより少し大きい電圧(図中、点線で示す)では、最大計測可能距離L内に2つの距離候補があることになる。図7(a)および(b)中の黒丸はその候補を示している。
FIGS. 7A and 7B are diagrams showing the relationship between the distance and the TOF pixel signal according to the present embodiment, as in FIG. 4, and show the influence of the delay of the demodulated signal. FIG. 7A illustrates a case where the phase of the demodulated signals of the TOF
図5を用いて、距離画像撮像装置100の動作について説明する。距離画像撮像装置100の全体の動作は、矩形波発生部501からの復調信号が位相調整部502を介してTOF画像撮像部101および102に供給されている以外は第1の実施形態と同じである。光源103の変調とTOF画像撮像部101,102の復調の位相差は、単に変調信号と復調信号の位相差だけではく、光源103の素子と駆動回路、TOF画像撮像部101,102の応答特性により発生する場合がある。本実施形態では、位相調整部502が、この位相差を調整する。この調整量は、組み込まれる光源103の変調特性、TOF画像撮像部101,102の復調特性を基に決定される。そして、距離画像撮像装置100の作製時に、位相調整部502に調整量が設定される。
The operation of the range
次に、図6と図7(a)、(b)を用いて、変調と復調の位相差の影響について説明する。図6に示すように、復調信号の位相が遅れた場合、TOF画素信号の電圧と距離の関係は、図7(b)のようにグラフが左側にシフトする。この場合、ゼロから最大計測可能距離Lまでの間に、TOF画素信号の電圧がPになる点が2つでき、距離が一意に決まらなくなる。位相調整部502の設定値は、光源103およびTOF画像撮像部101,102の応答特性による位相差を補正し、図7(a)のようになるように設定される。以下、その手順を説明する。まず、変調信号に対する光源103の光出力の時間遅れTmod、復調信号に対するTOF画像撮像部101および102の応答特性による時間遅れTdem1およびTdem2をそれぞれ予め測定する。位相調整部502のTOF画像撮像部101および102に対する位相調整量Tcor1およびTcor2は、下記になる。
Tcor1=Tmod−Tdem1
Tcor2=Tmod−Tdem2
Next, the influence of the phase difference between modulation and demodulation will be described with reference to FIGS. 6 and 7A and 7B. As shown in FIG. 6, when the phase of the demodulated signal is delayed, the graph of the relationship between the voltage of the TOF pixel signal and the distance shifts to the left as shown in FIG. 7B. In this case, there are two points where the voltage of the TOF pixel signal becomes P from zero to the maximum measurable distance L, and the distance cannot be uniquely determined. The setting value of the
Tcor1 = Tmod-Tdem1
Tcor2 = Tmod-Tdem2
位相調整量Tcor1およびTcor2の設定方法としては、距離画像撮像装置100の設計時に、距離が既知の物体を試作機で測定し、測定結果が既知の距離になるように調整する方法がある。また、制御・距離画像演算部105が位相調整部502に位相調整部制御信号を出力することにより、距離画像撮像装置100に位相調整機能をもたすことも可能である。この場合、距離画像撮像装置100の状態に応じて、位相調整部502の位相調整量を調整することができる。
As a method of setting the phase adjustment amounts Tcor1 and Tcor2, there is a method of measuring an object having a known distance with a prototype when designing the range
TOF画像撮像部の数、TOF画像素子の構造、変調方式については、第1の実施形態に記載の構成、方式を適用可能である。 The configuration and method described in the first embodiment can be applied to the number of TOF image capturing units, the structure of the TOF image element, and the modulation method.
本実施形態では、TOF画像撮像部101,102ごとに復調信号の位相を設定できるため、光源103とTOF画像撮像部101,102の応答特性による位相ズレがあった場合に補正することが可能である。また、変調信号の周波数fで決まる最大計測可能距離Lに近い距離を計測することができる。
In the present embodiment, since the phase of the demodulated signal can be set for each of the TOF
(第3の実施形態)
以下、図面を用いて本発明の第3の実施形態について説明する。本実施形態の距離画像撮像装置100は、第1の実施形態と同様の構成を有する。以下、本実施形態が第1の実施形態と異なる点を説明する。本実施形態の距離画像撮像装置100は、2つのTOF画像撮像部101および102を有し、TOF画像撮像部101および102の撮像パラメータを異なる設定にすることで、距離画像撮像装置100から出力される距離画像のノイズを低減させる。
(Third embodiment)
Hereinafter, a third embodiment of the present invention will be described with reference to the drawings. The range
TOF画像撮像部101および102の撮像パラメータとしては、変調信号の周波数、フレームレート、サブフレーム数、積分時間、センサゲインがある。これらの内、サブフレーム数と積分時間は、TOF画像撮像部101および102毎に変更が可能であり、かつ重要な撮像パラメータである。TOF画像撮像部101および102は、相互に異なるパラメータに基づき、距離画像信号を生成する。
The imaging parameters of the TOF
図8は、本実施形態による2つのTOF画像撮像部101および102の撮像動作について説明する図である。時間を横軸に示し、フレーム、サブフレーム、積分時間を模式的に示している。図8では、TOF画像撮像部101の撮像動作期間の波形と、TOF画像撮像部102の撮像動作期間の波形を示している。波形のハイレベルは撮像期間を示し、波形のローレベルは非撮像期間を示す。
FIG. 8 is a diagram illustrating an imaging operation of the two TOF
TOFにおける、フレーム、サブフレーム、積分時間について説明する。TOFで用いられる変調信号の周波数は、通常、1MHz以上であり、画像センサのフレームレートより6ケタ以上高くなっている。そのため、複数の周期のTOF画素信号を足し合わせる積分処理等の信号強度を上げる手法や、積分処理した信号から得られた複数の距離画像を処理することにより、ノイズを低減することができる。積分時間は、複数の周期のTOF画素信号を足し合わせる合計の時間である。サブフレームは、フレームでの画像処理を行う場合の距離画像を得る単位である。 The frame, subframe, and integration time in TOF will be described. The frequency of the modulation signal used in the TOF is usually 1 MHz or more, which is 6 digits or more higher than the frame rate of the image sensor. Therefore, noise can be reduced by a method of increasing the signal strength such as an integration process of adding TOF pixel signals of a plurality of cycles, or by processing a plurality of distance images obtained from the integrated signal. The integration time is the total time for adding the TOF pixel signals of a plurality of cycles. A sub-frame is a unit for obtaining a distance image when performing image processing on a frame.
図8に示す例では、TOF画像撮像部101は、積分時間を最大にしている。TOF画像撮像部101は、その積分時間で、TOF画素信号を加算する。すなわち、TOF画像撮像部101は、各フレームの撮像期間単位で、光源103の発光に対する反射光に基づくTOF画素信号を加算する。一方、TOF画像撮像部102は、フレームを5つのサブフレームに分割し、積分時間をサブフレームの中で最大にしている。TOF画像撮像部102は、その積分時間で、TOF画素信号を加算する。すなわち、TOF画像撮像部102は、フレームを分割した各サブフレームの撮像期間単位で、光源103の発光に対する反射光に基づくTOF画素信号を加算する。
In the example illustrated in FIG. 8, the TOF
TOF画像撮像部101は、受光量の少ない遠い物体面や黒い物体面からのTOF画素信号を大きくすることができるので、距離精度を向上できる。一方、TOF画像撮像部101は、受光量の多い近い物体面や白い物体面では、TOF画素信号が飽和する場合があり、距離精度が低下する。TOF画像撮像部102は、受光量の少ない遠い物体面や黒い物体面からのTOF画素信号が小さく、距離精度が低下する。一方、TOF画像撮像部102は、受光量の多い近い物体面や白い物体面では、TOF画素信号が飽和せず、距離精度が低下しない。また、TOF画像撮像部102は、フレーム内の複数のサブフレームで得られた距離画像を処理(たとえば積算平均化)することで、距離画像のノイズを低減できる。
Since the TOF
制御・距離画像演算部105は、TOF画像撮像部101の距離画像信号、TOF画像撮像部102の距離画像信号、ステレオ計測により生成した距離画像信号を基に、最終的な距離画像信号を再生成する。制御・距離画像演算部105は、距離画像信号の再生成に際して、TOF画像撮像部101および102のそれぞれのノイズの少ない部分を採用することで、物体面の反射特性、距離への依存性の少ない距離画像が得られる。
The control / distance
以上の説明では、TOF画像撮像部101および102の撮像パラメータの設定は、上記の設定に限るものではない。また、TOF画像撮像部の数、TOF画像素子の構造、変調方式については、第1の実施形態に記載の構成、方式を適用可能である。本実施形態は、計測対象となる物体の反射特性、距離への依存性を少なくすることができる。
In the above description, the setting of the imaging parameters of the TOF
第1〜第3の実施形態の距離画像撮像装置100は、測定対象物および環境の立体形状を把握することができる。例えば、距離画像撮像装置100は、3次元形状を計測する3次元スキャナー、環境・対象物の認識を必用とする自動運転自動車、監視カメラに利用可能である。
The range
なお、上記実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、またはその主要な特徴から逸脱することなく、様々な形で実施することができる。 It should be noted that each of the above-described embodiments is merely an example of a concrete example for carrying out the present invention, and the technical scope of the present invention should not be interpreted in a limited manner. That is, the present invention can be implemented in various forms without departing from the technical idea or the main features.
101,102 TOF画像撮像部、103 光源、104 矩形波発生部、105 制御・距離画像演算部、201 回路基板の表面、202 回路基板の裏面、501 矩形波発生部、502 位相調整部 101, 102 TOF image capturing unit, 103 light source, 104 rectangular wave generating unit, 105 control / distance image calculating unit, 201 front surface of circuit board, 202 back surface of circuit board, 501 rectangular wave generating unit, 502 phase adjusting unit
Claims (10)
前記発生部が生成する周期信号に基づく第1の周期信号を基に発光する1つの光源と、
前記発生部が生成する周期信号に基づく複数の第2の周期信号を基に、前記光源の発光に対する反射光に基づく距離画像信号をそれぞれ生成する複数の撮像部とを有し、
前記光源の発光と前記複数の撮像部の距離画像信号生成とが同期していることを特徴とする撮像装置。 A generator for generating a periodic signal;
One light source that emits light based on a first periodic signal based on a periodic signal generated by the generation unit;
Based on a plurality of second periodic signals based on the periodic signal generated by the generation unit, based on a plurality of imaging units that respectively generate a distance image signal based on reflected light with respect to the emission of the light source,
An imaging apparatus, wherein light emission of the light source and generation of a distance image signal of the plurality of imaging units are synchronized.
前記光源は、前記第1の周期信号を基に発光し、
前記複数の撮像部は、前記複数の第2の周期信号を基に前記距離画像信号をそれぞれ生成することを特徴とする請求項1に記載の撮像装置。 The generating unit generates the first periodic signal and the plurality of second periodic signals,
The light source emits light based on the first periodic signal,
The imaging apparatus according to claim 1, wherein the plurality of imaging units each generate the distance image signal based on the plurality of second periodic signals.
前記基板の第2の面には、前記発生部が配置されることを特徴とする請求項1〜3のいずれか1項に記載の撮像装置。 On a first surface of the substrate, the light source is disposed between the plurality of imaging units,
The imaging device according to any one of claims 1 to 3, wherein the generator is disposed on a second surface of the substrate.
前記第3の周期信号を入力し、複数の第2の周期信号の位相をそれぞれ調整する位相調整部をさらに有し、
前記光源は、前記第1の周期信号を基に発光し、
前記複数の撮像部は、前記位相が調整された複数の第2の周期信号を基に前記距離画像信号をそれぞれ生成することを特徴とする請求項1または4に記載の撮像装置。 The generator generates the first periodic signal and a third periodic signal,
A phase adjustment unit configured to input the third periodic signal and adjust phases of the plurality of second periodic signals,
The light source emits light based on the first periodic signal,
5. The imaging apparatus according to claim 1, wherein the plurality of imaging units generate the distance image signals based on the plurality of second periodic signals whose phases have been adjusted. 6.
前記複数の撮像部のうちの第2の撮像部は、前記フレームを分割した各サブフレームの撮像期間単位で、前記反射光に基づく信号を加算することを特徴とする請求項1〜7のいずれか1項に記載の撮像装置。 The first imaging unit of the plurality of imaging units adds a signal based on the reflected light for each imaging period of each frame,
The second imaging unit of the plurality of imaging units adds a signal based on the reflected light for each imaging period of each subframe obtained by dividing the frame. 2. The imaging device according to claim 1.
1つの光源により、前記周期信号に基づく第1の周期信号を基に発光するステップと、
複数の撮像部により、前記周期信号に基づく複数の第2の周期信号を基に、前記光源の発光に対する反射光に基づく距離画像信号をそれぞれ生成するステップとを有し、
前記光源の発光と前記複数の撮像部の距離画像信号生成とが同期していることを特徴とする撮像装置の制御方法。 Generating a periodic signal by the generator;
Emitting light by one light source based on a first periodic signal based on the periodic signal;
A plurality of imaging units, based on a plurality of second periodic signals based on the periodic signal, based on each of the step of generating a distance image signal based on reflected light with respect to light emission of the light source,
A method of controlling an imaging apparatus, wherein light emission of the light source and generation of distance image signals of the plurality of imaging units are synchronized.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018131450A JP2020008483A (en) | 2018-07-11 | 2018-07-11 | Imaging device and method for controlling imaging device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018131450A JP2020008483A (en) | 2018-07-11 | 2018-07-11 | Imaging device and method for controlling imaging device |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2020008483A true JP2020008483A (en) | 2020-01-16 |
Family
ID=69151510
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018131450A Pending JP2020008483A (en) | 2018-07-11 | 2018-07-11 | Imaging device and method for controlling imaging device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2020008483A (en) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11818482B2 (en) | 2021-09-16 | 2023-11-14 | Samsung Electronics Co., Ltd. | Image sensor for measuring distance and camera module including the same |
JP7468033B2 (en) | 2020-03-19 | 2024-04-16 | 株式会社リコー | Distance measuring device, moving body, walking robot, three-dimensional measuring device, distance image camera, and distance measuring method |
-
2018
- 2018-07-11 JP JP2018131450A patent/JP2020008483A/en active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7468033B2 (en) | 2020-03-19 | 2024-04-16 | 株式会社リコー | Distance measuring device, moving body, walking robot, three-dimensional measuring device, distance image camera, and distance measuring method |
US11818482B2 (en) | 2021-09-16 | 2023-11-14 | Samsung Electronics Co., Ltd. | Image sensor for measuring distance and camera module including the same |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6673084B2 (en) | Light flight type distance measuring device | |
JP6701199B2 (en) | Distance measurement imaging device | |
WO2017085916A1 (en) | Imaging device and solid-state imaging element used in same | |
JP6286677B2 (en) | Ranging system and imaging sensor | |
JP6296401B2 (en) | Distance measuring device and solid-state imaging device | |
JP6805504B2 (en) | Distance measuring device, mobile device and distance measuring method | |
WO2014097539A1 (en) | Device for three-dimensional measurement, and method for three-dimensional measurement | |
US11991341B2 (en) | Time-of-flight image sensor resolution enhancement and increased data robustness using a binning module | |
KR20130106094A (en) | Depth camera, multi-depth camera system, and synchronizing method thereof | |
JP2013538342A (en) | Hierarchical time-of-flight (TOF) system de-aliasing method and system | |
JP2011257402A (en) | Flight time image pickup apparatus | |
WO2014119241A1 (en) | Distance measurement method and distance measurement system | |
JP2009192499A (en) | Apparatus for generating distance image | |
JP2012042332A (en) | Three-dimensional measurement device and three-dimensional measurement method | |
KR20210033545A (en) | Method and system for increasing the range of a time-of-flight system by clear range toggling | |
JP2020008483A (en) | Imaging device and method for controlling imaging device | |
KR20160026189A (en) | Method and apparatus for generating depth image | |
JP7149941B2 (en) | Apparatus and method | |
CN113497892B (en) | Imaging device, distance measuring method, storage medium, and computer device | |
US20220334236A1 (en) | Dispersion compensation for a frequency-modulated continuous-wave (fmcw) lidar system | |
WO2021107036A1 (en) | Distance measurement and imaging device | |
US8259148B2 (en) | Image forming apparatus | |
CN112946602A (en) | Multipath error compensation method and multipath error compensated indirect time-of-flight distance calculation device | |
JP2007278805A (en) | Ultrasonic sensor, ultrasonic stereoscopic vision device, and distance direction specification method | |
JP2023148266A (en) | Master device and sensor system |