JP7380146B2 - 情報取得装置 - Google Patents
情報取得装置 Download PDFInfo
- Publication number
- JP7380146B2 JP7380146B2 JP2019217478A JP2019217478A JP7380146B2 JP 7380146 B2 JP7380146 B2 JP 7380146B2 JP 2019217478 A JP2019217478 A JP 2019217478A JP 2019217478 A JP2019217478 A JP 2019217478A JP 7380146 B2 JP7380146 B2 JP 7380146B2
- Authority
- JP
- Japan
- Prior art keywords
- light
- optical system
- information acquisition
- optical
- acquisition device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000003287 optical effect Effects 0.000 claims description 238
- 238000003384 imaging method Methods 0.000 claims description 96
- 238000005286 illumination Methods 0.000 claims description 75
- 238000012545 processing Methods 0.000 claims description 27
- 230000004075 alteration Effects 0.000 claims description 10
- 230000001360 synchronised effect Effects 0.000 claims description 9
- 230000002093 peripheral effect Effects 0.000 claims description 8
- 238000010586 diagram Methods 0.000 description 18
- 238000010801 machine learning Methods 0.000 description 10
- 238000000034 method Methods 0.000 description 10
- 238000005516 engineering process Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 8
- 230000008569 process Effects 0.000 description 7
- 230000005540 biological transmission Effects 0.000 description 6
- 230000015572 biosynthetic process Effects 0.000 description 4
- 238000005259 measurement Methods 0.000 description 4
- 239000002131 composite material Substances 0.000 description 3
- 238000012937 correction Methods 0.000 description 3
- 230000001678 irradiating effect Effects 0.000 description 3
- 238000003491 array Methods 0.000 description 2
- 230000000903 blocking effect Effects 0.000 description 2
- 150000001875 compounds Chemical class 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000012805 post-processing Methods 0.000 description 2
- 238000001228 spectrum Methods 0.000 description 2
- 206010010071 Coma Diseases 0.000 description 1
- 201000009310 astigmatism Diseases 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- QSHDDOUJBYECFT-UHFFFAOYSA-N mercury Chemical compound [Hg] QSHDDOUJBYECFT-UHFFFAOYSA-N 0.000 description 1
- 229910052753 mercury Inorganic materials 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000004441 surface measurement Methods 0.000 description 1
- 238000002834 transmittance Methods 0.000 description 1
Images
Landscapes
- Optical Radar Systems And Details Thereof (AREA)
- Stroboscope Apparatuses (AREA)
- Shutters For Cameras (AREA)
- Studio Devices (AREA)
Description
図1は、実施形態に係る情報取得装置1の構成の一例を示す図である。図1に示すように、情報取得装置1は、撮像系2、照明系3、処理回路4及びメモリ5を有する。
第2の光学系22の第1のレンズアレイ221及び第2のレンズアレイ222としては、9つの集光素子が配列された集光素子アレイも利用可能である。図9は、図1の第2の光学系22が中間像を9つに分割する場合の被撮像面に関する情報の取得について説明するための図である。図9に示す例では、集光素子アレイの各集光素子は、縦及び横方向にそれぞれ3つ配列されているとする。このとき、被撮像面の領域や中間像は、9つに分割される。図9に示す例では、図8に示す被撮像面の各領域A,B,Cが、それぞれ3つに分割されている。この場合、情報取得装置1は、例えばA1→A2→A3→B1→B2→B3→C1→C2→C3の順に各領域に関する情報を取得し、9分割して得られた情報をつなぎ合わせて被撮像面に関する情報を取得する。なお、撮像面上の各領域A1,A2,A3からの光は、図7のフレームnでは、タイミングt0~t1の間に取得される。このとき、照明系3は、撮像面上の各領域A1,A2,A3を順次照明可能に構成され得る。なお、3分割や9分割の場合を例示したが、これに限らない。分割数は、所望の解像性能や光学系のサイズなどの各種の制限に応じて適宜設定され得る。
各実施形態に係る情報取得装置1は、夜間などの外部照明がない場合や、被撮像領域内に照明系3の他の発光体がない場合に、最もS/Nが高い情報を得ることができる。このような中、光センサ23が可視光に感度を有し、かつ、被撮像面から撮像面231までの光路上の光学系が一定の可視光透過率を有する場合には、照明系3が照明光を被撮像面上に照射しなくても、被撮像面からの光が光センサ23に到達する。したがって、このような場合には、撮像面上のある領域の情報を取得する際に、他の領域の情報も光センサ23に到達するため、他の領域からの光の成分がノイズとして取得される。このため、例えば情報取得部43は、照明光を被撮像面上に照射する前に、照明光の被投射領域全体、すなわち被撮像面のうちの第1の光学系21の画角全体に関する情報(情報N)を取得する。情報取得部43は、取得した情報Nをバイアス成分として、上述したようにそれぞれ単独で取得した各領域A,B,Cに関する情報から、情報Nを差し引く。この構成によれば、S/Nを向上させることが可能となる。
情報取得装置1は、赤外領域を含む波長の光を使用するように構成されてもよい。具体的には、照明系3の各光源LS1,LS2,LS3は、赤外領域を含む発光波長の照明光源である。また、撮像系2の各光学系は、赤外領域の波長を有する光に対してパワーを有する。また、光センサ23は、赤外領域の波長を有する光を検出可能なセンサである。この構成によれば、外光の影響を受けずに、被検出物を検出することが可能となる。
上述の各実施形態では、被撮像面上の各領域に応じて配置された照明系3から、選択的に各領域を照明する場合を例として説明したが、これに限らない。例えば、中間像位置又はその近傍に、対象とする領域の他の領域からの光を遮光又は偏向する手段も適宜利用可能である。
上述の実施形態に係る技術は、TOFセンサに適用可能である。つまり、情報取得装置1は、被撮像面上における被検出物の有無や、当該被検出物上の任意の物点までの距離、当該被検出物の形状などのTOFセンサの光遅延情報を含む被撮像面に関する情報(光強度情報)を取得することもできる。
上述した各実施形態では、分割された複数の領域が同一のサイズである場合、すなわち各領域に関する取り込み画角が同一である場合を例として説明したが、これに限らない。集光レンズアレイの集光素子の配列数が増加すると、集光素子間の境界部が増加するため、境界部の情報が正しく取得されないおそれがある。
上述の各実施形態に係る第1のレンズアレイ221は、例えば図2に示すように、配列されているレンズ(集光素子)ごとにレンズ中心を有している。つまり、第1のレンズアレイ221は、配列されているレンズごとに光軸を有しているため、複数の光軸(光軸群)を有する。一方で、光センサ23の物体側であって、撮像系2の光センサ23に近い側に配置された集光素子(結像レンズ)は、単レンズ又は共通の光軸を有する複合レンズ(組レンズ)である。このような中、第1のレンズアレイ221の光軸群のうちの中央の光軸と、結像レンズの光軸とは、略一致していることが好ましい。
なお、第1のレンズアレイ221において、各集光素子の間の境界部を完全にゼロにすることはできないため、データが欠落する場合もある。そこで、取り込み画像の機械学習を行うことで欠落したデータを補完して、被撮像情報を生成してもよい。つまり、本実施形態に係る情報取得装置1は、境界部のデータが欠落した画像データの入力に応じて、欠落した境界部のデータが補完された画像データを出力するようにパラメータが学習された機械学習モデルを使用して、複数の分割像の各々を補正してもよい。機械学習モデルの入出力データは、各領域の画像データに限らず、各領域の受光信号であってもよい。情報取得部43は、光センサ23からの時分割された受光信号又は当該受光信号に基づいて生成された各領域の画像データを機械学習モデルに入力する。また、情報取得部43は、機械学習モデルの出力を取得する。このような機械学習モデルは、例えば高解像度の光センサを用いて得られた受光信号又は画像データを正解データとして学習されればよい。なお、入力側の学習用データは、高解像度の光センサを用いて得られた受光信号又は画像データから生成されてもよい。
図14は、図1の撮像系2及び照明系3の構成の別の一例を示す断面図である。図14の構成において、照明系3の光源32は、第1の波長λ1の光を発する第1の光源LS1と、第2の波長λ2の光を発する第2の光源LS2とを有する。ここで、波長λ1の光とは、波長スペクトルのピーク波長が波長λ1である光を言う。同様に、波長λ2の光とは、波長スペクトルのピーク波長が波長λ2である光を言う。第1の光源LS1及び第2の光源LS2は、被撮像面上の同一の領域を照射する。第1の光学系21は、被投射面(被撮像面)からの光を、被撮像面の共役面である結像面に配置された光センサ23の撮像面231上に結像する。第2の光学系22は、第1の光学系21の光路上に配置され、被撮像面からの光を、当該光の波長に応じた方向へ偏向する。具体的には、第2の光学系22は、第1の光学系21と、光センサ23との間に配置される。また、第2の光学系22は、一例として、平板状の回折格子である。回折格子としての第2の光学系22は、第1の波長λ1に対しては第1次偏向角α1を有し、第2の波長λ2に対しては第1次偏向角α2を有し、いずれの波長に対しても第1次偏向角の強度が最も強くなるように設計されているとする。なお、回折格子としては、0次光の少ないブレーズドタイプが望ましい。
図15は、図14の撮像系2及び照明系3の構成の別の一例を示す断面図である。本実施形態に係る第1の光学系21は、少なくとも2つの光学素子を有する。図15に示す例では、第1の光学系21は、第1の光学素子211及び第2の光学素子212を有する。第1の光学素子211及び第2の光学素子212としては、例えばレンズが利用可能である。本実施形態に係る第2の光学系22は、第1の光学系21の少なくとも2つの光学素子の間に配置される。第2の光学系22は、第1の光学系21の絞り位置に配置することが望ましい。この構成によれば、第1の光学系21の内部に第2の光学系22が配置されるため、第2の光学系22の配置精度の要求を緩和することができる。
2 撮像系
3 照明系
4 処理回路
5 メモリ
21 第1の光学系
22 第2の光学系
23 光センサ
31,CL1,CL2,CL3 照明光学系
32,LS1,LS2,LS3 光源
33 光シャッタ
41 照明制御部
42 撮像制御部
43 情報取得部
211 第1の光学素子
212 第2の光学素子
221 第1のレンズアレイ
222 第2のレンズアレイ
223 結像レンズ
231 撮像面
Claims (15)
- 光の遅延情報を取得するセンサであって、撮像面へ入射する光の強度分布に応じた受光信号を出力する光センサと、
被撮像面からの光を前記被撮像面の共役面に伝達する第1の光学系と、
前記第1の光学系により伝達可能な前記被撮像面の領域のうちの複数の領域からの光を前記撮像面のうちの同一の領域に結像する第2の光学系と、
時分割された前記受光信号に基づいて、前記被撮像面に関する情報を取得する処理回路と
を具備する情報取得装置。 - 前記第1の光学系は、前記被撮像面から前記撮像面までの光路上の前記被撮像面の前記第1の光学系を介した共役面に中間像を形成し、
前記第2の光学系は、前記第1の光学系から前記撮像面までの光路上に配置され、前記中間像を分割し、複数の分割中間像をそれぞれ前記撮像面の同一の領域に結像する、
請求項1に記載の情報取得装置。 - 前記複数の分割中間像の各々は、対応する前記被撮像面の各領域からの光により形成される、請求項2に記載の情報取得装置。
- 前記複数の分割中間像にそれぞれ対応する前記被撮像面の領域ごとに照明可能な照明系をさらに備え、
前記処理回路は、前記照明系に前記各領域を照明させる照明タイミングと同期するタイミングで、前記光センサからの前記受光信号を時分割して取得する、
請求項3に記載の情報取得装置。 - 前記照明系は、赤外領域を含む発光波長の照明光源を有する、請求項4に記載の情報取得装置。
- 前記複数の分割中間像にそれぞれ対応する前記被撮像面の領域からの光を選択的に通過させる光シャッタをさらに備え、
前記処理回路は、前記光シャッタに前記各領域からの光を通過させるタイミングと同期するタイミングで、前記光センサからの前記受光信号を時分割して取得する、
請求項3から請求項5のうちのいずれか1項に記載の情報取得装置。 - 前記第2の光学系は、
前記複数の分割中間像にそれぞれ対応した集光素子が配列された1つの集光素子アレイと、
前記集光素子アレイを通過した前記複数の分割中間像に対応する光をそれぞれ前記撮像面の同一の領域に結像する1つ又は複数の集光素子と
を有する、請求項2から請求項6のうちのいずれか1項に記載の情報取得装置。 - 前記集光素子アレイにおいて、各集光素子は、矩形状又はハニカム状に配列される、請求項7に記載の情報取得装置。
- 前記集光素子アレイにおいて、隣接する各集光素子のサイズは、互いに異なる、請求項8に記載の情報取得装置。
- 前記集光素子アレイにおいて、中央部の集光素子のサイズは、周辺部の集光素子のサイズより大きい、請求項9に記載の情報取得装置。
- 前記処理回路は、前記複数の分割中間像にそれぞれ対応する、前記撮像面に形成される分割像に発生する光学的な収差を、前記複数の分割中間像の各々に対応する領域ごとに補正する画像処理を実行する、請求項2から請求項10のうちのいずれか1項に記載の情報取得装置。
- 前記処理回路は、前記画像処理において、前記複数の分割中間像に対応する前記複数の領域のうちの少なくとも2つの領域に関して、互いに異なるパラメータを用いて補正する、請求項11に記載の情報取得装置。
- 前記第2の光学系は、前記第1の光学系の光路上に配置され、前記被撮像面からの光を、当該光の波長に応じた方向へ偏向し、
前記時分割された受光信号は、当該光の波長ごとの前記被撮像面に関する情報である、
請求項1に記載の情報取得装置。 - 前記第2の光学系は、回折格子である、請求項13に記載の情報取得装置。
- 前記第1の光学系は、少なくとも2つの光学素子を有し、
前記第2の光学系は、前記少なくとも2つの光学素子の間に配置される、
請求項13又は14に記載の情報取得装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019217478A JP7380146B2 (ja) | 2019-11-29 | 2019-11-29 | 情報取得装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019217478A JP7380146B2 (ja) | 2019-11-29 | 2019-11-29 | 情報取得装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021087199A JP2021087199A (ja) | 2021-06-03 |
JP7380146B2 true JP7380146B2 (ja) | 2023-11-15 |
Family
ID=76085885
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019217478A Active JP7380146B2 (ja) | 2019-11-29 | 2019-11-29 | 情報取得装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7380146B2 (ja) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2007047660A2 (en) | 2005-10-16 | 2007-04-26 | Mediapod Llc | Apparatus, system and method for increasing quality of digital image capture |
JP2009272758A (ja) | 2008-05-01 | 2009-11-19 | Nippon Hoso Kyokai <Nhk> | カラー撮像装置 |
JP2017034722A (ja) | 2016-11-04 | 2017-02-09 | 株式会社ニコン | 画像処理装置および撮像装置 |
JP2017207695A (ja) | 2016-05-20 | 2017-11-24 | 株式会社ニコン | 光学装置 |
-
2019
- 2019-11-29 JP JP2019217478A patent/JP7380146B2/ja active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2007047660A2 (en) | 2005-10-16 | 2007-04-26 | Mediapod Llc | Apparatus, system and method for increasing quality of digital image capture |
JP2009512396A (ja) | 2005-10-16 | 2009-03-19 | メディアポッド リミテッド ライアビリティ カンパニー | デジタル映像捕獲の質を高めるための装置、システム及び方法 |
JP2009272758A (ja) | 2008-05-01 | 2009-11-19 | Nippon Hoso Kyokai <Nhk> | カラー撮像装置 |
JP2017207695A (ja) | 2016-05-20 | 2017-11-24 | 株式会社ニコン | 光学装置 |
JP2017034722A (ja) | 2016-11-04 | 2017-02-09 | 株式会社ニコン | 画像処理装置および撮像装置 |
Also Published As
Publication number | Publication date |
---|---|
JP2021087199A (ja) | 2021-06-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11002538B2 (en) | Device, method, and medium for measuring distance information using a parallax calculated from multi-viewpoint images | |
JP2022001882A (ja) | 測距装置及び移動体 | |
US10345684B2 (en) | Pattern projection and imaging using lens arrays | |
JP6784295B2 (ja) | 距離測定システム、距離測定方法およびプログラム | |
JP6484072B2 (ja) | 物体検出装置 | |
JP6478725B2 (ja) | 計測装置及びロボット | |
US9383549B2 (en) | Imaging system | |
US9402067B2 (en) | Imaging optical system for 3D image acquisition apparatus, and 3D image acquisition apparatus including the imaging optical system | |
KR101974578B1 (ko) | 3차원 영상 획득 장치용 결상 광학계 및 이를 포함하는 3차원 영상 획득 장치 | |
US20170142406A1 (en) | Apparatus for and method of illumination control for acquiring image information and depth information simultaneously | |
EP3683542B1 (en) | Distance measuring module | |
EP3170025B1 (en) | Wide field-of-view depth imaging | |
JP2019502921A (ja) | Lidar式走査装置およびlidar式走査システム | |
WO2019204479A1 (en) | Image reconstruction from image sensor output | |
JP2013124985A (ja) | 複眼式撮像装置および測距装置 | |
US11601607B2 (en) | Infrared and non-infrared channel blender for depth mapping using structured light | |
JP2019216376A (ja) | 画像処理装置、撮像装置、および画像処理方法 | |
US10362235B2 (en) | Processing apparatus, processing system, image pickup apparatus, processing method, and storage medium | |
US20230291885A1 (en) | Stereoscopic image capturing systems | |
JP2006322795A (ja) | 画像処理装置、画像処理方法および画像処理プログラム | |
US11812137B2 (en) | Measurement apparatus, image capturing apparatus, control method, and recording medium | |
US10084978B2 (en) | Image capturing apparatus and image processing apparatus | |
JP2017167126A (ja) | 測距装置及び移動体 | |
JP7380146B2 (ja) | 情報取得装置 | |
US10900770B2 (en) | Distance measuring device, imaging apparatus, moving device, robot device, and recording medium |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220914 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230731 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230808 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230906 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20231003 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20231016 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7380146 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |