JP6942637B2 - 車両用画像取得装置、および車両用画像取得装置を備えた車両 - Google Patents
車両用画像取得装置、および車両用画像取得装置を備えた車両 Download PDFInfo
- Publication number
- JP6942637B2 JP6942637B2 JP2017557835A JP2017557835A JP6942637B2 JP 6942637 B2 JP6942637 B2 JP 6942637B2 JP 2017557835 A JP2017557835 A JP 2017557835A JP 2017557835 A JP2017557835 A JP 2017557835A JP 6942637 B2 JP6942637 B2 JP 6942637B2
- Authority
- JP
- Japan
- Prior art keywords
- light
- color
- image
- vehicle
- image acquisition
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003384 imaging method Methods 0.000 claims description 48
- 230000003595 spectral effect Effects 0.000 claims description 6
- 238000001514 detection method Methods 0.000 description 9
- 230000008859 change Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 238000000034 method Methods 0.000 description 5
- 230000002123 temporal effect Effects 0.000 description 5
- 230000009471 action Effects 0.000 description 2
- 239000002131 composite material Substances 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 230000002194 synthesizing effect Effects 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000007792 addition Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000004904 shortening Methods 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
- B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C3/00—Measuring distances in line of sight; Optical rangefinders
- G01C3/02—Details
- G01C3/06—Use of electric means to obtain final indication
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
- G01S17/06—Systems determining position data of a target
- G01S17/08—Systems determining position data of a target for measuring distance only
- G01S17/10—Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
- G01S17/06—Systems determining position data of a target
- G01S17/08—Systems determining position data of a target for measuring distance only
- G01S17/10—Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves
- G01S17/18—Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves wherein range gates are used
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/481—Constructional features, e.g. arrangements of optical elements
- G01S7/4814—Constructional features, e.g. arrangements of optical elements of transmitters alone
- G01S7/4815—Constructional features, e.g. arrangements of optical elements of transmitters alone using multiple transmitters
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Electromagnetism (AREA)
- General Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Mechanical Engineering (AREA)
- Optical Radar Systems And Details Thereof (AREA)
- Measurement Of Optical Distance (AREA)
- Color Television Image Signal Generators (AREA)
- Studio Devices (AREA)
Description
赤色光を発光する赤色光源、緑色光を発光する緑色光源および青色光を発光する青色光源を備え、所定方向に所定の発光周期で各色光を出射するRGB光源部と、
ターゲット距離領域に応じて設定される撮像タイミングで前記ターゲット距離領域から帰ってくる反射光を撮像し、ターゲット距離領域の異なる複数の撮像画像を取得する画像取得部と、
前記各色光の発光周期および前記撮像タイミングを制御するタイミング制御部と、
前記各色光によりそれぞれ取得された撮像画像を合成してカラー画像を生成する画像処理部と、
を備えている。
上記に記載の車両用画像取得装置を備えている。
ゲート7aは、タイミングコントローラ9からの開閉指令信号に応じて開閉する。本実施形態では、ゲート7aの開放時間(ゲート時間)tGを、発光時間tLと同じ5nsとしている。ゲート時間tGは、領域1から領域nまでの全撮像領域における各領域(ターゲット距離領域)の撮像対象長さ(撮像対象深さ)に比例する。ゲート時間tGを長くするほど各領域の撮像対象長さは長くなる。撮像対象長さは、光速度×ゲート時間tGから求められ、本実施形態では、ゲート時間tG=5nsとしているため、撮像対象長さは、「光速度(約3×108m/s)×ゲート時間(5ns)」より、1.5mとなる。
イメージインテンシファイア7bは、極微弱な光(物体からの反射光等)を一旦電子に変換して電気的に増幅し、再度蛍光像に戻すことで光量を倍増してコントラストのついた像を見るためのデバイスである。イメージインテンシファイア7bにより増幅された光は高速度カメラ8のイメージセンサに導かれる。
撮像対象距離=光速度(約3×108m/s)×ディレイ時間tD/2 ・・・式(1)
距離画像データ生成部10aは、高速度カメラ8により撮像された全撮像領域の撮像画像における同一画素の輝度に基づいて、画素毎の物体(対象物)までの距離を表す距離画像データを生成し、生成した距離画像データを物体認識処理部3へ出力する。
また、カラー画像データ生成部10bは、RGB光源部5からの各色光の反射光を高速度カメラ8により撮像することで得られた色別の撮像画像を合成することによりカラー画像データを生成する。そして、カラー画像データ生成部10bは、生成したカラー画像データを物体認識処理部3へ出力する。
[画像取得作用]
タイミングコントローラ9は、高速度カメラ8により撮像される撮像画像が、所定のターゲット距離領域から帰ってくる反射光のタイミングとなるように、ディレイ時間tDを設定し、高速度カメラ8の撮像タイミングを制御する。ターゲット距離領域に物体が存在している場合、RGB光源部5から出射された光がターゲット距離領域から戻ってくる時間は、車両Vとターゲット距離領域との間の距離(撮像対象距離)を光が往復する時間となるため、ディレイ時間tDは、撮像対象距離と光速度から求めることができる。
このとき、本実施形態では、1つの物体からの反射光が連続する複数の撮像領域における撮像画像の画素に反映されるように、撮像領域の一部をオーバーラップさせている。すなわち、図4に示すように、撮像対象距離をB1→B2→B3→…と連続的に変化させながら撮像する際、撮像領域の撮像対象長さAよりも撮像対象距離の増加量(B2−B1)を短くすることで、撮像領域の一部がオーバーラップしながら変化するように撮像対象距離の増加量を設定している。
撮像領域の一部をオーバーラップさせることで、図5に示されるように、連続する複数の撮像画像における同一画素の輝度値は、徐々に増加し、各物体A〜Dの位置でピークとなった後は徐々に小さくなる三角波状の特性を示す。このように、1つの物体からの反射光が複数の撮像画像に含まれるようにすることで、画素の時間的な輝度変化が三角波状となるため、当該三角波状のピークと対応する撮像領域を当該画素における車両Vから各物体(被写体)A〜Dまでの距離とすることで、検出精度を高めることができる。
本実施例においては、図6(a)に示されるように、タイミングコントローラ9は、各ターゲット距離領域(例えば、領域1)ごとに各色光の発光周期を時間的に切り替えるように発光部5を制御する。すなわち、領域1を撮像する際には、タイミングコントローラ9は、まず赤色光源から赤色パルス光を所定の発光周期で発光させ、当該赤色パルス光の発光周期に応じた撮像タイミングで露光(ゲート開閉動作)を行う。すなわち、赤色パルス光の複数回の発光および露光を行い、赤色パルス光による領域1の撮像画像(1フレームあるいは数フレーム)を取得する。その後、一定の読出し期間が設けられ、タイミングコントローラ9は当該読出し期間内に、画像処理部10(距離画像データ生成部10aおよびカラー画像データ生成部10b)に対し、赤色パルス光による領域1の撮像画像の画像処理指令信号を出力する。次いで、タイミングコントローラ9は、緑色光源から緑色パルス光を所定の発光周期で発光させ、当該緑色光の発光周期に応じた撮像タイミングで露光を行う。その後、一定の読出し期間が設けられ、タイミングコントローラ9は当該読出し期間内に、画像処理部10に対し、緑色パルス光による領域1の撮像画像(1フレームあるいは数フレーム)の画像処理指令信号を出力する。次いで、タイミングコントローラ9は、青色光源から青色パルス光を所定の発光周期で発光させ、当該青色光の発光周期に応じた撮像タイミングで露光を行う。その後、一定の読出し期間が設けられ、タイミングコントローラ9は当該読出し期間内に、画像処理部10に対し、青色パルス光による領域1の撮像画像(1フレームあるいは数フレーム)の画像処理指令信号を出力する。
Claims (5)
- 車両に搭載された車両用画像取得装置であって、
赤色光を発光する赤色光源、緑色光を発光する緑色光源および青色光を発光する青色光源を備え、所定方向に所定の発光周期で各色光を出射するRGB光源部と、
ターゲット距離領域に応じて設定される撮像タイミングで前記ターゲット距離領域から帰ってくる反射光を撮像し、ターゲット距離領域の異なる複数の撮像画像を取得する画像取得部と、
前記各色光の発光周期および前記撮像タイミングを制御するタイミング制御部と、
前記複数の撮像画像から距離情報を取得するとともにカラー画像を生成する画像処理部と、を備え、
前記RGB光源部は、前記赤色光源からの前記赤色光の発光タイミングと、前記緑色光源からの前記緑色光の発光タイミングと、前記青色光源からの前記青色光の発光タイミングと、を互いに異ならせるようにして前記各色光を前記車両の外部に出射し、
前記画像処理部は、異なるタイミングで出射された前記各色光の反射光を撮像することによりそれぞれ取得された前記複数の撮像画像を合成して前記カラー画像を生成する、車両用画像取得装置。 - 前記タイミング制御部は、前記各色光の発光周期を時間的に切り替えて、前記各色光の発光周期に応じて前記撮像タイミングを制御する、請求項1に記載の車両用画像取得装置。
- 前記画像処理部は、前記各色光の反射光から取得される各ターゲット距離領域の撮像画像を演算処理することで、前記各色光に対する対象物の分光反射率を補正し、前記距離情報を取得する、請求項1または2に記載の車両用画像取得装置。
- 前記画像処理部は、前記各色光のうち前記対象物からの反射光強度が高い色の光の反射率により前記分光反射率を補正する、請求項3に記載の車両用画像取得装置。
- 請求項1から4のいずれか一項に記載の車両用画像取得装置を備えている、車両。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015248825 | 2015-12-21 | ||
JP2015248825 | 2015-12-21 | ||
PCT/JP2016/085813 WO2017110416A1 (ja) | 2015-12-21 | 2016-12-01 | 車両用画像取得装置、および車両用画像取得装置を備えた車両 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2017110416A1 JPWO2017110416A1 (ja) | 2018-10-04 |
JP6942637B2 true JP6942637B2 (ja) | 2021-09-29 |
Family
ID=59089394
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017557835A Active JP6942637B2 (ja) | 2015-12-21 | 2016-12-01 | 車両用画像取得装置、および車両用画像取得装置を備えた車両 |
Country Status (5)
Country | Link |
---|---|
US (1) | US10953813B2 (ja) |
EP (1) | EP3396947A4 (ja) |
JP (1) | JP6942637B2 (ja) |
CN (1) | CN108370435B (ja) |
WO (1) | WO2017110416A1 (ja) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020196378A1 (ja) * | 2019-03-26 | 2020-10-01 | パナソニックIpマネジメント株式会社 | 距離画像の取得方法、及び、距離検出装置 |
WO2021060397A1 (ja) * | 2019-09-26 | 2021-04-01 | 株式会社小糸製作所 | ゲーティングカメラ、自動車、車両用灯具、画像処理装置、画像処理方法 |
CN115136579B (zh) * | 2020-02-27 | 2023-08-04 | 株式会社富士 | 图像校正方法、拍摄装置及检查装置 |
CN111948669B (zh) * | 2020-08-11 | 2023-01-10 | 锐驰智光(苏州)科技有限公司 | 一种基于激光雷达的高光谱数据信息获取*** |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0865690A (ja) * | 1994-08-24 | 1996-03-08 | Sony Tektronix Corp | カラー静止画像撮影装置 |
KR100268048B1 (ko) | 1996-10-28 | 2000-11-01 | 고바야시 마사키 | 수중레이저영상장치 |
JPH10132932A (ja) * | 1996-10-28 | 1998-05-22 | Unyusho Daiichi Kowan Kensetsukyoku | 3原色水中レーザー視認装置 |
JP4530571B2 (ja) * | 2001-04-16 | 2010-08-25 | Hoya株式会社 | 3次元画像検出装置 |
JP5092613B2 (ja) * | 2007-08-06 | 2012-12-05 | 日産自動車株式会社 | 距離計測方法および装置、ならびに距離計測装置を備えた車両 |
JP2009257983A (ja) | 2008-04-18 | 2009-11-05 | Calsonic Kansei Corp | 車両用距離画像データ生成装置および車両用距離画像データの生成方法 |
CN101324749B (zh) | 2008-07-24 | 2010-07-28 | 上海交通大学 | 在纹理平面上进行投影显示的方法 |
JP2011136651A (ja) * | 2009-12-28 | 2011-07-14 | Koito Mfg Co Ltd | 車両用灯具システム |
US8681255B2 (en) * | 2010-09-28 | 2014-03-25 | Microsoft Corporation | Integrated low power depth camera and projection device |
CN102737389A (zh) * | 2011-04-13 | 2012-10-17 | 南京大学 | 一种针对颜色编码结构光扫描***的自适应反射率校正方法 |
US10912516B2 (en) * | 2015-12-07 | 2021-02-09 | Panasonic Corporation | Living body information measurement device, living body information measurement method, and storage medium storing program |
-
2016
- 2016-12-01 WO PCT/JP2016/085813 patent/WO2017110416A1/ja active Application Filing
- 2016-12-01 CN CN201680074554.3A patent/CN108370435B/zh active Active
- 2016-12-01 EP EP16878309.0A patent/EP3396947A4/en not_active Withdrawn
- 2016-12-01 JP JP2017557835A patent/JP6942637B2/ja active Active
- 2016-12-01 US US16/065,031 patent/US10953813B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
CN108370435B (zh) | 2020-12-29 |
US20190016274A1 (en) | 2019-01-17 |
WO2017110416A1 (ja) | 2017-06-29 |
EP3396947A1 (en) | 2018-10-31 |
US10953813B2 (en) | 2021-03-23 |
CN108370435A (zh) | 2018-08-03 |
JPWO2017110416A1 (ja) | 2018-10-04 |
EP3396947A4 (en) | 2019-08-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6851985B2 (ja) | 車両用画像取得装置、制御装置、車両用画像取得装置または制御装置を備えた車両および車両用画像取得方法 | |
JP6868570B2 (ja) | 車両用画像取得装置、制御装置、車両用画像取得装置または制御装置を備えた車両および車両用画像取得方法 | |
JP6766071B2 (ja) | 車両用画像取得装置およびそれを備えた車両 | |
JP6766072B2 (ja) | 車両用センサおよびそれを備えた車両 | |
JP7201592B2 (ja) | 車両の周囲を特徴付けるためのシステム | |
JP6942637B2 (ja) | 車両用画像取得装置、および車両用画像取得装置を備えた車両 | |
JP6851986B2 (ja) | 車両用画像取得装置、制御装置、車両用画像取得装置または制御装置を備えた車両および車両用画像取得方法 | |
WO2020175117A1 (ja) | 測距装置、測距方法、並びにプログラム | |
WO2020175118A1 (ja) | 測距装置、測距方法、並びにプログラム | |
WO2021060397A1 (ja) | ゲーティングカメラ、自動車、車両用灯具、画像処理装置、画像処理方法 | |
WO2021084891A1 (ja) | 移動量推定装置、移動量推定方法、移動量推定プログラム、及び移動量推定システム | |
WO2022163721A1 (ja) | ゲーティングカメラ、車両用センシングシステム、車両用灯具 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190924 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20201020 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20201216 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210608 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210726 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210817 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210908 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6942637 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |