JP2022036339A - センサフュージョンシステム、同期制御装置、及び同期制御方法 - Google Patents

センサフュージョンシステム、同期制御装置、及び同期制御方法 Download PDF

Info

Publication number
JP2022036339A
JP2022036339A JP2018193152A JP2018193152A JP2022036339A JP 2022036339 A JP2022036339 A JP 2022036339A JP 2018193152 A JP2018193152 A JP 2018193152A JP 2018193152 A JP2018193152 A JP 2018193152A JP 2022036339 A JP2022036339 A JP 2022036339A
Authority
JP
Japan
Prior art keywords
unit
light
light source
pixel
pixels
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2018193152A
Other languages
English (en)
Inventor
正剛 斉藤
Masatake Saito
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Semiconductor Solutions Corp
Original Assignee
Sony Semiconductor Solutions Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Semiconductor Solutions Corp filed Critical Sony Semiconductor Solutions Corp
Priority to JP2018193152A priority Critical patent/JP2022036339A/ja
Priority to EP19870087.4A priority patent/EP3865911B1/en
Priority to PCT/JP2019/038088 priority patent/WO2020075525A1/ja
Priority to US17/282,986 priority patent/US20210341616A1/en
Publication of JP2022036339A publication Critical patent/JP2022036339A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/02—Picture taking arrangements specially adapted for photogrammetry or photographic surveying, e.g. controlling overlapping of pictures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C15/00—Surveying instruments or accessories not provided for in groups G01C1/00 - G01C13/00
    • G01C15/002—Active optical surveying means
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3602—Input other than that of destination using image analysis, e.g. detection of road signs, lanes, buildings, real preceding vehicles using a camera
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G01S17/10—Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481—Constructional features, e.g. arrangements of optical elements
    • G01S7/4814—Constructional features, e.g. arrangements of optical elements of transmitters alone
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481—Constructional features, e.g. arrangements of optical elements
    • G01S7/4816—Constructional features, e.g. arrangements of optical elements of receivers alone
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481—Constructional features, e.g. arrangements of optical elements
    • G01S7/4817—Constructional features, e.g. arrangements of optical elements relating to scanning
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G01S7/4861—Circuits for detection, sampling, integration or read-out
    • G01S7/4863—Detector arrays, e.g. charge-transfer gates
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/53—Control of the integration time
    • H04N25/531—Control of the integration time by controlling rolling shutters in CMOS SSIS
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/767—Horizontal readout lines, multiplexers or registers

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Automation & Control Theory (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Measurement Of Optical Distance (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

【課題】測距装置と撮像装置とを同期させてフュージョン認識性能を向上させることができるようにする。【解決手段】光源部を含む光源モジュールと光源制御部と受光部とを備える測距装置と、画素部とAD変換部と露光制御部とを備える撮像装置と、光源部が所定の領域へ光を出射するタイミングと、所定の領域に対応する画素群が露光するタイミングとが同期するように、光源制御部と露光制御部とを制御する同期制御部とを具備するセンサフュージョンシステムが提供される。本開示は、例えば、ライダとイメージャとを同期させて使用するセンサフュージョンシステムに適用することができる。【選択図】図１０

Description

本開示は、センサフュージョンシステム、同期制御装置、及び同期制御方法に関し、特に、測距装置と撮像装置とを同期させてフュージョン認識性能を向上させたセンサフュージョンシステム、同期制御装置、及び同期制御方法に関する。
近年、様々な種類のセンサが普及しており、複数の種類のセンサを組み合わせた技術の開発も行われている（例えば、特許文献１参照）。
特開2015-212941号公報
ところで、複数の種類のセンサの組み合わせとして、測距装置と撮像装置との組み合わせがある。しかしながら、測距装置と撮像装置とを同期させてフュージョン認識性能を向上させるための技術の方式は確立されておらず、測距装置と撮像装置とを同期させるための技術が求められていた。
本開示はこのような状況に鑑みてなされたものであり、測距装置と撮像装置とを同期させてフュージョン認識性能を向上させることができるようにするものである。
本開示の一側面のセンサフュージョンシステムは、第１の方向に延びる光を出射する光源部と、前記第１の方向と直交する第２の方向へ前記光の出射方向を駆動する駆動部とを有する光源モジュールと、前記光源部が前記光を出射するタイミングを制御する光源制御部と、所定の受光範囲を有し、前記光源部から出射されて物体で反射された前記光を受光する受光部と、前記光源部が前記光を出射してから前記受光部が前記物体で反射された前記光を受光するまでの時間を計測する時間計測部と、計測した前記時間に基づいて、前記受光部又は前記光源モジュールから前記物体までの距離を算出する距離算出部とを備える測距装置と、２次元状に配置される複数の画素を有し、前記光源部が光を出射する出射範囲の少なくとも一部を含む撮像範囲を有する画素部と、前記第１の方向に並べて配置され、前記画素部にて前記第１の方向に並んだ画素群から出力された信号をAD変換するAD変換部と、前記複数の画素が前記第２の方向へ走査されるように前記複数の画素の露光を制御する露光制御部とを備える撮像装置と、前記光源部が所定の領域へ前記光を出射するタイミングと、前記所定の領域に対応する前記画素群が露光するタイミングとが同期するように、前記光源制御部と前記露光制御部とを制御する同期制御部とを具備するセンサフュージョンシステムである。
本開示の一側面のセンサフュージョンシステムにおいては、測距装置によって、第１の方向に延びる光を出射する光源部と第１の方向と直交する第２の方向へ光の出射方向を駆動する駆動部とを有する光源モジュールにおける光源部が光を出射するタイミングが制御され、所定の受光範囲を有して光源部から出射されて物体で反射された光が受光され、光源部が光を出射してから受光部が物体で反射された光を受光するまでの時間が計測され、計測された時間に基づいて、受光部又は光源モジュールから物体までの距離が算出される。また、撮像装置によって、第１の方向に並べて配置され、２次元状に配置される複数の画素を有し、光源部が光を出射する出射範囲の少なくとも一部を含む撮像範囲を有する画素部にて第１の方向に並んだ画素群から出力された信号がAD変換され、複数の画素が第２の方向へ走査されるように複数の画素の露光が制御される。そして、同期制御部によって、光源部が所定の領域へ光を出射するタイミングと、所定の領域に対応する画素群が露光するタイミングとが同期するように、光源制御部と露光制御部とが制御される。
本開示の一側面の同期制御装置は、測距装置と撮像装置との同期を制御する同期制御装置において、前記測距装置は、第１の方向に延びる光を出射する光源部と、前記第１の方向と直交する第２の方向へ前記光の出射方向を駆動する駆動部とを有する光源モジュールと、前記光源部が前記光を出射するタイミングを制御する光源制御部と、所定の受光範囲を有し、前記光源部から出射されて物体で反射された前記光を受光する受光部と、前記光源部が前記光を出射してから前記受光部が前記物体で反射された前記光を受光するまでの時間を計測する時間計測部と、計測した前記時間に基づいて、前記受光部又は前記光源モジュールから前記物体までの距離を算出する距離算出部とを備え、前記撮像装置は、２次元状に配置される複数の画素を有し、前記光源部が光を出射する出射範囲の少なくとも一部を含む撮像範囲を有する画素部と、前記第１の方向に並べて配置され、前記画素部にて前記第１の方向に並んだ画素群から出力された信号をAD変換するAD変換部と、前記複数の画素が前記第２の方向へ走査されるように前記複数の画素の露光を制御する露光制御部とを備え、前記光源部が所定の領域へ前記光を出射するタイミングと、前記所定の領域に対応する前記画素群が露光するタイミングとが同期するように、前記光源制御部と前記露光制御部とを制御する同期制御部を具備する同期制御装置である。
本開示の一側面の同期制御方法は、上述した本開示の一側面の同期制御装置に対応する同期制御方法である。
本開示の一側面の同期制御装置及び同期制御方法においては、光源部が所定の領域へ光を出射するタイミングと、所定の領域に対応する画素群が露光するタイミングとが同期するように、光源制御部と露光制御部とが制御される。
なお、測距装置、撮像装置、及び同期制御装置は、独立した装置であってもよいし、１つの装置を構成している内部ブロックであってもよい。
本開示に係る技術を適用したセンサフュージョンシステムの構成の例を示す図である。 測距装置による２次元スキャン方式の光源制御の第１の例を示す図である。 測距装置による２次元スキャン方式の光源制御の第２の例を示す図である。 測距装置による１次元スキャン方式の光源制御の例を示す図である。 １次元スキャン方式として往復方向スキャンで光源照射を行う場合の機構の例を示す図である。 １次元スキャン方式として往復方向スキャンで光源照射を行う場合の移動物体の伸縮の例を示す図である。 撮像装置におけるイメージセンサの構成の第１の例を示す図である。 撮像装置におけるイメージセンサの構成の第２の例を示す図である。 撮像装置におけるイメージセンサの構成の第３の例を示す図である。 本開示に係る技術を適用したセンサフュージョンシステムの詳細な構成の例を示す図である。 同期制御装置における設定レジスタ部による設定レジスタの例を示す図である。 設定レジスタの具体的な例を示す図である。 イメージセンサの画素部に配置された複数の画素における、レーザ受光部の受光面におけるレーザ光を受光する点群との関係の例を示す図である。 露光ライン数の設定の例を示す図である。 行並列ADC方式を用いたイメージセンサの構成の第１の例を示す図である。 行並列ADC方式を用いたイメージセンサの構成の第２の例を示す図である。 行並列ADC方式を用いたイメージセンサにおけるリセット成分と信号成分の読み出しの例を示すタイミングチャートである。 左から右方向へのスキャン時の露光タイミングの例を示すタイミングチャートである。 右から左方向へのスキャン時の露光タイミングの例を示すタイミングチャートである。 ブランキング期間を活かした時分割使用方式を用いた場合における露光タイミングの切り替えの第１の例を示すタイミングチャートである。 ブランキング期間を活かした時分割使用方式を用いた場合における露光タイミングの切り替えの第２の例を示すタイミングチャートである。 イメージセンサの画素部に配置された複数の画素に含まれる余剰画素の位置の例を示す図である。 空間分割使用方式を用いた異なるスキャン方向に対応した画像の同時並列撮像の例を示す図である。 空間分割使用方式を用いた場合における露光タイミングの切り替えの第１の例を示すタイミングチャートである。 空間分割使用方式を用いた場合における露光タイミングの切り替えの第２の例を示すタイミングチャートである。 余剰画素の使用の第１の例を示す図である。 余剰画素の使用の第２の例を示す図である。 車両制御システムの概略的な構成の一例を示すブロック図である。 車外情報検出部及び撮像部の設置位置の一例を示す説明図である。
以下、図面を参照しながら本開示に係る技術（本技術）の実施の形態について説明する。なお、説明は以下の順序で行うものとする。
１．本技術の実施の形態
２．変形例
３．移動体への応用例
＜１．本技術の実施の形態＞
（センサフュージョンシステムの構成）
図１は、本開示に係る技術を適用したセンサフュージョンシステムの構成の例を示す図である。
センサフュージョンシステム１は、測距装置１０と撮像装置２０とを同期させて、距離画像（距離情報）と撮像画像（２次元画像、以下、２Ｄ画像と記述する）とを融合した物体認識を行うことが可能なシステムである。
図１において、センサフュージョンシステム１は、測距装置１０、撮像装置２０、同期制御装置３０、及び画像フュージョン装置４０から構成される。また、センサフュージョンシステム１は、所定のインターフェースを介して物体認識装置２と接続される。
測距装置１０は、物体３に光を照射して距離を測定する装置である。例えば、測距装置１０は、ライダ（LiDAR：Light Detection and Ranging）などとして構成される。
測距装置１０は、同期制御装置３０からの同期信号及び設定情報に従い、光源部から出射される光を物体３に照射してその反射光を受光部により受光して、光を出射してから反射光を受光するまでの時間を計測することで、計測した時間に基づき、光源部又は受光部から物体３までの距離を算出する。測距装置１０は、算出した距離情報（距離画像）のデータを、画像フュージョン装置４０に出力する。
撮像装置２０は、物体３を撮像する装置である。例えば、撮像装置２０は、イメージセンサを有するイメージャ（Imager）などとして構成される。ここで、イメージセンサは、例えば、CMOS(Complementary Metal Oxide Semiconductor)イメージセンサやCCD(Charge Coupled Device)イメージセンサ、又は有機光電変換膜を用いたイメージセンサなど、光電変換素子を含む画素が２次元状に配置された画素部（画素アレイ部）やAD変換部などを有している。
撮像装置２０は、同期制御装置３０からの同期信号及び設定情報に従い、光学レンズ系を介して物体３からの入射光（像光）を取り込んで、イメージセンサの撮像面上に結像された入射光の光量を画素単位で電気信号に変換することで、２Ｄ画像を生成する。撮像装置２０は、２Ｄ画像のデータを、画像フュージョン装置４０に出力する。
同期制御装置３０は、測距装置１０の動作と撮像装置２０の動作との同期を制御する装置である。例えば、同期制御装置３０は、CPU(Central Processing Unit)、マイクロコンピュータ、FPGA(Field Programmable Gate Array)などを含んで構成される。
同期制御装置３０は、測距装置１０の光源が物体３の所定の領域に光を出射するタイミングと、撮像装置２０にて所定の領域に対応する画素群が露光するタイミングとが同期するための同期信号及び設定情報を生成し、測距装置１０と撮像装置２０にそれぞれ出力する。
画像フュージョン装置４０は、測距装置１０から出力される距離画像と、撮像装置２０から出力される２Ｄ画像とをフュージョンし、その結果得られるフュージョン情報（フュージョン画像）を、物体認識装置２に出力する。例えば、画像フュージョン装置４０は、CPUやGPU(Graphics Processing Unit)、マイクロコンピュータ、FPGAや各種のメモリなどを含んで構成される。
なお、物体認識装置２では、センサフュージョンシステム１（の画像フュージョン装置４０）から出力されるフュージョン情報に基づき、物体認識処理が行われ、物体３が認識される。例えば、センサフュージョンシステム１が車両に搭載される場合、当該車両の周辺に存在する物体３として、歩行者や他の車両、障害物などが認識される。
以上のように構成されるセンサフュージョンシステム１では、測距装置１０で得られる距離画像と、撮像装置２０で得られる２Ｄ画像とをフュージョンして物体認識処理を行っているが、その理由としては、例えば、次のような理由を挙げることができる。
すなわち、ライダ等の測距装置１０単体では、物体３までの距離情報（距離画像）を得ることができるが、その形状に関する情報を得ることはできない。また、測距装置１０で得られる距離画像は、撮像装置２０で得られる２Ｄ画像と比べてその解像度が低く、距離画像を用いた物体認識処理による認識性能は十分であるとは言い難い。
一方で、イメージャ等の撮像装置２０単体では、物体３の２Ｄ画像が得られるため、２次元の面内での物体３の形状を認識することができるが、奥行きに関する情報を得ることはできない。そのため、２Ｄ画像を用いた物体認識処理では、例えば写真の看板などを誤認識する可能性がある。
そこで、センサフュージョンシステム１においては、測距装置１０で得られる距離画像と、撮像装置２０で得られる２Ｄ画像とをフュージョンして、３次元での物体認識処理が行われるようにすることで、その認識性能（フュージョン認識性能）を向上させるようにしている。
その際に、距離画像と２Ｄ画像との同期がとれた状態でフュージョンしないと、時間ずれや位置ずれのために、３次元の認識性能を十分に向上させることができない。そこで、センサフュージョンシステム１では、測距装置１０と撮像装置２０との同期を通じて、３次元の認識性能が向上するようにする。
（測距装置のスキャン方式）
ここで、測距装置１０のスキャン方式としては、ビーム状の光を用いて測距対象空間内を走査する方式であるビームスキャン方式がある。
このビームスキャン方式には、２次元スキャン方式と１次元スキャン方式がある。２次元スキャン方式では、１点のレーザビームを使用して２次元方向にスキャンされる。１次元スキャン方式では、複数のレーザビームを直線状（１次元方向）に並べるか、又は１点のレーザビーム（単一の光源）を直線状に拡散することで１次元に照射し、直交する１次元方向にスキャンされる。
各スキャン軸には、速度と方向に関する属性がある。２次元スキャン方式においては、高速スキャン軸と低速スキャン軸という直交する２つのスキャン軸が存在し、各スキャン軸は片側方向スキャン又は往復方向スキャンのいずれかのスキャンパターンとなる。一方、１次元スキャン方式においては、低速スキャン軸のみが存在し、片側方向スキャン又は往復方向スキャンのいずれかのスキャンパターンとなる。
ただし、高速スキャン軸はレーザビームを高速にスキャンする方向軸であり、低速スキャン軸はレーザビームを低速にスキャンする方向軸であって、いずれのスキャン軸も水平方向の場合と垂直方向の場合が存在する。
また、片側方向スキャンは、対象スキャン軸に対して同一方向に固定でスキャンする方式である。一方で、往復方向スキャンは、対象スキャン軸に対して往復方向（一方の方向とその反対の方向）に交互にスキャンする方式である。
ここで、図２ないし図４を参照して、測距装置１０におけるスキャン方式の具体的な例を説明する。
図２，図３は、ビームスキャン方式における２次元スキャン方式の例を示している。図２は、２次元スキャン方式における高速スキャン軸が片側方向スキャンの例として、垂直方向の高速スキャン軸が上から下方向に固定されている。このとき、水平方向の低速スキャン軸は、左から右方向又は右から左方向のどちらかにスキャン方向を固定した場合と、フレーム毎にスキャン方向を反転した場合を示している。また、図３は、２次元スキャン方式における高速スキャン軸が往復方向スキャンの例として、垂直方向の高速スキャン軸が上から下方向と下から上方向に交互に反転する。このとき、水平方向の低速スキャン軸は、左から右方向又は右から左方向のどちらかにスキャン方向を固定した場合と、フレーム毎にスキャン方向を反転した場合を示している。
図４は、ビームスキャン方式における１次元スキャン方式の例を示している。図４においては、１次元スキャン方式における低速スキャン軸が片側方向スキャンの例として、水平方向の低速スキャン軸は、左から右方向又は右から左方向からのどちらかにスキャン方向を固定した場合を示している。また、図４においては、１次元スキャン方式における低速スキャン軸が往復方向スキャンの例として、水平方向の低速スキャン軸はフレーム毎にスキャン方向を反転した場合を示している。
ここで、図５，図６を参照して、ビームスキャン方式の１次元スキャン方式において、低速スキャン軸が水平方向の往復方向スキャンによって光源照射を行う場合の構成の例として、図５に示した光源モジュールを用いた構成を説明する。図５の光源モジュールは、光源部１６１、１軸ガルバノミラー１６２、及び拡散レンズ１６３を含む。
図５において、光源部１６１から出射されたレーザ光は、１軸ガルバノミラー１６２により反射されることで水平方向に走査され、拡散レンズ１６３に入射される。拡散レンズ１６３では、１軸ガルバノミラー１６２によって水平方向に走査されたレーザ光が、垂直方向に拡散されることで、１軸ガルバノミラー１６２による往復揺動スキャンがなされる。
このように、測距装置１０においては、１軸ガルバノミラー１６２等を含む光源モジュールを用いることで、各フレーム内を、左から右方向への第１の方向と、右から左方向への第２の方向（第１の方向と反対の向きの方向）のように、交互に往復スキャンすることができる。ここで、図６には、１軸ガルバノミラー１６２等を含む光源モジュールを用い、フレーム毎にスキャン方向を反転させた場合における距離画像内の移動物体（移動する物体３）の伸縮の様子を示している。
図６において、左から右方向へのスキャン（以下、左－右スキャンとも記述する）が行われるフレームでは、図中の正方形の格子状の模様を含む物体３が矢印Ａ１の方向に移動している場合、その画像中央の縦線に対する画像左側と画像右側の縦線の間隔が縮んでいる。すなわち、この場合、左－右スキャンの方向と矢印Ａ１の方向とは反対の方向であり、スキャン方向と反対方向に移動する物体３は縮むと言える。
一方で、右から左方向へのスキャン（以下、右－左スキャンとも記述する）が行われるフレームでは、図中の正方形の格子状の模様を含む物体３が矢印Ａ２の方向に移動している場合、その画像中央の縦線に対する画像左側と画像右側の縦線の間隔が伸びている。すなわち、この場合、右－左スキャンの方向と矢印Ａ２の方向とは同一の方向であり、スキャン方向と同一の方向に移動する物体３は伸びると言える。
なお、ここでは、ビームスキャン方式の１次元スキャン方式において、往復方向スキャンによって光源照射を行う場合の構成として、１軸ガルバノミラー１６２等を含む光源モジュールの構成の例を示したが、１次元スキャン方式において、片側方向スキャンによって光源照射を行う場合には、例えば、１軸ポリゴンミラーを含む光源モジュールを用いることができる。
また、ビームスキャン方式の２次元スキャン方式において、往復方向スキャンによって光源照射を行う場合には、例えば、２軸ガルバノミラーを含む光源モジュールを用い、片側方向スキャンによって光源照射を行う場合には、例えば、２軸ポリゴンミラーを含む光源モジュールを用いることができる。
以上のように、測距装置１０のスキャン方式としては様々な方式があるが、本開示では、ビームスキャン方式における１次元スキャン方式として、水平方向の往復方向スキャンを採用した場合を一例に説明する。以下の説明では、このスキャン方式を採用した測距装置１０のことを、特に、水平方向の往復スキャン型の測距装置１０とも称する。なお、本開示に係る技術の手法は、水平方向の往復スキャン型のみならず、他の光源照射方式の測距装置１０にも適用可能である。また、本開示においては、「フレーム」と「フィールド」を区別せずに、「フレーム」の表記に統一して説明しているが、「フレーム」の代わりに、「フィールド」が用いられる場合がある。特に、測距装置１０のスキャン方式として往復方向スキャンが行われる場合には、「フレーム」を、「フィールド」と称することが多い。
（撮像装置のイメージセンサの構成）
ところで、撮像装置２０に搭載されるイメージセンサ２１１としては、その露光タイミングを、測距装置１０に同期させるために、例えば、図７ないし図９に示すようなADC(Analog to Digital Converter)部２２２の構成を採用することが想定される。
図７は、列並列ADC方式を採用したADC部２２２を有するイメージセンサ２１１の構成の例を示している。
図７において、イメージセンサ２１１では、画素部２２１に２次元状に配置された複数の画素２３１による光電変換で得られる信号値が、垂直信号線を介して列並列ADC部２２２Ａにそれぞれ入力され、画素部２２１の列方向でADCを並列処理する。なお、列並列ADC方式を採用した場合、画素部２２１の行方向については、時分割で処理する。
ここで、列並列ADC方式においては、画素部２２１の行方向にADCを時分割で共有するため、露光タイミングは、行毎にしか制御できない。そのため、撮像装置２０において、イメージセンサ２１１で列並列ADC方式を採用できるのは、同期の対象となる測距装置１０が、その光源照射方式として、ビームスキャン方式で、かつ、低速スキャン軸が垂直方向となる場合が該当する。
図８は、行並列ADC方式を採用したADC部２２２を有するイメージセンサ２１１の構成の例を示している。
図８において、イメージセンサ２１１では、画素部２２１に２次元状に配置された複数の画素２３１による光電変換で得られる信号値が、水平信号線を介して行並列ADC部２２２Ｂにそれぞれ入力され、画素部２２１の行方向でADCを並列処理する。なお、行並列ADC方式を採用した場合、画素部２２１の列方向については、時分割で処理する。
ここで、行並列ADC方式においては、画素部２２１の列方向にADCを時分割で共有するため、露光タイミングは、列毎にしか制御できない。そのため、撮像装置２０において、イメージセンサ２１１で行並列ADC方式を採用できるのは、同期の対象となる測距装置１０が、その光源照射方式として、ビームスキャン方式で、かつ、低速スキャン軸が水平方向となる場合が該当する。
図９は、画素並列ADC方式を採用したADC部２２２を有するイメージセンサ２１１の構成の例を示している。
図９において、イメージセンサ２１１では、画素部２２１に配置された画素２３１に対応したADC部を２次元状に配置した画素並列ADC部２２２Ｃを設けることで、各画素２３１による光電変換で得られる信号値が、信号線を介して画素２３１毎に設けられたADC部にそれぞれ入力され、画素部２２１の各画素毎にADCを並列処理する。
このように、画素並列ADC方式においては、AD変換時の参照電圧用のDAC(Digital to Analog Converter)を共有している場合、露光のタイミングをフレーム毎にしか制御できない。そのため、撮像装置２０において、イメージセンサ２１１で画素並列ADC方式を採用できるのは、同期の対象となる測距装置１０が、その光源照射方式として、フラッシュ方式となる場合が該当する。
なお、イメージセンサ２１１において、グローバルシャッタ方式での露光が行われる場合には、同一のタイミングで、すべての画素２３１をAD変換するため、DACを共通化することができる。また、フラッシュ方式は、測距装置１０において、レーザ光を測距対象空間に対して広範囲に拡散照射する方式である。
以上のように、測距装置１０側のレーザ光原の照射方式により、撮像装置２０側で対応可能な同期手法は異なるが、本開示では、同期の対象となる測距装置１０のスキャン方式として、ビームスキャン方式における１次元スキャン方式の水平方向の往復方向スキャンを採用した場合を一例に説明するため、撮像装置２０のADC方式としては、行並列ADC方式を採用して、ローリングシャッタ方式での露光が行われるようにした場合を一例に説明する。以下の説明では、この方式を採用した撮像装置２０のことを、特に、行並列ADC方式の撮像装置２０とも称する。なお、本開示に係る技術の手法は、行並列ADC方式のみならず、他のADC方式の撮像装置２０にも適用可能である。
（センサフュージョンシステムの詳細な構成）
図１０は、本開示に係る技術を適用したセンサフュージョンシステムの詳細な構成の例を示す図である。
図１０のセンサフュージョンシステム１は、水平方向の往復スキャン型の測距装置１０と、行並列ADC方式の撮像装置２０と、タイミングジェネレータ３０Ａ及び設定レジスタ部３０Ｂと、画像フュージョン装置４０とを含む。なお、タイミングジェネレータ３０Ａ及び設定レジスタ部３０Ｂは、同期制御装置３０（図１）に含まれる。
タイミングジェネレータ３０Ａは、タイミングの基準となる共通のクロックと同期信号を生成し、測距装置１０と撮像装置２０にそれぞれ供給する。この同期信号としては、例えば、フレーム同期信号（Fsync）、垂直同期信号（Vsync）、及び水平同期信号（Hsync）を含む。
設定レジスタ部３０Ｂは、各種の設定レジスタ（設定情報）を保持し、測距装置１０と撮像装置２０にそれぞれ供給する。この設定レジスタとしては、例えば、同期タイミング制御に関するパラメータ（例えば、レーザ照射制御用や露光タイミング制御用の各種パラメータ）を含む。
測距装置１０は、タイミング制御された距離画像を生成（取得）する。測距装置１０は、レーザ光源部１１１、レジスタ１１２、レーザドライバ１１３、レーザ受光部１１４、及び信号処理部１１５などを含んで構成される。
なお、レーザ光源部１１１は、例えば、図５に示した１軸ガルバノミラー１６２等を含む光源モジュールとして構成される。また、レーザ受光部１１４は、SPAD(Single Photon Avalanche Diode)部１２１、TDC(Time to Digital Converter)部１２２、及びフレームメモリ１２３などから構成される。
レジスタ１１２は、例えばレーザ照射制御用のパラメータや、距離画像に対する信号処理用のパラメータなどの各種のパラメータを保持する。より具体的には、例えば、測距装置１０がライダ（LiDAR）である場合、レジスタ１１２には、全体仮想領域に対するライダの有効領域を示す一連の設定レジスタ群（Voffset_lidar，Vsize_lidar，Vstep_lidar，Hoffset_lidar，Hsize_lidar，Hstep_lidar）等の設定レジスタ部３０Ｂから供給される設定レジスタ（設定情報）が保持される。
レーザドライバ１１３は、レジスタ１１２から取得したレーザ照射制御用のパラメータ、及びタイミングジェネレータ３０Ａからの同期信号に基づいて、レーザ光源部１１１により照射されるレーザ光の照射の方向とタイミングを制御する。
レーザ光源部１１１は、レーザドライバ１１３からの制御に従い、レーザ光を出射してレンズ１０１を介して物体３に照射する。そして、レーザ光源部１１１から出射されたレーザ光は、物体３で反射され、その反射光が、レンズ１０２を介してレーザ受光部１１４により受光される。
レーザ受光部１１４において、SPAD部１２１では、SPADによって物体３からの反射光が受光されて電気的なパルスに変換され、その信号値がTDC部１２２により計測される。ここで、長距離物体からのレーザ反射光は微弱であり、１回の計測で安定した測距結果を得ることは難しいため、各点毎に複数回計測を行い、信号処理により測距結果を安定化させる手法がある。計測された信号値は、フレームメモリ１２３により点群内の各点の計測データ及び各点間のタイミングのずれが吸収され、フレーム単位で信号処理部１１５に供給される。
信号処理部１１５は、レジスタ１１２から取得した距離画像に対する信号処理用のパラメータに基づいて、レーザ受光部１１４からフレーム単位で入力される信号値に対する距離画像信号処理を行う。この距離画像信号処理では、例えば、TDC部１２２により計測された信号値（時間）に基づき、レーザ受光部１１４又はレーザ光源部１１１から物体３までの距離が算出され、距離画像（距離情報）が生成される。信号処理部１１５は、生成した距離画像を、画像フュージョン装置４０に出力する。
撮像装置２０は、タイミング制御された２Ｄ画像を生成（取得）する。撮像装置２０は、イメージセンサ２１１、レジスタ２１２、ラインドライバ２１３、及び信号処理部２１４などを含んで構成される。また、イメージセンサ２１１は、画素部２２１、行並列AD変換部２２２、及びフレームメモリ２２３などから構成される。
レジスタ２１２は、例えば露光タイミング制御用のパラメータや、２Ｄ画像に対する信号処理用のパラメータなどの各種のパラメータを保持する。より具体的には、例えば、撮像装置２０がイメージャ（Imager）である場合、レジスタ２１２には、全体仮想領域に対するイメージャの有効領域を示す一連の設定レジスタ群（Voffset_imager，Vsize_imager，Vstep_imager，Hoffset_imager，Hsize_imager，Hstep_imager）や露光ライン数等の設定レジスタ部３０Ｂから供給される設定レジスタ（設定情報）が保持される。
ラインドライバ２１３は、レジスタ２１２から取得した露光タイミング制御用のパラメータ、及びタイミングジェネレータ３０Ａからの同期信号に基づいて、イメージセンサ２１１の画素部２２１の各ラインの露光タイミング制御信号を生成し、画素部２２１（に配置された各画素２３１）に供給する。
なお、行並列ADC方式の撮像装置２０では、イメージセンサ２１１にて、行並列AD変換部２２２が設けられるため、ラインドライバ２１３によって、画素部２２１に配置された複数の画素２３１の露光タイミングを列毎に制御して、ローリングシャッタ方式での露光が行われるようにしている。そのため、ラインドライバ２１３から画素部２２１への制御線は、垂直方向（画素部２２１における列方向）に配置される。
イメージセンサ２１１において、画素部２２１では、ラインドライバ２１３からの露光タイミング制御信号に従い、２次元状に配置された各画素２３１が露光されて光電変換素子により光電変換され、行並列AD変換部２２２により行方向でADCが並列処理され、デジタル信号の信号値が得られる。この信号値は、フレームメモリ２２３により画素間の読み出しタイミングのずれが吸収され、フレーム単位で信号処理部２１４に供給される。
信号処理部２１４は、レジスタ２１２から取得した２Ｄ画像信号に対する処理用のパラメータに基づいて、イメージセンサ２１１からフレーム単位で入力される信号値に対する２Ｄ画像信号処理を行う。この２Ｄ画像信号処理で得られる２Ｄ画像は、画像フュージョン装置４０に出力される。
画像フュージョン装置４０には、測距装置１０からの距離画像と、撮像装置２０からの２Ｄ画像とが同期して入力される。画像フュージョン装置４０は、距離画像と２Ｄ画像とをフュージョンし、その結果得られるフュージョン画像を、物体認識装置２（図１）に出力する。
（設定レジスタの例）
次に、図１１ないし図１４を参照して、設定レジスタの詳細について説明する。
図１１は、設定レジスタ部３０Ｂによって、測距装置１０のレジスタ１１２と、撮像装置２０のレジスタ２１２にそれぞれ設定される同期タイミング制御に関するパラメータの例を示している。
全体仮想領域には、Imager有効領域と、LiDAR有効領域を内包する仮想領域を設定する。この全体仮想領域は、垂直方向と水平方向の大きさとして、例えばVsize_whole，Hsize_wholeにより設定される。
LiDAR有効領域は、測距装置１０がライダ（LiDAR）である場合における有効な領域を表している。LiDAR有効領域は、全体仮想領域内におけるLiDAR有効領域の位置と大きさを設定する。このLiDAR有効領域は、垂直方向と水平方向の位置と大きさとして、例えばVoffset_lidar，Hoffset_lidar，Vsize_lidar，Hsize_lidarにより設定される。
LiDAR点群間隔は、LiDAR点群内の各点の間隔を、全体仮想領域の座標系を基準に設定する。このLiDAR点群間隔は、垂直方向と水平方向の間隔として、例えばVstep_lidar，Hstep_lidarにより設定される。なお、LiDAR点群は、レーザ受光部１１４（のSPAD部１２１）にて物体３からの反射光を受光する点群である。
Imager有効領域は、撮像装置２０がイメージャ（Imager）である場合における有効な領域を表している。Imager有効領域は、全体仮想領域内におけるImager有効領域の位置と大きさを設定する。このImager有効領域は、水平方向と垂直方向の位置と大きさとして、例えばVoffset_imager，Hoffset_imager，Vsize_imager，Hsize_imagerにより設定される。
Imager画素間隔は、画素２３１間の間隔を、全体仮想領域の座標系を基準に設定する。このImager画素間隔は、垂直方向と水平方向の間隔として、例えばVstep_imager，Hstep_imagerにより設定される。
図１２は、測距装置１０と撮像装置２０が異なる有効領域を有する場合における同期タイミング制御系の設定レジスタの設定値の例を示している。
図１２において、測距装置１０のLiDAR有効領域は、有効点群数が垂直方向と水平方向で、Vnum_lidar = 64，Hnum_lidar = 1280に設定される一方で、撮像装置２０のImager有効領域は、有効画素数が垂直方向と水平方向で、Vnum_imager = 1080，Hnum_imager = 1920に設定される。この場合、撮像装置２０の有効画素間隔がVstep_imager = 1，Hstep_imager = 1となるときに測距装置１０の有効点群間隔は、Vstep_lidar = 8，Hstep_lidar = 2となる（図１３）。
すなわち、図１２の例では、Imager有効領域が、Vsize_imager = 1080，Hsize_imager = 1920に設定されるとき、LiDAR有効領域は、Vsize_lidar = 512(64×8)，Hsize_lidar = 2560(1280×2)に設定される。また、全体仮想領域は、LiDAR有効領域とImager有効領域を内包するように適宜設定され、図１２の例では、Vsize_whole = 1080，Hsize_whole = 2700に設定される。
さらに、図１２の例では、LiDAR有効領域として、Voffset_lidar = 284，Hoffset_lidar = 70が設定され、Imager有効領域として、Voffset_imager = 0，Hoffset_imager = 390が設定される。
ここで、図１４に示すように、所定の列において、測距装置１０（のレーザ光源部１１１）によるレーザ光の発光期間Ｔ１よりも、撮像装置２０（のイメージセンサ２１１）による露光期間Ｔ２のほうが通常は長くなる。その場合、露光期間Ｔ２の中心Ｃが、発光期間Ｔ１内となるように設定することができる。これにより、測距装置１０と撮像装置２０との同期の精度をさらに向上させることができる。なお、撮像装置２０の露光期間の設定は、例えば露光ライン数のパラメータにより設定可能となる。
この所定の列は、LiDAR有効領域とImager有効領域とが重なる領域（例えば領域Ａ）内において、測距装置１０のレーザ光源部１１１から出射されたレーザ光に対応する列であって、撮像装置２０のイメージセンサ２１１における画素部２２１に配置された複数の画素２３１の中の露光された画素群に対応する領域に含まれる。
（測距装置と撮像装置の同期の例）
次に、図１５ないし図２５を参照して、水平方向の往復スキャン型の測距装置１０と、行並列ADC方式の撮像装置２０との同期の詳細について説明する。
撮像装置２０において、イメージセンサ２１１では、画素部２２１に２次元状に配置された複数の画素２３１がローリングシャッタ方式により列毎に露光され、各画素２３１の光電変換素子により光電変換された信号値に対し、行並列AD変換部２２２により行方向でADCの並列処理がなされることで、アナログ信号からデジタル信号に変換される。
ここで、行並列ADC方式の構成としては、画素部２２１に対して、行並列AD変換部２２２を片側に設けた片側ADC構成（図１５）や、行並列AD変換部２２２－１，２２２－２を両側に設けた両側ADC構成（図１６）などがある。ここで、ローリングシャッタ方式では異なるライン間でADCを時分割で共有するため、ADCの数が少ないとスループットが低下してしまうが、例えば、両側ADC構成などを用いてADCの並列度を増すことで、スループットの低下を抑制することが可能となる。
図１５に示すように、片側ADC構成を用いた場合、画素部２２１に配置されたすべての列の画素２３１に対し、片側の行並列AD変換部２２２によって行方向でADCが並列処理される。一方で、図１６に示すように、両側ADC構成を用いた場合、画素部２２１に配置された複数の画素２３１のうち、第１の列（例えば偶数列）の画素２３１は、一方の行並列AD変換部２２２－１によって行方向でADCが並列処理され、第１の列を除いた第２の列（例えば奇数列）の画素２３１は、他方のAD変換部２２２－２によって行方向でADCが並列処理される。
また、行並列ADC方式では、画素部２２１に配置された複数の画素２３１が、列方向にADCを共有するため、異なる列間でADCを同時に使用することはできない。すなわち、図１７のタイミングチャートに示すように、行並列ADC方式では、画素部２２１の各列において、各画素２３１のAD変換を行う際には列毎に時分割の排他制御が必要になる。
なお、図１７に示すように、行並列AD変換部２２２では、各画素２３１のリセット成分と信号成分を順に読み出して、それぞれをAD変換し、信号成分からリセット成分を差し引くことで、相関二重サンプリング（CDS：Correlated Double Sample）の動作が行われ、kTCノイズがキャンセルされる。
ここで、行並列ADC方式の撮像装置２０が、水平方向の往復スキャン型の測距装置１０と同期する場合において、フレーム間のブランキング期間が蓄積時間よりも短い場合、左－右スキャン時と右－左スキャン時において、画素２３１毎の露光のタイミングが一部で重なるため、同一の画素２３１を、往復スキャン時に連続して使用することができない。
具体的には、図１８は、左－右スキャンにスキャン方向を固定した測距装置１０と同期する行並列ADC方式の撮像装置２０における露光タイミングのタイミングチャートを示している。一方で、図１９は、右－左スキャンにスキャン方向を固定した測距装置１０と同期する行並列ADC方式の撮像装置２０における露光タイミングのタイミングチャートを示している。ただし、図１８及び図１９のタイミングチャートにおいては、いずれもフレーム間のブランキング期間がない場合を図示している。また、このブランキング期間（Hoffset_L_imager：左側ブランキング期間，Hoffset_R_imager：右側ブランキング期間）は、Hoffset_L_imager = Hoffset_imager，Hoffset_R_imager = Hsize_whole - (Hoffset_imager + Hsize_imager)により表され、設定レジスタにより任意のライン数を設定可能である。
図１８及び図１９のタイミングチャートは、２Ｄ画像の画像フレームとして、時間的に連続した1stフレームと2ndフレームの撮像（生成）時における画素部２２１の任意の行における各列Column[0]～[m]（図１５又は図１６）の画素２３１のシャッタ動作時の電荷の排出と、リード動作時の信号の読み出しのタイミングを示している。ここでは、各画素２３１において、シャッタ動作が行われてからリード動作が行われるまでの時間が、電荷の蓄積時間となる（図中の右方向の矢印）。
図１８では、測距装置１０において左から右方向へのスキャンが行われているため、任意の行における各列Column[0]～[m]の画素２３１に対応して、シャッタ動作や読み出し動作を表す四角が、右斜め下方向に向かって列番号の昇順に連続している。一方で、図１９では、測距装置１０において右から左方向へのスキャンが行われているため、任意の行における各列Column[m]～[0]の画素２３１に対応して、シャッタ動作や読み出し動作を表す四角が、右斜め上方向に向かって列番号の降順に連続している。
ここで、図１８及び図１９において、任意の行の左端列Column[0]の画素２３１における1stフレームと2ndフレームの境界付近に注目すれば、図１９の1stフレームにおいて右－左スキャンの最後列である左端列Column[0]の蓄積時間Ａ１２と、図１８の2ndフレームにおいて左－右スキャンの最前列である左端列Column[0]の蓄積時間Ａ１１とが重なっている。そのため、画素部２２１において、同一の画素２３１（任意の行の左端列Column[0]の画素２３１）を、往復スキャン時に連続して使用することはできない。
そこで、本開示に係る技術では、水平方向の往復スキャン型の測距装置１０と、行並列ADC方式の撮像装置２０との同期を行うに際して、時分割使用方式と空間分割使用方式の２方式を提案する。
（時分割使用方式）
まず、図２０及び図２１を参照して、時分割使用方式について説明する。
時分割使用方式は、左－右スキャン時と右－左スキャン時とで、露光のタイミングを切り替える方式である。ここでは、例えば、図１１に示したように、LiDAR有効領域とImager有効領域とは水平方向のサイズ（例えば、Hsize_lidar = 2560，Hsize_imager = 1920）が異なるため、時分割使用方式では、そのブランキング期間（例えば、Hoffset_imager = 390）を利用して左右端列の画素２３１においても蓄積時間を確保するようにする。
図２０のタイミングチャートは、２Ｄ画像の画像フレームとして、時間的に連続した1stフレームと2ndフレームと3rdフレームの撮像（生成）時における画素部２２１の任意の行（の各列Column[0]～[m]）の画素２３１における、シャッタ動作時の電荷の排出と、リード動作時の信号の読み出しのタイミングを示している。
図２０において、1stフレームと3rdフレームでは、測距装置１０において左から右方向へのスキャンが行われているため、任意の行における各列Column[0]～[m]の画素２３１に対応して、シャッタ動作と読み出し動作を表す四角が、右斜め下方向に向かって列番号の昇順に連続している。一方で、2ndフレームでは、測距装置１０において右から左方向へのスキャンが行われているため、任意の行における各列Column[m]～[0]の画素２３１に対応して、シャッタ動作と読み出し動作を表す四角が、右斜め上に向かって列番号の降順に連続している。
ここで、各フレームのスキャンフレームのうち、Hsize_imagerを除いたHoffset_imager（Hoffset_R_imager：右側ブランキング期間，Hoffset_L_imager：左側ブランキング期間）の領域に注目すれば、蓄積時間に対してHoffset_imagerの期間（ブランキング期間）が十分に長く、スキャン方向の折り返し時に前後のフレームでの蓄積時間が重ならない場合には、同一の画素２３１を、往復スキャン時に連続して使用することが可能となる。
すなわち、図２０において、任意の行の右端列Column[m]の画素２３１における1stフレームと2ndフレームの境界付近に注目すれば、1stフレームにおいて左－右スキャンの最後列である右端列Column[m]の蓄積時間Ａ２１と、2ndフレームにおいて右－左スキャンの最前列である右端列Column[m]の蓄積時間Ａ２２とは重なっていないため、右端列Column[m]の画素２３１を、往復スキャン時に連続して使用可能である。このとき、蓄積時間に対して、左－右スキャン時に生じる1stフレームの右側ブランキング期間と、それに続く右－左スキャン時に生じる2ndフレームの右側の右側ブランキング期間に相当する時間が十分に長ければ（所定の期間以上であれば）、スキャン方向の折り返し時に1stフレームと2ndフレームでの蓄積時間は重ならない。
また、図２０において、任意の行の左端列Column[0]の画素２３１における2ndフレームと3rdフレームの境界付近に注目すれば、2ndフレームにおいて右－左スキャンの最後列である左端列Column[0]の蓄積時間Ａ２３と、3rdフレームにおいて左－右スキャンの最前列である左端列Column[0]の蓄積時間Ａ２４とは重なっていないため、左端列Column[0]の画素２３１を、往復スキャン時に連続して使用可能である。このとき、蓄積時間に対して、右－左スキャン時に生じる2ndフレームの左側ブランキング時間と、それに続く左－右スキャン時に生じる3rdフレームの左側ブランキング期間に相当する時間が十分に長ければ（所定の期間以上であれば）、スキャン方向の折り返し時に2ndフレームと3rdフレームでの蓄積時間は重ならない。
なお、図２０の例において、左側ブランキング期間は、Hoffset_L_imager = Hoffset_imagerの関係を有する。また、右側ブランキング期間は、Hoffset_R_imager = Hsize_whole - (Hoffset_imager + Hsize_imager)の関係を有する。
また、図２０の例では、測距装置１０の測距タイミング（不図示）に、撮像装置２０の読み出しタイミングを同期させる例として、時間位相を調整していない場合を示したが、実際には、撮像装置２０の蓄積時間は読み出し時刻に対して過去方向に伸びているため、測距装置１０の測距タイミングに撮像装置２０の読み出しタイミングを合わせてしまうと、測距装置１０に対して撮像装置２０の時間位相が過去方向にずれてしまう。そこで、図２１には、時間位相の調整を行った場合の例を示している。
図２１の例では、図２０の例と比べて、測距装置１０による測距タイミング相当を点線の四角により表している。そして、図２１の例では、この測距タイミングに、撮像装置２０の時間位相が合うように、シャッタ動作時の電荷の排出と、リード動作時の信号の読み出しのタイミングを調整する。ここでは、撮像装置２０において、例えば、電荷の排出と信号の読み出しのタイミングを蓄積時間の半分（略半分）に相当する時間だけ遅れるように制御することで、測距装置１０による測距タイミングに撮像装置２０の蓄積時間の中央が合うように時間位相の調整を行うことができる。この調整により、測距装置１０と撮像装置２０との同期の精度をさらに向上させることができる。
すなわち、図２１において、任意の行の右端列Column[m]の画素２３１における1stフレームと2ndフレームの境界付近に注目すれば、1stフレームにおいて左－右スキャンの最後列である右端列Column[m]の蓄積時間Ａ３１と、2ndフレームにおいて右－左スキャンの最前列である右端列Column[m]の蓄積時間Ａ３２とは重なっていないため、右端列Column[m]の画素２３１を、往復スキャン時に連続して使用可能である。また、ここでは、蓄積時間に対して、1stフレームの右側ブランキング期間と2ndフレームの右側ブランキング期間に相当する時間が十分に長く（所定の期間以上であり）、さらに、電荷の排出と信号の読み出しのタイミングが、蓄積時間の略半分に相当する時間だけ遅らされている。これにより、測距装置１０による測距タイミングに対して、撮像装置２０の蓄積時間の中央が合うように時間位相が調整されている。
また、図２１において、任意の行の左端列Column[0]の画素２３１における2ndフレームと3rdフレームの境界付近に注目すれば、2ndフレームにおいて右－左スキャンの最後列である左端列Column[0]の蓄積時間Ａ３３と、3rdフレームにおいて左－右スキャンの最前列である左端列Column[0]の蓄積時間Ａ３４とは重なっていないため、左端列Column[0]の画素２３１を、往復スキャン時に連続して使用可能である。また、ここでは、蓄積時間に対して、2ndフレームの左側ブランキング期間と3rdフレームの左側ブランキング期間に相当する時間が十分に長く（所定の期間以上であり）、さらに、電荷の排出と信号の読み出しのタイミングが、蓄積時間の略半分に相当する時間だけ遅らされているため、測距装置１０による測距タイミングに対して撮像装置２０の蓄積時間の中央が合っている。
以上のように、時分割使用方式を用いることで、水平方向の往復スキャン型の測距装置１０と、行並列ADC方式の撮像装置２０との同期を行うに際して、測距装置１０による往復スキャン時に、撮像装置２０においてイメージセンサ２１１の画素部２２１に配置された任意の画素２３１（例えば、任意の行の左端列Column[0]又は右端列Column[m]の画素２３１）を連続して使用することができる。このとき、撮像装置２０においては、測距装置１０による測距タイミングに対して、撮像装置２０の蓄積時間の中央が合うように時間位相が調整されていることが望ましい。
（空間分割使用方式）
次に、図２２ないし図２５を参照して、空間分割使用方式について説明する。
空間分割使用方式は、画素部２２１に配置される複数の画素２３１を、左－右スキャン用の画素と、右－左スキャン用の画素に空間分割して、スキャン方向に応じて読み出し画素と露光タイミングを切り替える方式である。
ここで、一般的に、物体３の対象領域内において、測距装置１０で取得される点群数よりも撮像装置２０で取得可能な画素数のほうが多いのは先に述べた通りである。
このとき、撮像装置２０において、イメージセンサ２１１の画素部２２１に２次元状に配置される複数の画素２３１は、例えば、図２２に示すような対応関係を有する。すなわち、図２２においては、画素部２２１に配置される複数の画素２３１のうち、測距装置１０で取得される点群位置に対応する画素２３１を、「LiDAR対応画素」と表記し、測距装置１０で取得される点群位置に対応しない画素２３１を、「LiDAR非対応画素」と表記している。例えば、図２２においては、撮像装置２０の有効画素間隔がVstep_imager = 1，Hstep_imager = 1であるのに対し、測距装置１０の有効点群間隔は、Vstep_lidar = 4，Hstep_lidar = 2となる場合を例示している。
図２２に示すように、測距装置１０で取得される点群位置は、水平方向に密で、かつ、垂直方向に疎であることが多いため、画素部２２１では、垂直方向に余剰画素（「LiDAR非対応画素」）がより多く発生している。そして、画素部２２１に配置される複数の画素２３１のうち、測距装置１０で取得される点群位置に対応する画素２３１（「LiDAR対応画素」）の露光タイミングは、測距装置１０（の測距タイミング）に同期させるが、測距装置１０で取得される点群位置に対応しない余剰画素（「LiDAR非対応画素」）の使い方には様々なケースが想定される。通常は、測距装置１０で取得される点群数だけでは認識性能が十分ではないため、撮像装置２０の余剰画素の一部又は全部を測距装置１０に同期させて、フュージョン認識率の向上を図ることが考えられる。
そこで、空間分割使用方式では、水平方向の往復スキャン型の測距装置１０と、行並列ADC方式の撮像装置２０との同期の際に、撮像装置２０の余剰画素を、左－右スキャン用の画素、又は右－左スキャン用の画素として利用して、左－右スキャンに同期した画像（左－右スキャン同期画像）と、右－左スキャンに同期した画像（右－左スキャン同期画像）を同時並行して撮像するようにする。なお、空間分割使用方式を実現するためには、左－右スキャン同期画像と右－左スキャン同期画像とで、露光時間や読み出しタイミングなどが別々に制御できるように、予めハードウェア回路を設計しておく必要がある。
図２３は、空間分割使用方式を用いた異なるスキャン方向に対応した画像の同時並列撮像の例を示している。ここでは、垂直方向に多く発生している余剰画素を活かして、左－右スキャン用の画素と右－左スキャン用の画素に垂直方向に空間分割した例を示す。
図２３において、撮像装置２０におけるイメージセンサ２１１の画素部２２１に２次元状に配置される複数の画素２３１に対応する四角に表記された「Pixel_LiDAR_LR(m, n)」は、左－右スキャン同期画像用に使用する画素２３１を表し、「Pixel_LiDAR_RL(m, n)」は、右－左スキャン同期画像用に使用する画素２３１を表す。
図２３においては、水平方向の２行毎に、左－右スキャン同期画像用の領域と、右－左スキャン同期画像用の領域とが繰り返されている。左－右スキャン同期画像用の領域には、左－右スキャン同期画像用の画素２３１（余剰画素に相当する画素と図中の太枠で示した「LiDAR対応画素」に相当する画素）が含まれる。右－左スキャン同期画像用の領域には、右－左スキャン同期画像用の画素２３１（余剰画素に相当する画素）が含まれる。
図２４のタイミングチャートは、撮像装置２０による２Ｄ画像の画像フレームとして、時間的に連続した1stフレームと2ndフレームの撮像（生成）時において、画素部２２１における左－右スキャン同期画像用の領域の画素２３１（Pixel_LiDAR_LR(m, n)）の露光タイミングを示している。
図２４において、1stフレームでは、測距装置１０による左－右スキャンに同期した露光が行われるため、左－右スキャン同期画像用の任意の行の画素２３１（Pixel_LiDAR_LR(m, n)）に対応して、シャッタ動作と読み出し動作を表す四角が、1stフレーム内で読み出し動作が行われるように、右斜め下方向に向かって列番号の昇順に連続している。なお、ここでも、シャッタ動作が行われてからリード動作が行われるまでの時間が、電荷の蓄積時間となる（図中の右方向の矢印）。
このようにして、撮像装置２０においては、シャッタ動作と読み出し動作が行われ、読み出された信号値が行並列AD変換部２２２によりAD変換され、1stフレーム（の信号値）がフレームメモリ２２３に格納される。
ここで、水平方向の往復スキャン型の測距装置１０では、フレーム毎にスキャン方向が反転するため、行並列ADC方式の撮像装置２０においては、1stフレームの撮像時に、左－右スキャンに同期した動作が行われた後、2ndフレームの撮像時には、右－左スキャンに同期した動作が行われる。
なお、1stフレームの撮像時にフレームメモリ２２３に格納された1stフレーム（の信号値）は、2ndフレームの撮像時のタイミングで、外部の信号処理部２１４へ読み出される。そして、信号処理部２１４により２Ｄ画像信号処理が行われ、1stフレームの画像フレームが生成されるが、この画像フレーム（２Ｄ画像）は、左－右スキャン同期画像である。
図２５のタイミングチャートは、撮像装置２０による２Ｄ画像の画像フレームとして、時間的に連続した1stフレームと2ndフレームの撮像（生成）時において、画素部２２１における右－左スキャン同期画像用の領域の画素２３１（Pixel_LiDAR_RL(m, n)）の露光タイミングを示している。
図２５において、2ndフレームでは、測距装置１０による右－左スキャンに同期した露光が行われるため、右－左スキャン同期画像用の任意の行の画素２３１（Pixel_LiDAR_RL(m, n)）に対応して、シャッタ動作と読み出し動作を表す四角が、2ndフレーム内で読み出し動作が行われるように、右斜め上方向に向かって列番号の降順に連続している。
このようにして、撮像装置２０においては、シャッタ動作と読み出し動作が行われ、読み出された信号値が行並列AD変換部２２２によりAD変換され、2ndフレーム（の信号値）がフレームメモリ２２３に格納される。そして、3rdフレームの撮像時のタイミングで、フレームメモリ２２３から2ndフレーム（の信号値）が読み出される。そして、信号処理部２１４により２Ｄ画像信号処理が行われ、2ndフレームの画像フレームが生成されるが、この画像フレーム（２Ｄ画像）は、右－左スキャン同期画像である。
なお、3rdフレーム以降については繰り返しになるので、その説明は省略するが、撮像装置２０では、3rdフレーム等の奇数フレームの撮像時には、図２４のタイミングチャートに示したように、画素部２２１における左－右スキャン同期画像用の領域の画素２３１（Pixel_LiDAR_LR(m, n)）を利用して、測距装置１０による左－右スキャンに同期した撮像が行われ、左－右スキャン同期画像の信号値が得られる。
また、撮像装置２０では、4thフレーム等の偶数フレームの撮像時には、図２５のタイミングチャートに示したように、画素部２２１における右－左スキャン同期画像用の領域の画素２３１（Pixel_LiDAR_RL(m, n)）を利用して、測距装置１０による右－左スキャンに同期した撮像が行われ、右－左スキャン同期画像の信号値が得られる。
以上のように、空間分割使用方式を用いることで、水平方向の往復スキャン型の測距装置１０と、行並列ADC方式の撮像装置２０との同期を行うに際して、測距装置１０による往復スキャン時に、撮像装置２０において、そのスキャン方向に応じて、画素部２２１における左－右スキャン同期画像用の領域内の画素群（余剰画素を含む画素群）と、右－左スキャン同期画像用の領域内の画素群（余剰画素を含む画素群）とで、読み出し画素と露光タイミングを切り替えることができる。これにより、行並列ADC方式の撮像装置２０において、水平方向の往復スキャン型の測距装置１０と同期する場合に、左－右スキャン時と右－左スキャン時において、画素２３１毎の露光のタイミングが一部で重なるという事象（図１８，図１９）を回避することができる。なお、空間分割使用方式においては、フレーム間のブランキング期間の長さによらずに、交互に繰り返される左－右スキャン同期画像と右－左スキャン同期画像の連続取得が可能となる。
以上、本開示のセンサフュージョンシステムについて説明した。本開示によれば、センサフュージョンシステムは、次のような構成を有している。
すなわち、本開示のセンサフュージョンシステム（図１０のセンサフュージョンシステム１）は、測距装置（図１０の測距装置１０）と、撮像装置（図１０の撮像装置２０）と、測距装置と撮像装置との同期を制御する同期制御部（図１０のタイミングジェネレータ３０Ａ）とを含む。
この測距装置（図１０の測距装置１０）は、第１の方向（垂直方向）に延びる光（レーザ光）を出射する光源部（図５の光源部１６１と拡散レンズ１６３）と、第１の方向と直交する第２の方向（水平方向）へ光の出射方向を駆動する駆動部（図５の１軸ガルバノミラー１６２）とを有する光源モジュール（図１０のレーザ光源部１１１）と、光源部が光を出射するタイミングを制御する光源制御部（図１０のレーザドライバ１１３）と、所定の受光範囲を有し、光源部から出射されて物体（図１０の物体３）で反射された光を受光する受光部（図１０のレーザ受光部１１４）と、光源部が光を出射してから受光部が物体で反射された光を受光するまでの時間を計測する時間計測部（図１０のTDC部１２２）と、計測した時間に基づいて、受光部又は光源モジュールから物体までの距離を算出する距離算出部（図１０の信号処理部１１５）とを備える。
また、撮像装置（図１０の撮像装置２０）は、２次元状に配置される複数の画素（図８等の画素２３１）を有し、光源部が光を出射する出射範囲（図１１のLiDAR有効領域）の少なくとも一部を含む撮像範囲（図１１のImager有効領域）を有する画素部（図８，図１０等の画素部２２１）と、第１の方向（垂直方向）に並べて配置され、画素部にて第１の方向に並んだ画素群から出力された信号をAD変換するAD変換部（図８，図１０等の行並列ADC部２２２）と、複数の画素が第２の方向（水平方向）へ走査されるように複数の画素の露光を制御する露光制御部（図１０のラインドライバ２１３）とを備える。
さらに、同期制御部（図１０のタイミングジェネレータ３０Ａ）は、光源部（図５の光源部１６１）が所定の領域（図１４の領域Ａ内の領域）へ光を出射するタイミングと、所定の領域（図１４の領域Ａ内の領域）に対応する画素群（図１０等の画素部２２１に配置される画素２３１）が露光するタイミングとが同期するように、光源制御部（図１０のレーザドライバ１１３）と露光制御部（図１０のラインドライバ２１３）とを制御する。
本開示のセンサフュージョンシステム（図１０のセンサフュージョンシステム１）は、以上の構成を有することで、測距装置（図１０の測距装置１０）と撮像装置（図１０の撮像装置２０）とを同期させてフュージョン認識性能を向上させることができる。
＜２．変形例＞
上述した説明では、測距装置１０と撮像装置２０とを同期させる場合に、測距装置１０のスキャン方式としてビームスキャン方式における１次元スキャン方式の水平方向の往復方向スキャンを採用し、撮像装置２０のADC方式としては、行並列ADC方式を採用して、ローリングシャッタ方式での露光が行われるようにした場合を説明したが、それらの方式の組み合わせは一例である。すなわち、スキャン方式やADC方式の組み合わせは、多数存在するため、上述した組み合わせ以外の方式を採用するようにしてもよい。なお、上述した説明では、測距装置１０は、TOF(Time Of Flight)方式のライダ（LiDAR）であるとして説明したが、他の方式を採用した距離画像センサを用いるようにしてもよい。
また、上述した説明では、空間分割使用方式で、余剰画素を利用した例を説明したが、この余剰画素の使い方は様々である。以下、余剰画素の使い方の他の例を示す。
例えば、物体認識処理に必要なデプス解像度（奥行き情報）が、測距装置１０で取得される点群数では十分ではない場合に、撮像装置２０での２次元解像度（２Ｄ解像度）をすべて、測距装置１０に同期させることで、フュージョン認識率の向上を図るケース（以下、ケースＡという）が想定される。
このケースＡの場合、図２６に示すように、撮像装置２０において、イメージセンサ２１１の画素部２２１に配置される複数の画素２３１のうち、測距装置１０で取得される点群位置に対応しない余剰画素（「LiDAR準対応画素」）の露光タイミングは、近接する（測距装置１０で取得される）点群位置に対応する画素２３１（「LiDAR対応画素」）の露光タイミングから空間的に補間して制御する。具体的には、図２６の例では、ハッチングが施された余剰画素（「LiDAR準対応画素」）の露光タイミングが、図中の矢印で示した左上、右上、左下、及び右下の４つの画素２３１（「LiDAR対応画素」）の露光タイミングから空間的に補間されている。
ただし、撮像装置２０における画素部２２１に配置された画素２３１の露光タイミングは、測距装置１０に比べて粗くすることができるため、同一のタイミングとなる画素領域単位でタイミング制御用の信号線を共通化することができる。
また、例えば、物体認識処理に必要なデプス解像度が、測距装置１０で取得される点群数である程度十分であり、撮像装置２０での２Ｄ解像度の一部を、測距装置１０に同期して使用しないケース（以下、ケースＢという）が想定される。
このケースＢの場合、図２７に示すように、点群位置に対応しない余剰画素のうち、一部の余剰画素（「LiDAR準対応画素」）の露光タイミングは、近接の点群位置に対応する画素２３１（「LiDAR対応画素」）の露光タイミングにより空間的に補間され、残りの余剰画素（「静止画用画素」）は、例えば、グローバルシャッタ方式で別に撮像してフォーカルプレーン歪のない静止画像をも同時に取得できるようにする。具体的には、図２７の例では、１，２，５，６行目の余剰画素は、前者の「LiDAR準対応画素」として使用されている一方で、３，４，７，８行目の余剰画素は、後者の「静止画用画素」として使用されている。なお、ケースＢを実現するためには、前者の「LiDAR準対応画素」と後者の「静止画用画素」とで、露光時間や読み出しタイミングなどが別々に制御できるように、予めハードウェア回路を設計しておく必要がある。
なお、ここで示したケースＡとケースＢの余剰画素の使い方の他の例は、上述した実施の形態と組み合わせて使用するようにしてもよい。
また、本開示において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
＜３．移動体への応用例＞
本開示に係る技術（本技術）は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット等のいずれかの種類の移動体に搭載される装置として実現されてもよい。
図２８は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システムの概略的な構成例を示すブロック図である。
車両制御システム１２０００は、通信ネットワーク１２００１を介して接続された複数の電子制御ユニットを備える。図２８に示した例では、車両制御システム１２０００は、駆動系制御ユニット１２０１０、ボディ系制御ユニット１２０２０、車外情報検出ユニット１２０３０、車内情報検出ユニット１２０４０、及び統合制御ユニット１２０５０を備える。また、統合制御ユニット１２０５０の機能構成として、マイクロコンピュータ１２０５１、音声画像出力部１２０５２、及び車載ネットワークＩ／Ｆ（Interface）１２０５３が図示されている。
駆動系制御ユニット１２０１０は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット１２０１０は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。
ボディ系制御ユニット１２０２０は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット１２０２０は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット１２０２０には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット１２０２０は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。
車外情報検出ユニット１２０３０は、車両制御システム１２０００を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット１２０３０には、撮像部１２０３１が接続される。車外情報検出ユニット１２０３０は、撮像部１２０３１に車外の画像を撮像させるとともに、撮像された画像を受信する。車外情報検出ユニット１２０３０は、受信した画像に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。
撮像部１２０３１は、光を受光し、その光の受光量に応じた電気信号を出力する光センサである。撮像部１２０３１は、電気信号を画像として出力することもできるし、測距の情報として出力することもできる。また、撮像部１２０３１が受光する光は、可視光であっても良いし、赤外線等の非可視光であっても良い。
車内情報検出ユニット１２０４０は、車内の情報を検出する。車内情報検出ユニット１２０４０には、例えば、運転者の状態を検出する運転者状態検出部１２０４１が接続される。運転者状態検出部１２０４１は、例えば運転者を撮像するカメラを含み、車内情報検出ユニット１２０４０は、運転者状態検出部１２０４１から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。
マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット１２０１０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むＡＤＡＳ（Advanced Driver Assistance System）の機能実現を目的とした協調制御を行うことができる。
また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で取得される車外の情報に基づいて、ボディ系制御ユニット１２０２０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で検知した先行車又は対向車の位置に応じてヘッドランプを制御し、ハイビームをロービームに切り替える等の防眩を図ることを目的とした協調制御を行うことができる。
音声画像出力部１２０５２は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図２８の例では、出力装置として、オーディオスピーカ１２０６１、表示部１２０６２及びインストルメントパネル１２０６３が例示されている。表示部１２０６２は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。
図２９は、撮像部１２０３１の設置位置の例を示す図である。
図２９では、撮像部１２０３１として、撮像部１２１０１、１２１０２、１２１０３、１２１０４、１２１０５を有する。
撮像部１２１０１、１２１０２、１２１０３、１２１０４、１２１０５は、例えば、車両１２１００のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部等の位置に設けられる。フロントノーズに備えられる撮像部１２１０１及び車室内のフロントガラスの上部に備えられる撮像部１２１０５は、主として車両１２１００の前方の画像を取得する。サイドミラーに備えられる撮像部１２１０２、１２１０３は、主として車両１２１００の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部１２１０４は、主として車両１２１００の後方の画像を取得する。車室内のフロントガラスの上部に備えられる撮像部１２１０５は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。
なお、図２９には、撮像部１２１０１ないし１２１０４の撮影範囲の一例が示されている。撮像範囲１２１１１は、フロントノーズに設けられた撮像部１２１０１の撮像範囲を示し、撮像範囲１２１１２，１２１１３は、それぞれサイドミラーに設けられた撮像部１２１０２，１２１０３の撮像範囲を示し、撮像範囲１２１１４は、リアバンパ又はバックドアに設けられた撮像部１２１０４の撮像範囲を示す。例えば、撮像部１２１０１ないし１２１０４で撮像された画像データが重ね合わせられることにより、車両１２１００を上方から見た俯瞰画像が得られる。
撮像部１２１０１ないし１２１０４の少なくとも１つは、距離情報を取得する機能を有していてもよい。例えば、撮像部１２１０１ないし１２１０４の少なくとも１つは、複数の撮像素子からなるステレオカメラであってもよいし、位相差検出用の画素を有する撮像素子であってもよい。
例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を基に、撮像範囲１２１１１ないし１２１１４内における各立体物までの距離と、この距離の時間的変化（車両１２１００に対する相対速度）を求めることにより、特に車両１２１００の進行路上にある最も近い立体物で、車両１２１００と略同じ方向に所定の速度（例えば、０km/h以上）で走行する立体物を先行車として抽出することができる。さらに、マイクロコンピュータ１２０５１は、先行車の手前に予め確保すべき車間距離を設定し、自動ブレーキ制御（追従停止制御も含む）や自動加速制御（追従発進制御も含む）等を行うことができる。このように運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を元に、立体物に関する立体物データを、２輪車、普通車両、大型車両、歩行者、電柱等その他の立体物に分類して抽出し、障害物の自動回避に用いることができる。例えば、マイクロコンピュータ１２０５１は、車両１２１００の周辺の障害物を、車両１２１００のドライバが視認可能な障害物と視認困難な障害物とに識別する。そして、マイクロコンピュータ１２０５１は、各障害物との衝突の危険度を示す衝突リスクを判断し、衝突リスクが設定値以上で衝突可能性がある状況であるときには、オーディオスピーカ１２０６１や表示部１２０６２を介してドライバに警報を出力することや、駆動系制御ユニット１２０１０を介して強制減速や回避操舵を行うことで、衝突回避のための運転支援を行うことができる。
撮像部１２１０１ないし１２１０４の少なくとも１つは、赤外線を検出する赤外線カメラであってもよい。例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在するか否かを判定することで歩行者を認識することができる。かかる歩行者の認識は、例えば赤外線カメラとしての撮像部１２１０１ないし１２１０４の撮像画像における特徴点を抽出する手順と、物体の輪郭を示す一連の特徴点にパターンマッチング処理を行って歩行者か否かを判別する手順によって行われる。マイクロコンピュータ１２０５１が、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在すると判定し、歩行者を認識すると、音声画像出力部１２０５２は、当該認識された歩行者に強調のための方形輪郭線を重畳表示するように、表示部１２０６２を制御する。また、音声画像出力部１２０５２は、歩行者を示すアイコン等を所望の位置に表示するように表示部１２０６２を制御してもよい。
以上、本開示に係る技術が適用され得る車両制御システムの一例について説明した。本開示に係る技術は、以上説明した構成のうち、撮像部１２１０１に適用され得る。具体的には、図１０のセンサフュージョンシステム１は、撮像部１２０３１に適用することができる。撮像部１２０３１に本開示に係る技術を適用することにより、センサフュージョンシステム１において測距装置１０と撮像装置２０とを同期させることができるため、例えば、距離画像と２Ｄ画像をフュージョンして３次元での物体認識を行い、物体の認識性能（フュージョン認識性能）を向上させることができる。その結果として、例えば、より正確に、車両、歩行者、障害物、信号機、交通標識又は車線等の物体を認識することが可能になる。
また、ライダ（LiDAR）等の測距装置１０の特徴として、近赤外線を使用するのが一般的であるため、夜間でも測距が可能であり、光環境の急激な変化にも強いが、距離画像の解像度は、２Ｄ画像よりも低くなる。一方で、イメージセンサを含む撮像装置２０の特徴として、主に可視光線を撮像するため、測距装置１０に対してロバスト性は劣る傾向があるが、２Ｄ画像の解像度は他の画像よりも高くなる。ところで、様々な道路環境において、測距装置１０と撮像装置２０の信頼性及び有効性はダイナミックに変化するため、道路環境に適応してフュージョンの仕方や割合を最適に制御する必要があるが、測距装置１０と撮像装置２０との同期がとれていないと、フュージョンの制御を著しく困難にする可能性がある。図１０のセンサフュージョンシステム１では、測距装置１０と撮像装置２０との同期を通じて、フュージョンの制御を容易にし、全体としてのロバスト性を向上させることができる。
なお、上述した実施の形態において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
また、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本開示に係る技術の要旨を逸脱しない範囲において種々の変更が可能である。
さらに、本開示に係る技術は、以下のような構成をとることができる。
（１）
第１の方向に延びる光を出射する光源部と、前記第１の方向と直交する第２の方向へ前記光の出射方向を駆動する駆動部とを有する光源モジュールと、
前記光源部が前記光を出射するタイミングを制御する光源制御部と、
所定の受光範囲を有し、前記光源部から出射されて物体で反射された前記光を受光する受光部と、
前記光源部が前記光を出射してから前記受光部が前記物体で反射された前記光を受光するまでの時間を計測する時間計測部と、
計測した前記時間に基づいて、前記受光部又は前記光源モジュールから前記物体までの距離を算出する距離算出部と
を備える測距装置と、
２次元状に配置される複数の画素を有し、前記光源部が光を出射する出射範囲の少なくとも一部を含む撮像範囲を有する画素部と、
前記第１の方向に並べて配置され、前記画素部にて前記第１の方向に並んだ画素群から出力された信号をAD変換するAD変換部と、
前記複数の画素が前記第２の方向へ走査されるように前記複数の画素の露光を制御する露光制御部と
を備える撮像装置と、
前記光源部が所定の領域へ前記光を出射するタイミングと、前記所定の領域に対応する前記画素群が露光するタイミングとが同期するように、前記光源制御部と前記露光制御部とを制御する同期制御部と
を具備するセンサフュージョンシステム。
（２）
前記第１の方向は、垂直方向であり、
前記第２の方向は、水平方向である
前記（１）に記載のセンサフュージョンシステム。
（３）
前記光源部が光を出射する前記出射範囲の第１の有効領域、及び前記画素部が有する前記撮像範囲の第２の有効領域を設定する設定部をさらに具備する
前記（１）又は（２）に記載のセンサフュージョンシステム。
（４）
前記設定部は、
前記第１の有効領域及び前記第２の有効領域を含む仮想領域を設定し、
前記仮想領域内の前記第１の有効領域の位置と大きさを設定し、
前記仮想領域内の前記第２の有効領域の位置と大きさを設定する
前記（３）に記載のセンサフュージョンシステム。
（５）
前記設定部は、
前記仮想領域の座標系を基準にして、前記受光部における前記光を受光する点群の間隔を設定し、
前記仮想領域の座標系を基準にして、前記画素部に配置された前記複数の画素の間隔を設定する
前記（４）に記載のセンサフュージョンシステム。
（６）
前記点群の間隔は、前記複数の画素の間隔よりも広い
前記（５）に記載のセンサフュージョンシステム。
（７）
前記駆動部は、前記光の出射方向が同一方向に固定されるように駆動するか、又は前記光の出射方向が往復方向に交互になるように駆動する
前記（１）ないし（６）のいずれかに記載のセンサフュージョンシステム。
（８）
前記露光制御部は、前記光の出射方向が往復方向に交互になるように駆動される場合、一方の方向に駆動されるときの露光タイミングと、その反対の方向に駆動されるときの露光タイミングとを切り替える
前記（７）に記載のセンサフュージョンシステム。
（９）
前記出射範囲と前記撮像範囲とが異なることで、前記撮像範囲に対してブランキング期間が所定の期間以上であるとともに、前記一方の方向から前記反対の方向への折り返し時に、前記画素部における同一の画素で電荷の蓄積時間が重ならない場合、前記同一の画素を連続して使用する
前記（８）に記載のセンサフュージョンシステム。
（１０）
前記同一の画素は、時間位相が調整される
前記（９）に記載のセンサフュージョンシステム。
（１１）
前記露光制御部は、前記光の出射方向が往復方向に交互になるように駆動される場合、一方の方向の駆動に対応した第１の領域の露光タイミングと、その反対の方向の駆動に対応した前記第１の領域と異なる第２の領域の露光タイミングとを切り替える
前記（７）に記載のセンサフュージョンシステム。
（１２）
前記第１の領域は、前記画素部に配置された前記複数の画素の数が、前記受光部における前記光を受光する点群数よりも多いことで余剰となる余剰画素を含み、
前記第２の領域は、前記余剰画素を含む
前記（１１）に記載のセンサフュージョンシステム。
（１３）
前記第１の領域及び前記第２の領域の少なくとも一方の領域は、前記受光部における前記光を受光する点群に対応した画素を含む
前記（１１）又は（１２）に記載のセンサフュージョンシステム。
（１４）
前記光源部は、単一の光源を１次元方向に拡散照射するか、又は複数の光源を１次元方向に並列に配置している
前記（１）ないし（１３）のいずれかに記載のセンサフュージョンシステム。
（１５）
前記露光制御部から前記画素部への制御線は、前記第１の方向に配線される
前記（１）ないし（１４）のいずれかに記載のセンサフュージョンシステム。
（１６）
前記測距装置のスキャン方式は、水平方向の往復方向スキャンであり、
前記撮像装置のADC方式は、行並列ADC方式である
前記（１）ないし（１５）のいずれかに記載のセンサフュージョンシステム。
（１７）
前記露光制御部は、ローリングシャッタ方式での露光を制御する
前記（１）ないし（１６）のいずれかに記載のセンサフュージョンシステム。
（１８）
前記測距装置は、ライダであり、
前記撮像装置は、イメージセンサを含む
前記（１）ないし（１７）のいずれかに記載のセンサフュージョンシステム。
（１９）
測距装置と撮像装置との同期を制御する同期制御装置において、
前記測距装置は、
第１の方向に延びる光を出射する光源部と、前記第１の方向と直交する第２の方向へ前記光の出射方向を駆動する駆動部とを有する光源モジュールと、
前記光源部が前記光を出射するタイミングを制御する光源制御部と、
所定の受光範囲を有し、前記光源部から出射されて物体で反射された前記光を受光する受光部と、
前記光源部が前記光を出射してから前記受光部が前記物体で反射された前記光を受光するまでの時間を計測する時間計測部と、
計測した前記時間に基づいて、前記受光部又は前記光源モジュールから前記物体までの距離を算出する距離算出部と
を備え、
前記撮像装置は、
２次元状に配置される複数の画素を有し、前記光源部が光を出射する出射範囲の少なくとも一部を含む撮像範囲を有する画素部と、
前記第１の方向に並べて配置され、前記画素部にて前記第１の方向に並んだ画素群から出力された信号をAD変換するAD変換部と、
前記複数の画素が前記第２の方向へ走査されるように前記複数の画素の露光を制御する露光制御部と
を備え、
前記光源部が所定の領域へ前記光を出射するタイミングと、前記所定の領域に対応する前記画素群が露光するタイミングとが同期するように、前記光源制御部と前記露光制御部とを制御する同期制御部を具備する
同期制御装置。
（２０）
第１の方向に延びる光を出射する光源部と、前記第１の方向と直交する第２の方向へ前記光の出射方向を駆動する駆動部とを有する光源モジュールと、
前記光源部が前記光を出射するタイミングを制御する光源制御部と、
所定の受光範囲を有し、前記光源部から出射されて物体で反射された前記光を受光する受光部と、
前記光源部が前記光を出射してから前記受光部が前記物体で反射された前記光を受光するまでの時間を計測する時間計測部と、
計測した前記時間に基づいて、前記受光部又は前記光源モジュールから前記物体までの距離を算出する距離算出部と
を備える測距装置と、
２次元状に配置される複数の画素を有し、前記光源部が光を出射する出射範囲の少なくとも一部を含む撮像範囲を有する画素部と、
前記第１の方向に並べて配置され、前記画素部にて前記第１の方向に並んだ画素群から出力された信号をAD変換するAD変換部と、
前記複数の画素が前記第２の方向へ走査されるように前記複数の画素の露光を制御する露光制御部と
を備える撮像装置と
の同期を制御する同期制御装置が、
前記光源部が所定の領域へ前記光を出射するタイミングと、前記所定の領域に対応する前記画素群が露光するタイミングとが同期するように、前記光源制御部と前記露光制御部とを制御する
同期制御方法。
１ センサフュージョンシステム， ２ 物体認識装置， ３ 物体， １０ 測距装置， ２０ 撮像装置， ３０ 同期制御装置， ３０Ａ タイミングジェネレータ， ３０Ｂ 設定レジスタ部， ４０ 画像フュージョン装置， １１１ レーザ光源部， １１２ レジスタ， １１３ レーザドライバ， １１４ レーザ受光部， １１５ 信号処理部， １２１ SPAD部， １２２ TDC部， １２３ フレームメモリ， １６１ 光源部， １６２ １軸ガルバノミラー， １６３ 拡散レンズ， ２１１ イメージセンサ， ２１２ レジスタ， ２１３ ラインドライバ， ２１４ 信号処理部， ２２１ 画素部， ２３１ 画素， ２２２ ADC部，２２２Ｂ 行並列ADC部， ２２３ フレームメモリ， １２０３１ 撮像部

Claims (20)

  1. 第１の方向に延びる光を出射する光源部と、前記第１の方向と直交する第２の方向へ前記光の出射方向を駆動する駆動部とを有する光源モジュールと、
    前記光源部が前記光を出射するタイミングを制御する光源制御部と、
    所定の受光範囲を有し、前記光源部から出射されて物体で反射された前記光を受光する受光部と、
    前記光源部が前記光を出射してから前記受光部が前記物体で反射された前記光を受光するまでの時間を計測する時間計測部と、
    計測した前記時間に基づいて、前記受光部又は前記光源モジュールから前記物体までの距離を算出する距離算出部と
    を備える測距装置と、
    ２次元状に配置される複数の画素を有し、前記光源部が光を出射する出射範囲の少なくとも一部を含む撮像範囲を有する画素部と、
    前記第１の方向に並べて配置され、前記画素部にて前記第１の方向に並んだ画素群から出力された信号をAD変換するAD変換部と、
    前記複数の画素が前記第２の方向へ走査されるように前記複数の画素の露光を制御する露光制御部と
    を備える撮像装置と、
    前記光源部が所定の領域へ前記光を出射するタイミングと、前記所定の領域に対応する前記画素群が露光するタイミングとが同期するように、前記光源制御部と前記露光制御部とを制御する同期制御部と
    を具備するセンサフュージョンシステム。
  2. 前記第１の方向は、垂直方向であり、
    前記第２の方向は、水平方向である
    請求項１に記載のセンサフュージョンシステム。
  3. 前記光源部が光を出射する前記出射範囲の第１の有効領域、及び前記画素部が有する前記撮像範囲の第２の有効領域を設定する設定部をさらに具備する
    請求項１に記載のセンサフュージョンシステム。
  4. 前記設定部は、
    前記第１の有効領域及び前記第２の有効領域を含む仮想領域を設定し、
    前記仮想領域内の前記第１の有効領域の位置と大きさを設定し、
    前記仮想領域内の前記第２の有効領域の位置と大きさを設定する
    請求項３に記載のセンサフュージョンシステム。
  5. 前記設定部は、
    前記仮想領域の座標系を基準にして、前記受光部における前記光を受光する点群の間隔を設定し、
    前記仮想領域の座標系を基準にして、前記画素部に配置された前記複数の画素の間隔を設定する
    請求項４に記載のセンサフュージョンシステム。
  6. 前記点群の間隔は、前記複数の画素の間隔よりも広い
    請求項５に記載のセンサフュージョンシステム。
  7. 前記駆動部は、前記光の出射方向が同一方向に固定されるように駆動するか、又は前記光の出射方向が往復方向に交互になるように駆動する
    請求項１に記載のセンサフュージョンシステム。
  8. 前記露光制御部は、前記光の出射方向が往復方向に交互になるように駆動される場合、一方の方向に駆動されるときの露光タイミングと、その反対の方向に駆動されるときの露光タイミングとを切り替える
    請求項７に記載のセンサフュージョンシステム。
  9. 前記出射範囲と前記撮像範囲とが異なることで、前記撮像範囲に対してブランキング期間が所定の期間以上であるとともに、前記一方の方向から前記反対の方向への折り返し時に、前記画素部における同一の画素で電荷の蓄積時間が重ならない場合、前記同一の画素を連続して使用する
    請求項８に記載のセンサフュージョンシステム。
  10. 前記同一の画素は、時間位相が調整される
    請求項９に記載のセンサフュージョンシステム。
  11. 前記露光制御部は、前記光の出射方向が往復方向に交互になるように駆動される場合、一方の方向の駆動に対応した第１の領域の露光タイミングと、その反対の方向の駆動に対応した前記第１の領域と異なる第２の領域の露光タイミングとを切り替える
    請求項７に記載のセンサフュージョンシステム。
  12. 前記第１の領域は、前記画素部に配置された前記複数の画素の数が、前記受光部における前記光を受光する点群数よりも多いことで余剰となる余剰画素を含み、
    前記第２の領域は、前記余剰画素を含む
    請求項１１に記載のセンサフュージョンシステム。
  13. 前記第１の領域及び前記第２の領域の少なくとも一方の領域は、前記受光部における前記光を受光する点群に対応した画素を含む
    請求項１２に記載のセンサフュージョンシステム。
  14. 前記光源部は、単一の光源を１次元方向に拡散照射するか、又は複数の光源を１次元方向に並列に配置している
    請求項１に記載のセンサフュージョンシステム。
  15. 前記露光制御部から前記画素部への制御線は、前記第１の方向に配線される
    請求項１に記載のセンサフュージョンシステム。
  16. 前記測距装置のスキャン方式は、水平方向の往復方向スキャンであり、
    前記撮像装置のADC方式は、行並列ADC方式である
    請求項１に記載のセンサフュージョンシステム。
  17. 前記露光制御部は、ローリングシャッタ方式での露光を制御する
    請求項１６に記載のセンサフュージョンシステム。
  18. 前記測距装置は、ライダであり、
    前記撮像装置は、イメージセンサを含む
    請求項１に記載のセンサフュージョンシステム。
  19. 測距装置と撮像装置との同期を制御する同期制御装置において、
    前記測距装置は、
    第１の方向に延びる光を出射する光源部と、前記第１の方向と直交する第２の方向へ前記光の出射方向を駆動する駆動部とを有する光源モジュールと、
    前記光源部が前記光を出射するタイミングを制御する光源制御部と、
    所定の受光範囲を有し、前記光源部から出射されて物体で反射された前記光を受光する受光部と、
    前記光源部が前記光を出射してから前記受光部が前記物体で反射された前記光を受光するまでの時間を計測する時間計測部と、
    計測した前記時間に基づいて、前記受光部又は前記光源モジュールから前記物体までの距離を算出する距離算出部と
    を備え、
    前記撮像装置は、
    ２次元状に配置される複数の画素を有し、前記光源部が光を出射する出射範囲の少なくとも一部を含む撮像範囲を有する画素部と、
    前記第１の方向に並べて配置され、前記画素部にて前記第１の方向に並んだ画素群から出力された信号をAD変換するAD変換部と、
    前記複数の画素が前記第２の方向へ走査されるように前記複数の画素の露光を制御する露光制御部と
    を備え、
    前記光源部が所定の領域へ前記光を出射するタイミングと、前記所定の領域に対応する前記画素群が露光するタイミングとが同期するように、前記光源制御部と前記露光制御部とを制御する同期制御部を具備する
    同期制御装置。
  20. 第１の方向に延びる光を出射する光源部と、前記第１の方向と直交する第２の方向へ前記光の出射方向を駆動する駆動部とを有する光源モジュールと、
    前記光源部が前記光を出射するタイミングを制御する光源制御部と、
    所定の受光範囲を有し、前記光源部から出射されて物体で反射された前記光を受光する受光部と、
    前記光源部が前記光を出射してから前記受光部が前記物体で反射された前記光を受光するまでの時間を計測する時間計測部と、
    計測した前記時間に基づいて、前記受光部又は前記光源モジュールから前記物体までの距離を算出する距離算出部と
    を備える測距装置と、
    ２次元状に配置される複数の画素を有し、前記光源部が光を出射する出射範囲の少なくとも一部を含む撮像範囲を有する画素部と、
    前記第１の方向に並べて配置され、前記画素部にて前記第１の方向に並んだ画素群から出力された信号をAD変換するAD変換部と、
    前記複数の画素が前記第２の方向へ走査されるように前記複数の画素の露光を制御する露光制御部と
    を備える撮像装置と
    の同期を制御する同期制御装置が、
    前記光源部が所定の領域へ前記光を出射するタイミングと、前記所定の領域に対応する前記画素群が露光するタイミングとが同期するように、前記光源制御部と前記露光制御部とを制御する
    同期制御方法。
JP2018193152A 2018-10-12 2018-10-12 センサフュージョンシステム、同期制御装置、及び同期制御方法 Pending JP2022036339A (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2018193152A JP2022036339A (ja) 2018-10-12 2018-10-12 センサフュージョンシステム、同期制御装置、及び同期制御方法
EP19870087.4A EP3865911B1 (en) 2018-10-12 2019-09-27 Sensor fusion system, synchronization control device, and synchronization control method
PCT/JP2019/038088 WO2020075525A1 (ja) 2018-10-12 2019-09-27 センサフュージョンシステム、同期制御装置、及び同期制御方法
US17/282,986 US20210341616A1 (en) 2018-10-12 2019-09-27 Sensor fusion system, synchronization control apparatus, and synchronization control method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018193152A JP2022036339A (ja) 2018-10-12 2018-10-12 センサフュージョンシステム、同期制御装置、及び同期制御方法

Publications (1)

Publication Number Publication Date
JP2022036339A true JP2022036339A (ja) 2022-03-08

Family

ID=70164535

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018193152A Pending JP2022036339A (ja) 2018-10-12 2018-10-12 センサフュージョンシステム、同期制御装置、及び同期制御方法

Country Status (4)

Country Link
US (1) US20210341616A1 (ja)
EP (1) EP3865911B1 (ja)
JP (1) JP2022036339A (ja)
WO (1) WO2020075525A1 (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102615478B1 (ko) * 2019-10-24 2023-12-19 현대모비스 주식회사 자동차용 센서 통합 모듈
KR20210150765A (ko) * 2020-06-04 2021-12-13 에스케이하이닉스 주식회사 이미지 센싱 장치 및 이를 포함하는 촬영 장치
US20220018940A1 (en) * 2020-07-16 2022-01-20 Comotomo Corporation Vision first light detection and ranging system
JP7140229B1 (ja) 2021-04-28 2022-09-21 沖電気工業株式会社 推定装置、推定方法およびプログラム
DE102021118427A1 (de) 2021-07-16 2023-01-19 Schölly Fiberoptic GmbH Bildaufnahmevorrichtung für verbesserte Bildgebung bei schwacher Lichtintensität sowie zugehöriges Bildaufnahmeverfahren
DE112022003998T5 (de) 2021-10-21 2024-06-27 Hitachi Astemo, Ltd. Fahrzeugmontierte steuervorrichtung und verfahren zur erfassung dreidimensionaler informationen
CN114063111A (zh) * 2022-01-14 2022-02-18 探维科技(北京)有限公司 图像融合激光的雷达探测***及方法
WO2024106376A1 (ja) * 2022-11-15 2024-05-23 ヌヴォトンテクノロジージャパン株式会社 画像センシング装置、画像センシング方法およびプログラム

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07333339A (ja) * 1994-06-03 1995-12-22 Mitsubishi Electric Corp 自動車用障害物検知装置
JP2005114542A (ja) * 2003-10-08 2005-04-28 Hitachi Ltd 障害物検知装置及びそれを用いた障害物警報装置
US7706978B2 (en) * 2005-09-02 2010-04-27 Delphi Technologies, Inc. Method for estimating unknown parameters for a vehicle object detection system
JP2008172441A (ja) * 2007-01-10 2008-07-24 Omron Corp 検出装置および方法、並びに、プログラム
JP5416026B2 (ja) * 2010-04-23 2014-02-12 本田技研工業株式会社 車両の周辺監視装置
KR101665567B1 (ko) * 2010-05-20 2016-10-12 삼성전자주식회사 3차원 뎁스 영상 시간 보간 방법 및 장치
US9098753B1 (en) 2014-04-25 2015-08-04 Google Inc. Methods and systems for object detection using multiple sensors
JP6609980B2 (ja) * 2015-04-30 2019-11-27 株式会社デンソー 光飛行時間測定装置及び光学的測距装置
CA2999697A1 (en) * 2015-09-30 2017-04-06 Sony Corporation Information processing apparatus, information processing method and program

Also Published As

Publication number Publication date
WO2020075525A1 (ja) 2020-04-16
EP3865911A1 (en) 2021-08-18
US20210341616A1 (en) 2021-11-04
EP3865911A4 (en) 2021-11-17
EP3865911B1 (en) 2024-02-07

Similar Documents

Publication Publication Date Title
EP3865911B1 (en) Sensor fusion system, synchronization control device, and synchronization control method
US10746874B2 (en) Ranging module, ranging system, and method of controlling ranging module
WO2018042887A1 (ja) 測距装置、および、測距装置の制御方法
JP7044107B2 (ja) 光センサ、及び、電子機器
JP2020136958A (ja) イベント信号検出センサ及び制御方法
EP3654063B1 (en) Electronic device and method for controlling electronic device
TWI744876B (zh) 圖像辨識裝置、固體攝像裝置及圖像辨識方法
US11454723B2 (en) Distance measuring device and distance measuring device control method
WO2021085128A1 (ja) 測距装置、測定方法、および、測距システム
CN111434105A (zh) 固态成像元件、成像装置和固态成像元件的控制方法
WO2020184224A1 (ja) 距離測定装置及びスキュー補正方法
JP2018064257A (ja) 撮像システム
JP2023003308A (ja) 撮像装置、電子機器、および光検出方法
WO2020137318A1 (ja) 測定装置、測距装置および測定方法
JP2020205507A (ja) 固体撮像素子、撮像装置、および、固体撮像素子の制御方法
WO2021235033A1 (ja) センシングシステム
WO2021166344A1 (ja) センシングシステム、および、測距システム
WO2021002071A1 (ja) 固体撮像素子、撮像装置、および、固体撮像素子の制御方法
WO2021192459A1 (ja) 撮像装置
WO2021100593A1 (ja) 測距装置及び測距方法
WO2021215113A1 (ja) 固体撮像素子、センシングシステム、および、固体撮像素子の制御方法
WO2022075065A1 (ja) 半導体装置、光学構造物
WO2020153262A1 (ja) 計測装置および測距装置