JP7369921B2 - 物体識別システム、演算処理装置、自動車、車両用灯具、分類器の学習方法 - Google Patents

物体識別システム、演算処理装置、自動車、車両用灯具、分類器の学習方法 Download PDF

Info

Publication number
JP7369921B2
JP7369921B2 JP2020560058A JP2020560058A JP7369921B2 JP 7369921 B2 JP7369921 B2 JP 7369921B2 JP 2020560058 A JP2020560058 A JP 2020560058A JP 2020560058 A JP2020560058 A JP 2020560058A JP 7369921 B2 JP7369921 B2 JP 7369921B2
Authority
JP
Japan
Prior art keywords
range
image
images
identification system
object identification
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020560058A
Other languages
English (en)
Other versions
JPWO2020121973A1 (ja
Inventor
健佑 荒井
徹 永島
晃志 伊多波
淳 狩野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koito Manufacturing Co Ltd
Original Assignee
Koito Manufacturing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koito Manufacturing Co Ltd filed Critical Koito Manufacturing Co Ltd
Publication of JPWO2020121973A1 publication Critical patent/JPWO2020121973A1/ja
Application granted granted Critical
Publication of JP7369921B2 publication Critical patent/JP7369921B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G01S17/10—Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves
    • G01S17/18—Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves wherein range gates are used
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q1/00—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
    • B60Q1/0017—Devices integrating an element dedicated to another function
    • B60Q1/0023—Devices integrating an element dedicated to another function the element being a sensor, e.g. distance sensor, camera
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/141—Control of illumination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/60—Extraction of image or video features relating to illumination properties, e.g. using a reflectance or lighting model
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/772—Determining representative reference patterns, e.g. averaging or distorting patterns; Generating dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q1/00—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
    • B60Q1/02—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments
    • B60Q1/04—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments the devices being headlights
    • B60Q1/06—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments the devices being headlights adjustable, e.g. remotely-controlled from inside vehicle
    • B60Q1/08—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments the devices being headlights adjustable, e.g. remotely-controlled from inside vehicle automatically
    • B60Q1/085—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments the devices being headlights adjustable, e.g. remotely-controlled from inside vehicle automatically due to special conditions, e.g. adverse weather, type of road, badly illuminated road signs or potential dangers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q2300/00—Indexing codes for automatically adjustable headlamps or automatically dimmable headlamps
    • B60Q2300/40—Indexing codes relating to other road users or special conditions
    • B60Q2300/45—Special conditions, e.g. pedestrians, road signs or potential dangers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Electromagnetism (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Remote Sensing (AREA)
  • Mathematical Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Mechanical Engineering (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)
  • Image Processing (AREA)

Description

本発明は、物体識別システムに関する。
自動運転やヘッドランプの配光の自動制御のために、車両の周囲に存在する物体の位置および種類をセンシングする物体識別システムが利用される。物体識別システムは、センサと、センサの出力を解析する演算処理装置を含む。センサは、カメラ、ＬｉＤＡＲ（Light Detection and Ranging、Laser Imaging Detection and Ranging）、ミリ波レーダ、超音波ソナーなどの中から、用途、要求精度やコストを考慮して選択される。
一般的な単眼のカメラからは、奥行きの情報を得ることができない。したがって、異なる距離に位置する複数の物体が重なっている場合に、それらを分離することが難しい。
奥行き情報が得られるカメラとして、ＴＯＦカメラが知られている。ＴＯＦ（Time Of Flight）カメラは、発光デバイスによって赤外光を投光し、反射光がイメージセンサに戻ってくるまでの飛行時間を測定し、飛行時間を距離情報に変換した画像を得るものである。
特開２００９－２５７９８３号公報 国際公開ＷＯ２０１７／１１０４１３Ａ１
（項目１） 演算処理装置は、分類器を含む。分類器は、予め学習データ（訓練データともいう）を用いた機械学習により最適化される。分類器の識別率は、ひとえに学習データの選び方によるところが大きい。
本発明の第１側面は、係る状況においてなされたものであり、そのある態様の例示的な目的のひとつは、物体識別システムの識別率の改善あるいは学習コストの低減にある。
（項目２、３） 本出願人は、ＴＯＦカメラに代わるセンサ（以下、本明細書においてゲーティングカメラと称する）を提案している（特許文献１，２）。ゲーティングカメラは、撮影範囲を複数のレンジに区切り、レンジごとに露光タイミングおよび露光時間を変化させて複数回、撮像する。これにより、対象のレンジごとに画像が得られ、各画像は対応するレンジに含まれる物体のみを含む。
本発明の第２側面は、係る状況においてなされたものであり、そのある態様の例示的な目的のひとつは、ゲーティングカメラを用いた物体識別システムの提供にある。また本発明の第３側面は、ゲーティングカメラを用いた物体識別システムの識別率の改善、あるいは学習コストの低減にある。
（項目４、５）
ゲーティングカメラを用いた物体識別システムでは、複数のレンジに対応する複数の画像を処理する必要があるため、画像処理の負荷が大きくなる。したがって、低速な演算処理装置を用いる場合、フレームレートが低下し、フレームレートを高めようとすれば、高速な、言い換えれば高価な演算処理装置が必要となる。
本発明の第４側面および第５側面は、係る状況においてなされたものであり、そのある態様の例示的な目的のひとつは、ゲーティングカメラを用いた物体識別システムの演算処理量の削減および／または識別率の改善にある。
１． 本発明の第１側面のある態様は、物体識別システムに関する。物体識別システムは、カメラと、カメラの出力画像にもとづいて、物体を識別できるように機械学習された分類器を含む演算処理装置と、を備える。分類器は、奥行き方向について複数のレンジに区切り、レンジ毎に、投光と露光の時間差を変化させて撮影するゲーティングカメラにより得られた複数の画像を学習データとして機械学習されている。
２． 本発明の第２側面のある態様は、物体識別システムに関する。物体識別システムは、奥行き方向について複数のレンジに区切り、レンジ毎に、投光と露光の時間差を変化させて撮影するゲーティングカメラと、ゲーティングカメラによって得られる複数のレンジに対応する複数の画像にもとづいて、物体の種類を識別可能な演算処理装置と、を備える。演算処理装置は、アルゴリズムの異なる複数の分類器を含み、レンジに応じた分類器を選択して、物体認識を行う。
３． 本発明の第３側面のある態様は、物体識別システムに関する。物体識別システムは、奥行き方向について複数のレンジに区切り、レンジ毎に、投光と露光の時間差を変化させて撮影するゲーティングカメラと、ゲーティングカメラによって得られる複数のレンジに対応する複数の画像を、レンジ毎に規定された係数でスケーリングするスケーラと、スケーリング後の複数の画像それぞれにもとづいて、物体の種類を識別可能な分類器と、を備える。
４． 本発明の第４側面のある態様は物体識別システムに関する。物体識別システムは、奥行き方向について複数のレンジに区切り、レンジ毎に、投光と露光の時間差を変化させて撮影し、複数のレンジに対応する複数の画像を生成するゲーティングカメラと、物体が存在しうる位置が、複数の画像それぞれに固有の興味領域内に限定されているとの制約条件のもと、複数の画像それぞれに含まれる物体の種類を識別可能に構成される演算処理装置と、を備える。
本発明の第４側面の別の態様は、演算処理装置である。演算処理装置は、ゲーティングカメラとともに使用され、物体識別システムを構成する。ゲーティングカメラは、奥行き方向について複数のレンジに区切り、レンジ毎に、投光と露光の時間差を変化させて撮影し、複数のレンジに対応する複数の画像を生成する。演算処理装置は、物体が存在しうる位置が、複数の画像それぞれに固有の興味領域内に限定されているとの制約条件のもと、複数の画像それぞれに含まれる物体の種類を識別可能に構成される。
５． 本発明の第５側面のある態様は物体識別システムに関する。物体識別システムは、奥行き方向について複数のレンジに区切り、レンジ毎に、投光と露光の時間差を変化させて撮影し、複数のレンジに対応する複数の画像を生成するゲーティングカメラと、レンジ毎に、対応する画像に写る物体像のサイズの許容範囲が規定されており、許容範囲にもとづいて各画像に写る物体像の種類を識別可能に構成される演算処理装置と、を備える。
本発明の第５側面の別の態様は、演算処理装置に関する。この演算処理装置は、奥行き方向について複数のレンジに区切り、レンジ毎に、投光と露光の時間差を変化させて撮影し、複数のレンジに対応する複数の画像を生成するゲーティングカメラとともに使用され、物体識別システムを構成する演算処理装置であって、レンジ毎に、対応する画像に写る物体像のサイズの許容範囲が規定されており、各画像について、それに写る物体像の種類とサイズを検出し、複数の画像に対応する複数の検出データを生成する分類器と、複数の検出データを受け、各検出データに含まれる物体像のサイズが、許容範囲に含まれるか否かを判定する後処理部と、を備える。
本発明の第５側面のさらに別の態様もまた、演算処理装置である。この演算処理装置は、奥行き方向について複数のレンジに区切り、レンジ毎に、投光と露光の時間差を変化させて撮影し、複数のレンジに対応する複数の画像を生成するゲーティングカメラとともに使用され、物体識別システムを構成する演算処理装置であって、複数の画像それぞれについて、それに写る物体像ごとのサブ画像に切り分ける前処理部と、レンジ毎に、対応する画像に写る物体像のサイズの許容範囲が規定されており、前処理部により切り分けられたサブ画像のサイズが許容範囲に含まれる場合に、当該サブ画像に含まれる物体像の種類を判定する分類器と、を備える。
本発明のある側面によれば、識別率を改善でき、あるいは学習コストを下げることができる。
実施の形態１に係る物体識別システムのブロック図である。 ゲーティングカメラの動作を説明する図である。 図３（ａ）、（ｂ）は、ゲーティングカメラを用いた学習データの取得を説明する図である。 図４（ａ）は、単眼カメラで撮影した画像ＩＭＧｘを示す図である。 物体識別システムを備える自動車のブロック図である。 物体検出システムを備える車両用灯具を示すブロック図である。 変形例１に係る物体識別システムのブロック図である。 実施の形態２に係る物体識別システムのブロック図である。 ゲーティングカメラの動作を説明する図である。 図１０（ａ）は、図８の物体識別システムの動作を説明するタイムチャートであり、図１０（ｂ）は、比較技術に係る物体識別システムの動作を説明するタイムチャートである。 物体識別システムを備える自動車のブロック図である。 物体検出システムを備える車両用灯具を示すブロック図である。 実施の形態３に係る物体識別システムのブロック図である。 ゲーティングカメラの動作を説明する図である。 図１５（ａ）、（ｂ）は、ゲーティングカメラにより得られる画像を説明する図である。 図１６（ａ）、（ｂ）は、ゲーティングカメラにより得られる画像を説明する図である。 図１７（ａ）～（ｃ）は、スケーラによるスケーリング処理の一例を説明する図である。 物体識別システムを備える自動車のブロック図である。 物体検出システムを備える車両用灯具を示すブロック図である。 図２０（ａ）、（ｂ）は、ゲーティングカメラにより得られる画像を説明する図である。 実施の形態４－１に係る物体識別システムのブロック図である。 ゲーティングカメラの動作を説明する図である。 図２３（ａ）、（ｂ）は、ゲーティングカメラにより得られる画像を説明する図である。 図２４（ａ）、（ｂ）は、ＲＯＩを説明する図である。 図２５（ａ）、（ｂ）は、図２１の物体識別システムの動作を説明する図である。 実施の形態４－２に係る物体識別システムのブロック図である。 図２７（ａ）、（ｂ）は、図２６の物体識別システムの動作を説明する図である。 図２８（ａ）、（ｂ）は、ＲＯＩの変形例を説明する図である。 図２９（ａ）、（ｂ）は、ＲＯＩの変形例を説明する図である。 図３０（ａ）、（ｂ）は、変形例３に係る物体識別システムの動作を説明する図である。 物体識別システムを備える自動車のブロック図である。 物体検出システムを備える車両用灯具を示すブロック図である。 実施の形態５－１に係る物体識別システムのブロック図である。 ゲーティングカメラの動作を説明する図である。 図３５（ａ）、（ｂ）は、ゲーティングカメラにより得られる画像を説明する図である。 図３６（ａ）、（ｂ）は、レンジ毎に撮影される画像を説明する図である。 サイズの許容範囲を説明する図である。 図３８（ａ）、（ｂ）は、図３３の物体識別システムの動作を説明する図である。 実施の形態５－２に係る物体識別システムのブロック図である。 図４０（ａ）、（ｂ）は、図３９の物体識別システムの動作を説明する図である。 物体識別システムを備える自動車のブロック図である。 物体検出システムを備える車両用灯具を示すブロック図である。
Ｉ 本発明の第１側面
Ｉ－１． 概要
本発明の第１側面に関連するある実施の形態は、物体識別システムに関する。物体識別システムは、カメラと、カメラの出力画像にもとづいて、物体を識別できるように機械学習された分類器を含む演算処理装置と、を備える。分類器は、奥行き方向について複数のレンジに区切り、レンジ毎に、投光と露光の時間差を変化させて撮影するゲーティングカメラにより得られた複数の画像を学習データとして機械学習されている。
ゲーティングカメラを用いることにより、奥行き方向に重なった複数の物体を分離した複数の画像を得ることができ、それらを別々の学習データとして用いることで、個々の物体に対する識別率を高めることができる。また、いわゆるかさ増しの効果が得られるため、学習コストを下げることができる。
カメラは、単眼カメラであってもよい。カメラは、ゲーティングカメラであってもよい。
Ｉ－２． 詳細な説明
以下、本発明の第１側面を、好適な実施の形態をもとに図面を参照しながら説明する。本明細書において、各図面に示される同一または同等の構成要素、部材、処理には、同一の符号を付するものとし、適宜重複した説明は省略する。また、実施の形態は、発明を限定するものではなく例示であって、実施の形態に記述されるすべての特徴やその組み合わせは、必ずしも発明の本質的なものであるとは限らない。
図１は、実施の形態１に係る物体識別システム１０のブロック図である。この物体識別システム１０は、自動車やバイクなどの車両に搭載され、車両の周囲に存在する物体ＯＢＪの種類（カテゴリ）を判定する。
物体識別システム１０は、主としてカメラ３０および演算処理装置４０を備える。カメラ３０は、単眼カメラであり、車両の周囲を撮影する。演算処理装置４０は、分類器４２を含む。分類器４２は、カメラ３０の出力画像ＩＭＧにもとづいて、物体ＯＢＪを識別できるように機械学習により得られた学習済みモデルにもとづいて実装されている。分類器４２のアルゴリズムは特に限定されないが、ＹＯＬＯ（You Only Look Once）とＳＳＤ（Single Shot MultiBox Detector）、R-CNN（Region-based Convolutional Neural Network）、SPPnet（Spatial Pyramid Pooling）、Faster R-CNN、DSSD（Deconvolution -SSD）、Mask R-CNNなどを採用することができ、あるいは、将来開発されるアルゴリズムを採用できる。
図１には、物体識別システム１０に加えて、機械学習を行う際のセットアップが示される。分類器４２の機械学習には、ゲーティングカメラ５０が用いられる。ゲーティングカメラ５０は、奥行き方向について複数Ｎ個（Ｎ≧２）のレンジＲＮＧ１～ＲＮＧＮに区切り、レンジ毎に、投光と露光の時間差を変化させて撮影するカメラである。ゲーティングカメラ５０は、複数のレンジＲＮＧ１～ＲＮＧＮに対応する複数の画像ＩＭＧ１～ＩＭＧＮを生成する。物体ＯＢＪの種類や向きなどを変えながら、ゲーティングカメラ５０によって撮影することにより、物体ＯＢＪの種類ごとに、複数の画像ＩＭＧ１～ＩＭＧＮのセットが得られる。
こうして得られた複数の画像ＩＭＧ１～ＩＭＧＮのセットは、物体ＯＢＪの種類と対応付けて、コンピュータ６０に入力される。コンピュータ６０は、複数の画像ＩＭＧ１～ＩＭＧＮのセットを学習データ（訓練データ）として、分類器４２の機械学習を実行する。コンピュータ６０における機械学習の方法は公知技術を用いればよいため、説明を省略する。コンピュータ６０によって最終的に得られた学習結果が、演算処理装置４０に与えられて、分類器４２が構成される。
ゲーティングカメラ５０は、投光器５２、イメージセンサ５４およびコントローラ５６を含む。ゲーティングカメラ５０による撮像は、奥行き方向について複数Ｎ個（Ｎ≧２）のレンジＲＮＧ１～ＲＮＧＮに区切って行われる。隣接するレンジ同士は、それらの境界において奥行き方向にオーバーラップしてもよい。
投光器５２は、コントローラ５６から与えられる投光タイミング信号Ｓ１と同期して、プローブ光Ｌ１を車両前方に照射する。プローブ光Ｌ１は赤外光であることが好ましいが、その限りでなく、所定の波長を有する可視光であってもよい。
イメージセンサ５４は、コントローラ５６から与えられる撮影タイミング信号Ｓ２と同期した露光制御が可能であり、画像ＩＭＧを生成可能に構成される。イメージセンサ５４は、プローブ光Ｌ１と同じ波長に感度を有しており、物体ＯＢＪが反射した反射光（戻り光）Ｌ２を撮影する。
コントローラ５６は、レンジ毎ＲＮＧに、投光タイミング信号Ｓ１と撮影タイミング信号Ｓ２を変化させて、投光器５２による投光と、イメージセンサ５４の露光の時間差を変化させる。カメラ３０は、複数のレンジＲＮＧ１～ＲＮＧＮに対応する複数の画像ＩＭＧ１～ＩＭＧＮを生成する。ｉ番目の画像ＩＭＧｉには、対応するレンジＲＮＧｉに含まれる物体のみが写ることとなる。
図２は、ゲーティングカメラ５０の動作を説明する図である。図２にはｉ番目のレンジＲＮＧｉを測定するときの様子が示される。投光器５２は、投光タイミング信号Ｓ１と同期して、時刻ｔ０～ｔ１の間の発光期間τ１の間、発光する。最上段には、横軸に時間、縦軸に距離をとった光線のダイアグラムが示される。カメラ３０から、レンジＲＮＧｉの手前の境界までの距離をｄＭＩＮｉ、レンジＲＮＧｉの奥側の境界までの距離をｄＭＡＸｉとする。
ある時刻に投光器５２を出発した光が、距離ｄＭＩＮｉに到達してその反射光がイメージセンサ５４に戻ってくるまでのラウンドトリップ時間ＴＭＩＮｉは、
ＴＭＩＮｉ＝２×ｄＭＩＮｉ／ｃ
である。ｃは光速である。
同様に、ある時刻に投光器５２を出発した光が、距離ｄＭＡＸｉに到達してその反射光がイメージセンサ５４に戻ってくるまでのラウンドトリップ時間ＴＭＡＸｉは、
ＴＭＡＸｉ＝２×ｄＭＡＸｉ／ｃ
である。
レンジＲＮＧｉに含まれる物体ＯＢＪのみを撮影したいとき、コントローラ５６は、時刻ｔ２＝ｔ０＋ＴＭＩＮｉに露光を開始し、時刻ｔ３＝ｔ１＋ＴＭＡＸｉに露光を終了するように、撮影タイミング信号Ｓ２を生成する。これが１回の露光動作である。
ｉ番目のレンジＲＮＧｉを撮影する際に、複数回の露光を行ってもよい。この場合、コントローラ５６は、所定の周期τ２で、上述の露光動作を複数回にわたり繰り返せばよい。
以上が物体識別システム１０の構成である。続いて物体識別システム１０の機械学習について説明する。
図３（ａ）、（ｂ）は、ゲーティングカメラを用いた学習データの取得を説明する図である。この例ではＮ＝２である。学習データの取得に際して、図３（ａ）に示すように、複数の物体ＯＢＪ１，ＯＢＪ２が異なるレンジＲＮＧ１，ＲＮＧ２に配置された状況を考える。この例では、ＯＢＪ１は歩行者であり、ＯＢＪ２は自動車である。
図３（ｂ）には、図３（ａ）の状況で得られる、複数の画像ＩＭＧ１，ＩＭＧ２が示される。画像ＩＭＧ１には、手前側のレンジＲＮＧ１に含まれる物体ＯＢＪ１のみが含まれ、画像ＩＭＧ２には、奥側の物体ＯＢＪ２のみが含まれる。つまり物体識別システム１０のカメラ３０から見たときに、重なって見える複数の物体ＯＢＪ１，ＯＢＪ２を分離することができる。そして、複数の画像ＩＭＧ１，ＩＭＧ２を別々の学習データとしてコンピュータ６０に入力することで、物体ＯＢＪ１，ＯＢＪ２を別々の物体として識別可能な分類器４２を構成することができる。
本実施の形態の利点は比較技術との対比によって明確となる。比較技術では、学習データとして、物体識別システム１０のカメラ３０と同様に、単眼カメラで撮影した画像ＩＭＧｘを用いるものとする。図４（ａ）は、単眼カメラで撮影した画像ＩＭＧｘを示す図である。図４（ａ）に示すように、画像ＩＭＧｘでは、２つの物体ＯＢＪ１，ＯＢＪ２が重なっている。
図４（ｂ）には、歩行者（ＯＢＪ１）を含むバウンディングボックスＢＢ１が示される。このバウンディングボックスＢＢ１の内側には、歩行者（ＯＢＪ１）のみでなく、背景の車両（ＯＢＪ２）の情報が含まれている。したがって図４（ａ）の画像ＩＭＧｘを学習データとして用いると、車両の情報を込みで、歩行者ＯＢＪ１と識別できるように、学習が進む。言い換えれば、背景に車両が存在しない単独の歩行者を、歩行者と識別しにくくなるかもしれない。
図４（ｃ）には、車両（ＯＢＪ２）を含むバウンディングボックスＢＢ２が示される。このバウンディングボックスＢＢ２の内側には、車両（ＯＢＪ２）のみでなく、手前側の歩行者（ＯＢＪ１）の情報が含まれている。したがって図４（ａ）の画像ＩＭＧｘを学習データとして用いると、歩行者の情報を込みで、車両ＯＢＪ２と識別できるように、学習が進む。言い換えれば、手前側に歩行者が存在しない単独の車両を、車両と識別しにくくなるかもしれない。
翻って本実施の形態に係る学習方法によれば、ゲーティングカメラを用いて、手前側の物体ＯＢＪ１と奥側の物体ＯＢＪ２を分離して、別々の画像として学習を行うことで、各物体ＯＢＪ＃（＃＝１，２）それぞれを、それ自身ＯＢＪ１のみの情報にもとづいて識別できるように学習が進むこととなる。これにより、ある物体ＯＢＪｉが単独で存在する状況であっても、それらが他の物体ＯＢＪｊ（ｉ≠ｊ）と重なっている状況であっても、物体ＯＢＪｉを正しく識別することができるようになる。
機械学習には、膨大な学習データが必要となるところ、状況や条件を変えて物体の画像を撮影すると、学習コストが高くなる。そこで、通常、「かさ増し」によって、１枚の基本画像を、複数の画像に増やす工夫がなされる。一般的なかさ増しの手法としては、基本画像の左右反転、回転、拡大縮小、輝度値の変更、コントラストの変更などが例示される。図４（ａ）の画像を基本画像として捉えた場合、ゲーティングカメラを用いることにより、それを２枚の画像に増やしているとも把握できる。つまりゲーティングカメラを用いることで、かさ増しの効果も得られている。
図５は、物体識別システム１０を備える自動車のブロック図である。自動車３００は、前照灯３０２Ｌ，３０２Ｒを備える。物体識別システム１０は、前照灯３０２Ｌ，３０２Ｒの少なくとも一方に内蔵される。前照灯３０２は、車体の最も先端に位置しており、周囲の物体を検出する上で、カメラ３０の設置箇所として最も有利である。
図６は、物体検出システム２１０を備える車両用灯具２００を示すブロック図である。車両用灯具２００は、車両側ＥＣＵ３０４とともに灯具システム３１０を構成する。車両用灯具２００は、光源２０２、点灯回路２０４、光学系２０６を備える。さらに車両用灯具２００には、物体検出システム２１０が設けられる。物体検出システム２１０は、上述の物体識別システム１０に対応しており、カメラ３０および演算処理装置４０を含む。
演算処理装置４０が検出した物体ＯＢＪに関する情報は、車両用灯具２００の配光制御に利用してもよい。具体的には、灯具側ＥＣＵ２０８は、演算処理装置４０が生成する物体ＯＢＪの種類とその位置に関する情報にもとづいて、適切な配光パターンを生成する。点灯回路２０４および光学系２０６は、灯具側ＥＣＵ２０８が生成した配光パターンが得られるように動作する。
また演算処理装置４０が検出した物体ＯＢＪに関する情報は、車両側ＥＣＵ３０４に送信してもよい。車両側ＥＣＵは、この情報にもとづいて、自動運転を行ってもよい。
続いて、実施の形態１に関連する変形例を説明する。
（変形例１）
図７は、変形例１に係る物体識別システム１０Ａのブロック図である。物体識別システム１０Ａは、図１のカメラ３０に代えて、ゲーティングカメラ２０を備える。ゲーティングカメラ２０の構成は、図１のゲーティングカメラ５０と同様である。ゲーティングカメラ２０は、奥行き方向について複数Ｍ個（Ｍ≧２）のレンジＲＮＧ１～ＲＮＧＭに区切り、レンジ毎に、投光と露光の時間差を変化させて撮影するカメラである。ゲーティングカメラ２０は、複数のレンジＲＮＧ１～ＲＮＧＭに対応する複数の画像ＩＭＧ１～ＩＭＧＭを生成する。
分類器４２は、ゲーティングカメラ２０から、複数Ｍ個（Ｍ≧２）のレンジＲＮＧ１～ＲＮＧＭに対応する複数の画像ＩＭＧ１～ＩＭＧＭを受ける。分類器４２は、複数の画像ＩＭＧ１～ＩＭＧＭにもとづいて、それらに含まれる物体の種類を識別可能に構成される。分類器４２の学習には、ゲーティングカメラ５０によって得られた複数の画像ＩＭＧ１～ＩＭＧＮが用いられる。ゲーティングカメラ５０のレンジの個数Ｎと、ゲーティングカメラ２０のレンジの個数Ｍは同一であってもよいし、異なっていてもよい。
II 本発明の第２側面
II－１． 概要
本発明の第２側面に関連するある実施の形態は、車載用の物体識別システムに関する。物体識別システムは、奥行き方向について複数のレンジに区切り、レンジ毎に、投光と露光の時間差を変化させて撮影するゲーティングカメラと、ゲーティングカメラによって得られる複数のレンジに対応する複数の画像にもとづいて、物体の種類を識別可能な演算処理装置と、を備える。演算処理装置は、アルゴリズムの異なる複数の分類器を含み、レンジに応じた分類器を選択して、物体認識を行う。
この態様によると、近い物体と遠い物体とで異なるアルゴリズムを適用することにより、識別率を高めることができる。
演算処理装置は、距離が近いレンジの画像処理に、ＹＯＬＯ（You Only Look Once）アルゴリズムの分類器を用いてもよい。ＹＯＬＯは、小さい物体の識別に不適であるが、高速であるという利点を有する。画像に含まれる物体は、物体までの距離が短い方が大きいため、ＹＯＬＯを用いることで、距離が近いレンジに含まれる物体を高精度かつ高速に検出・識別できる。
演算処理装置は、距離が遠いレンジの画像処理に、ＳＳＤ（Single Shot MultiBox Detector）アルゴリズムの分類器を用いてもよい。ＳＳＤは、処理速度は劣るが、小さい物体まで高精度に検出できるという利点がある。画像に含まれる物体は、物体までの距離が長い方が小さいため、ＳＳＤを用いることで、距離が遠いレンジに含まれる物体を高精度に検出・識別できる。
演算処理装置は、相対的に距離が近いレンジの画像処理に、相対的に高速なアルゴリズムの分類器を用いてもよい。
また演算処理装置は、相対的に距離が遠いレンジの画像処理に、相対的に高精度なアルゴリズムの分類器を用いてもよい。
II－２． 詳細な説明
図８は、実施の形態２に係る物体識別システム１０のブロック図である。この物体識別システム１０は、自動車やバイクなどの車両に搭載され、車両の周囲に存在する物体ＯＢＪの種類（カテゴリ）を判定する。
物体識別システム１０は、主としてゲーティングカメラ２０および演算処理装置４０を備える。ゲーティングカメラ２０は、投光器２２、イメージセンサ２４、コントローラ２６を含む。ゲーティングカメラ２０による撮像は、奥行き方向について複数Ｎ個（Ｎ≧２）のレンジＲＮＧ１～ＲＮＧＮに区切って行われる。隣接するレンジ同士は、それらの境界において奥行き方向にオーバーラップしてもよい。
投光器２２は、コントローラ２６から与えられる投光タイミング信号Ｓ１と同期して、プローブ光Ｌ１を車両前方に照射する。プローブ光Ｌ１は赤外光であることが好ましいが、その限りでなく、所定の波長を有する可視光であってもよい。
イメージセンサ２４は、コントローラ２６から与えられる撮影タイミング信号Ｓ２と同期した露光制御が可能であり、画像ＩＭＧを生成可能に構成される。イメージセンサ２４は、プローブ光Ｌ１と同じ波長に感度を有しており、物体ＯＢＪが反射した反射光（戻り光）Ｌ２を撮影する。
コントローラ２６は、レンジ毎ＲＮＧに、投光タイミング信号Ｓ１と撮影タイミング信号Ｓ２を変化させて、投光器２２による投光と、イメージセンサ２４の露光の時間差を変化させる。ゲーティングカメラ２０は、複数のレンジＲＮＧ１～ＲＮＧＮに対応する複数の画像ＩＭＧ１～ＩＭＧＮを生成する。ｉ番目の画像ＩＭＧｉには、対応するレンジＲＮＧｉに含まれる物体のみが写ることとなる。
図９は、ゲーティングカメラ２０の動作を説明する図である。図９にはｉ番目のレンジＲＮＧｉを測定するときの様子が示される。投光器２２は、投光タイミング信号Ｓ１と同期して、時刻ｔ０～ｔ１の間の発光期間τ１の間、発光する。最上段には、横軸に時間、縦軸に距離をとった光線のダイアグラムが示される。ゲーティングカメラ２０から、レンジＲＮＧｉの手前の境界までの距離をｄＭＩＮｉ、レンジＲＮＧｉの奥側の境界までの距離をｄＭＡＸｉとする。
ある時刻に投光器２２を出発した光が、距離ｄＭＩＮｉに到達してその反射光がイメージセンサ２４に戻ってくるまでのラウンドトリップ時間ＴＭＩＮｉは、
ＴＭＩＮｉ＝２×ｄＭＩＮｉ／ｃ
である。ｃは光速である。
同様に、ある時刻に投光器２２を出発した光が、距離ｄＭＡＸｉに到達してその反射光がイメージセンサ２４に戻ってくるまでのラウンドトリップ時間ＴＭＡＸｉは、
ＴＭＡＸｉ＝２×ｄＭＡＸｉ／ｃ
である。
レンジＲＮＧｉに含まれる物体ＯＢＪのみを撮影したいとき、コントローラ２６は、時刻ｔ２＝ｔ０＋ＴＭＩＮｉに露光を開始し、時刻ｔ３＝ｔ１＋ＴＭＡＸｉに露光を終了するように、撮影タイミング信号Ｓ２を生成する。これが１回の露光動作である。
ｉ番目のレンジＲＮＧｉを撮影する際に、複数回の露光を行ってもよい。この場合、コントローラ２６は、所定の周期τ２で、上述の露光動作を複数回にわたり繰り返せばよい。
図８に戻る。演算処理装置４０は、ゲーティングカメラ２０によって得られる複数のレンジＲＮＧ１～ＲＮＧＮに対応する複数の画像ＩＭＧ１～ＩＭＧＮにもとづいて、物体の種類を識別可能に構成される。演算処理装置４０は、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）、マイコンなどのプロセッサ（ハードウェア）と、プロセッサ（ハードウェア）が実行するソフトウェアプログラムの組み合わせで実装することができる。演算処理装置４０は、複数のプロセッサの組み合わせであってもよい。あるいは演算処理装置４０はハードウェアのみで構成してもよい。
演算処理装置４０は、アルゴリズムの異なる複数Ｍ個（Ｍ≧２）の分類器４２＿１～４２＿Ｍを含む。セレクタ４４は、各画像ＩＭＧを、レンジＲＮＧに応じて選択された分類器４２に対して供給する。分類器４２は、与えられた画像ＩＭＧを処理して、それに含まれる物体の検出・クラス分類（識別）を行う。
分類器４２の個数Ｍは、レンジＲＮＧの個数Ｎと同数であってもよいし、それより少なくてもよい。
複数のアルゴリズムのひとつは、高速であるが、精度が低い（言い換えれば、小さい物体の検出精度が低い）アルゴリズムであってもよい。また複数のアルゴリズムの別のひとつは、低速であるが、精度が高い（言い換えれば、小さい物体の検出精度が高い）アルゴリズムであってもよい。
演算処理装置４０は、相対的に距離が近いレンジの画像処理に、相対的に高速で精度が低いアルゴリズムの分類器を用いるとよい。また演算処理装置４０は、相対的に距離が遠いレンジの画像処理に、相対的に低速で精度が高いアルゴリズムの分類器を用いるとよい。
たとえば複数のアルゴリズムのひとつは、ＹＯＬＯ（You Only Look Once）アルゴリズムが好適である。また、複数のアルゴリズムの別のひとつは、ＳＳＤ（Single Shot MultiBox Detector）アルゴリズムが好適である。
以上が物体識別システム１０の構成である。続いてその動作を説明する。
図１０（ａ）は、図８の物体識別システム１０の動作を説明するタイムチャートである。ここでは、Ｍ＝２，Ｎ＝２として、１番目のレンジＲＮＧ１の画像ＩＭＧ１の処理に、ＹＯＬＯアルゴリズムの分類器４２＿１を割り当て、２番目のレンジＲＮＧ２の画像ＩＭＧ２の処理に、ＳＳＤアルゴリズムの分類器４２＿２を割り当てるものとする。
ゲーティングカメラ２０によって、レンジＲＮＧ１の画像ＩＭＧ１が取得され、それがＹＯＬＯアルゴリズムの分類器４２＿１によって処理される。続いてゲーティングカメラ２０によって、レンジＲＮＧ２の画像ＩＭＧ２が取得され、それＳＳＤアルゴリズムの分類器４２＿２によって処理される。
以上が物体識別システム１０の動作である。この物体識別システム１０によれば、互いに相補的な関係にある２つ、あるいは３個以上のアルゴリズムの分類器を用い、撮影レンジごとに分類器を割り当てることにより、近い物体と遠い物体を高精度に、短時間で検出できる。
より詳しくは、ＹＯＬＯは、小さい物体の識別に不適であるが、高速であるという利点を有する。画像に含まれる物体は、物体までの距離が短い方が大きく写る。したがって、距離が近いレンジＲＮＧ１の画像処理に、ＹＯＬＯを用いることで、距離が近いレンジに含まれる物体を高精度かつ高速に検出・識別できる。
またＳＳＤは、処理速度はＹＯＬＯに劣るが、小さい物体まで高精度に検出できるという利点がある。画像に含まれる物体は、物体までの距離が長い方が小さいため、ＳＳＤを用いることで、距離が遠いレンジに含まれる物体を高精度に検出・識別できる。
図８の物体識別システム１０の利点は、比較技術との対比によって明確となる。比較技術では、レンジにかかわらず、高精度なアルゴリズム（ＳＳＤ）の分類器によって処理する。図１０（ｂ）には、比較技術に係る物体識別システムの動作を説明するタイムチャートである。すべての画像ＩＭＧ１，ＩＭＧ２に対してＳＳＤアルゴリズムを適用すれば、物体の距離にかかわらず高精度な検出が可能である。しかしながら、すべてのレンジについて物体認識を行うのに要する検出時間が、図１０（ａ）と比べて長くなる。言い換えれば、比較技術ではフレームレートが低下することを意味する。比較技術において高いフレームレートを実現しようとすれば、演算処理装置４０に高速なＣＰＵやマイコンが必要となり、物体識別システム１０のコストが高くなる。
翻って実施の形態２に係る物体識別システム１０によれば、複数のアルゴリズムを組み合わせることにより、それほど高価（高速な）なハードウェアを用いなくても、高い検出精度と、高いフレームレートを両立させることができる。
図１１は、物体識別システム１０を備える自動車のブロック図である。自動車３００は、前照灯３０２Ｌ，３０２Ｒを備える。物体識別システム１０は、前照灯３０２Ｌ，３０２Ｒの少なくとも一方に内蔵される。前照灯３０２は、車体の最も先端に位置しており、周囲の物体を検出する上で、ゲーティングカメラ２０の設置箇所として最も有利である。
図１２は、物体検出システム２１０を備える車両用灯具２００を示すブロック図である。車両用灯具２００は、車両側ＥＣＵ３０４とともに灯具システム３１０を構成する。車両用灯具２００は、光源２０２、点灯回路２０４、光学系２０６を備える。さらに車両用灯具２００には、物体検出システム２１０が設けられる。物体検出システム２１０は、上述の物体識別システム１０に対応しており、ゲーティングカメラ２０および演算処理装置４０を含む。
演算処理装置４０が検出した物体ＯＢＪに関する情報は、車両用灯具２００の配光制御に利用してもよい。具体的には、灯具側ＥＣＵ２０８は、演算処理装置４０が生成する物体ＯＢＪの種類とその位置に関する情報にもとづいて、適切な配光パターンを生成する。点灯回路２０４および光学系２０６は、灯具側ＥＣＵ２０８が生成した配光パターンが得られるように動作する。
また演算処理装置４０が検出した物体ＯＢＪに関する情報は、車両側ＥＣＵ３０４に送信してもよい。車両側ＥＣＵは、この情報にもとづいて、自動運転を行ってもよい。
続いて、実施の形態２に関連する変形例を説明する。
（変形例１）
Ｍ＝２，Ｎ≧３である場合、１番目～ｋ番目のレンジＲＮＧ１～ＲＮＧｋの画像ＩＭＧ１～ＩＭＧｋの処理に、ＹＯＬＯアルゴリズムの分類器４２＿１を割り当て、ｋ＋１番目～Ｎ番目のレンジＲＮＧｋ＋１～ＲＮＧＮの画像ＩＭＧｋ＋１～ＩＭＧＮの処理に、ＳＳＤアルゴリズムの分類器４２＿２を割り当てるとよい。
（変形例２）
実施の形態２では、複数のアルゴリズムとして、ＹＯＬＯとＳＳＤを説明したが、その限りでない。物体認識のアルゴリズムとしては、R-CNN（Region-based Convolutional Neural Network）、SPPnet（Spatial Pyramid Pooling）、Faster R-CNN、DSSD（Deconvolution -SSD）、Mask R-CNNなどが知られており、それらのいずれかを採用することができ、あるいは、将来開発されるアルゴリズムを採用してもよいことはいうまでもない。
III 本発明の第３側面
III－１． 概要
本発明の第３側面に関連するある実施の形態は、物体識別システムに関する。物体識別システムは、奥行き方向について複数のレンジに区切り、レンジ毎に、投光と露光の時間差を変化させて撮影するゲーティングカメラと、ゲーティングカメラによって得られる複数のレンジに対応する複数の画像を、レンジ毎に規定された係数でスケーリングするスケーラと、スケーリング後の複数の画像それぞれにもとづいて、物体の種類を識別可能な分類器と、を備える。
この態様によると、分類器に入力される複数の画像において、同じ物体のサイズを揃えることができる。これにより分類器の識別力を高め、あるいは学習コストを下げることができる。
係数は、近いレンジほど小さく、遠いレンジほど大きくてもよい。
複数のレンジのひとつを基準レンジとしてもよい。基準レンジの係数を１とし、基準レンジより近いレンジの係数は１より小さく、基準レンジより遠いレンジの係数は１より大きく定めてもよい。これによりスケーラの処理を簡素化できる。また、学習に際しては、基準レンジに物体を配置して撮影した画像を重点化的に用いればよく、基準レンジ以外に物体を配置した撮影の回数を減らすことができる。
III－２． 詳細な説明
以下、本発明の第３側面を、好適な実施の形態をもとに図面を参照しながら説明する。
図１３は、実施の形態３に係る物体識別システム１０のブロック図である。この物体識別システム１０は、自動車やバイクなどの車両に搭載され、車両の周囲に存在する物体ＯＢＪの種類（カテゴリ）を判定する。
物体識別システム１０は、主としてゲーティングカメラ２０および演算処理装置４０を備える。ゲーティングカメラ２０は、投光器２２、イメージセンサ２４、コントローラ２６を含む。ゲーティングカメラ２０による撮像は、奥行き方向について複数Ｎ個（Ｎ≧２）のレンジＲＮＧ１～ＲＮＧＮに区切って行われる。隣接するレンジ同士は、それらの境界において奥行き方向にオーバーラップしてもよい。
投光器２２は、コントローラ２６から与えられる投光タイミング信号Ｓ１と同期して、プローブ光Ｌ１を車両前方に照射する。プローブ光Ｌ１は赤外光であることが好ましいが、その限りでなく、所定の波長を有する可視光であってもよい。
イメージセンサ２４は、コントローラ２６から与えられる撮影タイミング信号Ｓ２と同期した露光制御が可能であり、画像ＩＭＧを生成可能に構成される。イメージセンサ２４は、プローブ光Ｌ１と同じ波長に感度を有しており、物体ＯＢＪが反射した反射光（戻り光）Ｌ２を撮影する。
コントローラ２６は、レンジ毎ＲＮＧに、投光タイミング信号Ｓ１と撮影タイミング信号Ｓ２を変化させて、投光器２２による投光と、イメージセンサ２４の露光の時間差を変化させる。ゲーティングカメラ２０は、複数のレンジＲＮＧ１～ＲＮＧＮに対応する複数の画像ＩＭＧ１～ＩＭＧＮを生成する。ｉ番目の画像ＩＭＧｉには、対応するレンジＲＮＧｉに含まれる物体のみが写ることとなる。
図１４は、ゲーティングカメラ２０の動作を説明する図である。図１４にはｉ番目のレンジＲＮＧｉを測定するときの様子が示される。投光器２２は、投光タイミング信号Ｓ１と同期して、時刻ｔ０～ｔ１の間の発光期間τ１の間、発光する。最上段には、横軸に時間、縦軸に距離をとった光線のダイアグラムが示される。ゲーティングカメラ２０から、レンジＲＮＧｉの手前の境界までの距離をｄＭＩＮｉ、レンジＲＮＧｉの奥側の境界までの距離をｄＭＡＸｉとする。
ある時刻に投光器２２を出発した光が、距離ｄＭＩＮｉに到達してその反射光がイメージセンサ２４に戻ってくるまでのラウンドトリップ時間ＴＭＩＮｉは、
ＴＭＩＮｉ＝２×ｄＭＩＮｉ／ｃ
である。ｃは光速である。
同様に、ある時刻に投光器２２を出発した光が、距離ｄＭＡＸｉに到達してその反射光がイメージセンサ２４に戻ってくるまでのラウンドトリップ時間ＴＭＡＸｉは、
ＴＭＡＸｉ＝２×ｄＭＡＸｉ／ｃ
である。
レンジＲＮＧｉに含まれる物体ＯＢＪのみを撮影したいとき、コントローラ２６は、時刻ｔ２＝ｔ０＋ＴＭＩＮｉに露光を開始し、時刻ｔ３＝ｔ１＋ＴＭＡＸｉに露光を終了するように、撮影タイミング信号Ｓ２を生成する。これが１回の露光動作である。
ｉ番目のレンジＲＮＧｉを撮影する際に、複数回の露光を行ってもよい。この場合、コントローラ２６は、所定の周期τ２で、上述の露光動作を複数回にわたり繰り返せばよい。
図１５（ａ）、（ｂ）は、ゲーティングカメラ２０により得られる画像を説明する図である。図１５（ａ）の例では、レンジＲＮＧ２に物体（歩行者）ＯＢＪ２が存在し、レンジＲＮＧ３に物体（車両）ＯＢＪ３が存在している。図１５（ｂ）には、図１５（ａ）の状況で得られる複数の画像ＩＭＧ１～ＩＭＧ３が示される。画像ＩＭＧ１を撮影するとき、イメージセンサはレンジＲＮＧ１からの反射光のみにより露光されるため、画像ＩＭＧ１にはいかなる物体も写らない。
画像ＩＭＧ２を撮影するとき、イメージセンサはレンジＲＮＧ２からの反射光のみにより露光されるため、画像ＩＭＧ２には、物体ＯＢＪ２のみが写る。同様に画像ＩＭＧ３を撮影するとき、イメージセンサはレンジＲＮＧ３からの反射光のみにより露光されるため、画像ＩＭＧ３には、物体ＯＢＪ３のみが写る。このようにゲーティングカメラ２０によれば、レンジごとに物体を分離して撮影することができる。
図１３に戻る。演算処理装置４０は、ゲーティングカメラ２０によって得られる複数のレンジＲＮＧ１～ＲＮＧＮに対応する複数の画像ＩＭＧ１～ＩＭＧＮにもとづいて、物体の種類を識別可能に構成される。演算処理装置４０は、機械学習によって生成されたモデルにもとづいて実装される分類器４２を備える。分類器４２のアルゴリズムは特に限定されないが、ＹＯＬＯ（You Only Look Once）とＳＳＤ（Single Shot MultiBox Detector）、R-CNN（Region-based Convolutional Neural Network）、SPPnet（Spatial Pyramid Pooling）、Faster R-CNN、DSSD（Deconvolution -SSD）、Mask R-CNNなどを採用することができ、あるいは、将来開発されるアルゴリズムを採用できる。
演算処理装置４０は、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）、マイコンなどのプロセッサ（ハードウェア）と、プロセッサ（ハードウェア）が実行するソフトウェアプログラムの組み合わせで実装することができる。演算処理装置４０は、複数のプロセッサの組み合わせであってもよい。あるいは演算処理装置４０はハードウェアのみで構成してもよい。
本発明者は、分類器４２のトレーニングについて検討した結果、以下の課題を認識するに至った。
分類器４２のトレーニングには、膨大な数の学習データ（トレーニングデータ）が用いられる。学習データには、ゲーティングカメラあるいは通常のカメラによって撮影された画像データが用いられる。
図１６（ａ）、（ｂ）は、ゲーティングカメラ２０により得られる画像を説明する図である。図１６（ａ）に示すように、同じ物体（ここでは歩行者とする）ＯＢＪが異なるレンジに存在する状況を考える。ゲーティングカメラ２０はそれ自身のセンササイズおよび光学系で定まる水平画角（視野角）θおよび垂直画角を有する。ゲーティングカメラ２０は、レンジにかかわらず同じ画角で撮影するため、異なる距離に位置する同じ物体を撮影すると、物体までの距離によって撮影倍率が異なることとなる。したがって図１６（ｂ）に示すように、遠くの物体ほど小さく、近くの物体ほど大きく写ることとなる。なお、この特徴はゲーティングカメラに限ったものではなく、通常のカメラで撮影した場合も同様である。
演算処理装置４０には、画像ＩＭＧ１～ＩＭＧ３のいずれに対しても、それぞれに含まれる物体ＯＢＪ１～ＯＢＪ３を歩行者に分類する識別力が要求される。このためには、あるカテゴリの物体を、異なる複数の距離で撮影した画像を用意し、それらを学習データとして用いる手法が採られる。また、ある距離で物体を撮影した基本画像を、拡大あるいは縮小して複数の画像を生成し、それらを学習データとして用いる手法も採られる（かさ増しという）。
しかしながら、これらの手法は学習コストの増加となりうる。また、これらの手法を採ったとしても、やはり十分な認識率が得られないケースが想定される。
そこで本実施の形態３では、図１３に示すように、演算処理装置４０は、分類器４２の前段に設けられたスケーラ４６を備える。スケーラ４６は、ゲーティングカメラ２０によって得られる複数のレンジＲＮＧ１～ＲＮＧＮに対応する複数の画像ＩＭＧ１～ＩＭＧＮを、レンジＲＮＧ＃（＃＝１，２，…Ｎ）ごとに規定された係数Ｋ＃でスケーリングする。レンジと係数の関係は、テーブルに保持しておいてもよいし、演算式の形で保持しておいてもよい。
図１７（ａ）～（ｃ）は、スケーラ４６によるスケーリング処理の一例を説明する図である。この例では、Ｎ＝３である。係数Ｋ１～Ｋ３は、スケーリング処理後の画像ＩＭＧｓ１～ＩＭＧｓ３に含まれる物体ＯＢＪの大きさ（縦横のピクセル数ｘ、ｙ）が近づくように定められる。
複数のレンジから、基準レンジを選択してもよい。そして基準レンジの係数を１、もしくはその近傍に定める。レンジＲＮＧ＃が基準レンジであり、係数Ｋ＃＝１であるとき、ＩＭＧ＃＝ＩＭＧｓ＃とすることができる。この例では、中央のレンジＲＮＧ２が基準レンジであり、係数Ｋ２が１に選ばれる。
基準レンジよりもゲーティングカメラ２０からの距離が近いレンジについては、Ｋ＜１となる。係数Ｋ＃＜１の場合、元の画像ＩＭＧ＃が縮小される。縮小する際には、画素を間引いてもよい。結果として得られる画像ＩＭＧｓ＃のピクセル数は、元の画像ＩＭＧ＃に比べて減少する。図１７（ａ）の例では、Ｋ１＝０．８に選ばれる。
基準レンジよりもゲーティングカメラ２０からの距離が遠いレンジについては、Ｋ＞１となる。係数Ｋ＃＞１の場合、元の画像ＩＭＧ＃が拡大される。拡大する際には、画素補間を行えばよい。結果として得られる画像ＩＭＧｓ＃のピクセル数は、元の画像ＩＭＧ＃に比べて増加する。図１７（ｃ）の例では、Ｋ３＝１．４に選ばれている。
図１３に戻る。分類器４２には、スケーラ４６によるスケーリング処理後の画像データＩＭＧｓ１～ＩＭＧｓＮが入力される。分類器４２は、画像データＩＭＧｓ１～ＩＭＧｓＮそれぞれにもとづいて、各画像データに含まれる物体ＯＢＪの種類を識別する。
以上が物体識別システム１０の構成である。この物体識別システム１０では、分類器４２に入力される画像は、同じ物体が同じサイズ（ピクセル数）に近づくようにスケーリングされる。したがって分類器４２は、物体までの距離に依存せずに、物体を検出し、そのカテゴリを識別することが可能となる。これは、分類器４２の識別率（正答率）の改善をもたらす。
この物体識別システム１０を採用することで、分類器４２の学習コストを下げることができるという利点もある。すなわち、学習時には、スケーリングの係数が１に近いレンジに重点的に物体を配置し、そのときに得られた画像を学習データとして分類器４２のパラメータの最適化に利用すればよく、スケーリングの係数が１から大きく外れたレンジについては、撮影の回数を減らすことができる。
図１８は、物体識別システム１０を備える自動車のブロック図である。自動車３００は、前照灯３０２Ｌ，３０２Ｒを備える。物体識別システム１０は、前照灯３０２Ｌ，３０２Ｒの少なくとも一方に内蔵される。前照灯３０２は、車体の最も先端に位置しており、周囲の物体を検出する上で、ゲーティングカメラ２０の設置箇所として最も有利である。
図１９は、物体検出システム２１０を備える車両用灯具２００を示すブロック図である。車両用灯具２００は、車両側ＥＣＵ３０４とともに灯具システム３１０を構成する。車両用灯具２００は、光源２０２、点灯回路２０４、光学系２０６を備える。さらに車両用灯具２００には、物体検出システム２１０が設けられる。物体検出システム２１０は、上述の物体識別システム１０に対応しており、ゲーティングカメラ２０および演算処理装置４０を含む。
演算処理装置４０が検出した物体ＯＢＪに関する情報は、車両用灯具２００の配光制御に利用してもよい。具体的には、灯具側ＥＣＵ２０８は、演算処理装置４０が生成する物体ＯＢＪの種類とその位置に関する情報にもとづいて、適切な配光パターンを生成する。点灯回路２０４および光学系２０６は、灯具側ＥＣＵ２０８が生成した配光パターンが得られるように動作する。
また演算処理装置４０が検出した物体ＯＢＪに関する情報は、車両側ＥＣＵ３０４に送信してもよい。車両側ＥＣＵは、この情報にもとづいて、自動運転を行ってもよい。
続いて、実施の形態３に関連する変形例を説明する。
（変形例１）
実施の形態では、複数のレンジのうち中央付近のレンジを基準にとり、基準レンジの係数を１、それ以外のレンジの係数を１より小さく、あるいは大きくしたがその限りでない。たとえば手前のレンジを基準レンジとし、奥側のレンジの係数を１より大きくしてもよい。反対に、たとえば一番奥側のレンジを基準レンジとし、それより手前側のレンジの係数を１より小さくしてもよい。
（変形例２）
基準レンジを１個としたが、基準レンジを複数としてもよい。図２０を参照して変形例２を説明する。図２０（ａ）、（ｂ）は、ゲーティングカメラ２０により得られる画像を説明する図である。ここではレンジの数Ｎを４個としている。複数のレンジは、複数のセットに分けられる。各セットは、少なくともひとつのレンジを含み、基準レンジは、セット毎に設けられる。たとえば、ＲＮＧ１，ＲＮＧ２を第１のセット、ＲＮＧ３，ＲＮＧ４を第２のセットに定める。第１のセットに着目すると、それに含まれるレンジＲＮＧ１，ＲＮＧ２のひとつを基準レンジと定め、残りのレンジの係数を、物体のサイズが基準レンジのそれに近づくように定めればよい。
同様に、第２のセットに着目すると、それに含まれるレンジＲＮＧ３，ＲＮＧ４の一方を基準レンジと定め、残りのレンジの係数を、物体のサイズが基準レンジのそれに近づくように定めればよい。
変形例２では、レンジのセット毎に、基準レンジに物体が位置する状況で得られた画像を用いて重点的に用いて機械学習を行えばよい。
IV 本発明の第４側面
IV－１． 概要
本発明の第４側面に関連するある実施の形態は、物体識別システムに関する。物体識別システムは、奥行き方向について複数のレンジに区切り、レンジ毎に、投光と露光の時間差を変化させて撮影し、複数のレンジに対応する複数の画像を生成するゲーティングカメラと、画像ごとに物体が存在しうる領域が限定されているとの制約条件のもと、複数の画像それぞれに含まれる物体の種類を識別可能に構成される演算処理装置と、を備える。
識別対象の物体は、その種類ごとに、存在する位置が制限される。たとえば歩行者や自動車の交通参加者は地上に存在しており、空中には存在しない。つまり、画像内で交通参加者等が存在しうる位置は、地上付近の領域内に制約される。ゲーティングカメラにおいて、複数の画像が同じ画角で撮影される場合、カメラからの距離ごと、すなわち画像ごとに、地上付近の領域が変化する。
そこで一実施の形態では、画像ごとに固有の興味領域を定めておき、分類器の画像処理の範囲を制限することで、演算処理量を削減できる。
物体識別システムは、複数の画像それぞれについて、興味領域内の画像をトリミングする前処理部と、前処理部の出力を処理する分類器と、を含んでもよい。この場合、分類器に与えられる画像のサイズが小さくなるため、演算処理量を削減できる。
物体識別システムは、複数の画像それぞれについて、興味領域外の画像をマスクする前処理部と、前処理部の出力を処理する分類器と、を含んでもよい。前処理部は、興味領域外を、単一色で塗りつぶしてもよい。
また別の実施の形態において、分類器の後段あるいは内部において、物体の種類の判断に、物体の位置情報を反映させてもよい。
演算処理装置は、複数の画像それぞれについて、それに含まれる物体の種類と位置を検出し、複数の画像に対応する複数の検出データを生成する分類器と、複数の検出データを受け、各検出データに含まれる物体の位置が、元の画像に固有の興味領域に含まれるか否かを判定する後処理部と、を含んでもよい。
興味領域は、近いレンジの画像ほど大きく、遠いレンジの画像ほど小さくてもよい。
興味領域は、遠いレンジの画像ほど高さが小さくてもよい。これにより、地上付近の物体を検出するための演算処理量を削減できる。
興味領域は、遠いレンジの画像ほど幅が狭くてもよい。
IV－２． 詳細な説明
以下、本発明の第４側面を、好適な実施の形態をもとに図面を参照しながら説明する。
（実施の形態４－１）
図２１は、実施の形態４－１に係る物体識別システム１０のブロック図である。この物体識別システム１０は、自動車やバイクなどの車両に搭載され、車両の周囲に存在する物体ＯＢＪの種類（カテゴリあるいはクラスともいう）を判定する。
物体識別システム１０は、主としてゲーティングカメラ２０および演算処理装置４０を備える。ゲーティングカメラ２０は、投光器２２、イメージセンサ２４、コントローラ２６を含む。ゲーティングカメラ２０による撮像は、奥行き方向について複数Ｎ個（Ｎ≧２）のレンジＲＮＧ１～ＲＮＧＮに区切って行われる。隣接するレンジ同士は、それらの境界において奥行き方向にオーバーラップしてもよい。
投光器２２は、コントローラ２６から与えられる投光タイミング信号Ｓ１と同期して、プローブ光Ｌ１を車両前方に照射する。プローブ光Ｌ１は赤外光であることが好ましいが、その限りでなく、所定の波長を有する可視光であってもよい。
イメージセンサ２４は、コントローラ２６から与えられる撮影タイミング信号Ｓ２と同期した露光制御が可能であり、画像ＩＭＧを生成可能に構成される。イメージセンサ２４は、プローブ光Ｌ１と同じ波長に感度を有しており、物体ＯＢＪが反射した反射光（戻り光）Ｌ２を撮影する。
コントローラ２６は、レンジＲＮＧごとに、投光タイミング信号Ｓ１と撮影タイミング信号Ｓ２を変化させて、投光器２２による投光と、イメージセンサ２４の露光の時間差を変化させる。ゲーティングカメラ２０は、複数のレンジＲＮＧ１～ＲＮＧＮに対応する複数の画像ＩＭＧ１～ＩＭＧＮを生成する。ｉ番目の画像ＩＭＧｉには、対応するレンジＲＮＧｉに含まれる物体のみが写ることとなる。
図２２は、ゲーティングカメラ２０の動作を説明する図である。図２２にはｉ番目のレンジＲＮＧｉを測定するときの様子が示される。投光器２２は、投光タイミング信号Ｓ１と同期して、時刻ｔ０～ｔ１の間の発光期間τ１の間、発光する。最上段には、横軸に時間、縦軸に距離をとった光線のダイアグラムが示される。ゲーティングカメラ２０から、レンジＲＮＧｉの手前の境界までの距離をｄＭＩＮｉ、レンジＲＮＧｉの奥側の境界までの距離をｄＭＡＸｉとする。
ある時刻に投光器２２を出発した光が、距離ｄＭＩＮｉに到達してその反射光がイメージセンサ２４に戻ってくるまでのラウンドトリップ時間ＴＭＩＮｉは、
ＴＭＩＮｉ＝２×ｄＭＩＮｉ／ｃ
である。ｃは光速である。
同様に、ある時刻に投光器２２を出発した光が、距離ｄＭＡＸｉに到達してその反射光がイメージセンサ２４に戻ってくるまでのラウンドトリップ時間ＴＭＡＸｉは、
ＴＭＡＸｉ＝２×ｄＭＡＸｉ／ｃ
である。
レンジＲＮＧｉに含まれる物体ＯＢＪのみを撮影したいとき、コントローラ２６は、時刻ｔ２＝ｔ０＋ＴＭＩＮｉに露光を開始し、時刻ｔ３＝ｔ１＋ＴＭＡＸｉに露光を終了するように、撮影タイミング信号Ｓ２を生成する。これが１回の露光動作である。
ｉ番目のレンジＲＮＧｉを撮影する際に、複数回の露光を行ってもよい。この場合、コントローラ２６は、所定の周期τ２で、上述の露光動作を複数回にわたり繰り返せばよい。
図２３（ａ）、（ｂ）は、ゲーティングカメラ２０により得られる画像を説明する図である。図２３（ａ）の例では、レンジＲＮＧ２に物体（歩行者）ＯＢＪ２が存在し、レンジＲＮＧ３に物体（車両）ＯＢＪ３が存在している。図２３（ｂ）には、図２３（ａ）の状況で得られる複数の画像ＩＭＧ１～ＩＭＧ３が示される。画像ＩＭＧ１を撮影するとき、イメージセンサはレンジＲＮＧ１からの反射光のみにより露光されるため、画像ＩＭＧ１にはいかなる物体も写らない。
画像ＩＭＧ２を撮影するとき、イメージセンサはレンジＲＮＧ２からの反射光のみにより露光されるため、画像ＩＭＧ２には、物体ＯＢＪ２のみが写る。同様に画像ＩＭＧ３を撮影するとき、イメージセンサはレンジＲＮＧ３からの反射光のみにより露光されるため、画像ＩＭＧ３には、物体ＯＢＪ３のみが写る。このようにゲーティングカメラ２０によれば、レンジごとに物体を分離して撮影することができる。
図２１に戻る。演算処理装置４０は、ゲーティングカメラ２０によって得られる複数のレンジＲＮＧ１～ＲＮＧＮに対応する複数の画像ＩＭＧ１～ＩＭＧＮにもとづいて、物体の種類を識別可能に構成される。演算処理装置４０は、機械学習によって生成された学習済みモデルにもとづいて実装される分類器４２を備える。分類器４２のアルゴリズムは特に限定されないが、ＹＯＬＯ（You Only Look Once）とＳＳＤ（Single Shot MultiBox Detector）、R-CNN（Region-based Convolutional Neural Network）、SPPnet（Spatial Pyramid Pooling）、Faster R-CNN、DSSD（Deconvolution -SSD）、Mask R-CNNなどを採用することができ、あるいは、将来開発されるアルゴリズムを採用できる。
演算処理装置４０は、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）、マイコンなどのプロセッサ（ハードウェア）と、プロセッサ（ハードウェア）が実行するソフトウェアプログラムの組み合わせで実装することができる。演算処理装置４０は、複数のプロセッサの組み合わせであってもよい。あるいは演算処理装置４０はハードウェアのみで構成してもよい。
画像ごと、すなわちレンジ毎に、固有の興味領域（ＲＯＩ：Region Of Interest）が定められる。ＲＯＩは、物体が存在しうる領域である。ｉ番目（ｉ＝１，２，…Ｎ）の画像に対応するＲＯＩを、ＲＯＩｉと表記する。分類器４２は、各画像ＩＭＧｉについて、物体ＯＢＪが存在しうる位置が、画像ＩＭＧｉに固有のＲＯＩｉ内に限定されているとの制約条件のもと、画像ＩＭＧｉに含まれる物体の種類を識別する。
たとえば、分類器４２の出力（検出データという）ＯＵＴｉ（ｉ＝１，２，…Ｎ）は、ｉ番目の画像データＩＭＧｉに含まれる各物体の位置情報と、その種類（カテゴリ）の情報を含む。種類の情報は、複数の種類それぞれに該当する可能性（確率）を示してもよいし、最も確率が高い種類の識別子を含んでもよい。
図２４（ａ）、（ｂ）は、ＲＯＩを説明する図である。図２４（ａ）は横から見た図であり、図２４（ｂ）にはゲーティングカメラ２０により撮影される画像が示される。図２４（ａ）に示すように、ゲーティングカメラ２０による撮像範囲が画角換算で水平軸を中心に上下に±θであるとする。地面２の高さをゼロとしたとき、ｉ番目のレンジＲＮＧｉの画像ＩＭＧｉには、高さＨｉより下の範囲の物体が写る。
一方、歩行者や自動車が存在する範囲は、所定の範囲（０～ＨＲＯＩ）に限定される。そうすると、ＨＲＯＩ～Ｈｉの範囲には、検出対称の物体は存在しないとみなすことができる。したがって図２４（ｂ）に示すように、各画像ＩＭＧｉについて、ＨＲＯＩより下の範囲をＲＯＩｉとし、ＨＲＯＩより上の範囲を除外領域（ハッチング）とすることができる。具体的にはｉ番目の画像ＩＭＧｉについて、下端からＨＲＯＩ／Ｈｉの割合の範囲をＲＯＩｉとすればよい。ＲＯＩは、近いレンジの画像ほど大きく、遠いレンジの画像ほど小さくなる。
ゲーティングカメラ２０のイメージセンサ２４の地上高をｈｃとする。またイメージセンサ２４からｉ番目のレンジＲＮＧｉの奥側の境界までの距離をｄＭＡＸｉとする。この場合、
Ｈｉ＝ｈｃ＋ｄＭＡＸｉ×ｔａｎθ
となる。
図２１に戻る。本実施の形態において、分類器４２の前段には、前処理部４６が設けられる。前処理部４６は、各画像ＩＭＧｉからＲＯＩ内の画像をトリミングする。分類器４２は前処理部４６の出力であるトリミング画像ＩＭＧｔ１～ＩＭＧｔＮを処理する。
以上が物体識別システム１０の構成である。続いてその動作を説明する。図２５（ａ）、（ｂ）は、図２１の物体識別システム１０の動作を説明する図である。図２５（ａ）はｉ番目のレンジの画像ＩＭＧｉを、図２５（ｂ）は、トリミング後の画像ＩＭＧｔｉを示す。
図２５（ａ）の画像ＩＭＧｉには、３個の図形Ｘ，Ｙ，Ｘが写っている。そのうち図形ＸはＲＯＩｉ内に含まれており、図形Ｙ，Ｚは、ＲＯＩｉ外である。したがって図形ＹやＺが、歩行者や自動車である可能性は低い。
図２５（ｂ）に示すように、前処理部４６によってトリミングされた画像ＩＭＧｔｉには、図形Ｘのみが含まれる。分類器４２によって、トリミング後の画像を処理することにより、図形Ｙ，Ｚについては、演算処理の対象から除外され、図形Ｘのみが識別処理の対象となる。これにより演算処理装置４０の演算処理量を削減できる。
また、図形Ｙ，Ｚを処理の対象から除外することにより、図形Ｙ，Ｚが、自動車や歩行者と誤って認識されることを防止できる。すなわち、物体識別システム１０の識別率を改善することができる。
（実施の形態４－２）
実施の形態４－１では、分類器４２の前処理によって、演算処理の対象をＲＯＩ内に制限したがその限りでない。実施の形態４－２では、分類器４２の後処理、あるいは内部処理によって、物体ＯＢＪが存在しうる位置が、複数の画像それぞれに固有の興味領域内に限定されているとの制約条件を課す。
図２６は、実施の形態４－２に係る物体識別システム１０Ａのブロック図である。演算処理装置４０Ａは、分類器４２の後段に設けられた後処理部４８を備える。分類器４２は、ゲーティングカメラ２０が生成する複数の画像ＩＭＧ１～ＩＭＧＮそれぞれについて、各画像に含まれる物体の位置と種類を示す検出データＯＵＴ１～ＯＵＴＮを生成する。後処理部４８は、分類器４２が生成する検出データＯＵＴ１～ＯＵＴＮを受ける。後処理部４８は、各検出データＯＵＴｉ（ｉ＝１～Ｎ）について、それに含まれる物体の位置が、元の画像ＩＭＧｉに固有のＲＯＩｉに含まれるか否かを判定する。そして物体の位置が、ＲＯＩｉ外であるとき、その物体を削除する。
図２７（ａ）、（ｂ）は、図２６の物体識別システム１０Ａの動作を説明する図である。図２７（ａ）は、ｉ番目のレンジに関する検出データＯＵＴｉを画像データとして模式的に示す図である。検出データＯＵＴｉは、２個のバウンディングボックスＸ，Ｙを含む。一方のバウンディングボックスＸに含まれる物体は、歩行者（Human）である確率が９０％と判定されており、別のバウンディングボックスＹに含まれる物体は、自動車（Car）である確率が８０％と判定されている。
上述のように自動車は、ＲＯＩ外に存在する可能性は低い。したがって、ＲＯＩ外に位置するバウンディングボックスＹに含まれる物体が自動車である確率は低いといえる。そこで後処理部４８は、ＲＯＩ外の物体を削除し、削除後の検出データＯＵＴｉ’を出力する。
実施の形態４－２によれば、分類器４２における演算処理量を減らすことはできないが、物体の識別率を改善できる。
続いて、実施の形態４－１，４－２に関連する変形例を説明する。
（変形例１）
図２８（ａ）、（ｂ）は、ＲＯＩの変形例を説明する図である。図２８（ａ）に示すように、各画像には、地面より下が含まれる場合がある。この場合において図２８（ｂ）に示すように、各画像の上側の範囲（ＨＲＯＩ～Ｈｉ）に加えて、地面２より下側の範囲（＜０）についても、物体が存在しえない領域として扱ってもよい。これにより、演算処理装置４０における演算処理量をさらに減らすことができる。
（変形例２）
これまでの説明では、物体が存在し得ない範囲を除外したが、その限りでなく、物体が存在したとしても検出する必要がない領域を定めておいてもよい。図２９（ａ）、（ｂ）は、ＲＯＩの変形例を説明する図である。図２９（ａ）は上から見た図であり、図２９（ｂ）にはゲーティングカメラ２０により撮影される画像が示される。
車載用途では、物体を検出すべき範囲を、左右方向にも制限することができる。たとえば自車から数十ｍも横方向に離れた歩行者は、直ちに検出する必要は無いと言える。そこで、自車を中心として、横方向に検出範囲を定め、各画像ＩＭＧｉについて、検出範囲に対応する部分をＲＯＩｉとしてもよい。これにより、演算処理量をさらに減らすことができる。
もちろん、上下方向のトリミングと左右方向のトリミングとを組み合わせてもよい。
（変形例３）
実施の形態４－１において、前処理部４６の処理は上述のそれに限定されない。前処理部４６は、各画像ＩＭＧｉから、ＲＯＩ外の画像をマスクしてもよい。たとえば前処理部４６は、ＲＯＩ外を、単一色（たとえば黒や白）で塗りつぶしてもよい。分類器４２は、マスク後の画像ＩＭＧｍｉを処理対象とする。図３０（ａ）、（ｂ）は、変形例３に係る物体識別システム１０の動作を説明する図である。
図３０（ａ）の画像ＩＭＧｉには、３個の図形Ｘ，Ｙ，Ｘが写っている。そのうち図形ＸはＲＯＩ内に含まれており、図形Ｙ，Ｚは、ＲＯＩ外である。したがって図形ＹやＺが、歩行者や自動車である可能性は低い。
図３０（ｂ）に示すように、前処理部４６が、ＲＯＩ外をマスクすることにより、マスク後の画像ＩＭＧｍｉからは図形Ｙ，Ｚが除去される。分類器４２によって、マスク後の画像ＩＭＧｍｉを処理することにより、図形Ｙ，Ｚについては、演算処理の対象から除外され、図形Ｘのみが識別処理の対象となる。これにより演算処理装置４０の演算処理量を削減できる。
（変形例４）
実施の形態では、レンジの異なる画像を、同じ分類器４２で処理したがその限りでなく、レンジ毎に異なる分類器を用いてもよい。
（用途）
図３１は、物体識別システム１０を備える自動車のブロック図である。自動車３００は、前照灯３０２Ｌ，３０２Ｒを備える。物体識別システム１０は、前照灯３０２Ｌ，３０２Ｒの少なくとも一方に内蔵される。前照灯３０２は、車体の最も先端に位置しており、周囲の物体を検出する上で、ゲーティングカメラ２０の設置箇所として最も有利である。
図３２は、物体検出システム２１０を備える車両用灯具２００を示すブロック図である。車両用灯具２００は、車両側ＥＣＵ３０４とともに灯具システム３１０を構成する。車両用灯具２００は、光源２０２、点灯回路２０４、光学系２０６を備える。さらに車両用灯具２００には、物体検出システム２１０が設けられる。物体検出システム２１０は、上述の物体識別システム１０に対応しており、ゲーティングカメラ２０および演算処理装置４０を含む。
演算処理装置４０が検出した物体ＯＢＪに関する情報は、車両用灯具２００の配光制御に利用してもよい。具体的には、灯具側ＥＣＵ２０８は、演算処理装置４０が生成する物体ＯＢＪの種類とその位置に関する情報にもとづいて、適切な配光パターンを生成する。点灯回路２０４および光学系２０６は、灯具側ＥＣＵ２０８が生成した配光パターンが得られるように動作する。
また演算処理装置４０が検出した物体ＯＢＪに関する情報は、車両側ＥＣＵ３０４に送信してもよい。車両側ＥＣＵは、この情報にもとづいて、自動運転を行ってもよい。
V 本発明の第５側面
V－１． 概要
本発明の第５側面に関連するある実施の形態は、物体識別システムに関する。物体識別システムは、奥行き方向について複数のレンジに区切り、レンジ毎に、投光と露光の時間差を変化させて撮影し、複数のレンジに対応する複数の画像を生成するゲーティングカメラと、レンジ毎に、対応する画像に写る物体像のサイズの許容範囲が規定されており、許容範囲にもとづいて各画像に写る物体像の種類を識別可能に構成される演算処理装置と、を備える。
画像に写る物体像のサイズは、物体までの距離に応じて変化する。撮像デバイスとしてゲーティングカメラを用いる場合、一枚の画像に含まれる物体までの距離は、対応するレンジの奥行き方向の情報から得ることができる。つまり、あるレンジに位置する物体を写したときに、画像に写る物体像のサイズは、ある範囲に制約される。そこで、この範囲を許容範囲として定めておくことにより、物体の識別率を高め、あるいは演算処理量を削減できる。
演算処理装置は、複数の画像それぞれについて、それに写る物体像の種類とサイズを検出し、複数の画像に対応する複数の検出データを生成する分類器と、複数の検出データを受け、各検出データに含まれる物体像のサイズが、許容範囲に含まれるか否かを判定する後処理部と、を含んでもよい。
演算処理装置は、複数の画像それぞれについて、それに写る物体像ごとのサブ画像に切り分ける前処理部と、前処理部により切り分けられたサブ画像のサイズが許容範囲に含まれる場合に、当該サブ画像に含まれる物体像の種類を判定する分類器と、を含んでもよい。
許容範囲は、垂直方向について規定されてもよい。許容範囲は、横方向について規定されてもよい。
許容範囲は、物体像の種類ごとに個別に規定されてもよい。これにより物体の識別率をさらに高めることができる。
許容範囲は、近いレンジほど大きく、遠いレンジほど小さくてもよい。許容範囲は、遠いレンジほど高さが小さくてもよい。許容範囲は、遠いレンジほど幅が狭くてもよい。
V－２． 詳細な説明
以下、本発明の第５側面を、好適な実施の形態をもとに図面を参照しながら説明する。
（実施の形態５－１）
図３３は、実施の形態５－１に係る物体識別システム１０Ｃのブロック図である。この物体識別システム１０Ｃは、自動車やバイクなどの車両に搭載され、車両の周囲に存在する物体ＯＢＪの種類（カテゴリ、あるいはクラスともいう）を判定する。
物体識別システム１０Ｃは、主としてゲーティングカメラ２０および演算処理装置４０Ｃを備える。ゲーティングカメラ２０は、投光器２２、イメージセンサ２４、コントローラ２６を含む。ゲーティングカメラ２０による撮像は、奥行き方向について複数Ｎ個（Ｎ≧２）のレンジＲＮＧ１～ＲＮＧＮに区切って行われる。隣接するレンジ同士は、それらの境界において奥行き方向にオーバーラップしてもよい。
投光器２２は、コントローラ２６から与えられる投光タイミング信号Ｓ１と同期して、プローブ光Ｌ１を車両前方に照射する。プローブ光Ｌ１は赤外光であることが好ましいが、その限りでなく、所定の波長を有する可視光であってもよい。
イメージセンサ２４は、コントローラ２６から与えられる撮影タイミング信号Ｓ２と同期した露光制御が可能であり、画像ＩＭＧを生成可能に構成される。イメージセンサ２４は、プローブ光Ｌ１と同じ波長に感度を有しており、物体ＯＢＪが反射した反射光（戻り光）Ｌ２を撮影する。
コントローラ２６は、レンジＲＮＧごとに、投光タイミング信号Ｓ１と撮影タイミング信号Ｓ２を変化させて、投光器２２による投光と、イメージセンサ２４の露光の時間差を変化させる。ゲーティングカメラ２０は、複数のレンジＲＮＧ１～ＲＮＧＮに対応する複数の画像ＩＭＧ１～ＩＭＧＮを生成する。ｉ番目の画像ＩＭＧｉには、対応するレンジＲＮＧｉに含まれる物体のみが写ることとなる。
図３４は、ゲーティングカメラ２０の動作を説明する図である。図３４にはｉ番目のレンジＲＮＧｉを測定するときの様子が示される。投光器２２は、投光タイミング信号Ｓ１と同期して、時刻ｔ０～ｔ１の間の発光期間τ１の間、発光する。最上段には、横軸に時間、縦軸に距離をとった光線のダイアグラムが示される。ゲーティングカメラ２０から、レンジＲＮＧｉの手前の境界までの距離をｄＭＩＮｉ、レンジＲＮＧｉの奥側の境界までの距離をｄＭＡＸｉとする。
ある時刻に投光器２２を出発した光が、距離ｄＭＩＮｉに到達してその反射光がイメージセンサ２４に戻ってくるまでのラウンドトリップ時間ＴＭＩＮｉは、
ＴＭＩＮｉ＝２×ｄＭＩＮｉ／ｃ
である。ｃは光速である。
同様に、ある時刻に投光器２２を出発した光が、距離ｄＭＡＸｉに到達してその反射光がイメージセンサ２４に戻ってくるまでのラウンドトリップ時間ＴＭＡＸｉは、
ＴＭＡＸｉ＝２×ｄＭＡＸｉ／ｃ
である。
レンジＲＮＧｉに含まれる物体ＯＢＪのみを撮影したいとき、コントローラ２６は、時刻ｔ２＝ｔ０＋ＴＭＩＮｉに露光を開始し、時刻ｔ３＝ｔ１＋ＴＭＡＸｉに露光を終了するように、撮影タイミング信号Ｓ２を生成する。これが１回の露光動作である。
ｉ番目のレンジＲＮＧｉを撮影する際に、複数回の露光を行ってもよい。この場合、コントローラ２６は、所定の周期τ２で、上述の露光動作を複数回にわたり繰り返せばよい。
図３５（ａ）、（ｂ）は、ゲーティングカメラ２０により得られる画像を説明する図である。図３５（ａ）の例では、レンジＲＮＧ２に物体（歩行者）ＯＢＪ２が存在し、レンジＲＮＧ３に物体（車両）ＯＢＪ３が存在している。図３５（ｂ）には、図３５（ａ）の状況で得られる複数の画像ＩＭＧ１～ＩＭＧ３が示される。画像ＩＭＧ１を撮影するとき、イメージセンサはレンジＲＮＧ１からの反射光のみにより露光されるため、画像ＩＭＧ１にはいかなる物体像も写らない。
画像ＩＭＧ２を撮影するとき、イメージセンサはレンジＲＮＧ２からの反射光のみにより露光されるため、画像ＩＭＧ２には、物体像ＯＢＪ２のみが写る。同様に画像ＩＭＧ３を撮影するとき、イメージセンサはレンジＲＮＧ３からの反射光のみにより露光されるため、画像ＩＭＧ３には、物体像ＯＢＪ３のみが写る。このようにゲーティングカメラ２０によれば、レンジ毎に物体を分離して撮影することができる。
図３３に戻る。演算処理装置４０Ｃは、ゲーティングカメラ２０によって得られる複数のレンジＲＮＧ１～ＲＮＧＮに対応する複数の画像ＩＭＧ１～ＩＭＧＮにもとづいて、物体の種類を識別可能に構成される。演算処理装置４０Ｃは、機械学習によって生成された学習済みモデルにもとづいて実装される分類器４２を備える。分類器４２のアルゴリズムは特に限定されないが、ＹＯＬＯ（You Only Look Once）とＳＳＤ（Single Shot MultiBox Detector）、R-CNN（Region-based Convolutional Neural Network）、SPPnet（Spatial Pyramid Pooling）、Faster R-CNN、DSSD（Deconvolution -SSD）、Mask R-CNNなどを採用することができ、あるいは、将来開発されるアルゴリズムを採用できる。
演算処理装置４０Ｃは、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）、マイコンなどのプロセッサ（ハードウェア）と、プロセッサ（ハードウェア）が実行するソフトウェアプログラムの組み合わせで実装することができる。演算処理装置４０Ｃは、複数のプロセッサの組み合わせであってもよい。あるいは演算処理装置４０Ｃはハードウェアのみで構成してもよい。
複数のレンジそれぞれについて、対応する画像に写る物体像の大きさの範囲（許容範囲という）が規定されている。分類器４２は、検出対象の物体像のサイズは、許容範囲に含まれるという前提（制約）のもと、複数の画像ＩＭＧそれぞれに含まれる物体像の種類を識別する。
たとえば、分類器４２の出力（検出データという）ＯＵＴｉ（ｉ＝１，２，…Ｎ）は、ｉ番目の画像データＩＭＧｉに含まれる各物体像のサイズ情報と、その種類（カテゴリ）の情報を含む。検出データＯＵＴが、物体ごとのバウンディングボックスの情報を含む場合、バウンディングボックスの高さと幅を、物体のサイズ情報とすることができる。種類の情報は、複数の種類それぞれに該当する可能性（所属確率）を示してもよいし、最も所属確率が高い種類の識別子を含んでもよい。
図３６（ａ）、（ｂ）は、レンジ毎に撮影される画像を説明する図である。図３６（ａ）は横から見た図であり、図３６（ｂ）にはゲーティングカメラ２０により撮影される画像が示される。図３６（ａ）に示すように、ゲーティングカメラ２０による撮像範囲が画角換算で水平軸を中心に上下に±θであるとする。図３６（ｂ）に示すように、各画像に写る物体像の大きさは、遠いレンジほど小さくなる。
図３７は、許容範囲を説明する図である。ここでは、許容範囲は、垂直方向について規定されるものとする。ｉ番目のレンジＲＮＧｉに着目する。物体像が最も大きく写るのは、物体ＯＢＪが手前側の境界（Ａ）に位置するときであり、物体像が最も小さく写るのは、物体ＯＢＪが奥側の境界（Ｂ）に位置するときである。
物体ＯＢＪの高さの最小値をｈＭＩＮ、最大値をｈＭＡＸとする。物体ＯＢＪが、位置（Ａ）に存在し、かつその高さが最大ｈＭＡＸであるときを考える。画像ＩＭＧｉの垂直方向の画素数をＹとするとき、画像内の物体の垂直方向の画素数ｙは、
ｙＭＡＸｉ＝Ｙ×ｈＭＡＸ／（ｄＭＩＮｉ×ｔａｎθ×２）
このｙＭＡＸｉは、レンジＲＮＧｉにおける許容範囲の最大値を与える。
物体ＯＢＪが、位置（Ｂ）に存在し、かつその高さが最大ｈＭＩＮであるときを考える。このとき画像内の物体の垂直方向の画素数ｙＭＩＮｉは、
ｙＭＩＮｉ＝Ｙ×ｈＭＩＮ／（ｄＭＡＸｉ×ｔａｎθ×２）
このｙＭＩＮｉは、レンジＲＮＧｉにおける許容範囲の最小値を与える。
つまり、許容範囲（垂直方向のピクセル数）は、ｙＭＩＮｉ～ｙＭＡＸｉとなる。なお、許容範囲の決め方は、上述のそれには限定されない。
図３３に戻る。演算処理装置４０Ｃは、検出した物体像のサイズが、許容範囲から外れているとき、その物体像を処理対象から除外してもよい。あるいは、検出した物体像のサイズと許容範囲の関係を、種類（カテゴリ／クラス）の所属確率に反映させてもよい。
本実施の形態において、分類器４２の後段には、後処理部４８が設けられる。分類器４２は、複数の画像ＩＭＧ１～ＩＭＧＮそれぞれについて、それに含まれる物体像の種類とサイズを検出し、複数の画像に対応する複数の検出データＯＵＴ１～ＯＵＴＮを生成する。
後処理部４８は、分類器４２が生成する検出データＯＵＴ１～ＯＵＴＮを受ける。後処理部４８は、各検出データＯＵＴｉ（ｉ＝１～Ｎ）について、それに含まれる物体像のサイズが、そのレンジＲＮＧｉの許容範囲に含まれるか否かを判定する。そして、判定結果にもとづいて、検出データＯＵＴｉを修正する。
たとえば後処理部４８は、ある物体像のサイズが許容範囲から外れている場合、検出データＯＵＴｉ’の中から、その物体に関する情報を削除してもよい。あるいは後処理部４８は、ある物体像のサイズが許容範囲から外れている場合、検出その物体が、ある種類（カテゴリ、クラス）である所属確率を、低下させてもよい。
以上が物体識別システム１０Ｃの構成である。続いてその動作を説明する。図３８（ａ）、（ｂ）は、図３３の物体識別システム１０Ｃの動作を説明する図である。図３８（ａ）は、ｉ番目のレンジＲＮＧｉに関する検出データＯＵＴｉを画像データとして模式的に示しており、図３８（ｂ）は、補正後の検出データＯＵＴｉ’を画像データとして模式的に示す。
図３８（ａ）に示すように、補正前の検出データＯＵＴｉは、３個のバウンディングボックスα，β，γを含む。バウンディングボックスαに含まれる物体は、歩行者（Human）である所属確率が９０％と判定されており、バウンディングボックスβに含まれる物体は、歩行者（Human）である所属確率が６０％と判定されており、バウンディングボックスγには、電柱やビルに人が描かれたポスターが貼られているような物体の像が含まれる。この物体は、歩行者（Human）である所属確率が２０％と判定されている。
バウンディングボックスαに含まれる物体については、その高さｈが、ｙＭＩＮｉ＜ｈＸ＜ｙＭＡＸｉの関係を満たしている。したがって、バウンディングボックスα内の物体は、検出対象（Human）である確度が高いと言える。したがって、補正後の検出データＯＵＴｉは、バウンディングボックスαの物体を含んでいる。
バウンディングボックスβに含まれる物体については、その高さｈが、ｈ＜ｙＭＩＮｉとなっており、許容範囲から外れている。したがってその物体は、検出対象である確度が低いと言える。バウンディングボックスγに含まれる物体については、その高さｈが、ｙＭＡＸｉ＜ｈとなっており、許容範囲から外れている。したがって補正後の検出データＯＵＴｉ’から、バウンディングボックスβ，γに含まれる物体は、検出対象である確度が低いと言える。したがって、バウンディングボックスβ，γについては、補正後の検出データＯＵＴｉ’から削除することができる。
以上が物体識別システム１０Ｃの動作である。物体識別システム１０Ｃによれば、物体の識別率を改善できる。
（実施の形態５－２）
図３９は、実施の形態５－２に係る物体識別システム１０Ｄのブロック図である。演算処理装置４０Ｄは、分類器４２と、その前段に設けられた前処理部４６を含む。
前処理部４６は、複数の画像ＩＭＧ１～ＩＭＧＮそれぞれについて、それに含まれる物体像ごとのサブ画像に切り分ける。
実施の形態５－１と同様に、複数のレンジＲＮＧ１～ＲＮＧＮそれぞれについて、対応する画像に写る物体像の大きさの許容範囲が規定されている。
分類器４２は、サブ画像ＳＵＢそれぞれについて、それに含まれる物体像の種類を判別可能に構成される。分類器４２は、前処理部４６により切り分けられたサブ画像ＳＵＢのサイズが許容範囲に含まれる場合に、当該サブ画像ＳＵＢに含まれる物体像の種類を判定する。
図４０（ａ）、（ｂ）は、図３９の物体識別システム１０Ｄの動作を説明する図である。図４０（ａ）は、ｉ番目のレンジＲＮＧｉに関連して得られる画像ＩＭＧｉを示し、図４０（ｂ）は、画像ＩＭＧｉから切り出された複数のサブ画像ＳＵＢｉ－１～ＳＵＢｉ－３を示す。この例では、元の画像ＩＭＧｉには３個の物体が含まれている。
サブ画像ＳＵＢｉ－１については、その高さ（ピクセル数）が許容範囲の最大ｙＭＡＸｉを超えている。反対にサブ画像ＳＵＢｉ－３については、その高さ（ピクセル数）が許容範囲の最小値ｙＭＩＮｉより小さい。したがって、サブ画像ＳＵＢｉ－１，ＳＵＢｉ－３については、分類器４２が、物体の識別演算を行う前に除去される。サブ画像ＳＵＢｉ－２については、その高さ（ピクセル数）が許容範囲に含まれている。したがって、分類器４２による識別演算の対象となる。
以上が物体識別システム１０Ｄの動作である。物体識別システム１０Ｄによれば、サイズにもとづいて、分類器４２による識別処理の対象となるサブ画像を選別することにより、演算処理装置４０Ｄの演算処理量を削減できる。
また、サブ画像ＳＵＢi－１，ＳＵＢi－３を処理の対象から除外することにより、サブ画像ＳＵＢi－１，ＳＵＢi－３が、歩行者と誤って認識されることを防止できる。すなわち、物体識別システム１０Ｄの識別率を改善することができる。
以上、本発明について、実施の形態をもとに説明した。この実施の形態は例示であり、それらの各構成要素や各処理プロセスの組み合わせにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。以下、こうした変形例について説明する。
（変形例１）
許容範囲は、水平方向についても考えることができる。ゲーティングカメラ２０による撮像範囲が画角換算で左右方向に±φであるとする。また、物体の横方向の幅の最小値をｗＭＩＮ、最大値をｗＭＡＸとする。このとき、あるレンジＲＮＧｉにおける許容範囲の最小値ＸＭＩＮｉ，最大値ＸＭＡＸｉは以下のように表すことができる。
ｘＭＡＸ＝Ｘ×ｗＭＡＸ／（ｄＭＩＮｉ×ｔａｎφ×２）
ｘＭＩＮ＝Ｘ×ｗＭＩＮ／（ｄＭＡＸｉ×ｔａｎφ×２）
演算処理装置において、垂直方向のみ、水平方向のみ、あるいはそれらの両方について、検出した物体像のサイズが、許容範囲に含まれるか否かを判定してもよい。
（変形例２）
実施の形態では、レンジの異なる画像を、同じ分類器４２で処理したがその限りでなく、レンジ毎に異なる分類器を用いてもよい。
（変形例３）
許容範囲は、物体の種類ごとに個別に設定してもよい。たとえば、歩行者と自動車が検出対象である場合、歩行者の幅と、自動車の幅について、異なる許容範囲を設定してもよい。
（変形例４）
実施の形態５－１，５－２では、許容範囲について、上限と下限の両方を規定したが、それらの一方のみを規定してもよい。
（用途）
図４１は、物体識別システム１０を備える自動車のブロック図である。自動車３００は、前照灯３０２Ｌ，３０２Ｒを備える。物体識別システム１０は、前照灯３０２Ｌ，３０２Ｒの少なくとも一方に内蔵される。前照灯３０２は、車体の最も先端に位置しており、周囲の物体を検出する上で、ゲーティングカメラ２０の設置箇所として最も有利である。
図４２は、物体検出システム２１０を備える車両用灯具２００を示すブロック図である。車両用灯具２００は、車両側ＥＣＵ３０４とともに灯具システム３１０を構成する。車両用灯具２００は、光源２０２、点灯回路２０４、光学系２０６を備える。さらに車両用灯具２００には、物体検出システム２１０が設けられる。物体検出システム２１０は、上述の物体識別システム１０に対応しており、ゲーティングカメラ２０および演算処理装置４０を含む。
演算処理装置４０が検出した物体ＯＢＪに関する情報は、車両用灯具２００の配光制御に利用してもよい。具体的には、灯具側ＥＣＵ２０８は、演算処理装置４０が生成する物体ＯＢＪの種類とその位置に関する情報にもとづいて、適切な配光パターンを生成する。点灯回路２０４および光学系２０６は、灯具側ＥＣＵ２０８が生成した配光パターンが得られるように動作する。
また演算処理装置４０が検出した物体ＯＢＪに関する情報は、車両側ＥＣＵ３０４に送信してもよい。車両側ＥＣＵは、この情報にもとづいて、自動運転を行ってもよい。
実施の形態にもとづき、具体的な語句を用いて本発明を説明したが、実施の形態は、本発明の原理、応用の一側面を示しているにすぎず、実施の形態には、請求の範囲に規定された本発明の思想を逸脱しない範囲において、多くの変形例や配置の変更が認められる。
本発明は、物体識別システムに関する。
Ｓ１ 投光タイミング信号、 Ｓ２ 撮影タイミング信号、 １０ 物体識別システム、 ２０ ゲーティングカメラ、 ３０ カメラ、 ４０ 演算処理装置、 ４２ 分類器、 ５０ ゲーティングカメラ、 ５２ 投光器、 ５４ イメージセンサ、 ５６ コントローラ、 ６０ コンピュータ、 ２００ 車両用灯具、 ２０２ 光源、 ２０４ 点灯回路、 ２０６ 光学系、 ３００ 自動車、 ３０２ 前照灯、 ３０４ 車両側ＥＣＵ、 ３１０ 灯具システム。

Claims (42)

  1. カメラと、
    前記カメラの出力画像にもとづいて、物体を識別できるように機械学習された分類器を含む演算処理装置と、
    を備え、
    前記分類器は、奥行き方向について複数のレンジに区切り、レンジ毎に、投光と露光の時間差を変化させて撮影するゲーティングカメラにより得られた複数の画像を学習データとして機械学習されていることを特徴とする物体識別システム。
  2. 前記カメラは、単眼カメラであることを特徴とする請求項１に記載の物体識別システム。
  3. 前記カメラは、ゲーティングカメラであることを特徴とする請求項１に記載の物体識別システム。
  4. 請求項１から３のいずれかに記載の物体識別システムを備えることを特徴とする車両用灯具。
  5. 請求項１から３のいずれかに記載の物体識別システムを備えることを特徴とする自動車。
  6. カメラの出力画像にもとづいて、物体を識別できるように機械学習された分類器を備え、
    前記分類器は、奥行き方向について複数のレンジに区切り、レンジ毎に、投光と露光の時間差を変化させて撮影するゲーティングカメラにより得られた複数の画像を学習データとして機械学習されていることを特徴とする演算処理装置。
  7. カメラの出力画像にもとづいて物体を識別する分類器の学習方法であって、
    ゲーティングカメラを用いて、奥行き方向について複数のレンジに区切り、レンジ毎に、投光と露光の時間差を変化させて撮影するステップと、
    前記ゲーティングカメラにより得られた複数の画像を学習データとして、前記分類器を機械学習するステップと、
    を備えることを特徴とする学習方法。
  8. 奥行き方向について複数のレンジに区切り、レンジ毎に、投光と露光の時間差を変化させて撮影するゲーティングカメラと、
    前記ゲーティングカメラによって得られる複数のレンジに対応する複数の画像にもとづいて、物体の種類を識別可能な演算処理装置と、
    を備え、
    前記演算処理装置は、アルゴリズムの異なる複数の分類器を含み、レンジに応じた分類器を選択して、物体認識を行うことを特徴とする物体識別システム。
  9. 前記演算処理装置は、距離が近いレンジの画像処理に、ＹＯＬＯ（You Only Look Once）アルゴリズムの分類器を用いることを特徴とする請求項８に記載の物体識別システム。
  10. 前記演算処理装置は、距離が遠いレンジの画像処理に、ＳＳＤ（Single Shot MultiBox Detector）アルゴリズムの分類器を用いることを特徴とする請求項８に記載の物体識別システム。
  11. 前記演算処理装置は、相対的に距離が近いレンジの画像処理に、相対的に高速なアルゴリズムの分類器を用いることを特徴とする請求項８から１０のいずれかに記載の物体識別システム。
  12. 前記演算処理装置は、相対的に距離が遠いレンジの画像処理に、相対的に高精度なアルゴリズムの分類器を用いることを特徴とする請求項８から１１のいずれかに記載の物体識別システム。
  13. 請求項８から１２のいずれかに記載の物体識別システムを備えることを特徴とする自動車。
  14. 請求項８から１３のいずれかに記載の物体識別システムを備えることを特徴とする車両用灯具。
  15. 奥行き方向について複数のレンジに区切り、レンジ毎に、投光と露光の時間差を変化させて撮影するゲーティングカメラとともに物体識別システムを構成する演算処理装置であって、
    前記ゲーティングカメラによって得られる複数のレンジに対応する複数の画像にもとづいて、物体の種類を識別可能に構成され、
    アルゴリズムの異なる複数の分類器を含み、レンジに応じた分類器を選択して、物体認識を行うことを特徴とする演算処理装置。
  16. 奥行き方向について複数のレンジに区切り、レンジ毎に、投光と露光の時間差を変化させて撮影するゲーティングカメラと、
    前記ゲーティングカメラによって得られる複数のレンジに対応する複数の画像を、レンジ毎に規定された係数でスケーリングするスケーラと、
    スケーリング後の複数の画像それぞれにもとづいて、物体の種類を識別可能な分類器と、
    を備えることを特徴とする物体識別システム。
  17. 前記係数は、近いレンジほど小さく、遠いレンジほど大きいことを特徴とする請求項１６に記載の物体識別システム。
  18. 前記複数のレンジのひとつを基準レンジとし、前記基準レンジの係数は１であり、前記基準レンジより近いレンジの係数は１より小さく、前記基準レンジより遠いレンジの係数は１より大きいことを特徴とする請求項１６または１７に記載の物体識別システム。
  19. 請求項１６から１８のいずれかに記載の物体識別システムを備えることを特徴とする自動車。
  20. 請求項１６から１８のいずれかに記載の物体識別システムを備えることを特徴とする車両用灯具。
  21. 奥行き方向について複数のレンジに区切り、レンジ毎に、投光と露光の時間差を変化させて撮影するゲーティングカメラとともに使用され、物体識別システムを構成する演算処理装置であって、
    前記ゲーティングカメラによって得られる複数のレンジに対応する複数の画像を、レンジ毎に規定された係数でスケーリングするスケーラと、
    スケーリング後の複数の画像それぞれにもとづいて、物体の種類を識別可能な分類器と、
    を備えることを特徴とする演算処理装置。
  22. 奥行き方向について複数のレンジに区切り、レンジ毎に、投光と露光の時間差を変化させて撮影し、複数のレンジに対応する複数の画像を生成するゲーティングカメラと、
    物体が存在しうる位置が、前記複数の画像それぞれに固有の興味領域内に限定されているとの制約条件のもと、前記複数の画像それぞれに含まれる物体の種類を識別可能に構成される演算処理装置と、
    を備えることを特徴とする物体識別システム。
  23. 前記演算処理装置は、
    前記複数の画像それぞれについて、前記興味領域内の画像をトリミングする前処理部と、
    前記前処理部の出力を処理する分類器と、
    を含むことを特徴とする請求項２２に記載の物体識別システム。
  24. 前記演算処理装置は、
    前記複数の画像それぞれについて、前記興味領域外の画像をマスクする前処理部と、
    前記前処理部の出力を処理する分類器と、
    を含むことを特徴とする請求項２２に記載の物体識別システム。
  25. 前記演算処理装置は、
    前記複数の画像それぞれについて、それに含まれる物体の種類と位置を検出し、前記複数の画像に対応する複数の検出データを生成する分類器と、
    前記複数の検出データを受け、各検出データに含まれる物体の位置が、元の画像に固有の前記興味領域に含まれるか否かを判定する後処理部と、
    を含むことを特徴とする請求項２２に記載の物体識別システム。
  26. 前記興味領域は、近いレンジの画像ほど大きく、遠いレンジの画像ほど小さいことを特徴とする請求項２２から２５のいずれかに記載の物体識別システム。
  27. 前記興味領域は、遠いレンジの画像ほど高さが小さいことを特徴とする請求項２２から２６のいずれかに記載の物体識別システム。
  28. 前記興味領域は、遠いレンジの画像ほど幅が狭いことを特徴とする請求項２２から２７のいずれかに記載の物体識別システム。
  29. 請求項２２から２８のいずれかに記載の物体識別システムを備えることを特徴とする自動車。
  30. 請求項２２から２９のいずれかに記載の物体識別システムを備えることを特徴とする車両用灯具。
  31. 奥行き方向について複数のレンジに区切り、レンジ毎に、投光と露光の時間差を変化させて撮影し、複数のレンジに対応する複数の画像を生成するゲーティングカメラとともに使用され、物体識別システムを構成する演算処理装置であって、
    前記複数の画像ごとに固有の興味領域が定められており、前記複数の画像それぞれについて、前記興味領域内の画像をトリミングし、または前記興味領域外の画像をマスクする前処理部と、
    前記前処理部の出力を処理する分類器と、
    を備えることを特徴とする演算処理装置。
  32. 奥行き方向について複数のレンジに区切り、レンジ毎に、投光と露光の時間差を変化させて撮影し、複数のレンジに対応する複数の画像を生成するゲーティングカメラとともに使用され、物体識別システムを構成する演算処理装置であって、
    前記複数の画像それぞれについて、それに含まれる物体の種類と位置を検出し、前記複数の画像に対応する複数の検出データを生成する分類器と、
    前記複数の画像ごとに固有の興味領域が定められており、前記複数の検出データを受け、各検出データに含まれる物体の位置が、元の画像に固有の前記興味領域に含まれるか否かを判定する後処理部と、
    を備えることを特徴とする演算処理装置。
  33. 奥行き方向について複数のレンジに区切り、レンジ毎に、投光と露光の時間差を変化させて撮影し、前記複数のレンジに対応する複数の画像を生成するゲーティングカメラと、
    レンジ毎に、対応する画像に写る物体像のサイズの許容範囲が規定されており、前記許容範囲にもとづいて前記複数の画像それぞれに含まれる前記物体像の種類を識別可能に構成される演算処理装置と、
    を備えることを特徴とする物体識別システム。
  34. 前記演算処理装置は、
    前記複数の画像それぞれについて、それに含まれる物体像の種類とサイズを検出し、前記複数の画像に対応する複数の検出データを生成する分類器と、
    前記複数の検出データを受け、各検出データに含まれる物体像のサイズが、前記許容範囲に含まれるか否かを判定する後処理部と、
    を含むことを特徴とする請求項３３に記載の物体識別システム。
  35. 前記演算処理装置は、
    前記複数の画像それぞれについて、それに写る物体像ごとのサブ画像に切り分ける前処理部と、
    前記前処理部により切り分けられた前記サブ画像のサイズが前記許容範囲に含まれる場合に、当該サブ画像に含まれる物体像の種類を判定する分類器と、
    を含むことを特徴とする請求項３３に記載の物体識別システム。
  36. 前記許容範囲は、垂直方向について規定されることを特徴とする請求項３３から３５のいずれかに記載の物体識別システム。
  37. 前記許容範囲は、横方向について規定されることを特徴とする請求項３３から３６のいずれかに記載の物体識別システム。
  38. 前記許容範囲は、物体の種類ごとに個別に規定されることを特徴とする請求項３３から３７のいずれかに記載の物体識別システム。
  39. 請求項３３から３８のいずれかに記載の物体識別システムを備えることを特徴とする自動車。
  40. 請求項３３から３８のいずれかに記載の物体識別システムを備えることを特徴とする車両用灯具。
  41. 奥行き方向について複数のレンジに区切り、レンジ毎に、投光と露光の時間差を変化させて撮影し、前記複数のレンジに対応する複数の画像を生成するゲーティングカメラとともに使用され、物体識別システムを構成する演算処理装置であって、
    レンジ毎に、対応する画像における物体像のサイズの許容範囲が規定されており、前記複数の画像それぞれについて、それに含まれる物体像の種類とサイズを検出し、前記複数の画像に対応する複数の検出データを生成する分類器と、
    前記複数の検出データを受け、各検出データに含まれる物体像のサイズが、前記許容範囲に含まれるか否かを判定する後処理部と、
    を備えることを特徴とする演算処理装置。
  42. 奥行き方向について複数のレンジに区切り、レンジ毎に、投光と露光の時間差を変化させて撮影し、前記複数のレンジに対応する複数の画像を生成するゲーティングカメラとともに使用され、物体識別システムを構成する演算処理装置であって、
    前記複数の画像それぞれについて、それに写る物体像ごとのサブ画像に切り分ける前処理部と、
    レンジ毎に、対応する画像における物体像のサイズの許容範囲が規定されており、前記前処理部により切り分けられた前記サブ画像のサイズが前記許容範囲に含まれる場合に、当該サブ画像に含まれる物体像の種類を判定する分類器と、
    を備えることを特徴とする演算処理装置。
JP2020560058A 2018-12-10 2019-12-06 物体識別システム、演算処理装置、自動車、車両用灯具、分類器の学習方法 Active JP7369921B2 (ja)

Applications Claiming Priority (11)

Application Number Priority Date Filing Date Title
JP2018231048 2018-12-10
JP2018231048 2018-12-10
JP2018238313 2018-12-20
JP2018238314 2018-12-20
JP2018238314 2018-12-20
JP2018238313 2018-12-20
JP2019036462 2019-02-28
JP2019036463 2019-02-28
JP2019036462 2019-02-28
JP2019036463 2019-02-28
PCT/JP2019/047876 WO2020121973A1 (ja) 2018-12-10 2019-12-06 物体識別システム、演算処理装置、自動車、車両用灯具、分類器の学習方法

Publications (2)

Publication Number Publication Date
JPWO2020121973A1 JPWO2020121973A1 (ja) 2021-10-28
JP7369921B2 true JP7369921B2 (ja) 2023-10-27

Family

ID=71076884

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020560058A Active JP7369921B2 (ja) 2018-12-10 2019-12-06 物体識別システム、演算処理装置、自動車、車両用灯具、分類器の学習方法

Country Status (4)

Country Link
US (1) US20210295065A1 (ja)
JP (1) JP7369921B2 (ja)
CN (1) CN113243016A (ja)
WO (1) WO2020121973A1 (ja)

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10678244B2 (en) 2017-03-23 2020-06-09 Tesla, Inc. Data synthesis for autonomous control systems
US11893393B2 (en) 2017-07-24 2024-02-06 Tesla, Inc. Computational array microprocessor system with hardware arbiter managing memory requests
US11157441B2 (en) 2017-07-24 2021-10-26 Tesla, Inc. Computational array microprocessor system using non-consecutive data formatting
US10671349B2 (en) 2017-07-24 2020-06-02 Tesla, Inc. Accelerated mathematical engine
US11409692B2 (en) 2017-07-24 2022-08-09 Tesla, Inc. Vector computational unit
US11561791B2 (en) 2018-02-01 2023-01-24 Tesla, Inc. Vector computational unit receiving data elements in parallel from a last row of a computational array
US11215999B2 (en) 2018-06-20 2022-01-04 Tesla, Inc. Data pipeline and deep learning system for autonomous driving
US11361457B2 (en) 2018-07-20 2022-06-14 Tesla, Inc. Annotation cross-labeling for autonomous control systems
US11636333B2 (en) 2018-07-26 2023-04-25 Tesla, Inc. Optimizing neural network structures for embedded systems
US11562231B2 (en) 2018-09-03 2023-01-24 Tesla, Inc. Neural networks for embedded devices
SG11202103493QA (en) 2018-10-11 2021-05-28 Tesla Inc Systems and methods for training machine models with augmented data
US11196678B2 (en) 2018-10-25 2021-12-07 Tesla, Inc. QOS manager for system on a chip communications
US11816585B2 (en) 2018-12-03 2023-11-14 Tesla, Inc. Machine learning models operating at different frequencies for autonomous vehicles
US11537811B2 (en) 2018-12-04 2022-12-27 Tesla, Inc. Enhanced object detection for autonomous vehicles based on field view
US11610117B2 (en) 2018-12-27 2023-03-21 Tesla, Inc. System and method for adapting a neural network model on a hardware platform
US11150664B2 (en) 2019-02-01 2021-10-19 Tesla, Inc. Predicting three-dimensional features for autonomous driving
US10997461B2 (en) 2019-02-01 2021-05-04 Tesla, Inc. Generating ground truth for machine learning from time series elements
US11567514B2 (en) 2019-02-11 2023-01-31 Tesla, Inc. Autonomous and user controlled vehicle summon to a target
US10956755B2 (en) 2019-02-19 2021-03-23 Tesla, Inc. Estimating object properties using visual image data
EP4184242A4 (en) * 2020-07-14 2024-04-03 Koito Manufacturing Co., Ltd. TRIGGER CAMERA, VEHICLE DETECTION SYSTEM AND VEHICLE LIGHT
JPWO2022039230A1 (ja) * 2020-08-21 2022-02-24
IL300789A (en) * 2020-08-21 2023-04-01 Koito Mfg Co Ltd Vehicle sensing system and distance measuring camera
US20220107422A1 (en) * 2020-10-06 2022-04-07 Yandex Self Driving Group Llc LiDAR DETECTION METHODS AND SYSTEMS
WO2022172719A1 (ja) * 2021-02-15 2022-08-18 パナソニックＩｐマネジメント株式会社 物体情報生成システム、物体情報生成方法、および、物体情報生成プログラム
US11734908B2 (en) * 2021-04-13 2023-08-22 Google Llc Randomly generated blobs to improve object-detection training for framed video content
JP2023074948A (ja) * 2021-11-18 2023-05-30 オムロン株式会社 作業認識装置、作業認識方法、及び作業認識プログラム
WO2023190058A1 (ja) * 2022-03-30 2023-10-05 パナソニックＩｐマネジメント株式会社 画像処理方法および画像処理装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009257983A (ja) 2008-04-18 2009-11-05 Calsonic Kansei Corp 車両用距離画像データ生成装置および車両用距離画像データの生成方法
WO2017110413A1 (ja) 2015-12-21 2017-06-29 株式会社小糸製作所 車両用画像取得装置、制御装置、車両用画像取得装置または制御装置を備えた車両および車両用画像取得方法
WO2017149370A1 (en) 2016-03-01 2017-09-08 Brightway Vision Ltd. Gated imaging apparatus, system and method

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7630806B2 (en) * 1994-05-23 2009-12-08 Automotive Technologies International, Inc. System and method for detecting and protecting pedestrians
JP2011044064A (ja) * 2009-08-24 2011-03-03 Nikon Corp 画像処理装置、および画像処理プログラム
WO2014009945A1 (en) * 2012-07-09 2014-01-16 Brightway Vision Ltd. Stereo gated imaging system and method
CN104103062A (zh) * 2013-04-08 2014-10-15 富士通株式会社 图像处理设备和图像处理方法
CN103218621B (zh) * 2013-04-21 2015-12-02 北京航空航天大学 一种室外视频监控中多尺度车辆的识别方法
US9866816B2 (en) * 2016-03-03 2018-01-09 4D Intellectual Properties, Llc Methods and apparatus for an active pulsed 4D camera for image acquisition and analysis
US10306148B2 (en) * 2016-08-30 2019-05-28 Microsoft Technology Licensing, Llc Motion triggered gated imaging
US10248874B2 (en) * 2016-11-22 2019-04-02 Ford Global Technologies, Llc Brake light detection
US10614326B2 (en) * 2017-03-06 2020-04-07 Honda Motor Co., Ltd. System and method for vehicle control based on object and color detection

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009257983A (ja) 2008-04-18 2009-11-05 Calsonic Kansei Corp 車両用距離画像データ生成装置および車両用距離画像データの生成方法
WO2017110413A1 (ja) 2015-12-21 2017-06-29 株式会社小糸製作所 車両用画像取得装置、制御装置、車両用画像取得装置または制御装置を備えた車両および車両用画像取得方法
WO2017149370A1 (en) 2016-03-01 2017-09-08 Brightway Vision Ltd. Gated imaging apparatus, system and method

Also Published As

Publication number Publication date
EP3896645A1 (en) 2021-10-20
JPWO2020121973A1 (ja) 2021-10-28
CN113243016A (zh) 2021-08-10
WO2020121973A1 (ja) 2020-06-18
US20210295065A1 (en) 2021-09-23

Similar Documents

Publication Publication Date Title
JP7369921B2 (ja) 物体識別システム、演算処理装置、自動車、車両用灯具、分類器の学習方法
US11527077B2 (en) Advanced driver assist system, method of calibrating the same, and method of detecting object in the same
JP6819996B2 (ja) 交通信号認識方法および交通信号認識装置
US8055016B2 (en) Apparatus and method for normalizing face image used for detecting drowsy driving
EP2924653A1 (en) Image processing apparatus and image processing method
US20050232466A1 (en) Method of recognizing and/or tracking objects
US20050232463A1 (en) Method and apparatus for detecting a presence prior to collision
CN109409186B (zh) 用于对象检测和通知的驾驶员辅助***和方法
JP2007065924A (ja) 画像処理装置
WO2016125377A1 (ja) 画像処理装置、および車両システム
JP6782433B2 (ja) 画像認識装置
WO2020184447A1 (ja) ゲーティングカメラ、自動車、車両用灯具、物体識別システム、演算処理装置、物体識別方法、画像表示システム、検査方法、撮像装置、画像処理装置
CN111598065A (zh) 深度图像获取方法及活体识别方法、设备、电路和介质
JP2007164517A (ja) 図形中心検出方法、楕円検出方法、画像認識装置、制御装置
JP2023184572A (ja) 電子機器、移動体、撮像装置、および電子機器の制御方法、プログラム、記憶媒体
WO2021201269A1 (ja) ゲーティングカメラ、車両用センシングシステム、車両用灯具
JP4969359B2 (ja) 移動物認識装置
JP7036464B2 (ja) 物体識別装置、物体識別方法、及び制御プログラム
WO2021060397A1 (ja) ゲーティングカメラ、自動車、車両用灯具、画像処理装置、画像処理方法
JP7201706B2 (ja) 画像処理装置
JP6983334B2 (ja) 画像認識装置
WO2023013776A1 (ja) ゲーティングカメラ、車両用センシングシステム、車両用灯具
CN112153252B (zh) 车辆用灯具
WO2023095679A1 (ja) 視認状態判定装置及び視認状態判定システム
US20230394844A1 (en) System for avoiding accidents caused by wild animals crossing at dusk and at night

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220921

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20230113

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20230217

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230829

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20230906

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230922

R150 Certificate of patent or registration of utility model

Ref document number: 7369921

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150