JP6519505B2 - 物体検出装置、物体検出方法、及びプログラム - Google Patents

物体検出装置、物体検出方法、及びプログラム Download PDF

Info

Publication number
JP6519505B2
JP6519505B2 JP2016050939A JP2016050939A JP6519505B2 JP 6519505 B2 JP6519505 B2 JP 6519505B2 JP 2016050939 A JP2016050939 A JP 2016050939A JP 2016050939 A JP2016050939 A JP 2016050939A JP 6519505 B2 JP6519505 B2 JP 6519505B2
Authority
JP
Japan
Prior art keywords
data
position information
detection
information
generation unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016050939A
Other languages
English (en)
Other versions
JP2017167720A (ja
Inventor
由紀子 柳川
由紀子 柳川
学 川島
学 川島
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Omron Corp
Original Assignee
Omron Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Omron Corp filed Critical Omron Corp
Priority to JP2016050939A priority Critical patent/JP6519505B2/ja
Priority to EP16894565.7A priority patent/EP3432259B1/en
Priority to US15/751,877 priority patent/US10657392B2/en
Priority to CN201680048028.XA priority patent/CN107924562B/zh
Priority to KR1020187004523A priority patent/KR102020670B1/ko
Priority to PCT/JP2016/086218 priority patent/WO2017158948A1/ja
Publication of JP2017167720A publication Critical patent/JP2017167720A/ja
Application granted granted Critical
Publication of JP6519505B2 publication Critical patent/JP6519505B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/64Three-dimensional objects
    • G06V20/653Three-dimensional objects by matching three-dimensional models, e.g. conformal mapping of Riemann surfaces
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/13Edge detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2400/00Indexing codes relating to detected, measured or calculated conditions or factors
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403Image sensing, e.g. optical camera
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/408Radar; Laser, e.g. lidar
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2422/00Indexing codes relating to the special location or mounting of sensors
    • B60W2422/95Measuring the same parameter at multiple locations of the vehicle
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00Input parameters relating to objects
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2710/00Output or target parameters relating to a particular sub-units
    • B60W2710/18Braking system
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2710/00Output or target parameters relating to a particular sub-units
    • B60W2710/20Steering systems
    • B60W2710/207Steering angle of wheels
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2720/00Output or target parameters relating to overall vehicle dynamics
    • B60W2720/24Direction of travel
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/09Taking automatic action to avoid collision, e.g. braking and steering
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/93Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4802Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0242Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using non-visible light signals, e.g. IR or UV signals
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08Detecting or categorising vehicles
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/166Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Description

本発明は、周囲に存在する物体を検出して所定の処理を実行する物体検出装置に関する。
従来、車両などの移動体の周辺の障害物を検出し、移動体を自動的又は半自動的に移動させるシステムが知られている。例えば、障害物と移動体とが近接した場合に、移動体の操作者に代わって当該移動体のブレーキを自動的に作動させる自動緊急ブレーキ等の先進運転支援システム(Advanced Driver Assistance System、ADAS)が知られている。上記のシステムは、対向車、歩行者等の障害物を検知するセンサから得られた情報を用いて、制御対象の移動体と上記の障害物との間の相対的な位置関係を算出し、当該位置関係に基づいて移動体を制御している。
近年、センサの高解像度化に伴い、当該センサから得られるデータ量(距離の測定点数)が多くなっている。これにより、上記のシステムは、上記位置関係をより高精度に測定可能となった一方、上記位置関係を判定する処理に時間がかかるという問題を生じるようになっている。
この課題を解決するため、センサから得られた情報から必要な情報だけを抽出して処理することが考えられている。これにより、システムが処理すべき情報量を減少でき、その結果、当該システムにおける位置関係を判定する処理時間を短縮することができる。
センサから得られた情報から必要な情報だけを抽出する方法としては、特許文献1に開示されているような、イメージセンサなどにより得られた多数の画像信号のうち、コーナー検知やDoG(Difference of Gaussian)maximaを用いて判定された信頼度の低い画像信号を間引く方法が知られている。
特開2012−234258号公報
特許文献1に開示された画像信号を間引く方法を、移動体と障害物との位置関係に基づいて移動体の制御を行うシステムに適用した場合、センサから得られた画像を複数領域に分割して、該分割領域毎に特徴点の数が特徴点制限数以内となるように、前記検出した特徴点の間引きを行うため、過剰に間引いてしまうという問題がある。このため移動体と障害物との間の位置関係の測定精度が低下したり、その逆に、移動体と障害物との間の位置関係の測定精度を維持しようとすると必要以上の情報を処理することになり、その結果システムの処理に時間がかかったりしていた。
本発明の課題は、周囲に存在する物体を検出して所定の処理を実行する物体検出装置において、物体の検出の測定精度を保持しつつ、物体の存在に関する処理速度を向上させることにある。
以下に、課題を解決するための手段として複数の態様を説明する。これら態様は、必要に応じて任意に組み合せることができる。
本発明の一見地に係る物体検出装置は、出力部と、複数の検出部と、第1データ生成部と、第2データ生成部と、情報処理部と、を備える。出力部は、物体に向けて第1信号を出力する。複数の検出部のそれぞれは、検出面の所定の位置に配置される。複数の検出部は、第1信号が物体にて反射されることにより発生する第2信号を検出する。
第1データ生成部は、複数の第1位置情報の集合体である第1データを生成する。第1位置情報は、各検出部の配置位置を検出面上に設定された第1座標で表した座標値と、信号検知情報と、が関連付けられた情報である。信号検知情報は、各検出部において検出された第2信号に基づき算出される情報であり、少なくとも検出面と物体との距離情報を含む。
第2データ生成部は、第1データから複数の第2位置情報を抽出することで、当該複数の第2位置情報を含む第2データを生成する。第2位置情報は、物体の存在範囲を表す代表点に対応する第1位置情報である。情報処理部は、第2データを用いて、物体の存在についての情報処理を実行する。
上記の物体検出装置では、まず、出力部が第1信号を出力する。これにより、第1信号が物体において反射されて第2信号が発生する。各検出部は、物体からの第2信号を検出する。次に、第1データ生成部は、各検出部において検出された第2信号に基づいて、検出面と物体との距離を表す距離情報を少なくとも含む信号検知情報を算出する。その後、第1データ生成部は、各検出部の配置位置を検出面上に設定された第1座標で表した座標値と、当該各検出部に対して算出された信号検知情報と、を関連付けて第1位置情報を生成する。複数の検出部の全てについて第1位置情報を生成後、第1データ生成部は、複数の第1位置情報の集合体を第1データとして生成する。
第1データを生成後、第2データ生成部は、第1データから、物体の存在範囲を表す代表点に対応する複数の第1位置情報を、複数の第2位置情報として抽出し、当該複数の第2位置情報を含む第2データを生成する。
第2データを生成後、情報処理部は、第2データを用いて物体の存在についての情報処理を実行する。
上記の物体検出装置では、第2データ生成部が、検出部の配置位置を示す座標値と信号検知情報とが関連付けられた複数の第1位置情報を含む第1データから、物体の存在に関する情報処理に少なくとも必要な第1位置情報を抽出し、第2データを生成している。すなわち、第2データは、データ量が第1データよりも少ない一方、情報処理部における情報処理に少なくとも必要なデータにより構成されている。
これにより、情報処理部は、物体の検出の測定精度を保持しつつ、物体の存在に関する処理に必要な計算量を減少することで処理速度を向上できる。
代表点は物体の輪郭を表す点であってもよい。これにより、情報処理部は、物体の形状を検出することが必要な情報処理を高速に実行できる。
第2データ生成部は、第1座標上の同一の水平線上又は垂直線上の両端に存在する2つの第1位置情報を、複数の第2位置情報として抽出してもよい。これにより、第2データ生成部は、複雑な計算を用いることなく、物体の輪郭を表す複数の第2位置情報を高速に抽出できる。
第2データ生成部は、第1データから第1座標における所定の方向に関して最も端に位置する2つの第1位置情報を抽出する処理を少なくとも一つの方向に関して行い、当該処理で抽出された第1位置情報を第2位置情報として抽出してもよい。
これにより、複雑な計算を用いることなく、所定の方向の輪郭を表す複数の第2位置情報を抽出できる。
代表点は物体と検出面との距離が最小の点であってもよい。これにより、情報処理部は、物体検出装置に最も近接した物体又は物体の一部の存在についての情報処理を、高速に実行できる。
上記の物体検出装置は、第3データ生成部をさらに備えていてもよい。第3データ生成部は、第1データから第3位置情報を抽出して、第3データを生成する。第3位置情報は、隣り合う検出部について信号検知情報に含まれる距離情報が所定の範囲内にある第1位置情報である。第3データは、第1座標に1つの物体を投影する。このとき、第2データ生成部は、第3データに含まれる第3位置情報を、複数の第2位置情報として抽出する。
これにより、周囲に複数の物体が存在する場合において、物体毎に第2データを生成できる。この結果、複数の物体が存在することに対する情報処理を高速に実行できる。
本発明の他の見地に係る物体検出方法は、以下のステップを含む。
◎物体に向けて第1信号を出力するステップ。
◎それぞれが検出面の所定の位置に配置された複数の検出部により、第1信号が物体にて反射されることにより発生する第2信号を検出するステップ。
◎各検出部の配置位置を検出面上に設定された第1座標で表した座標値と、当該各検出部において検出された第2信号に基づき算出される情報であり、少なくとも検出面と物体との距離情報を含む信号検知情報と、が関連付けられた複数の第1位置情報の集合体である第1データを生成するステップ。
◎第1データから、物体の存在範囲を表す代表点に対応する第1位置情報である複数の第2位置情報を抽出することで、複数の第2位置情報を含む第2データを生成するステップ。
◎第2データを用いて、物体の存在についての情報処理を実行するステップ。
上記の物体検出方法では、検出部の配置位置を示す座標値と信号検知情報とが関連付けられた複数の第1位置情報を含む第1データから、物体の存在に関する情報処理に少なくとも必要な第1位置情報を抽出し、第2データを生成している。これにより、情報処理の実行時に、物体の検出の測定精度を保持しつつ、物体の存在についての処理に必要な計算量を減少することで情報処理の処理速度を向上できる。
本発明のさらに他の見地に係るプログラムは、上記の物体検出方法を、コンピュータに実行させるプログラムである。
上記のプログラムでは、周囲に存在する物体を検出して所定の処理を実行する物体検出装置において、物体の検出の測定精度を保持しつつ、物体の検出に関する処理速度を向上できる。
物体検出装置が用いられる移動体システムの構成を示す図。 物体検出センサの構成を示す図。 制御部の構成を示す図。 物体検出装置の全体的な動作を示すフローチャート。 移動体システムの前方に存在する物体の一例を示す図。 移動体システムの右側に存在する物体の一例を示す図。 第1データの一例を示す図(その1)。 第1データの一例を示す図(その2)。 第3データの一例を示す図(その1)。 第3データの一例を示す図(その2)。 第2データの生成方法を示すフローチャート。 第2データの一例を示す図(その1)。 第2データの一例を示す図(その2)。 第2データの一例を示す図(その3)。 隣接する少なくとも1つの第1位置情報が物体の不存在を示す第1位置情報を第2位置情報としてさらに抽出して生成された第2データの一例を示す図。 情報処理の流れを示すフローチャート。 実空間データの一例を示す図。 所定の方向にデータを走査して生成される第2データの一例を示す図。
1.第1実施形態
(1)物体検出装置が用いられる移動体システムの構成
以下、第1実施形態に係る物体検出装置100が用いられる移動体システム1の構成について、図1を用いて説明する。図1は、物体検出装置が用いられる移動体システムの構成を示す図である。第1実施形態に係る物体検出装置100は、例えば、自動車などの移動体の運転者による操作をアシストする装置である。
移動体システム1は、本体11を備える。本体11は、移動体システム1の本体を構成する。移動体システム1は、車輪12a、12b、12c、12dを備える。車輪12a、12bは、本体11の直進方向(図1)の前部において、駆動部(例えば、エンジン及び/又は電動モータ)の出力回転軸に、減速機構を介して軸回りに回転可能に取り付けられている。一方、車輪12c、12dは、本体11の直進方向の後部に、軸回りに回転可能に取り付けられている。
移動体システム1は、移動体制御部13を備える。移動体制御部13は、車輪12a、12bに設けられたブレーキの駆動機構、駆動部の駆動機構(例えば、アクセルやモータ制御装置)、及び/又は、ハンドルの駆動機構などに接続され、これらの機構を制御可能なコンピュータシステムである。移動体制御部13は、物体Oと本体11との間の決定した位置関係に基づいて、必要に応じて移動体システム1の運転者に代わって、上記の駆動機構を制御する。
具体的には、移動体制御部13は、実空間データVD(後述)に基づき、検出された物体Oが移動体システム1(本体11)の近傍に存在するか否かを判定する。移動体制御部13は、移動体システム1の近傍に物体Oが存在すると判定した場合に、例えば、上記のブレーキシステムや駆動部などを制御して、移動体システム1(本体11)を停止させる移動体制御信号を出力する。
その他、移動体システム1の近傍に物体Oが存在すると判定した場合には、上記のステアリングシステムなどを制御して、移動体システム1に対して当該物体Oを回避させる移動体制御信号を出力してもよい。
移動体システム1は、4つの物体検出センサ14a、14b、14c、14dを備える。図1に示すように、物体検出センサ14aは、本体11の直進方向の最前部に取り付けられ、本体11の前方に存在する物体を検出する。物体検出センサ14bは、本体11の直進方向の最後部に取り付けられ、本体11の後方に存在する物体を検出する。物体検出センサ14cは、本体11の直進方向の左側面に取り付けられ、本体11の左側方に存在する物体を検出する。物体検出センサ14dは、本体11の直進方向の右側面に取り付けられ、本体11の右側方に存在する物体を検出する。
本実施形態において、物体検出センサ14a〜14dは、検出対象の物体Oまでの距離を測定するTOF(Time Of Flight)センサである。しかし、物体検出センサはこれに限られず、例えば、左右2つのカメラの画像差から距離を測定するステレオカメラ、レーザレンジファインダ(Laser Range Finder、LRF)などの他の方式の測距センサを用いてもよい。本実施形態における物体検出センサ14a〜14dの構成については、後ほど詳しく説明する。
移動体システム1は、制御部15を備える。制御部15は、CPU(Central Processing Unit)と、記憶装置(RAM(Random Access Memory)、ROM(Read Only Memory)、SSD(Solid State Drive)又はHDD(Hard Disk Drive)など)と、各種インターフェース(例えば、A/D、D/A変換器など)を備えたコンピュータシステムである。
制御部15は、物体検出センサ14a〜14dからの検出信号を入力し、当該検出信号に基づいて、周囲に存在する物体Oと本体11との間の位置関係を決定する。制御部15の構成については、後ほど詳しく説明する。
上記の構成を備えることにより、移動体システム1は、物体検出センサ14a〜14dにより検出された物体Oと本体11との位置関係に基づいて、移動体システム1の運転者による運転をアシストできる。また、本実施形態においては、物体検出センサ14a〜14dと制御部15とが、物体検出装置100を構成する。
(2)物体検出センサの構成
次に、本実施形態に係る物体検出装置100にて用いられる物体検出センサ14a〜14dの構成について、図2を用いて説明する。図2は、物体検出センサの構成を示す図である。4つの物体検出センサ14a〜14dは同じ構成を有しているので、物体検出センサ14aの構成を例にとって以下説明する。
物体検出センサ14aは、出力部141を有する。出力部141は、例えば、検出対象である物体Oに向けて、赤外領域の測定光Lm(第1信号の一例)を出力する光源である。図2に示すように、本実施形態において、出力部141は、移動体システム1が移動する空間の広い範囲に広がった測定光Lmを出力することが好ましい。なぜなら、物体検出センサ14aは、移動体システム1が移動する空間の広い範囲にある物体Oを同時に検出できるからである。
物体検出センサ14aは、複数の検出部143−1、143−2、・・・143−nを有する。複数の検出部143−1、143−2、・・・143−nのそれぞれは、例えば、検出面DS(半導体基板)上の所定の位置に配置され、測定光Lmが物体Oにて反射されることにより発生する反射光Lr(第2信号の一例)を検出する。検出部143−1〜143−n、例えば、電荷結合素子(Charge Coupled Device)、又は、CMOS(Complementary MOS)素子である。
また、図2に示すように、複数の検出部143−1〜143−nは、検出面DS上の上下方向及び左右方向に配置されてアレイを形成している。これにより、複数の検出部143−1〜143−nは、検出面DS上に、CCDイメージセンサ又はCMOSイメージセンサを形成できる。
複数の検出部143−1〜143−nのそれぞれには、当該検出部と外部の制御部15とを接続/切断するためのスイッチング素子(例えば、MOS−FET)が接続されている。また、スイッチング素子にはアドレス線が接続されており、アドレス線に信号が印加されたときに、当該スイッチング素子はONされ、ONされたスイッチング素子に接続された検出部と、制御部15とが信号送受信可能となる。
物体検出センサ14aは、レンズ145を有していてもよい。レンズ145は、反射光Lrを、検出面DSのうち複数の検出部143−1〜143−nが形成された領域に集光する。これにより、広い範囲にある物体Oの像を、複数の検出部143−1〜143−nが形成された領域に結像できる。
上記の構成を有することにより、物体検出センサ14aは、移動体システム1が移動する空間の広い範囲にある物体Oを、所定の座標上に投影可能な距離データを取得できる。
(3)制御部の構成
以下、本実施形態に係る物体検出装置100の制御部15の構成を、図3を用いて説明する。図3は、制御部の構成を示す図である。以下に説明する制御部15の各要素の機能の一部又は全部は、制御部15を構成するコンピュータシステムにて実行可能なプログラムとして実現されていてもよい。このとき、当該プログラムは、コンピュータシステムの記憶装置に形成された記憶領域に記憶されていてもよい。また、制御部15の各要素の機能の一部又は全部は、カスタムICなどによりハードウェア的に実現されていてもよい。
制御部15は、記憶部151を有する。記憶部151は、各種データを記憶する、例えば、コンピュータシステムの記憶装置に設けられた記憶領域の一部である。
制御部15は、第1データ生成部152を有する。第1データ生成部152は、第1データD1を生成する。第1データD1は、各検出部143−1〜143−nの検出面DSにおける配置位置を当該検出面DS上に設定された所定の座標(第1座標と呼ぶ)で表した座標値と、信号検知情報と、が関連付けられた複数の第1位置情報の集合体である。信号検知情報は、検出面DSと検出された物体Oとの間の距離を表す距離情報を少なくとも含む情報である。信号検知情報は、各検出部143−1〜143−nについて、当該各検出部143−1〜143−nにおいて検出された第2信号に基づいて算出される。
以下、物体検出センサ14aの第1データD1を生成する場合を例に説明する。第1データ生成部152は、最初に、1番目の検出部143−1に対応するアドレス線に信号を印加することで、1番目の検出部143−1と第1データ生成部152とを接続し、検出部143−1が反射光Lrを検出したか否かを示す信号(例えば、電流又は電圧信号)を入力する。当該信号を入力した後、第1データ生成部152は、反射光Lrを検出したか否かを示す信号を入力した時刻と、出力部141が測定光Lmを出力した時刻と、の差分をDTと算出する。
次に、第1データ生成部152は、上記の時刻の差分DTから、物体Oと検出面DSとの間の距離を表す距離情報d1を、c*DT/2(c:光速)と算出する。
その後、第1データ生成部152は、第1位置情報(x,y,d)を生成する。具体的には、第1データ生成部152は、検出部143−1の配置位置を第1座標で表した座標値(x1,y1)と、上記の距離情報d1とを関連付けることで、検出部143−1についての第1位置情報を、(x1,y1,d1)を生成できる。
なお、第1位置情報は、各検出部の配置位置についての座標値と、上記の距離情報をだけでなく、検出した第2信号に関する他の情報を含んだ信号検出情報とを関連付けた情報としてもよい。
その後、第1データ生成部152は、信号を印加するアドレス線を順次変更することにより、上記の工程を他の全ての検出部143−2、143−3、・・・143−nに対して実行して、n個の第1位置情報の集合体(x1、y1、d1)、(x2、y2、d2)、・・・(xn、yn、dn)を生成する。当該n個の第1位置情報の集合体は、第1データD1として、記憶部151に記憶される。
なお、距離情報dと関連付ける上記の座標値は、検出部ごとに予め決められており、例えば、各検出部の検出面DSにおける配置関係に基づいて決定される。例えば、検出部143−1の水平方向に隣接する検出部143−2に割り当てられた座標値(x2,y2)において、y2はy1と等しくなる。一方、例えば、検出部143−1の垂直方向に隣接する検出部143−mに割り当てられた座標値(xm,ym)において、xmはx1と等しくなる。
制御部15は、第2データ生成部153を有する。第2データ生成部153は、第1データD1から、複数の第2位置情報を抽出することで、複数の第2位置情報を含む第2データD2を生成し、記憶部151に記憶する。第2位置情報は、検出された物体Oの存在範囲を表す代表点に対応する第1位置情報である。第2データ生成部153は、第1座標のy軸方向、すなわち、第1位置情報のy座標値を1ずつ増加又は減少することで、第1データD1を垂直方向に「走査」して、所定の条件に当てはまる第1位置情報を、第2位置情報として抽出する。
本実施形態において、第2データ生成部153が抽出する代表点は、三次元形状を有する物体Oを第1座標に投影した時の輪郭を表す点と、物体Oと検出面DSとの距離を表す点である。物体Oと検出面DSとの距離を表す代表点は、物体Oと検出面DSとの間の距離が最小の点であってもよいし、物体Oの表面上の点の中でそれぞれ周辺の領域で最も距離が小さい複数の点を代表点としてもよい。
本実施形態における第2データ生成部153の位置情報抽出方法については、後ほど詳しく説明する。
制御部15は、情報処理部154を有する。情報処理部154は、第2データ生成部153にて生成され記憶部151に記憶されている第2データD2を用いて、物体Oの存在についての情報処理を実行する。
具体的には、情報処理部154は、実空間データ生成部1541を有する。実空間データ生成部1541は、第2データD2から、移動体システム1が移動する実空間における検出された物体Oの配置位置を表す実空間データVDを生成する。
情報処理部154は、実空間データ出力部1542を有する。実空間データ出力部1542は、移動体制御部13に対して実空間データVDを出力する。
上記の構成を有することにより、制御部15は、第2データD2を生成し、それを情報処理部154に提供できる。第2データD2は、移動体制御部13において情報処理を行うのに必要な最低限のデータ(座標値)を含むようにしたので、情報処理部154および移動体制御部13で処理するデータが少なくなり、ひいては物体Oの存在に関する情報処理の処理速度を向上できる。
制御部15は、第3データ生成部155を有していてもよい。第3データ生成部155は、第1データD1から、第3位置情報を抽出して、第1座標に1つの物体Oの投影する第3データD3を生成する。第3位置情報は、第1座標上の距離が近く、さらに、隣り合う検出部に対応する第1位置情報の信号検知情報に含まれる距離情報dが類似している第1位置情報である。
具体的には、第3データ生成部155は、第1データD1に含まれる第1位置情報のうち、第1座標上で所定の距離に存在する第1位置情報と比較して、当該第1位置情報の信号検知情報に含まれる距離の差が所定の範囲内である第1位置情報群を、第3位置情報として抽出(当該処理を「クラスタリング」と呼ぶこともある)することで、第3データD3を生成する。
第3データ生成部155の処理により、異なる複数の物体Oをクラスタリングにより分離でき、その結果、複数の第3データD3が得られる。
(4)物体検出装置の動作
(4−1)物体検出装置の全体的な動作
以下、移動体システム1に備わった物体検出装置100の動作について説明する。まず、物体検出装置100の全体的な動作について、図4を用いて説明する。図4は、物体検出装置の全体的な動作を示すフローチャートである。
移動体システム1が実空間を移動中の所定の時間毎に、第1データ生成部152は、物体検出センサ14a〜14dの出力部141に対して、測定光Lmを出力するよう指令する(ステップS1)。
測定光Lmを出力した瞬間に、移動体システム1の直進方向の前方には、図5Aに示すような、物体O1(人の形状をした物体)と、物体O2(自動車の形状をした物体)が存在したとする。図5Aは、移動体システムの前方に存在する物体の一例を示す図である。
一方、移動体システム1の直進方向の右側には、図5Bに示すような物体O3(標識が取り付けられたガードレールの形状をした物体)が存在したとする。図5Bは、移動体システムの右側に存在する物体の一例を示す図である。図5Bにおいて、横点線より上に示す図は物体O3の上面図であり、下に示す図は物体O3の正面図である。図5Bに示すように、標識は、ガードレールから移動体システム1が走行している側へ突出した状態で取り付けられている。
測定光Lmの出力とほぼ同時に、第1データ生成部152は、物体検出センサ14a〜14dの各検出部に対応するアドレス線に順次信号を印加し、当該各検出部から反射光Lrを検出したか否かを示す信号を入力する(ステップS2)。その後、第1データ生成部152は、各物体検出センサ14a〜14dに対して、上記にて示した方法にて、第1データD1を生成する(ステップS3)。
上記のステップS1〜S3を実行することにより、物体検出センサ14aについては、図6Aに示すような第1データD1が得られる。一方、物体検出センサ14dについては、図6Bに示すような第1データD1が得られる。図6A及び図6Bは、第1データの一例を示す図である。
図6A及び図6Bに示す第1データD1の各グリッドは、検出面DSに配置された各検出部に対応し、第1座標(図6Aの場合はx−y座標、図6Bの場合はz−y座標)における各座標値に対応する。図6A及び図6Bに示す第1データD1のグリッドに付された色の濃淡は、各検出部で検出された信号検知情報に含まれる距離の値の大小を示す。
例えば、図6Aにおいて淡い色で示すグリッドは、距離がd1’の近傍であることを示しており、濃い色にて示すグリッドは、距離がd2’の近傍(d2’>d1’)であることを示している。最も白色にて示されるグリッドは、最も淡い色であるので最も近い距離を意味することになるが、図面表現の都合上、当該グリッド各検出部で検出された信号検知情報に含まれる距離の値が無限大(すなわち、物体Oが不存在)であることを示すことにする。
図6A及び図6Bに示すように、第1データD1は、複数の検出部143−1〜143−nにより検出された物体O(の形状)を第1座標上に投影し、第1データD1の各グリッドには信号検知情報(距離情報d)の値の大小が関連付けられている。
信号検知情報の値の大小は、物体Oと検出面DSとの間の距離の大小なので、第1データD1は、物体Oについての「距離画像」であると言える。
第1データD1を生成後、第3データ生成部155は、必要に応じて、上記のクラスタリング処理により、第3データD3を生成する(ステップS4)。
図6Aに示す例においては、第3データ生成部155が、第1座標上で近い距離にあり、さらに信号検知情報に含まれる距離がd1’の近傍である第1位置情報の集合体を、複数の第3位置情報として抽出することにより、図7Aに示すような、人の形状を第1座標(x−y座標)に投影した第3データD3−1を得る。
一方、第3データ生成部155が、第1座標上で近い距離にあり、さらに信号検知情報に含まれる距離がd2’の近傍である第1位置情報の集合体を、複数の第3位置情報として抽出することにより、図7Bに示すような、自動車の形状を第1座標(x−y座標)に投影した第3データD3−2を得る。図7A及び図7Bは、第3データの一例を示す図である。
図7A及び図7Bにおいて白色にて示すグリッドには、第1位置情報が存在していない。すなわち、第3データD3は、抽出した物体Oの形状を「くりぬいた」データであると言える。
第3データ生成部155が、第1座標上の距離が近く、信号検知情報に含まれる距離が所定の範囲内にある第1位置情報を第3位置情報として抽出して、第3データD3を生成することにより、移動体システム1の周囲に複数の物体Oが存在する場合において、物体O毎に第2データD2を生成できる。
第3データD3を生成後、第2データ生成部153は、第3データD3又は第1データD1から、検出された各物体O1、O2、O3の存在範囲を表す代表点(物体の輪郭及び最小点)である第1位置情報を、第2位置情報として抽出することで第2データD2を生成する(ステップS5)。ステップS5における第2データD2の生成(第2位置情報の抽出)方法については、後ほど詳しく説明する。
上記のステップS4が実行されて複数の第3データD3が生成された場合には、生成された複数の第3データD3の全てに対して第2データD2の生成が実行されてもよいし、第3データD3に示される物体Oの形状などに基づいて、第2データD2を生成すべき第3データD3を選択してもよい。
複数の第3データD3に対して第2データD2の生成が実行された場合には、複数の第2データD2−1、D2−2、・・・が生成される。
第2データD2を生成後、情報処理部154は、ステップS5にて生成した第2データD2を用いて、物体O1、O2、O3の存在に関する情報処理を実行する(ステップS6)。本実施形態におけるステップS6における情報処理については、後ほど詳しく説明する。
上記のステップS1〜S5を実行することにより、データ量が第1データD1よりも少なくなる一方、第2データD2を構成する第2位置情報は、情報処理部154における情報処理に少なくとも必要なものに制限できる。
このような第2データD2を用いて情報処理を実行することにより、情報処理部154は、ステップS6において、物体O1、O2、O3の検出の測定精度を保持しつつ、物体O1、O2、O3の存在に関する処理に必要な計算量を減少することで情報処理の処理速度を向上できる。
情報処理を終了後、制御部15は、物体検出装置100の動作を終了するか否かを判断する(ステップS7)。例えば、ユーザにより物体検出装置100の動作の終了を指令された場合(ステップS7において「Yes」の場合)に、制御部15は、物体検出装置100の動作を停止する。
一方、ユーザにより動作の終了を指令されていない場合(ステップS7において「No」の場合)、制御部15は、物体検出装置100の動作を継続する。
(4−2)第2データの生成方法
次に、上記のステップS5における第2データD2の生成方法を、図8を用いて説明する。図8は、第2データの生成方法を示すフローチャートである。以下に示す第2データD2の生成方法は、y座標値の大きい方から小さい方向へ第1データD1を走査することにより、第1データD1から抽出すべき第1位置情報を決定する。なお最初のx座標においてy座標の走査が終了するたびに次のx座標における走査を行う。
第2データD2の生成を開始すると、第2データ生成部153は、まず、第1データD1に含まれる1つの第1位置情報を参照し、現在参照中の第1位置情報が物体Oの存在を示しているか否かを判断する(ステップS501)。以下の説明では、i列j行目の第1位置情報((xi,yj,dij)とする)を現在参照中とする。
具体的には、第2データ生成部153は、現在参照中の第1位置情報に関連付けられている信号検知情報(距離情報dij)が、所定の値以下の有限値であるか否かにより、当該第1位置情報が物体Oの存在を示すか否かを判断する。
信号検知情報(距離情報dij)が所定の値以上の無限大に近い値である場合、すなわち、現在参照中の第1位置情報が物体Oの不存在を示す場合(ステップS501において「No」の場合)、現在参照中の第1位置情報を第2位置情報として抽出することなく、プロセスは、ステップS508に進む。
一方、信号検知情報(距離情報dij)が所定の値以下の有限値である場合、すなわち、現在参照中の第1位置情報が物体Oの存在を示す場合(ステップS501において「Yes」の場合)、第2データ生成部153は、物体Oの存在を示す第1位置情報を、第2位置情報として抽出するか否かを判断する。
本実施形態において、第2データ生成部153は、物体Oの存在を示す第1位置情報のうち、物体Oの輪郭(特に垂直方向の輪郭)を表す第1位置情報と、検出面DSとの距離が最小である物体Oの点(領域)を表す第1位置情報と、を第2位置情報として抽出して第2データD2を生成する。
具体的には、第2データ生成部153は、最初に、現在参照中の第1位置情報がy軸の正方向(実空間の高さ方向)の輪郭を表すものであるか否かを判断する(ステップS502)。
過去に参照した全ての第1位置情報が物体Oの不存在を示しており、今回の第1位置情報において初めて物体Oの存在が示された場合(ステップS502において「Yes」の場合)、第2データ生成部153は、現在参照中の第1位置情報をy軸の正方向(上部)の輪郭を表すものと判断し、それを第2位置情報として抽出する(ステップS507)。
一方、上部の輪郭を表す第1位置情報がすでに見つかっている場合(ステップS502において「No」の場合)、第2データ生成部153は、次に、現在参照中の第1位置情報が、現時点において、検出面DSとの距離が最小であることを示しているか否かを判断する(ステップS503)。
上記のように、信号検知情報の値は、測定光Lmが出力されてから反射光Lrが検出部にて検出されるまでの時間として算出されている。すなわち、信号検知情報の値は、検出面DSと物体Oとの間の距離に対応するものである。従って、第2データ生成部153は、現在参照中の第1位置情報に関連付けられた信号検知情報(距離情報dij)が、これまで参照した信号検知情報(距離情報di1、di2、・・・di(j−1))の中で最小であるか否かを判断することにより、検出面DSとの距離が最小であることを示しているか否かを判断する。
信号検知情報(距離情報dij)がこれまで参照した信号検知情報の中で最小の値を示しており、現在参照中の第1位置情報が、現時点において、検出面DSとの距離が最小であることを示している場合(ステップS503において「Yes」の場合)、第2データ生成部153は、検出面DSとの距離が最小である第1位置情報として過去に抽出されていた第2位置情報を第2データD2(記憶部151)から削除する(ステップS504)。その後、第2データ生成部153は、現在参照中の第1位置情報を、新たな第2位置情報として抽出し、記憶部151に記憶する(ステップS507)。
なお、ステップS503において、第2データ生成部153は、y軸方向において最小値を示す信号検知情報(距離情報dij)が関連付けられた1つの第1位置情報だけでなく、当該最小値よりも若干大きな値を示す信号検知情報(距離情報dij)が関連付けられた複数の第1位置情報も、第2位置情報として抽出してもよい。
これにより、第2データ生成部153は、物体検出センサ14a〜14dにおける測定誤差などを考慮して、検出面DSとの距離が最小である物体Oの領域の形状を示す複数の第1位置情報を、第2位置情報として抽出できる。
また、ステップS503において、第2データ生成部153は、現在参照中の第1位置情報に関連付けられた信号検知情報(距離情報dij)の値が、周囲の第1位置情報に関連付けられた信号検知情報の値(平均値)よりも極端に小さい場合に、現在参照中の第1位置情報を第2位置情報として抽出してもよい。
これにより、第2データ生成部153は、物体Oの表面の凹凸ではなく、物体Oから検出面DS側へ突出した部分を示す第1位置情報を、第2位置情報として抽出できる。
一方、これまで参照した信号検知情報(di1、di2、・・・di(j−1))の中に最小値を示す信号検知情報が存在した場合(S503において「No」の場合)、第2データ生成部153は、検出面DSとの距離が最小である第1位置情報として過去に抽出されていた第2位置情報を、第2データD2から削除しない。
その後さらに、第2データ生成部153は、現在参照中の第1位置情報を、y軸方向の負方向(下部)の輪郭として抽出するか否かを判断する。
具体的には、第2データ生成部153は、最初に、現時点において、下部の輪郭を表す第1位置情報として抽出された第2位置情報が存在するか否かを判断する(ステップS505)。
検出面DSまでの距離が最小である第2位置情報、及び、上部の輪郭を表す第2位置情報以外に、下部の輪郭を表す第2位置情報がさらに存在する場合(ステップS505において「Yes」の場合)、第2データ生成部153は、当該第2位置情報を第2データD2から削除し(ステップS506)、現在参照中の第1位置情報を、下部の輪郭を表す第2位置情報として抽出する(ステップS507)。
一方、下部の輪郭を表す第2位置情報が存在しない場合(ステップS505において「No」の場合)、第2データD2から第2位置情報を削除することなく、現在参照中の第1位置情報を、下部の輪郭を表す第2位置情報として抽出する(ステップS507)。
上記のステップS501〜507を実行して、現在参照中の第1位置情報を、第2位置情報として抽出するか否かを決定後、第2データ生成部153は、現在走査中のy軸方向の全ての第1位置情報に対して、上記のステップS501〜S507を実行したか否かを判断する(ステップS508)。
例えば、複数の検出部143−1〜143−nが、N列M行(すなわち、検出部の数n=N*M)のアレイ状に配置されている場合には、上記のステップS501〜S507が同一のy軸方向に対してM回繰り返されていたら、y軸方向の全ての第1位置情報に対して、上記のステップS501〜S507を実行したと判断する。
上記のステップの繰り返し回数がM回より小さく、抽出するか否かを決定すべき第1位置情報がまだ残っている場合(ステップS508において「No」の場合)、第2データ生成部153は、次の行(すなわち、i列j+1行)の第1位置情報(xi,y(j+1),di(j+1))に対して、第2位置情報として抽出するか否かの判断を行うと決定し、プロセスは、ステップS501に戻る。
一方、上記のステップの繰り返し回数がM回となり、現在走査中のy軸方向の全ての第1位置情報に対して第2位置情報として抽出するか否かを決定した場合(ステップS508において「Yes」の場合)、第2データ生成部153は、走査を完了した列が第1データD1の最終列であるか否かを判断する(ステップS509)。
例えば、走査を完了した列の個数がNよりも小さく、走査を実行すべき列が残っていると判断した場合(ステップS509において「No」の場合)、第2データ生成部153は、次の列(すなわち、i+1列)の第1位置情報に対して、第2位置情報として抽出するか否かの判断を行うと決定し、プロセスは、ステップS501に戻る。
一方、走査を完了した列の個数がNとなり、走査を実行すべき列が残っていない(すなわち、第1データD1に含まれる全ての第1位置情報に対してステップS501〜S507を実行した)と判断した場合(ステップS509において「Yes」の場合)、第2データD2の生成処理は終了する。
上記のステップS501〜S509に示す第2位置情報の抽出方法(第2データD2の生成方法)を、図7A、図7B、図6Bに示す第1データD1又は第3データD3に対して実行することにより、それぞれ、図9A〜図9Cに示すような、各物体O1、O2、O3に対する第2データD2が生成される。図9A〜図9Cは、第2データの一例を示す図である。
このように、第1座標上の同一の垂直線上(同一のy軸方向)の両端に存在する2つの第1位置情報(下部の輪郭及び上部の輪郭を表す第1位置情報)を、複数の第2位置情報として抽出するにより、第2データ生成部153は、複雑な計算を用いることなく、物体Oの輪郭を表す複数の第2位置情報を高速に抽出できる。
物体O1についての第2データD2−1(図9A)では、物体O1(人の形状)が水平方向の輪郭線を多く含んでいないので、他の物体と比較して、物体形状の再現性が低い。ただし、情報処理において、例えば、物体Oの高さに関する処理を実行する場合には、図9Aに示すように、物体O1の上端と下端とが識別できる程度の第2位置情報が第2データD2に含まれていれば、物体形状の再現性があまり大きくなくても問題ない。
水平方向の輪郭線を多く含んでいない物体Oの形状を、第2データD2にて再現性よく再現するためには、第1データD1において垂直方向の輪郭を示す第1位置情報も、第2位置情報として抽出するようにすればよい。
具体的には、第2データ生成部153は、物体Oの上部又は下部の輪郭を示さず、かつ、検出面DSとの距離が最小でもない第1位置情報のうち、隣接する少なくとも1つの第1位置情報が物体Oの不存在を示す第1位置情報を、第2位置情報としてさらに抽出してもよい。
例えば、物体Oの上部又は下部の輪郭を示す第1位置情報と、検出面DSとの距離が最小である第1位置情報とに加えて、隣接する少なくとも1つの第1位置情報が物体Oの不存在を示す第1位置情報を第2位置情報としてさらに抽出することができる。その場合、例えば、図10に示すように、水平方向の輪郭線を多く含まない物体O1の形状を、第2データD2において再現できている。
図10は、隣接する少なくとも1つの第1位置情報が物体の不存在を示す第1位置情報を第2位置情報としてさらに抽出して生成された第2データの一例を示す図である。
また、検出面DSまでの距離が最小である第1位置情報を第2位置情報として抽出する際に、第2データ生成部153は、周囲の信号検知情報の平均値よりも極端に小さく、かつ、真の最小値から所定の範囲内にある値を有する信号検知情報が関連付けられた複数の第1位置情報を、第2位置情報として抽出している。
これにより、図9A〜図10に示すように、第2データ生成部153は、物体Oから突出した部分を示す第1位置情報のみを第2位置情報として適切に抽出できている。つまり、物体Oの小さい凹凸を示す第1位置情報が第2位置情報として誤って抽出されない。
上記のように、第1座標上の同一の垂直線上に存在する第1位置情報のうち、信号検知情報に含まれる距離が最小である第1位置情報を、複数の第2位置情報として抽出することにより、第2データ生成部153は、複雑な計算を用いることなく、物体検出装置100に最も近接した物体O又は物体Oの一部を表す複数の第2位置情報を高速に抽出できる。
(4−3)情報処理
次に、上記のステップS6において実行される情報処理について、図11を用いて説明する。図11は、情報処理の流れを示すフローチャートである。以下においては、検出した物体Oと検出面DSとの間の決定した位置関係に基づいて、移動体システム1の駆動機構を制御する情報処理を例にとって説明する。
情報処理を開始すると、移動体システム1が移動する実空間における物体Oの配置位置を決定するため、実空間データ生成部1541が、第2データD2を用いて、検出された物体Oの実空間における配置位置を表す実空間データVDを生成する(ステップS601)。
具体的には、実空間データ生成部1541は、第2データD2に含まれる第2位置情報を実空間座標系(X−Y−Z座標)に展開することにより、実空間データVDを生成する。
物体検出センサ14aの第2データD2のp番目の第2位置情報(xp,yp,dp)をX−Y−Z座標に展開する場合を例にとると、実空間データ生成部1541は、第1座標の座標値(xp,yp)を実空間の座標値に対応するように拡大して、実空間におけるX−Y座標の座標値(Xp,Yp)を得る。当該座標値の拡大率は、距離情報dpと焦点距離とに基づいて算出できる。また、dp=Zpとして、最終的に、X−Y−Z座標における物体Oの座標値を(Xp,Yp,Zp)と算出できる。当該座標値の計算を、第2データD2に含まれる全ての第2位置情報に対して実行することにより、実空間データVDが生成される。
図9B、図9C、及び図10に示す第2データD2を用いて実空間データVDを生成すると、図12に示すような実空間データVDが生成される。図12は、実空間データの一例を示す図である。
図12に示すように、物体Oの輪郭及び検出面DS(図12では点線にて示している)までの距離が最小である第1位置情報を含む第2データD2から生成された実空間データVDは、物体検出センサ14a〜14dにて検出された物体O1、O2、O3の配置位置、形状、及び、物体の突出部分の位置と形状を、実空間座標にて適切に再現できている。すなわち、本実施形態の物体検出装置100においては、少ないデータ量の第2データD2を用いても、物体Oの検出の測定精度はほとんど低下していない。
本実施形態においては、物体検出センサ14a〜14dにて得られたデータのうち、物体Oの輪郭を表すデータ(第1位置情報)と、物体Oと検出面DSとの距離が最小であるデータ(第1位置情報)とを抽出した第2データD2を用いて、実空間座標における物体Oの座標値の計算が実行される。この結果、当該座標値の計算に必要な計算量(計算の繰ち返し回数)を減少して、情報処理における処理速度を向上できる。
実空間データVDを生成後、実空間データ出力部1542が、移動体制御部13へ、生成した実空間データVDを出力する。実空間データVDを入力した移動体制御部13は、本体11の近傍に物体Oが存在するか否かを判定する(ステップS602)。具体的には、移動体制御部13は、実空間データVDに、本体11の座標値から所定の距離以下の範囲内に入る座標値が、実空間データVD内に存在するときに、本体11(移動体システム1)の近傍に物体Oが存在すると判定する。
移動体システム1の近傍に物体Oが存在すると判定された場合(ステップS602において「Yes」の場合)、移動体制御部13は、移動体制御指令を出力する(ステップS603)。移動体制御指令は、本体11を、物体Oの手前で停止させて、当該物体Oとの衝突を回避するための指令である。具体的には、移動体制御部13は、ブレーキの駆動機構に対してブレーキをかける指令、及び/又は、アクセル開度(あるいはエンジン及び/又は電動モータの出力制御機構)を0とする指令を、移動体制御信号として出力する。
その他、例えば、物体Oを回避するようハンドルの操舵角を制御する移動体制御信号をさらに出力してもよく、必要に応じて、エンジン及び/又は電動モータと車輪12a、12bとの間のクラッチを切断する移動体制御信号を出力してもよい。
一方、移動体システム1の近傍に物体Oが存在しないと判定された場合(ステップS602において「No」の場合)、移動体制御部13は、移動体システム1の制御処理を終了する。この場合には、移動体システム1は、運転者の操作に従って、移動を継続できる。
上記の第1実施形態において、情報処理部154は、検出された全ての物体Oの第1位置情報を実空間座標に展開して実空間データVDを生成していた。移動体システム1において、物体Oの全ての個所について注意を払う必要はなく、近傍に物体Oが存在することを判定するために必要なデータだけを処理対象とすればよく、このことにより処理時間を短くすることができる。
上記の第1実施形態では、第2データ生成部153で得られた全ての第2位置情報(輪郭)を第2データとしているが、さらに効率的にするためには、最も上部にある第1位置情報と最も下部にある第1位置情報のみを第2データD2とすることも有効である。同様に考えれば水平方向を垂直方向と入れ替えて、最も左部にある第1位置情報と最も右部にある第1位置情報のみを第2データD2とすることも有効である。
2.他の実施形態
以上、本発明の一実施形態について説明したが、本発明は上記実施形態に限定されるものではなく、発明の要旨を逸脱しない範囲で種々の変更が可能である。特に、本明細書に書かれた複数の実施形態及び変形例は必要に応じて任意に組み合せ可能である。
例えば、上記にて説明した第1実施形態における第2データの生成処理の順番は、図8のフローチャートに示す処理の順番に限られず、必要に応じて、処理の順番を入れ替えることができる。
(A)第2データの生成方法についての他の実施形態
上記の第1実施形態において、第2データ生成部153は、第1データD1をy軸方向(垂直方向)に走査することにより、第2位置情報として抽出する第1位置情報を決定していた。しかし、物体Oの輪郭を表す第1位置情報、及び、検出面DSまでの距離が最小である第1位置情報を抽出できればよいので、第2位置情報として抽出する第1位置情報を決定する際の走査方向は、y軸方向(垂直方向)に限られない。
例えば、第1データD1をx軸方向(水平方向)に走査して、抽出する第1位置情報を決定してもよい。この場合は、物体Oの左右端部の垂直方向(y軸方向)に延びる輪郭を表す第1位置情報を抽出できる。その他、第1データD1をy軸方向とx軸方向の両方向に走査して、抽出する第1位置情報を決定してもよい。
どの方向に第1データD1を走査するかは、情報処理を、物体Oの高さに基づいて実行したいのか、水平方向の長さに基づいて実行したいかなどの基準により、適宜決定できる。
例えば、第1データD1から第1座標における所定の方向に関して最も端に位置する2つの第1位置情報を抽出する処理を少なくとも一つの方向に関して行ってもよい。
例えば、自動車の形状を有する第3データD3−2(図7B)を、垂直方向に対して45°の角度を有して左上部から右下部に向かって走査して、最も端に位置する2つの第1位置情報を抽出すると、図13に示すような第2データD2−2’を生成できる。図13は、所定の方向にデータを走査して生成される第2データの一例を示す図である。
図13に示す第2データD2−2’では、自動車形状の主に左上部と右下部の輪郭を代表点として抽出できている。このように、第1データD1又は第3データD3の走査方向を任意に変更することにより、複雑な計算を用いることなく、所定の方向の輪郭を表す第2位置情報を抽出できる。
上記のような所定の走査方向に第1データD1又は第3データD3を走査する場合には、例えば、走査方向を表す関数を第1座標において定義して、当該関数の各パラメータを変化させて、上記の第1実施形態における第2位置情報の抽出方法を用いることにより、任意の方向の第1位置情報(第3位置情報)を第2位置情報として抽出できる。
例えば、第1座標において定義されるy=Ax+Bとの関数を、第1データD1又は第3データD3の走査線を表す関数として定義できる。この関数において、傾きAがデータの走査方向を表し、切片Bが走査線を平行移動させる。
上記の関数において、例えば、切片Bを変化させることにより走査線を平行移動しつつ、取りうる値の範囲でX値又はY値を1ずつ変化して第1データD1又は第3データD3を走査し、当該関数上の最も端に存在する2つの第1位置情報又は第3位置情報を、第2位置情報として抽出することにより、第2データD2−2’を生成できる。
上記に示した、垂直方向に対して45°の角度を有して左上部から右下部に向かって第3データD3−2を走査する場合には、走査線を表す関数は、例えば、y=−x+B(すなわち、傾きAが−1)と定義できる。
さらに、例えば、移動体システム1を駐車スペースに駐車する場合には、本体11の側面及び後部に存在する物体Oに特に注意する必要がある。このような場合には、本体11の両側面及び後部に取り付けられた物体検出センサ14b〜14dから得られた第1データD1のみを用いるようにしてもよい。
また、移動体システム1を駐車する場合には、特に壁などの表面からの突出物に注意する必要がある。従って、第1データD1に含まれる第1位置情報のうち、検出面DSまでの距離が最小である第1位置情報のみを抽出するか、及び/又は人の形状を有する物体Oの存在を示す第1位置情報を抽出するかして、第2データD2を生成してもよい。
上記のように、移動体システム1の移動状況に合わせて実空間座標に展開する物体Oを選択することにより、情報処理に用いるデータ量をさらに減少して、処理速度を向上できる。
周囲に存在する物体を検出して所定の処理を実行する物体検出装置に広く適用できる。
1 移動体システム
11 本体
12a、12b、12c、12d 車輪
13 移動体制御部
14a、14b、14c、14d 物体検出センサ
141 出力部
143−1、143−2、143−n 検出部
145 レンズ
15 制御部
151 記憶部
152 第1データ生成部
153 第2データ生成部
154 情報処理部
1541 実空間データ生成部
1542 実空間データ出力部
155 第3データ生成部
100 物体検出装置
D1 第1データ
D2、D2−1、D2−2 第2データ
D3、D3−1、D3−2 第3データ
VD 実空間データ

Claims (7)

  1. 物体に向けて第1信号を出力する出力部と、
    それぞれが検出面の所定の位置に配置され、前記第1信号が前記物体にて反射されることにより発生する第2信号を検出する複数の検出部と、
    各検出部の配置位置を前記検出面上に設定された第1座標で表した座標値と、当該各検出部において検出された前記第2信号に基づき算出される情報であり、少なくとも前記検出面と前記物体との距離情報を含む信号検知情報と、が関連付けられた複数の第1位置情報の集合体である第1データを生成する第1データ生成部と、
    前記第1データから、前記物体の存在範囲を表す代表点に対応する第1位置情報である複数の第2位置情報を抽出することで、前記複数の第2位置情報を含む第2データを生成する第2データ生成部と、
    前記第2データを用いて、前記物体の存在についての情報処理を実行する情報処理部と、
    を備え、
    前記第2データ生成部は、前記第1データを前記第1座標における所定の方向に走査することで、当該所定の方向に関して最も端に位置する2つの第1位置情報を、前記第2位置情報として抽出する、
    物体検出装置。
  2. 前記代表点は前記物体の輪郭を表す点である、請求項1に記載の物体検出装置。
  3. 前記第2データ生成部は、前記第1座標上の同一の水平線上又は垂直線上の両端に存在する2つの第1位置情報を、前記複数の第2位置情報として抽出する、請求項1又は2に記載の物体検出装置。
  4. 前記代表点は前記物体と前記検出面との距離が最小の点である、請求項1に記載の物体検出装置。
  5. 前記第1データから、隣り合う前記検出部について前記信号検知情報に含まれる前記距離情報が所定の範囲内にある前記第1位置情報を第3位置情報として抽出して、前記第1座標に1つの物体を投影する第3データを生成する第3データ生成部をさらに備え、
    前記第2データ生成部は、前記第3データに含まれる前記第3位置情報を前記複数の第2位置情報として抽出する、
    請求項1〜のいずれかに記載の物体検出装置。
  6. 物体に向けて第1信号を出力するステップと、
    それぞれが検出面の所定の位置に配置された複数の検出部により、前記第1信号が前記物体にて反射されることにより発生する第2信号を検出するステップと、
    各検出部の配置位置を前記検出面上に設定された第1座標で表した座標値と、当該各検出部において検出された前記第2信号に基づき算出される情報であり、少なくとも前記検出面と前記物体との距離情報を含む信号検知情報と、が関連付けられた複数の第1位置情報の集合体である第1データを生成するステップと、
    前記第1データから、前記物体の存在範囲を表す代表点に対応する第1位置情報である複数の第2位置情報を抽出することで前記複数の第2位置情報を含む第2データを生成するステップと、
    前記第2データを用いて、前記物体の存在についての情報処理を実行するステップと、
    を含み、
    前記第2データを生成するステップは、前記第1データを前記第1座標における所定の方向に走査することで、当該所定の方向に関して最も端に位置する2つの第1位置情報を、前記第2位置情報として抽出するステップを含む、
    物体検出方法。
  7. 請求項に記載の物体検出方法を、コンピュータに実行させるプログラム。
JP2016050939A 2016-03-15 2016-03-15 物体検出装置、物体検出方法、及びプログラム Active JP6519505B2 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
JP2016050939A JP6519505B2 (ja) 2016-03-15 2016-03-15 物体検出装置、物体検出方法、及びプログラム
EP16894565.7A EP3432259B1 (en) 2016-03-15 2016-12-06 Object detection device, object detection method, and program
US15/751,877 US10657392B2 (en) 2016-03-15 2016-12-06 Object detection device, object detection method, and program
CN201680048028.XA CN107924562B (zh) 2016-03-15 2016-12-06 物体检测装置、物体检测方法及记录媒体
KR1020187004523A KR102020670B1 (ko) 2016-03-15 2016-12-06 물체 검출 장치, 물체 검출 방법, 및 프로그램
PCT/JP2016/086218 WO2017158948A1 (ja) 2016-03-15 2016-12-06 物体検出装置、物体検出方法、及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016050939A JP6519505B2 (ja) 2016-03-15 2016-03-15 物体検出装置、物体検出方法、及びプログラム

Publications (2)

Publication Number Publication Date
JP2017167720A JP2017167720A (ja) 2017-09-21
JP6519505B2 true JP6519505B2 (ja) 2019-05-29

Family

ID=59850259

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016050939A Active JP6519505B2 (ja) 2016-03-15 2016-03-15 物体検出装置、物体検出方法、及びプログラム

Country Status (6)

Country Link
US (1) US10657392B2 (ja)
EP (1) EP3432259B1 (ja)
JP (1) JP6519505B2 (ja)
KR (1) KR102020670B1 (ja)
CN (1) CN107924562B (ja)
WO (1) WO2017158948A1 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6859907B2 (ja) * 2017-09-08 2021-04-14 トヨタ自動車株式会社 車両制御装置
CN107767373A (zh) * 2017-10-23 2018-03-06 苏州茂特斯自动化设备有限公司 一种芯片管脚宽度快速亚像素精度视觉检测方法
JP7200994B2 (ja) * 2018-07-13 2023-01-10 株式会社ニコン 処理装置、検出装置、処理方法、及び処理プログラム
CN111086508A (zh) * 2018-10-24 2020-05-01 罗伯特·博世有限公司 自动躲避或减轻碰撞的方法及控制***、存储介质和汽车
US10311324B1 (en) * 2018-10-26 2019-06-04 StradVision, Inc. Learning method, learning device for detecting objectness by detecting bottom lines and top lines of nearest obstacles and testing method, testing device using the same
CN118190940B (zh) * 2024-05-20 2024-07-12 蓝冰河(常州)精密测量技术有限责任公司 一种物体表面一致性检测方法和***

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10143659A (ja) * 1996-11-06 1998-05-29 Komatsu Ltd 物体検出装置
JP3349060B2 (ja) * 1997-04-04 2002-11-20 富士重工業株式会社 車外監視装置
US6256095B1 (en) * 2000-01-21 2001-07-03 Owens-Brockway Glass Container Inc. Container sealing surface area inspection
CN101819490A (zh) * 2009-02-27 2010-09-01 索尼公司 反射检测设备、显示设备、电子设备和反射检测方法
JP2012022573A (ja) * 2010-07-15 2012-02-02 Toshiba Corp 移動体検出装置
JP5343063B2 (ja) * 2010-11-30 2013-11-13 京セラドキュメントソリューションズ株式会社 光走査装置及び画像形成装置
JP2012234258A (ja) 2011-04-28 2012-11-29 Sony Corp 画像処理装置と画像処理方法およびプログラム
JP5993564B2 (ja) * 2011-07-13 2016-09-14 新日本無線株式会社 反射型フォトセンサを用いた位置検出装置
JP2014071323A (ja) * 2012-09-28 2014-04-21 Dainippon Printing Co Ltd 反射防止物品
CN203759246U (zh) * 2014-01-21 2014-08-06 杭州先临三维科技股份有限公司 点源全息图测距装置

Also Published As

Publication number Publication date
EP3432259A4 (en) 2019-12-04
WO2017158948A1 (ja) 2017-09-21
CN107924562B (zh) 2021-04-20
KR102020670B1 (ko) 2019-09-10
EP3432259A1 (en) 2019-01-23
US10657392B2 (en) 2020-05-19
JP2017167720A (ja) 2017-09-21
US20180232582A1 (en) 2018-08-16
KR20180030167A (ko) 2018-03-21
CN107924562A (zh) 2018-04-17
EP3432259B1 (en) 2023-11-08

Similar Documents

Publication Publication Date Title
JP6519505B2 (ja) 物体検出装置、物体検出方法、及びプログラム
WO2010100791A1 (ja) 駐車支援装置
US11003920B2 (en) Detection and planar representation of three dimensional lanes in a road scene
JP2019008519A (ja) 移動体検出方法、移動体学習方法、移動体検出装置、移動体学習装置、移動体検出システム、および、プログラム
JP7217741B2 (ja) 演算処理装置、オブジェクト識別システム、オブジェクト識別方法、自動車、車両用灯具
JP6187671B2 (ja) 自己位置算出装置及び自己位置算出方法
JPWO2018131090A1 (ja) 車両制御装置、車両制御方法、および車両制御プログラム
CN107923978B (zh) 物体检测装置、物体检测方法及记录媒体
KR102519666B1 (ko) 이미지 변환 장치 및 방법
KR101995223B1 (ko) 보행자 검출 시스템 및 모듈, 방법, 컴퓨터프로그램
WO2015125297A1 (ja) 自己位置算出装置及び自己位置算出方法
CN112631266A (zh) 一种移动机器人感知障碍信息的方法、装置
JP2015011032A (ja) 3次元物体形状及び姿勢の推定並びに追跡の方法及び装置
US9813694B2 (en) Disparity value deriving device, equipment control system, movable apparatus, robot, and disparity value deriving method
JP2017181476A (ja) 車両位置検出装置、車両位置検出方法及び車両位置検出用コンピュータプログラム
JP2015225546A (ja) 物体検出装置、運転支援装置、物体検出方法、および物体検出プログラム
JP6458577B2 (ja) 画像測距装置
JP6398218B2 (ja) 自己位置算出装置及び自己位置算出方法
CN107433902B (zh) 基于用户输入的车辆控制***及其方法
CN112747757A (zh) 用于提供雷达数据的方法和设备、计算机程序和计算机可读存储介质
KR20110012317A (ko) 빛 줄무늬 감지 방법, 목표 위치 검출 방법 및 그를 이용한 주차 보조 장치
US20240242609A1 (en) Parking information processing device, storage medium for storing computer program for processing parking information, method for processing parking information, parking information processing system, and parking information processing server
KR20240094055A (ko) 차량, 차량 제어 방법, 및 차량의 주행 제어 방법

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20171023

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20181204

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190128

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190326

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190408

R150 Certificate of patent or registration of utility model

Ref document number: 6519505

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250