WO2019194255A1 - 演算処理装置、オブジェクト識別システム、オブジェクト識別方法、自動車、車両用灯具 - Google Patents

演算処理装置、オブジェクト識別システム、オブジェクト識別方法、自動車、車両用灯具 Download PDF

Info

Publication number
WO2019194255A1
WO2019194255A1 PCT/JP2019/014889 JP2019014889W WO2019194255A1 WO 2019194255 A1 WO2019194255 A1 WO 2019194255A1 JP 2019014889 W JP2019014889 W JP 2019014889W WO 2019194255 A1 WO2019194255 A1 WO 2019194255A1
Authority
WO
WIPO (PCT)
Prior art keywords
image data
dimensional
object identification
data
arithmetic processing
Prior art date
Application number
PCT/JP2019/014889
Other languages
English (en)
French (fr)
Inventor
健佑 荒井
Original Assignee
株式会社小糸製作所
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社小糸製作所 filed Critical 株式会社小糸製作所
Priority to CN201980024210.5A priority Critical patent/CN111989709B/zh
Priority to JP2020512307A priority patent/JP7217741B2/ja
Priority to EP19781388.4A priority patent/EP3779871A4/en
Publication of WO2019194255A1 publication Critical patent/WO2019194255A1/ja
Priority to US17/061,914 priority patent/US11341604B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/06—Topological mapping of higher dimensional structures onto lower dimensional surfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Definitions

  • the present invention relates to an object identification system.
  • LiDAR Light Detection and Ranging, Laser Imaging and Detection
  • cameras millimeter wave radar, and ultrasonic sonar.
  • LiDAR is capable of (i) object recognition based on point cloud data, and (ii) high-precision detection even in bad weather due to active sensing, compared to other sensors.
  • Iii) has an advantage that a wide range of measurement is possible, and is expected to become the mainstream in the sensing system of automobiles in the future.
  • a method for detecting an object a method may be considered in which a feature amount is defined for each category (type) of the object, and the position and category of the object are determined by pattern matching.
  • a feature amount is defined for each category (type) of the object, and the position and category of the object are determined by pattern matching.
  • the present invention has been made in such a situation, and one of exemplary purposes of an aspect thereof is to provide an arithmetic processing device capable of identifying an object, an object identification system, and an object type identification method.
  • An aspect of the present invention relates to an object identification method or system.
  • point cloud data acquired by a three-dimensional sensor is converted into two-dimensional image data having a pixel value as a distance. Then, by inputting this image data to a classifier such as a convolutional neural network, the position and category of the object included in the point cloud data are determined.
  • a classifier such as a convolutional neural network
  • the object can be identified.
  • FIGS. 2A and 2B are diagrams illustrating point cloud data generated by a three-dimensional sensor.
  • 3A and 3B are diagrams for explaining the relationship between point cloud data and image data. It is a figure explaining the mapping from point cloud data to image data.
  • FIGS. 5A and 5B are diagrams showing two typical scenes. It is a figure which shows transition of the loss with respect to learning.
  • FIGS. 7A to 7E are diagrams showing some verification results. It is a block diagram of a motor vehicle provided with an object identification system. It is a block diagram which shows a vehicle lamp provided with an object identification system. It is a figure which shows the object identification system which concerns on the modification 5.
  • FIG. It is a figure explaining an example of the conversion process of the aspect ratio by an aspect ratio conversion part.
  • One embodiment disclosed in this specification relates to an arithmetic processing device.
  • the arithmetic processing unit receives a point cloud data acquired by the three-dimensional sensor into a two-dimensional image data having a pixel value as a distance, and a two-dimensional image data as an input, and is included in the point cloud data.
  • a classifier is provided for determining the position and category of the object.
  • the two-dimensional conversion unit converts coordinates expressed in the Euclidean coordinate system of each point included in the point cloud data into a polar coordinate system (r, ⁇ , ⁇ ), and converts ( ⁇ , ⁇ ) into the pixel position and the distance r. You may convert into the two-dimensional image data used as a pixel value.
  • the aspect ratio may be changed by dividing the image data into a plurality of areas and rearranging the plurality of areas. If the aspect ratio suitable for the input of the classifier and the aspect ratio of the original image data are different, the calculation efficiency can be improved by converting the aspect ratio.
  • FIG. 1 is a diagram illustrating an object identification system 10 according to an embodiment.
  • the object identification system 10 includes a three-dimensional sensor 20 and an arithmetic processing device 40.
  • the three-dimensional sensor 20 is a LiDAR, a ToF (Time Of Flight) camera, a stereo camera, or the like, and generates point group data D1 describing a set (point group) of points p that form the surface of the surrounding object OBJ. .
  • FIG. 2A and 2B are diagrams illustrating the point cloud data D1 generated by the three-dimensional sensor 20.
  • FIG. FIG. 2A is a perspective view showing a relationship between an object and a point group
  • FIG. 2B shows a data structure of point group data describing the point group.
  • the point group is a set of a plurality of n points p 1 , p 2 ,..., Pn
  • the point group data is a plurality of points p 1 , p 2 ,.
  • n includes three-dimensional data indicating the position of each Euclidean coordinate system (x, y, z).
  • the point number i varies depending on the type and manufacturer of the three-dimensional sensor 20 and may be two-dimensionally numbered.
  • the arithmetic processing unit 40 determines the position and category (type, class) of the object OBJ based on the point cloud data D1.
  • the object category is exemplified by pedestrians, bicycles, automobiles, utility poles, and the like. About a pedestrian, you may define the pedestrian seen from the front, the pedestrian seen from the back, and the pedestrian seen from the side as the same category. The same applies to automobiles and bicycles. This definition is adopted in the present embodiment.
  • the arithmetic processing unit 40 can be implemented by a combination of a CPU (Central Processing Unit), a GPU (Graphics Processing Unit), a processor (hardware) such as a microcomputer, and a software program executed by the processor (hardware).
  • the arithmetic processing unit 40 may be a combination of a plurality of processors.
  • the arithmetic processing unit 40 includes a two-dimensional conversion unit 42 and a convolutional neural network 44.
  • the two-dimensional conversion unit 42 and the convolutional neural network 44 do not necessarily mean that they are independent in terms of hardware, and may represent functions provided by hardware such as a CPU executing a software program. Good.
  • the two-dimensional conversion unit 42 converts the point cloud data D1 acquired by the three-dimensional sensor 20 into two-dimensional image data D2 having the distance r as a pixel value.
  • the distance r may be represented by, for example, 8-bit 256 gradations.
  • the convolutional neural network 44 receives the image data D2 as input, determines the position and category of the object OBJ included in the point cloud data D1, and outputs final data D3 indicating the likelihood (affiliation probability) for each position and category. It is a classifier.
  • the convolutional neural network 44 is implemented based on a prediction model generated by machine learning.
  • the convolutional neural network 44 may be a known technique widely used in image recognition, detailed description thereof is omitted.
  • 3A and 3B are diagrams for explaining the relationship between the point cloud data D1 and the image data D2.
  • the coordinates of each point p i included in the point cloud data D1 are represented by the Euclidean coordinate system (x i , y i , z i ).
  • the two-dimensional conversion unit 42 converts the Euclidean coordinate system (x i , y i , z i ) into a polar coordinate system (r i , ⁇ i , ⁇ i ).
  • r is a moving radius
  • ⁇ is a polar angle (zenith angle)
  • ⁇ is an azimuth angle (deflection angle).
  • FIG. 2B shows a state where the point p i is mapped.
  • FIG. 4 is a diagram for explaining mapping from point cloud data to image data. All the points included in the point cloud data (p 1 to p 19 in this example) are mapped to a two-dimensional data structure, and image data D2 is generated. A maximum value (or 0 or a negative value) may be mapped as a pixel value to a pixel where there is no point p to be mapped.
  • the above is the configuration of the object identification system 10. Next, a result of verifying object recognition by the arithmetic processing unit 40 will be described.
  • the verification was performed using distance data generated using 3D computer graphics without using the point cloud data D1 generated by the three-dimensional sensor 20.
  • the distance data is two-dimensional data of 300 ⁇ 300 pixels, corresponds to the above-described image data D2, and the pixel value is a distance.
  • FIGS. 5A and 5B are diagrams showing two typical scenes.
  • the scene in FIG. 5A is a highway, where two trucks and two motorcycles are located in front.
  • the scene in FIG. 5B is an urban area, where two pedestrians, three cars, and one motorcycle are located in front.
  • the upper part of each figure represents distance data, and the lower part represents a camera image projected onto a two-dimensional plane.
  • an SSD Single Shot MultiBox Detector
  • the SSD is a neural network composed of a plurality of convolution layers, and six convolution layers having different sizes output the position of the object and the likelihood of each category. Although there are a plurality of outputs obtained from these six layers, a final output is obtained by integrating estimation results having a large overlap of object regions by an output layer called Non-Maximum Suppression.
  • the simulation data PreScan which is commercially available as an advanced driver assistance system (ADAS) development support tool, was used to collect teacher data.
  • the teacher data is a set of annotation data in which the distance data of the two-dimensional structure and the position and category of the object with respect to the data are described.
  • the distance data of the two-dimensional structure is preferably the same as that of the three-dimensional sensor 20 used in the object identification system 10, but here, a virtual depth camera is used.
  • the number of teacher data finally created is 713.
  • FIG. 6 is a diagram illustrating a transition of loss with respect to learning.
  • FIGS. 7A to 7E are diagrams showing some verification results.
  • the bounding box represents the position of the detected object, and the category and likelihood are shown together. Although some missing items are seen, it can be seen that pedestrians, trucks, cars, and motorcycles can be detected correctly.
  • the object identification system 10 can detect a position and identify a category by diverting a convolutional neural network for image data to two-dimensional distance data.
  • the object identification system 10 also has an advantage that a clustering process for dividing the point cloud data for each object is unnecessary.
  • FIG. 8 is a block diagram of an automobile provided with the object identification system 10.
  • the automobile 100 includes headlamps 102L and 102R.
  • the object identification system 10 at least the three-dimensional sensor 20 is built in at least one of the headlamps 102L and 102R.
  • the headlamp 102 is located at the foremost end of the vehicle body, and is most advantageous as an installation location of the three-dimensional sensor 20 in detecting surrounding objects.
  • the arithmetic processing unit 40 may be built in the headlamp 102 or provided on the vehicle side. For example, in the arithmetic processing unit 40, intermediate data may be generated inside the headlamp 102, and final data generation may be left to the vehicle side.
  • FIG. 9 is a block diagram showing a vehicular lamp 200 including the object identification system 10.
  • the vehicular lamp 200 includes a light source 202, a lighting circuit 204, and an optical system 206. Further, the vehicular lamp 200 is provided with a three-dimensional sensor 20 and an arithmetic processing unit 40. Information regarding the object OBJ detected by the arithmetic processing unit 40 is transmitted to the vehicle ECU 104. The vehicle ECU may perform automatic driving based on this information.
  • the information regarding the object OBJ detected by the arithmetic processing device 40 may be used for light distribution control of the vehicular lamp 200.
  • the lamp ECU 208 generates an appropriate light distribution pattern based on information regarding the type and position of the object OBJ generated by the arithmetic processing device 40.
  • the lighting circuit 204 and the optical system 206 operate so that the light distribution pattern generated by the lamp ECU 208 is obtained.
  • the three-dimensional point group data is converted into the polar coordinate system (r, ⁇ , ⁇ ), and ( ⁇ , ⁇ ) is converted into two-dimensional image data having the pixel position and the distance r as the pixel value.
  • the conversion to the image data D2 there are some variations regarding the conversion to the image data D2.
  • each point included in the three-dimensional point group data may be converted from the Euclidean coordinate system to the cylindrical coordinate system (r, z, ⁇ ), where (z, ⁇ ) is the pixel position and r is the pixel value.
  • each point included in the three-dimensional point group data may be projected on a two-dimensional plane, and the distance r may be a pixel value.
  • a projection method perspective projection or parallel projection can be used.
  • Modification 2 An object may be defined as a different category for each direction in which it is desired. That is, a certain object may be defined as a different category depending on whether the object is directly facing the vehicle or not. This is useful for estimating the moving direction of the object OBJ.
  • the arithmetic processing unit 40 may be configured only by hardware using an FPGA, a dedicated application specific integrated circuit (ASIC), or the like.
  • Modification 4 Although the in-vehicle object identification system 10 has been described in the embodiment, the application of the present invention is not limited to this. For example, it is fixedly installed on a traffic light, a traffic sign, or other traffic infrastructure, and is also applied to a use for fixed-point observation. Is possible.
  • FIG. 10 is a diagram illustrating an object identification system 10A according to the fifth modification.
  • Many convolutional neural networks developed for object detection by image recognition support common image resolutions and aspect ratios, and the assumed aspect ratios are 1: 1, 4: 3, or 16: About nine.
  • the resolution in the elevation angle direction may be extremely smaller than the resolution in the horizontal direction.
  • Qurnergy M8 a LiDAR sold by Quanergy Systems, USA, has a resolution of 10400 in the 360-degree scan lateral direction, but the resolution in the elevation angle direction is only 8, and the aspect ratio (10400: 8) is extremely large.
  • the arithmetic processing unit 40A in FIG. 10 includes an aspect ratio conversion unit 46 that converts the aspect ratio of the image data D2 obtained by the two-dimensional conversion unit 42.
  • the convolutional neural network 44 receives image data D ⁇ b> 2 ′ whose aspect ratio has been converted.
  • FIG. 11 is a diagram for explaining an example of the aspect ratio conversion processing by the aspect ratio conversion unit 46.
  • the original image data D2 may be divided into a plurality of regions R1 and R2, and the aspect ratio may be changed by rearranging them.
  • the calculation efficiency can be improved by converting the aspect ratio.
  • the classifier algorithms are YOLO (You Only Look Once), SSD (Single Shot MultiBox Detector), R-CNN (Region-based Convolutional Neural Network), SPPnet (Spatial Pyramid Pooling), Faster R-CNN, DSSD (Deconvolution- SSD), Mask R-CNN, etc., or algorithms that will be developed in the future. Alternatively, linear SVM or the like may be used.
  • the present invention relates to an object identification system.
  • DESCRIPTION OF SYMBOLS 10 ... Object identification system, 20 ... Three-dimensional sensor, 40 ... Arithmetic processing unit, 42 ... Two-dimensional conversion part, 44 ... Convolution neural network, D1 ... Point cloud data, D2 ... Image data, 100 ... Car, 102 ... Head Lamp 104, vehicle ECU, 200, vehicle lamp, 202, light source, 204, lighting circuit, 206, optical system, 208, lamp ECU.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)
  • Image Processing (AREA)
  • Lighting Device Outwards From Vehicle And Optical Signal (AREA)

Abstract

二次元変換部４２は、３次元センサ２０により取得された点群データＤ１を、距離を画素値とする２次元の画像データＤ２に変換する。畳み込みニューラルネットワーク４４は画像データＤ２を入力として受け、点群データに含まれるオブジェクトの位置およびカテゴリを判定する。

Description

演算処理装置、オブジェクト識別システム、オブジェクト識別方法、自動車、車両用灯具
　本発明は、オブジェクト識別システムに関する。
　自動車のセンサとして、ＬｉＤＡＲ（Light Detection and Ranging、Laser Imaging Detection and Ranging）、カメラ、ミリ波レーダ、超音波ソナーなどが候補として挙げられる。このなかでＬｉＤＡＲは、そのほかのセンサと比較して、（i）点群データによる物体認識が可能であること、（ii）アクティブセンシングであるが故の悪天候時にも高精度な検出が可能であること、（iii）広範囲の測定が可能であること、などの利点を有しており、今後、自動車のセンシングシステムにおける主流となることが期待されている。
特開２０１７－５６９３５号公報 特開２００９－９８０２３号公報
　オブジェクトの検出方法として、オブジェクトのカテゴリ（種類）ごとに特徴量を規定しておき、パターンマッチングによりオブジェクトの位置およびカテゴリを判定する方法が考えられる。しかしながら、この方法では、カテゴリごとに適切な特徴量の設計は容易ではない。
　本発明は係る状況においてなされたものであり、そのある態様の例示的な目的のひとつは、オブジェクトを識別可能な演算処理装置、オブジェクト識別システムおよびオブジェクトの種類の識別方法の提供にある。
　本発明のある態様は、オブジェクトの識別方法あるいはシステムに関する。この方法／システムでは、３次元センサにより取得された点群データが、距離を画素値とする２次元の画像データに変換される。そしてこの画像データを畳み込みニューラルネットワークなどの分類器に入力することにより、点群データに含まれるオブジェクトの位置およびカテゴリを判定する。
　本発明によれば、オブジェクトを識別できる。
実施の形態に係るオブジェクト識別システムを示す図である。 図２（ａ）、（ｂ）は、３次元センサが生成する点群データを説明する図である。 図３（ａ）、（ｂ）は、点群データと画像データの関係を説明する図である。 点群データから画像データへのマッピングを説明する図である。 図５（ａ）、（ｂ）は、代表的な２つのシーンを示す図である。 学習に対する損失の推移を示す図である。 図７（ａ）～（ｅ）は、いくつかの検証結果を示す図である。 オブジェクト識別システムを備える自動車のブロック図である。 オブジェクト識別システムを備える車両用灯具を示すブロック図である。 変形例５に係るオブジェクト識別システムを示す図である。 アスペクト比変換部によるアスペクト比の変換処理の一例を説明する図である。
（実施の形態の概要）
　本明細書に開示される一実施の形態は、演算処理装置に関する。演算処理装置は、３次元センサにより取得された点群データを、距離を画素値とする２次元の画像データに変換する二次元変換部と、画像データを入力として受け、点群データに含まれるオブジェクトの位置およびカテゴリを判定する分類器を備える。
　この実施の形態によれば、本来、分類器の処理対象ではない点群データ形式の３次元データを、２次元の画像データとして扱うことで、画像処理で実績のある分類器による処理が可能となる。また分類器を用いることで特徴量の設計が不要となる。
　二次元変換部は、点群データに含まれる各点のユークリッド座標系で表される座標を、極座標系（ｒ，θ，φ）に変換し、（θ，φ）を画素位置、距離ｒを画素値とする２次元の画像データに変換してもよい。
　画像データを複数の領域に分割し、複数の領域を再配置することでアスペクト比を変化させてもよい。分類器の入力に適したアスペクト比と、もとの画像データのアスペクト比が異なっている場合に、アスペクト比を変換することで、演算効率を高めることができる。
（実施の形態）
　以下、本発明を好適な実施の形態をもとに図面を参照しながら説明する。各図面に示される同一または同等の構成要素、部材、処理には、同一の符号を付するものとし、適宜重複した説明は省略する。また、実施の形態は、発明を限定するものではなく例示であって、実施の形態に記述されるすべての特徴やその組み合わせは、必ずしも発明の本質的なものであるとは限らない。
　図１は、実施の形態に係るオブジェクト識別システム１０を示す図である。オブジェクト識別システム１０は、３次元センサ２０および演算処理装置４０を備える。３次元センサ２０は、ＬｉＤＡＲ、ＴｏＦ（Time Of Flight）カメラ、ステレオカメラなどであり、その周囲のオブジェクトＯＢＪの表面を形成する点ｐの集合（点群）を記述する点群データＤ１を生成する。
　図２（ａ）、（ｂ）は、３次元センサ２０が生成する点群データＤ１を説明する図である。図２（ａ）は、オブジェクトと点群の関係を示す斜視図であり、図２（ｂ）は、点群を記述する点群データのデータ構造を表す。図２（ａ）に示すように、点群は複数ｎ個の点ｐ１，ｐ２，…，ｐｎの集合であり、点群データは、複数の点ｐ１，ｐ２，…，ｐｎそれぞれのユークリッド座標系（ｘ，ｙ，ｚ）の位置を示す３次元データを含む。ｉ番目の点ｐｉ（ｉ＝１，２，…，ｎ）の座標を、（ｘｉ，ｙｉ，ｚｉ）と表記する。なお、点の番号ｉは、３次元センサ２０の種類やメーカによってさまざまであり、２次元で番号を付してもよい。
　図１に戻る。演算処理装置４０は、点群データＤ１にもとづいて、オブジェクトＯＢＪの位置およびカテゴリ（種類、クラス）を判定する。たとえばオブジェクトのカテゴリは、歩行者、自転車、自動車、電柱などが例示される。歩行者について、前方から見た歩行者、後方から見た歩行者、側方から見た歩行者を、同じカテゴリとして定義してもよい。自動車、自転車も同様である。本実施の形態ではこの定義を採用する。
　演算処理装置４０は、ＣＰＵ（Central Processing Unit）やＧＰＵ（Graphics Processing Unit）、マイコンなどのプロセッサ（ハードウェア）と、プロセッサ（ハードウェア）が実行するソフトウェアプログラムの組み合わせで実装することができる。演算処理装置４０は、複数のプロセッサの組み合わせであってもよい。
　演算処理装置４０は、二次元変換部４２および畳み込みニューラルネットワーク４４を備える。二次元変換部４２および畳み込みニューラルネットワーク４４は、必ずしもハードウェア的に独立していることを意味するものでなく、ＣＰＵなどのハードウェアがソフトウェアプログラムを実行することにより提供される機能を表してもよい。
　二次元変換部４２は、３次元センサ２０により取得された点群データＤ１を、距離ｒを画素値とする２次元の画像データＤ２に変換する。距離ｒは、たとえば８ビット２５６階調で表してもよい。
　畳み込みニューラルネットワーク４４は、画像データＤ２を入力として受け、点群データＤ１に含まれるオブジェクトＯＢＪの位置およびカテゴリを判定し、位置およびカテゴリごとの尤度（所属確率）を示す最終データＤ３を出力する分類器である。畳み込みニューラルネットワーク４４は、機械学習によって生成された予測モデルにもとづいて実装される。
　畳み込みニューラルネットワーク４４については画像認識で広く用いられる公知技術を用いればよいため、詳細な説明は省略する。
　図３（ａ）、（ｂ）は、点群データＤ１と画像データＤ２の関係を説明する図である。図３（ａ）に示すように、点群データＤ１に含まれる各点ｐｉの座標は、ユークリッド座標系（ｘｉ，ｙｉ，ｚｉ）で表される。二次元変換部４２は、ユークリッド座標系（ｘｉ，ｙｉ，ｚｉ）を極座標系（ｒｉ、θｉ，φｉ）に変換する。ｒは動径、θは極角（天頂角）、φは方位角（偏角）である。そして、（θ，φ）を画素位置、距離ｒを画素値とする２次元の画像データＤ２に変換する。図２（ｂ）には、点ｐｉがマッピングされる様子を示す。
　図４は、点群データから画像データへのマッピングを説明する図である。点群データに含まれるすべての点（この例ではｐ１～ｐ１９）が、２次元のデータ構造にマッピングされ、画像データＤ２が生成される。マッピングすべき点ｐが存在しない画素には、画素値として、最大値（あるいは０、あるいは負の値）をマッピングしてもよい。
　以上がオブジェクト識別システム１０の構成である。続いて演算処理装置４０による物体認識について検証した結果を説明する。
　検証は、３次元センサ２０が生成する点群データＤ１を用いずに、３Ｄコンピュータグラフィックスを用いて生成した距離データを用いて行った。カテゴリは、車、トラック、歩行者、バイク、自転車の５つとした。距離データは、３００×３００ピクセルの２次元データであり、上述の画像データＤ２に対応しており、画素値は距離である。
　図５（ａ）、（ｂ）は、代表的な２つのシーンを示す図である。図５（ａ）のシーンは高速道路であり、２台のトラックと、２台のバイクが前方に位置している。図５（ｂ）のシーンは市街地であり、２人の歩行者と、３台の自動車、１台のバイクが前方に位置している。各図の上段は、距離データを、下段は、２次元平面に投影したカメラ画像を表す。
　畳み込みニューラルネットワーク４４としては、物体の重なりに強く、また小さな物体の検出も可能なＳＳＤ（Single Shot MultiBox Detector）を用いた。ＳＳＤは複数の畳み込み層より構成されるニューラルネットワークであり、サイズの異なる６つの畳み込み層が、物体の位置と各カテゴリの尤度を出力する。これらの６つの層から得られる出力は複数個となるが、Non-Maximum Suppressionと称される出力層によって物体領域の重なりが大きい推定結果を統合して、最終的な出力を得る。
　畳み込みニューラルネットワーク４４の学習に関して、教師データの収集には、先進運転支援システム（ADAS)開発支援ツールとして市販されるシミュレーションソフトPreScanを利用した。教師データは２次元構造の距離データとそのデータに対する物体の位置およびカテゴリが記されたアノテーションデータのセットである。なお２次元構造の距離データは、オブジェクト識別システム１０に使用される３次元センサ２０と同じものを用いることが望ましいが、ここでは仮想的なＤｅｐｔｈカメラを用いることとした。最終的に作成した教師データの数は７１３個である。
　７１３個の教師データのうち、８割の５７１個を学習に使用し、残りを検証に使用し多。学習回数は５０エポック、バッチサイズは４に設定している。図６は、学習に対する損失の推移を示す図である。
　図７（ａ）～（ｅ）は、いくつかの検証結果を示す図である。バウンディングボックスは、検出されたオブジェクトの位置を表しており、カテゴリと尤度があわせて示される。いくつかの取りこぼしは見られるが、歩行者やトラック、自動車、オートバイを正しく検出できていることが分かる。
　オブジェクト識別システム１０では、画像データを対象とする畳み込みニューラルネットワークを２次元の距離データに転用することで、位置検出およびカテゴリの識別が可能となる。このオブジェクト識別システム１０では、点群データをオブジェクトごとに分割するクラスタリング処理が不要であるという利点もある。
　図８は、オブジェクト識別システム１０を備える自動車のブロック図である。自動車１００は、前照灯１０２Ｌ，１０２Ｒを備える。オブジェクト識別システム１０のうち、少なくとも３次元センサ２０は、前照灯１０２Ｌ，１０２Ｒの少なくとも一方に内蔵される。前照灯１０２は、車体の最も先端に位置しており、周囲のオブジェクトを検出する上で、３次元センサ２０の設置箇所として最も有利である。演算処理装置４０については、前照灯１０２に内蔵してもよいし、車両側に設けてもよい。たとえば演算処理装置４０のうち、中間データの生成は前照灯１０２の内部で行い、最終データの生成は車両側に委ねてもよい。
　図９は、オブジェクト識別システム１０を備える車両用灯具２００を示すブロック図である。車両用灯具２００は、光源２０２、点灯回路２０４、光学系２０６を備える。さらに車両用灯具２００には、３次元センサ２０および演算処理装置４０が設けられる。演算処理装置４０が検出したオブジェクトＯＢＪに関する情報は、車両ＥＣＵ１０４に送信される。車両ＥＣＵは、この情報にもとづいて、自動運転を行ってもよい。
　また、演算処理装置４０が検出したオブジェクトＯＢＪに関する情報は、車両用灯具２００の配光制御に利用してもよい。具体的には、灯具ＥＣＵ２０８は、演算処理装置４０が生成するオブジェクトＯＢＪの種類とその位置に関する情報にもとづいて、適切な配光パターンを生成する。点灯回路２０４および光学系２０６は、灯具ＥＣＵ２０８が生成した配光パターンが得られるように動作する。
　以上、本発明について、実施の形態をもとに説明した。この実施の形態は例示であり、それらの各構成要素や各処理プロセスの組み合わせにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。以下、こうした変形例について説明する。
（変形例１）
　実施の形態では、３次元の点群データを極座標系（ｒ，θ，φ）に変換し、（θ，φ）を画素位置、距離ｒを画素値とする２次元の画像データに変換したがその限りでなく、画像データＤ２への変換に関して、いくつかの変形例がある。
　たとえば、３次元の点群データに含まれる各点を、ユークリッド座標系から円筒座標系（ｒ，ｚ，φ）に変換し、（ｚ，φ）を画素位置、ｒを画素値としてもよい。
　また３次元の点群データに含まれる各点を、２次元の平面に投影し、距離ｒを画素値としてもよい。投影方法としては、透視投影や平行投影を用いることができる。
（変形例２）
　オブジェクトを、それを望む方向ごとに異なるカテゴリとして定義してもよい。つまり、あるオブジェクトが、自車と正対しているときと、そうでないときとで、別のカテゴリと定義してもよい。これは、オブジェクトＯＢＪの移動方向の推定に役立つ。
（変形例３）
　演算処理装置４０は、ＦＰＧＡや専用のＡＳＩＣ（Application Specific Integrated Circuit）などを用いてハードウェアのみで構成してもよい。
（変形例４）
　実施の形態では、車載用のオブジェクト識別システム１０を説明したが本発明の適用はその限りでなく、たとえば信号機や交通標識、そのほかの交通インフラに固定的に設置され、定点観測する用途にも適用可能である。
（変形例５）
　図１０は、変形例５に係るオブジェクト識別システム１０Ａを示す図である。画像認識による物体検出用に開発されている畳み込みニューラルネットワークの多くは、一般的な画像の解像度およびアスペクト比をサポートしており、想定するアスペクト比は、１：１あるいは４：３、あるいは１６：９程度である。一方、低価格な３次元センサ２０を用いた場合、仰俯角方向（高さ方向）の解像度が横方向の解像度に比べて極端に小さくなる場合がある。たとえば米国Quanergy Systems社が販売するＬｉＤＡＲであるQurnergy M8は３６０度スキャン横方向に１０４００の解像度を有するが、仰俯角方向の解像度はわずかに８であり、アスペクト比（１０４００：８）が極めて大きい。
　そこで図１０の演算処理装置４０Ａは、二次元変換部４２によって得られる画像データＤ２のアスペクト比を変換するアスペクト比変換部４６を含む。畳み込みニューラルネットワーク４４には、アスペクト比が変換された画像データＤ２’が入力される。
　図１１は、アスペクト比変換部４６によるアスペクト比の変換処理の一例を説明する図である。元の画像データＤ２は、複数の領域Ｒ１，Ｒ２に分割され、それらを再配置することでアスペクト比を変化させてもよい。
　畳み込みニューラルネットワーク４４の入力に適したアスペクト比と、もとの画像データＤ２のアスペクト比が異なっている場合に、アスペクト比を変換することで、演算効率を高めることができる。
（変形例６）
　分類器のアルゴリズムは、ＹＯＬＯ（You Only Look Once）、ＳＳＤ（Single Shot MultiBox Detector）、R-CNN（Region-based Convolutional Neural Network）、SPPnet（Spatial Pyramid Pooling）、Faster R-CNN、DSSD（Deconvolution -SSD）、Mask R-CNNなどを採用することができ、あるいは、将来開発されるアルゴリズムを採用できる。あるいは、線形ＳＶＭなどを用いてもよい。
　実施の形態にもとづき、具体的な語句を用いて本発明を説明したが、実施の形態は、本発明の原理、応用の一側面を示しているにすぎず、実施の形態には、請求の範囲に規定された本発明の思想を逸脱しない範囲において、多くの変形例や配置の変更が認められる。
　本発明は、オブジェクト識別システムに関する。
１０…オブジェクト識別システム、２０…３次元センサ、４０…演算処理装置、４２…二次元変換部、４４…畳み込みニューラルネットワーク、Ｄ１…点群データ、Ｄ２…画像データ、１００…自動車、１０２…前照灯、１０４…車両ＥＣＵ、２００…車両用灯具、２０２…光源、２０４…点灯回路、２０６…光学系、２０８…灯具ＥＣＵ。

Claims (10)

  1. 　３次元センサにより取得された点群データを、距離を画素値とする２次元の画像データに変換する二次元変換部と、
    　前記画像データを入力として受け、前記点群データに含まれるオブジェクトの位置およびカテゴリを判定する分類器と、
    　を備えることを特徴とする演算処理装置。
  2. 　前記二次元変換部は、前記点群データに含まれる各点のユークリッド座標系の座標を、極座標系（ｒ、θ，φ）に変換し、（θ，φ）を画素位置、距離ｒを画素値とする２次元の前記画像データに変換することを特徴とする請求項１に記載の演算処理装置。
  3. 　前記画像データを複数の領域に分割し、再配置することでアスペクト比を変化させることを特徴とする請求項１または２に記載の演算処理装置。
  4. 　３次元センサと、
    　請求項１から３のいずれかに記載の演算処理装置と、
    　を備えることを特徴とするオブジェクト識別システム。
  5. 　請求項４に記載のオブジェクト識別システムを備えることを特徴とする自動車。
  6. 　前記３次元センサは、前照灯に内蔵されることを特徴とする請求項５に記載の自動車。
  7. 　請求項４に記載のオブジェクト識別システムを備えることを特徴とする車両用灯具。
  8. 　３次元センサにより点群データを生成するステップと、
    　前記点群データを、距離を画素値とする２次元の画像データに変換するステップと、
    　分類器に前記画像データを入力することにより、前記点群データに含まれるオブジェクトの位置およびカテゴリを判定するステップと、
    　を備えることを特徴とするオブジェクト識別方法。
  9. 　前記変換するステップは、
    　ユークリッド座標系の３次元データの集合である前記点群データを、極座標系（ｒ、θ，φ）に変換するステップと、
    　（θ，φ）を画素位置、距離ｒを画素値とする２次元の前記画像データに変換するステップと、
    　を含むことを特徴とする請求項８に記載のオブジェクト識別方法。
  10. 　前記画像データを複数の領域に分割し、再配置することでアスペクト比を変化させるステップをさらに備えることを特徴とする請求項８または９に記載のオブジェクト識別方法。
PCT/JP2019/014889 2018-04-05 2019-04-03 演算処理装置、オブジェクト識別システム、オブジェクト識別方法、自動車、車両用灯具 WO2019194255A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201980024210.5A CN111989709B (zh) 2018-04-05 2019-04-03 运算处理装置、对象识别***、对象识别方法、汽车、车辆用灯具
JP2020512307A JP7217741B2 (ja) 2018-04-05 2019-04-03 演算処理装置、オブジェクト識別システム、オブジェクト識別方法、自動車、車両用灯具
EP19781388.4A EP3779871A4 (en) 2018-04-05 2019-04-03 ARITHMETIC PROCESSING DEVICE, OBJECT IDENTIFICATION SYSTEM, OBJECT IDENTIFICATION METHOD, AUTOMOTIVE, AND VEHICLE LIGHTING APPARATUS
US17/061,914 US11341604B2 (en) 2018-04-05 2020-10-02 Processing device for object identification

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018073353 2018-04-05
JP2018-073353 2018-04-05

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/061,914 Continuation US11341604B2 (en) 2018-04-05 2020-10-02 Processing device for object identification

Publications (1)

Publication Number Publication Date
WO2019194255A1 true WO2019194255A1 (ja) 2019-10-10

Family

ID=68100562

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/014889 WO2019194255A1 (ja) 2018-04-05 2019-04-03 演算処理装置、オブジェクト識別システム、オブジェクト識別方法、自動車、車両用灯具

Country Status (5)

Country Link
US (1) US11341604B2 (ja)
EP (1) EP3779871A4 (ja)
JP (1) JP7217741B2 (ja)
CN (1) CN111989709B (ja)
WO (1) WO2019194255A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111612689A (zh) * 2020-05-28 2020-09-01 上海联影医疗科技有限公司 医学图像处理方法、装置、计算机设备和可读存储介质
JP2021108091A (ja) * 2019-12-27 2021-07-29 財團法人工業技術研究院Ｉｎｄｕｓｔｒｉａｌ Ｔｅｃｈｎｏｌｏｇｙ Ｒｅｓｅａｒｃｈ Ｉｎｓｔｉｔｕｔｅ ２ｄ画像のラベリング情報に基づく３ｄ画像ラベリング方法及び３ｄ画像ラベリング装置

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110147706B (zh) * 2018-10-24 2022-04-12 腾讯科技（深圳）有限公司 障碍物的识别方法和装置、存储介质、电子装置
CN113436273A (zh) * 2021-06-28 2021-09-24 南京冲浪智行科技有限公司 一种3d场景定标方法、定标装置及其定标应用
TWI769915B (zh) 2021-08-26 2022-07-01 財團法人工業技術研究院 投射系統及應用其之投射校準方法
CN114076595B (zh) * 2022-01-19 2022-04-29 浙江吉利控股集团有限公司 道路高精度地图生成方法、装置、设备及存储介质
US12028642B2 (en) 2022-10-25 2024-07-02 Industrial Technology Research Institute Target tracking system and target tracking method using the same

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004362469A (ja) * 2003-06-06 2004-12-24 Softopia Japan Foundation アクティブセンサの動物体検出装置及び動物体検出方法、並びに動物体検出プログラム
JP2009516278A (ja) * 2005-11-18 2009-04-16 ローベルト ボツシユ ゲゼルシヤフト ミツト ベシユレンクテル ハフツング 光学式レインセンサが組み込まれているヘッドライトモジュール
JP2009098023A (ja) 2007-10-17 2009-05-07 Toyota Motor Corp 物体検出装置及び物体検出方法
JP2013067343A (ja) * 2011-09-26 2013-04-18 Koito Mfg Co Ltd 車両用配光制御システム
JP2017056935A (ja) 2015-09-14 2017-03-23 トヨタ モーター エンジニアリング アンド マニュファクチャリング ノース アメリカ，インコーポレイティド ３ｄセンサにより検出されたオブジェクトの分類
JP2017138660A (ja) * 2016-02-01 2017-08-10 トヨタ自動車株式会社 物体検出方法、物体検出装置、およびプログラム

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3761559B1 (ja) * 2004-10-05 2006-03-29 株式会社ソニー・コンピュータエンタテインメント 画像出力方法
RU2009104869A (ru) * 2009-02-13 2010-08-20 Государственное образовательное учреждение высшего профессионального образования Курский государственный технический университет (R Способ распознавания трехмерных объектов по единственному двумерному изображению и устройство для его реализации
CN102542260A (zh) * 2011-12-30 2012-07-04 中南大学 一种面向无人驾驶车的道路交通标志识别方法
JP6250575B2 (ja) * 2015-03-06 2017-12-20 富士フイルム株式会社 バックライトユニットおよび画像表示装置
DE102015007172A1 (de) * 2015-06-03 2016-02-18 Daimler Ag Fahrzeugscheinwerfer und Fahrzeug
CN204978398U (zh) * 2015-07-21 2016-01-20 张进 汽车组合激光雷达前大灯及汽车
WO2017067764A1 (en) * 2015-10-19 2017-04-27 Philips Lighting Holding B.V. Harmonized light effect control across lighting system installations
US11094208B2 (en) * 2016-09-30 2021-08-17 The Boeing Company Stereo camera system for collision avoidance during aircraft surface operations
CN206690990U (zh) * 2017-03-07 2017-12-01 广州法锐科技有限公司 一种汽车用组合式激光雷达前照灯
CN107180409B (zh) * 2017-03-31 2021-06-25 河海大学 一种针对弯曲骨架型对象三维点云的广义圆柱投影方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004362469A (ja) * 2003-06-06 2004-12-24 Softopia Japan Foundation アクティブセンサの動物体検出装置及び動物体検出方法、並びに動物体検出プログラム
JP2009516278A (ja) * 2005-11-18 2009-04-16 ローベルト ボツシユ ゲゼルシヤフト ミツト ベシユレンクテル ハフツング 光学式レインセンサが組み込まれているヘッドライトモジュール
JP2009098023A (ja) 2007-10-17 2009-05-07 Toyota Motor Corp 物体検出装置及び物体検出方法
JP2013067343A (ja) * 2011-09-26 2013-04-18 Koito Mfg Co Ltd 車両用配光制御システム
JP2017056935A (ja) 2015-09-14 2017-03-23 トヨタ モーター エンジニアリング アンド マニュファクチャリング ノース アメリカ，インコーポレイティド ３ｄセンサにより検出されたオブジェクトの分類
JP2017138660A (ja) * 2016-02-01 2017-08-10 トヨタ自動車株式会社 物体検出方法、物体検出装置、およびプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3779871A4

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021108091A (ja) * 2019-12-27 2021-07-29 財團法人工業技術研究院Ｉｎｄｕｓｔｒｉａｌ Ｔｅｃｈｎｏｌｏｇｙ Ｒｅｓｅａｒｃｈ Ｉｎｓｔｉｔｕｔｅ ２ｄ画像のラベリング情報に基づく３ｄ画像ラベリング方法及び３ｄ画像ラベリング装置
JP7084444B2 (ja) 2019-12-27 2022-06-14 財團法人工業技術研究院 ２ｄ画像のラベリング情報に基づく３ｄ画像ラベリング方法及び３ｄ画像ラベリング装置
CN111612689A (zh) * 2020-05-28 2020-09-01 上海联影医疗科技有限公司 医学图像处理方法、装置、计算机设备和可读存储介质
CN111612689B (zh) * 2020-05-28 2024-04-05 上海联影医疗科技股份有限公司 医学图像处理方法、装置、计算机设备和可读存储介质

Also Published As

Publication number Publication date
JP7217741B2 (ja) 2023-02-03
JPWO2019194255A1 (ja) 2021-04-22
EP3779871A4 (en) 2021-05-19
US20210019860A1 (en) 2021-01-21
EP3779871A1 (en) 2021-02-17
US11341604B2 (en) 2022-05-24
CN111989709A (zh) 2020-11-24
CN111989709B (zh) 2024-07-02

Similar Documents

Publication Publication Date Title
WO2019194255A1 (ja) 演算処理装置、オブジェクト識別システム、オブジェクト識別方法、自動車、車両用灯具
El Madawi et al. Rgb and lidar fusion based 3d semantic segmentation for autonomous driving
US10671860B2 (en) Providing information-rich map semantics to navigation metric map
US11458912B2 (en) Sensor validation using semantic segmentation information
CN116685873A (zh) 一种面向车路协同的感知信息融合表征及目标检测方法
US11783507B2 (en) Camera calibration apparatus and operating method
JP4486997B2 (ja) 車両周辺監視装置
US10657392B2 (en) Object detection device, object detection method, and program
JP2017181476A (ja) 車両位置検出装置、車両位置検出方法及び車両位置検出用コンピュータプログラム
JP6939198B2 (ja) 物体検出方法及び物体検出装置
JP6458577B2 (ja) 画像測距装置
JP7371053B2 (ja) 電子機器、移動体、撮像装置、および電子機器の制御方法、プログラム、記憶媒体
CN111033316B (zh) 识别传感器及其控制方法、汽车、车辆用灯具、对象识别***、对象的识别方法
WO2019198789A1 (ja) オブジェクト識別システム、自動車、車両用灯具、オブジェクトのクラスタリング方法
JP2001243456A (ja) 障害物検出装置及び障害物検出方法
JP7288460B2 (ja) 車載用物体識別システム、自動車、車両用灯具、分類器の学習方法、演算処理装置
CN113611008B (zh) 一种车辆行驶场景采集方法、装置、设备及介质
KR102368262B1 (ko) 다중 관측정보를 이용한 신호등 배치정보 추정 방법
US11532100B2 (en) Method for environmental acquisition, data processing unit
WO2022133986A1 (en) Accuracy estimation method and system
US11915436B1 (en) System for aligning sensor data with maps comprising covariances
US20230286548A1 (en) Electronic instrument, movable apparatus, distance calculation method, and storage medium
US20230009766A1 (en) Method and Processing Unit for Processing Sensor Data of Several Different Sensors with an Artificial Neural Network in a Vehicle
Nedevschi et al. On-board stereo sensor for intersection driving assistance architecture and specification
JP2023174272A (ja) 物体認識方法及び物体認識装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19781388

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020512307

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2019781388

Country of ref document: EP

ENP Entry into the national phase

Ref document number: 2019781388

Country of ref document: EP

Effective date: 20201105