CN113168691A - 信息处理装置、信息处理方法、程序、移动体控制装置和移动体 - Google Patents

信息处理装置、信息处理方法、程序、移动体控制装置和移动体 Download PDF

Info

Publication number
CN113168691A
CN113168691A CN201980079021.8A CN201980079021A CN113168691A CN 113168691 A CN113168691 A CN 113168691A CN 201980079021 A CN201980079021 A CN 201980079021A CN 113168691 A CN113168691 A CN 113168691A
Authority
CN
China
Prior art keywords
image
sensor
captured image
section
vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980079021.8A
Other languages
English (en)
Inventor
阪下达也
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Semiconductor Solutions Corp
Original Assignee
Sony Semiconductor Solutions Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Semiconductor Solutions Corp filed Critical Sony Semiconductor Solutions Corp
Publication of CN113168691A publication Critical patent/CN113168691A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/865—Combination of radar systems with lidar systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/28—Details of pulse systems
    • G01S7/285—Receivers
    • G01S7/295—Means for transforming co-ordinates or for evaluating data, e.g. using computers
    • G01S7/2955—Means for determining the position of the radar coordinate system for evaluating the position data of the target in another coordinate system
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G01S7/417—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section involving the use of neural networks
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4808—Evaluating distance, position or velocity data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/16—Spatio-temporal transformations, e.g. video cubism
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/18—Image warping, e.g. rearranging pixels individually
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/89—Radar or analogous systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9323—Alternative operation using light waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9327—Sensor installation details
    • G01S2013/93271—Sensor installation details in the front of the vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G06V10/247—Aligning, centring, orientation detection or correction of the image by affine transforms, e.g. correction due to perspective effects; Quadrilaterals, e.g. trapezoids

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Electromagnetism (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及能够提高物体识别的精度的信息处理装置、信息处理方法、程序、移动体控制装置和移动体。该信息处理装置具有：几何变换单元，对由图像传感器获得的所拍摄的图像和/或指示传感器的感测结果的传感器图像进行变换并使所拍摄的图像的坐标系与传感器图像的坐标系匹配，传感器的感测范围与图像传感器的感测范围至少部分重叠；以及物体识别单元，基于在坐标系方面已经被彼此匹配的所拍摄的图像和传感器图像来识别对象物。本发明可以被应用到例如用于识别车辆附近的物体的***。

Description

信息处理装置、信息处理方法、程序、移动体控制装置和移 动体
技术领域
本技术涉及信息处理装置、信息处理方法、程序、移动体控制装置和移动体，并且具体地，涉及旨在提高识别对象物的精度的信息处理装置、信息处理方法、程序、移动体控制装置和移动体。
背景技术
过去，已经提出了通过对雷达面和摄像面进行投影变换，将由毫米波雷达检测出的障碍物的位置信息重叠显示在摄像图像上的方案(例如，参照专利文献1)。
引文列表
专利文献
专利文献1：日本专利申请公开号2005-175603
发明内容
技术问题
然而，专利文献1没有讨论提高使用照相机和毫米波雷达识别诸如车辆的对象物的精度。
本技术是鉴于上述情况而作出的，并且旨在提高识别对象物的精度。
根据本技术的第一方面的信息处理装置，包括：几何变换部分，对所捕获的图像和传感器图像中的至少一个进行变换以使所捕获的图像和所述传感器图像的坐标系匹配，所捕获的图像是由图像传感器获得的，所述传感器图像指示传感器的感测结果，所述传感器的感测范围与所述图像传感器的感测范围至少部分重叠；以及物体识别部分，基于坐标系已经被彼此匹配的所捕获的图像和所述传感器图像来执行识别对象物的处理
根据本技术的第一方面的信息处理方法是由信息处理装置执行的，该信息处理方法包括：对所捕获的图像和传感器图像中的至少一个进行变换，并使所捕获的图像和所述传感器图像的坐标系匹配，所捕获的图像是由图像传感器获得的，所述传感器图像指示传感器的感测结果，所述传感器的感测范围与所述图像传感器的感测范围至少部分重叠；以及基于坐标系已经被彼此匹配的所捕获的图像和所述传感器图像来执行识别对象物的处理。
根据本技术的第一方面的程序使得计算机执行包括以下步骤的处理：对所捕获的图像和传感器图像中的至少一个进行变换，并使所捕获的图像和所述传感器图像的坐标系匹配，所捕获的图像是由图像传感器获得的，所述传感器图像指示传感器的感测结果，所述传感器的感测范围与所述图像传感器的感测范围至少部分重叠；以及基于坐标系已经被彼此匹配的所捕获的图像和所述传感器图像来执行识别对象物的处理。
根据本技术的第二方面的移动体控制设备，包括：几何变换部分，对所捕获的图像和传感器图像中的至少一个进行变换以使所捕获的图像和所述传感器图像的坐标系匹配，所捕获的图像是由图像传感器获得的，所述传感器图像指示传感器的感测结果，所述传感器的感测范围与所述图像传感器的感测范围至少部分重叠；物体识别部分，基于坐标系已经被彼此匹配的所捕获的图像和所述传感器图像来执行识别对象物的处理；以及动作控制器，基于所述对象物的识别结果来控制移动体的动作。
根据本技术的第三方面的移动体控制设备，包括：图像传感器；传感器，所述传感器的感测范围与所述图像传感器的感测范围至少部分重叠；几何变换部分，对所捕获的图像和传感器图像中的至少一个进行变换以使所捕获的图像和所述传感器图像的坐标系匹配，所捕获的图像是由图像传感器获得的，所述传感器图像指示传感器的感测结果；物体识别部分，基于坐标系已经被彼此匹配的所捕获的图像和所述传感器图像来执行识别对象物的处理；以及动作控制器，基于所述对象物的识别结果来控制动作。
在本技术的第一方面中，所捕获的图像和传感器图像中的至少一个被变换以使所捕获的图像和所述传感器图像的坐标系匹配，所捕获的图像是由图像传感器获得的，所述传感器图像指示传感器的感测结果，所述传感器的感测范围与所述图像传感器的感测范围至少部分重叠；以及基于坐标系已经被彼此匹配的所捕获的图像和所述传感器图像来执行识别对象物的处理。
在本技术的第二方面中，所捕获的图像和传感器图像中的至少一个被变换以使所捕获的图像和所述传感器图像的坐标系匹配，所捕获的图像是由拍摄移动体的周围环境的图像的图像传感器获得的，所述传感器图像指示传感器的感测结果，所述传感器的感测范围与所述图像传感器的感测范围至少部分重叠；基于坐标系已经被彼此匹配的所捕获的图像和所述传感器图像来执行识别对象物的处理；以及基于所述对象物的识别结果来控制移动体的动作。
在本技术的第三方面中，所捕获的图像和传感器图像中的至少一个被变换以使所捕获的图像和所述传感器图像的坐标系匹配，所捕获的图像是由图像传感器获得的，所述传感器图像指示传感器的感测结果，所述传感器的感测范围与所述图像传感器的感测范围至少部分重叠；基于坐标系已经被彼此匹配的所捕获的图像和所述传感器图像来执行识别对象物的处理；以及基于所述对象物的识别结果来控制移动体的动作。
附图说明
图1是示出应用本技术的车辆控制***的配置的示例的框图。
图2是示出数据获取部分的第一实施例和车外信息检测器的第一实施例的框图。
图3示出了物体识别模型的配置的示例。
图4示出了学习***的配置的示例。
图5是用于描述在物体识别模型上执行的学习处理的流程图。
图6示出了低分辨率图像的示例。
图7示出了正确答案数据的示例的图。
图8示出了毫米波图像的示例。
图9示出了经几何变换的信号强度图像和经几何变换的速度图像的示例。
图10示出了仅使用毫米波数据执行的物体识别处理的结果的示例。
图11是用于描述对象物识别处理的第一实施例的流程图。
图12示出了对象物的识别结果的示例。
图13是用于描述本技术提供的效果的图。
图14是示出车外信息检测装置的第二实施方式的框图。
图15是用于描述对象物识别处理的第二实施例的流程图。
图16示出了所捕获的图像和裁剪图像之间的关系的示例。
图17是示出数据获取部分的第二实施例和车外信息检测器的第三实施例的框图。
图18是示出车外信息检测装置的第四实施方式的框图。
图19是示出车外信息检测装置的第五实施方式的框图。
图20是示出数据获取部分的第三实施例和车外信息检测器的第六实施例的框图。
图21是示出数据获取部分的第四实施例和车外信息检测器的第七实施例的框图。
图22示出了计算机的配置的示例。
具体实施方式
以下描述用于执行本技术的实施例。按照以下顺序进行描述。
1.第一实施例(使用照相机和毫米波雷达的第一示例)
2.第二实施例(图像裁剪的示例)
3.第三实施例(使用照相机、毫米波雷达和LiDAR的第一示例)
4.第四实施例(使用照相机和毫米波雷达的第二示例)
5.第五实施例(使用照相机、毫米波雷达和LiDAR的第二示例)
6.第六实施例(使用照相机和毫米波雷达的第三示例)
7.第七实施例(使用照相机和毫米波雷达的第四示例)
8.修改例
9.其他例
<<1.第一实施例>>
首先，参考图1至图13描述本技术的第一实施例。
<车辆控制***100的配置示例>
图1是示出可以应用本技术的移动体控制***的示例的车辆控制***100的示意性功能配置的示例的框图。
注意，当要将设置有车辆控制***100的车辆10与其他车辆区分开时，设置有车辆控制***100的车辆在下文中将被称为本汽车或本车辆。
车辆控制***100包括输入部分101、数据获取部分102、通信部分103、车载设备104、输出控制器105、输出部分106、传动系控制器107、传动系***108、车身相关控制器109、车身相关***110、存储器111和自动驾驶控制器112。输入部分101、数据获取部分102、通信部分103、输出控制器105、传动系控制器107、车身相关控制器109、存储器111和自动驾驶控制器112通过通信网络121彼此连接。例如，通信网络121包括总线或符合任何标准的车载通信网络，例如控制器局域网(CAN)、局域互联网络(LIN)、局域网(LAN)或FlexRay(注册商标)。注意，车辆控制***100的各个构成要素可以直接彼此连接，而不使用通信网络121。
注意，当车辆控制***100的各个构成要素通过通信网络121彼此通信时，以下将省略对通信网络121的描述。例如，当输入部分101和自动驾驶控制器112通过通信网络121彼此通信时，将简单地陈述输入部分101和自动驾驶控制器112彼此通信。
输入部分101包括由车上人员用来输入各种数据、指令等的装置。例如，输入部分101包括诸如触摸面板、按钮、麦克风、开关和控制杆的操作装置；操作装置，利用该操作装置可以通过除了手动操作之外的方法执行输入，诸如声音或手势；等等。或者，例如，输入部分101可以是诸如使用红外线或另一无线电波的遥控装置的外部连接设备，或者与车辆控制***100的操作兼容的移动设备或可穿戴设备。输入部分101基于由车上人员输入的数据、指令等产生输入信号，并将所产生的输入信号提供给车辆控制***100的各个构成要素。
数据获取部分102包括用于获取用于由车辆控制***100执行的处理的数据的各种传感器等，并且将所获取的数据提供给车辆控制***100的各个构成要素。
例如，数据获取部分102包括用于检测例如本汽车的状态的各种传感器。具体地，例如，数据获取部分102包括陀螺仪；加速度传感器；惯性测量单元(IMU)；以及用于检测加速器踏板的操作量、制动器踏板的操作量、方向盘的转向角、发动机的转数、电动机的转数、车轮转速等的传感器等。
此外，例如，数据获取部分102包括用于检测关于本汽车的外部的信息的各种传感器。具体地，例如，数据获取部分102包括图像捕获装置，诸如飞行时间(ToF)相机、立体相机、单目相机、红外相机和其他相机。此外，例如，数据获取部分102包括用于检测天气、气象现象等的环境传感器，以及用于检测本汽车周围的物体的周围信息检测传感器。例如，环境传感器包括雨滴传感器、雾传感器、阳光传感器、雪传感器等。周围信息检测传感器包括超声波传感器、雷达、LiDAR(光检测和测距、激光成像检测和测距)、声纳等。
此外，例如，数据获取部分102包括用于检测本汽车的当前位置的各种传感器。具体地，例如，数据获取部分102包括例如从GNSS卫星接收GNSS信号的全球导航卫星***(GNSS)接收器。
此外，例如，数据获取部分102包括用于检测关于车辆内部的信息的各种传感器。具体地，例如，数据获取部分102包括拍摄驾驶员的图像的摄像设备、检测驾驶员的生物信息的生物传感器、收集车辆内部的声音的麦克风等。例如，生物传感器被设置到座椅表面、方向盘等，并且检测坐在座椅上的车上的人或握住方向盘的驾驶员的生物信息。
通信部分103与车载设备104以及各种车外设备、服务器、基站等通信，发送由车辆控制***100的各个构成要素提供的数据，并将接收到的数据提供给车辆控制***100的各个构成要素。注意，通信部分103支持的通信协议没有特别限制。通信部分103还可以支持多种类型的通信协议。
例如，通信部分103使用无线LAN、蓝牙(注册商标)、近场通信(NFC)、无线USB(WUSB)等与车载设备104无线通信。此外，例如，通信部分103通过使用通用串行总线(USB)、高清晰度多媒体接口(HDMI)(注册商标)、移动高清晰度链路(MHL)等经由连接端子(未示出)(以及如果需要的话，电缆)有线地与车载设备104通信。
此外，例如，通信部分103通过基站或接入点与位于外部网络(例如，因特网、云网络或运营商专用网络)中的设备(例如，应用服务器或控制服务器)通信。此外，例如，通信部分103使用点对点(P2P)技术与位于本汽车附近的终端(例如，行人或商店的终端，或机器类型通信(MTC)终端)通信。另外，例如，通信部分103进行V2X通信，诸如车-车通信、车-基础设施通信、本汽车与住宅之间的车-住宅通信、车-车间通信等。此外，例如，通信部分103包括信标接收器，接收从例如安装在道路上的无线电台发射的无线电波或电磁波，并且获取关于例如当前位置、交通堵塞、交通规则或必要时间的信息。
车载设备104的示例包括车上人员的移动设备或可穿戴设备、带入或附接到本汽车的信息设备以及搜索到任何目的地的路线的导航装置。
输出控制器105控制向本汽车的车上人员或向本汽车的外部输出各种信息。例如，输出控制器105生成包括视觉信息(诸如图像数据)或音频信息(诸如声音数据)中的至少一个的输出信号，将输出信号提供给输出部分106，并且由此控制来自输出部分106的视觉信息和音频信息的输出。具体地，例如，输出控制器105合成由数据获取部分102的不同图像捕获装置捕获的图像的数据，生成鸟瞰图像、全景图像等，并且将包括所生成的图像的输出信号提供给输出部分106。此外，例如，输出控制器105生成包括例如警告诸如碰撞、接触或进入危险区域的危险的警告蜂鸣声或警告消息的声音数据，并且将包括所生成的声音数据的输出信号提供给输出部分106。
输出部分106包括能够向本汽车的车上人员或向本汽车的外部输出视觉信息或音频信息的设备。例如，输出部分106包括显示装置、仪表板、音频扬声器、耳机、诸如用于佩戴在车上的人上的眼镜型显示器的可穿戴设备、投影仪、灯等。代替包括通常使用的显示器的装置，输出部分106中包括的显示装置可以是在驾驶员的视野中显示视觉信息的装置，诸如平视显示器、透明显示器的装置或者包括增强现实(AR)显示功能的装置。
传动系控制器107产生各种控制信号，将它们供应到传动系***108，从而控制传动系***108。此外，传动系控制器107根据需要将控制信号供应给除了传动系***108之外的构成要素，以例如将控制传动系***108的状态通知给它们。
传动系***108包括与本汽车的传动系相关的各种设备。例如，传动系***108包括产生驱动力的驱动力产生装置，例如内燃机和驱动电机、用于将驱动力传递到车轮的驱动力传递机构、调节转向角的转向机构、产生制动力的制动装置、防抱死制动***(ABS)、电子稳定控制(ESC)***、电动转向装置等。
车身相关控制器109产生各种控制信号，将它们提供给车身相关***110，从而控制车身相关***110。此外，车身相关控制器109根据需要向除了车身相关***110之外的构成要素提供控制信号，以例如向它们通知控制车身相关***110的状态。
车身相关***110包括设置到车身的各种车身相关设备。例如，车身相关***110包括无钥匙进入***、智能钥匙***、电动车窗装置、电动座椅、方向盘、空调、各种灯(诸如头灯、尾灯、刹车灯、闪光信号灯和雾灯)等。
例如，存储装置111包括只读存储器(ROM)、随机存取存储器(RAM)、诸如硬盘驱动器(HDD)的磁存储设备、半导体存储设备、光存储设备、磁光存储设备等。存储部分111中存储有由车辆控制***100的各个构成要素使用的各种程序、数据等。例如，存储装置111在其中存储地图数据，诸如三维高精度地图、全局地图和局部地图。高精度地图是动态地图等。全局地图的精确度较低，并且覆盖比高精确度地图更宽广的区域。局部地图包括关于本汽车的周围环境的信息。
自动驾驶控制器112执行与自动驾驶相关的控制，诸如自主行驶或驾驶辅助。具体地，例如，自动驾驶控制器112执行旨在实现高级驾驶员辅助***(ADAS)的功能的协同控制，包括对本汽车的碰撞避免或冲击减轻、基于车辆之间的距离而在前车之后行驶、在维持车速的同时行驶、本汽车的碰撞的警告、本汽车偏离车道的警告等。此外，例如，自动驾驶控制器112执行旨在实现例如自动驾驶的协作控制，该自动驾驶是没有驾驶员执行的操作的自主行驶。自动驾驶控制器112包括检测器131、自身位置估计器132、状态分析器133、计划部分134和动作控制器135。
检测器131检测控制自动驾驶所需的各种信息。检测器131包括车外信息检测器141、车内信息检测器142和车辆状态检测器143。
车外信息检测器141基于来自车辆控制***100的各构成要素的数据或信号，执行检测与本汽车的车外有关的信息的处理。例如，车外信息检测器141执行对本汽车周围的物体进行检测、识别、追踪的处理，以及对到物体的距离进行检测的处理。作为检测对象的物体的示例包括车辆、人、障碍物、构造物、道路、信号灯、交通标识、道路标识。此外，例如，车外信息检测器141执行检测本汽车的周围环境的处理。作为检测对象的周围环境的例子包括天气、温度、湿度、亮度、路面状况。车外信息检测器141将指示检测处理的结果的数据提供给例如自身位置估计器132；状态分析器133的地图分析器151、交通规则识别部分152和状态识别部分153；以及动作控制器135的紧急事件回避部分171。
车辆内部信息检测器142基于来自车辆控制***100的每个构成要素的数据或信号执行检测关于车辆内部的信息的处理。例如，车辆内部信息检测器142执行认证和识别驾驶员的处理、检测驾驶员的状态的处理、检测车上人员的处理和检测车辆内部环境的处理。作为检测对象的驾驶员的状态的例子可以包括身体状态、清醒度、专注度、疲劳度、视线方向。作为检测对象的车室内环境的例子可以包括温度、湿度、亮度、气味。车辆内部信息检测器142将指示检测处理的结果的数据提供给例如状态分析器133的状态识别部分153和动作控制器135的紧急事件避免部分171。
车辆状态检测器143基于来自车辆控制***100的各构成要素的数据或信号，执行检测本汽车的状态的处理。作为检测对象的本汽车的状态的例子包括速度、加速度、转向角、有无异常及其内容、驾驶操作状态、电动座椅的位置及倾斜、门锁的状态、其他车载设备的状态。车辆状态检测器143将表示检测处理结果的数据例如提供给状态分析器133的状态识别部分153和动作控制器135的紧急事件回避部分171。
自身位置估计器132基于车辆控制***100的各构成要素(例如车外信息检测器141、状态分析器133的状态识别部分153)的数据或信号，执行本汽车的位置或姿势等的估计处理。此外，自身位置估计器132根据需要生成用于估计自身位置的局部地图(在下文中称为自身位置估计地图)。例如，自身位置估计地图是使用诸如同时定位与地图绘制(SLAM)之类的技术的高精度地图。自身位置估计器132将指示估计处理的结果的数据提供给例如状态分析器133的地图分析器151、交通规则识别部分152和状态识别部分153。此外，自身位置估计器132将自身位置估计图存储在存储器111中。
状态分析器133执行分析本汽车及其周围环境的状态的处理。状态分析器133包括地图分析器151、交通规则识别部分152、状态识别部分153和状态预测部分154。
地图分析器151根据需要，使用来自车辆控制***100的各构成要素(诸如自身位置估计器132、车外信息检测器141)的数据或信号，执行存储在存储部分111中的各种地图的分析处理，构造包含自动驾驶处理所需的信息的地图。地图分析器151将所构造的地图提供给例如交通规则识别部分152、状态识别部分153和状态预测部分154，以及计划部分134的路线计划部分161、行为计划部分162和动作计划部分163。
交通规则识别部分152基于来自车辆控制***100的各个构成要素(诸如自身位置估计器132、车外信息检测器141和地图分析器151)的数据或信号，执行识别本汽车周围环境的交通规则的处理。该识别处理使得能够识别本汽车周围的信号灯的位置和状态、本汽车周围的交通管制的内容以及可行驶的车道。交通规则识别部分152将指示识别处理结果的数据提供给例如状态预测部分154。
状态识别部分153基于来自车辆控制***100的各个构成要素(诸如自身位置估计器132、车外信息检测器141、车内信息检测器142、车辆状态检测器143和地图分析器151)的数据或信号，执行识别与本汽车相关的状态的处理。例如，状态识别部分153执行识别本汽车的状态、本汽车的周围环境的状态、本汽车的驾驶员的状态等的处理。此外，状态识别部分153根据需要生成用于识别本汽车的周围环境的状态的局部地图(以下称为状态识别地图)。状态识别图是例如占有率格子地图(Occupancy Grid Map)。
作为识别对象的本汽车的状态的例子包括本汽车的位置、姿势、移动(诸如速度、加速度、移动方向)，以及有无异常及其内容。作为识别对象的本汽车的周围环境的状态的示例包括本汽车的周围环境的静止物体的类型和位置；本汽车周围的移动体的类型、位置和移动(例如速度、加速度和移动方向)；本汽车周围的道路结构和道路表面状况；以及本汽车周围的天气、温度、湿度和亮度。作为识别对象的驾驶员的状态的例子可以包括身体状态、清醒度、专注度、疲劳度、视线的移动、驾驶操作。
状态识别部分153将指示识别处理的结果的数据(必要时包括状态识别图)提供给例如自身位置估计器132和状态预测部分154。此外，状态识别部分153将状态识别图存储在存储器111中。
状态预测部分154基于来自车辆控制***100的各个构成要素(诸如地图分析器151、交通规则识别部分152和状态识别部分153)的数据或信号，执行预测与本汽车相关的状态的处理。例如，状态预测部分154执行预测本汽车的状态、本汽车的周围环境的状态、驾驶员的状态等的处理。
作为预测对象的本汽车的状态的例子可以包括本汽车的行为、本汽车的异常的发生、本汽车的可行驶距离。作为预测对象的本汽车的周围环境的状态的例子可以包括移动体的行为、信号灯的状态变化、本汽车周围的环境变化(诸如天气)。作为预测对象的驾驶员的状态的示例包括驾驶员的行为和身体状况。
状态预测部分154将表示预测处理结果的数据与来自交通规则识别部分152和状态识别部分153的数据一起提供给例如计划部分134的路线计划部分161、行为计划部分162和动作计划部分163。
路径计划部分161基于来自车辆控制***100的各构成要素(诸如地图分析器151、状态预测部分154)的数据或信号，计划到目的地的路径。例如，路线计划部分161基于全球地图设置从当前位置到指定目的地的路线。另外，例如，路径计划部分161基于例如交通堵塞、事故、交通管制、施工的状况以及驾驶员的身体状况，适当变更路径。路线计划部分161将表示所计划的路线的数据提供给例如行为计划部分162。
行为计划部分162基于来自车辆控制***100的各构成要素(诸如地图分析器151、状态预测部分154)的数据或信号，计划本汽车的行为，以便在由路径计划部分161计划的时间内，在由路径计划部分161计划的路径上安全行驶。例如，行为计划部分162进行关于例如开始移动、停止、行进方向(诸如向前移动、向后移动、左转、右转和方向改变)、用于行进的车道、行进速度和超车的计划。行为计划部分162例如向动作计划部分163提供表示所计划的本汽车的行为的数据。
动作计划部分163基于来自车辆控制***100的各个构成要素(诸如地图分析器151和状态预测部分154)的数据或信号，计划本汽车的动作，以实现由行为计划部分162计划的行为。例如，动作计划部分163进行关于例如加速度、减速度和行进路线的计划。动作计划部分163将表示本汽车的计划动作的数据提供给例如动作控制器135的加速/减速控制器172和方向控制器173。
动作控制器135控制本汽车的动作。动作控制器135包括紧急事件回避部分171、加速/减速控制器172和方向控制器173。
紧急事件回避部分171根据车外信息检测器141、车内信息检测部分142以及车辆状态检测器143的检测结果，执行检测紧急事件(诸如碰撞、接触、危险区域的进入、驾驶员的异常、车辆的异常)的处理。在紧急事件回避部分171检测到紧急事件的发生时，紧急事件回避部分171计划本汽车的动作(诸如紧急停止或急转弯)，以回避紧急事件。紧急事件回避部分171将表示本汽车的计划动作的数据例如提供给加速/减速控制器172和方向控制器173。
加速/减速控制器172控制加速/减速，以实现由动作计划部分163或紧急事件回避部分171计划的本汽车的动作。例如，加速/减速控制器172计算用于实现计划的加速度、计划的减速度、计划的急停的驱动力产生装置或制动装置的控制目标值，将表示计算出的控制目标值的控制指令输出给动力传动系控制器107。
方向控制器173控制用于实现由动作计划部分163或紧急事件回避部分171计划的本汽车的动作的方向。例如，方向控制器173计算用于实现由动作计划部分163计划的行驶路径或由紧急回避部分171计划的急转弯的转向机构的控制目标值，并将表示计算出的控制目标值的控制指令提供给动力传动系控制器107。
<数据获取部分102A和车外信息检测器141A的配置示例>
图2示出了作为图1的车辆控制***100中的数据获取部分102的第一实施例的数据获取部分102A和作为图1的车辆控制***100中的车外信息检测器141的第一实施例的车外信息检测器141A的配置的示例的一部分。
数据获取部分102A包括照相机201和毫米波雷达202。车外信息检测器141A包括信息处理器211。信息处理器211包括图像处理器221、信号处理器222、几何变换部分223和物体识别部分224。
照相机201包括图像传感器201A。任何类型的图像传感器(例如CMOS图像传感器或CCD图像传感器)都可以用作图像传感器201A。照相机201(图像传感器201A)拍摄位于车辆10前方的区域的图像，并将所获得的图像(以下称为所捕获的图像)提供给图像处理器221。
毫米波雷达202针对位于车辆10前方的区域进行感测，并且毫米波雷达202和照相机201的感测范围至少部分重叠。例如，毫米波雷达202在车辆10的前方发送包括毫米波的发射信号，并使用接收天线接收作为从位于车辆10前方的物体(反射器)反射的信号的接收信号。例如，在车辆10的横向方向(宽度方向)上以指定间隔布置多个接收天线。此外，还可以在高度方向上布置多个接收天线。毫米波雷达202向信号处理器222提供按时间顺序指示使用每个接收天线接收的接收信号的强度的数据(以下称为毫米波数据)。
图像处理器221对所捕获的图像执行指定的图像处理。例如，图像处理器221根据物体识别部分224可以执行处理的图像尺寸，对所捕获的图像中的像素进行数量减少处理或滤波处理，并且减少所捕获的图像中的像素的数量(降低分辨率)。图像处理器221将具有降低的分辨率的所捕获的图像(以下称为低分辨率图像)提供给物体识别部分224。
信号处理器222对毫米波数据执行指定的信号处理以生成毫米波图像，该毫米波图像是指示毫米波雷达202执行的感测的结果的图像。注意，信号处理器222生成两种类型的毫米波图像，例如，信号强度图像和速度图像。信号强度图像是表示位于车辆10前方的每个物体的位置和从物体反射的信号(接收信号)的强度的毫米波图像。速度图像是表示位于车辆10前方的每个物体的位置和物体相对于车辆10的相对速度的毫米波图像。信号处理器222将信号强度图像和速度图像提供给几何变换部分223。
几何变换部分223对毫米波图像执行几何变换，以将毫米波图像变换为其坐标系与所捕获的图像的坐标系相同的图像。换句话说，几何变换部分223将毫米波图像变换为从与所捕获的图像相同的视点观看时获得的图像(以下称为经几何变换的毫米波图像)。更具体地，几何变换部分223将信号强度图像和速度图像的坐标系从毫米波图像的坐标系变换到所捕获的图像的坐标系。注意，已经对其执行几何变换的信号强度图像和速度图像分别被称为经几何变换的信号强度图像和经几何变换的速度图像。几何变换部分223将经几何变换的信号强度图像和经几何变换的速度图像提供给物体识别部分224。
物体识别部分224基于低分辨率图像、经几何变换的信号强度图像以及经几何变换的速度图像，执行对位于车辆10的前方的对象物执行识别的处理。物体识别部分224将指示对象物的识别结果的数据提供给例如自身位置估计器132；状态分析器133的地图分析器151、交通规则识别部分152和状态识别部分153；以及动作控制器135的紧急事件回避部分171。指示对象物的识别结果的数据包括例如对象物在所捕获的图像中的位置和大小以及物体的类型。
注意，对象物是作为要由物体识别部分224识别的对象的物体，并且任何物体可以被设置为对象物。然而，有利的是，包括对毫米波雷达202的发射信号具有高反射率的部分的物体被设定为对象物。以下作为示例适当地描述对象物是车辆的情况。
<物体识别模型251的配置示例>
图3示出了用于物体识别部分224的物体识别模型251的配置的示例。
物体识别模型251是通过机器学习获得的模型。具体地，物体识别模型251是通过深度学习获得的模型，深度学习是一种机器学习并且使用深度神经网络。更具体地，物体识别模型251由单次多框检测器(Single Shot MultiBox Detector，SSD)构成，其是使用深度神经网络的物体识别模型之一。物体识别模型251包括特征量提取部分261和识别部分262。
特征量提取部分261包括作为使用卷积神经网络的卷积层的VGG16 271a至VGG16271c，以及加法器272。
VGG16 271a提取所捕获的图像Pa的特征量，并且生成二维地表示特征量的分布的特征图(以下称为所捕获的图像的特征图)。VGG16 271a将所捕获的图像特征图提供给加法器272。
VGG16 271b提取经几何变换的信号强度图像Pb的特征量，并且生成二维地表示特征量的分布的特征图(在下文中称为信号强度图像特征图)。VGG16 271b将信号强度图像特征图提供给加法器272。
VGG16 271c提取经几何变换的速度图像Pc的特征量，并且生成二维地表示特征量的分布的特征图(以下称为速度图像特征图)。VGG16 271c将速度图像特征图提供给加法器272。
加法器272将所捕获的图像的特征图、信号强度图像特征图和速度图像特征图相加，以生成合成特征图。加法器272将合成特征图提供给识别部分262。
识别部分262包括卷积神经网络。具体地，识别部分262包括卷积层273a至273c。
卷积层273a对合成特征图执行卷积运算。卷积层273a基于已执行了卷积运算的合成特征图来执行识别对象物的处理。卷积层273a向卷积层273b提供已经对其执行了卷积运算的合成特征图。
卷积层273b对由卷积层273a提供的合成特征图执行卷积运算。卷积层273b基于已执行了卷积运算的合成特征图来执行识别对象物的处理。卷积层273a向卷积层273c提供已经对其执行了卷积运算的合成特征图。
卷积层273c对由卷积层273b提供的合成特征图执行卷积运算。卷积层273b基于已执行了卷积运算的合成特征图来执行识别对象物的处理。
物体识别模型251输出指示由卷积层273a至273c执行的对象物的识别的结果的数据。
注意，按照从卷积层273a起的顺序，合成特征图的大小(像素数)变得更小，并且在卷积层273c中最小。此外，如果合成特征图具有较大的尺寸，则以较高的精度识别从车辆10观察时具有小尺寸的对象物，并且如果合成特征图具有较小的尺寸，则以较高的精度识别从车辆10观察时具有大尺寸的对象物。因此，例如，当对象物是车辆时，在具有大尺寸的合成特征图中容易识别远距离较小的车辆，并且在具有小尺寸的合成特征图中容易识别附近较大的车辆。
<学习***301的配置示例>
图4是示出学习***301的配置的示例的框图。
学习***301对图3的物体识别模型251执行学习处理。学习***301包括输入部分311、图像处理器312、正确答案数据生成器313、信号处理器314、几何变换部分315、训练数据生成器316和学习部分317。
输入部分311包括各种输入装置并且例如用于生成训练数据所需的数据的输入和用户执行的操作等。例如，当输入所捕获的图像时，输入部分311将所捕获的图像提供给图像处理器312。例如，当输入毫米波数据时，输入部分311将毫米波数据提供给信号处理器314。例如，输入部分311向正确答案数据生成器313和训练数据生成器316提供指示通过用户执行的操作输入的用户指令的数据。
图像处理器312执行与图2的图像处理器221执行的处理类似的处理。换句话说，图像处理器312对所捕获的图像执行指定的图像处理以产生低分辨率图像。图像处理器312将低分辨率图像提供给正确答案数据生成器313和训练数据生成器316。
正确答案数据生成器313基于低分辨率图像生成正确答案数据。例如，用户通过输入部分311指定低分辨率图像中的车辆的位置。正确答案数据生成器313基于由用户指定的车辆位置生成指示低分辨率图像中的车辆位置的正确答案数据。正确答案数据生成器313将正确答案数据提供给训练数据生成器316。
信号处理器314执行与图2的信号处理器222执行的处理类似的处理。换句话说，信号处理器314对毫米波数据执行指定的信号处理以生成信号强度图像和速度图像。信号处理器314将信号强度图像和速度图像提供给几何变换部分315。
几何变换部分315执行与图2的几何变换部分223同样的处理。换句话说，几何变换部分315对信号强度图像和速度图像进行几何变换。几何变换部分315将通过进行几何变换而获得的经几何变换的信号强度图像和经几何变换的速度图像提供给训练数据生成器316。
训练数据生成器316生成包括输入数据和正确答案数据的训练数据，输入数据包括低分辨率图像、经几何变换的信号强度图像和经几何变换的速度图像。训练数据生成器316将训练数据提供给学习部分317。
学习部分317使用训练数据对物体识别模型251执行学习处理。学习部分317输出已经执行学习的物体识别模型251。
<对物体识别模型的学习处理>
接下来，参考图5的流程图描述由学习***301执行的对物体识别模型的学习处理。
注意，在开始该处理之前收集用于生成训练数据的数据。例如，在车辆10实际行驶的状态下，设置在车辆10上的摄像机201和毫米波雷达202对车辆10的前方区域进行感测。具体而言，摄像机201捕获位于车辆10前方的区域的图像，将所获得的所捕获的图像存储在存储器111中。毫米波雷达202检测位于车辆10前方的物体，并将所获得的毫米波数据存储在存储器111中。基于所捕获的图像和累积在存储器111中的毫米波数据来生成训练数据。
在步骤S1中，学习***301生成训练数据。
例如，用户通过输入部分311向学习***301输入基本上同时获取的所捕获的图像和毫米波数据。换句话说，将通过在基本上相同的时间点执行感测而获得的所捕获的图像和毫米波数据输入到学习***301。将所捕获的图像提供给图像处理器312，并且将毫米波数据提供给信号处理器314。
图像处理器312对所捕获的图像执行诸如减少数量的处理的图像处理，并生成低分辨率图像。图像处理器312将低分辨率图像提供给正确答案数据生成器313和训练数据生成器316。
图6示出低分辨率图像的示例。
正确答案数据生成器313根据用户通过输入部分311指定的对象物的位置，生成表示低分辨率图像中的对象物的位置的正确答案数据。正确答案数据生成器313将正确答案数据提供给训练数据生成器316。
图7示出了针对图6的低分辨率图像生成的正确答案数据的示例。白色方框区域表示作为对象物的车辆的位置。
信号处理器314对毫米波数据执行指定的信号处理，以估计在位于车辆10前方的区域中反射发射信号的物体的位置和速度。物体的位置由例如从车辆10到物体的距离以及物体相对于毫米波雷达202的光轴方向(车辆10的行进方向)的方向(角度)表示。注意，例如，当发射信号被径向发射时，毫米波雷达202的光轴方向与执行径向发射的范围的中心的方向相同，并且当利用发射信号执行扫描时，毫米波雷达202的光轴方向与执行扫描的范围的中心的方向相同。物体的速度例如由物体相对于车辆10的相对速度表示。
信号处理器314基于估计物体的位置和速度的结果来生成信号强度图像和速度图像。信号处理器314将信号强度图像和速度图像提供给几何变换部分315。
图8示出信号强度图像的示例。信号强度图像的x轴表示横向方向(车辆10的宽度方向)，信号强度图像的y轴表示毫米波雷达202的光轴方向(车辆10的行驶方向，深度方向)。在信号强度图像中，利用鸟瞰图给出位于车辆10前方的物体的位置和每个物体的反射强度的分布，即，从位于车辆10前方的物体反射的接收信号的强度的分布。
注意，与信号强度图像的情况类似，速度图像是其中利用鸟瞰图给出位于车辆10前方的物体的位置和各物体的相对速度的分布的图像，尽管省略了其图示。
几何变换部分315对信号强度图像和速度图像进行几何变换，将信号强度图像和速度图像变换为坐标系与所捕获的图像的坐标系相同的图像，生成经几何变换的信号强度图像和经几何变换的速度图像。几何变换部分315将经几何变换的信号强度图像和经几何变换的速度图像提供给训练数据生成器316。
图9示出了经几何变换的信号强度图像和经几何变换的速度图像的示例。图9的A示出了经几何变换的信号强度图像的示例，图9的B示出了经几何变换的速度图像的示例。注意，图9中的经几何变换的信号强度图像和经几何变换的速度图像是基于与从其产生图7的低分辨率图像的所捕获的图像基本上同时获取的毫米波数据产生的。
在经几何变换的信号强度图像中，具有较高信号强度的部分更亮，具有较低信号强度的部分更暗。在经几何变换的速度图像中，相对速度较高的部分更亮，相对速度较低的部分更暗，相对速度不能被检测到(不存在物体)的部分为纯黑色。
如上所述，当对毫米波图像(信号强度图像和速度图像)执行几何变换时，不仅给出了物体在横向和深度方向上的位置，而且还给出了物体在高度方向上的位置。
然而，对于毫米波雷达202，高度方向上的分辨率随着距离的增加而变低。因此，可以检测到远处物体的高度高于其实际高度。
另一方面，当几何变换部分315对毫米波图像执行几何变换时，几何变换部分315限制位于指定距离以上的距离处的物体的高度。具体地，在对毫米波图像的几何变换中，当位于指定距离以上的距离处的物体具有呈现大于指定上限的值的高度时，几何变换部分315将物体的高度限制到上限以执行几何变换。由此，在对象物是例如车辆的情况下，这能够防止因检测到的远方的车辆的高度比实际的高度高而进行误识别。
训练数据生成器316生成包括输入数据和正确答案数据的训练数据，输入数据包括所捕获的图像、经几何变换的信号强度图像和经几何变换的速度图像。训练数据生成器316将生成的训练数据提供给学习部分317。
在步骤S2中，学习部分317使物体识别模型251执行学习。具体地，学习部分317将包括在训练数据中的输入数据输入到物体识别模型251。物体识别模型251执行识别对象物的处理，并输出指示识别结果的数据。学习部分317将由物体识别模型251执行的识别的结果与正确答案数据进行比较，并且调整例如物体识别模型251的参数，使得误差减小。
在步骤S3中，学习部分317确定是否继续执行学习。例如，当物体识别模型251执行的学习没有结束时，学习部分317确定继续执行学习，并且处理返回到步骤S1。
此后，重复执行步骤S1至S3的处理，直到在步骤S3中确定要终止学习。
另一方面，在步骤S3中，学习部分317确定当例如学习已经结束时，终止由物体识别模型251执行的学习，并且终止对物体识别模型执行的学习处理。
如上所述，生成已经执行学习的物体识别模型251。
注意，图10示出了由物体识别模型251执行的识别的结果的示例，该物体识别模型251仅使用毫米波数据而不使用所捕获的图像来执行学习。
图10的A示出了基于毫米波数据生成的经几何变换的信号强度图像的示例。
图10的B示出了由物体识别模型251执行的识别的结果的示例。具体地，图10的A的经视点变换的亮度图像被叠加在与产生图10的A的经视点变换的亮度图像的毫米波数据基本上同时获取的所捕获的图像上，并且方框区域表示识别出了对象物的车辆的位置。
如该示例中所示，物体识别模型251也使得在仅使用毫米波数据(经几何变换的信号强度图像和经几何变换的速度图像)时，能够以不小于指定精度的精度识别对象物的车辆。
<对象物识别处理>
接下来，参考图11的流程图描述由车辆10执行的对象物识别处理。
该处理例如在进行使车辆10起动而开始行驶的操作时开始，即，在例如车辆10的点火开关、电源开关、起动开关等被接通时开始。此外，该处理例如在执行用于终止车辆10的驱动的操作时终止，即，例如在车辆10的点火开关、电源开关、启动开关等被关断时终止。
在步骤S101中，照相机201和毫米波雷达202针对位于车辆10前方的区域进行感测。
具体地，照相机201拍摄位于车辆10前方的区域的图像，并将所获得的所捕获的图像提供给图像处理器221。
毫米波雷达202在车辆10的前方向发射信号，并使用多个接收天线接收作为从位于车辆10前方的物体反射的信号的接收信号。毫米波雷达202向信号处理器222提供毫米波数据，该毫米波数据按时间顺序指示使用每个接收天线接收的接收信号的强度。
在步骤S102中，图像处理器221对捕获的图像执行预处理。具体地，图像处理器221例如对所捕获的图像执行减少数量的处理以生成低分辨率图像，并将该低分辨率图像提供给物体识别部分224。
在步骤S103中，信号处理器222生成毫米波图像。具体地，信号处理器222执行与图5的步骤S1中信号处理器314执行的处理类似的处理，以基于毫米波数据产生信号强度图像和速度图像。信号处理器222将信号强度图像和速度图像提供给几何变换部分223。
在步骤S104中，几何变换部分223对毫米波图像执行几何变换。具体而言，几何变换部分223执行与图5的步骤S1中的几何变换部分315执行的处理类似的处理，以将信号强度图像和速度图像变换为经几何变换的信号强度图像和经几何变换的速度图像。几何变换部分223将经几何变换的信号强度图像和经几何变换的速度图像提供给物体识别部分224。
在步骤S105中，物体识别部分224基于低分辨率图像和已经执行了几何变换的毫米波图像执行识别对象物的处理。具体而言，物体识别部分224将包括低分辨率图像、经几何变换的信号强度图像和经几何变换的速度图像的输入数据输入到物体识别模型251。物体识别模型251基于输入数据执行识别位于车辆10前方的对象物的处理。
图12示出当对象物是车辆时的识别结果的示例。图12的A示出了所捕获的图像的示例。图12的B示出了识别车辆的结果的示例。在图12的B中，其中识别出车辆的区域被框出。
物体识别部分224将指示对象物的识别结果的数据提供给例如自身位置估计器132；状态分析器133的地图分析器151、交通规则识别部分152和状态识别部分153；以及动作控制器135的紧急事件回避部分171。
自身位置估计器132例如基于对象物的识别结果，执行估计车辆10的位置、姿势等的处理。
地图分析器151例如基于对象物的识别结果，执行对存储部分111中存储的各种地图进行分析的处理，构造包含自动驾驶处理所需的信息的地图。
交通规则识别部分152例如基于对象物的识别结果，执行识别车辆10的周围环境的交通规则的处理。
状态识别部分153例如基于对象物的识别结果，执行识别车辆10的周围环境的状态的处理。
当紧急事件回避部分171基于例如对象物的识别结果检测到紧急事件的发生时，紧急事件回避部分171计划车辆10的动作，例如突然停止或快速转弯，以回避紧急事件。
此后，处理返回到步骤S101，并且执行步骤S101及其之后的处理。
如上所述，能够提高识别位于车辆10前方的对象物的精度。
具体地，当仅使用所捕获的图像执行识别对象物的处理时，由于恶劣天气(诸如雨或雾)、在夜间、或在由于例如障碍物而导致的不良视觉条件下，识别对象物的精度降低。另一方面，当使用毫米波雷达时，由于恶劣天气、在夜间或者在由于例如障碍物而导致的不良视觉条件下，识别对象物的精度几乎不降低。因此，照相机201和毫米波雷达202(所捕获的图像和毫米波数据)被融合以执行识别对象物的处理，这使得可以补偿当仅使用所捕获的图像时引起的缺陷。这导致提高识别的精度。
此外，如图13的A所示，所捕获的图像由x轴和z轴所定义的坐标系表示。x轴表示横向方向(车辆10的宽度方向)，并且z轴表示高度方向。另一方面，如图13的B所示，毫米波图像由x轴和y轴定义的坐标系表示。x轴类似于所捕获的图像的坐标系的x轴。注意，x轴与毫米波雷达202的发射信号以平面方式展开的方向一致地延伸。y轴表示毫米波雷达202的光轴方向(车辆10的行驶方向，深度方向)。
当如上所述在所捕获的图像和毫米波图像之间存在坐标系差异时，这导致难以理解所捕获的图像和毫米波图像之间的相关性。例如，难以将所捕获的图像的每个像素与毫米波图像中的反射点(接收信号的强度高的点)匹配。因此，当使物体识别模型251通过使用图13的A的所捕获的图像和毫米波图像的深度学习来执行学习时，学习的难度将增加，并且这可能导致学习的精度降低。
另一方面，根据本技术，对毫米波图像(信号强度图像和速度图像)执行几何变换以获得坐标系已经与所捕获的图像的坐标系匹配的图像(经几何变换的信号强度图像和经几何变换的速度图像)，并且使得物体识别模型251使用所获得的图像执行学习。这导致促进所捕获的图像的每个像素与毫米波图像中的反射点的匹配，并且导致提高学习的精度。另外，在实际的车辆识别处理中，经几何变换的信号强度图像和经几何变换的速度图像的使用导致对象物的识别精度的改善。
<<2.第二实施例>>
接下来，参考图14至图16描述本技术的第二实施例。
<车外信息检测器141B的配置示例>
图14示出作为图1的车辆控制***100的车外信息检测器141的第二实施例的车外信息检测器141B的配置的示例。注意，图中与图2中的部分对应的部分由与图2相同的附图标记表示，并且适当地省略其描述。
车外信息检测器141B包括信息处理器401。信息处理器401与图2的信息处理器211的相似之处在于包括信号处理器222和几何变换部分223。另一方面，信息处理器401与信息处理器211的不同之处在于包括图像处理器421和物体识别部分422而不是图像处理器221和物体识别部分224，以及在于添加了合成器423。物体识别部分422包括物体识别部分431a和物体识别部分431b。
与图像处理器221的情况类似，图像处理器421基于所捕获的图像生成低分辨率图像。图像处理器421将低分辨率图像提供给物体识别部分431a。
此外，图像处理器421根据物体识别部分431b能够执行处理的图像尺寸来剪切出所捕获的图像的一部分。图像处理器421将从所捕获的图像中剪切出的图像(以下称为裁剪图像)提供给物体识别部分431b。
与在图2的物体识别部分224的情况类似，图3的物体识别模型251被用于物体识别部分431a和物体识别部分431b。
与图2的物体识别部分224的情况类似，物体识别部分431a根据低分辨率图像、经几何变换的信号强度图像以及经几何变换的速度图像，执行对位于车辆10的前方的对象物进行识别的处理。物体识别部分431a向合成器423提供指示识别对象物的处理结果的数据。
物体识别部分431b基于裁剪图像、经几何变换的信号强度图像和经几何变换的速度图像，执行识别位于车辆10前方的对象物的处理。物体识别部分431b将表示识别物体的处理结果的数据提供给合成器423。
注意，尽管省略了对其的详细描述，但是使用不同的训练数据，针对用于物体识别部分431a的物体识别模型251和用于物体识别部分431b的物体识别模型251中的每一个执行学习处理。具体而言，使物体识别部分431a所使用的物体识别模型251使用包括输入数据和正确答案数据的训练数据来执行学习，输入数据包括低分辨率图像、经几何变换的信号强度图像和经几何变换的速度图像，正确答案数据是基于低分辨率图像生成的。另一方面，使物体识别部分431B所使用的物体识别模型251使用包括输入数据和正确答案数据的训练数据来执行学习，输入数据包括剪裁图像、经几何变换的信号强度图像和经几何变换的速度图像，正确答案数据是基于剪裁图像生成的。
合成器423合成由物体识别部分431a执行的对象物的识别结果和由物体识别部分431b执行的对象物的识别结果。合成器423将指示通过合成所获得的对象物的识别结果的数据提供给例如自身位置估计器132；状态分析器133的地图分析器151、交通规则识别部分152和状态识别部分153；以及动作控制器135的紧急事件回避部分171。
<对象物识别处理>
接下来，参考图15的流程图描述对象物识别处理的第二实施例。
该处理例如在进行使车辆10起动而开始行驶的操作时开始，即，在例如车辆10的点火开关、电源开关、起动开关等接通时开始。此外，该处理例如在执行用于终止车辆10的驱动的操作时终止，即，例如在车辆10的点火开关、电源开关、启动开关等被关断时终止。
在步骤S201中，与图11的步骤S101的处理类似，对位于车辆10前方的区域执行感测。
在步骤S202中，图像处理器421对捕获的图像执行预处理。具体地，图像处理器421执行与图11的步骤S102中执行的处理类似的处理，以基于所捕获的图像生成低分辨率图像。图像处理器421将低分辨率图像提供给物体识别部分431a。
此外，图像处理器421检测例如所捕获的图像中道路的消失点。从所捕获的图像中，图像处理器421在具有指定尺寸并且以消失点为中心的矩形区域中剪切出图像。图像处理器421将通过剪切获得的裁剪图像提供给物体识别部分431b。
图16示出了所捕获的图像和裁剪图像之间的关系的示例。具体地，图16的A示出了所捕获的图像的示例。此外，在捕获的图像中，在图16的B中用虚线框出的矩形区域被剪切出作为裁剪图像，该矩形区域具有指定的尺寸并且以道路的消失点为中心。
在步骤S203中，与图11的步骤S103的处理类似，生成毫米波图像，即，信号强度图像和速度图像。
在步骤S204中，与图11的步骤S104的处理类似，对毫米波图像执行几何变换。这导致生成经几何变换的信号强度图像和经几何变换的速度图像。几何变换部分223将经几何变换的信号强度图像和经几何变换的速度图像提供给物体识别部分431a和物体识别部分431b。
在步骤S205中，物体识别部分431a基于低分辨率图像和经几何变换的毫米波图像来执行识别对象物的处理。具体而言，物体识别部分431a进行与图11的步骤S105执行的处理相似的处理，以根据低分辨率图像、经几何变换的信号强度图像以及经几何变换的速度图像，执行识别位于车辆10前方的对象物的处理。物体识别部分431a向合成器423提供指示识别对象物的处理结果的数据。
在步骤S206中，物体识别部分431b基于裁剪图像和已经执行了几何变换的毫米波图像来执行识别车辆的处理。具体而言，物体识别部分224将包含裁剪图像、经几何变换的信号强度图像以及经几何变换的速度图像的输入数据输入到物体识别模型251。物体识别模型251基于输入数据执行识别位于车辆10前方的对象物的处理。物体识别部分431b将表示对象物的识别结果的数据提供给合成器423。
在步骤S207中，合成器423合成对象物的识别结果。具体地，合成器423合成由物体识别部分431a执行的对象物的识别的结果和由物体识别部分431b执行的对象物的识别的结果。合成器423将指示通过合成获得的对象物的识别结果的数据提供给例如自身位置估计器132；状态分析器133的地图分析器151、交通规则识别部分152和状态识别部分153；以及动作控制器135的紧急事件回避部分171。
自身位置估计器132例如基于对象物的识别结果，执行估计车辆10的位置、姿势等的处理。
地图分析器151例如基于对象物的识别结果，执行对存储部分111中存储的各种地图进行分析的处理，构造包含自动驾驶处理所需的信息的地图。
交通规则识别部分152例如基于对象物的识别结果，执行识别车辆10的周围环境的交通规则的处理。
状态识别部分153例如基于对象物的识别结果，执行识别车辆10的周围环境的状态的处理。
当紧急事件回避部分171基于例如对象物的识别结果检测到紧急事件的发生时，紧急事件回避部分171计划车辆10的动作，例如突然停止或快速转弯，以回避紧急事件。
此后，处理返回到步骤S201，并且执行步骤S201及其之后的处理。
如上所述，能够提高识别位于车辆10前方的对象物的精度。具体地，使用低分辨率图像代替所捕获的图像特别地导致识别远距离对象物的精度降低。然而，当使用通过剪切出道路的消失点周围的区域的图像而获得的高分辨率的裁剪图像来执行识别对象物的处理时，这使得可以在对象物是车辆的情况下提高识别位于消失点周围的远处车辆的精度。
<<3.第三实施例>>
接下来，参考图17描述本技术的第三实施例。
<数据获取部分102B和车外信息检测器141C的配置示例>
图17示出了作为图1的车辆控制***100中的数据获取部分102的第二实施例的数据获取部分102B和作为图1的车辆控制***100中的车外信息检测器141的第三实施例的车外信息检测器141C的配置的示例。注意，图中与图2中的部分对应的部分由与图2相同的附图标记表示，并且适当地省略其描述。
数据获取部分102B在包括照相机201和毫米波雷达202方面与图2的数据获取部分102A类似，并且在包括LiDAR 501方面与图2的数据获取部分102A不同。
车外信息检测器141C包括信息处理器511。信息处理器511与图2的信息处理器211的相似之处在于包括图像处理器221、信号处理器222和几何变换部分223。另一方面，信息处理器511与信息处理器211的不同之处在于包括物体识别部分523而不是物体识别部分224，以及在于添加了信号处理器521和几何变换部分522。
LiDAR 501关于位于车辆10前方的区域执行感测，并且LiDAR 501和照相机201的感测范围至少部分地重叠。例如，LiDAR 501利用激光脉冲在相对于位于车辆10前方的区域的横向方向和高度方向上执行扫描，并接收作为激光脉冲的反射的反射光。LiDAR 501基于接收反射光所花费的时间来计算到位于车辆10前方的物体的距离，并且基于计算结果，LiDAR 501生成指示位于车辆10前方的物体的形状和位置的三维点群数据(点云)。LiDAR501将该点群数据提供给信号处理器521。
信号处理器521对点群数据执行规定的信号处理(例如，插值处理或减少数量的处理)，并将已经执行了信号处理的点群数据提供给几何变换部分522。
几何变换部分522对点群数据执行几何变换以生成二维图像(以下称为二维点群数据)，该二维图像的坐标系与所捕获的图像的坐标系相同。几何变换部分522将二维点群数据提供给物体识别部分523。
物体识别部分523基于低分辨率图像、经几何变换的信号强度图像、经几何变换的速度图像以及二维点群数据，执行对位于车辆10的前方的对象物进行识别的处理。物体识别部分523将指示对象物的识别结果的数据提供给例如自身位置估计器132；状态分析器133的地图分析器151、交通规则识别部分152和状态识别部分153；以及动作控制器135的紧急事件回避部分171。除了所捕获的图像中的对象物的位置和大小以及物体的类型之外，指示对象物的识别结果的数据还包括例如对象物在三维空间中的位置和速度。
注意，具有与例如图3的物体识别模型251的配置类似的配置的物体识别模型被用于物体识别部分523，尽管省略了其详细描述。然而，对于二维点群数据，添加一个VGG16。然后，使物体识别部分523的物体识别模型使用包括输入数据和正确答案数据的训练数据来执行学习，所述输入数据包括低分辨率图像、经几何变换的信号强度图像、经几何变换的速度图像以及二维点群数据，所述正确答案数据是基于低分辨率图像生成的。
如上所述，LiDAR 501的添加导致进一步提高识别对象物的精度。
<<4.第四实施例>>
接下来，参考图18描述本技术的第四实施例。
<车外信息检测器141D的配置示例>
图18示出作为图2的车辆控制***100中的车外信息检测器141的第四实施例的车外信息检测器141D的配置的示例。注意，图中与图2中的部分对应的部分由与图2相同的附图标记表示，并且适当地省略其描述。
车外信息检测器141D包括信息处理器611。信息处理器611与图2的信息处理器211的类似之处在于包括图像处理器221和信号处理器222。另一方面，信息处理器611与信息处理器211的不同之处在于包括物体识别部分622而不是物体识别部分224，以及在于添加了几何变换部分621并且去除了几何变换部分223。
几何变换部分621对由图像处理器221提供的低分辨率图像执行几何变换，以将低分辨率图像变换为坐标系与由信号处理器222输出的毫米波图像的坐标系相同的图像(以下称为经几何变换的低分辨率图像)。例如，几何变换部分621将低分辨率图像变换为鸟瞰图的图像。几何变换部分621将经几何变换的低分辨率图像提供给物体识别部分622。
物体识别部分622基于经几何变换的低分辨率图像、以及由信号处理器222提供的信号强度图像和速度图像，执行识别位于车辆10前方的对象物的处理。物体识别部分622将指示对象物的识别结果的数据提供给例如自身位置估计器132；状态分析器133的地图分析器151、交通规则识别部分152和状态识别部分153；以及动作控制器135的紧急事件回避部分171。
如上所述，可以将捕获的图像变换为坐标系与毫米波图像的坐标系相同的图像，以执行识别物体的处理。
<<5.第五实施例>>
接下来，参考图19描述本技术的第五实施例。
<车外信息检测器141E的配置示例>
图19示出作为图2的车辆控制***100中的车外信息检测器141的第五实施例的车外信息检测器141E的配置的示例。注意，图中与图17中的部分对应的部分由与图17相同的附图标记表示，并且适当地省略其描述。
车外信息检测器141E包括信息处理器711。信息处理器711与图17的信息处理器511类似之处在于包括图像处理器221、信号处理器222和信号处理器521。另一方面，信息处理器711与信息处理器511的不同之处在于包括几何变换部分722和物体识别部分723而不是几何变换部分223和物体识别部分523，以及在于添加了几何变换部分721并且去除了几何变换部分522。
几何变换部分721对由图像处理器221提供的低分辨率图像执行几何变换，以将低分辨率图像变换为三维点群数据(以下称为点群图像数据)，该三维点群数据的坐标系与由信号处理器521输出的点群数据的坐标系相同。几何变换部分721将该点群的图像数据提供给物体识别部分723。
几何变换部分722对由信号处理器222提供的信号强度图像和速度图像执行几何变换，以将信号强度图像和速度图像变换为三维点群数据(以下称为点群信号强度数据和点群速度数据)，该三维点群数据的坐标系与由信号处理器521输出的点群数据的坐标系相同。几何变换部分722将该点群的信号强度数据和该点群的速度数据提供给物体识别部分723。
物体识别部分723基于由LiDAR 501执行的感测所生成的并且由信号处理器521提供的点群图像数据、点群信号强度数据、点群速度数据以及点群数据，执行识别位于车辆10前方的对象物的处理。物体识别部分723将指示对象物的识别结果的数据提供给例如自身位置估计器132；状态分析器133的地图分析器151、交通规则识别部分152和状态识别部分153；以及动作控制器135的紧急事件回避部分171。
如上所述，可以将所捕获的图像和毫米波图像变换为多个点群数据，以执行识别物体的处理。
<<6.第六实施例>>
接下来，参考图20描述本技术的第六实施例。
<数据获取部分102C和车外信息检测器141F的配置示例>
图20示出了作为图1的车辆控制***100中的数据获取部分102的第三实施例的数据获取部分102C和作为图1的车辆控制***100中的车外信息检测器141的第六实施例的车外信息检测器141F的配置的示例。注意，图中与图2中的部分对应的部分由与图2相同的附图标记表示，并且适当地省略其描述。
数据获取部分102C与图2的数据获取部分102A的相似之处在于包括照相机201，而与数据获取部分102A的不同之处在于包括毫米波雷达811而不是毫米波雷达202。
车外信息检测器141F包括信息处理器831。信息处理器831与图2的信息处理器211相似，包括图像处理器221、几何变换部分223和物体识别部分224，并且与信息处理器211的不同之处在于已经去除了信号处理器222。
毫米波雷达811包括信号处理器821，其包括与信号处理器222的功能等同的功能。信号处理器821对毫米波数据执行指定的信号处理，以生成两种类型的毫米波图像，即，指示毫米波雷达811执行的感测结果的信号强度图像和速度图像。信号处理器821将信号强度图像和速度图像提供给几何变换部分223。
如上所述，在毫米波雷达811中，毫米波数据可以被转换成毫米波图像。
<<7.第七实施例>>
接下来，参考图21描述本技术的第七实施例。
<数据获取部分102D和车外信息检测器141G的配置示例>
图21示出了作为图1的车辆控制***100中的数据获取部分102的第四实施例的数据获取部分102D和作为图1的车辆控制***100中的车外信息检测器141的第七实施例的车外信息检测器141G的配置的示例。注意，图中与图20中的部分对应的部分由与图20相同的附图标记表示，并且适当地省略其描述。
数据获取部分102D与图20的数据获取部分102C的相似之处在于包括照相机201，而与数据获取部分102C的不同之处在于包括毫米波雷达911而不是毫米波雷达811。
车外信息检测器141G包括信息处理器931。信息处理器931在包括图像处理器221和物体识别部分224方面与图20的信息处理器831类似，并且与信息处理器831的不同之处在于去除了几何变换部分223。
除了信号处理器821之外，毫米波雷达911包括几何变换部分921，其包括与几何变换部分223的功能等同的功能。
几何变换部分921将信号强度图像和速度图像的坐标系从毫米波图像的坐标系变换到所捕获的图像的坐标系，并将通过几何变换获得的经几何变换的信号强度图像和经几何变换的速度图像提供给物体识别部分224。
如上所述，毫米波数据可以被变换成毫米波图像，并且可以在毫米波雷达911中对毫米波图像执行几何变换。
<<8.修改例>>
下面描述对上述本技术的实施例的修改。
以上主要描述了车辆是识别对象的示例。然而，如上所述，除了车辆之外的任何物体可以是识别对象。例如，使用包括指示作为识别对象的对象物的位置的正确答案数据的训练数据对物体识别模型251执行学习处理就足够了。
此外，本技术也适用于识别多种类型的对象物的情况。例如，使用包括指示每个对象物的位置和标签(对象物的类型)的正确答案数据的训练数据对物体识别模型251执行学习处理就足够了。
此外，当所捕获的图像具有物体识别部分251可以令人满意地执行处理的尺寸时，所捕获的图像可以被直接输入到物体识别模型251以执行识别对象物的处理。
以上已经描述了识别位于车辆10前方的对象物的示例。然而，本技术也适用于识别从车辆10观察时位于车辆10周围的另一方向上的对象物的情况。
此外，本技术还可应用于识别除了车辆之外的移动体周围的对象物的情况。例如，可以想到本技术可以应用于诸如摩托车、自行车、个人移动设备、飞机、船舶、建筑机械和农业机械(拖拉机)的移动体。此外，本技术适用的移动体的示例还包括诸如无人机和机器人的移动体，其由用户远程操作而无需用户登上该移动体。
此外，本技术还可应用于执行在诸如监视***的固定位置处识别对象物的处理的情况。
此外，图3的物体识别模型251仅是示例，并且还可以使用通过机器学习生成的物体识别模型251以外的模型。
此外，本技术还可应用于通过结合使用照相机(图像传感器)和LiDAR来执行识别对象物的处理的情况。
此外，本技术也适用于使用除了毫米波雷达和LiDAR之外的检测物体的传感器的情况。
此外，例如，可以组合第二实施例和第三至第七实施例。
此外，例如，可以变换所有图像的坐标系，使得各个图像的坐标系与不同于各个图像的坐标系的新坐标系匹配。
<<9.其它>>
<计算机的配置的示例>
上述一系列处理可以使用硬件或软件来执行。当使用软件执行一系列处理时，包括在软件中的程序被安装在计算机上。这里，计算机的示例包括并入专用硬件的计算机，以及能够通过安装在其上的各种程序执行各种功能的诸如通用个人计算机的计算机。
图18是使用程序执行上述一系列处理的计算机的硬件配置的示例的框图。
在计算机1000中，中央处理单元(CPU)1001、只读存储器(ROM)1002和随机存取存储器(RAM)1003通过总线1004彼此连接。
此外，输入/输出接口1005连接到总线1004。输入部分1006、输出部分1007、记录部分1008、通信部分1009和驱动器1010连接到输入/输出接口1005。
输入部分1006包括例如输入开关、按钮、麦克风和成像元件。输出部分1007包括例如显示器和扬声器。记录部分1008包括例如硬盘和非易失性存储器。通信部分1009包括例如网络接口。驱动器1010驱动诸如磁盘、光盘、磁光盘或半导体存储器的可移除介质1011。
在具有上述配置的计算机1000中，通过CPU 1001将例如记录在记录部分1008中的程序加载到RAM 1003中并经由输入/输出接口1005和总线1004执行该程序，来执行上述一系列处理。
例如，由计算机1000(CPU 1001)执行的程序可以通过被记录在用作例如封装介质的可移除介质1011中来提供。此外，可以经由诸如局域网、因特网或数字卫星广播的有线或无线传输介质来提供程序。
在计算机1000中，可以通过安装在驱动器1010上的可移除介质1011经由输入/输出接口1005将程序安装在记录部分1008上。此外，程序可以由通信部分1009经由有线或无线传输介质接收，以安装在记录部分1008上。此外，程序可以预先安装在ROM 1002或记录部分1008上。
注意，由计算机执行的程序可以是其中按照这里的描述顺序按时间顺序执行处理的程序，或者可以是其中并行执行处理或者在诸如调用时机的必要时机执行处理的程序。
此外，如本文所使用的***是指多个组件(诸如装置和模块(部件))的集合，并且所有组件是否在单个外壳中并不重要。因此，容纳在单独的壳体中并经由网络彼此连接的多个设备以及其中多个模块容纳在单个壳体中的单个设备都是***。
此外，本技术的实施例不限于上述示例，并且在不脱离本技术的范围的情况下，可以对其进行各种修改。
例如，本技术还可以具有云计算的配置，其中，单个功能被共享以由多个装置经由网络协作地处理。
此外，除了由单个装置执行之外，使用上述流程图描述的各个步骤可以由多个装置共享执行。
此外，当单个步骤包括多个处理时，除了由单个装置执行之外，包括在单个步骤中的多个处理可以被共享以由多个装置执行。
<配置的组合的示例>
本技术还可以采用以下配置。
(1)一种信息处理装置，包括：
几何变换部分，对所捕获的图像和传感器图像中的至少一个进行变换以使所捕获的图像和所述传感器图像的坐标系匹配，所捕获的图像是由图像传感器获得的，所述传感器图像指示传感器的感测结果，所述传感器的感测范围与所述图像传感器的感测范围至少部分重叠；以及
物体识别部分，基于坐标系已经被彼此匹配的所捕获的图像和所述传感器图像来执行识别对象物的处理。
(2)根据(1)所述的信息处理装置，其中
所述几何变换部分将所述传感器图像变换为经几何变换的传感器图像，该经几何变换的传感器图像的坐标系与所捕获的图像的坐标系相同，以及
所述物体识别部分基于所捕获的图像和所述经几何变换的传感器图像来执行识别所述对象物的处理。
(3)根据(2)所述的信息处理装置，其中
所述物体识别部分使用通过机器学习获得的物体识别模型来执行识别所述对象物的处理。
(4)根据(3)所述的信息处理装置，其中
使所述物体识别模型使用包括输入数据和正确答案数据的训练数据来执行学习，所述输入数据包括所捕获的图像和所述经几何变换的传感器图像，所述正确答案数据指示物体在所捕获的图像中的位置。
(5)根据(4)所述的信息处理装置，其中
所述物体识别模型是使用深度神经网络的模型。
(6)根据(5)所述的信息处理装置，其中
所述物体识别模型包括
第一卷积神经网络，提取所捕获的图像和所述经几何变换的传感器图像的特征量，以及
第二卷积神经网络，基于所捕获的图像和所述经几何变换的传感器图像的特征量来识别所述对象物。
(7)根据(2)到(6)中任一项所述的信息处理装置，其中
所述传感器包括毫米波雷达，以及
所述传感器图像指示发射来自所述毫米波雷达的发射信号的物体的位置。
(8)根据(7)所述的信息处理装置，其中
所述传感器图像的坐标系由表示发射信号以平面方式展开的方向的轴和表示毫米波雷达的光轴方向的轴来表示。
(9)根据(7)或(8)所述的信息处理装置，其中
所述几何变换部分将第一传感器图像和第二传感器图像分别变换为经几何变换的第一传感器图像和经几何变换的第二传感器图像，所述第一传感器图像指示所述物体的位置和从所述物体反射的信号的强度，所述第二传感器图像指示所述物体的位置和速度，以及
所述物体识别部分基于所捕获的图像、所述经几何变换的第一传感器图像和所述经几何变换的第二传感器图像来执行识别所述对象物的处理。
(10)根据(2)到(9)中任一项所述的信息处理装置，还包括
图像处理器，其生成通过降低所捕获的图像的分辨率而获得的低分辨率图像，以及通过将所捕获的图像的一部分剪切出而获得的裁剪图像，其中
所述物体识别部分基于所述低分辨率图像、所述裁剪图像和所述经几何变换的传感器图像来执行识别所述对象物的处理。
(11)根据(10)所述的信息处理装置，其中
所述物体识别部分包括
第一物体识别部分，基于所述低分辨率图像和所述经几何变换的传感器图像来执行识别所述对象物的处理，以及
第二物体识别部分，基于所述裁剪图像和所述经几何变换的传感器图像来执行识别所述对象物的处理，以及
所述信息处理装置还包括合成器，所述合成器合成由所述第一物体识别部分执行的对所述对象物的识别的结果和由所述第二物体识别部分执行的对所述对象物的识别的结果。
(12)根据(10)或(11)所述的信息处理装置，其中
所述图像传感器和所述传感器执行对于车辆的周围环境的感测，以及
所述图像处理器基于所捕获的图像中的道路的消失点剪切出裁剪图像。
(13)根据(1)所述的信息处理装置，其中
所述几何变换部分将所捕获的图像变换为坐标系与所述传感器图像的坐标系相同的经几何变换的所捕获的图像，以及
所述物体识别部分基于所述经几何变换的所捕获的图像和所述传感器图像来执行识别所述对象物的处理。
(14)根据(1)到(13)中任一项所述的信息处理装置，其中
所述传感器包括毫米波雷达或激光雷达LiDAR中的至少一个，以及
所述传感器图像包括指示反射来自毫米波雷达的发射信号的物体的位置的图像和由LiDAR获得的点群数据中的至少一个。
(15)根据(1)到(14)中任一项所述的信息处理装置，其中
所述图像传感器和所述传感器执行对于移动体的周围环境的感测，以及
所述物体识别部分执行识别所述移动体的周围环境中的所述对象物的处理。
(16)一种由信息处理装置执行的信息处理方法，所述信息处理方法包括：
对所捕获的图像和传感器图像中的至少一个进行变换，并使所捕获的图像和所述传感器图像的坐标系匹配，所捕获的图像是由图像传感器获得的，所述传感器图像指示传感器的感测结果，所述传感器的感测范围与所述图像传感器的感测范围至少部分重叠；以及
基于坐标系已经被彼此匹配的所捕获的图像和所述传感器图像来执行识别对象物的处理。
(17)一种用于使计算机执行包括以下步骤的处理的程序：
对所捕获的图像和传感器图像中的至少一个进行变换，并使所捕获的图像和所述传感器图像的坐标系匹配，所捕获的图像是由图像传感器获得的，所述传感器图像指示传感器的感测结果，所述传感器的感测范围与所述图像传感器的感测范围至少部分重叠；以及
基于坐标系已经被彼此匹配的所捕获的图像和所述传感器图像来执行识别对象物的处理。
(18)一种移动体控制设备，包括：
几何变换部分，对所捕获的图像和传感器图像中的至少一个进行变换以使所捕获的图像和所述传感器图像的坐标系匹配，所捕获的图像是由图像传感器获得的，所述传感器图像指示传感器的感测结果，所述传感器的感测范围与所述图像传感器的感测范围至少部分重叠；
物体识别部分，基于坐标系已经被彼此匹配的所捕获的图像和所述传感器图像来执行识别对象物的处理；以及
动作控制器，基于所述对象物的识别结果来控制移动体的动作。
(19)一种移动体，包括：
图像传感器；
传感器，所述传感器的感测范围与所述图像传感器的感测范围至少部分重叠；
几何变换部分，对所捕获的图像和传感器图像中的至少一个进行变换以使所捕获的图像和所述传感器图像的坐标系匹配，所捕获的图像是由图像传感器获得的，所述传感器图像指示传感器的感测结果；
物体识别部分，基于坐标系已经被彼此匹配的所捕获的图像和所述传感器图像来执行识别对象物的处理；以及
动作控制器，基于所述对象物的识别结果来控制所述移动体的动作。
注意，这里描述的效果不是限制性的，而仅仅是说明性的，并且可以提供其它效果。
附图标记列表
10 车辆
100 车辆控制***
102、102A至102D 数据获取部分
107 传动系控制器
108 传动系***
135 动作控制器
141、141A至141G 车外信息检测器
201 照相机
201A 图像传感器
202 毫米波雷达
211 信息处理器
221 图像处理器
222 信号处理器
223 几何变换部分
224 物体识别部分
251 物体识别模型
261 特征量提取部分
262 识别部分
301 学习***
316 训练数据生成器
317 学习部分
401 信息处理器
421 图像处理器
422 物体识别部分
423 合成器
431a、431b 物体识别部分
501 LiDAR
511 信息处理器
521 信号处理器
522 几何变换部分
523 物体识别部分
611 信息处理器
621 几何变换部分
622 物体识别部分
711 信息处理器
721、722 几何变换部分
723 物体识别部分
811 毫米波雷达
821 信号处理器
831 信息处理器
911 毫米波雷达
921 几何变换部分

Claims (19)

1.一种信息处理装置，包括：
几何变换部分，对所捕获的图像和传感器图像中的至少一个进行变换以使所捕获的图像和所述传感器图像的坐标系匹配，所捕获的图像是由图像传感器获得的，所述传感器图像指示传感器的感测结果，所述传感器的感测范围与所述图像传感器的感测范围至少部分重叠；以及
物体识别部分，基于坐标系已经被彼此匹配的所捕获的图像和所述传感器图像来执行识别对象物的处理。
2.根据权利要求1所述的信息处理装置，其中
所述几何变换部分将所述传感器图像变换为经几何变换的传感器图像，该经几何变换的传感器图像的坐标系与所捕获的图像的坐标系相同，以及
所述物体识别部分基于所捕获的图像和所述经几何变换的传感器图像来执行识别所述对象物的处理。
3.根据权利要求2所述的信息处理装置，其中
所述物体识别部分使用通过机器学习获得的物体识别模型来执行识别所述对象物的处理。
4.根据权利要求3所述的信息处理装置，其中
使所述物体识别模型使用包括输入数据和正确答案数据的训练数据来执行学习，所述输入数据包括所捕获的图像和所述经几何变换的传感器图像，所述正确答案数据指示物体在所捕获的图像中的位置。
5.根据权利要求4所述的信息处理装置，其中
所述物体识别模型是使用深度神经网络的模型。
6.根据权利要求5所述的信息处理装置，其中
所述物体识别模型包括
第一卷积神经网络，提取所捕获的图像和所述经几何变换的传感器图像的特征量，以及
第二卷积神经网络，基于所捕获的图像和所述经几何变换的传感器图像的特征量来识别所述对象物。
7.根据权利要求2所述的信息处理装置，其中
所述传感器包括毫米波雷达，以及
所述传感器图像指示发射来自所述毫米波雷达的发射信号的物体的位置。
8.根据权利要求7所述的信息处理装置，其中
所述传感器图像的坐标系由表示发射信号以平面方式展开的方向的轴和表示毫米波雷达的光轴方向的轴来表示。
9.根据权利要求7所述的信息处理装置，其中
所述几何变换部分将第一传感器图像和第二传感器图像分别变换为经几何变换的第一传感器图像和经几何变换的第二传感器图像，所述第一传感器图像指示所述物体的位置和从所述物体反射的信号的强度，所述第二传感器图像指示所述物体的位置和速度，以及
所述物体识别部分基于所捕获的图像、所述经几何变换的第一传感器图像和所述经几何变换的第二传感器图像来执行识别所述对象物的处理。
10.根据权利要求2所述的信息处理装置，还包括
图像处理器，其生成通过降低所捕获的图像的分辨率而获得的低分辨率图像，以及通过将所捕获的图像的一部分剪切出而获得的裁剪图像，其中
所述物体识别部分基于所述低分辨率图像、所述裁剪图像和所述经几何变换的传感器图像来执行识别所述对象物的处理。
11.根据权利要求10所述的信息处理装置，其中
所述物体识别部分包括
第一物体识别部分，基于所述低分辨率图像和所述经几何变换的传感器图像来执行识别所述对象物的处理，以及
第二物体识别部分，基于所述裁剪图像和所述经几何变换的传感器图像来执行识别所述对象物的处理，以及
所述信息处理装置还包括合成器，所述合成器合成由所述第一物体识别部分执行的对所述对象物的识别的结果和由所述第二物体识别部分执行的对所述对象物的识别的结果。
12.根据权利要求10所述的信息处理装置，其中
所述图像传感器和所述传感器执行对于车辆的周围环境的感测，以及
所述图像处理器基于所捕获的图像中的道路的消失点剪切出裁剪图像。
13.根据权利要求1所述的信息处理装置，其中
所述几何变换部分将所捕获的图像变换为坐标系与所述传感器图像的坐标系相同的经几何变换的所捕获的图像，以及
所述物体识别部分基于所述经几何变换的所捕获的图像和所述传感器图像来执行识别所述对象物的处理。
14.根据权利要求1所述的信息处理装置，其中
所述传感器包括毫米波雷达或激光雷达LiDAR中的至少一个，以及
所述传感器图像包括指示反射来自毫米波雷达的发射信号的物体的位置的图像和由LiDAR获得的点群数据中的至少一个。
15.根据权利要求1所述的信息处理装置，其中
所述图像传感器和所述传感器执行对于移动体的周围环境的感测，以及
所述物体识别部分执行识别所述移动体的周围环境中的所述对象物的处理。
16.一种由信息处理装置执行的信息处理方法，所述信息处理方法包括：
对所捕获的图像和传感器图像中的至少一个进行变换，并使所捕获的图像和所述传感器图像的坐标系匹配，所捕获的图像是由图像传感器获得的，所述传感器图像指示传感器的感测结果，所述传感器的感测范围与所述图像传感器的感测范围至少部分重叠；以及
基于坐标系已经被彼此匹配的所捕获的图像和所述传感器图像来执行识别对象物的处理。
17.一种用于使计算机执行包括以下步骤的处理的程序：
对所捕获的图像和传感器图像中的至少一个进行变换，并使所捕获的图像和所述传感器图像的坐标系匹配，所捕获的图像是由图像传感器获得的，所述传感器图像指示传感器的感测结果，所述传感器的感测范围与所述图像传感器的感测范围至少部分重叠；以及
基于坐标系已经被彼此匹配的所捕获的图像和所述传感器图像来执行识别对象物的处理。
18.一种移动体控制设备，包括：
几何变换部分，对所捕获的图像和传感器图像中的至少一个进行变换以使所捕获的图像和所述传感器图像的坐标系匹配，所捕获的图像是由图像传感器获得的，所述传感器图像指示传感器的感测结果，所述传感器的感测范围与所述图像传感器的感测范围至少部分重叠；
物体识别部分，基于坐标系已经被彼此匹配的所捕获的图像和所述传感器图像来执行识别对象物的处理；以及
动作控制器，基于所述对象物的识别结果来控制移动体的动作。
19.一种移动体，包括：
图像传感器；
传感器，所述传感器的感测范围与所述图像传感器的感测范围至少部分重叠；
几何变换部分，对所捕获的图像和传感器图像中的至少一个进行变换以使所捕获的图像和所述传感器图像的坐标系匹配，所捕获的图像是由图像传感器获得的，所述传感器图像指示传感器的感测结果；
物体识别部分，基于坐标系已经被彼此匹配的所捕获的图像和所述传感器图像来执行识别对象物的处理；以及
动作控制器，基于所述对象物的识别结果来控制动作。
CN201980079021.8A 2018-12-07 2019-11-22 信息处理装置、信息处理方法、程序、移动体控制装置和移动体 Pending CN113168691A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018230061 2018-12-07
JP2018-230061 2018-12-07
PCT/JP2019/045743 WO2020116195A1 (ja) 2018-12-07 2019-11-22 情報処理装置、情報処理方法、プログラム、移動体制御装置、及び、移動体

Publications (1)

Publication Number Publication Date
CN113168691A true CN113168691A (zh) 2021-07-23

Family

ID=70975030

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980079021.8A Pending CN113168691A (zh) 2018-12-07 2019-11-22 信息处理装置、信息处理方法、程序、移动体控制装置和移动体

Country Status (6)

Country Link
US (1) US20220036043A1 (zh)
EP (1) EP3893194A4 (zh)
JP (2) JP7320001B2 (zh)
KR (1) KR20210098972A (zh)
CN (1) CN113168691A (zh)
WO (1) WO2020116195A1 (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI766560B (zh) * 2021-01-27 2022-06-01 國立臺灣大學 結合語義分割與光達點雲之物件辨識與測距系統
US11733369B2 (en) * 2021-02-11 2023-08-22 Waymo Llc Methods and systems for three dimensional object detection and localization
CN112926476B (zh) * 2021-03-08 2024-06-18 京东鲲鹏(江苏)科技有限公司 车辆识别方法、装置及存储介质
CN116997821A (zh) * 2021-03-17 2023-11-03 索尼半导体解决方案公司 感测***
WO2023085017A1 (ja) * 2021-11-09 2023-05-19 ソニーセミコンダクタソリューションズ株式会社 学習方法、学習プログラム、情報処理装置、情報処理方法、および情報処理プログラム
WO2024024471A1 (ja) * 2022-07-28 2024-02-01 ソニーセミコンダクタソリューションズ株式会社 情報処理装置、情報処理方法、及び、情報処理システム
DE102022211766A1 (de) 2022-11-08 2024-05-08 Continental Autonomous Mobility Germany GmbH Verfahren zur Erzeugung einer Umfeldinformation, Steuereinrichtung, Fahrzeug und Computerprogramm
US11907841B1 (en) 2023-05-01 2024-02-20 Ian Truitner Machine learning based consumer product identification system and method therefor

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005175603A (ja) 2003-12-08 2005-06-30 Suzuki Motor Corp レーダを用いた障害物の表示方法及び表示システム
JP5632762B2 (ja) * 2011-01-25 2014-11-26 パナソニック株式会社 測位情報形成装置、検出装置、及び測位情報形成方法
US20140205139A1 (en) * 2013-01-18 2014-07-24 Caterpillar Inc. Object recognition system implementing image data transformation
JP6682833B2 (ja) * 2015-12-04 2020-04-15 トヨタ自動車株式会社 物体認識アルゴリズムの機械学習のためのデータベース構築システム
JP6544257B2 (ja) * 2016-02-09 2019-07-17 株式会社リコー 情報処理システム、情報処理方法及び情報処理プログラム
WO2018101247A1 (ja) * 2016-11-29 2018-06-07 マクセル株式会社 画像認識撮像装置
JP6795788B2 (ja) * 2017-01-24 2020-12-02 株式会社安川電機 産業機器用の画像認識装置及び画像認識方法
JP6782433B2 (ja) * 2017-03-22 2020-11-11 パナソニックＩｐマネジメント株式会社 画像認識装置
KR101920281B1 (ko) * 2017-06-26 2018-11-21 (주)넥스트칩 차량 내에서 입력 영상 데이터로부터 객체를 검출하는 장치 및 방법
EP3525000B1 (en) * 2018-02-09 2021-07-21 Bayerische Motoren Werke Aktiengesellschaft Methods and apparatuses for object detection in a scene based on lidar data and radar data of the scene
US11494937B2 (en) * 2018-11-16 2022-11-08 Uatc, Llc Multi-task multi-sensor fusion for three-dimensional object detection

Also Published As

Publication number Publication date
EP3893194A1 (en) 2021-10-13
JPWO2020116195A1 (ja) 2021-10-21
KR20210098972A (ko) 2021-08-11
WO2020116195A1 (ja) 2020-06-11
JP2023126642A (ja) 2023-09-07
EP3893194A4 (en) 2022-01-26
JP7320001B2 (ja) 2023-08-02
US20220036043A1 (en) 2022-02-03

Similar Documents

Publication Publication Date Title
US11531354B2 (en) Image processing apparatus and image processing method
CN113168691A (zh) 信息处理装置、信息处理方法、程序、移动体控制装置和移动体
JP2019028861A (ja) 信号処理装置、および信号処理方法、プログラム、並びに移動体
US20200241549A1 (en) Information processing apparatus, moving apparatus, and method, and program
US11501461B2 (en) Controller, control method, and program
US11978261B2 (en) Information processing apparatus and information processing method
JP7497298B2 (ja) 情報処理装置、情報処理方法、プログラム、移動体制御装置、及び、移動体
CN111226094A (zh) 信息处理装置、信息处理方法、程序和移动体
CN112534297A (zh) 信息处理设备和信息处理方法、计算机程序、信息处理***以及移动设备
US20230230368A1 (en) Information processing apparatus, information processing method, and program
US20220292296A1 (en) Information processing device, information processing method, and program
US20200230820A1 (en) Information processing apparatus, self-localization method, program, and mobile body
US20220277556A1 (en) Information processing device, information processing method, and program
US20230245423A1 (en) Information processing apparatus, information processing method, and program
CN115128566A (zh) 雷达数据确定电路及雷达数据确定方法
US11763675B2 (en) Information processing apparatus and information processing method
US11987271B2 (en) Information processing apparatus, information processing method, mobile-object control apparatus, and mobile object
WO2023021756A1 (ja) 情報処理システム、情報処理装置、及び情報処理方法
US20230206596A1 (en) Information processing device, information processing method, and program
WO2023162497A1 (ja) 画像処理装置、画像処理方法及び画像処理プログラム
CN117999587A (zh) 识别处理设备、识别处理方法和识别处理***
JP2024003806A (ja) 情報処理装置、情報処理方法、及びプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination