CN112368598A - 信息处理设备、信息处理方法、计算机程序和移动设备 - Google Patents

信息处理设备、信息处理方法、计算机程序和移动设备 Download PDF

Info

Publication number
CN112368598A
CN112368598A CN201980043386.5A CN201980043386A CN112368598A CN 112368598 A CN112368598 A CN 112368598A CN 201980043386 A CN201980043386 A CN 201980043386A CN 112368598 A CN112368598 A CN 112368598A
Authority
CN
China
Prior art keywords
recognition
data
unit
processing
fusion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980043386.5A
Other languages
English (en)
Inventor
五十岚信之
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Semiconductor Solutions Corp
Original Assignee
Sony Semiconductor Solutions Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Semiconductor Solutions Corp filed Critical Sony Semiconductor Solutions Corp
Publication of CN112368598A publication Critical patent/CN112368598A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/865—Combination of radar systems with lidar systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/06—Systems determining position data of a target
    • G01S13/42—Simultaneous measurement of distance and other co-ordinates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/89—Radar or analogous systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G01S7/411—Identification of targets based on measurements of radar reflectivity
    • G01S7/412—Identification of targets based on measurements of radar reflectivity based on a comparison between measured values and known or stored values
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G01S7/414—Discriminating targets with respect to background clutter
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/251—Fusion techniques of input or preprocessed data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/165—Anti-collision systems for passive traffic, e.g. including static obstacles, trees
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/50—Systems of measurement based on relative movement of target
    • G01S13/58—Velocity or trajectory determination systems; Sense-of-movement determination systems
    • G01S13/583—Velocity or trajectory determination systems; Sense-of-movement determination systems using transmission of continuous unmodulated waves, amplitude-, frequency-, or phase-modulated waves and based upon the Doppler effect resulting from movement of targets
    • G01S13/584—Velocity or trajectory determination systems; Sense-of-movement determination systems using transmission of continuous unmodulated waves, amplitude-, frequency-, or phase-modulated waves and based upon the Doppler effect resulting from movement of targets adapted for simultaneous range and velocity measurements
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/66—Radar-tracking systems; Analogous systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9318—Controlling the steering
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/93185—Controlling the brakes
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9319—Controlling the accelerator
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/60—Intended control result
    • G05D1/646—Following a predefined trajectory, e.g. a line marked on the floor or a flight path

Landscapes

  • Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Traffic Control Systems (AREA)
  • Radar Systems Or Details Thereof (AREA)

Abstract

提供了一种信息处理设备，其处理来自用于识别外部环境的传感器的检测信息。该信息处理设备包括：识别单元，其基于来自传感器的检测信号执行识别物体的处理；以及处理单元，其对识别单元进行识别之前的第一数据与其它数据执行融合处理。该信息处理设备还包括第二识别单元，其基于来自第二传感器的检测信号执行识别物体的处理。处理单元特别地执行对第二识别单元进行识别之前的第三数据与第一数据的融合处理、对第二识别单元进行识别之后的第四数据与第一数据的融合处理。

Description

信息处理设备、信息处理方法、计算机程序和移动设备
技术领域
本说明书中公开的技术涉及处理由主要用于识别外部世界的多个传感器的检测信息的信息处理设备、信息处理方法、计算机程序和移动设备。
背景技术
为了实现自动驾驶和高级驾驶员辅助***(ADAS)，有必要检测各种物体，诸如其它车辆、人和车道。此外，不仅在白天在良好的天气，而且在诸如阴雨天气和夜晚之类的各种环境中都有必要检测物体。为此，许多不同类型的外部识别传感器(诸如相机、毫米波雷达和激光雷达)已开始安装在车辆中。
每种传感器都具有其强项和弱点。传感器的识别性能可能根据要检测的物体的类型和尺寸、与物体的距离、检测时的天气等而恶化。例如，车载雷达具有高距离精度和相对速度精度，但是角度精度低，并且不具有识别物体类型的识别功能，或者识别精度低。另一方面，相机具有相对低的距离精度和相对速度精度，但是具有良好的角度精度和识别精度。
因此，不仅单独使用每个传感器，而且还组合两个或更多个传感器以利用每个传感器的特点有助于更准确的外部识别。两个或更多个传感器的组合在下文中将被称为“传感器融合”或“融合”。
例如，已经提出了一种道路交通监视***，其中基于环境指示符(诸如温度数据、降雨数据、可见性数据和照度数据)切换并使用具有不同检测特性的多个传感器的组合(参见专利文献1)。
此外，已经提出了一种车辆行驶控制***，该***针对外部环境准备多个融合规范(specification)，并且向驾驶员通知传感器的检测区域，在该检测区域中传感器的识别精度由于外部环境而降低并且在所选择的融合规范中引起注意(参见专利文献2)。
引文列表
专利文件
专利文献1：日本专利申请特许公开No.2003-162795
专利文献2：日本专利申请特许公开No.2017-132285
发明内容
本发明要解决的问题
本说明书中公开的技术的目的是提供对主要用于识别外部世界的多个传感器执行融合处理的信息处理设备、信息处理方法、计算机程序和移动设备。
问题的解决方案
本说明书中公开的技术的第一方面是一种信息处理设备，包括：
识别单元，被配置为基于传感器的检测信号对物体执行识别处理；以及
处理单元，被配置为对识别单元进行识别之前的第一数据与其它数据执行融合处理。
传感器包括例如毫米波雷达。然后，识别单元在识别之前基于传感器的检测信号执行距离检测、速度检测、物体的角度检测以及物体的跟踪的各处理，并且第一数据包括检测信号、物体的距离检测结果、速度检测结果、角度检测结果、物体的跟踪结果中的至少一个。然后，处理单元可以执行对第二识别单元进行识别之前的第三数据与第一数据的融合处理、对第二识别单元进行识别之后的第四数据与第一数据的融合处理、对第一数据与识别单元进行识别之后的第二数据的融合处理或者对第四数据与第二数据的融合处理中的至少一个融合处理。
此外，根据第一方面的信息处理设备还包括第二识别单元，该第二识别单元基于包括相机或LiDAR中的至少一个的第二传感器的检测信号对物体执行识别处理。然后，在第二识别单元的识别结果良好但是识别单元的识别结果不好的情况下，处理单元对第一数据执行融合处理。可替代地，在第二识别单元的识别结果不好的情况下，处理单元对第一数据执行融合处理。
此外，本说明书中公开的技术的第二方面是一种信息处理方法，包括：
识别步骤，基于传感器的检测信号对物体执行识别处理；以及
处理步骤，对识别步骤进行识别之前的第一数据与其它数据执行融合处理。该处理步骤可以包括执行对被第二识别单元识别之前的第三数据与第一数据的融合处理、对被第二识别单元识别之后的第四数据与第一数据的融合处理、对被识别单元识别之后的第一数据与第二数据的融合处理或者对第四数据与第二数据的融合处理中的至少一个融合处理。
此外，本说明书中公开的技术的第三方面是以计算机可读格式描述的计算机程序，用于使计算机用作：
识别单元，被配置为基于传感器的检测信号对物体执行识别处理；以及
处理单元，被配置为对识别单元识别进行识别之前的第一数据与其它数据执行融合处理。处理单元可以执行对第二识别单元进行识别之前的第三数据与第一数据的融合处理、对第二识别单元进行识别之后的第四数据与第一数据的融合处理、对第一数据与识别单元识别之后的第二数据的融合处理或者对第四数据与第二数据的融合处理中的至少一个融合处理。
根据第三方面的计算机程序定义以计算机可读格式描述的计算机程序，以便在计算机上实现预定处理。换句话说，通过在计算机中安装根据第三方面的计算机程序，在计算机上表现出协作动作，并且可以获得与根据第一方面的信息处理设备相似的动作和效果。
此外，本说明书中公开的技术的第四方面是一种移动设备，包括：
移动装置；
传感器；
识别单元，被配置为基于传感器的检测信号对物体执行识别处理；
处理单元，被配置为对识别单元进行识别之前的第一数据与其它数据执行融合处理；以及
控制单元，被配置为基于处理单元的处理结果来控制移动装置。处理单元可以执行对第二识别单元进行识别之前的第三数据与第一数据的融合处理、对第二识别单元进行识别之后的第四数据与第一数据的融合处理、对第一数据与识别单元识别之后的第二数据的融合处理或者对第四数据与第二数据的融合处理中的至少一个融合处理。
发明的效果
本说明书中公开的技术可以提供对主要用于识别外部世界的多个传感器执行融合处理的信息处理设备、信息处理方法、计算机程序和移动设备。
注意的是，本说明书中描述的效果仅是说明性的，并且本发明的效果不限于这些效果。此外，除了上述效果之外，本发明还可以产生附加效果。
通过基于如稍后描述的实施例和附图的更详细描述，本说明书中公开的技术的其它目的、特征和优点将变得显而易见。
附图说明
图1是示出车辆控制***100的示意性功能配置示例的框图。
图2是示出信息处理设备1000的功能配置的图。
图3是图示由相机捕获的图像的图。
图4是图示由毫米波雷达检测到的场景的图。
图5是示出用毫米波雷达检测图4中所示的场景的结果的图。
图6是示出雷达识别处理单元1020的内部配置示例的图。
图7是示出要识别的场景的一个示例的图。
图8是示出图7中所示的场景的识别处理之前的数据的图。
图9是示出图7中所示的场景的识别处理之后的数据的图。
图10是示出要识别的场景的另一示例的视图。
图11是示出图10中所示的场景的识别处理之前的数据的图。
图12是示出图10中所示的场景的识别处理之后的数据的图。
图13是示出信息处理设备1000的融合处理结果(仅后期融合处理)的示例的图。
图14是示出信息处理设备1000的融合处理结果(包括早期融合处理)的示例的图。
图15是示出其中结果在后期融合处理与早期融合处理之间不同的示例的图。
图16是示出其中结果在后期融合处理与早期融合处理之间不同的示例的图。
图17是示出被配置为自适应地执行早期融合处理的信息处理设备1000的配置示例的图。
图18是示出在图17中所示的信息处理设备1000中用于执行目标识别的处理过程的流程图。
图19是示出被配置为自适应地执行早期融合处理的信息处理设备1000的另一个配置示例的图。
图20是示出在图19中所示的信息处理设备1000中用于执行目标识别的处理过程的流程图。
图21是用于描述基于毫米波雷达1080的RAW数据来识别识别器1023无法识别的物体的处理的图。
图22是用于描述基于毫米波雷达1080的RAW数据来识别识别器1023无法识别的物体的处理的图。
图23是用于描述基于毫米波雷达1080的RAW数据来识别识别器1023无法识别的物体的处理的图。
具体实施方式
在下文中，将参考附图详细描述在本说明书中公开的技术的实施例。
图1是示出车辆控制***100的示意性功能配置示例的框图，该车辆控制***100是可以对其应用本技术的移动体控制***的一个示例。
注意的是，在下文中，在将设有车辆控制***100的车辆与其它车辆区分开的情况下，将该车辆称为本车或自身车辆。
车辆控制***100包括输入单元101、数据获取单元102、通信单元103、车内设备104、输出控制单元105、输出单元106、驱动***控制单元107、驱动***108、车身***控制单元109、车身***110、存储单元111和自动驾驶控制单元112。输入单元101、数据获取单元102、通信单元103、输出控制单元105、驱动***控制单元107、车身***控制单元109、存储单元111和自动驾驶控制单元112经由通信网络121彼此连接。通信网络121包括例如符合诸如控制器局域网(CAN)、本地互连网络(LIN)、局域网(LAN)或FlexRay(注册商标)之类的任意标准的车载通信网络、总线等。注意的是，车辆控制***100的每个单元可以不通过通信网络121而直接连接。
注意的是，在下文中，在车辆控制***100的每个单元经由通信网络121执行通信的情况下，将省略对通信网络121的描述。例如，在输入单元101和自动驾驶控制单元112经由通信网络121彼此通信的情况下，简单地描述输入单元101和自动驾驶控制单元112彼此通信。
输入单元101包括供乘员使用以输入各种数据、指令等的设备。例如，输入单元101包括诸如触摸面板、按钮、麦克风、开关和操纵杆之类的操作设备，以及允许通过除手动操作以外的方法(诸如语音和手势)进行输入的操作设备等。此外，例如，输入单元101可以是使用红外线或其它无线电波的远程控制设备，或者可以是支持车辆控制***100的操作的外部连接的设备，包括移动设备、可穿戴设备等。输入单元101基于乘员输入的数据、指令等生成输入信号，并将该输入信号供应给车辆控制***100的每个单元。
数据获取单元102包括获取要用于车辆控制***100的处理的数据的各种传感器等，并将获取的数据供应给车辆控制***100的每个单元。
例如，数据获取单元102包括用于检测本车的状态等的各种传感器。具体而言，例如，数据获取单元102包括陀螺仪传感器、加速度传感器、惯性测量单元(IMU)，以及用于检测加速踏板操作量、制动踏板操作量、方向盘转向角、发动机转数、电机转数、车轮转速等的传感器等。
此外，例如，数据获取单元102包括用于检测本车外部的信息的各种传感器。具体而言，例如，数据获取单元102包括诸如飞行时间(ToF)相机、立体相机、单目相机、红外相机和其它相机之类的图像捕获设备。此外，例如，数据获取单元102包括用于检测天气、大气现象等的环境传感器，以及用于检测本车周围的物体的周围信息检测传感器。环境传感器包括例如雨滴传感器、雾传感器、日照传感器、雪传感器等。周围信息检测传感器包括例如超声波传感器、毫米波雷达、光检测和测距、激光成像检测和测距(LiDAR)、声纳等。
而且，例如，数据获取单元102包括用于检测本车的当前位置的各种传感器。具体而言，例如，数据获取单元102包括从全球导航卫星***(GNSS)卫星接收GNSS信号的GNSS接收器等。
此外，例如，数据获取单元102包括用于检测车内信息的各种传感器。具体而言，例如，数据获取单元102包括捕获驾驶员图像的图像捕获设备、检测关于驾驶员的生物特征信息的生物特征传感器、收集车辆内部的声音的麦克风等。在例如座椅表面、方向盘等上提供生物特征传感器，并且检测关于坐在座椅上的乘员或保持方向盘的驾驶员的生物特征信息。
通信单元103与车内设备104以及车辆外部的各种设备、服务器、基站等进行通信。通信单元103发送从车辆控制***100的每个单元供应的数据，并将接收到的数据供应给车辆控制***100的每个单元。注意的是，通信单元103所支持的通信协议没有特别限制，此外，通信单元103可以支持多种类型的通信协议。
例如，通信单元103通过无线LAN、蓝牙(注册商标)、近场通信(NFC)、无线USB(WUSB)等与车内设备104执行无线通信。此外，例如，通信单元103通过通用串行总线(USB)、高清多媒体接口(HDMI)、移动高清链接(MHL)经由连接端子(未示出)(以及必要时的电缆)与车内设备104执行有线通信。
而且，例如，通信单元103经由基站或接入点与存在于外部网络(例如，互联网、云网络或业务运营商特定的网络)上的设备(例如，应用服务器或控制服务器)执行通信。此外，例如，通信单元103通过使用对等(P2P)技术与存在于本车附近的终端(例如，行人终端或商店终端，或机器类型通信(MTC)终端)执行通信。而且，例如，通信单元103执行包括车辆到车辆通信、车辆到基础设施通信、车辆到家通信、车辆到行人通信等的V2X通信。此外，例如，通信单元103包括信标接收单元，接收从安装在道路上的无线站等发送的无线电波或电磁波，并且获取包括当前位置、交通拥堵、交通法规、所需时间等的信息。
车内设备104包括例如乘员所拥有的移动设备或可穿戴设备、本车中携带或附接到本车的信息设备、用于搜索到任意目的地的路线的导航设备等。
输出控制单元105控制各种信息到本车的乘员或车辆的外部的输出。例如，输出控制单元105生成包括视觉信息(例如，图像数据)或听觉信息(例如，语音数据)中的至少一种的输出信号，并将输出信号供应给输出单元106，从而控制视觉信息和听觉信息从输出单元106的输出。具体而言，例如，输出控制单元105组合由数据获取单元102的不同图像捕获设备捕获的图像数据以生成鸟瞰图像、全景图像等，并将包括所生成的图像的输出信号供应给输出单元106。此外，例如，输出控制单元105生成包括针对包括碰撞、接触、进入危险地带等的危险的警告声音、警告消息等的语音数据，并向输出单元106供应包括所生成的语音数据的输出信号。
输出单元106包括可以将视觉信息或听觉信息输出到本车的乘员或车辆外部的设备。例如，输出单元106包括显示设备、仪表板、音频扬声器、耳机、包括乘员等穿戴的眼镜型显示器的可穿戴设备、投影仪、灯等。除了具有常规显示器的设备，包括在输出单元106中的显示设备还可以是例如在驾驶员的视野内显示视觉信息的设备，包括平视显示器、透射显示器、具有增强现实(AR)显示功能的设备等。
驱动***控制单元107生成各种控制信号，并将控制信号供应给驱动***108，从而控制驱动***108。此外，驱动***控制单元107根据需要向除驱动***108以外的每个单元供应控制信号，并且执行驱动***108的控制状态的通知等。
驱动***108包括本车的驱动***相关的各种设备。例如，驱动***108包括用于生成驱动力的驱动力生成设备，包括内燃发动机、驱动电机等；用于将驱动力传递至车轮的驱动力传递机构；用于调整转向角的转向机构；生成制动力的制动设备；防抱死制动***(ABS)；电子稳定控制***(ESC)；电动助力转向设备等。
车身***控制单元109生成各种控制信号并将控制信号供应给车身***110，从而控制车身***110。此外，车身***控制单元109根据需要向除车身***110以外的每个单元供应控制信号，并且执行车身***110的控制状态的通知等。
车身***110包括配备在车身中的各种车身***的设备。例如，车身***110包括无钥匙进入***、智能钥匙***、电动窗设备、电动座椅、方向盘、空调、各种灯(例如，前灯、倒车灯、停车灯、方向指示灯、雾灯等)等。
存储单元111包括例如只读存储器(ROM)、随机存取存储器(RAM)、诸如硬盘驱动器(HDD)之类的磁存储设备、半导体存储设备、光存储设备、磁光存储设备等。存储单元111存储将由车辆控制***100的每个单元使用的各种程序、数据等。例如，存储单元111存储包括三维高精度地图(诸如动态地图)、精度低于高精度地图且覆盖大面积的全局地图、包括本车周围的信息的局部地图等的地图数据。
自动驾驶控制单元112控制包括自主行驶、驾驶辅助等的自动驾驶。具体而言，例如，自动驾驶控制单元112执行旨在实现高级驾驶员辅助***(ADAS)的功能的协作控制，该ADAS包括避免碰撞或本车的撞击减轻、基于车辆之间的距离的跟随行驶、在维持车速的同时进行行驶、本车的碰撞警告、本车的车道偏离警告等。此外，例如，自动驾驶控制单元112执行针对自动驾驶等的协作控制，其中车辆自主行驶而不取决于驾驶员的操作。自动驾驶控制单元112包括检测单元131、自身位置估计单元132、状况分析单元133、计划单元134和动作控制单元135。
检测单元131检测控制自动驾驶所需的各种类型的信息。检测单元131包括车外信息检测单元141、车内信息检测单元142和车辆状态检测单元143。
车外信息检测单元141基于来自车辆控制***100的每个单元的数据或信号对本车外部的信息执行检测处理。例如，车外信息检测单元141对本车周围的物体执行检测处理、识别处理和跟踪处理，并且对到物体的距离执行检测处理。要被检测的物体包括例如车辆、人、障碍物、建筑物、道路、交通信号灯、交通标志、道路标记等。此外，例如，车外信息检测单元141对本车周围的环境执行检测处理。要被检测的周围环境包括例如天气、温度、湿度、亮度、路面状况等。车外信息检测单元141将指示检测处理的结果的数据供应给自身位置估计单元132、状况分析单元133的地图分析单元151、交通规则识别单元152和状况识别单元153、动作控制单元135的紧急情况避免单元171等。
车内信息检测单元142基于来自车辆控制***100的每个单元的数据或信号对车辆内部的信息执行检测处理。例如，车内信息检测单元142执行驾驶员认证处理和识别处理、驾驶员状态检测处理、乘员检测处理、车内环境检测处理等。要被检测的驾驶员状态包括例如身体状况、唤醒程度、专注水平、疲劳水平、视线方向等。要被检测的车内环境包括例如温度、湿度、亮度、气味等。车内信息检测单元142将指示检测处理的结果的数据供应给状况分析单元133的状况识别单元153、动作控制单元135的紧急情况避免单元171等。
车辆状态检测单元143基于来自车辆控制***100的每个单元的数据或信号对本车的状态执行检测处理。要被检测的本车的状态包括例如速度、加速度水平、转向角、是否存在异常以及异常的细节、驾驶操作状态、电动座椅位置和倾斜、门锁状态、其它车载设备的状态等。车辆状态检测单元143将指示检测处理的结果的数据供应给状况分析单元133的状况识别单元153、动作控制单元135的紧急情况避免单元171等。
自身位置估计单元132基于来自车辆控制***100的每个单元(诸如车外信息检测单元141和状况分析单元133的状况识别单元153)的数据或信号对本车的位置、朝向等执行估计处理。此外，自身位置估计单元132根据需要生成要用于自身位置估计的局部地图(下文中称为自身位置估计地图)。自身位置估计地图是例如使用诸如同时定位和绘制(SLAM)之类的技术的高精度图。自身位置估计单元132将指示估计处理的结果的数据供应给状况分析单元133的地图分析单元151、交通规则识别单元152和状况识别单元153等。此外，自身位置估计单元132将自身位置估计地图存储在存储单元111中。
状况分析单元133对本车和周围情况执行分析处理。状况分析单元133包括地图分析单元151、交通规则识别单元152、状况识别单元153和状况预测单元154。
地图分析单元151对存储在存储单元111中的各种地图执行分析处理，并且在必要时使用来自车辆控制***100的每个单元(诸如自身位置估计单元132和车外信息检测单元141)的数据或信号来构造包括自动驾驶处理所需的信息的地图。地图分析单元151将构造的地图供应给交通规则识别单元152、状况识别单元153、状况预测单元154，以及计划单元134的路线计划单元161、行为计划单元162和动作计划单元163等。
交通规则识别单元152基于来自车辆控制***100的每个单元(诸如自身位置估计单元132、车外信息检测单元141和地图分析单元151)的数据或信号对本车周围的交通规则执行识别处理。通过识别处理，例如，识别出本车周围的交通信号灯的位置和状态、本车周围的详细交通规则、可行驶的车道等。交通规则识别单元152将指示识别处理的结果的数据供应给状况预测单元154等。
状况识别单元153基于来自车辆控制***100的每个单元(诸如自身位置估计单元132、车外信息检测单元141、车内信息检测单元142、车辆状态检测单元143和地图分析单元151)的数据或信号对本车的情况执行识别处理。例如，状况识别单元153对本车的情况、本车周围的情况、本车的驾驶员的情况等执行识别处理。此外，状况识别单元153根据需要生成要用于识别本车周围的情况的局部地图(下文中称为状况识别地图)。状况识别地图是例如占用栅格图(occupancy grid map)。
要被识别的本车的情况包括例如本车的位置、朝向、移动(例如，速度、加速度水平、移动方向等)、是否存在异常以及异常的细节等。要被识别的本车周围的情况包括例如周围静止物体的类型和位置、周围移动物体的类型、位置和移动(例如，速度、加速度水平、移动方向等)、周围道路的构造和路面状况、周围天气、温度、湿度、亮度等。要被识别的驾驶员状态包括例如身体状况、唤醒程度、专注水平、疲劳水平、视线移动、驾驶操作等。
状况识别单元153将指示识别处理的结果的数据(必要时包括状况识别地图)供应给自身位置估计单元132、状况预测单元154等。此外，状况识别单元153在存储单元111中存储状况识别地图。
状况预测单元154基于来自车辆控制***100的每个单元(诸如地图分析单元151、交通规则识别单元152和状况识别单元153)的数据或信号执行关于本车的情况预测处理。例如，状况预测单元154对本车的情况、本车周围的情况、驾驶员的情况等执行预测处理。
要预测的本车的情况包括例如本车的动作、异常的发生、可行驶距离等。要预测本车周围的情况包括例如本车周围的移动物体的举动、交通信号灯状态的改变、环境(诸如天气)的改变等。要预测的驾驶员的情况包括例如驾驶员的动作和身体状况等。
状况预测单元154将指示预测处理的结果的数据与来自交通规则识别单元152和状况识别单元153的数据一起供应给计划单元134的路线计划单元161、行为计划单元162和动作计划单元163等。
路线计划单元161基于来自车辆控制***100的每个单元(诸如地图分析单元151和状况预测单元154)的数据或信号来计划到目的地的路线。例如，路线计划单元161基于全局地图来设置从当前位置到指定目的地的路线。此外，例如，路线计划单元161基于交通拥堵、事故、交通法规、道路作业等的情况、驾驶员的身体状况等适当地改变路线。路线计划单元161将指示计划的路线的数据供应给行为计划单元162等。
行为计划单元162基于来自车辆控制***100的每个单元(诸如地图分析单元151和状况预测单元154)的数据或信号来计划本车的行为，以在计划的时间内在由路线计划单元161计划的路线上安全地行驶。例如，行为计划单元162计划开始、停止、行驶方向(例如，向前、向后、向左转、向右转、转弯等)、行驶车道、行驶速度、超车等。行为计划单元162将指示本车的计划的行为的数据供应给动作计划单元163等。
动作计划单元163基于来自车辆控制***100的每个单元的数据或信号(诸如地图分析单元151和状况预测单元154)来计划用于实施由行为计划单元162计划的行为的本车的操作。例如，动作计划单元163计划加速度、减速度、行驶轨迹等。动作计划单元163将指示本车的计划的操作的数据供应给动作控制单元135的加速-减速控制单元172、方向控制单元173等。
动作控制单元135控制本车的操作。动作控制单元135包括紧急情况避免单元171、加减速控制单元172和方向控制单元173。
紧急情况避免单元171基于车外信息检测单元141、车内信息检测单元142和车辆状态检测单元143的检测结果来对诸如碰撞、接触、进入危险地带、驾驶员异常和车辆异常之类的紧急情况执行检测处理。在检测到发生紧急情况的情况下，紧急情况避免单元171计划本车的操作以避免诸如突然停止或快速转弯之类的紧急情况。紧急情况避免单元171将指示本车的计划的操作的数据供应给加速-减速控制单元172、方向控制单元173等。
加速-减速控制单元172执行用于实现由动作计划单元163或紧急情况避免单元171计划的本车的操作的加速-减速控制。例如，加速-减速控制单元172计算用于实现计划的加速、减速或突然停止的驱动力生成设备或制动设备的控制目标值，并向驱动***控制单元107供应指示计算出的控制目标值。
方向控制单元173执行用于实现由动作计划单元163或紧急情况避免单元171计划的本车的操作的方向控制。例如，方向控制单元173计算用于实现由动作计划单元163或紧急情况避免单元171计划的行进轨迹或快速转弯的转向机构的控制目标值，并向驱动***控制单元107供应指示计算出的控制目标值的控制命令。
为了执行更高精度的外部识别以实现自动驾驶和ADAS，许多不同类型的外部识别传感器已开始安装在车辆中。同时，每个传感器都有其强项和弱点。例如，捕获可见光的相机在黑暗的地方效果不佳，而检测无线电波的反射的雷达在不容易反射无线电波的物体(诸如人和动物)上效果不佳。
每个传感器的强项和弱点也取决于每个检测原理。雷达(毫米波雷达)、相机和激光雷达(LiDAR)的强项和弱点归纳在下面的表1中。在表中，⊙表示非常强项(具有高精度)，○表示强项(具有良好精度)，而△表示弱点(精度不足)。但是，雷达的检测原理是反射无线电波并测量到物体的距离等，相机的检测原理是捕获来自被摄体的反射的可见光，而LiDAR的检测原理是反射光并测量到物体等的距离。
[表1]
传感器类型 雷达 相机 LiDAR
测量距离 ○ Δ ⊙
角度、分辨率 Δ ⊙ ○
恶劣天气下的性能 ⊙ △ ○
夜间的性能 ⊙ ○ ⊙
物体的分类 △ ⊙ ○
过去的大多数传感器融合技术通过用另一种传感器或通过切换要使用的传感器的组合来补充由于外部环境的改变而导致识别精度下降的传感器，而不使用由于外部环境的改变等导致识别精度恶化的传感器检测到的数据。
但是，即使传感器具有低识别精度，也不意味着不能从传感器的检测到的数据中识别出任何东西。例如，相机在暗处不好，但是有可能在某种程度上从相机捕获的图像中识别附近的物体或路灯或城市灯照亮的地方。
因此，本说明书提出以下技术，该技术通过有效地使用来自安装在车辆上的多个传感器(诸如雷达、相机和LiDAR)的具有低识别精度的传感器的检测信号来进一步提高识别精度。
图2示意性地示出了对其应用本说明书中公开的技术的信息处理设备1000的功能配置。
图示的信息处理设备1000包括处理相机1070的检测信号的相机识别处理单元1010、处理毫米波雷达1080的检测信号的雷达识别处理单元1020、处理LiDAR 1090的检测信号的LiDAR识别处理单元1030，以及对上述识别处理单元1010至1030中的每一个的处理结果执行融合处理的融合处理单元1040。
诸如相机1070、毫米波雷达1080和LiDAR 1090之类的外部识别传感器在校准每个安装位置使得检测范围变得几乎相同之后被安装在同一车辆上。此外，还假设除上述传感器1070至1090以外的外部识别传感器进一步安装在同一车辆上。此外，还假设相机1070包括多个相机，并且相机的至少一部分被安装成在检测范围上与毫米波雷达1080和LiDAR1090不同。多个相机的输出可以通过融合处理单元1040进行融合处理。
相机识别处理单元1010包括处理从相机1070输入的RAW数据的RAW数据处理单元1011、对RAW数据执行信号处理的信号处理单元1012，以及在信号处理之后从相机图像中识别物体的识别器1013。这里提到的RAW数据是其中原样记录由图像传感器捕获的光信息的数据。RAW数据处理单元1011对RAW数据执行前端处理(放大、噪声去除、AD转换等)，并且信号处理单元1012执行后端处理。识别器1013可以是实现预定图像识别算法的硬件形式或者执行识别算法的软件形式。识别器1013输出关于识别出的物体(目标)的形状分类的信息(目标列表)。由识别器1013识别出的物体形状分类的示例包括人、汽车、标志、天空、建筑物、道路、人行道等。识别器1013可以是或者实现预定图像识别算法的硬件形式或者执行识别算法的软件形式。
作为识别器1013的识别结果，物体形状分类(人、汽车、标志、天空、建筑物、道路、人行道等)从相机识别处理单元1010输出到后级融合处理单元1040。但是，识别器1013不输出具有低可能性的识别结果。因此，在识别器1013的识别性能降低的情况(诸如恶劣天气下或夜间)下，从识别器1013输出的信息量会减少。此外，在本实施例中，在识别器1013获得最终识别结果之前的早期数据也被输出到融合处理单元1040。这里提到的早期数据包括从相机1070输入的捕获图像(RAW数据)、输出数据以及信号处理单元1012进行信号处理期间的数据、识别器1013进行识别期间的数据等。早期数据的全部或部分被输出到融合处理单元1040。由于识别的可能性低，因此假设识别器1013进行识别期间的数据包括关于最终没有从识别器1013输出的物体的信息(例如，隐藏在诸如车身或围栏之类的物体后面并且只能被部分或零星识别的行人信息)。在下文中，为了方便起见，识别器1013进行识别处理之前的早期数据将被统称为相机1070的“RAW数据”。
此外，雷达识别处理单元1020包括处理从毫米波雷达1080输入的RAW数据的RAW数据处理单元1021、对RAW数据执行信号处理的信号处理单元1022，以及从信号处理之后的雷达检测结果中识别物体的识别器1023。识别器1023可以是或者实现预定识别算法的硬件形式或者执行识别算法的软件形式。识别器1023跟踪识别出的目标(人、汽车、标志、建筑物等)，并输出识别结果(诸如每个目标的距离、仰角、方位角、速度和反射强度)。
识别器1023的最终识别结果从雷达识别处理单元1020输出到后级融合处理单元1040。但是，识别器1013不输出具有低可能性的识别结果。因此，假设关于具有弱雷达反射强度的物体(诸如非金属)从识别器1023输出的信息将减少。此外，在本实施例中，在识别器1023获得最终识别结果之前的早期数据也被输出到融合处理单元1040。这里提到的早期数据包括从毫米波雷达1080输入的捕获图像(RAW数据)、输出数据以及信号处理单元1022进行信号处理期间的数据、识别器1023进行识别期间的数据等。早期数据的全部或部分被输出到融合处理单元1040。由于识别的可能性低，因此假设在识别器1023进行识别期间的数据包括最终未从识别器1023输出的信息(例如，其反射强度由于来自诸如围栏或标志牌之类的附近物体的反射无线电波的影响而减弱的摩托车等)。在下文中，为了方便，将识别器1023进行识别处理之前的早期数据统称为毫米波雷达1080的“RAW数据”。
此外，LiDAR识别处理单元1030包括处理从LiDAR 1090输入的RAW数据的RAW数据处理单元1031、对RAW数据执行信号处理的信号处理单元1032，以及从信号处理之后的LiDAR检测结果识别物体的识别器1033。识别器1033可以是或者实现预定识别算法的硬件形式或者执行识别算法的软件形式。识别器1033跟踪识别出的目标(人、汽车、标志、建筑物等)，并输出识别结果(诸如每个目标的距离、仰角、方位角、高度和反射率)。
识别器1033的最终识别结果从LiDAR识别处理单元1030输出到后级的融合处理单元1040。但是，识别器1013不输出具有低可能性的识别结果。此外，在本实施例中，在识别器1033获得最终识别结果之前的早期数据也被输出到融合处理单元1040。这里提到的早期数据包括从LiDAR 1090输入的捕获图像(RAW数据)、输出数据以及信号处理单元1032进行信号处理期间的数据、识别器1033进行识别期间的数据等。早期数据的全部或部分被输出到融合处理单元1040。由于识别的可能性低，因此假设在识别器1033进行识别期间的数据包括最终未从识别器1033输出的信息(只能部分或零星地识别的行人信息)等。在下文中，为了方便，在识别器1033进行识别处理之前的早期数据将被统称为LiDAR 1090的“RAW数据”。
为了方便起见，图2示意性地描绘了识别处理单元1010至1030中的每一个的配置。应该理解的是，详细的内部配置取决于传感器的类型、传感器的型号和设计规格等来确定。例如，还假设以下配置：其中相机识别处理单元1010的一些或全部组件被安装在相机1070的单元中，雷达识别处理单元1020的一些或所有组件被安装在毫米波雷达1080的单元中，或者LiDAR识别处理单元1030的一些或全部组件被安装在LiDAR 1090的单元中。
此外，在除相机1070、毫米波雷达1080和LiDAR 1090以外的外部识别传感器(未示出)安装在同一车辆上的情况下，信息处理装置1000还可以包括识别处理单元，该识别处理单元包括RAW数据处理单元、信号处理单元和用于基于传感器的检测信号进行识别处理的识别器。同样，在这些情况下，最终识别结果从每个识别处理单元输出到后级的融合处理单元1040，并且输出传感器的RAW数据。
此外，虽然存在将多个外部识别传感器安装在车辆上以实现自动驾驶和ADAS的趋势(如上所述)，但是，当然，还假设在一个车辆上安装相机1070、毫米波雷达1080和LiDAR1090当中仅一个外部识别传感器。例如，还假设在仅用LiDAR 1090可以获得足够的外部识别性能的情况下不使用毫米波雷达1080，并且假设由相机1070捕获的视频仅用于观看而不用于外部识别。在这种情况下，应该理解的是，信息处理设备1000仅配备有与上述识别处理单元1010至1030之中要使用的与传感器对应的功能模块，或者配备有与每个传感器对应的所有功能模块，但是只有对应的功能模块(或具有来自传感器的输入信号的功能模块)操作并将输出发送到后级的融合处理单元1040。
融合处理单元1040基于安装在同一车辆上的相机1070、毫米波雷达1080和LiDAR1090的每个传感器对识别结果执行融合处理，以执行外部识别。在又一个外部识别传感器(未示出)安装在同一车辆上的情况下，融合处理单元1040还对来自该传感器的检测信号执行进一步的融合处理。在本实施例中，融合处理单元1040不仅对每个传感器的识别结果执行融合处理，而且还对识别之前的RAW数据执行融合处理以执行外部识别。然后，融合处理单元1040将通过执行融合处理而获得的外部识别结果输出到车辆控制***。
在图2所示的示例中，车辆控制***包括电子控制单元(ECU)1050和使车辆移动的致动器(下文中称为“ACT”)1060。ECU1050基于融合处理单元1040的外部识别结果来确定自动驾驶或驾驶辅助，例如自适应巡航控制(ACC)、车道偏离警告(LDW)、车道保持辅助(LKA)、自主紧急制动(AEB)和盲区检测(BSD)。然后，ACT 1060根据来自ECU 1050的指令对每个驾驶单元执行驾驶控制，即，车辆的操作，诸如主动弯道灯(ACL)、制动致动器(BRK)和转向器(STR)。例如，在融合处理单元1040识别出道路车道的情况下，车辆控制***控制车辆的行驶以防止车辆偏离车道。此外，在融合处理单元1040识别出诸如周围的车辆、行人、路边围栏或标志牌之类的障碍物的情况下，车辆控制***控制车辆的行驶以允许车辆避免与障碍物的碰撞。自动驾驶一般包括三个步骤：“认知->确定->操作”。认知步骤识别出存在某个物体，并且确定步骤确定识别出的内容以确定车辆的路线计划。在图2所示的配置示例中，认知步骤的处理主要在信息处理设备1000中执行，确定步骤的处理主要由车辆控制***中的ECU 1050执行，并且操作步骤的处理主要由ACT 1060执行。但是，认知步骤与确定步骤之间的区别不严格，并且本实施例中描述的认知步骤的一部分可以被定位为确定步骤。此外，在将来，也预期如下设计，其中处理认知步骤的功能中的一些或全部将被安装在诸如相机1070、毫米波雷达1080和LiDAR 1090之类的每个传感器单元中。
在本实施例中，融合处理单元1040包括后期融合处理单元1041、早期融合处理单元1042和混合融合处理单元1043。后期融合处理单元1041对由识别处理单元1010至1030中的每一个的最终输出(后期数据)执行融合处理，即，对识别器1013、1023和1033中的每一个的识别结果执行融合处理，以执行外部识别。此外，早期融合处理单元1042对识别处理单元1010至1030中的每一个的识别距离之前的早期数据执行融合处理，即，对相机1070、毫米波雷达1080和LiDAR 1090(如上所述)中的每个传感器的RAW数据执行融合处理，以执行外部识别。此外，混合融合处理单元1043对识别处理单元1010至1030中的每一个的最终输出(后期数据)中的任何一个或多个以及识别处理单元1010至1030中的任何一个或多个的RAW数据执行融合处理，以执行外部识别。即使传感器的识别器的最终识别结果的可能性低，混合融合处理单元1043也具有通过与另一个传感器或同一传感器的RAW数据进行融合处理来增强识别性能的效果。然后，融合处理单元1040进一步对后期融合处理单元1041、早期融合处理单元1042和混合融合处理单元1043的识别结果执行融合处理，或者选择性地选择融合处理单元1041至1043的识别结果，并将处理结果输出到后级ECU 1050。
分别从识别处理单元1010至1030获得识别器1013、1023和1033的最终识别结果的后期融合处理单元1041处理具有识别结果的高可靠性的信息。但是，存在这样的问题，因为仅从识别器1013、1023和1033输出具有高可能性的识别结果并且仅可以获得具有高可靠性的信息，所以可以使用的信息量小。
另一方面，由于早期融合处理单元1042在分别通过识别器1013、1023和1033之前从识别处理单元1010至1030获得RAW数据，因此要输入的信息量非常大。但是，RAW数据或接近RAW数据的数据包含噪声。例如，当相机1070在夜间捕获暗处的图像时，除了物体之外还包括各种信息项，这增加了错误检测的可能性并且降低了信息的可靠性。此外，由于信息量大，因此处理量也大。
例如，如图3中所示，假设当相机1070在夜间捕获暗处的图像时，所捕获的图像(即，RAW数据)包含多个人的图像。由于可以以高识别率识别被路灯等反射并明亮地投影的行人301，因此识别器1013输出将行人301识别为目标的结果。同时，被暗投影而未暴露于路灯等的行人302和302具有低识别率，并且识别器1013输出未将这种行人302和302识别为目标的结果。即，虽然在原始相机图像(即，RAW数据)中多个行人301至303被投影，但是通过识别器1013仅输出具有高可靠性的信息，并且信息量缩小。因此，仅将关于具有高可靠性的行人301的信息输入到后期融合处理单元1041中，并且忽略诸如噪声之类的不必要的信息，但是关于具有低可靠性的行人302和303的信息也被忽略了。同时，关于所有行人301至303的信息被输入到早期融合处理单元1042，并且诸如噪声之类的各种信息项也被输入。
此外，毫米波雷达1080的检测结果的RAW数据包括在反射的无线电波的接收单元前方的预定检测范围内每个反射物体存在的位置(方向和距离)处反射的无线电波的强度分布。RAW数据包含来自各种物体的反射的无线电波的强度数据。但是，当通过识别器1033时，具有无线电波的低反射强度的强度数据被忽略了，仅提取诸如识别出的目标的方向、距离(包括深度和宽度)和速度之类的数字信息，并且信息量缩小。
例如，如图4中所示，在行人403在两个车辆401和402之间行走的场景中，期望能够检测到行人403以及车辆401和402。但是，在使用毫米波雷达1080的情况下，夹在强反射器之间的物体的反射强度趋于减弱。因此，当用毫米波雷达1080测量如图4中所示的场景时，如图5中所示，RAW数据500包含分别来自车辆401和402的强反射波501和502，以及来自行人403的弱反射波503。如果这种毫米波雷达1080的检测结果通过识别器1033，那么作为信息的具有低可靠性的反射波503被忽略，并且仅具有高可靠性的反射波501和502被识别为目标，因此信息量缩小。因此，仅将关于车辆401和402的具有高可靠性的信息被输入到后期融合处理单元1041中，并且诸如噪声之类的不必要信息被忽略。但是，关于行人403的具有低可靠性的信息也被忽略。另一方面，关于行人403以及车辆401和402的信息被输入到早期融合处理单元1042中，但是诸如噪声之类的各种信息项也被输入。
简而言之，通过由后期融合处理单元1041对识别器1013、1023和1033中的每一个的识别结果执行融合处理而获得的结果被缩小为具有高可靠性的信息。因此，有可能具有低可靠性但高重要性的信息被忽略。另一方面，通过由早期融合处理单元1042对识别处理单元1010至1030中的每一个的RAW数据执行融合处理而获得的结果具有大量信息，但是有可能吸收诸如噪声之类的具有低可靠性的信息。
因此，根据本实施例的信息处理设备1000被配置为通过用信息量大但也有噪声的早期融合处理单元1042的处理结果补充具有高可靠性但缩小了信息量的后期融合处理单元1041的处理结果来获得具有足够信息量和高可靠性的外部识别结果。此外，混合融合处理单元1043对识别处理单元1010至1030中的每一个的最终输出(后期数据)中的任何一个或多个以及识别处理单元1010至1030中的任何一个或多个的RAW数据执行融合处理1030。即使一个传感器的识别器的最终识别结果具有低可能性，混合融合处理单元1043也可以通过与另一个传感器或同一传感器的RAW数据进行融合处理来提高识别性能。即，信息处理设备1000被配置为基于由早期融合处理单元1042对诸如相机1070、毫米波雷达1080和LiDAR1090中的每个外部识别传感器的RAW数据进行融合处理的结果来恢复将被识别器1013、1023或1033忽略的重要信息。
注意的是，在本申请时的技术水平，LiDAR 1090的外部识别的精度明显高于相机或毫米波雷达的精度。但是，可以将LiDAR识别处理单元1030的识别结果与另一个融合处理单元1010或1020的识别结果一起接受后期融合处理单元1041的融合处理，并且LiDAR识别处理单元1030的识别结果可以用早期融合处理单元1042的RAW数据的处理结果来补充。此外，可以将LiDAR识别处理单元1030与另一个识别处理单元1010或1020的识别结果一起接受混合融合处理单元1043的融合处理。此外，在仅LiDAR识别处理单元1030的识别器1033的识别结果足够的情况下，后期融合处理单元1041不必分别对相机识别处理单元1010和雷达识别处理单元1020的识别器1013和1023的识别结果或RAW数据执行融合处理。
另一方面，在本申请时的技术水平，LiDAR 1090比其它外部识别传感器(诸如相机1070和毫米波雷达1080)昂贵得多。因此，在不使用LiDAR 1090的情况下(换句话说，在没有将LiDAR 1090安装在车辆上的情况下)，信息处理设备1000可以被配置为用由早期融合处理单元1042对相机1070和毫米波雷达1080中的每一个的RAW数据进行的融合处理的结果来补充由后期融合处理单元1040对分别由相机识别处理单元1010和雷达识别处理单元1020的识别器1013和1023进行的识别结果的融合处理的结果。
此外，根据LiDAR 1090使用的反射光波的性质，担心可靠性会在挡住光的天气(诸如降雨、降雪和雾)以及在暗处(诸如在夜间和隧道中)恶化。此外，类似的问题也适用于相机1070。另一方面，毫米波雷达1080的可靠性并非如此取决于天气并且相对稳定。因此，当融合处理单元1040基于环境信息(诸如天气和其它外部信息)对来自传感器1070至1090中的每一个的信息执行融合处理时，信息处理设备1000可以调整比重。例如，在好天气，融合处理单元1040中的后期融合处理单元1041和早期融合处理单元1042以高比重使用LiDAR识别处理单元1030的识别器1033的识别结果与LiDAR 1090的RAW数据。在有降雨、降雪或雾或在暗处(诸如夜间或隧道中)的情况下，通过以低比重使用或不使用LiDAR识别处理单元1030的识别器1033的识别结果和LiDAR 1090的RAW数据来执行融合处理。
图6示出了雷达识别处理单元1020的内部配置示例。雷达识别处理单元1020包括RAW数据处理单元1021、信号处理单元1022和识别器1023。
RAW数据处理单元1021输入毫米波雷达1080的RAW数据，并执行诸如放大、噪声去除和AD转换之类的处理。RAW数据或放大、噪声去除或AD转换中的任一个之后的数据从RAW数据处理单元1021输出到早期融合处理单元1042。
在图6所示的示例中，信号处理单元1022包括检测由雷达捕获的到每个目标的距离的距离检测单元601、检测每个目标移动的速度的速度检测单元602、检测每个目标的朝向的角度检测单元603、跟踪目标的跟踪单元604，以及执行其它处理的MISC处理单元605。用于从毫米波雷达1080的RAW数据检测目标的距离、朝向、尺寸和速度的算法没有特别限制。例如，可以原样应用由毫米波雷达1080等的制造商开发的算法。
当在信号处理单元1022中完成相应单元601至605的所有处理时，由雷达检测到的具有距离、朝向、尺寸、速度等的目标信息被输出到后级识别器1023。此外，不能准确地检测出距离、朝向、尺寸和速度的目标信息因为不可识别而不输出到识别器1023，并且被忽略。此外，由相应单元601至605的至少一个功能模块处理的信号也被输出到早期融合处理单元1042。
注意的是，相应单元601至605对来自RAW数据处理单元1021的输入数据执行处理的次序不一定是固定的，并且假设该次序将根据产品设计规格等适当地改变。此外，并非上述所有功能模块601至605对于毫米波雷达1080的检测信号都是必不可少的。还假设根据产品设计规格等选择功能模块601至605，或者信号处理单元1022将配备有除所示功能模块以外的功能模块。
识别器1023基于在由信号处理单元1022根据预定的识别算法进行处理之后的信号来执行外部识别处理。
例如，在如图7所示的由车载相机1070捕获的图像是街道的场景中，在图8中示出了由雷达识别处理单元1020的识别器1023处理之前的数据，并且在图9中示出了在识别器1023进行识别处理之后的数据。但是，图8是毫米波雷达1080的RAW数据或在信号处理单元1022进行处理期间的数据的图像。此外，图9用黑色块示出了雷达识别处理单元1020的识别器1023的识别结果。为了比较，图9还用灰色块示出了LiDAR识别处理单元1030的识别器1033的识别结果。
在图7所示的场景中，优选的是，可以将在车辆前方的道路上行驶的摩托车701识别为障碍物。但是，房屋和围栏702和703在道路(或摩托车701)的两侧排列。如图8中所示，在识别器1023处理之前的毫米波雷达1080的RAW数据包含各种信息项。虽然毫米波雷达1080的RAW数据具有旁瓣，但是可以确认来自摩托车701的强反射801。注意的是，还可以确认来自左右围栏等的相对弱的反射802和803。毫米波雷达1080对金属具有高灵敏度，而对诸如混凝土之类的非金属具有低灵敏度。这些具有弱反射强度的物体在通过识别器1023之后不能被识别，但是可以从RAW数据中确认其存在。此外，参考图9中所示的雷达识别处理单元1020的识别器1023的识别结果，连同看起来与前方20米附近的摩托车701对应的物体901，看起来与房屋和栅栏702和703对应的物体902和903也在道路(或摩托车701)的两侧被识别出。特别地，在RAW数据中，识别出的物体901和识别出的物体902彼此重叠，但是由于该数据尚未经过识别处理，因此即使反射强度弱，也在数据中识别出识别出的物体901和识别出的物体902。因此，RAW数据与识别器1023的识别结果的融合使得有可能将识别出的物体901和识别出的物体902识别为分开的物体。当然，在许多场景中，毫米波雷达1080的识别器1023只能识别出摩托车。但是，摩托车的反射强度比车辆的反射强度弱。如图7中所示，如果在摩托车附近还有其它反射器，那么仅用毫米波雷达1080将难以捕获摩托车。在用于识别具有一定反射强度或更高反射强度的水果的识别处理之后的数据中，识别出的物体901和识别出的物体902作为一个数据块被输出。图21示意性地示出了摩托车2102如何在毫米波雷达1080的检测范围2100内接近墙壁2101。图22示意性地示出了用识别器1023识别从检测范围2100获得的毫米波雷达1080的反射波的结果。利用识别器1023，小于预定值的反射强度被忽略，并且等于或大于预定值的反射强度被识别为物体。因此，在图22所示的示例中，将墙壁2101和摩托车2102一体化的一个块体2201识别为物体。相反，根据毫米波雷达1080的RAW数据，甚至也可以识别出识别器1023将忽略的弱反射强度。因此，如图23中所示，有可能将来自墙壁2101的反射和来自摩托车2102的反射识别为分开的物体2301和2302。
此外，在如图10所示的由车载相机1070捕获的图像是街道的场景中，在图11中示出了由雷达识别处理单元1020的识别器1023进行处理之前的数据，并且在图12中示出了由识别器1023进行识别处理之后的数据。但是，图11是毫米波雷达1080的RAW数据或在信号处理单元1022进行处理期间的数据的图像。此外，图12用黑色块示出了雷达识别处理单元1020的识别器1023的识别结果。为了比较，图12一起用灰色块示出了LiDAR识别处理单元1030的识别器1033的识别结果。
图10是在狭窄的小巷中行驶的场景，该狭窄的小巷夹在两侧的围栏1001和1002之间，优选地，两侧的围栏1001和1002可以被识别为障碍物。如图11中所示，在识别器1023处理之前的毫米波雷达1080的RAW数据包含各种信息项。围栏1001和1002本身不是金属的并且难以被毫米波雷达1080捕获，但是可以确认被认为是由围栏1001和1002中的裂缝或台阶引起的反射1101和1102。此外，参考图12中所示的雷达识别处理单元1020的识别器1023的识别结果，识别器1023可以仅离散地识别一些部分1201至1204，在这些部分中，在相应围栏1001和100上散布有来自裂缝或台阶的反射1002。但是，难以整体识别围栏1001和1002，并且如果不使用LiDAR1090的识别器1033的识别结果(即融合处理)，那么难以整体识别围栏1001和1002。另一方面，根据图11中所示的RAW数据，即使反射波弱，也可以获取指示围栏的存在的反射信息1101和1102。
图13示出了当后期融合处理单元1041对信息处理设备1000中的相机识别处理单元1010和雷达识别处理单元1020的识别结果执行融合处理时的目标识别结果的示例。但是，在识别出目标的识别结果中输入“○”，并且在未识别出目标的识别结果中输入“×”。在相机识别处理单元1010和雷达识别处理单元1020中的每一个对同一目标进行识别处理的情况下，假设四种模式：在两个处理单元都可以识别目标的情况下(模式1)、在仅一个处理单元可以识别目标的情况下(模式2和3)，或者在两个处理单元都不能识别目标的情况下(模式4)。后期融合处理单元1041输出可以被相机识别处理单元1010和雷达识别处理单元1020识别出的目标(在图13中，输入“○”)。同时，仅相机识别处理单元1010和雷达识别处理单元1020之一可以识别出的目标以及两者都不能识别出的目标被输出为无法识别(在图13中，输入“×”)。
同时，图14示出了当早期融合处理单元1042对信息处理设备1000中的相机1070和毫米波雷达1080的RAW数据执行融合处理时的目标识别结果的示例。但是，在图14的相应模式1至4中，试图识别与图13中的对应模式相同的目标。此外，在识别出目标的识别结果中输入“○”，并且在未识别出目标的识别结果中输入“×”。还存在被后期融合处理以识别器113或123的确定阈值忽略但是可以在以确定阈值被忽略之前被早期融合处理使用RAW数据识别的物体。但是，应当注意的是，在后期融合处理与早期融合处理之间具有不同识别结果的物体成为实际物体的可能性较低。
在其中可以由相机识别处理单元1010的识别器1013和雷达识别处理单元1020的识别器1023两者识别目标的模式1中，可以用相机1070的RAW数据和毫米波雷达1080的RAW数据类似地识别目标。因此，早期融合处理单元1042输出可以识别目标(在图14中，输入“○”)。即，在识别器1013和1023的识别结果与RAW数据的识别结果之间没有差异的情况下，早期融合处理单元1042输出与后期融合处理单元1041的识别结果相似的识别结果。
此外，在其中目标可以由相机识别处理单元1010的识别器1013识别但是不能由雷达识别处理单元1020的识别器1023识别的模式2中，在可以基于毫米波雷达1080的RAW数据识别目标的情况下，早期融合处理单元1042输出可以识别目标。例如，在反射强度弱并且被识别器1023忽略的目标可以基于RAW数据等来识别的情况下。因此，即使不能被后期融合处理单元1041识别出的目标也可以使用早期融合处理单元1042(参见图15)来识别。可以说，通过使用具有丰富信息量的RAW数据进行早期融合处理，提高了目标的识别率。
此外，在其中目标不能由相机识别处理单元1010的识别器1013识别但可以由雷达识别处理单元1020的识别器1023识别的模式3中，在目标仍不能从相机1070的RAW数据识别出的情况下，早期融合处理单元1042输出不能识别目标。即，在模式3中，早期融合处理单元1042输出与后期融合处理单元1041的识别结果相似的识别结果。
此外，在其中相机识别处理单元1010的识别器1013和雷达识别处理单元1020的识别器1023都不能识别目标的模式4中，在仍然不能从相机1070的RAW数据识别目标但是可以基于毫米波雷达1080的RAW数据识别目标的情况下，早期融合处理单元1042输出有目标存在的可能性。例如，在反射强度弱并且被识别器1023忽略的目标可以基于RAW数据等来识别的情况下。因此，即使不能被后期融合处理单元1041识别出的目标也可以通过使用早期融合处理单元1042(参见图16)来识别。可以说，通过使用具有丰富信息量的RAW数据进行早期融合处理，提高了目标的识别率。但是，即使通过早期融合处理，识别率也不够高，因此输入“Δ”而不是“○”。
因此，在图14所示的示例中，在模式2和模式4的每一个中，可以说通过使用具有高可靠性的最终识别结果对后期融合处理单元1041的处理结果进行补充来提高目标的识别率，但是基于早期融合处理单元1042处理的结果，使用具有大量信息但也有噪声的RAW数据来缩小信息量。
但是，如在图14中的模式1和模式3的情况下，在一些情况下，即使使用早期融合处理单元1042，后期融合处理单元1041的识别结果也不会改变。如果早期融合处理单元1042始终在操作，那么担心诸如信息处理设备1000的处理负荷增加以及功耗增加之类的不利影响。因此，仅在必要的情况下，才可以激活早期融合处理单元1042的识别处理。
图17示意性地示出了被配置为自适应地执行早期融合处理的信息处理设备1000的配置示例。但是，在图17中，与图1所示相同的功能模块用相同的附图标记表示。
融合处理单元1042中的确定处理单元1701确定毫米波雷达1080的RAW数据是否是必要的。在RAW数据是必要的情况下，确定处理单元1701请求雷达识别处理单元1020输出毫米波雷达1080的RAW数据。例如，确定处理单元1701比较相机识别处理单元1010的识别器1013与雷达识别处理单元1020的识别器1023的识别结果。在识别结果与图13中的模式2或模式4对应的情况下，确定处理单元1701确定RAW数据也是必要的，并且请求雷达识别处理单元1020输出毫米波雷达的RAW数据1080。可替代地，确定处理单元1701输入环境信息(诸如天气或其它外部信息)。当检测到其中相机识别处理单元1010和LiDAR识别处理单元1030的识别器1013和1033的识别率降低(或识别的可靠性恶化)的现象(诸如降雨、降雪、雾)以及在暗处(诸如在夜间或隧道中)时，确定处理单元1701可以请求雷达识别处理单元1020输出毫米波雷达1080的RAW数据。
响应于确定处理单元1701的请求，雷达识别处理单元1020输出毫米波雷达1080的RAW数据。然后，早期融合处理单元1042使用RAW数据执行早期融合处理，或者混合融合处理单元1043使用RAW数据执行混合融合处理。然后，除了后期融合处理单元1041的识别结果之外，参考早期融合处理单元1042或混合融合处理单元1043的识别结果，融合处理单元1040输出最终识别结果。
图18以流程图形式示出了用于在图17所示的信息处理设备1000中执行目标识别的处理过程。但是，在此，为了描述的简单起见，处理过程限于信息处理设备1000执行相机1070和毫米波雷达1080这两个传感器的融合处理的情况。
当开始物体检测处理时，相机识别处理单元1010对相机1070的RAW数据(捕获图像)执行图像处理(步骤S1801)，并且输出识别器1013的识别结果(步骤S1802)。
此外，雷达识别处理单元1020对毫米波雷达1080的RAW数据执行信号处理(步骤S1803)。然后，雷达识别处理单元1020检查是否已经接收到针对RAW数据的输出请求(步骤S1804)。
融合处理单元1042中的确定处理单元1701将相机识别处理单元1010的识别器1013与雷达识别处理单元1020的识别器1023的识别结果进行比较，以确定毫米波雷达1080的RAW数据是否是必要的。在RAW数据是必要的情况下，确定处理单元1701请求雷达识别处理单元1020输出毫米波雷达1080的RAW数据(如上所述)。具体而言，在与图13中的模式2对应的情况下，确定处理单元1701确定毫米波雷达1080的RAW数据是必要的。
在此，当未接收到针对RAW数据的输出请求时(步骤S1804：否)，雷达识别处理单元1020输出识别器1023的识别结果(步骤S1805)。此外，雷达识别处理单元1020在接收到针对RAW数据的输出请求时(步骤S1804：是)，输出毫米波雷达1080的RAW数据(步骤S1806)，并请求后级融合处理单元1040以使用毫米波雷达1080的RAW数据执行早期融合处理或混合融合处理(步骤S1807)。
然后，融合处理单元1040对相机识别处理单元1010和雷达识别处理单元1020的处理细节执行融合处理(步骤S1808)。当已经接收到针对早期融合处理或混合融合处理的请求时(步骤S1809：是)，融合处理单元1040执行由早期融合处理单元1041进行的早期融合处理或由混合融合处理单元1043进行的混合融合处理(步骤S1810)。另一方面，当未接收到针对早期融合处理或混合融合处理的请求时(步骤S1809：否)，融合处理单元1040通过后期融合处理单元1041执行后期融合处理(步骤S1811)。
图19示意性地示出了被配置为自适应地执行早期融合处理的信息处理设备1000的另一配置示例。但是，在图19中，与图1所示相同的功能模块用相同的附图标记表示。
当识别器1013不能识别目标时，或者在目标的识别率不足的情况下，相机识别处理单元1010确定毫米波雷达1080的RAW数据是必要的，并且请求雷达识别处理单元1020输出毫米波雷达1080的RAW数据。响应于来自相机识别处理单元1010的请求，雷达识别处理单元1020输出毫米波雷达1080的RAW数据。然后，早期融合处理单元1042使用RAW数据执行早期融合处理，或者混合融合处理单元1043使用RAW数据执行混合融合处理。然后，除了后期融合处理单元1041的识别结果之外，还参考早期融合处理单元1042或混合融合处理单元1043的识别结果，融合处理单元1040输出最终识别结果。
图20以流程图形式示出了用于在图19所示的信息处理设备1000中执行目标识别的处理过程。但是，在此，为了描述的简单起见，处理过程限于信息处理设备1000执行相机1070和毫米波雷达1080这两个传感器的融合处理的情况。
当开始物体检测处理时，相机识别处理单元1010对相机1070的RAW数据(捕获图像)执行图像处理(步骤S2001)。然后，相机识别处理单元1010检查图像处理结果是否良好(步骤S2002)。
在此，当图像处理结果良好时(步骤S2002：是)，相机识别处理单元1010输出识别器1013的识别结果(步骤S2003)。此外，当图像处理结果不好时(步骤S2002：否)，相机识别处理单元1010请求雷达识别处理单元1020输出毫米波雷达1080的RAW数据(步骤S2004)。具体而言，在与图13中的模式4对应的情况下，图像处理结果不好。
此外，雷达识别处理单元1020对毫米波雷达1080的RAW数据执行信号处理(步骤S2005)。然后，雷达识别处理单元1020检查是否已经接收到针对RAW数据的输出请求(步骤S2006)。
在此，当未接收到针对RAW数据的输出请求时(步骤S2006：否)，雷达识别处理单元1020输出识别器1023的识别结果(步骤S2007)。此外，在接收到针对RAW数据的输出请求时(步骤S2006：是)，雷达识别处理单元1020输出毫米波雷达1080的RAW数据(步骤S2008)，并且请求后级融合处理单元1040以对毫米波雷达1080的RAW数据执行早期融合处理或混合融合处理(步骤S2009)。
然后，融合处理单元1040对相机识别处理单元1010和雷达识别处理单元1020的处理细节执行融合处理(步骤S3010)。当已经接收到针对早期融合处理或混合融合处理的请求时(步骤S3011：是)，融合处理单元1040执行由早期融合处理单元1041进行的早期融合处理或由混合融合处理单元1043进行的混合融合处理(步骤S3012)。另一方面，当尚未接收到针对早期融合处理或混合融合处理的请求时(步骤S3011：否)，融合处理单元1040通过后期融合处理单元1041执行后期融合处理(步骤S3013)。
工业适用性
上面已经参考具体实施例详细描述了本说明书中公开的技术。但是，很明显，本领域技术人员可以在不脱离本说明书中公开的技术精神的情况下修改或替代实施例。
本说明书主要描述了关于车载传感器的融合的实施例，但是本说明书中公开的技术的应用范围不限于车辆。本说明书中公开的技术可以类似地应用于各种类型的移动设备，例如，无人驾驶的交通工具(诸如无人机)、在预定工作空间(家、办公室、工厂等)中自主移动的机器人、船、飞行器等。当然，本说明书中公开的技术也可以类似地应用于安装在移动设备和各种非移动设备中的信息终端。
简而言之，已经以说明的形式描述了本说明书中公开的技术，并且不应当以限制的方式解释本说明书的描述的细节。为了确定本说明书中公开的技术的精神，应当考虑权利要求。
注意的是，本说明书中公开的技术还可以具有以下配置。
(1)一种信息处理设备，包括：
识别单元，被配置为基于传感器的检测信号对物体执行识别处理；以及
处理单元，被配置为对识别单元进行识别之前的第一数据与其它数据执行融合处理。这种信息处理设备具有以下效果：通过在识别单元中使用包括在以确定阈值忽略之前的信息的第一数据用于融合处理，能够识别更多的物体。
(2)根据上述(1)所述的信息处理设备，其中
传感器包括毫米波雷达。这种信息处理设备具有以下效果：在被用于毫米波雷达的识别器识别出之后，利用由识别器以确定阈值忽略之前的丰富RAW数据对具有高可能性但小信息量的识别结果执行融合处理，能够识别更多的物体。
(3)根据上述(2)所述的信息处理设备，其中
识别单元在识别之前基于传感器的检测信号执行距离检测、速度检测、物体的角度检测以及物体的跟踪的各处理，以及
第一数据包括检测信号、物体的距离检测结果、速度检测结果、角度检测结果、物体的跟踪结果中的至少一个。这种信息处理设备具有以下效果：通过对毫米波雷达的RAW数据和在RAW数据的信号处理的每个阶段中获得的信息(诸如距离、速度、角度)以及物体的跟踪结果和识别器的识别结果执行融合处理，能够识别更多的物体。
(4)根据上述(1)至(3)中的任一项所述的信息处理设备，还包括第二识别单元，该第二识别单元被配置为基于第二传感器的检测信号对物体执行识别处理，
其中处理单元执行对第二识别单元进行识别之前的第三数据与第一数据的融合处理、对第二识别单元进行识别之后的第四数据与第一数据的融合处理、对第一数据与识别单元进行识别之后的第二数据的融合处理或者对第四数据与第二数据的融合处理中的至少一个融合处理。这种信息处理设备具有以下效果：通过对由第一传感器和第二传感器的识别器识别之前的数据执行融合处理，并且对由第一传感器和第二传感器的识别器识别之后的数据执行融合处理，能够识别更多的物体。
(5)根据上述(4)所述的信息处理设备，其中
第二传感器包括相机或激光雷达中的至少一个。这种信息处理设备具有以下效果：通过对毫米波雷达和相机或LiDAR的识别结果执行融合处理，并且对毫米波雷达和相机或LiDAR的RAW数据执行融合处理，能够识别更多的物体。
(6)根据上述(4)或(5)所述的信息处理设备，其中
处理单元基于识别单元的识别结果和第二识别单元的识别结果来确定在融合处理中使用第一数据的方法。这种信息处理设备具有以下效果：基于识别单元的识别结果和第二识别单元的识别结果通过将第一数据自适应地用于融合处理，能够识别更多的物体。
(7)根据上述(6)所述的信息处理设备，其中
在第二识别单元进行识别的可能性高但所述识别单元的识别的可能性低的情况下，处理单元在融合处理中使用第一数据。这种信息处理设备具有以下效果：通过在融合处理中自适应地使用第一数据，能够在避免不必要的融合处理的同时识别更多的物体。
(8)根据上述(4)至(7)中的任一项所述的信息处理设备，其中
处理单元基于第二识别单元的识别结果来确定在融合处理中使用第一数据的方法。这种信息处理装置具有以下效果：通过在融合处理中自适应地使用第一数据，能够在避免不必要的融合处理的同时识别更多的物体。
(9)根据上述(8)所述的信息处理设备，其中
在第二识别单元进行识别的可能性低的情况下，处理单元在融合处理中使用第一数据。这种信息处理设备具有以下效果：通过在融合处理中自适应地使用第一数据，能够在避免不必要的融合处理的同时识别更多的物体。
(10)一种信息处理方法，包括：
识别步骤，基于传感器的检测信号对物体执行识别处理；以及
处理步骤，对识别步骤中进行识别之前的第一数据与其它数据执行融合处理。这种信息处理方法具有以下效果：通过对识别步骤中进行识别之后的第二数据和包括在识别步骤中以确定阈值忽略之前的信息的第一数据执行融合处理，能够识别更多的物体。
(11)根据上述(10)所述的信息处理方法，其中
在处理步骤中执行对第二识别单元进行识别之前的第三数据与第一数据的融合处理、对第二识别单元进行识别之后的第四数据与第一数据的融合处理、对第一数据与识别单元识别之后的第二数据的融合处理或者对第四数据与第二数据的融合处理中的至少一个融合处理。
(12)一种以计算机可读格式描述的计算机程序，用于使计算机用作：
识别单元，被配置为基于传感器的检测信号对物体执行识别处理；以及
处理单元，被配置为对识别单元进行识别之前的第一数据与其它数据执行融合处理。
(13)根据上述(12)所述的计算机程序，其中
处理单元执行对第二识别单元进行识别之前的第三数据与第一数据的融合处理、对第二识别单元进行识别之后的第四数据与第一数据的融合处理、对第一数据与识别单元识别之后的第二数据的融合处理或者对第四数据与第二数据的融合处理中的至少一个融合处理。
(14)一种移动设备，包括：
移动装置；
传感器；
识别单元，被配置为基于传感器的检测信号对物体执行识别处理；
处理单元，被配置为对识别单元进行识别之前的第一数据与其它数据执行融合处理；以及
控制单元，被配置为基于处理单元的处理结果来控制移动装置。这种移动设备具有以下效果：通过对识别单元进行识别之后的第二数据与包括在由识别单元以确定阈值忽略之前的信息的第一数据执行融合处理，能够识别更多的物体并完成移动装置以避免与物体的碰撞。
(15)根据上述(14)所述的移动设备，其中
处理单元执行对第二识别单元进行识别之前的第三数据与第一数据的融合处理、对第二识别单元进行识别之后的第四数据与第一数据的融合处理、对第一数据与识别单元识别之后的第二数据的融合处理或者对第四数据与第二数据的融合处理中的至少一个融合处理。
附图标记列表
100 车辆控制***
101 输入单元
102 数据获取单元
103 通信单元
104 车内设备
105 输出控制单元
106 输出单元
107 驱动***控制单元
108 驱动***
109 车身***控制单元
110 车身***
111 存储单元
112 自动驾驶控制单元
121 通信网络
131 检测单元
132 自身位置估计单元
133 状况分析单元
134 计划单元
135 动作控制单元
141 车外信息检测单元
142 车内信息检测单元
143 车辆状态检测单元
151 地图分析单元
152 交通规则识别单元
153 状况识别单元
154 状况预测单元
161 路线计划单元
162 行为计划单元
163 动作计划单元
171 紧急情况避免单元
172 加速-减速控制单元
173 方向控制单元
1000 信息处理设备
1010 相机识别处理单元
1011 RAW数据处理单元
1012 信号处理单元
1013 识别器
1020 雷达识别处理单元
1021 RAW数据处理单元
1022 信号处理单元
1023 识别器
1030 LiDAR识别处理单元
1031 RAW数据处理单元
1032 信号处理单元
1033 识别器
1040 融合处理单元
1041 后期融合处理单元
1042 早期融合处理单元
1043 混合融合处理单元
1050 ECT
1060 致动器(ACT)
1070 相机
1080 毫米波雷达
1090 LiDAR
601 距离检测单元
602 速度检测单元
603 角度检测单元
604 跟踪单元
605 MISC处理单元

Claims (15)

1.一种信息处理设备，包括：
识别单元，所述识别单元被配置为基于传感器的检测信号对物体执行识别处理；以及
处理单元，所述处理单元被配置为对所述识别单元进行识别之前的第一数据与其它数据执行融合处理。
2.根据权利要求1所述的信息处理设备，其中
所述传感器包括毫米波雷达。
3.根据权利要求2所述的信息处理设备，其中
所述识别单元在所述识别之前基于所述传感器的检测信号执行所述物体的距离检测、速度检测、角度检测以及对所述物体的跟踪的各处理，以及
所述第一数据包括所述检测信号、所述物体的距离检测结果、速度检测结果、角度检测结果、对所述物体的跟踪结果中的至少一个。
4.根据权利要求1所述的信息处理设备，还包括第二识别单元，所述第二识别单元被配置为基于第二传感器的检测信号对所述物体执行识别处理，
其中所述处理单元执行对所述第二识别单元进行识别之前的第三数据与所述第一数据的融合处理、对所述第二识别单元进行识别之后的第四数据与所述第一数据的融合处理、对所述第一数据与所述识别单元进行识别之后的第二数据的融合处理或者对所述第四数据与所述第二数据的融合处理中的至少一个融合处理。
5.根据权利要求4所述的信息处理设备，其中
所述第二传感器包括相机或LiDAR中的至少一个。
6.根据权利要求4所述的信息处理设备，其中
所述处理单元基于所述识别单元的识别结果和所述第二识别单元的识别结果来确定在融合处理中使用所述第一数据的方法。
7.根据权利要求6所述的信息处理设备，其中
在所述第二识别单元进行识别的可能性高但所述识别单元进行识别的可能性低的情况下，所述处理单元在融合处理中使用所述第一数据。
8.根据权利要求4所述的信息处理设备，其中
所述处理单元基于所述第二识别单元的识别结果来确定在融合处理中使用所述第一数据的方法。
9.根据权利要求8所述的信息处理设备，其中
在所述第二识别单元进行识别的可能性低的情况下，所述处理单元在融合处理中使用所述第一数据。
10.一种信息处理方法，包括：
识别步骤，所述识别步骤基于传感器的检测信号对物体执行识别处理；以及
处理步骤，所述处理步骤对所述识别步骤进行识别之前的第一数据与其它数据执行融合处理。
11.根据权利要求10所述的信息处理方法，其中
在所述处理步骤中包括执行对第二识别单元进行识别之前的第三数据与所述第一数据的融合处理、对所述第二识别单元进行识别之后的第四数据与所述第一数据的融合处理、对所述第一数据与所述识别单元进行识别之后的第二数据的融合处理或者对所述第四数据与所述第二数据的融合处理中的至少一个融合处理。
12.一种以计算机可读格式记载的计算机程序，用于使计算机用作：
识别单元，所述识别单元被配置为基于传感器的检测信号对物体执行识别处理；以及
处理单元，所述处理单元被配置为对所述识别单元进行识别之前的第一数据与其它数据执行融合处理。
13.根据权利要求12所述的计算机程序，其中
所述处理单元执行对第二识别单元进行识别之前的第三数据与所述第一数据的融合处理、对所述第二识别单元进行识别之后的第四数据与所述第一数据的融合处理、对所述第一数据与所述识别单元进行识别之后的第二数据的融合处理或者对所述第四数据与所述第二数据的融合处理中的至少一个融合处理。
14.一种移动设备，包括：
移动装置；
传感器；
识别单元，所述识别单元被配置为基于传感器的检测信号对物体执行识别处理；
处理单元，所述处理单元被配置为对所述识别单元进行识别之前的第一数据与其它数据执行融合处理；以及
控制单元，所述控制单元被配置为基于所述处理单元的处理结果来控制所述移动装置。
15.根据权利要求14所述的移动设备，其中
所述处理单元执行对第二识别单元进行识别之前的第三数据与所述第一数据的融合处理、对所述第二识别单元进行识别之后的第四数据与所述第一数据的融合处理、对所述第一数据与所述识别单元进行识别之后的第二数据的融合处理或者对所述第四数据与所述第二数据的融合处理中的至少一个融合处理。
CN201980043386.5A 2018-07-02 2019-07-01 信息处理设备、信息处理方法、计算机程序和移动设备 Pending CN112368598A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018-126397 2018-07-02
JP2018126397 2018-07-02
PCT/JP2019/026097 WO2020009060A1 (ja) 2018-07-02 2019-07-01 情報処理装置及び情報処理方法、コンピュータプログラム、並びに移動体装置

Publications (1)

Publication Number Publication Date
CN112368598A true CN112368598A (zh) 2021-02-12

Family

ID=69060339

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980043386.5A Pending CN112368598A (zh) 2018-07-02 2019-07-01 信息处理设备、信息处理方法、计算机程序和移动设备

Country Status (5)

Country Link
US (2) US11959999B2 (zh)
EP (1) EP3819668A4 (zh)
KR (1) KR20210025523A (zh)
CN (1) CN112368598A (zh)
WO (1) WO2020009060A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112849296A (zh) * 2021-03-11 2021-05-28 湖南仕博测试技术有限公司 智能驾驶专用测试目标及其控制方法

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6735801B2 (ja) * 2018-10-16 2020-08-05 三菱電機株式会社 物体認識装置およびこれを用いた車両制御装置並びに物体認識方法およびこれを用いた車両制御方法
JP7347343B2 (ja) * 2020-06-22 2023-09-20 株式会社デンソー 外界認識装置、外界認識方法、および外界認識プログラム
WO2022141911A1 (zh) * 2021-01-01 2022-07-07 杜豫川 一种基于路侧感知单元的动态目标点云快速识别及点云分割方法
CN115605777A (zh) * 2021-03-01 2023-01-13 杜豫川（Cn） 一种基于路侧感知单元的动态目标点云快速识别及点云分割方法
KR20230139560A (ko) * 2022-03-28 2023-10-05 현대자동차주식회사 차량 및 그 제어방법

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1837804A1 (en) * 2006-03-22 2007-09-26 Nissan Motor Co., Ltd. Object detection
US20120163671A1 (en) * 2010-12-23 2012-06-28 Electronics And Telecommunications Research Institute Context-aware method and apparatus based on fusion of data of image sensor and distance sensor
US20160357187A1 (en) * 2015-06-05 2016-12-08 Arafat M.A. ANSARI Smart vehicle
US20170242117A1 (en) * 2016-02-19 2017-08-24 Delphi Technologies, Inc. Vision algorithm performance using low level sensor fusion
CN107991671A (zh) * 2017-11-23 2018-05-04 浙江东车智能科技有限公司 一种基于雷达数据和视频信号融合识别危险目标的方法
CN108028023A (zh) * 2015-09-30 2018-05-11 索尼公司 信息处理装置、信息处理方法和程序

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003162795A (ja) 2001-11-22 2003-06-06 Nec Corp 気象データを用いたセンサ選択方法とこれを用いた道路交通監視システム
US8781688B2 (en) * 2008-11-07 2014-07-15 Volvo Lastvagnar Ab Method and system for combining sensor data
WO2014190208A2 (en) * 2013-05-22 2014-11-27 Neurala, Inc. Methods and apparatus for early sensory integration and robust acquisition of real world knowledge
EP2865575B1 (en) * 2013-10-22 2022-08-24 Honda Research Institute Europe GmbH Confidence estimation for predictive driver assistance systems based on plausibility rules
US10754922B2 (en) * 2015-04-23 2020-08-25 Lockheed Martin Corporation Method and apparatus for sensor fusion
US10762440B1 (en) * 2015-09-24 2020-09-01 Apple Inc. Sensor fusion and deep learning
JP6690952B2 (ja) 2016-01-25 2020-04-28 日立オートモティブシステムズ株式会社 車両走行制御システム、及び車両走行制御方法
JP6256531B2 (ja) * 2016-06-10 2018-01-10 三菱電機株式会社 物体認識処理装置、物体認識処理方法および自動運転システム
DE102017206123A1 (de) * 2017-04-10 2018-10-11 Robert Bosch Gmbh Verfahren und Vorrichtung zur Fusion von Daten verschiedener Sensoren eines Fahrzeugs im Rahmen einer Objekterkennung
US20180336191A1 (en) * 2017-05-17 2018-11-22 Ashwin P. Rao Method for multi-sense fusion using synchrony
JP6480504B2 (ja) * 2017-05-31 2019-03-13 本田技研工業株式会社 物標認識システム、物標認識方法、およびプログラム
US10641888B2 (en) * 2017-11-06 2020-05-05 Veoneer Us Inc. Cued automobile sensor fusion
US10852420B2 (en) * 2018-05-18 2020-12-01 Industrial Technology Research Institute Object detection system, autonomous vehicle using the same, and object detection method thereof

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1837804A1 (en) * 2006-03-22 2007-09-26 Nissan Motor Co., Ltd. Object detection
US20120163671A1 (en) * 2010-12-23 2012-06-28 Electronics And Telecommunications Research Institute Context-aware method and apparatus based on fusion of data of image sensor and distance sensor
US20160357187A1 (en) * 2015-06-05 2016-12-08 Arafat M.A. ANSARI Smart vehicle
CN108028023A (zh) * 2015-09-30 2018-05-11 索尼公司 信息处理装置、信息处理方法和程序
US20170242117A1 (en) * 2016-02-19 2017-08-24 Delphi Technologies, Inc. Vision algorithm performance using low level sensor fusion
CN107991671A (zh) * 2017-11-23 2018-05-04 浙江东车智能科技有限公司 一种基于雷达数据和视频信号融合识别危险目标的方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112849296A (zh) * 2021-03-11 2021-05-28 湖南仕博测试技术有限公司 智能驾驶专用测试目标及其控制方法
CN112849296B (zh) * 2021-03-11 2023-12-22 湖南仕博测试技术有限公司 智能驾驶专用测试目标及其控制方法

Also Published As

Publication number Publication date
WO2020009060A1 (ja) 2020-01-09
US20240142607A1 (en) 2024-05-02
EP3819668A4 (en) 2021-09-08
KR20210025523A (ko) 2021-03-09
JPWO2020009060A1 (ja) 2021-08-05
EP3819668A1 (en) 2021-05-12
US11959999B2 (en) 2024-04-16
US20210224617A1 (en) 2021-07-22

Similar Documents

Publication Publication Date Title
US11531354B2 (en) Image processing apparatus and image processing method
US20240142607A1 (en) Information processing device, information processing method, computer program, and mobile device
EP3770549B1 (en) Information processing device, movement device, method, and program
WO2017057055A1 (ja) 情報処理装置、情報端末、及び、情報処理方法
CN111201787B (zh) 成像装置、图像处理装置和图像处理方法
CN112313537A (zh) 信息处理设备和信息处理方法、成像设备、计算机程序、信息处理***和移动体设备
EP3835823B1 (en) Information processing device, information processing method, computer program, information processing system, and moving body device
JP2023126642A (ja) 情報処理装置、情報処理方法、及び、情報処理システム
US20210027486A1 (en) Controller, control method, and program
CN113692521A (zh) 信息处理装置、信息处理方法和信息处理程序
WO2019107143A1 (ja) 情報処理装置、情報処理方法、プログラム、及び、移動体
US20220017093A1 (en) Vehicle control device, vehicle control method, program, and vehicle
US20230230368A1 (en) Information processing apparatus, information processing method, and program
US20200302780A1 (en) Information processing apparatus, information processing method, moving object, and vehicle
JP2019045364A (ja) 情報処理装置、自己位置推定方法、及び、プログラム
CN114424265A (zh) 信号处理设备、信号处理方法、程序和移动设备
WO2022158185A1 (ja) 情報処理装置、情報処理方法、プログラムおよび移動装置
WO2019069599A1 (ja) 画像処理装置及び画像処理方法
WO2020129656A1 (ja) 情報処理装置、および情報処理方法、並びにプログラム
JP7511471B2 (ja) 情報処理装置及び情報処理方法、コンピュータプログラム、並びに移動体装置
CN113614782A (zh) 信息处理装置、信息处理方法和程序
WO2023063145A1 (ja) 情報処理装置、情報処理方法および情報処理プログラム
WO2023021756A1 (ja) 情報処理システム、情報処理装置、及び情報処理方法
WO2023149089A1 (ja) 学習装置、学習方法及び学習プログラム
JP2024003806A (ja) 情報処理装置、情報処理方法、及びプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination