CN114846505A - 信息处理装置 - Google Patents

信息处理装置 Download PDF

Info

Publication number
CN114846505A
CN114846505A CN202080089067.0A CN202080089067A CN114846505A CN 114846505 A CN114846505 A CN 114846505A CN 202080089067 A CN202080089067 A CN 202080089067A CN 114846505 A CN114846505 A CN 114846505A
Authority
CN
China
Prior art keywords
unit
processing
information
dnn
determination unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080089067.0A
Other languages
English (en)
Inventor
小松咲绘
伊藤浩朗
前田功治
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Astemo Ltd
Original Assignee
Hitachi Astemo Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Astemo Ltd filed Critical Hitachi Astemo Ltd
Publication of CN114846505A publication Critical patent/CN114846505A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Neurology (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明的信息处理装置在车辆的自动驾驶***中根据行驶中的环境等来降低DNN中进行的物体提取的运算量。本发明为一种信息处理装置，其具有处理器、存储器以及利用推理模型来执行运算的运算装置，该信息处理装置具有：DNN处理部，其受理外部信息，通过所述推理模型从所述外部信息中提取外界的物体；以及处理内容控制部，其控制所述DNN处理部的处理内容，所述DNN处理部具有物体提取部，所述物体提取部利用具有多个神经元的层的深度神经网络来执行所述推理模型，所述处理内容控制部包含执行层决定部，所述执行层决定部决定所述物体提取部中使用的所述层。

Description

信息处理装置
技术领域
本发明涉及一种利用深度神经网络的信息处理装置。
背景技术
近年来，使用机器学习而通过周边识别、自动操舵、自动速度控制将车辆控制到目的地的技术一直在进步。此外，作为运用于物体识别等的机器学习的方法，深度神经网络(DNN：Deep Neural Network)为人所知。
DNN执行学习处理和推理处理，所述学习处理是掌握物体的特征，所述推理处理是根据学习得到的结果而利用图像数据来进行物体的提取。一直以来，在利用DNN进行车辆的自动驾驶时，首先利用摄像机获取外界的图像数据，并转换为能够在DNN中使用的格式。在推理处理中，以转换后的图像数据为输入图像、使用预先完成了学习处理的DNN来进行物体的提取。其后，根据物体的提取结果而生成周边地图，并根据周边地图来制定行动计划，从而进行车辆的控制。
专利文献1中展示了以下技术：使用神经网络等从来自摄像机的输入图像中提取物体，确定是否是可行驶的空间。此外，专利文献2中展示了以下技术：根据行驶状态而阶段性地减小来自摄像机的输入图像的像素数。
现有技术文献
专利文献
专利文献1：日本专利特开2019-008796号公报
专利文献2：日本专利特开2018-056838号公报
发明内容
发明要解决的问题
DNN会反复执行由乘法和加法构成的卷积运算，所以运算量极大。此外，尤其是在车辆的自动驾驶中，须在极短的时间内持续更新行动计划，所以DNN下的物体提取要求高速的运算。因此，当在能够搭载于车辆中的运算装置即GPU(Graphics Processing Unit，图形处理单元)、FPGA(Field Programmable Gate Array，现场可编程门阵列)、微电脑、CPU等当中部署DNN时，运算装置的耗电和发热量极大。
此外，为了在任何场景下都继续自动驾驶，须进行高精度下的物体提取，所以输入图像须使用像素数大的图像，在进行输入图像的转换时，耗电和发热量也同样增大。车辆能够提供的电力是有限的，所以耗电和发热量增大会导致电动车辆的可行驶距离缩短，此外，会产生运算装置的冷却成本增加的问题。
但所述专利文献1在输入图像的转换以及物体提取中均未考虑到耗电的减少。此外，专利文献2中根据行驶环境来变更输入图像的转换方法，由此能削减图像转换处理中的电力，但没有考虑到使用运算量特别大的DNN的推理处理中的耗电，所以无法期待充分的耗电削减效果。
鉴于所述问题，本发明的目的在于根据车辆中搭载的运算装置的运算负荷状态和行驶环境来判定可否省略DNN下的物体提取处理，从而降低运算装置的运算负荷及耗电、抑制发热量。
解决问题的技术手段
本发明为一种信息处理装置，其具有处理器、存储器以及利用推理模型来执行运算的运算装置，该信息处理装置具有：DNN处理部，其受理外部信息，通过所述推理模型从所述外部信息中提取外界的物体；以及处理内容控制部，其控制所述DNN处理部的处理内容，所述DNN处理部具有物体提取部，所述物体提取部利用具有多个神经元的层的深度神经网络来执行所述推理模型，所述处理内容控制部包含执行层决定部，所述执行层决定部决定所述物体提取部中使用的所述层。
发明的效果
本发明的信息处理装置根据行驶环境来减少深度神经网络(DNN)的运算量，由此，能在确保自动驾驶所需的DNN的物体提取精度的同时实现运算装置的耗电的削减和发热量的抑制。由此，能够实现电动车辆的可行驶距离的增大和冷却***的成本降低。
本说明书中揭示的主题的至少一个实施的详情在附图和以下的记述中加以叙述。根据以下的揭示、附图、权利要求，将明确所揭示的主题的其他特征、形态、效果。
附图说明
图1表示本发明的实施例1，为表示自动驾驶***的构成的一例的框图。
图2表示本发明的实施例1，为表示借助DNN而进行物体提取的处理的一部分的图。
图3表示本发明的实施例2，为表示自动驾驶***的构成的一例的框图。
图4表示本发明的实施例3，为表示自动驾驶***的构成的一例的框图。
图5表示本发明的实施例4，为表示自动驾驶***的构成的一例的框图。
图6表示本发明的实施例5，为表示自动驾驶***的构成的一例的框图。
图7表示本发明的实施例6，为表示自动驾驶***的构成的一例的框图。
图8表示本发明的实施例7，为表示自动驾驶***的构成的一例的框图。
图9表示本发明的实施例7，为表示进行物体提取的处理的一部分的图。
图10表示本发明的实施例8，为表示自动驾驶***的构成的一例的框图。
图11表示本发明的实施例8，为表示隧道行驶时的来自摄像机的图像的图。
图12表示本发明的实施例9，为表示自动驾驶***的构成的一例的框图。
图13表示本发明的实施例10，为表示自动驾驶***的构成的一例的框图。
图14表示本发明的实施例11，为表示自动驾驶***的构成的一例的框图。
图15表示本发明的实施例12，为表示自动驾驶***的构成的一例的框图。
具体实施方式
下面，使用附图，对实施例进行说明。
实施例1
具有多个神经元层的深度神经网络(以下记作DNN：Deep Neural Network)会反复执行由乘法和加法构成的卷积运算，所以运算量极大。伴随于此，执行DNN的运算装置的耗电和发热量大，所以在车辆的信息处理装置中进行使用DNN的物体提取处理的情况下，电动车辆的可行驶距离缩短、冷却成本升高就成为了问题。
图1为表示使用本实施例的信息处理装置100的自动驾驶***的构成的一例的框图。
如图1所示，使用本实施例的信息处理装置100的自动驾驶***由信息处理装置100、摄像机200、车辆控制部300构成。此处，信息处理装置100是包含处理器10、存储器20以及FPGA(Field Programmable Gate Array)170的计算机。
再者，本实施例中展示采用FPGA 170作为执行DNN的运算装置的例子，但并不限定于此，也可将GPU(Graphics Processing Unit)用于运算装置。此外，执行DNN的运算装置可与处理器10收容在同一封装件中。此外，处理器10和FPGA 170经由未图示的接口连接至摄像机200及车辆控制部300。
在存储器20中以程序的形式加载行动计划部130供处理器10执行。处理器10按照各功能部的程序来执行处理，由此作为提供规定功能的功能部而运行。例如，处理器10按照行动计划程序来执行处理，由此作为行动计划部130发挥功能。其他程序也是一样的。进而，处理器10还作为提供各程序所执行的多个处理各自的功能的功能部来运行。计算机及计算机***是包含这些功能部的装置及***。
FPGA 170包含DNN处理部110和处理内容控制部120。包含行动计划部130。此外，DNN处理部110包含物体提取部111。处理内容控制部120包含执行层决定部121。再者，摄像机200可包含也可不包含在信息处理装置100内。此外，信息处理装置100可搭载也可不搭载于车辆中。
首先，对DNN处理部110的处理进行说明。物体提取部111保持有在PC或服务器等计算机中进行了学习处理的用于推理处理的DNN(推理模型)。FPGA 170针对摄像机200所获取到的外部信息(图像数据)，使用反映了从后文叙述的处理内容控制部120输出的信息的DNN而从图像数据来进行物体的提取。
再者，摄像机200安装在车辆的规定位置(图示省略)，获取车辆前方的图像作为外部信息并输出至信息处理装置100，以检测车辆外界(前方)的物体。
行动计划部130使用物体提取部111中提取到物体的信息来生成车辆的行进方向、行进速度等行动计划，并输出至车辆控制部300。车辆控制部300根据来自行动计划部130的输出来进行车辆的控制。关于车辆控制部300中进行的处理，运用周知或公知的技术即可，所以本实施例中不作详述。
接着，对处理内容控制部120的处理进行说明。执行层决定部121保持有物体提取处理中使用的DNN的执行层的数量，将该信息输出至物体提取部111。
下面，使用具体例，对物体提取部111的处理进行说明。在DNN的物体提取处理中，针对外部信息(图像数据)而使用分割数不同的多个层来提取物体，由此能提取各种大小的物体。图2为表示将图1的物体提取部111从摄像机200的信息(图像数据)借助DNN来进行物体提取时的处理的一部分摘录出来的例子的图。
图2中，摄像机图像500表示从图1所示的摄像机200输出的图像的一例。此外，图像510表示物体提取部111的DNN的第1层中的对摄像机图像500进行分割的例子，图像520、530、540、550分别表示第2层、第3层、第4层、第5层中的分割方法。
图2中展示了以下情况：对于摄像机图像500，DNN处理部110在第1层中通过较小地分割摄像机图像而提取到远处的人和车等小的物体511，在第5层中通过较大地分割摄像机图像而提取到近处的车等大的物体551。
DNN处理部110在图像510中将输入图像(500)分割为5×5＝25个块，物体提取部111以该块单位来进行物体提取的处理。同样地，DNN处理部110在图像520中分割为4×4＝16、在图像530中分割为3×3＝9、在图像540中分割为2×2＝4、在图像550中分割为1×1＝1个块来进行物体提取的处理。
因而，DNN处理部110在图2所示的图像中进行物体提取的处理的次数为25+16+9+4+1＝55次。再者，DNN的结构只要能提取物体即可，并不限定于像本实施例中使用的结构那样先提取小的物体、之后提取大的物体的结构。此外，关于DNN中进行运算时的块的分割数以及层的数量，只要能确保实现自动驾驶所需的精度，便不限定于图2的方法。
另一方面，例如在工厂等私有地内视野好、行驶中的车辆的种类也有限的道路上以与普通道路相比足够低的速度行驶的车辆等的情况下，可不提取处于前方几百米的远处的小的物体。因此，可通过减少DNN的层数来减少进行物体提取处理的块数。
例如，执行层决定部121将物体提取处理中执行的DNN的层决定为将提取最小的物体的第1层除外的第2层至第5层并指示给物体提取部111。在物体提取部111中，根据来自该执行层决定部121的信息而仅执行DNN的第2层至第5层来进行物体提取的处理。在该情况下，进行物体提取的处理的次数为16+9+4+1＝30，与在所述所有层中进行物体提取的情况相比，能够削减25次运算。
再者，执行层决定部121只要在行驶开始时根据行驶环境等将预先设定的层作为处理条件指示给物体提取部111即可。
如此，通过削减物体提取部111所使用的DNN的层(固定值)，例如能够实现FPGA170或GPU等运算装置的耗电的削减以及发热量的抑制。结果，电动车辆的可行驶距离增大，并且能降低运算装置的冷却成本。
再者，本次是为了方便说明的简化而对图2中的DNN的层数和块数使用前文所述那样的值，但实际的物体提取中使用的DNN中是将外部信息分割为几千至几万个块，而且层的数量也多。因此，实际的运算次数比前文中展示的例子庞大，层数的削减带来的运算量的降低效果也极大。
再者，本实施例中展示采用摄像机200作为获取外部信息的传感器的例子，但只要是LiDAR(Light Detection and Ranging，激光雷达)、RADAR(Radio Detection andRanging，雷达)、远红外线摄像机等能够获取与物体的距离和物体的种类的传感器即可，并不限定于摄像机200。此外，传感器可单独使用，也可组合多种来使用。
上述实施例1中展示了在DNN中执行通过机器学习而生成的推理模型的物体提取部111的例子，但并不限定于此，可以利用通过其他机器学习等而生成的模型。
实施例2
下面，对本发明的实施例2进行说明。图3为表示使用实施例2的信息处理装置100的自动驾驶***的构成的一例的框图。图3中，对与图1相同的构成要素赋予了相同的名称和符号，只要无特别说明，便视为具有同一或类似功能而省略说明。
本实施例展示以下例子：对所述实施例1追加处理条件判定部122和检测外部的状态信息的传感器，并将FPGA 170内的执行层决定部121移动到处理内容控制部120内。其他构成与所述实施例1相同。
图3中，从实施例1新追加的处理条件判定部122以来自行驶中的车辆的传感器等的表示行驶状态的信息为输入来进行当前的行驶环境的判定。执行层决定部121根据处理条件判定部122所判定的行驶环境来动态地变更物体提取处理中使用的DNN的层数(处理条件)。
本实施例中展示将车速传感器30和照度传感器40作为检测车辆的行驶状态的传感器连接至信息处理装置100的例子，但并不限定于这些。只要至少能检测车速即可，所以也可根据GPS(Grobal Positioning System，全球定位***)等的位置信息来算出车速。
信息处理装置100的处理条件判定部122根据来自车速传感器30和照度传感器40的信息来判定行驶环境并输出至执行层决定部121。执行层决定部121根据所输入的行驶环境而以处理条件的形式来决定DNN中使用的层并指示给物体提取部111。
所述实施例1中展示的是由于层数(处理条件)为固定值所以在FPGA 170内配置执行层决定部121的例子，而在实施例2中，执行层决定部121会动态地变更层数(处理条件)。因此，执行层决定部121以程序的形式加载到存储器20中供处理器10执行。
实施例1中展示的是在受限的行驶环境中静态地决定DNN的执行层的例子，但在车辆的自动驾驶中，行驶环境多种多样而复杂，从图像数据中提取的物体的精度也时时刻刻在发生变化，所以较理想为能够根据行驶环境来动态地变更DNN的执行层。
下面，使用具体例，对处理条件判定部122的处理进行说明。
作为一例，展示使用车速传感器30所检测到的车速作为表示行驶状态的信息的例子。对以下例子进行说明：若车速传感器30所检测到的车速为预先设定的车速阈值以下，则处理条件判定部122判定当前的行驶环境为拥堵中。
在车辆在拥堵中正以极低速(例如5km/h)行驶的情况下，从摄像机200输入的图像的变化小，所以物体提取部111只要识别前方几十米的物体即可，可不以用于识别前方几百m的物体的精度来进行物体提取。
执行层决定部121根据处理条件判定部122所判定的行驶环境来决定处理条件。作为处理条件，执行层决定部121以能在确保自动驾驶所需的物体提取的精度的同时削减DNN的运算量的方式将物体提取部111中执行的DNN的层决定为将检测最小的物体的第1层(图2的图像510)除外的第2层(520)至第5层(550)。
如此，实施例2中对所述实施例1的构成追加检测行驶状态的传感器和根据表示行驶状态的信息来判定车辆的行驶环境的处理条件判定部122，由执行层决定部121进行适于行驶环境的处理条件的决定。由此，相较于实施例1而言，实施例2的信息处理装置100能够根据行驶环境来动态地变更对物体提取的精度和运算装置(FPGA 170)的耗电及发热量产生影响的处理条件。
结果，相较于实施例1而言，电动车辆的可行驶距离增大，并且能期待运算装置(FPGA170)的冷却成本降低。再者，上文中判定为拥堵的方法可不是车速传感器30，也可为了解行驶速度的图像信息、无线电、互联网等的拥堵信息。
此外，使用照度传感器40作为表示行驶状态的信息，若周围的亮度(照度)为预先设定的照度阈值以下，则处理条件判定部122判定是夜间。夜间时，周围变暗，与周围明亮的情况相比，摄像机200无法获得详细的外部信息。因此，无法获得能提取前方几百米的远处的物体的外部信息，所以物体提取部111以提取前方几十米的物体的精度进行运算即可，可不进行用于识别前方几百米的物体的精度下的物体提取。
在该情况下，执行层决定部121根据处理条件判定部122所判定的行驶环境而将物体提取部111中执行的DNN的层的信息决定为第2层(520)至第5层(550)。此外，用于判定当前的周边的亮度的表示行驶状态的信息不限定于照度传感器40。例如也可利用摄像机200等能够检测周围的亮度的传感器或者无线电、互联网、GPS等能够判定时刻的手段来检测是白天还是黑夜。
此外，也可使用车内摄像机(图示省略)作为表示行驶状态的信息。在该情况下，处理条件判定部122根据车内摄像机的图像数据来检测驾驶员是否在操作方向盘，若在操作方向盘，则判定没有使用自动驾驶(AD：Autonomous Driving)。在使用AD时，仅靠自动驾驶***来控制车辆，所以需要识别出小的物体这样的高精度下的物体提取，而在未使用AD的情况下，驾驶员能够知晓外界信息，所以保持能实现驾驶辅助(ADAS：Advanced DriverAssistance Systems)的物体提取的精度即可。
执行层决定部121根据处理条件判定部122所判定的行驶环境而将物体提取部111中执行的DNN的层的信息决定为第2层(520)至第5层(550)。
此外，处理条件判定部122判定是否在使用AD的信息不限定于车内摄像机，也可为检测方向盘的操作的传感器等能够判定驾驶员是否位于驾驶席的器件。此外，也可根据行动计划部130所生成的自动驾驶车辆的行动计划的有无等数据来判定是否在使用AD。
再者，处理条件判定部122可使用表示行驶状态的信息中的任一信息来进行处理条件的判定，也可使用多个信息来进行处理条件的判定。
实施例3
下面，对本发明的实施例3进行说明。图4为表示使用本实施例的信息处理装置100的自动驾驶***的构成的一例的框图。图4中，对与图3相同的构成要素赋予了相同的名称和符号，只要无特别说明，便视为具有同一或类似功能而省略说明。
本实施例中展示对所述实施例1追加处理条件判定部122和负荷检测装置50并将FPGA 170内的执行层决定部121移动到处理内容控制部120内的例子。
其他构成与所述实施例1相同。
在前述实施例2中，处理条件判定部122是以来自行驶中的传感器等的表示行驶状态的信息为输入来进行当前的行驶环境的判定，而本实施例中，处理条件判定部122以信息处理装置100中物体提取部111的运算负荷为输入来进行当前的FPGA 170的负荷状态的判定。执行层决定部121根据处理条件判定部122所判定的负荷状态来决定物体提取部111中使用的DNN的层数(处理条件)。
图4中，从实施例1新追加的负荷检测装置50检测FPGA 170的运算负荷并输入至处理条件判定部122。再者，负荷检测装置50例如可以包含检测FPGA 170的耗电、供给电流等作为运算负荷的传感器。
此外，所述实施例1中展示的是由于层数(处理条件)为固定值所以在FPGA 170内配置执行层决定部121的例子，而在实施例3中，执行层决定部121会动态地变更层数(处理条件)，因此以程序的形式加载到存储器20中供处理器10执行。
下面，使用具体例，对处理条件判定部122的处理进行说明。
作为一例，处理条件判定部122算出FPGA 170的负荷率作为运算负荷，并与规定的负荷率阈值进行比较。再者，关于负荷率，展示使用负荷检测装置50所检测到的耗电除以规定的最大电力得到的值(％)的例子。
在FPGA 170的负荷率高于负荷率阈值的情况下，处理条件判定部122判定降低FPGA170的运算负荷。执行层决定部121根据来自处理条件判定部122的判定结果、以FPGA170的负荷率变为负荷率阈值以下的方式将物体提取部111中使用的DNN的层的信息决定为将检测最小的物体的第1层(510)除外的第2层(520)至第5层(550)。
如此，通过追加根据FPGA 170的运算负荷来判定负荷状态的处理条件判定部122，可以判定与信息处理装置100中包含的FPGA 170的负荷率相应的负荷状态，执行层决定部121可以根据负荷状态来动态地变更处理条件。由此，与实施例1相比，信息处理装置100能够动态地实现FPGA 170的耗电的削减以及发热量的抑制。
进而，在本实施例的信息处理装置100中，根据上文所述，能够抑制因热失控等而导致FPGA 170发生异常、防止运算装置的运算精度降低。由此，与所述实施例1相比，能够增大电动车辆的可行驶距离，并且能降低FPGA 170等的冷却成本。
此外，本实施例中作为运算负荷的FPGA 170的负荷率不限定于耗电。利用FPGA170的温度等与运算负荷相关联的值即可。此外，上述运算负荷也可不仅包含FPGA 170的运算负荷还包含处理器10的运算负荷。
再者，处理条件判定部122可使用运算负荷中的任一运算负荷来进行负荷状态的判定，也可使用多个运算负荷来进行负荷状态。
实施例4
下面，对本发明的实施例4进行说明。图5为表示使用本实施例的信息处理装置100的自动驾驶***的构成的一例的框图。图5中，对与图3、图4相同的构成要素赋予了相同的名称和符号，只要无特别说明，便视为具有同一或类似功能而省略说明。
本实施例中展示对所述实施例2的构成加入所述实施例3的构成的例子。其他构成与所述实施例2相同。
所述实施例2中展示的是以来自行驶中的传感器等的表示行驶状态的信息为输入来进行当前的行驶环境的判定的例子，所述实施例3中展示的是以信息处理装置100的运算负荷为输入来进行当前的负荷状态的判定的例子。本实施例中展示对所述实施例2组合所述实施例3的例子。
处理条件判定部122以表示行驶状态的信息和FPGA 170的运算负荷这两者为输入来进行行驶环境和负荷状态的判定，并将所述判定结果输出至执行层决定部121。执行层决定部121根据来自处理条件判定部122的判定结果来决定物体提取部111中使用的DNN的层数(处理条件)。
如此，通过在处理条件判定部122中根据表示行驶状态的信息和FPGA 170的运算负荷来判定行驶环境和负荷状态，与实施例2及实施例3相比，能够动态地变更物体提取精度和耗电及发热量的削减。
结果，能够期待使实施例2及实施例3的优点合在一起的效果。也就是说，能在各种行驶环境下保持适宜的物体提取精度的同时将FPGA 170的负荷保持在正常的状态。
再者，处理条件判定部122可使用表示行驶状态的信息以及运算负荷中的任一者来进行处理条件的判定，也可使用多者来进行处理条件的判定。
实施例5
下面，对本发明的实施例5形态进行说明。图6为表示使用本实施例的信息处理装置100的自动驾驶***的构成的一例的框图。图6中，对与图5相同的构成要素赋予了相同的名称和符号，只要无特别说明，便视为具有同一或类似功能而省略说明。
本实施例是对所述实施例4的构成要素追加LiDAR 400、传感器识别部140以及识别精度判定部150而成。其他构成与所述实施例4相同。
图6中，从实施例4新追加的传感器识别部140对来自LiDAR 400的信息(距离及方位)进行处理而进行物体的识别。此外，识别精度判定部150判定来自物体提取部111的物体提取的结果与来自传感器识别部140的物体识别的结果的差异，由此判定物体提取部111的物体提取是否保持了所需精度，并将判定的结果输出至处理条件判定部122。
继而，处理条件判定部122根据来自识别精度判定部150的判定结果和行驶状态及运算负荷对成为削减物体提取部111中的运算负荷的条件的基准值进行更新，由此防止运算负荷的削减造成的物体提取的精度不足这样的过度的运算的省略。
在实施例1、2、3、4的信息处理装置100中，根据表示行驶状态的信息和运算负荷来进行物体提取部111中使用的DNN的层数的控制用的基准值是静态的，而要保持自动驾驶所需的物体提取的精度，该基准值较理想为是动态的。
下面，使用具体例，对识别精度判定部150的处理进行说明。
作为一例，输入来自摄像机200的图像数据，物体提取部111中提取出的物体为5个，根据来自LiDAR 400的信息而在传感器识别部140中识别出的物体为7个，物体提取部111中提取出的物体的数量比传感器识别部140中识别出的物体的数量少。
在该情况下，传感器识别部140中识别出的物体在物体提取部111中未能提取出来，所以识别精度判定部150判定物体提取部111没有保持自动驾驶所需的物体提取的精度。
识别精度判定部150根据来自物体提取部111和传感器识别部140的信息而对处理条件判定部122输出以物体提取的精度提高的方式变更处理条件的命令，处理条件判定部122进行决定处理条件用的基准值的变更。
再者，识别精度判定部150也可算出物体提取部111中提取出的物体的数量除以传感器识别部140所识别出的物体的数量得到的值作为识别精度，在算出的识别精度为预先设定的精度阈值以下的情况下判定识别精度已降低，并输出至处理条件判定部122。
关于本实施例的基准值，例如在设为对负荷率阈值进行修正的值的情况下，当处理条件判定部122从识别精度判定部150受理到提高物体提取的精度的命令时，将基准值设为+5％来增大负荷率阈值。此外，处理条件判定部122对执行层决定部121通知已增大负荷率阈值这一情况。
当执行层决定部121受理到负荷率阈值的增大的通知时，对物体提取部111中当前正在使用的DNN的层数加上规定值并指示给FPGA 170的物体提取部111。关于执行层决定部121的规定值，例如设定为1层等。
如此，执行层决定部121可以根据来自识别精度判定部150的请求来增大物体提取部111中使用的DNN的层数，提高物体提取精度。
但在行驶环境为拥堵中或夜间的情况下，增大物体提取部111所使用的DNN的层数的效果低，所以执行层决定部121可以取消负荷率阈值的增大的通知。
如此，通过追加利用来自LiDAR 400的信息来识别物体的传感器识别部140以及判定物体提取部111和传感器识别部140的物体提取的精度的识别精度判定部150，能够防止进行物体提取部111中自动驾驶所需的物体提取的精度不足这样的过度的运算处理(层)的削减。
由此，信息处理装置100能够维持精度比所述实施例1、2、3、4高的处理。结果，本实施例的信息处理装置100相对于实施例1、2、3、4而言能进一步削减耗电。
再者，本实施例中展示将物体提取的精度的判定中使用的传感器设为LiDAR 400的例子，但只要是摄像机、RADAR、远红外线摄像机等能够判别与物体的距离和物体的种类而且与进行输入至物体提取部111的外部信息的输出的传感器不一样的传感器即可，并不限定于LiDAR。此外，传感器可单独使用，也可组合多种来使用。
此外，在本实施例中，作为识别精度判定部150判定物体提取的精度的方法，是判定物体提取部111的结果与传感器识别部140的结果是否一致这样的静态处理，但也可通过使识别精度判定部150具有学习功能来动态地改变物体提取精度的判定基准。
实施例6
下面，对本发明的实施例6进行说明。图7为表示使用本实施例的信息处理装置100的自动驾驶***的构成的一例的框图。图7中，对与图5相同的构成要素赋予了相同的名称和符号，只要无特别说明，便视为具有同一或类似功能而省略说明。
本实施例中展示对图5所示的所述实施例4的处理内容控制部120追加信息量决定部123、对DNN处理部110内追加外部信息转换部112并根据行驶环境和负荷状态来变更从摄像机200输入的外界图像的像素数(或分辨率)的例子。其他构成与所述实施例4相同。
图7中，对从实施例4新追加的信息量决定部123和外部信息转换部112进行说明。信息量决定部123根据来自处理条件判定部122的判定结果来决定将由摄像机200获取到的外界图像输入至物体提取部111的像素数(分辨率)，并指令给FPGA 170的外部信息转换部112。
外部信息转换部112根据来自信息量决定部123的指令将由摄像机200获取到的外界图像转换为DNN中可用的格式。由此，物体提取部111中以与处理条件(层数)相符的像素数来进行物体提取。
在所述实施例1、2、3、4中，物体提取部111的各层(510～550)中所提取的物体的大小不一样，所以根据物体提取部111的各层的处理内容的不同，所需的外界图像的像素数(分辨率)也不一样，因此输入至物体提取部111的图像的像素数较理想为根据物体提取处理中使用的层数来动态地进行变更。
下面，使用具体例，对外部信息转换部112中的处理进行说明。
作为一例，摄像机200输出的是200万像素的图像。此外，信息量决定部123根据处理条件判定部122的判定结果而判定进行物体提取所需的像素数为25万像素。
在该情况下，外部信息转换部112对从摄像机200输出的200万像素的图像以变为25万像素的方式进行转换。物体提取部111使用从该外部信息转换部112输出的25万像素的图像来进行物体提取。
如此，DNN处理部110根据来自处理条件判定部122的判定结果来动态地变更去往物体提取部111的输入图像的像素数，由此能使用与物体提取部111中使用的DNN的执行层的数量相符的像素数的图像。因此，除了削减DNN的执行层以外，还能削减物体提取部111的图像的像素数，从而能削减运算量。
由此，本实施例的信息处理装置100相较于实施例1、2、3、4而言能够实现耗电的削减以及发热量的抑制。结果，本实施例的信息处理装置100相较于实施例1、2、3、4而言，电动车辆的可行驶距离增大，并且能期待FPGA 170等的冷却成本的降低。
再者，本实施例中，信息量决定部123是对来自摄像机200的像素数进行变更，而如果输出外部信息的是LiDAR或RADAR，则为点云数的变更等外部信息的信息量的变更(削减)即可，并不限定于像素数。
实施例7
图8为表示使用实施例7的信息处理装置100的自动驾驶***的构成的一例的框图。图8中，对与图1相同的构成要素赋予了相同的名称和符号，只要无特别说明，便视为具有同一或类似功能而省略说明。
本实施例中展示将所述实施例1的执行层决定部121替换成块区域决定部124的例子。其他构成与所述实施例1相同。
图8中新追加的块区域决定部124保持有执行DNN的物体提取的处理的块区域，将块区域的信息输出至物体提取部111。本实施例的块区域决定部124以固定的块区域的形式保持预先设定的区域。
下面，使用具体例，对物体提取部111的处理进行说明。
图9为表示将图8的物体提取部111利用从摄像机200输入的图像数据借助DNN来进行物体的提取的处理的一部分摘录出来的例子的图。
图9中，摄像机图像600表示从图8中的摄像机200输出的摄像机图像。此外，图像610表示物体提取部111用DNN的第1层中的摄像机图像600的分割状态，图像620表示第2层中的分割状态，图像630表示第3层中的分割状态，图像640表示第4层中的分割状态，图像650表示第5层中的分割状态。
DNN处理部110在图像610中将摄像机图像600分割为5×5＝25个块，物体提取部111以各块单位来进行物体提取的处理。同样地，DNN处理部110在图像620中将摄像机图像600分割为4×4＝16个块，在图像630中将摄像机图像600分割为3×3＝9个块，在图像640中将摄像机图像600分割为2×2＝4个块，在图像650中将摄像机图像600分割为1×1＝1个块来进行物体提取的处理。
因而，图9所示的第1层～第5层的构成物体提取部111的DNN进行物体提取处理的次数为25+16+9+4+1＝55次。再者，关于物体提取部111的DNN的结构，只要能从摄像机图像600中提取物体即可，并不限定于像本实施例中使用的结构那样先提取小的物体、之后提取大的物体的构成。此外，关于该情况下的进行DNN的运算时的块的分割数以及层的数量，只要能确保实现自动驾驶所需的精度，便不限定于图9的例子。
另一方面，例如来自摄像机200的摄像机图像600中有时会像图9所示那样映出自身车辆的发动机罩和天空601等物体。这些物体是在进行车辆的控制时无须从摄像机图像600中提取出来的物体。因此，也可通过指定物体提取部111执行DNN的块区域来削减仅映出不需要的物体的块区域内的物体提取的处理。
图9中，例如在仅在平坦的视野好的道路上行驶的车辆的情况下，自动驾驶中不需要的物体(云、发动机罩)在摄像机图像600中始终处于相同位置。在该情况下，这部分的块区域内可不进行物体提取的处理。物体提取部111仅在被指定为执行DNN的块区域的区域内进行物体提取的处理。
在图9的情况下，将不进行物体提取的处理的区域作为除外区域，将执行物体提取的处理的区域作为块区域。
在物体提取部111的第1层的图像610中，将摄像机图像600当中仅映出天空的区域作为除外区域611-A，将摄像机图像600当中仅映出发动机罩的区域作为除外区域611-B。再者，在不特定除外区域的天空和发动机罩的情况下，以省略了“-”之后的符号的符号“611”来表示。其他构成要素的符号也是一样的。
并且，将除外区域611-A与611-B之间的区域设定为块区域612。即，在第1层中，物体提取部111在图像610当中从上方起第3行和第4行的块区域612内实施DNN下的物体提取即可。
在第2层的图像620中，物体提取部111将摄像机图像600当中仅映出天空的区域作为除外区域621-A，将摄像机图像600当中仅映出发动机罩的区域作为除外区域621-B。
并且，将除外区域621-A与621-B之间的区域设定为块区域622。在第2层中，物体提取部111在图像620当中从上方起第2行和第3行的块区域内实施DNN下的物体提取即可。
在第3层的图像630中，物体提取部111将摄像机图像600当中仅映出天空的区域作为除外区域631-A。并且，将除外区域631-A以外的区域设定为块区域632。在第3层中，物体提取部111在图像660当中从上方起第2行和第3行的块区域632内实施DNN下的物体提取即可。
在第4层的图像640和第5层的图像620中，所有区域都被设定为块区域642、652，在所有块中执行DNN下的物体提取。
如此，通过在块区域决定部124中预先设定好不进行物体提取的处理的除外区域611，DNN的运算数变为9+8+6+4+1＝28次，与在摄像机图像600的所有块区域内实施物体提取的情况相比，能够削减27次DNN的运算。
在本实施例中，通过利用摄像机图像600中的固定的除外区域来削减物体提取部111的DNN的处理，例如能够实现FPGA 170或GPU等运算装置的耗电的削减以及发热量的抑制。结果，电动车辆的可行驶距离增大，FPGA 170等运算装置的冷却成本得以降低。
再者，本实施例中为了方便说明的简化而对图9中的DNN的层数和块数使用前文所述那样的值，但实际的物体提取中使用的DNN中是将作为外部信息的摄像机图像600分割为几千至几万个块，而且层的数量也多。因此，实际的运算次数比前文中展示的例子庞大，削减执行运算的块区域带来的运算量的降低效果也极大。
再者，本实施例中是从摄像机200获取外部信息，但并不限定于此。作为外部信息，例如为LiDAR、RADAR或者远红外线摄像机等能够获取与物体的距离和物体的种类的传感器即可。此外，传感器可单独使用，也可组合多种来使用。
此外，块区域决定部124是决定供物体提取部111的DNN执行的块区域，但也可像所述实施例1、2、3、4、5、6那样进行层的删除。在该情况下，除了削减物体提取部111中使用的块数以外还削减DNN的层数，由此，能进一步削减耗电。
实施例8
下面，对本发明的实施例8进行说明。图10为表示使用本实施例的信息处理装置100的自动驾驶***的构成的一例的框图。图10中，对与图8相同的构成要素赋予了相同的名称和符号，只要无特别说明，便视为具有同一或类似功能而省略说明。
本实施例展示对所述实施例7追加处理条件判定部122和传感器、将FPGA 170内的块区域决定部124移动到处理内容控制部120内的例子。其他构成与所述实施例7相同。
图10中，从实施例7新追加的处理条件判定部122以来自行驶中的车辆的传感器等的表示行驶状态的信息为输入来进行当前的行驶环境的判定。块区域决定部124根据处理条件判定部122所判定的行驶环境来动态地变更物体提取处理中执行DNN的块区域(图9的612、622、632、642、652，下同)。
在本实施例中，作为检测车辆的行驶状态的传感器，与所述实施例2一样，展示将车速传感器30和照度传感器40连接至信息处理装置100的例子，但并不限定于这些。
与所述实施例2一样，信息处理装置100的处理条件判定部122根据来自车速传感器30和照度传感器40的信息来判定行驶环境并输出至块区域决定部124。块区域决定部124根据所输入的行驶环境而以处理条件的形式来决定DNN中使用的块区域(或除外区域)并指令给物体提取部111。
所述实施例7中展示的是由于块区域为固定值所以在FPGA 170内配置有块区域决定部124的例子，而在实施例8中，块区域决定部124会动态地变更块区域(或除外区域)。因此，执行层决定部121以程序的形式加载到存储器20中供处理器10执行。
实施例7中展示的是在受限的行驶环境中静态地决定执行DNN的块区域的例子，但在车辆的自动驾驶中，行驶环境多种多样而复杂，从图像数据中提取的物体提取的精度也时时刻刻在发生变化，所以较理想为能够根据行驶环境来动态地变更执行DNN的块区域(或除外区域)。
下面，使用具体例，对处理条件判定部122的处理进行说明。
作为一例，展示使用车速传感器30所检测到的车速作为表示行驶状态的信息的例子。若车速传感器30所检测到的车速为预先设定的车速阈值以下，则处理条件判定部122判定当前的行驶环境为拥堵中。
在车辆于拥堵中正以极低速(例如5km/h)行驶的情况下，从摄像机200输入的图像的变化小，所以物体提取部111只要有能够追踪自身车辆前方的车辆的物体提取的精度即可，无须在来自摄像机200的图像的所有区域内执行物体提取。
块区域决定部124根据处理条件判定部122所判定的行驶环境来决定处理条件。块区域决定部124以能在确保自动驾驶所需的物体提取的精度的同时削减DNN的运算量的方式决定图9中的不进行物体提取的除外区域611、621、631以及借助DNN而进行物体提取的块区域612、622、632、642、652作为处理条件。
物体提取部111仅在块区域决定部124所决定的块区域612、622、632、642、652内进行物体提取。再者，以下有时简称为块区域和除外区域。
如此，实施例8中对所述实施例7的构成追加根据表示行驶状态的信息来判定外部环境(行驶环境)的处理条件判定部122并进行适于行驶环境的处理条件的判定。由此，与所述实施例7相比，本实施例的信息处理装置100能够根据行驶环境来动态地实现物体提取的精度和FPGA 170的耗电及发热量的变更。
结果，与实施例7相比，电动车辆的可行驶距离增大延长，并且能期待FPGA 170的冷却成本降低。再者，上文中判定为拥堵的方法可不是车速传感器30，也可为了解行驶速度的图像信息、无线电、互联网等的拥堵信息。
此外，使用照度传感器40作为表示行驶状态的信息，若周围的亮度(照度)为预先设定的照度阈值以下，则处理条件判定部122判定行驶环境为隧道内。
图11为表示在来自隧道行驶中的摄像机200的摄像机图像600中由物体提取部111进行DNN的处理的例子的图。隧道内，周围被墙壁笼罩，所以可不进行摄像机图像600中的左右端的物体提取的处理。
若来自处理条件判定部122的判定结果为隧道内，则块区域决定部124决定图11所示的不进行物体提取的除外区域603。关于将当前的行驶环境判别为隧道的方法，可以使用像GPS那样能够确定当前位置的装置等。
再者，块区域决定部124也可指示物体提取部111，而将摄像机图像600的帧间无变化(或者变化少)的区域作为除外区域603。
此外，也可使用车内摄像机(图示省略)作为表示行驶状态的信息。在该情况下，处理条件判定部122利用车内摄像机的图像数据来检测驾驶员是否在操作方向盘，若在操作方向盘，则判定没有使用自动驾驶(AD：Autonomous Driving)。在使用AD时，仅靠自动驾驶***来控制车辆，所以需要识别出小的物体这样的高精度下的物体提取，而在未使用AD的情况下，驾驶员能够知晓外界信息，所以保持能实现驾驶辅助的物体提取的精度即可。
块区域决定部124根据处理条件判定部122所判定的行驶环境来决定物体提取部111中执行DNN的块区域。或者，块区域决定部124也可决定不执行DNN的除外区域611等。此外，判定是否在使用AD的方法可不是车内摄像机，也可利用检测方向盘的操作的传感器、能够判定驾驶员是否位于驾驶席的器件、或者行动计划部130所生成的自动驾驶车辆的行动计划的有无等数据来判定是否在使用AD。
再者，处理条件判定部122可使用表示行驶状态的信息中的任一信息来进行处理条件的判定，也可使用多个信息来进行处理条件的判定。
实施例9
下面，对本发明的实施例9进行说明。图12为表示使用本实施例的信息处理装置100的自动驾驶***的构成的一例的框图。图12中，对与图10相同的构成要素赋予了相同的名称和符号，只要无特别说明，便视为具有同一或类似功能而省略说明。
本实施例中展示对所述实施例7追加处理条件判定部122和负荷检测装置50、将FPGA170内的块区域决定部124移动到处理内容控制部120内的例子。其他构成与所述实施例7相同。
在所述实施例8中，处理条件判定部122是以来自行驶中的传感器等的表示行驶状态的信息为输入来进行当前的行驶环境的判定，而本实施例中，处理条件判定部122是以信息处理装置100的运算负荷为输入来进行当前的FPGA 170的负荷状态的判定。块区域决定部124根据处理条件判定部122所判定的负荷状态来决定物体提取部111在物体提取中使用的DNN的块区域。
图12中，从实施例7新追加的负荷检测装置50检测FPGA 170的运算负荷并输入至处理条件判定部122。再者，负荷检测装置50例如可以包含检测FPGA 170的耗电、供给电流等作为运算负荷的传感器。
此外，所述实施例7中展示的是由于执行DNN的块区域(或除外区域)为固定值所以在FPGA 170内配置块区域决定部124的例子，而在实施例9中，块区域决定部124会动态地变更块区域(处理条件)，因此以程序的形式加载到存储器20中供处理器10执行。
下面，使用具体例，对处理条件判定部122的处理进行说明。
作为一例，处理条件判定部122算出FPGA 170的负荷率作为运算负荷并与规定的负荷率阈值进行比较。再者，关于负荷率，展示使用负荷检测装置50所检测到的耗电除以规定的最大电力得到的值(％)的例子。
在FPGA 170的负荷率高于负荷率阈值的情况下，处理条件判定部122判定降低FPGA170的运算负荷。块区域决定部124根据来自处理条件判定部122的判定结果、以FPGA170的负荷率变为负荷率阈值以下的方式决定物体提取部111中不实施物体提取的除外区域。
再者，块区域决定部124也可指令物体提取部111，而将摄像机图像600的帧间无变化(或者变化少)的区域作为除外区域603。
如此，通过追加根据运算负荷来判定负荷状态的处理条件判定部122，可以判定与信息处理装置100中包含的FPGA 170的负荷率相应的负荷状态，执行层决定部121可以根据负荷状态来动态地变更处理条件。由此，与实施例1相比，信息处理装置100能够动态地实现FPGA 170的耗电的削减以及发热量的抑制。
进而，在本实施例的信息处理装置100中，根据上文所述，能够抑制因热失控等而导致FPGA 170发生异常、防止运算精度降低。由此，与所述实施例1相比，能够增大电动车辆的可行驶距离，并且能降低FPGA 170等的冷却成本。
此外，本实施例中作为运算负荷的FPGA 170的负荷率不限定于耗电。利用FPGA170的温度等与运算负荷相关联的值即可。此外，上述运算负荷也可不仅包含FPGA 170的运算负荷还包含处理器10的运算负荷。
再者，处理条件判定部122可使用运算负荷中的任一运算负荷来进行负荷状态的判定，也可使用多个运算负荷来判定负荷状态。
实施例10
下面，对本发明的实施例10进行说明。图13为表示使用本实施例的信息处理装置100的自动驾驶***的构成的一例的框图。图13中，对与图10、图12相同的构成要素赋予了相同的名称和符号，只要无特别说明，便视为具有同一或类似功能而省略说明。
本实施例中展示对所述实施例8的构成加入所述实施例9的构成的例子。其他构成与所述实施例8相同。
所述实施例8中展示的是以来自行驶中的传感器等的表示行驶状态的信息为输入来进行当前的行驶环境的判定的例子，实施例9中展示的是以信息处理装置100的运算负荷为输入来进行当前的负荷状态的判定的例子。本实施例中展示对所述实施例8组合所述实施例9的例子。
处理条件判定部122以行驶中的表示行驶状态的信息和FPGA 170的运算负荷这两者为输入来进行行驶环境和负荷状态的判定并输出至块区域决定部124。块区域决定部124根据来自处理条件判定部122的判定结果来决定物体提取中使用的DNN的块区域(处理条件)。再者，块区域决定部124像上述那样决定块区域或除外区域即可。
如此，本实施例的信息处理装置100在处理条件判定部122中根据表示行驶状态的信息和FPGA 170的运算负荷来判定行驶环境和负荷状态，由此，与实施例8及实施例9相比，能够动态地变更物体提取的精度和耗电及发热量的削减。
结果，本实施例的信息处理装置100能够期待使实施例8及实施例9的优点合在一起的效果。也就是说，能在各种行驶环境下保持适宜的物体提取精度的同时将FPGA 170的负荷保持在正常的状态。
再者，处理条件判定部122可使用表示行驶状态的信息以及运算负荷中的任一者来进行处理条件的判定，也可使用多者来进行处理条件的判定。
实施例11
下面，对本发明的实施例11进行说明。图14为表示使用本实施例的信息处理装置100的自动驾驶***的构成的一例的框图。图14中，对与图13相同的构成要素赋予了相同的名称和符号，只要无特别说明，便视为具有同一或类似功能而省略说明。
本实施例是对所述实施例10的构成要素追加LiDAR 400、传感器识别部140以及识别精度判定部150而成。其他构成与所述实施例4相同。
图14中，从实施例10新追加的传感器识别部140对来自LiDAR 400的信息(距离及方位)进行处理而进行物体的识别。此外，识别精度判定部150判定来自物体提取部111的物体的提取结果与来自传感器识别部140的物体识别的结果的差异，由此判定物体提取部111的物体提取是否保持了所需精度，并将判定的结果输出至处理条件判定部122。
继而，对成为削减运算负荷的条件的基准值进行更新，由此防止运算负荷削减造成的物体提取的精度不足这样的过度的运算删减。
继而，处理条件判定部122根据来自识别精度判定部150的判定结果和行驶状态及运算负荷对成为削减物体提取部111中的运算负荷的条件的基准值进行更新，由此防止运算负荷的削减造成的物体提取的精度不足这样的过度的运算的省略。
在所述实施例7、8、9、10中，根据表示行驶状态的信息和运算负荷而借助DNN来执行物体提取的块区域是静态的，而要保持进行自动驾驶所需的物体提取的精度，该基准值较理想为是动态的。
下面，使用具体例，对识别精度判定部150的处理进行说明。
作为一例，输入来自摄像机200的图像数据，物体提取部111中提取出的物体为5个，根据来自LiDAR 400的信息而在传感器识别部140中识别出的物体的个数为7个，物体提取部111中提取出的物体的数量比传感器识别部140中识别出的物体的数量少。
在该情况下，传感器识别部140中提取出的物体在物体提取部111中未能提取出来，所以判定物体提取部111没有保持自动驾驶所需的物体提取的精度。
识别精度判定部150根据来自物体提取部111和传感器识别部140的信息对处理条件判定部122输出以物体提取的精度提高的方式变更处理条件的命令，处理条件判定部122进行决定处理条件用的基准值的变更。
关于本实施例的基准值，例如在设为对负荷率阈值进行修正的值的情况下，当处理条件判定部122从识别精度判定部150受理到提高物体提取的精度的命令时，将基准值设为+5％来增大负荷率阈值。此外，处理条件判定部122对块区域决定部124通知已增大负荷率阈值这一情况。
当块区域决定部124受理到负荷率阈值的增大的通知时，对物体提取部111中当前正在使用的DNN的块区域加上规定值并指示给FPGA 170的物体提取部111。关于块区域决定部124的规定值，例如设定为1等。
如此，块区域决定部124可以根据来自识别精度判定部150的请求来增大物体提取部111中使用的DNN的块区域的数量、提高物体提取精度。
但在行驶环境为拥堵中或夜间的情况下，增大物体提取部111所使用的DNN的块区域的效果低，所以执行层决定部121可以取消负荷率阈值的增大的通知。
如此，通过追加利用来自LiDAR 400的信息来识别物体的传感器识别部140以及判定物体提取部111和传感器识别部140的物体提取的精度的识别精度判定部150，能够防止进行物体提取部111中自动驾驶所需的物体提取的精度不足这样的过度的运算处理(层)的削减。
由此，本实施例的信息处理装置100能够维持精度比所述实施例7、8、9、10高的处理。结果，本实施例的信息处理装置100相对于实施例7、8、9、10而言能够减少FPGA 170的耗电。
再者，本实施例中是将物体提取的精度的判定中使用的传感器设为Lidar 400，但只要是摄像机、RADAR、远红外线摄像机等能够判别与物体的距离和物体的种类而且与进行输入至物体提取部111的外部信息的输出的传感器不一样的传感器即可，并不限定于LiDAR。此外，传感器可单独使用，也可组合多种来使用。
此外，在本实施例中，作为识别精度判定部150判定物体提取的精度的方法，是判定物体提取部111的结果与传感器识别部140的结果是否一致这样的静态处理，但也可通过使识别精度判定部150具有学习功能来动态地改变物体提取精度的判定基准。
实施例12
下面，对本发明的实施例12进行说明。图15为表示使用本实施例的信息处理装置100的自动驾驶***的构成的一例的框图。图15中，对与图13相同的构成要素赋予了相同的名称和符号，只要无特别说明，便视为具有同一或类似功能而省略说明。
本实施例中展示对图13所示的所述实施例10的处理内容控制部120追加信息量决定部123、对DNN处理部110内追加外部信息转换部112而根据行驶环境和负荷状态来变更从摄像机200输入的外界图像的像素数(或分辨率)的例子。其他构成与所述实施例10相同。
图15中，对从所述实施例10新追加的信息量决定部123和外部信息转换部112进行说明。信息量决定部123根据来自处理条件判定部122的结果来决定将由摄像机200获取到的外界图像输入至物体提取部111的像素数(分辨率)并指示给FPGA 170的外部信息转换部112。
外部信息转换部112根据来自信息量决定部123的指令将由摄像机200获取到的外界图像转换为DNN中可用的格式。由此，物体提取部111中以与处理条件(块区域或除外区域)相符的像素数来进行物体提取。
下面，使用具体例，对外部信息转换部112中的处理进行说明。
作为一例，摄像机200输出的是200万像素的图像。此外，信息量决定部123根据处理条件判定部122的判定结果而判定进行物体提取所需的像素数为25万像素。在该情况下，外部信息转换部112对从摄像机200输出的200万像素的图像以变为25万像素的方式进行转换。物体提取部111使用从该外部信息转换部112输出的25万像素的图像来进行物体提取。
如此，本实施例的信息处理装置100根据来自处理条件判定部122的判定结果来动态地变更输入图像的像素数，由此能使用与物体提取部111中执行DNN的块区域相符的像素数的图像。因此，除了削减DNN的执行层以外，还能削减物体提取部111进行物体提取的图像的像素数，从而能削减运算量。
由此，本实施例的信息处理装置100相较于所述实施例7、8、9、10而言能够实现耗电的削减以及发热量的抑制。结果，本实施例的信息处理装置100相较于实施例7、8、9、10而言，电动车辆的可行驶距离延长增大，并且能期待FPGA 170的冷却成本的改善。
再者，本实施例中，信息量决定部123是对来自摄像机200的像素数进行变更，而如果输出外部信息的是LiDAR或RADAR，则为点云数的决定等外部信息的信息量即可，并不限定于像素数。
＜结语＞
如上所述，上述实施例1～6(7～12)的信息处理装置100可以设为如下构成。
(1)一种信息处理装置(100)，其具有处理器(10)、存储器(20)以及利用推理模型来执行运算的运算装置(FPGA 170)，该信息处理装置(100)的特征在于，具有：DNN处理部(110)，其受理外部信息(摄像机200的输出)，通过所述推理模型从所述外部信息中提取外界的物体；以及处理内容控制部(120)，其控制所述DNN处理部(110)的处理内容，所述DNN处理部(110)具有物体提取部(111)，所述物体提取部(111)利用具有多个神经元的层的深度神经网络来执行所述推理模型，所述处理内容控制部(120)包含执行层决定部(121)，所述执行层决定部(121)决定所述物体提取部(111)中使用的所述层。
通过上述构成，对物体提取部111所使用的DNN的层(固定值)进行削减，由此，能实现例如FPGA 170或GPU等运算装置的耗电的削减以及发热量的抑制。结果，电动车辆的可行驶距离增大，并且能降低运算装置的冷却成本。
(2)根据上述(1)所述的信息处理装置，其特征在于，所述处理内容控制部(120)包含处理条件判定部(122)，所述处理条件判定部(122)受理外部的状态信息(行驶状态)并对预先设定的阈值与外部的状态信息的值进行比较来判定外部环境，所述执行层决定部(121)根据所述处理条件判定部(122)的判定结果来决定所述DNN处理部(110)中使用的所述层的数量并输出至所述DNN处理部(110)。
通过上述构成，追加检测行驶状态的传感器和根据表示行驶状态的信息来判定车辆的行驶环境的处理条件判定部122，执行层决定部121进行适于行驶环境的处理条件的决定。由此，相较于上述(1)而言，信息处理装置100可以根据行驶环境来动态地变更对物体提取的精度和运算装置(FPGA 170)的耗电及发热量产生影响的处理条件。
结果，相较于上述(1)而言，电动车辆的可行驶距离增大，并且能期待运算装置(FPGA170)的冷却成本降低。
(3)根据上述(1)所述的信息处理装置，其特征在于，还具有检测所述运算装置(170)的运算负荷的负荷检测装置(50)，所述处理内容控制部(120)具有处理条件判定部(122)，所述处理条件判定部(122)从所述负荷检测装置(50)受理所述运算负荷并对预先设定的负荷阈值与所述运算负荷进行比较来判定负荷状态，所述执行层决定部(121)根据所述处理条件判定部(122)的判定结果来决定所述DNN处理部(110)中使用的所述层的数量。
通过上述构成，可以判定与信息处理装置100中包含的FPGA 170的负荷相应的负荷状态，执行层决定部121可以根据负荷来动态地变更处理条件。由此，与上述(1)相比，信息处理装置100能够动态地实现FPGA 170的耗电的削减以及发热量的抑制。
进而，根据上文所述，本实施例的信息处理装置100能够抑制因热失控等而导致FPGA170发生异常、防止运算装置的运算精度降低。由此，与所述实施例1相比，能够增大电动车辆的可行驶距离，并且能降低FPGA 170等的冷却成本。
(4)根据上述(2)所述的信息处理装置，其特征在于，
还具有检测所述运算装置(170)的运算负荷的负荷检测装置(50)，所述处理条件判定部(122)从所述负荷检测装置(50)受理所述运算负荷并对预先设定的负荷阈值与所述运算负荷进行比较来判定负荷状态，将所述外部环境的判定结果和所述负荷状态的判定结果输出至所述执行层决定部(121)，所述执行层决定部(121)根据所述处理条件判定部(122)的判定结果来决定所述DNN处理部(110)中使用的所述层的数量。
通过上述构成，在处理条件判定部122中根据表示行驶状态的信息和FPGA 170的运算负荷来判定行驶环境和负荷状态，由此，与上述(2)及(3)相比，能够动态地变更物体提取的精度和耗电及发热量的削减。结果，能够期待使上述(2)及(3)的优点合在一起的效果。也就是说，能在各种行驶环境下保持适宜的物体提取精度的同时将FPGA 170的负荷保持在正常的状态。
(5)根据上述(4)所述的信息处理装置，其特征在于，所述处理内容控制部(120)还具有：传感器识别部(140)，其受理检测物体的传感器信息(LiDAR 400的输出)，利用所述传感器信息来识别物体；以及识别精度判定部(150)，其对所述传感器识别部(140)中识别出的物体与所述DNN处理部(110)中提取出的物体进行比较来算出识别精度，在所述识别精度为预先设定的精度阈值以下的情况下判定识别精度的降低，所述处理条件判定部(122)对所述外部环境的判定结果和所述负荷状态的判定结果加上所述识别精度判定部(150)的判定结果并输出至所述执行层决定部(121)，所述执行层决定部(121)根据所述处理条件判定部(122)的判定结果来决定所述DNN处理部(110)中使用的所述层的数量。
通过上述构成，追加利用来自LiDAR 400的信息来识别物体的传感器识别部140以及判定物体提取部111和传感器识别部140的物体提取的精度的识别精度判定部150，由此，能够防止进行物体提取部111中自动驾驶所需的物体提取的精度不足这样的过度的运算处理(层)的削减。由此，信息处理装置100能够维持精度比上述(1)、(2)、(3)、(4)高的处理。结果，相对于上述(1)、(2)、(3)、(4)而言能进一步削减耗电。
(6)根据上述(2)所述的信息处理装置，其特征在于，所述外部信息为图像信息，所述处理内容控制部(120)还具有根据所述处理条件判定部(122)的判定结果来决定所述图像信息的信息量的信息量决定部(123)，所述DNN处理部(110)还具有外部信息转换部(112)，所述外部信息转换部(112)根据所述信息量决定部(123)中决定的信息量来变更所述物体提取部(111)中使用的所述图像信息的信息量。
通过上述构成，DNN处理部110根据来自处理条件判定部122的判定结果来动态地变更输入图像的像素数，由此，能够使用与物体提取部111中使用的DNN的执行层的数量相符的像素数的图像。因此，除了削减DNN的执行层以外，还能削减物体提取部111中使用的图像的像素数，从而能进一步削减运算量。由此，相较于上述(1)、(2)、(3)、(4)而言，能够实现耗电的削减以及发热量的抑制。结果，相较于上述(1)、(2)、(3)、(4)而言，电动车辆的可行驶距离增大，并且能期待FPGA 170等的冷却成本的降低。
再者，本发明包含各种变形例，并不限定于上述实施例。
例如，上述实施例是为了以易于理解的方式说明本发明所作的详细记载，并非一定限定于具备说明过的所有构成。此外，可以将某一实施例的构成的一部分替换为其他实施例的构成，此外，也可以对某一实施例的构成加入其他实施例的构成。此外，可以对各实施例的构成的一部分单独或组合运用其他构成的追加、删除或者替换。
此外，上述的各构成、功能、处理部以及处理方法等例如可通过利用集成电路进行设计等而以硬件来实现它们的一部分或全部。此外，上述的各构成及功能等也可通过由处理器解释并执行实现各功能的程序而以软件来实现。实现各功能的程序、表格、文件等信息可以放在存储器、硬盘、SSD(Solid State Drive)等记录装置或者IC卡、SD卡、DVD等记录介质中。
此外，控制线和信息线展示的是认为说明上需要的部分，在产品上未必展示了所有控制线和信息线。实际上，可认为几乎所有构成都相互连接在一起。
＜补充＞
作为权利要求书中记载以外的本发明的代表性观点，可列举以下观点。
＜7＞
一种信息处理装置，其具有处理器、存储器以及利用推理模型来执行运算的运算装置，该信息处理装置的特征在于，具有：
DNN处理部，其受理外部信息，通过所述推理模型从所述外部信息中提取外界的物体；以及处理内容控制部，其控制所述DNN处理部的处理内容，所述DNN处理部具有物体提取部，所述物体提取部包含所述推理模型，所述推理模型将所述外部信息分割为用于提取不同大小的物体的多个块区域，利用深度神经网络按每一所述块区域来提取所述外界的物体，所述处理内容控制部包含块区域决定部，所述块区域决定部决定所述物体提取部中使用的所述块区域。
＜8＞
根据上述＜7＞所述的信息处理装置，其特征在于，所述处理内容控制部包含处理条件判定部，所述处理条件判定部受理外部的状态信息并对预先设定的阈值与外部的状态信息的值进行比较来判定外部环境，所述块区域决定部根据所述处理条件判定部的判定结果来决定所述DNN处理部中使用的所述块区域并输出至所述DNN处理部。
＜9＞
根据上述＜7＞所述的信息处理装置，其特征在于，还具有检测所述运算装置的运算负荷的负荷检测装置，所述处理内容控制部具有处理条件判定部，所述处理条件判定部从所述负荷检测装置受理所述运算负荷并对预先设定的负荷阈值与所述运算负荷进行比较来判定负荷状态，所述块区域决定部根据所述处理条件判定部的判定结果来决定所述DNN处理部中使用的所述块区域。
＜10＞
根据上述＜8＞所述的信息处理装置，其特征在于，还具有检测所述运算装置的运算负荷的负荷检测装置，所述处理条件判定部从所述负荷检测装置受理所述运算负荷并对预先设定的负荷阈值与所述运算负荷进行比较来判定负荷状态，将所述外部环境的判定结果和所述负荷状态的判定结果输出至所述块区域决定部，所述块区域决定部根据所述处理条件判定部的判定结果来决定所述DNN处理部中使用的所述块区域。
＜11＞
根据上述＜10＞所述的信息处理装置，其特征在于，所述处理内容控制部还具有：传感器识别部，其受理检测物体的传感器信息，利用所述传感器信息来识别物体；以及识别精度判定部，其对所述传感器识别部中识别出的物体与所述DNN处理部中提取出的物体进行比较来算出识别精度，在所述识别精度为预先设定的精度阈值以下的情况下判定识别精度的降低，所述处理条件判定部对所述外部环境的判定结果和所述负荷状态的判定结果加上所述识别精度判定部的判定结果并输出至所述块区域决定部，所述块区域决定部根据所述处理条件判定部的判定结果来决定所述DNN处理部中使用的所述块区域。
＜12＞
根据上述＜8＞所述的信息处理装置，其特征在于，所述外部信息为图像信息，所述处理内容控制部还具有根据所述处理条件判定部的判定结果来决定所述图像信息的信息量的信息量决定部，所述DNN处理部还具有外部信息转换部，所述外部信息转换部根据所述信息量决定部中决定的信息量来变更所述物体提取部中使用的所述图像信息的信息量。
符号说明
100…信息处理装置
110…DNN处理部
111…物体提取部
112…外部信息转换部
120…处理内容控制部
121…执行层决定部
122…处理条件判定部
123…信息量决定部
124…块区域决定部
130…行动计划部
140…传感器识别部
150…提取精度判定部
200…摄像机
300…车辆控制部
400…LiDAR。

Claims (6)

1.一种信息处理装置，其具有处理器、存储器以及利用推理模型来执行运算的运算装置，该信息处理装置的特征在于，具有：
DNN处理部，其受理外部信息，通过所述推理模型从所述外部信息中提取外界的物体；以及
处理内容控制部，其控制所述DNN处理部的处理内容，
所述DNN处理部具有物体提取部，所述物体提取部利用具有多个神经元的层的深度神经网络来执行所述推理模型，
所述处理内容控制部包含执行层决定部，所述执行层决定部决定所述物体提取部中使用的所述层。
2.根据权利要求1所述的信息处理装置，其特征在于，
所述处理内容控制部包含处理条件判定部，所述处理条件判定部受理外部的状态信息并对预先设定的阈值与外部的状态信息的值进行比较来判定外部环境，
所述执行层决定部根据所述处理条件判定部的判定结果来决定所述DNN处理部中使用的所述层的数量并输出至所述DNN处理部。
3.根据权利要求1所述的信息处理装置，其特征在于，
还具有检测所述运算装置的运算负荷的负荷检测装置，
所述处理内容控制部具有处理条件判定部，所述处理条件判定部从所述负荷检测装置受理所述运算负荷并对预先设定的负荷阈值与所述运算负荷进行比较来判定负荷状态，
所述执行层决定部根据所述处理条件判定部的判定结果来决定所述DNN处理部中使用的所述层的数量。
4.根据权利要求2所述的信息处理装置，其特征在于，
还具有检测所述运算装置的运算负荷的负荷检测装置，
所述处理条件判定部从所述负荷检测装置受理所述运算负荷并对预先设定的负荷阈值与所述运算负荷进行比较来判定负荷状态，将所述外部环境的判定结果和所述负荷状态的判定结果输出至所述执行层决定部，
所述执行层决定部根据所述处理条件判定部的判定结果来决定所述DNN处理部中使用的所述层的数量。
5.根据权利要求4所述的信息处理装置，其特征在于，
所述处理内容控制部还具有：
传感器识别部，其受理检测物体的传感器信息，利用所述传感器信息来识别物体；以及
识别精度判定部，其对所述传感器识别部中识别出的物体与所述DNN处理部中提取出的物体进行比较来算出识别精度，在所述识别精度为预先设定的精度阈值以下的情况下判定识别精度的降低，
所述处理条件判定部对所述外部环境的判定结果和所述负荷状态的判定结果加上所述识别精度判定部的判定结果并输出至所述执行层决定部，
所述执行层决定部根据所述处理条件判定部的判定结果来决定所述DNN处理部中使用的所述层的数量。
6.根据权利要求2所述的信息处理装置，其特征在于，
所述外部信息为图像信息，
所述处理内容控制部还具有信息量决定部，所述信息量决定部根据所述处理条件判定部的判定结果来决定所述图像信息的信息量，
所述DNN处理部还具有外部信息转换部，所述外部信息转换部根据所述信息量决定部中决定的信息量来变更所述物体提取部中使用的所述图像信息的信息量。
CN202080089067.0A 2020-01-30 2020-12-15 信息处理装置 Pending CN114846505A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2020-013448 2020-01-30
JP2020013448 2020-01-30
PCT/JP2020/046662 WO2021153049A1 (ja) 2020-01-30 2020-12-15 情報処理装置

Publications (1)

Publication Number Publication Date
CN114846505A true CN114846505A (zh) 2022-08-02

Family

ID=77079733

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080089067.0A Pending CN114846505A (zh) 2020-01-30 2020-12-15 信息处理装置

Country Status (5)

Country Link
US (1) US20230012843A1 (zh)
JP (1) JP7239747B2 (zh)
CN (1) CN114846505A (zh)
DE (1) DE112020005642T5 (zh)
WO (1) WO2021153049A1 (zh)

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0757094A (ja) * 1993-08-10 1995-03-03 Ricoh Co Ltd ニューラルネットワークによる画像認識装置
JP6735506B2 (ja) 2016-09-29 2020-08-05 パナソニックＩｐマネジメント株式会社 画像生成装置、および、画像処理システム
JP6756661B2 (ja) * 2017-04-28 2020-09-16 日立オートモティブシステムズ株式会社 車両電子制御装置
US10007269B1 (en) 2017-06-23 2018-06-26 Uber Technologies, Inc. Collision-avoidance system for autonomous-capable vehicle

Also Published As

Publication number Publication date
JP7239747B2 (ja) 2023-03-14
JPWO2021153049A1 (zh) 2021-08-05
WO2021153049A1 (ja) 2021-08-05
US20230012843A1 (en) 2023-01-19
DE112020005642T5 (de) 2022-09-01

Similar Documents

Publication Publication Date Title
US11402848B2 (en) Collision-avoidance system for autonomous-capable vehicles
US11804047B2 (en) Method and apparatus for recognizing object
US11560690B2 (en) Techniques for kinematic and dynamic behavior estimation in autonomous vehicles
US11816585B2 (en) Machine learning models operating at different frequencies for autonomous vehicles
US11823573B2 (en) Signal control apparatus and signal control method based on reinforcement learning
US11501525B2 (en) Systems and methods for panoptic image segmentation
KR102073162B1 (ko) 딥러닝 기반의 소형 물체 검출 기법
EP3211368A1 (en) Stereo camera apparatus and vehicle provided with stereo camera apparatus
WO2022198175A1 (en) Systems and methods for generating object detection labels using foveated image magnification for autonomous driving
KR20210145861A (ko) 익스플레이너블 셀프-포커스드 어텐션을 이용하여 행동 예측을 수행하는 방법 및 장치
CN114846505A (zh) 信息处理装置
JP6412934B2 (ja) 物体検出装置、物体検出装置を設置した車両およびプログラム
Cultrera et al. Explaining autonomous driving with visual attention and end-to-end trainable region proposals
KR101875517B1 (ko) 영상 처리 방법 및 장치
CN115686029A (zh) 基于有人驾驶的无人驾驶作业方法、装置、电子设备及存储介质
US20230097594A1 (en) Information processing device and onboard control device
Katare et al. Autonomous embedded system enabled 3-D object detector:(With point cloud and camera)
US20230367993A1 (en) Dnn contraction device and onboard computation device
US11938939B1 (en) Determining current state of traffic light(s) for use in controlling an autonomous vehicle
US20230267749A1 (en) System and method of segmenting free space based on electromagnetic waves
US20220292316A1 (en) Shape-biased image classification using deep convolutional networks
WO2024118848A1 (en) Object detection system
WO2024097093A1 (en) Determining lanes from drivable area

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination