CN111417959A - 信息处理装置、程序及信息处理方法 - Google Patents

信息处理装置、程序及信息处理方法 Download PDF

Info

Publication number
CN111417959A
CN111417959A CN201980005343.8A CN201980005343A CN111417959A CN 111417959 A CN111417959 A CN 111417959A CN 201980005343 A CN201980005343 A CN 201980005343A CN 111417959 A CN111417959 A CN 111417959A
Authority
CN
China
Prior art keywords
sensing data
sensor
processing
inclination
target portion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980005343.8A
Other languages
English (en)
Inventor
中田洋平
藤村亮太
山口拓也
石井育规
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Corp of America
Original Assignee
Panasonic Intellectual Property Corp of America
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Corp of America filed Critical Panasonic Intellectual Property Corp of America
Priority claimed from PCT/JP2019/030794 external-priority patent/WO2020079927A1/ja
Publication of CN111417959A publication Critical patent/CN111417959A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133—Distances to prototypes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Regulating Braking Force (AREA)

Abstract

在具备处理器的信息处理装置(10)中，该处理器取得从第1传感器输出的用于判断设置有第3传感器的装置的周边状况的第1传感数据、以及用于判断该装置的姿态的第2传感数据中的至少1个，基于第1传感数据及第2传感数据中的至少1个，判定第3传感器的传感方向上的面相对于装置的姿态的倾斜，与判定出的倾斜相应地，决定从第3传感器被输出且用于第3传感器的传感方向上的物体检测处理的第3传感数据的处理对象部分，使用第3传感数据的被决定的处理对象部分执行物体检测处理。

Description

信息处理装置、程序及信息处理方法
技术领域
本公开涉及信息处理装置、程序及信息处理方法。
背景技术
提出了如下技术：在基于车辆像的最上方的轮廓的位置设定的检测对象区域内，对由车载相机摄影而得到的停车场图像中的车辆像进行识别，从而确定停车场的空车位(参照专利文献1)。
在先技术文献
专利文献
专利文献1：日本特开2017－90987号公报
发明内容
发明所要解决的课题
在以往的技术中，与物体检测相关的处理量的削减效果有可能被抑制。例如，作为物体检测处理的预处理，需要检测物体的轮廓。另外，在不存在物体的情况下，难以设定检测对象区域。因此，在检测物体的轮廓的处理繁重的情况，或者不存在物体的情况下，处理量的削减量下降，或者无法削减处理量。
本公开的目的在于，提供能够提高与物体检测相关的处理量的削减效果的信息处理装置、程序及信息处理方法。
用于解决课题的手段
本公开的一个方式所涉及的信息处理装置是具备处理器的信息处理装置，所述处理器构成为：取得从第1传感器输出的用于判断设置有第3传感器的装置的周边状况的第1传感数据、以及从第2传感器输出的用于判断所述装置的姿态的第2传感数据中的至少1个，基于取得的所述第1传感数据及所述第2传感数据中的至少1个，判定所述第3传感器的传感方向上的面相对于所述姿态的倾斜，与所述倾斜相应地决定从所述第3传感器输出且用于所述传感方向的物体检测处理的第3传感数据的处理对象部分，使用所述第3传感数据的被决定的所述处理对象部分执行所述物体检测处理。
另外，本公开的一个方式所涉及的程序是在具备处理器的信息处理装置，通过由所述处理器执行从而使所述处理器进行：取得从第1传感器输出的用于判断设置有第3传感器的装置的周边状况的第1传感数据、以及从第2传感器输出的用于判断所述装置的姿态的第2传感数据中的至少1个，基于取得的所述第1传感数据及所述第2传感数据中的至少1个，判定所述第3传感器的传感方向上的面相对于所述姿态的倾斜，与所述倾斜相应地决定从所述第3传感器输出且用于所述传感方向的物体检测处理的第3传感数据的处理对象部分，使用所述第3传感数据的被决定的所述处理对象部分执行所述物体检测处理。
另外，本公开的一个方式所涉及的信息处理方法为：处理器取得从第1传感器输出的用于判断设置有第3传感器的装置的周边状况的第1传感数据、以及从第2传感器输出的用于判断所述装置的姿态的第2传感数据中的至少1个，基于取得的所述第1传感数据及所述第2传感数据中的至少1个，判定所述第3传感器的传感方向上的面相对于所述姿态的倾斜，与所述倾斜相应地决定从所述第3传感器输出且用于所述传感方向的物体检测处理的第3传感数据的处理对象部分，使用所述第3传感数据的被决定的所述处理对象部分执行所述物体检测处理。
发明效果
本公开的一个方式所涉及的信息处理装置、程序及信息处理方法能够提高与物体检测相关的处理量的削减效果。
附图说明
图1是表示在汽车的前方的影像中检测出检测对象的物体像的区域与没有检测出检测对象的物体像的区域的示意图。
图2A是用于说明移动体的路径前方的移动面相对于移动体的姿态基准面没有倾斜的状况的一例、以及移动体上设置的相机在该状况下摄影的图像的示意图。
图2B是用于说明移动体的路径前方的移动面相对于移动体的姿态基准面倾斜的状况的一例、以及移动体上设置的相机在该状况下摄影的图像的示意图。
图2C是用于说明移动体的路径前方的移动面相对于移动体的姿态基准面倾斜的状况的其他例、以及移动体上设置的相机在该状况下摄影的图像的示意图。
图3是表示实施方式所涉及的信息处理装置的构成例的框图。
图4是表示上述的信息处理装置所进行的用于决定图像识别处理的对象数据的处理对象部分的处理的次序例的流程图。
图5A是表示通过移动体的路径前方的摄影被取得且向上述的信息处理装置输入的图像的例子的示意图。
图5B是表示图5A所示的图像中的图像识别处理的处理对象部分的例子的示意图。
图6A是表示通过移动体的路径前方的摄影被取得且向上述的信息处理装置输入的图像的其他例的示意图。
图6B是表示图6A所示的图像中向上偏移的处理对象部分的例子的示意图。
图7A是表示通过移动体的路径前方的摄影被取得且向上述的信息处理装置输入的图像的其他例的示意图。
图7B是表示图7A所示的图像中向下偏移的处理对象部分的例子的示意图。
图8是表示移动面相对于本机姿态的倾斜的方向由横滚角表现的情况下决定的处理对象部分的例子的示意图。
具体实施方式
(作为本公开的基础的知识)
在以汽车为代表的近年来的移动体中，有的具备辅助操控或者自主移动(自动驾驶)的功能。另外，这样的功能有的利用物体检测的结果，该物体检测使用了对移动体的行进方向进行感测的传感器所输出的数据。这样的物体检测例如通过使用了从图像传感器输出的图像数据的图像识别来进行。该图像识别也是深度学习等近来的机器学习的技术的应用领域之一，不断进行研究以图改进。在该研究中，作为用于加快图像识别处理的速度或者减少图像识别处理所需的耗电的一个方法，探讨削减计算量。例如，作为针对向图像处理装置输入的图像的图像识别处理的预处理，通过对该输入图像进行剪裁，从而去除规定的区域并从图像识别处理的对象中排除，由此能够削减计算量。
图1是表示由在平坦的道路上行驶的汽车上设置的相机摄影而得到的图像群中，检测出行人或者障碍物等检测对象的物体像的区域及没有检测出上述物体像的区域的示意图。由图中的虚线划分的分区是将由相机摄影的图像的区域整体划分为包含多个像素的规定大小的单元而成的分区。在此所谓单元，表示与以任意的倍率对由相机摄影的图像进行向下采样而得到的像素相同的含义。然后，在包含检测对象的物体像的检测框内以1次以上被包含的像素的区域以白色表示，在检测框内1次也未被包含的像素的区域以阴影表示。根据图1可知，检测对象的物体像大致位于图像区域内上下方向的中央(图中的一点划线)附近。也就是说，阴影的区域可以说是没有映现出检测对象的物体像的区域或者对结果没有贡献的区域。作为上述的预处理的剪裁基于检测对象的物体像在输入图像中的位置的这种倾向而被进行，从图像区域的上下端分别去除某程度的区域(例如图中“去除对象”的2个区域)。然后，通过将作为预处理的结果而保留的位于原图像区域的中央附近的区域(例如图中“物体检测的处理对象”的区域)作为图像识别处理的对象，与将图像区域整体作为图像识别处理的对象的情况相比，计算量得以削减。
但是，如果基于上述的想法来决定图像识别处理的对象的区域，则在移动体移动中，例如由于路径的起伏或者移动体的姿态的变化而导致图像内可能映现检测对象的物体像的区域发生了变化时，有可能产生如下问题：该区域之外映现的检测对象的物体像从图像识别处理的对象的区域偏离。
发明人为了解决该问题而不断努力研究，想到了能够与可能映现检测对象的物体像的区域的变化相应地使图像识别处理的对象的区域(或者通过预处理从图像识别处理的对象排除的区域)变化的下述信息处理装置、程序及信息处理方法。
本公开的一个方式所涉及的信息处理装置是具备处理器的信息处理装置，所述处理器构成为：取得从第1传感器输出的用于判断设置有第3传感器的装置的周边状况的第1传感数据、以及从第2传感器输出的用于判断所述装置的姿态的第2传感数据中的至少1个，基于取得的所述第1传感数据及所述第2传感数据中的至少1个，判定所述第3传感器的传感方向上的面相对于所述姿态的倾斜，与所述倾斜相应地决定从所述第3传感器输出且用于所述传感方向的物体检测处理的第3传感数据的处理对象部分，使用所述第3传感数据的被决定的所述处理对象部分执行所述物体检测处理。
例如，如上述的事例那样设为：装置是作为移动体的汽车，在该汽车上，以当前的位置及从该位置延续的路径前方的视野内的路面是水平的情况下，路径前方存在的检测对象的物体像映现在图像的上下中央附近的区域中的方式，设置了作为第3传感器的相机。在此，相对于直行姿态的汽车的前后方向及左右方向平行且相对于上下方向垂直的面(其中，这些方向以该汽车的设计上的直行方向作为前方来决定，根据该汽车的姿态、即该汽车的轮胎接触地面的面的倾斜而变化，前后方向不限定于水平方向，上下方向不限定于铅直方向。以下将该面称为汽车的姿态基准面)，与移动路径前方的路面(其中，将路面的稍许凹凸平均作为近似的虚拟的平面看待。以下，也将该平面称为移动面)平行。也就是说，该移动面相对于姿态基准面不倾斜。图2A是用于说明像这样移动体的路径前方的移动面相对于姿态基准面不倾斜的状况的例子、以及移动体上设置的相机在该状况下摄影的图像的示意图。图2A内的从汽车延伸的虚线表示该相机的摄影范围的上下端(在后述的图2B及图2C中也相同)。在该状况下由该相机摄影的图像中，作为位于汽车前方的检测对象的例子的人物的像例如图中的对白框内所示地映现。在图中横穿图像区域的一点划线是该图像区域的高度的二等分线(在后述的图2B及图2C中也相同)。具有上述构成的信息处理装置在这样的状况下将图像的上下方向的中央附近决定为处理对象部分并在用于物体检测的图像识别处理中使用，针对其他部分不进行图像识别处理。
与此相对，在当前在水平的场所行驶的该汽车的行进方向前方有上坡的情况下，位于该上坡的行人等检测对象的物体像有时也映现在比图像的上下方向的中央附近更靠上方的区域。在该情况下，移动面相对于姿态基准面倾斜。图2B是用于说明移动体的路径前方的移动面相对于姿态基准面像这样倾斜的状况的一例、以及移动体上设置的相机在该状况下摄影的图像的示意图。在该例中，位于汽车的前方的检测对象的物体像与图2A所示的状况相比更靠图像的上方。具有上述构成的信息处理装置在这样的状况下将图像的靠上的一部分决定为处理对象部分并在用于物体检测的图像识别处理中使用，针对其他部分不进行图像识别处理。
另外，在当前在上坡行驶的该汽车的行进方向前方有水平的道路的情况下，位于该水平的部分的行人等检测对象的物体像有时也映现在比图像的上下中央附近更靠下方的区域。在该情况下，移动面也相对于姿态基准面倾斜。图2C是用于说明移动体的路径前方的移动面相对于姿态基准面像这样倾斜的状况的其他例、以及移动体上设置的相机在该状况下摄影的图像的示意图。在该状况下由该相机摄影的图像中，例如图中的对白框内所示，位于汽车的前方的检测对象的物体像与图2A所示的状况相比更靠图像的下方。具有上述构成的信息处理装置在这样的状况下将图像的靠下的一部分决定为处理对象部分并在用于物体检测的图像识别处理中使用，针对其他部分不进行图像识别处理。
像这样，与移动体的移动路径前方的移动面相对于移动体的姿态基准面的倾斜(以下有时表现为移动体的移动路径前方的移动面相对于本机姿态的倾斜，或者简单地表现为移动面相对于移动体的倾斜。关于本机姿态留待后述)相应地，变更第3传感数据的成为图像识别处理的对象的部分。也就是说，通过与上述的倾斜相应地使从图像识别处理的对象排除的部分动态地变化，实现不仅抑制第3传感数据之中表示检测对象的物体的部分从物体检测处理的对象的部分偏离的可能性而且抑制计算量的高效的物体检测处理。
另外也可以是，所述处理器在所述倾斜处于规定的范围以内的情况下，将所述第3传感数据的一部分决定为所述处理对象部分，在所述倾斜超过所述规定的范围的情况下，将所述第3传感数据的比所述一部分更大的部分决定为所述处理对象部分，进而，在所述倾斜超过所述规定的范围的情况下，使所述物体检测处理的处理周期比所述倾斜处于所述规定的范围以内的情况更长。另外也可以是，所述装置是移动体，所述处理器进而在所述倾斜超过所述规定的范围的情况下，向所述移动体请求减速。另外也可以是，所述装置是移动体，所述处理器进而在所述倾斜超过所述规定的范围的情况下，向所述移动体的使用者通知警告。
根据移动面相对于移动体的倾斜的大小，在第3传感数据的仅一部分中未包含表示检测对象的物体的部分的状况有时发生。在这样的情况下，通过将第3传感数据的整体作为物体检测处理的对象来使用，抑制最终未检测出检测对象的物体的可能性。此外，在针对第3传感数据整体的物体检测处理中，为了得到移动体的安全移动所需的精度，有时需要比仅针对一部分的物体检测处理更长的时间。另外也可以是，根据该物体检测处理所花费的时间，为了确保移动体的安全，进而降低移动体的速度。另外，通过警告来向移动体的使用者通知处于对物体检测处理的速度有影响的状况，能够提供使用者自身使移动体减速或者考虑变更路径的机会。
另外也可以是，与对所述物体检测处理的可靠性造成影响的要素相应地，变更所述处理对象部分的大小。
根据第3传感器取得第3传感数据时的装置的状态或其周围的状况，有时物体检测处理的结果的可靠性降低。例如，在第3传感数据是图像数据的情况下，在装置为移动体且以比较高速移动时，或者装置的姿态比较频繁地变动时，与其余情况相比，在图像中应该检测的对象的像的位置更容易变动。因此，第3传感数据之中作为物体检测处理的对象被使用的部分越少，则最终未检测出应该检测的对象的可能性越高，即，物体检测处理的结果的可靠性越低。如该构成那样，使用第3传感数据的更多的部分、例如图像的更大的区域进行物体检测处理，能够抑制可靠性降低。
另外也可以是，所述物体检测处理通过将所述处理对象部分输入至1个以上的学习完成模型从而被执行。另外也可以是，所述1个以上的学习完成模型是多个学习完成模型，所述处理器向从所述多个学习完成模型中与所述倾斜相应地选择出的学习完成模型输入所述处理对象部分。
根据第3传感数据之中的与面相对于装置姿态的倾斜相应地作为物体检测处理的对象而被使用的部分，检测对象的物体向数据的表现方式有时不同。例如在由相机摄影的图像中，即使是相同的物体，映现在靠近图像的中心的部分的情况与映现在靠近周边的部分的情况相比，像的形状也不同，在使用视场角较大的透镜摄影的图像中，该差异更加显著。根据上述的构成，通过使用与这样的差异对应的各个模型，能够提高物体检测的精度。
另外也可以是，所述学习完成模型是多层神经网络，所述处理器进而取得从所述装置到所述倾斜的起点为止的距离，关于与所述距离相应的所述学习完成模型的层，决定所述处理对象部分。
由此，能够精度更高地检测在相对于装置的姿态倾斜的第3传感器的传感方向上的面上可能存在于距装置不同的距离处的检测对象的物体。
此外也可以是，所述处理器与所述倾斜相应地使所述处理对象部分偏移，从而决定所述处理对象部分。
另外，本公开的一个方式所涉及的程序在具备处理器的信息处理装置中，通过由所述处理器执行从而使所述处理器进行：取得从第1传感器输出的用于判断设置有第3传感器的装置的周边状况的第1传感数据、以及从第2传感器输出的用于判断所述装置的姿态的第2传感数据中的至少1个，基于取得的所述第1传感数据及所述第2传感数据中的至少1个，判定所述第3传感器的传感方向上的面相对于所述姿态的倾斜，与所述倾斜相应地决定从所述第3传感器输出且用于所述传感方向的物体检测处理的第3传感数据的处理对象部分，使用所述第3传感数据的被决定的所述处理对象部分执行所述物体检测处理。
由此，实现了不仅抑制第3传感数据之中表示检测对象的物体的部分从物体检测处理的对象的部分偏离的可能性而且抑制计算量的高效的物体检测处理。
另外，本公开的一个方式所涉及的信息处理方法为：处理器取得从第1传感器输出的用于判断设置有第3传感器的装置的周边状况的第1传感数据、以及从第2传感器输出的用于判断所述装置的姿态的第2传感数据中的至少1个，基于取得的所述第1传感数据及所述第2传感数据中的至少1个，判定所述第3传感器的传感方向上的面相对于所述姿态的倾斜，与所述倾斜相应地决定从所述第3传感器输出且用于所述传感方向的物体检测处理的第3传感数据的处理对象部分，使用所述第3传感数据的被决定的所述处理对象部分执行所述物体检测处理。
由此，实现了不仅抑制第3传感数据之中表示检测对象的物体的部分从物体检测处理的对象的部分偏离的可能性而且抑制计算量的高效的物体检测处理。
此外，本公开的概括性或者具体性的方式也可以通过***、集成电路或者CD－ROM等计算机可读取的记录介质实现，也可以通过装置、***、方法、集成电路、计算机程序及记录介质的任意组合实现。
以下，关于本公开的一个方式所涉及的信息处理装置、程序及信息处理方法的具体例，参照附图进行说明。在此所示的实施方式均表示本公开的一具体例。因此，以下的实施方式所示的数值、形状、构成要素、构成要素的配置及连接方式、以及步骤(工序)及步骤的顺序等是一例，并非限定本公开。以下的实施方式中的构成要素之中，关于未被记载于表示本公开的一方式所涉及的实现方式的独立权利要求中的构成要素，作为任意的构成要素进行说明。本公开的实现方式不限定于当前的独立权利要求，也可以通过其他独立权利要求表现。另外，各图是用于说明本公开所涉及的概念的示意图，各图中表现的形状、个数、配置、比例尺及大小关系等不一定是严格的。
(实施方式)
[1.信息处理装置的构成]
图3是表示实施方式所涉及的信息处理装置的构成例的框图。本实施方式所涉及的信息处理装置10是汽车等移动体所具备的物体检测***1的一个构成要素，接受在物体检测中使用的传感数据的输入。另外，基于传感数据，判定移动体的移动路径前方的移动面相对于移动体的倾斜，使用传感数据的与该倾斜相应地决定的部分执行物体检测。
像这样发挥功能的信息处理装置10如图3所示，具备周边状况判断部11、本机姿态判断部12、区域变更部13、物体检测处理部14、处理周期变更部15及速度变更通知部16。
信息处理装置10例如通过包含处理器及存储器的微控制器实现，这些构成要素是由处理器执行存储器中存储的1个或者多个程序从而实现的功能性的构成要素。关于各构成要素留待后述。该微控制器例如作为构成车载网络***的ECU(Electronic ControlUnit：电子控制单元)的构成部件，被搭载于作为移动体的汽车。本公开所涉及的信息处理装置能够在多种多样的移动体中有效地使用，以下使用作为汽车中搭载的ECU的微控制器实现的信息处理装置10作为主要例子来说明本实施方式。
向信息处理装置10，输入由声呐传感器或者车载相机的图像传感器等周边状况传感器20、LiDAR(Light Detection And Ranging或者Laser imaging Detection AndRanging：光感探测及测距或者激光成像探测及测距)30及陀螺传感器等倾斜传感器40输出的传感数据。另外，来自取得汽车的当前的位置或者姿态的位置\姿态取得部50的位置\姿态信息、未图示的车载的汽车导航***中包含的地图信息60，对信息处理装置10而言也能够利用。另外，也可以还输入汽车的当前的速度或者汽车周边的明亮度(照度)等的信息(图中的速度、照度70)。关于这些数据及信息的处理，在以下的信息处理装置10的各构成要素及信息处理装置10所进行的处理的次序的说明中叙述。
周边状况判断部11使用从周边状况传感器20或者LiDAR30输出的传感数据来判断汽车的周边状况。在此所谓周边状况，指的是表示汽车的路径前方、也就是说此后将要行驶的路面的形状或者路面的倾斜的方向及大小的数据。作为这样的周边状况的判断对象的路径前方的路面是本实施方式中的移动面的例子。另外，在该周边状况的判断中周边状况判断部11能够使用的不限定于这些传感数据。例如，也可以使用从位置/姿态取得部50提供的汽车的当前的位置的信息、以及地图信息60所包含的表示地形或者道路的形状的信息。在地图信息60中，地形或者道路的形状也可以由标高的信息表现，在地图信息60是3维地图信息的情况下，也可以由更具体的立体形状的信息表现。如果知道汽车的位置，则能够与这样的地图信息60结合，取得该位置处的该汽车的路径前方的路面的形状的信息。
位置/姿态取得部50是在信息处理装置10中，或者在与信息处理装置10以能够通信的方式连接的包含处理器及存储器的其他信息处理装置中，通过由处理器执行程序来实现的功能性的构成要素。位置/姿态取得部50具有如下功能：使用从LiDAR30、未图示的GPS(Global Positioning System：全球定位***)等定位***的接收机输出的信息或者地图信息60等、或者组合使用这些信息，取得汽车的位置及姿态中的一方或者双方。
本机姿态判断部12使用从倾斜传感器40或者LiDAR30输出的传感数据来判断本机姿态。倾斜传感器40既可以由汽车具备，例如被包含在汽车导航***中，也可以由汽车上设置的相机(以下也称为车载相机)具备。
在此所谓本机姿态，指的是汽车的姿态、或者车载相机或相当于车载相机的车载的传感器类(后述的第3传感器)的姿态。车载相机与汽车之间的相对的姿态能够在向汽车设置车载相机时取得，因此只要使用传感数据知道了一方的姿态，就能够也计算出另一方的姿态。例如本机姿态能够由能够关于汽车的车体定义的固定的虚拟线或者虚拟面、例如上述的姿态基准面相对于铅直线的倾斜的方向及大小来表现。作为本机姿态的表现方式的其他例，也可以是能够关于车载相机定义的固定的虚拟线或者虚拟面、例如与光轴平行的线或者与图像传感器的受光面平行的面相对于铅直线的倾斜的方向及大小。此外，本机姿态判断部12在判断本机姿态中使用的不限定于这些传感数据。例如，也可以使用从位置/姿态取得部50提供的汽车的当前的位置的信息、以及地图信息60所包含的表示地形或者道路的形状的信息。此外，本公开中的汽车(移动体)的位置这样的表现，指的是移动体所占的空间内能够任意设定的基准位置，例如该基准位置也可以是车载相机或者后述的第3传感器的位置。
区域变更部13基于作为周边状况判断部11的判断结果的周边状况、以及作为本机姿态判断部12的判断结果的移动体的本机姿态，判断移动面相对于本机姿态的倾斜。然后，与判定出的该倾斜相应地，决定从车载相机输入的传感数据即该例中图像数据的、设为物体检测处理部14所进行的图像识别处理对象的部分(以下也简称为处理对象部分)的区域。区域变更部13无论本机姿态是汽车的姿态或者车载相机的姿态中的哪一个，都能够决定与作为判定结果的该倾斜对应的处理对象部分。例如在实现区域变更部13的程序中，规定了与作为判定结果的倾斜的方向相应地使处理对象部分移动的方向，与判定出的倾斜的方向相应地决定处理对象部分。或者也可以是，在信息处理装置10所具备的存储器中，保持着表示作为判定结果的倾斜的方向及大小与表示图像数据所示的图像区域上的处理对象部分的坐标之间的对应的表，判定出倾斜的区域变更部13通过参照该表并取得所对应的坐标，来决定处理对象部分。
例如也可以从区域变更部13向物体检测处理部14输入由区域变更部13以保留该处理对象部分的方式实施了上述的剪裁后的图像数据。或者，也可以从区域变更部13向物体检测处理部14输入未被剪裁的图像数据、以及坐标等表示处理对象部分的范围的信息，也可以由物体检测处理部14进行剪裁，或者仅仅针对该信息所示的处理对象部分的范围执行图像识别处理。在处理对象部分发生了变更的情况下，既可以将表示新的处理对象部分的坐标等的信息从区域变更部13向物体检测处理部14输入，也可以输入用于使处理对象部分偏移的信息(方向、移动量)。
另外，区域变更部13也可以进而决定处理对象部分的大小。被决定的处理对象部分的大小也包含是图像数据的区域整体的情况(与不执行剪裁的决定等同)。处理对象部分的大小例如与判定出的上述的倾斜的大小相应地被决定。或者，也可以与移动体的速度、移动体的周围或路径前方的明亮度或者它们的变化或差异相应地被决定。这些信息是可能对物体检测的可靠性造成影响的因素。举出一个具体例，在立体停车场中，尤其是好天气时的白天等，内部与外部相比明亮度有时大为不同。因此，在由朝向立体停车场的出口的汽车的车载相机摄影的图像之中，出口外存在的检测对象的物体有时无法以能够通过图像识别处理识别的方式表现。以无论在与这些倾斜、速度或者明亮度相关的条件中的哪一个条件的情况下，下述的物体检测处理部14所进行的图像识别处理都按照移动体的安全移动所需的可靠性被执行的方式被决定。更具体而言，区域变更部13在通过当前的大小的处理对象部分无法得到所需的可靠性的情况下，扩大处理对象部分。此外，移动体的速度例如在汽车中从根据由传感器计测的车轴的转速计算车速的ECU被取得等，也可以从与移动体的种类相应的速度计测机构被取得。或者，也可以使用基于移动体所具备的定位***中取得的位置信息或者根据由相机摄影的图像估计的光流而计算的速度。明亮度既可以基于移动体上设置的相机所摄影的图像的数据被取得，也可以使用由移动体所另行具备的明亮度传感器输出的传感数据。此外，图像识别处理的可靠性下降的因素不限定于上述，作为其他例可以举出路径的形状、硬度等状态、或者风导致的移动体的摇动或者振动。
另外，区域变更部13在如上所述扩大处理对象部分的情况下，也可以根据需要延长物体检测处理部14所进行的图像识别处理的周期。被决定的图像处理的周期向后述的处理周期变更部15通知。再另外，区域变更部13也可以不仅延长处理周期而且决定使移动体减速，或者替代延长处理周期而决定使移动体减速。决定了该减速的区域变更部13针对控制移动体的速度的控制装置、例如控制驱动机构的ECU或者制动器ECU、或者其双方输出减速的指示或者请求。
物体检测处理部14针对区域变更部13所决定的图像数据的处理对象部分，执行图像检测或者分割等的图像识别处理。例如，物体检测处理部14包含通过图像识别的训练而得到的学习完成模型，该图像识别处理通过将图像数据的上述的处理对象部分向该学习完成模型输入从而被执行。物体检测处理部14所输出的图像识别处理的结果例如由汽车的辅助驾驶***或者自动驾驶***在驾驶控制或者用于向使用者通知的判断中被利用。
处理周期变更部15接受来自上述区域变更部13的通知，依照该通知使物体检测处理部14所进行的图像识别处理的处理周期变更。另外，关于该变更的执行，从处理周期变更部15向下述的速度变更通知部16通知。
从处理周期变更部15接受了该通知的速度变更通知部16向汽车的使用者提示与该变更相关的信息。该信息例如为了进行关于处理周期已变更及其影响的警告而被提示。或者，也可以促使使用者进行某种操作等行动。信息的提供例如使用监视器或者仪表板等车载的显示装置上的显示、或者从扬声器发出的警告音或者语音来进行。
此外，在上述的说明中，举出了作为功能性的构成要素所取得的传感数据的来源的几种传感器，但对各功能性的构成要素而言，上述的传感数据的来源不仅限定于图3所示。例如，车载相机的图像传感器能够作为向周边状况判断部11提供传感数据的周边状况传感器20发挥功能，但其传感数据也可以在本机姿态判断部12所进行的本机姿态的判定中使用，进而也是成为图像识别的对象的数据。另外，LiDAR所输出的数据如上所述既是周边状况的传感数据，还是在移动体的姿态的判断中使用的数据，进而也可以作为点群数据，替代上述的图像数据或者与上述的图像数据一起，在位于移动路径前方的物体的检测中被使用。在还包含上述未例示的传感器(例如各种深度传感器)在内的各种传感器中，也包含通过所输出的传感数据彼此的组合、或者与位置信息及地图信息等其他信息的组合来利用的情况在内，输出在周边状况的判断中使用的传感数据的传感器意味着本公开中的第1传感器，输出在本机姿态的判断中使用的传感数据的传感器意味着本公开中的第2传感器，输出作为移动体的移动方向前方的物体检测处理的对象的传感数据的传感器意味着本公开中的第3传感器。
[2.动作]
接下来，关于如上构成的信息处理装置10的动作，接着以搭载于汽车的情况为例进行说明。图4是表示信息处理装置10所执行的用于决定作为图像识别处理的对象的数据的处理对象部分的处理的次序例的流程图。
(S40)信息处理装置10从第1传感器、第2传感器及第3传感器取得传感数据(以下，将分别取得的传感数据也称为第1传感数据、第2传感数据、第3传感数据)。也可以取得来自位置\姿态取得部50或者地图信息60的信息。另外，在该例中，信息处理装置10还取得汽车的速度或者汽车周边的明亮度的信息。
(S41)周边状况判断部11基于第1传感数据，判断汽车的周边状况、也就是说汽车的路径前方的移动面的形状等。
(S42)本机姿态判断部12基于第2传感数据，判断本机姿态。
(S43)区域变更部13基于周边状况及本机姿态，判断汽车的路径前方的移动面相对于本机姿态是否倾斜。在不倾斜的情况下(S43：否)，第3传感数据的处理对象部分不变更而处理对象部分的决定的次序结束。也就是说，如果第3传感数据是图像数据，则对该图像数据之中的针对汽车的路径前方的移动面相对于本机姿态不倾斜的状况设定完成的处理对象部分，由物体检测处理部14执行图像识别处理。在该例中，该设定完成的处理对象部分设为是图像的上下方向中央附近。图5A是表示从车载相机向信息处理装置10输入的第3传感数据所示的图像的例子的示意图。图5B是表示图5A所示的图像的区域整体之中的上述的设定完成的图像识别处理的处理对象部分的例子的示意图。在图5B中，分别沿着上下端的施以点影的矩形的区域例如表示通过剪裁处理被去除的部分，未施以点影的在剪裁处理前的图像中位于上下方向中央附近的部分是由物体检测处理部14进行图像识别处理的对象。在倾斜的情况下(S43：是)，处理向步骤S44前进。
(S44)区域变更部13取得步骤S43中判定出的倾斜的方向。在该例中，如果汽车向步骤S43中被判断为倾斜的移动面前进，则将车体的前端比当前的位置向上的倾斜的方向作为正方向。换言之，将对汽车而言向后转的方向作为正方向。具体而言，是路径从水平或者下坡在前方变化为上坡的情况、下坡在前方变化为水平的情况、上坡的斜度在前方变陡的情况、以及下坡的斜度在前方变缓的情况。在该例中，如果汽车向步骤S43中被判定为倾斜的移动面前进，则另外将车体的前端比当前的位置向下的倾斜的方向作为负方向。换言之，将对汽车而言向前转的方向作为正方向。具体而言，是路径从上坡在前方变化为水平或者下坡的情况、从水平在前方变化为下坡的情况、下坡的斜度在前方变陡的情况、以及上坡的斜度在前方变缓的情况。也就是说，在图2B所示的例子中，倾斜的方向是正方向，在图2C所示的例子中，倾斜的方向是负方向。在正方向的情况下，处理向步骤S45前进。在负方向的情况下，处理向步骤S46前进。
(S45)区域变更部13使图像识别处理的处理对象部分向上偏移。处理向步骤S47前进。
(S46)区域变更部13使图像识别处理的处理对象部分向下偏移。处理向步骤S47前进。
(S47)区域变更部13判定是否有图像识别处理的可靠性下降的因素。
例如，区域变更部13进而针对在步骤S43中判定的倾斜，判定其大小是否处于规定的范围以内，在规定的范围以内的情况下(S47：否)，处理对象部分的决定的次序结束。在倾斜的大小超过规定的范围的情况下(S47：是)，处理向步骤S48前进。
另外，例如，区域变更部13也可以判定在步骤S40中由信息处理装置10取得的汽车的车速是否处于规定的范围以内。在车速处于规定的范围以内的情况下(S47：否)，处理对象部分的决定的次序结束。在车速超过规定的范围的情况下(S47：是)，处理向步骤S48前进。
另外，例如，区域变更部13也可以判定在步骤S40中由信息处理装置10取得的汽车的周围的明亮度是否为规定的照度以下。在明亮度超过规定的照度的情况下(S47：否)，处理对象部分的决定的次序结束。在明亮度为规定的照度以下的情况下(S47：是)，处理向步骤S48前进。
(S48)区域变更部13扩大图像识别处理的处理对象部分。
以上是针对向信息处理装置10的输入进行的处理的一个次序例。该处理通过由上述的信息处理装置10的构成要素执行各自的功能从而实现。
此外，为了易于理解次序的整体，在上述的例子中没有包含如下步骤，但在信息处理装置10所进行的该处理中，在步骤S43为是的情况下，也可以包含决定与倾斜的大小相应的处理对象部分的偏移量(或者位置)的步骤。另外，在步骤S47为是的情况下，也可以包含与倾斜的大小、车速或者照度相应地决定处理对象部分的扩大率的步骤。另外，在步骤S47为是的情况下，也可以还包含由处理周期变更部15针对物体检测处理部14延长图像识别处理的周期，另外还包含关于该图像识别处理的处理周期的变更由速度变更通知部16向使用者提示信息的步骤。另外，在没有倾斜的情况下(S43为否)，也可以执行有无可靠性下降的因素的判定(S47)。在有该因素的情况下(S47为是)，例如也可以在保持图像中的处理对象部分的中心位置的状态下，而向图像的上下方向的至少一方扩大。
在此，举例表示与步骤S44中判定的结果相应地在下一步骤中偏移后的图像识别处理的处理对象部分。图6A是表示在倾斜的方向是正方向的情况下从车载相机向信息处理装置10输入的第3传感数据所示的图像的例子的示意图。图6B是表示在图6A所示的图像的区域整体中，在步骤S45中向上偏移后的处理对象部分的例子的示意图。另外，图7A是表示在倾斜的方向是负方向的情况下从车载相机向信息处理装置10输入的第3传感数据所示的图像的例子的示意图。图7B是表示在图7A所示的图像的区域整体中，在步骤S46中向下偏移后的处理对象部分的例子的示意图。此外，虽然汽车在相同场所处倾斜的有无及方向不同是不太现实的，但为了表示通过与倾斜相应地使处理对象部分的位置变化从而能够近似为在图像的处理对象部分中映现的范围，作为模拟的图6A、图6B、图7A及图7B的图像例，表示与图5A及图5B的图像例相同的场所处的情景。
例如，图5B中映现在处理对象部分中的是：在汽车的路径前方相距某种程度的距离的对面的情形，设为是在该路径及其周围为了决定用于辅助驾驶或者自动驾驶的控制内容而应该被检测的距离处的物体像可能存在的部分。该部分在与倾斜相应地被偏移的图6B及图7B所示的处理对象部分中也大致同样地映现。因此，即使汽车的路径前方的移动面相对于本机姿态倾斜，也能够提供适于在决定辅助驾驶或者自动驾驶的控制内容时利用的物体检测的结果。此外，在图6B及图7B中位于图像区域的左右的4个三角形，表示不与倾斜相应地变更位置的情况下的处理对象部分的四角的位置。图6B所示的未变更位置的处理对象部分与变更了位置的处理对象部分相比，包含更近处的景色，但缺少在变更了位置的处理对象部分中包含的远方的景色。另外，在图7B所示的未变更位置的处理对象部分中，较多地映现出不可能存在检测对象的物体的建筑物的上空，但缺少图5B的处理对象部分中包含的在汽车的路径及其周围检测对象的物体可能存在的部分中的一部分。如果将未变更的这些处理对象部分作为对象进行图像识别处理，也无法提供适于在决定辅助驾驶或者自动驾驶的控制内容时利用的物体检测的结果。
像这样，信息处理装置10通过在由车载相机摄影的图像的区域内将一部分从图像识别处理的处理对象部分排除，从而削减计算量。另外，信息处理装置10通过与移动体的路径前方的移动面相对于本机姿态的倾斜相应地，变更该处理对象部分在图像区域中的位置，能够针对行进方向的合适的范围，执行其结果在决定辅助驾驶或者自动驾驶的控制内容中被利用的物体检测。
(变形及其他补充事项)
本公开的一个或者多个方式所涉及的信息处理装置、程序及信息处理方法不限定于上述的实施方式的说明。只要不脱离本公开的宗旨，将本领域技术人员想到的各种变形施加于上述实施方式而得到的方式也可以被包含于本公开的方式。下面举出这样的变形例、以及针对实施方式的说明的其他补充事项。
(1)在实施方式的说明中使用了移动体是汽车的例子，但本公开所涉及的技术也能够适用于除了汽车以外的各种移动体。例如，也能够适用于铁路车辆及其他在轨道上行驶的车辆、船、飞行器等除了汽车以外的交通工具。另外，本公开所涉及的技术也能够适用于无人机等非交通工具的移动体。这些移动体之中的像船、飞行器及无人机那样不在路面上移动的移动体的路径前方的“移动面”不是如上所述的近似于路面的虚拟的平面，而例如基于沿着被设定的路径行进的移动体的表面的被估计的轨迹来掌握。此外，本公开中的汽车的概念包含三轮及两轮的汽车以及通过履带行驶的车辆。
(2)实施方式的说明中示出的移动体的路径前方的移动面相对于本机姿态的倾斜，仅是能够通过绕相对于移动体的直行方向为左右方向的轴的旋转(俯仰)角来表现的倾斜，但本公开所涉及的技术的适用不限定于此。本公开所涉及的技术也能够适用于：与能够通过绕移动体的直行方向的轴的旋转(横滚)角来表现的倾斜相应地决定、变更处理对象部分。图8是表示移动体的路径前方的移动面相对于本机姿态的倾斜向顺时针方向倾斜的情况下决定的处理对象部分的例子的示意图。由图8可知，在该情况下，处理对象部分也以覆盖从图5A中例示的处理对象部分向顺时针旋转的部分的方式被决定。另外，本公开所涉及的技术也能够适用于移动体的路径前方的移动面相对于本机姿态的倾斜通过俯仰角及横滚角的合成来表现的情况，在该情况下，如图8所示的白色的平行四边形的处理对象部分的位置更接近于图像区域的上端或者下端。
(3)在实施方式的说明中，关于移动体的路径前方的移动面相当于本机姿态的倾斜，使用由于沿着地形延伸的路面的倾斜的变化而产生的倾斜为例进行了说明，但不限定于此。例如也有像船或者无人机那样，由于水或者空气的阻力、波浪或者风等的外力而发生该倾斜的情况。另外，移动中的直升飞机及无人机由于其动作原理，成为向行进方向倾斜的姿态。另外，也有由于移动体上乘坐的乘坐者的人数或者装载的行李的重量及配置而导致的本机姿态的变化成为该倾斜的原因的情况。本公开所涉及的技术也能够利用于应对这样的倾斜。
(4)在实施方式的说明中，关于由车载相机摄影的图像，为了易于图示及理解，对像的形状的失真少的由通常的透镜摄影的图像进行图示并用作例子，但本公开的技术的适用不限定于此。本公开所涉及的技术也可以与使用被分类为广角或者超广角的透镜、或者鱼眼透镜摄影的图像组合使用。另外，在该情况下，即使是相同物体的像，在映现在图像的中央附近的情况与映现在周边部分的情况下形状大为不同。为了能够适当地对应于这样的像的形状的变形来进行图像识别，物体检测处理部14也可以包含多个学习完成模型，例如与图像区域整体中的处理对象区域的位置相应地，切换为特别为了各位置处的图像识别而训练的学习完成模型并执行图像识别。
(5)实施方式中，关于第3传感数据，使用了从图像传感器输出的图像数据的例子进行了说明，但第3传感数据不限定于图像数据。本公开的技术例如也能够适用于像从LiDAR输出的点群数据那样，表示空间中的位置的其他种类的数据。
(6)作为学习完成模型，也可以使用多层神经网络。在该情况下，在学习完成模型的中间层间，彼此针对大小相互不同的检测框执行处理。在该情况下，各中间层的检测框有的是适于检测从移动体(上设置的相机等第3传感器)相距规定的距离处存在的检测对象的物体像的大小。例如设为：从输入层起第3个中间层的检测框的大小适于检测30米前方的行人，第5个中间层的检测框更小，适于检测80米前方的行人。像这样，在从移动体(或者第3传感器)到路径前方的移动面中的相对于本机姿态倾斜的部分为止的距离已知，而且，学习完成模型的各层所适合的相距移动体(或者第3传感器)的距离已知的情况下，也可以在学习完成模型的各层之中，选择性地针对适于与到开始位置的距离相比位于更前方的移动面相对于本机姿态倾斜的范围的层，与倾斜相应地决定处理对象部分。
(7)实施方式中，关于与移动体的路径前方的移动面相对于本机姿态的倾斜相关的判定，使用了利用第1传感数据和第2传感数据双方的例子(例如图4的步骤S43)进行了说明。该判定也可以仅使用第1传感数据或者第2传感数据中的任一方进行。例如，也可以使用通过针对作为第1传感数据的图像数据进行分割而得到的路面区域的判定结果，在比映现出水平的路面的某一定的区域更靠上部也存在被判定为规定大小以上的路面区域的像素的情况下判定为正的倾斜，或者仅在比该一定的区域更靠下部存在被判定为规定的大小以下的路面区域的像素的情况下判定为负的倾斜。另外，例如，作为第1传感数据，例如由立体相机取得移动体的路径前方的深度图像的数据，基于根据该深度图像中映现的到路面为止的距离的变化而计算的倾斜来执行判定。另外，例如关于横滚角的倾斜，也可以基于作为第1传感数据的对移动体的前方进行摄影而得到的图像数据中包含的铅直成分或者水平成分的图像区域中的方向来执行判定。另外，例如在有能够利用的3维地图信息的情况下，也可以使用该3维地图信息、以及从定位***输出的表示移动体的当前的位置的数据(第2传感数据)，来执行该判定。另外，也可以使用以能够根据作为第1传感数据的图像数据判定移动面相对于本机姿态的倾斜的方式进行学习而得到的机器学习模型，来执行该判定。
(8)在实施方式的说明中，说明了移动面是平面的例子。但是，移动面也可以是台阶状的面。例如，基于从LiDAR得到的点群信息，计算台阶的斜度。然后，基于计算出的斜度及移动体的姿态，计算移动面相对于移动体的姿态的倾斜。
(9)在实施方式的说明中，说明了输出在物体检测处理中使用的传感数据的第3传感器被搭载的装置是移动体的例子。但是，该装置也可以不移动，而是至少包含第3传感器的可动部分的姿态可变的装置。例如，也可以是相机的姿态可变的监视相机***。此外，在这样的装置的情况下，替代实施方式中使用的移动面的概念而使用第3传感器的传感区域中包含的底面(包含地面或者台阶或自动扶梯的阶梯面的情况)、壁面或者顶面等各种面的概念，替代本机姿态的概念而使用第3传感器或者可动部分的姿态的概念。
(10)上述的各信息处理装置所具备的构成要素的一部分或者全部也可以由1个***LSI(Large Scale Integration：大规模集成电路)构成。***LSI是将多个构成部集成在1个芯片上来制造的超多功能LSI，具体而言，是包含微处理器、ROM(Read-Only Memory：只读存储器)、RAM(Random Access Memory：随机访问存储器)等而构成的计算机***。在ROM中，存储有计算机程序。通过微处理器依照该计算机程序而动作，***LSI达成其功能。
此外，在此设为***LSI，但根据集成度的差别，也有时称为IC、LSI、超级LSI、特级LSI。另外，形成集成电路的方法不限于LSI，也可以由专用电路或者通用处理器实现。也可以利用在制造LSI后能够编程的FPGA(Field Programmable Gate Array：现场可编程逻辑门阵列)，或者可重构LSI内部的电路单元的连接及设定的可重构处理器。
这样的***LSI等例如能够被组装至数字相机、智能电话等带相机的便携信息终端、或者后视监视器***、包含物体检测功能的先进辅助驾驶***等各种车载***中。
进而，如果由于半导体技术的进步或者衍生的其他技术而出现了形成置换LSI的集成电路的技术，当然也可以使用该技术进行功能模块的集成。生物技术的适用等是有可能的。
(11)另外，上述的各信息处理装置的构成要素例如也可以作为由各自具备处理器及存储器且能够相互通信的多台计算机协调动作、提供与上述的各信息处理装置同样的功能的信息处理***的构成要素来实现。在该情况下，这些构成要素例如通过这些计算机所具备的处理器的一部分或全部执行在这些计算机所具备的存储器的一部分或全部中存储的1个或多个程序从而被实现。
(12)本公开的一个方式也可以不仅是上述的各信息处理装置，而且是以信息处理装置所包含的特征性的功能构成要素作为步骤的信息处理方法。该信息处理方法例如是使用图4的流程图如上所述的信息处理方法。此外，本公开的一个方式也可以是使计算机执行这样的信息处理方法中包含的特征性的各步骤的计算机程序。此外，本公开的一个方式也可以是记录了这样的计算机程序的计算机可读取的非易失性的记录介质。
工业实用性
本公开所涉及的技术能够在用于使用传感数据的图像识别的信息处理中广泛利用，例如被用于进行辅助驾驶或者自主移动的移动体的周围及行进方向的物体检测等。
附图标记说明：
1 物体检测***
10 信息处理装置
11 周边状况判断部
12 本机姿态判断部
13 区域变更部
14 物体检测处理部
15 处理周期变更部
16 速度变更通知部
20 周边状况传感器
30 LiDAR
40 倾斜传感器
50 位置\姿态取得部
60 地图信息
70 速度、照度。

Claims (11)

1.一种具备处理器的信息处理装置，所述处理器构成为：
取得从第1传感器输出的用于判断设置有第3传感器的装置的周边状况的第1传感数据、以及从第2传感器输出的用于判断所述装置的姿态的第2传感数据中的至少1个，
基于取得的所述第1传感数据及所述第2传感数据中的至少1个，判定所述第3传感器的传感方向上的面相对于所述姿态的倾斜，
与所述倾斜相应地，决定从所述第3传感器被输出且用于所述传感方向上的物体检测处理的第3传感数据的处理对象部分，
使用所述第3传感数据的被决定的所述处理对象部分，执行所述物体检测处理。
2.如权利要求1所述的信息处理装置，
所述处理器，
在所述倾斜处于规定的范围以内的情况下，将所述第3传感数据的一部分决定为所述处理对象部分，
在所述倾斜超过所述规定的范围的情况下，将所述第3传感数据的比所述一部分更大的部分决定为所述处理对象部分，
进而，在所述倾斜超过所述规定的范围的情况下，使所述物体检测处理的处理周期比所述倾斜处于所述规定的范围以内的情况更长。
3.如权利要求2所述的信息处理装置，
所述装置是移动体，
所述处理器进而在所述倾斜超过所述规定的范围的情况下，向所述移动体请求减速。
4.如权利要求2或者3所述的信息处理装置，
所述装置是移动体，
所述处理器进而在所述倾斜超过所述规定的范围的情况下，向所述移动体的使用者通知警告。
5.如权利要求2～4中任一项所述的信息处理装置，
进而，与对所述物体检测处理的可靠性造成影响的要素相应地，变更所述处理对象部分的大小。
6.如权利要求1～5中任一项所述的信息处理装置，
所述物体检测处理通过将所述处理对象部分输入至1个以上的学习完成模型从而被执行。
7.如权利要求6所述的信息处理装置，
所述1个以上的学习完成模型是多个学习完成模型，
所述处理器向从所述多个学习完成模型中与所述倾斜相应地选择的学习完成模型，输入所述处理对象部分。
8.如权利要求6或者7所述的信息处理装置，
所述学习完成模型是多层神经网络，
所述处理器，
进而取得从所述装置到所述倾斜的起点为止的距离，
关于与所述距离相应的所述学习完成模型的层，决定所述处理对象部分。
9.如权利要求1～8中任一项所述的信息处理装置，
所述处理器通过与所述倾斜相应地使所述处理对象部分偏移，从而决定所述处理对象部分。
10.一种程序，在具备处理器的信息处理装置中通过由所述处理器执行从而使所述处理器进行：
取得从第1传感器输出的用于判断设置有第3传感器的装置的周边状况的第1传感数据、以及从第2传感器输出的用于判断所述装置的姿态的第2传感数据中的至少1个，
基于取得的所述第1传感数据及所述第2传感数据中的至少1个，判定所述第3传感器的传感方向上的面相对于所述姿态的倾斜，
与所述倾斜相应地，决定从所述第3传感器被输出且用于所述传感方向上的物体检测处理的第3传感数据的处理对象部分，
使用所述第3传感数据的被决定的所述处理对象部分，执行所述物体检测处理。
11.一种信息处理方法，
处理器进行：
取得从第1传感器输出的用于判断设置有第3传感器的装置的周边状况的第1传感数据、以及从第2传感器输出的用于判断所述装置的姿态的第2传感数据中的至少1个，
基于取得的所述第1传感数据及所述第2传感数据中的至少1个，判定所述第3传感器的传感方向上的面相对于所述姿态的倾斜，
与所述倾斜相应地，决定从所述第3传感器被输出且用于所述传感方向上的物体检测处理的第3传感数据的处理对象部分，
使用所述第3传感数据的被决定的所述处理对象部分，执行所述物体检测处理。
CN201980005343.8A 2018-10-18 2019-08-06 信息处理装置、程序及信息处理方法 Pending CN111417959A (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201862747278P 2018-10-18 2018-10-18
US62/747278 2018-10-18
JP2019-091583 2019-05-14
JP2019091583A JP7326018B2 (ja) 2018-10-18 2019-05-14 情報処理装置、情報処理方法及びプログラム
PCT/JP2019/030794 WO2020079927A1 (ja) 2018-10-18 2019-08-06 情報処理装置、プログラム及び情報処理方法

Publications (1)

Publication Number Publication Date
CN111417959A true CN111417959A (zh) 2020-07-14

Family

ID=70388324

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980005343.8A Pending CN111417959A (zh) 2018-10-18 2019-08-06 信息处理装置、程序及信息处理方法

Country Status (3)

Country Link
EP (1) EP3869451A4 (zh)
JP (1) JP7326018B2 (zh)
CN (1) CN111417959A (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2022074700A1 (zh) * 2020-10-05 2022-04-14
JP7387678B2 (ja) * 2021-06-22 2023-11-28 株式会社クボタ 農業機械

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170162056A1 (en) * 2015-12-03 2017-06-08 Robert Bosch Gmbh Detection of an open area
US20170277183A1 (en) * 2016-03-24 2017-09-28 Panasonic Intellectual Property Corporation Of America Device, method, and program for detecting object
CN107452035A (zh) * 2016-06-01 2017-12-08 纬创资通股份有限公司 车道线图像分析方法、装置及其计算机可读取式媒体
US20180066941A1 (en) * 2016-09-08 2018-03-08 Aisin Seiki Kabushiki Kaisha Image processing system for vehicle
US20180139368A1 (en) * 2015-06-04 2018-05-17 Sony Corporation In-vehicle camera system and image processing apparatus
US20180218229A1 (en) * 2017-01-27 2018-08-02 Gentex Corporation Image compensation for motorcycle banking

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010162975A (ja) * 2009-01-14 2010-07-29 Fujitsu Ten Ltd 車両制御システム
US8630806B1 (en) * 2011-10-20 2014-01-14 Google Inc. Image processing for vehicle control
US9145140B2 (en) * 2012-03-26 2015-09-29 Google Inc. Robust method for detecting traffic signals and their associated states
JP6119198B2 (ja) * 2012-11-07 2017-04-26 株式会社デンソー 車載レーダ装置
KR101641490B1 (ko) * 2014-12-10 2016-07-21 엘지전자 주식회사 차량 운전 보조 장치 및 이를 구비한 차량
KR20180061686A (ko) * 2016-11-30 2018-06-08 삼성전자주식회사 자율 주행 경로 생성 방법 및 그 장치

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180139368A1 (en) * 2015-06-04 2018-05-17 Sony Corporation In-vehicle camera system and image processing apparatus
US20170162056A1 (en) * 2015-12-03 2017-06-08 Robert Bosch Gmbh Detection of an open area
US20170277183A1 (en) * 2016-03-24 2017-09-28 Panasonic Intellectual Property Corporation Of America Device, method, and program for detecting object
CN107452035A (zh) * 2016-06-01 2017-12-08 纬创资通股份有限公司 车道线图像分析方法、装置及其计算机可读取式媒体
US20180066941A1 (en) * 2016-09-08 2018-03-08 Aisin Seiki Kabushiki Kaisha Image processing system for vehicle
US20180218229A1 (en) * 2017-01-27 2018-08-02 Gentex Corporation Image compensation for motorcycle banking

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
CONG PANG等: "Adaptive obstacle detection for mobile robots in urban environments using downward-looking 2D LiDAR", 《SENSORS》, vol. 18, no. 06, 29 May 2018 (2018-05-29), pages 1 - 18 *

Also Published As

Publication number Publication date
JP2020064603A (ja) 2020-04-23
JP7326018B2 (ja) 2023-08-15
EP3869451A1 (en) 2021-08-25
EP3869451A4 (en) 2021-12-08

Similar Documents

Publication Publication Date Title
US20240132154A1 (en) Road profile along a predicted path
US11657604B2 (en) Systems and methods for estimating future paths
CN108692699B (zh) 用于防撞辅助的车辆和方法
KR101768500B1 (ko) 운전 보조 장치 및 그 제어방법
CN112347829A (zh) 利用障碍物和车道检测来确定环境中对象的车道分配
KR101855940B1 (ko) 차량용 증강현실 제공 장치 및 그 제어방법
CN109466542A (zh) 车辆控制装置、车辆控制方法及存储介质
JP7472832B2 (ja) 車両制御装置、車両制御方法及び車両制御用コンピュータプログラム
US11341670B2 (en) Information processing device, information processing method, and recording medium
CN111417959A (zh) 信息处理装置、程序及信息处理方法
JP6595647B2 (ja) 走行制御装置、車両および走行制御方法
JP7139300B2 (ja) 認識装置、認識方法、およびプログラム
CN116057578A (zh) 利用相机进行车辆环境建模
JP7348874B2 (ja) 傾斜角検出装置及び制御装置
US20240223915A1 (en) Systems and methods for downsampling images
WO2024069689A1 (ja) 運転支援方法及び運転支援装置
JP2022180040A (ja) 距離推定装置、距離推定方法、および距離推定用コンピュータプログラム
JP2024030951A (ja) 車両制御装置、車両制御方法及び車両制御用コンピュータプログラム
JP2024060316A (ja) 異常検知装置、異常検知方法及び異常検知用コンピュータプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination