CN105934774A - 物体检测装置、物体检测方法以及移动机器人 - Google Patents

物体检测装置、物体检测方法以及移动机器人 Download PDF

Info

Publication number
CN105934774A
CN105934774A CN201480073975.5A CN201480073975A CN105934774A CN 105934774 A CN105934774 A CN 105934774A CN 201480073975 A CN201480073975 A CN 201480073975A CN 105934774 A CN105934774 A CN 105934774A
Authority
CN
China
Prior art keywords
mentioned
image
photographing unit
region
detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201480073975.5A
Other languages
English (en)
Inventor
平松义崇
秋山靖浩
中村克行
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Publication of CN105934774A publication Critical patent/CN105934774A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/80—Recognising image objects characterised by unique random patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/90—Identifying an image sensor based on its output data
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S901/00—Robots
    • Y10S901/01—Mobile robot
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S901/00—Robots
    • Y10S901/46—Sensing device
    • Y10S901/47—Optical

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Manipulator (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

物体检测装置具备照相机姿势计算部、区域设定部、处理方法决定部、图像生成部以及物体检测部，上述照相机姿势计算部取得与设置在移动体上的照相机的姿势相关的信息，上述区域设定部根据上述照相机的姿势将通过上述照相机拍摄的图像上的场所和拍摄的空间相关联，根据上述关联在上述图像上设定多个检测区域，上述处理方法决定部针对上述多个检测区域分别决定包括分辨率的设定的图像处理方法，上述图像生成部将上述各检测区域内的图像转换为所设定的上述分辨率并生成区域图像，上述物体检测部使用各上述区域图像检测物体。

Description

物体检测装置、物体检测方法以及移动机器人
技术领域
本发明涉及物体检测装置、物体检测方法以及移动机器人，特别涉及机器人等移动体从实际世界空间内检测出物体的技术。
背景技术
近年来，在汽车中盛行一种通过照相机拍摄车辆前方并检测位于该车辆前方的物体的研究。例如，在专利文献1中，提出一种车载用的复眼照相机装置，即在将具有不同特性的光学滤波器配置在摄像元件上面的复眼照相机中，光学滤波器被分割为多个区域，所拍摄的图像按照每个区域具有不同的特性，对各个区域进行与上述特性对应的图像处理。
现有技术文献
专利文献
专利文献1：日本特开2013-225289号公报
发明内容
发明要解决的问题
专利文献1的发明以4轮的汽车作为前提，在摄像元件上固定配置光学滤波器，因此在汽车上搭载有复眼照相机装置的状态下，上述多个区域始终被固定在图像上。在这种能够无视滚动(roll)方向的倾斜的移动体的情况下，摄像元件的上部、即图像的上部拍摄远离该车而存在的物体、比该车更高的物体。另一方面，摄像元件的下部、即图像的下部拍摄存在于该车附近的物体，例如本车的引擎盖(bonnet)和路面。即，在能够无视滚动方向的倾斜的移动体的情况下，图像的场所和所拍摄的空间关联，上述多个区域在图像上即使是固定的也没有问题。但是，如一轮车和二轮车那样，在产生滚动方向的倾斜的移动体中，在向滚动方向倾斜时拍摄上下倾斜的图像。即，在将专利文献1的发明适用于无法无视滚动方向的倾斜的移动体时，通过照相机拍摄的图像的场所和拍摄的空间没有关联，因此进行不适当处理的可能性增加。
本发明是为了解决上述问题而提出的，目的在于提供一种物体检测装置和物体检测方法，即使是无法无视滚动方向的倾斜的移动体，也能够将图像内的场所和拍摄的空间正确地关联，并能够以高检测率检测物体，从而能够提高物体检测的性能。
用于解决问题的方法
本发明的物体检测装置例如能够采用请求范围中记载的结构。具体地说，物体检测装置具备照相机姿势计算部、区域设定部、处理方法决定部、图像生成部以及物体检测部，上述照相机姿势计算部取得与设置在移动体上的照相机的姿势相关的信息，上述区域设定部根据上述照相机的姿势将通过上述照相机拍摄的图像内的场所和拍摄的空间相关联，根据上述关联在上述图像上设定多个检测区域，上述处理方法决定部针对上述多个检测区域分别决定包括分辨率的设定的图像处理方法，上述图像生成部将各上述检测区域内的图像转换为所设定的上述分辨率并生成区域图像，上述物体检测部使用各上述区域图像来检测物体。
发明的效果
根据本发明，物体检测装置计算照相机的姿势，并根据计算出的照相机的姿势将图像内的场所和拍摄的空间相关联，根据上述关联将通过照相机拍摄的图像分割为多个区域，并设定每个区域的分辨率，所以即使是照相机的倾斜大的情况下，也能够以高检测率来检测物体。
附图说明
图1A是表示本发明第一实施例的物体检测装置的结构的框图。
图1B是表示图1A的信息处理装置的硬结构的框图。
图2是表示图1A的信息处理部的功能结构的框图。
图3是表示在第一实施例中移动机器人检测物体的动作的流程图。
图4是与图3的流程图对应的时序图。
图5A是表示图3的步骤S302的通过第一照相机在当前定时Tn拍摄的图像(01-2)的一例的图。
图5B是表示图3的步骤S303的在定时Tn-1拍摄的图像的物体信息(00-3)的一例的图。
图6是表示实际世界的坐标系和第二照相机的坐标系之间的关系的图。
图7A是表示根据图3的步骤S303的在前一定时Tn-1得到的物体信息而生成的第一障碍图的一例的图。
图7B是表示根据在前一定时Tn-1无法识别的区域而生成的第二障碍图的图。
图7C是从Yw轴上方观察图7B的图。
图7D是表示最终的障碍图的例子的图。
图8是表示图3的步骤304的根据第一照相机的姿势来设定通过第一照相机拍摄的图像内的多个检测区域的动作的流程图。
图9A是表示图3的步骤S305的多个空间Si被配置在世界坐标系上的情况的图。
图9B是表示从世界坐标系的Yw轴上方观察图9A的空间Si的情况以及从Xw轴上方观察图9A的空间Si的情况的图。
图10A是表示障碍图的一例的图。
图10B是表示配置在世界坐标系上的空间Si的图。
图10C是表示根据图10A所示的障碍图将图10B所示的空间Si进行了变形后的空间Si’的图。
图10D是表示配置在世界坐标系上的空间Si的另外的例子的图。
图10E是表示根据图10A所示的障碍图将图10D所示的空间Si进行了变形后的空间Si’的图。
图11A是表示通过第一照相机拍摄包括某个空间Si’的范围的情况的图。
图11B是表示在所拍摄的图像I中相当于空间Si’的检测区域Ci的图。
图11C是表示关于通过第一照相机拍摄到的图像(01-2)而计算出的检测区域Ci的例子的图。
图12是表示图3的步骤S306的动作流程的图。
图13A是表示以预定的像素数在图像的拍摄面的横向拍摄在某个空间Si’内配置在离照相机最远的位置的物体的情况的图。
图13B是表示关于与图13A相同的物体在纵向拍摄图像的情况的图。
图14是表示关于通过第一照相机拍摄的图像(01-2)由物体检测部进行了物体检测处理的结果的图。
具体实施方式
以下，使用附图说明本发明的实施方式。另外，在各个附图中，标注相同标记的结构要素具有相同的功能。
图1A是表示本发明第一实施例的物体检测装置1000的结构的框图。图1B是表示图1A的信息处理装置的硬件结构的框图。物体检测装置1000具备在路径移动的移动体(移动机器人)100和显示装置140。在本实施方式中，移动体100是行驶在路径中有可能产生滚动方向的倾斜的移动体。移动机器人100具备机器人本体(省略图示)、使该机器人本体在路径上移动(自主行驶)的移动机构124、搭载在该机器人本体上的第一照相机121和第二照相机122、移动体控制部123、信息处理装置125、收发装置126、存储装置127、外测定装置128以及内测定装置129。显示装置140例如是具有通信功能和带GUI功能的显示画面的平板终端。
第一、第二照相机121、122是拍摄移动机器人100的前方空间的照相机。图1A中示出了2台机器人照相机，但是也可以由第二照相机122代替第一照相机121的作用。或者也可以将第一照相机121设为2台以上。移动体控制部123控制移动机器人100所具备的各个功能部。移动机构124是根据移动体控制部123的控制而使移动机器人100自身移动的机构。信息处理装置125处理由照相机拍摄的图像，并作为检测移动机器人100的前方物体的物体检测处理部发挥功能。
作为移动机器人100的具体例，列举有通过作为移动机构124的电动机来驱动车轮而行使的电动2轮方式的人型移动机器人100。移动机构124也可以是电动一轮方式的移动机器人。
如图1B所示，信息处理装置125具备CPU131、主存储部132、辅助存储部133以及总线134。从上述131到133的各个装置通过总线134进行连接，在各装置间相互进行数据的收发。另外，也可以具备CPU131和其他的辅助运算部135。
CPU131读出存储在主存储部132或辅助存储部133中的程序，执行运算，并将运算结果输出给主存储部132、辅助存储部133、移动体控制部123。
主存储部132存储由CPU131执行的程序、由CPU131执行的运算结果、在信息处理装置125所使用的设定信息。主存储部132例如通过随机存取存储器(RAM)、只读存储器(ROM)等来实现。
辅助存储部133存储由CPU131执行的程序、由CPU131执行的运算结果、在信息处理装置125所使用的设定信息。特别以存储在主存储部132中不能存储尽的数据、即使在电源切断的状态也保持数据的目的来使用辅助存储部133。辅助存储部133例如以硬盘(HDD)等磁盘驱动器、或闪存等非易失性存储器等的单体或多个组合而构成。辅助存储部133中作为检测对象也预先设定与车、人、建筑物等的形状等的物体相关的信息。显示装置140通过具有相同功能的信息处理装置而构成。
收发装置126通过与显示装置140通信，接收从用户的显示装置140向移动机器人100的指令，将信息处理装置125的处理结果输出给显示装置140。
存储装置127存储用于移动机器人100进行移动的移动控制用的处理程序、设定信息等数据、监视对象的空间地图等。存储装置127能够使用硬盘(HDD)等存储装置来实现。另外，也可以在存储装置127中设定在辅助存储部133中设定的与物体相关的信息。
外测定装置128是用于测量表示移动机器人100的外部(实际环境)的相对位置、绝对位置的数据的外传感器，例如具备用于测定地标来测定移动机器人100的相对位置的地标检测传感器(激光测距仪等)和用于接收来自GPS卫星的电波并测定移动机器人100的绝对位置的GPS装置等。
内测定装置129是用于测量移动机器人100的内部(移动机构装置124)的车轮旋转量、通过陀螺传感器测定到的姿势(旋转3轴、平移3轴的加速度)的传感器，例如具备测量移动机器人100的车轮旋转量的旋转编码器和测量移动机器人100的姿势(旋转3轴、平移3轴的加速度)的陀螺传感器等。
移动机器人100的结构不限于这些，也可以具备移动机构、拍摄功能。
关于移动机器人100的自发移动控制的处理程序的结构以及处理动作，可以使用能够实现以下功能的处理程序的结构以及处理动作：根据外传感器和内传感器测定到的测定数据，推定在与实际环境对应的地图上的自己位置，为了追寻计划好的路径而自发在实际环境移动由此到达目的地。
图2是表示通过由信息处理装置125的CPU131执行主存储部132或辅助存储部133中存储的处理程序而实现的物体检测处理部201的功能结构的框图。物体检测处理部201具备照相机姿势计算部211、区域计算部212、处理方法决定部213、图像生成部214以及物体检测部215。
照相机姿势计算部211分别使用第二照相机122所取得的2张以上的帧图像1(第一图像)来计算第二照相机122的姿势，并根据计算出的第二照相机122的姿势、第一照相机121相对于预先计算出的第二照相机122的姿势来计算第一照相机121的姿势。另外，照相机姿势计算部211例如在判断连续的多张帧图像1的变化大的情况下、判断没有拍摄帧图像为均一颜色的前方的情况下等，判断为帧图像1不正常时，将表示帧图像异常的标志发送给区域计算部212和物体检测部215。
另外，照相机姿势计算部211也可以取得使用内测定装置129所具备的陀螺传感器测量到的第一照相机121的姿势。另外，也可以将整合了使用内测定装置129所具备的陀螺传感器测量到的姿势和使用由第二照相机122所取得的2张以上的帧图像1计算出的第一照相机121的姿势后的结果而得到的姿势作为结果来输出。
区域计算部(区域设定部)212从照相机姿势计算部211取得第一照相机121的姿势，并根据取得的姿势将第一照相机121的图像2(第二图像)内的场所和所拍摄的空间相关联，另外取得存储在主存储132中的前一帧的图像2的物体信息，并根据上述关联和取得的物体信息在通过第一照相机121拍摄的图像2的内部设定多个区域。
处理方法决定部213针对通过区域计算部212计算出的图像2的内部的多个区域分别决定包括物体检测所需要的分辨率的设定的图像处理方法。
图像生成部214分别针对通过区域计算部212计算出的图像2内的多个区域，根据包括通过处理方法决定部213决定的上述分辨率的图像处理方法进行图像处理，生成区域图像。
物体检测部215从照相机姿势计算部211取得表示帧图像异常的标志、从图像生成部214取得多个区域图像，根据物体信息分别对图像2内的区域图像检测物体，将得到的检测结果和在以前的定时得到的物体信息进行整合，存储在主存储部132中，并发送给移动体控制部123。存储在主存储部132中的物体的检测结果经由收发装置126被输出给显示装置140。
图3是表示物体检测处理部201的处理流程，换言之是表示移动机器人100检测物体的动作的流程图。
首先，在定时Tn，第二照相机122拍摄移动机器人100的前方空间，取得时间上连续的2张以上的帧图像1(S301)。在与此相同的定时，第一照相机121拍摄移动机器人100的前方空间，并取得1张帧图像2(S302)。另外，区域计算部212根据在存储在主存储部132中的前一个定时Tn-1得到的物体信息、作为在前一个定时Tn-1的视野而无法识别的区域信息来计算障碍图(S303)。
接着，照相机姿势计算部211针对存储在主存储部132中的2张以上的帧图像1分别计算多个特征点，并将计算出的特征点的集合对应起来，根据进行了对应的特征点的集合来计算第二照相机122的姿势，根据该第二照相机122的姿势、第一照相机121相对于预先计算出的第二照相机122的姿势来计算第一照相机121相对于世界坐标系的姿势(S304)。
接着，区域计算部212从照相机姿势计算部211取得第一照相机121的姿势，根据该姿势将图像2内的场所和拍摄的空间相关联，根据物体信息和障碍图计算通过第一照相机121拍摄的图像2的内部的多个检测区域Ci(S305)。
接着，处理方法决定部213针对通过区域计算部212计算出的检测区域Ci分别决定包括用于检测物体的分辨率的图像的处理方法(转换率mi/ni倍和低通滤波器的截止频率)(S306)。
接着，图像生成部214使用通过区域计算部212计算出的检测区域Ci和通过处理方法决定部213计算出的图像的处理方法，从存储在主存储部132中的图像2切除检测区域Ci的部分，并生成N个图像(S307)。
最后，物体检测部215针对所生成的N个图像进行物体检测处理，检测物体(S308)。
图4是通过时序图说明图3的各个步骤、即移动机器人100检测物体的动作的图。以下，参照图4～图14按照关联的一系列动作来说明各个步骤。
[S301～S302、S304](图像取得以及照相机姿势计算)：
首先，参照图5A～图6说明图像取得以及照相机姿势计算的处理(S301～S302、S304)。
如图4所示，第二照相机122在当前的定时Tn拍摄前方空间，取得时间上连续的2张以上的帧图像(01-1)、即图像1(S301)。所拍摄的帧图像(01-1)如箭头351那样，被存储在主存储部132中。另外，在与步骤S301相同的定时Tn，第一照相机121拍摄前方空间，取得1张帧图像(01-2)、即图像2(S302)。所拍摄的帧图像(01-2)如箭头352那样，被存储在主存储部132中。
图5A是通过第一照相机121在当前的定时Tn拍摄的图像(01-2)的一例，该图像是通过产生了滚动方向的倾斜的移动体上的照相机进行拍摄的图像。
另外，在主存储部132中也存储从在前一个定时Tn-1拍摄到的图像得到的物体信息(00-3)。图5B是定时Tn-1的物体信息(00-3)的一例，其中包括物体401-406。例如，物体405是汽车。
在步骤S301结束后，照相机姿势计算部211针对存储在主存储部132中的2张以上的帧图像(图4中标记为图像集合，(01-1))分别计算多个特征点，将计算出的特征点的集合进行对应，根据进行了对应的特征点的集合来计算第二照相机122的姿势，据此计算相对于世界坐标系的第一照相机121的包括滚动方向的倾斜的姿势(S304)。
图6是表示第一坐标系即实际世界的坐标系(以下称为世界坐标系)和第二坐标系即第二照相机122的坐标系(以下称为照相机坐标系)之间的关系的图。在以后的说明中，将表示第一坐标系即世界坐标系的坐标设为Pw＝(Xw，Yw，Zw)，将表示第二坐标系即照相机坐标系的坐标设为Pc＝(Xc，Yc，Zc)。图6中，表示照相机坐标系沿着世界坐标系的Zw轴倾斜的情况。这与照相机坐标系的Xc轴从世界坐标系的Xw轴(以下称为滚动方向)倾斜的情况相同。在将照相机相对于世界坐标系的平移设为Tcw，将旋转设为Rcw的情况下，通过平移Tcw和旋转Rcw来表现第二照相机122的姿势。通过以下的公式(1)来表现坐标Pw和坐标Pc之间的关系。
Pc＝Rcw×Pw+Tcw······(1)
根据进行了对应的特征点集合，在计算平移Tcw和旋转Rcw时使用公知的方法即可。
另外，当对应的特征点集合之间的图像上的距离比预定大时，或者对应失败的特征点在预定数量以上时，视为时间上连续的帧图像的变化大，并将表示帧图像异常的标志发送给区域计算部212和物体检测部215。另外，在帧图像为均一颜色的情况下，也将表示帧图像异常的标志发送给区域计算部212和物体检测部215。在发送表示帧图像异常的标志的情况下，使用前几个帧的图像的照相机姿势的集合来计算当前帧的姿势。例如，计算前几个帧的照相机姿势的时间变化的平均，并将其与前一帧的照相机姿势合并，将该合并后的结果设为当前的帧的姿势即可。
接着，说明根据第二照相机122的姿势、预先计算的第一照相机121相对于第二照相机122的姿势来计算第一照相机121相对于世界坐标系的姿势的方法。在将第一照相机121相对于第二照相机122的平移设为Tc2c1、将旋转设为Rc2c1时，表示第二照相机122的坐标系的坐标Pc1和第一照相机121的坐标系表示的坐标Pc2之间的关系通过公式(2)来表示。
Pc2＝Rc2c1×Pc1+Tc2c1······(2)
第一照相机121的姿势是第一照相机121相对于世界坐标系的平移Tc2w、旋转Rc2w，基于根据公式(1)和公式(2)的关系式计算出的公式(3)，为Tc2w＝Rc2c1×Tc1w+Tc2c1、Rc2w＝Rc2c1×Rc1w。
Pc2＝(Rc2c1×Rc1w)×Pw+(Rc2c1×THw+Tc2c1)······(3)
如上所述，事先计算第一照相机121相对于第二照相机122的平移Tc2c1、旋转Rc2c1。另外，在主存储部132中存储计算出的第一照相机121的姿势，在接下来的定时计算第一照相机121的姿势时作为事先信息来使用。
[S303](障碍图计算)：
参照图7说明障碍图计算的处理(S303)。
区域计算部212在当前的定时Tn实施第一照相机121的姿势计算的处理(S304)之前，根据在存储在主存储部123中的前一个定时Tn-1得到的物体信息(00-3)、在前一个的定时Tn-1无法识别的区域的2个信息来计算障碍图(S303)。前一个定时Tn-1表示在实施S301以及S302之前由第一、第二照相机121、122进行拍摄的时刻。
这以后，设障碍图为表示在当前的定时Tn会成为障碍的区域的图。
图7A～图7D是表示世界坐标系Pw＝(Xw，Yw，Zw)的障碍图的一例的图。
图7A是根据在前一个定时Tn-1得到的物体信息生成的第一障碍图。图7A中，501～503是根据在前一个定时Tn-1拍摄的前一图像检测出的物体信息(00-3)的物体，区域511～513表示在当前的定时Tn中物体501～503可能分别成为障碍的区域。分别针对检测出的物体计算区域511～513来作为能够在前一个定时到当前的定时为止的期间移动的区域。例如，区域511是离物体501预定距离的范围。如果物体的种类被确定，则能够按照与该种类对应的移动模型来计算能够移动的范围。如果物体的种类没有被确定，则使用预先准备的物体的每个尺寸的移动模型来计算能够移动的区域即可。
图7B表示根据在前一个定时Tn-1无法识别的区域而生成的第二障碍图。在图7B中，区域504、505是在前一个定时根据照相机的视野外的区域而生成的在当前的定时Tn成为障碍的区域。
图7C是从Yw轴上方观察图7B的图。区域504、505是将假设存在于在前一个定时Tn-1的视野507的外侧区域中的物体到当前的定时Tn为止能够移动到视野507的区域和视野507的外侧区域合并后的区域。因此，区域504、505与视野507的一部分重叠。
区域506是由于在图7B所示的前一个定时得到的物体523的影响而在当前的定时Tn会成为障碍的区域。从照相机位置P无法识别物体523的后方，因此无法判断是否存在物体。因此，如果假设在无法识别的区域存在物体，则将该物体在到当前的定时Tn为止可移动的区域设为在当前的定时会成为障碍的区域。区域506如图7B所示，分别在Xw轴、Yw轴变得比物体523大。
图7D是表示最终的障碍图的图。图7D的各个区域与图7A的第一障碍图(511～513)以及图7B的第二障碍图(504～506)相同。
另外，在从照相机姿势计算部211发送了表示帧图像(01-2)的异常的标志的情况下，在计算区域504～506、区域511～513时，也可以较广地设定在从前一个定时Tn-1到当前的定时Tn之间能够移动的区域。这样，能够覆盖由于第一照相机121的姿势误差而产生的区域504～506、区域511～513的偏移，能够抑制物体检测的性能劣化。
另外，在从照相机姿势计算部211发送了表示帧图像的异常的标志的情况下，也可以较广地设定在从前一个定时Tn-1到当前的定时Tn之间能够移动的区域。这样，能够覆盖由于第一照相机121的姿势误差而产生的区域511～513的偏移，能够抑制物体检测部215的性能劣化。
[S305～S306](图像内部的多个区域的计算和各个区域的处理方法的决定)
接着，参照图8～图13说明图像内部的多个区域的计算和各区域的处理方法的决定处理(S305～S306)。
区域计算部212从照相机姿势计算部211取得第一照相机121的姿势，根据取得的姿势将图像2内的场所和拍摄的空间相关联，根据求出的关联来计算/设定通过第一照相机121拍摄的图像2的内部的多个区域(S305)。以下，图8表示该步骤。
图8是步骤S305的动作流程图。
区域计算部212在世界坐标系中，在离照相机的位置P的Zw轴距离Di(i＝1、2、……、N)的路面上的位置虚拟地配置宽度Swi、纵深SDi的空间Si(S601)。
图9A～图9B是按照i表示在世界坐标系配置了空间Si的情况的图。在照相机拍摄方向一侧设定空间Si。例如如图9A～图9B所示，将空间Si设为与路面为相同平面上的长方形区域。将纵深SDi设定为比图9A所示的检测对象的物体701(例如人)的纵深稍微大的值。图9B的(A)是表示从世界坐标系的Yw轴上方观察空间Si的情况的图。宽度Swi与距离Di成比例，并且设定照相机视野702所覆盖的值。图9B的(B)是表示从世界坐标系的Xw轴上方观察空间Si的情况的图。在将检测对象距离设为Dmax、最低拍摄距离设为Dmin时，能够通过成为ΣSDi>(Dmax–Dmin)的最初的整数-1决定空间的个数N。事先设定检测对象距离Dmax。事先使用照相机的高度和内部参数来进行计算并设定最低拍摄距离Dmin。距离Di例如在空间Si和Sj(j≠i)之间没有重叠，而在空间Si和Si+1相邻地进行配置，并计算值。另外，也可以使空间Si和Si+1重叠地进行配置。这样通过增加空间数，在物体检测部215中计算量增加，但是能够抑制空间之间的缝隙的影响，因此检测精度变高。
区域计算部212根据在S303生成的障碍图将在S601配置的空间Si进行变形(S602)。将变形后的新空间设为Si’。
图10A～图10E是表示将障碍图变形的一例的图。图10A是障碍图的一例，与图7D相同。图10B是表示配置在世界坐标系上的空间Si的图。图10C是表示根据图10A所示的障碍图将图10B所示的空间Si进行了变形后的空间Si’的图。在图10C中，空间Si和区域511～513重叠的区域801～803分别相当于变形后的空间Si’。
图10D是表示配置在世界坐标系上的空间Si的另外的例子的图。图10E是表示根据图10A所示的障碍图将图10D所示的空间Si进行了变形后的空间Si’的图。在图10E中，空间Si和区域504～506重叠的区域821～823以及空间Si和区域511、512重叠的区域811、812分别相当于变形后的空间Si’。
另外，在从照相机姿势计算部211发送了表示帧图像的异常的标志的情况下，判断计算出的第一照相机121的姿势和原来的值比较误差大，也可以不根据障碍图将空间Si进行变形而作为空间Si’进行输出。这样，能够抑制由于因第一照相机121的姿势误差而产生的区域504～506、区域511～513的偏移造成的物体检测部215的性能劣化。
另外，在判断为CPU131的处理负荷有余地的情况下，也可以不根据障碍图将空间Si进行变形而作为空间Si’进行输出。这样，假设即使在之前的定时物体检测部215的检测结果产生了物体的检测遗漏，能够检测物体的可能性也会提高。
区域计算部212在通过第一照相机121拍摄时得到的图像I中，计算相当于变形后的空间Si’的检测区域Ci(S603)。
图11A～图11B是表示通过第一照相机121拍摄包括空间Si’的范围的情况、在所拍摄的图像I中相当于空间Si’的检测区域Ci的图。如图11A所示，当第一照相机121在世界坐标系中向滚动方向倾斜时，如图11B所示那样检测区域Ci在图像I上产生倾斜。即，当在滚动方向产生倾斜时，图像I的场所和通过世界坐标系设定的空间之间的对应关系发生变化。
图11C是表示通过第一照相机121在当前的定时拍摄到的关于图5A的帧图像(01-2)，通过区域计算部212计算出的内部多个检测区域Ci的一例的图。区域计算部212根据向滚动方向倾斜的第一照相机121的姿势，将图像(01-2)内的场所和拍摄的空间相关联，另外，取得前一定时的帧图像(图5B的00-3)的物体信息401-406。根据第一照相机121的姿势将图像(01-2)内的场所和拍摄的空间相关联，所以能够把握图像内的上下关系，甚至图像内的场所的远近关系。然后，根据上述关联和所取得的物体信息401-406，在当前定时的图像(01-2)的内部设定多个检测区域Ci。在图11C的例子中，向滚动方向倾斜的区域901～908分别是检测区域Ci(i＝1-8)。另外，区域920表示非检测区域。
接着，处理方法决定部213针对由区域计算部212计算出的检测区域Ci分别决定处理方法。
图12是表示图像的处理方法决定的处理(S306)的动作流程的图。当假设分别针对图像的检测区域Ci在与该检测区域Ci对应的空间Si’内离照相机最远的位置配置了预先设定为检测对象的物体时，处理方法决定部213计算拍摄了所配置的物体的像素数Ri(S1001)。
图13A～图13B是表示将以预定的像素数在拍摄面拍摄在与某个检测区域Ci对应的空间Si’(这里Si’＝Si)内在离照相机的位置P最远的位置配置的物体1101的情况分为图像的横向和纵向而表示的图。图13A是表示在横向拍摄图像的情况的图。根据图13A，通过Pw＝(Ow f/(SDi+Di))/Qw求出通过第一照相机拍摄物体1101时的横向的像素Pw。Ow是预先设定为检测对象的物体1101的宽度，事先进行设定。F是从照相机的中心P到拍摄面的焦点距离，根据所使用的镜头而事先进行设定。SDi是空间Si’的纵深，如上所述，事先进行设定。Di是从照相机的中心P到空间Si’的距离，事先进行设定。Qw是照相机的摄像元件的横宽，其是所使用的摄像元件固有的值。
图13B是表示纵向拍摄图像的情况的图。根据图13B，通过Ph＝(Oh f/(SDi+Di))/Qh求出通过照相机拍摄物体1101时的拍摄面的纵向的像素宽度Ph。Oh是预先设定为检测对象的物体1101的高度，事先进行设定。Qh是照相机的摄像元件的纵宽，其是所使用的摄像元件固有的值。f、SDi、Di和图13A相同。将计算出的横向的像素数Pw和纵向的像素数Ph组成的对设为用于物体检测的分辨率Ri。
另外，如图10C的801～803那样，当在根据已检测出的物体计算出的空间Si’检测出物体时、在不使图10B的空间Si发生变形地在空间Si’检测出物体时，Ow和Oh可以使用已经检测出的物体的宽度和纵深。与这样预先设定的物体的宽度和纵深相比，当已经检测出的物体的宽度和纵深大时，能够降低分辨率Ri，能够减少在物体检测部215的计算量。
接着，处理方法决定部213分别针对通过区域计算部212计算出的图像2的内部的多个区域，决定包括用于物体检测的分辨率的设定的图像处理方法。
处理方法决定部213首先按照每个检测区域Ci来计算以预定的像素数拍摄预定大小的物体所需要的分辨率Ri(Pw和Ph组成的对)。即，根据在步骤S1001计算出的像素数Ri、拍摄预先设定为检测对象的物体时所需要的像素数RL，基于RL/Ri的关系，计算转换率mi/ni倍(ni>mi)，根据转换率决定低通滤波器的截止频率fi(S1002)。RL事先设定在物体检测部215检测处理所求出的像素数。作为RL，例如使用20～30个像素。按照设想的每个转化率预先设定低通滤波器的截止频率fi。
[S307～S308](区域图像生成以及物体检测)
接着，参照图11B、图11C、图14说明区域图像生成以及物体检测的处理(S307～S308)。
图像生成部214使用通过区域计算部212计算出的检测区域Ci和通过处理方法决定部213计算出的图像的处理方法(转换率mi/ni倍和低通滤波器的截止频率fi)，从存储在主存储部132中的图像2切除检测区域Ci的部分，并使用转换率mi/ni倍和低通滤波器的截止频率fi进行缩小(S307)。这样生成成为物体检测对象的N个图像。
预先设定成为检测对象的物体的必要像素数RL，另外，把握图像内的场所的远近关系。通常，具有拍摄远离移动体而存在于图像的上部的物体和比本车高的物体、拍摄靠近移动体而存在于图像的下部的物体和路面的关系。因此，在检测区域远离照相机的中心P时和靠近照相机的中心P时，在图像的处理方法中产生差，作为结果能够使在图像内的整个区域成为检测对象的物体的像素数在某个范围内。通过较小地设定成为检测对象的物体的必要像素数，能够高速地检测出物体。另外，使成为检测对象的物体的像素数在某个范围内，所以能够适用设想其的物体检测方法，能够以高检测率来检测物体。
另外，当照相机的滚动方向的姿势产生倾斜时，如图11B和图11C所示那样检测区域Ci成为平行四边形。关于图像处理，一般用长方形进行处理是有效的，因此在缩小检测区域Ci之前变形为长方形。通过变形为长方形，在步骤S308的物体检测处理中，当从主存储部132读出通过图像生成部214生成的图像时，能够设为与第一照相机121的姿势无关的单一的方法。但是，图像的变形处理有时会花费大量的处理时间，因此，此时在物体检测部215中，在从主存储部132读出通过图像生成部214生成的图像时，通过在存取的顺序下功夫而能够应对。
物体检测部215针对在步骤S307生成的N个图像进行物体检测处理，将得到的检测结果和以前定时的物体信息进行整合，存储在主存储部132中，并发送给移动体控制部123(S308)。
物体检测处理使用公知的方法即可。
图14是表示关于图11C的检测区域Ci(i＝1-8)由物体检测部215进行了物体检测处理的结果的图。在图14中是检测出区域1201～1206的结果。物体检测部215从图像生成部214取得多个区域图像，针对图像2内的区域图像分别检测物体，将得到的检测结果和在以前的定时得到的物体信息进行整合。这样，例如在区域1201中检测与图5B的物体405对应的汽车。
如上所述，本实施方式的物体检测装置1000具备：姿势计算部，其求出照相机的姿势；区域设定部，其根据求出的上述姿势将图像的场所和拍摄的空间相关联，使用上述关联在通过上述照相机拍摄的图像上设定多个区域；处理方法设定部，其分别设定多个上述区域内的图像的分辨率；分辨率转换部，其根据所设定的上述分辨率进行分辨率转换；以及检测部，其针对分辨率转换后的多个上述图像分别检测物体。
根据上述特征，计算照相机的姿势，根据计算出的照相机的姿势将图像的场所和拍摄的空间相关联，根据上述关联将通过照相机拍摄的图像适当地分割为多个区域，由此即使是照相机的滚动方向的倾斜大的情况下，也能够以高的检测率检测物体。
另外，当从照相机姿势计算部211发送表示帧图像的异常的标志时，判断出通过照相机姿势计算部211计算出的照相机122的姿势与原来的值比较误差较大，可以中止在当前定时的物体检测处理。这样，能够抑制物体检测部215的错误检测。
另外，也可以测定进行了物体检测处理的结果的可靠性，随着物体信息一起存储在主存储部132中。在区域计算部213的步骤S303中，在计算在前一个定时检测出的物体可移动区域时设置可移动的区域的余量，根据检测结果的可靠性可变地控制上述余量，由此生成适当的障碍图，能够进行高效的物体检测处理。
本发明不限于上述的实施方式，包括各种的变形例。上述实施方式是为了容易理解地说明本发明而详细进行的说明，不是限定必须具备所说明的所有结构的方式。另外，能够将某个实施方式的结构的一部分置换为其他实施方式的结构。另外，也能够在某个实施方式的结构上增加其他实施方式的结构。另外，对于各实施方式的结构的一部分也能够追加/删除/置换其他结构。
上述各结构、功能、处理部、处理单元等可以通过例如集成电路进行设计等通过硬件来实现其中的一部分或全部。另外，上述各结构、功能等可以通过解释执行由处理器分别实现功能的程序而通过软件来实现。实现各功能的程序、表、文件等信息能够存储在存储器、硬盘、SSD(Solid State Drive：固态硬盘)等记录装置、IC卡、SD卡、DVD等记录介质中。
附图标记的说明
100：机器人、121：第一照相机、122：第二照相机、123：移动体控制部、124：移动机构、125：信息处理装置、126：收发装置、127：存储装置、128：外测定装置、129：内测定装置、140：显示装置、211：照相机姿势计算部、212：区域计算部(区域设定部)、213：处理方法决定部、214：图像生成部、215：物体检测部、701：检测对象的物体、1000：物体检测装置、1101：物体。

Claims (15)

1.一种物体检测装置，其特征在于，
具备：
照相机姿势计算部；
区域设定部；
处理方法决定部；
图像生成部；以及
物体检测部，
上述照相机姿势计算部取得与设置在移动体上的照相机的姿势相关的信息，
上述区域设定部根据上述照相机的姿势将通过上述照相机拍摄的图像上的场所与拍摄的空间相关联，根据上述关联在上述图像上设定多个检测区域，
上述处理方法决定部针对上述多个检测区域分别决定包括分辨率的设定的图像处理方法，
上述图像生成部将各上述检测区域内的图像转换为设定的上述分辨率后生成区域图像，
上述物体检测部使用各上述区域图像来检测物体。
2.根据权利要求1所述的物体检测装置，其特征在于，
在上述区域设定部中，
根据上述照相机的姿势设定以上述移动体正在移动的路面为基准的第一坐标系，
在上述第一坐标系中配置多个虚拟空间，
将通过上述照相机拍摄多个上述虚拟空间而得到的多个区域作为上述多个检测区域设定在上述图像上。
3.根据权利要求2所述的物体检测装置，其特征在于，
上述区域设定部为了进行上述图像上的场所与拍摄的空间的关联，根据针对通过上述照相机在前一定时拍摄的前一图像的物体检测结果，在通过上述照相机在当前定时拍摄的上述图像上设定上述多个检测区域。
4.根据权利要求3所述的物体检测装置，其特征在于，
上述区域设定部计算在上述前一定时从上述照相机无法识别的视野外的区域，根据上述视野外的区域求出在当前定时能够成为障碍的区域，根据能够成为该障碍的区域将各上述检测区域进行变形。
5.根据权利要求2所述的物体检测装置，其特征在于，
上述虚拟空间以长方形状设定在与路面相同的平面上。
6.根据权利要求2所述的物体检测装置，其特征在于，
各上述虚拟空间的宽度随着远离上述照相机的位置而变大。
7.根据权利要求4所述的物体检测装置，其特征在于，
上述区域设定部根据在上述前一定时检测出的上述物体求出在当前定时能够成为障碍的区域，根据能够成为该障碍的区域将各上述检测区域进行变形。
8.根据权利要求1所述的物体检测装置，其特征在于，
上述照相机姿势计算部根据通过第二照相机拍摄的第一图像求出第一照相机的姿势，
上述区域设定部根据上述第一照相机的姿势将通过该第一照相机拍摄的图像上的场所与拍摄的空间相关联，根据上述关联在上述图像上设定多个检测区域。
9.根据权利要求1所述的物体检测装置，其特征在于，
针对各个上述检测区域，当假设在与该检测区域对应的空间内离上述照相机最远的位置配置了预先设定为检测对象的物体时，上述处理方法决定部计算拍摄所配置的上述物体的第一像素数，
根据该第一像素数、拍摄预先设定为检测对象的上述物体时所需要的第二像素数来计算上述图像的转换率。
10.根据权利要求9所述的物体检测装置，其特征在于，
上述图像生成部将从上述图像切除的平行四边形的上述检测区域变形为长方形，使用通过上述处理方法决定部设定的上述图像的转换率和低通滤波器的截止频率，来缩小上述长方形的各检测区域。
11.一种物体检测方法，检测存在于在路径上移动的移动体前方的物体，其特征在于，
该物体检测方法包括以下步骤：
求出设置在上述移动体上的照相机的姿势；
根据上述照相机的姿势将图像的场所与拍摄的空间相关联，根据上述关联在通过上述照相机拍摄的图像上设定多个检测区域；
分别设定进行各上述检测区域的检测处理时的分辨率；
将各上述检测区域内的图像转换为上述分辨率；以及
使用分辨率转换后的各上述检测区域内的图像来检测物体。
12.根据权利要求11所述的物体检测方法，其特征在于，
根据上述照相机的姿势设定以上述移动体正在移动的路面为基准的第一坐标系，
在上述第一坐标系中配置多个虚拟空间，
将通过上述照相机拍摄多个上述虚拟空间而得到的多个区域作为上述多个检测区域设定在上述图像上。
13.根据权利要求2所述的物体检测方法，其特征在于，
为了进行上述图像上的场所与拍摄的空间的关联，根据针对通过上述照相机在前一定时拍摄的前一图像的物体检测结果，在通过上述照相机在当前定时拍摄的上述图像上设定上述多个检测区域。
14.一种移动机器人，具备：
移动机构，其使机器人本体在路径上移动；
照相机，其搭载在上述机器人本体上；
姿势计算部，其求出上述照相机的姿势；
区域设定部；
处理方法决定部；
分辨率转换部；以及
检测部，
该移动机器人的特征在于，
上述区域设定部根据上述照相机的姿势，将通过上述照相机拍摄的上述移动机器人的前方空间的图像上的场所和拍摄的空间相关联，根据上述关联在上述图像上设定多个检测区域，
上述处理方法决定部针对上述多个检测区域分别决定包括分辨率的设定的图像处理方法，
上述图像生成部将各上述检测区域内的图像转换为设定的上述分辨率后生成区域图像，
上述物体检测部使用各上述区域图像来检测物体。
15.根据权利要求14所述的移动机器人，其特征在于，
在上述区域设定部中，
根据上述照相机的姿势设定以上述机器人正在移动的路面为基准的第一坐标系，
在上述第一坐标系中配置多个虚拟空间，
将通过上述照相机拍摄多个上述虚拟空间而得到的多个区域作为上述多个检测区域设定在上述图像上。
CN201480073975.5A 2014-03-24 2014-03-24 物体检测装置、物体检测方法以及移动机器人 Pending CN105934774A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2014/058076 WO2015145543A1 (ja) 2014-03-24 2014-03-24 物体検出装置、物体検出方法、および移動ロボット

Publications (1)

Publication Number Publication Date
CN105934774A true CN105934774A (zh) 2016-09-07

Family

ID=54194145

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480073975.5A Pending CN105934774A (zh) 2014-03-24 2014-03-24 物体检测装置、物体检测方法以及移动机器人

Country Status (5)

Country Link
US (1) US20170017839A1 (zh)
EP (1) EP3107069A4 (zh)
JP (1) JP6273352B2 (zh)
CN (1) CN105934774A (zh)
WO (1) WO2015145543A1 (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109754419A (zh) * 2017-11-06 2019-05-14 株式会社日立制作所 位置推测***
CN111433837A (zh) * 2018-06-28 2020-07-17 株式会社日立制作所 信息处理装置及信息处理方法
CN111446694A (zh) * 2019-10-23 2020-07-24 奥菲(泰州)光电传感技术有限公司 驱动电机紧急制动平台及方法
CN111522295A (zh) * 2019-02-05 2020-08-11 发那科株式会社 机械控制装置
CN111615443A (zh) * 2018-01-23 2020-09-01 索尼公司 信息处理装置、信息处理方法和信息处理***
CN112605999A (zh) * 2020-12-22 2021-04-06 杭州北冥星眸科技有限公司 基于红外线深度摄像头技术的机器人障碍检测方法及***
CN114578730A (zh) * 2022-02-22 2022-06-03 武汉珞珈天铭电气科技有限公司 一种导线修补机器人的控制电路
CN115176175A (zh) * 2020-02-18 2022-10-11 株式会社电装 物体检测装置

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5959073B2 (ja) 2014-09-30 2016-08-02 インターナショナル・ビジネス・マシーンズ・コーポレーションＩｎｔｅｒｎａｔｉｏｎａｌ Ｂｕｓｉｎｅｓｓ Ｍａｃｈｉｎｅｓ Ｃｏｒｐｏｒａｔｉｏｎ 検出装置、検出方法、及び、プログラム
JP6611353B2 (ja) * 2016-08-01 2019-11-27 クラリオン株式会社 画像処理装置、外界認識装置
US10117802B2 (en) * 2016-10-26 2018-11-06 Hunter K Kasravi Blind dog navigation system
GB201706129D0 (en) 2017-04-18 2017-05-31 Blue Vision Labs Uk Ltd Distributed device mapping
JP7309371B2 (ja) * 2019-01-25 2023-07-18 株式会社ソニー・インタラクティブエンタテインメント ロボット制御システム
CN110207702B (zh) * 2019-04-22 2022-01-07 北京云迹科技有限公司 目标定位的方法及装置
CN111401205B (zh) * 2020-03-11 2022-09-23 深圳市商汤科技有限公司 动作识别方法及装置、电子设备、计算机可读存储介质
TWI782709B (zh) * 2021-09-16 2022-11-01 財團法人金屬工業研究發展中心 手術機械臂控制系統以及手術機械臂控制方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005056295A (ja) * 2003-08-07 2005-03-03 Iwane Kenkyusho:Kk ３６０度画像変換処理装置
JP2006185406A (ja) * 2004-11-30 2006-07-13 Nissan Motor Co Ltd 物体検出装置、および方法
CN1838174A (zh) * 2005-03-22 2006-09-27 日产自动车株式会社 基于道路边界检测物体的检测装置和方法
CN101681519A (zh) * 2007-06-01 2010-03-24 丰田自动车株式会社 测量装置、测量方法、程序以及计算机可读介质
CN103322974A (zh) * 2012-03-21 2013-09-25 株式会社理光 多透镜摄像机***、安装多透镜摄像机***的交通工具，以及由多透镜摄像机***执行的测距方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4464912B2 (ja) * 2004-12-03 2010-05-19 パナソニック株式会社 ロボット制御装置及び自律移動ロボット
KR100652703B1 (ko) * 2004-12-08 2006-12-01 엘지전자 주식회사 휴대단말기의 동영상 검색장치 및 방법
JP6009894B2 (ja) * 2012-10-02 2016-10-19 株式会社デンソー キャリブレーション方法、及びキャリブレーション装置
JP6079131B2 (ja) * 2012-10-25 2017-02-15 富士通株式会社 画像処理装置、方法、及びプログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005056295A (ja) * 2003-08-07 2005-03-03 Iwane Kenkyusho:Kk ３６０度画像変換処理装置
JP2006185406A (ja) * 2004-11-30 2006-07-13 Nissan Motor Co Ltd 物体検出装置、および方法
CN1838174A (zh) * 2005-03-22 2006-09-27 日产自动车株式会社 基于道路边界检测物体的检测装置和方法
CN101681519A (zh) * 2007-06-01 2010-03-24 丰田自动车株式会社 测量装置、测量方法、程序以及计算机可读介质
CN103322974A (zh) * 2012-03-21 2013-09-25 株式会社理光 多透镜摄像机***、安装多透镜摄像机***的交通工具，以及由多透镜摄像机***执行的测距方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
BOYOON JUNG, GAURAV S. SUKHATME: "Detecting Moving Objects using a Single Camera on a Mobile Robot in an Outdoor Environment", 《THE 8TH CONFERENCE ON INTELLIGENT AUTONOMOUS SYSTEMS》 *

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109754419B (zh) * 2017-11-06 2023-03-10 株式会社日立制作所 位置推测***
CN109754419A (zh) * 2017-11-06 2019-05-14 株式会社日立制作所 位置推测***
CN111615443A (zh) * 2018-01-23 2020-09-01 索尼公司 信息处理装置、信息处理方法和信息处理***
CN111615443B (zh) * 2018-01-23 2023-05-26 索尼公司 信息处理装置、信息处理方法和信息处理***
CN111433837A (zh) * 2018-06-28 2020-07-17 株式会社日立制作所 信息处理装置及信息处理方法
CN111522295B (zh) * 2019-02-05 2024-03-05 发那科株式会社 机械控制装置
CN111522295A (zh) * 2019-02-05 2020-08-11 发那科株式会社 机械控制装置
CN111446694B (zh) * 2019-10-23 2021-08-10 宣城市泰力磁业有限公司 驱动电机紧急制动平台及方法
CN111446694A (zh) * 2019-10-23 2020-07-24 奥菲(泰州)光电传感技术有限公司 驱动电机紧急制动平台及方法
CN115176175A (zh) * 2020-02-18 2022-10-11 株式会社电装 物体检测装置
CN112605999B (zh) * 2020-12-22 2022-01-18 杭州北冥星眸科技有限公司 基于红外线深度摄像头技术的机器人障碍检测方法及***
CN112605999A (zh) * 2020-12-22 2021-04-06 杭州北冥星眸科技有限公司 基于红外线深度摄像头技术的机器人障碍检测方法及***
CN114578730A (zh) * 2022-02-22 2022-06-03 武汉珞珈天铭电气科技有限公司 一种导线修补机器人的控制电路

Also Published As

Publication number Publication date
EP3107069A1 (en) 2016-12-21
EP3107069A4 (en) 2017-10-04
US20170017839A1 (en) 2017-01-19
WO2015145543A1 (ja) 2015-10-01
JPWO2015145543A1 (ja) 2017-04-13
JP6273352B2 (ja) 2018-01-31

Similar Documents

Publication Publication Date Title
CN105934774A (zh) 物体检测装置、物体检测方法以及移动机器人
CN113554698B (zh) 车辆位姿信息生成方法、装置及电子设备、存储介质
CN110285793B (zh) 一种基于双目立体视觉***的车辆智能测轨迹方法
CN110136199B (zh) 一种基于摄像头的车辆定位、建图的方法和装置
CN111462213B (zh) 一种在运动过程中获取物体3d坐标及尺寸的设备及方法
US20230360266A1 (en) Object pose estimation in visual data
CN111986506B (zh) 基于多视觉***的机械式停车位泊车方法
CN105182358B (zh) 用于使用激光点云进行物体检测的方法和***
CN101404122B (zh) 驾驶支援装置以及驾驶支援方法
CN110235026A (zh) 基于对齐的图像和激光雷达信息的车辆导航
CN106918331A (zh) 相机模块、测量子***和测量***
CN111936821A (zh) 用于定位的***和方法
CN108604405A (zh) 利用环境和深度次序探测局部被遮挡的物体
JP2018191275A (ja) カメラパラメタセット算出方法、カメラパラメタセット算出プログラム及びカメラパラメタセット算出装置
US20200234398A1 (en) Extraction of standardized images from a single view or multi-view capture
CN107111879A (zh) 通过全景环视图像估计车辆自身运动的方法和设备
CN106464847A (zh) 影像合成***和用于其的影像合成装置与影像合成方法
CN104204726A (zh) 移动物***置姿态估计装置和移动物***置姿态估计方法
CN109871739B (zh) 基于yolo-sioctl的机动站自动目标检测与空间定位方法
CN108603933A (zh) 用于融合具有不同分辨率的传感器输出的***和方法
CN107560603A (zh) 一种无人机倾斜摄影测量***及测量方法
US20220207897A1 (en) Systems and methods for automatic labeling of objects in 3d point clouds
JP2019533875A (ja) 道路の合成トップビュー画像を生成するための方法およびシステム
US20230109473A1 (en) Vehicle, electronic apparatus, and control method thereof
KR20210102953A (ko) 노면 상의 객체를 검출 및 모델링하기 위한 방법

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
AD01 Patent right deemed abandoned
AD01 Patent right deemed abandoned

Effective date of abandoning: 20190809