CN109117706A - 移动体检测装置及检测方法、移动体学习装置及学习方法、移动体检测***以及程序 - Google Patents

移动体检测装置及检测方法、移动体学习装置及学习方法、移动体检测***以及程序 Download PDF

Info

Publication number
CN109117706A
CN109117706A CN201810617845.3A CN201810617845A CN109117706A CN 109117706 A CN109117706 A CN 109117706A CN 201810617845 A CN201810617845 A CN 201810617845A CN 109117706 A CN109117706 A CN 109117706A
Authority
CN
China
Prior art keywords
moving body
image
classification
information
shooting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810617845.3A
Other languages
English (en)
Inventor
谷川彻
庄田幸惠
芋本征矢
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Corp of America
Original Assignee
Panasonic Intellectual Property Corp of America
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Corp of America filed Critical Panasonic Intellectual Property Corp of America
Publication of CN109117706A publication Critical patent/CN109117706A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/40—Software arrangements specially adapted for pattern recognition, e.g. user interfaces or toolboxes therefor
    • G06F18/41—Interactive pattern learning with a human teacher
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/62—Extraction of image or video features relating to a temporal dimension, e.g. time-based feature extraction; Pattern tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/778—Active pattern-learning, e.g. online learning of image or video features
    • G06V10/7784—Active pattern-learning, e.g. online learning of image or video features based on feedback from supervisors
    • G06V10/7788—Active pattern-learning, e.g. online learning of image or video features based on feedback from supervisors the supervisor being a human, e.g. interactive learning with a human teacher
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R2021/0027—Post collision measures, e.g. notifying emergency services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Human Computer Interaction (AREA)
  • Mechanical Engineering (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

本公开涉及移动体检测装置及检测方法、移动体学习装置及学习方法、移动体检测***以及程序，以更高精度检测可能成为车辆行驶障碍的移动体。通过至少一个计算机来检测可能成为对象车辆行驶障碍的移动体即对象移动体的移动体检测方法，包括：取得通过搭载于对象车辆的摄像头的拍摄而生成的拍摄图像(S301)，取得通过将所述拍摄图像作为输入数据输入到识别模型而输出的、所述拍摄图像中的移动体的类别信息和位置信息，由此检测所述拍摄图像中的所述对象移动体，所述识别模型用于识别拍摄到移动体的图像中的该移动体、表示该移动体的类别的类别信息以及表示包括人行道和车道的多个位置中的该移动体所在的位置的位置信息(S302)。

Description

移动体检测装置及检测方法、移动体学习装置及学习方法、移 动体检测***以及程序
技术领域
本发明涉及移动体检测方法、移动体学习方法、移动体检测装置、移动体学习装置、移动体检测***以及程序。
背景技术
汽车驾驶辅助技术和自动驾驶技术正不断开发中。在这些技术中，需要如下技术：通过车载摄像头拍摄车辆的周围，识别位于车辆周围的物体，检测可能成为车辆行驶障碍的移动体。
在专利文献1中，检测引发行人等移动体的速度变化的现象和移动体的速度变化。进而，将被检测到速度变化的移动体检测为可能成为车辆行驶障碍的移动体。
现有技术文献
专利文献1：日本特许第4967015号公报
发明内容
发明要解决的问题
但是，根据专利文献1公开的技术，被检测到速度变化的移动体不一定会成为车辆行驶的障碍。即，在专利文献1公开的技术中，存在可能成为车辆行驶障碍的移动体的检测精度低这样的问题。
因此，本发明提供能够以更高精度检测可能成为车辆行驶障碍的移动体的移动体检测方法。
用于解决问题的手段
本发明的一个方式的移动体检测方法通过至少一个计算机来检测对象移动体，所述对象移动体是可能成为对象车辆行驶障碍的移动体，所述移动体检测方法包括：取得通过搭载于所述对象车辆的摄像头的拍摄而生成的拍摄图像；取得通过将所述拍摄图像作为输入数据输入到识别模型而输出的、所述拍摄图像中的移动体的类别信息和位置信息，由此检测所述拍摄图像中的所述对象移动体，所述识别模型用于识别拍摄到移动体的图像中的该移动体、表示该移动体的类别的类别信息以及表示包括人行道和车道的多个位置中的该移动体所在的位置的位置信息。
此外，这些总括性或具体的方式可以由***、方法、集成电路、计算机程序或计算机可读取的CD-ROM等记录介质实现，也可由***、方法、集成电路、计算机程序和记录介质的任意组合实现。
发明效果
本发明的移动体检测方法，能够以更高精度检测可能成为车辆行驶障碍的移动体。
附图说明
图1是示出实施方式1的移动体检测***的结构的图。
图2是示出实施方式1的服务器的功能结构的框图。
图3是示出实施方式1的图像保存部中保存的图像的一例的说明图。
图4是示出实施方式1的训练数据的说明图。
图5是示出实施方式1的注释赋予部赋予的注释的说明图。
图6是示出实施方式1的移动体的学习的概念的说明图。
图7是示出实施方式1的车辆的功能结构的框图。
图8是示出实施方式1的服务器的处理的流程图。
图9是示出实施方式1的车载设备的处理的流程图。
图10是示出实施方式2的移动体检测***的检测对象的说明图。
图11是示出实施方式2的注释赋予部赋予的注释的说明图。
图12是示出实施方式2的服务器的处理的流程图。
图13是示出实施方式2的车载设备的处理的流程图。
图14是示出各实施方式的变形例的移动体学习方法的流程图。
图15是示出各实施方式的变形例的移动体学习装置的框图。
图16是示出各实施方式的变形例的移动体检测方法的流程图。
图17是示出各实施方式的变形例的移动体检测装置的框图。
图18是示出各实施方式的变形例的移动体检测方法的流程图。
图19是示出各实施方式的变形例的移动体检测***的框图。
标号说明
10、400 移动体检测***
11 车辆
12 服务器
13 通信网
14 显示装置
15 输入设备
21、22、23、24 人
25 汽车
31 人行道
32 车道
41、42、43、44、45 框
110 车载设备
111 摄像头
112 识别器
113 提示装置
114 车辆控制装置
115 车辆驱动机构
120、201 训练数据取得部
121 图像保存部
122 注释赋予部
123 训练数据保存部
127、127A、202 学习部
128 模型保存部
129 控制部
200 移动体学习装置
300 移动体检测装置
301 拍摄图像取得部
302 检测部
具体实施方式
本发明的一个方式的移动体检测方法通过至少一个计算机来检测对象移动体，所述对象移动体是可能成为对象车辆行驶障碍的移动体，所述移动体检测方法包括：取得通过搭载于所述对象车辆的摄像头的拍摄而生成的拍摄图像；取得通过将所述拍摄图像作为输入数据输入到识别模型而输出的、所述拍摄图像中的移动体的类别信息和位置信息，由此检测所述拍摄图像中的所述对象移动体，所述识别模型用于识别拍摄到移动体的图像中的该移动体、表示该移动体的类别的类别信息以及表示包括人行道和车道的多个位置中的该移动体所在的位置的位置信息。
根据上述方式，基于识别模型，检测摄像图像中的对象移动体。该识别模型能够识别呈现有移动体的图像中的该移动体以及该移动体的类别和位置，因此，通过向该识别模型输入拍摄图像，能够以更高精度检测拍摄图像中的对象移动体。这样，根据该移动体检测方法，能够以更高精度检测可能成为车辆行驶障碍的对象移动体。
例如，也可以是，所述识别模型为通过如下那样而构建的模型：取得对拍摄到移动体的图像赋予了注释而得到的训练数据，所述注释是包含(a)该图像中的该移动体的坐标、(b)表示该移动体的类别的类别信息以及(c)表示包括人行道和车道的多个位置中的该移动体所在的位置的位置信息的信息；使用所述训练数据来学习所述图像中的该移动体的类别信息和位置信息。
根据上述方式，使用了如下识别模型，该识别模型是使用赋予了注释的训练数据而构建的、即通过进行呈现有移动体的图像中的该移动体的类别和位置的学习而构建的识别模型。即，向识别模型教授了图像所呈现的移动体的类别和位置。例如，基于图像所呈现的移动体的形状或色彩等特征或者移动体的背景的图像等，来学习移动体的类别和位置。因此，通过向识别模型输入拍摄图像，能够适当地检测所输入的拍摄图像中的移动体的类别和位置，有利于对象移动体的更高精度的检测。
例如，也可以是，在检测所述对象移动体时，取得表示所述拍摄图像中的所述移动体是人的所述类别信息以及表示所述移动体存在于车道的所述位置信息，由此检测所述拍摄图像中的所述对象移动体。
根据上述方式，作为可能成为车辆行驶障碍的对象移动体，更具体而言，在拍摄图像中，检测位于车道的人。
例如，也可以是，在检测所述对象移动体时，取得表示所述拍摄图像中的所述移动体是汽车、二轮摩托车或自行车的所述类别信息以及表示所述移动体存在于人行道的所述位置信息，由此检测所述拍摄图像中的所述对象移动体。
根据上述方式，作为可能成为车辆行驶障碍的对象移动体，更具体而言，在拍摄图像中，检测位于人行道的汽车、二轮摩托车或自行车。
例如，也可以是，在取得所述拍摄图像时，取得按时间序列连续拍摄到的多个所述拍摄图像，在取得所述训练数据时，取得赋予了还包含(d)该移动体的识别信息的所述注释而得到的所述训练数据，所述识别模型是通过使用所述训练数据进一步学习事先动作而构建的模型，所述事先动作是在该移动体成为车辆行驶障碍的预定时间前该移动体所进行的预定动作，在检测所述移动体时，进一步取得通过将多个所述拍摄图像作为输入数据输入到所述识别模型而输出的、表示多个所述拍摄图像中的该移动体有无所述事先动作的动作信息，由此检测多个所述拍摄图像中的所述对象移动体。
根据上述方式，基于通过进一步使用移动体的事先动作进行学习而构建的识别模型，来检测拍摄图像中的对象移动体。该识别模型还被赋予了移动体的识别信息，因此，该识别模型是通过基于贯穿多个图像的移动体的动作进行事先动作的学习而构建的。即，除了图像所呈现的移动体的类别和位置之外，还向识别模型教授了移动体的事先动作。例如，教授了贯穿多个图像而呈现的移动体的事先动作(更具体而言，人的摇头动作、步行或行进发生减速或暂时停止、或者汽车车灯的闪烁等)和移动体的移动(更具体而言，位于人行道的人靠近车道的移动、汽车从其它行驶车道向车辆的行驶车道移动等)。因此，通过向识别模型输入拍摄图像，能够适当地检测所输入的拍摄图像中的移动体的类别、位置和有无事先动作，有利于对象移动体的更高精度的检测。
例如，也可以是，在检测所述对象移动体时，取得表示所述拍摄图像中的所述移动体是人的所述类别信息、表示所述移动体存在于人行道的所述位置信息以及表示所述移动体正在进行在从人行道移动到车道的所述预定时间前进行的所述事先动作的所述动作信息，由此检测所述拍摄图像中的所述对象移动体。
根据上述方式，作为可能成为车辆行驶障碍的对象移动体，更具体而言，在拍摄图像中，检测要从人行道移动到车道的人。
例如，也可以是，在检测所述对象移动体时，取得表示所述拍摄图像中的所述移动体是汽车或二轮摩托车的所述类别信息、表示所述移动体存在于车道的所述位置信息以及表示所述移动体正在进行在所述对象车辆的前方***到所述对象车辆的行驶车道的所述预定时间前进行的所述事先动作的所述动作信息，由此检测所述拍摄图像中的所述对象移动体。
根据上述方式，作为可能成为车辆行驶障碍的对象移动体，更具体而言，在拍摄图像中，检测要***到对象车辆的行驶车道的汽车等。
例如，所述识别模型可以是神经网络模型。
根据上述方式，作为识别模型，使用了神经网络模型，更具体而言，能够以更高精度检测可能成为车辆行驶障碍的移动体。
例如，也可以是，表示所述注释所标示的移动体的类别的信息是表示人、汽车、二轮摩托车和自行车中的某一个的信息。
根据上述方式，使用表示人、汽车、二轮摩托车和自行车中的某一个的信息来作为表示注释所标示的移动体的类别的信息，更具体而言，能够以更高精度检测可能成为车辆行驶障碍的对象移动体。
另外，本实施方式的移动体学习方法用于通过至少一个计算机来检测对象移动体，所述对象移动体是可能成为对象车辆行驶障碍的移动体，所述移动体学习方法包括：取得对拍摄到移动体的图像赋予了注释而得到的训练数据，所述注释是包含(a)该图像中的该移动体的坐标、(b)表示该移动体的类别的类别信息以及(c)表示包括人行道和车道的多个位置中的该移动体所在的位置的位置信息的信息；使用所述训练数据来学习所述图像中的该移动体的类别信息和位置信息，由此构建识别模型。
根据上述方式，使用赋予了注释的训练数据，进行呈现有移动体的图像中的该移动体的类别和位置的学习，由此构建识别模型。即，构建教授了图像所呈现的移动体的类别和位置的识别模型。因此，通过使用该识别模型，能够以更高精度检测可能成为车辆行驶障碍的对象移动体。
例如，也可以是，在取得所述训练数据时，取得对拍摄到移动体的多个所述图像分别赋予了包含(a)所述坐标、(b)所述类别信息、(c)所述位置信息和(d)能够唯一识别该移动体的识别信息的所述注释而得到的所述训练数据，在构建所述识别模型时，使用所述训练数据，进一步学习在该移动体成为车辆行驶障碍的预定时间前该移动体所进行的事先动作，由此构建所述识别模型。
根据上述方式，通过进一步使用移动体的事先动作来进行学习，由此构建识别模型。该识别模型还被赋予了移动体的识别信息，因此，该识别模型是通过基于贯穿多个图像的移动体的动作进行事先动作的学习而构建的。因此，通过使用该识别模型，能够以更高精度检测可能成为车辆行驶障碍的对象移动体。
例如，也可以是，所述训练数据所包含的多个所述图像中的、拍摄到横穿行驶车道的人的图像，是被赋予了还包含事先动作信息的注释的图像，所述事先动作信息表示包括正在进行事先动作的移动体这一情况。
根据上述方式，在学习移动体的类别、位置和事先动作时，通过进行使用了训练数据的学习来构建识别模型，在所述训练数据中，对包含横穿行驶车道的人的图像赋予了包含事先动作信息的注释。由此，通过识别要进入车道的人物的举动，能够事先预测突然进入车道。
例如，也可以是，所述训练数据所包含的所述注释所包含的所述位置信息，表示包括人行道和车道的位置中的该移动体所在的两个以上的位置。
根据上述方式，作为注释所标示的移动体的位置，使用了多个位置，由此，能够以更高精度学习贯穿多个位置而存在的移动体的位置信息。
例如，也可以是，所述移动体的坐标包含表示如下区域的坐标，所述区域以包含背景的方式包围所述图像中的所述移动体。
根据上述方式，作为注释所标示的移动体的位置，使用了包围移动体和背景的区域，并基于包含背景的移动体的图像来学习移动体的位置。移动体的背景中包含表示移动体的位置的信息，因此，通过基于包含背景的移动体的图像来学习移动体的位置，能够以更高精度学习移动体的位置信息。
另外，本实施方式的移动体检测装置通过至少一个计算机来检测对象移动体，所述对象移动体是可能成为对象车辆行驶障碍的移动体，所述移动体检测装置具有：拍摄图像取得部，其取得通过搭载于所述对象车辆的摄像头的拍摄而生成的拍摄图像；以及检测部，其取得通过将所述拍摄图像作为输入数据输入到识别模型而输出的、所述拍摄图像中的该移动体的类别信息和位置信息，由此检测所述拍摄图像中的所述对象移动体，所述识别模型用于识别拍摄到移动体的图像中的该移动体、表示该移动体的类别的类别信息以及表示包括人行道和车道的多个位置中的该移动体所在的位置的位置信息。
根据上述方式，起到与上述移动体检测方法同样的效果。
另外，本实施方式的移动体学习装置使至少一个计算机学习可能成为车辆行驶障碍的移动体即对象移动体，所述移动体学习装置具有：训练数据取得部，其取得对拍摄到移动体的图像赋予了注释而得到的训练数据，所述注释是包含(a)该图像中的该移动体的坐标、(b)表示该移动体的类别的类别信息以及(c)表示包括人行道和车道的多个位置中的该移动体所在的位置的位置信息的信息；以及学习部，其使用所述训练数据来学习所述图像中的该移动体的类别信息和位置信息，由此构建识别模型。
根据上述方式，起到与上述移动体学习方法同样的效果。
另外，本实施方式的移动体检测***通过至少一个计算机来检测对象移动体，所述对象移动体是可能成为对象车辆行驶障碍的移动体，所述移动体检测***具有：训练数据取得部，其取得对拍摄到移动体的图像赋予了注释而得到的训练数据，所述注释是包含(a)该图像中的该移动体的坐标、(b)表示该移动体的类别的类别信息以及(c)表示包括人行道和车道的多个位置中的该移动体所在的位置的位置信息的信息；学习部，其使用所述训练数据来学习所述图像中的该移动体的类别信息和位置信息，由此构建识别模型；拍摄图像取得部，其取得通过搭载于所述对象车辆的摄像头的拍摄而生成的拍摄图像；以及检测部，其取得通过将所述拍摄图像作为输入数据输入到识别模型而输出的、所述拍摄图像中的该移动体的类别信息和位置信息，由此检测所述拍摄图像中的所述移动体，所述识别模型用于识别可能成为车辆行驶障碍的移动体、表示该移动体的类别的类别信息以及表示包括人行道和车道的多个位置中的该移动体所在的位置的位置信息。
根据上述方式，起到与上述移动体检测***同样的效果。
另外，本实施方式的程序用于使计算机学习可能成为车辆行驶障碍的移动体，所述程序使所述计算机执行如下处理：取得对拍摄到移动体的图像赋予了注释而得到的训练数据，所述注释是包含(a)该图像中的该移动体的坐标、(b)表示该移动体的类别的类别信息以及(c)表示包括人行道和车道的多个位置中的该移动体所在的位置的位置信息的信息，使用所述训练数据来学习所述图像中的该移动体的类别信息和位置信息，由此构建识别模型。
根据上述方式，起到与上述移动体学习方法同样的效果。
此外，这些总括性或具体的方式可由***、方法、集成电路、计算机程序或计算机可读取的CD-ROM等记录介质实现，也可由***、方法、集成电路、计算机程序或记录介质的任意组合实现。
以下，一边参照附图，一边对实施方式进行具体说明。
此外，以下说明的实施方式均表示概括性或具体的例子。以下的实施方式所示的数值、形状、材料、构成要素、构成要素的配置位置和连接方式、步骤、步骤的顺序等只是一例，不对本发明主旨进行限定。另外，关于以下的实施方式涉及的构成要素中的、表示顶部概念的独立权利要求中未记载的构成要素，作为任意构成要素来说明。
(实施方式1)
在实施方式1中，对能够以更高精度检测可能成为车辆行驶障碍的移动体的移动体检测装置以及移动体检测***等进行说明。
图1是示出本实施方式的移动体检测***的结构的框图。
本实施方式的移动体检测***10，是由至少一个计算机构成的***，检测存在于作为对象车辆的车辆11周围的移动体中的可能成为车辆11行驶障碍的移动体(也称作对象移动体)。具体而言，移动体检测***10具有车辆11所具备的车载设备和经由互联网等通信网13与该车载设备连接的服务器12。此外，作为车辆11的周围，以移动体检测***10检测存在于车辆11的行进方向的前方的对象移动体的技术为例来进行说明，但关于车辆11的后方或左右方向，也可以采用本技术。
车辆11的车载设备具有摄像头，通过该摄像头的拍摄生成图像。进而，车载设备在该图像中映现有移动体的情况下，检测所映现的移动体中的对象移动体。移动体例如是人、汽车、二轮摩托车或自行车等。车载设备基于使用了识别模型的识别，来检测对象移动体。在识别中使用的识别模型经由通信网13从服务器12取得。
服务器12通过有线通信或无线通信与显示装置14和输入设备15连接。显示装置14具有液晶显示器或有机EL(electroluminescence：电致发光)显示器，显示与来自服务器12的控制对应的图像。输入设备15例如具有键盘和鼠标等，并将与用户的输入操作对应的操作信号输出到服务器12。
另外，服务器12例如取得从多个终端装置(未图示)经由通信网13发送的图像并保存。具体而言，终端装置例如经由通信网13，将通过车辆11或车辆11以外的车辆所具有的摄像头的摄像而得到的图像发送给服务器12。进而，服务器12使用这样发送来的图像作为训练用图像，学习训练用图像中的移动体的类别和位置，由此构建识别模型。进而，服务器12经由通信网13，将该构建出的识别模型发送给车辆11。
图2是示出本实施方式的服务器12的功能结构的框图。
如图2所示，服务器12具有训练数据取得部120、学习部127、模型保存部128和控制部129。
训练数据取得部120取得在对象移动体的检测的学习中使用的训练数据。具体而言，训练数据取得部120对呈现有移动体的图像赋予表示该移动体的坐标、类别和位置的注释，由此取得训练数据。
训练数据取得部120具有图像保存部121、注释赋予部122和训练数据保存部123。
图像保存部121是RAM(Random Access Memory：随机存取存储器)或硬盘等用于记录数据的记录介质。图像保存部121例如保存通过摄像头的摄像而生成的多个图像作为多个训练用图像。
注释赋予部122对训练用图像赋予注释。注释包含移动体的坐标、类别信息和位置信息。移动体的坐标是训练用图像中的移动体的坐标(X，Y)，例如是关于如下坐标系的坐标，该坐标设图像的左上角为(0，0)、设右方向为X轴正方向、设下方向为Y轴正方向。类别情报是表示移动体的类别的信息，具体而言，是表示人、汽车、二轮摩托车和自行车等中的任一个的信息。位置信息是表示包括人行道和车道的多个位置中的移动体所在的位置的信息。在车道的情况下，可进一步细分为路边带、本车辆行驶车道(换言之，车辆11行驶的行驶车道)、相对车辆行驶车道(换言之，车辆11的相对车辆行驶的行驶车道)、人行横道、位于车道内的停车场(换言之，一并设立有停车计时器的停车场)。注释赋予部122经由控制部129，从输入设备15取得操作信号，并根据该操作信号，对训练用图像赋予注释。
此外，注释赋予部122可以基于图像解析技术等，自动地对训练用图像进行注释赋予，也可以根据来自用户的操作来进行。即，注释赋予部122可以通过解析训练用图像，自动地决定训练用图像中的移动体的坐标、类别和位置。另外，注释赋予部122也可以通过显示装置14显示训练用图像，取得由观看训练用图像的用户向输入设备15输入的操作信号，由此决定移动体的坐标、类别和位置。此外，以后以如下情况为例来进行说明：注释赋予部122基于由观看训练用图像的用户输入的操作信号来赋予注释。
此外，注释赋予部122可以对训练用图像赋予包含位置信息的注释，该位置信息表示包括人行道和车道的位置中的、移动体所在的两个以上的位置。换言之，训练数据所包含的注释所包含的位置信息是表示包括人行道和车道的位置中的、该移动体所在的两个以上的位置的位置信息。由此，能够适当地表现横跨多个位置而存在的移动体的位置信息，能够提高后述的学习部127的学习精度。
训练数据保存部123是RAM或硬盘等用于记录数据的记录介质。训练数据保存部123保存被赋予了注释的训练用图像作为训练数据。
学习部127使用训练数据，学习移动体的类别和位置。即，学习部127使用训练数据保存部123中保存的训练数据，学习训练用图像中的移动体的类别和位置，由此构建识别模型。学习部127将构建出的识别模型保存于模型保存部128。
由学习部127进行的学习是深度学习(Deep Learning(NeuralNetwork：神经网路))、随机森林(Random Forest)或遗传编程(GeneticProgramming)等机器学习。另外，关于图像中的物体的识别和分割，可以使用图切(Graph Cut)等。或者，也可以使用通过随机森林或遗传编程制作的识别器等。另外，学习部127构建的识别模型也可以是神经网络模型。
学习部127构建的识别模型是如下识别模型，其识别拍摄到移动体的图像中的移动体、表示该移动体的类别的类别信息以及表示包括人行道和车道的多个位置中的该移动体所在的位置的位置信息。更具体而言，识别模型例如是通过取得对拍摄到移动体的图像赋予了注释的训练数据，使用取得的训练数据来学习可能成为车辆11的行驶障碍的移动体的类别信息和位置信息而构建的，所述注释是包含(a)该图像中的该移动体的坐标、(b)表示该移动体的类别的类别信息以及(c)表示包括人行道和车道的多个位置中的该移动体所在的位置的位置信息的信息。
模型保存部128是RAM或硬盘等用于记录数据的记录介质。该模型保存部128中保存由学习部127构建的识别模型。模型保存部128中保存的识别模型经由控制部129提供给车载设备110。
控制部129取得来自输入设备15的操作信号，并根据该操作信号来控制训练数据取得部120、学习部127和显示装置14。另外，将模型保存部128中保存的识别模型提供给车载设备110。
接下来，详细说明在训练数据取得部120取得训练用图像后，通过对训练用图像赋予注释来生成训练数据，并保存到训练数据保存部123的处理。
图3是示出本实施方式的图像保存部121中保存的图像的一例的说明图。图4是示出本实施方式的训练数据的说明图。图5是示出本实施方式的注释赋予部122赋予的注释的说明图。
图3所示的图像是拍摄到移动体的图像(训练用图像)的一例。该图像是预先通过搭载于车辆11的摄像头在过去实际拍摄到的图像，也可以是通过一般的摄像头拍摄到的图像，也可以是通过使用了计算机的描绘而生成的图像、所谓CG(Computer Graphics：计算机图像)。此外，车辆11中搭载的摄像头为了扩大视角，有时采用鱼眼镜头。在采用了鱼眼镜头的摄像头所取得的图像中，该图像内的一部分有时会失真，但即使是失真的图像，同样的说明也成立。
在图3所示的图像中，拍摄到作为移动体的人21、22、23和24以及汽车25。移动体中的位于车道的人22以及位于人行道的汽车25被认为是可能成为车辆11的前进路线的障碍即可能成为车辆11行驶障碍的对象移动体。另一方面，人21、23和24位于人行道，成为车辆11行驶的障碍的可能性被认为较低。
图3所示的训练用图像被提供给注释赋予部122。进而，注释赋予部122对训练用图像赋予注释。
关于对图3所示的训练用图像的注释赋予，一边参照图4一边进行说明。
注释赋予部122通过控制部129，在显示装置14显示图3所示的图像，使用户观看。
用户观看图3所示的图像，作为图像所呈现的移动体而识别出人21、22、23和24以及汽车25。另外，识别出人行道31和车道32。
用户针对识别出的移动体，分别设定围绕该移动体的框。用户例如经由输入设备15，对作为移动体的人21设定框41。用户同样地，针对作为其它移动体的人22、23和24以及汽车25，分别设定框42、43、44以及45。此外，框41等的形状没有特别限定，如果是矩形或多边形，则具有能够以较少的信息量规定框41的位置和形状的优点。例如，如果是矩形的框，可通过矩形的左上顶点和右下顶点这两个坐标(二维坐标)来规定，如果是多边形的框，则可通过多个顶点各自的坐标来规定。用户在设定框后，注释赋予部122取得与用户设定的框对应的坐标作为图像中的移动体的坐标。
另外，用户对识别出的各个移动体，经由输入设备15设定该移动体的类别和该移动体所在的位置。例如，作为移动体的人21是位于人行道的人，因此，将移动体的类别设定为“人”，将位置设定为“人行道”。另外，关于作为移动体的人22，将移动体的类别设定“人”，将位置设定为“车道”。关于作为移动体的人23和24以及汽车25，也同样地设定。
注释赋予部122通过控制部129受理用户对各个移动体的类别和位置的设定。参照图5，对注释赋予部122受理的各移动体的坐标、类别和位置进行说明。
图5示出了关于各个移动体的训练用图像中的该移动体的坐标、该移动体的类别以及该移动体的位置。例如，关于作为移动体的人21，示出了坐标为框的左上顶点的坐标(x11，y11)和右下顶点的坐标(x12，y12)，类别是“人”，位置是“人行道”。
接下来，对学习部127的学习处理进行概念性地说明。
图6是示出本实施方式的移动体的学习的概念的说明图。图6的(a)将包围图5的人21的框41放大而示出，图6的(b)将包围图5的人22的框42放大而示出。
学习部127根据训练数据即训练用图像、移动体的坐标、类别和位置，通过深度学习等机器学习来学习训练用图像中的移动体的类别和位置。以下，示出了基于机器学习的学习方法的一例，但对学习方法进行了各种讨论，也可采用其它方法。
例如，学习部127根据训练用图像中的包围移动体的框内的图像和移动体的类别来学习移动体的类别。此时，例如可使用训练用图像所包含的移动体的图像的特征。另外，学习部127通过训练用图像中的包围移动体的框内的图像和移动体的位置，来学习移动体的位置。此处，移动体的位置是包括人行道和车道的多个位置中的任一个。此外，车道可细分为路边带、本车辆行驶车道、相对车辆行驶车道、人行横道、位于车道内的停车场。在移动体的位置的学习中，例如可使用训练用图像所包含的移动体的背景的图像的特征。此处，可使用如下特征：存在于车道的移动体的背景的图像往往包含车道或人行道的地面(例如沥青铺装、混凝土铺装、设置在铺装上的白线涂料、砂砾等)的图案和天空(蓝天、云等)的图案，以及，存在于人行道的移动体的背景的图像中往往包含道路周边的建造物和设施的图案。
接下来，对进行移动体检测的车载设备110以及搭载有车载设备110的车辆11进行说明。
此外，包围移动体的框可以设定为以包含背景的方式包围训练用图像中的移动体。换言之，移动体的坐标可以设定为包含表示如下区域的坐标：该区域以包含背景的方式包围训练用图像中的移动体。移动体的背景中包含表示移动体的位置的信息，因此，通过基于包含背景的移动体的图像来学习移动体的位置，能够以更高精度学习移动体的位置信息。
图7是示出车辆11的功能结构的框图。
车辆11具有车载设备110和车辆驱动机构115。
车载设备110具有摄像头111、识别器112、提示装置113和车辆控制装置114。
摄像头111以拍摄车辆11周围的方式，搭载于车辆11。具体而言，摄像头111以能够拍摄车辆11的前方的位置和方向搭载于车辆11。摄像头111在拍摄车辆11的前方时，将作为通过该拍摄而生成的图像的拍摄图像输出到识别器112。
识别器112经由通信网13，从服务器12取得识别模型并保持。此处，识别器112取得的识别模型是如下识别模型：其识别拍摄到移动体的图像中的移动体、表示该移动体的类别的类别信息以及表示包括人行道和车道的多个位置中的该移动体所在的位置的位置信息。另外，识别器112取得拍摄图像，该拍摄图像是通过搭载于车辆11的摄像头111拍摄车辆11的前方而生成的图像。进而，识别器112将该拍摄图像作为输入数据输入到识别模型，由此检测拍摄图像中的移动体。具体而言，识别器112通过取得拍摄图像中的移动体的类别信息和位置信息，来检测拍摄图像中的对象移动体。
更具体而言，识别器112取得拍摄图像中的移动体的类别信息和位置信息，判定所取得的类别信息和位置信息是否满足预先设定的条件，其中，该预先设定的条件在该移动体为对象移动体的情况下满足。进而，基于该判定结果，检测出拍摄图像中的移动体作为对象移动体。
例如，识别器112在检测拍摄图像中的对象移动体时，取得表示移动体是人的类别信息以及表示移动体存在于车道的位置信息，由此检测拍摄图像中的对象移动体。
另外，例如，识别器112在检测拍摄图像中的对象移动体时，取得表示移动体是汽车、二轮摩托车或自行车的类别信息以及表示移动体存在于人行道的位置信息，由此检测拍摄图像中的对象移动体。
此外，车道可细分为路边带、本车辆行驶车道、相对车辆行驶车道、人行横道、位于车道内的停车场。例如，也可以是，识别器112检测出存在于本车辆行驶车道的人作为对象移动体，另一方面，并不检测存在于相对车辆行驶车道的人作为对象移动体。这是因为，存在于本车辆行驶车道的人的情况成为车辆11行驶障碍的可能性较高。
此外，识别器112向提示装置113和车辆控制装置114输出表示该确定出的移动体的输出数据。输出数据例如包含提示图像，该提示图像是对拍摄图像叠加指示该确定出的移动体的图形(框、箭头等)而得到的图像。
提示装置113是提示信息的提示装置，例如包含液晶显示器、有机EL显示器等显示装置或扬声器等声音输出装置。此处，以提示装置113是显示装置的情况为例来说明。
提示装置113在从识别器112取得输出数据时，将该输出数据显示为图像。具体而言，提示装置113显示对拍摄图像叠加了指示该确定出的对象移动体的图形而得到的提示图像。由此，通过提示图像，向车辆11的驾驶者提示由摄像头111拍摄到的拍摄图像中的、所检测出的对象移动体的位置。
车辆控制装置114是控制车辆11的驱动尤其是车辆11的加速和减速的控制装置。车辆控制装置114在从识别器112取得输出数据时，车辆控制装置114基于该输出数据，例如进行使车辆11减速的控制。车辆11的驱动的控制由车辆驱动机构115进行。
车辆驱动机构115是控制车辆11的驱动的控制装置。车辆驱动机构115在来自车辆控制装置114的控制之下，进行车辆11的驱动、具体而言是加减速和转向等的控制。
对如上构成的移动体检测***执行的处理进行说明。
图8是示出本实施方式的服务器12进行的移动体学习方法的处理的流程图。
在步骤S121中，服务器12的注释赋予部122从图像保存部121取得训练用图像。
在步骤S122中，注释赋予部122基于操作信号或图像处理来判定在步骤S121中取得的训练用图像中是否呈现有移动体。注释赋予部122在判定为呈现有移动体的情况下(步骤S122：是)，进入步骤S123，在不是那样的情况下(步骤S122：否)，进入步骤S125。
在步骤S123中，注释赋予部122对在步骤S121中取得的训练用图像赋予注释。注释包含训练用图像中的移动体的坐标、类别信息和位置信息。
在步骤S124中，注释赋予部122将赋予了注释的训练用图像作为训练数据保存于训练数据保存部123。
在步骤S125中，训练数据取得部120判定图像保存部121中是否存在未进行关于是否呈现有移动体的判定的训练用图像、即未处理的训练用图像。在判定为存在未处理的训练用图像的情况下(步骤S125：是)，对未处理的训练用图像执行从步骤S121起的处理。另一方面，在判定为没有未处理的训练用图像的情况下(步骤S125：否)，进入步骤S126。
在步骤S126中，学习部127使用训练数据保存部123中保存的训练数据，来学习训练图像中的移动体的类别和位置。由此，学习部127构建移动体的类别和位置的识别模型，并将该识别模型保存于模型保存部128。
图9是示出本实施方式的车载设备110进行的移动体检测方法的处理的流程图。
在步骤S111中，车载设备110的摄像头111通过拍摄，生成拍摄图像。
在步骤S112中，识别器112将步骤S111中摄像头111生成的拍摄图像作为输入数据，输入到识别模型。
在步骤S113中，识别器112得到通过在步骤S112中将拍摄图像输入到识别模型而输出的信息。从识别模型输出的信息包含步骤S112中向识别模型输入的拍摄图像中的移动体的类别信息和位置信息。识别器112得到从识别模型输出的信息，由此检测拍摄图像中的对象移动体。
在步骤S114中，车载设备110基于在步骤S113中得到的、拍摄图像中的移动体的类别信息和位置信息，进行与对象移动体相关的信息提示或车辆11的控制。与移动体相关的信息提示，由提示装置113进行。即，提示装置113例如生成表示对象移动体的类别信息和位置信息的图像数据，并基于所生成的图像数据来提示图像。此外，提示装置113也可以生成用于向用户通知类别信息和位置信息的声音数据，并基于所生成的声音数据来输出声音。
另外，车辆11的控制由车辆控制装置114进行。即，车辆控制装置114例如为了避免与对象移动体相撞，进行使车辆11减速的控制。
由此，在移动体检测***10中，使用通过服务器12的机器学习而生成的与移动体的类别和位置相关的识别模型，能够通过车载设备110，以更高精度检测位于车辆11的前方的、可能成为车辆11行驶障碍的对象移动体。
如上所述，根据本实施方式的移动体检测方法，基于识别模型来检测摄像图像中的对象移动体。该识别模型能够识别呈现有移动体的图像中的该移动体以及该移动体的类别和位置，因此，通过向该识别模型输入拍摄图像，能够以更高精度检测拍摄图像中的对象移动体。这样，根据该移动体检测方法，能够以更高精度检测可能成为车辆行驶障碍的对象移动体。
另外，使用了如下识别模型，该识别模型是使用赋予了注释的训练数据而构建的、即通过进行呈现有移动体的图像中的该移动体的类别和位置的学习而构建的识别模型。即，向识别模型教授了图像所呈现的移动体的类别和位置。例如，基于图像所呈现的移动体的形状或色彩等特征或者移动体的背景的图像等，来学习移动体的类别和位置。因此，通过向识别模型输入拍摄图像，能够适当地检测所输入的拍摄图像中的移动体的类别和位置，有利于对象移动体的更高精度的检测。
另外，作为可能成为车辆行驶障碍的对象移动体，更具体而言，在拍摄图像中，检测位于车道的人。
另外，作为可能成为车辆行驶障碍的对象移动体，更具体而言，在拍摄图像中，检测位于人行道的汽车、二轮摩托车或自行车。
另外，作为识别模型，使用神经网络模型，更具体而言，能够以更高精度检测可能成为车辆行驶障碍的移动体。
另外，使用表示人、汽车、二轮摩托车或自行车中的某一个的信息来作为表示注释所标示的移动体的类别的信息，更具体而言，能够以更高精度检测可能成为车辆行驶障碍的对象移动体。
另外，使用赋予了注释的训练数据，进行呈现有移动体的图像中的该移动体的类别和位置的学习，由此构建识别模型。即，可构建教授了图像所呈现的移动体的类别和位置的识别模型。因此，通过使用该识别模型，能够以更高精度检测可能成为车辆行驶障碍的对象移动体。
另外，作为注释所标示的移动体的位置，使用了多个位置，由此，能够以更高精度学习横跨多个位置而存在的移动体的位置信息。
另外，作为注释所标示的移动体的位置，使用了包围移动体和背景的区域，并基于包含背景的移动体的图像来学习移动体的位置。移动体的背景中包含表示移动体的位置的信息，因此，通过基于包含背景的移动体的图像来学习移动体的位置，能够以更高精度学习移动体的位置信息。
(实施方式2)
在实施方式2中，在能够以更高精度检测可能成为车辆行驶障碍的移动体的移动体检测装置以及移动体检测***等中，对能够更详细地识别移动体的位置、并基于详细识别出的位置来检测移动体的移动体检测装置等进行说明。
首先，参照图10，对本实施方式的移动体检测装置可检测的检测对象进行说明。
图10是示出本实施方式的移动体检测***的检测对象的说明图。
图10示出了从车辆11观察到的人21。人21是最初存在于人行道，然后从人行道移动到车道的人的一例。在图10中，对指示人的箭头赋予的“T0”、“T20”等符号表示时刻。此处，时刻是按T0、T1、T2、T3……这样进展的，图10中示出了其中几个时刻的人21。
如图10所示，人21在比时刻T50早的时刻位于人行道，在时刻T50，从人行道向车道移动，然后横穿过车道而步行。
人在从人行道向车道移动时，通常进行用于左右确认的摇头动作、步行或行进的减速或暂时停止等动作(以下也称作事先动作)。因此，移动体检测***通过学习人即将从人行道向车道移动之前的预定时间的动作，生成能够检测事先动作的学习数据。进而，本实施方式的移动体检测***在车辆11的行驶中拍摄的图像中，检测正进行事先动作的移动体，进行对驾驶者的提示或车辆11的控制。
本实施方式的移动体检测***具有与实施方式1的移动体检测***10大致同样的结构，但服务器12的注释赋予部122和学习部127的处理不同。另外，车载设备110的识别器112的处理不同。以后，对与实施方式1的移动体检测***10不同的部分进行说明。
在本实施方式中，训练用图像包含按时间序列连续拍摄且拍摄到移动体的多个拍摄图像。图像保存部121取得按时间序列连续拍摄且拍摄到移动体的多个拍摄图像。
本实施方式的注释赋予部122对训练用图像赋予的注释包含移动体所固有的识别信息。即，本实施方式的注释赋予部122赋予的注释除了移动体的坐标、类别信息和位置信息之外，还包含识别信息。进而，将注释赋予部122赋予了注释的训练图像作为训练数据保存于训练数据保存部123。
识别信息是能够将一个移动体(例如人21)区别于其它移动体而识别的识别符。将识别信息作为注释赋予训练用图像，由此，能够在贯穿按时间序列连续拍摄到的多个拍摄图像中，确定出同一移动体。
另外，注释赋予部122基于训练数据保存部123中保存的训练数据，针对包含从人行道向车道移动的移动体的图像，对移动体即将从人行道移动到车道的时刻之前的预定时间内的图像赋予事先动作信息。此处，事先动作信息是表示该移动体正在进行事先动作的信息。
此外，注释赋予部122赋予事先动作信息的图像可以仅包含横穿车辆11正在行驶的行驶车道的人，换言之，不包含未横穿行驶车道的人。即，可以对训练数据所包含的多个图像中的、拍摄到横穿行驶车道的人的图像赋予还包含事先动作信息的注释。由此，移动体检测***10通过识别要进入车道的人物的举动，能够事先预测突然进入车道。
本实施方式的学习部127使用训练数据来学习移动体的类别、位置以及有无事先动作。即，学习部127使用训练数据保存部123中保存的训练数据，学习训练用图像中的移动体的类别、位置和事先动作，由此构建识别模型。此处，在训练数据中，由注释赋予部122赋予了包含识别信息的注释，因此，能够贯穿多个训练数据而确定同一移动体，能够识别该移动体的移动和动作。由此，能够学习该移动体从人行道移动到车道的时刻，能够将此时刻之前的预定时间内的移动体的动作作为事先动作来学习。
本实施方式的识别器112通过摄像头111拍摄车辆前方来取得拍摄图像，并将拍摄图像作为输入数据输入到识别模型，由此检测拍摄图像中的移动体。识别器112使用的识别模型是通过学习部127的学习而生成的，是能够识别移动体有无事先动作的识别模型。因此，识别器112通过取得拍摄图像中的移动体的类别信息、位置信息和动作信息，基于拍摄图像中的移动体的类别和位置以及移动体是否进行了事先动作，来检测对象移动体。
此外，也可以是，在检测对象移动体时，取得表示移动体是人的类别信息、表示移动体存在于人行道的位置信息以及表示移动体正在进行在从人行道移动到车道的预定时间前进行的事先动作的动作信息，由此检测拍摄图像中的对象移动体。
另外，也可以是，在检测对象移动体时，取得表示移动体是汽车或二轮摩托车的类别信息、表示移动体存在于车道的位置信息以及表示移动体正在进行在对象车辆的前方***到对象车辆的行驶车道的预定时间前进行的事先动作的动作信息，由此检测拍摄图像中的对象移动体。
图11是示出本实施方式的注释赋予部122对训练用图像赋予的注释的说明图。
注释赋予部122通过控制部129受理用户对各移动体的识别符、类别、图像中的坐标和位置的输入。一边参照图11，一边对注释赋予部122受理的各移动体的识别符、类别、图像中的坐标和位置进行说明。此外，设作为移动体的人21的识别符为与该符号相同的“21”来进行说明。
图11示出了关于各移动体的识别符、类别、图像中的坐标和位置。例如示出了：在时刻T49，移动体的识别符为“21”，类别为“人”，位置为“车道”。关于坐标，与图5同样地，由图像的左上顶点的坐标和右上顶点的坐标进行指定(在附图上省略)。
另外示出了：在时刻T50，移动体的识别符为“21”，类别为“人”，位置为“车道”。
另外，注释赋予部122针对包含从人行道向车道移动的移动体的图像，对移动体即将从人行道移动到车道的时刻之前的预定时间内的图像赋予事先动作信息。此处示出了，对包含正在进行事先动作的移动体的图像赋予事先动作“有”的信息，对不是那样的图像赋予事先动作“无”的信息的例子。具体而言，对从时刻T47到时刻T49为止的时间内的各图像赋予事先动作“有”的信息。此处，移动体即将从人行道移动到车道的时刻之前的预定时间相当于从时刻T47到时刻T49为止的时间。
学习部127从训练数据保存部123读取这样的赋予了注释的训练数据。进而，使用识别符，贯穿多个拍摄图像，确定作为一个移动体的人21，取得其移动和动作，由此学习移动体的事先动作。此外，学习部127与实施方式1的学习部127同样地，也学习移动体的类别和位置。这样，学习部127构建识别模型，并保存于模型保存部128。
图12是示出本实施方式的服务器12的处理的流程图。
在图12的流程图中，步骤S123A和S126A与实施方式1的服务器12的处理(参照图8)中的步骤S123和S126不同。其他点与实施方式1的服务器12的处理相同。
在步骤S123A中，注释赋予部122与步骤S123同样地，对在步骤S121中取得的训练用图像赋予注释，并暂时保存于训练数据保存部123。另外，注释赋予部122进一步基于训练数据保存部123中保存的训练数据，针对包含从人行道向车道移动的移动体的图像，对移动体即将从人行道移动到车道的时刻之前的预定时间内的图像赋予事先动作信息。
在步骤S126A中，学习部127A使用训练数据保存部123中保存的训练数据，学习移动体的类别、位置和事先动作。由此，学习部127A构建移动体的类别、位置和事先动作的识别模型，并将该识别模型保存于模型保存部128。
图13是示出本实施方式的车载设备110的处理的流程图。
在图13的流程图中，步骤S113A与实施方式1的车载设备110的处理(参照图9)中的步骤S113不同。其他点与实施方式1的车载设备110的处理相同。
在步骤S113A中，识别器112得到通过在步骤S112中将拍摄图像输入到识别模型而输出的信息。从识别模型输出的信息包含在步骤S112中输入到识别模型的拍摄图像中的移动体的类别信息、位置信息以及有无事先动作。识别器112得到从识别模型输出的信息，由此检测拍摄图像中的对象移动体。
如上所述，根据本实施方式的移动体检测方法，基于通过进一步使用移动体的事先动作进行学习而构建的识别模型，来检测拍摄图像中的对象移动体。该识别模型还被赋予了移动体的识别信息，因此，该识别模型是通过基于贯穿多个图像的移动体的动作进行事先动作的学习而构建的。即，除了图像所呈现的移动体的类别和位置之外，还向识别模型教授了移动体的事先动作。例如，教授了贯穿多个图像而呈现的移动体的事先动作(更具体而言，人的摇头动作、步行或行进发生减速或暂时停止、或者汽车车灯的闪烁等)和移动体的移动(更具体而言，位于人行道的人靠近车道的移动、汽车从其它行驶车道向车辆的行驶车道移动等)。因此，通过向识别模型输入拍摄图像，能够适当地检测所输入的拍摄图像中的移动体的类别、位置和有无事先动作，有利于对象移动体的更高精度的检测。
另外，作为可能成为车辆行驶障碍的对象移动体，更具体而言，在拍摄图像中，检测从人行道向车道移动的人。
另外，作为可能成为车辆行驶障碍的对象移动体，更具体而言，在拍摄图像中，检测要向对象车辆的行驶车道***的汽车等。
另外，根据本实施方式的移动体检测方法，通过进一步使用移动体的事先动作来进行学习，由此构建识别模型。该识别模型还被赋予了移动体的识别信息，因此，该识别模型是通过基于贯穿多个图像的移动体的动作进行事先动作的学习而构建的。因此，通过使用该识别模型，能够以更高精度检测可能成为车辆行驶障碍的对象移动体。
另外，在学习移动体的类别、位置和事先动作时，通过进行使用了训练数据的学习来构建识别模型，在所述训练数据中，对包含横穿行驶车道的人的图像赋予了包含事先动作信息的注释。由此，通过识别要进入车道的人物的举动，能够事先预测突然进入车道。
(各实施方式的变形例)
上述各实施方式的移动体检测***等一部分或全部也可以如下方式记载，但不限于以下的记载。
图14是示出各实施方式的变形例的移动体学习方法的流程图。
如图14所示，各实施方式的变形例的移动体学习方法用于通过至少一个计算机来检测可能成为对象车辆行驶障碍的对象移动体，在该移动体学习方法中，取得对拍摄到移动体的图像赋予了注释而得到的训练数据，所述注释是包含(a)该图像中的该移动体的坐标、(b)表示该移动体的类别的类别信息以及(c)表示包括人行道和车道的多个位置中的该移动体所在的位置的位置信息的信息(步骤S201)，使用训练数据来学习所述图像中的该移动体的类别信息和位置信息，由此构建识别模型(步骤S202)。
图15是示出各实施方式的变形例的移动体学习装置200的框图。
如图15所示，各实施方式的变形例的移动体学习装置200使至少一个计算机学习可能成为车辆行驶障碍的对象移动体，该移动体学习装置200具有：训练数据取得部201，其取得对拍摄到移动体的图像赋予了注释而得到的训练数据，所述注释是包含(a)该图像中的该移动体的坐标、(b)表示该移动体的类别的类别信息以及(c)表示包括人行道和车道的多个位置中的该移动体所在的位置的位置信息的信息；以及学习部202，其使用训练数据来学习所述图像中的该移动体的类别信息和位置信息，由此构建识别模型。
图16是示出各实施方式的变形例的移动体检测方法的流程图。
如图16所示，各实施方式的变形例中的移动体检测方法，通过至少一个计算机来检测可能成为对象车辆行驶障碍的对象移动体，在该移动体检测方法中，取得通过搭载于对象车辆的摄像头拍摄对象车辆的前方而生成的拍摄图像(步骤S301)，取得通过将拍摄图像作为输入数据输入到识别模型而输出的、拍摄图像中的移动体的类别信息和位置信息，由此检测拍摄图像中的对象移动体(步骤S302)，所述识别模型用于识别拍摄到移动体的图像中的该移动体、表示该移动体的类别的类别信息以及表示包括人行道和车道的多个位置中的该移动体所在的位置的位置信息。
图17是示出各实施方式的变形例的移动体检测装置300的框图。
如图17所示，各实施方式的变形例的移动体检测装置300通过至少一个计算机来检测可能成为对象车辆行驶障碍的对象移动体，所述移动体检测装置300具有：拍摄图像取得部301，其取得通过搭载于对象车辆的摄像头拍摄对象车辆的前方而生成的拍摄图像；以及检测部302，其取得通过将拍摄图像作为输入数据输入到识别模型而输出的、拍摄图像中的该移动体的类别信息和位置信息，由此检测拍摄图像中的移动体，所述识别模型用于识别拍摄到移动体的图像中的该移动体、表示该移动体的类别的类别信息、表示包括人行道和车道的多个位置中的该移动体所在的位置的位置信息。
图18是示出各实施方式的变形例的移动体检测方法的流程图。
如图18所示，各实施方式的变形例的移动体检测方法通过至少一个计算机来检测可能成为车辆行驶障碍的对象移动体，在该移动体检测方法中，取得对拍摄到移动体的图像赋予了注释而得到的训练数据，所述注释是包含(a)该图像中的该移动体的坐标、(b)表示该移动体的类别的类别信息以及(c)表示包括人行道和车道的多个位置中的该移动体所在的位置的位置信息的信息(步骤S201)，使用训练数据来学习所述图像中的该移动体的类别信息和位置信息，由此构建识别模型(步骤S202)，取得通过搭载于对象车辆的摄像头拍摄对象车辆的前方而生成的拍摄图像(步骤S301)；取得通过将拍摄图像作为输入数据输入到识别模型而输出的、拍摄图像中的该移动体的类别信息和位置信息，由此检测拍摄图像中的移动体(步骤S302)，所述识别模型用于识别可能成为车辆行驶障碍的移动体、表示该移动体的类别的类别信息以及表示包括人行道和车道的多个位置中的该移动体所在的位置的位置信息。
图19是示出各实施方式的变形例的移动体检测***的框图。
如图19所示，各实施方式的变形例的移动体检测***通过至少一个计算机来检测可能成为对象车辆行驶障碍的移动体，该移动体检测***具有：训练数据取得部201，其取得对拍摄到移动体的图像赋予了注释而得到的训练数据，所述注释是包含(a)该图像中的该移动体的坐标、(b)表示该移动体的类别的类别信息以及(c)表示包括人行道和车道的多个位置中的该移动体所在的位置的位置信息的信息；学习部202，其使用训练数据来学习所述图像中的该移动体的类别信息和位置信息，由此构建识别模型；拍摄图像取得部301，其取得通过搭载于对象车辆的摄像头拍摄对象车辆的前方而生成的拍摄图像；以及检测部302，其取得通过将拍摄图像作为输入数据输入到识别模型而输出的、拍摄图像中的该移动体的类别信息和位置信息，由此检测拍摄图像中的移动体，所述识别模型用于识别可能成为车辆行驶障碍的移动体、表示该移动体的类别的类别信息以及表示包括人行道和车道的多个位置中的该移动体所在的位置的位置信息。
此外，在上述各实施方式中，各构成要素也可以通过由专用硬件构成或执行适合于各构成要素的软件程序来实现。各构成要素也可以通过CPU或处理器等程序执行部读出并执行硬盘或半导体存储器等记录介质中记录的软件程序来实现。此处，实现上述各实施方式的移动体学习装置和移动体检测装置等的软件是如下这样的程序。
即，该程序使计算机执行通过至少一个计算机来检测可能成为对象车辆行驶障碍的移动体即对象移动体的移动体检测方法，在该移动体检测方法中，取得通过搭载于所述对象车辆的摄像头的拍摄而生成的拍摄图像，取得通过将所述拍摄图像作为输入数据输入到识别模型而输出的、所述拍摄图像中的移动体的类别信息和位置信息，由此检测所述拍摄图像中的所述对象移动体，所述识别模型用于识别拍摄到移动体的图像中的该移动体、表示该移动体的类别的类别信息以及表示包括人行道和车道的多个位置中的该移动体所在的位置的位置信息。
另外，该程序使计算机执行用于通过至少一个计算机来检测可能成为对象车辆行驶障碍的移动体即对象移动体的移动体学习方法，在该移动体学习方法中，取得对拍摄到移动体的图像赋予了注释而得到的训练数据，所述注释是包含(a)该图像中的该移动体的坐标、(b)表示该移动体的类别的类别信息以及(c)表示包括人行道和车道的多个位置中的该移动体所在的位置的位置信息的信息，使用所述训练数据来学习所述图像中的该移动体的类别信息和位置信息，由此构建识别模型。
以上，基于实施方式，对一个或多个方式的移动体检测方法等进行了说明，但本发明不限于该实施方式。在不脱离本发明主旨的前提下，对本实施方式实施本领域技术人员想出的各种变形和/或组合不同的实施方式中的构成要素而构建的方式也可以包含在一个或多个方式的范围内。
产业上的可利用性
本发明能够应用于能够以更高精度检测可能成为车辆行驶障碍的移动体的移动体检测方法。更具体而言，能够应用于自动驾驶车辆中搭载的控制装置等。

Claims (18)

1.一种移动体检测方法，通过至少一个计算机来检测对象移动体，所述对象移动体是可能成为对象车辆行驶障碍的移动体，所述移动体检测方法包括：
取得通过搭载于所述对象车辆的摄像头的拍摄而生成的拍摄图像；
取得通过将所述拍摄图像作为输入数据输入到识别模型而输出的、所述拍摄图像中的移动体的类别信息和位置信息，由此检测所述拍摄图像中的所述对象移动体，所述识别模型用于识别拍摄到移动体的图像中的该移动体、表示该移动体的类别的类别信息以及表示包括人行道和车道的多个位置中的该移动体所在的位置的位置信息。
2.根据权利要求1所述的移动体检测方法，
所述识别模型为通过如下那样而构建的模型：
取得对拍摄到移动体的图像赋予了注释而得到的训练数据，所述注释是包含(a)该图像中的该移动体的坐标、(b)表示该移动体的类别的类别信息以及(c)表示包括人行道和车道的多个位置中的该移动体所在的位置的位置信息的信息；
使用所述训练数据来学习所述图像中的该移动体的类别信息和位置信息。
3.根据权利要求1或2所述的移动体检测方法，
在检测所述对象移动体时，取得表示所述拍摄图像中的所述移动体是人的所述类别信息以及表示所述移动体存在于车道的所述位置信息，由此检测所述拍摄图像中的所述对象移动体。
4.根据权利要求1或2所述的移动体检测方法，
在检测所述对象移动体时，取得表示所述拍摄图像中的所述移动体是汽车、二轮摩托车或自行车的所述类别信息以及表示所述移动体存在于人行道的所述位置信息，由此检测所述拍摄图像中的所述对象移动体。
5.根据权利要求2所述的移动体检测方法，
在取得所述拍摄图像时，取得按时间序列连续拍摄到的多个所述拍摄图像，
在取得所述训练数据时，取得赋予了还包含(d)该移动体的识别信息的所述注释而得到的所述训练数据，
所述识别模型是通过使用所述训练数据进一步学习事先动作而构建的模型，所述事先动作是在该移动体成为车辆行驶障碍的预定时间前该移动体所进行的预定动作，
在检测所述移动体时，进一步取得通过将多个所述拍摄图像作为输入数据输入到所述识别模型而输出的、表示多个所述拍摄图像中的该移动体有无所述事先动作的动作信息，由此检测多个所述拍摄图像中的所述对象移动体。
6.根据权利要求5所述的移动体检测方法，
在检测所述对象移动体时，取得表示所述拍摄图像中的所述移动体是人的所述类别信息、表示所述移动体存在于人行道的所述位置信息以及表示所述移动体正在进行在从人行道移动到车道的所述预定时间前进行的所述事先动作的所述动作信息，由此检测所述拍摄图像中的所述对象移动体。
7.根据权利要求5所述的移动体检测方法，
在检测所述对象移动体时，取得表示所述拍摄图像中的所述移动体是汽车或二轮摩托车的所述类别信息、表示所述移动体存在于车道的所述位置信息以及表示所述移动体正在进行在所述对象车辆的前方***到所述对象车辆的行驶车道的所述预定时间前进行的所述事先动作的所述动作信息，由此检测所述拍摄图像中的所述对象移动体。
8.根据权利要求1所述的移动体检测方法，
所述识别模型是神经网络模型。
9.根据权利要求2所述的移动体检测方法，
表示所述注释所标示的移动体的类别的信息，是表示人、汽车、二轮摩托车和自行车中的某一个的信息。
10.一种移动体学习方法，用于通过至少一个计算机来检测对象移动体，所述对象移动体是可能成为对象车辆行驶障碍的移动体，所述移动体学习方法包括：
取得对拍摄到移动体的图像赋予了注释而得到的训练数据，所述注释是包含(a)该图像中的该移动体的坐标、(b)表示该移动体的类别的类别信息以及(c)表示包括人行道和车道的多个位置中的该移动体所在的位置的位置信息的信息；
使用所述训练数据来学习所述图像中的该移动体的类别信息和位置信息，由此构建识别模型。
11.根据权利要求10所述的移动体学习方法，
在取得所述训练数据时，取得对拍摄到移动体的多个所述图像分别赋予了包含(a)所述坐标、(b)所述类别信息、(c)所述位置信息和(d)能够唯一识别该移动体的识别信息的所述注释而得到的所述训练数据，
在构建所述识别模型时，使用所述训练数据，进一步学习在该移动体成为车辆行驶障碍的预定时间前该移动体所进行的事先动作，由此构建所述识别模型。
12.根据权利要求11所述的移动体学习方法，
所述训练数据所包含的多个所述图像中的、拍摄到横穿行驶车道的人的图像，是被赋予了还包含事先动作信息的注释的图像，所述事先动作信息表示包括正在进行事先动作的移动体这一情况。
13.根据权利要求10～12中的任一项所述的移动体学习方法，
所述训练数据所包含的所述注释所包含的所述位置信息，表示包括人行道和车道的位置中的该移动体所在的两个以上的位置。
14.根据权利要求10～12中的任一项所述的移动体学习方法，
所述移动体的坐标包含表示如下区域的坐标，所述区域以包含背景的方式包围所述图像中的所述移动体。
15.一种移动体检测装置，通过至少一个计算机来检测对象移动体，所述对象移动体是可能成为对象车辆行驶障碍的移动体，所述移动体检测装置具有：
拍摄图像取得部，其取得通过搭载于所述对象车辆的摄像头的拍摄而生成的拍摄图像；以及
检测部，其取得通过将所述拍摄图像作为输入数据输入到识别模型而输出的、所述拍摄图像中的该移动体的类别信息和位置信息，由此检测所述拍摄图像中的所述对象移动体，所述识别模型用于识别拍摄到移动体的图像中的该移动体、表示该移动体的类别的类别信息以及表示包括人行道和车道的多个位置中的该移动体所在的位置的位置信息。
16.一种移动体学习装置，使至少一个计算机学习对象移动体，所述对象移动体是可能成为车辆行驶障碍的移动体，所述移动体学习装置具有：
训练数据取得部，其取得对拍摄到移动体的图像赋予了注释而得到的训练数据，所述注释是包含(a)该图像中的该移动体的坐标、(b)表示该移动体的类别的类别信息以及(c)表示包括人行道和车道的多个位置中的该移动体所在的位置的位置信息的信息；以及
学习部，其使用所述训练数据来学习所述图像中的该移动体的类别信息和位置信息，由此构建识别模型。
17.一种移动体检测***，通过至少一个计算机来检测对象移动体，所述对象移动体是可能成为对象车辆行驶障碍的移动体，所述移动体检测***具有：
训练数据取得部，其取得对拍摄到移动体的图像赋予了注释而得到的训练数据，所述注释是包含(a)该图像中的该移动体的坐标、(b)表示该移动体的类别的类别信息以及(c)表示包括人行道和车道的多个位置中的该移动体所在的位置的位置信息的信息；
学习部，其使用所述训练数据来学习所述图像中的该移动体的类别信息和位置信息，由此构建识别模型；
拍摄图像取得部，其取得通过搭载于所述对象车辆的摄像头的拍摄而生成的拍摄图像；以及
检测部，其取得通过将所述拍摄图像作为输入数据输入到识别模型而输出的、所述拍摄图像中的该移动体的类别信息和位置信息，由此检测所述拍摄图像中的所述移动体，所述识别模型用于识别可能成为车辆行驶障碍的移动体、表示该移动体的类别的类别信息以及表示包括人行道和车道的多个位置中的该移动体所在的位置的位置信息。
18.一种程序，用于使计算机学习可能成为车辆行驶障碍的移动体，所述程序使所述计算机执行如下处理：
取得对拍摄到移动体的图像赋予了注释而得到的训练数据，所述注释是包含(a)该图像中的该移动体的坐标、(b)表示该移动体的类别的类别信息以及(c)表示包括人行道和车道的多个位置中的该移动体所在的位置的位置信息的信息，
使用所述训练数据来学习所述图像中的该移动体的类别信息和位置信息，由此构建识别模型。
CN201810617845.3A 2017-06-23 2018-06-15 移动体检测装置及检测方法、移动体学习装置及学习方法、移动体检测***以及程序 Pending CN109117706A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017123137A JP2019008519A (ja) 2017-06-23 2017-06-23 移動体検出方法、移動体学習方法、移動体検出装置、移動体学習装置、移動体検出システム、および、プログラム
JP2017-123137 2017-06-23

Publications (1)

Publication Number Publication Date
CN109117706A true CN109117706A (zh) 2019-01-01

Family

ID=62567542

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810617845.3A Pending CN109117706A (zh) 2017-06-23 2018-06-15 移动体检测装置及检测方法、移动体学习装置及学习方法、移动体检测***以及程序

Country Status (4)

Country Link
US (1) US20180373943A1 (zh)
EP (1) EP3418947A1 (zh)
JP (1) JP2019008519A (zh)
CN (1) CN109117706A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111673730A (zh) * 2019-03-11 2020-09-18 本田技研工业株式会社 路径决定方法
CN111751085A (zh) * 2019-03-29 2020-10-09 上海擎感智能科技有限公司 一种车灯更换提醒方法及其装置
CN111783889A (zh) * 2020-07-03 2020-10-16 北京字节跳动网络技术有限公司 图像识别方法、装置、电子设备和计算机可读介质
CN113246997A (zh) * 2021-06-28 2021-08-13 智道网联科技(北京)有限公司 智能驾驶中的安全监测方法、装置、电子设备及存储介质

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019097784A1 (ja) * 2017-11-16 2019-05-23 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
DE102018115895A1 (de) * 2018-06-30 2020-01-02 Bayerische Motoren Werke Aktiengesellschaft Verfahren und System zur Erkennung von Hindernissen
CN110796156A (zh) * 2018-08-02 2020-02-14 松下知识产权经营株式会社 信息处理方法及信息处理***
JP7229795B2 (ja) * 2019-02-01 2023-02-28 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ アノテーション装置、アノテーション方法、及び、プログラム
US10997461B2 (en) 2019-02-01 2021-05-04 Tesla, Inc. Generating ground truth for machine learning from time series elements
US11150664B2 (en) * 2019-02-01 2021-10-19 Tesla, Inc. Predicting three-dimensional features for autonomous driving
JP7250572B2 (ja) 2019-03-11 2023-04-03 本田技研工業株式会社 倒立振子型ロボット
CN110111018B (zh) * 2019-05-16 2023-07-28 北京百度网讯科技有限公司 评估车辆感测能力的方法、装置、电子设备及存储介质
CN110532937B (zh) * 2019-08-26 2022-03-08 北京航空航天大学 基于识别模型与分类模型进行列车前向目标精准识别的方法
EP3819811A1 (en) * 2019-11-06 2021-05-12 Ningbo Geely Automobile Research & Development Co. Ltd. Vehicle object detection
JP7455598B2 (ja) 2020-02-04 2024-03-26 株式会社デンソーテン 画像処理装置、アノテーション処理装置、画像処理方法、アノテーション処理方法、画像処理プログラム
JP7469100B2 (ja) 2020-03-27 2024-04-16 Ｎｔｔテクノクロス株式会社 検出装置及びプログラム
CN112687108B (zh) * 2020-06-28 2022-08-09 浙江大华技术股份有限公司 人车匹配的检测方法、检测装置、拍摄装置及存储介质
CN112733702A (zh) * 2021-01-07 2021-04-30 华侨大学 基于遥感图像的人行道检测方法、装置、设备及存储介质
JP2022131497A (ja) * 2021-02-26 2022-09-07 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法およびプログラム

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090125795A (ko) 2007-04-02 2009-12-07 파나소닉 주식회사 안전운전 지원장치
EP2288520B1 (en) * 2008-06-25 2014-09-24 Autoliv Development AB A system for detecting objects in the vicinity of a vehicle
US9064152B2 (en) * 2011-12-01 2015-06-23 Elwha Llc Vehicular threat detection based on image analysis
DE102013207223A1 (de) * 2013-04-22 2014-10-23 Ford Global Technologies, Llc Verfahren zur Erkennung von nicht motorisierten Verkehrsteilnehmern
CN112580456A (zh) * 2014-05-14 2021-03-30 御眼视觉技术有限公司 用于路缘检测和行人危险评估的***和方法
JP6648411B2 (ja) * 2014-05-19 2020-02-14 株式会社リコー 処理装置、処理システム、処理プログラム及び処理方法
JP2016001464A (ja) * 2014-05-19 2016-01-07 株式会社リコー 処理装置、処理システム、処理プログラム、及び、処理方法
KR101753097B1 (ko) * 2014-12-30 2017-07-19 광주과학기술원 차량검출방법, 차량검출을 위한 데이터베이스의 구조, 및 차량검출을 위한 데이터베이스 구축방법
CN111351495B (zh) * 2015-02-10 2024-05-28 御眼视觉技术有限公司 服务器***、方法及机器可读介质
EP3400419A2 (en) * 2016-01-05 2018-11-14 Mobileye Vision Technologies Ltd. Trained navigational system with imposed constraints
EP3403216B1 (en) * 2016-01-11 2023-11-01 Mobileye Vision Technologies Ltd. Systems and methods for augmenting upright object detection
US20170329332A1 (en) * 2016-05-10 2017-11-16 Uber Technologies, Inc. Control system to adjust operation of an autonomous vehicle based on a probability of interference by a dynamic object
US10330787B2 (en) * 2016-09-19 2019-06-25 Nec Corporation Advanced driver-assistance system
KR102534353B1 (ko) * 2016-10-11 2023-05-22 모빌아이 비젼 테크놀로지스 엘티디. 검출된 배리어에 기반한 차량의 항법
US20180314253A1 (en) * 2017-05-01 2018-11-01 Mentor Graphics Development (Deutschland) Gmbh Embedded automotive perception with machine learning classification of sensor data
US10803323B2 (en) * 2017-05-16 2020-10-13 Samsung Electronics Co., Ltd. Electronic device and method of detecting driving event of vehicle

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111673730A (zh) * 2019-03-11 2020-09-18 本田技研工业株式会社 路径决定方法
US11669096B2 (en) 2019-03-11 2023-06-06 Honda Motor Co., Ltd. Route determination method
CN111751085A (zh) * 2019-03-29 2020-10-09 上海擎感智能科技有限公司 一种车灯更换提醒方法及其装置
CN111751085B (zh) * 2019-03-29 2024-03-29 上海擎感智能科技有限公司 一种车灯更换提醒方法及其装置
CN111783889A (zh) * 2020-07-03 2020-10-16 北京字节跳动网络技术有限公司 图像识别方法、装置、电子设备和计算机可读介质
CN111783889B (zh) * 2020-07-03 2022-03-01 北京字节跳动网络技术有限公司 图像识别方法、装置、电子设备和计算机可读介质
CN113246997A (zh) * 2021-06-28 2021-08-13 智道网联科技(北京)有限公司 智能驾驶中的安全监测方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
EP3418947A1 (en) 2018-12-26
US20180373943A1 (en) 2018-12-27
JP2019008519A (ja) 2019-01-17

Similar Documents

Publication Publication Date Title
CN109117706A (zh) 移动体检测装置及检测方法、移动体学习装置及学习方法、移动体检测***以及程序
US10621495B1 (en) Method for training and refining an artificial intelligence
US11521009B2 (en) Automatically generating training data for a lidar using simulated vehicles in virtual space
Guo et al. Is it safe to drive? An overview of factors, metrics, and datasets for driveability assessment in autonomous driving
US11249474B2 (en) Safety of autonomous vehicles using a virtual augmented support environment
KR102629651B1 (ko) 신경망 이미지 프로세싱을 사용하는 ３ｄ 경계 박스들로서의 직접 차량 검출
JP6962926B2 (ja) 自律車両の軌道修正のための遠隔操作システムおよび方法
US11001196B1 (en) Systems and methods for communicating a machine intent
CN106080590B (zh) 车辆控制方法和装置以及决策模型的获取方法和装置
CN106611497B (zh) 交通量预测***及预测方法、车辆用显示装置以及车辆
CN107450529A (zh) 用于自动驾驶车辆的改进的物体检测
CN109636924B (zh) 基于现实路况信息三维建模的车载多模式增强现实***
JP6834704B2 (ja) 走行支援装置及びコンピュータプログラム
CN109583384A (zh) 用于无人驾驶车的避障方法和装置
CN108216229A (zh) 交通工具、道路线检测和驾驶控制方法及装置
CN108139756A (zh) 为自动驾驶车辆构建周围环境以制定驾驶决策的方法和***
CN108196535A (zh) 基于增强学习和多传感器融合的自动驾驶***
CN111695483A (zh) 一种车辆违章检测方法、装置、设备及计算机存储介质
CN111595357B (zh) 可视化界面的显示方法、装置、电子设备和存储介质
CN109241818A (zh) 附着物检测方法及装置和***、附着物学习方法及装置、程序
CN106663193A (zh) 用于路缘检测和行人危险评估的***和方法
CN110047276A (zh) 障碍物车辆的拥堵状态确定方法、装置和相关产品
CN111091038A (zh) 训练方法、计算机可读介质和检测消失点的方法及装置
JPWO2019106789A1 (ja) 処理装置及び処理方法
CN111178286B (zh) 姿态轨迹预测方法、装置及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20190101

WD01 Invention patent application deemed withdrawn after publication