CN108242182A - 信息处理装置、信息处理方法以及程序 - Google Patents
信息处理装置、信息处理方法以及程序 Download PDFInfo
- Publication number
- CN108242182A CN108242182A CN201711390135.3A CN201711390135A CN108242182A CN 108242182 A CN108242182 A CN 108242182A CN 201711390135 A CN201711390135 A CN 201711390135A CN 108242182 A CN108242182 A CN 108242182A
- Authority
- CN
- China
- Prior art keywords
- curved mirror
- information
- vehicle
- image
- eyes
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000010365 information processing Effects 0.000 title claims abstract description 107
- 238000003672 processing method Methods 0.000 title claims abstract description 24
- 238000004364 calculation method Methods 0.000 claims abstract description 132
- 238000001514 detection method Methods 0.000 claims abstract description 49
- 230000008859 change Effects 0.000 claims description 52
- 230000009471 action Effects 0.000 claims description 45
- 238000012360 testing method Methods 0.000 claims description 35
- 230000002123 temporal effect Effects 0.000 claims description 22
- 238000000034 method Methods 0.000 abstract description 43
- 230000008569 process Effects 0.000 abstract description 21
- 238000012545 processing Methods 0.000 description 184
- 239000000203 mixture Substances 0.000 description 21
- 230000006870 function Effects 0.000 description 18
- 238000004590 computer program Methods 0.000 description 12
- 238000010586 diagram Methods 0.000 description 12
- 238000013135 deep learning Methods 0.000 description 10
- 206010039203 Road traffic accident Diseases 0.000 description 7
- 230000000694 effects Effects 0.000 description 7
- 238000010276 construction Methods 0.000 description 4
- 230000003595 spectral effect Effects 0.000 description 4
- 230000004308 accommodation Effects 0.000 description 3
- 230000002547 anomalous effect Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000003068 static effect Effects 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 238000007689 inspection Methods 0.000 description 2
- 229910000530 Gallium indium arsenide Inorganic materials 0.000 description 1
- 206010027146 Melanoderma Diseases 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 230000001351 cycling effect Effects 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 230000004438 eyesight Effects 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 238000003780 insertion Methods 0.000 description 1
- 230000037431 insertion Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000000178 monomer Substances 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- VMXUWOKSQNHOCA-UKTHLTGXSA-N ranitidine Chemical compound [O-][N+](=O)\C=C(/NC)NCCSCC1=CC=C(CN(C)C)O1 VMXUWOKSQNHOCA-UKTHLTGXSA-N 0.000 description 1
- 239000011435 rock Substances 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
- G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
- G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
- G06V40/23—Recognition of whole body movements, e.g. for sport training
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
- B60R2300/8033—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for pedestrian protection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
- G06T2207/30256—Lane; Road marking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
- G06T2207/30261—Obstacle
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
- G08G1/167—Driving aids for lane monitoring, lane changing, e.g. blind spot detection
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Aviation & Aerospace Engineering (AREA)
- Electromagnetism (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Automation & Control Theory (AREA)
- Social Psychology (AREA)
- Human Computer Interaction (AREA)
- Psychiatry (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本公开的目的在于提供一种能够在交叉路口等眺望条件差的场所对车辆的安全驾驶进行支援的信息处理装置、信息处理方法以及程序。信息处理装置具备:检测处理部(12a),其基于表示通过搭载于车辆的拍摄装置的拍摄得到的图像的图像信息,检测在图像中映现的曲面镜以及在曲面镜中映现的物体;算出部(101A),其算出所检测到的曲面镜中的物体的位置;生成部,其基于所算出的所述曲面镜中的物体的位置来生成驾驶支援信息;以及输出部,其输出所生成的驾驶支援信息。
Description
技术领域
本公开涉及信息处理装置、信息处理方法以及程序。
背景技术
在交叉路口等对车辆的驾驶员来说眺望条件(了望条件)差的场所,容易发生例如与其他的车辆或者步行者接触、碰撞的这样的事故。因此,期待着开发能够对在交叉路口等场所如会涉及到发生事故的危险进行预测、能够防止事故发生的技术。
例如,专利文献1公开了如下技术:通过活用由驾驶记录器记录的数据来使车辆更安全地行驶。在该专利文献1中,在该驾驶记录器中记录表示在车辆发生了异常事件时的行驶状况的数据。并且,在预测到由驾驶记录器中记录的数据所掌握的该行驶状况会被再现时,唤起驾驶员注意。这样,能够提高安全性,因此,能够使车辆更安全地行驶。
现有技术文献
专利文献1:日本特开2007-193577号公报
发明内容
发明要解决的技术问题
但是,在直接活用驾驶记录器所观测到的数据来预测危险的方法中,由于涉及到隐患的异常事件发生的时间区间短,所以有时难以充分地记录表示该异常事件发生时的行驶状况的数据。因此,难以预测该行驶状况的再现,甚至会难以预测如涉及到发生事故的危险。换言之,上述现有技术中,难以预测会涉及到发生事故那样的危险,难以进行控制车辆、唤起驾驶员注意等的驾驶支援。尤其是,在眺望条件差的场所,观测范围窄等的观测条件恶化,因此,驾驶记录器观测的数据容易发生不足。
本公开是鉴于上述的情况而完成的,目的在于提供一种能够在交叉路口等眺望条件差的场所对车辆的安全驾驶进行支援的信息处理装置等。
用于解决技术问题的技术方案
为了实现上述目的,本公开的一技术方案涉及的信息处理装置具备:检测部,其基于表示通过搭载于车辆的拍摄装置的拍摄得到的图像的图像信息,检测在所述图像中映现的曲面镜以及在所述曲面镜中映现的物体;算出部,其算出所检测到的所述曲面镜中的所述物体的位置;生成部,其基于所算出的所述曲面镜中的所述物体的位置,生成驾驶支援信息;以及输出部,其输出所生成的所述驾驶支援信息。
此外,这些总括性的或者具体的技术方案可以通过***、方法、集成电路、计算机程序或者计算机可读取的CD-ROM等记录介质来实现,也可以通过***、方法、集成电路、计算机程序以及记录介质的任意组合来实现。
发明的效果
根据本公开,能够实现能在交叉路口等眺望条件差的场所对车辆的安全驾驶进行支援的信息处理装置等。
附图说明
图1是表示实施方式1的***的构成的一例的框图。
图2是表示实施方式1的图像取得部的功能构成的一例的图。
图3是表示实施方式1的图像取得部搭载于车辆时的状况的一例的图。
图4是实施方式1的图像取得部所取得的图像的一例的说明图。
图5是基于简单的圆或者矩形等的检测的曲面镜检测的说明图。
图6是基于统计的图像识别的曲面镜检测的说明图。
图7是利用了深度学习(Deep Learning)的在曲面镜所映现的运动物体的识别方法的说明图。
图8是表示实施方式1的算出部的功能构成的一例的图。
图9的表示实施方式1的算出部进行的算出处理的一例的说明图。
图10是表示实施方式1的死角判定部进行的死角判定处理的一例的说明图。
图11是曲面镜的死角的说明图。
图12是表示实施方式1的输出处理部的功能构成的一例的图。
图13是表示图9的(b)中的物体的尺寸的变化量的示意图。
图14是表示实施方式1的曲线转弯道路的一例的图。
图15是表示实施方式1的输出处理部进行的输出处理的一例的说明图。
图16是表示实施方式1的T字交叉路口的一例的图。
图17是表示实施方式1的输出处理部进行的输出处理的其他的一例的说明图。
图18是表示实施方式1的***的信息处理方法的概要的流程图。
图19是表示实施方式1的***的信息处理方法的详细情况的流程图。
图20是表示实施方式1的变形例1的输出处理部进行的危险预测处理的一例的说明图。
图21是表示实施方式1的变形例1的输出处理部进行的危险预测处理的一例的说明图。
图22是表示实施方式1的变形例2的输出处理部进行的危险预测处理的一例的说明图。
图23是表示实施方式1的变形例2的输出处理部进行的危险预测处理的一例的说明图。
图24是表示实施方式1的变形例3的输出处理部进行的危险预测处理的一例的说明图。
图25是表示实施方式1的变形例3的输出处理部进行的危险预测处理的一例的说明图。
图26是表示实施方式2的***的构成的一例的框图。
图27A是表示在交叉路口暂时停止的车辆的驾驶员目视确认到的曲面镜内所映现的物体的一例的图。
图27B是曲面镜的特性的说明图。
图27C是曲面镜的特性的说明图。
图28是表示实施方式2的算出部的功能构成的一例的图。
图29A是表示图28所示的物***置算出部算出的物体的位置的一例的图。
图29B是表示图28所示的路面区域算出部算出的路面区域的一例的图。
图30是图28所示的中心轴算出部算出的中心轴的算出方法的说明图。
图31是表示实施方式2的输出处理部的功能构成的一例的图。
图32是表示实施方式2的曲面镜内的物体的位置的一例的图。
图33是实施方式2的物***于曲面镜的里侧的情况下的危险度的说明图。
图34是实施方式2的物***于曲面镜的里侧的情况下的危险度的说明图。
图35是实施方式2的物***于曲面镜的里侧的情况下的危险度的说明图。
图36是实施方式2的物***于曲面镜的跟前侧的情况下的危险度的说明图。
图37是实施方式2的物***于曲面镜的跟前侧的情况下的危险度的说明图。
图38是实施方式2的物***于曲面镜的跟前侧的情况下的危险度的说明图。
图39是表示实施方式2的T字交叉路口的一例的图。
图40是表示实施方式2的输出处理部进行的输出处理的其他的一例的说明图。
图41是表示实施方式2的***的信息处理方法的概要的流程图。
图42是表示实施方式2的***的信息处理方法的详细情况的流程图。
图43是表示实施方式2的变形例1的输出处理部进行的危险预测处理的一例的说明图。
图44是表示实施方式2的变形例2的输出处理部进行的危险预测处理的一例的说明图。
图45是表示实施方式2的变形例3的输出处理部进行的危险预测处理的一例的说明图。
图46是表示实施方式3的***的构成的一例的框图。
图47是表示实施方式3的特征判定部的功能构成的一例的图。
图48是表示动态图的一例的说明图。
图49A是实施方式3的图像所映现的曲面镜的周围环境的一例。
图49B是实施方式3的图像所映现的曲面镜的周围环境的一例。
图49C是实施方式3的图像所映现的曲面镜的周围环境的一例。
图49D是实施方式3的图像所映现的曲面镜的周围环境的一例。
图49E是实施方式3的图像所映现的曲面镜的周围环境的一例。
图50是表示实施方式3的设置场所取得部所使用的地图的一例的图。
图51是表示实施方式3的第1危险度判定部用于判定的本地动态图的一例的图。
图52是表示实施方式3的第1危险度判定部用于判定的本地动态图的一例的图。
图53是表示实施方式3的第1危险度判定部用于判定的本地动态图的一例的图。
图54是表示实施方式3的第1危险度判定部用于判定的本地动态图的一例的图。
图55是表示实施方式3的输出处理部的功能构成的一例的图。
图56是表示实施方式3的输出处理部进行的输出处理的一例的说明图。
图57是表示实施方式3的输出处理部进行的输出处理的一例的说明图。
图58是表示实施方式3的***的信息处理方法的概要的流程图。
图59是表示实施方式3的***的信息处理方法的详细情况的流程图。
图60是表示实施方式3的变形例1的第2危险度判定部进行的第2危险度判定处理的一例的说明图。
图61是表示实施方式3的变形例2的第2危险度判定部进行的第2危险度判定处理的一例的说明图。
图62是表示实施方式3的变形例3的第2危险度判定部进行的第2危险度判定处理的一例的说明图。
标号说明
1、1A、1B ***
2、2A、3 车辆
10、10A、10B 信息处理装置
11 图像取得部
11B 取得部
12、12B 检测部
12a、12b 检测处理部
13、13B 识别部
50、50a、50j、50j+1、50j+2、50j+3、50k、50k+1、50k+2、50k+3、50m、50m+1、50m+2、50m+3、50n、50n+1、50n+2 图像
51、51m、51m+1、51m+2、51n+1、51n+2、51′、51′n+1、51′n+2、71、72、73、74、75 曲面镜
51A 边缘
52 镜形状过滤器
52A 匹配区域
53、53a 位置
54、54a 相似度图
60、60m、60m+1、60m+2、60n+1、60n+2、60′、60′n+1、60′n+2 人
61m+1、61m+2 运动物体
64、64m、64m+1、64m+2 物体
80 路面区域
82 中心轴
86 地图
86t、86t1、86t2、86t3 本地动态图
101、101A 算出部
102、102A、102B 输出处理部
103 死角判定部
104 判定部
111 感测部
112 图像记录部
860、865 商业设施
861、862、864 道路
863 高速道路
866 音乐会会场
1011 差异算出部
1012、1014 物体尺寸算出部
1013 物***置算出部
1015 路面区域算出部
1016 中心轴算出部
1031、1031A 危险预测部
1032、1032A、1032B 信息生成部
1033、1033A、1033B 信息输出部
1041 特征判定部
1042 第1危险度判定部
1043 第2危险度判定部
具体实施方式
本公开的一技术方案涉及的信息处理装置具备:检测部,其基于表示通过搭载于车辆的拍摄装置的拍摄得到的图像的图像信息,检测在所述图像中映现的曲面镜以及在所述曲面镜中映现的物体;算出部,其算出所检测到的所述曲面镜中的所述物体的位置;生成部,其基于所算出的所述曲面镜中的所述物体的位置,生成驾驶支援信息;以及输出部,其输出所生成的所述驾驶支援信息。
由此,能够通过在交叉路口等眺望条件差的场所利用曲面镜来输出车辆的驾驶支援信息,因此,能够对车辆的安全驾驶进行支援。
在此,例如也可以为,所述生成部根据所述物体与由在所述图像中映现的道路确定的所述曲面镜中的区域之间的位置关系,生成所述驾驶支援信息。
另外,例如也可以为,所述算出部具备:物***置算出部,其算出所述曲面镜中的所述物体的位置;路面区域算出部,其算出所述曲面镜内的路面区域;以及中心轴算出部,其算出所算出的所述路面区域的中心轴,所述生成部根据由所述物***置算出部算出的所述物体的位置与由所述中心轴算出部算出的所述中心轴之间的位置关系来生成所述驾驶支援信息。
另外,例如也可以为,所述生成部在所述物体在所述图像中位于比所述中心轴靠上的位置的情况下,生成用于使所述车辆躲避所述物体的所述驾驶支援信息。
由此,能够在物体距车辆近的情况下躲避物体,能够确保物体以及车辆的安全性。
另外,例如也可以为,所述生成部基于由所述算出部算出的所述位置与所述曲面镜的中心线之间的位置关系,生成所述驾驶支援信息。
另外,例如也可以为,所述生成部,(i)在所述曲面镜从所述车辆来看朝向左的情况下所述物体在所述图像中位于比所述中心线靠右的位置时,或者,(ii)在所述曲面镜从所述车辆来看朝向右的情况下所述物体在所述图像中位于比所述中心线靠左的位置时,生成用于使所述车辆躲避所述物体的所述驾驶支援信息。
由此,能够在物体距车辆近的情况下躲避物体,能够确保物体以及车辆的安全性。另外,能够省去如确定道路的中心轴的复杂的处理,能够使处理速度提高。
另外,例如也可以为,所述驾驶支援信息根据所述车辆向朝向所述曲面镜的方向行进的状况下的、由所述物体在所述曲面镜中的位置预测的危险性来输出。
另外,例如也可以为,所述算出部还具备物体尺寸算出部,所述物体尺寸算出部算出以所述曲面镜为基准的所述物体的尺寸,所述生成部基于所算出的所述物体在所述曲面镜中的位置和所算出的所述物体的尺寸来生成所述驾驶支援信息。
在此,例如也可以为,所述生成部根据按时间序列连续的至少两个图像各自中所映现的所述物体各自的尺寸的变化信息以及所述物体在所述曲面镜中的位置,生成所述驾驶支援信息。
另外,例如也可以为,所述驾驶支援信息包括所述车辆的举动的控制指令信息。
另外,例如也可以为,所述驾驶支援信息包括向所述车辆的乘员提示的提示信息。
另外,例如也可以为,所述信息处理装置具备识别在所述曲面镜中映现的物体的识别部。
另外,例如也可以为,所述生成部根据由所述识别部识别到的所述物体的属性来生成所述驾驶支援信息。
另外,例如也可以为,所述生成部在由所述识别部识别到的所述物体的属性为人物的情况下,根据与由所述识别部识别到的所述物体的年龄有关的信息,使所述驾驶支援信息变化而生成该驾驶支援信息。
另外,例如也可以为,所述生成部在由所述识别部识别到的所述物体的属性为人物的情况下,根据由所述识别部识别到的所述物体是否正在进行不注意行动,使所述驾驶支援信息变化而生成该驾驶支援信息。
另外,例如也可以为,所述生成部进一步在按时间序列连续的多个图像中的至少一个图像中由所述识别部识别到的所述物体在比所述至少一个图像在时间序列上靠后的图像中未被所述识别部识别到的情况下,生成所述驾驶支援信息。
另外,例如也可以为,所述生成部基于在所述一个图像中映现的所述物体的位置、和在所述靠后的图像中所述物体未被所述识别部识别到这一情况,生成所述驾驶支援信息。
本公开的一技术方案涉及的信息处理方法使用处理器执行:基于表示通过搭载于车辆的拍摄装置的拍摄得到的图像的图像信息,检测在所述图像中映现的曲面镜以及在所述曲面镜中映现的物体;算出所检测到的所述曲面镜中的所述物体的位置;基于所算出的所述曲面镜中的所述物体的位置,生成驾驶支援信息;输出所生成的所述驾驶支援信息。
本公开的一技术方案涉及的程序是进行信息处理方法的计算机能够读取的程序,所述程序使得:基于表示通过搭载于车辆的拍摄装置的拍摄得到的图像的图像信息,检测在所述图像中映现的曲面镜以及在所述曲面镜中映现的物体;算出所检测到的所述曲面镜中的所述物体的位置;基于所算出的所述曲面镜中的所述物体的位置,生成驾驶支援信息;输出所生成的所述驾驶支援信息。
以下,参照附图对本公开的实施方式进行说明。
以下说明的实施方式都表示本公开的一具体例。以下的实施方式中示出的数值、形状、构成要素、步骤、步骤的顺序等是一例,并非限定本公开的意思。另外,关于以下的实施方式中的构成要素中的未记载在表示最上位概念的独立权利要求中的构成要素,是作为任意的构成要素而说明的。另外,也可以在所有的实施方式中组合各自的内容。
(实施方式1)
[***1的构成]
图1是表示实施方式1的***1的构成的一例的框图。
图1所示的***1例如搭载于汽车等车辆,具备信息处理装置10、图像取得部11、检测处理部12a,输出该车辆的驾驶支援信息。以下对这些构成等的详细情况进行说明。此外,图像取得部11和检测处理部12a不限于图1所示的情况,也可以设在信息处理装置10。
在此,多会在眺望条件差的场所设置有曲面镜。例如,曲面镜是用于辅助的安全确认的凸面镜,其设置在道路以使得在眺望条件差的交叉路口或者难以看到前方的转弯处,能够目视无法直接看到的状况。于是,信息处理装置10通过利用曲面镜来对该车辆的更安全的驾驶进行支援。此外,以下的曲面镜具有在物理上存在的圆状或者矩形状的镜,但也可以具有通过图像来显示无法直接看到的状况的圆状或者矩形状的电子镜。
[图像取得部11]
图2是表示实施方式1的图像取得部11的功能构成的一例的图。图3是表示实施方式1的图像取得部11搭载于车辆时的状况的一例的图。图4是实施方式1的图像取得部11取得的图像的一例的说明图。
图像取得部11取得表示通过搭载于车辆的拍摄装置的拍摄得到的图像的图像信息。在本实施方式中,如图2所示,图像取得部11具备感测部111和图像记录部112。例如,图像取得部11是如图3所示的车载摄像头,搭载于车辆。
感测(sensing)部111对行进期间的车辆的前方按时间序列而连续地拍摄图像,并将其记录于图像记录部112。在此,感测部111是摄像头等的动态图像记录装置。此外,感测部111也可以是进行可见光拍摄的可见光摄像头或者进行红外光拍摄的InGaAs摄像头。在该情况下,感测部111在白天以可见光来拍摄图像,在夜间以红外光来拍摄图像即可。
图像记录部112具备HDD(Hard Disk Drive,硬盘驱动器)或者存储器等,记录感测部111所拍摄到的图像。
以下,例如如图4所示的图像50,以在交叉路口等眺望条件差的场所感测部111拍摄行进期间的车辆的前方而得到的图像中映现出曲面镜51的情况为例来进行说明。
[检测处理部12a]
检测处理部12a基于表示通过搭载于车辆的拍摄装置的拍摄得到的图像的图像信息,对在图像所映现的曲面镜以及在曲面镜所映现的物体进行检测。另外,检测处理部12a也可以识别在曲面镜映现的物体的属性。在本实施方式中,检测处理部12a具备检测部12和识别部13。
<检测部12>
检测部12基于表示通过搭载于车辆的拍摄装置的拍摄得到的图像的图像信息,对在图像所映现的曲面镜进行检测。更具体而言,检测部12检测在通过对行进期间的车辆的前方按时间序列连续地拍摄而得到的图像所映现的曲面镜。此外,拍摄方向也可以是车辆的前方以外的方向。例如,在车辆向后方行进的情况下,拍摄方向也可以是车辆的后方。
在本实施方式中,检测部12对在通过图像取得部11取得的例如图4所示的图像50中映现的曲面镜51进行检测。在此,检测图像中的曲面镜的方法例如包括基于简单的圆或者矩形等的检测的方法、或者基于统计的图像识别的方法等。以下,使用图来对检测图像中的曲面镜的方法进行说明。
图5是基于简单的圆或者矩形等的检测的曲面镜检测的说明图。此外,对与图4同样的要素标记相同的标号,并省略详细的说明。
首先,检测部12在通过图像取得部11取得的例如图5所示的图像50中进行边缘检测。其结果,如图像50a所示,检测部12检测与曲面镜的形状对应的边缘51a。
接着,检测部12在进行了边缘检测的图像50a中进行边缘相似度的搜索。更具体而言,如图像50a所示,检测部12在图像50a中使检测圆或者矩形等的过滤器(镜形状过滤器52)进行扫描,搜索与镜形状过滤器52相似的边缘。此外,镜形状过滤器52是用于检测曲面镜的轮廓的过滤器,例如可以使用索贝尔过滤器(sobel filter)、Canny过滤器(Cannyfilter)等。
并且,检测部12例如制作相似度图(map)54,检测相似度图54中的相似度高的位置53的物体来作为曲面镜51。
此外,在知道通过图像取得部11取得的图像所映现的被拍摄物体的地图上的位置的情况下,也可以基于根据该位置推定的曲面镜的形状等的信息,选择使用检测圆或者矩形等的过滤器。
图6是基于统计的图像识别的曲面镜的检测的说明图。此外,对与图4同样的要素标记相同的标号,并省略详细的说明。
例如,检测部12在通过图像取得部11取得的例如图6的(a)所示的图像50中,使具备改变了尺寸的圆的匹配(matching)区域52a进行扫描。
其结果,如图6的(b)所示,检测部12制作由图像50中的各位置和其位置处的尺寸表示与该圆的相似度的相似度图54a。
并且,检测部12检测相似度图54a中的相似度高的位置53a的物体作为曲面镜51。
此外,统计的图像识别不限于使用图6说明的情况。检测部12也可以为具备预先学习了大量的曲面镜的图像和曲面镜以外的图像的识别器(Deep Learning,SVM等)。在该情况下,检测部12使用该识别器来实施在图像50中的各位置判断是否为曲面镜的图像,由此检测曲面镜51即可。
<识别部13>
识别部13基于表示通过搭载于车辆的拍摄装置的拍摄得到的图像的图像信息,识别在曲面镜映现的物体。更具体而言,识别部13识别在通过图像取得部11取得的图像中映现的曲面镜内的物体。此外,识别部13也可以识别在曲面镜映现的物体的属性。
在本实施方式中,识别部13识别在通过检测部12检测到的图像所包含的曲面镜中映现的人、自行车或者汽车等移动物体(以下也称为运动物体)的位置和尺寸。在此,识别在图像所映现的曲面镜内存在的运动物体的方法例如包括利用深度学习(Deep Learning)等机器学习的方法。以下,使用图7对识别在图像所映现的曲面镜内存在的运动物体的方法进行说明。
图7是利用了深度学习(Deep Learning)的在曲面镜所映现的运动物体的识别方法的说明图。在图7的(a)以及(b)中,示出了在曲面镜51映现人60即在曲面镜51内存在人60的情况下的例子。此外,对与图4同样的要素标记相同的标号,省略详细的说明。
识别部13进行如下的识别处理:针对在例如如图7的(a)所示的图像50中由检测部12检测的曲面镜51的区域,例如一边如图7的(b)所示那样改变位置以及尺寸,一边对别人60进行识。
此外,为了使识别部13进行上述的识别处理,预先对识别部13进行识别运动物体即人、自行车及汽车、以及运动物体以外的学习即可。由此,若识别为存在于曲面镜内的物体的可靠度超过阈值、且存在大小最大的物体时,识别部13能够识别为在曲面镜映现有运动物体。另外,识别部13在识别为在曲面镜映现有运动物体时,输出其位置和尺寸。在此,可靠度表示用于对表示人、自行车或者汽车的运动物体的形状或者轮廓特性进行表示的值。另一方面,若没有识别为存在于曲面镜内的物体的可靠度超过阈值的物体时,识别部13识别为在曲面镜未映现有运动物体。
[信息处理装置10]
接着,对实施方式1的信息处理装置10进行说明。
实施方式1的信息处理装置10通过利用曲面镜,输出该车辆的驾驶支援信息。在本实施方式中,如图1所示,信息处理装置10具备算出部101、输出处理部102、死角判定部103。以下,对这些构成等的详细情况进行说明。
<算出部101>
算出部101算出通过检测处理部12a检测到的曲面镜的尺寸和基准尺寸的差异,使用所算出的该差异来算出物体的尺寸。在此,差异包括曲面镜相对于基准尺寸的倍率。物体的尺寸通过对在曲面镜映现的物体进行与差异相应的放大或者缩小来算出。
图8是表示实施方式1的算出部101的功能构成的一例的图。
如图8所示,实施方式1的算出部101具备差异算出部1011和物体尺寸算出部1012。
差异算出部1011算出由检测部12检测到的曲面镜的尺寸与基准尺寸的差异。更具体而言,差异算出部1011算出由检测部12检测到的在通过对行进期间的车辆的前方按时间序列连续地拍摄而得到的图像中映现的曲面镜的尺寸与基准尺寸之间的差异。在本实施方式中,差异算出部1011例如算出在通过拍摄而得到的图像中映现的曲面镜相对于基准尺寸的倍率来作为差异。基准尺寸是由预先确定的曲面镜的高度以及宽度表示的尺寸。
此外,基准尺寸既可以为在预定时间中拍摄到的多个图像中映现的曲面镜中的最大的曲面镜的尺寸,也可以为所拍摄到的1帧前的图像中映现的曲面镜的尺寸。另外,差异算出部1011也可以算出通过按照在按时间序列连续的至少两个图像中所算出的倍率而放大或者缩小了曲面镜内的物体而得到的该物体的尺寸变化量来作为上述差异。
另外,差异算出部1011也可以根据1张图像算出上述差异。具体而言,基准尺寸是预先存储的值,差异算出部1011基于在1张图像中映现的曲面镜的尺寸和所存储的基准尺寸来算出上述倍率。此外,基准尺寸也可以与和被拍摄物体之间的距离相关联,按照车辆与在图像中映现的曲面镜之间的距离来被修正。
物体尺寸算出部1012使用由差异算出部1011算出的该差异来算出物体的尺寸。更具体而言,物体尺寸算出部1012使用在由识别部13识别到的曲面镜中映现的物体和由差异算出部1011算出的差异,算出该物体的尺寸。在本实施方式中,物体尺寸算出部1012通过使在由识别部13识别到的曲面镜中映现的物体按照由差异算出部1011算出的差异来放大或者缩小来算出物体的尺寸,作为在曲面镜中映现的物体的尺寸。
在此,使用附图来对这样构成的算出部101进行的算出处理的一例进行说明。
图9是表示实施方式1的算出部101进行的算出处理的一例的说明图。此外,对与图4同样的要素标记相同的标号,省略详细的说明。
图9的(a)所示的图像50n、图像50n+1以及图像50n+2是对行进期间的车辆前方在按时间序列连续的时刻tn、时刻tn+1以及时刻tn+2拍摄到的图像。图像50n、图像50n+1以及图像50n+2分别包含曲面镜51、曲面镜51n+1以及曲面镜51n+2,在曲面镜51、曲面镜51n+1以及曲面镜51n+2中映现有人60、人60n+1以及人60n+2。另外,曲面镜51、曲面镜51n+1以及曲面镜51n+2的尺寸例如为(w1a、h1a)、(w1b、h1b)以及(w1c、h1c),由宽度和高度来表现。曲面镜51、曲面镜51n+1以及曲面镜51n+2的尺寸由检测部12来检测。在图9的(b)示出被放大到基准尺寸的曲面镜51′、曲面镜51′n+1以及曲面镜51′n+2。
在该情况下,算出部101即差异算出部1011算出将在图像50n、图像50n+1以及图像50n+2中映现的曲面镜51、曲面镜51n+1以及曲面镜51n+2放大或缩小到基准尺寸时的倍率。在将基准尺寸例如设为(ws、hs)的情况下,差异算出部1011算出将曲面镜51、51n+1以及51n+2放大或者缩小到基准尺寸时的倍率为ws/w1a、ws/w1b、ws/w1c。也可以算出为hs/h1a、hs/h1b、hs/h1c。
并且,如图9的(b)所示,算出部101即物体尺寸算出部1012算出按照由差异算出部1011算出的倍率ws/w1a、ws/w1b、ws/w1c使曲面镜51、曲面镜51n+1以及曲面镜51n+2、人60、人60n+1以及人60n+2放大时的人60′、人60′n+1以及人60′n+2的尺寸即可。
<死角判定部103>
死角判定部103在按时间序列连续的多个图像的至少一个图像中由检测处理部12a检测(识别)到的物体在比至少一个图像在时间序列上靠后的图像中未由检测处理部12a检测(识别)到的情况下,将该靠后的图像判定为该物体可能存在于曲面镜的死角的死角图像。换言之,死角判定部103判定在时间序列上连续的图像中是否在曲面镜内能看到的运动物体会变得看不到了,将变得看不到的图像判定为死角图像。
在此,使用附图对这样构成的死角判定部103进行的死角判定处理的一例进行说明。
图10是表示实施方式1的死角判定部103进行的死角判定处理的一例的说明图。此外,对与图4同样的要素标记相同的标号,省略详细的说明。
图10所示的图像50m、图像50m+1以及图像50m+2是对行进期间的车辆的前方在按时间序列连续的时刻tm、时刻tm+1以及时刻tm+2拍摄到的图像。另外,在图像50m、图像50m+1以及图像50m+2分别映现有曲面镜51m、曲面镜51m+1以及曲面镜51m+2,在曲面镜51m、曲面镜51m+1以及曲面镜51m+2进一步映现有人60m以及人60m+1。
在该情况下,在按时间序列连续的图像50m以及图像50m+1的曲面镜51m以及曲面镜51m+1映现有被识别部13识别到的人60m以及人60m+1。另一方面,在图像50m+1之后的图像50m+2的曲面镜51m+2未映现出人,在识别部13未识别到人。因此,死角判定部103将图像50m+2判定为是死角图像。使用图11对死角判定部103能够判定死角图像的理由进行说明。
图11是曲面镜的死角的说明图。
在曲面镜也存在视角,存在死角即死角区域。例如在图11中示出在交叉路口处车辆2暂时停止期间作为乘自行车的人的运动物体61m+1移动到运动物体61m+2的位置、进入了曲面镜72的死角区域的情况下的例子。在该情况下,暂时停止期间的车辆2的驾驶员能够确认到在曲面镜71中映现的运动物体61m+1,另一方面,无法在曲面镜72确认到运动物体61m+2。但是,即使在曲面镜72未映现出运动物体61m+2,运动物体61m+2也是存在的。因此,死角判定部103通过如上所述那样进行判定,将图像50m+2判定为作为人的运动物体可能存在于曲面镜51m+2的死角的死角图像。
此外,在死角判定部103判定了死角图像的情况下,输出处理部102生成并输出使车辆暂时停止的车辆控制信息,直到从车辆直接或者在曲面镜内看到人为止。另外,在死角判定部103判定了死角图像之后,在即使经过一定时间也没变为能看到人的情况下,判定为超时,从最初开始进行死角判定处理即可。判定为超时是由于认为:在即使经过一定时间也没变为能看到人的情况下,存在于曲面镜的死角区域的人等运动物体进入了家或店等中,无论等到什么时候也不会变为能看到人。
进一步,死角判定部103也可以在多个图像中的按时间序列连续的至少两个图像中尺寸不同的物体被检测处理部12a检测(识别)到、在比至少两个图像在时间序列上靠后的图像中物体未被检测处理部12a检测(识别)到的情况下,将该靠后的图像判定为上述死角图像。例如使用图10进行说明时,在图像50m+1中映现的曲面镜内的人60m+1的尺寸为比在时间序列上靠前的图像50m中映现的曲面镜51m内的人60m的尺寸大。这意味着人60正在接近交叉路口。并且,在比图像50m+1在时间序列上靠后的图像50m+2的曲面镜51m+2中未映现有人。这意味着人60进入了交叉路口附近的死角。因此,死角判定部103基于在图像50m+1中映现的曲面镜内的人60m+1的尺寸与在时间序列上靠前的图像50m中映现的曲面镜51m内的人60m的尺寸的比较结果以及图像50m+2中的人60的有无,能够将图像50m+2判定为是死角图像。由此,在人60远离交叉路口而进入了死角的情况下,人60未映现在曲面镜中的图像不被判定为死角图像,因此,能够抑制发生尽管是安全的、但却使车辆停止等的无用动作。
<输出处理部102>
输出处理部102基于算出部101算出的物体的尺寸,生成车辆的驾驶支援信息,输出所生成的驾驶支援信息。驾驶支援信息按照分别与以时间序列连续的至少两个图像对应的物体各自的尺寸的变化信息来生成,并被进行输出。在此,驾驶支援信息包括在变化信息表示尺寸的扩大的情况下用于使车辆减速的信息以及用于车辆在远离物体的方向上移动的信息中的至少一个。另外,驾驶支援信息包括在变化信息表示尺寸的扩大的情况下用于在物体远离了车辆之后使车辆行驶的信息。另外,驾驶支援信息既可以是车辆的举动的控制指令信息,也可以是被提示给车辆的乘员的提示信息。
图12是表示实施方式1的输出处理部102的功能构成的一例的图。
在本实施方式中,如图12所示,输出处理部102具备危险预测部1031、信息生成部1032以及信息输出部1033。
危险预测部1031基于由算出部101算出的物体的尺寸,预测车辆保持状态不变地行进时所预测的危险性。该危险性既可以是危险度,也可以是危险内容(例如、接触、碰撞、卷入(牵连)等)。危险预测部1031按照与以时间序列连续的至少两个图像对应的物体的尺寸的变化量来判断危险度。在此,作为一例,对危险度能够按照物体的尺寸的变化量来预测这一情况进行说明。
图13是表示图9的(b)中的物体尺寸的变化量的示意图。此外,对与图9的(b)同样的要素标记相同的标号,省略详细的说明。在图13中示意地示出作为在放大或者缩小到由物体尺寸算出部1012算出的基准尺寸的曲面镜中映现的物体的人60′、人60′n+1以及人60′n+2。
如图13所示,危险预测部1031从人60′、人60′n+1以及人60′n+2的尺寸依次变大可知该人正在接近曲面镜51即正在接近交叉路口。并且,危险预测部1031在人60′、人60′n+1以及人60′n+2的尺寸的变化量大时,可知该人正在接近曲面镜51的速度以及速度变化大,因此,能够判定为危险度高。也就是,当人60′、人60′n+1以及人60′n+2的尺寸的变化量大于阈值时,能够判断为该人正在急速接近存在曲面镜51的交叉路口、与搭载信息处理装置10的车辆碰撞或者接触的可能性高。这样,危险预测部1031能够根据物体的尺寸的变化量来预测危险度。
信息生成部1032基于算出部101算出的物体的尺寸,生成车辆的驾驶支援信息。信息生成部1032也可以按照物体的尺寸生成车辆的驾驶支援信息。例如,信息生成部1032也可以按照分别与按时间序列连续的至少两个图像对应的物体各自的尺寸的变化信息来生成驾驶支援信息。另外,信息生成部1032也可以在物体的尺寸的基础上还基于车辆的状态来生成车辆的驾驶支援信息。
另外,信息生成部1032也可以根据由车辆朝向曲面镜的方向行进的状况下的变化信息预测的危险性来生成驾驶支援信息。信息生成部1032也可以基于由危险预测部1031预测到的危险性,生成车辆控制信息。
此外,信息生成部1032也可以生成表示由危险预测部1031预测到的危险度的信息来作为驾驶支援信息。例如,信息生成部1032也可以生成表示由危险预测部1031根据与按时间序列连续的至少两个图像对应的物体的尺寸的变化量判定的危险度的信息,来作为驾驶支援信息。
另外,信息生成部1032也可以基于死角判定部103的死角图像的判定结果,生成使车辆暂时停止的车辆控制信息。具体而言,信息生成部1032也可以在按时间序列连续的多个图像中的至少一个图像中由检测处理部12a检测(识别)到的物体在比至少一个图像在时间序列上靠后的图像中未被检测处理部12a检测(识别)到的情况下,生成驾驶支援信息。另外,信息生成部1032也可以在多个图像中的按时间序列连续的至少两个图像中尺寸不同的物体被检测处理部12a检测(识别)到、在比至少两个图像在时间序列上靠后的图像中物体未被检测处理部12a检测(识别)到的情况下,生成驾驶支援信息。
信息输出部1033输出由信息生成部1032生成的驾驶支援信息。
以下,使用附图对这样构成的输出处理部102进行的输出处理的一例进行说明。
图14是表示实施方式1的曲线转弯道路的一例的图。图15是表示实施方式1的输出处理部102进行的输出处理的一例的说明图。
图14所示的曲线转弯道路是眺望条件差的场所的一例。在图14中示出搭载有本实施方式的信息处理装置10或者***1的车辆2在曲线转弯道路上行进的状况。另外,在图14中作为物体的一例示出了车辆3,示出了从车辆2能够确认到在曲面镜73中映现的车辆3的情况。
在该情况下,输出处理部102即危险预测部1031根据在由算出部101放大或缩小即标准化为基准尺寸的曲面镜中映现的物体的尺寸变化,判定危险度。
更具体而言,如图15所示,危险预测部1031在标准化后的曲面镜中映现的物体的尺寸变化为变小或者没有尺寸变化时,判定为危险度低。在此,输出处理部102即信息生成部1032也可以生成表示由危险预测部1031判定的危险度低这一情况的信息。另外,如图15所示,信息生成部1032也可以基于危险度低这一情况,生成表示没有车辆2的速度等控制的变更的车辆控制信息。在图14所示例子中,危险预测部1031在标准化后的曲面镜73内的车辆3的尺寸变化为变小或者没有尺寸变化时,能够判定为车辆3处于在远离车辆2的方向上行进的期间或者停止期间,因此,判定为危险度低。并且,信息生成部1032也可以生成表示所判定的危险度低的信息或者表示没有车辆2的速度等控制的变更的车辆控制信息。
另外,如图15所示,危险预测部1031在标准化后的曲面镜中映现的物体的尺寸逐渐变大时,判定为危险度为中。在此,信息生成部1032既可以输出表示所判定的危险度为中的信息,如图15所示,也可以基于危险度为中这一情况,生成用于使车辆减速的车辆控制信息。在图14所示的例子中,危险预测部1031在标准化后的曲面镜73内的车辆3的尺寸变化相比于阈值a逐渐变大时,能够判定为车辆3处于在正在接近车辆2的方向行进的期间,因此,判定为危险度为中。并且,信息生成部1032也可以生成表示所判定的危险度为中的信息或者用于使车辆2减速的车辆控制信息。
另外,如图15所示,危险预测部1031在标准化后的曲面镜中映现的物体的尺寸急剧变大时,判定为危险度高。在此,信息生成部1032也可以生成表示所判定的危险度高的信息。另外,如图15所示,信息生成部1032也可以基于危险度高这一情况,生成用于使车辆减速且在远离对象物的方向上移动的车辆控制信息。在图14所示的例子中,危险预测部1031在标准化后的曲面镜73内的车辆3的尺寸变化比大于阈值a的阈值b大时,能够判定为车辆3处于在正在接近车辆2的方向上以大的速度进行行进的期间,因此,判定为危险度高。并且,信息生成部1032也可以生成表示所判定的危险度高的信息、或者用于使车辆2减速且在远离车辆3的方向上移动以使得即使车辆3超出曲线转弯道路的车道也处于不会碰撞的位置的车辆控制信息。
此外,图14以及图15中,对车辆2处于在曲线转弯道路上行进的期间即行驶期间的情况进行了说明,但不限于此。在车辆2在道路交叉的交叉路口行驶的情况下也可以说是同样的。
图16是表示实施方式1的T字交叉路口的一例的图。图17是表示实施方式1的输出处理部102进行的输出处理的其他的一例的说明图。
图16所示的T字交叉路口是眺望条件差的场所的一例。在图16中示出搭载有本实施方式的信息处理装置10或者***1的车辆2正在T字交叉路口行驶的状况。另外,在图16中作为物体的一例示出了车辆3,示出了从车辆2能够确认在曲面镜74中映现的车辆3的情况。
在该情况下,如图17所示,输出处理部102即危险预测部1031在标准化后的曲面镜中映现的物体的尺寸变化为变小或者没有尺寸变化时,判定为危险度低。在此,输出处理部102即信息生成部1032也可以生成表示由危险预测部1031判定的危险度低的信息。另外,如图17所示,信息生成部1032也可以基于危险度低这一情况,生成用于使车辆2暂时停止、然后使之起步的车辆控制信息。在图16所示的例中,危险预测部1031在标准化后的曲面镜74中映现的车辆3的尺寸变化为变小或者没有尺寸变化时,能够判定为车辆3处于在远离车辆2的方向上行进的期间或者停止期间,因此,判定为危险度低。并且,信息生成部1032也可以生成表示所判定的危险度低的信息或者用于使车辆2暂时停止、然后使之起步的车辆控制信息。
另外,如图17所示,危险预测部1031在标准化后的曲面镜中映现的物体的尺寸变化为变大时,判定为危险度高。在此,信息生成部1032也可以生成表示由危险预测部1031判定的危险度高的信息。另外,如图17所示,信息生成部1032也可以基于危险度高这一情况,生成用于使车辆2暂时停止、然后在通过传感器等确认到作为对象物的车辆2通过之后使之起步的车辆控制信息。在图16所示的例中,危险预测部1031在标准化后的曲面镜74内的车辆3的尺寸变化为变大时,能够判定为车辆3处于在朝向车辆2的方向行进的期间,因此,判定为危险度高。并且,信息生成部1032也可以生成表示所判定的危险度高的信息或者用于使车辆2暂时停止、在通过传感器等确认到车辆2通过之后使之起步的车辆控制信息。
此外,在上述中,对尺寸的变化信息是尺寸的变化量的例子进行了说明,但尺寸的变化信息也可以是表示尺寸的变化内容的信息。例如,尺寸的变化内容也可以是尺寸变大了(或者变小了)、尺寸变为预定尺寸以上(变为小于预定的尺寸)等。
另外,在上述中,对驾驶支援信息是控制指令信息的例子进行了说明,但驾驶支援信息也可以是提示信息。例如,提示信息也可以是后述的表示危险性的信息、表示对驾驶员的推荐操作的信息。
[***1的工作]
接着,对如上所述构成的***1的信息处理方法进行说明。图18是表示实施方式1的***1的信息处理方法的概要的流程图。图19是表示实施方式1的***1的信息处理方法的详细情况的流程图。此外,在图18以及图19中对同样的要素标记相同的标号,省略详细的说明。
首先,如图18所示,***1基于图像信息对在图像中映现的曲面镜和在曲面镜中映现的物体进行检测(S10)。接着,***1算出在图像中映现的曲面镜的尺寸与基准尺寸的差异,使用该差异来算出在曲面镜中映现的物体的尺寸(S11)。接着,***1基于在S11中算出的物体的尺寸,生成车辆的驾驶支援信息(S12)。并且,***1输出在S12中生成的驾驶支援信息(S13)。
更详细而言,如图19所示,首先,***1进行图像取得处理,在该图像取得处理中,由图像取得部11取得表示通过搭载于行进期间的车辆的拍摄装置的拍摄得到的图像的图像信息(S101)。
接着,***1进行使用图18说明过的S10的处理。更具体而言,***1在S10中进行对在S101中得到的图像中映现的曲面镜进行检测的检测处理(S102)。接着,***1进行对在S101中得到的图像中映现的曲面镜内的物体进行识别(检测)的识别处理(S103)。
接着,***1进行使用图18说明过的S11的处理。更具体而言,在S11中,***1进行算出在S102中检测到的曲面镜的尺寸与基准尺寸的差异的差异算出处理(S104)。接着,***1针对在S103中识别到的曲面镜内的物体,进行使用在S104中算出的差异来算出该物体的尺寸的物体尺寸算出处理(S105)。此外,由于对于在S104以及S105中进行的处理的详细情况是如上所述的那样,因此,省略在此的详细说明。
接着,***1进行如下的死角判定处理:在按时间序列连续的三个图像中的按时间序列连续的两个图像中通过S103识别到的物体在该两个图像之后的图像中未在S103中识别到的情况下,将该之后的图像判定为该物体可能存在于曲面镜的死角的死角图像(S106)。
在此,***1判定是否在通过S106判定死角图像之后在S103中识别到该物体出现了、或者在该判定后经过了一定时间(S107)。***1在通过S106判定死角图像之后在S103中出现了该物体时、或者在超时即在通过S106判定死角图像之后即使经过一定时间也在S103中未识别到该物体的出现的情况下(S107中“是”)进入接着的处理(S12)。在此以外的情况下(S107中“否”),反复进行S107的判定处理。
接着,***1进行使用图18说明过的S12的处理。更具体而言,在S12中,***1进行如下的危险预测处理(S108):基于在S105中算出的物体的尺寸,预测在车辆保持状态不变而行进了时所判定的危险度。接着,***1进行如下的信息生成处理(S109):生成表示在S108中判定的危险度的信息来作为驾驶支援信息,和/或基于在S108中判定的危险度生成用于控制车辆的车辆控制信息。此外,由于对于在S108以及S109中进行的处理的详细情况是如上所述那样的,因此,省略在此的说明。
然后,***1进行使用图18说明过的S13的处理。更具体而言,在S13中,***1进行输出在S109中生成的驾驶支援信息等的信息输出处理(S110)。
此外,S103、S104、S105的处理顺序不限于图19所示的情况。也可以在S104之后进行S103、进行S105。另外,S106以及S107的处理也可以在S11的算出处理之前进行。
[实施方式1的效果等]
如以上所述,根据实施方式1的信息处理装置10或者***1,通过在交叉路口等眺望条件差的场所利用曲面镜,能够判定危险度,能够基于所判定的危险度生成并输出车辆的驾驶支援信息。由此,能够对搭载了信息处理装置10的车辆的安全驾驶进行支援。
具体而言,在眺望条件差的交叉路口等的场所中,在曲面镜中映现的人物等的物体的移动量大的情况下,该物体突然出现(跑出)到场所的可能性高。在该情况下,需要使车辆提早减速以避免危险。
于是,在本实施方式中,由于在能够从行进期间的车辆得到的图像中映现的曲面镜的尺寸会变化,因此,进行将曲面镜的尺寸一致地调整到预定的基准尺寸的标准化。由此,能够将曲面镜内的人物等的物体的移动量变换为曲面镜内的物体的大小也就是尺寸,因此,能够根据尺寸的变化量来判定危险度。这样,实施方式1的信息处理装置10通过利用曲面镜,能够判定危险度。
此外,在例如自动驾驶中的车辆具备信息处理装置10的情况下,该车辆能够如上所述那样利用曲面镜来判定危险度,因此,能够根据所判定的危险度来进行车辆控制。
另外,如上所述,也可以为,驾驶支援信息根据与按时间序列连续的至少两个图像分别对应的物体各自的尺寸的变化信息来生成,变化信息表示尺寸的扩大。在该情况下,驾驶支援信息既可以包括用于使车辆减速的信息以及用于使车辆在远离物体的方向上移动的信息中的至少一个,也可以包括用于在物体远离了车辆之后使车辆行驶的信息。这是因为根据这些能够确保正在接近交叉路口的物体以及车辆的安全。
另外,驾驶支援信息也可以在物体的尺寸基础上还基于车辆的状态来生成。这是因为能够按照车辆的状态(行驶状态、停止状态等)进行不会是无用工作的控制。
另外,驾驶支援信息也可以根据物体的尺寸来生成。这是因为即使不进行使用了尺寸的变化信息的处理,也能够预测危险。
如以上所述,根据实施方式1的信息处理装置10或者***1,通过在交叉路口等眺望条件差的场所利用曲面镜,能够对车辆的安全驾驶进行支援。
(变形例1)
在实施方式1中,对根据标准化后的曲面镜内的物体的尺寸的变化量来判定危险度的情况进行了说明,但不限于此。也可以为,识别部13识别在曲面镜中映现的物体的属性,算出部101考虑该属性来判定危险度。在本变形例中,对进一步考虑与在曲面镜中映现的物体所具有的移动速度有关的属性来判定危险度的情况进行说明。
图20以及图21是表示实施方式1的变形例1的输出处理部102进行的危险预测处理的一例的说明图。此外,对与图15以及图17同样的内容记载了相同的描述,省略详细说明。
在图20中示出在曲线转弯道路处变形例1的输出处理部102进行的危险预测处理的一例,在图21中示出在T字交叉路口处变形例1的输出处理部102进行的危险预测处理的一例。此外,基于低、中或者高的危险度的车辆控制信息可以为如图15和图17所示那样,因此,在图20以及图21中省略了图示。
在如图20以及图21所示那样物体为人物的情况下,危险预测部1031与图15以及图17时同样地判定危险度。另一方面,在物体为比人物的移动速度快的自行车、摩托车或者汽车的情况下,危险预测部1031根据移动速度来判定为比物体为人物时高的危险度。
如以上所述,在本变形例中,输出处理部102根据由识别部13识别到的物体的属性来生成驾驶支援信息,输出所生成的驾驶支援信息。
(变形例2)
在变形例1中,对还考虑与在曲面镜中映现的物体具有的移动速度有关的属性来判定危险度的情况进行了说明,但不限于此。在曲面镜中映现的物体是人的情况下,危险预测部1031也可以还判定与该人的年龄有关的属性来判定危险度。以下将该情况作为变形例2来进行说明。
图22以及图23是表示实施方式1的变形例2的输出处理部102进行的危险预测处理的一例的说明图。此外,对与图15以及图17同样的内容记载了相同的描述,省略详细的说明。
图22表示在曲线转弯道路处变形例2中的输出处理部102进行的危险预测处理的一例,图23表示在T字交叉路口处变形例1中的输出处理部102进行的危险预测处理的一例。此外,基于低、中或者高的危险度的车辆控制信息也可以为如图15和图17所示那样,因此,在图22以及图23中也省略了图示。
如图22以及图23所示,在物体是人物、且该人物为孩子或老人的情况下,危险预测部1031判定为与图15以及图17同样的危险度即可。另一方面,在物体是人物、且该人物是孩子以及老人以外的其他人的情况下,判定为比人物是孩子或者老人时高的危险度即可。
如以上所述,在本变形例中,输出处理部102在由识别部13识别到的物体的属性是人物的情况下,根据与由识别部13识别的该物体的年龄有关的信息来使驾驶支援信息变化并输出该驾驶支援信息。此外,在上述中,对与年龄有关的信息是人物的世代的例子进行了说明,但与年龄有关的信息也可以是人物的年龄或年代。
(变形例3)
在变形例2中,对在曲面镜中映现的物体是人的情况下还考虑与该人的年龄有关的属性来判定危险度的情况进行了说明,但不限于此。在曲面镜中映现的物体是人的情况下,危险预测部1031进一步也可以还考虑该人是否正在进行不注意行动(注意力不够地行动)这一属性来判定危险度。具体而言,不注意行动是非看前方行动。例如,非看前方行动包括注视智能电话等便携终端或者书本。以下将该情况作为变形例3来进行说明。
图24以及图25是表示实施方式1的变形例3的输出处理部102进行的危险预测处理的一例的说明图。此外,对与图15以及图17同样的内容记载了相同的表述,省略详细的说明。
在图24中示出在曲线转弯道路处变形例3中的输出处理部102进行的危险预测处理的一例,在图25中示出在T字交叉路口处变形例3中的输出处理部102进行的危险预测处理的一例。此外。基于低、中或者高的危险度的车辆控制信息可以为如图15和图17所示那样,因此,在图24以及图25中也省略了图示。
如图24以及图25所示,在物体是人物、且该人物并未正在进行看着便携终端而进行移动行动的非看前方行动即该人物没有一边看着便携终端一边步行的情况下,危险预测部1031判定为与图15以及图17时同样的危险度即可。另一方面,在物体是人物、且该人物正在进行非看前方行动即该人物正在一边看着便携终端一边步行的情况下,危险预测部1031判定为比该人物没有进行非看前方行动时高的危险度即可。此外,在上述中,说明了不注意行动是非看前方行动的例子,但不注意行动也可以是虽然正在看着人物的前方但却在看着偏上方或偏下方的行动、或者正在注视着位于人物的前方的婴儿车或者球等的特定物的行动。
这样,在本变形例中,输出处理部102在由识别部13识别到的物体的属性是人物的情况下,根据由识别部13识别到物体是否正在进行不注意行动来生成并输出驾驶支援信息。
(实施方式2)
在实施方式1中,对在交叉路口等的眺望条件差的场所,能够通过利用曲面镜对行进期间的车辆的安全驾驶进行支援的信息处理装置等进行了说明,但不限于此。在暂时停止中的车辆中,也能利用曲面镜对安全驾驶进行支援。以下,将该情况作为实施方式2进行说明。
[***1A的构成]
图26是表示实施方式2的***1A的构成的一例的框图。此外,对与图1同样的要素标记相同的标号,省略详细的说明。
图26所示的***1A与实施方式1的***1相比,信息处理装置10A的构成不同。***1A也与***1同样地能够搭载于例如汽车等的车辆,能够通过利用曲面镜来输出该车辆的驾驶支援信息。
在本实施方式中,为了对暂时停止中的车辆的安全驾驶进行支援,信息处理装置10A也考虑曲面镜内的物体的位置。此外,图像取得部11和检测处理部12A也可以与实施方式1同样地构成在信息处理装置10A。
[信息处理装置10A]
实施方式2中的信息处理装置10A通过曲面镜来输出暂时停止中的车辆的驾驶支援信息。在本实施方式中,为了对暂时停止中的车辆的安全驾驶进行支援,信息处理装置10A也考虑曲面镜内的物体的位置。对于其理由,使用图27A~图27C进行说明。图27A是表示在交叉路口暂时停止的车辆2a的驾驶员视觉识别到的曲面镜75内映现的物体63的一例的图。图27B以及图27C是曲面镜的特性的说明图。
例如在图27A中示出如下情况下的例子:在交叉路口暂时停止的车辆2A的驾驶员视觉识别到设置在该交叉路口的曲面镜75的情况下,作为在曲面镜75中映现的物体63,能够确认到骑自行车的人。在图27A中,由于在曲面镜75内的里面即曲面镜内的上部映现出作为人的物体63,车辆2A的驾驶员能看成物体63如图27B所示那样从车辆2a来看存在于道路的里侧的位置。但是,由于左右相反地映现的曲面镜的特性,实际上,物体63存在于如图27C所示的位置即从车辆2a来看的道路的跟前侧的位置。
因此,本实施方式的信息处理装置10A在也考虑了曲面镜内的物体的位置的基础上,输出车辆2a的驾驶支援信息。
更具体而言,如图26所示,本实施方式的信息处理装置10A具备算出部101A、输出处理部102A以及死角判定部103。图26所示的信息处理装置10A与实施方式1的信息处理装置10相比,算出部101A和输出处理部102A的构成不同。以下,对算出部101A以及输出处理部102A的构成等的详细情况进行说明。
<算出部101A>
图28是表示实施方式2的算出部101A的功能构成的一例的图。图29A是表示图28所示的物***置算出部1013算出的物体的位置的一例的图。图29B是表示图28所示的路面区域算出部1015算出的路面区域的一例的图。图30是图28所示的中心轴算出部1016算出的中心轴的算出方法的说明图。
实施方式2的算出部101A算出由检测处理部12A检测到的曲面镜中的物体的位置。更具体而言,算出部101A算出在由检测部12检测到的曲面镜且通过搭载于车辆的拍摄装置的拍摄得到的图像中映现的曲面镜内由识别部13识别到的物体在曲面镜中的位置。
例如,如图28所示,算出部101A具备物***置算出部1013、物体尺寸算出部1014、路面区域算出部1015以及中心轴算出部1016。此外,算出部101A也可以仅具有物***置算出部1013,或者仅具有物***置算出部1013以及物体尺寸算出部1014。
物***置算出部1013算出曲面镜中的物体的位置。更具体而言,物***置算出部1013算出由检测部12检测到的曲面镜且通过对暂时停止中的车辆的前方以时间序列连续拍摄而得到的图像中映现的曲面镜内由识别部13识别到的物体在曲面镜中的位置。例如,如图29A所示,物***置算出部1013算出作为骑着自行车的人的物体63在曲面镜75的区域内的位置。此外,在算出部101A仅具有物***置算出部1013的情况下,物***置算出部1013也可以算出曲面镜中的物体的位置相比于表示曲面镜内的预定位置的阈值是靠右还是靠左。另外,物***置算出部1013也可以算出曲面镜中的物体的位置相比于表示曲面镜内的预定位置的阈值是靠上还是靠下。
物体尺寸算出部1014算出以曲面镜为基准的物体的尺寸。更具体而言,物体尺寸算出部1014算着由检测部12检测到的曲面镜且通过对暂时停止中的车辆的前方以时间序列连续拍摄而得到的图像中映现的曲面镜内由识别部13识别到的物体的大小。
路面区域算出部1015算出曲面镜内的路面区域。更具体而言,路面区域算出部1015算出作为表示由检测部12检测到的曲面镜内映现的道路的区域的路面区域。例如,如图29B所示,路面区域算出部1015算出表示在曲面镜75的区域内所存在的道路的路面区域80。路面区域算出部1015能够通过使用卷积层的深度学习(Deep Learning)等来预先使用映现道路的大量的曲面镜的图像来进行学习,由此算出如上所述的路面区域。
中心轴算出部1016算出由路面区域算出部1015算出的路面区域的中心轴。更具体而言,例如如图30所示,中心轴算出部1016在由路面区域算出部1015算出的路面区域80中,首先使用Hough变换来算出相当于路面的路肩的直线(称为路肩直线)。接着,中心轴算出部1016算出通过从所算出的路肩直线的端点起算的距离D相同的路肩直线的位置、且与路肩直线正交的线L1、线L2。同样地,算出通过从所算出的路肩直线的端点起算的距离相同的路肩直线的位置、且与路肩直线正交的线L3及线L4以及线L5及线L6。并且,中心轴算出部1016算出连结这些线的交点的直线来作为路面区域的中心轴82。
此外,如上所述,对中心轴算出部1016通过算出线L1及线L2、线L3及线L4、以及线L5及线L6这三组线来算出中心轴82的情况进行了说明,但不限于此。中心轴82可以最低由两条的交点来求出,因此,中心轴算出部1016也可以从所算出的线L1与线L2的交点和路肩直线的端点来算出。另外,中心轴算出部1016也可以算出四组以上的线,使用最小二乘法(最小平方法),算出使四组以上的线的交点与直线的平方误差最小的直线来作为中心轴82。
<输出处理部102A>
输出处理部102A基于由算出部101A算出的曲面镜中的物体的位置来生成驾驶支援信息,并输出所生成的驾驶支援信息。在此,驾驶支援信息既可以包括车辆的举动的控制指令信息,也可以包括提示给车辆的乘员的提示信息。
图31是表示实施方式2的输出处理部102A的功能构成的一例图。图32是表示实施方式2的曲面镜内的物体的位置的一例的图。
在本实施方式中,如图31所示,输出处理部102A具备危险预测部1031A、信息生成部1032A以及信息输出部1033A。
《危险预测部1031A》
危险预测部1031A基于由算出部101A算出的曲面镜中的物体的位置来预测危险性。例如,危险预测部1031A既可以在车辆向朝向曲面镜的方向行进的状况下从物体的曲面镜中的位置预测危险性,也可以根据物体与由在图像中映现的道路确定的曲面镜中的区域之间的位置关系来预测危险性。
在本实施方式中,危险预测部1031A基于由物***置算出部1013算出的位置和由中心轴算出部1016算出的中心轴,预测危险性。具体而言,该危险性既可以是危险度,也可以是危险内容(例如、接触、碰撞、卷入等)。
危险预测部1031A在由物***置算出部1013算出的位置相比于由中心轴算出部1016算出的中心轴靠右的情况下,判定为比其位置相比于该中心轴靠左时高的危险度。例如如图32所示,若物体63的下端相比于路面区域的中心轴82而位于靠右或者靠上的位置,则能够定义为物体63在曲面镜75的区域内存在于里面。并且,在物体63在曲面镜75的区域内存在于里面时,由于物体63从车辆来看位于道路的跟前侧的位置,所以在暂时停止中的车辆起步时存在与物体63碰撞的危险。因此,危险预测部1031A在物体63在曲面镜75的区域内存在于里面时,将危险度判定为高。另一方面,若物体63的下端相比于中心轴82而位于靠左或者靠下的位置,则能够定义为物体63在曲面镜的区域内存在于跟前。并且,在物体63在曲面镜75的区域内存在于跟前时,物体63从车辆来看位于道路的里侧的位置,因此,暂时停止中的车辆即使起步,与物体63碰撞的危险也低。因此,危险预测部1031A能够在物体63在曲面镜75的区域内存在于跟前时将危险度判定为低。
以下,使用附图对该情况进行更具体的说明。
图33、图34以及图35是实施方式2中的物体64位于曲面镜75的里侧的情况下的危险度的说明图。在图33中示出从暂时停止的车辆2a取得物体64映现在里侧的曲面镜75的图像的情形。在图34的(a)中示出存在于曲面镜75的物体64的位置和其大小,在图34的(b)属于图34的(a)的曲面镜75的放大图,示出物体64与道路的关系。在图35中示出图34所示的物体64、车辆2a以及曲面镜75的位置关系。
如图35所示,设为作为人的物体64从车辆2a来看在道路的跟前侧向交叉路口的方向步行。并且,设为搭载于暂时停止的车辆2a的***1A取得如图34所示的时刻tj、时刻tj+1或者时刻tj+2的图像50j、图像50j+1或者图像50j+2。在该情况下,***1A即信息处理装置10A算出物体64j、物体64j+1或者物体64j+2在曲面镜75中的位置。在图像50j、图像50j+1或者图像50j+2中,物体64j、物体64j+1或者64j+2存在于里侧,因此,物体64j、64j+1或者64j+2从车辆2A来看位于道路的跟前侧的位置。也即是,暂时停止中的车辆2a起步时存在与物体64碰撞的危险,因此,将危险度判定为高。
此外,搭载于暂时停止的车辆2a的***1A也可以取得图像50j、50j+1以及50j+2,算出物体64j、64j+1或者64j+2的位置及其尺寸。在该情况下,根据物体64j、64j+1或者64j+2的尺寸逐渐变大这一连续性,可知物体64在交叉路口处正在接近暂时停止中的车辆2a。因此,也可以与物体64j+1等相比而将对于物体64j+2的危险度判定为更高。这样,危险预测部1031A也可以根据按时间序列连续的至少两个图像所对应的物体的尺寸变化量来判定危险度。也即是,危险预测部1031A也可以在由物体尺寸算出部1014算出了以曲面镜为基准的物体的尺寸时,基于由物***置算出部1013算出的物体在曲面镜中的位置、和由物体尺寸算出部1014算出的物体的尺寸来预测危险度。
另外,在搭载于暂时停止的车辆2a的***1A取得了图像50j+2、图像50j+3的情况下,在图像50j+3的曲面镜75中不存在物体64。但是,在连续性即刚刚之前取得的时刻tj+2的图像50j+2的曲面镜75中存在物体64j+2,因此,将图像50j+3判定为该物体64可能存在于曲面镜75的死角的死角图像,与物体64j+2等相比而将对于图像50j+3的危险度判定为更高即可。
图36、图37以及图38是实施方式2中的在曲面镜75的跟前侧存在物体64的情况下的危险度的说明图。在图36中示出从暂时停止的车辆2a取得物体64映现在跟前侧的曲面镜75的图像的情形。在图37的(a)示出存在于曲面镜75的物体64的位置及其大小,图37的(b)属于图37的(a)的曲面镜75的放大图,示出物体64与道路之间的关系。在图38中示出图37所示的物体64、车辆2a以及曲面镜75的位置关系。
如图38所示,设为作为人的物体64从车辆2a来看在道路的里侧向交叉路口的方向步行。并且,设为搭载于暂时停止的车辆2a的***1A取得如图37所示的时刻tk、时刻tk+1或者时刻tk+2的图像50k、图像50k+1或者图像50k+2。在情况下,***1A即信息处理装置10A算出物体64k、物体64k+1或者物体64k+2在曲面镜75中的位置。在图像50k、图像50k+1或者图像50k+2中,物体64k、物体64k+1或者物体64k+2存在于跟前侧,因此,物体64k、物体64k+1或者物体64k+2从车辆2a来看位于道路的里侧。也即是,在暂时停止中的车辆2a起步时与物体64碰撞的危险低,因此,将危险度判定为低。
此外,搭载于暂时停止的车辆2a的***1A也可以取得图像50k、图像50k+1以及图像50k+2,算出物体64k、物体64k+1或者物体64k+2的位置及其尺寸。在该情况下,根据物体64k、物体64k+1或者物体64k+2的尺寸逐渐变大这一连续性,可知物体64在交叉路口处正在接近暂时停止中的车辆2a。因此,也可以将对于物体64k+2的危险度判定为比物体64k+1等高。这样,危险预测部1031A也可以根据按时间序列连续的至少两个图像各自中映现的物体各自的尺寸的变化信息以及物体在曲面镜中位置来判定危险度。也即是,危险预测部1031A也可以根据由算出部101A算出的曲面镜中的物体的位置和所算出的物体的尺寸来预测危险性。
在上述中,对尺寸的变化信息为尺寸的变化量的例子进行了说明,但尺寸的变化信息也可以是表示尺寸的变化内容的信息。例如,尺寸的变化内容也可以是尺寸变大了(或者变小了)、尺寸变为预定尺寸以上(变为小于预定的尺寸)等。
另外,在搭载于暂时停止的车辆2a的***1A取得了图像50k+2、图像50k+3的情况下,在图像50k+3的曲面镜75中不存在物体64。但是,由于在连续性即刚刚之前取得的时刻tk+2的图像50k+2的曲面镜75中存在物体64k+2,所以将图像50k+3判定为该物体64可能存在于曲面镜75的死角的死角图像,将对于物体64k+3的危险度预测为比物体64k+2等更高即可。
另外,危险预测部1031A也可以基于由算出部101A算出的物体在曲面镜中的位置,对车辆保持状态不变时所预测的危险度进行判定。例如,危险预测部1031A也可以为,在由算出部101A算出的物体的位置相比于曲面镜的中心线靠下的情况下,判定为比该位置相比于曲面镜的中心线靠上时高的危险度。另外,危险预测部1031A也可以为,在由算出部101A算出的物体的位置相比于曲面镜的预定位置而位于右的情况下,判定为比该位置相比于曲面镜的预定位置而位于左侧时高的危险度。此外,预定位置既可以是中心轴的位置,也可以是预先确定的中心附近的位置。另外,中心线例如是通过曲面镜的中心的线,包括水平线、垂直线、斜线、曲线等。在中心线为水平线的情况下,根据上/下来判定危险度即可,在中心线是垂直线的情况下,根据右/左来判定危险度即可。另外,在中心线为斜线或者曲线的情况下,根据一方/他方来判定危险度即可。
《信息生成部1032A》
信息生成部1032A基于由算出部101A算出的曲面镜中的物体的位置来生成驾驶支援信息。例如,信息生成部1032A根据物体与由在图像映现的道路确定的曲面镜中的区域之间的位置关系来生成驾驶支援信息。另外,信息生成部1032A既可以基于由算出部101A算出的物体在曲面镜中的位置和由算出部101A算出的物体的尺寸来生成驾驶支援信息,例如也可以根据在按时间序列连续的至少两个图像各自中映现的物体各自的尺寸的变化信息以及物体在曲面镜中的位置来生成驾驶支援信息。
更详细而言,信息生成部1032A也可以根据由物***置算出部1013算出的物体的位置与由中心轴算出部1016算出的中心轴之间的位置关系来生成驾驶支援信息。例如,信息生成部1032A在物体在图像中位于相比于中心轴靠上的位置的情况下,生成用于使车辆躲避物体的驾驶支援信息。
另外,信息生成部1032A也可以基于由算出部101A算出的物体的位置与曲面镜的中心线之间的位置关系来生成驾驶支援信息。例如,信息生成部1032A(i)在曲面镜从车辆来看朝向左的情况下物体在图像中位于比中心线靠右的位置时、或者(ii)在曲面镜从车辆来看朝向右的情况下物体在图像中位于比中心线靠左的位置时,生成用于使车辆躲避物体的驾驶支援信息即可。
在本实施方式中,信息生成部1032A根据由危险预测部1031A预测的危险性来生成驾驶支援信息。例如,信息生成部1032A也可以基于由危险预测部1031A预测到的危险性来生成车辆控制信息。另外,信息生成部1032A也可以根据车辆向朝向所述曲面镜的方向行进的状况下的、从所述物体在所述曲面镜中的位置预测的危险性来生成驾驶支援信息。
此外,信息生成部1032A也可以输出表示由危险预测部1031A预测到的危险度的信息来作为驾驶支援信息。例如,信息生成部1032A输出表示由危险预测部1031根据与按时间序列连续的至少两个图像对应的物体的尺寸的变化量判定的危险度的信息,来作为驾驶支援信息。
进一步,信息生成部1032A也可以基于由物***置算出部1013算出的物体的位置和由死角判定部103判定到死角图像这一情况,来生成包括使车辆暂时停止的车辆控制信息的驾驶支援信息。具体而言,信息生成部1032A进一步也可以在按时间序列连续的多个图像中的至少一个图像中由识别部13识别到的物体在比至少一个图像在时间序列上靠后的图像中未被识别部13识别到的情况下,生成驾驶支援信息。另外,信息生成部1032A也可以基于在该一个图像中映现的物体的位置、和在其后的图像中物体未被识别部13识别到这一情况,生成驾驶支援信息。
《信息输出部1033A》
信息输出部1033A输出由信息生成部1032A生成的驾驶支援信息。
此外,在上述中,对驾驶支援信息是控制指令信息的例子进行了说明,但驾驶支援信息也可以是提示信息。例如,提示信息也可以是表示后述的危险性的信息、表示向驾驶员的推荐操作的信息。
在此,使用附图对这样构成的输出处理部102A进行的输出处理的一例进行说明。
图39是表示实施方式2的T字交叉路口的一例的图。图40是表示实施方式2的输出处理部102A进行的输出处理的其他一例的说明图。在图40示出搭载有本实施方式的信息处理装置10A或者***1A的车辆2a在T字交叉路口处暂时停止的情形。
在该情况下,如图40所示,输出处理部102A即危险预测部1031A在物体的每时间的尺寸变小或者没有变化时,即使曲面镜75内的物体的位置为里侧,也判定为危险度低。在此,输出处理部102A即信息生成部1032A也可以输出表示由危险预测部1031A预测到的危险度低的信息。另外,如图40所示,信息生成部1032A也可以基于危险度低这一情况,生成用于使暂时停止中的车辆2a起步的车辆控制信息。在图39所示的例子中,危险预测部1031A在曲面镜75内的车辆3的尺寸变小或者没有变化时,判定为车辆3处于在远离车辆2a的方向上行进的期间,因此,判定为危险度低。并且,信息生成部1032A也可以生成表示所判定的危险度低的信息或者用于使暂时停止中的车辆2a起步的车辆控制信息。
另外,如图40所示,危险预测部1031A在曲面镜75内的物体的位置为跟前侧、且曲面镜75内的物体的尺寸变大时,判定为危险度为中。在此,信息生成部1032A也可以生成表示由危险预测部1031A判定的危险度为中的信息。另外,如图40所示,信息生成部1032A也可以基于危险度为中这一情况,生成用于使暂时停止中的车辆2a慢行起步的车辆控制信息。在图39所示的例子中,危险预测部1031A在曲面镜75内的车辆3的位置为跟前、且曲面镜75内的车辆3尺寸变大时,判定为车辆3处于在道路的里侧向朝向车辆2a的方向行进的期间,因此,判定为危险度为中。并且,信息生成部1032A也可以生成表示所判定的危险度为中的信息或者用于使暂时停止中的车辆2a慢行起步的车辆控制信息。
另外,如图40所示,危险预测部1031A在曲面镜75内的物体的位置为里侧、且曲面镜75内的物体的尺寸变大时,判定为危险度高。在此,信息生成部1032A也可以生成表示由危险预测部1031A判定的危险度为高的信息。另外,如图40所示,信息生成部1032A也可以基于危险度为高这一情况,生成用于在通过传感器确定了作为对象物的车辆3的通过之后使暂时停止中的车辆2a起步的车辆控制信息。在图39所示的例子中,危险预测部1031在曲面镜75内的车辆3的尺寸变大时,能够判定为车辆3处于在道路的跟前侧在朝向车辆2a的方向上行进的期间,因此,判定为危险度为高。并且,信息生成部1032A也可以生成表示所判定的危险度为高的信息或者、用于在通过传感器确认了车辆3的通过之后使暂时停止中的车辆2a起步的车辆控制信息。
[***1A的动作]
接着,对如上所述构成的***1A的信息处理方法进行说明。图41是表示实施方式2的***1A的信息处理方法的概要的流程图。图42是表示实施方式2的***1A的信息处理方法的详细情况的流程图。此外,对与图19同样的要素标记相同的标号,省略详细的说明。
首先,如图41所示,***1A基于图像信息检测在图像中映现的曲面镜和在曲面镜中映现的物体(S20)。接着,***1A算出在S20检测到的曲面镜中的位置(S21)。接着,***1A基于在S21算出的位置来生成驾驶支援信息(S22)。并且,***1A输出在S22中生成的驾驶支援信息(S23)。
更详细而言,如图42所示,在S21的处理中,***1A进行如下的物***置算出处理(S204):算出在S102中检测到的曲面镜中的、在S103中识别到的物体的位置。接着,***1A进行如下的物体尺寸算出处理(S205):算出以在S102中检测到的曲面镜为基准的、在S103中识别到的物体的大小。接着,***1A进行如下的路面区域算出处理(S206):算出在S102中检测到的曲面镜内的路面区域。接着,***1A进行如下的中心轴算出处理(S207):算出在S206中算出的路面区域的中心轴。此外,关于S204~S207中进行的处理的详细情况为如上所述那样,因此,省略在此的详细说明。
另外,在图41中说明过的S22的处理中,***1A进行如下的危险预测处理(S221):基于在S21中算出的物体在曲面镜中的位置,判定车辆保持状态不变而行进时所预测的危险度。接着,***1A进行如下的信息生成处理(S222):生成表示在S221中判定的危险度的信息来作为驾驶支援信息,和/或基于在S221中判定的危险度来生成用于控制车辆的车辆控制信息。此外,关于S221以及S222中进行的处理的详细情况为如上所述那样,因此,省略在此的说明。
并且,***1A进行在图41中说明过的S23的处理。更具体而言,在S23中,***1A进行输出在S222中生成的驾驶支援信息等的信息输出处理(S223)。
[实施方式2的效果等]
如以上所述,根据实施方式2涉及的信息处理装置10A或者***1A,在交叉路口等眺望条件差的场所,能够通过利用曲面镜来判定危险度,能够基于所判定的危险度来生成并输出车辆的驾驶支援信息。由此,能够对搭载了信息处理装置10A的车辆的安全驾驶进行支援。
具体而言,在交叉路口等眺望条件差的场所,在曲面镜中映现有人物等的物体的情况下,该物体有可能突然出现到该场所。在该情况下,存在当使暂时停止中的车辆提前起步时会与该物体碰撞的危险。另外,曲面镜具有左右反转映现这一特性。
因此,可知:在曲面镜的里侧映现有人物等的物体的情况下,与在曲面镜的跟前侧映现有人物等的物体的情况相比,该物体正在距该场所的暂时停止中的车辆近的一侧的道路的路肩侧附近进行移动。也即是,在曲面镜的里侧映现有人物等物体的情况下,与在曲面镜的跟前侧映现有人物等物体的情况相比,当使暂时停止中的车辆提前起步时与该物体碰撞的危险高。
因此,在本实施方式中,根据在能够从暂时停止中的车辆得到的图像中映现的曲面镜内的物体的位置和有需要时的其尺寸变化,判定危险度。这样,实施方式2的信息处理装置10A能够通过利用曲面镜来判定危险度。
此外,在例如自动驾驶中的车辆具备信息处理装置10A的情况下,该车辆能够如上所述那样利用曲面镜来判定危险度,因此,能够根据所预测到的危险度来进行车辆控制。
另外,如上所述,例如实施方式2的信息处理装置10A也可以在物体在图像中位于比中心轴靠上的位置的情况下,生成用于使车辆躲避物体的驾驶支援信息。由此,能够在物体靠近车辆的情况下躲避物体,能够确保物体以及车辆的安全性。
另外,例如实施方式2涉及的信息处理装置10A也可以为,(i)在曲面镜从车辆来看朝向左的情况下物体在图像中位于比中心线靠右的位置时、或者(ii)在曲面镜从车辆来看朝向右的情况下物体在图像中位于比中心线靠左的位置时,生成用于使车辆躲避物体的驾驶支援信息。由此,在物体靠近车辆的情况下能够躲避物体,能够确保物体以及车辆的安全性。另外,能够省去如确定道路的中心轴这样的复杂的处理,使处理速度提高。
如以上所述,根据实施方式2的信息处理装置10A或者***1A,在交叉路口等眺望条件差的场所,能够通过利用曲面镜来对车辆的安全驾驶进行支援。
此外,在上述中,对车辆处于暂时停止期间的例子进行了说明,但实施方式2也可以应用于低速(预定速度以下)移动的车辆。
(变形例1)
在实施方式2中,对根据曲面镜内的物体的位置和有需要时的该物体的大小来判定危险度的情况进行了说明,但不限于此。识别部13也可以识别在曲面镜中映现的物体的属性,算出部101也可以考虑该属性来判定危险度。在本变形例中,对还考虑与在曲面镜中映现的物体所具有的移动速度有关的属性来判定危险度的情况进行说明。
图43是表示表示实施方式2的变形例1的输出处理部102A进行的危险预测处理的一例的说明图。此外,对与图40同样的内容记载了相同的表述,省略详细说明。另外,在图43中示出在T字等的交叉路口处变形例1的输出处理部102A进行的危险预测处理的一例。此外,基于低、中或者高的危险度的车辆控制信息可以为图40所示那样,因此,在图43中省略了图示。
如图43所示,在物体是人物的情况下,危险预测部1031A判定为与图40时同样的危险度即可。另一方面,在物体是移动速度比人物快的自行车、摩托车或者汽车的情况下,危险预测部1031A根据移动速度判定为比物体是人物时高的危险度即可。
如以上所述,在本变形例中,输出处理部102A根据由识别部13识别到的物体的属性来生成驾驶支援信息,输出所生成的驾驶支援信息。
(变形例2)
在变形例1中,对还考虑与在曲面镜中映现的物体所具有的移动速度有关的属性来判定危险度的情况进行了说明,但不限于此。在曲面镜中映现的物体是人的情况下,危险预测部1031A也可以还考虑与该人的年龄有关的属性来判定危险度。以下将该情况作为变形例2来进行说明。
图44是表示实施方式2的变形例2的输出处理部102A进行的危险预测处理的一例的说明图。此外,对与图40同样的内容记载了相同的表述,省略详细说明。另外,在图44中示出在T字等交叉路口处变形例2的输出处理部102A进行的危险预测处理的一例。此外,基于低、中或者高的危险度的车辆控制信息可以为图40所示那样,因此,在图44中也省略了图示。
如图44所示,在物体是人物、且该人物是孩子或老人的情况下,危险预测部1031A判定为与图40同样的危险度即可。另一方面,在物体是人物、且该人物是孩子或者老人以外的其他人的情况下,危险预测部1031A判定为比人物是孩子或老人时高的危险度即可。
如以上所述,在本变形例中,输出处理部102A在由识别部13识别到的物体的属性是人物的情况下,根据与由识别部13识别到的该物体的年龄有关的信息使驾驶支援信息变化来生成该驾驶支援信息,输出所生成的该驾驶支援信息。此外,在上述中,对与年龄有关的信息为人物世代的例子进行了说明,但与年龄有关的信息也可以是人物的年龄或者年代。
(变形例3)
在变形例2中,对在曲面镜中映现的物体是人的情况下,还考虑与该人的年龄有关的属性来判定危险度的情况进行了说明,但不限于此。在曲面镜中映现的物体是人的情况下,危险预测部1031A也可以还考虑该人是否正在一边看智能电话等便携终端一边步行这一属性来判定危险度。具体而言,不注意行动是非看前方行动。例如,非看前方行动包括注视智能电话等便携终端或者书本等。以下将该情况作为变形例3进行说明。
图45是表示实施方式2的变形例3的输出处理部102A进行的危险预测处理的一例的说明图。此外,对与图40同样的内容记载了相同的表述,省略详细说明。另外,在图45中示出在T字等的交叉路口处变形例1的输出处理部102A进行的危险预测处理的一例。此外,基于低、中或者高的危险度的车辆控制信息可以为图40所示那样,因此,在图45中也省略了图示。
如图45所示,在物体是人物、且该人物并未正在进行看着便携终端进行移动行动的非看前方行动即该人物未一边看着便携终端一边步行的情况下,危险预测部1031A判断为与图40时同样的危险度即可。另一方面,在物体是人物、且该人物正在进行非看前方行动即该人物正在一边看着便携终端一边步行的情况下,危险预测部1031A判定为比该人物未在进行非看前方行动时高的危险度即可。此外,在上述中,对不注意行动是非看前方行动的例子进行了说明,但不注意行动也可以是虽看着人物的前方、但正看着偏上方或者偏下方的行动、或者注视着位于人物的前方的婴儿车或者球等特定物的行动。
如以上所述,在本变形例中,输出处理部102A在由识别部13识别到的物体的属性是人物的情况下,根据由识别部13识别到的物体是否正在进行不注意行动而使驾驶支援信息变化来生成该驾驶支援信息,输出所生成的该驾驶支援信息。
(实施方式3)
曲面镜也会存在于在实施方式1以及2说明过的T字路或者曲线转弯道路以外的眺望条件差的场所。
例如在车辆专用道路的出口附近的场所,车不减速而突然冲出来的可能性高,在购物商场的入库口,人或者车辆突然出现的可能性高。另外,例如在购物商场的入口,人的出入多,因此,人的突然出现的可能性高。另外,例如在汽车容易提速的与直路连接的转弯角等的场所,汽车有可能不减速而越过车道窜出也即是突然冲出来。在如这些的存在曲面镜的眺望条件差的场所,发生事故的危险度高。也即是,根据本车辆的位置或者曲面镜的设置场所,由于人出现多的场所或者汽车的速度快的场所等的条件不同,危险度也不同。
于是,在实施方式3中,对能够通过考虑曲面镜的设置场所的特征来对暂时停止中或者行进期间的车辆的安全驾驶进行支援的信息处理装置等进行说明。此外,在以下中,将搭载有实施方式3的***或者信息处理装置的车辆称为本车辆。
[***1B的构成]
图46是表示实施方式3的***1B的构成的一例的框图。此外,对与图1以及图26同样的要素标记相同的标号,省略详细说明。
图46所示的***1B与实施方式1的***1相比,取得部11B、检测处理部12B以及信息处理装置10B的构成不同。另外,***1B也与***1同样地搭载于例如汽车等车辆,能够通过利用曲面镜来输出该车辆即本车辆的驾驶支援信息。
在本实施方式中,为了对暂时停止中或者行进期间的本车辆的安全驾驶进行支援,信息处理装置10B也考虑曲面镜的设置场所的特征。
[取得部11B]
取得部11B与图像取得部11同样地,取得表示通过搭载于车辆的拍摄装置的拍摄得到的图像的图像信息。取得部11B也可以取得地图信息。地图信息是指表示地理上的位置处的动态变化的事态的信息或者地理上的静态的信息。地图信息包括表示地图上的交通事故、拥堵、施工、路面状态以及气象中的至少一个的追加地图信息。
此外,取得部11B与实施方式1的图像取得部11相比,能够取得地图信息这一点不同,其他方面是相同的。在取得部11B中,取得感测部111通过通信等取得地图信息,将其记录在图像记录部112即可。
[检测处理部12B]
检测处理部12B检测曲面镜以及在曲面镜中映现的物体。在本实施方式中,检测处理部12B基于地图信息或者表示通过搭载于车辆的拍摄装置的拍摄得到的图像的图像信息,检测车辆周边的曲面镜。
如图46所示,检测处理部12B具备检测部12B和识别部13B。
<检测部12B>
检测部12B检测曲面镜。更具体而言,检测部12B基于图像信息检测车辆周边的曲面镜。例如,检测部12B使用曲面镜的识别信息或者曲面镜的识别器,基于图像信息检测车辆周边的曲面镜。此外,基于图像信息检测车辆周边的曲面镜的方法与实施方式1中检测图像中的曲面镜的方法是同样的。
另外,检测部12B也可以基于地图信息检测车辆周边的曲面镜。例如,检测部12B基于车辆的位置和地图信息所表示的曲面镜的设置场所,检测车辆周边的曲面镜。
<识别部13B>
识别部13B基于表示通过搭载于车辆的拍摄装置的拍摄得到图像的图像信息来识别在曲面镜中映现的物体。另外,识别部13B使用曲面镜的识别信息或者曲面镜的识别器,基于图像信息来识别曲面镜的周围环境。这样,识别部13B识别在由取得部11B取得的图像中映现的曲面镜内的物体以及曲面镜的周围环境。
此外,取得部11B和检测处理部12B也可以与实施方式1以及2同样地构成在信息处理装置10B。
[信息处理装置10B]
实施方式3的信息处理装置10B通过利用曲面镜,输出暂时停止中或者行进期间的本车辆的驾驶支援信息。在本实施方式中,为了对暂时停止中或者行进期间的本车辆的安全驾驶进行支援,信息处理装置10B也考虑曲面镜的设置场所的特征。如上所述,这是因为能够考虑根据本车辆的位置或者曲面镜的设置场所而不同的危险度。
更具体而言,如图46所示,信息处理装置10B具备输出处理部102B、死角判定部103以及判定部104。图46所示的信息处理装置10B与实施方式1的信息处理装置10相比,追加了判定部104的构成,输出处理部102B的构成不同。以下,对判定部104以及输出处理部102B的构成等的详细情况进行说明。
<判定部104>
图47是表示实施方式3的判定部104的功能构成的一例的图。
如图47所示,判定部104具备特征判定部1041、第1危险度判定部1042以及第2危险度判定部1043。
《特征判定部1041》
特征判定部1041判断曲面镜的设置场所的特征。该特征包括曲面镜的设置场所的道路的状态或者设置场所的物体的通过的状态。
更具体而言,特征判定部1041基于地图信息判定曲面镜的设置场所的特征。例如,特征判定部1041基于曲面镜的周边的地图信息判定该特征。特征判定部1041也可以根据追加地图信息判定道路的状态或者物体的通过的状态。
另外,特征判定部1041也可以基于图像信息判定曲面镜的设置场所的特征。例如,特征判定部1041也可以基于曲面镜的周围环境判定特征。特征判定部1041也可以根据曲面镜的周围环境判定道路的状态或者物体的通过的状态。
进一步,特征判定部1041也可以基于在曲面镜中映现的物体判定该特征。在该情况下,特征判定部1041也可以判定在曲面镜映现有物体、或者在曲面镜中映现的物体的多寡来作为该特征。
此外,特征判定部1041也可以还具有设置场所取得部,该设置场所取得部取得与通过对本车辆的前方按时间序列连续拍摄而得到的图像中所映现的曲面镜的设置场所的特征有关的信息。对于该设置场所取得部,不限于特征判定部1041具有该设置场所取得部的情况,也可以为检测处理部12B或者取得部11B具有该设置场所取得部。
例如,设置场所取得部能够从表示本车辆的位置的GPS(Global PositioningSystem,全球定位***)信息取得通过对本车辆的前方按时间序列连续拍摄而得到的图像中所映现的曲面镜的设置场所。在该情况下,设置场所取得部根据所取得的设置场所、嵌入有交通事故多发地点的信息、拥堵信息、道路施工信息、事故现场以及路面信息等的本地动态图,取得与曲面镜的设置场所的特征有关的信息。
曲面镜的设置场所的特征是上述的道路的状态。具体而言,道路的状态是容易发生事故或者实际上发生了事故的场所、车辆的台数或者拥堵有无等的道路的拥挤度、落叶、落石、积雪或者冻结等的路面状况、或者有无施工等。例如,容易发生事故的场所是车辆专用道路的出口附近、购物商场的入库口或者入口、或者与汽车容易提速的直路相连的拐弯角。
图48是表示动态图的一例的说明图。本地动态图是包含预定场所附近付近的一部分的动态图,是在作为道路/地物等静态信息的高精细的地图数据重叠本车辆位置周边的时时刻刻变化的动态信息而高度化(高级化)了的地图信息。例如如图48所示,在本地动态图中,在作为路面信息、车道信息以及三维构造物等的静态信息的最下层的基础数据上重叠有准静态数据、准动态数据以及动态数据。在此,准静态数据例如包括交通规则信息、道路施工信息以及大范围气象信息等,准动态数据例如包括事故信息、拥堵信息以及小范围气象信息等。动态数据例如包括周边车辆信息、步行者信息以及信号信息等ITS(Intelligent Transport Systems:智能交通***)的预测信息等。
另外,设置场所取得部也可以从由GPS信息取得的设置场所、通过由设置于本车辆的车载摄像头等拍摄而得到的图像中所映现的曲面镜的周围环境,取得与曲面镜的设置场所的特征有关的信息。进一步,曲面镜的设置场所的特征也可以是指上述的设置场所的物体的通过的状态。具体而言,设置场所的物体的通过的状态是人或者车辆的出入的有无或者程度。
在此,与曲面镜的设置场所的特征有关的信息是指如上所述的使用地图信息或者拍摄图像得到的表示是否为容易发生事故的场所的信息。
图49A~图49E是实施方式3的曲面镜的周围环境的一例。周围环境例如是如图49A~图49E所示的购物中心等商业设施的出入口。此外,商业设施的出入口具有如图49A~图49E所示那样的变化,因此,设置场所取得部可以具备通过将商业设施的出入口所映现的图像作为输入的学习(Deep Learning等)而得到的商业设施的出入口识别器。由此,设置场所取得部能够从表示在图像中映现的曲面镜的周围环境的图像,取得表示购物商场的入库口或者入口等容易发生事故的场所的信息。
图50是表示实施方式3的设置场所取得部使用的地图86的一例的图。
设置场所取得部也可以在取得在图50中表示本车辆的当前位置的地图86之后,从在图像中映现的曲面镜的周围环境取得与曲面镜的设置场所的特征有关的信息。这是因为在本车辆的当前位置位于图50所示的地图86上的购物中心等商业设施860附近、然后本车辆的当前位置为无法取得GPS信息的商业设施860的室内停车场的情况下,能够取得本车辆的当前位置位于商业设施860这一情况。这是因为:由此,设置场所取得部能够从在图像中映现的曲面镜的周围环境,更高精度地区取得表示商业设施860的入库口或者出库口等容易发生事故的场所的信息。
此外,在本车辆的当前位置为能取得GPS信息的购物中心的室外停车场的情况下,设置场所取得部也可以从地理信息取得与曲面镜的设置场所的特征有关的信息。
《第1危险度判定部1042》
第1危险度判定部1042基于与由设置场所取得部取得的曲面镜的设置场所的特征有关的信息,判定表示本车辆发生事故的可能性的高低的第1危险度。第1危险度判定部1042既可以基于与根据本车辆的当前位置和地图信息判定(取得)的曲面镜的设置场所的特征有关的信息来判定第1危险度,也可以基于与根据在图像中映现的曲面镜的周围环境判定(取得)的曲面镜的设置场所的特征有关的信息来判定第1危险度。
首先,使用图51~图54对第1危险度判定部1042基于地理信息判定第1危险度的方法的一例进行说明。图51~图54是表示实施方式3的第1危险度判定部1042用于判定的本地动态图的一例的图。在图51~图54中,对同样的要素标记相同的标号。
在图51中示出根据本车辆的当前位置取得的通勤时间段的本地动态图86t的一例。在图51中,道路861、道路862、高速道路863以及道路864为表示本车辆有可能行驶的道路。另外,在本地动态图86t中,设为包含动态变化的交通事故、拥堵信息以及表示穿过道路861来通勤的人多这一情况的信息。
在该情况下,第1危险度判定部1042设为标阴影线的道路861中本车辆发生事故的可能性最高,将道路861的第1危险度判定为大。另外,第1危险度判定部1042设为与道路861相连、通过商业设施865且标阴影线的道路862中本车辆发生事故的可能性次高,将其第1危险度判定为中。第1危险度判定部1042设为在道路861以及862以外的高速道路863以及道路864中本车辆发生事故的可能性低,将其第1危险度判定为小。
在图52中示出根据本车辆的当前位置取得的大型连休时的本地动态图86t1的一例。在本地动态图86t1中,作为动态变化的交通事故、拥堵信息,设为包含表示在高速道路863中发生大量的拥堵和事故这一情况的信息。在该情况下,第1危险度判定部1042设为在标阴影线的高速道路863中本车辆发生事故的可能性最高,将高速道路863的第1危险度判定为大。另外,第1危险度判定部1042设为在与高速道路863相连的标阴影线的道路862以及道路864中本车辆发生事故的可能性次高,将它们的第1危险度判定为中。第1危险度判定部1042设为在高速道路863、道路862以及道路864以外的道路862中本车辆发生事故的可能性低,将其第1危险度判定为小。
另外,在图53中示出根据本车辆的当前位置取得的双休日的下午的时间段的本地动态图86t2的一例。在本地动态图86t2中,作为动态变化的交通事故、拥堵信息,设为包含表示购物中心等的商业设施865拥挤的时间段的图形(graph)和表示在与商业设施865相连的道路862处发生大量的拥堵以及事故这一情况的信息。
在该情况下,第1危险度判定部1042设为标阴影线的道路862中本车辆发生事故的可能性最高,将道路862的第1危险度判定为大。另外,第1危险度判定部1042设为在与道路862相连的标阴影线的道路861中车辆发生事故的可能性次高,将其第1危险度判定为中。第1危险度判定部1042设为在道路861以及道路862以外的高速道路863以及道路864中本车辆发生事故的可能性低,将它们的第1危险度判定为小。
另外,在图54中示出根据本车辆的当前位置取得的活动时的本地动态图86t3的一例。另外,在本地动态图86t3中,作为动态变化的交通事故、拥堵信息,设为包含表示在与发生了音乐会等活动的音乐会会场866相连的道路862处发生大量的拥堵以及事故这一情况的信息。
在该情况下,第1危险度判定部1042设为在标阴影线的道路862中本车辆发生事故的可能性最高,将道路862的第1危险度判定为大。另外,第1危险度判定部1042设为在与道路862相连的标阴影线的道路861中车辆发生事故的可能性次高,将其第1危险度判定为中。第1危险度判定部1042设为在道路861以及道路862以外的高速道路863以及道路864中本车辆发生事故的可能性低,将它们的第1危险度判定为小。
这样,第1危险度判定部1042能够基于本车辆的当前位置和表示因当前的时间、季节或者当前发生活动等而动态变化的交通事故、拥堵信息的地理信息来判定第1危险度。
接着,对第1危险度判定部1042基于在图像中映现的曲面镜的周围环境来判定第1危险度的方法的一例进行说明。在此,设置场所取得部设为根据在图像中映现的曲面镜的周围环境,取得与购物中心的出入口或者停车场等的曲面镜的设置场所的特征有关的信息。
第1危险度判定部1042在根据与曲面镜的设置场所的特征有关的信息推定为本车辆的当前位置为购物中心等的商业设施的停车场的情况下,设为本车辆发生事故的可能性为中等程度,将第1危险度判定为中。这是因为在停车场中停着大量的汽车,停车场内的本车辆的移动的眺望条件差。另一方面,第1危险度判定部1042在根据与曲面镜的设置场所的特征有关的信息而本车辆的当前位置为购物中心等商业设施的出入口或者入库口的情况下,设为本车辆发生事故的可能性高,将第1危险度判定为大。这是因为:在商业设施的出入口,移动中的人多,本车辆与人碰撞的可能性高。另外,是因为在购物中心的入库口,通常具有斜坡,汽车或者摩托车有可能在暂且停止后进行加速或者突然冲出,本车辆与人的碰撞可能性高。
《第2危险度判定部1043》
第2危险度判定部1043基于由第1危险度判定部1042判定的第1危险度和在曲面镜映现的物体的有无,判定作为在本车辆行进时所预测的危险度的第2危险度。
在具有在曲面镜中映现的物体时,在本车辆行进时与物体碰撞的危险性提高,因此,第2危险度判定部1043判定将其考虑在内的第2危险度。更具体而言,第2危险度判定部1043在由第1危险度判定部1042判定的第1危险度小的情况下,在具有在曲面镜映现的物体时,将第2危险度判定为中,若没有在曲面镜中映现的物体,则将第2危险度判定为低。第2危险度判定部1043在由第1危险度判定部1042判定的第1危险度为中的情况下,若具有在曲面镜中映现的物体,则将2危险度判定为中,若没有在曲面镜中映现的物体,则将第2危险度判定为低。另外,第2危险度判定部1043在由第1危险度判定部1042判定的第1危险度为大的情况下,若具有在曲面镜中映现的物体,则将第2危险度判定为高,若没有在曲面镜中映现的物体,则将第2危险度判定为中。
例如在本车辆的位置为购物商场的入库口时,在入库口处,汽车或者摩托车有可能在暂且停止后进行加速或者突然冲出,因此,如上所述那样通过第1危险度判定部1042判定为第1危险度为中。第2危险度判定部1043在具有在曲面镜中映现的车时,设为位于入库口附近的本车辆与车的碰撞可能性高而将第2危险度判定为中。另一方面,第2危险度判定部1043在没有在曲面镜中映现的车时,本车辆与车的碰撞可能性低,因此,将第2危险度判定为低。
另外,例如在本车辆的位置为购物商场的出入口附近的情况下,在出入口附近,人的出入多,事故的发生概率也会增加,因此,如上所述那样通过第1危险度判定部1042判定为第1危险度大。第2危险度判定部1043在具有在曲面镜中映现的人时,设为位于出入口附近的本车辆与人的碰撞可能性高,将第2危险度判定为高。另一方面,第2危险度判定部1043在没有在曲面镜中映现的人时,本车辆与人的碰撞可能性低,因此,将第2危险度判定为中。
此外,第2危险度判定部1043也可以仅基于由第1危险度判定部1042判定的第1危险度来判定第2危险度。在该情况下,若由第1危险度判定部1042判定的第1危险度为大,则第2危险度判定部1043将第2危险度判定为高即可。同样,若由第1危险度判定部1042判定的第1危险度为中或者小,则第2危险度判定部1043将第2危险度判定为中或者低即可。
这样,判定部104作为通过对本车辆的前方按时间序列连续拍摄而得到的图像中所映现的曲面镜的设置场所的特征,对第2危险度进行判定。
此外,例如在本车辆的位置为汽车专用道路或者高速路的出入口附近的场所的情况下,在出入口附近,从车辆专用道路等出来的车有可能不减速,事故的发生概率也会增加,因此,第1危险度判定部1042也可以将第1危险度判定为大。并且,第2危险度判定部1043在具有在曲面镜中映现的车时,作为本车辆与人的碰撞可能性高,将第2危险度判定为高即可。另一方面,第2危险度判定部1043在没有在曲面镜中映现的车时,本车辆与人的碰撞可能性低,因此,也可以将第2危险度判定为中。
此外,在上述中,对在第2危险度的判定中使用在曲面镜中映现的物体的有无的例子进行了说明,但也可以在第2危险度的判定中使用在曲面镜中映现的物体的种类、数量、多寡或者密集度等。
<输出处理部102B>
输出处理部102B基于由判定部104判定的特征来生成驾驶支援信息,输出所生成的驾驶支援信息。在此,驾驶支援信息既可以包括车辆的举动的控制指令信息,也可以包括向车辆的乘员提示的提示信息。提示信息也可以包括对根据曲面镜的设置场所的特征预测的危险性进行提示的信息。
图55是表示实施方式3的输出处理部102B的功能构成的一例的图。
在本实施方式中,如图55所示,输出处理部102B具备信息生成部1032B和信息输出部1033B。
《信息生成部1032B》
信息生成部1032B基于由判定部104判定的特征生成驾驶支援信息。信息生成部1032B也可以生成与所判定的道路的状况或者物体的通过的状况相应的驾驶支援信息。例如,信息生成部1032B在所判定的道路的状况或者物体的通过的状况是会妨碍车辆的安全行驶的状况的情况下,生成用于使车辆减速、停止或者绕行的驾驶支援信息。另外,例如信息生成部1032B根据由判定部104判定的在曲面镜映现有物体这一情况、或者在所述曲面镜中映现的物体的多寡,生成用于使车辆减速、停止或者绕行的驾驶支援信息。
此外,信息生成部1032B也可以根据由特征预测的危险性来生成驾驶支援信息。
另外,与实施方式2同样,输出处理部102B也可以进一步在判定到上述的死角图像的情况下,生成驾驶支援信息。例如,输出处理部102B也可以在由死角判定部103判定到死角图像时,作为驾驶支援信息,生成用于使车辆暂时停止一定期间的信息。
《信息输出部1033B》
信息输出部1033B输出由信息生成部1032B生成的驾驶支援信息。
以下,使用附图对这样构成的输出处理部102B进行的输出处理的一例进行说明。图56以及图57是表示实施方式3的输出处理部102B进行的输出处理的一例的说明图。在图56中示出在曲线转弯道路处实施方式3的输出处理部102B输出的本车辆的车辆控制信息的一例,在图57中示出在T字交叉路口处实施方式3的输出处理部102B输出的本车辆的车辆控制信息的一例。此外,在图56以及图57中,在第2危险度及其车辆控制信息的基础上,还按照基于曲面镜设置场所的第1危险度以及在曲面镜中映现的物体的有无来进行了图示。
因此,输出处理部102B在本车辆位于曲线转弯道路的情况下,基于由第2危险度判定部1043判定的第2危险度,生成并输出用于如图56所示那样控制车辆的车辆控制信息即可。另一方面,输出处理部102B在本车辆位于T字交叉路口的情况下,基于由第2危险度判定部1043判定的第2危险度,生成并输出用于如图57所示那样控制车辆的车辆控制信息即可。
此外,第2危险度与车辆控制信息之间的关系与用图16以及图17说明过的危险度与车辆控制信息之间的关系是同样的,因此,省略在此的详细说明。
[***1B的动作]
接着,对如上所述构成的***1B的信息处理方法进行说明。图58是表示实施方式3的***1B的信息处理方法的概要的流程图。图59是表示实施方式3的***1B的信息处理方法的详细情况的流程图。此外,对与图19等同样的要素标记相同的标号,省略详细说明。
如图58所示,首先,***1B取得地图信息或者表示表示通过搭载于车辆的拍摄装置的拍摄得到的图像的图像信息(S30)。接着,***1B基于在S30中取得的地图信息或者图像信息,检测车辆周边的曲面镜(S31)。接着,***1B基于地图信息或者图像信息对曲面镜的设置场所的特征进行判定(S32)。接着,***1B基于在S32中判定的特征,生成驾驶支援信息(S33)。并且,***1B输出在S33中生成的驾驶支援信息(S34)。
更详细而言,如图59所示,首先,***1B进行用图58说明过的S30的处理。更具体而言,***1B在S30的处理中,进行取得地图信息或者表示通过搭载于车辆的拍摄装置的拍摄得到的图像的图像信息的取得处理(S301)。
接着,***1B进行用图58说明过的S31的处理。更具体而言,***1B在S31的处理中,进行基于在S301中取得的地图信息或者图像信息检测车辆周边的曲面镜的检测处理(S302)。另外,***1B进行基于在S302中取得的图像信息识别在曲面镜中映现的物体的识别处理(S303)。
接着,***1B进行用图58说明过的S32的处理。更具体而言,***1B在S32的处理中,进行基于地图信息或者图像信息判定曲面镜的设置场所的特征的特征判定处理(S304)。接着,***1B进行如下的第1危险度判定处理(S305):基于与曲面镜的设置场所的特征有关的信息,判定表示本车辆发生事故的可能性的高低的第1危险度。接着,***1B进行如下的第2危险度判定处理(S306):基于在S305判定的第1危险度和在曲面镜映现的物体的有无,判定作为在本车辆行进时预测的危险度的第2危险度。此外,关于在S304~S306进行的处理的详细情况是如上所述那样,因此,省略在此的详细说明。
另外,在S33的处理中,***1B进行根据在S306判定的第2危险度生成驾驶支援信息的信息生成处理(S307)。此外,关于在S307进行的处理的详细情况是如上所述那样,因此,省略在此的说明。
并且,***1B进行用图57说明过的S34的处理。更具体而言,在S34中,***1B进行输出在S307生成的驾驶支援信息等的信息输出处理(S308)。
[实施方式3的效果等]
如以上所述,根据实施方式3的信息处理装置10B或者***1B,不仅是交叉路口,即使在停车场或者商业设施的出入口等眺望条件差的场所,也能够通过利用曲面镜来判定车辆行进时的危险度(即第2危险度)。并且,能够基于所判定的第2危险度生成并输出车辆的驾驶支援信息,因此,能够对搭载了信息处理装置10B的车辆的安全驾驶进行支援。
具体而言,在曲面镜的设置场所的特征即曲面镜的设置场所是交叉路口或者停车场、商业设施的出入口、车辆专用道路的出口附近等眺望条件差的容易发生事故的场所的情况下,在本车辆也有可能发生事故。也即是,在使位于该场所附近的车辆行进的情况下,本车辆存在会发生事故的危险性。进一步,在曲面镜的设置场所是眺望条件差的容易发生事故的场所的情况下,当在曲面镜中映现有物体时,本车辆发生事故的危险性会进一步变高。
于是,在本实施方式中,根据能从暂时停止中或者行进期间的车辆得到的图像中映现的曲面镜的设置场所的特征和在曲面镜中映现的物体的有无,判定作为在车辆进行时预测的危险度的第2危险度。
这样,实施方式3的信息处理装置10B能够通过利用曲面镜来判定作为车辆行进时的危险度的第2危险度。
此外,如上所述,也可以进根据能够从暂时停止中或者行进期间的车辆得到的图像中所映现的曲面镜的设置场所的特征,判定作为车辆进行时所预测的危险度的第2危险度。
另外,在例如自动驾驶中的车辆具备信息处理装置10B的情况下,该车辆能够如上所述那样利用曲面镜来判定第2危险度,因此,能够根据所判定的第2危险度来进行车辆控制。
如以上所述,根据实施方式3的信息处理装置10B或者***1B,在眺望条件差的场所,能够通过利用曲面镜来对车辆的安全驾驶进行支援。
(变形例1)
在实施方式3中,对根据曲面镜的设置场所的特征和在曲面镜中映现的物体的有无来判定作为车辆行进时预测的危险度的第2危险度的情况进行了说明,但不限于此。识别部13B也可以识别在曲面镜中映现的物体的属性,判定部104也可以考虑该属性来判定危险度。在本变形例中,对还考虑与在曲面镜中映现的物体所具有的移动速度有关的属性来判定危险度的情况进行说明。
图60是表示实施方式3的变形例1的第2危险度判定部1043进行的第2危险度判定处理的一例的说明图。此外,对与图56以及图57同样的内容记载了相同的表述,省略详细说明。另外,基于低、中或者高的第2危险度的本车辆的车辆控制信息可以为图56或者图57所示那样,因此,在图60中省略了图示。
如图60所示,在物体是人物的情况下,第2危险度判定部1043判定为与图56以及图57同样的第2危险度即可。另一方面,在物体是移动速度比人物快的自行车、摩托车或者汽车的情况下,第2危险度判定部1043根据移动速度判定为比物体是人物时高的第2危险度即可。
如以上所述,在本变形例中,第2危险度判定部1043判定根据由识别部13B识别到的物体的属性使之变化的第2危险度。其结果,输出处理部102B能够根据由识别部13B识别到的物体的属性来生成驾驶支援信息,输出所生成的驾驶支援信息。
(变形例2)
在变形例1中,对还考虑与在曲面镜中映现的物体所具有的移动速度有关的属性来判定第2危险度的情况进行了说明,但不限于此。在曲面镜中映现的物体是人的情况下,也可以还考虑与该人的年龄有关的属性来判定第2危险度。以下将该情况作为变形例2进行说明。
图61是表示实施方式3的变形例2的第2危险度判定部1043进行的第2危险度判定处理的一例的说明图。此外,对与图56以及图57同样的内容记载了相同的表述,省略详细说明。另外,基于低、中或者高的第2危险度的本车辆的车辆控制信息可以是图56或者图57所示那样,因此,在图61中也省略了图示。
如图61所示,在物体是人物、且该人物是孩子或老人的情况下,第2危险度判定部1043判定为与图56以及图57同样的第2危险度即可。另一方面,在物体是人物、且该人物是孩子或老人以外的其他人的情况下,第2危险度判定部1043判定为比人物是孩子或者老人时高的第2危险度即可。
如以上所述,在本变形例中,第2危险度判定部1043在由识别部13B识别到的物体的属性是人物的情况下,判定根据由识别部13B识别到的该物体的年龄来使之变化的第2危险度。其结果,输出处理部102B能够在由识别部13B识别到的物体的属性是人物的情况下,根据由识别部13B识别到的该物体的年龄来使驾驶支援信息变化而生成该驾驶支援信息,输出所生成的驾驶支援信息。此外,在上述中,对与年龄有关的信息是人物的世代的例子进行了说明,但与年龄有关的信息也可以是人物的年龄或者年代。
(变形例3)
在变形例2中,对在曲面镜中映现的物体是人的情况下、还考虑与该人的年龄有关的属性来判定第2危险度的情况进行了说明,但不限于此。在曲面镜中映现的物体是人的情况下,进一步,第2危险度判定部1043也可以还考虑该人是否正在一边看着智能电话等便携终端一边步行这一属性来判定第2危险度。具体而言,不注意行动是非看前方行动。例如,非看前方行动包括注视智能电话等便携终端或者书本等。以下将该情况作为变形例3来说明。
图62是表示实施方式3的变形例3的第2危险度判定部1043进行的第2危险度判定处理的一例的说明图。此外,对与图56以及图57同样的内容记载了相同的表述,省略详细说明。另外,基于低、中或者高的第2危险度的本车辆的车辆控制信息可以是图56或者图57所示那样,因此,在图62中省略了图示。
如图62所示,在物体是人物、且该人物未在进行看着便携终端而进行移动行动的非看前方行动即该人物没有一边看着便携终端一边步行的情况下,第2危险度判定部1043判定为与图56以及图57时同样的第2危险度即可。另一方面,在物体是人物、且该人物正在进行非看前方行动即该人物正在一边看着便携终端一边步行的情况下,第2危险度判定部1043判定为比该人物未在进行非看前方行动时高的第2危险度即可。此外,在上述中,对不注意行动是非看前方行动的例子进行了说明,但不注意行动也可以是虽然是看着人物的前方但看着偏上方或者偏下方的行动、或者注视着位于人物前方的婴儿车或者球等特定物的行动。
如以上所述,在本变形例中,第2危险度判定部1043在由识别部13B识别到的物体的属性是人物的情况下,判定根据由识别部13B识别到的物体是否正在进行不注意行动来使之变化的第2危险度。其结果,输出处理部102B能够在由识别部13B识别到的物体是属性是人物的情况下,根据由识别部13B识别到的物体是否正在进行不注意行动来使驾驶支援信息变化而生成并输出该驾驶支援信息。
如以上所述,根据本公开的信息处理装置以及信息处理方法等,能够在交叉路口等眺望条件差的场所,通过利用设置于该场所的曲面镜来对车辆的安全驾驶进行支援。另外,在日本以外的国家,也存在曲面镜并未太普及的情况,但从防止交通事故等的观看来看,将来有可能在眺望条件差的场所设置用于防止交通事故的某些设备。在此,若使用本公开的各实施方式涉及的信息处理装置等,则不使所配置的设备为高价的设备(例如雷达等),就能够用廉价的曲面镜提高交通的安全性。
此外,在上述的实施方式等中,曲面镜的形状设为圆状或者矩形状来进行了说明,但不限于此。所设置的曲面镜的形状根据某些理由而变形后的镜表面为凸凹状的情况或者曲面镜的镜面为雾面的情况也包含在本公开的范围中。在该情况下也可以为,在曲面镜中映现的物体的识别中导入可靠度,在可靠度为阈值以下的情况下,设为在曲面镜中映现的物体的信息不可靠,不使用本公开的信息处理方法。
以上,基于实施方式对本公开的信息处理装置以及信息处理方法等进行了说明,但本发明并不限定于该实施方式。只要不脱离本发明的主旨,对本实施方式实施了本领域技术人员能够想到的各种变形而得到的方式、或者组合不同的实施方式中的构成要素而构筑的方式也可以包含在本发明的一个或多个方式的范围内。例如,如以下所述的情况也包含在本发明中。
(1)具体而言,上述的各装置是具备微处理器、ROM、RAM、硬盘单元、显示单元、键盘、鼠标等的计算机***。所述RAM或硬盘单元中存储有计算机程序。通过所述微处理器按照所述计算机程序来动作,各装置实现其功能。在此,计算机程序是为了实现预定功能而组合多组表示针对计算机的指令的命令代码而构成的。
(2)构成上述各装置的构成要素的一部分或全部也可以由1个***LSI(LargeScale Integration:大规模集成电路)构成。***LSI是将多个构成部集成到1个芯片上而制造出的超多功能LSI,具体而言,是包含微处理器、ROM、RAM等而构成的计算机***。在所述RAM中存储有计算机程序。通过所述微处理器按照所述计算机程序进行工作,***LSI实现其功能。
(3)构成上述各装置的构成要素的一部分或全部也可以为具备能够装卸于各装置的IC卡或者单体模块。所述IC卡或者所述模块是由微处理器、ROM、RAM等构成的计算机***。所述IC卡或者所述模块也可以包含上述的超多功能LSI。通过微处理器按照计算机程序进行工作,该IC卡或者该模块实现其功能。该IC卡或者该模块也可以具有抗篡改性。
(4)本公开也可以是上述所示的方法。另外,也可以是将这些方法通过计算机来实现的计算机程序,还可以是通过所述计算机程序形成的数字信号。
(5)另外,本公开也可以将所述计算机程序或者所述数字信号记录于计算机可读取的记录介质例如软盘、硬盘、CD-ROM、MO、DVD、DVD-ROM、DVD-RAM、BD(Blu-ray(注册商标)Disc)、半导体存储器等。另外,也可以是记录在这些记录介质中的所述数字信号。
(6)另外,本公开也可以将所述计算机程序或所述数字信号经由电通信线路、无线或有线通信线路、以因特网为代表的网络、数据广播等进行传输。
(7)另外,本公开也可以是具有微处理器和存储器的计算机***,所述存储器记录有上述计算机程序,所述微处理器按照所述计算机程序进行工作。
(8)另外,也可以通过将所述程序或所述数字信号记录在所述记录介质中进行转移、或经由所述网络等将所述程序或所述数字信号进行转移,由此通过独立的其他的计算机***来实施。
[产业上的可利用性]
本公开能够利用于用于进行自动驾驶的搭载于车辆的车载摄像头、CAN(Controller Area Network,控制器局域网络)等的***、或者用于进行驾驶支援的信息处理装置或***等。
Claims (19)
1.一种信息处理装置,具备:
检测部,其基于表示通过搭载于车辆的拍摄装置的拍摄得到的图像的图像信息,检测在所述图像中映现的曲面镜以及在所述曲面镜中映现的物体;
算出部,其算出所检测到的所述曲面镜中的所述物体的位置;
生成部,其基于所算出的所述曲面镜中的所述物体的位置,生成驾驶支援信息;以及
输出部,其输出所生成的所述驾驶支援信息。
2.根据权利要求1所述的信息处理装置,
所述生成部根据所述物体与由在所述图像中映现的道路确定的所述曲面镜中的区域之间的位置关系,生成所述驾驶支援信息。
3.根据权利要求2所述的信息处理装置,
所述算出部具备:
物***置算出部,其算出所述曲面镜中的所述物体的位置;
路面区域算出部,其算出所述曲面镜内的路面区域;以及
中心轴算出部,其算出所算出的所述路面区域的中心轴,
所述生成部根据由所述物***置算出部算出的所述物体的位置与由所述中心轴算出部算出的所述中心轴之间的位置关系来生成所述驾驶支援信息。
4.根据权利要求3所述的信息处理装置,
所述生成部在所述物体在所述图像中位于比所述中心轴靠上的位置的情况下,生成用于使所述车辆躲避所述物体的所述驾驶支援信息。
5.根据权利要求2所述的信息处理装置,
所述生成部基于由所述算出部算出的所述位置与所述曲面镜的中心线之间的位置关系,生成所述驾驶支援信息。
6.根据权利要求5所述的信息处理装置,
所述生成部,
(i)在所述曲面镜从所述车辆来看朝向左的情况下所述物体在所述图像中位于比所述中心线靠右的位置时,或者,
(ii)在所述曲面镜从所述车辆来看朝向右的情况下所述物体在所述图像中位于比所述中心线靠左的位置时,
生成用于使所述车辆躲避所述物体的所述驾驶支援信息。
7.根据权利要求1所述的信息处理装置,
所述驾驶支援信息根据所述车辆向朝向所述曲面镜的方向行进的状况下的、由所述物体在所述曲面镜中的位置预测的危险性来输出。
8.根据权利要求1~7中任一项所述的信息处理装置,
所述算出部还具备物体尺寸算出部,所述物体尺寸算出部算出以所述曲面镜为基准的所述物体的尺寸,
所述生成部基于所算出的所述物体在所述曲面镜中的位置和所算出的所述物体的尺寸来生成所述驾驶支援信息。
9.根据权利要求8所述的信息处理装置,
所述生成部根据按时间序列连续的至少两个图像各自中所映现的所述物体各自的尺寸的变化信息以及所述物体在所述曲面镜中的位置,生成所述驾驶支援信息。
10.根据权利要求1所述的信息处理装置,
所述驾驶支援信息包括所述车辆的举动的控制指令信息。
11.根据权利要求1所述的信息处理装置,
所述驾驶支援信息包括向所述车辆的乘员提示的提示信息。
12.根据权利要求1所述的信息处理装置,
所述信息处理装置具备识别在所述曲面镜中映现的物体的识别部。
13.根据权利要求12所述的信息处理装置,
所述生成部根据由所述识别部识别到的所述物体的属性来生成所述驾驶支援信息。
14.根据权利要求13所述的信息处理装置,
所述生成部在由所述识别部识别到的所述物体的属性为人物的情况下,根据与由所述识别部识别到的所述物体的年龄有关的信息,使所述驾驶支援信息变化而生成该驾驶支援信息。
15.根据权利要求13所述的信息处理装置,
所述生成部在由所述识别部识别到的所述物体的属性为人物的情况下,根据由所述识别部识别到的所述物体是否正在进行不注意行动,使所述驾驶支援信息变化而生成该驾驶支援信息。
16.根据权利要求12~15中任一项所述的信息处理装置,
所述生成部进一步在按时间序列连续的多个图像中的至少一个图像中由所述识别部识别到的所述物体在比所述至少一个图像在时间序列上靠后的图像中未被所述识别部识别到的情况下,生成所述驾驶支援信息。
17.根据权利要求16所述的信息处理装置,
所述生成部基于在所述一个图像中映现的所述物体的位置、和在所述靠后的图像中所述物体未被所述识别部识别到这一情况,生成所述驾驶支援信息。
18.一种信息处理方法,使用处理器执行:
基于表示通过搭载于车辆的拍摄装置的拍摄得到的图像的图像信息,检测在所述图像中映现的曲面镜以及在所述曲面镜中映现的物体;
算出所检测到的所述曲面镜中的所述物体的位置;
基于所算出的所述曲面镜中的所述物体的位置,生成驾驶支援信息;
输出所生成的所述驾驶支援信息。
19.一种程序,是进行信息处理方法的计算机能够读取的程序,所述程序使得:
基于表示通过搭载于车辆的拍摄装置的拍摄得到的图像的图像信息,检测在所述图像中映现的曲面镜以及在所述曲面镜中映现的物体;
算出所检测到的所述曲面镜中的所述物体的位置;
基于所算出的所述曲面镜中的所述物体的位置,生成驾驶支援信息;
输出所生成的所述驾驶支援信息。
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016-254506 | 2016-12-27 | ||
JP2016254506 | 2016-12-27 | ||
JP2017-152822 | 2017-08-08 | ||
JP2017152822A JP6901937B2 (ja) | 2016-12-27 | 2017-08-08 | 情報処理装置、情報処理方法およびプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108242182A true CN108242182A (zh) | 2018-07-03 |
CN108242182B CN108242182B (zh) | 2021-11-05 |
Family
ID=60888119
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201711390135.3A Active CN108242182B (zh) | 2016-12-27 | 2017-12-21 | 信息处理装置、信息处理方法以及记录介质 |
Country Status (3)
Country | Link |
---|---|
US (1) | US10788840B2 (zh) |
EP (1) | EP3343536B1 (zh) |
CN (1) | CN108242182B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115472027A (zh) * | 2021-06-10 | 2022-12-13 | 欧温星球控股股份有限公司 | 远程辅助***和远程辅助方法 |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10788840B2 (en) * | 2016-12-27 | 2020-09-29 | Panasonic Intellectual Property Corporation Of America | Information processing apparatus, information processing method, and recording medium |
US10304341B1 (en) * | 2018-02-09 | 2019-05-28 | International Business Machines Corporation | Vehicle and bicycle communication to avoid vehicle door crash accidents |
US11163998B2 (en) | 2018-10-22 | 2021-11-02 | Woven Planet North America, Inc. | Systems and methods for automated image labeling for images captured from vehicles |
JP2020095565A (ja) * | 2018-12-14 | 2020-06-18 | トヨタ自動車株式会社 | 情報処理システム、プログラム、及び情報処理方法 |
US11292398B2 (en) * | 2020-04-20 | 2022-04-05 | Hyundai Mobis Co., Ltd. | Apparatus for displaying forward blind spot situation |
KR20230087631A (ko) * | 2021-12-08 | 2023-06-19 | 현대모비스 주식회사 | 사각지대 충돌을 예방하는 방법, 장치, 기록매체 및 차량 |
Citations (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006163637A (ja) * | 2004-12-03 | 2006-06-22 | Fujitsu Ten Ltd | 運転支援装置 |
JP2006199055A (ja) * | 2005-01-18 | 2006-08-03 | Advics:Kk | 車両用走行支援装置 |
FR2898986A1 (fr) * | 2006-03-24 | 2007-09-28 | Inrets | Detection d'obstacle |
CN101081608A (zh) * | 2006-05-31 | 2007-12-05 | 爱信艾达株式会社 | 驾驶支援方法以及驾驶支援装置 |
CN101256713A (zh) * | 2007-03-02 | 2008-09-03 | 富士通株式会社 | 驾驶支援***及车载装置 |
JP2009116527A (ja) * | 2007-11-05 | 2009-05-28 | Mazda Motor Corp | 車両用障害物検出装置 |
JP2009211624A (ja) * | 2008-03-06 | 2009-09-17 | Aisin Aw Co Ltd | 運転支援装置、運転支援方法及びコンピュータプログラム |
US20100076621A1 (en) * | 2007-04-02 | 2010-03-25 | Panasonic Corporation | Safety driving support apparatus |
JP2010191520A (ja) * | 2009-02-16 | 2010-09-02 | Toyota Motor Corp | 車両用周辺監視装置 |
JP2013060057A (ja) * | 2011-09-12 | 2013-04-04 | Toyota Motor Corp | 運転支援装置 |
US20140085476A1 (en) * | 2011-06-02 | 2014-03-27 | Toyota Jidosha Kabushiki Kaisha | Vision support apparatus for vehicle |
CN103733239A (zh) * | 2011-11-01 | 2014-04-16 | 爱信精机株式会社 | 障碍物警报装置 |
CN104015659A (zh) * | 2013-02-28 | 2014-09-03 | 爱信精机株式会社 | 停车支援装置、停车支援方法 |
CN104115199A (zh) * | 2012-02-10 | 2014-10-22 | 三菱电机株式会社 | 驾驶支援装置以及驾驶支援方法 |
CN104508722A (zh) * | 2012-07-27 | 2015-04-08 | 歌乐株式会社 | 车载用周围环境识别装置 |
CN105144261A (zh) * | 2013-04-12 | 2015-12-09 | 丰田自动车株式会社 | 行驶环境评价***、行驶环境评价方法、驾驶支援装置以及行驶环境的显示装置 |
CN105378814A (zh) * | 2013-07-19 | 2016-03-02 | 本田技研工业株式会社 | 车辆安全行驶装置、车辆安全行驶方法以及车辆安全行驶程序 |
CN105787431A (zh) * | 2015-01-13 | 2016-07-20 | 现代摩比斯株式会社 | 用于车辆安全驾驶的装置 |
CN106156696A (zh) * | 2015-03-30 | 2016-11-23 | 联想(北京)有限公司 | 一种信息处理方法及电子设备 |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6477464B2 (en) * | 2000-03-09 | 2002-11-05 | Donnelly Corporation | Complete mirror-based global-positioning system (GPS) navigation solution |
US6727807B2 (en) * | 2001-12-14 | 2004-04-27 | Koninklijke Philips Electronics N.V. | Driver's aid using image processing |
JP2007193577A (ja) | 2006-01-19 | 2007-08-02 | Tokai Rika Co Ltd | ドライブレコーダ活用装置 |
US8482486B2 (en) * | 2009-04-02 | 2013-07-09 | GM Global Technology Operations LLC | Rear view mirror on full-windshield head-up display |
US10614726B2 (en) * | 2014-12-08 | 2020-04-07 | Life Long Driver, Llc | Behaviorally-based crash avoidance system |
JP6338626B2 (ja) * | 2016-08-25 | 2018-06-06 | 株式会社Subaru | 車両の表示装置 |
US10788840B2 (en) * | 2016-12-27 | 2020-09-29 | Panasonic Intellectual Property Corporation Of America | Information processing apparatus, information processing method, and recording medium |
US10209718B2 (en) * | 2017-03-14 | 2019-02-19 | Starsky Robotics, Inc. | Vehicle sensor system and method of use |
CN110826721A (zh) * | 2018-08-09 | 2020-02-21 | 松下电器(美国)知识产权公司 | 信息处理方法及信息处理*** |
-
2017
- 2017-12-06 US US15/832,823 patent/US10788840B2/en active Active
- 2017-12-12 EP EP17206655.7A patent/EP3343536B1/en active Active
- 2017-12-21 CN CN201711390135.3A patent/CN108242182B/zh active Active
Patent Citations (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006163637A (ja) * | 2004-12-03 | 2006-06-22 | Fujitsu Ten Ltd | 運転支援装置 |
JP2006199055A (ja) * | 2005-01-18 | 2006-08-03 | Advics:Kk | 車両用走行支援装置 |
FR2898986A1 (fr) * | 2006-03-24 | 2007-09-28 | Inrets | Detection d'obstacle |
CN101081608A (zh) * | 2006-05-31 | 2007-12-05 | 爱信艾达株式会社 | 驾驶支援方法以及驾驶支援装置 |
CN101256713A (zh) * | 2007-03-02 | 2008-09-03 | 富士通株式会社 | 驾驶支援***及车载装置 |
US20100076621A1 (en) * | 2007-04-02 | 2010-03-25 | Panasonic Corporation | Safety driving support apparatus |
JP2009116527A (ja) * | 2007-11-05 | 2009-05-28 | Mazda Motor Corp | 車両用障害物検出装置 |
JP2009211624A (ja) * | 2008-03-06 | 2009-09-17 | Aisin Aw Co Ltd | 運転支援装置、運転支援方法及びコンピュータプログラム |
JP2010191520A (ja) * | 2009-02-16 | 2010-09-02 | Toyota Motor Corp | 車両用周辺監視装置 |
US20140085476A1 (en) * | 2011-06-02 | 2014-03-27 | Toyota Jidosha Kabushiki Kaisha | Vision support apparatus for vehicle |
JP2013060057A (ja) * | 2011-09-12 | 2013-04-04 | Toyota Motor Corp | 運転支援装置 |
CN103733239A (zh) * | 2011-11-01 | 2014-04-16 | 爱信精机株式会社 | 障碍物警报装置 |
CN104115199A (zh) * | 2012-02-10 | 2014-10-22 | 三菱电机株式会社 | 驾驶支援装置以及驾驶支援方法 |
CN104508722A (zh) * | 2012-07-27 | 2015-04-08 | 歌乐株式会社 | 车载用周围环境识别装置 |
CN104015659A (zh) * | 2013-02-28 | 2014-09-03 | 爱信精机株式会社 | 停车支援装置、停车支援方法 |
CN105144261A (zh) * | 2013-04-12 | 2015-12-09 | 丰田自动车株式会社 | 行驶环境评价***、行驶环境评价方法、驾驶支援装置以及行驶环境的显示装置 |
CN105378814A (zh) * | 2013-07-19 | 2016-03-02 | 本田技研工业株式会社 | 车辆安全行驶装置、车辆安全行驶方法以及车辆安全行驶程序 |
CN105787431A (zh) * | 2015-01-13 | 2016-07-20 | 现代摩比斯株式会社 | 用于车辆安全驾驶的装置 |
CN106156696A (zh) * | 2015-03-30 | 2016-11-23 | 联想(北京)有限公司 | 一种信息处理方法及电子设备 |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115472027A (zh) * | 2021-06-10 | 2022-12-13 | 欧温星球控股股份有限公司 | 远程辅助***和远程辅助方法 |
Also Published As
Publication number | Publication date |
---|---|
EP3343536A1 (en) | 2018-07-04 |
CN108242182B (zh) | 2021-11-05 |
US20180181139A1 (en) | 2018-06-28 |
US10788840B2 (en) | 2020-09-29 |
EP3343536B1 (en) | 2021-02-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108241851A (zh) | 信息处理装置、信息处理方法以及程序 | |
CN108248602A (zh) | 信息处理装置、信息处理方法以及程序 | |
CN108242182A (zh) | 信息处理装置、信息处理方法以及程序 | |
Possatti et al. | Traffic light recognition using deep learning and prior maps for autonomous cars | |
US11192544B2 (en) | Vehicle management system and commercial facility management system | |
CN110210280B (zh) | 一种超视距感知方法、***、终端和存储介质 | |
CN109641589B (zh) | 用于自主车辆的路线规划 | |
US8620032B2 (en) | System and method for traffic signal detection | |
JP4656408B2 (ja) | 車両用周囲監視装置 | |
CN107449440A (zh) | 行车提示信息的显示方法及显示装置 | |
CN114008408A (zh) | 生成表面地图以改进导航 | |
TW201927610A (zh) | 安全確認評價裝置、車載裝置、具備這些裝置之安全確認評價系統、安全確認評價方法以及安全確認評價程式 | |
KR101809088B1 (ko) | 전방 차량 추돌 알림 장치 및 방법 | |
JP7051326B2 (ja) | 情報処理装置、情報処理方法およびプログラム | |
CN114694108A (zh) | 一种图像处理方法、装置、设备及存储介质 | |
JP6901937B2 (ja) | 情報処理装置、情報処理方法およびプログラム | |
JP6953228B2 (ja) | 情報処理装置、情報処理方法およびプログラム | |
CN112537301B (zh) | 智能驾驶交通载具的行车参照物选择方法、装置 | |
CN114207685B (zh) | 自主车辆交互*** | |
CN110287803B (zh) | 一种轨迹路标的识别方法及*** | |
JP2020190506A (ja) | 走行支援装置及びコンピュータプログラム | |
Yasin | Development of Automatic Number Plate Recognition Software and Journey Time Measurement | |
Amri | Development of automatic number plate recognition software and journey time measurement/Amri Mohd Yasin |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |