CN113903103B - 局部图像生成装置、局部图像生成方法以及存储介质 - Google Patents

局部图像生成装置、局部图像生成方法以及存储介质 Download PDF

Info

Publication number
CN113903103B
CN113903103B CN202110658155.4A CN202110658155A CN113903103B CN 113903103 B CN113903103 B CN 113903103B CN 202110658155 A CN202110658155 A CN 202110658155A CN 113903103 B CN113903103 B CN 113903103B
Authority
CN
China
Prior art keywords
image
road
vehicle
image generation
local
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110658155.4A
Other languages
English (en)
Other versions
CN113903103A (zh
Inventor
田中雅浩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Publication of CN113903103A publication Critical patent/CN113903103A/zh
Application granted granted Critical
Publication of CN113903103B publication Critical patent/CN113903103B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C5/00—Registering or indicating the working of vehicles
    • G07C5/08—Registering or indicating performance data other than driving, working, idle, or waiting time, with or without registering driving, working, idle or waiting time
    • G07C5/0841—Registering performance data
    • G07C5/085—Registering performance data using electronic data carriers
    • G07C5/0866—Registering performance data using electronic data carriers the electronic data carrier being a digital video recorder in combination with video camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/28—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with an adjustable field of view
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C5/00—Registering or indicating the working of vehicles
    • G07C5/008—Registering or indicating the working of vehicles communicating information to a remotely located station
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C5/00—Registering or indicating the working of vehicles
    • G07C5/08—Registering or indicating performance data other than driving, working, idle, or waiting time, with or without registering driving, working, idle or waiting time
    • G07C5/0841—Registering performance data
    • G07C5/085—Registering performance data using electronic data carriers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/06—Protocols specially adapted for file transfer, e.g. file transfer protocol [FTP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/20—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
    • B60R2300/205—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used using a head-up display
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/302—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing combining image information with GPS information or vehicle data, e.g. vehicle speed, gyro, steering angle data
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/306—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using a re-scaling of images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0968—Systems involving transmission of navigation instructions to the vehicle
    • G08G1/096855—Systems involving transmission of navigation instructions to the vehicle where the output is provided in a suitable form to the driver
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0968—Systems involving transmission of navigation instructions to the vehicle
    • G08G1/0969—Systems involving transmission of navigation instructions to the vehicle having a display in the form of a map
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Mechanical Engineering (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Navigation (AREA)
  • Traffic Control Systems (AREA)

Abstract

提供局部图像生成装置、局部图像生成方法及存储介质，将多个局部图像分别变换为俯视图像，生成易于进行将这多个俯视图像接在一起而生成呈现道路的图像的处理的局部图像。局部图像生成装置具有：局部图像生成部(31)，从使用设置于车辆(10)的摄像部(11)拍摄车辆周围的环境而得到的图像(40)生成局部图像；及判定部(32)，判定图像所呈现的道路是否为直线。局部图像生成部(31)在判定为图像所呈现的道路为直线的情况下，截取根据道路的消失点F而推测为呈现有道路的图像内的第1区域，生成为局部图像，在判定为图像所呈现的道路不为直线的情况下，截取根据车辆的种类决定的图像内的第2区域，生成为局部图像。

Description

局部图像生成装置、局部图像生成方法以及存储介质
技术领域
本发明涉及局部图像生成装置以及存储局部图像生成用计算机程序的存储介质。
背景技术
需要在车辆的自动驾驶***为对车辆进行自动控制而参照的高精度的道路的地图上准确地呈现与道路有关的信息。期望在地图上尽量多地登记出车辆能够行驶的道路以及道路周边的道路特征物。
另外，车道划分线、标识或者构造物等道路特征物有时被变更或者位置发生移动。因而，对地图而言，优选这些道路特征物的信息始终处于新的状态。
因而，提出了服务器从多个车辆适当地收集与道路有关的信息，并进行向地图的登记以及地图的更新。例如，车辆利用设置于车辆的摄像机对车辆的前方依次进行拍摄，关于拍摄到的图像分别截取被推测为呈现有道路的区域的局部图像，并发送到服务器。服务器生成接收到的多个局部图像各自的俯视图像，将多个俯视图像接在一起而生成呈现有道路的图像(例如，参照专利文献1)。服务器根据该图像检测道路特征物，将新的道路特征物与道路关联起来登记到地图上。另外，服务器根据该图像，关于发生变更的道路特征物进行地图的更新。
现有技术文献
专利文献
专利文献1：日本特开2015-204017号公报
发明内容
关于由车辆的摄像机拍摄到的图像，针对每种车辆，摄像机的安装位置以及光轴等有时不同。因此，针对每个局部图像，有时从车辆接收到的局部图像所呈现的道路的位置不同。因此，在服务器使用从多个车辆接收到的多个局部图像来生成道路的俯视图像的情况下，有时难以将多个俯视图像接在一起而生成呈现出道路的图像。
因而，本发明的目的在于提供一种局部图像生成装置，该局部图像生成装置将多个局部图像分别变换为俯视图像，生成易于进行将这些多个俯视图像接在一起而生成呈现出道路的图像的处理的局部图像。
根据一个实施方式，提供一种局部图像生成装置。该局部图像生成装置的特征在于，具有：局部图像生成部，从使用设置于车辆的摄像部对车辆的周围的环境进行拍摄而得到的图像生成局部图像；以及判定部，判定图像所呈现的道路是否为直线，在判定为图像所呈现的道路为直线的情况下，局部图像生成部截取根据道路的消失点而被推测为呈现有道路的图像内的第1区域而生成为局部图像，在判定为图像所呈现的道路不为直线的情况下，截取根据车辆的种类决定的图像内的第2区域而生成为局部图像。
在该局部图像生成装置中，优选第2区域中的车辆的宽度方向的尺寸比第1区域中的车辆的宽度方向的尺寸大。
另外，在该局部图像生成装置中，优选具有存储地图信息的存储部，判定部根据拍摄图像时的车辆的位置和存储于存储部的地图信息，判定图像所呈现的道路是否为直线。
另外，在该局部图像生成装置中，优选判定部根据图像所呈现的道路的形状判定图像所呈现的道路是否为直线。
另外，在该局部图像生成装置中，优选还具有第1校正部，在判定为图像所呈现的道路不为直线的情况下，该第1校正部判定图像所呈现的道路是右转弯的道路还是左转弯的道路，并根据判定结果校正图像内的第2区域的位置。
另外，在该局部图像生成装置中，优选还具有第2校正部，该第2校正部当判定为在拍摄图像时车辆在路面的起伏大的道路上行驶的情况下，使第1区域或者第2区域的车辆的高度方向的尺寸比未判定为车辆在路面的起伏大的道路上行驶的情况扩大。
另外，在该局部图像生成装置中，优选第2校正部根据车辆的俯仰角的变化判定车辆是否在路面的起伏大的道路上行驶。
另外，在该局部图像生成装置中，优选还具有第3校正部，该第3校正部根据拍摄图像时的车辆的车辆速度来变更第1区域或者第2区域的尺寸。
另外，在该局部图像生成装置中，优选在车辆的车辆速度为高速的情况下，第3校正部使第1区域或者第2区域的尺寸比车辆的车辆速度为低速时扩大。
另外，根据其它实施方式，提供一种非临时性存储介质，存储计算机能够读取的局部图像生成用计算机程序。该局部图像生成用计算机程序使处理器执行：从使用设置于车辆的摄像部对车辆的周围的环境进行拍摄而得到的图像生成局部图像，并判定图像所呈现的道路是否为直线。该局部图像生成用计算机程序使处理器执行：在判定为图像所呈现的道路为直线的情况下，截取根据道路的消失点而被推测为呈现有道路的图像内的第1区域，生成为局部图像，在被判定为图像所呈现的道路不为直线的情况下，截取基于车辆的种类决定的图像内的第2区域，生成为局部图像。
另外，根据又一其它实施方式，提供一种局部图像生成方法，由局部图像生成装置执行，该局部图像生成装置从使用设置于车辆的摄像部对车辆的周围的环境进行拍摄而得到的图像生成局部图像，并判定图像所呈现的道路是否为直线。在局部图像生成方法中，局部图像生成装置在判定为图像所呈现的道路为直线的情况下，截取根据道路的消失点而推测为呈现有道路的图像内的第1区域，生成为局部图像，在判定为图像所呈现的道路不为直线的情况下，截取根据车辆的种类决定的图像内的第2区域，生成为局部图像。
本发明的局部图像生成装置起到如下效果：将多个局部图像分别变换为俯视图像，能够生成易于进行将这些多个俯视图像接在一起而生成呈现出道路的图像的处理的局部图像。
附图说明
图1是说明局部图像生成装置的动作的概要的图。
图2是安装局部图像生成装置的车辆的概略结构图。
图3是说明示出抬头显示器的型号与截取区域之间的关系的表的图。
图4是局部图像生成装置的动作流程图。
图5是说明局部图像生成部的处理的图(其一)。
图6是说明局部图像生成部的处理的图(其二)。
图7是消失点检测部的动作流程图。
图8是说明消失点检测部的处理的图。
图9是说明校正部的处理的图(其一)。
图10是说明校正部的处理的图(其二)。
图11是说明校正部的处理的图(其三)。
符号说明
10：车辆；101：前车窗；11：摄像机；12：无线通信终端；13：车速传感器；14：俯仰角传感器；15：抬头显示器；16：定位信息接收机；17：地图信息存储装置；18：局部图像生成装置；19：车内网络；21：通信接口；22：存储器；23：处理器；24：信号线；31：局部图像生成部；32：判定部；33：消失点检测部；34：校正部；40：摄像机图像；41～49：区域。
具体实施方式
图1是说明局部图像生成装置的动作的概要的图。以下，参照图1，说明本说明书所公开的局部图像生成装置的动作的概要。
在本实施方式中，在车辆10在道路R上行驶的过程中，搭载于车辆10的局部图像生成装置18的局部图像生成部31使用作为设置于车辆10的摄像部的一个例子的摄像机11，拍摄呈现有车辆10周边的环境的摄像机图像40。
局部图像生成装置18的判定部32根据地图信息或者摄像机图像40判定摄像机图像40所呈现的道路是否为直线(笔直)。
在判定为摄像机图像40所呈现的道路为直线的情况下，如图1的(A)所示，局部图像生成部31从摄像机图像40截取出截取区域41而生成为局部图像，该截取区域41是基于道路的消失点F而决定的、被推测为呈现有道路的区域。
另一方面，在判定为摄像机图像40所呈现的道路不为直线的情况下，一般难以推测道路的消失点F。因而，如图1的(B)所示，局部图像生成部31从摄像机图像40截取基于车辆10的种类决定的摄像机图像40内的截取区域42，生成为局部图像。另外，作为车辆的种类，例如可举出轿车、两厢车、运动型多用途车(SUV)等。摄像机在车辆安装的高度以及引擎盖的长度等根据车辆的种类而不同，所以摄像机的光轴的朝向也不同。因此，根据车辆的种类，在摄像机图像40内被推测为呈现有道路的区域也不同。因而，局部图像生成部31根据车辆的种类决定摄像机图像40内的截取区域42。
局部图像生成部31将局部图像连同拍摄到局部图像的车辆10的位置一起发送到服务器(未图示)。在图1的(C)所示的例子中，服务器从车辆10接收呈现有道路R的两个局部图像C1、C2。另外，服务器从其它车辆(未图示)接收呈现有相同的道路R的局部图像C3。局部图像C1、C2和局部图像C3是从不同的车辆接收到的图像，但在3个局部图像C1、C2、C3各自中道路R呈现于相同的位置。
如图1的(D)所示，服务器生成呈现有相同的道路R的3个局部图像C1、C2、C3各自的俯视图像D1、D2、D3。然后，如图1的(E)所示，服务器将3个俯视图像D1、D2、D3接在一起，生成呈现有道路R的一个道路图像。由于在局部图像C1、C2、C3各自中，在相同的位置处呈现出道路，所以服务器能够容易地将从拍摄相同的道路R得到的3个局部图像生成的3个俯视图像D1、D2、D3接在一起，生成呈现有道路R的道路图像。
另一方面，关于由车辆的摄像机拍摄到的图像，当摄像机的安装位置以及光轴等按照车辆而不同时，关于相同的道路，从多个车辆接收到的局部图像所呈现的道路的位置将按照图像而不同。因此，在从多个局部图像分别生成的俯视图像中，道路的位置也按照俯视图像而不同。因此，在现有技术中，服务器将多个俯视图像接在一起而生成呈现有道路的图像的处理的负荷有时增大。
图2是安装局部图像生成装置18的车辆10的概略结构图。车辆10具有摄像机11、无线通信终端12、车速传感器13、俯仰角传感器14、抬头显示器15、定位信息接收机16、地图信息存储装置17、局部图像生成装置18、前车窗101等。
摄像机11、无线通信终端12、车速传感器13、俯仰角传感器14、抬头显示器15、定位信息接收机16、地图信息存储装置17以及局部图像生成装置18经由诸如遵循控制器局域网络的标准的车内网络19连接为能够通信。
摄像机11是设置于车辆10的摄像部的一个例子。摄像机11以朝着车辆10的前方的方式例如安装于车辆10的车室内。摄像机11由局部图像生成装置18控制，例如以预定的周期拍摄呈现有车辆10前方的预定区域的环境的摄像机图像40。在摄像机图像40中，能够呈现出车辆10前方的预定区域内所包含的道路及其路面上的车道划分线等道路特征物。摄像机11例如以使其光轴与车辆10前方的地面交叉的位置与车辆10的距离为8.5m～16.5m的方式安装于车辆10。由摄像机11生成的图像既可以是彩色图像，或者也可以是灰度图像。摄像机11具有由CCD或者C-MOS等对于可见光具有灵敏度的光电变换元件的阵列构成的二维检测器和在该二维检测器上成像作为拍摄对象的区域的像的摄像光学***。
无线通信终端12是通信部的一个例子，是执行遵循预定的无线通信标准的无线通信处理的设备，例如，经由未图示的基站以及通信网络而与服务器(未图示)连接。
车速传感器13检测车辆10的车辆速度。车速传感器13例如具有测量车辆10的轮胎的转速的测量部，根据轮胎的转速和轮胎的外周长来检测车辆速度。车速传感器13经由车内网络19将车辆速度输出到局部图像生成装置18。此外，车速传感器13也可以将轮胎的转速输出到局部图像生成装置18，并在局部图像生成装置18中根据轮胎的转速和轮胎的外周长求出车辆速度。
俯仰角传感器14检测车辆10的俯仰角。俯仰角传感器14例如使用加速度传感器形成。俯仰角传感器14检测绕车辆坐标系的xv轴的俯仰角，该车辆坐标系以车辆10的左右后轮之间的中点且地面上的点为原点，以车辆10的行进方向为zv轴，以与zv轴正交且与地面平行的方向为xv轴，以铅垂方向为yv轴。当车辆10在路面的起伏大的道路或者倾斜的道路上行驶时，车辆10以绕xv轴旋转的方式运动，所以俯仰角发生变化。
抬头显示器15由未图示的车辆控制装置等控制，将与车辆10的行驶相伴的各种信息投影到前车窗101。抬头显示器15根据所搭载的车辆的种类不同而投影角度以及安装构造等不同，所以针对车辆的每个种类而具有不同的型号。例如，抬头显示器15将由未图示的导航装置生成的车辆10的当前地点至目的地的行驶路线投影到前车窗101。
定位信息接收机16输出表示车辆10的当前地点的定位信息。例如，定位信息接收机16能够采用GNSS接收机。定位信息接收机16每当以预定的接收周期获取到定位信息时，将定位信息以及获取到定位信息的定位信息获取时刻输出到摄像机11以及局部图像生成装置18。
地图信息存储装置17存储包括道路的地图。在地图中，一条道路被分割为多个道路区间而登记。在地图中，各道路区间的曲率半径与道路区间关联起来登记。
局部图像生成装置18执行从摄像机图像40生成局部图像的局部图像生成处理。另外，局部图像生成装置18执行判定摄像机图像40所呈现的道路是否为直线的判定处理。另外，局部图像生成装置18执行检测摄像机图像40内的道路的消失点F的消失点检测处理。进而，局部图像生成装置18执行校正摄像机图像40内的截取区域的位置或者尺寸的校正处理。因此，局部图像生成装置18具有通信接口21、存储器22以及处理器23。通信接口21、存储器22以及处理器23经由信号线24连接。
通信接口(IF)21是车内通信部的一个例子，具有用于将局部图像生成装置18与车内网络19连接的接口电路。即，通信IF21经由车内网络19而与摄像机11、无线通信终端12、车速传感器13、俯仰角传感器14、抬头显示器15、定位信息接收机16以及地图信息存储装置17等连接。例如，通信接口21当从处理器23输入局部图像以及拍摄局部图像时的车辆10的位置时，将所输入的局部图像以及拍摄局部图像时的车辆10的位置输出到无线通信终端12。
存储器22是存储部的一个例子，例如具有易失性的半导体存储器以及非易失性的半导体存储器。而且，存储器22存储在由局部图像生成装置18的处理器23执行的信息处理中使用的应用的计算机程序以及各种数据。另外，存储器22存储诸如摄像机11的光轴方向以及安装位置等设置位置信息、成像光学***的焦点距离以及视场角的内部参数等。另外，存储器22存储抬头显示器15的型号和表示该型号与从摄像机图像40内截取局部图像的截取区域的关系的表60。
图3是说明示出抬头显示器的型号与截取区域的关系的表60的图。表60具有表示抬头显示器的型号的型号栏601、表示摄像机图像40内的截取区域的基准位置的基准位置栏602、表示截取区域的横向尺寸的横向长度栏603以及表示截取区域的纵向尺寸的纵向长度栏604。在型号栏601中，登记表示搭载于轿车的抬头显示器的型号的T1、表示搭载于两厢车的抬头显示器的型号的T2以及表示搭载于运动型多用途车的抬头显示器的型号的T3。基准位置能够利用图像坐标系表示，该图像坐标系以摄像机图像40的左上角的位置为原点，具有向右方延伸的xi轴和向下方延伸的yi轴。与登记于表60的截取区域有关的信息能够根据车辆的每个种类的摄像机的安装位置以及光轴、引擎盖的高度等来决定。
处理器23具有一个或者多个CPU(Central Processing Unit，中央处理单元)及其周边电路。处理器23也可以还具有诸如逻辑运算单元、数值运算单元或者图形处理单元的其它运算电路。在处理器23具有多个CPU的情况下，也可以针对每个CPU而具有存储器。处理器23执行局部图像生成处理、判定处理、消失点检测处理以及校正处理。
处理器23具有执行局部图像生成处理的局部图像生成部31、执行判定处理的判定部32、执行消失点检测处理的消失点检测部33以及执行校正处理的校正部34。处理器23所具有的这些各部分例如是通过在处理器23上动作的计算机程序实现的功能模块。或者，处理器23所具有的这些各部分也可以是设置于处理器23的专用的运算电路。
图4是局部图像生成装置18的动作流程图。在车辆10的行驶过程中，局部图像生成装置18依照图4所示的动作流程图重复执行局部图像生成处理。
设置于车辆10的摄像机11由局部图像生成装置18的处理器23的局部图像生成部31控制，拍摄呈现有车辆10前方的环境的摄像机图像40进行(步骤S101)。摄像机11经由车内网络19将摄像机图像40和拍摄到摄像机图像40时的摄像机图像拍摄时刻输出到局部图像生成装置18。另外，摄像机11经由车内网络19将摄像机图像拍摄时刻输出到地图信息存储装置17。地图信息存储装置17每当从摄像机11接收到摄像机图像拍摄时刻时，推测由摄像机图像拍摄时刻的定位信息表示的车辆10的位置(摄像机图像拍摄时刻的车辆10的位置)，该摄像机图像拍摄时刻的定位信息是根据与摄像机图像拍摄时刻一致或者摄像机图像拍摄时刻前后的时刻的定位信息而推测出的。地图信息存储装置17将摄像机图像拍摄时刻、摄像机图像拍摄时刻的车辆10的位置以及包括摄像机图像拍摄时刻的车辆10的位置的预定的区域(例如，200m见方)的地图输出到局部图像生成装置18。局部图像生成装置18的处理器23的判定部32将摄像机图像拍摄时刻、摄像机图像拍摄时刻的车辆10的位置以及地图关联起来存储于存储器22。
接下来，局部图像生成装置18的处理器23的判定部32利用从地图信息存储装置17输出的地图，判定摄像机图像40所呈现的道路是否为直线(笔直)(步骤S102)。关于步骤S102中的判定处理的详细内容将在后面叙述。
接下来，在被判定为摄像机图像40所呈现的道路为直线的情况下(步骤S102-“是”)，局部图像生成装置18的处理器23的消失点检测部33求出摄像机图像40内的道路的消失点F(步骤S103)。关于步骤S103中的求出消失点F的处理的详细内容将在后面叙述。
接下来，局部图像生成部31根据道路的消失点F决定摄像机图像40内的截取区域41(步骤S104)。例如，局部图像生成部31以使道路的消失点F作为预先决定的横向长度W1以及纵向长度H1的矩形形状的中心的方式决定截取区域41。图5示出根据消失点F而从摄像机图像40内决定的截取区域41的一个例子。此外，也可以采用根据消失点F与预先决定的基准位置的位置关系等来决定截取区域41等的其它方法。
另一方面，在判定为摄像机图像40所呈现的道路不为直线的情况下(步骤S102-“否”)，局部图像生成部31根据车辆10的种类决定摄像机图像40内的截取区域(步骤S105)。例如，局部图像生成部31读取存储于存储器22的车辆10所搭载的抬头显示器15的型号。局部图像生成部31参照存储于存储器22的表60(参照图3)，读取与抬头显示器15的型号关联起来的截取区域的基准位置、横向的长度以及纵向的长度。然后，局部图像生成部31根据基准位置、横向的长度以及纵向的长度决定截取区域42。图6示出了在车辆10为轿车的情况下，利用基准位置P1(q1，r1)、横向的长度W2以及纵向的长度H2，在摄像机图像40内决定的截取区域41的一个例子。另外，在车辆的种类为两厢车或者运动型多用途车的情况下，根据登记于表60的基准位置、横向的长度以及纵向的长度来决定截取区域。此外，也可以采用利用与车辆相关的其它基准来决定截取区域41等其它方法。
此外，如比较图5以及图6而能够理解的那样，被判定为道路不为直线的情况下的截取区域42的车辆10的宽度方向的长度W2比被判定为道路为直线的情况下的宽度方向的长度W1大。由此，能够使截取区域42内包含在摄像机图像40内以横向延伸的方式呈现的道路的更多的部分。
接下来，处理器23的校正部34判定在拍摄摄像机图像40时车辆10是否在路面的起伏大的道路上行驶(步骤S106)。例如，校正部34根据从俯仰角传感器14输入的车辆10的俯仰角的变化，判定车辆10是否在路面的起伏大的道路上行驶。关于步骤S106中的判定处理的详细内容将在后面叙述。
在判定为车辆10在路面的起伏大的道路上行驶的情况下(步骤S106-“是”)，校正部34校正在S104或者S105中决定的截取区域的纵向的尺寸(步骤S107)。关于步骤S107中的校正处理的详细内容将在后面叙述。
另一方面，在未判定为车辆10在路面的起伏大的道路上行驶的情况下(步骤S106-“否”)，不进行针对截取区域的校正，处理器23的处理进入到步骤S108。
接下来，校正部34根据拍摄摄像机图像40时的车辆10的车辆速度，校正在S104或者S105中决定的截取区域41的横向的尺寸(步骤S108)。关于步骤S108中的校正方法的详细内容将在后面叙述。
接下来，局部图像生成部31从摄像机图像40截取在S104或者S105中决定、在预定的情况下在S106以及S108中校正后的截取区域所包含的图像，生成为局部图像(步骤S109)。局部图像生成部31将局部图像与摄像机图像拍摄时刻以及摄像机图像拍摄时刻的车辆10的位置关联起来，存储于存储器22。
接下来，局部图像生成部31根据由未图示的导航装置通知的目的地，判定车辆10是否抵达目的地(步骤S110)，在车辆10抵达目的地的情况下(步骤S110-“是”)，结束局部图像生成装置18的处理。另一方面，在车辆10未抵达目的地的情况下(步骤S110-“否”)，返回到步骤S101，重复处理。
接下来，局部图像生成装置18经由无线通信终端12将存储于存储器22的局部图像、摄像机图像拍摄时刻以及摄像机图像拍摄时刻的车辆10的位置发送到服务器(未图示)(步骤S111)。接收到局部图像等信息的服务器生成关于相同的道路拍摄到的多个局部图像各自的俯视图像，并将多个俯视图像接在一起而生成呈现有道路的一个道路图像(参照图1)。
以下，详述图4的步骤S102中的判定部32的判定处理。判定部32参照从地图信息存储装置17输入的地图，判定摄像机图像40所呈现的道路是否为直线。例如，判定部32每当从摄像机11输入摄像机图像40以及摄像机图像拍摄时刻时，从存储器22读出与摄像机图像40的摄像机图像拍摄时刻关联起来的地图以及摄像机图像拍摄时刻的车辆10的位置。判定部32根据与摄像机图像40的摄像机图像拍摄时刻关联起来的地图，获取从摄像机图像拍摄时刻的车辆10的位置起在行进方向上处于预定的判定区域的道路区间的曲率半径。判定部32求出判定区域中的一个或者多个道路区间的曲率半径的平均值，在曲率半径的平均值比基准曲率半径大的情况下，将摄像机图像40所呈现的道路判定为是直线。另一方面，在曲率半径的平均值小于基准曲率半径的情况下，判定部32将摄像机图像40所呈现的道路判定为不是直线。
例如，判定部32根据存储于存储器22的、摄像机11的光轴方向以及安装位置等设置位置信息，将摄像机图像40的光轴与地面交叉的交叉位置求出为判定区域的起始点。判定部32将从该交叉位置起朝向行进方向预定距离(例如100m)的位置设为判定区域的终点。判定部32获取判定区域的起始点至终点的道路区间的曲率半径。
以下参照图7以及图8详述图4的步骤S103中的检测消失点F的处理。图7是局部图像生成装置18的处理器23的消失点检测部33的动作流程图。图8是说明消失点检测部33的处理的图。
首先，如图8所示，消失点检测部33在对摄像机图像40设定的预定的对比范围内检测多个候补点(步骤S201)。消失点检测部33例如对摄像机图像40应用诸如Sobel滤波器的边缘检测滤波器，检测作为边缘的像素，且将被检测到的像素之中具有预定的阈值以上的亮度的像素检测为候补点。另外，消失点检测部33例如也可以通过将图像输入到识别器而检测图像内的候补点。作为识别器，例如能够使用以从所输入的图像检测该图像内的车道划分线的方式预先学习的深度神经网络(DNN)。
接下来，消失点检测部33利用中心线400C将摄像机图像40分割为右侧区域401R和左侧区域401L(步骤S202)，该中心线400C为车辆坐标系的zv轴向摄像面的射影分量。右侧区域401R包括多个候补点402R。另外，左侧区域401L包括多个候补点402L。
接下来，消失点检测部33对包括位于右侧区域401R的多个候补点402R的候补点群例如应用霍夫变换，生成右侧检测线403R。另外，消失点检测部33对包括位于左侧区域401L的多个候补点402L的候补点群例如应用霍夫变换，生成左侧检测线403L(步骤S203)。
接下来，消失点检测部33将在摄像机图像40内右侧检测线403R与左侧检测线403L交叉的交点检测为摄像机图像40内的道路的消失点F(步骤S204)。
以下，详述图4的步骤S106中的校正部34的判定处理。校正部34根据从俯仰角传感器14输入的俯仰角求出紧接摄像机图像拍摄时刻之前的预定期间的俯仰角的变化。例如，校正部34求出紧接摄像机图像拍摄时刻之前的预定期间的俯仰角的每单位时间的变化的均方值，在均方值为预定的俯仰角基准值以上的情况下，判定为在拍摄摄像机图像40时车辆10在路面的起伏大的道路上行驶。另一方面，校正部34在紧接摄像机图像拍摄时刻之前的预定期间的俯仰角的每单位时间的变化的均方值小于预定的俯仰角基准值的情况下，判定为在拍摄摄像机图像40时车辆10未在路面的起伏大的道路上行驶。作为预定的期间，例如也可以设为10秒～30秒。此外，校正部34也可以根据其它判断基准，判定在拍摄摄像机图像40时车辆10是否在路面的起伏大的道路上行驶。
以下参照图9，详述图4的步骤S107中的校正部34的校正处理。如图9所示，校正部34以使校正前的截取区域41的纵向尺寸扩大的方式，决定校正后的截取区域43的纵向尺寸。例如，校正部34将校正后的截取区域43的纵向尺寸求出为校正前的纵向长度H1与预定的系数a之积(a×H1)。在此，a为1以上的实数。作为a，也可以设为1.1～1.3的范围的实数。局部图像生成部31以使道路的消失点F作为横向的长度W1以及纵向的长度a×H1的矩形形状的中心的方式，决定截取区域43。在图9所示的例子中，作为校正前的截取区域，使用图6所示的截取区域41。校正后的截取区域43的横向的长度W1与校正前相同。由此，即使车辆10在路面的起伏大的道路上行驶而车辆10的俯仰角发生大幅变化，也能够以呈现车辆10行驶的道路的方式拍摄摄像机图像40。
以下参照图10，详述图4的步骤S108中的校正部34的校正处理。校正部34根据从车速传感器13输入的车辆速度，求出紧接摄像机图像拍摄时刻之前的预定期间的车辆速度的平均值。例如，在紧接摄像机图像拍摄时刻之前的预定期间的车辆速度的平均值比预定的基准速度大的情况下，校正部34判定为车辆10的车辆速度为高速。另一方面，在紧接着摄像机图像拍摄时刻之前的预定的期间的车辆速度的平均值为预定的基准速度以下的情况下，校正部34判定为车辆10的车辆速度为低速。校正部34在判定为车辆10的车辆速度为高速的情况下，使截取区域的尺寸比车辆10的车辆速度为低速时扩大。当车辆10的车辆速度为高速时，在摄像机图像40的端部呈现的图像有时不清晰。因而，通过扩大截取区域的尺寸，从而使在摄像机图像40的端部呈现的道路的部分的区域扩大。作为预定的期间，例如也可以设为10秒～30秒。由此，在服务器等中，生成多个局部图像各自的俯视图像，将多个俯视图像接在一起而生成呈现有道路的一个道路图像的处理的精度得到提高。
在图10所示的例子中，校正部34以使校正前的截取区域41的纵向的尺寸扩大、且使横向的尺寸扩大的方式，决定校正后的截取区域44的纵向的尺寸以及横向的尺寸。例如，校正部34将校正后的截取区域44的纵向的尺寸求出为校正前的纵向的长度H1与预定的系数b之积(b×H1)。另外，局部图像生成部31将校正后的截取区域44的横向的尺寸求出为校正前的横向的长度W1与预定的系数c之积(c×W1)。在此，b以及c为1以上的实数。作为b以及c，也可以设为1.1～1.3的范围的实数。局部图像生成部31以使道路的消失点F作为校正后的横向的长度c×W1以及纵向的长度b×H1的矩形形状的中心的方式决定截取区域44。在图11所示的例子中，作为校正前的截取区域，使用图6所示的截取区域41。
如以上说明那样，该局部图像生成装置从使用设置于车辆的摄像部对车辆的周围的环境进行拍摄而得到的图像生成局部图像，判定图像所呈现的道路是否为直线。局部图像生成装置在判定为图像所呈现的道路为直线的情况下，截取根据道路的消失点而被推测为呈现有道路的图像内的第1区域，生成为局部图像；在判定为图像所呈现的道路不为直线的情况下，截取根据车辆的种类而决定的图像内的第2区域，生成为局部图像。由此，在局部图像各自中，在相同的位置处呈现有道路，所以在服务器等中，生成关于相同的道路而拍摄到的多个局部图像各自的俯视图像，并将多个俯视图像接在一起而生成呈现有道路的道路图像的处理变容易。另外，在现有技术中，以即使道路的位置针对每个局部图像不同也在图像内包括道路的方式，从摄像机拍摄到的图像截取稍大的区域，生成局部图像。另一方面，该局部图像生成装置能够将从所摄像机拍摄到的图像截取局部图像的区域设定得比以往小，所以能够降低从局部图像生成装置发送到服务器等的通信量。
以下，说明上述局部图像生成装置的变形例1。在图4所示的步骤S102中，判定部32根据拍摄摄像机图像40时的车辆10的位置和存储于地图信息存储装置17的地图信息，判定摄像机图像40所呈现的道路是否为直线。在变形例1的局部图像生成装置18中，处理器23的判定部32根据摄像机图像40所呈现的道路的形状，判定摄像机图像40所呈现的道路是否为直线。例如，判定部32使用被推测为表示在步骤S103的处理中检测的道路的车道划分线的右侧检测线403R以及左侧检测线403L(参照图8)，判定摄像机图像40所呈现的道路是否为直线。判定部32求出在右侧区域401R检测到的多个候补点402R各自与右侧检测线403R的距离的平均值AR。另外，判定部32求出在左侧区域401L检测到的多个候补点402L各自与左侧检测线403L的距离的平均值AL。在AR与AL的平均值为预定的基准距离以下的情况下，判定部32判定为摄像机图像40所呈现的道路为直线。此外，判定部32也可以根据多个候补点402R以及多个候补点402L，使用其它方法判定摄像机图像40所呈现的道路是否为直线。
以下，说明上述局部图像生成装置的变形例2。在图4所示的步骤S105中，在判定为摄像机图像40所呈现的道路不为直线的情况下(步骤S102-“否”)，统一决定摄像机图像40的截取区域。在变形例2的局部图像生成装置18中，在根据车辆10的种类而决定摄像机图像40内的截取区域(步骤S105)之后，校正部34进行判定摄像机图像40所呈现的道路是右转弯(右转)还是左转弯(左转)的处理。然后，校正部34根据判定结果来校正摄像机图像40内的切取区域的位置。
图11是说明变形例2中的校正部的处理的图。校正部34参照存储于存储器22的地图，判定上述判定区域所包含的道路区间是右转弯还是左转弯。校正部34根据该判定结果判定摄像机图像40所呈现的道路是右转弯还是左转弯。
例如，在摄像机图像40所呈现的道路为左转弯的情况下，校正部34以使截取区域的基准位置向左方向移动预定的偏移距离的方式进行截取区域的校正。另一方面，在摄像机图像40所呈现的道路为右转弯的情况下，校正部34不进行截取区域的校正。
图11示出摄像机图像40所呈现的道路为右转弯的情况下的切取区域45和摄像机图像40所呈现的道路为左转弯的情况下的切取区域46。关于摄像机图像40所呈现的道路为右转弯时的截取区域45，以包括更多的摄像机图像40内的右侧区域的方式决定基准位置P2、横向的尺寸以及纵向的尺寸。在本变形例中，在步骤S105中决定的截取区域是摄像机图像40所呈现的道路为右转弯时的截取区域45。另一方面，在摄像机图像40所呈现的道路为左转弯的情况下，截取区域46与道路为右转弯时的截取区域45相比，基准位置P3向左方向移动预定的偏移距离。关于摄像机图像40所呈现的道路为左转弯时的截取区域46，以包括更多的摄像机图像40内的左侧区域的方式决定基准位置P3、横向的尺寸以及纵向的尺寸。截取区域46的横向的尺寸以及纵向的尺寸与切取区域45相同。由此，能够使截取区域45、46比截取区域42小，所以能够降低将局部图像发送到服务器时的通信量。
另外，在上述实施方式中，针对拍摄到的每个摄像机图像求出道路的消失点，但也可以关于连续地拍摄的多个摄像机图像中的一个摄像机图像检测道路的消失点，并将检测到的道路的消失点应用于其它摄像机图像。
另外，在上述实施方式中，作为摄像部的一个例子使用了摄像机，但该摄像机既可以拍摄静态图像，也可以拍摄动态图像。在拍摄动态图像的情况下，也可以由局部图像生成装置针对形成动态图像的每个图像生成局部图像。
另外，在上述实施方式中，摄像机对车辆10前方的环境进行拍摄，但摄像机也可以对车辆10后方的环境进行拍摄。
另外，在上述实施方式中，根据车辆的种类而决定的摄像机图像内的截取区域的位置以及尺寸借助抬头显示器的型号而与车辆的种类关联起来，但建立关联的方法不限定于此。例如，也可以针对搭载局部图像生成装置的每个车辆，根据所搭载的车辆的种类来决定摄像机图像内的截取区域的位置以及尺寸并存储于存储器。
在本发明中，上述实施方式的局部图像生成装置以及存储局部图像生成用计算机程序的存储介质只要不脱离本发明的要旨，就能够适当地变更。另外，本发明的技术范围不限定于这些实施方式，而涉及专利权利要求书所记载发明及其均等物。

Claims (11)

1.一种局部图像生成装置，其特征在于，具有：
局部图像生成部，从使用设置于车辆的摄像部对所述车辆的周围的环境进行拍摄而得到的图像生成局部图像；以及
判定部，判定所述图像所呈现的道路是否为直线，
在判定为所述图像所呈现的道路为直线的情况下，所述局部图像生成部截取根据道路的消失点而推测为呈现有道路的所述图像内的第1区域，生成为所述局部图像，在判定为所述图像所呈现的道路不为直线的情况下，所述局部图像生成部截取根据所述车辆的种类决定的所述图像内的第2区域，生成为所述局部图像。
2.根据权利要求1所述的局部图像生成装置，其特征在于，
所述第2区域中的所述车辆的宽度方向的尺寸比所述第1区域中的所述车辆的宽度方向的尺寸大。
3.根据权利要求1或者2所述的局部图像生成装置，其特征在于，
所述局部图像生成装置具有存储地图信息的存储部，
所述判定部根据拍摄所述图像时的所述车辆的位置和存储于所述存储部的所述地图信息，判定所述图像所呈现的道路是否为直线。
4.根据权利要求1或者2所述的局部图像生成装置，其特征在于，
所述判定部根据所述图像所呈现的道路的形状，判定所述图像所呈现的道路是否为直线。
5.根据权利要求1～4中的任意一项所述的局部图像生成装置，其特征在于，
所述局部图像生成装置还具有第1校正部，在判定为所述图像所呈现的道路不为直线的情况下，所述第1校正部判定所述图像所呈现的道路是右转弯的道路还是左转弯的道路，并根据判定结果来校正所述图像内的所述第2区域的位置。
6.根据权利要求1～5中的任意一项所述的局部图像生成装置，其特征在于，
所述局部图像生成装置还具有第2校正部，该第2校正部当判定为在拍摄所述图像时所述车辆在路面的起伏大的道路上行驶的情况下，使所述第1区域或者所述第2区域的所述车辆的高度方向的尺寸比未判定为所述车辆在路面的起伏大的道路上行驶的情况扩大。
7.根据权利要求6所述的局部图像生成装置，其特征在于，
所述第2校正部根据所述车辆的俯仰角的变化判定所述车辆是否在路面的起伏大的道路上行驶。
8.根据权利要求1～7中的任意一项所述的局部图像生成装置，其特征在于，
所述局部图像生成装置还具有第3校正部，该第3校正部根据拍摄所述图像时的所述车辆的车辆速度，变更所述第1区域或者所述第2区域的尺寸。
9.根据权利要求8所述的局部图像生成装置，其特征在于，
在所述车辆的车辆速度为高速的情况下，所述第3校正部使所述第1区域或者所述第2区域的尺寸比所述车辆的车辆速度为低速时扩大。
10.一种非临时性存储介质，该非临时性存储介质存储能够由计算机读取的局部图像生成用计算机程序，该局部图像生成用计算机程序使处理器执行：
从使用设置于车辆的摄像部对所述车辆的周围的环境进行拍摄而得到的图像生成局部图像；以及
判定所述图像所呈现的道路是否为直线，
所述非临时性存储介质的特征在于，
所述局部图像生成用计算机程序使处理器执行：在判定为所述图像所呈现的道路为直线的情况下，截取根据道路的消失点而推测为呈现有道路的所述图像内的第1区域，生成为所述局部图像，在判定为所述图像所呈现的道路不为直线的情况下，截取根据所述车辆的种类决定的所述图像内的第2区域，生成为所述局部图像。
11.一种局部图像生成方法，由局部图像生成装置执行，该局部图像生成装置从使用设置于车辆的摄像部对所述车辆的周围的环境进行拍摄而得到的图像生成局部图像，并判定所述图像所呈现的道路是否为直线，所述局部图像生成方法的特征在于：
所述局部图像生成装置在判定为所述图像所呈现的道路为直线的情况下，截取根据道路的消失点而推测为呈现有道路的所述图像内的第1区域，生成为所述局部图像，在判定为所述图像所呈现的道路不为直线的情况下，截取根据所述车辆的种类决定的所述图像内的第2区域，生成为所述局部图像。
CN202110658155.4A 2020-06-22 2021-06-15 局部图像生成装置、局部图像生成方法以及存储介质 Active CN113903103B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020-107136 2020-06-22
JP2020107136A JP7380443B2 (ja) 2020-06-22 2020-06-22 部分画像生成装置及び部分画像生成用コンピュータプログラム

Publications (2)

Publication Number Publication Date
CN113903103A CN113903103A (zh) 2022-01-07
CN113903103B true CN113903103B (zh) 2023-04-11

Family

ID=79022383

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110658155.4A Active CN113903103B (zh) 2020-06-22 2021-06-15 局部图像生成装置、局部图像生成方法以及存储介质

Country Status (3)

Country Link
US (1) US11477371B2 (zh)
JP (1) JP7380443B2 (zh)
CN (1) CN113903103B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115083170B (zh) * 2022-07-06 2024-06-07 深圳市创安视迅技术有限公司 一种摄像机的图像抓拍方法、装置、电子设备及存储介质

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003346163A (ja) * 2002-05-27 2003-12-05 Nissan Motor Co Ltd 車両用走行路認識装置
CN1804928A (zh) * 2005-11-24 2006-07-19 上海交通大学 基于机器视觉的车道局部几何结构和车辆位置估计方法
JP2009180631A (ja) * 2008-01-31 2009-08-13 Denso It Laboratory Inc ナビゲーション装置、ナビゲーション方法およびプログラム
CN101911122A (zh) * 2008-01-11 2010-12-08 日本电气株式会社 车道识别***、车道识别方法和车道识别程序
JP2014041460A (ja) * 2012-08-22 2014-03-06 Mega Chips Corp 車線状況判別装置および車線状況判別方法
JP2014085920A (ja) * 2012-10-25 2014-05-12 Honda Motor Co Ltd 車両周辺監視装置
JP2015018515A (ja) * 2013-07-12 2015-01-29 矢崎エナジーシステム株式会社 車載器
JP2015104017A (ja) * 2013-11-26 2015-06-04 ブラザー工業株式会社 機能実行装置および機能実行プログラム
CN105160309A (zh) * 2015-08-24 2015-12-16 北京工业大学 基于图像形态学分割及区域生长的三车道检测方法
CN107578012A (zh) * 2017-09-05 2018-01-12 大连海事大学 一种基于聚类算法选择敏感区域的驾驶辅助***
JP2018147393A (ja) * 2017-03-08 2018-09-20 株式会社デンソー 標識認識システム
CN109791738A (zh) * 2016-10-07 2019-05-21 爱信艾达株式会社 行驶辅助装置以及计算机程序

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4309920B2 (ja) * 2007-01-29 2009-08-05 株式会社東芝 車載用ナビゲーション装置、路面標示識別プログラム及び路面標示識別方法
JP5601913B2 (ja) * 2010-07-15 2014-10-08 株式会社小糸製作所 車両検出装置
KR101191040B1 (ko) * 2010-11-24 2012-10-15 주식회사 엠씨넥스 차량의 전방 도로 표시 장치
JP2014071629A (ja) * 2012-09-28 2014-04-21 Aisin Aw Co Ltd 走行情報表示システム、走行情報表示方法、及び走行情報表示プログラム
KR20140104516A (ko) * 2013-02-18 2014-08-29 주식회사 만도 차선 인식 방법 및 장치
JP5874756B2 (ja) * 2014-02-07 2016-03-02 トヨタ自動車株式会社 区画線検出システム及び区画線検出方法
JP6331629B2 (ja) 2014-04-15 2018-05-30 日産自動車株式会社 車線認識装置
JP6263436B2 (ja) * 2014-04-28 2018-01-17 本田技研工業株式会社 走行路認識装置
JP6440411B2 (ja) * 2014-08-26 2018-12-19 日立オートモティブシステムズ株式会社 物体検出装置
WO2018225446A1 (ja) * 2017-06-09 2018-12-13 株式会社デンソー 地図変化点検出装置
JP6822427B2 (ja) 2017-06-09 2021-01-27 株式会社デンソー 地図変化点検出装置
JP6614229B2 (ja) * 2017-12-06 2019-12-04 株式会社Ｊｖｃケンウッド 車線認識装置、車線認識方法
JP2019207541A (ja) * 2018-05-29 2019-12-05 株式会社日立製作所 画像処理装置及びその方法
JP7073972B2 (ja) * 2018-08-03 2022-05-24 トヨタ自動車株式会社 情報処理システム、プログラム、及び制御方法
JP7136138B2 (ja) * 2020-01-29 2022-09-13 トヨタ自動車株式会社 地図生成用データ収集装置及び地図生成用データ収集方法ならびに車両
JP2022001975A (ja) * 2020-06-19 2022-01-06 トヨタ自動車株式会社 地図情報収集装置

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003346163A (ja) * 2002-05-27 2003-12-05 Nissan Motor Co Ltd 車両用走行路認識装置
CN1804928A (zh) * 2005-11-24 2006-07-19 上海交通大学 基于机器视觉的车道局部几何结构和车辆位置估计方法
CN101911122A (zh) * 2008-01-11 2010-12-08 日本电气株式会社 车道识别***、车道识别方法和车道识别程序
JP2009180631A (ja) * 2008-01-31 2009-08-13 Denso It Laboratory Inc ナビゲーション装置、ナビゲーション方法およびプログラム
JP2014041460A (ja) * 2012-08-22 2014-03-06 Mega Chips Corp 車線状況判別装置および車線状況判別方法
JP2014085920A (ja) * 2012-10-25 2014-05-12 Honda Motor Co Ltd 車両周辺監視装置
JP2015018515A (ja) * 2013-07-12 2015-01-29 矢崎エナジーシステム株式会社 車載器
JP2015104017A (ja) * 2013-11-26 2015-06-04 ブラザー工業株式会社 機能実行装置および機能実行プログラム
CN105160309A (zh) * 2015-08-24 2015-12-16 北京工业大学 基于图像形态学分割及区域生长的三车道检测方法
CN109791738A (zh) * 2016-10-07 2019-05-21 爱信艾达株式会社 行驶辅助装置以及计算机程序
JP2018147393A (ja) * 2017-03-08 2018-09-20 株式会社デンソー 標識認識システム
CN107578012A (zh) * 2017-09-05 2018-01-12 大连海事大学 一种基于聚类算法选择敏感区域的驾驶辅助***

Also Published As

Publication number Publication date
JP2022002045A (ja) 2022-01-06
CN113903103A (zh) 2022-01-07
JP7380443B2 (ja) 2023-11-15
US20210400190A1 (en) 2021-12-23
US11477371B2 (en) 2022-10-18

Similar Documents

Publication Publication Date Title
US9076046B2 (en) Lane recognition device
JP5962771B2 (ja) 移動物***置姿勢角推定装置及び移動物***置姿勢角推定方法
JP4871909B2 (ja) 物体認識装置、および物体認識方法
US20080013789A1 (en) Apparatus and System for Recognizing Environment Surrounding Vehicle
TWI534764B (zh) 車輛定位裝置與方法
CN108692719B (zh) 物体检测装置
EP1909064A1 (en) Object detection device
CN110858405A (zh) 车载摄像头的姿态估计方法、装置和***及电子设备
JP7173062B2 (ja) 変化点検出装置及び地図情報配信システム
JP5561064B2 (ja) 車両用対象物認識装置
US11030761B2 (en) Information processing device, imaging device, apparatus control system, movable body, information processing method, and computer program product
JP2018048949A (ja) 物体識別装置
JP2018147393A (ja) 標識認識システム
US20240144507A1 (en) Electronic device and control method
JP2007264712A (ja) 車線検出装置
JP2017010078A (ja) 路面標示検出装置及び路面標示検出方法
CN113903103B (zh) 局部图像生成装置、局部图像生成方法以及存储介质
JP6768554B2 (ja) キャリブレーション装置
WO2017154305A1 (ja) 画像処理装置、機器制御システム、撮像装置、画像処理方法、及び、プログラム
JP7217577B2 (ja) キャリブレーション装置、キャリブレーション方法
JPH07244717A (ja) 車両用走行環境認識装置
US11403770B2 (en) Road surface area detection device
US20230347910A1 (en) Vehicle orientation estimation system and vehicle orientation estimation method
CN114762019A (zh) 摄像机***
WO2023068034A1 (ja) 画像処理装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant