CN112634653A - 图像处理设备 - Google Patents

图像处理设备 Download PDF

Info

Publication number
CN112634653A
CN112634653A CN202010591072.3A CN202010591072A CN112634653A CN 112634653 A CN112634653 A CN 112634653A CN 202010591072 A CN202010591072 A CN 202010591072A CN 112634653 A CN112634653 A CN 112634653A
Authority
CN
China
Prior art keywords
image
vehicle
region
image quality
area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010591072.3A
Other languages
English (en)
Other versions
CN112634653B (zh
Inventor
西嶋征和
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Publication of CN112634653A publication Critical patent/CN112634653A/zh
Application granted granted Critical
Publication of CN112634653B publication Critical patent/CN112634653B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/25Determination of region of interest [ROI] or a volume of interest [VOI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20016Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256Lane; Road marking
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/166Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

图像处理设备,包括:判定器,其判定搭载有摄像机的车辆是否位于车辆的行进方向改变的特定地方,摄像机以第一图像质量摄取整个图像摄取范围的图像,并以图像质量比第一图像质量更高的第二图像质量摄取图像摄取范围中的部分区域的图像;和区域改变器,当判定车辆位于特定地方时,改变图像摄取范围中的部分区域的位置,使得关注区域的图像被摄取,该关注区域包括在图像摄取范围中并且该关注区域的图像要以第二图像质量被摄取。

Description

图像处理设备
技术领域
本发明涉及图像处理设备的技术领域。
背景技术
在一些用于图像处理的设备中,例如,通过以高图像质量摄取图像摄取范围中的一部分的图像,并以低图像质量摄取图像摄取范围中的另一部分的图像,已经做出提高处理速度的尝试。对于以低图像质量摄取图像的方法,提出了一种技术,其中通过将多个像素组合成一个块像素来输出像素合并图像(binning image)(即,经过图像质量降低处理的图像)(参见第2013-120988号日本专利申请公开)。
发明内容
在车载摄像机摄取车辆的前方的场景的图像的情况下,例如,在障碍物检测等中,应当关注的区域是图像摄取范围的中央部分(即,位于车辆的前方且距车辆一定距离的地方),因此,通常地,中心部分的图像以高图像质量来摄取。另一方面,例如,当车辆右转或左转时等,应当关注的区域从图像摄取范围的中心部分偏离。因此,不能以高图像质量来摄取应当关注的区域的图像,从而出现了技术问题,例如,存在不能适当地执行障碍物检测等的可能性。不能通过JP 2013-120988 A中描述的技术来解决该问题。
鉴于该问题而做出本发明,并且本发明的目的是提供能够以高图像质量摄取应当关注的区域的图像的图像处理设备。
根据本发明的一方面的图像处理设备包括:判定器,其判定搭载有摄像机的车辆是否位于车辆的行进方向改变的特定地方,摄像机以第一图像质量摄取整个图像摄取范围的图像,并且以图像质量比第一图像质量更高的第二图像质量摄取图像摄取范围中的部分区域的图像;和区域改变器,当判定车辆位于特定地方时,改变图像摄取范围中的部分区域的位置,使得关注区域的图像被摄取,关注区域是包括在图像摄取范围中并且其图像要以第二图像质量被摄取的区域,并且关注区域是其相对于车辆的位置根据车辆的行为而改变的区域。
根据该图像处理设备,由于部分区域(该部分区域是其图像以第二图像质量被摄取的区域)的位置被改变,使得关注区域的图像以第二图像质量被摄取。因此,即使例如,当车辆右转或左转时等,关注区域(对应于上述“应当关注的区域”)从车辆的前方偏离,关注区域的图像也能够以相对高图像质量的第二图像质量被摄取。
附图说明
下面将参照附图描述本发明的示例性实施例的特征、优点以及技术和工业意义,其中相同的附图标记表示相同的元素,并且其中:
图1是示出根据第一实施例的图像处理设备的配置的框图;
图2是示出根据第一实施例的图像处理设备的操作的流程图;
图3A示出高图像质量区域的位置的示例;
图3B示出高图像质量区域的位置的示例;
图4是示出根据第二实施例的图像处理设备的配置的框图;
图5是示出根据第二实施例的修改示例的图像处理设备的操作的流程图。
图6是示出根据第三实施例的图像处理设备的配置的框图;
图7是示出根据第三实施例的图像处理设备的操作的流程图;
图8是示出根据第三实施例的修改示例的图像处理设备的操作的流程图。
具体实施方式
将描述与图像处理设备有关的实施例。根据实施例的图像处理设备配置为能够控制摄像机。注意,图像处理设备可以配置为与摄像机分离的构件,或者可以与摄像机一起配置在单个单元内(例如,作为摄像机的一部分)。
摄像机以第一图像质量摄取整个图像摄取范围的图像,并以图像质量比第一图像质量更高的第二图像质量摄取图像摄取范围中的部分区域的图像。摄像机可以包括例如能够以第二图像质量摄取整个图像摄取范围的图像的成像装置。在这种情况下,可以通过使用现有的图像质量降低处理(诸如像素合并(binning)处理)来执行以第一图像质量的图像摄取。可以通过在成像装置中读出与部分区域相对应的像素的像素值来执行以第二图像质量的部分区域的图像的摄取。注意,摄取图像摄取范围中的部分区域的图像的摄取可以被作为“裁剪(或剪切)图像摄取范围中的部分区域”的概念来处理。
这里,可以设定部分区域的大小,使得当以第一图像质量摄取整个图像摄取范围的图像时所施加的处理负荷与当以第二图像质量摄取部分区域的图像时所施加的处理负荷是相等的。当执行以第一图像质量的图像摄取时,例如,在成像装置中的四个像素被作为一个块像素来处理的情况下,部分区域的大小可以是等于包括在成像装置中的像素的数量的四分之一的像素的数量。
图像处理设备包括判定器和区域改变器。判定器判定搭载有摄像机的车辆(即,搭载有图像处理设备的车辆)是否位于车辆的行进方向改变的特定地方。这里,“行进方向”不限于当从上方俯视车辆时车辆移动的方向(例如,由车辆围绕车辆的上下轴线旋转所判定的方向),而是还包括车辆在三维空间中移动的方向(例如,由车辆除了绕车辆的上下轴线旋转以外,还绕车辆的左右轴线旋转所判定的方向)的概念。
“行进方向改变的特定地方”的示例包括可以做出右转或左转的交叉口,弯道,坡道的入口和出口等。例如,可以如下判定车辆是否位于特定地方。具体地,可以从摄像机摄取的图像中,(i)通过判定是否捕获到特定地方固有的物体(诸如交通信号灯或人行横道),(ii)通过检测FOE(Focus of Expansion,延伸焦点)的改变,或(iii)通过检测道路的曲率,判定车辆是否位于特定地方。替代性地,可以基于关于车辆的位置信息和地图信息来判定车辆是否位于特定地方。替代性地,可以基于关于车辆的速度改变或转向操作来判定车辆是否位于特定地方。
当判定车辆位于特定地方时,区域改变器改变在图像摄取范围中的部分区域(即,以第二图像质量摄取其图像的区域)的位置,使得关注区域的图像被摄取。关注区域是包括在摄像机的图像摄取范围中并且其图像要以第二图像质量被摄取的区域,并且该关注区域是其相对于车辆的位置根据车辆的行为而改变的区域。
可以根据由摄像机摄取的图像的使用目的等来改变“关注区域”。当图像被用于例如障碍物检测时,关注区域通常可以是车辆前方的道路。然而,例如,在交叉口处,对向车道、人行道等可以被设定为关注区域。如上所述,“关注区域”是相对于车辆的位置根据车辆的行为而改变的区域。因此,例如,当车辆转向并且车辆的行进方向相应地改变时,图像摄取范围中的关注区域的位置也改变。例如,在交叉口处,当车辆右转或左转时,关注区域(例如,当车辆进入交叉口时的对向车道等)从车辆的前方偏离。
具体地,例如,区域改变器可以基于以第一图像质量摄取的图像来识别关注区域,并且可以改变图像摄取范围中的部分区域的位置,使得关注区域的图像被摄取。可以通过改变包括在成像装置中的多个像素之中的从其读出像素值的像素来完成“部分区域的位置”的改变。
根据该图像处理设备,改变了部分区域(该部分区域是其图像以第二图像质量被摄取的区域)的位置,使得关注区域的图像以第二图像质量被摄取。因此,即使例如,当车辆右转或左转时等,关注区域从车辆的前方偏离,关注区域的图像也能够以相对高图像质量的第二图像质量被摄取。
第一实施例
将参照图1至图3B描述作为根据实施例的图像处理设备的具体示例的车载摄像机100。这里,假定图像处理设备被配置为车载摄像机100的一部分。
车载摄像机100搭载在车辆1中。在图1中,车载摄像机100包括控制设备10和主体部20。这里,“控制设备10”和“主体部20”分别对应于“图像处理设备”和“摄像机”。控制设备10配置为能够控制主体部20。控制设备10可以控制主体部20,例如使得以第一图像质量摄取整个图像摄取范围的图像和以第二图像质量摄取图像摄取范围中的部分区域的图像被交替地执行。
注意,在下文中,图像摄取范围中的部分区域将适当地被称为“高图像质量区域”。在下文中,以第一图像质量摄取的整个图像摄取范围的图像将适当地被称为“像素合并图像”。在下文中,以第二图像质量摄取的图像摄取范围中的部分区域的图像将适当地被称为“高图像质量图像”。
控制设备10在内部包括作为逻辑实现的处理块或物理实现的处理电路的图像获取部11、图像处理部12、位置判定部13、控制部14和判定部15。主体部20包括在这里未示出的成像装置和光学***。
图像获取部11从主体部20获取像素合并图像和高图像质量图像。图像获取部11将像素合并图像输出至图像处理部12,并且将高图像质量图像输出至例如使用由车载摄像机100摄取的图像的设备,诸如障碍物检测设备。
图像处理部12从像素合并图像中检测关注区域。这里,假设关注区域为“当车辆1进入交叉口时的对向车道”,将给出具体描述。图像处理部12从像素合并图像中检测与对向车道相对应的区域。图像处理部12计算关于所检测的与对向车道相对应的区域的无限远点。注意,对于与对向车道相对应的区域的检测以及无限远点的计算,可以应用现有技术,因此将省略详细描述。
基于由图像处理部12计算的无限远点,位置判定部13判定高图像质量区域在图像摄取范围中的位置,使得关注区域的图像以第二图像质量被摄取。此时,位置判定部13可以判定高图像质量区域的位置,例如,使得无限远点包括在高图像质量区域中。在这种情况下,位置判定部13可以判定高图像质量区域的位置,例如使得无限远点位于高图像质量区域内的特定区域中,或者可以判定高图像质量区域的位置,例如使得无限远点包括在高图像质量区域中并且高图像质量区域的位置的改变被抑制。注意,图像处理部12和位置判定部13对应于“区域改变器”的示例。
基于由位置判定部13判定的高图像质量区域的位置,控制部14控制主体部20,使得高图像质量图像被摄取(换句话说,高图像质量区域的图像以第二图像质量被摄取)。
判定部15例如基于像素合并图像判定车辆1是否位于作为“行进方向改变的特定地方”的示例的交叉口。注意,判定部15对应于“判定器”的示例。
参照图2的流程图,将给出车载摄像机100的操作的附加描述。
在图2中,判定部15基于像素合并图像,判定车辆1是否进入交叉口(即,车辆1是否位于交叉口)(步骤S101)。当在步骤S101的处理中判定车辆1未进入交叉口时(步骤S101:否),操作终止。在这种情况下,高图像质量区域可以设定在图像摄取范围的中心部分中。此后,在经过预定时间段(例如,数十毫秒到数百毫秒等)之后,执行步骤S101中的处理。换句话说,以根据预定时间段的周期,重复图2中示出的操作。
当在步骤S101的处理中判定车辆1进入交叉口时(步骤S101:是),图像处理部12从像素合并图像中检测与对向车道相对应的区域(步骤S102)。随后,图像处理部12计算关于所检测的与对向车道相对应的区域的无限远点(步骤S103)。
随后,基于由图像处理部12计算的无限远点,位置判定部13判定高图像质量区域在图像摄取范围中的位置(步骤S104)。此后,基于由位置判定部13判定的高图像质量区域的位置,控制部14控制主体部20,使得高图像质量图像被摄取(步骤S105)。
这里,将参考图3A和图3B给出当车辆1在交叉口处右转时如何通过图2中示出的操作判定高图像质量区域的位置的具体描述。图3A示出车辆1当进入交叉口时开始右转之前的像素合并图像的示例。图3B示出车辆1在交叉口处开始右转之后的像素合并图像的示例。
如图3A所示,在车辆1开始右转之前,由于对向车道位于车辆1的前方,因此在像素合并图像中关于与对向车道相对应的区域的无限远点是在相对接近像素合并图像的中心的位置处。因此,高图像质量区域可以设定在像素合并图像的中心部分(换句话说,图像摄取范围的中心部分)(参见图3A中的虚线框)。
如图3B所示,当车辆1开始右转时,根据车辆1的移动,无限远点朝向像素合并图像的左侧移动。因此,与图3A所示的情况相比,高图像质量区域设定在像素合并图像的中心的左侧的位置(参见图3B中的虚线框)。
技术有利效果
根据作为根据实施例的图像处理设备的具体示例的车载摄像机100,当车辆1进入交叉口时,由于基于关于对向车道的无限远点来判定高图像质量区域的位置,因此当车辆1在交叉口处右转时,作为关注区域的示例的对向车道的高图像质量图像能够被适当地摄取。例如,如果通过使用当时摄取的高图像质量图像来执行障碍物检测,则可以期望当车辆1在交叉口处右转时以优选的方式检测到在对向车道上行进的对向车辆。结果,可以期望防止车辆1与对向车辆之间的碰撞(所谓的右转事故)。
在车载摄像机100中,由于仅作为图像摄取范围中的部分区域的高图像质量区域的图像以第二图像质量被摄取,因此与整个图像摄取范围的图像以第二图像质量被摄取的情况相比,可以降低处理负荷。具体地,例如,当高图像质量区域具有图像摄取范围的大小的四分之一时,与整个图像摄取范围的图像以第二图像质量被摄取的情况相比,处理负荷可以降低到四分之一。
第一修改示例
在上述第一实施例中,以车辆1在交叉口处右转的情况为例。然而,车载摄像机100也可应用于例如车辆1在交叉口处左转的情况。在这种情况下,关注区域可以是例如“人行横道和人行道”。例如,可以基于车辆1的转向信号的操作状态来判定车辆1在交叉口处是右转还是左转,并且可以改变关注区域。
在这种情况下,在与步骤S102中的处理相对应的处理中,图像处理部12可以从像素合并图像中检测与人行横道和人行道相对应的区域。此后,在与步骤S103中的处理相对应的处理中,图像处理部12可以计算关于所检测的与人行横道和人行道相对应的区域的无限远点。在与步骤S104中的处理相对应的处理中,位置判定部13可以基于由图像处理部12计算的无限远点判定高图像质量区域在图像摄取范围中的位置。
第二修改示例
尽管在上述第一实施例中以交叉口作为行进方向改变所处的特定地方的示例,但是例如,弯道可以设定为行进方向改变的特定地方。在这种情况下,关注区域可以是例如“道路(或车道)”。
在这种情况下,在与步骤S101中的处理相对应的处理中,判定部15可以基于像素合并图像(例如,在像素合并图像中捕获的道路的曲率)判定车辆1是否进入弯道(即,车辆1是否位于弯道上)。
在与步骤S104中的处理相对应的处理中,位置判定部13可以例如基于在像素合并图像中捕获的道路的曲率和关于由图像处理部12计算的与道路相对应的区域的无限远点(在后一种情况下,例如,可以从弯道的切线获得无限远点)中的至少一者,判定高图像质量区域在图像摄取范围中的位置。
第二实施例
将参照图4描述作为根据实施例的图像处理设备的另一具体示例的车载摄像机200。除了判定部15的部分操作不同以外,第二实施例类似于第一实施例。因此,在对第二实施例的描述中,省略与第一实施例重复的描述,并且将参考图4基本上仅描述不同点,而在附图中,相同的元素用相同的附图标记表示。
如图4所示,车载摄像机200的判定部15配置为能够参考由GPS(GlobalPositioning System,全球定位***)31检测到的车辆1的位置和地图信息32。在与步骤S101中的处理相对应的处理中,判定部15基于由GPS 31检测到的车辆1的位置和地图信息32判定车辆1是否进入交叉口。
利用这种配置,可以相对容易地判定车辆1是否位于行进方向改变的特定地方(在这里为交叉口)。注意,车载摄像机200不仅可应用于车辆1在交叉口处右转的情况,而且可应用于车辆1在交叉口处左转的情况以及车辆1在弯道上行进的情况(参见第一实施例的每个修改示例)。
修改示例
坡道的入口和出口的附近可以被设定为行进方向改变的特定地方。将参照图5的流程图描述在这种情况下的车载摄像机200的操作。这里,假设位置判定部13配置为能够参考由GPS 31检测到的车辆1的位置和地图信息32。假设地图信息32包括与道路坡度有关的坡度信息。
在图5中,判定部15基于由GPS 31检测到的车辆1的位置和地图信息32,判定车辆1是否位于坡道的入口或出口的附近(步骤S201)。
与“附近”相对应的范围可以例如根据车辆1的速度或者根据使用高图像质量图像的设备或功能(例如,障碍物检测等)而变化。具体地,在由车载摄像机200摄取的高图像质量图像被用于障碍物检测的情况下,当车辆1的速度相对低(例如,每小时30公里等)时,与“附近”相对应的范围可以是距坡道的入口或出口十几至二十米的半径的范围,而当车辆1的速度相对高时(例如,每小时80公里等),与“附近”相对应的范围可以是距坡道的入口或出口60至100米的半径的范围。
当在步骤S201中的处理中判定车辆1既不在坡道的入口的附近也不在坡道的出口的附近时(步骤S201:否),该操作终止。在这种情况下,高图像质量区域可以被设定在图像摄取范围的中心部分中。此后,在经过预定时间段之后,执行步骤S201中的处理。
当在步骤S201中的处理中判定车辆1位于坡道的入口或出口的附近时(步骤S201:是),图像处理部12从像素合并图像中检测例如与道路相对应的区域(步骤S202)。此时,图像处理部12可以计算关于与道路相对应的区域的无限远点。
与步骤S202中的处理并行地,位置判定部13基于由GPS 31检测到的车辆1的位置和包括在地图信息32中的坡度信息,获取与车辆1要行进的前方道路有关的坡度信息(步骤S203)。
基于由图像处理部12获取的坡度信息,位置判定部13判定高图像质量区域在图像摄取范围中的位置(步骤S204)。此后,控制部14基于由位置判定部13判定的高图像质量区域的位置控制主体部20使得高图像质量图像被摄取(步骤S205)。
当车辆1位于坡道的入口的附近时,高图像质量区域位于图像摄取范围的上端侧(上坡)或下端侧(下坡)。当车辆1位于坡道的出口的附近时,高图像质量区域位于图像摄取范围的下端侧(上坡)或上端侧(下坡)。
在步骤S204中的处理中,位置判定部13可以基于由图像处理部12获取的坡度信息,判定高图像质量区域在图像摄取范围中的上下方向上的位置,并且可以基于由图像处理部12计算的无限远点,判定高图像质量区域在图像摄取范围中的左右方向上的位置。位置判定部13可以基于由图像处理部12获取的坡度信息,判定高图像质量区域在图像摄取范围中的上下方向上的位置,并且根据从车辆1的位置到坡道的入口或出口的距离调整在上下方向上的位置。
注意,当车辆1在坡道上行进时(即,当车辆1既不行进在坡道的入口的附近也不行进在坡道的出口的附近时),高图像质量区域可以设定在图像摄取范围的中心。
第三实施例
将参照图6和图7描述作为根据实施例的图像处理设备的另一具体示例的车载摄像机300。除了位置判定部13的部分操作不同之外,第三实施例类似于上述第二实施例。因此,在对第三实施例的描述中,省略了与第二实施例重复的描述,并且将参考图6和图7基本上仅描述不同点,而在附图中,相同的元素用相同的附图标记表示。
如图6所示,车载摄像机300的位置判定部13配置为能够参考由车辆信息获取部33获取的车辆信息。这里,车辆信息获取部33配置为获取由各种车载传感器(诸如车辆速度传感器、转向角传感器、横摆角速度传感器)检测到的与车辆1的行为有关的车辆信息。注意,由于可将各种现有模式应用于车辆信息获取部33,因此省略了车辆信息获取部33的详细描述。
与步骤S102中的处理并行地,位置判定部13从车辆信息获取部33中获取包括在车辆信息中的与车辆1有关的角度信息(具体地,指示车辆1的转向角和车身旋转角中的至少一者的角度信息)(步骤S303)。基于所获取的角度信息,在车辆1右转的条件下,位置判定部13判定高图像质量区域在图像摄取范围中的位置,使得高图像质量区域在与车辆1旋转的方向相反的方向上移动(步骤S304)。
此时,基于所获取的角度信息,位置判定部13例如可以计算每个车载摄像机300的帧周期的车辆1的旋转的程度,并且可以基于所计算的旋转的程度判定高图像质量区域在图像摄取范围中的位置。
注意,图7中所示的处理可以在以下条件下终止:在步骤S102中的处理中,当车辆1进入交叉口时,图像处理部12未检测到与对向车道相对应的区域。替代性地,图7中所示的处理可以在以下条件下终止:例如,基于在步骤S303中的处理中获取的角度信息,转向角保持恒定,或者在与初始方向相反的方向上做出转向(所谓的折返转向)。
注意,车载摄像机300不仅可应用于车辆1在交叉口右转的情况,而且可应用于车辆1在交叉口左转的情况。在这种情况下,关注区域可以是例如“人行横道和人行道”。
修改示例
如在第一实施例的第二修改示例中,例如,弯道可以被设定为行进方向改变的特定地方。
在这种情况下,如图8所示,车载摄像机300的判定部15基于由GPS 31检测到的车辆1的位置和地图信息32来判定车辆1是否进入弯道(即,车辆1是否位于弯道上)(步骤S401)。
当在步骤S401中的处理中判定车辆1未进入弯道时(步骤S401:否),操作终止。在这种情况下,高图像质量区域可以设定在图像摄取范围的中心部分中。此后,在经过预定时间段之后,执行步骤S401中的处理。
当在步骤S401中的处理中判定车辆1进入弯道时(步骤S401:是),图像处理部12从像素合并图像中检测例如与道路相对应的区域(步骤S402)。
与步骤S402中的处理并行地,位置判定部13从车辆信息获取部33中获取与车辆1有关的角度信息(步骤S403)。基于所获取的角度信息,位置判定部13判定高图像质量区域在图像摄取范围中的位置,使得高图像质量区域在与车辆1旋转的方向相同的方向上移动(步骤S404)。此时,位置判定部13可以基于与在步骤S402中的处理中由图像处理部12检测到的与道路相对应的区域来调整高图像质量区域的位置。
其它
(1)尽管在第一实施例至第三实施例中图像处理设备配置为车载摄像机的一部分,但是与图像处理设备相对应的控制设备10(参见图1及其他)可以配置为与主体部20(即,摄像机)分离的构件。在这种情况下,控制设备10可以例如由车辆1的ECU(ElectronicControl Unit,电子控制单元)实现。
(2)在第一实施例至第三实施例中,在主体部20(即,摄像机)中,例如,通过读出与高图像质量区域相对应的像素的像素值来获得高图像质量图像。然而,整个图像摄取范围的图像可以通过主体部20以第二图像质量(即,高图像质量)被摄取。然后所摄取的图像被称为全视角高图像质量图像。
控制设备10(即,图像处理设备)可以从全视角高图像质量图像中提取(即,剪切)包括关注区域的部分区域。利用这种配置,例如,在障碍物检测设备等中,与使用全视角高图像质量图像的情况相比,可以降低障碍物检测设备上的处理负荷。注意,对于判定部分区域在图像摄取范围中的位置的方法,可以使用与在第一实施例等中描述的方法相类似的方法。
下面将描述从实施例和修改示例导出的本发明的各个方面。
根据本发明的一方面的图像处理设备包括:判定器,其判定搭载有车载摄像机的车辆是否位于车辆的行进方向改变的特定地方,车载摄像机以第一图像质量摄取整个图像摄取范围的图像,并且以图像质量比第一图像质量更高的第二图像质量摄取图像摄取范围中的部分区域的图像;和区域改变器,当判定车辆位于特定地方时,改变图像摄取范围中的部分区域的位置,使得关注区域的图像被摄取,该关注区域是包括在图像摄取范围中并且其图像要以第二图像质量被摄取的区域,并且关注区域是其相对于车辆的位置根据车辆的行为而改变的区域。
在图像处理设备的一方面中,区域改变器识别在以第一图像质量摄取的整个图像摄取范围的图像中的无限远点,并且基于所识别的无限远点改变部分区域的位置。
在该方面中,特定地方是交叉口;关注区域是当车辆进入交叉口时的对向车道;并且区域改变器可以识别在图像中的关于对向车道的无限远点,并且基于所识别的无限远点改变部分区域的位置。
在图像处理设备的另一方面中,区域改变器获取指示车辆的转向角和车身旋转角中的至少一者的角度信息,并且基于所获取的角度信息来改变部分区域的位置。
在该方面中,特定地方是交叉口;关注区域是当车辆进入交叉口时的对向车道;并且区域改变器可以基于所获取的角度信息改变部分区域的位置,使得部分区域以与车辆旋转的方向相反的方向移动。
在图像处理设备的又一方面中,特定地方是坡道的入口或出口的附近;并且区域改变器从包括坡度信息的地图信息和指示车辆的当前位置的位置信息中识别坡道的坡度,并且基于所识别的坡度改变部分区域的位置。
本发明不限于上述实施例,并且可以在不脱离能够从权利要求书和整个说明书中理解的本发明的要旨或主旨的情况下适当地做出各种修改,并且具有这样的修改的图像处理设备也被包含在本发明的技术范围内。

Claims (6)

1.图像处理设备,包括:
判定器,其判定搭载有摄像机的车辆是否位于所述车辆的行进方向改变的特定地方,所述摄像机以第一图像质量摄取整个图像摄取范围的图像,并且以图像质量比所述第一图像质量更高的第二图像质量摄取所述图像摄取范围中的部分区域的图像;和
区域改变器,当判定所述车辆位于所述特定地方时,改变所述图像摄取范围中的所述部分区域的位置,使得关注区域的图像被摄取,所述关注区域是包括在所述图像摄取范围中并且其图像要以所述第二图像质量被摄取的区域,并且所述关注区域是其相对于所述车辆的位置根据所述车辆的行为而改变的区域。
2.根据权利要求1所述的图像处理设备,其中,所述区域改变器识别在以所述第一图像质量摄取的所述整个图像摄取范围的所述图像中的无限远点,并且基于所识别的无限远点改变所述部分区域的位置。
3.根据权利要求2所述的图像处理设备,其中:
所述特定地方是交叉口;
所述关注区域是当所述车辆进入所述交叉口时的对向车道;并且
所述区域改变器识别在所述图像中的关于所述对向车道的无限远点,并且基于所识别的无限远点改变所述部分区域的位置。
4.根据权利要求1所述的图像处理设备,其中,所述区域改变器获取指示所述车辆的转向角和车身旋转角中的至少一者的角度信息,并且基于所获取的角度信息改变所述部分区域的位置。
5.根据权利要求4所述的图像处理设备,其中:
所述特定地方是交叉口;
所述关注区域是当所述车辆进入所述交叉口时的对向车道;并且
所述区域改变器基于所获取的角度信息改变所述部分区域的位置,使得所述部分区域以与所述车辆旋转的方向相反的方向移动。
6.根据权利要求1所述的图像处理设备,其中:
所述特定地方是坡道的入口或出口的附近;并且
所述区域改变器从包括坡度信息的地图信息和指示所述车辆的当前位置的位置信息中识别所述坡道的坡度,并且基于所识别的坡度改变所述部分区域的位置。
CN202010591072.3A 2019-09-24 2020-06-24 图像处理设备 Active CN112634653B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019172637A JP7167891B2 (ja) 2019-09-24 2019-09-24 画像処理装置
JP2019-172637 2019-09-24

Publications (2)

Publication Number Publication Date
CN112634653A true CN112634653A (zh) 2021-04-09
CN112634653B CN112634653B (zh) 2022-05-17

Family

ID=74881068

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010591072.3A Active CN112634653B (zh) 2019-09-24 2020-06-24 图像处理设备

Country Status (3)

Country Link
US (1) US11410288B2 (zh)
JP (1) JP7167891B2 (zh)
CN (1) CN112634653B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005039547A (ja) * 2003-07-15 2005-02-10 Denso Corp 車両用前方視界支援装置
JP2007336466A (ja) * 2006-06-19 2007-12-27 Nissan Motor Co Ltd 車両用周辺情報提示装置及び車両用周辺情報提示方法
JP2013120988A (ja) * 2011-12-06 2013-06-17 Shimadzu Corp 頭部装着型表示装置
US20160059781A1 (en) * 2014-08-27 2016-03-03 Koito Manufacturing Co., Ltd. Electronic control unit and in-vehicle video system
CN106394406A (zh) * 2015-07-29 2017-02-15 株式会社万都 用于车辆的摄像机装置
CN108476308A (zh) * 2016-05-24 2018-08-31 Jvc 建伍株式会社 拍摄装置、拍摄显示方法以及拍摄显示程序

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6546119B2 (en) * 1998-02-24 2003-04-08 Redflex Traffic Systems Automated traffic violation monitoring and reporting system
JP2007094045A (ja) * 2005-09-29 2007-04-12 Matsushita Electric Ind Co Ltd ナビゲーション装置、ナビゲート方法および車両
JP2010055157A (ja) * 2008-08-26 2010-03-11 Panasonic Corp 交差点状況認識システム
JP2012093872A (ja) * 2010-10-26 2012-05-17 Fujitsu Ten Ltd 画像認識装置、及び、画像認識方法
JP5754214B2 (ja) 2011-03-31 2015-07-29 富士通株式会社 画像処理装置および画像処理プログラム
JP6367531B2 (ja) 2013-07-12 2018-08-01 矢崎エナジーシステム株式会社 車載器
JP2015228707A (ja) 2015-09-18 2015-12-17 株式会社ニコン 撮像装置
CN109076163B (zh) 2016-04-27 2021-08-31 索尼公司 成像控制装置、成像控制方法以及成像装置
JP2020501423A (ja) 2016-12-06 2020-01-16 コンティ テミック マイクロエレクトロニック ゲゼルシャフト ミット ベシュレンクテル ハフツングConti Temic microelectronic GmbH 車両の周辺領域を状況に依存した捕捉を実施するためのカメラ手段及び方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005039547A (ja) * 2003-07-15 2005-02-10 Denso Corp 車両用前方視界支援装置
JP2007336466A (ja) * 2006-06-19 2007-12-27 Nissan Motor Co Ltd 車両用周辺情報提示装置及び車両用周辺情報提示方法
JP2013120988A (ja) * 2011-12-06 2013-06-17 Shimadzu Corp 頭部装着型表示装置
US20160059781A1 (en) * 2014-08-27 2016-03-03 Koito Manufacturing Co., Ltd. Electronic control unit and in-vehicle video system
JP2016048839A (ja) * 2014-08-27 2016-04-07 株式会社小糸製作所 電子制御ユニットおよび車両用映像システム
CN106394406A (zh) * 2015-07-29 2017-02-15 株式会社万都 用于车辆的摄像机装置
CN108476308A (zh) * 2016-05-24 2018-08-31 Jvc 建伍株式会社 拍摄装置、拍摄显示方法以及拍摄显示程序

Also Published As

Publication number Publication date
CN112634653B (zh) 2022-05-17
US11410288B2 (en) 2022-08-09
US20210090234A1 (en) 2021-03-25
JP2021052257A (ja) 2021-04-01
JP7167891B2 (ja) 2022-11-09

Similar Documents

Publication Publication Date Title
US10482762B2 (en) Vehicular vision and alert system
US11756316B2 (en) Vehicular lane keeping system
EP3358302B1 (en) Travel control method and travel control device
JP5421072B2 (ja) 接近物体検知システム
US8560220B2 (en) Method and apparatus for determining a plausible lane for guiding a vehicle and an automobile
US10821975B2 (en) Lane division line recognition apparatus, lane division line recognition method, driving assist apparatus including lane division line recognition apparatus, and driving assist method including lane division line recognition method
EP3358545B1 (en) Travel control method and travel control device
JP5399027B2 (ja) 自動車の運転を支援するための、立体画像を捕捉することができるシステムを有するデバイス
EP2928178B1 (en) On-board control device
KR20230054911A (ko) 차로 병합 및 차로 분리의 항법을 위한 시스템 및 방법
US20120033074A1 (en) Method and device for determining a valid lane marking
CN113246993B (zh) 驾驶支援***
CN114084153A (zh) 物体检测装置、物体检测方法以及物体检测用计算机程序
CN113859263B (zh) 预定行驶路径设定装置以及预定行驶路径设定方法
JP2020187474A (ja) 走行車線認識装置、走行車線認識方法およびプログラム
WO2014017104A1 (ja) 画像処理装置、撮像装置、移動体、プログラム、および領域設定方法
JP2020109560A (ja) 信号機認識方法及び信号機認識装置
JP2017129543A (ja) ステレオカメラ装置及び車両
JP7245653B2 (ja) 信号機認識方法及び信号機認識装置
CN112634653B (zh) 图像处理设备
JP2009210401A (ja) 車両用背景画像収集装置
CN113170057A (zh) 摄像部控制装置
US11721113B2 (en) Vehicular driving assist system with lane detection using rear camera
JP4946903B2 (ja) 車両用背景画像収集装置
CN117622201A (zh) 车辆控制装置、车辆控制方法以及车辆控制用计算机程序

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant