CN109983469B - 使用车辆驾驶信息的图像分析方法、装置、***和程序以及存储介质 - Google Patents

使用车辆驾驶信息的图像分析方法、装置、***和程序以及存储介质 Download PDF

Info

Publication number
CN109983469B
CN109983469B CN201780072644.3A CN201780072644A CN109983469B CN 109983469 B CN109983469 B CN 109983469B CN 201780072644 A CN201780072644 A CN 201780072644A CN 109983469 B CN109983469 B CN 109983469B
Authority
CN
China
Prior art keywords
optical flow
pattern
image
information
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201780072644.3A
Other languages
English (en)
Other versions
CN109983469A (zh
Inventor
金东均
李承原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
LG Innotek Co Ltd
Original Assignee
LG Innotek Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by LG Innotek Co Ltd filed Critical LG Innotek Co Ltd
Publication of CN109983469A publication Critical patent/CN109983469A/zh
Application granted granted Critical
Publication of CN109983469B publication Critical patent/CN109983469B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/04—Traffic conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/10—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to vehicle motion
    • B60W40/105—Speed
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/215—Motion-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/254—Analysis of motion involving subtraction of images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/269—Analysis of motion using gradient-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/97—Determining parameters from multiple pictures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2520/00—Input parameters relating to overall vehicle dynamics
    • B60W2520/10—Longitudinal speed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/18—Steering angle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Mathematical Physics (AREA)
  • Automation & Control Theory (AREA)
  • Signal Processing (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及使用车辆驾驶信息的图像分析方法、装置、***和程序以及记录介质，并且根据本发明的一个实施方式，通过车载通信网络与相机和控制器连接的装置的图像分析方法可以包括以下步骤：从用于控制车辆驾驶的至少一个控制器接收车辆驾驶信息；接收由相机捕获的图像信息；生成基于车辆驾驶信息估计的第一光流图案；生成基于图像信息计算的第二光流图案；以及基于第一光流图案和第二光流图案识别前景移动图案。因此，本发明可以通过使用车辆驾驶信息更准确地分析由相机捕获的图像。

Description

使用车辆驾驶信息的图像分析方法、装置、***和程序以及存 储介质
技术领域
实施方式涉及图像分析，并且更具体地涉及能够使用基于车辆被驾驶时的车辆驾驶信息估计的光流图案以及基于由相机捕获的图像信息计算的光流图案来分析运动图案的图像分析方法、装置、***和程序，以及记录介质。
背景技术
诸如汽车的车辆除了提供运输装置的功能之外还需要提供使用户能够更稳定和舒适地驾驶车辆的各种便利装置的功能。
近年来，用于安全驾驶的各种驾驶员辅助***已经安装在车辆中。
不仅由自我车辆驾驶员的不小心驾驶而且由其他车辆驾驶员的不小心驾驶而导致的危险情况可能在车辆被驾驶的道路上发生，由此可能发生大规模事故。
传统上，能够在车辆正在被驾驶时使用相机和激光雷达感测汽车前方的对象并且发出音频或视频警告使得驾驶员在存在碰撞的可能性的情况下制动车辆或降低车辆的速度的先进的驾驶员辅助***例如预碰撞***被安装在车辆中。然而，激光雷达是昂贵的设备，并且因此可选地仅安装在豪华车辆中。
另外，目前，在一些车辆中使用互补金属氧化物半导体(CMOS)相机以便识别车辆前方的对象。然而，仅使用CMOS相机不可能获得足够可靠的信息来执行自动紧急制动。
如图1所示，在使用相机的传统对象感测方法中，图像捕获单元即相机接收由其中设置的图像传感器捕获的图像，并且将所捕获的图像发送至光流向量计算单元。光流向量计算单元从所接收的图像中提取特征点，并且匹配所提取的特征点以便计算光流向量。
运动分类单元基于所计算的光流向量识别前景运动和背景运动。
也就是说，传统上，仅使用由相机捕获的图像信息来识别车辆前方的移动对象。然而，仅使用由相机捕获的图像信息的光流分类方法具有以下问题：在计算光流向量时误差发生概率高，以及相机的准确度取决于相机的物理布置状态而大幅降低。
另外，仅使用相机的图像分析方法具有以下问题：需要大量操作以便基于车辆的运动来区分光流向量，以及由于处理延迟和由操作引起的操作误差不可能准确地识别运动。
因此，存在对能够通过更准确的图像分析来更准确地识别车辆前方的移动对象的图像分析装置的迫切需要。
发明内容
技术问题
鉴于上述问题做出了本公开内容，并且实施方式提供了使用车辆驾驶信息的图像分析方法和图像分析装置、使用图像分析装置的图像分析***、用于实现图像分析方法的程序，以及其中记录有程序的记录介质。
实施方式提供了以下图像分析方法和图像分析装置：能够使用基于车辆运动信息估计的光流图案和基于由相机捕获的图像信息计算的光流图案来分析运动图案。
实施方式提供了以下图像分析方法和图像分析装置：能够将基于车辆运动信息估计的光流图案和基于由相机捕获的图像信息计算的光流图案进行比较，以识别前景运动和背景运动，并且基于所识别的背景运动自动地校正相机。
通过实施方式可以实现的技术目的不限于已经在上文中特别描述过的内容，并且本领域技术人员将从以下详细描述中更清楚地理解本文中未描述的其他技术目的。
技术方案
实施方式提供了使用车辆驾驶信息的图像分析方法和图像分析装置以及包括该图像分析装置的图像分析***。
在一个实施方式中，在通过车载通信网络操作上连接至相机和控制器的装置中，图像分析方法包括：从用于控制车辆的驾驶的至少一个控制器接收车辆驾驶信息，接收由相机捕获的图像信息，生成基于车辆驾驶信息估计的第一光流图案，生成基于图像信息计算的第二光流图案，以及基于第一光流图案和第二光流图案识别前景运动图案。
在此，车辆驾驶信息可以包括转向角信息和车辆速度信息，并且生成第一光流图案的步骤可以包括：基于转向角信息估计光流向量的方向，基于车辆速度信息估计光流向量的大小，基于所估计的方向和大小估计光流向量，以及将所估计的光流向量映射到预定图像平面中以便生成第一光流图案。
另外，可以基于相机的预定设置参数来设置图像平面。
在此，设置参数可以包括相机的取向角或相机被布置的方向中的至少一个。
另外，生成第二光流图案的步骤可以包括从图像信息中提取图像帧，使用图像帧中的两个连续的图像帧计算光流向量，以及将所计算的光流向量映射到预定图像平面以生成第二光流图案。
另外，可以基于图像信息和相机的预定设置参数之一来设置图像平面。
另外，可以基于第一光流图案和第二光流图案在其对应位置处的光流向量之间的差值来识别运动图案。
在差值在预定参考范围内的情况下，可以将光流向量确认或分类为背景运动图案。
在差值偏离参考范围的情况下，可以将光流向量确认或分类为前景运动图案。
另外，可以基于确认运动图案的结果生成背景运动图案和前景运动图案。
在此，可以基于背景运动图案来校正相机的设置参数。
另外，可以基于前景运动图案识别移动对象。
在另一实施方式中，通过车载通信网络操作上连接至相机和控制器的图像分析装置包括：通信单元，其用于通过车载通信网络接收车辆驾驶信息和图像信息；光流图案生成单元，其用于生成基于车辆驾驶信息估计的第一光流图案和基于图像信息计算的第二光流图案；以及运动图案识别单元，其用于基于第一光流图案和第二光流图案识别运动图案，其中，运动图案包括前景运动图案和背景运动图案。
在此，车辆驾驶信息可以从用于控制车辆的驾驶的至少一个控制器接收，并且可以包括转向角信息和车辆速度信息，并且光流图案生成单元可以包括第一光流图案生成单元，第一光流图案生成单元包括：光流方向估计单元，其用于基于转向角信息估计光流向量的方向；光流大小估计单元，其用于基于车辆速度信息估计光流向量的大小；光流向量估计单元，其用于基于所估计的方向和大小估计光流向量，以及第一图像平面映射单元，其用于将所估计的光流向量映射到预定图像平面中以生成第一光流图案。
在此，可以基于相机的预定设置参数来设置图像平面。
另外，设置参数可以包括以下中的至少一个：相机的取向角或相机被布置的方向。
另外，光流图案生成单元可以包括第二光流图案生成单元，第二光流图案生成单元包括：图像帧提取单元，其用于从图像信息中提取图像帧；光流向量计算单元，其用于使用图像帧中的两个连续的图像帧计算光流向量；以及第二图像平面匹配单元，其用于将所计算的光流向量映射到预定图像平面中以生成第二光流图案。
在此，可以基于图像信息和相机的预定设置参数中之一来设置图像平面。
另外，运动图案识别单元可以包括：光流图案比较单元，其用于对第一光流图案和第二光流图案在其对应位置处的光流向量彼此进行比较；背景运动确认单元，其用于在光流向量之间的差值在预定参考范围内的情况下将光流向量确认为背景运动图案；以及前景运动确认单元，其用于在差值偏离参考范围的情况下将光流向量确认为前景运动图案。
另外，运动图案识别单元可以基于识别结果生成背景运动图案和前景运动图案，并且图像分析装置还可以包括以下中的至少一个：相机校正单元，其用于基于背景运动图案校正相机的设置参数，或对象检测单元，其用于基于前景图像图案检测移动对象。
在另一实施方式中，图像分析***包括：图像捕获装置，其用于使用其中包括的至少一个图像传感器收集正在驾驶的车辆的图像信息，以及图像分析装置，该图像分析装置包括：通信单元，其用于通过车载通信网络接收车辆驾驶信息和图像信息；光流图案生成单元，其用于生成基于车辆驾驶信息估计的第一光流图案和基于图像信息计算的第二光流图案，以及运动图案识别单元，其用于基于第一光流图案和第二光流图案识别运动图案，其中，运动图案包括前景运动图案和背景运动图案。
在另一实施方式中，一种具有车载通信网络的车辆包括：图像捕获装置，其用于使用其中包括的至少一个图像传感器收集正在驾驶的车辆的图像信息；至少一个控制器，其用于收集车辆驾驶信息；以及运动图案识别单元，其用于在通过车载通信网络接收车辆驾驶信息和图像信息时生成基于车辆驾驶信息估计的第一光流图案和基于图像信息计算的第二光流图案并且基于第一光流图案和第二光流图案识别运动图案。
在另一实施方式中，一种用于车辆的图像分析装置包括：至少一个处理器和用于存储由至少一个处理器执行的程序的至少一个存储器，其中，至少一个处理器通过车载通信网络接收车辆驾驶信息和图像信息，生成基于车辆驾驶信息估计的第一光流图案，生成基于图像信息计算的第二光流图案，以及基于第一光流图案和第二光流图案识别运动图案以生成前景运动图案和背景运动图案。
在另一实施方式中，提供了一种用于实现图像分析方法的程序和一种其中记录有该程序的计算机可读记录介质。
本公开内容的上述方面仅仅是优选实施方式中的一些，并且本领域技术人员可以从以下详细描述中得到并理解并入有技术特征的各种实施方式。
有益效果
根据实施方式的方法和装置具有以下效果。
可以提供使用车辆驾驶信息的图像分析方法和图像分析装置以及使用该图像分析装置的图像分析***。
另外，可以提供以下图像分析方法和装置：能够使用基于车辆运动信息估计的光流图案和基于由相机捕获的图像信息计算的光流图案来识别运动图案，从而更加准确地识别车辆前方的移动对象。
另外，可以提供以下图像分析方法和装置：能够将基于车辆运动信息估计的光流图像与基于由相机捕获的图像信息计算的光流图案进行比较以识别前景运动和背景运动并且基于所识别的背景运动自动地校正相机。
本领域技术人员将理解，通过本公开内容的实施方式可以实现的效果不限于上述那些效果，并且将根据以下详细描述更清楚地理解本公开内容的其他效果。
附图说明
附图示出了本公开内容的实施方式，并且与说明书一起用于说明本公开内容的原理，附图被包括以提供对本公开内容的进一步理解并被并入本申请中且构成本申请的一部分。然而，要理解的是，本公开内容的技术特征不限于特定附图，并且附图中公开的特征可以组合以构成新的实施方式。在附图中：
图1是示出用于使用车辆中安装的相机分析图像的传统装置的构造的图；
图2是根据实施方式的车辆通信网络的示意框图；
图3是示出根据另一实施方式的车载通信网络的结构的图；
图4是示出根据实施方式的图像分析***的框图；
图5是示出根据实施方式的图像分析装置的构造的框图；
图6是示出根据实施方式的图像分析装置的详细构造的图；
图7是示出根据实施方式的第一光流图案生成单元的详细构造的图；
图8是示出根据实施方式的第二光流图案生成单元的详细构造的框图；
图9是示出根据实施方式的运动图案识别单元的详细构造的框图；
图10是示出在根据实施方式的图像分析装置中使用车辆驾驶状态信息进行的图像分析方法的流程图；
图11至图13是示出根据实施方式的图像分析方法的详细过程的流程图；
图14是示出在根据实施方式的图像分析***中基于车辆驾驶状态信息进行的图像分析过程的图；以及
图15是示出根据另一实施方式的图像分析装置的构造的框图。
最优方式
在通过车载通信网络操作上连接至相机和控制器的装置中，根据实施方式的图像分析方法可以包括：从用于控制车辆的驾驶的至少一个控制器接收车辆驾驶信息，接收由相机捕获的图像信息，生成基于车辆驾驶信息估计的第一光流图案，生成基于图像信息计算的第二光流图案，以及基于第一光流图案和第二光流图案识别前景运动图案。
本发明的方式
在下文中，将参照附图详细地描述实施方式所应用于的装置和各种方法。如本文所使用的，可互换地添加或使用后缀“模块”和“单元”，以便于准备本说明书并且不旨在暗示不同的含义或功能。
虽然构成本公开内容的实施方式的所有元件被描述为连接成一体或者彼此连接地操作，但是本公开内容不限于所描述的实施方式。即，在本公开内容的范围内，可以选择性地连接元件中的一个或更多个元件以进行操作。另外，尽管所有元件都可以被实现为一个独立的硬件装置，但是可以选择性地组合元件中的一些或全部，以实现具有用于执行在一个或更多个硬件装置中组合的功能中的一些或全部的程序模块的计算机程序。构成计算机程序的代码和代码段可以由本领域技术人员容易地推断。计算机程序可以存储在计算机可读存储介质中，该计算机程序被计算机读取并执行以实现本公开内容的实施方式。计算机程序的存储介质可以包括磁记录介质和光记录介质。
除非另有说明，否则术语“包括”、“包含”以及“具有”应当被理解为不排除存在或添加一个或更多个其他部件的可能性。除非另有限定，否则包括技术和科学术语的所有术语具有与本公开内容所属领域的普通技术人员通常理解的那些含义相同的含义。常用术语诸如在通常的词典中定义的术语应当被解释为与相关领域的上下文含义一致，并且除非明确地限定成相反的含义，否则不应被理解为理想或过于正式的含义。
在描述本公开内容的部件时，可以使用诸如“第一”、“第二”、“A”、“B”、“(a)”和“(b)”的术语。这些术语仅用于将一个成分与另一个成分进行区分的目的，并且这些术语不限制部件的性质、顺序或序列。当一个部件被称为“连接”、“耦接”或“链接”至另一部件时，应当理解，这意味着一个部件可以直接连接或链接到另一部件，或者也意味着另一部件可以介于这些部件之间。
图2是示出根据实施方式的车辆通信网络的示意框图。
参照图2，根据实施方式的高速CAN网络可以主要包括以下中的至少一个：车辆网关100、第一控制器至第n控制器、CAN总线120、ODB 130或远程信息处理终端140。
车辆网关100可以通过用于认证控制器的过程来确定通过CAN网络连接的控制器是否是安全控制器。另外，车辆网关100可以以有线或无线方式连接至远程信息处理终端140和ODB 130。
具体地，车辆网关100可以响应于来自远程信息处理终端140或ODB 130的预定控制信号来收集安装在车辆中安装的控制器即ECU中的软件的版本信息，并且可以将该信息发送至远程信息处理终端140或ODB 130。另外，在从远程信息处理终端140或ODB 130接收到软件更新请求时，车辆网关100可以从远程信息处理终端140或ODB 130接收用于控制器的软件文件，并且可以将软件安装在控制器中。
双绞线用作CAN主总线120，并且根据不同的信号CAN_HI和CAN_LO驱动两条线。终端电阻器121可以设置在CAN主总线的相对端。CAN主总线120中的传输速度可以取决于总线的长度即主线的长度而改变。
第一控制器至第n控制器可以经由CAN分支总线123连接至预定的CAN接头连接器或CAN集线器(未示出)。理论上，能够连接至单个CAN网络的控制器的最大数目是2032。另外，多个控制器可以经由CAN分支总线123连接至单个CAN集线器。
在下文中，将参照附图标记110至115描述连接至通用CAN网络的控制器的结构。
第一控制器110可以包括CAN驱动器111、CAN控制器113和微控制器115。
CAN驱动器111经由预定的CAN连接器或CAN集线器连接至CAN总线120，并且构成控制器的物理层。CAN驱动器111可以提供感测和管理CAN总线120的阻塞的功能以及发送和接收消息的功能。
CAN控制器113发送和接收CAN协议消息并且过滤所接收的消息。替选地，CAN控制器113提供作为用于重传控制的消息缓冲器的功能和作为与微控制器115的接口的功能。
CPU可以被安装在可以提供上层协议和各种应用的微控制器115中。
尽管未在图2中示出，但是控制器可以包括预定存储器，所述预定存储器其上记录有优先级信息、安装软件版本信息和感测信息。
在此，存储器可以包括以下中的至少一个：闪速存储器型存储器、硬盘型存储器、多媒体卡微型存储器、卡型存储器(例如，SD或XD存储器)、随机存取存储器(RAM)、静态随机存取存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁存储器、磁盘和光盘。
图3是实施方式所应用于的车辆通信网络的示意框图。
如图3所示，车辆通信网络可以在电子控制单元(下文中，简称为ECU)之间提供协议转换以用于在单个车辆网关中支持不同的总线通信协议，使得电子控制单元之间的通信是可能的。
在下文中，将简要描述能够使用总线通信协议连接至车辆网关和ECU的总线通信协议。
在示例中，车辆总线通信协议可以包括：
(1)J1850和/或OBDII总线，通常用于车辆诊断和电气元件；
(2)Intellibus，通常用于车辆***，例如发动机控制、变速器控制和室内温度控制(气候控制)，以及可以用于线控驱动和电子控制单元(ECU)；
(3)高速测量控制器通信网络(高速CAN总线)，通常用于转向控制***、制动***和发动机管理***；
(4)分布式***接口(DSI)和/或Bosch-Siemens-Temic(BST)总线，其通常用于安全相关的电气设备；
(5)ByteFlight，通常用于对安全重要的电气设备应用；
(6)本地互连网络(LIN)，通常
用于智能操作者和/或智能传感器；
(7)低速测量控制器通信网络(CAN)和/或摩托罗拉互连(MI)，通常用于窗户、镜子、座椅和/或低速电气设备，例如室内温度控制器；
(8)移动媒体链路(MML)、国内数字数据(D2B)、smartwireX、设备间总线(IEBus)和/或面向媒体的***传输(MOST)，通常用于支持车载多媒体电气设备，例如音频加热单元、放大器、CD播放器、DVD播放器、蜂窝连接、蓝牙连接、***计算机连接、后座娱乐单元、无线电、数字存储装置和/或GPS导航***；
(9)低压差分信号(LVDS)，通常用于支持平视显示器、仪表板显示器、其他数字显示器和驾驶员辅助数字摄像机；
(10)FlexRay，可以用于安全关键和/或线控应用；以及
(11)以太网，用于由于通过与设备的一对一通信连接来高效使用可用的带宽而引起的与故障诊断***(车载诊断，OBD)、信息娱乐***和使用相机包括诸如环绕视图的功能的驾驶辅助***(DAS)的操作连接。
在以上示例中，至少一个车辆网关可以被包括在车辆网络中使得使用不同总线通信协议的ECU或电子部件彼此通信。例如，在安全相关的问题中，制动ECU、发动机控制ECU和/或变速器控制ECU可能需要彼此通信。此时，网关可以提供协议转换功能以便在支持不同通信协议的ECU之间进行简单的通信。
根据实施方式的车辆网关可以包括预定的诊断通信接口模块，并且可以通过诊断通信接口模块与外部诊断装置通信。在此，诊断通信接口模块可以提供以下中的至少一个：以太网通信功能、蓝牙通信功能、Wi-Fi通信功能、NFC(近场连接)通信功能、WCDMA(宽带码分多址)通信功能、LTE(长期演进)通信功能、或LTE高级通信功能。
图4是示出根据实施方式的图像分析***的框图。
参照图4，图像分析***400可以包括车辆驾驶控制装置410、图像捕获装置420、图像输出装置430、车载通信网络440和图像分析装置450。
车辆驾驶控制装置410可以在车辆被驾驶时实时收集驾驶状态信息。在此，驾驶状态信息可以包括以下中的至少一个：驾驶速度信息、转向角信息、制动操纵状态信息或巡航功能设置状态信息。
车辆驾驶控制装置410可以定期地或者每当特定事件发生时通过车载通信网络440将收集的驾驶状态信息发送至图像分析装置450。在示例中，车辆驾驶控制装置410可以包括发动机管理ECU、制动控制ECU、速度传感器和转向控制ECU。然而，本公开内容不限于此。可以使用能够收集关于车辆的当前驾驶状态的信息的任何装置。在示例中，车辆驾驶控制装置410还可以包括全球定位***(GPS)装置和导航装置。
图像捕获装置420可以通过车载通信网络440将通过其中设置的图像传感器例如相机获取的图像信息发送至图像分析装置450。多个图像传感器可以被安装在车辆中来以各种角度和各个方向获取图像信息，并且可以将图像信息发送至图像分析装置450。此时，图像传感器的相机镜头的取向角和布置方向(下文中，为了便于描述，称为相机设置信息或相机设置参数)可以不同地设置，并且可以改变。在示例中，每个相机镜头的取向角可以表示每个轴在三轴(x/y/z)坐标平面中的取向角。然而，本公开内容不限于此。另外，相机布置信息可以是用于识别相机在车辆中布置的位置的信息(其可以包括例如前面、左面、右面和后面)。
图像输出装置430可以通过车载通信网络440输出由图像分析装置450处理的图像。车辆中安装的音频视频导航(AVN)***中包括的显示装置可以用作图像输出装置430。然而，本公开内容不限于此。可以将单独的图像输出装置布置并安装在车辆中的特定区域处。
图像分析装置450可以通过基于车辆驾驶状态信息和图像信息的图像分析来识别前景运动图案和背景图像图案。
前景运动可以是前景的变化或对象的变化。
另外，图像分析装置450可以基于所识别的前景运动图案识别车辆前方的移动对象，并且可以通过车载通信网络440将对象识别结果发送至图像输出装置430。在另一示例中，在基于对象识别结果感测到危险情况时，图像分析装置450可以执行控制使得通过车辆的一侧处设置的扬声器和/或警报灯(未示出)输出预定警报。
另外，图像分析装置450可以基于所识别的背景运动图案来估计相机的设置参数，并且可以将所估计的相机设置参数与实际设置的相机设置参数进行比较以校正相机的设置参数。车辆中安装的相机的取向角或方向可以由于外部物理冲击而改变。在该情况下，相机的当前相机设置信息和当前取向方向可以彼此不同。因此，为了准确的图像分析，校正当前相机设置信息以对应于相机的当前取向方向会是重要的。
在另一实施方式中，在相机的当前相机设置信息和当前取向方向彼此不同的情况下，图像分析装置可以执行控制使得相机被布置的位置和相机的取向方向与当前相机设置信息相匹配。
在示例中，根据该实施方式的图像捕获装置420中包括的相机10可以是3D立体相机。然而，本公开内容不限于此。
3D立体相机可以通过其中包括的两个相机生成立体图像。可以根据相机布置类型和注视点类型对3D立体相机进行分类。相机布置类型包括平行型和垂直型。从人眼至目标的距离称为注视距离。以相同的方式，当使用立体相机捕获图像时从相机至目标的距离也称为注视距离。此时，取决于如何计算和控制注视距离，相机布置类型可以被分类为水平型、交叉型和水平移动型。
平行型相机具有简单的结构，因为两个相机并排布置。然而，与镜头和主体的尺寸相比，难以将相机之间的距离减小到小于作为普通人的眼睛之间的距离的65mm。
垂直型相机具有以下结构：两个相机被布置成彼此垂直，分束器(或半反射镜)被布置在相机前方，并且捕获通过镜头透射和反射的左右图像。另外，垂直型相机的优点在于：两个相机可以被布置成彼此间隔开小于65mm的距离，以及宏观立体捕获是可能的。然而，垂直型相机的结构很大，并且难以精心制造垂直型相机。
在水平型相机中，两个相机被并排布置，并且相机之间的距离仅在水平方向上是可调的。水平型相机属于最简单的类型，其中没有提供注视点控制功能，使得易于制造水平型相机。然而，在近距离处的场景或需要高倍变焦的场景中，过度地生成视差，这导致眼睛疲劳。
交叉型相机属于其中相机被旋转以便调节注视距离如同人眼的瞳孔被旋转以便调节注视距离的类型，并且具有简单的结构。然而，交叉型相机具有以下问题：可以使距离与视差之间的关系失真，以及发生其中以梯形形状而不是矩形形状示出图像的梯形畸变失真现象，由此可以导致疲劳。
在水平移动型相机中，两个相机以与水平型相机相同的方式彼此平行地布置，并且增加每个相机与镜头之间的距离以便调节注视点。该类1具有以下优点：解决了在交叉型相机中发生的距离与视差之间的关系的失真，以及可以捕获相对高质量的立体图像。然而，在水平移动型相机中，必须分开制造镜头和相机主体。
通过参照图5至图14给出的以下描述，图像分析装置450的详细构造和操作将变得更加明显。
图5是示出根据实施方式的图像分析装置的构造的框图。
参照图5，图像分析装置450可以包括控制器510、通信单元511、光流图案生成单元520、运动图案识别单元530、相机校正单元540、对象检测单元550以及存储器560。
应当注意，图5中所示的图像分析装置450的元件不一定是必要元件，并且因此图像分析装置可以包括较少数目的元件或较多数目的元件。
控制器510可以控制图像分析装置450的整体操作，并且可以控制输入和输出。另外，控制器510可以管理输入和输出数据以及下游模块(例如，通信单元511、光流图案生成单元520、运动图案识别单元530、相机校正单元540和对象检测单元550)的状态。
通信单元511可以处理通过车载通信网络440发送和接收的消息(或信号或分组)。通信单元511可以包括用于调制消息或分组的调制器以及用于解调所接收的信号以生成分组或消息的解调器。如在图2的CAN驱动器中那样，调制器和解调器可以被配置和安装为硬件和/或软件模块。
在从车辆驾驶控制装置410接收到车辆驾驶状态信息时，通信单元511可以将该车辆驾驶状态信息发送至控制器510。
另外，在从图像捕获装置420接收到图像信息时，通信单元511可以将该图像信息发送至控制器510。
光流图案生成单元520可以从控制器510接收车辆驾驶状态信息和图像信息。光流图案生成单元520可以生成用于分类和确定车辆驾驶状态、背景或前景的信息。用于进行确定的信息可以是光流图案、被移动的信息量以及信息移动的方向、或者诸如确定标准中的速度、方向和长度的属性值。
光流图案生成单元520可以生成基于车辆驾驶状态信息估计的第一光流图案，并且可以生成基于图像信息计算的第二光流团案。
运动图案识别单元530可以将第一光流图案和第二光流图案彼此进行比较以识别前景运动图案和背景运动图案。在此，“前景运动”可以是其中在车辆被驾驶时光流向量随时间不具有均匀图案的运动例如前方车辆或行人。也就是说，前景运动可以表示实际移动对象的运动。相比之下，“背景运动”可以是其中在车辆被驾驶时光流向量随时间具有均匀图案的运动例如护栏或道路表面。也就是说，背景运动可以是在车辆被驾驶时静止的对象的运动。
可以基于输出图像来解释运动。也就是说，尽管背景是静止的，但是可以解释为由于因车辆移动而引起的相对运动而导致背景在输出图像中移动。可以以与背景运动中相同的方式基于输出图像来解释对象的运动。
相机校正单元540可以基于识别的背景运动图案来估计相机的设置参数，可以将所估计的参数与实际设置的参数进行比较，并且可以确定是否有必要校正相机的设置参数。在确定有必要校正相机的设置参数时，相机校正单元540可以计算并生成要更新的设置信息(下文中，为了便于描述，被称为“校正设置信息”)。控制器510可以将包括所生成的校正设置信息的预定控制信号发送至图像捕获装置420以便校正相机的取向角和位置。
在转换图像视图时，相机校正对于获取准确的视图画面非常重要。在示例中，在前视画面被转换为顶视画面时相机设置不正常的情况下，会输出不正确或失真的顶视图图像。
对象检测单元550可以基于前景图像图案识别移动对象。关于所识别的对象的信息可以与由相机捕获的图像一起映射，并且可以被发送至可以输出所识别的对象的图像输出装置430。
另外，在基于对象识别结果感测到危险情况时，对象检测单元550可以将该危险情况发送至控制器510，控制器510可以执行控制使得输出预定警告警报。在示例中，警告警报可以通过警报装置例如扬声器、蜂鸣器、振动器或LED灯来输出。然而，本公开内容不限于此。
当前相机设置信息可以被记录和保存在存储器560中。在正常校正相机设置信息的情况下，控制器510可以将当前相机设置信息更新为校正后的相机设置信息。
通过参照附图给出的以下描述，构成图像分析装置450的元件的详细操作将变得更加明显。
图6是示出根据该实施方式的图像分析装置的详细构造的图。
参照图6，通信单元511可以包括第一接收单元610和第二接收单元620。
在从车辆驾驶控制装置410接收到车辆驾驶状态信息时，第一接收单元610可以将该车辆驾驶状态信息发送至控制器510。
在从图像捕获装置420接收到图像信息或图像信号时，第二接收单元620可以对该图像信息或图像信息号进行解码，并且可以将解码的信息发送至控制器510。在该情况下，第二接收单元620可以从所接收的图像信息中提取图像帧。在另一示例中，接收单元620可以直接从图像捕获装置420接收图像帧。
光流图案生成单元520可以包括第一光流图案生成单元630和第二光流图案生成单元640。
第一光流图案生成单元630可以生成基于车辆驾驶状态信息估计的第一光流图案。在示例中，第一光流图案生成单元630可以基于转向角信息来估计光流向量的方向，并且可以基于车辆速度信息来估计光流向量的大小。随后，第一光流图案生成单元630可以基于所估计的方向和大小来估计光流向量，并且可以将所估计的光流向量映射到图像平面中以便生成第一光流图案。
第二光流图案生成单元640可以使用图像信息生成第二光流图案。
在示例中，第二光流图案生成单元640可以从图像信息中获取图像帧，并且可以将所获取的连续的图像帧彼此进行比较以计算光流向量。随后，第二光流图案生成单元可以将所计算的光流向量映射到图像平面中以便生成第二光流图案。
图7是示出根据实施方式的第一光流图案生成单元的详细构造的图。
参照图7，第一光流图案生成单元630可以包括光流方向估计单元710、光流大小估计单元720、光流向量估计单元730和第一图像平面匹配单元740。
光流方向估计单元710可以基于转向角信息估计光流向量的方向。在另一示例中，光流方向估计单元710可以使用GPS信息以及转向角信息来估计光流向量的方向。
光流大小估计单元720可以基于车辆速度信息估计光流向量的大小。
光流向量估计单元730可以生成基于所估计的方向和大小归一化的光流向量。
第一图像平面匹配单元740可以将经归一化的光流向量与图像平面相匹配以生成第一光流图案。在此，图像平面可以是基于相机的当前设置信息设置的平面。也就是说，可以通过相机被安装在车辆中的位置以及相机的取向方向和取向角来设置图像平面。
图8是示出根据实施方式的第二光流图案生成单元的详细构造的框图。
参照图8，第二光流图案生成单元640可以包括图像帧提取单元810、光流向量估计单元820和第二图像平面匹配单元830。
图像帧提取单元810可以从图像信息中提取连续的图像帧。
光流向量计算单元820可以基于两个连续的图像帧的像素或像素组之间的光流的变化来计算光流向量。
第二图像平面匹配单元830可以将所计算的光流向量与图像平面相匹配以生成第二光流图案。
图9是示出根据实施方式的运动图案识别单元的详细构造的框图。
参照图9，运动图案识别单元530可以包括光流图案比较单元910、前景运动识别单元920和背景运动识别单元930。
光流图案比较单元910可以将第一光流图案和第二光流图案在其对应位置处的光流向量彼此进行比较。
在发现光流向量之间的差值在预定参考范围内作为比较结果的情况下，光流图案比较单元910可以将光流向量分类或确认为与背景运动对应的光流向量。
另一方面，在光流向量之间的差值偏离预定参考范围作为比较结果的情况下，光流图案比较单元910可以将光流向量分类或确认为与前景运动对应的光流向量。
前景运动识别单元920可以使用所分类的与前景运动对应的光流向量来生成前景运动图案。
背景运动识别单元930可以使用所分类的与背景运动对应的光流向量来生成背景运动图案。
图10是示出在根据该实施方式的图像分析装置中使用车辆驾驶状态信息进行的图像分析方法的流程图。
参照图10，图像分析装置可以从图像捕获装置接收图像信息，并且可以基于所接收的图像信息生成第二光流图案(S1010和S1020)。
在从用于控制车辆的驾驶的至少一个ECU接收到车辆驾驶状态信息时，图像分析装置可以生成基于所接收的车辆驾驶状态信息估计的第一光流图案(S1030和S1040)。
图像分析装置可以基于第一光流图案和第二光流图案识别运动图案(S1050)。在此，运动图案可以包括前景运动图案和背景图像图案。
图像分析装置可以使用所识别的前景运动图案识别移动对象(S1060)。
另外，图像分析装置可以使用所识别的背景运动图案来校正相机设置信息(S1070)。
图11至图13是示出根据该实施方式的图像分析方法的详细过程的流程图。
参照图11，图10的步骤1040可以被分为以下四个子步骤。
图像分析装置可以基于车辆驾驶状态信息中包括的转向角信息来估计光流向量的方向(S1110)。
图像分析装置可以基于车辆驾驶状态信息中包括的车辆速度信息来估计光流向量的大小(S1120)。当然，应当注意，可以顺序地或反向地执行步骤1110和步骤1120。
图像分析装置可以基于所估计的方向和大小来估计光流向量(S1130)。在此，所估计的光流向量具有仅包括方向和大小的经归一化的向量值，并且因此可能与由相机实际捕获的视平面不同。
图像分析装置可以将所估计的光流向量映射到图像平面中以生成第一光流图案(S1140)。在此，可以基于相机的设置信息来设置图像平面。
车辆驾驶速度信息可以由用于在车辆被驾驶时感测车辆速度的传感器收集，并且可以由图像分析装置接收。车辆速度传感器可以是机械传感器或电子传感器。前者仅用于速度计，而后者可以用于速度计和电子装置两者。
在示例中，在机械车辆速度传感器中，变速器的输出轴的旋转经由柔性轴被传送到速度计的驱动轴以移动速度计的指示器。因此，在机械车辆速度传感器中，可以感测速度计的指示器的运动以测量车辆的当前驾驶速度。另一方面，在电子车辆速度传感器中，使用电子拾取器、霍尔元件、簧片开关或磁阻元件来检测变速器的输出轴的旋转以测量车辆的当前驾驶速度。
车辆速度传感器检测与车轮的速度对应的速度。因此，在车轮被锁定或滑动的情况下，车身的速度和由传感器测量的值可能会彼此不同。因此，为了更准确地测量车辆的驾驶速度，可以使用激光或超声波来测量道路表面的移动速度以估计车辆的实际驾驶速度。
参照图12，图10的步骤1020可以包括以下三个子步骤。
图像分析装置可以从所接收的图像信息中提取图像帧(S1210)。
图像分析装置可以使用时间序列中的两个连续的图像帧来计算光流向量(S1220)。
图像分析装置可以将所计算的光流向量映射到图像平面中以生成第二光流图案(S1230)。在此，图像平面可以是基于相机的预定设置信息(或设置参数)设置的平面，然而，这仅仅是一个实施方式。在另一示例中，可以基于从图像捕获装置接收的图像信息或使用另外的图像信息来设置图像平面。
参照图13，图10的步骤1050可以包括步骤1310至步骤1350。
图像分析装置可以将第一光流图案和第二光流图案在其对应位置处的光流向量彼此进行比较(S1310)。
图像分析装置可以确定光流向量之间的差值是否在预定参考范围内(S1320)。
在确定光流向量之间的差值在参考范围内时，图像分析装置可以将光流向量确认为背景运动(S1330)。
另一方面，在确定光流向量之间的差值偏离参考范围时，图像分析装置可以将光流向量确认为前景运动(S1340)。
图像分析装置可以基于步骤1330和步骤1340的确认结果生成背景运动图案和前景运动图案(S1350)。
此时，所生成的前景运动图案可以与由相机捕获的图像一起被映射，并且然后可以通过操作上连接至图像分析装置的图像输出装置来输出。
图14是示出根据该实施方式的图像分析***中的基于车辆驾驶状态信息的图像分析过程的图。
参照图14，可以通过车载通信网络将由车辆控制器测量或收集的车辆驾驶信息发送至图像分析装置(S1401)。
图像分析装置可以基于所收集的车辆驾驶信息估计光流向量，并且然后可以将所估计的光流向量映射到图像平面中以生成第一光流图案(S1402和S1403)。
同时，可以通过车载通信网络将由相机捕获的图像信息发送至图像分析装置(S1404)。
图像分析装置可以从接收的图像信息中提取图像帧，并且可以使用两个连续的图像帧来计算光流向量(S1405)。图像分析装置可以将所计算的光流向量映射到图像平面中以生成第二光流图案(S1406)。
步骤1401至步骤1403和步骤1404至步骤1406可以彼此在时间上同步的状态下来执行。
图像分析装置可以将第一光流图案和第二光流图案彼此进行比较以识别运动图案(S1407)。此时，图像分析装置可以基于比较结果识别前景运动图案和背景运动图案(S1408和S1409)。
图15是示出根据另一实施方式的图像分析装置的构造的框图。
参照图15，图像分析装置1500可以包括通信组件1510、处理器组件1520、存储器1530和电力组件1540。
电力组件1540可以管理操作装置所必需的电力，以及通信组件1510可以提供经由车载通信网络与另一控制器的通信接口。在示例中，通信组件1510可以包括数字信号处理器(DSP)和专用集成电路(ASIC)。
处理器组件1520可以具有用于控制其中安装的装置的整体操作的应用程序，并且可以包括至少一个微处理器。操作处理器组件1520所必需的应用软件和固件被存储在存储器1530中，以及在对装置供电时可以被加载到处理器中并且然后被执行。
另外，可以基于存储器1530中存储的操作***(OS)来操作图像分析装置1500。图像分析装置1500的存储器1530中存储的操作***的示例可以包括Windows ServerTM、MacOS XTM、UnixTM、LinuxTM和FreeBSDTM。然而，本公开内容不限于此。
由处理器组件1520执行的指令即程序例如应用程序可以被存储在存储器1530中。存储器1530中存储的应用程序可以包括一个或更多个模块。此时，每个模块与一系列指令组对应。另外，处理器组件1520可以被配置成执行指令，并且可以执行图10至图13中所示的方法。
在示例中，处理器组件1520可以通过通信组件1510从图像捕获装置接收图像信息，并且可以基于所接收的图像信息生成第二光流图案。
另外，处理器组件1520可以通过通信组件1510从用于控制车辆的驾驶的至少一个ECU接收车辆驾驶状态信息，并且可以生成基于所接收的车辆驾驶状态信息估计的第一光流图案。
处理器组件1520可以基于第一光流图案和第二光流图案识别运动图案。在此，运动图案可以包括前景运动图案和背景图像图案。
处理器组件1520可以使用所识别的前景运动图案来识别移动对象，以及可以使用所识别的背景运动图案来校正相机设置信息。
对于本领域技术人员明显的是，在不脱离本公开内容的精神和本质特征的情况下，可以以除了在本文中阐述的形式之外的特定形式来实施本公开内容。
因此，上述实施方式应当在所有方面被解释为说明性而非限制性的。本公开内容的范围应当由所附权利要求及其法律等同物来确定，并且落入所附权利要求的含义和等同范围内的所有变化都旨在包含其中。工业应用性
实施方式涉及图像分析，并且更具体地，可以被应用于能够使用基于车辆被驾驶时的车辆驾驶信息估计的光流图案以及基于由相机捕获的图像信息计算的光流图案来分析运动图案的图像分析装置。

Claims (11)

1.一种在通过车载通信网络操作上连接至相机和控制器的装置中进行的图像分析方法，所述图像分析方法包括：
从用于控制车辆的驾驶的控制器接收车辆驾驶信息；
接收由所述相机捕获的图像信息；
生成基于所述车辆驾驶信息估计的第一光流图案；
生成基于所述图像信息计算的第二光流图案；
基于所述第一光流图案和所述第二光流图案识别运动图案，所述运动图案包括前景运动图案和背景运动图案；
基于所述运动图案中包括的所述前景运动图案识别移动对象；以及
基于所述背景运动图案通过调整所述相机的取向角和所述相机的方向中至少之一来校正所述相机的设置参数，
其中，基于所述第一光流图案和所述第二光流图案在其对应位置处的光流向量之间的差值来识别所述运动图案，并且
其中，在所述差值在预定参考范围内的情况下，将所述光流向量确认为所述背景运动图案。
2.根据权利要求1所述的图像分析方法，其中，
所述车辆驾驶信息包括转向角信息和车辆速度信息，并且
生成所述第一光流图案的步骤包括：
基于所述转向角信息估计光流向量的方向；
基于所述车辆速度信息估计所述光流向量的大小；
基于所估计的方向和大小估计所述光流向量；以及
根据所估计的光流向量生成所述第一光流图案。
3.根据权利要求1所述的图像分析方法，其中，生成所述第二光流图案的步骤包括：
从所述图像信息中提取图像帧；
使用所述图像帧中的两个连续的图像帧计算光流向量；以及
根据所计算的光流向量生成所述第二光流图案。
4.根据权利要求1所述的图像分析方法，其中，在所述差值偏离所述参考范围的情况下，将所述光流向量确认为对象变化图案。
5.根据权利要求4所述的图像分析方法，其中，基于确认结果生成所述背景运动图案和所述对象变化图案。
6.根据权利要求5所述的图像分析方法，其中，基于所述对象变化图案识别所述移动对象。
7.一种图像分析装置，包括：
通信单元，其用于发送和接收车辆驾驶信息和图像信息；
相机校正单元，其用于校正所述图像分析装置中设置的相机的设置参数；
光流图案生成单元，其用于生成基于所述车辆驾驶信息估计的第一光流图案和基于所述图像信息计算的第二光流图案；
运动图案识别单元，其用于基于所述第一光流图案和所述第二光流图案识别运动图案，所述运动图案包括前景运动图案和背景运动图案；以及
对象检测单元，其用于基于所述运动图案中包括的所述前景运动图案识别移动对象，
其中，基于所述第一光流图案和所述第二光流图案在其对应位置处的光流向量之间的差值来识别所述运动图案，
其中，在所述差值在预定参考范围内的情况下，所述运动图案识别单元将所述光流向量确认为所述背景运动图案，并且
其中，基于所述背景运动图案通过调整所述相机的取向角和所述相机的方向中至少之一来校正所述相机的设置参数。
8.根据权利要求7所述的图像分析装置，其中，
所述车辆驾驶信息包括转向角信息和车辆速度信息，并且
所述光流图案生成单元包括：
第一光流图案生成单元，其用于根据基于所述转向角信息估计的光流向量的方向和基于所述车辆速度信息估计的所述光流向量的大小来生成所述第一光流图案；以及
第二光流图案生成单元，其用于从所述图像信息中提取图像帧，使用所述图像帧中的两个连续的图像帧计算光流向量，并且根据所计算的光流向量生成所述第二光流图案。
9.根据权利要求7所述的图像分析装置，其中，
在所述差值偏离所述参考范围的情况下，所述运动图案识别单元将所述光流向量确认为对象变化图案。
10.根据权利要求9所述的图像分析装置，其中，
基于所确认的对象变化图案检测所述移动对象。
11.一种图像分析***，包括：
图像捕获装置，其用于使用所述图像分析***中设置的至少一个图像传感器收集正被驾驶的车辆的图像信息；
图像捕获装置校正单元，其用于校正所述图像捕获装置的设置参数；
通信单元，其用于通过车载通信网络接收车辆驾驶信息和所述图像信息；以及
图像分析装置，其用于生成基于所述车辆驾驶信息估计的第一光流图案和基于所述图像信息计算的第二光流图案，并且基于所述第一光流图案和所述第二光流图案识别运动图案，以及识别移动对象，
其中，所述运动图案包括背景运动图案和前景运动图案，
其中，基于所述运动图案中包括的所述前景运动图案识别移动对象，并且
其中，基于所述背景运动图案通过调整所述图像捕获装置的取向角和所述图像捕获装置的方向中至少之一来校正所述图像捕获装置的设置参数。
CN201780072644.3A 2016-11-23 2017-11-23 使用车辆驾驶信息的图像分析方法、装置、***和程序以及存储介质 Active CN109983469B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR1020160156668A KR102631964B1 (ko) 2016-11-23 2016-11-23 차량 주행 정보를 이용한 이미지 분석 방법, 장치, 시스템, 프로그램 및 저장 매체
KR10-2016-0156668 2016-11-23
PCT/KR2017/013443 WO2018097627A1 (ko) 2016-11-23 2017-11-23 차량 주행 정보를 이용한 이미지 분석 방법, 장치, 시스템, 프로그램 및 저장 매체

Publications (2)

Publication Number Publication Date
CN109983469A CN109983469A (zh) 2019-07-05
CN109983469B true CN109983469B (zh) 2023-08-08

Family

ID=62196003

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780072644.3A Active CN109983469B (zh) 2016-11-23 2017-11-23 使用车辆驾驶信息的图像分析方法、装置、***和程序以及存储介质

Country Status (4)

Country Link
US (1) US10909693B2 (zh)
KR (1) KR102631964B1 (zh)
CN (1) CN109983469B (zh)
WO (1) WO2018097627A1 (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6620715B2 (ja) * 2016-10-20 2019-12-18 株式会社デンソー 画像認識装置
KR102394153B1 (ko) * 2017-09-11 2022-05-09 주식회사 만도 통합형 ｅｃｕ
US20220156958A1 (en) * 2019-02-22 2022-05-19 Ryuichi Oka Moving image distance calculator and computer-readable storage medium storing moving image distance calculation program
US11153010B2 (en) * 2019-07-02 2021-10-19 Waymo Llc Lidar based communication
CN112232111B (zh) * 2020-09-01 2024-04-26 杭州鸿泉物联网技术股份有限公司 商砼车搅拌筒转向监测方法、***、电子设备与存储介质
KR20220147412A (ko) * 2021-04-27 2022-11-03 삼성전자주식회사 이미지 센서 모듈, 이미지 처리 시스템 및 이미지 센서 모듈의 동작 방법

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006285923A (ja) * 2005-04-05 2006-10-19 Nissan Motor Co Ltd コマンド入力装置
EP1727089A2 (en) * 1999-11-26 2006-11-29 MobilEye Technologies, Ltd. System and method for estimating ego-motion of a moving vehicle using successive images recorded along the vehicle's path of motion
CN101303732A (zh) * 2008-04-11 2008-11-12 西安交通大学 基于车载单目相机的运动目标感知与告警方法
CN101739550A (zh) * 2009-02-11 2010-06-16 北京智安邦科技有限公司 运动目标检测方法及***
CN102103753A (zh) * 2009-12-22 2011-06-22 三星电子株式会社 使用实时相机运动估计检测和跟踪运动对象的方法和终端
CN102622764A (zh) * 2012-02-23 2012-08-01 大连民族学院 一种基于移动相机平台的目标跟踪方法
DE102011056997A1 (de) * 2010-12-23 2012-08-09 Samsung Electronics Co., Ltd. Vorrichtung zur digitalen Bildstabilisierung
CN102881002A (zh) * 2012-07-11 2013-01-16 天津大学 基于运动信息和矩阵填充的视频背景恢复方法
CN104575003A (zh) * 2013-10-23 2015-04-29 北京交通大学 一种基于道路监控视频的车辆速度检测方法
KR20150069741A (ko) * 2013-12-16 2015-06-24 엘지전자 주식회사 차량 운전 보조 장치 및 이를 구비한 차량
CN105279771A (zh) * 2015-10-23 2016-01-27 中国科学院自动化研究所 一种视频中基于在线动态背景建模的运动目标检测方法

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4166982B2 (ja) * 2002-01-15 2008-10-15 日立工機株式会社 セーバソー
US7266220B2 (en) * 2002-05-09 2007-09-04 Matsushita Electric Industrial Co., Ltd. Monitoring device, monitoring method and program for monitoring
KR100630088B1 (ko) * 2004-12-28 2006-09-27 삼성전자주식회사 옵티컬 플로우를 이용한 차량 감시 장치 및 방법
TWI355615B (en) * 2007-05-11 2012-01-01 Ind Tech Res Inst Moving object detection apparatus and method by us
KR101180887B1 (ko) 2010-09-08 2012-09-07 중앙대학교 산학협력단 이상행위 검출장치 및 방법
JP5460635B2 (ja) * 2011-03-31 2014-04-02 本田技研工業株式会社 画像処理判定装置
KR101921610B1 (ko) * 2012-08-31 2018-11-23 에스케이 텔레콤주식회사 촬영영상으로부터 객체를 감시하기 위한 장치 및 방법
WO2014051262A1 (ko) * 2012-09-25 2014-04-03 에스케이텔레콤 주식회사 이벤트 룰 설정방법 및 이를 이용한 이벤트 감시장치
US9256791B2 (en) * 2012-12-04 2016-02-09 Mobileye Vision Technologies Ltd. Road vertical contour detection
US20140253785A1 (en) * 2013-03-07 2014-09-11 Mediatek Inc. Auto Focus Based on Analysis of State or State Change of Image Content
KR101512557B1 (ko) 2013-07-05 2015-04-22 현대다이모스(주) 영상정보를 이용한 4wd 차량의 주행제어장치 및 방법
KR101537559B1 (ko) 2013-12-30 2015-07-20 전자부품연구원 객체 검출 장치, 차량용 객체 검출 장치 및 이들의 방법
CN106461774B (zh) * 2014-02-20 2019-04-23 御眼视觉技术有限公司 基于雷达提示视觉成像的高级驾驶员辅助***
WO2017132278A1 (en) * 2016-01-29 2017-08-03 Faraday&Future Inc. System and method for camera-based detection of object heights proximate to a vehicle
US10616516B2 (en) * 2016-09-30 2020-04-07 Planet Labs Inc. Systems and methods for implementing time delay integration imaging techniques in conjunction with distinct imaging regions on a monolithic charge-coupled device image sensor

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1727089A2 (en) * 1999-11-26 2006-11-29 MobilEye Technologies, Ltd. System and method for estimating ego-motion of a moving vehicle using successive images recorded along the vehicle's path of motion
JP2006285923A (ja) * 2005-04-05 2006-10-19 Nissan Motor Co Ltd コマンド入力装置
CN101303732A (zh) * 2008-04-11 2008-11-12 西安交通大学 基于车载单目相机的运动目标感知与告警方法
CN101739550A (zh) * 2009-02-11 2010-06-16 北京智安邦科技有限公司 运动目标检测方法及***
CN102103753A (zh) * 2009-12-22 2011-06-22 三星电子株式会社 使用实时相机运动估计检测和跟踪运动对象的方法和终端
DE102011056997A1 (de) * 2010-12-23 2012-08-09 Samsung Electronics Co., Ltd. Vorrichtung zur digitalen Bildstabilisierung
CN102622764A (zh) * 2012-02-23 2012-08-01 大连民族学院 一种基于移动相机平台的目标跟踪方法
CN102881002A (zh) * 2012-07-11 2013-01-16 天津大学 基于运动信息和矩阵填充的视频背景恢复方法
CN104575003A (zh) * 2013-10-23 2015-04-29 北京交通大学 一种基于道路监控视频的车辆速度检测方法
KR20150069741A (ko) * 2013-12-16 2015-06-24 엘지전자 주식회사 차량 운전 보조 장치 및 이를 구비한 차량
CN105279771A (zh) * 2015-10-23 2016-01-27 中国科学院自动化研究所 一种视频中基于在线动态背景建模的运动目标检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
视频监控中运动目标检测方法研究;赵占杰;《中国优秀硕士学位论文全文数据库》;全文 *

Also Published As

Publication number Publication date
US10909693B2 (en) 2021-02-02
KR102631964B1 (ko) 2024-01-31
KR20180058046A (ko) 2018-05-31
CN109983469A (zh) 2019-07-05
US20190279374A1 (en) 2019-09-12
WO2018097627A1 (ko) 2018-05-31

Similar Documents

Publication Publication Date Title
CN109983469B (zh) 使用车辆驾驶信息的图像分析方法、装置、***和程序以及存储介质
JP7003660B2 (ja) 情報処理装置、情報処理方法及びプログラム
US10552695B1 (en) Driver monitoring system and method of operating the same
CN111845763B (zh) 用于在自主驾驶期间确保驾驶员参与度的安全机构
US11076141B2 (en) Image processing device, image processing method, and vehicle
US20200189459A1 (en) Method and system for assessing errant threat detection
US20220180483A1 (en) Image processing device, image processing method, and program
US20230016775A1 (en) Vehicular scalable security system
US20200212965A1 (en) Vehicular secured communication system
CN109070801B (zh) 使用后置相机的拖车角度检测
CN112534487B (zh) 信息处理设备、移动体、信息处理方法和程序
CN111033559A (zh) 用于图像模糊校正的图像处理、图像处理方法和程序
CN107415861A (zh) 用于车辆用来探测驾驶员对电子的设备的使用的方法和装置
WO2022075133A1 (ja) 撮像装置、情報処理装置、撮像システム及び撮像方法
CN111661057A (zh) 车辆、车机设备及其车辆变道路况提示方法
CN112693407A (zh) 车辆安全性增强
CN113168692A (zh) 信息处理装置、信息处理方法、程序、移动物体控制装置以及移动物体
CN105096656A (zh) 基于行车记录仪的疲劳驾驶监控方法、装置及***
KR20180080939A (ko) 차량 운전 보조장치 및 이를 포함하는 차량
US11195292B2 (en) Information processing apparatus and method, vehicle, and information processing system
WO2017145818A1 (ja) 信号処理装置、および信号処理方法、並びにプログラム
WO2020090320A1 (ja) 情報処理装置、情報処理方法及び情報処理プログラム
TWI573713B (zh) 行車距離提示裝置及其方法
CN107370984B (zh) 接收影像的方法、提供影像的方法及电子装置
CN111824006A (zh) 基于导航的车辆大灯自动调节方法、***及车辆

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant