CN108027974A - 图像处理装置以及图像处理方法 - Google Patents

图像处理装置以及图像处理方法 Download PDF

Info

Publication number
CN108027974A
CN108027974A CN201580082927.7A CN201580082927A CN108027974A CN 108027974 A CN108027974 A CN 108027974A CN 201580082927 A CN201580082927 A CN 201580082927A CN 108027974 A CN108027974 A CN 108027974A
Authority
CN
China
Prior art keywords
mentioned
image
model
state
series
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201580082927.7A
Other languages
English (en)
Inventor
上岛利明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Information and Telecommunication Engineering Ltd
Original Assignee
Hitachi Information and Telecommunication Engineering Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Information and Telecommunication Engineering Ltd filed Critical Hitachi Information and Telecommunication Engineering Ltd
Publication of CN108027974A publication Critical patent/CN108027974A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/144—Movement detection
    • H04N5/145—Movement estimation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/215—Motion-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/285—Analysis of motion using a sequence of stereo image pairs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6811—Motion detection based on the image signal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Signal Processing (AREA)
  • Electromagnetism (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)
  • Image Processing (AREA)

Abstract

根据与实际环境的对象物关联的物理量的观测值，高效地推定下一时刻的对象物的位置。因此，图像处理装置从第一图像提取拍摄到用于进行状态预测的第一对象物的第一对象物图像，识别上述第一对象物的种类(S102)。将用于进行状态预测的对象物的种类所对应的模型与第一对象物图像匹配，与第一对象物图像的特征点关联(S105)。根据第一对象物的位置以及初始观测状态从第一对象物的种类所对应的有限状态系列选择多个运动系列(S108)。按照选择出的多个运动系列中包括的各个运动系列来转换与第一对象物图像匹配的模型以及与其关联的特征点的坐标(S111)，以上述转换后的特征点为中心来生成粒子(S112)，决定概率最高的粒子为第一对象物的预期状态(S113)。

Description

图像处理装置以及图像处理方法
技术领域
本发明涉及图像处理装置以及图像处理方法，特别涉及一种根据拍摄到的图像预测被摄体的状态变化的技术。
背景技术
专利文献1中提出以下技术，即根据拍摄到的图像，通过粒子滤波法来推定对象物的物理量，或通过凝聚法将与对象物的特征量关联的量设为权重来推定对象物的位置。
专利文献2中提出以下技术，即将由具有三维坐标值的多个特征点和表示与各个特征点关联起来的局部图像的局部图像信息所构成的三维模型投影到二维的观测空间，并使用在二维观测空间中选择出的特征点集合来推定三维模型的状态量，然后将推定出的三维模型状态投影到观测空间并重复计算适合度来推定三维模型的状态量。
专利文献3中提出以下技术，在图像的多个位置依次设定用于判定是否存在目标的关注区域，根据弹性模型设定假设关注区域中存在目标时的部件(parts)的基准位置，对检测出的部件分别计算表示偏离基准位置的程度的值即弹性成本。然后，将存在多个计算出的弹性成本为预定范围内的相同种类的零件作为条件，判定关注区域为存在构成集团的目标的目标区域。
现有技术文献
专利文献
专利文献1：日本特开2005-44352号公报
专利文献2：日本特开2007-299312号公报
专利文献3：日本特开2014-63273号公报
发明内容
发明要解决的课题
但是，应用了专利文献1的粒子滤波法的跟踪方法如果有多个类似的对象物且有交叉则会有粒子混淆而搞错每个对象的跟踪的问题。另外，如果有对象物的遮挡则会有粒子削减并搞错对象的跟踪的问题。另外，即使为了在对象物运动的变化不一致的情况下也实现稳定的跟踪，需要生成多个样本，会有处理速度下降的问题。另外，如果对象物增加，会有所生成的样本增大且处理速度下降的问题。
在专利文献2中，通过在二维观测空间选择出的有效的特征点集合来推定三维模型的状态量，但是根据上次的三维模型的状态预测这次的三维模型的状态只通过基于位置和速度以及加速度的运算进行位置预测，因此为了跟踪加速度变化的复杂的运动需要缩短观测间隔，存在在观测期间没有进行其他处理的时间间隔的问题。
专利文献3的基于弹性模型进行的图像处理装置示出了高精度地检测对象集团的区域的方法，但是会有在知道类似的多个对象时跟踪效率不佳的问题。
本发明的目的是为了解决上述问题点而提供一种技术，即根据与实际环境的对象物关联的物理量的观测值，高效地推定下一时刻的对象物的位置。
用于解决课题的手段
为了达成上述目的，本发明具备：图像读入部，其读入在第一时刻拍摄到的第一图像以及在上述第一时刻之后的第二时刻拍摄到的第二图像；对象物识别部，其从上述第一图像提取拍摄到用于进行状态预测的第一对象物的第一对象物图像，识别上述第一对象物的种类，并且从上述第二图像提取拍摄到用于进行状态预测的第二对象物的第二对象物图像；模型信息存储部，其存储规定与用于进行状态预测的对象物的种类对应的模型的模型信息；有限状态系列存储部，其存储与上述第一对象物的种类对应的规定了随着时间经过的多个状态变化系列的有限状态系列；模型状态预测部，其从上述模型信息存储部读出与上述第一对象物的种类对应的模型信息，将上述第一对象物图像的特征点与读出的模型关联，并且从上述有限状态系列存储部检索与上述第一对象物的种类对应的有限状态系列，根据上述第一对象物的位置以及上述第一对象物的初始观测条件的至少一个，从检索到的有限状态系列中包括的运动系列中选择多个运动系列，按照上述选择出的多个运动系列中包括的各个运动系列来转换与第一对象物图像匹配的模型以及与其关联的特征点的坐标，以转换后的特征点为中心，根据存在概率来生成粒子；以及匹配部，其进行根据包括在第二时刻拍摄到的第二图像中的第二对象物图像以及上述各个特征点而生成的粒子的匹配处理，从针对上述各个特征点生成的粒子中决定概率最高的粒子作为上述第二时刻的上述第一对象物的预期状态，其中，上述第二时刻晚于上述第一时刻。
发明的效果
通过上述发明，能够提供一种技术，根据与实际环境的对象物关联的物理量的观测值来高效地推定下一个时刻的对象物的位置。另外，根据以下的实施方式能够明确上述以外的问题、解决手段。
附图说明
图1表示本发明实施方式的图像处理装置的硬件结构。
图2是表示通过图像处理装置10执行的状态变化预测程序的结构的功能框图。
图3是第一实施方式的实际空间的说明图。
图4是表示通过摄像机24拍摄得到的图像(观测空间)的图。
图5是表示本实施方式的图像处理装置的处理流程的流程图。
图6是表示立体声摄像机进行的距离运算处理的说明图。
图7是表示线框模型的一例的图，(a)表示在观测空间内存在的线框模型；(b)表示所生成的线框模型。
图8是表示根据立体声摄像机的对应点而设定的对象物的区域的图。
图9是表示对象物图像的特征点的检测例的图，(a)表示从对象物图像检测角落等的特征点的状态；(b)表示将检测出的特征点与线框模型关联后的状态。
图10是表示运动向量、加速的计算例的图。
图11是将在观测空间中识别出的对象物表示为二维道路地图上的状态的图。
图12是表示有限状态系列例的图，(a)是放大表示1次运动角度的有限状态系列例；(b)概念地表示基于对象物状态的运动系列的选择。
图13是表示将选择出的运动系列131分配给第一对象物130的状态的图。
图14是表示对图11的二维道路地图上的对象物适用了运动系列的状态的图。
图15是表示对象物的运动向量的图。
图16是表示运动系列以及基于运动向量的运动预测的图。
图17是表示通过多个选择出的运动系列和运动向量、加速度的组合来生成多个二维运动预测的状态的图。
图18是表示线框模型的射影转换的变形例的图。
图19是表示与线框模型对应的特征点的摄影转换的图。
图20是表示以对应的特征点为中心生成了粒子的状态的图。
图21是表示选择了最类似的粒子的状态的图。
具体实施方式
以下，参照附图详细说明本发明的优选实施方式。
图1表示本发明实施方式的图像处理装置的硬件结构。如图1所示，本实施方式的图像处理装置10作为将CPU14和作为数据存储装置的ROM16以及RAM18分别经由总线26以能够交换命令和数据的方式连接的计算机而构成，其中，CPU14控制用于预测对象物的状态变化的运算处理。输入摄像机24的摄像图像的图像取入装置22与该总线26连接。
另外，用于对外部装置输出各种数据的数据输出I/F12以及文件单元20与总线26连接，该文件单元20预先存储规定与用于进行状态预测的对象物的种类对应的模型信息词典201(参照图2)以及规定了模型的随着时间经过的多个状态变化的系列的状态系列词典202(参照图2)。模型信息词典201相当于模型信息存储部，状态系列词典202相当于有限状态系列存储部。
ROM16中预先存储处理例程等的程序。另外，本实施方式的图像处理装置10除了以上结构以外还包括电源装置等多个电气***的结构要素，但是是众所周知或一般的结构，因此省略详细的说明。
图2是表示通过图像处理装置10执行的状态变化预测程序的结构的功能框图。
图像处理装置10包括：图像读入部14a，其经由图像取入装置22读入在摄像机24拍摄的在第一时刻拍摄到的第一图像以及在第一时刻之后的第二时刻拍摄到的第二图像；对象物识别部14b，其从第一图像提取拍摄到用于进行状态预测的第一对象物的第一对象物图像，识别第一对象物的种类，并且从第二图像提取拍摄到用于进行状态预测的第二对象物的第二对象物图像；模型状态预测部14c，其从模型信息词典选择与第一对象物的种类对应的模型，将模型与第一对象物的特征点关联，按照有限状态系列转换模型以及特征点，并生成以转换后的特征点为中心的粒子；以及匹配部14d，其从粒子选择与第二对象图像最类似的粒子。图像读入部14a、对象物识别部14b、模型状态预测部14c以及匹配部14d构成为，由CPU14将用于实现各个结构要素的功能的程序下载到RAM18来执行。
模型信息词典201以及状态系列词典202作为存储在上述的文件单元20中的数据而构成。
以下，在本实施方式中，说明在车辆上装载本发明的图像处理装置10并监视车辆行驶方向的事例。上述摄像机24被装载到车辆内，拍摄作为对象物的车辆外的其他车辆或步行者等。
图3是第一实施方式的实际空间的说明图。如图3所示，在本实施方式中，在实际空间30内存在装载了摄像机24的车辆31。另外在实际空间30内存在对象物32～37，由摄像机24进行观测。对象物32～37的位置或方向发生变化。实际空间30例如是将分别正交的X轴、Y轴、Z轴设为坐标轴的三维空间，该三维空间内的三维点能够通过三维坐标(X、Y、Z)以及各自的分量速度(或加速度)等来表现。
图4是表示通过摄像机24拍摄得到的图像(观测空间)的图。在本实施方式中，将该图像40内设为观测空间41。即，观测空间41是从摄像机24得到的信息例如将分别正交的x轴、y轴设为坐标轴的二维空间，该二维空间内的二维点通过二维坐标(xi、yi)来表现。在图像40内，在各个区域42～47拍摄实际空间的对象物32～37。将拍摄到各个对象物的区域42～47称为对象物图像。
接着，说明本实施方式的通过图像处理装置10执行的对象物的运动预测处理。图5是表示本实施方式的图像处理装置的处理流程的流程图。
图像读入部14a读入由摄像机24在第一时刻拍摄到的第一图像(S101)，并输出给对象物识别部14b。
对象物识别部14b通过众所周知的方法从第一图像检测汽车、人物、两轮车等的特征并进行识别(S102)，将识别出的结果作为识别出的对象的识别数据存储在RAM18中。由CPU14根据拍摄到的图像对HOG特征量进行运算来执行对象特征的检测，关于对象的识别，由CPU14进行与根据预先存储在ROM16或文件单元20中的识别词典计算出的特征量的类似度、预先存储在ROM16中的支持向量机或加速等的运算处理来实现。此时，可以附带识别出的对象和与识别数据对应的识别码。
接着，对象物识别部14b根据识别出的对象的图像求出宽度、深度、高度并作为识别结果的对象的尺寸数据而存储在RAM18中(S103)。图6是表示立体声摄像机进行的距离运算处理的说明图。图6中，根据通过立体声摄像机拍摄的图像，使用各摄像机间的基线长度、焦点距离以及视差进行运算，从而求出距离，之后也可以根据识别出的对象的图像来求出宽度、深度、高度。此时，可以对尺寸数据附带与识别出的对象对应的识别码。
接着模型状态预测部14c读入线框模型，该线框模型与根据存储在RAM18中的识别出的对象识别数据从模型信息词典210识别出的对象一致，模型状态预测部14c根据尺寸数据生成与该尺寸数据所表示的尺寸一致的线框模型(S104)。在本实施方式中，第一对象物的种类是轿车，轿车中直方体形状的三维线框模型被写入模型信息词典201中。
图7是表示识别出的对象的线框模型的一例的图。根据对象物的识别数据和尺寸数据生成线框模型(三维线框模型)70(参照图7的(a))。如图7的(b)所示，所生成的线框模型72包括位于从装载了摄像机24的车辆观察而成为死角位置的角落以及边缘。这样，也能够更高精度地预测第一对象物图像中成为死角的第一对象物(轿车)的形状位移。另外，也可以附带与线框模型对应的识别码。
模型状态预测部14c进行第一对象物与模型的匹配。具体地说，将第一对象物的特征点与模型关联(S105)。
根据图8、图9表示对象物的特征点的提取例。图8表示根据立体声摄像机的对应点而设定的对象物的区域。如图8所示，即使立体声摄像机进行的特征量的检测为对象的运动少，另外即使如对象不是刚体时那样特征点间的运动较复杂，也能够计算出距离。这样能够识别立体声摄像机的对应点，能够根据该对应点提取对象物的摄像区域(对象物图像)。
图9表示对象物图像的特征点的检测例。作为特征点的检测由哈里斯算子等进行角落等的检测，检测对象物90的角落等特征点(参照图9的(a))。各个特征点附带识别码。将检测出的特征点与线框模型的角落的相对坐标关联(参照图9(b))。这样，能够通过线框模型92的位置定义特征点的位置。
图5中虽然省略了图示，但是从步骤S101到步骤S105之间读入在比第一时刻更晚的第二时刻由摄像机24拍摄到的第二图像，通过与S102相同的处理，从第二图像提取第二对象物图像并进行识别。
模型状态预测部14c根据第一对象物图像与第二对象物图像，通过识别出的对象物的运动观测来求出运动向量、加速度(S106)。在最初处理该步骤时，从最初识别出对象的时间点到一定时间后观测对象并求出对象的速度，进一步在一定时间后观测对象并求出对象的加速度。图10表示运动向量、加速度的计算例。图10中，检测模型100的特征点的运动向量、加速度。最初例如可以通过半全局匹配等检测运动向量、加速度。虽然运动向量的计算有各种方法，但是例如能够使用KLT特征点计算法等。
模型状态预测部14c观测识别出的第一对象物和识别出的第一对象物的周围状态，从预先存储在文件单元20中的状态系列词典202检索识别出的第一对象物和与其周围状态对应的有限状态系列(S107)。
图11表示得到与GPS等联动的汽车导航***等的道路地图信息，将在观测空间41(参照图4)中识别出的对象设为二维道路地图上的状态。另外图12表示有限状态系列例，(a)是放大表示1次运动角度的有限状态系列例；(b)概念地表示基于对象物状态的运动系列的选择。
模型状态预测部14c从存储在文件单元20中的状态系列词典202选择有限状态系列120(参照图12的(a))。
接着模型状态预测部14c根据第一对象物的位置以及初始观测状态的至少一个，从选择出的有限状态系列120来选择多个运动系列(S108)。图12的(b)中图示了状态预测122的运动系列是被选择出的运动系列。
模型状态预测部14c将选择出的多个系列分配给对象物(S109)。图13表示将选择出的运动系列131分配给第一对象物130的状态。如果将该处理适用于图11的对象物111、112、113、114、115、116、117、118，则如图14的对象物141、142、143、144、145、146、147、148那样在二维道路地图上进行运动预测。
模型状态预测部14c将在S106观测到的运动向量或加速度与进行了运动预测的对象物(图14的对象物141、142、143、144、145、146、147、148)重叠(S110)。图16表示将运动向量150(参照图15)与把选择出的运动系列131分配给第一对象物130的状态(参照图13)重叠后的状态。运动预测160(参照图16)通过重叠后的运动向量150而成为与重叠前的系列131(图13)不同的大小。如果将该处理适用于图14的各个对象物，则图14的二维道路地图上的运动预测如图17那样在二维道路地图上进行运动预测。
模型状态预测部14c将二维道路地图上的运动预测转换为从摄像机24观察到的观测空间(S111)。通过公式(1)表示该转换的一例。
[公式1]
对象在二维空间的射影转换的计算式
图18表示通过该公式(1)求出的线框模型的转换。在从摄像机24得到的观测空间41中设定的线框模型180的二维坐标(xi、yi)被转换为运动预测后的二维坐标(xi’、yi’)，变形为线框182。图18为了方便说明只图示了一个线框模型，但实际上生成多个根据多个二维运动系列(运动预测)而变形的线框模型。
通过图18的线框模型的转换(上述中为射影转换)，与线框模型对应的特征点190也被射影转换而转换为特征点192(参照图19)。图19中为了方便说明只图示了一个线框模型，但实际上生成多个根据多个二维运动系列(运动预测)而变形的线框模型，特征点也会与此对应地生成多个组。
模型状态预测部14c在转换后的特征点192的坐标小的区域根据概率生成粒子200(参照图20)(S112)。关于粒子的生成，通过在相同的组内错开水平、垂直位移、角度位移，由此通过相互覆盖较少的粒子来提高空间覆盖性。
匹配部14d从概率最高的粒子进行第二对象物图像与所生成的粒子之间的匹配(S113)。这里选择类似度最高的粒子。粒子按照特征点以不同的分布放置，所以通过类似度整合性最高的粒子来进行线框与特征点位置的修正，验证类似度计算。然后选择相同类的粒子类似度整合性最高的类210(参照图21)。进行了匹配的粒子与转换后的线框模型所对应的特征点对应。
之后返回步骤S108，将上述第一图像替换为第二图像，将上述第二图像替换为第二时刻之后拍摄的第三图像并重复处理。
根据本实施方式，根据每个对象物所对应的模型的迁移和与该模型关联后的特征点来推定对象物的位移，所以即使有多个类似的对象物的情况或对象物被遮挡的情况，也能够抑制计算量的增大而推定每个对象物的位置。
上述实施方式并不用于限定本发明，本发明中包括不脱离本发明主旨的范围的各种变更方式。
例如除了上述结构，还具备状态输出部，其在判定为第一对象图像的预测状态与第二对象图像的状态匹配时输出表示第二对象图像状态的信息。例如上述结构具备状态处理部，按照来自装载在车辆上的摄像机的图像求出表示步行者或车辆正朝向与装载了摄像机的车辆发生冲突的方向的预测状态，当该预测状态与第二对象图像匹配时，将对驾驶员提醒冲突危险的信息输出到装载于车辆的HUD或警报装置以引起注意。这样，能够通过与第二对象图像的匹配结果验证预测状态准确后进行预测状态输出，所以能够进行基于更准确的预测状态的信息(例如警报)输出。
另外上述说明了使用了车载装载摄像机的图像的实施方式，但是也可以对来自定点观测摄像机的图像适用本发明，并可以进行对定点摄像机的图像所拍摄到的对象物例如可疑者的运动预测。
另外，在通过定点摄像机进行作物的成长观察时也适用本发明，并可以进行作物的成长预测。此时，适用规定了随着作物成长的形状变化的系列的有限状态系列，并准备将初始状态的作物的形状模型化后的模型。然后根据状态预测时的图像计算作物的形状变化量，并根据该变化量基于有限状态系列进行几何转换模型，计算预测状态。
此时，还具备规定了随着作物成长的颜色变化的系列的有限状态系列，对作物初始状态的颜色适用与作物的种类对应的有限状态系列，并与形状变化一起预测颜色的变化，由模型预测部输出变化后的颜色。
附图标记的说明
10：图像处理装置、12：数据输出I/F、14：CPU、16：ROM、18：RAM、20：文件单元、24：摄像机、30：观测对象、40：图像。

Claims (9)

1.一种图像处理装置，其特征在于，
该图像处理装置具备：
图像读入部，其读入在第一时刻拍摄到的第一图像以及在上述第一时刻之后的第二时刻拍摄到的第二图像；
对象物识别部，其从上述第一图像提取拍摄到用于进行状态预测的第一对象物的第一对象物图像，识别上述第一对象物的种类，并且从上述第二图像提取拍摄到用于进行状态预测的第二对象物的第二对象物图像；
模型信息存储部，其存储规定与用于进行状态预测的对象物的种类对应的模型的模型信息；
有限状态系列存储部，其存储与上述第一对象物的种类对应的、规定了随着时间经过的多个状态变化系列的有限状态系列；
模型状态预测部，其从上述模型信息存储部读出与上述第一对象物的种类对应的模型信息，将上述第一对象物图像的特征点与读出的模型关联，并且从上述有限状态系列存储部检索与上述第一对象物的种类对应的有限状态系列，根据上述第一对象物的位置以及上述第一对象物的初始观测条件的至少一个，从检索到的有限状态系列中包括的运动系列中选择多个运动系列，按照上述选择出的多个运动系列中包括的各个运动系列来转换与第一对象物图像匹配的模型以及与其关联的特征点的坐标，以转换后的特征点为中心，根据存在概率来生成粒子；以及
匹配部，其进行根据在第二时刻拍摄到的第二图像中包括的第二对象物图像以及上述各个特征点而生成的粒子的匹配处理，从针对上述各个特征点生成的粒子中决定概率最高的粒子作为上述第二时刻的上述第一对象物的预期状态，其中，上述第二时刻晚于上述第一时刻。
2.根据权利要求1所述的图像处理装置，其特征在于，
上述有限状态系列存储部存储规定了上述对象物的形状变化的系列的有限状态系列，
上述模型状态预测部计算上述对象物的形状变化量，并根据该形状变化量使上述模型进行几何转换来运算预测状态。
3.根据权利要求1所述的图像处理装置，其特征在于，
上述有限状态系列存储部存储规定了上述对象物的颜色变化的系列的有限状态系列，
上述模型状态预测部输出上述对象物的变化后的颜色。
4.根据权利要求1所述的图像处理装置，其特征在于，
上述有限状态系列存储部存储规定了上述对象物的特征量变化的系列的有限状态系列，
上述模型状态预测部输出上述对象物的变化后的特征量系列。
5.根据权利要求1所述的图像处理装置，其特征在于，
上述模型信息中包括的模型是包括位于上述第一对象物图像中成为死角的位置的角落以及边缘的三维线框模型。
6.根据权利要求1所述的图像处理装置，其特征在于，
上述匹配部还具备状态输出部，当上述第一对象物图像以及上述第二对象物图像的类似度在用于判定上述第一对象物的预期状态以及上述第二对象物为相同的容许阈值内时，该状态输出部输出上述第二对象物的状态。
7.根据权利要求1所述的图像处理装置，其特征在于，
上述对象物是车辆，
上述第一图像以及上述第二图像是从装载到上述车辆上的摄像机拍摄了上述车辆的前进方向前方的图像。
8.根据权利要求1所述的图像处理装置，其特征在于，
上述第一图像以及上述第二图像是定点观测摄像机拍摄到的图像，
上述对象物是定点观测对象物。
9.一种图像处理方法，其特征在于，
该图像处理方法包括以下步骤：
从在第一时刻拍摄到的第一图像提取拍摄到用于进行状态预测的第一对象物的第一对象物图像，识别上述第一对象物的种类；
将进行状态预测的对象物的种类所对应的模型与上述第一对象物图像匹配，将上述第一对象物图像的特征点以及上述模型进行关联；
从存储多个有限状态系列的有限状态系列存储部检索与上述第一对象物的种类对应的规定了随着时间经过的多个状态变化的系列的有限状态系列；
根据上述第一对象物的位置以及上述第一对象物的至少一个，从检索到的有限状态系列中包括的运动系列中选择多个运动系列；
按照上述选择出的多个运动系列中包括的各个运动系列来转换与上述第一对象物图像匹配的模型以及与其关联的特征点的坐标；
以上述转换后的特征点为中心，根据存在概率来生成粒子；以及
进行根据包括在第二时刻拍摄到的第二图像中的第二对象物图像以及上述各个特征点而生成的粒子的匹配处理，从针对上述各个特征点生成的粒子中决定概率最高的粒子作为上述第二时刻的上述第一对象物的预期状态，其中，上述第二时刻晚于上述第一时刻。
CN201580082927.7A 2015-09-25 2015-09-25 图像处理装置以及图像处理方法 Pending CN108027974A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2015/077157 WO2017051480A1 (ja) 2015-09-25 2015-09-25 画像処理装置及び画像処理方法

Publications (1)

Publication Number Publication Date
CN108027974A true CN108027974A (zh) 2018-05-11

Family

ID=58385946

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580082927.7A Pending CN108027974A (zh) 2015-09-25 2015-09-25 图像处理装置以及图像处理方法

Country Status (5)

Country Link
US (1) US10194059B2 (zh)
EP (1) EP3236419A4 (zh)
JP (1) JP6328327B2 (zh)
CN (1) CN108027974A (zh)
WO (1) WO2017051480A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108877269A (zh) * 2018-08-20 2018-11-23 清华大学 一种交叉路口车辆状态检测及v2x广播方法
CN113496201A (zh) * 2020-04-06 2021-10-12 丰田自动车株式会社 物体状态识别装置、方法、物体状态识别用计算机程序及控制装置
WO2022257474A1 (zh) * 2021-06-11 2022-12-15 荣耀终端有限公司 图像的预测方法、电子设备和存储介质

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102016114168A1 (de) * 2016-08-01 2018-02-01 Connaught Electronics Ltd. Verfahren zum Erfassen eines Objekts in einem Umgebungsbereich eines Kraftfahrzeugs mit Vorhersage der Bewegung des Objekts, Kamerasystem sowie Kraftfahrzeug
WO2018051399A1 (ja) * 2016-09-13 2018-03-22 株式会社日立情報通信エンジニアリング 状態予測装置及び状態予測方法
JP6556382B2 (ja) * 2017-05-29 2019-08-07 株式会社日立情報通信エンジニアリング 状態予測制御装置及び状態予測制御方法
DE102017211038A1 (de) * 2017-06-29 2019-01-03 Robert Bosch Gmbh Verfahren zum Einstellen einer Kamera
US10694112B2 (en) * 2018-01-03 2020-06-23 Getac Technology Corporation Vehicular image pickup device and image capturing method
JP7051212B2 (ja) * 2018-02-26 2022-04-11 株式会社オレンジテクラボ 情報処理装置、情報処理プログラム及び情報処理方法
JP7210852B2 (ja) * 2018-02-26 2023-01-24 株式会社オレンジテクラボ 情報処理装置、情報処理プログラム及び情報処理方法
JP7024539B2 (ja) * 2018-03-22 2022-02-24 カシオ計算機株式会社 画像編集装置、画像編集方法、及びプログラム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002269570A (ja) * 2001-03-09 2002-09-20 Toyota Motor Corp 周辺認識装置
JP4382597B2 (ja) * 2003-07-10 2009-12-16 株式会社国際電気通信基礎技術研究所 推定装置、推定方法および推定プログラム
JP2011090465A (ja) * 2009-10-21 2011-05-06 Fujitsu Ltd 物***置推定装置および物***置推定プログラム

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4921847B2 (ja) * 2006-05-02 2012-04-25 株式会社豊田中央研究所 対象物の三次元位置推定装置
JP4208898B2 (ja) * 2006-06-09 2009-01-14 株式会社ソニー・コンピュータエンタテインメント 対象物追跡装置および対象物追跡方法
JP5838940B2 (ja) * 2012-09-20 2016-01-06 株式会社デンソー 画像処理装置及び車両制御システム
US20150294143A1 (en) * 2014-04-10 2015-10-15 GM Global Technology Operations LLC Vision based monitoring system for activity sequency validation

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002269570A (ja) * 2001-03-09 2002-09-20 Toyota Motor Corp 周辺認識装置
JP4382597B2 (ja) * 2003-07-10 2009-12-16 株式会社国際電気通信基礎技術研究所 推定装置、推定方法および推定プログラム
JP2011090465A (ja) * 2009-10-21 2011-05-06 Fujitsu Ltd 物***置推定装置および物***置推定プログラム

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108877269A (zh) * 2018-08-20 2018-11-23 清华大学 一种交叉路口车辆状态检测及v2x广播方法
CN108877269B (zh) * 2018-08-20 2020-10-27 清华大学 一种交叉路口车辆状态检测及v2x广播方法
CN113496201A (zh) * 2020-04-06 2021-10-12 丰田自动车株式会社 物体状态识别装置、方法、物体状态识别用计算机程序及控制装置
CN113496201B (zh) * 2020-04-06 2024-02-09 丰田自动车株式会社 物体状态识别装置、方法、计算机可读取的记录介质及控制装置
WO2022257474A1 (zh) * 2021-06-11 2022-12-15 荣耀终端有限公司 图像的预测方法、电子设备和存储介质

Also Published As

Publication number Publication date
US20170280026A1 (en) 2017-09-28
EP3236419A1 (en) 2017-10-25
JPWO2017051480A1 (ja) 2017-09-21
JP6328327B2 (ja) 2018-05-23
WO2017051480A1 (ja) 2017-03-30
US10194059B2 (en) 2019-01-29
EP3236419A4 (en) 2018-07-18

Similar Documents

Publication Publication Date Title
CN108027974A (zh) 图像处理装置以及图像处理方法
JP7052663B2 (ja) 物体検出装置、物体検出方法及び物体検出用コンピュータプログラム
KR102202343B1 (ko) 객체의 운동을 예측하여 자동차의 주위 영역의 객체를 캡처하기 위한 방법, 카메라 시스템 및 자동차
US10467771B2 (en) Method and system for vehicle localization from camera image
CN110163904A (zh) 对象标注方法、移动控制方法、装置、设备及存储介质
CN110312912A (zh) 车辆自动停车***和方法
CN110969064B (zh) 一种基于单目视觉的图像检测方法、装置及存储设备
CN110291358A (zh) 形状估计装置
CN104732196B (zh) 车辆检测方法及***
CN106170828A (zh) 外界识别装置
US11367212B2 (en) Vehicle pose detection with fiducial marker
EP3113150B1 (en) Local location computation device and local location computation method
JP6021689B2 (ja) 車両諸元計測処理装置、車両諸元計測方法及びプログラム
CN110543807A (zh) 验证障碍物候选的方法
US11010919B2 (en) Object locator with fiducial marker
CN111738032B (zh) 一种车辆行驶信息确定方法及装置、车载终端
CN105981086A (zh) 自身位置计算装置以及自身位置计算方法
CN112889071A (zh) 用于确定二维图像中深度信息的***和方法
CN105993042A (zh) 自身位置计算装置以及自身位置计算方法
US9128188B1 (en) Object instance identification using template textured 3-D model matching
JP2022039188A (ja) 位置姿勢算出方法および位置姿勢算出プログラム
CN115439401A (zh) 用于深度神经网络的图像标注
CN114463713A (zh) 一种车辆在3d空间的信息检测方法、装置及电子设备
CN111881245B (zh) 能见度动态地图的产生方法、装置、设备及存储介质
JP7003972B2 (ja) 距離推定装置、距離推定方法及び距離推定用コンピュータプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20180511