CN108885636A - 车型识别装置、车型识别***以及车型识别方法 - Google Patents
车型识别装置、车型识别***以及车型识别方法 Download PDFInfo
- Publication number
- CN108885636A CN108885636A CN201780020732.9A CN201780020732A CN108885636A CN 108885636 A CN108885636 A CN 108885636A CN 201780020732 A CN201780020732 A CN 201780020732A CN 108885636 A CN108885636 A CN 108885636A
- Authority
- CN
- China
- Prior art keywords
- vehicle
- image
- rule
- score
- vehicle image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/53—Querying
- G06F16/532—Query formulation, e.g. graphical querying
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
- G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/01—Detecting movement of traffic to be counted or controlled
- G08G1/017—Detecting movement of traffic to be counted or controlled identifying vehicles
- G08G1/0175—Detecting movement of traffic to be counted or controlled identifying vehicles by photographing vehicles, e.g. when violating traffic rules
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Multimedia (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Image Analysis (AREA)
- Traffic Control Systems (AREA)
Abstract
为了提供一种能够限定在特定的局部区域来高精度地提取目标车辆的车型识别装置、车型识别***以及车型识别方法,车型识别***包括摄像装置、显示装置、车型识别装置以及将它们连接的总线,车型识别装置具有输入装置、存储装置以及处理器。用户利用输入装置进行搜索,处理器根据该搜索条件,基于第一规则使第一车辆图像列表、车辆图像以及参照图像显示于显示装置。用户对参照图像进行参照来调查目标车型的特征,确定具有特征的局部区域。处理器获取所确定的局部区域的局部确定信息,基于第二规则来进行搜索,使第二车辆图像列表和车辆图像显示于显示装置。
Description
技术领域
本公开涉及一种基于利用摄像机等拍摄车辆所得到的摄像图像来识别车辆的车型识别装置、车型识别***以及车型识别方法。
背景技术
已知以下一种车辆确认装置:对利用摄像机等摄像装置拍摄得到的车辆的摄像图像进行处理,来判别该车辆的车名(参照专利文献1)。
在专利文献1中公开了一种车辆确认装置,该车辆确认装置具备:特征量提取单元,其从摄像图像中提取车辆的前格栅的特征量;以及特征量存储单元,其存储与车辆的每个车型对应的前格栅的特征量,该车辆确认装置将特征量提取单元的特征量与特征量存储单元的特征量进行对照,将其相似度最大且超过了预先决定的阈值的车名判别为是摄像图像中所拍摄到的车辆的车名。
专利文献1:日本专利第5338255号公报
发明内容
在专利文献1中记载有提取车辆的车牌、左右前灯、左右雾灯、前扰流器及车标的相对位置关系以及包括它们的外形形状在内的前格栅的特征量。然而,存在以下问题:在搜索目标车型的情况下,根据整个前格栅的特征来进行判定,因此会提取出包括若仅拍摄前格栅则与目标车型相似但其它部分与目标车型不相似的图像在内的大量的候选图像,从而作业变得很费力。
本公开的目的在于提供一种能够限定在特定的局部区域来高精度地提取目标车辆的车型识别装置、车型识别***以及车型识别方法。
本公开的车型识别装置基于由摄像装置拍摄得到的车辆的车辆图像来识别所述车辆的车型,其中,该车型识别装置具有处理器和存储装置,在所述存储装置中记录有所述车辆图像和表示所述车辆图像中的所述车辆为特定的车型的确定性的得分,所述处理器进行以下处理:获取包括用于确定车型的信息的搜索条件;基于所述搜索条件和所述得分,使用第一规则来提取符合所述搜索条件的第一车辆图像列表;将所述第一车辆图像列表显示于显示装置;获取用于确定所述车辆图像的至少一部分的局部确定信息;基于所述局部确定信息生成第二规则;以及基于所述搜索条件和所述得分,使用所生成的所述第二规则来提取符合所述搜索条件的第二车辆图像列表。
本公开的车型识别***具备:所述车型识别装置;用于拍摄车辆的所述摄像装置;以及用于显示所述车辆图像、所述第一车辆图像列表以及所述第二车辆图像列表的显示装置。
本公开的车型识别方法基于由摄像装置拍摄得到的车辆的车辆图像来识别所述车辆的车型,该车型识别方法包括以下步骤:记录拍摄到车辆的图像即车辆图像和表示所述车辆图像中的所述车辆为特定的车型的确定性的得分;获取用于确定车型的信息即搜索条件;基于所述搜索条件和所述得分,使用第一规则来提取符合所述搜索条件的第一车辆图像列表;将所述第一车辆图像列表显示于显示装置;获取用于确定所述车辆图像的至少一部分的局部确定信息;基于所述局部确定信息来生成第二规则;以及基于所述搜索条件和所述得分,使用所生成的所述第二规则来提取符合所述搜索条件的第二车辆图像列表。
根据本公开,能够提供如下的车型识别装置、车型识别***以及车型识别方法:基于利用局部确定信息的第二规则来限定搜索,由此能够减少候选的车辆图像,从而搜索效率提高,易于尽早发现目标车辆。
附图说明
图1是本公开的一个实施方式所涉及的车型识别***的框图。
图2是示出表示本公开的车型识别***所涉及的车辆图像DB的一例的列表的图。
图3是示出表示本公开的车型识别***所涉及的得分DB的一例的列表的图。
图4是表示本公开的车型识别***所涉及的车辆图像DB的制作过程的一例的流程图。
图5A是表示由本公开的车型识别***分配的局部区域的一例的概念图。
图5B是表示由本公开的车型识别***分配的局部区域的一例的概念图。
图6是表示本公开的车型识别***所涉及的搜索过程的一例的流程图。
图7是表示本公开的车型识别***的根据第一规则显示的列表和车辆图像的一例的概念图。
图8是表示由本公开的车型识别***显示的参照图像的一例的概念图。
图9是表示本公开的车型识别***的根据第二规则显示的列表和车辆图像的一例的概念图。
图10A是表示限定过程的概要的图,是与图7相同的同第一车辆图像列表L1对应的车辆图像的图。
图10B是表示限定过程的概要的图,是表示由用户指定特定局部区域来进一步进行限定搜索的图,与图5B对应。
图10C是表示限定过程的概要的图,是与图9对应的限定搜索结果的显示的图。
具体实施方式
下面,适当参照附图来详细地说明对本公开所涉及的车型识别装置、车型识别***以及车型识别方法具体地进行了公开的实施方式(以下称为“本实施方式”)。但是,有时会省略超过所需的详细说明。例如,有时会省略已经熟知的事项的详细说明、对实质上相同的结构的重复说明。这是为了避免下面的说明非必要地变得冗长并为了使本领域技术人员容易理解。此外,附图和下面的说明是为了使本领域技术人员充分地理解本公开而提供的,并不意图由此来限定权利要求书所记载的主题。
下面,参照附图来详细地说明用于实施本公开的优选的本实施方式。
<结构>
使用图1至图5来说明车型识别***的一例的结构。
图1是表示用于实现本公开的车型识别***的硬件结构的框图。
本公开所涉及的车型识别装置、车型识别***以及车型识别方法是以下的装置、***以及方法:参照针对由摄像装置拍摄得到的车辆的图像记录有表示车辆是特定的车型的确定性的得分的数据库,并且接收用户对车辆的局部区域的指定,由此识别目标车型。
本公开所述的车辆主要是指道路交通法中确定的普通汽车。本公开也能够广泛地应用于在前部具有特征的车辆。车型是用于确定车辆的种类的信息。作为表示车型的信息的例子,能够列举出款式。另外,作为表示车型的信息,也可以利用年款、周知的车名(通用名)、车辆的制造商等。不使用款式来确定车辆的种类的表现例如是“AA公司的YY年款的ZZZ(通用名)”这样的表现。车型识别是指根据拍摄到车辆的图像即车辆图像来确定车型。
如图1所示,用于实现本公开所涉及的车型识别***1的硬件结构包括摄像装置2、显示装置3、车型识别装置4以及将它们连接的总线5。车型识别装置4具有输入装置6、存储装置7以及处理器8。
摄像装置2是用于拍摄摄像图像的CCD摄像机等。摄像装置2主要配置在道路上以掌握交通状态、监督超速车辆。摄像装置2对行驶的车辆从大致正面(大致前方)进行拍摄。此外,摄像装置2也可以设置在停车场、设施的出入门的附近。由摄像装置2对车辆进行拍摄所得到的图像即车辆图像被登记在存储装置7的车辆图像DB中。此外,摄像装置2只要能够对车辆从大致正面进行拍摄即可,关于其方式、功能、配置、数量等,并不特别限定,能够进行各种变更。
显示装置3是监视器(显示器)等。显示装置3具有显示画面,该显示画面用于显示基于搜索结果的列表、车辆图像。显示装置3也可以是能够用手指等对显示画面进行操作的触摸面板。
车型识别装置4的输入装置6例如是通过键盘、鼠标等输入设备来对车型识别装置4进行操作的操作部。输入装置6用于用户对车型识别装置4输入各种命令、或者对数据库(DB)的信息进行变更或更新。
车型识别装置4的存储装置7例如是RAM、ROM、硬盘等。存储装置7中保存有用于实现车型识别***1的各功能的各种程序和各种数据、以及使用于车型识别处理的后述的车辆基本DB、车辆图像DB、得分DB等。
基于图2、图3来说明存储装置7中保存的车辆图像DB和得分DB的列表。
图2表示存储装置7中保存的车辆图像DB的一例。在车辆图像DB中,登记有由摄像装置2拍摄且作为数据库的关键字的车辆图像的编号即“图像名”、与“图像名”对应的摄像装置2进行拍摄的年月日时刻的“摄影时刻”以及对拍摄了各车辆图像的各摄像装置2赋予的摄像装置2的编号即“摄像装置ID”。另外,作为车辆信息,还登记有所拍摄的车辆的“车牌”、用于提取前部图像并确定局部区域R的“车牌坐标(X,Y)”等。
图3表示存储装置7中保存的得分DB的一例。在得分DB中,自动生成与车辆图像DB对应的“图像名”、各局部区域R的“局部区域No”。在得分DB中,关于各局部区域R定义有针对各车型的得分。得分是表示该局部区域是特定的车型的局部区域的确定性的值。将关于各局部区域R自动计算出的特征量代入到预先针对每个车型的每个局部区域R定义并登记在车辆基本DB中的得分计算模型中,由此计算出得分。作为自动计算出的特征量的一例,例如能够列举出HOG(Histograms of Oriented Gradients:方向梯度直方图)特征量、或denseSIFT(Scale-Invariant Feature Transform:尺度不变特征转换)特征量等。
在本实施方式中,“车型A得分”、“车型B得分”、“车型C得分”等表示针对各车辆图像的每个局部区域R计算出的结果的一例(车型A得分是表示该局部区域为A车型的局部区域的确定性的值)。
图4是表示制作得分DB的一例的流程图。基于图4来说明得分DB的制作过程。
处理器8基于存储装置7中保存的车辆图像DB中记载的图像名,从存储装置7提取出一张车辆图像(ST101)。接着,处理器8例如基于车辆图像DB中登记的车牌位置(例如X1,Y1),从车辆图像(例如img00001)中提取前部图像(ST102),并对所提取出的前部图像进行分割,由此针对车辆图像设定局部区域R。在本实施方式中,如图5A所示,将前部图像分割为六个局部区域R(参照图5A,R0~R5)。所有局部区域R是在车辆图像内的前部图像内指定的,是以车牌为中心包括车辆的左右外侧和左右前灯的区域。然后,处理器8例如使用denseSIFT来计算前部图像中的每个局部区域R的特征量(ST103)。
接着,处理器8将计算出的每个局部区域R的该特征量代入到预先针对每个车型的每个局部区域R定义并登记在车辆基本DB中的得分计算模型中,由此计算得分(ST104)。
然后,处理器8将计算出的得分(例如0.86)作为图像img00001的局部区域R0的车型A的得分来进行登记,将针对每个图像、每个局部区域计算出的得分值作为车型得分登记依次到存储装置7中保存的得分DB(ST105)。
车型识别装置4的处理器8是CPU等,从存储装置7读取各种程序,并获取搜索条件来提取车辆图像列表,进行车辆的局部区域R中的特征量的运算、数据处理,并对车型识别***1整体进行控制。
<动作>
基于图6至图10C来说明本公开的车型识别装置4的具体动作。在下面的说明中,结合由用户从此前拍摄得到的车辆图像中搜索特定车辆图像的流程,来说明车型识别装置4的具体动作。
图6是表示搜索车型的一例的流程图。
用户对输入装置6输入搜索条件。搜索条件例如是车型、摄像装置ID、摄影时刻的范围等。搜索条件能够说是用于确定目标车辆图像的信息。例如在用户想要搜索“拍摄到AAA这一车型的图像且在○月○日的○时左右由A路口附近的摄像装置拍摄到的图像”这样的车辆图像的情况下,只要使用搜索条件的输入来表达那样的条件即可。在本实施方式中,搜索条件至少包括车型。搜索条件的一部分也可以是通配符。处理器8获取该搜索条件(ST201)。
处理器8基于搜索条件来提取搜索对象图像列表(ST202)。搜索对象图像列表是基于搜索条件对存储装置7中记录的车辆图像进行限定从而作为结果所得到的列表。此处的限定也基于搜索条件中的摄像装置ID、摄影时刻的范围等的形式化的条件来进行。
处理器8设定由局部区域R和每个局部区域(R0、R1、……)的权重形成的规则即得分计算规则(ST203)。在ST203中设定的计算规则是在基于搜索条件中的车型的初步限定中使用的规则(第一规则)。期望的是,第一规则是普遍的规则。例如,第一规则能够是对所有局部区域R均等地赋予权重的规则。如果以数式的形式来表达对所有局部区域R均等地赋予权重的规则,则为得分=(R0+R2+R3+R4+R5)/6)。
接着,处理器8从得分DB读取搜索对象图像列表内的车辆图像的得分(ST204)。
处理器8根据在ST204中读取出的车辆图像的得分、计算规则来计算判別得分(ST205)。判別得分是将车辆图像的得分代入到计算规则中而计算出的得分。在ST205中,针对能够作为搜索条件的所有车型,按车辆图像计算判別得分。在本实施方式中,第一规则是对所有局部区域R均等地赋予权重的规则,因此对于img00001的车型“A”的判別得分是将(0.86+0.01+0.77+0.45+0.23+0.65)除以6所得到的值。
然后,处理器8进行基于判別得分来判别车辆图可能是哪个车型的图像的车型判別(ST206)。关于用于使处理器8基于判別得分来判别车辆图可能是哪个车型的图像的规则,能够考虑各种各样的规则。例如,可以使处理器8将判別得分最高的车型为“A”的车辆图像判别为A车型的图像。另外,也可以使处理器8将判別得分超过规定的值的车型为“A”的车辆图像判别为A车型的图像。此外,还可以是,如果判別得分小于规定值,则使处理器8判别为“不是任何一种车型的图像”。
接着,处理器8基于车型判別的结果来更新显示对象图像列表(ST207)。如果对车辆图像进行判別所得到的车型是搜索对象车型,则处理器8将该车辆图像追加到显示对象图像列表。显示对象图像列表是由包含拍摄车辆图像的日期时间、拍摄车辆图像的摄像装置ID等车辆图像DB中存在的信息的信息形成的列表。
然后,处理器8将显示对象图像列表以及与显示对象图像列表对应的多个车辆图像显示于显示装置3(ST208)(参照图7)。在本实施方式中,作为显示对象图像列表的一例,将第一车辆图像列表L1显示于显示装置3。在本实施方式中,作为与显示对象图像列表对应的多个车辆图像的一例,将与第一车辆图像列表L1对应的多个车辆图像显示于显示装置3。
并且,处理器8显示搜索对象车型的参照用图像(例如目录图像:参照图8)(ST209)。用户将参照图像同与第一车辆图像列表L1对应的多个车辆图像进行比较,由此用户能够将在ST208中所显示的车辆图像中的明显感觉与参照图像不同的车辆图像判断为“与目标车型不同”。另外,用户能够将感觉与参照图像近似的车辆图像判断为“可能是目标车型”。参照图像作为用于选定目标车型的基准发挥功能。也存在根据用户(操作者)的技能而注意不到细微的车型的差异的情况,另外,为了能够使新手也能容易地查找目标车型,通过显示参照图像能够使得用户更加高效地进行搜索。此外,在用户的技能高的情况下,即使不对参照图像进行参照也能够判别目标车型,因此也能够不在显示装置3中显示参照图像。
如以上那样,对所显示的多个车辆图像进行了视觉确认的用户确认出所显示的多个车辆图像包括包含可能是目标车型的车辆的车辆图像以及包含与目标车型不同的车辆的车辆图像这双方。接着,为了提高包含可能是目标车型的车辆的车辆图像在所显示的多个车辆图像中的比例,用户进行以下作业。
首先,用户确认包含可能是目标车型的车辆的车辆图像和包含与目标车型不同的车辆的车辆图像之间的不同表现在车辆图像中的哪个部位。例如设为用户感觉到“在包含与目标车型不同的车辆的车辆图像中包括很多包含与目标车型相比前灯的形状不同的车辆的车辆图像”。换言之,这是用户确认出包含可能是目标车型的车辆的车辆图像与包含与目标车型不同的车辆的车辆图像之间的不同表现在前灯的部位。
接着,用户使用输入装置6,从在包含可能是目标车型的车辆的车辆图像中预先分割出的多个局部区域R(参照图5A)之中将前灯附近指定为特定局部区域R0(参照图5B斜线部分)。通过单击车辆图像的一部分等来进行该指定。另外,关于该指定,只要确定局部区域即可。例如也可以指定车辆图像以外的图像的一部分。另外,也可以是,通过基于键盘操作的文字输入、声音操作等来确定局部区域,由此指定图像的一部分。另外,虽无需向用户明示车辆图像的分割,但是在如图5B所示那样用网格进行了明示的情况下,对用户而言的使用性提高。
处理器8获取用户的指定来作为用于确定车辆图像的至少一个局部区域R的限定信息(ST210为“是”)。
另外,处理器8将搜索对象图像列表(第一车辆图像列表L1)更新为显示对象图像列表(ST211)。由此,在之后的处理中作为搜索对象的总体与之前的ST202中提取出的作为总体的搜索对象图像列表相比进一步被限定。此外,在本公开中,不是必须将搜索对象图像列表更新为显示对象图像列表。根据如本实施方式那样将搜索对象图像列表更新为显示对象图像列表,通过两个阶段对显示结果进行筛选,因此具有能够削减显示件数这样的优点。但是,即使基于如后述那样决定的第二规则来对与第一规则相同的总体(或其它总体)进行车型判別,也具有能够得到与第一规则相比精度高的判別结果的优点。
然后,处理器8基于限定信息来将得分计算规则更新为第二规则(ST212)。关于基于限定信息来决定第二规则的方法,能够列举出各种各样的方法。例如,(1)能够仅将通过限定信息指定的部位所在的特定局部区域R设定为在第二规则(计算规则)中使用的局部区域R。这意味着,将第一规则变更为将特定局部区域R的权重设为1并将其它局部区域设为0所得到的规则设为第二规则。另外,也能够考虑(2)将特定局部区域R的权重增加为高于其它局部区域(例如,将特定局部区域R0的权重设为0.5并将其它局部区域R1、R2……的权重设为0.1,或者将特定局部区域R0的权重设为1并将其它局部区域R1、R2……的权重设为0)。除此以外,还能够考虑将特定局部区域R的得分的权重设得比第一规则大。
在ST203中设定的第一规则是不依存于局部区域的位置地计算能够普遍地获得的得分的规则。与此相对,在ST212中设定的第二规则是通过偏重于特定局部区域R的得分来计算得分的规则。
处理器8生成第二规则来计算ST205的判別得分,根据基于第二规则的判別得分来进行车型判別(ST206),将第二车辆图像列表L2及与第二车辆图像列表L2对应的车辆图像显示于显示装置3(ST208)(参照图9)。用户能够参照显示结果来确定拍摄到目标车型的车辆图像,从而尽早发现目标车型。
在ST210中获取不到限定信息的情况下(ST210为“否”),进入到ST213,在用户继续进行另外的搜索(例如,该车型的另外的摄像装置2、摄影时刻、其它车型等)的情况下(ST213为“是”),返回到ST201的受理搜索条件,在搜索结束的情况下(ST213为“否”),程序结束。
在图10A、10B、10C中表示上述的限定过程的概要。图10A与图7同样,显示为与用户的第一车辆图像列表L1对应的车辆图像。图10B示出由用户指定了特定局部区域(例如R0)来进一步进行限定搜索的情况,与图5B对应。图10C是与图9对应的限定搜索结果的显示,对车辆图像进行了限定。此外,在判断为在限定搜索结果中搜索到的车辆图像多的情况下,也能够进一步指定另外的特定局部区域(例如R2)来再次进行限定搜索。
基于以上,本实施方式的车型识别装置4基于由摄像装置2拍摄得到的车辆的车辆图像来识别所述车辆的车型,该车型识别装置4具有处理器8和存储装置7,在存储装置7中记录有拍摄到车辆的图像即车辆图像和表示车辆为特定的车型的确定性的得分,处理器8获取用于确定车型的信息即搜索条件,基于搜索条件和得分,使用第一规则来提取符合搜索条件的第一车辆图像列表L1,将第一车辆图像列表L1显示于显示装置3,获取用于确定车辆图像的至少一部分的局部确定信息,基于局部确定信息来生成第二规则,基于搜索条件和得分,使用所生成的第二规则来提取符合搜索条件的第二车辆图像列表L2。
由此,通过根据基于局部确定信息的第二规则来限定搜索,搜索效率提高,能够尽早发现目标车辆。
基于以上,在本实施方式的车型识别装置4中,针对车辆图像内的多个局部区域R的各个局部区域R定义得分,第二规则是与第一规则相比使至少一个局部区域(例如R0)的得分的权重增大的规则。由此,能够用具有车型的特征的局部区域R来进行限定,能够进行精度更高的限定。
基于以上,在本实施方式的车型识别装置4中,第二规则仅使用至少一个局部区域的得分。由此,用具有车型的特征的局部区域R来进行比较变得容易,能够进行高效的搜索。
基于以上,在本实施方式的车型识别装置4中,第一规则是使用对车辆图像内的前部图像的所有局部区域R均等地赋予权重而得到的得分的规则,第二规则是使前部图像中包含的至少一个局部区域R的得分的权重大于前部图像中包含的其它局部区域R的得分的权重的规则。由此,能够用具有车型的特征的局部区域R进行限定搜索,能够实现目标车型的尽早发现。
基于以上,在本实施方式的车型识别装置4中,基于各局部区域R的特征量来计算得分。由此,能够获得各局部区域R中的得分的差异,局部区域R的限定变得容易。
基于以上,在本实施方式的车型识别装置4中,特征量是利用denseSIFT(Scale-Invariant Feature Transform)来计算出的数值。由此,特征量的计算变得容易。
基于以上,在本实施方式的车型识别装置4中,处理器8使用第二规则来将第一车辆图像列表L1限定为车辆图像数更少的第二车辆图像列表L2。由此,要进行搜索的车辆图像进一步被限定,能够尽早发现目标车型。
基于以上,在本实施方式的车型识别装置4中,处理器8将拍摄与符合搜索条件的车辆图像的车辆同种类的车辆所得到的参照图像与第一车辆图像列表L1或者第二车辆图像列表L2一起显示于显示装置3。由此,即使是不熟悉车辆的局部区域R中的特征的人也容易发现,限定变得容易。
基于以上,本实施方式的车型识别***1具备车型识别装置4、用于拍摄车辆的摄像装置2以及用于显示车辆图像、第一车辆图像列表L1及第二车辆图像列表L2的显示装置3。由此,能够构建能够限定在特定的局部区域来高精度地提取目标车辆的***。
基于以上,本实施方式的车型识别方法基于由摄像装置2拍摄得到的车辆的车辆图像来识别车辆的车型,该车型识别方法包括以下步骤:记录拍摄到车辆的图像即车辆图像和表示车辆为特定的车型的确定性的得分;获取用于确定车型的信息即搜索条件;基于搜索条件和得分,使用第一规则来提取符合搜索条件的第一车辆图像列表L1;将第一车辆图像列表L1显示于显示装置3;获取用于确定车辆图像的至少一部分的局部确定信息;基于局部确定信息来生成第二规则;以及基于搜索条件和得分,使用所生成的第二规则来提取符合搜索条件的第二车辆图像列表L2。
由此,根据基于局部确定信息的第二规则来限定搜索,由此能够减少候选的车辆图像,搜索效率提高,能够尽早发现目标车辆。
以上参照附图说明了本公开所涉及的车型识别装置、车型识别***以及车型识别方法的实施方式,但是本公开不限定于所述例子。本领域技术人员应当明白,在权利要求书所记载的范畴内能够想到各种变更例、修正例、置换例、附加例、删除例、等效例,并应当理解它们当然也属于本公开的技术范围。
产业上的可利用性
本公开的车型识别装置、车型识别***以及车型识别方法在能够从大量车辆图像中尽早发现目标车辆的用途上是有用的。
附图标记说明
1:车型识别***;2:摄像装置;3:显示装置;4:车型识别置;5:总线;6:输入装置;7:存储装置;8:处理器;L1:第一车辆图像列表;L2:第二车辆图像列表;R:局部区域。
Claims (10)
1.一种车型识别装置,基于由摄像装置拍摄得到的车辆的车辆图像来识别所述车辆的车型,其中,
该车型识别装置具有处理器和存储装置,
在所述存储装置中记录有所述车辆图像和表示所述车辆图像中的所述车辆为特定的车型的确定性的得分,
所述处理器进行以下处理:
获取包括用于确定车型的信息的搜索条件;
基于所述搜索条件和所述得分,使用第一规则来提取符合所述搜索条件的第一车辆图像列表;
将所述第一车辆图像列表显示于显示装置;
获取用于确定所述车辆图像的至少一部分的局部确定信息;
基于所述局部确定信息生成第二规则;以及
基于所述搜索条件和所述得分,使用所生成的所述第二规则来提取符合所述搜索条件的第二车辆图像列表。
2.根据权利要求1所述的车型识别装置,其特征在于,
针对所述车辆图像内的多个局部区域的各个局部区域定义所述得分,
所述第二规则是与所述第一规则相比使至少一个局部区域的得分的权重增大的规则。
3.根据权利要求2所述的车型识别装置,其特征在于,
所述第二规则仅使用所述至少一个局部区域的得分。
4.根据权利要求2所述的车型识别装置,其特征在于,
所述第一规则是使用对所述车辆图像内的前部图像的所有局部区域均等地赋予权重而得到的得分的规则,
所述第二规则是使所述前部图像中包含的至少一个局部区域的得分的权重大于所述前部图像中包含的其它局部区域的得分的权重的规则。
5.根据权利要求2所述的车型识别装置,其特征在于,
基于各局部区域的特征量来计算所述得分。
6.根据权利要求5所述的车型识别装置,其特征在于,
所述特征量是通过密集尺度不变特征转换计算出的数值。
7.根据权利要求1所述的车型识别装置,其特征在于,
所述处理器使用所述第二规则来将所述第一车辆图像列表限定为车辆图像数更少的所述第二车辆图像列表。
8.根据权利要求1所述的车型识别装置,其特征在于,
所述处理器将参照图像与所述第一车辆图像列表或者所述第二车辆图像列表一起显示于所述显示装置,该参照图是对与符合所述搜索条件的车辆图像的车辆同种类的车辆进行拍摄所得到的。
9.一种车型识别***,具备:
根据权利要求1所述的车型识别装置;
用于拍摄车辆的所述摄像装置;以及
用于显示所述车辆图像、所述第一车辆图像列表以及所述第二车辆图像列表的显示装置。
10.一种车型识别方法,基于由摄像装置拍摄得到的车辆的车辆图像来识别所述车辆的车型,在该车型识别方法中,
记录拍摄到车辆的图像即车辆图像和表示所述车辆图像中的所述车辆为特定的车型的确定性的得分,
获取用于确定车型的信息即搜索条件,
基于所述搜索条件和所述得分,使用第一规则来提取符合所述搜索条件的第一车辆图像列表,
将所述第一车辆图像列表显示于显示装置,
获取用于确定所述车辆图像的至少一部分的局部确定信息,
基于所述局部确定信息来生成第二规则,
基于所述搜索条件和所述得分,使用所生成的所述第二规则来提取符合所述搜索条件的第二车辆图像列表。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016-065192 | 2016-03-29 | ||
JP2016065192 | 2016-03-29 | ||
PCT/JP2017/005488 WO2017169226A1 (ja) | 2016-03-29 | 2017-02-15 | 車種識別装置、車種識別システムおよび車種識別方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN108885636A true CN108885636A (zh) | 2018-11-23 |
Family
ID=59963042
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201780020732.9A Pending CN108885636A (zh) | 2016-03-29 | 2017-02-15 | 车型识别装置、车型识别***以及车型识别方法 |
Country Status (5)
Country | Link |
---|---|
US (1) | US20190114494A1 (zh) |
EP (1) | EP3438851A1 (zh) |
JP (1) | JP6906144B2 (zh) |
CN (1) | CN108885636A (zh) |
WO (1) | WO2017169226A1 (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111861680A (zh) * | 2020-08-06 | 2020-10-30 | 南京三百云信息科技有限公司 | 基于配置的车型确定方法、装置以及电子终端 |
CN115039157A (zh) * | 2020-02-07 | 2022-09-09 | 三菱电机楼宇解决方案株式会社 | 停车车辆搜索*** |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10640060B2 (en) * | 2016-03-17 | 2020-05-05 | Innova Electronics Corporation | Vehicle repair shop pre-inspection and post-inspection verification system |
CN108446612A (zh) * | 2018-03-07 | 2018-08-24 | 腾讯科技(深圳)有限公司 | 车辆识别方法、装置及存储介质 |
JP6791200B2 (ja) * | 2018-05-11 | 2020-11-25 | トヨタ自動車株式会社 | 捜索支援システム、捜索支援装置、及び、捜索支援方法 |
CN111222409A (zh) * | 2019-11-26 | 2020-06-02 | 北京迈格威科技有限公司 | 车辆品牌的标注方法、装置及*** |
CN111178292A (zh) * | 2019-12-31 | 2020-05-19 | 东软集团(北京)有限公司 | 一种车型识别方法、装置及设备 |
US20210241208A1 (en) * | 2020-01-31 | 2021-08-05 | Capital One Services, Llc | Method and system for identifying and onboarding a vehicle into inventory |
US11429664B1 (en) * | 2022-03-21 | 2022-08-30 | Verkada Inc. | Hyperzoom attribute analytics on the edge |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20050196016A1 (en) * | 2003-12-25 | 2005-09-08 | Fujitsu Limited | Vehicle search system and vehicle search method |
US20050267657A1 (en) * | 2004-05-04 | 2005-12-01 | Devdhar Prashant P | Method for vehicle classification |
CN101288077A (zh) * | 2005-08-15 | 2008-10-15 | 埃韦里克斯技术股份有限公司 | 使用图像导出信息作为因特网和其他搜索引擎的搜索标准 |
CN102567380A (zh) * | 2010-12-28 | 2012-07-11 | 沈阳聚德视频技术有限公司 | 在视频图像中检索车辆信息的方法 |
US20130136310A1 (en) * | 2010-08-05 | 2013-05-30 | Hi-Tech Solutions Ltd. | Method and System for Collecting Information Relating to Identity Parameters of A Vehicle |
CN105320705A (zh) * | 2014-08-05 | 2016-02-10 | 北京大学 | 相似车辆的检索方法及装置 |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3959537B2 (ja) * | 1998-01-28 | 2007-08-15 | 三菱電機株式会社 | 車種判別装置 |
JP2007299144A (ja) * | 2006-04-28 | 2007-11-15 | Mitsubishi Heavy Ind Ltd | ロゴ判別装置および方法ならびにプログラム |
JP4715664B2 (ja) * | 2006-07-27 | 2011-07-06 | 株式会社日立製作所 | 車両検索システム |
JP5338255B2 (ja) * | 2008-10-23 | 2013-11-13 | オムロン株式会社 | 車両認識装置 |
US8392432B2 (en) * | 2010-04-12 | 2013-03-05 | Microsoft Corporation | Make and model classifier |
WO2012159109A2 (en) * | 2011-05-19 | 2012-11-22 | Bir Bhanu | Dynamic bayesian networks for vehicle classification in video |
JP5423755B2 (ja) * | 2011-09-28 | 2014-02-19 | 富士通株式会社 | 特定部位抽出プログラム |
JP5974448B2 (ja) * | 2011-10-25 | 2016-08-23 | 富士通株式会社 | 車両情報登録方法、車両情報登録装置、及び車両情報登録プログラム |
JP2014002534A (ja) * | 2012-06-18 | 2014-01-09 | Toshiba Corp | 車種判別装置及び車種判別方法 |
-
2017
- 2017-02-15 EP EP17773774.9A patent/EP3438851A1/en not_active Withdrawn
- 2017-02-15 CN CN201780020732.9A patent/CN108885636A/zh active Pending
- 2017-02-15 WO PCT/JP2017/005488 patent/WO2017169226A1/ja active Application Filing
- 2017-02-15 US US16/088,546 patent/US20190114494A1/en not_active Abandoned
- 2017-02-15 JP JP2018508543A patent/JP6906144B2/ja active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20050196016A1 (en) * | 2003-12-25 | 2005-09-08 | Fujitsu Limited | Vehicle search system and vehicle search method |
US20050267657A1 (en) * | 2004-05-04 | 2005-12-01 | Devdhar Prashant P | Method for vehicle classification |
CN101288077A (zh) * | 2005-08-15 | 2008-10-15 | 埃韦里克斯技术股份有限公司 | 使用图像导出信息作为因特网和其他搜索引擎的搜索标准 |
US20130136310A1 (en) * | 2010-08-05 | 2013-05-30 | Hi-Tech Solutions Ltd. | Method and System for Collecting Information Relating to Identity Parameters of A Vehicle |
CN102567380A (zh) * | 2010-12-28 | 2012-07-11 | 沈阳聚德视频技术有限公司 | 在视频图像中检索车辆信息的方法 |
CN105320705A (zh) * | 2014-08-05 | 2016-02-10 | 北京大学 | 相似车辆的检索方法及装置 |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115039157A (zh) * | 2020-02-07 | 2022-09-09 | 三菱电机楼宇解决方案株式会社 | 停车车辆搜索*** |
CN111861680A (zh) * | 2020-08-06 | 2020-10-30 | 南京三百云信息科技有限公司 | 基于配置的车型确定方法、装置以及电子终端 |
CN111861680B (zh) * | 2020-08-06 | 2024-03-29 | 南京三百云信息科技有限公司 | 基于配置的车型确定方法、装置以及电子终端 |
Also Published As
Publication number | Publication date |
---|---|
US20190114494A1 (en) | 2019-04-18 |
EP3438851A4 (en) | 2019-02-06 |
WO2017169226A1 (ja) | 2017-10-05 |
EP3438851A1 (en) | 2019-02-06 |
JP6906144B2 (ja) | 2021-07-21 |
JPWO2017169226A1 (ja) | 2019-02-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108885636A (zh) | 车型识别装置、车型识别***以及车型识别方法 | |
JP7375101B2 (ja) | 情報処理装置、情報処理方法及びプログラム | |
Yeum et al. | Vision‐based automated crack detection for bridge inspection | |
JP6286474B2 (ja) | 画像処理装置および領域追跡プログラム | |
Li et al. | An anti-fraud system for car insurance claim based on visual evidence | |
JP5366756B2 (ja) | 情報処理装置及び情報処理方法 | |
CN104919794A (zh) | 用于从主从式相机跟踪***提取元数据的方法和*** | |
JP2005122351A (ja) | 顔画像候補領域検索方法及び検索システム並びに検索プログラム | |
CN113111844B (zh) | 一种作业姿态评估方法、装置、本地终端及可读存储介质 | |
JP2022518459A (ja) | 情報処理方法および装置、記憶媒体 | |
JP7287511B2 (ja) | 情報処理装置、容疑者情報生成方法及びプログラム | |
CN106529388A (zh) | 信息处理装置及其控制方法 | |
JP2021174438A (ja) | 個体識別システム、個体識別プログラム、及び記録媒体 | |
JP5004082B2 (ja) | 文書画像検索方法、文書画像登録方法、そのプログラムおよび装置 | |
CN114913470A (zh) | 一种事件检测方法及装置 | |
WO2015136716A1 (ja) | 画像処理装置、画像センサ、画像処理方法 | |
JP7337541B2 (ja) | 情報処理装置、情報処理方法及びプログラム | |
US11651582B2 (en) | Individual identification system | |
CN112446311A (zh) | 对象重识别方法、电子设备、存储介质及装置 | |
JPWO2015178001A1 (ja) | 画像照合システム、画像照合方法、およびプログラムを記憶する記録媒体 | |
JP2015187770A (ja) | 画像認識装置、画像認識方法及びプログラム | |
JPH10171831A (ja) | 画像ファイル検索装置 | |
TW202201270A (zh) | 個體識別系統 | |
TW202201271A (zh) | 個體識別系統 | |
JPWO2022079841A5 (ja) | グループ特定装置、グループ特定方法、及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
WD01 | Invention patent application deemed withdrawn after publication | ||
WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20181123 |