发明内容
鉴于现有技术由于现阶段360度全景资源相对较少,大量图片样本的获取相对困难,会导致特征样本获取困难的问题,提出了本发明的一种360度全景图片的特征向量提取方法、360度全景图片的识别方法和相应装置,以便解决或至少部分地解决上述问题。
根据本发明的一个方面,提供了一种360度全景图片的特征向量提取方法,所述方法包括:
获取一个360度全景图片作为样本图片,并将所述样本图片缩放到预设尺寸W×H,其中W为宽度,H为高度;
从缩放后的所述样本图片中提取多组连续两列的色差向量,得到多个对应360度全景图片的正样本特征向量;
从缩放后的所述样本图片中获取多组非连续两列的色差向量,得到多个对应非360度全景图片的负样本特征向量;
对多个所述正样本特征向量和多个所述负样本特征向量进行样本训练,获取区分360度全景图片特征和非360度全景图片特征的支持向量数据。
根据本发明的另一个方面,提供了一种360度全景图片的识别方法,所述方法包括:
采用上述的360度全景图片的特征向量提取方法获取区分360度全景图片特征和非360度全景图片特征的支持向量数据;
将待识别图片缩放到预设尺寸W×H,获取缩放后的所述待识别图片的第1列与第W列的色差向量v、第1列与第2列的色差向量v1、第W列与第W-1列的色差向量v2,并根据公式
调整所述色差向量v,将调整后的vi组成色差向量,作为所述待识别图片的特征向量;其中,T为(0.007,0.1)之间的数;vi是色差向量v中的第i个色差值,v1i是色差向量v1中的第i个色差值,v2i是色差向量v2中的第i个色差值;
判断所述待识别图片的特征向量是否符合360度全景图片的支持向量数据特征;若判断为是,则确定待识别图片为360度全景图片,否则为非360度全景图片。
根据本发明的又一个方面,提供了一种360度全景图片的特征向量提取装置,所述装置包括:
样本图片获取单元,用于获取一个360度全景图片作为样本图片,并将所述样本图片缩放到预设尺寸W×H,其中W为宽度,H为高度;
正样本特征向量获取单元,用于从缩放后的所述样本图片中提取多组连续两列的色差向量,得到多个对应360度全景图片的正样本特征向量;
负样本特征向量获取单元,用于从缩放后的所述样本图片中获取多组非连续两列的色差向量,得到多个对应非360度全景图片的负样本特征向量;
支持向量获取单元,用于对多个所述正样本特征向量和多个所述负样本特征向量进行样本训练,获取区分360度全景图片特征和非360度全景图片特征的支持向量数据。
根据本发明的再一个方面,提供了一种360度全景图片的识别装置,其特征在于,所述装置包括:
支持向量数据获取单元,用于采用上述的360度全景图片的特征向量提取装置获取区分360度全景图片特征和非360度全景图片特征的支持向量数据;
待识别图片特征向量获取单元,用于将待识别图片缩放到预设尺寸W×H,获取缩放后的所述待识别图片的第1列与第W列的色差向量v、第1列与第2列的色差向量v1、第W列与第W-1列的色差向量v2,并根据公式
调整所述色差向量v,将调整后的vi组成色差向量,作为所述待识别图片的特征向量;其中,T为(0.007,0.1)之间的数;vi是色差向量v中的第i个色差值,v1i是色差向量v1中的第i个色差值,v2i是色差向量v2中的第i个色差值;
图片类型判断单元,用于判断所述待识别图片的特征向量是否符合360度全景图片的支持向量数据特征;若判断为是,则确定待识别图片为360度全景图片,否则为非360度全景图片。
综上所述,本发明从一个360度全景图片中提取多组连续两列的色差向量,得到多个对应360度全景图片的正样本特征向量;获取多组非连续两列的色差向量,得到多个对应非360度全景图片的负样本特征向量;然后对多个正样本特征向量和多个负样本特征向量进行样本训练,获取区分360度全景图片特征和非360度全景图片特征的支持向量数据。这样从一个360度全景图片中就可以获取多个正样本特征向量和多个负样本特征向量,克服360度全景图片资源少引起的特征样本获取困难的问题。可见,本发明利用较少的360度全景图片资源,可获取大量的360度全景图片的特征向量,进而可提高360全景图的识别率。
具体实施方式
本发明的设计思路是:鉴于现有技术由于现阶段360度全景资源相对较少,大量特征样本的获取相对困难,会导致特征样本获取困难的问题。考虑到,为了进行待识别图片的图片类型的识别,可以从已知图片类型的图片中获取360度全景图片特征和非360度全景图片特征,然后经过样本训练,获得区分360度全景图片特征和非360度全景图片特征的支持向量数据。本发明从一个360度全景图片获取多组360度全景特征的方法,连续两列的色差向量作为正样本的特征向量,非连续两列的色差向量作为负样本特征向量,从而解决大量特征样本获取困难的问题。为使本发明的目的、技术方案和优点更加清楚,下面将结合附图对本发明实施方式作进一步地详细描述。
图1为本发明一个实施例提供的一种360度全景图片的特征向量提取方法流程图。如图1所示,该方法包括:
步骤S110,获取一个360度全景图片作为样本图片,并将样本图片缩放到预设尺寸W×H,其中W为宽度,H为高度。
这里只是针对一个360度全景图片的特征向量的提取方法,为了得到大量的特征向量,其他的样本图片的特征向量均可以通过本发明获取,这里将样本图片缩放到预设尺寸W×H也是为了保证所有特征向量的一致性,进而提高图片识别的准确率。
步骤S120,从缩放后的样本图片中提取多组连续两列的色差向量,得到多个对应360度全景图片的正样本特征向量。
360度全景图片是通过图片的左右侧拼合,在VR模式下达到360度环视的效果,从而给用户带来三维立体的空间体验。这就要求,360度全景图片的左右两边在拼合后,其颜色的过渡是平滑的,不存在明显的拼接痕迹,即拼接处的像素点的颜色值接近或者相同。反过来说,360度全景图片无论是从哪里分开,其拼接后都不会有拼接的痕迹,也就是说360度全景图片的连续两列的像素点的颜色值接近或者相同。所以为了从一张360度全景图片中获取多组色差向量,可以提取多组连续两列的色差向量,得到多个对应360度全景图片的正样本特征向量。
这里提出的获取两列的色差向量的具体方法是:
(1)分别获取两列的每个像素点的颜色值。
(2)计算每对像素点分别计算色差值。
这里的每对像素点,指的是每对像素点的所在的行数相同。例如,获取第1列和第2列的像素点的色差值,获取第一列的像素点颜色值记为C11、C12、...、C1H,第二列的像素点颜色值记为C21、C22、...、C2H,其中,H是样本图片的高度;那么,所在的行数相同的每对像素点分别计算色差值是:C11-C21(第1行),C12-C22(第2行),...,C1H-C2H(第H行)。
(3)将H个色差值构成色差向量。色差向量的维数为样本图片的高度H。
步骤S130,从缩放后的样本图片中获取多组非连续两列的色差向量,得到多个对应非360度全景图片的负样本特征向量。
既然360度全景图片的连续两列的像素点的颜色值接近或者相同,那么非360度全景图片的像素点的颜色值相差就会较大,所以,要从一张360度全景图片获取对应非360度全景图片的负样本特征向量,就可以从样本图片中获取多组非连续两列的色差向量,保证颜色值的色差较大即可。
本步骤中的获取多组非连续两列的色差向量的方法同步骤S120中的方法,不同的是,获取的是非连续两列的色差向量。
步骤S140,对多个正样本特征向量和多个负样本特征向量进行样本训练,获取区分360度全景图片特征和非360度全景图片特征的支持向量数据。
根据多个正样本特征向量和多个负样本特征向量进行样本训练得到的区分360度全景图片特征和非360度全景图片特征的支持向量数据,是通过若干个已经图片类型的样本图片获得的,可以更加准确的区分360度全景图片和非360度全景图片。
因为图片中存在的噪点等会造成色差值计算的误差,导致特征向量提取的不准确,进而影响待识别图片的识别。为了获得更准确的特征向量,在计算色差时根据周围像素的色差对色差值进行调整。所以,在本发明的一个实施例中,步骤S120中的从缩放后的样本图片中获取多组连续两列的色差向量,得到多个对应360度全景图片的正样本特征向量包括:
对缩放后的样本图片,令X1=N、X2=N+1,计算第X1列与第X2列的色差向量V,第X1列与第X1-1列的色差向量V1,第X2列与第X2+1列的色差向量V2,其中,N取值范围为[2,W-2];根据周围像素的色差向量V1、V2对色差向量V进行调整;由调整后的色差向量V得到一个对应360度全景图片的正样本特征向量,令N=N+a,a为固定步长,重复上述步骤得到下一个正样本特征向量,直至得到预定数量个的正样本特征向量。
例如,获取的是第3列和第4列的色差向量,那么在计算这两列的每个像素点的色差值,可以通过第2列和第3列的色差值,以及第4列和第5列的色差值调整第3列和第4列的色差值。
为了保证提取的色差向量可以得到调整,这里的N取值范围是[2,W-2],那么当获取第2列和第3列的色差向量时,可以利用第1列和第2列的色差向量以及第3列和第4列的色差向量进行调整;当获取第W-2列和第W-1列的色差向量时,可以利用第W列和第W-1列的色差向量以及第W-3列和第W-2的色差向量进行调整。
需要说明的是,在获取连续两列的色差向量时,可以设定固定步长,保证获取的连续两列的色差向量均是具有可用性。例如,第2列和第3列的色差向量后,再获取第3列和第4列的色差向量,两者的区别不大,第3列和第4列的可用性也不大,获取的意义不大,所以这里设定固定步长,保证每个获取的色差向量均是有意义的,提高获取色差向量的效率。同时,这里设定的固定步长必须和预定数量相对应,保证得到预定数量个的正样本特征向量时,其获取的色差向量可涵盖整张样本图片。
可见,本发明利用较少的360度全景图片资源,可获取大量的360度全景图片的特征向量,大量的特征向量经过样本训练获得支持向量数据后可提高360全景图的识别率。
要从一张360度全景图片获取对应非360度全景图片的负样本特征向量,可以从样本图片中获取多组非连续两列的色差向量,保证颜色值的色差值较大即可。那么为了最大限度的保证获取的两列的色差值较大,在本发明的一个实施例中,步骤S130中的从缩放后的样本图片中获取多组非连续两列的色差向量,得到多个对应非360度全景图片的负样本特征向量包括:
对缩放后的样本图片,令X1=N、X2=N+W/2,计算第X1列与第X2列的色差向量V,第X1列与第X1-1列的色差向量V1,第X2列与第X2+1列的色差向量V2,其中,N取值范围为[2,W/2-1];根据周围像素的色差向量V1、V2对色差向量V进行调整;由调整后的色差向量V得到一个对应非360度全景图片的负样本特征向量,令N=N+a,a为固定步长,重复上述步骤得到下一个负样本特征向量,直至得到预定数量个的负样本特征向量。
因为图片是经过缩放的,这里缩放后的尺寸是人工设定,所以这里的W在人工设定时,可以设定一个能被2整除的数。
例如,W取1000,那么在获取非连续两列的色差向量时,获取的是第2列和第502列的色差向量、第3列和第503列的色差向量、…、第499列和第999列的色差向量。
为了获得更准确的特征向量,在计算色差时也可以根据周围像素的色差对色差值进行调整。为了保证提取的色差向量可以得到调整,这里的N取值范围是[2,W/2-1]。
图2为本发明另一个实施例提供的一种360度全景图片的特征向量提取方法流程图。如图2所示,该方法包括:
开始提取特征向量后,步骤S210,获取样本图片,将图片缩放到W*H的尺寸;
步骤S220,令N=2,X1=0,X2=0。
步骤S230,判断是否获取正样本特征向量。
若判断为是,则步骤S240,令X1=N,X2=N+1。若判断为否,则步骤S241,令X1=N,X2=N+W/2。
步骤S250,判断X1是否小于W以及判断X2是都小于W,。若其中之一判断为否,其结束特征向量的获取。若均判断为是,则步骤S260,计算样本图片的第X1列与第X2列的色差向量V,第X1列与第X1-1列的色差向量V1,第X2列与第X2+1列的色差向量V2。
步骤S270,根据V1和V2对V进行调整。
步骤S280,判断获取的特征向量是否为正样本特征。若判断为是,则步骤S290将调整后的V保存为正样本特征向量,若判断为否,则步骤S291将调整后的V保存为负样本特征向量。
为了控制一个样本图片获取的样本特征向量的个数,步骤S200,令N=N+a,其中,a为固定步长。然后再次进行特征向量的获取,直到X1大于等于W或者X2大于等于W。
需要说明的是,本发明中采用的一张360度全景图片作为样本图片,获取正样本特征向量和负样本特征向量。这里的负样本特征向量还可以选择一张普通图片作为样本图片进行付样本图片的提取,且提取方法相同。
这里的固定步长和预定数量同上文说明,这里不再赘述。
在本发明的一个实施中,上文中的根据周围像素的色差向量V1、V2对色差向量V进行调整包括:
根据公式
调整色差向量V,将调整后的Vi组成色差向量,作为调整后的色差向量V;其中,T为(0.007,0.1)之间的数;Vi是色差向量V中的第i个色差值,V1i是色差向量V1中的第i个色差值,V2i是色差向量V2中的第i个色差值。例如,获取第2列和第3列的色差向量V中的像素点的色差值为:C21-C31(第1行),C22-C32(第2行),...,C2H-C3H(第H行);获取的第1列和第2列的色差向量V1中的像素点的色差值为:C11-C21(第1行),C12-C22(第2行),...,C1H-C2H(第H行);获取的第3列和第4列的色差向量V2中的像素点的色差值为:C31-C41(第1行),C32-C42(第2行),...,C3H-C4H(第H行)。调整的时候,根据公式,用C11-C21和C31-C41取调整C21-C31,以此类推。
图3为本发明一个实施例提供的一种360度全景图片的识别方法流程图。如图3所示,采用图1的360度全景图片的特征向量提取方法获取区分360度全景图片特征和非360度全景图片特征的支持向量数据。支持向量数据获取后可重复利用,不需要反复获取支持向量数据,也就是说支持向量数据值获取一次就可以,在进行图片识别时,直接调用即可。
所以,该方法包括:
步骤S310,获取待识别图片,将待识别图片缩放到预设尺寸W×H,
步骤S320,计算待识别图片的第1列与第W列的色差向量v、第1列与第2列的色差向量v1、第W列与第W-1列的色差向量v2,
步骤S330,利用色差向量v1和色差向量v2,并根据公式
调整色差向量v,将调整后的vi组成色差向量,作为待识别图片的特征向量;其中,T为(0.007,0.1)之间的数;vi是色差向量v中的第i个色差值,v1i是色差向量v1中的第i个色差值,v2i是色差向量v2中的第i个色差值。将调整后的色差向量v作为待识别图片的特征向量。
这里将待识别图片也缩放成预设尺寸W×H,为了保证和支持向量数据相对应,保证支持向量数据的可用性,提高识别的正确率。
对于待识别图片的特征向量的提取方法和样本图片的提取方法一样,不同的是,这里只需要提取第1列与第W列的色差向量v,并利用第1列与第2列的色差向量v1和第W列与第W-1列的色差向量v2进行调整即可。
步骤S340,利用支持向量数据判断待识别图片的特征向量是否符合360度全景图片的支持向量数据特征;若判断为是,则确定待识别图片为360度全景图片,否则为非360度全景图片。
图4为本发明一个实施例提供的一种用于识别360度全景图片的特征向量提取装置示意图。如图4所示,该用于识别360度全景图片的特征向量提取装置400包括:
样本图片获取单元410,用于获取一个360度全景图片作为样本图片,并将样本图片缩放到预设尺寸W×H,其中W为宽度,H为高度;
正样本特征向量获取单元420,用于从缩放后的样本图片中提取多组连续两列的色差向量,得到多个对应360度全景图片的正样本特征向量;
负样本特征向量获取单元430,用于从缩放后的样本图片中获取多组非连续两列的色差向量,得到多个对应非360度全景图片的负样本特征向量;
支持向量获取单元440,用于对多个正样本特征向量和多个负样本特征向量进行样本训练,获取区分360度全景图片特征和非360度全景图片特征的支持向量数据。
在本发明的一个实施例中,正样本特征向量获取单元420用于:
对缩放后的样本图片,令X1=N、X2=N+1,计算第X1列与第X2列的色差向量V,第X1列与第X1-1列的色差向量V1,第X2列与第X2+1列的色差向量V2,其中,N取值范围为[2,W-2];根据周围像素的色差向量V1、V2对色差向量V进行调整;由调整后的色差向量V得到一个对应360度全景图片的正样本特征向量,令N=N+a,a为固定步长,重复上述步骤得到下一个正样本特征向量,直至得到预定数量个的正样本特征向量。
在本发明的一个实施例中,负样本特征向量获取单元430用于:
对缩放后的样本图片,令X1=N、X2=N+W/2,计算第X1列与第X2列的色差向量V,第X1列与第X1-1列的色差向量V1,第X2列与第X2+1列的色差向量V2,其中,N取值范围为[2,W/2-1];根据周围像素的色差向量V1、V2对色差向量V进行调整;由调整后的色差向量V得到一个对应非360度全景图片的负样本特征向量,令N=N+a,a为固定步长,重复上述步骤得到下一个负样本特征向量,直至得到预定数量个的负样本特征向量。
在本发明的一个实施例中,正样本特征向量获取单元420或负样本特征向量获取单元430具体用于:
根据公式
调整色差向量V,将调整后的Vi组成色差向量,作为调整后的色差向量V;其中,T为(0.007,0.1)之间的数;Vi是色差向量V中的第i个色差值,V1i是色差向量V1中的第i个色差值,V2i是色差向量V2中的第i个色差值。
图5为本发明一个实施例提供的一种360度全景图片的识别装置的示意图。如图5所示,该360度全景图片的识别装置500包括:
支持向量获取单元510,用于采用图4所示的360度全景图片的特征向量提取装置获取区分360度全景图片特征和非360度全景图片特征的支持向量数据;
待识别图片特征向量获取单元520,用于将待识别图片缩放到预设尺寸W×H,获取缩放后的待识别图片的第1列与第W列的色差向量v、第1列与第2列的色差向量v1、第W列与第W-1列的原始色差向量v2,并根据公式
调整色差向量v,将调整后的vi组成色差向量,作为待识别图片的特征向量;其中,T为(0.007,0.1)之间的数;vi是色差向量v中的第i个色差值,v1i是色差向量v1中的第i个色差值,v2i是色差向量v2中的第i个色差值;
图片类型判断单元530,用于判断待识别图片的特征向量是否符合360度全景图片的支持向量数据特征;若判断为是,则确定待识别图片为360度全景图片,否则为非360度全景图片。
需要说明的是,图3所示的方法、图4和图5所示的装置的各实施例与图1所示方法的各实施例对应相同,上文已有详细说明,在此不再赘述。
综上所述,本发明从一个360度全景图片中提取多组连续两列的色差向量,得到多个对应360度全景图片的正样本特征向量;获取多组非连续两列的色差向量,得到多个对应非360度全景图片的负样本特征向量;然后对多个正样本特征向量和多个负样本特征向量进行样本训练,获取区分360度全景图片特征和非360度全景图片特征的支持向量数据。这样从一个360度全景图片中就可以获取多个正样本特征向量和多个负样本特征向量,克服360度全景图片资源少引起的特征样本获取困难的问题。可见,本发明利用较少的360度全景图片资源,可获取大量的360度全景图片的特征向量,进而可提高360全景图的识别率。
以上所述,仅为本发明的具体实施方式,在本发明的上述教导下,本领域技术人员可以在上述实施例的基础上进行其他的改进或变形。本领域技术人员应该明白,上述的具体描述只是更好的解释本发明的目的,本发明的保护范围应以权利要求的保护范围为准。