CN111428732B - Yuv图像识别方法、***和计算机设备 - Google Patents
Yuv图像识别方法、***和计算机设备 Download PDFInfo
- Publication number
- CN111428732B CN111428732B CN202010138367.5A CN202010138367A CN111428732B CN 111428732 B CN111428732 B CN 111428732B CN 202010138367 A CN202010138367 A CN 202010138367A CN 111428732 B CN111428732 B CN 111428732B
- Authority
- CN
- China
- Prior art keywords
- component
- yuv
- input
- image recognition
- yuv image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 34
- 238000000605 extraction Methods 0.000 claims abstract description 16
- 238000004590 computer program Methods 0.000 claims description 11
- 238000011176 pooling Methods 0.000 claims description 8
- 238000005070 sampling Methods 0.000 claims description 8
- 238000013527 convolutional neural network Methods 0.000 claims description 4
- 238000004364 calculation method Methods 0.000 abstract description 5
- 230000006870 function Effects 0.000 description 8
- 238000003491 array Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 238000003062 neural network model Methods 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 4
- 230000001133 acceleration Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000010295 mobile communication Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000008094 contradictory effect Effects 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 238000009432 framing Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/56—Extraction of image or video features relating to colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明实施例提供了一种YUV图像识别方法,所述方法包括:获取待识别的YUV图像;将所述YUV图像输入到YUV图像识别模型,所述YUV图像识别模型包括输入层、图像处理层和输出层;其中,所述输入层包括分量提取分支、第一输入分支、第二输入分支和分量组合分支,用于将所述YUV图像的YUV组合分量提供给所述图像处理层;及通过所述YUV图像识别模型输出识别结果。本发明实施例可以直接对YUV格式图像进行识别,无需将YUV格式图像转换为其他图像格式,减少了图像识别模型对YUV格式图像识别的算力消耗,提高了图像识别模型对YUV格式图像的识别效率。
Description
技术领域
本发明实施例涉及图像识别领域,尤其涉及一种YUV图像识别方法、***、计算机设备及计算机可读存储介质。
背景技术
YUV作为一种颜色编码方式,广泛应用于各个视频处理组件中。考虑到人眼的感知能力,YUV图像采用抽样的方式减低色度的带宽,从而降低了图像存储和传输过程对设备的资源需求。深度神经网络模型已经成为人工智能领域最重要的模型方法,甚至出现了很多专用的加速芯片,更有效地满足生产对精度和速度的双重追求。需要注意的是,深度神经网络对输入数据具有规范化的要求,利用平面格式存储的YUV图像,是无法直接应用于模型训练的。现有的YUV图像识别方法,主要分为两种:一种是阶段分步式方案,先利用传统或深度模型识别出目标的位置,再利用局部图像的YUYV分量,进行颜色的识别,不仅没有办法实现端对端的训练,而且只利用了UV色度分量,没有充分发挥YUV图像的价值;另一种是利用先验知识将YUV格式转化为RGB格式,通过离线的方式消除学术与生产的差异性,但是增加了算力消耗,且无法充分利用专用芯片的加速功能。
因此,如何在图像识别模型算力消耗较小的情况下,实现模型直接识别YUV格式图像,从而进一步提高图像识别模型的灵活性,成为了当前要解决的技术问题之一。
发明内容
有鉴于此,有必要提供一种YUV图像识别方法、***、计算机设备及计算机可读存储介质,以解决在当前图像识别模型无法直接对YUV格式图像进行识别的技术问题。
为实现上述目的,本发明实施例提供了一种YUV图像识别方法,所述方法步骤包括:
获取待识别的YUV图像;
将所述YUV图像输入到YUV图像识别模型,所述YUV图像识别模型包括输入层、图像处理层和输出层;其中,所述输入层包括分量提取分支、第一输入分支、第二输入分支和分量组合分支,用于将所述YUV图像的YUV组合分量提供给所述图像处理层;及
通过所述YUV图像识别模型输出识别结果。
示例性的,所述分量提取分支用于执行以下步骤:
对所述YUV图像进行分量提取,以得到所述YUV图像的第一分量Y、第二分量U以及第三分量V。
示例性的,所述第一输入分支用于执行以下步骤:
对所述第一分量Y进行加维操作,以得到第一初始分量Y1;及
对所述第一初始分量Y1进行池化操作,以得到池化后的第一输入分量Y2。
示例性的,所述第二输入分支用于执行以下步骤:
对所述第二分量U和第三分量V进行加维操作,以得到第二初始分量U1以及第三初始分量V1;
根据所述第二初始分量U1和第三初始分量V1,得到第一UV组合分量;
对所述第一UV组合分量进行升采样操作,以得到第二输入分量U2和第三输入分量V2;及
根据所述第二输入分量U2和第三输入分量V2,得到第二UV组合分量。
示例性的,所述分量组合分支用于执行以下步骤:
将所述第一初始分量Y1和第二UV组合分量进行级联操作,以得到第一YUV组合分量;
将所述第一输入分量Y2和第一UV组合分量进行级联操作,以得到第二YUV组合分量。
示例性的,通过所述YUV图像识别模型输出所述识别结果,包括:
将所述第一YUV组合分量和所述第二YUV组合分量作为输入层的输出数据,并将所述输出数据输入到所述图像处理层进行YUV图像识别操作,以得到所述识别结果,所述图像处理层包括图像识别网络,所述图像识别网络为预先训练好的卷积神经网络,所述卷积神经网络用于识别YUV图像;及
通过输出层输出所述识别结果。
为实现上述目的,本发明实施例还提供了一种YUV图像识别***,包括:
获取模块,用于获取待识别的YUV图像;
输入模块,用于将所述YUV图像输入到YUV图像识别模型,所述YUV图像识别模型包括输入层、图像处理层和输出层;其中,所述输入层包括分量提取分支、第一输入分支、第二输入分支和分量组合分支,用于将所述YUV图像的YUV组合分量提供给所述图像处理层;及
输出模块,用于通过所述YUV图像识别模型输出所述识别结果。
示例性的,所述输入模块,还用于:
对所述YUV图像进行分量提取,以得到所述YUV图像的第一分量Y、第二分量U以及第三分量V。
为实现上述目的,本发明实施例还提供了一种计算机设备,所述计算机设备包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述计算机程序被处理器执行时实现如上述的YUV图像识别方法的步骤。
为实现上述目的,本发明实施例还提供了一种计算机可读存储介质,所述计算机可读存储介质内存储有计算机程序,所述计算机程序可被至少一个处理器所执行,以使所述至少一个处理器执行如上述的YUV图像识别方法的步骤。
本发明实施例提供的YUV图像识别方法、***、计算机设备及计算机可读存储介质,可以直接对YUV格式图像进行识别,无需将YUV格式图像转换为其他图像格式,减少了图像识别模型对YUV格式图像识别的算力消耗,提高了图像识别模型对YUV格式图像的识别效率。
附图说明
图1为本发明实施例YUV图像识别方法的流程示意图。
图2为本发明YUV图像识别***实施例二的程序模块示意图。
图3为本发明计算机设备实施例三的硬件结构示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅用以解释本发明,并不用于限定本发明。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
需要说明的是,在本发明中涉及“第一”、“第二”等的描述仅用于描述目的,而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。另外,各个实施例之间的技术方案可以相互结合,但是必须是以本领域普通技术人员能够实现为基础,当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在,也不在本发明要求的保护范围之内。
以下实施例中,将以计算机设备2为执行主体进行示例性描述。
实施例一
参阅图1,示出了本发明实施例之YUV图像识别方法的步骤流程图。可以理解,本方法实施例中的流程图不用于对执行步骤的顺序进行限定。下面以计算机设备2为执行主体进行示例性描述。具体如下。
步骤S100,获取待识别的YUV图像。
YUV作为一种颜色编码方式,可广泛应用于各个视频处理组件中。视频采集芯片输出的码流可以包括YUV数据流,该YUV数据流被分帧可以得到多个YUV图像。这些YUV图像采用抽样的方式减低色度的带宽,可以降低图像存储和传输过程对设备的资源需求。
示例性的,由于YUV图像格式不符合图像识别模型的输入格式,所以一般图像识别模型是无法直接对YUV图像进行识别的,因此,若要使图像识别模型实现直接对YUV图像识别,需要对所述图像识别模型的输入层进行重新构建。
步骤S102,将所述YUV图像输入到YUV图像识别模型,所述YUV图像识别模型包括输入层、图像处理层和输出层;其中,所述输入层包括分量提取分支、第一输入分支、第二输入分支和分量组合分支,用于将所述YUV图像的YUV组合分量提供给所述图像处理层。
所述YUV图像识别模型为一种改进的神经网络模型,其可以直接识别YUV图像。相比于传统的神经网络模型,减去了在识别过程中间YUV图像转换为RGB图像的步骤,以降低图像识别过程中的资源消耗。
所述YUV图像识别模型的输入层配置有分量提取分支、第一输入分支、第二输入分支和分量组合分支,通过上述分支使得所述YUV图像识别模型可以直接识别YUV图像。各个分支的具体功能如下:
示例性的,通过所述分量提取分支执行以下步骤S102a:
步骤S102a,对所述YUV图像进行分量提取,以得到所述YUV图像的第一分量Y、第二分量U以及第三分量V。
示例性的,所述分量提取分支用于提取YUV格式图像中的第一分量Y、第二分量U以及第三分量V;其中,所述第一分量Y用于表示图像的明亮度Y分量,所述第二分量U和第三分量V用于表示图像的色度U分量和V分量。所述YUV格式图像包括YUV420P格式图像,在YUV420P格式图像中,每4个Y分量共用一组UV分量,已知图像大小为4*4=16,则Y分量、U分量、V分量的大小分别为16、4、4,可以抽取1到16为Y分量,17到20为U分量,21到24为V分量,并对所述Y分量、所述U分量以及所述V分量进行改组(Reshape)操作,以得到(W*H)数据结构的Y(4*4)、(W/2)*(H/2)数据结构的U(2*2)以及(W/2)*(H/2)数据结构的V(2*2)三组分量数据。所述改组操作还包括将所述UV分量分别与对应的Y分量进行顺序的重新排列,即U(1*4)分量改组为U(2*2)分量,V(1*4)分量改组为V(2*2)分量,其中,所述Y(4*4)分量的分辨率与原图像一致,所以,所述Y(4*4)分量不需要进行改组(Reshape)操作。
示例性的,通过所述第一输入分支执行以下步骤S102b1~S102b2:
步骤S102b1,对所述第一分量Y进行加维操作,以得到第一初始分量Y1;步骤S102b2,对所述第一初始分量Y1进行池化操作,以得到池化后的第一输入分量Y2。
示例性的,所述第一输入分支用于接收第一分量Y,由于所述第一分量Y的数据结构为二维数组W*H,而二维数组W*H不符合输入的规范格式,所以需要对所述二维数组W*H进行加维处理,以得到数据结构为1*1*W*H的第一初始分量Y1,所述1*1*W*H符合输入的规范格式。
为了进一步的提高YUV图像的识别率,本实施例还需对所述第一初始分量Y1进行池化操作,以得到池化后的数据结构为1*1*(W/2)*(H/2)的第一输入分量Y2。所述1*1*(W/2)*(H/2)符合输入的规范格式。
示例性的,通过所述第二输入分支执行以下步骤S102c1~S102c4:
步骤S102c1,对所述第二分量U和第三分量V进行加维操作,以得到第二初始分量U1以及第三初始分量V1;步骤S102c2,根据所述第二初始分量U1和第三初始分量V1,得到第一UV组合分量;步骤S102c3,对所述第一UV组合分量进行升采样操作,以得到第二输入分量U2和第三输入分量V2;步骤S102c4,根据所述第二输入分量U2和第三输入分量V2,得到第二UV组合分量。
示例性的,所述第二输入分支用于接收经过改组的第二分量U和第三分量V,所述第二分量U和第三分量V用于表示图像的色度;不难理解,由于所述第二分量U和第三分量V的数据结构为均为二维数组(W/2)*(H/2),所述二维数组(W/2)*(H/2)不符合输入的规范格式,所以需要对所述二维数组(W/2)*(H/2)进行加维处理;又由于所述第二分量U和第三分量V的分辨率相同,所以对所述第二分量U和第三分量V的加维操作可以同时进行,以得到1*1*(W/2)*(H/2)形状的第二初始分量U1和第三初始分量V1;所述1*1*(W/2)*(H/2)符合输入的规范格式。
所述第二初始分量U1和第三初始分量V1的数据结构均为1*1*(W/2)*(H/2),所以可以对所述第二初始分量U1和第三初始分量V1进行级联操作,以得到第一UV组合分量,所述第一UV组合分量形状为1*2*(W/2)*(H/2)。
为了与数据结构为1*1*W*H的第一初始分量Y1的格式保持一致,还需对所述第一UV组合分量进行升采样操作,以得到数据结构为1*1*W*H的第二输入分量U2和第三输入分量V2。
所述第二输入分量U2和所述第三输入分量V2的数据结构均为1*1*W*H,所以可以对所述第二输入分量U2和所述第三输入分量V2进行级联操作,以得到第二UV组合分量,所述第二UV组合分量的数据结构为1*2*W*H。
示例性的,通过所述分量组合分支执行以下步骤S102d1~S102d2:
步骤S102d1,将所述第一初始分量Y1和第二UV组合分量进行级联操作,以得到第一YUV组合分量;步骤S102d2,将所述第一输入分量Y2和第一UV组合分量进行级联操作,以得到第二YUV组合分量。
示例性的,所述第二输入分支用于接收所述第一初始分量Y1、所述第一输入分量Y2、所述第一UV组合分量和所述第二UV组合分量。
所述第一初始分量Y1和所述第二UV组合分量的数据结构相同,所以可以将所述第一初始分量Y1和所述第二UV组合分量进行级联处理,以得到第一YUV组合分量,所述第一YUV组合分量的数据结构为1*3*W*H。
所述第一输入分量Y2和所述第一UV组合分量的数据结构相同,所以可以将所述第一输入分量Y2和所述第一UV组合分量进行级联处理,以得到第二YUV组合分量,所述第二YUV组合分量数据结构为1*3*(W/2)*(H/2)。
步骤S104,通过所述YUV图像识别模型输出识别结果。
示例性的,所述步骤S104可以进一步包括:将所述第一YUV组合分量和所述第二YUV组合分量作为输入层的输出数据,并将所述输出数据输入到所述图像处理层进行YUV图像识别操作,以得到所述识别结果,所述图像处理层包括图像识别网络,所述图像识别网络为预先训练好的卷积神经网络,所述卷积神经网络用于识别YUV图像;通过输出层输出所述识别结果。
本实施例的YUV图像识别模型,通过输入层的分量提取分支、第一输入分支、第二输入分支和分量组合分支,对输入到所述输入层的YUV图像的图片格式进行了修改,以将不能直接识别的YUV图像的图像识别模型,修改为可以直接识别YUV图像的图像识别模型。同时,利用通道之间的级联操作,增强不同分辨率图像之间的关联性,弥补了多输入带来的信息欠学习的缺陷。然后训练数据对所述可以直接识别YUV图像的图像识别模型进行训练,以得到YUV图像识别模型。
在示例性的实施例中,所述YUV图像识别模型是训练之后的深度神经网络模型,训练步骤如下:
步骤1,预先获取多个YUV图像;步骤2,将所述多个YUV图像作为预训练模型的训练集;步骤3,通过训练集对所述预训练模型进行训练,以得到所述YUV图像识别模型,其中,所述预训练模型为重新构建过输入层的深度神经网络模型。
示例性的,所述模型的训练过程,就是将模型结构中的可学习参数w和b,不断逼近理想值的过程。对于训练集中的训练数据,已知输入x与目标值y,经过层级操作后,则通过求解/>可以求出最优参数。
不难理解,所述预训练模型的输入层已经根据YUV分量的结构特性,进行了调整,有其中,D为反卷积操作,且L1、Lres与D都是关于w和b的方程,有新的模型的目标方程为:
即,YUV三个通道分量是等价的,经过卷积层的卷积池化操作L1后,再经过后续操作Lres,就可以获得模型输出从而求得目标函数的最优解。需要说明的是,本提案中使用的网络结构包含L1、D和Lres三个部分:其中,L1是针对Y分量输入层,D是针对UV分量的反卷积部分;而Lres是YUV图像识别模型中输入层后面的特征提取结构。
实施例二
图2为本发明YUV图像识别***实施例二的程序模块示意图。YUV图像识别***20可以包括或被分割成一个或多个程序模块,一个或者多个程序模块被存储于存储介质中,并由一个或多个处理器所执行,以完成本发明,并可实现上述YUV图像识别方法。本发明实施例所称的程序模块是指能够完成特定功能的一系列计算机程序指令段,比程序本身更适合于描述YUV图像识别***20在存储介质中的执行过程。以下描述将具体介绍本实施例各程序模块的功能:
获取模块200,用于获取待识别的YUV图像。
示例性的,所述待识别的YUV图像可以通过对YUV格式的视频数据分帧的得到,通常视频采集芯片输出的码流基本上都是YUV数据流的形式;YUV作为一种颜色编码方式,广泛应用于各个视频处理组件中。YUV图像采用抽样的方式减低色度的带宽,可以降低图像存储和传输过程对设备的资源需求。
输入模块202,用于将所述YUV图像输入到YUV图像识别模型,所述YUV图像识别模型包括输入层、图像处理层和输出层;其中,所述输入层包括分量提取分支、第一输入分支、第二输入分支和分量组合分支,用于将所述YUV图像的YUV组合分量提供给所述图像处理层。
示例性的,所述输入模块202,还用于:对所述YUV图像进行分量提取,以得到所述YUV图像的第一分量Y、第二分量U以及第三分量V。
示例性的,所述分量提取分支用于提取YUV格式图像中的第一分量Y、第二分量U以及第三分量V;其中,所述第一分量Y用于表示图像的明亮度Y分量,所述第二分量U和第三分量V用于表示图像的色度U分量和V分量。所述YUV格式图像包括YUV420P格式图像,在YUV420P格式图像中,每4个Y分量共用一组UV分量,已知图像大小为4*4=16,则Y分量、U分量、V分量的大小分别为16、4、4,可以抽取1到16为Y分量,17到20为U分量,21到24为V分量,并对所述Y分量、所述U分量以及所述V分量进行改组(Reshape)操作,以得到(W*H)数据结构的Y(4*4)、(W/2)*(H/2)数据结构的U(2*2)以及(W/2)*(H/2)数据结构的V(2*2)三组分量数据。所述改组操作还包括将所述UV分量分别与对应的Y分量进行顺序的重新排列,即U(1*4)分量改组为U(2*2)分量,V(1*4)分量改组为V(2*2)分量,其中,所述Y(4*4)分量的分辨率与原图像一致,所以,所述Y(4*4)分量不需要进行改组(Reshape)操作。
示例性的,所述输入模块202,还用于:对所述第一分量Y进行加维操作,以得到第一初始分量Y1;对所述第一初始分量Y1进行池化操作,以得到池化后的第一输入分量Y2。
示例性的,所述输入层的第一输入分支用于接收第一分量Y,由于所述第一分量Y的数据结构为二维数组W*H,而二维数组W*H不符合输入的规范格式,所以需要对所述二维数组W*H进行加维处理,以得到数据结构为1*1*W*H的第一初始分量Y1,所述1*1*W*H符合输入的规范格式。为了进一步的提高YUV图像的识别率,本方案还需对所述第一初始分量Y1进行池化操作,以得到池化后的数据结构为1*1*(W/2)*(H/2)的第一输入分量Y2。所述1*1*(W/2)*(H/2)符合输入的规范格式。
示例性的,所述输入模块202,还用于:对所述第二分量U和第三分量V进行加维操作,以得到第二初始分量U1以及第三初始分量V1;根据所述第二初始分量U1和第三初始分量V1,得到第一UV组合分量;对所述第一UV组合分量进行升采样操作,以得到第二输入分量U2和第三输入分量V2;根据所述第二输入分量U2和第三输入分量V2,得到第二UV组合分量。
示例性的,所述输入层的第一输入分支接收经过改组的所述第二分量U和所述第三分量V,所述第二分量U和所述第三分量V用于表示图像的色度;不难理解,由于所述第二分量U和所述第三分量V的数据结构为均为二维数组(W/2)*(H/2),所述二维数组(W/2)*(H/2)不符合输入的规范格式,所以需要对所述二维数组(W/2)*(H/2)进行加维处理;又由于所述第二分量U和所述第三分量V的分辨率相同,所以对所述第二分量U和所述第三分量V的加维操作可以同时进行,以得到1*1*(W/2)*(H/2)的形状的第二初始分量U1和所述第三初始分量V1;所述1*1*(W/2)*(H/2)符合输入的规范格式。
示例性的,所述第二初始分量U1和第三初始分量V1的数据结构均为1*1*(W/2)*(H/2),所以可以对所述第二初始分量U1和第三初始分量V1进行级联操作,以得到第一UV组合分量,所述第一UV组合分量形状为1*2*(W/2)*(H/2)。
示例性的,为了与数据结构为1*1*W*H的第一初始分量Y1的格式保持一致,还需对所述第一UV组合分量进行升采样操作,以得到数据结构为1*1*W*H的第二输入分量U2和第三输入分量V2。
示例性的,所述第二输入分量U2和所述第三输入分量V2的数据结构均为1*1*W*H,所以可以对所述第二输入分量U2和所述第三输入分量V2进行级联操作,以得到第二UV组合分量,所述第二UV组合分量的数据结构为1*2*W*H。
示例性的,所述输入模块202,还用于:将所述第一初始分量Y1和第二UV组合分量进行级联操作,以得到第一YUV组合分量;将所述第一输入分量Y2和第一UV组合分量进行级联操作,以得到第二YUV组合分量。
示例性的,所述第一初始分量Y1和所述第二UV组合分量的数据结构相同,所以可以将所述第一初始分量Y1和所述第二UV组合分量进行级联处理,以得到第一YUV组合分量,所述第一YUV组合分量的数据结构为1*3*W*H。
示例性的,所述第一输入分量Y2和所述第一UV组合分量的数据结构相同,所以可以将所述第一输入分量Y2和所述第一UV组合分量进行级联处理,以得到第二YUV组合分量,所述第二YUV组合分量数据结构为1*3*(W/2)*(H/2)。
示例性的,新的网络结构相比于传统RGB图像的模型结构,在输入层进行了适应性改造,将非规范结构的格式采用多输入的形式进行分辨率的适配,同时,利用通道之间的级联操作,增强不同分辨率图像之间的关联性,弥补了多输入带来的信息欠学习的缺陷。
输出模块204,用于通过所述YUV图像识别模型输出所述识别结果。
示例性的,所述输入模块204,还用于:将所述第一YUV组合分量和所述第二YUV组合分量作为输入层的输出数据,并将所述输出数据输入到所述图像处理层进行YUV图像识别操作,以得到所述识别结果,所述图像处理层包括图像识别网络,所述图像识别网络为预先训练好的卷积神经网络,所述卷积神经网络用于识别YUV图像;及通过输出层输出所述识别结果。
实施例三
参阅图3,是本发明实施例三之计算机设备的硬件架构示意图。本实施例中,所述计算机设备2是一种能够按照事先设定或者存储的指令,自动进行数值计算和/或信息处理的设备。该计算机设备2可以是机架式服务器、刀片式服务器、塔式服务器或机柜式服务器(包括独立的服务器,或者多个服务器所组成的服务器集群)等。如图所示,所述计算机设备2至少包括,但不限于,可通过***总线相互通信连接存储器21、处理器22、网络接口23、以及YUV图像识别***20。
本实施例中,存储器21至少包括一种类型的计算机可读存储介质,所述可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如,SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘等。在一些实施例中,存储器21可以是计算机设备2的内部存储单元,例如该计算机设备2的硬盘或内存。在另一些实施例中,存储器21也可以是计算机设备2的外部存储设备,例如该计算机设备2上配备的插接式硬盘,智能存储卡(Smart Media Card,SMC),安全数字(Secure Digital,SD)卡,闪存卡(Flash Card)等。当然,存储器21还可以既包括计算机设备2的内部存储单元也包括其外部存储设备。本实施例中,存储器21通常用于存储安装于计算机设备2的操作***和各类应用软件,例如实施例二的YUV图像识别***20的程序代码等。此外,存储器21还可以用于暂时地存储已经输出或者将要输出的各类数据。
处理器22在一些实施例中可以是中央处理器(Central Processing Unit,CPU)、控制器、微控制器、微处理器、或其他数据处理芯片。该处理器22通常用于控制计算机设备2的总体操作。本实施例中,处理器22用于运行存储器21中存储的程序代码或者处理数据,例如运行YUV图像识别***20,以实现实施例一的YUV图像识别方法。
所述网络接口23可包括无线网络接口或有线网络接口,该网络接口23通常用于在所述计算机设备2与其他电子装置之间建立通信连接。例如,所述网络接口23用于通过网络将所述计算机设备2与外部终端相连,在所述计算机设备2与外部终端之间的建立数据传输通道和通信连接等。所述网络可以是企业内部网(Intranet)、互联网(Internet)、全球移动通讯***(Global System of Mobile communication,GSM)、宽带码分多址(WidebandCode Division Multiple Access,WCDMA)、4G网络、5G网络、蓝牙(Bluetooth)、Wi-Fi等无线或有线网络。
需要指出的是,图3仅示出了具有部件20-23的计算机设备2,但是应理解的是,并不要求实施所有示出的部件,可以替代的实施更多或者更少的部件。
在本实施例中,存储于存储器21中的YUV图像识别***20还可以被分割为一个或者多个程序模块,所述一个或者多个程序模块被存储于存储器21中,并由一个或多个处理器(本实施例为处理器22)所执行,以完成本发明。
例如,图2示出了本发明实施例二之所述实现YUV图像识别***20的程序模块示意图,该实施例中,所述YUV图像识别***20可以被划分为获取模块200、输入模块202、和输出模块204。其中,本发明所称的程序模块是指能够完成特定功能的一系列计算机程序指令段,比程序更适合于描述所述YUV图像识别***20在所述计算机设备2中的执行过程。所述程序模块200-204的具体功能在实施例二中已有详细描述,在此不再赘述。
实施例四
本实施例还提供一种计算机可读存储介质,如闪存、硬盘、多媒体卡、卡型存储器(例如,SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘、服务器、App应用商城等等,其上存储有计算机程序,程序被处理器执行时实现相应功能。本实施例的计算机可读存储介质用于YUV图像识别***20,被处理器执行时实现实施例一的YUV图像识别方法。
上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。
以上仅为本发明的优选实施例,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围内。
Claims (6)
1.一种YUV图像识别方法,其特征在于,所述方法包括:
获取待识别的YUV图像;
将所述YUV图像输入到YUV图像识别模型,所述YUV图像识别模型包括输入层、图像处理层和输出层;其中,所述输入层包括分量提取分支、第一输入分支、第二输入分支和分量组合分支,用于将所述YUV图像的YUV组合分量提供给所述图像处理层;及
通过所述YUV图像识别模型输出识别结果;
其中,所述分量提取分支用于执行以下步骤:
对所述YUV图像进行分量提取,以得到所述YUV图像的第一分量Y、第二分量U以及第三分量V;
其中,所述第一输入分支用于执行以下步骤:
对所述第一分量Y进行加维操作,以得到第一初始分量Y1;及
对所述第一初始分量Y1进行池化操作,以得到池化后的第一输入分量Y2;
其中,所述第二输入分支用于执行以下步骤:
对所述第二分量U和第三分量V进行加维操作,以得到第二初始分量U1以及第三初始分量V1;
根据所述第二初始分量U1和第三初始分量V1,得到第一UV组合分量;
对所述第一UV组合分量进行升采样操作,以得到第二输入分量U2和第三输入分量V2;及
根据所述第二输入分量U2和第三输入分量V2,得到第二UV组合分量。
2.如权利要求1所述的YUV图像识别方法,其特征在于,所述分量组合分支用于执行以下步骤:
将所述第一初始分量Y1和第二UV组合分量进行级联操作,以得到第一YUV组合分量;
将所述第一输入分量Y2和第一UV组合分量进行级联操作,以得到第二YUV组合分量。
3. 如权利要求2所述的YUV图像识别方法,其特征在于,通过所述YUV图像识别模型输出识别结果,包括:
将所述第一YUV组合分量和所述第二YUV组合分量作为输入层的输出数据,并将所述输出数据输入到所述图像处理层进行YUV图像识别操作,以得到所述识别结果,所述图像处理层包括图像识别网络,所述图像识别网络为预先训练好的卷积神经网络,所述卷积神经网络用于识别YUV图像;及
通过输出层输出所述识别结果。
4.一种YUV图像识别***,其特征在于,包括:
获取模块,用于获取待识别的YUV图像;
输入模块,用于将所述YUV图像输入到YUV图像识别模型,所述YUV图像识别模型包括输入层、图像处理层和输出层;其中,所述输入层包括分量提取分支、第一输入分支、第二输入分支和分量组合分支,用于将所述YUV图像的YUV组合分量提供给所述图像处理层;及
输出模块,用于通过所述YUV图像识别模型输出识别结果;
其中,所述输入模块,还用于:
对所述YUV图像进行分量提取,以得到所述YUV图像的第一分量Y、第二分量U以及第三分量V;
其中,所述输入模块,还用于:
对所述第一分量Y进行加维操作,以得到第一初始分量Y1;及
对所述第一初始分量Y1进行池化操作,以得到池化后的第一输入分量Y2;
其中,所述输入模块,还用于:
对所述第二分量U和第三分量V进行加维操作,以得到第二初始分量U1以及第三初始分量V1;
根据所述第二初始分量U1和第三初始分量V1,得到第一UV组合分量;
对所述第一UV组合分量进行升采样操作,以得到第二输入分量U2和第三输入分量V2;及
根据所述第二输入分量U2和第三输入分量V2,得到第二UV组合分量。
5.一种计算机设备,所述计算机设备包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至3中任一项所述的YUV图像识别方法的步骤。
6.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质内存储有计算机程序,所述计算机程序可被至少一个处理器所执行,以使所述至少一个处理器执行如权利要求1至3中任一项所述的YUV图像识别方法的步骤。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010138367.5A CN111428732B (zh) | 2020-03-03 | 2020-03-03 | Yuv图像识别方法、***和计算机设备 |
PCT/CN2020/118686 WO2021174834A1 (zh) | 2020-03-03 | 2020-09-29 | Yuv图像识别方法、***和计算机设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010138367.5A CN111428732B (zh) | 2020-03-03 | 2020-03-03 | Yuv图像识别方法、***和计算机设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111428732A CN111428732A (zh) | 2020-07-17 |
CN111428732B true CN111428732B (zh) | 2023-10-17 |
Family
ID=71551973
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010138367.5A Active CN111428732B (zh) | 2020-03-03 | 2020-03-03 | Yuv图像识别方法、***和计算机设备 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN111428732B (zh) |
WO (1) | WO2021174834A1 (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111428732B (zh) * | 2020-03-03 | 2023-10-17 | 平安科技(深圳)有限公司 | Yuv图像识别方法、***和计算机设备 |
CN111950727B (zh) * | 2020-08-06 | 2022-10-04 | 中科智云科技有限公司 | 图像数据的神经网络训练和测试方法及设备 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2797326A1 (en) * | 2013-04-22 | 2014-10-29 | Nederlandse Organisatie voor toegepast -natuurwetenschappelijk onderzoek TNO | Image color correction |
CN110136071A (zh) * | 2018-02-02 | 2019-08-16 | 杭州海康威视数字技术股份有限公司 | 一种图像处理方法、装置、电子设备及存储介质 |
WO2019192316A1 (zh) * | 2018-04-02 | 2019-10-10 | 腾讯科技(深圳)有限公司 | 图像相关处理方法及装置、设备、存储介质 |
CN110622169A (zh) * | 2017-05-15 | 2019-12-27 | 渊慧科技有限公司 | 用于视频中的动作识别的神经网络*** |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106897747A (zh) * | 2017-02-28 | 2017-06-27 | 深圳市捷顺科技实业股份有限公司 | 一种基于卷积神经网络模型鉴别车辆颜色的方法及装置 |
CN109472270B (zh) * | 2018-10-31 | 2021-09-24 | 京东方科技集团股份有限公司 | 图像风格转换方法、装置及设备 |
CN111428732B (zh) * | 2020-03-03 | 2023-10-17 | 平安科技(深圳)有限公司 | Yuv图像识别方法、***和计算机设备 |
-
2020
- 2020-03-03 CN CN202010138367.5A patent/CN111428732B/zh active Active
- 2020-09-29 WO PCT/CN2020/118686 patent/WO2021174834A1/zh active Application Filing
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2797326A1 (en) * | 2013-04-22 | 2014-10-29 | Nederlandse Organisatie voor toegepast -natuurwetenschappelijk onderzoek TNO | Image color correction |
CN110622169A (zh) * | 2017-05-15 | 2019-12-27 | 渊慧科技有限公司 | 用于视频中的动作识别的神经网络*** |
CN110136071A (zh) * | 2018-02-02 | 2019-08-16 | 杭州海康威视数字技术股份有限公司 | 一种图像处理方法、装置、电子设备及存储介质 |
WO2019192316A1 (zh) * | 2018-04-02 | 2019-10-10 | 腾讯科技(深圳)有限公司 | 图像相关处理方法及装置、设备、存储介质 |
Non-Patent Citations (1)
Title |
---|
"Pedestrian Detection with Unsupervised Multi-Stage Feature Learning";Sermanet, Pierre等;《26th IEEE Conference on Computer Vision and Pattern Recognition (CVPR)》;第3626-3631页 * |
Also Published As
Publication number | Publication date |
---|---|
WO2021174834A1 (zh) | 2021-09-10 |
CN111428732A (zh) | 2020-07-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11151723B2 (en) | Image segmentation method, apparatus, and fully convolutional network system | |
US20190206091A1 (en) | Method And Apparatus For Compressing Image | |
EP3786835A1 (en) | Traffic image recognition method and apparatus, and computer device and medium | |
CN111428732B (zh) | Yuv图像识别方法、***和计算机设备 | |
CN112602088B (zh) | 提高弱光图像的质量的方法、***和计算机可读介质 | |
CN111275034B (zh) | 从图像中提取文本区域的方法、装置、设备和存储介质 | |
CN110874574A (zh) | 行人重识别方法、装置、计算机设备及可读存储介质 | |
CN116188808B (zh) | 图像特征提取方法和***、存储介质及电子设备 | |
CN116978011B (zh) | 一种用于智能目标识别的图像语义通信方法及*** | |
CN117095019B (zh) | 一种图像分割方法及相关装置 | |
CN110599554A (zh) | 人脸肤色的识别方法和装置、存储介质及电子装置 | |
CN111310710A (zh) | 人脸检测方法与*** | |
CN110717864B (zh) | 一种图像增强方法、装置、终端设备及计算机可读介质 | |
EP4075381B1 (en) | Image processing method and system | |
CN111241998A (zh) | 人脸识别的方法、装置、电子设备和存储介质 | |
CN111800294B (zh) | 网关故障诊断方法、装置、网络设备及存储介质 | |
CN116701697A (zh) | 题目搜索方法、装置、设备及存储介质 | |
CN111950562A (zh) | 图片处理方法、装置、终端设备和存储介质 | |
CN117036436A (zh) | 一种基于双编码器-解码器的单目深度估计方法及*** | |
CN109657546B (zh) | 基于神经网络的视频行为识别方法及终端设备 | |
CN110930474A (zh) | 昆虫密度热力图构建方法、装置及*** | |
CN116433491A (zh) | 一种图像处理方法、装置、设备、存储介质及产品 | |
CN113727050A (zh) | 面向移动设备的视频超分辨率处理方法、装置、存储介质 | |
CN112288748B (zh) | 一种语义分割网络训练、图像语义分割方法及装置 | |
CN114373117A (zh) | 一种目标检测方法、装置及*** |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |