CN111461962A - 一种图像处理方法、电子设备及计算机可读存储介质 - Google Patents
一种图像处理方法、电子设备及计算机可读存储介质 Download PDFInfo
- Publication number
- CN111461962A CN111461962A CN202010232138.XA CN202010232138A CN111461962A CN 111461962 A CN111461962 A CN 111461962A CN 202010232138 A CN202010232138 A CN 202010232138A CN 111461962 A CN111461962 A CN 111461962A
- Authority
- CN
- China
- Prior art keywords
- image
- frame
- frames
- key
- processed
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 27
- 238000012545 processing Methods 0.000 claims abstract description 39
- 238000000034 method Methods 0.000 claims description 25
- 230000008859 change Effects 0.000 claims description 18
- 230000008569 process Effects 0.000 claims description 13
- 238000004590 computer program Methods 0.000 claims description 12
- 230000035772 mutation Effects 0.000 claims description 12
- 238000001514 detection method Methods 0.000 claims description 11
- 239000013598 vector Substances 0.000 claims description 11
- 230000006870 function Effects 0.000 claims description 10
- 238000001914 filtration Methods 0.000 claims description 9
- 238000013507 mapping Methods 0.000 claims description 8
- 210000001508 eye Anatomy 0.000 description 9
- 238000010586 diagram Methods 0.000 description 6
- 238000000605 extraction Methods 0.000 description 6
- 239000000463 material Substances 0.000 description 5
- 210000005252 bulbus oculi Anatomy 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 4
- 230000011218 segmentation Effects 0.000 description 4
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 230000008451 emotion Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000033764 rhythmic process Effects 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/04—Context-preserving transformations, e.g. by using an importance map
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
- G06V20/42—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items of sport video content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Human Computer Interaction (AREA)
- Image Analysis (AREA)
Abstract
本发明提供了一种图像处理方法、电子设备及计算机可读存储介质，所述图像处理方法包括：由待处理视频中提取关键帧；在所述关键帧中选择目标图像区域，所述目标图像区域包括人脸图像区域；对所述人脸图像区域进行夸张化处理，生成漫画图像。本发明的实施例，由待处理视频中提取关键帧，并选择关键帧中包含人脸图像的区域作为目标图像区域，对人脸图像区域进行夸张化处理，用来配合故事剧情，无需人工创作，能够有效提高漫画创作效率且能够降低漫画的创作成本。
Description
技术领域
本发明涉及通信技术领域，尤其涉及一种图像处理方法、电子设备及计算机可读存储介质。
背景技术
漫画作为一种广为流传的艺术表现形式，受到越来越多人的喜欢。但漫画的创作门槛相对较高，需要创作者拥有较好的绘画能力、构图能力、叙事能力等，与此同时漫画的创作也是一项非常耗费时间的工作。目前的漫画创作多采用创作者手绘漫画的方式，并使用一些计算机软件来辅助创作，但由于一些视频的更新频繁，如足球比赛，比赛视频产生速度超过漫画的创作速度，导致漫画的更新频率不高。
发明内容
本发明提供一种图像处理方法、电子设备及计算机可读存储介质，以解决漫画创作速度较慢的问题。
本发明的实施例提供一种图像处理方法，包括：
由待处理视频中提取关键帧；
在所述关键帧中选择目标图像区域，所述目标图像区域包括人脸图像区域；
对所述人脸图像区域进行夸张化处理，生成漫画图像。
可选地，所述由待处理视频中提取关键帧，包括：
将所述待处理视频分割为至少一个镜头序列，所述镜头序列中包括至少一帧图像；
对所述至少一个镜头序列进行帧像素检测，确定候选帧；
由所述候选帧中提取所述关键帧。
可选地，将所述待处理视频分割为至少一个镜头序列，包括：
获取所述待处理视频中相邻两帧图像间的总帧差；
根据所述总帧差，判断相邻的两帧图像是否属于同一镜头序列，并获得判断结果；
根据所述判断结果将所述待处理视频分割为不同的镜头序列。
可选地，所述对所述至少一个镜头序列进行帧像素检测，确定候选帧，包括：
提取目标镜头序列中所有图像帧的宏观场景描述特征向量；
将所述宏观场景描述特征向量小于第一阈值的帧作为所述候选帧。
可选地，所述由所述候选帧中提取所述关键帧，包括：
计算所述候选帧中的相邻两帧之间的帧差；
在所述帧差大于第二阈值的情况下，将所述相邻两帧中显示时间在后的图像帧作为所述关键帧。
可选地，所述关键帧包括突变帧，所述在所述关键帧中选择目标图像区域，包括：
提取所述突变帧中的关键区域，所述关键区域包括人脸图像区域；
对所述关键区域进行滤波，得到所述目标图像区域。
可选地，所述对所述人脸图像区域进行夸张化处理，生成漫画图像，包括：
选择所述人脸图像区域内待处理的目标部位图像；
将所述目标部位图像进行夸张化处理，生成漫画图像。
可选地，所述将所述目标部位图像进行夸张化处理之前，所述方法还包括：
确定所述目标部位图像的变形中心点以及变形半径；
根据所述变形中心点以及变形半径，确定所述目标部位图像的夸张化变形范围。
可选地，所述将所述目标部位图像进行夸张化处理，生成漫画图像，包括：
根据映射关系：
生成夸张化处理后的漫画图像；
其中，P为所述人脸图像区域的原图像，Q为所述人脸图像区域进行夸张化处理后的漫画图像；Pi为原图像内所述目标部位图像的特征点，Qi为进行夸张化处理后的所述目标部位图像的特征点；Ri为所述目标部位图像的变形半径；
B为变形基函数，B(t)＝(1-t)2，t为特征点对应的时刻。
依据本发明的另一个方面，提供了一种电子设备，包括：处理器、存储器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述的图像处理方法的步骤。
依据本发明的另一个方面，提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述的图像处理方法的步骤。
本发明的实施例，由待处理视频中提取关键帧，并选择关键帧中包含人脸图像的区域作为目标图像区域，对人脸图像区域进行夸张化处理，用来配合故事剧情，无需人工创作，能够有效提高漫画创作效率且能够降低漫画的创作成本。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1表示本发明实施例的图像处理方法的流程示意图之一；
图2表示本发明实施例的图像处理方法的流程示意图之二；
图3表示本发明实施例提取的关键区域示意图；
图4表示本发明实施例对眼睛夸张化处理示意图；
图5表示本发明实施例对嘴巴夸张化处理示意图；
图6表示本发明实施例对话框的示意图之一；
图7表示本发明实施例对话框的示意图之二；
图8表示本发明实施例的图像处理方法的流程示意图之三；
图9表示本发明实施例的图像处理装置的结构示意图；
图10表示本发明实施例的电子设备的实施结构示意图。
具体实施方式
为使本发明要解决的技术问题、技术方案和优点更加清楚，下面将结合附图及具体实施例进行详细描述。在下面的描述中，提供诸如具体的配置和组件的特定细节仅仅是为了帮助全面理解本发明的实施例。因此，本领域技术人员应该清楚，可以对这里描述的实施例进行各种改变和修改而不脱离本发明的范围和精神。另外，为了清楚和简洁，省略了对已知功能和构造的描述。
应理解，说明书通篇中提到的“一个实施例”或“一实施例”意味着与实施例有关的特定特征、结构或特性包括在本发明的至少一个实施例中。因此，在整个说明书各处出现的“在一个实施例中”或“在一实施例中”未必一定指相同的实施例。此外，这些特定的特征、结构或特性可以任意适合的方式结合在一个或多个实施例中。
在本发明的各种实施例中，应理解，下述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。另外，本文中术语“***”和“网络”在本文中常可互换使用。
在本申请所提供的实施例中，应理解，“与A相应的B”表示B与A相关联，根据A可以确定B。但还应理解，根据A确定B并不意味着仅仅根据A确定B，还可以根据A和/或其它信息确定B。
本发明实施例中，电子设备可以是移动电话(或手机)，或者其他能够发送或接收无线信号的设备，包括用户设备、个人数字助理(PDA)、无线调制解调器、无线通信装置、手持装置、膝上型计算机、无绳电话、无线本地回路(WLL)站、能够将移动信号转换为WiFi信号的CPE(Customer Premise Equipment，客户终端)或移动智能热点、智能家电、或其他不通过人的操作就能自发与移动通信网络通信的设备等。
本发明的实施例提供了一种图像处理方法，解决了现有技术中漫画创作速度较慢的问题。
如图1所示，所述图像处理方法包括：
步骤101、由待处理视频中提取关键帧。
所述待处理视频为需要转换为漫画图像的视频素材。视频片段通常包括多个镜头，例如足球比赛视频，可以包括远景镜头、中景镜头、近景镜头、特写镜头、重放镜头、场外镜头等镜头序列。镜头序列是由数量庞大的帧组成，如果逐帧进行检测则需要处理的数据量过于庞大，因此，为增加视频处理效率，减少不必要的数据处理量，需要由待处理视频中提取关键帧，所述关键帧为待处理视频中有意义且具有代表性的帧。
步骤102、在所述关键帧中选择目标图像区域，所述目标图像区域包括人脸图像区域。
所述目标图像区域为需要进行漫画转换的区域。由于视频帧中包含大量的画面信息，而漫画图像只需要截取重要区域，例如人物图像的人脸区域、足球比赛中的足球、球框等关键区域。可以采用深度学习算法对目标图像区域进行提取。本发明的实施例中，所述目标图像区域为包含人脸图像的区域，以便于在将所述目标图像区域转换为漫画图像时，可以对所述人脸图像区域进行夸张化处理。
步骤103、对所述人脸图像区域进行夸张化处理，生成漫画图像。
该实施例中，所述夸张化处理是指对人脸区域的特征进行夸大处理，如：对人脸区域内的眼睛、嘴巴等关键部位进行夸张化表现，并绘制成相应的漫画肖像，来配合故事剧情，例如表达一些惊讶、生气等特殊情感。
本发明的实施例，由待处理视频中提取关键帧，并选择关键帧中包含人脸图像的区域作为目标图像区域，对人脸图像区域进行夸张化处理，用来配合故事剧情，无需人工创作，能够有效提高漫画创作效率且能够降低漫画的创作成本。
可选地，如图2所示，所述步骤101包括：
步骤201、将所述待处理视频分割为至少一个镜头序列，所述镜头序列中包括至少一帧图像。
由于部分视频的特殊性，如足球比赛视频，由特定的镜头场景组成，不同镜头间场景的变化并不复杂，并且由于比赛节奏的因素导致突变镜头较多。进一步地，可以采用基于像素比较的方法进行镜头分割，将所述待处理视频分割为至少一个镜头序列，包括：
获取所述待处理视频中相邻两帧图像间的总帧差；根据所述总帧差，判断相邻的两帧图像是否属于同一镜头序列，并获得判断结果；根据所述判断结果将所述待处理视频分割为不同的镜头序列。
具体地，根据公式：
计算所述待处理视频中相邻两帧图像间的总帧差；其中，E(k,k+1)表示第k帧和第k+1帧之间的总帧差，Ik(x,y)表示第k帧在(x,y)处的灰度值，Ik+1(x,y)表示第k+1帧在(x,y)处的灰度值；H表示帧高度，W表示帧宽度。
将所述总帧差与第三阈值进行比较；在所述总帧差大于所述第三阈值的情况下，相邻的两帧图像为不同的镜头序列；在所述总帧差小于或等于所述第三阈值的情况下，相邻的两帧图像为同一镜头序列。
所述总帧差与所述第三阈值进行比较的结果可以用如下公式表示：
其中，Rn(x,y)表示E(k,k+1)与第三阈值T比较后的判断结果。根据Rn(x,y)的判断，将待处理视频粗剪辑为不同的镜头，由于不同的镜头代表不同的镜头语言，可基于不同的镜头语言来辅助漫画语言的生成，例如足球比赛中球员的特写镜头，可以辅助生成漫画中球员的内容独白等。
步骤202、对所述至少一个镜头序列进行帧像素检测，确定候选帧。
所述候选帧为生成漫画的候选素材，所述关键帧需要由所述候选帧中提取。具体地，可以使用较高的阈值对所述至少一个镜头序列进行帧像素检测。
进一步地，在确定候选帧时，提取目标镜头序列中所有图像帧的宏观场景描述特征向量；将所述宏观场景描述特征向量小于第一阈值的帧作为所述候选帧。
该实施例中，由所述待处理视频分割为至少一个镜头序列后，对所述至少一个镜头序列中的某个镜头序列进行处理时，该镜头序列即为所述目标镜头序列。需要对所有的镜头序列分别进行帧像素检测，例如：将所述待处理视频分割为两个镜头序列A{f1，f2…fn}，B{g1，g2…gn}，在确定候选帧时，需要分别对镜头序列A和镜头序列B进行帧像素检测，且需要提取镜头序列A和镜头序列B中所有的图像帧的宏观场景描述特征向量，标记所有小于第一阈值的帧作为所述候选帧，如fi，0＜i＜n。
步骤203、由所述候选帧中提取所述关键帧。
所述关键帧为所述待处理视频中有意义且具有代表性的帧，关键帧提取需要从不同的镜头素材中选择若干帧作为后续漫画生成的素材。所述关键帧可以包括突变帧和渐变帧，在本发明的实施例中，所述关键帧为所述突变帧。以足球比赛为例，足球比赛是由一系列的镜头序列组成的，镜头与镜头之间的变化为突变，非镜头之间的变化为渐变，比赛中存在大量的乏味时刻，体现在视频中即为渐变帧，而精彩时刻一般出现在突变帧，生成漫画的素材需要突变帧。
具体地，由所述候选帧中提取所述关键帧时，计算所述候选帧中的相邻两帧之间的帧差；在所述帧差大于第二阈值的情况下，将所述相邻两帧中显示时间在后的图像帧作为所述关键帧。
需要说明的是，所述第二阈值为较低阈值，所述第二阈值小于所述第一阈值。以所述关键帧为突变帧为例，利用所述第二阈值检测所述候选帧时，将所述候选帧中每相邻的两帧均进行比较并计算帧差，若帧差大于所述第二阈值，则取比较的结束帧，即显示时间在后的图像帧为突变帧；若帧差小于或等于所述第二阈值，但累计的帧差值大于所述第二阈值，则取累计帧差大于所述第二阈值时的最后一帧为结束帧，从开始比较的第一帧到结束帧之间均为渐变帧。通过上述方法提取所述候选帧中所有的突变帧。
该实施例中，利用双阈值法由待处理视频中提取关键帧，区分出其中的突变帧和渐变帧，突变帧包括了视频中的精彩时刻，将所述突变帧作为生成漫画图像的关键帧，能够将视频片段中精彩且有意义的部分转换为漫画图像，有效提高漫画创作效率。
可选地，所述关键帧包括突变帧，所述步骤102包括：
提取所述突变帧中的关键区域，所述关键区域包括人脸图像区域；对所述关键区域进行滤波，得到所述目标图像区域。
提取所述突变帧中的关键区域，其中，所述突变帧中像素值大于或等于第四阈值的像素点形成所述关键区域，所述关键区域包括人脸图像区域；对所述关键区域进行滤波，得到所述目标图像区域，这样，滤波后的所述目标图像区域即为包括人脸图像区域的漫画图像素材。
由于图像帧中包含大量的画面信息，而漫画只需要截取重要区域，如人脸图像区域，如图3中的框选区域31所示。可以采用深度学习算法对关键区域进行提取，以足球比赛视频为例，在漫画中一般定义球员人脸、足球、球框等为关键区域，即采用深度学习算法将关键区域框选出来。其中，所述关键区域为比所述目标图像区域范围大的一个区域，因此需要先提取出所述关键区域，再由所述关键区域中提取所述目标图像区域。
对于所述关键区域的提取，可以采用人工智能方法，通过对带有标签的样本进行学习得到。如一帧图像中存在多个关键区域，则将所有的关键区域框选出来，具体地，包括：
(1)设定第四阈值M，在包括人脸图像区域的突变帧中，所有像素值大于或者等于第四阈值M的像素点都认为是关键区域，该关键区域内应包括所述人脸图像区域；
(2)选用第一尺寸的滤波器对所述关键区域进行滤波，得到第一图像区域。其中，所述第一尺寸可以为一个较小尺寸，如N×N(N为步长值，如3)，即使用N×N尺寸的滤波器从上到下，从左到右对突变帧中的关键区域进行步长为N的滤波，滤波后得到的图像区域即为所述第一图像区域；
(3)再选用第二尺寸的滤波器对所述第一图像区域进行滤波，得到所述目标图像区域。所述第二尺寸可以为一个较大尺寸，具体地，所述第二尺寸大于所述第一尺寸。利用第二尺寸的滤波器对所述第一图像区域进行滤波，进一步缩小图像范围，从而得到所述目标图像区域；
(4)在所述关键帧包括多个突变帧时，遍历所有突变帧，确定所有突变帧中的目标图像区域以及目标图像区域的大小范围。
可选地，所述步骤103包括：选择所述人脸图像区域内待处理的目标部位图像；将所述目标部位图像进行夸张化处理，生成漫画图像。
该实施例中，所述目标部位图像可以为眼睛、嘴巴等重要部位。以足球比赛为例，足球比赛相关的漫画一般对球员的眼睛或嘴巴进行夸大处理，并绘制出相应的漫画肖像，来配合故事剧情，用来表达一些惊讶、生气等特殊情感。
具体地，在将所述目标部位图像进行夸张化处理之前，可以首先确定所述目标部位图像的变形中心点以及变形半径；根据所述变形中心点以及变形半径，确定所述目标部位图像的夸张化变形范围。例如对眼睛进行夸大处理，眼睛的夸大变形以眼球为圆心画圆，以圆半径为夸大范围，圆形范围内的图像进行夸大变形。
具体地，将所述目标部位图像进行夸张化处理，生成漫画图像时，根据映射关系：
生成夸张化处理后的漫画图像；
其中，P为所述人脸图像区域的原图像，Q为所述人脸图像区域进行夸张化处理后的漫画图像；Pi为原图像内所述目标部位图像的特征点，Qi为进行夸张化处理后的所述目标部位图像的特征点；Ri为所述目标部位图像的变形半径；
B为变形基函数，B(t)＝(1-t)2，t为特征点对应的时刻。
如图4所示，以对眼睛进行夸大处理为例，则上述公式可以看做球员面部图像P对眼睛进行夸大变形后形成面部图像Q，则Pi为原图像中眼球相关的特征点，Qi为夸大变形后的眼球相关的特征点，Ri为夸大半径，以眼球为圆心，眼角为半径画圆。B为变形基函数，用来动态调整变化范围。
其中，在P＝Pi时刻，t＝0，则B最大为1；当P远离Pi时，变形基函数的取值逐渐变小；当‖P-Pi‖＞Ri时，t＝1，则B的取值为0。
需要说明的是，为实现变换后的图像平滑过渡，只有变形范围内的图像执行基于上述公式的夸大变形；通过所述变形基函数，越靠近变形中心点，变形范围越大，距离变形中心点越远，变形范围越小。
可选地，如图5所示，还可以对嘴巴进行夸大变形，同理，嘴巴夸大可以看做球员面部图像P对嘴巴进行夸大后变成面部图像Q的图像映射，图像映射中以两个嘴角的中心位置为圆心，圆心到嘴角的距离为半径画圆，圆形范围内的图像进行夸大变形，夸大变形的映射关系以及原理与上述对眼睛进行夸大处理的步骤类似，在此不做赘述。
可选地，在对所述人脸图像区域进行夸张化处理之后，所述方法还包括：在夸张化处理后的所述漫画图像内，添加漫画对话框。根据设定的漫画脚本，可以选用椭圆对话框和放射形对话框对漫画图像添加文字内容。以足球比赛视频转换为漫画图像为例，人物对话可以选用椭圆对话框，并把对话框设定在人物嘴角边；近景镜头中进球、射中门框等选用放射型对话框，对话框设定在人物嘴角边。其中对话框中的文字根据漫画脚本内容进行补充，对话框的形式如图6和图7所示。
具体地，本发明实施例的图像处理方法如图8所示，包括对待处理视频进行镜头分割，提取关键帧，由关键帧中选择目标图像区域，对目标图像区域内的人脸图像区域进行夸张化处理，添加漫画对话框及内容补充，生成最终的漫画图像。需要说明的是，若关键帧为不包含人脸图像区域的图像帧，或者关键帧中包括除人脸图像区域外的其他重要区域，则只需要利用图像风格化算法，将所述关键帧或者所述关键帧中除人脸图像区域外的其他重要区域进行处理，使之转换为漫画风格，从而形成漫画图像。
如图9所示，本发明的实施例还提供了一种图像处理装置，包括：
提取模块910，用于由待处理视频中提取关键帧；
选择模块920，用于在所述关键帧中选择目标图像区域，所述目标图像区域包括人脸图像区域；
处理模块930，用于对所述人脸图像区域进行夸张化处理，生成漫画图像。
可选地，所述提取模块910包括：
镜头分割单元，用于将所述待处理视频分割为至少一个镜头序列，所述镜头序列中包括至少一帧图像；
确定单元，用于对所述至少一个镜头序列进行帧像素检测，确定候选帧；
第一提取单元，用于由所述候选帧中提取所述关键帧。
可选地，所述镜头分割单元包括：
获取子单元，用于获取所述待处理视频中相邻两帧图像间的总帧差；
判断子单元，用于根据所述总帧差，判断相邻的两帧图像是否属于同一镜头序列，并获得判断结果；
分割子单元，用于根据所述判断结果将所述待处理视频分割为不同的镜头序列。
可选地，所述确定单元具体用于：
提取目标镜头序列中所有图像帧的宏观场景描述特征向量；
将所述宏观场景描述特征向量小于第一阈值的帧作为所述候选帧。
可选地，第一提取单元具体用于：
计算所述候选帧中的相邻两帧之间的帧差；
在所述帧差大于第二阈值的情况下，将所述相邻两帧中显示时间在后的图像帧作为所述关键帧。
可选地，所述关键帧包括突变帧，选择模块920包括：
第二提取单元，用于提取所述突变帧中的关键区域，所述关键区域包括人脸图像区域；
滤波单元，用于对所述关键区域进行滤波，得到所述目标图像区域。
可选地，所述处理模块930包括：
选择单元，用于选择所述人脸图像区域内待处理的目标部位图像；
处理单元，用于将所述目标部位图像进行夸张化处理，生成漫画图像。
可选地，所述装置还包括：
第一确定模块，用于确定所述目标部位图像的变形中心点以及变形半径；
第二确定模块，用于根据所述变形中心点以及变形半径，确定所述目标部位图像的夸张化变形范围。
可选地，所述处理单元具体用于：
根据映射关系：
生成夸张化处理后的漫画图像；
其中，P为所述人脸图像区域的原图像，Q为所述人脸图像区域进行夸张化处理后的漫画图像；Pi为原图像内所述目标部位图像的特征点，Qi为进行夸张化处理后的所述目标部位图像的特征点；Ri为所述目标部位图像的变形半径；
B为变形基函数，B(t)＝(1-t)2，t为特征点对应的时刻。
本发明的实施例，由待处理视频中提取关键帧，并选择关键帧中包含人脸图像的区域作为目标图像区域，对人脸图像区域进行夸张化处理，用来配合故事剧情，无需人工创作，能够有效提高漫画创作效率且能够降低漫画的创作成本。
如图10所示，本发明实施例还提供一种电子设备，包括处理器110、存储器120及存储在所述存储器120上并可在所述处理器110上运行的计算机程序，所述处理器110执行所述计算机程序时实现上述的图像处理方法的步骤。具体地，所述处理器110用于，由待处理视频中提取关键帧；
在所述关键帧中选择目标图像区域，所述目标图像区域包括人脸图像区域；
对所述人脸图像区域进行夸张化处理，生成漫画图像。
可选地，所述处理器110由待处理视频中提取关键帧时，实现以下步骤：
将所述待处理视频分割为至少一个镜头序列，所述镜头序列中包括至少一帧图像；
对所述至少一个镜头序列进行帧像素检测，确定候选帧；
由所述候选帧中提取所述关键帧。
可选地，所述处理器110将所述待处理视频分割为至少一个镜头序列时，实现以下步骤：
获取所述待处理视频中相邻两帧图像间的总帧差；
根据所述总帧差，判断相邻的两帧图像是否属于同一镜头序列，并获得判断结果；
根据所述判断结果将所述待处理视频分割为不同的镜头序列。
可选地，所述处理器110对所述至少一个镜头序列进行帧像素检测，确定候选帧时，实现以下步骤：
提取目标镜头序列中所有图像帧的宏观场景描述特征向量；
将所述宏观场景描述特征向量小于第一阈值的帧作为所述候选帧。
可选地，所述处理器110由所述候选帧中提取所述关键帧时，实现以下步骤：
计算所述候选帧中的相邻两帧之间的帧差；
在所述帧差大于第二阈值的情况下，将所述相邻两帧中显示时间在后的图像帧作为所述关键帧。
可选地，所述关键帧包括突变帧，所述处理器110在所述关键帧中选择目标图像区域时，实现以下步骤：
提取所述突变帧中的关键区域，所述关键区域包括人脸图像区域；
对所述关键区域进行滤波，得到所述目标图像区域。
可选地，所述处理器110对所述人脸图像区域进行夸张化处理，生成漫画图像时，实现以下步骤：
选择所述人脸图像区域内待处理的目标部位图像；
将所述目标部位图像进行夸张化处理，生成漫画图像。
可选地，所述处理器110还用于：
确定所述目标部位图像的变形中心点以及变形半径；
根据所述变形中心点以及变形半径，确定所述目标部位图像的夸张化变形范围。
可选地，所述处理器110将所述目标部位图像进行夸张化处理，生成漫画图像时，实现以下步骤：
根据映射关系：
生成夸张化处理后的漫画图像；
其中，P为所述人脸图像区域的原图像，Q为所述人脸图像区域进行夸张化处理后的漫画图像；Pi为原图像内所述目标部位图像的特征点，Qi为进行夸张化处理后的所述目标部位图像的特征点；Ri为所述目标部位图像的变形半径；
B为变形基函数，B(t)＝(1-t)2，t为特征点对应的时刻。
其中，总线架构可以包括任意数量的互联的总线和桥，具体由处理器110代表的一个或多个处理器110和存储器120代表的存储器120的各种电路链接在一起。总线架构还可以将诸如***设备、稳压器和功率管理电路等之类的各种其他电路链接在一起，这些都是本领域所公知的，因此，本文不再对其进行进一步描述。总线接口提供接口。处理器110负责管理总线架构和通常的处理，存储器120可以存储处理器在执行操作时所使用的数据。
本领域技术人员可以理解，实现上述实施例的全部或者部分步骤可以通过硬件来完成，也可以通过计算机程序来指示相关的硬件来完成，所述计算机程序包括执行上述方法的部分或者全部步骤的指令；且该计算机程序可以存储于一可读存储介质中，存储介质可以是任何形式的存储介质。
另外，本发明具体实施例还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述的图像处理方法中的步骤。且能达到相同的技术效果，为避免重复，这里不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露方法和装置，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理包括，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
上述以软件功能单元的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中，包括若干指令用使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述收发方法的部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，简称ROM)、随机存取存储器(Random Access Memory，简称RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述的是本发明的优选实施方式，应当指出对于本技术领域的普通人员来说，在不脱离本发明所述的原理前提下还可以作出若干改进和润饰，这些改进和润饰也在本发明的保护范围内。
Claims (11)
1.一种图像处理方法，其特征在于，包括：
由待处理视频中提取关键帧；
在所述关键帧中选择目标图像区域，所述目标图像区域包括人脸图像区域；
对所述人脸图像区域进行夸张化处理，生成漫画图像。
2.根据权利要求1所述的图像处理方法，其特征在于，所述由待处理视频中提取关键帧，包括：
将所述待处理视频分割为至少一个镜头序列，所述镜头序列中包括至少一帧图像；
对所述至少一个镜头序列进行帧像素检测，确定候选帧；
由所述候选帧中提取所述关键帧。
3.根据权利要求2所述的图像处理方法，其特征在于，将所述待处理视频分割为至少一个镜头序列，包括：
获取所述待处理视频中相邻两帧图像间的总帧差；
根据所述总帧差，判断相邻的两帧图像是否属于同一镜头序列，并获得判断结果；
根据所述判断结果将所述待处理视频分割为不同的镜头序列。
4.根据权利要求2所述的图像处理方法，其特征在于，所述对所述至少一个镜头序列进行帧像素检测，确定候选帧，包括：
提取目标镜头序列中所有图像帧的宏观场景描述特征向量；
将所述宏观场景描述特征向量小于第一阈值的帧作为所述候选帧。
5.根据权利要求2所述的图像处理方法，其特征在于，所述由所述候选帧中提取所述关键帧，包括：
计算所述候选帧中的相邻两帧之间的帧差；
在所述帧差大于第二阈值的情况下，将所述相邻两帧中显示时间在后的图像帧作为所述关键帧。
6.根据权利要求1所述的图像处理方法，其特征在于，所述关键帧包括突变帧，所述在所述关键帧中选择目标图像区域，包括：
提取所述突变帧中的关键区域，所述关键区域包括人脸图像区域；
对所述关键区域进行滤波，得到所述目标图像区域。
7.根据权利要求1所述的图像处理方法，其特征在于，所述对所述人脸图像区域进行夸张化处理，生成漫画图像，包括：
选择所述人脸图像区域内待处理的目标部位图像；
将所述目标部位图像进行夸张化处理，生成漫画图像。
8.根据权利要求7所述的图像处理方法，其特征在于，所述将所述目标部位图像进行夸张化处理之前，所述方法还包括：
确定所述目标部位图像的变形中心点以及变形半径；
根据所述变形中心点以及变形半径，确定所述目标部位图像的夸张化变形范围。
9.根据权利要求7所述的图像处理方法，其特征在于，所述将所述目标部位图像进行夸张化处理，生成漫画图像，包括：
根据映射关系：
生成夸张化处理后的漫画图像；
其中，P为所述人脸图像区域的原图像，Q为所述人脸图像区域进行夸张化处理后的漫画图像；Pi为原图像内所述目标部位图像的特征点，Qi为进行夸张化处理后的所述目标部位图像的特征点；Ri为所述目标部位图像的变形半径；
B为变形基函数，B(t)＝(1-t)2，t为特征点对应的时刻。
10.一种电子设备，其特征在于，包括：处理器、存储器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1-9任一项所述的图像处理方法的步骤。
11.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1-9中任一项所述的图像处理方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010232138.XA CN111461962A (zh) | 2020-03-27 | 2020-03-27 | 一种图像处理方法、电子设备及计算机可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010232138.XA CN111461962A (zh) | 2020-03-27 | 2020-03-27 | 一种图像处理方法、电子设备及计算机可读存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111461962A true CN111461962A (zh) | 2020-07-28 |
Family
ID=71678313
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010232138.XA Pending CN111461962A (zh) | 2020-03-27 | 2020-03-27 | 一种图像处理方法、电子设备及计算机可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111461962A (zh) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20030163315A1 (en) * | 2002-02-25 | 2003-08-28 | Koninklijke Philips Electronics N.V. | Method and system for generating caricaturized talking heads |
| CN104200505A (zh) * | 2014-08-27 | 2014-12-10 | 西安理工大学 | 一种人脸视频图像的漫画式动画生成方法 |
| CN104867161A (zh) * | 2015-05-14 | 2015-08-26 | 国家电网公司 | 一种视频处理方法及装置 |
| CN105049875A (zh) * | 2015-07-24 | 2015-11-11 | 上海上大海润信息***有限公司 | 一种基于混合特征与突变检测的精确关键帧提取方法 |
-
2020
- 2020-03-27 CN CN202010232138.XA patent/CN111461962A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20030163315A1 (en) * | 2002-02-25 | 2003-08-28 | Koninklijke Philips Electronics N.V. | Method and system for generating caricaturized talking heads |
| CN104200505A (zh) * | 2014-08-27 | 2014-12-10 | 西安理工大学 | 一种人脸视频图像的漫画式动画生成方法 |
| CN104867161A (zh) * | 2015-05-14 | 2015-08-26 | 国家电网公司 | 一种视频处理方法及装置 |
| CN105049875A (zh) * | 2015-07-24 | 2015-11-11 | 上海上大海润信息***有限公司 | 一种基于混合特征与突变检测的精确关键帧提取方法 |
Non-Patent Citations (1)
| Title |
|---|
| 何颖: "基于视频的漫画人脸动画研究与实现", 《中国优秀硕士学位论文全文数据库》 * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111385644A (zh) | 一种视频处理方法、电子设备及计算机可读存储介质 | |
| Märki et al. | Bilateral space video segmentation | |
| US8175376B2 (en) | Framework for image thumbnailing based on visual similarity | |
| CN112232425A (zh) | 图像处理方法、装置、存储介质及电子设备 | |
| US8244044B2 (en) | Feature selection and extraction | |
| Liu et al. | Interactive image segmentation based on level sets of probabilities | |
| Meng et al. | Weakly supervised semantic segmentation by a class-level multiple group cosegmentation and foreground fusion strategy | |
| US8879835B2 (en) | Fast adaptive edge-aware matting | |
| US10249029B2 (en) | Reconstruction of missing regions of images | |
| GB2523330A (en) | Method, apparatus and computer program product for segmentation of objects in media content | |
| CN114782864B (zh) | 一种信息处理方法、装置、计算机设备及存储介质 | |
| Le et al. | Object removal from complex videos using a few annotations | |
| WO2023056835A1 (zh) | 视频封面生成方法、装置、电子设备及可读介质 | |
| WO2023024653A1 (zh) | 图像处理方法、图像处理装置、电子设备以及存储介质 | |
| Zhao et al. | Cartoon image processing: a survey | |
| Baghel et al. | Image conditioned keyframe-based video summarization using object detection | |
| CN108961314B (zh) | 运动图像生成方法、装置、电子设备及计算机可读存储介质 | |
| Smith et al. | A method for animating children’s drawings of the human figure | |
| Xiao et al. | Interactive deep colorization and its application for image compression | |
| CN111461962A (zh) | 一种图像处理方法、电子设备及计算机可读存储介质 | |
| CN111476095A (zh) | 一种表情属性识别方法、装置、计算机设备及存储介质 | |
| Fan et al. | A feature-based object tracking approach for realtime image processing on mobile devices | |
| Liu et al. | Saliency detection using two-stage scoring | |
| CN113781611B (zh) | 一种动画制作方法、装置、电子设备及存储介质 | |
| CN113221690A (zh) | 视频分类方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200728 |
|
| RJ01 | Rejection of invention patent application after publication |