CN114390193A - 图像处理方法、装置、电子设备及存储介质 - Google Patents

图像处理方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN114390193A
CN114390193A CN202111481292.1A CN202111481292A CN114390193A CN 114390193 A CN114390193 A CN 114390193A CN 202111481292 A CN202111481292 A CN 202111481292A CN 114390193 A CN114390193 A CN 114390193A
Authority
CN
China
Prior art keywords
image
image processing
target
flow
materials
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111481292.1A
Other languages
English (en)
Other versions
CN114390193B (zh
Inventor
赵伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Dajia Internet Information Technology Co Ltd
Original Assignee
Beijing Dajia Internet Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Dajia Internet Information Technology Co Ltd filed Critical Beijing Dajia Internet Information Technology Co Ltd
Priority to CN202111481292.1A priority Critical patent/CN114390193B/zh
Publication of CN114390193A publication Critical patent/CN114390193A/zh
Application granted granted Critical
Publication of CN114390193B publication Critical patent/CN114390193B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44012—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving rendering scenes according to scene graphs, e.g. MPEG-4 scene graphs

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本公开提供一种图像处理方法、装置、电子设备及存储介质。方法包括：响应于对目标效果的选取指令，获取目标效果对应的素材数据，该素材数据包括素材以及素材与图像处理流程的匹配关系；响应于拍摄指令，获取包含拍摄对象的初始图像；根据匹配关系从素材中确定在当前所处的图像处理流程中用于处理初始图像的目标素材；采用目标素材处理初始图像，得到图像处理流程对应的目标图像。该方法通过素材与图像处理流程的匹配关系，在不同图像处理流程中应用不同素材的图像处理方式，使得输出的图像能够满足不同图像处理流程的实际需求，大大提高图像处理效率，提升图像展示效果。

Description

图像处理方法、装置、电子设备及存储介质
技术领域
本公开涉及图像处理技术领域，尤其涉及一种图像处理方法、装置、电子设备及存储介质。
背景技术
为丰富短视频或表情包等图像作品最终的视觉感受，用户在拍摄过程中可以为图像作品添加各种图像效果，例如，比心变美、张嘴吐泡泡等。
相关技术中，在视频拍摄界面中加入提示信息，以便用户拍摄时触发相应的图像效果，引导用户摆出与图像效果相配合的姿势表情。以魔法表情(本公开简称为魔表)为例，提示信息通常是绑定到魔表素材中，并随魔表素材下发到客户端，导致客户端录制短视频时会将提示信息同步录制到最终展示的短视频中，影响短视频的展示效果以及图像处理效率。
发明内容
本公开提供一种图像处理方法、装置、电子设备及存储介质，以至少解决相关技术中提示信息影响图像拍摄的问题，提高图像处理效率，提升图像展示效果。
根据本公开实施例的第一方面，本公开提供一种图像处理方法，包括：
响应于对目标效果的选取指令，获取目标效果对应的素材数据，素材数据包括素材、以及素材与图像处理流程的匹配关系；
响应于拍摄指令，获取包含拍摄对象的初始图像；
根据匹配关系从素材中确定在当前所处的图像处理流程中用于处理初始图像的目标素材；
采用目标素材处理初始图像，得到图像处理流程对应的目标图像。
在一可选实施例中，素材数据中还包括素材匹配的流程标识，流程标识用于指示素材所匹配的图像处理流程。
根据匹配关系从素材中确定在当前所处的图像处理流程中用于处理初始图像的目标素材，包括：确定客户端当前所处的图像处理流程；根据流程标识从素材中确定与图像处理流程匹配的素材，作为目标素材。
在一可选实施例中，素材包括用于构成目标图像效果的图像素材、以及用于与拍摄对象交互的文字素材。
素材与图像处理流程的匹配关系，包括：图像素材匹配于后端处理流程和预览流程，文字素材匹配于预览流程。
在一可选实施例中，根据流程标识从素材中选取与当前所处目标图像处理流程匹配的素材作为目标素材，包括：若当前所处的图像处理流程为后端处理流程，则将流程标识为后端处理流程标识的图像素材，确定为目标素材。
采用目标素材处理初始图像，得到图像处理流程对应的目标图像，包括：将图像素材渲染到初始图像中，得到包含目标图像效果的第一图像。
在一可选实施例中，根据流程标识从图像素材中选取与当前所处目标图像处理流程匹配的素材作为目标素材，包括：若当前所处的图像处理流程为预览流程，则将流程标识为预览流程标识的图像素材和文字素材，确定为目标素材。
采用目标素材处理初始图像，得到图像处理流程对应的目标图像，包括：将图像素材和文字素材渲染到初始图像中，得到包含目标图像效果以及文字素材的第二图像。
在一可选实施例中，显示包含第一图像的编辑界面和/或发布界面。
在一可选实施例中，显示包含第二图像的拍摄界面。
在一可选实施例中，显示包含拍摄对象的拍摄界面，拍摄界面中包括多个效果控件。
响应于对目标效果的选取指令，获取目标效果对应的素材数据，包括：接收对多个效果控件中目标效果控件的选取指令；响应于接收到的选取指令，获取与目标效果控件对应的素材数据。
根据本公开实施例的第二方面，本公开提供一种图像处理装置，包括：
第一获取模块，被配置为响应于对目标效果的选取指令，获取目标效果对应的素材数据，素材数据包括素材、以及素材与图像处理流程的匹配关系；
第二获取模块，被配置为响应于拍摄指令，获取包含拍摄对象的初始图像；
确定模块，被配置为根据匹配关系从素材中确定在当前所处的图像处理流程中用于处理初始图像的目标素材；
图像处理模块，被配置为采用目标素材处理初始图像，得到图像处理流程对应的目标图像。
在一可选实施例中，素材数据中还包括素材匹配的流程标识，流程标识用于指示素材所匹配的图像处理流程。
确定模块具体被配置为：确定客户端当前所处的图像处理流程；根据流程标识从素材中确定与图像处理流程匹配的素材，作为目标素材。
在一可选实施例中，素材包括用于构成目标图像效果的图像素材、以及用于与拍摄对象交互的文字素材。
素材与图像处理流程的匹配关系，包括：图像素材匹配于后端处理流程和预览流程，文字素材匹配于预览流程。
在一可选实施例中，确定模块根据流程标识从素材中选取与当前所处目标图像处理流程匹配的素材作为目标素材时，具体被配置为：若当前所处的图像处理流程为后端处理流程，则将流程标识为后端处理流程标识的图像素材，确定为目标素材。
图像处理模块采用目标素材处理初始图像，得到图像处理流程对应的目标图像时，具体被配置为：将图像素材渲染到初始图像中，得到包含目标图像效果的第一图像。
在一可选实施例中，确定模块根据流程标识从素材中选取与当前所处目标图像处理流程匹配的素材作为目标素材时，具体被配置为：若当前所处的图像处理流程为预览流程，则将流程标识为预览流程标识的图像素材和文字素材，确定为目标素材。
图像处理模块采用目标素材处理初始图像，得到图像处理流程对应的目标图像时，具体被配置为：将图像素材和文字素材渲染到初始图像中，得到包含目标图像效果以及文字素材的第二图像。
在一可选实施例中，还包括显示模块，被配置为显示包含第一图像的编辑界面和/或发布界面。
在一可选实施例中，还包括显示模块，被配置为显示包含第二图像的拍摄界面。
在一可选实施例中，还包括显示模块，被配置为显示包含拍摄对象的拍摄界面，拍摄界面中包括多个效果控件。
第一获取模块响应于对目标效果的选取指令，获取目标效果对应的素材数据时，具体被配置为：接收对多个效果控件中目标效果控件的选取指令；响应于接收到的选取指令，获取与目标效果控件对应的素材数据。
根据本公开实施例的第三方面，提供一种电子设备，其中包括处理器和存储器，其中，存储器上存储有可执行代码，当可执行代码被处理器执行时，使处理器至少可以实现第一方面中的图像处理方法。
根据本公开实施例的第四方面，提供了一种计算机可读存储介质，当所述计算机可读存储介质中的指令由电子设备执行时，使得电子设备能够执行至少可以实现第一方面中的图像处理方法。
根据本公开实施例的第五方面，提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现第一方面中的图像处理方法。
本公开的实施例提供的技术方案至少带来以下有益效果：
本公开中，响应于对目标效果的选取指令，获取目标效果对应的素材数据，该素材数据包括素材以及素材与图像处理流程的匹配关系。进而，响应于拍摄指令获取包含拍摄对象的初始图像的情况下，可以根据匹配关系从素材中确定在当前所处的图像处理流程中用于处理初始图像的目标素材。进而，采用目标素材处理初始图像，得到图像处理流程对应的目标图像，实现了针对当前所处的图像处理流程应用对应素材的图像处理方式，使得输出的图像能够满足当前所处图像处理流程的实际需求(如编辑、发布、预览等)。本公开中，通过素材与图像处理流程的匹配关系，可以明确区分出不同图像处理流程所需的素材，从而避免因提示信息等素材录制到最终展示的图像中而造成的图像展示效果下降的问题，大大提高图像处理效率，提升图像展示效果。并且，如提示信息等素材可以根据各自匹配的图像处理流程更新到素材数据中，大大降低素材数据的更新难度，提高素材数据的维护效率。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理，并不构成对本公开的不当限定。
图1是根据相关技术中的一种拍摄界面的示意图。
图2是根据一示例性实施例示出的一种图像处理方法的流程示意图。
图3是根据一示例性实施例示出的一种拍摄界面的示意图。
图4是根据一示例性实施例示出的一种编辑界面的示意图。
图5是根据一示例性实施例示出的一种发布界面的示意图。
图6是根据一示例性实施例示出的一种拍摄界面的示意图。
图7是根据一示例性实施例示出的一种图像处理装置的结构示意图。
图8是根据一示例性实施例示出的一种电子设备的结构示意图。
具体实施方式
为了使本领域普通人员更好地理解本公开的技术方案，下面将结合附图，对本公开实施例中的技术方案进行清楚、完整地描述。
需要说明的是，本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
如前文所述，相关技术中，在视频拍摄界面中加入提示信息，以便用户拍摄时触发相应的图像效果，引导用户摆出与图像效果相配合的姿势表情。以图1所示的拍摄界面为例，拍摄短视频时可添加剪刀石头布的魔表，此情况下可以增加“叫上朋友一起玩吧”的提示信息，以提示用户邀请其他人加入该短视频的拍摄。本公开中，魔表也可称为魔法表情，或者魔法特效，或者特效等。
但是，在一相关技术中，提示信息绑定到魔表素材中，并随魔表素材下发到客户端，导致客户端录制短视频时会将提示信息同步录制到最终展示的短视频中，影响短视频的展示效果以及图像处理效率。
另一相关技术中，可以在客户端展示魔表预览效果时，通过在视频流所处图层之上设置一个图层来展示提示信息，避免提示信息录制到最终的短视频中。这些提示信息是预先内置在客户端侧的固定信息，如“未识别到人脸”、“请点头”等。这些提示信息数量有限，难以配合更新频率较高的魔表素材需求。并且，这些提示信息是随客户端版本进行更新的，导致客户端内提示信息的更新难度大，维护效率低。
为解决相关技术中存在的至少一个技术问题，本公开提供了一种图像处理方法、装置、电子设备及存储介质。
上述技术方案的核心思想是：响应于对目标效果的选取指令，获取目标效果对应的素材数据，该素材数据包括素材、以及素材与图像处理流程的匹配关系。进而，响应于拍摄指令获取包含拍摄对象的初始图像的情况下，可以根据匹配关系从素材中确定在当前所处的图像处理流程中用于处理初始图像的目标素材。进而，采用目标素材处理初始图像，得到图像处理流程对应的目标图像，实现了针对当前所处的图像处理流程应用对应素材的图像处理方式，使得输出的图像能够满足不同图像处理流程的实际需求(如编辑、发布、预览等)。本方案中，通过素材与图像处理流程的匹配关系，可以明确区分出不同图像处理流程所需的素材，从而避免因提示信息等素材录制到最终展示的图像中而造成的图像展示效果下降的问题，大大提高图像处理效率，提升图像展示效果。并且，如提示信息等素材可以根据各自匹配的图像处理流程更新到素材数据中，大大降低素材数据的更新难度，提高素材数据的维护效率。
结合具体应用场景，上述不同图像处理流程的实际需求，可以理解为，不同图像处理流程所需输出的效果。实际应用中，效果包括图像效果、文字效果。
举例来说，假设素材包括用于构成目标图像效果的图像素材、用于与拍摄对象交互的文字素材。这里的文字素材包括前文介绍的提示信息。假设预览流程中需要向用户展示目标图像效果以及用于与用户(即拍摄对象)交互的文字素材。假设后端处理流程所需输出的图像主要用于后续的编辑流程以及发布流程，因而需要避免显示文字素材。
基于上述假设，后端处理流程对应的目标图像(为区分，本公开称为第一图像)可以是包含目标图像效果但不携带文字效果的图像，以使第一图像可以直接应用于后续的编辑以及发布。而预览流程对应的目标图像(为区分，本公开称为第二图像)可以是包含目标图像效果以及文字效果的图像。这样，通过预览流程输出的第二图像，可以使得用户预览目标效果时根据文字素材同步调整自身的拍摄状态，如姿势、表情、参与人数等，以配合实现目标效果。
基于前文介绍的核心思想，本公开实施例提供了一种图像处理方法，图2为本公开一示例性实施例提供的图像处理方法的流程示意图。如图2所示，该方法包括：
201、响应于对目标效果的选取指令，获取目标效果对应的素材数据；
202、响应于拍摄指令，获取包含拍摄对象的初始图像；
203、根据匹配关系从素材中确定在当前所处的图像处理流程中用于处理初始图像的目标素材；
204、采用目标素材处理初始图像，得到图像处理流程对应的目标图像。
上述方法中，通过素材与图像处理流程的匹配关系，可以明确区分出不同图像处理流程所需的素材，实现了一种全新的在不同图像处理流程中应用不同素材的图像处理方式，使得不同图像处理流程可以输出具有不同图像效果的图像，以配合不同图像处理流程的输出需求，大大提高图像处理效率，提升图像展示效果。并且，如提示信息等素材可以根据各自匹配的图像处理流程更新到素材数据中，大大降低素材数据的更新难度，提高素材数据的维护效率。
实际应用中，上述方法中各个步骤可以由一个电子设备实现，该电子设备可以是诸如手机、智能手环、平板电脑、PC机、笔记本电脑等终端设备。以手机为例，可调用搭载在手机中的专用应用程序实现，也可调用即时通信应用或其他类型应用中设置的小程序实现，还可通过手机应用调用云服务器实现。上述方法中的步骤也可由多个电子设备配合实现。例如，服务器可以将执行结果发送到终端设备中，以供终端设备渲染并显示该执行结果。该服务器可以是包含一独立主机的物理服务器，或者也可以为主机集群承载的虚拟服务器，或者也可以为云服务器，本公开并不限定。
下面结合具体实施例介绍图像处理方法中的各个步骤。
首先，201中，响应于对目标效果的选取指令，获取目标效果对应的素材数据。
相关技术中，也可在视频录制界面上叠加包含文字素材的图层，避免将该图层中的文字素材录制到短视频中。但是该图层中的文字素材通常是预先设置在客户端中的，因而需要更新客户端才能调整对文字素材的设置或种类，操作过于繁琐，文字素材类型较少，难以及时更新以配合各种效果。
针对这一问题，本实施例中，目标效果对应的素材数据包括素材、以及素材与图像处理流程的匹配关系。这样，通过素材与图像处理流程的匹配关系，可以根据配合不同图像处理流程的输出需求，在素材数据中设置不同图像处理流程对应的素材，使得图像处理流程更具有针对性，大大降低如文字素材、图像素材等素材的设置更新难度，有利于在多种效果中更具有针对性地添加不同素材(如不同文字素材)。
实际应用中，图像处理流程包括但不限于预览流程、后端处理流程。可以理解的是，不同图像处理流程可以按照前后顺序执行，也可分别在不同代码分支中同步执行。例如，预览流程是进入拍摄界面后自动触发的，从而为进入拍摄界面的用户实时展示用于预览目标效果的图像。而后端处理流程则是在拍摄界面中通过拍摄控件触发的，也即触发图像拍摄之后即可开始对拍摄到的图像进行图像效果渲染、编码等运行在客户端后台的处理流程，此处理流程即视为后端处理流程。
可选地，图像素材包括但不限于：用于构成目标图像效果的图像素材、以及用于与拍摄对象交互的文字素材。实际应用中，文字素材可以是文字信息，也可以是包含文字信息的动画，本公开并不限定。无论是何种形式的文字素材，其核心意图均是引导拍摄对象(如拍摄者、或被拍摄者)根据文字素材指示的内容调整拍摄状态。以魔表为例，文字素材可以是“未检测到拍摄对象”，此情况下，拍摄者可以移动设备以使拍摄对象进入取景框，完成魔表拍摄。例如，文字素材可以是与魔表匹配的一段包含参考拍摄动作的动画，用以提示拍摄对象根据参考拍摄动作完成魔表拍摄。
以魔表为例，魔表对应的素材数据包括构成该魔表的图像素材、与该魔表关联的文字素材、图像素材与图像处理流程的匹配关系、以及文字素材与图像处理流程的匹配关系。实际应用中，构成该魔表的图像素材例如是各种特效贴图、特效设置参数。根据实际需求，对特效设置参数比如包括：特效展示顺序、时长、贴图位置、贴图形状大小、字体类型等。
可选地，201之前，显示包含拍摄对象的拍摄界面，该拍摄界面中包括多个效果控件。例如，多种魔表对应的魔表选取控件。拍摄界面中多个效果控件，可以悬浮在拍摄界面之上，或者也可以设置在拍摄界面的指定区域中。多个效果控件的布局可以根据拍摄界面进行设置。例如，多个魔表选取控件可以由魔表功能唤醒控件唤出，并布局在拍摄界面的指定区域，如拍摄界面的下半部分。例如，多个魔表选取控件根据用户使用习惯(如惯用手)布局在界面右侧或左侧，便于单手操作。例如，多个魔表选取控件也可分为两个部分，分别设置在界面左右两侧，从而双手操作。可以理解的是，多个效果控件在拍摄界面中的布局形式并不限定于上述示例。
基于此，201中，响应于对目标效果的选取指令，获取目标效果对应的素材数据的一个可选实施例，可以实现为：接收对多个效果控件中目标效果控件的选取指令；响应于接收到的选取指令，获取目标效果控件对应的素材数据。
上述步骤中，假设多种效果对应的素材数据为多种魔表对应的魔表素材包。基于上述假设，检测用户的操作指令，根据检测到的操作指令，确定用户选取多个魔表选择控件中的目标魔表选择控件。响应于检测到的操作指令，获取目标魔表选择控件对应的魔表素材包。此处多个魔表素材包，可以由用户选取并下载更新到客户端侧的，也可以是预先存储到客户端侧的。例如，多个魔表素材包随客户端的启动更新流程下载到客户端侧的。
进而，202中，响应于拍摄指令，获取包含拍摄对象的初始图像。
其中，初始图像可以是图片，也可以是视频流，还可以是其他形式，本公开并不限定。初始图像中包含的拍摄对象可由拍摄场景决定。例如，日常生活中的人物、宠物、风景，直播场景中的主播、观众，体育赛事中的运动员、观众、裁判，文娱演出中的演员、主持人、观众，日常生活中，等等。当然，除了上述示例的活动人员外，本公开还可将各种场景下的场景元素设置为拍摄对象。其中，场景元素比如是直播场景中的商品、直播场地全景、布景元素，再比如是文娱演出的演出场地全景、布景元素。
值得说明的是，拍摄对象的选取方式有多种。其中，可以通过以下方式选取出所要展示的拍摄对象，包括：
在一可选实施例中，可以手动选取拍摄界面中的拍摄对象，进而从多个待选对象中选取出拍摄对象。例如，识别出拍摄界面中一个或多个待选对象，用方框框选出拍摄界面中的待选对象，并点击所要选取的拍摄对象对应的方框。可选地，还可预先录入拍摄界面中的待选对象的视觉特征。比如，在录制魔法表情前，录入用户的视觉特征。如拍摄用户的面部影像、或者用户的服装影像。
另一可选实施例中，还可通过移动拍摄设备将拍摄界面中所要选取的待选对象移动到指定位置，从而，标识出拍摄对象。例如，选择聚焦方式为中心聚焦，此情况下，将处于拍摄界面中央的待选对象作为拍摄对象。
通过上述方式选取出拍摄对象之后，202中，可以检测是否接收到拍摄指令，在接收到拍摄指令后，通过图像采集传感器来获取初始图像。实际应用中，拍摄指令可以是对拍摄控件的选取指令，也可以是识别到拍摄对象发出指定触发动作后生成的，还可以是采用其他形式实现的，本公开并不限定。以图3所示的魔表拍摄场景为例，根据提示语“点头瞄准发射”，若识别到拍摄对象点头，则可以触发获取包含该拍摄对象的初始图像。
通过上述步骤获取初始图像之后，203中，根据匹配关系从素材中确定在当前所处的图像处理流程中用于处理初始图像的目标素材。204中，采用目标素材处理初始图像，得到该图像处理流程对应的目标图像。
上述步骤中，假设素材数据中还包括素材匹配的流程标识，该流程标识用于指示素材所匹配的图像处理流程。
基于上述假设，203中，根据匹配关系确定在当前所处的图像处理流程中用于处理初始图像的目标素材的一种可选实施例，具体为：确定客户端当前所处的图像处理流程；根据流程标识从素材中选取与当前所处目标图像处理流程匹配的素材，作为目标素材。从而，通过流程标识能够有效区分不同图像处理流程所需使用的素材，达到使输出的图像能够满足不同图像处理流程的实际需求，有助于提高图像处理效率。
继续上述假设，进一步假设素材包括用于构成目标图像效果的图像素材、以及用于与拍摄对象交互的文字素材。基于此，可选地，素材与图像处理流程的匹配关系可以实现为：图像素材匹配于后端处理流程和预览流程，文字素材匹配于预览流程。例如，假设素材数据为魔表对应的魔表素材包。基于此假设，魔表素材包比如包括：用于构成魔表的图像素材、文字素材、图像素材所匹配的预览流程标识和后端处理流程标识(即前文所述的流程标识)、文字素材所匹配的预览流程标识(即前文所述的流程标识)。通过上述匹配关系，可以实现在不同图像处理流程中应用不同素材的图像处理方式，从而使输出的图像能够满足不同图像处理流程的实际需求，提高图像处理效率，提升图像展示效果。
首先，图像处理流程的确定方式有多种。其中，可以通过以下方式确定客户端当前所处的图像处理流程，包括：
在一可选实施例中，根据最近一条操作指令识别客户端当前所处的图像处理流程。例如，假设最近一条操作指令是跳转至拍摄界面的指令，可以判断客户端当前所处的图像处理流程为预览流程。例如，假设最近一条操作指令是对拍摄对象的拍摄指令，可以判断客户端当前所处的图像处理流程为后端处理流程。另一可选实施例中，还可预先设置预览流程以及后端处理流程的执行顺序，从而根据执行顺序来判断当前客户端当前所处的图像处理流程。
进而，可以通过以下方式从素材中选取出目标素材，包括：
在一可选实施例中，203中，确定客户端当前所处的图像处理流程之后，若当前所处的图像处理流程为后端处理流程，则将流程标识为后端处理流程标识的图像素材确定为目标素材。进而，204中，采用目标素材处理初始图像得到图像处理流程对应的目标图像的一种可选方式为：将图像素材渲染到初始图像中，得到包含目标图像效果的第一图像。以魔表为例，用于构成魔表的图像素材例如包括：闪光、道具、化妆贴图。基于此，在204中，将闪光、道具、化妆贴图渲染到初始图像中，得到包含上述魔表的第一图像。这样，通过后端处理流程得到的目标图像中并不包含文字素材，避免文字素材对应的效果影响图像显示。
可选地，在得到包含目标图像效果的第一图像之后，还可以显示包含第一图像的编辑界面和/或发布界面。其中，编辑界面主要用于对第一图像进行编辑。例如，可以将包含魔表效果的第一图像导入到图4示出的编辑界面中进行编辑。对第一图像的编辑操作比如包括：剪辑、转码处理、水印标记、后期效果编辑处理、配乐。发布界面主要用于对第一图像进行发布操作。例如，可以将包含魔表效果的第一图像导入到图5示出的发布界面中进行发布操作，如编辑相关的文字，选择当前位置，选择是否公开发布，以及选择其他设置。
另一可选实施例中，203中，确定客户端当前所处的图像处理流程之后，若当前所处的图像处理流程为预览流程，则将流程标识为预览流程标识的图像素材和文字素材确定为目标素材。进而，204中，采用目标素材处理初始图像得到图像处理流程对应的目标图像的一种可选方式为：将图像素材和文字素材渲染到初始图像中，得到包含目标图像效果以及文字效果的第二图像。以魔表为例，用于构成魔表的图像素材例如包括：闪光、道具、化妆贴图。基于此，在204中，将闪光、道具、化妆贴图以及文字素材渲染到初始图像中，得到包含上述魔表以及文字效果的第二图像。这样，通过预览流程得到的目标图像中包含文字素材，从而能够通过文字素材对应的效果提示用户进行相关操作，提升用户交互体验以及图像展示效果。
当然，实际应用中，第二图像也可以是在第一图像的基础上渲染得到的。在一可选实施例中，在得到第一图像之后，若检测到当前所处的图像处理流程切换到预览流程，则将文字素材渲染到第一图像中，以得到包含目标图像效果以及文字效果的第二图像。
实际应用中，可选地，与魔表对应的文字素材可以设置多个，从而，可以识别拍摄对象所处场景，选取与拍摄对象所处场景匹配的文字素材。例如，图6所示的拍摄场景中，没有识别到拍摄对象，可以选择文字素材为“未检测到人像”。可选地，还可通过文字素材对应的文字效果向拍摄对象提示参考拍摄动作。例如，图6所示的拍摄场景中，与猫脸相配合，可以使用文字素材对应的文字效果，引导用户配合猫耳转动。
可选地，在得到包含目标图像效果以及文字效果的第二图像之后，还可以显示包含第二图像的拍摄界面。这样，在拍摄界面中可以同步预览到第二图像中的目标图像效果以及文字效果。
通过图2示出的图像处理方法中，通过素材与图像处理流程的匹配关系，可以明确区分出不同图像处理流程所需的素材，实现了一种全新的在不同图像处理流程中应用不同素材的图像处理方式，使得不同图像处理流程可以输出具有不同效果的图像，以配合不同图像处理流程的输出需求，大大提高图像处理效率，提升图像展示效果。并且，如提示信息等素材可以根据各自匹配的图像处理流程更新到素材数据中，大大降低素材数据的更新难度，提高素材数据的维护效率。
图7为本公开实施例提供的一种图像处理装置。如图7所示，其中该图像处理装置包括：
第一获取模块701，被配置为响应于对目标效果的选取指令，获取目标效果对应的素材数据，素材数据包括素材、以及素材与图像处理流程的匹配关系；
第二获取模块702，被配置为响应于拍摄指令，获取包含拍摄对象的初始图像；
确定模块703，被配置为根据匹配关系从素材中确定在当前所处的图像处理流程中用于处理初始图像的目标素材；
图像处理模块704，被配置为采用目标素材处理初始图像，得到图像处理流程对应的目标图像。
可选地，素材数据中还包括素材匹配的流程标识，流程标识用于指示素材所匹配的图像处理流程。
可选地，确定模块703，根据匹配关系确定在当前所处的图像处理流程中用于处理初始图像的目标素材时，被具体配置为：
确定客户端当前所处的图像处理流程；根据流程标识从素材中选取与当前所处目标图像处理流程匹配的素材，作为目标素材。
可选地，素材包括用于构成目标图像效果的图像素材、以及用于与拍摄对象交互的文字素材。
素材与图像处理流程的匹配关系，包括：图像素材匹配于后端处理流程和预览流程，文字素材匹配于预览流程。
可选地，确定模块703根据流程标识从素材中选取与当前所处目标图像处理流程匹配的素材作为目标素材时，被具体配置为：若当前所处的图像处理流程为后端处理流程，则将流程标识为后端处理流程标识的图像素材，确定为目标素材。
图像处理模块704，采用目标素材处理初始图像，得到图像处理流程对应的目标图像时，被具体配置为：将图像素材渲染到初始图像中，得到包含目标图像效果的第一图像。
可选地，确定模块703，根据流程标识从素材中选取与当前所处目标图像处理流程匹配的素材作为目标素材时，被具体配置为：
若当前所处的图像处理流程为预览流程，则将流程标识为预览流程标识的图像素材和文字素材，确定为目标素材。
图形处理模块704，采用目标素材处理初始图像，得到图像处理流程对应的目标图像时，被具体配置为：
将图像素材和文字素材渲染到初始图像中，得到包含目标图像效果以及文字素材的第二图像。
可选地，装置还包括显示模块，被具体配置为：显示包含第一图像的编辑界面和/或发布界面。
可选地，显示模块，还被具体配置为：显示包含第二图像的拍摄界面。
可选地，显示模块，还被具体配置为：显示包含拍摄对象的拍摄界面，拍摄界面中包括多个效果控件。
第一获取模块701，响应于对目标效果的选取指令，获取目标效果对应的素材数据，被具体配置为：接收对多个效果控件中目标效果控件的选取指令；响应于接收到的选取指令，获取目标效果控件对应的素材数据。
上述图像处理装置可以执行前述各实施例中提供的***或方法，本实施例未详细描述的部分，可参考前述实施例的相关说明，在此不再赘述。
在一个可能的设计中，上述图像处理装置的结构可实现为一电子设备。如图8所示，该电子设备可以包括：处理器21、存储器22。其中，存储器22上存储有可执行代码，当可执行代码被处理器21执行时，至少使处理器21可以实现如前述实施例中提供的图像处理方法。
其中，该电子设备的结构中还可以包括通信接口23，用于与其他设备或通信网络通信。
另外，本公开还提供了一种包括指令的计算机可读存储介质，所述介质上存储有可执行代码，当所述可执行代码被无线路由器的处理器执行时，使所述处理器执行前述各实施例中提供的方法。可选地，计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
在示例性实施例中，还提供一种计算机程序产品，包括计算机程序，计算机程序被处理器执行时实现前述各实施例中提供的方法。该计算机程序是由运行在终端或服务器上的程序实现的。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本公开旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

Claims (10)

1.一种图像处理方法，其特征在于，包括：
响应于对目标效果的选取指令，获取所述目标效果对应的素材数据，所述素材数据包括素材、以及所述素材与图像处理流程的匹配关系；
响应于拍摄指令，获取包含拍摄对象的初始图像；
根据所述匹配关系从所述素材中确定在当前所处的图像处理流程中用于处理所述初始图像的目标素材；
采用所述目标素材处理所述初始图像，得到所述图像处理流程对应的目标图像。
2.根据权利要求1所述的方法，其特征在于，所述素材数据中还包括所述素材匹配的流程标识，所述流程标识用于指示所述素材所匹配的图像处理流程；
根据所述匹配关系从所述素材中确定在当前所处的图像处理流程中用于处理所述初始图像的目标素材，包括：
确定客户端当前所处的所述图像处理流程；
根据所述流程标识从所述素材中确定与所述图像处理流程匹配的素材，作为所述目标素材。
3.根据权利要求1或2所述的方法，其特征在于，所述素材包括用于构成目标图像效果的图像素材、以及用于与拍摄对象交互的文字素材；
所述素材与图像处理流程的匹配关系，包括：
所述图像素材匹配于后端处理流程和预览流程，所述文字素材匹配于所述预览流程。
4.根据权利要求3所述的方法，其特征在于，所述根据所述流程标识从所述素材中选取与当前所处目标图像处理流程匹配的素材作为所述目标素材，包括：
若当前所处的图像处理流程为所述后端处理流程，则将流程标识为后端处理流程标识的所述图像素材，确定为所述目标素材；
所述采用所述目标素材处理所述初始图像，得到所述图像处理流程对应的目标图像，包括：
将所述图像素材渲染到所述初始图像中，得到包含所述目标图像效果的第一图像。
5.根据权利要求3所述的方法，其特征在于，所述根据所述流程标识从所述图像素材中选取与当前所处目标图像处理流程匹配的素材作为所述目标素材，包括：
若当前所处的图像处理流程为所述预览流程，则将所述流程标识为预览流程标识的所述图像素材和所述文字素材，确定为所述目标素材；
所述采用所述目标素材处理所述初始图像，得到所述图像处理流程对应的目标图像，包括：
将所述图像素材和所述文字素材渲染到所述初始图像中，得到包含所述目标图像效果以及所述文字素材的第二图像。
6.根据权利要求4所述的方法，其特征在于，还包括：显示包含所述第一图像的编辑界面和/或发布界面。
7.一种图像处理装置，其特征在于，包括：
第一获取模块，被配置为响应于对目标效果的选取指令，获取所述目标效果对应的素材数据，所述素材数据包括素材、以及所述素材与图像处理流程的匹配关系；
第二获取模块，被配置为响应于拍摄指令，获取包含拍摄对象的初始图像；
确定模块，被配置为根据所述匹配关系从所述素材中确定在当前所处的图像处理流程中用于处理所述初始图像的目标素材；
图像处理模块，被配置为采用所述目标素材处理所述初始图像，得到所述图像处理流程对应的目标图像。
8.一种电子设备，其特征在于，包括：
处理器；
用于存储所述处理器可执行指令的存储器；
其中，所述处理器被配置为执行所述指令，以实现如权利要求1至6任一项所述的图像处理方法。
9.一种计算机可读存储介质，当所述计算机可读存储介质中的指令由电子设备执行时，使得所述电子设备能够执行如权利要求1至6任一项所述的图像处理方法。
10.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至6任一项所述的图像处理方法。
CN202111481292.1A 2021-12-06 2021-12-06 图像处理方法、装置、电子设备及存储介质 Active CN114390193B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111481292.1A CN114390193B (zh) 2021-12-06 2021-12-06 图像处理方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111481292.1A CN114390193B (zh) 2021-12-06 2021-12-06 图像处理方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN114390193A true CN114390193A (zh) 2022-04-22
CN114390193B CN114390193B (zh) 2023-12-19

Family

ID=81195646

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111481292.1A Active CN114390193B (zh) 2021-12-06 2021-12-06 图像处理方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN114390193B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114979471A (zh) * 2022-05-12 2022-08-30 北京达佳互联信息技术有限公司 界面显示方法、装置、电子设备及计算机可读存储介质
CN115291772A (zh) * 2022-08-16 2022-11-04 北京字跳网络技术有限公司 页面显示方法、装置、设备及存储介质
WO2024001513A1 (zh) * 2022-06-28 2024-01-04 北京字跳网络技术有限公司 用于内容拍摄的方法、装置、设备和存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017016030A1 (zh) * 2015-07-30 2017-02-02 宇龙计算机通信科技(深圳)有限公司 一种图像处理方法及终端
CN107635104A (zh) * 2017-08-11 2018-01-26 光锐恒宇（北京）科技有限公司 一种在应用中显示特效的方法和装置
CN111899192A (zh) * 2020-07-23 2020-11-06 北京字节跳动网络技术有限公司 交互方法、装置、电子设备及计算机可读存储介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017016030A1 (zh) * 2015-07-30 2017-02-02 宇龙计算机通信科技(深圳)有限公司 一种图像处理方法及终端
CN107635104A (zh) * 2017-08-11 2018-01-26 光锐恒宇（北京）科技有限公司 一种在应用中显示特效的方法和装置
CN111899192A (zh) * 2020-07-23 2020-11-06 北京字节跳动网络技术有限公司 交互方法、装置、电子设备及计算机可读存储介质

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114979471A (zh) * 2022-05-12 2022-08-30 北京达佳互联信息技术有限公司 界面显示方法、装置、电子设备及计算机可读存储介质
CN114979471B (zh) * 2022-05-12 2023-10-10 北京达佳互联信息技术有限公司 界面显示方法、装置、电子设备及计算机可读存储介质
WO2024001513A1 (zh) * 2022-06-28 2024-01-04 北京字跳网络技术有限公司 用于内容拍摄的方法、装置、设备和存储介质
CN115291772A (zh) * 2022-08-16 2022-11-04 北京字跳网络技术有限公司 页面显示方法、装置、设备及存储介质

Also Published As

Publication number Publication date
CN114390193B (zh) 2023-12-19

Similar Documents

Publication Publication Date Title
CN114390193B (zh) 图像处理方法、装置、电子设备及存储介质
CN109068081A (zh) 视频生成方法、装置、电子设备及存储介质
CN108986192B (zh) 用于直播的数据处理方法及装置
WO2020138107A1 (ja) 配信ユーザの動きに基づいて生成されるキャラクタオブジェクトのアニメーションを含む動画をライブ配信する動画配信システム、動画配信方法及び動画配信プログラム
CN106730815B (zh) 一种易实现的体感互动方法及***
CN112905074B (zh) 交互界面展示方法、交互界面生成方法、装置及电子设备
CN113507621A (zh) 直播方法、装置、***、计算机设备以及存储介质
CN110691279A (zh) 一种虚拟直播的方法、装置、电子设备及存储介质
WO2015001437A1 (en) Image processing method and apparatus, and electronic device
CN110062271A (zh) 场景切换方法、装置、终端及存储介质
CN109327737A (zh) 电视节目推荐方法、终端、***及存储介质
CN112218154B (zh) 视频的获取方法和装置、存储介质及电子装置
JP2018113616A (ja) 情報処理装置、情報処理方法、およびプログラム
JP2017064161A (ja) ゲームシステム、撮影装置、ゲーム装置およびプログラム
CN107948702B (zh) 应用程序状态的同步方法、装置、终端和存储介质
WO2019227324A1 (zh) 视频播放速度的控制方法、装置及运动相机
CN110162667A (zh) 视频生成方法、装置及存储介质
JP2007300562A (ja) 画像処理装置および画像処理方法
CN115362474A (zh) 自定义多媒体消息应用的能够修改的视频中的配乐和发型
JP2020074041A (ja) 遊戯用撮影装置、画像処理装置、および画像処理方法
WO2024007290A1 (zh) 视频的获取方法、电子设备、存储介质和程序产品
CN108833740B (zh) 一种基于三维动画直播的实时提词器方法和装置
CN113473224B (zh) 视频处理方法、装置、电子设备及计算机可读存储介质
JP2015220651A (ja) 試着疑似体験システム、該システムの制御方法及びコンピュータプログラム
CN113989424A (zh) 三维虚拟形象的生成方法、装置及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant