CN111565337A - 图像处理方法、装置和电子设备 - Google Patents
图像处理方法、装置和电子设备 Download PDFInfo
- Publication number
- CN111565337A CN111565337A CN202010338390.9A CN202010338390A CN111565337A CN 111565337 A CN111565337 A CN 111565337A CN 202010338390 A CN202010338390 A CN 202010338390A CN 111565337 A CN111565337 A CN 111565337A
- Authority
- CN
- China
- Prior art keywords
- video
- layer
- instruction
- video stream
- displayed
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 12
- 230000002452 interceptive effect Effects 0.000 claims abstract description 37
- 238000012545 processing Methods 0.000 claims abstract description 24
- 238000000034 method Methods 0.000 claims description 28
- 230000003993 interaction Effects 0.000 claims description 13
- 238000005516 engineering process Methods 0.000 claims description 10
- 238000003860 storage Methods 0.000 claims description 10
- 238000004590 computer program Methods 0.000 claims description 5
- 230000002093 peripheral effect Effects 0.000 claims description 3
- 230000008569 process Effects 0.000 description 13
- 230000006870 function Effects 0.000 description 11
- 238000010586 diagram Methods 0.000 description 5
- 210000003813 thumb Anatomy 0.000 description 5
- 238000004891 communication Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 235000015842 Hesperis Nutrition 0.000 description 2
- 235000012633 Iberis amara Nutrition 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000011946 reduction process Methods 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 241000251468 Actinopterygii Species 0.000 description 1
- 206010044565 Tremor Diseases 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/47—End-user applications
- H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
- H04N21/4788—Supplemental services, e.g. displaying phone caller identification, shopping application communicating with other users, e.g. chatting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/47—End-user applications
- H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
- H04N21/47205—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for manipulating displayed content, e.g. interacting with MPEG-4 objects, editing locally
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/47—End-user applications
- H04N21/488—Data services, e.g. news ticker
- H04N21/4882—Data services, e.g. news ticker for displaying messages, e.g. warnings, reminders
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20172—Image enhancement details
- G06T2207/20192—Edge enhancement; Edge preservation
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- General Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
本申请提供了一种图像处理方法、装置和电子设备，涉及图像处理技术领域。其中，所述图像处理方法，包括：获取视频信息；确定视频图层和视频流在视频图层上显示的位置信息；对视频图层上显示的视频流进行PQ增强；将PQ增强后的视频图层和指令图层进行叠加，然后发送至显示屏上显示。本申请在得到视频流和指令集后，确定视频流在该图层显示的位置信息后，对视频流进行PQ增强，根据位置信息和指令集转换的互动内容，将指令图层的特定位置设置为透明状态，并显示互动内容，然后将进行PQ增强后的视频图层和处理后的指令图层进行叠加显示，从而得到高图像质量和显示互动内容的视频，实现用户在观看高图像质量的视频同时，还可以看到交互信息。
Description
技术领域
本发明涉及图像处理技术领域，尤其涉及一种图像处理方法、装置和电子设备。
背景技术
目前市面上最热门的视频应用程序(application，APP)如斗鱼、抖音、爱奇艺等，都具有大量的交互功能(例如点赞、评论等等)。随着5G和4K技术的推广，视频APP在电视上将会提供更好的体验，但是目前市面上，智能电视上的视频APP的主要功能还是基本的视频播放，而交互功能并没有在电视上有很好的应用，这大大降低了用户的体验。
发明内容
为了克服上述不能在电子设备上显示交互信息的问题，本申请的实施例提供了一种图像处理方法、装置和电子设备。
为了达到上述目的，本申请的实施例采用如下技术方案：
第一方面，本申请提供一种图像处理方法，所述方法由终端设备执行，包括：获取视频信息，所述视频信息包括视频流和指令集，所述指令集包括用户观看视频进行交互时输入的指令；确定视频图层和所述视频流在所述视频图层上显示的位置信息；对所述视频图层上显示的所述视频流进行PQ增强；将PQ增强后的视频图层和指令图层进行叠加，然后发送至显示屏上显示，所述指令图层用于显示由所述指令集中的各个指令转换的互动内容，所述指令图层包括根据所述位置信息确定的呈现透明状态的第一区域。
本发明中，在得到视频流和指令集后，先识别出视频流显示的图层，在确定视频流在该图层显示的位置信息后，当视频流在视频图层显示时，对该视频流中的视频图像进行PQ增强，然后根据位置信息和指令集转换的互动内容，将指令图层的特定位置设置为透明状态，并显示互动内容，然后将进行PQ增强后的视频图层和处理后的指令图层进行叠加显示，从而得到高图像质量和显示互动内容的视频，实现用户在观看高图像质量的视频同时，还可以看到交互信息。
在另一个可能的实现中，所述确定视频图层，包括：通过视频图层识别技术识别出所述视频图层。
在另一个可能的实现中，所述方法还包括：对所述视频图层上增加标识，所述标识用于确定进行PQ增强的数据为所述视频图层上显示的视频流。
在另一个可能的实现中，所述确定所述视频流在所述视频图层上显示的位置信息，包括：根据所述视频流中的视频图像的尺寸和所述视频图层的尺寸，确定所述视频流中的视频图像在所述视频图层上显示的位置；记录所述视频流中的视频图像在所述视频图层上的坐标信息或边距信息。
第二方面，本申请提供一种图像处理装置，包括：获取单元，获取视频信息，所述视频信息包括视频流和指令集，所述指令集包括用户观看视频进行交互时输入的指令；确定单元，确定视频图层和所述视频流在所述视频图层上显示的位置信息；处理单元，对所述视频图层上显示的所述视频流进行PQ增强；以及将PQ增强后的视频图层和指令图层进行叠加，然后发送至显示屏上显示，所述指令图层用于显示由所述指令集中的各个指令转换的互动内容，所述指令图层包括根据所述位置信息确定的呈现透明状态的第一区域。
在另一个可能的实现中，所述确定单元具体用于，通过视频图层识别技术识别出所述视频图层。
在另一个可能的实现中，所述确定单元，还用于对所述视频图层上增加标识，所述标识用于确定进行PQ增强的数据为所述视频图层上显示的视频流。
在另一个可能的实现中，所述确定单元具体用于，根据所述视频流中的视频图像的尺寸和所述视频图层的尺寸，确定所述视频流中的视频图像在所述视频图层上显示的位置；记录所述视频流中的视频图像在所述视频图层上的坐标信息或边距信息。
第三方面，本申请提供一种电子设备，包括：收发器，获取视频信息，所述视频信息包括视频流和指令集，所述指令集包括用户观看视频进行交互时输入的指令；第一芯片，确定视频图层和所述视频流在所述视频图层上显示的位置信息；第二芯片，对所述视频图层上显示的所述视频流进行PQ增强；将PQ增强后的视频图层和指令图层进行叠加，然后发送至显示屏上显示，所述指令图层用于显示由所述指令集中的各个指令转换的互动内容，所述指令图层包括根据所述位置信息确定的呈现透明状态的第一区域。
在另一个可能的实现中，所述第一芯片和所述第二芯片之间包括第一通道和第二通道，所述第一通道，用于将所述第一芯片识别出的所述视频流发送给所述第二芯片；所述第二通道，用于将所述第一芯片的所述视频流的位置信息和所述指令集发送给所述第二芯片。
本发明中，通过将视频流与位置信息和指令集分开发送至第二芯片，从而实现让第二芯片对视频流与位置信息和指令集分开处理。
在另一个可能的实现中，所述第一通道为数据通道DP，所述第二通道为快捷***部件互连标准PCIe通道。
在另一个可能的实现中，所述第一芯片具体用于，通过视频图层识别技术识别出所述视频图层。
在另一个可能的实现中，所述第一芯片，还用于对所述视频图层上增加标识，所述标识用于确定所述第二芯片进行PQ增强的数据为所述视频图层上显示的视频流。
在另一个可能的实现中，所述第一芯片具体用于，根据所述视频流中的视频图像的尺寸和所述视频图层的尺寸，确定所述视频流中的视频图像在所述视频图层上显示的位置；记录所述视频流中的视频图像在所述视频图层上的坐标信息或边距信息。
第四方面，本申请提供一种计算机可读存储介质，用于存储指令/可执行代码，当所述指令/可执行代码被电子设备的处理器执行时，使得所述电子设备实现如第一方面中任一可能实现的实施例。
第五方面，本申请提供一种包含指令的计算机程序产品，当所述指令在计算机上运行时，使得所述计算机执行如第一方面中任一可能实现的实施例。
附图说明
下面对实施例或现有技术描述中所需使用的附图作简单地介绍。
图1为本申请实施例提供的一种终端设备对视频进行处理的架构示意图；
图2为本申请实施例提供的第一芯片和第二芯片内部结构示意图；
图3为本申请实施例提供的视频合成示意图；
图4为本申请实施例提供的一种图像处理方法的流程图；
图5为本申请实施例提供的一种图像处理装置结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述。
为了解决用户观看电视过程中，不能观看交互信息，现有技术中，如华为现有的智慧电视，将接收到的视频流和用户跟视频进行互动的互动数据后，对视频流和互动数据进行整合处理，生成既包括用户互动的内容的视频流，然后送到显示屏上进行显示，以此实现用户在观看视频的过程中，又能看到用户进行互动的内容。
随着科技的发展和用户对视频的图像质量的追求，高图像质量的视频越来越重要。现有的华为Hi3751 V811芯片，具有PQ增强特性，可以在视频播放的时候，增强图像显示效果。但是，如果Hi3751 V811芯片直接对新和成的视频图像进行PQ增强，则会导致视频图像中的弹幕、点赞等信息在屏幕上显示不清楚(例如，文字的边缘因PQ增强导致出现锯齿状等等)。
因此，现有方案中，用户在观看视频时，如果想实现交互功能，则不能观看高图像质量的视频；如果想观看高图像质量的视频，则不能实现交互功能。这种“鱼和熊掌不可兼得”的情况，对于现在日益挑剔的用户来说，显然是不能接受的。
本申请实施例中，终端设备包括但不限于智能电视、平板电脑、智能手机、笔记本电脑等等，比如还可以包括针对各种特定的业务场景独立开发的终端设备及自动化控制设备。
为了解决上述不能同时实现交互功能和观看高图像质量视频的情况，本申请实施例提供了一种终端设备，在获取到视频流和进行互动的指令集后，将视频流所处的视频图层进行PQ增强，然后根据指令集转换为交互内容呈现在指令图层，并根据视频图层的位置信息，将指令图层的对应的区域设置为透明状态，最后将通过PQ增强的视频图层和处理后的指令图层进行叠加，得到高图像质量和显示交互内容的视频。
下面以终端设备为智能电视为例，如图1所示，智能电视100包括第一芯片101、第二芯片102和显示屏103。其中，第一芯片101用于对接收到数据进行处理，第二芯片102用于对处理后的数据进行合成。
另外，智能电视100还包括第一通道和第二通道。第一通道和第二通道可以为两条物理连线，连接在第一芯片101与第二芯片102之间，分别用于将第一芯片101处理后的数据发送给第二芯片102。
示例性地，如图2所示，根据第一芯片101执行的功能，将第一芯片101划分为图层识别模块1011、视频图层处理模块1012和2D指令流模块1013。
图层识别模块1011通过视频图层识别技术，识别出视频流显示的图层，然后在智能电视100通过通信单元从云端下载视频流、指令集等数据后，将视频流显示在该图层上。
通常，显示屏103上显示的视频图像是由包括视频图层、指令图层等图层显示的内容图像叠加形成的。其中，视频图层是显示视频流中视频图像，指令图层是显示用于控制视频流播放的虚拟按键、播放视频流快慢的虚拟按键、用户进行交互时输入的指令对应的内容图像等等。
本申请实施例中，指令集主要包括用户根据观看视频进行互动时输入的指令，如输入文字、点击“点赞”虚拟按键、点击“送礼物”虚拟按键等操作。智能电视100在接收到该指令集后，通过对各个指令进行转换，在指令图层显示文字、点赞对应的“竖大拇指”、送礼物对应的“火箭”等图像。
第一芯片101在接收到云端下载的数据后，利用视频图层识别技术通过识别出视频图层后，以便后续将视频图层上显示的视频流数据通过单独的一条通路发送给第二芯片102；在识别出视频图层后，对视频图层打上标识，是为了后续发送给第二芯片102后，第二芯片102根据该标识，识别出视频图层，然后对视频图层上呈现的视频图像进行PQ增强。
视频图层处理模块1012用于将视频流通过第一通道发送给第二芯片102，同时计算出视频图层的位置信息，并发送给2D指令流模块1013。
一般而言，视频流中的视频图像的尺寸和智能电视100显示屏103的尺寸是不完全相同的，所以通常我们观看视频时，在显示屏103上显示的视频图像的上下两个区域有“黑色”部分，或视频图像的左右两个区域有“黑色”部分。因此，需要记录视频图像在显示屏103显示的位置，以便后续在与指令图层叠加时，确定视频流显示的位置不会被指令图层遮挡。
一种可能实施例中，当视频流中的视频图像和显示屏103的尺寸不相同时，视频图层处理模块1012按照设定的要求将视频图像设置在视频图层的设定位置上，或将视频图像按照“居中”原则设置在视频图层的中心位置，或因视频图像过大或过小，对视频流中的视频图像进行放大或缩小处理，使得视频图像的左右长度与视频图层的左右长度相同、或让视频图像的上下宽度与视频图层的上下宽度相同后，设置在视频图层的设定位置上。在确定视频图像在视频图层显示的位置后，记录下视频图像在视频图层上的位置。
其中，位置信息可以为坐标信息，例如，以视频图层的左下角为左边原点，记录视频图像(现有视频图像的形状均为长方形，对于我们抖音、美图等APP上制作的如“心”型、“星”型的视频都是在原视频图像上添加“心”型框得到“心”型视频)在视频图层上的四个顶点的坐标；也可以为距离信息，例如，视频图像的左边框与视频图层的左边框之间的距离、视频图像的右边框与视频图层的右边框之间的距离、视频图像的上边框与视频图层的上边框之间的距离，以及视频图像的下边框与视频图层的下边框之间的距离。
2D指令流模块1013用于将指令集和视频图层的位置信息通过第二通道发送给第二芯片102。
本申请实施例中，视频图层处理模块1012与第二芯片102建立第一通道，2D指令流模块1013与第二芯片102建立第二通道。当第一芯片101接收到视频流、指令集等数据后，通过图层识别模块1011识别出视频流后，将视频流通过视频图层处理模块1012建立的第一通道发送给第二芯片102，将指令集和在视频图层处理模块1012中计算出的视频图层的位置信息通过2D指令流模块1013建立的第二通道发送给第二芯片102。本申请将视频流与指令集和视频图层的位置信息通过两条不同的通道分别发送给第二芯片102中不同模块进行处理，避免第二芯片对所有数据进行PQ增强。
一种可能实施例中，第一通道采用的是数据通道(data path，DP)，第二通道采用的是快捷***部件互连标准(peripheral component interconnect express，PCIe)通道。
根据第二芯片102执行的功能，将第二芯片102划分为2D指令流模块1021和PQ增强模块1022。
2D指令流模块1021通过第二通道与2D指令流模块1013建立连接，用于接收视频图层的位置信息和指令集，根据视频图层的位置信息，将指令图层上与视频图层进行叠加的重叠位置设置为透明状态，然后将指令集中各个指令转换为用户进行互动时输入的文字、竖大拇指、火箭等图像，并在指令图层上进行显示。
本申请实施例中，由于指令图层的形状和大小与显示屏103完全相同，所以在接收到视频图层的位置信息，根据视频图层的位置信息中坐标或边距，确定出视频图层和指令图层叠加时的视频流中视频图像显示区域，然后将该区域设置为透明状态，以便后续视频图层和指令图层叠加显示时，视频图层显示的视频流不被指令图层遮挡，显示效果如图3(a)所示。
另外，互动图像可以在指令图层的任意区域显示，也可以在视频图层和指令图层叠加时的重叠区域显示，本申请在此不作限定。
PQ增强模块1022通过第一通道与视频图层处理模块1012建立连接，用于通过识别视频图层上的标识识别出视频图层，然后对视频图层上显示的视频流中的视频图像进行PQ增强，在视频图层上显示增强后视频图像，如图3(b)所示。
最后第二芯片102将通过PQ增强模块1022进行PQ增强后的视频图层和通过2D指令流模块1021对指令图层进行处理后指令图层进行叠加处理，然后发送给显示屏103上，进行显示。
本申请实施例中，终端设备在获取到视频流、指令集等数据后，通过第一芯片识别出视频流所处的视频图层后，通过第一通道发送给第二芯片，同时计算出视频图像在视频图层上显示的位置信息，然后将位置信息和指令集通过第二通道发送第二芯片，第二芯片在接收到视频流后，对视频图层上显示的视频图像进行PQ增强，在接收到位置信息和指令集后，将原指令图层的与视频图层叠加时相重叠的区域设置为透明状态，并在处理后的指令图层上显示交互图像，然后将进行PQ增强后的视频图层和处理后的指令图层进行叠加显示，从而得到高图像质量和显示互动内容的视频，实现用户在观看高图像质量的视频同时，还可以看到交互信息。
需要说明的是，本申请上述实施例实现的硬件要求，不仅限于两个芯片，可以为任意个芯片。虽然上述是通过两个芯片实现，对于本领域人员可知，芯片一般也是由多个模块组成的，但是如果将第一芯片101和第二芯片102中的所有模块封装在一起，就可以认为上述实施例由一个芯片实现的。
下面通过软件方面来讲述本申请技术方案。
图4为本申请实施例提供的一种图像处理方法的流程图。如图4所示，本申请提供的图像处理方法由终端设备执行，具体执行步骤如下：
步骤S401，获取视频信息。
其中，获取的视频信息包括视频流和指令集。视频流为用户观看的视频，指令集主要包括用户根据观看视频进行互动时输入的指令，如输入文字、点击“点赞”虚拟按键、点击“送礼物”虚拟按键等操作。智能电视100在接收到该指令集后，通过对各个指令进行转换，在指令图层显示文字、点赞对应的“竖大拇指”、送礼物对应的“火箭”等图像。
步骤S403，确定视频图层和视频流在视频图层的位置信息。
通常，显示屏上显示的视频图像是由包括视频图层、指令图层等图层显示的内容图像叠加形成的，且各个图层的大小和尺寸与显示屏完全相同。其中，视频图层是显示视频流中视频图像，指令图层是显示用于控制视频流播放的虚拟按键、播放视频流快慢的虚拟按键、用户进行交互时输入的指令对应的内容图像等等。
本申请实施例中，通过视频图层识别技术，识别出视频图层，以便后续将视频图层上显示的视频流数据通过单独的一条通路进行传输；在识别出视频图层后，对视频图层打上标识，是为了后续在通过识别出视频图层，对视频图层上显示的对视频流进行PQ增强。
另外，视频流中的视频图像的尺寸通常与显示屏的尺寸是不完全相同的，所以通常我们观看视频时，在显示屏上显示的视频图像的上下两个区域有“黑色”部分，或视频图像的左右两个区域有“黑色”部分。因此，需要记录视频图像在显示屏显示的位置，以便后续在与指令图层叠加时，确定视频流显示的位置不会被指令图层遮挡。
一种可能实施例中，当视频流中的视频图像和显示屏的尺寸不相同时，终端设备按照设定的要求将视频图像设置在视频图层的设定位置上，或将视频图像按照“居中”原则设置在视频图层的中心位置，或因视频图像过大或过小，对视频流中的视频图像进行放大或缩小处理，使得视频图像的左右长度与视频图层的左右长度相同、或让视频图像的上下宽度与视频图层的上下宽度相同后，设置在视频图层的设定位置上。在确定视频图像在视频图层显示的位置后，记录下视频图像在视频图层上的位置。
其中，位置信息可以为坐标信息，例如，以视频图层的左下角为左边原点，记录视频图像在视频图层上的四个顶点的坐标；也可以为距离信息，例如，视频图像的左边框与视频图层的左边框之间的距离、视频图像的右边框与视频图层的右边框之间的距离、视频图像的上边框与视频图层的上边框之间的距离，以及视频图像的下边框与视频图层的下边框之间的距离。
步骤S405，对视频图层上显示的视频流进行PQ增强。
步骤S407，将PQ增强后的视频图层和指令图层进行叠加，然后发送至显示屏上显示。
具体地，在得到视频流在视频图层上的位置信息后，由于指令图层的形状和大小与显示屏103完全相同，所以根据视频图层的位置信息中坐标或边距，确定出视频图层和指令图层叠加时的视频流中视频图像显示区域，然后将该区域设置为透明状态，以便后续视频图层和指令图层叠加显示时，视频图层显示的视频流不被指令图层遮挡。然后将指令集中各个指令转换为用户进行互动时输入的文字、竖大拇指、火箭等图像，并在指令图层上进行显示。
另外，终端设备通过识别视频图层上的标识识别出视频图层，对视频图层上显示的视频流中的视频图像进行PQ增强，然后在视频图层上显示增强后视频图像。
最后终端设备在显示屏上显示视频时，将通过PQ增强后的视频图层和进行处理后的指令图层进行叠加在一起，发送至显示屏进行显示。本申请实施例中提供的一种图像处理方法，在得到视频流和指令集后，先识别出视频流显示的图层，在确定视频流在该图层显示的位置信息后，当视频流在视频图层显示时，对该视频流中的视频图像进行PQ增强，然后根据位置信息和指令集转换的互动内容，将指令图层的特定位置设置为透明状态，并显示互动内容，然后将进行PQ增强后的视频图层和处理后的指令图层进行叠加显示，从而得到高图像质量和显示互动内容的视频，实现用户在观看高图像质量的视频同时，还可以看到交互信息。
图5为本申请实施例提供的一种图像处理装置的结构示意图。如图5所示，本申请实施例提供的图像处理装置500包括：获取单元501、确定单元503和处理单元505。其中，获取单元501用于获取视频信息，视频信息包括视频流和指令集，指令集包括用户观看视频进行交互时输入的指令；确定单元503用于确定视频图层和视频流在视频图层上显示的位置信息；处理单元505用于对视频图层上显示的视频流进行PQ增强；以及将PQ增强后的视频图层和指令图层进行叠加，然后发送至显示屏上显示，指令图层用于显示由指令集中的各个指令转换的互动内容，指令图层包括根据位置信息确定的呈现透明状态的第一区域。每个单元具体的实现方案可参考之前实施例的介绍。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请实施例的范围。
此外，本申请实施例的各个方面或特征可以实现成方法、装置或使用标准编程和/或工程技术的制品。本申请中使用的术语“制品”涵盖可从任何计算机可读器件、载体或介质访问的计算机程序。例如，计算机可读介质可以包括，但不限于:磁存储器件(例如，硬盘、软盘或磁带等)，光盘(例如，压缩盘(compact disc，CD)、数字通用盘(digital versatiledisc，DVD)等)，智能卡和闪存器件(例如，可擦写可编程只读存储器(erasableprogrammable read-only memory，EPROM)、卡、棒或钥匙驱动器等)。另外，本文描述的各种存储介质可代表用于存储信息的一个或多个设备和/或其它机器可读介质。术语“机器可读介质”可包括但不限于，无线信道和能够存储、包含和/或承载指令和/或数据的各种其它介质。
在上述实施例中，图5中图像处理装置500可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。
应当理解的是，在本申请实施例的各种实施例中，上述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的***、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的***、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者接入网设备等)执行本申请实施例各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，仅为本申请实施例的具体实施方式，但本申请实施例的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请实施例揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请实施例的保护范围之内。
Claims (16)
1.一种图像处理方法，所述方法由终端设备执行，其特征在于，包括：
获取视频信息，所述视频信息包括视频流和指令集，所述指令集包括用户观看视频进行交互时输入的指令；
确定视频图层和所述视频流在所述视频图层上显示的位置信息；
对所述视频图层上显示的所述视频流进行PQ增强；
将PQ增强后的视频图层和指令图层进行叠加，然后发送至显示屏上显示，所述指令图层用于显示由所述指令集中的各个指令转换的互动内容，所述指令图层包括根据所述位置信息确定的呈现透明状态的第一区域。
2.根据权利要求1所述的方法，其特征在于，所述确定视频图层，包括：
通过视频图层识别技术识别出所述视频图层。
3.根据权利要求2所述的方法，其特征在于，所述方法还包括：
对所述视频图层上增加标识，所述标识用于确定进行PQ增强的数据为所述视频图层上显示的视频流。
4.根据权利要求1所述的方法，其特征在于，所述确定所述视频流在所述视频图层上显示的位置信息，包括：
根据所述视频流中的视频图像的尺寸和所述视频图层的尺寸，确定所述视频流中的视频图像在所述视频图层上显示的位置；
记录所述视频流中的视频图像在所述视频图层上的坐标信息或边距信息。
5.一种图像处理装置，其特征在于，包括：
获取单元，用于获取视频信息，所述视频信息包括视频流和指令集，所述指令集包括用户观看视频进行交互时输入的指令；
确定单元，用于确定视频图层和所述视频流在所述视频图层上显示的位置信息；
处理单元，用于对所述视频图层上显示的所述视频流进行PQ增强；以及
将PQ增强后的视频图层和指令图层进行叠加，然后发送至显示屏上显示，所述指令图层用于显示由所述指令集中的各个指令转换的互动内容，所述指令图层包括根据所述位置信息确定的呈现透明状态的第一区域。
6.根据权利要求5所述的装置，其特征在于，所述确定单元具体用于，通过视频图层识别技术识别出所述视频图层。
7.根据权利要求6所述的装置，其特征在于，所述确定单元，还用于对所述视频图层上增加标识，所述标识用于确定进行PQ增强的数据为所述视频图层上显示的视频流。
8.根据权利要求5所述的装置，其特征在于，所述确定单元具体用于，根据所述视频流中的视频图像的尺寸和所述视频图层的尺寸，确定所述视频流中的视频图像在所述视频图层上显示的位置；
记录所述视频流中的视频图像在所述视频图层上的坐标信息或边距信息。
9.一种电子设备，其特征在于，包括：
收发器，获取视频信息，所述视频信息包括视频流和指令集，所述指令集包括用户观看视频进行交互时输入的指令；
第一芯片，确定视频图层和所述视频流在所述视频图层上显示的位置信息；
第二芯片，对所述视频图层上显示的所述视频流进行PQ增强；
将PQ增强后的视频图层和指令图层进行叠加，然后发送至显示屏上显示，所述指令图层用于显示由所述指令集中的各个指令转换的互动内容，所述指令图层包括根据所述位置信息确定的呈现透明状态的第一区域。
10.根据权利要求9所述的电子设备，其特征在于，所述第一芯片和所述第二芯片之间包括第一通道和第二通道，
所述第一通道，用于将所述第一芯片识别出的所述视频流发送给所述第二芯片；
所述第二通道，用于将所述第一芯片的所述视频流的位置信息和所述指令集发送给所述第二芯片。
11.根据权利要求10所述的电子设备，其特征在于，所述第一通道为数据通道DP，所述第二通道为快捷***部件互连标准PCIe通道。
12.根据权利要求9所述的电子设备，其特征在于，所述第一芯片具体用于，通过视频图层识别技术识别出所述视频图层。
13.根据权利要求9所述的电子设备，其特征在于，所述第一芯片，还用于对所述视频图层上增加标识，所述标识用于确定所述第二芯片进行PQ增强的数据为所述视频图层上显示的视频流。
14.根据权利要求9所述的电子设备，其特征在于，所述第一芯片具体用于，根据所述视频流中的视频图像的尺寸和所述视频图层的尺寸，确定所述视频流中的视频图像在所述视频图层上显示的位置；
记录所述视频流中的视频图像在所述视频图层上的坐标信息或边距信息。
15.一种计算机可读存储介质，用于存储指令/可执行代码，当所述指令/可执行代码被电子设备的处理器执行时，使得所述电子设备实现权利要求1-4中任一项所述的方法。
16.一种包含指令的计算机程序产品，当所述指令在计算机上运行时，使得所述计算机执行如权利要求1-4任一所述的方法。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010338390.9A CN111565337A (zh) | 2020-04-26 | 2020-04-26 | 图像处理方法、装置和电子设备 |
| PCT/CN2021/080248 WO2021218430A1 (zh) | 2020-04-26 | 2021-03-11 | 图像处理方法、装置和电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010338390.9A CN111565337A (zh) | 2020-04-26 | 2020-04-26 | 图像处理方法、装置和电子设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111565337A true CN111565337A (zh) | 2020-08-21 |
Family
ID=72073130
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010338390.9A Pending CN111565337A (zh) | 2020-04-26 | 2020-04-26 | 图像处理方法、装置和电子设备 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN111565337A (zh) |
| WO (1) | WO2021218430A1 (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112328339A (zh) * | 2020-10-10 | 2021-02-05 | Oppo（重庆）智能科技有限公司 | 通知消息的显示方法、装置、存储介质及电子设备 |
| CN113271429A (zh) * | 2020-09-30 | 2021-08-17 | 常熟九城智能科技有限公司 | 一种视频会议信息处理方法、装置、电子设备及*** |
| WO2021218430A1 (zh) * | 2020-04-26 | 2021-11-04 | 荣耀终端有限公司 | 图像处理方法、装置和电子设备 |
| CN113625983A (zh) * | 2021-08-10 | 2021-11-09 | Oppo广东移动通信有限公司 | 图像显示方法、装置、计算机设备及存储介质 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20040075652A1 (en) * | 2002-10-17 | 2004-04-22 | Samsung Electronics Co., Ltd. | Layer editing method and apparatus in a pen computing system |
| CN101321240A (zh) * | 2008-06-25 | 2008-12-10 | 华为技术有限公司 | 多图层叠加的方法及其装置 |
| US20100306232A1 (en) * | 2009-05-28 | 2010-12-02 | Harris Corporation | Multimedia system providing database of shared text comment data indexed to video source data and related methods |
| US8464164B2 (en) * | 2006-01-24 | 2013-06-11 | Simulat, Inc. | System and method to create a collaborative web-based multimedia contextual dialogue |
| CN106412621A (zh) * | 2016-09-28 | 2017-02-15 | 广州华多网络科技有限公司 | 网络直播间的视频显示方法及装置、控制方法与相关设备 |
| CN106488296A (zh) * | 2016-10-18 | 2017-03-08 | 广州酷狗计算机科技有限公司 | 一种显示视频弹幕的方法和装置 |
| CN110427094A (zh) * | 2019-07-17 | 2019-11-08 | Oppo广东移动通信有限公司 | 显示方法、装置、电子设备及计算机可读介质 |
| CN110536151A (zh) * | 2019-09-11 | 2019-12-03 | 广州华多网络科技有限公司 | 虚拟礼物特效的合成方法和装置、直播*** |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111565337A (zh) * | 2020-04-26 | 2020-08-21 | 华为技术有限公司 | 图像处理方法、装置和电子设备 |
-
2020
- 2020-04-26 CN CN202010338390.9A patent/CN111565337A/zh active Pending
-
2021
- 2021-03-11 WO PCT/CN2021/080248 patent/WO2021218430A1/zh active Application Filing
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20040075652A1 (en) * | 2002-10-17 | 2004-04-22 | Samsung Electronics Co., Ltd. | Layer editing method and apparatus in a pen computing system |
| US8464164B2 (en) * | 2006-01-24 | 2013-06-11 | Simulat, Inc. | System and method to create a collaborative web-based multimedia contextual dialogue |
| CN101321240A (zh) * | 2008-06-25 | 2008-12-10 | 华为技术有限公司 | 多图层叠加的方法及其装置 |
| US20100306232A1 (en) * | 2009-05-28 | 2010-12-02 | Harris Corporation | Multimedia system providing database of shared text comment data indexed to video source data and related methods |
| CN106412621A (zh) * | 2016-09-28 | 2017-02-15 | 广州华多网络科技有限公司 | 网络直播间的视频显示方法及装置、控制方法与相关设备 |
| CN106488296A (zh) * | 2016-10-18 | 2017-03-08 | 广州酷狗计算机科技有限公司 | 一种显示视频弹幕的方法和装置 |
| CN110427094A (zh) * | 2019-07-17 | 2019-11-08 | Oppo广东移动通信有限公司 | 显示方法、装置、电子设备及计算机可读介质 |
| CN110536151A (zh) * | 2019-09-11 | 2019-12-03 | 广州华多网络科技有限公司 | 虚拟礼物特效的合成方法和装置、直播*** |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2021218430A1 (zh) * | 2020-04-26 | 2021-11-04 | 荣耀终端有限公司 | 图像处理方法、装置和电子设备 |
| CN113271429A (zh) * | 2020-09-30 | 2021-08-17 | 常熟九城智能科技有限公司 | 一种视频会议信息处理方法、装置、电子设备及*** |
| CN112328339A (zh) * | 2020-10-10 | 2021-02-05 | Oppo（重庆）智能科技有限公司 | 通知消息的显示方法、装置、存储介质及电子设备 |
| CN112328339B (zh) * | 2020-10-10 | 2024-04-30 | Oppo（重庆）智能科技有限公司 | 通知消息的显示方法、装置、存储介质及电子设备 |
| CN113625983A (zh) * | 2021-08-10 | 2021-11-09 | Oppo广东移动通信有限公司 | 图像显示方法、装置、计算机设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2021218430A1 (zh) | 2021-11-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111565337A (zh) | 图像处理方法、装置和电子设备 | |
| RU2639651C2 (ru) | Идентификация изображения и организация согласно макету без вмешательства пользователя | |
| CN108024079B (zh) | 录屏方法、装置、终端及存储介质 | |
| CN108495185B (zh) | 一种视频标题生成方法和装置 | |
| US10929460B2 (en) | Method and apparatus for storing resource and electronic device | |
| CN110070496B (zh) | 图像特效的生成方法、装置和硬件装置 | |
| US10593018B2 (en) | Picture processing method and apparatus, and storage medium | |
| CN110007829B (zh) | 内容显示方法、装置、终端及存储介质 | |
| CN107040808B (zh) | 用于视频播放中弹幕图片的处理方法和装置 | |
| CA3074474A1 (en) | System and method for identifying and obscuring objectionable content | |
| CN107636587B (zh) | 用于预览数字内容的***和方法 | |
| US20180268049A1 (en) | Providing a heat map overlay representative of user preferences relating to rendered content | |
| US10460490B2 (en) | Method, terminal, and computer storage medium for processing pictures in batches according to preset rules | |
| CN111562869B (zh) | 截图方法及装置、存储介质、电子装置 | |
| TWI514319B (zh) | 藉由虛擬物件編輯資料之方法及系統，及相關電腦程式產品 | |
| CN115348469B (zh) | 画面显示方法、装置、视频处理设备及存储介质 | |
| CN115086747A (zh) | 信息处理方法、装置、电子设备和可读存储介质 | |
| CN114253449A (zh) | 截屏方法、装置、设备及介质 | |
| CN114302209A (zh) | 视频处理方法、装置、电子设备及介质 | |
| CN108563955B (zh) | 图片处理方法和装置 | |
| CN114495190A (zh) | 换脸网络模型的训练方法、图像换脸方法及相关设备 | |
| CN108881999B (zh) | 一种截屏处理方法及*** | |
| CN111191063A (zh) | 图片的分类方法、装置、终端及存储介质 | |
| CN112150345A (zh) | 图像处理方法及装置、视频处理方法和发送卡 | |
| CN109636724A (zh) | 一种列表界面的显示方法、装置、设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20210426 Address after: Unit 3401, unit a, building 6, Shenye Zhongcheng, No. 8089, Hongli West Road, Donghai community, Xiangmihu street, Futian District, Shenzhen, Guangdong 518040 Applicant after: Honor Device Co.,Ltd. Address before: 518129 Bantian HUAWEI headquarters office building, Longgang District, Guangdong, Shenzhen Applicant before: HUAWEI TECHNOLOGIES Co.,Ltd. |
|
| TA01 | Transfer of patent application right | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200821 |
|
| RJ01 | Rejection of invention patent application after publication |