CN109587556B - 视频处理方法、视频播放方法、装置、设备和存储介质 - Google Patents
视频处理方法、视频播放方法、装置、设备和存储介质 Download PDFInfo
- Publication number
- CN109587556B CN109587556B CN201910005161.2A CN201910005161A CN109587556B CN 109587556 B CN109587556 B CN 109587556B CN 201910005161 A CN201910005161 A CN 201910005161A CN 109587556 B CN109587556 B CN 109587556B
- Authority
- CN
- China
- Prior art keywords
- image frame
- video stream
- target
- video
- camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 52
- 238000003672 processing method Methods 0.000 title abstract description 17
- 238000012545 processing Methods 0.000 claims abstract description 56
- 230000006870 function Effects 0.000 claims description 29
- 230000009466 transformation Effects 0.000 claims description 15
- 230000001131 transforming effect Effects 0.000 claims description 4
- 230000015572 biosynthetic process Effects 0.000 claims description 2
- 238000003786 synthesis reaction Methods 0.000 claims description 2
- 230000002194 synthesizing effect Effects 0.000 claims 2
- 238000010586 diagram Methods 0.000 description 12
- 239000004973 liquid crystal related substance Substances 0.000 description 7
- 230000002093 peripheral effect Effects 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 238000004422 calculation algorithm Methods 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 2
- 230000000903 blocking effect Effects 0.000 description 2
- 238000003909 pattern recognition Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000010287 polarization Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 230000000630 rising effect Effects 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/44016—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving splicing one content stream with another content stream, e.g. for substituting a video clip
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Controls And Circuits For Display Device (AREA)
Abstract
本申请提供了一种视频处理方法、装置、设备和存储介质。所述方法包括：获取第一视频流和第二视频流；对于第一视频流和第二视频流中相同时间戳的第一图像帧和第二图像帧，采用第二图像帧替换第一图像帧中目标区域的图像内容，生成目标图像帧；根据目标图像帧生成目标视频流。本申请实施例中，由于最终生成的目标视频流中显示的是替换后的图像内容，并不是经过摄像头拍摄显示设备的屏幕得到的图像内容，因此避免了使用摄像头对显示设备的显示内容进行拍摄时，由于光照射在显示设备的屏幕上存在反射，导致摄像头拍摄的视频画面中存在干扰纹(如摩尔纹)的问题，从而能够清晰地查看到视频中显示设备的显示内容。
Description
技术领域
本申请实施例涉及图像处理技术领域，特别涉及一种视频处理方法、视频播放方法、装置、设备和存储介质。
背景技术
随着互联网的迅速发展，在线授课不断兴起。由于其不受时间和地点的限制，只要在能连接网络的地方就可以进行观看学习，弥补了传统授课方式(老师和学生必须同时在同一场所)的弊端和不足。
目前，在线授课是通过摄像头对授课场景进行拍摄，然后将摄像头拍摄的视频上传至网络平台，其他用户即可直接观看该视频。其中，授课场景是教师对显示设备(如智能电视)中显示的内容进行讲解的场景。通过摄像头拍摄，可以将教师、显示设备以及显示设备中的显示内容在同一画面中融合展现。
上述相关技术中，使用摄像头对显示设备中的显示内容进行拍摄时，由于光照射在显示设备的屏幕上存在反射，导致摄像头拍摄的视频画面中产生摩尔纹，进而用户无法清晰地查看到视频所拍摄的显示设备中的显示内容。
发明内容
本申请实施例提供了一种视频处理方法、视频播放方法、装置、设备和存储介质，可用于解决相关技术中使用摄像头对显示设备中的显示内容进行拍摄时，由于光照射在显示设备的屏幕上存在反射，导致摄像头拍摄的视频画面中产生摩尔纹，进而用户无法清晰地查看到视频中所拍摄的显示设备中的显示内容的问题。所述技术方案如下：
一方面，本申请实施例提供一种视频处理方法，所述方法包括：
获取第一视频流和第二视频流，所述第一视频流是由第一摄像头对现实场景进行拍摄得到的视频流，所述现实场景中包括具有内容显示功能的显示设备，所述第二视频流是由所述显示设备的显示内容所生成的视频流；
对于所述第一视频流和所述第二视频流中相同时间戳的第一图像帧和第二图像帧，采用所述第二图像帧替换所述第一图像帧中目标区域的图像内容，生成目标图像帧；其中，所述目标区域是所述显示设备的屏幕在所述第一图像帧中的显示区域；
根据所述目标图像帧生成目标视频流。
另一方面，本申请提供了一种视频播放方法，所述方法包括：
向视频发布平台发送视频获取请求；
接收所述视频发布平台根据所述视频获取请求发送的目标视频流，所述目标视频流是至少根据第一视频流和第二视频流生成的视频流，其中，所述第一视频流通过第一摄像头对现实场景进行拍摄得到，所述现实场景中包括具有内容显示功能的显示设备，所述第二视频流从所述显示设备获取；
播放所述目标视频流，所述目标视频流的图像帧中不存在对所述显示设备的屏幕进行拍摄所产生的干扰纹。
又一方面，本申请实施例提供一种视频处理装置，所述装置包括：
获取模块，用于获取第一视频流和第二视频流，所述第一视频流是由第一摄像头对现实场景进行拍摄得到的视频流，所述现实场景中包括具有内容显示功能的显示设备，所述第二视频流是由所述显示设备的显示内容所生成的视频流；
替换模块，用于对于所述第一视频流和所述第二视频流中相同时间戳的第一图像帧和第二图像帧，采用所述第二图像帧替换所述第一图像帧中目标区域的图像内容，生成目标图像帧；其中，所述目标区域是所述显示设备的屏幕在所述第一图像帧中的显示区域；
生成模块，用于根据所述目标图像帧生成目标视频流。
又一方面，本申请实施例提供一种视频播放装置，所述装置包括：
发送模块，用于向视频发布平台发送视频获取请求；
接收模块，用于接收所述视频发布平台根据所述视频获取请求发送的目标视频流，所述目标视频流是至少根据第一视频流和第二视频流生成的视频流，其中，所述第一视频流通过第一摄像头对现实场景进行拍摄得到，所述现实场景中包括具有内容显示功能的显示设备，所述第二视频流从所述显示设备获取；
播放模块，用于播放所述目标视频流，所述目标视频流的图像帧中不存在对所述显示设备的屏幕进行拍摄所产生的干扰纹。
再一方面，本申请实施例提供了一种计算机设备，所述计算机设备包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现上述视频处理方法，或者实现上述视频播放方法。
可选地，所述计算机设备为视频处理设备或视频播放设备。
还一方面，本申请实施例提供一种计算机可读存储介质，该存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，至少一条指令、至少一段程序、代码集或指令集由处理器加载并执行以实现上述视频处理方法，或者实现上述视频播放方法。
还一方面，本申请实施例提供一种计算机程序产品，当该计算机程序产品被执行时，其用于执行上述方面所述的视频处理方法，或者执行上述方面所述的视频播放方法。
本申请实施例提供的技术方案中，通过采用显示设备的显示内容所生成的第二视频流中的第二图像帧，替换掉第一摄像头对现实场景进行拍摄得到的第一视频流中相同时间戳的第一图像帧中目标区域的图像内容，生成目标图像帧，再由目标图像帧生成目标视频流；由于最终生成的目标视频流中显示的是替换后的图像内容，并不是经过摄像头拍摄显示设备的屏幕得到的图像内容，因此避免了使用摄像头对显示设备的显示内容进行拍摄时，由于光照射在显示设备的屏幕上存在反射，导致摄像头拍摄的视频画面中存在干扰纹(如摩尔纹)的问题，从而能够清晰地查看到视频中显示设备的显示内容。
附图说明
图1是本申请一个实施例提供的实施环境的示意图；
图2是本申请一个实施例提供的视频处理方法的流程图；
图3示例性示出了在第一图像帧中标定目标区域的位置的过程示意图；
图4示例性示出了第二图像帧替换第一图像帧中目标区域的图像内容的过程示意图；
图5是本申请另一个实施例提供的视频处理方法的流程图；
图6示例性示出了获取第三图像帧的过程示意图；
图7示例性示出了获取差值图像帧的示意图；
图8示例性示出了一种完整的视频处理方法的流程图；
图9是本申请另一个实施例提供的视频播放方法的流程图；
图10是本申请一个实施例提供的视频处理装置的框图；
图11是本申请另一个实施例提供的视频处理装置的框图；
图12是本申请一个实施例提供的视频播放装置的框图；
图13是本申请一个实施例提供的计算机设备的结构框图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。
请参考图1，其示出了本申请一个实施例提供的实施环境的示意图。该实施环境可以包括：显示设备100、摄像头200、视频处理设备300和视频播放设备400。
显示设备100可以是诸如平板电脑、PC(PersonalComputer，个人计算机)、多媒体播放设备、智能电视、电子白板等具有内容显示功能的电子设备。上述内容可以是文字、幻灯片、图片、视频等，本申请实施例对此不作限定。
摄像头200是一种视频输入设备，主要包括镜头、图像传感器和电源等组件。摄像头200具有视频摄像/传播和静态图像捕捉等基本功能，它是借由镜头采集图像后，由摄像头内的感光组件电路及控制组件对视频/图像进行处理并转换成视频处理设备300所能识别的数字信号，然后借由并行端口或USB(Universal Serial Bus，通用串行总线)连接传输到视频处理设备300中进行处理。可选地，视频处理终端300的显示器可以显示经过处理后的视频/图像。摄像头200可以是单独的摄像头，也可以安装在摄像机或其它设备中。摄像头200可以对现实场景进行拍摄，该现实场景中包括显示设备100。例如，该现实场景可以是授课场景、演讲场景、研讨会议场景、面试场景等等。
视频处理设备300可以是诸如PC或服务器等可以进行视频处理的电子设备。可选地，视频处理设备300中安装运行有具有视频处理功能的应用程序，下文称为“视频处理应用程序”。
视频播放设备400可以是手机、平板电脑、PC、多媒体播放设备、智能电视等具有视频播放功能的电子设备。可选地，视频播放设备400中安装运行有具有视频播放功能的应用程序。
视频处理设备300可以将处理后的视频发送到视频发布平台，以供视频播放设备400从该视频发布平台中获取并播放视频。可选地，视频处理设备300是视频发布平台中的设备，视频处理设备300可以直接将处理后的视频提供给视频播放设备400。
请参考图2，其示出了本申请一个实施例提供的视频处理方法的流程图。在本实施例中，主要以该方法应用于图1所示实施环境的视频处理设备300中来举例说明。该方法可以包括如下几个步骤(201～203)：
步骤201，获取第一视频流和第二视频流。
第一视频流是由第一摄像头对现实场景进行拍摄得到的视频流，该现实场景即现实生活中的场景，可以包括具有内容显示功能的显示设备。可选地，该现实场景中还包括人。例如，当现实场景是授课场景时，现实场景中可以包括显示设备和教师，教师对显示设备的显示内容(如教学课件)进行讲解。再例如，当现实场景是面试场景时，现实场景中可以包括显示设备和面试人员，面试人员可以对显示设备的显示内容(如个人简历)进行讲解。此外，现实场景还可以是演讲场景。第一视频流由于是摄像机对现实场景进行拍摄得到的视频流，由于光照射在显示设备的屏幕上存在反射，导致摄像头拍摄的视频画面中会产生干扰纹。上述干扰纹可以是摩尔纹。此外，还会存在失真的问题，如反光、阴影、模糊等。
第二视频流是由上述显示设备的显示内容所生成的视频流。上述显示内容是指显示设备的屏幕中所显示的内容，如文字、幻灯片、图片、视频等。
视频处理设备可以从其它地方，如网络、另一设备、可移动存储设备(如U盘、闪存卡、光盘等)等获取已经拍摄好的第一视频流和已经生成的第二视频流，还可以从本地获取已经存储的第一视频流和第二视频流。
视频流是由一系列的单幅图像组成的，每一幅图像称为一个图像帧。一系列的图像帧以一定的帧率形成视频流。上述帧率是指每秒包含的图像数量。
步骤202，对于第一视频流和第二视频流中相同时间戳的第一图像帧和第二图像帧，采用第二图像帧替换第一图像帧中目标区域的图像内容，生成目标图像帧。
相同时间戳的第一图像帧和第二图像帧是指，第一视频流中目标区域的图像内容与第二视频流中的显示内容相同的两个图像帧。这两个图像帧中，属于第一视频流的图像帧为第一图像帧，属于第二视频流的图像帧为第二图像帧。上述目标区域是显示设备的屏幕在第一图像帧中的显示区域。视频处理设备在第一图像帧中标定该目标区域的位置，以保证视频处理设备能够将第二视频流中的图像帧准确替换第一图像帧中的目标区域。
标定该目标区域的位置可以通过模式识别技术实现，如采用SIFT(ScaleInvariant Feature Transform，尺度不变特征转换)特征匹配算法标定目标区域的位置，即用不同尺度(标准差)的高斯函数对图像进行平滑，然后比较平滑后图像的差别，差别大的像素就是特征明显的点，通过这些点即可在第一图像帧中标定目标区域的位置。示例性地，如图3所示，采用SIFT特征匹配算法，在显示设备的屏幕500中检测到特征点A、特征点B、特征点C和特征点D，经过计算得到SIFT特征向量，即变换参数，然后根据该SIFT特征向量在第一图像帧10中找出与特征点A、特征点B、特征点C和特征点D中相匹配的特征点A’、特征点B’、特征点C’和特征点D’，从而在标定出显示设备的屏幕500在第一图像帧10中的显示区域，即目标区域501的位置。另外，还可以采用人工标定该目标区域，即人工进行选点，完成对目标区域的位置的标定。只要摄像头和显示设备的相对位置保持不变，则只需要对目标区域的位置标定一次；当相对位置发生变化时，需要重新对目标区域的位置进行标定。在一些其它实施例中，上述模式识别技术还可以是SURF(Speed Up Robust Features，加速稳健特征)算法或者AKAZE(Accelerated KAZE，加速局部特征匹配)算法。随着技术的发展，还可以是其它算法，本申请实施例对此不作限定。
可选地，当第一视频流中的图像帧(如第一图像帧)中包括显示设备完整的显示内容时，在第一图像帧中标定目标区域的位置后，视频处理设备通过透视变换(PerspectiveTransformation)将第二图像帧变换至目标区域的位置处，即生成目标图像帧。透视变换是指利用透视中心、像点、目标点三点共线的条件，按透视旋转定律使承影面(透视面)绕迹线(透视轴)旋转某一角度，破坏原有的投影光线束，仍能保持投影面上投影图形不变的变换。
在拍摄第一视频流的过程中，由于摄像头与水平面之间通常有一倾斜角，而不是直接垂直于显示设备，因此第一图像帧是倾斜的。但是，由于第二视频流是显示设备的显示内容所生成的视频流，因此第二图像帧是正的。如图4所示，采用透视变换可以将第二图像帧20变换到与第一图像帧10相同的倾斜角，从而与第一图像帧10对齐，即第二图像帧20中四个特征点A、B、C和D，与第一图像帧10中四个特征点A’、B’、C’和D’对齐，以使得第二图像帧20与第一图像帧10匹配的更好。
步骤203，根据目标图像帧生成目标视频流。
由于第一视频流和第二视频流中均包括多个图像帧，因此会生成多个目标图像帧，多个目标图像帧按照一定的顺序排列，即可生成目标视频流。
综上所述，本申请实施例提供的技术方案中，通过采用显示设备的显示内容所生成的第二视频流中的第二图像帧，替换掉第一摄像头对现实场景进行拍摄得到的第一视频流中相同时间戳的第一图像帧中目标区域的图像内容，生成目标图像帧，再由目标图像帧生成目标视频流；由于最终生成的目标视频流中显示的是替换后的图像内容，并不是经过摄像头拍摄显示设备的屏幕得到的图像内容，因此避免了使用摄像头对显示设备的显示内容进行拍摄时，由于光照射在显示设备的屏幕上存在反射，导致摄像头拍摄的视频画面中存在干扰纹(如摩尔纹)的问题，从而能够清晰地查看到视频中显示设备的显示内容。
请参考图5，其示出了本申请另一个实施例提供的视频处理方法的流程图。在本实施例中，主要以该方法应用于图1所示实施环境的视频处理设备300中来举例说明。该方法可以包括如下几个步骤(501～506)：
步骤501，获取第一视频流、第二视频流和第三视频流。
第一视频流是由第一摄像头对现实场景进行拍摄得到的视频流，该现实场景中包括具有内容显示功能的显示设备。可选地，该现实场景中还包括人。
第二视频流是由上述显示设备的显示内容所生成的视频流。上述显示内容是指显示设备的屏幕中所显示的内容，如文字、幻灯片、图片、视频等。
第三视频流是由第二摄像头经过偏光片(Polarizer)对现实场景进行拍摄得到的视频流，偏光片用于阻挡显示设备发出的光线且允许自然光透过。偏光片全称为偏振光片，可控制特定光束的偏振方向。光束在通过偏光片时，振动方向与偏光片透过轴垂直的光将被吸收，透过光只剩下振动方向与偏光片透过轴平行的光。
当显示设备为液晶显示器，液晶显示模组中有两张偏光片分别贴在玻璃基板两侧，下偏光片用于将背光源产生的光束转换为偏振光，上偏光片用于解析经液晶电调制后的偏振光，产生明暗对比，从而产生显示画面。液晶显示模组的成像必须依靠偏振光，少了任何一张偏光片，液晶显示模组都不能显示图像。本申请实施例中，液晶显示器发出的偏振光的振动方向与偏光片透过轴相垂直，因此，偏光片可以阻挡液晶显示器发出的光线且允许自然光透过。如图6所示，第一摄像头600正常拍摄，得到包括显示设备的显示内容的第一图像帧10。第二摄像头700前方放置有偏光片701，从而显示设备的屏幕500发出的光702(图中以虚线表示)被阻挡，自然光703(图中以实线表示)透过，得到第三图像帧30。第三图像帧30中显示设备的屏幕(即目标区域501)是黑色的。
步骤502，对于第一视频流和第二视频流中相同时间戳的第一图像帧和第二图像帧，在第一图像帧中标定目标区域的位置。
步骤503，通过透视变换将第二图像帧变换至目标区域的位置处，生成处理后的第一图像帧。
步骤501～503与上文图2实施例中介绍的步骤201～203相同或类似，具体可参见上文图2实施例中的介绍说明，此处不再赘述。
当第一图像帧中包括显示设备完整的显示内容时，将第二图像帧变换至目标区域的位置处，生成的处理后的第一图像帧即可作为目标图像帧，根据此目标图像帧即可生成目标视频流。
当第一图像帧中包括显示设备的显示内容和人，且显示设备的显示内容部分被人遮挡时，将第二图像帧变换至目标区域的位置处后，会将人遮挡住，从而导致处理后的第一图像帧显示不完全。为了在最终生成的目标视频流中显示出完整的人以及显示设备的显示内容，需要进行进一步的处理。主要包括下述几个步骤。
步骤504，对于第一视频流和第三视频流中相同时间戳的第一图像帧和第三图像帧，将第一图像帧与第三图像帧中相同位置处的像素值相减，得到差值图像帧。
相同时间戳的第一图像帧和第三图像帧是指，第一视频流中显示内容与第三视频流中显示内容相同的两个图像帧。这两个图像帧中，属于第一视频流的图像帧为第一图像帧，属于第三视频流的图像帧为第三图像帧。第一图像帧与第三图像帧中相同位置处的像素值相减，可以得到差值图像帧。
差值图像帧计算方式如下：
M(x，y)＝A(x，y)-B(x，y)；
其中，x表示宽度方向的像素；y表示高度方向的像素；A(x，y)表示第一图像帧中(x，y)位置处像素的像素值；B(x，y)表示第三图像帧中(x，y)位置处像素的像素值；M(x，y)表示差值图像帧中(x，y)位置处像素的像素值。
示例性地，如图7所示，第一图像帧10和第三图像帧30中相同位置处的像素值相减，得到差值图像帧40。
在拍摄之前，可以将第一摄像头和第二摄像头的位置和角度以及摄像头的参数(曝光，白平衡、色调等)等调节为完全一致，理想情况下，在显示设备的屏幕处于断电状态时，第一摄像头和第二摄像头可以得到两个一模一样的视频流。但是由于偏光片对光线有一定的阻挡作用，因此第二摄像头拍摄的第三视频流和第一摄像头拍摄的第一视频流中相同时间戳的第三图像帧比第一图像帧偏暗，此时我们可以通过相关处理来使第三图像帧和第一图像帧的亮度保持一致。
示例性地，处理步骤如下：计算第一图像帧与第三图像帧中相同位置处的像素值差值的平均值；将第三图像帧中的各个像素的像素值与该平均值相加，得到处理后的第三图像帧。
即：
B'(x,y)＝B(x,y)+Δk；
其中，X表示第一图像帧宽度方向总像素；Y表示第一图像帧高度方向总像素；(X，Y)表示第一图像帧的像素数量；Δk表示第一图像帧与第三图像帧中像素值差值的平均值；A(x，y)表示第一图像帧中(x，y)位置处像素的像素值；B(x，y)表示第三图像帧中(x，y)位置处像素的像素值；B’(x，y)表示处理后的第三图像帧中(x，y)位置处像素的像素值。
可选地，将第一图像帧与第三图像帧中相同位置处的像素值相减，得到差值图像帧，包括：将第一图像帧与处理后的第三图像帧中相同位置处的像素值相减，得到差值图像帧。即：M(x，y)＝A(x，y)-B’(x，y)。通过提高第三图像帧的亮度，以使得第三图像帧的亮度与第一图像帧的亮度保持一致，从而在生成差值图像帧时减少了差异，得到的差值图像帧更加精确。
可选地，在步骤504之后，还可以执行如下步骤：将差值图像帧中目标图像区域的像素值调整为最大像素值，以及将差值图像帧中除目标图像区域之外的其它区域的像素值调整为零，得到处理后的差值图像帧。其中，目标图像区域是差值图像帧中像素值大于预设阈值的区域，处理后的差值图像帧用于和第一图像帧、处理后的第一图像帧生成目标图像帧。上述预设阈值可以是预先设定的经验值，本申请实施例对此不作限定。通过调整差值图像帧中目标图像区域的像素值，可以提高对比度，放大差异，使得在后续使用差值图像帧进行运算生成目标图像帧时更加准确。
步骤505，根据第一图像帧、处理后的第一图像帧和差值图像帧，生成目标图像帧。
差值图像帧是由第一图像帧和第三图像帧得到的，由于第一摄像头和第二摄像头的分辨率相同，因此第一图像帧和第三图像帧的分辨率是相同的，因此差值图像帧和第一图像帧的分辨率也是相同的。进一步，第一图像帧、处理后的第一图像帧和差值图像帧的分辨率是相同的，也就是它们的尺寸是一样的，对应地，相同位置处的像素值可以进行运算，从而生成目标图像帧。
示例性地，计算步骤如下：将最大像素值与差值图像帧中的各个像素的像素值相减，得到处理后的差值图像帧；将第一图像帧与处理后的差值图像帧中相同位置处的像素值相乘，得到第一中间图像帧；将处理后的第一图像帧与差值图像帧中相同位置处的像素值相乘，得到第二中间图像帧；将第一中间图像帧与第二中间图像帧中相同位置处的像素值相加，得到第三中间图像帧；将第三中间图像帧中的各个像素的像素值除以最大像素值，得到目标图像帧。即：
F(x，y)＝(A(x，y)*(255-M(x，y))+D(x，y)*M(x，y))/255；
其中，A(x，y)表示第一图像帧中(x，y)位置处像素的像素值；M(x，y)表示差值图像帧中(x，y)位置处像素的像素值；D(x，y)表示处理后的第一图像帧中(x，y)位置处像素的像素值；F(x，y)表示目标图像帧中(x，y)位置处像素的像素值，255是最大像素值。
采用差值图像帧，可以在目标图像帧中显示出完整的人以及显示设备的显示内容。
步骤506，根据目标图像帧生成目标视频流。
多个目标图像帧按照一定的顺序排列，即可生成目标视频流。
综上所述，本申请实施例提供的技术方案中，通过透视变换将第二图像帧变换至显示设备的屏幕在第一图像帧中的显示区域，生成处理后的第一图像帧；再通过第一图像帧与经过偏光片拍摄的第三图像帧，生成差值图像帧；然后根据第一图像帧、处理后的第一图像帧和差值图像帧，生成目标图像帧；不仅避免了使用摄像头对在显示设备的显示内容进行拍摄时，由于光照射在显示设备的屏幕上存在反射，导致摄像头拍摄的视频画面出现失真的问题；而且通过差值图像帧可以将第一图像帧中的人的图像完整的显示，从而能够清晰地查看到视频中显示设备的显示内容以及人的讲解，更加真实地演示出现实场景。
下面，针对一个具体的现实场景，即授课场景，对本申请提供的技术方案进行介绍说明。在本申请实施例中，以显示设备是智能电视为例来说明。
如图8所示，教师针对智能电视中显示的内容进行讲解。第一摄像头600直接对该教师讲解场景进行拍摄，得到第一视频流。第一视频流中的第一图像帧10中包括显示设备和教师。用户可以直接从智能电视中获取第二视频流，可以是由教师讲解的教学课件生成的视频流。第二摄像头700经偏振片701对该教师讲解场景进行拍摄，得到第三视频流，其中，偏振片701阻挡了智能电视发出的光线702(图中的虚线表示)且允许自然光703(图中的实线表示)透过，因此，第三视频流中的第三图像帧30中智能电视的显示区域是黑色的。
在获取到第一视频流、第二视频流和第三视频流之后，在视频处理设备中进行处理，得到最终的目标视频流。主要包括以下几个步骤：
1、对于第一视频流和第二视频流中相同时间戳的第一图像帧10和第二图像帧20，通过透视变换将第二图像20变换至目标区域501的位置处，生成处理后的第一图像帧40。
2、对于第一视频流和第三视频流中相同时间戳的第一图像帧10和第三图像帧30，将第一图像帧10与第三图像帧30中相同位置处的像素值相减，得到差值图像帧50。
3、以第一图像帧10为基础，将处理后的第一图像帧40经过差值图像帧50合成到第一图像帧10中，即对第一图像帧10、处理后的第一图像帧40和差值图像帧50中相同位置处的像素值进行相应地运算，从而得到目标图像帧60。
4、将多个目标图像帧60以按照一定的顺序排列，即可生成目标视频流。
请参考图9，其示出了本申请另一个实施例提供的视频播放方法的流程图。在本实施例中，主要以该方法应用于图1所示实施环境的视频播放设备400中来举例说明。该方法可以包括如下几个步骤(901～903)：
步骤901，向视频发布平台发送视频获取请求。
当用户需要在视频播放设备中播放某一视频时，用户可以通过该视频播放设备向视频发布平台发送对应于该视频的获取请求，以获取到该视频。
上述视频播放平台可以是用于存放视频的一个视频库。该视频播放平台可以是网络平台，视频处理设备可以将处理后的视频发送到该视频播放平台，在接收到视频播放设备发送的视频获取请求后，可以向该视频播放设备发送该视频。上述视频获取请求是指视频播放设备发送的，用于获取视频的请求。
可选地，视频处理设备属于视频发布平台，此时，视频处理设备在接收到视频播放设备发送的视频获取请求后，视频处理设备可以直接将处理后的视频(如上文介绍的目标视频流)提供给视频播放设备。
步骤902，接收视频发布平台根据视频获取请求发送的目标视频流。
视频发布平台在接收到视频播放设备发送的视频获取请求后，可以向该视频播放设备发送目标视频流，相应地，视频播放设备接收视频发布平台发送的目标视频流。
目标视频流是至少根据第一视频流和第二视频流生成的视频流，其中，第一视频流通过第一摄像头对现实场景进行拍摄得到，该现实场景中包括具有内容显示功能的显示设备；第二视频流从显示设备获取。可选地，该现实场景是授课场景，视频处理终端可以对摄像机拍摄授课场景得到的视频流进行处理，得到目标视频流；视频处理终端可以将该目标视频流发送至视频播放平台；用户可以使用视频播放设备从视频播放平台请求获取该目标视频流。可选地，该现实场景还可以是演讲场景。
可选地，上述目标视频流是采用第二视频流中的第二图像帧替换第一视频流中的第一图像帧中的目标区域的图像内容之后生成的视频流；目标区域是显示设备的屏幕在第一图像帧中的显示区域。
关于生成目标视频流的详细过程已在上文图2和图5实施例中进行了详细的介绍，此处不再赘述。
步骤903，播放目标视频流。
视频播放设备在接收到目标视频流之后，可以播放该目标视频流。可选地，视频播放设备中安装运行有具有视频播放功能的应用程序，视频播放设备通过该应用程序播放目标视频流。
上述目标视频流的图像帧中不存在对显示设备的屏幕进行拍摄所产生的干扰纹(如摩尔纹)。此外，目标视频流的图像帧中也不存在失真的问题，如反光、阴影、模糊等。
综上所述，本申请实施例提供的技术方案中，通过向视频发布平台发送视频获取请求，并在接收到视频发布平台发送的目标视频流之后播放该目标视频流。其中，目标视频流是根据对现实场景进行拍摄得到的第一视频流生成的视频流，现实场景中包括具有内容显示功能的显示设备，目标视频流的图像帧中不存在对显示设备的屏幕进行拍摄所产生的干扰纹(如摩尔纹)。相比于直接播放使用摄像头对在显示设备的显示内容进行拍摄得到的视频流，避免了由于光照射在显示设备的屏幕上存在反射，导致摄像头拍摄的视频画面中存在干扰纹(如摩尔纹)的问题，从而能够清晰地查看到视频中显示设备的显示内容。
下述为本申请装置实施例，可以用于执行本申请方法实施例。对于本申请装置实施例中未披露的细节，请参照本申请方法实施例。
请参考图10，其示出了本申请一个实施例提供的视频处理装置的框图。该装置具有实现上述方法示例的功能，所述功能可以由硬件实现，也可以由硬件执行相应的软件实现。该装置可以是视频处理设备，也可以设置在视频处理设备上。该装置1000可以包括：获取模块1010、替换模块1020和生成模块1030。
获取模块1010，用于获取第一视频流和第二视频流，所述第一视频流是由第一摄像头对现实场景进行拍摄得到的视频流，所述现实场景中包括具有内容显示功能的显示设备，所述第二视频流是由所述显示设备的显示内容所生成的视频流。
替换模块1020，用于对于所述第一视频流和所述第二视频流中相同时间戳的第一图像帧和第二图像帧，采用所述第二图像帧替换所述第一图像帧中目标区域的图像内容，生成目标图像帧；其中，所述目标区域是所述显示设备的屏幕在所述第一图像帧中的显示区域。
生成模块1030，用于根据所述目标图像帧生成目标视频流。
综上所述，本申请实施例提供的技术方案中，通过采用显示设备的显示内容所生成的第二视频流中的第二图像帧，替换掉第一摄像头对现实场景进行拍摄得到的第一视频流中相同时间戳的第一图像帧中目标区域的图像内容，生成目标图像帧，再由目标图像帧生成目标视频流；由于最终生成的目标视频流中显示的是替换后的图像内容，并不是经过摄像头拍摄显示设备的屏幕得到的图像内容，因此避免了使用摄像头对显示设备的显示内容进行拍摄时，由于光照射在显示设备的屏幕上存在反射，导致摄像头拍摄的视频画面中存在干扰纹(如摩尔纹)的问题，从而能够清晰地查看到视频中显示设备的显示内容。
在基于图10实施例提供的一个可选实施例中，如图11所示，所述替换模块1020，包括：标定单元1021和第一生成单元1022。
标定单元1021，用于在所述第一图像帧中标定所述目标区域的位置。
第一生成单元1022，用于通过透视变换将所述第二图像帧变换至所述目标区域的位置处，生成所述目标图像帧。
在基于图10实施例提供的另一个可选实施例中，如图11所示，所述替换模块1020，包括：标定单元1021、变换单元1023、计算单元1024和第二生成单元1025。
标定单元1021，用于在所述第一图像帧中标定所述目标区域的位置。
变换单元1023，用于通过透视变换将所述第二图像帧变换至所述目标区域的位置处，生成处理后的第一图像帧。
计算单元1024，用于对于所述第一视频流和第三视频流中相同时间戳的所述第一图像帧和第三图像帧，将所述第一图像帧与所述第三图像帧中相同位置处的像素值相减，得到差值图像帧；其中，所述第三视频流是由第二摄像头经过偏光片对所述现实场景进行拍摄得到的视频流。
第二生成单元1025，用于以所述第一图像帧为画布，将所述处理后的第一图像帧经过所述差值图像帧蒙层合成到所述画布上，得到所述目标图像帧。
可选地，所述第二生成单元1025，用于：
将最大像素值与所述差值图像帧中的各个像素的像素值相减，得到处理后的差值图像帧；将所述第一图像帧与所述处理后的差值图像帧中相同位置处的像素值相乘，得到第一中间图像帧；将所述处理后的第一图像帧与所述差值图像帧中相同位置处的像素值相乘，得到第二中间图像帧；将所述第一中间图像帧与所述第二中间图像帧中相同位置处的像素值相加，得到第三中间图像帧；将所述第三中间图像帧中的各个像素的像素值除以所述最大像素值，得到所述目标图像帧。
可选地，如图11所示，所述替换模块1020，还包括处理单元1026。
所述处理单元1026，用于计算所述第一图像帧与所述第三图像帧中相同位置处的像素值差值的平均值；将所述第三图像帧中的各个像素的像素值与所述平均值相加，得到处理后的第三图像帧。
所述计算单元1024，用于将所述第一图像帧与所述处理后的第三图像帧中相同位置处的像素值相减，得到所述差值图像帧。
可选地，如图11所示，所述替换模块1020，还包括调整单元1027。
所述调整单元1027，用于将所述差值图像帧中目标图像区域的像素值调整为最大像素值，以及将所述差值图像帧中除所述目标图像区域之外的其它区域的像素值调整为零，得到处理后的差值图像帧；其中，所述目标图像区域是所述差值图像帧中像素值大于预设阈值的区域，所述处理后的差值图像帧用于和所述第一图像帧、所述处理后的第一图像帧生成所述目标图像帧。
在基于图10实施例或者上述任一可选实施例提供的另一个可选实施例中，所述现实场景包括授课场景、演讲场景。
请参考图12，其示出了本申请一个实施例提供的视频播放装置的框图。该装置具有实现上述方法示例的功能，所述功能可以由硬件实现，也可以由硬件执行相应的软件实现。该装置可以是视频播放设备，也可以设置在视频播放设备上。该装置1200可以包括：发送模块1201、接收模块1202和播放模块1203。
发送模块1201，用于向视频发布平台发送视频获取请求。
接收模块1202，用于接收所述视频发布平台根据所述视频获取请求发送的目标视频流，所述目标视频流是至少根据第一视频流和第二视频流生成的视频流，其中，所述第一视频流通过第一摄像头对现实场景进行拍摄得到，所述现实场景中包括具有内容显示功能的显示设备，所述第二视频流从所述显示设备获取。
播放模块1203，用于播放所述目标视频流，所述目标视频流的图像帧中不存在对所述显示设备的屏幕进行拍摄所产生的干扰纹。
综上所述，本申请实施例提供的技术方案中，通过向视频发布平台发送视频获取请求，并在接收到视频发布平台发送的目标视频流之后播放该目标视频流。其中，目标视频流是根据对现实场景进行拍摄得到的第一视频流生成的视频流，现实场景中包括具有内容显示功能的显示设备，目标视频流的图像帧中不存在对显示设备的屏幕进行拍摄所产生的干扰纹(如摩尔纹)。相比于直接播放使用摄像头对在显示设备的显示内容进行拍摄得到的视频流，避免了由于光照射在显示设备的屏幕上存在反射，导致摄像头拍摄的视频画面中存在干扰纹(如摩尔纹)的问题，从而能够清晰地查看到视频中显示设备的显示内容
在基于图12实施例提供的一个可选实施例中，所述目标视频流是采用第二视频流中的第二图像帧替换所述第一视频流中的第一图像帧中的目标区域的图像内容之后生成的视频流；其中，所述目标区域是所述显示设备的屏幕在所述第一图像帧中的显示区域。
需要说明的是，上述实施例提供的装置，在实现其功能时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的装置与方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。
请参考图13，其示出了本申请一个实施例提供的计算机设备的结构框图，该计算机设备可以是视频处理设备，也可以是视频播放设备。通常，计算机设备1300包括有：处理器1301和存储器1302。
处理器1301可以包括一个或多个处理核心，比如4核心处理器、8核心处理器等。处理器1301可以采用DSP(Digital Signal Processing，数字信号处理)、FPGA(FieldProgrammable Gate Array，现场可编程门阵列)、PLA(Programmable Logic Array，可编程逻辑阵列)中的至少一种硬件形式来实现。处理器1301也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称CPU(Central ProcessingUnit，中央处理器)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器1301可以在集成有GPU(Graphics Processing Unit，图像处理器)，GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中，处理器1301还可以包括AI(Artificial Intelligence，人工智能)处理器，该AI处理器用于处理有关机器学习的计算操作。
存储器1302可以包括一个或多个计算机可读存储介质，该计算机可读存储介质可以是非暂态的。存储器1302还可包括高速随机存取存储器，以及非易失性存储器，比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中，存储器1302中的非暂态的计算机可读存储介质用于存储至少一个指令，该至少一个指令用于被处理器1301所执行以实现本申请中方法实施例提供的视频处理方法或者视频播放方法。
在一些实施例中，视频处理设备1300还可选包括有：***设备接口1303和至少一个***设备。处理器1301、存储器1302和***设备接口1303之间可以通过总线或信号线相连。各个***设备可以通过总线、信号线或电路板与***设备接口1303相连。具体地，***设备可以包括：通信接口1304、显示屏1305、音频电路1306、摄像头组件1307视频电路1308和电源1309中的至少一种。
本领域技术人员可以理解，图13中示出的结构并不构成对视频处理设备1300的限定，可以包括比图示更多或更少的组件，或者组合某些组件，或者采用不同的组件布置。
在示例性实施例中，还提供了一种计算机设备，所述计算机设备包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现上述视频处理方法或者视频播放方法。
在示例性实施例中，还提供了一种计算机可读存储介质，所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或所述指令集在被视频处理设备的处理器执行时实现上述视频处理方法或者视频播放方法。
应当理解的是，在本文中提及的“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。
以上所述仅为本申请的示例性实施例，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。
Claims (13)
1.一种视频处理方法，其特征在于，所述方法包括：
获取第一视频流、第二视频流和第三视频流，所述第一视频流是由第一摄像头对现实场景进行拍摄得到的视频流，所述现实场景中包括具有内容显示功能的显示设备，所述第二视频流是由所述显示设备的显示内容所生成的视频流，所述第三视频流是由第二摄像头经过偏光片对所述现实场景进行拍摄得到的视频流，且所述第一摄像头和所述第二摄像头的位置、角度以及参数一致；
对于所述第一视频流、所述第二视频流和所述第三视频流中相同时间戳的第一图像帧、第二图像帧和第三图像帧，采用所述第二图像帧和所述第三图像帧替换所述第一图像帧中目标区域的图像内容，生成目标图像帧；其中，所述目标区域是所述显示设备的屏幕在所述第一图像帧中的显示区域；
根据所述目标图像帧生成目标视频流。
2.根据权利要求1所述的方法，其特征在于，所述采用所述第二图像帧和所述第三图像帧替换所述第一图像帧中目标区域的图像内容，生成目标图像帧，包括：
在所述第一图像帧中标定所述目标区域的位置；
通过透视变换将所述第二图像帧变换至所述目标区域的位置处，生成处理后的第一图像帧；
对于所述第一视频流和所述第三视频流中相同时间戳的所述第一图像帧和所述第三图像帧，将所述第一图像帧与所述第三图像帧中相同位置处的像素值相减，得到差值图像帧；
以所述第一图像帧为画布，将所述处理后的第一图像帧经过所述差值图像帧蒙层合成到所述画布上，得到所述目标图像帧。
3.根据权利要求2所述的方法，其特征在于，所述以所述第一图像帧为画布，将所述处理后的第一图像帧经过所述差值图像帧蒙层合成到所述画布上，得到所述目标图像帧，包括：
将最大像素值与所述差值图像帧中的各个像素的像素值相减，得到处理后的差值图像帧；
将所述第一图像帧与所述处理后的差值图像帧中相同位置处的像素值相乘，得到第一中间图像帧；
将所述处理后的第一图像帧与所述差值图像帧中相同位置处的像素值相乘，得到第二中间图像帧；
将所述第一中间图像帧与所述第二中间图像帧中相同位置处的像素值相加，得到第三中间图像帧；
将所述第三中间图像帧中的各个像素的像素值除以所述最大像素值，得到所述目标图像帧。
4.根据权利要求2所述的方法，其特征在于，所述将所述第一图像帧与所述第三图像帧中相同位置处的像素值相减，得到差值图像帧之前，还包括：
计算所述第一图像帧与所述第三图像帧中相同位置处的像素值差值的平均值；
将所述第三图像帧中的各个像素的像素值与所述平均值相加，得到处理后的第三图像帧；
所述将所述第一图像帧与所述第三图像帧中相同位置处的像素值相减，得到差值图像帧，包括：
将所述第一图像帧与所述处理后的第三图像帧中相同位置处的像素值相减，得到所述差值图像帧。
5.根据权利要求2所述的方法，其特征在于，所述将所述第一图像帧与所述第三图像帧中相同位置处的像素值相减，得到差值图像帧之后，还包括：
将所述差值图像帧中目标图像区域的像素值调整为最大像素值，以及将所述差值图像帧中除所述目标图像区域之外的其它区域的像素值调整为零，得到处理后的差值图像帧；
其中，所述目标图像区域是所述差值图像帧中像素值大于预设阈值的区域，所述处理后的差值图像帧用于和所述第一图像帧、所述处理后的第一图像帧生成所述目标图像帧。
6.根据权利要求1至5任一项所述的方法，其特征在于，所述现实场景包括授课场景、演讲场景。
7.一种视频播放方法，其特征在于，所述方法包括：
向视频发布平台发送视频获取请求；
接收所述视频发布平台根据所述视频获取请求发送的目标视频流，所述目标视频流是至少根据第一视频流、第二视频流和第三视频流生成的视频流，其中，所述第一视频流通过第一摄像头对现实场景进行拍摄得到，所述现实场景中包括具有内容显示功能的显示设备，所述第二视频流从所述显示设备获取，所述第三视频流是由第二摄像头经过偏光片对所述现实场景进行拍摄得到的视频流，且所述第一摄像头和所述第二摄像头的位置、角度以及参数一致；
播放所述目标视频流，所述目标视频流的图像帧中不存在对所述显示设备的屏幕进行拍摄所产生的干扰纹。
8.根据权利要求7所述的方法，其特征在于，所述目标视频流是采用相同时间戳的所述第二视频流中的第二图像帧和所述第三视频流中的第三图像帧替换所述第一视频流中的第一图像帧中的目标区域的图像内容之后生成的视频流；其中，所述目标区域是所述显示设备的屏幕在所述第一图像帧中的显示区域。
9.一种视频处理装置，其特征在于，所述装置包括：
获取模块，用于获取第一视频流、第二视频流和第三视频流，所述第一视频流是由第一摄像头对现实场景进行拍摄得到的视频流，所述现实场景中包括具有内容显示功能的显示设备，所述第二视频流是由所述显示设备的显示内容所生成的视频流，所述第三视频流是由第二摄像头经过偏光片对所述现实场景进行拍摄得到的视频流，且所述第一摄像头和所述第二摄像头的位置、角度以及参数一致；
替换模块，用于对于所述第一视频流、所述第二视频流和所述第三视频流中相同时间戳的第一图像帧、第二图像帧和第三图像帧，采用所述第二图像帧和所述第三图像帧替换所述第一图像帧中目标区域的图像内容，生成目标图像帧；其中，所述目标区域是所述显示设备的屏幕在所述第一图像帧中的显示区域；
生成模块，用于根据所述目标图像帧生成目标视频流。
10.根据权利要求9所述的装置，其特征在于，所述替换模块，包括：
标定单元，用于在所述第一图像帧中标定所述目标区域的位置；
变换单元，用于通过透视变换将所述第二图像帧变换至所述目标区域的位置处，生成处理后的第一图像帧；
计算单元，用于对于所述第一视频流和所述第三视频流中相同时间戳的所述第一图像帧和所述第三图像帧，将所述第一图像帧与所述第三图像帧中相同位置处的像素值相减，得到差值图像帧；
第二生成单元，用于以所述第一图像帧为画布，将所述处理后的第一图像帧经过所述差值图像帧蒙层合成到所述画布上，得到所述目标图像帧。
11.一种视频播放装置，其特征在于，所述装置包括：
发送模块，用于向视频发布平台发送视频获取请求；
接收模块，用于接收所述视频发布平台根据所述视频获取请求发送的目标视频流，所述目标视频流是至少根据第一视频流、第二视频流和第三视频流生成的视频流，其中，所述第一视频流通过第一摄像头对现实场景进行拍摄得到，所述现实场景中包括具有内容显示功能的显示设备，所述第二视频流从所述显示设备获取，所述第三视频流是由第二摄像头经过偏光片对所述现实场景进行拍摄得到的视频流，且所述第一摄像头和所述第二摄像头的位置、角度以及参数一致；
播放模块，用于播放所述目标视频流，所述目标视频流的图像帧中不存在对所述显示设备的屏幕进行拍摄所产生的干扰纹。
12.一种计算机设备，其特征在于，所述计算机设备包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如权利要求1至6任一项所述的方法，或者实现如权利要求7至8任一项所述的方法。
13.一种计算机可读存储介质，其特征在于，所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现如权利要求1至6任一项所述的方法，或者实现如权利要求7至8任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910005161.2A CN109587556B (zh) | 2019-01-03 | 2019-01-03 | 视频处理方法、视频播放方法、装置、设备和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910005161.2A CN109587556B (zh) | 2019-01-03 | 2019-01-03 | 视频处理方法、视频播放方法、装置、设备和存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109587556A CN109587556A (zh) | 2019-04-05 |
| CN109587556B true CN109587556B (zh) | 2021-10-15 |
Family
ID=65915963
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910005161.2A Active CN109587556B (zh) | 2019-01-03 | 2019-01-03 | 视频处理方法、视频播放方法、装置、设备和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109587556B (zh) |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110189271B (zh) * | 2019-05-24 | 2021-06-01 | 深圳市云屋科技有限公司 | 反射背景的噪声去除方法及相关产品 |
| CN112907454B (zh) * | 2019-11-19 | 2023-08-08 | 杭州海康威视数字技术股份有限公司 | 获取图像的方法、装置、计算机设备和存储介质 |
| CN113497957A (zh) * | 2020-03-18 | 2021-10-12 | 摩托罗拉移动有限责任公司 | 从远程电子设备的外部显示器捕获图像的电子设备和方法 |
| CN112702641A (zh) * | 2020-12-23 | 2021-04-23 | 杭州海康威视数字技术股份有限公司 | 视频处理方法、摄像机、录播主机、***及存储介质 |
| CN112492375B (zh) * | 2021-01-18 | 2021-06-04 | 新东方教育科技集团有限公司 | 视频处理方法、存储介质、电子设备及视频直播*** |
| CN112954137B (zh) * | 2021-02-08 | 2023-03-21 | 联想(北京)有限公司 | 一种图像处理方法、装置及图像处理设备 |
| CN113766137A (zh) * | 2021-09-23 | 2021-12-07 | 联想(北京)有限公司 | 图像处理方法和装置 |
| CN115546043B (zh) * | 2022-03-31 | 2023-08-18 | 荣耀终端有限公司 | 视频处理方法及其相关设备 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101883270A (zh) * | 2010-06-10 | 2010-11-10 | 上海海事大学 | 一种在独立视频流中***相关媒体的方法 |
| JP2014029566A (ja) * | 2012-07-03 | 2014-02-13 | Interactive Communication Design Co Ltd | 画像処理装置、画像処理方法、及び画像処理プログラム |
| CN105245784A (zh) * | 2014-06-26 | 2016-01-13 | 深圳锐取信息技术股份有限公司 | 一种多媒体教室中投影区域的拍摄处理方法及装置 |
| CN106572385A (zh) * | 2015-10-10 | 2017-04-19 | 北京佳讯飞鸿电气股份有限公司 | 一种用于远程培训视频呈现的图像叠加方法 |
| CN108281052A (zh) * | 2018-02-09 | 2018-07-13 | 郑州市第十中学 | 一种在线教学***及在线教学方法 |
-
2019
- 2019-01-03 CN CN201910005161.2A patent/CN109587556B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101883270A (zh) * | 2010-06-10 | 2010-11-10 | 上海海事大学 | 一种在独立视频流中***相关媒体的方法 |
| JP2014029566A (ja) * | 2012-07-03 | 2014-02-13 | Interactive Communication Design Co Ltd | 画像処理装置、画像処理方法、及び画像処理プログラム |
| CN105245784A (zh) * | 2014-06-26 | 2016-01-13 | 深圳锐取信息技术股份有限公司 | 一种多媒体教室中投影区域的拍摄处理方法及装置 |
| CN106572385A (zh) * | 2015-10-10 | 2017-04-19 | 北京佳讯飞鸿电气股份有限公司 | 一种用于远程培训视频呈现的图像叠加方法 |
| CN108281052A (zh) * | 2018-02-09 | 2018-07-13 | 郑州市第十中学 | 一种在线教学***及在线教学方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109587556A (zh) | 2019-04-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109587556B (zh) | 视频处理方法、视频播放方法、装置、设备和存储介质 | |
| US10275898B1 (en) | Wedge-based light-field video capture | |
| US10388062B2 (en) | Virtual content-mixing method for augmented reality and apparatus for the same | |
| KR101586249B1 (ko) | 광 시야각 영상 처리 장치 및 방법 | |
| CN111866523B (zh) | 全景视频合成方法、装置、电子设备和计算机存储介质 | |
| Amano | Projection center calibration for a co-located projector camera system | |
| CN109685721B (zh) | 全景画面拼接方法、装置、终端及对应的存储介质 | |
| Zhong et al. | Reproducing reality with a high-dynamic-range multi-focal stereo display | |
| Li et al. | Real-world deep local motion deblurring | |
| US20230276034A1 (en) | Method and system for adjusting projection dithering | |
| Mandl et al. | Neural cameras: Learning camera characteristics for coherent mixed reality rendering | |
| CN111105365B (zh) | 一种纹理影像的色彩校正方法、介质、终端和装置 | |
| Lin et al. | Learning lens blur fields | |
| CN117201931A (zh) | 摄像机参数采集方法、装置、计算机设备和存储介质 | |
| CN113592753B (zh) | 基于工业相机拍摄的图像的处理方法、装置和计算机设备 | |
| CN116245734A (zh) | 全景图像生成方法、装置、设备和存储介质 | |
| Bisagno et al. | Virtual camera modeling for multi-view simulation of surveillance scenes | |
| WO2019244667A1 (ja) | 情報処理装置、情報処理方法、およびプログラム | |
| Shih et al. | Enhancement and speedup of photometric compensation for projectors by reducing inter-pixel coupling and calibration patterns | |
| CN114666558B (zh) | 投影画面清晰度的检测方法、装置、存储介质及投影设备 | |
| He et al. | Vignetting image correction based on gaussian quadrics fitting | |
| TWI807449B (zh) | 多視角立體影像產生方法及系統 | |
| CN115243017B (zh) | 一种改善图像质量的方法及设备 | |
| CN117611488A (zh) | 图像数据处理方法、装置、电子设备及可读存储介质 | |
| US20210185214A1 (en) | Trans-spectral feature detection for volumetric image alignment and colorization |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |