CN112383788A - 一种基于智能ai技术的直播实时图像提取***及方法 - Google Patents
一种基于智能ai技术的直播实时图像提取***及方法 Download PDFInfo
- Publication number
- CN112383788A CN112383788A CN202011251609.8A CN202011251609A CN112383788A CN 112383788 A CN112383788 A CN 112383788A CN 202011251609 A CN202011251609 A CN 202011251609A CN 112383788 A CN112383788 A CN 112383788A
- Authority
- CN
- China
- Prior art keywords
- image
- live
- special effect
- pixel
- real
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000605 extraction Methods 0.000 title claims abstract description 49
- 238000000034 method Methods 0.000 title claims abstract description 18
- 230000000694 effects Effects 0.000 claims abstract description 159
- 238000012545 processing Methods 0.000 claims abstract description 33
- 239000000284 extract Substances 0.000 claims description 9
- 238000010606 normalization Methods 0.000 claims description 4
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 238000000354 decomposition reaction Methods 0.000 claims description 3
- 230000005540 biological transmission Effects 0.000 abstract 1
- 238000004364 calculation method Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 230000036544 posture Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/21—Server components or server architectures
- H04N21/218—Source of audio or video content, e.g. local disk arrays
- H04N21/2187—Live feed
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Databases & Information Systems (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于智能AI技术的直播实时图像提取***,包括设置在直播用户端的图像摄录单元、设置在平台端的图像提取单元和图像处理单元,以及设置在观看用户端的图像播放单元。本发明对直播用户进行实时拍摄图像、图像实时传输、实时提取、实时特效添加,从而使拍摄的初始实景图像每一帧都包含有添加特效图像,且每一帧初始实景图像中添加的特效图像均位于特征区域内,连续播放初始实景图像实现特效图像随直播用户姿态变换而实时调整。
Description
技术领域
本发明涉及直播平台技术领域,具体涉及一种基于智能AI技术的直播实时图像提取***及方法。
背景技术
网络直播是指在现场架设独立的信号采集设备(音频+视频)导入导播端(导播设备或平台),再通过网络上传至服务器,发布至网址供人观看,网络直播吸取和延续了互联网的优势,利用视讯方式进行网上现场直播,可以将产品展示、相关会议、背景介绍、方案测评、网上调查、对话访谈、在线培训等内容现场发布到互联网上,利用互联网的直观、快速,表现形式好、内容丰富、交互性强、地域不受限制、受众可划分等特点,加强活动现场的推广效果。
直播用户在直播过程中会增加较多配饰特效用以美化自身形象,从而吸引观看用户,目前的特效图像添加到直播用户拍摄的图像过程中采用的是固定位置添加,从最开始在图像中添加特效图像后,特效图像会一直固定在添加位置不变化,但是网络直播的时长一般在三小时到五小时,直播用户在这么长的直播时长过程中难以只保持一种姿势,从而只要用户变换姿态,特效图像将发生位置偏移,导致特效失真的现象,影响直播效果。
发明内容
本发明的目的在于提供一种基于智能AI技术的直播实时图像提取***,以解决现有技术中特效图像位置固定,无法随直播用户姿态变换而实时调整,最终出现特效失真的技术问题。
为解决上述技术问题,本发明具体提供下述技术方案:
一种基于智能AI技术的直播实时图像提取***,包括设置在直播用户端的图像摄录单元、设置在平台端的图像提取单元和图像处理单元,以及设置在观看用户端的图像播放单元;
图像摄录单元,用于拍摄直播用户的初始实景图像,并将初始实景图像实时上传到图像提取单元;
图像提取单元,用于实时接收来自于图像摄录单元拍摄的初始实景图像,并在初始实景图像中提取出直播用户的特征区域,将已提取出特征区域初始实景图像传输到图像处理单元;
图像处理单元,用于对来自于图像提取单元的已提取出特征区域初始实景图像进行特效添加获得最终实景图像,将最终实景图像传输到图像播放单元;
图像播放单元,用于接收来自与图像处理单元的最终实景图像,并将最终实景图像播放展示给观看用户。
作为本发明的一种优选方案,所述图像提取单元在初始实景图像中提取特征区域的具体步骤为:
A1、将初始实景图像进行按照栅格方式分解成若干像素点并获得每个像素点的像素值;
A2、依次将若干像素点的像素值按照不同的特征区域所具有像素范围阈值进行划分;
A3、依次将划分完成的若干像素点进行分别汇总获得代表特征区域的像素点集合。
作为本发明的一种优选方案,所述A1中,按照栅格的方式将初始实景图像分解成若干像素点的具体步骤为:
A101、规定相邻横栅格点之间和相邻纵栅格点之间的距离均为L;
A102、以初始实景图像的左边界线为坐标纵轴,下边界线为坐标横轴,坐标横轴和坐标纵轴的交叉点作为坐标原点;
A103、在坐标横轴上按照L进行横栅格绘制,在坐标纵轴上以L进行横栅格绘制,并在坐标横轴上进行横坐标标记分别为(x1,x2,x3…,xn),n为横栅格点个数,在坐标纵轴上进行纵坐标标记分别为(y1,y2,y3…,ym),m为纵栅格点个数;
A104、将初始实景图像分解成具有坐标(x实n,y实m)的实n*实m个矩形栅格的像素点,实n为初始实景图像所占的横栅格点个数,实m为初始实景图像所占的纵栅格点个数,并将矩形栅格中点位置处的像素值作为像素点的像素值,标记为Wi,其中i=(实n,实m)。
作为本发明的一种优选方案,所述A2中,特征区域和所具有像素范围阈值标记为:特征区域{P1,P2,P3,…,Pt},其中,t为特征区域的总个数,与特征区域相对应的像素范围阈值分别是{W阈值P1,W阈值P2,W阈值P3,…,W阈值Pt}。
作为本发明的一种优选方案,所述A3中,对应特征区域的像素点集合标记为{(xP1,yP1),(xP2,yP2),(xP3,yP3),…,(xPt,yPt)},{xP1,xP2,xP3,…,xPt}∈x实n,{yP1,yP2,yP3,…,yPt}∈y实n,对应像素为{WP1,WP2,WP3,…,WPt},初始实景图像按照特征区域进行表示为{(xP1,yP1),(xP2,yP2),(xP3,yP3),…,(xPt,yPt)},{xP1,xP2,xP3,…,xPt}∈x实n,{yP1,yP2,yP3,…,yPt}∈y实n,对应像素为{WP1,WP2,WP3,…,WPt}。
作为本发明的一种优选方案,所述图像处理单元对已提取出特征区域初始实景图像进行特效添加的具体步骤为:
B1、对特效图像按照A1中像素分解方法分解成若干特效像素点并对应获得像素点的特效像素值;
B2、将与特效添加的特征区域对应的像素点集合与特效像素点进行坐标同一化;
B3、坐标同一化后,将像素点集合中与特效像素点中具有相同坐标的像素点像素值改变为对应的特效像素值,获得最终实景图像。
作为本发明的一种优选方案,所述B1中,特效图像的像素点坐标表示为(x特效n,y特效m),特效n*特效m个矩形栅格的像素点,特效n为特效图像所占的横栅格点个数,特效m为特效图像所占的纵栅格点个数,并将矩形栅格中点位置处的像素值作为像素点的像素值,标记为Wj,其中j=(特效n,特效m)。
作为本发明的一种优选方案,所述B2中,所述像素点集合与特效像素点进行坐标同一化的具体步骤为:
与特效添加的特征区域为Pt对应的像素点集合标记为(xPt,yPt),将特效像素点的坐标系转换到Pt对应的像素点集合的坐标系中,随机在(xPt,yPt)中选择一个像素点(x,y)作为特效像素点的新坐标原点,特效像素点转换前坐标表示(x特效n,y特效m),对应的像素值为Wj,其中j=(特效n,特效m),转换后坐标表示(x特效n+x,y特效m+y),对应的像素值为Wj,其中j=(特效n,特效m)。
作为本发明的一种优选方案,所述B3中,依次将Pt对应的像素点集合(xPt,yPt)中坐标与特效像素点(x特效n+x,y特效m+y)具有相同坐标像素点对应的像素值Wk,其中k=(特效n+x,特效m+y)改变成特效像素点对应的像素值Wj,其中j=(特效n,特效m),则最终实景图像中的Pt对应的像素点集合(xPt,yPt)的像素值为W最终pt=Wpt-Wk+Wj,最终实景图像按照特征区域进行表示为{(xP1,yP1),(xP2,yP2),(xP3,yP3),…,(xPt,yPt)},{xP1,xP2,xP3,…,xPt}∈x实n,{yP1,yP2,yP3,…,yPt}∈y实n,对应像素为{WP1,WP2,WP3,…,W最终Pt}。
作为本发明的一种优选方案,本发明提供一种根据所述基于智能AI技术的直播实时图像提取***的方法,包括以下步骤:
S1、图像摄录单元拍摄直播用户的初始实景图像,并将初始实景图像实时上传到图像提取单元;
S2、图像提取单元实时接收来自于图像摄录单元拍摄的初始实景图像,并在初始实景图像中提取出直播用户的特征区域,将已提取出特征区域初始实景图像传输到图像处理单元;
S3、图像处理单元对来自于图像提取单元的已提取出特征区域初始实景图像进行特效添加获得最终实景图像,将最终实景图像传输到图像播放单元;
S4、图像播放单元接收来自与图像处理单元的最终实景图像,并将最终实景图像播放展示给观看用户。
本发明与现有技术相比较具有如下有益效果:
本发明对直播用户产生的图像进行实时拍摄再将拍摄的初始实景图像实时依次传输到图像提取单元和图像处理单元,进行特征区域提取并用像素点集合坐标表示特征区域,将特效图像与特征区域进行坐标同一化,而后将特效图像与特征区域像素点坐标相同的特效像素点的特效像素值替换特征区域对应的像素点原有像素值,从而将特效图像融合到初始实景图像中形成最终实景图像实时传输到观看用户端供用户观看,对直播用户进行实时拍摄图像、图像实时传输、实时提取、实时特效添加,从而使拍摄的初始实景图像每一帧都包含有添加特效图像,且每一帧初始实景图像中添加的特效图像均位于特征区域内,连续播放初始实景图像实现特效图像随直播用户姿态变换而实时调整。
附图说明
为了更清楚地说明本发明的实施方式或现有技术中的技术方案,下面将对实施方式或现有技术描述中所需要使用的附图作简单地介绍。显而易见地,下面描述中的附图仅仅是示例性的,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图引伸获得其它的实施附图。
图1为本发明实施例提供的直播实时图像提取***结构框图及方法流程图;
图2为本发明实施例提供的初始实景图像坐标表示示意图;
图3为本发明实施例提供的特效图像坐标表示示意图;
图4为本发明实施例提供的坐标同一化后的特效图像坐标表示示意图;
图5为本发明实施例提供的最终实景图像坐标表示示意图。
图中的标号分别表示如下:
1-图像摄录单元;2-图像提取单元;3-图像处理单元;4-图像播放单元。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
如图1所示,本发明提供了一种基于智能AI技术的直播实时图像提取***,包括设置在直播用户端的图像摄录单元1、设置在平台端的图像提取单元2和图像处理单元3,以及设置在观看用户端的图像播放单元4;
图像摄录单元1,用于拍摄直播用户的初始实景图像,并将初始实景图像实时上传到图像提取单元2;
图像提取单元2,用于实时接收来自于图像摄录单元1拍摄的初始实景图像,并在初始实景图像中提取出直播用户的特征区域,将已提取出特征区域初始实景图像传输到图像处理单元3;
图像处理单元3,用于对来自于图像提取单元2的已提取出特征区域初始实景图像进行特效添加获得最终实景图像,将最终实景图像传输到图像播放单元4;
图像播放单元4,用于接收来自与图像处理单元3的最终实景图像,并将最终实景图像播放展示给观看用户。
图像提取单元2和图像处理单元3建立在由若干服务器和计算主机构建而成的分布式数据处理***中进行运算处理和数据存储,在直播高峰时段数据量巨大分布式***无法负载时,只需要在分布式***中接入运算主机扩展运算量和存储量以承载大数据量计算,而直播高峰时段直播图像数据量巨大,分布式数据处理***为保证每个直播用户均能获得公平直播资源提供了实现的硬件支持。
图像摄录单元1为摄像机或其他拍摄装置,图像播放单元4为安装有直播观看门户的智能终端设备,直播观看门户为网页、软件APP或小程序,观看用户可将直播观看门户安装到用户使用的智能手机或电脑中,直播用户端的图像摄录单元1、平台端的图像提取单元2和图像处理单元3,以及在观看用户端的图像播放单元4之间通过网络通信进行数据交换和业务交互。
图像提取单元2在初始实景图像中提取特征区域的具体步骤为:
A1、将初始实景图像进行按照栅格方式分解成若干像素点并获得每个像素点的像素值;
A2、依次将若干像素点的像素值按照不同的特征区域所具有像素范围阈值进行划分;
A3、依次将划分完成的若干像素点进行分别汇总获得代表特征区域的像素点集合。
A1中,按照栅格的方式将初始实景图像分解成若干像素点的具体步骤为:
A101、规定相邻横栅格点之间和相邻纵栅格点之间的距离均为L;
A102、以初始实景图像的左边界线为坐标纵轴,下边界线为坐标横轴,坐标横轴和坐标纵轴的交叉点作为坐标原点;
A103、在坐标横轴上按照L进行横栅格绘制,在坐标纵轴上以L进行横栅格绘制,并在坐标横轴上进行横坐标标记分别为(x1,x2,x3…,xn),n为横栅格点个数,在坐标纵轴上进行纵坐标标记分别为(y1,y2,y3…,ym),m为纵栅格点个数;
如图2所示,A104、将初始实景图像分解成具有坐标(x实n,y实m)的实n*实m个矩形栅格的像素点,实n为初始实景图像所占的横栅格点个数,实m为初始实景图像所占的纵栅格点个数,并将矩形栅格中点位置处的像素值作为像素点的像素值,标记为Wi,其中i=(实n,实m)。
A2中,特征区域和所具有像素范围阈值标记为:特征区域{P1,P2,P3,…,Pt},其中,t为特征区域的总个数,与特征区域相对应的像素范围阈值分别是{W阈值P1,W阈值P2,W阈值P3,…,W阈值Pt}。
A3中,对应特征区域的像素点集合标记为{(xP1,yP1),(xP2,yP2),(xP3,yP3),…,(xPt,yPt)},{xP1,xP2,xP3,…,xPt}∈x实n,{yP1,yP2,yP3,…,yPt}∈y实n,对应像素为{WP1,WP2,WP3,…,WPt},初始实景图像按照特征区域进行表示为{(xP1,yP1),(xP2,yP2),(xP3,yP3),…,(xPt,yPt)},{xP1,xP2,xP3,…,xPt}∈x实n,{yP1,yP2,yP3,…,yPt}∈y实n,对应像素为{WP1,WP2,WP3,…,WPt}。
图像处理单元3对已提取出特征区域初始实景图像进行特效添加的具体步骤为:
B1、对特效图像按照A1中像素分解方法分解成若干特效像素点并对应获得像素点的特效像素值;
B2、将与特效添加的特征区域对应的像素点集合与特效像素点进行坐标同一化;
B3、坐标同一化后,将像素点集合中与特效像素点中具有相同坐标的像素点像素值改变为对应的特效像素值,获得最终实景图像。
如图3所示,B1中,特效图像的像素点坐标表示为(x特效n,y特效m),特效n*特效m个矩形栅格的像素点,特效n为特效图像所占的横栅格点个数,特效m为特效图像所占的纵栅格点个数,并将矩形栅格中点位置处的像素值作为像素点的像素值,标记为Wj,其中j=(特效n,特效m)。
B2中,像素点集合与特效像素点进行坐标同一化的具体步骤为:
与特效添加的特征区域为Pt对应的像素点集合标记为(xPt,yPt),将特效像素点的坐标系转换到Pt对应的像素点集合的坐标系中,随机在(xPt,yPt)中选择一个像素点(x,y)作为特效像素点的新坐标原点,特效像素点转换前坐标表示(x特效n,y特效m),对应的像素值为Wj,其中j=(特效n,特效m),转换后坐标表示(x特效n+x,y特效m+y),对应的像素值为Wj,其中j=(特效n,特效m)。
如图4所示,B3中,依次将Pt对应的像素点集合(xPt,yPt)中坐标与特效像素点(x特效n+x,y特效m+y)具有相同坐标像素点对应的像素值Wk,其中k=(特效n+x,特效m+y)改变成特效像素点对应的像素值Wj,其中j=(特效n,特效m),则最终实景图像中的Pt对应的像素点集合(xPt,yPt)的像素值为W最终pt=Wpt-Wk+Wj,最终实景图像按照特征区域进行表示为{(xP1,yP1),(xP2,yP2),(xP3,yP3),…,(xPt,yPt)},{xP1,xP2,xP3,…,xPt}∈x实n,{yP1,yP2,yP3,…,yPt}∈y实n,对应像素为{WP1,WP2,WP3,…,W最终Pt}。
如图5所示,初始实景图像(图2)添加特效图像(图3)后形成的最终实景图像。
基于以上直播实时图像提取***的结构,本发明提供一种方法,包括以下步骤:
S1、图像摄录单元拍摄直播用户的初始实景图像,并将初始实景图像实时上传到图像提取单元;
S2、图像提取单元实时接收来自于图像摄录单元拍摄的初始实景图像,并在初始实景图像中提取出直播用户的特征区域,将已提取出特征区域初始实景图像传输到图像处理单元;
S3、图像处理单元对来自于图像提取单元的已提取出特征区域初始实景图像进行特效添加获得最终实景图像,将最终实景图像传输到图像播放单元;
S4、图像播放单元接收来自与图像处理单元的最终实景图像,并将最终实景图像播放展示给观看用户。
本发明对直播用户产生的图像进行实时拍摄再将拍摄的初始实景图像实时依次传输到图像提取单元和图像处理单元,进行特征区域提取并用像素点集合坐标表示特征区域,将特效图像与特征区域进行坐标同一化,而后将特效图像与特征区域像素点坐标相同的特效像素点的特效像素值替换特征区域对应的像素点原有像素值,从而将特效图像融合到初始实景图像中形成最终实景图像实时传输到观看用户端供用户观看,对直播用户进行实时拍摄图像、图像实时传输、实时提取、实时特效添加,从而使拍摄的初始实景图像每一帧都包含有添加特效图像,且每一帧初始实景图像中添加的特效图像均位于特征区域内,连续播放初始实景图像实现特效图像随直播用户姿态变换而实时调整。
以上实施例仅为本申请的示例性实施例,不用于限制本申请,本申请的保护范围由权利要求书限定。本领域技术人员可以在本申请的实质和保护范围内,对本申请做出各种修改或等同替换,这种修改或等同替换也应视为落在本申请的保护范围内。
Claims (10)
1.一种基于智能AI技术的直播实时图像提取***,其特征在于:包括设置在直播用户端的图像摄录单元(1)、设置在平台端的图像提取单元(2)和图像处理单元(3),以及设置在观看用户端的图像播放单元(4);
图像摄录单元(1),用于拍摄直播用户的初始实景图像,并将初始实景图像实时上传到图像提取单元(2);
图像提取单元(2),用于实时接收来自于图像摄录单元(1)拍摄的初始实景图像,并在初始实景图像中提取出直播用户的特征区域,将已提取出特征区域初始实景图像传输到图像处理单元(3);
图像处理单元(3),用于对来自于图像提取单元(2)的已提取出特征区域初始实景图像进行特效添加获得最终实景图像,将最终实景图像传输到图像播放单元(4);
图像播放单元(4),用于接收来自与图像处理单元(3)的最终实景图像,并将最终实景图像播放展示给观看用户。
2.根据权利要求1所述的一种基于智能AI技术的直播实时图像提取***,其特征在于:所述图像提取单元(2)在初始实景图像中提取特征区域的具体步骤为:
A1、将初始实景图像进行按照栅格方式分解成若干像素点并获得每个像素点的像素值;
A2、依次将若干像素点的像素值按照不同的特征区域所具有像素范围阈值进行划分;
A3、依次将划分完成的若干像素点进行分别汇总获得代表特征区域的像素点集合。
3.根据权利要求2所述的一种基于智能AI技术的直播实时图像提取***,其特征在于:所述A1中,按照栅格的方式将初始实景图像分解成若干像素点的具体步骤为:
A101、规定相邻横栅格点之间和相邻纵栅格点之间的距离均为L;
A102、以初始实景图像的左边界线为坐标纵轴,下边界线为坐标横轴,坐标横轴和坐标纵轴的交叉点作为坐标原点;
A103、在坐标横轴上按照L进行横栅格绘制,在坐标纵轴上以L进行横栅格绘制,并在坐标横轴上进行横坐标标记分别为(x1,x2,x3…,xn),n为横栅格点个数,在坐标纵轴上进行纵坐标标记分别为(y1,y2,y3…,ym),m为纵栅格点个数;
A104、将初始实景图像分解成具有坐标(x实n,y实m)的实n*实m个矩形栅格的像素点,实n为初始实景图像所占的横栅格点个数,实m为初始实景图像所占的纵栅格点个数,并将矩形栅格中点位置处的像素值作为像素点的像素值,标记为Wi,其中i=(实n,实m)。
4.根据权利要求3所述的一种基于智能AI技术的直播实时图像提取***,其特征在于:所述A2中,特征区域和所具有像素范围阈值标记为:特征区域{P1,P2,P3,…,Pt},其中,t为特征区域的总个数,与特征区域相对应的像素范围阈值分别是{W阈值P1,W阈值P2,W阈值P3,…,W阈值Pt}。
5.根据权利要求4所述的一种基于智能AI技术的直播实时图像提取***,其特征在于:所述A3中,对应特征区域的像素点集合标记为{(xP1,yP1),(xP2,yP2),(xP3,yP3),…,(xPt,yPt)},{xP1,xP2,xP3,…,xPt}∈x实n,{yP1,yP2,yP3,…,yPt}∈y实n,对应像素为{WP1,WP2,WP3,…,WPt},初始实景图像按照特征区域进行表示为{(xP1,yP1),(xP2,yP2),(xP3,yP3),…,(xPt,yPt)},{xP1,xP2,xP3,…,xPt}∈x实n,{yP1,yP2,yP3,…,yPt}∈y实n,对应像素为{WP1,WP2,WP3,…,WPt}。
6.根据权利要求5所述的一种基于智能AI技术的直播实时图像提取***,其特征在于:所述图像处理单元(3)对已提取出特征区域初始实景图像进行特效添加的具体步骤为:
B1、对特效图像按照A1中像素分解方法分解成若干特效像素点并对应获得像素点的特效像素值;
B2、将与特效添加的特征区域对应的像素点集合与特效像素点进行坐标同一化;
B3、坐标同一化后,将像素点集合中与特效像素点中具有相同坐标的像素点像素值改变为对应的特效像素值,获得最终实景图像。
7.根据权利要求6所述的一种基于智能AI技术的直播实时图像提取***,其特征在于,所述B1中,特效图像的像素点坐标表示为(x特效n,y特效m),特效n*特效m个矩形栅格的像素点,特效n为特效图像所占的横栅格点个数,特效m为特效图像所占的纵栅格点个数,并将矩形栅格中点位置处的像素值作为像素点的像素值,标记为Wj,其中j=(特效n,特效m)。
8.根据权利要求7所述的一种基于智能AI技术的直播实时图像提取***,其特征在于,所述B2中,所述像素点集合与特效像素点进行坐标同一化的具体步骤为:
与特效添加的特征区域为Pt对应的像素点集合标记为(xPt,yPt),将特效像素点的坐标系转换到Pt对应的像素点集合的坐标系中,随机在(xPt,yPt)中选择一个像素点(x,y)作为特效像素点的新坐标原点,特效像素点转换前坐标表示(x特效n,y特效m),对应的像素值为Wj,其中j=(特效n,特效m),转换后坐标表示(x特效n+x,y特效m+y),对应的像素值为Wj,其中j=(特效n,特效m)。
9.根据权利要求8所述的一种基于智能AI技术的直播实时图像提取***,其特征在于,所述B3中,依次将Pt对应的像素点集合(xPt,yPt)中坐标与特效像素点(x特效n+x,y特效m+y)具有相同坐标像素点对应的像素值Wk,其中k=(特效n+x,特效m+y)改变成特效像素点对应的像素值Wj,其中j=(特效n,特效m),则最终实景图像中的Pt对应的像素点集合(xPt,yPt)的像素值为W最终pt=Wpt-Wk+Wj,最终实景图像按照特征区域进行表示为{(xP1,yP1),(xP2,yP2),(xP3,yP3),…,(xPt,yPt)},{xP1,xP2,xP3,…,xPt}∈x实n,{yP1,yP2,yP3,…,yPt}∈y实n,对应像素为{WP1,WP2,WP3,…,W最终Pt}。
10.一种根据权利要求1-9任一项所述基于智能AI技术的直播实时图像提取***的方法,其特征在于,包括以下步骤:
S1、图像摄录单元拍摄直播用户的初始实景图像,并将初始实景图像实时上传到图像提取单元;
S2、图像提取单元实时接收来自于图像摄录单元拍摄的初始实景图像,并在初始实景图像中提取出直播用户的特征区域,将已提取出特征区域初始实景图像传输到图像处理单元;
S3、图像处理单元对来自于图像提取单元的已提取出特征区域初始实景图像进行特效添加获得最终实景图像,将最终实景图像传输到图像播放单元;
S4、图像播放单元接收来自与图像处理单元的最终实景图像,并将最终实景图像播放展示给观看用户。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011251609.8A CN112383788B (zh) | 2020-11-11 | 2020-11-11 | 一种基于智能ai技术的直播实时图像提取***及方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011251609.8A CN112383788B (zh) | 2020-11-11 | 2020-11-11 | 一种基于智能ai技术的直播实时图像提取***及方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112383788A true CN112383788A (zh) | 2021-02-19 |
CN112383788B CN112383788B (zh) | 2023-05-26 |
Family
ID=74579733
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011251609.8A Active CN112383788B (zh) | 2020-11-11 | 2020-11-11 | 一种基于智能ai技术的直播实时图像提取***及方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112383788B (zh) |
Citations (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101072289A (zh) * | 2007-06-11 | 2007-11-14 | 北京中星微电子有限公司 | 一种图像特效的自动生成方法及装置 |
CN101388968A (zh) * | 2007-09-10 | 2009-03-18 | 丰田自动车株式会社 | 合成图像生成设备和存储其程序的计算机可读介质 |
US20090161946A1 (en) * | 2007-12-21 | 2009-06-25 | Kabushiki Kaisha Topcon | Image processing apparatus |
CN106231434A (zh) * | 2016-07-25 | 2016-12-14 | 武汉斗鱼网络科技有限公司 | 一种基于人脸检测的直播互动特效实现方法及*** |
CN106600589A (zh) * | 2016-12-09 | 2017-04-26 | 中国科学院合肥物质科学研究院 | 一种基于海岸线区域遥感图的星载光谱仪指向配准方法 |
CN106792078A (zh) * | 2016-07-12 | 2017-05-31 | 乐视控股(北京)有限公司 | 视频处理方法及装置 |
CN108010037A (zh) * | 2017-11-29 | 2018-05-08 | 腾讯科技(深圳)有限公司 | 图像处理方法、装置及存储介质 |
CN108055472A (zh) * | 2017-12-21 | 2018-05-18 | 长沙全度影像科技有限公司 | 一种实时全景直播***及方法 |
US20180247550A1 (en) * | 2015-11-19 | 2018-08-30 | Shenzhen Eaglesoul Technology Co., Ltd. | Image synchronous display method and device |
WO2019019370A1 (zh) * | 2017-07-24 | 2019-01-31 | 平安科技(深圳)有限公司 | 一种音视频的直播处理方法、存储介质和一种移动终端 |
CN110475150A (zh) * | 2019-09-11 | 2019-11-19 | 广州华多网络科技有限公司 | 虚拟礼物特效的渲染方法和装置、直播*** |
CN110493630A (zh) * | 2019-09-11 | 2019-11-22 | 广州华多网络科技有限公司 | 虚拟礼物特效的处理方法和装置、直播*** |
CN111583116A (zh) * | 2020-05-06 | 2020-08-25 | 上海瀚正信息科技股份有限公司 | 基于多摄像机交叉摄影的视频全景拼接融合方法及*** |
JP2020167660A (ja) * | 2019-03-29 | 2020-10-08 | 株式会社ソニー・インタラクティブエンタテインメント | 画像データ伝送方法、コンテンツ処理装置、ヘッドマウントディスプレイ、中継装置、および、コンテンツ処理システム |
-
2020
- 2020-11-11 CN CN202011251609.8A patent/CN112383788B/zh active Active
Patent Citations (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101072289A (zh) * | 2007-06-11 | 2007-11-14 | 北京中星微电子有限公司 | 一种图像特效的自动生成方法及装置 |
CN101388968A (zh) * | 2007-09-10 | 2009-03-18 | 丰田自动车株式会社 | 合成图像生成设备和存储其程序的计算机可读介质 |
US20090161946A1 (en) * | 2007-12-21 | 2009-06-25 | Kabushiki Kaisha Topcon | Image processing apparatus |
US20180247550A1 (en) * | 2015-11-19 | 2018-08-30 | Shenzhen Eaglesoul Technology Co., Ltd. | Image synchronous display method and device |
CN106792078A (zh) * | 2016-07-12 | 2017-05-31 | 乐视控股(北京)有限公司 | 视频处理方法及装置 |
CN106231434A (zh) * | 2016-07-25 | 2016-12-14 | 武汉斗鱼网络科技有限公司 | 一种基于人脸检测的直播互动特效实现方法及*** |
CN106600589A (zh) * | 2016-12-09 | 2017-04-26 | 中国科学院合肥物质科学研究院 | 一种基于海岸线区域遥感图的星载光谱仪指向配准方法 |
WO2019019370A1 (zh) * | 2017-07-24 | 2019-01-31 | 平安科技(深圳)有限公司 | 一种音视频的直播处理方法、存储介质和一种移动终端 |
CN108010037A (zh) * | 2017-11-29 | 2018-05-08 | 腾讯科技(深圳)有限公司 | 图像处理方法、装置及存储介质 |
CN108055472A (zh) * | 2017-12-21 | 2018-05-18 | 长沙全度影像科技有限公司 | 一种实时全景直播***及方法 |
JP2020167660A (ja) * | 2019-03-29 | 2020-10-08 | 株式会社ソニー・インタラクティブエンタテインメント | 画像データ伝送方法、コンテンツ処理装置、ヘッドマウントディスプレイ、中継装置、および、コンテンツ処理システム |
CN110475150A (zh) * | 2019-09-11 | 2019-11-19 | 广州华多网络科技有限公司 | 虚拟礼物特效的渲染方法和装置、直播*** |
CN110493630A (zh) * | 2019-09-11 | 2019-11-22 | 广州华多网络科技有限公司 | 虚拟礼物特效的处理方法和装置、直播*** |
CN111583116A (zh) * | 2020-05-06 | 2020-08-25 | 上海瀚正信息科技股份有限公司 | 基于多摄像机交叉摄影的视频全景拼接融合方法及*** |
Non-Patent Citations (1)
Title |
---|
鲍冠伯等: "星空背景图像序列压缩编码方法研究", 《计算机工程与应用》 * |
Also Published As
Publication number | Publication date |
---|---|
CN112383788B (zh) | 2023-05-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110602554B (zh) | 封面图像确定方法、装置及设备 | |
CN107911644B (zh) | 基于虚拟人脸表情进行视频通话的方法及装置 | |
CN108737882B (zh) | 图像的显示方法、装置、存储介质及电子装置 | |
CN108010037B (zh) | 图像处理方法、装置及存储介质 | |
CN112272327B (zh) | 数据处理方法、装置、存储介质及设备 | |
CN109413152A (zh) | 图像处理方法、装置、存储介质及电子设备 | |
CN101895694A (zh) | 字幕叠加方法及装置 | |
WO2021115255A1 (zh) | 一种评测vr体验临场感的方法、装置及*** | |
CN111643901B (zh) | 用于云游戏界面智能渲染的方法和装置 | |
CN103581113A (zh) | 通信数据的发送方法、***及接收装置 | |
CN112383788A (zh) | 一种基于智能ai技术的直播实时图像提取***及方法 | |
CN113823133B (zh) | 一种将虚拟现实技术与教育培训结合的数据交换*** | |
CN105763947A (zh) | 一种智能电视用户的特征兴趣提取方法 | |
CN114466202B (zh) | 混合现实直播方法、装置、电子设备以及可读存储介质 | |
CN115311919A (zh) | 一种基于vr技术的口语实训方法以及*** | |
CN113706673A (zh) | 一种应用于虚拟增强现实技术的云渲染框架平台 | |
CN114363666A (zh) | 视频处理方法、装置及电子设备 | |
CN111327943B (zh) | 信息管理方法及装置、***、计算机设备、存储介质 | |
CN103607555A (zh) | 一种用于视频交互的方法与设备 | |
CN110505501A (zh) | 信息处理方法、电子设备及计算机可读存储介质 | |
CN112367534B (zh) | 一种虚实混合的数字直播平台及实现方法 | |
CN112732381B (zh) | 一种在线课堂的桌面数据采集方法及*** | |
CN118075418B (zh) | 视频会议内容输出优化方法、装置、设备及其存储介质 | |
WO2024152697A1 (zh) | 数据处理方法、装置、计算机设备以及可读存储介质 | |
Yang et al. | Research on the application of computer virtual reality technology in tennis visual communication system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |