CN106488297A - 一种显示图像数据的方法和装置 - Google Patents

一种显示图像数据的方法和装置 Download PDF

Info

Publication number
CN106488297A
CN106488297A CN201610920831.XA CN201610920831A CN106488297A CN 106488297 A CN106488297 A CN 106488297A CN 201610920831 A CN201610920831 A CN 201610920831A CN 106488297 A CN106488297 A CN 106488297A
Authority
CN
China
Prior art keywords
live
video acquisition
assembly
flash
image data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610920831.XA
Other languages
English (en)
Other versions
CN106488297B (zh
Inventor
吕现广
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Kugou Computer Technology Co Ltd
Original Assignee
Guangzhou Kugou Computer Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Kugou Computer Technology Co Ltd filed Critical Guangzhou Kugou Computer Technology Co Ltd
Priority to CN201610920831.XA priority Critical patent/CN106488297B/zh
Publication of CN106488297A publication Critical patent/CN106488297A/zh
Application granted granted Critical
Publication of CN106488297B publication Critical patent/CN106488297B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/478Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4782Web browsing, e.g. WebTV
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81Monomedia components thereof
    • H04N21/8166Monomedia components thereof involving executable data, e.g. software
    • H04N21/8173End-user applications, e.g. Web browser, game

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

本发明公开了一种显示图像数据的方法和装置,属于计算机技术领域。所述方法包括:接收flash直播组件发送的激活请求;当检测到所述flash直播组件创建视频采集对象时,根据所述flash直播组件中的对象创建函数,创建所述视频采集对象,并创建所述视频采集对象对应的视频采集代理对象,所述视频采集对象用于接收视频采集设备采集到的图像数据;通过所述视频采集代理对象获取所述视频采集对象接收到的图像数据,并通过所述视频采集代理对象将所述图像数据发送给所述flash直播组件,以使所述flash直播组件在网页中显示所述图像数据。采用本发明,可以提高进行直播的效率。

Description

一种显示图像数据的方法和装置
技术领域
本发明涉及计算机技术领域,特别涉及一种显示图像数据的方法和装置。
背景技术
随着互联网技术的发展,越来越多的用户开始通过终端来进行网络直播。其中,通过某直播网站的网页进行直播,是用户常用的直播方式之一。由于网页自带的flash直播组件的编解码质量较差,所以用户通常会终端安装编解码质量较高的应用程序(如ActiveX控件或繁星伴奏等)。终端可以与视频采集设备(如摄像头)和音频采集设备(如麦克风)连接,进而得到视频采集设备采集到的图像数据和音频采集设备采集到的音频数据。终端可以通过该应用程序对图像数据和音频数据进行编解码,得到质量较高的媒体流,然后将该媒体流发送给流媒体服务器,以使观众可以看到质量较高的直播视频。
在直播时,用户需要在终端看到自己的直播图像,因此,该应用程序需要将接收到的图像数据发送给flash直播组件,以使flash直播组件在网页中显示该用户的直播图像。因此,该应用程序启动时,会先在***中注册一个网络监听端口,网络监听端口是不同应用程序之间用于传输数据的端口。这样,该应用程序接收到图像数据后,可以通过该网络监听端口,将接收到的图像数据发送给flash直播组件,由flash直播组件将该图像数据显示在本地的网页中。
在实现本发明的过程中,发明人发现现有技术至少存在以下问题:
终端中很多应用程序(如迅雷)都会在终端注册网络监听端口,以便和其他应用程序进行数据传输,由于网络监听端口的端口号是技术人员预先设置的,所以可能会出现其他应用程序已注册的网络监听端口的端口号,与该应用程序的网络监听端口的端口号相同的情况,这时,该应用程序将注册失败,无法启动,用户需要关闭其他应用程序,然后才能使用该应用程序,这样会导致进行直播的效率较低。
发明内容
为了解决现有技术的问题,本发明实施例提供了一种显示图像数据的方法和装置。所述技术方案如下:
第一方面,提供了一种显示图像数据的方法,所述方法包括:
接收flash直播组件发送的激活请求;
当检测到所述flash直播组件创建视频采集对象时,根据所述flash直播组件中的对象创建函数,创建所述视频采集对象,并创建所述视频采集对象对应的视频采集代理对象,所述视频采集对象用于接收视频采集设备采集到的图像数据;
通过所述视频采集代理对象获取所述视频采集对象接收到的图像数据,并通过所述视频采集代理对象将所述图像数据发送给所述flash直播组件,以使所述flash直播组件在网页中显示所述图像数据。
可选的,所述当检测到所述flash直播组件创建视频采集对象时,根据所述flash直播组件中的对象创建函数,创建所述视频采集对象之前,所述方法还包括:
将所述flash直播组件中的直接显示DirectShow组件中存储的对象创建函数的地址,修改为预设地址,所述预设地址中存储有检测函数;
当所述flash直播组件根据所述预设地址调用所述检测函数时,获取所述flash直播组件发送的组件标识,如果所述组件标识为视频采集组件的标识,则判定所述flash直播组件创建视频采集对象。
可选的,所述方法还包括
接收所述flash直播组件在显示所述图像数据后发送的去激活请求,将所述预设地址修改为所述对象创建函数的地址。
可选的,所述方法还包括:
将所述视频采集代理对象的指针发送给所述flash直播组件,以使所述flash直播组件根据所述指针向所述视频采集代理对象发送视频采集参数;
通过所述视频采集代理对象将所述图像采集参数发送给所述视频采集设备,以使所述视频采集设备基于所述图像采集参数,采集图像数据。
可选的,所述方法还包括:
根据所述对象创建函数,创建音频采集对象,通过所述音频采集对象获取音频采集设备采集到的音频数据;
分别对所述音频数据和所述图像数据进行编解码处理,将编解码处理后的音频数据和图像数据发送给流媒体服务器。
第二方面,提供了一种显示图像数据的装置,所述装置包括:
第一接收模块,用于接收flash直播组件发送的激活请求;
第一创建模块,用于当检测到所述flash直播组件创建视频采集对象时,根据所述flash直播组件中的对象创建函数,创建所述视频采集对象,并创建所述视频采集对象对应的视频采集代理对象,所述视频采集对象用于接收视频采集设备采集到的图像数据;
显示模块,用于通过所述视频采集代理对象获取所述视频采集对象接收到的图像数据,并通过所述视频采集代理对象将所述图像数据发送给所述flash直播组件,以使所述flash直播组件在网页中显示所述图像数据。
可选的,所述装置还包括:
修改模块,用于将所述flash直播组件中的直接显示DirectShow组件中存储的对象创建函数的地址,修改为预设地址,所述预设地址中存储有检测函数;
检测模块,用于当所述flash直播组件根据所述预设地址调用所述检测函数时,获取所述flash直播组件发送的组件标识,如果所述组件标识为视频采集组件的标识,则判定所述flash直播组件创建视频采集对象。
可选的,所述装置还包括
第二接收模块,用于接收所述flash直播组件在显示所述图像数据后发送的去激活请求,将所述预设地址修改为所述对象创建函数的地址。
可选的,所述装置还包括:
第一发送模块,用于将所述视频采集代理对象的指针发送给所述flash直播组件,以使所述flash直播组件根据所述指针向所述视频采集代理对象发送视频采集参数;
第二发送模块,用于通过所述视频采集代理对象将所述图像采集参数发送给所述视频采集设备,以使所述视频采集设备基于所述图像采集参数,采集图像数据。
可选的,所述装置还包括:
第二创建模块,用于根据所述对象创建函数,创建音频采集对象,通过所述音频采集对象获取音频采集设备采集到的音频数据;
编解码模块,用于分别对所述音频数据和所述图像数据进行编解码处理,将编解码处理后的音频数据和图像数据发送给流媒体服务器。
本发明实施例提供的技术方案带来的有益效果是:
本发明实施例中,接收flash直播组件发送的激活请求,当检测到flash直播组件创建视频采集对象时,根据flash直播组件中的对象创建函数,创建视频采集对象,并创建视频采集对象对应的视频采集代理对象,视频采集对象用于接收视频采集设备采集到的图像数据,通过视频采集代理对象获取视频采集对象接收到的图像数据,并通过视频采集代理对象将图像数据发送给flash直播组件,以使flash直播组件在网页中显示图像数据,基于上述处理,无需注册网络监听端口,就可以将图像数据发送给flash直播组件进行显示,可以避免因注册的端口号与其他应用程序的网络监听端口的端口号相同,而导致该应用程序无法启动的情况,从而可以提高进行直播的效率。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种显示图像数据的方法流程图;
图2是本发明实施例提供的一种界面显示示意图;
图3是本发明实施例提供的一种界面显示示意图;
图4是本发明实施例提供的一种显示图像数据的装置结构示意图;
图5是本发明实施例提供的一种显示图像数据的装置结构示意图;
图6是本发明实施例提供的一种显示图像数据的装置结构示意图;
图7是本发明实施例提供的一种显示图像数据的装置结构示意图;
图8是本发明实施例提供的一种显示图像数据的装置结构示意图;
图9是本发明实施例提供的一种终端的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚,下面将结合附图对本发明实施方式作进一步地详细描述。
本发明实施例提供了一种显示图像数据的方法,该方法的执行主体为终端中安装的某应用程序,该应用程序可以是在视频直播过程中用于对视频数据进行编解码的应用程序,本实施例以该应用程序为IE直播控件为例进行说明,其他情况与之类似。
如图1所示,该方法的处理流程可以包括如下的步骤:
步骤101,接收flash直播组件发送的激活请求。
在实施中,技术人员可以开发在视频直播过程中用于对视频数据进行编解码的应用程序(即IE直播控件)。IE直播控件可以适用于内核为IE内核的浏览器。IE直播控件中可以设置四个接口函数供flash直播组件调用,包括激活接口函数、去激活接口函数、开始推流接口函数和停止推流接口函数。flash直播组件调用IE直播控件的接口函数的方式可以为:Flash直播组件先调用Javascript,然后通过Javascript调用IE直播控件的接口函数。其中,flash直播组件在window平台上可以采用基于COM规范的DirectShow多媒体框架实现,flash直播组可以至少包括DirectShow组件、Camera组件和Video组件。
当某用户进行直播时,该用户可以在终端打开浏览器,然后可以在该浏览器中,打开某直播网站的网页。当终端接收到对应该网页的开启指令时,可以向该直播网站的后台服务器发送对应该直播网站的数据请求,服务器可以将该直播网站的网页数据、IE直播控件的数据,以及Flash直播组件的数据发送给终端。终端可以基于该网页数据,显示该直播网站的网页。用户可以在该网页中,点击直播选择,终端则可以显示直播页面,并可以在直播页面的上层,显示设备选择窗口,设备选择窗口中可以显示有设备列表,该设备列表可以包括与终端连接的视频采集设备的标识,以及与终端连接的音频采集设备的标识。用户可以在该设备列中,选择需要使用的视频采集设备和音频采集设备。其中,视频采集设备可以是摄像头,音频采集设备可以是麦克风。如图2所示,用户选择了摄像头二和麦克风一。用户选择完成后,可以点击确定选项,flash直播组件则可以接收到用户选择的视频采集设备的标识,和音频采集设备的标识,然后可以调用IE直播控件的激活接口,IE直播控件则可以接收到flash直播组件发送的激活请求。
另外,上述激活请求中可以携带有用户选择的音频采集设备的标识,IE直播控件可以对音频采集设备的标识进行存储,以便后续获取音频采集设备采集到的音频数据(即音频帧的数据),从而对音频数据进行编解码处理。
步骤102,当检测到flash直播组件创建视频采集对象时,根据flash直播组件中的对象创建函数,创建视频采集对象,并创建视频采集对象对应的视频采集代理对象,视频采集对象用于接收视频采集设备采集到的图像数据。
在实施中,IE直播控件接收到flash直播组件发送的激活请求后,可以实时检测到flash直播组件是否创建视频采集对象,当检测到flash直播组件创建视频采集对象时,IE直播控件可以拦截该创建过程,并可以根据flash直播组件中的对象创建函数(如全局函数CoCreateInstance),创建该视频采集对象,并保留该视频采集对象的指针,然后可以基于flash直播组件中的DirectShow组件的视频采集Filter接口,创建视频采集代理对像,这样,可以使得视频采集代理对像中的函数和参数,与视频采集对象中的函数和参数保持一致,以便于和flash直播组件之间传输数据。IE直播控件可以将视频采集代理对像的指针发送给Flash直播组件,以便Flash直播组件可以基于该指针,调用视频采集代理对像。
可选的,IE直播控件检测flash直播组件是否创建视频采集对象的处理过程可以如下:将flash直播组件中的直接显示DirectShow组件中存储的对象创建函数的地址,修改为预设地址,预设地址中存储有检测函数;当flash直播组件根据预设地址,调用检测函数时,获取flash直播组件发送的组件标识,如果组件标识为视频采集组件的标识,则判定flash直播组件创建视频采集对象。
在实施中,flash直播组件中的DirectShow组件中,可以设置有存储区,存储区中可以存储有用于创建对象的对象创建函数,以及该对象创建函数的地址,flash直播组件可以根据该地址,调用对象创建函数,然后创建对象。例如,flash直播组件中可以存储地址A,地址A中存储有对象创建函数。IE直播控件接收到flash直播组件发送的激活请求后,可以将该DirectShow组件中存储的对象创建函数的地址,修改为预设地址,预设地址中可以存储有检测函数,如KGNewCoCreateInstance。其中,对象创建函数中的参数与检测函数中的参数可以是相同的。另外,IE直播控件还可以保持DirectShow组件中的对象创建函数的地扯,以便后续可以调用该函数。
Flash直播组件通过Action Script脚本代码调用Flash引擎提供的Camera组件创建视频采集对像时,会从该存储区中获取到预设地址,然后基于预设地址,调用检测函数,并可以向该检测函数输入创建对象对应的组件标识。对于创建视频采集对象的情况,该组件标识可以是根据上述接收到的视频采集设备的标识确定出的。IE直播控件则通过检测函数(如KGNewCoCreateInstance)拦截到视频采集对像的创建过程,并可以获取该组件标识。IE直播控件中可以获取终端中的各视频采集设备对应的视频采集组件的标识,然后可以将该组件标识,与各视频采集组件的标识进行对比,判定该组件标识是否为视频采集组件的标识,如果是,则可以判定flash直播组件创建视频采集对象,执行步骤102的处理。如果不是,则可以根据flash直播组件中的对象创建函数,创建组件标识对应的对象,具体的,可以根据之前存储的flash直播组件中的对象创建函数的地扯,调用该对象创建函数,从而创建该组件标识对应的对象,并将该对象的指针发送给Flash直播组件。
可选的,可以设置视频采集设备的图像采集参数,相应的处理过程可以如下:将视频采集代理对象的指针发送给flash直播组件,以使flash直播组件根据指针向视频采集代理对象发送视频采集参数;通过视频采集代理对象将图像采集参数发送给视频采集设备,以使视频采集设备基于图像采集参数,采集图像数据。
在实施中,如上所述,IE直播控件可以将视频采集代理对像的指针发送给Flash直播组件,以便Flash直播组件可以基于该指针,调用视频采集代理对像。Flash直播组件可以根据指针向视频采集代理对象发送视频采集参数,视频采集参数可以包括图像的分辨率和质量等级等参数。视频采集代理对象可以将视频采集参数发送给视频采集对象,视频采集对象可以将视频采集参数发送给视频采集设备,视频采集设备可以基于接收到的图像采集参数,采集图像数据(即图像帧的数据)。
步骤103,通过视频采集代理对象获取视频采集对象接收到的图像数据,并通过视频采集代理对象将图像数据发送给flash直播组件,以使flash直播组件在网页中显示图像数据。
在实施中,视频采集设备采集到图像数据后,可以将图像数据发送给视频采集对象,视频采集对象再将该图像数据发送给视频采集代理对象,视频采集代理对象可以复制图像数据给flash直播组件,flash直播组件接收到图像数据后,可以将Camera对像attach到Video对像显示视频,从而实现在网页中显示图像数据,以使用户可以预览自己的直播视频,如图3所示。
可选的,在实现预览后,可以对IE直播控件进行去激活处理,相应的处理过程可以如下:接收flash直播组件在显示图像数据后发送的去激活请求,将预设地址修改为对象创建函数的地址。
在实施中,Flash直播组件在网页中显示图像数据后,可以向IE直播控件发送去激活请求,IE直播控件接收到去激活请求后,可以将DirectShow组件中的预设地址,修改为对象创建函数的地址,这样,DirectShow组件在后续的处理过程中,可以直接调用对象创建函数创建对象,无需经过IE直播控件。
可选的,IE直播控件可以在直播过程中,对图像数据和音频数据进行编解码处理,相应的处理过程可以如下:根据对象创建函数,创建音频采集对象,通过音频采集对象获取音频采集设备采集到的音频数据;分别对音频数据和图像数据进行编解码处理,将编解码处理后的音频数据和图像数据发送给流媒体服务器。
在实施中,IE直播控件可以根据对象创建函数,以及上述保存的音频采集设备的标识,创建该音频设备的音频采集对像,并可以保存该音频采集对象的指针。音频采集设备采集到音频数据后,可以将音频数据发送给音频采集对象。当Flash直播组件在网页中显示图像数据后,Flash直播组件的DirectShow框架可以调用视频采集代理对像的Active接口方法,创建用于音视频编码的媒体输入Filter组件,同时还可以创建音视频帧缓存对像,音视频帧缓存对像可以音频采集对象采集到的音频数据,和视频采集对象采集到的图像数据进行存储,以便进行编解码处理。
Flash直播组件可以调用IE直播控件的开始推流接口,并通过该开始推流接口将媒体服务器地扯、音视频编码模式、码率等参数发送给IE直播控件,IE直播控件则可以接收开始推流请求,然后创建音视频编码对像、编码缓存对像、推流对像、以及编码线程、推流线程,同时将这些对像与媒体输入Filter组件相关联。媒体输入Filter组件可以接收音频采集对象采集到的音频数据,以及视频采集对象采集到的图像数据,然后可以将接收到的音频数据和图像数据发送给音视频帧缓存对像进行存储,编码线程则可以从音视频帧缓存对像获取采集到的音频数据和图像数据,然后可以对音频数据和图像数据进行编码,将编码后的音频数据和图像数据写入编码缓存对像。推流线程可以从编码缓存对像获取编码后的音频数据和图像数据,并封装成流媒体格式,然后可以调用推流对像的相关方法,由推流对像将该媒体流发送给流媒体服务器。
当用户停止直播时,用户可以点击停止直播的选项,Flash直播组件则可以接收到停止直播的指令,然后可以调用IE直播控件的停止推流接口,IE直播控件可以删除上述建立的各对像,并停止相关线程,结束本次流媒体推流会话。
本发明实施例中,接收flash直播组件发送的激活请求,当检测到flash直播组件创建视频采集对象时,根据flash直播组件中的对象创建函数,创建视频采集对象,并创建视频采集对象对应的视频采集代理对象,视频采集对象用于接收视频采集设备采集到的图像数据,通过视频采集代理对象获取视频采集对象接收到的图像数据,并通过视频采集代理对象将图像数据发送给flash直播组件,以使flash直播组件在网页中显示图像数据,基于上述处理,无需注册网络监听端口,就可以将图像数据发送给flash直播组件进行显示,可以避免因注册的端口号与其他应用程序的网络监听端口的端口号相同,而导致用户需要关闭其他应用程序,然后才能使用该应用程序的情况,提高进行直播的效率。
基于相同的技术构思,本发明实施例还提供了一种显示图像数据的装置,如图4所示,该装置包括:
第一接收模块410,用于接收flash直播组件发送的激活请求;
第一创建模块420,用于当检测到所述flash直播组件创建视频采集对象时,根据所述flash直播组件中的对象创建函数,创建所述视频采集对象,并创建所述视频采集对象对应的视频采集代理对象,所述视频采集对象用于接收视频采集设备采集到的图像数据;
显示模块430,用于通过所述视频采集代理对象获取所述视频采集对象接收到的图像数据,并通过所述视频采集代理对象将所述图像数据发送给所述flash直播组件,以使所述flash直播组件在网页中显示所述图像数据。
可选的,如图5所示,所述装置还包括:
修改模块440,用于将所述flash直播组件中的直接显示DirectShow组件中存储的对象创建函数的地址,修改为预设地址,所述预设地址中存储有检测函数;
检测模块450,用于当所述flash直播组件根据所述预设地址调用所述检测函数时,获取所述flash直播组件发送的组件标识,如果所述组件标识为视频采集组件的标识,则判定所述flash直播组件创建视频采集对象。
可选的,如图6所示,所述装置还包括
第二接收模块460,用于接收所述flash直播组件在显示所述图像数据后发送的去激活请求,将所述预设地址修改为所述对象创建函数的地址。
可选的,如图7所示,所述装置还包括:
第一发送模块470,用于将所述视频采集代理对象的指针发送给所述flash直播组件,以使所述flash直播组件根据所述指针向所述视频采集代理对象发送视频采集参数;
第二发送模块480,用于通过所述视频采集代理对象将所述图像采集参数发送给所述视频采集设备,以使所述视频采集设备基于所述图像采集参数,采集图像数据。
可选的,如图8所示,所述装置还包括:
第二创建模块490,用于根据所述对象创建函数,创建音频采集对象,通过所述音频采集对象获取音频采集设备采集到的音频数据;
编解码模块4100,用于分别对所述音频数据和所述图像数据进行编解码处理,将编解码处理后的音频数据和图像数据发送给流媒体服务器。
本发明实施例中,接收flash直播组件发送的激活请求,当检测到flash直播组件创建视频采集对象时,根据flash直播组件中的对象创建函数,创建视频采集对象,并创建视频采集对象对应的视频采集代理对象,视频采集对象用于接收视频采集设备采集到的图像数据,通过视频采集代理对象获取视频采集对象接收到的图像数据,并通过视频采集代理对象将图像数据发送给flash直播组件,以使flash直播组件在网页中显示图像数据,基于上述处理,无需注册网络监听端口,就可以将图像数据发送给flash直播组件进行显示,可以避免因注册的端口号与其他应用程序的网络监听端口的端口号相同,而导致用户需要关闭其他应用程序,然后才能使用该应用程序的情况,提高进行直播的效率。
需要说明的是:上述实施例提供的显示图像数据的装置在显示图像数据时,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将设备的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。另外,上述实施例提供的显示图像数据的装置与显示图像数据的方法实施例属于同一构思,其具体实现过程详见方法实施例,这里不再赘述。
请参考图9,其示出了本发明实施例所涉及的终端的结构示意图,该终端可以安装有上述应用程序的终端,用于实施上述实施例中提供的显示图像数据的方法。具体来讲:
终端900可以包括RF(Radio Frequency,射频)电路110、包括有一个或一个以上计算机可读存储介质的存储器120、输入单元130、显示单元140、传感器150、音频电路160、WiFi(wireless fidelity,无线保真)模块170、包括有一个或者一个以上处理核心的处理器180、以及电源190等部件。本领域技术人员可以理解,图9中示出的终端结构并不构成对终端的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。其中:
RF电路110可用于收发信息或通话过程中,信号的接收和发送,特别地,将基站的下行信息接收后,交由一个或者一个以上处理器180处理;另外,将涉及上行的数据发送给基站。通常,RF电路110包括但不限于天线、至少一个放大器、调谐器、一个或多个振荡器、用户身份模块(SIM)卡、收发信机、耦合器、LNA(Low Noise Amplifier,低噪声放大器)、双工器等。此外,RF电路110还可以通过无线通信与网络和其他设备通信。所述无线通信可以使用任一通信标准或协议,包括但不限于GSM(Global System of Mobile communication,全球移动通讯***)、GPRS(General Packet Radio Service,通用分组无线服务)、CDMA(CodeDivision Multiple Access,码分多址)、WCDMA(Wideband Code Division MultipleAccess,宽带码分多址)、LTE(Long Term Evolution,长期演进)、电子邮件、SMS(ShortMessaging Service,短消息服务)等。
存储器120可用于存储软件程序以及模块,处理器180通过运行存储在存储器120的软件程序以及模块,从而执行各种功能应用以及数据处理。存储器120可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作***、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等;存储数据区可存储根据终端900的使用所创建的数据(比如音频数据、电话本等)等。此外,存储器120可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地,存储器120还可以包括存储器控制器,以提供处理器180和输入单元130对存储器120的访问。
输入单元130可用于接收输入的数字或字符信息,以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。具体地,输入单元130可包括触敏表面131以及其他输入设备132。触敏表面131,也称为触摸显示屏或者触控板,可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触敏表面131上或在触敏表面131附近的操作),并根据预先设定的程式驱动相应的连接装置。可选的,触敏表面131可包括触摸检测装置和触摸控制器两个部分。其中,触摸检测装置检测用户的触摸方位,并检测触摸操作带来的信号,将信号传送给触摸控制器;触摸控制器从触摸检测装置上接收触摸信息,并将它转换成触点坐标,再送给处理器180,并能接收处理器180发来的命令并加以执行。此外,可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触敏表面131。除了触敏表面131,输入单元130还可以包括其他输入设备132。具体地,其他输入设备132可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆等中的一种或多种。
显示单元140可用于显示由用户输入的信息或提供给用户的信息以及终端900的各种图形用户接口,这些图形用户接口可以由图形、文本、图标、视频和其任意组合来构成。显示单元140可包括显示面板141,可选的,可以采用LCD(Liquid Crystal Display,液晶显示器)、OLED(Organic Light-Emitting Diode,有机发光二极管)等形式来配置显示面板141。进一步的,触敏表面131可覆盖显示面板141,当触敏表面131检测到在其上或附近的触摸操作后,传送给处理器180以确定触摸事件的类型,随后处理器180根据触摸事件的类型在显示面板141上提供相应的视觉输出。虽然在图9中,触敏表面131与显示面板141是作为两个独立的部件来实现输入和输入功能,但是在某些实施例中,可以将触敏表面131与显示面板141集成而实现输入和输出功能。
终端900还可包括至少一种传感器150,比如光传感器、运动传感器以及其他传感器。具体地,光传感器可包括环境光传感器及接近传感器,其中,环境光传感器可根据环境光线的明暗来调节显示面板141的亮度,接近传感器可在终端900移动到耳边时,关闭显示面板141和/或背光。作为运动传感器的一种,重力加速度传感器可检测各个方向上(一般为三轴)加速度的大小,静止时可检测出重力的大小及方向,可用于识别手机姿态的应用(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等;至于终端900还可配置的陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器,在此不再赘述。
音频电路160、扬声器161,传声器162可提供用户与终端900之间的音频接口。音频电路160可将接收到的音频数据转换后的电信号,传输到扬声器161,由扬声器161转换为声音信号输出;另一方面,传声器162将收集的声音信号转换为电信号,由音频电路160接收后转换为音频数据,再将音频数据输出处理器180处理后,经RF电路110以发送给比如另一终端,或者将音频数据输出至存储器120以便进一步处理。音频电路160还可能包括耳塞插孔,以提供外设耳机与终端900的通信。
WiFi属于短距离无线传输技术,终端900通过WiFi模块170可以帮助用户收发电子邮件、浏览网页和访问流式媒体等,它为用户提供了无线的宽带互联网访问。虽然图9示出了WiFi模块170,但是可以理解的是,其并不属于终端900的必须构成,完全可以根据需要在不改变发明的本质的范围内而省略。
处理器180是终端900的控制中心,利用各种接口和线路连接整个手机的各个部分,通过运行或执行存储在存储器120内的软件程序和/或模块,以及调用存储在存储器120内的数据,执行终端900的各种功能和处理数据,从而对手机进行整体监控。可选的,处理器180可包括一个或多个处理核心;优选的,处理器180可集成应用处理器和调制解调处理器,其中,应用处理器主要处理操作***、用户界面和应用程序等,调制解调处理器主要处理无线通信。可以理解的是,上述调制解调处理器也可以不集成到处理器180中。
终端900还包括给各个部件供电的电源190(比如电池),优选的,电源可以通过电源管理***与处理器180逻辑相连,从而通过电源管理***实现管理充电、放电、以及功耗管理等功能。电源190还可以包括一个或一个以上的直流或交流电源、再充电***、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。
尽管未示出,终端900还可以包括摄像头、蓝牙模块等,在此不再赘述。具体在本实施例中,终端900的显示单元是触摸屏显示器,终端900还包括有存储器,以及一个或者一个以上的程序,其中一个或者一个以上程序存储于存储器中,且经配置以由一个或者一个以上处理器执行述一个或者一个以上程序包含用于进行以下操作的指令:
接收flash直播组件发送的激活请求;
当检测到所述flash直播组件创建视频采集对象时,根据所述flash直播组件中的对象创建函数,创建所述视频采集对象,并创建所述视频采集对象对应的视频采集代理对象,所述视频采集对象用于接收视频采集设备采集到的图像数据;
通过所述视频采集代理对象获取所述视频采集对象接收到的图像数据,并通过所述视频采集代理对象将所述图像数据发送给所述flash直播组件,以使所述flash直播组件在网页中显示所述图像数据。
可选的,所述当检测到所述flash直播组件创建视频采集对象时,根据所述flash直播组件中的对象创建函数,创建所述视频采集对象之前,所述方法还包括:
将所述flash直播组件中的直接显示DirectShow组件中存储的对象创建函数的地址,修改为预设地址,所述预设地址中存储有检测函数;
当所述flash直播组件根据所述预设地址调用所述检测函数时,获取所述flash直播组件发送的组件标识,如果所述组件标识为视频采集组件的标识,则判定所述flash直播组件创建视频采集对象。
可选的,所述方法还包括
接收所述flash直播组件在显示所述图像数据后发送的去激活请求,将所述预设地址修改为所述对象创建函数的地址。
可选的,所述方法还包括:
将所述视频采集代理对象的指针发送给所述flash直播组件,以使所述flash直播组件根据所述指针向所述视频采集代理对象发送视频采集参数;
通过所述视频采集代理对象将所述图像采集参数发送给所述视频采集设备,以使所述视频采集设备基于所述图像采集参数,采集图像数据。
可选的,所述方法还包括:
根据所述对象创建函数,创建音频采集对象,通过所述音频采集对象获取音频采集设备采集到的音频数据;
分别对所述音频数据和所述图像数据进行编解码处理,将编解码处理后的音频数据和图像数据发送给流媒体服务器。
本发明实施例中,接收flash直播组件发送的激活请求,当检测到flash直播组件创建视频采集对象时,根据flash直播组件中的对象创建函数,创建视频采集对象,并创建视频采集对象对应的视频采集代理对象,视频采集对象用于接收视频采集设备采集到的图像数据,通过视频采集代理对象获取视频采集对象接收到的图像数据,并通过视频采集代理对象将图像数据发送给flash直播组件,以使flash直播组件在网页中显示图像数据,基于上述处理,无需注册网络监听端口,就可以将图像数据发送给flash直播组件进行显示,可以避免因注册的端口号与其他应用程序的网络监听端口的端口号相同,而导致用户需要关闭其他应用程序,然后才能使用该应用程序的情况,提高进行直播的效率。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成,也可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,上述提到的存储介质可以是只读存储器,磁盘或光盘等。
以上所述仅为本发明的较佳实施例,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (10)

1.一种显示图像数据的方法,其特征在于,所述方法包括:
接收flash直播组件发送的激活请求;
当检测到所述flash直播组件创建视频采集对象时,根据所述flash直播组件中的对象创建函数,创建所述视频采集对象,并创建所述视频采集对象对应的视频采集代理对象,所述视频采集对象用于接收视频采集设备采集到的图像数据;
通过所述视频采集代理对象获取所述视频采集对象接收到的图像数据,并通过所述视频采集代理对象将所述图像数据发送给所述flash直播组件,以使所述flash直播组件在网页中显示所述图像数据。
2.根据权利要求1所述的方法,其特征在于,所述当检测到所述flash直播组件创建视频采集对象时,根据所述flash直播组件中的对象创建函数,创建所述视频采集对象之前,所述方法还包括:
将所述flash直播组件中的直接显示DirectShow组件中存储的对象创建函数的地址,修改为预设地址,所述预设地址中存储有检测函数;
当所述flash直播组件根据所述预设地址调用所述检测函数时,获取所述flash直播组件发送的组件标识,如果所述组件标识为视频采集组件的标识,则判定所述flash直播组件创建视频采集对象。
3.根据权利要求2所述的方法,其特征在于,所述方法还包括
接收所述flash直播组件在显示所述图像数据后发送的去激活请求,将所述预设地址修改为所述对象创建函数的地址。
4.根据权利要求1所述的方法,其特征在于,所述方法还包括:
将所述视频采集代理对象的指针发送给所述flash直播组件,以使所述flash直播组件根据所述指针向所述视频采集代理对象发送视频采集参数;
通过所述视频采集代理对象将所述图像采集参数发送给所述视频采集设备,以使所述视频采集设备基于所述图像采集参数,采集图像数据。
5.根据权利要求1所述的方法,其特征在于,所述方法还包括:
根据所述对象创建函数,创建音频采集对象,通过所述音频采集对象获取音频采集设备采集到的音频数据;
分别对所述音频数据和所述图像数据进行编解码处理,将编解码处理后的音频数据和图像数据发送给流媒体服务器。
6.一种显示图像数据的装置,其特征在于,所述装置包括:
第一接收模块,用于接收flash直播组件发送的激活请求;
第一创建模块,用于当检测到所述flash直播组件创建视频采集对象时,根据所述flash直播组件中的对象创建函数,创建所述视频采集对象,并创建所述视频采集对象对应的视频采集代理对象,所述视频采集对象用于接收视频采集设备采集到的图像数据;
显示模块,用于通过所述视频采集代理对象获取所述视频采集对象接收到的图像数据,并通过所述视频采集代理对象将所述图像数据发送给所述flash直播组件,以使所述flash直播组件在网页中显示所述图像数据。
7.根据权利要求6所述的装置,其特征在于,所述装置还包括:
修改模块,用于将所述flash直播组件中的直接显示DirectShow组件中存储的对象创建函数的地址,修改为预设地址,所述预设地址中存储有检测函数;
检测模块,用于当所述flash直播组件根据所述预设地址调用所述检测函数时,获取所述flash直播组件发送的组件标识,如果所述组件标识为视频采集组件的标识,则判定所述flash直播组件创建视频采集对象。
8.根据权利要求7所述的装置,其特征在于,所述装置还包括
第二接收模块,用于接收所述flash直播组件在显示所述图像数据后发送的去激活请求,将所述预设地址修改为所述对象创建函数的地址。
9.根据权利要求6所述的装置,其特征在于,所述装置还包括:
第一发送模块,用于将所述视频采集代理对象的指针发送给所述flash直播组件,以使所述flash直播组件根据所述指针向所述视频采集代理对象发送视频采集参数;
第二发送模块,用于通过所述视频采集代理对象将所述图像采集参数发送给所述视频采集设备,以使所述视频采集设备基于所述图像采集参数,采集图像数据。
10.根据权利要求6所述的装置,其特征在于,所述装置还包括:
第二创建模块,用于根据所述对象创建函数,创建音频采集对象,通过所述音频采集对象获取音频采集设备采集到的音频数据;
编解码模块,用于分别对所述音频数据和所述图像数据进行编解码处理,将编解码处理后的音频数据和图像数据发送给流媒体服务器。
CN201610920831.XA 2016-10-21 2016-10-21 一种显示图像数据的方法和装置 Active CN106488297B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610920831.XA CN106488297B (zh) 2016-10-21 2016-10-21 一种显示图像数据的方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610920831.XA CN106488297B (zh) 2016-10-21 2016-10-21 一种显示图像数据的方法和装置

Publications (2)

Publication Number Publication Date
CN106488297A true CN106488297A (zh) 2017-03-08
CN106488297B CN106488297B (zh) 2019-01-22

Family

ID=58271067

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610920831.XA Active CN106488297B (zh) 2016-10-21 2016-10-21 一种显示图像数据的方法和装置

Country Status (1)

Country Link
CN (1) CN106488297B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111654717A (zh) * 2020-07-17 2020-09-11 腾讯科技(深圳)有限公司 数据处理方法、装置、设备及存储介质
CN114531603A (zh) * 2022-02-10 2022-05-24 广联达科技股份有限公司 一种视频流的图像处理方法、***及电子设备

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN2512046Y (zh) * 2001-12-29 2002-09-18 台均实业有限公司 带有计算机通用标准接口的一体化ic卡识别装置
CN1909509A (zh) * 2006-07-19 2007-02-07 华为技术有限公司 在媒体分发网络中实现视频直播的***、方法和客户端
CN1937609A (zh) * 2006-08-29 2007-03-28 华为技术有限公司 流媒体平台支持多音轨内容的方法、***及流媒体服务器
CN1954549A (zh) * 2004-05-28 2007-04-25 中兴通讯股份有限公司 一种基于h.323协议的私网终端向网守注册的方法
CN101299677A (zh) * 2008-04-30 2008-11-05 中兴通讯股份有限公司 一种多进程共享同一服务进程的方法
CN100481778C (zh) * 2006-12-28 2009-04-22 杭州华三通信技术有限公司 一种实现终端和伪终端设备绑定的方法、装置及***
US20100092319A1 (en) * 2008-10-14 2010-04-15 Bitzer Scroll Inc. Suction Duct and Scroll Compressor Incorporating Same
CN101751291A (zh) * 2009-12-30 2010-06-23 广东威创视讯科技股份有限公司 应用程序共享同一串口的方法与装置
CN102123269A (zh) * 2010-12-16 2011-07-13 成都市华为赛门铁克科技有限公司 视频监控数据获取方法、装置以及视频监控***

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN2512046Y (zh) * 2001-12-29 2002-09-18 台均实业有限公司 带有计算机通用标准接口的一体化ic卡识别装置
CN1954549A (zh) * 2004-05-28 2007-04-25 中兴通讯股份有限公司 一种基于h.323协议的私网终端向网守注册的方法
CN1909509A (zh) * 2006-07-19 2007-02-07 华为技术有限公司 在媒体分发网络中实现视频直播的***、方法和客户端
CN1937609A (zh) * 2006-08-29 2007-03-28 华为技术有限公司 流媒体平台支持多音轨内容的方法、***及流媒体服务器
CN100481778C (zh) * 2006-12-28 2009-04-22 杭州华三通信技术有限公司 一种实现终端和伪终端设备绑定的方法、装置及***
CN101299677A (zh) * 2008-04-30 2008-11-05 中兴通讯股份有限公司 一种多进程共享同一服务进程的方法
US20100092319A1 (en) * 2008-10-14 2010-04-15 Bitzer Scroll Inc. Suction Duct and Scroll Compressor Incorporating Same
CN101751291A (zh) * 2009-12-30 2010-06-23 广东威创视讯科技股份有限公司 应用程序共享同一串口的方法与装置
CN102123269A (zh) * 2010-12-16 2011-07-13 成都市华为赛门铁克科技有限公司 视频监控数据获取方法、装置以及视频监控***

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111654717A (zh) * 2020-07-17 2020-09-11 腾讯科技(深圳)有限公司 数据处理方法、装置、设备及存储介质
CN111654717B (zh) * 2020-07-17 2023-11-03 腾讯科技(深圳)有限公司 数据处理方法、装置、设备及存储介质
CN114531603A (zh) * 2022-02-10 2022-05-24 广联达科技股份有限公司 一种视频流的图像处理方法、***及电子设备
CN114531603B (zh) * 2022-02-10 2024-03-22 广联达科技股份有限公司 一种视频流的图像处理方法、***及电子设备

Also Published As

Publication number Publication date
CN106488297B (zh) 2019-01-22

Similar Documents

Publication Publication Date Title
CN104780164B (zh) 一种运行游戏客户端的方法和装置
CN104978176B (zh) 应用程序接口调用方法、装置及计算机可读存储介质
CN108512695A (zh) 监控应用卡顿的方法及装置
CN104902531B (zh) 连接网络的方法、应用认证服务器、终端及路由器
CN104683456B (zh) 业务处理方法、服务器及终端
CN104423822B (zh) 录制自动化测试脚本的方法及装置
CN106454404A (zh) 一种播放直播视频的方法、装置和***
CN105389259B (zh) 一种进行应用程序测试的方法、装置及***
CN106502906A (zh) 一种测试应用程序的方法和装置
CN103488939A (zh) 一种提示用户的方法、装置及终端
CN106068020A (zh) 异常状态提示方法及装置
CN104065693A (zh) 一种网页应用中网络数据的访问方法、装置和***
CN107168609A (zh) 状态栏显示方法、装置及终端
CN106488296A (zh) 一种显示视频弹幕的方法和装置
CN106294168A (zh) 一种进行应用程序测试的方法和***
CN104699501B (zh) 一种运行应用程序的方法及装置
CN104123276A (zh) 一种浏览器中弹窗的拦截方法、装置和***
CN106254910A (zh) 一种记录图像的方法和装置
CN104965642A (zh) 下拉列表生成方法及装置
CN106303605B (zh) 一种发送通知消息的方法、装置和***
CN104660769B (zh) 一种添加联系人信息的方法、装置和***
CN103309664B (zh) 截图方法、装置和设备
CN109582565A (zh) 防止应用崩溃的方法、终端及计算机存储介质
CN107122036A (zh) 中央处理器频率调节方法及装置
CN104166899B (zh) 语音互动的方法及终端

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: 510660 Guangzhou City, Guangzhou, Guangdong, Whampoa Avenue, No. 315, self - made 1-17

Applicant after: Guangzhou KuGou Networks Co., Ltd.

Address before: 510000 B1, building, No. 16, rhyme Road, Guangzhou, Guangdong, China 13F

Applicant before: Guangzhou KuGou Networks Co., Ltd.

GR01 Patent grant
GR01 Patent grant