CN106454199B - 一种视频通信方法及移动终端 - Google Patents

一种视频通信方法及移动终端 Download PDF

Info

Publication number
CN106454199B
CN106454199B CN201610927432.6A CN201610927432A CN106454199B CN 106454199 B CN106454199 B CN 106454199B CN 201610927432 A CN201610927432 A CN 201610927432A CN 106454199 B CN106454199 B CN 106454199B
Authority
CN
China
Prior art keywords
image data
terminal
image
video
stored
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610927432.6A
Other languages
English (en)
Other versions
CN106454199A (zh
Inventor
谢莲花
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Vivo Mobile Communication Co Ltd
Original Assignee
Vivo Mobile Communication Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Vivo Mobile Communication Co Ltd filed Critical Vivo Mobile Communication Co Ltd
Priority to CN201610927432.6A priority Critical patent/CN106454199B/zh
Publication of CN106454199A publication Critical patent/CN106454199A/zh
Application granted granted Critical
Publication of CN106454199B publication Critical patent/CN106454199B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/14Systems for two-way working
    • H04N7/141Systems for two-way working between two video terminals, e.g. videophone
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/478Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4788Supplemental services, e.g. displaying phone caller identification, shopping application communicating with other users, e.g. chatting

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Telephonic Communication Services (AREA)
  • Television Signal Processing For Recording (AREA)
  • Telephone Function (AREA)

Abstract

本发明提供了一种视频通信方法及移动终端。其中,该视频通信方法包括:在与第二终端进行视频通话过程中,在视频通话界面显示图像输入窗口;获取图像输入窗口按照第一预设帧率存储的第一图像数据;获取第一终端的摄像头按照第二预设帧率采集的第二图像数据;将第一图像数据和第二图像数据进行合成处理,生成第三图像数据;将第三图像数据发送至第二终端。本发明实施例提供的技术方案,用户不仅可以进行实时的视频通信及语音通信,还能够通过图像输入窗口这一辅助通信功能,传输用户绘制的图形(如文字、图画等)以及表情包和图片等,从而使信息表达更加全面、准确,使沟通更加有效,同时增加通信的乐趣。

Description

一种视频通信方法及移动终端
技术领域
本发明涉及通信技术领域,尤其涉及一种视频通信方法及移动终端。
背景技术
现有技术中,通过移动终端进行通信的方式主要包括:文字通信、语音通信以及视频通信等。其中,文字通信比较简单,对于表达感情色彩方面比较缺乏;语音通信缺少图像信息,沟通不够全面;而视频通信相比于文字通信和语音通信所能沟通、表达的内容更加丰富,但限于语音以及实时图像,无法做到同时传输文字信息以及其他客户需要传输的图像信息,在一定程度上也限制了沟通内容。
发明内容
本发明实施例提供了一种视频通信方法及移动终端,以解决在视频通信过程中不能传输文字或图像信息的问题。
第一方面,提供了一种视频通信方法,应用于第一终端,所述方法包括:
在与第二终端进行视频通话过程中,在视频通话界面显示图像输入窗口;
获取所述图像输入窗口按照第一预设帧率存储的第一图像数据;
获取所述第一终端的摄像头按照第二预设帧率采集的第二图像数据;
将所述第一图像数据和第二图像数据进行合成处理,生成第三图像数据;
将所述第三图像数据发送至所述第二终端。
第二方面,提供了一种移动终端,应用于第一终端,所述移动终端包括:
第一显示模块,用于在与第二终端进行视频通话过程中,在视频通话界面显示图像输入窗口;
第一获取模块,用于获取所述显示模块所显示的所述图像输入窗口按照第一预设帧率存储的第一图像数据;
第二获取模块,用于获取所述第一终端的摄像头按照第二预设帧率采集的第二图像数据;
处理模块,用于将所述第一获取模块获取的第一图像数据和所述第二获取模块获取的第二图像数据进行合成处理,生成第三图像数据;
发送模块,用于将所述处理模块生成的第三图像数据发送至所述第二终端。
这样,本发明实施例中,通过在与第二终端进行视频通话过程中,在视频通话界面显示图像输入窗口;获取所述图像输入窗口按照第一预设帧率存储的第一图像数据;获取所述第一终端的摄像头按照第二预设帧率采集的第二图像数据;将所述第一图像数据和第二图像数据进行合成处理,生成第三图像数据;将所述第三图像数据发送至所述第二终端,能够实现实时的视频通信及语音通信,还能够通过图像输入窗口这一辅助通信功能,传输用户绘制的图形(如文字、图画等)以及一些表情包和图片等,使信息表达更加全面、准确,使沟通更加有效,同时增加了通信的乐趣。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对实施例或描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1表示本发明第一实施例提供的视频通信方法的流程图;
图2表示本发明第二实施例提供的视频通信方法的流程图;
图3表示本发明实施例提供的抽取的第一图像数据的示意图;
图4表示本发明实施例提供的抽取的第二图像数据的示意图;
图5表示本发明实施例提供的合成后的第三图像数据的示意图;
图6表示本发明第三实施例提供的视频通信方法的流程图;
图7表示本发明第四实施例提供的移动终端的框图之一;
图8表示本发明第四实施例提供的移动终端的框图之二;
图9表示本发明第五实施例提供的移动终端的框图;
图10表示本发明第六实施例提供的移动终端的框图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
第一实施例
本发明实施例提供了一种视频通信方法,应用于第一终端。如图1所示,该视频通信方法包括:
步骤101、在与第二终端进行视频通话过程中,在视频通话界面显示图像输入窗口。
本发明实施例在第一终端与第二终端进行视频通话过程中,同时在第一终端的视频通话界面显示一图像输入窗口。用户可在该图像输入窗口中输入要发送的图像数据,其中,输入的方式包括但不限于:在图像输入窗口手动绘制图像(类似画板功能)或是通过图像输入窗口的图像添加功能上传已存储的图片或表情包等。通过增加图像输入窗口这一辅助通信功能,可进一步丰富视频通信的内容,使视频通信的内容不局限于摄像头采集的视频图像和语音,用户可根据需求绘制所要表达的图形,这样能够使信息表达更加全面、准确。
其中,这里所述的视频通话界面为显示摄像头(第一终端的摄像头和/或第二终端的摄像头)采集的视频图像的界面,该视频图像包括:本端和/或对端的视频图像。
其中,为了避免图像输入窗口对视频图像的遮挡,本发明实施例中设置图像输入窗口为透明状态,同时为了识别图像输入窗口的位置、大小以及形状,可在图像输入窗口的边缘设置边框。此外,图像输入窗口的位置和大小可根据用户需求进行调整。
步骤102、获取图像输入窗口按照第一预设帧率存储的第一图像数据。
其中,图像输入窗口可按照一预设帧率(即第一预设帧率)存储在其上绘制的图像数据。该第一预设帧率可以是***默认值,也可由用户根据需求进行调整。
步骤103、获取第一终端的摄像头按照第二预设帧率采集的第二图像数据。
其中,这里所述的摄像头为视频通话时用来采集本端图像的摄像头,可以是前置摄像头,也可以是后置摄像头。
其中,第二预设帧率与第一预设帧率可以相同,也可不同,具体情况可根据实际需求设计。
步骤104、将第一图像数据和第二图像数据进行合成处理,生成第三图像数据。
本发明实施例中,在获取到第一图像数据和第二图像数据后,将两种图像数据进行一定合成处理后生成第三图像数据,也就是将一帧图像输入窗口存储的图像数据和一帧摄像头采集的图像数据经过一定的数据处理过程,合成一帧既包含有第一图像数据又包含有第二图像数据的新图像。
步骤105、将第三图像数据发送至第二终端。
本步骤中,将生成的第三图像数据发送至第二终端,以使第二终端在显示第一终端发送的图像数据时,既能够显示第一终端摄像头拍摄的视频图像,又能够显示第一终端用户通过图像输入窗口输入的图像。
进一步地,本发明实施例提供的视频通信方法还包括:接收第二终端发送的第四图像数据,然后在视频通话界面中的视频图像显示窗口显示第四图像数据。
其中,第四图像数据为:将第二终端的摄像头采集的第五图像数据和显示在第二终端的视频通话界面中的图像输入窗口所存储的第六图像数据,进行合成处理后生成的图像数据。
本发明实施例中,用户输入的图像数据是在图像输入窗口中输入的,在接收到对方发送的合成图像数据时,是在原本显示摄像头拍摄的视频图像的显示窗口(即视频图像显示窗口)显示的。这样,除了在视频通话界面增加图像输入窗口外,尽可能的减少对视频通话界面的改变以及用户的操作习惯。
综上所述,本发明实施例提供的视频通信方法,通过在与第二终端进行视频通话过程中,在视频通话界面显示图像输入窗口;获取图像输入窗口按照第一预设帧率存储的第一图像数据;获取第一终端的摄像头按照第二预设帧率采集的第二图像数据;将第一图像数据和第二图像数据进行合成处理,生成第三图像数据;将第三图像数据发送至所述第二终端,用户不仅可以进行实时的视频通信及语音通信,还能够通过图像输入窗口这一辅助通信功能,传输用户绘制的图形(如文字、图画等)以及表情包和图片等,从而使信息表达更加全面、准确,使沟通更加有效,同时增加了通信的乐趣。
第二实施例
本发明实施例提供了一种视频通信方法,应用于第一终端。如图2所示,该视频通信方法包括:
步骤201、在与第二终端进行视频通话过程中,在视频通话界面显示图像输入窗口。
本发明实施例在第一终端与第二终端在进行视频通话时,同时在第一终端的视频通话界面显示一图像输入窗口,用户可在该图像输入窗口中输入要发送的图像数据。其中,输入的方式包括但不限于:在图像输入窗口手动绘制图像(类似画板功能)或是通过图像输入窗口的图像添加功能上传已存储的图片或表情包等。通过增加图像输入窗口这一辅助通信功能,可进一步丰富视频通信的内容,使视频通信的内容不局限于摄像头采集的视频图像和语音,用户可根据需求绘制所要表达的图形,这样能够使信息表达更加全面、准确。
其中,这里所述的视频通话界面为显示摄像头(第一终端的摄像头和/或第二终端的摄像头)采集的视频图像的界面,该视频图像包括:本端和/或对端的视频图像。
其中,为了避免图像输入窗口对视频图像的遮挡,本发明实施例中设置图像输入窗口为透明状态,同时为了识别图像输入窗口的位置、大小以及形状,可在图像输入窗口的边缘设置边框。此外,图像输入窗口的位置和大小可根据用户需求进行调整。
步骤202、检测第一终端用户在图像输入窗口中的轨迹绘制操作。
本发明实施例中,优选手动绘制的输入方式。用户可在图像输入窗口手动绘制图像(类似画板功能),以进一步丰富沟通内容,实现有效沟通,提升沟通乐趣。
其中,用户在图像输入窗口绘制图像时,***实时检测用户的轨迹绘制操作,以便对绘制轨进行记录。
步骤203、按照第一预设帧率,将检测到的轨迹绘制操作对应的轨迹存储为第一图像数据。
本步骤中,按照第一预设帧率,将检测到的轨迹绘制操作对应的轨迹存储为第一图像数据。其中,绘制轨迹的颜色和宽度可由用户自行设置。
其中,在存储第一图像数据时,可将图像输入窗口保存的每一帧第一图像数据存储于第一存储区域中。该第一存储区域可以是随机存储器中的一个存储区域,也可以是其他存储器中的一个存储区域,具体情况可根据实际需求选择。
其中,该第一预设帧率可以是***默认值,也可由用户根据需求进行调整。
步骤204、获取图像输入窗口按照第一预设帧率存储的第一图像数据。
本发明实施例中,在需求时,可获取图像输入窗口所存储的第一图像数据。
步骤205、获取所述第一终端的摄像头按照第二预设帧率采集的第二图像数据。
其中,该第二预设帧率可以是***默认值,也可由用户根据需求进行调整。
其中,这里所述的摄像头为视频通话时用来采集本端图像的摄像头,可以是前置摄像头,也可以是后置摄像头。
其中,可将第一终端的摄像头采集的每一帧所述第二图像数据存储于第二存储区域中。该第一存储区域可以是随机存储器中的一个存储区域,也可以是其他存储器中的一个存储区域,具体情况可根据实际需求选择。第二图像数据与第一图像数据分别进行存储,是为了便于对第一图像数据和第二图像数据进行处理。
优选地,摄像头采集视频图像的帧率与绘制轨迹保存的帧率相同,即第一预设帧率与第二预设帧率相同,这样能够使保存的图像轨迹与摄像头拍摄的图像具有较好的同步性,以使对方能够实时看到第一终端用户绘制的图形。
步骤206、对于第一存储区域中的每一帧第一图像数据,抽取奇数行的图像数据。
步骤207、对于第二存储区域中的每一帧第二图像数据,抽取偶数行的图像数据。
本发明实施例中,通过步骤206和步骤207对第一图像数据和第二图像数据采用叠加算法进行处理,即对第一图像数据和第二图像数据进行抽取,如图3和图4所示,图3中阴影部分为第一图像数据所抽取的奇数行的图像数据,图4中的阴影部分为第二图像数据所抽取的偶数行的图像数据,然后将抽取的图像数据重新组合,生成新的图像数据,这样,不会造成数据量的增加,传输时也不会造成网络端的传输压力,能够保证视频通话的流畅度。
当然可以理解是,对于第一存储区域中的每一帧第一图像数据,也可抽取偶数行的图像数据;对于第二存储区域中的每一帧第二图像数据,也可抽取奇数行的图像数据。具体情况,可根据实际需求选择。
步骤208、将抽取的奇数行及偶数行的图像数据按照抽取前各图像数据所属行数的顺序进行合成,生成第三图像数据。
本发明实施例中,再对第一图像数据和第二图像数据进行抽取后,将抽取的图像数据重新组合,生成新的图像数据,如图5所示。这样,不会造成数据量的增加,传输时也不会造成网络端的传输压力,能够保证视频通话的流畅度。
其中,为便于抽取以及后续重组,可将第一图像数据与第二图像数据存储为相同大小,假设第一摄像头采集的一帧数据是1200*1600,则第一存储区域中与第一存储区域中的图像数据均保持1200*1600的大小,小于1200*1600的图像数据可采用补零法进行弥补。
步骤209、将第三图像数据存储于第三存储区域中。
本步骤中,将新生成的第三图像数据存储于第三存储区域中。该第一存储区域可以是随机存储器中的一个存储区域,也可以是其他存储器中的一个存储区域,具体情况可根据实际需求选择。
步骤210、将第三图像数据发送至所述第二终端。
本步骤中,将生成的第三图像数据发送至第二终端,以使第二终端在显示第一终端发送的图像数据时,既能够显示第一终端摄像头拍摄的视频图像,又能够显示第一终端用户通过图像输入窗口输入的图像。
为进一步理解本发明实施例提供的视频通信方法,下面以一示例加以说明:
假设用户A与用户B在进行视频通话,用户A使用的移动终端为第一终端,用户B使用的移动终端为第二终端。第一终端采用前置摄像头采集视频图像,在第一终端的视频通话界面的右下方显示有一图像输入窗口,用户A正在该图像输入窗口绘制一个笑脸,在笑脸的绘制过程中,图像输入窗口按照每秒60帧的存储帧率,存储用户绘制的笑脸图像,同时前置摄像头也按照每秒60帧的采集帧率采集视频图像。第一终端将图像输入窗口存储的每一帧笑脸图像和前置摄像头采集的每一帧视频图像进行合成处理,即抽取每一帧笑脸图像的奇数行数据,抽取每一帧视频图像的偶数行数据,然后将抽取的图像数据重新组合,生成一帧新的视频图像发送至第二终端。第二终端接收到第一终端发送的视频图像时,在视频图像显示窗口显示该视频图像,在该视频图像中既有第一终端的前置摄像头拍摄的图像,又具有用户A绘制的笑脸图像,由于每秒显示的视频图像帧数较多以及人眼辨别能力有效,因此用户B可看到用户A绘制笑脸的过程,增加了沟通的乐趣。
进一步地,本发明实施例为保证用户在图像输入窗口绘制的图像能够显示出完整的轨迹,因此在图像绘制过程中,不仅要保存当前图像输入窗口中的触摸点轨迹信息,还需要保留历史触摸点轨迹信息,其实现方法为:
检测用户在图像输入窗口对应的触摸区域输入的触摸点轨迹,并将当前检测到的轨迹与历史轨迹合并后保存为一帧第一图像数据。
具体地,可先获取保存有当前帧之前的前一帧第一图像数据,然后将当前检测到的轨迹数据叠加至前一帧第一图像数据中的历史轨迹中,得到当前帧的第一图像数据。例如,设置每一帧第一图像数据中具有绘制图像数据的位置标识为1,空白位置标识为0,在已保存一帧第一图像数据后,后一帧数据未保存前,回读当前的第一存储区域中的图像数据,若前一帧第一图像数据待覆盖位置的标识为1,则不进行覆盖;若待覆盖位置的标识为0,则进行覆盖,这样就能保存用户长时间的绘制轨迹。如果需要清除当前轨迹,用户可手动选择橡皮擦功能,擦出轨迹,并对第一存储区域中相应的图像数据清零,这样可对图像输入窗口中的图像绘制区域重复利用,也便于用户对图像进行修改和完善。
进一步地,本发明实施例提供的视频通信方法还包括:接收第二终端发送的第四图像数据,在视频通话界面中的视频图像显示窗口显示第四图像数据。
其中,第四图像数据为:将第二终端的摄像头采集的第五图像数据和显示在第二终端的视频通话界面中的图像输入窗口所存储的第六图像数据,进行合成处理后生成的图像数据。
本发明实施例中,用户输入的图像数据是在图像输入窗口中输入的,在接收到对方发送的合成图像数据时,是在原本显示摄像头拍摄的视频图像的显示窗口(即视频图像显示窗口)显示的。这样,除了在视频通话界面增加图像输入窗口外,尽可能的减少对视频通话界面的改变以及用户的操作习惯。
综上所述,本发明实施例提供的视频通信的方法,通过在与第二终端进行视频通话过程中,在视频通话界面显示图像输入窗口,检测第一终端用户在图像输入窗口中的轨迹绘制操作,按照第一预设帧率,将检测到的轨迹绘制操作对应的轨迹存储为第一图像数据,获取图像输入窗口按照第一预设帧率存储的第一图像数据,获取所述第一终端的摄像头按照第二预设帧率采集的第二图像数据,对于第一存储区域中的每一帧第一图像数据,抽取奇数行的图像数据,对于第二存储区域中的每一帧第二图像数据,抽取偶数行的图像数据,将抽取的奇数行及偶数行的图像数据按照抽取前各图像数据所属行数的顺序进行合成,生成第三图像数据,将第三图像数据存储于第三存储区域中,将第三图像数据发送至所述第二终端,用户不仅可以进行实时的视频通信及语音通信,还能够通过图像输入窗口这一辅助通信功能,传输用户绘制的图形(如文字、图画等),从而使信息表达更加全面、准确,使沟通更加有效,同时增加了通信的乐趣。进一步地,通过对第一图像数据和第二图像数据进行叠加处理,减小了要传输的数据量,降低了网络端的传输压力,保证了视频通话的流畅度。
第三实施例
本发明实施例提供了一种视频通信方法,应用于第一终端。如图6所示,该视频通信方法包括:
步骤601、在与第二终端进行视频通话过程中,在视频通话界面显示图像输入窗口。
本发明实施例在第一终端与第二终端进行视频通话时,同时在第一终端的视频通话界面显示一图像输入窗口,用户可在该图像输入窗口中输入要发送的图像数据。其中,输入的方式包括但不限于:在图像输入窗口手动绘制图像(类似画板功能)或是通过图像输入窗口的图像添加功能上传已存储的图片或表情包等。通过增加图像输入窗口这一辅助通信功能,可进一步丰富视频通信的内容,使视频通信的内容不局限于摄像头采集的视频图像和语音,用户可根据需求绘制所要表达的图形,这样能够使信息表达更加全面、准确。
其中,这里所述的视频通话界面为显示摄像头(第一终端的摄像头和/或第二终端的摄像头)采集的视频图像的界面,该视频图像包括:本端和/或对端的视频图像。
其中,为了避免图像输入窗口对视频图像的遮挡,本发明实施例中设置图像输入窗口为透明状态,同时为了识别图像输入窗口的位置、大小以及形状,可在图像输入窗口的边缘设置边框。此外,图像输入窗口的位置和大小可根据用户需求进行调整。
步骤602、检测第一终端用户在图像输入窗口中的轨迹绘制操作。
本发明实施例中,优选手动绘制的输入方式。用户可在图像输入窗口手动绘制图像(类似画板功能),以进一步丰富沟通内容,实现有效沟通,提升沟通乐趣。
其中,用户在图像输入窗口绘制图像时,***实时检测用户的轨迹绘制操作,以便对绘制轨进行记录。
步骤603、按照第一预设帧率,将检测到的轨迹绘制操作对应的轨迹存储为第一图像数据。
本步骤中,按照第一预设帧率,将检测到的轨迹绘制操作对应的轨迹存储为第一图像数据。其中,绘制轨迹的颜色和宽度可由用户自行设置。
其中,在存储第一图像数据时,可将图像输入窗口保存的每一帧第一图像数据存储于第一存储区域中。该第一存储区域可以是随机存储器中的一个存储区域,也可以是其他存储器中的一个存储区域,具体情况可根据实际需求选择。
其中,该第一预设帧率可以是***默认值,也可由用户根据需求进行调整。
步骤604、获取图像输入窗口按照第一预设帧率存储的第一图像数据。
本发明实施例中,在需求时,可获取图像输入窗口所存储的第一图像数据。
步骤605、获取所述第一终端的摄像头按照第二预设帧率采集的第二图像数据。
其中,该第二预设帧率可以是***默认值,也可由用户根据需求进行调整。
其中,这里所述的摄像头为视频通话时用来采集本端图像的摄像头,可以是前置摄像头,也可以是后置摄像头。
其中,可将第一终端的摄像头采集的每一帧所述第二图像数据存储于第二存储区域中。该第一存储区域可以是随机存储器中的一个存储区域,也可以是其他存储器中的一个存储区域,具体情况可根据实际需求选择。第二图像数据与第一图像数据分别进行存储,是为了便于对第一图像数据和第二图像数据进行处理。
优选地,摄像头采集视频图像的帧率与绘制轨迹保存的帧率相同,即第一预设帧率与第二预设帧率相同,这样能够使保存的图像轨迹与摄像头拍摄的图像具有较好的同步性,以使对方能够实时看到第一终端用户绘制的图形。
步骤606、对于第二存储区域中所存储的每一帧第二图像数据,确定对应所述图像输入窗口具有绘制轨迹的区域。
步骤607、将第二图像数据中,对应绘制轨迹的区域中的图像数据替换为存储于所述第一存储区域中的第一图像数据,生成第三图像数据。
本发明实施例中,通过步骤606和步骤607对第一图像数据和第二图像数据采用嵌入算法进行处理,即将每一帧第二图像数据对应绘制轨迹区域中的图像数据替换为第一图像数据,也就是进行区域图像替换处理,这样,可减小要传输的数据量,降低了网络端的传输压力,保证视频通话的流畅度。
步骤608、将第三图像数据存储于第三存储区域中。
本步骤中,将新生成的第三图像数据存储于第三存储区域中。该第一存储区域可以是随机存储器中的一个存储区域,也可以是其他存储器中的一个存储区域,具体情况可根据实际需求选择。
步骤609、将第三图像数据发送至所述第二终端。
本步骤中,将生成的第三图像数据发送至第二终端,以使第二终端在显示第一终端发送的图像数据时,既能够显示第一终端摄像头拍摄的视频图像,又能够显示第一终端用户通过图像输入窗口输入的图像。
为进一步理解本发明实施例提供的视频通信方法,下面以一示例加以说明:
假设用户A与用户B在进行视频通话,用户A使用的移动终端为第一终端,用户B使用的移动终端为第二终端。第一终端采用前置摄像头采集视频图像,在第一终端的视频通话界面的右下方显示有一图像输入窗口,用户A正在该图像输入窗口绘制一个笑脸,在笑脸的绘制过程中,图像输入窗口按照每秒60帧的存储帧率,存储用户绘制的笑脸图像,同时前置摄像头也按照每秒60帧的采集帧率采集视频图像。第一终端将图像输入窗口存储的每一帧笑脸图像和前置摄像头采集的每一帧视频图像进行合成处理,即将每一视频图像对应绘制笑脸轨迹区域中的图像数据替换为笑脸图像数据,合成一帧新的视频图像发送至第二终端。第二终端接收到第一终端发送的视频图像时,在视频图像显示窗口显示该视频图像,在该视频图像中既有第一终端的前置摄像头拍摄的图像,又具有用户A绘制的笑脸图像,由于每秒显示的视频图像帧数较多以及人眼辨别能力有效,因此用户B可看到用户A绘制笑脸的过程,增加了沟通的乐趣。
进一步地,本发明实施例为保证用户在图像输入窗口绘制的图像能够显示出完整的轨迹,因此在图像绘制过程中,不仅要保存当前图像输入窗口中的触摸点轨迹信息,还需要保留历史触摸点轨迹信息,其实现方法为:
检测用户在图像输入窗口对应的触摸区域输入的触摸点轨迹,并将当前检测到的轨迹与历史轨迹合并后保存为一帧第一图像数据。
具体地,可先获取保存有当前帧之前的前一帧第一图像数据,然后将当前检测到的轨迹数据叠加至前一帧第一图像数据中的历史轨迹中,得到当前帧的第一图像数据。例如,设置每一帧第一图像数据中具有绘制图像数据的位置标识为1,空白位置标识为0,在已保存一帧第一图像数据后,后一帧数据未保存前,回读当前的第一存储区域中的图像数据,若前一帧第一图像数据待覆盖位置的标识为1,则不进行覆盖;若待覆盖位置的标识为0,则进行覆盖,这样就能保存用户长时间的绘制轨迹。如果需要清除当前轨迹,用户可手动选择橡皮擦功能,擦出轨迹,并对第一存储区域中相应的图像数据清零,这样可对图像输入窗口中的图像绘制区域重复利用,也便于用户对图像进行修改和完善。
进一步地,本发明实施例提供的视频通信方法还包括:接收第二终端发送的第四图像数据,在视频通话界面中的视频图像显示窗口显示第四图像数据。
其中,第四图像数据为:将第二终端的摄像头采集的第五图像数据和显示在第二终端的视频通话界面中的图像输入窗口所存储的第六图像数据,进行合成处理后生成的图像数据。
本发明实施例中,用户输入的图像数据是在图像输入窗口中输入的,在接收到对方发送的合成图像数据时,是在原本显示摄像头拍摄的视频图像的显示窗口(即视频图像显示窗口)显示的。这样,除了在视频通话界面增加图像输入窗口外,尽可能的减少对视频通话界面的改变以及用户的操作习惯。
综上所述,本发明实施例提供的视频通信的方法,通过在与第二终端进行视频通话过程中,在视频通话界面显示图像输入窗口,检测第一终端用户在图像输入窗口中的轨迹绘制操作,按照第一预设帧率,将检测到的轨迹绘制操作对应的轨迹存储为第一图像数据,获取图像输入窗口按照第一预设帧率存储的第一图像数据,获取所述第一终端的摄像头按照第二预设帧率采集的第二图像数据,对于第二存储区域中所存储的每一帧第二图像数据,确定对应所述图像输入窗口具有绘制轨迹的区域,将第二图像数据中,对应绘制轨迹的区域中的图像数据替换为存储于所述第一存储区域中的第一图像数据,生成第三图像数据,将第三图像数据存储于第三存储区域中,将第三图像数据发送至所述第二终端,用户不仅可以进行实时的视频通信及语音通信,还能够通过图像输入窗口这一辅助通信功能,传输用户绘制的图形(如文字、图画等),从而使信息表达更加全面、准确,使沟通更加有效,同时增加通信的乐趣。进一步地,通过对第一图像数据和第二图像数据进行区域图像替换处理,减小了要传输的数据量,降低了网络端的传输压力,保证了视频通话的流畅度。
第四实施例
本发明实施例提供了一种移动终端700,应用于第一终端,能实现第一实施例至第三实施例中所述的视频通信方法的细节,并达到相同的效果。如图7所示,该移动终端700包括:
第一显示模块701,用于在与第二终端进行视频通话过程中,在视频通话界面显示图像输入窗口。
本发明实施例在第一终端与第二终端进行视频通话过程中,同时在第一终端的视频通话界面通过第一显示模块701显示一图像输入窗口。用户可在该图像输入窗口中输入要发送的图像数据,其中,输入的方式包括但不限于:在图像输入窗口手动绘制图像(类似画板功能)或是通过图像输入窗口的图像添加功能上传已存储的图片或表情包等。通过增加图像输入窗口这一辅助通信功能,可进一步丰富视频通信的内容,使视频通信的内容不局限于摄像头采集的视频图像和语音,用户可根据需求绘制所要表达的图形,这样能够使信息表达更加全面、准确。
其中,这里所述的视频通话界面为显示摄像头(第一终端的摄像头和/或第二终端的摄像头)采集的视频图像的界面,该视频图像包括:本端和/或对端的视频图像。
其中,为了避免图像输入窗口对视频图像的遮挡,本发明实施例中设置图像输入窗口为透明状态,同时为了识别图像输入窗口的位置、大小以及形状,可在图像输入窗口的边缘设置边框。此外,图像输入窗口的位置和大小可根据用户需求进行调整。
第一获取模块702,用于获取第一显示模块701所显示的图像输入窗口按照第一预设帧率存储的第一图像数据。
其中,图像输入窗口可按照一预设帧率(即第一预设帧率)存储在其上绘制的图像数据。在需求时可通过第一获取模块702获取图像输入窗口存储的第一图像数据。该第一预设帧率可以是***默认值,也可由用户根据需求进行调整。
第二获取模块703,用于获取第一终端的摄像头按照第二预设帧率采集的第二图像数据。
其中,在需求时可由第二获取模块703获取第二图像数据。
这里所述的摄像头为视频通话时用来采集本端图像的摄像头,可以是前置摄像头,也可以是后置摄像头。
其中,第二预设帧率与第一预设帧率可以相同,也可不同,具体情况可根据实际需求设计。
处理模块704,用于将第一获取模块702获取的第一图像数据和第二获取模块703获取的第二图像数据进行合成处理,生成第三图像数据。
本发明实施例中,在由第一获取模块702获取到第一图像数据和由第二第二获取模块703获取到第二图像数据后,由处理模块704将两种图像数据进行一定合成处理后生成第三图像数据,也就是将一帧图像输入窗口存储的图像数据和一帧摄像头采集的图像数据经过一定的数据处理过程,合成一帧既包含有第一图像数据又包含有第二图像数据的新图像。
发送模块705,用于将处理模块704生成的第三图像数据发送至第二终端。
其中,发送模块705将生成的第三图像数据发送至第二终端,以使第二终端在显示第一终端发送的图像数据时,既能够显示第一终端摄像头拍摄的视频图像,又能够显示第一终端用户通过图像输入窗口输入的图像。
进一步地,如图8所示,该移动终端700还包括:
检测模块706,用于检测第一终端用户在图像输入窗口中的轨迹绘制操作。
本发明实施例中,优选手动绘制的输入方式。用户可在图像输入窗口手动绘制图像(类似画板功能),以进一步丰富沟通内容,实现有效沟通,提升沟通乐趣。
其中,绘制轨迹的颜色和宽度可由用户自行设置。
第一存储模块707,用于按照第一预设帧率,将检测模块706检测到的轨迹绘制操作对应的轨迹存储为第一图像数据。
本发明实施例中,由第一存储模块707将检测模块706检测到的轨迹绘制操作对应的轨迹存储为第一图像数据。
进一步地,本发明实施例为保证用户在图像输入窗口绘制的图像能够显示出完整的轨迹,因此在图像绘制过程中,不仅要保存当前图像输入窗口中的触摸点轨迹信息,还需要保留历史触摸点轨迹信息,其实现方法为:
检测用户在图像输入窗口对应的触摸区域输入的触摸点轨迹,并将当前检测到的轨迹与历史轨迹合并后保存为一帧第一图像数据。
具体地,可先获取保存有当前帧之前的前一帧第一图像数据,然后将当前检测到的轨迹数据叠加至前一帧第一图像数据中的历史轨迹中,得到当前帧的第一图像数据。例如,设置每一帧第一图像数据中具有绘制图像数据的位置标识为1,空白位置标识为0,在已保存一帧第一图像数据后,后一帧数据未保存前,回读当前的第一存储区域中的图像数据,若前一帧第一图像数据待覆盖位置的标识为1,则不进行覆盖;若待覆盖位置的标识为0,则进行覆盖,这样就能保存用户长时间的绘制轨迹。如果需要清除当前轨迹,用户可手动选择橡皮擦功能,擦出轨迹,并对第一存储区域中相应的图像数据清零,这样可对图像输入窗口中的图像绘制区域重复利用,也便于用户对图像进行修改和完善。
进一步地,如图8所示,该移动终端700还包括:
第二存储模块708,用于将图像输入窗口保存的每一帧第一图像数据存储于第一存储区域中。
其中,在第二存储模块708存储第一图像数据时,可将图像输入窗口保存的每一帧第一图像数据存储于第一存储区域中。该第一存储区域可以是随机存储器中的一个存储区域,也可以是其他存储器中的一个存储区域,具体情况可根据实际需求选择。
进一步地,如图8所示,该移动终端700还包括:
第三存储模块709,用于将第一终端的摄像头采集的每一帧第二图像数据存储于第二存储区域中。
其中,通过第三存储模块709可将第一终端的摄像头采集的每一帧所述第二图像数据存储于第二存储区域中。该第一存储区域可以是随机存储器中的一个存储区域,也可以是其他存储器中的一个存储区域,具体情况可根据实际需求选择。第二图像数据与第一图像数据分别进行存储,是为了便于对第一图像数据和第二图像数据进行处理。
其中,这里所述的摄像头为视频通话时用来采集本端图像的摄像头,可以是前置摄像头,也可以是后置摄像头。
优选地,摄像头采集视频图像的帧率与绘制轨迹保存的帧率相同,即第一预设帧率与第二预设帧率相同,这样能够使保存的图像轨迹与摄像头拍摄的图像具有较好的同步性,以使对方能够实时看到第一终端用户绘制的图形。
进一步地,如图8所示,处理模块704包括:
第一处理单元7041,用于对于第一存储区域中的每一帧第一图像数据,抽取奇数行的图像数据。
第一处理单元7041,用于对于第二存储区域中的每一帧第二图像数据,抽取偶数行的图像数据。
本发明实施例中,对第一图像数据和第二图像数据采用叠加算法进行处理,即通过对第一处理单元7041和第一处理单元7041第一图像数据和第二图像数据进行抽取(如图3和图4所示),然后将抽取的图像数据重新组合,生成新的图像数据,这样,不会造成数据量的增加,传输时也不会造成网络端的传输压力,能够保证视频通话的流畅度。
当然可以理解是,对于第一存储区域中的每一帧第一图像数据,也可抽取偶数行的图像数据;对于第二存储区域中的每一帧第二图像数据,也可抽取奇数行的图像数据。具体情况,可根据实际需求选择。
第三处理单元7043,用于将第一处理单元7041抽取的奇数行及第二处理单元7042抽取的偶数行的图像数据按照抽取前各图像数据所属行数的顺序进行合成,生成第三图像数据。
本发明实施例中,再对第一图像数据和第二图像数据进行抽取后,由第三处理单元7043将抽取的图像数据重新组合,生成新的图像数据,如图5所示。这样,不会造成数据量的增加,传输时也不会造成网络端的传输压力,能够保证视频通话的流畅度。
其中,为便于抽取以及后续重组,可将第一图像数据与第二图像数据存储为相同大小,假设第一摄像头采集的一帧数据是1200*1600,则第一存储区域中与第一存储区域中的图像数据均保持1200*1600的大小,小于1200*1600的图像数据可采用补零法进行弥补。
第一存储单元7044,用于将第三处理单元7043生成的第三图像数据存储于第三存储区域中。
其中,通过第一存储单元7044将新生成的第三图像数据存储于第三存储区域中。该第一存储区域可以是随机存储器中的一个存储区域,也可以是其他存储器中的一个存储区域,具体情况可根据实际需求选择。
进一步地,如图8所示,处理模块704包括:
确定单元7045,用于对于第二存储区域中所存储的每一帧第二图像数据,确定对应图像输入窗口具有绘制轨迹的区域。
第四处理单元7046,用于将第二图像数据中,对应绘制轨迹的区域中的图像数据替换为存储于第一存储区域中的第一图像数据,生成第三图像数据。
本发明实施例中,对第一图像数据和第二图像数据采用嵌入算法进行处理,即将每一帧第二图像数据对应绘制轨迹区域中的图像数据替换为第一图像数据,也就是进行区域图像替换处理,这样,可减小要传输的数据量,降低了网络端的传输压力,保证视频通话的流畅度。
第二存储单元7047,用于将第三图像数据存储于第三存储区域中。
其中,通过第二存储单元7047将生成的第三图像数据发送至第二终端,以使第二终端在显示第一终端发送的图像数据时,既能够显示第一终端摄像头拍摄的视频图像,又能够显示第一终端用户通过图像输入窗口输入的图像。
进一步地,如图8所示,该移动终端700还包括:
接收模块710,用于接收第二终端发送的第四图像数据。
其中,第四图像数据为:将第二终端的摄像头采集的第五图像数据和显示在第二终端的视频通话界面中的图像输入窗口所存储的第六图像数据,进行合成处理后生成的图像数据。
第二显示模块711,用于在视频通话界面中的视频图像显示窗口显示接收模块所接收的第四图像数据。
本发明实施例中,用户输入的图像数据是在图像输入窗口中输入的,在接收到对方发送的合成图像数据时,是在原本显示摄像头拍摄的视频图像的显示窗口(即视频图像显示窗口)显示的。这样,除了在视频通话界面增加图像输入窗口外,尽可能的减少对视频通话界面的改变以及用户的操作习惯。
综上所示,本发明实施例提供的移动终端700,通过第一显示模块701在视频通话界面中显示一图像输入窗口,然后由第一获取模块702获取图像输入窗口所存储的第一图像数据以及由第二获取模块703获取第一终端摄像头采集的第二图像数据,再然后通过处理模块704将进行合成处理,生成第三图像数据,最后通过发送模块705将第三图像数据发送至接收端(即第二终端),这样用户不仅可以进行实时的视频通信及语音通信,还能够通过图像输入窗口这一辅助通信功能,传输用户绘制的图形(如文字、图画等)以及表情包和图片等,从而使信息表达更加全面、准确,使沟通更加有效,同时增加了通信的乐趣。
第五实施例
图9是本发明另一个实施例的移动终端的框图。图9所示的移动终端900包括:至少一个处理器901、存储器902、至少一个网络接口904和用户接口903。其中,移动终端900还包括:前置摄像头和后置摄像头。
移动终端900中的各个组件通过总线***905耦合在一起。可理解,总线***905用于实现这些组件之间的连接通信。总线***905除包括数据总线之外,还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见,在图9中将各种总线都标为总线***905。
其中,用户接口903可以包括显示器、键盘或者点击设备(例如,鼠标,轨迹球(trackball)、触感板或者触摸屏等。
可以理解,本发明实施例中的存储器902可以是易失性存储器或非易失性存储器,或可包括易失性和非易失性存储器两者。其中,非易失性存储器可以是只读存储器(Read-Only Memory,ROM)、可编程只读存储器(Programmable ROM,PROM)、可擦除可编程只读存储器(Erasable PROM,EPROM)、电可擦除可编程只读存储器(Electrically EPROM,EEPROM)或闪存。易失性存储器可以是随机存取存储器(Random Access Memory,RAM),其用作外部高速缓存。通过示例性但不是限制性说明,许多形式的RAM可用,例如静态随机存取存储器(Static RAM,SRAM)、动态随机存取存储器(Dynamic RAM,DRAM)、同步动态随机存取存储器(Synchronous DRAM,SDRAM)、双倍数据速率同步动态随机存取存储器(Double Data RateSDRAM,DDRSDRAM)、增强型同步动态随机存取存储器(Enhanced SDRAM,ESDRAM)、同步连接动态随机存取存储器(Synchlink DRAM,SLDRAM)和直接内存总线随机存取存储器(DirectRambus RAM,DRRAM)。本文描述的***和方法的存储器902旨在包括但不限于这些和任意其它适合类型的存储器。
在一些实施方式中,存储器902存储了如下的元素,可执行模块或者数据结构,或者他们的子集,或者他们的扩展集:操作***9021和应用程序9022。
其中,操作***9021,包含各种***程序,例如框架层、核心库层、驱动层等,用于实现各种基础业务以及处理基于硬件的任务。应用程序9022,包含各种应用程序,例如媒体播放器(Media Player)、浏览器(Browser)等,用于实现各种应用业务。实现本发明实施例方法的程序可以包含在应用程序9022中。
在本发明实施例中,通过调用存储器902存储的程序或指令,具体的,可以是应用程序9022中存储的程序或指令,用户接口903用于在与第二终端进行视频通话过程中,在视频通话界面显示图像输入窗口,处理器901用于获取图像输入窗口按照第一预设帧率存储的第一图像数据以及第一终端的摄像头按照第二预设帧率采集的第二图像数据;然后将第一图像数据和第二图像数据进行合成处理,生成第三图像数据,并通过网络接口904将第三图像数据发送至第二终端。
上述本发明实施例揭示的方法可以应用于处理器901中,或者由处理器901实现。处理器901可能是一种集成电路芯片,具有信号的处理能力。在实现过程中,上述方法的各步骤可以通过处理器901中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器901可以是通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现成可编程门阵列(FieldProgrammable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成,或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器,闪存、只读存储器,可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器902,处理器901读取存储器902中的信息,结合其硬件完成上述方法的步骤。
可以理解的是,本文描述的这些实施例可以用硬件、软件、固件、中间件、微码或其组合来实现。对于硬件实现,处理单元可以实现在一个或多个专用集成电路(ApplicationSpecific Integrated Circuits,ASIC)、数字信号处理器(Digital Signal Processing,DSP)、数字信号处理设备(DSP Device,DSPD)、可编程逻辑设备(Programmable LogicDevice,PLD)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)、通用处理器、控制器、微控制器、微处理器、用于执行本申请所述功能的其它电子单元或其组合中。
对于软件实现,可通过执行本文所述功能的模块(例如过程、函数等)来实现本文所述的技术。软件代码可存储在存储器中并通过处理器执行。存储器可以在处理器中或在处理器外部实现。
可选地,处理器901还用于:检测第一终端用户在所述图像输入窗口中的轨迹绘制操作,按照所述第一预设帧率,将检测到的所述轨迹绘制操作对应的轨迹存储为所述第二图像数据。
可选地,存储器902用于:将所述图像输入窗口保存的每一帧所述第一图像数据存储于第一存储区域中。
可选地,存储器902用于:将所述第一终端的摄像头采集的每一帧所述第二图像数据存储于第二存储区域中。
可选地,处理器901还用于:对于所述第一存储区域中的每一帧第一图像数据,抽取奇数行的图像数据;对于所述第二存储区域中的每一帧第二图像数据,抽取偶数行的图像数据;并将抽取的所述奇数行及偶数行的图像数据按照抽取前各图像数据所属行数的顺序进行合成,生成第三图像数据;然后通过存储器902将所述第三图像数据存储于第三存储区域中。
可选地,处理器901还用于:对于所述第二存储区域中所存储的每一帧第二图像数据,确定对应所述图像输入窗口具有绘制轨迹的区域;将所述第二图像数据中,对应绘制轨迹的区域中的图像数据替换为存储于所述第一存储区域中的第一图像数据,生成第三图像数据;然后通过存储器902将所述第三图像数据存储于第三存储区域中。
可选地,网络接口904用于接收所述第二终端发送的第四图像数据;然后通过用户接口903在视频通话界面中的视频图像显示窗口显示所述第四图像数据。其中,所述第四图像数据为:将所述第二终端的摄像头采集的第五图像数据和显示在所述第二终端的视频通话界面中的图像输入窗口所存储的第六图像数据,进行合成处理后生成的图像数据。
移动终端900能够实现前述实施例中移动终端实现的各个过程,为避免重复,这里不再赘述。
本发明实施例提供的移动终端900,通过用户接口903在与第二终端进行视频通话过程中,在视频通话界面显示图像输入窗口,处理器901获取图像输入窗口按照第一预设帧率存储的第一图像数据以及第一终端的摄像头按照第二预设帧率采集的第二图像数据;然后将第一图像数据和第二图像数据进行合成处理,生成第三图像数据,并通过网络接口904将第三图像数据发送至第二终端,用户不仅可以进行实时的视频通信及语音通信,还能够通过图像输入窗口这一辅助通信功能,传输用户绘制的图形(如文字、图画等)以及表情包和图片等,从而使信息表达更加全面、准确,使沟通更加有效,同时增加了通信的乐趣。
第六实施例
图10是本发明另一个实施例的移动终端的结构示意图。具体地,图10中的移动终端1000可以为手机、平板电脑、个人数字助理(Personal Digital Assistant,PDA)或车载电脑等。
图10中的移动终端1000包括射频(Radio Frequency,RF)电路1001、存储器1002、输入单元1003、显示单元1004、处理器1006、音频电路1007、WiFi(Wireless Fidelity)模块1008、电源1009和拍照组件1010。
其中,拍照组件1010包括:前置摄像头和后置摄像头。
其中,输入单元1003可用于接收用户输入的数字或字符信息,以及产生与移动终端1000的用户设置以及功能控制有关的信号输入。具体地,本发明实施例中,该输入单元1003可以包括触控面板10031。触控面板10031,也称为触摸屏,可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触控面板10031上的操作),并根据预先设定的程式驱动相应的连接装置。可选的,触控面板10031可包括触摸检测装置和触摸控制器两个部分。其中,触摸检测装置检测用户的触摸方位,并检测触摸操作带来的信号,将信号传送给触摸控制器;触摸控制器从触摸检测装置上接收触摸信息,并将它转换成触点坐标,再送给该处理器1006,并能接收处理器1006发来的命令并加以执行。此外,可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触控面板10031。除了触控面板10031,输入单元1003还可以包括其他输入设备10032,其他输入设备10032可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆等中的一种或多种。
其中,显示单元1004可用于显示由用户输入的信息或提供给用户的信息以及移动终端1000的各种菜单界面。显示单元1004可包括显示面板10041,可选的,可以采用LCD或有机发光二极管(Organic Light-Emitting Diode,OLED)等形式来配置显示面板10041。
应注意,触控面板10031可以覆盖显示面板10041,形成触摸显示屏,当该触摸显示屏检测到在其上或附近的触摸操作后,传送给处理器1006以确定触摸事件的类型,随后处理器1006根据触摸事件的类型在触摸显示屏上提供相应的视觉输出。
触摸显示屏包括应用程序界面显示区及常用控件显示区。该应用程序界面显示区及该常用控件显示区的排列方式并不限定,可以为上下排列、左右排列等可以区分两个显示区的排列方式。该应用程序界面显示区可以用于显示应用程序的界面。每一个界面可以包含至少一个应用程序的图标和/或widget桌面控件等界面元素。该应用程序界面显示区也可以为不包含任何内容的空界面。该常用控件显示区用于显示使用率较高的控件,例如,设置按钮、界面编号、滚动条、电话本图标等应用程序图标等。
其中,处理器1006是移动终端1000的控制中心,利用各种接口和线路连接整个手机的各个部分,通过运行或执行存储在第一存储器10021内的软件程序和/或模块,以及调用存储在第二存储器10022内的数据,执行移动终端1000的各种功能和处理数据,从而对移动终端1000进行整体监控。可选的,处理器1006可包括一个或多个处理单元。
在本发明实施例中,通过调用存储该第一存储器10021内的软件程序和/或模块和/或该第二存储器10022内的数据,显示单元1004用于在与第二终端进行视频通话过程中,在视频通话界面显示图像输入窗口,处理器1006用于获取图像输入窗口按照第一预设帧率存储的第一图像数据以及第一终端的摄像头按照第二预设帧率采集的第二图像数据;然后将第一图像数据和第二图像数据进行合成处理,生成第三图像数据,并将第三图像数据发送至第二终端。
可选地,处理器1006还用于:检测第一终端用户在所述图像输入窗口中的轨迹绘制操作,按照所述第一预设帧率,将检测到的所述轨迹绘制操作对应的轨迹存储为所述第二图像数据。
可选地,存储器1002用于:将所述图像输入窗口保存的每一帧所述第一图像数据存储于第一存储区域中。
可选地,存储器1002用于:将所述第一终端的摄像头采集的每一帧所述第二图像数据存储于第二存储区域中。
可选地,处理器1006还用于:对于所述第一存储区域中的每一帧第一图像数据,抽取奇数行的图像数据;对于所述第二存储区域中的每一帧第二图像数据,抽取偶数行的图像数据;并将抽取的所述奇数行及偶数行的图像数据按照抽取前各图像数据所属行数的顺序进行合成,生成第三图像数据;然后通过存储器1002将所述第三图像数据存储于第三存储区域中。
可选地,处理器1006还用于:对于所述第二存储区域中所存储的每一帧第二图像数据,确定对应所述图像输入窗口具有绘制轨迹的区域;将所述第二图像数据中,对应绘制轨迹的区域中的图像数据替换为存储于所述第一存储区域中的第一图像数据,生成第三图像数据;然后通过存储器1002将所述第三图像数据存储于第三存储区域中。
可选地,处理器1006还用于:接收所述第二终端发送的第四图像数据;然后通过显示单元1004在视频通话界面中的视频图像显示窗口显示所述第四图像数据。其中,所述第四图像数据为:将所述第二终端的摄像头采集的第五图像数据和显示在所述第二终端的视频通话界面中的图像输入窗口所存储的第六图像数据,进行合成处理后生成的图像数据。
可见,本发明实施例提供的移动终端1000,通过显示单元1004在与第二终端进行视频通话过程中,在视频通话界面显示图像输入窗口,处理器1006获取图像输入窗口按照第一预设帧率存储的第一图像数据以及第一终端的摄像头按照第二预设帧率采集的第二图像数据;然后将第一图像数据和第二图像数据进行合成处理,生成第三图像数据,并将第三图像数据发送至第二终端,用户不仅可以进行实时的视频通信及语音通信,还能够通过图像输入窗口这一辅助通信功能,传输用户绘制的图形(如文字、图画等)以及表情包和图片等,从而使信息表达更加全面、准确,使沟通更加有效,同时增加了通信的乐趣。
本领域普通技术人员可以意识到,结合本发明实施例中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的***、装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本申请所提供的实施例中,应该理解到,所揭露的装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个***,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应以权利要求的保护范围为准。

Claims (8)

1.一种视频通信方法,应用于第一终端,其特征在于,所述方法包括:
在与第二终端进行视频通话过程中,在视频通话界面显示图像输入窗口;
获取所述图像输入窗口按照第一预设帧率存储的第一图像数据;
获取所述第一终端的摄像头按照第二预设帧率采集的第二图像数据;
将所述第一图像数据和第二图像数据进行合成处理,生成第三图像数据;
将所述第三图像数据发送至所述第二终端;
所述获取所述图像输入窗口按照第一预设帧率保存的第一图像数据的步骤之前,所述视频通信方法还包括:
将所述图像输入窗口保存的每一帧所述第一图像数据存储于第一存储区域中;
所述获取所述第一终端的摄像头按照第二预设帧率采集的第一图像数据的步骤之前,所述视频通信方法还包括:
将所述第一终端的摄像头采集的每一帧所述第二图像数据存储于第二存储区域中;
所述将所述第一图像数据和第二图像数据进行合成处理,生成第三图像数据的步骤,包括:
对于所述第一存储区域中的每一帧第一图像数据,抽取奇数行的图像数据;
对于所述第二存储区域中的每一帧第二图像数据,抽取偶数行的图像数据;
将抽取的所述奇数行及偶数行的图像数据按照抽取前各图像数据所属行数的顺序进行合成,生成第三图像数据;
将所述第三图像数据存储于第三存储区域中。
2.根据权利要求1所述的视频通信方法,其特征在于,所述获取所述图像输入窗口按照第一预设帧率存储的第一图像数据的步骤之前,所述视频通信方法还包括:
检测第一终端用户在所述图像输入窗口中的轨迹绘制操作;
按照所述第一预设帧率,将检测到的所述轨迹绘制操作对应的轨迹存储为所述第一图像数据。
3.根据权利要求1或2所述的视频通信方法,其特征在于,所述第一预设帧率与所述第二预设帧率相同。
4.根据权利要求1所述的视频通信方法,其特征在于,所述将所述第三图像数据发送至所述第二终端的步骤之后,所述视频通信方法还包括:
接收所述第二终端发送的第四图像数据;
在视频通话界面中的视频图像显示窗口显示所述第四图像数据;
其中,所述第四图像数据为:将所述第二终端的摄像头采集的第五图像数据和显示在所述第二终端的视频通话界面中的图像输入窗口所存储的第六图像数据,进行合成处理后生成的图像数据。
5.一种移动终端,应用于第一终端,其特征在于,包括:
第一显示模块,用于在与第二终端进行视频通话过程中,在视频通话界面显示图像输入窗口;
第一获取模块,用于获取所述第一显示模块所显示的所述图像输入窗口按照第一预设帧率存储的第一图像数据;
第二获取模块,用于获取第一终端的摄像头按照第二预设帧率采集的第二图像数据;
处理模块,用于将所述第一获取模块获取的第一图像数据和所述第二获取模块获取的第二图像数据进行合成处理,生成第三图像数据;
发送模块,用于将所述处理模块生成的第三图像数据发送至所述第二终端;
第二存储模块,用于将所述图像输入窗口保存的每一帧所述第一图像数据存储于第一存储区域中;
第三存储模块,用于将所述第一终端的摄像头采集的每一帧所述第二图像数据存储于第二存储区域中;
所述处理模块包括:
第一处理单元,用于对于所述第一存储区域中的每一帧第一图像数据,抽取奇数行的图像数据;
第二处理单元,用于对于所述第二存储区域中的每一帧第二图像数据,抽取偶数行的图像数据;
第三处理单元,用于将所述第一处理单元抽取的所述奇数行及所述第二处理单元抽取的偶数行的图像数据按照抽取前各图像数据所属行数的顺序进行合成,生成第三图像数据;
第一存储单元,用于将所述第三处理单元生成的第三图像数据存储于第三存储区域中。
6.根据权利要求5所述的移动终端,其特征在于,还包括:
检测模块,用于检测第一终端用户在所述图像输入窗口中的轨迹绘制操作;
第一存储模块,用于按照所述第一预设帧率,将所述检测模块检测到的所述轨迹绘制操作对应的轨迹存储为所述第一图像数据。
7.根据权利要求5或6所述的移动终端,其特征在于,所述第一预设帧率与所述第二预设帧率相同。
8.根据权利要求5所述的移动终端,其特征在于,还包括:
接收模块,用于接收所述第二终端发送的第四图像数据;
第二显示模块,用于在视频通话界面中的视频图像显示窗口显示所述接收模块所接收的第四图像数据;
其中,所述第四图像数据为:将所述第二终端的摄像头采集的第五图像数据和显示在所述第二终端的视频通话界面中的图像输入窗口所存储的第六图像数据,进行合成处理后生成的图像数据。
CN201610927432.6A 2016-10-31 2016-10-31 一种视频通信方法及移动终端 Active CN106454199B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610927432.6A CN106454199B (zh) 2016-10-31 2016-10-31 一种视频通信方法及移动终端

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610927432.6A CN106454199B (zh) 2016-10-31 2016-10-31 一种视频通信方法及移动终端

Publications (2)

Publication Number Publication Date
CN106454199A CN106454199A (zh) 2017-02-22
CN106454199B true CN106454199B (zh) 2019-02-15

Family

ID=58177271

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610927432.6A Active CN106454199B (zh) 2016-10-31 2016-10-31 一种视频通信方法及移动终端

Country Status (1)

Country Link
CN (1) CN106454199B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108966031B (zh) * 2017-05-18 2021-06-04 腾讯科技(深圳)有限公司 视频会话中实现播放内容控制的方法及装置、电子设备
CN108174273B (zh) * 2017-12-29 2021-01-08 北京安云世纪科技有限公司 基于数据合成实现分层控制的方法、***以及移动终端
CN109068085B (zh) * 2018-09-12 2020-09-11 北京小米移动软件有限公司 通话处理方法及装置
CN110955739B (zh) * 2019-04-16 2020-07-03 北京仁光科技有限公司 标绘处理方法、共享图像标绘方法及标绘再现方法
CN111435545B (zh) * 2019-04-16 2020-12-01 北京仁光科技有限公司 标绘处理方法、共享图像标绘方法及标绘再现方法
CN110266991B (zh) * 2019-06-24 2022-09-23 江西盈盛实业有限公司 视频通话方法、移动终端及计算机可读存储介质
CN112565844B (zh) * 2020-12-04 2023-05-12 维沃移动通信有限公司 视频通信方法、装置和电子设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1835578A (zh) * 2005-03-16 2006-09-20 Lg电子株式会社 用于在视频通信期间构成图像的方法和设备
CN101794455A (zh) * 2009-01-21 2010-08-04 施昊 可绘图的网络编辑器及网络信息输入编辑***
CN102075727A (zh) * 2010-12-30 2011-05-25 中兴通讯股份有限公司 一种可视电话中图像处理方法和装置
CN105871682A (zh) * 2015-12-15 2016-08-17 乐视致新电子科技(天津)有限公司 一种视频通话方法、装置及终端

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101240261B1 (ko) * 2006-02-07 2013-03-07 엘지전자 주식회사 이동통신 단말기의 영상 통화 장치 및 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1835578A (zh) * 2005-03-16 2006-09-20 Lg电子株式会社 用于在视频通信期间构成图像的方法和设备
CN101794455A (zh) * 2009-01-21 2010-08-04 施昊 可绘图的网络编辑器及网络信息输入编辑***
CN102075727A (zh) * 2010-12-30 2011-05-25 中兴通讯股份有限公司 一种可视电话中图像处理方法和装置
CN105871682A (zh) * 2015-12-15 2016-08-17 乐视致新电子科技(天津)有限公司 一种视频通话方法、装置及终端

Also Published As

Publication number Publication date
CN106454199A (zh) 2017-02-22

Similar Documents

Publication Publication Date Title
CN106454199B (zh) 一种视频通信方法及移动终端
CN105959564B (zh) 一种拍照方法及移动终端
CN105827971B (zh) 一种图像处理方法及移动终端
CN105827946B (zh) 一种全景图像的生成和播放方法及移动终端
CN108932053B (zh) 基于手势的绘图方法、装置、存储介质和计算机设备
CN107317993B (zh) 一种视频通话方法及移动终端
CN106657810A (zh) 一种视频图像的滤镜处理方法和装置
CN106547469A (zh) 无线触控一体实现方法以及无线触控一体机
CN106973167B (zh) 一种来电提示方法及移动终端
CN107678644A (zh) 一种图像处理方法及移动终端
CN106791393A (zh) 一种拍摄方法及移动终端
CN107395997A (zh) 一种拍摄方法及移动终端
CN104199631B (zh) 一种多屏幕显示方法、装置及电子设备
JP2016134014A (ja) 電子情報ボード装置、情報処理方法およびプログラム
CN107197194A (zh) 一种视频通话方法及移动终端
CN107194907B (zh) 一种截图合成方法及移动终端
CN108073380A (zh) 电子装置、显示控制方法及相关产品
CN106791437A (zh) 一种全景图像拍摄方法及移动终端
CN106488133A (zh) 一种运动对象的检测方法及移动终端
CN106973237B (zh) 一种拍摄方法及移动终端
CN108200245A (zh) 电子装置、显示控制方法及相关产品
CN106855744B (zh) 一种屏幕显示方法及移动终端
CN106527906A (zh) 一种截图方法及移动终端
CN106097398B (zh) 一种运动对象的检测方法及移动终端
CN106790547A (zh) 一种ppt共享方法及移动终端

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant