CN108566514A - 图像合成方法和装置、设备、计算机可读存储介质 - Google Patents

图像合成方法和装置、设备、计算机可读存储介质 Download PDF

Info

Publication number
CN108566514A
CN108566514A CN201810360712.2A CN201810360712A CN108566514A CN 108566514 A CN108566514 A CN 108566514A CN 201810360712 A CN201810360712 A CN 201810360712A CN 108566514 A CN108566514 A CN 108566514A
Authority
CN
China
Prior art keywords
image
image data
terminal
indication information
position indication
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810360712.2A
Other languages
English (en)
Inventor
尤心
唐海
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority to CN201810360712.2A priority Critical patent/CN108566514A/zh
Publication of CN108566514A publication Critical patent/CN108566514A/zh
Pending legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/698Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265Mixing

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Processing Or Creating Images (AREA)
  • Studio Devices (AREA)

Abstract

本申请涉及一种图像合成方法、装置、设备和计算机可读存储介质。所述方法包括:图像合成设备接收多个图像拍摄终端发送的图像数据,所述图像数据是由所述多个图像拍摄终端在同一地理区域拍摄且实时发送的;所述图像合成设备对接收到的全部或部分所述图像数据进行合成,得到多视角合成图像。本申请实施例不受拍摄终端的限制,适用于多种应用场景。

Description

图像合成方法和装置、设备、计算机可读存储介质
技术领域
本申请涉及图像处理技术领域,特别是涉及一种图像合成方法、装置、设备、计算机可读存储介质。
背景技术
为提升用户的视觉体验,出现了多视角图像合成技术。一种典型的多视角图像合成技术即全景视频合成技术。利用集成多个摄像头的全景摄像机对场景进行全方位拍摄,拍摄完成后,对拍摄到的视频进行合成,得到全景视频。
目前的多视角图像合成技术受限于拍摄设备,难以用于对演出、赛事等活动场景进行多视角图像合成。
发明内容
本申请实施例提供一种图像合成方法、装置、设备、计算机可读存储介质,可以用于对演出、赛事等多种场景进行多视角图像合成。
一种图像合成方法,包括:
图像合成设备接收多个图像拍摄终端发送的图像数据,所述图像数据是由所述多个图像拍摄终端在同一地理区域拍摄且实时发送的;
所述图像合成设备对接收到的全部或部分所述图像数据进行合成,得到多视角合成图像。
一种图像合成装置,包括:
图像数据接收模块,用于接收多个图像拍摄终端发送的图像数据,所述图像数据是由所述多个图像拍摄终端在同一地理区域拍摄且实时发送的;
图像合成模块,用于对接收到的全部或部分所述图像数据进行合成,得到多视角合成图像。
一种图像合成设备,包括存储器及处理器,所述存储器中储存有计算机程序,所述计算机程序被所述处理器执行时,使得所述处理器执行上述任意实施例所述的图像合成方法的步骤。
一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现上述任意实施例所述的图像合成方法的步骤。
上述图像合成方法、装置、设备及计算机可读存储介质,可以对同一地理区域内多个图像拍摄终端拍摄并实时发送的图像数据进行合成,而不仅限于使用全景摄像机。由于图像数据是实时发送的,图像合成设备可以实时完成多视角图像的合成,因此,本申请实施例提供的技术方案适用于多种对实时性有要求的场景,例如演唱会、赛事等场景。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为一个实施例中图像合成方法的应用环境图;
图2为一个实施例中图像合成方法的流程图;
图3为一个实施例中图像合成装置的结构框图;
图4为一个实施例中主控终端的内部结构示意图;
图5为一个实施例中服务器的内部结构示意图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
图1为一个实施例中图像合成方法的应用环境示意图。如图1所示,该应用环境包括图像拍摄终端102、主控终端104、服务器106。
其中,图像拍摄终端102为具备拍摄功能及通信功能的终端,例如带有摄像头的手机、带有摄像头的平板电脑、具有通信功能的相机等等;主控终端104为具备图像合成功能及通信功能的终端,可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备;服务器106可以用独立的服务器或者是多个服务器组成的服务器集群或者虚拟服务器(例如云服务器)来实现。
其中,图像拍摄设备102既可以通过网络直接与服务器106通信,由服务器106接收同一地理区域的多个图像拍摄设备102拍摄并实时发送的图像数据,进而合成得到多视角合成图像;图像拍摄设备102也可以与主控终端104通信,由服务器106接收同一地理区域的多个图像拍摄设备102拍摄并实时发送的图像数据,根据主控终端104的处理能力不同,由主控终端104合成多视角合成图像,或者由主控终端104将接收到的图像数据转发给服务器106,由服务器106合成多视角合成图像。
图2为一个实施例中图像合成方法的流程图。本实施例中的图像合成方法,以运行于图1中的主控终端或服务器上为例进行描述。如图2所示,图像合成方法包括如下步骤:
步骤202,图像合成设备接收多个图像拍摄终端发送的图像数据,图像数据是由上述多个图像拍摄终端在同一地理区域拍摄且实时发送的。
具体地,图像合成设备可以是服务器,也可以是主控终端。
具体地,图像数据可以是图片数据,例如,在某旅游景点,不同游客利用手机拍摄并实时传送的照片。这些照片由众多游客在该旅游景点(同一地理区域)拍摄,但拍摄角度和具体拍摄位置不尽相同(多机位、多视角)。
图像数据也可以是视频图像数据,例如,在某演唱会现场,坐在不同位置的观众利用手机拍摄并实时传送现场视频。这些视频由众多观众在演唱会现场(同一地理区域)拍摄,但拍摄角度和具体拍摄位置不尽相同(多机位、多视角)。
步骤204,上述图像合成设备对接收到的全部或部分图像数据进行合成,得到多视角合成图像。
具体地,多视角合成图像可以是2D全景图像,也可以是3D全景图像,还可以是VR图像。
本申请实施例不对图像合成的具体实现方式进行限定。
由于图像拍摄终端的型号不同,不同图像拍摄终端发送的图像数据的图像质量也不尽相同。为了提高全视角合成图像的合成质量,可以舍弃图像质量较差的图像数据(例如分辨率低于设定阈值),使用图像质量符合要求的图像数据进行合成。
本实施例中的图像合成方法,可以对同一地理区域内多个图像拍摄终端拍摄并实时发送的图像数据进行合成,而不仅限于使用全景摄像机。由于图像数据是实时发送的,图像合成设备可以实时完成多视角图像的合成,因此,本申请实施例提供的技术方案适用于多种对实时性有要求的场景。
如上所述,本申请实施例提供的方法,可以用于对图片进行合成,也可以用于对视频进行合成。若对视频进行合成,具体的,上述步骤202中,图像合成设备接收上述多个图像拍摄终端通过实时视频传输方式发送的视频图像数据。本申请实施例不对实时视频传输的具体实现方式进行限定。
采用本申请实施例提供的方法,同一地理区域的图像拍摄终端进行视频拍摄的同时,将视频图像数据实时发送给图像合成设备,图像合成设备利用实时接收到的视频图像数据进行合成,得到多视角合成视频图像(例如2D全景视频、3D全景视频、VR视频等)。适用于对演唱会、赛事等活动现场进行直播的需求。
如上所述,图像合成设备可以是服务器,例如云端服务器。根据使用场景的不同,云端服务器可以对多视角合成图像进行不同的处理。例如,云端服务器可以将多视角合成图像发送给图像接收端,以便图像接收端播放该多视角合成图像。具体的,云端服务器可以根据图像接收端的请求,将多视角合成图像发送给图像接收端,也可以按照预先的配置策略,主动将多视角合成图像发送给图像接收端。又例如,云端服务器可以将多视角合成图像的展示信息添加到图像浏览界面,以供用户选择播放。
相应的,各个图像拍摄终端可以直接将图像数据发送给云端服务器,也可以通过主控终端转发。
图像合成设备也可以是上述主控终端。相应的,主控终端还将多视角合成图像上传到云端服务器。
以云端服务器为例,云端服务器在一段时间内可能会接收到多个不同地理区域的多个终端发送的图像数据。例如,在A地和B地同时举办了演唱会,A地和B地参加演唱会的多个观众均使用手机拍摄视频并实时传输给云端服务器。这种情况下,云端服务器需要区分不同地理区域的图像数据,以避免图像合成出错。为此,云端服务器可以获取各个图像拍摄终端发送的位置指示信息,该位置指示信息用于指示图像数据的拍摄位置,云端服务器根据位置指示信息确定拍摄位置在同一地理区域的图像数据。相应的,上述步骤204中,云端服务器将拍摄位置在同一地理区域的全部或部分所述图像数据进行合成。
本申请实施例中,通过位置指示信息指示图像数据的拍摄位置,云端服务器根据位置指示信息可以识别拍摄位置在同一地理区域的图像数据,进而对同一地理区域的图像数据进行合成,避免因无法区分拍摄位置导致图像合成错误。
本申请实施例不对位置指示信息的获取方式进行限定,仅举例说明。一种实现方式中,位置指示信息携带在图像拍摄终端实时发送的图像数据中,云端服务器从图像数据中获取图像指示信息。若图像数据为视频图像数据,可选的,位置指示信息可仅携带在视频的第一帧图像数据中,云端服务器在第一帧图像数据中获取到位置指示信息,根据该位置指示信息确定该视频图像数据(第一帧图像数据及该视频的后续图像数据)的拍摄位置;或者,位置指示信息可仅携带在视频的I帧图像数据中,云端服务器在I帧图像数据中获取到位置指示信息,根据该位置指示信息确定该视频图像数据的拍摄位置。另一种实现方式中,云端服务器接收到图像拍摄终端实时发送的图像数据后,向图像拍摄终端发送位置确认请求,并接收图像拍摄终端反馈的位置指示信息,云端服务器根据该位置指示信息确定该图像拍摄终端实时发送的图像数据的拍摄位置。
本申请实施例中,通过位置指示信息指示图像数据的拍摄位置的实现方式有多种。
一种实现方式中,位置指示信息为空间坐标信息(例如GPS信息、北斗定位信息等),云端服务器根据接收到的空间坐标信息,确定发送视频数据的多个终端之间的距离,进而根据距离判断视频数据的拍摄位置是否在同一地理区域。
另一种实现方式中,位置指示信息包括空间坐标信息和/或区域标识信息。若图像拍摄终端能够获取空间坐标信息,则发送空间坐标信息;若图像拍摄终端无法获得空间坐标信息,则发送区域标识信息。其中,相同的地理区域对应同一个区域标识信息。区域标识信息可以是局域网标识,也可以是微基站的标识,还可以是微基站生成的编码信息,本申请对此不作限定。云端服务器查找第一类图像拍摄终端发送的图像数据,第一类图像拍摄终端发送的位置指示信息中包括空间坐标信息,且空间坐标件的距离满足设定距离条件;查找第二类图像拍摄终端发送的图像数据,第二类图像拍摄终端发送的位置指示信息中不包括空间坐标信息、但包括区域标识信息,且区域标识信息与第一类图像拍摄终端发送的区域标识信息相同。上述第一类图像拍摄终端和第二类图像拍摄终端发送的图像数据即为拍摄位置在同一地理区域的图像数据。一种具体的实现过程可以是:云端服务器预先保存至少一个目标地理区域,每接收到一个图像拍摄终端发送的位置指示信息,即判断其中是否包括空间坐标信息;若包括,进而根据接收到的空间坐标信息判断该图像拍摄终端的坐标是否位于预定的某个目标地理区域,若位于其中一个目标地理区域,则将该终端发送的图像数据保存到该目标地理区域对应的分组,以便后续进行合成,若不位于任何一个目标地理区域,则可以选择丢弃该终端发送的图像数据;若不包括,则获取区域标识信息,并将该区域标识信息与各分组中的图像数据对应的区域标识进行匹配,并将对应的图像数据保存到匹配成功的分组中,以便后续进行合成。采用这种实现方式,结合空间坐标信息和区域标识信息对图像拍摄终端的地理区域进行确定,提高了定位精度,且避免由于图像拍摄终端无法获得空间坐标信息时定位失败。
另一种实现方式中,不同的地理区域通过不同的位置指示信息表示,相同的位置指示信息则表示对应的图像数据的拍摄位置在同一地理区域。本申请实施例不对位置指示信息的具体实现方式进行限定。例如,位置指示信息可以包括局域网标识,在同一局域网(例如,WI-FI网络)覆盖范围内的多个图像拍摄终端在实时发送图像数据的过程中,将所在局域网标识发送给云端服务器,云端服务器通过识别局域网标识,将相同局域网标识对应的图像数据进行合成。又例如,信息生成设备(可以但不仅限于是微基站)为对应的地理区域(微小区)生成位置指示信息,并通过广播的方式发送该位置指示信息,或者在图像拍摄终端进入该地理区域(接入微小区)时将该位置指示信息发送给图像拍摄终端;相应的,该地理区域内的图像拍摄终端从广播中获取该位置指示信息,或者在进入该地理区域(接入微小区)时获得该位置指示信息,并将位置指示信息发送给云端服务器。相应的,云端服务器查找相同位置指示信息对应的图像数据。即,云端服务器对图像数据进行分组,将同一位置指示信息对应的图像数据进行分组,进而对每个分组中的全部或部分图像数据进行合成。
本申请实施例中,云端服务器查找相同位置指示信息对应的图像数据的实现方式有多种。一种实现方式中,云端服务器缓存图像拍摄终端发送的位置指示信息,并在图像合成完成后,删除缓存的位置指示信息;相应的,每接收到图像拍摄终端发送的位置指示信息,即判断该位置指示信息是否已缓存,若存在,则将该图像拍摄终端发送的图像数据保存到该位置指示信息对应的分组中,若不存在,则保存该位置指示信息,并建立该位置指示信息对应的分组,并将该图像拍摄终端发送的图像数据保存到该位置指示信息对应的分组中。另一种实现方式中,云端服务器预先保存位置指示信息,例如信息生成设备在生成位置指示信息后,将该位置指示信息发送给云端服务器;相应的,云端服务器每接收到图像拍摄终端发送的位置指示信息,即将接收到的位置指示信息与保存的位置指示信息进行匹配,并将接收到的位置指示信息对应的图像数据保存到匹配的位置指示信息对应的分组中。
应当指出的是,若某地理区域的环境会随时间变化。例如,某旅游景点的景色随季节和天气变化而有较明显的变化;又例如,某场馆可能会承办不同活动,虽然在同一地理区域,但在不同时段其环境显然会有较大变化。这种情况下,云端服务器在进行图像合成时,不仅要区分地理区域,还要区分图像拍摄时间,以提高图像合成质量。其具体实现方式有多种,例如,云端服务器对指定时间段内接收到的图像数据进行合成。该指定时间段可以是云端服务器侧配置的,也可以是云端服务器根据接收到的指示确定的,还可以是上述位置指示信息中指示的。具体的,位置指示信息中可以携带位置指示信息有效时间,云端服务器获取位置指示信息后,解析该位置指示信息,获取位置指示信息有效时间,云端服务器对该位置指示信息有效时间内接收到的位置指示信息对应的图像数据进行合并。
应当指出的是,若在主控终端上进行图像合成的具体实现方式可以参照上述云端服务器的实现方式,本申请不再赘述。
下面以具体应用场景为例,对本申请实施例提供的技术方案进行详细说明。
应用场景一:直播演唱会
本实施例中,预先为该演唱会生成位置指示信息,并在该位置指示信息中携带位置指示信息有效时间。该位置指示信息由设置于演唱会现场的信息生成设备生成并广播,该信息生成设备可以是智能手机、平板电脑、PC机、微基站等等。
演唱会现场的观众打开手机上的直播软件,该直播软件启动后,开启摄像头进行视频录制,监听广播消息,并与云端服务器建立实时视频通信链接,将视频图像数据通过实时视频通信链接发送给云端服务器,且在第一帧视频图像数据中携带从广播消息中获取的位置指示信息。
云端服务器分别通过与多个手机建立的实时视频通信链接获取视频图像数据,并从中获取位置指示信息;根据位置指示信息确定该演唱会现场拍摄的视频数据;云端服务器对该演唱会现场拍摄的视频数据进行合成,生成全景视频;将生成的全景视频推送到应用服务器,由应用服务器在视频展示界面上展示该演唱会的直播视频,以便不在现场的观众也可以通过观看全景视频获得身临其境的观看体验。
其中,上述实时视频传输链路可以为5G通信链路,利用5G的高速率低时延特点使得现场观众可以通过自己的手机实时上传现场视频,利用云端服务器强大的处理能力完成多视角视频合成与交互。
本实施例中,全景视频是根据现场多个观众从不同角度、不同距离拍摄的视频合成的。因此,合成的全景视频支持多角度、多距离的视角切换。
应用场景二:多人协作探险/游戏
本实施例中,参与协作的多个用户佩戴可穿戴拍摄终端,其中,一个用户的可穿戴拍摄终端为主控终端。
主控终端实时检测网络环境,若网络信号较差,则向其他可穿戴拍摄终端发送通信指示,指示其他可穿戴拍摄终端将视频实时传输给主控终端,若网络信号满足预设要求,则向其他可穿戴拍摄终端发送通信指示,指示其他可穿戴拍摄终端将视频实时传输给云端服务器,通信指示中还携带位置指示信息;
各个可穿戴拍摄终端通过实时视频传输方式,将视频图像数据实时发送给主控终端或者云端服务器。
其中,各个可穿戴拍摄终端可以通过D2D通信方式将视频图像数据实时发送给主控终端,也可以通过局域网将视频图像数据实时发送给主控终端。
主控终端接收到各个可穿戴拍摄终端发送的视频图像数据后,进行合成,得到全景视频。进一步的,根据应用场景需求,主控终端可以将合成得到的全景视频推送给各个可穿戴拍摄终端,以便团队成员可以从多角度观察所处环境。可选的,主控终端在检测到网络信号满足预设要求时,还可以将合成的全景视频上传到云端服务器。
云端服务器接收到各个可穿戴拍摄终端发送的图像视频数据后,从中获取位置指示信息,根据位置指示信息确定同一地理区域的视频图像数据,对同一地理区域的视频图像数据进行合成,得到全景视频。进一步的,根据应用场景需求,云端服务器可以将合成得到的全景视频推送给各个可穿戴拍摄终端,以便团队成员可以从多角度观察所处环境。
应用场景三:现场小组行动回传
例如,警方在小组作战时,可以通过小组成员佩戴的拍摄终端在不同角度和不同位置拍摄图片或者视频,合成现场全景图像提供给现场指挥部。
本申请实施例中,各个小组成员佩戴的拍摄终端通过实时视频传输方式将拍摄到的视频图像数据发送给云端服务器,其中携带GPS信息;
云端服务器根据视频图像数据中携带的GPS信息确定同一地理区域内的视频图像数据,对同一地理区域内的视频图像数据进行合成,得到全景视频;
云端服务器将全景视频发送给指挥终端,以便指挥人员通过指挥终端观察作战现场环境。
应用场景四:VR视频拍摄
参与VR视频拍摄的多个用户分别利用手机在同一地理区域进行视频拍摄,并通过实时视频传输方式将拍摄到的视频发送给云端服务器;
云端服务器接收到视频图像数据后,分别向各个手机发送验证请求,手机将所在局域网的标识回传给云端服务器;
云端服务器根据局域网标识确定同一地理区域的视频图像数据,进而对这些视频图像数据进行合成,生成VR视频。
观看该VR视频的用户可以通过头部转动以及身体走动来实现不同角度、不同距离的观看,获得身临其境的视觉体验。
应该理解的是,虽然图2的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,图2中的至少一部分步骤可以包括多个子步骤或者多个阶段,这些子步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些子步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
图3为一个实施例的图像合成装置的结构框图。如图3所示,图像合成装置包括:
图像数据接收模块301,用于接收多个图像拍摄终端发送的图像数据,所述图像数据是由所述多个图像拍摄终端在同一地理区域拍摄且实时发送的;
图像合成模块302,用于对接收到的全部或部分所述图像数据进行合成,得到多视角合成图像。
本申请实施例提供的装置,可以对同一地理区域内多个图像拍摄终端拍摄并实时发送的图像数据进行合成,而不仅限于使用全景摄像机。由于图像数据是实时发送的,图像合成设备可以实时完成多视角图像的合成,因此,本申请实施例提供的技术方案适用于多种对实时性有要求的场景
在其中一个实施例中,所述图像数据接收模块具体用于:接收多个图像拍摄终端通过实时视频传输方式发送的视频图像数据。
在其中一个实施例中,还包括位置确认模块,用于:获取所述多个图像拍摄终端发送的位置指示信息,所述位置指示信息用于指示图像数据的拍摄位置;确定拍摄位置在同一地理区域的图像数据;
所述图像合成模块具体用于:将拍摄位置在同一地理区域的全部或部分所述图像数据进行合成。
在其中一个实施例中,位置确认模块具体用于:查找第一类图像拍摄终端发送的图像数据,所述第一类图像拍摄终端发送的位置指示信息中包括空间坐标信息,且空间坐标间的距离满足设定距离条件;查找第二类图像拍摄终端发送的图像数据,所述第二类图像拍摄终端发送的位置指示信息中不包括空间坐标信息、但包括区域标识信息,且区域标识信息与第一类图像拍摄终端发送的区域标识信息相同;所述第一类图像拍摄终端和所述第二类图像终端发送的图像数据为拍摄位置在同一地理区域的图像数据。
在其中一个实施例中,位置确认模块具体用于:查找相同位置指示信息对应的图像数据,相同的位置指示信息表示对应的图像数据的拍摄位置在同一地理区域。
在其中一个实施例中,所述位置指示信息包括局域网标识,所述局域网标识为图像拍摄终端发送图像数据时所在的局域网的标识;或者,所述位置指示信息是由图像拍摄终端从广播消息中获取的,所述广播消息是由图像拍摄终端发送图像数据时所在地理区域对应的信息生成设备发送的;或者,所述位置指示信息是由图像拍摄终端接入微小区时获取的。
在其中一个实施例中,上述装置还包括图像发送模块,用于将所述多视角合成图像发送给图像接收终端;或者,用于将所述多视角合成图像上传到云端服务器。
上述图像合成装置中各个模块的划分仅用于举例说明,在其他实施例中,可将图像合成装置按照需要划分为不同的模块,以完成上述图像合成装置的全部或部分功能。
关于图像合成装置的具体限定可以参见上文中对于图像合成方法的限定,在此不再赘述。上述图像合成装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
图4为一个实施例中主控终端的内部结构示意图。如图4所示,该主控终端包括通过***总线连接的处理器、存储器和网络接口。其中,该处理器用于提供计算和控制能力,支撑整个主控终端的运行。存储器用于存储数据、程序等,存储器上存储至少一个计算机程序,该计算机程序可被处理器执行,以实现本申请实施例中提供的适用于主控终端的无线网络通信方法。存储器可包括非易失性存储介质及内存储器。非易失性存储介质存储有操作***和计算机程序。该计算机程序可被处理器所执行,以用于实现以下各个实施例所提供的一种图像合成方法。内存储器为非易失性存储介质中的操作***计算机程序提供高速缓存的运行环境。网络接口可以是以太网卡或无线网卡等,用于与外部的电子设备进行通信。该主控终端可以是手机、平板电脑或者个人数字助理或穿戴式设备等。
图5为一个实施例中云端服务器的内部结构示意图。如图5所示,该服务器包括通过***总线连接的处理器、非易失性存储介质、内存储器和网络接口。其中,该处理器用于提供计算和控制能力,支撑整个服务器的运行。存储器用于存储数据、程序等,存储器上存储至少一个计算机程序,该计算机程序可被处理器执行,以实现本申请实施例中提供的适用于服务器的无线网络通信方法。存储器可包括非易失性存储介质及内存储器。非易失性存储介质存储有操作***和计算机程序。该计算机程序可被处理器所执行,以用于实现以下各个实施例所提供的一种图像合成方法。内存储器为非易失性存储介质中的操作***计算机程序提供高速缓存的运行环境。网络接口可以是以太网卡或无线网卡等,用于与外部的电子设备进行通信。服务器可以用独立的服务器或者是多个服务器组成的服务器集群来实现。本领域技术人员可以理解,图5中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的服务器的限定,具体的服务器可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
本申请实施例中提供的图像合成装置中的各个模块的实现可为计算机程序的形式。该计算机程序可在主控终端或云端服务器上运行。该计算机程序构成的程序模块可存储在主控终端或云端服务器的存储器上。该计算机程序被处理器执行时,实现本申请实施例中所描述方法的步骤。
本申请实施例还提供了一种图像合成设备,该图像合成设备包括存储器及处理器,存储器中储存有计算机程序,计算机程序被处理器执行时,使得处理器执行如上任意图像合成方法实施例所述的步骤。图像合成设备可以是图4所示的主控终端,也可以是图5所示的云端服务器。
本申请实施例还提供了一种计算机可读存储介质。一个或多个包含计算机可执行指令的非易失性计算机可读存储介质,当所述计算机可执行指令被一个或多个处理器执行时,使得所述处理器执行图像合成方法的步骤。
一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行图像合成方法。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对本申请专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。

Claims (12)

1.一种图像合成方法,其特征在于,包括:
图像合成设备接收多个图像拍摄终端发送的图像数据,所述图像数据是由所述多个图像拍摄终端在同一地理区域拍摄且实时发送的;
所述图像合成设备对接收到的全部或部分所述图像数据进行合成,得到多视角合成图像。
2.根据权利要求1所述的方法,其特征在于,所述图像合成设备分别接收多个图像拍摄终端发送的图像数据,包括:
图像合成设备接收多个图像拍摄终端通过实时视频传输方式发送的视频图像数据。
3.根据权利要求1或2所述的方法,其特征在于,所述方法还包括:所述图像合成设备获取所述多个图像拍摄终端发送的位置指示信息,所述位置指示信息用于指示图像数据的拍摄位置;所述图像合成设备根据所述位置指示信息确定拍摄位置在同一地理区域的图像数据;
所述图像合成设备对接收到的全部或部分所述图像数据进行合成,包括:所述图像合成设备将拍摄位置在同一地理区域的全部或部分所述图像数据进行合成。
4.根据权利要求3所述的方法,其特征在于,所述位置指示信息包括空间坐标信息和/或区域标识信息。
5.根据权利要求3所述的方法,其特征在于,所述图像合成设备根据所述位置指示信息确定拍摄位置在同一地理区域的图像数据,包括:
所述图像合成设备查找相同位置指示信息对应的图像数据,相同的位置指示信息表示对应的图像数据的拍摄位置在同一地理区域。
6.根据权利要求5所述的方法,其特征在于:
所述位置指示信息包括局域网标识,所述局域网标识为图像拍摄终端发送图像数据时所在的局域网的标识;或者,
所述位置指示信息是由图像拍摄终端从广播消息中获取的,所述广播消息是由图像拍摄终端发送图像数据时所在地理区域对应的信息生成设备发送的;或者,
所述位置指示信息是由图像拍摄终端接入微小区时获取的。
7.根据权利要求1或2所述的方法,其特征在于:
所述图像合成设备为云端服务器,该方法还包括:所述云端服务器将所述多视角合成图像发送给图像接收终端;
或者,
该方法还包括:所述图像合成设备将所述多视角合成图像上传到云端服务器。
8.一种图像合成装置,其特征在于,包括:
图像数据接收模块,用于接收多个图像拍摄终端发送的图像数据,所述图像数据是由所述多个图像拍摄终端在同一地理区域拍摄且实时发送的;
图像合成模块,用于对接收到的全部或部分所述图像数据进行合成,得到多视角合成图像。
9.根据权利要求8所述的装置,其特征在于,所述图像数据接收模块具体用于:接收多个图像拍摄终端通过实时视频传输方式发送的视频图像数据。
10.根据权利要求8或9所述的装置,其特征在于,还包括位置确认模块,用于:获取所述多个图像拍摄终端发送的位置指示信息,所述位置指示信息用于指示图像数据的拍摄位置;确定拍摄位置在同一地理区域的图像数据;
所述图像合成模块具体用于:将拍摄位置在同一地理区域的全部或部分所述图像数据进行合成。
11.一种图像合成设备,包括存储器及处理器,其特征在于,所述存储器中储存有计算机程序,所述计算机程序被所述处理器执行时,使得所述处理器执行如权利要求1至7中任一项所述的图像合成方法的步骤。
12.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述的方法的步骤。
CN201810360712.2A 2018-04-20 2018-04-20 图像合成方法和装置、设备、计算机可读存储介质 Pending CN108566514A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810360712.2A CN108566514A (zh) 2018-04-20 2018-04-20 图像合成方法和装置、设备、计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810360712.2A CN108566514A (zh) 2018-04-20 2018-04-20 图像合成方法和装置、设备、计算机可读存储介质

Publications (1)

Publication Number Publication Date
CN108566514A true CN108566514A (zh) 2018-09-21

Family

ID=63536030

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810360712.2A Pending CN108566514A (zh) 2018-04-20 2018-04-20 图像合成方法和装置、设备、计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN108566514A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111263093A (zh) * 2020-01-22 2020-06-09 维沃移动通信有限公司 一种录像方法及电子设备
CN113438462A (zh) * 2021-06-04 2021-09-24 北京小米移动软件有限公司 一种多设备互联拍摄方法及装置、电子设备及存储介质
CN114697516A (zh) * 2020-12-25 2022-07-01 花瓣云科技有限公司 三维模型重建方法、设备和存储介质
CN114915798A (zh) * 2021-02-08 2022-08-16 阿里巴巴集团控股有限公司 实时视频生成方法、多摄像头直播方法及装置
TWI788817B (zh) * 2021-04-07 2023-01-01 崑山科技大學 多視角串流合成系統及方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101662693A (zh) * 2008-08-27 2010-03-03 深圳华为通信技术有限公司 多视点媒体内容的发送和播放方法、装置及***
CN102215563A (zh) * 2011-04-21 2011-10-12 为一智联(北京)科技有限公司 移动终端多级定位方法和装置
CN103024447A (zh) * 2012-12-31 2013-04-03 合一网络技术(北京)有限公司 一种同时同地拍摄的多视频移动端剪辑云端合成方法及服务器
CN104427228A (zh) * 2013-08-22 2015-03-18 展讯通信(上海)有限公司 协作拍摄***及其拍摄方法
CN104994369A (zh) * 2013-12-04 2015-10-21 中兴通讯股份有限公司 一种图像处理方法、用户终端、图像处理终端及***
US20160088233A1 (en) * 2014-09-18 2016-03-24 Optoma Corporation Image blending system and method for image blending
CN106231188A (zh) * 2016-07-29 2016-12-14 蔡兆翰 多角度空间成像装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101662693A (zh) * 2008-08-27 2010-03-03 深圳华为通信技术有限公司 多视点媒体内容的发送和播放方法、装置及***
CN102215563A (zh) * 2011-04-21 2011-10-12 为一智联(北京)科技有限公司 移动终端多级定位方法和装置
CN103024447A (zh) * 2012-12-31 2013-04-03 合一网络技术(北京)有限公司 一种同时同地拍摄的多视频移动端剪辑云端合成方法及服务器
CN104427228A (zh) * 2013-08-22 2015-03-18 展讯通信(上海)有限公司 协作拍摄***及其拍摄方法
CN104994369A (zh) * 2013-12-04 2015-10-21 中兴通讯股份有限公司 一种图像处理方法、用户终端、图像处理终端及***
US20160088233A1 (en) * 2014-09-18 2016-03-24 Optoma Corporation Image blending system and method for image blending
CN106231188A (zh) * 2016-07-29 2016-12-14 蔡兆翰 多角度空间成像装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
梅义征: "《社区矫正制度的移植、嵌入与重构 中国特色社区矫正制度研究》", 31 January 2015 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111263093A (zh) * 2020-01-22 2020-06-09 维沃移动通信有限公司 一种录像方法及电子设备
CN111263093B (zh) * 2020-01-22 2022-04-01 维沃移动通信有限公司 一种录像方法及电子设备
CN114697516A (zh) * 2020-12-25 2022-07-01 花瓣云科技有限公司 三维模型重建方法、设备和存储介质
CN114697516B (zh) * 2020-12-25 2023-11-10 花瓣云科技有限公司 三维模型重建方法、设备和存储介质
CN114915798A (zh) * 2021-02-08 2022-08-16 阿里巴巴集团控股有限公司 实时视频生成方法、多摄像头直播方法及装置
TWI788817B (zh) * 2021-04-07 2023-01-01 崑山科技大學 多視角串流合成系統及方法
CN113438462A (zh) * 2021-06-04 2021-09-24 北京小米移动软件有限公司 一种多设备互联拍摄方法及装置、电子设备及存储介质
CN113438462B (zh) * 2021-06-04 2022-09-02 北京小米移动软件有限公司 一种多设备互联拍摄方法及装置、电子设备及存储介质

Similar Documents

Publication Publication Date Title
CN108566514A (zh) 图像合成方法和装置、设备、计算机可读存储介质
US11381739B2 (en) Panoramic virtual reality framework providing a dynamic user experience
US20230245395A1 (en) Re-creation of virtual environment through a video call
CN109565605B (zh) 拍摄技术生成方法以及影像处理装置
US11711504B2 (en) Enabling motion parallax with multilayer 360-degree video
CN107534789B (zh) 影像同步装置及影像同步方法
WO2017134706A1 (ja) 映像表示方法及び映像表示装置
US11228811B2 (en) Virtual prop allocation method, server, client, and storage medium
US11924397B2 (en) Generation and distribution of immersive media content from streams captured via distributed mobile devices
JP2023083574A (ja) 受信方法、端末及びプログラム
US20120120201A1 (en) Method of integrating ad hoc camera networks in interactive mesh systems
JP2017139725A (ja) 映像表示方法及び映像表示装置
US11361520B2 (en) Layered augmented entertainment experiences
JP2015204512A (ja) 情報処理装置、情報処理方法、カメラ、受信装置、受信方法
JP2022536182A (ja) データストリームを同期させるシステム及び方法
CN107205122A (zh) 多分辨率全景视频直播拍照***与方法
GB2495699A (en) Sending activity information and location information from at least one mobile device to identify points of interest
CN112581627A (zh) 用于体积视频的用户控制的虚拟摄像机的***和装置
You et al. Internet of Things (IoT) for seamless virtual reality space: Challenges and perspectives
CN106060526A (zh) 一种基于双摄像头的直播方法及装置
JP7042571B2 (ja) 画像処理装置およびその制御方法、プログラム
US11282169B2 (en) Method and apparatus for processing and distributing live virtual reality content
US11483533B2 (en) System and method for social immersive content rendering
US11568893B2 (en) Image acquisition system and method
CN108769755A (zh) 高分辨率全景视频直播拍照***与方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20180921