CN116783878A - 电子装置和图像发送/接收方法 - Google Patents

电子装置和图像发送/接收方法 Download PDF

Info

Publication number
CN116783878A
CN116783878A CN202280009592.6A CN202280009592A CN116783878A CN 116783878 A CN116783878 A CN 116783878A CN 202280009592 A CN202280009592 A CN 202280009592A CN 116783878 A CN116783878 A CN 116783878A
Authority
CN
China
Prior art keywords
electronic device
camera
image data
image
processor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202280009592.6A
Other languages
English (en)
Inventor
赵贤明
李勋宰
池正云
金容台
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020210004863A external-priority patent/KR20220102481A/ko
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN116783878A publication Critical patent/CN116783878A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/75—Media network packet handling
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/80—Services using short range communication, e.g. near-field communication [NFC], radio-frequency identification [RFID] or low energy communication
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/1066—Session management
    • H04L65/1069—Session establishment or de-establishment
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/1066—Session management
    • H04L65/1101—Session protocols
    • H04L65/1104—Session initiation protocol [SIP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/65—Network streaming protocols, e.g. real-time transport protocol [RTP] or real-time control protocol [RTCP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/75—Media network packet handling
    • H04L65/762—Media network packet handling at the source 
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23605—Creation or processing of packetized elementary streams [PES]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/2662—Controlling the complexity of the video stream, e.g. by scaling the resolution or bitrate of the video stream based on the client capabilities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/643—Communication protocols
    • H04N21/6437—Real-time Transport Protocol [RTP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8547—Content authoring involving timestamps for synchronizing content
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/142—Constructional details of the terminal equipment, e.g. arrangements of the camera and the display
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/147—Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Business, Economics & Management (AREA)
  • Business, Economics & Management (AREA)
  • Databases & Information Systems (AREA)
  • Computer Security & Cryptography (AREA)
  • Optics & Photonics (AREA)
  • Theoretical Computer Science (AREA)
  • Telephone Function (AREA)

Abstract

根据各种实施例的电子装置可以包括第一相机、通信模块和操作地连接第一相机和通信模块的处理器，其中，处理器被配置为：建立与包括第二相机的外部装置的短程无线通信连接；建立与对端装置的通信连接；确定要发送到对端装置的图像数据的格式；选择第一相机和第二相机中的一个；如果第一相机被选择，则根据所述格式打包从第一相机获取的第一图像数据并且将所述第一图像数据发送到对端装置，如果第二相机被选择，则根据所述格式打包通过第二相机获取的第二图像数据并且将所述第二图像数据发送到对端装置。

Description

电子装置和图像发送/接收方法
技术领域
本公开的各种实施例涉及一种电子装置，并且例如涉及一种包括用于获取外部图像的相机并且能够通过无线通信连接到外部装置的电子装置，以及电子装置的图像发送/接收方法。
背景技术
随着移动通信和硬件技术的发展，便携式电子装置(在下文中被称为电子装置)已经配备了各种功能。例如，除了传统的语音通信功能之外，电子装置还可以通过各种应用提供各种用户体验。此外，电子装置可以配备有相机，从而能够通过相机获取外部图像，并且能够将通过诸如视频通信、实时流和vlog等图像发送/接收功能获取的图像数据发送到其他设备。
增强现实(AR)是指将虚拟对象重叠显示在用户眼睛所见的现实世界上的技术，并且用户可穿戴AR装置(例如，AR眼镜)而被提供AR内容。AR眼镜可包括相机，并且由AR眼镜的相机捕获的图像数据可以被发送到其他设备。
发明内容
技术问题
根据AR装置的实现模式或使用AR设备的情况，可能无法与网络(例如，分组数据网络(PDN))进行通信。例如，如果AR装置仅包括短程无线通信(例如Wi-Fi)功能，并且不包括蜂窝无线通信(例如4G、5G蜂窝无线通信)功能，并且如果AR装置不在接入点的覆盖范围内，则AR装置可能无法从网络接收数据(例如，AR内容)。
本公开的各种实施例可以提供一种能够将从外部装置(例如，AR装置)获取的图像实时发送到对端装置的电子装置，以及该电子装置的图像发送/接收方法。
技术方案
根据各种实施例的电子装置可以包括第一相机、通信模块以及可操作地连接到第一相机和通信模块的处理器，其中，处理器被配置为：通过使用通信模块，建立与包括第二相机的外部装置的短程无线通信连接；建立与对端装置的通信连接；确定要发送到对端装置的图像数据的格式；选择电子装置的第一相机和外部装置的第二相机中的一个；当第一相机被选择时，根据确定的格式打包从第一相机获取的第一图像数据，以便将打包的第一图像数据通过通信模块发送到对端装置，当第二相机被选择时，从外部装置接收从第二相机获取的第二图像数据，并根据确定的格式打包第二图像数据，以便通过通信模块将打包的第二图像数据发送到对端装置。
根据各种实施例的电子装置的图像数据发送/接收方法可包括：建立与包括第二相机的外部装置的短程无线通信连接，建立与对端装置的通信连接，确定要发送到对端装置的图像数据的格式，选择电子装置的第一相机和外部装置的第二相机中的一个，当第一相机被选择时，根据确定的格式打包从第一相机获取的第一图像数据，以便将打包的第一图像数据发送到对端装置，当第二相机被选择时，从外部装置接收从第二相机获取的第二图像数据，并根据确定的格式打包第二图像数据，以便将打包的第二图像数据发送到对端装置。
有益技术效果
根据本公开的各种实施例，电子装置可以将从外部装置(例如，AR装置)获取的图像实时且有效地发送到对端装置。
另外，电子装置可以取决于情况在AR装置的相机和电子装置的相机之间切换用于图像传输的相机，并且在这种切换情况下，可以保证与对端装置的图像传输无缝进行。
附图说明
图1是根据各种实施例的网络环境中的电子装置的框图。
图2图示根据各种实施例的包括AR装置、电子装置和对端装置的实时图像发送/接收***；
图3图示根据各种实施例的AR装置；
图4是根据各种实施例的电子装置的框图；
图5是根据各种实施例的用于第一电子装置的实时图像发送/接收的配置的框图；
图6是根据各种实施例的用于第二电子装置的实时图像发送/接收的配置的框图；
图7图示根据各种实施例的实时图像发送/接收***中的图像格式配置和协商方法；
图8图示根据各种实施例的用于将由第一电子装置获取的图像发送到对端装置的方法；
图9A图示根据各种实施例的用于将由第二电子装置获取的图像发送到对端装置的方法；
图9B图示根据各种实施例的用于将由第二电子装置获取的图像发送到对端装置的方法；
图10A图示根据各种实施例的当第一电子装置将第二电子装置的图像中继到对端装置时的RTP消息；
图10B图示根据各种实施例的当第一电子装置将第二电子装置的图像中继到对端装置时的RTP消息；
图11A图示根据各种实施例的用于在第一电子装置中切换图像源的用户界面；
图11B图示根据各种实施例的用于在第一电子装置中切换图像源的用户界面；
图12A图示根据各种实施例的安全屏幕；
图12B图示根据各种实施例的安全屏幕；
图13图示根据各种实施例的用于根据安全屏幕事件切换图像源的方法；
图14图示根据各种实施例的用于根据电池事件切换图像源的方法；和
图15图示根据各种实施例的用于根据断开连接事件切换图像源的方法。
具体实施方式
图1是示出根据各种实施例的网络环境100中的电子装置101的框图。参照图1，网络环境100中的电子装置101可经由第一网络198(例如，短程无线通信网络)与电子装置102进行通信，或者经由第二网络199(例如，长距离无线通信网络)与电子装置104或服务器108中的至少一个进行通信。根据实施例，电子装置101可经由服务器108与电子装置104进行通信。根据实施例，电子装置101可包括处理器120、存储器130、输入模块150、声音输出模块155、显示模块160、音频模块170、传感器模块176、接口177、连接端178、触觉模块179、相机模块180、电力管理模块188、电池189、通信模块190、用户识别模块(SIM)196或天线模块197。在一些实施例中，可从电子装置101中省略上述部件中的至少一个(例如，连接端178)，或者可将一个或更多个其它部件添加到电子装置101中。在一些实施例中，可将上述部件中的一些部件(例如，传感器模块176、相机模块180或天线模块197)实现为单个集成部件(例如，显示模块160)。
处理器120可运行例如软件(例如，程序140)来控制电子装置101的与处理器120连接的至少一个其它部件(例如，硬件部件或软件部件)，并可执行各种数据处理或计算。根据一个实施例，作为所述数据处理或计算的至少部分，处理器120可将从另一部件(例如，传感器模块176或通信模块190)接收到的命令或数据存储到易失性存储器132中，对存储在易失性存储器132中的命令或数据进行处理，并将结果数据存储在非易失性存储器134中。根据实施例，处理器120可包括主处理器121(例如，中央处理器(CPU)或应用处理器(AP))或者与主处理器121在操作上独立的或者相结合的辅助处理器123(例如，图形处理单元(GPU)、神经处理单元(NPU)、图像信号处理器(ISP)、传感器中枢处理器或通信处理器(CP))。例如，当电子装置101包括主处理器121和辅助处理器123时，辅助处理器123可被适配为比主处理器121耗电更少，或者被适配为专用于特定的功能。可将辅助处理器123实现为与主处理器121分离，或者实现为主处理器121的部分。
在主处理器121处于未激活(例如，睡眠)状态时，辅助处理器123(而非主处理器121)可控制与电子装置101的部件之中的至少一个部件(例如，显示模块160、传感器模块176或通信模块190)相关的功能或状态中的至少一些，或者在主处理器121处于激活状态(例如，运行应用)时，辅助处理器123可与主处理器121一起来控制与电子装置101的部件之中的至少一个部件(例如，显示模块160、传感器模块176或通信模块190)相关的功能或状态中的至少一些。根据实施例，可将辅助处理器123(例如，图像信号处理器或通信处理器)实现为在功能上与辅助处理器123相关的另一部件(例如，相机模块180或通信模块190)的部分。根据实施例，辅助处理器123(例如，神经处理单元)可包括专用于人工智能模型处理的硬件结构。可通过机器学习来生成人工智能模型。例如，可通过人工智能被执行之处的电子装置101或经由单独的服务器(例如，服务器108)来执行这样的学习。学习算法可包括但不限于例如监督学习、无监督学习、半监督学习或强化学习。人工智能模型可包括多个人工神经网络层。人工神经网络可以是深度神经网络(DNN)、卷积神经网络(CNN)、循环神经网络(RNN)、受限玻尔兹曼机(RBM)、深度置信网络(DBN)、双向循环深度神经网络(BRDNN)或深度Q网络或其两个或更多个的组合，但不限于此。另外地或可选地，人工智能模型可包括除了硬件结构以外的软件结构。
存储器130可存储由电子装置101的至少一个部件(例如，处理器120或传感器模块176)使用的各种数据。所述各种数据可包括例如软件(例如，程序140)以及针对与其相关的命令的输入数据或输出数据。存储器130可包括易失性存储器132或非易失性存储器134。
可将程序140作为软件存储在存储器130中，并且程序140可包括例如操作***(OS)142、中间件144或应用146。
输入模块150可从电子装置101的外部(例如，用户)接收将由电子装置101的其它部件(例如，处理器120)使用的命令或数据。输入模块150可包括例如麦克风、鼠标、键盘、键(例如，按钮)或数字笔(例如，手写笔)。
声音输出模块155可将声音信号输出到电子装置101的外部。声音输出模块155可包括例如扬声器或接收器。扬声器可用于诸如播放多媒体或播放唱片的通用目的。接收器可用于接收呼入呼叫。根据实施例，可将接收器实现为与扬声器分离，或实现为扬声器的部分。
显示模块160可向电子装置101的外部(例如，用户)视觉地提供信息。显示装置160可包括例如显示器、全息装置或投影仪以及用于控制显示器、全息装置和投影仪中的相应一个的控制电路。根据实施例，显示模块160可包括被适配为检测触摸的触摸传感器或被适配为测量由触摸引起的力的强度的压力传感器。
音频模块170可将声音转换为电信号，反之亦可。根据实施例，音频模块170可经由输入模块150获得声音，或者经由声音输出模块155或与电子装置101直接(例如，有线地)连接或无线连接的外部电子装置(例如，电子装置102)的耳机输出声音。
传感器模块176可检测电子装置101的操作状态(例如，功率或温度)或电子装置101外部的环境状态(例如，用户的状态)，然后产生与检测到的状态相应的电信号或数据值。根据实施例，传感器模块176可包括例如手势传感器、陀螺仪传感器、大气压力传感器、磁性传感器、加速度传感器、握持传感器、接近传感器、颜色传感器、红外(IR)传感器、生物特征传感器、温度传感器、湿度传感器或照度传感器。
接口177可支持将用来使电子装置101与外部电子装置(例如，电子装置102)直接(例如，有线地)或无线连接的一个或更多个特定协议。根据实施例，接口177可包括例如高清晰度多媒体接口(HDMI)、通用串行总线(USB)接口、安全数字(SD)卡接口或音频接口。
连接端178可包括连接器，其中，电子装置101可经由所述连接器与外部电子装置(例如，电子装置102)物理连接。根据实施例，连接端178可包括例如HDMI连接器、USB连接器、SD卡连接器或音频连接器(例如，耳机连接器)。
触觉模块179可将电信号转换为可被用户经由他的触觉或动觉识别的机械刺激(例如，振动或运动)或电刺激。根据实施例，触觉模块179可包括例如电机、压电元件或电刺激器。
相机模块180可捕获静止图像或运动图像。根据实施例，相机模块180可包括一个或更多个透镜、图像传感器、图像信号处理器或闪光灯。
电力管理模块188可管理对电子装置101的供电。根据实施例，可将电力管理模块188实现为例如电力管理集成电路(PMIC)的至少部分。
电池189可对电子装置101的至少一个部件供电。根据实施例，电池189可包括例如不可再充电的原电池、可再充电的蓄电池、或燃料电池。
通信模块190可支持在电子装置101与外部电子装置(例如，电子装置102、电子装置104或服务器108)之间建立直接(例如，有线)通信信道或无线通信信道，并经由建立的通信信道执行通信。通信模块190可包括能够与处理器120(例如，应用处理器(AP))独立操作的一个或更多个通信处理器，并支持直接(例如，有线)通信或无线通信。根据实施例，通信模块190可包括无线通信模块192(例如，蜂窝通信模块、短程无线通信模块或全球导航卫星***(GNSS)通信模块)或有线通信模块194(例如，局域网(LAN)通信模块或电力线通信(PLC)模块)。这些通信模块中的相应一个可经由第一网络198(例如，短程通信网络，诸如蓝牙、无线保真(Wi-Fi)直连或红外数据协会(IrDA))或第二网络199(例如，长距离通信网络，诸如传统蜂窝网络、5G网络、下一代通信网络、互联网或计算机网络(例如，LAN或广域网(WAN)))与外部电子装置进行通信。可将这些各种类型的通信模块实现为单个部件(例如，单个芯片)，或可将这些各种类型的通信模块实现为彼此分离的多个部件(例如，多个芯片)。无线通信模块192可使用存储在用户识别模块196中的用户信息(例如，国际移动用户识别码(IMSI))识别并验证通信网络(诸如第一网络198或第二网络199)中的电子装置101。
无线通信模块192可支持在4G网络之后的5G网络以及下一代通信技术(例如新无线电(NR)接入技术)。NR接入技术可支持增强型移动宽带(eMBB)、大规模机器类型通信(mMTC)或超可靠低延时通信(URLLC)。无线通信模块192可支持高频带(例如，毫米波带)以实现例如高数据传输速率。无线通信模块192可支持用于确保高频带上的性能的各种技术，诸如例如波束成形、大规模多输入多输出(大规模MIMO)、全维MIMO(FD-MIMO)、阵列天线、模拟波束成形或大规模天线。无线通信模块192可支持在电子装置101、外部电子装置(例如，电子装置104)或网络***(例如，第二网络199)中指定的各种要求。根据实施例，无线通信模块192可支持用于实现eMBB的峰值数据速率(例如，20Gbps或更大)、用于实现mMTC的丢失覆盖(例如，164dB或更小)或者用于实现URLLC的U平面延迟(例如，对于下行链路(DL)和上行链路(UL)中的每一个为0.5ms或更小，或者1ms或更小的往返)。
天线模块197可将信号或电力发送到电子装置101的外部(例如，外部电子装置)或者从电子装置101的外部(例如，外部电子装置)接收信号或电力。根据实施例，天线模块197可包括天线，所述天线包括辐射元件，所述辐射元件由形成在基底(例如，印刷电路板(PCB))中或形成在基底上的导电材料或导电图案构成。根据实施例，天线模块197可包括多个天线(例如，阵列天线)。在这种情况下，可由例如通信模块190(例如，无线通信模块192)从所述多个天线中选择适合于在通信网络(诸如第一网络198或第二网络199)中使用的通信方案的至少一个天线。随后可经由所选择的至少一个天线在通信模块190和外部电子装置之间发送或接收信号或电力。根据实施例，除了辐射元件之外的另外的组件(例如，射频集成电路(RFIC))可附加地形成为天线模块197的一部分。
根据各种实施例，天线模块197可形成毫米波天线模块。根据实施例，毫米波天线模块可包括印刷电路板、射频集成电路(RFIC)和多个天线(例如，阵列天线)，其中，RFIC设置在印刷电路板的第一表面(例如，底表面)上，或与第一表面相邻并且能够支持指定的高频带(例如，毫米波带)，所述多个天线设置在印刷电路板的第二表面(例如，顶部表面或侧表面)上，或与第二表面相邻并且能够发送或接收指定高频带的信号。
上述部件中的至少一些可经由外设间通信方案(例如，总线、通用输入输出(GPIO)、串行外设接口(SPI)或移动工业处理器接口(MIPI))相互连接并在它们之间通信地传送信号(例如，命令或数据)。
根据实施例，可经由与第二网络199连接的服务器108在电子装置101和外部电子装置104之间发送或接收命令或数据。电子装置102或电子装置104中的每一个可以是与电子装置101相同类型的装置，或者是与电子装置101不同类型的装置。根据实施例，将在电子装置101运行的全部操作或一些操作可在外部电子装置102、外部电子装置104或服务器108中的一个或更多个运行。例如，如果电子装置101应该自动执行功能或服务或者应该响应于来自用户或另一装置的请求执行功能或服务，则电子装置101可请求所述一个或更多个外部电子装置执行所述功能或服务中的至少部分，而不是运行所述功能或服务，或者电子装置101除了运行所述功能或服务以外，还可请求所述一个或更多个外部电子装置执行所述功能或服务中的至少部分。接收到所述请求的所述一个或更多个外部电子装置可执行所述功能或服务中的所请求的所述至少部分，或者执行与所述请求相关的另外功能或另外服务，并将执行的结果传送到电子装置101。电子装置101可在对所述结果进行进一步处理的情况下或者在不对所述结果进行进一步处理的情况下将所述结果提供作为对所述请求的至少部分答复。为此，可使用例如云计算技术、分布式计算技术、移动边缘计算(MEC)技术或客户机-服务器计算技术。电子装置101可使用例如分布式计算或移动边缘计算来提供超低延迟服务。在另一实施例中，外部电子装置104可包括物联网(IoT)装置。服务器108可以是使用机器学习和/或神经网络的智能服务器。根据实施例，外部电子装置104或服务器108可被包括在第二网络199中。电子装置101可应用于基于5G通信技术或IoT相关技术的智能服务(例如，智能家居、智能城市、智能汽车或医疗保健)。
根据各种实施例的电子装置可以是各种类型的电子装置之一。电子装置可包括例如便携式通信装置(例如，智能电话)、计算机装置、便携式多媒体装置、便携式医疗装置、相机、可穿戴装置或家用电器。根据本公开的实施例，电子装置不限于以上所述的那些电子装置。
应该理解的是，本公开的各种实施例以及其中使用的术语并不意图将在此阐述的技术特征限制于具体实施例，而是包括针对相应实施例的各种改变、等同形式或替换形式。对于附图的描述，相似的参考标号可用来指代相似或相关的元件。将理解的是，与术语相应的单数形式的名词可包括一个或更多个事物，除非相关上下文另有明确指示。如这里所使用的，诸如“A或B”、“A和B中的至少一个”、“A或B中的至少一个”、“A、B或C”、“A、B和C中的至少一个”以及“A、B或C中的至少一个”的短语中的每一个短语可包括在与所述多个短语中的相应一个短语中一起列举出的项的任意一项或所有可能组合。如这里所使用的，诸如“第1”和“第2”或者“第一”和“第二”的术语可用于将相应部件与另一部件进行简单区分，并且不在其它方面(例如，重要性或顺序)限制所述部件。将理解的是，在使用了术语“可操作地”或“通信地”的情况下或者在不使用术语“可操作地”或“通信地”的情况下，如果一元件(例如，第一元件)被称为“与另一元件(例如，第二元件)结合”、“结合到另一元件(例如，第二元件)”、“与另一元件(例如，第二元件)连接”或“连接到另一元件(例如，第二元件)”，则意味着所述一元件可与所述另一元件直接(例如，有线地)连接、与所述另一元件无线连接、或经由第三元件与所述另一元件连接。
如与本公开的各种实施例关联使用的，术语“模块”可包括以硬件、软件或固件实现的单元，并可与其他术语(例如，“逻辑”、“逻辑块”、“部分”或“电路”)可互换地使用。模块可以是被适配为执行一个或更多个功能的单个集成部件或者是该单个集成部件的最小单元或部分。例如，根据实施例，可以以专用集成电路(ASIC)的形式来实现模块。
可将在此阐述的各种实施例实现为包括存储在存储介质(例如，内部存储器136或外部存储器138)中的可由机器(例如，电子装置101)读取的一个或更多个指令的软件(例如，程序140)。例如，在处理器的控制下，所述机器(例如，电子装置101)的处理器(例如，处理器120)可在使用或无需使用一个或更多个其它部件的情况下调用存储在存储介质中的所述一个或更多个指令中的至少一个指令并运行所述至少一个指令。这使得所述机器能够操作用于根据所调用的至少一个指令执行至少一个功能。所述一个或更多个指令可包括由编译器产生的代码或能够由解释器运行的代码。可以以非暂时性存储介质的形式来提供机器可读存储介质。其中，术语“非暂时性”仅意味着所述存储介质是有形装置，并且不包括信号(例如，电磁波)，但是该术语并不在数据被半永久性地存储在存储介质中与数据被临时存储在存储介质中之间进行区分。
根据实施例，可在计算机程序产品中包括和提供根据本公开的各种实施例的方法。计算机程序产品可作为产品在销售者和购买者之间进行交易。可以以机器可读存储介质(例如，紧凑盘只读存储器(CD-ROM))的形式来发布计算机程序产品，或者可经由应用商店(例如，Play StoreTM)在线发布(例如，下载或上传)计算机程序产品，或者可直接在两个用户装置(例如，智能电话)之间分发(例如，下载或上传)计算机程序产品。如果是在线发布的，则计算机程序产品中的至少部分可以是临时产生的，或者可将计算机程序产品中的至少部分至少临时存储在机器可读存储介质(诸如制造商的服务器、应用商店的服务器或转发服务器的存储器)中。
根据各种实施例，上述部件中的每个部件(例如，模块或程序)可包括单个实体或多个实体，并且多个实体中的一些实体可分离地设置在不同的部件中。根据各种实施例，可省略上述部件中的一个或更多个部件，或者可添加一个或更多个其它部件。可选择地或者另外地，可将多个部件(例如，模块或程序)集成为单个部件。在这种情况下，根据各种实施例，该集成部件可仍旧按照与所述多个部件中的相应一个部件在集成之前执行一个或更多个功能相同或相似的方式，执行所述多个部件中的每一个部件的所述一个或更多个功能。根据各种实施例，由模块、程序或另一部件所执行的操作可顺序地、并行地、重复地或以启发式方式来执行，或者所述操作中的一个或更多个操作可按照不同的顺序来运行或被省略，或者可添加一个或更多个其它操作。
图2图示根据各种实施例的包括AR装置、电子装置和对端装置的实时图像发送/接收***。
参照图2，实时图像发送/接收***200可包括AR装置220、电子装置210和对端装置230。在本文的各种实施例中，电子装置210可以被定义为第一电子装置或主要电子装置(PD)，AR装置220可以被定义为第二电子装置或辅助设备(SD)，并且对端装置230可以被定义为第三电子装置或外部装置(ED)。
根据各种实施例，电子装置210可以是具有无线通信功能和相机的各种设备，诸如智能手机或平板电脑。电子装置210可以包括图1的电子装置的配置和/或功能的至少一部分。对端装置230可以是与电子装置210相同类型的装置或者可以是具有无线通信功能和相机的不同类型的装置。
根据各种实施例，电子装置210可以运行(或执行)与对端装置230的图像发送/接收功能(或操作)。例如，图像发送/接收功能可以包括实时地相互发送或接收由相机获取的图像的操作，诸如基于IMS的视频呼叫和实时流媒体。电子装置210可以通过短程无线通信(例如，Wi-Fi和蓝牙)和/或蜂窝无线通信(例如，4G和5G蜂窝通信)连接到网络，并且可以通过网络上的服务器设备从对端装置230接收图像数据或向对端装置230发送图像数据。
根据各种实施例，AR装置220是用于向用户提供增强现实(AR)的装置，并且可以是用户能够穿戴在他或她的身体上的装置。例如，AR装置220可以是AR眼镜或头戴式显示装置。AR装置220可包括用于获取外部图像的相机。
根据各种实施例，AR装置220可以通过使用短程无线通信(例如，Wi-Fi和蓝牙)连接到电子装置210。例如，在AR装置220和电子装置210建立短程无线连接的状态下，电子装置210可以通过短程无线连接将从网络上的服务器设备接收的AR内容发送到AR装置220，并将从AR装置220接收的数据(例如，相机图像)发送到网络。
根据各种实施例，可以在电子装置210连接到AR装置220的状态下发起与对端装置230的图像发送/接收功能(例如，视频呼叫)。可选地，当电子装置210执行与对端装置230的图像发送/接收功能时，电子装置210和AR装置220可以建立短程无线通信连接。在这种情况下，电子装置210可以将使用电子装置210的相机或AR装置220的相机捕获的图像数据实时发送到对端装置230。
在图2中，电子装置210被图示为通过短程无线通信连接到AR装置220，但本公开不限于此。即使当使用具有相机和短程无线通信功能的其他类型的装置时，本公开的各种实施例也可以被应用，其他类型的设备诸如除AR装置220之外的处于Dex模式的膝上型PC和处于呼叫和消息连续性(CMC)呼叫中的辅助装置。
在下文中，通过参照图3至图15，将描述在实时图像发送/接收功能中通过使用AR装置220的相机以及电子装置210的相机能够从各种视点将图像发送到对端装置230的各种实施例。此外，将描述在通过电子装置210将由AR装置220捕获的图像数据发送到对端装置230时有效地发送图像的方法以及两个装置的相机之间的相机改变方法。
图3图示根据各种实施例的AR装置。
根据各种实施例，AR装置300可以被穿戴在用户的头部以向用户提供与增强现实服务相关的图像。根据实施例，AR装置300可以提供增强现实服务，其输出至少一个虚拟对象以叠加在被确定为用户的视场(FoV)的区域上。例如，被确定为用户视场的区域可以是包括AR装置300的显示模块314的全部或至少一部分的区域，作为被确定为可由穿戴AR装置300的用户通过AR装置300识别的区域。
根据各种实施例，AR装置300可以包括显示模块314、相机模块、第一支撑部分321和/或第二支撑部分322。
根据各种实施例，AR装置300可以包括分别与用户的双眼(例如，左眼和/或右眼)相对应的多片镜片(例如，第一镜片320和/或第二镜片330)。多片镜片可以包括显示模块314的至少一部分。例如，与用户的左眼相对应的第一镜片320可以包括第一显示模块314-1，并且与用户的右眼相对应的第二镜片330可以包括第二显示模块314-2。例如，AR装置300可以被配置为眼镜、护目镜、头盔或帽子中的至少一种形式，但不限于此。
根据各种实施例，AR装置300可以包括至少一个相机模块。例如，AR装置300可以包括用于捕获与用户的视场(FoV)相对应的图像和/或测量与对象的距离的前置相机313、用于识别用户注视的方向的眼睛跟踪相机312-1和312-2，和/或用于辨识预定空间的辨识相机311-1和311-2(手势相机)。前置相机313可以拍摄正面，例如AR装置300的正面方向，并且眼睛跟踪相机312-1和312-2可以拍摄背面，例如与的前置相机313拍摄方向相反的方向。例如，眼睛跟踪相机312-1和312-2可以至少部分地拍摄穿戴AR装置300的用户的双眼，用户的双眼存在于AR装置300的后部，双眼包括用户的左眼和右眼。根据实施例，第一支撑部分321和/或第二支撑部分322可以包括印刷电路板(PCB)331-1和331-2、扬声器332-1和332-2、和/或电池333-1和333-2。
根据各种实施例，显示模块314可以设置在AR装置300的框架中，并且可以包括镜片(例如，第一镜片320和第二个镜片330)中的聚光透镜(未示出)和/或透明波导管(未示出)。例如，透明波导管可以至少部分地定位在镜片的一部分中。根据实施例，从显示模块314发出的光可以通过第一镜片320和第二镜片330入射到镜片的一端，并且入射光可以通过在镜片中形成的波导管和/或波导(例如，波导)被发送到用户。波导管可以由玻璃、塑料或聚合物制成，并且可以包括形成在其内部或外部的一个表面上的纳米图案，例如多边形或弯曲的光栅结构。根据实施例，入射光可以通过纳米图案在波导管内传播或反射并提供给用户。根据实施例，波导可以包括衍射元件(例如，衍射光学元件(DOE)和全息光学元件(HOE))或反射元件(例如，反射镜)中的至少一个。根据实施例，波导可以通过使用至少一个衍射元件或反射元件将从光源单元发出的显示光引导到用户的眼睛。
参照图3，第一支撑部分321和/或第二支撑部分322可以包括用于将电信号发送到AR装置300的每个组件的印刷电路板331-1和331-2、用于输出音频信号的扬声器332-1和332-2，和电池333-1和333-2，和/或用于至少部分地耦合到AR装置300的框架的铰链部分340-1和340-2。根据实施例，扬声器332-1和332-2可以包括用于将音频信号发送到用户的左耳的第一扬声器332-1和用于将音频信号发送到用户的右耳的第二扬声器332-2。根据实施例，AR装置300可以包括多个电池333-1和333-2，并且可以通过电力管理模块向印刷电路板331-1和331-2供电。
参照图3，AR装置300可包括用于接收用户语音和环境声音的麦克风341-1和341-2。AR装置300可包括用于提高至少一个相机(例如，前置相机313、眼睛跟踪相机312-1和312-2，和/或辨识摄像机311-1和311-2)的准确度的至少一个发光装置(照明LED)。例如，发光装置可用作用于提高通过使用眼睛跟踪相机312-1和312-2拍摄用户瞳孔时的准确度的辅助部件，并且发光装置可使用具有红外波长而不是可见光波长的红外发光二极管(IRLED)。又例如，在通过使用辨识相机311-1和311-2拍摄用户的姿势时，由于黑暗环境或各种光源的混合以及反射光而不容易检测要拍摄的对象时，发光装置可用作辅助部件。
根据各种实施例，AR装置300可以包括被配置为支持与外部装置的无线通信的通信模块(未示出)。通信模块可以被设置在框架、第一支撑部321或第二支撑部322上，并可以提供诸如Wi-Fi的短程无线通信。根据实施例，AR装置300可以使用通信模块来将通过至少一个相机(例如，前置相机313)获取的图像数据发送到相邻的电子装置(例如，图1的电子装置101)。
图4是根据各种实施例的电子装置的框图。
参照图4，电子装置400(例如图1的电子装置101)可包括处理器410(例如图1的处理器120)、存储器420(例如图1的存储器130)、显示器430(例如图1的显示模块160)、相机440(例如图1的相机模块180)和通信模块450(例如图1的通信模块190)，并且可省略或替换一些实施例中所示的部分配置。电子装置400还可包括图1的电子装置101的配置和/或功能的至少一部分。电子装置400的相应示出(或未示出)配置的至少一部分可相互操作地、功能地和/或电连接。
根据各种实施例，显示器430可以被实现为液晶显示器(LCD)、发光二极管(LED)显示器和有机发光二极管(OLED)显示器中的一个，但不限于此。显示器430可以被配置为触摸屏，该触摸屏被配置为检测使用用户身体的一部分(例如，手指)或输入装置(例如，触控笔)的触摸和/或接近触摸(或悬停)输入。显示器430可以包括图1的显示模块160的配置和/或功能的至少一部分。显示器430可以是至少部分柔性的，并且可以被实现为可折叠显示器430或可卷曲显示器430。
根据各种实施例，通信模块450可包括用于经由无线通信网络与外部装置通信的各种硬件和/或软件配置。通信模块450可包括支持蜂窝无线通信(例如，4G和5G蜂窝通信)的蜂窝通信模块和支持短程无线通信(例如Wi-Fi和蓝牙)的短程无线通信模块(例如，图1的无线通信模块192)。例如，电子装置400可通过使用蜂窝无线通信模块或短程无线通信模块经由网络向对端装置(例如，图2的对端装置230)发送图像数据或从对端装置接收图像数据，并且通过使用短程无线通信模块从相邻的外部装置(例如，图2的AR装置220)接收图像数据。通信模块450可包括图1的通信模块190的配置和/或功能的至少一部分。
根据各种实施例，相机440可以捕获外部图像。电子装置400可以包括在其前表面和/或后表面上的至少一个相机440，并且可以驱动至少一个相机中的一个来捕获包括对象的外部图像。相机440可以从电子装置400的外壳暴露到外部，并且相机440中的至少一个(例如，前置相机)可以被设置在显示器430下方。相机440的模块可以包括：透镜组件、闪光灯、图像传感器、图像稳定器、缓冲存储器和图像信号处理器中的至少一种，但不限于此。相机440可以包括图1的相机模块180的配置和/或功能的至少一部分。
根据各种实施例，存储器420可以包括易失性存储器和/或非易失性存储器以临时或永久地存储各种数据。存储器420可以包括图1的存储器130的配置和/或功能的至少一部分，并且可以存储图1的程序140。
根据各种实施例，存储器420可以存储可由处理器410执行的各种指令。此类指令可以包括控制命令，诸如能够由处理器410辨识的算术和逻辑运算、数据移动和输入/输出。
根据各种实施例，处理器410是能够执行与电子装置400的每个组件的控制和/或通信有关的操作或数据处理的配置，并且一个或多个处理器410可被配置。处理器410可包括图1的处理器120的配置和/或功能的至少一部分。
根据各种实施例，能够由处理器410在电子装置400上实现的操作和数据处理功能不被限制，但是在下文中，将详细描述在电子装置400执行与对端装置的图像发送/接收功能时选择外部装置或电子装置400的相机作为图像源的操作、根据事件切换图像源的操作以及确定图像格式的操作的各种实施例，使得当外部装置的图像被中继发送时，与对端装置的连接被无缝且平滑地执行。稍后将描述的处理器410的操作可以通过加载存储在存储器420中的指令来执行。
根据各种实施例，处理器410可以通过使用通信模块450建立与外部装置(例如，图3的AR装置300)的短程无线通信连接。短程无线通信可以是Wi-Fi和蓝牙，但不限于此。电子装置400可以通过建立的短程无线通信连接接收由外部装置的相机获取的图像数据，并且可以向外部装置发送AR内容和控制信号。
根据各种实施例，处理器410可以与对端装置(例如，图2的对端装置230)建立用于图像发送/接收功能的连接。例如，图像发送/接收功能可以是实时相互发送或接收由相机获取的图像的功能，诸如基于IP多媒体子***(IMS)的视频呼叫或实时流。根据实施例，电子装置400可以在建立与外部装置的短程无线通信连接的同时从对端装置请求视频呼叫或者从对端装置接收视频呼叫请求，或者在与对端装置的视频呼叫被连接时，建立与外部装置的短程无线通信连接呼叫。
根据各种实施例，在经由短程无线通信与处于连接到外部装置的状态下的对端装置建立用于图像发送/接收功能的连接的情况下，处理器410可以选择电子装置400的相机(或第一相机)和外部装置的相机(或第二相机)中的一个以获取要被发送到对端装置的图像。例如，当用户穿戴作为外部装置的AR装置时，外部装置的前置相机可以获取与用户视线相同方向的图像。此外，电子装置400可以通过前置相机或后置相机获取周围环境的图像。用户的请求可以是当用户想要将用户正在注视的方向发送到对端装置时，将由AR设备的相机获取的图像数据发送到对端装置，或者可以是当用户想要将由后置相机捕获的特定对象的图像或用户的面部发送到对端装置时，将由电子装置400的相机440获取的图像数据发送到对端装置。
根据实施例，在电子装置400连接到AR设备的状态下，处理器410可以默认选择AR设备的相机作为图像源。根据另一实施例，处理器410可以提供能够通过显示器430选择图像源的GUI，并且根据GUI上的用户选择来选择AR装置的相机或电子装置400的相机440中的一个。
根据各种实施例，当电子装置400的相机440被选择时，处理器410可以通过通信模块450将通过设置在电子装置400中的相机440(例如，前置相机或后置相机)获取的图像数据发送到对端装置。
根据各种实施例，处理器410可以根据图像发送/接收功能的预定格式(或协议)经由网络将相机440获取的图像数据发送到对端装置。例如，实时传输协议(在下文中称为RTP)可以被使用。RTP是用于实时媒体传输的各种传输协议中最广泛用于视频、音频、视频会议等的协议。当电子装置400与对端装置连接视频呼叫时，视频呼叫连接可以基于互联网协议多媒体子***(IMS)，并且基于IMS的诸如语音呼叫(例如，LTE语音(VoLTE))和基于IMS的视频呼叫(例如，LTE视频(ViLTE))的实时媒体传输可以使用RTP。
根据各种实施例，当电子装置400发起与对端装置的基于IMS的视频呼叫时，可以使用包括在会话发起协议(SIP)中的会话描述协议(SDP)消息来交换每个设备支持的图像格式，并且将在发送或接收图像时使用的图像格式可以协商。图像格式可以包括RTP有效载荷类型、视频编解码器、最大比特率(或最大速度)和分辨率中的至少一个。
下面的表1是在视频呼叫连接过程期间在电子装置400和对端装置之间交换的SIP消息中的视频编解码器相关的SDP消息的示例。例如，电子装置400可以支持RTP有效载荷类型＝118、H.264的视频编解码器、384kbps的最大比特率以及240*320的分辨率。
[表1]
/>
当电子装置400发送包括如上表1所示的SDP消息的SIP消息时，对端装置可以经由响应消息(例如，200OK)发送可支持的编解码器信息。下面的表2是由对端装置发送到电子装置400的响应消息的示例。
[表2]
当电子装置400响应于对端装置的响应消息(200OK)而发送ACK时，协商RTP的图像格式，并且可以根据对应的图像格式发送或接收图像数据。
上述实施例涉及当电子装置400向对端装置请求视频呼叫时电子装置400与对端装置发送的SIP消息，反之，当对端装置向电子装置400请求视频呼叫时，对端装置可以发送邀请消息，并且电子装置400可以响应于此发送200OK消息。
根据各种实施例，处理器410可以根据基于SIP消息交换协商的图像格式确定要发送到对端装置的图像数据的图像格式(例如，RTP有效载荷类型、视频编解码器、最大比特率和分辨率)，并且根据对应的图像格式打包电子装置400的相机440和/或外部装置的相机获取的图像，以将打包的图像经由网络发送到对端装置。
根据各种实施例，当外部装置的相机被选择作为图像发送/接收功能的图像源时，处理器410可以从外部装置接收由外部装置的相机获取的图像数据，并且通过通信模块450将获取的图像数据发送到对端装置。
根据各种实施例，处理器410可以基于与电子装置400的相机440的图像数据相同的格式和/或与处理相机400的图像数据相同的方法来处理从外部装置接收的外部装置的相机的图像数据，并将处理后的图像数据发送到对端装置。例如，处理器410可以处理从外部装置接收的图像数据，然后基于与其中电子装置400的相机440被选择并且相机440的图像数据被发送到对端装置的情况下相同的RTP有效载荷类型、视频编解码器、最大比特率和分辨率中的至少一个，将处理后的图像数据发送到对端装置。
根据各种实施例，处理器410可以在视频呼叫连接过程期间通过使用外部装置和电子装置400两者都能够支持的图像格式来协商当对端装置发送或接收图像数据时要使用的图像格式。根据实施例，处理器410可以在与外部装置的短程无线通信连接(或配对)期间接收外部装置能够支持的图像格式信息(或第一图像格式信息)，并且将图像格式信息存储在存储器420中。根据另一实施例，处理器410可以在连接与对端装置的视频呼叫时从外部装置请求和接收能够支持的图像格式信息。
根据各种实施例，基于从外部装置接收的外部装置的图像格式信息(或第一图像格式信息)和电子装置400能够支持的图像格式信息(或第二图像格式信息)，处理器410可以确定外部装置和电子装置400两者都能够支持的图像格式信息(或第三图像格式信息)。处理器410可以基于外部装置和电子装置400两者都能够支持图像格式信息(例如，视频编解码器)生成SDP，并且向对端装置发送SIP消息。电子装置400可以经由与对端装置交换的SIP和SDP消息最终确定要在图像发送/接收期间使用的图像格式(例如，视频编解码器)，并且可以将确定的图像格式信息发送到外部装置。外部装置可以使用接收到的图像格式来对外部装置的相机的图像数据进行编码并将编码的图像数据发送到电子装置400。由于电子装置400可以根据外部装置和电子装置两者都支持的图像格式信息与对端装置协商图像格式，所以即使当在与对端装置的图像发送/接收期间图像源从电子装置400的相机440改变到外部装置的相机或者相反时，电子装置400也可以将相同图像格式的图像数据发送到对端装置。将参考图7更详细地描述该实施例。
当电子装置400从外部装置的相机接收图像数据并将图像数据发送到对端装置时，电子装置可以使用以下两种方案中的一个(例如，RTP中继方案和比特流中继方案)。
根据实施例(例如，RTP中继方案)，外部装置可以发送包括外部装置的相机的图像数据(例如，第二图像数据)的RTP分组(例如，第二RTP分组)。在这种情况下，当电子装置400的相机440的图像数据(例如，第一图像数据)被发送到对端装置时，处理器410可以基于RTP分组(例如，第一RTP分组)的报头信息来改变从外部装置接收到的RTP分组的报头信息。例如，处理器410可以将从外部装置接收的第二RTP分组的报头信息中的同步源(SSRC)ID和有效载荷类型配置为与第一RTP分组的报头信息中的相同，连续配置序列号，并以预定的时间间隔配置时间戳。
因此，即使当在与对端装置的图像发送/接收期间将图像源从电子装置400的相机440改变为外部装置的相机或相反时，由于电子装置400在保持诸如RTP报头的SSRC、时间戳和序列号的主要信息的同时执行传输，所以对端装置可以辨识为单个连续的RTP流。另一方面，在使用其他RTP报头执行传输的情况下，对端装置(或网络上的服务器)可以丢弃或忽略对应流的RTP分组，并且根据本公开的实施例，对端装置(或网络上的服务器)作为单个RTP流执行辨识，因此图像发送/接收可以不中断。
将参考10A和图10B更详细地描述在RTP中继方案中改变报头信息的实施例和RTP分组的结构。
根据另一实施例(例如，比特流中继方案)，外部装置可以将外部装置的相机的图像数据作为编码的比特流数据发送到电子装置400，并且电子装置400可以对数据执行RTP打包以将数据发送到对端装置。在这种情况下，外部装置可以通过使用从电子装置400接收的图像格式信息(例如，外部装置和电子装置400都能够支持的第三图像格式信息)对相机440的图像数据进行编码，然后将编码的图像数据以适合RTP有效载荷的单位发送到电子装置400，并且电子装置400最后可以对数据执行RTP打包以将数据发送到对端装置。
根据本公开的实施例，即使当图像源从电子装置400的相机440改变为外部装置的相机或相反时，由于电子装置400执行RTP打包，并且在保持诸如RTP报头的SSRC、时间戳和序列号的主要信息的同时执行传输，所以对端装置可以辨识为单个连续的RTP流。
根据各种实施例，当发起与对端装置的图像发送/接收功能时，处理器410可以选择电子装置400的相机440和外部装置的相机中的一个作为图像源。根据实施例，当在与外部装置建立短程无线通信连接的状态下发起图像发送/接收功能时，电子装置400可以默认选择外部装置的相机。
根据各种实施例，在接收外部装置的相机的图像数据并将图像数据发送到对端装置时，当检测到预定事件时，处理器410可以将要发送到对端装置的图像数据改变为从电子装置400的相机440获取的图像数据。例如，处理器410可以响应于诸如用户的选择、显示器430上显示的屏幕、外部装置的电池容量或者外部装置的分离来改变图像源。
根据实施例，处理器410可以在显示器430上提供能够选择图像源的改变的图形用户界面(GUI)，并且基于GUI上的用户选择将图像源改变为电子装置400的相机440。将参照图11A和图11B更详细地描述该实施例。
根据另一实施例，当要在显示器430上显示的屏幕是预定类型的屏幕或包括预定字符时，处理器410可以确定图像源改变事件已经发生。处理器410可以检测安全相关应用被执行，或者检测安全屏幕被呈现在前景表面上。
例如，当生成要在电子装置400的显示器430上显示的安全屏幕(例如，解锁屏幕或键盘保护)时，处理器410可以将图像源改变为电子装置400的相机440。此外，当生成包括多个字符图案或输入密码时使用的字符(诸如“*”)的屏幕或包括与安全信息输入(诸如密码输入)相关的字符时，处理器410可以改变将图像源发送到电子装置400的相机440。将参考图12A、图12B和图13更详细地描述该实施例。
根据另一实施例，当外部装置的电池容量小于或等于参考值时，处理器410可以确定图像源改变事件已经发生。处理器410可以通过与外部装置的短程无线通信连接周期性地接收外部装置的状态信息，接收到的状态信息可以包括外部装置的电池容量信息。基于接收到的电池容量信息，当电池容量降低到参考值或更低时，处理器410可以将图像源改变为电子装置400的相机440。将参考图14更详细地描述该实施例。
根据另一实施例，当用户解除外部装置的穿戴时，处理器410可以确定图像源改变事件已经发生。外部装置可以包括被配置为确定外部装置是否穿戴在用户身体上的传感器，并且传感器信号可以经由短程无线通信连接被周期性地发送到电子装置400。当外部装置被移除时，电子装置400和外部装置可以释放建立的短程无线通信连接。当与外部装置的短程无线通信连接被释放时，处理器410可以将图像源改变为电子装置400的相机440。将参考图15更详细地描述该实施例。
根据实施例，当图像源改变事件发生时，处理器410可以向外部装置发送用于指示停止图像数据的传输的请求。外部装置可以停止发送外部装置的相机的图像数据，并且电子装置400可以经由网络将由电子装置400的相机440获取的图像数据发送到对端装置。
根据另一实施例，当图像源改变事件发生时，处理器410可以不将从外部装置接收的图像数据发送到对端装置。在这种情况下，外部装置的图像数据被连续地发送到电子装置400，但是电子装置400可以丢弃该图像数据并且将电子装置400的相机440的图像数据发送到对端装置。根据实施例，当在图像源被存储为电子装置400的相机440之后经过预定时间时，处理器410可以向外部装置发送用于指示停止发送图像数据的请求。根据实施例，当图像源改变事件是其中外部装置的相机能够被连续使用的事件(例如，用户的选择，或者安全屏幕的显示)时，处理器410可以使用在保持外部装置的图像数据的接收的状态下执行丢弃的方法，并且当图像源改变事件是其中难以连续使用外部装置的事件(例如，电池容量下降、移除或断开连接)时，处理器可以响应于事件的发生来发送用于指示停止图像数据的发送的请求。
根据各种实施例，当图像源改变事件结束(例如，安全屏幕的显示被移除)时，处理器410可以再次将图像源改变为外部装置的相机。在这种情况下，电子装置400可以向外部装置发送用于指示恢复图像数据传输的请求。
图5是根据各种实施例的用于第一电子装置的实时图像发送/接收的配置的框图。
参照图5，第一电子装置500(例如，图1的电子装置101、图2的电子装置210或图4的电子装置400)可以包括处理器510、通信模块550、存储器520、相机540、麦克风552、扬声器554、显示器530和传感器556。在图5中，通信模块550、存储器520、相机540、麦克风552、扬声器554、显示器530和传感器556的配置和/或功能可以分别与图1和/或图4中描述的通信模块190和450、存储器130和420、相机180和440、麦克风(例如，输入模块150的麦克风)、扬声器(例如，声音输出模块155)、显示器160和430和传感器176的配置和/或功能相同。
参照图5，处理器510可包括图像获取单元562、编码器564、打包器566、相机框架568、呼叫会话管理单元570、SDP处理器572、相机改变过程确定单元576、中继过程处理器578和安全屏幕检测单元574，并且一些实施例中所示的配置的一部分可被省略或替换。处理器510的每个图示配置可以是能够在处理器510中执行的软件模块，并且例如可是应用、框架或驱动。根据实施例，所示配置的一部分(例如，编码器564和打包器566)可被配置为单独的硬件模块。处理器510可与通信模块550、存储器520、相机540、麦克风552、扬声器554、显示器530和传感器556可操作地、功能地和/或电连接。
在下文中，将详细描述在其中与处于与第二电子装置590建立短程无线通信连接的状态的对端装置(例如，图2的对端装置230)执行图像发送/接收功能(例如，IMS视频呼叫)的情况下的处理器510的每个配置的操作。
根据各种实施例，当要被发送到对端装置的图像源被确定为第一电子装置500的相机540时，由相机540获取的图像数据可以由图像获取单元562、编码器564和打包器566处理，并通过通信模块550被发送到网络595。
根据各种实施例，图像获取单元562可以从相机540实时接收捕获的图像数据。由图像获取单元562获取的图像数据可以被发送到编码器564，并且编码器564可以对图像数据进行编码。在这种情况下，编码器564可以基于从呼叫会话管理单元570接收到的编解码器信息对图像数据进行编码。由编码器564编码的图像数据可以经由比特流被发送到打包器566，并且打包器566可以将RTP报头信息添加到接收到的图像数据以经由实时传输协议(RTP)流将图像数据发送到通信模块550。通信模块550可以通过使用短程无线通信或蜂窝无线通信经由网络595将RTP流发送到对端装置。
根据各种实施例，呼叫会话管理单元570可以执行管理与对端装置的视频呼叫会话的功能。例如，呼叫会话管理单元570可以将第一电子装置500的相机540或第二电子装置590的相机中的一个确定为将在视频呼叫期间使用的图像源。图像源可以在第一视频呼叫被连接时被确定为第二电子装置590的相机，或者可以根据GUI上的用户输入来选择，并且可以在视频呼叫期间根据图像源改变事件被改变为另一相机540。
根据各种实施例，第一电子装置500可以通过在与对端装置的视频呼叫连接过程中使用第一电子装置500和第二电子装置590两者都能够支持的图像格式来协商在图像数据发送/接收期间要使用的图像格式。图像格式可以包括分辨率、RTP有效载荷类型、视频编解码器和图像数据的最大比特率中的至少一个。因此，即使当图像源从第一电子装置500的相机540改变为第二电子装置590的相机时，相同图像格式的数据也可以被发送到对端装置。
根据各种实施例，SDP处理器572可基于第一电子装置500和第二电子装置590两者都能够支持的图像格式信息(例如，视频编解码器)通过生成SDP来生成SIP消息。第一电子装置500可以通过与对端装置交换的SIP和SDP消息最终确定在图像发送/接收期间要使用的图像格式(例如，视频编解码器)，并且可以将确定的图像格式信息发送到第二电子装置590。SDP处理器572可将包括确定的图像格式信息的呼叫会话数据发送到呼叫会话管理单元570。
根据各种实施例，基于从SDP处理器572接收的图像会话数据，呼叫会话管理单元570可以执行确定图像源和/或图像格式以及管理视频呼叫会话的功能。
根据各种实施例，呼叫会话管理单元570可以将被确定为图像源的相机(例如，第一电子装置500的相机540或第二电子装置590的相机)和/或图像格式发送到另一配置。呼叫会话管理单元570可以将视频编解码器信息发送到编码器564。因此，编码器564可以根据接收到的视频编解码器信息对由相机540获取的图像数据进行编码。此外，呼叫会话管理单元570可以将关于分辨率和被确定为图像源的相机540的信息发送到相机框架568和相机改变过程确定单元576。
根据各种实施例，安全屏幕检测单元574可以检测其中在显示器530上显示安全屏幕(例如，解锁屏幕或键盘保护)的事件，并将其发送到相机改变过程确定单元576。例如，当要在显示器530上显示的屏幕包括安全屏幕(例如，解锁屏幕或键盘保护)、包括多个字符图案或在输入安全信息(例如，密码)时使用的诸如“*”的字符，和/或包括与诸如密码输入的安全信息的输入相关的字符时，安全屏幕检测单元574可以确定安全事件已经发生。
根据各种实施例，相机改变过程确定单元576可根据图像源改变事件，将要发送到对端装置的图像数据的图像源从第一电子装置500的相机540改变为第二电子装置590的相机，或者反之亦然。例如，相机改变过程确定单元576可在从安全屏幕检测单元574接收到安全事件的发生时、在从第二电子装置590接收到诸如低电量、从用户身体移除或断开连接等事件时，和/或当另一设备的相机540被选择时，执行改变图像源的过程。相机改变过程确定单元576可通过通信模块550向第二电子装置590发送图像源改变信息。另外，当第一电子装置500的相机540被确定为图像源时，相机改变过程确定单元576可将模式改变和操作分辨率发送到相机框架568，并且相机框架568可以通过根据接收到的信息驱动相机540来获取要发送到对端装置的图像数据。此外，相机改变过程确定单元576可将图像源改变发送到中继过程处理器578。
根据各种实施例，当第二电子装置590的相机被确定为图像源时，中继过程处理器578可以根据RTP信息和由第一电子装置500的相机540获取并发送的图像数据的图像格式来处理接收到的图像数据。
根据实施例(例如，RTP中继方案)，第二电子装置590可发送包括第二电子装置590的相机的图像数据(例如，第二图像数据)的RTP分组(例如，第二RTP分组)。在这种情况下，中继过程处理器578可基于当第一电子装置500的相机540的图像数据(例如，第一图像数据)被发送到对端装置时的RTP分组(例如，第一RTP分组)的报头信息，改变从第二电子装置590接收的RTP分组的报头信息。例如，中继过程处理器578可以将从第二电子装置590接收的第二RTP分组的报头信息中的同步源(SSRC)ID和有效载荷类型配置为与第一RTP分组的报头信息中的SSRC ID和有效载荷类型相同，连续配置序列号，并以预定时间间隔配置时间戳。
根据另一实施例(例如，比特流中继方案)，第二电子装置590可以将相机540的图像数据作为编码的比特流数据发送到第一电子装置500。在这种情况下，中继过程处理器578可以将接收到的比特流发送到打包器566，并且打包器566可以经由RTP打包将比特流发送到对端装置。
图6是根据各种实施例的用于第二电子装置的实时图像发送/接收的配置的框图。
参照图6，第二电子装置600可以包括相机640、通信模块650和处理器610。例如，第二电子装置600可以是增强现实(AR)装置(例如，图2的AR装置220或图3的增强现实装置300)，但不限于此，并且可以是具有相机和短程无线通信功能的其他类型的装置。
在下文中，将详细描述当第一电子装置690(例如，图2的电子装置210、图4的电子装置400或图5的第一电子装置500)向对端装置(例如，图2的对端装置230)发送图像或从对端装置(例如，图2的对端装置230)接收图像时，用于通过第二电子装置600的相机640获取图像数据并将图像数据发送到第一电子装置690的处理器610的每个配置的操作。
参照图6，处理器610可以包括图像获取单元662、编码器664、打包器666、相机改变过程确定单元676、电池容量检测单元680、分离检测单元682和相机框架668，并且一些实施例中所示的配置的一部分可以被省略或替换。处理器610的每个图示配置可以是能够在处理器610中执行的软件模块，并且例如可以是应用、框架或驱动。根据实施例，所示配置的一部分(例如，编码器664和打包器666)可以被配置为单独的硬件模块。
根据各种实施例，图像获取单元662可以从相机640实时接收捕获的图像数据。由图像获取单元662获取的图像数据可以被发送到编码器664，并且编码器664可以对图像数据进行编码。根据实施例，编码器664可以将编码的比特流发送到相机改变过程确定单元676，并且图像数据可以以比特流的形式通过通信模块650被发送到第一电子装置690。根据另一实施例，编码器664可以将编码的比特流发送到打包器666，并且由打包器666进行RTP打包的图像数据可以通过通信模块650被发送到第一电子装置690。
根据各种实施例，电池容量检测单元680可以实时检测第二电子装置600的电池容量。根据实施例，当电池的容量降低到参考值或更小时，电池容量检测单元680可以将低电池容量事件发送到相机改变过程确定单元676。根据另一实施例，电池容量检测单元680可以将电池的容量信息实时发送到相机改变过程确定单元676。
根据各种实施例，分离检测单元682可以检测第二电子装置600是安装在用户身体上还是从用户身体移除。例如，第二电子装置600是可以穿戴在用户身上的可穿戴装置(例如，AR装置)，分离检测单元682可以基于被配置为检测装置是否与身体接触的传感器的传感器数据来检测装置是否分离。
根据各种实施例，相机改变过程确定单元676可以将从电池容量检测单元680和/或分离检测单元682接收的事件信息通过通信模块650发送到第一电子装置690。当图像源改变事件发生时，第一电子装置690可以向第二电子装置600发送指示图像源从第二电子装置600的相机640改变到第一电子装置690的相机或者相反的改变信息。根据接收到的改变信息，相机改变过程确定单元676可以执行用于通过使用第二电子装置600的相机640产生图像数据的操作或者用于停止图像数据的生成(或传输)的操作。
根据各种实施例，当图像源改变为第二电子装置600的相机640时，相机改变过程确定单元676可以将图像源发送到相机框架668，并且相机框架668可以通过根据接收到的信息驱动相机640来生成图像数据。
图7图示根据各种实施例的实时图像发送/接收***中的图像格式配置和协商方法。
根据各种实施例，第一电子装置710可以在与对端装置730的图像发送/接收(例如，IMS视频呼叫)期间使用实时传输协议(RTP)。当第一电子装置710发起与对端装置730的视频呼叫时第一电子装置可以通过使用包括在会话发起协议(SIP)消息中的会话描述协议(SDP)消息来交换每个装置支持的图像格式，并协商在图像发送/接收期间要使用的图像格式/接待。
根据各种实施例，第一电子装置710可以通过使用第一电子装置710和第二电子装置720两者都能够支持的图像格式来协商要在图像数据发送/接收期间使用的图像格式。
根据各种实施例，在操作752中，第一电子装置710和第二电子装置720可以建立短程无线通信连接(或配对)。短程无线通信连接可以是Wi-Fi或蓝牙，但不限于此。
根据各种实施例，在操作754中，第二电子装置720可以将第二电子装置720能够支持的第一图像格式信息782发送到第一电子装置710。图像格式信息可以包括RTP有效载荷类型、视频编解码器、最大比特率和分辨率中的至少一个。例如，第二电子装置720可以支持AS：1280、H.265@720*1280和H.264@480*640，并且可以向第一电子装置710发送包括关于对应视频编解码器的信息的第一图像格式信息782。
根据各种实施例，在操作756中，第一电子装置710可以基于从第二电子装置720接收的第一图像格式信息782和第一电子装置710能够支持的第二图像格式信息784，生成包括第一电子装置710和第二电子装置720两者都能够支持的图像格式的第三图像格式信息786。例如，第一电子装置710能够支持AS：1280、H.265@720*1280、H.264@480*640和H.263@176*144，并且第一电子装置710可以生成包括S:1280、H.265@720*1280和H.264@480*640的第三图像格式信息786作为第一电子装置710和第二电子装置720都能够支持的视频编解码器。
根据各种实施例，在操作758中，第一电子装置710可以从对端装置730接收用于视频呼叫连接的邀请消息。邀请消息可以包括SIP和SDP消息，并且SDP消息可以包括对端装置730能够支持的图像格式信息788。
根据各种实施例，在操作760中，第一电子装置710可以基于先前确定的第三图像格式786和从对端装置730接收的图像格式信息788，来确定第一电子装置710、第二电子装置720和对端装置730都能够支持的图像格式790。例如，第一电子装置710可以将AS：640和H.264@480*640确定为第一电子装置、第二电子装置和对端装置都能够支持的视频编解码器。
根据各种实施例，在操作762中，第一电子装置710可以向对端装置730发送包括响应于对端装置730的SIP和SDP邀请消息而确定的图像格式信息790的响应消息(例如，200OK)。
根据各种实施例，在操作764中，对端装置730可以向第一电子装置710发送针对响应消息的ACK，并且因此，可以完成图像格式的协商。
根据各种实施例，在操作766中，第一电子装置710可以根据在协商过程中确定的图像格式790来处理从相机获取的图像数据，并以RTP流的形式将图像数据发送到对端装置730。
根据各种实施例，在操作768，当图像源改变事件发生时，第一电子装置710可以将事件信息发送到第二电子装置720。根据实施例，当图像源改变事件发生时，第一电子装置710可以发送在与对端装置730的SIP和SDP协商过程中确定的图像格式信息790。
根据各种实施例，在操作770中，第二电子装置720可以将从相机获取的图像数据处理为RTP分组并将RTP分组发送到第一电子装置710。在这种情况下，第二电子装置720可以根据从第一电子装置710接收的图像格式信息来处理图像数据。
根据各种实施例，在操作772中，第一电子装置710可以经由网络将从第二电子装置720接收的RTP流发送到对端装置730。
图8图示根据各种实施例的用于将由第一电子装置获取的图像发送到对端装置的方法。
根据各种实施例，在与对端装置(ED)830的视频呼叫期间，第一电子装置(PD)810可以向对端装置发送包括由第一电子装置810的相机获取的图像数据的RTP分组850。
参照图8，RTP有效载荷852可包括由相机获取的图像数据(或编码的图像数据)。第一电子装置810可基于在与对端装置830的SIP/SDP协商过程中确定的图像格式信息对图像数据进行编码和RTP打包，并生成RTP报头854。
图9A和图9B图示根据各种实施例的用于将由第二电子装置获取的图像发送到对端装置的方法。
图9A和图9B图示第一电子装置PD接收第二电子装置SD的相机的图像数据并且根据图像源改变事件将图像数据发送到对端装置ED的实施例，并且图9A图示比特流中继方案并且图9B图示RTP中继方案。
参照图9A，第二电子装置920可以将第二电子装置920的相机的图像数据作为编码比特流数据940发送到第一电子装置910。例如，第二电子装置920可以通过使用从第一电子装置910接收的图像格式信息(例如，第三图像格式信息)对相机的图像数据进行编码，并且然后将编码视频比特流940发送到第一电子装置910。
第一电子装置910可以通过使用在与对端装置930的SIP/SDP消息交换过程中确定的编解码器信息对接收到的比特流940进行RTP打包，然后经由网络将打包的比特流发送到对端装置930。在本公开的实施例中，由于第一电子装置910即使在图像源改变时也继续执行RTP打包，所以第一电子装置可以在保持诸如具有RTP有效载荷952的RTP分组950的RTP报头954的SSRC、时间戳和序列号的主要信息的同时执行传输，并且因此，对端装置930(或网络服务器)可以辨识为单个连续的RTP流。
参照图9B，第二电子装置920可以对由第二电子装置920的相机获取的图像数据进行RTP打包，并将打包的图像数据发送到第一电子装置910。例如，第二电子装置920可以通过使用从第一电子装置910接收的视频编解码器信息对图像数据进行编码，然后对图像数据进行RTP打包。第二电子装置920可以在RTP有效载荷942中包括编码的图像数据并且包括用于传输到第一电子装置910的RTP报头944，以便生成RTP分组941。
在这种情况下，第二电子装置920可以在RTP报头944中包括能够被发送到第一电子装置910的预定RTP信息，而不是与第一电子装置910发送到对端装置930的RTP信息完全相同的信息。
根据各种实施例，第一电子装置910可以将从第二电子装置920接收的RTP分组941中的RTP报头944改变为具有传输到对端装置930所需的RTP有效载荷962的RTP分组960的RTP报头964。如上所述，第二电子装置920可以在RTP报头944中包括能够被发送到第一电子装置910的预定RTP信息，并且第一电子装置910可以改变为适合于与对端装置930的视频呼叫会话的RTP报头964，然后经由网络将该RTP报头发送到对端装置930。
这样，在由第一电子装置910的相机获取的图像数据和由第二电子装置920的相机获取的图像数据被发送的情况下，如果即使当相同的视频编解码器被使用时，两个或更多个RTP流被简单地改变并发送到对端装置930，也存在对端装置930或网络上的服务器设备可能将RTP流辨识为不同的RTP流或分组丢失的风险。因此，即使当图像源从第一电子装置910的相机改变为第二电子装置920的相机时，也需要无缝地改变RTP，使得对端装置930辨识出图像源没有变化，从而将流辨识为没有分组丢失。为此，需要改变并发送RTP报头信息，使其与先前的RTP信息自然连接。
根据各种实施例，第一电子装置910可以将从第二电子装置920接收的第二RTP分组的报头信息中的同步源(SSRC)ID和有效载荷类型配置为与第一电子装置920送到对端装置930的第一RTP分组的报头信息中的相同，连续配置序列号，并以预定间隔配置时间戳。
图10A和图10B图示根据各种实施例的当第一电子装置将第二电子装置的图像中继到对端装置时的RTP消息。
参照图10A，RTP报头1000可以包括控制比特(例如，版本(ver)、填充(p)、扩展(x)、CRSC计数(CC)、标记(M))、有效载荷类型1010、时间戳1040、同步源(SSRC)ID 1020、贡献源(CSRC)ID和报头扩展。
有效载荷类型1010可包括根据视频编解码器类型映射的值。序列号1030是用于检测分组丢失并重新配置序列的值，第一个发送的RTP分组的序列号1030可以是随机确定的，并且后续的RTP分组可配置为具有递增1的值。时间戳可以有参考根据有效载荷类型1010确定的采样间隔的每个RTP分组的预定间隔。SSRC ID 1020可以是对RTP会话中的源进行分类的唯一号码。
根据各种实施例，当图像源改变为第二电子装置的相机时，第一电子装置需要适当地改变从第二电子装置接收的RTP分组的RTP报头信息，使得对端装置辨识图像源没有变化，从而将流辨识为没有分组丢失。
根据实施例，第一电子装置可以将第二电子装置接收到的第二RTP分组的报头信息中的SSRC ID 1020和有效载荷类型1010配置为与从第一电子装置发送到对端装置的第一RTP分组的报头信息中的相同。例如，载荷类型1010是根据视频编解码器类型确定的，并且由于第一电子装置和第二电子装置使用在与对端装置的视频呼叫会话协商过程中确定的编解码器，因此相同的有效载荷类型1010可以被保持。由于SSRC ID 1020是视频呼叫会话的唯一ID，如果在呼叫期间发生改变，则SSRC ID可以被辨识为另一呼叫会话，并且因此该会话可能从网络服务器或对端装置被丢弃。因此，第一电子装置可以配置并发送相同的SSRC ID 1020。
根据实施例，第一电子装置可以将从第二电子装置接收到的第二RTP分组的报头信息中的序列号1030和时间戳1040改变为与第一RTP分组连续。如果时间戳1040和序列号1030的值相差较大或者值不连续，则对端装置或网络服务器可以辨识为分组丢失，并且因此序列号1030可以被改变为通过相对于每个RTP分组顺序加1而获得的值，时间戳1040可以被改变为相对于每个RTP分组具有相同的间隔。
图11A和11B图示根据各种实施例的用于在第一电子装置中切换图像源的用户界面。
根据各种实施例，当在第一电子装置1100接收第二电子装置的相机的图像数据并将图像数据发送到对端装置的同时检测到预定事件时，第一电子装置可以将要被发送到对端装置的图像数据改变为从第一电子装置1100的相机获取的图像数据。
根据实施例，第一电子装置1100可以根据通过GUI的用户选择来改变图像源。
图11A图示在其中第二电子装置的相机的图像被中继和发送的情况下在第一电子装置1100的显示器1130上显示的GUI 1160。第一电子装置1100可以根据GUI 1160上的用户输入将图像源改变为第一电子装置1100的相机。
图11B图示在其中第一电子装置1100的相机的图像被中继和发送的情况下在第二电子装置的显示器1130上显示的GUI 1172。第一电子装置1100可以在GUI 1172上显示由第二电子装置的相机捕获的图像的预览1174。第一电子装置1100可以根据GUI 1172上的用户输入将图像源改变为第二电子装置的相机。
根据另一实施例，第一电子装置1100可以在预定事件发生时自动改变图像源，而无需用户的直接输入。
图12A和12B图示根据各种实施例的安全屏幕。
根据各种实施例，当要在第一电子装置1200的显示器1230上显示的屏幕是预定类型的屏幕或者包括预定字符时，第一电子装置1200可以确定图像源改变事件已经发生。
当用户在对外部装置(例如，AR装置)的相机执行实时图像传输的同时操作第一电子装置1200时，由于用户将外部装置穿戴在用户的脸上，用户的视场和外部装置的相机的视角方向可以相同。在这种情况下，当诸如密码、PIN或图案的登录或解锁屏幕被显示在电子装置的显示器1230上时，屏幕的图像可以被外部装置的相机捕获并且被发送到对端装置。为了防止这种情况，当要在显示器上显示的屏幕包括安全屏幕时，第一电子装置1200可以检测安全屏幕并暂时将图像源改变为第二电子装置的相机，并且因此，安全屏幕可以不会被发送到对端装置。
根据实施例，第一电子装置1200可以检测安全相关应用被执行或者安全屏幕被呈现在前景表面上。
根据实施例，当在显示器1230上显示安全屏幕时，第一电子装置1200可以将图像源改变为第一电子装置1200的相机。参照图12A，当显示包括解锁图案1260的安全屏幕时，第一电子装置1200可以确定为图像源改变事件。例如，如果提供安全屏幕的键盘保护***作，则改变键盘保护状态，并且在另一过程中，接收状态更新相关消息，从而能够识别是否显示键盘保护屏幕。
在解锁屏幕中使用生物特征信息认证的方式(例如，虹膜识别或指纹识别)的情况下，即使当屏幕被捕获并发送给其他人时也不会发生安全问题，因此第一电子装置1200可以不执行图像源的更改。
根据实施例，当在显示器1230上显示多个字符图案1270或输入密码时使用的诸如“*”的字符时，或显示诸如密码输入的与安全信息的输入相关的字符时，处理器可以将图像源改变为第一电子装置1200的相机。
在应用或Web浏览器中，ID或密码可以被输入到装置中，主要是经由键盘输入。例如，用户可以通过输入法编辑器(IME)输入文本，并且在每个文本窗口中，可以根据输入类型来配置输入键的形状。具体地，在需要安全性的输入窗口的情况下，诸如密码，可以激活包括密码相关属性的键盘，并且可以将输入值显示为特定字符(例如，*)，如图12B所示。在这种情况下，为了防止包括密码的图像被发送到对端装置，当在具有密码的属性值的输入窗口中执行用于输入密码的键盘时，对应的事件可以被第一电子装置1200的另一模块接收并且图像源可以被实现为改变为第二电子装置的相机。
根据另一实施例，当安全事件发生时，第一电子装置1200可以在不改变图像源的情况下暂停向对端装置的图像传输。
图13图示根据各种实施例的用于根据安全屏幕事件切换图像源的方法。
根据各种实施例，在操作1352中，第一电子装置1310(例如，图2的电子装置210、图4的电子装置400或图5的第一电子装置500)可以与处于其中用户穿戴第二电子装置1320的状态下的第二电子装置1320(例如，图2的AR装置220或图6的第二电子装置600)的短程无线通信连接(例如，Wi-Fi)。此后，第一电子装置1310可以根据第一电子装置1310的用户请求发起与对端装置1330的视频呼叫或者从对端装置1330接收视频呼叫请求。
根据各种实施例，在操作1354中，第二电子装置1320可以将由第二电子装置1320的相机获取的图像数据发送到第一电子装置1310。例如，当与对端装置1330进行图像发送/接收功能在短程无线通信连接被建立的状态下被发起时，第一电子装置1310可以默认选择第二电子装置1320的相机，并且第二电子装置1320的相机可以根据GUI上的用户选择被选择。
根据各种实施例，在操作1356中，第一电子装置1310可以将从第二电子装置1320接收的图像数据发送到对端装置1330。例如，当从第二电子装置1320发送RTP分组时(例如，图9B的RTP中继方案)，基于当第一电子装置1310的相机的图像数据(例如，第一图像数据)被发送到对端装置1330时的RTP分组(例如，RTP分组)的报头信息，从第二电子装置1320接收的RTP分组的报头信息可以被改变并发送到对端装置1330。根据另一实施例，当从第二电子装置1320发送比特流时(例如，图9A的比特流中继方案)，第一电子装置1310可以对比特流进行RTP打包以将其发送到对端装置1330。
根据各种实施例，在操作1358中，第一电子装置1310可以检测显示器上安全信息的显示。例如，安全信息可以包括图12A的解锁图案(或键盘保护)和图12B的密码输入屏幕。
根据各种实施例，在操作1360中，第一电子装置1310可根据安全信息的显示来检测图像源改变事件，并请求第二电子装置1320停止发送图像数据。在操作1362，第二电子装置1320可以暂停图像数据传输。根据另一实施例，在其中连续发送第二电子装置1320的图像数据的情况下，第一电子装置1310可以丢弃图像数据并将电子装置的相机的图像数据发送到对端装置1330。
根据各种实施例，在操作1364中，第一电子装置1310可以结束图像数据的中继模式并且将由第一电子装置1310的相机获取的图像数据发送到对端电子装置。
根据各种实施例，在操作1366中，第一电子装置1310可以检测安全信息显示的结束。在操作1368中，第一电子装置1310可以请求第二电子装置1320恢复图像数据传输，并且在操作1370中，第二电子装置1320可以以与先前使用的传输方案相同的方案(例如，操作1354)将由相机获取的图像数据发送到第一电子装置1310。在操作1372中，第一电子装置1310可以将从第二电子装置1320接收到的图像数据发送到对端装置1330。
图14图示根据各种实施例的用于根据电池事件切换图像源的方法。
根据各种实施例，当第二电子装置1420的电池容量小于或等于参考值时，第一电子装置1410可以确定图像源改变事件已经发生。
根据各种实施例，在操作1452中，第一电子装置1410(例如，图2的电子装置210、图4的电子装置400或图5的第一电子装置500)可以与处于其中用户穿戴第二电子装置1420的状态下的第二电子装置1420(例如，图2的AR装置220或图6的第二电子装置600)的短程无线通信连接(例如，Wi-Fi)。此后，第一电子装置1410可以根据第一电子装置1410的用户请求发起与对端装置1430的视频呼叫或者从对端装置1430接收视频呼叫请求。
根据各种实施例，在操作1454中，第二电子装置1420可以将由第二电子装置1420的相机获取的图像数据发送到第一电子装置1410，并且在操作1456中，第一电子装置1410可以将从第二电子装置1420接收的图像数据发送到对端装置1430。
根据各种实施例，在操作1458中，第二电子装置1420可以检测低电量事件。例如，第二电子装置1420可以识别电池的剩余容量是否降低到参考值或更少。在操作1460中，第二电子装置1420可以将低电量事件发送到第一电子装置1410。根据另一实施例，第一电子装置1410可以经由短程无线通信连接到第二电子装置1420的同时周期性地接收包括电池容量信息的第二电子装置1420的状态信息，并且当电池容量降低到参考值或更少时，第一电子装置1410可以确定发生低电量事件。
根据各种实施例，在操作1462中，第一电子装置1410可以响应于低电量事件的检测结束图像数据的中继模式，并且将由第一电子装置1410的相机获取的图像数据发送到对端电子装置。根据实施例，第一电子装置1410可以向第二电子装置1420发送用于指示停止发送图像数据的请求，使得第二电子装置1420不发送图像数据，或者其中在第二电子装置1420的数据被连续发送的情况下，第一电子装置1410可以丢弃图像数据并将电子装置的相机的图像数据发送到对端装置1430。
图15图示根据各种实施例的用于根据断开连接事件切换图像源的方法。
根据各种实施例，当用户解除第二电子装置1520的穿戴或者与第二电子装置1520的短程无线通信连接被释放时，第一电子装置1510可以确定图像源改变事件已经发生。
根据各种实施例，在操作1552中，第一电子装置1510(例如，图2的电子装置210、图4的电子装置400或图5的第一电子装置500)可以根据第一电子装置1510的用户请求发起与对端装置1530的视频呼叫或者从对端装置1530接收视频呼叫请求。由于第一电子装置1510没有建立与第二电子装置1520的短程无线通信连接，所以第一电子装置1510可以将由第一电子装置1510的相机获取的图像数据实时发送到对端装置1530。
根据各种实施例，在操作1554中，第一电子装置1510可以建立与处于其中用户穿戴第二电子装置1520的状态下的第二电子装置1520(例如，图2的AR装置220或图6的第二电子装置600)的短程无线通信连接。
根据各种实施例，在操作1556中，第二电子装置1520可以将由第二电子装置1520的相机获取的图像数据发送到第一电子装置1510，并且在操作1556中，第一电子装置1510可以改变为图像中继模式，停止发送由第一电子装置1510的相机获取的图像数据，并且将从第二电子装置1520接收的图像数据发送到对端装置1530。
根据各种实施例，在操作1560中，用户可在其中用户穿戴第二电子装置的状态下移除第二电子装置1520。第二电子装置1520可包括被配置为确定第二电子装置是否穿戴在用户身体上的传感器，并且传感器信号可经由短程无线通信连接被周期性地发送到第一电子装置1510。当第二电子装置1520被移除时，第一电子装置1510和第二电子装置1520可释放建立的短程无线通信连接。
根据各种实施例，在操作1562中，第一电子装置1510可以结束图像数据的中继模式并且将由第一电子装置1510的相机获取的图像数据发送到对端电子装置。
根据各种实施例的电子装置可以包括第一相机、通信模块以及可操作地连接到第一相机和通信模块的处理器，其中，处理器被配置为：通过使用通信模块与包括第二相机的外部装置建立短程无线通信连接；建立与对端装置的图像发送/接收连接；确定要发送到对端装置的图像数据的格式；选择电子装置的第一相机和外部装置的第二相机中的一个以获取要发送给对端装置的图像，当第一相机被选择时，根据确定的格式打包从第一相机获取的第一图像数据，以便通过通信模块将打包的第一图像数据发送到对端装置，当第二相机被选择时，从外部装置接收第二图像数据，并根据确定的格式打包第二图像数据，以便通过通信模块将打包的第二图像数据发送到对端装置。
根据各种实施例，处理器可以被配置为：通过通信模块从外部装置接收外部装置支持的第一图像格式信息；识别电子装置支持的第二图像格式信息，基于第一图像格式信息和第二图像格式信息，确定包括确定外部装置和电子装置两者都支持的图像格式的第三图像格式信息；以及基于第三图像格式信息，确定要发送到对端装置的图像数据的格式。
根据各种实施例，第三图像格式信息可以包括外部装置和电子装置两者都支持的分辨率、最大比特率和编解码器中的至少一个。
根据各种实施例，用于与对端装置的图像发送/接收的连接是实时传输协议(RTP)连接，并且处理器可以被配置为在建立用于与对端设备的图像发送/接收的连接的过程中，向对端装置发送包括第三图像格式的会话描述协议(SDP)消息。
根据各种实施例，处理器可以被配置为将包括第一图像数据的第一RTP分组发送到对端装置，并且当从外部装置接收到包括第二图像数据的第二RTP分组时，基于第一RTP分组的报头信息改变第二RTP分组的报头信息。
根据各种实施例，处理器可以被配置为将第二RTP分组的报头信息中的同步源(SSRC)ID和有效载荷类型配置为与第一RTP分组的报头信息中的相同，连续地配置序列号，并以预定的时间间隔配置时间戳。
根据各种实施例，处理器可以被配置为在将第二图像数据发送到对端装置的同时，当预定事件被检测到时，将要发送到对端装置的图像数据改变为从第一相机获取的第一图像数据。
根据各种实施例，处理器可以被配置为响应于该事件向外部装置发送用于指示停止发送第二图像数据的请求。
根据各种实施例，电子装置还可以包括显示器，并且当要在显示器上显示的屏幕包括安全信息时，该事件可能发生。
根据各种实施例，当要在显示器上显示的屏幕是预定类型的屏幕或包括预定字符时，处理器可以确定该事件发生。
根据各种实施例，处理器可被配置为通过通信模块接收外部装置的电池容量信息，并且当外部装置的电池容量小于或等于参考值时，确定该事件发生。
根据各种实施例，处理器可以被配置为当与外部装置的短程无线通信连接被释放时，确定该事件发生。
根据各种实施例，外部装置可以是人工现实眼镜(AR眼镜)。
根据各种实施例的电子装置的图像数据发送/接收方法可以包括：建立与包括第二相机的外部装置的短程无线通信连接，建立用于与对端装置的图像发送/接收的连接，确定要发送到对端装置的图像数据格式，选择电子装置的第一相机和外部装置的第二相机中的一个以获取要发送到对端装置的图像，当第一相机被选择时，根据确定的格式打包从第一相机获取的第一图像数据，以便将打包的第一图像数据发送到对端装置，当第二相机被选择时，从外部装置接收第二图像数据，并根据确定的格式打包第二图像数据，以便将打包的第二图像数据发送到对端装置。
根据各种实施例，确定要被发送到对端装置的图像数据的格式可以包括：从外部装置接收该外部装置支持的第一图像格式信息，识别电子装置支持的第二图像格式信息，基于第一图像格式信息和第二图像格式信息，确定包括外部装置和电子装置两者都支持的图像格式的第三图像格式信息，以及基于第三图像格式信息，确定要发送到对端装置的图像数据的格式。
根据各种实施例，用于与对端装置的图像发送/接收的连接是实时传输协议(RTP)连接，并且该方法还可以包括在建立用于与对端设备的图像发送/接收的连接的过程中，向对端装置发送包括第三图像格式的会话描述协议(SDP)消息。
根据各种实施例，将第一图像数据发送到对端装置可以包括将包括第一图像数据的第一RTP分组发送到对端装置，并且打包第二图像数据可以包括基于第一RTP分组的报头信息改变第二RTP分组的报头信息。
根据各种实施例，该方法还可以包括：在将第二图像数据发送到对端装置的同时，当预定事件被检测到时，将要发送到对端装置的图像数据改变为从第一相机获取的第一图像数据。
根据各种实施例，当要在电子装置的显示器上显示的屏幕包括安全信息时、当要在显示器上显示的屏幕是预定类型的屏幕时，或者当要显示在显示器上的屏幕包括预定字符时，该事件可能发生。
根据各种实施例，当外部装置的电池容量小于或等于参考值时或者在与外部装置的短程无线通信连接被释放时，该事件可能发生。

Claims (15)

1.一种电子装置，包括：
第一相机；
通信模块；和
处理器，可操作地连接到第一相机和通信模块，
其中，处理器被配置为：
通过使用通信模块建立与包括第二相机的外部装置的短程无线通信连接，
建立与对端装置的通信连接，
确定要发送到对端装置的图像数据的格式，
选择电子装置的第一相机和外部装置的第二相机中的一个，
当第一相机被选择时，根据确定的格式打包从第一相机获取的第一图像数据，以便将打包的第一图像数据通过通信模块发送到对端装置，以及
当第二相机被选择时，从外部装置接收从第二相机获取的第二图像数据，并根据确定的格式打包第二图像数据，以便将打包的第二图像数据通过通信模块发送到对端装置。
2.如权利要求1所述的电子装置，其中，处理器被配置为：
通过通信模块从外部装置接收外部装置支持的第一图像格式信息，
识别电子装置支持的第二图像格式信息，
基于第一图像格式信息和第二图像格式信息，确定包括外部装置和电子装置两者均支持的图像格式的第三图像格式信息，以及
基于第三图像格式信息，确定要发送到对端装置的图像数据的格式。
3.如权利要求2所述的电子装置，其中，第三图像格式信息包括外部装置和电子装置两者均支持的分辨率、最大比特率和编解码器中的至少一个。
4.如权利要求2所述的电子装置，其中，与对端装置的通信连接是实时传输协议(RTP)连接，并且
其中，处理器被配置为在建立与对端装置的通信连接的过程中，向对端装置发送包含第三图像格式信息的会话描述协议(SDP)消息。
5.如权利要求4所述的电子装置，其中，处理器被配置为：
将包含第一图像数据的第一RTP分组发送到对端装置，以及
当从外部装置接收到包括第二图像数据的第二RTP分组时，基于第一RTP分组的报头信息改变第二RTP分组的报头信息。
6.如权利要求5所述的电子装置，其中，处理器被配置为：
将第二RTP分组的报头信息中的同步源(SSRC)ID和有效载荷类型配置为与第一RTP分组的报头信息中的SSRC ID和有效载荷类型相同，
连续配置序列号，以及
以预定的时间间隔配置时间戳。
7.如权利要求1所述的电子装置，其中，处理器被配置为：在向对端装置发送第二图像数据的同时，当预定事件被检测到时，将要发送到对端装置的图像数据改变为从第一相机获取的第一图像数据。
8.如权利要求7所述的电子装置，其中，处理器被配置为：响应于所述事件向外部装置发送用于指示停止第二图像数据的传输的请求。
9.如权利要求7所述的电子装置，还包括：显示器，
其中，处理器被配置为：当要显示在显示器上的屏幕是预定类型的屏幕或包括预定字符时，确定所述事件发生。
10.如权利要求7所述的电子装置，其中，处理器被配置为：
当外部装置的电池容量小于或等于参考值或与外部装置的短程无线通信连接被释放时，确定所述事件发生。
11.一种电子装置的图像数据发送/接收方法，所述方法包括：
建立与包括第二相机的外部装置的短程无线通信连接；
建立与对端装置的通信连接；
确定要发送到对端装置的图像数据的格式；
选择电子装置的第一相机和外部装置的第二相机中的一个；
当第一相机被选择时，根据确定的格式打包从第一相机获取的第一图像数据，以便将打包的第一图像数据发送到对端装置；以及
当第二相机被选择时，从外部装置接收从第二相机获取的第二图像数据，并根据确定的格式打包第二图像数据，以便将打包的第二图像数据发送到对端装置。
12.如权利要求11所述的方法，其中，确定要发送到对端装置的图像数据的格式包括：
从外部装置接收外部装置支持的第一图像格式信息；
识别电子装置支持的第二图像格式信息；
基于第一图像格式信息和第二图像格式信息，确定包括外部装置和电子装置两者均支持的图像格式的第三图像格式信息；以及
基于第三图像格式信息确定要发送到对端装置的图像数据的格式。
13.如权利要求12所述的方法，其中，与对端装置的通信连接是实时传输协议(RTP)连接，并且
其中，所述方法还包括：在建立与对端装置的通信连接的过程中，向对端装置发送包含第三图像格式信息的会话描述协议(SDP)消息。
14.如权利要求13所述的方法，其中，将第一图像数据发送到对端装置包括：将包括第一图像数据的第一RTP分组发送到对端装置，并且
其中，打包第二图像包括基于第一RTP分组的报头信息改变包括第二图像数据的第二RTP分组的报头信息。
15.如权利要求11所述的方法，还包括：在向对端装置发送第二图像数据的同时，当预定事件被检测到时，将要发送到对端装置的图像数据改变为从第一相机获取的第一图像数据。
CN202280009592.6A 2021-01-13 2022-01-05 电子装置和图像发送/接收方法 Pending CN116783878A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR10-2021-0004863 2021-01-13
KR1020210004863A KR20220102481A (ko) 2021-01-13 2021-01-13 전자 장치 및 영상 송수신 방법
PCT/KR2022/000175 WO2022154366A1 (ko) 2021-01-13 2022-01-05 전자 장치 및 영상 송수신 방법

Publications (1)

Publication Number Publication Date
CN116783878A true CN116783878A (zh) 2023-09-19

Family

ID=82322310

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202280009592.6A Pending CN116783878A (zh) 2021-01-13 2022-01-05 电子装置和图像发送/接收方法

Country Status (3)

Country Link
US (1) US20220224742A1 (zh)
EP (1) EP4250720A4 (zh)
CN (1) CN116783878A (zh)

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8581957B2 (en) * 2008-01-09 2013-11-12 Sony Corporation Video conference using an external video stream
US9338483B2 (en) * 2010-06-11 2016-05-10 Sony Corporation Camera system, video selection apparatus and video selection method
US9077667B2 (en) * 2013-06-18 2015-07-07 Genband Us Llc Computing latency introduced by media transcoding operations
JP6024999B2 (ja) * 2014-11-26 2016-11-16 パナソニックＩｐマネジメント株式会社 撮像装置、録画装置および映像出力制御装置
US9332049B1 (en) * 2015-04-28 2016-05-03 Oracle International Corporation Media compression for tunneled real-time communications
US10339382B2 (en) * 2015-05-31 2019-07-02 Fieldbit Ltd. Feedback based remote maintenance operations
US20170237986A1 (en) * 2016-02-11 2017-08-17 Samsung Electronics Co., Ltd. Video encoding method and electronic device adapted thereto
WO2017205642A1 (en) * 2016-05-25 2017-11-30 Livit Media Inc. Methods and systems for live sharing 360-degree video streams on a mobile device
US11272094B2 (en) * 2016-07-18 2022-03-08 Endless Technologies Ltd. System and method providing object-oriented zoom in multimedia messaging
KR102277438B1 (ko) * 2016-10-21 2021-07-14 삼성전자주식회사 단말 장치들 간의 멀티미디어 통신에 있어서, 오디오 신호를 송신하고 수신된 오디오 신호를 출력하는 방법 및 이를 수행하는 단말 장치
US11037225B2 (en) * 2019-04-25 2021-06-15 Capital One Services, Llc Generating augmented reality vehicle information for a vehicle captured by cameras in a vehicle lot
EP3973684A1 (en) * 2019-05-20 2022-03-30 FRAUNHOFER-GESELLSCHAFT zur Förderung der angewandten Forschung e.V. Immersive media content presentation and interactive 360° video communication
US11127380B2 (en) * 2019-12-13 2021-09-21 Qualcomm Incorporated Content stabilization for head-mounted displays
CN113141352B (zh) * 2021-03-26 2022-09-30 深圳市捷视飞通科技股份有限公司 多媒体数据的传输方法、装置、计算机设备和存储介质

Also Published As

Publication number Publication date
EP4250720A4 (en) 2024-05-22
EP4250720A1 (en) 2023-09-27
US20220224742A1 (en) 2022-07-14

Similar Documents

Publication Publication Date Title
KR102631541B1 (ko) 복수의 전자 장치들 사이에서 네트워크 연결을 전환하기 위한 전자 장치 및 방법
US20230209168A1 (en) Electronic device in which signal lines of camera are reduced
US20230005227A1 (en) Electronic device and method for offering virtual reality service
EP4250720A1 (en) Electronic device and image transmitting/receiving method
US11893698B2 (en) Electronic device, AR device and method for controlling data transfer interval thereof
CN116711302A (zh) 以低时延发送多条应用数据的方法和装置
KR20220102481A (ko) 전자 장치 및 영상 송수신 방법
CN111290667B (zh) 电子设备及其控制方法、计算机可读存储介质
KR20220118196A (ko) 통화 기능의 제어 방법 및 이를 지원하는 전자 장치
US20230169723A1 (en) Electronic device for providing contents in connection with external electronic device and method of the same
EP4390924A1 (en) Electronic device for audio recording and operating method thereof
EP4387241A1 (en) Method and electronic system for outputting video data and audio data
US12003697B2 (en) Wearable electronic device and method of outputting three-dimensional image
US20230324713A1 (en) Intelligent actuated temple tips
US20230324710A1 (en) Intelligent actuated nose bridge
EP4382988A1 (en) Electronic apparatus including antenna structure
US20230324711A1 (en) Intelligent actuated and adjustable glasses nose pad arms
US20240048668A1 (en) Electronic device for supporting various communications during video call, and operating method therefor
EP4336314A1 (en) Electronic device for controlling external electronic device, and operation method of electronic device
KR20240028263A (ko) 복수의 디스플레이들을 제어하는 방법 및 이를 지원하는 전자 장치
KR20220060103A (ko) 전자 장치, ar 장치 및 그들의 데이터 전송 주기 제어 방법
CN118140169A (zh) 用于显示内容的电子装置和方法
KR20230080276A (ko) 외부 디스플레이 장치와 연동하여 컨텐츠를 제공하는 전자 장치 및 그 컨텐츠 제공 방법
KR20230106257A (ko) 가상환경에서 실 세계의 외부 전자 장치를 제어할 수 있는 시스템, 전자 장치 및 방법
KR20240037805A (ko) 실행 중인 어플리케이션에 대한 정보를 외부 디스플레이를 통해 제공하는 웨어러블 장치 및 그 제어 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination