도 1은, 다양한 실시예들에 따른, 네트워크 환경(100) 내의 전자 장치(101)의 블록도이다. 도 1을 참조하면, 네트워크 환경(100)에서 전자 장치(101)는 제 1 네트워크(198)(예: 근거리 무선 통신 네트워크)를 통하여 전자 장치(102)와 통신하거나, 또는 제 2 네트워크(199)(예: 원거리 무선 통신 네트워크)를 통하여 전자 장치(104) 또는 서버(108)와 통신할 수 있다. 일실시예에 따르면, 전자 장치(101)는 서버(108)를 통하여 전자 장치(104)와 통신할 수 있다. 일실시예에 따르면, 전자 장치(101)는 프로세서(120), 메모리(130), 입력 모듈(150), 음향 출력 모듈(155), 디스플레이 모듈(160), 오디오 모듈(170), 센서 모듈(176), 인터페이스(177), 연결 단자(178), 햅틱 모듈(179), 카메라 모듈(180), 전력 관리 모듈(188), 배터리(189), 통신 모듈(190), 가입자 식별 모듈(196), 또는 안테나 모듈(197)을 포함할 수 있다. 어떤 실시예에서는, 전자 장치(101)에는, 이 구성요소들 중 적어도 하나(예: 연결 단자(178))가 생략되거나, 하나 이상의 다른 구성요소가 추가될 수 있다. 어떤 실시예에서는, 이 구성요소들 중 일부들(예: 센서 모듈(176), 카메라 모듈(180), 또는 안테나 모듈(197))은 하나의 구성요소(예: 디스플레이 모듈(160))로 통합될 수 있다.1 is a block diagram of an electronic device 101 in a network environment 100 according to various embodiments. Referring to FIG. 1 , in a network environment 100 , the electronic device 101 communicates with the electronic device 102 through a first network 198 (eg, a short-range wireless communication network) or a second network 199 . It may communicate with the electronic device 104 or the server 108 through (eg, a long-distance wireless communication network). According to an embodiment, the electronic device 101 may communicate with the electronic device 104 through the server 108 . According to an embodiment, the electronic device 101 includes a processor 120 , a memory 130 , an input module 150 , a sound output module 155 , a display module 160 , an audio module 170 , and a sensor module ( 176), interface 177, connection terminal 178, haptic module 179, camera module 180, power management module 188, battery 189, communication module 190, subscriber identification module 196 , or an antenna module 197 may be included. In some embodiments, at least one of these components (eg, the connection terminal 178 ) may be omitted or one or more other components may be added to the electronic device 101 . In some embodiments, some of these components (eg, sensor module 176 , camera module 180 , or antenna module 197 ) are integrated into one component (eg, display module 160 ). can be
프로세서(120)는, 예를 들면, 소프트웨어(예: 프로그램(140))를 실행하여 프로세서(120)에 연결된 전자 장치(101)의 적어도 하나의 다른 구성요소(예: 하드웨어 또는 소프트웨어 구성요소)를 제어할 수 있고, 다양한 데이터 처리 또는 연산을 수행할 수 있다. 일실시예에 따르면, 데이터 처리 또는 연산의 적어도 일부로서, 프로세서(120)는 다른 구성요소(예: 센서 모듈(176) 또는 통신 모듈(190))로부터 수신된 명령 또는 데이터를 휘발성 메모리(132)에 저장하고, 휘발성 메모리(132)에 저장된 명령 또는 데이터를 처리하고, 결과 데이터를 비휘발성 메모리(134)에 저장할 수 있다. 일실시예에 따르면, 프로세서(120)는 메인 프로세서(121)(예: 중앙 처리 장치 또는 어플리케이션 프로세서) 또는 이와는 독립적으로 또는 함께 운영 가능한 보조 프로세서(123)(예: 그래픽 처리 장치, 신경망 처리 장치(NPU: neural processing unit), 이미지 시그널 프로세서, 센서 허브 프로세서, 또는 커뮤니케이션 프로세서)를 포함할 수 있다. 예를 들어, 전자 장치(101)가 메인 프로세서(121) 및 보조 프로세서(123)를 포함하는 경우, 보조 프로세서(123)는 메인 프로세서(121)보다 저전력을 사용하거나, 지정된 기능에 특화되도록 설정될 수 있다. 보조 프로세서(123)는 메인 프로세서(121)와 별개로, 또는 그 일부로서 구현될 수 있다.The processor 120, for example, executes software (eg, the program 140) to execute at least one other component (eg, hardware or software component) of the electronic device 101 connected to the processor 120 . It can control and perform various data processing or operations. According to one embodiment, as at least part of data processing or operation, the processor 120 converts commands or data received from other components (eg, the sensor module 176 or the communication module 190 ) to the volatile memory 132 . may be stored in the volatile memory 132 , and may process commands or data stored in the volatile memory 132 , and store the result data in the non-volatile memory 134 . According to an embodiment, the processor 120 is the main processor 121 (eg, a central processing unit or an application processor) or a secondary processor 123 (eg, a graphic processing unit, a neural network processing unit) a neural processing unit (NPU), an image signal processor, a sensor hub processor, or a communication processor). For example, when the electronic device 101 includes the main processor 121 and the sub-processor 123 , the sub-processor 123 uses less power than the main processor 121 or is set to be specialized for a specified function. can The auxiliary processor 123 may be implemented separately from or as a part of the main processor 121 .
보조 프로세서(123)는, 예를 들면, 메인 프로세서(121)가 인액티브(예: 슬립) 상태에 있는 동안 메인 프로세서(121)를 대신하여, 또는 메인 프로세서(121)가 액티브(예: 어플리케이션 실행) 상태에 있는 동안 메인 프로세서(121)와 함께, 전자 장치(101)의 구성요소들 중 적어도 하나의 구성요소(예: 디스플레이 모듈(160), 센서 모듈(176), 또는 통신 모듈(190))와 관련된 기능 또는 상태들의 적어도 일부를 제어할 수 있다. 일실시예에 따르면, 보조 프로세서(123)(예: 이미지 시그널 프로세서 또는 커뮤니케이션 프로세서)는 기능적으로 관련 있는 다른 구성요소(예: 카메라 모듈(180) 또는 통신 모듈(190))의 일부로서 구현될 수 있다. 일실시예에 따르면, 보조 프로세서(123)(예: 신경망 처리 장치)는 인공지능 모델의 처리에 특화된 하드웨어 구조를 포함할 수 있다. 인공지능 모델은 기계 학습을 통해 생성될 수 있다. 이러한 학습은, 예를 들어, 인공지능이 수행되는 전자 장치(101) 자체에서 수행될 수 있고, 별도의 서버(예: 서버(108))를 통해 수행될 수도 있다. 학습 알고리즘은, 예를 들어, 지도형 학습(supervised learning), 비지도형 학습(unsupervised learning), 준지도형 학습(semi-supervised learning) 또는 강화 학습(reinforcement learning)을 포함할 수 있으나, 전술한 예에 한정되지 않는다. 인공지능 모델은, 복수의 인공 신경망 레이어들을 포함할 수 있다. 인공 신경망은 심층 신경망(DNN: deep neural network), CNN(convolutional neural network), RNN(recurrent neural network), RBM(restricted boltzmann machine), DBN(deep belief network), BRDNN(bidirectional recurrent deep neural network), 심층 Q-네트워크(deep Q-networks) 또는 상기 중 둘 이상의 조합 중 하나일 수 있으나, 전술한 예에 한정되지 않는다. 인공지능 모델은 하드웨어 구조 이외에, 추가적으로 또는 대체적으로, 소프트웨어 구조를 포함할 수 있다. The secondary processor 123 may, for example, act on behalf of the main processor 121 while the main processor 121 is in an inactive (eg, sleep) state, or when the main processor 121 is active (eg, executing an application). ), together with the main processor 121, at least one of the components of the electronic device 101 (eg, the display module 160, the sensor module 176, or the communication module 190) It is possible to control at least some of the related functions or states. According to one embodiment, the coprocessor 123 (eg, an image signal processor or a communication processor) may be implemented as part of another functionally related component (eg, the camera module 180 or the communication module 190). have. According to an embodiment, the auxiliary processor 123 (eg, a neural network processing unit) may include a hardware structure specialized for processing an artificial intelligence model. Artificial intelligence models can be created through machine learning. Such learning may be performed, for example, in the electronic device 101 itself on which artificial intelligence is performed, or may be performed through a separate server (eg, the server 108). The learning algorithm may include, for example, supervised learning, unsupervised learning, semi-supervised learning, or reinforcement learning, but in the above example not limited The artificial intelligence model may include a plurality of artificial neural network layers. Artificial neural networks include deep neural networks (DNNs), convolutional neural networks (CNNs), recurrent neural networks (RNNs), restricted boltzmann machines (RBMs), deep belief networks (DBNs), bidirectional recurrent deep neural networks (BRDNNs), It may be one of deep Q-networks or a combination of two or more of the above, but is not limited to the above example. The artificial intelligence model may include, in addition to, or alternatively, a software structure in addition to the hardware structure.
메모리(130)는, 전자 장치(101)의 적어도 하나의 구성요소(예: 프로세서(120) 또는 센서 모듈(176))에 의해 사용되는 다양한 데이터를 저장할 수 있다. 데이터는, 예를 들어, 소프트웨어(예: 프로그램(140)) 및, 이와 관련된 명령에 대한 입력 데이터 또는 출력 데이터를 포함할 수 있다. 메모리(130)는, 휘발성 메모리(132) 또는 비휘발성 메모리(134)를 포함할 수 있다. The memory 130 may store various data used by at least one component (eg, the processor 120 or the sensor module 176 ) of the electronic device 101 . The data may include, for example, input data or output data for software (eg, the program 140 ) and instructions related thereto. The memory 130 may include a volatile memory 132 or a non-volatile memory 134 .
프로그램(140)은 메모리(130)에 소프트웨어로서 저장될 수 있으며, 예를 들면, 운영 체제(142), 미들 웨어(144) 또는 어플리케이션(146)을 포함할 수 있다. The program 140 may be stored as software in the memory 130 , and may include, for example, an operating system 142 , middleware 144 , or an application 146 .
입력 모듈(150)은, 전자 장치(101)의 구성요소(예: 프로세서(120))에 사용될 명령 또는 데이터를 전자 장치(101)의 외부(예: 사용자)로부터 수신할 수 있다. 입력 모듈(150)은, 예를 들면, 마이크, 마우스, 키보드, 키(예: 버튼), 또는 디지털 펜(예: 스타일러스 펜)을 포함할 수 있다. The input module 150 may receive a command or data to be used by a component (eg, the processor 120 ) of the electronic device 101 from the outside (eg, a user) of the electronic device 101 . The input module 150 may include, for example, a microphone, a mouse, a keyboard, a key (eg, a button), or a digital pen (eg, a stylus pen).
음향 출력 모듈(155)은 음향 신호를 전자 장치(101)의 외부로 출력할 수 있다. 음향 출력 모듈(155)은, 예를 들면, 스피커 또는 리시버를 포함할 수 있다. 스피커는 멀티미디어 재생 또는 녹음 재생과 같이 일반적인 용도로 사용될 수 있다. 리시버는 착신 전화를 수신하기 위해 사용될 수 있다. 일실시예에 따르면, 리시버는 스피커와 별개로, 또는 그 일부로서 구현될 수 있다.The sound output module 155 may output a sound signal to the outside of the electronic device 101 . The sound output module 155 may include, for example, a speaker or a receiver. The speaker can be used for general purposes such as multimedia playback or recording playback. The receiver may be used to receive an incoming call. According to one embodiment, the receiver may be implemented separately from or as part of the speaker.
디스플레이 모듈(160)은 전자 장치(101)의 외부(예: 사용자)로 정보를 시각적으로 제공할 수 있다. 디스플레이 모듈(160)은, 예를 들면, 디스플레이, 홀로그램 장치, 또는 프로젝터 및 해당 장치를 제어하기 위한 제어 회로를 포함할 수 있다. 일실시예에 따르면, 디스플레이 모듈(160)은 터치를 감지하도록 설정된 터치 센서, 또는 상기 터치에 의해 발생되는 힘의 세기를 측정하도록 설정된 압력 센서를 포함할 수 있다. The display module 160 may visually provide information to the outside (eg, a user) of the electronic device 101 . The display module 160 may include, for example, a control circuit for controlling a display, a hologram device, or a projector and a corresponding device. According to an embodiment, the display module 160 may include a touch sensor configured to sense a touch or a pressure sensor configured to measure the intensity of force generated by the touch.
오디오 모듈(170)은 소리를 전기 신호로 변환시키거나, 반대로 전기 신호를 소리로 변환시킬 수 있다. 일실시예에 따르면, 오디오 모듈(170)은, 입력 모듈(150)을 통해 소리를 획득하거나, 음향 출력 모듈(155), 또는 전자 장치(101)와 직접 또는 무선으로 연결된 외부 전자 장치(예: 전자 장치(102))(예: 스피커 또는 헤드폰)를 통해 소리를 출력할 수 있다.The audio module 170 may convert a sound into an electric signal or, conversely, convert an electric signal into a sound. According to an embodiment, the audio module 170 acquires a sound through the input module 150 or an external electronic device (eg, a sound output module 155 ) directly or wirelessly connected to the electronic device 101 . Sound may be output through the electronic device 102 (eg, a speaker or headphones).
센서 모듈(176)은 전자 장치(101)의 작동 상태(예: 전력 또는 온도), 또는 외부의 환경 상태(예: 사용자 상태)를 감지하고, 감지된 상태에 대응하는 전기 신호 또는 데이터 값을 생성할 수 있다. 일실시예에 따르면, 센서 모듈(176)은, 예를 들면, 제스처 센서, 자이로 센서, 기압 센서, 마그네틱 센서, 가속도 센서, 그립 센서, 근접 센서, 컬러 센서, IR(infrared) 센서, 생체 센서, 온도 센서, 습도 센서, 또는 조도 센서를 포함할 수 있다. The sensor module 176 detects an operating state (eg, power or temperature) of the electronic device 101 or an external environmental state (eg, a user state), and generates an electrical signal or data value corresponding to the sensed state. can do. According to one embodiment, the sensor module 176 may include, for example, a gesture sensor, a gyro sensor, a barometric pressure sensor, a magnetic sensor, an acceleration sensor, a grip sensor, a proximity sensor, a color sensor, an IR (infrared) sensor, a biometric sensor, It may include a temperature sensor, a humidity sensor, or an illuminance sensor.
인터페이스(177)는 전자 장치(101)가 외부 전자 장치(예: 전자 장치(102))와 직접 또는 무선으로 연결되기 위해 사용될 수 있는 하나 이상의 지정된 프로토콜들을 지원할 수 있다. 일실시예에 따르면, 인터페이스(177)는, 예를 들면, HDMI(high definition multimedia interface), USB(universal serial bus) 인터페이스, SD카드 인터페이스, 또는 오디오 인터페이스를 포함할 수 있다.The interface 177 may support one or more specified protocols that may be used by the electronic device 101 to directly or wirelessly connect with an external electronic device (eg, the electronic device 102 ). According to an embodiment, the interface 177 may include, for example, a high definition multimedia interface (HDMI), a universal serial bus (USB) interface, an SD card interface, or an audio interface.
연결 단자(178)는, 그를 통해서 전자 장치(101)가 외부 전자 장치(예: 전자 장치(102))와 물리적으로 연결될 수 있는 커넥터를 포함할 수 있다. 일실시예에 따르면, 연결 단자(178)는, 예를 들면, HDMI 커넥터, USB 커넥터, SD 카드 커넥터, 또는 오디오 커넥터(예: 헤드폰 커넥터)를 포함할 수 있다.The connection terminal 178 may include a connector through which the electronic device 101 can be physically connected to an external electronic device (eg, the electronic device 102 ). According to an embodiment, the connection terminal 178 may include, for example, an HDMI connector, a USB connector, an SD card connector, or an audio connector (eg, a headphone connector).
햅틱 모듈(179)은 전기적 신호를 사용자가 촉각 또는 운동 감각을 통해서 인지할 수 있는 기계적인 자극(예: 진동 또는 움직임) 또는 전기적인 자극으로 변환할 수 있다. 일실시예에 따르면, 햅틱 모듈(179)은, 예를 들면, 모터, 압전 소자, 또는 전기 자극 장치를 포함할 수 있다.The haptic module 179 may convert an electrical signal into a mechanical stimulus (eg, vibration or movement) or an electrical stimulus that the user can perceive through tactile or kinesthetic sense. According to an embodiment, the haptic module 179 may include, for example, a motor, a piezoelectric element, or an electrical stimulation device.
카메라 모듈(180)은 정지 영상 및 동영상을 촬영할 수 있다. 일실시예에 따르면, 카메라 모듈(180)은 하나 이상의 렌즈들, 이미지 센서들, 이미지 시그널 프로세서들, 또는 플래시들을 포함할 수 있다.The camera module 180 may capture still images and moving images. According to an embodiment, the camera module 180 may include one or more lenses, image sensors, image signal processors, or flashes.
전력 관리 모듈(188)은 전자 장치(101)에 공급되는 전력을 관리할 수 있다. 일실시예에 따르면, 전력 관리 모듈(188)은, 예를 들면, PMIC(power management integrated circuit)의 적어도 일부로서 구현될 수 있다.The power management module 188 may manage power supplied to the electronic device 101 . According to an embodiment, the power management module 188 may be implemented as, for example, at least a part of a power management integrated circuit (PMIC).
배터리(189)는 전자 장치(101)의 적어도 하나의 구성요소에 전력을 공급할 수 있다. 일실시예에 따르면, 배터리(189)는, 예를 들면, 재충전 불가능한 1차 전지, 재충전 가능한 2차 전지 또는 연료 전지를 포함할 수 있다.The battery 189 may supply power to at least one component of the electronic device 101 . According to one embodiment, battery 189 may include, for example, a non-rechargeable primary cell, a rechargeable secondary cell, or a fuel cell.
통신 모듈(190)은 전자 장치(101)와 외부 전자 장치(예: 전자 장치(102), 전자 장치(104), 또는 서버(108)) 간의 직접(예: 유선) 통신 채널 또는 무선 통신 채널의 수립, 및 수립된 통신 채널을 통한 통신 수행을 지원할 수 있다. 통신 모듈(190)은 프로세서(120)(예: 어플리케이션 프로세서)와 독립적으로 운영되고, 직접(예: 유선) 통신 또는 무선 통신을 지원하는 하나 이상의 커뮤니케이션 프로세서를 포함할 수 있다. 일실시예에 따르면, 통신 모듈(190)은 무선 통신 모듈(192)(예: 셀룰러 통신 모듈, 근거리 무선 통신 모듈, 또는 GNSS(global navigation satellite system) 통신 모듈) 또는 유선 통신 모듈(194)(예: LAN(local area network) 통신 모듈, 또는 전력선 통신 모듈)을 포함할 수 있다. 이들 통신 모듈 중 해당하는 통신 모듈은 제 1 네트워크(198)(예: 블루투스, WiFi(wireless fidelity) direct 또는 IrDA(infrared data association)와 같은 근거리 통신 네트워크) 또는 제 2 네트워크(199)(예: 레거시 셀룰러 네트워크, 5G 네트워크, 차세대 통신 네트워크, 인터넷, 또는 컴퓨터 네트워크(예: LAN 또는 WAN)와 같은 원거리 통신 네트워크)를 통하여 외부의 전자 장치(104)와 통신할 수 있다. 이런 여러 종류의 통신 모듈들은 하나의 구성요소(예: 단일 칩)로 통합되거나, 또는 서로 별도의 복수의 구성요소들(예: 복수 칩들)로 구현될 수 있다. 무선 통신 모듈(192)은 가입자 식별 모듈(196)에 저장된 가입자 정보(예: 국제 모바일 가입자 식별자(IMSI))를 이용하여 제 1 네트워크(198) 또는 제 2 네트워크(199)와 같은 통신 네트워크 내에서 전자 장치(101)를 확인 또는 인증할 수 있다. The communication module 190 is a direct (eg, wired) communication channel or a wireless communication channel between the electronic device 101 and an external electronic device (eg, the electronic device 102, the electronic device 104, or the server 108). It can support establishment and communication performance through the established communication channel. The communication module 190 may include one or more communication processors that operate independently of the processor 120 (eg, an application processor) and support direct (eg, wired) communication or wireless communication. According to one embodiment, the communication module 190 is a wireless communication module 192 (eg, a cellular communication module, a short-range communication module, or a global navigation satellite system (GNSS) communication module) or a wired communication module 194 (eg, : It may include a local area network (LAN) communication module, or a power line communication module). A corresponding communication module among these communication modules is a first network 198 (eg, a short-range communication network such as Bluetooth, wireless fidelity (WiFi) direct, or infrared data association (IrDA)) or a second network 199 (eg, legacy It may communicate with the external electronic device 104 through a cellular network, a 5G network, a next-generation communication network, the Internet, or a computer network (eg, a telecommunication network such as a LAN or a WAN). These various types of communication modules may be integrated into one component (eg, a single chip) or may be implemented as a plurality of components (eg, multiple chips) separate from each other. The wireless communication module 192 uses subscriber information (eg, International Mobile Subscriber Identifier (IMSI)) stored in the subscriber identification module 196 within a communication network such as the first network 198 or the second network 199 . The electronic device 101 may be identified or authenticated.
무선 통신 모듈(192)은 4G 네트워크 이후의 5G 네트워크 및 차세대 통신 기술, 예를 들어, NR 접속 기술(new radio access technology)을 지원할 수 있다. NR 접속 기술은 고용량 데이터의 고속 전송(eMBB(enhanced mobile broadband)), 단말 전력 최소화와 다수 단말의 접속(mMTC(massive machine type communications)), 또는 고신뢰도와 저지연(URLLC(ultra-reliable and low-latency communications))을 지원할 수 있다. 무선 통신 모듈(192)은, 예를 들어, 높은 데이터 전송률 달성을 위해, 고주파 대역(예: mmWave 대역)을 지원할 수 있다. 무선 통신 모듈(192)은 고주파 대역에서의 성능 확보를 위한 다양한 기술들, 예를 들어, 빔포밍(beamforming), 거대 배열 다중 입출력(massive MIMO(multiple-input and multiple-output)), 전차원 다중입출력(FD-MIMO: full dimensional MIMO), 어레이 안테나(array antenna), 아날로그 빔형성(analog beam-forming), 또는 대규모 안테나(large scale antenna)와 같은 기술들을 지원할 수 있다. 무선 통신 모듈(192)은 전자 장치(101), 외부 전자 장치(예: 전자 장치(104)) 또는 네트워크 시스템(예: 제 2 네트워크(199))에 규정되는 다양한 요구사항을 지원할 수 있다. 일실시예에 따르면, 무선 통신 모듈(192)은 eMBB 실현을 위한 Peak data rate(예: 20Gbps 이상), mMTC 실현을 위한 손실 Coverage(예: 164dB 이하), 또는 URLLC 실현을 위한 U-plane latency(예: 다운링크(DL) 및 업링크(UL) 각각 0.5ms 이하, 또는 라운드 트립 1ms 이하)를 지원할 수 있다.The wireless communication module 192 may support a 5G network after a 4G network and a next-generation communication technology, for example, a new radio access technology (NR). NR access technology includes high-speed transmission of high-capacity data (eMBB (enhanced mobile broadband)), minimization of terminal power and access to multiple terminals (mMTC (massive machine type communications)), or high reliability and low latency (URLLC (ultra-reliable and low-latency) -latency communications)). The wireless communication module 192 may support a high frequency band (eg, mmWave band) to achieve a high data rate, for example. The wireless communication module 192 includes various technologies for securing performance in a high frequency band, for example, beamforming, massive multiple-input and multiple-output (MIMO), all-dimensional multiplexing. Technologies such as full dimensional MIMO (FD-MIMO), array antenna, analog beam-forming, or large scale antenna may be supported. The wireless communication module 192 may support various requirements specified in the electronic device 101 , an external electronic device (eg, the electronic device 104 ), or a network system (eg, the second network 199 ). According to an embodiment, the wireless communication module 192 may include a peak data rate (eg, 20 Gbps or more) for realizing eMBB, loss coverage (eg, 164 dB or less) for realizing mMTC, or U-plane latency ( Example: downlink (DL) and uplink (UL) each 0.5 ms or less, or round trip 1 ms or less) may be supported.
안테나 모듈(197)은 신호 또는 전력을 외부(예: 외부의 전자 장치)로 송신하거나 외부로부터 수신할 수 있다. 일실시예에 따르면, 안테나 모듈(197)은 서브스트레이트(예: PCB) 위에 형성된 도전체 또는 도전성 패턴으로 이루어진 방사체를 포함하는 안테나를 포함할 수 있다. 일실시예에 따르면, 안테나 모듈(197)은 복수의 안테나들(예: 어레이 안테나)을 포함할 수 있다. 이런 경우, 제 1 네트워크(198) 또는 제 2 네트워크(199)와 같은 통신 네트워크에서 사용되는 통신 방식에 적합한 적어도 하나의 안테나가, 예를 들면, 통신 모듈(190)에 의하여 상기 복수의 안테나들로부터 선택될 수 있다. 신호 또는 전력은 상기 선택된 적어도 하나의 안테나를 통하여 통신 모듈(190)과 외부의 전자 장치 간에 송신되거나 수신될 수 있다. 어떤 실시예에 따르면, 방사체 이외에 다른 부품(예: RFIC(radio frequency integrated circuit))이 추가로 안테나 모듈(197)의 일부로 형성될 수 있다.
The antenna module 197 may transmit or receive a signal or power to the outside (eg, an external electronic device). According to an embodiment, the antenna module 197 may include an antenna including a conductor formed on a substrate (eg, a PCB) or a radiator formed of a conductive pattern. According to an embodiment, the antenna module 197 may include a plurality of antennas (eg, an array antenna). In this case, at least one antenna suitable for a communication method used in a communication network such as the first network 198 or the second network 199 is connected from the plurality of antennas by, for example, the communication module 190 . can be selected. A signal or power may be transmitted or received between the communication module 190 and an external electronic device through the selected at least one antenna. According to some embodiments, other components (eg, a radio frequency integrated circuit (RFIC)) other than the radiator may be additionally formed as a part of the antenna module 197 .
다양한 실시예에 따르면, 안테나 모듈(197)은 mmWave 안테나 모듈을 형성할 수 있다. 일실시예에 따르면, mmWave 안테나 모듈은 인쇄 회로 기판, 상기 인쇄 회로 기판의 제 1 면(예: 아래 면)에 또는 그에 인접하여 배치되고 지정된 고주파 대역(예: mmWave 대역)을 지원할 수 있는 RFIC, 및 상기 인쇄 회로 기판의 제 2 면(예: 윗 면 또는 측 면)에 또는 그에 인접하여 배치되고 상기 지정된 고주파 대역의 신호를 송신 또는 수신할 수 있는 복수의 안테나들(예: 어레이 안테나)을 포함할 수 있다.According to various embodiments, the antenna module 197 may form a mmWave antenna module. According to one embodiment, the mmWave antenna module comprises a printed circuit board, an RFIC disposed on or adjacent to a first side (eg, bottom side) of the printed circuit board and capable of supporting a designated high frequency band (eg, mmWave band); and a plurality of antennas (eg, an array antenna) disposed on or adjacent to a second side (eg, top or side) of the printed circuit board and capable of transmitting or receiving signals of the designated high frequency band. can do.
상기 구성요소들 중 적어도 일부는 주변 기기들간 통신 방식(예: 버스, GPIO(general purpose input and output), SPI(serial peripheral interface), 또는 MIPI(mobile industry processor interface))을 통해 서로 연결되고 신호(예: 명령 또는 데이터)를 상호간에 교환할 수 있다.At least some of the components are connected to each other through a communication method between peripheral devices (eg, a bus, general purpose input and output (GPIO), serial peripheral interface (SPI), or mobile industry processor interface (MIPI)) and a signal ( eg commands or data) can be exchanged with each other.
일실시예에 따르면, 명령 또는 데이터는 제 2 네트워크(199)에 연결된 서버(108)를 통해서 전자 장치(101)와 외부의 전자 장치(104)간에 송신 또는 수신될 수 있다. 외부의 전자 장치(102, 또는 104) 각각은 전자 장치(101)와 동일한 또는 다른 종류의 장치일 수 있다. 일실시예에 따르면, 전자 장치(101)에서 실행되는 동작들의 전부 또는 일부는 외부의 전자 장치들(102, 104, 또는 108) 중 하나 이상의 외부의 전자 장치들에서 실행될 수 있다. 예를 들면, 전자 장치(101)가 어떤 기능이나 서비스를 자동으로, 또는 사용자 또는 다른 장치로부터의 요청에 반응하여 수행해야 할 경우에, 전자 장치(101)는 기능 또는 서비스를 자체적으로 실행시키는 대신에 또는 추가적으로, 하나 이상의 외부의 전자 장치들에게 그 기능 또는 그 서비스의 적어도 일부를 수행하라고 요청할 수 있다. 상기 요청을 수신한 하나 이상의 외부의 전자 장치들은 요청된 기능 또는 서비스의 적어도 일부, 또는 상기 요청과 관련된 추가 기능 또는 서비스를 실행하고, 그 실행의 결과를 전자 장치(101)로 전달할 수 있다. 전자 장치(101)는 상기 결과를, 그대로 또는 추가적으로 처리하여, 상기 요청에 대한 응답의 적어도 일부로서 제공할 수 있다. 이를 위하여, 예를 들면, 클라우드 컴퓨팅, 분산 컴퓨팅, 모바일 에지 컴퓨팅(MEC: mobile edge computing), 또는 클라이언트-서버 컴퓨팅 기술이 이용될 수 있다. 전자 장치(101)는, 예를 들어, 분산 컴퓨팅 또는 모바일 에지 컴퓨팅을 이용하여 초저지연 서비스를 제공할 수 있다. 다른 실시예에 있어서, 외부의 전자 장치(104)는 IoT(internet of things) 기기를 포함할 수 있다. 서버(108)는 기계 학습 및/또는 신경망을 이용한 지능형 서버일 수 있다. 일실시예에 따르면, 외부의 전자 장치(104) 또는 서버(108)는 제 2 네트워크(199) 내에 포함될 수 있다. 전자 장치(101)는 5G 통신 기술 및 IoT 관련 기술을 기반으로 지능형 서비스(예: 스마트 홈, 스마트 시티, 스마트 카, 또는 헬스 케어)에 적용될 수 있다. According to an embodiment, the command or data may be transmitted or received between the electronic device 101 and the external electronic device 104 through the server 108 connected to the second network 199 . Each of the external electronic devices 102 or 104 may be the same as or different from the electronic device 101 . According to an embodiment, all or a part of operations executed in the electronic device 101 may be executed in one or more external electronic devices 102 , 104 , or 108 . For example, when the electronic device 101 is to perform a function or service automatically or in response to a request from a user or other device, the electronic device 101 may perform the function or service itself instead of executing the function or service itself. Alternatively or additionally, one or more external electronic devices may be requested to perform at least a part of the function or the service. One or more external electronic devices that have received the request may execute at least a part of the requested function or service, or an additional function or service related to the request, and transmit a result of the execution to the electronic device 101 . The electronic device 101 may process the result as it is or additionally and provide it as at least a part of a response to the request. For this, for example, cloud computing, distributed computing, mobile edge computing (MEC), or client-server computing technology may be used. The electronic device 101 may provide an ultra-low latency service using, for example, distributed computing or mobile edge computing. In another embodiment, the external electronic device 104 may include an Internet of things (IoT) device. Server 108 may be an intelligent server using machine learning and/or neural networks. According to an embodiment, the external electronic device 104 or the server 108 may be included in the second network 199 . The electronic device 101 may be applied to an intelligent service (eg, smart home, smart city, smart car, or health care) based on 5G communication technology and IoT-related technology.
본 문서에 개시된 다양한 실시예들에 따른 전자 장치는 다양한 형태의 장치가 될 수 있다. 전자 장치는, 예를 들면, 휴대용 통신 장치(예: 스마트폰), 컴퓨터 장치, 휴대용 멀티미디어 장치, 휴대용 의료 기기, 카메라, 웨어러블 장치, 또는 가전 장치를 포함할 수 있다. 본 문서의 실시예에 따른 전자 장치는 전술한 기기들에 한정되지 않는다.The electronic device according to various embodiments disclosed in this document may have various types of devices. The electronic device may include, for example, a portable communication device (eg, a smart phone), a computer device, a portable multimedia device, a portable medical device, a camera, a wearable device, or a home appliance device. The electronic device according to the embodiment of the present document is not limited to the above-described devices.
도 2는 다양한 실시예들에 따른 화상 회의를 제공하는 전자 장치, 전자 장치의 사용자, 외부 전자 장치, 외부 전자 장치의 사용자 및 서버를 도시한 예시 도면이다.2 is an exemplary diagram illustrating an electronic device providing a video conference, a user of the electronic device, an external electronic device, a user of the external electronic device, and a server, according to various embodiments of the present disclosure;
다양한 실시예에 따르면, 전자 장치(210)는 화상 회의를 제공할 수 있다. 화상 회의를 제공하는 전자 장치(210)는 예를 들면, PC, 노트북, 랩탑, 태블릿 PC, 스마트 폰과 같은 전자 장치로 구현될 수 있으나, 이에 한정되지 않고, 디스플레이 및 통신 기능(예: 유선 통신 및/또는 무선 통신)을 구비하는 다양한 종류의 장치들이 본 문서의 다양한 실시예들에 따른 전자 장치(210)에 해당될 수 있다. 다양한 실시예에 따른 전자 장치(210)는 도 1의 전자 장치(101)의 구성 및/또는 기능 가운데 적어도 일부를 포함할 수 있다.According to various embodiments, the electronic device 210 may provide a video conference. The electronic device 210 that provides the video conference may be implemented as an electronic device such as, for example, a PC, a notebook computer, a laptop computer, a tablet PC, or a smart phone, but is not limited thereto, and displays and communication functions (eg, wired communication). and/or wireless communication) may correspond to the electronic device 210 according to various embodiments of the present document. The electronic device 210 according to various embodiments may include at least some of the configuration and/or functions of the electronic device 101 of FIG. 1 .
다양한 실시예들에 따르면, 전자 장치(210)는 유선 및/또는 무선 네트워크 통신(예: 도 1의 제 2 네트워크(199))을 이용해 서버(250)(예: 도 1의 서버(108))와 통신할 수 있다. 유선 및/또는 무선 네트워크 통신은 원거리 통신 네트워크(예: 셀룰러 네트워크, LAN)를 이용한 것일 수 있다. 다양한 실시예에 따르면, 전자 장치(210)는 서버(250)를 통하여 외부 전자 장치(230)(예: 도 1의 전자 장치(104))로부터 외부 전자 장치(230)의 사용자(예: 상대방(240))의 영상 정보를 수신하여 출력할 수 있다. 다양한 실시예에 따르면, 전자 장치(210)는 전자 장치(210)가 직접 생성한 영상 정보를 사용자(220)에게 출력할 수 있다. 영상 정보는, 예를 들면, 상대방(240)을 촬영한 영상일 수 있고, 상대방(240)을 촬영한 영상을 이용하여 편집한 영상, 상대방(240)을 촬영한 영상을 기초로 생성한 영상, 외부 전자 장치(230) 및/또는 서버(250)에서 수신하거나 전자 장치(210)가 생성한 다른 정보를 이용하여 전자 장치(210)가 생성한 영상일 수 있다. 영상 정보는 전자 장치(210)가 생성한 데이터 또는 외부 전자 장치(230)로부터 수신한 영상 정보일 수 있다. According to various embodiments, the electronic device 210 uses a wired and/or wireless network communication (eg, the second network 199 of FIG. 1 ) to the server 250 (eg, the server 108 of FIG. 1 ). can communicate with Wired and/or wireless network communication may be using a telecommunication network (eg, a cellular network, LAN). According to various embodiments of the present disclosure, the electronic device 210 transmits a user (eg, counterpart ( ) 240)) can receive and output the image information. According to various embodiments, the electronic device 210 may output image information directly generated by the electronic device 210 to the user 220 . The image information may be, for example, an image of the other party 240, an image edited using the image of the other party 240, an image generated based on an image of the other party 240, It may be an image received by the external electronic device 230 and/or the server 250 or generated by the electronic device 210 using other information generated by the electronic device 210 . The image information may be data generated by the electronic device 210 or image information received from the external electronic device 230 .
다양한 실시예에 따르면, 전자 장치(210)는 외부 전자 장치(230) 및/또는 서버(250)로부터 컨텐츠(예: 컨텐츠 정보)를 수신하고, 이를 출력할 수 있다. 다양한 실시예에 따르면, 전자 장치(210)는 전자 장치(210)에 저장된 컨텐츠 정보를 출력할 수 있다. 컨텐츠 정보는 발표를 위한 시각 또는 시청각 자료일 수 있고, 다양한 멀티미디어 데이터를 포함할 수 있다. 예컨대, 컨텐츠 정보는 텍스트, 이미지, 동영상, 전자 장치(210)에서 실행 가능한 어플리케이션으로써 실행되거나 전자 장치(210)의 디스플레이 상에 출력될 수 있는 데이터(예: 프레젠테이션 데이터) 및 이 가운데 적어도 일부의 조합을 포함할 수 있다. 다양한 실시예들에 따르면, 컨텐츠 정보는 전자 장치(210)에서 실행된 컨텐츠를 이미지화 한 영상일 수 있다.According to various embodiments, the electronic device 210 may receive content (eg, content information) from the external electronic device 230 and/or the server 250 and output it. According to various embodiments, the electronic device 210 may output content information stored in the electronic device 210 . The content information may be visual or audiovisual material for presentation, and may include various multimedia data. For example, the content information includes text, an image, a video, data (eg, presentation data) that can be executed as an application executable in the electronic device 210 or output on the display of the electronic device 210, and a combination of at least some of them. may include According to various embodiments of the present disclosure, the content information may be an image of content executed by the electronic device 210 .
다양한 실시예에 따르면, 사용자(220)는 전자 장치(210)로부터 상대방(240)과의 화상 회의 서비스를 제공 받을 수 있다. 화상 회의를 제공 받는 사용자(220) 및 상대방(240)은 각각 전자 장치(210) 및 외부 전자 장치(230)를 이용하여 화상 회의 서비스를 제공 받을 수 있다. 다양한 실시예에 따르면, 서버(250)는 전자 장치(210)로 화상 회의 서비스에 필요한 정보를 전송할 수 있다. 예를 들면, 서버(250)는 전자 장치(210)와 외부 전자 장치(230)간 통신적 연결에 필요한 네트워크를 제공할 수 있다. 다양한 실시에에 따르면, 서버(250)는 전자 장치(210) 및/또는 외부 전자 장치(230)로부터 화상 회의 서비스에 필요한 데이터를 수신하고, 각 전자 장치(210) 및/또는 외부 전자 장치(230)로 전송할 수 있다. 다양한 실시예에 따르면, 서버(250)는 화상 회의 서비스에 필요한 데이터를 생성하고, 전자 장치(210) 및/또는 외부 전자 장치(230)로 전송할 수 있다.According to various embodiments, the user 220 may receive a video conference service with the counterpart 240 from the electronic device 210 . The user 220 and the counterpart 240 receiving the video conference may receive the video conference service by using the electronic device 210 and the external electronic device 230, respectively. According to various embodiments, the server 250 may transmit information required for a video conference service to the electronic device 210 . For example, the server 250 may provide a network necessary for a communication connection between the electronic device 210 and the external electronic device 230 . According to various embodiments, the server 250 receives data required for a video conference service from the electronic device 210 and/or the external electronic device 230 , and each electronic device 210 and/or the external electronic device 230 . ) can be transmitted. According to various embodiments, the server 250 may generate data required for a video conference service and transmit it to the electronic device 210 and/or the external electronic device 230 .
다양한 실시예에 따르면 전자 장치(210), 외부 전자 장치(230) 및/또는 서버(250)는 복수의 장치로 구성될 수 있다. 다양한 실시예에 따르면, 사용자(220)는 화상 회의를 제공하는 복수의 전자 장치(210)로부터 화상 회의 서비스를 제공 받을 수 있다. 다양한 실시예에 따르면, 화상 회의에 참여하는 참여자(예: 사용자(220) 및/또는 상대방(240))는 각각 복수의 사람으로 구성될 수 있고, 복수의 참여자는 각각의 전자 장치(210) 또는 외부 전자 장치(230)를 이용하여 화상 회의에 참여할 수도 있고, 다수의 사용자(220) 또는 상대방(240)이 하나의 전자 장치(210) 및/또는 외부 전자 장치(230)를 이용하여 화상 회의에 참여할 수도 있다. 화상 회의를 제공하는 전자 장치(210), 외부 전자 장치(230), 화상 회의를 제공 받는 사용자(220), 상대방(240) 및 화상 회의를 제공 또는 중개하는 서버(250)의 개수 및 인원수에는 제한이 없으나, 본 문서의 장치(예: 전자 장치(210), 외부 전자 장치(230)) 및 인원(예: 사용자(220), 상대방(240))은 각각 하나 또는 둘인 경우를 예시하여 설명하기로 한다.According to various embodiments, the electronic device 210 , the external electronic device 230 , and/or the server 250 may include a plurality of devices. According to various embodiments, the user 220 may receive a video conference service from a plurality of electronic devices 210 that provide video conferences. According to various embodiments, each participant (eg, the user 220 and/or the counterpart 240 ) participating in the video conference may consist of a plurality of people, and the plurality of participants may each include each electronic device 210 or The external electronic device 230 may be used to participate in a video conference, and a plurality of users 220 or counterparts 240 may participate in a video conference using one electronic device 210 and/or an external electronic device 230 . may participate. The number and number of the electronic device 210 providing the video conference, the external electronic device 230, the user 220 receiving the video conference, the counterpart 240, and the server 250 providing or mediating the video conference are limited. However, in this document, the device (eg, the electronic device 210, the external electronic device 230) and the number of people (eg, the user 220, the counterpart 240) will be described by exemplifying one or two cases, respectively. do.
다양한 실시예에 따르면, 서버(250)는 전자 장치(210) 및 외부 전자 장치(230) 간에 화상 회의 서비스를 제공하기 위하여 송수신하는 영상 정보 및/또는 컨텐츠 정보와 같은 필요한 데이터에 대하여 스케일링 업/다운과 같은 전처리를 수행할 수도 있고, 전자 장치(210) 또는 외부 전자 장치(230)가 수행하는 동작의 일부를 수행할 수도 있고, 단순히 데이터 송수신을 중개할 수 도 있으나, 본 문서에서는 편의상 서버(250)의 동작을 생략하고, 전자 장치(210)의 동작 또는 전자 장치(210)와 외부 전자 장치(230) 간의 동작으로만 설명하기로 한다.According to various embodiments, the server 250 scales up/down the necessary data such as image information and/or content information transmitted and received to provide a video conference service between the electronic device 210 and the external electronic device 230 . The same pre-processing may be performed, a part of the operation performed by the electronic device 210 or the external electronic device 230 may be performed, and data transmission/reception may be simply mediated, but in this document, for convenience, the server 250 ) will be omitted, and only the operation of the electronic device 210 or the operation between the electronic device 210 and the external electronic device 230 will be described.
도 3은 다양한 실시예들에 따른 화상 회의를 제공하는 전자 장치의 블록도이다.3 is a block diagram of an electronic device that provides a video conference according to various embodiments of the present disclosure;
도 3을 참조하면 전자 장치(300)(예: 도 1의 전자 장치(101) 및/또는 도 2의 전자 장치(210))는 통신 모듈(310), 디스플레이(320), 카메라(330), 메모리(340) 및 프로세서(350)를 포함할 수 있다. 전자 장치(300)는 도 1의 전자 장치(101)의 구성 및/또는 기능 가운데 적어도 하나를 포함할 수 있다.Referring to FIG. 3 , an electronic device 300 (eg, the electronic device 101 of FIG. 1 and/or the electronic device 210 of FIG. 2 ) includes a communication module 310 , a display 320 , a camera 330 , It may include a memory 340 and a processor 350 . The electronic device 300 may include at least one of the configuration and/or functions of the electronic device 101 of FIG. 1 .
다양한 실시예들에 따르면, 통신 모듈(310)은 유선 및/또는 무선 네트워크 통신(예: 도 1의 제 2 네트워크(199))을 이용해 외부 전자 장치(예: 도 2의 외부 전자 장치(230) 또는 서버 장치(250))와 통신할 수 있다. 유선 및/또는 무선 네트워크 통신은 원거리 통신 네트워크(예: 셀룰러 네트워크, LAN)를 이용한 것일 수 있다. 통신 모듈(310)에 의해 지원되는 원거리 통신에는 제한이 없고, 예를 들어, 셀룰러 네트워크(예: 5G, LTE-A), LAN, 인터넷과 같은 다양한 통신 방식을 지원할 수 있다. 다양한 실시예들에 따르면, 통신 모듈(310)은 외부 전자 장치(예: 도 2의 외부 전자 장치(230))가 상대방(예: 도 2의 상대방(240))을 촬영한 영상에 대한 정보를 외부 장치(예: 도 2의 서버 장치(250))로부터 수신할 수 있고, 화상 회의를 제공하기 위한 각종 데이터(예: 영상 정보 및/또는 컨텐츠 정보)를 서버(250)로 전송할 수 있다. 다양한 실시예에 따르면, 통신 모듈(310)은 화상 회의 서비스를 제공하기 위한 각종 데이터를 외부 장치(예: 도 2의 서버(250))로부터 수신할 수 있다. 다양한 실시예에 따르면, 통신 모듈(310)은 근거리 무선 통신(예: 블루투스(Bluetooth), BLE(Bluetooth low energy), NFC(near field communication), WiFi(wireless fidelity) direct, IrDA(infrared data association) 및/또는 UWB(ultra wide band))을 지원할 수 있고, 근거리 무선 통신을 이용하여 다른 전자 장치, 또는 보조 장치(예: 도 2의 화상 회의를 제공하는 전자 장치(210)가 복수의 장치로 구성되는 경우)로 정보를 전송할 수 있다. 다양한 실시예에 따르면, 통신 모듈(310)은 근거리 무선 통신을 위한 근거리 통신 모듈(미도시)을 포함할 수 있고, 근거리 통신 모듈(미도시)은 다른 전자 장치와 단방향성 또는 양방향성 통신을 수행할 수 있다. 단방향성 통신은, 예를 들면, 다른 전자 장치에게 정보를 송신하는 것에 한정될 수 있고, 정보의 송신은 단순히 일정 신호를 외부에 출력하는 것으로 이루어질 수도 있다.According to various embodiments, the communication module 310 uses wired and/or wireless network communication (eg, the second network 199 of FIG. 1 ) to an external electronic device (eg, the external electronic device 230 of FIG. 2 ). Alternatively, it may communicate with the server device 250 ). Wired and/or wireless network communication may be using a telecommunication network (eg, a cellular network, LAN). There is no limitation on the long-distance communication supported by the communication module 310, and for example, various communication methods such as a cellular network (eg, 5G, LTE-A), a LAN, and the Internet may be supported. According to various embodiments, the communication module 310 transmits information about an image captured by an external electronic device (eg, the external electronic device 230 of FIG. 2 ) to the other party (eg, the counterpart 240 of FIG. 2 ). It may be received from an external device (eg, the server device 250 of FIG. 2 ), and various data (eg, image information and/or content information) for providing a video conference may be transmitted to the server 250 . According to various embodiments, the communication module 310 may receive various data for providing a video conference service from an external device (eg, the server 250 of FIG. 2 ). According to various embodiments, the communication module 310 is a short-range wireless communication (eg, Bluetooth (Bluetooth), BLE (Bluetooth low energy), NFC (near field communication), WiFi (wireless fidelity) direct, IrDA (infrared data association) and/or UWB (ultra wide band) may be supported, and another electronic device or an auxiliary device (eg, the electronic device 210 that provides a video conference in FIG. 2 ) using short-range wireless communication consists of a plurality of devices. information) can be transmitted. According to various embodiments, the communication module 310 may include a short-range communication module (not shown) for short-range wireless communication, and the short-range communication module (not shown) performs unidirectional or bidirectional communication with another electronic device. can One-way communication may be limited to, for example, transmitting information to another electronic device, and transmission of information may be accomplished by simply outputting a predetermined signal to the outside.
다양한 실시예에 따르면, 디스플레이(320)은 전자 장치(300) 외부로 정보를 표시할 수 있다. 디스플레이(320)은 도 1의 디스플레이 모듈(160)의 구성 및/또는 기능 가운데 적어도 일부를 포함할 수 있다. 다양한 실시예에 따르면, 디스플레이(320)은 디스플레이 패널을 포함하고, 프로세서(예: 도 3의 프로세서(370))로부터 수신한 정보를 시각적으로 표시할 수 있다. 다양한 실시예에 따르면, 디스플레이(320)은 터치 센서 및/또는 압력 센서를 포함하고, 사용자의 터치 입력을 수신할 수 있다.According to various embodiments, the display 320 may display information to the outside of the electronic device 300 . The display 320 may include at least some of the configuration and/or functions of the display module 160 of FIG. 1 . According to various embodiments, the display 320 may include a display panel and may visually display information received from a processor (eg, the processor 370 of FIG. 3 ). According to various embodiments, the display 320 may include a touch sensor and/or a pressure sensor, and may receive a user's touch input.
다양한 실시예에 따르면, 다양한 실시예에 따르면, 카메라(330)는 전자 장치(300)의 외부 환경의 이미지 및/또는 영상을 촬영할 수 있다. 카메라(330)는 도 1의 카메라 모듈(180)의 구성 및/또는 기능의 적어도 일부를 포함할 수 있다. 다양한 실시예에 따르면, 카메라(330)는 외부로부터 입사된 광을 전기적 신호로 변환하여 이미지 정보를 생성할 수 있다. 다양한 실시예에 따르면, 카메라(330)는 전자 장치(300)의 외부 환경을 촬영하고, 주변 환경을 촬영한 영상 정보를 생성할 수 있다. 다양한 실시예에 따르면, 카메라(330)는 사용자(예: 도 2의 사용자(220))의 영상을 촬영할 수 있다.According to various embodiments, the camera 330 may capture an image and/or an image of the external environment of the electronic device 300 . The camera 330 may include at least a part of the configuration and/or functions of the camera module 180 of FIG. 1 . According to various embodiments, the camera 330 may generate image information by converting light incident from the outside into an electrical signal. According to various embodiments, the camera 330 may photograph the external environment of the electronic device 300 and may generate image information obtained by photographing the surrounding environment. According to various embodiments, the camera 330 may capture an image of a user (eg, the user 220 of FIG. 2 ).
다양한 실시예에 따르면, 메모리(340)는 디지털 데이터들을 일시적 또는 영구적으로 저장하기 위한 것으로서, 도 1의 메모리(130)의 구성 및/또는 기능 가운데 적어도 일부를 포함할 수 있다. 또한, 메모리(340)는 도 1의 프로그램(140) 가운데 적어도 일부를 저장할 수 있다. 메모리(340)는 프로세서(예: 도 3의 프로세서(350))에 의하여 수행될 수 있는 다양한 인스트럭션(instruction)을 저장할 수 있다. 이와 같은 인스트럭션들은 프로세서(350)에 의하여 인식되고 실행될 수 있는 논리 연산, 데이터 입출력 등의 제어 명령을 포함할 수 있다. 메모리(340)가 저장할 수 있는 데이터의 종류 및/또는 양에 대하여는 한정됨이 없을 것이나, 본 문서에서는 다양한 실시예들에 따른 화상 회의를 제공하는 방법 및 그 방법을 수행하는 프로세서(350)의 동작과 관련된 메모리의 구성 및 기능에 대하여만 설명하기로 한다.According to various embodiments, the memory 340 is for temporarily or permanently storing digital data, and may include at least some of the configuration and/or functions of the memory 130 of FIG. 1 . Also, the memory 340 may store at least a part of the program 140 of FIG. 1 . The memory 340 may store various instructions that may be executed by a processor (eg, the processor 350 of FIG. 3 ). Such instructions may include control commands such as logical operations and data input/output that can be recognized and executed by the processor 350 . There is no limitation on the type and/or amount of data that the memory 340 can store, but in this document, a method for providing a video conference according to various embodiments and an operation of the processor 350 performing the method and Only the configuration and function of the related memory will be described.
다양한 실시예에 따르면, 프로세서(350)는 전자 장치(300)의 각 구성요소들의 제어 및/또는 통신에 관한 연산이나 데이터를 처리할 수 있다. 프로세서(350)는 도 1의 프로세서(120)의 구성 및/또는 기능 가운데 적어도 일부를 포함할 수 있다. 프로세서는 통신 모듈(310), 디스플레이(320), 카메라(330) 및 메모리(340)와 같은 전자 장치(300)의 구성요소와 작동적(operatively), 전기적(electrically) 및/또는 기능적(functionally)으로 연결될 수 있다. 다양한 실시예에 따른 프로세서(350)의 각 동작은 실시간으로 이루어질 수 있다. 예를 들면, 전자 장치(300)가 사용자(예: 도 2의 사용자(220))에게 화상 회의를 제공하는 경우, 전자 장치(300), 외부 전자 장치(예: 도 2의 외부 전자 장치(230)) 및/또는 서버(예: 도 2의 서버(250)) 간의 정보 전달은 동시에 또는 무시될 수 있을 정도의 작은 시간 범위 내에서 이루어질 수 있고, 그에 따른 프로세서(350)의 화상 회의 서비스 제공을 위한 연산 및/또는 동작 역시 동시에, 또는 매우 작은 시간 범위 내에서 이루어질 수 있다. 프로세서(350)가 수행할 수 있는 동작, 연산 및 데이터 처리의 종류 및/또는 양에 대하여는 한정됨이 없을 것이나, 본 문서에서는 다양한 실시예들에 따른 화상 회의 서비스를 제공하는 방법 및 그 방법을 수행하는 동작과 관련된 프로세서(350)의 구성 및 기능에 대하여만 설명하기로 한다.According to various embodiments, the processor 350 may process an operation or data related to control and/or communication of each component of the electronic device 300 . The processor 350 may include at least a part of the configuration and/or functions of the processor 120 of FIG. 1 . The processor is operatively, electrically and/or functionally with components of the electronic device 300 such as the communication module 310 , the display 320 , the camera 330 and the memory 340 . can be connected to Each operation of the processor 350 according to various embodiments may be performed in real time. For example, when the electronic device 300 provides a video conference to a user (eg, the user 220 of FIG. 2 ), the electronic device 300 and the external electronic device (eg, the external electronic device 230 of FIG. 2 ) )) and/or information transfer between the servers (eg, the server 250 in FIG. 2 ) may be performed simultaneously or within a negligible small time range, thereby preventing the processor 350 from providing a video conferencing service. Calculations and/or operations may also be performed simultaneously or within a very small time span. There will be no limitation on the type and/or amount of operations, operations, and data processing that the processor 350 can perform, but in this document, a method for providing a video conferencing service according to various embodiments and a method for performing the method Only the configuration and function of the processor 350 related to the operation will be described.
다양한 실시예에 따르면, 프로세서(350)는 외부 전자 장치(예: 도 2의 외부 전자 장치(230))로부터 제1영상 정보를 수신할 수 있다. 제1영상 정보는, 외부 전자 장치(230) 또는 다른 전자 장치(예: 외부 영상 촬영 장치)가 상대방(예: 도 2의 상대방(240))을 촬영한 영상에 관한 정보일 수 있다. 제1영상 정보는, 예를 들면, 상대방(240)을 촬영한 영상일 수 있고, 상대방(240)을 촬영한 영상을 이용하여 편집한 영상, 상대방(240)을 촬영한 영상을 기초로 생성한 영상, 외부 전자 장치(230) 및/또는 서버(예: 도 2의 서버(250))에서 수신하거나 전자 장치(210)가 생성한 다른 정보를 이용하여 전자 장치(210)가 생성한 영상일 수 있다. 제1영상 정보는 전자 장치(210)가 생성한 데이터 또는 외부 전자 장치(230)로부터 수신한 영상 정보일 수 있다. 일 실시예에 따르면, 외부 전자 장치(230)는 화상 회의 서비스의 수행 중 또는 이전에 카메라를 이용하여 상대방의 영상을 촬영하고, 상대방의 얼굴을 3차원으로 모델링 할 수 있다. 다른 실시예에 따르면, 제1영상 정보는 외부 전자 장치(230)의 사용자(예: 상대방(240))가 선택한 3차원 아바타 이미지일 수 있다.According to various embodiments, the processor 350 may receive first image information from an external electronic device (eg, the external electronic device 230 of FIG. 2 ). The first image information may be information about an image captured by the external electronic device 230 or another electronic device (eg, an external image photographing device) of the other party (eg, the counterpart 240 of FIG. 2 ). The first image information may be, for example, an image of the other party 240 , an image edited using an image of the other party 240 , and an image generated based on an image of the other party 240 . It may be an image, an image received by the external electronic device 230 and/or a server (eg, the server 250 of FIG. 2 ), or an image generated by the electronic device 210 using other information generated by the electronic device 210 . have. The first image information may be data generated by the electronic device 210 or image information received from the external electronic device 230 . According to an embodiment, the external electronic device 230 may capture an image of the other party using a camera during or before performing a video conference service, and may model the face of the other party in 3D. According to another embodiment, the first image information may be a 3D avatar image selected by the user of the external electronic device 230 (eg, the counterpart 240 ).
다양한 실시예에 따르면, 제1영상 정보는 화상 회의의 상대방(240)을 촬영한 영상일 수 있고, 상대방(240)의 신체 부위 중 얼굴에 대한 이미지를 적어도 포함하는 영상일 수 있다. 다양한 실시예에 따르면, 제1영상 정보는 상대방(240) 및 상대방(240) 주변의 물체에 대한 이미지를 포함할 수 있다. 다양한 실시예에 따르면, 제1영상 정보에 포함되는 상대방(240)의 이미지는 한 명 이상의 상대방에 대한 것일 수 있다. 다양한 실시예에 따르면, 프로세서(350)는 제1영상 정보를 수신하고, 수신한 제1영상 정보를 메모리(340)에 저장할 수 있고, 제1영상 정보를 디스플레이(320)에 출력하는 것도 가능하다. 다양한 실시예에 따르면, 프로세서(350)는 제1영상 정보와 함께 화상 회의의 진행에 제공되는 컨텐츠 정보를 수신할 수 있다. 컨텐츠 정보는 발표를 위한 시각 또는 시청각 자료일 수 있고, 다양한 멀티미디어 데이터를 포함할 수 있다. 예컨대, 컨텐츠 정보는 텍스트, 이미지, 동영상, 전자 장치(210)에서 실행 가능한 어플리케이션으로써 실행되거나 전자 장치(210)의 디스플레이 상에 출력될 수 있는 데이터(예: 프레젠테이션 데이터) 및 이 가운데 적어도 일부의 조합을 포함할 수 있다. 다양한 실시예들에 따르면, 컨텐츠 정보는 전자 장치(210)에서 실행된 컨텐츠(예: 어플리케이션으로써 실행된 데이터)를 이미지화 한 영상일 수 있다.According to various embodiments, the first image information may be an image of the counterpart 240 of the video conference, or an image including at least an image of a face among body parts of the counterpart 240 . According to various embodiments, the first image information may include the counterpart 240 and images of objects around the counterpart 240 . According to various embodiments, the image of the counterpart 240 included in the first image information may be of one or more counterparts. According to various embodiments, the processor 350 may receive the first image information, store the received first image information in the memory 340 , and may output the first image information to the display 320 . . According to various embodiments, the processor 350 may receive content information provided for the progress of a video conference together with the first image information. The content information may be visual or audiovisual material for presentation, and may include various multimedia data. For example, the content information includes text, an image, a video, data (eg, presentation data) that can be executed as an application executable in the electronic device 210 or output on the display of the electronic device 210, and a combination of at least some of them. may include According to various embodiments, the content information may be an image of content (eg, data executed as an application) executed in the electronic device 210 .
다양한 실시예에 따르면, 프로세서(350)는 외부 전자 장치(230)의 화면 내의 객체 중 상대방(240)이 바라보는 객체에 대한 정보를 획득할 수 있다. 상대방(240)이 바라보는 객체에 대한 정보는, 상대방(240)이 외부 전자 장치(230)의 디스플레이 상에서 바라보고 있는 대상에 관한 정보일 수 있다. 외부 전자 장치(230)는 화상 회의를 제공하기 위하여 사용자(예: 도 2의 사용자(220))를 촬영한 영상 및/또는 컨텐츠 정보를 디스플레이에 표시할 수 있고, 상대방(240)은 외부 전자 장치(230)의 디스플레이 상의 영역 중 특정한 대상을 바라보는 상태일 수 있다. 예를 들면, 상대방(240)은 외부 전자 장치(230)의 디스플레이 상에서 사용자(220)에 대한 영상을 바라보는 상태일 수 있고, 컨텐츠 정보를 바라보는 상태일 수 있다. 또는, 상대방(240)은 사용자(220)에 대한 영상의 일부를 바라보거나, 컨텐츠 정보의 일부를 바라보는 상태일 수 있다. 다양한 실시예에 따르면, 상대방(240)이 바라보는 객체에 대한 정보는, 상대방(240)이 바라보는 외부 전자 장치(230)에 출력된 사용자(220)에 대한 영상 또는 컨텐츠 정보의 적어도 일부에 대한 정보일 수 있다. 다양한 실시예에 따르면, 상대방(240)이 바라보는 객체에 대한 정보는 상대방(240)의 시선 방향에 대한 정보, 상대방(240)과 외부 전자 장치(230)의 디스플레이 간의 상대적 위치에 대한 정보 및/또는 외부 전자 장치(230)가 출력하는 요소(예: 사용자(220))에 대한 영상 또는 컨텐츠 정보)의 디스플레이 상의 위치에 대한 정보(예: 외부 전자 장치(230)의 화면 구성 정보)의 조합으로써 생성된 것일 수 있다. 다양한 실시예에 따르면, 상대방(240)이 바라보는 객체에 대한 정보는 상대방(240)의 시선이 머무는 외부 전자 장치(230)의 디스플레이 상의 위치에 관한 정보(예: 시선 정보) 및 외부 전자 장치(230)의 디스플레이 상에 출력하는 대상에 관한 정보(예: 외부 전자 장치(230)의 화면 구성 정보)를 기초로 생성될 수 있다.According to various embodiments, the processor 350 may obtain information on an object viewed by the counterpart 240 among objects on the screen of the external electronic device 230 . The information about the object that the counterpart 240 is looking at may be information about the object that the counterpart 240 is looking at on the display of the external electronic device 230 . The external electronic device 230 may display an image and/or content information captured by a user (eg, the user 220 of FIG. 2 ) on a display to provide a video conference, and the counterpart 240 may use the external electronic device It may be a state of looking at a specific object among the areas on the display of 230 . For example, the counterpart 240 may be in a state of viewing an image of the user 220 on the display of the external electronic device 230 , or may be viewing content information. Alternatively, the counterpart 240 may be in a state of looking at a part of the image for the user 220 or part of the content information. According to various embodiments, the information on the object viewed by the counterpart 240 includes at least a portion of the image or content information about the user 220 output to the external electronic device 230 that the counterpart 240 is looking at. may be information. According to various embodiments, the information on the object viewed by the counterpart 240 includes information on the gaze direction of the counterpart 240 , information on the relative position between the counterpart 240 and the display of the external electronic device 230 and/ Alternatively, as a combination of information (eg, screen configuration information of the external electronic device 230 ) on the display position of an element (eg, image or content information about the user 220 ) output by the external electronic device 230 . may have been created. According to various embodiments, the information on the object viewed by the counterpart 240 includes information about the location on the display of the external electronic device 230 where the counterpart 240 is looking (eg, gaze information) and the external electronic device ( 230 ) may be generated based on information about a target output on the display (eg, screen configuration information of the external electronic device 230 ).
다양한 실시예에 따르면, 시선 정보는, 상대방(240)의 시선이 향하는 위치 및/또는 영역에 대한 정보일 수 있다. 예를 들면, 시선은, 상대방(240)의 동공이 향하는 방향일 수 있고, 상대방의 주시안(dominant eye)의 동공이 향하는 방향일 수 있다. 다양한 실시예에 따르면, 시선 정보는 상대방(240)의 시선이 형성하는 물리적인 방향, 물리적인 위치 및/또는 물리적인 영역을 의미할 수 있다. 예를 들면, 시선 정보는 상대방(240)의 눈의 공간적 위치 및 시선의 공간적 각도를 포함한 절대적인 공간 좌표 상의 정보를 포함하는 것일 수 있다. 다양한 실시예에 따르면, 시선 정보는, 외부 전자 장치(230)와 상대방(240)의 상대적인 위치 정보 및/또는 각도 정보를 포함할 수 있다. 예를 들면, 시선 정보는 상대방(240)의 시선이 머무는 외부 전자 장치(230)의 디스플레이 상의 좌표로 표현될 수 있다. 다양한 실시예에 따르면, 시선 정보는, 상대방(240) 눈의 위치와 시선 방향에 대한 절대적인 좌표 및 각도 및 외부 전자 장치(230)의 상대방(240)과의 상대적인 위치를 기초로 하여 조합하여 외부 전자 장치(230)의 디스플레이 상에 머무는 상대방(240)의 시선이 가지는 디스플레이 상의 좌표 및/또는 영역에 대한 정보일 수 있다. 다양한 실시예에 따르면, 시선 정보는 상대방(240)의 안구 위치, 시선 방향, 상대방(240)과 외부 전자 장치(230)(또는 외부 전자 장치(230)의 디스플레이)의 상대적인 위치 및 외부 전자 장치(230)의 디스플레이의 크기 가운데 적어도 하나의 조합일 수 있다. According to various embodiments, the gaze information may be information on a location and/or an area toward which the gaze of the counterpart 240 is directed. For example, the gaze may be in a direction in which the pupil of the counterpart 240 faces, or in a direction in which the pupil of the counterpart's dominant eye faces. According to various embodiments, the gaze information may mean a physical direction, a physical location, and/or a physical area formed by the gaze of the counterpart 240 . For example, the gaze information may include information on absolute spatial coordinates including the spatial position of the eye of the counterpart 240 and the spatial angle of the gaze. According to various embodiments, the gaze information may include relative position information and/or angle information between the external electronic device 230 and the counterpart 240 . For example, the gaze information may be expressed as coordinates on the display of the external electronic device 230 where the gaze of the counterpart 240 stays. According to various embodiments, the gaze information is combined on the basis of the absolute coordinates and angles of the position and the gaze direction of the counterpart 240 and the relative position of the external electronic device 230 with the counterpart 240 to form an external electronic device. It may be information on coordinates and/or an area on the display of the gaze of the counterpart 240 staying on the display of the device 230 . According to various embodiments, the gaze information includes the eyeball position, the gaze direction of the counterpart 240 , the relative position of the counterpart 240 and the external electronic device 230 (or the display of the external electronic device 230 ), and the external electronic device ( 230) may be a combination of at least one of the sizes of the displays.
다양한 실시예에 따르면, 전자 장치(210)는 외부 전자 장치(230)로부터 외부 전자 장치(230)의 상대방(240)의 시선 정보를 수신할 수 있다. 예를 들어, 상대방(240)의 시선 정보는, 외부 전자 장치(230) 또는 외부 전자 장치와 연결된 다른 장치로부터 생성될 수 있고, 시선 추적 장치(예: 시선 추적 카메라)를 이용하여 생성될 수 있다. 다른 실시예에 따르면, 전자 장치(210)는 상대방(240)을 촬영한 영상(예: 제1영상 정보)을 외부 전자 장치(230)로부터 수신하고, 전자 장치(210)가 수신한 영상을 분석하여, 상대방(240)에 대한 이미지 가운데 양안의 이미지를 분석하여 시선 정보를 생성할 수도 있다.According to various embodiments, the electronic device 210 may receive gaze information of the counterpart 240 of the external electronic device 230 from the external electronic device 230 . For example, the gaze information of the counterpart 240 may be generated from the external electronic device 230 or another device connected to the external electronic device, and may be generated using a gaze tracking device (eg, gaze tracking camera). . According to another embodiment, the electronic device 210 receives an image (eg, first image information) of the counterpart 240 from the external electronic device 230 , and analyzes the image received by the electronic device 210 . Accordingly, gaze information may be generated by analyzing the images of both eyes among the images of the counterpart 240 .
다양한 실시예에 따르면, 화면 구성 정보는, 디스플레이에 표시되는 정보가 디스플레이 상에 가지는 위치에 관한 정보일 수 있다. 예를 들어, 화면 구성 정보는, 화상 회의 서비스를 제공하기 위하여 디스플레이 상에 표시할 정보의 레이아웃에 관한 정보일 수 있다. 외부 전자 장치(230) 및/또는 전자 장치(210)는 각각 디스플레이 상에 사용자(220) 또는 상대방(240)에 대한 영상 정보를 출력할 수 있고, 동시에, 컨텐츠 정보를 출력할 수 있다. 각 영상 정보는 복수의 영상일 수 있고, 각 컨텐츠 정보는 복수의 컨텐츠 정보로 구성될 수 있다. According to various embodiments, the screen configuration information may be information about a position of information displayed on a display on a display. For example, the screen configuration information may be information about a layout of information to be displayed on a display in order to provide a video conference service. The external electronic device 230 and/or the electronic device 210 may output image information about the user 220 or the counterpart 240 on the display, respectively, and simultaneously output content information. Each image information may be a plurality of images, and each content information may be composed of a plurality of content information.
다양한 실시예에 따르면, 화면 구성 정보는 디스플레이 상의 각 위치 및/또는 영역에 어떤 컨텐츠 정보 및/또는 영상 정보가 표시되는지, 또는 표시될 예정인지에 대한 정보일 수 있다. 다양한 실시예에 따르면, 사용자(220) 또는 상대방(240)은 전자 장치(210) 또는 외부 전자 장치(230)의 디스플레이 상에 어떤 레이아웃을 이용하여 화상 회의 서비스를 제공 받을 것인지 선택하거나, 전자 장치(210) 또는 외부 전자 장치(230)가 임의 또는 동적으로 레이아웃을 결정할 수 있고, 화면 구성 정보는 레이아웃에 대한 정보 가운데 적어도 일부를 포함할 수 있다. According to various embodiments, the screen configuration information may be information on which content information and/or image information is to be displayed or is to be displayed in each location and/or area on the display. According to various embodiments, the user 220 or the counterpart 240 selects a layout on the display of the electronic device 210 or the external electronic device 230 to receive the video conferencing service, or selects the electronic device ( 210) or the external electronic device 230 may arbitrarily or dynamically determine the layout, and the screen configuration information may include at least a portion of information on the layout.
다양한 실시예에 따르면 프로세서(350)는 전자 장치(300)(예: 도 2의 전자 장치(210))의 화면 구성 정보(예: 제1화면 구성 정보)를 생성할 수 있고, 외부 전자 장치(230)는 외부 전자 장치(230)의 화면 구성 정보(예: 제2화면 구성 정보)를 생성할 수 있다. 다양한 실시예에 따르면, 화면 구성 정보는 디스플레이의 좌표 및/또는 영역에 대한 정보 및 표시될 대상(예: 컨텐츠 정보 및/또는 영상 정보)에 대한 정보가 매핑된 정보일 수 있다.According to various embodiments, the processor 350 may generate screen configuration information (eg, first screen configuration information) of the electronic device 300 (eg, the electronic device 210 of FIG. 2 ), and an external electronic device ( 230 may generate screen configuration information (eg, second screen configuration information) of the external electronic device 230 . According to various embodiments, the screen configuration information may be information to which information on coordinates and/or regions of a display and information on an object to be displayed (eg, content information and/or image information) are mapped.
다양한 실시예에 따르면, 프로세서(350)는 외부 전자 장치(230)로부터 상대방(240)이 바라보는 객체에 대한 정보를 수신하여 상대방(240)이 바라보는 객체에 대한 정보를 획득할 수 있다. 예를 들면, 외부 전자 장치(230)의 프로세서는 상대방(240)의 시선 정보, 외부 전자 장치(230)의 화면 구성 정보를 이용하여 상대방(240)이 바라보는 객체에 대한 정보를 생성하고, 전자 장치(300)로 전송할 수 있다.According to various embodiments, the processor 350 may receive information on the object viewed by the counterpart 240 from the external electronic device 230 to obtain information on the object viewed by the counterpart 240 . For example, the processor of the external electronic device 230 generates information on the object viewed by the counterpart 240 using gaze information of the counterpart 240 and screen configuration information of the external electronic device 230, and may be transmitted to the device 300 .
다양한 실시예에 따르면, 프로세서(350)는 외부 전자 장치(230)로부터 상대방(240)이 바라보는 객체에 대한 정보를 수신하지 않고, 직접 상대방(240)이 바라보는 객체에 대한 정보를 생성할 수 있다. 다양한 실시예에 따르면, 프로세서(350)는 외부 전자 장치(230)로부터 수신한 상대방(240)의 시선 정보 및 외부 전자 장치(230)의 화면 구성 정보에 기초하여 상대방(240)이 바라보는 객체에 대한 정보를 생성할 수 있다. 다양한 실시예에 따르면, 프로세서(350)는 외부 전자 장치(230)가 생성한 시선 정보 및 외부 전자 장치(230)가 생성한 외부 전자 장치(230)의 화면 구성 정보를 외부 전자 장치(230)로부터 수신할 수 있다. 다양한 실시예에 따르면, 프로세서(350)는 시선 정보를 이용하여 상대방(240)의 시선이 외부 전자 장치(230) 디스플레이의 어느 영역에 머무는지에 관한 정보를 확인하고, 화면 구성 정보를 이용하여 외부 전자 장치(230) 디스플레이의 어느 영역에 어떤 정보가 표시되는지에 관한 정보를 확인하여 이들의 조합으로 상대방(240)이 바라보는 객체에 대한 정보를 생성할 수 있다.According to various embodiments, the processor 350 may directly generate information on the object viewed by the counterpart 240 without receiving information on the object viewed by the counterpart 240 from the external electronic device 230 . have. According to various embodiments of the present disclosure, the processor 350 may detect the object viewed by the counterpart 240 based on the gaze information of the counterpart 240 received from the external electronic device 230 and the screen configuration information of the external electronic device 230 . information can be created. According to various embodiments, the processor 350 receives the gaze information generated by the external electronic device 230 and the screen configuration information of the external electronic device 230 generated by the external electronic device 230 from the external electronic device 230 . can receive According to various embodiments, the processor 350 checks information on which area of the display of the external electronic device 230 where the gaze of the counterpart 240 stays on the display of the external electronic device 230 using the gaze information, and uses the screen configuration information to determine the external electronic device. Information on which information is displayed on which area of the display of the device 230 may be checked, and information on the object viewed by the counterpart 240 may be generated by a combination thereof.
다양한 실시예에 따르면, 프로세서(350)는 외부 전자 장치(230)로부터 상대방(240)이 바라보는 객체에 대한 정보 또는 시선 정보를 수신하지 않고, 시선 정보 및 상대방(240)이 바라보는 객체에 대한 정보를 생성할 수 있다. 다양한 실시예에 따르면, 프로세서(350)는 외부 전자 장치(230)로부터 수신한 상대방(240)에 대한 영상 정보(예: 제1영상 정보) 및 외부 전자 장치(230)의 화면 구성 정보(예: 제2화면 구성 정보)에 기초하여 상대방(240)이 바라보는 객체에 대한 정보를 생성할 수 있다. 다양한 실시예에 따르면, 프로세서(350)는 외부 전자 장치(230)가 생성한 제1영상 정보 및 제2화면 구성 정보를 외부 전자 장치(230)로부터 수신할 수 있다. 다양한 실시예에 따르면, 프로세서(350)는 제1영상 정보를 기초로 시선 정보를 생성할 수 있다. 예를 들면, 프로세서(350)는 제1영상 정보를 분석하여, 제1영상 정보 내에 포함된 상대방(240)의 이미지 가운데 양안에 대응되는 이미지를 분석하고, 시선 정보를 생성할 수 있다. 다양한 실시예에 따르면, 프로세서(350)는 생성한 시선 정보를 이용하여 상대방(240)의 시선이 외부 전자 장치(230) 디스플레이의 어느 영역에 머무는지에 관한 정보를 확인하고, 화면 구성 정보를 이용하여 외부 전자 장치(230) 디스플레이의 어느 영역에 어떤 정보가 표시되는지에 관한 정보를 확인하여 이들의 조합으로 상대방(240)이 바라보는 객체에 대한 정보를 생성할 수 있다.According to various embodiments, the processor 350 does not receive information or gaze information on the object viewed by the counterpart 240 from the external electronic device 230 , but provides information on the gaze information and the object viewed by the counterpart 240 . information can be created. According to various embodiments, the processor 350 receives image information (eg, first image information) of the counterpart 240 from the external electronic device 230 and screen configuration information (eg: Information on the object viewed by the counterpart 240 may be generated based on the second screen configuration information). According to various embodiments, the processor 350 may receive the first image information and the second screen configuration information generated by the external electronic device 230 from the external electronic device 230 . According to various embodiments, the processor 350 may generate gaze information based on the first image information. For example, the processor 350 may analyze the first image information, analyze an image corresponding to both eyes among the images of the counterpart 240 included in the first image information, and generate gaze information. According to various embodiments, the processor 350 uses the generated gaze information to check information on which area of the display of the external electronic device 230 where the gaze of the counterpart 240 stays, and uses the screen configuration information to Information on which information is displayed on which area of the display of the external electronic device 230 may be checked, and information on the object viewed by the counterpart 240 may be generated by a combination thereof.
다양한 실시예에 따르면, 프로세서(350)는 제1화면 구성 정보를 생성할 수 있다. 다양한 실시예에 따르면, 화면 구성 정보는 디스플레이(320)에 표시되는 정보가 디스플레이(320) 상에 갖게 되는 위치 정보일 수 있다. 예를 들어, 화면 구성 정보는, 화상 회의 서비스를 제공하기 위하여 디스플레이 상에 표시할 정보의 레이아웃에 관한 정보일 수 있다. 다양한 실시예에 따르면, 제1화면 구성 정보는 프로세서(350)가 생성하는 전자 장치(300)의 화면 구성 정보일 수 있다. 전자 장치(210)는 디스플레이(320) 상에 상대방(240)에 대한 영상 정보를 출력할 수 있고, 동시에, 컨텐츠 정보를 출력할 수 있다. 각 영상 정보는 복수의 영상일 수 있고, 각 컨텐츠 정보는 복수의 컨텐츠 정보로 구성될 수 있다. 다양한 실시예에 따르면, 제1화면 구성 정보는 디스플레이(320) 상의 각 위치 및/또는 영역에 어떤 컨텐츠 정보 및/또는 영상 정보가 표시되는지, 또는 표시될 예정인지에 대한 정보일 수 있다. 다양한 실시예에 따르면, 사용자(220)는 디스플레이(320) 상에 어떤 레이아웃을 이용하여 화상 회의 서비스를 제공 받을 것인지 선택하거나, 프로세서(350)가 임의 또는 동적으로 레이아웃을 결정할 수 있고, 제1화면 구성 정보는 레이아웃에 대한 정보 가운데 적어도 일부를 포함할 수 있다. 다양한 실시예에 따르면, 제1화면 구성 정보는 디스플레이(320)의 좌표 및/또는 영역에 대한 정보 및 표시될 대상(예: 컨텐츠 정보 및/또는 영상 정보)에 대한 정보가 매핑된 정보일 수 있다.According to various embodiments, the processor 350 may generate the first screen configuration information. According to various embodiments, the screen configuration information may be location information that information displayed on the display 320 has on the display 320 . For example, the screen configuration information may be information about a layout of information to be displayed on a display in order to provide a video conference service. According to various embodiments, the first screen configuration information may be screen configuration information of the electronic device 300 generated by the processor 350 . The electronic device 210 may output image information about the counterpart 240 on the display 320 and, at the same time, output content information. Each image information may be a plurality of images, and each content information may be composed of a plurality of content information. According to various embodiments, the first screen configuration information may be information on which content information and/or image information is to be displayed or is to be displayed in each location and/or area on the display 320 . According to various embodiments, the user 220 may select a layout on the display 320 to receive the video conferencing service, or the processor 350 may arbitrarily or dynamically determine the layout, and the first screen The configuration information may include at least a part of information about the layout. According to various embodiments, the first screen configuration information may be information to which information on coordinates and/or area of the display 320 and information on a target to be displayed (eg, content information and/or image information) are mapped. .
다양한 실시예에 따르면, 프로세서(350)는 제1영상 정보, 상대방(240)이 바라보는 객체에 대한 정보 및 제1화면 구성 정보에 기초하여 제2영상 정보를 생성 및 표시할 수 있다. 제2영상 정보는 상대방(240)에 대응되는 영상일 수 있다. 예를 들어, 화상 회의의 참여자인 상대방(240)을 표현한 영상일 수 있다. 다양한 실시예에 따르면, 제2영상 정보는 상대방(240)의 상대방(240)이 바라보는 객체에 대한 정보를 표현하는 영상일 수 있다. 다양한 실시예에 따르면, 제2영상 정보는 제1영상 정보를 편집한 영상, 제1영상 정보를 기초로 재생성한 영상, 제1영상 정보 및/또는 프로세서(350)가 생성하거나 수신한 다른 정보를 이용하여 프로세서(350)가 생성한 영상일 수 있다. 다양한 실시예에 따르면, 제2영상 정보는, 상대방(240)과 동일 또는 유사한 형태의 이미지 객체가 포함된 영상일 수 있고, 상대방(240)과 유사하지 않더라도 단순히 상대방(240)을 표상하는 이미지 객체(예: 캐릭터)가 포함된 영상일 수 있다. 다양한 실시예에 따르면, 제2영상 정보는 상대방(240)을 표현한 이미지 객체가 상대방(240)이 바라보는 객체를, 전자 장치(300)의 디스플레이(320) 상에서 바라보는 이미지를 표현한 영상일 수 있다. 예를 들어, 상대방(240)이 바라보는 객체에 대한 정보에 기초하여, 상대방(240)이 외부 전자 장치(230)의 디스플레이 상에서 바라보는 대상(예: 상대방이 바라보는 객체)이 컨텐츠 정보인 것으로 판단하는 경우, 프로세서(350)는 상대방(240)을 표현한 이미지 객체가 디스플레이(320) 상에서 컨텐츠 정보를 바라보는 이미지를 포함하여 제2영상 정보를 생성할 수 있다. 또 다른 예를 들어, 상대방(240)이 바라보는 객체가 사용자(220)의 영상인 경우, 프로세서(350)는 상대방(240)을 표현한 이미지 객체가 정면 또는 사용자(220)의 현 위치를 향하는 방향을 바라보는 이미지를 포함하여 제2영상 정보를 생성할 수 있다. 이 경우, 프로세서(350)는 사용자(220)와 디스플레이(320) 간의 상대적 위치에 대한 정보를 획득하고, 상대적 위치에 대한 정보를 이용하여 제2영상 정보를 생성할 수 있다. 다양한 실시예에 따르면, 프로세서(350)는 상대방(240)이 바라보는 객체에 대한 정보를 이용하여 상대방(240)이 바라보는 대상(예: 사용자(220)의 영상 또는 컨텐츠 정보)을 특정할 수 있고, 제1화면 구성 정보를 이용하여 상대방(240)이 바라보는 대상이 표시되는 영역과 제2영상 정보가 출력될(또는 출력되는 중인) 디스플레이(320) 상의 영역 간의 상대적인 위치 및/또는 방향를 확인할 수 있다. 또한 확인한 상대적인 위치 및/또는 방향에 대한 정보를 이용하여, 제1영상 정보를 편집하거나, 제1영상 정보를 이용하여 새로운 영상을 생성할 수 있다.According to various embodiments, the processor 350 may generate and display the second image information based on the first image information, the information on the object viewed by the counterpart 240 , and the first screen configuration information. The second image information may be an image corresponding to the counterpart 240 . For example, it may be an image expressing the counterpart 240 who is a participant in the video conference. According to various embodiments, the second image information may be an image expressing information about an object viewed by the counterpart 240 of the counterpart 240 . According to various embodiments, the second image information includes an image obtained by editing the first image information, an image regenerated based on the first image information, the first image information and/or other information generated or received by the processor 350 . It may be an image generated by the processor 350 using According to various embodiments, the second image information may be an image including an image object having the same or similar shape as that of the counterpart 240 , and even if it is not similar to the counterpart 240 , it is simply an image object representing the counterpart 240 . It may be an image containing (eg, a character). According to various embodiments of the present disclosure, the second image information may be an image in which an image object representing the counterpart 240 is an object viewed by the counterpart 240 and an image viewed on the display 320 of the electronic device 300 . . For example, based on the information on the object that the counterpart 240 looks at, it is determined that the object that the counterpart 240 sees on the display of the external electronic device 230 (eg, the object that the counterpart sees) is the content information. When determining, the processor 350 may generate the second image information including an image in which the image object representing the counterpart 240 looks at the content information on the display 320 . As another example, when the object that the counterpart 240 is looking at is an image of the user 220 , the processor 350 determines the direction in which the image object representing the counterpart 240 faces the front or the current location of the user 220 . It is possible to generate the second image information including the image looking at the. In this case, the processor 350 may obtain information on the relative position between the user 220 and the display 320 , and generate second image information using the information on the relative position. According to various embodiments, the processor 350 may specify an object that the counterpart 240 looks at (eg, image or content information of the user 220 ) using information about the object that the counterpart 240 looks at. and check the relative position and/or direction between the area on which the target viewed by the counterpart 240 is displayed and the area on the display 320 where the second image information is to be output (or being output) using the first screen configuration information. can In addition, the first image information may be edited using the confirmed relative position and/or direction information, or a new image may be created using the first image information.
다양한 실시예에 따르면, 프로세서(350)는 제1영상 정보를 이용하여 새로운 제2영상 정보를 생성할 수 있다. 다양한 실시예에 따르면, 프로세서(350)는 제1영상 정보를 분석하여 모델링 정보를 생성할 수 있다. 예를 들면, 프로세서(350)는 제1영상 정보에 포함된 상대방(240)에 대응되는 이미지 객체를 인식하고, 인식한 이미지 객체를 분리하여 분석할 수 있다. 프로세서(350)는 다양한 이미지 분석 알고리즘을 이용하여 상대방(240)에 대응되는 이미지 객체를 분석할 수 있다. 예를 들면, 프로세서(350)는 서버(예: 도 2의 서버(250))로부터 이미지 분석 알고리즘을 수신하여, 실행할 수 있고, 미리 메모리(340)에 저장된 알고리즘을 이용하여 이미지를 분석할 수 있다. 프로세서(350)는 이미지 객체의 윤곽에 대한 정보, 깊이 정보, 색상 정보, 밝기 정보와 같은 다양한 파라미터를 이용하여 이미지를 분석하고, 모델링 정보를 생성할 수 있다. 모델링 정보는 예를 들면, 상대방(240)의 형상, 상대방과 유사한 형상 또는 상대방을 표상하는 형상(예: 모델)을 가상의 공간에 생성한 정보일 수 있다. 모델링 정보는, 3차원(three-dimensional, 3D)으로 표현될 수 있고, 또는, 2차원(two-dimensional, 2D)으로 표현될 수도 있다. 다양한 실시예에 따르면, 프로세서(350)는 제1영상 정보의 이미지 분석을 통해 모델링 정보를 생성하고, 생성된 모델링 정보를 이용하여, 상대방(240)이 바라보는 객체에 대한 정보 및 제1화면 구성 정보에 기초한 렌더링을 할 수 있다. 다양한 실시예에 따르면, 프로세서(350)는 생성된 3D 모델 또는 2D 모델이 상대방(240)이 바라보는 객체에 대한 정보 및 제1화면 구성 정보에 기초한 방향을 바라보는 영상을 제2영상 정보로서 생성할 수 있다. 프로세서(350)는 제1영상 정보를 수신하면서 지속적으로 모델링 정보를 생성할 수도 있고, 모델링 정보를 외부 전자 장치(230)로부터 별도로 수신할 수 있으며, 또는, 제1영상 정보의 일부 또는 제1영상 정보와 관련된 이미지 정보만을 이용하여 미리 생성한 모델링 정보를 메모리(340)에 저장하고, 저장된 모델링 정보를 제2영상 정보 생성에 이용할 수도 있다.According to various embodiments, the processor 350 may generate new second image information by using the first image information. According to various embodiments, the processor 350 may generate modeling information by analyzing the first image information. For example, the processor 350 may recognize an image object corresponding to the counterpart 240 included in the first image information, and separate and analyze the recognized image object. The processor 350 may analyze an image object corresponding to the counterpart 240 using various image analysis algorithms. For example, the processor 350 may receive and execute an image analysis algorithm from a server (eg, the server 250 of FIG. 2 ), and analyze the image using an algorithm stored in the memory 340 in advance. . The processor 350 may analyze an image by using various parameters such as contour information, depth information, color information, and brightness information of an image object, and may generate modeling information. The modeling information may be, for example, information generated in a virtual space of a shape of the counterpart 240 , a shape similar to the counterpart, or a shape (eg, a model) representing the counterpart. Modeling information may be expressed in three-dimensional (3D), or in two-dimensional (2D). According to various embodiments, the processor 350 generates modeling information through image analysis of the first image information, and uses the generated modeling information to configure the first screen and information on the object viewed by the counterpart 240 . Information-based rendering is possible. According to various embodiments, the processor 350 generates, as the second image information, an image in which the generated 3D model or the 2D model faces the direction based on the information on the object viewed by the counterpart 240 and the first screen configuration information. can do. The processor 350 may continuously generate modeling information while receiving the first image information, or separately receive the modeling information from the external electronic device 230 , or a part of the first image information or the first image. Modeling information generated in advance using only image information related to the information may be stored in the memory 340 and the stored modeling information may be used to generate the second image information.
다양한 실시예에 따르면, 프로세서(350)는 제1영상 정보를 편집하여 제2영상 정보를 생성할 수 있다. 예를 들면, 제2영상 정보는 제1영상 정보를 편집한 것일 수 있다. 다양한 실시예에 따르면, 프로세서(350)는 상대방(240)이 바라보는 객체에 대한 정보 및 제1화면 구성 정보에 기초하여, 제1영상 정보를 편집하고, 제2영상 정보를 생성할 수 있다. 일 실시예에 따르면, 프로세서(350)는 제1영상 정보를 상대방(240)이 바라보는 객체에 대한 정보 및 제1화면 구성 정보에 기초한 방향으로 기울이는 효과를 추가하여 제1영상 정보를 편집할 수 있다. 일 실시예에 따르면, 프로세서(350)는 제1영상 정보에 회전 효과를 추가하여 제1영상 정보를 편집할 수 있다. 일 실시예에 따르면, 프로세서(350)는 제1영상 정보에 방향을 표시하는 이미지를 합성하여 제1영상 정보를 편집할 수 있다. 일 실시예에 따르면, 프로세서(350)는 제1영상 정보에 상대방이 바라보는 객체의 이미지 또는 영상을 합성하여 제1영상 정보를 편집할 수 있다.According to various embodiments, the processor 350 may edit the first image information to generate the second image information. For example, the second image information may be an edited version of the first image information. According to various embodiments, the processor 350 may edit the first image information and generate the second image information based on the information on the object viewed by the counterpart 240 and the first screen configuration information. According to an embodiment, the processor 350 may edit the first image information by adding an effect of tilting the first image information in a direction based on the information on the object viewed by the counterpart 240 and the first screen configuration information. have. According to an embodiment, the processor 350 may edit the first image information by adding a rotation effect to the first image information. According to an embodiment, the processor 350 may edit the first image information by synthesizing an image indicating a direction with the first image information. According to an embodiment, the processor 350 may edit the first image information by synthesizing the first image information with an image or an image of an object viewed by the other party.
다양한 실시예에 따르면, 프로세서(350)는 생성한 제2영상 정보를 디스플레이(320)에 출력할 수 있다. 다양한 실시예에 따르면, 프로세서(350)는 제1화면 구성 정보에 기초하여 제2영상 정보가 출력될 것으로 설정된 위치에 제2영상 정보를 출력할 수 있다. 다양한 실시예에 따르면, 프로세서(350)는, 제2영상 정보를 출력하는 중에도 지속적으로 상대방(240)이 바라보는 객체에 대한 정보를 생성 또는 수신할 수 있고, 지속적으로 제1화면 구성 정보를 생성할 수 있다. 다양한 실시예에 따르면, 프로세서(350)는 제2영상 정보를 출력하는 중에도 변경된 상대방(240)이 바라보는 객체에 대한 정보 및/또는 제1화면 구성 정보에 기초하여 지속적으로 새로운 제2영상 정보를 생성할 수 있다. 다양한 실시예에 따르면, 프로세서(350)는 지속적으로 생성하는 제2영상 정보를 디스플레이(320)에 출력할 수 있다.According to various embodiments, the processor 350 may output the generated second image information to the display 320 . According to various embodiments, the processor 350 may output the second image information to a position where the second image information is set to be output based on the first screen configuration information. According to various embodiments, the processor 350 may continuously generate or receive information on the object viewed by the counterpart 240 while outputting the second image information, and continuously generate the first screen configuration information. can do. According to various embodiments, the processor 350 continuously generates new second image information based on the changed information on the object viewed by the counterpart 240 and/or the first screen configuration information while outputting the second image information. can create According to various embodiments, the processor 350 may output the continuously generated second image information to the display 320 .
도 4는 다양한 실시예들에 따른 화상 회의 서비스의 예시도이다.4 is an exemplary diagram of a video conferencing service according to various embodiments of the present disclosure;
도 4를 참조하면, 각 상황 별로 표시되는 디스플레이(예: 도 3의 디스플레이(320))의 화면은 제1화면(410), 제2화면(430) 및 제3화면(450)과 같을 수 있고, 사용자(예: 도 2의 사용자(220))는 제1화면(410)을 바라보는 사용자(420), 제2화면(430)을 바라보는 사용자(440) 및 제3화면을 바라보는 사용자(460)와 같을 수 있다.Referring to FIG. 4 , the screens of the display (eg, the display 320 of FIG. 3 ) displayed for each situation may be the same as the first screen 410 , the second screen 430 , and the third screen 450 , , the user (eg, the user 220 in FIG. 2 ) is the user 420 looking at the first screen 410 , the user 440 looking at the second screen 430 , and the user looking at the third screen ( 460) may be the same.
도 4를 참조하면, 제1화면(410)은 컨텐츠 정보(411) 및 제1영상 정보(412)(예: 상대방을 촬영한 영상)를 포함하는 화면일 수 있다. 제1화면(410)은, 예를 들면, 사용자(420)에게 본 발명에 따른 화상 회의 서비스에 따라 출력되기 전의 화면일 수 있고, 종래의 화상 회의 서비스를 제공하는 화면일 수 있다. 종래의 화상 회의 서비스는 제1화면(410)과 같이 컨텐츠 정보(411) 및 제1영상 정보(412)를 출력하여 제공될 수 있다. 도 4의 제1화면(410)을 참조하면, 제1영상 정보(412)에서, 상대방(예: 도 2의 상대방(240))에 대한 이미지는 시선 방향이 정면을 향하지 않는 상태일 수 있다. 제1영상 정보(412)는 외부 전자 장치(예: 도 2의 외부 전자 장치(230))에 포함된 카메라 또는 외부 전자 장치(230)에 연결된 촬영 장치(예: 카메라 또는 웹캠)에 의하여 촬영된 영상일 수 있고, 상대방(240)은 외부 전자 장치(230)의 디스플레이를 바라볼 수 있으므로, 외부 전자 장치(230)의 카메라 또는 다른 촬영 장치와 디스플레이는 서로 위치가 상이할 수 있다. 따라서 제1영상 정보(412)는 외부 전자 장치(230)의 디스플레이를 바라보는 모습을 촬영한 영상일 수 있고, 시선 방향이 정면을 향하지 않는 이미지를 포함할 수 있다.Referring to FIG. 4 , the first screen 410 may be a screen including content information 411 and first image information 412 (eg, an image of a counterpart). The first screen 410 may be, for example, a screen before being output to the user 420 according to the video conference service according to the present invention, or may be a screen providing a conventional video conference service. The conventional video conference service may be provided by outputting content information 411 and first image information 412 like the first screen 410 . Referring to the first screen 410 of FIG. 4 , in the first image information 412 , the image of the counterpart (eg, the counterpart 240 of FIG. 2 ) may be in a state in which the gaze direction does not face the front. The first image information 412 is captured by a camera included in an external electronic device (eg, the external electronic device 230 of FIG. 2 ) or a photographing device (eg, a camera or a webcam) connected to the external electronic device 230 . It may be an image, and since the counterpart 240 may look at the display of the external electronic device 230 , the camera or other photographing device and the display of the external electronic device 230 may have different positions. Accordingly, the first image information 412 may be an image of a state of looking at the display of the external electronic device 230 , and may include an image in which the gaze direction does not face the front.
도 4의 제2화면(430)을 참조하면, 제2화면(430)은 본 발명의 다양한 실시예에 따른 화상 회의를 제공하는 전자 장치(예: 도 2의 전자 장치(210) 및/또는 도 3의 전자 장치(300))의 디스플레이(예: 도 3의 디스플레이(320))가 표시한 화면일 수 있다. 다양한 실시예에 따르면, 제2화면(430)에는, 컨텐츠 정보(431) 및 제1영상 정보를 편집하거나 제1영상 정보를 기초로 생성한 영상(예: 제2영상 정보)이 포함될 수 있다. 다양한 실시예에 따르면, 제2영상 정보(432)는 상대방(240)이 바라보는 객체에 대한 정보 및 전자 장치(300)의 화면 구성 정보(예: 제1화면 구성 정보)를 기초로 생성된 영상일 수 있다. 도 4를 참조하면, 제2영상 정보(452)는 제1영상 정보(412)를 분석하여 모델링된 이미지 객체를 렌더링한 영상일 수 있다. 다양한 실시예에 따르면, 제2화면(430) 출력과 관련된 상대방(240)은 현재 외부 전자 장치(230)의 디스플레이 상의 영역 중 컨텐츠 정보를 출력하는 영역을 바라보는 상태일 수 있다. 제2화면(430) 출력과 관련하여, 상대방이 컨텐츠 정보를 바라보는 중임을 포함하는 정보(예: 상대방(240)이 바라보는 객체에 대한 정보)에 기초하여 제2영상 정보(432)를 생성할 수 있다. 다양한 실시예에 따르면, 제2화면(430) 상에서, 전자 장치(300)의 화면 구성 정보(예: 제1화면 구성 정보)는 컨텐츠 정보(431) 및 제2영상 정보(432)의 상대적 위치 관계에 대한 정보를 포함할 수 있고, 및/또는 컨텐츠 정보(431) 및 제2영상 정보(432)가 출력되는 영역의 디스플레이(320) 상의 좌표 정보를 포함할 수 있다. 전자 장치(300)는 제2화면 구성 정보를 이용하여 제2영상 정보(432)가 컨텐츠 정보(431)의 우측에 출력될 것임을 확인할 수 있다. 다양한 실시예에 따르면, 제2영상 정보(432)는 전자 장치(300)가 상대방(240)이 바라보는 객체를표현한 영상일 수 있다. 다양한 실시예에 따르면, 제2영상 정보(432)는 상대방(240)을 표상하는 이미지 객체가 상대방(240)이 바라보는 객체를디스플레이(320) 상에서 바라보는 상태를 표현하는 영상일 수 있다. 도 4의 제2화면(430)을 참조하면, 상대방(240)이 바라보는 객체에 대한 정보(예: 상대방이 바라보는 대상이 컨텐츠 정보에 해당한다는 정보) 및 제1화면 구성 정보(예: 디스플레이(320) 상에서 제2영상 정보(432) 및 컨텐츠 정보(431)가 위치하는 영역에 관한 정보)를 기초로, 상대방을 표상하는 이미지 객체가 사용자(440) 기준 좌측을 바라보는 영상일 수 있다. 제2영상 정보(432)는 상대방(240)이 바라보는 대상이 컨텐츠 정보임을 표현하는 영상일 수 있다. 다양한 실시예에 따르면, 전자 장치(300)는 제2화면(430)에 포함된 컨텐츠 정보(431) 및 제2영상 정보(432)를 각각 제1화면 구성 정보에 기초하여 출력할 수 있고, 또는 컨텐츠 정보(431) 및 제2영상 정보(432)를 모두 포함하는 하나의 영상 정보로서 출력할 수 있다.Referring to the second screen 430 of FIG. 4 , the second screen 430 is an electronic device that provides a video conference according to various embodiments of the present disclosure (eg, the electronic device 210 of FIG. 2 and/or FIG. 2 ). It may be a screen displayed by a display (eg, the display 320 of FIG. 3 ) of the electronic device 300 of FIG. 3 . According to various embodiments, the second screen 430 may include content information 431 and an image (eg, second image information) created by editing the first image information or based on the first image information. According to various embodiments, the second image information 432 is an image generated based on information on an object viewed by the counterpart 240 and screen configuration information (eg, first screen configuration information) of the electronic device 300 . can be Referring to FIG. 4 , the second image information 452 may be an image obtained by rendering an image object modeled by analyzing the first image information 412 . According to various embodiments, the counterpart 240 related to the output of the second screen 430 may be in a state of looking at an area for outputting content information among areas on the display of the external electronic device 230 . In relation to the output of the second screen 430 , the second image information 432 is generated based on information including that the counterpart is looking at the content information (eg, information on the object that the counterpart 240 is looking at). can do. According to various embodiments, on the second screen 430 , screen configuration information (eg, first screen configuration information) of the electronic device 300 includes a relative positional relationship between the content information 431 and the second image information 432 . may include information about , and/or may include coordinate information on the display 320 of the region where the content information 431 and the second image information 432 are output. The electronic device 300 may confirm that the second image information 432 will be output to the right side of the content information 431 using the second screen configuration information. According to various embodiments, the second image information 432 may be an image in which the electronic device 300 represents an object viewed by the counterpart 240 . According to various embodiments, the second image information 432 may be an image representing a state in which the image object representing the counterpart 240 views the object viewed by the counterpart 240 on the display 320 . Referring to the second screen 430 of FIG. 4 , information on the object viewed by the counterpart 240 (eg, information that the object viewed by the counterpart corresponds to content information) and first screen configuration information (eg, display) Based on the information on the area in which the second image information 432 and the content information 431 are located on 320 ), the image object representing the other party may be an image facing the left side of the user 440 . The second image information 432 may be an image expressing that the object viewed by the counterpart 240 is content information. According to various embodiments, the electronic device 300 may output the content information 431 and the second image information 432 included in the second screen 430 based on the first screen configuration information, respectively, or It may be output as one image information including both the content information 431 and the second image information 432 .
도 4의 제3화면(450)을 참조하면, 제3화면(450)은 본 발명의 다양한 실시예에 따른 화상 회의를 제공하는 전자 장치(예: 도 2의 전자 장치(210) 및/또는 도 3의 전자 장치(300))의 디스플레이(예: 도 3의 디스플레이(320))가 표시한 화면일 수 있다. 다양한 실시예에 따르면, 제3화면(450)에는, 컨텐츠 정보(451) 및 제1영상 정보를 편집하거나 제1영상 정보를 기초로 생성한 영상(예: 제2영상 정보)이 포함될 수 있다. 다양한 실시예에 따르면, 제2영상 정보(452)는 상대방(240)이 바라보는 객체에 대한 정보 및 전자 장치(300)의 화면 구성 정보(예: 제1화면 구성 정보)를 기초로 생성된 영상일 수 있다. 도 4를 참조하면, 제2영상 정보(452)는 제1영상 정보(412)를 분석하여 모델링된 이미지 객체를 렌더링한 영상일 수 있다. 다양한 실시예에 따르면, 제3화면(450) 출력과 관련된 상대방(240)은 현재 외부 전자 장치(230)의 디스플레이 상의 영역 중 사용자(460)(예: 도 2의 사용자(220)))를 촬영한 영상이 출력되는 영역을 바라보는 상태일 수 있다. 제3화면(450) 출력과 관련하여, 상대방(240)이 사용자(460)의 영상를 바라보는 중임을 포함하는 정보(예: 상대방(240)이 바라보는 객체에 대한 정보)에 기초하여 제2영상 정보(452)를 생성할 수 있다. 다양한 실시예에 따르면, 제3화면(450) 상에서, 전자 장치(300)의 화면 구성 정보(예: 제1화면 구성 정보)는 컨텐츠 정보(451) 및 제2영상 정보(452)의 상대적 위치 관계에 대한 정보를 포함할 수 있고, 및/또는 컨텐츠 정보(451) 및 제2영상 정보(452)가 출력되는 영역의 디스플레이(320) 상의 좌표 정보를 포함할 수 있다. 전자 장치(300)는 제2화면 구성 정보를 이용하여 제2영상 정보(452)가 컨텐츠 정보(451)의 우측에 출력될 것임을 확인할 수 있다. 다양한 실시예에 따르면, 제2영상 정보(452)는 전자 장치(300)가 상대방(240)이 바라보는 객체를표현한 영상일 수 있다. 다양한 실시예에 따르면, 제2영상 정보(452)는 상대방(240)을 표상하는 이미지 객체가 상대방(240)이 바라보는 객체를디스플레이(320) 상에서 바라보는 상태를 표현하는 영상일 수 있다. 도 4의 제3화면(450)을 참조하면, 상대방(240)이 바라보는 객체에 대한 정보(예: 상대방이 바라보는 대상이 사용자(460)를 촬영한 영상 정보에 해당한다는 정보) 및 제1화면 구성 정보(예: 디스플레이(320) 상에서 제2영상 정보(452) 및 컨텐츠 정보(451)가 위치하는 영역에 관한 정보)를 기초로, 상대방을 표상하는 이미지 객체가 정면 바라보는 영상일 수 있다. 제2영상 정보(452)는 상대방(240)이 바라보는 대상이 사용자(460)를 촬영한 영상임을 표현하는 영상일 수 있다. 다양한 실시예에 따르면, 전자 장치(300)는 사용자(460)의 위치, 예를 들면, 전자 장치(300)에 대한 사용자(460)의 상대적인 위치 또는 전자 장치(300)의 디스플레이(320)에 대한 사용자(460)의 상대적인 위치를 기초로 제2영상(452)을 생성할 수 있다. 예를 들어, 전자 장치(300)는 상대방(240)이 외부 전자 장치(230)의 디스플레이에서 사용자(220)의 영상을 바라보는 경우, 사용자(460)가 위치를 변경하여 이동하는 것을 감지하고 사용자(460)의 상대적 위치에 기초하여 상대방(240)을 표상하는 이미지 객체가 사용자(460)를 바라보는 것을 표현한 영상을 생성할 수 있다. 다양한 실시예에 따르면, 전자 장치(300)는 제2화면(450)에 포함된 컨텐츠 정보(451) 및 제2영상 정보(452)를 각각 제1화면 구성 정보에 기초하여 출력할 수 있고, 또는 컨텐츠 정보(451) 및 제2영상 정보(452)를 모두 포함하는 하나의 영상 정보로서 출력할 수 있다.Referring to the third screen 450 of FIG. 4 , the third screen 450 is an electronic device that provides a video conference according to various embodiments of the present disclosure (eg, the electronic device 210 of FIG. 2 and/or FIG. 2 ). It may be a screen displayed by a display (eg, the display 320 of FIG. 3 ) of the electronic device 300 of FIG. 3 . According to various embodiments, the third screen 450 may include content information 451 and an image (eg, second image information) created by editing the first image information or based on the first image information. According to various embodiments, the second image information 452 is an image generated based on information on an object viewed by the counterpart 240 and screen configuration information (eg, first screen configuration information) of the electronic device 300 . can be Referring to FIG. 4 , the second image information 452 may be an image obtained by rendering an image object modeled by analyzing the first image information 412 . According to various embodiments, the counterpart 240 related to the output of the third screen 450 takes a picture of the user 460 (eg, the user 220 of FIG. 2 ) among the areas on the display of the current external electronic device 230 ). It may be a state of looking at an area where one image is output. In relation to the output of the third screen 450 , the second image is based on information including that the counterpart 240 is viewing the image of the user 460 (eg, information on the object viewed by the counterpart 240 ). Information 452 may be generated. According to various embodiments, on the third screen 450 , screen configuration information (eg, first screen configuration information) of the electronic device 300 includes a relative positional relationship between the content information 451 and the second image information 452 . may include information on , and/or may include coordinate information on the display 320 of an area where the content information 451 and the second image information 452 are output. The electronic device 300 may confirm that the second image information 452 will be output to the right side of the content information 451 using the second screen configuration information. According to various embodiments, the second image information 452 may be an image in which the electronic device 300 represents an object viewed by the counterpart 240 . According to various embodiments, the second image information 452 may be an image representing a state in which the image object representing the counterpart 240 views the object viewed by the counterpart 240 on the display 320 . Referring to the third screen 450 of FIG. 4 , information on the object viewed by the counterpart 240 (eg, information that the object viewed by the counterpart corresponds to image information captured by the user 460 ) and the first Based on the screen configuration information (eg, information about the region in which the second image information 452 and the content information 451 are located on the display 320 ), the image object representing the other party may be an image viewed from the front. . The second image information 452 may be an image expressing that the object that the counterpart 240 is looking at is an image captured by the user 460 . According to various embodiments of the present disclosure, the electronic device 300 determines the position of the user 460 , for example, the relative position of the user 460 with respect to the electronic device 300 or the display 320 of the electronic device 300 . The second image 452 may be generated based on the relative position of the user 460 . For example, when the counterpart 240 views the image of the user 220 on the display of the external electronic device 230 , the electronic device 300 detects that the user 460 moves by changing the location, and the user Based on the relative position of 460 , an image representing that the image object representing the counterpart 240 is looking at the user 460 may be generated. According to various embodiments, the electronic device 300 may output the content information 451 and the second image information 452 included in the second screen 450 based on the first screen configuration information, respectively, or It may be output as one piece of image information including both the content information 451 and the second image information 452 .
도 5는 다양한 실시예들에 따른 전자 장치가 화상 회의 서비스를 제공하기 위한 동작 흐름도이다.5 is an operation flowchart for an electronic device to provide a video conferencing service according to various embodiments of the present disclosure;
도 5를 참조하면, 화상 회의 서비스를 제공하는 전자 장치(예: 도 1의 전자 장치(101), 도 2의 전자 장치(210) 및/또는 도 3의 전자 장치(300))의 각 동작은 전자 장치에 포함된 프로세서(예: 도 1의 프로세서(120) 및/또는 도 3의 프로세서(350))가 수행하는 각 동작으로 이해될 수 있다.Referring to FIG. 5 , each operation of an electronic device providing a video conference service (eg, the electronic device 101 of FIG. 1 , the electronic device 210 of FIG. 2 , and/or the electronic device 300 of FIG. 3 ) is It may be understood as each operation performed by a processor (eg, the processor 120 of FIG. 1 and/or the processor 350 of FIG. 3 ) included in the electronic device.
동작 510을 참조하면, 프로세서(350)는 제1영상 정보를 수신할 수 있다. 다양한 실시예에 따르면, 프로세서(350)는 외부 전자 장치(예: 도 2의 외부 전자 장치(230))로부터 제1영상 정보를 수신할 수 있다. 제1영상 정보는, 외부 전자 장치(230) 또는 다른 전자 장치(예: 외부 영상 촬영 장치)가 상대방(예: 도 2의 상대방(240))을 촬영한 영상에 관한 정보일 수 있다. 제1영상 정보는, 예를 들면, 상대방(240)을 촬영한 영상일 수 있고, 상대방(240)을 촬영한 영상을 이용하여 편집한 영상, 상대방(240)을 촬영한 영상을 기초로 생성한 영상, 외부 전자 장치(230) 및/또는 서버(예: 도 2의 서버(250))에서 수신하거나 프로세서(350)가 생성한 다른 정보(예: 화면 구성 정보)를 이용하여 프로세서(350)가 생성한 영상일 수 있다. 제1영상 정보는 외부 전자 장치(230)로부터 수신한 영상 정보일 수 있다. 다양한 실시예에 따르면, 제1영상 정보는 화상 회의의 상대방(240)을 촬영한 영상일 수 있고, 상대방(240)의 신체 부위 중 얼굴에 대한 이미지를 적어도 포함하는 영상일 수 있다. 다양한 실시예에 따르면, 제1영상 정보는 상대방(240) 및 상대방(240) 주변의 물체에 대한 이미지를 포함할 수 있다. 다양한 실시예에 따르면, 제1영상 정보에 포함되는 상대방(240)의 이미지는 한 명 이상의 상대방에 대한 것일 수 있다. 다양한 실시예에 따르면, 프로세서(350)는 제1영상 정보를 수신하고, 수신한 제1영상 정보를 메모리(예: 도 3의 메모리(340))에 저장할 수 있고, 제1영상 정보를 디스플레이(예: 도 3의 디스플레이(320))에 출력하는 것도 가능하다. 다양한 실시예에 따르면, 프로세서(350)는 제1영상 정보와 함께 화상 회의의 진행에 제공되는 컨텐츠 정보를 수신할 수 있다. 컨텐츠 정보는 발표를 위한 시각 또는 시청각 자료일 수 있고, 다양한 멀티미디어 데이터를 포함할 수 있다. 예컨대, 컨텐츠 정보는 텍스트, 이미지, 동영상, 프로세서(350)에서 실행 가능한 어플리케이션으로써 실행되거나 디스플레이(320) 상에 출력될 수 있는 데이터(예: 파워포인트(Power Point TM) 데이터) 및 이 가운데 적어도 일부의 조합을 포함할 수 있다. 다양한 실시예들에 따르면, 컨텐츠 정보는 프로세서(350)에서 실행된 컨텐츠(예: 어플리케이션으로써 실행된 데이터)를 이미지화 한 영상일 수 있다.Referring to operation 510 , the processor 350 may receive first image information. According to various embodiments, the processor 350 may receive first image information from an external electronic device (eg, the external electronic device 230 of FIG. 2 ). The first image information may be information about an image captured by the external electronic device 230 or another electronic device (eg, an external image photographing device) of the other party (eg, the counterpart 240 of FIG. 2 ). The first image information may be, for example, an image of the other party 240 , an image edited using an image of the other party 240 , and an image generated based on an image of the other party 240 . The processor 350 uses the image, the external electronic device 230 and/or the server (eg, the server 250 of FIG. 2 ), or other information generated by the processor 350 (eg, screen configuration information). It may be a generated image. The first image information may be image information received from the external electronic device 230 . According to various embodiments, the first image information may be an image of the counterpart 240 of the video conference, or an image including at least an image of a face among body parts of the counterpart 240 . According to various embodiments, the first image information may include the counterpart 240 and images of objects around the counterpart 240 . According to various embodiments, the image of the counterpart 240 included in the first image information may be of one or more counterparts. According to various embodiments, the processor 350 may receive the first image information, store the received first image information in a memory (eg, the memory 340 of FIG. 3 ), and display the first image information ( Example: It is also possible to output to the display 320 of FIG. 3 ). According to various embodiments, the processor 350 may receive content information provided for the progress of a video conference together with the first image information. The content information may be visual or audiovisual material for presentation, and may include various multimedia data. For example, the content information includes text, images, moving pictures, data (eg, Power Point TM data) that can be executed as an application executable in the processor 350 or output on the display 320 , and at least some of them. may include a combination of According to various embodiments, the content information may be an image of content (eg, data executed as an application) executed by the processor 350 .
동작 520을 참조하면, 프로세서(350)는 상대방(240)이 바라보는 객체에 대한 정보를 획득할 수 있다. 상대방(240)이 바라보는 객체에 대한 정보는, 상대방(240)이 외부 전자 장치(230)의 디스플레이 상에서 바라보고 있는 대상에 관한 정보일 수 있다. 외부 전자 장치(230)는 화상 회의를 제공하기 위하여 사용자(예: 도 2의 사용자(220))를 촬영한 영상 및/또는 컨텐츠 정보를 외부 전자 장치(230)의 디스플레이에 표시할 수 있고, 상대방(240)은 외부 전자 장치(230)의 디스플레이 상의 영역 중 특정한 대상을 바라보는 상태일 수 있다. 예를 들면, 상대방(240)은 외부 전자 장치(230)의 디스플레이 상에서 사용자(220)에 대한 영상을 바라보는 상태일 수 있고, 컨텐츠 정보를 바라보는 상태일 수 있다. 또는, 상대방(240)은 사용자(220)에 대한 영상의 일부를 바라보거나, 컨텐츠 정보의 일부를 바라보는 상태일 수 있다. 다양한 실시예에 따르면, 상대방(240)이 바라보는 객체에 대한 정보는, 상대방(240)이 바라보는 외부 전자 장치(230)에 출력된 사용자(220)에 대한 영상 또는 컨텐츠 정보의 적어도 일부에 대한 정보일 수 있다. 다양한 실시예에 따르면, 상대방(240)이 바라보는 객체에 대한 정보는 상대방(240)의 시선 방향에 대한 정보, 상대방(240)과 외부 전자 장치(230)의 디스플레이 간의 상대적 위치에 대한 정보 및/또는 외부 전자 장치(230)가 출력하는 요소(예: 사용자(220))에 대한 영상 또는 컨텐츠 정보)의 디스플레이 상의 위치에 대한 정보(예: 외부 전자 장치(230)의 화면 구성 정보)의 조합으로써 생성된 것일 수 있다. 다양한 실시예에 따르면, 상대방(240)이 바라보는 객체에 대한 정보는 상대방(240)의 시선이 머무는 외부 전자 장치(230)의 디스플레이 상의 위치에 관한 정보(예: 시선 정보) 및 외부 전자 장치(230)의 디스플레이 상에 출력하는 대상에 관한 정보(예: 외부 전자 장치(230)의 화면 구성 정보)를 기초로 생성될 수 있다.Referring to operation 520 , the processor 350 may obtain information on the object viewed by the counterpart 240 . The information about the object that the counterpart 240 is looking at may be information about the object that the counterpart 240 is looking at on the display of the external electronic device 230 . The external electronic device 230 may display an image and/or content information captured by a user (eg, the user 220 of FIG. 2 ) on the display of the external electronic device 230 in order to provide a video conference, and a counterpart Reference numeral 240 may indicate a state of looking at a specific target among regions on the display of the external electronic device 230 . For example, the counterpart 240 may be in a state of viewing an image of the user 220 on the display of the external electronic device 230 , or may be viewing content information. Alternatively, the counterpart 240 may be in a state of looking at a part of the image for the user 220 or part of the content information. According to various embodiments, the information on the object viewed by the counterpart 240 includes at least a portion of the image or content information about the user 220 output to the external electronic device 230 that the counterpart 240 is looking at. may be information. According to various embodiments, the information on the object viewed by the counterpart 240 includes information on the gaze direction of the counterpart 240 , information on the relative position between the counterpart 240 and the display of the external electronic device 230 and/ Alternatively, as a combination of information (eg, screen configuration information of the external electronic device 230 ) on the display position of an element (eg, image or content information about the user 220 ) output by the external electronic device 230 . may have been created. According to various embodiments, the information on the object viewed by the counterpart 240 includes information about the location on the display of the external electronic device 230 where the counterpart 240 is looking (eg, gaze information) and the external electronic device ( 230 ) may be generated based on information about a target output on the display (eg, screen configuration information of the external electronic device 230 ).
다양한 실시예에 따르면, 시선 정보는, 상대방(240)의 시선이 향하는 위치 및/또는 영역에 대한 정보일 수 있다. 예를 들면, 시선은, 상대방(240)의 동공이 향하는 방향일 수 있고, 상대방의 주시안(dominant eye)의 동공이 향하는 방향일 수 있다. 다양한 실시예에 따르면, 시선 정보는 상대방(240)의 시선이 형성하는 물리적인 방향, 물리적인 위치 및/또는 물리적인 영역을 의미할 수 있다. 예를 들면, 시선 정보는 상대방(240)의 눈의 공간적 위치 및 시선의 공간적 각도를 포함한 절대적인 공간 좌표 상의 정보를 포함하는 것일 수 있다. 다양한 실시예에 따르면, 시선 정보는, 외부 전자 장치(230)와 상대방(240)의 상대적인 위치 정보 및/또는 각도 정보를 포함할 수 있다. 예를 들면, 시선 정보는 상대방(240)의 시선이 머무는 외부 전자 장치(230)의 디스플레이 상의 좌표로 표현될 수 있다. 다양한 실시예에 따르면, 시선 정보는, 상대방(240) 눈의 위치와 시선 방향에 대한 절대적인 좌표 및 각도 및 외부 전자 장치(230)의 상대방(240)과의 상대적인 위치를 기초로 하여 조합하여 외부 전자 장치(230)의 디스플레이 상에 머무는 상대방(240)의 시선이 가지는 디스플레이 상의 좌표 및/또는 영역에 대한 정보일 수 있다. 다양한 실시예에 따르면, 시선 정보는 상대방(240)의 안구 위치, 시선 방향, 상대방(240)과 외부 전자 장치(230)(또는 외부 전자 장치(230)의 디스플레이)의 상대적인 위치 및 외부 전자 장치(230)의 디스플레이의 크기 가운데 적어도 하나의 조합일 수 있다. 다양한 실시예에 따르면, 상대방(240)의 시선 정보는, 외부 전자 장치(230) 또는 외부 전자 장치와 연결된 다른 장치로부터 생성될 수 있고, 시선 추적 장치(예: 시선 추적 카메라)를 이용하여 생성될 수 있다. 다양한 실시예에 따르면, 시선 정보는, 상대방(240)을 촬영한 영상(예: 제1영상 정보)를 분석하여, 상대방(240)에 대한 이미지 가운데 양안의 이미지를 분석하여 생성될 수도 있다.According to various embodiments, the gaze information may be information on a location and/or an area toward which the gaze of the counterpart 240 is directed. For example, the gaze may be in a direction in which the pupil of the counterpart 240 faces, or in a direction in which the pupil of the counterpart's dominant eye faces. According to various embodiments, the gaze information may mean a physical direction, a physical location, and/or a physical area formed by the gaze of the counterpart 240 . For example, the gaze information may include information on absolute spatial coordinates including the spatial position of the eye of the counterpart 240 and the spatial angle of the gaze. According to various embodiments, the gaze information may include relative position information and/or angle information between the external electronic device 230 and the counterpart 240 . For example, the gaze information may be expressed as coordinates on the display of the external electronic device 230 where the gaze of the counterpart 240 stays. According to various embodiments, the gaze information is combined on the basis of the absolute coordinates and angles of the position and the gaze direction of the counterpart 240 and the relative position of the external electronic device 230 with the counterpart 240 to form an external electronic device. It may be information on coordinates and/or an area on the display of the gaze of the counterpart 240 staying on the display of the device 230 . According to various embodiments, the gaze information includes the eyeball position, the gaze direction of the counterpart 240 , the relative position of the counterpart 240 and the external electronic device 230 (or the display of the external electronic device 230 ), and the external electronic device ( 230) may be a combination of at least one of the sizes of the displays. According to various embodiments, the gaze information of the counterpart 240 may be generated from the external electronic device 230 or another device connected to the external electronic device, and may be generated using a gaze tracking device (eg, gaze tracking camera). can According to various embodiments, the gaze information may be generated by analyzing an image (eg, first image information) of the other party 240 , and analyzing images of both eyes among the images of the other party 240 .
다양한 실시예에 따르면, 화면 구성 정보는, 디스플레이에 표시되는 정보가 디스플레이 상에 가지는 위치에 관한 정보일 수 있다. 예를 들어, 화면 구성 정보는, 화상 회의 서비스를 제공하기 위하여 디스플레이 상에 표시할 정보의 레이아웃에 관한 정보일 수 있다. 외부 전자 장치(230) 및/또는 전자 장치(300)는 각각 디스플레이 상에 사용자(220) 또는 상대방(240)에 대한 영상 정보를 출력할 수 있고, 동시에, 컨텐츠 정보를 출력할 수 있다. 각 영상 정보는 복수의 영상일 수 있고, 각 컨텐츠 정보는 복수의 컨텐츠 정보로 구성될 수 있다. 다양한 실시예에 따르면, 화면 구성 정보는 디스플레이 상의 각 위치 및/또는 영역에 어떤 컨텐츠 정보 및/또는 영상 정보가 표시되는지, 또는 표시될 예정인지에 대한 정보일 수 있다. 다양한 실시예에 따르면, 사용자(220) 또는 상대방(240)은 전자 장치(300) 또는 외부 전자 장치(230)의 디스플레이 상에 어떤 레이아웃을 이용하여 화상 회의 서비스를 제공 받을 것인지 선택하거나, 전자 장치(300) 또는 외부 전자 장치(230)가 임의 또는 동적으로 레이아웃을 결정할 수 있고, 화면 구성 정보는 레이아웃에 대한 정보 가운데 적어도 일부를 포함할 수 있다. 다양한 실시예에 따르면 프로세서(350)는 전자 장치(300)(예: 도 2의 전자 장치(210))의 화면 구성 정보(예: 제1화면 구성 정보)를 생성할 수 있고, 외부 전자 장치(230)는 외부 전자 장치(230)의 화면 구성 정보(예: 제2화면 구성 정보)를 생성할 수 있다. 다양한 실시예에 따르면, 화면 구성 정보는 디스플레이의 좌표 및/또는 영역에 대한 정보 및 표시될 대상(예: 컨텐츠 정보 및/또는 영상 정보)에 대한 정보가 매핑된 정보일 수 있다.According to various embodiments, the screen configuration information may be information about a position of information displayed on a display on a display. For example, the screen configuration information may be information about a layout of information to be displayed on a display in order to provide a video conference service. The external electronic device 230 and/or the electronic device 300 may output image information about the user 220 or the counterpart 240 on the display, respectively, and simultaneously output content information. Each image information may be a plurality of images, and each content information may be composed of a plurality of content information. According to various embodiments, the screen configuration information may be information on which content information and/or image information is to be displayed or is to be displayed in each location and/or area on the display. According to various embodiments, the user 220 or the counterpart 240 selects a layout on the display of the electronic device 300 or the external electronic device 230 to receive the video conferencing service, or selects the electronic device ( 300) or the external electronic device 230 may arbitrarily or dynamically determine the layout, and the screen configuration information may include at least a part of layout information. According to various embodiments, the processor 350 may generate screen configuration information (eg, first screen configuration information) of the electronic device 300 (eg, the electronic device 210 of FIG. 2 ), and an external electronic device ( 230 may generate screen configuration information (eg, second screen configuration information) of the external electronic device 230 . According to various embodiments, the screen configuration information may be information to which information on coordinates and/or regions of a display and information on an object to be displayed (eg, content information and/or image information) are mapped.
다양한 실시예에 따르면, 프로세서(350)는 외부 전자 장치(230)로부터 상대방(240)이 바라보는 객체에 대한 정보를 수신하여 상대방(240)이 바라보는 객체에 대한 정보를 획득할 수 있다. 예를 들면, 외부 전자 장치(230)의 프로세서는 상대방(240)의 시선 정보, 외부 전자 장치(230)의 화면 구성 정보를 이용하여 상대방(240)이 바라보는 객체에 대한 정보를 생성하고, 전자 장치(300)로 전송할 수 있다.According to various embodiments, the processor 350 may receive information on the object viewed by the counterpart 240 from the external electronic device 230 to obtain information on the object viewed by the counterpart 240 . For example, the processor of the external electronic device 230 generates information on the object viewed by the counterpart 240 using gaze information of the counterpart 240 and screen configuration information of the external electronic device 230, and may be transmitted to the device 300 .
다양한 실시예에 따르면, 프로세서(350)는 외부 전자 장치(230)로부터 상대방(240)이 바라보는 객체에 대한 정보를 수신하지 않고, 직접 상대방(240)이 바라보는 객체에 대한 정보를 생성할 수 있다. 다양한 실시예에 따르면, 프로세서(350)는 외부 전자 장치(230)로부터 수신한 상대방(240)의 시선 정보 및 외부 전자 장치(230)의 화면 구성 정보에 기초하여 상대방(240)이 바라보는 객체에 대한 정보를 생성할 수 있다. 다양한 실시예에 따르면, 프로세서(350)는 외부 전자 장치(230)가 생성한 시선 정보 및 외부 전자 장치(230)가 생성한 외부 전자 장치(230)의 화면 구성 정보를 외부 전자 장치(230)로부터 수신할 수 있다. 다양한 실시예에 따르면, 프로세서(350)는 시선 정보를 이용하여 상대방(240)의 시선이 외부 전자 장치(230) 디스플레이의 어느 영역에 머무는지에 관한 정보를 확인하고, 화면 구성 정보를 이용하여 외부 전자 장치(230) 디스플레이의 어느 영역에 어떤 정보가 표시되는지에 관한 정보를 확인하여 이들의 조합으로 상대방(240)이 바라보는 객체에 대한 정보를 생성할 수 있다.According to various embodiments, the processor 350 may directly generate information on the object viewed by the counterpart 240 without receiving information on the object viewed by the counterpart 240 from the external electronic device 230 . have. According to various embodiments of the present disclosure, the processor 350 may detect the object viewed by the counterpart 240 based on the gaze information of the counterpart 240 received from the external electronic device 230 and the screen configuration information of the external electronic device 230 . information can be created. According to various embodiments, the processor 350 receives the gaze information generated by the external electronic device 230 and the screen configuration information of the external electronic device 230 generated by the external electronic device 230 from the external electronic device 230 . can receive According to various embodiments, the processor 350 checks information on which area of the display of the external electronic device 230 where the gaze of the counterpart 240 stays on the display of the external electronic device 230 using the gaze information, and uses the screen configuration information to determine the external electronic device. Information on which information is displayed on which area of the display of the device 230 may be checked, and information on the object viewed by the counterpart 240 may be generated by a combination thereof.
다양한 실시예에 따르면, 프로세서(350)는 외부 전자 장치(230)로부터 상대방(240)이 바라보는 객체에 대한 정보 또는 시선 정보를 수신하지 않고, 시선 정보 및 상대방(240)이 바라보는 객체에 대한 정보를 생성할 수 있다. 다양한 실시예에 따르면, 프로세서(350)는 외부 전자 장치(230)로부터 수신한 상대방(240)에 대한 영상 정보(예: 제1영상 정보) 및 외부 전자 장치(230)의 화면 구성 정보(예: 제2화면 구성 정보)에 기초하여 상대방(240)이 바라보는 객체에 대한 정보를 생성할 수 있다. 다양한 실시예에 따르면, 프로세서(350)는 외부 전자 장치(230)가 생성한 제1영상 정보 및 제2화면 구성 정보를 외부 전자 장치(230)로부터 수신할 수 있다. 다양한 실시예에 따르면, 프로세서(350)는 제1영상 정보를 기초로 시선 정보를 생성할 수 있다. 예를 들면, 프로세서(350)는 제1영상 정보를 분석하여, 제1영상 정보 내에 포함된 상대방(240)의 이미지 가운데 양안에 대응되는 이미지를 분석하고, 시선 정보를 생성할 수 있다. 다양한 실시예에 따르면, 프로세서(350)는 생성한 시선 정보를 이용하여 상대방(240)의 시선이 외부 전자 장치(230) 디스플레이의 어느 영역에 머무는지에 관한 정보를 확인하고, 화면 구성 정보를 이용하여 외부 전자 장치(230) 디스플레이의 어느 영역에 어떤 정보가 표시되는지에 관한 정보를 확인하여 이들의 조합으로 상대방(240)이 바라보는 객체에 대한 정보를 생성할 수 있다. 다양한 실시예에 따르면, 프로세서(350)의 동작 510이 수행된 이후 동작 520이 수행될 수 있으나, 동작 510 및 동작 520은 동시에 수행될 수도 있고, 또는, 순서를 바꾸어 동작 520이 수행된 이후 동작 510이 수행될 수도 있다.According to various embodiments, the processor 350 does not receive information or gaze information on the object viewed by the counterpart 240 from the external electronic device 230 , but provides information on the gaze information and the object viewed by the counterpart 240 . information can be created. According to various embodiments, the processor 350 receives image information (eg, first image information) of the counterpart 240 from the external electronic device 230 and screen configuration information (eg: Information on the object viewed by the counterpart 240 may be generated based on the second screen configuration information). According to various embodiments, the processor 350 may receive the first image information and the second screen configuration information generated by the external electronic device 230 from the external electronic device 230 . According to various embodiments, the processor 350 may generate gaze information based on the first image information. For example, the processor 350 may analyze the first image information, analyze an image corresponding to both eyes among the images of the counterpart 240 included in the first image information, and generate gaze information. According to various embodiments, the processor 350 uses the generated gaze information to check information on which area of the display of the external electronic device 230 where the gaze of the counterpart 240 stays, and uses the screen configuration information to Information on which information is displayed on which area of the display of the external electronic device 230 may be checked, and information on the object viewed by the counterpart 240 may be generated by a combination thereof. According to various embodiments, operation 520 may be performed after operation 510 of the processor 350 is performed. However, operations 510 and 520 may be performed simultaneously, or after operation 520 is performed by changing the order, operation 510 This may be done.
동작 530을 참조하면, 프로세서(350)는 제1화면 구성 정보를 생성할 수 있다. 다양한 실시예에 따르면, 화면 구성 정보는 디스플레이(320)에 표시되는 정보가 디스플레이(320) 상에 갖게 되는 위치 정보일 수 있다. 예를 들어, 화면 구성 정보는, 화상 회의 서비스를 제공하기 위하여 디스플레이 상에 표시할 정보의 레이아웃에 관한 정보일 수 있다. 다양한 실시예에 따르면, 제1화면 구성 정보는 프로세서(350)가 생성하는 전자 장치(300)의 화면 구성 정보일 수 있다. 프로세서(350)는 디스플레이(320) 상에 상대방(240)에 대한 영상 정보를 출력할 수 있고, 동시에, 컨텐츠 정보를 출력할 수 있다. 각 영상 정보는 복수의 영상일 수 있고, 각 컨텐츠 정보는 복수의 컨텐츠 정보로 구성될 수 있다. 다양한 실시예에 따르면, 제1화면 구성 정보는 디스플레이(320) 상의 각 위치 및/또는 영역에 어떤 컨텐츠 정보 및/또는 영상 정보가 표시되는지, 또는 표시될 예정인지에 대한 정보일 수 있다. 다양한 실시예에 따르면, 사용자(220)는 디스플레이(320) 상에 어떤 레이아웃을 이용하여 화상 회의 서비스를 제공 받을 것인지 선택하거나, 프로세서(350)가 임의 또는 동적으로 레이아웃을 결정할 수 있고, 제1화면 구성 정보는 레이아웃에 대한 정보 가운데 적어도 일부를 포함할 수 있다. 다양한 실시예에 따르면, 제1화면 구성 정보는 디스플레이(320)의 좌표 및/또는 영역에 대한 정보 및 표시될 대상(예: 컨텐츠 정보 및/또는 영상 정보)에 대한 정보가 매핑된 정보일 수 있다. 다양한 실시예에 따르면, 프로세서(350)의 동작 510, 동작 520 및 동작 530은 도 5의 흐름도와 마찬가지로 순서대로 수행될 수 있고, 또는 서로 순서를 바꾸어 수행되거나, 이들 중 전부 또는 일부가 동시에 수행될 수도 있다.Referring to operation 530, the processor 350 may generate first screen configuration information. According to various embodiments, the screen configuration information may be location information that information displayed on the display 320 has on the display 320 . For example, the screen configuration information may be information about a layout of information to be displayed on a display in order to provide a video conference service. According to various embodiments, the first screen configuration information may be screen configuration information of the electronic device 300 generated by the processor 350 . The processor 350 may output image information about the counterpart 240 on the display 320 and, at the same time, output content information. Each image information may be a plurality of images, and each content information may be composed of a plurality of content information. According to various embodiments, the first screen configuration information may be information on which content information and/or image information is to be displayed or is to be displayed in each location and/or area on the display 320 . According to various embodiments, the user 220 may select a layout on the display 320 to receive the video conferencing service, or the processor 350 may arbitrarily or dynamically determine the layout, and the first screen The configuration information may include at least a part of information about the layout. According to various embodiments, the first screen configuration information may be information to which information on coordinates and/or area of the display 320 and information on a target to be displayed (eg, content information and/or image information) are mapped. . According to various embodiments, operations 510 , 520 , and 530 of the processor 350 may be performed sequentially as in the flowchart of FIG. 5 , or may be performed in a reversed order, or all or some of them may be simultaneously performed. may be
동작 540을 참조하면, 프로세서(350)는 제1영상 정보, 상대방(240)이 바라보는 객체에 대한 정보 및 제1화면 구성 정보에 기초하여 제2영상 정보를 생성 및 표시할 수 있다. 제2영상 정보는 상대방(240)에 대응되는 영상일 수 있다. 예를 들어, 화상 회의의 참여자인 상대방(240)을 표현한 영상일 수 있다. 다양한 실시예에 따르면, 제2영상 정보는 상대방(240)의 상대방(240)이 바라보는 객체에 대한 정보를 표현하는 영상일 수 있다. 다양한 실시예에 따르면, 제2영상 정보는 제1영상 정보를 편집한 영상, 제1영상 정보를 기초로 재생성한 영상, 제1영상 정보 및/또는 프로세서(350)가 생성하거나 수신한 다른 정보를 이용하여 프로세서(350)가 생성한 영상일 수 있다. 다양한 실시예에 따르면, 제2영상 정보는, 상대방(240)과 동일 또는 유사한 형태의 이미지 객체가 포함된 영상일 수 있고, 상대방(240)과 유사하지 않더라도 단순히 상대방(240)을 표상하는 이미지 객체(예: 캐릭터)가 포함된 영상일 수 있다. 다양한 실시예에 따르면, 제2영상 정보는 상대방(240)을 표현한 이미지 객체가 상대방(240)이 바라보는 대상을, 전자 장치(300)의 디스플레이(320) 상에서 바라보는 이미지를 표현한 영상일 수 있다. 예를 들어, 상대방(240)이 바라보는 객체에 대한 정보에 기초하여, 상대방(240)이 외부 전자 장치(230)의 디스플레이 상에서 바라보는 대상(예: 상대방이 바라보는 객체)이 컨텐츠 정보인 것으로 판단하는 경우, 프로세서(350)는 상대방(240)을 표현한 이미지 객체가 디스플레이(320) 상에서 컨텐츠 정보를 바라보는 이미지를 포함하여 제2영상 정보를 생성할 수 있다. 또 다른 예를 들어, 상대방(240)이 바라보는 대상이 사용자(220)의 영상인 경우, 프로세서(350)는 상대방(240)을 표현한 이미지 객체가 정면 또는 사용자(220)의 현 위치를 향하는 방향을 바라보는 이미지를 포함하여 제2영상 정보를 생성할 수 있다. 이 경우, 프로세서(350)는 사용자(220)와 디스플레이(320) 간의 상대적 위치에 대한 정보를 획득하고, 상대적 위치에 대한 정보를 이용하여 제2영상 정보를 생성할 수 있다. 다양한 실시예에 따르면, 프로세서(350)는 상대방(240)이 바라보는 객체에 대한 정보를 이용하여 상대방(240)이 바라보는 대상(예: 사용자(220)의 영상 또는 컨텐츠 정보)을 특정할 수 있고, 제1화면 구성 정보를 이용하여 상대방(240)이 바라보는 대상이 표시되는 영역과 제2영상 정보가 출력될(또는 출력되는 중인) 디스플레이(320) 상의 영역 간의 상대적인 위치 및/또는 방향를 확인할 수 있다. 또한 확인한 상대적인 위치 및/또는 방향에 대한 정보를 이용하여, 제1영상 정보를 편집하거나, 제1영상 정보를 이용하여 새로운 영상을 생성할 수 있다.Referring to operation 540 , the processor 350 may generate and display second image information based on the first image information, information on the object viewed by the counterpart 240 , and first screen configuration information. The second image information may be an image corresponding to the counterpart 240 . For example, it may be an image expressing the counterpart 240 who is a participant in the video conference. According to various embodiments, the second image information may be an image expressing information about an object viewed by the counterpart 240 of the counterpart 240 . According to various embodiments, the second image information includes an image obtained by editing the first image information, an image regenerated based on the first image information, the first image information and/or other information generated or received by the processor 350 . It may be an image generated by the processor 350 using According to various embodiments, the second image information may be an image including an image object having the same or similar shape as that of the counterpart 240 , and even if it is not similar to the counterpart 240 , it is simply an image object representing the counterpart 240 . It may be an image containing (eg, a character). According to various embodiments of the present disclosure, the second image information may be an image in which an image object representing the counterpart 240 is an image viewed by the counterpart 240 on the display 320 of the electronic device 300 . . For example, based on the information on the object that the counterpart 240 looks at, it is determined that the object that the counterpart 240 sees on the display of the external electronic device 230 (eg, the object that the counterpart sees) is the content information. When determining, the processor 350 may generate the second image information including an image in which the image object representing the counterpart 240 looks at the content information on the display 320 . As another example, when the object that the counterpart 240 is looking at is an image of the user 220 , the processor 350 determines the direction in which the image object representing the counterpart 240 faces the front or the current location of the user 220 . It is possible to generate the second image information including the image looking at the. In this case, the processor 350 may obtain information on the relative position between the user 220 and the display 320 , and generate second image information using the information on the relative position. According to various embodiments, the processor 350 may specify an object that the counterpart 240 looks at (eg, image or content information of the user 220 ) using information about the object that the counterpart 240 looks at. and check the relative position and/or direction between the area on which the target viewed by the counterpart 240 is displayed and the area on the display 320 where the second image information is to be output (or being output) using the first screen configuration information. can In addition, the first image information may be edited using the confirmed relative position and/or direction information, or a new image may be created using the first image information.
다양한 실시예에 따르면, 프로세서(350)는 제1영상 정보를 이용하여 새로운 제2영상 정보를 생성할 수 있다. 다양한 실시예에 따르면, 프로세서(350)는 제1영상 정보를 분석하여 모델링 정보를 생성할 수 있다. 예를 들면, 프로세서(350)는 제1영상 정보에 포함된 상대방(240)에 대응되는 이미지 객체를 인식하고, 인식한 이미지 객체를 분리하여 분석할 수 있다. 프로세서(350)는 다양한 이미지 분석 알고리즘을 이용하여 상대방(240)에 대응되는 이미지 객체를 분석할 수 있다. 예를 들면, 프로세서(350)는 서버(예: 도 2의 서버(250))로부터 이미지 분석 알고리즘을 수신하여, 실행할 수 있고, 미리 메모리(340)에 저장된 알고리즘을 이용하여 이미지를 분석할 수 있다. 프로세서(350)는 이미지 객체의 윤곽에 대한 정보, 깊이 정보, 색상 정보, 밝기 정보와 같은 다양한 파라미터를 이용하여 이미지를 분석하고, 모델링 정보를 생성할 수 있다. 모델링 정보는 예를 들면, 상대방(240)의 형상, 상대방과 유사한 형상 또는 상대방을 표상하는 형상(예: 모델)을 가상의 공간에 생성한 정보일 수 있다. 모델링 정보는, 3차원(three-dimensional, 3D)으로 표현될 수 있고, 또는, 2차원(two-dimensional, 2D)으로 표현될 수도 있다. 다양한 실시예에 따르면, 프로세서(350)는 제1영상 정보의 이미지 분석을 통해 모델링 정보를 생성하고, 생성된 모델링 정보를 이용하여, 상대방(240)이 바라보는 객체에 대한 정보 및 제1화면 구성 정보에 기초한 렌더링을 할 수 있다. 다양한 실시예에 따르면, 프로세서(350)는 생성된 3D 모델 또는 2D 모델이 상대방(240)이 바라보는 객체에 대한 정보 및 제1화면 구성 정보에 기초한 방향을 바라보는 영상을 제2영상 정보로서 생성할 수 있다. 프로세서(350)는 제1영상 정보를 수신하면서 지속적으로 모델링 정보를 생성할 수도 있고, 모델링 정보를 외부 전자 장치(230)로부터 별도로 수신할 수 있으며, 또는, 제1영상 정보의 일부 또는 제1영상 정보와 관련된 이미지 정보만을 이용하여 미리 생성한 모델링 정보를 메모리(340)에 저장하고, 저장된 모델링 정보를 제2영상 정보 생성에 이용할 수도 있다.According to various embodiments, the processor 350 may generate new second image information by using the first image information. According to various embodiments, the processor 350 may generate modeling information by analyzing the first image information. For example, the processor 350 may recognize an image object corresponding to the counterpart 240 included in the first image information, and separate and analyze the recognized image object. The processor 350 may analyze an image object corresponding to the counterpart 240 using various image analysis algorithms. For example, the processor 350 may receive and execute an image analysis algorithm from a server (eg, the server 250 of FIG. 2 ), and analyze the image using an algorithm stored in the memory 340 in advance. . The processor 350 may analyze an image by using various parameters such as contour information, depth information, color information, and brightness information of an image object, and may generate modeling information. The modeling information may be, for example, information generated in a virtual space of a shape of the counterpart 240 , a shape similar to the counterpart, or a shape (eg, a model) representing the counterpart. Modeling information may be expressed in three-dimensional (3D), or in two-dimensional (2D). According to various embodiments, the processor 350 generates modeling information through image analysis of the first image information, and uses the generated modeling information to configure the first screen and information on the object viewed by the counterpart 240 . Information-based rendering is possible. According to various embodiments, the processor 350 generates, as the second image information, an image in which the generated 3D model or the 2D model faces the direction based on the information on the object viewed by the counterpart 240 and the first screen configuration information. can do. The processor 350 may continuously generate modeling information while receiving the first image information, or separately receive the modeling information from the external electronic device 230 , or a part of the first image information or the first image. Modeling information generated in advance using only image information related to the information may be stored in the memory 340 and the stored modeling information may be used to generate the second image information.
다양한 실시예에 따르면, 프로세서(350)는 제1영상 정보를 편집하여 제2영상 정보를 생성할 수 있다. 예를 들면, 제2영상 정보는 제1영상 정보를 편집한 것일 수 있다. 다양한 실시예에 따르면, 프로세서(350)는 상대방(240)이 바라보는 객체에 대한 정보 및 제1화면 구성 정보에 기초하여, 제1영상 정보를 편집하고, 제2영상 정보를 생성할 수 있다. 일 실시예에 따르면, 프로세서(350)는 제1영상 정보를 상대방(240)이 바라보는 객체에 대한 정보 및 제1화면 구성 정보에 기초한 방향으로 기울이는 효과를 추가하여 제1영상 정보를 편집할 수 있다. 일 실시예에 따르면, 프로세서(350)는 제1영상 정보에 회전 효과를 추가하여 제1영상 정보를 편집할 수 있다. 일 실시예에 따르면, 프로세서(350)는 제1영상 정보에 방향을 표시하는 이미지를 합성하여 제1영상 정보를 편집할 수 있다. 일 실시예에 따르면, 프로세서(350)는 제1영상 정보에 상대방(240)이 바라보는 대상의 이미지 또는 영상을 합성하여 제1영상 정보를 편집할 수 있다.According to various embodiments, the processor 350 may edit the first image information to generate the second image information. For example, the second image information may be an edited version of the first image information. According to various embodiments, the processor 350 may edit the first image information and generate the second image information based on the information on the object viewed by the counterpart 240 and the first screen configuration information. According to an embodiment, the processor 350 may edit the first image information by adding an effect of tilting the first image information in a direction based on the information on the object viewed by the counterpart 240 and the first screen configuration information. have. According to an embodiment, the processor 350 may edit the first image information by adding a rotation effect to the first image information. According to an embodiment, the processor 350 may edit the first image information by synthesizing an image indicating a direction with the first image information. According to an embodiment, the processor 350 may edit the first image information by synthesizing the first image information with an image or an image of an object viewed by the counterpart 240 .
다양한 실시예에 따르면, 프로세서(350)는 생성한 제2영상 정보를 디스플레이(320)에 출력할 수 있다. 다양한 실시예에 따르면, 프로세서(350)는 제1화면 구성 정보에 기초하여 제2영상 정보가 출력될 것으로 설정된 위치에 제2영상 정보를 출력할 수 있다. 다양한 실시예에 따르면, 프로세서(350)는, 제2영상 정보를 출력하는 중에도 지속적으로 상대방(240)이 바라보는 객체에 대한 정보를 생성 또는 수신할 수 있고, 지속적으로 제1화면 구성 정보를 생성할 수 있다. 다양한 실시예에 따르면, 프로세서(350)는 제2영상 정보를 출력하는 중에도 변경된 상대방(240)이 바라보는 객체에 대한 정보 및/또는 제1화면 구성 정보에 기초하여 지속적으로 새로운 제2영상 정보를 생성할 수 있다. 다양한 실시예에 따르면, 프로세서(350)는 지속적으로 생성하는 제2영상 정보를 디스플레이(320)에 출력할 수 있다.According to various embodiments, the processor 350 may output the generated second image information to the display 320 . According to various embodiments, the processor 350 may output the second image information to a position where the second image information is set to be output based on the first screen configuration information. According to various embodiments, the processor 350 may continuously generate or receive information on the object viewed by the counterpart 240 while outputting the second image information, and continuously generate the first screen configuration information. can do. According to various embodiments, the processor 350 continuously generates new second image information based on the changed information on the object viewed by the counterpart 240 and/or the first screen configuration information while outputting the second image information. can create According to various embodiments, the processor 350 may output the continuously generated second image information to the display 320 .
도 6은 다양한 실시예들에 따른 전자 장치가 외부 전자 장치의 정보를 수신하여 화상 회의 서비스를 제공하기 위한 동작 흐름도이다.6 is a flowchart illustrating an operation for an electronic device to provide a video conferencing service by receiving information from an external electronic device, according to various embodiments of the present disclosure;
도 6을 참조하면, 화상 회의 서비스를 제공하는 각 동작은 전자 장치(610)(예: 도 1의 전자 장치(101), 도 2의 전자 장치(210) 및/또는 도 3의 전자 장치(300)) 및 외부 전자 장치(620)(예: 도 2의 외부 전자 장치(230)의 각 동작으로 설명될 수 있다.Referring to FIG. 6 , each operation of providing a video conference service is performed by the electronic device 610 (eg, the electronic device 101 of FIG. 1 , the electronic device 210 of FIG. 2 , and/or the electronic device 300 of FIG. 3 ). )) and the external electronic device 620 (eg, each operation of the external electronic device 230 of FIG. 2 ).
동작 601을 참조하면, 외부 전자 장치는 제1영상 정보를 생성할 수 있다. 제1영상 정보는, 외부 전자 장치(620) 또는 다른 전자 장치(예: 외부 영상 촬영 장치)가 상대방(예: 도 2의 상대방(240))을 촬영한 영상을 외부 전자 장치(620)가 수신한 정보일 수 있다. 제1영상 정보는, 예를 들면, 상대방(240)을 촬영한 영상일 수 있고, 상대방(240)을 촬영한 영상을 이용하여 편집한 영상, 상대방(240)을 촬영한 영상을 기초로 생성한 영상, 외부 전자 장치(620) 및/또는 서버(예: 도 2의 서버(250))에서 수신하거나 전자 장치(210)가 생성한 다른 정보를 이용하여 전자 장치(210)가 생성한 영상일 수 있다. 제1영상 정보는 전자 장치(210)가 생성한 데이터 또는 외부 전자 장치(620)로부터 수신한 영상 정보일 수 있다. 다양한 실시예에 따르면, 제1영상 정보는 화상 회의의 상대방(240)을 촬영한 영상일 수 있고, 상대방(240)의 신체 부위 중 얼굴에 대한 이미지를 적어도 포함하는 영상일 수 있다. 다양한 실시예에 따르면, 제1영상 정보는 상대방(240) 및 상대방(240) 주변의 물체에 대한 이미지를 포함할 수 있다. 다양한 실시예에 따르면, 제1영상 정보에 포함되는 상대방(240)의 이미지는 한 명 이상의 상대방에 대한 것일 수 있다. Referring to operation 601 , the external electronic device may generate first image information. As for the first image information, the external electronic device 620 receives an image in which the external electronic device 620 or another electronic device (eg, an external image photographing device) captures the other party (eg, the counterpart 240 of FIG. 2 ). It may be one piece of information. The first image information may be, for example, an image of the other party 240 , an image edited using an image of the other party 240 , and an image generated based on an image of the other party 240 . It may be an image, an image received by the external electronic device 620 and/or a server (eg, the server 250 of FIG. 2 ), or an image generated by the electronic device 210 using other information generated by the electronic device 210 . have. The first image information may be data generated by the electronic device 210 or image information received from the external electronic device 620 . According to various embodiments, the first image information may be an image of the counterpart 240 of the video conference, or an image including at least an image of a face among body parts of the counterpart 240 . According to various embodiments, the first image information may include the counterpart 240 and images of objects around the counterpart 240 . According to various embodiments, the image of the counterpart 240 included in the first image information may be of one or more counterparts.
동작 602를 참조하면, 외부 전자 장치(620)는 제1영상 정보를 전자 장치(610)로 전송할 수 있다. 다양한 실시예에 따르면, 외부 전자 장치(620)는 생성한 제1영상 정보를 전자 장치(610)로 전송할 수 있고, 전자 장치(610)는 제1영상 정보를 외부 전자 장치(620)로부터 수신할 수 있다. 다양한 실시예에 따르면, 전자 장치(610)는 제1영상 정보를 수신하고, 수신한 제1영상 정보를 메모리(예: 도 3의 메모리(340))에 저장할 수 있다. 다양한 실시예에 따르면, 외부 전자 장치(620)는 전자 장치(610)로 컨텐츠 정보를 전송할 수 있고, 전자 장치(610)는 제1영상 정보와 함께 화상 회의의 진행에 제공되는 컨텐츠 정보를 수신할 수 있다. 컨텐츠 정보는 발표를 위한 시각 또는 시청각 자료일 수 있고, 다양한 멀티미디어 데이터를 포함할 수 있다. 예컨대, 컨텐츠 정보는 텍스트, 이미지, 동영상, 전자 장치(210)에서 실행 가능한 어플리케이션으로써 실행되거나 전자 장치(210)의 디스플레이 상에 출력될 수 있는 데이터(예: 파워포인트(Power Point TM) 데이터) 및 이 가운데 적어도 일부의 조합을 포함할 수 있다. 다양한 실시예들에 따르면, 컨텐츠 정보는 전자 장치(610)에서 실행된 컨텐츠(예: 어플리케이션으로써 실행된 데이터)를 이미지화 한 영상일 수 있다.Referring to operation 602 , the external electronic device 620 may transmit first image information to the electronic device 610 . According to various embodiments, the external electronic device 620 may transmit the generated first image information to the electronic device 610 , and the electronic device 610 may receive the first image information from the external electronic device 620 . can According to various embodiments, the electronic device 610 may receive the first image information and store the received first image information in a memory (eg, the memory 340 of FIG. 3 ). According to various embodiments of the present disclosure, the external electronic device 620 may transmit content information to the electronic device 610 , and the electronic device 610 may receive content information provided for a video conference together with the first image information. can The content information may be visual or audiovisual material for presentation, and may include various multimedia data. For example, content information includes text, an image, a moving picture, data that can be executed as an application executable in the electronic device 210 or output on the display of the electronic device 210 (eg, Power Point TM data); It may include a combination of at least some of them. According to various embodiments, the content information may be an image of content (eg, data executed as an application) executed in the electronic device 610 .
동작 603을 참조하면, 외부 전자 장치(610)는 상대방(240)이 바라보는 객체에 대한 정보를 생성할 수 있다. 다양한 실시예에 따르면, 상대방(240)이 바라보는 객체에 대한 정보는, 상대방(240)이 외부 전자 장치(620)의 디스플레이 상에서 바라보고 있는 대상에 관한 정보일 수 있다. 외부 전자 장치(620)는 화상 회의를 제공하기 위하여 사용자(예: 도 2의 사용자(220))를 촬영한 영상 및/또는 컨텐츠 정보를 디스플레이에 표시할 수 있고, 상대방(240)은 외부 전자 장치(620)의 디스플레이 상의 영역 중 특정한 대상을 바라보는 상태일 수 있다. 예를 들면, 상대방(240)은 외부 전자 장치(620)의 디스플레이 상에서 사용자(220)에 대한 영상을 바라보는 상태일 수 있고, 컨텐츠 정보를 바라보는 상태일 수 있다. 또는, 상대방(240)은 사용자(220)에 대한 영상의 일부를 바라보거나, 컨텐츠 정보의 일부를 바라보는 상태일 수 있다. 다양한 실시예에 따르면, 외부 전자 장치(620)는 상대방(240)이 바라보는 외부 전자 장치(620)에 출력된 사용자(220)에 대한 영상 또는 컨텐츠 정보의 적어도 일부에 대한 정보를 포함하는 상대방(240)이 바라보는 객체에 대한 정보를 생성할 수 있다. 다양한 실시예에 따르면, 외부 전자 장치(620)는 상대방(240)의 시선 방향에 대한 정보, 상대방(240)과 외부 전자 장치(620)의 디스플레이 간의 상대적 위치에 대한 정보 및/또는 외부 전자 장치(620)가 출력하는 요소(예: 사용자(220))에 대한 영상 또는 컨텐츠 정보)의 디스플레이 상의 위치에 대한 정보(예: 외부 전자 장치(620)의 화면 구성 정보)에 기초하여 상대방(240)이 바라보는 객체에 대한 정보를 생성할 수 있다. 다양한 실시예에 따르면, 외부 전자 장치(620)는 상대방(240)의 시선이 머무는 외부 전자 장치(620)의 디스플레이 상의 위치에 관한 정보(예: 시선 정보) 및 외부 전자 장치(620)의 디스플레이 상에 출력하는 대상에 관한 정보(예: 외부 전자 장치(620)의 화면 구성 정보)를 기초로 상대방(240)이 바라보는 객체에 대한 정보를 생성할 수 있다.Referring to operation 603 , the external electronic device 610 may generate information on an object viewed by the counterpart 240 . According to various embodiments, the information about the object that the counterpart 240 is looking at may be information about the object that the counterpart 240 is looking at on the display of the external electronic device 620 . The external electronic device 620 may display an image and/or content information captured by a user (eg, the user 220 of FIG. 2 ) on a display to provide a video conference, and the counterpart 240 may be an external electronic device It may be a state of looking at a specific target among the areas on the display of 620 . For example, the counterpart 240 may be in a state of viewing an image of the user 220 on the display of the external electronic device 620 , or may be viewing content information. Alternatively, the counterpart 240 may be in a state of looking at a part of the image for the user 220 or part of the content information. According to various embodiments, the external electronic device 620 includes information on at least a part of the image or content information about the user 220 output to the external electronic device 620 that the other party 240 looks at. 240) can generate information about the object it is looking at. According to various embodiments, the external electronic device 620 provides information on the gaze direction of the counterpart 240 , information on the relative position between the counterpart 240 and the display of the external electronic device 620 and/or the external electronic device ( Based on information (eg, screen configuration information of the external electronic device 620 ) on the display of an element (eg, image or content information about the user 220 ) output by the 620 , the counterpart 240 is You can create information about the object you are looking at. According to various embodiments, the external electronic device 620 provides information (eg, gaze information) about a location on the display of the external electronic device 620 where the gaze of the counterpart 240 stays and information on the display of the external electronic device 620 . Information on the object viewed by the counterpart 240 may be generated based on the information on the target output to the user (eg, screen configuration information of the external electronic device 620 ).
동작 604를 참조하면, 외부 전자 장치(620)는 생성한 상대방(240)이 바라보는 객체에 대한 정보를 전자 장치(610)로 전송할 수 있다. 전자 장치(610)는 외부 전자 장치(620)가 전송한 상대방(240)이 바라보는 객체에 대한 정보를 수신할 수 있다.Referring to operation 604 , the external electronic device 620 may transmit, to the electronic device 610 , information on the object viewed by the created counterpart 240 . The electronic device 610 may receive information on the object that the counterpart 240 is looking at, transmitted by the external electronic device 620 .
동작 605를 참조하면, 전자 장치(610)는 제1화면 구성 정보를 생성할 수 있다. 전자 장치(610)는 제1화면 구성 정보를 생성할 수 있다. 다양한 실시예에 따르면, 화면 구성 정보는 디스플레이(예: 도 3의 디스플레이(320))에 표시되는 정보가 디스플레이(320) 상에 갖게 되는 위치 정보일 수 있다. 예를 들어, 화면 구성 정보는, 화상 회의 서비스를 제공하기 위하여 디스플레이 상에 표시할 정보의 레이아웃에 관한 정보일 수 있다. 다양한 실시예에 따르면, 제1화면 구성 정보는 전자 장치(610)가 생성하는 전자 장치(610)의 화면 구성 정보일 수 있다. 전자 장치(610)는 디스플레이(320) 상에 상대방(예: 도 2의 상대방(240))에 대한 영상 정보를 출력할 수 있고, 동시에, 컨텐츠 정보를 출력할 수 있다. 각 영상 정보는 복수의 영상일 수 있고, 각 컨텐츠 정보는 복수의 컨텐츠 정보로 구성될 수 있다. 다양한 실시예에 따르면, 제1화면 구성 정보는 디스플레이(320) 상의 각 위치 및/또는 영역에 어떤 컨텐츠 정보 및/또는 영상 정보가 표시되는지, 또는 표시될 예정인지에 대한 정보일 수 있다. 다양한 실시예에 따르면, 사용자(예: 도 2의 사용자(220))는 디스플레이(320) 상에 어떤 레이아웃을 이용하여 화상 회의 서비스를 제공 받을 것인지 선택하거나, 전자 장치(610)가 임의 또는 동적으로 레이아웃을 결정할 수 있고, 제1화면 구성 정보는 레이아웃에 대한 정보 가운데 적어도 일부를 포함할 수 있다. 다양한 실시예에 따르면, 제1화면 구성 정보는 디스플레이(320)의 좌표 및/또는 영역에 대한 정보 및 표시될 대상(예: 컨텐츠 정보 및/또는 영상 정보)에 대한 정보가 매핑된 정보일 수 있다.Referring to operation 605 , the electronic device 610 may generate first screen configuration information. The electronic device 610 may generate first screen configuration information. According to various embodiments, the screen configuration information may be location information that information displayed on a display (eg, the display 320 of FIG. 3 ) has on the display 320 . For example, the screen configuration information may be information about a layout of information to be displayed on a display in order to provide a video conference service. According to various embodiments, the first screen configuration information may be screen configuration information of the electronic device 610 generated by the electronic device 610 . The electronic device 610 may output image information about the counterpart (eg, the counterpart 240 of FIG. 2 ) on the display 320 , and simultaneously output content information. Each image information may be a plurality of images, and each content information may be composed of a plurality of content information. According to various embodiments, the first screen configuration information may be information on which content information and/or image information is to be displayed or is to be displayed in each location and/or area on the display 320 . According to various embodiments, the user (eg, the user 220 of FIG. 2 ) selects a layout on the display 320 to receive the video conferencing service, or the electronic device 610 arbitrarily or dynamically A layout may be determined, and the first screen configuration information may include at least a portion of information about the layout. According to various embodiments, the first screen configuration information may be information to which information on coordinates and/or area of the display 320 and information on a target to be displayed (eg, content information and/or image information) are mapped. .
동작 606을 참조하면, 전자 장치(610)는 제2영상 정보를 생성 및 표시할 수 있다. 다양한 실시예에 따르면, 전자 장치(610)는 제1영상 정보, 상대방(240)이 바라보는 객체에 대한 정보 및 제1화면 구성 정보에 기초하여 제2영상 정보를 생성 및 표시할 수 있다. 제2영상 정보는 상대방(예: 도 2의 상대방(240))에 대응되는 영상일 수 있다. 예를 들어, 화상 회의의 참여자인 상대방(240)을 표현한 영상일 수 있다. 다양한 실시예에 따르면, 제2영상 정보는 상대방(240)의 상대방(240)이 바라보는 객체에 대한 정보를 표현하는 영상일 수 있다. 다양한 실시예에 따르면, 제2영상 정보는 제1영상 정보를 편집한 영상, 제1영상 정보를 기초로 재생성한 영상, 제1영상 정보 및/또는 전자 장치(610)가 생성하거나 수신한 다른 정보를 이용하여 전자 장치(610)가 생성한 영상일 수 있다. 다양한 실시예에 따르면, 제2영상 정보는, 상대방(240)과 동일 또는 유사한 형태의 이미지 객체가 포함된 영상일 수 있고, 상대방(240)과 유사하지 않더라도 단순히 상대방(240)을 표상하는 이미지 객체(예: 캐릭터)가 포함된 영상일 수 있다. 다양한 실시예에 따르면, 제2영상 정보는 상대방(240)을 표현한 이미지 객체가 상대방(240)이 바라보는 대상을, 전자 장치(610)의 디스플레이(320) 상에서 바라보는 이미지를 표현한 영상일 수 있다. 예를 들어, 상대방(240)이 바라보는 객체에 대한 정보에 기초하여, 상대방(240)이 외부 전자 장치(620)의 디스플레이 상에서 바라보는 대상(예: 상대방(240)이 바라보는 객체)이 컨텐츠 정보인 것으로 판단하는 경우, 전자 장치(610)는 상대방(240)을 표현한 이미지 객체가 디스플레이(예: 도 3의 디스플레이(320)) 상에서 컨텐츠 정보를 바라보는 이미지를 포함하여 제2영상 정보를 생성할 수 있다. 또 다른 예를 들어, 상대방(240)이 바라보는 대상이 사용자(예: 도 2의 사용자(220))의 영상인 경우, 전자 장치(610)는 상대방(240)을 표현한 이미지 객체가 정면 또는 사용자(220)의 현 위치를 향하는 방향을 바라보는 이미지를 포함하여 제2영상 정보를 생성할 수 있다. 이 경우, 전자 장치(610)는 사용자(220)와 디스플레이(320) 간의 상대적 위치에 대한 정보를 획득하고, 상대적 위치에 대한 정보를 이용하여 제2영상 정보를 생성할 수 있다. 다양한 실시예에 따르면, 전자 장치(610)는 상대방(240)이 바라보는 객체에 대한 정보를 이용하여 상대방(240)이 바라보는 대상(예: 사용자(220)의 영상 또는 컨텐츠 정보)을 특정할 수 있고, 제1화면 구성 정보를 이용하여 상대방(240)이 바라보는 대상이 표시되는 영역과 제2영상 정보가 출력될(또는 출력되는 중인) 디스플레이(320) 상의 영역 간의 상대적인 위치 및/또는 방향를 확인할 수 있다. 또한 확인한 상대적인 위치 및/또는 방향에 대한 정보를 이용하여, 제1영상 정보를 편집하거나, 제1영상 정보를 이용하여 새로운 영상을 생성할 수 있다.Referring to operation 606 , the electronic device 610 may generate and display second image information. According to various embodiments, the electronic device 610 may generate and display the second image information based on the first image information, the information on the object viewed by the counterpart 240 and the first screen configuration information. The second image information may be an image corresponding to the counterpart (eg, the counterpart 240 of FIG. 2 ). For example, it may be an image expressing the counterpart 240 who is a participant in the video conference. According to various embodiments, the second image information may be an image expressing information about an object viewed by the counterpart 240 of the counterpart 240 . According to various embodiments, the second image information includes an image obtained by editing the first image information, an image regenerated based on the first image information, the first image information, and/or other information generated or received by the electronic device 610 . may be an image generated by the electronic device 610 using According to various embodiments, the second image information may be an image including an image object having the same or similar shape as that of the counterpart 240 , and even if it is not similar to the counterpart 240 , it is simply an image object representing the counterpart 240 . It may be an image containing (eg, a character). According to various embodiments of the present disclosure, the second image information may be an image in which an image object representing the counterpart 240 is an image viewed by the counterpart 240 on the display 320 of the electronic device 610 . . For example, based on the information on the object that the counterpart 240 looks at, the object that the counterpart 240 sees on the display of the external electronic device 620 (eg, the object that the counterpart 240 looks at) is content. When it is determined that the information is information, the electronic device 610 generates second image information including an image in which the image object representing the counterpart 240 looks at the content information on a display (eg, the display 320 of FIG. 3 ). can do. As another example, when the object that the counterpart 240 is looking at is an image of the user (eg, the user 220 of FIG. 2 ), the electronic device 610 determines that the image object representing the counterpart 240 is the front or the user. The second image information may be generated including an image looking in the direction toward the current location of 220 . In this case, the electronic device 610 may obtain information on the relative position between the user 220 and the display 320 , and may generate second image information using the information on the relative position. According to various embodiments, the electronic device 610 may specify an object (eg, image or content information of the user 220 ) viewed by the counterpart 240 using information on the object viewed by the counterpart 240 . The relative position and/or direction between the area on which the target viewed by the counterpart 240 is displayed and the area on the display 320 where the second image information is to be output (or being output) using the first screen configuration information can be checked In addition, the first image information may be edited using the confirmed relative position and/or direction information, or a new image may be created using the first image information.
다양한 실시예에 따르면, 전자 장치(610)는 제1영상 정보를 이용하여 새로운 제2영상 정보를 생성할 수 있다. 다양한 실시예에 따르면, 전자 장치(610)는 제1영상 정보를 분석하여 모델링 정보를 생성할 수 있다. 예를 들면, 전자 장치(610)는 제1영상 정보에 포함된 상대방(240)에 대응되는 이미지 객체를 인식하고, 인식한 이미지 객체를 분리하여 분석할 수 있다. 전자 장치(610)는 다양한 이미지 분석 알고리즘을 이용하여 상대방(240)에 대응되는 이미지 객체를 분석할 수 있다. 예를 들면, 전자 장치(610)는 서버(예: 도 2의 서버(250))로부터 이미지 분석 알고리즘을 수신하여, 실행할 수 있고, 미리 메모리(340)에 저장된 알고리즘을 이용하여 이미지를 분석할 수 있다. 전자 장치(610)는 이미지 객체의 윤곽에 대한 정보, 깊이 정보, 색상 정보, 밝기 정보와 같은 다양한 파라미터를 이용하여 이미지를 분석하고, 모델링 정보를 생성할 수 있다. 모델링 정보는 예를 들면, 상대방(240)의 형상, 상대방과 유사한 형상 또는 상대방을 표상하는 형상(예: 모델)을 가상의 공간에 생성한 정보일 수 있다. 모델링 정보는, 3차원(three-dimensional, 3D)으로 표현될 수 있고, 또는, 2차원(two-dimensional, 2D)으로 표현될 수도 있다. 다양한 실시예에 따르면, 전자 장치(610)는 제1영상 정보의 이미지 분석을 통해 모델링 정보를 생성하고, 생성된 모델링 정보를 이용하여, 상대방(240)이 바라보는 객체에 대한 정보 및 제1화면 구성 정보에 기초한 렌더링을 할 수 있다. 다양한 실시예에 따르면, 전자 장치(610)는 생성된 3D 모델 또는 2D 모델이 상대방(240)이 바라보는 객체에 대한 정보 및 제1화면 구성 정보에 기초한 방향을 바라보는 영상을 제2영상 정보로서 생성할 수 있다. 전자 장치(610)는 제1영상 정보를 수신하면서 지속적으로 모델링 정보를 생성할 수도 있고, 모델링 정보를 외부 전자 장치(620)로부터 별도로 수신할 수 있으며, 또는, 제1영상 정보의 일부 또는 제1영상 정보와 관련된 이미지 정보만을 이용하여 미리 생성한 모델링 정보를 메모리(예: 도 3의 메모리(340))에 저장하고, 저장된 모델링 정보를 제2영상 정보 생성에 이용할 수도 있다.According to various embodiments, the electronic device 610 may generate new second image information by using the first image information. According to various embodiments, the electronic device 610 may generate modeling information by analyzing the first image information. For example, the electronic device 610 may recognize an image object corresponding to the counterpart 240 included in the first image information, and separate and analyze the recognized image object. The electronic device 610 may analyze an image object corresponding to the counterpart 240 using various image analysis algorithms. For example, the electronic device 610 may receive and execute an image analysis algorithm from a server (eg, the server 250 of FIG. 2 ), and may analyze the image using an algorithm stored in the memory 340 in advance. have. The electronic device 610 may analyze an image using various parameters such as contour information, depth information, color information, and brightness information of an image object, and may generate modeling information. The modeling information may be, for example, information generated in a virtual space of a shape of the counterpart 240 , a shape similar to the counterpart, or a shape (eg, a model) representing the counterpart. Modeling information may be expressed in three-dimensional (3D), or in two-dimensional (2D). According to various embodiments of the present disclosure, the electronic device 610 generates modeling information through image analysis of the first image information, and uses the generated modeling information to provide information on the object viewed by the counterpart 240 and the first screen. Rendering can be done based on configuration information. According to various embodiments, the electronic device 610 uses an image in which the generated 3D model or 2D model looks in a direction based on the information on the object viewed by the counterpart 240 and the first screen configuration information as the second image information. can create The electronic device 610 may continuously generate modeling information while receiving the first image information, and may separately receive the modeling information from the external electronic device 620 , or a part of the first image information or the first Modeling information previously generated using only image information related to image information may be stored in a memory (eg, the memory 340 of FIG. 3 ), and the stored modeling information may be used to generate the second image information.
다양한 실시예에 따르면, 전자 장치(610)는 제1영상 정보를 편집하여 제2영상 정보를 생성할 수 있다. 예를 들면, 제2영상 정보는 제1영상 정보를 편집한 것일 수 있다. 다양한 실시예에 따르면, 전자 장치(610)는 상대방(240)이 바라보는 객체에 대한 정보 및 제1화면 구성 정보에 기초하여, 제1영상 정보를 편집하고, 제2영상 정보를 생성할 수 있다. 일 실시예에 따르면, 전자 장치(610)는 제1영상 정보를 상대방(240)이 바라보는 객체에 대한 정보 및 제1화면 구성 정보에 기초한 방향으로 기울이는 효과를 추가하여 제1영상 정보를 편집할 수 있다. 일 실시예에 따르면, 전자 장치(610)는 제1영상 정보에 회전 효과를 추가하여 제1영상 정보를 편집할 수 있다. 일 실시예에 따르면, 전자 장치(610)는 제1영상 정보에 방향을 표시하는 이미지를 합성하여 제1영상 정보를 편집할 수 있다. 일 실시예에 따르면, 전자 장치(610)는 제1영상 정보에 상대방이 바라보는 대상의 이미지 또는 영상을 합성하여 제1영상 정보를 편집할 수 있다.According to various embodiments, the electronic device 610 may edit the first image information to generate the second image information. For example, the second image information may be an edited version of the first image information. According to various embodiments, the electronic device 610 may edit the first image information and generate the second image information based on the first screen configuration information and the information on the object viewed by the counterpart 240 . . According to an embodiment, the electronic device 610 may edit the first image information by adding an effect of tilting the first image information in a direction based on the information on the object viewed by the counterpart 240 and the first screen configuration information. can According to an embodiment, the electronic device 610 may edit the first image information by adding a rotation effect to the first image information. According to an embodiment, the electronic device 610 may edit the first image information by synthesizing an image indicating a direction with the first image information. According to an embodiment, the electronic device 610 may edit the first image information by synthesizing the first image information with an image or an image of an object viewed by the other party.
다양한 실시예에 따르면, 전자 장치(610)는 생성한 제2영상 정보를 디스플레이(예: 도 3의 디스플레이(320))에 출력할 수 있다. 다양한 실시예에 따르면, 전자 장치(610)는 제1화면 구성 정보에 기초하여 제2영상 정보가 출력될 것으로 설정된 위치에 제2영상 정보를 출력할 수 있다. 다양한 실시예에 따르면, 전자 장치(610)는, 제2영상 정보를 출력하는 중에도 지속적으로 상대방(240)이 바라보는 객체에 대한 정보를 생성 또는 수신할 수 있고, 지속적으로 제1화면 구성 정보를 생성할 수 있다. 다양한 실시예에 따르면, 전자 장치(610)는 제2영상 정보를 출력하는 중에도 변경된 상대방(240)이 바라보는 객체에 대한 정보 및/또는 제1화면 구성 정보에 기초하여 지속적으로 새로운 제2영상 정보를 생성할 수 있다. 다양한 실시예에 따르면, 전자 장치(610)는 지속적으로 생성하는 제2영상 정보를 디스플레이(예: 도 3의 디스플레이(320))에 출력할 수 있다.According to various embodiments, the electronic device 610 may output the generated second image information to a display (eg, the display 320 of FIG. 3 ). According to various embodiments, the electronic device 610 may output the second image information to a location where the second image information is set to be output based on the first screen configuration information. According to various embodiments, the electronic device 610 may continuously generate or receive information on an object viewed by the counterpart 240 while outputting the second image information, and continuously display the first screen configuration information. can create According to various embodiments, the electronic device 610 continuously displays new second image information while outputting the second image information based on the changed information on the object viewed by the counterpart 240 and/or the first screen configuration information. can create According to various embodiments, the electronic device 610 may output the continuously generated second image information to a display (eg, the display 320 of FIG. 3 ).
다양한 실시예에 따르면, 외부 전자 장치(620)는 다시 동작 631을 수행할 수 있다. 또는, 외부 전자 장치(620)는, 동작 601 내지 606을 수행하지 않고, 곧바로 동작 631을 수행할 수 있다. 동작 601 내지 동작 606, 동작 631 내지 동작 639 및 동작 651 내지 동작 658은 각각 전자 장치(610) 및/또는 외부 전자 장치(620)의 네트워크 상태, 설정 상태, 사용자(예: 도 2의 사용자(220)) 또는 상대방(예: 도 2의 상대방(240))의 입력과 같은 상황적 요소에 따라 선택적/병렬적으로 수행될 수도 있고, 이 중 어느 하나가 수행되는 도중 상기한 상황적 요소의 변화로 인하여 다른 하나로 진행되는 것도 가능하다.According to various embodiments, the external electronic device 620 may perform operation 631 again. Alternatively, the external electronic device 620 may directly perform operation 631 without performing operations 601 to 606 . Operations 601 to 606 , 631 to 639 , and 651 to 658 are, respectively, a network state, a setting state, and a user (eg, the user 220 of FIG. 2 ) of the electronic device 610 and/or the external electronic device 620 . )) or the input of the other party (eg, the counterpart 240 in FIG. 2 ) may be selectively/parallelly performed depending on the input of the other party (eg, the other party 240 in FIG. 2 ). Because of this, it is possible to proceed to another.
동작 631 및 동작 632를 참조하면, 외부 전자 장치(620)는 제1영상 정보를 생성할 수 있고(동작 631), 외부 전자 장치(620)는 생성한 제1영상 정보를 전자 장치(610)로 전송할 수 있다(동작 632). 다양한 실시예에 따르면, 외부 전자 장치(610)는 상대방(예: 도 2의 상대방(240))을 촬영하여 제1영상 정보를 생성할 수 있고, 또는 외부로부터 상대방(240)을 촬영한 영상을 수신하여 제1영상 정보를 생성할 수 있다. 동작 631은, 앞서 서술한 동작 601과 동일한 동작일 수 있다. 동작 632는 앞서 서술한 동작 602와 동일한 동작일 수 있다.Referring to operations 631 and 632 , the external electronic device 620 may generate first image information (operation 631 ), and the external electronic device 620 transmits the generated first image information to the electronic device 610 . Can be transmitted (operation 632). According to various embodiments, the external electronic device 610 may generate first image information by photographing the counterpart (eg, the counterpart 240 in FIG. 2 ), or may view an image of the counterpart 240 from the outside. By receiving the first image information may be generated. Operation 631 may be the same operation as operation 601 described above. Operation 632 may be the same operation as operation 602 described above.
동작 633을 참조하면, 외부 전자 장치(620)는 시선 정보를 생성할 수 있다. 시선 정보는, 상대방(예: 도 2의 상대방(240))의 시선이 향하는 위치 및/또는 영역에 대한 정보일 수 있다. 예를 들면, 시선은, 상대방(240)의 동공이 향하는 방향일 수 있고, 상대방의 주시안(dominant eye)의 동공이 향하는 방향일 수 있다. 다양한 실시예에 따르면, 시선 정보는 상대방(240)의 시선이 형성하는 물리적인 방향, 물리적인 위치 및/또는 물리적인 영역을 의미할 수 있다. 예를 들면, 시선 정보는 상대방(240)의 눈의 공간적 위치 및 시선의 공간적 각도를 포함한 절대적인 공간 좌표 상의 정보를 포함하는 것일 수 있다. 다양한 실시예에 따르면, 시선 정보는, 외부 전자 장치(620)와 상대방(240)의 상대적인 위치 정보 및/또는 각도 정보를 포함할 수 있다. 예를 들면, 시선 정보는 상대방(240)의 시선이 머무는 외부 전자 장치(620)의 디스플레이 상의 좌표로 표현될 수 있다. 다양한 실시예에 따르면, 시선 정보는, 상대방(240) 눈의 위치와 시선 방향에 대한 절대적인 좌표 및 각도 및 외부 전자 장치(620)의 상대방(240)과의 상대적인 위치를 기초로 하여 조합하여 외부 전자 장치(620)의 디스플레이 상에 머무는 상대방(240)의 시선이 가지는 디스플레이 상의 좌표 및/또는 영역에 대한 정보일 수 있다. 다양한 실시예에 따르면, 시선 정보는 상대방(240)의 안구 위치, 시선 방향, 상대방(240)과 외부 전자 장치(620)(또는 외부 전자 장치(620)의 디스플레이)의 상대적인 위치 및 외부 전자 장치(620)의 디스플레이의 크기 가운데 적어도 하나의 조합일 수 있다. 다양한 실시예에 따르면, 상대방(240)의 시선 정보는, 외부 전자 장치(620) 또는 외부 전자 장치와 연결된 다른 장치로부터 생성된 것을 외부 전자 장치(620)가 수신하여, 외부 전자 장치(620)가 생성할 수 있고, 시선 추적 장치(예: 시선 추적 카메라)를 이용하여 생성된 시선에 관한 정보를 외부 전자 장치(620)가 수신하고, 이를 기초로 외부 전자 장치(610)는 시선 정보를 생성할 수 있다. 다양한 실시예에 따르면, 외부 전자 장치(610)는 상대방(240)을 촬영한 영상(예: 제1영상 정보)를 분석하여, 상대방(240)에 대한 이미지 가운데 양안의 이미지를 분석하여 시선 정보를 생성할 수 있다.Referring to operation 633 , the external electronic device 620 may generate gaze information. The gaze information may be information on a location and/or an area to which the gaze of the other party (eg, the counterpart 240 of FIG. 2 ) is directed. For example, the gaze may be in a direction in which the pupil of the counterpart 240 faces, or in a direction in which the pupil of the counterpart's dominant eye faces. According to various embodiments, the gaze information may mean a physical direction, a physical location, and/or a physical area formed by the gaze of the counterpart 240 . For example, the gaze information may include information on absolute spatial coordinates including the spatial position of the eye of the counterpart 240 and the spatial angle of the gaze. According to various embodiments, the gaze information may include relative position information and/or angle information between the external electronic device 620 and the counterpart 240 . For example, the gaze information may be expressed as coordinates on the display of the external electronic device 620 where the gaze of the counterpart 240 stays. According to various embodiments, the gaze information is combined on the basis of the absolute coordinates and angles of the position and the gaze direction of the counterpart 240 and the relative position of the external electronic device 620 with the counterpart 240 to form an external electronic device. It may be information on coordinates and/or an area on the display of the gaze of the counterpart 240 staying on the display of the device 620 . According to various embodiments, the gaze information includes the eyeball position, the gaze direction of the counterpart 240 , the relative position of the counterpart 240 and the external electronic device 620 (or the display of the external electronic device 620 ), and the external electronic device ( 620) may be a combination of at least one of the sizes of the display. According to various embodiments, the external electronic device 620 receives the gaze information of the counterpart 240 generated from the external electronic device 620 or another device connected to the external electronic device, may be generated, and the external electronic device 620 receives information about the gaze generated using the gaze tracking device (eg, gaze tracking camera), and based on this information, the external electronic device 610 generates gaze information. can According to various embodiments, the external electronic device 610 analyzes an image (eg, first image information) of the counterpart 240 , and analyzes images of both eyes among the images of the counterpart 240 to obtain gaze information. can create
동작 634를 참조하면, 외부 전자 장치(620)는 생성한 시선 정보를 전자 장치(610)로 전송할 수 있다. 전자 장치(610)는 외부 전자 장치(620)가 전송한 시선 정보를 수신할 수 있다.Referring to operation 634 , the external electronic device 620 may transmit the generated gaze information to the electronic device 610 . The electronic device 610 may receive gaze information transmitted from the external electronic device 620 .
동작 635를 참조하면, 외부 전자 장치(620)는 제2화면 구성 정보를 생성할 수 있다. 다양한 실시예에 따르면, 화면 구성 정보는, 디스플레이에 표시되는 정보가 디스플레이 상에 가지는 위치에 관한 정보일 수 있다. 예를 들어, 화면 구성 정보는, 화상 회의 서비스를 제공하기 위하여 디스플레이 상에 표시할 정보의 레이아웃에 관한 정보일 수 있다. 외부 전자 장치(620)는 디스플레이 상에 사용자(예: 도 2의 사용자(220))에 대한 영상 정보를 출력할 수 있고, 동시에, 컨텐츠 정보를 출력할 수 있다. 각 영상 정보는 복수의 영상일 수 있고, 각 컨텐츠 정보는 복수의 컨텐츠 정보로 구성될 수 있다. 다양한 실시예에 따르면, 화면 구성 정보는 디스플레이 상의 각 위치 및/또는 영역에 어떤 컨텐츠 정보 및/또는 영상 정보가 표시되는지, 또는 표시될 예정인지에 대한 정보일 수 있다. 다양한 실시예에 따르면, 상대방(240)은 외부 전자 장치(620)의 디스플레이 상에 어떤 레이아웃을 이용하여 화상 회의 서비스를 제공 받을 것인지 선택하거나, 외부 전자 장치(620)가 임의 또는 동적으로 레이아웃을 결정할 수 있고, 화면 구성 정보는 레이아웃에 대한 정보 가운데 적어도 일부를 포함할 수 있다. 외부 전자 장치(620)는 외부 전자 장치(620)의 화면 구성 정보(예: 제2화면 구성 정보)를 생성할 수 있다. 다양한 실시예에 따르면, 화면 구성 정보는 디스플레이의 좌표 및/또는 영역에 대한 정보 및 표시될 대상(예: 컨텐츠 정보 및/또는 영상 정보)에 대한 정보가 매핑된 정보일 수 있다.Referring to operation 635 , the external electronic device 620 may generate second screen configuration information. According to various embodiments, the screen configuration information may be information about a position of information displayed on a display on a display. For example, the screen configuration information may be information about a layout of information to be displayed on a display in order to provide a video conference service. The external electronic device 620 may output image information about a user (eg, the user 220 of FIG. 2 ) on the display and, at the same time, output content information. Each image information may be a plurality of images, and each content information may be composed of a plurality of content information. According to various embodiments, the screen configuration information may be information on which content information and/or image information is to be displayed or is to be displayed in each location and/or area on the display. According to various embodiments, the counterpart 240 selects a layout on the display of the external electronic device 620 to receive the video conferencing service, or the external electronic device 620 arbitrarily or dynamically determines the layout. and the screen configuration information may include at least a part of information about the layout. The external electronic device 620 may generate screen configuration information (eg, second screen configuration information) of the external electronic device 620 . According to various embodiments, the screen configuration information may be information to which information on coordinates and/or regions of a display and information on an object to be displayed (eg, content information and/or image information) are mapped.
동작 636을 참조하면, 외부 전자 장치(620)는 전자 장치(610)로 제2화면 구성 정보를 전송할 수 있다. 다양한 실시예에 따르면, 전자 장치(610)는 외부 전자 장치(620)가 전송한 제2화면 구성 정보를 수신할 수 있다.Referring to operation 636 , the external electronic device 620 may transmit second screen configuration information to the electronic device 610 . According to various embodiments, the electronic device 610 may receive the second screen configuration information transmitted from the external electronic device 620 .
동작 637을 참조하면, 전자 장치(610)는 상대방(240)이 바라보는 객체에 대한 정보를 생성할 수 있다. 다양한 실시예에 따르면, 전자 장치(610)는 외부 전자 장치(620)로부터 수신한 상대방(240)의 시선 정보 및 외부 전자 장치(620)의 화면 구성 정보(예: 제2화면 구성 정보)에 기초하여 상대방(240)이 바라보는 객체에 대한 정보를 생성할 수 있다. 다양한 실시예에 따르면, 전자 장치(610)는 외부 전자 장치(620)가 생성한 시선 정보 및 외부 전자 장치(620)가 생성한 외부 전자 장치(620)의 화면 구성 정보를 외부 전자 장치(620)로부터 수신할 수 있다. 다양한 실시예에 따르면, 전자 장치(610)는 시선 정보를 이용하여 상대방(예: 도 2의 상대방(240))의 시선이 외부 전자 장치(620) 디스플레이의 어느 영역에 머무는지에 관한 정보를 확인하고, 화면 구성 정보를 이용하여 외부 전자 장치(620) 디스플레이의 어느 영역에 어떤 정보가 표시되는지에 관한 정보를 확인하여 이들의 조합으로 상대방(240)이 바라보는 객체에 대한 정보를 생성할 수 있다.Referring to operation 637 , the electronic device 610 may generate information on an object viewed by the counterpart 240 . According to various embodiments, the electronic device 610 based on the gaze information of the counterpart 240 received from the external electronic device 620 and screen configuration information (eg, second screen configuration information) of the external electronic device 620 . Accordingly, information on the object viewed by the counterpart 240 may be generated. According to various embodiments, the electronic device 610 transmits gaze information generated by the external electronic device 620 and screen configuration information of the external electronic device 620 generated by the external electronic device 620 to the external electronic device 620 . can be received from According to various embodiments, the electronic device 610 uses the gaze information to check information on which area of the display of the external electronic device 620 where the gaze of the other party (eg, the counterpart 240 of FIG. 2 ) stays, and , information on which information is displayed on which area of the display of the external electronic device 620 is checked using the screen configuration information, and information on the object viewed by the counterpart 240 may be generated by a combination thereof.
동작 638을 참조하면, 전자 장치(610)는 제1화면 구성 정보를 생성할 수 있다. 제1화면 구성 정보를 생성할 수 있다. 다양한 실시예에 따르면, 화면 구성 정보는 디스플레이(예: 도 3의 디스플레이(320))에 표시되는 정보가 디스플레이(320) 상에 갖게 되는 위치 정보일 수 있다. 다양한 실시예에 따르면, 제1화면 구성 정보는 디스플레이(320)의 좌표 및/또는 영역에 대한 정보 및 표시될 대상(예: 컨텐츠 정보 및/또는 영상 정보)에 대한 정보가 매핑된 정보일 수 있다. 다양한 실시예에 따르면, 동작 638은 앞서 서술한 동작 605와 동일한 동작일 수 있다.Referring to operation 638 , the electronic device 610 may generate first screen configuration information. First screen configuration information may be generated. According to various embodiments, the screen configuration information may be location information that information displayed on a display (eg, the display 320 of FIG. 3 ) has on the display 320 . According to various embodiments, the first screen configuration information may be information to which information on coordinates and/or area of the display 320 and information on a target to be displayed (eg, content information and/or image information) are mapped. . According to various embodiments, operation 638 may be the same operation as operation 605 described above.
동작 639를 참조하면, 전자 장치는(610)는 제2영상 정보를 생성 및 표시할 수 있다. 다양한 실시예에 따르면, 전자 장치(610)는영상 정보, 상대방(240)이 바라보는 객체에 대한 정보 및 제1화면 구성 정보에 기초하여 제2영상 정보를 생성 및 표시할 수 있다. 제2영상 정보는 상대방(240)에 대응되는 영상일 수 있다. 예를 들어, 화상 회의의 참여자인 상대방(240)을 표현한 영상일 수 있다. 다양한 실시예에 따르면, 동사 639는 앞서 서술한 동작 606과 동일한 동작일 수 있다.Referring to operation 639 , the electronic device 610 may generate and display second image information. According to various embodiments, the electronic device 610 may generate and display second image information based on image information, information on an object viewed by the counterpart 240 , and first screen configuration information. The second image information may be an image corresponding to the counterpart 240 . For example, it may be an image expressing the counterpart 240 who is a participant in the video conference. According to various embodiments, the verb 639 may be the same operation as the operation 606 described above.
동작 651, 동작 652, 동작 653 및 동작 654를 참조하면, 외부 전자 장치(620)는 제1영상을 생성하고(동작 651), 제2화면 구성 정보를 생성하고(동작 653), 제1영상을 전자 장치(610)로 전송하고(동작 652), 제2화면 구성 정보를 전자 장치(610)로 전송(동작 654)할 수 있다. 동작 651은 각각 동작 601 및/또는 동작 631과 동일한 동작일 수 있고, 동작 652는 동작 602 및/또는 동작 632와 동일한 동작일 수 있으며, 동작 653은 동작 635와 동일한 동작일 수 있고, 동작 654는 동작 636과 동일한 동작일 수 있다.Referring to operations 651, 652, 653, and 654, the external electronic device 620 generates a first image (operation 651), generates second screen configuration information (operation 653), and displays the first image It may transmit to the electronic device 610 (operation 652), and transmit the second screen configuration information to the electronic device 610 (operation 654). Operation 651 may be the same operation as operation 601 and/or operation 631, respectively, operation 652 may be the same operation as operation 602 and/or operation 632, operation 653 may be the same operation as operation 635, operation 654 It may be the same operation as operation 636 .
동작 655를 참조하면, 전자 장치(610)는 시선 정보를 생성할 수 있다. 다양한 실시예에 따르면, 외부 전자 장치(620)로부터 제1영상 정보 및 제2화면 구성 정보를 수신한 전자 장치(610)는 제1영상 정보 및 제2화면 구성 정보에 기초하여 시선 정보를 생성할 수 있다. 예를 들면, 전자 장치(610)는 제1영상 정보를 분석하여, 제1영상 정보 내에 포함된 상대방(240)의 이미지 가운데 양안에 대응되는 이미지를 분석하고, 시선 정보를 생성할 수 있다.Referring to operation 655 , the electronic device 610 may generate gaze information. According to various embodiments, the electronic device 610 that has received the first image information and the second screen configuration information from the external electronic device 620 may generate gaze information based on the first image information and the second screen configuration information. can For example, the electronic device 610 may analyze the first image information, analyze an image corresponding to both eyes among images of the counterpart 240 included in the first image information, and generate gaze information.
동작 656을 참조하면, 전자 장치(610)는 상대방(240)이 바라보는 객체에 대한 정보를 생성할 수 있다. 다양한 실시예에 따르면, 전자 장치(610)는 외부 전자 장치(620)로부터 수신한 상대방(240)에 대한 제1영상 정보 및 외부 전자 장치(620)의 화면 구성 정보(예: 제2화면 구성 정보)에 기초하여 상대방(240)이 바라보는 객체에 대한 정보를 생성할 수 있다. 다양한 실시예에 따르면, 전자 장치(610)는 생성한 시선 정보를 이용하여 상대방(240)의 시선이 외부 전자 장치(620) 디스플레이의 어느 영역에 머무는지에 관한 정보를 확인하고, 제2화면 구성 정보를 이용하여 외부 전자 장치(620) 디스플레이의 어느 영역에 어떤 정보가 표시되는지에 관한 정보를 확인하여 이들의 조합으로 상대방(240)이 바라보는 객체에 대한 정보를 생성할 수 있다.Referring to operation 656 , the electronic device 610 may generate information about the object that the counterpart 240 is looking at. According to various embodiments, the electronic device 610 receives the first image information about the counterpart 240 from the external electronic device 620 and screen configuration information (eg, second screen configuration information) of the external electronic device 620 . ), information on the object viewed by the counterpart 240 may be generated. According to various embodiments of the present disclosure, the electronic device 610 uses the generated gaze information to check information on which area of the display of the external electronic device 620 where the gaze of the other party 240 stays, and information on the configuration of the second screen information on which information is displayed on which area of the display of the external electronic device 620 using
동작 657 및 동작 658을 참조하면, 전자 장치(610)는 제1화면 구성 정보를 생성할 수 있고(동작 657), 제2영상 정보를 생성 및 표시할 수 있다(동작 658). 동작 657은 동작 605 및/또는 동작 638과 동일한 동작일 수 있다. 동작 658은 동작 606 및/또는 동작 639와 동일한 동작일 수 있다.Referring to operations 657 and 658 , the electronic device 610 may generate first screen configuration information (operation 657 ) and may generate and display second image information (operation 658 ). Operation 657 may be the same operation as operation 605 and/or operation 638 . Operation 658 may be the same operation as operation 606 and/or operation 639 .
도 7은 다양한 실시예들에 따른 시선 정보, 상대방(240)이 바라보는 객체에 대한 정보 및 화면 구성 정보를 설명하기 위한 도면이다.7 is a view for explaining gaze information, information on an object viewed by the counterpart 240, and screen configuration information according to various embodiments of the present disclosure.
도 7을 참조하면, 도 7은 상대방(710)(예: 도 2의 상대방(240))이 외부 전자 장치(예: 도 2의 외부 전자 장치(230))의 디스플레이(720)를 바라보는 모습을 도면에 표현한 것일 수 있다. 도 7을 참조하면, 디스플레이(720)는 컨텐츠 정보(721), 다른 상대방을 촬영한 제3영상 정보(722) 및 사용자(예: 도 2의 사용자(220))를 촬영한 제4영상 정보(723)를 표시하는 중일 수 있다. 디스플레이(720)는 컨텐츠 정보(721), 제3영상 정보(722) 및 제4영상 정보(723)를 동시에 출력할 수 있다. 도 7을 참조하면, 상대방(710)은, 일정한 시선(711)을 형성할 수 있다.Referring to FIG. 7 , FIG. 7 is a view showing a counterpart 710 (eg, counterpart 240 of FIG. 2 ) looking at a display 720 of an external electronic device (eg, external electronic device 230 of FIG. 2 ). may be expressed in the drawing. Referring to FIG. 7 , the display 720 displays content information 721 , third image information 722 photographing another party, and fourth image information photographing a user (eg, the user 220 in FIG. 2 ) ( 723) may be being displayed. The display 720 may simultaneously output the content information 721 , the third image information 722 , and the fourth image information 723 . Referring to FIG. 7 , the counterpart 710 may form a constant gaze 711 .
다양한 실시예에 따르면, 시선 정보는, 상대방(710)의 시선(711)이 향하는 위치 및/또는 영역에 대한 정보일 수 있다. 예를 들면, 시선(711)은, 상대방(710)의 동공이 향하는 방향일 수 있고, 상대방의 주시안(dominant eye)의 동공이 향하는 방향일 수 있다. 다양한 실시예에 따르면, 시선 정보는 상대방(710)의 시선(711)이 형성하는 물리적인 방향, 물리적인 위치 및/또는 물리적인 영역을 의미할 수 있다. 예를 들면, 시선 정보는 상대방(710)의 눈의 공간적 위치 및 시선(711)의 공간적 각도를 포함한 절대적인 공간 좌표 상의 정보를 포함하는 것일 수 있다. 다양한 실시예에 따르면, 시선 정보는, 외부 전자 장치(예: 도 2의 외부 전자 장치(230)) 또는 외부 전자 장치의 디스플레이(720)와 상대방(710)의 상대적인 위치 정보 및/또는 각도 정보를 포함할 수 있다. 예를 들면, 시선 정보는 상대방(710)의 시선(711)이 머무는 외부 전자 장치의 디스플레이(720) 상의 좌표로 표현될 수 있다. 다양한 실시예에 따르면, 시선 정보는, 상대방(710) 눈의 위치와 시선(711)이 갖는 방향에 대한 절대적인 좌표 및 각도 및 디스플레이(720)의 상대방(710)과의 상대적인 위치를 기초로 하여 조합하여 디스플레이(720) 상에 머무는 상대방(710)의 시선(711)이 가지는 디스플레이(720) 상의 좌표 및/또는 영역에 대한 정보일 수 있다. 다양한 실시예에 따르면, 시선 정보는 상대방(710)의 안구 위치, 시선(711)의 방향, 상대방(710)과 외부 전자 장치(230)(또는 외부 전자 장치(230)의 디스플레이)의 상대적인 위치 및 외부 전자 장치(230)의 디스플레이의 크기 가운데 적어도 하나의 조합일 수 있다. 다양한 실시예에 따르면, 상대방(710)의 시선 정보는, 외부 전자 장치(230) 또는 외부 전자 장치와 연결된 다른 장치로부터 생성될 수 있고, 시선 추적 장치(예: 시선 추적 카메라)를 이용하여 생성될 수 있다. 다양한 실시예에 따르면, 시선 정보는, 상대방(710)을 촬영한 영상(예: 제1영상 정보)를 분석하여, 상대방(710)에 대한 이미지 가운데 양안의 이미지를 분석하여 생성될 수도 있다. 도 7을 참조하면, 상대방(710)의 시선(711)은, 디스플레이(720)의 영역 중 제4영상(723)을 표시하는 부분의 영역 위에 머무는 것을 볼 수 있다. 이 경우 시선 정보는 제4영상(723)이 갖는, 현재 디스플레이(720) 상의 좌표 정보일 수 있다.According to various embodiments, the gaze information may be information on a location and/or an area toward which the gaze 711 of the counterpart 710 is directed. For example, the gaze 711 may be a direction toward which the pupil of the counterpart 710 faces, or may be a direction toward which the pupil of the opponent's dominant eye faces. According to various embodiments, the gaze information may mean a physical direction, a physical location, and/or a physical area formed by the gaze 711 of the counterpart 710 . For example, the gaze information may include information on absolute spatial coordinates including the spatial position of the eye of the counterpart 710 and the spatial angle of the gaze 711 . According to various embodiments, the gaze information includes relative position information and/or angle information between the external electronic device (eg, the external electronic device 230 of FIG. 2 ) or the display 720 of the external electronic device and the counterpart 710 . may include For example, the gaze information may be expressed as coordinates on the display 720 of the external electronic device where the gaze 711 of the counterpart 710 stays. According to various embodiments, the gaze information is combined based on absolute coordinates and angles of the position of the other party's 710's eyes and the direction of the gaze 711, and the relative position of the display 720 with the other party's 710 Thus, it may be information about coordinates and/or an area on the display 720 that the gaze 711 of the counterpart 710 staying on the display 720 has. According to various embodiments, the gaze information includes the eyeball position of the counterpart 710 , the direction of the gaze 711 , the relative position of the counterpart 710 and the external electronic device 230 (or the display of the external electronic device 230 ), and It may be a combination of at least one of the sizes of the display of the external electronic device 230 . According to various embodiments, the gaze information of the counterpart 710 may be generated from the external electronic device 230 or another device connected to the external electronic device, and may be generated using a gaze tracking device (eg, gaze tracking camera). can According to various embodiments, the gaze information may be generated by analyzing an image (eg, first image information) of the counterpart 710 , and analyzing images of both eyes among the images of the counterpart 710 . Referring to FIG. 7 , it can be seen that the gaze 711 of the counterpart 710 stays on the area of the display 720 displaying the fourth image 723 . In this case, the gaze information may be coordinate information on the current display 720 that the fourth image 723 has.
다양한 실시예에 따르면, 화면 구성 정보는, 디스플레이(720)에 표시되는 정보가 디스플레이(720) 상에 가지는 위치에 관한 정보일 수 있다. 예를 들어, 화면 구성 정보는, 화상 회의 서비스를 제공하기 위하여 디스플레이(720) 상에 표시할 정보의 레이아웃에 관한 정보일 수 있다. 외부 전자 장치(예: 도 2의 외부 전자 장치(230)) 및/또는 전자 장치(210)는 각각 디스플레이 상에 사용자(예: 도 2의 사용자(220)) 또는 상대방(710)에 대한 영상 정보를 출력할 수 있고, 동시에, 컨텐츠 정보를 출력할 수 있다. 각 영상 정보는 복수의 영상일 수 있고, 각 컨텐츠 정보는 복수의 컨텐츠 정보로 구성될 수 있다. 도 7을 참조하면, 디스플레이(720)는 컨텐츠 정보(721), 제3영상(722) 및 제4영상(723)을 동시에 출력하는 것을 알 수 있다. 다양한 실시예에 따르면, 화면 구성 정보는 디스플레이(720) 상의 각 위치 및/또는 영역에 어떤 컨텐츠 정보 및/또는 영상 정보가 표시되는지, 또는 표시될 예정인지에 대한 정보일 수 있다. 다양한 실시예에 따르면, 사용자(220) 또는 상대방(710)은 전자 장치(210) 또는 외부 전자 장치의 디스플레이(720) 상에 어떤 레이아웃을 이용하여 화상 회의 서비스를 제공 받을 것인지 선택하거나, 전자 장치(210) 또는 외부 전자 장치(230)가 임의 또는 동적으로 레이아웃을 결정할 수 있고, 화면 구성 정보는 레이아웃(730)에 대한 정보 가운데 적어도 일부를 포함할 수 있다. 도 7을 참조하면, 디스플레이(720)에 출력되는 컨텐츠 및 영상은, 특정한 레이아웃(730)을 형성하여 출력될 수 있다. 예를 들면, 레이아웃(730)에 따라서, 컨텐츠 정보(721)는 1영역에서 출력되며, 제3영상 정보(722)는 2영역에서 출력되며, 제4영상 정보(723)는 3영역에서 출력될 수 있다. 화면 구성 정보는, 디스플레이(720) 상의 어느 영역에 어떤 정보가 출력되는지에 대한 위치, 좌표 및/또는 영역 정보를 포함할 수 있다. 다양한 실시예에 따르면, 화면 구성 정보는 디스플레이(720)의 좌표 및/또는 영역에 대한 정보 및 표시될 대상(예: 컨텐츠 정보(721) 및/또는 영상 정보(722 및/또는 723)에 대한 정보가 매핑된 정보일 수 있다.According to various embodiments, the screen configuration information may be information about a position of the information displayed on the display 720 on the display 720 . For example, the screen configuration information may be information about a layout of information to be displayed on the display 720 in order to provide a video conference service. The external electronic device (eg, the external electronic device 230 of FIG. 2 ) and/or the electronic device 210 displays image information about the user (eg, the user 220 of FIG. 2 ) or the counterpart 710 on the display, respectively. can be output, and at the same time, content information can be output. Each image information may be a plurality of images, and each content information may be composed of a plurality of content information. Referring to FIG. 7 , it can be seen that the display 720 simultaneously outputs content information 721 , a third image 722 , and a fourth image 723 . According to various embodiments, the screen configuration information may be information on which content information and/or image information is displayed or is scheduled to be displayed in each location and/or area on the display 720 . According to various embodiments, the user 220 or the counterpart 710 selects which layout to receive the video conferencing service on the display 720 of the electronic device 210 or the external electronic device, or selects the electronic device ( 210 ) or the external electronic device 230 may determine a layout arbitrarily or dynamically, and the screen configuration information may include at least a part of information on the layout 730 . Referring to FIG. 7 , content and images output to the display 720 may be output by forming a specific layout 730 . For example, according to the layout 730 , the content information 721 is output from area 1, the third image information 722 is output from area 2, and the fourth image information 723 is output from area 3 can The screen configuration information may include location, coordinates, and/or area information of which information is output to which area on the display 720 . According to various embodiments, the screen configuration information includes information on coordinates and/or regions of the display 720 and information on objects to be displayed (eg, content information 721 and/or image information 722 and/or 723 ). may be mapped information.
도 7을 참조하면, 시선 정보 및 화면 구성 정보에 기초한 상대방(240)이 바라보는 객체에 대한 정보를 이해할 수 있다. 상대방(240)이 바라보는 객체에 대한 정보는, 상대방(710)이 외부 전자 장치(230)의 디스플레이(720) 상에서 바라보고 있는 대상에 관한 정보일 수 있다. 외부 전자 장치(230)는 화상 회의를 제공하기 위하여 사용자(예: 도 2의 사용자(220))를 촬영한 영상 및/또는 컨텐츠 정보를 디스플레이에 표시할 수 있고, 상대방(710)은 외부 전자 장치(230)의 디스플레이(720) 상의 영역 중 특정한 대상을 바라보는 상태일 수 있다. 예를 들면, 도 7을 참조하면, 상대방(710)은 외부 전자 장치(230)의 디스플레이(720) 상에서 사용자에 대한 영상(예: 제4영상 정보(723))을 바라보는 상태일 수 있다. 또는, 상대방(710)은 제4 영상(723)의 일부(예: 사용자 주변의 물체 이미지)를 바라보는 상태일 수 있다. 도 7을 참조하면, 상대방(240)이 바라보는 객체에 대한 정보는, 상대방(710)의 시선(711)이 머무는, 디스플레이(720)에 출력된 제4영상 정보(723)의 적어도 일부에 대한 정보일 수 있다. 다양한 실시예에 따르면, 상대방(240)이 바라보는 객체에 대한 정보는 상대방(710)의 시선(711)이 갖는 방향에 대한 정보, 상대방(710)과 외부 전자 장치(230)의 디스플레이(720) 간의 상대적 위치에 대한 정보 및/또는 화면 구성 정보의 조합으로써 생성된 것일 수 있다. 다양한 실시예에 따르면, 상대방(240)이 바라보는 객체에 대한 정보는 상대방(710)의 시선(711)이 머무는 외부 전자 장치(230)의 디스플레이(720) 상의 위치에 관한 정보(예: 시선 정보) 및 화면 구성 정보를 기초로 생성될 수 있다. 도 7을 참조하면, 상대방(240)이 바라보는 객체에 대한 정보는 상대방(720)의 시선(711)이 머무는 대상, 즉, 제4영상 정보(723)를 가리키는 정보임을 알 수 있다.Referring to FIG. 7 , information on an object viewed by the counterpart 240 based on gaze information and screen configuration information may be understood. The information on the object that the counterpart 240 is looking at may be information about the object that the counterpart 710 is looking at on the display 720 of the external electronic device 230 . The external electronic device 230 may display an image and/or content information captured by a user (eg, the user 220 of FIG. 2 ) on a display to provide a video conference, and the counterpart 710 may use the external electronic device The 230 may be in a state of looking at a specific target among the areas on the display 720 . For example, referring to FIG. 7 , the counterpart 710 may be in a state of viewing an image (eg, fourth image information 723 ) of the user on the display 720 of the external electronic device 230 . Alternatively, the counterpart 710 may be in a state of looking at a part of the fourth image 723 (eg, an image of an object around the user). Referring to FIG. 7 , the information on the object viewed by the counterpart 240 includes at least a portion of the fourth image information 723 output on the display 720 where the gaze 711 of the counterpart 710 stays. may be information. According to various embodiments, the information on the object viewed by the counterpart 240 includes information on the direction of the gaze 711 of the counterpart 710 and the display 720 of the counterpart 710 and the external electronic device 230 . It may be generated as a combination of information on the relative position of the liver and/or screen configuration information. According to various embodiments, the information on the object viewed by the counterpart 240 is information on the position on the display 720 of the external electronic device 230 where the gaze 711 of the counterpart 710 stays (eg, gaze information). ) and screen configuration information. Referring to FIG. 7 , it can be seen that the information on the object viewed by the counterpart 240 is information indicating the object on which the gaze 711 of the counterpart 720 stays, that is, the fourth image information 723 .
도 8은 다양한 실시예들에 따른 전자 장치가 상대방(240)이 바라보는 객체에 대한 정보를 생성하기 위한 동작 흐름도이다.8 is a flowchart illustrating an operation of an electronic device generating information on an object viewed by the counterpart 240 according to various embodiments of the present disclosure.
도 8을 참조하면, 상대방(240)이 바라보는 객체에 대한 정보를 생성하기 위한 전자 장치(예: 도 1의 전자 장치(101), 도 2의 전자 장치(210) 및/또는 도 3의 전자 장치(300))의 각 동작은 전자 장치에 포함된 프로세서(예: 도 1의 프로세서(120) 및/또는 도 3의 프로세서(350))가 수행하는 각 동작으로 이해될 수 있다.Referring to FIG. 8 , an electronic device (eg, the electronic device 101 of FIG. 1 , the electronic device 210 of FIG. 2 , and/or the electronic device of FIG. 3 ) for generating information on the object viewed by the counterpart 240 . Each operation of the device 300 may be understood as each operation performed by a processor (eg, the processor 120 of FIG. 1 and/or the processor 350 of FIG. 3 ) included in the electronic device.
동작 810을 참조하면, 프로세서(350)는 시선 정보를 획득할 수 있다. 다양한 실시예에 따르면, 프로세서(350)는 시선 정보를 외부 전자 장치(예: 도 2의 외부 전자 장치(230))로부터 수신할 수 있다.Referring to operation 810 , the processor 350 may obtain gaze information. According to various embodiments, the processor 350 may receive gaze information from an external electronic device (eg, the external electronic device 230 of FIG. 2 ).
시선 정보는, 상대방(예: 도 2의 상대방(240))의 시선이 향하는 위치 및/또는 영역에 대한 정보일 수 있다. 예를 들면, 시선은, 상대방(240)의 동공이 향하는 방향일 수 있고, 상대방의 주시안(dominant eye)의 동공이 향하는 방향일 수 있다. 다양한 실시예에 따르면, 시선 정보는 상대방(240)의 시선이 형성하는 물리적인 방향, 물리적인 위치 및/또는 물리적인 영역을 의미할 수 있다. 예를 들면, 시선 정보는 상대방(240)의 눈의 공간적 위치 및 시선의 공간적 각도를 포함한 절대적인 공간 좌표 상의 정보를 포함하는 것일 수 있다. 다양한 실시예에 따르면, 시선 정보는, 외부 전자 장치(230)와 상대방(240)의 상대적인 위치 정보 및/또는 각도 정보를 포함할 수 있다. 예를 들면, 시선 정보는 상대방(240)의 시선이 머무는 외부 전자 장치(230)의 디스플레이 상의 좌표로 표현될 수 있다. 다양한 실시예에 따르면, 시선 정보는, 상대방(240) 눈의 위치와 시선 방향에 대한 절대적인 좌표 및 각도 및 외부 전자 장치(230)의 상대방(240)과의 상대적인 위치를 기초로 하여 조합하여 외부 전자 장치(230)의 디스플레이 상에 머무는 상대방(240)의 시선이 가지는 디스플레이 상의 좌표 및/또는 영역에 대한 정보일 수 있다. 다양한 실시예에 따르면, 시선 정보는 상대방(240)의 안구 위치, 시선 방향, 상대방(240)과 외부 전자 장치(230)(또는 외부 전자 장치(230)의 디스플레이)의 상대적인 위치 및 외부 전자 장치(230)의 디스플레이의 크기 가운데 적어도 하나의 조합일 수 있다. 다양한 실시예에 따르면, 상대방(240)의 시선 정보는, 외부 전자 장치(230) 또는 외부 전자 장치와 연결된 다른 장치로부터 생성될 수 있고, 시선 추적 장치(예: 시선 추적 카메라)를 이용하여 생성될 수 있다. 다양한 실시예에 따르면, 시선 정보는, 상대방(240)을 촬영한 영상(예: 제1영상 정보)를 분석하여, 상대방(240)에 대한 이미지 가운데 양안의 이미지를 분석하여 생성될 수도 있다.The gaze information may be information on a location and/or an area to which the gaze of the other party (eg, the counterpart 240 of FIG. 2 ) is directed. For example, the gaze may be in a direction in which the pupil of the counterpart 240 faces, or in a direction in which the pupil of the counterpart's dominant eye faces. According to various embodiments, the gaze information may mean a physical direction, a physical location, and/or a physical area formed by the gaze of the counterpart 240 . For example, the gaze information may include information on absolute spatial coordinates including the spatial position of the eye of the counterpart 240 and the spatial angle of the gaze. According to various embodiments, the gaze information may include relative position information and/or angle information between the external electronic device 230 and the counterpart 240 . For example, the gaze information may be expressed as coordinates on the display of the external electronic device 230 where the gaze of the counterpart 240 stays. According to various embodiments, the gaze information is combined on the basis of the absolute coordinates and angles of the position and the gaze direction of the counterpart 240 and the relative position of the external electronic device 230 with the counterpart 240 to form an external electronic device. It may be information on coordinates and/or an area on the display of the gaze of the counterpart 240 staying on the display of the device 230 . According to various embodiments, the gaze information includes the eyeball position, the gaze direction of the counterpart 240 , the relative position of the counterpart 240 and the external electronic device 230 (or the display of the external electronic device 230 ), and the external electronic device ( 230) may be a combination of at least one of the sizes of the displays. According to various embodiments, the gaze information of the counterpart 240 may be generated from the external electronic device 230 or another device connected to the external electronic device, and may be generated using a gaze tracking device (eg, gaze tracking camera). can According to various embodiments, the gaze information may be generated by analyzing an image (eg, first image information) of the other party 240 , and analyzing images of both eyes among the images of the other party 240 .
다양한 실시예에 따르면, 프로세서(350)는 시선 정보를 생성할 수 있다. 다양한 실시예에 따르면, 프로세서(350)는 외부 전자 장치(230)로부터 시선 정보를 수신하지 않고, 직접 시선 정보를 생성할 수 있다. 다양한 실시예에 따르면, 프로세서(350)는 외부 전자 장치(230)로부터 수신한 상대방(240)에 대한 영상 정보(예: 제1영상 정보)에 기초하여 시선 정보를 생성할 수 있다. 다양한 실시예에 따르면, 프로세서(350)는 외부 전자 장치(230)가 생성한 제1영상 정보를 외부 전자 장치(230)로부터 수신할 수 있다. 다양한 실시예에 따르면, 프로세서(350)는 제1영상 정보를 기초로 시선 정보를 생성할 수 있다. 예를 들면, 프로세서(350)는 제1영상 정보를 분석하여, 제1영상 정보 내에 포함된 상대방(예: 도 2의 상대방(240))의 이미지 가운데 양안에 대응되는 이미지를 분석하고, 시선 정보를 생성할 수 있다.According to various embodiments, the processor 350 may generate gaze information. According to various embodiments, the processor 350 may directly generate the gaze information without receiving the gaze information from the external electronic device 230 . According to various embodiments, the processor 350 may generate gaze information based on image information (eg, first image information) about the counterpart 240 received from the external electronic device 230 . According to various embodiments, the processor 350 may receive the first image information generated by the external electronic device 230 from the external electronic device 230 . According to various embodiments, the processor 350 may generate gaze information based on the first image information. For example, the processor 350 analyzes the first image information, analyzes an image corresponding to both eyes among images of the counterpart (eg, the counterpart 240 in FIG. 2 ) included in the first image information, and provides gaze information can create
동작 820을 참조하면, 프로세서(350)는 외부 전자 장치(예: 도 2의 외부 전자 장치(230))의 화면 구성 정보(예: 제2화면 구성 정보)를 획득할 수 있다. 화면 구성 정보는, 디스플레이에 표시되는 정보가 디스플레이 상에 가지는 위치에 관한 정보일 수 있다. 예를 들어, 화면 구성 정보는, 화상 회의 서비스를 제공하기 위하여 디스플레이 상에 표시할 정보의 레이아웃에 관한 정보일 수 있다. 외부 전자 장치(230)는 디스플레이 상에 사용자(예: 도 2의 사용자(220)) 또는 다른 상대방에 대한 영상 정보를 출력할 수 있고, 동시에, 컨텐츠 정보를 출력할 수 있다. 각 영상 정보는 복수의 영상일 수 있고, 각 컨텐츠 정보는 복수의 컨텐츠 정보로 구성될 수 있다. 다양한 실시예에 따르면, 화면 구성 정보는 디스플레이 상의 각 위치 및/또는 영역에 어떤 컨텐츠 정보 및/또는 영상 정보가 표시되는지, 또는 표시될 예정인지에 대한 정보일 수 있다. 다양한 실시예에 따르면, 상대방(240)은 외부 전자 장치(230)의 디스플레이 상에 어떤 레이아웃을 이용하여 화상 회의 서비스를 제공 받을 것인지 선택하거나, 외부 전자 장치(230)가 임의 또는 동적으로 레이아웃을 결정할 수 있고, 화면 구성 정보는 레이아웃에 대한 정보 가운데 적어도 일부를 포함할 수 있다. 다양한 실시예에 따르면, 외부 전자 장치(230)는 외부 전자 장치(230)의 화면 구성 정보(예: 제2화면 구성 정보)를 생성할 수 있다. 다양한 실시예에 따르면, 화면 구성 정보는 디스플레이의 좌표 및/또는 영역에 대한 정보 및 표시될 대상(예: 컨텐츠 정보 및/또는 영상 정보)에 대한 정보가 매핑된 정보일 수 있다.Referring to operation 820 , the processor 350 may obtain screen configuration information (eg, second screen configuration information) of an external electronic device (eg, the external electronic device 230 of FIG. 2 ). The screen configuration information may be information about a position of the information displayed on the display on the display. For example, the screen configuration information may be information about a layout of information to be displayed on a display in order to provide a video conference service. The external electronic device 230 may output image information about a user (eg, the user 220 of FIG. 2 ) or another counterpart on the display, and simultaneously output content information. Each image information may be a plurality of images, and each content information may be composed of a plurality of content information. According to various embodiments, the screen configuration information may be information on which content information and/or image information is to be displayed or is to be displayed in each location and/or area on the display. According to various embodiments, the counterpart 240 selects a layout on the display of the external electronic device 230 to receive the video conferencing service, or the external electronic device 230 determines the layout arbitrarily or dynamically. and the screen configuration information may include at least a part of information about the layout. According to various embodiments, the external electronic device 230 may generate screen configuration information (eg, second screen configuration information) of the external electronic device 230 . According to various embodiments, the screen configuration information may be information to which information on coordinates and/or regions of a display and information on an object to be displayed (eg, content information and/or image information) are mapped.
다양한 실시예에 따르면, 프로세서(350)는 외부 전자 장치(예: 도 2의 외부 전자 장치(230))가 생성하고 전송한 외부 전자 장치(230)의 화면 구성 정보(예: 제2화면 구성 정보)를 수신하여, 외부 전자 장치의 화면 구성 정보를 획득할 수 있다.According to various embodiments, the processor 350 generates screen configuration information (eg, second screen configuration information) of the external electronic device 230 generated and transmitted by the external electronic device (eg, the external electronic device 230 of FIG. 2 ). ) to obtain screen configuration information of the external electronic device.
동작 830을 참조하면, 프로세서(350)는 시선 정보 및 외부 전자 장치의 화면 구성 정보에 기초하여 상대방(240)이 바라보는 객체에 대한 정보를 생성할 수 있다. 상대방(240)이 바라보는 객체에 대한 정보는, 상대방(240)이 외부 전자 장치(230)의 디스플레이 상에서 바라보고 있는 대상에 관한 정보일 수 있다. 외부 전자 장치(230)는 화상 회의를 제공하기 위하여 사용자(예: 도 2의 사용자(220))를 촬영한 영상 및/또는 컨텐츠 정보를 디스플레이에 표시할 수 있고, 상대방(240)은 외부 전자 장치(230)의 디스플레이 상의 영역 중 특정한 대상을 바라보는 상태일 수 있다. 예를 들면, 상대방(240)은 외부 전자 장치(230)의 디스플레이 상에서 사용자(220)에 대한 영상을 바라보는 상태일 수 있고, 컨텐츠 정보를 바라보는 상태일 수 있다. 또는, 상대방(240)은 사용자(220)에 대한 영상의 일부를 바라보거나, 컨텐츠 정보의 일부를 바라보는 상태일 수 있다. 다양한 실시예에 따르면, 상대방(240)이 바라보는 객체에 대한 정보는, 상대방(240)이 바라보는 외부 전자 장치(230)에 출력된 사용자(220)에 대한 영상 또는 컨텐츠 정보의 적어도 일부에 대한 정보일 수 있다. 다양한 실시예에 따르면, 상대방(240)이 바라보는 객체에 대한 정보는 상대방(240)의 시선 방향에 대한 정보, 상대방(240)과 외부 전자 장치(230)의 디스플레이 간의 상대적 위치에 대한 정보 및/또는 외부 전자 장치(230)가 출력하는 요소(예: 사용자(220))에 대한 영상 또는 컨텐츠 정보)의 디스플레이 상의 위치에 대한 정보(예: 외부 전자 장치(230)의 화면 구성 정보)의 조합으로써 생성된 것일 수 있다. 다양한 실시예에 따르면, 상대방(240)이 바라보는 객체에 대한 정보는 상대방(240)의 시선이 머무는 외부 전자 장치(230)의 디스플레이 상의 위치에 관한 정보(예: 시선 정보) 및 외부 전자 장치(230)의 디스플레이 상에 출력하는 대상에 관한 정보(예: 외부 전자 장치(230)의 화면 구성 정보)를 기초로 생성될 수 있다. 다양한 실시예에 따르면, 프로세서(350)는 획득한 시선 정보 및 외부 전자 장치(230)의 화면 구성 정보(예: 제2화면 구성 정보)에 기초하여 상대방(240)이 바라보는 객체에 대한 정보를 생성할 수 있다. 다양한 실시예에 따르면, 프로세서(350)는 외부 전자 장치(230)로부터 수신하거나 직접 생성한 시선 정보를 이용하여 상대방(240)의 시선이 외부 전자 장치(230) 디스플레이의 어느 영역에 머무는지에 관한 정보를 확인하고, 화면 구성 정보를 이용하여 외부 전자 장치(230) 디스플레이의 어느 영역에 어떤 정보가 표시되는지에 관한 정보를 확인하여 이들의 조합으로 상대방(240)이 바라보는 객체에 대한 정보를 생성할 수 있다.Referring to operation 830 , the processor 350 may generate information on the object viewed by the counterpart 240 based on the gaze information and the screen configuration information of the external electronic device. The information about the object that the counterpart 240 is looking at may be information about the object that the counterpart 240 is looking at on the display of the external electronic device 230 . The external electronic device 230 may display an image and/or content information captured by a user (eg, the user 220 of FIG. 2 ) on a display to provide a video conference, and the counterpart 240 may use the external electronic device It may be a state of looking at a specific object among the areas on the display of 230 . For example, the counterpart 240 may be in a state of viewing an image of the user 220 on the display of the external electronic device 230 , or may be viewing content information. Alternatively, the counterpart 240 may be in a state of looking at a part of the image for the user 220 or part of the content information. According to various embodiments, the information on the object viewed by the counterpart 240 includes at least a portion of the image or content information about the user 220 output to the external electronic device 230 that the counterpart 240 is looking at. may be information. According to various embodiments, the information on the object viewed by the counterpart 240 includes information on the gaze direction of the counterpart 240 , information on the relative position between the counterpart 240 and the display of the external electronic device 230 and/ Alternatively, as a combination of information (eg, screen configuration information of the external electronic device 230 ) on the display position of an element (eg, image or content information about the user 220 ) output by the external electronic device 230 . may have been created. According to various embodiments, the information on the object viewed by the counterpart 240 includes information about the location on the display of the external electronic device 230 where the counterpart 240 is looking (eg, gaze information) and the external electronic device ( 230 ) may be generated based on information about a target output on the display (eg, screen configuration information of the external electronic device 230 ). According to various embodiments of the present disclosure, the processor 350 obtains information on the object viewed by the counterpart 240 based on the acquired gaze information and screen configuration information (eg, second screen configuration information) of the external electronic device 230 . can create According to various embodiments, the processor 350 uses gaze information received from or directly generated from the external electronic device 230 to provide information on which area of the display of the external electronic device 230 where the gaze of the counterpart 240 stays. to generate information on an object viewed by the other party 240 using a combination of these can
도 9는 다양한 실시예들에 따른 전자 장치가 화상 회의 서비스를 제공하는 예시도이다.9 is an exemplary diagram in which an electronic device provides a video conferencing service according to various embodiments of the present disclosure;
도 9를 참조하면, 외부 전자 장치(920)(예: 도 2의 외부 전자 장치(230))는 상대방(910)(User A)(예: 도 2의 상대방(240))에게 화상 회의 서비스를 제공하고, 전자 장치(950)(예: 도 1의 전자 장치(101), 도 2의 전자 장치(210) 및/또는 도 3의 전자 장치(300))는 사용자(940)(User B)(예: 도 2의 사용자(220))에게 화상 회의 서비스를 제공하는 예시일 수 있다. 도 9를 참조하면, 외부 전자 장치(920)는 외부 전자 장치의 디스플레이(예: 제1디스플레이(930))에 사용자를 표현하는 영상(931) 및 컨텐츠 정보(예: 제1컨텐츠 정보(932))를 표시하여 상대방(910)에게 화상 회의 서비스를 제공할 수 있다. 사용자를 표현하는 영상(931)은, 예를 들면, 사용자(940)를 촬영한 영상일 수 있고, 또는 사용자(940)를 촬영한 영상을 이용하여 편집 및/또는 재생성한 다른 영상일 수 있다. 도 9를 참조하면, 상대방(950)의 시선(911)이 머무는 제1디스플레이(930) 상의 위치는 컨텐츠 정보(932)를 표시한 영역(예: 상대방이 바라보는 대상(912))일 수 있다. 다양한 실시예에 따르면, 이 경우 상대방(240)이 바라보는 객체에 대한 정보는 상대방(910)이 바라보고 있는 대상(예: 상대방이 바라보는 대상(912))에 관한 정보, 즉, 제1컨텐츠 정보(932)에 관한 정보가 될 수 있다.Referring to FIG. 9 , an external electronic device 920 (eg, the external electronic device 230 of FIG. 2 ) provides a video conference service to a counterpart 910 (User A) (eg, the counterpart 240 of FIG. 2 ). provided, the electronic device 950 (eg, the electronic device 101 of FIG. 1 , the electronic device 210 of FIG. 2 , and/or the electronic device 300 of FIG. 3 ) is the user 940 (User B) ( Example: This may be an example of providing a video conferencing service to the user 220 of FIG. 2 . Referring to FIG. 9 , the external electronic device 920 displays an image 931 representing a user on a display (eg, first display 930) of the external electronic device and content information (eg, first content information 932). ) to provide a video conference service to the counterpart 910 . The image 931 representing the user may be, for example, an image captured by the user 940 , or another image edited and/or regenerated using the image captured by the user 940 . Referring to FIG. 9 , the position on the first display 930 where the gaze 911 of the counterpart 950 stays may be the area displaying the content information 932 (eg, the object 912 the counterpart is looking at). . According to various embodiments, in this case, the information on the object that the counterpart 240 is looking at is information about the object the counterpart 910 is looking at (eg, the object 912 the counterpart is looking at), that is, the first content. It may be information about information 932 .
다양한 실시예에 따르면, 전자 장치(950)는 상대방(240)이 바라보는 객체에 대한 정보를 획득할 수 있다. 예를 들면, 전자 장치(950)는 외부 전자 장치(920)로부터 상대방(240)이 바라보는 객체에 대한 정보를 수신할 수 있다. 외부 전자 장치(920)는 상대방(910)의 시선(911)을 추적하여 시선 정보를 생성할 수 있고, 외부 전자 장치(920)의 화면 구성 정보(예: 제2화면 구성 정보)를 생성하여, 시선 정보 및 화면 구성 정보에 기초하여 상대방(240)이 바라보는 객체에 대한 정보를 생성한 뒤, 전자 장치(950)로 전송할 수 있다. 다양한 실시예에 따르면. 전자 장치(950)는 상대방(240)이 바라보는 객체에 대한 정보를 생성할 수 있다. 예를 들면, 전자 장치(950)는 상대방(910)을 촬영한 영상(미도시)(예: 제1영상 정보) 및 외부 전자 장치(920)의 화면 구성 정보를 외부 전자 장치(920)로부터 수신할 수 있다. 또한, 전자 장치(950)는 수신한 상대방(910)을 촬영한 제1영상 정보를 분석하여, 시선 정보를 생성할 수 있다. 전자 장치(950)는 생성한 시선 정보 및 수신한 외부 전자 장치(920)의 화면 구성 정보에 기초하여 상대방(240)이 바라보는 객체에 대한 정보를 생성할 수 있다. 다양한 실시예에 따르면, 전자 장치(950)는 외부 전자 장치(920)가 생성한 시선 정보 및 외부 전자 장치(920)의 화면 구성 정보를 외부 전자 장치(920)로부터 수신할 수 있다. 또한 수신한 시선 정보 및 외부 전자 장치(920)의 화면 구성 정보에 기초하여 상대방(240)이 바라보는 객체에 대한 정보를 생성할 수 있다.According to various embodiments, the electronic device 950 may obtain information about the object that the counterpart 240 is looking at. For example, the electronic device 950 may receive information about the object viewed by the counterpart 240 from the external electronic device 920 . The external electronic device 920 may generate gaze information by tracking the gaze 911 of the counterpart 910, and may generate screen configuration information (eg, second screen configuration information) of the external electronic device 920, After generating information on the object that the counterpart 240 looks at based on the gaze information and the screen configuration information, the information may be transmitted to the electronic device 950 . According to various embodiments. The electronic device 950 may generate information on the object viewed by the counterpart 240 . For example, the electronic device 950 receives an image (not shown) of the counterpart 910 (eg, first image information) and screen configuration information of the external electronic device 920 from the external electronic device 920 . can do. Also, the electronic device 950 may generate gaze information by analyzing the received first image information of the other party 910 . The electronic device 950 may generate information on the object viewed by the counterpart 240 based on the generated gaze information and the received screen configuration information of the external electronic device 920 . According to various embodiments, the electronic device 950 may receive gaze information generated by the external electronic device 920 and screen configuration information of the external electronic device 920 from the external electronic device 920 . Also, based on the received gaze information and screen configuration information of the external electronic device 920 , information on the object viewed by the counterpart 240 may be generated.
다양한 실시예에 따르면, 전자 장치(950)는 화면 구성 정보를 생성할 수 있다. 도 9를 참조하면, 전자 장치(950)는 디스플레이(제2디스플레이(960)) 상에 제2영상 정보(961) 및 컨텐츠 정보(예: 제2컨텐츠 정보(962))를 출력하여 사용자(940)에게 화상 회의 서비스를 제공할 수 있다. 도 9를 참조하면, 제2컨텐츠 정보(962)는, 제1컨텐츠 정보(932)와 동일한 컨텐츠에 관한 정보일 수 있고, 외부 전자 장치(920) 및 전자 장치(950)는 서로 동일한 컨텐츠 정보를 공유할 수 있다. 전자 장치(950)는 제2영상 정보(961)을 제2컨텐츠 정보(962)의 좌상측에 해당하는 위치 또는 영역에 출력하는 중이거나 출력 예정일 수 있다. 전자 장치(950)는 상기한 위치 및/또는 영역과, 컨텐츠 정보(제2컨텐츠 정보(962))를 출력하는 위치 및/또는 영역을 확인하고, 전자 장치(950)의 화면 구성 정보(예: 제1화면 구성 정보)를 생성할 수 있다.According to various embodiments, the electronic device 950 may generate screen configuration information. Referring to FIG. 9 , the electronic device 950 outputs second image information 961 and content information (eg, second content information 962 ) on a display (second display 960 ) to a user 940 . ) can provide video conferencing services. Referring to FIG. 9 , the second content information 962 may be information about the same content as the first content information 932 , and the external electronic device 920 and the electronic device 950 share the same content information with each other. can share The electronic device 950 may be in the process of outputting the second image information 961 to a location or region corresponding to the upper left side of the second content information 962 or may be outputting the second image information 961 . The electronic device 950 identifies the above-described location and/or area and a location and/or area for outputting content information (second content information 962 ), and screen configuration information (eg: first screen configuration information) can be generated.
전자 장치(950)는 상대방(240)이 바라보는 객체에 대한 정보 및 제2화면 구성 정보를 기초로 제2영상 정보(961)를 생성할 수 있다. 제2영상 정보(961)는 상대방(910)에 대응되는 영상일 수 있다. 예를 들어, 화상 회의의 참여자인 상대방(910)을 표현한 영상일 수 있다. 다양한 실시예에 따르면, 제2영상 정보는 상대방(910)의 상대방(240)이 바라보는 객체에 대한 정보를 표현하는 영상일 수 있다. 다양한 실시예에 따르면, 제2영상 정보는 상대방(910)을 표현한 이미지 객체가 상대방(910)의 상대방이 바라보는 대상(912)과 동일한 대상을, 전자 장치(950)의 제2디스플레이(960) 상에서 바라보는 이미지를 표현한 영상일 수 있다. 예를 들어, 상대방(240)이 바라보는 객체에 대한 정보에 기초하여, 상대방(910)이 외부 전자 장치(920)의 디스플레이(예: 제1디스플레이(930)) 상에서 바라보는 대상(예: 상대방이 바라보는 객체)이 컨텐츠 정보(제1컨텐츠 정보(932))인 것으로 판단하는 경우, 전자 장치(950)는 상대방(910)을 표현한 이미지 객체가 제2디스플레이(960) 상에서도 제1컨텐츠 정보(932)와 동일한 컨텐츠에 대한 정보인, 제2컨텐츠 정보(962)를 바라보는 이미지를 포함하여 제2영상 정보를 생성할 수 있다. 도 9를 참조하면, 제2영상 정보(961)는 상대방(240)이 바라보는 객체에 대한 정보에 대응되는 대상인, 제2컨텐츠 정보(962) 방향으로 시선을 향하는 모습의 이미지 객체를 포함할 수 있다.The electronic device 950 may generate the second image information 961 based on the information on the object viewed by the counterpart 240 and the second screen configuration information. The second image information 961 may be an image corresponding to the counterpart 910 . For example, it may be an image expressing the counterpart 910 who is a participant in the video conference. According to various embodiments, the second image information may be an image expressing information about an object viewed by the counterpart 240 of the counterpart 910 . According to various embodiments, in the second image information, the image object representing the counterpart 910 is the same as the object 912 that the counterpart of the counterpart 910 is looking at, and the second display 960 of the electronic device 950 . It may be an image expressing an image viewed from above. For example, based on the information on the object that the counterpart 240 looks at, the object (eg, the counterpart) that the counterpart 910 looks at on the display (eg, the first display 930 ) of the external electronic device 920 . When it is determined that the object to be viewed) is content information (first content information 932), the electronic device 950 indicates that the image object representing the counterpart 910 is also displayed on the second display 960 as the first content information ( The second image information may be generated including an image looking at the second content information 962 , which is information on the same content as 932 . Referring to FIG. 9 , the second image information 961 may include an image object with a gaze facing in the direction of the second content information 962 , which is a target corresponding to the information on the object the other party 240 is looking at. have.
도 10은 다양한 실시예들에 따른 전자 장치가 화상 회의 서비스를 제공하는 예시도이다.10 is an exemplary diagram in which an electronic device provides a video conferencing service according to various embodiments of the present disclosure;
도 10을 참조하면, 외부 전자 장치(1020)(예: 도 2의 외부 전자 장치(230))는 상대방(1010)(User A)(예: 도 2의 상대방(240))에게 화상 회의 서비스를 제공하고, 전자 장치(1050)(예: 도 1의 전자 장치(101), 도 2의 전자 장치(210) 및/또는 도 3의 전자 장치(300))는 사용자(1020)(User B)(예: 도 2의 사용자(220))에게 화상 회의 서비스를 제공하는 예시일 수 있다. 도 10를 참조하면, 외부 전자 장치(1020)는 외부 전자 장치의 디스플레이(예: 제1디스플레이(1030))에 사용자를 표현하는 영상(1031) 및 컨텐츠 정보(예: 제1컨텐츠 정보(1032))를 표시하여 상대방(1010)에게 화상 회의 서비스를 제공할 수 있다. 사용자를 표현하는 영상(예: 제3영상(1031))은, 예를 들면, 사용자(1040)를 촬영한 영상일 수 있고, 또는 사용자(1040)를 촬영한 영상을 이용하여 편집 및/또는 재생성한 다른 영상일 수 있다. 도 10를 참조하면, 상대방(1050)의 시선(1011)이 머무는 제1디스플레이(1030) 상의 위치는(예: 상대방이 바라보는 대상(1012)) 컨텐츠 정보(1032)를 표시한 영역일 수 있다. 다양한 실시예에 따르면, 이 경우 상대방(240)이 바라보는 객체에 대한 정보는 상대방(1010)이 바라보고 있는 대상(예: 상대방이 바라보는 대상(1012))에 관한 정보, 즉, 사용자(1040)를 표현한 영상(예: 제3영상(1031))에 관한 정보가 될 수 있다. Referring to FIG. 10 , an external electronic device 1020 (eg, the external electronic device 230 of FIG. 2 ) provides a video conference service to a counterpart 1010 (User A) (eg, the counterpart 240 of FIG. 2 ). provided, the electronic device 1050 (eg, the electronic device 101 of FIG. 1 , the electronic device 210 of FIG. 2 , and/or the electronic device 300 of FIG. 3 ) is the user 1020 (User B) ( Example: This may be an example of providing a video conferencing service to the user 220 of FIG. 2 . Referring to FIG. 10 , the external electronic device 1020 includes an image 1031 representing a user on a display (eg, first display 1030) of the external electronic device and content information (eg, first content information 1032). ) to provide a video conference service to the counterpart 1010 . An image representing the user (eg, the third image 1031 ) may be, for example, an image captured by the user 1040 , or edited and/or reproduced using an image captured by the user 1040 . It could be a different image. Referring to FIG. 10 , the position on the first display 1030 where the gaze 1011 of the other party 1050 stays (eg, the target 1012 that the other party looks at) may be an area in which the content information 1032 is displayed. . According to various embodiments, in this case, the information about the object that the counterpart 240 is looking at is information about the object the counterpart 1010 is looking at (eg, the object 1012 that the counterpart is looking at), that is, the user 1040 . ) may be information about an image (eg, the third image 1031).
다양한 실시예에 따르면, 전자 장치(1050)는 상대방(240)이 바라보는 객체에 대한 정보를 획득할 수 있다. 예를 들면, 전자 장치(1050)는 외부 전자 장치(1020)로부터 상대방(240)이 바라보는 객체에 대한 정보를 수신할 수 있다. 외부 전자 장치(1020)는 상대방(1010)의 시선(1011)을 추적하여 시선 정보를 생성할 수 있고, 외부 전자 장치(1020)의 화면 구성 정보(예: 제2화면 구성 정보)를 생성하여, 시선 정보 및 화면 구성 정보에 기초하여 상대방(240)이 바라보는 객체에 대한 정보를 생성한 뒤, 전자 장치(1050)로 전송할 수 있다. 다양한 실시예에 따르면. 전자 장치(1050)는 상대방(240)이 바라보는 객체에 대한 정보를 생성할 수 있다. 예를 들면, 전자 장치(1050)는 상대방(1010)을 촬영한 영상(미도시)(예: 제1영상 정보) 및 외부 전자 장치(1020)의 화면 구성 정보를 외부 전자 장치(1020)로부터 수신할 수 있다. 또한, 전자 장치(1050)는 수신한 상대방(1010)을 촬영한 제1영상 정보를 분석하여, 시선 정보를 생성할 수 있다. 전자 장치(1050)는 생성한 시선 정보 및 수신한 외부 전자 장치(1020)의 화면 구성 정보에 기초하여 상대방(240)이 바라보는 객체에 대한 정보를 생성할 수 있다. 다양한 실시예에 따르면, 전자 장치(1050)는 외부 전자 장치(1020)가 생성한 시선 정보 및 외부 전자 장치(1020)의 화면 구성 정보를 외부 전자 장치(1020)로부터 수신할 수 있다. 또한 수신한 시선 정보 및 외부 전자 장치(1020)의 화면 구성 정보에 기초하여 상대방(240)이 바라보는 객체에 대한 정보를 생성할 수 있다.According to various embodiments, the electronic device 1050 may obtain information about the object that the counterpart 240 is looking at. For example, the electronic device 1050 may receive information about an object viewed by the counterpart 240 from the external electronic device 1020 . The external electronic device 1020 may generate gaze information by tracking the gaze 1011 of the counterpart 1010, and may generate screen configuration information (eg, second screen configuration information) of the external electronic device 1020, After generating information on the object that the counterpart 240 looks at based on the gaze information and the screen configuration information, the information may be transmitted to the electronic device 1050 . According to various embodiments. The electronic device 1050 may generate information on the object viewed by the counterpart 240 . For example, the electronic device 1050 receives an image (not shown) of the counterpart 1010 (eg, first image information) and screen configuration information of the external electronic device 1020 from the external electronic device 1020 . can do. Also, the electronic device 1050 may analyze the received first image information of the other party 1010 to generate gaze information. The electronic device 1050 may generate information on the object viewed by the counterpart 240 based on the generated gaze information and the received screen configuration information of the external electronic device 1020 . According to various embodiments, the electronic device 1050 may receive gaze information generated by the external electronic device 1020 and screen configuration information of the external electronic device 1020 from the external electronic device 1020 . Also, based on the received gaze information and screen configuration information of the external electronic device 1020 , information on the object viewed by the counterpart 240 may be generated.
다양한 실시예에 따르면, 전자 장치(1050)는 화면 구성 정보를 생성할 수 있다. 도 10를 참조하면, 제2디스플레이(1060) 및 제3디스플레이(1070)는 모두 전자 장치(1050)의 동일한 디스플레이를 도시한 것이나, 서로 다른 상황에서의 전자 장치(1050) 디스플레이 화면을 도시한 것으로 이해될 수 있다. 예를 들어, 제1상황은, 디스플레이와 마주하는 사용자(1041)의 경우로 볼 수 있을 것이고, 제2상황은, 디스플레이의 좌측으로 이동한 사용자(1042)의 경우로 볼 수 있을 것이다. 도 10을 참조하면, 전자 장치(1050)의 화면 구성 정보는 모두 컨텐츠 정보(예: 제2컨텐츠 정보(1062) 및 제3컨텐츠 정보(1072)) 및 제2영상 정보(예: 제2영상 정보A(1061) 및 제2영상 정보B(1071))가 디스플레이(예: 제2디스플레이(1060) 및 제3디스플레이(1070))의 동일한 위치에 표시되므로, 전자 장치(1050)의 화면 구성 정보(예: 제1화면 구성 정보)에 관하여, 제2디스플레이(1060)의 경우 및 제3디스플레이(1070)의 경우 모두 동일한 화면 구성 정보를 가지는 것으로 볼 수 있다. 본 문서에서는 편의상, 제1상황을 기준으로만 설명하기로 한다. According to various embodiments, the electronic device 1050 may generate screen configuration information. Referring to FIG. 10 , both the second display 1060 and the third display 1070 show the same display of the electronic device 1050 , but show the display screens of the electronic device 1050 in different situations. can be understood For example, the first situation may be viewed as the case of the user 1041 facing the display, and the second situation may be viewed as the case of the user 1042 moving to the left side of the display. Referring to FIG. 10 , all screen configuration information of the electronic device 1050 includes content information (eg, second content information 1062 and third content information 1072 ) and second image information (eg, second image information). Since A 1061 and the second image information B 1071) are displayed at the same position on the display (eg, the second display 1060 and the third display 1070), the screen configuration information ( Example: With respect to the first screen configuration information), it can be seen that both the second display 1060 and the third display 1070 have the same screen configuration information. In this document, for convenience, description will be made based on the first situation only.
다양한 실시예에 따르면, 전자 장치(1050)는 제2디스플레이(1060) 상에 제2영상 정보(1061) 및 컨텐츠 정보(예: 제2컨텐츠 정보(1062))를 출력하여 사용자(1040)에게 화상 회의 서비스를 제공할 수 있다. 도 10를 참조하면, 제2컨텐츠 정보(1062)는, 제1컨텐츠 정보(1032)와 동일한 컨텐츠에 관한 정보일 수 있고, 외부 전자 장치(1020) 및 전자 장치(1050)는 서로 동일한 컨텐츠 정보를 공유할 수 있다. 전자 장치(1050)는 제2영상 정보A(1061)를 제2컨텐츠 정보(1062)의 좌상측에 해당하는 위치 또는 영역에 출력하는 중이거나 출력 예정일 수 있다. 전자 장치(1050)는 상기한 위치 및/또는 영역과, 컨텐츠 정보(제2컨텐츠 정보(1062))를 출력하는 위치 및/또는 영역을 확인하고, 전자 장치(1050)의 화면 구성 정보(예: 제1화면 구성 정보)를 생성할 수 있다.According to various embodiments, the electronic device 1050 outputs the second image information 1061 and content information (eg, the second content information 1062 ) on the second display 1060 to provide an image to the user 1040 . Meeting services can be provided. Referring to FIG. 10 , the second content information 1062 may be information about the same content as the first content information 1032 , and the external electronic device 1020 and the electronic device 1050 share the same content information with each other. can share The electronic device 1050 may be in the process of outputting the second image information A 1061 to a position or region corresponding to the upper left of the second content information 1062 or may be outputting the second image information A 1061 . The electronic device 1050 identifies the above-described location and/or area and a location and/or area where content information (second content information 1062) is output, and screen configuration information (eg: first screen configuration information) can be generated.
전자 장치(1050)는 상대방(240)이 바라보는 객체에 대한 정보 및 제2화면 구성 정보를 기초로 제2영상 정보A(1061)를 생성할 수 있다. 제2영상 정보A(1061)는 상대방(1010)에 대응되는 영상일 수 있다. 예를 들어, 화상 회의의 참여자인 상대방(1010)을 표현한 영상일 수 있다. 다양한 실시예에 따르면, 제2영상 정보A는 상대방(1010)의 상대방(240)이 바라보는 객체에 대한 정보를 표현하는 영상일 수 있다. 다양한 실시예에 따르면, 제2영상 정보A는 상대방(1010)을 표현한 이미지 객체가 상대방(1010)의 상대방이 바라보는 대상(1012)과 동일한 대상을, 전자 장치(1050)의 제2디스플레이(1060) 상에서 바라보는 이미지를 표현한 영상일 수 있다. 예를 들어, 상대방(1010)의 상대방이 바라보는 대상(1012)이 사용자(1040)의 영상(예: 제3영상(1031))인 경우, 전자 장치(1050)는 상대방(1010)을 표현한 이미지 객체가 정면 또는 사용자(1040)의 현 위치를 향하는 방향을 바라보는 이미지를 포함하여 제2영상 정보A(1061)를 생성할 수 있다. 도 10을 참조하면, 제1상황의 경우, 제2영상 정보A(1061)는 정면을 바라보는 이미지 객체를 포함할 수 있다. 상대방(240)이 바라보는 객체에 대한 정보는 상대방이 바라보는 대상(1012)이 사용자(1040)에 대응하는 영상(1031)임을 표시하는 정보일 수 있고, 제2영상 정보A(1061)는 디스플레이와 마주하는 사용자(1041)의 위치, 즉 정면을 바라보는 이미지 객체를 포함할 수 있다.The electronic device 1050 may generate the second image information A 1061 based on the information on the object viewed by the counterpart 240 and the second screen configuration information. The second image information A 1061 may be an image corresponding to the counterpart 1010 . For example, it may be an image expressing the counterpart 1010 who is a participant in the video conference. According to various embodiments, the second image information A may be an image expressing information about an object viewed by the counterpart 240 of the counterpart 1010 . According to various embodiments, in the second image information A, the image object representing the counterpart 1010 is the same as the object 1012 that the counterpart of the counterpart 1010 is looking at, and the second display 1060 of the electronic device 1050 is ) may be an image expressing an image viewed from above. For example, when the object 1012 that the counterpart of the counterpart 1010 sees is an image of the user 1040 (eg, the third image 1031 ), the electronic device 1050 displays an image representing the counterpart 1010 . The second image information A 1061 may be generated including an image in which the object faces the front or the direction toward the current location of the user 1040 . Referring to FIG. 10 , in the first situation, the second image information A 1061 may include an image object facing the front. The information on the object viewed by the counterpart 240 may be information indicating that the object 1012 viewed by the counterpart is an image 1031 corresponding to the user 1040, and the second image information A 1061 is displayed It may include a position of the user 1041 facing the , that is, an image object facing the front.
다양한 실시예에 따르면, 전자 장치(1050)는 사용자의 위치에 기초하여 제2영상 정보(예: 제2영상 정보B(1071))를 생성할 수 있다. 도 10의 제2상황의 경우를 참조하면, 전자 장치(1050)는 사용자(1042)와 제2디스플레이(1070) 간의 상대적 위치에 대한 정보를 획득하고, 상대적 위치에 대한 정보를 이용하여 제2영상 정보(예: 제2영상 정보B(1071))를 생성할 수 있다. 도 10을 참조하면, 제2상황의 경우, 제2영상 정보B(1071)는 좌측을 바라보는 이미지 객체를 포함할 수 있다. 전자 장치(1050)는 좌측으로 이동한 사용자(1042)를 촬영하는 중일 수 있고, 좌측으로 이동한 사용자(1042)의 디스플레이(1070)와의 상대적인 위치를 확인할 수 있다. 전자 장치(1050)는 제1영상 정보, 상대방(240)이 바라보는 객체에 대한 정보 및 사용자의 상대적 위치에 대한 정보를 이용하여 제2영상 정보B(1071)를 생성할 수 있다.According to various embodiments, the electronic device 1050 may generate second image information (eg, second image information B 1071 ) based on the location of the user. Referring to the case of the second situation of FIG. 10 , the electronic device 1050 obtains information on the relative position between the user 1042 and the second display 1070 , and uses the information on the relative position to obtain a second image Information (eg, the second image information B 1071) may be generated. Referring to FIG. 10 , in the second situation, the second image information B 1071 may include a left-facing image object. The electronic device 1050 may be in the middle of photographing the user 1042 who has moved to the left, and may check the relative position of the user 1042 who has moved to the left with the display 1070 . The electronic device 1050 may generate the second image information B 1071 by using the first image information, information on the object viewed by the counterpart 240 , and information on the user's relative position.
도 11은 다양한 실시예들에 따른 전자 장치가 화상 회의 서비스를 제공하는 예시도이다.11 is an exemplary diagram in which an electronic device provides a video conferencing service according to various embodiments of the present disclosure;
도 11을 참조하면, 제1장치(1120)(예: 도 2의 외부 전자 장치(230))는 제1사용자(1110)(User#1)에게, 제2장치(1140)(예: 도 1의 전자 장치(101), 도 2의 전자 장치(210) 및/또는 도 3의 전자 장치(300))는 제2사용자(1130)(User#2)에게, 제3장치(1170)(예: 도 1의 전자 장치(101), 도 2의 전자 장치(210) 및/또는 도 3의 전자 장치(300))는 제3사용자(1150)(User#3) 및 제4사용자(1060)(User#4)에게 각각 화상 회의 서비스를 제공하는 예시일 수 있다. 도 11은, 각 장치(예: 제1장치(1120), 제2장치(1140) 및 제3장치(1170))의 디스플레이만을 도시한 것일 수 있다. 도 11을 참조하면, 제1장치(1120)에 표시되는 컨텐츠 정보(예: 제1컨텐츠 정보(1121)), 제2장치(1140)에 표시되는 컨텐츠 정보(예: 제2컨텐츠 정보(1141)) 및 제3장치(1170)에 표시되는 컨텐츠 정보(예: 제3컨텐츠 정보(1171))는 모두 동일한 컨텐츠를 표시한 정보일 수 있다. 예를 들어, 각 전자 장치(예: 제1장치(1120), 제2장치(1140) 및 제3장치(1170))는 모두 동일한 컨텐츠를 공유할 수 있다.Referring to FIG. 11 , a first device 1120 (eg, the external electronic device 230 of FIG. 2 ) provides a first user 1110 (User#1) to a second device 1140 (eg, FIG. 1 ). The electronic device 101 of FIG. 2 , and/or the electronic device 300 of FIG. 3 ) provides the second user 1130 (User #2) to the third device 1170 (eg: The electronic device 101 of FIG. 1 , the electronic device 210 of FIG. 2 and/or the electronic device 300 of FIG. 3 ) are the third user 1150 (User#3) and the fourth user 1060 (User It may be an example of providing video conferencing services to #4) respectively. 11 may only show displays of each device (eg, the first device 1120 , the second device 1140 , and the third device 1170 ). Referring to FIG. 11 , content information displayed on the first device 1120 (eg, first content information 1121) and content information displayed on the second device 1140 (eg, second content information 1141) ) and the content information displayed on the third device 1170 (eg, the third content information 1171 ) may be information displaying the same content. For example, each electronic device (eg, the first device 1120 , the second device 1140 , and the third device 1170 ) may all share the same content.
도 11을 참조하면, 제1장치(1120)는 제1사용자(1110)의 시선(1111)을 추적하여, 시선 정보를 생성할 수 있다. 또한 제1장치(1120)는 제1장치(1120)의 디스플레이 상 제1컨텐츠 정보(1121), 제2사용자(1130)에 대응하는 제2영상(1122), 제3사용자(1160)에 대응하는 제3영상(1123) 및 제4사용자(1160)에 대응하는 제4영상(1124)을 도 11과 같이 배치할 수 있고, 해당 배치에 대한 화면 구성 정보(화면 구성 정보A)를 생성할 수 있다. 제1장치(1120)는 시선 정보 및 화면 구성 정보A에 기초하여 상대방(240)이 바라보는 객체에 대한 정보, 예를 들어, 상대방이 바라보는 대상이 컨텐츠 정보(예: 제1컨텐츠 정보(1121))에 해당하는 것을 가리키는 정보를 생성할 수 있다.Referring to FIG. 11 , the first device 1120 may generate gaze information by tracking the gaze 1111 of the first user 1110 . In addition, the first device 1120 includes the first content information 1121 on the display of the first device 1120 , the second image 1122 corresponding to the second user 1130 , and the third user 1160 . The third image 1123 and the fourth image 1124 corresponding to the fourth user 1160 may be arranged as shown in FIG. 11 , and screen composition information (screen composition information A) for the arrangement may be generated. . Based on the gaze information and the screen configuration information A, the first device 1120 provides information on the object viewed by the counterpart 240 , for example, content information (eg, the first content information 1121 ) on the object the counterpart is looking at. ))) can be generated.
다양한 실시예에 따르면, 제2장치(1120)는 제1장치(1120)로부터 상대방(240)이 바라보는 객체에 대한 정보 및 화면 구성 정보A를 획득할 수 있다. 다양한 실시예에 따르면 제2장치(1120)는 제1장치(1120)로부터 제1사용자(1110)를 촬영한 영상, 시선 정보 및/또는 화면 구성 정보A를 수신하여 상대방(240)이 바라보는 객체에 대한 정보를 생성하거나, 제1장치(1120)로부터 제1장치(1120)가 생성한 상대방(240)이 바라보는 객체에 대한 정보를 수신할 수도 있다. 다양한 실시예에 따르면, 제2장치(1120)는 제2장치(1120)의 화면 구성 정보(예: 화면 구성 정보B), 제1사용자(1110)를 촬영한 영상 정보 및 상대방(240)이 바라보는 객체에 대한 정보에 기초하여 제1출력용 영상(1142)를 생성할 수 있다. 제1출력용 영상(1142)은, 제1사용자(1110)에 대응하고, 제1사용자(1110)의 상대방(240)이 바라보는 객체에 대한 정보를 표현한 영상일 수 있다. 다양한 실시예에 따르면, 제2장치(1120)는 제2장치(1120)의 디스플레이에 제2컨텐츠 정보(1141), 제1출력용 영상(1142), 제3사용자(1160)에 대응하는 영상(1143) 및 제4사용자(1160)에 대응하는 영상(1144)을 표시하거나, 표시할 예정일 수 있고, 각 상대적인 표시 위치에 대한 정보인, 화면 구성 정보B를 생성할 수 있다. 도 11을 참조하면, 제1사용자(1110)에 대한 상대방(240)이 바라보는 객체에 대한 정보는 컨텐츠 정보를 바라보는 내용을 포함하고, 제1출력용 영상(1142) 역시 컨텐츠 정보를 바라보는 것을 표현할 수 있다. 예를 들면, 제1출력용 영상(1142)은 제1사용자(1110)에 대응하는 이미지 객체가 화면 구성 정보B에 기초하여 제2컨텐츠 정보(1141)를 바라보는 형상임을 알 수 있다. 제2장치(1120)의 경우 컨텐츠 정보(예: 제2컨텐츠 정보(1141)(1141))가 제1출력용 영상(1142)의 좌측에 위치하도록 배치되고, 제2장치(1120)는 이러한 위치에 대한 정보를 포함하는 화면 구성 정보B에 기초하여 제1출력용 영상(1142)을 생성할 수 있다.According to various embodiments, the second device 1120 may obtain information about the object viewed by the counterpart 240 and screen configuration information A from the first device 1120 . According to various embodiments, the second device 1120 receives the image of the first user 1110 from the first device 1120 , gaze information, and/or screen composition information A, and the object that the other party 240 looks at information on the object, or information on the object that the counterpart 240 is looking at, generated by the first device 1120, may be received from the first device 1120 . According to various embodiments, the second device 1120 provides screen configuration information (eg, screen configuration information B) of the second device 1120 , image information captured by the first user 1110 , and the other party 240 . An image 1142 for the first output may be generated based on the information on the object to be viewed. The first output image 1142 may be an image corresponding to the first user 1110 and expressing information about an object viewed by the counterpart 240 of the first user 1110 . According to various embodiments, the second device 1120 displays the second content information 1141 , the first output image 1142 , and the image 1143 corresponding to the third user 1160 on the display of the second device 1120 . ) and the image 1144 corresponding to the fourth user 1160 may be displayed or may be displayed, and screen configuration information B, which is information on each relative display position, may be generated. Referring to FIG. 11 , the information on the object viewed by the counterpart 240 of the first user 1110 includes content information viewing, and the first output image 1142 also indicates viewing the content information. can express For example, it can be seen that the image for the first output 1142 has a shape in which the image object corresponding to the first user 1110 looks at the second content information 1141 based on the screen composition information B. In the case of the second device 1120, content information (eg, second content information 1141 and 1141) is arranged to be located on the left side of the first output image 1142, and the second device 1120 is located at this position. An image 1142 for the first output may be generated based on the screen configuration information B including information about the first output.
다양한 실시예에 따르면, 제3장치(1170)는 제1장치(1120)로부터 상대방(240)이 바라보는 객체에 대한 정보 및 화면 구성 정보A를 획득할 수 있다. 다양한 실시예에 따르면 제3장치(1170)는 제1장치(1120)로부터 제1사용자(1110)를 촬영한 영상, 시선 정보 및/또는 화면 구성 정보A를 수신하여 상대방(240)이 바라보는 객체에 대한 정보를 생성하거나, 제1장치(1120)로부터 제1장치(1120)가 생성한 상대방(240)이 바라보는 객체에 대한 정보를 수신할 수도 있다. 다양한 실시예에 따르면, 제3장치(1170)는 제3장치(1170)의 화면 구성 정보(예: 화면 구성 정보C), 제1사용자(1110)를 촬영한 영상 정보 및 상대방(240)이 바라보는 객체에 대한 정보에 기초하여 제2출력용 영상(1172)를 생성할 수 있다. 제2출력용 영상(1172)은, 제1사용자(1110)에 대응하고, 제1사용자(1110)의 상대방(240)이 바라보는 객체에 대한 정보를 표현한 영상일 수 있다. 다양한 실시예에 따르면, 제3장치(1170)는 제3장치(1170)의 디스플레이에 제3컨텐츠 정보(1171), 제2출력용 영상(1172), 제2사용자(1130)에 대응하는 영상(1173)을 표시하거나, 표시할 예정일 수 있고, 각 상대적인 표시 위치에 대한 정보인, 화면 구성 정보C를 생성할 수 있다. 도 11을 참조하면, 제1사용자(1110)에 대한 상대방(240)이 바라보는 객체에 대한 정보는 컨텐츠 정보를 바라보는 내용을 포함하고, 제2출력용 영상(1172) 역시 컨텐츠 정보를 바라보는 것을 표현할 수 있다. 예를 들면, 제2출력용 영상(1172)은 제1사용자(1110)에 대응하는 이미지 객체가 화면 구성 정보C에 기초하여 제3컨텐츠 정보(1171)를 바라보는 형상임을 알 수 있다. 제3장치(1170)의 경우 컨텐츠 정보(예: 제3컨텐츠 정보(1171)(1171))가 제2출력용 영상(1172)의 우상단 측에 위치하도록 배치되고, 제3장치(1170)는 이러한 위치에 대한 정보를 포함하는 화면 구성 정보C에 기초하여 제2출력용 영상(1172)을 생성할 수 있다.According to various embodiments, the third device 1170 may obtain information about the object viewed by the counterpart 240 and screen configuration information A from the first device 1120 . According to various embodiments, the third device 1170 receives the image of the first user 1110 from the first device 1120 , gaze information, and/or screen composition information A, and the object that the other party 240 looks at information on the object, or information on the object that the counterpart 240 is looking at, generated by the first device 1120, may be received from the first device 1120 . According to various embodiments, the third device 1170 provides screen configuration information (eg, screen configuration information C) of the third device 1170 , image information captured by the first user 1110 , and the other party 240 . An image 1172 for a second output may be generated based on the information on the object to be viewed. The second output image 1172 may be an image corresponding to the first user 1110 and expressing information about an object viewed by the counterpart 240 of the first user 1110 . According to various embodiments, the third device 1170 displays the third content information 1171 , the second output image 1172 , and the image 1173 corresponding to the second user 1130 on the display of the third device 1170 . ) may be displayed or may be displayed, and screen configuration information C, which is information about each relative display position, may be generated. Referring to FIG. 11 , the information on the object viewed by the counterpart 240 of the first user 1110 includes content information viewing, and the second output image 1172 also indicates viewing the content information. can express For example, it can be seen that the image 1172 for the second output has a shape in which the image object corresponding to the first user 1110 looks at the third content information 1171 based on the screen configuration information C. In the case of the third device 1170, content information (eg, third content information 1171 and 1171) is disposed to be located at the upper right side of the image 1172 for the second output, and the third device 1170 is located at this position An image 1172 for the second output may be generated based on the screen configuration information C including information on .
도 12는 다양한 실시예들에 따른 전자 장치가 제2영상 정보를 생성하는 예시도이다.12 is an exemplary diagram in which an electronic device generates second image information according to various embodiments of the present disclosure;
다양한 실시예에 따르면, 화상 회의를 제공하는 전자 장치(예: 도 1의 전자 장치(101), 도 2의 전자 장치(210) 및/또는 도 3의 전자 장치(300))는 상대방(예: 도 2의 상대방(240))을 촬영한 제1영상 정보(1210) 및 화면 구성 정보(예: 제1화면 구성 정보)에 기초하여 제2영상 정보(1231)를 생성할 수 있다.According to various embodiments, the electronic device providing the video conference (eg, the electronic device 101 of FIG. 1 , the electronic device 210 of FIG. 2 , and/or the electronic device 300 of FIG. 3 ) is a counterpart (eg: The second image information 1231 may be generated based on the first image information 1210 and screen configuration information (eg, first screen configuration information) of the other party 240 of FIG. 2 ).
제2영상 정보(1231)는 상대방(예: 도 2의 상대방(240))에 대응되는 영상일 수 있다. 예를 들어, 화상 회의의 참여자인 상대방(240)을 표현한 영상일 수 있다. 다양한 실시예에 따르면, 제2영상 정보(1231)는 상대방(240)의 상대방(240)이 바라보는 객체에 대한 정보를 표현하는 영상일 수 있다. 다양한 실시예에 따르면, 제2영상 정보(1231)는 제1영상 정보(1210)를 편집한 영상, 제1영상 정보(1210)를 기초로 재생성한 영상, 제1영상 정보(1210) 및/또는 전자 장치(300)가 생성하거나 수신한 다른 정보를 이용하여 전자 장치(300)가 생성한 영상일 수 있다. 다양한 실시예에 따르면, 제2영상 정보(1231)는, 상대방(240)과 동일 또는 유사한 형태의 이미지 객체가 포함된 영상일 수 있고, 상대방(240)과 유사하지 않더라도 단순히 상대방(240)을 표상하는 이미지 객체(예: 캐릭터)가 포함된 영상일 수 있다. 다양한 실시예에 따르면, 제2영상 정보(1231)는 상대방(240)을 표현한 이미지 객체가 상대방(240)이 바라보는 대상을, 전자 장치(300)의 디스플레이(1230)(예: 도 3의 디스플레이(320)) 상에서 바라보는 이미지를 표현한 영상일 수 있다. 예를 들어, 상대방(240)이 바라보는 객체에 대한 정보에 기초하여, 상대방(240)이 외부 전자 장치(예: 도 2의 외부 전자 장치(230))의 디스플레이 상에서 바라보는 대상(예: 상대방(240)이 바라보는 객체)이 컨텐츠 정보(1232)인 것으로 판단하는 경우, 전자 장치(300)는 상대방(240)을 표현한 이미지 객체가 디스플레이(1230) 상에서 컨텐츠 정보(1232)를 바라보는 이미지를 포함하여 제2영상 정보(1231)를 생성할 수 있다. 또 다른 예를 들어, 상대방(240)이 바라보는 대상이 사용자(예: 도 2의 사용자(220))의 영상인 경우, 전자 장치(300)는 상대방(240)을 표현한 이미지 객체가 정면 또는 사용자(220)의 현 위치를 향하는 방향을 바라보는 이미지를 포함하여 제2영상 정보(1231)를 생성할 수 있다. 이 경우, 전자 장치(300)는 사용자(220)와 디스플레이(1230) 간의 상대적 위치에 대한 정보를 획득하고, 상대적 위치에 대한 정보를 이용하여 제2영상 정보(1231)를 생성할 수 있다. 다양한 실시예에 따르면, 전자 장치(300)는 상대방(240)이 바라보는 객체에 대한 정보를 이용하여 상대방(240)이 바라보는 대상(예: 사용자(220)의 영상 또는 컨텐츠 정보(1232))을 특정할 수 있고, 제1화면 구성 정보를 이용하여 상대방(240)이 바라보는 대상이 표시되는 영역과 제2영상 정보(1231)가 출력될(또는 출력되는 중인) 디스플레이(1230) 상의 영역 간의 상대적인 위치 및/또는 방향를 확인할 수 있다. 또한 확인한 상대적인 위치 및/또는 방향에 대한 정보를 이용하여, 제1영상 정보(1210)를 편집하거나, 제1영상 정보(1210)를 이용하여 새로운 영상을 생성할 수 있다.The second image information 1231 may be an image corresponding to the counterpart (eg, the counterpart 240 in FIG. 2 ). For example, it may be an image expressing the counterpart 240 who is a participant in the video conference. According to various embodiments, the second image information 1231 may be an image representing information about an object viewed by the counterpart 240 of the counterpart 240 . According to various embodiments, the second image information 1231 includes an image obtained by editing the first image information 1210 , an image regenerated based on the first image information 1210 , the first image information 1210 , and/or It may be an image generated by the electronic device 300 using other information generated or received by the electronic device 300 . According to various embodiments, the second image information 1231 may be an image including an image object having the same or similar shape as the counterpart 240 , and simply represents the counterpart 240 even if it is not similar to the counterpart 240 . may be an image including an image object (eg, a character). According to various embodiments, in the second image information 1231 , the image object representing the counterpart 240 is an object that the counterpart 240 is looking at, and the display 1230 of the electronic device 300 (eg, the display of FIG. 3 ). (320)) may be an image expressing an image viewed from above. For example, based on the information on the object that the counterpart 240 looks at, the object (eg, counterpart) that the counterpart 240 sees on the display of the external electronic device (eg, the external electronic device 230 of FIG. 2 ). When it is determined that the object 240 is looking at) is the content information 1232 , the electronic device 300 displays an image in which the image object representing the counterpart 240 looks at the content information 1232 on the display 1230 . including the second image information 1231 may be generated. As another example, when the object that the counterpart 240 is looking at is an image of a user (eg, the user 220 of FIG. 2 ), the electronic device 300 determines that the image object representing the counterpart 240 is the front or the user. The second image information 1231 may be generated including an image that looks in a direction toward the current location of 220 . In this case, the electronic device 300 may obtain information on the relative position between the user 220 and the display 1230 , and generate the second image information 1231 using the information on the relative position. According to various embodiments of the present disclosure, the electronic device 300 uses the information on the object that the counterpart 240 looks at, and the object that the counterpart 240 looks at (eg, the image or content information 1232 of the user 220 ). can be specified, and between an area on which an object viewed by the counterpart 240 is displayed and an area on the display 1230 where the second image information 1231 is to be output (or being output) using the first screen configuration information. The relative position and/or orientation may be ascertained. In addition, the first image information 1210 may be edited using the confirmed relative position and/or direction information, or a new image may be created using the first image information 1210 .
다양한 실시예에 따르면, 전자 장치(300)는 제1영상 정보(1210)를 이용하여 새로운 제2영상 정보(1231)를 생성할 수 있다. 다양한 실시예에 따르면, 전자 장치(300)는 제1영상 정보(1210)를 분석하여 모델링 정보(1220)를 생성할 수 있다. 예를 들면, 전자 장치(300)는 제1영상 정보(1210)에 포함된 상대방(240)에 대응되는 이미지 객체를 인식하고, 인식한 이미지 객체를 분리하여 분석할 수 있다. 전자 장치(300)는 다양한 이미지 분석 알고리즘을 이용하여 상대방(240)에 대응되는 이미지 객체를 분석할 수 있다. 예를 들면, 전자 장치(300)는 서버(예: 도 2의 서버(250))로부터 이미지 분석 알고리즘을 수신하여, 실행할 수 있고, 미리 메모리(예: 도 3의 메모리(340))에 저장된 알고리즘을 이용하여 이미지를 분석할 수 있다. 전자 장치(300)는 이미지 객체의 윤곽에 대한 정보, 깊이 정보, 색상 정보, 밝기 정보와 같은 이미지와 관련된 다양한 파라미터를 이용하여 이미지를 분석하고, 모델링 정보(1220)를 생성할 수 있다. 모델링 정보(1220)는 예를 들면, 상대방(240)의 형상, 상대방과 유사한 형상 또는 상대방을 표상하는 형상(예: 모델)을 가상의 공간에 생성한 정보일 수 있다. 모델링 정보(1220)는, 3차원(three-dimensional, 3D)으로 표현될 수 있고, 또는, 2차원(two-dimensional, 2D)으로 표현될 수도 있다. 다양한 실시예에 따르면, 전자 장치(300)는 제1영상 정보(1210)의 이미지 분석을 통해 모델링 정보(1220)를 생성하고, 생성된 모델링 정보(1220)를 이용하여, 상대방(240)이 바라보는 객체에 대한 정보 및 제1화면 구성 정보에 기초한 렌더링을 할 수 있다. 다양한 실시예에 따르면, 전자 장치(300)는 생성된 3D 모델 또는 2D 모델이 상대방(240)이 바라보는 객체에 대한 정보 및 제1화면 구성 정보에 기초한 방향을 바라보는 영상을 제2영상 정보(1231)로서 생성할 수 있다. 전자 장치(300)는 제1영상 정보(1210)를 수신하면서 지속적으로 모델링 정보(1220)를 생성할 수도 있고, 모델링 정보(1220)를 외부 전자 장치(230)로부터 별도로 수신할 수 있으며, 또는, 제1영상 정보(1210)의 일부 또는 제1영상 정보(1210)와 관련된 이미지 정보만을 이용하여 미리 생성한 모델링 정보(1220)를 메모리(340)에 저장하고, 저장된 모델링 정보(1220)를 제2영상 정보(1231) 생성에 이용할 수도 있다.According to various embodiments, the electronic device 300 may generate new second image information 1231 by using the first image information 1210 . According to various embodiments, the electronic device 300 may generate the modeling information 1220 by analyzing the first image information 1210 . For example, the electronic device 300 may recognize an image object corresponding to the counterpart 240 included in the first image information 1210 , and separate and analyze the recognized image object. The electronic device 300 may analyze an image object corresponding to the counterpart 240 using various image analysis algorithms. For example, the electronic device 300 may receive and execute an image analysis algorithm from a server (eg, the server 250 of FIG. 2 ), and an algorithm stored in a memory (eg, the memory 340 of FIG. 3 ) in advance. can be used to analyze the image. The electronic device 300 may analyze the image by using various parameters related to the image, such as information on the contour of the image object, depth information, color information, and brightness information, and generate modeling information 1220 . The modeling information 1220 may be, for example, information generated by creating a shape of the counterpart 240 , a shape similar to the counterpart, or a shape (eg, a model) representing the counterpart in a virtual space. The modeling information 1220 may be expressed in three-dimensional (3D) or two-dimensional (2D) form. According to various embodiments of the present disclosure, the electronic device 300 generates modeling information 1220 through image analysis of the first image information 1210 , and uses the generated modeling information 1220 , as viewed by the counterpart 240 . Rendering may be performed based on information on the object to be viewed and information on the configuration of the first screen. According to various embodiments, the electronic device 300 displays an image in which the generated 3D model or the 2D model faces the direction based on the information on the object viewed by the counterpart 240 and the first screen configuration information as the second image information ( 1231) can be created. The electronic device 300 may continuously generate the modeling information 1220 while receiving the first image information 1210 , and may separately receive the modeling information 1220 from the external electronic device 230 , or, The modeling information 1220 generated in advance using only a part of the first image information 1210 or only image information related to the first image information 1210 is stored in the memory 340, and the stored modeling information 1220 is stored in the second It can also be used to generate the image information 1231 .
도 13은 다양한 실시예들에 따른 전자 장치가 화상 회의 서비스를 제공하는 화면의 예시도이다.13 is an exemplary diagram of a screen on which an electronic device provides a video conference service according to various embodiments of the present disclosure;
도 13은 화상 회의를 제공하는 전자 장치(1300)(예: 도 1의 전자 장치(101), 도 2의 전자 장치(210) 및/또는 도 3의 전자 장치(300))의 디스플레이(예: 도 3의 디스플레이(320)) 부분만을 도시한 것일 수 있다.13 is a display (eg, the electronic device 101 of FIG. 1 , the electronic device 210 of FIG. 2 , and/or the electronic device 300 of FIG. 3 ) that provides a video conference. Only the display 320 of FIG. 3) may be illustrated.
다양한 실시예에 따르면 전자 장치(1300)는 화상 회의 서비스를 제공하기 위하여 상대방(예: 도 2의 상대방(240))을 촬영한 영상 정보, 상대방(240) 영상을 편집한 영상 정보 및/또는 상대방(240) 영상을 이용하여 재생성한 영상을 표시할 수 있다. 도 13을 참조하면, 전자 장치(1300)는 다수의 상대방에 대한 영상 정보(영상A(1310), 영상B(1320), 영상C(1330), 영상D(1340), 영상E(1350) 및 영상F(1360))을 출력하는 예시일 수 있다.According to various embodiments, the electronic device 1300 provides image information of a counterpart (eg, the counterpart 240 of FIG. 2 ) photographed, image information obtained by editing the image of the counterpart 240 , and/or the counterpart in order to provide a video conference service. (240) An image regenerated using the image can be displayed. Referring to FIG. 13 , the electronic device 1300 provides image information (image A 1310 , image B 1320 , image C 1330 , image D 1340 , image E 1350 and It may be an example of outputting the image F (1360).
다양한 실시예에 따르면, 전자 장치(1300)는 상대방을 촬영한 영상 정보(제1영상 정보)를 편집하여 제2영상 정보를 생성할 수 있다. 예를 들면, 제2영상 정보는 제1영상 정보를 편집한 것일 수 있다. 다양한 실시예에 따르면, 제1영상 정보를 편집한 제2영상 정보는 상대방의 상대방(240)이 바라보는 객체에 대한 정보를 표현하는 영상일 수 있다. 다양한 실시예에 따르면, 전자 장치(1300)는 각 상대방의 상대방(240)이 바라보는 객체에 대한 정보 및 전자 장치(1300)의 화면 구성 정보에 기초하여, 제1영상 정보를 편집하고, 제2영상 정보를 생성할 수 있다. 일 실시예에 따르면, 전자 장치(1300)는 제1영상 정보를 상대방(240)이 바라보는 객체에 대한 정보 및 제1화면 구성 정보에 기초한 방향으로 기울이는 효과를 추가하여 제1영상 정보를 편집할 수 있다. 도 13을 참조하면, 각 영상A(1310), 영상B(1320), 영상C(1330), 영상D(1340) 및 영상F(1360)에 대응하는 상대방은, 영상E(1350)에 대응하는 상대방에 대응되는 영상을 바라보는 상황일 수 있다. 따라서, 예를 들면, 영상E(1350)의 좌상단에 위치하는 영상A(1310)은, 영상A(1310)에 대응하는 상대방의 상대방(240)이 바라보는 객체에 대한 정보 및 전자 장치(1300)의 화면 구성 정보에 기초하여, 영상A(1310)에 대응되는 상대방의 제1영상 정보에 우측 하단으로 기울여진 효과가 적용되어 편집된 영상일 수 있다. 동일하게, 영상F(1360)는 영상E(1350)의 우측에 위치하므로, 좌측으로 기울임 효과가 적용된 영상이 될 수 있다. 다양한 실시예에 따르면, 전자 장치(1300)는, 제2영상 정보를 출력하는 중에도 지속적으로 상대방(240)이 바라보는 객체에 대한 정보를 생성 또는 수신할 수 있고, 지속적으로 제1화면 구성 정보를 생성할 수 있다. 다양한 실시예에 따르면, 전자 장치(1300)는 제2영상 정보를 출력하는 중에도 변경된 상대방(240)이 바라보는 객체에 대한 정보 및/또는 제1화면 구성 정보에 기초하여 지속적으로 새로운 제2영상 정보를 생성하거나 제2영상을 변경할 수 있다. 다양한 실시예에 따르면, 전자 장치(1300)는 지속적으로 생성하는 제2영상 정보를 디스플레이에 출력할 수 있다.According to various embodiments, the electronic device 1300 may generate second image information by editing image information (first image information) of the other party. For example, the second image information may be an edited version of the first image information. According to various embodiments, the second image information obtained by editing the first image information may be an image expressing information about an object viewed by the counterpart 240 of the other party. According to various embodiments, the electronic device 1300 edits the first image information, and the second image information based on the screen configuration information of the electronic device 1300 and information on the object viewed by the counterpart 240 of each counterpart. Image information can be created. According to an embodiment, the electronic device 1300 may edit the first image information by adding an effect of tilting the first image information in a direction based on the information on the object viewed by the counterpart 240 and the first screen configuration information. can Referring to FIG. 13 , the counterpart corresponding to each image A 1310 , image B 1320 , image C 1330 , image D 1340 , and image F 1360 corresponds to image E 1350 . It may be a situation where you are looking at an image corresponding to the other party. Accordingly, for example, the image A 1310 located at the upper left of the image E 1350 includes information on an object viewed by the counterpart 240 of the counterpart corresponding to the image A 1310 and the electronic device 1300 . Based on the screen configuration information of , the image may be an edited image by applying an effect inclined to the lower right to the first image information of the counterpart corresponding to the image A 1310 . Similarly, since the image F 1360 is located on the right side of the image E 1350 , it may be an image to which the effect of tilting to the left is applied. According to various embodiments, the electronic device 1300 may continuously generate or receive information on an object viewed by the counterpart 240 while outputting the second image information, and continuously display the first screen configuration information. can create According to various embodiments, the electronic device 1300 continuously displays new second image information while outputting the second image information based on the changed information on the object viewed by the counterpart 240 and/or the first screen configuration information. can be created or the second image can be changed. According to various embodiments, the electronic device 1300 may output continuously generated second image information to the display.
도 14는 다양한 실시예들에 따른 전자 장치가 화상 회의 서비스를 제공하는 화면의 예시도이다.14 is an exemplary diagram of a screen on which an electronic device provides a video conference service according to various embodiments of the present disclosure;
도 14은 화상 회의를 제공하는 전자 장치(1400)(예: 도 1의 전자 장치(101), 도 2의 전자 장치(210) 및/또는 도 3의 전자 장치(300))의 디스플레이(예: 도 3의 디스플레이(320)) 부분만을 도시한 것일 수 있다.14 illustrates a display (eg, the electronic device 101 of FIG. 1 , the electronic device 210 of FIG. 2 , and/or the electronic device 300 of FIG. 3 ) that provides a video conference. Only the display 320 of FIG. 3) may be illustrated.
다양한 실시예에 따르면 전자 장치(1400)는 화상 회의 서비스를 제공하기 위하여 상대방(예: 도 2의 상대방(240))을 촬영한 영상 정보, 상대방(240) 영상을 편집한 영상 정보 및/또는 상대방(240) 영상을 이용하여 재생성한 영상을 표시할 수 있다. 도 14을 참조하면, 전자 장치(1400)는 다수의 상대방에 대한 영상 정보(영상A(1410), 영상B(1420), 영상C(1430), 영상D(1440), 영상E(1450) 및 영상F(1460))을 출력하는 예시일 수 있다.According to various embodiments, the electronic device 1400 provides image information of a counterpart (eg, the counterpart 240 of FIG. 2 ) photographed, image information obtained by editing the image of the counterpart 240 , and/or the counterpart in order to provide a video conference service. (240) An image regenerated using the image can be displayed. Referring to FIG. 14 , the electronic device 1400 provides image information (image A 1410 , image B 1420 , image C 1430 , image D 1440 , image E 1450 ) and image information about a plurality of counterparts. It may be an example of outputting the image F (1460).
다양한 실시예에 따르면, 전자 장치(1400)는 상대방을 촬영한 영상 정보(제1영상 정보)를 편집하여 제2영상 정보를 생성할 수 있다. 예를 들면, 제2영상 정보는 제1영상 정보를 편집한 것일 수 있다. 다양한 실시예에 따르면, 제1영상 정보를 편집한 제2영상 정보는 상대방의 상대방(240)이 바라보는 객체에 대한 정보를 표현하는 영상일 수 있다. 다양한 실시예에 따르면, 전자 장치(1400)는 각 상대방의 상대방(240)이 바라보는 객체에 대한 정보 및 전자 장치(1400)의 화면 구성 정보에 기초하여, 제1영상 정보를 편집하고, 제2영상 정보를 생성할 수 있다. 일 실시예에 따르면, 전자 장치(1400)는 제1영상 정보에 상대방이 바라보는 대상을 표시하는 이미지를 합성하여 제1영상 정보를 편집할 수 있다. 일 실시예에 따르면, 전자 장치(1400)는 제1영상 정보에 상대방이 바라보는 대상의 이미지 또는 영상을 합성하여 제1영상 정보를 편집할 수 있다. 도 14을 참조하면, 각 영상A(1410), 영상B(1420), 영상C(1430), 영상D(1440), 영상E(1450) 및 영상F(1460)에 대응하는 상대방은, 각각 컨텐츠 정보를 바라보는 상황일 수 있다. 따라서, 예를 들면, 영상B(1420)는 영상B(1420)에 대응하는 상대방의 영상(제1영상 정보)에 컨텐츠 정보의 이미지(1420)가 합성된 영상일 수 있다. 전자 장치(1400)는 제1영상 정보에 컨텐츠 정보의 이미지(1420)가 합성된 영상인 영상B(1420)을 제2영상으로서 생성할 수 있다.According to various embodiments, the electronic device 1400 may generate second image information by editing image information (first image information) of the other party. For example, the second image information may be an edited version of the first image information. According to various embodiments, the second image information obtained by editing the first image information may be an image expressing information about an object viewed by the counterpart 240 of the other party. According to various embodiments of the present disclosure, the electronic device 1400 edits the first image information based on the screen configuration information of the electronic device 1400 and information on the object viewed by the counterpart 240 of each counterpart, and the second image information Image information can be created. According to an embodiment, the electronic device 1400 may edit the first image information by synthesizing the first image information with an image indicating an object that the other party is looking at. According to an embodiment, the electronic device 1400 may edit the first image information by synthesizing the first image information with an image or an image of an object viewed by the other party. Referring to FIG. 14 , the counterpart corresponding to each image A 1410 , image B 1420 , image C 1430 , image D 1440 , image E 1450 , and image F 1460 is content, respectively. It may be a situation where you are looking for information. Accordingly, for example, the image B 1420 may be an image in which an image 1420 of content information is synthesized with an image (first image information) of the other party corresponding to the image B 1420 . The electronic device 1400 may generate an image B 1420 that is an image in which an image 1420 of content information is synthesized with the first image information as the second image.
다양한 실시예에 따르면, 전자 장치(1400)는, 제2영상 정보를 출력하는 중에도 지속적으로 상대방(240)이 바라보는 객체에 대한 정보를 생성 또는 수신할 수 있고, 지속적으로 제1화면 구성 정보를 생성할 수 있다. 다양한 실시예에 따르면, 전자 장치(1400)는 제2영상 정보를 출력하는 중에도 변경된 상대방(240)이 바라보는 객체에 대한 정보 및/또는 제1화면 구성 정보에 기초하여 지속적으로 새로운 제2영상 정보를 생성하거나 제2영상을 변경할 수 있다. 다양한 실시예에 따르면, 전자 장치(1400)는 지속적으로 생성하는 제2영상 정보를 디스플레이에 출력할 수 있다.According to various embodiments, the electronic device 1400 may continuously generate or receive information on an object viewed by the counterpart 240 while outputting the second image information, and continuously display the first screen configuration information. can create According to various embodiments, the electronic device 1400 continuously displays new second image information while outputting the second image information based on the changed information on the object viewed by the counterpart 240 and/or the first screen configuration information. can be created or the second image can be changed. According to various embodiments, the electronic device 1400 may output continuously generated second image information to the display.
도 15는 다양한 실시예들에 따른 전자 장치가 화상 회의 서비스를 제공하는 화면의 예시도이다.15 is an exemplary diagram of a screen on which an electronic device provides a video conference service according to various embodiments of the present disclosure;
도 15은 화상 회의를 제공하는 전자 장치(1500)(예: 도 1의 전자 장치(101), 도 2의 전자 장치(210) 및/또는 도 3의 전자 장치(300))의 디스플레이(예: 도 3의 디스플레이(320)) 부분만을 도시한 것일 수 있다.15 illustrates a display (eg, the electronic device 101 of FIG. 1 , the electronic device 210 of FIG. 2 , and/or the electronic device 300 of FIG. 3 ) that provides a video conference. Only the display 320 of FIG. 3) may be illustrated.
다양한 실시예에 따르면 전자 장치(1500)는 화상 회의 서비스를 제공하기 위하여 상대방(예: 도 2의 상대방(240))을 촬영한 영상 정보, 상대방(240) 영상을 편집한 영상 정보 및/또는 상대방(240) 영상을 이용하여 재생성한 영상을 표시할 수 있다. 도 15을 참조하면, 전자 장치(1500)는 다수의 상대방에 대한 영상 정보(영상A(1510), 영상B(1520), 영상C(1530), 영상D(1540), 영상E(1550) 및 영상F(1560))을 출력하는 예시일 수 있다.According to various embodiments, in order to provide a video conference service, the electronic device 1500 provides image information of a counterpart (eg, the counterpart 240 of FIG. 2 ) captured image information, image information obtained by editing an image of the counterpart 240 , and/or the counterpart. (240) An image regenerated using the image can be displayed. 15 , the electronic device 1500 provides image information (image A 1510 , image B 1520 , image C 1530 , image D 1540 , image E 1550 ) and It may be an example of outputting an image F (1560)).
다양한 실시예에 따르면, 전자 장치(1500)는 상대방을 촬영한 영상 정보(제1영상 정보)를 편집하여 제2영상 정보를 생성할 수 있다. 예를 들면, 제2영상 정보는 제1영상 정보를 편집한 것일 수 있다. 다양한 실시예에 따르면, 제1영상 정보를 편집한 제2영상 정보는 상대방의 상대방(240)이 바라보는 객체에 대한 정보를 표현하는 영상일 수 있다. 다양한 실시예에 따르면, 전자 장치(1500)는 각 상대방의 상대방(240)이 바라보는 객체에 대한 정보 및 전자 장치(1500)의 화면 구성 정보에 기초하여, 제1영상 정보를 편집하고, 제2영상 정보를 생성할 수 있다. 일 실시예에 따르면, 전자 장치(1500)는 제1영상 정보에 상대방이 바라보는 대상을 표시하는 이미지를 합성하여 제1영상 정보를 편집할 수 있다. 일 실시예에 따르면, 전자 장치(1500)는 제1영상 정보에 방향을 표시하는 이미지를 합성하여 제1영상 정보를 편집할 수 있다. 방향은, 예를 들면, 상대방(240)이 바라보는 객체에 대한 정보 및 전자 장치(1500)의 화면 구성 정보를 기초로 결정될 수 있다. 도 15을 참조하면, 각 영상A(1510), 영상D(1540) 및 영상F(1560)에 대응하는 상대방은, 영상E(1550)에 대응하는 상대방과 관련된 영상을 각 장치에서 바라보는 상태일 수 있다. 따라서, 예를 들면, 영상F(1560)는 영상F(1560)에 대응하는 상대방의 영상(제1영상 정보)에 영상E(1550)를 향하는 방향을 표시하는 이미지(1555)가 합성된 영상일 수 있다. 전자 장치(1500)는 제1영상 정보에 방향을 표시하는 이미지(1555)가 합성된 영상인 영상F(1560)을 제2영상으로서 생성할 수 있다.According to various embodiments, the electronic device 1500 may generate second image information by editing image information (first image information) of the other party. For example, the second image information may be an edited version of the first image information. According to various embodiments, the second image information obtained by editing the first image information may be an image expressing information about an object viewed by the counterpart 240 of the other party. According to various embodiments, the electronic device 1500 edits the first image information, and the second image information based on the screen configuration information of the electronic device 1500 and information on the object viewed by the counterpart 240 of each counterpart. Image information can be created. According to an embodiment, the electronic device 1500 may edit the first image information by synthesizing the first image information with an image indicating an object viewed by the other party. According to an embodiment, the electronic device 1500 may edit the first image information by synthesizing an image indicating a direction with the first image information. The direction may be determined based on, for example, information on the object viewed by the counterpart 240 and screen configuration information of the electronic device 1500 . Referring to FIG. 15 , the counterpart corresponding to each image A 1510 , image D 1540 , and image F 1560 is in a state in which each device views an image related to the counterpart corresponding to image E 1550 . can Therefore, for example, the image F 1560 is an image in which an image 1555 indicating a direction toward the image E 1550 is synthesized from an image (first image information) of the other party corresponding to the image F 1560 . can The electronic device 1500 may generate an image F 1560 that is an image in which an image 1555 indicating a direction is synthesized with the first image information as the second image.
다양한 실시예에 따르면, 전자 장치(1500)는, 제2영상 정보를 출력하는 중에도 지속적으로 상대방(240)이 바라보는 객체에 대한 정보를 생성 또는 수신할 수 있고, 지속적으로 제1화면 구성 정보를 생성할 수 있다. 다양한 실시예에 따르면, 전자 장치(1500)는 제2영상 정보를 출력하는 중에도 변경된 상대방(240)이 바라보는 객체에 대한 정보 및/또는 제1화면 구성 정보에 기초하여 지속적으로 새로운 제2영상 정보를 생성하거나 제2영상을 변경할 수 있다. 다양한 실시예에 따르면, 전자 장치(1500)는 지속적으로 생성하는 제2영상 정보를 디스플레이에 출력할 수 있다.According to various embodiments of the present disclosure, the electronic device 1500 may continuously generate or receive information on the object viewed by the counterpart 240 while outputting the second image information, and continuously display the first screen configuration information. can create According to various embodiments, the electronic device 1500 continues to provide new second image information while outputting the second image information based on the changed information on the object viewed by the counterpart 240 and/or the first screen configuration information. can be created or the second image can be changed. According to various embodiments, the electronic device 1500 may output the continuously generated second image information to the display.
도 16은 다양한 실시예들에 따른 한 사용자가 복수의 전자 장치를 사용하는 경우의 화상 회의 서비스 예시도이다.16 is a diagram illustrating a video conferencing service when a user uses a plurality of electronic devices according to various embodiments of the present disclosure;
도 16을 참조하면, 화상 회의를 제공하는 전자 장치(예: 도 1의 전자 장치(101), 도 2의 전자 장치(210) 및/또는 도 3의 전자 장치(300))는 복수의 전자 장치(예: 제1장치(1620) 및 제2장치(1630))로 구성되어, 사용자(1610)에게 화상 회의를 제공할 수 있다. 화상 회의를 제공하는 전자 장치를 구성하는 장치의 개수에는 한정이 없을 것이나, 본 문서에서는 편의상 2개의 장치를 기준으로 하여 설명하기로 한다.Referring to FIG. 16 , an electronic device providing a video conference (eg, the electronic device 101 of FIG. 1 , the electronic device 210 of FIG. 2 , and/or the electronic device 300 of FIG. 3 ) includes a plurality of electronic devices. (eg, the first device 1620 and the second device 1630 ), it is possible to provide a video conference to the user 1610 . The number of devices constituting the electronic device providing the video conference is not limited, but in this document, for convenience, two devices will be described as a reference.
다양한 실시예에 따르면, 제1장치(1620)는 제2장치(1630)와 통신적으로 연결될 수 있다. 다양한 실시예에 따르면, 제1장치(1620) 및 제2장치(1630)는 각각 근거리 무선 통신(예: 블루투스(Bluetooth), BLE(Bluetooth low energy), NFC(near field communication), WiFi(wireless fidelity) direct, IrDA(infrared data association) 및/또는 UWB(ultra wide band))을 지원할 수 있고, 근거리 무선 통신을 이용하여 서로에게 정보를 전송할 수 있다. 다양한 실시예에 따르면, 제1장치(1620)는 제2장치(1630)의 위치 정보(제1위치 정보) 및 사용자(1610)의 위치 정보(제2위치 정보)를 확인할 수 있다. 제1위치 정보 및 제2위치 정보는, 예를 들면, 제2장치(1630) 및 사용자(1610)의 제1장치(1620)에 대한 상대적인 위치일 수 있다. 다양한 실시예에 따르면, 제1장치(1620)는 근거리 무선 통신을 이용하여 제2장치(1630)의 위치에 대한 정보를 확인할 수 있고, 카메라(예: 도 3의 카메라(330)를 이용하여 사용자(1610)의 위치 정보를 확인할 수 있다. 다양한 실시예에 따르면, 제1장치(1620)는 제2장치(1630)로부터 제2장치(1630)의 화면 구성 정보를 수신할 수 있다. 또한, 제1장치(1620)는 제1장치(1620)의 화면 구성 정보를 생성할 수 있다. 제1장치(1620)는 제1장치(1620)의 화면 구성 정보, 제2장치(1630)의 화면 구성 정보, 사용자(1610)의 위치 정보(예: 제2위치 정보) 및 제2장치(1630)의 위치 정보(예: 제1위치 정보)에 기초하여 상대방의 상대방(240)이 바라보는 객체에 대한 정보를 표현한 제2영상 정보(예: 영상A(1621), 영상B(1622) 및 영상C(1623))를 생성할 수 있다. 예를 들어, 영상 B(1622)에 대응하는 상대방이 현재 컨텐츠 정보를 바라보는 경우, 제1장치(1620)는 컨텐츠 정보를 출력하고 있는 제2장치(1630)의 위치에 해당하는 방향을 바라보는 이미지 객체를 생성하여 제2영상 정보를 생성할 수 있다.According to various embodiments, the first device 1620 may be communicatively connected to the second device 1630 . According to various embodiments, the first device 1620 and the second device 1630 each perform short-range wireless communication (eg, Bluetooth), Bluetooth low energy (BLE), near field communication (NFC), and wireless fidelity (WiFi). ) direct, IrDA (infrared data association) and/or UWB (ultra wide band)) may be supported, and information may be transmitted to each other using short-range wireless communication. According to various embodiments, the first device 1620 may check location information (first location information) of the second device 1630 and location information (second location information) of the user 1610 . The first location information and the second location information may be, for example, relative positions of the second device 1630 and the user 1610 with respect to the first device 1620 . According to various embodiments, the first device 1620 may check information on the location of the second device 1630 using short-range wireless communication, and a user may use a camera (eg, the camera 330 of FIG. 3 ). It is possible to check the location information of the 1610. According to various embodiments, the first device 1620 may receive screen configuration information of the second device 1630 from the second device 1630. Also, the first device 1620 may receive the screen configuration information of the second device 1630. The first device 1620 may generate screen configuration information of the first device 1620. The first device 1620 includes screen configuration information of the first device 1620 and screen configuration information of the second device 1630 , information on the object viewed by the other party 240 on the basis of location information (eg, second location information) of the user 1610 and location information (eg, first location information) of the second device 1630 It is possible to generate second image information (eg, an image A 1621, an image B 1622, and an image C 1623) expressing the When looking at , the first device 1620 may generate an image object facing a direction corresponding to the location of the second device 1630 outputting content information to generate second image information.
본 문서에 개시된 다양한 실시예들에 따른 화상 회의를 제공하는 전자 장치는, 통신 모듈, 디스플레이, 및 상기 통신 모듈 및 디스플레이와 동작적으로 연결되는 프로세서를 포함하고, 상기 프로세서는, 외부 전자 장치로부터 회의 상대방의 이미지를 포함하는 제1영상 정보를 수신하고, 상기 외부 전자 장치의 화면 내의 객체 중 상기 상대방이 바라보는 객체에 대한 정보를 획득하고, 상기 디스플레이 화면 내에서 적어도 하나의 객체가 출력될 위치를 포함하는 제1화면 구성 정보를 생성하고, 상기 제1영상 정보, 상기 상대방이 바라보는 객체에 대한 정보 및 상기 제1화면 구성 정보에 기초하여, 상기 상대방이 바라보는 외부 전자 장치의 화면 내의 객체와 대응되는 방향을 표현하는 제2영상 정보를 생성하고, 상기 제2영상 정보를 상기 디스플레이에 표시하도록 설정될 수 있다.An electronic device for providing a video conference according to various embodiments disclosed in this document includes a communication module, a display, and a processor operatively connected to the communication module and the display, wherein the processor provides a conference call from an external electronic device Receives first image information including an image of the other party, acquires information about an object that the other party looks at among objects on the screen of the external electronic device, and determines a position where at least one object is to be output on the display screen generating first screen configuration information including: an object in a screen of an external electronic device viewed by the counterpart It may be set to generate second image information representing a corresponding direction and display the second image information on the display.
또한, 상기 제2영상 정보는 3차원 영상이고, 상기 프로세서는, 상기 제1영상 정보를 분석하여 모델링 정보를 생성하고, 상기 상대방이 바라보는 객체에 대한 정보 및 상기 제1화면 구성 정보에 기초하여 상기 모델링 정보를 렌더링하여 상기 제2영상 정보를 생성하도록 설정될 수 있다.In addition, the second image information is a 3D image, and the processor analyzes the first image information to generate modeling information, and based on the information on the object viewed by the other party and the first screen configuration information, It may be set to generate the second image information by rendering the modeling information.
또한, 상기 프로세서는, 상기 제1화면 구성 정보를 이용하여 상기 제2영상 정보의 출력이 예정된 위치로부터 상기 상대방이 바라보는 객체가 상기 디스플레이에서 출력되는 위치까지의 방향을 확인하고, 상기 방향에 기초하여 상기 제2영상 정보를 생성하도록 설정될 수 있다.In addition, the processor checks a direction from a position where the output of the second image information is scheduled to a position where the object viewed by the other party is output on the display using the first screen configuration information, and based on the direction to generate the second image information.
또한, 상기 제2영상 정보는, 상기 제1영상 정보 내에서 상기 상대방에 대응하는 객체가 상기 방향을 바라보는 이미지를 포함하는 영상임을 특징으로 할 수 있다.Also, the second image information may be an image including an image in which an object corresponding to the counterpart in the first image information faces the direction.
또한, 상기 프로세서는, 상기 외부 전자 장치로부터 상기 상대방이 바라보는 객체에 대한 정보를 수신하도록 설정될 수 있다.In addition, the processor may be configured to receive information about the object that the counterpart looks at from the external electronic device.
또한, 상기 프로세서는, 상기 상대방의 시선 방향에 관한 시선 정보 및 상기 외부 전자 장치의 화면 내에서 적어도 하나의 객체가 출력될 위치를 포함하는 제2화면 구성 정보를 획득하고, 상기 시선 정보 및 상기 제2화면 구성 정보에 기초하여 상기 상대방이 바라보는 객체에 대한 정보를 생성하도록 설정될 수 있다.In addition, the processor obtains second screen configuration information including gaze information regarding the gaze direction of the other party and a position at which at least one object is to be output on the screen of the external electronic device, and obtains the gaze information and the second screen configuration information. It may be set to generate information on the object that the other party looks at based on the two-screen configuration information.
또한, 상기 프로세서는, 상기 외부 전자 장치로부터 상기 시선 정보 및 상기 제2화면 구성 정보를 수신하도록 설정될 수 있다.Also, the processor may be set to receive the gaze information and the second screen configuration information from the external electronic device.
또한, 상기 프로세서는, 상기 외부 전자 장치로부터 수신한 제1영상 정보를 분석하여, 상기 시선 정보를 생성하고, 상기 외부 전자 장치로부터 상기 제2화면 구성 정보를 수신하도록 설정될 수 있다.Also, the processor may be configured to analyze the first image information received from the external electronic device, generate the gaze information, and receive the second screen configuration information from the external electronic device.
또한, 상기 디스플레이 화면 내에서 적어도 하나의 객체가 출력될 위치를 변경하는 입력을 받은 경우, 상기 적어도 하나의 객체가 변경된 위치를 포함하도록 제1화면 구성 정보를 변경하고, 상기 변경된 제1화면 구성 정보에 기초하여 제2영상 정보를 생성하도록 설정될 수 있다.In addition, when receiving an input for changing a position at which at least one object is to be output on the display screen, the first screen configuration information is changed to include the changed position of the at least one object, and the changed first screen configuration information It may be set to generate the second image information based on the
또한, 상기 프로세서는, 상기 제1영상 정보를 상기 상대방이 바라보는 객체에 대한 정보 및 상기 제1화면 구성 정보에 기초하여 편집하여 상기 제2영상 정보를 생성하도록 설정될 수 있다.Also, the processor may be set to generate the second image information by editing the first image information based on the information on the object viewed by the counterpart and the first screen configuration information.
또한, 상기 편집은, 상기 제1영상 정보에 기울임 효과를 추가하는 것, 상기 제1영상 정보에 회전 효과를 추가하는 것, 상기 제1영상 정보에 상기 상대방이 바라보는 객체의 영상을 합성하는 것, 및 상기 제1영상 정보에 방향을 표시하는 이미지를 합성하는 것 가운데 적어도 하나를 포함할 수 있다.In addition, the editing includes adding a tilt effect to the first image information, adding a rotation effect to the first image information, and synthesizing an image of the object viewed by the other party to the first image information , and synthesizing an image indicating a direction in the first image information may include at least one.
또한, 사용자를 촬영하는 카메라를 더 포함하고, 상기 프로세서는, 상기 카메라를 이용하여 상기 디스플레이에 대한 상기 사용자의 위치 정보를 생성하고, 상기 위치 정보, 상기 제1영상 정보, 상기 상대방이 바라보는 객체에 대한 정보 및 상기 제1화면 구성 정보에 기초하여 상기 제2영상 정보를 생성하도록 설정될 수 있다.In addition, further comprising a camera for photographing a user, wherein the processor generates the location information of the user on the display using the camera, the location information, the first image information, the object that the other party looks at It may be set to generate the second image information based on the information about and the first screen configuration information.
본 문서에 개시된 다양한 실시예들에 따른 전자 장치가 화상 회의를 제공하는 방법은, 외부 전자 장치로부터 회의 상대방의 이미지를 포함하는 제1영상 정보를 수신하는 단계, 상기 외부 전자 장치의 화면 내의 객체 중 상기 상대방이 바라보는 객체에 대한 정보를 획득하는 단계, 디스플레이 화면 내에서 적어도 하나의 객체가 출력될 위치를 포함하는 제1화면 구성 정보를 생성하는 단계, 및 상기 제1영상 정보, 상기 상대방이 바라보는 객체에 대한 정보 및 상기 제1화면 구성 정보에 기초하여 상기 상대방이 바라보는 외부 전자 장치의 화면 내의 객체와 대응되는 방향을 표현하는 제2영상 정보를 생성하고, 상기 생성한 제2영상 정보를 상기 디스플레이에 표시하는 단계를 포함할 수 있다.According to various embodiments disclosed herein, a method for an electronic device to provide a video conference includes receiving first image information including an image of a meeting counterpart from an external electronic device, among objects in a screen of the external electronic device. Obtaining information on the object viewed by the counterpart, generating first screen configuration information including a position at which at least one object is to be output on a display screen, and the first image information, as viewed by the counterpart Based on the information on the viewing object and the first screen configuration information, second image information representing a direction corresponding to the object in the screen of the external electronic device viewed by the other party is generated, and the generated second image information is generated. It may include displaying on the display.
또한, 상기 제2영상 정보는 3차원 영상이고, 상기 제1영상 정보를 분석하여 모델링 정보를 생성하는 단계, 및 상기 상대방이 바라보는 객체에 대한 정보 및 상기 제1화면 구성 정보에 기초하여 상기 모델링 정보를 렌더링하여 상기 제2영상 정보를 생성하는 단계를 포함할 수 있다.In addition, the second image information is a 3D image, generating modeling information by analyzing the first image information, and the modeling based on the information on the object viewed by the other party and the first screen configuration information The method may include rendering the information to generate the second image information.
또한, 상기 외부 전자 장치로부터 상기 상대방이 바라보는 객체에 대한 정보를 수신하는 단계를 포함할 수 있다.In addition, the method may include receiving information about the object that the counterpart is looking at from the external electronic device.
또한, 상기 상대방의 시선 방향에 관한 시선 정보 및 상기 외부 전자 장치의 화면 내에서 적어도 하나의 객체가 출력될 위치를 포함하는 제2화면 구성 정보를 획득하는 단계, 및 상기 시선 정보 및 상기 제2화면 구성 정보에 기초하여 상기 상대방이 바라보는 객체에 대한 정보를 생성하는 단계를 포함할 수 있다.In addition, obtaining second screen configuration information including gaze information regarding the gaze direction of the other party and a position at which at least one object is to be output on the screen of the external electronic device, and the gaze information and the second screen The method may include generating information on the object viewed by the counterpart based on the configuration information.
또한, 상기 외부 전자 장치로부터 상기 시선 정보 및 상기 제2화면 구성 정보를 수신하는 단계를 포함할 수 있다.The method may also include receiving the gaze information and the second screen configuration information from the external electronic device.
또한, 상기 외부 전자 장치로부터 수신한 제1영상 정보를 분석하여, 상기 시선 정보를 생성하는 단계, 및 상기 외부 전자 장치로부터 상기 제2화면 구성 정보를 수신하는 단계를 포함할 수 있다.The method may further include analyzing the first image information received from the external electronic device to generate the gaze information, and receiving the second screen configuration information from the external electronic device.
또한, 상기 제1영상 정보를 상기 상대방이 바라보는 객체에 대한 정보 및 상기 제1화면 구성 정보에 기초하여 편집하여 상기 제2영상 정보를 생성하는 단계를 포함할 수 있다.The method may further include generating the second image information by editing the first image information based on the information on the object viewed by the counterpart and the first screen configuration information.
또한, 상기 편집은, 상기 제1영상 정보에 기울임 효과를 추가하는 것, 상기 제1영상 정보에 회전 효과를 추가하는 것, 상기 제1영상 정보에 상기 상대방이 바라보는 객체의 영상을 합성하는 것, 및 상기 제1영상 정보에 방향을 표시하는 이미지를 합성하는 것 가운데 적어도 하나를 포함할 수 있다.In addition, the editing includes adding a tilt effect to the first image information, adding a rotation effect to the first image information, and synthesizing an image of the object viewed by the other party to the first image information , and synthesizing an image indicating a direction in the first image information may include at least one.
본 문서의 다양한 실시예들 및 이에 사용된 용어들은 본 문서에 기재된 기술적 특징들을 특정한 실시예들로 한정하려는 것이 아니며, 해당 실시예의 다양한 변경, 균등물, 또는 대체물을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 또는 관련된 구성요소에 대해서는 유사한 참조 부호가 사용될 수 있다. 아이템에 대응하는 명사의 단수 형은 관련된 문맥상 명백하게 다르게 지시하지 않는 한, 상기 아이템 한 개 또는 복수 개를 포함할 수 있다. 본 문서에서, "A 또는 B", "A 및 B 중 적어도 하나", "A 또는 B 중 적어도 하나", "A, B 또는 C", "A, B 및 C 중 적어도 하나", 및 "A, B, 또는 C 중 적어도 하나"와 같은 문구들 각각은 그 문구들 중 해당하는 문구에 함께 나열된 항목들 중 어느 하나, 또는 그들의 모든 가능한 조합을 포함할 수 있다. "제 1", "제 2", 또는 "첫째" 또는 "둘째"와 같은 용어들은 단순히 해당 구성요소를 다른 해당 구성요소와 구분하기 위해 사용될 수 있으며, 해당 구성요소들을 다른 측면(예: 중요성 또는 순서)에서 한정하지 않는다. 어떤(예: 제 1) 구성요소가 다른(예: 제 2) 구성요소에, "기능적으로" 또는 "통신적으로"라는 용어와 함께 또는 이런 용어 없이, "커플드" 또는 "커넥티드"라고 언급된 경우, 그것은 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로(예: 유선으로), 무선으로, 또는 제 3 구성요소를 통하여 연결될 수 있다는 것을 의미한다.The various embodiments of this document and terms used therein are not intended to limit the technical features described in this document to specific embodiments, but it should be understood to include various modifications, equivalents, or substitutions of the embodiments. In connection with the description of the drawings, like reference numerals may be used for similar or related components. The singular form of the noun corresponding to the item may include one or more of the item, unless the relevant context clearly dictates otherwise. As used herein, "A or B", "at least one of A and B", "at least one of A or B", "A, B or C", "at least one of A, B and C", and "A , B, or C" each may include any one of the items listed together in the corresponding one of the phrases, or all possible combinations thereof. Terms such as "first", "second", or "first" or "second" may be used simply to distinguish the element from other elements in question, and may refer to elements in other aspects (e.g., importance or order) is not limited. It is said that one (eg, first) component is "coupled" or "connected" to another (eg, second) component, with or without the terms "functionally" or "communicatively". When referenced, it means that one component can be connected to the other component directly (eg by wire), wirelessly, or through a third component.
본 문서의 다양한 실시예들에서 사용된 용어 "모듈"은 하드웨어, 소프트웨어 또는 펌웨어로 구현된 유닛을 포함할 수 있으며, 예를 들면, 로직, 논리 블록, 부품, 또는 회로와 같은 용어와 상호 호환적으로 사용될 수 있다. 모듈은, 일체로 구성된 부품 또는 하나 또는 그 이상의 기능을 수행하는, 상기 부품의 최소 단위 또는 그 일부가 될 수 있다. 예를 들면, 일실시예에 따르면, 모듈은 ASIC(application-specific integrated circuit)의 형태로 구현될 수 있다. The term “module” used in various embodiments of this document may include a unit implemented in hardware, software, or firmware, and is interchangeable with terms such as, for example, logic, logic block, component, or circuit. can be used as A module may be an integrally formed part or a minimum unit or a part of the part that performs one or more functions. For example, according to an embodiment, the module may be implemented in the form of an application-specific integrated circuit (ASIC).
본 문서의 다양한 실시예들은 기기(machine)(예: 전자 장치(101)) 의해 읽을 수 있는 저장 매체(storage medium)(예: 내장 메모리(136) 또는 외장 메모리(138))에 저장된 하나 이상의 명령어들을 포함하는 소프트웨어(예: 프로그램(140))로서 구현될 수 있다. 예를 들면, 기기(예: 전자 장치(101))의 프로세서(예: 프로세서(120))는, 저장 매체로부터 저장된 하나 이상의 명령어들 중 적어도 하나의 명령을 호출하고, 그것을 실행할 수 있다. 이것은 기기가 상기 호출된 적어도 하나의 명령어에 따라 적어도 하나의 기능을 수행하도록 운영되는 것을 가능하게 한다. 상기 하나 이상의 명령어들은 컴파일러에 의해 생성된 코드 또는 인터프리터에 의해 실행될 수 있는 코드를 포함할 수 있다. 기기로 읽을 수 있는 저장 매체는, 비일시적(non-transitory) 저장 매체의 형태로 제공될 수 있다. 여기서, ‘비일시적’은 저장 매체가 실재(tangible)하는 장치이고, 신호(signal)(예: 전자기파)를 포함하지 않는다는 것을 의미할 뿐이며, 이 용어는 데이터가 저장 매체에 반영구적으로 저장되는 경우와 임시적으로 저장되는 경우를 구분하지 않는다.According to various embodiments of the present document, one or more instructions stored in a storage medium (eg, internal memory 136 or external memory 138) readable by a machine (eg, electronic device 101) may be implemented as software (eg, the program 140) including For example, a processor (eg, processor 120 ) of a device (eg, electronic device 101 ) may call at least one command among one or more commands stored from a storage medium and execute it. This makes it possible for the device to be operated to perform at least one function according to the called at least one command. The one or more instructions may include code generated by a compiler or code executable by an interpreter. The device-readable storage medium may be provided in the form of a non-transitory storage medium. Here, 'non-transitory' only means that the storage medium is a tangible device and does not include a signal (eg, electromagnetic wave), and this term is used in cases where data is semi-permanently stored in the storage medium and It does not distinguish between temporary storage cases.
일실시예에 따르면, 본 문서에 개시된 다양한 실시예들에 따른 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 저장 매체(예: compact disc read only memory(CD-ROM))의 형태로 배포되거나, 또는 어플리케이션 스토어(예: 플레이 스토어TM)를 통해 또는 두 개의 사용자 장치들(예: 스마트 폰들) 간에 직접, 온라인으로 배포(예: 다운로드 또는 업로드)될 수 있다. 온라인 배포의 경우에, 컴퓨터 프로그램 제품의 적어도 일부는 제조사의 서버, 어플리케이션 스토어의 서버, 또는 중계 서버의 메모리와 같은 기기로 읽을 수 있는 저장 매체에 적어도 일시 저장되거나, 임시적으로 생성될 수 있다.According to one embodiment, the method according to various embodiments disclosed in this document may be provided as included in a computer program product. Computer program products may be traded between sellers and buyers as commodities. The computer program product is distributed in the form of a machine-readable storage medium (eg compact disc read only memory (CD-ROM)), or through an application store (eg Play Store™) or on two user devices ( It can be distributed (eg downloaded or uploaded) directly between smartphones (eg: smartphones) and online. In the case of online distribution, at least a part of the computer program product may be temporarily stored or temporarily generated in a machine-readable storage medium such as a memory of a server of a manufacturer, a server of an application store, or a relay server.
다양한 실시예들에 따르면, 상기 기술한 구성요소들의 각각의 구성요소(예: 모듈 또는 프로그램)는 단수 또는 복수의 개체를 포함할 수 있으며, 복수의 개체 중 일부는 다른 구성요소에 분리 배치될 수도 있다. 다양한 실시예들에 따르면, 전술한 해당 구성요소들 중 하나 이상의 구성요소들 또는 동작들이 생략되거나, 또는 하나 이상의 다른 구성요소들 또는 동작들이 추가될 수 있다. 대체적으로 또는 추가적으로, 복수의 구성요소들(예: 모듈 또는 프로그램)은 하나의 구성요소로 통합될 수 있다. 이런 경우, 통합된 구성요소는 상기 복수의 구성요소들 각각의 구성요소의 하나 이상의 기능들을 상기 통합 이전에 상기 복수의 구성요소들 중 해당 구성요소에 의해 수행되는 것과 동일 또는 유사하게 수행할 수 있다. 다양한 실시예들에 따르면, 모듈, 프로그램 또는 다른 구성요소에 의해 수행되는 동작들은 순차적으로, 병렬적으로, 반복적으로, 또는 휴리스틱하게 실행되거나, 상기 동작들 중 하나 이상이 다른 순서로 실행되거나, 생략되거나, 또는 하나 이상의 다른 동작들이 추가될 수 있다.According to various embodiments, each component (eg, module or program) of the above-described components may include a singular or a plurality of entities, and some of the plurality of entities may be separately disposed in other components. have. According to various embodiments, one or more components or operations among the above-described corresponding components may be omitted, or one or more other components or operations may be added. Alternatively or additionally, a plurality of components (eg, a module or a program) may be integrated into one component. In this case, the integrated component may perform one or more functions of each component of the plurality of components identically or similarly to those performed by the corresponding component among the plurality of components prior to the integration. . According to various embodiments, operations performed by a module, program, or other component are executed sequentially, in parallel, repeatedly, or heuristically, or one or more of the operations are executed in a different order, or omitted. or one or more other operations may be added.
