KR101293063B1 - Terminals, server for controlling video calling, system and method for video calling using the same - Google Patents
Terminals, server for controlling video calling, system and method for video calling using the same Download PDFInfo
- Publication number
- KR101293063B1 KR101293063B1 KR1020130009383A KR20130009383A KR101293063B1 KR 101293063 B1 KR101293063 B1 KR 101293063B1 KR 1020130009383 A KR1020130009383 A KR 1020130009383A KR 20130009383 A KR20130009383 A KR 20130009383A KR 101293063 B1 KR101293063 B1 KR 101293063B1
- Authority
- KR
- South Korea
- Prior art keywords
- terminal
- image
- video call
- control server
- posture
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/14—Systems for two-way working
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/265—Mixing
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
Description
본 발명의 실시예는 영상 통화 기술에 관한 것으로서, 보다 상세하게는 각 사용자들이 기준 자세와 동일한 방향으로의 영상 화면을 볼 수 있도록 하는 단말기, 영상 통화 제어 서버, 및 이를 이용한 영상 통화 시스템 및 방법에 관한 것이다.
An embodiment of the present invention relates to a video call technology, and more particularly, to a terminal, a video call control server, and a video call system and method using the same, allowing each user to view a video screen in the same direction as a reference posture. It is about.
최근, 정보 통신 기술이 발달하면서 휴대 단말기를 통해 음성 통화뿐만 아니라 영상 통화도 가능하게 되었다. 영상 통화 서비스는 휴대 단말기에 부착된 카메라를 통해 자신의 영상을 촬영한 후, 상대편 휴대 단말기로 각각 전송하여 상호 간에 상대방의 얼굴을 보면서 통화를 할 수 있는 서비스이다.Recently, with the development of information and communication technology, not only voice communication but also video communication have become possible through a portable terminal. The video call service is a service for taking a video of a user through a camera attached to the portable terminal and transmitting the video to the partner portable terminal so that they can talk while watching each other's faces.
영상 통화 서비스는 발신자와 착신자간의 일대일 영상 통화와 다자간의 영상 통화로 분류할 수 있다. 여기서, 다자간의 영상 통화는 주로 MCU(Multipoint Control Unit)라고 하는 제어 장치를 통해 이루어졌다. MCU는 각 휴대 단말기가 전송하는 음성 및 영상을 수신하고, 복수 개의 음성 및 영상을 각각 하나의 음성 및 영상으로 합성한 후, 각 휴대 단말기로 전송해주는 장치를 말한다.The video call service may be classified into a one-to-one video call between a caller and a called party and a multiparty video call. Here, the multi-party video call is mainly made through a control device called a MCU (Multipoint Control Unit). The MCU is a device that receives a voice and a video transmitted by each mobile terminal, synthesizes a plurality of voices and videos into a single voice and video, and transmits them to each mobile terminal.
도 1은 종래의 MCU(Multipoint Control Unit)를 이용한 영상 통화 시스템을 나타낸 도면이다.1 is a view showing a video call system using a conventional multipoint control unit (MCU).
도 1을 참조하면, 종래의 영상 통화 시스템에서, MCU(20)는 각 휴대 단말기(11, 12, 13, 14)가 전송하는 영상(a, b, c, d)들을 그대로 합성한 후, 합성된 영상(I)을 각 휴대 단말기(11, 12, 13, 14)로 전달하였기 때문에, 각 휴대 단말기(11, 12, 13, 14)의 촬영 시 자세에 따라 합성된 영상(I) 내의 영상(a, b, c, d)들이 서로 다른 자세를 가질 수 있게 된다. Referring to FIG. 1, in the conventional video call system, the
예를 들어, 휴대 단말기(11) 및 휴대 단말기(14)는 기준 자세에서 시계 방향으로 90도 각도로 회전된 상태에서 촬영하고, 휴대 단말기(12) 및 휴대 단말기(13)는 기준 자세에서 촬영한 경우, 휴대 단말기(11) 및 휴대 단말기(14)가 촬영한 영상(a) 및 영상(d)은 MCU(20)에서 각각 반시계 방향으로 90도 각도로 회전된 자세로 합성되고, 휴대 단말기(12) 및 휴대 단말기(13)가 촬영한 영상(b) 및 영상(c)은 MCU(20)에서 기준 자세로 합성되게 된다. For example, the
이 경우, 각 휴대 단말기(11, 12, 13, 14)의 사용자가 합성된 영상(I)을 보게 되면, 합성된 영상(I)내에서 영상(a) 및 영상(d)가 반시계 방향으로 90도 누운 상태로 보이기 때문에, 영상 통화 시 이질감을 느끼고 화면을 보는데 불편함이 있게 된다.
In this case, when the user of each of the
본 발명의 실시예들은 단말기가 회전되더라도 각 영상 통화 사용자들이 촬영 영상 내에서 기준 방향을 유지하면서 촬영 영상 내에 표시되도록 하는 단말기, 영상 통화 제어 서버, 및 이를 이용한 영상 통화 시스템 및 방법을 제공하기 위한 것이다.
Embodiments of the present invention are to provide a terminal, a video call control server, and a video call system and method using the same so that each video call user is displayed in the shot image while maintaining the reference direction in the shot image even if the terminal is rotated. .
본 발명의 일 실시예에 따른 영상 통화 시스템은, 영상 통화 사용자를 촬영한 영상을 전송하는 단말기; 및 하나 이상의 단말기가 전송하는 영상들을 합성한 합성 영상을 형성하고, 상기 합성 영상을 상기 단말기로 전송하는 영상 통화 제어 서버를 포함하되, 상기 각 영상들은 상기 단말기에서 감지된 자세 정보에 따라 회전되어 상기 합성 영상으로 합성되도록 구성된다.According to an embodiment of the present invention, a video call system includes: a terminal for transmitting an image of a video call user; And a video call control server configured to form a synthesized video obtained by synthesizing images transmitted by one or more terminals, and to transmit the synthesized video to the terminal, wherein each of the images is rotated according to the posture information detected by the terminal. And to be synthesized with the synthesized image.
본 발명의 일 실시예에 따른 영상 통화 방법은, 단말기에서, 영상 통화 사용자를 촬영한 영상을 전송하는 단계; 영상 통화 제어 서버에서, 하나 이상의 단말기가 전송하는 영상들을 합성한 합성 영상을 형성하는 단계; 및 상기 영상 통화 제어 서버에서, 상기 합성 영상을 상기 단말기로 전송하는 단계를 포함하되, 상기 합성 영상을 구성하는 각 영상들은, 상기 단말기에서 감지된 자세 정보에 따라 회전되어 합성된다.According to an aspect of the present invention, there is provided a video call method comprising: transmitting, at a terminal, a video photographing a video call user; Forming a synthesized video obtained by synthesizing images transmitted from one or more terminals in a video call control server; And transmitting, at the video call control server, the synthesized image to the terminal, wherein each image constituting the synthesized image is rotated and synthesized according to posture information detected by the terminal.
한편, 본 발명의 일 실시예에 따른 영상 통화 제어 서버는, 하나 이상의 단말기로부터 각 단말기의 자세 정보 및 해당 사용자를 촬영한 영상을 수신하는 통신부, 상기 통신부가 수신한 영상들 중 상기 자세 정보에 따라 기준 자세로의 회전이 필요한 영상을 기준 자세로 회전시키는 영상 회전부, 및 상기 통신부가 수신한 영상들 중 상기 기준 자세로의 회전이 필요 없는 영상 및 상기 통신부가 수신한 영상들 중 상기 영상 회전부에 의해 상기 기준 자세로 회전된 영상들을 합성하여 합성 영상을 형성하는 합성 영상 형성부를 포함하며, 상기 통신부는, 상기 합성 영상을 상기 각 단말기로 각각 전송한다.On the other hand, the video call control server according to an embodiment of the present invention, the communication unit for receiving the posture information of each terminal and the image of the user from one or more terminals, according to the posture information of the images received by the communication unit An image rotating unit that rotates an image requiring rotation to a reference position to a reference position, and an image that does not need to rotate to the reference position among images received by the communication unit and the image rotating unit among images received by the communication unit. And a synthesized image forming unit for synthesizing the rotated images in the reference posture to form a synthesized image. The communication unit transmits the synthesized image to each terminal.
한편, 본 발명의 다른 실시예에 따른 영상 통화 제어 서버는, 하나 이상의 단말기로부터 영상 통화 사용자를 촬영한 영상을 수신하는 통신부, 상기 수신된 영상으로부터 각 단말기의 화면 모드를 검출하는 영상 분석부, 및 상기 수신된 영상들을 검출된 상기 각 단말기의 화면 모드에 따라 합성하여 합성 영상을 형성하는 합성 영상 형성부를 포함하며, 상기 통신부는, 상기 합성 영상을 해당 단말기로 전송한다.On the other hand, the video call control server according to another embodiment of the present invention, the communication unit for receiving a video of the video call user from one or more terminals, the image analysis unit for detecting the screen mode of each terminal from the received image, and And a synthesized image forming unit configured to synthesize the received images according to the detected screen mode of each terminal to form a synthesized image. The communication unit transmits the synthesized image to the corresponding terminal.
한편, 본 발명의 일 실시예에 따른 단말기는, 영상 통화 사용자를 촬영하는 촬영부, 상기 단말기의 기 설정된 기준 자세로부터의 회전된 상태를 감지하는 자세 정보 감지부, 상기 회전된 상태에 따라 상기 촬영부가 촬영한 영상을 회전시키는 영상 회전부, 및 상기 촬영부가 촬영한 영상 또는 상기 영상 회전부가 회전시킨 영상을 전송하는 영상 통화부를 포함한다.
On the other hand, the terminal according to an embodiment of the present invention, a photographing unit for photographing a video call user, a posture information sensing unit for detecting a rotated state from a preset reference pose of the terminal, the photographing according to the rotated state An image rotating unit for rotating the additionally captured image, and a video call unit for transmitting the image captured by the photographing unit or the image rotated by the image rotating unit.
본 발명의 실시예들에 따를 경우, 각 단말기가 서로 다른 자세에서 사용자를 촬영하여 영상 통화를 수행하더라도 영상 통화 제어 서버로부터 각 영상 내의 영상 통화 사용자들이 기준 방향으로 표시된 합성 영상을 수신할 수 있게 된다. 이 경우, 각 단말기의 사용자들은 다른 사용자들의 영상이 회전된 상태로 보이는 것에 따른 이질감 및 불편함이 없이 영상 통화를 수행할 수 있게 된다.
According to embodiments of the present invention, even if each terminal makes a video call by photographing the user in a different posture, the video call users in each video can receive the composite video indicated in the reference direction from the video call control server. . In this case, the users of each terminal can perform the video call without the discomfort and inconvenience caused by the image of the other users appear to be rotated.
도 1은 종래의 MCU(Multipoint Control Unit)를 이용한 영상 통화 시스템을 나타낸 도면이다.
도 2는 본 발명의 제1실시예에 따른 영상 통화 시스템을 나타낸 도면이다.
도 3은 본 발명의 제1실시예에 따른 단말기의 기준 자세로부터의 회전된 상태를 나타낸 도면이다.
도 4는 본 발명의 제1실시예에 따른 영상 통화 시스템에서, 영상 통화 제어 서버가 각 단말기로부터 전송된 자세 정보를 이용하여 영상을 회전시킨 후, 합성 영상을 형성하는 상태를 나타낸 도면이다.
도 5는 본 발명의 제1실시예에 따른 영상 통화 제어 서버의 구성을 나타낸 도면이다.
도 6은 본 발명의 제1실시예에 따른 영상 통화 방법을 나타낸 순서도이다.
도 7은 본 발명의 제2실시예에 따른 영상 통화 시스템을 나타낸 도면이다.
도 8은 본 발명의 제2실시예에 따른 단말기가 기준 자세에서 시계 방향으로 90도씩 회전된 상태 및 기준 자세에서 회전된 상태에 따라 촬영 영상을 회전한 상태를 나타낸 도면이다.
도 9는 본 발명의 제2실시예에 따른 영상 통화 제어 서버가 각 단말기로부터 전송된 영상으로 합성 영상을 형성하는 상태를 나타낸 도면이다.
도 10은 본 발명의 제2실시예에 따른 단말기의 구성을 나타낸 도면이다.
도 11은 본 발명의 제2실시예에 따른 영상 통화 제어 서버의 구성을 나타낸 도면이다.
도 12는 본 발명의 제2실시예에 따른 영상 통화 방법을 나타낸 순서도이다.1 is a view showing a video call system using a conventional multipoint control unit (MCU).
2 is a view showing a video call system according to a first embodiment of the present invention.
3 is a view showing a rotated state from a reference pose of the terminal according to the first embodiment of the present invention.
4 is a view illustrating a state in which a video call control server rotates an image using posture information transmitted from each terminal and then forms a composite image in the video call system according to the first embodiment of the present invention.
5 is a diagram showing the configuration of a video call control server according to a first embodiment of the present invention.
6 is a flowchart illustrating a video call method according to a first embodiment of the present invention.
7 is a view showing a video call system according to a second embodiment of the present invention.
8 is a view illustrating a state in which a terminal is rotated by 90 degrees clockwise from a reference posture and a state in which a terminal is rotated in a reference posture according to a second embodiment of the present invention.
9 is a diagram illustrating a state in which a video call control server according to a second embodiment of the present invention forms a composite video from images transmitted from each terminal.
10 is a diagram showing the configuration of a terminal according to a second embodiment of the present invention.
11 is a diagram showing the configuration of a video call control server according to a second embodiment of the present invention.
12 is a flowchart illustrating a video call method according to a second embodiment of the present invention.
이하, 도면을 참조하여 본 발명의 구체적인 실시형태를 설명하기로 한다. 그러나 이는 예시에 불과하며 본 발명은 이에 제한되지 않는다.Hereinafter, specific embodiments of the present invention will be described with reference to the drawings. However, this is merely an example and the present invention is not limited thereto.
본 발명을 설명함에 있어서, 본 발명과 관련된 공지기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략하기로 한다. 그리고, 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다. In the following description, a detailed description of known functions and configurations incorporated herein will be omitted when it may make the subject matter of the present invention rather unclear. The following terms are defined in consideration of the functions of the present invention, and may be changed according to the intention or custom of the user, the operator, and the like. Therefore, the definition should be based on the contents throughout this specification.
본 발명의 기술적 사상은 청구범위에 의해 결정되며, 이하의 실시예는 본 발명의 기술적 사상을 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 효율적으로 설명하기 위한 일 수단일 뿐이다.
The technical idea of the present invention is determined by the claims, and the following embodiments are merely a means for effectively explaining the technical idea of the present invention to a person having ordinary skill in the art to which the present invention belongs.
본 발명의 실시예에 따른 영상 통화 시스템은, 영상 통화 사용자를 촬영한 영상을 전송하는 단말기, 및 하나 이상의 단말기가 전송하는 영상들을 합성한 합성 영상을 형성하고, 상기 합성 영상을 상기 단말기로 전송하는 영상 통화 제어 서버를 포함한다. 이때 상기 각 영상들은, 상기 단말기에서 감지된 자세 정보에 따라 회전되어 상기 합성 영상으로 합성된다.According to an embodiment of the present invention, a video call system includes a terminal for transmitting an image of a video call user, and a synthesized image obtained by synthesizing images transmitted by one or more terminals, and transmitting the synthesized image to the terminal. It includes a video call control server. In this case, the images are rotated according to the posture information detected by the terminal and synthesized into the composite image.
일 실시예에서 상기 단말기는, 상기 자세 정보를 상기 영상 통화 제어 서버로 송신하도록 구성될 수 있다. 이 경우 상기 영상 통화 제어 서버는 수신된 상기 자세 정보에 따라 상기 단말기로부터 수신된 영상을 기준 자세로 회전하고, 회전된 영상을 합성하여 상기 합성 영상을 형성할 수 있다.In one embodiment, the terminal may be configured to transmit the posture information to the video call control server. In this case, the video call control server may rotate the image received from the terminal to a reference posture according to the received posture information, and synthesize the rotated video to form the synthesized video.
상기 단말기는 상기 자세 정보와 함께 상기 단말기의 화면 비율 정보를 상기 영상 통화 제어 서버로 전송할 수 있다. 또한, 상기 단말기는 상기 자세 정보를 전송한 후 상기 단말기의 자세가 변경된 경우, 변경된 자세에 대응되는 자세 정보를 상기 영상 통화 제어 서버로 송신할 수 있다.The terminal may transmit the aspect ratio information of the terminal together with the posture information to the video call control server. In addition, when the posture of the terminal is changed after transmitting the posture information, the terminal may transmit posture information corresponding to the changed posture to the video call control server.
본 발명의 다른 실시예에서, 상기 단말기는 자세 정보를 감지하고, 감지된 상기 자세 정보에 따라 촬영된 영상을 기준 자세로 회전하여 상기 영상 통화 제어 서버로 송신할 수 있다. 또한, 상기 단말기는 상기 자세 정보를 전송한 후 상기 단말기의 자세가 변경된 경우, 변경된 자세에 대응되는 자세 정보에 따라 상기 촬영된 영상을 회전하여 상기 영상 통화 제어 서버로 송신할 수 있다. In another embodiment of the present invention, the terminal may detect posture information, and rotate the captured image according to the detected posture information to a reference posture and transmit the posture information to the video call control server. In addition, when the posture of the terminal is changed after the posture information is transmitted, the terminal may rotate and transmit the captured image to the video call control server according to the posture information corresponding to the changed posture.
이 경우 상기 영상 통화 제어 서버는, 상기 단말기가 전송하는 영상을 통해 상기 단말기의 화면 모드를 확인하고, 상기 화면 모드에 따라 상기 합성 영상을 형성하여 상기 단말기로 전송할 수 있다. 또한 상기 영상 통화 제어 서버는, 상기 단말기로부터 수신된 영상으로부터 상기 화면 모드와 함께 상기 단말기의 화면 비율을 확인하고, 상기 화면 모드 및 상기 화면 비율에 따라 상기 합성 영상을 형성하여 상기 단말기로 전송할 수 있다.In this case, the video call control server may check the screen mode of the terminal through the image transmitted from the terminal, form the composite image according to the screen mode, and transmit the image to the terminal. The video call control server may check the aspect ratio of the terminal together with the screen mode from the image received from the terminal, form the composite image according to the screen mode and the aspect ratio, and transmit the same to the terminal. .
한편, 본 발명의 실시예들에 다른 영상 통화 방법은, 단말기에서 영상 통화 사용자를 촬영한 영상을 전송하는 단계, 영상 통화 제어 서버에서, 하나 이상의 단말기가 전송하는 영상들을 합성한 합성 영상을 형성하는 단계, 및 상기 영상 통화 제어 서버에서, 상기 합성 영상을 상기 단말기로 전송하는 단계를 포함하며, 상기 합성 영상을 구성하는 각 영상들은, 상기 단말기에서 감지된 자세 정보에 따라 회전되어 합성된다.On the other hand, the video call method according to the embodiments of the present invention, the step of transmitting the image of the video call user in the terminal, in the video call control server, to form a composite image synthesized by the images transmitted from one or more terminals And transmitting, at the video call control server, the synthesized image to the terminal, wherein each image constituting the synthesized image is rotated and synthesized according to posture information detected by the terminal.
일 실시예에서, 상기 영상을 전송하는 단계는 상기 단말기의 자세 정보를 상기 영상 통화 제어 서버로 송신하는 단계를 더 포함할 수 있다. 이 경우 상기 합성 영상을 형성하는 단계는, 수신된 상기 자세 정보에 따라 상기 단말기로부터 수신된 영상을 기준 자세로 회전하고, 회전된 영상을 합성하여 상기 합성 영상을 형성할 수 있다.In an embodiment, the transmitting of the video may further include transmitting posture information of the terminal to the video call control server. In this case, in the forming of the synthesized image, the image received from the terminal may be rotated to a reference posture according to the received posture information, and the rotated image may be synthesized to form the synthesized image.
또한 상기 영상을 전송하는 단계는, 상기 자세 정보와 함께 상기 단말기의 화면 비율 정보를 상기 영상 통화 제어 서버로 전송하는 단계를 더 포함할 수 있다.The transmitting of the video may further include transmitting aspect ratio information of the terminal together with the posture information to the video call control server.
한편, 상기 단말기는 상기 자세 정보를 전송한 후 상기 단말기의 자세가 변경된 경우, 변경된 자세에 대응되는 자세 정보를 상기 영상 통화 제어 서버로 송신할 수 있다.Meanwhile, when the posture of the terminal is changed after the posture information is transmitted, the terminal may transmit posture information corresponding to the changed posture to the video call control server.
본 발명의 다른 실시예에서, 상기 영상을 전송하는 단계는 상기 단말기의 자세 정보를 감지하는 단계, 및 감지된 상기 자세 정보에 따라 촬영된 영상을 기준 자세로 회전하여 상기 영상 통화 제어 서버로 송신하는 단계를 더 포함할 수 있다. 이 경우 상기 단말기는, 상기 자세 정보를 전송한 후 상기 단말기의 자세가 변경된 경우, 변경된 자세에 대응되는 자세 정보에 따라 상기 촬영된 영상을 회전하여 상기 영상 통화 제어 서버로 송신할 수 있다.In another embodiment of the present invention, the transmitting of the image comprises: detecting posture information of the terminal, and rotating the captured image according to the detected posture information to a reference posture to transmit the image to the video call control server. It may further comprise a step. In this case, when the posture of the terminal is changed after the posture information is transmitted, the terminal may rotate and transmit the captured image to the video call control server according to the posture information corresponding to the changed posture.
상기 합성 영상을 형성하는 단계는 상기 단말기가 전송하는 영상을 통해 상기 단말기의 화면 모드를 확인하는 단계, 및 상기 화면 모드에 따라 상기 합성 영상을 형성하는 단계를 더 포함할 수 있다. 또한 상기 합성 영상을 형성하는 단계는 상기 단말기로부터 수신된 영상으로부터 상기 화면 모드와 함께 상기 단말기의 화면 비율을 확인하는 단계, 및 상기 화면 모드 및 상기 화면 비율에 따라 상기 합성 영상을 형성하는 단계를 더 포함할 수 있다.The forming of the composite image may further include checking a screen mode of the terminal through an image transmitted by the terminal, and forming the composite image according to the screen mode. The forming of the composite image may further include identifying a screen ratio of the terminal together with the screen mode from the image received from the terminal, and forming the composite image according to the screen mode and the aspect ratio. It may include.
이하에서는 상기와 같이 구성되는 본 발명의 실시예들에 따른 영상 통화 시스템의 구체적 실시예를 설명한다.
Hereinafter, a specific embodiment of a video call system according to embodiments of the present invention configured as described above will be described.
도 2는 본 발명의 제1실시예에 따른 영상 통화 시스템을 나타낸 도면이다.2 is a view showing a video call system according to a first embodiment of the present invention.
도 2를 참조하면, 본 실시예에 따른 영상 통화 시스템(200)은 복수 개의 단말기(202) 및 영상 통화 제어 서버(204)를 포함한다. 여기서는 단말기(202)가 4대인 것으로 도시하였으나, 이에 한정되는 것은 아니며 단말기(202)는 2대 이상의 단말기가 사용될 수 있다.Referring to FIG. 2, the
각 단말기(202)는 영상 통화 제어 서버(704)로 영상 통화 요청을 수행한다. 본 실시예 및 이하의 실시예들에서, 단말기(202)는 휴대 단말기, 고정 단말기, 무선 단말기, 유선 단말기 등 영상 통화가 가능한 모든 단말기를 포함할 수 있다. 예를 들어, 스마트폰 등의 휴대 전화, PDA, 태블릿, 랩탑 컴퓨터 또는 데스크탑 컴퓨터 등의 본 발명에서의 단말기가 될 수 잇다. 여기서는, 단말기(202)의 일 예로 휴대 전화 형태의 휴대 단말기를 도시하였으나, 이에 한정되는 것은 아니다.Each terminal 202 performs a video call request to the video
각 단말기(202)는 영상 통화 제어 서버(204)로 영상 통화 요청을 수행하면서, 자신의 자세 정보를 영상 통화 제어 서버(204)로 전송한다. 여기서, 자세 정보란 해당 단말기(202)가 기준 자세로부터 얼마만큼 회전된 상태에 있는지를 나타내는 정보를 말한다.Each terminal 202 transmits its posture information to the video
도 3은 본 발명의 제1실시예에 따른 단말기의 기준 자세로부터의 회전된 상태를 나타낸 도면이다. 도 3을 참조하면, 각 단말기(202)는 예를 들어, 기준 자세로부터 시계 방향으로 90도 각도로 회전된 상태(다시 말하면, 기준 자세로부터 반시계 방향으로 270도 각도로 회전된 상태)(도 3의 a), 기준 자세로부터 시계 방향으로 180도 각도로 회전된 상태(기준 자세로부터 반시계 방향으로 180도 각도로 회전된 상태)(도 3의 b), 기준 자세로부터 시계 방향으로 270도 각도로 회전된 상태(기준 자세로부터 반시계 방향으로 90도 각도로 회전된 상태)(도 3의 c)에 있을 수 있게 된다. 3 is a view showing a rotated state from a reference pose of the terminal according to the first embodiment of the present invention. Referring to FIG. 3, each terminal 202 is rotated at an angle of 90 degrees clockwise from the reference pose (that is, rotated at an angle of 270 degrees counterclockwise from the reference pose) (FIG. 3 a), the state rotated 180 degrees clockwise from the reference position (the state rotated 180 degrees counterclockwise from the reference position) (b of FIG. 3), 270 degrees clockwise from the reference position It can be in the rotated state (the state rotated by 90 degrees counterclockwise from the reference posture) (Fig. 3c).
여기서, 단말기(202)는 기준 자세로부터 90도 단위(즉, 0도, 90도, 180도, 270도)로 회전 상태가 변경되는데, 이는 사용자가 단말기(202)를 어느 정도로 회전시키는가에 따라 달라지게 된다. 또한, 사용자가 직접 손에 들고 사용하는 단말기(202)의 특성 상 정확한 각도로 단말기를 회전하는 것은 불가능하므로, 단말기(202)는 단말기의 회전 각도의 임계값을 미리 설정하여 두었다가 이에 따라 회전 상태를 변경할 수 있다. 예를 들어, 단말기(202)의 회전 각도가 -45도 이상 45도 미만인 경우 기준 상태, 46도 이상 135도 미만인 경우 시계 방향으로 90도 회전된 상태, 135도 이상 225도 미만인 경우 시계 방향으로 180도 회전된 상태, 225도 이상 315도 미만인 경우 시계 방향으로 275도 회전된 상태로 설정할 수 있다.In this case, the rotation state of the terminal 202 is changed from a reference posture in units of 90 degrees (that is, 0 degrees, 90 degrees, 180 degrees, and 270 degrees), depending on how much the user rotates the terminal 202. You lose. In addition, since it is impossible to rotate the terminal at the correct angle due to the characteristics of the terminal 202 that the user directly holds in hand, the terminal 202 sets a threshold value of the rotation angle of the terminal in advance, and accordingly, rotates the terminal. You can change it. For example, when the rotation angle of the terminal 202 is -45 degrees or more and less than 45 degrees, the reference state, when 46 degrees or more and less than 135 degrees, rotated 90 degrees in the clockwise direction, 180 degrees in the clockwise direction when 135 degrees or more and less than 225 degrees In the rotated state, if it is more than 225 degrees and less than 315 degrees, it can be set to the state rotated 275 degrees clockwise.
그리고, 단말기(202)의 기준 자세는 단말기(202)의 설정 및 통신사의 정책 등에 따라 달라질 수 있다. 예를 들어 단말기 화면이 가로로 놓인 상태를 기준 자세로 결정할 수도 있고, 세로로 놓인 상태를 기준 자세로 결정할 수도 있다.In addition, the reference posture of the terminal 202 may vary according to the setting of the terminal 202 and the policy of the communication company. For example, the terminal screen may be positioned horizontally as the reference posture, or the vertical screen may be determined as the reference posture.
이와 같이, 각 단말기(202)는 기준 자세로부터의 회전된 상태에 따라 자신의 자세 정보를 영상 통화 제어 서버(204)로 전송한다. 한편, 각 단말기(202)는 자신의 자세 정보를 영상 통화 제어 서버(204)로 전송한 후에 자신의 자세가 변경된 경우, 변경된 자세에 대응하는 자세 정보를 영상 통화 제어 서버(204)로 다시 전송해준다.As such, each terminal 202 transmits its posture information to the video
또한, 각 단말기(202)는 영상 통화 제어 서버(204)로 자신의 기준 화면 비율 정보를 전송할 수 있다. 여기서, 기준 화면 비율 정보란 기준 자세에서 해당 단말기(202) 화면의 가로 대 세로 비율을 나타내는 정보를 말한다. 예를 들어, 기준 자세에서 단말기(202) 화면의 가로 대 세로 비율은 4:3 또는 16:9 일 수 있으며, 각 단말기(202)는 이러한 기준 화면 비율 정보를 영상 통화 제어 서버(204)로 전송할 수 있다. 이때, 각 단말기(202)는 자신의 자세 정보 및 기준 화면 비율 정보를 SIP(Session Initiation Protocol) 메시지를 이용하여 전송할 수 있다. In addition, each terminal 202 may transmit its reference aspect ratio information to the video
각 단말기(202)는 사용자를 촬영한 영상을 영상 통화 제어 서버(204)로 전송한다. 이때, 촬영시의 각 단말기(202)의 자세에 따라 영상이 기준 자세에서 소정 각도로 회전되어 나타날 수 있다. 예를 들어, 사용자를 촬영할 때 단말기(202)가 기준 자세로부터 시계 방향으로 90도 각도로 회전된 상태에 있는 경우, 사용자를 촬영한 영상은 기준 자세로부터 반시계 방향으로 90도 각도로 회전된 상태로 나타나게 된다.Each terminal 202 transmits an image of the user to the video
영상 통화 제어 서버(204)는 각 단말기(202)로부터 전송된 영상이 기준 자세로부터 소정 각도로 회전된 상태에 있는 경우, 해당 영상을 다시 기준 자세가 되도록 회전시킨 후, 각 영상을 합성하여 하나의 합성 영상을 형성한다.When the video transmitted from each terminal 202 is rotated at a predetermined angle from the reference posture, the video
구체적으로, 영상 통화 제어 서버(204)는 각 단말기(202)로부터 전송된 자세 정보를 통해 각 단말기(202)가 전송한 영상이 기준 자세로부터 소정 각도로 회전되어 있는지 여부를 확인할 수 있다. 이때, 소정 단말기(202)가 전송한 영상이 기준 자세로부터 소정 각도로 회전되어 있다면, 영상 통화 제어 서버(204)는 해당 영상을 기준 자세가 되도록 다시 회전시킨다. 예를 들어, 소정 단말기(202)가 전송한 영상이 기준 자세로부터 반시계 방향으로 90도 각도로 회전되어 있는 경우, 영상 통화 제어 서버(204)는 해당 영상을 시계 방향으로 90도 각도(또는 반시계 방향으로 270도 각도)로 회전시켜 해당 영상이 기준 자세를 취하도록 한다. In detail, the video
그러면, 각 단말기(202)가 전송한 영상들이 모두 기준 자세를 취하게 된다. 영상 통화 제어 서버(204)는 모두 기준 자세를 취하고 있는 영상들을 합성하여 합성 영상을 형성한 후, 합성 영상을 각 단말기(202)로 전송해준다.Then, all the images transmitted from each terminal 202 takes a reference posture. The video
여기서, 각 단말기(202)로부터 기준 화면 비율 정보가 전송된 경우, 영상 통화 제어 서버(204)는 합성 영상을 기준 화면 비율 정보에 대응하는 화면 비율로 형성한 후, 해당 단말기(202)로 각각 전송해준다. 예를 들어, 소정 단말기(202)의 화면 비율이 4:3인 경우, 영상 통화 제어 서버(204)는 합성 영상을 화면 비율이 4:3이 되도록 형성한 후, 해당 단말기(202)로 전송해준다. 그리고, 소정 단말기(202)의 화면 비율이 16:9인 경우, 영상 통화 제어 서버(204)는 합성 영상을 화면 비율이 16:9가 되도록 형성한 후, 해당 단말기(202)로 전송해준다.Here, when the reference aspect ratio information is transmitted from each terminal 202, the video
이때, 영상 통화 제어 서버(204)는 각 단말기(202)의 화면 비율의 종류에 따라 그에 대응하는 개수의 합성 영상을 각각 형성한 후, 각 단말기(202)의 화면 비율에 따른 합성 영상을 해당 단말기(202)로 전송할 수 있다. 예를 들어, 각 단말기(202)의 화면 비율이 4:3과 16:9의 두 종류인 경우, 영상 통화 제어 서버(204)는 화면 비율이 4:3인 합성 영상과 화면 비율이 16:9인 합성 영상을 각각 형성한 후, 화면 비율이 4:3인 단말기(202)들에게는 화면 비율이 4:3인 합성 영상을 각각 전송하고, 화면 비율이 16:9인 단말기(202)들에게는 화면 비율이 16:9인 합성 영상을 각각 전송할 수 있다.At this time, the video
또한, 영상 통화 제어 서버(204)는 합성 영상을 각 단말기(202)로 전송할 때, 각 단말기(202)의 자세 정보를 확인한 후, 각 단말기(202)의 현재 자세에 대응하는 화면 비율로 합성 영상을 전송해준다. 예를 들어, 소정 단말기(202)의 가로 대 세로 화면 비율이 4:3이고, 해당 단말기(202)가 현재 기준 자세의 상태에 있는 경우, 영상 통화 제어 서버(204)는 합성 영상을 가로 대 세로 화면 비율이 4:3이 되도록 형성하여 해당 단말기(202)로 전송해준다. 그리고, 소정 단말기(202)의 가로 대 세로 화면 비율이 4:3이고, 해당 단말기(202)가 기준 자세로부터 시계 방향으로 90도 회전된 상태에 있다면, 영상 통화 제어 서버(204)는 합성 영상을 가로 대 세로 화면 비율이 3:4가 되도록 형성한 후, 해당 단말기(202)로 전송해준다.In addition, when the video
본 발명의 실시예에 의하면, 각 단말기(202)가 자신의 자세 정보를 영상 통화 제어 서버(204)로 전송하고, 영상 통화 제어 서버(204)가 자세 정보를 이용하여 기준 자세에서 소정 각도로 회전된 영상을 다시 기준 자세로 회전시킨 후 합성 영상을 형성함으로써, 각 단말기(202)가 서로 다른 자세로 사용자를 촬영하여 영상을 전송하더라도 영상 통화 제어 서버(204)로부터 각 영상들이 기준 자세를 취하고 있는 합성 영상을 수신할 수 있게 된다. 이 경우, 각 단말기(202)의 사용자들은 다른 사용자들의 영상이 회전된 상태로 보이는 것에 따른 이질감 및 불편함이 없이 영상 통화를 수행할 수 있게 된다.
According to an embodiment of the present invention, each terminal 202 transmits its posture information to the video
도 4는 본 발명의 제1실시예에 따른 영상 통화 시스템에서, 영상 통화 제어 서버가 각 단말기로부터 전송된 자세 정보를 이용하여 영상을 회전시킨 후, 합성 영상을 형성하는 상태를 나타낸 도면이다.4 is a view illustrating a state in which a video call control server rotates an image using posture information transmitted from each terminal and then forms a composite image in the video call system according to the first embodiment of the present invention.
도 4를 참조하면, 단말기(202-1)는 기준 자세에서 촬영한 영상(A)을 영상 통화 제어 서버(204)로 전송하고, 단말기(202-2)는 기준 자세에서 시계 방향으로 90도 회전된 상태에서 촬영한 영상(B)을, 단말기(202-3)는 기준 자세에서 시계 방향으로 180도 회전된 상태에서 촬영한 영상(C)을, 단말기(202-4)는 기준 자세에서 시계 방향으로 270도 회전된 상태에서 촬영한 영상(D)을 영상 통화 제어 서버(204)로 각각 전송하는 경우를 살펴보기로 한다. 이 경우, 영상(B), 영상(C) 및 영상(D)는 기준 자세에서 각각 반시계 방향으로 90도, 180도, 270도 각도로 회전된 상태로 나타나게 된다. 여기서, 각 단말기(202-1, 202-2, 202-3, 202-4)는 영상(A, B, C, D)을 영상 통화 제어 서버(204)로 전송하기 전에 자신의 자세 정보 및 기준 화면 비율 정보를 영상 통화 제어 서버(204)로 미리 전송할 수 있다.Referring to FIG. 4, the terminal 202-1 transmits the image A captured in the reference posture to the video
그러면, 영상 통화 제어 서버(204)는 각 단말기(102-1, 102-2, 102-3, 104-4)로부터 수신한 자세 정보를 통해 영상(B), 영상(C) 및 영상(D)가 기준 자세에서 각각 반시계 방향으로 90도, 180도, 270도 각도로 회전된 상태에 있다는 것을 알게 된다. 이 경우, 영상 통화 제어 서버(204)는 영상(B), 영상(C) 및 영상(D)를 각각 시계 방향으로 90도, 180도, 270도 각도로 회전시켜 기준 자세를 취하게 한 후, 영상(A, B, C, D)를 합성하여 합성 영상을 형성한 후, 합성 영상을 각 단말기(202-1, 202-2, 202-3, 202-4)로 전송해준다.Then, the video
이때, 각 단말기(202-1, 202-2, 202-3, 202-4)의 가로 대 세로 화면 비율이 각각 16:9이라고 가정할 경우, 단말기(102-1, 102-3)는 현재 화면 비율이 16:9인 상태이므로, 영상 통화 제어 서버(204)는 화면의 가로 대 세로 비율이 16:9가 되도록 합성 영상(I')을 형성한 후, 합성 영상(I')을 단말기(102-1, 102-3)들에 전송해준다. 반면, 단말기(102-2, 102-4)는 현재 화면이 9:16인 상태이므로 영상 통화 제어 서버(204)는 화면의 가로 대 세로 비율이 9:16이 되도록 합성 영상(I'')을 형성한 후, 합성 영상(I'')을 단말기(102-2, 102-4)들에 전송해준다.In this case, if the aspect ratio of each terminal 202-1, 202-2, 202-3, and 202-4 is 16: 9, respectively, the terminals 102-1 and 102-3 display the current screen. Since the ratio is 16: 9, the video
여기서는, 합성 영상(I') 및 합성 영상(I'') 내에서 각 영상(A, B, C, D)들이 원래 영상의 화면 비율을 그대로 갖는 것으로 도시하였다. 그러나 본 발명은 이에 한정되는 것은 아니며, 합성 영상(I') 및 합성 영상(I'') 내에서 각 영상(A, B, C, D)들은 원래 영상의 화면 비율 및 화면 크기 중 적어도 하나가 다르게 영상 처리되어 합성될 수도 있다. 예를 들어, 합성 영상(I') 내에서 각 영상(A, B, C, D)들이 원래 영상의 화면 비율을 그대로 갖는 경우, 합성 영상(I') 내에서 영상(B, D)의 좌우에는 빈 공간이 생기게 되며, 합성 영상(I'')의 경우에는 영상(A, C)의 상하에 빈 공간이 생기게 된다. 이를 해결하기 위하여, 합성 영상(I', I'') 내에서 각 영상의 상하 또는 좌우에 빈 공간이 생기지 않도록 영상의 화면 비율 및 화면 크기를 조절하여 합성할 수 있다. 예를 들어, 합성 영상(I') 내에서 영상 통화 사용자가 얼굴이 해당 화면 전체를 차지하도록 영상(B, D)의 상하를 잘라내고 크기를 조절하거나, 합성 영상(I'')의 경우에는 영상 (A, C)의 좌우를 잘라낼 수 있다. 또한, 화면 합성 시 영상의 일부를 잘라낼 경우에는 영상 내 얼굴을 인식하여 사람의 얼굴이 잘리지 않도록 할 수도 있다. 영상 인식 기술은 본 발명이 속하는 기술분야에서 잘 알려져 있으므로 이에 대해서는 상세한 설명을 생략한다.
Here, each of the images A, B, C, and D in the composite image I 'and the composite image I''has the same aspect ratio as the original image. However, the present invention is not limited thereto, and each of the images A, B, C, and D in the composite image I ′ and the composite image I ″ may include at least one of an aspect ratio and a screen size of the original image. The image may be processed differently and synthesized. For example, when each of the images A, B, C, and D has the same aspect ratio as the original image in the composite image I ', the left and right sides of the images B and D in the composite image I' are the same. In the case of the composite image I '', an empty space is formed above and below the images A and C. In order to solve this problem, the aspect ratio and the screen size of the image may be adjusted and synthesized so that no blank space is generated in the synthesized images I 'and I''. For example, in the composite video I ', the video call user cuts and resizes the top and bottom of the images B and D so that the face occupies the entire screen, or in the case of the composite video I'', The left and right sides of the image (A, C) can be cropped. In addition, when a part of the image is cut out during screen synthesis, the face in the image may be recognized so that the face of the person may not be cut off. Since image recognition technology is well known in the art to which the present invention pertains, a detailed description thereof will be omitted.
도 5는 본 발명의 제1실시예에 따른 영상 통화 제어 서버의 구성을 나타낸 도면이다. 도 5를 참조하면, 영상 통화 제어 서버(204)는 통신부(500), 저장부(502), 영상 회전부(504), 및 합성 영상 형성부(506)를 포함한다.5 is a diagram showing the configuration of a video call control server according to a first embodiment of the present invention. Referring to FIG. 5, the video
통신부(500)는 각 단말기(202)로부터 자세 정보 및 해당 단말기(202)의 사용자를 촬영한 영상을 수신한다. 통신부(500)는 각 단말기(202)로부터 기준 화면 비율 정보를 수신할 수도 있다. 또한, 통신부(500)는 합성 영상 형성부(506)가 형성한 합성 영상을 각 단말기(202)로 전송한다.The
저장부(502)는 통신부(500)가 수신한 각 단말기(202)의 자세 정보 및 촬영 영상들을 저장한다. 저장부(502)는 통신부(500)가 수신한 각 단말기(202)의 기준 화면 비율 정보를 저장할 수도 있다.The
영상 회전부(504)는 각 단말기(202)의 자세 정보를 이용하여 각 단말기(202)가 전송한 영상들 중 기준 자세로의 회전이 필요한 영상이 있는지 여부를 확인한다. 기준 자세로의 회전이 필요한 영상이 있는 경우, 영상 회전부(504)는 해당 영상이 기준 자세를 취하도록 해당 영상을 회전시킨다.The
합성 영상 형성부(506)는 각 단말기(202)로부터 수신한 영상 중 기준 자세로의 회전이 필요 없는 영상(즉, 이미 기준 자세를 취하고 있는 영상) 및 각 단말기(202)로부터 수신한 영상 중 영상 회전부(504)에 의해 기준 자세로 회전된 영상을 합성하여 합성 영상을 형성한다. 이때, 합성 영상 형상부(506)는 각 단말기(202)가 전송한 기준 화면 비율 정보 및 자세 정보에 대응하는 화면 비율로 합성 영상을 형성할 수 있다.
The composite
도 6은 본 발명의 제1실시예에 따른 영상 통화 방법을 나타낸 순서도이다.6 is a flowchart illustrating a video call method according to a first embodiment of the present invention.
도 6을 참조하면, 각 단말기(202)가 영상 통화 제어 서버(204)로 영상 통화 요청을 수행하면서, 자신의 자세 정보를 영상 통화 제어 서버(204)로 전송한다(S602). 이때, 각 단말기(202)는 자신의 기준 화면 비율 정보를 자세 정보와 함께 전송할 수 있다. 그러나, 기준 화면 비율 정보가 자세 정보와 반드시 함께 전송되어야 하는 것은 아니며, 기준 화면 비율 정보를 자세 정보와 별도로 전송할 수도 있다.Referring to FIG. 6, while each terminal 202 performs a video call request to the video
다음으로, 각 단말기(202)가 사용자를 촬영한 영상을 영상 통화 제어 서버(204)로 전송한다(S604). 이때, 영상 통화 제어 서버(204)로 전송된 영상은 촬영시의 각 단말기(202)의 자세에 따라 영상이 기준 자세에서 소정 각도로 회전되어 나타날 수 있다. Next, each terminal 202 transmits the image of the user to the video call control server 204 (S604). In this case, the image transmitted to the video
다음으로, 영상 통화 제어 서버(204)가 각 단말기(202)로부터 수신한 자세 정보를 이용하여 각 단말기(202)로부터 수신한 영상들 중 기준 자세로의 회전이 필요한 영상이 있는지 여부를 확인한다(S606).Next, the video
단계 S 105의 확인 결과, 기준 자세로의 회전이 필요한 영상이 있는 경우, 영상 통화 제어 서버(204)가 해당 영상을 기준 자세로 회전시킨다(S608). 기준 자세로의 회전이 필요한 영상들을 기준 자세로 회전시킨 경우, 각 단말기(202)로부터 수신한 영상들은 모두 기준 자세를 취하게 된다.As a result of checking in step S 105, when there is an image requiring rotation to the reference position, the video
다음으로, 영상 통화 제어 서버(204)가 기준 자세를 취하고 있는 영상들을 합성하여 합성 영상을 형성한 후, 합성 영상을 각 단말기(202)로 전송한다(S610). 여기서, 각 단말기(202)로부터 기준 화면 비율 정보가 전송된 경우, 영상 통화 제어 서버(102)는 합성 영상을 기준 화면 비율 정보 및 자세 정보에 대응하는 화면 비율로 형성한 후, 해당 단말기(202)로 각각 전송해준다.Next, the video
한편, 각 단말기(202)는 자신의 자세 정보를 영상 통화 제어 서버(204)로 전송한 후에 자신의 자세가 변경된 경우, 변경된 자세에 대응하는 자세 정보를 영상 통화 제어 서버(204)로 다시 전송할 수 있다.
On the other hand, each terminal 202 transmits its posture information to the video
도 7은 본 발명의 제2실시예에 따른 영상 통화 시스템을 나타낸 도면이다.7 is a view showing a video call system according to a second embodiment of the present invention.
도 7을 참조하면, 본 발명의 제2실시예에 따른 영상 통화 시스템(700)은 복수 개의 단말기(702) 및 영상 통화 제어 서버(704)를 포함한다. 여기서는 단말기(702)가 4대인 것으로 도시하였으나, 이에 한정되는 것은 아니며 단말기(702)는 2대 이상의 단말기가 사용될 수 있다.Referring to FIG. 7, the
각 단말기(702)는 영상 통화 제어 서버(704)로 영상 통화 요청을 수행하면서, 자신이 촬영한 영상을 영상 통화 제어 서버(704)로 전송한다. 이때, 각 단말기(702)는 자신의 자세 정보를 확인한 후, 해당 자세 정보에 따라 촬영 영상을 회전하여 영상 통화 제어 서버(704)로 전송한다. 여기서, 자세 정보란 단말기(702)의 현재 자세가 기 설정된 기준 자세로부터 얼마만큼 회전된 상태에 있는지 여부를 나타내는 정보를 말한다.Each terminal 702 sends a video
도 8은 본 발명의 제2실시예에 따른 단말기가 기준 자세에서 시계 방향으로 90도씩 회전된 상태 및 기준 자세에서 회전된 상태에 따라 촬영 영상을 회전한 상태를 나타낸 도면이다.8 is a view illustrating a state in which a terminal is rotated by 90 degrees clockwise from a reference posture and a state in which a terminal is rotated in a reference posture according to a second embodiment of the present invention.
도 8을 참조하면, 각 단말기(702)는 예를 들어, 기준 자세(도 8의 a), 기준 자세로부터 시계 방향으로 90도 각도로 회전된 상태(기준 자세로부터 반 시계 방향으로 270도 각도로 회전된 상태)(도 8의 b), 기준 자세로부터 시계 방향으로 180도 각도로 회전된 상태(기준 자세로부터 반 시계 방향으로 180도 각도로 회전된 상태)(도 8의 c), 기준 자세로부터 시계 방향으로 270도 각도로 회전된 상태(기준 자세로부터 반 시계 방향으로 90도 각도로 회전된 상태)(도 8의 d)에 있을 수 있게 된다. Referring to FIG. 8, each terminal 702 is rotated by a reference posture (a in FIG. 8) at a 90 degree angle clockwise from the reference posture (at an angle of 270 degrees counterclockwise from the reference posture). Rotated state) (b of FIG. 8), rotated 180 degrees clockwise from the reference pose (rotated 180 degrees counterclockwise from the reference pose) (FIG. 8c), from the reference pose It may be in a state rotated 270 degrees clockwise (a state rotated 90 degrees counterclockwise from the reference posture) (d of FIG. 8).
즉, 단말기(702)는 기준 자세로부터 90도 단위(즉, 0도, 90도, 180도, 270도)로 회전 상태가 변경되는데, 이는 사용자가 단말기(702)를 어느 정도로 회전시키는가에 따라 달라지게 된다. 또한, 본 발명의 제1실시예에서 설명한 바와 같이, 사용자가 직접 손에 들고 사용하는 단말기(702)의 특성 상 정확한 각도로 단말기를 회전하는 것은 불가능하므로, 단말기(702)는 단말기의 회전 각도의 임계값을 미리 설정하여 두었다가 이에 따라 회전 상태를 변경할 수 있다.That is, the terminal 702 is rotated in 90 degree units (ie, 0 degrees, 90 degrees, 180 degrees, and 270 degrees) from the reference posture, depending on how much the user rotates the terminal 702. You lose. In addition, as described in the first embodiment of the present invention, since it is impossible to rotate the terminal at the correct angle due to the characteristics of the terminal 702 that the user directly holds and uses, the terminal 702 may be configured to adjust the rotation angle of the terminal. You can set the threshold in advance and change the rotation state accordingly.
도 8의 (a)에 도시된 바와 같이, 단말기(702)가 기준 자세에 있는 경우, 단말기(702)는 촬영한 영상을 바로 영상 통화 제어 서버(704)로 전송한다. 여기서, 영상 통화 제어 서버(704)로 전송되는 영상은 가로 화면 모드로 전송된다. 본 발명의 실시예에서, 본 발명의 실시예들에서, 가로 화면 모드란 해당 영상의 가로 화면 길이(또는 해상도)가 세로 화면 길이보다 긴 경우를, 세로 화면 모드란 해당 영상의 세로 화면 길이(또는 해상도)가 가로 화면 길이보다 긴 경우를 각각 의미한다. 예를 들어, 가로 화면 모드에서 해당 영상의 가로 대 세로 화면 비율은 4:3 또는 16:9로, 세로 화면 모드에서 해당 영상의 가로 대 세로 화면 비율은 3:4 또는 9:16으로 각각 설정될 수 있다.As shown in FIG. 8A, when the terminal 702 is in the reference posture, the terminal 702 transmits the captured image to the video
도 8의 (b)에 도시된 바와 같이, 단말기(702)가 기준 자세로부터 시계 방향으로 90도 각도로 회전된 상태에 있는 경우, 단말기(702)가 촬영한 영상은 반 시계 방향으로 90도 각도로 회전되어 표시되게 된다. 이때, 단말기(702)는 영상 통화 사용자가 촬영 영상 내에서 기준 방향으로 표시되도록 촬영 영상을 시계 방향으로 90도 회전한 후, 영상 통화 제어 서버(704)로 전송한다. 기준 방향은 영상 통화 사용자가 촬영 영상 내에서 정상적인 자세(예를 들어, 영상 통화 사용자의 머리가 촬영 영상 내에서 윗 부분을 향하는 자세)로 표시되는 방향을 말한다. 여기서, 영상 통화 제어 서버(704)로 전송되는 영상은 세로 화면 모드로 전송된다.As shown in (b) of FIG. 8, when the terminal 702 is rotated 90 degrees clockwise from the reference posture, the image captured by the terminal 702 is 90 degrees counterclockwise. Rotate to display. At this time, the terminal 702 rotates the captured image 90 degrees clockwise so that the video call user is displayed in the reference direction within the captured image, and transmits it to the video
도 8의 (c)에 도시된 바와 같이, 단말기(702)가 기준 자세로부터 시계 방향으로 180도 각도로 회전된 상태에 있는 경우, 단말기(702)가 촬영한 영상은 반 시계 방향으로 180도 각도로 회전되어 표시되게 된다. 이때, 단말기(702)는 영상 통화 사용자가 촬영 영상 내에서 기준 방향으로 표시되도록 촬영 영상을 시계 방향으로 180도 회전한 후, 영상 통화 제어 서버(704)로 전송한다. 여기서, 영상 통화 제어 서버(704)로 전송되는 영상은 가로 화면 모드로 전송된다.As shown in (c) of FIG. 8, when the terminal 702 is rotated 180 degrees clockwise from the reference posture, the image captured by the terminal 702 is 180 degrees counterclockwise. Rotate to display. In this case, the terminal 702 rotates the captured image by 180 degrees clockwise so that the video call user is displayed in the reference direction within the captured image, and transmits it to the video
도 8의 (d)에 도시된 바와 같이, 단말기(702)가 기준 자세로부터 시계 방향으로 270도 각도로 회전된 상태에 있는 경우, 단말기(702)가 촬영한 영상은 반 시계 방향으로 270도 각도로 회전되어 표시되게 된다. 이때, 단말기(702)는 영상 통화 사용자가 촬영 영상 내에서 기준 방향으로 표시되도록 촬영 영상을 시계 방향으로 270도 회전한 후, 영상 통화 제어 서버(704)로 전송한다. 여기서, 영상 통화 제어 서버(704)로 전송되는 영상은 세로 화면 모드로 전송된다. As shown in (d) of FIG. 8, when the terminal 702 is rotated 270 degrees clockwise from the reference posture, the image captured by the terminal 702 is 270 degrees counterclockwise. Rotate to display. In this case, the terminal 702 rotates the captured image 270 degrees clockwise so that the video call user is displayed in the reference direction within the captured image, and transmits it to the video
이와 같이, 각 단말기(702)는 자신의 현재 자세가 기준 자세로부터 얼마만큼 회전된 상태에 있는지를 확인한 후(즉, 자세 정보를 확인한 후), 확인된 자세 정보에 따라 촬영 영상을 회전하여 영상 통화 제어 서버(704)로 전송한다. 여기서, 각 단말기(702)가 촬영 영상 내에서 영상 통화 사용자가 기준 방향으로 표시되도록 촬영 영상을 회전하면, 단말기(702)가 기준 자세로부터 회전된 상태에 있다 하더라도 회전된 영상 내에서 영상 통화 사용자는 기준 방향을 그대로 유지한 상태로 표시되게 된다.As described above, each terminal 702 checks how much its current posture is rotated from the reference posture (that is, after confirming the posture information), and then rotates the captured video according to the confirmed posture information to make a video call. Send to control
이때, 각 단말기(702)는 촬영 영상을 전송한 후 자신의 자세가 변경되는 경우, 전술한 것과 동일한 방법으로 변경된 자세에 대응하여 촬영 영상을 회전한 후 영상 통화 제어 서버(704)로 전송할 수 있다. 그러면, 영상 통화 제어 서버(704)는 변경된 자세에 대응하여 회전된 촬영 영상을 분석한 후, 해당 단말기(702)의 현재 화면 모드에 대응하는 합성 영상을 형성할 수 있다.In this case, when the posture of the terminal 702 is changed after transmitting the captured image, the terminal 702 may rotate the captured image corresponding to the changed posture in the same manner as described above, and then transmit the captured image to the video
여기서는, 단말기(702) 화면이 가로로 놓인 상태를 기준 자세로 하였기 때문에, 도 8의 (a) 및 (c)는 가로 화면 모드로 영상이 전송되고, 도 8의 (b) 및 (d)는 세로 화면 모드로 영상이 전송되는 것으로 도시하였으나, 이에 한정되는 것은 아니다.
In this case, since the terminal 702 screen is placed horizontally, the image is transmitted in the horizontal screen mode in FIGS. 8A and 8C, and FIGS. 8B and 8D are in the horizontal screen mode. Although the image is transmitted in the vertical screen mode, the present invention is not limited thereto.
다음으로, 영상 통화 제어 서버(704)는 각 단말기(702)로부터 전송된 각 영상을 합성하여 하나의 합성 영상을 형성한다. 이때, 영상 통화 제어 서버(704)는 해당 단말기(702)의 현재 화면 모드(즉, 가로 화면 모드 또는 세로 화면 모드)에 따라 합성 영상을 형성할 수 있다. Next, the video
구체적으로, 영상 통화 제어 서버(704)는 각 단말기(702)로부터 전송된 각 영상을 통해 해당 단말기(702)의 현재 화면 모드(즉, 가로 화면 모드 또는 세로 화면 모드)를 확인한 후, 해당 단말기(702)의 현재 화면 모드에 따라 합성 영상을 형성하여 해당 단말기(702)로 전송한다. 이때, 영상 통화 제어 서버(704)는 해당 단말기(702)의 화면 비율(즉, 가로 대 세로 화면 비율) 대로 합성 영상을 전송할 수 있다. 즉, 영상 통화 제어 서버(704)는 해당 단말기(702)의 현재 화면 모드 및 화면 비율에 따라 합성 영상을 형성하여 해당 단말기(702)로 전송할 수도 있다.Specifically, the video
예를 들어, 소정 단말기(702)의 현재 화면 모드가 가로 화면 모드이고, 화면의 가로 대 세로 비율이 4:3인 경우, 영상 통화 제어 서버(704)는 합성 영상을 가로 화면 모드로 형성하면서 합성 영상의 가로 대 세로 화면 비율을 4:3으로 하여 해당 단말기(702)로 전송할 수 있다. 그리고, 소정 단말기(702)의 현재 화면 모드가 세로 화면 모드이고, 화면의 가로 대 세로 비율이 16:9인 경우, 영상 통화 제어 서버(704)는 합성 영상을 세로 화면 모드로 형성하면서 합성 영상의 세로 대 가로 화면 비율을 16:9로 하여 해당 단말기(702)로 전송할 수 있다.For example, when the current screen mode of the
이때, 영상 통화 제어 서버(704)는 각 단말기(702)의 화면 비율의 종류에 따라 그에 대응하는 개수의 합성 영상을 각각 형성한 후, 각 단말기(702)의 현재 화면 모드 및 화면 비율에 따른 합성 영상을 해당 단말기(702)로 전송할 수 있다. 예를 들어, 각 단말기(702)의 화면 비율이 4:3과 16:9의 두 종류인 경우, 영상 통화 제어 서버(704)는 가로 대 세로 화면 비율이 4:3인 합성 영상, 3:4인 합성 영상, 16:9인 합성 영상, 및 9:16인 합성 영상을 각각 형성한 후, 각 단말기(702)의 현재 화면 모드 및 화면 비율에 따라 해당 합성 영상을 각 단말기(702)로 전송할 수 있다.In this case, the video
영상 통화 제어 서버(704)는 각 단말기(702)로부터 영상이 전송될 때마다(또는 주기적으로) 영상을 분석하여 각 단말기(702)의 현재 화면 모드를 확인할 수 있다. 이때, 영상 통화 제어 서버(704)는 소정 단말기(702)의 현재 화면 모드가 변경된 경우, 변경된 화면 모드에 따라 합성 영상을 형성하여 해당 단말기(702)로 전송할 수 있다. 예를 들어, 사용자가 단말기(702)를 가로 방향에서 세로 방향으로 회전할 경우, 단말기(702)는 회전된 방향에 맞추어 영상을 회전하여 영상 통화 제어 서버(704)로 송신하며, 영상 통화 제어 서버(704)는 수신된 영상의 영상의 화면 모드가 가로 방향에서 세로 방향으로 변경된 것을 확인하고, 변경된 화면 모드에 맞추어 합성 영상을 생성할 수 있다.The video
본 발명의 실시예에 의하면, 각 단말기(702)가 자신의 자세 정보에 따라 촬영 영상을 회전하여 영상 통화 제어 서버(704)로 전송하고, 영상 통화 제어 서버(704)가 각 단말기(702)의 현재 화면 모드에 따라 합성 영상을 형성하여 해당 단말기(702)로 전송함으로써, 각 단말기(702)가 서로 다른 자세에서 사용자를 촬영하여 영상 통화를 수행하더라도 영상 통화 제어 서버(704)로부터 영상 통화 사용자들이 영상 내에서 기준 방향으로 표시되는 합성 영상을 수신할 수 있게 된다. 이 경우, 각 단말기(702)의 사용자들은 다른 사용자들의 영상이 회전된 상태로 보이는 것에 따른 이질감 및 불편함이 없이 영상 통화를 수행할 수 있게 된다.
According to an embodiment of the present invention, each terminal 702 rotates the captured image according to its posture information and transmits it to the video
도 9는 본 발명의 제2실시예에 따른 영상 통화 제어 서버가 각 단말기로부터 전송된 영상으로 합성 영상을 형성하는 상태를 나타낸 도면이다.9 is a diagram illustrating a state in which a video call control server according to a second embodiment of the present invention forms a composite video from images transmitted from each terminal.
도 9를 참조하면, 제1 단말기(702-1)는 기준 자세에서 촬영한 영상을 바로 영상 통화 제어 서버(704)로 전송하고, 제2 단말기(702-2)는 기준 자세에서 시계 방향으로 90도 각도로 회전된 상태에서 촬영한 영상을 시계 방향으로 90도 각도로 회전한 후 영상 통화 제어 서버(704)로 전송하며, 제3 단말기(702-3)는 기준 자세에서 시계 방향으로 180도 각도로 회전된 상태에서 촬영한 영상을 시계 방향으로 180도 각도로 회전한 후 영상 통화 제어 서버(704)로 전송하고, 제4 단말기(702-4)는 시계 방향으로 270도 각도로 회전된 상태에서 촬영한 영상을 시계 방향으로 270도 각도로 회전한 후 영상 통화 제어 서버(704)로 전송하는 경우를 살펴보기로 한다. Referring to FIG. 9, the first terminal 702-1 directly transmits an image captured in the reference posture to the video
여기서는, 단말기(702) 화면이 가로로 놓인 상태를 기준 자세로 하였다. 이 경우, 제1 단말기(702-1) 및 제3 단말기(702-3)로부터 각각 전송된 영상(A, C)은 가로 화면 모드로 전송되고, 제2 단말기(702-2) 및 제4 단말기(702-4)로부터 각각 전송된 영상(B, D)은 세로 화면 모드로 전송된다. 그리고, 각 단말기(702)들의 가로 대 세로 화면 비율은 16:9인 것으로 하였다.Here, the state in which the screen of the terminal 702 is placed horizontally is taken as the reference attitude. In this case, the images A and C transmitted from the first terminal 702-1 and the third terminal 702-3 are transmitted in the horizontal screen mode, and the second terminal 702-2 and the fourth terminal. Images B and D respectively transmitted from 702-4 are transmitted in the portrait screen mode. The aspect ratio of each terminal 702 is set to 16: 9.
그러면, 영상 통화 제어 서버(704)는 제1 단말기(702-1) 및 제3 단말기(702-3)로부터 각각 전송된 영상(A, C)을 통해 제1 단말기(702-1) 및 제3 단말기(702-3)의 현재 화면 모드 및 화면 비율을 확인할 수 있다. 그리고, 영상 통화 제어 서버(704)는 제2 단말기(702-2) 및 제4 단말기(702-4)로부터 각각 전송된 영상(B, D)을 통해 제2 단말기(702-2) 및 제4 단말기(702-4)의 현재 화면 모드 및 화면 비율을 확인할 수 있다.Then, the video
이 경우, 영상 통화 제어 서버(704)는 영상(A, B, C, D)을 가로 화면 모드로 형성하면서 가로 대 세로 비율이 16:9가 되도록 합성 영상(I')을 형성한 후, 합성 영상(I')을 제1 단말기(702-1) 및 제3 단말기(702-3)로 전송해준다. 그리고, 영상 통화 제어 서버(704)는 영상(A, B, C, D)을 세로 화면 모드로 형성하면서 세로 대 가로 비율이 16:9가 되도록 합성 영상(I'')을 형성한 후, 합성 영상(I'')을 제2 단말기(702-2) 및 제4 단말기(702-4)로 전송해준다. In this case, the video
또한, 본 발명의 제1실시예에서 설명한 바와 같이, 합성 영상(I') 및 합성 영상(I'') 내에서 각 영상(A, B, C, D)들은 원래 영상의 화면 비율 및 화면 크기 중 적어도 하나가 다르게 영상 처리되어 합성될 수도 있다.
In addition, as described in the first embodiment of the present invention, each of the images A, B, C, and D in the synthesized image I 'and the synthesized image I''may have an aspect ratio and a screen size of the original image. At least one of the images may be differently processed and synthesized.
예를 들어 제 1실시예와 같이 화면 비율 또는 크기를 조절 하여 빈 공간이 생기지 않도록 하거나. 일부 얼굴 인식을 하여 영상을 잘라낼 수 있다.
For example, as in the first embodiment, the aspect ratio or size is adjusted so as not to create an empty space. Some facial recognition can be used to crop the image.
도 10은 본 발명의 제2실시예에 따른 단말기의 구성을 나타낸 도면이다.10 is a diagram showing the configuration of a terminal according to a second embodiment of the present invention.
도 10을 참조하면, 본 발명의 제2실시예에 따른 단말기(702)는 촬영부(1000), 자세 정보 감지부(1002), 영상 회전부(1004), 및 영상 통화부(1006)를 포함한다.Referring to FIG. 10, the terminal 702 according to the second embodiment of the present invention includes a photographing
촬영부(1000)는 카메라를 통해 전방을 촬영한다. 예를 들어, 영상 통화 시 촬영부(1000)는 영상 통화 사용자를 촬영할 수 있다.The photographing
자세 정보 감지부(1002)는 단말기(702)의 자세 정보를 감지한다. 즉, 자세 정보 감지부(1002)는 단말기(702)가 기 설정된 기준 자세로부터 얼마만큼 회전된 상태에 있는지 여부를 감지한다. 자세 정보 감지부(1002)는 예를 들어, 자이로 센서 또는 중력 센서 등을 포함할 수 있다.The posture
영상 회전부(1004)는 단말기(702)의 자세 정보에 따라 촬영부(1000)가 촬영한 영상을 회전시킨다. 예를 들어, 영상 회전부(1000)는 자세 정보 감지부(1000)가 감지한 자세 정보를 확인하여 단말기(702)가 기준 자세로부터 회전된 상태에 있는 경우, 영상 내에서 영상 통화 사용자가 기준 방향으로 표시되도록 촬영부(1000)가 촬영한 영상을 회전시킨다. 이 경우, 단말기(702)가 기준 자세로부터 회전된 상태에 있더라도 회전된 영상 내에서 영상 통화 사용자는 기준 방향을 유지한 상태로 표시되게 된다.The
영상 회전부(1004)는 회전된 영상 또는 촬영부(1000)가 촬영한 영상을 영상 통화부(1006)로 전달한다. 즉, 영상 회전부(1004)는 단말기(702)가 기준 자세를 유지하고 있는 경우, 촬영부(1000)가 촬영한 영상을 그대로 영상 통화부(1006)로 전달한다.The
영상 통화부(1006)는 영상 통화 제어 서버(704)로 영상 통화 요청을 수행한다. 영상 통화부(1006)는 촬영부(1000)가 촬영한 영상 또는 영상 회전부(1004)에 의해 회전된 영상을 영상 통화 제어 서버(704)로 전송한다. 영상 통화부(1006)는 영상 통화 제어 서버(704)로부터 합성 영상을 수신한다.
The
도 11은 본 발명의 제2실시예에 따른 영상 통화 제어 서버의 구성을 나타낸 도면이다. 도 11을 참조하면, 영상 통화 제어 서버(704)는 통신부(1100), 저장부(1102), 영상 분석부(1104), 및 합성 영상 형성부(1106)를 포함한다.11 is a diagram showing the configuration of a video call control server according to a second embodiment of the present invention. Referring to FIG. 11, the video
통신부(1100)는 각 단말기(702)와 영상 통화를 위한 통신을 수행한다. 예를 들어, 통신부(1100)는 각 단말기(702)로부터 촬영 영상을 수신한다. 이때, 촬영 영상은 영상 회전부(115)에 의해 회전된 영상일 수 있다. 또한, 통신부(1100)는 합성 영상 형성부(1106)가 형성한 합성 영상을 각 단말기(702)로 전송한다.The
저장부(1102)는 통신부(1100)가 수신한 각 단말기(702)의 촬영 영상들을 저장한다. 저장부(1102)는 합성 영상 형성부(1106)가 형성한 합성 영상을 저장할 수도 있다. 이때, 저장부(1102)는 각 단말기(702)의 촬영 영상 및 합성 영상을 임시로 저장하는 버퍼일 수 있다.The
영상 분석부(1104)는 통신부(1100)가 수신한 각 단말기(702)의 촬영 영상들을 분석하여 각 단말기(702)의 현재 화면 모드 및 화면 비율을 검출한다. 즉, 영상 분석부(1104)는 각 단말기(702)의 촬영 영상의 가로 화면 길이(또는 해상도)와 세로 화면 길이(또는 해상도)를 분석하여 해당 단말기(702)의 현재 화면 모드 및 화면 비율을 검출한다.The
합성 영상 형성부(1106)는 각 단말기(702)로부터 수신한 촬영 영상들을 합성하여 합성 영상을 형성한다. 합성 영상 형성부(1106)는 각 단말기(702)의 현재 화면 모드(가로 화면 모드 또는 세로 화면 모드)에 따라 합성 영상을 형성할 수 있다. 이때, 합성 영상 형성부(1106)는 각 단말기(702)의 화면 비율대로 합성 영상을 형성할 수 있다.
The composite
도 12는 본 발명의 제2실시예에 따른 영상 통화 방법을 나타낸 순서도이다. 도 12를 참조하면, 각 단말기(702)가 영상 통화 제어 서버(704)로 영상 통화 요청을 수행하면서, 자신의 자세 정보를 확인한다(S1202). 이때, 각 단말기(702)는 내부에 설치된 자이로 센서 또는 중력 센서 등을 통해 자신의 자세 정보를 확인할 수 있다.12 is a flowchart illustrating a video call method according to a second embodiment of the present invention. Referring to FIG. 12, each terminal 702 checks its posture information while performing a video call request to the video call control server 704 (S1202). In this case, each terminal 702 may check its posture information through a gyro sensor or a gravity sensor installed therein.
다음으로, 각 단말기(702)가 자신의 자세 정보에 따라 촬영 영상을 회전하여 영상 통화 제어 서버(704)로 전송한다(S1204). 이때, 각 단말기(702)는 영상 내에서 영상 통화 사용자가 기 설정된 기준 방향으로 표시되도록 촬영 영상을 회전시킬 수 있다.Next, each terminal 702 rotates the captured image according to its posture information and transmits it to the video call control server 704 (S1204). In this case, each terminal 702 may rotate the captured image so that the video call user is displayed in a preset reference direction within the image.
다음으로, 영상 통화 제어 서버(704)가 각 단말기(702)로부터 전송된 영상을 통해 각 단말기(702)의 현재 화면 모드 및 화면 비율을 확인한다(S1206).Next, the video
다음으로, 영상 통화 제어 서버(704)가 각 단말기(702)로부터 전송된 영상을 이용하여 각 단말기(702)의 현재 화면 모드 및 화면 비율에 따른 합성 영상을 형성한 후, 합성 영상을 해당 단말기(702)로 전송한다(S1208).Next, the video
한편, 각 단말기(702)는 영상 통화 중 자신의 자세가 변경되는 경우, 변경된 자세에 대응하여 촬영 영상을 회전한 후, 영상 통화 제어 서버(704)로 전송할 수 있다. 그러면, 영상 통화 제어 서버(704)는 변경된 자세에 대응하여 회전된 촬영 영상을 분석한 후, 해당 단말기(702)의 현재 화면 모드에 대응하는 합성 영상을 형성하여 해당 단말기(702)로 전송할 수 있다.
On the other hand, each terminal 702, if its posture is changed during the video call, and rotates the captured image corresponding to the changed posture, it may transmit to the video
한편, 본 발명의 실시예는 본 명세서에서 기술한 방법들을 컴퓨터상에서 수행하기 위한 프로그램을 포함하는 컴퓨터 판독 가능 기록매체를 포함할 수 있다. 상기 컴퓨터 판독 가능 기록매체는 프로그램 명령, 로컬 데이터 파일, 로컬 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체는 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 분야에서 통상의 지식을 가진 자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD와 같은 광 기록 매체, 플로피 디스크와 같은 자기-광 매체, 및 롬, 램, 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함할 수 있다.
On the other hand, an embodiment of the present invention may include a computer-readable recording medium including a program for performing the methods described herein on a computer. The computer-readable recording medium may include a program command, a local data file, a local data structure, or the like, alone or in combination. The media may be those specially designed and constructed for the present invention or may be known and available to those of ordinary skill in the computer software arts. Examples of computer-readable media include magnetic media such as hard disks, floppy disks and magnetic tape, optical recording media such as CD-ROMs and DVDs, magneto-optical media such as floppy disks, and magnetic media such as ROMs, And hardware devices specifically configured to store and execute program instructions. Examples of program instructions may include machine language code such as those generated by a compiler, as well as high-level language code that may be executed by a computer using an interpreter or the like.
이상에서 대표적인 실시예를 통하여 본 발명에 대하여 상세하게 설명하였으나, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 상술한 실시예에 대하여 본 발명의 범주에서 벗어나지 않는 한도 내에서 다양한 변형이 가능함을 이해할 것이다. While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it is clearly understood that the same is by way of illustration and example only and is not to be construed as limiting the scope of the present invention. I will understand.
그러므로 본 발명의 권리범위는 설명된 실시예에 국한되어 정해져서는 안 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.
Therefore, the scope of the present invention should not be limited to the above-described embodiments, but should be determined by equivalents to the appended claims, as well as the appended claims.
200, 700: 영상 통화 시스템
202, 702: 단말기
204, 704: 영상 통화 제어 서버
500: 통신부
502: 저장부
504: 영상 회전부
506: 합성 영상 형성부
1000: 촬영부
1002: 자세 정보 감지부
1004: 영상 회전부
1006: 영상 통화부
1100: 통신부
1102: 저장부
1104: 영상 분석부
1106: 합성 영상 형성부200, 700: video calling system
202 and 702: terminal
204, 704: Video call control server
500: communication unit
502: storage unit
504: image rotating unit
506: composite image forming unit
1000: filming unit
1002: posture information detection unit
1004: video rotating part
1006: video call
1100: communication unit
1102: storage unit
1104: image analysis unit
1106: composite image forming unit
Claims (22)
하나 이상의 단말기가 전송하는 영상들을 합성한 합성 영상을 형성하고, 상기 합성 영상을 상기 단말기로 전송하는 영상 통화 제어 서버를 포함하되,
상기 각 영상들은, 상기 단말기에서 감지된 자세 정보에 따라 회전되어 상기 합성 영상으로 합성되는, 영상 통화 시스템.
A terminal for transmitting an image of a video call user; And
Including a video call control server for forming a composite video synthesized with the images transmitted by one or more terminals, and transmitting the synthesized video to the terminal,
Each of the images is rotated according to the attitude information detected by the terminal and synthesized into the synthesized image.
상기 단말기는, 상기 자세 정보를 상기 영상 통화 제어 서버로 송신하며,
상기 영상 통화 제어 서버는, 수신된 상기 자세 정보에 따라 상기 단말기로부터 수신된 영상을 기준 자세로 회전하고, 회전된 영상을 합성하여 상기 합성 영상을 형성하는, 영상 통화 시스템.
The method according to claim 1,
The terminal transmits the posture information to the video call control server.
The video call control server is configured to rotate the video received from the terminal to a reference posture according to the received posture information, and synthesize the rotated video to form the synthesized video.
상기 단말기는, 상기 자세 정보와 함께 상기 단말기의 화면 비율 정보를 상기 영상 통화 제어 서버로 전송하는, 영상 통화 시스템.
The method according to claim 2,
The terminal transmits aspect ratio information of the terminal together with the posture information to the video call control server.
상기 단말기는, 상기 자세 정보를 전송한 후 상기 단말기의 자세가 변경된 경우, 변경된 자세에 대응되는 자세 정보를 상기 영상 통화 제어 서버로 송신하는, 영상 통화 시스템.
The method according to claim 2,
The terminal, when the posture of the terminal is changed after transmitting the posture information, transmits posture information corresponding to the changed posture to the video call control server.
상기 단말기는, 자세 정보를 감지하고, 감지된 상기 자세 정보에 따라 촬영된 영상을 기준 자세로 회전하여 상기 영상 통화 제어 서버로 송신하는, 영상 통화 시스템.
The method according to claim 1,
The terminal detects posture information, and transmits the image captured according to the detected posture information to a reference posture to be transmitted to the video call control server.
상기 단말기는, 상기 자세 정보를 전송한 후 상기 단말기의 자세가 변경된 경우, 변경된 자세에 대응되는 자세 정보에 따라 상기 촬영된 영상을 회전하여 상기 영상 통화 제어 서버로 송신하는, 영상 통화 시스템.
The method according to claim 5,
When the posture of the terminal is changed after the posture information is transmitted, the terminal rotates the captured image according to the posture information corresponding to the changed posture and transmits the captured image to the video call control server.
상기 영상 통화 제어 서버는, 상기 단말기가 전송하는 영상을 통해 상기 단말기의 화면 모드를 확인하고, 상기 화면 모드에 따라 상기 합성 영상을 형성하여 상기 단말기로 전송하는, 영상 통화 시스템.
The method according to claim 5,
The video call control server checks a screen mode of the terminal through an image transmitted by the terminal, and forms the composite image according to the screen mode and transmits the synthesized image to the terminal.
상기 영상 통화 제어 서버는, 상기 단말기로부터 수신된 영상으로부터 상기 화면 모드와 함께 상기 단말기의 화면 비율을 확인하고, 상기 화면 모드 및 상기 화면 비율에 따라 상기 합성 영상을 형성하여 상기 단말기로 전송하는, 영상 통화 시스템.
The method of claim 7,
The video call control server checks the aspect ratio of the terminal together with the screen mode from the image received from the terminal, forms the composite image according to the screen mode and the aspect ratio, and transmits the image to the terminal. Currency system.
영상 통화 제어 서버에서, 하나 이상의 단말기가 전송하는 영상들을 합성한 합성 영상을 형성하는 단계; 및
상기 영상 통화 제어 서버에서, 상기 합성 영상을 상기 단말기로 전송하는 단계를 포함하되,
상기 합성 영상을 구성하는 각 영상들은, 상기 단말기에서 감지된 자세 정보에 따라 회전되어 합성되는, 영상 통화 방법.
Transmitting, at the terminal, an image of the video call user;
Forming a synthesized video obtained by synthesizing images transmitted from one or more terminals in a video call control server; And
In the video call control server, comprising the step of transmitting the composite video to the terminal,
Each video constituting the composite video is rotated and synthesized according to posture information detected by the terminal.
상기 영상을 전송하는 단계는, 상기 단말기의 자세 정보를 상기 영상 통화 제어 서버로 송신하는 단계를 더 포함하며,
상기 합성 영상을 형성하는 단계는, 수신된 상기 자세 정보에 따라 상기 단말기로부터 수신된 영상을 기준 자세로 회전하고, 회전된 영상을 합성하여 상기 합성 영상을 형성하는, 영상 통화 방법.
The method according to claim 9,
The transmitting of the video may further include transmitting posture information of the terminal to the video call control server.
The forming of the synthesized image may include: rotating the image received from the terminal to a reference position according to the received posture information, and synthesizing the rotated image to form the synthesized image.
상기 영상을 전송하는 단계는, 상기 자세 정보와 함께 상기 단말기의 화면 비율 정보를 상기 영상 통화 제어 서버로 전송하는 단계를 더 포함하는, 영상 통화 방법.
The method of claim 10,
The transmitting of the video may further include transmitting aspect ratio information of the terminal together with the posture information to the video call control server.
상기 단말기는, 상기 자세 정보를 전송한 후 상기 단말기의 자세가 변경된 경우, 변경된 자세에 대응되는 자세 정보를 상기 영상 통화 제어 서버로 송신하는, 영상 통화 방법.
The method of claim 10,
The terminal, if the posture of the terminal is changed after transmitting the posture information, and transmits the posture information corresponding to the changed posture to the video call control server.
상기 영상을 전송하는 단계는,
상기 단말기의 자세 정보를 감지하는 단계; 및
감지된 상기 자세 정보에 따라 촬영된 영상을 기준 자세로 회전하여 상기 영상 통화 제어 서버로 송신하는 단계를 더 포함하는, 영상 통화 방법.
The method according to claim 9,
The step of transmitting the image,
Detecting posture information of the terminal; And
And rotating the captured image according to the detected posture information to a reference posture and transmitting the image to the video call control server.
상기 단말기는, 상기 자세 정보를 전송한 후 상기 단말기의 자세가 변경된 경우, 변경된 자세에 대응되는 자세 정보에 따라 상기 촬영된 영상을 회전하여 상기 영상 통화 제어 서버로 송신하는, 영상 통화 방법.
The method according to claim 13,
If the posture of the terminal is changed after the posture information is transmitted, the terminal rotates the captured image according to the posture information corresponding to the changed posture, and transmits the captured video to the video call control server.
상기 합성 영상을 형성하는 단계는,
상기 단말기가 전송하는 영상을 통해 상기 단말기의 화면 모드를 확인하는 단계; 및
상기 화면 모드에 따라 상기 합성 영상을 형성하는 단계를 더 포함하는, 영상 통화 방법.
The method according to claim 13,
Forming the composite image,
Confirming a screen mode of the terminal through an image transmitted by the terminal; And
And forming the composite image according to the screen mode.
상기 합성 영상을 형성하는 단계는,
상기 단말기로부터 수신된 영상으로부터 상기 화면 모드와 함께 상기 단말기의 화면 비율을 확인하는 단계; 및
상기 화면 모드 및 상기 화면 비율에 따라 상기 합성 영상을 형성하는 단계를 더 포함하는, 영상 통화 방법.
16. The method of claim 15,
Forming the composite image,
Checking the aspect ratio of the terminal together with the screen mode from the image received from the terminal; And
And forming the composite video according to the screen mode and the screen ratio.
상기 통신부가 수신한 영상들 중 상기 자세 정보에 따라 기준 자세로의 회전이 필요한 영상을 기준 자세로 회전시키는 영상 회전부; 및
상기 통신부가 수신한 영상들 중 상기 기준 자세로의 회전이 필요 없는 영상 및 상기 통신부가 수신한 영상들 중 상기 영상 회전부에 의해 상기 기준 자세로 회전된 영상들을 합성하여 합성 영상을 형성하는 합성 영상 형성부를 포함하며,
상기 통신부는, 상기 합성 영상을 상기 각 단말기로 각각 전송하는, 영상 통화 제어 서버.
A communication unit configured to receive posture information of each terminal and an image of a corresponding user from at least one terminal;
An image rotating unit configured to rotate an image requiring rotation to a reference posture according to the posture information among the images received by the communication unit to the reference posture; And
Synthesized image forming a composite image by synthesizing the image of the image received by the communication unit does not need to rotate to the reference position and the image rotated in the reference position by the image rotation unit of the image received by the communication unit Includes wealth,
The communication unit, the video call control server for transmitting the composite video to each terminal.
상기 통신부는, 상기 각 단말기로부터 각 단말기의 기준 화면 비율 정보를 수신하는, 영상 통화 제어 서버.
18. The method of claim 17,
And the communication unit receives reference aspect ratio information of each terminal from each terminal.
상기 합성 영상 형성부는, 상기 기준 화면 비율 정보 및 상기 자세 정보에 따라 상기 합성 영상을 형성하는, 영상 통화 제어 서버.
19. The method of claim 18,
The composite image forming unit forms the composite image according to the reference aspect ratio information and the posture information.
상기 수신된 영상으로부터 각 단말기의 화면 모드를 검출하는 영상 분석부; 및
상기 수신된 영상들을 검출된 상기 각 단말기의 화면 모드에 따라 합성하여 합성 영상을 형성하는 합성 영상 형성부를 포함하며,
상기 통신부는, 상기 합성 영상을 해당 단말기로 전송하는, 영상 통화 제어 서버.
A communication unit which receives an image of a video call user from at least one terminal;
An image analyzer detecting a screen mode of each terminal from the received image; And
And a synthesized image forming unit configured to synthesize the received images according to the detected screen mode of each terminal to form a synthesized image.
The communication unit, the video call control server for transmitting the composite video to the terminal.
상기 영상 분석부는, 상기 수신된 영상으로부터 상기 각 단말기의 화면 비율을 검출하며,
상기 합성 영상 형성부는, 상기 수신된 영상을 상기 각 단말기의 화면 모드 및 상기 화면 비율에 따라 합성하여 합성 영상을 형성하는, 영상 통화 제어 서버.
The method of claim 20,
The image analyzer detects the aspect ratio of each terminal from the received image,
The synthesized image forming unit may form a synthesized image by synthesizing the received image according to the screen mode and the screen ratio of each terminal.
영상 통화 사용자를 촬영하는 촬영부;
상기 단말기의 기 설정된 기준 자세로부터의 회전된 상태를 감지하는 자세 정보 감지부;
상기 회전된 상태에 따라 상기 촬영부가 촬영한 영상을 회전시키는 영상 회전부; 및
상기 촬영부가 촬영한 영상 또는 상기 영상 회전부가 회전시킨 영상을 전송하는 영상 통화부를 포함하는, 단말기.In the terminal used in the video call system,
A photographing unit for photographing a video call user;
A posture information detector configured to detect a rotated state from a preset reference posture of the terminal;
An image rotating unit rotating the image photographed by the photographing unit according to the rotated state; And
And a video call unit configured to transmit an image captured by the photographing unit or an image rotated by the image rotating unit.
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201380007775.5A CN104094593B (en) | 2012-02-03 | 2013-01-29 | Terminal, video calling control server and video call system and method using them |
EP13743668.9A EP2811739B1 (en) | 2012-02-03 | 2013-01-29 | Terminal, image communication control server, and system and method for image communication using same |
PCT/KR2013/000703 WO2013115541A1 (en) | 2012-02-03 | 2013-01-29 | Terminal, image communication control server, and system and method for image communication using same |
US14/122,912 US9307194B2 (en) | 2012-02-03 | 2013-01-29 | System and method for video call |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020120011184 | 2012-02-03 | ||
KR20120011184 | 2012-02-03 |
Publications (1)
Publication Number | Publication Date |
---|---|
KR101293063B1 true KR101293063B1 (en) | 2013-08-06 |
Family
ID=49219828
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020130009383A KR101293063B1 (en) | 2012-02-03 | 2013-01-28 | Terminals, server for controlling video calling, system and method for video calling using the same |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR101293063B1 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20160085173A (en) * | 2015-01-07 | 2016-07-15 | 삼성전자주식회사 | A mehtod for simultaneously displaying one or more items and an electronic device therefor |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005229394A (en) | 2004-02-13 | 2005-08-25 | Canon Inc | Image photographing apparatus, image distribution method for image photographing apparatus, image distribution system, and program |
KR20110020082A (en) * | 2009-08-21 | 2011-03-02 | 엘지전자 주식회사 | Apparatus for controlling mobile terminal and method thereof |
-
2013
- 2013-01-28 KR KR1020130009383A patent/KR101293063B1/en active IP Right Grant
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005229394A (en) | 2004-02-13 | 2005-08-25 | Canon Inc | Image photographing apparatus, image distribution method for image photographing apparatus, image distribution system, and program |
KR20110020082A (en) * | 2009-08-21 | 2011-03-02 | 엘지전자 주식회사 | Apparatus for controlling mobile terminal and method thereof |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20160085173A (en) * | 2015-01-07 | 2016-07-15 | 삼성전자주식회사 | A mehtod for simultaneously displaying one or more items and an electronic device therefor |
KR102373170B1 (en) | 2015-01-07 | 2022-03-11 | 삼성전자주식회사 | A mehtod for simultaneously displaying one or more items and an electronic device therefor |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9307194B2 (en) | System and method for video call | |
US20230037595A1 (en) | Image management system, image management method, and computer program product | |
US9811910B1 (en) | Cloud-based image improvement | |
US11089266B2 (en) | Communication processing method, terminal, and storage medium | |
KR102222073B1 (en) | Method and electronic device for taking a photograph | |
US9373302B2 (en) | Stacked device position identification | |
EP2442562B1 (en) | Method and apparatus for image orientation indication and correction | |
US9052866B2 (en) | Method, apparatus and computer-readable medium for image registration and display | |
JP2017212510A (en) | Image management device, program, image management system, and information terminal | |
WO2023078030A9 (en) | Terminal screen capture method and apparatus, storage medium, and electronic device | |
KR101293063B1 (en) | Terminals, server for controlling video calling, system and method for video calling using the same | |
JP5872415B2 (en) | Display terminal, operation reception method, and program | |
KR101965310B1 (en) | Terminals, server for controlling video calling, system and method for video calling using the same | |
US9756673B2 (en) | Data sharing method and apparatus | |
JP6711118B2 (en) | Image management system, program and information terminal | |
CN114143280A (en) | Session display method and device, electronic equipment and storage medium | |
JP2017162014A (en) | Communication terminal, image communication system, display method, and program | |
US20240087157A1 (en) | Image processing method, recording medium, image processing apparatus, and image processing system | |
KR20130013967A (en) | Mobile communication terminal and operation method thereof | |
JP2012120055A (en) | Imaging device, control method of the same, and program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
A302 | Request for accelerated examination | ||
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant | ||
FPAY | Annual fee payment |
Payment date: 20160701 Year of fee payment: 4 |
|
FPAY | Annual fee payment |
Payment date: 20170629 Year of fee payment: 5 |
|
FPAY | Annual fee payment |
Payment date: 20180625 Year of fee payment: 6 |
|
FPAY | Annual fee payment |
Payment date: 20190701 Year of fee payment: 7 |