KR102244276B1 - Video caller gaze processing method - Google Patents
Video caller gaze processing method Download PDFInfo
- Publication number
- KR102244276B1 KR102244276B1 KR1020200148952A KR20200148952A KR102244276B1 KR 102244276 B1 KR102244276 B1 KR 102244276B1 KR 1020200148952 A KR1020200148952 A KR 1020200148952A KR 20200148952 A KR20200148952 A KR 20200148952A KR 102244276 B1 KR102244276 B1 KR 102244276B1
- Authority
- KR
- South Korea
- Prior art keywords
- gaze
- user
- display unit
- image
- camera
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/14—Systems for two-way working
- H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
-
- G06K9/00597—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Ophthalmology & Optometry (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
- User Interface Of Digital Computer (AREA)
- Telephone Function (AREA)
Abstract
Description
본 발명은 화상통화자 시선처리방법에 관한 것으로, 더욱 상세하게는 사용자의 디스플레이부내 시선위치 이동에 대응하여 상대통화자의 디스플레이부에 표시되는 사용자의 시선방향이 보정되도록 함으로써 상호간의 시선방향을 상대통화자가 확인할 수 있도록 하는 화상통화자 시선처리방법에 관한 것이다.The present invention relates to a video caller's gaze processing method, and more particularly, to correct the user's gaze direction displayed on the opposite caller's display unit in response to the user's gaze position movement in the display unit It relates to a video caller's gaze processing method that enables self-identification.
일반적으로 카메라를 이용한 화상 통화 또는 화상 회의에 있어서 카메라를 응시하는 시선방향과 디스플레이부를 응시하는 시선방향 차이에 의해 디스플레이부를 바라보며 대화하는 양쪽 통화자의 시선방향은 각자의 화상표시부에 다양하게 나타날 수 있다.In general, in a video call or a video conference using a camera, due to a difference in the direction of gaze gazing at the camera and the gaze direction of the display unit, the gaze directions of both callers who are talking while looking at the display unit may be variously displayed on their respective image display units.
예를 들어 카메라가 디스플레이부의 왼쪽 상단에 위치하면 디스플레이부를 바라보는 사용자의 시선방향이 상대통화자의 디스플레이부에는 오른쪽 하단을 바라보는 것처럼 보이고, 카메라가 디스플레이부의 오른쪽 상단에 위치하면 디스플레이부를 바라보는 사용자의 시선방향이 상대통화자의 디스플레이부에는 왼쪽 하단을 바라보는 것처럼 보인다. 또한 카메라가 디스플레이부의 가운데 상단 위치하면 디스플레이부를 바라보는 사용자의 시선방향이 상대통화자의 디스플레이부에는 정중앙 아래쪽을 바라보는 것처럼 보인다. For example, if the camera is positioned on the upper left of the display, the direction of the user's gaze looking at the display will appear to be facing the lower right on the display of the other caller. If the camera is located on the upper right of the display, the user's gaze is The direction of gaze appears to be facing the lower left corner on the display of the other caller. In addition, when the camera is positioned at the top center of the display unit, the direction of the user's gaze looking at the display unit appears to be looking down the center of the other caller's display unit.
이러한 시선방향 불일치 문제를 해결하기 위한 것으로서, 2대의 카메라를 통해서 입력된 두 영상의 차이를 비교 분석하여 정면을 보는 듯한 영상을 생성하는 기술이 있으나, 2대의 카메라를 사용해야 하는 문제가 있다.In order to solve the problem of gaze direction mismatch, there is a technology for generating an image as if looking at the front by comparing and analyzing the difference between two images input through two cameras, but there is a problem in that two cameras must be used.
또한 국내 등록특허 10-1977638호(이하, '선행기술' 이라함.)에는 단일의 카메라를 이용하여 디스플레이부 내의 사용자 시선방향을 보정하는 방법이 제안되어 있다.In addition, Korean Patent Registration No. 10-1977638 (hereinafter referred to as “prior art”) proposes a method of correcting the user's gaze direction in the display unit using a single camera.
상기 선행기술은 디스플레이부 내의 사용자 얼굴을 검출하는 단계와, 상기 검출된 얼굴의 눈 영역의 외곽점들을 검출하는 단계와, 상기 디스플레이부 내의 상기 검출된 눈 영역의 왹곽점들을 미리 설정된 기준 카메라 응시 방향으로 변화시키는 단계와, 상기 변화된 외곽 점들에 따라 상기 눈 영역을 변형시키는 단계로 이루어진다.The prior art includes the steps of detecting a user's face in the display unit, detecting the outer points of the eye area of the detected face, and setting the sharp points of the detected eye area in the display unit to a preset reference camera gaze direction. And changing the eye area according to the changed outer points.
이러한 선행기술은 화상 통화 또는 화상 회의시 대화자 간의 시선을 일치시킴으로써 대화에 집중할 수 있고, 사용자의 편의성을 증대시키는 효과가 있지만, 통화자의 시선위치 이동에 관계없이 각자의 디스플레이부에는 통화자가 정면만을 보는 것으로 나타나기 때문에, 실제로 대면 대화할 때와 같은 느낌을 가질 수 없고, 상대방이 나를 보고 대화에 집중하는지 알 수 없으며, 특히 대화자가 3인 이상일 경우, 누굴 보고 이야기 하는지 알 수 없다는 단점이 있다.Such prior art can focus on conversation by matching the gazes between the interlocutors during a video call or video conference, and has the effect of increasing the user's convenience. However, regardless of the movement of the gaze position of the caller, the caller sees only the front side As it appears, there is a disadvantage that you cannot feel the same as when you actually have a face-to-face conversation, you cannot know if the other person is looking at you and focus on the conversation, and especially when there are more than 3 people, you cannot know who they are talking to.
본 발명은 상기와 같은 종래의 문제점을 해결하기 위한 것으로, 그 목적은 화상 통화 또는 화상 회의시 대화자 간의 시선 일치를 통하여 좀 더 대화에 집중할 수 있음은 물론이고, 통화자 간의 시선위치 이동에 대응하여 각자의 디스플레이부에 시선방향이 보정되어 표시되게 함으로써 상대방이 어딜 보고 대화하는지 또는 3인 이상일 경우 누굴보고 대화하는지 알 수 있어 실제로 여러명이 대면 대화를 할 때와 같은 느낌을 가질 수 있는 화상통화자 시선처리방법을 제공하는데 있다.The present invention is to solve the conventional problems as described above, and its purpose is not only that it is possible to focus more on the conversation through line-of-sight between the talkers during a video call or video conference, but also to respond to the movement of the line of sight between callers. Video caller's gaze can feel like when multiple people actually have a face-to-face conversation by making it possible to know where the other party is looking at or, if there are more than 3 people, to see who is talking by correcting the gaze direction on each display unit. It is to provide a treatment method.
상기의 목적을 달성하기 위하여 본 발명은, 화상통화자 시선처리방법에 있어서, 디스플레이부 내에 셋팅포인트를 표시하고, 상기 셋팅포인트를 사용자가 응시할 때 카메라를 통해 사용자의 눈에 대한 이미지 및 카메라까지의 거리를 입력하여 사용자의 시선기준위치로 설정하는 제1 입력단계; 화상 통화시 사용자가 디스플레이부 내의 임의위치를 응시할 때 카메라를 통해 사용자의 눈에 대한 이미지 및 카메라까지의 거리를 입력하고 상기 제1 입력단계에서 설정된 시선기준위치와 비교하여 사용자의 현재시선위치로 설정하는 제2 입력단계; 및 사용자의 디스플레이부 내의 상대통화자 얼굴위치를 이미지 인식을 통해 확인하여, 상기 제2 입력단계에서 입력된 사용자의 현재시선위치가 상대통화자의 얼굴위치에 있는 것으로 판단될 때, 카메라로 입력된 사용자의 눈 이미지를 정면방향 시선이미지로 보정하여 상대통화자의 디스플레이부로 송신하고, 사용자의 현재시선위치가 상대통화자의 얼굴위치를 벗어난 위치에 있는 것으로 판단될 때, 카메라로 입력된 사용자의 눈 이미지를 상대통화자의 얼굴위치로 향하는 시선이미지로 보정하여 상대통화자의 디스플레이부로 송신하는 출력단계를 포함하는 화상통화자 시선처리방법에 특징이 있다.In order to achieve the above object, the present invention displays a set point in a display unit in a video caller's gaze processing method, and when the user gazes at the set point, an image of the user's eyes and the camera A first input step of inputting a distance and setting it as the user's gaze reference position; During a video call, when the user gazes at an arbitrary position in the display unit, the image of the user's eyes and the distance to the camera are input through the camera, and the current gaze position is set by comparing it with the gaze reference position set in the first input step. A second input step; And a user input by a camera when it is determined that the current gaze position of the user input in the second input step is determined to be at the face position of the other caller by checking the position of the face of the other caller in the user's display unit through image recognition. The eye image of the user is corrected with a front-facing gaze image and transmitted to the display unit of the other caller, and when the user's current gaze position is determined to be out of the relative caller's face position, the user's eye image input by the camera is compared. There is a feature in a video caller's gaze processing method including an output step of correcting a gaze image directed to a position of the caller's face and transmitting it to the display unit of the other caller.
또한 본 발명에 있어서, 상기 제1 입력단계는 디스플레이부를 여러개의 분할구역으로 분할하여 셋팅포인트를 디스플레이부 내의 특정경로로 이동시키고, 사용자가 이동하는 셋팅포인트를 따라 시선위치를 이동시킬 때, 카메라를 통해 각각의 분할구역에 대한 사용자의 눈 이미지 및 카메라까지의 거리를 입력하여 사용자의 시선기준위치로 설정하는 화상통화자 시선처리방법에 특징이 있다.In addition, in the present invention, in the first input step, when the display unit is divided into a plurality of divided areas to move the set point to a specific path in the display unit, and when the user moves the gaze position along the moving set point, the camera is The video caller's gaze processing method is characterized by inputting the user's eye image for each divided area and the distance to the camera and setting it as the user's gaze reference position.
또한 본 발명에 있어서, 상기 셋팅포인트의 특정경로는, 카메라가 디스플레이부의 상측에 위치하는 세로방향으로 디스플레이부를 세우고 셋팅포인트를 좌우상하의 지그재그방향으로 이동시키고, 이어서, 카메라가 디스플레이부의 하측에 위치하는 세로방향으로 디스플레이부를 세우고 셋팅포인트를 좌우상하의 지그재그방향으로 이동시키고, 이어서, 카메라가 디스플레이부의 좌측에 위치하는 가로방향으로 디스플레이부를 세우고 셋팅포인트를 좌우상하의 지그재그방향으로 이동시키고, 이어서, 카메라가 디스플레이부의 우측에 위치하는 가로방향으로 디스플레이부를 세우고 셋팅포인트를 좌우상하의 지그재그방향으로 이동시켜 이루어지는 화상통화자 시선처리방법에 특징이 있다. In addition, in the present invention, the specific path of the set point is a vertical direction in which the camera is positioned above the display unit, and the set point is moved in a zigzag direction in the left and right up and down directions, and then the camera is vertically positioned at the lower side of the display unit. The display unit is set up in the direction, and the set point is moved in a zigzag direction of left and right up and down, and then, the camera is placed on the left side of the display unit in a horizontal direction, and the set point is moved in a zigzag direction, and then the camera is moved to the right side of the display unit. There is a feature of a video caller's gaze processing method, which is performed by erecting the display unit in the horizontal direction located at and moving the set point in a zigzag direction up and down left and right.
또한 본 발명에 있어서, 상기 출력단계에서의 눈 이미지 보정은, 카메라를 사용자가 정면으로 응시할 때 카메라를 통해 사용자의 눈에 대한 정면방향 시선이미지를 저장하고, 상기 눈의 정면방향 시선이미지를 기준으로 하여 상,하,좌,우방향 시선이미지 및 좌상,좌하,우상,우하방향 시선이미지를 미리 설정하여 두고, 상기 설정된 시선이미지중에서 선택된 하나의 시선이미지로 보정하는 화상통화자 시선처리방법에 특징이 있다.In addition, in the present invention, the eye image correction in the output step is to store a frontal gaze image of the user's eyes through the camera when the user gazes at the camera, and based on the front gaze image of the eye. Therefore, it is characterized in the video caller's gaze processing method in which a top, bottom, left, right gaze image and a top left, bottom left, top right, bottom right gaze image are set in advance and corrected with one gaze image selected from the set gaze images. have.
또한 본 발명에 있어서, 상기 사용자의 눈에 대한 시선이미지는, 눈의 눈꺼풀 모양과 눈외곽테두리 내의 눈동자 위치에 의해 설정되는 화상통화자 시선처리방법에 특징이 있다. In addition, in the present invention, the gaze image of the user's eyes is characterized by a method of processing a caller's gaze, which is set by the shape of the eyelid and the position of the pupil within the outer edge of the eye.
또한 본 발명에 있어서, 상기 정면방향 시선이미지는 눈동자가 눈외곽테두리의 정중앙에 위치한 것으로 설정하며, 상,하,좌,우방향 시선이미지는 눈동자가 눈외곽테두리의 정중앙을 기준으로 상,하,좌,우측으로 치우져 위치하고, 좌상,좌하,우상,우하방향 시선이미지는 눈동자가 눈외곽테두리의 정중앙을 기준으로 좌상,좌하,우상,우하측으로 치우져 위치한 것으로 설정한 화상통화자 시선처리방법에 특징이 있다.In addition, in the present invention, the frontal gaze image is set as the pupil is located at the center of the outer eye border, and the up, down, left, and right gaze images have the pupils up, down, and The image of the gaze in the left, bottom, left, top right, and bottom right directions is based on the video caller's gaze processing method set to be positioned with the pupils skewed to the top left, bottom left, top right, bottom right with respect to the center of the outer edge of the eye. There are features.
상기의 특징적 구성을 가지는 본 발명에 의하면, 화상 통화 또는 화상 회의시 대화자 간의 시선을 일치시킴으로써 대화에 집중할 수 있어 사용자의 편의성을 증대시키는 효과가 있다.According to the present invention having the above characteristic configuration, it is possible to focus on the conversation by matching the gazes between the interlocutors during a video call or a video conference, thereby increasing user convenience.
또한 본 발명은, 상대통화자의 얼굴을 응시할 경우 사용자의 정면방향 시선이미지를 상대방에게 송신하고, 상대통화자의 얼굴을 응시하지 않을 경우는 그에 대응하여 시선방향을 보정하여 송신함으로써 실제로 대면 대화할 때와 같은 느낌을 가질 수 있고, 상대방이 나를 보고 대화에 집중하는지 알 수 있으며, 특히 대화자가 3인 이상일 경우, 누굴 보고 이야기 하는지 알 수 있는 효과가 있어 사용자의 편의성을 더욱 증대시키는 효과가 있다.In addition, the present invention transmits the user's face-to-face gaze image to the other party when gazing at the opposite caller's face, and corrects the gaze direction correspondingly when not gazing at the other caller’s face. You can have the same feeling, know if the other person is looking at you and focus on the conversation. In particular, when there are three or more talkers, there is an effect of knowing who is watching and talking, thereby further increasing the user's convenience.
도 1은 본 발명에 따른 화상통화자 시선처리방법을 나타낸 블럭도.
도 2는 본 발명에서 제1 입력단계의 일예를 설명하기 위한 스마트폰의 정면도.
도 3a 내지 도 3d는 본 발명에서 제1 입력단계의 다른 예를 설명하기 위한 스마트폰의 정면도.
도 4는 본 발명에서 출력단계를 설명하기 위한 스마트폰의 정면도.
도 5는 본 발명에서 시선이미지 보정예를 나타낸 눈의 이미지 개략도.
도 6은 본 발명의 사용예시도.
도 7은 본 발명의 다른 사용예시도.
도 8a 및 도 8b는 본 발명에서 사용자의 현재시선위치를 설정할 수 있는 범위를 나타낸 사용 예시도.1 is a block diagram showing a video caller gaze processing method according to the present invention.
2 is a front view of a smartphone for explaining an example of a first input step in the present invention.
3A to 3D are front views of a smartphone for explaining another example of a first input step in the present invention.
Figure 4 is a front view of a smartphone for explaining the output step in the present invention.
5 is a schematic diagram of an image of an eye showing an example of correcting a gaze image in the present invention.
Figure 6 is an example of the use of the present invention.
Figure 7 is another example of use of the present invention.
8A and 8B are exemplary views showing a range in which a user's current gaze position can be set in the present invention.
이하, 본 발명의 바람직한 실시예를 첨부도면에 의거하여 상세하게 설명한다. 도 1은 본 발명에 따른 화상통화자 시선처리방법을 나타낸 블럭도로서, 도시된 바와 같이, 사용자의 시선기준위치를 미리 설정하는 제1 입력단계(S10)와, 화상통화시 사용자의 현재시선위치를 설정하는 제2 입력단계(S20)와, 사용자의 눈 이미지를 보정하여 상대통화자의 디스플레이부로 송신하는 출력단계(S30)로 이루어진다.Hereinafter, a preferred embodiment of the present invention will be described in detail on the basis of the accompanying drawings. 1 is a block diagram showing a video caller's gaze processing method according to the present invention. As shown, a first input step (S10) of presetting a user's gaze reference position, and a user's current gaze position during a video call. It consists of a second input step (S20) of setting and an output step (S30) of correcting the user's eye image and transmitting it to the display unit of the counterpart caller.
본 발명은 화상통화에 이용되는 장치, 예를 들면 스마트폰, 테블릿PC, 데스크탑PC 등에 적용될 수 있고, 이 외에도 카메라와 디스플레이어(모니터)를 연결하여 화상통화가 가능한 장치라면 적용할 수 있다. 본 실시예에서는 스마트폰에 적용한 경우를 예시한다.The present invention can be applied to a device used for a video call, for example, a smart phone, a tablet PC, a desktop PC, and the like. In addition, the present invention can be applied to any device capable of making a video call by connecting a camera and a display (monitor). In this embodiment, a case where it is applied to a smartphone is illustrated.
먼저, 사용자의 시선기준위치를 설정하는 제1 입력단계(S10)는, 화상통화 전에 사용자가 자신의 스마트폰(10)에 미리 입력하여 두는 단계로서, 도 2에 도시된 바와 같이 스마트폰(10)의 디스플레이부(11) 내에 셋팅포인트(P)를 표시하고, 상기 셋팅포인트(P)를 사용자가 응시할 때 카메라(12)를 통해 사용자의 눈에 대한 이미지 및 카메라(12)까지의 거리를 입력하여 사용자의 시선기준위치로 설정하는 것이다.First, the first input step (S10) of setting the user's gaze reference position is a step in which the user inputs in advance into his/her
스마트폰(10)은 기종마다 디스플레이부(11)에 대하여 카메라(12)의 위치가 다를 수 있고, 디스플레이부(11)의 크기도 다를 수 있지만, 동일 기종끼리는 카메라(12)와 디스플레이부(11)의 상호 위치가 동일하고, 디스플레이부(11)의 크기도 동일하므로, 스마트폰(10)의 콘트롤러는 디스플레이부(11)내의 특정위치를 기준으로 하여 다른 위치를 계산해 낼 수 있다.In the
따라서, 디스플레이부(11) 내의 특정위치에 셋팅포인트(P)를 표시하고, 이 셋팅포인트(P)를 사용자가 일정시간 응시할 때, 카메라(12)를 통해 사용자의 눈 이미지를 인식하여 디스플레이부(11) 내의 특정위치에 대한 사용자의 시선기준위치를 설정할 수 있다.Therefore, when the set point P is displayed at a specific position in the
사용자가 셋팅포인트(P)를 응시하는 시간은 대략 3~5초면 충분하고, 이 시간동안은 셋팅포인트(P)가 깜박거리게 함으로써 사용자가 셋팅포인트(P)를 응시하는 시점을 알 수 있도록 하는 것이 바람직하다.The time when the user gazes at the set point (P) is sufficient in about 3 to 5 seconds, and during this time, the set point (P) blinks so that the user can know when to gaze at the set point (P). desirable.
셋팅포인트(P)는 디스플레이부(11) 내의 어느 한 곳에 표시하고, 이를 사용자의 시선기준위치로 설정하여도 디스플레이부(11)의 모양과 크기가 정해진 것이므로, 디스플레이부(11) 내의 다른 위치를 사용자가 응시할 경우 그 시선위치를 스마트폰(10)의 콘트롤러가 계산할 수 있다.The set point (P) is displayed on any one of the display unit (11), and the shape and size of the display unit (11) is determined even if it is set as the user’s gaze reference position. When the user gazes, the gaze position can be calculated by the controller of the
또한, 도 2에 도시된 바와 같이 특정위치를 복수곳에 설정하여도 좋다. 예를 들어, 디스플레이부(11)는 대부분 사각형이므로, 네모서리부와 정중앙 위치를 특정위치로 하여 셋팅포인트(P)를 순차적으로 깜박이면서 표시하고, 이를 사용자가 순차적으로 응시하게 함으로써 복수의 특정위치를 사용자의 시선기준위치로 설정할 수 있다.Further, as shown in Fig. 2, a specific position may be set in a plurality of places. For example, since the
또한 제1 입력단계(S10)의 다른 예로서, 도 3a 내지 도 3d에 도시한 바와 같이, 디스플레이부(11)를 여러개의 분할구역(11a)으로 분할하여 셋팅포인트(P)를 특정경로로 이동시키고, 사용자가 이동하는 셋팅포인트(P)를 따라 시선위치를 이동시킬 때, 카메라(12)를 통해 특정경로 상에 형성한 다수개의 분할구역(11a)에 대한 사용자의 눈 이미지 및 카메라(12)까지의 거리를 입력하여 사용자의 시선기준위치로 설정할 수 있다.In addition, as another example of the first input step (S10), as shown in Figs. 3A to 3D, the
셋팅포인트(P)의 특정경로는, 예를 들어 도 3a에서와 같이, 카메라(12)가 디스플레이부(11)의 상측에 위치하는 세로방향으로 디스플레이부(11)를 세운 상태에서 셋팅포인트(P)를 깜박거리게 하여 좌우상하의 지그재그방향으로 이동시키면서 여러개의 분할구역(11a) 각각에 대한 시선기준위치를 설정할 수 있다.The specific path of the set point P is, for example, as shown in FIG. 3A, in a state in which the
또한 도 3b에서와 같이, 카메라(12)가 디스플레이부(11)의 하측에 위치하는 세로방향으로 디스플레이부(11)를 세운 상태에서 셋팅포인트(P)를 깜박거리게 하여 좌우상하의 지그재그방향으로 이동시키면서 여러개의 분할구역(11a) 각각에 대한 시선기준위치를 설정할 수 있다.In addition, as shown in FIG. 3B, in a state in which the
또한 도 3c에서와 같이, 카메라(12)가 디스플레이부(11)의 좌측에 위치하는 가로방향으로 디스플레이부(11)를 세운 상태에서 셋팅포인트(P)를 깜박거리게 하여 좌우상하의 지그재그방향으로 이동시키면서 여러개의 분할구역(11a) 각각에 대한 시선기준위치를 설정할 수 있다.In addition, as shown in FIG. 3C, while the
또한, 도 3d에서와 같이, 카메라(12)가 디스플레이부(11)의 우측에 위치하는 가로방향으로 디스플레이부(11)를 세운 상태에서 셋팅포인트(P)를 깜박거리게 하여 좌우상하의 지그재그방향으로 이동시키면서 여러개의 분할구역(11a) 각각에 대한 시선기준위치를 설정할 수 있다.In addition, as shown in FIG. 3D, the
상기한 4가지의 특정경로는 어느 한가지만 실시하여도 좋고, 복수개를 조합하여도 좋으며, 4가지 모두 실시할 경우는, 스마트폰(10)을 가로방향 또는 세로방향중 어느 방향으로 위치시켜도 카메라(12)를 중심으로 하여 사용자의 시선위치가 좌우상하 어디를 응시하는지 스마트폰(10)의 콘트롤러가 각 분할구역(11a)대한 사용자의 시선기준위치에 의거하여 계산해 낼 수 있다.Any one of the above four specific paths may be implemented, or a plurality of them may be combined, and in the case of performing all four, the camera ( Based on 12), the controller of the
이때, 상기한 좌우상하의 지그재그방향은, 도 3a 내지 도 3d에 표현된바와 같이, 좌에서 우(→), 상에서 하(↓), 우에서 좌(←), 상에서 하(↓)로 연이어 반복해서 이동하는 것을 의미한다. At this time, the above-described zigzag directions of left and right up and down are repeated from left to right (→), top to bottom (↓), right to left (←), top to bottom (↓), as shown in FIGS. 3A to 3D. Means to move.
이어서, 사용자의 현재시선위치를 설정하는 제2 입력단계(S20)는, 화상 통화시에 이루어진다.Subsequently, a second input step S20 of setting the user's current gaze position is performed during a video call.
스마트폰(10)의 화상통화모드에서 사용자가 상대방과 화상통화를 하면서 디스플레이부(11) 내의 임의위치를 응시할 때 카메라(12)를 통해 사용자의 눈에 대한 이미지 및 카메라(12)까지의 거리가 입력되고, 이를 스마트폰(10) 콘트롤러는 상기 제1 입력단계(S10)에서 설정된 시선기준위치와 비교하여 사용자의 현재시선위치로 설정한다.In the video call mode of the
이어서, 사용자의 눈 이미지를 보정하여 상대통화자의 디스플레이부(11)로 송신하는 출력단계(S30)는, 사용자의 디스플레이부(11) 내의 상대통화자 얼굴위치를 이미지 인식을 통해 확인하고, 상기 제2 입력단계(S20)에서 입력된 사용자의 현재시선위치(a)가 도 4에서와 같이 상대통화자의 얼굴위치에 있는 것으로 판단될 때에는, 카메라(12)로 입력된 사용자의 눈 이미지를 정면방향 시선이미지로 보정하여 상대통화자의 디스플레이부(11)로 송신하고, 사용자의 현재시선위치가 상대통화자의 얼굴위치를 벗어난 위치에 있는 것으로 판단될 때에는, 그에 대응하는 다른방향 시선이미지로 사용자의 눈 이미지를 보정하여 상대통화자의 디스플레이부(11)로 송신하는 것이다.Subsequently, in the output step (S30) of correcting the user's eye image and transmitting it to the
이때, 상기 출력단계(S30)에서의 눈 이미지 보정은, 카메라(12)를 사용자가 정면으로 응시할 때 카메라(12)를 통해 사용자의 눈에 대한 정면방향 시선이미지를 저장하고, 상기 눈의 정면방향 시선이미지를 기준으로 하여 상,하,좌,우방향 시선이미지 및 좌상,좌하,우상,우하방향 시선이미지를 미리 설정하여 두고, 상기 설정된 시선이미지중에서 선택된 하나의 시선이미지로 보정한다.At this time, the eye image correction in the output step (S30) stores a frontal gaze image of the user's eyes through the
예를 들어 상기 사용자의 눈에 대한 시선이미지는, 도 5에 도시된 바와 같이 눈외곽테두리(E1) 내의 눈동자(E2) 위치와 눈꺼풀(E3) 모양으로 설정할 수 있다.For example, the gaze image of the user's eyes may be set as the position of the pupil E2 within the outer edge of the eye E1 and the shape of the eyelid E3 as shown in FIG. 5.
즉, 정면방향 시선이미지는 눈동자(E2)가 눈외곽테두리(E1)의 정중앙에 위치한 것으로 설정하며, 상,하,좌,우방향 시선이미지는 눈동자(E2)가 눈외곽테두리(E1)의 정중앙을 기준으로 상,하,좌,우측으로 치우져 위치하고, 좌상,좌하,우상,우하방향 시선이미지는 눈동자(E2)가 눈외곽테두리(E1)의 정중앙을 기준으로 좌상,좌하,우상,우하측으로 치우져 위치한 것으로 설정할 수 있다.That is, for the frontal gaze image, the pupil (E2) is set to be located at the center of the outer eye border (E1), and for the top, bottom, left, and right gaze images, the pupil (E2) is the center of the outer eye border (E1). Based on the upper, lower, left and right direction, the eye-gaze image in the upper left, lower left, upper right, lower right direction, the pupil (E2) is in the upper left, lower left, upper right, and lower right based on the center of the outer edge of the eye (E1). It can be set to be located away from you.
또한, 눈꺼풀(E3)의 경우는 정면과 좌우측방향 시선이미지는 눈꺼풀(E3)의 높이 사이즈를 중간 크기로 설정하고, 상측과 좌,우상측방향 시선이미지는 눈꺼풀(E3)의 높이 사이즈를 정면방향 시선이미지보다 얇은 크기로 설정하고, 하측과 좌,우하측방향 시선이미지는 눈꺼풀(E3)의 높이 사이즈를 정면방향 시선이미지보다 두꺼운 크기로 설정할 수 있다. In addition, in the case of the eyelid (E3), the height size of the eyelid (E3) is set to the middle size for the front and left-right gaze images, and the height size of the eyelid (E3) is set to the front direction for the top, left, and upper right gaze images. It is possible to set a size that is thinner than the gaze image, and set the height size of the eyelid (E3) to be thicker than the front gaze image for the bottom, left, and right bottom gaze images.
이러한 구성으로 이루어진 화상통화자 시선처리방법의 작용을 설명하면 다음과 같다.The operation of the video caller's gaze processing method having such a configuration will be described as follows.
도 2에서와 같이 사용자의 시선기준위치를 설정하는 제1 입력단계(S10)에서, 디스플레이부(11) 내에 한곳 또는 복수곳에 셋팅포인트(P)를 표시하고, 상기 셋팅포인트(P)를 사용자가 응시할 때 카메라(12)를 통해 사용자의 눈에 대한 이미지 및 카메라(12)까지의 거리를 입력하여 사용자의 시선기준위치로 설정한 경우, 도 6에서와 같이 화상통화시 사용자가 디스플레이부(11) 내의 상대통화자의 얼굴을 응시하면, 카메라(12)를 통해 사용자의 현재시선위치(a1)가 입력되고, 스마트폰(10)의 콘트롤러는 현재시선위치(a1)가 이미지 인식을 통해 확인된 디스플레이부(11) 내의 상대통화자 얼굴위치에 있는 것으로 판단될 때, 사용자의 눈 이미지를 정면방향 시선이미지로 보정하여 상대방 통화자에게 송신하게 된다. 이로써 상대방 통화자의 디스플레이부(11)에는 사용자가 자신을 정면으로 보는 것으로 나타나므로, 화상통화시 상호 시선을 마주하면서 대화할 수 있다.In the first input step (S10) of setting the user's gaze reference position as shown in FIG. 2, a set point (P) is displayed in one or more places in the
또한, 사용자가 디스플레이부(11) 내의 상대통화자의 얼굴에서 벗어난 위치를 응시할 경우, 카메라(12)를 통해 사용자의 현재시선위치가 입력되고, 스마트폰(10)의 콘트롤러는 현재시선위치가 이미지 인식을 통해 확인된 디스플레이부(11) 내의 상대통화자 얼굴위치에서 벗어난 것으로 판단될 때, 사용자의 눈 이미지를 다른방향 시선이미지로 보정하여 상대방 통화자에게 송신하게 되고, 이로써 상대방 통화자의 디스플레이부(11)에는 사용자가 자신을 보지 않는 것으로 나타나므로, 상대방이 대화에 집중하지 않는 것을 확인할 수 있다.In addition, when the user gazes at a position away from the face of the other caller in the
즉, 사용자의 현재시선위치(a2)가 상대통화자의 얼굴위치에서 상측으로 벗어난 것으로 확인되면, 사용자의 눈 이미지를 상측방향 시선이미지로 보정하고, 사용자의 현재시선위치(a3)가 하측으로 벗어나면, 하측방향 시선이미지로 보정한다. 이와 같은 방식으로 좌측으로 벗어나면 좌측방향 시선이미지로 보정하고, 우측으로 벗어나면 우측방향 시선이미지로 보정하고, 좌상측으로 벗어나면 좌상측방향 시선이미지로 보정하고, 상하측으로 벗어나면 상하방향 시선이미지로 보정하고, 우상측으로 벗어나면 우상측방향 시선이미지로 보정하고, 우하측으로 벗어나면 우하측방향 시선이미지로 보정함으로써 상대통화자는 사용자가 자신의 얼굴을 중심으로 어느 방향을 보는지 알 수 있고, 사용자도 상대통화자가 자신의 얼굴을 중심으로 어느 방향을 보는지 알 수 있다.That is, if it is confirmed that the user's current gaze position (a2) deviates upward from the other caller’s face position, the user's eye image is corrected with an upward gaze image, and if the user’s current gaze position (a3) deviates from the bottom, , Correct with a downward gaze image. In this way, if it deviates to the left, it is corrected with a left gaze image, if it deviates to the right, it is corrected with a right gaze image, and if it deviates from the top left, it is corrected with a top left gaze image. If it is corrected, and if it deviates from the upper right, it is corrected with the gaze image in the upper right direction, and if it is deviated from the lower right, it is corrected with the gaze image in the lower right direction, so that the other caller can know which direction the user is looking at his face. You can see in which direction the caller is looking around his or her face.
또한 3인 이상, 예를 들어 도 7에서와 같이 4인이 동시에 화상통화를 하는 경우, 스마트폰(10)의 콘트롤러는 이미지 인식을 통해 디스플레이부(11) 내의 상대통화자(A)~(D)의 위치를 파악하게 되고, 예를 들어 사용자의 현재시선위치(a)가 상대통화자(A)에 있는 것으로 판단되면, 상대통화자(A)에게는 정면방향 시선이미지를 송신하고, 상대통화자(B)에게는 좌측방향 시선이미지를 송신하고, 상대통화자(C)에게는 상측방향 시선이미지를 송신하고, 상대통화자(D)에게는 좌상측 시선이미지를 송신함으로써 사용자가 여러명의 통화자중 누굴 보면서 대화하는지 알 수 있어, 실제로 여러명이 대면하면서 통화하는 것과 같은 효과를 얻을 수 있다.In addition, when three or more people, for example, 4 people make a video call at the same time as in FIG. 7, the controller of the
한편, 도 3a 내지 도 3d에서와 같이 사용자의 시선기준위치를 설정하는 제1 입력단계(S10)에 있어서, 디스플레이부(11) 내에서 셋팅포인트(P)를 특정경로로 이동시키고, 사용자가 이동하는 셋팅포인트(P)를 따라 시선위치를 이동시킬 때, 카메라(12)를 통해 특정경로상에 형성한 다수개의 분할구역(11a)에 대한 사용자의 눈 이미지 및 카메라(12)까지의 거리를 입력하여 사용자의 시선기준위치로 설정할 경우에는, 도 8a에 도시된 바와 같이 디스플레이부(11)를 세로방향으로 세워서 화상통화를 하거나, 도 8b에 도시된 바와 같이 디스플레이부(11)를 가로방향으로 눕혀서 화상통화를 하여도 카메라(12)를 중심으로 하여 사용자의 현재시선위치(a)를 설정할 수 있고, 또한 더 넓은 범위에서 사용자의 현재시선위치(a)를 설정할 수 있는 효과가 있다.Meanwhile, in the first input step (S10) of setting the user's gaze reference position as shown in FIGS. 3A to 3D, the set point P is moved to a specific path within the
지금까지 설명된 실시예는 본 발명의 바람직한 실시예를 설명한 것에 불과하고, 본 발명의 권리범위는 설명된 실시예에 한정되는 것은 아니며, 본 발명의 기술적 사상과 특허청구범위 내에서 이 분야의 당업자에 의하여 다양한 변경, 변형 또는 치환이 가능할 것이며, 그와 같은 실시예들은 본 발명의 범위에 속하는 것으로 이해되어야 한다.The embodiments described so far are merely describing preferred embodiments of the present invention, and the scope of the present invention is not limited to the described embodiments, and those skilled in the art within the technical spirit and claims of the present invention Various changes, modifications, or substitutions may be made by this, and such embodiments are to be understood as being within the scope of the present invention.
10 : 스마트폰 11 : 디스프레이부
11a : 분할구역 12 : 카메라
P : 셋팅포인트 a : 현재시선위치10: smartphone 11: display
11a: division area 12: camera
P: Setting point a: Current gaze position
Claims (7)
디스플레이부 내에 셋팅포인트를 표시하고, 상기 셋팅포인트를 사용자가 응시할 때 카메라를 통해 사용자의 눈에 대한 이미지 및 카메라까지의 거리를 입력하여 사용자의 시선기준위치로 설정하는 제1 입력단계;
화상 통화시 사용자가 디스플레이부 내의 임의위치를 응시할 때 카메라를 통해 사용자의 눈에 대한 이미지 및 카메라까지의 거리를 입력하고 상기 제1 입력단계에서 설정된 시선기준위치와 비교하여 사용자의 현재시선위치로 설정하는 제2 입력단계; 및
사용자의 디스플레이부 내의 상대통화자 얼굴위치를 이미지 인식을 통해 확인하여, 상기 제2 입력단계에서 입력된 사용자의 현재시선위치가 상대통화자의 얼굴위치에 있는 것으로 판단될 때, 카메라로 입력된 사용자의 눈 이미지를 정면방향 시선이미지로 보정하여 상대통화자의 디스플레이부로 송신하고, 사용자의 현재시선위치가 상대통화자의 얼굴위치를 벗어난 위치에 있는 것으로 판단될 때, 카메라로 입력된 사용자의 눈 이미지를 상대통화자의 얼굴위치로 향하는 시선이미지로 보정하여 상대통화자의 디스플레이부로 송신하는 출력단계를 포함하며,
상기 제1 입력단계는,
상기 디스플레이부를 여러개의 분할구역으로 분할하여 셋팅포인트를 디스플레이부 내의 특정경로로 이동시키되,
카메라가 디스플레이부의 상측에 위치하는 세로방향으로 디스플레이부를 세우고 셋팅포인트를 디스플레이부 내의 특정경로로 이동시키고,
이어서, 카메라가 디스플레이부의 하측에 위치하는 세로방향으로 디스플레이부를 세우고 셋팅포인트를 디스플레이부 내의 특정경로로 이동시키고,
이어서, 카메라가 디스플레이부의 좌측에 위치하는 가로방향으로 디스플레이부를 세우고 셋팅포인트를 디스플레이부 내의 특정경로로 이동시키고,
이어서, 카메라가 디스플레이부의 우측에 위치하는 가로방향으로 디스플레이부를 세우고 셋팅포인트를 디스플레이부 내의 특정경로로 이동시키고,
사용자가 이동하는 상기 셋팅포인트를 따라 시선위치를 이동시킬 때, 카메라를 통해 각각의 분할구역에 대한 사용자의 눈 이미지 및 카메라까지의 거리를 입력하여 사용자의 시선기준위치로 설정하는 것을 특징으로 하는 화상통화자 시선처리방법.In the video caller's gaze processing method,
A first input step of displaying a set point in the display unit, inputting an image of the user's eyes and a distance to the camera through a camera when the user gazes at the set point, and setting it as the user's gaze reference position;
During a video call, when the user gazes at an arbitrary position in the display unit, the image of the user's eyes and the distance to the camera are input through the camera, and the current gaze position is set by comparing it with the gaze reference position set in the first input step. A second input step; And
When it is determined that the user's current gaze position input in the second input step is determined to be at the other caller's face position by checking the position of the face of the other caller in the user's display unit through image recognition, The eye image is corrected as a front-facing gaze image and transmitted to the display unit of the other caller, and when it is determined that the user's current gaze position is out of the other caller's face position, the user's eye image entered through the camera is called Including an output step of correcting the gaze image toward the position of the person's face and transmitting it to the display unit of the counterpart caller,
The first input step,
Dividing the display unit into a plurality of divided areas to move the set point to a specific path within the display unit,
Erect the display unit in the vertical direction where the camera is located on the upper side of the display unit, and move the set point to a specific path within the display unit,
Subsequently, the display unit is set in a vertical direction where the camera is located at the lower side of the display unit. Move to a specific path,
Then, the camera is placed on the display unit in the horizontal direction located on the left side of the display unit, and the set point is moved to a specific path in the display unit,
Subsequently, the camera is placed on the display unit in the horizontal direction located on the right side of the display unit, and the set point is moved to a specific path in the display unit,
An image, characterized in that when the user moves the gaze position along the moving set point, the user's eye image for each divided area and the distance to the camera are input through a camera to set the user's gaze reference position. How to handle the caller's attention.
카메라를 사용자가 정면으로 응시할 때 카메라를 통해 사용자의 눈에 대한 정면방향 시선이미지를 저장하고, 상기 눈의 정면방향 시선이미지를 기준으로 하여 상,하,좌,우방향 시선이미지 및 좌상,좌하,우상,우하방향 시선이미지를 미리 설정하여 두고, 상기 설정된 시선이미지중에서 선택된 하나의 시선이미지로 보정하는 것을 특징으로 하는 화상통화자 시선처리방법.The method of claim 1, wherein the correction of the eye image in the output step,
When the user gazes directly at the camera, the camera stores the frontal gaze image of the user's eyes, and based on the front gaze image of the eye, the gaze image in the up, down, left and right directions and the top left, bottom left, and A video caller's gaze processing method, characterized in that an upper right and a lower right gaze image is set in advance, and a gaze image selected from among the set gaze images is corrected.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200148952A KR102244276B1 (en) | 2020-11-09 | 2020-11-09 | Video caller gaze processing method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200148952A KR102244276B1 (en) | 2020-11-09 | 2020-11-09 | Video caller gaze processing method |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR102244276B1 true KR102244276B1 (en) | 2021-04-26 |
Family
ID=75733477
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020200148952A KR102244276B1 (en) | 2020-11-09 | 2020-11-09 | Video caller gaze processing method |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102244276B1 (en) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20000006887A (en) * | 1999-11-10 | 2000-02-07 | 전병우 | Method and Apparatus of Gaze Compensation for Eye Contact Using Single Camera |
| JP2001136501A (en) * | 1999-11-10 | 2001-05-18 | Nec Corp | Sight line match video conference apparatus |
| KR20170001430A (en) * | 2015-06-26 | 2017-01-04 | 삼성전자주식회사 | Display apparatus and image correction method thereof |
| KR101930924B1 (en) * | 2017-02-17 | 2018-12-20 | 주식회사 씨엠랩 | Ocular photographic apparatus |
-
2020
- 2020-11-09 KR KR1020200148952A patent/KR102244276B1/en active IP Right Grant
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20000006887A (en) * | 1999-11-10 | 2000-02-07 | 전병우 | Method and Apparatus of Gaze Compensation for Eye Contact Using Single Camera |
| JP2001136501A (en) * | 1999-11-10 | 2001-05-18 | Nec Corp | Sight line match video conference apparatus |
| KR20170001430A (en) * | 2015-06-26 | 2017-01-04 | 삼성전자주식회사 | Display apparatus and image correction method thereof |
| KR101930924B1 (en) * | 2017-02-17 | 2018-12-20 | 주식회사 씨엠랩 | Ocular photographic apparatus |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10593088B2 (en) | System and method for enabling mirror video chat using a wearable display device | |
| US20210368136A1 (en) | Environment for remote communication | |
| US6208373B1 (en) | Method and apparatus for enabling a videoconferencing participant to appear focused on camera to corresponding users | |
| JP5839427B2 (en) | 3D teleconferencing device capable of eye contact and method using the same | |
| CN114365197A (en) | Placing virtual content in an environment with multiple physical participants | |
| KR20150099401A (en) | Control of enhanced communication between remote participants using augmented and virtual reality | |
| TW201520807A (en) | Head mounted display apparatus and login method thereof | |
| Jaklič et al. | User interface for a better eye contact in videoconferencing | |
| US20180316911A1 (en) | Information processing apparatus | |
| TW201707444A (en) | Eye gaze correction (1) | |
| US20180108116A9 (en) | Adjusting a direction of a picture displayed on a screen | |
| JPWO2016158014A1 (en) | Information processing apparatus, communication system, information processing method, and program | |
| US20140092200A1 (en) | Providing direct eye contact videoconferencing | |
| JPWO2017141584A1 (en) | Information processing apparatus, information processing system, information processing method, and program | |
| KR102244276B1 (en) | Video caller gaze processing method | |
| JP7452434B2 (en) | Information processing device, information processing method and program | |
| US20140139517A1 (en) | Three dimensional image display system and adjusting method thereof | |
| Waizenegger et al. | Model based 3D gaze estimation for provision of virtual eye contact | |
| JPH09107534A (en) | Video conference equipment and video conference system | |
| TW201639347A (en) | Eye gaze correction | |
| JP3721624B2 (en) | TV phone system | |
| JP2003101978A (en) | Image processor | |
| KR20150113795A (en) | Apparatus and Method for Controlling Eye-contact Function | |
| WO2017098999A1 (en) | Information-processing device, information-processing system, method for controlling information-processing device, and computer program | |
| CN117041670B (en) | Image processing method and related equipment |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |