KR20180000017A - Augmented reality providing mehtod using smart glass - Google Patents

Abstract

The present invention provides an augmented reality providing method using a smart glass with a privacy protection function. The augmented reality providing method using a smart glass according to an aspect of the present invention includes a first direction photographing step of photographing a front side using the smart glass; an object distinguishing step of distinguishing a person from a background in a photographed picture or moving picture; a figure correcting step of correcting a figure shown in the photographed picture or moving picture; and a storing step of storing the corrected picture or moving picture. Accordingly, the present invention can protect privacy.

Description

스마트 글래스를 이용한 증강현실 제공 방법{AUGMENTED REALITY PROVIDING MEHTOD USING SMART GLASS}Technical Field [0001] The present invention relates to augmented reality providing method using a smart glass,

본 발명은 증강현실 제공 방법에 관한 것으로서 보다 상세하게는 스마트 글래스를 이용한 증강현실 제공 방법에 관한 것이다.
The present invention relates to a method of providing an augmented reality, and more particularly, to a method of providing an augmented reality using a smart glass.

사용자가 눈으로 보는 현실세계에 가상의 객체를 겹쳐 보여주는 기술을 '증강현실(Augmented Reality)'이라고 한다. 현실세계에 실시간으로 부가정보를 갖는 가상세계를 합쳐 하나의 영상으로 보여주므로 혼합현실(Mixed Reality, MR)이라고도 한다.Augmented Reality is a technique for superimposing virtual objects on the real world seen by the user. It is called Mixed Reality (MR) because it combines real world and virtual world with additional information in real time and displays it as one image.

현실세계를 가상세계로 보완해주는 개념인 증강현실은 컴퓨터 그래픽으로 만들어진 가상환경을 사용하지만 주역은 현실환경이다. 컴퓨터 그래픽은 현실환경에 필요한 정보를 추가 제공하는 역할을 한다.Augmented reality, a concept that complements the real world with a virtual world, uses a virtual environment created by computer graphics, but the protagonist is a real environment. Computer graphics serve to provide additional information needed for the real world.

이러한 증강현실기술은 가상환경만으로 구성된 가상현실기술과 달리, 실제 환경과 가상의 객체가 혼합된 영상을 제공하므로, 사용자가 실제 환경을 볼 수 있게 하여 보다 나은 현실감과 부가 정보를 제공한다.Unlike the virtual reality technology, which consists of a virtual environment only, the augmented reality technology provides a mixed reality environment and a virtual object so that the user can see the real environment and provide better reality and additional information.

증강현실기술은 원격의료진단·방송·건축설계·제조공정관리 등에 활용된다. 특히, 최근 스마트폰이 널리 보급 되면서 본격적인 상업화 단계에 들어섰으며, 게임 및 모바일 솔루션 업계·교육 분야 등에서도 다양한 제품을 개발하고 있다.Augmented reality technology is used for remote medical diagnosis, broadcasting, architectural design, manufacturing process management. In particular, smartphones have become popular in the commercialization stage in recent years, and various products are being developed in the game and mobile solution industry and education field.

또한 스마트 글래스를 이용하여 이동 중에 다양한 종류의 증강 현실을 제공하고 있는데, 스마트 글래스의 카메라를 이용하여 공공장소에서 촬영하는 경우 사생활을 침해한다는 문제가 있다.
In addition, various types of augmented reality are provided on the move using smart glass, and there is a problem that privacy is infringed when shooting in a public place using a camera of smart glass.

본 발명은 프라이버시 보호 기능을 갖는 스마트 글래스를 이용한 증강현실 제공 방법을 제공한다.
The present invention provides a method for providing an augmented reality using a smart glass having a privacy protection function.

본 발명의 일 측면에 따른 스마트 글래스를 이용한 증강현실 제공 방법은 상기 스마트 글래스를 이용하여 전방을 촬영하는 제1방향 촬영 단계, 촬영된 사진 또는 동영상에서 사람과 배경을 구분하는 객체 구분 단계, 촬영된 사진 또는 동영상에 나타난 인물을 보정하는 인물 보정 단계, 및 보정 처리된 사진 또는 동영상을 저장하는 저장 단계를 포함한다.According to an aspect of the present invention, there is provided a method of providing an augmented reality using a smart glass, including: a first direction photographing step of photographing a front side using the smart glass; an object classification step of distinguishing a person and a background from the photographed photograph or a moving image; A person correcting step of correcting a person appearing in the photograph or moving picture, and a storing step of storing the corrected photograph or moving picture.

또한, 상기 인물 보정 단계는 저장된 사진 또는 프레임에서 인물이 제거된 공백부분에 위치하는 배경을 추출하는 배경 추출 단계를 포함할 수 있다.In addition, the character correcting step may include a background extracting step of extracting a background located in a blank part from which the person is removed in the stored photograph or frame.

또한, 상기 인물 보정 단계는 추출된 배경의 사이즈 및 형상을 조절하는 대체 배경 수정 단계를 포함할 수 있다.In addition, the person correcting step may include an alternative background correcting step of adjusting the size and shape of the extracted background.

또한, 상기 인물 보정 단계는 수정된 배경을 인물이 위치하는 부분에 삽입하는 배경 대체 단계를 포함할 수 있다.Further, the person correcting step may include a background substituting step of inserting the corrected background into a portion where the person is located.

또한, 상기 객체 인식 단계는 배경 중에서 동일한 객체를 판단하는 동일 판단 단계를 포함할 수 있다.In addition, the object recognition step may include an identical determination step of determining the same object in the background.

또한, 상기 객체 인식 단계는 사진 또는 동영상에 나타난 인물의 얼굴과 몸통을 구분하는 얼굴 구분 단계를 포함할 수 있다.In addition, the object recognition step may include a face classification step of separating a face and a body of a person represented in a photograph or a moving image.

또한, 상기 인물 보정 단계는 촬영된 사진 또는 동영상에 나타난 인물 얼굴의 명도를 증가 또는 감소시키는 명도 처리 단계를 더 포함할 수 있다.In addition, the character correction step may further include a brightness processing step of increasing or decreasing the brightness of the person's face displayed on the photographed picture or moving picture.

또한, 상기 인물 보정 단계는 촬영된 사진 또는 동영상에 나타난 인물 얼굴을 흐리게 처리하거나 모자이크 처리하는 픽셀 처리 단계를 더 포함할 수 있다.In addition, the person correcting step may further include a pixel processing step of blurring or mosaicing the person's face displayed on the photographed picture or moving picture.

또한, 상기 증강현실 제공 방법은 촬영된 사진 또는 동영상의 배경을 보정하는 배경 보정 단계를 더 포함할 수 있다.In addition, the augmented reality providing method may further include a background correction step of correcting the background of the photographed picture or moving picture.

또한, 상기 배경 보정 단계는 주간 사진을 야간 사진으로 전환하는 주야 전환 단계를 포함할 수 있다.In addition, the background correction step may include a day / night conversion step of converting the daytime photograph into a nighttime photograph.

또한, 상기 배경 보정 단계는 촬영된 사진 또는 동영상에 비 또는 눈이 오는 효과를 삽입하는 날씨 전환 단계를 포함할 수 있다.In addition, the background correction step may include a weather change step of inserting a rain or snow effect into the photographed picture or moving picture.

또한, 상기 배경 보정 단계는 입력된 목적지를 제외한 배경의 명도 또는 채도를 감소시키는 하이라이트 처리 단계를 포함할 수 있다.In addition, the background correction step may include a highlight processing step of reducing the brightness or saturation of the background except for the input destination.

또한, 상기 증강현실 제공 방법은 제2카메라를 이용하여 안구를 촬영하는 제2방향 촬영 단계를 더 포함할 수 있다.Further, the augmented reality providing method may further include a second direction photographing step of photographing the eyeball using the second camera.

또한, 상기 증강현실 제공 방법은 상기 스마트 글래스의 디스플레이부에 화상을 확대하거나 축소하여 표시하는 좀 조절 단계를 더 포함할 수 있다.The method for providing an augmented reality may further include a step of displaying a magnified or reduced image on a display unit of the smart glass.

또한, 상기 줌 조절 단계는 상기 촬영된 영상에서 안구의 크기 및 움직임을 측정하는 동공 측정 모듈을 포함할 수 있다.In addition, the zoom adjusting step may include a pupil measurement module that measures the size and the motion of the eyeball in the photographed image.

또한, 상기 줌 조절 단계는 사용자의 시선을 추적하는 시선 추적 단계를 포함할 수 있다.In addition, the zoom adjusting step may include a gaze tracking step of tracking a user's gaze.

또한, 상기 줌 조절 단계는 사용자의 안구의 크기가 감소하고 사용자가 한 곳을 주시할 때, 사용자의 시선이 향하는 향하는 디스플레이부의 부분을 확대하여 표시하는 확대 표시 단계를 포함할 수 있다.
In addition, the zoom adjusting step may include an enlarging and displaying step of enlarging and displaying a portion of the display unit facing the user's gaze when the size of the user's eyes decreases and the user looks at one place.

상기와 같이 본 발명에 따르면 촬영된 사진 또는 동영상에서 배경과 인물을 구분하고 인물을 보정하여 저장하므로 스마트 글래스를 이용하여 촬영하더라도 사생활을 보호할 수 있다.
As described above, according to the present invention, since the background and the person are distinguished from the photographed image or the moving image and the person is corrected and stored, the privacy can be protected even if the photograph is taken using the smart glass.

도 1은 본 발명의 제1 실시예에 따른 사생활 보호 기능을 갖는 스마트 글래스를 도시한 사시도이다.
도 2는 본 발명의 제1 실시예에 따른 사생활 보호 기능을 갖는 스마트 글래스를 도시한 구성도이다.
도 3은 본 발명의 제1 실시예에 따른 스마트 글래스를 이용한 증강현실 제공 방법을 설명하기 위한 순서도이다.
도 4는 본 발명의 제1 실시예에 따른 사생활 보호 기능을 갖는 스마트 글래스에 의하여 촬영된 사진을 나타낸 도면이다.
도 5는 본 발명의 제2 실시예에 따른 사생활 보호 기능을 갖는 스마트 글래스를 도시한 구성도이다.
도 6은 본 발명의 제2 실시예에 따른 스마트 글래스를 이용한 증강현실 제공 방법을 설명하기 위한 순서도이다.1 is a perspective view illustrating a smart glass having a privacy protection function according to a first embodiment of the present invention.
2 is a block diagram showing a smart glass having a privacy protection function according to a first embodiment of the present invention.
3 is a flowchart illustrating a method of providing an augmented reality using a smart glass according to a first embodiment of the present invention.
FIG. 4 is a photograph taken by a smart glass having a privacy function according to the first embodiment of the present invention.
5 is a block diagram showing a smart glass having a privacy protection function according to a second embodiment of the present invention.
6 is a flowchart illustrating a method of providing an augmented reality using a smart glass according to a second embodiment of the present invention.

이하, 첨부한 도면을 참조하여 본 발명의 실시예에 대하여 당업자가 용이하게 실시할 수 있도록 상세히 설명한다. 본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하여 상세하게 설명한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings so that those skilled in the art can easily carry out the present invention. The present invention can be variously modified and may have various embodiments, and specific embodiments will be described in detail with reference to the drawings. It should be understood, however, that the invention is not intended to be limited to the particular embodiments, but includes all modifications, equivalents, and alternatives falling within the spirit and scope of the invention.

제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. Terms including ordinals, such as first, second, etc., may be used to describe various elements, but the elements are not limited to these terms. The terms are used only for the purpose of distinguishing one component from another.

예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.For example, without departing from the scope of the present invention, the first component may be referred to as a second component, and similarly, the second component may also be referred to as a first component. And / or < / RTI > includes any combination of a plurality of related listed items or any of a plurality of related listed items.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.Unless defined otherwise, all terms used herein, including technical or scientific terms, have the same meaning as commonly understood by one of ordinary skill in the art to which this invention belongs. Terms such as those defined in commonly used dictionaries are to be interpreted as having a meaning consistent with the contextual meaning of the related art and are to be interpreted as either ideal or overly formal in the sense of the present application Do not.

이하에서는 본 발명의 제1 실시예에 따른 사생활 보호 기능을 갖는 스마트 글래스에 대해서 설명한다.Hereinafter, a smart glass having a privacy protection function according to the first embodiment of the present invention will be described.

도 1은 본 발명의 제1 실시예에 따른 사생활 보호 기능을 갖는 스마트 글래스를 도시한 사시도이고, 도 2는 본 발명의 제1 실시예에 따른 사생활 보호 기능을 갖는 스마트 글래스를 도시한 구성도이다.FIG. 1 is a perspective view showing a smart glass having a privacy protection function according to a first embodiment of the present invention, and FIG. 2 is a diagram showing a smart glass having a privacy protection function according to a first embodiment of the present invention .

도 1 및 도 2를 참조하여 설명하면, 본 발명의 제1 실시예에 따른 스마트 글래스(101)는 증강현실을 제공하는 스마트 글래스로서 머리부분에 거치되는 프레임(17)을 갖는다.1 and 2, the smart glass 101 according to the first embodiment of the present invention has a frame 17 mounted on the head as a smart glass for providing an augmented reality.

스마트 글래스(101)는 제1카메라(13), 디스플레이부(12), 객체 인식부(20), 인물 보정 처리부(30), 배경 보정 처리부(40), 저장부(15)를 포함한다.The smart glass 101 includes a first camera 13, a display unit 12, an object recognition unit 20, a person correction processing unit 30, a background correction processing unit 40, and a storage unit 15.

제1카메라(13)는 스마트 글래스(101)의 전방을 향하도록 설치되어 사진 또는 동영상을 촬영한다. 디스플레이부(12)는 투명한 소재로 이루어질 수 있으며 증강현실 화면을 제공한다.The first camera 13 is installed toward the front of the smart glass 101 to take pictures or movies. The display unit 12 may be made of a transparent material and provides an augmented reality screen.

객체 인식부(20)는 촬영된 사진 또는 동영상에서 사람과 배경을 구분한다. 객체 인식부(20)는 동일 판단 모듈(21), 얼굴 인식 모듈(22)을 포함한다.The object recognition unit 20 distinguishes a person from a background in a photographed picture or a moving picture. The object recognition unit 20 includes a same determination module 21 and a face recognition module 22.

동일 판단 모듈(21)은 촬영된 영상에서 배경과 인물을 구분하고, 배경 중에서 동일한 객체를 판단한다. 동일 판단 모듈(21)은 형상 인식 기술을 이용하여 배경 중에서 동일한 객체를 판단한다.The same judgment module 21 distinguishes the background and the person from the photographed image and determines the same object in the background. The same judgment module 21 judges the same object in the background using the shape recognition technology.

얼굴 인식 모듈(22)은 촬영된 사진 또는 동영상에 나타난 인물의 얼굴과 몸통을 구분하여 인식한다. 사생활 보호를 위해서 사진 또는 동영상에 나타난 인물의 전체를 보정할 수 있으나 얼굴만을 보정할 수도 있다.The face recognition module 22 recognizes the face and the body of the person shown in the photographed picture or moving picture separately. For the sake of privacy, you can correct all of the characters in the picture or video, but you can also correct only the face.

인물 보정 처리부(30)는 촬영된 사진 또는 동영상에서 인물 부분을 보정한다. 인물 보정 처리부(30)는 배경 추출 모듈(31), 대체 수정 모듈(32), 배경 대체 모듈(33), 명도 처리 모듈(34), 픽셀 처리 모듈(35)을 포함한다.The person correction processing unit 30 corrects the person portion in the photographed picture or moving picture. The person correction processing unit 30 includes a background extraction module 31, an alternative correction module 32, a background replacement module 33, a brightness processing module 34, and a pixel processing module 35. [

배경 추출 모듈(31)은 보정 대상 사진 또는 프레임 이외의 저장된 사진 또는 프레임에서 인물이 제거된 공백부분에 위치하는 배경을 추출한다. 배경 추출 모듈(31)은 인물이 위치하는 부분을 제거할 때 발생하는 공백을 메우기 위해서 저장부(15)에 저장된 다른 사진 또는 프레임에서 공백부분에 위치하는 배경 이미지를 추출한다.The background extraction module 31 extracts a background located in a blank part from which the person is removed from the picture or frame other than the correction target picture or frame. The background extraction module 31 extracts background images located in the blank portions of other photographs or frames stored in the storage unit 15 in order to fill in the blanks generated when removing the portion where the person is located.

대체 수정 모듈(32)은 추출된 배경 이미지의 크기 및 모양을 조절한다. 대체 수정 모듈은 추출된 배경 이미지가 보정 대상 사진 또는 프레임에 자연스럽게 결합될 수 있도록 추출된 배경 이미지의 크기 및 모양을 수정한다.The replacement correction module 32 adjusts the size and shape of the extracted background image. The replacement correction module corrects the size and shape of the extracted background image so that the extracted background image can be naturally combined with the correction target photograph or frame.

배경 대체 모듈(33)은 수정된 배경을 인물이 위치하는 부분에 삽입하여 보정 대상 사진 또는 프레임을 수정한다. 이에 따라 촬영된 사진 또는 동영상에서 인물이 위치하는 부분에 공백이 발생되지 않고 배경으로 대체되므로 자연스러운 사진 및 동영상을 제공할 수 있다.The background substitution module 33 inserts the corrected background into the portion where the person is located to correct the correction target photograph or frame. As a result, a space is not generated in a portion where a person is located in a photographed image or a moving image, and the background is replaced with a natural image and a moving image can be provided.

명도 처리 모듈(34)은 촬영된 사진 또는 동영상에 나타난 인물 얼굴의 명도를 증가 또는 감소시켜서 얼굴을 확인할 수 없도록 보정한다. 배경 추출 모듈(31)에서 대체 가능한 배경을 추출하지 못하는 경우에는 명도 처리 모듈(34)이 인물의 얼굴을 보정할 수 있다.The brightness processing module 34 increases or decreases the brightness of the person's face displayed on the photographed picture or moving picture to correct the face so that it can not be recognized. When the background extracting module 31 can not extract a replaceable background, the brightness processing module 34 can correct the face of the person.

픽셀 처리 모듈(35)은 촬영된 사진 또는 동영상에 나타난 인물 얼굴을 흐리게 처리하거나 모자이크 처리한다. 배경 추출 모듈(31)에서 대체 가능한 배경을 추출하지 못하는 경우에는 픽셀 처리 모듈(35)이 인물의 얼굴을 보정할 수 있다.The pixel processing module 35 performs blurring processing or mosaic processing of the photographed image or the portrait face displayed in the moving image. If the background extracting module 31 fails to extract a replaceable background, the pixel processing module 35 can correct the face of the person.

배경 보정 처리부(40)는 촬영된 사진 또는 동영상의 배경을 보정한다. 배경 보정 처리부(40)는 주야 전환 모듈(41), 날씨 전환 모듈(42), 하이라이트 처리 모듈(43)을 포함한다. The background correction processing unit (40) corrects the background of the photographed picture or moving picture. The background correction processing unit 40 includes a day / night conversion module 41, a weather conversion module 42, and a highlight processing module 43.

주야 전환 모듈(41)은 주간에 촬영된 동영상의 배경을 야간에 촬영된 배경으로 보정한다. 주야 전환 모듈(41)은 명도, 채도 등을 조절하여 주간에 촬영된 동영상의 배경을 야간에 촬영된 배경으로 보정한다.The day / night switching module 41 corrects the background of the moving picture photographed in the daytime to the background photographed at night. The day / night switching module 41 adjusts the brightness, saturation, and the like so that the background of the moving picture photographed in the daytime is corrected to the background photographed at night.

날씨 전환 모듈(42)은 촬영된 동영상에 비 또는 눈이 오는 효과를 삽입한다. 날씨 전환 모듈(42)은 비 또는 눈이 오는 효과를 갖는 프레임을 합성하여 촬영된 동영상에 비 또는 눈이 오는 동영상으로 보정한다.The weather conversion module 42 inserts a rain or snow effect into the photographed moving image. The weather conversion module 42 synthesizes frames having rain or snow effects and corrects them into motionless or moving eyes.

하이라이트 처리 모듈(43)은 촬영된 동영상에서 입력된 목적지를 제외한 배경의 명도 또는 채도를 감소시켜서 목적지가 동영상에서 두드러지게 표시되도록 한다. 이에 따라 사용자는 스마트 글래스(101)를 이용하여 목적지를 용이하게 찾을 수 있다.The highlight processing module 43 reduces the brightness or saturation of the background except for the destination input from the photographed moving image so that the destination is displayed prominently in the moving image. Accordingly, the user can easily find the destination using the smart glass 101. [

저장부(15)는 스마트 기기의 메모리 또는 서버로 이루어질 수 있으며 보정 처리된 사진 또는 동영상이 저장된다.The storage unit 15 may be a memory or a server of the smart device, and stores a corrected photograph or moving image.

상기한 바와 같이 본 제1 실시예에 따른 도 4에 도시된 바와 같이 스마트 글래스를 이용하여 상시 동영상 또는 사진을 촬영하더라도 인물이 위치하는 부분이 배경으로 대체되어 사생활을 보호할 수 있다.As described above, as shown in FIG. 4 according to the first embodiment, even when the moving picture or the photograph is always photographed using the smart glass, the part where the person is located can be replaced with the background, thereby protecting the privacy.

이하에서는 본 발명의 제1 실시예에 따른 스마트 글래스를 이용한 증강현실 제공 방법에 대해서 설명한다. 도 3은 본 발명의 제1 실시예에 따른 스마트 글래스를 이용한 증강현실 제공 방법을 설명하기 위한 순서도이다.Hereinafter, a method of providing an augmented reality using smart glass according to a first embodiment of the present invention will be described. 3 is a flowchart illustrating a method of providing an augmented reality using a smart glass according to a first embodiment of the present invention.

도 1 내지 도 3을 참조하여 설명하면, 본 제1 실시예에 따른 스마트 글래스를 이용한 증강현실 제공 방법은 제1방향 촬영 단계(S101), 객체 구분 단계(S102), 인물 보정 단계(S103), 배경 보정 단계(S104), 저장 단계(S105)를 포함한다.1 to 3, the method for providing an augmented reality using a smart glass according to the first embodiment includes a first direction photographing step S101, an object distinguishing step S102, a figure correcting step S103, A background correction step (S104), and a storage step (S105).

제1방향 촬영 단계(S101)는 스마트 글래스의 제1방향을 향하도록 설치된 제1카메라를 이용하여 사진 또는 동영상을 촬영한다. 여기서 제1방향은 스마트 글래스의 전방을 향하는 방향이다.The first direction photographing step S101 photographs a photograph or a moving picture using a first camera installed so as to face the first direction of the smart glass. Here, the first direction is the direction toward the front of the smart glass.

객체 구분 단계(S102)는 촬영된 사진 또는 동영상에서 사람과 배경을 구분한다. 객체 인식부는 동일 판단 단계, 얼굴 인식 단계를 포함한다.The object classification step (S102) distinguishes a person from a background in a photographed picture or a moving picture. The object recognition unit includes the same determination step and face recognition step.

동일 판단 단계는 촬영된 영상에서 배경과 인물을 구분하고, 배경 중에서 동일한 객체를 판단한다. 동일 판단 단계는 형상 인식 기술을 이용하여 배경 중에서 동일한 객체를 판단한다.In the same judgment step, the background and the person are distinguished from the photographed image, and the same object is judged in the background. The same determination step determines the same object in the background using the shape recognition technology.

얼굴 인식 단계는 촬영된 사진 또는 동영상에 나타난 인물의 얼굴과 몸통을 구분하여 인식한다. 사생활 보호를 위해서 사진 또는 동영상에 나타난 인물의 전체를 보정할 수 있으나 얼굴만을 보정할 수도 있다.In the face recognition step, the face and the body of the person appearing on the photographed picture or moving picture are distinguished and recognized. For the sake of privacy, you can correct all of the characters in the picture or video, but you can also correct only the face.

인물 보정 단계(S103)는 촬영된 사진 또는 동영상에서 인물 부분을 보정한다. 인물 보정 단계(S103)는 배경 추출 단계, 대체 수정 단계, 배경 대체 단계, 명도 처리 단계, 픽셀 처리 단계를 포함한다.The person correction step (S103) corrects the person portion in the photographed picture or moving picture. The character correction step S103 includes a background extraction step, an alternative correction step, a background substitution step, a brightness processing step, and a pixel processing step.

배경 추출 단계는 보정 대상 사진 또는 프레임 이외의 저장된 사진 또는 프레임에서 인물이 제거된 공백부분에 위치하는 배경을 추출한다. 배경 추출 단계는 인물이 위치하는 부분을 제거할 때 발생하는 공백을 메우기 위해서 저장부(15)에 저장된 다른 사진 또는 프레임에서 공백부분에 위치하는 배경 이미지를 추출한다.The background extracting step extracts a background located in a blank part in which the person is removed from the stored photograph or frame other than the frame to be corrected. The background extracting step extracts a background image located in a blank portion in another photograph or frame stored in the storage unit 15 to fill a space generated when removing a portion where a person is located.

대체 수정 단계는 추출된 배경 이미지의 크기 및 모양을 조절한다. 대체 수정 단계는 추출된 배경 이미지가 보정 대상 사진 또는 프레임에 자연스럽게 결합될 수 있도록 추출된 배경 이미지의 크기 및 모양을 수정한다.The alternative correction step adjusts the size and shape of the extracted background image. The alternative correction step modifies the size and shape of the extracted background image so that the extracted background image can be naturally combined with the correction target photograph or frame.

배경 대체 단계는 수정된 배경을 인물이 위치하는 부분에 삽입하여 보정 대상 사진 또는 프레임을 수정한다. 이에 따라 촬영된 사진 또는 동영상에서 인물이 위치하는 부분에 공백이 발생되지 않고 배경으로 대체되므로 자연스러운 사진 및 동영상을 제공할 수 있다.The background substitution step modifies the correction target picture or frame by inserting the corrected background into the portion where the character is located. As a result, a space is not generated in a portion where a person is located in a photographed image or a moving image, and the background is replaced with a natural image and a moving image can be provided.

명도 처리 단계는 촬영된 사진 또는 동영상에 나타난 인물 얼굴의 명도를 증가 또는 감소시켜서 얼굴을 확인할 수 없도록 보정한다. 배경 추출 단계에서 대체 가능한 배경을 추출하지 못하는 경우에는 명도 처리 단계가 인물의 얼굴을 보정할 수 있다.The brightness processing step increases or decreases the brightness of the person's face displayed on the photographed image or moving image to correct the face so that it can not be confirmed. If it is not possible to extract a replaceable background in the background extraction step, the brightness processing step may correct the face of the person.

픽셀 처리 단계는 촬영된 사진 또는 동영상에 나타난 인물 얼굴을 흐리게 처리하거나 모자이크 처리한다. 배경 추출 단계에서 대체 가능한 배경을 추출하지 못하는 경우에는 픽셀 처리 단계가 인물의 얼굴을 보정할 수 있다.The pixel processing step blurs or mosaicizes a person's face displayed on the photographed picture or moving picture. If a substitutable background can not be extracted in the background extracting step, the pixel processing step can correct the face of the person.

배경 보정 단계(S104)는 촬영된 사진 또는 동영상의 배경을 보정한다. 배경 보정 단계(S104)는 주야 전환 단계, 날씨 전환 단계, 하이라이트 처리 단계를 포함한다. The background correction step (S104) corrects the background of the photographed picture or moving picture. The background correction step S104 includes a day / night conversion step, a weather change step, and a highlight processing step.

주야 전환 단계는 주간에 촬영된 동영상의 배경을 야간에 촬영된 배경으로 보정한다. 주야 전환 단계는 명도, 채도 등을 조절하여 주간에 촬영된 동영상의 배경을 야간에 촬영된 배경으로 보정한다.The day / night conversion step corrects the background of the video shot during the day to the background photographed at night. The day and night conversion stage adjusts the brightness, saturation, etc. to adjust the background of the video shot during the day to the background captured at night.

날씨 전환 단계는 촬영된 동영상에 비 또는 눈이 오는 효과를 삽입한다. 날씨 전환 단계는 비 또는 눈이 오는 효과를 갖는 프레임을 합성하여 촬영된 동영상에 비 또는 눈이 오는 동영상으로 보정한다.The weather transition phase inserts rain or snow effects into the recorded video. The weather conversion step combines frames with rain or snow effects and corrects them into moving or non-visible moving images.

하이라이트 처리 단계는 촬영된 동영상에서 입력된 목적지를 제외한 배경의 명도 또는 채도를 감소시켜서 목적지가 동영상에서 두드러지게 표시되도록 한다.The highlight processing step reduces the brightness or saturation of the background except for the destination input from the photographed moving image so that the destination is displayed prominently in the moving image.

저장 단계(S105)는 스마트 기기의 메모리 또는 서버에 보정 처리된 사진 또는 동영상이 저장한다.
In the storing step (S105), a photo or moving image corrected by the memory or the server of the smart device is stored.

이하에서는 본 발명의 제2 실시예에 따른 사생활 보호 기능을 갖는 스마트 글래스에 대해서 설명한다. 도 5는 본 발명의 제2 실시예에 따른 사생활 보호 기능을 갖는 스마트 글래스를 도시한 구성도이다.Hereinafter, a smart glass having a privacy protection function according to a second embodiment of the present invention will be described. 5 is a block diagram showing a smart glass having a privacy protection function according to a second embodiment of the present invention.

도 5를 참조하여 설명하면, 본 발명의 제2 실시예에 따른 스마트 글래스(102)는 스마트 글래스(102)는 제1카메라(13), 제2카메라(14), 디스플레이부(12), 객체 인식부(20), 인물 보정 처리부(30), 배경 보정 처리부(40), 줌 조절부(50), 저장부(15)를 포함한다.5, a smart glass 102 according to a second embodiment of the present invention includes a smart glass 102 which includes a first camera 13, a second camera 14, a display unit 12, A background correction processing unit 40, a zoom adjusting unit 50, and a storage unit 15, as shown in FIG.

제1카메라(13)는 스마트 글래스(101)의 전방을 향하도록 설치되어 사진 또는 동영상을 촬영한다. 디스플레이부(12)는 투명한 소재로 이루어질 수 있으며 증강현실 화면을 제공한다. 제2카메라(14)는 사용자의 얼굴을 향하도록 설치되어 사용자의 안구를 촬영한다.The first camera 13 is installed toward the front of the smart glass 101 to take pictures or movies. The display unit 12 may be made of a transparent material and provides an augmented reality screen. The second camera 14 is installed facing the face of the user and photographs the user's eyeball.

객체 인식부(20)는 촬영된 사진 또는 동영상에서 사람과 배경을 구분한다. 객체 인식부(20)는 동일 판단 모듈(21), 얼굴 인식 모듈(22)을 포함한다.The object recognition unit 20 distinguishes a person from a background in a photographed picture or a moving picture. The object recognition unit 20 includes a same determination module 21 and a face recognition module 22.

동일 판단 모듈(21)은 촬영된 영상에서 배경과 인물을 구분하고, 배경 중에서 동일한 객체를 판단한다. 동일 판단 모듈(21)은 형상 인식 기술을 이용하여 배경 중에서 동일한 객체를 판단한다.The same judgment module 21 distinguishes the background and the person from the photographed image and determines the same object in the background. The same judgment module 21 judges the same object in the background using the shape recognition technology.

얼굴 인식 모듈(22)은 촬영된 사진 또는 동영상에 나타난 인물의 얼굴과 몸통을 구분하여 인식한다. 사생활 보호를 위해서 사진 또는 동영상에 나타난 인물의 전체를 보정할 수 있으나 얼굴만을 보정할 수도 있다.The face recognition module 22 recognizes the face and the body of the person shown in the photographed picture or moving picture separately. For the sake of privacy, you can correct all of the characters in the picture or video, but you can also correct only the face.

인물 보정 처리부(30)는 촬영된 사진 또는 동영상에서 인물 부분을 보정한다. 인물 보정 처리부(30)는 배경 추출 모듈(31), 대체 수정 모듈(32), 배경 대체 모듈(33), 명도 처리 모듈(34), 픽셀 처리 모듈(35)을 포함한다.The person correction processing unit 30 corrects the person portion in the photographed picture or moving picture. The person correction processing unit 30 includes a background extraction module 31, an alternative correction module 32, a background replacement module 33, a brightness processing module 34, and a pixel processing module 35. [

배경 추출 모듈(31)은 보정 대상 사진 또는 프레임 이외의 저장된 사진 또는 프레임에서 인물이 제거된 공백부분에 위치하는 배경을 추출한다. 배경 추출 모듈(31)은 인물이 위치하는 부분을 제거할 때 발생하는 공백을 메우기 위해서 저장부(15)에 저장된 다른 사진 또는 프레임에서 공백부분에 위치하는 배경 이미지를 추출한다.The background extraction module 31 extracts a background located in a blank part from which the person is removed from the picture or frame other than the correction target picture or frame. The background extraction module 31 extracts background images located in the blank portions of other photographs or frames stored in the storage unit 15 in order to fill in the blanks generated when removing the portion where the person is located.

대체 수정 모듈(32)은 추출된 배경 이미지의 크기 및 모양을 조절한다. 대체 수정 모듈은 추출된 배경 이미지가 보정 대상 사진 또는 프레임에 자연스럽게 결합될 수 있도록 추출된 배경 이미지의 크기 및 모양을 수정한다.The replacement correction module 32 adjusts the size and shape of the extracted background image. The replacement correction module corrects the size and shape of the extracted background image so that the extracted background image can be naturally combined with the correction target photograph or frame.

배경 대체 모듈(33)은 수정된 배경을 인물이 위치하는 부분에 삽입하여 보정 대상 사진 또는 프레임을 수정한다. 이에 따라 촬영된 사진 또는 동영상에서 인물이 위치하는 부분에 공백이 발생되지 않고 배경으로 대체되므로 자연스러운 사진 및 동영상을 제공할 수 있다.The background substitution module 33 inserts the corrected background into the portion where the person is located to correct the correction target photograph or frame. As a result, a space is not generated in a portion where a person is located in a photographed image or a moving image, and the background is replaced with a natural image and a moving image can be provided.

명도 처리 모듈(34)은 촬영된 사진 또는 동영상에 나타난 인물 얼굴의 명도를 증가 또는 감소시켜서 얼굴을 확인할 수 없도록 보정한다. 배경 추출 모듈(31)에서 대체 가능한 배경을 추출하지 못하는 경우에는 명도 처리 모듈(34)이 인물의 얼굴을 보정할 수 있다.The brightness processing module 34 increases or decreases the brightness of the person's face displayed on the photographed picture or moving picture to correct the face so that it can not be recognized. When the background extracting module 31 can not extract a replaceable background, the brightness processing module 34 can correct the face of the person.

픽셀 처리 모듈(35)은 촬영된 사진 또는 동영상에 나타난 인물 얼굴을 흐리게 처리하거나 모자이크 처리한다. 배경 추출 모듈(31)에서 대체 가능한 배경을 추출하지 못하는 경우에는 픽셀 처리 모듈(35)이 인물의 얼굴을 보정할 수 있다.The pixel processing module 35 performs blurring processing or mosaic processing of the photographed image or the portrait face displayed in the moving image. If the background extracting module 31 fails to extract a replaceable background, the pixel processing module 35 can correct the face of the person.

배경 보정 처리부(40)는 촬영된 사진 또는 동영상의 배경을 보정한다. 배경 보정 처리부(40)는 주야 전환 모듈(41), 날씨 전환 모듈(42), 하이라이트 처리 모듈(43)을 포함한다. The background correction processing unit (40) corrects the background of the photographed picture or moving picture. The background correction processing unit 40 includes a day / night conversion module 41, a weather conversion module 42, and a highlight processing module 43.

주야 전환 모듈(41)은 주간에 촬영된 동영상의 배경을 야간에 촬영된 배경으로 보정한다. 주야 전환 모듈(41)은 명도, 채도 등을 조절하여 주간에 촬영된 동영상의 배경을 야간에 촬영된 배경으로 보정한다.The day / night switching module 41 corrects the background of the moving picture photographed in the daytime to the background photographed at night. The day / night switching module 41 adjusts the brightness, saturation, and the like so that the background of the moving picture photographed in the daytime is corrected to the background photographed at night.

날씨 전환 모듈(42)은 촬영된 동영상에 비 또는 눈이 오는 효과를 삽입한다. 날씨 전환 모듈(42)은 비 또는 눈이 오는 효과를 갖는 프레임을 합성하여 촬영된 동영상에 비 또는 눈이 오는 동영상으로 보정한다.The weather conversion module 42 inserts a rain or snow effect into the photographed moving image. The weather conversion module 42 synthesizes frames having rain or snow effects and corrects them into motionless or moving eyes.

하이라이트 처리 모듈(43)은 촬영된 동영상에서 입력된 목적지를 제외한 배경의 명도 또는 채도를 감소시켜서 목적지가 동영상에서 두드러지게 표시되도록 한다. 이에 따라 사용자는 스마트 글래스(101)를 이용하여 목적지를 용이하게 찾을 수 있다.The highlight processing module 43 reduces the brightness or saturation of the background except for the destination input from the photographed moving image so that the destination is displayed prominently in the moving image. Accordingly, the user can easily find the destination using the smart glass 101. [

줌 조절부(50)는 디스플레이부(12)에 촬영된 동영상을 확대하거나 축소하여 표시한다. 줌 조절부(50)는 동공 측정 모듈(51), 시선 추적 모듈(52), 확대 표시 모듈(53)을 포함한다.The zoom adjusting unit 50 enlarges or reduces the photographed moving image on the display unit 12. The zoom adjusting unit 50 includes a pupil measurement module 51, a gaze tracking module 52, and an enlarged display module 53.

동공 측정 모듈(51)은 제2카메라(14)에서 촬영된 영상에서 동공의 크기 및 움직임을 판단한다. 시선 추적 모듈(52)은 동공 측정 모듈(51)에서 판단된 동공의 크기 및 움직임에 따라 동공의 초점을 분석하여 사용자의 시선이 이동하는 방향을 추적한다. 또한 시선 추적 모듈(52)은 디스플레이부(12)와 사용자의 시선을 비교하여 사용자가 주시하는 대상을 추적한다.The pupil measurement module 51 determines the size and motion of the pupil in the image photographed by the second camera 14. The gaze tracking module 52 analyzes the focus of the pupil according to the size and movement of the pupil determined by the pupil measurement module 51 to track the direction in which the user's gaze moves. In addition, the gaze tracking module 52 compares the gaze of the user with the display unit 12 to track an object to be watched by the user.

확대 표시 모듈(53)은 사용자의 안구의 크기가 감소하고 사용자가 한 곳을 주시할 때, 사용자의 시선이 향하는 향하는 디스플레이부(12)의 부분을 확대하여 표시한다. 사용자가 원거리에 위치한 사물을 관찰할 때에는 안구의 크기가 감소하고 시선이 한곳에 머무르게 되는데 확대 표시 모듈(53)은 안구가 감소된 상태에서 시선이 2초 이상 한곳에 고정되면 사용자가 주시하는 대상을 확대하여 디스플레이부(12)에 표시한다.The magnification display module 53 magnifies and displays the portion of the display portion 12 toward which the user's gaze is directed when the size of the user's eyeball decreases and the user looks at one place. When the user observes a remote object, the size of the eyeball decreases and the eye gaze remains in one place. If the eye gaze is fixed at one position for more than 2 seconds in the state where the eyeball is reduced, the object to be watched by the user is enlarged And displays it on the display unit 12.

저장부(15)는 스마트 기기의 메모리 또는 서버로 이루어질 수 있으며 보정 처리된 사진 또는 동영상이 저장된다.The storage unit 15 may be a memory or a server of the smart device, and stores a corrected photograph or moving image.

이하에서는 본 발명의 제2 실시예에 따른 스마트 글래스를 이용한 증강현실 제공 방법에 대해서 설명한다. 도 6은 본 발명의 제2 실시예에 따른 스마트 글래스를 이용한 증강현실 제공 방법을 설명하기 위한 순서도이다.Hereinafter, a method for providing an augmented reality using a smart glass according to a second embodiment of the present invention will be described. 6 is a flowchart illustrating a method of providing an augmented reality using a smart glass according to a second embodiment of the present invention.

도 5 및 도 6을 참조하여 설명하면, 본 제2 실시예에 따른 스마트 글래스를 이용한 증강현실 제공 방법은 제1방향 촬영 단계(S201), 객체 구분 단계(S202), 인물 보정 단계(S203), 배경 보정 단계(S204), 제2방향 촬영 단계(S205), 줌 조절 단계(S206), 저장 단계(S207)를 포함한다.5 and FIG. 6, the method for providing an augmented reality using smart glass according to the second embodiment includes a first direction photographing step S201, an object distinguishing step S202, a person correcting step S203, A background correction step S204, a second direction photographing step S205, a zoom adjusting step S206, and a storing step S207.

제1방향 촬영 단계(S201)는 스마트 글래스의 제1방향을 향하도록 설치된 제1카메라를 이용하여 사진 또는 동영상을 촬영한다. 여기서 제1방향은 스마트 글래스의 전방을 향하는 방향이다.In the first direction photographing step S201, a photograph or a moving picture is photographed using a first camera installed so as to face the first direction of the smart glass. Here, the first direction is the direction toward the front of the smart glass.

객체 구분 단계(S202)는 촬영된 사진 또는 동영상에서 사람과 배경을 구분한다. 객체 인식부는 동일 판단 단계, 얼굴 인식 단계를 포함한다.The object classification step (S202) distinguishes the person and the background from the photographed picture or moving picture. The object recognition unit includes the same determination step and face recognition step.

동일 판단 단계는 촬영된 영상에서 배경과 인물을 구분하고, 배경 중에서 동일한 객체를 판단한다. 동일 판단 단계는 형상 인식 기술을 이용하여 배경 중에서 동일한 객체를 판단한다.In the same judgment step, the background and the person are distinguished from the photographed image, and the same object is judged in the background. The same determination step determines the same object in the background using the shape recognition technology.

얼굴 인식 단계는 촬영된 사진 또는 동영상에 나타난 인물의 얼굴과 몸통을 구분하여 인식한다. 사생활 보호를 위해서 사진 또는 동영상에 나타난 인물의 전체를 보정할 수 있으나 얼굴만을 보정할 수도 있다.In the face recognition step, the face and the body of the person appearing on the photographed picture or moving picture are distinguished and recognized. For the sake of privacy, you can correct all of the characters in the picture or video, but you can also correct only the face.

인물 보정 단계(S203)는 촬영된 사진 또는 동영상에서 인물 부분을 보정한다. 인물 보정 단계(S203)는 배경 추출 단계, 대체 수정 단계, 배경 대체 단계, 명도 처리 단계, 픽셀 처리 단계를 포함한다.The person correction step (S203) corrects the person portion in the photographed picture or moving picture. The character correction step S203 includes a background extraction step, an alternative correction step, a background substitution step, a brightness processing step, and a pixel processing step.

배경 추출 단계는 보정 대상 사진 또는 프레임 이외의 저장된 사진 또는 프레임에서 인물이 제거된 공백부분에 위치하는 배경을 추출한다. 배경 추출 단계는 인물이 위치하는 부분을 제거할 때 발생하는 공백을 메우기 위해서 저장부(15)에 저장된 다른 사진 또는 프레임에서 공백부분에 위치하는 배경 이미지를 추출한다.The background extracting step extracts a background located in a blank part in which the person is removed from the stored photograph or frame other than the frame to be corrected. The background extracting step extracts a background image located in a blank portion in another photograph or frame stored in the storage unit 15 to fill a space generated when removing a portion where a person is located.

대체 수정 단계는 추출된 배경 이미지의 크기 및 모양을 조절한다. 대체 수정 단계는 추출된 배경 이미지가 보정 대상 사진 또는 프레임에 자연스럽게 결합될 수 있도록 추출된 배경 이미지의 크기 및 모양을 수정한다.The alternative correction step adjusts the size and shape of the extracted background image. The alternative correction step modifies the size and shape of the extracted background image so that the extracted background image can be naturally combined with the correction target photograph or frame.

배경 대체 단계는 수정된 배경을 인물이 위치하는 부분에 삽입하여 보정 대상 사진 또는 프레임을 수정한다. 이에 따라 촬영된 사진 또는 동영상에서 인물이 위치하는 부분에 공백이 발생되지 않고 배경으로 대체되므로 자연스러운 사진 및 동영상을 제공할 수 있다.The background substitution step modifies the correction target picture or frame by inserting the corrected background into the portion where the character is located. As a result, a space is not generated in a portion where a person is located in a photographed image or a moving image, and the background is replaced with a natural image and a moving image can be provided.

명도 처리 단계는 촬영된 사진 또는 동영상에 나타난 인물 얼굴의 명도를 증가 또는 감소시켜서 얼굴을 확인할 수 없도록 보정한다. 배경 추출 단계에서 대체 가능한 배경을 추출하지 못하는 경우에는 명도 처리 단계가 인물의 얼굴을 보정할 수 있다.The brightness processing step increases or decreases the brightness of the person's face displayed on the photographed image or moving image to correct the face so that it can not be confirmed. If it is not possible to extract a replaceable background in the background extraction step, the brightness processing step may correct the face of the person.

픽셀 처리 단계는 촬영된 사진 또는 동영상에 나타난 인물 얼굴을 흐리게 처리하거나 모자이크 처리한다. 배경 추출 단계에서 대체 가능한 배경을 추출하지 못하는 경우에는 픽셀 처리 단계가 인물의 얼굴을 보정할 수 있다.The pixel processing step blurs or mosaicizes a person's face displayed on the photographed picture or moving picture. If a substitutable background can not be extracted in the background extracting step, the pixel processing step can correct the face of the person.

배경 보정 단계(S204)는 촬영된 사진 또는 동영상의 배경을 보정한다. 배경 보정 단계(S204)는 주야 전환 단계, 날씨 전환 단계, 하이라이트 처리 단계를 포함한다. The background correction step (S204) corrects the background of the photographed picture or moving picture. The background correction step S204 includes a day / night conversion step, a weather change step, and a highlight processing step.

주야 전환 단계는 주간에 촬영된 동영상의 배경을 야간에 촬영된 배경으로 보정한다. 주야 전환 단계는 명도, 채도 등을 조절하여 주간에 촬영된 동영상의 배경을 야간에 촬영된 배경으로 보정한다.The day / night conversion step corrects the background of the video shot during the day to the background photographed at night. The day and night conversion stage adjusts the brightness, saturation, etc. to adjust the background of the video shot during the day to the background captured at night.

날씨 전환 단계는 촬영된 동영상에 비 또는 눈이 오는 효과를 삽입한다. 날씨 전환 단계는 비 또는 눈이 오는 효과를 갖는 프레임을 합성하여 촬영된 동영상에 비 또는 눈이 오는 동영상으로 보정한다.The weather transition phase inserts rain or snow effects into the recorded video. The weather conversion step combines frames with rain or snow effects and corrects them into moving or non-visible moving images.

하이라이트 처리 단계는 촬영된 동영상에서 입력된 목적지를 제외한 배경의 명도 또는 채도를 감소시켜서 목적지가 동영상에서 두드러지게 표시되도록 한다.The highlight processing step reduces the brightness or saturation of the background except for the destination input from the photographed moving image so that the destination is displayed prominently in the moving image.

제2방향 촬영 단계(S205)는 스마트 글래스의 제2방향을 향하도록 설치된 제2카메라를 이용하여 사용자의 안구를 촬영한다. 여기서 제2방향은 사용자의 얼굴을 향하는 방향이다.The second direction photographing step S205 photographs the user's eyeball using a second camera installed so as to face the second direction of the smart glass. Here, the second direction is the direction toward the face of the user.

줌 조절 단계(S206)는 디스플레이부(12)에 촬영된 동영상을 확대하거나 축소하여 표시한다. 줌 조절 단계(S206)는 동공 측정 단계, 시선 추적 단계, 확대 표시 단계를 포함한다.The zoom adjustment step (S206) enlarges or reduces the photographed moving image on the display unit (12). The zoom adjustment step S206 includes a pupil measurement step, a gaze tracking step, and an enlarged display step.

동공 측정 단계(51)는 제2방향 촬영 단계(S205)에서 촬영된 영상에서 동공의 크기 및 움직임을 판단한다. 시선 추적 단계는 동공 측정 단계에서 판단된 동공의 크기 및 움직임에 따라 동공의 초점을 분석하여 사용자의 시선이 이동하는 방향을 추적한다. 또한 시선 추적 단계는 디스플레이부(12)와 사용자의 시선을 비교하여 사용자가 주시하는 대상을 추적한다.The pupil measuring step 51 determines the pupil size and motion in the image photographed in the second direction photographing step S205. The eye tracking step tracks the direction in which the user's gaze moves by analyzing the focus of the pupil according to the pupil size and movement determined in the pupil measurement step. The gaze tracking step also compares the gaze of the user with the display unit 12 and tracks an object to be watched by the user.

확대 표시 단계는 사용자의 안구의 크기가 감소하고 사용자가 한 곳을 주시할 때, 사용자의 시선이 향하는 향하는 디스플레이부(12)의 부분을 확대하여 표시한다. 사용자가 원거리에 위치한 사물을 관찰할 때에는 안구의 크기가 감소하고 시선이 한곳에 머무르게 되는데 확대 표시 단계는 안구가 감소된 상태에서 시선이 2초 이상 한곳에 고정되면 사용자가 주시하는 대상을 확대하여 디스플레이부(12)에 표시한다.The enlarged display step enlarges and displays a portion of the display unit 12 toward which the user's gaze is directed when the size of the user's eyeball decreases and the user looks at one place. When the user observes a remote object, the size of the eyeball decreases and the eyeball stays in one place. If the eyeball is fixed in one place for more than 2 seconds while the eyeball is reduced, 12).

저장 단계(S207)는 스마트 기기의 메모리 또는 서버에 보정 처리된 사진 또는 동영상이 저장한다.The storage step S207 stores a photo or moving image corrected in the memory or the server of the smart device.

이상과 같이, 본 명세서와 도면에는 본 발명의 바람직한 실시예에 대하여 개시하였으며, 비록 특정 용어들이 사용되었으나, 이는 단지 본 발명의 기술 내용을 쉽게 설명하고 발명의 이해를 돕기 위한 일반적인 의미에서 사용된 것이지, 본 발명의 범위를 한정하고자 하는 것은 아니다. 여기에 개시된 실시예 외에도 본 발명의 기술적 사상에 바탕을 둔 다른 변형 예들이 실시 가능하다는 것은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 자명한 것이다.
As described above, preferred embodiments of the present invention have been disclosed in the present specification and drawings, and although specific terms have been used, they have been used only in a general sense to easily describe the technical contents of the present invention and to facilitate understanding of the invention , And are not intended to limit the scope of the present invention. It is to be understood by those skilled in the art that other modifications based on the technical idea of the present invention are possible in addition to the embodiments disclosed herein.

101, 102: 스마트 글래스
12: 디스플레이부
13: 제1카메라
14: 제2카메라
15: 저장부
20: 객체 인식부
21: 동일 판단 모듈
22: 얼굴 인식 모듈
30: 인물 보정 처리부
31: 배경 추출 모듈
32: 대체 수정 모듈
33: 배경 대체 모듈
34: 명도 처리 모듈
35: 픽셀 처리 모듈
40: 배경 보정 처리부
41: 주야 전환 모듈
42: 날씨 전환 모듈
43: 하이라이트 처리 모듈
50: 줌 조절부
51: 동공 측정 모듈
52: 시선 추적 모듈
53: 확대 표시 모듈101, 102: Smart glass
12:
13: First camera
14: Second camera
15:
20: Object recognition unit
21: Identification module
22: Face Recognition Module
30: Character correction processing unit
31: Background extraction module
32: Replacement Modules
33: background replacement module
34: brightness processing module
35: Pixel processing module
40: background correction processor
41: Day / Night conversion module
42: weather conversion module
43: Highlight processing module
50:
51: pupil measurement module
52: eye tracking module
53: Enlarged display module

Claims (17)

스마트 글래스를 이용한 증강현실 제공 방법에 있어서,
상기 스마트 글래스를 이용하여 전방을 촬영하는 제1방향 촬영 단계;
촬영된 사진 또는 동영상에서 사람과 배경을 구분하는 객체 구분 단계;
촬영된 사진 또는 동영상에 나타난 인물을 보정하는 인물 보정 단계; 및
보정 처리된 사진 또는 동영상을 저장하는 저장 단계;
를 포함하는 것을 특징으로 하는 스마트 글래스를 이용한 증강현실 제공 방법.
A method for providing an augmented reality using smart glass,
A first direction photographing step of photographing the front side using the smart glass;
An object classification step of identifying a person and a background in a photographed picture or a moving picture;
A person correcting step of correcting a person appearing in the photographed picture or moving picture; And
A storing step of storing the corrected photograph or moving image;
The method of claim 1, wherein the augmented reality is provided by a smart glass.
제1 항에 있어서,
상기 인물 보정 단계는 저장된 사진 또는 프레임에서 인물이 제거된 공백부분에 위치하는 배경을 추출하는 배경 추출 단계를 포함하는 것을 특징으로 하는 스마트 글래스를 이용한 증강현실 제공 방법.
The method according to claim 1,
Wherein the character correcting step includes a background extracting step of extracting a background located in a blank part from which a person is removed from the stored photograph or frame.
제19 항에 있어서,
상기 인물 보정 단계는 추출된 배경의 사이즈 및 형상을 조절하는 대체 배경 수정 단계를 포함하는 것을 특징으로 하는 스마트 글래스를 이용한 증강현실 제공 방법.
20. The method of claim 19,
Wherein the person correcting step includes an alternative background correcting step of adjusting a size and a shape of the extracted background.
제3 항에 있어서,
상기 인물 보정 단계는 수정된 배경을 인물이 위치하는 부분에 삽입하는 배경 대체 단계를 포함하는 것을 특징으로 하는 스마트 글래스를 이용한 증강현실 제공 방법.
The method of claim 3,
Wherein the character correcting step includes a background substitution step of inserting the corrected background into a portion where the person is located.
제1 항에 있어서,
상기 객체 인식 단계는 배경 중에서 동일한 객체를 판단하는 동일 판단 단계를 포함하는 것을 특징으로 하는 스마트 글래스를 이용한 증강현실 제공 방법.
The method according to claim 1,
Wherein the object recognition step comprises the same determination step of determining the same object in the background.
제5 항에 있어서,
상기 객체 인식 단계는 사진 또는 동영상에 나타난 인물의 얼굴과 몸통을 구분하는 얼굴 구분 단계를 포함하는 것을 특징으로 하는 스마트 글래스를 이용한 증강현실 제공 방법.
6. The method of claim 5,
Wherein the object recognition step includes a face classification step of separating a face and a body of a person represented in a photograph or a moving image.
제6 항에 있어서,
상기 인물 보정 단계는 촬영된 사진 또는 동영상에 나타난 인물 얼굴의 명도를 증가 또는 감소시키는 명도 처리 단계를 더 포함하는 것을 특징으로 하는 스마트 글래스를 이용한 증강현실 제공 방법.
The method according to claim 6,
Wherein the person correcting step further comprises a brightness processing step of increasing or decreasing brightness of a person's face displayed on the photographed picture or moving picture.
제6 항에 있어서,
상기 인물 보정 단계는 촬영된 사진 또는 동영상에 나타난 인물 얼굴을 흐리게 처리하거나 모자이크 처리하는 픽셀 처리 단계를 더 포함하는 것을 특징으로 하는 스마트 글래스를 이용한 증강현실 제공 방법.
The method according to claim 6,
Wherein the person correcting step further comprises a pixel processing step of blurring or mosaicing the face of the person shown in the photographed picture or moving picture.
제1 항에 있어서,
상기 증강현실 제공 방법은 촬영된 사진 또는 동영상의 배경을 보정하는 배경 보정 단계를 더 포함하는 것을 특징으로 하는 스마트 글래스를 이용한 증강현실 제공 방법.
The method according to claim 1,
Wherein the augmented reality providing method further comprises a background correcting step of correcting the background of the photographed picture or moving picture.
제9 항에 있어서,
상기 배경 보정 단계는 주간 사진을 야간 사진으로 전환하는 주야 전환 단계를 포함하는 것을 특징으로 하는 스마트 글래스를 이용한 증강현실 제공 방법.
10. The method of claim 9,
Wherein the background correction step includes a day / night conversion step of converting a daytime photograph into a nighttime photograph.
제10 항에 있어서,
상기 배경 보정 단계는 촬영된 사진 또는 동영상에 비 또는 눈이 오는 효과를 삽입하는 날씨 전환 단계를 포함하는 것을 특징으로 하는 스마트 글래스를 이용한 증강현실 제공 방법.
11. The method of claim 10,
Wherein the background correction step includes a weather change step of inserting a rain or snow effect into the photographed picture or moving picture.
제11 항에 있어서,
상기 배경 보정 단계는 입력된 목적지를 제외한 배경의 명도 또는 채도를 감소시키는 하이라이트 처리 단계를 포함하는 것을 특징으로 하는 스마트 글래스를 이용한 증강현실 제공 방법.
12. The method of claim 11,
Wherein the background correction step includes a highlight processing step of reducing brightness or saturation of the background except for the input destination.
제1 항에 있어서,
상기 증강현실 제공 방법은 제2카메라를 이용하여 안구를 촬영하는 제2방향 촬영 단계를 더 포함하는 것을 특징으로 하는 스마트 글래스를 이용한 증강현실 제공 방법.
The method according to claim 1,
Wherein the augmented reality providing method further includes a second direction photographing step of photographing an eyeball using a second camera.
제13 항에 있어서,
상기 증강현실 제공 방법은 상기 스마트 글래스의 디스플레이부에 화상을 확대하거나 축소하여 표시하는 좀 조절 단계를 더 포함하는 것을 특징으로 하는 스마트 글래스를 이용한 증강현실 제공 방법.
14. The method of claim 13,
Wherein the step of providing the augmented reality further comprises a step of adjusting the size of the image displayed on the display unit of the smart glass.
제14 항에 있어서,
상기 줌 조절 단계는 상기 촬영된 영상에서 안구의 크기 및 움직임을 측정하는 동공 측정 모듈을 포함하는 것을 특징으로 하는 스마트 글래스를 이용한 증강현실 제공 방법.
15. The method of claim 14,
Wherein the zoom adjusting step comprises a pupil measurement module for measuring the size and the motion of the eyeball in the photographed image.
제15 항에 있어서,
상기 줌 조절 단계는 사용자의 시선을 추적하는 시선 추적 단계를 포함하는 것을 특징으로 하는 스마트 글래스를 이용한 증강현실 제공 방법.
16. The method of claim 15,
Wherein the zoom adjusting step includes a gaze tracking step of tracking a user's gaze.
제16 항에 있어서,
상기 줌 조절 단계는 사용자의 안구의 크기가 감소하고 사용자가 한 곳을 주시할 때, 사용자의 시선이 향하는 향하는 디스플레이부의 부분을 확대하여 표시하는 확대 표시 단계를 포함하는 것을 특징으로 하는 스마트 글래스를 이용한 증강현실 제공 방법.
17. The method of claim 16,
Wherein the zoom adjusting step includes an enlarging and displaying step of enlarging and displaying a portion of the display unit to which the user's gaze is directed when the size of the user's eyeball decreases and the user views one place. Method of providing augmented reality.

Images