KR20180000017A - Augmented reality providing mehtod using smart glass - Google Patents
Augmented reality providing mehtod using smart glass Download PDFInfo
- Publication number
- KR20180000017A KR20180000017A KR1020160077133A KR20160077133A KR20180000017A KR 20180000017 A KR20180000017 A KR 20180000017A KR 1020160077133 A KR1020160077133 A KR 1020160077133A KR 20160077133 A KR20160077133 A KR 20160077133A KR 20180000017 A KR20180000017 A KR 20180000017A
- Authority
- KR
- South Korea
- Prior art keywords
- background
- person
- picture
- photographed
- augmented reality
- Prior art date
Links
- 239000004984 smart glass Substances 0.000 title claims abstract description 49
- 230000003190 augmentative effect Effects 0.000 title claims abstract description 32
- 238000000034 method Methods 0.000 claims abstract description 39
- 238000012545 processing Methods 0.000 claims description 57
- 238000003705 background correction Methods 0.000 claims description 20
- 238000006243 chemical reaction Methods 0.000 claims description 20
- 210000005252 bulbus oculi Anatomy 0.000 claims description 15
- 210000001747 pupil Anatomy 0.000 claims description 15
- 230000007423 decrease Effects 0.000 claims description 10
- 230000000694 effects Effects 0.000 claims description 10
- 238000005259 measurement Methods 0.000 claims description 8
- 238000006467 substitution reaction Methods 0.000 claims description 7
- 230000008859 change Effects 0.000 claims description 4
- 230000003247 decreasing effect Effects 0.000 claims description 2
- 238000012937 correction Methods 0.000 description 33
- 238000000605 extraction Methods 0.000 description 11
- 239000000284 extract Substances 0.000 description 10
- 230000006870 function Effects 0.000 description 10
- 210000001508 eye Anatomy 0.000 description 7
- 238000010586 diagram Methods 0.000 description 4
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 239000012780 transparent material Substances 0.000 description 2
- 238000013461 design Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B27/0176—Head mounted characterised by mechanical features
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
-
- G06K9/00221—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B2027/0178—Eyeglass type
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Optics & Photonics (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Computer Hardware Design (AREA)
- Computer Graphics (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Studio Devices (AREA)
- Processing Or Creating Images (AREA)
Abstract
Description
본 발명은 증강현실 제공 방법에 관한 것으로서 보다 상세하게는 스마트 글래스를 이용한 증강현실 제공 방법에 관한 것이다.
The present invention relates to a method of providing an augmented reality, and more particularly, to a method of providing an augmented reality using a smart glass.
사용자가 눈으로 보는 현실세계에 가상의 객체를 겹쳐 보여주는 기술을 '증강현실(Augmented Reality)'이라고 한다. 현실세계에 실시간으로 부가정보를 갖는 가상세계를 합쳐 하나의 영상으로 보여주므로 혼합현실(Mixed Reality, MR)이라고도 한다.Augmented Reality is a technique for superimposing virtual objects on the real world seen by the user. It is called Mixed Reality (MR) because it combines real world and virtual world with additional information in real time and displays it as one image.
현실세계를 가상세계로 보완해주는 개념인 증강현실은 컴퓨터 그래픽으로 만들어진 가상환경을 사용하지만 주역은 현실환경이다. 컴퓨터 그래픽은 현실환경에 필요한 정보를 추가 제공하는 역할을 한다.Augmented reality, a concept that complements the real world with a virtual world, uses a virtual environment created by computer graphics, but the protagonist is a real environment. Computer graphics serve to provide additional information needed for the real world.
이러한 증강현실기술은 가상환경만으로 구성된 가상현실기술과 달리, 실제 환경과 가상의 객체가 혼합된 영상을 제공하므로, 사용자가 실제 환경을 볼 수 있게 하여 보다 나은 현실감과 부가 정보를 제공한다.Unlike the virtual reality technology, which consists of a virtual environment only, the augmented reality technology provides a mixed reality environment and a virtual object so that the user can see the real environment and provide better reality and additional information.
증강현실기술은 원격의료진단·방송·건축설계·제조공정관리 등에 활용된다. 특히, 최근 스마트폰이 널리 보급 되면서 본격적인 상업화 단계에 들어섰으며, 게임 및 모바일 솔루션 업계·교육 분야 등에서도 다양한 제품을 개발하고 있다.Augmented reality technology is used for remote medical diagnosis, broadcasting, architectural design, manufacturing process management. In particular, smartphones have become popular in the commercialization stage in recent years, and various products are being developed in the game and mobile solution industry and education field.
또한 스마트 글래스를 이용하여 이동 중에 다양한 종류의 증강 현실을 제공하고 있는데, 스마트 글래스의 카메라를 이용하여 공공장소에서 촬영하는 경우 사생활을 침해한다는 문제가 있다.
In addition, various types of augmented reality are provided on the move using smart glass, and there is a problem that privacy is infringed when shooting in a public place using a camera of smart glass.
본 발명은 프라이버시 보호 기능을 갖는 스마트 글래스를 이용한 증강현실 제공 방법을 제공한다.
The present invention provides a method for providing an augmented reality using a smart glass having a privacy protection function.
본 발명의 일 측면에 따른 스마트 글래스를 이용한 증강현실 제공 방법은 상기 스마트 글래스를 이용하여 전방을 촬영하는 제1방향 촬영 단계, 촬영된 사진 또는 동영상에서 사람과 배경을 구분하는 객체 구분 단계, 촬영된 사진 또는 동영상에 나타난 인물을 보정하는 인물 보정 단계, 및 보정 처리된 사진 또는 동영상을 저장하는 저장 단계를 포함한다.According to an aspect of the present invention, there is provided a method of providing an augmented reality using a smart glass, including: a first direction photographing step of photographing a front side using the smart glass; an object classification step of distinguishing a person and a background from the photographed photograph or a moving image; A person correcting step of correcting a person appearing in the photograph or moving picture, and a storing step of storing the corrected photograph or moving picture.
또한, 상기 인물 보정 단계는 저장된 사진 또는 프레임에서 인물이 제거된 공백부분에 위치하는 배경을 추출하는 배경 추출 단계를 포함할 수 있다.In addition, the character correcting step may include a background extracting step of extracting a background located in a blank part from which the person is removed in the stored photograph or frame.
또한, 상기 인물 보정 단계는 추출된 배경의 사이즈 및 형상을 조절하는 대체 배경 수정 단계를 포함할 수 있다.In addition, the person correcting step may include an alternative background correcting step of adjusting the size and shape of the extracted background.
또한, 상기 인물 보정 단계는 수정된 배경을 인물이 위치하는 부분에 삽입하는 배경 대체 단계를 포함할 수 있다.Further, the person correcting step may include a background substituting step of inserting the corrected background into a portion where the person is located.
또한, 상기 객체 인식 단계는 배경 중에서 동일한 객체를 판단하는 동일 판단 단계를 포함할 수 있다.In addition, the object recognition step may include an identical determination step of determining the same object in the background.
또한, 상기 객체 인식 단계는 사진 또는 동영상에 나타난 인물의 얼굴과 몸통을 구분하는 얼굴 구분 단계를 포함할 수 있다.In addition, the object recognition step may include a face classification step of separating a face and a body of a person represented in a photograph or a moving image.
또한, 상기 인물 보정 단계는 촬영된 사진 또는 동영상에 나타난 인물 얼굴의 명도를 증가 또는 감소시키는 명도 처리 단계를 더 포함할 수 있다.In addition, the character correction step may further include a brightness processing step of increasing or decreasing the brightness of the person's face displayed on the photographed picture or moving picture.
또한, 상기 인물 보정 단계는 촬영된 사진 또는 동영상에 나타난 인물 얼굴을 흐리게 처리하거나 모자이크 처리하는 픽셀 처리 단계를 더 포함할 수 있다.In addition, the person correcting step may further include a pixel processing step of blurring or mosaicing the person's face displayed on the photographed picture or moving picture.
또한, 상기 증강현실 제공 방법은 촬영된 사진 또는 동영상의 배경을 보정하는 배경 보정 단계를 더 포함할 수 있다.In addition, the augmented reality providing method may further include a background correction step of correcting the background of the photographed picture or moving picture.
또한, 상기 배경 보정 단계는 주간 사진을 야간 사진으로 전환하는 주야 전환 단계를 포함할 수 있다.In addition, the background correction step may include a day / night conversion step of converting the daytime photograph into a nighttime photograph.
또한, 상기 배경 보정 단계는 촬영된 사진 또는 동영상에 비 또는 눈이 오는 효과를 삽입하는 날씨 전환 단계를 포함할 수 있다.In addition, the background correction step may include a weather change step of inserting a rain or snow effect into the photographed picture or moving picture.
또한, 상기 배경 보정 단계는 입력된 목적지를 제외한 배경의 명도 또는 채도를 감소시키는 하이라이트 처리 단계를 포함할 수 있다.In addition, the background correction step may include a highlight processing step of reducing the brightness or saturation of the background except for the input destination.
또한, 상기 증강현실 제공 방법은 제2카메라를 이용하여 안구를 촬영하는 제2방향 촬영 단계를 더 포함할 수 있다.Further, the augmented reality providing method may further include a second direction photographing step of photographing the eyeball using the second camera.
또한, 상기 증강현실 제공 방법은 상기 스마트 글래스의 디스플레이부에 화상을 확대하거나 축소하여 표시하는 좀 조절 단계를 더 포함할 수 있다.The method for providing an augmented reality may further include a step of displaying a magnified or reduced image on a display unit of the smart glass.
또한, 상기 줌 조절 단계는 상기 촬영된 영상에서 안구의 크기 및 움직임을 측정하는 동공 측정 모듈을 포함할 수 있다.In addition, the zoom adjusting step may include a pupil measurement module that measures the size and the motion of the eyeball in the photographed image.
또한, 상기 줌 조절 단계는 사용자의 시선을 추적하는 시선 추적 단계를 포함할 수 있다.In addition, the zoom adjusting step may include a gaze tracking step of tracking a user's gaze.
또한, 상기 줌 조절 단계는 사용자의 안구의 크기가 감소하고 사용자가 한 곳을 주시할 때, 사용자의 시선이 향하는 향하는 디스플레이부의 부분을 확대하여 표시하는 확대 표시 단계를 포함할 수 있다.
In addition, the zoom adjusting step may include an enlarging and displaying step of enlarging and displaying a portion of the display unit facing the user's gaze when the size of the user's eyes decreases and the user looks at one place.
상기와 같이 본 발명에 따르면 촬영된 사진 또는 동영상에서 배경과 인물을 구분하고 인물을 보정하여 저장하므로 스마트 글래스를 이용하여 촬영하더라도 사생활을 보호할 수 있다.
As described above, according to the present invention, since the background and the person are distinguished from the photographed image or the moving image and the person is corrected and stored, the privacy can be protected even if the photograph is taken using the smart glass.
도 1은 본 발명의 제1 실시예에 따른 사생활 보호 기능을 갖는 스마트 글래스를 도시한 사시도이다.
도 2는 본 발명의 제1 실시예에 따른 사생활 보호 기능을 갖는 스마트 글래스를 도시한 구성도이다.
도 3은 본 발명의 제1 실시예에 따른 스마트 글래스를 이용한 증강현실 제공 방법을 설명하기 위한 순서도이다.
도 4는 본 발명의 제1 실시예에 따른 사생활 보호 기능을 갖는 스마트 글래스에 의하여 촬영된 사진을 나타낸 도면이다.
도 5는 본 발명의 제2 실시예에 따른 사생활 보호 기능을 갖는 스마트 글래스를 도시한 구성도이다.
도 6은 본 발명의 제2 실시예에 따른 스마트 글래스를 이용한 증강현실 제공 방법을 설명하기 위한 순서도이다.1 is a perspective view illustrating a smart glass having a privacy protection function according to a first embodiment of the present invention.
2 is a block diagram showing a smart glass having a privacy protection function according to a first embodiment of the present invention.
3 is a flowchart illustrating a method of providing an augmented reality using a smart glass according to a first embodiment of the present invention.
FIG. 4 is a photograph taken by a smart glass having a privacy function according to the first embodiment of the present invention.
5 is a block diagram showing a smart glass having a privacy protection function according to a second embodiment of the present invention.
6 is a flowchart illustrating a method of providing an augmented reality using a smart glass according to a second embodiment of the present invention.
이하, 첨부한 도면을 참조하여 본 발명의 실시예에 대하여 당업자가 용이하게 실시할 수 있도록 상세히 설명한다. 본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하여 상세하게 설명한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings so that those skilled in the art can easily carry out the present invention. The present invention can be variously modified and may have various embodiments, and specific embodiments will be described in detail with reference to the drawings. It should be understood, however, that the invention is not intended to be limited to the particular embodiments, but includes all modifications, equivalents, and alternatives falling within the spirit and scope of the invention.
제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. Terms including ordinals, such as first, second, etc., may be used to describe various elements, but the elements are not limited to these terms. The terms are used only for the purpose of distinguishing one component from another.
예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.For example, without departing from the scope of the present invention, the first component may be referred to as a second component, and similarly, the second component may also be referred to as a first component. And / or < / RTI > includes any combination of a plurality of related listed items or any of a plurality of related listed items.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.Unless defined otherwise, all terms used herein, including technical or scientific terms, have the same meaning as commonly understood by one of ordinary skill in the art to which this invention belongs. Terms such as those defined in commonly used dictionaries are to be interpreted as having a meaning consistent with the contextual meaning of the related art and are to be interpreted as either ideal or overly formal in the sense of the present application Do not.
이하에서는 본 발명의 제1 실시예에 따른 사생활 보호 기능을 갖는 스마트 글래스에 대해서 설명한다.Hereinafter, a smart glass having a privacy protection function according to the first embodiment of the present invention will be described.
도 1은 본 발명의 제1 실시예에 따른 사생활 보호 기능을 갖는 스마트 글래스를 도시한 사시도이고, 도 2는 본 발명의 제1 실시예에 따른 사생활 보호 기능을 갖는 스마트 글래스를 도시한 구성도이다.FIG. 1 is a perspective view showing a smart glass having a privacy protection function according to a first embodiment of the present invention, and FIG. 2 is a diagram showing a smart glass having a privacy protection function according to a first embodiment of the present invention .
도 1 및 도 2를 참조하여 설명하면, 본 발명의 제1 실시예에 따른 스마트 글래스(101)는 증강현실을 제공하는 스마트 글래스로서 머리부분에 거치되는 프레임(17)을 갖는다.1 and 2, the
스마트 글래스(101)는 제1카메라(13), 디스플레이부(12), 객체 인식부(20), 인물 보정 처리부(30), 배경 보정 처리부(40), 저장부(15)를 포함한다.The
제1카메라(13)는 스마트 글래스(101)의 전방을 향하도록 설치되어 사진 또는 동영상을 촬영한다. 디스플레이부(12)는 투명한 소재로 이루어질 수 있으며 증강현실 화면을 제공한다.The
객체 인식부(20)는 촬영된 사진 또는 동영상에서 사람과 배경을 구분한다. 객체 인식부(20)는 동일 판단 모듈(21), 얼굴 인식 모듈(22)을 포함한다.The
동일 판단 모듈(21)은 촬영된 영상에서 배경과 인물을 구분하고, 배경 중에서 동일한 객체를 판단한다. 동일 판단 모듈(21)은 형상 인식 기술을 이용하여 배경 중에서 동일한 객체를 판단한다.The
얼굴 인식 모듈(22)은 촬영된 사진 또는 동영상에 나타난 인물의 얼굴과 몸통을 구분하여 인식한다. 사생활 보호를 위해서 사진 또는 동영상에 나타난 인물의 전체를 보정할 수 있으나 얼굴만을 보정할 수도 있다.The
인물 보정 처리부(30)는 촬영된 사진 또는 동영상에서 인물 부분을 보정한다. 인물 보정 처리부(30)는 배경 추출 모듈(31), 대체 수정 모듈(32), 배경 대체 모듈(33), 명도 처리 모듈(34), 픽셀 처리 모듈(35)을 포함한다.The person
배경 추출 모듈(31)은 보정 대상 사진 또는 프레임 이외의 저장된 사진 또는 프레임에서 인물이 제거된 공백부분에 위치하는 배경을 추출한다. 배경 추출 모듈(31)은 인물이 위치하는 부분을 제거할 때 발생하는 공백을 메우기 위해서 저장부(15)에 저장된 다른 사진 또는 프레임에서 공백부분에 위치하는 배경 이미지를 추출한다.The
대체 수정 모듈(32)은 추출된 배경 이미지의 크기 및 모양을 조절한다. 대체 수정 모듈은 추출된 배경 이미지가 보정 대상 사진 또는 프레임에 자연스럽게 결합될 수 있도록 추출된 배경 이미지의 크기 및 모양을 수정한다.The
배경 대체 모듈(33)은 수정된 배경을 인물이 위치하는 부분에 삽입하여 보정 대상 사진 또는 프레임을 수정한다. 이에 따라 촬영된 사진 또는 동영상에서 인물이 위치하는 부분에 공백이 발생되지 않고 배경으로 대체되므로 자연스러운 사진 및 동영상을 제공할 수 있다.The
명도 처리 모듈(34)은 촬영된 사진 또는 동영상에 나타난 인물 얼굴의 명도를 증가 또는 감소시켜서 얼굴을 확인할 수 없도록 보정한다. 배경 추출 모듈(31)에서 대체 가능한 배경을 추출하지 못하는 경우에는 명도 처리 모듈(34)이 인물의 얼굴을 보정할 수 있다.The
픽셀 처리 모듈(35)은 촬영된 사진 또는 동영상에 나타난 인물 얼굴을 흐리게 처리하거나 모자이크 처리한다. 배경 추출 모듈(31)에서 대체 가능한 배경을 추출하지 못하는 경우에는 픽셀 처리 모듈(35)이 인물의 얼굴을 보정할 수 있다.The
배경 보정 처리부(40)는 촬영된 사진 또는 동영상의 배경을 보정한다. 배경 보정 처리부(40)는 주야 전환 모듈(41), 날씨 전환 모듈(42), 하이라이트 처리 모듈(43)을 포함한다. The background correction processing unit (40) corrects the background of the photographed picture or moving picture. The background
주야 전환 모듈(41)은 주간에 촬영된 동영상의 배경을 야간에 촬영된 배경으로 보정한다. 주야 전환 모듈(41)은 명도, 채도 등을 조절하여 주간에 촬영된 동영상의 배경을 야간에 촬영된 배경으로 보정한다.The day /
날씨 전환 모듈(42)은 촬영된 동영상에 비 또는 눈이 오는 효과를 삽입한다. 날씨 전환 모듈(42)은 비 또는 눈이 오는 효과를 갖는 프레임을 합성하여 촬영된 동영상에 비 또는 눈이 오는 동영상으로 보정한다.The
하이라이트 처리 모듈(43)은 촬영된 동영상에서 입력된 목적지를 제외한 배경의 명도 또는 채도를 감소시켜서 목적지가 동영상에서 두드러지게 표시되도록 한다. 이에 따라 사용자는 스마트 글래스(101)를 이용하여 목적지를 용이하게 찾을 수 있다.The
저장부(15)는 스마트 기기의 메모리 또는 서버로 이루어질 수 있으며 보정 처리된 사진 또는 동영상이 저장된다.The
상기한 바와 같이 본 제1 실시예에 따른 도 4에 도시된 바와 같이 스마트 글래스를 이용하여 상시 동영상 또는 사진을 촬영하더라도 인물이 위치하는 부분이 배경으로 대체되어 사생활을 보호할 수 있다.As described above, as shown in FIG. 4 according to the first embodiment, even when the moving picture or the photograph is always photographed using the smart glass, the part where the person is located can be replaced with the background, thereby protecting the privacy.
이하에서는 본 발명의 제1 실시예에 따른 스마트 글래스를 이용한 증강현실 제공 방법에 대해서 설명한다. 도 3은 본 발명의 제1 실시예에 따른 스마트 글래스를 이용한 증강현실 제공 방법을 설명하기 위한 순서도이다.Hereinafter, a method of providing an augmented reality using smart glass according to a first embodiment of the present invention will be described. 3 is a flowchart illustrating a method of providing an augmented reality using a smart glass according to a first embodiment of the present invention.
도 1 내지 도 3을 참조하여 설명하면, 본 제1 실시예에 따른 스마트 글래스를 이용한 증강현실 제공 방법은 제1방향 촬영 단계(S101), 객체 구분 단계(S102), 인물 보정 단계(S103), 배경 보정 단계(S104), 저장 단계(S105)를 포함한다.1 to 3, the method for providing an augmented reality using a smart glass according to the first embodiment includes a first direction photographing step S101, an object distinguishing step S102, a figure correcting step S103, A background correction step (S104), and a storage step (S105).
제1방향 촬영 단계(S101)는 스마트 글래스의 제1방향을 향하도록 설치된 제1카메라를 이용하여 사진 또는 동영상을 촬영한다. 여기서 제1방향은 스마트 글래스의 전방을 향하는 방향이다.The first direction photographing step S101 photographs a photograph or a moving picture using a first camera installed so as to face the first direction of the smart glass. Here, the first direction is the direction toward the front of the smart glass.
객체 구분 단계(S102)는 촬영된 사진 또는 동영상에서 사람과 배경을 구분한다. 객체 인식부는 동일 판단 단계, 얼굴 인식 단계를 포함한다.The object classification step (S102) distinguishes a person from a background in a photographed picture or a moving picture. The object recognition unit includes the same determination step and face recognition step.
동일 판단 단계는 촬영된 영상에서 배경과 인물을 구분하고, 배경 중에서 동일한 객체를 판단한다. 동일 판단 단계는 형상 인식 기술을 이용하여 배경 중에서 동일한 객체를 판단한다.In the same judgment step, the background and the person are distinguished from the photographed image, and the same object is judged in the background. The same determination step determines the same object in the background using the shape recognition technology.
얼굴 인식 단계는 촬영된 사진 또는 동영상에 나타난 인물의 얼굴과 몸통을 구분하여 인식한다. 사생활 보호를 위해서 사진 또는 동영상에 나타난 인물의 전체를 보정할 수 있으나 얼굴만을 보정할 수도 있다.In the face recognition step, the face and the body of the person appearing on the photographed picture or moving picture are distinguished and recognized. For the sake of privacy, you can correct all of the characters in the picture or video, but you can also correct only the face.
인물 보정 단계(S103)는 촬영된 사진 또는 동영상에서 인물 부분을 보정한다. 인물 보정 단계(S103)는 배경 추출 단계, 대체 수정 단계, 배경 대체 단계, 명도 처리 단계, 픽셀 처리 단계를 포함한다.The person correction step (S103) corrects the person portion in the photographed picture or moving picture. The character correction step S103 includes a background extraction step, an alternative correction step, a background substitution step, a brightness processing step, and a pixel processing step.
배경 추출 단계는 보정 대상 사진 또는 프레임 이외의 저장된 사진 또는 프레임에서 인물이 제거된 공백부분에 위치하는 배경을 추출한다. 배경 추출 단계는 인물이 위치하는 부분을 제거할 때 발생하는 공백을 메우기 위해서 저장부(15)에 저장된 다른 사진 또는 프레임에서 공백부분에 위치하는 배경 이미지를 추출한다.The background extracting step extracts a background located in a blank part in which the person is removed from the stored photograph or frame other than the frame to be corrected. The background extracting step extracts a background image located in a blank portion in another photograph or frame stored in the
대체 수정 단계는 추출된 배경 이미지의 크기 및 모양을 조절한다. 대체 수정 단계는 추출된 배경 이미지가 보정 대상 사진 또는 프레임에 자연스럽게 결합될 수 있도록 추출된 배경 이미지의 크기 및 모양을 수정한다.The alternative correction step adjusts the size and shape of the extracted background image. The alternative correction step modifies the size and shape of the extracted background image so that the extracted background image can be naturally combined with the correction target photograph or frame.
배경 대체 단계는 수정된 배경을 인물이 위치하는 부분에 삽입하여 보정 대상 사진 또는 프레임을 수정한다. 이에 따라 촬영된 사진 또는 동영상에서 인물이 위치하는 부분에 공백이 발생되지 않고 배경으로 대체되므로 자연스러운 사진 및 동영상을 제공할 수 있다.The background substitution step modifies the correction target picture or frame by inserting the corrected background into the portion where the character is located. As a result, a space is not generated in a portion where a person is located in a photographed image or a moving image, and the background is replaced with a natural image and a moving image can be provided.
명도 처리 단계는 촬영된 사진 또는 동영상에 나타난 인물 얼굴의 명도를 증가 또는 감소시켜서 얼굴을 확인할 수 없도록 보정한다. 배경 추출 단계에서 대체 가능한 배경을 추출하지 못하는 경우에는 명도 처리 단계가 인물의 얼굴을 보정할 수 있다.The brightness processing step increases or decreases the brightness of the person's face displayed on the photographed image or moving image to correct the face so that it can not be confirmed. If it is not possible to extract a replaceable background in the background extraction step, the brightness processing step may correct the face of the person.
픽셀 처리 단계는 촬영된 사진 또는 동영상에 나타난 인물 얼굴을 흐리게 처리하거나 모자이크 처리한다. 배경 추출 단계에서 대체 가능한 배경을 추출하지 못하는 경우에는 픽셀 처리 단계가 인물의 얼굴을 보정할 수 있다.The pixel processing step blurs or mosaicizes a person's face displayed on the photographed picture or moving picture. If a substitutable background can not be extracted in the background extracting step, the pixel processing step can correct the face of the person.
배경 보정 단계(S104)는 촬영된 사진 또는 동영상의 배경을 보정한다. 배경 보정 단계(S104)는 주야 전환 단계, 날씨 전환 단계, 하이라이트 처리 단계를 포함한다. The background correction step (S104) corrects the background of the photographed picture or moving picture. The background correction step S104 includes a day / night conversion step, a weather change step, and a highlight processing step.
주야 전환 단계는 주간에 촬영된 동영상의 배경을 야간에 촬영된 배경으로 보정한다. 주야 전환 단계는 명도, 채도 등을 조절하여 주간에 촬영된 동영상의 배경을 야간에 촬영된 배경으로 보정한다.The day / night conversion step corrects the background of the video shot during the day to the background photographed at night. The day and night conversion stage adjusts the brightness, saturation, etc. to adjust the background of the video shot during the day to the background captured at night.
날씨 전환 단계는 촬영된 동영상에 비 또는 눈이 오는 효과를 삽입한다. 날씨 전환 단계는 비 또는 눈이 오는 효과를 갖는 프레임을 합성하여 촬영된 동영상에 비 또는 눈이 오는 동영상으로 보정한다.The weather transition phase inserts rain or snow effects into the recorded video. The weather conversion step combines frames with rain or snow effects and corrects them into moving or non-visible moving images.
하이라이트 처리 단계는 촬영된 동영상에서 입력된 목적지를 제외한 배경의 명도 또는 채도를 감소시켜서 목적지가 동영상에서 두드러지게 표시되도록 한다.The highlight processing step reduces the brightness or saturation of the background except for the destination input from the photographed moving image so that the destination is displayed prominently in the moving image.
저장 단계(S105)는 스마트 기기의 메모리 또는 서버에 보정 처리된 사진 또는 동영상이 저장한다.
In the storing step (S105), a photo or moving image corrected by the memory or the server of the smart device is stored.
이하에서는 본 발명의 제2 실시예에 따른 사생활 보호 기능을 갖는 스마트 글래스에 대해서 설명한다. 도 5는 본 발명의 제2 실시예에 따른 사생활 보호 기능을 갖는 스마트 글래스를 도시한 구성도이다.Hereinafter, a smart glass having a privacy protection function according to a second embodiment of the present invention will be described. 5 is a block diagram showing a smart glass having a privacy protection function according to a second embodiment of the present invention.
도 5를 참조하여 설명하면, 본 발명의 제2 실시예에 따른 스마트 글래스(102)는 스마트 글래스(102)는 제1카메라(13), 제2카메라(14), 디스플레이부(12), 객체 인식부(20), 인물 보정 처리부(30), 배경 보정 처리부(40), 줌 조절부(50), 저장부(15)를 포함한다.5, a smart glass 102 according to a second embodiment of the present invention includes a smart glass 102 which includes a
제1카메라(13)는 스마트 글래스(101)의 전방을 향하도록 설치되어 사진 또는 동영상을 촬영한다. 디스플레이부(12)는 투명한 소재로 이루어질 수 있으며 증강현실 화면을 제공한다. 제2카메라(14)는 사용자의 얼굴을 향하도록 설치되어 사용자의 안구를 촬영한다.The
객체 인식부(20)는 촬영된 사진 또는 동영상에서 사람과 배경을 구분한다. 객체 인식부(20)는 동일 판단 모듈(21), 얼굴 인식 모듈(22)을 포함한다.The
동일 판단 모듈(21)은 촬영된 영상에서 배경과 인물을 구분하고, 배경 중에서 동일한 객체를 판단한다. 동일 판단 모듈(21)은 형상 인식 기술을 이용하여 배경 중에서 동일한 객체를 판단한다.The
얼굴 인식 모듈(22)은 촬영된 사진 또는 동영상에 나타난 인물의 얼굴과 몸통을 구분하여 인식한다. 사생활 보호를 위해서 사진 또는 동영상에 나타난 인물의 전체를 보정할 수 있으나 얼굴만을 보정할 수도 있다.The
인물 보정 처리부(30)는 촬영된 사진 또는 동영상에서 인물 부분을 보정한다. 인물 보정 처리부(30)는 배경 추출 모듈(31), 대체 수정 모듈(32), 배경 대체 모듈(33), 명도 처리 모듈(34), 픽셀 처리 모듈(35)을 포함한다.The person
배경 추출 모듈(31)은 보정 대상 사진 또는 프레임 이외의 저장된 사진 또는 프레임에서 인물이 제거된 공백부분에 위치하는 배경을 추출한다. 배경 추출 모듈(31)은 인물이 위치하는 부분을 제거할 때 발생하는 공백을 메우기 위해서 저장부(15)에 저장된 다른 사진 또는 프레임에서 공백부분에 위치하는 배경 이미지를 추출한다.The
대체 수정 모듈(32)은 추출된 배경 이미지의 크기 및 모양을 조절한다. 대체 수정 모듈은 추출된 배경 이미지가 보정 대상 사진 또는 프레임에 자연스럽게 결합될 수 있도록 추출된 배경 이미지의 크기 및 모양을 수정한다.The
배경 대체 모듈(33)은 수정된 배경을 인물이 위치하는 부분에 삽입하여 보정 대상 사진 또는 프레임을 수정한다. 이에 따라 촬영된 사진 또는 동영상에서 인물이 위치하는 부분에 공백이 발생되지 않고 배경으로 대체되므로 자연스러운 사진 및 동영상을 제공할 수 있다.The
명도 처리 모듈(34)은 촬영된 사진 또는 동영상에 나타난 인물 얼굴의 명도를 증가 또는 감소시켜서 얼굴을 확인할 수 없도록 보정한다. 배경 추출 모듈(31)에서 대체 가능한 배경을 추출하지 못하는 경우에는 명도 처리 모듈(34)이 인물의 얼굴을 보정할 수 있다.The
픽셀 처리 모듈(35)은 촬영된 사진 또는 동영상에 나타난 인물 얼굴을 흐리게 처리하거나 모자이크 처리한다. 배경 추출 모듈(31)에서 대체 가능한 배경을 추출하지 못하는 경우에는 픽셀 처리 모듈(35)이 인물의 얼굴을 보정할 수 있다.The
배경 보정 처리부(40)는 촬영된 사진 또는 동영상의 배경을 보정한다. 배경 보정 처리부(40)는 주야 전환 모듈(41), 날씨 전환 모듈(42), 하이라이트 처리 모듈(43)을 포함한다. The background correction processing unit (40) corrects the background of the photographed picture or moving picture. The background
주야 전환 모듈(41)은 주간에 촬영된 동영상의 배경을 야간에 촬영된 배경으로 보정한다. 주야 전환 모듈(41)은 명도, 채도 등을 조절하여 주간에 촬영된 동영상의 배경을 야간에 촬영된 배경으로 보정한다.The day /
날씨 전환 모듈(42)은 촬영된 동영상에 비 또는 눈이 오는 효과를 삽입한다. 날씨 전환 모듈(42)은 비 또는 눈이 오는 효과를 갖는 프레임을 합성하여 촬영된 동영상에 비 또는 눈이 오는 동영상으로 보정한다.The
하이라이트 처리 모듈(43)은 촬영된 동영상에서 입력된 목적지를 제외한 배경의 명도 또는 채도를 감소시켜서 목적지가 동영상에서 두드러지게 표시되도록 한다. 이에 따라 사용자는 스마트 글래스(101)를 이용하여 목적지를 용이하게 찾을 수 있다.The
줌 조절부(50)는 디스플레이부(12)에 촬영된 동영상을 확대하거나 축소하여 표시한다. 줌 조절부(50)는 동공 측정 모듈(51), 시선 추적 모듈(52), 확대 표시 모듈(53)을 포함한다.The
동공 측정 모듈(51)은 제2카메라(14)에서 촬영된 영상에서 동공의 크기 및 움직임을 판단한다. 시선 추적 모듈(52)은 동공 측정 모듈(51)에서 판단된 동공의 크기 및 움직임에 따라 동공의 초점을 분석하여 사용자의 시선이 이동하는 방향을 추적한다. 또한 시선 추적 모듈(52)은 디스플레이부(12)와 사용자의 시선을 비교하여 사용자가 주시하는 대상을 추적한다.The
확대 표시 모듈(53)은 사용자의 안구의 크기가 감소하고 사용자가 한 곳을 주시할 때, 사용자의 시선이 향하는 향하는 디스플레이부(12)의 부분을 확대하여 표시한다. 사용자가 원거리에 위치한 사물을 관찰할 때에는 안구의 크기가 감소하고 시선이 한곳에 머무르게 되는데 확대 표시 모듈(53)은 안구가 감소된 상태에서 시선이 2초 이상 한곳에 고정되면 사용자가 주시하는 대상을 확대하여 디스플레이부(12)에 표시한다.The
저장부(15)는 스마트 기기의 메모리 또는 서버로 이루어질 수 있으며 보정 처리된 사진 또는 동영상이 저장된다.The
이하에서는 본 발명의 제2 실시예에 따른 스마트 글래스를 이용한 증강현실 제공 방법에 대해서 설명한다. 도 6은 본 발명의 제2 실시예에 따른 스마트 글래스를 이용한 증강현실 제공 방법을 설명하기 위한 순서도이다.Hereinafter, a method for providing an augmented reality using a smart glass according to a second embodiment of the present invention will be described. 6 is a flowchart illustrating a method of providing an augmented reality using a smart glass according to a second embodiment of the present invention.
도 5 및 도 6을 참조하여 설명하면, 본 제2 실시예에 따른 스마트 글래스를 이용한 증강현실 제공 방법은 제1방향 촬영 단계(S201), 객체 구분 단계(S202), 인물 보정 단계(S203), 배경 보정 단계(S204), 제2방향 촬영 단계(S205), 줌 조절 단계(S206), 저장 단계(S207)를 포함한다.5 and FIG. 6, the method for providing an augmented reality using smart glass according to the second embodiment includes a first direction photographing step S201, an object distinguishing step S202, a person correcting step S203, A background correction step S204, a second direction photographing step S205, a zoom adjusting step S206, and a storing step S207.
제1방향 촬영 단계(S201)는 스마트 글래스의 제1방향을 향하도록 설치된 제1카메라를 이용하여 사진 또는 동영상을 촬영한다. 여기서 제1방향은 스마트 글래스의 전방을 향하는 방향이다.In the first direction photographing step S201, a photograph or a moving picture is photographed using a first camera installed so as to face the first direction of the smart glass. Here, the first direction is the direction toward the front of the smart glass.
객체 구분 단계(S202)는 촬영된 사진 또는 동영상에서 사람과 배경을 구분한다. 객체 인식부는 동일 판단 단계, 얼굴 인식 단계를 포함한다.The object classification step (S202) distinguishes the person and the background from the photographed picture or moving picture. The object recognition unit includes the same determination step and face recognition step.
동일 판단 단계는 촬영된 영상에서 배경과 인물을 구분하고, 배경 중에서 동일한 객체를 판단한다. 동일 판단 단계는 형상 인식 기술을 이용하여 배경 중에서 동일한 객체를 판단한다.In the same judgment step, the background and the person are distinguished from the photographed image, and the same object is judged in the background. The same determination step determines the same object in the background using the shape recognition technology.
얼굴 인식 단계는 촬영된 사진 또는 동영상에 나타난 인물의 얼굴과 몸통을 구분하여 인식한다. 사생활 보호를 위해서 사진 또는 동영상에 나타난 인물의 전체를 보정할 수 있으나 얼굴만을 보정할 수도 있다.In the face recognition step, the face and the body of the person appearing on the photographed picture or moving picture are distinguished and recognized. For the sake of privacy, you can correct all of the characters in the picture or video, but you can also correct only the face.
인물 보정 단계(S203)는 촬영된 사진 또는 동영상에서 인물 부분을 보정한다. 인물 보정 단계(S203)는 배경 추출 단계, 대체 수정 단계, 배경 대체 단계, 명도 처리 단계, 픽셀 처리 단계를 포함한다.The person correction step (S203) corrects the person portion in the photographed picture or moving picture. The character correction step S203 includes a background extraction step, an alternative correction step, a background substitution step, a brightness processing step, and a pixel processing step.
배경 추출 단계는 보정 대상 사진 또는 프레임 이외의 저장된 사진 또는 프레임에서 인물이 제거된 공백부분에 위치하는 배경을 추출한다. 배경 추출 단계는 인물이 위치하는 부분을 제거할 때 발생하는 공백을 메우기 위해서 저장부(15)에 저장된 다른 사진 또는 프레임에서 공백부분에 위치하는 배경 이미지를 추출한다.The background extracting step extracts a background located in a blank part in which the person is removed from the stored photograph or frame other than the frame to be corrected. The background extracting step extracts a background image located in a blank portion in another photograph or frame stored in the
대체 수정 단계는 추출된 배경 이미지의 크기 및 모양을 조절한다. 대체 수정 단계는 추출된 배경 이미지가 보정 대상 사진 또는 프레임에 자연스럽게 결합될 수 있도록 추출된 배경 이미지의 크기 및 모양을 수정한다.The alternative correction step adjusts the size and shape of the extracted background image. The alternative correction step modifies the size and shape of the extracted background image so that the extracted background image can be naturally combined with the correction target photograph or frame.
배경 대체 단계는 수정된 배경을 인물이 위치하는 부분에 삽입하여 보정 대상 사진 또는 프레임을 수정한다. 이에 따라 촬영된 사진 또는 동영상에서 인물이 위치하는 부분에 공백이 발생되지 않고 배경으로 대체되므로 자연스러운 사진 및 동영상을 제공할 수 있다.The background substitution step modifies the correction target picture or frame by inserting the corrected background into the portion where the character is located. As a result, a space is not generated in a portion where a person is located in a photographed image or a moving image, and the background is replaced with a natural image and a moving image can be provided.
명도 처리 단계는 촬영된 사진 또는 동영상에 나타난 인물 얼굴의 명도를 증가 또는 감소시켜서 얼굴을 확인할 수 없도록 보정한다. 배경 추출 단계에서 대체 가능한 배경을 추출하지 못하는 경우에는 명도 처리 단계가 인물의 얼굴을 보정할 수 있다.The brightness processing step increases or decreases the brightness of the person's face displayed on the photographed image or moving image to correct the face so that it can not be confirmed. If it is not possible to extract a replaceable background in the background extraction step, the brightness processing step may correct the face of the person.
픽셀 처리 단계는 촬영된 사진 또는 동영상에 나타난 인물 얼굴을 흐리게 처리하거나 모자이크 처리한다. 배경 추출 단계에서 대체 가능한 배경을 추출하지 못하는 경우에는 픽셀 처리 단계가 인물의 얼굴을 보정할 수 있다.The pixel processing step blurs or mosaicizes a person's face displayed on the photographed picture or moving picture. If a substitutable background can not be extracted in the background extracting step, the pixel processing step can correct the face of the person.
배경 보정 단계(S204)는 촬영된 사진 또는 동영상의 배경을 보정한다. 배경 보정 단계(S204)는 주야 전환 단계, 날씨 전환 단계, 하이라이트 처리 단계를 포함한다. The background correction step (S204) corrects the background of the photographed picture or moving picture. The background correction step S204 includes a day / night conversion step, a weather change step, and a highlight processing step.
주야 전환 단계는 주간에 촬영된 동영상의 배경을 야간에 촬영된 배경으로 보정한다. 주야 전환 단계는 명도, 채도 등을 조절하여 주간에 촬영된 동영상의 배경을 야간에 촬영된 배경으로 보정한다.The day / night conversion step corrects the background of the video shot during the day to the background photographed at night. The day and night conversion stage adjusts the brightness, saturation, etc. to adjust the background of the video shot during the day to the background captured at night.
날씨 전환 단계는 촬영된 동영상에 비 또는 눈이 오는 효과를 삽입한다. 날씨 전환 단계는 비 또는 눈이 오는 효과를 갖는 프레임을 합성하여 촬영된 동영상에 비 또는 눈이 오는 동영상으로 보정한다.The weather transition phase inserts rain or snow effects into the recorded video. The weather conversion step combines frames with rain or snow effects and corrects them into moving or non-visible moving images.
하이라이트 처리 단계는 촬영된 동영상에서 입력된 목적지를 제외한 배경의 명도 또는 채도를 감소시켜서 목적지가 동영상에서 두드러지게 표시되도록 한다.The highlight processing step reduces the brightness or saturation of the background except for the destination input from the photographed moving image so that the destination is displayed prominently in the moving image.
제2방향 촬영 단계(S205)는 스마트 글래스의 제2방향을 향하도록 설치된 제2카메라를 이용하여 사용자의 안구를 촬영한다. 여기서 제2방향은 사용자의 얼굴을 향하는 방향이다.The second direction photographing step S205 photographs the user's eyeball using a second camera installed so as to face the second direction of the smart glass. Here, the second direction is the direction toward the face of the user.
줌 조절 단계(S206)는 디스플레이부(12)에 촬영된 동영상을 확대하거나 축소하여 표시한다. 줌 조절 단계(S206)는 동공 측정 단계, 시선 추적 단계, 확대 표시 단계를 포함한다.The zoom adjustment step (S206) enlarges or reduces the photographed moving image on the display unit (12). The zoom adjustment step S206 includes a pupil measurement step, a gaze tracking step, and an enlarged display step.
동공 측정 단계(51)는 제2방향 촬영 단계(S205)에서 촬영된 영상에서 동공의 크기 및 움직임을 판단한다. 시선 추적 단계는 동공 측정 단계에서 판단된 동공의 크기 및 움직임에 따라 동공의 초점을 분석하여 사용자의 시선이 이동하는 방향을 추적한다. 또한 시선 추적 단계는 디스플레이부(12)와 사용자의 시선을 비교하여 사용자가 주시하는 대상을 추적한다.The
확대 표시 단계는 사용자의 안구의 크기가 감소하고 사용자가 한 곳을 주시할 때, 사용자의 시선이 향하는 향하는 디스플레이부(12)의 부분을 확대하여 표시한다. 사용자가 원거리에 위치한 사물을 관찰할 때에는 안구의 크기가 감소하고 시선이 한곳에 머무르게 되는데 확대 표시 단계는 안구가 감소된 상태에서 시선이 2초 이상 한곳에 고정되면 사용자가 주시하는 대상을 확대하여 디스플레이부(12)에 표시한다.The enlarged display step enlarges and displays a portion of the
저장 단계(S207)는 스마트 기기의 메모리 또는 서버에 보정 처리된 사진 또는 동영상이 저장한다.The storage step S207 stores a photo or moving image corrected in the memory or the server of the smart device.
이상과 같이, 본 명세서와 도면에는 본 발명의 바람직한 실시예에 대하여 개시하였으며, 비록 특정 용어들이 사용되었으나, 이는 단지 본 발명의 기술 내용을 쉽게 설명하고 발명의 이해를 돕기 위한 일반적인 의미에서 사용된 것이지, 본 발명의 범위를 한정하고자 하는 것은 아니다. 여기에 개시된 실시예 외에도 본 발명의 기술적 사상에 바탕을 둔 다른 변형 예들이 실시 가능하다는 것은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 자명한 것이다.
As described above, preferred embodiments of the present invention have been disclosed in the present specification and drawings, and although specific terms have been used, they have been used only in a general sense to easily describe the technical contents of the present invention and to facilitate understanding of the invention , And are not intended to limit the scope of the present invention. It is to be understood by those skilled in the art that other modifications based on the technical idea of the present invention are possible in addition to the embodiments disclosed herein.
101, 102: 스마트 글래스
12: 디스플레이부
13: 제1카메라
14: 제2카메라
15: 저장부
20: 객체 인식부
21: 동일 판단 모듈
22: 얼굴 인식 모듈
30: 인물 보정 처리부
31: 배경 추출 모듈
32: 대체 수정 모듈
33: 배경 대체 모듈
34: 명도 처리 모듈
35: 픽셀 처리 모듈
40: 배경 보정 처리부
41: 주야 전환 모듈
42: 날씨 전환 모듈
43: 하이라이트 처리 모듈
50: 줌 조절부
51: 동공 측정 모듈
52: 시선 추적 모듈
53: 확대 표시 모듈101, 102: Smart glass
12:
13: First camera
14: Second camera
15:
20: Object recognition unit
21: Identification module
22: Face Recognition Module
30: Character correction processing unit
31: Background extraction module
32: Replacement Modules
33: background replacement module
34: brightness processing module
35: Pixel processing module
40: background correction processor
41: Day / Night conversion module
42: weather conversion module
43: Highlight processing module
50:
51: pupil measurement module
52: eye tracking module
53: Enlarged display module
Claims (17)
상기 스마트 글래스를 이용하여 전방을 촬영하는 제1방향 촬영 단계;
촬영된 사진 또는 동영상에서 사람과 배경을 구분하는 객체 구분 단계;
촬영된 사진 또는 동영상에 나타난 인물을 보정하는 인물 보정 단계; 및
보정 처리된 사진 또는 동영상을 저장하는 저장 단계;
를 포함하는 것을 특징으로 하는 스마트 글래스를 이용한 증강현실 제공 방법.
A method for providing an augmented reality using smart glass,
A first direction photographing step of photographing the front side using the smart glass;
An object classification step of identifying a person and a background in a photographed picture or a moving picture;
A person correcting step of correcting a person appearing in the photographed picture or moving picture; And
A storing step of storing the corrected photograph or moving image;
The method of claim 1, wherein the augmented reality is provided by a smart glass.
상기 인물 보정 단계는 저장된 사진 또는 프레임에서 인물이 제거된 공백부분에 위치하는 배경을 추출하는 배경 추출 단계를 포함하는 것을 특징으로 하는 스마트 글래스를 이용한 증강현실 제공 방법.
The method according to claim 1,
Wherein the character correcting step includes a background extracting step of extracting a background located in a blank part from which a person is removed from the stored photograph or frame.
상기 인물 보정 단계는 추출된 배경의 사이즈 및 형상을 조절하는 대체 배경 수정 단계를 포함하는 것을 특징으로 하는 스마트 글래스를 이용한 증강현실 제공 방법.
20. The method of claim 19,
Wherein the person correcting step includes an alternative background correcting step of adjusting a size and a shape of the extracted background.
상기 인물 보정 단계는 수정된 배경을 인물이 위치하는 부분에 삽입하는 배경 대체 단계를 포함하는 것을 특징으로 하는 스마트 글래스를 이용한 증강현실 제공 방법.
The method of claim 3,
Wherein the character correcting step includes a background substitution step of inserting the corrected background into a portion where the person is located.
상기 객체 인식 단계는 배경 중에서 동일한 객체를 판단하는 동일 판단 단계를 포함하는 것을 특징으로 하는 스마트 글래스를 이용한 증강현실 제공 방법.
The method according to claim 1,
Wherein the object recognition step comprises the same determination step of determining the same object in the background.
상기 객체 인식 단계는 사진 또는 동영상에 나타난 인물의 얼굴과 몸통을 구분하는 얼굴 구분 단계를 포함하는 것을 특징으로 하는 스마트 글래스를 이용한 증강현실 제공 방법.
6. The method of claim 5,
Wherein the object recognition step includes a face classification step of separating a face and a body of a person represented in a photograph or a moving image.
상기 인물 보정 단계는 촬영된 사진 또는 동영상에 나타난 인물 얼굴의 명도를 증가 또는 감소시키는 명도 처리 단계를 더 포함하는 것을 특징으로 하는 스마트 글래스를 이용한 증강현실 제공 방법.
The method according to claim 6,
Wherein the person correcting step further comprises a brightness processing step of increasing or decreasing brightness of a person's face displayed on the photographed picture or moving picture.
상기 인물 보정 단계는 촬영된 사진 또는 동영상에 나타난 인물 얼굴을 흐리게 처리하거나 모자이크 처리하는 픽셀 처리 단계를 더 포함하는 것을 특징으로 하는 스마트 글래스를 이용한 증강현실 제공 방법.
The method according to claim 6,
Wherein the person correcting step further comprises a pixel processing step of blurring or mosaicing the face of the person shown in the photographed picture or moving picture.
상기 증강현실 제공 방법은 촬영된 사진 또는 동영상의 배경을 보정하는 배경 보정 단계를 더 포함하는 것을 특징으로 하는 스마트 글래스를 이용한 증강현실 제공 방법.
The method according to claim 1,
Wherein the augmented reality providing method further comprises a background correcting step of correcting the background of the photographed picture or moving picture.
상기 배경 보정 단계는 주간 사진을 야간 사진으로 전환하는 주야 전환 단계를 포함하는 것을 특징으로 하는 스마트 글래스를 이용한 증강현실 제공 방법.
10. The method of claim 9,
Wherein the background correction step includes a day / night conversion step of converting a daytime photograph into a nighttime photograph.
상기 배경 보정 단계는 촬영된 사진 또는 동영상에 비 또는 눈이 오는 효과를 삽입하는 날씨 전환 단계를 포함하는 것을 특징으로 하는 스마트 글래스를 이용한 증강현실 제공 방법.
11. The method of claim 10,
Wherein the background correction step includes a weather change step of inserting a rain or snow effect into the photographed picture or moving picture.
상기 배경 보정 단계는 입력된 목적지를 제외한 배경의 명도 또는 채도를 감소시키는 하이라이트 처리 단계를 포함하는 것을 특징으로 하는 스마트 글래스를 이용한 증강현실 제공 방법.
12. The method of claim 11,
Wherein the background correction step includes a highlight processing step of reducing brightness or saturation of the background except for the input destination.
상기 증강현실 제공 방법은 제2카메라를 이용하여 안구를 촬영하는 제2방향 촬영 단계를 더 포함하는 것을 특징으로 하는 스마트 글래스를 이용한 증강현실 제공 방법.
The method according to claim 1,
Wherein the augmented reality providing method further includes a second direction photographing step of photographing an eyeball using a second camera.
상기 증강현실 제공 방법은 상기 스마트 글래스의 디스플레이부에 화상을 확대하거나 축소하여 표시하는 좀 조절 단계를 더 포함하는 것을 특징으로 하는 스마트 글래스를 이용한 증강현실 제공 방법.
14. The method of claim 13,
Wherein the step of providing the augmented reality further comprises a step of adjusting the size of the image displayed on the display unit of the smart glass.
상기 줌 조절 단계는 상기 촬영된 영상에서 안구의 크기 및 움직임을 측정하는 동공 측정 모듈을 포함하는 것을 특징으로 하는 스마트 글래스를 이용한 증강현실 제공 방법.
15. The method of claim 14,
Wherein the zoom adjusting step comprises a pupil measurement module for measuring the size and the motion of the eyeball in the photographed image.
상기 줌 조절 단계는 사용자의 시선을 추적하는 시선 추적 단계를 포함하는 것을 특징으로 하는 스마트 글래스를 이용한 증강현실 제공 방법.
16. The method of claim 15,
Wherein the zoom adjusting step includes a gaze tracking step of tracking a user's gaze.
상기 줌 조절 단계는 사용자의 안구의 크기가 감소하고 사용자가 한 곳을 주시할 때, 사용자의 시선이 향하는 향하는 디스플레이부의 부분을 확대하여 표시하는 확대 표시 단계를 포함하는 것을 특징으로 하는 스마트 글래스를 이용한 증강현실 제공 방법.
17. The method of claim 16,
Wherein the zoom adjusting step includes an enlarging and displaying step of enlarging and displaying a portion of the display unit to which the user's gaze is directed when the size of the user's eyeball decreases and the user views one place. Method of providing augmented reality.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020160077133A KR20180000017A (en) | 2016-06-21 | 2016-06-21 | Augmented reality providing mehtod using smart glass |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020160077133A KR20180000017A (en) | 2016-06-21 | 2016-06-21 | Augmented reality providing mehtod using smart glass |
Publications (1)
Publication Number | Publication Date |
---|---|
KR20180000017A true KR20180000017A (en) | 2018-01-02 |
Family
ID=61004616
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020160077133A KR20180000017A (en) | 2016-06-21 | 2016-06-21 | Augmented reality providing mehtod using smart glass |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR20180000017A (en) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20190106945A (en) * | 2019-08-30 | 2019-09-18 | 엘지전자 주식회사 | Artificial device and method for collecting image of the same |
KR102091217B1 (en) * | 2018-12-12 | 2020-03-19 | 주식회사 하이쓰리디 | Augmented reality video editing system for a mobile device |
KR20200073487A (en) | 2018-12-14 | 2020-06-24 | (주)이머시브캐스트 | Camera-based mixed reality glass apparatus and mixed reality display method |
-
2016
- 2016-06-21 KR KR1020160077133A patent/KR20180000017A/en not_active Application Discontinuation
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102091217B1 (en) * | 2018-12-12 | 2020-03-19 | 주식회사 하이쓰리디 | Augmented reality video editing system for a mobile device |
US10643662B1 (en) | 2018-12-12 | 2020-05-05 | Hy3D Co., Ltd. | Mobile augmented reality video editing system |
CN111311759A (en) * | 2018-12-12 | 2020-06-19 | 株式会社海思力迪 | Mobile augmented reality video editing system |
CN111311759B (en) * | 2018-12-12 | 2024-02-20 | 株式会社海思力迪 | Mobile augmented reality video editing system |
KR20200073487A (en) | 2018-12-14 | 2020-06-24 | (주)이머시브캐스트 | Camera-based mixed reality glass apparatus and mixed reality display method |
US11314088B2 (en) | 2018-12-14 | 2022-04-26 | Immersivecast Co., Ltd. | Camera-based mixed reality glass apparatus and mixed reality display method |
KR20190106945A (en) * | 2019-08-30 | 2019-09-18 | 엘지전자 주식회사 | Artificial device and method for collecting image of the same |
US11082610B2 (en) | 2019-08-30 | 2021-08-03 | Lg Electronics Inc. | Artificial device and method of collecting image of the same |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6165459B2 (en) | Method for correcting user's line of sight in video, machine-readable storage medium, and portable terminal | |
US20110234475A1 (en) | Head-mounted display device | |
US20170323465A1 (en) | Image processing apparatus, image processing method, and storage medium | |
CN109074681A (en) | Information processing unit, information processing method and program | |
JP6855313B2 (en) | Image display system, image display device and image display method | |
CN109714583B (en) | Augmented reality display method and augmented reality display system | |
CN114071010B (en) | Shooting method and equipment | |
WO2018225518A1 (en) | Image processing device, image processing method, program, and telecommunication system | |
WO2014148031A1 (en) | Image generation device, imaging device and image generation method | |
CN111866523B (en) | Panoramic video synthesis method and device, electronic equipment and computer storage medium | |
US11749141B2 (en) | Information processing apparatus, information processing method, and recording medium | |
KR20150011742A (en) | User terminal device and the control method thereof | |
KR20180000017A (en) | Augmented reality providing mehtod using smart glass | |
US11218691B1 (en) | Upsampling content for head-mounted displays | |
KR101148508B1 (en) | A method and device for display of mobile device, and mobile device using the same | |
JP2013172446A (en) | Information processor, terminal, imaging apparatus, information processing method, and information provision method in imaging apparatus | |
CN110245549A (en) | Real-time face and object manipulation | |
US10911677B1 (en) | Multi-camera video stabilization techniques | |
US11128815B2 (en) | Device, method and computer program for extracting object from video | |
CN114071009B (en) | Shooting method and equipment | |
US20210014475A1 (en) | System and method for corrected video-see-through for head mounted displays | |
KR20180000018A (en) | Smart glass having privacy protection function | |
CN109255838A (en) | Augmented reality is avoided to show the method and apparatus of equipment viewing ghost image | |
KR20170044319A (en) | Method for extending field of view of head mounted display | |
US12001746B2 (en) | Electronic apparatus, and method for displaying image on display device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
E601 | Decision to refuse application |