KR20180109644A - Smart glasses and optical system therefor - Google Patents

Abstract

Disclosed are smart glasses including a display and an optical system thereof which can easily realize augmented reality and virtual reality using 3D content. The smart glasses comprise: a frame assembly forming a shape of glasses by multiple frames; an electronic component mounted on the frame assembly; first and second display devices controlled by a control device of the electronic component and disposed at central upper and central lower sides of the frame assembly; and an optical system for transferring and projecting a first image output by the first display device and a second image output by the second display device onto first and second main lenses, respectively, while enlarging and reducing a size of the images or focusing the images, wherein a user sees the first and second images on the first main lens and the second main lens, respectively.

Description

스마트 안경 및 그 광학시스템{SMART GLASSES AND OPTICAL SYSTEM THEREFOR}[0001] SMART GLASSES AND OPTICAL SYSTEM THEREFOR [0002]

본 발명의 실시예들은 스마트 안경에 관한 것으로, 보다 상세하게는 디스플레이를 구비하는 스마트 안경 및 그 광학시스템에 관한 것이다.BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to smart glasses, and more particularly, to smart glasses and an optical system thereof having a display.

헤드 마운트 디스플레이(Head Mount Display; HMD)는 안경처럼 얼굴에 착용하고 멀티미디어 콘텐츠를 안구에 근접한 형태로 안경 상에 가상의 영상을 디스플레이하는 디지털 디바이스를 말한다.A head mount display (HMD) is a digital device that wears on the face like a pair of glasses and displays a virtual image on the glasses in the form of a multimedia content close to the eyeball.

HMD는 단순한 디스플레이 기능을 넘어 증강현실(Augmented Reality) 기술 등과 조합하여 사용자에게 다양한 편의를 제공해 줄 수 있고, 외부 디지털 디바이스와 통신을 수행하여 해당 콘텐츠를 출력할 수 있을 뿐만 아니라 외부 디지털 디바이스를 위한 사용자 입력을 수신하거나 해당 외부 디지털 디바이스와 연동한 작업의 수행도 지원한다. 최근, HMD에 대한 연구 개발이 활발하게 이루어지고 있다.The HMD can provide a variety of convenience to the user in combination with Augmented Reality technology or the like beyond the simple display function and can communicate with the external digital device to output the corresponding content, It also supports the operation of receiving input or interworking with the external digital device. Recently, research and development on HMD have been actively performed.

증강현실은 실세계에 3차원의 가상 물체를 겹쳐서 보여주는 기술을 활용해 현실과 가상환경을 융합하는 복합형 가상현실(Virtual Reality) 기술 중 하나이다. 이러한 증강현실은 군사, 오락, 의료, 학습, 영화, 건축설계, 관광 등 다양한 분야에 활용되면서 공상과학 소설이나 영화에서 묘사되는 상상적 단계를 벗어나 점차 현실화되고 있다.Augmented Reality is one of the hybrid reality technologies that combine reality and virtual environment by using technology to show the real world of 3D virtual objects overlaid. These augmented reality is being used in various fields such as military, entertainment, medical, learning, film, architectural design and tourism, and it is becoming more and more realized beyond the imaginary stage depicted in science fiction novels or movies.

증가현실은 가상현실의 한 분야이며, 가상현실 시스템들은 창문형 시스템(Window Systems), 거울형 시스템(Mirror Systems), 탑승형 시스템(Vehicle-based Systems), 증강현실 시스템(Aumented Reality Systems) 등으로 분류될 수 있다.Increased reality is a field of virtual reality, and virtual reality systems are classified as window systems, mirror systems, vehicle-based systems, and augmented reality systems. .

가상현실 시스템은 입력장치와 출력장치를 포함한다. 출력장치는 사용자들이 감각채널을 통해 시각, 청각, 촉각, 움직임 등을 지각하게 해 주는 장치들로서 시각 디스플레이 장치, 청각 디스플레이 장치, 촉각 디스플레이 장치, 움직임 피드백 및 영상 디스플레이 장치가 포함된다. 시각 디스플레이(Visual Display) 장치 중 대표적인 하드웨어는 HMD와 스마트 안경이 있다.A virtual reality system includes an input device and an output device. The output device includes devices for allowing the user to perceive vision, hearing, tactile sense, motion, etc. through sensory channels, including a visual display device, an auditory display device, a tactile display device, a motion feedback and an image display device. Representative hardware of visual display device is HMD and smart glasses.

가상현실이 추구하는 목표는 사용자로 하여금 원격현전(Telepresence)을 경험하도록 하는 것이다. 현전(Presence)은 어떤 환경 속에서 느끼는 실재감(Sense of being)을 뜻하는데 이런 점에서 원격현전은 커뮤니케이션 매체에 의해 어떤 가상 환경 속에서 실재하고 있음을 지칭할 수 있으며, 가상현실 시스템이나 증강현실 시스템은 사용자가 원격현전을 경험할 수 있도록 한다.The goal of virtual reality is to allow users to experience telepresence. Presence refers to the sense of being in an environment. In this sense, a remote event can be said to exist in a virtual environment by a communication medium, and a virtual reality system or augmented reality system Allows the user to experience remote events.

그러나 종래의 스마트 안경은 좌측이나 우측 중에서 하나의 안구로 이미지를 공급하고 사용자는 일측 안구로만 멀티미디어 콘텐츠를 관측함에 따라 일정 시간만 관측을 하여도 어지럼증 등의 부작용이 발생하는 문제점이 있다.However, according to the conventional smart glasses, images are supplied to one of the left and right eyeballs, and the user observes multimedia contents with only one eyeball, so that even if observing for a predetermined time, side effects such as dizziness are generated.

이러한 문제를 개선하기 위하여 양측 안구로 멀티미디어 콘텐츠를 공급하고자 좌측 안구로 콘텐츠를 공급하는 소형 투영기와 우측 안구로 콘텐츠를 공급하는 소형투영기를 각각 구비한 스마트 안경이 제안되었으나, 별도의 소형 투영기가 단일 영상 콘텐츠를 사용자의 양측 안구로 보내는 경우 양측 안구에 전달되는 콘텐츠가 사용자 시각의 측면에서 서로 동일하지 않고 서로 연계되지 않아 사용자가 어지러움이나 많은 피로감을 느끼는 등 사용자가 크게 불편을 느끼는 문제가 있다.In order to improve these problems, a smart projector having a small projector for supplying contents to the left eye and a small projector for supplying contents to the right eye has been proposed in order to supply multimedia contents to both eyes, but a separate small projector When the contents are sent to both eyes of the user, the contents delivered to the two eyes are not identical to each other in terms of the user's viewpoint, and the user feels dizziness or fatigue because the user is not connected to each other.

등록특허공보 제10-1549074호(2015.08.26.)Patent Registration No. 10-1549074 (Aug. 26, 2015) 등록특허공보 제10-1588402호(2016.01.19.)Patent Registration No. 10-1588402 (Jan. 19, 2016)

본 발명은 상술한 문제점을 해결하기 위하여 안출된 것으로서, 본 발명의 목적은 얼굴의 상측이나 하측 방향에서 영상을 투영함으로써 사용자의 피로감과 어지럼을 크게 감소시킬 수 있는 스마트 안경 및 그 광학시스템을 제공하는데 있다. SUMMARY OF THE INVENTION It is an object of the present invention to provide a smart eyeglass and an optical system thereof capable of greatly reducing a user's fatigue and dizziness by projecting an image in an upper side or a lower side of a face have.

본 발명의 다른 목적은 디스플레이에서 제공하는 멀티미디어 콘텐츠를 눈 주위의 미러를 통해 양방향에서 반사하며 확대렌즈부 또는 보조렌즈에서 확대된 콘텐츠를 빔 스플리터를 통해 양측 안구로 부분 반사하고 안구 전방으로 부분 투과하여 양측 안구에서 허상에 맺히는 동일한 영상 콘텐츠를 관측할 수 있게 하고 필요에 따라 3D 콘텐츠를 구현하거나 3D 콘텐츠를 이용하여 증강현실과 가상현실을 용이하게 구현할 수 있는 스마트 안경 및 그 광학시스템을 제공하는데 있다.Another object of the present invention is to reflect the multimedia contents provided in the display in both directions through a mirror around the eye and to partially reflect the contents enlarged in the enlargement lens unit or the auxiliary lens to both eyes through the beam splitter and partially transmit It is an object of the present invention to provide a smart eyeglass and an optical system thereof capable of observing the same image contents formed on a virtual image in both eyes and realizing 3D contents as required or easily implementing an augmented reality and a virtual reality using 3D contents.

상기 기술적 과제를 해결하기 위한 본 발명의 일 측면에 따른 스마트 안경은, 안경태 형태를 구비하는 프레임 어셈블리; 상기 프레임 어셈블리에 탑재되는 전장부품; 상기 프레임 어셈블리에 의해 지지되고 상기 전장부품의 제어장치에 의해 제어되며 상기 프레임 어셈블리의 중앙 상부측 및 중앙 하부측에 배치되는 제1 디스플레이 장치 및 제2 디스플레이 장치를 구비하는 디스플레이 시스템; 및 상기 프레임 어셈블리에 고정되는 케이스 조립체를 통해 상기 디스플레이 시스템과 수평 방향으로 결합하고, 상기 디스플레이 시스템 내의 수직 방향으로 배열되는 상기 제1 디스플레이 장치와 상기 제2 디스플레이 장치에서 각각 출력되는 제1 영상 및 제2 영상을 상기 제1 디스플레이 장치와 상기 제2 디스플레이 장치의 중간에 위치하는 미러를 통해 상기 수평 방향의 양 방향으로 전달하는 광학계를 포함한다.According to an aspect of the present invention, there is provided a smart eyeglass comprising: a frame assembly having an eyeglass shape; An electrical component mounted on the frame assembly; A display system supported by the frame assembly and controlled by the control device of the electric component, the first display device and the second display device being disposed at a central upper side and a central lower side of the frame assembly; And a first display device and a second display device, respectively, which are horizontally coupled to the display system through a case assembly fixed to the frame assembly and arranged in the vertical direction in the display system, 2 image through the mirror positioned between the first display device and the second display device in both the horizontal directions.

일실시예에서, 상기 광학계는, 상기 중앙 상부측에서 상기 중앙 하부측을 향하는 제1 방향으로 입력되는 상기 제1 영상을 제1면에서 반사하여 상기 제1 방향과 직교하는 제2 방향으로 전달하고, 상기 중앙 하부측에서 상기 중앙 상부측을 향하는 제1 역방향으로 입력되는 상기 제2 영상을 상기 제1면의 반대측의 제2면에서 반사하여 상기 제1 역방향과 직교하고 상기 제2 방향의 반대 방향인 제2 역방향으로 전달하는 미러; 상기 미러에서 전달되는 제1 영상이 통과하는 오목 렌즈 형태의 제1 우렌즈; 상기 제1 우렌즈를 통과하는 제1 영상을 다시 통과시키는 볼록 렌즈 형태의 제2 우렌즈; 상기 제2 우렌즈를 통과하는 제1 영상을 반사하며 상기 프레임 어셈블리의 정면 일측에 지지되는 상기 제1 메인 렌즈; 상기 미러에서 전달되는 제2 영상이 통과하는 오목 렌즈 형태의 제1 좌렌즈; 상기 제1 좌렌즈를 통과하는 제2 영상을 다시 통과시키는 볼록 렌즈 형태의 제2 좌렌즈; 및 상기 제2 좌렌즈를 통과하는 제2 영상을 반사하며, 상기 프레임 어셈블리의 정면 타측에 지지되는 상기 제2 메인 렌즈를 포함할 수 있다.In one embodiment, the optical system reflects the first image, which is input in the first direction from the center upper side to the center lower side, on the first surface and transmits the first image in the second direction orthogonal to the first direction , The second image input in the first reverse direction from the center lower side to the center upper side is reflected by the second surface on the opposite side of the first surface to be orthogonal to the first reverse direction and in a direction opposite to the second direction A second mirror for transmitting the first direction to the second direction; A first right lens of a concave lens type through which a first image transmitted from the mirror passes; A second right lens in the form of a convex lens for passing a first image through the first right lens again; The first main lens reflecting the first image passing through the second right lens and being supported on one side of the front side of the frame assembly; A first left lens of a concave lens type through which a second image transmitted from the mirror passes; A second left lens of a convex lens type for passing a second image passing through the first left lens again; And the second main lens reflecting the second image passing through the second left lens and being supported on the other side of the front side of the frame assembly.

일실시예에서, 상기 제1 메인 렌즈 또는 상기 제2 메인 렌즈는, 육면체 블록 형태의 몸체; 및 상기 몸체 내부에 상기 제2 우렌즈를 통과한 제1 영상 또는 상기 제2 좌렌즈를 통과한 제2 영상의 투사 방향과 경사지게 배치되는 경면, 반경면 또는 빔 스플릿트를 구비할 수 있다.In one embodiment, the first main lens or the second main lens includes a body in the form of a hexahedron block; And a mirror surface, a radial surface, or a beam split disposed obliquely to the projection direction of the first image passing through the second right lens or the second image passing through the second left lens in the body.

일실시예에서, 상기 제어장치는 양안 시차에 대응하도록 상기 제1 영상을 기준으로 상기 제2 영상이 일방향으로 일정 픽셀 쉬프트되어 출력되도록 제1 디스플레이 장치 또는 제2 디스플레이 장치를 제어할 수 있다.In one embodiment, the controller may control the first display device or the second display device such that the second image is shifted by a certain pixel in one direction based on the first image so as to correspond to the binocular parallax.

일실시예에서, 상기 제어장치는 3차원 영상 또는 입체 영상의 표시를 위해 상기 제1 영상과 상기 제2 영상이 순차적으로 혹은 교대로 출력되도록 제1 디스플레이 장치 또는 제2 디스플레이 장치를 제어할 수 있다.In one embodiment, the control device may control the first display device or the second display device so that the first image and the second image are sequentially or alternately output for display of a three-dimensional image or a stereoscopic image .

일실시예에서, 상기 제1 디스플레이 장치 또는 상기 제2 디스플레이 장치는, LCD(liquid crystal display), DLP(digtal light processing) 프로젝터, LCoS(liquid crystal on silicon) 장치, PDP(plasma dispaly panel), FED(field emission display), ELD(elelctro-luminescent display) 및 OLED(organic light emitting diode) 장치 중 어느 하나를 포함할 수 있다.In one embodiment, the first display device or the second display device may be a liquid crystal display (LCD), a digtal light processing (DLP) projector, a liquid crystal on silicon (LCoS) device, a plasma dispaly panel a field emission display (ELD), an elecctro-luminescent display (ELD), and an organic light emitting diode (OLED) device.

상기 기술적 과제를 해결하기 위한 본 발명의 다른 측면에 따른 스마트 안경의 광학 시스템은, 안경 형태로 사용자 얼굴에 착용되어 사용자 눈 전방에 영상을 표시하는 스마트 안경의 광학 시스템으로서, 안경태 형태의 구비하는 프레임 어셈블리의 전면 중앙 상부측에서 전면 중앙 하부측을 향하는 제1 방향으로 입력되는 제1 영상을 제1면에서 반사하여 상기 제1 방향과 직교하는 제2 방향으로 전달하고, 상기 전면 중앙 하부측에서 상기 전면 중앙 상부측을 향하는 제1 역방향으로 입력되는 상기 제2 영상을 상기 제1면의 반대측의 제2면에서 반사하여 상기 제1 역방향과 직교하고 상기 제2 방향의 반대 방향인 제2 역방향으로 전달하는 미러; 상기 미러에서 반사되는 제1 영상이 통과하는 오목 렌즈 형태의 제1 우렌즈; 상기 제1 우렌즈를 통과하는 제1 영상을 다시 통과시키는 볼록 렌즈 형태의 제2 우렌즈; 상기 제2 우렌즈를 통과하는 제1 영상을 반사하며 상기 프레임 어셈블리의 정면 좌측에 지지되는 상기 제1 메인 렌즈; 상기 미러에서 반사되는 제2 영상이 통과하는 오목 렌즈 형태의 제1 좌렌즈; 상기 제1 좌렌즈를 통과한 제2 영상을 다시 통과시키는 볼록 렌즈 형태의 제2 좌렌즈; 및 상기 제2 좌렌즈를 통과하는 제2 영상을 반사하며 상기 프레임 어셈블리의 정면 우측에 지지되는 상기 제2 메인 렌즈를 포함한다.According to another aspect of the present invention, there is provided an optical system of a smart eyewear which is worn on a user's face in the form of a spectacle and displays an image in front of the user's eyes, A first image inputted in a first direction from a front center upper side of the assembly to a front center lower side is reflected on a first surface and is transmitted in a second direction orthogonal to the first direction, The second image input in the first reverse direction toward the front center upper side is reflected on the second surface on the opposite side of the first surface to be transmitted in the second reverse direction orthogonal to the first reverse direction and opposite to the second direction Mirror; A first right lens in the form of a concave lens through which a first image reflected by the mirror passes; A second right lens in the form of a convex lens for passing a first image through the first right lens again; The first main lens reflecting the first image passing through the second right lens and being supported on the front left side of the frame assembly; A first left lens in the form of a concave lens through which a second image reflected by the mirror passes; A second left lens of a convex lens type for passing a second image passed through the first left lens again; And the second main lens reflecting the second image passing through the second left lens and being supported on the front right side of the frame assembly.

일실시예에서, 상기 제1 우렌즈와 상기 제2 우렌즈의 결합 구조 혹은 상기 제1 좌렌즈와 상기 제2 좌렌즈의 결합 구조는 상기 미러 측에서 볼 때, 전면 또는 일면이 오목하고 배면 또는 타면이 볼록한 단일 렌즈 형태를 구비할 수 있다.In one embodiment, the coupling structure of the first right lens and the second right lens or the coupling structure of the first left lens and the second left lens has a concave surface or a concave surface, And the other surface may have a convex single lens shape.

일실시예에서, 상기 제1 메인 렌즈 또는 상기 제2 메인 렌즈는, 육면체 블록 형태의 몸체; 및 상기 몸체 내부에 상기 제2 우렌즈를 통과한 제1 영상 또는 상기 제2 좌렌즈를 통과한 제2 영상의 투사 방향과 경사지게 배치되는 경면, 반경면 또는 빔 스플릿트를 구비할 수 있다.In one embodiment, the first main lens or the second main lens includes a body in the form of a hexahedron block; And a mirror surface, a radial surface, or a beam split disposed obliquely to the projection direction of the first image passing through the second right lens or the second image passing through the second left lens in the body.

상기 기술적 과제를 해결하기 위한 본 발명의 다른 측면에 따른 스마트 안경은, 안경 프레임 형태를 구비하는 프레임 어셈블리; 상기 프레임 어셈블리에 의해 지지되고 상기 프레임 어셈블리가 사용자의 얼굴에 착용될 때 상기 얼굴의 중앙부 상에 위치하는 디스플레이 장치; 및 상기 프레임 어셈블리에 의해 지지되고 상기 프레임 어셈블리가 사용자의 얼굴에 착용될 때 상기 디스플레이 장치의 영상을 상기 사용자의 양쪽 눈이 위치하는 방향으로 전달하는 광학계(optical system)를 포함하고, 상기 광학계는 상기 사용자의 눈 앞에서 상기 디스플레이 장치로부터 전달되는 영상을 부분 반사 및 부분 투과하는 적어도 하나의 메인렌즈를 구비하고, 상기 사용자의 눈에 보이는 영상은 상기 메인렌즈 뒤에서 일정 거리 떨어진 허상면에 맺히는 영상인 것을 특징으로 한다.According to another aspect of the present invention, there is provided a smart spectacle comprising: a frame assembly having a spectacle frame; A display device supported by the frame assembly and positioned on a central portion of the face when the frame assembly is worn on the user's face; And an optical system supported by the frame assembly and transmitting an image of the display device in a direction in which both eyes of the user are positioned when the frame assembly is worn on the user's face, And at least one main lens for partially reflecting and partially transmitting an image transmitted from the display device in front of the user, wherein the image displayed on the user's eyes is a image formed on a virtual image plane spaced a certain distance behind the main lens .

상기 기술적 과제를 해결하기 위한 본 발명의 또 다른 측면에 따른 스마트 안경의 광학 시스템은, 안경 프레임 형태로 사용자 얼굴에 착용되어 사용자 눈에 영상을 제공하는 스마트 안경의 광학 시스템으로서, 디스플레이 장치의 영상을 반사하는 미러; 상기 미러에서 반사되는 영상을 확대하는 보조렌즈; 상기 보조렌즈에서 확대된 영상을 부분 반사 및 부분 투과시키는 메인렌즈; 및 상기 미러, 상기 보조렌즈 및 상기 메인렌즈를 지지하는 안경 프레임 형태의 프레임 어셈블리를 포함하며, 상기 프레임 어셈블리가 사용자의 머리에 착용될 때, 상기 미러, 상기 보조렌즈 및 상기 메인렌즈는 상기 사용자의 얼굴 중앙부, 미간 또는 코 위에 위치하는 것을 특징으로 한다.According to another aspect of the present invention, there is provided an optical system of a smart eyewear which is worn on a user's face in the form of a spectacle frame to provide an image to a user's eye, Mirror reflecting; An auxiliary lens for magnifying an image reflected by the mirror; A main lens for partially reflecting and partially transmitting an image magnified by the auxiliary lens; And a frame assembly in the form of a spectacle frame for supporting the mirror, the auxiliary lens, and the main lens, wherein when the frame assembly is worn on the user's head, the mirror, the auxiliary lens, And is located on the central part of the face, the tail or the nose.

본 발명에 따른 스마트 안경 및 그 광학시스템을 채용하는 경우에는, 사용자 눈의 피로감과 어지럼을 상당히 감소시켜 착용감과 사용편의성을 향상시킬 수 있다. 또한, 무게를 최소화하고 인체공학적 구조 및 디자인으로 설계하여 우수한 착용감을 제공할 수 있다. 또한, 배터리 교체 방식으로 장시간 사용에 대한 전원 공급을 용이하게 할 수 있는 장점이 있다.In the case of employing the smart glasses and the optical system according to the present invention, fatigue and dizziness of the user's eyes can be considerably reduced, thereby improving the feeling of wearing and the ease of use. In addition, the weight can be minimized and ergonomic structure and design can be designed to provide excellent wearing comfort. In addition, there is an advantage in that power supply for long-time use can be facilitated by a battery replacement method.

아울러, 피로감과 어지럼 현상을 방지하고 착용감을 증대시킴으로써, 스마트 안경을 사용하여 가상현실(VR), 증강현실(AR), 융합현실(MR), 혼합현실(MR) 등의 콘텐츠를 이용할 때 장시간 이용 환경을 제공할 수 있다. 또한, 모니터없이 업무 혹은 작업을 하거나, 쇼핑을 하거나, 내비게이션 장치로 이용하거나, AR, VR 또는 MR 게임을 하거나, 동영상을 감상하거나, 영상통화를 하는 등 다양한 분야에 효과적으로 혹은 쉽게 적용할 수 있는 장점이 있다.In addition, by preventing the fatigue and dizziness phenomenon and increasing the wearing comfort, it is possible to use the smart glasses for a long time when using contents such as virtual reality (VR), augmented reality (AR), convergent reality (MR) Environment can be provided. Also, it can be applied effectively or easily to various fields such as work, work, shopping, navigation device, AR, VR or MR game, video watching, .

또한, 본 발명에 의하면, 스마트 안경의 전면 중앙에 배치되는 하나 또는 두 개의 디스플레이에서 양쪽 눈으로 독립적인 영상을 제공하도록 구성함으로써 측면 시야각을 확보할 수 있는 장점이 있다.In addition, according to the present invention, it is possible to secure a lateral viewing angle by providing an independent image with both eyes in one or two displays arranged in the center front of the smart glasses.

또한, 하나의 스마트 안경으로 2D, 3D 이미지를 효과적으로 구현하고, 증강현실과 가상현실을 구현할 수 있는 효과가 있다.In addition, 2D and 3D images can be effectively implemented with one smart eyeglass, and an augmented reality and a virtual reality can be realized.

또한, 하나 또는 두 개의 디스플레이에서 동일한 멀티미디어 콘텐츠를 양측 안구에 제공함으로써 장시간 사용에도 사용자가 불편을 느끼지 않는 효과가 있다.In addition, since the same multimedia contents are provided to both eyeballs on one or two displays, there is an effect that the user does not feel inconvenience even for a long time of use.

또한, 정면의 메인렌즈의 두께를 줄여 장치를 경량화하고 사용감을 향상시킬 수 있다.Further, the thickness of the front main lens can be reduced to lighten the device and improve the feeling of use.

또한, 후면 카메라나 센서를 통해 사용자의 눈꺼풀을 인식하고 인식 결과에 따라 장치에 수납된 액추에이터나 구동기 또는 스피커를 통해 진동이나 알람을 발생시켜 사용자 특히, 졸음 운전 중인 운전자에게 위험을 경고할 수 있다.In addition, the user can recognize a user's eyelids through a rear camera or a sensor, and generate vibrations or alarms through an actuator, a driver, or a speaker housed in the device according to recognition results, thereby warning a user, particularly, a driver in drowsiness driving.

또한, 장치를 장시간 사용할 때 발생할 수 있는 열을 메인 프레임의 정면 상단부에 배치되는 방열구조나 히트싱크로 효과적으로 배출하여 스마트 안경에 대한 동작 안정성과 신뢰성을 제공할 수 있다.In addition, heat that may be generated when the apparatus is used for a long period of time is effectively discharged to a heat sink or a heat sink disposed at the upper end of the main frame, thereby providing operational stability and reliability for smart glasses.

또한, 스마트 안경에서 배터리를 제거하고, 외부의 제어 및 전원 장치에 배터리를 통해 스마트 안경에 전원을 공급하는 경우, 스마트 안경을 효과적으로 경량화할 수 있고 착용감이나 사용편의성을 증대시킬 수 있다.In addition, when the battery is removed from the smart glasses and power is supplied to the smart glasses through the battery to the external control and power source device, the smart glasses can be lightened effectively, and the comfort and ease of use can be increased.

도 1은 본 발명의 일실시예에 따른 스마트 안경의 사시도이다.
도 2는 도 1의 스마트 안경의 분해사시도이다.
도 3은 도 1의 스마트 안경의 주요 작동 원리를 설명하기 위한 부분 분해 사시도이다.
도 4는 도 3의 스마트 안경의 배면 케이스의 구조를 확대하여 나타낸 사시도이다.
도 5는 본 발명의 다른 실시예에 따른 스마트 안경의 사시도이다.
도 6은 도 5의 스마트 안경의 평면도이다.
도 7은 도 6의 스마트 안경의 저면도이다.
도 8은 도 6의 스마트 안경의 정면도이다.
도 9는 도 6의 스마트 안경의 배면도이다.
도 10은 도 6의 스마트 안경의 좌측면도이다.
도 11은 도 6의 스마트 안경의 우측면도이다.
도 12는 도 6의 스마트 안경의 착용 상태를 보여주는 예시도이다.
도 13은 도 6의 스마트 안경을 착용한 상태를 보여주는 다른 예시도이다.
도 14는 도 6의 스마트 안경을 착용한 상태를 보여주는 또 다른 예시도이다.
도 15는 본 발명의 또 다른 실시예에 따른 스마트 안경에 채용할 수 있는 메인 제어보드의 주요 구성을 설명하기 위한 블록도이다.
도 16은 본 발명의 또 다른 실시예에 따른 스마트 안경의 사시도이다.
도 17은 본 발명의 또 다른 실시예에 따른 스마트 안경의 사시도이다.
도 18은 도 17의 스마트 안경에 대한 정면도이다.
도 19는 도 18의 스마트 안경의 내부 구조를 설명하기 위한 부분 투영 정면도이다.
도 20은 도 17의 스마트 안경에 대한 우측면도이다.
도 21은 도 20의 스마트 안경의 내부 구조를 보여주는 부분 투영 우측면도이다.
도 22는 도 17의 스마트 안경의 구성요소를 설명하기 위한 부분 분해사시도이다.
도 23 및 도 24는 도 17의 스마트 안경의 광학 시스템을 설명하기 위한 도면들이다.
도 25는 도 17의 스마트 안경에 채용할 수 있는 제어보드에 대한 블록도이다.
도 26은 본 발명의 또 다른 실시예에 따른 스마트 안경과 제어 시스템에 대한 사시도이다.
도 27은 도 26의 스마트 안경의 주요 구성을 설명하기 위한 블록도이다.
도 28은 도 26의 스마트 안경에 채용할 수 있는 제어 모듈을 설명하기 위한 블록도이다.
도 29 및 도 30은 도 26의 스마트 안경의 주요 작동 원리를 설명하기 위한 순서도들이다.1 is a perspective view of a smart glasses according to an embodiment of the present invention.
FIG. 2 is an exploded perspective view of the smart glasses of FIG. 1;
FIG. 3 is a partially exploded perspective view for explaining the main operation principle of the smart glasses of FIG. 1;
Fig. 4 is an enlarged perspective view showing the structure of the back case of the smart glasses of Fig. 3; Fig.
5 is a perspective view of smart glasses according to another embodiment of the present invention.
6 is a plan view of the smart glasses of Fig.
7 is a bottom view of the smart glasses of Fig.
8 is a front view of the smart glasses of Fig.
Fig. 9 is a rear view of the smart glasses of Fig. 6;
Fig. 10 is a left side view of the smart glasses of Fig. 6; Fig.
11 is a right side view of the smart glasses of Fig.
FIG. 12 is an exemplary view showing the wearing state of the smart glasses of FIG. 6;
FIG. 13 is another example showing a state in which the smart glasses shown in FIG. 6 are worn.
FIG. 14 is another exemplary view showing a state in which the smart glasses of FIG. 6 are worn.
15 is a block diagram for explaining a main configuration of a main control board that can be employed in smart glasses according to another embodiment of the present invention.
16 is a perspective view of a smart glasses according to another embodiment of the present invention.
17 is a perspective view of smart glasses according to another embodiment of the present invention.
18 is a front view of the smart glasses of Fig. 17;
FIG. 19 is a partial projection front view for explaining the internal structure of the smart glasses of FIG. 18;
20 is a right side view of the smart glasses shown in Fig. 17;
Fig. 21 is a partial projection right side view showing the internal structure of the smart glasses of Fig. 20; Fig.
22 is a partially exploded perspective view for explaining components of the smart glasses of Fig.
23 and 24 are views for explaining the optical system of the smart glasses of Fig.
25 is a block diagram of a control board that can be employed in the smart glasses of FIG.
26 is a perspective view of a smart glasses and a control system according to another embodiment of the present invention.
Fig. 27 is a block diagram for explaining the main configuration of the smart glasses of Fig. 26; Fig.
FIG. 28 is a block diagram for explaining a control module that can be employed in the smart glasses of FIG. 26; FIG.
FIGS. 29 and 30 are flowcharts for explaining the main operation principle of the smart glasses of FIG.

이하에서는 첨부된 도면을 참조하여, 본 발명의 바람직한 실시예를 상세히 설명한다. 각 도면에 제시된 동일한 도면부호는 동일한 부재를 나타낸다.Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings. Like reference numerals in the drawings denote like elements.

도 1은 본 발명의 일실시예에 따른 스마트 안경의 사시도이다. 도 2는 도 1의 스마트 안경의 분해사시도이다. 도 3은 도 1의 스마트 안경의 주요 작동 원리를 설명하기 위한 부분 분해 사시도이다. 그리고 도 4는 도 3의 스마트 안경의 배면 케이스의 구조를 확대하여 나타낸 사시도이다.1 is a perspective view of a smart glasses according to an embodiment of the present invention. FIG. 2 is an exploded perspective view of the smart glasses of FIG. 1; FIG. 3 is a partially exploded perspective view for explaining the main operation principle of the smart glasses of FIG. 1; And FIG. 4 is an enlarged perspective view of the structure of the rear case of the smart glasses of FIG.

도 1 내지 도 4를 참조하면, 본 실시예에 따른 스마트 안경(100)은, 프레임 어셈블리(10), 전장부품, 디스플레이 시스템(30) 및 광학계(50)를 포함한다. 디스플레이 시스템(30)은 제1 디스플레이 장치(31)와 제2 디스플레이 장치(32)에 더하여 케이스 조립체(60)와 광학계(50)를 포함할 수 있다.1 to 4, the smart glasses 100 according to the present embodiment include a frame assembly 10, an electric component, a display system 30, and an optical system 50. The display system 30 may include a case assembly 60 and an optical system 50 in addition to the first display device 31 and the second display device 32. [

디스플레이 장치들과 광학계(50) 및 케이스 조립체(60)는 직교 좌표계에서 서로 다른 3개의 축상으로 나열되는 형태로 서로 교차 배열될 수 있으며, 이러한 교차 배열 구조의 중심에는 미러(51)가 배치되며, 제1 디스플레이 장치(31)와 제2 디스플레이 장치(32)는 미러(51)를 사이에 두고 양측에 배치될 수 있다.The display devices, the optical system 50, and the case assembly 60 may be arranged to be arranged in three different axes arranged in different directions in a rectangular coordinate system. A mirror 51 is disposed at the center of the structure, The first display device 31 and the second display device 32 may be disposed on both sides with the mirror 51 interposed therebetween.

프레임 어셈블리(10)는 다수의 프레임들에 의해 안경 형태를 형성한다. 프레임 어셈블리는 상부 프레임(upper frame, 11), 하부 프레임(lower frame, 12), 바디 프레임(body frame, 13), 우측 커버 프레임(right cover frame, 14) 및 좌측 커버 프레임(left cover frame, 15)을 포함할 수 있다. 바디 프레임(13)에는 코패드(nose pad, 18)가 결합될 수 있다.The frame assembly 10 forms an eyeglass shape by a plurality of frames. The frame assembly includes an upper frame 11, a lower frame 12, a body frame 13, a right cover frame 14 and a left cover frame 15 ). A nose pad 18 may be coupled to the body frame 13.

하부 프레임(12)은 중앙 수납부에 메인 제어보드(21)를 수용한다. 중앙 수납부는 상부 프레임(11)에 의해 덮일 수 있다. 하부 프레임(12)은 중앙 수납부의 오른쪽에 연결되는 우측 측면 연장부 내의 제1 수납부에 제1 인쇄회로기판(23)과 제1 인쇄회로기판(23)에 연결되는 제1 배터리 팩(24)을 수납할 수 있다. 제1 수납부는 우측 커버 프레임(14)에 의해 덮일 수 있다. 우측 커버 프레임(14)에는 버튼식 파워버튼(22)이 설치되고, 파워버튼(22)은 제1 인쇄회로기판(23)에 연결될 수 있다. 제1 인쇄회로기판(23)은 제1 배터리 팩(24) 내의 배터리 관리 시스템과 메인 제어보드(21)의 제어장치(210)를 연결할 수 있다.The lower frame 12 accommodates the main control board 21 in the central receiving portion. The central receiving portion can be covered by the upper frame 11. [ The lower frame 12 includes a first printed circuit board 23 and a first battery pack 24 connected to the first printed circuit board 23 at a first compartment in a right side extension portion connected to the right side of the central compartment Can be stored. The first housing portion can be covered by the right cover frame 14. [ The right cover frame 14 may be provided with a button-type power button 22 and the power button 22 may be connected to the first printed circuit board 23. The first printed circuit board 23 can connect the battery management system in the first battery pack 24 and the control unit 210 of the main control board 21. [

또한, 하부 프레임(12)은 중앙 수납부의 왼쪽에 연결되는 좌측 측면 연장부 내의 제2 수납부에 제2 인쇄회로기판(25)과 제2 인쇄회로기판(25)에 연결되는 제2 배터리 팩(26)을 수납할 수 있다. 제2 수납부는 좌측 커버 프레임(15)에 의해 덮일 수 있다. 제2 인쇄회로기판(25)은 제2 배터리 팩(26) 내의 배터리 관리 시스템과 메인 제어보드(21)의 제어장치(210)를 연결할 수 있다.The lower frame 12 includes a second printed circuit board 25 and a second printed circuit board 25 which are connected to the second printed circuit board 25 and the second printed circuit board 25, (26) can be received. And the second housing portion can be covered by the left cover frame 15. [ The second printed circuit board 25 can connect the battery management system in the second battery pack 26 and the control unit 210 of the main control board 21. [

바디 프레임(13)은 하부 프레임(12)의 하부에 결합한다. 바디 프레임(13)은 하부 프레임(12)과 케이스 시스템(60) 사이에서 이들의 결합을 지지하도록 설치된다. 또한, 바디 프레임(13)은 하부 프레임(12)의 하부에 결합하여 스마트 안경의 전체적인 내구성을 보완하고 증대시킨다.The body frame 13 is engaged with the lower portion of the lower frame 12. The body frame 13 is installed to support the coupling between the lower frame 12 and the case system 60. In addition, the body frame 13 is coupled to the lower portion of the lower frame 12 to complement and enhance the overall durability of the smart glasses.

전장부품은 프레임 어셈블리(10)에 탑재되거나 수납될 수 있다. 전장부품은 메인 제어보드(main control board, 21), 파워스위치(power switch, 22), 제1 제어보드(23), 제1 배터리 팩(24), 제2 제어보드(25) 및 제2 배터리 팩(26)을 포함할 수 있다. 제1 제어보드(23)은 제1 인쇄회로보드에 대응하고, 제2 제어보드(25)는 제2 인쇄회로기판에 대응할 수 있으며, 배터리 팩은 간략히 배터리로 지칭될 수 있다.The electrical component can be mounted or housed in the frame assembly 10. The electric component includes a main control board 21, a power switch 22, a first control board 23, a first battery pack 24, a second control board 25, And may include a pack 26. The first control board 23 corresponds to the first printed circuit board and the second control board 25 corresponds to the second printed circuit board and the battery pack can be briefly referred to as battery.

제1 디스플레이 장치(31) 및 제2 디스플레이 장치(32)는, 전장부품의 제어장치에 의해 제어되고, 프레임 어셈블리의 중앙 상부측 및 중앙 하부측에 각각 배치될 수 있다.The first display device 31 and the second display device 32 are controlled by a control device of electric component parts, and can be disposed at the center upper side and the center lower side of the frame assembly, respectively.

본 실시예에서 제1 디스플레이 장치(31) 또는 제2 디스플레이 장치(32)는, LCD(liquid crystal display)를 포함한다. 이 경우, 제1 디스플레이 장치(31) 및 제2 디스플레이 장치(32)는 백라이트 유닛(backlight units, 33, 34)을 구비할 수 있다.In this embodiment, the first display device 31 or the second display device 32 includes a liquid crystal display (LCD). In this case, the first display device 31 and the second display device 32 may have backlight units 33 and 34. [

한편, 본 발명의 디스플레이 장치는 LCD로 한정되지 않으며, 반사형 마이크로 디스플레이(liquid crystal on silicon, LCoS), PDP(plasma dispaly panel), FED(field emission display), ELD(elelctro-luminescent display) 및 OLED(organic light emitting diode) 중 어느 하나로 대체되어 사용될 수 있다.The display device of the present invention is not limited to an LCD but may be a liquid crystal on silicon (LCoS), a plasma discharge panel (PDP), a field emission display (FED), an elelctro-luminescent display (ELD) (organic light emitting diode).

광학계(50)는 제1 디스플레이 장치(31)에서 출력되는 제1 영상과 제2 디스플레이 장치(32)에서 출력되는 제2 영상을 사용자의 양쪽 눈으로 전달하면서 영상 사이즈를 제어하여 제1 메인 렌즈(54)와 제2 메인 렌즈(57) 상에 각각 투사할 수 있다.The optical system 50 controls the image size while transmitting the first image output from the first display device 31 and the second image output from the second display device 32 to both eyes of the user, 54 and the second main lens 57, respectively.

광학계(50)는 미러(51), 제1 우렌즈(the first right lens, 52), 제2 우렌즈(the second right lens, 53), 제1 메인 렌즈(the first main lens, 54), 제1 좌렌즈(the first left lens, 55), 제2 좌렌즈(the second left lens, 56) 및 제2 메인 렌즈(the second main lens, 57)를 포함할 수 있다.The optical system 50 includes a mirror 51, a first right lens 52, a second right lens 53, a first main lens 54, A first left lens 55, a second left lens 56 and a second main lens 57. The first left lens 55 and the second left lens 56 may have different shapes.

미러(51)는 스마트 안경의 전면 중앙이나 광학계 중앙의 상부측에서 중앙의 하부측을 향하는 방향(제1 방향)으로 입력되는 제1 영상을 제1면에서 반사하여 제1 방향과 직교하는 제2 방향으로 전달한다. 또한, 미러(51)는 상기 중앙의 하부측에서 중앙의 상부측을 향하는 방향(제1 방향과 마주하는 제1 역방향)으로 입력되는 제2 영상을 제1면의 반대측인 제2면에서 반사하여 제1 역방향과 직교하고 제2 방향의 반대 방향인 제2 역방향으로 전달할 수 있다.The mirror 51 reflects the first image input from the front center of the smart glasses or from the upper side of the center of the optical system toward the lower side of the center (first direction) from the first side, Direction. Further, the mirror 51 reflects the second image inputted from the lower side of the center toward the upper side of the center (the first reverse direction facing the first direction) from the second side opposite to the first side And may be transmitted in a second reverse direction that is orthogonal to the first reverse direction and opposite to the second direction.

제1 우렌즈(52)는 오목 렌즈 형태를 구비하고 미러(51)에서 전달되는 제1 영상을 통과시킬 수 있다. 제1 우렌즈(52)는 제1 영상을 1차로 통과시킬 수 있다. 제2 우렌즈(53)는 볼록 렌즈 형태를 구비하고 제1 우렌즈(52)를 통과한 제1 영상을 2차로 통과시킬 수 있다. 이러한 제1 우렌즈(52)와 제2 우렌즈(53)는 일단의 오목한 면을 통해 입사되는 빛은 타면의 볼목한 면을 통해 출사하는 단일 렌즈 형태를 형성할 수 있다.The first right lens 52 has a concave lens shape and allows the first image transmitted from the mirror 51 to pass through. The first right lens 52 can pass the first image through the first lens. The second right lens 53 has a convex lens shape and allows the first image passed through the first right lens 52 to pass through the second image. The first right lens 52 and the second right lens 53 can form a single lens shape in which light incident through a concave surface of one end is emitted through a concave surface of the other surface.

제1 메인 렌즈(54)는 제2 우렌즈(54)를 통과한 제1 영상을 반사시키면서 투과시킬 수 있다. 제1 메인 렌즈(54)는 프레임 어셈블리나 커버에 의해 지지되고 스마트 안경의 정면 일측에 배치될 수 있다. 제1 메인 렌즈(54)는 사용자의 오른쪽 눈 전방에 배열될 수 있다.The first main lens 54 can transmit and reflect the first image that has passed through the second right lens 54. The first main lens 54 may be supported by a frame assembly or a cover and disposed at a front side of the smart glasses. The first main lens 54 may be arranged in front of the right eye of the user.

제1 좌렌즈(55)는 오목 렌즈 형태를 구비하고 미러(51)에서 전달되는 제2 영상을 통과시킬 수 있다. 제1 좌렌즈(55)는 제1 우렌즈(52)와는 반대 방향으로 제2 영상을 1차로 통과시킬 수 있다. 제2 좌렌즈(56)는 볼록 렌즈 형태를 구비하고 제1 좌렌즈(55)를 통과한 제2 영상을 2차로 통과시킬 수 있다. 이러한 제1 좌렌즈(55)와 제2 좌렌즈(56)는 일단의 오목한 면을 통해 입사되는 빛을 타면의 볼목한 면을 통해 출사하는 단일 렌즈 구조에 대응할 수 있으나, 이에 한정되지는 않는다.The first left lens 55 has a concave lens shape and allows a second image transmitted from the mirror 51 to pass through. The first left lens 55 can pass the second image in a direction opposite to the first right lens 52. [ The second left lens 56 has a convex lens shape and allows the second image passed through the first left lens 55 to pass secondarily. The first left lens 55 and the second left lens 56 may correspond to a single lens structure in which light incident through a concave surface of one end is emitted through a rounded surface of the other surface, but the present invention is not limited thereto.

제2 메인 렌즈(57)는 제2 좌렌즈(56)를 통과한 제2 영상을 반사시키면서 투과시킬 수 있다. 제2 메인 렌즈(57)는 프레임 어셈블리나 커버에 의해 지지되고 스마트 안경의 정면 일측에 배치될 수 있다. 제2 메인 렌즈(57)는 사용자의 왼쪽 눈 전방에 배열될 수 있다.The second main lens 57 can transmit the second image through the second left lens 56 while reflecting the second image. The second main lens 57 is supported by a frame assembly or a cover and can be disposed on the front side of the smart glasses. The second main lens 57 may be arranged in front of the left eye of the user.

전술한 디스플레이 장치들과 광학계(50)의 신뢰성 있는 구조를 형성하기 위해, 본 실시예에서는 광학계의 두 디스플레이 장치들을 광학계(50)의 구성요소들이 나열되는 제2 방향 (또는 수평 방향)과 직교하는 제1 방향 (또는 수직 방향)으로 배치한다. 두 디스플레이 장치들(31, 32)는 광학계(50)의 미러(51)를 중심에 두고 그 상측과 하측에 배치될 수 있다. 미러(51)는 또한 제2 방향으로 나열되는 광학계(50)의 구성요소들의 중앙에 위치하고 그에 의해 광학계(50)의 구성요소들이 서로 대향하는 두 방향으로 영상 신호를 전달하기 위한 배치를 갖추도록 한다.In order to form a reliable structure of the above-described display devices and the optical system 50, in this embodiment, the two display devices of the optical system are arranged so as to be perpendicular to the second direction (or horizontal direction) in which the components of the optical system 50 are arranged Are arranged in the first direction (or vertical direction). The two display devices 31 and 32 can be disposed on the upper side and the lower side of the mirror 51 of the optical system 50 with the center thereof as the center. The mirror 51 is also located at the center of the components of the optical system 50 arranged in the second direction so that the components of the optical system 50 are arranged to transmit the image signals in two directions opposite to each other .

이를 위해 본 실시예의 배면 케이스(62)는, 도 4에 도시한 바와 같이, 미러(51)가 안착되는 제1 안착홈(620), 제1 디스플레이 장치(31)를 안착하기 위한 제1 상부 안착홈(621)과 제2 디스플레이 장치(32)를 안착하기 위한 제1 하부 안착홈(622)을 구비한다. 제1 디스플레이 장치(31)가 LCD 패널인 경우, 제1 상부 안착홈(621) 상부에서 백라이트 유닛(33)을 수용하기 위한 제2 상부 안착홈(631)이 더 구비될 수 있다. 이와 유사하게 제1 하부 안착홈(622)의 하부에도 제2 디스플레이 장치(32)의 백라이트 유닛(34)을 수용하기 하기 위한 제2 하부 안착홈이 구비될 수 있다.4, the back case 62 according to the present embodiment includes a first seating groove 620 on which the mirror 51 is seated, a first seating surface 620 for seating the first display device 31, And a first lower seating groove 622 for seating the groove 621 and the second display device 32. When the first display device 31 is an LCD panel, a second upper seating groove 631 for receiving the backlight unit 33 at the upper portion of the first upper seating groove 621 may be further provided. Similarly, a second lower seating groove for accommodating the backlight unit 34 of the second display device 32 may be provided in the lower portion of the first lower seating groove 622 as well.

또한, 배면 케이스(62)는, 도 4에 나타낸 바와 같이, 제1 우렌즈(52)와 제2 우렌즈(53)를 안착하기 위한 제2 안착홈(625), 제1 메인 렌즈(54)를 수용하고 지지하기 위한 제3 안착홈(626)을 구비할 수 있다. 이와 유사하게, 배면 케이스(62)는 제1 좌렌즈(55)와 제2 좌렌즈(56)를 안착하기 위한 제4 안착홈(627), 제2 메인 렌즈(57)를 수용하고 지지하기 위한 제5 안착홈(628)을 구비할 수 있다. 제1 메인 렌즈(54)와 제2 메인 렌즈(57)는 전면 케이스(61)와 배면 케이스(62)에 의해 1차적으로 지지되고, 전면 케이스(61)의 외측을 둘러싸는 전면 커버(63)와, 배면 케이스(62)의 외측을 둘러싸는 배면 커버(64)의 결합에 의해 견고하게 지지될 수 있다.4, the back case 62 includes a second seating groove 625 for seating the first right lens 52 and the second right lens 53, a first main lens 54, And a third seating groove 626 for receiving and supporting the second seating groove 624. Similarly, the back case 62 includes a fourth seating groove 627 for seating the first left lens 55 and the second left lens 56, a second seating groove 627 for receiving the second main lens 57, And a fifth seating groove 628 may be provided. The first main lens 54 and the second main lens 57 are primarily supported by the front case 61 and the back case 62 and include a front cover 63 surrounding the outer side of the front case 61, And the back cover 64 surrounding the outer surface of the back case 62. [0064] As shown in FIG.

또한, 배면 케이스(62)는 바디 프레임(13)과의 체결을 위한 체결부(629)를 구비할 수 있다. 체결부(629)는 나사홀을 구비할 수 있다.Further, the back case 62 may have a fastening portion 629 for fastening with the body frame 13. The fastening portion 629 may have a screw hole.

전면 커버(63)는 제1 외부 케이스로 지칭될 수 있고, 그 경우 전면 케이스(61)는 제1 내부 케이스로 지칭될 수 있다. 이와 유사하게, 배면 커버(64)는 제2 외부 케이스로 지칭될 수 있고, 그 경우 배면 케이스(63)는 제2 내부 케이스로 지칭될 수 있다.The front cover 63 may be referred to as a first outer case, in which case the front case 61 may be referred to as a first inner case. Similarly, the back cover 64 may be referred to as a second outer case, in which case the back case 63 may be referred to as a second inner case.

본 실시예에서 광학계는 제1 영상과 제2 영상을 사용자 얼굴의 측면에서 제공하는 것이 아니라 사용자 얼굴의 이마측과 코측에서 미간측으로 1차로 전달하고, 제1 영상과 제2 영상을 미간측에서 눈 앞쪽으로 전달하면서 오목렌즈와 볼록렌즈를 통해 영상 사이즈 조절 및 포커싱을 수행하고, 사용자 시각을 기준으로 눈 전방의 제1 메인 렌즈(54)와 제2 메인 렌즈(57) 상에서 사용자의 눈에 보이는 제1 영상 및 제2 영상을 표시할 수 있다.In this embodiment, the optical system does not provide the first image and the second image on the side of the user's face, but transfers the first image and the second image to the near side from the forehead and the nose side of the user's face, And the image size is adjusted and focused through the concave lens and the convex lens while the first and second main lenses 54 and 57 on the front side of the eye are based on the user's time, One image and the second image can be displayed.

도 5는 본 발명의 다른 실시예에 따른 스마트 안경의 사시도이다. 도 6은 도 5의 스마트 안경의 평면도이다. 도 7은 도 6의 스마트 안경의 저면도이다. 도 8은 도 6의 스마트 안경의 정면도이다. 도 9는 도 6의 스마트 안경의 배면도이다. 도 10은 도 6의 스마트 안경의 좌측면도이다. 도 11은 도 6의 스마트 안경의 우측면도이다. 도 12는 도 6의 스마트 안경의 착용 상태를 보여주는 예시도이다. 도 13은 도 6의 스마트 안경을 착용한 상태를 보여주는 다른 예시도이다. 그리고 도 14는 도 6의 스마트 안경을 착용한 상태를 보여주는 또 다른 예시도이다.5 is a perspective view of smart glasses according to another embodiment of the present invention. 6 is a plan view of the smart glasses of Fig. 7 is a bottom view of the smart glasses of Fig. 8 is a front view of the smart glasses of Fig. Fig. 9 is a rear view of the smart glasses of Fig. 6; Fig. 10 is a left side view of the smart glasses of Fig. 6; Fig. 11 is a right side view of the smart glasses of Fig. FIG. 12 is an exemplary view showing the wearing state of the smart glasses of FIG. 6; FIG. 13 is another example showing a state in which the smart glasses shown in FIG. 6 are worn. And FIG. 14 is another exemplary view showing a state wearing the smart glasses of FIG.

도 5 내지 도 14를 참조하면, 본 실시예에 따른 스마트 안경(100)은 도 1 내지 도 4를 참조하여 앞서 설명한 스마트 안경과 실질적으로 동일하며, 3차원 프로그램을 통해 구현하고, 육면도에서의 형태를 도시하고 그 구성을 명확하게 볼 수 있다.Referring to FIGS. 5 to 14, the smart glasses 100 according to the present embodiment are substantially the same as the smart glasses described above with reference to FIGS. 1 to 4 and are implemented through a three-dimensional program, And the configuration thereof can be clearly seen.

이와 같이, 본 실시예에서, 단순한 구조의 스마트 안경을 통해 제스처 인식, 3D 구현, 가상 현실 영상 재생, 증가 현실 서비스 등을 제공하면서 사용자의 어지러움이나 매스꺼움 등 사용상 발생하는 문제를 제거하여 사용하기 편리하고 구조가 단순하여 제조비용을 절감할 수 있는 스마트 안경을 제공할 수 있다.As described above, in the present embodiment, gesture recognition, 3D implementation, virtual reality image reproduction, and increased reality service are provided through smart glasses having a simple structure, and problems such as dizziness and nausea of the user are removed, It is possible to provide smart glasses that can simplify the structure and reduce the manufacturing cost.

전술한 스마튼 안경에서 제공하는 서비스 중 제스처 인식, 3D 구현, 가상 현실 영상 재생, 증가 현실 서비스를 위한 기본적인 신호 처리 기술은 본 기술분야에 이미 잘 알려져 있으므로 그에 대한 상세 설명은 생략한다.The basic signal processing techniques for gesture recognition, 3D implementation, virtual reality image reproduction, and increased reality service among the services provided by the above-mentioned smartton glasses are already well known in the art, and detailed description thereof will be omitted.

도 15는 본 발명의 또 다른 실시예에 따른 스마트 안경에 채용할 수 있는 메인 제어보드의 주요 구성을 설명하기 위한 블록도이다.15 is a block diagram for explaining a main configuration of a main control board that can be employed in smart glasses according to another embodiment of the present invention.

도 15를 참조하면, 본 실시예에 따른 메인 제어보드(21)는 제어장치(210)는 통신부(211), 프로세서(212) 및 메모리(213)를 포함할 수 있다. 제어장치(2120)는 컨트롤러 또는 컴퓨팅 장치를 포함할 수 있다. 프로세서(212)는 제어부로 지칭될 수 있다.Referring to FIG. 15, the main control board 21 according to the present embodiment may include a control unit 210, a communication unit 211, a processor 212, and a memory 213. The control device 2120 may include a controller or a computing device. The processor 212 may be referred to as a controller.

통신부(211)는 제어장치(210)를 네트워크에 연결한다. 통신부(211)는 네트워크를 통해 인터넷이나 네트워크 상의 다양한 서버에 접속할 수 있으며, 다양한 서버와 상호 협력하거나 연동하여 동작할 수 있다. 서버는 가상 현실을 지원하는 서버, 증강 현실을 지원하는 서버 등을 포함할 수 있다.The communication unit 211 connects the control device 210 to the network. The communication unit 211 can connect to various servers on the Internet or a network through a network, and can operate in cooperation with or cooperation with various servers. The server may include a server supporting virtual reality, a server supporting augmented reality, and the like.

통신부(211)는 하나 이상의 통신 프로토콜을 지원하는 하나 이상의 유선 및/또는 무선 통신 서브시스템을 포함할 수 있다. 유선 통신 서브시스템은 PSTN(public switched telephone network), ADSL(Asymmetric Digital Subscriber Line) 또는 VDSL(Very high-data rate Digital Subscriber Line) 네트워크, PES(PSTN Emulation Service)를 위한 서브시스템, IP(internet protocol) 멀티미디어 서브시스템(IMS) 등을 포함할 수 있다. 무선 통신 서브시스템은 무선 주파수(radio frequency, RF) 수신기, RF 송신기, RF 송수신기, 광(예컨대, 적외선) 수신기, 광 송신기, 광 송수신기 또는 이들의 조합을 포함할 수 있다.The communication unit 211 may include one or more wired and / or wireless communication subsystems supporting one or more communication protocols. The wired communication subsystem may be a public switched telephone network (PSTN), an asymmetric digital subscriber line (ADSL) or a very high-data rate digital subscriber line (VDSL) network, a subsystem for PES (PSTN Emulation Service) A multimedia subsystem (IMS), and the like. The wireless communication subsystem may include a radio frequency (RF) receiver, an RF transmitter, an RF transceiver, an optical (e.g., infrared) receiver, an optical transmitter, an optical transceiver, or a combination thereof.

무선 네트워크는 기본적으로 Wi-Fi를 지칭하나, 이에 한정되지 않는다. 본 실시예에서 통신부(211)는 다양한 무선 네트워크 예를 들어, GSM(Global System for Mobile Communication), EDGE(Enhanced Data GSM Environment), CDMA(Code Division Multiple Access), W-CDMA(W-Code Division Multiple Access), LTE(Long Term Evolution), LET-A(LET-Advanced), OFDMA(Orthogonal Frequency Division Multiple Access), WiMax, Wi-Fi(Wireless Fidelity), Bluetooth 등에서 선택되는 적어도 하나 이상을 지원하도록 구현될 수 있다.A wireless network basically refers to Wi-Fi, but is not limited thereto. In this embodiment, the communication unit 211 may be configured to communicate with various wireless networks such as Global System for Mobile Communication (GSM), Enhanced Data GSM Environment (EDGE), Code Division Multiple Access (CDMA), W- Access), Long Term Evolution (LTE), LET-A (LET-Advanced), Orthogonal Frequency Division Multiple Access (OFDMA), WiMax, Wi-Fi .

프로세서(212)는 내장 메모리 혹은 메모리(213)에 저장되는 소프트웨어 모듈이나 프로그램을 수행하여 스마트 안경을 통해 다양한 서비스를 제공할 수 있다. 프로세서(212)는 마이크로프로세서로 지칭될 수 있다.The processor 212 may perform a software module or a program stored in the internal memory or the memory 213 to provide various services through the smart glasses. Processor 212 may be referred to as a microprocessor.

프로세서(212)는 적어도 하나 이상의 중앙 처리 장치(CPU) 또는 코어를 포함하는 프로세서나 마이크로프로세서로 구현될 수 있다. 중앙처리장치 또는 코어는 처리할 명령어를 저장하는 레지스터(register)와, 비교, 판단, 연산을 담당하는 산술논리연산장치(arithmetic logical unit, ALU)와, 명령어의 해석과 실행을 위해 CPU를 내부적으로 제어하는 제어유닛(control unit)과, 이들을 연결하는 내부 버스 등을 구비할 수 있다. 중앙처리장치 혹은 코어는 MCU(micro control unit)와 주변 장치(외부 확장 장치를 위한 집적회로)가 함께 배치되는 SOC(system on chip)로 구현될 수 있으나, 이에 한정되지는 않는다.The processor 212 may be implemented as a processor or a microprocessor including at least one central processing unit (CPU) or core. The central processing unit or core includes a register for storing instructions to be processed, an arithmetic logical unit (ALU) for performing comparison, determination, and operation, and an arithmetic logic unit A control unit for controlling the control unit, and an internal bus for connecting the control unit and the control unit. The central processing unit or core may be implemented as a system on chip (SOC) in which microcontrol units (MCUs) and peripheral devices (integrated circuits for external expansion devices) are arranged together, but are not limited thereto.

또한, 프로세서(212)는 하나 이상의 데이터 프로세서, 이미지 프로세서 또는 코덱(CODEC)을 포함할 수 있으나, 이에 한정되지는 않는다. 제어부(212)는 주변장치 인터페이스와 메모리 인터페이스를 구비할 수 있다. 주변장치 인터페이스는 프로세서(212)와 출력장치 등의 입출력 시스템이나 다른 주변 장치를 연결하고, 메모리 인터페이스는 프로세서(212)와 메모리(213)를 연결할 수 있다.In addition, the processor 212 may include, but is not limited to, one or more data processors, image processors, or codecs (CODECs). The control unit 212 may include a peripheral device interface and a memory interface. The peripheral device interface connects the processor 212 and an input / output system such as an output device or other peripheral device, and the memory interface can connect the processor 212 and the memory 213.

본 실시예에서 프로세서(212)는 영상 디스플레이에 의해 상대적으로 많은 전력을 소모하는 동작 조건하에서도 배터리의 1회 충전에 상대적으로 긴 작동 시간을 확보하기 위해 제1 배터리 팩(24) 및 제2 배터리 팩(26)을 제어한다. 이를 위해 프로세서(212)는 각 배터리 팩의 배터리 관리 시스템(BMS, 240)과 연결되고 통신할 수 있다. 또한, 프로세서(212)는 디스플레이 시스템(30)의 두 디스플레이 장치들의 적어도 하나 또는 둘 모두의 제어장치나 타이밍 제어기 등에 접속할 수 있고, 이를 통해 디스플레이 장치의 동작을 제어할 수 있다.In the present embodiment, the processor 212 is provided with a first battery pack 24 and a second battery 24 for securing a relatively long operating time for a single charge of the battery even under operating conditions, And controls the pack 26. To this end, the processor 212 may communicate with and communicate with the battery management system (BMS) 240 of each battery pack. In addition, the processor 212 may be connected to a controller or a timing controller of at least one or both of the two display devices of the display system 30, thereby controlling the operation of the display device.

메모리(213)는 스마트 안경을 통한 사물 인식, 제스처 인식, 가상 현실, 증강 현실 등의 서비스를 제공하기 위한 소프트웨어 모듈을 저장할 수 있다. 예를 들어, 소프트웨어 모듈은, 제어처 인식을 위한 제1 모듈(215); 3차원 영상 제공이나 3차원 제어를 위한 제2 모듈(216); 가상 현실의 디스플레이 영상 서비스를 제공하기 위한 제3 모듈(217); 현재 보이는 실제 세계의 영상에 가상체를 부가하는 증강 현실의 디스플레이 영상 서비스를 제공하기 위한 제4 모듈(218) 등을 포함할 수 있다. 이러한 모듈은 프로세서(212)에 의해 수행되어 프로세서(212) 내에서 특정 기능이나 동작을 수행하는 적어도 하나의 태스크 프로세서로서 구현될 수 있다.The memory 213 may store software modules for providing services such as object recognition, gesture recognition, virtual reality, and augmented reality through smart glasses. For example, the software module may include a first module 215 for control destination recognition; A second module 216 for three-dimensional image provision or three-dimensional control; A third module 217 for providing a virtual reality display video service; And a fourth module 218 for providing a display image service of an augmented reality in which a virtual body is added to a currently displayed real world image. Such a module may be implemented as at least one task processor that is executed by the processor 212 and performs a particular function or operation within the processor 212.

전술한 메모리(213)는 비휘발성 랜덤 액세스 메모리(non-volatile RAM, NVRAM), 대표적 휘발성 메모리인 DRAM(dynamic random access memory) 등의 반도체 메모리, 하드디스크 드라이브(hard disk drive, HDD), 광 저장 장치, 플래시 메모리 등으로 구현될 수 있다. 그리고 메모리(56)는 인쇄물 제작 서비스 방법을 구현하기 위한 소프트웨어 모듈들 외에 운영체제, 프로그램, 명령어 집합 등을 저장할 수 있다.The memory 213 may be a nonvolatile random access memory (NVRAM), a semiconductor memory such as a dynamic random access memory (DRAM) which is a typical volatile memory, a hard disk drive (HDD) Device, a flash memory, or the like. The memory 56 may store an operating system, a program, a command set, and the like in addition to the software modules for implementing the print production service method.

한편, 전술한 실시예에 있어서, 스마트 안경 장치의 구성요소들은 비휘발성 메모리(NVRAM) 기반의 다양한 컴퓨팅 장치에 탑재되는 기능 블록 또는 모듈로 구현될 수 있다. 예컨대, 도 15의 프로세서의 메모리에 저장되는 소프트웨어 모듈은 이들이 수행하는 일련의 기능을 구현하기 위한 소프트웨어 형태로 컴퓨터 판독 가능 매체(기록매체)에 저장되거나 혹은 캐리어 형태로 원격지의 서버 장치 내 저장장치에 저장되고 서버 장치와 네트워크를 통해 연결되는 특정 컴퓨팅 장치에서 동작하도록 구현될 수 있다. 여기서 컴퓨터 판독 가능 매체는 네트워크를 통해 연결되는 복수의 컴퓨터 장치나 클라우드 시스템의 메모리나 저장 장치를 포함할 수 있고, 복수의 컴퓨터 장치나 클라우드 시스템 중 적어도 하나 이상은 본 실시예의 스마트 안경에서 다양한 서비스를 구현하기 위한 프로그램이나 소스 코드를 저장할 수 있다.Meanwhile, in the above-described embodiments, the components of the smart glasses device may be implemented as functional blocks or modules mounted on various computing devices based on non-volatile memory (NVRAM). For example, the software modules stored in the memory of the processor of Fig. 15 may be stored in a computer-readable medium (recording medium) in the form of software for implementing a series of functions performed by them, And may be implemented to operate on a particular computing device that is stored and connected to the server device over a network. The computer readable medium may include a plurality of computer devices or a cloud system memory or storage device connected through a network, and at least one of a plurality of computer devices and a cloud system may provide various services in the smart glasses of the present embodiment. You can store the program or source code for implementation.

또한, 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하는 형태로 구현될 수 있다. 컴퓨터 판독 가능 매체에 기록되는 프로그램은 본 발명을 위해 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것을 포함할 수 있다.The computer-readable medium may also be embodied in a form of program instructions, data files, data structures, etc., alone or in combination. Programs recorded on a computer-readable medium may include those specifically designed and constructed for the present invention or those known and available to those skilled in the computer software arts.

또한, 컴퓨터 판독 가능 매체는 롬(rom), 램(ram), 플래시 메모리(flash memory) 등과 같이 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치를 포함할 수 있다. 여기서 프로그램 명령은 컴파일러(compiler)에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터(interpreter) 등을 사용해서 컴퓨터에 의해 실행될 수 있는 고급 언어 코드를 포함할 수 있다. 하드웨어 장치는 본 실시예의 스마트 안경을 통해 제공가능한 모든 서비스의 구현을 위해 적어도 하나의 소프트웨어 모듈로 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.The computer-readable medium can also include a hardware device specifically configured to store and execute program instructions, such as a ROM, a RAM, a flash memory, and the like. The program instructions may include machine language code such as those generated by a compiler, as well as high-level language code that may be executed by a computer using an interpreter or the like. The hardware device may be configured to operate with at least one software module for implementation of all services that can be provided through the smart glasses of the present embodiment, and vice versa.

한편, 본 실시예의 제어장치(210)는 설명의 편의상 제어부, 메모리 및 통신부를 단일 기판이나 단일 하우징에 포함하는 컨트롤러로 구현될 수 있으나, 이에 한정되지 않고, 제어부와 메모리를 포함하거나 제어부만을 포함하는 형태로 구현될 수 있다.For the sake of convenience, the controller 210 of the present embodiment may be implemented as a controller including a control unit, a memory, and a communication unit in a single substrate or a single housing, but the present invention is not limited thereto. . ≪ / RTI >

도 16은 본 발명의 또 다른 실시예에 따른 스마트 안경의 사시도이다.16 is a perspective view of a smart glasses according to another embodiment of the present invention.

도 16을 참조하면, 본 실시예에 따른 스마트 안경(100a)은 안경 프레임 형태의 프레임 어셈블리(10); 및 사용자가 스마트 안경을 착용할 때 사용자의 얼굴 전면 중앙부에서 영상을 출력하는 디스플레이와, 디스플레이의 영상을 반사, 확대, 부분 반사 및 부분 투과시키는 광학계를 일체로 지지하는 케이스 조립체(60)를 포함한다.Referring to FIG. 16, the smart glasses 100a according to the present embodiment includes a frame assembly 10 in the form of a spectacle frame; And a case assembly 60 that supports a display that outputs an image at the center of the face of the user's face when the user wears the smart glasses and an optical system that reflects, magnifies, partially reflects, and partially transmits the image of the display .

본 실시예에 있어서, 참조번호 50a로 표시된 제1 메인렌즈(도 2의 54 참조)와 제2 메인렌즈(도 2의 57 참조)는 앞서 설명한 실시예와 달리 판상의 반사 및 투과 부재로 이루어지며, 제1 메인렌즈와 제2 메인렌즈 각각의 중심축과 일정 각도 범위에서 경사지게 배치된다. 제1 메인렌즈와 제2 메인렌즈는 수 밀리미터 이하의 두께를 가지는 판상 부재 형태의 빔 스플리터일 수 있다.In the present embodiment, the first main lens (see 54 in Fig. 2) and the second main lens (see 57 in Fig. 2) denoted by reference numeral 50a are made of a plate-shaped reflecting and transmitting member unlike the above- , And are arranged to be inclined with respect to the center axis of each of the first main lens and the second main lens within a certain angle range. The first main lens and the second main lens may be a beam splitter in the form of a plate-like member having a thickness of several millimeters or less.

제1 메인렌즈와 제2 메인렌즈는 영상을 부분 반사 및 부분 투과시켜 스마트 안경을 착용한 사용자가 허상면에 맺히는 영상을 보게 함으로써 실질적으로 스마트 안경을 통해 상대적으로 큰 영상을 볼 수 있도록 한다.The first main lens and the second main lens partially reflect and partially transmit the image so that the user wearing the smart glasses can see the image formed on the virtual face, thereby allowing the relatively large image to be viewed through the smart glasses.

도 17은 본 발명의 또 다른 실시예에 따른 스마트 안경의 사시도이다. 도 18은 도 17의 스마트 안경에 대한 정면도이다. 도 19는 도 18의 스마트 안경의 내부 구조를 설명하기 위한 부분 투영 정면도이다. 도 20은 도 17의 스마트 안경에 대한 우측면도이다. 도 21은 도 20의 스마트 안경의 내부 구조를 보여주는 부분 투영 우측면도이다. 그리고 도 22는 도 17의 스마트 안경의 구성요소를 설명하기 위한 부분 분해사시도이다.17 is a perspective view of smart glasses according to another embodiment of the present invention. 18 is a front view of the smart glasses of Fig. 17; FIG. 19 is a partial projection front view for explaining the internal structure of the smart glasses of FIG. 18; 20 is a right side view of the smart glasses shown in Fig. 17; Fig. 21 is a partial projection right side view showing the internal structure of the smart glasses of Fig. 20; Fig. And FIG. 22 is a partially exploded perspective view illustrating components of the smart glasses of FIG.

본 실시예에서는 설명의 편의상 앞서 설명한 실시예들의 스마트 안경(100 또는 100a)과 동일한 참조번호 100으로 표시하기로 한다.In the present embodiment, the same reference numerals as those of the smart glasses 100 or 100a of the above-described embodiments will be used for the convenience of explanation.

본 실시예에 따른 스마트 안경(100)은, 메인 프레임(110), 제1 디스플레이(131), 제2 디스플레이(132), 제1 미러(133), 제2 미러(134), 제1 메인렌즈(137) 및 제2 메인렌즈(138)를 포함한다. 또한, 스마트 안경(100)은 제1 보조렌즈(135) 및 제2 보조렌즈(136)를 더 구비할 수 있다.The smart glasses 100 according to the present embodiment includes a main frame 110, a first display 131, a second display 132, a first mirror 133, a second mirror 134, A first main lens 137 and a second main lens 138. The smart glasses 100 may further include a first auxiliary lens 135 and a second auxiliary lens 136.

또한, 스마트 안경(100)은 프로세서를 포함한 컨트롤러(도 37의 210 참조)와, 제1 및 제2 디스플레이(131, 132)를 위한 디스플레이 인터페이스(display interface, 160)와 이들 사이를 연결하는 연성인쇄회로기판(flexible printed circit board, FPCB, 164)을 구비할 수 있다. 컨트롤러는 제어 및 전원 장치로서 지칭될 수 있고, 내장되거나 별도의 통신 및 전원 보드를 구비할 수 있다. 통신 및 전원 보드는 커넥터나 통신 또는 전원을 중계하거나 상호 연결하는 수단이나 구성부를 포함할 수 있다.The smart glasses 100 also include a controller (see 210 in FIG. 37) including a processor and a display interface 160 for the first and second displays 131 and 132 and a flexible display A flexible printed circuit board (FPCB) 164 may be provided. The controller may be referred to as a control and power supply, and may include embedded or separate communication and power boards. Communications and power boards may include means or components for relaying or interconnecting connectors or communications or power.

또한, 스마트 안경(100)은 하나 이상의 전면 카메라(151)와 하나 이상의 후면 카메라(153)를 구비할 수 있다. 전면 카메라(151)가 서로 일정 간격 이격되는 제1 전면 카메라와 제2 전면 카메라를 포함하는 경우, 3D 코텐츠에 대한 입력이나 적용을 용이하게 할 수 있다. 전면 또는 후면 카메라는 센서의 일종이거나 센서로서 기능할 수 있다. 특히, 후면 카메라(153)나 센서는 사용자의 눈꺼풀 동작을 감지하는 수단이나 이러한 수단에 상응하는 기능을 수행하는 장치일 수 있다.In addition, the smart glasses 100 may include one or more front cameras 151 and one or more rear cameras 153. In the case where the front camera 151 includes a first front camera and a second front camera which are separated from each other by a predetermined distance, it is possible to easily input or apply 3D contents. The front or rear camera can be a sensor or a sensor. In particular, the rear camera 153 or the sensor may be a device for detecting the operation of the user's eyelids or a device performing a function corresponding to such means.

또한, 스마트 안경(100)은, 카메라나 센서 혹은 제어 및 전원 장치로부터의 신호에 따라 진동 동작하는 액추에이터나 구동기(194)를 더 구비하거나 혹은 상기 신호에 응하여 음향 신호를 출력하는 스피커를 더 구비할 수 있다. 구동기(194)는 진동 모터를 포함할 수 있다.The smart glasses 100 may further include an actuator or a driver 194 that vibrates according to a signal from a camera, a sensor, or a control and power supply device, or may further include a speaker for outputting an acoustic signal in response to the signal . The driver 194 may include a vibration motor.

또한, 스마트 안경(100)은 제1 디스플레이(131), 제2 디스플레이(132), 디스플레이 인터페이스(160) 등에서 발생하는 열을 방출하는 방열구조 또는 히트싱크를 더 구비할 수 있다. 제1 디스플레이(131) 및 제2 디스플레이(132) 중 적어도 하나는 디스플레이부로 지칭될 수 있다. 디스플레이는 디스플레이 장치를 간략히 지칭하는 것이며, 디스플레이가 액정표시장치인 경우, 디스플레이는 백라이트 유닛을 포함할 수 있다. The smart glasses 100 may further include a heat dissipation structure or a heat sink for dissipating heat generated in the first display 131, the second display 132, the display interface 160, and the like. At least one of the first display 131 and the second display 132 may be referred to as a display portion. The display briefly refers to the display device, and if the display is a liquid crystal display, the display may include a backlight unit.

각 구성요소를 좀더 구체적으로 설명하면, 메인 프레임(110)은 대략 U-자 모양을 구비한 단단한 재질로 형성하고 안경테 모양이나 안경테의 뼈대 모양을 가진다. 메인 프레임(110)은 단일 구조물로 형성될 수 있으며, 그 경우 메인 프레임(110)은 중앙 프레임 부분(110c)과 그 양단에 결합하여 안경테 형태를 형성하는 좌측 프레임 부분(110a) 및 우측 프레임 부분(110b)을 구비할 수 있다. 좌측 및 우측은 사용자 입장에서 반대측일 수 있다.In more detail, the main frame 110 is formed of a substantially U-shaped rigid material and has an eyeglass shape or a frame shape of an eyeglass frame. The main frame 110 may be formed as a single structure. In this case, the main frame 110 includes a central frame portion 110c and a left frame portion 110a and a right frame portion 110c, 110b. The left and right sides may be opposite sides from the user's perspective.

한편, 본 실시예에 메인 프레임(110)은 제조의 용이성과 경량화를 위해 중간부에 배치되는 지지 프레임과 지지 프레임의 좌측에 결합하는 제1 측면 프레임 및 우측에 결합하는 제2 측면 프레임의 결합 구조를 구비할 수 있다. 이 경우, 지지 프레임은 디스플레이, 미러, 보조렌즈 및 메인렌즈의 지지와 배치 그리고 조립을 용이하게 하기 위하여 제1 지지 프레임(120a) 및 제2 지지 프레임(120b)로 착탈가능하게 형성될 수 있다.In this embodiment, the main frame 110 includes a support frame disposed at the intermediate portion and a first side frame coupled to the left side of the support frame and a second side frame coupled to the right side for easy manufacturing and weight saving. . In this case, the support frame may be detachably attached to the first support frame 120a and the second support frame 120b to facilitate the support, disposition and assembly of the display, the mirror, the auxiliary lens, and the main lens.

여기서, 설명의 편의상 좌측 프레임 부분 및 제1 측면 프레임을 단일 참조부호 110a로 표현하고, 우측 프레임 부분 및 제2 측면 프레임을 단일 참조부호 110b로 표현하기로 한다. 지지 프레임(120)은 제1 지지 프레임(120a) 및 제2 지지 프레임(120b)이 결합된 형태를 지칭할 수 있다.Here, for convenience of explanation, the left frame portion and the first side frame are denoted by a single reference numeral 110a, and the right frame portion and the second side frame are denoted by a single reference numeral 110b. The support frame 120 may refer to a combination of the first support frame 120a and the second support frame 120b.

지지 프레임(120)의 중앙부에는 디스플레이 인터페이스(160)가 삽입되고 중앙 상부측에 배치되는 연성인쇄회로기판(flexible printed circuit board, FPCB, 164)의 터미널을 통해 컨트롤러와 전기적으로 연결될 수 있다. 그리고 디스플레이 인터페이스(160)는 제1 디스플레이(131) 및 제2 디스플레이(132)에 연결된다.A central portion of the support frame 120 may be electrically connected to the controller through a terminal of a flexible printed circuit board (FPCB) 164 in which a display interface 160 is inserted and disposed at a central upper side. The display interface 160 is connected to the first display 131 and the second display 132.

FPCB(164)는 중앙 전면부의 터미널에서 메인 프레임(110) 또는 지지 프레임(120)의 상부면을 따라 제1 측면 프레임(110a)과 제2 측면 프레임(110b)까지 연장 설치될 수 있다.The FPCB 164 may extend from the terminal of the central front portion to the first side frame 110a and the second side frame 110b along the upper surface of the main frame 110 or the support frame 120. [

지지 프레임(120)의 박스 형태의 중앙부의 양측면에는 제1 디스플레이(131)와 제2 디스플레이(132)가 배치되어 서로 반대방향으로 제1 영상 및 제2 영상을 출력한다. 제1 디스플레이(131) 또는 제2 디스플레이(132)는 박막트랜지스터 액정 디스플레이(thin film transtor liquid crystal display, TFT LCD), 유기발광다이오드(organic light emitting diode, OLED), LCoS(liquid crystal on silicon), 디지털 광원 처리(digital light processing, DLP) 기반 디스플레이에서 선택되는 적어도 어느 하나를 포함할 수 있다.The first display 131 and the second display 132 are disposed on both sides of the box-shaped central portion of the support frame 120 to output the first image and the second image in mutually opposite directions. The first display 131 or the second display 132 may be a thin film transistor liquid crystal display (TFT LCD), an organic light emitting diode (OLED), a liquid crystal on silicon (LCoS) And a digital light processing (DLP) based display.

제1 디스플레이(131)의 전면에는 지지 프레임(120)의 좌측 경사면 지지구조부분에 의해 지지되는 제1 미러(133)가 설치되고 제1 디스플레이(131)의 제1 영상을 좌측 방향과 대략 직교하는 제1 하측 방향으로 반사할 수 있다. 이와 유사하게, 제2 디스플레이(132)의 전면에는 지지 프레임(120)의 우측 경사면 지지구조부분에 의해 지지되는 제2 미러(134)가 설치되고 제2 디스플레이(132)의 제2 영상을 우측 방향과 대략 직교하는 제2 하측 방향으로 반사할 수 있다. 제2 하측 방향은 대략 사용자의 두 눈들 사이의 간격 정도의 거리를 두고 서로 평행한 방향일 수 있다.A first mirror 133 is provided on the front surface of the first display 131 and is supported by a left slope supporting structure of the support frame 120 and a first image of the first display 131 is disposed substantially perpendicular to the left direction And can be reflected in the first downward direction. Similarly, a second mirror 134, which is supported by the right side inclined surface supporting structure portion of the support frame 120, is installed on the front surface of the second display 132, and a second image of the second display 132 is displayed on the right side And can be reflected in a second downward direction which is substantially orthogonal to the first downward direction. The second lower direction may be a direction parallel to each other with a distance of approximately the distance between the two eyes of the user.

제1 미러(133)에서 반사되는 제1 영상은 제1 보조렌즈(135)에서 확대된다. 제1 보조렌즈(135)는 지지 프레임(120)의 요철구조 형태의 지지구조에 삽입되어 지지될 수 있다. 제1 보조렌즈(135)는 제1 영상을 확대하여 제1 메인렌즈(137)에 전달한다.The first image reflected by the first mirror 133 is enlarged by the first auxiliary lens 135. The first auxiliary lens 135 may be inserted into and supported by a support structure in the form of a concavo-convex structure of the support frame 120. The first auxiliary lens 135 enlarges the first image and transmits it to the first main lens 137.

이와 유사하게, 제2 미러(134)에서 반사되는 제2 영상은 제2 보조렌즈(136)에서 확대된다. 제2 보조렌즈(136)는 지지 프레임(120)의 요철구조 형태의 지지구조에 삽입되어 지지될 수 있다. 제2 보조렌즈(136)는 제2 영상을 확대하여 제2 메인렌즈(138)에 전달한다.Likewise, the second image reflected by the second mirror 134 is magnified by the second auxiliary lens 136. The second auxiliary lens 136 may be inserted into and supported by the support structure in the form of a concavo-convex structure of the support frame 120. The second auxiliary lens 136 enlarges the second image and transmits the enlarged second image to the second main lens 138.

제1 보조렌즈(135) 또는 제2 보조렌즈(136)는, 영상이 입력단 측에서 볼 때를 기준으로, 일면 볼록 렌즈(타면 오목 렌즈), 양면 볼록 렌즈 및 일면 볼록면 렌즈의 적층 구조나 중첩 배열을 구비할 수 있다. 전술한 제1 및 제2 보조렌즈들(135, 136)은 제1 영상과 제2 영상을 원하는 크기로 확대하고 구면 수차를 제거하기 위한 것으로, 구현에 따라 다양한 변형이 가능하다.The first auxiliary lens 135 or the second auxiliary lens 136 may have a laminated structure or a superimposed structure of a one-side convex lens (concave-convex lens), a two-side convex lens and a one- May be provided. The first and second auxiliary lenses 135 and 136 are used to enlarge the first and second images to a desired size and to remove spherical aberration, and various modifications are possible according to the implementation.

제1 메인렌즈(137)는 제1 보조렌즈(135)의 하부에 배치된다. 제1 메인렌즈(137)는 도 1에 참조번호 50으로 표시되거나 도 16에 참조부호 50a로 표시된 제1 메인렌즈 또는 제2 메인렌즈에 대응될 수 있다.The first main lens 137 is disposed below the first auxiliary lens 135. The first main lens 137 may correspond to a first main lens or a second main lens denoted by reference numeral 50 in FIG. 1 or denoted by reference numeral 50a in FIG.

제1 메인렌즈(137)은 상대적으로 얇은 판상의 렌즈 부재를 제1 보조렌즈(135)의 중심축과 경사지게 설치한 배치 구조를 구비할 수 있다. 제1 메인렌즈(137)는 제1 보조렌즈(135)의 하부측에서 지지 프레임(120)이나 중앙 프레임 부분(110c, 이하 간략히 중앙 프레임)의 하부에 결합될 수 있다. 제1 메인렌즈(137)는 빔 스플리터(beam splitter)로서 제1 영상 또는 제1 보조렌즈(135)를 통과한 제1 영상을 사용자의 눈을 향해 대략 직각으로 반사할 수 있다.The first main lens 137 may have a structure in which a relatively thin plate-shaped lens member is inclined with respect to the central axis of the first auxiliary lens 135. The first main lens 137 can be coupled to the lower portion of the first auxiliary lens 135 at the lower portion of the support frame 120 or the central frame portion 110c (hereinafter, simply referred to as the center frame). The first main lens 137 is a beam splitter and can reflect the first image or the first image passed through the first auxiliary lens 135 at a substantially right angle toward the user's eye.

일례로 제1 미러(133)에서 대략 수직 방향으로 내려오는 제1 영상은 제1 메인렌즈(137)의 반사면을 중심으로 사용자의 눈을 향하는 영상과 사용자 눈의 전방을 향하는 허상을 형성한다. 반사면에서 하상이 맺히는 위치 혹은 영상면까지의 거리는 약 20미터일 수 있다.For example, a first image coming down in a substantially vertical direction in the first mirror 133 forms an image directed to the user's eye and a virtual image directed to the front of the user's eye around the reflective surface of the first main lens 137. The distance from the reflecting surface to the position of the bed or the distance to the image plane may be about 20 meters.

유사하게, 제2 메인렌즈(138)는 제2 보조렌즈(136)의 하부에 배치된다. 제2 메인렌즈(138)은 상대적으로 얇은 판상의 렌즈 부재를 제2 보조렌즈(136)의 중심축과 경사지게 설치한 배치 구조를 구비할 수 있다. 제2 메인렌즈(138)는 제2 보조렌즈(136)의 하부측에서 지지 프레임(120)이나 중앙 프레임(110c)의 하부에 결합될 수 있다. 제2 메인렌즈(138)는 빔 스플리터(beam splitter)로서 제2 보조렌즈(136)를 통과한 제2 영상을 사용자의 눈을 향해 대략 직각으로 반사할 수 있다.Similarly, the second main lens 138 is disposed below the second auxiliary lens 136. The second main lens 138 may have a structure in which a relatively thin plate-shaped lens member is inclined with respect to the central axis of the second auxiliary lens 136. The second main lens 138 may be coupled to the lower portion of the second auxiliary lens 136 at the lower portion of the support frame 120 or the central frame 110c. The second main lens 138 is a beam splitter and can reflect the second image having passed through the second auxiliary lens 136 at a substantially right angle toward the user's eye.

일례로 제2 미러(134)에서 대략 수직 방향으로 내려오는 제2 영상은 제2 메인렌즈(138)의 반사면을 중심으로 사용자의 눈을 향하는 영상과 사용자 눈의 전방을 향하는 허상을 형성한다.For example, the second image coming down in the substantially vertical direction at the second mirror 134 forms an image directed to the user's eye and a virtual image directed to the front of the user's eye around the reflecting surface of the second main lens 138.

전술한 보조렌즈(135, 136)의 볼록한 면은 영상 또는 콘텐츠를 확대하고 구면 수차를 없애기 위하여 3개의 비구면 렌즈를 포함하도록 설치될 수 있다.The convex surface of the above-described auxiliary lenses 135 and 136 may be provided so as to include three aspherical lenses in order to enlarge an image or a content and eliminate spherical aberration.

또한, 지지 프레임(120)의 중앙 하부측에는 코걸이 부재(140)가 연결될 수 있다. 코걸이 부재(140)는 적어도 일부가 상대적인 연성 재질로 이루어질 수 있다. 연성 재질은 합성수지를 포함할 수 있다.A nose ring member 140 may be connected to the lower center of the support frame 120. The nose ring member 140 may be made of a relatively soft material at least in part. The flexible material may include a synthetic resin.

메인 프레임(110)의 중앙 상부측에는 상부 커버(113)가 결합하고, 중앙 전면상부측에는 전면상부커버(114)가 결합하고, 중앙 전면 최상부 중앙에는 전면보조커버(115)가 결합될 수 있다. 전면상부커버(114)는 제1 및 제2 지지 프레임(120a, 120b)을 게재하고 후면커버(112c)와 나사나 볼트 등의 체결수단에 의해 중앙 프레임(120c)에 결합할 수 있다. 전면보조커버(115)는 전면 카메라(151)의 노출 렌즈 부분을 덮을 수 있으며, 그 경우 전면보조커버(115)의 적어도 일부분은 투명 혹은 반투명 재질로 형성될 수 있다. 또한, 구현에 따라서 전면보조커버(115)는 전면 카메라(151)의 렌즈 노출을 위한 개구부나 관통홀을 구비할 수 있다.The front cover 100 is coupled to the upper center side of the main frame 110 and the front auxiliary cover 115 is coupled to the center of the upper center of the main frame 110. The front upper cover 114 may be attached to the center frame 120c by fastening means such as screws or bolts with the rear cover 112c and the first and second support frames 120a and 120b. The front auxiliary cover 115 may cover the exposed lens portion of the front camera 151, in which case at least a part of the front auxiliary cover 115 may be formed of a transparent or translucent material. Also, depending on the implementation, the front auxiliary cover 115 may have an opening or a through hole for exposing the lens of the front camera 151.

제1 측면 프레임(110a)의 일단은 지지 프레임(120)의 좌측에 연결되고, 그 타단은 제1 측면 연결 프레임(121)에 연결될 수 있다. 제1 측면 연결 프레임(121)은 제1 측면 종단 프레임(a first side end frame, 122)에 연결될 수 있다. 제1 측면 종단 프레임(122)은 제1 배터리(172)를 수납하는 내부 공간을 구비하며, 후술하는 제2 측면 종단 프레임(125)과 마주하는 내부 공간의 개구부는 제1 연성 커버(123)에 의해 탈착가능하게 덮힐 수 있다. 제1 측면 연결 프레임(121)과 제1 연성 커버(123)는 적어도 그 표면 부분이 사용자의 귀와 그 뒤쪽에 접하는 부분으로 착용감을 좋게 하기 위해 고무나 연질의 합성수지 재질로 형성될 수 있다.One end of the first side frame 110a may be connected to the left side of the support frame 120 and the other end may be connected to the first side connection frame 121. [ The first side connection frame 121 may be connected to a first side end frame 122. The first side end frame 122 has an internal space for accommodating the first battery 172. An opening of the internal space facing the second side end frame 125 to be described later is connected to the first flexible cover 123 So as to be detachably covered. The first side connection frame 121 and the first flexible cover 123 may be formed of a rubber or soft synthetic resin material so that at least the surface portion of the first side connection frame 121 and the first flexible cover 123 abuts the user's ear and the back thereof.

유사하게, 제2 측면 프레임(110b)의 일단은 지지 프레임(120)의 우측에 연결되고, 그 타단은 제2 측면 연결 프레임(124)에 연결될 수 있다. 제2 측면 연결 프레임(124)은 제2 측면 종단 프레임(a second side end frame, 125)에 연결될 수 있다. 제2 측면 종단 프레임(125)은 제2 배터리(171)를 수납하는 내부 공간을 구비하며, 전술한 제1 측면 종단 프레임(122)이나 제1 연성 커버(123)와 마주하는 내부 공간의 개구부는 제2 연성 커버(126)에 의해 탈착가능하게 폐쇄될 수 있다. 제2 측면 연결 프레임(124)과 제2 연성 커버(126)는 적어도 그 표면 부분이 사용자의 왼쪽 귀와 그 뒤쪽에 접하는 부분으로 착용감을 좋게 하기 위해 고무나 연질의 합성수지 재질로 형성될 수 있다. 제1 배터리(171) 및 제2 배터리(172)는 전원장치로 지칭될 수 있고, 구현에 따라서 하나의 배터리가 탑재되거나 하나의 배터리도 탑재되지 않고 모두 생략될 수 있다.Similarly, one end of the second side frame 110b may be connected to the right side of the support frame 120, and the other end thereof may be connected to the second side connection frame 124. [ The second side connection frame 124 may be connected to a second side end frame 125. The second side end frame 125 has an inner space for accommodating the second battery 171 and the opening of the inner space facing the first side end frame 122 or the first flexible cover 123 described above And can be detachably closed by the second flexible cover 126. The second side connection frame 124 and the second flexible cover 126 may be formed of a rubber or soft synthetic resin material so that at least the surface portion of the second side connection frame 124 and the second flexible cover 126 abut the user's left ear and the back thereof. The first battery 171 and the second battery 172 may be referred to as a power source device, and either one battery may not be mounted, or one battery may not be mounted according to an implementation, all of which may be omitted.

제1 측면 프레임(110a)의 외측면에는 제1 인쇄회로기판(a first PCB, 161)을 수용하도록 제1 측면 커버(112a)가 설치될 수 있다. 제1 인쇄회로기판(161)은 제1 배터리(172)에 연결되고 FPCB(164)의 일단에 연결될 수 있다. 유사하게, 제2 측면 프레임(110b)의 외측면에는 제2 인쇄회로기판(a second PCB, 162)을 수납하도록 제2 측면 커버(112b)가 결합될 수 있다. 제2 인쇄회로기판(162)은 제2 배터리(171)에 연결되고 FPCB(164)의 다른 타단에 연결될 수 있다.A first side cover 112a may be installed on the outer side of the first side frame 110a to receive a first PCB 161. The first printed circuit board 161 may be connected to the first battery 172 and may be connected to one end of the FPCB 164. Similarly, a second side cover 112b may be coupled to the outer side of the second side frame 110b to receive a second printed circuit board (PCB) 162 therein. The second printed circuit board 162 may be connected to the second battery 171 and to the other end of the FPCB 164.

제1 측면 프레임(110a)과 제2 측면 프레임(110b)의 전면측에는 쉴드(도 38의 180 참조)의 결합에서 결합력 확보 및 위치 지정을 위한 돌기 혹은 요철부를 구비할 수 있다. 또한, 요철부 대신에 그 형성면 부근에는 자석이나 자석을 붙는 금속성 재질이 내재하여 구비될 수 있으며, 그에 의해 쉴드와의 결합을 용이하게 하고 안정적인 결합 상태를 유지하도록 할 수 있다.The front side of the first side frame 110a and the side surface of the second side frame 110b may be provided with protrusions or protrusions for securing and positioning the coupling in the coupling of the shield (see 180 in FIG. 38). Further, instead of the concave-convex portion, a metallic material attaching a magnet or a magnet may be embedded in the vicinity of the formed surface so that the coupling with the shield can be facilitated and the stable coupling state can be maintained.

제1 인쇄회로기판(161)은 외부와의 데이터 송수신이나 전원을 받기 위한 적어도 하나의 포트 혹은 제1 커넥터를 구비할 수 있다. 제2 인쇄회로기판(162)은 외부와의 데이터 송수신이나 전원을 받기 위한 적어도 하나의 포트 혹은 제2 커넥터를 구비할 수 있다. 또한, 제1 또는 제2 인쇄회로기판(161; 162)은 이어폰 단자를 구비할 수 있다.The first printed circuit board 161 may include at least one port or a first connector for receiving and transmitting data to / from the outside. The second printed circuit board 162 may include at least one port or a second connector for receiving and transmitting data to / from the outside. Also, the first or second printed circuit board 161 (162) may have an earphone terminal.

전면 카메라(151)는 메인 프레임(110) 또는 중앙 프레임(120c)의 전면에 노출되는 렌즈를 구비할 수 있다. 전면 카메라(151)는 두 개가 설치될 수 있으나 이에 한정되지는 않는다. 전면 카메라(151)의 렌즈나 그 주변 부분은 전면보조커버(115)에 보호될 수 있다. 전면 카메라(151)은 FPCB(164)의 또 다른 일단이나 연장부에 전기적으로 연결될 수 있다.The front camera 151 may include a lens that is exposed to the front surface of the main frame 110 or the center frame 120c. Two front cameras 151 may be installed, but the present invention is not limited thereto. The lens of the front camera 151 or its peripheral portion can be protected by the front auxiliary cover 115. The front camera 151 may be electrically connected to another end or an extension of the FPCB 164.

후면 카메라(153)는 메인 프레임(110) 또는 지지 프레임(120)의 후면에 노출되는 렌즈를 구비할 수 있다. 후면 카메라(153)는 하나가 설치될 수 있으나 이에 한정되지는 않는다. 후면 카메라(153)은 FPCB(164)의 또 다른 일단이나 연장부에 전기적으로 연결될 수 있다.The rear camera 153 may include a lens that is exposed to the main frame 110 or the rear surface of the support frame 120. One rear camera 153 may be installed, but the present invention is not limited thereto. The rear camera 153 may be electrically connected to another end or an extension of the FPCB 164.

프로세서(도 39의 260 참조)는 제1 또는 제2 인쇄회로기판(161, 162)에 배치될 수 있다. 프로세서는 스마트 안경(100)의 구성요소들을 제어하여 스마트 안경(100)의 동작이나 기능을 운영 및 관리할 수 있다. 프로세서는 어플리케이션 프로세서(application processor, AP)를 포함할 수 있다.A processor (see 260 in Figure 39) may be disposed on the first or second printed circuit board 161, 162. The processor controls the components of the smart glasses 100 to operate and manage the functions and functions of the smart glasses 100. [ The processor may include an application processor (AP).

디스플레이 인터페이스(160)는 프로세서의 제어에 따라 제1 디스플레이(131) 및 제2 디스플레이(132)에 전달되는 신호의 타이밍을 제어할 수 있다. 신호는 영상 신호를 포함할 수 있다. 본 실시예에서 디스플레이 인터페이스(160)로는 제1 및 제2 디스플레이들(131, 132)과 3D 콘텐츠에 적용하기 적합한 듀얼 및 3D MIPI DSI(Dual & 3D Mobile Industry Processor Interface Digital Serial Interface)(이하 간략히 DSI라고 한다) 또는 이와 유사한 기능을 수행하는 수단이나 장치일 수 있다.The display interface 160 may control the timing of signals transmitted to the first display 131 and the second display 132 under the control of the processor. The signal may include a video signal. In this embodiment, the display interface 160 may include a first and a second display 131 and 132 and a dual and 3D MIPI DSI (hereinafter simply referred to as " DSI "Quot;) or a device or device that performs a similar function.

또한, 제1 또는 제2 측면 프레임(110a, 110b)에는 구동기(194)가 내장될 수 있다. 구동기(194)는 제1 또는 제2 인쇄회로기판(161, 162)에 전기적으로 연결되고 전면 카메라(151), 후면 카메라(153), 센서 또는 프로세서의 신호에 따라 동작하여 진동을 발생시킬 수 있다. 일례로, 후면 카메라(153)를 통해 사용자의 눈꺼풀을 인식하고 눈꺼풀이 일정 시간 이상동안 안구를 덮고 있다고 인식되는 경우, 후면 카메라(153)의 신호에 따라 졸음 방지 알람용 진동을 발생시킬 수 있다.In addition, a driver 194 may be incorporated in the first or second side frames 110a and 110b. The driver 194 is electrically connected to the first or second printed circuit boards 161 and 162 and may operate according to signals from the front camera 151, the rear camera 153, the sensor, or the processor to generate vibration . For example, when the user recognizes the user's eyelids through the rear camera 153 and recognizes that the eyelids are covering the eyes for a predetermined time or more, the user may generate the vibration for the drowsiness alarm according to the signal from the rear camera 153.

또한, 지지 프레임(120)의 상부나 상부 커버(113)의 하부 또는 일부분에는 방열구조가 설치될 수 있다. 방열구조의 일단은 디스플레이 인터페이스(160), 제1 디스플레이(131), 제2 디스플레이(132), LCD용 백라이트 등에 연결되어 상기의 구성요소들 중 적어도 어느 하나에서 발생하는 열을 방출할 수 있다. 효과적인 열 방출을 위해, 방열구조는 중앙 프레임(120c)의 상단부의 길이 방향의 외곽선을 따라 연장할 수 있으며, 적어도 일면에 다수의 핀(fins)을 구비하여 단면적을 확장한 상태로 설치될 수 있다. 또한, 구현에 따라서, 방열구조는 상부 커버(113)의 길이 방향을 따라 일정 폭으로 설치되는 전도성이 우수한 재료에 연결되거나 상기의 고전도성 재료와 일체로 형성될 수 있다.A heat radiating structure may be provided on the upper portion of the support frame 120 or a lower portion or a portion of the upper cover 113. One end of the heat dissipation structure may be connected to the display interface 160, the first display 131, the second display 132, the LCD backlight, or the like to emit heat generated from at least one of the components. For effective heat dissipation, the heat dissipation structure may extend along the longitudinal outline of the upper end of the central frame 120c, and may be provided with a plurality of fins on at least one side to extend the cross-sectional area . Also, depending on the implementation, the heat dissipation structure may be connected to a material having a good conductivity, which is provided with a constant width along the longitudinal direction of the top cover 113, or may be integrally formed with the high conductivity material.

도 23 및 도 24는 도 17의 스마트 안경의 광학 시스템을 설명하기 위한 도면들이다.23 and 24 are views for explaining the optical system of the smart glasses of Fig.

본 실시예에서는 제1 미러(133), 제1 보조렌즈(135a, 135b, 1372) 및 제1 메인렌즈(137)를 포함하는 광학 시스템을 중심으로 설명하나 제2 미러(134), 제2 보조렌즈(136) 및 제2 메인렌즈(138)를 포함하는 광학 시스템에도 동일하게 적용할 수 있음은 물론이다.The optical system including the first mirror 133, the first auxiliary lenses 135a, 135b, and 1372 and the first main lens 137 is mainly described, but the second mirror 134, It is needless to say that the present invention is equally applicable to an optical system including a lens 136 and a second main lens 138.

도 23 및 도 24를 참조하면, 본 실시예에 따른 스마트 안경은 제1 미러(133), 제1 보조렌즈(135a, 135b, 1372) 및 제1 메인렌즈(137)를 포함하는 제1 또는 우측 광학 시스템과, 제2 미러, 제2 보조렌즈 및 제2 메인렌즈를 포함하는 제2 또는 좌측 광학 시스템(도 19의 134, 136 및 138 참조)을 포함한다.23 and 24, the smart spectacle according to the present embodiment includes a first mirror 133, a first auxiliary lens 135a, 135b, 1372, and a first main lens 137, An optical system, and a second or left optical system (see 134, 136 and 138 in FIG. 19) that includes a second mirror, a second auxiliary lens, and a second main lens.

본 실시예에서, 제1 메인렌즈와 제2 메인렌즈는 판상의 반사 및 투과 부재로 이루어지며, 제1 메인렌즈와 제2 메인렌즈 각각의 중심축과 일정 각도 범위에서 경사지게 배치된다. 제1 메인렌즈와 제2 메인렌즈는 수 밀리미터 이하의 두께를 가지는 판상 부재 형태의 빔 스플리터일 수 있다.In this embodiment, the first main lens and the second main lens are composed of plate-shaped reflection and transmission members, and are arranged to be inclined at a certain angle range with respect to the central axes of the first main lens and the second main lens. The first main lens and the second main lens may be a beam splitter in the form of a plate-like member having a thickness of several millimeters or less.

또한, 본 실시예의 스마트 안경은 적어도 하나의 디스플레이 장치, 바람직하게는 두 개의 디스플레이 장치를 구비할 수 있고, 구현에 따라서 하나의 미러를 구비하거나 두 개의 미러(133, 134)를 구비할 수 있다.In addition, the smart glasses of the present embodiment may include at least one display device, preferably two display devices, and may have one mirror or two mirrors 133 and 134, depending on the implementation.

디스플레이 장치는 스마트 안경을 착용하는 사용자의 전면 방향이나 얼굴 방향에서 최초 영상을 출력하도록 배치되거나, 얼굴의 상부측에서 하부측으로 혹은 하부측에서 상부측으로 향하는 수직 방향에서 최초 영상을 출력하도록 배치되거나, 얼굴의 눈(eyes) 사이(미간) 혹은 코(nose) 위에서 양쪽 눈을 향해 최초 영상을 출력하도록 배치될 수 있다. 양쪽 눈 사이의 거리는 대략 제1 및 제2 메인렌즈들의 중심들 간의 거리에 대응될 수 있다.The display device may be arranged to output the first image in the front direction or the face direction of the user wearing the smart glasses or may be arranged to output the first image in the vertical direction from the upper side to the lower side of the face or from the lower side to the upper side, And may be arranged to output an initial image to both eyes on the nose between the eyes of the user. The distance between both eyes may correspond approximately to the distance between the centers of the first and second main lenses.

본 실시예에 따른 스마트 안경에서 제1 메인렌즈(137)는 제1 보조렌즈(135a, 135b, 1372)와 마주하며 제1 보조렌즈의 광 경로의 중심 라인과 대략 30도 내지 60도 범위에서 경사져 배치된다. 이러한 제1 보조렌즈(137)는 제1 일면볼록렌즈(135a), 제1 양면볼록렌즈(135b) 및 제1 볼록면렌즈(1372)를 구비하여 구성될 수 있다.In the smart glasses according to the present embodiment, the first main lens 137 faces the first auxiliary lenses 135a, 135b, and 1372 and is inclined at approximately 30 to 60 degrees with the center line of the optical path of the first auxiliary lens . The first auxiliary lens 137 may include a first one-side convex lens 135a, a first both-side convex lens 135b, and a first convex surface lens 1372.

제1 일면볼록렌즈(135a)의 일면은 볼록면을 구비하고, 타면은 오목면을 구비한다. 제1 일면볼록렌즈(135a)의 오목면의 곡률은 제1 양면볼록렌즈(135b)의 마주하는 볼록면의 곡률과 대략 유사하거나 동일하게 설정될 수 있다.One surface of the first convex lens 135a has a convex surface and the other surface has a concave surface. The curvature of the concave surface of the first single convex lens 135a may be set to be substantially equal to or the same as the curvature of the convex surface facing the first double convex lens 135b.

제1 양면볼록렌즈(135b)는 그 일면과 타면 모두에 볼록면을 구비한다. 일면의 볼록면과 타면의 볼록면의 곡률 반경을 동일할 수 있으나, 이에 한정되지는 않는다.The first both-side convex lens 135b has convex surfaces on both its one side and the other side. The radius of curvature of the convex surface of one surface may be the same as the radius of curvature of the convex surface of the other surface, but is not limited thereto.

제1 볼록면렌즈(1372)는 제1 양면볼록렌즈(135b)의 타면 볼록면과 마주하는 볼록면을 구비하고 볼록면의 반대면은 평면 형태를 구비할 수 있다.The first convex surface lens 1372 may have a convex surface facing the other convex surface of the first both-side convex lens 135b, and the opposite surface of the convex surface may have a plane shape.

전술한 구성에 의하면, 본 실시예에 따른 스마트 안경의 제1 및 제2 디스플레이들에서 출력되는 제1 영상과 제2 영상은 제1 미러(133) 및 제2 미러에서 각각 반사된 후 제1 보조렌즈 및 제2 보조렌즈 각각의 볼록면의 조합에 의해 확대된 후 제1 메인렌즈(137)의 반사면과 제2 메인렌즈의 반사면에서 부분 반사되고 부분 투과된다. 반사면은 빔 스플리트 면으로 지칭될 수 있다.According to the above-described configuration, the first image and the second image output from the first and second displays of the smart glasses according to the present embodiment are respectively reflected by the first mirror 133 and the second mirror, After being magnified by the combination of the convex surface of each of the lens and the second auxiliary lens, is partially reflected and partially transmitted through the reflecting surface of the first main lens 137 and the reflecting surface of the second main lens. The reflecting surface may be referred to as a beam splitting surface.

여기서, 제1 보조렌즈의 볼록면의 조합과 제2 보조렌즈의 볼록면의 조합에 의해 제1 영상과 제2 영상은 확대되고, 제1 보조렌즈와 제2 보조렌즈의 비구면 볼록면에 의해 구면 수차는 제거될 수 있다.Here, the first image and the second image are enlarged by the combination of the convex surface of the first auxiliary lens and the convex surface of the second auxiliary lens, and by the aspherical convex surface of the first auxiliary lens and the second auxiliary lens, The aberration can be removed.

또한, 제1 및 제2 메인렌즈들의 전면의 소정 위치에서 초점이 맞춰지는 제1 영상 및 제2 영상은 소정의 단일 영상면 또는 허상면을 형성할 수 있다. 물론, 입체(3D) 영상, 가상현실영상, 증강현실 영상 등의 경우에는 다층 영상면/허상면을 구비할 수 있음은 물론이다.In addition, the first and second images focused at predetermined positions on the front surface of the first and second main lenses may form a predetermined single image plane or a virtual image plane. Of course, in the case of a stereoscopic (3D) image, a virtual reality image, an augmented reality image, etc., it is of course possible to provide a multi-layer image plane / virtual image plane.

또한, 본 실시예의 스마트 안경에서 메인렌즈들 각각은 측면 프레임(도 17의 112b 참조)과의 사이에 빈 공간을 구비한다. 이와 같이, 각 메인렌즈의 측면 외측에 어떠한 구성요소도 배치하지 않음으로써 스마트 안경 착용자의 시야각을 제한하지 않고 최대한의 광시야각을 제공할 수 있는 장점이 있다.Further, in the smart glasses of the present embodiment, each of the main lenses has an empty space between the side frames (see 112b in Fig. 17). As described above, since no components are disposed outside the side surface of each main lens, it is possible to provide a maximum optical viewing angle without limiting the viewing angle of the wearer of the smart glasses.

또한, 본 실시예에 의하면, 디스플레이에서 구현된 콘텐츠는 보조렌즈를 이용하여 확대될 수 있다. 그러한 경우, 보조렌즈로부터 확대된 이미지까지의 거리는 필요에 따라 조절될 수 있다. 즉, 보조렌즈에 의해 확대된 이미지는 실상이 아닌 허상으로서 사용자에게 스마트 안경 너머로 보이도록 그 크기나 해상도가 용이하게 조절될 수 있다.Further, according to this embodiment, the contents implemented in the display can be enlarged using the auxiliary lens. In such a case, the distance from the auxiliary lens to the enlarged image can be adjusted as needed. That is, the size and resolution of the image enlarged by the auxiliary lens can be easily adjusted so that the image is displayed as a virtual image rather than a real image to the user over the smart glasses.

메인렌즈를 통해 사용자가 느끼는 허상까지의 거리(li)는, 메인렌즈의 초점거리(f)와 디스플레이로부터 메인렌즈의 반사면까지의 거리(lo) 사이의 관계에 의해 조절될 수 있다. 상기 거리들 사이의 관계는 수학식 1을 만족한다.The distance li from the main lens to the virtual image sensed by the user can be adjusted by the relationship between the focal length f of the main lens and the distance lo from the display to the reflecting surface of the main lens. The relationship between the distances satisfies Equation (1).

본 실시예에 의하면, 사용자가 원하는 위치에 확대된 이미지가 형성될 수 있도록 설계하여 제작할 수 있다. 또한, 스마트 안경으로부터 약 2.4미터 전방에 약 20 인치 크기의 콘텐츠를 구현하도록 구성할 수 있다. 즉, 스마트 안경으로부터 약 2미터 전방에 약 20 인치의 콘텐츠를 제공할 수 있으며, 사용자는 필요에 따라 증강현실이나 가상현실을 용이하게 구현하여 이용할 수 있다.According to the present embodiment, it is possible to design and manufacture an enlarged image at a desired position by the user. It can also be configured to deliver about 20 inches of content at about 2.4 meters away from smart glasses. That is, it is possible to provide about 20 inches of content about 2 meters ahead of the smart glasses, and the user can easily implement an augmented reality or a virtual reality according to need.

도 25는 도 17의 스마트 안경에 채용할 수 있는 제어보드에 대한 블록도이다.25 is a block diagram of a control board that can be employed in the smart glasses of FIG.

도 25를 참조하면, 본 실시예에 따른 스마트 안경(100)은 제1 및 제2 디스플레이(D1, D2; 131, 132)에 연결되는 컨트롤러(210)를 구비할 수 있다. 또한, 스마트 안경(100)은 전원부(170)와 통신부(190)를 구비할 수 있다. 전원부(170)는 전원장치 혹은 전원공급장치로 지칭될 수 있고, 배터리나 전원공급용 단자를 포함할 수 있다. 그리고 통신부(190)는 유선 또는 무선 통신을 위한 서브시스템을 포함할 수 있다. 전술한 전원부(170)의 적어도 일부와 통신부(190)는 인쇄회로기판에 실장될 수 있다. 그 경우, 이러한 인쇄회로기판은 통신 및 전원 보드로 지칭될 수 있다.Referring to FIG. 25, the smart glasses 100 according to the present embodiment may include a controller 210 connected to the first and second displays D1 and D2 (131 and 132). In addition, the smart glasses 100 may include a power supply unit 170 and a communication unit 190. The power supply unit 170 may be referred to as a power supply unit or a power supply unit, and may include a battery or a power supply terminal. The communication unit 190 may include a subsystem for wired or wireless communication. At least a part of the power supply unit 170 and the communication unit 190 described above may be mounted on a printed circuit board. In that case, such a printed circuit board may be referred to as a communication and power board.

컨트롤러(210)는 프로세서와 메모리(220)를 포함할 수 있다. 컨트롤러(210)는 메모리(220)에 저장되는 프로그램에 의해 전원부(170)와 통신부(190)의 동작으로 제어하고, 스마트 안경(100)의 동작을 제어할 수 있다. 본 실시예에서 컨트롤러(210) 및 전원부(190)는 스마트 안경(100)에 수납 형태 등으로 일체로 형성되나 이에 한정되지는 않는다.The controller 210 may include a processor and a memory 220. The controller 210 can control the operation of the smart glasses 100 by controlling the power source unit 170 and the communication unit 190 by a program stored in the memory 220. [ In this embodiment, the controller 210 and the power supply unit 190 are integrally formed in the smart glasses 100 in a housed form or the like, but are not limited thereto.

전술한 실시예에서는 디스플레이 인터페이스를 컨트롤러(210)와 별도의 구성인 듯이 설명하고 있으나, 본 발명은 그러한 구성으로 한정되지 않고, 디스플레이 인터페이스가 컨트롤러에 일체로 형성되도록 구현될 수 있다.Although the display interface is described as being separate from the controller 210 in the above-described embodiment, the present invention is not limited to such a configuration, and a display interface may be formed integrally with the controller.

또한, 본 실시예에 따른 스마트 안경(100)은 보조전원부로서 하나의 소형 배터리 또는 보조 배터리를 포함하고, 대형, 대용량 또는 메인 배터리를 포함하는 별도의 메인전원공급장치를 스마트 안경의 외부에 배치한 후 데이터 및 전원 라인(도 26의 192 참조)을 통해 연결되도록 구성될 수 있다.In addition, the smart glasses 100 according to the present embodiment include one small battery or an auxiliary battery as an auxiliary power unit, and a separate main power supply unit including a large, large capacity or main battery is disposed outside the smart glasses Through data and power supply lines (see 192 in FIG. 26).

도 26은 본 발명의 또 다른 실시예에 따른 스마트 안경과 제어 시스템에 대한 사시도이다. 도 27은 도 26의 스마트 안경의 주요 구성을 설명하기 위한 블록도이다.26 is a perspective view of a smart glasses and a control system according to another embodiment of the present invention. Fig. 27 is a block diagram for explaining the main configuration of the smart glasses of Fig. 26; Fig.

도 26 및 도 27을 참조하면, 본 실시예에 따른 스마트 안경(100)은 디스플레이 인터페이스를 구비하고, 디스플레이 인터페이스에 연결되는 제어장치를 스마트 안경(100)의 외부에 배치하도록 구현될 수 있다. 또한, 스마트 안경(100)은 실질적으로 모든 배터리를 스마트 안경(100)의 외부에 배치하도록 구현된다.Referring to FIGS. 26 and 27, the smart glasses 100 according to the present embodiment may have a display interface, and a control device connected to the display interface may be disposed outside the smart glasses 100. In addition, the smart glasses 100 are implemented to place substantially all of the batteries outside the smart glasses 100.

여기서, 디스플레이 인터페이스는 듀얼 및 3D MIPI DSI(Dual & 3D Mobile Industry Processor Interface Digital Serial Interface, 210a)(이하 간략히 DSI라고 한다) 또는 이와 유사한 기능을 수행하는 수단이나 장치일 수 있다. 이러한 디스플레이 인터페이스를 사용하면, 제1 및 제2 디스플레이들(131, 132)과 3D 콘텐츠를 구현하기에 적합하다.Here, the display interface may be a device or a device that performs a dual and 3D MIPI DSI (Dual & 3D Mobile Industry Processor Interface) digital serial interface 210a (hereinafter, simply referred to as DSI) or a similar function. Using such a display interface is suitable for implementing 3D content with the first and second displays 131, 132.

전술한 구성을 위해, 스마트 안경(100)은 제1 디스플레이(131), 제2 디스플레이(132), 디스플레이 인터페이스(160), 카메라(150), 통신 및 전원 보드(164)를 포함한다.The smart glasses 100 include a first display 131, a second display 132, a display interface 160, a camera 150, a communication and power board 164.

카메라(150)는 전면 또는 후면 카메라를 포함할 수 있고, 통신 및 전원 보드(164)는 제1 또는 제2 인쇄회로기판의 설치 위치에 설치되면서 외부의 메인 전력 공급 장치(main power supply, MPS, 240)와 어플리케이션 프로세서(AP, 260)에 연결될 수 있다. 이 경우, 외부 장치(300)는 제어 및 전원 장치로서 스마트 안경(100)의 동작을 외부에서 제어하고 모니터링할 수 있다.The camera 150 may include a front or rear camera and the communication and power board 164 may be installed at an installation location of the first or second printed circuit board and may be connected to an external main power supply 240 and an application processor (AP) 260, respectively. In this case, the external device 300 can externally control and monitor the operation of the smart glasses 100 as a control and power source device.

본 실시예의 경우, 컨트롤러나 제1 인쇄회로기판(161), 제2 인쇄회로기판(162)의 대부분과 함께 제1 배터리(172) 및 제2 배터리(171)가 생략될 수 있다. 즉, 제2 인쇄회로기판(162)의 위치에 상대적으로 단순한 구조를 갖는 통신 및 전원 보드(164)를 설치하여 스마트 안경(100)과 외부 장치(300) 간의 통신 및 전원 연결을 중계하고 나머지 전자부품에 대한 구성요소들 대부분을 생략할 수 있다.In this embodiment, the first battery 172 and the second battery 171 may be omitted together with the controller, the first printed circuit board 161, and the second printed circuit board 162. That is, a communication and power board 164 having a relatively simple structure is provided at the position of the second printed circuit board 162 to relay communication and power connection between the smart glasses 100 and the external device 300, Most of the components for the part can be omitted.

본 실시예들에 의하면, 스마트 안경(100)의 무게를 상당히 감소시킬 수 있고, 사용편의성을 증대시킬 수 있는 장점이 있다. 또한, 외부 배터리 사용에 따라 상대적으로 배터리 용량을 일정량 증대시킬 수 있고, 필요에 따라 전원단자를 통해 상용전원이나 다른 보조 배터리를 통해 전원을 공급받음으로써 스마트 안경의 장시간 사용에 따른 필요 전원을 원활하게 공급할 수 있는 장점이 있다.According to the embodiments, the weight of the smart glasses 100 can be significantly reduced, and the ease of use can be increased. In addition, according to the use of the external battery, the battery capacity can be increased by a certain amount, and if necessary, power is supplied from the commercial power supply or other auxiliary battery through the power terminal, There is an advantage that it can supply.

도 28은 도 26의 스마트 안경에 채용할 수 있는 제어 모듈을 설명하기 위한 블록도이다.FIG. 28 is a block diagram for explaining a control module that can be employed in the smart glasses of FIG. 26; FIG.

도 28을 참조하면, 본 실시예에 따른 스마트 안경의 제어장치는, 애플리케이션 프로세서로 지칭될 수 있으며, 비디오 인터페이스(261), 트래킹 모듈(262), 랜더링 모듈(263) 및 측정 모듈(264)을 포함할 수 있다. 트래킹 모듈(262), 랜더링 모듈(263) 및 측정 모듈(264)은 사용자 인터페이스(user interface, U/I, 265)에 연결될 수 있다.28, the control device of the smart glasses according to the present embodiment may be referred to as an application processor and includes a video interface 261, a tracking module 262, a rendering module 263, and a measurement module 264 . The tracking module 262, the rendering module 263 and the measurement module 264 may be connected to a user interface (U / I) 265.

비디오 인터페이스(261)는 비디오 카메라(151; 152)로부터 입력되는 비디오 이미지 스트림을 받고 원하는 구간의 이미지를 트래킹 모듈(262)로 전달할 수 있다.The video interface 261 may receive the video image stream input from the video camera 151 152 and deliver the image of the desired section to the tracking module 262.

트래킹 모듈(262)는 비디오 인터페이스(261)로부터 이미지 데이터를 받고 측정 이미지 및 포즈 추정 결과를 랜더링 모듈로 전달할 수 있다. 이때, 트래킹 모듈(262)는 사용자 인터페이스(265)를 통해 조정 파라미터 등을 포함하는 조정 정보 등을 수신하고, 마커 정보 데이터베이스(266)에 저장된 마커 정보를 이용하여 마커를 인식할 수 있다. 마커는 실제 영상과 가상 물체 사이의 매개체로서 기능한다. 마커 정보는 마커의 사이즈, 패턴 등에 대한 정보를 포함할 수 있다. 마커 정보 데이터베이스(266)는 소정의 저장부에 저장된 마커 정보로 대체될 수 있다.The tracking module 262 may receive image data from the video interface 261 and may communicate the measurement image and pose estimation results to the rendering module. At this time, the tracking module 262 receives adjustment information including adjustment parameters and the like through the user interface 265, and recognizes the marker using the marker information stored in the marker information database 266. The marker functions as an intermediary between the real image and the virtual object. The marker information may include information on a size, a pattern, and the like of the marker. The marker information database 266 may be replaced with marker information stored in a predetermined storage unit.

랜더링 모듈(263)은 가상 물체의 생성 및 제거를 담당한다. 랜더링 모듈(263)은 사용자 인터페이스(265)를 통해 조정 정보 등을 획득할 수 있다. 조정 정보는 로드(load) 또는 언로드(unload), 회전, 이동(좌표 이동 등), 스케일링 등을 포함할 수 있다. 랜더링 모듈(263)은 3차원(3D) 모델링을 지원하는 엔진(간략히, 3D 모델링 엔진, 268)이나 이러한 기능을 수행하는 수단과 콘텐츠 리소스 데이터베이스(267)를 통해 연동할 수 있다. 3D 모델링 엔진(268)은 가상 현실 모델링 언어(virtual reality modeling language, VRML) 기반으로 측정 이미지의 가상 오브젝트를 생성할 수 있다. 랜더링 모듈(263)은 콘텐츠 리소스 데이터베이스(267)에서 가상 오브젝트를 받아 측정 이미지에 대한 랜더링을 수행할 수 있다.The rendering module 263 is responsible for creating and removing virtual objects. The rendering module 263 may obtain the adjustment information and the like through the user interface 265. [ The adjustment information may include load or unload, rotation, movement (such as coordinate movement), scaling, and the like. The rendering module 263 can be linked through an engine (briefly, a 3D modeling engine 268) that supports three-dimensional (3D) modeling or a means for performing such functions and a content resource database 267. The 3D modeling engine 268 may generate a virtual object of the measurement image based on a virtual reality modeling language (VRML). The rendering module 263 may receive the virtual object from the content resource database 267 and perform rendering on the measurement image.

측정 모듈(264)은 가상 물체들 간의 거리 측정, 생성된 좌표계 간의 거리와 방향 측정, 가상물체들 간의 간섭 여부 등을 확인하여 처리할 수 있다. 측정 모듈(264)은 랜더링 모듈(263)로부터 증강 이미지를 받고, 사용자 인터페이스(265)를 통해 입력되는 오브젝트 정보에 따라 증강현실 영상을 디스플레이 장치에 제공할 수 있다. 오브젝트 정보는 포지티브 또는 네거티브 정합, 3차원 포인트, 충돌 등에 대한 정보를 포함할 수 있다.The measurement module 264 can check the distance between the virtual objects, measure the distance and direction between the generated coordinate systems, and check whether there is interference between the virtual objects. The measurement module 264 receives the augmented image from the rendering module 263 and provides the augmented reality image to the display device according to the object information input through the user interface 265. [ The object information may include information about a positive or negative match, a three-dimensional point, a collision, and the like.

도 29 및 도 30은 도 26의 스마트 안경의 주요 작동 원리를 설명하기 위한 순서도들이다.FIGS. 29 and 30 are flowcharts for explaining the main operation principle of the smart glasses of FIG.

도 29를 참조하면, 본 실시예에 따른 스마트 안경의 제어장치는 카메라를 통해 스테레오스코픽 이미지를 획득할 수 있다(S201). 제어장치는 스테레오스코픽 이미지에 기초하여 깊이 맵 이미지를 생성할 수 있다.Referring to FIG. 29, the controller of the smart glasses according to the present embodiment can acquire a stereoscopic image through a camera (S201). The control device may generate a depth map image based on the stereoscopic image.

다음, 제어장치는 손 이미지를 검출 또는 추출할 수 있다(S203). 제어장치는 깊이 맵 이미지에서 손 이미지를 추출할 수 있다.Next, the control device can detect or extract the hand image (S203). The control device can extract the hand image from the depth map image.

다음, 제어장치는 일련의 손 이미지에 대응하는 명령을 저장부나 데이터베이스에서 추출할 수 있다(S205). 제어장치는 소정 시간 동안 추출된 손 이미지들에 의해 만들어지는 일련의 손 이미지가 가리키는 벡터 성분과 벡터 성분의 시작점과 끝점에 대응하는 이미지 영역이나 해당 이미지 영역에 위치하는 객체에 대응하여 미리 설정된 명령을 인식할 수 있다. 여기서 객체는 미리 설정된 명령에 대응하여 서로 다른 종류의 메뉴, 아이콘 등의 형태를 구비할 수 있다.Next, the control device can extract a command corresponding to the series of hand images from the storage unit or the database (S205). The control device controls a predetermined command corresponding to an image region corresponding to a start point and an end point of a vector component and a vector component pointed by a series of hand images produced by the hand images extracted for a predetermined time or an object positioned in the image region Can be recognized. Here, the object may have different types of menus, icons, and the like corresponding to a preset command.

본 실시예에 의하면, 스마트 안경의 제어장치는 손 동작을 영상 처리를 통해 감지하고 이를 토대로 스마트 안경에서 보이는 영상을 제어할 수 있다. 예컨대, 영상 제어는 영상 정방향 또는 역방향 넘김, 영상 빨리감기, 영상 되돌려 감기, 영상의 특정 영역에 대한 터치를 인식하여 미리 설정된 명령을 수행하기 등을 포함할 수 있다.According to the present embodiment, the control device of the smart glasses can sense the hand motion through the image processing and control the image displayed on the smart glasses based on the detection. For example, the image control may include forwarding the image forward or backward, fast forwarding the image, rewinding the image, recognizing a touch to a specific area of the image, and performing predetermined commands.

또한, 제어장치는 손 동작 인식을 위해 입력되는 영상 프레임에서 손을 인식하고 손이 위치한 영상을 감지하거나 손의 움직임 방향을 인식 또는 예측하고, 그에 따라 화면 상에 콘텐츠를 올려놓거나 현재 영상을 이동시키거나, 현재 영상을 다른 영상과 중첩하여 배치할 수 있다. 손의 움직임 예측은 손, 손가락, 또는 이들의 조합을 인식하는 것을 포함할 수 있다. 이러한 제스처 인식은 영상처리와 미리 설정된 제스처 정보에 기초하여 수행될 있다.In addition, the control device recognizes the hand in the input image frame to recognize the hand motion, detects the image where the hand is located, recognizes or predicts the direction of the hand motion, and accordingly places the content on the screen or moves the current image Alternatively, the current image can be superimposed on another image. Hand motion prediction may include recognizing a hand, a finger, or a combination thereof. Such gesture recognition may be performed based on image processing and predetermined gesture information.

또한, 본 실시예에 의하면, 증강현실(augmented reality)뿐만 아니라 가상현실(virtual reality), 융합현실(mixed reality) 등에서 손 동작을 사용하는 사용자 인터페이스를 제공할 수 있고, 그에 의해 스마트 안경의 다양한 콘텐츠를 효과적으로 이용할 수 있도록 할 수 있으며, 사용자 편의성을 크게 향상시킬 수 있다.In addition, according to the present embodiment, it is possible to provide not only augmented reality but also a user interface that uses hand movements in virtual reality, mixed reality, and the like, Can be effectively utilized, and the user's convenience can be greatly improved.

일례로, 본 실시예에 의하면, 모니터없이 책상에서 업무를 보거나, 쇼핑을 할 때 스마트 안경을 착용하고 증강현실을 통해 결재를 수행하거나, 증가현실을 통해 네비게이션 기능을 이용하거나, 증강현실 게임을 하거나, 가상현실 동영상을 감상하거나, 증강현실 또는 가상현실로 영상통화를 하거나, 작업자가 스마트 안경을 착용하고 증강현실로 현장에서 작업을 하거나, 스마트폰의 기능을 스마트 안경의 화면에서 간편하게 조작 및 사용할 수 있다.For example, according to the present embodiment, it is possible to perform tasks on a desk without a monitor, to wear smart glasses when shopping, to make a payment through an augmented reality, to use a navigation function through an augmented reality, , Watching a virtual reality video, making a video call with augmented reality or virtual reality, worker wearing smart glasses, working on the field as augmented reality, or simply manipulating and using the functions of smartphones on the screen of smart glasses have.

또한, 도 30을 참조하면, 본 실시예에 따른 스마트 안경의 제어장치는, 카메라를 통해 스테레오스코픽 이미지를 획득하고(S201), 이에 기초하여 손 이미지를 검출 또는 추출하며(S203), 그 다음에 일련의 손 이미지에 대응하여 휴대 단말이나 노트북 등의 모바일 컴퓨팅 장치의 화면 미러링(mirroring)을 수행할 수 있다(S206).Referring to FIG. 30, the control device of the smart glasses according to the present embodiment acquires a stereoscopic image through a camera (S201), detects or extracts a hand image based thereon (S203) The screen mirroring of a mobile computing device such as a mobile terminal or a notebook can be performed corresponding to a series of hand images (S206).

화면 미러링은, 스크린 미러링으로 지칭될 수 있으며, 별도의 선(line)을 연결하지 않고 무선으로 모바일 컴퓨팅 장치의 화면을 스마트 안경의 화면에서 볼 수 있도록 하는 기능을 말한다.Screen mirroring refers to the ability to view a screen of a mobile computing device on the screen of a smart glasses wirelessly without connecting a separate line, which may be referred to as screen mirroring.

화면 미러링을 위해 스마트 안경의 제어장치나 제어보드의 디스플레이 인터페이스는 모바일 컴퓨팅 장치에서 화면 정보를 인코딩하여 주파수로 송신할 때, 이러한 화면 정보를 수신하여 디코딩하고 디코딩된 영상을 디스플레이를 통해 스마트 안경의 화면에 출력할 수 있다. 무선은 블루투스를 포함하나, 이에 한정되지는 않고, 다른 근거리 무선 통신 방식이 사용될 수 있다.The control interface of the smart glasses or the display interface of the control board for the screen mirroring receives and decodes the screen information when the mobile computing device encodes the screen information and transmits the screen information by frequency, and displays the decoded image on the screen of the smart glasses . Wireless includes, but is not limited to, Bluetooth, and other short range wireless communication schemes may be used.

화면 미러링을 이용하면, 스마트 안경에서 통신 기능을 가진 휴대 단말에서 전화 수신, 전화 통화, 영상 통화 등을 수행하거나, 문자 착신, 문자 내용 확인 등을 수행하여 휴대 단말의 전화, 문자 등의 서비스를 편리하게 이용할 수 있도록 할 수 있다.Using screen mirroring, it is possible to perform services such as telephone reception, telephone conversation, video call, and the like by performing reception of a character and confirming the contents of characters in a mobile terminal having a communication function in the smart glasses, So that it can be used.

상기에서는 본 발명의 바람직한 실시예들에 관하여 설명하였지만, 본 발명의 기술분야에서 통상의 지식을 가진 사람이라면 하기의 청구범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음은 이해할 수 있을 것이다.While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it is to be understood that the invention is not limited to the disclosed exemplary embodiments, but, on the contrary, is intended to cover various modifications and equivalent arrangements included within the spirit and scope of the appended claims. It will be understood that the invention may be varied and changed without departing from the scope of the invention.

Claims (19)

안경 프레임 형태를 구비하는 프레임 어셈블리;
상기 프레임 어셈블리에 의해 지지되고 상기 프레임 어셈블리가 사용자의 얼굴에 착용될 때 상기 얼굴의 중앙부 상에 위치하는 디스플레이 장치; 및
상기 프레임 어셈블리에 의해 지지되고 상기 프레임 어셈블리가 사용자의 얼굴에 착용될 때 상기 디스플레이 장치의 영상을 상기 사용자의 양쪽 눈이 위치하는 방향으로 전달하는 광학계(optical system)를 포함하고,
상기 광학계는 상기 사용자의 눈 앞에서 상기 디스플레이 장치로부터 전달되는 영상을 부분 반사 및 부분 투과하는 적어도 하나의 메인렌즈를 구비하고,
상기 사용자의 눈에 보이는 영상은 상기 메인렌즈 뒤에서 일정 거리 떨어진 허상면에 맺히는 영상인 것을 특징으로 하는 스마트 안경.A frame assembly having an eyeglass frame shape;
A display device supported by the frame assembly and positioned on a central portion of the face when the frame assembly is worn on the user's face; And
An optical system supported by the frame assembly and transmitting an image of the display device in a direction in which both eyes of the user are located when the frame assembly is worn on a user's face,
Wherein the optical system includes at least one main lens for partially reflecting and partially transmitting an image transmitted from the display device in front of the user's eyes,
Wherein the visual image of the user is a virtual image formed on a virtual image plane spaced a predetermined distance behind the main lens. 청구항 1에 있어서,
상기 광학계는,
상기 디스플레이 장치에 속한 제1 디스플레이의 제1 영상을 비구면 볼록면을 통해 확대하는 제1 보조렌즈와 상기 제1 보조렌즈에서 전달되는 제1 영상을 반사 및 투과하는 제1 메인렌즈를 구비한 제1 광학 시스템과,
상기 디스플레이 장치에 속한 제2 디스플레이의 제2 영상을 비구면 볼록면을 통해 확대하는 제2 보조렌즈와 상기 제2 보조렌즈에서 전달되는 제2 영상을 반사 및 투과하는 제2 메인렌즈를 구비한 제2 광학 시스템을 포함하는, 스마트 안경.The method according to claim 1,
The optical system includes:
A first auxiliary lens for magnifying a first image of a first display belonging to the display device through an aspherical convex surface and a first main lens for reflecting and transmitting a first image transmitted from the first auxiliary lens, An optical system,
A second auxiliary lens for magnifying a second image of a second display belonging to the display device through an aspherical convex surface and a second main lens for reflecting and transmitting a second image transmitted from the second auxiliary lens, Smart glasses, including optical systems. 청구항 2에 있어서,
상기 광학계는,
상기 제1 디스플레이와 상기 제1 보조렌즈 사이에 배치되어 상기 제1 영상을 반사하는 제1 미러와,
상기 제2 디스플레이와 상기 제2 보조렌즈 사이에 배치되어 상기 제2 영상을 반사하는 제2 미러를 포함하는, 스마트 안경.The method of claim 2,
The optical system includes:
A first mirror disposed between the first display and the first auxiliary lens and reflecting the first image,
And a second mirror disposed between the second display and the second auxiliary lens to reflect the second image. 청구항 3에 있어서,
상기 제1 영상은 상기 제1 디스플레이에서 상기 사용자의 미간 또는 코(nose) 위에 배치되어 상기 사용자의 어느 한쪽 눈 상부에 위치하는 제1 미러로 출력되고, 상기 제1 미러에 의해 상기 눈 상부에서 눈 하부로 반사되어 상기 제1 보조렌즈에 입사되며, 상기 제1 보조렌즈에서 확대되어 상기 제1 메인렌즈에 전달되고, 상기 제1 메인렌즈에서 반사 및 투과되어 상기 사용자의 눈에 보여지며,
상기 제2 영상은 상기 제2 디스플레이에서 상기 사용자의 미간 또는 코(nose) 위에 배치되어 상기 사용자의 나머지 한쪽 눈 상부에 위치하는 제2 미러로 출력되고, 상기 제2 미러에 의해 상기 눈 상부에서 눈 하부로 반사되어 상기 제2 보조렌즈에 입사되며, 상기 제2 보조렌즈에서 확대되어 상기 제2 메인렌즈에 전달되고, 상기 제2 메인렌즈에서 반사 및 투과되어 상기 사용자의 눈에 보여지는, 스마트 안경.The method of claim 3,
Wherein the first image is output to a first mirror disposed on a front or a nose of the user in the first display and positioned above one of the eyes of the user, And is reflected by the first main lens and is reflected by the first main lens and is visible to the user's eyes,
Wherein the second image is output to a second mirror disposed on the user's nose or nose of the second display and positioned above the other eye of the user, And the second main lens is reflected and transmitted to the user's eyes and is reflected by the second main lens, and is reflected by the second main lens, . 청구항 1에 있어서,
상기 제1 메인렌즈와 상기 제2 메인렌즈 각각은 인접한 측면 프레임과의 사이에 빈 공간을 구비하는, 스마트 안경.The method according to claim 1,
Wherein the first main lens and the second main lens each have an empty space between adjacent side frames. 청구항 1에 있어서,
상기 프레임 어셈블리의 중앙 프레임 또는 메인 프레임의 좌측 또는 우측 프레임 부분에 수납되며 상기 제1 및 제2 디스플레이들 중 어느 하나 이상에 연결되는 통신 및 전원 보드를 더 포함하고, 상기 통신 및 전원 보드는 유선으로 외부의 제어 및 전원 장치와 연결되고 상기 제어 및 전원 장치와 상기 제1 및 제2 디스플레이들 간의 신호 및 데이터 통신을 전달하는 스마트 안경.The method according to claim 1,
Further comprising a communication and power board housed in a central frame of the frame assembly or a left or right frame portion of the main frame and connected to one or more of the first and second displays, Smart glasses that are connected to external control and power devices and communicate signal and data communications between the control and power devices and the first and second displays. 청구항 6에 있어서,
상기 통신 및 전원 보드에 연결되는 제어장치를 더 포함하며,
상기 제어장치는 양안 시차에 대응하도록 상기 제1 영상을 기준으로 상기 제2 영상을 일방향으로 일정 픽셀 쉬프트하여 출력하는, 스마트 안경.The method of claim 6,
Further comprising a control device coupled to the communication and power board,
Wherein the control device shifts the second image by a predetermined pixel shift in one direction on the basis of the first image so as to correspond to a binocular parallax. 청구항 6에 있어서,
상기 통신 및 전원 보드에 연결되는 제어장치를 더 포함하며,
상기 제어장치는 3차원 영상 또는 입체 영상의 표시를 위해 상기 제1 영상과 상기 제2 영상을 순차적으로 혹은 교대로 출력하는, 스마트 안경.The method of claim 6,
Further comprising a control device coupled to the communication and power board,
Wherein the controller outputs the first image and the second image sequentially or alternately for display of a three-dimensional image or a stereoscopic image. 청구항 6에 있어서,
상기 제어 및 전원 장치에 포함되는 어플리케이션 프로세서와 배터리 모두를 스마트 안경의 외부에 배치하는, 스마트 안경.The method of claim 6,
Wherein both the application processor and the battery included in the control and power supply device are located outside the smart glasses. 청구항 9에 있어서,
상기 제1 디스플레이와 상기 제2 디스플레이는 제어하기 위한 디스플레이 인터페이스를 내장하는 스마트 안경.The method of claim 9,
Wherein the first display and the second display have built-in display interfaces for controlling. 청구항 6에 있어서,
상기 메인 프레임의 중앙부 외측면에 설치되어 전방을 촬영하며 상기 통신 및 전원 보드를 통해 상기 제어 및 전원 장치에 연결되는 전면 카메라를 더 포함하는 스마트 안경.The method of claim 6,
And a front camera mounted on an outer side surface of a central portion of the main frame and photographing a front side and connected to the control and power device through the communication and power board. 청구항 11에 있어서,
상기 전면 카메라는 일정 간격 이격된 제1 전면 카메라 및 제2 전면 카메라를 포함하는 스마트 안경.The method of claim 11,
Wherein the front camera comprises a first front camera and a second front camera spaced apart at regular intervals. 청구항 6에 있어서,
상기 메인 프레임의 중앙부 내측면에 설치되어 후방측을 촬영하며 상기 통신 및 전원 보드를 통해 상기 제어 및 전원 장치에 연결되는 후면 카메라 또는 센서를 더 포함하는 스마트 안경.The method of claim 6,
And a rear camera or sensor mounted on the inner side of the central portion of the main frame for photographing the rear side and connected to the control and power supply through the communication and power board. 청구항 13에 있어서,
상기 후면 카메라 또는 센서는 상기 사용자의 눈꺼풀을 감지하는 스마트 안경.14. The method of claim 13,
The rear camera or sensor senses the eyelids of the user. 청구항 13에 있어서,
상기 메인 프레임의 좌측 프레임 부분 및 우측 프레임 부분 중 어느 하나 이상에 수납되고 상기 후면 카메라, 상기 센서 또는 상기 제어 및 전원 장치로부터의 신호에 응하여 동작하는 액추에이터 또는 구동기를 더 포함하는 스마트 안경.14. The method of claim 13,
Further comprising an actuator or actuator housed in at least one of a left frame portion and a right frame portion of the main frame and operable in response to signals from the rear camera, the sensor or the control and power supply. 청구항 13에 있어서,
상기 메인 프레임의 좌측 프레임 부분 및 우측 프레임 부분 중 어느 하나 이상에 수납되고 상기 후면 카메라, 상기 센서 또는 상기 제어 및 전원 장치로부터의 신호에 응하여 알람을 출력하는 스피커를 더 포함하는 스마트 안경.14. The method of claim 13,
Further comprising a speaker housed in at least one of a left frame portion and a right frame portion of the main frame and outputting an alarm in response to a signal from the rear camera, the sensor or the control and power supply. 청구항 6에 있어서,
상기 제어 및 전원 장치는 제어장치와 전원장치를 포함하고, 상기 제어장치와 전원장치 중 어느 하나 이상은 메인 프레임에 의해 지지되거나 외부 장치에 탑재되고 상기 외부 장치에 탑재되는 데이터 및 전원 라인을 통해 상기 통신 및 전원 보드에 연결되는 스마트 안경.The method of claim 6,
Wherein the control and power supply device includes a control device and a power supply device, wherein at least one of the control device and the power supply device is supported by a main frame or mounted on an external device, Smart glasses that are connected to communication and power boards. 청구항 1에 있어서,
상기 디스플레이 장치는, LCD(liquid crystal display), DLP(digtal light processing) 프로젝터, LCoS(liquid crystal on silicon) 장치, PDP(plasma display panel), FED(field emission display), ELD(elelctro-luminescent display) 및 OLED(organic light emitting diode) 장치 중 어느 하나를 포함하는, 스마트 안경.The method according to claim 1,
The display device may be a liquid crystal display (LCD), a digtal light processing (DLP) projector, a liquid crystal on silicon (LCoS) device, a plasma display panel (PDP), a field emission display (FED), an elelctro- And an OLED (organic light emitting diode) device. 안경 프레임 형태로 사용자 얼굴에 착용되어 사용자 눈에 영상을 제공하는 스마트 안경의 광학 시스템으로서,
디스플레이 장치의 영상을 반사하는 미러;
상기 미러에서 반사되는 영상을 확대하는 보조렌즈;
상기 보조렌즈에서 확대된 영상을 부분 반사 및 부분 투과시키는 메인렌즈; 및
상기 미러, 상기 보조렌즈 및 상기 메인렌즈를 지지하는 안경 프레임 형태의 프레임 어셈블리를 포함하며,
상기 프레임 어셈블리가 사용자의 머리에 착용될 때, 상기 미러, 상기 보조렌즈 및 상기 메인렌즈는 상기 사용자의 얼굴 중앙부, 미간 또는 코 위에 위치하는 것을 특징으로 하는 광학 시스템.An optical system of a smart eyewear which is worn on a user's face in the form of a spectacle frame to provide an image to the user's eyes,
A mirror for reflecting the image of the display device;
An auxiliary lens for magnifying an image reflected by the mirror;
A main lens for partially reflecting and partially transmitting an image magnified by the auxiliary lens; And
And a frame assembly in the form of a spectacle frame for supporting the mirror, the auxiliary lens, and the main lens,
Wherein when the frame assembly is worn on the user's head, the mirror, the auxiliary lens, and the main lens are located on the center portion of the user's face, the tail or the nose.

Images