KR102570189B1 - Display device and method for controlling the same - Google Patents

Abstract

본 발명은 디스플레이 장치 및 그 제어 방법에 관한 것이다. 디스플레이 장치는 메모리, 거울의 전면에 인접하여 구비되어 디스플레이 영역의 투명도를 조절하여 상기 거울이 노출되도록 하는 투명 디스플레이부, 그리고
상기 투명 디스플레이부가 상기 디스플레이 영역의 적어도 일부 영역의 투명도를 조절하도록 제어하고, 상기 투명도가 조절된 적어도 일부 영역을 제외한 나머지 영역에 소정의 컨텐츠를 디스플레이 하도록 제어하는 제어부를 포함할 수 있다.The present invention relates to a display device and a control method thereof. The display device includes a memory, a transparent display unit provided adjacent to the front surface of the mirror to adjust the transparency of the display area so that the mirror is exposed, and
The transparent display unit may include a control unit that controls transparency of at least a portion of the display area to be adjusted, and controls to display predetermined content on areas other than at least a portion of the area to which the transparency is adjusted.

Description

디스플레이 장치 및 그 제어 방법 {DISPLAY DEVICE AND METHOD FOR CONTROLLING THE SAME}Display device and its control method {DISPLAY DEVICE AND METHOD FOR CONTROLLING THE SAME}

본 발명은 디스플레이 장치 및 그 제어 방법에 관한 것이다. 보다 상세하게는, 본 발명은 투명 디스플레이를 이용한 디스플레이 장치 및 그 제어 방법에 관한 것이다.The present invention relates to a display device and a control method thereof. More specifically, the present invention relates to a display device using a transparent display and a control method thereof.

디스플레이 소재의 기술 분야가 발전함에 따라 다른 소재와 결합된 형태의 디스플레이가 개발되고 있고, 특히 거울 또는 유리와 결합된 형태의 투명 디스플레이에 대한 연구 개발이 활발히 진행되고 있다.As the technology field of display materials develops, displays combined with other materials are being developed, and in particular, research and development on transparent displays combined with mirrors or glass are being actively conducted.

이러한 거울 또는 유리와 결합된 형태의 투명 디스플레이는 거울 기능과 컨텐츠 표시 기능을 제공할 뿐만 아니라 실내 인테리어 효과, 의류 매장에서의 광고 효과 등의 심미적 효과도 함께 제공한다.Such a transparent display combined with a mirror or glass not only provides a mirror function and a content display function, but also provides aesthetic effects such as an indoor interior effect and an advertising effect in a clothing store.

하지만, 지금까지 개발된 거울 또는 유리와 결합된 형태의 투명 디스플레이는 컨텐츠가 디스플레이되는 영역에서 거울과 컨텐츠가 동시에 보여 컨텐츠와 거울에 비친 사용자의 모습 모두 제대로 보이지 않는 문제가 있다.However, the transparent display combined with a mirror or glass that has been developed so far has a problem in that both the content and the user's image reflected in the mirror are not properly seen because the mirror and the content are simultaneously displayed in the area where the content is displayed.

따라서, 이러한 문제를 해결하기 위한 구조의 투명 디스플레이를 이용한 디스플레이 장치가 필요하다.Therefore, there is a need for a display device using a transparent display having a structure to solve this problem.

본 발명의 다양한 실시예는 거울 또는 유리와 결합된 형태의 투명 디스플레이에서 보다 선명하게 디스플레이된 컨텐츠를 제공하는 데 목적이 있다.An object of various embodiments of the present invention is to provide more clearly displayed content on a transparent display combined with a mirror or glass.

또한, 본 발명은 거울 또는 유리와 결합된 형태의 투명 디스플레이를 이용하여 실내 인테리어 효과 등의 심미적 효과를 제공하는 데 목적이 있다.In addition, an object of the present invention is to provide an aesthetic effect such as an indoor interior effect by using a transparent display combined with a mirror or glass.

또한, 본 발명은 투명 디스플레이의 적어도 일부 영역의 투명도를 조절하여 거울 영역과 컨텐츠가 표시되는 영역을 구분하여 표시할 수 있어서, 인터렉티브 거울, 스마트 피팅, 제스쳐 인식을 통한 가상 물체 표현 등의 다양한 효과를 제공하는 데 목적이 있다.In addition, the present invention adjusts the transparency of at least a portion of the transparent display to display the mirror area and the area where the content is displayed separately, thereby providing various effects such as interactive mirror, smart fitting, virtual object expression through gesture recognition, and the like. It aims to provide

본 발명의 일 실시예에 따른 디스플레이 장치는 메모리; 거울의 전면에 인접하여 구비되고, 디스플레이 영역의 투명도를 조절하여 상기 거울이 노출되도록 하는 투명 디스플레이부; 및 상기 투명 디스플레이부가 상기 디스플레이 영역의 적어도 일부 영역의 투명도를 조절하도록 제어하고, 상기 투명도가 조절된 적어도 일부 영역을 제외한 나머지 영역에 소정의 컨텐츠를 디스플레이하도록 제어하는 제어부를 포함할 수 있다.A display device according to an embodiment of the present invention includes a memory; a transparent display unit provided adjacent to the front surface of the mirror and exposing the mirror by adjusting the transparency of the display area; and a controller configured to control the transparent display unit to adjust transparency of at least a portion of the display area, and to display predetermined content on areas other than at least the portion of the display area to which the transparency is adjusted.

본 발명은 거울 또는 유리와 결합된 형태의 투명 디스플레이에서 보다 선명하게 디스플레이된 컨텐츠를 제공할 수 있다.The present invention can provide more clearly displayed content on a transparent display combined with a mirror or glass.

또한, 본 발명은 거울 또는 유리와 결합된 형태의 투명 디스플레이를 이용하여 실내 인테리어 효과 등의 심미적 효과를 제공할 수 있다.In addition, the present invention can provide aesthetic effects such as interior effects by using a transparent display combined with a mirror or glass.

또한, 본 발명은 투명 디스플레이의 투명도를 조절하여 거울 영역과 컨텐츠가 표시되는 영역을 구분하여 표시할 수 있어서, 인터렉티브 거울, 스마트 피팅, 제스쳐 인식을 통한 가상 물체 표현 등의 다양한 효과를 제공할 수 있다.In addition, the present invention adjusts the transparency of the transparent display to distinguish and display the mirror area and the area where content is displayed, thereby providing various effects such as interactive mirror, smart fitting, and virtual object expression through gesture recognition. .

본 발명의 적용 가능성의 추가적인 범위는 이하의 상세한 설명으로부터 명백해질 것이다. 그러나 본 발명의 사상 및 범위 내에서 다양한 변경 및 수정은 당업자에게 명확하게 이해될 수 있으므로, 상세한 설명 및 본 발명의 바람직한 실시 예와 같은 특정 실시 예는 단지 예시로 주어진 것으로 이해되어야 한다.A further scope of the applicability of the present invention will become apparent from the detailed description that follows. However, since various changes and modifications within the spirit and scope of the present invention can be clearly understood by those skilled in the art, it should be understood that the detailed description and specific examples such as preferred embodiments of the present invention are given as examples only.

도 1은 본 발명과 관련된 디스플레이 장치를 설명하기 위한 블록도이다.
도 2는 본 발명과 관련된 디스플레이 장치의 구성을 나타내는 블록도이다.
도 3은 본 발명의 일 실시예에 따른 투명 디스플레이부를 구비하는 디스플레이 장치의 구조를 도시한 도면이다.
도 4는 본 발명의 일 실시예에 따른 디스플레이 장치의 디스플레이 영역의 적어도 일부 영역의 투명도가 조절된 것을 도시한 도면이다.
도 5 내지 도 6은 본 발명의 일 실시예에 따른 디스플레이 장치의 디스플레이 영역의 투명도가 조절된 적어도 일부 영역이 변화하는 것을 도시한 도면이다.
도 7은 본 발명의 일 실시예에 따른 디스플레이 장치가 인테리어 소품으로 활용되는 것을 도시한 도면이다.
도 8은 본 발명의 다른 일 실시예에 따른 디스플레이 장치가 디스플레이 영역의 투명도를 객체의 위치에 따라 조절하는 것을 설명하는 순서도이다.
도 9는 본 발명의 다른 일 실시예에 따른 디스플레이 장치가 디스플레이 영역의 투명도를 객체의 움직임에 따라 조절하는 것을 설명하는 순서도이다.
도 10은 도 8 및 도 9의 순서도에 따라 디스플레이 장치가 디스플레이 영역의 투명도를 조절하는 것을 도시한 도면이다.
도 11은 디스플레이 장치에서 스마트 피팅 모드가 실행되는 것을 설명하는 순서도이다.
도 12는 카메라가 있는 경우의 스마트 피팅 모드가 실행되는 것을 도시한 도면이다.
도 13은 카메라가 없는 경우의 스마트 피팅 모드가 실행되는 것을 도시한 도면이다.
도 14는 사용자의 피팅 히스토리를 제공하는 디스플레이 장치를 도시한 도면이다.
도 15는 본 발명의 또 다른 일 실시예에 따른 디스플레이 장치가 객체의 윤곽을 인식하여 디스플레이 영역의 투명도를 조절하는 것을 설명하는 순서도이다.
도 16은 디스플레이 장치가 객체의 윤곽을 인식하여 인터렉티브 포토존 기능을 제공하는 것을 도시한 도면이다.
도 17은 디스플레이 장치가 객체의 윤곽을 인식하여 가상 게임 이벤트 기능을 제공하는 것을 도시한 도면이다.
도 18은 디스플레이 장치가 객체의 윤곽을 인식하여 외부 환경 연동 기능을 제공하는 것을 도시한 도면이다.1 is a block diagram for explaining a display device related to the present invention.
2 is a block diagram showing the configuration of a display device related to the present invention.
3 is a diagram showing the structure of a display device having a transparent display unit according to an embodiment of the present invention.
4 is a diagram illustrating that transparency of at least a portion of a display area of a display device according to an embodiment of the present invention is adjusted.
5 and 6 are diagrams illustrating a change in at least a portion of an area in which transparency of a display area of a display device according to an embodiment of the present invention is adjusted.
7 is a diagram illustrating that a display device according to an embodiment of the present invention is used as an interior accessory.
FIG. 8 is a flowchart illustrating how a display device according to another embodiment of the present invention adjusts the transparency of a display area according to the position of an object.
9 is a flowchart illustrating how a display device adjusts transparency of a display area according to movement of an object according to another embodiment of the present invention.
FIG. 10 is a diagram illustrating how the display device adjusts transparency of a display area according to the flowcharts of FIGS. 8 and 9 .
11 is a flowchart illustrating execution of a smart fitting mode in a display device.
12 is a diagram illustrating execution of a smart fitting mode when a camera is present.
13 is a diagram illustrating execution of a smart fitting mode when there is no camera.
14 is a diagram illustrating a display device providing a user's fitting history.
15 is a flowchart illustrating how a display device recognizes an outline of an object and adjusts transparency of a display area according to another embodiment of the present invention.
16 is a diagram illustrating that the display device recognizes the outline of an object and provides an interactive photo zone function.
17 is a diagram illustrating that a display device recognizes an outline of an object and provides a virtual game event function.
18 is a diagram illustrating that a display device recognizes an outline of an object and provides an external environment linkage function.

이하, 첨부된 도면을 참조하여 본 명세서에 개시된 실시 예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다. 또한, 본 명세서에 개시된 실시 예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 명세서에 개시된 실시 예의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 명세서에 개시된 실시 예를 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 명세서에 개시된 기술적 사상이 제한되지 않으며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. Hereinafter, the embodiments disclosed in this specification will be described in detail with reference to the accompanying drawings, but the same or similar elements are given the same reference numerals regardless of reference numerals, and redundant description thereof will be omitted. The suffixes "module" and "unit" for components used in the following description are given or used together in consideration of ease of writing the specification, and do not have meanings or roles that are distinct from each other by themselves. In addition, in describing the embodiments disclosed in this specification, if it is determined that a detailed description of a related known technology may obscure the gist of the embodiment disclosed in this specification, the detailed description thereof will be omitted. In addition, the accompanying drawings are only for easy understanding of the embodiments disclosed in this specification, the technical idea disclosed in this specification is not limited by the accompanying drawings, and all changes included in the spirit and technical scope of the present invention , it should be understood to include equivalents or substitutes.

본 명세서에서 설명되는 디스플레이 장치에는 휴대폰, 스마트 폰(smart phone), 노트북 컴퓨터(laptop computer), 디지털방송용 디스플레이 장치, PDA(personal digital assistants), PMP(portable multimedia player), 네비게이션, 슬레이트 PC(slate PC), 태블릿 PC(tablet PC), 울트라북(ultrabook), 웨어러블 디바이스(wearable device, 예를 들어, 워치형 디스플레이 장치 (smartwatch), 글래스형 디스플레이 장치 (smart glass), HMD(head mounted display)) 등이 포함될 수 있다. The display devices described in this specification include mobile phones, smart phones, laptop computers, display devices for digital broadcasting, personal digital assistants (PDAs), portable multimedia players (PMPs), navigation devices, and slate PCs. ), tablet PC, ultrabook, wearable device (eg, watch type display device (smartwatch), glass type display device (smart glass), HMD (head mounted display)), etc. this may be included.

그러나 본 명세서에 기재된 실시 예에 따른 구성은 디스플레이 장치에만 적용 가능한 경우를 제외하면, 디지털 TV, 데스크탑 컴퓨터, 디지털 사이니지 등과 같은 고정 디스플레이 장치에도 적용될 수도 있음을 본 기술분야의 당업자라면 쉽게 알 수 있을 것이다.However, those skilled in the art can easily recognize that the configuration according to the embodiment described in this specification may be applied to fixed display devices such as digital TVs, desktop computers, digital signage, etc., except when applicable only to display devices. will be.

도 1은 본 발명과 관련된 디스플레이 장치를 설명하기 위한 블록도이다.1 is a block diagram for explaining a display device related to the present invention.

상기 디스플레이 장치(100)는 무선 통신부(110), 입력부(120), 센싱부(140), 출력부(150), 인터페이스부(160), 메모리(170), 제어부(180) 및 전원 공급부(190) 등을 포함할 수 있다. 도 1에 도시된 구성요소들은 디스플레이 장치를 구현하는데 있어서 필수적인 것은 아니어서, 본 명세서 상에서 설명되는 디스플레이 장치는 위에서 열거된 구성요소들 보다 많거나, 또는 적은 구성요소들을 가질 수 있다. The display device 100 includes a wireless communication unit 110, an input unit 120, a sensing unit 140, an output unit 150, an interface unit 160, a memory 170, a control unit 180, and a power supply unit 190. ) and the like. The components shown in FIG. 1 are not essential to implement the display device, so the display device described herein may have more or fewer components than the components listed above.

보다 구체적으로, 상기 구성요소들 중 무선 통신부(110)는, 디스플레이 장치(100)와 무선 통신 시스템 사이, 디스플레이 장치(100)와 다른 디스플레이 장치(100) 사이, 또는 디스플레이 장치(100)와 외부서버 사이의 무선 통신을 가능하게 하는 하나 이상의 모듈을 포함할 수 있다. 또한, 상기 무선 통신부(110)는, 디스플레이 장치(100)를 하나 이상의 네트워크에 연결하는 하나 이상의 모듈을 포함할 수 있다.More specifically, among the components, the wireless communication unit 110 is between the display device 100 and a wireless communication system, between the display device 100 and another display device 100, or between the display device 100 and an external server. It may include one or more modules enabling wireless communication between Also, the wireless communication unit 110 may include one or more modules that connect the display device 100 to one or more networks.

이러한 무선 통신부(110)는, 방송 수신 모듈(111), 이동통신 모듈(112), 무선 인터넷 모듈(113), 근거리 통신 모듈(114), 위치정보 모듈(115) 중 적어도 하나를 포함할 수 있다.The wireless communication unit 110 may include at least one of a broadcast reception module 111, a mobile communication module 112, a wireless Internet module 113, a short-distance communication module 114, and a location information module 115. .

입력부(120)는, 영상 신호 입력을 위한 카메라(121) 또는 영상 입력부, 오디오 신호 입력을 위한 마이크로폰(microphone, 122), 또는 오디오 입력부, 사용자로부터 정보를 입력받기 위한 사용자 입력부(123, 예를 들어, 터치키(touch key), 푸시키(mechanical key) 등)를 포함할 수 있다. 입력부(120)에서 수집한 음성 데이터나 이미지 데이터는 분석되어 사용자의 제어명령으로 처리될 수 있다.The input unit 120 includes a camera 121 or video input unit for inputting a video signal, a microphone 122 for inputting an audio signal, or a user input unit 123 for receiving information from a user, for example , a touch key, a push key (mechanical key, etc.). Voice data or image data collected by the input unit 120 may be analyzed and processed as a user's control command.

센싱부(140)는 디스플레이 장치 내 정보, 디스플레이 장치를 둘러싼 주변 환경 정보 및 사용자 정보 중 적어도 하나를 센싱하기 위한 하나 이상의 센서를 포함할 수 있다. 예를 들어, 센싱부(140)는 근접센서(141, proximity sensor), 조도 센서(142, illumination sensor), 터치 센서(touch sensor), 가속도 센서(acceleration sensor), 자기 센서(magnetic sensor), 중력 센서(G-sensor), 자이로스코프 센서(gyroscope sensor), 모션 센서(motion sensor), RGB 센서, 적외선 센서(IR 센서: infrared sensor), 지문인식 센서(finger scan sensor), 초음파 센서(ultrasonic sensor), 광 센서(optical sensor, 예를 들어, 카메라(121 참조)), 마이크로폰(microphone, 122 참조), 배터리 게이지(battery gauge), 환경 센서(예를 들어, 기압계, 습도계, 온도계, 방사능 감지 센서, 열 감지 센서, 가스 감지 센서 등), 화학 센서(예를 들어, 전자 코, 헬스케어 센서, 생체 인식 센서 등) 중 적어도 하나를 포함할 수 있다. 한편, 본 명세서에 개시된 디스플레이 장치는, 이러한 센서들 중 적어도 둘 이상의 센서에서 센싱되는 정보들을 조합하여 활용할 수 있다.The sensing unit 140 may include one or more sensors for sensing at least one of information within the display device, surrounding environment information surrounding the display device, and user information. For example, the sensing unit 140 may include a proximity sensor 141, an illumination sensor 142, a touch sensor, an acceleration sensor, a magnetic sensor, and gravity. Sensor (G-sensor), gyroscope sensor (gyroscope sensor), motion sensor (motion sensor), RGB sensor, infrared sensor (IR sensor), finger scan sensor, ultrasonic sensor , an optical sensor (eg, a camera (see 121)), a microphone (see 122), a battery gauge, an environmental sensor (eg, a barometer, a hygrometer, a thermometer, a radiation detection sensor, It may include at least one of a heat detection sensor, a gas detection sensor, etc.), a chemical sensor (eg, an electronic nose, a healthcare sensor, a biometric sensor, etc.). Meanwhile, the display device disclosed in this specification may combine and utilize information sensed by at least two or more of these sensors.

출력부(150)는 시각, 청각 또는 촉각 등과 관련된 출력을 발생시키기 위한 것으로, 디스플레이부(151), 음향 출력부(152), 햅팁 모듈(153), 광 출력부(154) 중 적어도 하나를 포함할 수 있다. 디스플레이부(151)는 터치 센서와 상호 레이어 구조를 이루거나 일체형으로 형성됨으로써, 터치 스크린을 구현할 수 있다. 이러한 터치 스크린은, 디스플레이 장치(100)와 사용자 사이의 입력 인터페이스를 제공하는 사용자 입력부(123)로써 기능함과 동시에, 디스플레이 장치(100)와 사용자 사이의 출력 인터페이스를 제공할 수 있다.The output unit 150 is for generating an output related to sight, hearing, or touch, and includes at least one of a display unit 151, a sound output unit 152, a haptic module 153, and an optical output unit 154. can do. The display unit 151 may implement a touch screen by forming a mutual layer structure or integrally with the touch sensor. Such a touch screen may function as a user input unit 123 providing an input interface between the display device 100 and the user, and may provide an output interface between the display device 100 and the user.

인터페이스부(160)는 디스플레이 장치(100)에 연결되는 다양한 종류의 외부 기기와의 통로 역할을 수행한다. 이러한 인터페이스부(160)는, 유/무선 헤드셋 포트(port), 외부 충전기 포트(port), 유/무선 데이터 포트(port), 메모리 카드(memory card) 포트, 식별 모듈이 구비된 장치를 연결하는 포트(port), 오디오 I/O(Input/Output) 포트(port), 비디오 I/O(Input/Output) 포트(port), 이어폰 포트(port) 중 적어도 하나를 포함할 수 있다. 디스플레이 장치(100)에서는, 상기 인터페이스부(160)에 외부 기기가 연결되는 것에 대응하여, 연결된 외부 기기와 관련된 적절할 제어를 수행할 수 있다.The interface unit 160 serves as a passage for various types of external devices connected to the display device 100 . The interface unit 160 connects a device equipped with a wired/wireless headset port, an external charger port, a wired/wireless data port, a memory card port, and an identification module. It may include at least one of a port, an audio input/output (I/O) port, a video input/output (I/O) port, and an earphone port. The display device 100 may perform appropriate control related to the connected external device in response to the external device being connected to the interface unit 160 .

또한, 메모리(170)는 디스플레이 장치(100)의 다양한 기능을 지원하는 데이터를 저장한다. 메모리(170)는 디스플레이 장치(100)에서 구동되는 다수의 응용 프로그램(application program 또는 애플리케이션(application)), 디스플레이 장치(100)의 동작을 위한 데이터들, 명령어들을 저장할 수 있다. 이러한 응용 프로그램 중 적어도 일부는, 무선 통신을 통해 외부 서버로부터 다운로드 될 수 있다. 또한 이러한 응용 프로그램 중 적어도 일부는, 디스플레이 장치(100)의 기본적인 기능(예를 들어, 전화 착신, 발신 기능, 메시지 수신, 발신 기능)을 위하여 출고 당시부터 디스플레이 장치(100)상에 존재할 수 있다. 한편, 응용 프로그램은, 메모리(170)에 저장되고, 디스플레이 장치(100) 상에 설치되어, 제어부(180)에 의하여 상기 디스플레이 장치의 동작(또는 기능)을 수행하도록 구동될 수 있다.Also, the memory 170 stores data supporting various functions of the display device 100 . The memory 170 may store a plurality of application programs (applications) that are driven in the display device 100 , data for operating the display device 100 , and commands. At least some of these application programs may be downloaded from an external server through wireless communication. In addition, at least some of these application programs may exist on the display device 100 from the time of shipment for basic functions of the display device 100 (eg, incoming and outgoing calls, outgoing functions, message receiving, and outgoing functions). Meanwhile, the application program may be stored in the memory 170, installed on the display device 100, and driven by the controller 180 to perform an operation (or function) of the display device.

제어부(180)는 상기 응용 프로그램과 관련된 동작 외에도, 통상적으로 디스플레이 장치(100)의 전반적인 동작을 제어한다. 제어부(180)는 위에서 살펴본 구성요소들을 통해 입력 또는 출력되는 신호, 데이터, 정보 등을 처리하거나 메모리(170)에 저장된 응용 프로그램을 구동함으로써, 사용자에게 적절한 정보 또는 기능을 제공 또는 처리할 수 있다.The controller 180 controls general operations of the display device 100 in addition to operations related to the application program. The control unit 180 may provide or process appropriate information or functions to the user by processing signals, data, information, etc. input or output through the components described above or by running an application program stored in the memory 170.

또한, 제어부(180)는 메모리(170)에 저장된 응용 프로그램을 구동하기 위하여, 도 1와 함께 살펴본 구성요소들 중 적어도 일부를 제어할 수 있다. 나아가, 제어부(180)는 상기 응용 프로그램의 구동을 위하여, 디스플레이 장치(100)에 포함된 구성요소들 중 적어도 둘 이상을 서로 조합하여 동작시킬 수 있다.In addition, the controller 180 may control at least some of the components discussed in conjunction with FIG. 1 in order to drive an application program stored in the memory 170 . Furthermore, the controller 180 may combine and operate at least two or more of the components included in the display device 100 to drive the application program.

전원공급부(190)는 제어부(180)의 제어 하에서, 외부의 전원, 내부의 전원을 인가 받아 디스플레이 장치(100)에 포함된 각 구성요소들에 전원을 공급한다. 이러한 전원공급부(190)는 배터리를 포함하며, 상기 배터리는 내장형 배터리 또는 교체 가능한 형태의 배터리가 될 수 있다.The power supply unit 190 receives external power and internal power under the control of the controller 180 and supplies power to each component included in the display device 100 . The power supply unit 190 includes a battery, and the battery may be a built-in battery or a replaceable battery.

상기 각 구성요소들 중 적어도 일부는, 이하에서 설명되는 다양한 실시 예들에 따른 디스플레이 장치의 동작, 제어, 또는 제어방법을 구현하기 위하여 서로 협력하여 동작할 수 있다. 또한, 상기 디스플레이 장치의 동작, 제어, 또는 제어방법은 상기 메모리(170)에 저장된 적어도 하나의 응용 프로그램의 구동에 의하여 디스플레이 장치 상에서 구현될 수 있다.At least some of the components may operate in cooperation with each other in order to implement an operation, control, or control method of a display device according to various embodiments described below. Also, the operation, control, or control method of the display device may be implemented on the display device by driving at least one application program stored in the memory 170 .

이하에서는, 위에서 살펴본 디스플레이 장치(100)를 통하여 구현되는 다양한 실시 예들을 살펴보기에 앞서, 위에서 열거된 구성요소들에 대하여 도 1를 참조하여 보다 구체적으로 살펴본다.Hereinafter, prior to examining various embodiments implemented through the display device 100 discussed above, the above-listed components will be examined in more detail with reference to FIG. 1 .

먼저, 무선 통신부(110)에 대하여 살펴보면, 무선 통신부(110)의 방송 수신 모듈(111)은 방송 채널을 통하여 외부의 방송 관리 서버로부터 방송 신호 및/또는 방송 관련된 정보를 수신한다. 상기 방송 채널은 위성 채널, 지상파 채널을 포함할 수 있다. 적어도 두 개의 방송 채널들에 대한 동시 방송 수신 또는 방송 채널 스위칭을 위해 둘 이상의 상기 방송 수신 모듈이 상기 디스플레이 장치(100)에 제공될 수 있다.First, looking at the wireless communication unit 110, the broadcast reception module 111 of the wireless communication unit 110 receives a broadcast signal and/or broadcast-related information from an external broadcast management server through a broadcast channel. The broadcast channel may include a satellite channel and a terrestrial channel. Two or more broadcast receiving modules may be provided in the display device 100 to receive simultaneous broadcasting of at least two broadcast channels or to switch broadcast channels.

상기 방송 관리 서버는, 방송 신호 및/또는 방송 관련 정보를 생성하여 송신하는 서버 또는 기 생성된 방송 신호 및/또는 방송 관련 정보를 제공받아 디스플레이 장치에 송신하는 서버를 의미할 수 있다. 상기 방송 신호는, TV 방송 신호, 라디오 방송 신호, 데이터 방송 신호를 포함할 뿐만 아니라, TV 방송 신호 또는 라디오 방송 신호에 데이터 방송 신호가 결합한 형태의 방송 신호도 포함할 수 있다. The broadcast management server may refer to a server that generates and transmits a broadcast signal and/or broadcast-related information or a server that receives and transmits a previously generated broadcast signal and/or broadcast-related information to a display device. The broadcast signal includes not only a TV broadcast signal, a radio broadcast signal, and a data broadcast signal, but also a TV broadcast signal or a broadcast signal in which a data broadcast signal is combined with a radio broadcast signal.

상기 방송 신호는 디지털 방송 신호의 송수신을 위한 기술표준들(또는 방송방식, 예를 들어, ISO, IEC, DVB, ATSC 등) 중 적어도 하나에 따라 부호화될 수 있으며, 방송 수신 모듈(111)은 상기 기술표준들에서 정한 기술규격에 적합한 방식을 이용하여 상기 디지털 방송 신호를 수신할 수 있다.The broadcast signal may be encoded according to at least one of technical standards for transmission and reception of digital broadcast signals (or a broadcast method, eg, ISO, IEC, DVB, ATSC, etc.), and the broadcast reception module 111 The digital broadcasting signal can be received using a method suitable for technical standards determined by technical standards.

상기 방송 관련 정보는, 방송 채널, 방송 프로그램 또는 방송 서비스 제공자에 관련된 정보를 의미할 수 있다. 상기 방송 관련 정보는, 이동통신망을 통하여도 제공될 수 있다. 이러한 경우에는 상기 이동통신 모듈(112)에 의해 수신될 수 있다. The broadcast related information may mean information related to a broadcast channel, a broadcast program, or a broadcast service provider. The broadcast-related information may also be provided through a mobile communication network. In this case, it can be received by the mobile communication module 112.

상기 방송 관련 정보는 예를 들어, DMB(Digital Multimedia Broadcasting)의 EPG(Electronic Program Guide) 또는 DVB-H(Digital Video Broadcast-Handheld)의 ESG(Electronic Service Guide) 등의 다양한 형태로 존재할 수 있다. 방송 수신 모듈(111)을 통해 수신된 방송 신호 및/또는 방송 관련 정보는 메모리(170)에 저장될 수 있다.The broadcast-related information may exist in various forms, such as, for example, an Electronic Program Guide (EPG) of Digital Multimedia Broadcasting (DMB) or an Electronic Service Guide (ESG) of Digital Video Broadcast-Handheld (DVB-H). Broadcast signals received through the broadcast receiving module 111 and/or broadcast-related information may be stored in the memory 170 .

이동통신 모듈(112)은, 이동통신을 위한 기술표준들 또는 통신방식(예를 들어, GSM(Global System for Mobile communication), CDMA(Code Division Multi Access), CDMA2000(Code Division Multi Access 2000), EV-DO(Enhanced Voice-Data Optimized or Enhanced Voice-Data Only), WCDMA(Wideband CDMA), HSDPA(High Speed Downlink Packet Access), HSUPA(High Speed Uplink Packet Access), LTE(Long Term Evolution), LTE-A(Long Term Evolution-Advanced) 등)에 따라 구축된 이동 통신망 상에서 기지국, 외부의 단말, 서버 중 적어도 하나와 무선 신호를 송수신한다. The mobile communication module 112 complies with technical standards or communication methods for mobile communication (eg, Global System for Mobile communication (GSM), Code Division Multi Access (CDMA), Code Division Multi Access 2000 (CDMA2000), EV) -DO(Enhanced Voice-Data Optimized or Enhanced Voice-Data Only), WCDMA(Wideband CDMA), HSDPA(High Speed Downlink Packet Access), HSUPA(High Speed Uplink Packet Access), LTE(Long Term Evolution), LTE-A (Long Term Evolution-Advanced), etc.) to transmit and receive radio signals with at least one of a base station, an external terminal, and a server on a mobile communication network.

상기 무선 신호는, 음성 호 신호, 화상 통화 호 신호 또는 문자/멀티미디어 메시지 송수신에 따른 다양한 형태의 데이터를 포함할 수 있다. The wireless signal may include a voice call signal, a video call signal, or various types of data according to text/multimedia message transmission/reception.

무선 인터넷 모듈(113)은 무선 인터넷 접속을 위한 모듈을 말하는 것으로, 디스플레이 장치(100)에 내장되거나 외장될 수 있다. 무선 인터넷 모듈(113)은 무선 인터넷 기술들에 따른 통신망에서 무선 신호를 송수신하도록 이루어진다.The wireless Internet module 113 refers to a module for wireless Internet access, and may be built into or external to the display device 100 . The wireless Internet module 113 is configured to transmit and receive radio signals in a communication network according to wireless Internet technologies.

무선 인터넷 기술로는, 예를 들어 WLAN(Wireless LAN), Wi-Fi(Wireless-Fidelity), Wi-Fi(Wireless Fidelity) Direct, DLNA(Digital Living Network Alliance), WiBro(Wireless Broadband), WiMAX(World Interoperability for Microwave Access), HSDPA(High Speed Downlink Packet Access), HSUPA(High Speed Uplink Packet Access), LTE(Long Term Evolution), LTE-A(Long Term Evolution-Advanced) 등이 있으며, 상기 무선 인터넷 모듈(113)은 상기에서 나열되지 않은 인터넷 기술까지 포함한 범위에서 적어도 하나의 무선 인터넷 기술에 따라 데이터를 송수신하게 된다.Wireless Internet technologies include, for example, WLAN (Wireless LAN), Wi-Fi (Wireless-Fidelity), Wi-Fi (Wireless Fidelity) Direct, DLNA (Digital Living Network Alliance), WiBro (Wireless Broadband), WiMAX (World Interoperability for Microwave Access), HSDPA (High Speed Downlink Packet Access), HSUPA (High Speed Uplink Packet Access), LTE (Long Term Evolution), LTE-A (Long Term Evolution-Advanced), etc., and the wireless Internet module ( 113) transmits and receives data according to at least one wireless Internet technology within a range including Internet technologies not listed above.

WiBro, HSDPA, HSUPA, GSM, CDMA, WCDMA, LTE, LTE-A 등에 의한 무선인터넷 접속은 이동통신망을 통해 이루어진다는 관점에서 본다면, 상기 이동통신망을 통해 무선인터넷 접속을 수행하는 상기 무선 인터넷 모듈(113)은 상기 이동통신 모듈(112)의 일종으로 이해될 수도 있다.From the viewpoint that wireless Internet access by WiBro, HSDPA, HSUPA, GSM, CDMA, WCDMA, LTE, LTE-A, etc. is made through a mobile communication network, the wireless Internet module (113) performing wireless Internet access through the mobile communication network ) may be understood as a kind of the mobile communication module 112.

근거리 통신 모듈(114)은 근거리 통신(Short range communication)을 위한 것으로서, 블루투스(Bluetooth™), RFID(Radio Frequency Identification), 적외선 통신(Infrared Data Association; IrDA), UWB(Ultra Wideband), ZigBee, NFC(Near Field Communication), Wi-Fi(Wireless-Fidelity), Wi-Fi Direct, Wireless USB(Wireless Universal Serial Bus) 기술 중 적어도 하나를 이용하여, 근거리 통신을 지원할 수 있다. 이러한, 근거리 통신 모듈(114)은, 근거리 무선 통신망(Wireless Area Networks)을 통해 디스플레이 장치(100)와 무선 통신 시스템 사이, 디스플레이 장치(100)와 다른 디스플레이 장치(100) 사이, 또는 디스플레이 장치(100)와 다른 디스플레이 장치(100, 또는 외부서버)가 위치한 네트워크 사이의 무선 통신을 지원할 수 있다. 상기 근거리 무선 통신망은 근거리 무선 개인 통신망(Wireless Personal Area Networks)일 수 있다.The short-range communication module 114 is for short-range communication, and includes Bluetooth™, Radio Frequency Identification (RFID), Infrared Data Association (IrDA), Ultra Wideband (UWB), ZigBee, and NFC. Near Field Communication (Near Field Communication), Wi-Fi (Wireless-Fidelity), Wi-Fi Direct, and wireless USB (Wireless Universal Serial Bus) technology may be used to support short-distance communication. The short-range communication module 114 may be used between the display device 100 and a wireless communication system, between the display device 100 and other display devices 100, or between the display device 100 through wireless local area networks. ) and a network where another display device 100 (or an external server) is located. The local area wireless communication network may be a local area wireless personal area network (Wireless Personal Area Networks).

여기에서, 다른 디스플레이 장치(100)는 본 발명에 따른 디스플레이 장치(100)와 데이터를 상호 교환하는 것이 가능한(또는 연동 가능한) 웨어러블 디바이스(wearable device, 예를 들어, 스마트워치(smartwatch), 스마트 글래스(smart glass), HMD(head mounted display))가 될 수 있다. 근거리 통신 모듈(114)은, 디스플레이 장치(100) 주변에, 상기 디스플레이 장치(100)와 통신 가능한 웨어러블 디바이스를 감지(또는 인식)할 수 있다. 나아가, 제어부(180)는 상기 감지된 웨어러블 디바이스가 본 발명에 따른 디스플레이 장치(100)와 통신하도록 인증된 디바이스인 경우, 디스플레이 장치(100)에서 처리되는 데이터의 적어도 일부를, 상기 근거리 통신 모듈(114)을 통해 웨어러블 디바이스로 전송할 수 있다. 따라서, 웨어러블 디바이스의 사용자는, 디스플레이 장치(100)에서 처리되는 데이터를, 웨어러블 디바이스를 통해 이용할 수 있다. 예를 들어, 이에 따르면 사용자는, 디스플레이 장치(100)에 전화가 수신된 경우, 웨어러블 디바이스를 통해 전화 통화를 수행하거나, 디스플레이 장치(100)에 메시지가 수신된 경우, 웨어러블 디바이스를 통해 상기 수신된 메시지를 확인하는 것이 가능하다.Here, the other display device 100 is a wearable device capable of (or interlocking) exchanging data with the display device 100 according to the present invention (for example, a smart watch), smart glasses (smart glass) or HMD (head mounted display). The short-distance communication module 114 may detect (or recognize) a wearable device capable of communicating with the display apparatus 100 around the display apparatus 100 . Furthermore, if the detected wearable device is a device authorized to communicate with the display apparatus 100 according to the present invention, the control unit 180 transmits at least a portion of data processed by the display apparatus 100 to the short-range communication module ( 114) can be transmitted to the wearable device. Accordingly, a user of the wearable device may use data processed by the display apparatus 100 through the wearable device. For example, according to this, when a call is received on the display apparatus 100, the user makes a phone call through the wearable device, or when a message is received on the display apparatus 100, the received message is received through the wearable device. It is possible to check the message.

위치정보 모듈(115)은 디스플레이 장치의 위치(또는 현재 위치)를 획득하기 위한 모듈로서, 그의 대표적인 예로는 GPS(Global Positioning System) 모듈 또는 WiFi(Wireless Fidelity) 모듈이 있다. 예를 들어, 디스플레이 장치는 GPS모듈을 활용하면, GPS 위성에서 보내는 신호를 이용하여 디스플레이 장치의 위치를 획득할 수 있다. 다른 예로서, 디스플레이 장치는 Wi-Fi모듈을 활용하면, Wi-Fi모듈과 무선신호를 송신 또는 수신하는 무선 AP(Wireless Access Point)의 정보에 기반하여, 디스플레이 장치의 위치를 획득할 수 있다. 필요에 따라서, 위치정보모듈(115)은 치환 또는 부가적으로 디스플레이 장치의 위치에 관한 데이터를 얻기 위해 무선 통신부(110)의 다른 모듈 중 어느 기능을 수행할 수 있다. 위치정보모듈(115)은 디스플레이 장치의 위치(또는 현재 위치)를 획득하기 위해 이용되는 모듈로, 디스플레이 장치의 위치를 직접적으로 계산하거나 획득하는 모듈로 한정되지는 않는다.The location information module 115 is a module for acquiring the location (or current location) of the display device, and representative examples thereof include a Global Positioning System (GPS) module or a Wireless Fidelity (WiFi) module. For example, if the display device utilizes a GPS module, the location of the display device may be obtained using a signal transmitted from a GPS satellite. As another example, when the display device utilizes the Wi-Fi module, the location of the display device may be obtained based on information of a wireless access point (AP) that transmits or receives a wireless signal with the Wi-Fi module. If necessary, the location information module 115 may perform any function among other modules of the wireless communication unit 110 to obtain data on the location of the display device in substitution or addition. The location information module 115 is a module used to obtain the location (or current location) of the display device, and is not limited to a module that directly calculates or acquires the location of the display device.

다음으로, 입력부(120)는 영상 정보(또는 신호), 오디오 정보(또는 신호), 데이터, 또는 사용자로부터 입력되는 정보의 입력을 위한 것으로서, 영상 정보의 입력을 위하여, 디스플레이 장치(100) 는 하나 또는 복수의 카메라(121)를 구비할 수 있다. 카메라(121)는 화상 통화모드 또는 촬영 모드에서 이미지 센서에 의해 얻어지는 정지영상 또는 동영상 등의 화상 프레임을 처리한다. 처리된 화상 프레임은 디스플레이부(151)에 표시되거나 메모리(170)에 저장될 수 있다. 한편, 디스플레이 장치(100)에 구비되는 복수의 카메라(121)는 매트릭스 구조를 이루도록 배치될 수 있으며, 이와 같이 매트릭스 구조를 이루는 카메라(121)를 통하여, 디스플레이 장치(100)에는 다양한 각도 또는 초점을 갖는 복수의 영상정보가 입력될 수 있다. 또한, 복수의 카메라(121)는 입체영상을 구현하기 위한 좌 영상 및 우 영상을 획득하도록, 스트레오 구조로 배치될 수 있다.Next, the input unit 120 is for inputting image information (or signals), audio information (or signals), data, or information input from a user. For inputting image information, the display device 100 has one Alternatively, a plurality of cameras 121 may be provided. The camera 121 processes an image frame such as a still image or a moving image obtained by an image sensor in a video call mode or a photographing mode. The processed image frame may be displayed on the display unit 151 or stored in the memory 170 . Meanwhile, the plurality of cameras 121 provided in the display device 100 may be arranged to form a matrix structure, and through the cameras 121 forming the matrix structure, various angles or focal points may be provided to the display device 100. A plurality of image information having may be input. In addition, the plurality of cameras 121 may be arranged in a stereo structure to obtain left and right images for realizing a stereoscopic image.

마이크로폰(122)은 외부의 음향 신호를 전기적인 음성 데이터로 처리한다. 처리된 음성 데이터는 디스플레이 장치(100)에서 수행 중인 기능(또는 실행 중인 응용 프로그램)에 따라 다양하게 활용될 수 있다. 한편, 마이크로폰(122)에는 외부의 음향 신호를 입력 받는 과정에서 발생되는 잡음(noise)을 제거하기 위한 다양한 잡음 제거 알고리즘이 구현될 수 있다.The microphone 122 processes external sound signals into electrical voice data. The processed voice data may be utilized in various ways according to the function (or application program being executed) being performed in the display device 100 . Meanwhile, various noise cancellation algorithms for removing noise generated in the process of receiving an external sound signal may be implemented in the microphone 122 .

사용자 입력부(123)는 사용자로부터 정보를 입력받기 위한 것으로서, 사용자 입력부(123)를 통해 정보가 입력되면, 제어부(180)는 입력된 정보에 대응되도록 디스플레이 장치(100)의 동작을 제어할 수 있다. 이러한, 사용자 입력부(123)는 기계식 (mechanical) 입력수단(또는, 메커니컬 키, 예를 들어, 디스플레이 장치(100)의 전·후면 또는 측면에 위치하는 버튼, 돔 스위치 (dome switch), 조그 휠, 조그 스위치 등) 및 터치식 입력수단을 포함할 수 있다. 일 예로서, 터치식 입력수단은, 소프트웨어적인 처리를 통해 터치스크린에 표시되는 가상 키(virtual key), 소프트 키(soft key) 또는 비주얼 키(visual key)로 이루어지거나, 상기 터치스크린 이외의 부분에 배치되는 터치 키(touch key)로 이루어질 수 있다. 한편, 상기 가상키 또는 비주얼 키는, 다양한 형태를 가지면서 터치스크린 상에 표시되는 것이 가능하며, 예를 들어, 그래픽(graphic), 텍스트(text), 아이콘(icon), 비디오(video) 또는 이들의 조합으로 이루어질 수 있다. The user input unit 123 is for receiving information from a user. When information is input through the user input unit 123, the controller 180 can control the operation of the display device 100 to correspond to the input information. . The user input unit 123 is a mechanical input means (or a mechanical key, for example, a button located on the front, rear or side of the display device 100, a dome switch, a jog wheel, jog switch, etc.) and a touch input means. As an example, the touch input means consists of a virtual key, soft key, or visual key displayed on a touch screen through software processing, or a part other than the touch screen. It can be made of a touch key (touch key) disposed on. On the other hand, the virtual key or visual key can be displayed on the touch screen while having various forms, for example, graphic (graphic), text (text), icon (icon), video (video) or these may be made of a combination of

한편, 센싱부(140)는 디스플레이 장치 내 정보, 디스플레이 장치를 둘러싼 주변 환경 정보 및 사용자 정보 중 적어도 하나를 센싱하고, 이에 대응하는 센싱 신호를 발생시킨다. 제어부(180)는 이러한 센싱 신호에 기초하여, 디스플레이 장치(100)의 구동 또는 동작을 제어하거나, 디스플레이 장치(100)에 설치된 응용 프로그램과 관련된 데이터 처리, 기능 또는 동작을 수행 할 수 있다. 센싱부(140)에 포함될 수 있는 다양한 센서 중 대표적인 센서들의 대하여, 보다 구체적으로 살펴본다.Meanwhile, the sensing unit 140 senses at least one of information within the display device, surrounding environment information surrounding the display device, and user information, and generates a sensing signal corresponding thereto. Based on these sensing signals, the controller 180 may control driving or operation of the display device 100 or may process data, function, or operate related to an application program installed in the display device 100 . Representative sensors among various sensors that may be included in the sensing unit 140 will be described in more detail.

먼저, 근접 센서(141)는 소정의 검출면에 접근하는 물체, 혹은 근방에 존재하는 물체의 유무를 전자계의 힘 또는 적외선 등을 이용하여 기계적 접촉이 없이 검출하는 센서를 말한다. 이러한 근접 센서(141)는 위에서 살펴본 터치 스크린에 의해 감싸지는 디스플레이 장치의 내부 영역 또는 상기 터치 스크린의 근처에 근접 센서(141)가 배치될 수 있다. First, the proximity sensor 141 refers to a sensor that detects the presence or absence of an object approaching a predetermined detection surface or an object existing nearby without mechanical contact by using the force of an electromagnetic field or infrared rays. The proximity sensor 141 may be disposed in an inner area of the display device surrounded by the touch screen as described above or in the vicinity of the touch screen.

근접 센서(141)의 예로는 투과형 광전 센서, 직접 반사형 광전 센서, 거울 반사형 광전 센서, 고주파 발진형 근접 센서, 정전 용량형 근접 센서, 자기형 근접 센서, 적외선 근접 센서 등이 있다. 터치 스크린이 정전식인 경우에, 근접 센서(141)는 전도성을 갖는 물체의 근접에 따른 전계의 변화로 상기 물체의 근접을 검출하도록 구성될 수 있다. 이 경우 터치 스크린(또는 터치 센서) 자체가 근접 센서로 분류될 수 있다. Examples of the proximity sensor 141 include a transmission type photoelectric sensor, a direct reflection type photoelectric sensor, a mirror reflection type photoelectric sensor, a high frequency oscillation type proximity sensor, a capacitance type proximity sensor, a magnetic type proximity sensor, an infrared proximity sensor, and the like. If the touch screen is a capacitive type, the proximity sensor 141 may be configured to detect the proximity of a conductive object as a change in electric field according to the proximity of the object. In this case, the touch screen (or touch sensor) itself may be classified as a proximity sensor.

한편, 설명의 편의를 위해, 터치 스크린 상에 물체가 접촉되지 않으면서 근접되어 상기 물체가 상기 터치 스크린 상에 위치함이 인식되도록 하는 행위를 "근접 터치(proximity touch)"라고 명명하고, 상기 터치 스크린 상에 물체가 실제로 접촉되는 행위를 "접촉 터치(contact touch)"라고 명명한다. 상기 터치 스크린 상에서 물체가 근접 터치 되는 위치라 함은, 상기 물체가 근접 터치될 때 상기 물체가 상기 터치 스크린에 대해 수직으로 대응되는 위치를 의미한다. 상기 근접 센서(141)는, 근접 터치와, 근접 터치 패턴(예를 들어, 근접 터치 거리, 근접 터치 방향, 근접 터치 속도, 근접 터치 시간, 근접 터치 위치, 근접 터치 이동 상태 등)을 감지할 수 있다. 한편, 제어부(180)는 위와 같이, 근접 센서(141)를 통해 감지된 근접 터치 동작 및 근접 터치 패턴에 상응하는 데이터(또는 정보)를 처리하며, 나아가, 처리된 데이터에 대응하는 시각적인 정보를 터치 스크린상에 출력시킬 수 있다. 나아가, 제어부(180)는, 터치 스크린 상의 동일한 지점에 대한 터치가, 근접 터치인지 또는 접촉 터치인지에 따라, 서로 다른 동작 또는 데이터(또는 정보)가 처리되도록 디스플레이 장치(100)를 제어할 수 있다.On the other hand, for convenience of description, an action of approaching a touch screen without contacting an object to recognize that the object is located on the touch screen is referred to as a "proximity touch", and the touch An act of actually touching an object on a screen is called a "contact touch". The location at which an object is proximity-touched on the touch screen means a location at which the object corresponds vertically to the touch screen when the object is proximity-touched. The proximity sensor 141 may detect a proximity touch and a proximity touch pattern (eg, proximity touch distance, proximity touch direction, proximity touch speed, proximity touch time, proximity touch position, proximity touch movement state, etc.) there is. Meanwhile, as described above, the controller 180 processes data (or information) corresponding to the proximity touch operation and proximity touch pattern detected through the proximity sensor 141, and furthermore, visual information corresponding to the processed data. It can be output on the touch screen. Furthermore, the controller 180 may control the display device 100 to process different operations or data (or information) depending on whether a touch to the same point on the touch screen is a proximity touch or a contact touch. .

터치 센서는 저항막 방식, 정전용량 방식, 적외선 방식, 초음파 방식, 자기장 방식 등 여러 가지 터치방식 중 적어도 하나를 이용하여 터치 스크린(또는 디스플레이부(151))에 가해지는 터치(또는 터치입력)을 감지한다.The touch sensor detects a touch (or touch input) applied to the touch screen (or the display unit 151) using at least one of various touch methods such as a resistive film method, a capacitive method, an infrared method, an ultrasonic method, and a magnetic field method. detect

일 예로서, 터치 센서는, 터치 스크린의 특정 부위에 가해진 압력 또는 특정 부위에 발생하는 정전 용량 등의 변화를 전기적인 입력신호로 변환하도록 구성될 수 있다. 터치 센서는, 터치 스크린 상에 터치를 가하는 터치 대상체가 터치 센서 상에 터치 되는 위치, 면적, 터치 시의 압력, 터치 시의 정전 용량 등을 검출할 수 있도록 구성될 수 있다. 여기에서, 터치 대상체는 상기 터치 센서에 터치를 인가하는 물체로서, 예를 들어, 손가락, 터치펜 또는 스타일러스 펜(Stylus pen), 포인터 등이 될 수 있다. As an example, the touch sensor may be configured to convert a change in pressure applied to a specific part of the touch screen or capacitance generated in a specific part into an electrical input signal. The touch sensor may be configured to detect a location, area, pressure upon touch, capacitance upon touch, and the like, at which a touch object that applies a touch to the touch screen is touched on the touch sensor. Here, the touch object is an object that applies a touch to the touch sensor, and may be, for example, a finger, a touch pen, a stylus pen, or a pointer.

이와 같이, 터치 센서에 대한 터치 입력이 있는 경우, 그에 대응하는 신호(들)는 터치 제어기로 보내진다. 터치 제어기는 그 신호(들)를 처리한 다음 대응하는 데이터를 제어부(180)로 전송한다. 이로써, 제어부(180)는 디스플레이부(151)의 어느 영역이 터치 되었는지 여부 등을 알 수 있게 된다. 여기에서, 터치 제어기는, 제어부(180)와 별도의 구성요소일 수 있고, 제어부(180) 자체일 수 있다. As such, when there is a touch input to the touch sensor, the corresponding signal(s) is sent to the touch controller. The touch controller processes the signal(s) and then transmits corresponding data to the controller 180. Thus, the controller 180 can know which area of the display unit 151 has been touched. Here, the touch controller may be a component separate from the controller 180 or may be the controller 180 itself.

한편, 제어부(180)는, 터치 스크린(또는 터치 스크린 이외에 구비된 터치키)을 터치하는, 터치 대상체의 종류에 따라 서로 다른 제어를 수행하거나, 동일한 제어를 수행할 수 있다. 터치 대상체의 종류에 따라 서로 다른 제어를 수행할지 또는 동일한 제어를 수행할 지는, 현재 디스플레이 장치(100)의 동작상태 또는 실행 중인 응용 프로그램에 따라 결정될 수 있다. Meanwhile, the controller 180 may perform different controls or the same control according to the type of the touch object that touches the touch screen (or a touch key provided other than the touch screen). Whether to perform different controls or the same control according to the type of touch object may be determined according to an operating state of the display device 100 or an application program being executed.

한편, 위에서 살펴본 터치 센서 및 근접 센서는 독립적으로 또는 조합되어, 터치 스크린에 대한 숏(또는 탭) 터치(short touch), 롱 터치(long touch), 멀티 터치(multi touch), 드래그 터치(drag touch), 플리크 터치(flick touch), 핀치-인 터치(pinch-in touch), 핀치-아웃 터치(pinch-out 터치), 스와이프(swype) 터치, 호버링(hovering) 터치 등과 같은, 다양한 방식의 터치를 센싱할 수 있다.On the other hand, the touch sensor and proximity sensor described above are independently or combined, short (or tap) touch, long touch, multi-touch, drag touch on the touch screen ), flick touch, pinch-in touch, pinch-out touch, swipe touch, hovering touch, etc. Touch can be sensed.

초음파 센서는 초음파를 이용하여, 감지대상의 위치정보를 인식할 수 있다. 한편 제어부(180)는 광 센서와 복수의 초음파 센서로부터 감지되는 정보를 통해, 파동 발생원의 위치를 산출하는 것이 가능하다. 파동 발생원의 위치는, 광이 초음파보다 매우 빠른 성질, 즉, 광이 광 센서에 도달하는 시간이 초음파가 초음파 센서에 도달하는 시간보다 매우 빠름을 이용하여, 산출될 수 있다. 보다 구체적으로 광을 기준 신호로 초음파가 도달하는 시간과의 시간차를 이용하여 파동 발생원의 위치가 산출될 수 있다.The ultrasonic sensor may recognize location information of a sensing object by using ultrasonic waves. Meanwhile, the controller 180 may calculate the location of the wave generating source through information detected by the optical sensor and the plurality of ultrasonic sensors. The position of the wave generating source can be calculated using the property that light is much faster than ultrasonic waves, that is, the time for light to reach the optical sensor is much faster than the time for ultrasonic waves to reach the ultrasonic sensor. More specifically, the location of the wave generating source may be calculated by using light as a reference signal and a time difference between the arrival time of ultrasonic waves.

한편, 입력부(120)의 구성으로 살펴본, 카메라(121)는 카메라 센서(예를 들어, CCD, CMOS 등), 포토 센서(또는 이미지 센서) 및 레이저 센서 중 적어도 하나를 포함한다.Meanwhile, looking at the configuration of the input unit 120, the camera 121 includes at least one of a camera sensor (eg, CCD, CMOS, etc.), a photo sensor (or image sensor), and a laser sensor.

카메라(121)와 레이저 센서는 서로 조합되어, 3차원 입체영상에 대한 감지대상의 터치를 감지할 수 있다. 포토 센서는 디스플레이 소자에 적층될 수 있는데, 이러한 포토 센서는 터치 스크린에 근접한 감지대상의 움직임을 스캐닝하도록 이루어진다. 보다 구체적으로, 포토 센서는 행/열에 Photo Diode와 TR(Transistor)를 실장하여 Photo Diode에 인가되는 빛의 양에 따라 변화되는 전기적 신호를 이용하여 포토 센서 위에 올려지는 내용물을 스캔한다. 즉, 포토 센서는 빛의 변화량에 따른 감지대상의 좌표 계산을 수행하며, 이를 통하여 감지대상의 위치정보가 획득될 수 있다.The camera 121 and the laser sensor may be combined with each other to detect a touch of a sensing target for a 3D stereoscopic image. A photo sensor may be stacked on a display device, and the photo sensor is configured to scan a motion of a sensing target close to the touch screen. More specifically, the photo sensor scans the content placed on the photo sensor by mounting photo diodes and transistors (TRs) in rows/columns and using electrical signals that change according to the amount of light applied to the photo diodes. That is, the photo sensor calculates the coordinates of the sensing object according to the change in light, and through this, the location information of the sensing object can be obtained.

디스플레이부(151)는 디스플레이 장치(100)에서 처리되는 정보를 표시(출력)한다. 예를 들어, 디스플레이부(151)는 디스플레이 장치(100)에서 구동되는 응용 프로그램의 실행화면 정보, 또는 이러한 실행화면 정보에 따른 UI(User Interface), GUI(Graphic User Interface) 정보를 표시할 수 있다. The display unit 151 displays (outputs) information processed by the display device 100 . For example, the display unit 151 may display execution screen information of an application program driven on the display device 100 or UI (User Interface) and GUI (Graphic User Interface) information according to such execution screen information. .

또한, 상기 디스플레이부(151)는 입체영상을 표시하는 입체 디스플레이부로서 구성될 수 있다.Also, the display unit 151 may be configured as a 3D display unit that displays a 3D image.

상기 입체 디스플레이부에는 스테레오스코픽 방식(안경 방식), 오토 스테레오스코픽 방식(무안경 방식), 프로젝션 방식(홀로그래픽 방식) 등의 3차원 디스플레이 방식이 적용될 수 있다.A 3D display method such as a stereoscopic method (glasses method), an auto stereoscopic method (non-glasses method), or a projection method (holographic method) may be applied to the 3D display unit.

일반적으로 3차원 입체 영상은 좌 영상(좌안용 영상)과 우 영상(우안용 영상)으로 구성된다. 좌 영상과 우 영상이 3차원 입체 영상으로 합쳐지는 방식에 따라, 좌 영상과 우 영상을 한 프레임 내 상하로 배치하는 탑-다운(top-down) 방식, 좌 영상과 우 영상을 한 프레임 내 좌우로 배치하는 L-to-R(left-to-right, side by side) 방식, 좌 영상과 우 영상의 조각들을 타일 형태로 배치하는 체커 보드(checker board) 방식, 좌 영상과 우 영상을 열 단위 또는 행 단위로 번갈아 배치하는 인터레이스드(interlaced) 방식, 그리고 좌 영상과 우 영상을 시간 별로 번갈아 표시하는 시분할(time sequential, frame by frame) 방식 등으로 나뉜다.In general, a 3D stereoscopic image is composed of a left image (image for the left eye) and a right image (image for the right eye). According to the method of combining the left and right images into a 3D stereoscopic image, top-down method in which the left and right images are arranged up and down in one frame, left and right images in one frame L-to-R (left-to-right, side by side) method for arranging left and right images, checker board method for arranging pieces of left and right images in tile form, and left and right images in units of columns Alternatively, it is divided into an interlaced method that alternately arranges rows, and a time-sequential, frame-by-frame method that alternately displays a left image and a right image by time.

또한, 3차원 썸네일 영상은 원본 영상 프레임의 좌 영상 및 우 영상으로부터 각각 좌 영상 썸네일 및 우 영상 썸네일을 생성하고, 이들이 합쳐짐에 따라 하나의 영상으로 생성될 수 있다. 일반적으로 썸네일(thumbnail)은 축소된 화상 또는 축소된 정지영상을 의미한다. 이렇게 생성된 좌 영상 썸네일과 우 영상 썸네일은 좌 영상과 우 영상의 시차에 대응하는 깊이감(depth)만큼 화면 상에서 좌우 거리차를 두고 표시됨으로써 입체적인 공간감을 나타낼 수 있다.Also, the 3D thumbnail image may be generated as a single image by generating left and right image thumbnails from the left and right images of the original image frame, respectively, and combining them. In general, a thumbnail refers to a reduced image or a reduced still image. The generated left and right image thumbnails are displayed with a left and right distance difference on the screen by a depth corresponding to the parallax between the left and right images, thereby representing a three-dimensional sense of space.

3차원 입체영상의 구현에 필요한 좌 영상과 우 영상은 입체 처리부에 의하여 입체 디스플레이부에 표시될 수 있다. 입체 처리부는 3D 영상(기준시점의 영상과 확장시점의 영상)을 입력 받아 이로부터 좌 영상과 우 영상을 설정하거나, 2D 영상을 입력 받아 이를 좌 영상과 우 영상으로 전환하도록 이루어진다.A left image and a right image necessary for implementing a 3D stereoscopic image may be displayed on a stereoscopic display unit by a stereoscopic processing unit. The stereoscopic processing unit receives 3D images (images at a reference point and images at an extended point of view) and sets left and right images therefrom, or receives 2D images and converts them into left and right images.

음향 출력부(152)는 호신호 수신, 통화모드 또는 녹음 모드, 음성인식 모드, 방송수신 모드 등에서 무선 통신부(110)로부터 수신되거나 메모리(170)에 저장된 오디오 데이터를 출력할 수 있다. 음향 출력부(152)는 디스플레이 장치(100)에서 수행되는 기능(예를 들어, 호신호 수신음, 메시지 수신음 등)과 관련된 음향 신호를 출력하기도 한다. 이러한 음향 출력부(152)에는 리시버(receiver), 스피커(speaker), 버저(buzzer) 등이 포함될 수 있다.The audio output unit 152 may output audio data received from the wireless communication unit 110 or stored in the memory 170 in a call signal reception, a call mode or a recording mode, a voice recognition mode, a broadcast reception mode, and the like. The sound output unit 152 also outputs sound signals related to functions performed by the display device 100 (eg, call signal reception sound, message reception sound, etc.). The sound output unit 152 may include a receiver, a speaker, a buzzer, and the like.

햅틱 모듈(haptic module)(153)은 사용자가 느낄 수 있는 다양한 촉각 효과를 발생시킨다. 햅틱 모듈(153)이 발생시키는 촉각 효과의 대표적인 예로는 진동이 될 수 있다. 햅틱 모듈(153)에서 발생하는 진동의 세기와 패턴 등은 사용자의 선택 또는 제어부의 설정에 의해 제어될 수 있다. 예를 들어, 상기 햅틱 모듈(153)은 서로 다른 진동을 합성하여 출력하거나 순차적으로 출력할 수도 있다.The haptic module 153 generates various tactile effects that a user can feel. A representative example of the tactile effect generated by the haptic module 153 may be vibration. The strength and pattern of the vibration generated by the haptic module 153 may be controlled by a user's selection or a setting of a controller. For example, the haptic module 153 may synthesize and output different vibrations or sequentially output them.

햅틱 모듈(153)은, 진동 외에도, 접촉 피부면에 대해 수직 운동하는 핀 배열, 분사구나 흡입구를 통한 공기의 분사력이나 흡입력, 피부 표면에 대한 스침, 전극(electrode)의 접촉, 정전기력 등의 자극에 의한 효과와, 흡열이나 발열 가능한 소자를 이용한 냉온감 재현에 의한 효과 등 다양한 촉각 효과를 발생시킬 수 있다.In addition to vibration, the haptic module 153 responds to stimuli such as an array of pins that move vertically with respect to the contact skin surface, air blowing force or suction force through a nozzle or suction port, rubbing against the skin surface, electrode contact, and electrostatic force. It is possible to generate various tactile effects, such as the effect of heat absorption and the effect of reproducing the feeling of coolness and warmth using an element capable of absorbing heat or generating heat.

햅틱 모듈(153)은 직접적인 접촉을 통해 촉각 효과를 전달할 수 있을 뿐만 아니라, 사용자가 손가락이나 팔 등의 근 감각을 통해 촉각 효과를 느낄 수 있도록 구현할 수도 있다. 햅틱 모듈(153)은 디스플레이 장치(100)의 구성 태양에 따라 2개 이상이 구비될 수 있다.The haptic module 153 not only transmits a tactile effect through direct contact, but also can be implemented so that a user can feel a tactile effect through a muscle sense such as a finger or an arm. Two or more haptic modules 153 may be provided according to the configuration of the display device 100 .

광출력부(154)는 디스플레이 장치(100)의 광원의 빛을 이용하여 이벤트 발생을 알리기 위한 신호를 출력한다. 디스플레이 장치(100)에서 발생 되는 이벤트의 예로는 메시지 수신, 호 신호 수신, 부재중 전화, 알람, 일정 알림, 이메일 수신, 애플리케이션을 통한 정보 수신 등이 될 수 있다.The light output unit 154 outputs a signal for notifying occurrence of an event using light from a light source of the display device 100 . Examples of events occurring in the display device 100 may include message reception, call signal reception, missed calls, alarms, schedule notifications, e-mail reception, and information reception through applications.

광출력부(154)가 출력하는 신호는 디스플레이 장치가 전면이나 후면으로 단색이나 복수색의 빛을 발광함에 따라 구현된다. 상기 신호 출력은 디스플레이 장치가 사용자의 이벤트 확인을 감지함에 의하여 종료될 수 있다.A signal output from the light output unit 154 is implemented by emitting single color or multi-color light to the front or back of the display device. The output of the signal may be terminated when the display device detects a user confirming the event.

인터페이스부(160)는 디스플레이 장치(100)에 연결되는 모든 외부 기기와의 통로 역할을 한다. 인터페이스부(160)는 외부 기기로부터 데이터를 전송받거나, 전원을 공급받아 디스플레이 장치(100) 내부의 각 구성요소에 전달하거나, 디스플레이 장치(100) 내부의 데이터가 외부 기기로 전송되도록 한다. 예를 들어, 유/무선 헤드셋 포트(port), 외부 충전기 포트(port), 유/무선 데이터 포트(port), 메모리 카드(memory card) 포트(port), 식별 모듈이 구비된 장치를 연결하는 포트(port), 오디오 I/O(Input/Output) 포트(port), 비디오 I/O(Input/Output) 포트(port), 이어폰 포트(port) 등이 인터페이스부(160)에 포함될 수 있다.The interface unit 160 serves as a passage for all external devices connected to the display device 100 . The interface unit 160 receives data from an external device or receives power and transmits it to each component inside the display device 100, or transmits data inside the display device 100 to an external device. For example, a wired/wireless headset port, an external charger port, a wired/wireless data port, a memory card port, and a port for connecting a device having an identification module. The interface unit 160 may include an audio I/O (Input/Output) port, a video I/O (Input/Output) port, an earphone port, and the like.

한편, 식별 모듈은 디스플레이 장치(100)의 사용 권한을 인증하기 위한 각종 정보를 저장한 칩으로서, 사용자 인증 모듈(user identify module; UIM), 가입자 인증 모듈(subscriber identity module; SIM), 범용 사용자 인증 모듈(universal subscriber identity module; USIM) 등을 포함할 수 있다. 식별 모듈이 구비된 장치(이하 '식별 장치')는, 스마트 카드(smart card) 형식으로 제작될 수 있다. 따라서 식별 장치는 상기 인터페이스부(160)를 통하여 디스플레이 장치(100)와 연결될 수 있다.On the other hand, the identification module is a chip storing various types of information for authenticating the right to use the display device 100, and includes a user identification module (UIM), a subscriber identity module (SIM), and universal user authentication. module (universal subscriber identity module; USIM) and the like. A device equipped with an identification module (hereinafter referred to as 'identification device') may be manufactured in the form of a smart card. Accordingly, the identification device may be connected to the display device 100 through the interface unit 160 .

또한, 상기 인터페이스부(160)는 디스플레이 장치(100)가 외부 크래들(cradle)과 연결될 때 상기 크래들로부터의 전원이 상기 디스플레이 장치(100)에 공급되는 통로가 되거나, 사용자에 의해 상기 크래들에서 입력되는 각종 명령 신호가 상기 디스플레이 장치(100)로 전달되는 통로가 될 수 있다. 상기 크래들로부터 입력되는 각종 명령 신호 또는 상기 전원은 상기 디스플레이 장치(100)가 상기 크래들에 정확히 장착되었음을 인지하기 위한 신호로 동작될 수 있다.In addition, when the display device 100 is connected to an external cradle, the interface unit 160 serves as a passage through which power from the cradle is supplied to the display device 100 or is input from the cradle by a user. It can be a passage through which various command signals are transmitted to the display device 100 . Various command signals or the power input from the cradle may operate as a signal for recognizing that the display device 100 is correctly mounted on the cradle.

메모리(170)는 제어부(180)의 동작을 위한 프로그램을 저장할 수 있고, 입/출력되는 데이터들(예를 들어, 폰북, 메시지, 정지영상, 동영상 등)을 임시 저장할 수도 있다. 상기 메모리(170)는 상기 터치 스크린 상의 터치 입력시 출력되는 다양한 패턴의 진동 및 음향에 관한 데이터를 저장할 수 있다.The memory 170 may store programs for operation of the controller 180 and may temporarily store input/output data (eg, phonebook, message, still image, video, etc.). The memory 170 may store data related to vibration and sound of various patterns output when a touch is input on the touch screen.

메모리(170)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), SSD 타입(Solid State Disk type), SDD 타입(Silicon Disk Drive type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(random access memory; RAM), SRAM(static random access memory), 롬(read-only memory; ROM), EEPROM(electrically erasable programmable read-only memory), PROM(programmable read-only memory), 자기 메모리, 자기 디스크 및 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다. 디스플레이 장치(100)는 인터넷(internet)상에서 상기 메모리(170)의 저장 기능을 수행하는 웹 스토리지(web storage)와 관련되어 동작될 수도 있다.The memory 170 may be a flash memory type, a hard disk type, a solid state disk type, a silicon disk drive type, or a multimedia card micro type. ), card-type memory (eg SD or XD memory, etc.), RAM (random access memory; RAM), SRAM (static random access memory), ROM (read-only memory; ROM), EEPROM (electrically erasable programmable read -only memory), a programmable read-only memory (PROM), a magnetic memory, a magnetic disk, and an optical disk. The display device 100 may be operated in relation to a web storage that performs a storage function of the memory 170 on the Internet.

한편, 앞서 살펴본 것과 같이, 제어부(180)는 응용 프로그램과 관련된 동작과, 통상적으로 디스플레이 장치(100)의 전반적인 동작을 제어한다. 예를 들어, 제어부(180)는 상기 디스플레이 장치의 상태가 설정된 조건을 만족하면, 애플리케이션들에 대한 사용자의 제어 명령의 입력을 제한하는 잠금 상태를 실행하거나, 해제할 수 있다. Meanwhile, as described above, the controller 180 controls operations related to application programs and general operations of the display device 100 in general. For example, if the state of the display device satisfies a set condition, the controller 180 may execute or release a locked state that restricts the user's control command input to the applications.

또한, 제어부(180)는 음성 통화, 데이터 통신, 화상 통화 등과 관련된 제어 및 처리를 수행하거나, 터치 스크린 상에서 행해지는 필기 입력 또는 그림 그리기 입력을 각각 문자 및 이미지로 인식할 수 있는 패턴 인식 처리를 행할 수 있다. 나아가 제어부(180)는 이하에서 설명되는 다양한 실시 예들을 본 발명에 따른 디스플레이 장치(100) 상에서 구현하기 위하여, 위에서 살펴본 구성요소들을 중 어느 하나 또는 복수를 조합하여 제어할 수 있다.In addition, the controller 180 may perform control and processing related to voice calls, data communications, video calls, etc., or perform pattern recognition processing capable of recognizing handwriting input or drawing input performed on the touch screen as characters and images, respectively. can Furthermore, the control unit 180 may control any one or a combination of a plurality of components described above in order to implement various embodiments described below on the display device 100 according to the present invention.

전원 공급부(190)는 제어부(180)의 제어에 의해 외부의 전원, 내부의 전원을 인가 받아 각 구성요소들의 동작에 필요한 전원을 공급한다. 전원공급부(190)는 배터리를 포함하며, 배터리는 충전 가능하도록 이루어지는 내장형 배터리가 될 수 있으며, 충전 등을 위하여 디스플레이 장치 바디에 착탈 가능하게 결합될 수 있다.The power supply unit 190 receives external power and internal power under the control of the controller 180 and supplies power necessary for the operation of each component. The power supply unit 190 includes a battery, and the battery may be a built-in battery capable of being charged, or may be detachably coupled to the body of the display device for charging.

또한, 전원공급부(190)는 연결포트를 구비할 수 있으며, 연결포트는 배터리의 충전을 위하여 전원을 공급하는 외부 충전기가 전기적으로 연결되는 인터페이스(160)의 일 예로서 구성될 수 있다.In addition, the power supply unit 190 may have a connection port, and the connection port may be configured as an example of an interface 160 electrically connected to an external charger that supplies power to charge the battery.

다른 예로서, 전원공급부(190)는 상기 연결포트를 이용하지 않고 무선방식으로 배터리를 충전하도록 이루어질 수 있다. 이 경우에, 전원공급부(190)는 외부의 무선 전력 전송장치로부터 자기 유도 현상에 기초한 유도 결합(Inductive Coupling) 방식이나 전자기적 공진 현상에 기초한 공진 결합(Magnetic Resonance Coupling) 방식 중 하나 이상을 이용하여 전력을 전달받을 수 있다.As another example, the power supply unit 190 may charge the battery in a wireless manner without using the connection port. In this case, the power supply unit 190 uses at least one of an inductive coupling method based on magnetic induction from an external wireless power transmitter or a magnetic resonance coupling method based on electromagnetic resonance. power can be delivered.

한편, 이하에서 다양한 실시 예는 예를 들어, 소프트웨어, 하드웨어 또는 이들의 조합된 것을 이용하여 컴퓨터 또는 이와 유사한 장치로 읽을 수 있는 기록매체 내에서 구현될 수 있다.Meanwhile, various embodiments hereinafter may be embodied in a recording medium readable by a computer or a similar device using, for example, software, hardware, or a combination thereof.

도 2는 본 발명과 관련된 디스플레이 장치의 구성을 나타내는 블록도이다.2 is a block diagram showing the configuration of a display device related to the present invention.

제어부(280)는 센싱부(240), 카메라(221), 메모리(270), 통신모듈(250), 투명 디스플레이부(210)와 커플링되어 각각을 제어한다.The control unit 280 is coupled with the sensing unit 240, the camera 221, the memory 270, the communication module 250, and the transparent display unit 210 to control each of them.

한편, 제어부(280), 센싱부(240), 카메라(221), 메모리(270)는 각각 상술한 제어부(180), 센싱부(140), 카메라(121), 메모리(170)에 대응할 수 있다.Meanwhile, the control unit 280, the sensing unit 240, the camera 221, and the memory 270 may correspond to the above-described control unit 180, the sensing unit 140, the camera 121, and the memory 170, respectively. .

센싱부(240)는 예를 들어, 초음파 센서 또는 적외선 센서의 형태로 제공될 수 있고, 기설정된 거리 범위 내 객체의 위치 정보를 디텍트하고, 상기 디텍트된 위치 정보를 제어부(280)에 전송한다. The sensing unit 240 may be provided in the form of, for example, an ultrasonic sensor or an infrared sensor, detects location information of an object within a preset distance range, and transmits the detected location information to the controller 280. do.

카메라(221)는 디스플레이 장치의 소정의 위치에 구비되고, 사용자에 대한 영상을 촬영하고, 사용자의 움직임을 인식한다.The camera 221 is provided at a predetermined position of the display device, captures an image of the user, and recognizes the user's movement.

메모리(270)는 투명 디스플레이부에 디스플레이되는 컨텐츠, 예를 들어 배경, 아이템, 게임 컨텐츠, 외부 날씨 정보 등을 저장한다.The memory 270 stores contents displayed on the transparent display unit, such as background, items, game contents, and external weather information.

통신모듈(250)은 투명 디스플레이부(210)에 디스플레이되는 컨텐츠, 예를 들어 배경, 아이템, 게임 컨텐츠, 외부 날씨 정보 등을 외부로부터 수신한다.The communication module 250 receives content displayed on the transparent display unit 210, such as background, items, game content, and external weather information, from the outside.

투명 디스플레이부(210)는 본 발명에 따른 디스플레이 장치의 전면에 구비되는 것으로, 컨텐츠를 디스플레이 하거나 투명도가 조절되어 거울이 노출되도록 한다. 투명 디스플레이부(210)에 대해서는 이하 도 3에서 보다 구체적으로 설명하도록 한다.The transparent display unit 210 is provided on the front of the display device according to the present invention, and displays content or adjusts transparency to expose a mirror. The transparent display unit 210 will be described in more detail with reference to FIG. 3 below.

도 3 내지 도 7은 본 발명의 일 실시예에 따른 투명 디스플레이부를 구비하는 디스플레이 장치를 도시한 도면이다. 이하 도 3 내지 도 7에 대하여 구체적으로 설명하도록 한다.3 to 7 are diagrams illustrating a display device having a transparent display unit according to an embodiment of the present invention. Hereinafter, it will be described in detail with respect to FIGS. 3 to 7 .

도 3은 본 발명의 일 실시예에 따른 투명 디스플레이부를 구비하는 디스플레이 장치의 구조를 도시한 도면이다.3 is a diagram showing the structure of a display device having a transparent display unit according to an embodiment of the present invention.

투명 디스플레이부(300)는 디스플레이의 배면이 보이도록 구성되는 투명한 디스플레이를 의미할 수 있다. 예를 들면, 투명 디스플레이부(300)는 LCD방식의 투명 디스플레이부 또는 OLED 방식의 투명 디스플레이부를 포함할 수 있다.The transparent display unit 300 may refer to a transparent display configured so that the rear surface of the display is visible. For example, the transparent display unit 300 may include an LCD type transparent display unit or an OLED type transparent display unit.

한편, 본 발명의 일 실시예에 따른 디스플레이 장치의 투명 디스플레이부(300)는 거울(350)의 전면에 인접하여 구비된다. 여기에서 ‘인접하여’라는 의미는 직접 또는 간접적으로 접촉, 연접하는 모든 구조를 포함한다.Meanwhile, the transparent display unit 300 of the display device according to an embodiment of the present invention is provided adjacent to the front surface of the mirror 350 . Here, the meaning of 'adjacent' includes all structures that are in direct or indirect contact or connection.

공개된 기술에 따른 거울 또는 유리와 결합된 형태의 투명 디스플레이는 거울의 배면에 부착되는 구조로서, 컨텐츠가 디스플레이되는 영역에서 거울과 컨텐츠가 동시에 보여 컨텐츠와 거울에 비친 사용자의 모습 모두 제대로 보이지 않는 문제가 있다.The transparent display combined with a mirror or glass according to the disclosed technology is a structure attached to the rear surface of a mirror, and the mirror and the content are simultaneously shown in the area where the content is displayed, so both the content and the user reflected in the mirror are not properly seen. there is

반면에 본 발명에 따른 디스플레이 장치의 투명 디스플레이부(300)는 거울(350)의 전면에 인접하여 구비되어 제어부(280)의 제어에 따라 일부 영역의 투명도를 조절할 수 있다. On the other hand, the transparent display unit 300 of the display device according to the present invention is provided adjacent to the front surface of the mirror 350, and the transparency of a partial area can be adjusted according to the control of the controller 280.

이에 따라 투명 디스플레이부(300)는 투명도가 조절되어 거울이 노출되는 영역(310)과, 투명도가 조절되지 않은 영역인 컨텐츠가 디스플레이되는 영역(320)으로 구분될 수 있다. 이로 인해 상술한 공개된 기술에 따른 투명 디스플레이 보다 컨텐츠와 거울에 비친 사용자의 모습이 뚜렷이 보이는 효과가 있다.Accordingly, the transparent display unit 300 may be divided into an area 310 where the transparency is adjusted and the mirror is exposed, and an area 320 where the transparency is not adjusted and content is displayed. As a result, there is an effect in which the content and the user's image reflected in the mirror are clearly seen compared to the transparent display according to the above-described open technology.

본 발명에 따른 디스플레이 장치의 제어부(280)는 투명 디스플레이부(300)의 일부 영역의 투명도를 조절하여 거울이 노출되는 영역(310)과 컨텐츠가 디스플레이되는 영역(320)을 생성할 수 있다. 즉, 사용자는 거울이 노출되는 영역(310)을 통해 거울에 비친 사용자의 모습을 봄과 동시에 컨텐츠가 디스플레이되는 영역(320)을 통해 컨텐츠를 볼 수 있다.The control unit 280 of the display device according to the present invention may adjust the transparency of a partial area of the transparent display unit 300 to create an area 310 where a mirror is exposed and an area 320 where content is displayed. That is, the user can view the user's image reflected in the mirror through the area 310 where the mirror is exposed and view the content through the area 320 where the content is displayed.

도 3에 도시된 센싱부(340) 및 카메라(330)의 기능에 대해서는 이하 도 8 및 도 11에 관한 설명에서 상세하게 설명하겠다.Functions of the sensing unit 340 and the camera 330 shown in FIG. 3 will be described in detail in the description of FIGS. 8 and 11 below.

도 4는 본 발명의 일 실시예에 따른 디스플레이 장치의 디스플레이 영역의 적어도 일부 영역의 투명도가 조절된 것을 도시한 도면이다.4 is a diagram illustrating that transparency of at least a portion of a display area of a display device according to an embodiment of the present invention is adjusted.

보다 구체적으로 살펴보면, 제어부(280)는 도 2에서 설명한 메모리(270)로부터 참조하거나 통신모듈(250)을 통해 외부로부터 수신한 컨텐츠를 투명 디스플레이부(400)에 디스플레이 하고, 기설정된 영역(410)의 투명도를 조절하여 거울이 노출되도록 제어한다.Looking more specifically, the controller 280 displays the contents referred to from the memory 270 described in FIG. 2 or received from the outside through the communication module 250 on the transparent display unit 400, and displays the contents in a preset area 410. Control the exposure of the mirror by adjusting the transparency of the

여기서 기설정된 영역(410)은 투명 디스플레이부(400)의 배면에 위치하는 거울이 노출되는 영역일 수 있다. 디스플레이 장치(200)는 기설정된 영역(410)을 제외한 나머지 영역(420)에 컨텐츠를 디스플레이할 수 있다.Here, the predetermined area 410 may be an area where a mirror located on the rear surface of the transparent display unit 400 is exposed. The display device 200 may display content on the area 420 other than the preset area 410 .

도 4의 투명 디스플레이부(400)에서 거울이 노출되어 ‘HELLO’로 표시되는 영역(410)은 그 자체로서 의미를 가지는 컨텐츠가 된다.In the transparent display unit 400 of FIG. 4 , the area 410 where the mirror is exposed and displayed as 'HELLO' becomes a content having meaning in itself.

도 5 내지 도 6은 본 발명의 일 실시예에 따른 디스플레이 장치의 디스플레이 영역의 투명도가 조절된 적어도 일부 영역이 변화하는 것을 도시한 도면이다.5 and 6 are diagrams illustrating a change in at least a portion of an area in which transparency of a display area of a display device according to an embodiment of the present invention is adjusted.

도 5를 참조하면, 디스플레이 장치(200)는 투명 디스플레이부(500)의 전체 영역에서 거울이 노출되는 영역(510)을 거울이 노출되지 않는 영역(520)보다 상대적으로 넓은 면적을 차지하도록 표시할 수 있다. 이에 따라 거울이 노출되는 영역(510)은 거울이 노출되지 않는 영역(520)보다 넓은 면적을 차지할 수 있다.Referring to FIG. 5 , the display device 200 displays an area 510 in which the mirror is exposed in the entire area of the transparent display unit 500 occupying a relatively larger area than an area 520 in which the mirror is not exposed. can Accordingly, the area 510 where the mirror is exposed may occupy a larger area than the area 520 where the mirror is not exposed.

또한, 일정한 시간 간격 또는 기설정된 조건 하에서 제어부(280)는 투명디스플레이부의 전체 영역에서 거울이 노출되는 영역을 변경할 수 있다.In addition, the controller 280 may change the area where the mirror is exposed in the entire area of the transparent display unit at a predetermined time interval or under a predetermined condition.

예를 들면, 도 5의 상황으로부터 디스플레이 장치(200)는 도 6에 도시한 바와 같이 투명 디스플레이부(600)에 소정의 컨텐츠를 디스플레이하여 거울이 노출되는 영역(610)이 소정의 컨텐츠가 디스플레이되는 영역(620)보다 상대적으로 적은 면적을 차지하도록 변경할 수 있다.For example, from the situation of FIG. 5, the display device 200 displays predetermined content on the transparent display unit 600 as shown in FIG. 6 so that the area 610 where the mirror is exposed displays the predetermined content. It may be changed to occupy a relatively smaller area than the area 620 .

도 7은 본 발명의 일 실시예에 따른 디스플레이 장치가 인테리어 소품으로 활용되는 것을 도시한 도면이다.7 is a diagram illustrating that a display device according to an embodiment of the present invention is used as an interior accessory.

보다 구체적으로 살펴보면, 도 7에서 거울이 노출되는 영역(710)은 거울의 용도로 사용될 수 있고, 거울이 노출되지 않는 영역(720)에는 소정의 컨텐츠를 디스플레이 함으로써 실내 인테리어 효과를 가질 수 있다.Looking more specifically, in FIG. 7 , the area 710 where the mirror is exposed can be used as a mirror, and a predetermined content can be displayed on the area 720 where the mirror is not exposed, thereby providing an indoor interior effect.

또한, 본 발명의 일 실시예에 따른 디스플레이 장치는 투명 디스플레이부의 투명도 조절을 통해 다양한 재질감과 그래픽을 표현하여 실내 인테리어 효과를 극대화하는 것이 가능하다.In addition, the display device according to an embodiment of the present invention can express various textures and graphics through adjusting the transparency of the transparent display unit, thereby maximizing interior effects.

도 8 내지 도 10은 본 발명의 다른 일 실시예에 따른 투명 디스플레이를 구비하는 디스플레이 장치를 도시한 도면이다. 이하 도 8 내지 도 10에 대하여 구체적으로 설명하도록 한다.8 to 10 are diagrams illustrating a display device having a transparent display according to another embodiment of the present invention. Hereinafter, it will be described in detail with respect to FIGS. 8 to 10 .

도 8은 본 발명의 다른 일 실시예에 따른 디스플레이 장치가 디스플레이 영역의 투명도를 객체의 위치에 따라 조절하는 것을 설명하는 순서도이다.FIG. 8 is a flowchart illustrating how a display device according to another embodiment of the present invention adjusts the transparency of a display area according to the position of an object.

제어부(280)의 제어에 따라 투명 디스플레이부는 소정의 컨텐츠를 디스플레이 한다.(S800)Under the control of the controller 280, the transparent display unit displays predetermined content. (S800)

본 발명의 다른 일 실시예에 따른 디스플레이 장치는 소정의 위치에 센싱부(240)를 구비할 수 있다. 센싱부(240)는 예를 들어, 초음파 센서 또는 적외선 센서를 포함한다.A display device according to another embodiment of the present invention may include the sensing unit 240 at a predetermined position. The sensing unit 240 includes, for example, an ultrasonic sensor or an infrared sensor.

센싱부(240)가 기설정된 거리 범위 내 객체의 위치 정보를 디텍트하고, 상기 디텍트된 위치 정보를 제어부(280)에 전송한다.(S810)The sensing unit 240 detects location information of an object within a preset distance range, and transmits the detected location information to the controller 280 (S810).

예를 들면, 센싱부(240)에 포함된 초음파 센서가 초음파를 이용하여 기설정된 거리 범위 내의 객체의 위치 정보를 디텍트할 수 있다. 그리고 센싱부(240)는 디텍트된 위치 정보를 제어부(280)에 전송할 수 있다.For example, an ultrasonic sensor included in the sensing unit 240 may detect location information of an object within a preset distance range using ultrasonic waves. Also, the sensing unit 240 may transmit the detected location information to the controller 280 .

다음으로, 제어부(280)는 센싱부(240)로부터 수신한 객체의 위치 정보에 대응하는 투명 디스플레이부의 디스플레이 영역의 투명도를 조절하여, 수신한 객체의 위치 정보에 대응하는 영역의 거울이 노출되도록 제어한다(S820). 단계(S820)에 따라 거울이 노출된 영역을 통해 객체가 거울에 비춰질 수 있다.Next, the control unit 280 adjusts the transparency of the display area of the transparent display unit corresponding to the location information of the object received from the sensing unit 240 so that the mirror of the area corresponding to the received location information of the object is exposed. Do (S820). According to step S820, the object may be reflected on the mirror through the area where the mirror is exposed.

도 9는 본 발명의 다른 일 실시예에 따른 디스플레이 장치가 디스플레이 영역의 투명도를 객체의 움직임에 따라 조절하는 것을 설명하는 순서도이다.9 is a flowchart illustrating how a display device adjusts transparency of a display area according to movement of an object according to another embodiment of the present invention.

도 9에서는 객체의 위치가 변화함에 따라 거울이 노출되는 영역도 함께 변화하는 것을 더욱 상세히 설명한다.In FIG. 9, as the position of the object changes, the area where the mirror is exposed also changes in detail.

센싱부(240)가 객체의 제1 위치 정보를 디텍트하고 상기 디텍트된 제1 위치 정보를 제어부(280)에 전송한다.(S900)The sensing unit 240 detects the first location information of the object and transmits the detected first location information to the controller 280 (S900).

제어부(280)는 센싱부(240)로부터 수신한 객체의 제1 위치 정보에 대응하는 투명 디스플레이부의 제1 디스플레이 영역의 투명도를 조절하여 거울이 노출되도록 한다.(S910)The controller 280 adjusts the transparency of the first display area of the transparent display unit corresponding to the first location information of the object received from the sensing unit 240 so that the mirror is exposed (S910).

다음으로, 센싱부(240)가 객체의 이동에 따라 변경된 제2 위치 정보를 디텍트하고 상기 디텍트된 제2 위치 정보를 제어부(280)에 전송한다.(S920)Next, the sensing unit 240 detects the second location information changed according to the movement of the object and transmits the detected second location information to the controller 280 (S920).

제어부(280)는 센싱부(240)로부터 수신한 객체의 제2 위치 정보에 대응하는 투명 디스플레이부의 제2 디스플레이 영역의 투명도를 조절하여 거울이 노출되도록 하고, 제1 위치 정보에 대응하는 투명 디스플레이부의 제1 디스플레이 영역의 투명도를 조절하여 거울이 노출되지 않도록 한다.(S930)The controller 280 adjusts the transparency of the second display area of the transparent display unit corresponding to the second location information of the object received from the sensing unit 240 so that the mirror is exposed, and adjusts the transparency of the transparent display unit corresponding to the first location information. The transparency of the first display area is adjusted so that the mirror is not exposed (S930).

즉, 제어부(280)는 객체가 이동함에 따라 거울이 노출되는 영역을 제1 디스플레이 영역에서 제2 디스플레이 영역으로 변경하고, 제1 디스플레이 영역에는 다시 소정의 컨텐츠가 출력한다. 이에 따라, 거울이 노출되는 제2 디스플레이 영역을 통해 객체가 거울에 비춰질 수 있다.That is, as the object moves, the controller 280 changes the area where the mirror is exposed from the first display area to the second display area, and outputs predetermined content to the first display area again. Accordingly, the object may be reflected on the mirror through the second display area where the mirror is exposed.

도 10은 도 8 및 도 9의 순서도에 따라 디스플레이 장치가 디스플레이 영역의 투명도를 조절하는 것을 도시한 도면이다.FIG. 10 is a diagram illustrating how the display device adjusts transparency of a display area according to the flowcharts of FIGS. 8 and 9 .

센싱부(1040)가 지속적으로 객체를 센싱함에 따라 제어부(280)는 객체(1000)가 제1 위치에 있을 때 제1 위치에 대응하는 투명 디스플레이부의 제1 디스플레이 영역(1010)의 거울이 노출되도록 제어할 수 있다. As the sensing unit 1040 continuously senses the object, the controller 280 controls the mirror of the first display area 1010 of the transparent display unit corresponding to the first position to be exposed when the object 1000 is in the first position. You can control it.

그리고 제어부(280)는 객체(1000)가 제1 위치에서 제2 위치로 이동함에 따라 제2 위치에 대응하는 투명 디스플레이부의 제2 디스플레이 영역(1015)의 거울이 노출되도록 제어하고 제1 위치에 대응하는 투명 디스플레이부의 제1 디스플레이 영역(1010)은 거울이 노출되지 않도록 제어한다.Further, as the object 1000 moves from the first position to the second position, the controller 280 controls the mirror of the second display area 1015 of the transparent display unit corresponding to the second position to be exposed and corresponds to the first position. The first display area 1010 of the transparent display unit is controlled so that the mirror is not exposed.

본 발명에 따른 디스플레이 장치를 의류 매장과 같은 장소에서 사용하는 경우 컨텐츠를 디스플레이하여 광고 효과를 가짐과 동시에 사용자가 거울의 용도로 디스플레이 장치를 사용하게 할 수 도 있다.When the display device according to the present invention is used in a place such as a clothing store, it can display content to have an advertising effect and allow a user to use the display device as a mirror.

도 11 내지 도 14는 본 발명의 또 다른 일 실시예에 따른 투명 디스플레이를 구비하는 디스플레이 장치를 도시한 도면이다. 이하 도 11 내지 도 14에 대하여 구체적으로 설명하도록 한다.11 to 14 are diagrams illustrating a display device having a transparent display according to another embodiment of the present invention. 11 to 14 will be described in detail below.

한편, 도 11에 기재된 용어인 ‘객체’는 이하에서 사용되는 ‘사용자’와 동일한 의미로 해석될 수 있다.Meanwhile, the term 'object' described in FIG. 11 may be interpreted in the same meaning as 'user' used below.

도 11은 디스플레이 장치에서 스마트 피팅 모드가 실행되는 것을 설명하는 순서도이다.11 is a flowchart illustrating execution of a smart fitting mode in a display device.

본 발명의 또 다른 일 실시예에 따른 투명 디스플레이를 구비하는 디스플레이 장치(200)에서 스마트 피팅 모드가 실행된다.(S1100)A smart fitting mode is executed in the display device 200 having a transparent display according to another embodiment of the present invention (S1100).

스마트 피팅 모드는 카메라(221)의 유무에 따라 동작 원리가 달라진다. 따라서, 제어부(280)는 디스플레이 장치(200)가 카메라(221)를 구비하는지 여부를 판단한다. (S1110)The operating principle of the smart fitting mode varies depending on whether or not the camera 221 is present. Accordingly, the controller 280 determines whether the display device 200 has a camera 221 or not. (S1110)

디스플레이 장치(200)가 소정의 위치에 카메라(221)를 구비하는 경우, 카메라(221)는 사용자에 대한 영상을 촬영한다.(S1120) 한편, 사용자에 대한 영상을 ‘촬영’한다는 의미는 도 11의 ‘객체 영상 획득’과 동일한 의미로 이해될 수 있다.When the display device 200 has a camera 221 at a predetermined location, the camera 221 captures an image of the user (S1120). On the other hand, 'taking' an image of the user means FIG. 11 It can be understood as the same meaning as 'obtaining an object image' of

제어부(280)는 촬영된 사용자의 영상을 기초로 사용자에게 피팅(fitting)할 수 있는 컨텐츠에 대응하는 3차원 모델을 생성한다. 상기 컨텐츠는 예를 들어 의류, 악세서리, 패션 아이템 등일 수 있다.The controller 280 creates a 3D model corresponding to content that can be fitted to the user based on the captured image of the user. The contents may be, for example, clothes, accessories, fashion items, and the like.

다음으로 제어부(280)는 사용자의 움직임에 따라 상기 생성된 3차원 모델을 상기 투명 디스플레이부에 디스플레이 한다.(S1130) 이 때, 제어부(280)는 사용자의 움직임에 따라 3차원 모델을 투명 디스플레이부에 디스플레이할 수 있다. 이에 따라, 사용자가 특정 방향으로 이동하거나 하나의 회전축을 중심으로 회전하여도 생성된 3차원 모델이 거울에 비친 사용자에게 정확히 피팅되므로 사용자는 이질감 없이 가상 피팅을 할 수 있다.Next, the controller 280 displays the generated 3D model on the transparent display unit according to the user's movement (S1130). At this time, the controller 280 displays the 3D model on the transparent display unit according to the user's movement. can be displayed on Accordingly, even if the user moves in a specific direction or rotates around one axis of rotation, the generated 3D model is accurately fitted to the user reflected in the mirror, so the user can perform virtual fitting without a sense of heterogeneity.

디스플레이 장치(200)가 카메라(221)를 구비하지 않는 경우, 제어부(280)는 투명 디스플레이부의 고정된 일부 영역에 3차원 컨텐츠를 디스플레이 한다(S1140). 이 경우에는, 사용자가 거울에 비치는 모습을 디스플레이된 3차원 컨텐츠에 직접 일치시켜 가상 피팅을 할 수 있다.When the display device 200 does not include the camera 221, the controller 280 displays 3D content on a fixed partial area of the transparent display unit (S1140). In this case, the user may perform virtual fitting by directly matching the image reflected in the mirror with the displayed 3D content.

도 12 내지 도 14는 도 11의 순서도에 따라 디스플레이 장치에서 스마트 피팅 모드가 실행되는 것을 도시한 도면이다.12 to 14 are diagrams illustrating execution of a smart fitting mode in a display device according to the flowchart of FIG. 11 .

도 12는 카메라가 있는 경우의 스마트 피팅 모드가 실행되는 것을 도시한 도면이다.12 is a diagram illustrating execution of a smart fitting mode when a camera is present.

본 발명의 또 다른 일 실시예에 따르면, 카메라(1221)는 사용자(1200)에 대한 영상을 촬영하여 제어부(280)에 전송한다.According to another embodiment of the present invention, the camera 1221 captures an image of the user 1200 and transmits it to the controller 280 .

다음으로, 제어부(280)는 수신한 영상을 기초로 사용자에 피팅(fitting)할 수 있는 컨텐츠에 대응하는 3차원 모델(1202)을 생성하고, 사용자의 움직임을 따라 생성된 3차원 모델(1202)을 투명 디스플레이부에 디스플레이 하도록 제어할 수 있다.Next, the controller 280 generates a 3D model 1202 corresponding to content that can be fitted to the user based on the received image, and the 3D model 1202 generated along the user's movement can be controlled to be displayed on the transparent display unit.

즉, 디스플레이 장치(200)는 투명 디스플레이부의 디스플레이 영역(1204)을 거울이 노출되도록 투명도를 조절한 상태에서 일부 영역에만 상기 생성된 3차원 모델(1202)을 디스플레이 한다. That is, the display device 200 displays the generated 3D model 1202 only in a partial area in a state in which the transparency of the display area 1204 of the transparent display unit is adjusted so that the mirror is exposed.

사용자(1200)가 (a), (b)방향으로 이동이거나 (c)방향으로 회전하는 경우, 제어부(280)는 생성된 3차원 모델(1202)을 카메라(1221)에 의해 인식된 사용자(1200)의 움직임에 따라 디스플레이 영역(1204) 상에서 이동하도록 표시할 수 있다. 이에 따라, 사용자(1200)의 움직임에 따라 거울에 비춰지는 사용자의 상과 표시되는 3차원 모델(1202)이 함께 이동될 수 있다.When the user 1200 moves in the (a) or (b) directions or rotates in the (c) direction, the controller 280 converts the created 3D model 1202 to the user 1200 recognized by the camera 1221. ) can be displayed so as to move on the display area 1204 according to the movement. Accordingly, as the user 1200 moves, the user's image reflected in the mirror and the displayed 3D model 1202 may move together.

한편, 디스플레이 장치(200)는 3차원 모델(1202)에 대응하는 컨텐츠를 소정의 메모리(270)로부터 불러오거나 소정의 통신모듈(250)을 통해 외부로부터 수신할 수 있다.Meanwhile, the display device 200 may read content corresponding to the 3D model 1202 from a predetermined memory 270 or receive it from the outside through a predetermined communication module 250 .

도 13은 카메라가 없는 경우의 스마트 피팅 모드가 실행되는 것을 도시한 도면이다.13 is a diagram illustrating execution of a smart fitting mode when there is no camera.

제어부(280)는 투명 디스플레이부 일 영역(1304)에 3차원 모델(1306, 1307, 1308, 1309)을 디스플레이 한다.The controller 280 displays the 3D models 1306, 1307, 1308, and 1309 on one area 1304 of the transparent display unit.

한편, 상기 3차원 모델(1306, 1307, 1308, 1309)은 디스플레이 장치의 소정의 메모리(270)에 저장되어 있거나 통신모듈(250)을 통해 외부로부터 수신한 것일 수 있다.Meanwhile, the 3D models 1306, 1307, 1308, and 1309 may be stored in a predetermined memory 270 of the display device or received from the outside through the communication module 250.

도 13의 경우, 디스플레이 장치(200)는 투명 디스플레이부의 일 영역(1304)의 고정된 위치에 3차원 모델(1306, 1307, 1308, 1309)을 디스플레이 할 수 있다. In the case of FIG. 13 , the display device 200 may display 3D models 1306 , 1307 , 1308 , and 1309 at a fixed position in a region 1304 of the transparent display unit.

사용자(1300)는 상기 디스플레이된 3차원 모델(1306, 1307, 1308, 1309)에 신체를 적절히 일치시킬 수 있다. 이에 따라, 사용자(1300)는 표시된 3차원 모델(1306, 1307, 1308, 1309) 중, 사용자(1300)와 일치된 위치의 모델이 착용된 사용자(1300)의 모습을 확인할 수 있다. 예를 들면, 사용자(1300)가 3차원 모델(1306)에 대응하는 위치에 위치하면 3차원 모델(1306)이 착용된 사용자의 모습이 투명 디스플레이부(1304)에 비춰질 수 있다.The user 1300 can appropriately match the body to the displayed 3D models 1306, 1307, 1308, and 1309. Accordingly, the user 1300 can check the appearance of the user 1300 wearing the model at the position matched with the user 1300 among the displayed 3D models 1306 , 1307 , 1308 , and 1309 . For example, when the user 1300 is positioned at a position corresponding to the 3D model 1306, the user's figure wearing the 3D model 1306 may be displayed on the transparent display unit 1304.

도 14는 사용자의 피팅 히스토리를 제공하는 디스플레이 장치를 도시한 도면이다.14 is a diagram illustrating a display device providing a user's fitting history.

디스플레이 장치(200)는 투명 디스플레이부의 일 영역(1402)에 도 14에 도시한 바와 같이 소정의 컨텐츠를 디스플레이 할 수 있다. The display device 200 may display predetermined content on one area 1402 of the transparent display unit as shown in FIG. 14 .

또한 제어부(280)는 투명 디스플레이부의 다른 일 영역(1404)의 투명도를 조절하여 거울이 노출되도록 제어한다. 그에 따라 사용자(1400)는 디스플레이 장치(200)를 통하여 현재 피팅한 컨텐츠의 모습을 볼 수 있다.In addition, the controller 280 adjusts the transparency of another area 1404 of the transparent display unit to control the exposure of the mirror. Accordingly, the user 1400 can view the currently fitting content through the display device 200 .

한편, 카메라(1421)에 의해 촬영된 사용자(1400)의 이전 촬영 영상(1406, 1407)이 현재 거울에 비친 사용자 영상(1408)과 함께 디스플레이 되어 현재의 모습과 쉽게 비교할 수 있다.Meanwhile, previously photographed images 1406 and 1407 of the user 1400 photographed by the camera 1421 are displayed together with the user image 1408 currently reflected in the mirror so that the user 1400 can easily compare with the current appearance.

도 15 내지 도 18은 본 발명의 또 다른 일 실시예에 따른 투명 디스플레이를 구비하는 디스플레이 장치를 도시한 도면이다. 이하 도 15 내지 도 18에 대하여 구체적으로 설명하도록 한다.15 to 18 are diagrams illustrating a display device having a transparent display according to another embodiment of the present invention. 15 to 18 will be described in detail below.

도 15는 본 발명의 또 다른 일 실시예에 따른 디스플레이 장치가 객체의 윤곽을 인식하여 디스플레이 영역의 투명도를 조절하는 것을 설명하는 순서도이다.15 is a flowchart illustrating how a display device recognizes an outline of an object and adjusts transparency of a display area according to another embodiment of the present invention.

디스플레이 장치(200)는 투명 디스플레이부에 소정의 컨텐츠를 디스플레이 한다.(S1500)The display device 200 displays predetermined content on the transparent display unit (S1500).

카메라가 객체에 대한 영상을 촬영하여 제어부에 전송하면, 제어부(280)는 상기 촬영된 영상을 기초로 객체의 윤곽(outline)을 디텍트한다.(S1510)When the camera captures an image of an object and transmits it to the controller, the controller 280 detects the outline of the object based on the captured image (S1510).

보다 구체적으로, 제어부(280)는 촬영된 객체에 대한 영상으로부터 객체를 인식하고, 인식된 객체의 윤곽을 디텍트 한다. More specifically, the controller 280 recognizes an object from a photographed image of the object and detects the outline of the recognized object.

제어부(280)가 객체의 윤곽을 디텍트하는 방법은 예를 들면, 에지 검출방법(Edge detection)이 이용될 수 있다. 에지 검출방법은 영상 안에서의 영역 간의 경계를 나타내는 윤곽선(edge)을 기초로 영상 밝기의 불연속점으로부터 윤곽선에 해당하는 픽셀을 구하는 방법이다.As a method for the controller 280 to detect the outline of an object, for example, an edge detection method may be used. The edge detection method is a method of obtaining a pixel corresponding to the contour from a discontinuous point of image brightness based on an edge representing a boundary between regions in an image.

상술한 에지 검출방법은 제어부(280)가 객체의 윤곽을 디텍트하는 방법의 예시적인 것이므로, 이에 한정되지 않는다.The above-described edge detection method is an example of a method for the controller 280 to detect the outline of an object, and is not limited thereto.

다음으로, 제어부(280)는 상기 디텍트한 윤곽 내에 대응하는 상기 투명 디스플레이부의 디스플레이 영역의 투명도를 조절하여 거울이 노출되는 영역을 객체의 움직임에 따라 지속적으로 변경한다.(S1520)Next, the controller 280 adjusts the transparency of the display area of the transparent display unit corresponding to the detected outline to continuously change the area where the mirror is exposed according to the motion of the object (S1520).

도 15와 관련된 보다 구체적인 실시예를 이하 도 16 내지 도 18에서 설명하도록 한다.A more specific embodiment related to FIG. 15 will be described with reference to FIGS. 16 to 18 below.

도 16 내지 도 18은 도 15의 순서도에 따라 디스플레이 장치가 객체의 윤곽을 인식하여 디스플레이 영역의 투명도를 조절하는 것을 도시한 도면이다. 도 16 내지 도 18에서 '객체'와 '사용자'는 혼용되어 사용되었으나 동일한 의미로 해석될 수 있다.16 to 18 are diagrams illustrating how the display device recognizes the outline of an object and adjusts the transparency of the display area according to the flowchart of FIG. 15 . In FIGS. 16 to 18, 'object' and 'user' are used interchangeably, but may be interpreted in the same meaning.

도 16은 디스플레이 장치가 객체의 윤곽을 인식하여 인터렉티브 포토존 기능을 제공하는 것을 도시한 도면이다.16 is a diagram illustrating that the display device recognizes the outline of an object and provides an interactive photo zone function.

도 16을 참조하면, 디스플레이 장치(200)는 객체(1600)의 윤곽을 인식하여, 인식된 윤곽에 대응하는 객체 영역(1602)의 투명도를 조절할 수 있다. 그리고 디스플레이 장치(200)는 객체 영역(1602)을 제외한 나머지 영역(1604)에 배경 및 아이템을 출력할 수 있다. 이에 따라, 디스플레이 장치(200)의 전체 디스플레이 영역에서, 인식된 객체의 윤곽에 대응하는 객체 영역(1602)은 거울이 노출되어 객체를 비출 수 있고, 객체 영역(1602)을 제외한 나머지 영역(1604)은 배경 및 아이템이 출력될 수 있다.Referring to FIG. 16 , the display apparatus 200 may recognize the outline of an object 1600 and adjust the transparency of the object area 1602 corresponding to the recognized outline. Also, the display device 200 may output a background and an item to the area 1604 other than the object area 1602 . Accordingly, in the entire display area of the display device 200, the object area 1602 corresponding to the contour of the recognized object may reflect the object by exposing the mirror, and the remaining area 1604 except for the object area 1602 A silver background and items may be output.

사용자는 투명 디스플레이부 영역에 표시되는 배경 및 아이템을 선택하여 포토존으로 활용할 수 있다.The user can select the background and items displayed in the area of the transparent display unit and use it as a photo zone.

한편, 배경 및 아이템은 디스플레이 장치(200)의 소정의 메모리(270)에 저장되어 있거나 통신모듈(250)을 통해 외부로부터 수신한 것일 수 있다.Meanwhile, the background and items may be stored in a predetermined memory 270 of the display device 200 or received from the outside through the communication module 250 .

도 17은 디스플레이 장치가 객체의 윤곽을 인식하여 가상 게임 이벤트 기능을 제공하는 것을 도시한 도면이다.17 is a diagram illustrating that a display device recognizes an outline of an object and provides a virtual game event function.

도 17을 참조하면, 디스플레이 장치(200)는 객체(1700)의 윤곽을 인식하여, 인식된 윤곽에 대응하는 객체 영역(1702)의 투명도를 조절할 수 있다. 그리고 디스플레이 장치(200)는 객체 영역(1702)을 제외한 나머지 영역(1704)에 게임 영상을 출력할 수 있다. 이에 따라, 디스플레이 장치(200)의 전체 디스플레이 영역에서, 인식된 객체의 윤곽에 대응하는 객체 영역(1702)은 거울이 노출되어 객체를 비출 수 있고, 객체 영역(1702)을 제외한 나머지 영역(1704)은 게임 영상이 출력될 수 있다.Referring to FIG. 17 , the display device 200 may recognize the outline of an object 1700 and adjust the transparency of the object area 1702 corresponding to the recognized outline. Also, the display device 200 may output a game image to the area 1704 other than the object area 1702 . Accordingly, in the entire display area of the display device 200, the object area 1702 corresponding to the contour of the recognized object may reflect the object by exposing the mirror, and the remaining area 1704 except for the object area 1702 A game image may be output.

디스플레이 장치(200)에 구비되는 카메라(미도시)에 의한 제스쳐 인식으로 사용자는 더욱 실감나는 게임을 체험할 수 있다.The user can experience a more realistic game through gesture recognition by a camera (not shown) provided in the display device 200 .

한편, 게임 컨텐츠는 디스플레이 장치(200)의 소정의 메모리(270)에 저장되어 있거나 통신모듈(250)을 통해 외부로부터 수신한 것일 수 있다.Meanwhile, the game content may be stored in a predetermined memory 270 of the display device 200 or received from the outside through the communication module 250 .

도 18은 디스플레이 장치가 객체의 윤곽을 인식하여 외부 환경 연동 기능을 제공하는 것을 도시한 도면이다.18 is a diagram illustrating that a display device recognizes an outline of an object and provides an external environment linkage function.

도 18을 참조하면, 디스플레이 장치(200)는 객체(1800)의 윤곽을 인식하여, 인식된 윤곽에 대응하는 객체 영역(1802)의 투명도를 조절할 수 있다. 그리고 디스플레이 장치(200)는 객체 영역(1802)을 제외한 나머지 영역(1804)에 외부 날씨 정보 및 아이템을 출력할 수 있다. 이에 따라, 디스플레이 장치(200)의 전체 디스플레이 영역에서, 인식된 객체의 윤곽에 대응하는 객체 영역(1802)은 거울이 노출되어 객체를 비출 수 있고, 객체 영역(1802)을 제외한 나머지 영역(1804)은 외부 날씨 정보 및 아이템이 출력될 수 있다.Referring to FIG. 18 , the display device 200 may recognize the outline of an object 1800 and adjust the transparency of the object area 1802 corresponding to the recognized outline. Also, the display device 200 may output external weather information and items to the area 1804 other than the object area 1802 . Accordingly, in the entire display area of the display device 200, the object area 1802 corresponding to the contour of the recognized object may reflect the object by exposing the mirror, and the remaining area 1804 except for the object area 1802 External weather information and items may be output.

사용자는 디스플레이 장치(200)를 이용하여 실내에서도 외부 날씨에 적합한 아이템 추천 기능을 제공받을 수 있다.The user may be provided with a function of recommending an item suitable for outdoor weather even indoors using the display device 200 .

한편, 외부 날씨 정보 및 아이템은 디스플레이 장치(200)의 소정의 메모리(170)에 저장되어 있거나 통신모듈(250)을 통해 외부로부터 수신한 것일 수 있다.Meanwhile, external weather information and items may be stored in a predetermined memory 170 of the display device 200 or received from the outside through the communication module 250 .

전술한 본 발명은, 프로그램이 기록된 매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 매체는, 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 매체의 예로는, HDD(Hard Disk Drive), SSD(Solid State Disk), SDD(Silicon Disk Drive), ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장 장치 등이 있으며, 또한 캐리어 웨이브(예를 들어, 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한, 상기 컴퓨터는 전자 장치의 제어부(180, 280)를 포함할 수도 있다. 따라서, 상기의 상세한 설명은 모든 면에서 제한적으로 해석되어서는 아니되고 예시적인 것으로 고려되어야 한다. 본 발명의 범위는 첨부된 청구항의 합리적 해석에 의해 결정되어야 하고, 본 발명의 등가적 범위 내에서의 모든 변경은 본 발명의 범위에 포함된다.The above-described present invention can be implemented as computer readable code on a medium on which a program is recorded. The computer-readable medium includes all types of recording devices in which data that can be read by a computer system is stored. Examples of computer-readable media include Hard Disk Drive (HDD), Solid State Disk (SSD), Silicon Disk Drive (SDD), ROM, RAM, CD-ROM, magnetic tape, floppy disk, optical data storage device, etc. , and also includes those implemented in the form of a carrier wave (eg, transmission over the Internet). Also, the computer may include the controllers 180 and 280 of the electronic device. Accordingly, the above detailed description should not be construed as limiting in all respects and should be considered illustrative. The scope of the present invention should be determined by reasonable interpretation of the appended claims, and all changes within the equivalent scope of the present invention are included in the scope of the present invention.

Claims (5)

메모리;
거울의 전면에 인접하여 구비되고, 디스플레이 영역의 투명도를 조절하여 상기 거울이 노출되도록 하는 투명 디스플레이부;
기설정된 거리 범위 내 객체의 위치 정보를 디텍트하고, 상기 위치 정보를 제어부에 전송하는 센싱부;
객체에 대한 영상을 촬영하는 카메라; 및
상기 촬영된 영상을 기초로 상기 객체에 피팅(fitting)할 수 있는 컨텐츠에 대응하는 3차원 모델을 생성하고, 상기 객체의 움직임을 따라 상기 생성된 3차원 모델을 상기 투명 디스플레이부에 디스플레이 하도록 제어하고, 상기 투명 디스플레이부가 상기 디스플레이 영역의 적어도 일부 영역의 투명도를 조절하도록 제어하고, 상기 투명도가 조절된 적어도 일부 영역을 제외한 나머지 영역에 소정의 컨텐츠를 디스플레이 하도록 제어하는 제어부를 포함하고,
상기 제어부는
상기 투명 디스플레이부를 통하여 상기 객체가 현재 피팅한 컨텐츠의 모습을 볼 수 있도록
상기 카메라에 의해 촬영된 객체의 이전 촬영 영상과 현재 거울에 비친 객체의 영상을 함께 디스플레이하고,
상기 카메라를 통해 촬영된 영상을 기초로 상기 객체의 윤곽(outline)을 디텍트하고,
상기 위치 정보에 기초하여 상기 객체의 움직임을 판단하고,
객체의 움직임에 따라 디텍트한 윤곽에 대응하는 상기 투명 디스플레이부의 디스플레이 영역의 투명도를 조절하여 상기 거울이 노출되는 영역을 변경하는 것을 특징으로 하는
디스플레이 장치.Memory;
a transparent display unit provided adjacent to the front surface of the mirror and exposing the mirror by adjusting the transparency of the display area;
a sensing unit that detects location information of an object within a preset distance range and transmits the location information to a controller;
a camera for taking images of an object; and
Based on the captured image, a 3D model corresponding to content that can be fitted to the object is generated, and the generated 3D model is controlled to be displayed on the transparent display unit according to the movement of the object, , a control unit controlling the transparent display unit to adjust the transparency of at least a portion of the display area, and displaying predetermined content in the remaining area except for the at least partial area to which the transparency is adjusted;
The control unit
Through the transparent display unit, the object can see the currently fitting content
Displaying a previously captured image of an object captured by the camera and an image of the object currently reflected in the mirror together;
Detecting an outline of the object based on an image captured by the camera;
Determine movement of the object based on the location information;
Characterized in that the area where the mirror is exposed is changed by adjusting the transparency of the display area of the transparent display unit corresponding to the detected contour according to the movement of the object.
display device. 제1항에 있어서,
상기 제어부는 상기 센싱부로부터 수신한 상기 객체의 위치 정보에 대응하는 상기 투명 디스플레이부의 디스플레이 영역의 투명도를 조절하여 상기 거울이 노출되도록 제어하는 것을 특징으로 하는 디스플레이 장치.According to claim 1,
The display apparatus according to claim 1 , wherein the control unit adjusts the transparency of a display area of the transparent display unit corresponding to the location information of the object received from the sensing unit so that the mirror is exposed. 제2항에 있어서,
상기 센싱부는 상기 객체의 제1 위치 정보 및 상기 객체의 이동에 따라 변경된 제2 위치 정보를 디텍트하고 상기 제1 위치 정보 및 상기 제2 위치 정보를 제어부에 전송하고,
상기 제어부는 상기 센싱부로부터 수신한 상기 제1 위치 정보에 대응하는 투명 디스플레이부의 제1 디스플레이 영역 및 상기 제2 위치 정보에 대응하는 투명 디스플레이부의 제2 디스플레이 영역의 투명도를 상기 객체의 이동에 따라 조절하여 상기 거울이 노출되는 영역을 변경하는 것을 특징으로 하는 디스플레이 장치.According to claim 2,
The sensing unit detects first location information of the object and second location information changed according to the movement of the object and transmits the first location information and the second location information to a controller,
The control unit adjusts the transparency of the first display area of the transparent display unit corresponding to the first location information received from the sensing unit and the second display area of the transparent display unit corresponding to the second location information according to the movement of the object. to change the area where the mirror is exposed. 삭제delete 삭제delete