KR102174464B1 - Space touch detecting device and display device having the same - Google Patents
Space touch detecting device and display device having the same Download PDFInfo
- Publication number
- KR102174464B1 KR102174464B1 KR1020180119644A KR20180119644A KR102174464B1 KR 102174464 B1 KR102174464 B1 KR 102174464B1 KR 1020180119644 A KR1020180119644 A KR 1020180119644A KR 20180119644 A KR20180119644 A KR 20180119644A KR 102174464 B1 KR102174464 B1 KR 102174464B1
- Authority
- KR
- South Korea
- Prior art keywords
- camera device
- input
- display
- display panel
- input object
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
- G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
- G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
- G06F3/005—Input arrangements through a video camera
-
- G06K9/00201—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/64—Three-dimensional objects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/41—Structure of client; Structure of client peripherals
- H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
- H04N21/4223—Cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
- G06F2203/04101—2.5D-digitiser, i.e. digitiser detecting the X/Y position of the input means, finger or stylus, also when it does not touch, but is proximate to the digitiser's interaction surface and also measures the distance of the input means within a short range in the Z direction, possibly with a separate measurement setup
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Signal Processing (AREA)
- Position Input By Displaying (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
표시 장치는, 표시 패널을 포함한다. 입력 감지부는, 표시 패널의 전방에 배치되며, 표시 패널의 표시면 전체로부터 기 설정된 거리까지의 감지 공간에 대한 측면 영상들을 획득한다. 제어부는, 측면 영상들로부터 감지 공간에 위치하는 입력 객체를 검출하고, 입력 객체의 측면 영상들 내 위치 정보에 기초하여 입력 객체의 3차원 위치를 산출하며, 입력 객체의 3차원 위치에 기초하여 비접촉 방식의 공간 터치 입력을 인식한다.The display device includes a display panel. The input detector is disposed in front of the display panel and acquires side images of a sensing space from the entire display surface of the display panel to a predetermined distance. The controller detects an input object located in the sensing space from side images, calculates a three-dimensional position of the input object based on position information in the side images of the input object, and non-contacts based on the three-dimensional position of the input object. Recognizes the spatial touch input of the method.
Description
본 발명은 표시 장치에 관한 것으로, 보다 구체적으로, 공간 터치를 감지하는 공간 터치 감지 장치 및 이를 포함하는 표시 장치에 관한 것이다.The present invention relates to a display device, and more particularly, to a spatial touch sensing device for sensing a spatial touch and a display device including the same.
표시 장치 상에 설치되어 손가락이나 펜 등을 이용해 단순 접촉하여 데이터를 입력하는 터치스크린이 널리 사용되고 있다.A touch screen installed on a display device to input data by simply touching it using a finger or a pen is widely used.
터치스크린은 표시 패널에 터치 패널(Touch Panel)을 덧붙여서 손가락이나 펜 등이 접촉할 때 해당 영역(즉, 손가락 등이 접촉한 영역)의 특성이 변화하는 것을 인지하여 사용자 입력의 발생을 감지한다.The touch screen detects the occurrence of a user input by adding a touch panel to the display panel and recognizing that the characteristics of a corresponding region (ie, a region touched by a finger, etc.) change when a finger or a pen touches it.
상기한 바와 같은 터치스크린은 통상 디스플레이 화면과 터치 패널을 동일한 면에 배치하는 2차원 평면에서 동작하는 방식을 채택하기 때문에 사용자 인터페이스의 다양한 표현을 제공하는데 있어서 한계가 있다.Since the touch screen as described above generally employs a method of operating in a two-dimensional plane in which the display screen and the touch panel are disposed on the same surface, there is a limitation in providing various expressions of the user interface.
이에, 본 발명이 해결하고자 하는 과제는 3차원의 터치 입력을 감지할 수 있는 표시 장치를 제공하는 것이다.Accordingly, a problem to be solved by the present invention is to provide a display device capable of sensing a three-dimensional touch input.
본 발명이 해결하고자 하는 다른 과제는 3차원의 터치 입력을 감지할 수 있는 공간 터치 감지 장치를 제공하는 것이다.Another problem to be solved by the present invention is to provide a spatial touch sensing device capable of sensing a three-dimensional touch input.
본 발명의 과제들은 이상에서 언급한 기술적 과제로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.The problems of the present invention are not limited to the technical problems mentioned above, and other technical problems that are not mentioned will be clearly understood by those skilled in the art from the following description.
상기 과제를 해결하기 위한 일 실시예에 따른 표시 장치는, 표시 패널; 상기 표시 패널의 전방에 배치되며, 상기 표시 패널의 표시면 전체로부터 기 설정된 거리까지의 감지 공간에 대한 측면 영상들을 획득하는 입력 감지부; 및 상기 측면 영상들로부터 상기 감지 공간에 위치하는 입력 객체를 검출하고, 상기 입력 객체의 상기 측면 영상들 내 위치 정보에 기초하여 상기 입력 객체의 3차원 위치 정보를 산출하며, 상기 입력 객체의 상기 3차원 위치 정보에 기초하여 비접촉 방식의 공간 터치 입력을 인식하는 제어부를 포함한다.A display device according to an exemplary embodiment for solving the above problem includes: a display panel; An input sensing unit disposed in front of the display panel and acquiring side images of a sensing space from the entire display surface of the display panel to a predetermined distance; And detecting an input object located in the sensing space from the side images, calculating 3D position information of the input object based on position information in the side images of the input object, and calculating the 3D position information of the input object. And a controller for recognizing a non-contact spatial touch input based on dimensional location information.
상기 입력 감지부는, 상기 표시 패널의 상기 표시면을 가로지르는 제1 방향을 향하여 배치되어 상기 감지 공간에 대한 제1 측면 영상을 생성하는 제1 카메라 장치, 및 상기 제1 카메라 장치와 이격되고 상기 제1 방향과 교차하는 제2 방향을 향하여 배치되어 상기 감지 공간에 대한 제2 측면 영상을 획득하는 제2 카메라 장치를 포함하고, 상기 제1 측면 영상 및 상기 제2 측면 영상은 상기 측면 영상들에 포함될 수 있다.The input detection unit may include a first camera device disposed toward a first direction crossing the display surface of the display panel to generate a first side image of the sensing space, and a first camera device spaced apart from the first camera device And a second camera device disposed toward a second direction intersecting with the first direction to obtain a second side image of the sensing space, wherein the first side image and the second side image are included in the side images. I can.
상기 입력 감지부는 상기 감지 공간에 적외선 광을 발산하는 적외선 광원을 더 포함하고, 상기 제1 카메라 장치 및 상기 제2 카메라 장치는 적외선 카메라일 수 있다.The input sensing unit may further include an infrared light source emitting infrared light to the sensing space, and the first camera device and the second camera device may be infrared cameras.
상기 표시 장치는, 상기 표시 패널의 일측변에 인접하여 배치되되, 상기 표시 패널의 전방으로 돌출되고, 내부에 형성된 빈 공간을 포함하며, 상기 표시 패널과 인접한 일 면에 형성된 개구를 포함하는 상부 커버; 및 상기 개구를 커버하되, 상기 개구의 양 측에서 상기 빈 공간을 노출시키는 투명판을 더 포함하고, 상기 적외선 광원, 상기 제1 카메라 장치, 및 상기 제2 카메라 장치는 상기 상부 커버의 빈 공간에 배치되며, 상기 적외선 광원은 상기 투명판에 의해 커버되고, 상기 제1 카메라 장치는 상기 상부 커버의 일측에 인접하여 배치되되, 상기 개구에 의해 노출되며, 상기 제2 카메라 장치는 상기 상부 커버의 타측에 인접하여 배치되되, 상기 개구에 의해 노출될 수 있다.The display device is disposed adjacent to one side of the display panel, the upper cover protrudes toward the front of the display panel, includes an empty space formed therein, and includes an opening formed on a surface adjacent to the display panel ; And a transparent plate covering the opening, and exposing the empty space on both sides of the opening, wherein the infrared light source, the first camera device, and the second camera device are in the empty space of the upper cover. And the infrared light source is covered by the transparent plate, the first camera device is disposed adjacent to one side of the upper cover, exposed by the opening, and the second camera device is the other side of the upper cover Doedoe disposed adjacent to, it may be exposed by the opening.
상기 표시 패널은 표시면이 오목한 곡면형 표시 패널이고, 상기 제1 카메라 장치 및 상기 제2 카메라 장치 각각은 상기 표시 패널의 상기 표시면의 면적 중심을 향하도록 배치될 수 있다.The display panel is a curved display panel having a concave display surface, and each of the first camera device and the second camera device may be disposed to face the center of an area of the display surface of the display panel.
상기 감지 공간은 상기 제1 카메라 장치의 촬영 영역과 상기 제2 카메라 장치의 촬영 영역이 중첩하는 영역으로 정의되고, 상기 감지 공간은 상기 표시 패널 전체에서 상기 표시면에 수직하는 방향으로 동일한 폭을 가질 수 있다.The sensing space is defined as an area where the photographing region of the first camera device and the photographing region of the second camera device overlap, and the sensing space has the same width in a direction perpendicular to the display surface in the entire display panel. I can.
상기 표시 장치는, 상기 표시 패널의 가장자리의 적어도 일부로부터 상기 표시 패널의 전방으로 돌출된 커버부를 더 포함하고, 상기 커버부는, 상기 감지 공간을 정의하며, 상기 표시 패널의 측방으로부터 상기 감지 공간으로 유입되는 적외선 광을 차단할 수 있다.The display device further includes a cover portion protruding toward the front of the display panel from at least a portion of an edge of the display panel, the cover portion defining the sensing space, and flowing into the sensing space from a side of the display panel Infrared light can be blocked.
상기 입력 감지부는, 제3 방향을 향하여 배치되어 상기 감지 공간에 대한 제3 측면 영상을 생성하는 제3 카메라 장치, 및 제4 방향을 향하여 배치되어 상기 감지 공간에 대한 제4 측면 영상을 생성하는 제4 카메라 장치를 더 포함하며, 상기 제3 방향은 상기 제2 방향과 교차하고, 상기 제4 방향은 상기 제3 방향과 교차하며, 상기 제어부는 상기 제1 내지 제4 측면 영상들 중 2개의 측면 영상들에 기초하여 제1 서브 입력 객체를 검출하고, 상기 제1 내지 제4 측면 영상들 중 나머지 2개의 측면 영상들에 기초하여 제2 서브 입력 객체를 검출할 수 있다.The input sensing unit may include a third camera device disposed toward a third direction to generate a third side image of the sensing space, and a third camera device disposed toward a fourth direction to generate a fourth side image of the sensing space. 4 further comprising a camera device, wherein the third direction intersects the second direction, the fourth direction intersects the third direction, and the control unit comprises two side surfaces of the first to fourth side images A first sub-input object may be detected based on the images, and a second sub-input object may be detected based on the remaining two side images of the first to fourth side images.
상기 표시 장치는, 상기 표시 패널의 전방 일측에 배치되어 상기 표시 패널의 표시면에 평행하게 초음파를 발산하는 초음파 트랜스듀서들을 더 포함하고, 상기 입력 객체가 상기 표시 패널에 인접할수록 상기 초음파에 의해 상기 입력 객체에 가해지는 압력이 증가할 수 있다.The display device further includes ultrasonic transducers disposed on one side in front of the display panel to emit ultrasonic waves parallel to the display surface of the display panel, and the closer the input object is to the display panel, The pressure applied to the input object may increase.
상기 다른 과제를 해결하기 위한 일 실시예에 따른 공간 터치 감지 장치는, 스크린의 전방에 배치되며, 상기 스크린으로부터 기 설정된 거리까지의 감지 공간에 대한 측면 영상들을 획득하는 입력 감지부; 및 상기 측면 영상들로부터 상기 감지 공간에 위치하는 입력 객체를 검출하고, 상기 입력 객체의 3차원 위치 정보를 산출하며, 상기 입력 객체의 상기 3차원 위치 정보에 기초하여 비접촉 방식의 공간 터치 입력을 인식하는 제어부를 포함한다.A spatial touch sensing apparatus according to an exemplary embodiment for solving the other problem includes: an input sensing unit disposed in front of a screen and acquiring side images of a sensing space from the screen to a predetermined distance; And detecting an input object located in the sensing space from the side images, calculating 3D location information of the input object, and recognizing a non-contact spatial touch input based on the 3D location information of the input object. It includes a control unit.
기타 실시예의 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.Details of other embodiments are included in the detailed description and drawings.
본 발명의 실시예들에 따른 표시 장치는, 표시부의 전방에서 감지 공간의 측면 영상들을 획득하고, 측면 영상들로부터 감지 공간 내 입력 객체의 3차원 위치를 산출함으로써, 표시부로부터 근거리에 형성된 감지 공간 내에서 3차원의 터치 입력을 감지할 수 있다.The display device according to the exemplary embodiment of the present invention obtains side images of the sensing space from the front of the display unit and calculates a three-dimensional position of the input object in the sensing space from the side images. 3D touch input can be detected.
본 발명의 실시예들에 따른 효과는 이상에서 예시된 내용에 의해 제한되지 않으며, 더욱 다양한 효과들이 본 명세서 내에 포함되어 있다.Effects according to the embodiments of the present invention are not limited by the contents illustrated above, and more various effects are included in the present specification.
도 1은 본 발명의 일 실시예에 따른 표시 장치를 나타내는 사시도이다.
도 2a 및 도 2b는 도 1의 표시 장치에 포함된 표시부의 일 예를 나타내는 분해 사시도들이다.
도 2c는 도 1의 표시 장치의 일 예를 나타내는 하측면도이다.
도 2d는 도 1의 Q1 영역을 확대한 도면이다.
도 3a 내지 도 3c는 도 1의 표시 장치에 포함된 입력 감지부에 의해 형성된 감지 공간의 일 예를 나타내는 도면들이다.
도 4a 내지 도 4e는 도 1의 표시 장치에 의해 배치된 입력 감지부의 다양한 배치예를 나타내는 도면들이다.
도 5a는 본 발명의 다른 실시예들에 따른 표시 장치를 나타내는 도면이다.
도 5b는 도 5a의 표시 장치에 의해 형성된 감지 공간의 일 예를 나타내는 평면도이다.
도 6은 도 1의 표시 장치에 포함된 제어부의 일 예를 나타내는 블록도이다.
도 7a 내지 도 7f는 도 6의 제어부에서 입력 객체를 감지하는 과정을 설명하는 도면들이다.
도 8a 및 도 8b는 위치에 따른 포인터의 입력 이미지를 나타낸 개략도들이다.
도 9는 근접 포인터의 원본 영상과 변환 영상을 비교 도시한 개략도이다.
도 10은 변환 영상의 비율 분석 방법을 나타낸 개략도이다.
도 11a 및 도 11b는 도 1의 표시 장치에 포함된 감각 제공부의 일 예를 나타내는 도면이다.
도 12는 본 발명의 또 다른 실시예에 따른 표시 장치를 나타내는 도면이다.
도 13은 도 12의 표시 장치가 멀티 입력을 감지하는 구성을 설명하는 도면이다.1 is a perspective view illustrating a display device according to an exemplary embodiment of the present invention.
2A and 2B are exploded perspective views illustrating an example of a display unit included in the display device of FIG. 1.
2C is a bottom side view illustrating an example of the display device of FIG. 1.
FIG. 2D is an enlarged view of area Q1 of FIG. 1.
3A to 3C are diagrams illustrating an example of a sensing space formed by an input sensing unit included in the display device of FIG. 1.
4A to 4E are diagrams illustrating various arrangement examples of an input sensing unit disposed by the display device of FIG. 1.
5A is a diagram illustrating a display device according to other exemplary embodiments of the present invention.
5B is a plan view illustrating an example of a sensing space formed by the display device of FIG. 5A.
6 is a block diagram illustrating an example of a control unit included in the display device of FIG. 1.
7A to 7F are diagrams illustrating a process of detecting an input object by the controller of FIG. 6.
8A and 8B are schematic diagrams illustrating an input image of a pointer according to a location.
9 is a schematic diagram illustrating a comparison between an original image of a proximity pointer and a converted image.
10 is a schematic diagram showing a method of analyzing a ratio of a converted image.
11A and 11B are diagrams illustrating an example of a sensory providing unit included in the display device of FIG. 1.
12 is a diagram illustrating a display device according to another exemplary embodiment of the present invention.
13 is a diagram illustrating a configuration in which the display device of FIG. 12 detects a multi-input.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. Advantages and features of the present invention, and a method of achieving them will become apparent with reference to the embodiments described below in detail together with the accompanying drawings. However, the present invention is not limited to the embodiments disclosed below, but will be implemented in various forms different from each other, and only these embodiments make the disclosure of the present invention complete, and common knowledge in the technical field to which the present invention belongs It is provided to completely inform the scope of the invention to those who have it, and the invention is only defined by the scope of the claims.
비록 제1, 제2 등이 다양한 구성요소들을 서술하기 위해서 사용되나, 이들 구성요소들은 이들 용어에 의해 제한되지 않음은 물론이다. 이들 용어들은 단지 하나의 구성요소를 다른 구성요소와 구별하기 위하여 사용하는 것이다. 따라서, 이하에서 언급되는 제1 구성요소는 본 발명의 기술적 사상 내에서 제2 구성요소일 수도 있음은 물론이다.Although the first, second, and the like are used to describe various components, it goes without saying that these components are not limited by these terms. These terms are only used to distinguish one component from another component. Therefore, it goes without saying that the first component mentioned below may be the second component within the technical idea of the present invention.
이하, 첨부된 도면을 참고로 하여 본 발명의 실시예들에 대해 설명한다.Hereinafter, exemplary embodiments of the present invention will be described with reference to the accompanying drawings.
도 1은 일 실시예에 따른 표시 장치를 나타내는 사시도이다.1 is a perspective view illustrating a display device according to an exemplary embodiment.
도 1을 참조하면, 표시 장치(1)는 표시부(100), 입력 감지부(300) 및 제어부(500)를 포함한다.Referring to FIG. 1, the
표시부(100)는 영상을 제공할 수 있다. 여기서, 영상이 표시되는 표시부(100)의 일 면을 표시면으로 정의하고, 표시 장치(1)의 상측, 하측, 좌측, 우측은 도 1에 도시된 표시부(100)의 표시면을 기준으로(예를 들어, 제1 방향(D1) 및 제2 방향(D2)에 의해 형성되는 면을 기준으로) 상측, 하측, 좌측, 우측으로 정의한다. 또한, 표시 장치(1)의 전방(또는, 상부)은 표시면에 수직하는 방향(즉, 제3 방향(D3))을 기준으로 표시면이 보이는 방향으로 정의하고, 표시 장치(1)의 후방(또는, 하부)은 표시면이 보이지 않는 방향으로 정의한다.The
표시부(100)는 사각형의 평면 형상을 가질 수 있다. 표시부(100)는 특정 곡률 반경을 가지는 휘어진 곡면형 표시 모듈일 수 있다. 예를 들어, 표시부(100)의 표시면은 약 1.5m의 곡률 반경을 가지고 휘어질 수 있다. 표시부(100)는 도 1에 도시된 바와 같이 전방에서 후방으로 오목한 형상을 가질 수도 있고, 그와 반대로 볼록한 형상을 가질 수도 있다. 그러나, 이에 제한되는 것은 아니며, 표시부(100)는 평탄한 표시면을 가지는 평면형 표시 모듈일 수도 있다. 이하에서는, 표시부(100)는 곡면형 표시 모듈인 경우를 예로 하여 설명하기로 한다.The
표시부(100)은 광을 방출하는 방식에 따라, 액정 표시 장치(LCD), 유기발광 표시 장치(OLED), 플라즈마 표시 장치(PDP), 전계방출 표시 장치(FED) 등일 수 있다. 표시부(100)의 보다 구체적인 구성에 대해서는 도 2a를 참조하여 후술하기로 한다.The
입력 감지부(300)는 표시부(100)의 전방에 설정된 감지 공간(또는, 감지 영역, 도 3a 참조)에 대한 감지 데이터를 생성할 수 있다. 여기서, 감지 공간은 표시부(100)의 표시면과 동일하거나 유사한 면적(표시면에 평행한 평면 또는 곡면 기준)을 가지고 표시부(100)의 표시면으로부터 기 설정된 거리(예를 들어, 최대 1m) 이내에 위치하는 공간으로 소정의 체적을 갖는 3차원적 공간이며, 입력 객체(OBJ)에 의해 비접촉 방식의 공간 터치(air touch)가 입력되는 공간일 수 있다. 입력 객체(OBJ)는 포인터를 포함할 수 있다. 포인터는 방향이나 위치를 나타내는 지시 수단으로, 사용자의 손가락, 펜, 지시봉, 지휘봉, 안테나, 막대기 등이 포인터로 사용될 수 있다. 도면에서는 포인터의 예로서, 사용자의 손(또는 손가락)과 펜이 예시되어 있지만, 적용가능한 포인터의 예가 그에 제한되는 것은 아님은 자명하다. The input sensing unit 300 may generate sensing data for a sensing space (or sensing region, see FIG. 3A) set in front of the
입력 감지부(300)는 입력 객체(OBJ)가 위치하는 감지 공간에 대한 감지 데이터를 생성할 수 있다. 감지 데이터는 후술하는 제어부(500)에 의해 터치 이벤트를 생성하는데 이용될 수 있다.The input sensing unit 300 may generate sensing data for a sensing space in which the input object OBJ is located. The sensing data may be used to generate a touch event by the
실시예들에서, 입력 감지부(300)는 표시부(100)의 전방에 배치되며, 감지 공간에 대한 측면 영상들(또는, 측면 영상 데이터들)을 획득할 수 있다.In embodiments, the input sensing unit 300 is disposed in front of the
일 실시예에서, 입력 감지부(300)는 제1 카메라 장치(311) 및 제2 카메라 장치(312)를 포함할 수 있다. 제1 카메라 장치(311)는 표시부(100)의 전방에 배치되되, 표시부(100)의 표시면을 가로지르는 제1 시선 방향(DR1)을 향하여 배치되며, 감지 공간에 대한 제1 측면 영상을 생성할 수 있다. 제1 시선 방향(DR1)은 표시면을 사선 방향(즉, 표시면의 변을 기준으로 경사진 방향)으로 가로지르는 방향일 수 있고, 예를 들어, 표시부(100)의 모서리들(또는, 코너부들) 중 하나의 모서리로부터 표시면의 면적 중심을 향하는 방향일 수 있다. In an embodiment, the input detection unit 300 may include a
유사하게, 제2 카메라 장치(312)는 표시부(100)의 전방에서 제1 카메라 장치(311)로부터 이격되어 배치되되, 표시부(100)의 표시면을 가로지르는 제2 시선 방향(DR2)을 향하여 배치되며, 감지 공간에 대한 제2 측면 영상을 생성할 수 있다. 여기서, 제2 시선 방향(DR2)은 제1 시선 방향(DR1)과 교차하고, 예를 들어, 제2 시선 방향(DR2)은 제1 시선 방향(DR1)에 수직하거나, 둔각을 형성할 수 있다. 제2 시선 방향(DR2)은 표시면을 사선 방향으로 가로지르는 방향일 수 있고, 예를 들어, 표시부(100)의 모서리들 중 다른 하나의 모서리로부터 표시면의 면적 중심을 향하는 방향일 수 있다.Similarly, the
도 1에 도시된 바와 같이, 제1 카메라 장치(311)는 표시부(100)의 좌측 상단 모서리에 배치되되, 제1 카메라 장치(311)의 시선축이 표시면의 면적 중심을 향하도록 배치될 수 있다. 유사하게, 제2 카메라 장치(312)는 표시부(100)의 우측 상단 모서리에 배치되되, 제2 카메라 장치(312)의 시선축이 표시면의 면적 중심을 향하도록 배치될 수 있다. As shown in FIG. 1, the
제1 및 제2 카메라 장치들(300: 311, 312)은 90도 이상의 화각(view angle, 또는 field of view)을 가질 수 있다. 이 경우, 제1 및 제2 카메라 장치들(311, 312) 각각은 표시부(100)의 전방의 감지 공간을 음영 구역 없이 촬영할 수 있다.The first and second camera devices 300: 311 and 312 may have a view angle (or field of view) of 90 degrees or more. In this case, each of the first and
참고로, 영상(또는, 비전)에 기초하여 입력 객체(OBJ)를 감지하기 위해 사용되는 일반적인 카메라 장치는, 일반적인 표시 장치의 일 측에서 표시 장치의 전방을 향하여 배치되어 비교 감지 공간에 대한 정면 영상을 획득한다. 여기서, 실시예에 따른 감지 공간에 대응하는 공간인 비교 감지 공간은 통상 표시부(100) 표면으로부터 카메라 장치의 최소 초점거리 이상의 거리만큼 이격된다. 즉, 일반적인 카메라 장치의 렌즈 초점거리에 의할 때, 사용자의 손이 일반적인 카메라 장치로부터 20cm 이상 이격되어야 사용자의 손을 정확히 감지할 수 있기 때문에, 그보다 가까운 거리에 위치하는 공간에서는 입력 객체(OBJ)를 감지하기 어렵다. 이와 같은 한계를 뛰어넘기 위해 렌즈 초점 거리가 짧은 카메라 장치를 사용할 수 있지만, 해당 카메라 장치는 화각이 좁아 표시 장치 전면 전체에서 입력 객체(OBJ)를 감지하는 데에 어려움이 있다.For reference, a general camera device used to detect an input object (OBJ) based on an image (or vision) is disposed from one side of the general display device toward the front of the display device to provide a front image of the comparison sensing space. To obtain. Here, the comparative sensing space, which is a space corresponding to the sensing space according to the embodiment, is usually spaced apart from the surface of the
반면, 실시예들에 따른 입력 감지부(300)는 상호 이격되어 배치되고, 감지 공간에 대한 정면 영상이 아닌 측면 영상들을 획득하여 위치를 감지하기 때문에, 표시부(100)의 표면으로부터 그에 인접한 공간(예를 들어, 표시부(100)의 표시면으로부터 1m 이내의 공간) 내에 위치하는 입력 객체(OBJ)를 모두 감지할 수 있다.On the other hand, since the input sensing unit 300 according to the exemplary embodiments is disposed to be spaced apart from each other and detects the position by acquiring side images of the sensing space, not the front image, a space adjacent thereto from the surface of the
한편, 도 1에서 제1 및 제2 카메라 장치들(311, 312)이 표시부(100)의 좌측 상단 모서리 및 우측 상단 모서리에 배치되는 것으로 도시되어 있으나, 이는 예시적인 것으로, 이에 한정되는 것은 아니다. 제1 및 제2 카메라 장치들(311, 312)의 다양한 배치에 대해서는 도 4a 내지 도 4f를 참조하여 후술하기로 한다.Meanwhile, in FIG. 1, the first and
또한, 도 1에서 입력 감지부(300)는 2개의 카메라 장치들(311, 312)를 포함하는 것으로 도시되어 있으나, 이는 예시적인 것으로, 입력 감지부(300)는 3개 이상의 카메라 장치들을 포함할 수도 있다. 이에 대해서는 도 12를 참조하여 후술하기로 한다.In addition, in FIG. 1, the input detection unit 300 is shown to include two
일 실시예에서, 입력 감지부(300)는 적외선 광원(320)을 더 포함할 수 있다. 적외선 광원(320)은 감지 공간에 적외선 광을 투사할 수 있다. 여기서, 적외선 광은 약 940nm의 파장을 가지며, 감시 카메라에 사용되는 850nm의 파장을 가지는 적외선 광과 구분될 수 있다. 적외선 광원(320)은 투사각이 상대적으로 넓은 적외선 LED들, 또는 투사 밀도가 상대적으로 큰 적외선 레이저 광원들을 포함할 수 있다. In one embodiment, the input sensing unit 300 may further include an infrared
적외선 광원(320)이 구비되는 경우, 제1 카메라 장치(311) 및 제2 카메라 장치(312)는 적외선 카메라로 구현되거나, 가시 광선을 차단하는 가시광선 차단 필터를 포함할 수 있다. 이에 따라, 측면 영상들에 대한 감도가 향상되고, 입력 객체(OBJ)에 의해 반사된 적외선 광에 의해 입력 객체(OBJ)가 보다 용이하게 검출될 수 있다. 한편, 표시 장치(1)는 슬롯 머신과 같은 오락기기에 적용되어, 카지노와 같은 오락장에서 사용될 수 있는데, 오락장의 높은 휘도의 조명, 영상들에 의해 일반적인 가시 영상에 대한 가공만으로는 입력 객체(OBJ)가 용이하게 검출되지 않을 수 있다. 따라서, 실시예들에 따른 입력 감지부(300)는 가시 광선과는 다른 적외선 광(또한, 오락장의 감시 카메라에서 사용되는 적외선 광과는 구별되는 파장의 적외선 광)을 이용함으로써, 입력 객체(OBJ)를 보다 정확하게 검출할 수 있다.When the infrared
도 1에 도시된 바와 같이, 적외선 광원(320)은 표시부(100)의 상측변에 인접하여 배치될 수 있다. 다만, 이는 예시적인 것으로, 적외선 광원(320)은 표시부(100)의 하측변에 인접하여 배치되거나, 표시부(100)의 상측변 및 하측변 각각에 배치될 수도 있다. 또한, 적외선 광원(320)은 표시부(100)의 좌측변, 또는 우측변에 배치될 수도 있다.1, the infrared
제어부(500)는 측면 영상들(즉, 입력 감지부(300)에서 획득한 감지 데이터)로부터 입력 객체(OBJ)를 검출하고, 측면 영상들에서의 입력 객체(OBJ)의 위치 정보에 기초하여 입력 객체(OBJ)의 3차원 위치 정보를 산출하며, 3차원 위치 정보에 기초하여 공간 터치 입력을 인식하거나 터치 이벤트를 생성할 수 있다. 예를 들어, 제어부(500)는 측면 영상들을 영상 처리하여 입력 객체를 검출하고, 기 설정된 카메라 장치들(311, 312) 각각의 위치 정보, 측면 영상들에서 입력 객체의 위치 정보(또는, 방향 정보)에 기초하여 입력 객체의 3차원 위치 정보를 산출하며, 상기 3차원 위치 정보의 변화(예를 들어, 제3 방향(D3)으로의 변화)에 기초하여 터치 이벤트를 생성할 수 있다.The
또한, 제어부(500)는 표시부(100)에 영상 데이터를 제공하며, 터치 이벤트에 대응하여 영상 데이터를 제어하거나 변화시킬 수 있다. 나아가, 제어부(500)는 터치 이벤트에 대응하여 감각 제어 신호를 생성할 수도 있다.Further, the
몇몇 실시예에서, 표시 장치(1)는 감각 제공부(700)를 더 포함할 수 있다. 감각 제공부(700)는 입력 객체(OBJ)에 대해 특정 감각(예를 들어, 촉감)을 제공할 수 있다.In some embodiments, the
감각 제공부(700)는 표시부(100)의 전방에 배치될 수 있다. 도 1에 도시된 바와 같이, 감각 제공부(700)는 표시부(100)의 하측변에 인접하여 배치되며, 감지 공간에 감각 신호를 제공할 수 있다. 예를 들어, 감각 제공부(700)는 초음파 발생기들(또는, 초음파 트랜스듀서들)을 포함하고, 초음파 발생기들은 표시부(100)의 하측변으로부터 표시부(100)의 상측변을 향해 초음파를 발산할 수 있다.The
입력 객체(OBJ)가 감각 영역(예를 들어, 초음파가 미치는 영역으로, 감지 공간과 유사하거나 이에 포함되는 공간) 내에 진입하는 경우, 초음파에 의해 입력 객체(OBJ)의 단부(즉, 감각 영역 내에 진입한 부분)가 진동할 수 있으며, 사용자는 입력 객체(OBJ)의 진동(예를 들어, 손의 진동)에 기초하여 터치 이벤트가 발생됨을 인지할 수 있다.When the input object OBJ enters the sensory area (eg, an area affected by ultrasound, a space similar to or included in the sensing space), the end of the input object OBJ (ie, within the sensory area) is The entered part) may vibrate, and the user may recognize that a touch event is generated based on the vibration of the input object OBJ (eg, vibration of the hand).
감각 제공부(700)는 제어부(500)에서 제공되는 감각 제어 신호에 기초하여 초음파를 발생시킬 수 있다. 즉, 감각 제공부(700)는 터치 이벤트가 발생한 경우에 한하여 초음파를 발생시킬 수 있다. 이와 달리, 감각 제공부(7000는 감각 제어 신호와 무관하게 주기적으로 초음파를 발생시킬 수도 있다.The sensory providing
일 실시예에서, 감각 제공부(700)는 입력 객체(OBJ)와 표시부(100) 사이의 거리에 기초하여 초음파의 세기(즉, 촉감각의 크기)를 변화시킬 수 있다. 예를 들어, 감각 제공부(700)는 입력 객체(OBJ)가 표시부(100)에 인접할수록 초음파의 세기를 증가시킬 수 있다.In an embodiment, the sensory providing
도 1을 참조하여 설명한 바와 같이, 표시 장치(1)는 입력 감지부(300)를 통해 감지 공간에 대한 측면 영상들을 획득하며, 제어부(500)를 통해 측면 영상들로부터 입력 객체(OBJ)를 추출하고, 입력 객체(OBJ)의 3차원 위치에 기초하여 공간 터치 입력을 인지하거나 터치 이벤트를 생성할 수 있다.As described with reference to FIG. 1, the
또한, 입력 감지부(300)는 감지 공간에 대한 측면 영상들을 획득함으로써, 표시부(100)의 표시면에 인접한 입력 객체(OBJ)를 감지하고, 입력 객체(OBJ)의 제3 방향(D3)으로의 위치 변화(또는, 표시면으로부터 입력 객체(OBJ)까지의 거리)를 보다 정확하게 감지할 수 있다.In addition, the input detection unit 300 detects the input object OBJ adjacent to the display surface of the
나아가, 입력 감지부(300)에 포함된 제1 및 제2 카메라 장치들(311, 312)은 상호 이격되어, 표시부(100)의 상호 다른 모서리들에 각각 인접하여 배치됨으로써, 음영 구역 없이 표시면의 전방 전체의 감지 공간에서 입력 객체(OBJ)를 감지할 수 있다.Further, the first and
한편, 입력 감지부(300), 제어부(500)(및 감각 제공부(700))는 하나의 모듈(예를 들어, 공간 터치 감지 모듈)로 구현될 수 있다.Meanwhile, the input sensing unit 300 and the control unit 500 (and the sense providing unit 700) may be implemented as one module (eg, a spatial touch sensing module).
도 2a 및 도 2b는 도 1의 표시 장치에 포함된 표시부의 일 예를 나타내는 분해 사시도들이다. 도 2c는 도 1의 표시 장치의 일 예를 나타내는 하측면도이다. 도 2d는 도 1의 Q1 영역을 확대한 도면이다.2A and 2B are exploded perspective views illustrating an example of a display unit included in the display device of FIG. 1. 2C is a bottom side view illustrating an example of the display device of FIG. 1. FIG. 2D is an enlarged view of area Q1 of FIG. 1.
도 2a 내지 도 2d를 참조하면, 표시부(100)는 표시 모듈(110) 및 하우징(130: 131, 132, 133, 134)을 포함할 수 있다.2A to 2D, the
표시 모듈(110)은 액정표시모듈로 구현되고, 도 2b에 도시된 바와 같이, 액정 표시 패널(111), 광원(113), 백플레이트(115) 및 광학 시트(117)를 포함할 수 있다.The
액정 표시 패널(111)은 수직축을 기준으로 좌우로 오목하게 휘어진 곡면형 표시 패널일 수 있다. 액정 표시 패널(111)은 상호 대향하는 화소 전극과 공통 전극, 이들 사이에 배치된 액정층(또는, 액정 셀들), 화소 전극에 전압을 전달하는 트랜지스터들, 컬러 필터 및 편광 부재들을 포함할 수 있다.The liquid
광원(113)은 액정 표시 패널(111)에 광을 제공할 수 있다. 광원(113)은 복수의 LED들을 포함하고, LED들은 매트릭스 형태로 백플레이트(115)에 부착될 수 있다. 도 2에서는 광원(113)이 직하형으로 배치되어 있는 것이 도시되어 있으나, 광원(113)은 에지형으로 배치될 수도 있다. The
백플레이트(115)는 광원(113)을 지지하고, 액정 표시 패널(111)을 커버할 수 있다. 백플레이트(115)는 곡면 형태로 휘어진 액정 표시 패널(111)의 원점(즉, 곡면을 연장하여 얻어진 가상의 원의 중심)과 동일한 원점의 동심원 상에서 액정 표시 패널(111)의 원주 방향을 따라 기 설정된 폭을 가질 수 있다. 백플레이트(115)는 복수의 직사각형의 플레이트들을 포함할 수 있고, 각 플레이트들은 액정 표시 패널(111)의 원점을 향하도록 배치될 수 있다.The
광학 시트(117)는 액정 표시 패널(111)과 광원(113) 사이에 배치된다. 광학 시트(117)는 확산 시트, 프리즘 시트, 휘도 향상 시트 등을 포함할 수 있다. The
한편, 도시되지 않았으나, 표시 모듈(110)은 액정 표시 패널(111)의 전방에 배치되어 액정 표시 패널(111)을 보호하는 윈도우를 더 포함할 수 있다.Meanwhile, although not shown, the
다시 도 2a를 참조하면, 하우징(130)은 표시 모듈(110)을 수납하고, 표시 모듈(110)의 후면 및 측면으로부터 표시 모듈(110)을 보호할 수 있다. 또한, 하우징(130)은 입력 감지부(300) 및/또는 감각 제공부(700)를 수납하거나, 하우징(130)에 입력 감지부(300) 및/또는 감각 제공부(700)가 설치(mounted)될 수 있다.Referring back to FIG. 2A, the housing 130 may accommodate the
하우징(130)은 본체부(131), 상부 커버(132), 측면 커버(133) 및 지지부(134)를 포함할 수 있다.The housing 130 may include a
본체부(131)는 표시 모듈(110)에 대응하여 사각형의 평면 형상을 가지고, 표시 장치(1)가 휘어지는 방향으로 함께 휘어지며, 전면이 함몰되어 형성된 수납 공간을 포함할 수 있다. 수납 공간에는 표시 모듈(110)이 수납될 수 있다.The
본체부(131)의 후면의 적어도 일부는 절개되거나 개방(open)될 수 있으며, 본체부(131)의 절개 또는 개방된 부분에는 모듈 형태의 제어부(150)가 배치될 수 있다.At least a portion of the rear surface of the
상부 커버(132)는 본체부(131)의 상측(또는, 상측 전면)에 배치되며, 내부에 본체부(131)와의 사이에서 형성된 빈 공간을 포함할 수 있다. 빈 공간에는 입력 감지부(300)가 배치될 수 있다. 상부 커버(132)와 입력 감지부(300)는 하나의 모듈로 구성되어, 본체부(131)의 상측에 배치 또는 결합될 수 있다.The
도 2c에 도시된 바와 같이, 상부 커버(132)의 하측에는, 상부 커버(132)와 본체부(131) 사이에서 빈 공간과 외부를 연통하는 개구(OP)가 형성될 수 있다. 하우징(130)은 개구의 적어도 일부를 커버하는 투명판(132-1)을 더 포함할 수 있다. 상부 커버(132)는 불투명하고 강성의 재질로 구성되어, 입력 감지부(300)가 외부에 노출되는 것을 방지할 수 있다. 개구(OP)에 배치되는 투명판(132-1)을 통해서는 입력 감지부(300)(또는, 적외선 광원(320))로부터 발산된 적외선 광이 투과되어 감지 공간에 제공될 수 있다.As shown in FIG. 2C, an opening OP communicating the empty space and the outside may be formed between the
한편, 상부 커버(132)의 개구(OP)의 일부는 투명판(132-1)에 의해 커버되지 않고, 제1 및 제2 카메라 장치들(311, 312)(예를 들어, 카메라 장치들(311, 312) 각각의 렌즈)이 외부로 노출될 수 있다. 이와 같은 구조에 의해 입력 객체(OBJ)에 의해 반사된 적외선 광이 투명판(132-1)(또는, 투명판(132-1)의 굴절률)에 의해 전반사되는 것이 방지될 수 있다.On the other hand, part of the opening OP of the
다시 도 2a를 참조하면, 측면 커버(133)는 직사각형의 평면 형상을 가지고, 본체부(131)의 측면에 배치될 수 있다. 측면 커버(133)는 표시 모듈(110)의 측면으로부터 유입되는 광(예를 들어, 적외선 광)을 차단할 수 있다. 또한, 측면 커버(133)는 입력 감지부(300)(또는, 제1 및 제2 카메라 장치들(321, 322))의 설치 영역을 제공할 수도 있다.Referring back to FIG. 2A, the
일 실시예에서, 측면 커버(133)는 감지 공간을 정의할 수 있다. 예를 들어, 제1 및 제2 카메라 장치들(321, 322)로부터 획득한 측면 영상들에서, 측면 커버(133)와 중첩하여 표시되는 입력 객체(OBJ)만이 감지 영역 내에 존재하는 것으로 판단될 수도 있다.In one embodiment, the
지지부(134)(또는, 지지부재)는 제1 및 제2 카메라 장치들(311, 312)와 적외선 광원(320)을 지지할 수 있다. 지지부(134)는 제1 및 제2 카메라 장치들(311, 312)을 지지하는 제1 지지부(134-1)와 적외선 광원(320)을 지지하는 제2 지지부(미도시)를 포함할 수 있다. The support 134 (or the support member) may support the first and
도 2d에 도시된 바와 같이, 제1 지지부(134-1)는 본체부(131)(또는, 표시 모듈(110))의 상측면에 고정되는 고정부(134a)와, 고정부(134a)로부터 사선 방향(즉, 제4 방향(D4), 제1 카메라 장치(311)의 시선축에 수직하는 방향, 또는 고정부(134a)와 예각을 형성하는 방향)을 따라 연장된 제1 연장부(134b)와, 제1 연장부(134b)로부터 표시 모듈(110)의 전방으로 연장된 제2 연장부(134c)를 포함할 수 있다. 제2 연장부(134c)의 내측면에는 제1 카메라 장치(311)(또는, 제2 카메라 장치(312))가 고정될 수 있다.As shown in FIG. 2D, the first support part 134-1 is from the fixing
고정부(134a)와 본체부(131)의 얼라인에 따라 제1 카메라 장치(311)의 수평각(즉, 제1 카메라 장치(311)의 시선축의 수평 성분)이 조절되고, 고정부(134a)를 기준으로 제1 연장부(134b)의 절곡된 각도에 따라 제1 카메라 장치(311)의 수직각(즉, 제1 카메라 장치(311)의 시선축의 수직 성분)이 조절될 수 있다.The horizontal angle of the first camera device 311 (that is, the horizontal component of the gaze axis of the first camera device 311) is adjusted according to the alignment of the fixing
한편, 도 2d에서는 제1 지지부(134-1)가 본체부(131)의 상측면에 배치되는 것으로 도시되어 있으나, 이에 한정되는 것은 아니며, 제1 지지부(134-1)는 본체부(131)의 측면 또는 측면 커버(133)에 배치될 수도 있다.Meanwhile, in FIG. 2D, the first support 134-1 is shown to be disposed on the upper side of the
제2 지지부(미도시)는 본체부(131)(또는, 표시 모듈(110))의 상측면으로부터 상측으로 연장되고, 표시 모듈(110)의 전방으로 절곡되어 형성될 수 있다. 제2 지지부는 "ㄱ"자(또는, 역 "L"자) 형상을 가지며, 제2 지지부(미도시)의 내측면(즉, 본체부(131)의 상측면에 대향하는 면)에 적외선 광원(320)이 배치될 수 있다. 제2 지지부는 적외선 광원(320)으로부터 발산되는 적외선 광이 수평 방향으로 진행하는 것(즉, 적외선 광이 제1 및 제2 카메라 장치들(311, 312)로 직접적으로 유입되는 것)을 방지하는 측면 차광부재를 포함할 수도 있다.The second support part (not shown) may extend upward from the upper side of the main body 131 (or the display module 110 ), and may be formed by bending toward the front of the
몇몇 실시예에서, 표시부(100)는 입체필터부(미도시)를 더 포함할 수 있다. 입체필터부는 표시 모듈(110)의 전방에 배치될 수 있다. 예를 들어, 입체필터부는 표시 모듈(110)의 곡률 반경과 실질적으로 동일하거나 유사한 곡률 반경을 가지고, 표시 모듈(110)의 전방에 배치될 수 있다. 입체필터부는 표시 모듈(110)의 전면에 밀착되거나, 표시 모듈(110)의 전면으로부터 이격되어 배치될 수 있다.In some embodiments, the
입체필터부(미도시)는 렌티큘러 렌즈(lenticular lens sheet)를 포함할 수 있다. 렌티큘러 렌즈에 의해 표시 모듈(110)의 좌안 영상을 사용자의 왼쪽 눈에, 우안 영상을 사용자의 오른쪽 눈에 제공함으로써, 사용자에게 3차원 입체 영상을 제공할 수 있다. 렌티큘러 렌즈가 표시 모듈(110)과 동일한 곡률로 오목하게 형성되는 경우, 오목한 공간인 허공에서 영상이 존재하는 것과 같은 착시 현상이 발생할 수 있다. 따라서, 착시 현상으로 인하여 공간 상에 영상이 표시되는 것처럼 보이고, 사용자는 오목한 공간의 일정 깊이로 손을 넣어 영상을 터치함으로써, 공간감이 극대화될 수 있다.The three-dimensional filter unit (not shown) may include a lenticular lens sheet. By providing the left eye image of the
도 2a 내지 도 2d를 참조하여 설명한 바와 같이, 표시부(100)는 상부 커버(132)를 이용하여 입력 감지부(300)를 커버하되, 상부 커버(132)의 적어도 일부는 입력 감지부(300)의 제1 및 제2 카메라 장치들(311, 312)을 노출시켜, 입력 객체(OBJ)에 의해 반사된 광을 모두 반영한 측면 영상들이 생성될 수 있도록 할 수 있다. 또한, 표시부(100)는 표시 모듈(110)의 측면에 배치되는 측면 커버들(133a, 133b)을 포함함으로써, 외부로부터 유입되는 광을 차단하고, 또한, 감지 공간을 보다 용이하게 정의하거나 형성할 수 있다.As described with reference to FIGS. 2A to 2D, the
도 3a 내지 도 3c는 도 1의 표시 장치에 포함된 입력 감지부에 의해 형성된 감지 공간의 일 예를 나타내는 도면들이다. 도 3b 및 도 3c에는 감지 공간의 평면이 도시되어 있다.3A to 3C are diagrams illustrating an example of a sensing space formed by an input sensing unit included in the display device of FIG. 1. 3B and 3C illustrate a plane of the sensing space.
먼저 도 3a 및 도 3b를 참조하면, 제1 및 제2 카메라 장치들(311, 312)은 앞서 설명한 바와 같이, 표시부(110)의 전방에 배치되되, 표시부(110)의 좌상측 모서리 및 우상측 모서리에 각각 배치될 수 있다. 또한, 제1 및 제2 카메라 장치들(311, 312)의 시선축이 표시면의 면적 중심을 향하도록, 제1 및 제2 카메라 장치들(311, 312)이 배치될 수 있다. 제1 및 제2 카메라 장치들(311, 312)은 90도 이상의 화각, 예를 들어, 90도 또는 140도의 화각을 가질 수 있다.First, referring to FIGS. 3A and 3B, the first and
감지 공간(SA)은 제1 카메라 장치(311)의 촬영 영역과 제2 카메라 장치(312)의 촬영 영역이 중첩하는 영역에 형성될 수 있다. 감지 공간(SA)은 제1 및 제2 카메라 장치들(311, 312)에 인접할수록 그 폭(또는, 두께, 즉, 표시부(110)의 표시면에 수직하는 방향으로의 길이)는 작고, 제1 및 제2 카메라 장치들(311, 312)로부터 멀어질수록 그 폭은 커질 수 있다. 다만, 이에 제한되는 것은 아니며, 표시부(110)의 곡률, 제1 및 제2 카메라 장치들(311, 312)의 배치 방향에 따라 감지 공간의 형상 및 폭은 달라질 수 있다.The sensing space SA may be formed in a region where the photographing region of the
도 3b에 도시된 바와 같이, 감지 공간(SA)은 표시 장치(1)의 전방에 위치하는 일 지점('P0' 참조)을 기준으로 원호(또는, 부채꼴)의 평면 형상을 가질 수 있다.As illustrated in FIG. 3B, the sensing space SA may have a planar shape of an arc (or sector) based on a point (refer to “P0”) positioned in front of the
일 실시예에서, 제1 카메라 장치(311)의 시야각의 에지와 제2 카메라 장치(312)의 시야각의 에지가 표시 장치(1)(또는, 표시부(100)의 표시면))의 원점(P0)을 지나거나, 표시 장치(1)의 원점(P0)이 제1 카메라 장치(311)의 시야 범위와 제2 카메라 장치(312)의 시야 범위 내에 위치할 수 있다. 이 경우, 감지 공간(SA)은 표시 장치(1)의 전면 전체에서 동일한 두께(즉, 표시면에 수직하는 방향으로의 길이)를 가지고, 감지 공간의 형상에 따라 표시 장치(1)의 전면에서 동일한 최대 깊이(depth)를 가지는 공간 터치의 입력 범위가 제공될 수 있다. 예를 들어, 표시 장치(1)가 55인치의 표시면을 가지고 약 1.5m의 곡률 반경을 가지는 경우, 또한, 제1 및 제2 카메라 장치들(311, 312)이 표시면의 면적 중심('P1' 참조)을 향하여 배치된 경우, 제1 및 제2 카메라 장치들(311, 312)의 시야각의 에지는 표시 장치(1)의 원점(P0)을 지날 수 있다. 이 경우, 감지 공간(SA)은 약 1.5m의 반경을 가지는 원호 형상을 가지며, 표시 장치(1)는 표시 장치(1)의 원점(P0)에 위치하는 사용자(또는, 사용자의 시선)를 기준으로, 표시 장치(1)의 전면 전체 영역에서 최대 1.5m의 동일한 깊이(DE1)를 가지는 공간 터치의 입력 범위가 제공될 수 있다.In one embodiment, the edge of the viewing angle of the
한편, 적외선 광원(320)이 표시 장치(1)의 전방으로 일정한 폭(예를 들어, 30cm)을 가지는 영역에 적외선 광을 투사하는 경우, 표시 장치(1)는 도 3c에 도시된 바와 같이 전면 전체 영역에서 동일한 깊이(DE2)(예를 들어, 최대 30cm 깊이)를 가지는 감지 공간(SA)이 형성될 수도 있다.Meanwhile, when the infrared
도 3a 내지 도 3c를 참조하여 설명한 바와 같이, 제1 및 제2 카메라 장치들(311, 312)의 시야각이, 표시 장치(1)의 곡률 반경의 원점(P0)을 지나도록 배치되는 경우, 별도의 영상 처리 없이, 표시 장치(1)의 전면 전체에서 동일한 깊이(도 3c의 'DE2')를 가지는 감지 공간(SA)이 형성되거나, 표시 장치(1)의 전면 전체에서 동일한 최대 깊이(도 3b의 'DE1')를 가지는 공간 터치의 입력 범위가 제공될 수 있다.As described with reference to FIGS. 3A to 3C, when the viewing angles of the first and
도 4a 내지 도 4e는 도 1의 표시 장치에 의해 배치된 입력 감지부의 다양한 배치예를 나타내는 도면들이다.4A to 4E are diagrams illustrating various arrangement examples of an input sensing unit disposed by the display device of FIG. 1.
먼저 도 1, 도 3a 및 도 4a를 참조하면, 도 4a의 표시 장치(1_1)는 표시부(100)의 우하측 모서리에 인접하여 배치되는 제2 카메라 장치(312_1)를 포함한다는 점에서, 도 1의 표시 장치(1)와 상이하다. 제2 카메라 장치(312_1)를 제외하고, 도 4a의 표시 장치(1_1)는 도 1의 표시 장치(1)와 실질적으로 동일하거나 유사하므로, 중복되는 설명은 반복하지 않기로 한다.First, referring to FIGS. 1, 3A, and 4A, in that the display device 1_1 of FIG. 4A includes a second camera device 312_1 disposed adjacent to the lower right corner of the
제1 카메라 장치(311)는 표시부(100)의 좌상측 모서리에 인접하여 배치될 수 있다.The
제1 및 제2 카메라 장치들(311, 312_2)에 의해 형성된 감지 공간(SA1)은, 도 3a를 참조하여 설명한 감지 공간(SA)과 실질적으로 동일하거나 유사할 수 있다. 다만, 제2 카메라 장치(312_1)는 제1 카메라 장치(311)로부터 최대한 이격되어 배치됨으로써, 표시 장치(1)의 크기가 작아지더라도, 입력 객체(OBJ)는 제1 및 제2 카메라 장치들(311, 312_1) 중 적어도 하나로부터 충분히(예를 들어, 30cm 이상) 이격될 수 있다. 따라서, 표시 장치(1)는 감지 공간(SA1) 내 입력 객체(OBJ)를 정확히 감지할 수 있다.The sensing space SA1 formed by the first and
도 4b를 참조하면, 표시 장치(1_2)는 제1 및 제2 카메라 장치들(311, 312_2)을 포함하며, 제1 카메라 장치(311)는 표시부(100)의 좌상측 모서리에 인접하여 배치되고, 제2 카메라 장치(312_2)는 표시부(100)의 좌하측 모서리에 인접하여 배치될 수 있다. Referring to FIG. 4B, the display device 1_2 includes first and
제1 및 제2 카메라 장치들(311, 312_2)에 의해 형성된 감지 공간(SA2)은, 표시부(100)의 일측(예를 들어, 우측)에 인접할수록 두꺼운 두께를 가질 수 있다. 제1 및 제2 카메라 장치들(311, 312)은 표시부(100)의 좌측으로부터 유입되는 광에 대해 완전히 차단되므로, 표시부(100)의 좌측에 별도의 광원, 표시 장치, 적외선 광원 등이 배치되는 환경에서, 도 4b에 도시된 제1 및 제2 카메라 장치들(311, 312)의 배치가 적용될 수 있다. 또한, 표시부(100)의 일측에서 보다 깊은 깊이의 공간 터치 입력이 필요한 경우, 도 4b에 도시된 제1 및 제2 카메라 장치들(311, 312)의 배치가 적용될 수도 있다.The sensing space SA2 formed by the first and
도 4c를 참조하면, 표시 장치(1_3)는 제1 및 제2 카메라 장치들(311, 312_3)을 포함하며, 제1 카메라 장치(311)는 표시부(100)의 좌상측 모서리에 인접하여 배치되고, 제2 카메라 장치(312_3)는 표시부(100)의 상측변 중앙 부분에 인접하여 배치될 수 있다. 도시되지 않았으나, 제2 카메라 장치(312)는 수직 방향으로 적외선 광원과 비중첩할 수 있다.Referring to FIG. 4C, the display device 1_3 includes first and
제2 카메라 장치(312_3)는 180도 이상의 화각을 가질 수 있고, 이 경우, 감지 공간(SA3)은 표시부(100)의 우측변으로 갈수록 큰 두께를 가질 수 있다. 즉, 표시부(100)의 일측(예를 들어, 우측변)에 상대적으로 큰 깊이를 가지는 공간 터치 입력이 허용될 수 있다.The second camera device 312_3 may have a field of view of 180 degrees or more, and in this case, the sensing space SA3 may have a greater thickness toward the right side of the
도 4d를 참조하면, 표시 장치(1_4)는 제1 및 제2 카메라 장치들(311_4, 312_4)을 포함하며, 제1 카메라 장치(311_4)는 표시부(100)의 좌측변 중앙 부분에 배치되고, 제2 카메라 장치(312_4)는 표시부(100)의 상측변 중앙 부분에 인접하여 배치될 수 있다. 제1 및 제2 카메라 장치들(311_4, 312_4)의 화각은 180도 이상일 수 있다. 도 4d의 표시 장치는, 도 4c의 표시 장치의 감지 공간(SA3)과 실질적으로 동일하거나 유사한 감지 공간(SA4)을 가질 수 있다.Referring to FIG. 4D, the display device 1_4 includes first and second camera devices 311_4 and 312_4, and the first camera device 311_4 is disposed at the center of the left side of the
도 4e를 참조하면, 표시 장치(1_5)는 제1 및 제2 카메라 장치들(311_5, 312_5)을 포함하며, 제1 카메라 장치(311_5)는 표시부(100)의 좌측변 중앙 부분에 배치되고, 제2 카메라 장치(312_5)는 표시부(100)의 우측변 중앙 부분에 인접하여 배치될 수 있다. 제1 및 제2 카메라 장치들(311_5, 312_5)의 화각은 180도 이상일 수 있다. 이 경우, 표시 장치(1_5)는, 도 4a의 표시 장치(1_1)의 감지 공간(SA1)과 실질적으로 동일하거나 유사한 감지 공간(SA5)을 가질 수 있다. 한편, 제1 및 제2 카메라 장치들(311, 312)의 화각은 180도 이하(예를 들어, 90도)일 수 있으며, 표시 장치(1)의 전면 전체 대신 일부 영역(예를 들어, 표시면의 면적 중심을 기준으로 특정 거리 이내의 일부 영역)에 대해서만 공간 터치 입력을 감지하고자 하는 경우, 도 4e에 도시된 제1 및 제2 카메라 장치들(311_5, 312_5)의 배치가 적용될 수도 있다.Referring to FIG. 4E, the display device 1_5 includes first and second camera devices 311_5 and 312_5, and the first camera device 311_5 is disposed at the center of the left side of the
도 5a는 본 발명의 다른 실시예들에 따른 표시 장치를 나타내는 도면이다. 도 5b는 도 5a의 표시 장치에 의해 형성된 감지 공간의 일 예를 나타내는 평면도이다.5A is a diagram illustrating a display device according to other exemplary embodiments of the present invention. 5B is a plan view illustrating an example of a sensing space formed by the display device of FIG. 5A.
도 1, 도 5a 및 도 5b를 참조하면, 표시 장치(1_6)는 평면형 표시부(100)를 포함한다는 점에서, 도 1의 표시 장치(1)와 상이하다. 평면형 표시부(100)(및 평면형 표시부(100)에 대응하는 구성들)를 제외하고, 도 5a의 표시 장치(1_6)는 도 1의 표시 장치(1)와 실질적으로 동일하거나 유사하므로, 중복되는 설명은 반복하지 않기로 한다.1, 5A, and 5B, the display device 1_6 is different from the
표시 장치(1_6)는 제1 및 제2 카메라 장치들(311, 312)을 포함하고, 제1 카메라 장치(311)는 표시부(100)의 좌상측 모서리에 인접하여 배치되고, 제2 카메라 장치(312)는 표시부(100)의 우상측 모서리에 인접하여 배치될 수 있다.The display device 1_6 includes first and
다만, 제1 카메라 장치(311)는 표시부(100)의 좌측변에 결합된 제1 측면 커버(133a)(또는, 좌측면 커버)의 단부에 인접하여 배치되고, 제2 카메라 장치(312)는 표시부(100)의 우측변에 결합된 제2 측면 커버(133b)(또는, 우측면 커버)의 단부에 인접하여 배치될 수 있다. 즉, 제1 및 제2 카메라 장치들(311, 312)는 표시부(100)(또는, 표시면)으로부터 제1 및 제2 측면 커버들(133a, 133b)의 폭(즉, 표시면에 수직하는 방향으로의 길이)만큼 이격되어 배치될 수 있다.However, the
표시부(100)가 곡면형이 아닌 평면형으로 구현됨에 따라, 도 5b를 기준으로 제1 및 제2 카메라 장치(311, 312)가 표시면에 인접하여 배치되는 경우, 표시부(100)의 양측변에서 감지 공간의 두께가 상대적으로 작아, 표시부(100)의 양측변에서 충분한 깊이의 공간 터치 입력이 제공되지 않을 수 있다. 이와 달리, 제1 및 제2 카메라 장치(311, 312)가 전방을 향하여 배치되는 경우, 감지 공간(SA)이 불필요하게 커지며 불필요한 정보들(예를 들어, 표시면으로부터 1m 이상 이격된 객체들)이 감지되어, 표시 장치의 부하가 증가될 수 있다.As the
따라서, 표시부(100)의 양측변에서 제공되어야 할 공간 터치 입력의 깊이를 고려하여, 제1 및 제2 카메라 장치들(311, 312)은 표시부(100)로부터 전방으로 이격되어, 제1 및 제2 측면 커버들(133a, 133b)에 각각 배치될 수 있다. 예를 들어, 제공되어야 할 공간 터치 입력의 깊이가 클수록, 제1 및 제2 카메라 장치들(311, 312)은 표시부(100)로부터 보다 이격되어 배치될 수 있고, 또한, 제1 및 제2 측면 커버들(133a, 133b)의 폭(즉, 표시면에 수직하는 방향으로의 길이)도 증가될 수 있다.Therefore, in consideration of the depth of the spatial touch input to be provided on both sides of the
한편, 제1 및 제2 카메라 장치들(311, 312)이 표시부(100)로부터 이격되는 경우, 표시부(100)의 양측변에서 음영 구역이 발생할 수 있다. 따라서, 제1 및 제2 카메라 장치들(311, 312)는 표시면의 면적 중심이 아닌 표시면의 후방에 위치하는 기준점을 향하도록 배치될 수 있다.On the other hand, when the first and
도 6은 도 1의 표시 장치에 포함된 제어부의 일 예를 나타내는 블록도이다. 도 7a 내지 도 7f는 도 6의 제어부에서 입력 객체를 감지하는 과정을 설명하는 도면들이다.6 is a block diagram illustrating an example of a control unit included in the display device of FIG. 1. 7A to 7F are diagrams illustrating a process of detecting an input object by the controller of FIG. 6.
도 7a에는 입력 객체인 포인터의 일예로서 표시 장치(1)의 감지 공간 내에 위치하는 사용자의 손이 예시적으로 도시되어 있으며, 도 7b에는 도 7a의 표시 장치(1)에 포함된 제1 카메라 장치(311)에서 획득된 제1 측면 영상이 도시되고, 도 7c에는 도 7a의 표시 장치(1)에 포함된 제2 카메라 장치(312)에서 획득된 제2 측면 영상이 도시되어 있다. 적외선 광(즉, 도 1을 참조하여 설명한 적외선 광원(320)으로부터 감지 공간에 투사된 적외선 광)이 감지 공간 내 위치하는 사용자의 손에 의해 반사 또는 산란되어, 사용자의 손은 상대적으로 밝게 보일 수 있다.7A illustrates an example of a user's hand positioned in the sensing space of the
도 6을 참조하면, 제어부(500)는 전처리부(610), 추출부(620) 및 산출부(630)를 포함할 수 있다. 또한, 제어부(500)는 이벤트 생성부(640)를 더 포함할 수 있다. 제1 및 제2 측면 영상들(IMGAE1, IMAGE2)에 대한 영상 처리 과정은 상호 실질적으로 동일하거나 유사하므로, 제1 및 제2 측면 영상들(IMGAE1, IMAGE2)에 대한 영상 처리 과정들 중 상호 공통되는 과정에 대해서는 제1 측면 영상(IMAGE1)을 기준으로 설명한다.Referring to FIG. 6, the
전처리부(610)는 제1 측면 영상(IMAGE1)에서 배경 영상을 제거하고, 노이즈를 제거하며, 또한, 입력 객체의 그림자를 제거할 수 있다. 즉, 전처리부(610)는 제1 측면 영상(IMAGE1)으로부터 손 영상이 용이하게 추출될 수 있도록, 제1 측면 영상을 전처리할 수 있다.The
전처리부(610)는 배경 제거부(611), 노이즈 제거부(612) 및 그림자 제거부(613)를 포함할 수 있다.The
배경 제거부(611)는 제1 측면 영상(IMAGE1)으로부터 기 설정된 배경 영상(IMAGE_BACK)을 차연산하여 제1 전처리 영상(IMAGE_B1)을 생성하거나 획득할 수 있다. 여기서, 기 설정된 배경 영상(IMAGE_BACK)은 표시부(100)의 표시면만이 표시되는 영역의 영상일 수 있다. 배경 제거부(611)는 해당 영역의 화소값을 0(예를 들어, 흑색)으로 변환할 수도 있다.The
노이즈 제거부(612)는 제1 전처리 영상(IMAGE_B1)을 샘플링(또는, 이진화)하고 평활화(smoothing)하여, 노이즈가 제거된 제1 원본 영상(IMAEG_N1)을 획득할 수 있다. 예를 들어, 노이즈 제거부(612)는 임계값을 기준으로, 제1 전처리 영상(IMAGE_B1) 내 화소값들을 0 (예를 들어, 흑색) 또는 255 (예를 들어, 백색)으로 치환할 수 있다.The
그림자 제거부(613)는 제1 원본 영상(IMAGE_N1)에 대해 그림자 제거 알고리즘을 적용하여 그림자 영상을 제거하고 그림자 제거 영상(IMAGE_S1)을 생성할 수 있다. 여기서, 그림자 영상은 표시부(100)의 표시면에 의해 손이 반사되어 표시되는 영상일 수 있다.The
도 7d에 도시된 바와 같이, 제1 원본 영상(IMAGE_N1)은 후보 객체 영상들(OBJ_1, OBJ_1S)를 포함할 수 있다. 여기서, 후보 객체 영상들(OBJ_1, OBJ_1S)은 입력 객체(OBJ)로 인식될 수 있는 영상들로, 기준 크기(또는, 기준 면적) 이상의 크기를 가질 수 있다. 이 경우, 그림자 제거부(613)는 후보 객체 영상들(OBJ_1, OBJ_1S)의 크기, 대칭성, 배치 위치에 기초하여, 후보 객체 영상들(OBJ_1, OBJ_1S) 중 그림자 영상(OBJ_1S)을 결정하고, 제1 원본 영상(IMAGE_N1)으로부터 그림자 영상(OBJ_1S)을 제거할 수 있다. 예를 들어, 상호 동일하거나 유사한 형상의 후보 객체 영상들(OBJ_1, OBJ_1S)이 존재하는 경우, 상대적으로 크기가 작고 표시부(100)에 인접한 그림자 영상(OBJ_1S)을 선택하여, 제거할 수 있다.As shown in FIG. 7D, the first original image IMAGE_N1 may include candidate object images OBJ_1 and OBJ_1S. Here, the candidate object images OBJ_1 and OBJ_1S are images that can be recognized as the input object OBJ, and may have a size equal to or larger than a reference size (or a reference area). In this case, the
추출부(620)는 전처리부(610)에서 최종 출력된 그림자 제거 영상(IMAGE_S1)으로부터 손 영상을 추출할 수 있다. 추출부(620)는 검출부(621), 추적부(622) 및 보정부(623)를 포함할 수 있다.The
검출부(621)는 그림자 제거 영상(IMAGE_S1)에 대해 기 설정된 패턴들(예를 들어, 입력 객체의 특징 또는 특징점들을 포함하는 객체 패턴들)을 매칭하여, 포인터 영상을 검출할 수 있다. 예를 들어, 검출부(621)는 기 설정된 크기(즉, 기 설정된 개수 이상의 화소들)를 가지는 후보 객체 영상(OBJ1)을 추출하고, 후보 객체 영상(OBJ1)을 기 설정된 패턴과 매칭하여 손 영상을 검출할 수 있다. 여기서, 기 설정된 패턴들은, 예를 들어, 하나의 손가락만이 펴진 손에 대응하는 패턴(손가락, 손바닥, 손목 부분까지 특징점들을 포함하는 패턴), 주먹을 쥔 손에 대응하는 패턴, 손가락을 모두 펴진 손에 대응하는 패턴 등을 포함할 수 있다.The
또한, 추출부(620)의 검출부(621)는 입력 객체인 포인터의 영상(도면에서 손 영상)이 검출되는 경우, 대응되는 패턴(즉, 손 영상의 검출에 사용된 패턴, 또는, 대응되는 패턴에 기 정의된 특징점)에 기초하여 입력 객체 영상의 기준점을 결정할 수 있다. 예를 들어, 도 7d에 도시된 바와 같이, 손가락 하나를 편 상태를 나타내는 패턴에 대응하는 손 영상(OBJ_1)이 검출된 경우, 손가락의 단부의 점이 기준점(P_OBJ1)으로 결정될 수 있다. 다른 예를 들어, 손가락을 모두 편 상태를 나타내는 패턴에 대응하는 손 영상이 검출된 경우, 손바닥의 중심 점이 기준점(P_OBJ1)으로 결정될 수 있다.In addition, the
한편, 손가락이나 펜 등의 포인터는 제1 및 제2 카메라 장치(311, 312)와의 거리에 따라 입력 이미지의 형태가 달라질 수 있다. 이와 같이 입력 이미지 형태가 달라지는 경우에도 포인터를 정확하게 인식하고 검출하기 위해 검출부(621)는 형태 분석, 비율(크기) 분석 및/또는 다중 카메라 가중치 분석을 더 수행할 수 있다. 이를 위해 검출부(621)는 형태 분석부, 비율(크기) 분석부 및/또는 다중 카메라 가중치 분석부를 더 포함할 수 있다. 이에 대한 상세한 설명을 위해 도 8 내지 도 10이 참조된다. Meanwhile, the shape of the input image of the pointer such as a finger or a pen may vary according to the distance between the first and
도 8a 및 도 8b는 위치에 따른 포인터의 입력 이미지를 나타낸 개략도들이다. 8A and 8B are schematic diagrams illustrating an input image of a pointer according to a location.
도 8a 및 도 8b를 참조하면, 카메라 장치(310)로부터 포인터가 떨어진 거리에 따라 카메라 장치(310)에 입력되는 포인터의 이미지 영상 형태가 달라진다. 즉, 사용자의 손의 경우 도 8a에 도시된 바와 같이 원거리에서는 손 전체의 형상이 이미지 영상으로 입력될 수 있지만, 근거리에서는 손의 형태가 부분 형태로서 하나의 덩어리로 인식될 수 있다. 또한, 펜의 경우에도 도 8b에 도시된 것처럼 원거리에서는 펜 전체의 형상에 대한 입력 이미지를 얻을 수 있지만, 근거리에서는 펜의 형태가 부분적으로만 입력되어 하나의 덩어리로 보여질 수 있다. Referring to FIGS. 8A and 8B, the image type of the pointer input to the camera device 310 varies according to the distance the pointer is away from the camera device 310. That is, in the case of the user's hand, as shown in FIG. 8A, the shape of the entire hand may be input as an image image at a distance, but the shape of the hand may be recognized as a single mass as a partial shape at a close distance. In addition, in the case of a pen, as shown in FIG. 8B, an input image for the entire shape of the pen can be obtained at a distance, but at a close distance, the shape of the pen is only partially input and thus can be viewed as a single block.
이와 같이 포인터가 근거리에 위치하는 경우에도 형태 분석을 수행하면 포인터가 화면상 어디를 가리키는지 식별할 수 있다. 도 9는 근접 포인터의 원본 영상과 변환 영상을 비교 도시한 개략도이다. 도 9에 도시된 바와 같이, 근거리의 원본 이미지에 대해 특징점을 추출하여 연결해보면 손이나 펜의 단부는 주변에 비해 상대적으로 작은 곡률을 갖는다. 이와 같은 곡률을 인식함으로써, 근거리의 부분 입력 이미지에서 포인터가 어디를 향하고 있는지 결정할 수 있다. 근거리 부분 입력 이미지에 포인터 단부는 미리 저장되어 있는 이미지 패턴의 곡률과 비교하여 동일한 곡률을 갖는 지점으로 결정되거나, 특징점에 의해 형성되는 곡선에서 최소 곡률을 갖는 지점으로 결정될 수 있다. In this way, even when the pointer is located in a short distance, it is possible to identify where the pointer points on the screen by performing shape analysis. 9 is a schematic diagram illustrating a comparison between an original image of a proximity pointer and a converted image. As shown in FIG. 9, when feature points are extracted and connected to an original image in a near distance, the end of the hand or pen has a relatively small curvature compared to the surroundings. By recognizing such a curvature, it is possible to determine where the pointer is pointing in a partial input image at a short distance. In the near-field input image, the end of the pointer may be determined as a point having the same curvature compared to a curvature of a previously stored image pattern, or may be determined as a point having the minimum curvature in a curve formed by the feature points.
도 10은 변환 영상의 비율 분석 방법을 나타낸 개략도이다. 도 10을 참조하면, 원거리 이미지 영상의 경우에도 포인터를 노이즈 이미지와 구분하기 위해 비율 분석을 수행할 수 있다. 비율 분석은 이미지의 세로 방향의 폭(상하 폭)과 가로 방향의 폭(좌우 폭)의 비율을 비교하는 방식으로 진행될 수 있다. 예를 들어, 손이나 펜의 경우에는 가로 방향의 폭이 세로 방향의 폭보다 큰 반면, 사람 몸의 경우 세로 방향의 폭이 가로 방향의 폭보다 더 큰 것으로 분석될 수 있다. 다른 예로, 비율 분석은 가장 긴 방향의 제1 폭과 제1 폭에 교차(대체로 수직)하는 방향의 제2 폭의 비율을 비교하는 방식으로 진행될 수도 있다. 도시된 예에서, 손이나 펜은 제1 폭과 제2 폭의 비가 2:1 이상이지만, 사람 몸은 제1 폭과 제2 폭의 비가 2:1 미만인 것으로 구분될 수 있다. 이와 같이, 세로 방향의 폭과 가로 방향의 폭의 비율 또는 제1 폭과 제2 폭의 비율을 비교함으로써 포인터를 정확하게 인식하고, 노이즈 이미지를 제거할 수 있다. 10 is a schematic diagram showing a method of analyzing a ratio of a converted image. Referring to FIG. 10, ratio analysis may be performed to distinguish a pointer from a noise image even in the case of a distant image. The ratio analysis may be performed by comparing the ratio of the vertical width (up and down width) and the horizontal width (left and right width) of the image. For example, in the case of a hand or a pen, the width in the horizontal direction is larger than the width in the vertical direction, whereas in the case of a human body, the width in the vertical direction may be analyzed as being larger than the width in the horizontal direction. As another example, the ratio analysis may be performed by comparing the ratio of the first width in the longest direction and the second width in a direction intersecting (usually perpendicular to) the first width. In the illustrated example, the hand or pen has a ratio of the first width and the second width of 2:1 or more, but the human body may be classified as having a ratio of the first width and the second width of less than 2:1. In this way, by comparing the ratio of the width in the vertical direction and the width in the horizontal direction or the ratio of the first width and the second width, the pointer can be accurately recognized and the noise image can be removed.
한편, 하나의 포인터가 각 카메라 장치(311, 312)에 입력되는 입력 이미지는 거리에 따라 상이하다. 정확한 객체 인식을 위해 카메라 장치(311, 312)와의 거리별로 가중치를 다르게 부여할 수 있다. 상술한 바와 같이, 근거리의 부분 입력 이미지도 형태 분석을 통해 포인터의 단부 및 포인터가 향하는 방향을 결정할 수 있지만, 원거리 전체 입력 이미지에 비해 그 정확도가 떨어질 수 있다. 이를 보완하기 위해 하나의 포인터에 대한 복수의 입력 이미지 중 원거리 입력 이미지에 가중치를 더 부여함으로써, 객체 인식의 정확도를 개선할 수 있다. 예를 들어, 도 1에 도시된 표시 장치(1)에서 입력 객체(OBJ)가 제2 카메라 장치(312)보다 제1 카메라 장치(311)에 상대적으로 가깝게 위치하는 경우, 제2 카메라 장치(312)를 통해 입력되는 영상 이미지에 더 많은 가중치를 부여하여 객체 인식을 수행할 수 있다. 가중치는 떨어진 거리에 따라 100:0의 비율부터 50:50의 비율까지 조절될 수 있다. 카메라 장치(311, 312)로부터 떨어진 거리는 포인터의 이미지의 크기를 측정하여 계산하거나, 후술하는 산출부(630)에 의해 산출된 포인터의 3차원 위치를 피드백 받아 그로부터 계산될 수 있다. Meanwhile, an input image inputted to each of the
다시 도 6 및 도 7을 참조하면, 추적부(622)는 대상 객체인 포인터(도면에서 손) 추적 알고리즘을 이용하여 포인터 영상을 시간 경과에 따라 추적할 수 있다. 예를 들어, 추적부(622)는 시간 경과에 따른 손 영상(또는, 기준점)의 이동 경로에 기초하여 손 영상의 다음 위치를 예측할 수 있고, 예측된 손 영상의 다음 위치에 기초하여 손 영상을 신속하게 검출하거나, 손 영상이 일시적으로 검출되지 않더라도, 손 영상(또는, 기준점)을 특정 시간동안 유지시킬 수 있다. 이와 같은 방식을 통해 손 영상이 일시적으로 인식되지 않아 터치 입력이 이루어지지 않는 것을 방지할 수 있다.Referring back to FIGS. 6 and 7, the
보정부(623)는 기준점(P_OBJ1)의 위치 변화에 대한 시간 경과에 따른 노이즈를 제거할 수 있다. 예를 들어, 추적하는 포인터가 빠르게 움직이거나, 인식된 기준점(P_OBJ1)이 떨리는 경우, 보정부(623)는 칼만 필터, 로우 패스(low pass) 필터 등과 같은 필터를 이용하여 기준점(P_OBJ1)의 위치를 보정할 수 있다.The
즉, 추출부(620)는 전처리된 측면 영상들로부터 포인터 영상(및/또는, 포인터 영상의 기준점)을 검출하되, 공간 터치 입력으로서 이용하기에 적합하게, 포인터 영상을 추적 및 보정할 수 있다.That is, the
산출부(630)는 포인터 영상(또는, 기준점(P_OBJ1))에 기초하여, 감지 공간 내에서의 포인터의 3차원 위치를 산출할 수 있다. 산출부(630)는 제1 위치 산출부(631) 및 제2 위치 산출부(632)를 포함할 수 있다.The
제1 위치 산출부(631)는 표시부(100)의 표시면에 대응하는 평면에서의 포인터의 2차원 위치(또는, 좌표)를 산출할 수 있다. 도 7a에 도시된 바와 같이, 제1 위치 산출부(631)는 손 영상(OBJ_1)의 기준점에 기초하여 손 영상(OBJ_1)의 제11 위치각(ANG11)을 산출할 수 있다. 여기서, 제11 위치각(ANG11)은 제1 카메라 장치(131)를 기준으로 감지 공간의 상측면으로부터 입력 객체(OBJ) 사이의 각도일 수 있다. 제1 위치 산출부(631)는 제1 측면 영상의 상측변으로부터 손 영상(OBJ_1)의 기준점 사이의 거리(또는, 화소들의 수)에 기초하여 제11 위치각(ANG11)을 산출할 수 있다. 유사하게, 도 7c에 도시된 바와 같이, 제1 위치 산출부(631)는 손 영상(OBJ_2)의 기준점에 기초하여 손 영상(OBJ_2)의 제21 위치각(ANG21)을 산출할 수 있다.The
이후, 도 7e에 도시된 바와 같이, 제1 위치 산출부(631)는 기 설정된 제1 카메라 장치(311)의 제1 카메라 위치 정보(P_C1), 제2 카메라 장치(312)의 제2 카메라 위치 정보(P_C2), 제11 위치각(ANG11) 및 제21 위치각(ANG21)에 기초하여, 포인터인 손의 2차원 위치(P_OBJ_XY)를 산출할 수 있다. 손의 2차원 위치(P_OBJ_XY)는 표시부(100)의 표시면 상에서 손이 위치하는 지점(또는, 좌표)일 수 있다.Thereafter, as shown in FIG. 7E, the first
제2 위치 산출부(632)는 표시부(100)의 표시면을 기준으로 포인터의 깊이(또는, 깊이 값, 손이 표시면으로부터 이격된 거리)를 산출할 수 있다. 도 7a 내지 도 7c에 도시된 바와 같이, 제2 위치 산출부(632)는 손 영상(OBJ_1, OBJ_2)의 기준점에 기초하여 제12 위치각(ANG12) 및 제22 위치각(ANG22)을 산출할 수 있다. 여기서, 제12 위치각(ANG12)은 제1 카메라 장치(131)를 기준으로 감지 공간의 정면(또는, 표시부(100)의 표시면)으로부터 입력 객체(OBJ) 사이의 각도일 수 있다. The
이후, 제2 위치 산출부(632)는, 도 7f에 도시된 바와 같이, 기 설정된 제1 카메라 장치(311)의 제1 카메라 위치 정보(P_C1), 제2 카메라 장치(312)의 제2 카메라 위치 정보(P_C2), 제12 위치각(ANG12) 및 제22 위치각(ANG22)에 기초하여, 포인터인 손의 깊이(P_OBJ_Z)를 산출할 수 있다.Thereafter, as shown in FIG. 7F, the second
다시 도 6을 참조하면, 제2 위치 산출부(632)는 제1 위치 산출부(631)에서 산출된 손의 2차원 위치(P_OBJ_XY)와 포인터(손)의 깊이(P_OBJ_Z)에 기초하여 손의 3차원 위치(P_XYZ)를 생성할 수 있다.Referring back to FIG. 6, the second
한편, 이벤트 생성부(640)는 산출부(630)에서 생성된 손의 3차원 위치(P_XYZ)에 기초하여 터치 이벤트를 생성할 수 있다.Meanwhile, the
도 6 내지 도 7f를 참조하여 설명한 바와 같이, 제어부(600)는 영상 처리를 통해 측면 영상들로부터 입력 객체인 포인터(또는 손)을 검출하고, 포인터의 3차원 위치를 산출하며, 포인터의 3차원 위치에 기초하여 터치 이벤트를 생성할 수 있다.As described with reference to FIGS. 6 to 7F, the controller 600 detects a pointer (or hand) as an input object from side images through image processing, calculates a three-dimensional position of the pointer, and calculates the three-dimensional A touch event may be generated based on the location.
또한, 제어부(600)는 표시부(100)의 표시면에 반사되어 나타나는 그림자를 제거함으로써, 포인터를 보다 정확하게 검출할 수 있다.In addition, the control unit 600 may more accurately detect the pointer by removing the shadow reflected from the display surface of the
나아가, 제어부(600)는 포인터 영상을 추적하고, 포인터 영상을 시간 경과에 따라 보정함으로써, 보다 정확한 터치 이벤트를 생성할 수 있다.Furthermore, the controller 600 may generate a more accurate touch event by tracking the pointer image and correcting the pointer image over time.
도 11a 및 도 11b는 도 1의 표시 장치에 포함된 감각 제공부의 일 예를 나타내는 도면이다.11A and 11B are diagrams illustrating an example of a sense providing unit included in the display device of FIG. 1.
도 1 및 도 11a를 참조하면, 감각 제공부(700)는 표시부(100)의 전방 하측에 배치되되, 제1 방향(D1)을 따라 배열된 복수의 초음파 트랜스듀서들(710)을 포함할 수 있다. 초음파 트랜스듀서(710)는 제2 방향(D2)으로 지향성을 가지는 초음파(예를 들어, 40kHZ의 주파수를 가지는 초음파)를 발생시켜, 입력 객체(OBJ)의 적어도 일부에 압력을 가할 수 있다. 즉, 감각 제공부(700)는 음향방사력(acoustic radiation force) 법칙을 이용하여, 입력 객체(OBJ)에 촉감을 제공할 수 있다.Referring to FIGS. 1 and 11A, the sensory providing
일 실시예에서, 감각 제공부(700)는 상호 다른 주파수 또는 상호 다른 강도(intensity)를 가지는 제1 초음파 트랜스듀서(711) 및 제2 초음파 트랜스듀서(712)를 포함할 수 있다. 제1 초음파 트랜스듀서(711)와 제2 초음파 트랜스듀서(712)는 복수의 행 또는 열로서 배열될 수 있다. 예를 들어, 제1 초음파 트랜스듀서(711)와 제2 초음파 트랜스듀서(712)는 각각 하나의 열을 이루며 제1 방향(D1)을 따라 배열되되, 제2 초음파 트랜스듀서(712)는 제1 초음파 트랜스듀서(712)보다 표시부(100)에 인접하여 배치될 수 있다.In an embodiment, the sensory providing
제2 초음파 트랜스듀서(712)는 제1 초음파 트랜스듀서(711)에 비해 낮은 주파수 또는 큰 강도를 가질 수 있다. 이 경우, 입력 객체(OBJ)가 표시부(100)에 인접할수록 보다, 입력 객체(OBJ)에 보다 큰 압력(또는, 촉감)이 제공될 수 있다. The second
도 11a에서 초음파 트랜스듀서(710)는 제2 방향(D2)으로 초음파를 발산하는 것으로 도시되어 있으나, 이에 한정되는 것은 아니다.In FIG. 11A, the
도 11b를 참조하면, 감각 제공부(700_1)는 제3 초음파 트랜스듀서들(713) 및 제4 초음파 트랜스듀서들(714)을 포함할 수 있다. 제3 초음파 트랜스듀서들(713) 및 제4 초음파 트랜스듀서들(714)은 동일한 주파수(예를 들어, 40KHz)를 가지는 초음파를 생성 및 출력할 수 있다.Referring to FIG. 11B, the sense providing unit 700_1 may include third
제3 초음파 트랜스듀서들(713)은 표시부(100)의 전방 하측에서 좌측변에 인접하여 배치되되, 제5 방향(D5)을 향하도록 배치되어, 제5 방향(D5)을 향하여 초음파를 발산할 수 있다. 유사하게, 제4 초음파 트랜스듀서들(714)은 표시부(100)의 전방 하측에서 우측변에 인접하여 배치되되, 제6 방향(D6)을 향하도록 배치되어, 제6 방향(D6)을 향하여 초음파를 발산할 수 있다. 제6 방향(D6)은 제5 방향(D5)과 교차함에 따라, 제3 초음파 트랜스듀서들(713)로부터 출력되는 초음파는 제4 초음파 트랜스듀서들(714)로부터 출력되는 초음파와, 복수의 지점들에서 교차할 수 있다.The third
이 경우, 제어부(500)는 입력 객체(OBJ)의 3차원 위치에 기초하여 특정 지점(즉, 촉감을 제공해야 할 지점)을 결정하고, 결정된 지점에 기초하여 제3 및 제4 초음파 트랜스듀서들(713, 714) 중 일부를 동작시키거나, 이들을 동작시키는 감각 제어 신호를 생성할 수 있다. 예를 들어, 도 11b에 도시된 입력 객체(OBJ)에 촉감을 제공하기 위해, 제어부(700)는 제1 서브 초음파 트랜스듀서(713a)와 제2 서브 초음파 트랜스듀서(714a)를 동작시킬 수 있다. 이때, 초음파가 중첩된 지점(또는, 영역)에서만 사용자에게 촉감으로 인식되기에 충분한 압력이 제공될 수 있다. 즉, 초음파가 중첩된 지점에서만 사용자는 촉감을 받을 수 있다.In this case, the
한편, 도 11b에서 제3 초음파 트랜스듀서들(713) 및 제4 초음파 트랜스듀서들(714)은 표시부(100)의 하측에서 상호 구분되어 배열되는 것으로 도시되어 있으나, 이는 예시적인 것으로 이에 한정되는 것은 아니다. 예를 들어, 제3 및 제4 초음파 트랜스듀서들(713, 714)은 상호 교대로 배열될 수 있다. 다른 예를 들어, 제3 초음파 트랜스듀서들(713)은 표시부(100)의 하측에 배치되고, 제4 초음파 트랜스듀서들(714)은 표시부(100)의 좌측(또는, 우측)에 배치되며, 이들은 상호 교차하는 방향들로 초음파를 발산할 수도 있다. 즉, 제3 및 제4 초음파 트랜스듀설들(713, 714)은 복수의 지점들에서 상호 교차하는 초음파를 발산하는 경우라면, 이들의 위치는 제한되지 않는다.Meanwhile, in FIG. 11B, the third
또한, 제3 및 제4 초음파 트랜스듀서들(713, 714)은 도 11a에 도시된 감각 제공부(700)와 유사하게, 복수의 열들(또는, 복수의 행들)을 따라 배열될 수도 있다.In addition, the third and fourth
도 12는 본 발명의 또 다른 실시예에 따른 표시 장치를 나타내는 도면이다. 도 13은 도 12의 표시 장치가 멀티 입력을 감지하는 구성을 설명하는 도면이다. 도 13에는 표시 장치의 전면 상에서 카메라 장치들(311 내지 314)과 입력 객체들(OBJ1, OBJ2)의 위치가 도시되어 있다.12 is a diagram illustrating a display device according to another exemplary embodiment of the present invention. 13 is a diagram illustrating a configuration in which the display device of FIG. 12 detects a multi-input. 13 illustrates positions of
도 12를 참조하면, 표시 장치(1_7)는 제3 및 제4 카메라 장치들(313, 314)을 더 포함한다는 점에서, 도 1의 표시 장치(1)와 상이하다. Referring to FIG. 12, the display device 1_7 is different from the
제3 카메라 장치(313)는 표시부(100)의 전방에서 제1 및 제2 카메라 장치들(311, 312)로부터 이격되어 배치되되, 표시부(100)의 표시면을 가로지르는 제3 시선 방향(DR3)을 향하여 배치되어, 감지 공간에 대한 제3 측면 영상을 생성할 수 있다. 유사하게, 제4 카메라 장치(314)는 표시부(100)의 전방에서 제3 카메라 장치(313)(및 제1 및 제2 카메라 장치들(311, 312))로부터 이격되어 배치되되, 표시 장치(1)의 표시면을 가로지르는 제4 시선 방향(DR4)을 향하여 배치되어, 감지 공간에 대한 제4 측면 영상을 생성할 수 있다.The
제3 및 제4 카메라 장치들(313, 314)은 도 2a를 참조하여 설명한 상부 커버(132)와 실질적으로 동일하거나 유사한 하부 커버 내에 구비될 수 있다. 또한, 제3 및 제4 카메라 장치들(313, 314)은 도 2d를 참조하여 설명한 지지부(134)에 의해 고정될 수도 있다.The third and
표시 장치(1_7)는 제1 내지 제4 카메라 장치들(311, 312, 313, 314)을 통해 2개의 입력 객체들(예를 들어, 사용자의 2개의 손들)을 감지할 수 있다.The display device 1_7 may detect two input objects (eg, two hands of a user) through the first to
표시 장치(1_7)의 전방의 감지 공간 내에 제1 및 제2 입력 객체들(OBJ1, OBJ2)이 위치하는 경우, 제1 및 제2 카메라 장치들(311, 312) 중 하나는 제1 및 제2 입력 객체들(OBJ1, OBJ2) 중 하나에 대한 영상을 획득하지 못할 수 있다. 즉, 도 12에 도시된 바와 같이, 제1 입력 객체(OBJ1)과 제2 입력 객체(OBJ2)가 제1 시선 방향(DRR1)(또는, 제3 시선 방향(DRR3))을 따라 위치하는 경우, 제1 카메라 장치(311)를 기준으로 제2 입력 객체(OBJ2)는 제1 입력 객체(OBJ1)에 의해 가려지므로, 제1 카메라 장치(311)는 제2 입력 객체(OBJ2)에 대한 영상을 생성하지 못할 수 있다. 제1 입력 객체(OBJ1)는 점이 아닌 부피를 가짐에 따라, 도 13에 도시된 바와 같이, 제1 카메라 장치(311)에 대한 음영구역(SZ)이 발생할 수 있다.When the first and second input objects OBJ1 and OBJ2 are located in the sensing space in front of the display device 1_7, one of the first and
따라서, 표시 장치(1_7)는 제3 및 제4 카메라 장치들(313, 314)를 더 포함하고, 제3 및 제4 카메라 장치들(313, 314)를 이용하여 제1 입력 객체(OBJ1) 뿐만 아니라 음영구역(SZ) 내 위치하는 제2 입력 객체(OBJ2)를 검출할 수 있다.Accordingly, the display device 1_7 further includes third and
도 6 및 도 13을 참조하면, 제1 카메라 장치(311)로부터 획득한 제1 측면 영상으로부터 제1 입력 객체(OBJ)에 대한 제1 기준점(P_OBJ1)의 위치 정보(예를 들어, 제11 위치각(ANG11))만이 획득될 수 있다. 유사하게, 제4 카메라 장치(314)로부터 획득한 제4 측면 영상으로부터 제2 입력 객체(OBJ2)에 대한 제2 기준점(P_OBJ2)의 위치 정보(예를 들어, 제42 위치각(ANG42))만이 획득될 수 있다. 한편, 제2 및 제3 카메라 장치들(312, 313)로부터 획득한 제2 및 제3 측면 영상들로부터 제1 및 제2 입력 객체들(OBJ1, OBJ2) 각각에 대한 위치 정보가 획득될 수 있다.6 and 13, position information of a first reference point P_OBJ1 for a first input object OBJ from a first side image obtained from the first camera device 311 (for example, the 11th position Only angle (ANG11)) can be obtained. Similarly, from the fourth side image acquired from the
이 경우, 제어부(600)는 하나의 입력 객체에 대한 위치 정보만이 획득된 카메라 장치와 2개의 입력 객체들에 대한 위치 정보들이 획득된 카메라 장치를 하나의 그룹으로 결정하고, 해당 그룹의 정보에 기초하여 상기 하나의 입력 객체에 대한 3차원 위치를 산출할 수 있다. 또한, 나머지 2개의 카메라 장치들을 다른 하나의 그룹으로 결정하며, 해당 그룹의 정보에 기초하여 2개의 입력 객체들 중 다른 하나에 대한 3차원 위치를 산출할 수 있다.In this case, the controller 600 determines a camera device from which only location information on one input object is obtained and a camera device from which location information on two input objects is obtained as one group, and Based on the three-dimensional position of the one input object can be calculated. In addition, the remaining two camera devices may be determined as another group, and a 3D position of the other of the two input objects may be calculated based on information of the corresponding group.
예를 들어, 제2 카메라 장치(312)는 제1 카메라 장치(311)와 함께 제1 그룹으로 그룹핑되고, 제1 및 제2 카메라 장치들(311, 312)은 표시 장치(1_7)의 제1 장변(LS1)에 위치함에 따라, 제1 및 제2 입력 객체들 중 제1 장변(LS1)에 인접한 제1 입력 객체(OBJ1)에 대한 3차원 위치를 산출할 수 있다. 제2 카메라 장치(312)를 기준으로, 제1 입력 객체(OBJ1)의 제21 위치각(ANG21)은 제2 입력 객체(OBJ2)의 제22 위치각(ANG22)보다 작으므로, 제어부(500)는 제21 위치각(ANG21)을 제1 입력 객체(OBJ1)의 위치각으로 결정하고, 제11 위치각(ANG11) 및 제21 위치각(ANG21)에 기초하여 제1 입력 객체(OBJ1)의 3차원 위치를 산출할 수 있다.For example, the
유사하게, 제3 카메라 장치(313)는 제4 카메라 장치(314)와 함께 제2 그룹으로 그룹핑되고, 제3 및 제4 카메라 장치들(313, 314)은 표시 장치(1_7)의 제2 장변(LS2)에 위치함에 따라, 제1 및 제2 입력 객체들 중 제2 장변(LS2)에 인접한 제2 입력 객체(OBJ2)에 대한 3차원 위치를 산출할 수 있다. 제3 카메라 장치(313)를 기준으로, 제2 입력 객체(OBJ2)의 제32 위치각(ANG32)은 제1 입력 객체(OBJ1)의 제31 위치각(ANG31)보다 작으므로, 제어부(500)는 제32 위치각(ANG32)을 제2 입력 객체(OBJ2)의 위치각으로 결정하고, 제32 위치각(ANG32) 및 제42 위치각(ANG42)에 기초하여 제2 입력 객체(OBJ2)의 3차원 위치를 산출할 수 있다.Similarly, the
다른 예를 들어, 제3 카메라 장치(313)는 제1 카메라 장치(311)와 함께 제1 그룹으로 그룹핑되고, 제1 및 제3 카메라 장치들(311, 313)은 표시 장치(1_7)의 제1 단변(SS1)에 인접함에 따라, 제1 및 제2 입력 객체들 중 제1 단변(SS1)에 인접한 제1 입력 객체(OBJ1)에 대한 3차원 위치를 산출할 수 있다. 제3 카메라 장치(313)를 기준으로, 제1 입력 객체(OBJ1)의 제31 위치각(ANG31)은 제2 입력 객체(OBJ2)의 제32 위치각(ANG32)보다 크므로, 제어부(500)는 제31 위치각(ANG31)을 제1 입력 객체(OBJ1)의 위치각으로 결정하고, 제11 위치각(ANG11) 및 제31 위치각(ANG31)에 기초하여 제1 입력 객체(OBJ1)의 3차원 위치를 산출할 수 있다.For another example, the
유사하게, 제2 카메라 장치(312)는 제4 카메라 장치(314)와 함께 제2 그룹으로 그룹핑되고, 제2 및 제4 카메라 장치들(312, 314)은 표시 장치(1_7)의 제2 단변(SS2)에 위치함에 따라, 제1 및 제2 입력 객체들 중 제2 단변(SS2)에 인접한 제2 입력 객체(OBJ2)에 대한 3차원 위치를 산출할 수 있다. 제2 카메라 장치(312)를 기준으로, 제2 입력 객체(OBJ2)의 제22 위치각(ANG32)은 제1 입력 객체(OBJ1)의 제21 위치각(ANG31)보다 크므로, 제어부(500)는 제22 위치각(ANG22)을 제2 입력 객체(OBJ2)의 위치각으로 결정하고, 제22 위치각(ANG22) 및 제42 위치각(ANG42)에 기초하여 제2 입력 객체(OBJ2)의 3차원 위치를 산출할 수 있다.Similarly, the
즉, 제어부(500)는 제1 내지 제4 카메라 장치들(311, 312, 313, 314)을 제1 및 제2 그룹들로 그룹핑하고, 제1 그룹에 대응하는 측면 영상들 중에서 제1 입력 객체(또는, 입력 객체의 정보)만을 획득하여 제1 입력 객체의 3차원 위치를 산출하며, 제2 그룹에 대응하는 측면 영상들 중에서 제2 입력 객체만을 획득하여 제2 입력 객체의 3차원 위치를 산출할 수 있다.That is, the
도 12 및 도 13을 참조하여 설명한 바와 같이, 표시 장치(1_7)는 2개의 카메라 장치들을 하나의 그룹으로 설정하여, 그룹별로 하나의 입력 객체를 감지할 수 있고, 이에 따라, 표시 장치(1_7)는 복수의 입력 객체들을 감지할 수 있다.As described with reference to FIGS. 12 and 13, the display device 1_7 may set two camera devices as a group and detect one input object for each group. Accordingly, the display device 1_7 Can detect a plurality of input objects.
한편, 도 12 및 도 13에서, 표시 장치(1_7)는 4개의 카메라 장치들을 이용하여 2개의 입력 객체들을 감지하는 것으로 도시되어 있으나, 이는 예시적인 것으로 이에 한정되는 것은 아니다. 표시 장치(1_7)는 상호 이격되어 배치된 2N(단, N은 2 이상의 정수)개의 카메라 장치들을 이용하여 N개의 입력 객체들을 정확하게 감지할 수 있다.Meanwhile, in FIGS. 12 and 13, the display device 1_7 is shown to detect two input objects using four camera devices, but this is only an example and is not limited thereto. The display device 1_7 may accurately detect N input objects using 2N (where, N is an integer greater than or equal to 2) camera devices arranged to be spaced apart from each other.
이상 첨부된 도면을 참조하여 본 발명의 실시예들을 설명하였지만, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명의 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다.Embodiments of the present invention have been described above with reference to the accompanying drawings, but those of ordinary skill in the art to which the present invention pertains can be implemented in other specific forms without changing the technical spirit or essential features of the present invention. You can understand. Therefore, it should be understood that the embodiments described above are illustrative in all respects and not limiting.
1: 표시 장치
10: 공간 터치 감지 모듈
100: 표시부
130: 하우징
131: 본체부
132: 상부 커버
133: 측면 커버
134: 지지부
300: 입력 감지부
311, 312, 313, 314: 제1 내지 제4 카메라 장치들
320: 적외선 광원
500: 제어부
700: 감각 제공부1: display device
10: spatial touch detection module
100: display
130: housing
131: main body
132: top cover
133: side cover
134: support
300: input detection unit
311, 312, 313, 314: first to fourth camera devices
320: infrared light source
500: control unit
700: sensory provision unit
Claims (10)
상기 표시 패널의 전방에 배치되며, 상기 표시 패널의 표시면 전체로부터 기 설정된 거리까지의 감지 공간에 대한 측면 영상들을 획득하는 입력 감지부; 및
상기 측면 영상들로부터 상기 감지 공간에 위치하는 입력 객체를 검출하고, 상기 입력 객체의 상기 측면 영상들 내 위치 정보에 기초하여 상기 입력 객체의 3차원 위치 정보를 산출하며, 상기 입력 객체의 상기 3차원 위치 정보에 기초하여 비접촉 방식의 공간 터치 입력을 인식하는 제어부를 포함하되,
상기 입력 감지부는,
상기 표시 패널의 상기 표시면을 가로지르는 제1 방향을 향하여 배치되어 상기 감지 공간에 대한 제1 측면 영상을 생성하는 제1 카메라 장치, 및
상기 제1 카메라 장치와 이격되고, 상기 제1 방향과 교차하는 제2 방향을 향하여 배치되어 상기 감지 공간에 대한 제2 측면 영상을 획득하는 제2 카메라 장치를 포함하고,
상기 제1 측면 영상 및 상기 제2 측면 영상은 상기 측면 영상들에 포함되되,
상기 제1 방향, 및 상기 제2 방향은 각각 상기 표시면의 면적 중심을 향하고,
상기 제1 카메라 장치, 및 상기 제2 카메라 장치의 화각은 각각 130도 내지 150도를 갖고,
상기 제1 카메라 장치, 및 상기 제2 카메라 장치는 각각 상기 표시 패널의 상부 상에 위치하고, 각각 상기 표시 패널과 중첩 배치되지 않는 표시 장치.Display panel;
An input sensing unit disposed in front of the display panel and acquiring side images of a sensing space from the entire display surface of the display panel to a predetermined distance; And
Detects an input object located in the sensing space from the side images, calculates 3D position information of the input object based on the position information in the side images of the input object, and calculates the 3D position information of the input object Including a control unit for recognizing a non-contact type spatial touch input based on the location information,
The input detection unit,
A first camera device disposed toward a first direction crossing the display surface of the display panel to generate a first side image of the sensing space, and
A second camera device spaced apart from the first camera device and disposed toward a second direction crossing the first direction to obtain a second side image of the sensing space,
The first side image and the second side image are included in the side images,
The first direction and the second direction each face an area center of the display surface,
The angles of view of the first camera device and the second camera device each have 130 degrees to 150 degrees,
The first camera device and the second camera device are respectively positioned above the display panel, and are not disposed to overlap the display panel.
상기 입력 감지부는 상기 감지 공간에 적외선 광을 발산하는 적외선 광원을 더 포함하고,
상기 제1 카메라 장치 및 상기 제2 카메라 장치는 적외선 카메라인 표시 장치.The method of claim 1,
The input sensing unit further includes an infrared light source for emitting infrared light to the sensing space,
The first camera device and the second camera device are infrared cameras.
상기 표시 패널의 일측변에 인접하여 배치되되, 상기 표시 패널의 전방으로 돌출되고, 내부에 형성된 빈 공간을 포함하며, 상기 표시 패널과 인접한 일 면에 형성된 개구를 포함하는 상부 커버; 및
상기 개구를 커버하되, 상기 개구의 양 측에서 상기 빈 공간을 노출시키는 투명판을 더 포함하고,
상기 적외선 광원, 상기 제1 카메라 장치, 및 상기 제2 카메라 장치는 상기 상부 커버의 빈 공간에 배치되며,
상기 적외선 광원은 상기 투명판에 의해 커버되고,
상기 제1 카메라 장치는 상기 상부 커버의 일측에 인접하여 배치되되, 상기 개구에 의해 노출되며,
상기 제2 카메라 장치는 상기 상부 커버의 타측에 인접하여 배치되되, 상기 개구에 의해 노출되는 표시 장치.The method of claim 3,
An upper cover disposed adjacent to one side of the display panel, protruding to the front of the display panel, including an empty space formed therein, and including an opening formed on a surface adjacent to the display panel; And
Covering the opening, further comprising a transparent plate exposing the empty space at both sides of the opening,
The infrared light source, the first camera device, and the second camera device are disposed in an empty space of the upper cover,
The infrared light source is covered by the transparent plate,
The first camera device is disposed adjacent to one side of the upper cover, and is exposed by the opening,
The second camera device is disposed adjacent to the other side of the upper cover, and is exposed by the opening.
상기 표시 패널은 표시면이 오목한 곡면형 표시 패널이고,
상기 제1 카메라 장치 및 상기 제2 카메라 장치 각각은 상기 표시 패널의 상기 표시면의 면적 중심을 향하도록 배치되는 표시 장치.The method of claim 4,
The display panel is a curved display panel having a concave display surface,
Each of the first camera device and the second camera device is disposed to face the center of an area of the display surface of the display panel.
상기 감지 공간은 상기 제1 카메라 장치의 촬영 영역과 상기 제2 카메라 장치의 촬영 영역이 중첩하는 영역으로 정의되고,
상기 감지 공간은 상기 표시 패널 전체에서 상기 표시면에 수직하는 방향으로 동일한 폭을 가지는 표시 장치.The method of claim 5,
The sensing space is defined as a region in which the photographing region of the first camera device and the photographing region of the second camera device overlap,
The sensing space has the same width in a direction perpendicular to the display surface across the entire display panel.
상기 표시 패널의 가장자리의 적어도 일부로부터 상기 표시 패널의 전방으로 돌출된 커버부를 더 포함하고,
상기 커버부는, 상기 감지 공간을 정의하며, 상기 표시 패널의 측방으로부터 상기 감지 공간으로 유입되는 적외선 광을 차단하는 표시 장치.The method of claim 3,
Further comprising a cover portion protruding toward the front of the display panel from at least a portion of the edge of the display panel,
The cover part defines the sensing space, and blocks infrared light flowing into the sensing space from a side of the display panel.
상기 입력 감지부는,
제3 방향을 향하여 배치되어 상기 감지 공간에 대한 제3 측면 영상을 생성하는 제3 카메라 장치, 및
제4 방향을 향하여 배치되어 상기 감지 공간에 대한 제4 측면 영상을 생성하는 제4 카메라 장치를 더 포함하며,
상기 제3 방향은 상기 제2 방향과 교차하고,
상기 제4 방향은 상기 제3 방향과 교차하며,
상기 제어부는 상기 제1 내지 제4 측면 영상들 중 2개의 측면 영상들에 기초하여 제1 서브 입력 객체를 검출하고, 상기 제1 내지 제4 측면 영상들 중 나머지 2개의 측면 영상들에 기초하여 제2 서브 입력 객체를 검출하는 표시 장치.The method of claim 1,
The input detection unit,
A third camera device disposed toward a third direction to generate a third side image of the sensing space, and
Further comprising a fourth camera device disposed toward a fourth direction to generate a fourth side image of the sensing space,
The third direction intersects the second direction,
The fourth direction intersects the third direction,
The control unit detects a first sub-input object based on two side images of the first to fourth side images, and a first sub-input object is detected based on the remaining two side images of the first to fourth side images. 2 Display device for detecting sub-input objects.
상기 표시 패널의 전방 일측에 배치되어 상기 표시 패널의 표시면에 평행하게 초음파를 발산하는 초음파 트랜스듀서들을 더 포함하고,
상기 입력 객체가 상기 표시 패널에 인접할수록 상기 초음파에 의해 상기 입력 객체에 가해지는 압력이 증가하는 표시 장치.The method of claim 1,
Further comprising ultrasonic transducers disposed on one front side of the display panel to emit ultrasonic waves parallel to the display surface of the display panel,
A display device in which pressure applied to the input object by the ultrasonic wave increases as the input object is adjacent to the display panel.
상기 측면 영상들로부터 상기 감지 공간에 위치하는 입력 객체를 검출하고, 상기 입력 객체의 3차원 위치 정보를 산출하며, 상기 입력 객체의 상기 3차원 위치 정보에 기초하여 비접촉 방식의 공간 터치 입력을 인식하는 제어부를 포함하고,
상기 입력 감지부는,
제1 방향을 향하여 배치되어 상기 감지 공간에 대한 제1 측면 영상을 생성하는 제1 카메라 장치, 및
상기 제1 카메라 장치와 이격되고, 상기 제1 방향과 교차하는 제2 방향을 향하여 배치되어 상기 감지 공간에 대한 제2 측면 영상을 획득하는 제2 카메라 장치를 포함하고,
상기 제1 측면 영상 및 상기 제2 측면 영상은 상기 측면 영상들에 포함되되,
상기 제1 방향, 및 상기 제2 방향 간의 교차각은 40도 내지 50도이고,
상기 제1 카메라 장치, 및 상기 제2 카메라 장치의 화각은 각각 130도 내지 150도를 갖는 공간 터치 감지 장치.An input sensing unit disposed in front of the screen and obtaining side images of the sensing space from the screen to a predetermined distance; And
Detecting an input object located in the sensing space from the side images, calculating 3D location information of the input object, and recognizing a non-contact spatial touch input based on the 3D location information of the input object Including a control unit,
The input detection unit,
A first camera device disposed toward a first direction to generate a first side image of the sensing space, and
A second camera device spaced apart from the first camera device and disposed toward a second direction crossing the first direction to obtain a second side image of the sensing space,
The first side image and the second side image are included in the side images,
The cross angle between the first direction and the second direction is 40 degrees to 50 degrees,
A spatial touch sensing device having an angle of view of the first camera device and the second camera device of 130 degrees to 150 degrees, respectively.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020180119644A KR102174464B1 (en) | 2018-10-08 | 2018-10-08 | Space touch detecting device and display device having the same |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020180119644A KR102174464B1 (en) | 2018-10-08 | 2018-10-08 | Space touch detecting device and display device having the same |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20200039983A KR20200039983A (en) | 2020-04-17 |
KR102174464B1 true KR102174464B1 (en) | 2020-11-05 |
Family
ID=70460810
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020180119644A KR102174464B1 (en) | 2018-10-08 | 2018-10-08 | Space touch detecting device and display device having the same |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR102174464B1 (en) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112732078A (en) * | 2020-12-30 | 2021-04-30 | 维沃移动通信有限公司 | Electronic equipment operation method and device and electronic equipment |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100910024B1 (en) | 2008-10-13 | 2009-07-30 | 호감테크놀로지(주) | Camera type touch-screen utilizing linear infrared emitter |
KR101464327B1 (en) | 2014-03-27 | 2014-11-25 | 연세대학교 산학협력단 | Apparatus, system and method for providing air-touch feedback |
KR101601951B1 (en) * | 2014-09-29 | 2016-03-09 | 주식회사 토비스 | Curved Display for Performing Air Touch Input |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100968205B1 (en) * | 2008-05-07 | 2010-07-06 | 전자부품연구원 | Apparatus and Method for Space Touch Sensing and Screen Apparatus sensing Infrared Camera |
GB2487043B (en) * | 2010-12-14 | 2013-08-14 | Epson Norway Res And Dev As | Camera-based multi-touch interaction and illumination system and method |
KR101437424B1 (en) * | 2012-04-09 | 2014-09-05 | 전자부품연구원 | System and method for user interaction |
KR20140042634A (en) * | 2012-09-28 | 2014-04-07 | 안무선 | Displaying apparatus having flat touch recognition device using camera |
KR101550601B1 (en) * | 2013-09-25 | 2015-09-07 | 현대자동차 주식회사 | Curved touch display apparatus for providing tactile feedback and method thereof |
KR101610098B1 (en) * | 2013-12-18 | 2016-04-08 | 현대자동차 주식회사 | Curved display apparatus for vehicle |
-
2018
- 2018-10-08 KR KR1020180119644A patent/KR102174464B1/en active IP Right Grant
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100910024B1 (en) | 2008-10-13 | 2009-07-30 | 호감테크놀로지(주) | Camera type touch-screen utilizing linear infrared emitter |
KR101464327B1 (en) | 2014-03-27 | 2014-11-25 | 연세대학교 산학협력단 | Apparatus, system and method for providing air-touch feedback |
KR101601951B1 (en) * | 2014-09-29 | 2016-03-09 | 주식회사 토비스 | Curved Display for Performing Air Touch Input |
Also Published As
Publication number | Publication date |
---|---|
KR20200039983A (en) | 2020-04-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10275096B2 (en) | Apparatus for contactlessly detecting indicated position on reproduced image | |
CN102799318B (en) | A kind of man-machine interaction method based on binocular stereo vision and system | |
KR102335132B1 (en) | Multi-modal gesture based interactive system and method using one single sensing system | |
KR101831350B1 (en) | Camera-based multi-touch interaction and illumination system and method | |
US9658765B2 (en) | Image magnification system for computer interface | |
JP6270898B2 (en) | Non-contact input method | |
CN101663637B (en) | Touch screen system with hover and click input methods | |
JP6757779B2 (en) | Non-contact input device | |
US20110261016A1 (en) | Optical touch screen system and method for recognizing a relative distance of objects | |
KR20060043856A (en) | Coordinate input apparatus and its control method | |
TWI498785B (en) | Touch sensor apparatus and touch point detection method | |
JP2016154035A5 (en) | ||
JP2005107607A (en) | Optical position detecting apparatus | |
US20110216041A1 (en) | Touch panel and touch position detection method of touch panel | |
KR20010051563A (en) | Optical digitizer using curved mirror | |
KR102158613B1 (en) | Method of space touch detecting and display device performing the same | |
KR100936666B1 (en) | Apparatus for touching reflection image using an infrared screen | |
KR102174464B1 (en) | Space touch detecting device and display device having the same | |
KR20100066671A (en) | Touch display apparatus | |
JP6663736B2 (en) | Non-contact display input device and method | |
KR20120066814A (en) | Optical touch pannel | |
JP4546224B2 (en) | Coordinate input method and apparatus | |
JP6233941B1 (en) | Non-contact type three-dimensional touch panel, non-contact type three-dimensional touch panel system, non-contact type three-dimensional touch panel control method, program, and recording medium | |
WO2023016352A1 (en) | Positioning sensing method, positioning sensing apparatus, and input terminal device | |
JP5856357B1 (en) | Non-contact input device and method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
E701 | Decision to grant or registration of patent right |