KR100942431B1 - Complementary metal oxide semiconductor, source of light using the touch coordinates preception method and the touch screen system - Google Patents
Complementary metal oxide semiconductor, source of light using the touch coordinates preception method and the touch screen system Download PDFInfo
- Publication number
- KR100942431B1 KR100942431B1 KR1020070128131A KR20070128131A KR100942431B1 KR 100942431 B1 KR100942431 B1 KR 100942431B1 KR 1020070128131 A KR1020070128131 A KR 1020070128131A KR 20070128131 A KR20070128131 A KR 20070128131A KR 100942431 B1 KR100942431 B1 KR 100942431B1
- Authority
- KR
- South Korea
- Prior art keywords
- touch
- light source
- image
- ratio
- pickup device
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
- G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
- G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
- G06F3/0416—Control or interface arrangements specially adapted for digitisers
- G06F3/04166—Details of scanning methods, e.g. sampling time, grouping of sub areas or time sharing with display driving
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Position Input By Displaying (AREA)
Abstract
본 발명은 터치스크린을 구현하기 위한 스크린 터치 감지 및 터치 좌표 인식 방식과 이를 이용한 디스플레이 장치에서의 터치스크린 시스템에 관한 것으로 특히, 디스플레이 패널(CRT, LCD, PDP 등과 후면투사형 빔 프로젝터 포함)과 롤 스크린을 이용한 전면투사형 빔 프로젝터과 같이 서로 다른 구조와 디스플레이 방식을 갖는 모든 디스플레이 장치에 대해 공통적으로 적용할 수 있으면서도 스크린의 터치위치의 검출을 위한 제어프로그램을 표준화할 수 있도록 하여 표준 제어프로그램으로 제어프로그램의 변경 없이 모든 터치스크린의 터치검출이 가능하도록 하기 위한 촬상소자와 광원을 이용하는 터치스크린에서의 터치 좌표 인식 방법 및, 디스플레이 주변영역에 촬상소자와 같은 이미지 취득수단과 광원을 배치하여 디스플레이 영역의 화상을 적외선 영상의 단면형상으로 취득하여 터치위치를 가상좌표화함으로써 디스플레이 영역내에서의 터치 좌표를 인식하고 이를 기준으로 해당 위치의 프로그램을 로딩 할 수 있도록 하기 위한 촬상소자와 광원을 이용한 터치 좌표 인식 방식에 따른 터치스크린 시스템에 관한 것이다.The present invention relates to a screen touch sensing and touch coordinate recognition method for realizing a touch screen, and a touch screen system in a display device using the same. In particular, a display panel (including a CRT, LCD, PDP, and rear projection beam projector) and a roll screen The control program can be changed to the standard control program by standardizing the control program for detecting the touch position of the screen while being applicable to all display devices having different structures and displays such as the front projection beam projector using Touch coordinate recognition method in a touch screen using an image pickup device and a light source to enable touch detection of all touch screens without an image, and an image acquisition means such as an image pickup device and a light source in a peripheral area of the display to display an image of the display area. The touch coordinate recognition method using an image pickup device and a light source for recognizing touch coordinates in a display area and loading a program of the corresponding position based on the virtual coordinates of the touch position by acquiring the cross-sectional shape of the line image. The present invention relates to a touch screen system.
촬상소자, 광원, 터치 좌표, 터치 스크린, 가상좌표 Image pickup device, light source, touch coordinates, touch screen, virtual coordinates
Description
본 발명은 터치스크린을 구현하기 위한 스크린 터치 감지 및 터치 좌표 인식 방식에 관한 것으로 특히, 디스플레이 패널(CRT, LCD, PDP 등과 후면투사형 빔 프로젝터 포함)과 롤 스크린을 이용한 전면투사형 빔 프로젝터과 같이 서로 다른 구조와 디스플레이 방식을 갖는 모든 디스플레이 장치에 대해 공통적으로 적용할 수 있으면서도 스크린의 터치위치의 검출을 위한 제어프로그램을 표준화할 수 있도록 하여 표준 제어프로그램으로 제어프로그램의 변경 없이 모든 터치스크린의 터치검출이 가능하도록 하기 위한 촬상소자와 광원을 이용한 터치 좌표 인식 방법과, 디스플레이 주변영역에 촬상소자와 같은 이미지 취득수단과 광원을 배치하여 디스플레이 영역의 화상을 적외선 영상의 단면형상으로 취득하여 터치위치를 가상좌표화함으로써 디스플레이 영역내에서의 터치 좌표를 인식하고 이를 기준으로 해당 위치의 프로그램을 로딩 할 수 있도록 하기 위한 촬상소자와 광원을 이용한 터치 좌표 인식 방식에 따른 터치스크린 시스템에 관한 것이다.The present invention relates to a screen touch sensing and touch coordinate recognition method for realizing a touch screen, and in particular, a different structure such as a display panel (including a CRT, LCD, PDP, and a rear projection beam projector) and a front projection beam projector using a roll screen. It can be applied to all display devices having display and display system in common, and standardizes the control program for detecting the touch position of the screen.The standard control program enables touch detection of all touch screens without changing the control program. A touch coordinate recognition method using an image pickup device and a light source, and an image acquisition means such as an image pickup device and a light source in a peripheral area of the display to obtain an image of the display area as a cross-sectional shape of an infrared image and virtualize the touch position. display A touch screen system according to a touch coordinate recognition method using an image sensor and a light source for recognizing touch coordinates in an area and loading a program of a corresponding position based on the same.
일반적으로, 터치스크린(touch screen)이란 화면에 표시된 문자나 도형을 손가락 등으로 접촉하여 입력하는 장치를 총칭하는 것으로, 그 구조는 접촉을 감지하고 그에 따른 신호를 생성시키는 터치 패널과 상기 터치 패널의 신호를 제어하고 PC 본체와 연결하여 데이터를 주고받는 컨트롤러, 및 해당 시스템에 필요한 여러 가지 소프트웨어로 이루어져 있다.In general, a touch screen is a generic term for a device that inputs a character or a figure displayed on a screen by using a finger or the like, and its structure detects a touch and generates a signal according to the touch panel. It consists of a controller that controls signals, connects to a PC main body, sends and receives data, and various software required for the system.
상술한 터치스크린은 정밀도는 그다지 높지 않지만 키보드가 필요없고 조작이 간단하기 때문에 자동현금지급기나 역(驛)의 정보 검색기 등에 널리 사용되고 있으며, 또 병원이나 연구실에서 진단, 환자 모니터링, 처방관리, 의학적 기록에 쓰이고 아동이나 장애자의 교육용으로도 쓰인다.Although the above-mentioned touch screen is not very accurate, it does not need a keyboard and is easy to operate, so it is widely used in automatic cash dispensers or reverse information retrieval machines, and is used in hospitals and laboratories for diagnosis, patient monitoring, prescription management, and medical records. It is also used for the education of children and the disabled.
그밖에 무인 티켓 발매 시스템, 경영 관리 시스템에도 응용할 수 있으며, 근래 들어 점차 그 수요와 범위가 증가하는 추세이다.In addition, it can be applied to unmanned ticket release systems and management systems, and in recent years, the demand and scope are gradually increasing.
이때 터치 패널을 구현하는 방식으로 사용되는 종래의 기술들은 전기-감응 유리 또는 유리들을 스크린 상에 오버레이(overlay)시키는 것에 의존하는 방식인데, 이 방식의 단점은 기물 파괴 행위(vandalism) 및 기타 요인들의 가능성으로 인해 옥외용 디스플레이에는 적합하지 않으며, 또한 대형 스크린에 사용될 때 아주 비싸진다는 점이다.Conventional techniques used to implement touch panels rely on overlaying electro-sensitive glass or glasses on the screen, a disadvantage of which is the vandalism and other factors. The potential is not suitable for outdoor displays and is very expensive when used for large screens.
다른 방식으로는 스크린의 측면들 중 적어도 어느 하나에 LED 또는 유사한 장치 등의 광 방출기를 구비하고 스크린의 반대쪽 측면에는 감광 요소(light- sensitive element)를 이용하여 특정의 LED에 의해 방출된 광의 폐색(occlusion)에 의해 손 상호작용(hand interaction)을 검출하는 방식인데, 이 방식의 단점은 스크린 전면에 있는 유리의 외부에 LED 또는 감광 어레이 중 적어도 하나를 제공해야만 한다는 요건이며, 이는 이들을 기물 파괴 행위에 노출시키게 된다.Alternatively, at least one of the sides of the screen has a light emitter, such as an LED or similar device, and on the opposite side of the screen, a light-sensitive element is used to block occlusion of the light emitted by the particular LED ( A method of detecting hand interaction by occlusion, a disadvantage of this method is the requirement to provide at least one of an LED or a photosensitive array outside of the glass in front of the screen, which is responsible for vandalism. Exposed.
이와 유사하게, 사용자 상호작용을 판정하기 위해 스크린의 전면 측면 상에 레이저-스캔 및 도플러 레이더가 설치될 수 있으며, 이는 유사한 단점을 갖는다. Similarly, laser-scan and Doppler radars can be installed on the front side of the screen to determine user interaction, which has similar drawbacks.
유리창에서 사용하기 위한 다른 기술은 사용자가 유리를 두드릴 때를 판정하기 위해 마이크 및 사운드 삼각 측량(sound triangulation)을 사용한다. 이 방법의 잠재적인 단점은 센서를 창과 직접 접촉하게 배치하고 그 센서까지 배선을 해야만 하며 또한 유리 등의 단단한 표면을 필요로 한다는 것이며, 특히나 연질 플라스틱 후방-투사 스크린(soft plastic rear-projected screen)에서 사용하기에 적합하지 않다.Another technique for use in windshields uses a microphone and sound triangulation to determine when the user knocks on the glass. A potential disadvantage of this method is that the sensor must be placed in direct contact with the window, wired up to the sensor, and also requires a hard surface, such as glass, especially in soft plastic rear-projected screens. Not suitable for use
또 다른 방식으로 카메라를 이용하여 반투명 이미지와의 사용자 상호작용을 검출하는 데 사용될 수 있다. 카메라가 사용자의 동일한 측면에 배치되어 있는 경우, 상호작용을 검출하기 위해 종래의 컴퓨터 시각 동작 인식(vision gesture recognition) 기술이 사용될 수 있다.Alternatively, the camera can be used to detect user interaction with the translucent image. If the camera is placed on the same side of the user, conventional computer vision gesture recognition techniques can be used to detect the interaction.
그렇지만 이 상황에서, 카메라를 적절한 위치에 설치하기 어려운 것은 물론이며 가능한 기물 파괴 행위의 문제가 명백한 단점이다.In this situation, however, it is not only difficult to install the camera in a proper position, but the problem of possible vandalism is an obvious disadvantage.
카메라가 기물 파괴 행위로부터 용이하게 보호될 수 있도록 반투명 표면의 후방 측면에 카메라를 배치하는 것이 바람직하다. 그렇지만, 이러한 상황에서 카메 라에 의해 캡처된 사용자의 이미지는 극히 흐릿하게 될 수 있으며, 그에 의해 종래의 동작 인식 기술을 사용할 수 없게 되고, 카메라 및 프로젝터는 IR 필터를 갖추고 있어야만 하며, 적외선 조명도 역시 필요하다.It is desirable to place the camera on the back side of the translucent surface so that the camera can be easily protected from vandalism. However, in such a situation, the user's image captured by the camera may be extremely blurred, thereby making it impossible to use conventional motion recognition technology, the camera and projector must be equipped with an IR filter, and the infrared illumination is also need.
이 방법의 중요한 단점은 스크린 전면 창이 직사광선에 노출되는 경우 등의 상당량의 주변 적외광에 반투명 스크린이 노출되는 상황에서 이 방법이 사용될 수 없다는 것이다.An important drawback of this method is that it cannot be used in situations where the translucent screen is exposed to a significant amount of ambient infrared light, such as when the screen front window is exposed to direct sunlight.
상술한 카메라와 같은 기존 이미지 센서 이용 터치스크린 기술은 대화면 혹은 빔 프로젝션 등과 같은 디스플레이 장치 등에 적용시키기 쉽다는 장점 때문에 근래 들어 상당히 주목받고 있는 기술인데, 이러한 기술의 경우 대체적으로 두 대 이상의 이미지 센서가 대상(손가락 또는 펜 등)의 영상을 획득하고, 상기 획득한 영상을 배경영상과 비교/분석하며 대상을 인식하고, 상기 각 이미지 센서와 대상의 관심영역까지의 각도를 계산하며, 이미 결정된 스크린크기와 상기 각도에 삼각법을 적용하여 스크린 내의 좌표를 검출한다.Touch screen technology using an existing image sensor such as the above-described camera is a technology that has attracted considerable attention in recent years due to the advantage that it is easy to be applied to a display device such as a large screen or a beam projection. In this case, two or more image sensors are generally used. Acquires an image of a finger or a pen, compares / analyzes the acquired image with a background image, recognizes an object, calculates an angle to each image sensor and the region of interest of the object, and Triangulation is applied to the angle to detect coordinates on the screen.
이때 전술한 바와 같이 터치 좌표인식을 위해서는 스크린의 크기에 따라 알고리즘을 변경시켜야 하며, 획득한 영상을 배경영상과 비교/분석하는 매우 복잡한 알고리즘을 사용해야함에 따라 그 효용성이 저하되는 문제점이 발생되었다.At this time, as described above, in order to recognize the touch coordinates, the algorithm must be changed according to the size of the screen, and the use of a very complicated algorithm for comparing / analyzing the acquired image with the background image has caused a problem in that its effectiveness is deteriorated.
상술한 문제점을 해소하기 위한 본 발명의 목적은 터치스크린을 구현하기 위한 스크린 터치 감지 및 터치 좌표 인식 방식과 이를 이용한 터치 스크린에 관한 것으로 특히, 디스플레이 패널(CRT, LCD, PDP 등과 후면투사형 빔 프로젝터 포함)과 롤 스크린을 이용한 전면투사형 빔 프로젝터과 같이 서로 다른 구조와 디스플레이 방식을 갖는 모든 디스플레이 장치에 대해 공통적으로 적용할 수 있으면서도 스크린의 터치위치의 검출을 위한 제어프로그램을 표준화할 수 있도록 하여 표준 제어프로그램으로 제어프로그램의 변경 없이 모든 터치스크린의 터치검출이 가능하도록 하기 위한 촬상소자와 광원을 이용한 터치 좌표 인식 방법 및 이를 이용한 터치 스크린을 제공하는 데 있다.An object of the present invention for solving the above problems relates to a screen touch sensing and touch coordinate recognition method for realizing a touch screen and a touch screen using the same, in particular, including a display panel (CRT, LCD, PDP, etc.) and a rear projection beam projector And control panel for detecting the touch position of the screen can be standardized for all display devices with different structures and display methods such as front projection type beam projector using roll screen. The present invention provides a touch coordinate recognition method using an image pickup device and a light source and a touch screen using the same to enable touch detection of all touch screens without changing the control program.
상기와 같은 목적을 달성하기 위한 본 발명에 따른 촬상소자와 광원을 이용한 터치 좌표 인식 방법의 특징은, 가로 폭(W)와 세로 폭(H)를 갖는 직사각 형상 평면과, 상기 평면의 임의의 한 변을 공통적으로 공유하는 꼭지점에 각각 하나씩 구비되는 2개의 촬상소자, 및 상기 평면의 꼭지점마다 각각 하나씩 구비되는 4개의 광원을 구비하는 제 1과정과; 임의의 촬상소자에서 취득된 이미지상에 위치하는 광원 중 최양단에 위치하는 광원으로부터 그 사이에 존재하는 광원까지의 거리비를 산출하는 제 2과정과; 상기 평면에 접하거나 근접하는 임의의 대상에 의한 터치 포 인트가 존재한다고 판단되면 임의의 촬상소자에서 취득된 이미지상에 위치하는 광원 중 최양단에 위치하는 광원으로부터 그 사이에 존재하는 터치 포인트까지의 거리비를 산출하는 제 3과정과; 각 촬상소자별로 취득되어진 영상 이미지에서 상기 제 2과정과 제 3과정에서 각각 산출되는 거리비를 승산하여 제1가상비율 ha와 제2가상비율 hb를 산출하는 제 4과정; 및 상기 제 4과정을 통해 산출된 제1가상비율 ha와 제2가상비율 hb와 상기 평면의 가로 폭(W)와 세로 폭(H)을 기준으로 수학식 에 의해 가상좌표를 산출하는 제 5과정을 포함하는 데 있다.The touch coordinate recognition method using the image pickup device and the light source according to the present invention for achieving the above object is a rectangular plane having a horizontal width (W) and a vertical width (H), and any one of the plane A first process including two imaging devices each provided at one vertex in common with the sides, and four light sources each provided at each vertex of the plane; A second step of calculating a ratio of distances from light sources positioned at the extreme ends of light sources positioned on an image acquired by an image pickup device to light sources existing therebetween; If it is determined that there is a touch point by any object in contact with or in proximity to the plane, from the light source positioned at the extreme end of the light sources positioned on the image acquired by the image pickup device to the touch point existing therebetween. Calculating a distance ratio; A fourth process of calculating a first virtual ratio ha and a second virtual ratio hb by multiplying the distance ratios calculated in the second process and the third process from the image image acquired for each image pickup device; And the first virtual ratio ha, the second virtual ratio hb, and the horizontal width W and the vertical width H of the plane calculated through the fourth process. It includes a fifth process of calculating the virtual coordinate by the.
상기와 같은 목적을 달성하기 위한 본 발명에 따른 촬상소자와 광원을 이용한 터치 좌표 인식 방법의 부가적인 특징은, 상기 제 1과정에서 상기 촬상소자의 중심선은 상기 평면과 평행하며 상기 평면에 포함되도록 하는 데 있다.An additional feature of the method for recognizing touch coordinates using an image pickup device and a light source according to the present invention for achieving the above object is that the center line of the image pickup device is parallel to the plane and included in the plane in the first step. There is.
상기와 같은 목적을 달성하기 위한 본 발명에 따른 촬상소자와 광원을 이용한 터치 좌표 인식 방법의 부가적인 다른 특징으로, 상기 제 2과정은 제 1촬상소자의 경우 취득된 양단의 광원중 일측 종단에 위치하는 광원으로부터 양단 사이에 존재하는 광원까지의 거리를 기준으로 타측 종단에 위치하는 광원으로부터 양단 사이에 존재하는 광원까지의 거리비를 산출하는 제 1단계와; 제 2촬상소자의 경우 취득된 양단의 광원중 타측 종단에 위치하는 광원으로부터 양단 사이에 존재하는 광원까지의 거리를 기준으로 일측 종단에 위치하는 광원으로부터 양단 사이에 존재하는 광원까지의 거리비를 산출하는 제 2단계를 포함하는 데 있다.As another additional feature of the touch coordinate recognition method using the image pickup device and the light source according to the present invention for achieving the above object, the second process is located at one end of the light source of both ends acquired in the case of the first image pickup device A first step of calculating a distance ratio from a light source located at the other end to a light source existing between both ends based on the distance from the light source to the light source existing between both ends; In the case of the second image pickup device, the distance ratio from the light source located at one end to the light source existing at both ends is calculated based on the distance from the light source positioned at the other end to the light source existing at both ends among the acquired light sources at both ends. The second step is to include.
상기와 같은 목적을 달성하기 위한 본 발명에 따른 촬상소자와 광원을 이용한 터치 좌표 인식 방법의 부가적인 또 다른 특징으로, 상기 제 3과정은 제 1촬상소자의 경우 취득된 양단의 광원중 타측 종단에 위치하는 광원으로부터 양단 사이에 존재하는 터치포인트까지의 거리를 기준으로 일측 종단에 위치하는 광원으로부터 양단 사이에 존재하는 터치포인트까지의 거리비를 산출하는 제 1단계와; 제 2촬상소자의 경우 취득된 양단의 광원중 일측 종단에 위치하는 광원으로부터 양단 사이에 존재하는 터치포인트까지의 거리를 기준으로 타측 종단에 위치하는 광원으로부터 양단 사이에 존재하는 터치포인트까지의 거리비를 산출하는 제 2단계를 포함하는 데 있다.As another additional feature of the method for recognizing touch coordinates using the image pickup device and the light source according to the present invention for achieving the above object, the third process is performed at the other end of the light sources of both ends acquired in the case of the first image pickup device. A first step of calculating a distance ratio from a light source positioned at one end to a touch point existing between both ends, based on a distance from the light source positioned between the touch points existing between both ends; In the case of the second image pickup device, the ratio of the distances from the light sources positioned at the other end to the touch points existing at both ends, based on the distance from the light sources positioned at one end to the touch points existing at both ends, among the acquired light sources at both ends. It includes a second step of calculating the.
상기와 같은 목적을 달성하기 위한 본 발명에 따른 촬상소자와 광원을 이용한 터치 좌표 인식 방법의 부가적인 또 다른 특징으로, 상기 제 4과정은 상기 제 2과정의 제 1단계에서 산출되어진 데이터와 상기 제 3과정의 제 1단계에서 산출되어진 데이터를 승산하여 제1가상비율 ha를 산출하는 제 1단계와; 상기 제 2과정의 제 2단계에서 산출되어진 데이터와 상기 제 3과정의 제 2단계에서 산출되어진 데이터를 승산하여 제2가상비율 hb를 산출하는 제 2단계를 포함하는 데 있다.In another aspect of the present invention, there is provided a touch coordinate recognition method using an image sensor and a light source according to the present invention. The fourth process includes the data calculated in the first step of the second process and the first method. A first step of calculating a first virtual ratio ha by multiplying the data calculated in the first step of three processes; And a second step of calculating a second virtual ratio hb by multiplying the data calculated in the second step of the second process and the data calculated in the second step of the third process.
또한 본 발명은 임의의 면적을 갖는 디스플레이 영역과, 다수개의 촬상소자 및 광원들을 구비하는 터치스크린 시스템에 있어서:The present invention also provides a touch screen system having a display area having an arbitrary area, a plurality of image pickup devices and light sources:
디스플레이 영역의 모서리에 위치하는 2개 이상의 촬상소자에 일대일로 대응되어 취득되어진 화상 이미지를 데이터 처리하여 디스플레이 영역에 접하는 임의의 터치대상의 인식유무에 따른 신호와 광원간의 거리비 및 터치대상과 광원간의 거리비를 산출하여 출력하는 2개 이상의 화상데이터처리모듈과;By processing the image image acquired in one-to-one correspondence to two or more image pickup devices positioned at the corners of the display area, the ratio of the distance between the signal and the light source and the distance between the touch object and the light source according to the recognition of any touch object in contact with the display area. Two or more image data processing modules for calculating and outputting a distance ratio;
상기 화상데이터처리모듈에 의해 산출되는 광원간의 거리비 및 터치대상과 광원간의 거리비 데이터를 입력받아 상기 터치대상에 대한 가상비율을 산출하는 가상비율산출모듈과,A virtual ratio calculation module for receiving a distance ratio between light sources calculated by the image data processing module and distance ratio data between a touch object and a light source and calculating a virtual ratio for the touch object;
상기 가상비율산출모듈에서 산출되는 가상비율을 입력받아 터치대상에 대한 가상좌표를 산출하는 가상좌표 산출모듈과,A virtual coordinate calculation module for receiving a virtual ratio calculated by the virtual ratio calculation module and calculating a virtual coordinate for a touch object;
상기 화상데이터처리모듈들에서 출력되는 터치대상의 인식유무에 따른 신호를 입력받아 실질적인 터치대상이 존재하는지 판단하며 해당 터치대상의 동작(클릭, 더블클릭, 드래그 등등)을 구분하여 출력하는 터치대상 동작검출인식모듈; 및A touch object operation that receives a signal according to whether or not the touch object is output from the image data processing modules and determines whether a real touch object exists, and separately outputs an operation (click, double click, drag, etc.) of the touch object. Detection recognition module; And
상기 터치대상 동작검출인식모듈과 가상좌표산출모듈에서 출력되는 데이터를 입력받아 디스플레이 영역에 디스플레이되어진 화상 중 터치되었다고 판단되는 영역에 해당되는 프로그램을 로딩하여 해당 정보를 디스플레이 되도록 하는 터치스크린 운영모듈을 포함하는 것을 특징으로 하는 촬상소자와 광원을 이용한 터치 좌표 인식 방법을 이용한 터치스크린 시스템을 제공하는데 있다.And a touch screen operating module configured to receive data output from the touch target motion detection recognition module and the virtual coordinate calculation module and load a program corresponding to a region determined to be touch among the images displayed on the display area to display corresponding information. The present invention provides a touch screen system using a touch coordinate recognition method using an image pickup device and a light source.
상술한 본 발명에 따른 특징으로 인해 기대되는 효과로는, 스크린 크기가 클수록 제조단가와 유지비 하락(이미지 센서 신뢰도에 의해)이 예상되며, 기존의 이미지 센서 영상을 비교/분석하여 대상의 좌표를 검출하는 종래 시스템에 비하여, 적외선 영상의 입력 여부만을 검출하고, 간단한 터치검출 알고리즘을 사용하므로, 좌표 검출 속도와 정확도가 향상될 것으로 예상된다.As expected effects due to the above-described features of the present invention, the larger the screen size is expected to lower the manufacturing cost and maintenance cost (by image sensor reliability), and compares / analyzes the existing image sensor image to detect the target coordinates. Compared with the conventional system, since only an infrared image is detected and a simple touch detection algorithm is used, the coordinate detection speed and accuracy are expected to be improved.
또한, 가상좌표를 이용하므로 패널 타입의 표시부를 갖는 디스플레이장치나 롤 타입의 표시부를 갖는 디스플레이장치에 관계없이 터치검출 제어프로그램을 공용으로 표준화할 수 있을 것으로 예상된다.In addition, since the virtual coordinate is used, it is expected that the touch detection control program can be commonly standardized regardless of the display device having the panel type display unit or the display device having the roll type display unit.
본 발명의 상술한 목적과 여러 가지 장점은 이 기술 분야에 숙련된 사람들에 의해, 첨부된 도면을 참조하여 후술되는 본 발명의 바람직한 실시 예로부터 더욱 명확하게 될 것이다.The above object and various advantages of the present invention will become more apparent from the preferred embodiments of the present invention described below with reference to the accompanying drawings by those skilled in the art.
이하, 본 발명의 바람직한 실시 예를 첨부한 도면을 참조하여 상세히 설명한다.Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings.
첨부한 도 1은 본 발명에 따른 촬상소자와 광원을 이용하는 터치스크린에서의 터치 좌표 인식 방법이 적용되는 터치스크린의 구성을 나타낸 것으로, 임의의 영상이 디스플레이 되는 스크린(일반적으로 사용되고 활용되는 디스플레이의 표시부를 대표적으로 칭함; 100)과, 상기 스크린(100)의 일 측변의 양단에 삼각법에 의한 측정을 위한 2개의 촬상소자(이때 촬상소자란 스텝 및 동영상 촬영이 가능한 임의의 카메라나 캠코더를 포함하는 것이며 적외선 카메라 또는 이미지 센서를 포함한다)(IS1, IS2); 및 상기 스크린(100)의 각 꼭지 점 부근에 위치하며 임의의 기준점을 인식하기 위한 기준광원(RL1~RL4)을 구비하게 된다.1 is a view illustrating a configuration of a touch screen to which a touch coordinate recognition method is applied in a touch screen using an image pickup device and a light source according to the present invention, wherein an image is displayed on a screen (a display unit of a display generally used and utilized) 100) and two imaging devices for triangulation measurement at both ends of one side of the screen 100 (in this case, the imaging device includes any camera or camcorder capable of step and video recording). Infrared camera or image sensor) (IS1, IS2); And reference light sources RL1 to RL4 positioned near each vertex of the
또한 상술한 삼각법은 기존의 통상적인 삼각법이 아니라 본 발명에 따른 측정방법이 적용되기 위한 것임을 미리 밝혀둔다.In addition, the above-described trigonometric method is not known conventional triangulation method, it is noted that the measuring method according to the present invention is to be applied in advance.
첨부한 도 1에 도시되어 있는 구성은 본 발명이 적용되기 위한 최소한의 구성을 나타내는 것이며, 상기 기준광원(RL1~RL4)은 적외선을 조사하는 광원을 사용하며, 상기 촬상소자(IS1, IS2) 역시 적외선 이미지를 촬상하는 이미지 센서를 사용하는 것이 가장 바람직하다.1 shows a minimum configuration to which the present invention is applied. The reference light sources RL1 to RL4 use a light source for irradiating infrared rays, and the imaging devices IS1 and IS2 are also used. It is most desirable to use an image sensor that picks up an infrared image.
이때, 상기 2개의 촬상소자(IS1, IS2)의 포커스는 각각 상기 스크린(100)의 영상 표시면과 평행하며, 해당 영상 표시면에 존재한다. In this case, the focuses of the two imaging devices IS1 and IS2 are parallel to the image display surface of the
상술한 바와 같은 장치적인 구성을 이용한 본 발명에 따른 터치 좌표 인식 방법을 이하에서 상세히 설명하기로 한다. The touch coordinate recognition method according to the present invention using the above-described device configuration will be described in detail below.
우선, 각 촬상소자별로 취득되어진 영상이미지를 이용하여 터치점에 대한 좌표값 인식을 위한 데이터 생성과정을 살펴보기로 하며, 상기 제 1촬상소자(IS1)에서 취득되어진 영상은 첨부한 도 2에 도시되어 있는 바와 같다.First, a data generation process for recognizing a coordinate value of a touch point by using an image image acquired for each image pickup device will be described. An image acquired by the first image pickup device IS1 is shown in FIG. 2. As it is.
첨부한 도 2에 도시되어진 취득 영상에서 표시되어진 변수 A1, B1, a1, b2의 의미를 첨부한 도 3을 참조하여 살펴보면, 상기 제 1촬상소자(IS1)의 입장에서는 설치각 θ를 기준으로 상기 제 1촬상소자(IS1)의 설치각과 대각선의 각이 같은 임의의 가상스크린(V100a)을 정의할 수 있다.Referring to FIG. 3 attached to the meanings of the variables A1, B1, a1, and b2 displayed in the acquired image shown in FIG. 2, the first imaging device IS1 is based on the installation angle θ. An arbitrary virtual screen V100a having the same installation angle and diagonal angle as the first imaging device IS1 may be defined.
이때의 가상스크린(V100a)은 실제 스크린(100)의 가로 폭(W)과 동일한 가로 폭을 가지며, 세로의 폭(H1)은 아래의 수학식 1과 같이 정의할 수 있다.In this case, the virtual screen V100a has the same horizontal width as the horizontal width W of the
상기 수학식 1의 증명과정을 간략히 살펴보면, 삼각형 AGC와 삼각형 FGB는 세 각이 같으므로 서로 닮은꼴이며, 따라서 닮은 삼각형의 대응변의 비는 같으므로, H : H1 = B1 : A1의 관계식이 성립하고, 이를 정리하면 상기 수학식 1과 같이 정리된다.Looking at the proof process of
이때 첨부한 도면에서와 같이 사용자에 의해 스크린(100)상의 임의의 위치가 터치되는 경우, 첨부한 도 2에 도시되어 있는 바와 같이 모두 동일하게 상기 제 1촬상소자(IS1)의 취득영상에는 터치된 포인트 P(x, y)와 참조번호 I1로 지칭되는 연직선상의 임의의 포인트는 모두 하나로 표현된다.In this case, when an arbitrary position on the
이때 상술한 수학 관계식 1에 필요한 변수 A1과 B1의 관계 역시 첨부한 도 2에 도시되어 있는 바와 같다.At this time, the relationship between the variables A1 and B1 necessary for the above-described
그러므로 첨부한 도 3에서 터치대상 포인트 P(x,y)가 가상 직사각형의 세로선에 맺히는 점 I1까지의 거리(h1)는 아래의 수학식 2와 같이 정리 된다.Therefore, in FIG. 3, the distance h1 to the point I1 at which the touch target point P (x, y) is formed on the vertical line of the virtual rectangle is summarized as in
상기 수학식 2의 증명과정을 간략히 살펴보면, 삼각형 BJG1와 삼각형 BAC는 세 각이 같으므로 서로 닮은꼴이며, 따라서 닮은 삼각형의 대응변의 비는 같으므로, W : H1 = b1' : g1의 관계식이 성립하고, 이를 정리하면 아래의 수학식 3과 같이 정리된다.Looking at the proof process of
또한, 삼각형 AJG 1 와 삼각형 ABI 1 역시 서로 닮은꼴이며, 따라서 닮은 삼각형의 대응변의 비는 같으므로, W : h1 = a1' : g1의 관계식이 성립하고, 이를 정리하면 아래의 수학식 4와 같이 정리된다.In addition,
이때 수학식 3과 수학식 4에서 공통변수를 기준으로 등호를 이루고 이를 변수 h1을 기준으로 정리하면 상기 수학식 2와 같이 정리되는 것이다.In this case, when the equal sign is formed based on the common variable in Equation 3 and Equation 4, and this is arranged based on the variable h1,
상술한 과정을 통해 상기 제 1촬상소자(IS1)의 취득영상에서 터치대상 포인트 P(x,y)와 상기 제 1촬상소자(IS1)를 기준으로 하는 가상 스크린(V100a)상에서의 연관 관계를 첨부한 도 2와 도 3을 기준으로 살펴보았으므로, 첨부한 도 1에 도시되어 있는 제 2촬상소자(IS2)를 통해 산술한 과정에 따라 해당 터치대상 포인트 P(x,y)와 상기 제 2촬상소자(IS2)를 기준으로 하는 가상 스크린(V100b)상에서의 연관 관계를 첨부한 도 4와 도 5를 통해 살펴보기로 한다.Through the above-described process, the correlation between the touch target point P (x, y) and the first image pickup device IS1 on the virtual screen V100a based on the acquired image of the first image pickup device IS1 is attached. 2 and 3, the touch target point P (x, y) and the second photographing image are subjected to the arithmetic operation through the second imaging device IS2 illustrated in FIG. 1. An association relationship on the virtual screen V100b based on the device IS2 will be described with reference to FIGS. 4 and 5.
첨부한 도 5에 도시되어 있는 바와 같이, 상기 제 2촬상소자(IS2)의 입장에서는 설치각 δ를 기준으로 상기 제 2촬상소자(IS2)의 설치각과 대각선의 각이 같은 임의의 가상스크린(V100b)을 정의할 수 있다.As shown in FIG. 5, from the standpoint of the second imaging device IS2, an arbitrary virtual screen V100b having the same installation angle and diagonal angle as the installation angle δ on the basis of the installation angle δ. ) Can be defined.
이때의 가상스크린(V100b)은 실제 스크린(100)의 가로 폭(W)과 동일한 가로 폭을 가지며, 세로의 폭(H2)은 아래의 수학식 5와 같이 정의할 수 있다.In this case, the virtual screen V100b has the same horizontal width as the horizontal width W of the
상기 수학식 5의 증명과정은 상술한 수학식 1의 증명과정과 같으므로 생략한다.Since the proof process of Equation 5 is the same as the proof process of
이때 첨부한 도면에 도시되어 있는 바와 같이 사용자에 의해 스크린(100)상의 임의의 위치가 터치되는 경우, 첨부한 도 4에 도시되어 있는 바와 같이 모두 동일하게 상기 제 2촬상소자(IS2)의 취득영상에는 터치된 포인트 P(x, y)와 참조번호 I2로 지칭되는 연직선상의 임의의 포인트는 모두 하나로 표현된다.In this case, when an arbitrary position on the
이때 상술한 수학식 5에 필요한 변수 A2와 B2의 관계 역시 첨부한 도 4에 도시되어 있는 바와 같다.At this time, the relationship between the variables A2 and B2 necessary for the above Equation 5 is also shown in FIG.
그러므로 첨부한 도 5에서 터치대상 포인트 P(x,y)가 가상 직사각형의 세로선에 맺히는 점 I2까지의 거리(h2)는 아래의 수학식 6과 같이 정리 된다.Therefore, in FIG. 5, the distance h2 to the point I2 where the touch target point P (x, y) is formed on the vertical line of the virtual rectangle is summarized as in Equation 6 below.
상기 수학식 6의 증명과정 역시 상술한 수학식 2의 증명과정과 같으므로 생략하기로 한다.Since the proof process of Equation 6 is also the same as the proof process of
이하 첨부한 도면 중 상기 도 2와 도 4에 도시되어 있는 촬상소자에서 취득되어진 이미지를 설명하는 도면의 경우 설명을 용이하게 하기 위해 실질적으로 얻 어지는 위상 반전된 이미지가 아니라 개념적인 이미지를 예로 들어 설명하는 것임을 미리 밝혀둔다.Hereinafter, in the accompanying drawings, a diagram illustrating an image acquired by the image pickup device illustrated in FIGS. 2 and 4 will be described by taking a conceptual image as an example instead of a phase inverted image that is substantially obtained to facilitate explanation. Make sure you do it.
상술한 도 3과 도 5에 도시되어진 도면을 하나의 도면으로 묶어 표시하며, 터치 포인트와 관계하여 정리하면 첨부한 도 6에 도시되어져 있는 바와 같이 나타나게 된다.The above-described drawings illustrated in FIGS. 3 and 5 are collectively displayed in a single diagram, and arranged in relation to the touch point, as shown in FIG. 6.
첨부한 도 6에서 터치포인트 P(x, y)의 x좌표를 구해보면, 도 6에서 삼각형 AKP와 삼각형 ABI1은 닮은꼴이므로 아래의 수학식 7과 같은 비례식이 성립한다.Referring to the x-coordinate of the touch point P (x, y) in the accompanying Figure 6, the triangle AKP and triangle ABI1 in Figure 6 is similar, so the proportional expression as shown in Equation 7 below.
또한, 도 6에서 삼각형 BKP와 삼각형 BAI2는 닮은꼴이므로 아래의 수학식 8과 같은 비례식이 성립한다.In addition, in FIG. 6, since triangle BKP and triangle BAI2 are similar, a proportional expression such as Equation 8 below holds.
따라서 수학식 7과 수학식 8은 서로 등호관계에 있으므로, 이를 변수 x의 관계식으로 정리하면 아래의 수학식 9와 같이 정리할 수 있다.Therefore, since Equation 7 and Equation 8 have an equal sign, they can be arranged as shown in Equation 9 below.
상술한 과정의 통해 터치포인트 P(x, y)의 x좌표를 산출하였으므로, y좌표를 x좌표의 산출과정과 동일한 과정을 통해 산출해보면 아래의 수학식 10과 같이 정의할 수 있다.Since the x coordinate of the touch point P (x, y) is calculated through the above-described process, the y coordinate can be defined as shown in Equation 10 below by calculating the y coordinate through the same process as the calculation process of the x coordinate.
따라서 터치포인트 P(x, y)의 x좌표값과 y좌표은 공통적으로 가상스크린(V100a, V100b)의 세로의 폭(h1, h2)에 의해 결정되는 것을 알 수 있다.Accordingly, it can be seen that the x and y coordinates of the touch points P (x, y) are determined by the vertical widths h1 and h2 of the virtual screens V100a and V100b in common.
이때 가상스크린(V100a, V100b)에서 얻어지는 변수 h1과 h2의 값은 실질적으로 인식할 수 없기 때문에 변수 h1과 변수 h2를 첨부한 도 2와 도 4에서 검출 가능한 변수 A1, A2, B1, B2, a1, a2, b1, b2의 값으로 대치하여야 하는데, 이는 변수 h1을 정의한 수학식 2와 변수 h2를 정의한 수학식 6을 통해 정리 할 수 있을 것이다.In this case, since the values of the variables h1 and h2 obtained from the virtual screens V100a and V100b are not substantially recognizable, the variables A1, A2, B1, B2, and a1 detectable in FIG. 2 and FIG. , a2, b1, and b2 should be replaced with
따라서 우선 변수 h1을 실질적으로 산출 가능한 변수로 정리해보기로 한다.Therefore, let's first arrange the variable h1 into a variable that can be calculated.
변수 h1을 정의한 수학식 2에 인식 불가능한 변수 H1을 정리하기 위해 수학식 1을 대입하여 정리하면 아래의 수학식 11과 같이 정의된다.In order to clean up the variable H1 that is not recognizable in
상기 수학식 11에서 변수 H역시 첨부한 도 2와 도 4에 도시되어진 취득 이미지에서 얻어지는 데이터는 아니므로 이를 등호 반대편으로 넘겨 정리하고 이를 새 로운 제1가상비율 ha로 정의하면 아래의 수학식 12와 같이 정리된다.Since the variable H in
상술한 바와 같은 방법으로 변수 h2를 정의한 수학식 6을 정리하여 제2가상비율 hb로 정의하면 아래의 수학식 13과 같이 정리된다. Equation 6 defining the variable h2 in the above-described manner is summarized and defined as the second virtual ratio hb.
따라서 터치포인트 P(x, y)의 x좌표를 나타내는 수학식 9에 수학식 12와 수학식 13을 대입하여 정리하면 x좌표는 아래의 수학식 14와 같이 정리되며, 터치포인트 P(x, y)의 y좌표를 나타내는 수학식 10에 수학식 12와 수학식 13을 대입하여 정리하면 y좌표는 아래의 수학식 15와 같이 정리된다.Therefore, substituting
그러므로 상술한 수학식들을 정리하여 터치포인트 P(x, y)의 가상좌표 Pa(x/W , y/H)에 관련한 관계식은 아래의 수학식 16과 같다.Therefore, the equations related to the virtual coordinates Pa (x / W and y / H) of the touch points P (x, y) are summarized as in Equation 16 below.
따라서 가상좌표 Pa(x/W, y/H)는 실제 터치스크린에서의 상대위치이기 때문에 별도의 변환과정 없이 터치위치를 표시하게 되는 것이다.Therefore, since the virtual coordinate Pa (x / W, y / H) is a relative position on the actual touch screen, the touch position is displayed without a separate conversion process.
상술한 실시예에서 본 발명이 적용되는 터치스크린의 광원은 삼각법을 적용하여 스크린 내의 좌표를 검출하는 기준점으로 사용되는 것으로, 식별 가능한 색이나 식별 가능한 모양의 물체를 사용할 수 있으며, 외부 광원과 구별을 위하여 특정 주파수로 광원을 제어 할 수 있다.In the above-described embodiment, the light source of the touch screen to which the present invention is applied is used as a reference point for detecting coordinates in the screen by applying a trigonometric method, and may use an object having an identifiable color or an identifiable shape and distinguishing it from an external light source. In order to control the light source at a specific frequency.
발생 가능한 오차는 실제 디스플레이의 특정점을 실제 터치하여 가상좌표와 실제좌표의 오차를 보정할 수 있으며, 첨부한 도 1에서와 같이 삼각법을 위한 최소 2개의 촬상소자 이외에 나머지 꼭지점에 제 3촬상소자(IS3) 또는 제 4촬상소자(IS4)를 통해 중복처리하게 되면 그 오차는 더욱 줄어들게 된다.The error can be corrected by actually touching a specific point of the actual display to correct the error between the virtual coordinate and the actual coordinate, and as shown in FIG. If the processing is duplicated through the IS3) or the fourth image pickup device IS4, the error is further reduced.
한편 실제스크린의 크기(W,H)는 사용자에 의해 설정될 수 있는 값에 의해 제공될 수 있는데 예컨데 드라이버에 사용자가 실제스크린 크기(W,H)의 값을 입력하 여 인식되도록 하게 되면, 컨트롤러에 의해 가상좌표값을 검출할 수 있는바, 예컨데 터치좌표(x,y)를 가상좌표(x/W, y/H)에 의해 실제 실제스크린이 크기(W,H)를 승산하여 구하게 되어, 실제 스크린에서의 터치 위치를 검출할 수 있다.On the other hand, the actual screen size (W, H) can be provided by a value that can be set by the user. For example, if the user inputs the value of the actual screen size (W, H) to the driver, The virtual coordinate value can be detected by, for example, the touch coordinate (x, y) is obtained by multiplying the size (W, H) by the virtual coordinates (x / W, y / H). The touch position on the actual screen can be detected.
상술한 촬상소자와 광원을 이용한 터치 좌표 인식 방식을 이용한 본 발명에 따른 터치스크린을 채용한 디스플레이 장치는 첨부한 도 7에 도시되어 있는 바와 같고, 터치스크린 운영을 위한 세부 구성은 첨부한 도 8에 도시되어 있는 바와 같다.The display device employing the touch screen according to the present invention using the touch coordinate recognition method using the image pickup device and the light source is as shown in FIG. 7, and the detailed configuration for operating the touch screen is shown in FIG. 8. As shown.
첨부한 도 8에 도시되어 있는 본 발명에 따른 터치스크린 시스템의 구성을 살펴보면, 디스플레이 패널의 스크린 촬상소자를 포함하며 설정된 소정시간 단위로 혹은 실시간 연속적으로 영상이미지를 취득하는 제 1화상취득모듈(201)과, 상기 제 1화상취득모듈(201)에서 취득되어진 화상 이미지를 데이터 처리하여 터치대상의 인식유무에 따른 신호와 광원간의 거리비 및 터치대상과 기준광원간의 거리비를 산출하여 출력하는 제 1화상데이터처리모듈(210)과, 촬상소자를 포함하며 설정된 소정시간 단위로 혹은 실시간 연속적으로 영상이미지를 취득하는 제 2화상취득모듈(202)과, 상기 제 2화상취득모듈(202)에서 취득되어진 화상 이미지를 데이터 처리하여 터치대상의 인식유무에 따른 신호와 광원간의 거리비 및 터치대상과 기준광원간의 거리비를 산출하여 출력하는 제 2화상데이터처리모듈(220)과, 상기 제1화상데이터처리모듈(210)에 의해 산출되는 광원간의 거리비와 터치대상과 기준광원간의 거리비를 입력받아 상기 터치대상에 대한 제1 가상비율을 산출하는 제1가상비율 산 출모듈(230)과, 상기 제2화상데이터처리모듈(220)에 의해 산출되는 광원간의 거리비와 터치대상과 기준광원간의 거리비를 입력받아 상기 터치대상에 대한 제2 가상비율을 산출하는 제2 가상비율산출모듈(240)과, 상기 제1 가상비율산출모듈(230)에서 산출되는 제1가상비율과 상기 제2가상비율산출모듈(240)에서 산출되는 제2가상비율을 입력받아 상기 터치대상에 대한 가상좌표를 산출하는 가상좌표산출모듈(260)과, 상기 화상데이터처리모듈(210, 220)들에서 출력되는 터치대상의 인식유무에 따른 신호를 입력받아 실질적인 터치대상이 존재하는지 판단하며 해당 터치대상의 동작(클릭, 더블클릭, 드래그 등등)을 구분하여 출력하는 터치대상 동작검출 인식모듈(270), 및 상기 터치대상 동작검출 인식모듈(270)과 가상좌표산출모듈(260)에서 출력되는 데이터를 입력받아 스크린(100)에 디스플레이되어진 화상 중 터치되었다고 판단되는 영역에 해당되는 프로그램을 로딩하여 해당 정보를 상기 스크린(100)을 통해 디스플레이 되도록 하는 터치스크린 운영모듈(290)로 구성된다.Referring to the configuration of the touch screen system according to the present invention shown in FIG. 8, a first
상기와 같이 구성되는 본 발명에 따른 터치스크린 시스템의 구성 중 참조번호 210과 220으로 지칭되는 화상데이터처리모듈의 구성은 동일하며, 그 세부구성은 도시되어 있는 제 1화상데이터처리모듈(210)을 기준으로 살펴보기로 한다.Among the configurations of the touch screen system according to the present invention configured as described above, the configuration of the image data processing module, which is referred to by
그 구성은, 전원공급 후 제 1화상취득모듈(201)에서 취득되어진 영상이미지를 입력받아 필터링 등의 동작을 통해 광원과 터치대상에 대한 이미지만을 취득하여 출력하는 취득이미지 필터링 모듈(211)과, 상기 취득이미지 필터링 모듈(211)에서 출력되는 필터링 되어진 영상이미지에서 기준광원의 위치를 추출하고 이를 인식하는 기준광원 인식모듈(212)과, 상기 기준광원 인식모듈(212)에서 기준광원의 위 치데이터를 기준으로 광원간의 거리 비율에 의해 산출하는 광원거리비 산출모듈(213)과, 상기 취득이미지 필터링 모듈(211)에서 출력되는 필터링 되어진 영상이미지에서 광원을 제외한 대상의 중심 위치를 산출하여 출력하는 터치대상 인식모듈(214), 및 상기 기준광원인식모듈(212)에서 출력되는 기준광원의 위치데이터와 상기 터치대상 인식모듈(214)에서 출력되는 대상의 중심 위치를 입력받아 특정 기준광원과 상기 대상간의 거리비를 산출하는 터치대상거리비 산출모듈(215)로 구성된다.The configuration includes: an acquisition
이때 상기 기준광원 인식모듈(212)에서는 이미지의 양단에 존재하는 광원을 기준광원으로 인식하며 이와 동시에 특정 기준광원을 거리산출 기준 광원으로 설정한다. 또한, 상기 터치대상거리비 산출모듈(215)에서는 상기 기준광원 인식모듈(212)에서 설정된 거리산출 기준 광원을 기준으로 대상간의 거리비를 산출하게 된다.In this case, the reference light
또한, 상기 도 8의 구성 중 참조번호 270으로 지칭되는 터치대상 동작검출 인식모듈의 구성은 크게, 상기 제 1화상데이터처리모듈(210)로부터 전달받은 터치대상의 이미지를 기준으로 상기 터치대상의 움직임에 따른 변화에 대응하는 제 1검출대상 위치 변환인식 모듈(270A)과, 상기 제 2화상데이터처리모듈(220)로부터 전달받은 터치대상의 이미지를 기준으로 상기 터치대상의 움직임에 따른 변화에 대응하는 제 2검출대상 위치 변환인식 모듈과(270B), 및 상기 검출대상 위치 변환인식 모듈과(270A, 270B)에서 출력되는 변화 데이터를 입력받아 터치대상의 동작(클릭, 더블클릭, 드래그 등등)을 구분하여 출력하는 터치대상 동작인식모듈(270C)로 구분 된다.In addition, the configuration of the touch object motion detection recognition module referred to by
이때 상기 제 1검출대상 위치 변환인식 모듈(270A)과 제 2검출대상 위치 변환인식 모듈과(270B)의 구성은 동일하며, 해당 구성의 세부 구성을 상기 제 1검출대상 위치 변환인식 모듈(270A)의 예를 들어 살펴보면, 상기 제 1화상데이터처리모듈(210)의 터치대상 인식모듈(214)에서 출력되는 터치 대상의 중심 위치가 인지된 영상이미지를 입력받아 소정시간 지연시켜 출력하는 FIFO타입의 버퍼(271)와, 상기 터치대상 인식모듈(214)에서 출력되는 영상이미지를 입력받아 임시 저장하는 현재터치대상 화상저장모듈(272)과, 상기 버퍼(271)에서 출력되는 영상이미지를 입력받아 임시 저장하는 종전터치대상 화상저장모듈(273), 및 상기 터치대상 화상저장모듈(272, 273)에서 출력되는 영상이미지를 감산하여 출력하는 감산기(274)로 구성되어 진다.In this case, the first detection target position
상술한 본 발명에 따른 터치스크린 시스템의 구성은 하드웨어나 소프트웨어로 구현 가능한데, 첨부한 도 8에 도시되어진 예는 그 동작의 설명을 용이하게 하게 하도록 하기 위해 하드웨어로 표현된 것이며 본 발명이 이에 국한 되지 않음을 미리 밝혀 둔다. The above-described configuration of the touch screen system according to the present invention may be implemented by hardware or software. The example illustrated in FIG. 8 is represented by hardware to facilitate the description of the operation, and the present invention is not limited thereto. It is not known in advance.
상기와 같이 구성되는 본 발명에 따른 터치스크린 시스템의 동작을 살펴보기로 한다.The operation of the touch screen system according to the present invention configured as described above will be described.
첨부한 도 7에서와 같이 임의의 영상이 디스플레이되는 스크린(100)은 그 전면(全面)이 참조번호 H로 지칭되는 하우징의 일측면에 노출되어져 있으며, 촬상소자(IS1, IS2)는 하우징(H)내부에 위치하고 상기 촬상소자(IS1, IS2)의 렌즈와 기준 광원(RL1~RL4)은 상기 하우징(H)과 스크린(100)의 접면에 노출되어진다.As shown in FIG. 7, the
이때 상기 촬상소자(IS1, IS2)의 렌즈 중심선은 상기 스크린(100)의 영상 표시면과 평행하며 상기 스크린(100)의 영상 표시면에 포함된다. In this case, the lens center lines of the imaging devices IS1 and IS2 are parallel to the image display surface of the
또한, 상기 제 1촬상소자(IS1)는 제 1화상취득모듈(201)에 포함되며, 제 2촬상소자(IS2)는 제 2화상취득모듈(202)에 포함된다고 가정한다.In addition, it is assumed that the first image pickup device IS1 is included in the first
전원이 공급되면 제 1화상취득모듈(201)에서 취득되는 영상이미지는 취득이미지 필터링 모듈(211)에 제공되며, 상기 취득이미지 필터링 모듈(211)에서는 입력받은 영상이미지를 필터링하여 일정 임계치 이상의 영상데이터만을 출력하게 된다.When the power is supplied, the image image acquired by the first
상기 취득이미지 필터링 모듈(211)에서 출력되는 필터링 되어진 영상이미지에서 기준광원 인식모듈(212)을 통해 해당 이미지상의 기준광원의 위치를 추출하고 이를 인식하게 되며, 상기 기준광원 인식모듈(212)에서 출력되는 기준광원의 위치데이터를 기준으로 광원거리비 산출모듈(213)에서는 광원간의 거리비를 산출하여 출력하게 된다.In the filtered image image output from the acquired
상술한 기준광원 인식모듈(212)과 광원거리비 산출모듈(213)의 동작은 전원이 공급되고 일정시간 이내에서 한하여 동작하도록 하는 것이 데이터 처리량을 줄일 수 있어 바람직하며, 전체 시스템 동작 중에는 기준광원 데이터 보정을 위해 일정시간을 주기로 이루어지도록 한다.The operation of the above-described reference light
또한, 터치대상 인식모듈(214)은 상기 취득이미지 필터링 모듈(211)에서 출력되는 필터링 되어진 영상이미지에서 광원을 제외한 대상의 중심 위치를 산출하여 출력하며, 터치대상거리비 산출모듈(215)에서는 상기 기준광원 인식모듈(212)에서 출력되는 기준광원의 위치데이터와 상기 터치대상 인식모듈(214)에서 출력되는 대상의 중심 위치를 입력받아 특정 기준광원과 상기 대상간의 거리비를 각 위치값의 비율에 의해 산출하게 된다.In addition, the touch
상술한 바와 같은 제 1화상데이터처리모듈(210)의 동작과 동시점에 제 2화상데이터처리모듈(220)에서는 상기 제 2화상취득모듈(202)에서 취득한 영상이미지를 기준으로 동일한 동작을 수행하게 된다.At the same time as the operation of the first image
상술한 제 1화상데이터처리모듈(210)의 출력데이터 중 상기 터치대상거리비 산출모듈(215)과 광원거리비 산출모듈(213)의 출력데이터는 제1가상비율(230)측으로 입력되고, 상기 수학식 12에 의해 터치대상에 대한 제1가상비율을 산출하게 된다. 상술한 바와 같은 제1가상비율산출모듈(230)의 동작과 동시점에 제2가상비율산출모듈(240)에서는 상기 제2화상데이터처리모듈(220)에서 취득한 데이터를 기준으로 동일한 동작을 수행하게 된다.The output data of the touch target distance
상술한 제1가상비율산출모듈(230)의 출력데이터와 제2가상비율산출모듈(240)의 출력데이터는 가상좌표 산출모듈(260)측으로 입력되고, 상기 수학식 16에 의해 터치대상에 대한 가상좌표를 산출하게 된다.The output data of the first virtual
이후, 상기 가상좌표 산출모듈(260)에서 출력되는 가상좌표는 터치스크린 운영모듈(290)측에 제공된다.Thereafter, the virtual coordinates output from the virtual coordinate
이때 상기 화상데이터처리모듈(210, 220)의 터치대상인식모듈에서 출력되는 터치대상의 인식유무에 따른 신호는 터치대상 동작검출인식모듈(270)측에 제공되는데, 상기 터치대상 동작검출인식모듈(270)에서는 터치대상이 존재하는지 판단하며 해당 터치대상의 동작(클릭, 더블클릭, 드래그 등등)을 구분하여 상기 터치스크린 운영모듈(290)측에 제공하게 된다.At this time, a signal according to whether or not the touch object is output from the touch object recognition module of the image
따라서 상기 터치스크린 운영모듈(290)은 상기 터치대상 동작검출인식모듈(270)과 가상좌표산출모듈(260)에서 출력되는 데이터를 입력받아 스크린(100)에 디스플레이되어진 화상 중 터치되었다고 판단되는 영역에 해당되는 프로그램을 로딩하여 해당 정보를 상기 스크린(100)을 통해 디스플레이 되도록 한다.Accordingly, the touch
한편 본 발명에 의하면, 기준점과 이미지 분할비를 이용한 간단한 터치 위치 검출 알고리즘을 제시하여 이미지센서가 임의의 각도상에 설치되더라도, 이미지에 기준광원만 포함되면, 터치 위치를 용이하게 검출할 수 있게 되고, 터치 스크린의 크기가 직사각형상의 모양을 유지하며 변경될 경우 즉 가로방향이나 세로방향 또는 가로방향과 세로방향이 변경되지만 직사각형상의 모양을 유지할 경우에는 터치 스크린의 면적에 상관없이 본 발명을 이용하여 기준점을 이용한 가상좌표의 검출이 가능할 수 있음은 물론이다.On the other hand, according to the present invention, even if the image sensor is installed on an arbitrary angle by presenting a simple touch position detection algorithm using the reference point and the image split ratio, the touch position can be easily detected if the reference light source is included in the image. When the size of the touch screen is changed while maintaining the rectangular shape, that is, when the horizontal or vertical direction or the horizontal and vertical direction is changed, but the rectangular shape is maintained, the reference point is used regardless of the area of the touch screen. Of course, the detection of the virtual coordinates may be possible.
아울러, 본 발명에서 적용되는 기준 광원 이외에 광원을 더욱 추가하여 터치 위치 검출이 용이하도록 할 수 있음은 물론, 이미지 센서 개수를 추가할 경우 본 발명에 의해 검출되는 좌표의 검출속도 및 해상도와 멀티 터치점을 비교적 빠르면서도 정확하게 검출할 수 있을 것이다.In addition, in addition to the reference light source applied in the present invention, the light source can be further added to facilitate the touch position detection, and, of course, when the number of image sensors is added, the detection speed and resolution of the coordinates detected by the present invention, and the multi-touch point. Can be detected relatively quickly and accurately.
여기서, 추가되는 광원과 기준 광원은 개별 제어에 의해, 기준 광원만을 온(ON)시키거나 또는 추가광원만을 온(ON) 시킬 수 있으며, 이를 조합하여 온/오프 를 제어할 수 있다.Here, the added light source and the reference light source may be turned on (ON) only or only the additional light source (ON) by a separate control, it may be combined to control the on / off.
한편, 도 9에서와 같이 터치 스크린(100)의 디스플레이 영역 외주면으로 다수의 광원(L)을 구비하는 도광판(200)을 구비할 수 있는바, 상기의 알고리즘에 의해 검출되는 터치 위치에 의해 연동되어 디스플레이되는 화상의 선명성 구현이 가능하도록 할 수 있다.Meanwhile, as illustrated in FIG. 9, the
여기서 상기 다수개로 구성되는 광원(L)은 상기 도광판(200)의 측면측에 구비되거나 또는 도광판(200)의 배면측에 구비되어 상기 광원(L)으로부터의 빛의 산란성을 이용하여 상기 스크린(100)측으로의 조사에 의해 디스플레이되는 화상의 선명성 구현이 가능하게 된다.Here, the plurality of light sources L may be provided at the side surface of the
이상의 설명에서 본 발명은 특정의 실시 예와 관련하여 도시 및 설명하였지만, 특허청구범위에 의해 나타난 발명의 사상 및 영역으로부터 벗어나지 않는 한도 내에서 다양한 개조 및 변화가 가능하다는 것을 당 업계에서 통상의 지식을 가진 자라면 누구나 쉽게 알 수 있을 것이다.While the invention has been shown and described in connection with specific embodiments thereof, it is well known in the art that various modifications and changes can be made without departing from the spirit and scope of the invention as indicated by the claims. Anyone who owns it can easily find out.
도 1은 본 발명에 따른 촬상소자와 광원을 이용하는 터치스크린에서의 터치 좌표 인식 방법이 적용되는 터치스크린의 구성 예를 나타낸 예시도1 is an exemplary view showing a configuration example of a touch screen to which a touch coordinate recognition method is applied in a touch screen using an image pickup device and a light source according to the present invention;
도 2는 도 1의 제 1촬상소자에서 취득되는 영상 이미지의 예시도FIG. 2 is an exemplary view of a video image acquired by the first imaging device of FIG. 1. FIG.
도 3은 도 2에 도시되어 있는 각 변수의 의미를 실제좌표와 가상좌표상의 비례관계로 설명하기 위한 예시도FIG. 3 is an exemplary diagram for describing the meaning of each variable illustrated in FIG. 2 in proportional relation between actual coordinates and virtual coordinates.
도 4는 도 1의 제 2촬상소자에서 취득되는 영상 이미지의 예시도4 is an exemplary view of a video image acquired by the second image pickup device of FIG. 1.
도 5는 도 4에 도시되어 있는 각 변수의 의미를 실제좌표와 가상좌표상의 비례관계로 설명하기 위한 예시도FIG. 5 is an exemplary diagram for describing the meaning of each variable illustrated in FIG. 4 in proportional relation between actual coordinates and virtual coordinates.
도 6은 도 3과 도 4에 도시되어 있는 비례관계를 하나로 정리하여 도시한 예시도6 is an exemplary diagram showing the proportional relationship shown in FIGS. 3 and 4 collectively as one;
도 7은 도 1의 터치스크린에 하우징이 구비된 본 발명에 따른 터치스크린을 채용한 디스플레이 장치의 예시도7 is an exemplary view of a display device employing a touch screen according to the present invention having a housing provided on the touch screen of FIG.
도 8은 본 발명에 따른 터치스크린 시스템의 블록 구성 예시도8 is an exemplary block diagram of a touch screen system according to the present invention.
도 9는 본 발명에 의한 터치스크린에 의한 디스플레이 영역으로 별도의 광원을 구비하는 도광판을 배시한 일예시도를 도시한 도면FIG. 9 is a view showing an exemplary view of a light guide plate having a separate light source as a display area of a touch screen according to the present invention; FIG.
Claims (12)
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020070128131A KR100942431B1 (en) | 2007-12-11 | 2007-12-11 | Complementary metal oxide semiconductor, source of light using the touch coordinates preception method and the touch screen system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020070128131A KR100942431B1 (en) | 2007-12-11 | 2007-12-11 | Complementary metal oxide semiconductor, source of light using the touch coordinates preception method and the touch screen system |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20090061213A KR20090061213A (en) | 2009-06-16 |
KR100942431B1 true KR100942431B1 (en) | 2010-02-17 |
Family
ID=40990734
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020070128131A KR100942431B1 (en) | 2007-12-11 | 2007-12-11 | Complementary metal oxide semiconductor, source of light using the touch coordinates preception method and the touch screen system |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR100942431B1 (en) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101070864B1 (en) | 2009-12-11 | 2011-10-10 | 김성한 | optical touch screen |
WO2023017903A1 (en) * | 2021-08-10 | 2023-02-16 | 삼성전자주식회사 | Touch display apparatus |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101112640B1 (en) * | 2009-08-04 | 2012-02-16 | (주)레이딕스텍 | Display apparatus and method for using with pointing device thereof |
WO2011038682A1 (en) * | 2009-09-30 | 2011-04-07 | 北京汇冠新技术股份有限公司 | Touch screen, touch system and method for positioning touch object in touch system |
KR101148440B1 (en) * | 2010-07-14 | 2012-05-21 | 삼성전기주식회사 | Piezo-type scanning apparatus and touch screen using its |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH08506193A (en) * | 1992-11-24 | 1996-07-02 | ヴィジネティクス・コーポレーション | Device and method for diffusion-assisted localization for visual detection of pens |
JP2003202957A (en) * | 2001-10-30 | 2003-07-18 | Ricoh Co Ltd | Coordinate detecting method, program by its method and storage medium with its program stored therein |
KR100773271B1 (en) | 2006-10-25 | 2007-11-05 | 전자부품연구원 | Method for localization of mobile robot with a single camera |
-
2007
- 2007-12-11 KR KR1020070128131A patent/KR100942431B1/en not_active IP Right Cessation
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH08506193A (en) * | 1992-11-24 | 1996-07-02 | ヴィジネティクス・コーポレーション | Device and method for diffusion-assisted localization for visual detection of pens |
JP2003202957A (en) * | 2001-10-30 | 2003-07-18 | Ricoh Co Ltd | Coordinate detecting method, program by its method and storage medium with its program stored therein |
KR100773271B1 (en) | 2006-10-25 | 2007-11-05 | 전자부품연구원 | Method for localization of mobile robot with a single camera |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101070864B1 (en) | 2009-12-11 | 2011-10-10 | 김성한 | optical touch screen |
US8780087B2 (en) | 2009-12-11 | 2014-07-15 | Sung-han Kim | Optical touch screen |
WO2023017903A1 (en) * | 2021-08-10 | 2023-02-16 | 삼성전자주식회사 | Touch display apparatus |
Also Published As
Publication number | Publication date |
---|---|
KR20090061213A (en) | 2009-06-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP2353069B1 (en) | Stereo optical sensors for resolving multi-touch in a touch detection system | |
US8339378B2 (en) | Interactive input system with multi-angle reflector | |
JP6086952B2 (en) | System and method for detecting and tracking objects obstructing radiation on a surface | |
US20170351324A1 (en) | Camera-based multi-touch interaction apparatus, system and method | |
US9122354B2 (en) | Detecting wave gestures near an illuminated surface | |
US20110261016A1 (en) | Optical touch screen system and method for recognizing a relative distance of objects | |
US20050168448A1 (en) | Interactive touch-screen using infrared illuminators | |
US20060044282A1 (en) | User input apparatus, system, method and computer program for use with a screen having a translucent surface | |
TWI428804B (en) | Optical screen touch system and method thereof | |
TWI450154B (en) | Optical touch system and object detection method therefor | |
US8659577B2 (en) | Touch system and pointer coordinate detection method therefor | |
TW201101140A (en) | Active display feedback in interactive input systems | |
KR100942431B1 (en) | Complementary metal oxide semiconductor, source of light using the touch coordinates preception method and the touch screen system | |
US20110095989A1 (en) | Interactive input system and bezel therefor | |
KR100968205B1 (en) | Apparatus and Method for Space Touch Sensing and Screen Apparatus sensing Infrared Camera | |
JP4570145B2 (en) | Optical position detection apparatus having an imaging unit outside a position detection plane | |
JP5934216B2 (en) | System and method for detecting and tracking radiation shielding objects on a surface | |
US20120127129A1 (en) | Optical Touch Screen System and Computing Method Thereof | |
US9489077B2 (en) | Optical touch panel system, optical sensing module, and operation method thereof | |
KR101476503B1 (en) | Interaction providing apparatus and method for wearable display device | |
US9535535B2 (en) | Touch point sensing method and optical touch system | |
KR20090037535A (en) | Method for processing input of touch screen | |
WO2018207490A1 (en) | Contactless three-dimensional touch panel, contactless three-dimensional touch panel system, contactless three-dimensional touch panel control method, program and recording medium | |
CN201315058Y (en) | Touch coordinate identifying device and touch screen thereof by using imaging elements and light sources | |
US20070182724A1 (en) | System and method for interacting with a display through a display window |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant | ||
FPAY | Annual fee payment |
Payment date: 20130208 Year of fee payment: 4 |
|
FPAY | Annual fee payment |
Payment date: 20140207 Year of fee payment: 5 |
|
FPAY | Annual fee payment |
Payment date: 20150209 Year of fee payment: 6 |
|
FPAY | Annual fee payment |
Payment date: 20160211 Year of fee payment: 7 |
|
FPAY | Annual fee payment |
Payment date: 20170807 Year of fee payment: 8 |
|
FPAY | Annual fee payment |
Payment date: 20180207 Year of fee payment: 9 |
|
LAPS | Lapse due to unpaid annual fee |