KR101777731B1 - 영상의 표본화 및 양자화 데이터를 이용한 접촉상태와 힘 검출 장치 및 이를 이용한 접촉상태와 힘 검출 방법 - Google Patents

영상의 표본화 및 양자화 데이터를 이용한 접촉상태와 힘 검출 장치 및 이를 이용한 접촉상태와 힘 검출 방법 Download PDF

Info

Publication number
KR101777731B1
KR101777731B1 KR1020160101306A KR20160101306A KR101777731B1 KR 101777731 B1 KR101777731 B1 KR 101777731B1 KR 1020160101306 A KR1020160101306 A KR 1020160101306A KR 20160101306 A KR20160101306 A KR 20160101306A KR 101777731 B1 KR101777731 B1 KR 101777731B1
Authority
KR
South Korea
Prior art keywords
image
user input
sheet
point pixel
vertical displacement
Prior art date
Application number
KR1020160101306A
Other languages
English (en)
Inventor
이수웅
권순오
이강원
조보람
이종일
안희경
Original Assignee
한국생산기술연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국생산기술연구원 filed Critical 한국생산기술연구원
Priority to KR1020160101306A priority Critical patent/KR101777731B1/ko
Application granted granted Critical
Publication of KR101777731B1 publication Critical patent/KR101777731B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/02—Input arrangements using manually operated switches, e.g. using keyboards or dials
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01L—MEASURING FORCE, STRESS, TORQUE, WORK, MECHANICAL POWER, MECHANICAL EFFICIENCY, OR FLUID PRESSURE
    • G01L1/00—Measuring force or stress, in general
    • G01L1/24—Measuring force or stress, in general by measuring variations of optical properties of material when it is stressed, e.g. by photoelastic stress analysis using infrared, visible light, ultraviolet
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 발명의 일실시 예는 클릭, 누름, 이동 등 다양한 사용자입력을 인식, 판단하여 처리할 수 있는 접촉상태와 힘 검출 장치 및 이를 이용한 접촉상태와 힘 검출 방법을 제공한다. 본 발명의 실시 예에 따른 영상의 표본화 및 양자화 데이터를 이용한 접촉상태와 힘 검출 장치는, 일면에 사용자입력이 작용하고, 사용자입력이 해소되면 초기형상으로 복원되는 기능을 갖는 시트를 포함하는 입력부; 사용자입력에 대응하여 변화하는 시트의 타면인 촬영면을 촬영한 촬영이미지를 생성하는 촬상부; 촬영면에 광을 조사하는 조명부; 및 촬영이미지를 표본화(sampling) 및 양자화(quantization) 처리한 시트이미지를 생성하고, 사용자입력에 대한 정보를 판단하는 프로세서부;를 포함한다.

Description

영상의 표본화 및 양자화 데이터를 이용한 접촉상태와 힘 검출 장치 및 이를 이용한 접촉상태와 힘 검출 방법{A detecting apparatus for touch-condition and force using sampling and quantization of images and a method for detecting touch-condition and force}
본 발명은 영상의 표본화 및 양자화 데이터를 이용한 접촉상태와 힘 검출 장치 및 이를 이용한 접촉상태와 힘 검출 방법에 관한 것으로, 더욱 상세하게는 클릭, 누름, 이동 등 다양한 사용자입력을 인식, 판단하여 처리할 수 있는 접촉상태와 힘 검출 장치 및 이를 이용한 접촉상태와 힘 검출 방법에 관한 것이다.
현재 통상적으로 사용되는 입력장치로는, 마우스, 키보드, 터치패드, 트랙볼 등이 있으며, 이들은, 사용자가 해당 장치의 케이싱 및 주요부위를 적절한 힘으로 파지 또는 접촉하여 이동 및 클릭하여야 하는 등 사용자에게 다소 정교한 동작을 요구하고 있다.
그러나, 장애인이나 어린이, 노인의 경우, 상기와 같은 구성을 갖는 입력장치를 사용하는데 필요한 정교한 동작을 형성하는 것이 어렵거나 불가능할 수 있다. 그러나 최근 이러한 사용자들도 쉽게 활용 가능한 입력장치 등의 개발이 이루어지고 있으나, 음성인식 등의 고도한 기술을 이용하거나, 특수한 구조를 채택하는 것이 일반적이어서, 대부분 생산원가가 높은 것이 일반적이다.
대한민국 등록특허공보 10-0616331호(발명의 명칭: 장애인을 위한 스위치 마우스, 이하 종래기술1 이라 한다.)에서는, 움직임에 따라서 클릭포인트를 지정하고 지정된 포인트에 사용자의 클릭스위치의 선택에 따라 해당 포인트를 클릭 지정 동작하는 유무선 마우스에 있어서, 사용자의 접촉유무에 따라 스위치클릭신호를 발생시키는 스위치수단과, 사용자가 마우스모드와 스위치모드를 선택적으로 사용할 수 있도록 마우스의 본체 외부 소정의 위치에 구성되는 모드선택수단과, 모드선택수단에 의해 선택된 모드에 따라 마우스 또는 스위치로 동작 제어하는 제어수단을 포함하여 구성되며, 상기 스위치회로는 마우스의 본체 외부 상면에 설치되며 인체의 접촉을 감지하기 위한 감지수단과, 감지수단의 감지결과에 따라 스위치 클릭신호를 발생시키는 클릭신호발생수단을 포함하여 구성되는 것을 특징으로 하는 장애인을 위한 스위치마우스가 개시되어 있다.
종래기술1은, 움직임에 따라 클릭포인트를 지정하고, 지정된 포인트에 사용자의 클릭스위치의 선택에 따라 해당 포인트를 클릭 지정 동작하는 특정 패턴의 입력만 처리할 수 있어, 다양한 패턴의 입력을 처리가 불가능하다는 제1문제점, 마우스모드가 아닌 스위치모드로 사용하더라도 마우스의 본체를 소정의 방식으로 파지해야 하므로, 사용자의 범위가 상당히 제한될 수 밖에 없다는 제2문제점, 일반적인 마우스와 같은 케이스를 채택하고 있으므로, 촉감 등 감성품질의 증대를 꾀할 수 없다는 제3문제점을 갖는다.
본 발명이 이루고자 하는 기술적 과제는 이상에서 언급한 기술적 과제로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
상기 기술적 과제를 달성하기 위하여, 본 발명의 일실시 예는, 일면에 사용자입력이 작용하고, 상기 사용자입력이 해소되면 초기형상으로 복원되는 기능을 갖는 시트를 포함하는 입력부; 상기 사용자입력에 대응하여 변화하는 상기 시트의 타면인 촬영면을 촬영한 촬영이미지를 생성하는 촬상부; 상기 촬영면에 광을 조사하는 조명부; 및 상기 촬영이미지를 표본화(sampling) 및 양자화(quantization) 처리한 시트이미지를 생성하고, 상기 사용자입력에 대한 정보를 판단하는 프로세서부;를 포함하여 이루어지는 것을 특징으로 하는 영상의 표본화 및 양자화 데이터를 이용한 접촉상태와 힘 검출 장치를 제공한다.
본 발명의 실시 예에 있어서, 상기 사용자입력은, 상기 시트의 일면에 사용자의 신체 일부가 접촉된 상태에서, 상기 사용자의 신체 일부가 정지 또는 동작하여 수행될 수 있다.
본 발명의 실시 예에 있어서, 상기 프로세서부는, 상기 사용자입력에 의한 3차원 동작 또는 힘의 강도를 상기 시트이미지의 명암 변화를 통해 판단할 수 있다.
본 발명의 실시 예에 있어서, 상기 프로세서부는, 상기 시트이미지에서 가장 명도가 큰 픽셀의 위치 변경 또는 명암 변화에 의해 상기 사용자입력에 의한 3차원 동작을 판단할 수 있다.
본 발명의 실시 예에 있어서, 상기 프로세서부는, 상기 시트이미지에서 가장 명도가 큰 픽셀의 명암 변화와 상기 시트의 탄성계수를 이용하여, 상기 사용자입력에 의한 힘의 강도를 판단할 수 있다.
상기 기술적 과제를 달성하기 위하여, 본 발명의 일실시 예는, (ⅰ) 상기 시트에 상기 사용자입력이 작용하는 단계; (ⅱ) 상기 촬상부가 단위 시간 당 상기 촬영면을 촬영하여 촬영된 상기 촬영이미지를 상기 프로세서부로 전달하는 단계; (ⅲ) 상기 촬영이미지를 표본화(sampling) 및 양자화(quantization) 처리하여 상기 시트이미지를 생성하는 단계; (ⅳ) 상기 시트이미지에서 가장 명도가 큰 픽셀인 포인트픽셀을 인식하는 단계; (ⅴ) 상기 포인트픽셀의 위치 변경을 인식하여 상기 사용자입력에 대한 수평 변위를 측정하는 단계; 및 (ⅵ) 상기 포인트픽셀의 명암 변화를 인식하여 상기 사용자입력에 대한 수직 변위를 측정하는 단계;를 포함하여 이루어지는 것을 특징으로 하는 영상의 표본화 및 양자화 데이터를 이용한 접촉상태 검출 방법을 제공한다.
본 발명의 실시 예에 있어서, 상기 (ⅴ) 단계에서, 상기 포인트픽셀의 위치 변경은, x-y평면좌표계 또는 r-θ극좌표계를 통해 인식될 수 있다.
본 발명의 실시 예에 있어서, 상기 (ⅵ) 단계에서, 상기 수직 변위가 증가하면 상기 포인트픽셀의 명도가 높아지고, 상기 수직 변위가 감소하면 상기 포인트픽셀의 명도가 낮아질 수 있다.
본 발명의 실시 예에 있어서, 상기 (ⅵ) 단계에서, 상기 수직 변위는, 상기 x-y평면좌표계 또는 상기 r-θ극좌표계에 대해 수직인 y축에 의해 측정될 수 있다.
상기 기술적 과제를 달성하기 위하여, 본 발명의 일실시 예는, (ⅰ) 상기 시트에 상기 사용자입력이 작용하는 단계; (ⅱ) 상기 촬상부가 단위 시간 당 상기 촬영면을 촬영하여 촬영된 상기 촬영이미지를 상기 프로세서부로 전달하는 단계; (ⅲ) 상기 촬영이미지를 표본화(sampling) 및 양자화(quantization) 처리하여 상기 시트이미지를 생성하는 단계; (ⅳ) 상기 시트이미지에서 가장 명도가 큰 픽셀인 포인트픽셀을 인식하는 단계; (ⅴ) 상기 포인트픽셀의 명암 변화를 인식하여 상기 사용자입력에 대한 수직 변위를 측정하는 단계; 및 (ⅵ) 상기 수직 변위와 상기 시트의 탄성계수를 이용하여 상기 사용자입력에 의한 수직 방향 힘의 강도를 계산하는 단계;를 포함하여 이루어지는 것을 특징으로 하는 영상의 표본화 및 양자화 데이터를 이용한 힘 검출 방법을 제공한다.
본 발명의 실시 예에 있어서, 상기 (ⅴ) 단계에서, 상기 수직 변위가 증가하면 상기 포인트픽셀의 명도가 높아지고, 상기 수직 변위가 감소하면 상기 포인트픽셀의 명도가 낮아질 수 있다.
상기 기술적 과제를 달성하기 위하여, 본 발명의 일실시 예는, (ⅰ) 상기 시트에 상기 사용자입력이 작용하는 단계; (ⅱ) 상기 촬상부가 단위 시간 당 상기 촬영면을 촬영하여 촬영된 상기 촬영이미지를 상기 프로세서부로 전달하는 단계; (ⅲ) 상기 촬영이미지를 표본화(sampling) 및 양자화(quantization) 처리하여 상기 시트이미지를 생성하는 단계; (ⅳ) 상기 시트이미지에서 가장 명도가 큰 픽셀인 포인트픽셀을 인식하는 단계; (ⅴ) 상기 포인트픽셀의 위치 변경을 인식하여 상기 사용자입력에 대한 수평 변위를 측정하는 단계; (ⅵ) 상기 포인트픽셀의 명암 변화를 인식하여 상기 사용자입력에 대한 수직 변위를 측정하는 단계; 및 (ⅶ) 상기 수평 변위, 상기 수직 변위와 상기 시트의 마찰계수를 이용하여 상기 사용자입력에 의한 수평 방향 힘의 강도를 계산하는 단계;를 포함하여 이루어지는 것을 특징으로 하는 영상의 표본화 및 양자화 데이터를 이용한 힘 검출 방법을 제공한다.
본 발명의 실시 예에 있어서, 상기 (ⅴ) 단계에서, 상기 포인트픽셀의 위치 변경은, x-y평면좌표계 또는 r-θ극좌표계를 통해 인식될 수 있다.
본 발명의 실시 예에 있어서, 상기 (ⅵ) 단계에서, 상기 수직 변위가 증가하면 상기 포인트픽셀의 명도가 높아지고, 상기 수직 변위가 감소하면 상기 포인트픽셀의 명도가 낮아질 수 있다.
본 발명의 실시 예에 있어서, 상기 (ⅵ) 단계에서, 상기 수직 변위는, 상기 x-y평면좌표계 또는 상기 r-θ극좌표계에 대해 수직인 y축에 의해 측정될 수 있다.
본 발명의 실시 예에 있어서, 상기 (ⅶ) 단계에서, 상기 시트의 마찰계수는, 상기 프로세서부가 마찰계수기준데이터테이블을 참조하여 결정할 수 있다.
본 발명은, 클릭, 누름, 이동 등 다양한 사용자입력을 인식, 판단하여 처리할 수 있다는 제1효과, 부드러운 소재를 사용하여 촉감, 질감 등 감성품질을 증대시킬 수 있다는 제2효과, 파지 등의 복잡한 동작이 필요 없이, 누름, 이동 등의 사용자입력을 구현할 수 있어 장애인, 환자, 유아 등 정교한 거동이 어려운 사용자에게도 적용할 수 있다는 제3효과, 기존의 마우스가 수행하는 표시장치에 대한 포인터기능뿐만 아니라, 로봇, 이동장치, 경고등 등 다양한 장치 또는 기구 등을 제어하는데 활용할 수 있도록 확장 응용될 수 있다는 제4효과, 부드러운 천소재 및 저사양의 이미지센서 등을 주요 구성요소로 하고, 별도의 마커 등을 사용하지 않으므로 저가로 구현할 수 있다는 제5효과를 갖는다.
본 발명의 효과는 상기한 효과로 한정되는 것은 아니며, 본 발명의 상세한 설명 또는 특허청구범위에 기재된 발명의 구성으로부터 추론 가능한 모든 효과를 포함하는 것으로 이해되어야 한다.
도1은 본 발명의 실시 예에 따른 입력부의 단면도이다.
도2는 본 발명의 실시 예에 따른 사용자입력이 작용하지 않는 경우 입력부의 단면도와 시트이미지의 모식도이다.
도3은 본 발명의 실시 예에 따른 사용자입력에 의해 수직 변위가 발생하는 경우 입력부의 단면도와 시트이미지의 모식도이다.
도4는 본 발명의 실시 예에 따른 사용자입력에 의해 수직 및 수평 변위가 발생하는 경우 입력부의 단면도와 시트이미지의 모식도이다.
이하에서는 첨부한 도면을 참조하여 본 발명을 설명하기로 한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며, 따라서 여기에서 설명하는 실시 예로 한정되는 것은 아니다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결(접속, 접촉, 결합)"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 부재를 사이에 두고 "간접적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 구비할 수 있다는 것을 의미한다.
본 명세서에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
이하 첨부된 도면을 참고하여 본 발명의 실시 예를 상세히 설명하기로 한다.
도1은 본 발명의 실시 예에 따른 입력부(10)의 단면도이고, 도2는 본 발명의 실시 예에 따른 사용자입력이 작용하지 않는 경우 입력부(10)의 단면도와 시트이미지의 모식도이며, 도3은 본 발명의 실시 예에 따른 사용자입력에 의해 수직 변위가 발생하는 경우 입력부(10)의 단면도와 시트이미지의 모식도이다. 그리고, 도4는 본 발명의 실시 예에 따른 사용자입력에 의해 수직 및 수평 변위가 발생하는 경우 입력부(10)의 단면도와 시트이미지의 모식도이다.
도1 및 도2에서 보는 바와 같이, 본 발명의 영상의 표본화 및 양자화 데이터를 이용한 접촉상태와 힘 검출 장치는, 일면에 사용자입력이 작용하고, 사용자입력이 해소되면 초기형상으로 복원되는 기능을 갖는 시트(11)를 포함하는 입력부(10); 사용자입력에 대응하여 변화하는 시트(11)의 타면인 촬영면을 촬영한 촬영이미지를 생성하는 촬상부(20); 촬영면에 광을 조사하는 조명부(30); 및 촬영이미지를 표본화(sampling) 및 양자화(quantization) 처리한 시트이미지를 생성하고, 사용자입력에 대한 정보를 판단하는 프로세서부(40);를 포함하여 이루어질 수 있다.
본 발명의 실시 예에서 표본화(sampling)는, 아날로그 이미지의 연속적인 위치 데이터를 불연속적인 디지털 데이터로 변환하는 과정을 의미할 수 있다.
본 발명의 실시 예에서 양자화(quantization)는, 연속적인 색상 또는 농담(濃淡) 데이터를 불연속적인 디저털 데이터로 변환하는 과정 또는 각 화소의 밝기 또는 색을 컴퓨터에서 인지할 수 있는 숫자로 표현하는 과정을 의미할 수 있다.
사용자입력은, 시트(11)의 일면에 사용자의 신체 일부가 접촉된 상태에서, 사용자의 신체 일부가 정지 또는 동작하여 수행될 수 있다.
사용자의 실체 일부는, 손이나 손가락, 발이나 발가락, 팔꿈치 또는 무릎 등으로써, 시트(11)의 일면에 접촉하여 누름, 누름해제, 이동 등의 동작이 가능한 모든 신체 부위를 의미할 수 있다.
또한, 사용자입력을 발생하는 주체인 사용자는, 사람만으로 한정하지 않고, 기계, 로봇 기타 장치를 포함할 수 있다.
누름의 경우, 누르는 압력, 누름을 유지하는 시간을 한정하는 것은 아니다. 누름해제의 경우, 누름해제에 소요되는 시간 등을 특정한 범위 내로 한정할 것은 아니다. 나아가, 소정의 시간 동안 누름이 발생하고, 이후 즉시 누름해제가 발생하는 경우, 이를 클릭이라고 칭할 수 있다. 이동은, 사용자가 누름의 상태를 유지하면서, 시트(11) 일면의 한 지점에서부터 다른 지점으로 움직이는 것을 의미하는데, 움직이는 경로는 특정한 것에 한정되지 않으며, 직선, 곡선을 포함할 수 있으며, 곡선도, 원, 타원, 호, 스플라인 등을 포함할 수 있으나, 이에 한정할 것은 아니다.
촬상부(20)에는, CCD 등의 소자가 포함될 수 있는데, 이러한 예에 한정할 것은 아니다.
그리고, 촬상부(20)는, 촬영면 전체에 대한 촬영이 가능하도록 광각렌즈를 구비할 수 있다.
시트(11)는, 신축성이 있는 재질로 만들어질 수 있다.
시트(11)를 제외한 입력부(10)의 나머지 부위는, 시트(11)와 같이 신축성이 있는 재질로 형성될 수 있고, 또는, 시트(11)와 달리 신축성이 없는 재질로 형성될 수도 있다.
또한, 입력부(10)는, 내부 공간이 외부로부터 개방된 형상일 수 있고, 도1에서 보는 바와 같이, 내부 공간이 외부로부터 폐쇄된 형상일 수도 있다.
조명부(30)는, LED 램프를 포함할 수 있다.
그리고, 사용자입력이 소정의 시간을 초과하여 발생하지 않는 경우, 자동으로 소등되는 등의 구성을 채택할 수도 있을 것이다.
프로세서부(40)는, 사용자입력에 의한 3차원 동작 또는 힘의 강도를 시트이미지의 명암 변화를 통해 판단할 수 있다.
3차원 동작은, 2차원적인 수평 변위와 이러한 수평 변위에 수직인 수직 변위에 의한 위치 변경일 수 있다.
그리고, 명암 변화는, 표면화 및 양자화 처리된 시트이미지의 픽셀의 그레이스케일에 대한 명암 변화뿐만 아니라, 이러한 명암의 변화 비율을 포함하는 의미일 수 있다.
프로세서부(40)는, 시트이미지에서 가장 명도가 큰 픽셀의 위치 변경 또는 명암 변화에 의해 사용자입력에 의한 3차원 동작을 판단할 수 있다.
도3 및 도4에서 보는 바와 같이, 손을 이용하여 시트(11) 일면에 대해 누름 동작을 수행한 후 이동 동작을 수행하는 경우, 누름과 이동에 의해 가장 명도가 큰 픽셀인 포인트픽셀(11a)의 위치가 변경되고 명암의 변화가 발생할 수 있다.
본 발명의 실시 예에서는, 누름 동작에 의해 생성되는 포인트픽셀(11a)이 촬상부(20) 또는 조명부(30)에 대한 근접으로 가장 명도가 큰 픽셀이라고 설명하고 있으나, 반드시 이에 한정되는 것은 아니고, 촬상부(20) 또는 조명부(30)의 종류, 설치위치에 따라 가장 명도나 낮은 픽셀이 포인트픽셀(11a)로 설정될 수 있다.
다만, 본원 명세서에서는, 가장 명도가 큰 픽셀을 포인트픽셀(11a)로 설정하여 설명하기로 한다.
이러한 포인트픽셀(11a)의 위치 변경에 의해 손의 2차원적인 수평 변위를 측정할 수 있고, 포인트픽셀(11a)의 명암 변화에 의해 손의 누름에 의한 수직 변위를 측정할 수 있어, 결론적으로 손에 의한 사용자입력에 대해 3차원 동작을 판단할 수 있다.
또한, 클릭 동작은, 수직 변위의 변화에 의해 측정될 수 있다.
상세한 판단 과정에 대해서는, 후단의 영상의 표본화 및 양자화 데이터를 이용한 접촉상태 검출 방법에서 설명하기로 한다.
프로세서부(40)는, 시트이미지에서 가장 명도가 큰 픽셀의 명암 변화와 시트(11)의 탄성계수를 이용하여, 사용자입력에 의한 힘의 강도를 판단할 수 있다.
도3에서 보는 바와 같이, 손을 이용하여 시트(11) 일면에 대해 누름 동작을 수행하는 경우, 누름에 의해 촬상부(20)에 대한 거리가 가장 가까워지며 가장 명도가 큰 픽셀인 포인트픽셀(11a)의 명암 변화가 인식되고, 이러한 명암 변화 정도에 의해 사용자입력에 의한 수직 변위를 측정할 수 있고, 이러한 수직 변위에 시트(11)의 탄성계수를 곱하여 사용자입력에 의한 수직 방향의 힘을 판단할 수 있다.
따라서, 시트(11)의 탄성계수가 시트(11)의 각 지점마다 동일하도록 시트(11)는 제조될 수 있다.
수직 방향의 힘에 대한 상세한 판단 과정은, 후단의 영상의 표본화 및 양자화 데이터를 이용한 수직 방향 힘 검출 방법에서 설명하기로 한다.
또한, 도4에서 보는 바와 같이, 손을 이용하여 시트(11) 일면에 대해 이동 동작을 수행하는 경우, 누름에 의해 촬상부(20)에 대한 거리가 가장 가까워지며 가장 명도가 큰 픽셀인 포인트픽셀(11a)의 명암 변화가 인식되며 이러한 포인트픽셀(11a)의 운동에 의해 수평 변위가 발생할 수 있다.
이때, 수평 방향 힘은, 사용자입력인 손의 누름에 의해 시트(11)에 가해지는 수직항력(N)과 시트(11)의 마찰계수(μ)의 곱에 의해 계산되는 마찰력에 대응되는 힘으로 측정될 수 있다.
이하, 영상의 표본화 및 양자화 데이터를 이용한 접촉상태 검출 방법에 대해 설명하기로 한다.
첫째 단계에서, 시트(11)에 사용자입력이 작용할 수 있다.
둘째 단계에서, 촬상부(20)가 단위 시간 당 촬영면을 촬영하여 촬영된 촬영이미지를 프로세서부(40)로 전달할 수 있다.
여기서, 단위 시간은, 밀리초(millisecond, ms)단위일 수 있고, 정밀도의 향상을 위하여, 밀리초(millisecond, ms)단위보다 더 작은 단위로 촬영을 수행할 수 있음은 물론이다.
셋째 단계에서, 촬영이미지를 표본화(sampling) 및 양자화(quantization) 처리하여 시트이미지를 생성할 수 있다.
이때, 시트이미지는, 디지털 이미지로써 각 픽셀의 명도를 컴퓨터가 인식할 수 있는 숫자로 표현될 수 있다.
넷째 단계에서, 시트이미지에서 가장 명도가 큰 픽셀인 포인트픽셀(11a)을 인식할 수 있다.
포인트픽셀(11a)은, 누름 동작에 의해 촬영면 중 촬상부(20)에 가장 근접하여 가장 밝게 보이는 픽셀일 수 있다.
즉, 포인트픽셀(11a)은, 고정되게 어느 하나의 픽셀을 의미하는 것이 아니고, 가장 명도가 큰 픽셀을 의미하므로, 가변적일 수 있다. 따라서, 포인트픽셀(11a)이 운동하는 것처럼 인식되는 것은, 가장 명도가 큰 픽셀이 변경되는 것일 수 있다.
다섯째 단계에서, 포인트픽셀(11a)의 위치 변경을 인식하여 사용자입력에 대한 수평 변위를 측정할 수 있다.
여기서, 포인트픽셀(11a)의 위치 변경은, x-y평면좌표계 또는 r-θ극좌표계를 통해 인식될 수 있다.
본 발명의 실시 예에서는, 수평 변위의 측정을 위해 x-y평면좌표계 또는 r-θ극좌표계를 사용한다고 설명하고 있으나, 반드시 이에 한정되는 것은 아니고, 다른 방식의 표시 형식을 적용할 수도 있다.
여섯째 단계에서, 포인트픽셀(11a)의 명암 변화를 인식하여 사용자입력에 대한 수직 변위를 측정할 수 있다.
이때, 수직 변위가 증가하면 포인트픽셀(11a)의 명도가 높아지고, 수직 변위가 감소하면 포인트픽셀(11a)의 명도가 낮아질 수 있다.
이를 위해, 촬영면은, 회색 계열의 색으로 형성되는 것이 바람직할 수 있다. 그리고, 촬영면의 반사율은, 30 내지 50 퍼센트(%)일 수 있다.
촬영면의 반사율이 30 퍼센트(%) 미만인 경우, 픽셀의 거리 변화에도 명도 변화가 미비할 수 있어 수직 변위에 대한 측정이 용이하지 않을 수 있다. 그리고, 촬영면의 반사율이 50 퍼센트(%) 초과인 경우, 촬영면에 대한 반사광의 난반사가 증가하여 포인트픽셀(11a)에 대한 인식률이 저하되어 수평 또는 수직 변위에 대한 측정이 용이하지 않을 수 있다.
여기서, 수직 변위는, x-y평면좌표계 또는 r-θ극좌표계에 대해 수직인 y축에 의해 측정될 수 있다.
이하, 영상의 표본화 및 양자화 데이터를 이용한 수직 방향 힘 검출 방법에 대해 설명하기로 한다.
첫째 단계에서, 시트(11)에 사용자입력이 작용할 수 있다.
둘째 단계에서, 촬상부(20)가 단위 시간 당 촬영면을 촬영하여 촬영된 촬영이미지를 프로세서부(40)로 전달할 수 있다.
셋째 단계에서, 촬영이미지를 표본화(sampling) 및 양자화(quantization) 처리하여 시트이미지를 생성할 수 있다.
넷째 단계에서, 시트이미지에서 가장 명도가 큰 픽셀인 포인트픽셀(11a)을 인식할 수 있다.
다섯째 단계에서, 포인트픽셀(11a)의 명암 변화를 인식하여 사용자입력에 대한 수직 변위를 측정할 수 있다.
이때, 수직 변위가 증가하면 포인트픽셀(11a)의 명도가 높아지고, 수직 변위가 감소하면 포인트픽셀(11a)의 명도가 낮아질 수 있다.
여기서, 수직 변위는, x-y평면좌표계 또는 r-θ극좌표계에 대해 수직인 y축에 의해 측정될 수 있다.
여섯째 단계에서, 수직 변위와 시트(11)의 탄성계수를 이용하여 사용자입력에 의한 수직 방향 힘의 강도를 계산할 수 있다.
이때, 시트(11)의 탄성계수는, 프로세서부(40)가 탄성계수기준데이터테이블을 참조하여 결정할 수 있다. 탄성계수기준데이터테이블은 프로세서부(40)에 저장되어 있을 수 있으며, 탄성계수는 시트(11)의 각 지점에 대한 실험 값일 수 있다. 그리고, 각 지점의 각각의 탄성계수의 대입은, 포인트픽셀(11a)의 위치 변화에 의해 가변적으로 대입될 수 있다.
여기서, 수직 방향 힘의 강도는, 수직 변위와 탄성계수의 곱으로 계산될 수 있다.
그 외 사항에 대해서는, 상기된 영상의 표본화 및 양자화 데이터를 이용한 접촉상태 검출 방법에 대한 사항과 동일하다.
이하, 영상의 표본화 및 양자화 데이터를 이용한 수평 방향 힘 검출 방법에 대해 설명하기로 한다.
첫째 단계에서, 시트(11)에 사용자입력이 작용할 수 있다.
둘째 단계에서, 촬상부(20)가 단위 시간 당 촬영면을 촬영하여 촬영된 촬영이미지를 프로세서부(40)로 전달할 수 있다.
셋째 단계에서, 촬영이미지를 표본화(sampling) 및 양자화(quantization) 처리하여 시트이미지를 생성할 수 있다.
넷째 단계에서, 시트이미지에서 가장 명도가 큰 픽셀인 포인트픽셀(11a)을 인식할 수 있다.
다섯째 단계에서, 포인트픽셀(11a)의 위치 변경을 인식하여 사용자입력에 대한 수평 변위를 측정할 수 있다.
포인트픽셀(11a)의 위치 변경은, x-y평면좌표계 또는 r-θ극좌표계를 통해 인식될 수 있다.
여섯째 단계에서, 포인트픽셀(11a)의 명암 변화를 인식하여 사용자입력에 대한 수직 변위를 측정할 수 있다.
이때, 수직 변위가 증가하면 포인트픽셀(11a)의 명도가 높아지고, 수직 변위가 감소하면 포인트픽셀(11a)의 명도가 낮아질 수 있다.
여기서, 수직 변위는, x-y평면좌표계 또는 r-θ극좌표계에 대해 수직인 y축에 의해 측정될 수 있다.
일곱째 단계에서, 수평 변위와 수직 변위를 이용하여 사용자입력에 의한 수평 방향 힘의 강도를 계산할 수 있다.
여기서, 시트(11)의 마찰계수는, 프로세서부(40)가 마찰계수기준데이터테이블을 참조하여 결정할 수 있다.
도4에서 보는 바와 같이, 시트(11)에 누름 동작을 수행하여 수직 변위가 발생한 상태에서 손(사용자입력)을 이동하여 수평 변위를 발생시키므로, 시트(11)의 마찰계수는, 시트(11)의 표면에 대한 물성으로써의 표면마찰계수와 다를 수 있다.
본 발명의 수평 방향 힘 검출 방법에서 이용되는 시트(11)의 마찰계수는, 누름 동작에 의해 시트(11) 형상이 휘어지는 상태를 고려하여 정해지는 것으로, 입력부(10) 형성 후에 시트(11) 일면에 대한 기계적 실험을 통해 획득되는 데이터에 의해 정해질 수 있다.
수평 방향의 힘은, 상기의 과정에 의해 정해지는 시트(11)의 마찰계수와 수직항력인 수직 방향 힘의 곱에 의해 계산될 수 있다.
그 외 사항에 대해서는, 상기된 영상의 표본화 및 양자화 데이터를 이용한 접촉상태 검출 방법, 그리고, 영상의 표본화 및 양자화 데이터를 이용한 수직 방향 힘 검출 방법에 대한 사항과 동일하다.
전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시 예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본 발명의 범위는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
10 : 입력부
11 : 시트
11a : 포인트픽셀
20 : 촬상부
30 : 조명부
40 : 프로세서부

Claims (16)

  1. 영상의 표본화 및 양자화 데이터를 이용한 접촉상태와 힘 검출 장치에 있어서,
    일면에 사용자입력이 작용하고, 상기 사용자입력이 해소되면 초기형상으로 복원되는 기능을 갖는 시트를 포함하는 입력부;
    상기 사용자입력에 대응하여 변화하는 상기 시트의 타면인 촬영면을 촬영한 촬영이미지를 생성하는 촬상부;
    상기 촬영면에 광을 조사하는 조명부; 및
    상기 촬영이미지를 표본화(sampling) 및 양자화(quantization) 처리한 시트이미지를 생성하고, 상기 사용자입력에 대한 정보를 판단하는 프로세서부;를 포함하고,
    상기 프로세서부는, 상기 사용자입력에 의한 3차원 동작 또는 힘의 강도를 상기 시트이미지의 명암 변화를 통해 판단하며,
    상기 프로세서부는, 상기 시트이미지에서 가장 명도가 큰 픽셀의 명암 변화와 상기 시트의 탄성계수를 이용하여, 상기 사용자입력에 의한 힘의 강도를 판단하는 것을 특징으로 하는 영상의 표본화 및 양자화 데이터를 이용한 접촉상태와 힘 검출 장치.
  2. 청구항 1에 있어서,
    상기 사용자입력은, 상기 시트의 일면에 사용자의 신체 일부가 접촉된 상태에서, 상기 사용자의 신체 일부가 정지 또는 동작하여 수행되는 것을 특징으로 하는 영상의 표본화 및 양자화 데이터를 이용한 접촉상태와 힘 검출 장치.
  3. 삭제
  4. 청구항 1에 있어서,
    상기 프로세서부는, 상기 시트이미지에서 가장 명도가 큰 픽셀의 위치 변경 또는 명암 변화에 의해 상기 사용자입력에 의한 3차원 동작을 판단하는 것을 특징으로 하는 영상의 표본화 및 양자화 데이터를 이용한 접촉상태와 힘 검출 장치.
  5. 삭제
  6. 청구항 1의 장치를 이용한 접촉상태 검출 방법에 있어서,
    (ⅰ) 상기 시트에 상기 사용자입력이 작용하는 단계;
    (ⅱ) 상기 촬상부가 단위 시간 당 상기 촬영면을 촬영하여 촬영된 상기 촬영이미지를 상기 프로세서부로 전달하는 단계;
    (ⅲ) 상기 촬영이미지를 표본화(sampling) 및 양자화(quantization) 처리하여 상기 시트이미지를 생성하는 단계;
    (ⅳ) 상기 시트이미지에서 가장 명도가 큰 픽셀인 포인트픽셀을 인식하는 단계;
    (ⅴ) 상기 포인트픽셀의 위치 변경을 인식하여 상기 사용자입력에 대한 수평 변위를 측정하는 단계; 및
    (ⅵ) 상기 포인트픽셀의 명암 변화를 인식하여 상기 사용자입력에 대한 수직 변위를 측정하는 단계;
    를 포함하여 이루어지는 것을 특징으로 하는 영상의 표본화 및 양자화 데이터를 이용한 접촉상태 검출 방법.
  7. 청구항 6에 있어서,
    상기 (ⅴ) 단계에서, 상기 포인트픽셀의 위치 변경은, x-y평면좌표계 또는 r-θ극좌표계를 통해 인식되는 것을 특징으로 하는 영상의 표본화 및 양자화 데이터를 이용한 접촉상태 검출 방법.
  8. 청구항 7에 있어서,
    상기 (ⅵ) 단계에서, 상기 수직 변위가 증가하면 상기 포인트픽셀의 명도가 높아지고, 상기 수직 변위가 감소하면 상기 포인트픽셀의 명도가 낮아지는 것을 특징으로 하는 영상의 표본화 및 양자화 데이터를 이용한 접촉상태 검출 방법.
  9. 청구항 8에 있어서,
    상기 (ⅵ) 단계에서, 상기 수직 변위는, 상기 x-y평면좌표계 또는 상기 r-θ극좌표계에 대해 수직인 y축에 의해 측정되는 것을 특징으로 하는 영상의 표본화 및 양자화 데이터를 이용한 접촉상태 검출 방법.
  10. 청구항 1의 장치를 이용한 힘 검출 방법에 있어서,
    (ⅰ) 상기 시트에 상기 사용자입력이 작용하는 단계;
    (ⅱ) 상기 촬상부가 단위 시간 당 상기 촬영면을 촬영하여 촬영된 상기 촬영이미지를 상기 프로세서부로 전달하는 단계;
    (ⅲ) 상기 촬영이미지를 표본화(sampling) 및 양자화(quantization) 처리하여 상기 시트이미지를 생성하는 단계;
    (ⅳ) 상기 시트이미지에서 가장 명도가 큰 픽셀인 포인트픽셀을 인식하는 단계;
    (ⅴ) 상기 포인트픽셀의 명암 변화를 인식하여 상기 사용자입력에 대한 수직 변위를 측정하는 단계; 및
    (ⅵ) 상기 수직 변위와 상기 시트의 탄성계수를 이용하여 상기 사용자입력에 의한 수직 방향 힘의 강도를 계산하는 단계;
    를 포함하여 이루어지는 것을 특징으로 하는 영상의 표본화 및 양자화 데이터를 이용한 힘 검출 방법.
  11. 청구항 10에 있어서,
    상기 (ⅴ) 단계에서, 상기 수직 변위가 증가하면 상기 포인트픽셀의 명도가 높아지고, 상기 수직 변위가 감소하면 상기 포인트픽셀의 명도가 낮아지는 것을 특징으로 하는 영상의 표본화 및 양자화 데이터를 이용한 힘 검출 방법.
  12. 청구항 1의 장치를 이용한 힘 검출 방법에 있어서,
    (ⅰ) 상기 시트에 상기 사용자입력이 작용하는 단계;
    (ⅱ) 상기 촬상부가 단위 시간 당 상기 촬영면을 촬영하여 촬영된 상기 촬영이미지를 상기 프로세서부로 전달하는 단계;
    (ⅲ) 상기 촬영이미지를 표본화(sampling) 및 양자화(quantization) 처리하여 상기 시트이미지를 생성하는 단계;
    (ⅳ) 상기 시트이미지에서 가장 명도가 큰 픽셀인 포인트픽셀을 인식하는 단계;
    (ⅴ) 상기 포인트픽셀의 위치 변경을 인식하여 상기 사용자입력에 대한 수평 변위를 측정하는 단계;
    (ⅵ) 상기 포인트픽셀의 명암 변화를 인식하여 상기 사용자입력에 대한 수직 변위를 측정하는 단계; 및
    (ⅶ) 상기 수평 변위, 상기 수직 변위와 상기 시트의 마찰계수를 이용하여 상기 사용자입력에 의한 수평 방향 힘의 강도를 계산하는 단계;
    를 포함하여 이루어지는 것을 특징으로 하는 영상의 표본화 및 양자화 데이터를 이용한 힘 검출 방법.
  13. 청구항 12에 있어서,
    상기 (ⅴ) 단계에서, 상기 포인트픽셀의 위치 변경은, x-y평면좌표계 또는 r-θ극좌표계를 통해 인식되는 것을 특징으로 하는 영상의 표본화 및 양자화 데이터를 이용한 힘 검출 방법.
  14. 청구항 13에 있어서,
    상기 (ⅵ) 단계에서, 상기 수직 변위가 증가하면 상기 포인트픽셀의 명도가 높아지고, 상기 수직 변위가 감소하면 상기 포인트픽셀의 명도가 낮아지는 것을 특징으로 하는 영상의 표본화 및 양자화 데이터를 이용한 힘 검출 방법.
  15. 청구항 14에 있어서,
    상기 (ⅵ) 단계에서, 상기 수직 변위는, 상기 x-y평면좌표계 또는 상기 r-θ극좌표계에 대해 수직인 y축에 의해 측정되는 것을 특징으로 하는 영상의 표본화 및 양자화 데이터를 이용한 힘 검출 방법.
  16. 청구항 12에 있어서,
    상기 (ⅶ) 단계에서, 상기 시트의 마찰계수는, 상기 프로세서부가 마찰계수기준데이터테이블을 참조하여 결정하는 것을 특징으로 하는 영상의 표본화 및 양자화 데이터를 이용한 힘 검출 방법.
KR1020160101306A 2016-08-09 2016-08-09 영상의 표본화 및 양자화 데이터를 이용한 접촉상태와 힘 검출 장치 및 이를 이용한 접촉상태와 힘 검출 방법 KR101777731B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160101306A KR101777731B1 (ko) 2016-08-09 2016-08-09 영상의 표본화 및 양자화 데이터를 이용한 접촉상태와 힘 검출 장치 및 이를 이용한 접촉상태와 힘 검출 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160101306A KR101777731B1 (ko) 2016-08-09 2016-08-09 영상의 표본화 및 양자화 데이터를 이용한 접촉상태와 힘 검출 장치 및 이를 이용한 접촉상태와 힘 검출 방법

Publications (1)

Publication Number Publication Date
KR101777731B1 true KR101777731B1 (ko) 2017-09-12

Family

ID=59926395

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160101306A KR101777731B1 (ko) 2016-08-09 2016-08-09 영상의 표본화 및 양자화 데이터를 이용한 접촉상태와 힘 검출 장치 및 이를 이용한 접촉상태와 힘 검출 방법

Country Status (1)

Country Link
KR (1) KR101777731B1 (ko)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009087264A (ja) * 2007-10-02 2009-04-23 Alps Electric Co Ltd 中空型スイッチ装置及びこれを備えた電子機器

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009087264A (ja) * 2007-10-02 2009-04-23 Alps Electric Co Ltd 中空型スイッチ装置及びこれを備えた電子機器

Similar Documents

Publication Publication Date Title
US9857892B2 (en) Optical sensing mechanisms for input devices
US6621483B2 (en) Optical screen pointing device with inertial properties
US7737959B2 (en) Position detection system using laser speckle
CA2480057C (en) Symbol encoding apparatus and method
EP1241616B1 (en) Portable electronic device with mouse-like capabilities
KR101505206B1 (ko) 사용자 입력 장치, 광학 손가락 네비게이션 방법 및 핸드 헬드 컴퓨팅 시스템
US20020167489A1 (en) Pushbutton optical screen pointing device
US20070052692A1 (en) Position detection system
US8125449B2 (en) Movable touchpad with high sensitivity
CN109460159B (zh) 摇杆与其相关控制方法
JP2006511871A (ja) カーソル制御デバイス
EP1182606A2 (en) Four axis optical mouse
JP2009252241A (ja) 光ポインティング装置および光ポインティング装置を用いたクリック認識方法
US11640198B2 (en) System and method for human interaction with virtual objects
US7898523B1 (en) Device for controlling on-screen pointer
US20080246730A1 (en) Computer Input Device with Improved Control Performance
US20030184520A1 (en) Mouse with optical buttons
KR101921140B1 (ko) 딥러닝을 이용한 3차원 터치 인식 장치 및 이를 이용한 3차원 터치 인식 방법
KR101777731B1 (ko) 영상의 표본화 및 양자화 데이터를 이용한 접촉상태와 힘 검출 장치 및 이를 이용한 접촉상태와 힘 검출 방법
KR101910187B1 (ko) 3차원 터치 인식을 위한 접촉 위치 및 깊이 측정 방법
US20110254761A1 (en) Optical navigation devices
KR101801608B1 (ko) 쿠션에 구비되는 마커의 이미지처리를 이용하는 입력장치 및 이를 포함한 컴퓨팅장치를 위한 입력시스템
KR101341577B1 (ko) 방향 입력장치 및 이를 이용한 사용자 인터페이스 조작 방법
JPH1185378A (ja) ディジタイザ装置
TWI425389B (zh) 高靈敏度指控滑板裝置

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant