KR20230109407A - 랜덤 패턴과 멀티 터치가 가능한 비전 기반 촉각 센서 - Google Patents

랜덤 패턴과 멀티 터치가 가능한 비전 기반 촉각 센서 Download PDF

Info

Publication number
KR20230109407A
KR20230109407A KR1020220005342A KR20220005342A KR20230109407A KR 20230109407 A KR20230109407 A KR 20230109407A KR 1020220005342 A KR1020220005342 A KR 1020220005342A KR 20220005342 A KR20220005342 A KR 20220005342A KR 20230109407 A KR20230109407 A KR 20230109407A
Authority
KR
South Korea
Prior art keywords
pattern
unit
contact
tactile sensor
monitoring
Prior art date
Application number
KR1020220005342A
Other languages
English (en)
Other versions
KR102669803B1 (ko
Inventor
김민영
이진혁
Original Assignee
경북대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 경북대학교 산학협력단 filed Critical 경북대학교 산학협력단
Priority to KR1020220005342A priority Critical patent/KR102669803B1/ko
Publication of KR20230109407A publication Critical patent/KR20230109407A/ko
Application granted granted Critical
Publication of KR102669803B1 publication Critical patent/KR102669803B1/ko

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/12—Fingerprints or palmprints
    • G06V40/13—Sensors therefor
    • G06V40/1318—Sensors therefor using electro-optical elements or layers, e.g. electroluminescent sensing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/12—Fingerprints or palmprints
    • G06V40/1347—Preprocessing; Feature extraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/12—Fingerprints or palmprints
    • G06V40/1365—Matching; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04104—Multi-touch detection in digitiser, i.e. details about the simultaneous detection of a plurality of touching locations, e.g. multiple fingers or pen and finger

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • User Interface Of Digital Computer (AREA)
  • Force Measurement Appropriate To Specific Purposes (AREA)

Abstract

본 발명의 촉각 센서는 물체에 대면 접촉 가능하게 형성되고, 패턴이 형성된 패턴 유니트; 상기 패턴 유니트를 촬영하는 촬영 유니트; 상기 패턴 유니트가 촬영된 이미지에 포함된 상기 패턴의 분석을 통해 상기 물체의 접촉 여부를 판단하는 분석기;를 포함할 수 있다.

Description

랜덤 패턴과 멀티 터치가 가능한 비전 기반 촉각 센서{Vision-based tactile sensor capable of random pattern and multi-touch}
본 발명은 촉각 센서에 관한 것이다.
터치스크린상의 터치 입력을 기초로 유저 인터페이스 메뉴를 디스플레이하는 기술이 널리 사용되고 있다. 예를 들어, 사용자가 터치 수단(손가락 또는 터치펜)을 이용하여 스마트폰 또는 태블릿 PC와 같은 전자기기의 터치스크린을 터치하는 경우, 해당 전자 기기는 유저 인터페이스 메뉴를 디스플레이한다. 그러면, 사용자는 디스플레이된 메뉴 중에서 하나를 선택하고, 전자 기기는 선택된 메뉴에 따른 동작을 실행한다.
이와 같은 동작을 위해서는 사용자에 의한 터치를 감지하는 촉각 센서가 요구된다.
한국등록특허공보 제2324716호에는 복수개의 터치 입력이 미리 정해진 멀티 터치 패턴을 만족하는지 판단하는 기술이 개시되고 있다.
한국등록특허공보 제2324716호
본 발명은 영상 처리를 통해 물체의 접촉 여부를 판단하는 촉각 센서를 제공하기 위한 것이다.
본 발명의 촉각 센서는 물체에 대면 접촉 가능하게 형성되고, 패턴이 형성된 패턴 유니트; 상기 패턴 유니트를 촬영하는 촬영 유니트; 상기 패턴 유니트가 촬영된 이미지에 포함된 상기 패턴의 분석을 통해 상기 물체의 접촉 여부를 판단하는 분석기;를 포함할 수 있다.
본 발명의 센싱 방법은 점 형상의 패턴이 복수로 형성된 패턴 유니트가 촬영된 이미지를 입수하는 획득 단계; 상기 이미지에 포함된 패턴을 추출하는 추출 단계; 상기 패턴의 중심점을 설정하는 설정 단계; 각 패턴의 중심점에 대하여 가까운 순서에 따라 설정 개수의 주변 패턴의 중심점을 직선 연결시키는 연결 단계; 각 패턴마다 상기 설정 개수만큼 형성된 연결선 길이의 평균값을 산출하고, 산출된 각 평균값을 각 패턴에 부여하는 모니터링 단계;를 포함할 수 있다.
상기 모니터링 단계는 각 패턴에 대하여 초기의 평균값과 실시간으로 산출되는 평균값 간의 차 연산을 수행할 수 있다.
상기 모니터링 단계는 상기 차 연산의 결과값이 가장 큰 특정 패턴이 접촉된 것으로 판단할 수 있다.
본 발명의 촉각 센서는 카메라 기반의 영상 처리를 통해 손가락 등과 같은 대상물의 접촉을 판단할 수 있다.
본 발명의 촉각 센서는 패턴 자체의 형상 등이 아니라, 패턴과 패턴 간의 간격, 거리, 길이에 따라 접촉 여부를 감지할 수 있다. 따라서, 본 발명의 촉각 센서는 똑바르게 배열된 패턴뿐만 아니라, 랜덤하게 배열된 패턴을 이용해서도 접촉 위치 및 강도를 정확하게 추정할 수 있다. 그 결과, 복수의 패턴 형성에 요구되는 정밀도가 완화될 수 있다.
또한, 본 발명의 촉각 센서는 동시 접촉이 발생한 것 또한 판단 가능하다.
본 발명의 촉각 센서는 공장의 자동화 생산 라인의 매니퓰레이터(manipulator)의 핑거 팁(fingertip) 부분에 적용될 수 있다. 또한, 촉각 센서는 오락적 요소의 어플리케이션과 연동하여 엔터테인먼트의 용도로 사용될 수 있다. 또한, 촉각 센서는 도어락 등 비밀 번호를 활용한 보안에 있어서도 번호가 누출될 위험을 조금이라도 감소시키며 보안 강화에 기여할 수 있다. 왜냐하면, 본 발명의 촉각 센서는 특정 위치와 강도의 접촉을 통해 해제 가능하게 하여 이용자의 보안 강도를 조금 더 높여줄 수 있는 방향에서도 활용 가능성이 있다. 또한, 본 발명의 촉각 센서는 광학적으로 촬영된 영상 처리 기반이기에 향후 하드웨어적 요소의 큰 변경없이 소프트웨어적인 알고리즘 개발을 통해 지속적인 업데이트가 가능하다.
도 1은 본 발명의 촉각 센서를 나타낸 개략도이다.
도 2는 촉각 센서의 일면을 나타낸 사진이다.
도 3은 패턴 유니트를 촬영한 사진이다.
도 4는 분석기를 나타낸 블록도이다.
도 5는 추출부의 동작을 나타낸 개략도이다.
도 6은 설정부의 동작을 나타낸 개략도이다.
도 7은 연결부의 동작을 나타낸 개략도이다.
도 8은 모니터링부의 동작을 나타낸 개략도이다.
도 9는 동시 접촉의 발생을 나타낸 개략도이다.
도 10은 식별 번호가 부여된 패턴의 초기 배치 상태를 나타낸 사진이다.
도 11은 식별 번호가 부여된 패턴이 회전된 상태를 나타낸 사진이다.
도 12는 본 발명의 촉각 센서에 의해 감지되는 접촉 동작을 나타낸 개략도이다.
도 13은 본 발명의 센싱 방법을 나타낸 흐름도이다.
아래에서는 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
본 명세서에서, 동일한 구성요소에 대해서 중복된 설명은 생략한다.
또한 본 명세서에서, 어떤 구성요소가 다른 구성요소에 '연결되어' 있다거나 '접속되어' 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에 본 명세서에서, 어떤 구성요소가 다른 구성요소에 '직접 연결되어' 있다거나 '직접 접속되어' 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
또한, 본 명세서에서 사용되는 용어는 단지 특정한 실시예를 설명하기 위해 사용되는 것으로써, 본 발명을 한정하려는 의도로 사용되는 것이 아니다.
또한 본 명세서에서, 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함할 수 있다.
또한 본 명세서에서, '포함하다' 또는 '가지다' 등의 용어는 명세서에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품, 또는 이들을 조합한 것이 존재함을 지정하려는 것일 뿐, 하나 또는 그 이상의 다른 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 할 것이다.
또한 본 명세서에서, '및/또는' 이라는 용어는 복수의 기재된 항목들의 조합 또는 복수의 기재된 항목들 중의 어느 항목을 포함한다. 본 명세서에서, 'A 또는 B'는, 'A', 'B', 또는 'A와 B 모두'를 포함할 수 있다.
또한 본 명세서에서, 본 발명의 요지를 흐리게 할 수 있는 공지 기능 및 구성에 대한 상세한 설명은 생략될 것이다.
도 1은 본 발명의 촉각 센서(100)를 나타낸 개략도이다.
도 1에 도시된 촉각 센서(100)는 패턴 유니트(110), 촬영 유니트(130), 분석기(190), 지지 유니트(180), 지지판(170), 광원부(150), 도광판(160)을 포함할 수 있다.
패턴 유니트(110)는 물체에 대면 접촉 가능하게 형성될 수 있다. 이때의 물체는 촉각 센서(100)에 대해 접촉을 시도하는 손가락 또는 각종 다양한 사물을 포함할 수 있다. 일 예로, 촉각 센서(100)는 로봇의 핑거 팁에 설치될 수 있다. 이 경우, 로봇이 핑거를 이용하여 집는 다양한 사물이 패턴 유니트(110)에 대면 접촉되는 물체가 될 수 있다.
패턴 유니트(110)에는 복수의 패턴이 형성될 수 있다. 이때의 패턴은 점 형상으로 형성될 수 있다. 복수의 패턴은 바둑판 형상과 같이 질서 있게 배열되거나 무질서하게 랜덤 배열될 수 있다.
촬영 유니트(130)는 패턴 유니트(110)를 촬영할 수 있다. 일 예로, 촬영 유니트(130)는 초점 거리에서 패턴 유니트(110)를 광학적으로 촬영하는 광학 카메라를 포함할 수 있다.
촬영 유니트(130)는 패턴 유니트(110)가 촬영된 사진, 이미지를 출력할 수 있다.
분석기(190)는 패턴 유니트(110)가 촬영된 이미지에 포함된 패턴(정확하게는 패턴 이미지)의 분석을 통해, 패턴 유니트(110)에 대한 물체의 접촉 여부를 판단할 수 있다.
패턴 유니트(110)에는 패턴부(113), 변형부(111)가 마련될 수 있다.
패턴부(113)는 점 형상의 패턴이 복수로 형성된 얇은 판 형상으로 형성될 수 있다. 일 예로, 패턴부(113)는 투명 재질의 필름에 유색의 패턴이 도색, 코팅, 프린팅된 것일 수 있다.
변형부(111)는 패턴부(113)에 밀착 배치될 수 있다. 일 예로, 변형부(111)는 패턴부(113)의 일면에 접촉 배치될 수 있다. 변형부(111)는 패턴부(113)를 지지하면서 패턴부(113)에 인가된 압력에 의해 패턴부(113)와 함께 변형될 수 있다. 일 예로, 변형부(111)는 고무 탄성을 갖는 재질을 포함할 수 있다. 예를 들어, 변형부(111)는 엘라스토머(elastomer)를 포함할 수 있다.
엘라스토머(elastomer)는 상온에서 고무 탄성을 나타내는 고분자 물질이다. 가역적으로 수백 %의 대변형을 신속하게 할 수 있다. 그 본질은 긴 분자 사슬의 열운동에 기인하는 엔트로피 탄성에 있으므로 분자 운동이 억제되는 저온에서는 고무 탄성을 상실할 수 있다. 가황한 천연 고무, 합성 고무 외에 열가소성 엘라스토머, 탄성 섬유, 발포체 등이 있다. 엘라스토머에 대해 가소성이 큰 고분자 물질을 플라스토머라고 한다.
변형부(111)는 투명하게 형성될 수 있다. 일 예로, 변형부(111)는 투명 엘라스토머를 포함할 수 있다.
촬영 유니트(130)는 변형부(111)를 사이에 두고 패턴부(113)에 대면하게 배치될 수 있다. 초점 거리의 확보를 위해 촬영 유니트(130)는 패턴부(113) 및 변형부(111)로부터 이격된 위치에 배치될 수 있다. 촬영 유니트(130)는 광학적으로 변형부(111)를 관통해서 패턴부(113)를 촬영할 수 있다.
촬영 유니트(130)와 패턴부(113)를 초점 거리만큼 이격시킨 상태로 유지하기 위기 위해 지지 유니트(180)가 이용될 수 있다.
지지 유니트(180)는 일측이 개구된 통 형상으로 형성될 수 있다. 이때, 촬영 유니트(130)는 지지 유니트(180)의 개구부에 대면되는 지지 유니트(180)의 안쪽 바닥면에 설치될 수 있다. 지지 유니트(180)의 측벽 높이는 촬영 유니트(130)의 초점 거리에 맞춰 형성될 수 있다.
지지 유니트(180)의 개구부에는 투명 재질의 지지판(170)이 설치될 수 있다.
패턴 유니트(110)는 개구부를 덮은 지지판(170)의 외면에 설치될 수 있다. 일 예로, 지지판(170)의 외면에 변형부(111)가 설치되고, 변형부(111) 상에 패턴부(113)가 설치될 수 있다.
지지 유니트(180)의 외측면에는 광원부(150)가 마련될 수 있다. 일 예로, 광원부(150)는 LED(Light Emitting Device)를 포함할 수 있다.
도광판(160)은 지지 유니트(180)의 외측면에 형성될 수 있다. 도광판(160)의 일단부는 광원부(150)에 대면하게 배치될 수 있다. 도광판(160)은 광원부(150)로부터 지지판(170)까지 연장될 수 있다. 도광판(160)은 광원부(150)에서 발생된 빛을 도광판(160)의 타단부 또는 지지판(170)까지 안내할 수 있다. 도광판(160)에 대면되는 지지 유니트(180)의 측벽은 빛이 통과하지 못하는 불투과성으로 형성될 수 있다. 따라서, 도광판(160)을 따라 전파되는 빛은 도광판(160)의 타단부를 통해 출력된 뒤 패턴 유니트(110)의 측면에서 패턴 유니트(110)를 조명할 수 있다. 또는, 도광판(160)을 따라 전파된 빛은 일단 도광판(160)의 타단부를 통해 출력된 후 지지판(170)의 측면으로 입사되고 지지판(170)을 따라 전파될 수 있다. 지지판(170)을 따라 전파되는 빛은 패턴 유니트(110)를 조명할 수 있다. 정리하면, 패턴 유니트(110)는 도광판(160)의 말단으로부터 출력된 빛에 의해 조명될 수 있다. 또는, 패턴 유니트(110)는 도광판(160)의 말단으로부터 출력되고 지지판(170)을 따라 전파되는 빛에 의해 조명될 수 있다.
평면상으로, 지지 유니트(180)는 사각형 형상으로 형성될 수 있다.
이때, 광원부(150)와 도광판(160)은 사각형의 각 변마다 형성될 수 있다.
예를 들어, 사각형의 일변에는 청색광을 출력하는 제1 광원부, 청색광을 지지판(170)까지 안내하는 제1 도광판이 배치될 수 있다. 해당 일변에 평행하게 형성된 사각형의 타변에는 녹색광을 출력하는 제2 광원부, 녹색광을 지지판(170)까지 안내하는 제2 도광판이 배치될 수 있다. 사각형의 일변과 타변을 연결하는 2개의 변 중 어느 하나에는 적색광을 출력하는 제3 광원부, 적색광을 지지판(170)까지 안내하는 제3 도광판이 마련될 수 있다. 사각형의 일변과 타변을 연결하는 2개의 변 중 나머지 하나에는 적색광을 출력하는 제4 광원부, 해당 적색광을 지지판(170)까지 안내하는 제4 도광판이 마련될 수 있다.
도 2는 촉각 센서(100)의 일면을 나타낸 사진이다.
4개의 광원부(150), 4개의 도광판(160)으로 인하여 패턴 유니트(110)를 사이에 두고 사각형의 제1 변 측에는 청색광이 발광되고 제2 변 측에는 녹색광이 발광될 수 있다. 사각형의 다른 두 변 측에는 적색광이 각각 발광될 수 있다.
도 3은 패턴 유니트(110)를 촬영한 사진이다.
도 3은 구형의 물체에 가운데 부분(붉은색 점선 안쪽 부분) s가 접촉된 상태가 촬영된 것일 수 있다. 도 3의 패턴 유니트(110)에는 검은색의 패턴 p가 코팅되어 있는 상태이다.
도광판(160)으로부터 출력된 빛에 의해 조명된 패턴 유니트(110)로 인해 패턴 p가 명확하게 주변과 구분 가능하게 촬영된 것을 알 수 있다.
도 4는 분석기(190)를 나타낸 블록도이다.
분석기(190)에는 획득부(191), 추출부(193), 설정부(195), 연결부(197), 모니터링부(199)가 마련될 수 있다.
획득부(191)는 촬영 유니트(130)로부터 이미지를 획득할 수 있다. 촬영 유니트(130)로부터 이미지를 수신하기 위해 획득부(191)에는 촬영 유니트(130)와 유무선으로 통신하는 통신 모듈이 마련될 수 있다.
모니터링부(199)는 이미지에 포함된 패턴(구체적으로, 패턴 이미지)의 변화를 모니터링할 수 잇다. 모니터링부(199)는 패턴의 변화량이 설정값을 만족하면 패턴에 대한 접촉이 이루어진 것으로 판단할 수 있다. 모니터링부(199)에 따르면, 예를 들어 설정 압력 이상으로 패턴 유니트(110)를 압박할 경우에만 접촉이 이루어진 것으로 파악될 수 있다.
모니터링부(199)는 패턴의 변화를 모니터링하는데, 이때, 패턴의 변화는 패턴과 패턴 간의 거리 변화를 포함할 수 있다. 이 경우, 패턴의 변화량은 특정 패턴으로부터 주변 패턴까지의 거리를 포함할 수 있다.
모니터링부(199)는 거리의 변화량이 설정값을 만족하면 패턴에 대한 접촉이 이루어진 것으로 판단할 수 있다.
도 5는 추출부(193)의 동작을 나타낸 개략도이다.
추출부(193)는 이미지에 포함된 패턴을 추출할 수 있다.
일 예로, 추출부(193)는 획득부(191)로 입수된 이미지 'Original image'를 그레이 스케일 'Grayscale image'로 변환할 수 있다. 추출부(193)는 그레이 스케일로 변환된 이미지를 스레쉬홀드(threshold) 값을 이용하여 이진화하여 흑백 이미지 'Threshold image'로 변환할 수 있다. 추출부(193)는 흑백 이미지를 이용하여 패턴 p를 주변 배경과 구분할 수 있다. 추출부(193)는 패턴 p의 윤곽선을 추출할 수 있다.
도 6은 설정부(195)의 동작을 나타낸 개략도이다.
설정부(195)는 패턴의 중심점을 설정할 수 있다.
일 예로, 설정부(195)는 추출부(193)에 의해 추출된 패턴 p의 윤곽선을 이용하여 각 패턴 p의 중심점 o를 설정할 수 있다.
도 7은 연결부(197)의 동작을 나타낸 개략도이다. 도 8은 모니터링부(199)의 동작을 나타낸 개략도이다. 도 9는 동시 접촉의 발생을 나타낸 개략도이다.
연결부(197)는 복수의 패턴 p의 중심점 o를 서로 연결할 수 있다.
모니터링부(199)는 패턴과 패턴을 연결하는 연결선의 길이 변화를 모니터링할 수 있다. 이때의 연결선의 길이 변화는 각 패턴 간의 거리에 해당될 수 있다. 따라서, 모니터링부(199)는 길이 변화가 설정값을 만족하면 패턴 유니트(110)에 대한 접촉이 이루어진 것으로 판단할 수 있다.
일 예로, 연결부(197)는 각 패턴의 중심점 o에 대하여 가까운 순서에 따라 설정 개수의 주변 패턴의 중심점을 직선 연결시킬 수 있다. 예를 들어, 설정 개수는 3개일 수 있다. 도 7에서 식별 번호 '30'이 부여된 특정 패턴에 대하여, 연결부(197)는 특정 패턴으로부터 가장 가까운 3개의 주변 패턴을 탐지할 수 있다. 연결부(197)는 해당 주변 패턴 3개와 특정 패턴을 연결하는 3개의 연결선 k1, k2, k3를 생성할 수 있다.
모니터링부(199)는 각 패턴마다 설정 개수만큼 형성된 연결선 길이의 평균값을 산출하고, 산출된 각 평균값을 각 패턴에 부여할 수 있다.
모니터링부(199)는 각 패턴마다 부여된 연결선의 평균값을 모니터링할 수 있다.
모니터링부(199)는 각 패턴에 대하여 초기의 평균값과 실시간으로 산출되는 평균값 간의 차 연산을 수행할 수 있다.
모니터링부(199)는 차 연산의 결과값이 가장 큰 특정 패턴 d가 물체에 접촉된 것으로 판단할 수 있다.
모니터링부(199)는 복수의 패턴 중에서 특정 패턴 d1의 접촉이 감지되고 특정 패턴 d1으로부터 설정 반경 r 밖에서 다른 패턴 d2의 접촉이 동시에 감지되면, 특정 패턴 d1과 해당 다른 패턴 d2의 동시 접촉이 발생한 것으로 처리 또는 판단할 수 있다.
한편, 설정부(195)는 각 중심점 o에 식별 번호를 부여할 수 있다. 예를 들어, 도 6에서는 34개의 패턴에 0~33의 식별 번호가 부여되고 있다.
도 10은 식별 번호가 부여된 패턴의 초기 배치 상태를 나타낸 사진이다. 도 11은 식별 번호가 부여된 패턴이 회전된 상태를 나타낸 사진이다.
식별 번호의 부여로 인해, 촉각 센서(100)가 다양한 각도로 회전되더라도 특정 중심점은 변동없이 초기에 부여된 특정 식별 번호로 고정될 수 있다.
설정부(195)는 일단 중심점 o를 추출한 후, 칼만 필터(Kalman filter)와 헝가리안 알고리즘(Hungarian algorithm)이 융합된 정렬(SORT) 알고리즘을 이용하여 각 중심점 o에 식별 번호를 고정시킬 수 있다.
도 10에서 식별 번호 '104'가 부여된 패턴 p는 도 11과 같이 패턴 유니트(110) 또는 촉각 센서(100)의 회전으로 인해 기존의 다른 패턴의 자리로 이동했음에도 불구하고 본래의 식별 번호 '104'를 그대로 유지하고 있는 것을 알 수 있다.
본 발명의 촉각 센서(100)에 따르면, 카메라에서 보여지는 내부 랜덤 패턴 이미지에 대해 영상 처리를 통해 각 패턴의 특징점들이 추출될 수 있다. 각 패턴의 특징점 포인트들에 대해 칼만 필터를 적용하여 패턴에 고정된 식별 정보 또는 식별 번호가 부여될 수 있다. 고정된 식별 정보 등을 이용하면 특정 패턴의 추적이 가능하다. 또한, 각 패턴별로 가장 가까운 3개의 포인트(주변 패턴)들에 대해 직선을 연결시켜 전체적으로 메쉬(mesh)의 형태가 형성될 수 있다. 물체의 접촉이 이루어졌을 때, 해당 접촉 위치와 변화량을 기반으로 z값(깊이값) 또한 추정이 가능하다. 또한 동시 접촉의 경우 한 부위의 접촉을 인지하였을 때에 해당 접촉을 기준으로 설정 반경 밖에서 동일한 조건이 발생될 경우 또 다른 부위에 대한 접촉도 함께 이루어진 것으로 판단될 수 있다.
도 12는 본 발명의 촉각 센서(100)에 의해 감지되는 접촉 동작을 나타낸 개략도이다.
촬영 이미지의 분석을 통해 물체의 접촉을 감지하는 촉각 센서(100)는 일반적인 손가락 터치 'Normal Force'를 감지할 수 있음은 물론 다양한 동작을 감지할 수 있다. 예를 들어, 촉각 센서(100)는 소위 드래그 동작 'Shear Force', 제자리 회전 동작 'In-plane Torque', 기울기 동작 'Tilt Torque' 등을 감지할 수 있다.
도 13은 본 발명의 센싱 방법을 나타낸 흐름도이다.
도 13의 센싱 방법은 도 1의 촉각 센서(100) 또는 도 4의 분석기(190)에 의해 수행될 수 있다.
센싱 방법은 획득 단계(S 510), 추출 단계(S 520), 설정 단계(S 530), 연결 단계(S 540), 모니터링 단계(S 550)를 포함할 수 있다.
획득 단계(S 510)는 점 형상의 패턴이 복수로 형성된 패턴 유니트(110)가 촬영된 이미지를 입수할 수 있다. 획득 단계(S 510)는 획득부(191)에 의해 수행될 수 있다.
추출 단계(S 520)는 이미지에 포함된 패턴(패턴 이미지)을 추출할 수 있다. 추출 단계(S 520)는 추출부(193)에 의해 수행될 수 있다.
설정 단계(S 530)는 패턴의 중심점을 설정할 수 있다. 설정 단계(S 530)는 설정부(195)에 의해 수행될 수 있다.
연결 단계(S 540)는 각 패턴의 중심점에 대하여 가까운 순서에 따라 설정 개수의 주변 패턴의 중심점을 직선 연결시킬 수 있다. 연결 단계(S 540)는 연결부(197)에 의해 수행될 수 있다.
모니터링 단계(S 550)는 각 패턴마다 설정 개수만큼 형성된 연결선 길이의 평균값을 산출하고, 산출된 각 평균값을 각 패턴에 부여할 수 있다. 모니터링 단계(S 550)는 모니터링부(199)에 의해 수행될 수 있다.
모니터링 단계(S 550)는 각 패턴에 대하여 초기의 평균값과 실시간으로 산출되는 평균값 간의 차 연산을 수행할 수 있다.
모니터링 단계(S 550)는 차 연산의 결과값이 가장 큰 특정 패턴이 접촉된 것으로 판단할 수 있다.
모니터링 단계(S 550)는 복수의 패턴 중에서 특정 패턴의 접촉이 감지되고 특정 패턴으로부터 설정 반경 밖에서 다른 패턴의 접촉이 동시에 감지되면, 특정 패턴과 다른 패턴의 동시 접촉이 발생한 것으로 판단할 수 있다.
한편, 본 발명의 실시예는 지금까지 설명한 장치 및/또는 방법을 통해서만 구현되는 것은 아니며, 본 발명의 실시예의 구성에 대응하는 기능을 실현하는 프로그램 또는 그 프로그램이 기록된 기록 매체를 통해 구현될 수도 있으며, 이러한 구현은 상술한 실시예의 기재로부터 본 발명이 속하는 기술 분야의 통상의 기술자라면 쉽게 구현할 수 있는 것이다.
이상에서 본 발명의 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 통상의 기술자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.
100...촉각 센서 110...패턴 유니트
111...변형부 113...패턴부
130...촬영 유니트 150...광원부
160...도광판 170...지지판
180...지지 유니트 190...분석기
191...획득부 193...추출부
195...설정부 197...연결부
199...모니터링부

Claims (12)

  1. 물체에 대면 접촉 가능하게 형성되고, 패턴이 형성된 패턴 유니트;
    상기 패턴 유니트를 촬영하는 촬영 유니트;
    상기 패턴 유니트가 촬영된 이미지에 포함된 상기 패턴의 분석을 통해 상기 물체의 접촉 여부를 판단하는 분석기;
    를 포함하는 촉각 센서.
  2. 제1항에 있어서,
    상기 패턴 유니트에는 점 형상의 패턴이 복수로 형성된 패턴부, 상기 패턴부에 밀착 배치되고 상기 패턴부를 지지하면서 상기 패턴부에 인가된 압력에 의해 상기 패턴부와 함께 변형되는 변형부가 마련된 촉각 센서.
  3. 제2항에 있어서,
    상기 변형부는 투명하게 형성되고,
    상기 촬영 유니트는 상기 변형부를 사이에 두고 상기 패턴부에 대면하게 배치되며,
    상기 촬영 유니트는 광학적으로 상기 변형부를 관통해서 상기 패턴부를 촬영하는 촉각 센서.
  4. 제1항에 있어서,
    일측이 개구된 통 형상으로 형성된 지지 유니트가 마련되고,
    상기 촬영 유니트는 상기 지지 유니트의 개구부에 대면되는 상기 지지 유니트의 바닥면에 설치되며,
    상기 개구부에는 투명 재질의 지지판이 설치되고,
    상기 패턴 유니트는 상기 개구부를 덮은 상기 지지판의 외면에 설치되며,
    상기 지지 유니트의 외측면에는 광원부가 마련되고,
    상기 지지 유니트의 외측면에는 상기 광원부로부터 상기 지지판까지 연장되고, 상기 광원부에서 발생된 빛을 상기 지지판까지 안내하는 도광판이 형성되며,
    상기 패턴 유니트는 상기 도광판의 말단으로부터 출력된 빛에 의해 조명되거나, 상기 도광판의 말단으로부터 출력되고 상기 지지판을 따라 전파되는 빛에 의해 조명되는 촉각 센서.
  5. 제4항에 있어서,
    상기 분석기에는 획득부, 모니터링부가 마련되고,
    상기 획득부는 상기 촬영 유니트로부터 상기 이미지를 획득하며,
    상기 모니터링부는 상기 이미지에 포함된 패턴의 변화를 모니터링하고, 상기 패턴의 변화량이 설정값을 만족하면 상기 패턴에 대한 접촉이 이루어진 것으로 판단하는 촉각 센서.
  6. 제5항에 있어서,
    상기 패턴의 변화량은 상기 패턴으로부터 주변 패턴까지의 거리를 포함하고,
    상기 모니터링부는 상기 거리의 변화량이 설정값을 만족하면 상기 패턴에 대한 접촉이 이루어진 것으로 판단하는 촉각 센서.
  7. 제5항에 있어서,
    상기 분석기에는 추출부, 설정부, 연결부가 추가로 마련되고,
    상기 추출부는 상기 이미지에 포함된 패턴을 추출하며,
    상기 설정부는 상기 패턴의 중심점을 설정하고,
    상기 연결부는 복수의 패턴의 중심점을 서로 연결하고,
    상기 모니터링부는 패턴과 패턴을 연결하는 연결선의 길이 변화를 모니터링하며,
    상기 모니터링부는 상기 길이 변화가 설정값을 만족하면 상기 패턴 유니트에 대한 접촉이 이루어진 것으로 판단하는 촉각 센서.
  8. 제5항에 있어서,
    상기 분석기에는 추출부, 설정부, 연결부가 추가로 마련되고,
    상기 추출부는 상기 이미지에 포함된 패턴을 추출하며,
    상기 설정부는 상기 패턴의 중심점을 설정하고,
    상기 연결부는 각 패턴의 중심점에 대하여 가까운 순서에 따라 설정 개수의 주변 패턴의 중심점을 직선 연결시키며,
    상기 모니터링부는 각 패턴마다 상기 설정 개수만큼 형성된 연결선 길이의 평균값을 산출하고, 산출된 각 평균값을 각 패턴에 부여하며,
    상기 모니터링부는 각 패턴마다 부여된 상기 평균값을 모니터링하며,
    상기 모니터링부는 각 패턴에 대하여 초기의 평균값과 실시간으로 산출되는 평균값 간의 차 연산을 수행하고,
    상기 모니터링부는 상기 차 연산의 결과값이 가장 큰 특정 패턴이 접촉된 것으로 판단하는 촉각 센서.
  9. 제5항에 있어서,
    상기 모니터링부는 복수의 패턴 중에서 특정 패턴의 접촉이 감지되고 상기 특정 패턴으로부터 설정 반경 밖에서 다른 패턴의 접촉이 동시에 감지되면, 상기 특정 패턴과 상기 다른 패턴의 동시 접촉이 발생한 것으로 처리하는 촉각 센서.
  10. 촉각 센서에 의해 수행되는 센싱 방법에 있어서,
    점 형상의 패턴이 복수로 형성된 패턴 유니트가 촬영된 이미지를 입수하는 획득 단계;
    상기 이미지에 포함된 패턴을 추출하는 추출 단계;
    상기 패턴의 중심점을 설정하는 설정 단계;
    각 패턴의 중심점에 대하여 가까운 순서에 따라 설정 개수의 주변 패턴의 중심점을 직선 연결시키는 연결 단계;
    각 패턴마다 상기 설정 개수만큼 형성된 연결선 길이의 평균값을 산출하고, 산출된 각 평균값을 각 패턴에 부여하는 모니터링 단계;를 포함하고,
    상기 모니터링 단계는 각 패턴에 대하여 초기의 평균값과 실시간으로 산출되는 평균값 간의 차 연산을 수행하며,
    상기 모니터링 단계는 상기 차 연산의 결과값이 가장 큰 특정 패턴이 접촉된 것으로 판단하는 센싱 방법.
  11. 제10항에 있어서,
    상기 모니터링 단계는 복수의 패턴 중에서 특정 패턴의 접촉이 감지되고 상기 특정 패턴으로부터 설정 반경 밖에서 다른 패턴의 접촉이 동시에 감지되면, 상기 특정 패턴과 상기 다른 패턴의 동시 접촉이 발생한 것으로 판단하는 센싱 방법.
  12. 컴퓨터로 읽을 수 있는 기록 매체에 있어서,
    제11항에 따른 센싱 방법을 컴퓨터로 실행하기 위한 프로그램이 기록된 기록 매체.
KR1020220005342A 2022-01-13 2022-01-13 랜덤 패턴과 멀티 터치가 가능한 비전 기반 촉각 센서 KR102669803B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020220005342A KR102669803B1 (ko) 2022-01-13 2022-01-13 랜덤 패턴과 멀티 터치가 가능한 비전 기반 촉각 센서

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020220005342A KR102669803B1 (ko) 2022-01-13 2022-01-13 랜덤 패턴과 멀티 터치가 가능한 비전 기반 촉각 센서

Publications (2)

Publication Number Publication Date
KR20230109407A true KR20230109407A (ko) 2023-07-20
KR102669803B1 KR102669803B1 (ko) 2024-05-27

Family

ID=87426481

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220005342A KR102669803B1 (ko) 2022-01-13 2022-01-13 랜덤 패턴과 멀티 터치가 가능한 비전 기반 촉각 센서

Country Status (1)

Country Link
KR (1) KR102669803B1 (ko)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20030040398A (ko) * 2000-08-31 2003-05-22 가부시키가이샤 센탄카가쿠기쥬츠 인큐베이션센터 광학식 촉각센서
JP2005257343A (ja) * 2004-03-09 2005-09-22 Nagoya Industrial Science Research Inst 光学式触覚センサ、光学式触覚センサを利用したセンシング方法、センシングシステム、物体操作力制御方法、物体操作力制御装置、物体把持力制御装置及びロボットハンド
KR20060076293A (ko) * 2003-09-16 2006-07-04 가부시키가이샤 도쿄다이가쿠 티엘오 광학식 촉각센서 및 그 센서를 이용한 힘벡터 분포 재구성방법
KR20070036015A (ko) * 2004-06-16 2007-04-02 가부시키가이샤 도쿄다이가쿠 티엘오 광학식 촉각센서
JP2012133782A (ja) * 2010-12-22 2012-07-12 Integrated Digital Technologies Inc タッチセンシング表示装置
KR101722065B1 (ko) * 2015-12-09 2017-04-03 한국생산기술연구원 소재의 접촉감에 대하여 정량적 평가를 하는 에어쿠션을 이용한 접촉감 평가장치
KR102324716B1 (ko) 2015-11-02 2021-11-10 에스케이텔레콤 주식회사 멀티 터치 패턴을 이용한 유저 인터페이스 메뉴 디스플레이 장치 및 방법

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20030040398A (ko) * 2000-08-31 2003-05-22 가부시키가이샤 센탄카가쿠기쥬츠 인큐베이션센터 광학식 촉각센서
KR20060076293A (ko) * 2003-09-16 2006-07-04 가부시키가이샤 도쿄다이가쿠 티엘오 광학식 촉각센서 및 그 센서를 이용한 힘벡터 분포 재구성방법
JP2005257343A (ja) * 2004-03-09 2005-09-22 Nagoya Industrial Science Research Inst 光学式触覚センサ、光学式触覚センサを利用したセンシング方法、センシングシステム、物体操作力制御方法、物体操作力制御装置、物体把持力制御装置及びロボットハンド
KR20070036015A (ko) * 2004-06-16 2007-04-02 가부시키가이샤 도쿄다이가쿠 티엘오 광학식 촉각센서
JP2012133782A (ja) * 2010-12-22 2012-07-12 Integrated Digital Technologies Inc タッチセンシング表示装置
KR102324716B1 (ko) 2015-11-02 2021-11-10 에스케이텔레콤 주식회사 멀티 터치 패턴을 이용한 유저 인터페이스 메뉴 디스플레이 장치 및 방법
KR101722065B1 (ko) * 2015-12-09 2017-04-03 한국생산기술연구원 소재의 접촉감에 대하여 정량적 평가를 하는 에어쿠션을 이용한 접촉감 평가장치

Also Published As

Publication number Publication date
KR102669803B1 (ko) 2024-05-27

Similar Documents

Publication Publication Date Title
US10001845B2 (en) 3D silhouette sensing system
US20090267919A1 (en) Multi-touch position tracking apparatus and interactive system and image processing method using the same
TWI471815B (zh) 手勢辨識裝置及方法
JP5384449B2 (ja) タッチシステムのためのポインタ高さ検出方法およびポインタ座標検出方法ならびにタッチシステム
CN101776971B (zh) 一种多点触摸屏装置及定位方法
CN103744542B (zh) 混合式指向装置
KR20160146735A (ko) 대화형 디스플레이 스크린들에 대한 압력, 회전 및 스타일러스 기능
US20110254813A1 (en) Pointing device, graphic interface and process implementing the said device
US11579706B2 (en) Method and apparatus for applying free space input for surface constrained control
US9613328B2 (en) Workflow monitoring and analysis system and method thereof
US20110193969A1 (en) Object-detecting system and method by use of non-coincident fields of light
Sun et al. Estimation of fingertip force direction with computer vision
US12026328B2 (en) Arrangement for recognition by a touch-sensitive sensor matrix
KR20180092033A (ko) 부품 등록기
TWI424343B (zh) 光學觸控系統及其感測方法
KR102669803B1 (ko) 랜덤 패턴과 멀티 터치가 가능한 비전 기반 촉각 센서
Jiang et al. Robotic perception of object properties using tactile sensing
CN102184054A (zh) 多触摸点识别方法及装置
Diaz et al. Multimodal sensing interface for haptic interaction
CN103543883A (zh) 光学触控方法及其***
Jacob et al. Real time static and dynamic hand gestures cognizance for human computer interaction
KR101669850B1 (ko) 센서 켈리브레이션 방법 및 이를 위한 전자 장치와 마커 보드 장치
JP2018063555A (ja) 情報処理装置、情報処理方法及びプログラム
CN110532913A (zh) 电子装置以及生物特征感测方法
KR101998786B1 (ko) 가상공간을 위한 비접촉식 손가락 입력 장치 및 방법

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant