KR20220035112A - 형상 가변 장치, 형상 제어 방법, 및 촉각 제시 장치 - Google Patents

형상 가변 장치, 형상 제어 방법, 및 촉각 제시 장치 Download PDF

Info

Publication number
KR20220035112A
KR20220035112A KR1020227001000A KR20227001000A KR20220035112A KR 20220035112 A KR20220035112 A KR 20220035112A KR 1020227001000 A KR1020227001000 A KR 1020227001000A KR 20227001000 A KR20227001000 A KR 20227001000A KR 20220035112 A KR20220035112 A KR 20220035112A
Authority
KR
South Korea
Prior art keywords
signal
deformation
space
unit
shape
Prior art date
Application number
KR1020227001000A
Other languages
English (en)
Inventor
켄타로 요시다
마사히로 사토
Original Assignee
소니그룹주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 소니그룹주식회사 filed Critical 소니그룹주식회사
Publication of KR20220035112A publication Critical patent/KR20220035112A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/02—Input arrangements using manually operated switches, e.g. using keyboards or dials
    • G06F3/0202—Constructional details or processes of manufacture of the input device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03547—Touch pads, in which fingers can move on a surface
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/044—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by capacitive means
    • G06F3/0443—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by capacitive means using a single layer of sensing electrodes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/044—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by capacitive means
    • G06F3/0446—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by capacitive means using a grid-like structure of electrodes in at least two directions, e.g. using row and column electrodes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03K—PULSE TECHNIQUE
    • H03K17/00—Electronic switching or gating, i.e. not by contact-making and –breaking
    • H03K17/94—Electronic switching or gating, i.e. not by contact-making and –breaking characterised by the way in which the control signals are generated
    • H03K17/965—Switches controlled by moving an element forming part of the switch
    • H03K17/968—Switches controlled by moving an element forming part of the switch using opto-electronic devices
    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03K—PULSE TECHNIQUE
    • H03K17/00—Electronic switching or gating, i.e. not by contact-making and –breaking
    • H03K17/94—Electronic switching or gating, i.e. not by contact-making and –breaking characterised by the way in which the control signals are generated
    • H03K17/965—Switches controlled by moving an element forming part of the switch
    • H03K17/968—Switches controlled by moving an element forming part of the switch using opto-electronic devices
    • H03K17/969—Switches controlled by moving an element forming part of the switch using opto-electronic devices having a plurality of control members, e.g. keyboard
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04102—Flexible digitiser, i.e. constructional details for allowing the whole digitising part of a device to be flexed or rolled like a sheet of paper
    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03K—PULSE TECHNIQUE
    • H03K2217/00—Indexing scheme related to electronic switching or gating, i.e. not by contact-making or -breaking covered by H03K17/00
    • H03K2217/94—Indexing scheme related to electronic switching or gating, i.e. not by contact-making or -breaking covered by H03K17/00 characterised by the way in which the control signal is generated
    • H03K2217/96—Touch switches
    • H03K2217/96062—Touch switches with tactile or haptic feedback

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 기술의 일 형태에 따른 형상 가변 장치는, 공간 형성부와, 유체 제어부와, 신호 출사부와, 검출부와, 생성부를 구비한다. 상기 공간 형성부는 공간을 형성하고, 상기 공간에 접하여 배치된 변형 가능한 부재를 갖는다. 상기 유체 제어부는, 상기 공간에 대한 유체의 흐름을 제어함으로써, 상기 부재를 변형시키는 것이 가능하다. 상기 신호 출사부는 상기 공간 내에 신호를 출사한다. 상기 검출부는 상기 공간 내에 상기 부재와는 비접촉으로 배치되고, 출사된 상기 신호를 검출한다. 상기 생성부는, 상기 검출부의 검출 결과에 기초하여, 상기 부재의 변형에 관한 정보를 생성한다.

Description

형상 가변 장치, 형상 제어 방법, 및 촉각 제시 장치
본 기술은 촉각 제시 장치나 입력 장치 등에 적용 가능한 형상 가변 장치, 형상 제어 방법, 및 그 촉각 제시 장치에 관한 것이다.
예를 들면, 특허문헌 1에 기재된 촉각 시트 장치에서는, 시트 부재에 촉각 제시용의 개공(開孔)부가 형성된다. 그리고 개공부로부터 불어나오는 공기, 또는 개공부로 유입하는 공기에 의해, 사용자에게 요철감을 제시하는 것이 가능하게 되어 있다(특허문헌 1의 명세서 단락 [0019], [0020] 등).
또한, 특허문헌 1에는, 사용자의 손가락의 슬라이딩 위치 및 압입량을 검출하는 디바이스로서, 정전용량 방식, 저항막 방식, 표면파 탄성 방식(SAW), 광 방식, 복수단 방식 택트 스위치(tact switch) 등의 입력 디바이스에 대해 기재되어 있다(특허문헌 1의 명세서 단락 [0110] 등).
특허문헌 1: 일본특허공개 제2009-151684호 공보
상기와 같은 촉각 제시 장치에 있어서, 정밀도가 높은 촉각 제시를 가능하게 하는 기술이 요구되고 있다. 또한, 사용자의 조작 등을 입력 가능한 입력 장치에 있어서, 입력 조작을 고정밀도로 검출하는 것이 가능한 기술이 요구되고 있다.
이상과 같은 사정을 감안하여, 본 기술의 목적은, 촉각 제시나 입력 조작의 검출 등을 높은 정밀도로 실현하는 것이 가능해지는 형상 가변 장치, 형상 제어 방법, 및 촉각 제시 장치를 제공하는 것에 있다.
상기 목적을 달성하기 위해, 본 기술의 일 형태에 따른 형상 가변 장치는, 공간 형성부와, 유체 제어부와, 신호 출사부와, 검출부와, 생성부를 구비한다.
상기 공간 형성부는 공간을 형성하고, 상기 공간에 접하여 배치된 변형 가능한 부재를 갖는다.
상기 유체 제어부는, 상기 공간에 대한 유체의 흐름을 제어함으로써, 상기 부재를 변형시키는 것이 가능하다.
상기 신호 출사부는 상기 공간 내에 신호를 출사한다.
상기 검출부는 상기 공간 내에 상기 부재와는 비접촉으로 배치되고, 출사된 상기 신호를 검출한다.
상기 생성부는, 상기 검출부의 검출 결과에 기초하여, 상기 부재의 변형에 관한 정보를 생성한다.
이 형상 가변 장치에서는, 공간에 대한 유체의 흐름을 제어함으로써, 부재를 변형하는 것이 가능해진다. 또한, 부재와는 비접촉으로 배치된 검출부의 검출 결과에 기초하여, 부재의 변형에 관한 정보를 생성하는 것이 가능해진다.
예를 들면, 본 형상 가변 장치를 촉각 제시 장치에 적용함으로써, 부재의 변형에 관한 정보에 기초하여, 유체 제어에 의한 정밀도가 높은 촉각 제시가 가능해진다. 또한, 본 형상 가변 장치를 입력 장치에 적용함으로써, 부재의 변형에 관한 정보에 기초하여, 부재에 입력된 조작 등을 높은 정밀도로 검출하는 것이 가능해진다. 물론, 본 형상 가변 장치를 적용 가능한 장치나 분야 등이 한정되는 것은 아니다.
상기 부재의 변형에 관한 정보는, 상기 부재의 형상, 또는 상기 부재에 접촉한 물체의 접촉 상태에 관한 정보 중 적어도 일방을 포함해도 된다.
상기 부재는, 막 형상으로 구성되고, 상기 공간 측의 상기 신호를 반사 가능한 내면과, 외부 공간 측의 외면을 가져도 된다. 이 경우, 상기 부재의 변형에 관한 정보는, 상기 외면의 형상, 또는 상기 외면에 접촉한 물체의 접촉 상태에 관한 정보 중 적어도 일방을 포함해도 된다.
상기 신호 출사부는 상기 공간 내에 배치되어도 된다.
상기 유체 제어부는, 상기 부재의 변형에 의해 상기 부재에 접촉하는 사용자에게 소정의 촉각이 제시되도록 상기 유체의 흐름을 제어해도 된다.
상기 유체 제어부는, 상기 부재의 변형에 관한 정보에 기초하여, 상기 유체의 흐름을 제어해도 된다.
상기 유체는 공기이어도 된다.
상기 신호 출사부는, 상기 신호로서, 광, 전파, 또는 소리 중 적어도 하나를 출사해도 된다. 이 경우, 상기 검출부는, 출사된 상기 광, 상기 전파, 또는 상기 소리 중 적어도 하나를 검출 가능하여도 된다.
상기 신호 출사부는, 상기 신호의 강도를 시간적으로 변화시키는 것이 가능하여도 된다.
상기 신호 출사부는, 상기 신호를 출사하는 하나 이상의 신호원을 가져도 된다. 이 경우, 상기 검출부는, 출사된 상기 신호를 검출하는 하나 이상의 센서를 가져도 된다. 또한, 상기 생성부는, 상기 하나 이상의 센서의 검출 결과에 기초하여, 상기 부재의 변형에 관한 정보를 생성해도 된다.
상기 하나 이상의 신호원의 수는 상기 하나 이상의 센서의 수보다 많아도 된다.
상기 하나 이상의 신호원의 수는 상기 하나 이상의 센서의 수보다 적어도 된다.
상기 하나 이상의 신호원은 복수의 신호원을 포함하거나, 또는 상기 하나 이상의 센서는 복수의 센서를 포함하는 것 중 적어도 일방이 성립하여도 된다. 이 경우, 상기 하나 이상의 신호원 및 상기 하나 이상의 센서는, 신호원과 센서 간의 거리가 균일하게 되지 않은 구성으로 배치되어도 된다.
상기 생성부는, 소정의 학습 알고리즘에 따라, 상기 부재의 변형에 관한 정보를 생성해도 된다.
상기 신호 출사부는, 상기 부재를 향해 상기 신호를 출사 가능하게 배치되어도 된다. 이 경우, 상기 검출부는, 상기 부재에 의해 반사된 상기 신호를 검출 가능하게 배치되어도 된다. 또한, 상기 형상 가변 장치는, 상기 신호 출사부와 상기 검출부의 사이에 배치되는 차폐부를 더 구비해도 된다.
상기 신호 출사부는, 상기 신호로서, 비가시광을 출사해도 된다.
상기 신호 출사부는, 상기 신호로서, 광을 출사해도 된다. 이 경우, 상기 검출부는, 출사된 상기 광을 검출 가능하여도 된다. 또한, 상기 형상 가변 장치는, 상기 검출부에 의해 검출되는 광의 파장을 규정하는 필터부를 더 구비해도 된다.
상기 촉각 제시부는, 상기 부재의 변형에 관한 정보에 기초하여, 상기 부재의 경도 또는 상기 부재의 온도 중 적어도 일방을 제어 가능한 촉각 제시부를 더 구비해도 된다.
본 기술의 일 형태에 따른 형상 제어 방법은, 이하의 단계를 포함한다.
변형 가능한 부재를 갖는 공간 형성부에 의해 상기 변형 가능한 부재에 접하도록 형성된 공간에 대한 유체의 흐름을 제어함으로써, 상기 부재를 변형시키는 단계.
상기 공간 내에 신호를 출사하고, 상기 공간 내에 상기 부재와는 비접촉으로 배치된 검출부에 의해 상기 신호를 검출하는 단계.
상기 검출부의 검출 결과에 기초하여, 상기 부재의 변형에 관한 정보를 생성하는 단계.
본 기술의 일 형태에 따른 촉각 제시 장치는, 상기 공간 형성부와, 상기 유체 제어부와, 상기 신호 출사부와, 상기 검출부와, 상기 생성부를 구비한다.
상기 유체 제어부는, 상기 부재의 변형에 의해 상기 부재에 접촉하는 사용자에게 소정의 촉각이 제시되도록 상기 유체의 흐름을 제어한다.
도 1은 일 실시형태에 따른 유저 인터페이스 장치의 구성예를 나타내는 모식도이다.
도 2는 UI 장치의 동작 예를 나타내는 플로우차트이다.
도 3은 물체에 의한 트레이싱(tracing) 동작과 센서의 검출 결과 간의 관계를 검토하기 위한 실험 개요를 설명하기 위한 모식도이다.
도 4는 물체에 의한 트레이싱 동작과 센서의 검출 결과 간의 관계를 검토하기 위한 실험 개요를 설명하기 위한 모식도이다.
도 5는 실험 1의 실험 결과를 나타내는 그래프이다.
도 6은 실험 2의 실험 결과를 나타내는 그래프이다.
도 7은 실험 1을 반복하여 행함으로써 얻어진 지견을 설명하기 위한 도면이다.
도 8은 실험 2를 반복하여 행함으로써 얻어진 지견을 설명하기 위한 도면이다.
도 9는 다른 장치 구성에 의해 보여지는, 변형 부재의 변형(물체(2)의 접촉 상태)과, 센서의 검출 결과 간의 상관관계를 설명하기 위한 도면이다.
도 10은 변형 관련 정보의 생성용의 학습 완료된 모델의 생성 예를 설명하기 위한 모식도이다.
도 11은 본 기술에 의해 취득 가능한 변형 관련 정보의 예를 설명하기 위한 모식도이다.
도 12는 신호원 및 센서의 배치 구성의 변경 예를 나타내는 모식도이다.
도 13은 신호의 출사/검출의 변경 예를 설명하기 위한 모식도이다.
도 14는 신호의 출사/검출의 변경 예를 설명하기 위한 모식도이다.
도 15는 본 기술에 따른 구성과, 다른 용도의 기구 간의 병존(竝存)/제휴를 설명하기 위한 모식도이다.
도 16은 필터부에 대해 설명하기 위한 모식도이다.
도 17은 차폐부에 대해 설명하기 위한 모식도이다.
도 18은 변형 부재의 다른 구성예를 나타내는 모식도이다.
도 19는 다른 종류의 촉각 제시와의 병용/제휴를 설명하기 위한 모식도이다.
도 20은 본 기술에 따른 형상 가변 장치의 다른 구성예를 나타내는 모식도이다.
도 21은 UI 장치의 다른 동작 예를 나타내는 플로우차트이다.
도 22는 사용자로부터의 입력 정보(변형 관련 정보)의 이용 예를 설명하기 위한 모식도이다.
도 23은 촉각 이외의 감각 자극과의 병용/제휴를 실현하기 위한 형상 가변 시스템의 구성예를 나타내는 모식도이다.
도 24는 다른 감각 자극과의 병용/제휴의 처리 예를 나타내는 플로우차트이다.
도 25는 본 기술에 따른 형상 가변 장치를 복수 사용한 구성예를 나타내는 모식도이다.
이하, 본 기술에 따른 실시형태를, 도면을 참조하면서 설명한다.
[유저 인터페이스 장치의 구성]
도 1은 본 기술의 일 실시형태에 따른 유저 인터페이스 장치(이하, UI 장치라고 기재함)의 구성예를 나타내는 모식도이다.
도 1의 A는 UI 장치(100)를 위쪽에서 비스듬하게 본 사시도이다.
도 1의 B는 UI 장치(100)의 단면을 모식적으로 나타내는 단면도이다. 도 1의 B에서는, UI 장치(100)의 중심을 지나는 선(L1)을 따라, 정점으로부터 똑바로 UI 장치(100)를 절단한 경우의 단면이 도시되어 있다.
또한, 도 1의 B에서는, UI 장치(100)에 포함되는, 유체 제어 기구(40) 및 컨트롤러(50)에 대해서는, 추가로 모식적으로 도시되어 있다.
UI 장치(100)는, 사용자(1)가 다양한 조작을 입력하는 것이 가능한 입력 장치로서의 기능을 갖는다. 또한, UI 장치(100)는, UI 장치(100)에 접촉하는 사용자(1)에게, 소정의 촉각을 제시하는 것이 가능한 촉각 제시 장치로서의 기능을 갖는다.
한편, 촉각을 제시하는 것을, 촉각 피드백이라고 말할 수도 있다. 따라서, UI 장치(100)를 촉각 피드백 장치라고 말할 수도 있다.
UI 장치(100)는, 본 기술에 따른 형상 가변 장치의 일 실시형태에 상당한다. 즉, 본 기술에 따른 형상 가변 장치를, 입력 장치 및 촉각 제시 장치에 적용한 예라고도 말할 수 있다. 물론 본 기술에 따른 형상 가변 장치를 적용 가능한 장치나 분야 등이 한정되는 것은 아니다.
도 1에 나타내는 바와 같이, UI 장치(100)는, 기체부(基體部; base)(5)와, 변형 부재(10)와, 복수의 신호원(20)과, 복수의 센서(30)와, 유체 제어 기구(40)와, 컨트롤러(50)를 갖는다.
기체부(5)는, 전체 형상으로서, 원형의 판 형상을 갖는다. 기체부(5)는, 전체 또는 일부가 회로 기판으로서 기능하고, 다양한 회로가 배치된다.
기체부(5)의 재료 등의 구체적인 구성은 한정되지 않고, 임의로 설계되어도 된다.
변형 부재(10)는 변형 가능한 부재이다. 본 개시에 있어서, 「변형」은, 신축, 굽힘, 팽창, 수축 등의 임의의 변형을 포함한다.
본 실시형태에서는, 변형 부재(10)는, 외형이 반구 형상이며, 기체부(5)의 주연부에 접속된다.
도 1의 B에 나타내는 바와 같이, 변형 부재(10)는 막 형상으로 구성되어 있고, 내부 측에는 공간(이하, 내부 공간이라고 기재함)(S1)이 형성된다. 즉, 변형 부재(10)는, 내부 공간(S1)에 접하여 배치된다.
변형 부재(10)의 내부 공간(S1) 측의 면이 내면(10a)가 되고, 외부 공간 측의 면이 외면(10b)이 된다. 한편, 외부 공간은, 내부 공간(S1)의 외부에 위치하는 임의의 공간을 포함한다.
내부 공간(S1)은, 유체를 보유하는 것이 가능한 유체 보유 공간으로서 기능한다. 본 실시형태에서는, 유체로서 공기가 사용된다. 이에 의해, 예를 들면 외기를 이용한다는 등과 같은 것이 가능해지고, UI 장치(100)의 구성을 간소화하는 것이 가능해진다.
물론, 다른 종류의 기체(가스)나 물 등의 액체 등의 임의의 유체에 대해, 본 기술은 적용 가능하다.
도 1의 B에 나타내는 바와 같이, 예를 들면 사용자(1)가 변형 부재(10)를 누르면, 그 힘에 따라 변형 부재(10)가 찌부러지도록 변형된다. 그 밖에, 트레이싱, 집기(pinching) 등의 다양한 조작에 따라, 변형 부재(10)는 변형된다.
변형 부재(10)의 구체적인 구성은 한정되지 않고, 임의로 설계되어도 된다.
예를 들면, 변형 부재(10)의 두께(내면(10a)과 외면(10b)의 거리)는, 균일하게 구성되어도 되고, 부분적으로 두께가 다르도록 구성되어도 된다.
또한, 재료 등도 한정되지 않고, 예를 들면 PET(폴리에틸렌 테레프탈레이트), 액정 폴리머, 폴리우레탄, 스티렌, 실리콘, 합성 고무, 천연 고무, 도전 기능을 부여한 재료, 카본 등을 혼합하여 열전도율을 높게 한 재료 등을 포함하여, 변형 가능한 임의의 재료가 사용되어도 된다.
또한, 변형 부재(10)는 다층 구조를 가져도 된다. 변형 부재를 2층 이상의 구조로 함으로써, 봉지성, 변형 부재(10)의 강도, 및 촉감 제시 기능을 양립하기 쉬워진다.
다층 구조의 변형 부재(10) 중 1층에 봉지성 재료를 사용하고, 다른 1층에 다공성 재료를 사용해도 된다. 예를 들면, 다층 구조의 변형 부재(10) 중 1층에 다공성 폴리우레탄으로 이루어지는 발포 시트를 사용하여 촉감 제시 기능, 즉 만졌을 때의 감촉을 조정하는 것도 가능하다.
본 실시형태에서는, UI 장치(100)의 내부를 시인할 수 없도록, 불투명한 재료로 변형 부재(10)가 구성되어 있다. 이에 한정되지 않고, 투명한 재료나 반투명한 재료로, 변형 부재(10)가 구성되어도 된다.
예를 들면, 변형 부재(10)의 외면(10b) 상에, 문자나 무늬 등이 기록되어도 된다.
유체 제어 기구(40)는, 내부 공간(S1)에 대한 유체(공기)의 흐름을 제어함으로써, 변형 부재(10)를 변형시키는 것이 가능하다. 본 실시형태에서는, 유체 제어 기구(40)는 유입 기구(41)와 유출 기구(42)를 갖는다.
유입 기구(41)는, 기체부(5)에 형성된 유입구(6a)를 통해, 내부 공간(S1) 내에 공기를 유입하는 것이 가능하다.
유출 기구(42)는, 기체부(5)에 형성된 유출구(6b)를 통해, 내부 공간(S1) 내로부터 공기를 유출시키는 것이 가능하다.
내부 공간(S1)에 대한 공기의 흐름, 즉 내부 공간(S1)에 대한 공기의 유입 및 유출을 제어함으로써, 변형 부재(10)(내면(10a), 외면(10b))를 변형시키는 것이 가능하다.
예를 들면, 내부 공간(S1)으로의 공기의 유입량, 유입 속도, 유입 타이밍 등이나, 내부 공간(S1)으로부터의 공기의 유출량, 유출 속도, 유출 타이밍 등을 적절히 제어하고, 또한 이들을 적절히 조합한다. 이에 의해, 변형 부재(10)를 팽창/수축, 일부만을 팽창/수축, 기복을 일으키는 등의 움직임 등, 다양한 변형 양태를 실현하는 것이 가능해진다.
본 실시형태에서는, 변형 부재(10)를 변형시킴으로써, 외면(10b)에 접촉하는 사용자(1)에게 촉각을 제시하는 것이 가능하다.
즉, 유체 제어 기구(40)는, 변형 부재(10)의 변형에 의해 변형 부재(10)에 접촉하는 사용자(1)에게 소정의 촉각이 제시되도록, 공기의 흐름을 제어하는 것이 가능하다.
예를 들면, 외면(10b)에 사용자(1)가 접촉하고 있는 상태에서, 내부 공간(S1)에 공기를 유입함으로써, 눌려지는 감각을 제시하는 것이 가능하다. 또는, 내부 공간(S1)으로부터 공기를 유출시킴으로써, 손가락 등으로 더 누르는 것을 가능하게 하거나, 손가락 등을 이동시키거나 하는 것도 가능해진다.
또한, 공기의 유입 및 유출을 반복하거나 하는 등에 의해, 연속적으로 반복되는 촉각을 제시한다는 등과 같은 것도 가능하다. 그 밖에, 다양한 촉각을 제시하는 것이 가능하다.
본 실시형태에서는, 공기압을 이용한 촉각 제시가 가능하므로, 촉각 제시를 위한 기구를 용이하게 구성하는 것이 가능하다.
유체 제어 기구(40)의 구체적인 구성은 한정되지 않고, 임의로 설계되어도 된다. 예를 들면, 내부 공간(S1)에 대한 공기의 유입 및 유출을 실현하기 위해, 임의의 액추에이터 기구가 채용되어도 된다.
예를 들면, 진공 펌프 등의 펌프, 컴프레서(compressor), 블로어, 송풍기, 임펠러 등의 디바이스를 사용하는 것이 가능하다.
또한, 밸브 기구를 통해, 내부 공간(S1)과 다른 유체 보유 공간을 연통한다. 밸브 기구는, 2개의 공간 사이의 유로 저항(밸브가 가장 많이 열려 있을 때 저항은 최소가 되고, 밸브가 닫혀 있을 때 저항은 무한대가 됨)을 제어할 수 있는 임의의 장치를 포함한다.
내부 공간(S1)과 다른 유체 보유 공간의 사이에 압력차를 생기게 한 상태에서, 밸브 기구를 제어하여, 유로 저항을 낮춘다(밸브를 연다). 이에 의해, 내부 공간(S1)에 대한 공기의 유입 및 유출을 제어하는 것이 가능해진다.
다른 유체 보유 공간과의 압력차를 생기게 하기 위해, 펌프나 컴프레서 등의 액추에이터 기구가 사용되어도 된다. 또한, 다른 유체 보유 공간이 펌프나 컴프레서 등의 일부에 형성되어도 된다. 한편, 다른 유체 보유 공간도 외부 공간에 포함된다.
한편, 유입 기구(41) 및 유출 기구(42)의 양쪽 모두를 포함하는 장치에 의해, 유체 제어 기구(40)가 실현되어도 된다. 즉, 공기의 유입 및 유출의 양쪽 모두를 실행 가능한 장치에 의해, 유체 제어 기구(40)가 실현되어도 된다. 또는, 유입 기구(41)를 갖는 장치 및 유출 기구(42)를 갖는 장치에 의해 유체 제어 기구(40)가 실현되어도 된다. 즉, 공기의 유입이 가능한 장치와, 공기의 유출이 가능한 장치가, 조합되어 유체 제어 기구(40)가 실현되어도 된다.
또한, 유입 기구(41) 및 유출 기구(42)의 각각의 수도 한정되지 않는다. 예를 들면, 복수의 유입 기구(41)나, 복수의 유출 기구(42)가 각각 사용되어도 되고, 개수의 조합도 임의이어도 된다.
복수의 신호원(20)은 내부 공간(S1) 내에 신호를 출사 가능하다.
복수의 신호원(20)은 기체부(5)에 배치되고, 변형 부재(10)의 내면(10a)을 향해 신호를 출사한다.
복수의 신호원(20)은, 유체인 공기를 투과하며, 내면(10a)에 의해 반사 가능한 신호를 출사한다. 이것은, 변형 부재(10)의 내면(10a)이, 복수의 신호원(20)으로부터 출사되는 신호를 반사 가능하게 구성되어 있다고도 말할 수 있다.
도 1의 A에 나타내는 바와 같이, 본 실시형태에서는, 기체부(5)의 중심 위치에 신호원(20a)이 배치된다. 또한, 신호원(20a)을 사이에 두도록 하여, 신호원(20b 및 20c)이 배치된다. 신호원(20a∼20c)은 직선 상에 배치된다.
또한, 신호원(20a∼20c)이 늘어서는 직선 방향에 대해 직교하는 직선 상에, 신호원(20a)을 사이에 두도록 하여, 신호원(20c 및 20d)이 배치된다. 이와 같이, 본 실시형태에서는, 내부 공간(S1) 내의 기체부(5) 상에, 5개의 신호원(20a∼20d)가 2차원적으로 배치된다.
각 신호원(20)은, 변형 부재(10)의 내면(10a)을 향해, 신호를 출사 가능하게 배치된다. 구체적으로는, 각 신호원(20)은, 신호를 출사하는 출사 방향(출사축의 방향)이, 기체부(5)의 수직 방향에 일치하는 배향으로 배치된다.
물론 이러한 배치 구성에 한정되는 것은 아니다. 신호원(20)의 출사 방향이 균일하게 되어 있지 않은 배치 구성도 채용 가능하다. 즉, 각 신호원(20)의 출사 방향이 서로 다르도록 설정되어도 된다. 그 밖에, 임의의 배치 구성을 채용 가능하다.
신호로서, 예를 들면 광이 출사된다.
광의 파장은 한정되지 않고, 임의로 설정되어도 된다. 한편, 광의 파장은, 예를 들면 피크 파장으로 규정하는 것이 가능하다.
예를 들면, 자외광∼가시광∼적외광의 파장 대역에 포함되는 파장의 광이, 신호로서 출사된다.
광을 출사하기 위한 구체적인 구성은 한정되지 않고, 임의의 구성이 채용되어도 된다. 예를 들면, 신호원(20)으로서, LED(Light Emitting Diode)나 LD(Laser Diode) 등의 고체 광원을 사용하는 것이 가능하다. 물론, 다른 광원이 사용되어도 된다.
신호로서, 전파가 출사되어도 된다.
전파의 파장도 한정되지 않고, 임의로 설정되어도 된다. 예를 들면, 밀리파 등의 전파가 신호로서 출사된다.
전파를 출사하기 위한 구체적인 구성은 한정되지 않고, 임의의 구성이 채용되어도 된다.
한편, 광 및 전파의 각각은, 파장에 기초하여 규정하는 것이 가능하다. 예를 들면, 파장이 10nm∼100㎛ 범위인 전자파를 광으로 하고, 파장이 100㎛ 이상인 전자파를 전파로 한다는 등의 규정이 가능하다. 물론 이러한 규정에 한정되는 것은 아니다.
신호로서 임의의 파장의 광 및 전파를 출사한다는 것은, 신호로서 임의의 파장의 전자파를 출사한다고 하는 개념에 포함된다.
신호로서, 소리(음파)가 출사되어도 된다.
소리의 주파수(파장)는 한정되지 않고, 임의로 설정되어도 된다.
예를 들면, 가청역∼초음파의 범위에 포함되는 진동수의 소리(음파)가, 신호로서 출사된다. 한편, 본 개시에서는, 가청역의 음파나 초음파는, 모두 소리(음파)에 포함되는 개념으로 한다.
음파를 출사하기 위한 구체적인 구성은 한정되지 않고, 임의의 구성이 채용되어도 된다. 예를 들면 신호원(20)으로서, 임의의 구성의 스피커 등을 사용하는 것이 가능하다.
이와 같이, 신호로서, 광, 전파, 또는 소리 중 적어도 하나를 출사하는 구성을 채용하는 것이 가능하다. 전형적으로는, 광, 전파, 또는 소리 중 하나가 선택되어, 복수의 신호원(20)으로부터 출사된다. 이에 한정되지 않고, 광, 전파, 또는 소리 중 임의의 조합의 2종류 이상의 신호가, 동시에 출사되는 구성도 있을 수 있다.
1개의 신호원(20)만이 배치되는 경우도 있을 수 있다.
다른 임의의 매체를 통해, 신호가 출사되어도 된다.
복수의 센서(30)는, 내부 공간(S1) 내에, 변형 부재(10)와는 비접촉으로 배치된다. 즉, 복수의 센서(30)는 비접촉 센서로서 기능한다.
복수의 센서(30)는 기체부(5) 상에 배치되고, 복수의 신호원(20)으로부터 출사된 신호를 검출한다.
도 1의 A에 나타내는 바와 같이, 본 실시형태에서는, 신호원(20a∼20c)이 늘어서는 직선 상에, 중심에 배치된 신호원(20a)을 사이에 두도록 하여, 센서(30a 및 30b)가 배치된다. 센서(30a)는 신호원(20a)과 신호원(20b)의 사이에 배치된다. 센서(30b)는 신호원(20a)과 신호원(20c)의 사이에 배치된다.
또한, 신호원(20a, 20d, 및 20e)가 늘어서는 직선 상에, 중심에 배치된 신호원(20a)을 사이에 두도록 하여, 센서(30c 및 30d)가 배치된다. 센서(30c)는 신호원(20a)과 신호원(20d)의 사이에 배치된다. 센서(30d)는 신호원(20a)과 신호원(20e)의 사이에 배치된다.
이와 같이, 본 실시형태에서는, 내부 공간(S1) 내의 기체부(5) 상에, 4개의 센서(30a∼30d)가 2차원적으로 배치된다.
각 센서(30)는, 변형 부재(10)의 내면(10a)에 의해 반사된 신호를 검출 가능하게 배치된다. 구체적으로는, 각 센서(30)는, 신호를 검출하는 방향(배향)이, 기체부(5)의 수직 방향으로 일치하는 배향으로 배치된다.
물론 이러한 배치 구성에 한정되는 것은 아니다. 센서(30)의 검출 방향이 균일하게 되어 있지 않은 배치 구성도 채용 가능하다. 즉, 각 센서(30)의 검출 방향이 서로 다르도록 설정되어도 된다. 그 밖에, 임의의 배치 구성을 채용 가능하다.
신호로서 광이 출사되는 경우에는, 센서(30)로서, 광을 검출 가능한 임의의 디바이스가 사용된다. 예를 들면, 센서(30)로서, 예를 들면 PD(Photo Diode)나 초전 센서 등을 사용하는 것이 가능하다. 광을 검출하기 위한 구체적인 구성은 한정되지 않고, 임의의 구성이 채용되어도 된다.
신호로서 전파가 출사되는 경우에는, 센서(30)로서, 전파를 검출 가능한 임의의 디바이스가 사용된다. 전파를 검출하기 위한 구체적인 구성은 한정되지 않고, 임의의 구성이 채용되어도 된다.
신호로서 소리(음파)가 출사되는 경우에는, 센서(30)로서, 소리(음파)를 검출 가능한 임의의 센서가 사용된다. 예를 들면, 마이크로폰 등을 사용하는 것이 가능하다. 음파를 검출하기 위한 구체적인 구성은 한정되지 않고, 임의의 구성이 채용되어도 된다.
이와 같이, 광, 전파, 또는 소리 중 적어도 하나를 검출하는 구성을 채용하는 것이 가능하다. 전형적으로는, 신호로서 선택된, 광, 전파, 또는 소리 중 하나를 검출 가능한 센서(30)가 배치된다. 광, 전파, 또는 소리 중 임의의 조합의 2종류 이상의 신호가 출사되는 경우에는, 각 신호를 검출 가능한 센서(30)가 조합되어 배치된다.
1개의 센서(30)만이 배치되는 경우도 있을 수 있다.
컨트롤러(50)는, UI 장치(100)가 갖는 각 블록의 동작을 제어한다.
컨트롤러(50)는, 예를 들면 CPU, ROM, RAM, 및 HDD 등의 컴퓨터 구성에 필요한 하드웨어를 갖는다. 예를 들면, CPU가 ROM 등에 미리 기록되어 있는 본 기술에 따른 프로그램을 RAM에 로딩하여 실행함으로써, 본 기술에 따른 형상 제어 방법에 따른 처리가 실행된다.
컨트롤러(50)로서, 예를 들면 FPGA 등의 PLD, 그 외의 ASIC 등의 디바이스가 사용되어도 된다. 또한, PC(Personal Computer) 등의 임의의 컴퓨터가 컨트롤러(50)로서 기능해도 된다.
본 실시형태에서는, CPU가 소정의 프로그램을 실행함으로써, 기능 블록으로서의 생성부가 구성된다. 물론 기능 블록을 실현하기 위해, IC(집적 회로) 등의 전용 하드웨어가 사용되어도 된다.
프로그램은, 예를 들면 다양한 기록 매체를 통해 UI 장치(100)에 인스톨된다. 또는, 인터넷 등을 통해 프로그램의 인스톨이 실행되어도 된다.
프로그램이 기록되는 기록 매체의 종류 등은 한정되지 않고, 컴퓨터가 판독 가능한 임의의 기록 매체가 사용되어도 된다. 예를 들면, 컴퓨터가 판독 가능한 비일과성의 임의의 기억 매체가 사용되어도 된다.
본 실시형태에서는, 컨트롤러(50)에 의해, 복수의 센서(30)의 검출 결과에 기초하여, 변형 부재(10)의 변형에 관한 변형 관련 정보가 생성된다. 변형 관련 정보는, 변형 부재(10)의 변형에 관한 임의의 정보를 포함한다.
예를 들면, 변형 관련 정보는, 변형 부재(10)의 형상, 또는 변형 부재(10)에 접촉한 물체의 접촉 상태에 관한 정보 중 적어도 일방을 포함한다. 변형 부재(10)에 접촉한 물체는, 예를 들면 사용자(1)의 손가락 등이다. 물론 이에 한정되지 않고, 태블릿 펜 등의 임의의 물체를 포함한다.
물체의 접촉 상태에 관한 정보는, 예를 들면, 이하의 정보를 포함한다.
변형 부재(10)에 접촉한 물체의 유무
변형 부재(10)에 접촉한 물체의 위치
변형 부재(10)에 접촉한 물체의 수
변형 부재(10)에 접촉한 물체의 사이즈
변형 부재(10)에 접촉한 물체의 움직임
변형 부재(10)에 접촉한 물체의 형상
변형 부재(10)에 접촉한 물체의 종류
물론 이들 정보에 한정되는 것은 아니다.
본 실시형태에서는, 내면(10a)에 의해 반사된 신호의 검출 결과에 기초하여, 외면(10b)의 형상, 또는 외면(10b)에 접촉한 물체의 접촉 상태에 관한 정보가, 변형 관련 정보로서 생성된다.
외면(10b)에 접촉한 물체의 접촉 상태에 관한 정보는, 예를 들면, 이하의 정보를 포함한다.
외면(10b)에 접촉한 물체의 유무
외면(10b)에 접촉한 물체의 위치
외면(10b)에 접촉한 물체의 수
외면(10b)에 접촉한 물체의 사이즈
외면(10b)에 접촉한 물체의 움직임
외면(10b)에 접촉한 물체의 형상
외면(10b)에 접촉한 물체의 종류
물론 이들 정보에 한정되는 것은 아니다.
변형 관련 정보를 산출하는 방법은 한정되지 않고, 임의의 기술(알고리즘 등)이 사용되어도 된다. 예를 들면, DNN(Deep Neural Network: 심층 뉴럴 네트워크) 등을 사용한 임의의 기계학습 알고리즘이 사용되어도 된다. 예를 들면, 딥러닝(심층 학습)을 행하는 AI(인공지능) 등을 사용함으로써, 변형 관련 정보의 산출 정밀도를 향상시키는 것이 가능해진다.
예를 들면, RNN(Recurrent Neural Network: 재귀형 뉴럴 네트워크), CNN(Convolutional Neural Network: 컨벌루션 뉴럴 네트워크), MLP(Multilayer Perceptron: 다층 퍼셉트론) 등의 뉴럴 네트워크를 사용한 기계학습 알고리즘이 사용된다. 그 밖에, 교사 학습법(supervised learning), 비교사 학습법(unsupervised learning), 반교사 학습법(semi-supervised learning), 강화 학습법 등을 실행하는 임의의 기계학습 알고리즘이 사용되어도 된다.
그 중에서, 예를 들면, 상기 RNN, 특히 LSTM(Long Short Term Memory)을 사용한 시계열의 DNN 모델링 수법은 유효하다. 물론 이에 한정되는 것은 아니다.
예를 들면, 컨트롤러(50)에, 학습부 및 식별부(도시는 생략)가 구비된다. 학습부는, 입력된 정보(학습 데이터)에 기초하여 기계학습을 행하여, 학습 결과를 출력한다. 또한, 식별부는, 입력된 정보와 학습 결과에 기초하여, 해당 입력된 정보의 식별(판단이나 예측 등)을 행한다.
학습부에 있어서의 학습 수법에는, 예를 들면 뉴럴 네트워크나 딥러닝이 사용된다. 뉴럴 네트워크란, 인간의 뇌신경 회로를 모방한 모델이며, 입력층, 중간층(은닉층), 출력층의 3종류의 층으로 이루어진다.
딥러닝이란, 다층 구조의 뉴럴 네트워크를 사용한 모델이며, 각 층에서 특징적인 학습을 반복하여, 대량 데이터 중에 숨어 있는 복잡한 패턴을 학습할 수 있다.
딥러닝은, 예를 들면 화상 내의 오브젝트나 음성 내의 단어를 식별하는 용도로서 사용된다. 물론, 본 실시형태에 따른 변형 관련 정보의 산출에 적용하는 것도 가능하다.
또한, 이러한 기계학습을 실현하는 하드웨어 구조로서는, 뉴럴 네트워크의 개념이 통합된 뉴로칩(neurochip)/뉴로모픽 칩(neuromorphic chip)이 사용될 수 있다.
또한, 기계학습의 문제 설정에는, 교사 학습, 비교사 학습, 반교사 학습, 강화 학습, 역강화 학습, 능동 학습, 전이 학습 등이 있다.
예를 들면, 교사 학습은, 주어진 라벨이 붙은 학습 데이터(교사 데이터)에 기초하여 특징량을 학습한다. 이에 의해, 미지(未知)의 데이터의 라벨을 도출하는 것이 가능해진다.
또한, 비교사 학습은, 라벨이 붙어 있지 않은 학습 데이터를 대량으로 분석하여 특징량을 추출하고, 추출한 특징량에 기초하여 클러스터링을 행한다. 이에 의해, 방대한 미지의 데이터에 기초하여 경향의 분석이나 미래 예측을 행하는 것이 가능해진다.
또한, 반교사 학습은, 교사 학습과 비교사 학습을 혼재시킨 것이며, 교사 학습으로 특징량을 익히게 한 후, 비교사 학습으로 방대한 훈련 데이터를 주고, 자동적으로 특징량을 산출시키면서 반복 학습을 행하는 방법이다.
또한, 강화 학습은, 어떤 환경 내에서의 에이전트가 현재의 상태를 관측하여 취해야 할 행동을 결정하는 문제를 다루는 것이다. 에이전트는, 행동을 선택함으로써 환경으로부터 보수(報酬)를 습득하고, 일련의 행동을 통하여 보수가 가장 많이 얻어지는 방책을 학습한다. 이와 같이, 어떤 환경에 있어서의 최적 해를 학습함으로써, 인간의 판단력을 재현하고, 또한, 인간을 넘어서는 판단력을 컴퓨터에 습득시키는 것이 가능해진다.
기계학습에 의해, 컨트롤러(50)는, 가상적인 센싱 데이터를 생성하는 것도 가능하다. 예를 들면, 컨트롤러(50)는, 입력된 화상 정보로부터 위치 정보를 생성하는 등, 어떤 센싱 데이터로부터 다른 센싱 데이터를 예측하여 입력 정보로서 사용하는 것이 가능하다.
또한, 컨트롤러(50)는, 복수의 센싱 데이터로부터 다른 센싱 데이터를 생성하는 것도 가능하다. 또한, 컨트롤러(50)는, 필요한 정보를 예측하고, 센싱 데이터로부터 소정의 정보를 생성하는 것도 가능하다.
또한, 기계학습과는 다른 임의의 학습 알고리즘 등이 사용되어도 된다. 소정의 학습 알고리즘에 따라 변형 관련 정보를 산출함으로써, 변형 관련 정보의 산출 정밀도를 향상시키는 것이 가능해진다.
한편, 학습 알고리즘의 적용은, 본 개시 내의 임의의 처리에 대하 실행되어도 된다.
변형 관련 정보의 생성에 대해, 학습 알고리즘이 사용되는 경우에 한정되는 것은 아니다. 통계 처리나 임의의 해석 처리 등에 의해, 변형 관련 정보를 생성하는 것도 가능하다.
예를 들면, 복수의 센서(30)의 각각의 검출 결과에 대해 통계 처리가 실행된다. 또는, 시계열에 따라 검출되는(소정의 검출 레이트에 의해 검출되는) 복수의 검출 결과에 대해, 통계 처리가 실행된다. 이에 의해, 변형 관련 정보를 생성하는 것이 가능하다.
통계 처리로서는, 예를 들면, 복수의 검출 결과(또는 검출 결과 계열)의 최소값, 최대값, 평균값, 모드(최빈값), 메디안(중앙값), 편차, 분산값 등을 사용한 다양한 처리를 들 수 있다. 또는 이들 값을, 적절히 구분 사용하는 것도 가능하다.
예를 들면, 센서(30)의 이상치(outlier)에 기초하여 고장을 발견하는 것 등도 가능하다. 또한, 검출 결과의 편차가 많은 경우에는, 중앙값을 신뢰함으로써 변형 관련 정보의 생성 정밀도의 향상을 도모하는 것도 가능해진다.
이와 같이 복수의 센서(30)의 검출 결과에 기초하여, 다양한 변형 관련 정보를 생성하는 것이 가능하다. 따라서, 사용자(1)는, UI 장치(100)를 변형 가능한 인터페이스로 하여, 다양한 조작을 입력하는 것이 가능해진다.
도 1에 나타내는 바와 같이, 본 실시형태에서는, 기체부(5)와, 변형 부재(10)가 접속됨으로써, 공기를 보유 가능한 내부 공간(S1)이 형성된다. 따라서, 기체부(5) 및 변형 부재(10)는, 공간을 형성하고, 공간에 접하여 배치된 변형 가능한 부재를 갖는 공간 형성부로서 기능한다. 유체 제어 기구(40)를, 공간 형성부의 일부로서 간주하는 것도 가능하다.
유체 제어 기구(40) 및 컨트롤러(50)는, 공간에 대한 유체의 흐름을 제어함으로써, 부재를 변형시키는 것이 가능한 유체 제어부로서 기능한다. 또한, 유체 제어 기구(40) 및 컨트롤러(50)는, 촉각 제시부로서 기능한다.
복수의 신호원(20)은, 공간 내에 신호를 출사하는 신호 출사부로서 기능한다.
복수의 센서(30)는, 공간 내에 부재와는 비접촉으로 배치되고, 출사된 신호를 검출하는 검출부로서 기능한다. 복수의 센서(30)를 비접촉 센서로서 배치함으로써, 변형 부재(10)의 큰 변형에도 대응할 수 있어, 다양한 변형 관련 정보를 고정밀도로 생성하는 것이 가능하다.
한편, 신호로서 광이 출사되는 경우, 복수의 센서(30)는, 복수의 발광부에 상당한다.
도 2는 UI 장치(100)의 동작 예를 나타내는 플로우차트이다. 도 2에 나타내는 예에서는, 본 기술에 따른 형상 제어 방법의 일 실시형태에 상당한다.
복수의 신호원(20)에 의해, 내부 공간(S1) 내에 신호가 출사된다(스텝(101)).
신호를 출사하는 타이밍은 한정되지 않는다. 예를 들면, 소정의 간격(검출 레이트)으로 연속적으로 신호가 출사되어도 된다. 또는, 소정의 트리거 신호를 수신한 경우에, 신호가 출사되어도 된다.
복수의 센서(30)에 의해, 신호가 검출된다(스텝(102)).
신호를 검출하는 타이밍, 즉 검출 결과를 출력하는 타이밍은 한정되지 않는다. 예를 들면, 신호원(20)의 출사와 동기한 타이밍에서 검출 결과가 출력되어도 된다. 또는, 소정의 간격(검출 레이트)으로 연속적으로 검출 결과가 출력되어도 된다. 또는, 소정의 트리거 신호를 수신한 경우에, 검출 결과가 출력되어도 된다.
컨트롤러(50)에 의해, 변형 관련 정보가 생성된다(스텝(103)).
생성된 변형 관련 정보는, 사용자(1)로부터의 입력 정보로서, 임의로 이용하는 것이 가능하다.
예를 들면, 사용자(1)로부터의 입력 정보(변형 관련 정보)에 기초하여, 사용자(1)의 변형 부재(10)에 대한 다양한 조작을 판정 또는 추정하는 것이 가능해진다.
예를 들면, 변형 관련 정보에 기초하여, 검지손가락 1개에 의한 중앙 부분의 압입 조작이라고 판정한다. 또는, 엄지손가락과 검지손가락의 2개에 의한 집기 조작이라고 판정한다. 이러한 판정이 가능하다. 한편, 압입 조작이나 집기 조작 등의 조작 내용을, 변형 관련 정보로서 생성하는 것도 가능하다.
또한, 사용자(1)로부터의 입력 정보(변형 관련 정보)의 이용 예로서, 예를 들면, 1개의 손가락(1개의 물체)으로 외면(10b)의 중앙 부분을 압입하는 조작에 따라, 방의 조명을 ON으로 한다. 2개의 손가락(2개의 물체)으로 외면(10b)을 집는 조작에 따라, 방에 놓여 있는 부저를 울린다. 이러한 다양한 실시예를 실현하는 것이 가능하다.
나아가, 사용자(1)로부터의 입력 정보(변형 관련 정보)에 기초하여, 시각, 청각 등의 다른 감각과의 제휴 처리가 실행되어, 사용자(1)에게 피드백으로서 제시하는 것도 가능하다.
변형 관련 정보를, 사용자(1)로부터의 입력 정보로서 사용하는 경우에 한정되지 않는다. 변형 관련 정보에 기초하여, 다른 장치나 기구의 움직임·변위 등이 검출되어도 된다. 이 경우, UI 장치와는 다른 명칭으로 불릴 가능성은 있다. 반대로 말하면, UI 장치와는 다른 장치에, 본 기술을 적용하는 것도 가능하다.
컨트롤러(50)에 의해, 변형 관련 정보에 기초하여, 촉각 제시가 필요한지 여부가 판정된다(스텝(104)).
촉각 제시가 필요하다고 판정된 경우(스텝(104)의 예), 유체 제어 기구(40)에 의해, 변형 부재(10)에 접촉하는 사용자(1)에게 소정의 촉각이 제시되도록, 유체의 출입이 제어된다(스텝(105)).
예를 들면, 생성된 변형 관련 정보에 기초하여, 유체의 흐름이 제어되어도 된다. 이에 의해, 사용자(1)의 조작 입력에 따른 촉각의 제시를 실현하는 것이 가능해진다.
예를 들면, 사용자(1)의 누름 동작(조작)에 따라 변형 부재(10)를 팽창 또는 수축시키고, 순간적인 압박 자극 또는 진동 자극을 주어, 확실하게 눌렀다고 하는 조작감을 준다. 또한, 사용자(1)의 긴 누름 동작(조작)에 따라 변형 부재(10)를 팽창 또는 수축시키고, 계속적인 압박 자극 또는 진동 자극을 주어, 확실하게 누르고 있다고 하는 조작감을 준다.
이러한 다양한 촉각 제시가 가능해짐으로써, 변형 부재(10)를 눌렀을 때의 촉감을, 푸시 버튼을 눌렀을 때의 촉감이나, 진동 피드백 버튼을 눌렀을 때의 촉감 등, 다양한 촉감으로 스위칭하는 것도 가능해진다.
물론, 예를 들면, 사용자(1)가 강하게 압입함으로써 변형 부재(10)를 팽창시켜 반발시키거나, 사용자(1)가 강하게 집음으로써 변형 부재(10)를 수축시킨다는 등의 다양한 촉각 제시도 가능하다.
도 21은 UI 장치(100)의 다른 동작 예를 나타내는 플로우차트이다. 도 21에 나타내는 예도, 본 기술에 따른 형상 제어 방법의 일 실시형태에 상당한다.
스텝(201∼203)은 도 2에 나타내는 스텝(101∼103)과 마찬가지이다.
도 22는 사용자(1)로부터의 입력 정보(변형 관련 정보)의 이용 예를 설명하기 위한 모식도이다.
도 22의 A에 나타내는 바와 같이, UI 장치(100)를 피아노나 키보드의 건반(92)으로서 구성하는 것도 가능하다.
예를 들면, 사용자(1)의 건반(92)에 대한 누름 동작에 따라 생성되는 변형 관련 정보에 기초하여, 손 기술 숙달의 관점에서 올바른 손가락으로 올바른 동작에 의해 눌러지고 있는지를 판정하는 것이 가능하다.
예를 들면, 변형 관련 정보로서, 접촉 물체의 사이즈, 형상, 움직임 등이 생성된다. 컨트롤러(50)에 의해, 변형 관련 정보와, 미리 가지고 있는 데이터 세트의 대조가 실행된다. 이에 의해, 사용자(1)의 개인 특정, 어느 손가락인지, 올바른 동작인지 등과 같은 것을 판정하는 것이 가능해진다. 물론, 기계학습 등이 사용되어도 된다.
예를 들면, 판정 결과를 사용자(1)에게 피드백하거나 함으로써, 피아노나 키보드 등의 손가락의 누름 동작의 손 기술 향상을 실현하는 것이 가능해진다. 손 기술 향상을 위한 가이드 정보 등이 사용자(1)에게 제시되어도 된다.
도 22의 B에 나타내는 바와 같이, UI 장치(100)를 베개(93)로서 구성하는 것도 가능하다.
예를 들면, 사용자(1)가 베개(93)를 사용할 때의 누름 동작에 따라 생성되는 변형 관련 정보에 기초하여, 사람의 부위, 전신의 사이즈, 형상, 자세 등의 정보를 취득하는 것이 가능하다.
예를 들면, 변형 관련 정보로서, 접촉 물체의 사이즈, 형상, 움직임 등이 생성된다. 컨트롤러(50)에 의해, 변형 관련 정보와, 미리 가지고 있는 데이터 세트의 대조가 실행된다. 이에 의해, 사용자(1)의 개인 특정, 어느 신체 부위인지, 올바른 잠자는 모습인지 등을 판정하는 것이 가능해진다. 물론, 기계학습 등이 사용되어도 된다.
예를 들면, 이들 정보를 사용자(1)에게 피드백하거나 함으로써, 베개(93)의 신체에의 접촉 상태를 파악하는 것이 가능해져서, 자신에게 맞는 베개의 선택, 수면시의 자세의 개선 등, 보다 양호한 수면을 실현하기 위한 행동을 취하는 것이 가능해진다. 그 결과, 수면 상태의 향상을 실현하는 것이 가능해진다.
한편, 베개에 한정되지 않고, 소파나 침대 등의, 사용자(1)가 앉거나 눕거나 하는 가구 등에 대해, 본 기술을 적용하는 것도 가능하다. UI 장치(100)를 소파나 침대로서 구성함으로써, 신체의 접촉 상태의 정보를 취득하는 것이 가능해져서, 사용감 등을 향상시키는 것이 가능해진다.
이러한 다양한 실시예를 실현하는 것이 가능하다.
변형 관련 정보에 기초하여, 다른 장치나 기구의 움직임·변위 등이 검출되어도 된다. 이 경우, UI 장치와는 다른 명칭으로 불릴 가능성은 있다. 반대로 말하면, UI 장치와는 다른 장치에, 본 기술을 적용하는 것도 가능하다.
컨트롤러(50)에 의해, 변형 관련 정보에 기초하여, 유체 제어에 의한 변형이 필요한지 여부가 판정된다(스텝(204)).
유체 제어에 의한 변형이 필요하다고 판정된 경우(스텝(204)의 예), 유체 제어 기구(40)에 의해, 유체의 출입이 제어된다(스텝(205)).
이와 같이 변형 관련 정보에 기초하여, 촉각의 제시가 아니라, 변형 부재(10)를 소정의 형상으로 변형시키기 위해 유체의 제어가 실행되어도 된다. 예를 들면, 변형 부재(10)가 오므라들어 있는 상태에서 가볍게 찌르는 것에 응답하여, 변형 부재(10)를 팽창시켜 크게 하는 것 등도 가능하다.
또한, 예를 들면, 캐릭터나 UI 버튼의 영상이 투영된 표면의 형상을, 원하는 형상으로 변형시킨다. 예를 들면, 사용자(1)가 시청하고 있는 영상 정보에 대응한 형상에 가까워지도록 변형시킨다. 이러한 다양한 실시예를 실현하는 것이 가능하다.
한편, 형상을 변형시킬 때에는, 복수의 센서(30)의 검출 결과에 기초한 변형 관련 정보를 실시간으로 생성하여 참조함으로써, 소정의 형상에 적정하게 가까워지고 있는지 여부를 판정하는 것도 가능하다. 그 결과, 고정밀도의 형상 변화가 실현된다.
[변형 부재의 변형과 센서의 검출 결과 간의 관계]
변형 부재(10)의 변형과 센서(30)의 검출 결과 간의 관계에 대해 검토하기 위해, 다양한 실험을 행하였다.
도 3 및 도 4는, 물체에 의한 트레이싱 동작과 센서(30)의 검출 결과 간의 관계를 검토하기 위한 실험의 개요를 설명하기 위한 모식도이다.
도 3에 나타내는 바와 같이, 트레이싱 프로브(tracing probe)(55)가 부착된 XYZ축 스테이지(56)와, 변형 가능하게 구성된 막 부재(57)와, 기판(58)을 배치한다.
XYZ축 스테이지(56)는, 서로 직교하는 XYZ축의 각 방향에 있어서, 트레이싱 프로브(55)를 이동시키는 것이 가능하다.
도 3에 나타내는 바와 같이, 본 실시형태에서는, Z방향으로 연장하도록, 트레이싱 프로브가 XYZ축 스테이지(56)에 부착된다.
XYZ축 스테이지(56)가 동작함으로써, 트레이싱 프로브(55)의 선단(55a)이, XYZ축의 각 방향에 있어서 이동된다.
막 부재(57) 및 기판(58)은, Z방향에 대해 수직하게 배치된다. 막 부재(57) 및 기판(58)은, 서로 대향하도록, 소정의 간격을 두고, 소정의 위치에 각각 고정된다. Z방향을 따라 보면, XYZ축 스테이지(56)(트레이싱 프로브(55)), 막 부재(57), 기판(58)의 순서로, 각 디바이스가 배치된다.
XYZ축 스테이지(56)는, 트레이싱 프로브(55)의 선단(55a)이 막 부재(57)의 표면에 접촉하는 위치로부터, 기판(58) 측을 향해, 트레이싱 프로브(55)의 선단(55a)을 압입하는 것이 가능하다. 또한, XYZ축 스테이지(56)는, 트레이싱 프로브(55)의 선단(55a)을 압입한 상태에서, X방향 및 Y방향으로 트레이싱 프로브(55)의 선단(55a)을 이동시키는 것이 가능하다.
한편, XYZ축 스테이지(56)의 이동 단위는 1mm이다. 즉, 본 실험에 있어서의 측정 분해능은 1mm가 된다.
도 4는 기판(58)의 막 부재(57) 측의 표면을 나타내는 모식도이다.
기판(58)에는, 복수의 근적외 LED(59)과, 복수의 수광 센서(60)가 배치된다.
복수의 근적외 LED(59) 및 복수의 수광 센서(60)는, 세로 5개×가로 5개의 전체로서 합계 25개 배치된다. X방향 및 Y방향에 있어서의 간격(피치)은 5mm이다.
근적외 LED(59)는, 중앙의 위치와 4 코너의 위치에, 합계 5개 배치된다.
수광 센서(60)는, 그 밖의 위치에, 합계 20개 배치된다.
복수의 근적외 LED(59) 및 복수의 수광 센서(60)는, 각각 개별로 제어하는 것이 가능하다.
(실험 1)
중앙의 근적외 LED(59a)를 ON으로 한다.
근적외 LED(59a)의 좌우에 인접하는 수광 센서(60a 및 60b)의 검출 결과를 취득한다. 좌측의 수광 센서(60a)를 ch1로 하고, 우측의 수광 센서(60b)를 ch3으로 한다.
트레이싱 프로브(55)의 선단(55a)이 막 부재(57)의 표면에 접촉하는 위치로부터, 기판(58) 측으로 6mm 압입한다.
그 상태에서, 근적외 LED(59a)와 수광 센서(60a 및 60b)가 늘어서는 직선 위를, 트레이싱 프로브(55)에 의해 트레이싱하게 한다. 즉, 근적외 LED(59a)와, 수광 센서(60a 및 60b)의 바로 위의 위치(바로 정면의 위치)에서 트레이싱 조작을 실행한다.
트레이싱하는 범위는, 근적외 LED(59a)의 위치를 기준으로 하여 좌우 10mm(합계 20mm)의 범위이다. 이 범위를 좌우 어느 하나의 단부로부터 타방의 단부까지 1mm씩 트레이싱 프로브(55)를 이동시킨다.
도 5는 실험 결과를 나타내는 그래프이다.
본 실험에서는, 수광 센서(60)로서 PD가 사용되고 있고, 센서 레벨로서 전압이 측정된다.
CH간 보정은, 수광 센서(60a 및 60b)의 특성의 편차 등을 보정하는 처리이다. 예를 들면, 트레이싱 프로브(55)가 수광 센서(60a 및 60b)의 사이의 X=0의 위치에 있는 경우에, 양쪽 센서의 센서 레벨이 동등하게 되도록 CH간 보정이 실행된다.
물론, 실험할 때뿐만 아니라, UI 장치(100)에 탑재되는 복수의 센서(30)에 대해, 적절히 CH간 보정이 실행되어도 된다. 이에 의해 변형 관련 정보의 생성 정밀도를 향상시키는 것이 가능해진다.
(실험 2)
(실험 1)과 마찬가지로, 중앙의 근적외 LED(59a)를 ON으로 한 상태에서, 수광 센서(60a 및 60b)의 검출 결과를 취득한다.
(실험 1)과 마찬가지로, 압입량 6mm 및 동일한 범위에서 트레이싱 조작을 실행한다.
이에 더하여, 압입량 7mm 및 동일한 범위에서 트레이싱 조작을 실행한다.
도 6은 실험 결과를 나타내는 그래프이다.
한편, (실험 1)과는 다른 시행이지만, 압입량 6mm 및 동일한 범위에서의 트레이싱 조작의 결과는, 대략 동일하다.
한편, 다른 방향이나 경사 방향에서의 트레이싱 조작, 다른 압입량을 설정한 경우의 트레이싱 조작이어도, 거의 마찬가지의 결과가 얻어졌다.
도 7은 실험 1을 반복하여 행함으로써 얻어진 지견을 설명하기 위한 도면이다.
도 7의 B에 나타내는 바와 같이, 광을 출사하는 신호원(발광부)(20a)을 사이에 두도록, 광을 검출하는 센서(수광 센서)(30a 및 30b)를, 직선 상에 배치한다.
신호원(20a)과 센서(30a 및 30b)의 상방측에 막 형상의 변형 부재(10)를 배치하고, 신호원(20a)과 센서(30a 및 30b)가 늘어서는 직선 위를, 좌우로 트레이싱한다.
도 7의 B에 모식적으로 나타내는 바와 같이, 물체(2)의 트레이싱 조작에 따라 변형 부재(10)가 변형되므로, 변형 부재(10)의 내면(10a)에 의해 반사되는 광의 상태도 변화한다.
도 7의 A의 그래프에 나타내는 바와 같이, 센서(30a)의 검출 결과인 센서 값(31a)과, 센서(30b)의 검출 결과인 센서 값(31b)이, 좌우 반전된 형상을 나타냈다. 즉, 신호원(20a)의 발광 위치를 기준으로 하여, 센서 값(31a)과 센서 값(31b)이 좌우 대칭의 형상을 나타냈다.
또한, 물체(2)가 센서(30a)의 바로 위의 위치에 있는 경우에, 센서(30a)의 센서 값(31a)이 최대값이 된다. 물체(2)가 센서(30b)의 바로 위의 위치에 있는 경우에, 센서(30b)의 센서 값(31b)이 최대값이 된다.
(실험 1)을 반복하였더니, 도 5에 예시하는 바와 같은 실험 결과가 많이 얻어지고, 도 7의 A에 예시하는 바와 같은 경향이 발견되었다.
한편, 예를 들면, 센서(30b)만을 배치한 경우, 위치(P1)와 위치(P2)에서 센서 값(31b)이 동일한 값(M1)이 되었다. 즉, 위치에 따라서는, 동일한 센서 값(31b)을 나타내는 경우가 있을 수 있었다.
그러나, 센서(30a)의 센서 값(31a)을 참조함으로써, 위치(P1)인지 위치(P2)인지를 식별하는 것이 가능하다.
이와 같이 센서(30)를 복수 배치함으로써, 변형 관련 정보의 생성 정밀도를 향상시키는 것이 가능해진다. 또한, 위치뿐만 아니라 요철 등의, 보다 고도의 변형 관련 정보를 생성하는 것이 가능해진다.
도 8은 실험 2를 반복하여 행함으로써 얻어진 지견을 설명하기 위한 도면이다.
물체(2)에 의한 압입량을 다르게 해서, 도 7과 마찬가지의 범위에서 트레이싱 조작을 행한다. 예를 들면, 높이(H1) < 높이(H2) < 높이(H3)에서, 트레이싱 조작을 행한다. 높이(H)는, 신호원(20a)과 센서(30a 및 30b)가 배치되어 있는 위치를 기준으로 한 물체(2)의 높이이다.
도 8에 나타내는 바와 같이, 센서 값(31a 및 31b)을 나타내는 그래프는, 동일한 형상을 유지한 채 전체적으로 크기(강도)이 변화한다.
압입량이 많은 경우에 대응하는 높이(H1)의 그래프는, 상대적으로 센서 값(31a 및 31b)이 크다. 압입량이 적어질수록, 즉 높이가 높아질수록, 센서 값(31a 및 31b)은 상대적으로 작아진다(H2→H3).
(실험 2)를 반복하였더니, 도 6에 예시하는 바와 같은 실험 결과가 많이 얻어지고, 도 8에 예시하는 바와 같은 경향이 발견되었다.
한편, 예를 들면, 센서(30b)만을 배치한 경우, 높이(H1)에 있어서의 위치(P3)에서의 센서 값(31a)과, 높이(H2)에 있어서의 위치(P4)의 센서 값(31a)이 동일한 값(M2)이 되었다. 즉, 압입량을 바꾼 경우, 다른 위치에서 동일한 센서 값(31a)을 나타내는 경우가 있을 수 있었다.
그러나, 센서(30a)의 센서 값(31a)을 참조함으로써, 위치(P3)인지 위치(P4)인지를 식별하는 것이 가능하다.
이와 같이 센서(30)를 복수 배치함으로써, 변형 관련 정보의 생성 정밀도를 향상시키는 것이 가능해진다. 또한, 고도의 변형 관련 정보를 생성하는 것이 가능해진다.
도 7 및 도 8에 예시하는 바와 같이, 물체(2)의 위치에 따른 변형 부재(10)의 변형에 대응하여, 센서(30a 및 30b)의 검출 결과가 얻어지는 것을 알았다. 즉, 변형 부재(10)의 변형(물체(2)의 접촉 상태)과, 센서(30a 및 30b)의 검출 결과 간에 상관이 있는 것을 알았다.
한편, 장치 구성(변형 부재(10)의 신호 반사 특성이나 신호원(20) 및 센서(30)의 배치 구성 등)에 따라, 변형 부재(10)의 변형(물체(2)의 접촉 상태)과, 센서(30a 및 30b)의 검출 결과 간의 상관관계가 달라지는 경우도 있을 수 있다.
예를 들면, 도 5∼도 8에 나타내는 결과는, 물체(2)의 높이(압입량)와 센서 값의 강도 간에 강한 상관성이 보여지는 결과라고 말할 수 있다. 예를 들면, 변형 부재(10)의 내면(10a)의 반사 특성으로서, 경면 반사보다도 확산 반사의 특성이 강하는 경우에, 도 5∼도 8에 나타내는 바와 같은 결과가 얻어진다고 생각된다. 또한, 신호원(20) 및 센서(30)가 배치되는 면과, 내면(10a) 간의 거리가 작게 설계되는 경우에도, 도 5∼도 8에 나타내는 바와 같은 결과가 얻어진다고 생각된다.
도 9는 다른 장치 구성에 의해 보여지는, 변형 부재(10)의 변형(물체(2)의 접촉 상태)과, 센서(30a 및 30b)의 검출 결과 간의 상관관계를 설명하기 위한 도면이다.
예를 들면, 변형 부재(10)의 내면(10a)의 반사 특성으로서, 확산 반사보다도 경면 반사의 특성이 강해지도록 설계한다.
이 경우, 도 9의 A에 나타내는 바와 같은 센서 값의 경향이 발견되었다. 즉, 물체(2)가 신호원(20a)의 발광 위치와, 센서(30b)의 수광 위치의 사이의 위치에 있는 경우에, 센서(30a)의 센서 값(31a)이 최대값이 된다. 또한, 물체(2)가 신호원(20a)의 발광 위치와, 센서(30a)의 수광 위치의 사이의 위치에 있는 경우에, 센서(30b)의 센서 값(31a)이 최대값이 된다.
이는, 도 9b에 나타내는 바와 같이, 내면(10a)의 형상에 따른 신호의 반사 각도(반사 방향)와, 센서 값의 강도 간에 강한 상관성이 보여진 결과라고 생각된다. 예를 들면, 신호원(20) 및 센서(30)가 배치되는 면과, 내면(10a) 간의 거리가 크게 설계되는 경우에도, 도 9에 나타내는 바와 같은 결과가 얻어진다고 생각된다.
이와 같이, 장치 구성에 따라 상관관계가 다른 경우를 있을 수 있지만, 변형 부재(10)의 변형(물체(2)의 접촉 상태)과, 센서(30a 및 30b)의 검출 결과 간에 상관이 있는 것을 알았다. 또한, 그 상관관계도, 장치 구성이 정해지면, 소정의 경향이 보여지는 것을 알았다.
또한, 변형 부재(10)의 변형(물체(2)의 접촉 상태)과, 센서(30a 및 30b)의 검출 결과 간의 상관은, 신호의 종류에 관계없이 보여진다. 물론, 신호의 종류에 따라, 상관관계가 다른 경우는 있을 수 있지만, 상관이 있는 것 자체는 말할 수 있다. 또한, 장치 구성에 대응한 상관관계의 경향도 보여진다.
한편, 본 실험은, 도 3에 예시하는 바와 같이, 막 부재(57)와 기판(58)이 평행하게 배치되어 있는 구성에 있어서의 실험으로 되어 있다. 이 실험에 의해, 예를 들면, 물체(2)의 위치나 내면(10b)의 형상 등과, 센서(30a 및 30b)의 검출 결과 간에 상관이 있다는 것을 알았다.
예를 들면, 도 1에 예시하는 UI 장치(100)에서는, 원형의 판 형상의 기체부(5)의 주연부에, 외형이 반구 형상인 변형 부재(10)가 접속된다.
이러한 장치 구성에 있어서도, 기체부(5)의 소정의 위치에 복수의 신호원(20)과 복수의 센서(30)를 배치한다. 이에 의해, 상기 실험과 마찬가지로, 변형 부재(10)에 접촉하는 사용자(1)의 접촉 위치나, 사용자(1)의 접촉 등에 의한 변형 부재(10)의 내면(10a)의 형상 등과, 복수의 센서(30)의 검출 결과 간에 상관이 보여진다. 그리고, 그 상관관계는, UI 장치(100)를 조립하여, 실험이나 캘리브레이션 등을 행함으로써, 찾아내는 것이 가능하다.
이러한 지견에 기초하여, 복수의 센서(30)에 의해 검출되는 검출 결과에 기초하여, 변형 부재(10)의 변형에 관한 변형 관련 정보를 생성하는 것을 새롭게 찾아냈다.
도 10은 변형 관련 정보의 생성용의 학습 완료된 모델의 생성 예를 설명하기 위한 모식도이다.
학습용의 검출 결과군(65)과, 라벨(66)이, 학습부(67)에 입력된다.
라벨(66)은, 학습용의 각 검출 결과와 연관된 정보이며, 생성하고 싶은 변형 관련 정보이다.
예를 들면, 소정의 장치 구성이 되도록 UI 장치(100)를 조립하여, 실험이나 캘리브레이션 등에 의해, 변형 부재(10)의 형상에 따른 검출 결과나, 물체의 접촉 상태에 따른 검출 결과를 취득한다. 취득된 검출 결과에 대해, 기계학습의 출력으로서 취득하고 싶은 변형 관련 정보를 라벨(66)로서 설정한다.
예를 들면, 1개의 손가락으로 소정의 위치를 트레이싱한 것으로 한다. 이 조작에 의해 얻어진 검출 결과를, 학습용의 검출 결과로서 보존한다. 그리고, 1개의 손가락으로 소정의 위치를 트레이싱하는 조작에 관한 변형 관련 정보를 라벨(66)로서 설정한다.
예를 들면, 이하와 같은 변형 관련 정보를 들 수 있다.
「접촉 물체 있음」, 「접촉 위치」, 「트레이싱 궤적」, 「손가락 1개로 접촉」, 「손가락의 사이즈」, 「트레이싱 동작임」, 「손가락의 형상」, 「물체는 손가락임」, 「이동 속도」 등을 들 수 있다. 물론 이들에 한정되는 것은 아니다.
이와 같이, 기계학습의 입력으로서 사용하는 센서(30)의 검출 결과와, 기계학습 알고리즘에 따라 출력시키고 싶은 변형 관련 정보를 연관시킴으로써, 학습용의 데이터 세트가 생성된다.
한편, 미리 생성되어 있는 학습용의 데이터 세트를 취득하여, 학습부(67)에 입력해도 된다.
학습부(67)에 의해, 학습용의 데이터 세트가 사용되어, 기계학습 알고리즘에 기초하여 학습이 실행된다. 학습에 의해, 변형 관련 정보를 생성하기 위한 파라미터(계수)가 갱신되어, 학습 완료된 파라미터로서 생성된다. 생성된 학습 완료된 파라미터가 통합된 프로그램이, 학습 완료된 모델(68)로서 생성된다.
학습 완료된 모델(68)에 의해, 센서(30)의 검출 결과의 입력에 대해 변형 관련 정보가 산출된다.
한편, 기계학습의 입력이, 센서(30)의 검출 결과인 경우로 한정되는 것은 아니다. 예를 들면, 센서(30)의 검출 결과에 기초하여 생성된 파라미터 등의 정보가, 기계학습의 입력으로서 사용되어도 된다. 그리고, 기계학습 알고리즘에 따라, 변형 관련 정보가 생성되어도 된다.
또한, 학습부(67)가, UI 장치(100)의 외부에 구성되는 경우도 있을 수 있다. 학습부(67)의 학습에 의해 생성된 학습 완료된 모델(68)이, 네트워크 등을 통해 취득 가능하여도 된다.
도 11은 본 기술에 의해 취득 가능한 변형 관련 정보의 예를 설명하기 위한 모식도이다.
도 11의 A 및 B를 참조하면, 변형 부재(10)(외면(10b))에 접촉한 물체(2)의 유무에 관한 변형 관련 정보로서 취득하는 것이 가능하다.
도 11의 B∼D를 참조하면, 변형 부재(10)(외면(10b))에 접촉한 물체(2)의 위치, 및 변형 부재(10)(외면(10b))에 접촉한 물체(2)의 수에 관한 변형 관련 정보를 취득하는 것이 가능하다.
도 11의 D를 참조하면, 집기 등의, 변형 부재(10)(외면(10b))에 접촉한 물체(2)의 움직임에 관한 변형 관련 정보를 취득하는 것이 가능하다. 예를 들면, 트레이싱, 집기, 쓰다듬기, 기울이기, 돌리기, 옮기기, 꼬집기 등, 사용자(1)가 입력한 다양한 조작에 관한 변형 관련 정보를 취득하는 것이 가능하다.
도 11의 B 및 E를 참조하면, 변형 부재(10)(외면(10b))에 접촉한 물체(2)의 사이즈에 관한 변형 관련 정보를 취득하는 것이 가능하다.
도 11의 B 및 F를 참조하면, 변형 부재(10)(외면(10b))에 접촉한 물체(2)의 형상, 및 변형 부재(10)(외면(10b))에 접촉한 물체(2)의 종류에 관한 변형 관련 정보를 취득하는 것이 가능하다.
한편, 변형 관련 정보를 취득할 때, 기지(旣知)의 데이터와의 대조가 실행되어도 된다.
예를 들면, 「엄지손가락」, 「연필」, 「바나나」 등의 물체의 종류에 따른 형상 데이터가, 기지의 데이터로서 기억되어 있다. 컨트롤러(50)는, 센서(30)의 검출 결과에 기초하여 변형 부재(10)의 형상을 산출한다. 그리고, 기억되어 있는 기지 데이터와, 산출 결과인 형상을 대조함으로써, 물체(2)의 종류를 판정한다. 이와 같이 하여 물체의 종류에 관한 변형 관련 정보가 산출되어도 된다. 물론, 기지의 데이터와 대조되는 대상이 되는, 산출 결과인 형상도 변형 관련 정보에 포함되는 정보이다.
물론, 물체의 종류에 한정되지 않고, 물체(2)의 움직임 등, 다른 변형 관련 정보를 생성할 때에도, 기지의 데이터와의 대조가 실행되어도 된다.
또한, 변형 부재(10)의 형상과 물체(2)의 움직임 등이 연관된 테이블 정보 등이 적절히 참조되어도 된다. 예를 들면, 센서(30)의 검출 결과에 기초하여 변형 부재(10)의 형상이 산출된 후에, 테이블 정보 등이 참조되어, 변형 관련 정보가 생성되어도 된다.
예를 들면, 물체(2)의 종류에 관한 변형 관련 정보에 기초하여, 입력에 따른 처리를 다르게 하는 것이 가능하다. 예를 들면, 물체(2)가 사용자(1)의 「손가락」인 경우에는, 손의 운동에 대응하는 처리를 실행한다. 물체(2)가 「연필」인 경우에는, 문자나 그림을 쓰는 동작에 대응하는 처리를 실행한다. 이와 같이, 물체(2)의 종류에 따라, UI 장치(100)의 기능을 스위칭하는 것도 가능해진다.
사용자(1)의 동작에 따라, 상이한 촉각 피드백을 실행하는 것도 가능하다. 예를 들면, 다양한 촉각을 제시 가능한 구성과 본 기술을 조합함으로써, 다양한 촉각 피드백을 실현하는 것이 가능해진다.
예를 들면, 모피에 접촉하고 있는 바와 같은 촉각을 제시 가능한 구성에 있어서, 사용자(1)의 트레이싱 동작, 트레이싱의 방향, 트레이싱의 속도 등을, 변형 관련 정보로서 취득하는 것이 가능하다. 이에 의해, 트레이싱의 방향이나 속도 등에 따라, 상이한 촉각 피드백을 실현하는 것이 가능해진다. 그 결과, 털의 방향이나 털의 경도 등을, 촉감의 차이에 의해 표현하는 것이 가능해진다.
또한, 미세한 요철감을 트레이싱의 변위와 동기시켜, 진동으로 재현하는 것도 가능해진다.
또한, 만지는 방식 등의 개인차에 의한 편차를 보정하여, 개인차가 없는 정확한 촉각 제시를 실행하는 것도 가능하다. 예를 들면, 소정의 위치에서 소정의 동작을 하는 경우에, 소정의 촉각을 제시한다고 하는 시스템에 있어서, 위치의 편차나 동작의 편차에 의해, 사용자(1)에게 제시하는 촉각(사용자(1)가 느끼는 촉감)이 달라질 가능성이 있다.
본 기술에서는, 위치의 편차나 동작의 편차를 정밀하게 검출 가능하므로, 촉각의 제시도 미세하게 제어하는 것이 가능해지고, 소정의 촉각을 정확하게 피드백하는 것이 가능해진다.
[신호원 및 센서의 배치 구성예]
도 12는 신호원(20) 및 센서(30)의 배치 구성의 변경 예를 나타내는 모식도이다.
도 12의 A에 나타내는 바와 같이, 1개의 신호원(20)과, 1개의 센서(30)가 배치되어도 된다. 이에 의해, 장치 구성의 간소화, 저소비 전력화, 비용의 삭감 등을 도모하는 것이 가능하다.
도 12의 B에 나타내는 바와 같이, 1개의 직선 상에, 복수의 신호원(20)과, 복수의 센서(30)가 배열되어도 된다. 이러한 구성에 의해, 예를 들면 신호원(20) 및 센서(30)가 늘어서는 직선 방향에 관하여, 요철 등의 고도의 변형 관련 정보를 취득하는 것이 가능해진다.
도 12의 C∼E 및 도 1에 나타내는 바와 같이, 신호원(20) 및 센서(30)가 2차원적으로 복수 배치되어도 된다. 이에 의해, 2차원적인 기울기나 요철, 미세한 형상 변화 등을 포함하는 고도의 변형 관련 정보를 취득하는 것이 가능해진다.
도 12의 C에 나타내는 예에서는, 3개의 신호원(20)과 1개의 센서(30)가 배치되어 있다. 도 12의 D에 나타내는 예에서는, 1개의 신호원(20)과 3개의 센서(30)가 배치되어 있다. 도 12의 E 및 도 1에 나타내는 예에서는, 복수의 신호원(20)과 복수의 센서(30)가 배치되어 있다. 이와 같이, 신호원(20) 및 센서(30)의 각각의 수나, 수의 조합은 한정되지 않고, 임의로 설정되어도 된다.
센서(30)가 신호원(20)보다 적은 구성에서는, 센서(30)의 신호 증폭이나 AD 변환 등에 필요한 회로를 적게 하는 것이 가능해져서, 회로 규모를 콤팩트하게 하는 것이 가능하다. 또한, 비용의 삭감을 도모하는 것이 가능해진다.
신호원(20)이 센서(30)보다 적은 구성에서는, 하나의 신호의 출사에 의해, 다수의 검출 결과를 얻는 것이 가능하다. 이에 의해, 고속 센싱이 가능해지고, 검출 프레임을 높게 하는 것이 가능해진다.
센서(30)가 신호원(20)보다 적은 구성은, 하나 이상의 신호원의 수가, 하나 이상의 센서의 수보다 많은 구성에 상당한다. 신호원(20)이 센서(30)보다 적은 구성은, 하나 이상의 신호원의 수가, 하나 이상의 센서의 수보다 적은 구성에 상당한다.
도 12의 B∼D에 나타내는 예에서는, 신호원(20)과 센서(30) 간의 거리(간격)가 균일하게 되도록 구성되어 있다. 한편, 도 12의 E 및 도 1에 나타내는 예에서는, 신호원(20)과 센서(30) 간의 거리가 균일하게 되지 않도록 구성되어 있다.
예를 들면, 신호원(20)과 센서(30) 간의 거리가 큰 경우, 변형 부재(10)까지의 거리가 떨어져 있을 때에 센싱의 감도가 높아진다. 한편, 신호원(20)과 센서(30) 간의 거리가 작은 경우, 센싱 가능 범위가 넓어진다. 즉, 변형 부재(10)가 근거리인 경우에 대향 가능하게 된다.
이러한 지견에 기초하여, 신호원(20) 및 센서(30)의 배치 구성을 적절히 설정하면 된다. 예를 들면, 신호원(20)과 센서(30) 간의 거리가 균일하게 되지 않도록 구성한다. 즉, 신호원(20)과 센서(30) 간의 거리가 2가지 이상 있도록, 신호원(20) 및 센서(30)를 배치한다. 이에 의해, 예를 들면 변형 부재(10)까지의 거리에 관해, 광범위한 렌즈에 의해 센싱이 가능해진다.
한편, 신호원(20)과 센서(30) 간의 거리가 균일하게 되지 않은 구성은, 「하나 이상의 신호원은 복수의 신호원을 포함한다」, 또는 「하나 이상의 센서는 복수의 센서를 포함한다」중 적어도 일방이 성립함으로써, 실현 가능하다.
[신호의 출사/검출의 변경]
도 13에 예시하는 바와 같이, 신호원(20)으로부터 출사되는 신호의 강도가 시간적으로 변화 가능하여도 된다. 신호의 강도는, 예를 들면 광의 강도, 전파 강도, 음파의 강도를 포함한다. 또한, 광량이나 음량 등에 의해, 신호의 강도가 규정되어도 된다. 광량이나 음량이 많은 경우가, 강도가 높은 경우에 상당한다.
출사되는 신호의 강도를 변화 가능하게 함으로써, 센서(30) 측에서 검출 가능한 다이나믹 레인지에 적합한 출력으로 조정하는 것이 가능해져서, 센싱의 감도를 향상시키는 것이 가능해진다.
예를 들면, 변형 부재(10)가 가까운 경우에는 센서(30)로 되돌아가는 반사 성분이 강해지므로, 출사하는 신호의 강도를 낮게 한다. 변형 부재(10)가 먼 경우에는, 센서(30)로 되돌아가는 반사 성분이 약해지므로, 출사하는 신호의 강도를 높게 한다. 이에 의해 센싱의 감도를 향상시키는 것이 가능해진다.
신호 강도의 변화 패턴은 한정되지 않고, 임의로 설정되어도 된다.
도 14에 예시하는 바와 같이, 신호로서 광을 출사하는 복수의 신호원(발광부)(20)이 배치되는 것으로 한다. 이 경우, 복수의 신호원(20)이, 광의 출사 특성이 서로 다르도록 구성되어도 된다.
출사 특성으로서는, 예를 들면, 광의 파장, 강도, 및 출사 패턴 등을 들 수 있다. 예를 들면, 이들 중 적어도 하나의 특성이 서로 다르도록 구성된다. 한편, 출사 패턴은, 전형적으로는, 예를 들면 ON/OFF의 스위칭 또는 광의 강도의 제어 등, 시간축을 따른 광의 출사에 관한 시간적인 패턴이다.
예를 들면, 3개의 신호원(20)으로부터 RGB 등의 서로 다른 파장의 광이 출사된다. 물론, 파장의 구체적인 설정은 한정되지 않는다.
또는, 3개의 신호원(20)으로부터, 서로 강도가 다른 광이 출사된다.
또는, 3개의 신호원(20)에 의해, 서로 다른 타이밍에서 광이 출사된다. 예를 들면, 도 14의 A∼C에 나타내는 바와 같이, 1개씩 차례로 광이 출사된다. 물론, 이에 한정되지 않고, 임의의 출사 패턴이 각각 설정되어도 된다.
물론, 광의 파장, 강도, 및 출사 패턴이 적절히 조합되어, 복수의 신호원(20)에 대해 서로 다르도록 설정되어도 된다.
복수의 신호원(20)의 각각의 출사 특성을 다르게 함으로써, 센서(30)에 의해 검출되는 정보량을 증가시키는 것이 가능해져서, 정밀도가 높은 변형 관련 정보를 생성하는 것이 가능해진다. 또한, 신호원(20)의 광의 출사를 시분할로 제어함으로써, 저소비 전력화를 도모하는 것이 가능해진다.
한편, 신호로서, 전파나 소리가 출사되는 경우라도, 그 출사 특성을 다르게 함으로써, 마찬가지의 효과를 발휘하는 것이 가능하다.
도 15는 본 기술에 따른 구성과, 다른 용도의 기구 간의 병존/제휴를 설명하기 위한 모식도이다.
변형 관련 정보의 생성용의 신호의 파장이나 주파수 등을 적절히 규정함으로써, 동일한 종류의 신호를 사용한 다른 용도의 기구 등과, 본 기술을 병존시키는 것이 가능하다.
예를 들면, 도 15에 나타내는 예에서는, 도 1에 나타내는 구성과 마찬가지로, 5개의 신호원(20)과 4개의 센서(30)가 배치된다.
5개의 신호원(20)으로서, 자외광이나 적외광 등의 비가시광을 출사하는 LED가 배치된다. 또한, 4개의 센서(30)로서, 비가시광을 검출 가능한 수광 센서가 배치된다. 비가시광은, 파장(전형적으로는, 피크 파장)이, 가시광의 파장 대역에 포함되지 않는 광이다.
이에 의해, 다른 용도의 신호원(70)으로서, 가시광을 출사하는 LED 등을 배치하는 것이 가능해진다. 그 결과, 가시광에 의한 라이팅이나 화상의 표시 등에 의해 실현되는 시각적인 콘텐츠와 연계하여, 본 기술을 실시하는 것이 가능해진다. 예를 들면, 변형 부재(10)에 대한 조작에 따라, 라이팅이나 화상 표시를 제어한다고 하는 것도 가능해진다.
이와 같이, 다른 용도의 기구 등에 의해 사용되는 신호와의 간섭을 회피하는 것이 가능해져서, UI 장치(100)의 가치를 높이는 것이 가능해진다.
신호로서 전파가 출사되는 경우에도, 예를 들면, 변형 관련 정보의 생성용의 신호로서 파장 1mm 이상의 전파를 출사하는 신호원(20)과, 파장 1mm 이상의 전파를 검출하는 센서(30)를 배치한다.
이에 의해, 예를 들면, 파장 1mm 미만의 전파를 사용하여 통신을 실행하는 통신 기구 등과의 병용을 실현하는 것이 가능해진다.
변형 관련 정보의 생성용의 신호로서 출사되는 전파의 파장이나 주파수를 적절히 규정함으로써, 예를 들면 WiFi 등의 무선 LAN 통신이나, Bluetooth(등록상표) 등의 근거리 무선 통신과, 본 기술과의 병용이나 제휴를 실현하는 것이 가능해진다.
신호로서 소리가 출사되는 경우에도, 예를 들면, 변형 관련 정보의 생성용의 신호로서 주파수가 20kHz 이상의 초음파를 출사하는 신호원(20)과, 파장 1mm 이상의 전파를 검출하는 센서(30)를 배치한다.
이에 의해, 예를 들면 주파수가 20kHz 미만의 소리를 출력하는 스피커 기구 등과의 병용을 실현하는 것이 가능해진다. 예를 들면, 음성 콘텐츠의 재생 기구와, 본 기술과의 병용이나 제휴를 실현하는 것이 가능해진다.
도 16은 필터부에 대해 설명하기 위한 모식도이다.
도 16에서는, 신호 출사부가 되는 신호원(20)으로부터 광이 출사된다. 검출부가 되는 센서(30)는, 출사된 광을 검출 가능하다.
필터부(75)는, 파장 대역에 따라, 광의 투과율이 제어된 광학 필터이다. 예를 들면, 소정의 파장 광만을 투과하는 광학 필터나, 파장 대역마다 연속적으로 투과율이 다른 광학 필터 등, 다양한 구성의 광학 필터가 포함된다.
도 16의 A에 나타낸 바와 같이, 신호원(20) 및 센서(30)의 양쪽 모두에 필터부(75)를 배치한다. 이에 의해, 신호원(20)으로부터 변형 부재(10)로 출사되는 광의 파장을 적절히 규정하는 것이 가능해진다. 또한, 센서(30)에 의해 검출되는 광의 파장을 규정하는 것이 가능해진다.
도 16의 B에 나타낸 바와 같이, 센서(30)에만 필터부(75)가 배치되어도 된다. 이 경우에도, 센서(30)에 의해 검출되는 광의 파장을 규정하는 것이 가능해진다.
예를 들면, 신호로서, 자외광이나 적외광 등의 비가시광을 출사한다. 필터부(75)로서, 비가시광을 투과하고, 가시광을 차폐하는 광학 필터를 배치한다. 이에 의해, 외부 공간으로부터 진입하는 가시광 등의 노이즈 성분을 제거하는 것이 가능해져서, 센싱의 감도를 향상시키는 것이 가능해진다.
한편, 신호로서 전파나 소리가 출사되는 경우에도, 필터부(75)에 의해, 센싱 감도를 향상시키는 것이 가능해진다.
도 17은 차폐부에 대해 설명하기 위한 모식도이다.
도 17에서는, 신호 출사부가 되는 신호원(20)이, 변형 부재(10)를 향해 신호를 출사 가능하게 배치된다. 검출부가 되는 센서(30)는, 변형 부재(10)에 의해 반사된 신호를 검출 가능하게 배치된다.
차폐부(80)는, 신호원(20)과 센서(30)의 사이에 배치되고, 변형 부재(10)에 의해 반사되지 않고 센서(30)를 향해 진행하는 신호를 차폐한다.
차폐부(80)의 구체적인 구성은 한정되지 않고, 신호의 종류에 따라, 임의의 구성이 채용되어도 된다.
차폐부(80)를 배치함으로써, 변형 부재(10)의 변형에 따른 신호 이외의 노이즈 성분을 억제하는 것이 가능해져서, 센싱의 감도를 향상시키는 것이 가능해진다.
[내면의 구성예]
변형 부재(10)의 내면(10a)의 구성예에 대해 설명한다.
변형 관련 정보의 생성용의 신호로서, 광이 출사되는 것으로 한다. 즉, 신호 출사부로서, 광을 출사하는 신호원(20)이 배치된다. 또한, 검출부로서, 광을 검출 가능한 센서(30)가 배치된다.
변형 부재(10)의 광을 반사 가능한 내면(10a)에, 광을 확산 반사시키기 위한 확산 반사 구성을 설치한다. 예를 들면, 내면(10a)에, 미소한 요철을 설치하는 것이나 코팅 가공 등에 의해, 확산 반사 구성을 실현하는 것이 가능하다. 물론, 다른 구성이 채용되어도 된다.
확산 반사 구성을 설치함으로써, 확산 반사 성분이 많이 포함되도록, 광을 반사시키는 것이 가능해진다. 그 결과, 내면(10a)의 변형에 따른 센서(30) 및 내면(10a)의 거리의 변화와, 센서(30)의 검출 결과 간에 강한 상관성이 생긴다. 따라서, 센서(30) 및 내면(10a)의 거리, 즉 물체(2)에 의한 압입량에 관한 변형 관련 정보를, 높은 정밀도로 생성하는 것이 가능해진다.
한편, 변형 부재(10)의 광을 반사 가능한 내면(10a)에, 광을 경면 반사시키기 위한 경면 반사 구성을 설치한다. 예를 들면, 내면(10a)에 대해 코팅 가공 등을 행함으로써, 경면 반사 구성을 실현하는 것이 가능하다. 물론, 다른 구성이 채용되어도 된다.
경면 반사 구성을 설치함으로써, 경면 반사 성분이 많이 포함되도록, 광을 반사시키는 것이 가능해진다. 그 결과, 내면(10a)의 변형에 따른 신호의 반사 각도(반사 방향)와, 센서 값의 강도 간에 강한 상관성이 생긴다. 따라서, 내면(10a)의 기울기(각도)에 관한 변형 관련 정보를, 높은 정밀도로 생성하는 것이 가능해진다.
한편, 확산 반사 구성 및 경면 반사 구성을 실현하여, 센서 값에 기초하여 높이나 기울기를 측정하는 것은, 반사광량을 검출 가능한 반사광량식의 센서(30)가 사용되는 경우에 특히 유효한 방법이다.
물론, 본 기술을 실시 가능한 센서의 종류가 한정되는 것은 아니다. 변형 관련 정보의 생성 방법에 따라, 최적의 방식의 센서를 사용하면 되고, 반사광량식의 센서, 반사 신호의 도달 타이밍이나 위상 정보 등을 사용하는 이른바 ToF(Time-of-Flight)식의 센서, 그 밖의 임의의 방식의 센서를 사용하여, 본 기술을 실시하는 것이 가능하다.
이상, 본 실시형태에 따른 UI 장치(100)는, 내부 공간(S1)에 대한 공기의 흐름을 제어함으로써, 변형 부재(10)를 변형시키는 것이 가능해진다. 또한, 변형 부재(10)와는 비접촉으로 배치된 센서(30)의 검출 결과에 기초하여, 변형 부재(10)의 변형에 관한 변형 관련 정보를 생성하는 것이 가능해진다.
변형 관련 정보에 기초하여, 유체 제어에 의한 정밀도가 높은 촉각 제시가 가능하다. 구체적으로는, 조작에 의한 촉각 피드백이 있는 UI 장치의 버튼, 게임의 컨트롤러, PC의 마우스 등에 바람직한다.
또한, 변형 관련 정보에 기초하여, 변형 부재(10)에 입력된 조작 등을 높은 정밀도로 검출하는 것이 가능하다. 구체적으로는, 피아노나 키보드 등의 접촉을 수반하는 손 기술의 계측이나, 소파나 베개 등의 표면에 적용하는 것에 의한 신체에 관련되는 계측에 적용 가능하다. 또한, 본 형상 가변 장치를, 영상 투영면이나 장식물 등의 오브젝트의 형상 변화 그 자체를 목적으로 한 장치에 적용하는 것도 가능하다.
만진 면이 변형 가능한 것을 특징으로 하는 변형 인터페이스에 대한 요구가 높아지고 있다. 만지는 면이 변형 가능하므로, 예를 들면, 현실감이 있는 촉각 체험, 피부에 맞는 부드러운 감각, 시청각에 의지하지 않는 입력/출력, 보다 자연스럽고 직감적인 입력/출력, 기분이 좋은 입력/출력 등이 실현 가능해진다.
예를 들면, 변형면이 유체를 봉입하고 있는 구성에 있어서, 유체의 압력을 검출하는 압력 센서를 배치한다. 압력 센서의 검출 결과로서 얻어지는 정보는 1차원적인 변화로 한정되므로, 변형의 기울기, 요철, 물체와의 접촉 위치 등의 고도의 정보를 검출하는 것이 어렵다.
또한, 압력 센서의 검출 결과에 기초한 촉각 피드백에서는, 만지는 방식에 따라, 제시되는 촉각(사용자가 느끼는 촉감)에 편차가 생긴다고 하는 과제가 있다.
또한, 정전식의 접촉 검출 기술에서는, 센싱면이 전극판 등을 포함하기 때문에, 신축/팽창 등의 큰 변형을 방해하여, 또한 센서의 내구성도 문제가 된다.
이와 같이 종래의 기술에서는, 유체의 흐름을 제어함으로써 변형면을 크게 변형시키는 것, 및 접촉 위치나 방향이라는 고도의 정보를 센싱하는 것의 양립이 어렵다는 것이, 본 기술의 고찰을 진행시키는 과정에서 새롭게 발견되었다.
본 기술에 따른 형상 가변 장치 및 형상 제어 방법에서는, 유체(공기)의 흐름을 제어함으로써, 변형 부재(10)를 크고, 또한 높은 정밀도로 변형시키는 것이 가능해진다.
또한, 변형 부재(10)의 내면(10a)에서 반사되는 신호를, 비접촉의 센서(30)에 의해 검출함으로싸, 형상의 기울기, 요철, 물체와의 접촉 위치 등을 포함하는 고도의 변형 관련 정보를 생성하는 것이 가능해진다. 한편, 비접촉 센서(30)를 배치함으로써, 부재의 큰 변형을 방해하는 일이 없다.
이와 같이 본 기술에서는, 변형면이 크고 자유도가 높은 변형과, 고도의 정보의 센싱을 양립하는 것이 가능하다.
상기에서도 서술하였지만, 본 기술에 의해, 이하와 같은 효과를 발휘시키는 것이 가능해진다.
복수의 신호원(20) 및 복수의 센서(30)를 공간적으로 서로 다른 장소에 적절히 배치함으로써, 고도의 정보의 센싱이 용이하게 실현된다.
변형면과 비접촉의 내장 센서로부터 얻어지는 정보를 통합하여 해석함으로써, 변형면의 형상이나 그것에 접촉하는 물체의 접촉 상태를 높은 정밀도로 추정하는 것도 가능하다. 예를 들면, 센서 값의 치우침이나 합계 등을 통합적으로 해석함으로써, 변형면의 형상을 추정하고, 그로부터 손가락 등의 물체와의 접촉의 유무나 수, 위치, 움직임(트레이싱), 크기 등에 관한 정보를 취득하는 것도 가능하다.
유체 특유의, 부드럽고 미세한 변형에 의해, 고도이며 직감적인 UI 입력이 가능해진다.
센서(30)의 센싱 정밀도를 향상시키는 것이 가능해진다.
촉각 제시의 질을 높일 수 있다.
만지는 방향이나 속도 등에 따라, 상이한 촉감을 제시할 수 있다.
만지는 위치나 속도가 달라짐에 따른 촉감의 편차를 억제하여, 보다 안정적으로 정확한 촉각 제시가 가능해진다. 예를 들면, 변형 부재(10)의 외면(10b)의 중심을 누르는 사람과, 외측을 누르는 사람에게 있어, 압입량의 센싱 결과가 달라지는 것을 방지하는 것이 가능하다.
<그 밖의 실시형태>
본 기술은, 이상 설명한 실시형태에 한정되지 않고, 다른 다양한 실시형태를 실현할 수 있다.
도 18은 변형 부재의 다른 구성예를 나타내는 모식도이다.
도 18에 예시하는 변형 부재(10)는 복수의 격벽(11)을 갖는다. 복수의 격벽(11)에 의해, 내부 공간(S1)이 복수의 부분 공간(S1a∼S1c)으로 분할된다.
유체 제어 기구는, 복수의 부분 공간(S1a∼S1c)의 각각에 대한 유체의 흐름을, 개별로 제어하는 것이 가능하다. 따라서, 부분 공간(S1a∼S1c)의 각각의 형상 등을 개별로 제어함으로써, 변형 부재(10)의 전체적인 형상을, 미세하게 제어하는 것이 가능하다.
예를 들면, 센서(30)의 검출 결과에 기초하여, 변형 부재(10)의 형상에 관한 변형 관련 정보를 고정밀도로 생성하는 것이 가능해지고, 부분 공간(S1a∼S1c)의 각각의 형상 등을 정밀하게 제어하는 것이 가능해진다.
예를 들면, 파선(L2)으로 모식적으로 나타내는 바와 같이, 목표가 되는 형상 데이터와, 변형 관련 정보에 기초한 현상의 형상을 비교한다. 그리고, 그 비교 결과에 기초하여 유체를 제어함으로써, 변형 부재(10)를 목표가 되는 형상으로 용이하게 변경시키는 것이 가능해진다.
상기에서는, 본 기술에 따른 형상 가변 장치나 형상 제어 방법을, 입력 장치 및 촉각 제시 장치에 적용하는 경우를 예로 들었다. 이에 한정되지 않고, 변형 부재를, 캐릭터나 동물 등의 소정의 형상으로 변경시켜, 사용자를 즐겁게 한다고 하는 어뮤즈먼트 장치(amusement apparatus) 등에도 적용 가능하다. 변형 관련 정보에 기초하여, 높은 정밀도로 형상을 제어하는 것이 가능해진다.
도 19는 다른 종류의 촉각 제시와의 병용/제휴를 설명하기 위한 모식도이다.
예를 들면, 도 19에 나타내는 바와 같이, 압력 센서(85)나 온도 센서(90)가 배치된다. 또한, 변형 부재(10)의 경도 및 변형 부재(10)의 온도를 제어 가능한 촉각 제시 기구(도시는 생략)가 설치된다.
변형 부재(10)의 경도는, 예를 들면, 유체의 압력을 제어함으로써 제어 가능하다. 유체의 압력을 높게 함으로써, 변형 부재(10)를 단단하게 하는 것이 가능해진다. 유체의 압력을 낮게 함으로써, 변형 부재(10)를 부드럽게 하는 것이 가능해진다.
또는, 막 형상으로 구성된 변형 부재(10)에 작용하는 장력을 제어함으로써, 변형 부재(10)의 경도를 제어하는 것이 가능하다. 예를 들면, 변형 부재(10)를 잡아당김으로써, 변형 부재(10)를 단단하게 하는 것이 가능해진다. 변형 부재(10)를 느슨하게 함으로써, 변형 부재(10)를 부드럽게 하는 것이 가능해진다. 물론, 이들에 한정되지 않는다.
변형 부재(10)의 온도는, 예를 들면, 유체의 온도를 제어함으로써 제어 가능하다. 유체의 온도를 높게 함으로써, 변형 부재(10)를 따뜻하게 하는 것이 가능해진다. 유체의 온도를 낮게 함으로써, 변형 부재(10)를 차갑게 하는 것이 가능해진다. 또는, 소정의 온도로 유지된 유체를, 내부 공간(S1) 내로 유출시키는 것으로도, 온도 조정은 가능하다. 물론, 이들에 한정되지 않는다.
한편, 센서(30)의 검출 결과에 기초하여 생성된 변형 관련 정보에 기초하여, 변형 부재의 경도나 온도가 제어되어도 된다. 변형 부재의 경도 또는 변형 부재의 온도 중 적어도 일방이 제어 가능한 구성도 실현 가능하다.
압력 센서(85), 온도 센서(90), 및 경도 및 온도를 제어 가능한 촉각 제시 기구는, 부재에 접촉하는 사용자에게 소정의 촉각이 제시되도록, 부재의 경도, 또는 변형 부재의 온도 중 적어도 일방을 제어 가능한 촉각 제시부로서 기능한다.
도 23은 촉각 이외의 감각 자극과의 병용/제휴를 실현하기 위한 형상 가변 시스템의 구성예를 나타내는 모식도이다.
도 24는 다른 감각 자극과의 병용/제휴의 처리 예를 나타내는 플로우차트이다.
예를 들면, 도 23에 나타내는 바와 같이, 형상 가변 장치(100), 시각 자극 장치(94), 및 청각 자극 장치(95)가 배치된다. 한편, 컨트롤러(50)는 각 디바이스의 동작을 제어 가능한 것으로 한다.
시각 자극 장치(94)는, 예를 들면, 영상을 투영하는 프로젝터나, 설치형의 디스플레이, 장착형의 디스플레이 등을 포함한다.
시각 자극 장치(94)에 의해 시각 자극이 생성되는 장소는, 변형 부재(10)와 동일하여도 된다. 즉, 변형 부재(10) 상에 시각 자극 장치(94)가 구성되어도 된다. 물론, 이에 한정되지 않고, 시각 자극 장치(94)는, 변형 부재(10)의 바로 아래에 놓여져도 되고, 떨어진 장소에 설치되어도 된다.
청각 자극 장치(95)는, 예를 들면, 설치형의 스피커, 장착형의 이어폰이나 헤드폰 등을 포함한다.
도 24에 나타내는 스텝(301∼305)은, 도 2에 나타내는 스텝(101∼105)과 마찬가지이다.
컨트롤러(50)에 의해, 변형 관련 정보에 기초하여, 다른 감각 제시가 필요한지 여부가 판정된다(스텝(306)). 다른 감각 제시가 필요하다고 판정된 경우(스텝(306)의 예), 다른 감각 제시가 실행된다(스텝(307)).
예를 들면, 시각 자극 장치(94)에 의해, 센서의 검출 결과로부터 생성된 변형 관련 정보에 기초하여, 영상을 생성하는 것이 가능하다.
예를 들면, 변형 관련 정보에 기초하여, 변형 부재(10)의 변형을, 영상 속의 물체의 변형에 반영시킨다. 또는, 변형 관련 정보에 기초하여, 사용자(1)의 손 또는 손가락의 자세를 추정하여, 영상 속의 손 또는 손가락의 표시에 반영시킨다.
이러한 영상을 사용한 UI에도, 본 기술은 적용 가능하다. 한편, 변형 관련 정보를 영상에 반영시킬 때에는, 변형을 크게 과장하거나, 반대로 작게 축소화하거나 하는 것이 가능하다. 물론, 이에 한정되지 않고, 임의의 처리가 있어도 된다.
또한, 시각 자극 장치(94)에 의해 시각 자극이 생성되는 장소가 변형 부재(10)와 동일한 경우, 영상이나 화상과 연동하여 변형 부재(10)를 변형시키는 것도 가능하다.
청각 자극 장치(95)에 의한 소리도, 센서의 검출 결과로부터 생성된 변형 관련 정보에 기초하여 생성하는 것이 가능하다.
예를 들면, 변형 관련 정보에 기초하여 음성의 음량, 주파수, 음색 등을 조정하거나, 결정된 소리 데이터를 재생하거나 하는 것이 가능하다. 이러한 음성이나 음악을 포함하는 소리를 사용한 UI에도, 본 기술은 적용 가능하다.
시각 자극 장치(94) 및 청각 자극 장치(95)는 양쪽 모두 동시에 존재해도 되고, 한쪽뿐이라도 된다. 또한, 체성(體性) 감각이나 후각 등의 상기 설명에 한정되지 않는 다른 감각과의 제휴도 가능하다. 즉, 시각이나 청각과는 다른 감각을 자극하는 감각 자극 장치와의 병용/제휴도 가능하다.
이와 같이 본 기술을 적용함으로써, 변형 관련 정보에 기초하여, 하나 이상의 감각 자극 장치를 제어하여, 사용자(1)에게 소정의 감각을 제시하는 것이 가능한 형상 가변 시스템을 실현하는 것이 가능해진다.
도 20은 본 기술에 따른 형상 가변 장치의 다른 구성예를 나타내는 모식도이다.
도 20에 나타내는 바와 같이, 신호원(20) 및 센서(30)가 배치되는 기체부(5)의 형상은 한정되지 않고, 임의로 설계되어도 된다. 내부 공간(S1) 측의 면이 곡면형상의 기체부(5)가 배치되고, 그 곡면에 신호원(20) 및 센서(30)가 배치된다. 신호원(20)의 신호의 출사 방향이나, 센서(30)의 배향 등도 한정되지 않고, 1개씩 개별로 임의로 설정되어도 된다.
변형 부재(10)의 구성이나, 유체 제어 기구(40)의 구성도 한정되지 않고, 임의로 설계되어도 된다.
상기에서는, 신호원(20)이 내부 공간(S1) 내에 배치되는 예를 설명하였다. 이에 한정되지 않고, 내부 공간(S1) 내에 신호를 출사 가능한 것이라면, 내부 공간(S1)의 외측에 신호원(20)이 배치되어도 된다.
예를 들면, 변형 부재(10)의 일부분에 소정의 패턴으로 신호 차폐 영역을 형성한다. 신호 차폐 영역 이외의 영역은 신호 투과 영역이다.
센서(30)는 신호 투과 영역을 투과하는 신호를 검출한다. 센서(30)의 검출 결과에 기초하여, 변형 관련 정보를 생성하는 것이 가능하다. 또한, 물체(2)에 의해 차폐되는 신호를 출사함으로써, 물체(2)의 접촉 상태에 관한 변형 관련 정보를 생성하는 것도 가능하다.
변형 부재(10)가, 막 형상으로 형성되는 경우에 한정되지 않고, 임의의 형상이 채용 가능하다.
도 25는 본 기술에 따른 형상 가변 장치를 복수 사용한 구성예를 나타내는 모식도이다.
도 25에 나타내는 바와 같이, 평면 또는 곡면 상에, 선 형상 또는 어레이 형상으로 다수의 형상 가변 장치(100)를 배치하는 것이 가능하다. 도 25에 나타내는 예에서는, 형상 가변 장치(100a∼100l)의 12개의 형상 가변 장치(100)가 배치되어 있다.
예를 들면, 컨트롤러(50)에 의해, 복수의 형상 가변 장치(100)로부터 출력되는 센싱 결과에 기초하여, 1개 또는 다수의 변형 관련 정보가 통합되어도 된다. 해당 통합된 정보가, 다른 시스템의 UI의 입력으로서 사용되어도 된다. 나아가, 그 입력에 따라, 1개 또는 다수의 변형으로서 사용자(1)에게 촉각 제시를 행하거나, 촉각 이외의 감각 자극의 제시에 반영시켜도 된다.
또한, 예를 들면, 변형 관련 정보에 기초하여, 어떤 형상 가변 장치(100)의 변형을, 인접한 형상 가변 장치의 변형에 반영시킨다고 하는 것도 가능하다. 즉, 형상 가변 장치(100)의 각 변형 부재의 변형이 서로 반영되는 시스템을 구축하는 것도 가능하다.
도 1에 예시한 실시형태에서는, 컨트롤러(50)의 CPU가 소정의 프로그램을 실행함으로써, 기능 블록으로서의 「생성부」가 구성되었다. 「생성부」에, 노이즈 제거나 압축 등의, 변형 관련 정보의 생성에 관한 전처리나 코덱(codec) 처리 등을 실행하는 기능이 구비되어도 된다. 물론, 그러한 전처리 등을 실행하는 블록이 생성부와는 다른 기능 블록으로서 구성되어도 된다.
형상 가변 장치에 탑재된 컴퓨터와 네트워크 등을 통해 통신 가능한 다른 컴퓨터가 연동함으로써 본 기술에 따른 형상 제어 방법이 실행되며, 본 기술에 따른 형상 가변 장치가 구축되어도 된다.
예를 들면, 「생성부」의 기능의 일부 또는 전부가, 네트워크 등을 통해 통신 가능한 다른 컴퓨터에 구비되는 구성도 있을 수 있다. 이 경우, 「생성부」에 통신 기능이 구비되어도 된다. 물론, 통신 기능을 갖는 다른 기능 블록이 구성되고, 「통신부」와 협동 가능하여도 된다.
예를 들면, 형상 가변 장치의 검출부의 검출 결과가, 네트워크 등을 통해 통신 가능한 다른 컴퓨터로 송신된다. 다른 컴퓨터에 구축된 「생성부」에 의해, 검출 결과에 기초하여 변형 관련 정보가 생성된다. 생성된 변형 관련 정보 또는 변형 관련 정보에 기초하여 생성된 정보 등이, 네트워크 등을 통해, 형상 가변 장치로 송신된다.
이러한 구성에 의해, 본 기술에 따른 「형상 제어 방법」이 실행되어도 된다. 또한, 이러한 구성을, 본 기술에 따른 「형상 가변 시스템」이라고 하는 것도 가능하다. 물론, 「생성부」 이외의 구성요소에 대해서도 마찬가지의 것을 말할 수 있다.
즉, 본 기술에 따른 형상 제어 방법 및 프로그램은, 단독 컴퓨터에 의해 구성된 컴퓨터 시스템뿐만 아니라, 복수의 컴퓨터가 연동하여 동작하는 컴퓨터 시스템에 있어서도 실행 가능하다. 한편, 본 개시에 있어서, 시스템이란, 복수의 구성요소(장치, 모듈(부품) 등)의 집합을 의미하고, 모든 구성요소가 동일 하우징 내에 있는지 여부는 묻지 않는다. 따라서, 별개의 하우징에 수납되어, 네트워크를 통해서 접속되어 있는 복수의 장치, 및, 하나의 하우징 내에 복수의 모듈이 수납되어 있는 하나의 장치는, 모두 시스템이다.
예를 들면, 상기에서 설명한 변형 관련 정보의 생성, 신호원 및 센서의 제어, 유체 제어 기구의 제어 등은, 단독 컴퓨터에 의해 실행되어도 되고, 각 처리가 다른 컴퓨터에 의해 실행되어도 된다. 또한, 소정의 컴퓨터에 의한 각 처리의 실행은, 해당 처리의 일부 또는 전부를 다른 컴퓨터에 실행시켜 그 결과를 취득하는 것을 포함한다.
즉, 본 기술에 따른 형상 제어 방법 및 프로그램은, 하나의 기능을 네트워크를 통해 복수의 장치에 의해 분담, 공동으로 처리하는 클라우드 컴퓨팅의 구성에도 적용하는 것이 가능하다.
각 도면을 참조하여 설명한 UI 장치, 형상 가변 장치, 신호원 및 센서의 배치, 변형 부재 등의 각 구성, 신호 출사의 플로우, 신호 검출의 플로우, 유체 제어의 플로우, 변형 관련 정보의 생성 플로우 등은 어디까지나 일 실시형태이며, 본 기술의 취지를 일탈하지 않는 범위에서, 임의로 변형 가능하다. 즉, 본 기술을 실시하기 위한 다른 임의의 구성이나 알고리즘 등이 채용되어도 된다.
본 개시에 있어서, 「중심」, 「중앙」, 「균일」, 「동등한」, 「동일한」, 「직교」, 「평행」, 「대칭」, 「연장」, 「축방향」, 「원기둥 형상」, 「원통 형상」, 「링 형상」, 「원환 형상」 등의, 형상, 사이즈, 위치 관계, 상태 등을 규정하는 개념은, 「실질적으로 중심」, 「실질적으로 중앙」, 「실질적으로 균일」, 「실질적으로 동등한」, 「실질적으로 동일한」, 「실질적으로 직교」, 「실질적으로 평행」, 「실질적으로 대칭」, 「실질적으로 연장」, 「실질적으로 축방향」, 「실질적으로 원기둥 형상」, 「실질적으로 원통 형상」, 「실질적으로 링 형상」, 「실질적으로 원환 형상」 등을 포함하는 개념으로 한다.
예를 들면, 「완전히 중심」, 「완전히 중앙」, 「완전히 균일」, 「완전히 동등한」, 「완전히 동일한」, 「완전히 직교」, 「완전히 평행」, 「완전히 대칭」, 「완전히 연장」, 「완전히 축방향」, 「완전히 원기둥 형상」, 「완전히 원통 형상」, 「완전히 링 형상」, 「완전히 원환 형상」 등을 기준으로 한 소정의 범위(예를 들면, ±10%의 범위)에 포함되는 상태도 포함된다.
이상 설명한 본 기술에 따른 특징 부분 중, 적어도 2개의 특징 부분을 조합하는 것도 가능하다. 즉, 각 실시형태에서 설명한 다양한 특징 부분은, 각 실시형태의 구별 없이, 임의로 조합하여도 된다. 또한, 상기에서 기재한 다양한 효과는, 어디까지나 예시이며 한정되는 것이 아니고, 또한 다른 효과가 발휘되어도 된다.
한편, 본 기술은 이하와 같은 구성도 취할 수 있다.
(1)
공간을 형성하고, 상기 공간에 접하여 배치된 변형 가능한 부재를 갖는 공간 형성부와,
상기 공간에 대한 유체의 흐름을 제어함으로써, 상기 부재를 변형시키는 것이 가능한 유체 제어부와,
상기 공간 내에 신호를 출사하는 신호 출사부와,
상기 공간 내에 상기 부재와는 비접촉으로 배치되고, 출사된 상기 신호를 검출하는 검출부와,
상기 검출부의 검출 결과에 기초하여, 상기 부재의 변형에 관한 정보를 생성하는 생성부를 구비하는 형상 가변 장치.
(2) (1)에 기재된 형상 가변 장치로서,
상기 부재의 변형에 관한 정보는, 상기 부재의 형상, 또는 상기 부재에 접촉한 물체의 접촉 상태에 관한 정보 중 적어도 일방을 포함하는 형상 가변 장치.
(3) (1) 또는 (2)에 기재된 형상 가변 장치로서,
상기 부재는, 막 형상으로 구성되고, 상기 공간 측의 상기 신호를 반사 가능한 내면과, 외부 공간 측의 외면을 가지며,
상기 부재의 변형에 관한 정보는, 상기 외면의 형상, 또는 상기 외면에 접촉한 물체의 접촉 상태에 관한 정보 중 적어도 일방을 포함하는 형상 가변 장치.
(4) (1) 내지 (3) 중 어느 하나에 기재된 형상 가변 장치로서,
상기 신호 출사부는 상기 공간 내에 배치되는 형상 가변 장치.
(5) (1) 내지 (4) 중 어느 하나에 기재된 형상 가변 장치로서,
상기 유체 제어부는, 상기 부재의 변형에 의해 상기 부재에 접촉하는 사용자에게 소정의 촉각이 제시되도록 상기 유체의 흐름을 제어하는 형상 가변 장치.
(6) (5)에 기재된 형상 가변 장치로서,
상기 유체 제어부는, 상기 부재의 변형에 관한 정보에 기초하여, 상기 유체의 흐름을 제어하는 형상 가변 장치.
(7) (1) 내지 (6) 중 어느 하나에 기재된 형상 가변 장치로서,
상기 유체는 공기인 형상 가변 장치.
(8) (1) 내지 (7) 중 어느 하나에 기재된 형상 가변 장치로서,
상기 신호 출사부는, 상기 신호로서, 광, 전파, 또는 소리 중 적어도 하나를 출사하고,
상기 검출부는, 출사된 상기 광, 상기 전파, 또는 상기 소리 중 적어도 하나를 검출 가능한 형상 가변 장치.
(9) (1) 내지 (8) 중 어느 하나에 기재된 형상 가변 장치로서,
상기 신호 출사부는, 상기 신호의 강도를 시간적으로 변화시키는 것이 가능한 형상 가변 장치.
(10) (1) 내지 (9) 중 어느 하나에 기재된 형상 가변 장치로서,
상기 신호 출사부는, 상기 신호를 출사하는 하나 이상의 신호원을 가지며,
상기 검출부는, 출사된 상기 신호를 검출하는 하나 이상의 센서를 가지며,
상기 생성부는, 상기 하나 이상의 센서의 검출 결과에 기초하여, 상기 부재의 변형에 관한 정보를 생성하는 형상 가변 장치.
(11) (10)에 기재된 형상 가변 장치로서,
상기 하나 이상의 신호원의 수는 상기 하나 이상의 센서의 수보다 많은 형상 가변 장치.
(12) (10)에 기재된 형상 가변 장치로서,
상기 하나 이상의 신호원의 수는 상기 하나 이상의 센서의 수보다 적은 형상 가변 장치.
(13) (10) 내지 (12) 중 어느 하나에 기재된 형상 가변 장치로서,
상기 하나 이상의 신호원은 복수의 신호원을 포함하거나, 또는 상기 하나 이상의 센서는 복수의 센서를 포함하는 것 중 적어도 일방이 성립하고,
상기 하나 이상의 신호원 및 상기 하나 이상의 센서는, 신호원과 센서 간의 거리가 균일하게 되지 않은 구성으로 배치되는 형상 가변 장치.
(14) (1) 내지 (13) 중 어느 하나에 기재된 형상 가변 장치로서,
상기 생성부는, 소정의 학습 알고리즘에 따라, 상기 부재의 변형에 관한 정보를 생성하는 형상 가변 장치.
(15) (1) 내지 (14) 중 어느 하나에 기재된 형상 가변 장치로서,
상기 신호 출사부는, 상기 부재를 향해 상기 신호를 출사 가능하게 배치되고,
상기 검출부는, 상기 부재에 의해 반사된 상기 신호를 검출 가능하게 배치되고,
상기 형상 가변 장치는, 상기 신호 출사부와 상기 검출부의 사이에 배치되는 차폐부를 더 구비하는 형상 가변 장치.
(16) (1) 내지 (15) 중 어느 하나에 기재된 형상 가변 장치로서,
상기 신호 출사부는, 상기 신호로서, 비가시광을 출사하는 형상 가변 장치.
(17) (1) 내지 (16) 중 어느 하나에 기재된 형상 가변 장치로서,
상기 신호 출사부는, 상기 신호로서, 광을 출사하고,
상기 검출부는, 출사된 상기 광을 검출 가능하고,
상기 형상 가변 장치는, 상기 검출부에 의해 검출되는 광의 파장을 규정하는 필터부를 더 구비하는 형상 가변 장치.
(18) (1) 내지 (17) 중 어느 하나에 기재된 형상 가변 장치로서,
상기 부재의 변형에 관한 정보에 기초하여, 상기 부재의 경도 또는 상기 부재의 온도 중 적어도 일방을 제어 가능한 촉각 제시부를 더 구비하는, 형상 가변 장치.
(19)
변형 가능한 부재를 갖는 공간 형성부에 의해 상기 변형 가능한 부재에 접하도록 형성된 공간에 대한 유체의 흐름을 제어함으로써, 상기 부재를 변형시키는 단계와,
상기 공간 내에 신호를 출사하고, 상기 공간 내에 상기 부재와는 비접촉으로 배치된 검출부에 의해 상기 신호를 검출하는 단계와,
상기 검출부의 검출 결과에 기초하여, 상기 부재의 변형에 관한 정보를 생성하는 단계를 포함하는 형상 제어 방법.
(20)
공간을 형성하고, 상기 공간에 접하여 배치된 변형 가능한 부재를 갖는 공간 형성부와,
상기 공간에 대한 유체의 흐름을 제어함으로써, 상기 부재를 변형시키는 것이 가능한 유체 제어부와,
상기 공간 내에 신호를 출사하는 신호 출사부와,
상기 공간 내에 상기 부재와는 비접촉으로 배치되고, 출사된 상기 신호를 검출하는 검출부와,
상기 검출부의 검출 결과에 기초하여, 상기 부재의 변형에 관한 정보를 생성하는 생성부를 구비하고,
상기 유체 제어부는, 상기 부재의 변형에 의해 상기 부재에 접촉하는 사용자에게 소정의 촉각이 제시되도록 상기 유체의 흐름을 제어하는 촉각 제시 장치.
(21) (2)에 기재된 형상 가변 장치로서,
상기 물체의 접촉 상태에 관한 정보는, 상기 부재에 접촉한 물체의 유무, 상기 부재에 접촉한 물체의 위치, 상기 부재에 접촉한 물체의 수, 상기 부재에 접촉한 물체의 사이즈, 상기 부재에 접촉한 물체의 움직임, 상기 부재에 접촉한 물체의 형상, 또는 상기 부재에 접촉한 물체의 종류 중 적어도 하나를 포함하는 형상 가변 장치.
(22) (1) 내지 (17), 또는 (21) 중 어느 하나에 기재된 형상 가변 장치로서,
상기 신호 출사부는, 상기 신호로서 광을 출사하는 복수의 발광부를 포함하고,
상기 복수의 발광부는, 출사 특성이 서로 다르도록 구성되는 형상 가변 장치.
(23) (22)에 기재된 형상 가변 장치로서,
상기 출사 특성은, 광의 파장, 강도, 또는 출사 패턴 중 적어도 하나를 포함하는 형상 가변 장치.
(24) (1) 내지 (18), 또는 (21) 내지 (23) 중 어느 하나에 기재된 형상 가변 장치로서,
상기 신호 출사부는, 상기 신호로서, 광을 출사하고,
상기 부재는, 상기 공간 측의 상기 광을 반사 가능한 내면을 가지며,
상기 내면은, 상기 광을 확산 반사시키기 위한 구성을 갖는 형상 가변 장치.
(25) (1) 내지 (18), 또는 (21) 내지 (24) 중 어느 하나에 기재된 형상 가변 장치로서,
상기 신호 출사부는, 상기 신호로서, 광을 출사하고,
상기 부재는, 상기 공간 측의 상기 광을 반사 가능한 내면을 가지며,
상기 내면은, 상기 광을 경면 반사시키기 위한 구성을 갖는 형상 가변 장치.
(26) (1) 내지 (18), 또는 (21) 내지 (25) 중 어느 하나에 기재된 형상 가변 장치로서,
상기 부재에 접촉하는 사용자에게 소정의 촉각이 제시되도록, 상기 부재의 경도 또는 상기 부재의 온도 중 적어도 일방을 제어 가능한 촉각 제시부를 더 구비하는 형상 가변 장치.
(27) (15)에 기재된 형상 가변 장치로서,
상기 차폐부는, 상기 부재에 의해 반사되지 않고 상기 검출부를 향해 진행하는 상기 신호를 차폐하는 형상 가변 장치.
(28) (14)에 기재된 형상 가변 장치로서,
상기 소정의 학습 알고리즘은 시계열 데이터에 대한 학습 알고리즘을 포함하는 형상 가변 장치.
(29) (28)에 기재된 형상 가변 장치로서,
상기 시계열 데이터에 대한 학습 알고리즘은, RNN(Recurrent Neural Network) 또는 LSTM(Long Short Term Memory) 중 적어도 일방을 포함하는 형상 가변 장치.
(27)
공간을 형성하고, 상기 공간에 접하여 배치된 변형 가능한 부재를 갖는 공간 형성부와,
상기 공간에 대한 유체의 흐름을 제어함으로써, 상기 부재를 변형시키는 것이 가능한 유체 제어부와,
상기 공간 내에 신호를 출사하는 신호 출사부와,
상기 공간 내에 상기 부재와는 비접촉으로 배치되고, 출사된 상기 신호를 검출하는 검출부와,
상기 검출부의 검출 결과에 기초하여, 상기 부재의 변형에 관한 정보를 생성하는 생성부를 구비하는 형상 가변 시스템.
(28) (27)에 기재된 형상 가변 시스템으로서,
하나 이상의 감각 자극 장치를 더 구비하고,
상기 부재의 변형에 관한 정보에 기초하여, 상기 하나 이상의 감각 자극 장치를 제어하여, 사용자에게 소정의 감각을 제시하는, 형상 가변 시스템.
(29) (28)에 기재된 형상 가변 시스템으로서,
상기 하나 이상의 감각 자극 장치는, 시각 자극 장치 또는 청각 자극 장치 중 적어도 일방을 포함하는 형상 가변 시스템.
S1: 내부 공간
1: 사용자
2: 물체
10: 변형 부재
10a: 내면
10b: 외면
20: 신호원
30: 센서
40: 유체 제어 기구
50: 컨트롤러
70: 다른 용도의 신호원
75: 필터부
80: 차폐부
85: 압력 센서
90: 온도 센서
100: UI 장치

Claims (20)

  1. 공간을 형성하고, 상기 공간에 접하여 배치된 변형 가능한 부재를 갖는 공간 형성부와,
    상기 공간에 대한 유체의 흐름을 제어함으로써, 상기 부재를 변형시키는 것이 가능한 유체 제어부와,
    상기 공간 내에 신호를 출사하는 신호 출사부와,
    상기 공간 내에 상기 부재와는 비접촉으로 배치되고, 출사된 상기 신호를 검출하는 검출부와,
    상기 검출부의 검출 결과에 기초하여, 상기 부재의 변형에 관한 정보를 생성하는 생성부를 구비하는, 형상 가변 장치.
  2. 제1항에 있어서,
    상기 부재의 변형에 관한 정보는, 상기 부재의 형상, 또는 상기 부재에 접촉한 물체의 접촉 상태에 관한 정보 중 적어도 일방을 포함하는, 형상 가변 장치.
  3. 제1항에 있어서,
    상기 부재는, 막 형상으로 구성되고, 상기 공간 측의 상기 신호를 반사 가능한 내면과, 외부 공간 측의 외면을 가지며,
    상기 부재의 변형에 관한 정보는, 상기 외면의 형상, 또는 상기 외면에 접촉한 물체의 접촉 상태에 관한 정보 중 적어도 일방을 포함하는, 형상 가변 장치.
  4. 제1항에 있어서,
    상기 신호 출사부는 상기 공간 내에 배치되는, 형상 가변 장치.
  5. 제1항에 있어서,
    상기 유체 제어부는, 상기 부재의 변형에 의해 상기 부재에 접촉하는 사용자에게 미리 정해진 촉각이 제시되도록 상기 유체의 흐름을 제어하는, 형상 가변 장치.
  6. 제5항에 있어서,
    상기 유체 제어부는, 상기 부재의 변형에 관한 정보에 기초하여, 상기 유체의 흐름을 제어하는, 형상 가변 장치.
  7. 제1항에 있어서,
    상기 유체는 공기인, 형상 가변 장치.
  8. 제1항에 있어서,
    상기 신호 출사부는, 상기 신호로서, 광, 전파, 또는 소리 중 적어도 하나를 출사하고,
    상기 검출부는, 출사된 상기 광, 상기 전파, 또는 상기 소리 중 적어도 하나를 검출 가능한, 형상 가변 장치.
  9. 제1항에 있어서,
    상기 신호 출사부는, 상기 신호의 강도를 시간적으로 변화시키는 것이 가능한, 형상 가변 장치.
  10. 제1항에 있어서,
    상기 신호 출사부는, 상기 신호를 출사하는 하나 이상의 신호원을 가지며,
    상기 검출부는, 출사된 상기 신호를 검출하는 하나 이상의 센서를 가지며,
    상기 생성부는, 상기 하나 이상의 센서의 검출 결과에 기초하여, 상기 부재의 변형에 관한 정보를 생성하는, 형상 가변 장치.
  11. 제10항에 있어서,
    상기 하나 이상의 신호원의 수는 상기 하나 이상의 센서의 수보다 많은, 형상 가변 장치.
  12. 제10항에 있어서,
    상기 하나 이상의 신호원의 수는 상기 하나 이상의 센서의 수보다 적은, 형상 가변 장치.
  13. 제10항에 있어서,
    상기 하나 이상의 신호원은 복수의 신호원을 포함하거나, 또는 상기 하나 이상의 센서는 복수의 센서를 포함하는 것 중 적어도 일방이 성립하고,
    상기 하나 이상의 신호원 및 상기 하나 이상의 센서는, 신호원과 센서 간의 거리가 균일하게 되지 않은 구성으로 배치되는, 형상 가변 장치.
  14. 제1항에 있어서,
    상기 생성부는, 미리 정해진 학습 알고리즘에 따라, 상기 부재의 변형에 관한 정보를 생성하는, 형상 가변 장치.
  15. 제1항에 있어서,
    상기 신호 출사부는, 상기 부재를 향해 상기 신호를 출사 가능하게 배치되고,
    상기 검출부는, 상기 부재에 의해 반사된 상기 신호를 검출 가능하게 배치되고,
    상기 형상 가변 장치는, 상기 신호 출사부와 상기 검출부의 사이에 배치되는 차폐부를 더 구비하는, 형상 가변 장치.
  16. 제1항에 있어서,
    상기 신호 출사부는, 상기 신호로서, 비가시광을 출사하는, 형상 가변 장치.
  17. 제1항에 있어서,
    상기 신호 출사부는, 상기 신호로서, 광을 출사하고,
    상기 검출부는, 출사된 상기 광을 검출 가능하고,
    상기 형상 가변 장치는, 상기 검출부에 의해 검출되는 광의 파장을 규정하는 필터부를 더 구비하는, 형상 가변 장치.
  18. 제1항에 있어서,
    상기 부재의 변형에 관한 정보에 기초하여, 상기 부재의 경도 또는 상기 부재의 온도 중 적어도 일방을 제어 가능한 촉각 제시부를 더 구비하는, 형상 가변 장치.
  19. 변형 가능한 부재를 갖는 공간 형성부에 의해 상기 변형 가능한 부재에 접하도록 형성된 공간에 대한 유체의 흐름을 제어함으로써, 상기 부재를 변형시키는 단계와,
    상기 공간 내에 신호를 출사하고, 상기 공간 내에 상기 부재와는 비접촉으로 배치된 검출부에 의해 상기 신호를 검출하는 단계와,
    상기 검출부의 검출 결과에 기초하여, 상기 부재의 변형에 관한 정보를 생성하는 단계를 포함하는, 형상 제어 방법.
  20. 공간을 형성하고, 상기 공간에 접하여 배치된 변형 가능한 부재를 갖는 공간 형성부와,
    상기 공간에 대한 유체의 흐름을 제어함으로써, 상기 부재를 변형시키는 것이 가능한 유체 제어부와,
    상기 공간 내에 신호를 출사하는 신호 출사부와,
    상기 공간 내에 상기 부재와는 비접촉으로 배치되고, 출사된 상기 신호를 검출하는 검출부와,
    상기 검출부의 검출 결과에 기초하여, 상기 부재의 변형에 관한 정보를 생성하는 생성부를 구비하고,
    상기 유체 제어부는, 상기 부재의 변형에 의해 상기 부재에 접촉하는 사용자에게 미리 정해진 촉각이 제시되도록 상기 유체의 흐름을 제어하는, 촉각 제시 장치.
KR1020227001000A 2019-07-18 2020-07-08 형상 가변 장치, 형상 제어 방법, 및 촉각 제시 장치 KR20220035112A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2019132925 2019-07-18
JPJP-P-2019-132925 2019-07-18
PCT/JP2020/026648 WO2021010241A1 (ja) 2019-07-18 2020-07-08 形状可変装置、形状制御方法、及び触覚提示装置

Publications (1)

Publication Number Publication Date
KR20220035112A true KR20220035112A (ko) 2022-03-21

Family

ID=74209868

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020227001000A KR20220035112A (ko) 2019-07-18 2020-07-08 형상 가변 장치, 형상 제어 방법, 및 촉각 제시 장치

Country Status (5)

Country Link
US (1) US11868532B2 (ko)
EP (1) EP3989044A4 (ko)
KR (1) KR20220035112A (ko)
CN (1) CN114127667A (ko)
WO (1) WO2021010241A1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022030715A1 (ko) * 2020-08-04 2022-02-10 한국과학기술원 촉각센서, 이를 이용한 촉각 자극 감지방법, 이를 포함하는 로봇 피부 및 로봇
JP2024072656A (ja) * 2022-11-16 2024-05-28 三菱重工業株式会社 操作表示システム

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009151684A (ja) 2007-12-21 2009-07-09 Sony Corp 触覚シート部材、入力装置及び電子機器

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08179878A (ja) * 1994-12-21 1996-07-12 Sharp Corp コンピュータ用入力装置
US6560804B2 (en) * 1997-11-24 2003-05-13 Kci Licensing, Inc. System and methods for mattress control in relation to patient distance
EP2034287A1 (en) * 2007-09-10 2009-03-11 Nederlandse Organisatie voor Toegepast-Natuuurwetenschappelijk Onderzoek TNO Optical sensor for measuring a force distribution
US8947383B2 (en) 2008-01-04 2015-02-03 Tactus Technology, Inc. User interface system and method
US8456438B2 (en) * 2008-01-04 2013-06-04 Tactus Technology, Inc. User interface system
US9063627B2 (en) 2008-01-04 2015-06-23 Tactus Technology, Inc. User interface and methods
US8711093B2 (en) 2010-06-24 2014-04-29 Avago Technologies General Ip (Singapore) Pte. Ltd. Input device with photodetector pairs
JP2015520455A (ja) * 2012-05-16 2015-07-16 タクタス テクノロジー, インコーポレイテッドTactus Technology, Inc. ユーザインターフェース及び方法
GB2547032B (en) * 2016-02-05 2020-05-20 Ford Global Tech Llc A vehicle human interface assembly
US10668627B2 (en) * 2017-09-26 2020-06-02 Toyota Research Institute, Inc. Deformable sensors and methods for detecting pose and force against an object

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009151684A (ja) 2007-12-21 2009-07-09 Sony Corp 触覚シート部材、入力装置及び電子機器

Also Published As

Publication number Publication date
EP3989044A1 (en) 2022-04-27
US20220269348A1 (en) 2022-08-25
US11868532B2 (en) 2024-01-09
WO2021010241A1 (ja) 2021-01-21
CN114127667A (zh) 2022-03-01
EP3989044A4 (en) 2022-12-07

Similar Documents

Publication Publication Date Title
CN114341779B (zh) 用于基于神经肌肉控制执行输入的***、方法和界面
US10373452B2 (en) Targeted haptic projection
McColl et al. A survey of autonomous human affect detection methods for social robots engaged in natural HRI
US11126283B2 (en) Systems, methods, and computer-readable media for handling user input gestures on an extended trackpad of an electronic device
US9858948B2 (en) Electronic equipment with ambient noise sensing input circuitry
CN104423591B (zh) 用于光谱图的视觉处理以生成触觉效果的***和方法
KR20220035112A (ko) 형상 가변 장치, 형상 제어 방법, 및 촉각 제시 장치
EP3612915A1 (en) Haptic communication system using cutaneous actuators for simulation of continuous human touch
US11287886B1 (en) Systems for calibrating finger devices
Gamboa-Montero et al. Detecting, locating and recognising human touches in social robots with contact microphones
US11769016B2 (en) Generating responses to user interaction data based on user interaction-styles
US10401962B2 (en) Haptically enabled overlay for a pressure sensitive surface
Yang et al. A large area robotic skin with sparsely embedded microphones for human-robot tactile communication
Müller et al. Smart fur tactile sensor for a socially assistive mobile robot
US20220234212A1 (en) Input devices having a deformable membrane and methods of using the same
KR102163966B1 (ko) 시계열 데이터를 주파수 성분별로 분할하여 복수의 학습 모델을 병렬 처리하는 딥러닝 학습 방법 및 시스템
WO2022153733A1 (ja) 形状可変装置、形状制御方法、及び触覚提示装置
Braun et al. Invisible human sensing in smart living environments using capacitive sensors
Marques-Villarroya et al. A bio-inspired exogenous attention-based architecture for social robots
Prattichizzo et al. Haptics: Science, Technology, and Applications: 11th International Conference, EuroHaptics 2018, Pisa, Italy, June 13-16, 2018, Proceedings, Part II
Alakhawand A tactile robotic system to characterize mid-air haptics
KR102250666B1 (ko) 서로 동조하여 진동하기 위한 복수개의 전자장치를 포함하는 시스템
Ruser et al. Evaluating the accuracy and user experience of a gesture-based infrared remote control in smart homes
KR102136284B1 (ko) 전자장치
US10771881B2 (en) Earpiece with audio 3D menu

Legal Events

Date Code Title Description
A201 Request for examination