JP6809712B2 - Tactile presentation system, tactile presentation method, and tactile presentation program - Google Patents
Tactile presentation system, tactile presentation method, and tactile presentation program Download PDFInfo
- Publication number
- JP6809712B2 JP6809712B2 JP2017555171A JP2017555171A JP6809712B2 JP 6809712 B2 JP6809712 B2 JP 6809712B2 JP 2017555171 A JP2017555171 A JP 2017555171A JP 2017555171 A JP2017555171 A JP 2017555171A JP 6809712 B2 JP6809712 B2 JP 6809712B2
- Authority
- JP
- Japan
- Prior art keywords
- vibration
- tactile
- finger
- tactile presentation
- presentation system
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 38
- 230000006870 function Effects 0.000 claims description 64
- 230000035807 sensation Effects 0.000 claims description 43
- 230000005540 biological transmission Effects 0.000 claims description 26
- 239000002033 PVDF binder Substances 0.000 claims description 19
- 229920002981 polyvinylidene fluoride Polymers 0.000 claims description 19
- 238000006243 chemical reaction Methods 0.000 claims description 12
- 230000000694 effects Effects 0.000 claims description 7
- 238000005259 measurement Methods 0.000 claims description 7
- 210000003857 wrist joint Anatomy 0.000 claims description 6
- 210000000707 wrist Anatomy 0.000 claims 3
- 230000001747 exhibiting effect Effects 0.000 claims 1
- 238000012546 transfer Methods 0.000 description 36
- 238000012545 processing Methods 0.000 description 17
- 238000004891 communication Methods 0.000 description 12
- 238000010586 diagram Methods 0.000 description 12
- 230000008569 process Effects 0.000 description 11
- 238000002474 experimental method Methods 0.000 description 8
- 230000000052 comparative effect Effects 0.000 description 7
- 210000000282 nail Anatomy 0.000 description 7
- 230000010339 dilation Effects 0.000 description 6
- 238000011156 evaluation Methods 0.000 description 5
- 230000003321 amplification Effects 0.000 description 4
- 230000010365 information processing Effects 0.000 description 4
- 238000003199 nucleic acid amplification method Methods 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 238000004590 computer program Methods 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 238000005452 bending Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 230000002452 interceptive effect Effects 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 238000003825 pressing Methods 0.000 description 2
- 230000001902 propagating effect Effects 0.000 description 2
- 208000000659 Autoimmune lymphoproliferative syndrome Diseases 0.000 description 1
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 1
- 229920009405 Polyvinylidenefluoride (PVDF) Film Polymers 0.000 description 1
- 238000007792 addition Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 239000012636 effector Substances 0.000 description 1
- 238000002674 endoscopic surgery Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 210000004905 finger nail Anatomy 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 210000004247 hand Anatomy 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 229920000642 polymer Polymers 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 230000037152 sensory function Effects 0.000 description 1
- 230000000638 stimulation Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000004304 visual acuity Effects 0.000 description 1
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B06—GENERATING OR TRANSMITTING MECHANICAL VIBRATIONS IN GENERAL
- B06B—METHODS OR APPARATUS FOR GENERATING OR TRANSMITTING MECHANICAL VIBRATIONS OF INFRASONIC, SONIC, OR ULTRASONIC FREQUENCY, e.g. FOR PERFORMING MECHANICAL WORK IN GENERAL
- B06B1/00—Methods or apparatus for generating mechanical vibrations of infrasonic, sonic, or ultrasonic frequency
- B06B1/02—Methods or apparatus for generating mechanical vibrations of infrasonic, sonic, or ultrasonic frequency making use of electrical energy
- B06B1/04—Methods or apparatus for generating mechanical vibrations of infrasonic, sonic, or ultrasonic frequency making use of electrical energy operating with electromagnetism
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B06—GENERATING OR TRANSMITTING MECHANICAL VIBRATIONS IN GENERAL
- B06B—METHODS OR APPARATUS FOR GENERATING OR TRANSMITTING MECHANICAL VIBRATIONS OF INFRASONIC, SONIC, OR ULTRASONIC FREQUENCY, e.g. FOR PERFORMING MECHANICAL WORK IN GENERAL
- B06B1/00—Methods or apparatus for generating mechanical vibrations of infrasonic, sonic, or ultrasonic frequency
- B06B1/02—Methods or apparatus for generating mechanical vibrations of infrasonic, sonic, or ultrasonic frequency making use of electrical energy
- B06B1/06—Methods or apparatus for generating mechanical vibrations of infrasonic, sonic, or ultrasonic frequency making use of electrical energy operating with piezoelectric effect or with electrostriction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
Landscapes
- Engineering & Computer Science (AREA)
- Mechanical Engineering (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- General Physics & Mathematics (AREA)
- Electromagnetism (AREA)
- User Interface Of Digital Computer (AREA)
Description
本発明は、触覚呈示システム、触覚呈示方法、および、触覚呈示プログラムに関する。 The present invention relates to a tactile presentation system, a tactile presentation method, and a tactile presentation program.
従来、物体の触感を検出して利用者に触覚を呈示する触覚呈示デバイスが開発されている。情報通信技術においては、五感の中でも視覚や聴覚を利用したインターフェイスが先行しているが、触覚を用いることで、より直感的な操作が可能になると期待されている。 Conventionally, a tactile presentation device that detects the tactile sensation of an object and presents the tactile sensation to a user has been developed. In information and communication technology, interfaces that use sight and hearing are ahead of the five senses, but it is expected that more intuitive operations will be possible by using the sense of touch.
例えば、非特許文献１には、凹凸形状のシートを介して指で物体表面をなぞることで、人が知覚することが困難な微小な凹凸の刺激を増幅させる触覚コンタクトレンズが開示されている。 For example, Non-Patent Document 1 discloses a tactile contact lens that amplifies a stimulus of minute unevenness that is difficult for a person to perceive by tracing the surface of an object with a finger through a sheet having an uneven shape.
また、非特許文献２には、鉗子先端にセンサを取り付けることで、内視鏡手術時に鉗子を通じて臓器の触感を実時間で手に呈示する触覚呈示システムが開示されている。 Further, Non-Patent Document 2 discloses a tactile presentation system in which a sensor is attached to the tip of forceps to present the tactile sensation of an organ to the hand in real time through the forceps during endoscopic surgery.
しかしながら、従来の触覚呈示デバイスは、シートや鉗子を介して物体に接触する必要があり、直接、指で対象に触れることができず、自然な指による把持や操作が阻害される、という問題点を有していた。 However, the conventional tactile presentation device has a problem that it is necessary to touch an object through a sheet or forceps, and the object cannot be directly touched by a finger, which hinders natural gripping and operation by a finger. Had.
本発明は上記の問題点に鑑みてなされたものであり、利用者が直接、対象物に触れながら、その触感を拡張ないし伝達することができる、触覚呈示システム、触覚呈示方法、および、触覚呈示プログラムを提供するものである。 The present invention has been made in view of the above problems, and a tactile presentation system, a tactile presentation method, and a tactile presentation capable of expanding or transmitting the tactile sensation while the user directly touches the object. It provides a program.
このような目的を達成するため、本発明の触覚呈示システムは、利用者が指で物に触れたときの触感を拡張ないしは第三者に伝達する触覚呈示システムであって、前記利用者の前記指の第１関節から第３関節の間または爪に設けられた皮膚振動センサと、前記皮膚振動センサにより読み取られた振動信号を、前記拡張または前記伝達のために変換する変換器と、前記利用者の前記指以外の手腕または前記第三者に設けられ、前記変換器により変換された前記振動信号に基づいて触刺激を呈示する振動子と、を少なくとも備え、前記変換器は、前記振動信号から指の振動伝播特性を差し引くことを特徴とする。 In order to achieve such an object, the tactile presentation system of the present invention is a tactile presentation system that expands the tactile sensation when a user touches an object with a finger or transmits the tactile sensation to a third party. and skin vibration sensor from a first joint provided between or nails of the third joint of the finger, the vibration signal read by said skin vibration sensor, a converter for converting for the extension or the transmission, the The converter is provided with at least a vibrator provided on a hand or arm other than the finger of the user or a third party and presents a tactile stimulus based on the vibration signal converted by the converter, and the converter is provided with the vibration. It is characterized by subtracting the vibration propagation characteristics of the finger from the signal .
また、本発明の触覚呈示システムは、利用者が指で物に触れたときの触感を拡張する触覚呈示システムであって、前記利用者の前記指の第１関節から第３関節の間または爪に設けられた皮膚振動センサと、前記皮膚振動センサにより読み取られた振動信号を、前記拡張または前記伝達のために変換する変換器と、前記利用者の前記指に設けられ、前記変換器により変換された前記振動信号に基づいて触刺激を呈示する振動子と、を少なくとも備え、前記変換器は、前記振動信号から指の振動伝播特性を差し引くことを特徴とする。 Further, the tactile presentation system of the present invention is a tactile presentation system that enhances the tactile sensation when a user touches an object with a finger, and is between the first to third joints of the finger of the user or a nail. and skin vibration sensor provided on a vibration signal read by said skin vibration sensor, a converter for converting for the extension or the transmission, provided on the finger of the user, by said transducer It comprises at least a transducer that presents a tactile stimulus based on the converted vibration signal, and the converter is characterized in that the finger vibration propagation characteristic is subtracted from the vibration signal .
また、本発明の触覚呈示システムは、上記の触覚呈示システムにおいて、前記皮膚振動センサは、ポリフッ化ビニリデンフィルムを前記第１関節から第３関節の間の指腹部に巻き付けることで圧電効果により前記振動信号を得るセンサであることを特徴とする。 Further, in the tactile presentation system of the present invention, in the tactile presentation system, the skin vibration sensor vibrates due to the piezoelectric effect by wrapping a polyvinylidene fluoride film around the finger pad between the first joint and the third joint. It is a sensor that obtains a signal.
また、本発明の触覚呈示システムは、上記の触覚呈示システムにおいて、前記振動子は、前記利用者の前記指が属する手の手首関節より指先側において前記触刺激を呈示することを特徴とする。 Further, the tactile presentation system of the present invention is characterized in that, in the tactile presentation system, the vibrator presents the tactile stimulus on the fingertip side of the wrist joint of the hand to which the finger of the user belongs.
また、本発明の触覚呈示システムは、上記の触覚呈示システムにおいて、前記変換器は、典型的又は平均的な人の指の皮膚振動伝搬関数の逆関数を前記振動信号に掛け合わせることにより前記振動伝播特性を差し引くことを特徴とする。
また、本発明の触覚呈示システムは、上記の触覚呈示システムにおいて、前記振動伝播特性は、前記利用者の前記指の振動伝播特性であることを特徴とする。
また、本発明の触覚呈示システムは、上記の触覚呈示システムにおいて、前記振動伝播特性は、前記利用者の前記指の指先に既知の振動を与え、前記皮膚振動センサの測定データと比較することにより得られたものであることを特徴とする。
Further, in the tactile presentation system of the present invention, in the tactile presentation system, the converter multiplies the vibration signal by the inverse function of the skin vibration propagation function of a typical or average human finger. It is characterized by subtracting the propagation characteristics.
Further, the tactile presentation system of the present invention is characterized in that, in the above-mentioned tactile presentation system, the vibration propagation characteristic is the vibration propagation characteristic of the finger of the user.
Further, in the tactile presentation system of the present invention, in the above-mentioned tactile presentation system, the vibration propagation characteristic gives a known vibration to the fingertip of the user, and compares it with the measurement data of the skin vibration sensor. It is characterized in that it is obtained.
また、本発明の触覚呈示システムは、上記の触覚呈示システムにおいて、前記皮膚振動センサは、前記利用者の前記爪に設けられたコンタクトマイクであることを特徴とする。 Further, the tactile presentation system of the present invention is characterized in that, in the tactile presentation system, the skin vibration sensor is a contact microphone provided on the nail of the user.
また、本発明の触覚呈示システムは、上記の触覚呈示システムにおいて、前記振動子は、ボイスコイル型振動子、ピエゾ素子、または、バイブレーションモータであることを特徴とする。 Further, the tactile presentation system of the present invention is characterized in that, in the above-mentioned tactile presentation system, the vibrator is a voice coil type vibrator, a piezo element, or a vibration motor.
また、本発明の触覚呈示方法は、利用者が指で物に触れたときの触感を拡張ないしは第三者に伝達するため、皮膚センサと変換器と振動子を少なくとも備えた触覚呈示システムにおいて実行される触覚呈示方法であって、前記利用者の前記指の第１関節から第３関節の間または爪に設けられた皮膚振動センサにおいて、振動信号を取得する読取ステップと、前記変換器において、前記皮膚振動センサにより読み取られた前記振動信号を、前記拡張または前記伝達のために変換する変換ステップと、前記利用者の前記指もしくは当該指以外の手腕または前記第三者に設けられた前記振動子において、前記変換器により変換された前記振動信号に基づいて触刺激を呈示する呈示ステップと、を含み、前記変換ステップにおいて、前記振動信号から指の振動伝播特性を差し引くことを特徴とする。 Further, the tactile presentation method of the present invention is executed in a tactile presentation system equipped with at least a skin sensor, a converter and a vibrator in order to extend the tactile sensation when the user touches an object with a finger or transmit it to a third party. a tactile display methods, in skin vibration sensors provided from the first joint of the finger of the user during or nails of the third joint, and the step read to obtain the vibration signal in the transducer , The conversion step of converting the vibration signal read by the skin vibration sensor for the expansion or the transmission, and the finger provided on the user, a hand or arm other than the finger, or the third party. in the transducer, see containing and a presentation step of presenting a tactile based on the converted the vibration signal stimulated by the converter, at the converting step, and characterized by subtracting the vibration propagation characteristics of the finger from the vibration signal To do.
また、本発明の触覚呈示プログラムは、利用者が指で物に触れたときの触感を拡張ないしは第三者に伝達するため、皮膚センサと変換器と振動子を少なくとも備えた触覚呈示システムに実行させるための触覚呈示プログラムであって、前記利用者の前記指の第１関節から第３関節の間または爪に設けられた皮膚振動センサにおいて、振動信号を取得する読取ステップと、前記変換器において、前記皮膚振動センサにより読み取られた前記振動信号を、前記拡張または前記伝達のために変換する変換ステップと、前記利用者の前記指もしくは当該指以外の手腕または前記第三者に設けられた前記振動子において、前記変換器により変換された前記振動信号に基づいて触刺激を呈示する呈示ステップと、を実行させ、前記変換ステップにおいて、前記振動信号から指の振動伝播特性を差し引くことを特徴とする。 In addition, the tactile presentation program of the present invention is executed in a tactile presentation system equipped with at least a skin sensor, a converter, and a vibrator in order to extend the tactile sensation when the user touches an object with a finger or transmit it to a third party. a tactile presentation program for, in skin vibration sensors provided from the first joint of the finger of the user during or nails of the third joint, and the step reading acquiring a vibration signal, said transducer A conversion step for converting the vibration signal read by the skin vibration sensor for the expansion or transmission, and the user's finger or a hand or arm other than the finger or the third party are provided. In the vibrator, a presentation step of presenting a tactile stimulus based on the vibration signal converted by the converter is executed, and in the conversion step, the vibration propagation characteristic of the finger is subtracted from the vibration signal. And.
本発明によれば、利用者が直接、対象物に触れながら、その触感を拡張ないし第三者に伝達することができる、という効果を奏する。より具体的には、第一関節までの指腹部にデバイスを装着せず、第１関節から第３関節の間または爪に皮膚振動センサを設けたので、利用者が直接、物体を把持したり操作したりすることを妨げることがない。したがって、利用者は、自身の指を使って物体を操作等しながら、その感覚を拡張したり第三者に伝達したりすることができる。 According to the present invention, there is an effect that the user can directly touch the object and extend the tactile sensation or transmit the tactile sensation to a third party. More specifically, since the device is not attached to the finger pad up to the first joint and the skin vibration sensor is provided between the first joint to the third joint or on the nail, the user can directly grasp the object. It does not prevent you from operating it. Therefore, the user can expand the sensation or transmit it to a third party while manipulating the object with his / her finger.
例えば、指先に何も装着せず触覚を拡張する本発明によれば、眼鏡で視力を拡張するように、拡張現実として、人の触覚能力を拡張することができる。また、生の指で対象に触れた触覚を第三者に伝達する本発明によれば、一方の人の触覚を他方の人に伝えることができ、テレコミュニケーション等に有用である。また、スマートフォン等のタッチパネル上で指先をセンシングして同じ指先に触覚フィードバックを提示するものとは異なり、本発明は、直接、物体を把持したり操作したりする指先を、センシングや提示等のために妨げることがない、という効果を奏する。 For example, according to the present invention in which nothing is attached to a fingertip to extend the sense of touch, the tactile ability of a person can be expanded as an augmented reality, just as the visual acuity is expanded with glasses. Further, according to the present invention, which transmits the tactile sensation of touching an object with a raw finger to a third party, the tactile sensation of one person can be transmitted to the other person, which is useful for telecommunications and the like. Further, unlike the case where the fingertip is sensed on the touch panel of a smartphone or the like and the tactile feedback is presented to the same fingertip, the present invention is for sensing or presenting the fingertip for directly grasping or operating an object. It has the effect of not interfering with.
以下に、本発明の本実施の形態にかかる触覚呈示システム、触覚呈示方法、および、触覚呈示プログラム、並びに、記録媒体の実施の形態を図面に基づいて詳細に説明する。なお、この実施の形態によりこの発明が限定されるものではない。例えば、同一人物への触覚拡張として説明した内容を、他人への触覚伝達に用いてもよく、反対に、他人への触覚伝達として説明した内容を、同一人物への触覚拡張に用いてもよいものである。 Hereinafter, the tactile presentation system, the tactile presentation method, the tactile presentation program, and the embodiment of the recording medium according to the embodiment of the present invention will be described in detail with reference to the drawings. The present invention is not limited to this embodiment. For example, the content described as tactile extension to the same person may be used for tactile transmission to another person, and conversely, the content described as tactile transmission to another person may be used for tactile extension to the same person. It is a thing.
以下、まず、本発明にかかる本実施の形態の構成について説明し、その後、本実施の形態の処理等について詳細に説明する。ここで、図１は、本発明の実施形態にかかる触覚呈示システムの構成の一例を示すブロック図であり、該構成のうち本発明に関係する部分のみを概念的に示している。 Hereinafter, the configuration of the present embodiment according to the present invention will be described first, and then the processing and the like of the present embodiment will be described in detail. Here, FIG. 1 is a block diagram showing an example of the configuration of the tactile presentation system according to the embodiment of the present invention, and conceptually shows only the portion of the configuration related to the present invention.
［触覚呈示システムの構成］
図１に示すように、本実施の形態にかかる触覚呈示システムは、皮膚振動センサ１１２と、変換器１０２と、振動アクチュエータ１１４を、有線または無線にて接続して構成される。なお、リアルタイムに触覚の入出力を行わない場合、各部は、一時的に任意の通信路を介して通信可能に接続される構成となっていてもよい。例えば、ＵＳＢメモリ等の記録媒体で、一時的に各部が触覚信号データを授受できるように構成されてもよい。ここで、図２は、同一人物において、触覚を拡張させる場合の各部の配置の一例を示す図である。[Configuration of tactile presentation system]
As shown in FIG. 1, the tactile presentation system according to the present embodiment is configured by connecting the skin vibration sensor 112, the converter 102, and the vibration actuator 114 by wire or wirelessly. When tactile input / output is not performed in real time, each unit may be temporarily connected so as to be able to communicate via an arbitrary communication path. For example, a recording medium such as a USB memory may be configured so that each part can temporarily exchange tactile signal data. Here, FIG. 2 is a diagram showing an example of the arrangement of each part when the tactile sensation is expanded in the same person.
図２に示すように、皮膚振動センサ１１２は、指の第１関節から第３関節までの間に設置されており、物体と直接接触する指先を避けて配置される。この例では、変換器１０２および振動アクチュエータ１１４は、腕時計型ウェアラブル端末の同一筐体に収められており、皮膚振動センサ１１２で発生した振動信号（電位の変化等）を有線にて取得できるよう構成されている。なお、この装着例では、振動アクチュエータ１１４は、物体と直接接触する指が属する手の手首関節より指先側に配置することで、指先の感覚が増強したように感じさせる。これは、手首関節は、振動の伝達を吸収しやすいため、手首関節より中枢側ではなく抹消側の方が、振動アクチュエータ１１４の振動が指先側に伝わるためと考えられる。あるいは、指と掌の触覚感覚は、腕に比べて、脳内マップで、近い領域に割り当てられているためとも考えられる。なお、図示の例では、振動アクチュエータ１１４は、手の甲側に配置しているが、これに限られず、手の内側（手相側）に配置してもよい。 As shown in FIG. 2, the skin vibration sensor 112 is installed between the first joint and the third joint of the finger, and is arranged so as to avoid the fingertip that comes into direct contact with the object. In this example, the converter 102 and the vibration actuator 114 are housed in the same housing of the wristwatch-type wearable terminal, and are configured so that the vibration signal (change in potential, etc.) generated by the skin vibration sensor 112 can be acquired by wire. Has been done. In this mounting example, the vibration actuator 114 is arranged on the fingertip side of the wrist joint of the hand to which the finger directly in contact with the object belongs, so that the feeling of the fingertip is enhanced. It is considered that this is because the wrist joint easily absorbs the transmission of vibration, so that the vibration of the vibration actuator 114 is transmitted to the fingertip side on the peripheral side rather than the central side than the wrist joint. Alternatively, it is also considered that the tactile sensations of the fingers and palms are assigned to areas closer to each other in the brain map than those of the arms. In the illustrated example, the vibration actuator 114 is arranged on the back side of the hand, but the present invention is not limited to this, and the vibration actuator 114 may be arranged on the inside of the hand (palmistry side).
これら触覚呈示システムの構成のうち、皮膚振動センサ１１２は、指の皮膚を介して伝達された振動の信号を取得する振動センサである。例えば、皮膚振動センサ１１２は、物体に接触する指の爪に付けたコンタクトマイクであってもよい。エレクトレットコンデンサー等のコンタクトマイクを爪に固着させることにより、空気振動（音）の信号が混雑することを防ぎながら、物体接触時の振動を検出することができる。 Among the configurations of these tactile presentation systems, the skin vibration sensor 112 is a vibration sensor that acquires a vibration signal transmitted through the skin of a finger. For example, the skin vibration sensor 112 may be a contact microphone attached to a fingernail that comes into contact with an object. By fixing a contact microphone such as an electret condenser to the nail, it is possible to detect the vibration at the time of contact with an object while preventing the air vibration (sound) signal from being congested.
また、別の実施の形態において、皮膚振動センサ１１２は、ポリフッ化ビニリデン（ＰＶＤＦ：ＰｏｌｙＶｉｎｙｌｉｄｅｎｅ ＤｉＦｌｕｏｒｉｄｅ）フィルムを、第１関節から第３関節の間の指腹部に巻き付けることで、圧電効果により振動信号を得るセンサであってもよい。ＰＶＤＦフィルムを巻き付けた皮膚振動センサ１１２は、指先や対象物体と直接干渉することなく、指先から伝播する皮膚振動を中節部において検出することができる。ここで、図３は、ＰＶＤＦフィルムを用いた皮膚振動センサ１１２の例を示す図（上図：手の平側写真、下図：手の甲側写真）である。 Further, in another embodiment, the skin vibration sensor 112 transmits a vibration signal by a piezoelectric effect by wrapping a polyvinylidene fluoride (PVDF) film around a finger pad between the first joint and the third joint. It may be a sensor to obtain. The skin vibration sensor 112 wrapped with the PVDF film can detect the skin vibration propagating from the fingertip at the middle node without directly interfering with the fingertip or the target object. Here, FIG. 3 is a diagram showing an example of a skin vibration sensor 112 using a PVDF film (upper figure: palm side photograph, lower figure: back side photograph).
図３に示すように、この例では、センサはベルト状をしており、ＰＶＤＦフィルムを第１関節と第２関節に巻き付けられるようになっている。ＰＶＤＦフィルムは、高分子圧電体の一種であり、ＰＶＤＦフィルムが曲げ変形することにより出力電圧が得られる。そのため、皮膚に付けることで皮膚の振動を捉え、指全体の運動には反応せず、なぞり運動などの早い触動作中でも皮膚を伝搬した振動の計測が可能となる。 As shown in FIG. 3, in this example, the sensor has a belt shape so that the PVDF film can be wrapped around the first joint and the second joint. The PVDF film is a kind of polymer piezoelectric material, and an output voltage is obtained by bending and deforming the PVDF film. Therefore, when it is attached to the skin, it catches the vibration of the skin and does not react to the movement of the entire finger, and it is possible to measure the vibration propagating through the skin even during a fast tactile movement such as a tracing movement.
ここで、触覚刺激を再現するため、皮膚振動センサ１１２のモデルについて説明する。皮膚振動センサ１１２のモデルとして、指先に入力された振動からセンサ出力までの伝達関数Ｆ（ｓ）が分かれば、センサにて取得した振動信号を、振動子を含む振動アクチュエータ１１４にて再現することができ、後述する変換器１０２にて、触覚の拡張と伝達のために用いることができる。ここで、図４は、指先からセンサ装着部への皮膚振動伝搬モデルを模式的に示した図である。 Here, a model of the skin vibration sensor 112 will be described in order to reproduce the tactile stimulus. As a model of the skin vibration sensor 112, if the transfer function F (s) from the vibration input to the fingertip to the sensor output is known, the vibration signal acquired by the sensor can be reproduced by the vibration actuator 114 including the vibrator. It can be used for tactile expansion and transmission in the converter 102 described later. Here, FIG. 4 is a diagram schematically showing a skin vibration propagation model from the fingertip to the sensor mounting portion.
図４に示すように、指先からセンサ装着部への皮膚振動伝搬には、マス（ｍ）・バネ（ｋ）・ダンパ（ｃ）からなるモデルを考えることができる。指先からセンサ装着部への皮膚振動伝搬を表す伝達関数Ｇ（ｓ）は、以下の式で表すことができる。ここで、ｓはラプラス演算子であり、ａは１より小さい係数である。
ＰＶＤＦフィルムは非常に薄く、曲げにより大きな電荷を発生する。ここで、図５は、ＰＶＤＦが加えられた力Ｆによって電荷を生じるモデルを示す図である。図５に示すように、ＰＶＤＦフィルムは指に巻き付けられているが、その厚みは指に対して十分薄く、両端支持の条件として、皮膚とＰＶＤＦフィルムの関係を単純なはりの曲げ問題と仮定して皮膚振動伝播関数を構築してもよい。上述した指先からセンサ装着部への皮膚振動伝搬を表す伝達関数Ｇ（ｓ）、上述の仮定により求められる、皮膚振動からＰＶＤＦフィルムに生じる電荷までの伝達関数Ｐ（ｓ）、発生した電荷から計測される電圧までの伝達関数Ｈ（ｓ）の３つを掛け合わせることで、最終的な指先からセンサ出力までの伝達関数Ｆ（ｓ）を求めることができる（詳細は、「田中由浩ほか『ＰＶＤＦフィルムを用いたウェアラブル皮膚振動センサのモデル化』Ｎｏ．１５−２ Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ２０１５ ＪＳＭＥ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｒｏｂｏｔｉｃｓ ａｎｄ Ｍｅｃｈａｔｒｏｎｉｃｓ， Ｋｙｏｔｏ， Ｊａｐａｎ， Ｍａｙ １７−１９， ２０１５ ２Ａ２−Ｘ０６」参照）。ここで、ｄ３１は圧電定数であり、ｔ，ｂ，ｌはフィルムの厚み，幅，長さである。ＲはＰＶＤＦフィルム計測器の抵抗であり、Ｃは静電容量である。
一例として、上記の皮膚振動伝播関数を後述の変換器１０２に適用することで、指先に入力された振動からセンサ出力までをセンサ計測値から再現することができる（モデル適用例については後述する）。なお、ＰＶＤＦフィルムの実装にあたり、以下の非特許文献を参考にしてもよい。「Ｙ．Ｔａｎａｋａ ｅｔ ａｌ．“Ｗｅａｒａｂｌｅ Ｓｋｉｎ Ｖｉｂｒａｔｉｏｎ Ｓｅｎｓｏｒ Ｕｓｉｎｇ ａ ＰＶＤＦ Ｆｉｌｍ，”Ｉｎ Ｗｏｒｌｄ Ｈａｐｔｉｃｓ Ｃｏｎｆｅｒｅｎｃｅ， ｐｐ． １４６−１５１， ２０１５．」 As an example, by applying the above skin vibration propagation function to the converter 102 described later, it is possible to reproduce from the vibration input to the fingertip to the sensor output from the sensor measurement value (a model application example will be described later). .. In mounting the PVDF film, the following non-patent documents may be referred to. "Y. Tanaka et al." Wearable Skin Vibration Sensor Using a PVDF Film, "In World Haptics Conference, pp. 146-151, 2015."
再び図１に戻り、触覚呈示システムの構成のうち、変換器１０２は、皮膚振動センサ１１２により読み取られた振動信号を、拡張または伝達のために変換する手段である。一例として、変換器１０２は、皮膚振動センサ１１２により読み取られた振動信号を、増幅、変調、および／または、指の振動伝播特性を差し引いてもよい。典型的あるいは平均的な人の指の皮膚振動伝播関数の逆関数を掛け合わせて、指の振動伝播特性を差し引くことで、皮膚で生じる振動が実際にものを触った時の振動に近いものなり、臨場感が向上する効果が得られる。ここで、本実施の形態において、「拡張」とは、利用者Ａの指の皮膚振動センサ１１２で読み取った情報を、同一人物Ａの手および／または腕にフィードバックすることをいう。なお、本実施の形態において、「拡張」には、利用者Ａの指の皮膚振動センサ１１２で読み取った情報を、同一人物の同じ指にフィードバックすることも含む。また、本実施の形態において、「伝達」とは、利用者Ａの指の皮膚振動センサ１１２で読み取った情報を、別人物Ｂの手および／または腕に出力することで、利用者Ａから別人Ｂへ触覚情報を伝えることをいう。なお、増強または加工に関し、以下の非特許文献に記載の触感伝送方法を用いてもよい（Ｋ．Ｍｉｎａｍｉｚａｗａ ｅｔ ａｌ．“ＴＥＣＨＴＩＬＥ ｔｏｏｌｋｉｔ： ａ ｐｒｏｔｏｔｙｐｉｎｇ ｔｏｏｌ ｆｏｒ ｄｅｓｉｇｎｉｎｇ ｈａｐｔｉｃ ｍｅｄｉａ，” ＡＣＭ ＳＩＧＧＲＡＰＨ ２０１２ Ｅｍｅｒｇｉｎｇ Ｔｅｃｈｎｏｌｏｇｉｅｓ， ２０１２．）。 Returning to FIG. 1 again, in the configuration of the tactile presentation system, the transducer 102 is a means for converting the vibration signal read by the skin vibration sensor 112 for expansion or transmission. As an example, the transducer 102 may amplify, modulate, and / or subtract the vibration propagation characteristics of the finger from the vibration signal read by the skin vibration sensor 112. By multiplying the inverse function of the skin vibration propagation function of a typical or average human finger and subtracting the vibration propagation characteristics of the finger, the vibration generated on the skin becomes close to the vibration when actually touching an object. , The effect of improving the sense of presence can be obtained. Here, in the present embodiment, "expansion" means feeding back the information read by the skin vibration sensor 112 of the finger of the user A to the hand and / or arm of the same person A. In the present embodiment, the "expansion" includes feeding back the information read by the skin vibration sensor 112 of the finger of the user A to the same finger of the same person. Further, in the present embodiment, "transmission" means that the information read by the skin vibration sensor 112 of the finger of the user A is output to the hand and / or arm of the other person B, so that the user A can use another person. It means to convey tactile information to B. In addition, regarding enhancement or processing, the tactile transmission method described in the following non-patent documents may be used (K. Minamizawa et al. "TECHTILE toolkit: a prototyping tool for designing haptic media," ACM SIGGRAPH. .).
ここで、変換器１０２は、皮膚振動センサ１１２を付けた利用者Ａの指の振動伝播特性を差し引く無人称化を行ってもよい。本実施の形態において、「無人称化」とは、皮膚振動センサ１１２を付けた利用者Ａの指の振動伝播特性を差し引くことで、任意の人に伝達可能な無人称的な触覚情報を取り出すことをいう。すなわち、利用者Ａの指から検出した振動は、その指の長さや柔らかさ等その人の指の特性（すなわち「振動伝播特性」）を有しており、利用者Ａの一人称的な触覚情報となっている。そのため、利用者Ａの指先に既知の振動を与え、Ａの指中節の皮膚振動センサ１１２の測定データと比較することで、利用者Ａの指先から指中節までの振動伝搬特性を計測し、任意のセンサ情報から伝搬特性を逆算することで、あらゆる人に伝達可能な一般化した触覚情報を取り出すことができる（詳細な実例については後述する）。 Here, the transducer 102 may be unpersonalized by subtracting the vibration propagation characteristic of the finger of the user A to which the skin vibration sensor 112 is attached. In the present embodiment, "unpersonalization" means extracting unpersonal tactile information that can be transmitted to an arbitrary person by subtracting the vibration propagation characteristic of the finger of the user A to which the skin vibration sensor 112 is attached. Say that. That is, the vibration detected from the finger of the user A has the characteristics of the finger of the person such as the length and softness of the finger (that is, the "vibration propagation characteristic"), and is the first-person tactile information of the user A. It has become. Therefore, by applying known vibration to the fingertip of user A and comparing it with the measurement data of the skin vibration sensor 112 of the middle phalanx of A, the vibration propagation characteristic from the fingertip of user A to the middle phalanx is measured. By back-calculating the propagation characteristics from arbitrary sensor information, generalized tactile information that can be transmitted to anyone can be extracted (detailed examples will be described later).
ここで、変換器１０２は、図１に示すように、更に、プリアンプ１０２ａ、イコライザ１０２ｂ、および／または、振動子用アンプ１０２ｃを備えてもよい。 Here, as shown in FIG. 1, the converter 102 may further include a preamplifier 102a, an equalizer 102b, and / or an oscillator amplifier 102c.
このうち、プリアンプ１０２ａは、皮膚振動センサ１１２からの振動信号である電気信号を増幅させる前置増幅器である。例えば、皮膚振動センサ１１２が前述のＰＶＤＦフィルムで構成される場合、圧電効果により電圧が発生するため電源が不要であるものの、出力させる電圧信号が弱い場合がある。このように、プリアンプ１０２ａは、皮膚振動センサ１１２からの振動信号が弱い場合に、その振動信号を変換入力として扱えるレベルまで増幅してもよい。 Of these, the preamplifier 102a is a preamplifier that amplifies an electrical signal that is a vibration signal from the skin vibration sensor 112. For example, when the skin vibration sensor 112 is made of the PVDF film described above, a power source is not required because a voltage is generated by the piezoelectric effect, but the voltage signal to be output may be weak. As described above, when the vibration signal from the skin vibration sensor 112 is weak, the preamplifier 102a may amplify the vibration signal to a level that can be treated as a conversion input.
また、イコライザ１０２ｂは、皮膚振動センサ１１２からの振動信号の周波数特性を、拡張や伝達の目的に応じて適切化する補正回路である。一例として、イコライザ１０２ｂは、特定の周波数帯の振動信号を通過させるバンドパスフィルタであってもよく、振動信号を増強または変調する周波数フィルタであってもよい。例えば、イコライザ１０２ｂは、ヒトの触覚で知覚できる周波数帯域のみを通過させるフィルタであってもよい。また、イコライザ１０２ｂないしは変換器１０２は、振動信号を修飾するエフェクター機能を有してもよく、振動信号を遅らせるディレイ機能を有してもよく、振動信号のピッチを変更するピッチシフト機能を有してもよく、振動信号にホワイトノイズを付加することで触覚感覚的な増幅を引き起こしてもよい。 Further, the equalizer 102b is a correction circuit for optimizing the frequency characteristics of the vibration signal from the skin vibration sensor 112 according to the purpose of expansion or transmission. As an example, the equalizer 102b may be a bandpass filter that passes a vibration signal of a specific frequency band, or may be a frequency filter that enhances or modulates the vibration signal. For example, the equalizer 102b may be a filter that passes only the frequency band perceptible to the human sense of touch. Further, the equalizer 102b or the converter 102 may have an effector function for modifying the vibration signal, a delay function for delaying the vibration signal, and a pitch shift function for changing the pitch of the vibration signal. Alternatively, the tactile sensory amplification may be caused by adding white noise to the vibration signal.
ここで、イコライザ１０２ｂは、振動信号に対して皮膚伝達関数の逆関数を掛けることにより、利用者の振動伝搬特性を差し引く無人称化を行ってもよい。入力された振動に対して各人の皮膚で発生する振動には個人差があり、また、同一の人であっても、指の押しつけ力など指の状態を変えることで振動に差が生じる。上述した皮膚振動伝播関数を用いて定数を求め、その逆関数を掛ければ、個人差や指の状態に依存しない無人称化された振動信号を得ることができる。ここで、図６は、イコライザ１０２ｂにおいて無人称化を行う触覚呈示システムにおけるデータフローを一例として示した図である。 Here, the equalizer 102b may be unmanned by multiplying the vibration signal by the inverse function of the skin transfer function to subtract the vibration propagation characteristics of the user. There are individual differences in the vibration generated on each person's skin with respect to the input vibration, and even for the same person, the vibration varies by changing the state of the finger such as the pressing force of the finger. By finding the constant using the skin vibration propagation function described above and multiplying it by the inverse function, it is possible to obtain an unpersonalized vibration signal that does not depend on individual differences or the state of the finger. Here, FIG. 6 is a diagram showing as an example a data flow in a tactile presentation system for unpersonalizing the equalizer 102b.
図６に示すように、振動を伝える送信側の伝達関数をｇ、振動を受け取る受信側の伝達関数をｆとし、入力刺激をｘとする。このとき、それぞれが得ている触覚は、ｇ（ｘ）およびｆ（ｘ）に基づくとする。皮膚振動センサ１１２を用いることで、ｇ（ｘ）が取得できる。ここでは、皮膚振動センサ１１２を用いることで既に受信側の受取手の皮膚の伝達関数ｆが求められているとする。このとき、受取手の皮膚伝搬振動をｇ（ｘ）にする、すなわち、送信側の利用者の皮膚伝播振動を、受信側の受取手の機械刺激と同一とし、触覚の共有を図る方法を以下に説明する。 As shown in FIG. 6, the transfer function on the transmitting side that transmits vibration is g, the transfer function on the receiving side that receives vibration is f, and the input stimulus is x. At this time, it is assumed that the tactile sensations obtained by each are based on g (x) and f (x). By using the skin vibration sensor 112, g (x) can be obtained. Here, it is assumed that the transfer function f of the skin of the receiver on the receiving side has already been obtained by using the skin vibration sensor 112. At this time, the method of setting the skin propagation vibration of the receiver to g (x), that is, making the skin propagation vibration of the user on the transmitting side the same as the mechanical stimulation of the receiver on the receiving side and sharing the tactile sensation is as follows. Explain to.
まず、イコライザ１０２ｂは、皮膚振動センサ１１２により読み取られた振動信号ｇ（ｘ）に対し、振動を受け取る人の伝達関数ｆの逆関数ｆ−１をかけた振動信号ｆ−１（ｇ（ｘ））を、受取手に送信する。そして、受信側の振動アクチュエータ１１４は、受信した振動信号ｆ−１（ｇ（ｘ））を出力する。受取手に発生する皮膚伝搬振動には、入力された刺激に対して、受取手の固有の伝達関数ｆがかかる。これによって、受取手の伝達関数ｆとｆ−１が相殺され、受取手の皮膚にｇ（ｘ）が生じることになる。このようにして、各人の皮膚の伝達関数を用いることで、皮膚上で発生する振動を同一にでき、触覚の共有化を図ることができる。なお、この例では、送信側の変換器１０２において、受取手の伝達関数ｆの逆関数ｆ−１を掛け合わせて送信したが、これに限られず、送信側の変換器１０２が、振動信号ｇ（ｘ）を送信して、受信側の変換器１０２において、自己（受取手）の伝達関数ｆの逆関数ｆ−１を、受信した振動信号ｇ（ｘ）に対して、触刺激出力前に掛け合わせもよいものである。First, the equalizer 102b multiplies the vibration signal g (x) read by the skin vibration sensor 112 by the inverse function f -1 of the transfer function f of the person who receives the vibration, and the vibration signal f -1 (g (x)). ) Is sent to the recipient. Then, the vibration actuator 114 on the receiving side outputs the received vibration signal f -1 (g (x)). The skin-borne vibration generated in the recipient is subject to the recipient's unique transfer function f with respect to the input stimulus. As a result, the transfer functions f and f -1 of the recipient are offset, and g (x) is generated on the skin of the recipient. In this way, by using the transfer function of each person's skin, the vibrations generated on the skin can be made the same, and the tactile sensation can be shared. In this example, the transmitter 102 on the transmitting side multiplies the inverse function f -1 of the transmission function f of the receiver to transmit, but the present invention is not limited to this, and the converter 102 on the transmitting side transmits the vibration signal g. (X) is transmitted, and in the converter 102 on the receiving side, the inverse function f -1 of the transmission function f of the self (receiver) is sent to the received vibration signal g (x) before the tactile stimulus output. The crossing is also good.
再び図１に戻り、振動子用アンプ１０２ｂは、出力する振動アクチュエータ１１４の振動子に応じた振動信号（入力信号）の増幅を行う増幅器である。例えば、振動アクチュエータ１１４の振動子が、ボイスコイル型振動子か、ピエゾ素子か、バイブレーションモータかの種別の違いによって、電気信号に対する機械刺激の出力が異なるので、振動子の種類に応じて増幅や変調を行ってもよい。 Returning to FIG. 1 again, the oscillator amplifier 102b is an amplifier that amplifies the vibration signal (input signal) according to the oscillator of the output vibration actuator 114. For example, the output of the mechanical stimulus to the electric signal differs depending on the type of the vibrator of the vibration actuator 114, which is a voice coil type vibrator, a piezo element, or a vibration motor. Therefore, amplification or amplification is performed according to the type of the vibrator. Modulation may be performed.
以上が変換器１０２の特徴である。なお、変換器１０２は、図示しない信号データの送受信のための通信手段や、信号データの入出力手段、信号データを記憶する記憶部や、信号データの変換以外の処理を行う制御部に接続されてもよい。例えば、通信手段として、通信制御インターフェイス部は、皮膚振動センサ１１２を少なくとも備えた送信側端末と、振動アクチュエータ１１４を少なくとも備えた受信側端末とを、有線または無線にて通信する制御を行う。通信は、インターネット等のネットワークを介した通信であってもよい。すなわち、通信制御インターフェイス部は、他の端末と、通信回線（有線、無線を問わない）を介して信号データを通信する機能を有する。また、入出力制御インターフェイス部は、ＵＳＢメモリ等の記録媒体と接続して信号データを授受する制御を行う。記憶部は、固定ディスク装置等のストレージ手段であり、各種処理に用いる各種のプログラムやテーブルやファイルやデータベースやウェブページ等を格納する。また、制御部は、ＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）等の制御プログラム、各種の処理手順等を規定したプログラム、および所要データを格納するための内部メモリを有し、これらのプログラム等により、種々の処理を実行するための情報処理を行ってもよい。 The above are the features of the converter 102. The converter 102 is connected to a communication means for transmitting and receiving signal data (not shown), a signal data input / output means, a storage unit for storing signal data, and a control unit that performs processing other than signal data conversion. You may. For example, as a communication means, the communication control interface unit controls communication between a transmitting side terminal having at least a skin vibration sensor 112 and a receiving side terminal having at least a vibration actuator 114 by wire or wirelessly. The communication may be communication via a network such as the Internet. That is, the communication control interface unit has a function of communicating signal data with another terminal via a communication line (whether wired or wireless). In addition, the input / output control interface unit connects to a recording medium such as a USB memory to control transmission / reception of signal data. The storage unit is a storage means such as a fixed disk device, and stores various programs, tables, files, databases, web pages, etc. used for various processes. In addition, the control unit has a control program such as an OS (Operating System), a program that defines various processing procedures, and an internal memory for storing required data, and various processes are performed by these programs and the like. Information processing for execution may be performed.
図１において、触覚呈示システムの構成のうち、振動アクチュエータ１１４は、触刺激を呈示する振動子を含むアクチュエータである。ここで、振動アクチュエータ１１４は、皮膚振動センサ１１２が設けられた同じ指、あるいは、当該指以外の手および／もしくは腕、または第三者の手および／または腕に設けられ、変換器１０２により変換された振動信号に基づいて触刺激を呈示する。なお、振動アクチュエータ１１４と皮膚振動センサ１１２を同じ指に設ける場合、前者は第３関節に設置し後者は第２関節に設置するなど、同じ指において、指先以外の別の場所で、センシングと提示を行ってもよい。ここで、振動アクチュエータ１１４の振動子は、ボイスコイル型振動子、ピエゾ素子、または、バイブレーションモータであってもよい。ここで、振動アクチュエータ１１４や変換器１０２は、ウェアラブルなシステムとして構成するため、上述した図２のように、振動子を内蔵し、加工された触覚信号を手に提示する触覚拡張バンドとして構成されてもよい。 In FIG. 1, in the configuration of the tactile presentation system, the vibration actuator 114 is an actuator including an oscillator that presents a tactile stimulus. Here, the vibration actuator 114 is provided on the same finger provided with the skin vibration sensor 112, a hand and / or arm other than the finger, or a third person's hand and / or arm, and is converted by the converter 102. The tactile stimulus is presented based on the vibration signal. When the vibration actuator 114 and the skin vibration sensor 112 are installed on the same finger, the former is installed on the third joint and the latter is installed on the second joint. With the same finger, sensing and presentation are performed at a place other than the fingertip. May be done. Here, the oscillator of the vibration actuator 114 may be a voice coil type oscillator, a piezo element, or a vibration motor. Here, since the vibration actuator 114 and the converter 102 are configured as a wearable system, as shown in FIG. 2 described above, the vibration actuator 114 and the converter 102 are configured as a tactile expansion band having a built-in oscillator and presenting a processed tactile signal to the hand. You may.
一例として、触感を再生するアクチュエータとして、ＡＬＰＳ社製Ｆｏｒｃｅ Ｒｅａｃｔｏｒ ＡＦ，Ｌ−ｔｙｐｅ等のボイスコイル型振動子を用いて、触感を呈示する部位に貼付してもよい。なお、振動アクチュエータ１１４として、テクタイルツールキットを用いてもよい。テクタイルツールキットの周波数応答特性等の詳細について、以下の非特許文献を参照してもよい（仲谷正史ほか『触感表現の一般普及に向けた方法論とテクタイルワークショップを通したその実践』日本バーチャルリアリティ学会論文誌１９（４），ｐｐ．５９３−６０３，２０１４−１２−３１）。 As an example, as an actuator that reproduces the tactile sensation, a voice coil type oscillator such as Force Reactor AF, L-type manufactured by ALPS may be used and attached to a portion that exhibits the tactile sensation. A techtile toolkit may be used as the vibration actuator 114. For details on the frequency response characteristics of the techtile tool kit, refer to the following non-patent documents (Masashi Nakatani et al., "Methodology for popularization of tactile expression and its practice through techtile workshops" Japan Journal of the Virtual Reality Society of Japan 19 (4), pp. 593-603, 2014-12-31).
以上で、本実施の形態の触覚呈示システムの各構成の説明を終える。 This concludes the description of each configuration of the tactile presentation system of the present embodiment.
［触覚呈示システムの処理］
次に、このように構成された本実施の形態における触覚呈示システムの処理の一例について、以下に図７および図８を参照して詳細に説明する。[Processing of tactile presentation system]
Next, an example of the processing of the tactile presentation system according to the present embodiment configured as described above will be described in detail with reference to FIGS. 7 and 8 below.
（触覚拡張処理）
図７は、本実施の形態の触覚呈示システムにおける触覚拡張処理の一例を示すフローチャートである。(Tactile expansion processing)
FIG. 7 is a flowchart showing an example of the tactile expansion process in the tactile presentation system of the present embodiment.
図７に示すように、まず、本触覚呈示システムの皮膚振動センサ１１２は、利用者の指の皮膚を介して伝達された振動を検出し、振動信号を取得する（ステップＳＡ−１）。 As shown in FIG. 7, first, the skin vibration sensor 112 of the tactile presentation system detects the vibration transmitted through the skin of the user's finger and acquires the vibration signal (step SA-1).
そして、本触覚呈示システムは、振動信号を有線または無線の通信路を介して、皮膚振動センサ１１２で発生した振動信号を変換器１０２まで伝送する（ステップＳＡ−２）。 Then, the tactile presentation system transmits the vibration signal to the converter 102 via the wired or wireless communication path (step SA-2).
そして、本触覚呈示システムの変換器１０２は、振動信号を拡張用に変換する（ステップＳＡ−３）。例えば、変換器１０２は、プリアンプ１０２ａにより振動信号を変換入力レベルまで増幅し、イコライザ１０２ｂにより所定の周波数帯の振動信号のみを通過させ、振動子用アンプ１０２ｂにて、信号増幅を行ってもよい。 Then, the converter 102 of the tactile presentation system converts the vibration signal for expansion (step SA-3). For example, the converter 102 may amplify the vibration signal to the conversion input level by the preamplifier 102a, pass only the vibration signal of a predetermined frequency band by the equalizer 102b, and perform signal amplification by the oscillator amplifier 102b. ..
そして、本触覚呈示システムは、変換器１０２により変換された振動信号に基づいて、同一利用者の皮膚振動センサ１１２が設けられた同じ指もしくは当該指以外の手指や腕に装着された振動アクチュエータ１１４から触刺激を呈示することにより、利用者の触覚の拡張を行う（ステップＳＡ−４）。ここで、振動アクチュエータ１１４は、物体と直接接触する指が属する手の手首関節より指先側に配置することで、直接物体を扱いながら、指先の感覚を増強させることができる。 Then, in this tactile presentation system, based on the vibration signal converted by the converter 102, the vibration actuator 114 attached to the same finger provided with the skin vibration sensor 112 of the same user or a finger or arm other than the finger. By presenting a tactile stimulus from the user, the user's tactile sensation is expanded (step SA-4). Here, by arranging the vibration actuator 114 on the fingertip side of the wrist joint of the hand to which the finger that comes into direct contact with the object belongs, it is possible to enhance the sensation of the fingertip while directly handling the object.
以上が、本触覚呈示システムの触覚拡張処理の一例である。つづいて、本触覚呈示システムの触覚伝送処理の一例について以下に説明する。 The above is an example of the tactile expansion process of this tactile presentation system. Next, an example of the tactile transmission process of this tactile presentation system will be described below.
（触覚伝送処理）
図８は、本実施の形態の触覚呈示システムにおける触覚伝送処理の一例を示すフローチャートである。(Tactile transmission processing)
FIG. 8 is a flowchart showing an example of the tactile transmission process in the tactile presentation system of the present embodiment.
図８に示すように、まず、本触覚呈示システムの皮膚振動センサ１１２は、利用者の指の皮膚を介して伝達された振動を検出し、振動信号ｇ（ｘ）を取得する（ステップＳＢ−１）。なお、本触覚呈示システムは、上述したステップＳＡ−２と同様に、振動信号を有線または無線の通信路を介して、皮膚振動センサ１１２で発生した振動信号を変換器１０２まで伝送する。 As shown in FIG. 8, first, the skin vibration sensor 112 of this tactile presentation system detects the vibration transmitted through the skin of the user's finger and acquires the vibration signal g (x) (step SB-. 1). The tactile presentation system transmits the vibration signal generated by the skin vibration sensor 112 to the converter 102 via a wired or wireless communication path, as in step SA-2 described above.
そして、本触覚呈示システムの変換器１０２は、イコライザ１０２ｂにより、振動信号ｇ（ｘ）に対して、受取手の皮膚伝達関数の逆関数ｆ−１を掛けることにより、振動伝搬特性を差し引く無人称化処理を行う（ステップＳＢ−２）。逆関数を掛けることにより、個人差や指の状態に依存しない無人称化された振動信号ｆ−１（ｇ（ｘ））を得ることができる。Then, the converter 102 of this tactile presentation system subtracts the vibration propagation characteristic by multiplying the vibration signal g (x) by the inverse function f- 1 of the recipient's skin transfer function by the equalizer 102b. The conversion process is performed (step SB-2). By multiplying by the inverse function, an unpersonalized vibration signal f -1 (g (x)) that does not depend on individual differences or the state of the finger can be obtained.
そして、本触覚呈示システムの送信側端末は、有線または無線の伝送路を介して、変換器１０２により無人称化された振動信号ｆ−１（ｇ（ｘ））を送信する（ステップＳＢ−３）Then, the transmitting terminal of the tactile presentation system transmits the vibration signal f- 1 (g (x)) unpersonalized by the converter 102 via the wired or wireless transmission line (step SB-3). )
そして、本触覚呈示システムの受信側端末は、有線または無線の伝送路を介して、送信された振動信号ｆ−１（ｇ（ｘ））を受信する（ステップＳＢ−４）。Then, the receiving terminal of the tactile presentation system receives the transmitted vibration signal f -1 (g (x)) via the wired or wireless transmission line (step SB-4).
そして、本触覚呈示システムの振動アクチュエータ１１４は、受信した振動信号ｆ−１（ｇ（ｘ））に基づいて、受取手に対し触刺激を呈示する（ステップＳＢ−５）。受取手では、入力された刺激に対して、受取手の伝達関数ｆがかかるので、受取手の伝達関数ｆとｆ−１が相殺され、受取手の皮膚に触刺激ｇ（ｘ）が生じることになる。したがって、別の人同士で、皮膚上に発生する振動を同一にすることができ、触覚の共有化を図ることができる。Then, the vibration actuator 114 of this tactile presentation system presents a tactile stimulus to the recipient based on the received vibration signal f -1 (g (x)) (step SB-5). In the recipient, the transfer function f of the receiver is applied to the input stimulus, so that the transfer functions f and f -1 of the receiver are offset and a tactile stimulus g (x) is generated on the skin of the recipient. become. Therefore, the vibrations generated on the skin can be made the same among different people, and the sense of touch can be shared.
以上が、本実施の形態の触覚呈示システムの処理の説明である。 The above is the description of the processing of the tactile presentation system of the present embodiment.
［実施例１］
ここで、本実施の形態の触覚呈示システムの無人称化に関する実施例１について以下に説明する。[Example 1]
Here, the first embodiment relating to the unpersonalization of the tactile presentation system of the present embodiment will be described below.
本実施例では、図１の変換器１０２の各部で示したように、センサ信号を増幅するアンプ１０２ａ、イコライザ１０２ｂ、振動子用アンプ１０２ｃ、ならびに、振動子１１４を用いた。センサ用アンプ１０２ａの入力には、センサを直接接続するか、あるいは、記録したセンサ信号を入力した。イコライザ１０２ｂは、計測した伝達関数の逆関数をかけるために使用した。単純に振動子を用いており、高精度に皮膚伝搬振動や触感を再現するものではないが、相対評価が可能な触覚呈示システムといえる。なお、実験では比較のために同時に２種類の触覚呈示を行うことから、イコライザ１０２ｂ、振動子用アンプ１０２ｃ、振動子１１４をもう１セット用意し、２つの振動を同時に比較できるようにした。 In this embodiment, as shown in each part of the converter 102 of FIG. 1, an amplifier 102a, an equalizer 102b, an amplifier 102c for an oscillator, and an oscillator 114 for amplifying a sensor signal are used. The sensor was directly connected to the input of the sensor amplifier 102a, or the recorded sensor signal was input. The equalizer 102b was used to multiply the inverse of the measured transfer function. Although it simply uses an oscillator and does not reproduce skin-propagated vibration and tactile sensation with high accuracy, it can be said to be a tactile presentation system capable of relative evaluation. In the experiment, two types of tactile sensations were presented at the same time for comparison, so another set of equalizer 102b, oscillator amplifier 102c, and oscillator 114 was prepared so that the two vibrations could be compared at the same time.
（実験方法）
本実施例では、他の人が予め皮膚振動センサ１１２を指に装着して粗さ試片をなぞった際に得られたセンサ出力信号を記録し、呈示に用いた。また、他者と同じ触覚を得たかの比較は困難であるため、同一の被験者で指先の接触荷重が異なる条件で触覚を比較し、上記の手法を用いることで、異なる接触荷重でも似た触覚が得られるかを評価した。(experimental method)
In this embodiment, the sensor output signal obtained when another person previously attached the skin vibration sensor 112 to the finger and traced the roughness sample was recorded and used for presentation. In addition, since it is difficult to compare whether the same tactile sensation was obtained with others, by comparing the tactile sensations under the condition that the contact load of the fingertips is different for the same subject and using the above method, similar tactile sensations can be obtained even with different contact loads. It was evaluated whether it could be obtained.
まず、皮膚伝搬振動の伝達関数を求めるため、指先にスイープ振動（５−５００Ｈｚ，正弦波，１０ｓ）を与え、入力振動の加速度とセンサ出力を計測した。なお、指先の荷重条件は、０．２５Ｎと１Ｎとした。被験者１人あたりそれぞれ３回ずつ計測し、平均した伝達関数を用いた。ここで、入力振動の加速度とセンサ出力からは、皮膚伝搬振動に加え、センサ１１２の物理・電気特性も含んだ伝達関数を計測できるが、イコライザ１０２ｂには、この伝達関数の逆関数を設定した。これは、呈示用のセンサ出力信号にも同様に、センサ１１２による伝達関数が含まれているためである。ただし、本実施の形態において上述したモデルによれば、定性的には影響しないが、定量的にはセンサの伝達関数にも個人差が含まれると考えられる。しかしながら、量的に正確な皮膚伝搬振動の再現ではなく、振動子を用いた相対的な比較を可能にする伝達を試みているため、本実施例では、これを無視して計測した伝達関数をそのまま利用した。 First, in order to obtain the transfer function of skin-propagated vibration, sweep vibration (5-500 Hz, sine wave, 10 s) was applied to the fingertips, and the acceleration of the input vibration and the sensor output were measured. The load conditions for the fingertips were 0.25N and 1N. Each subject was measured 3 times and the averaged transfer function was used. Here, the transfer function including the physical and electrical characteristics of the sensor 112 can be measured from the acceleration of the input vibration and the sensor output in addition to the skin-propagated vibration. The equalizer 102b is set to the inverse function of this transfer function. .. This is because the sensor output signal for presentation also includes the transfer function by the sensor 112. However, according to the model described above in the present embodiment, although it does not affect qualitatively, it is considered that the transfer function of the sensor also includes individual differences quantitatively. However, instead of reproducing the skin-propagated vibration quantitatively accurately, we are trying to transmit that enables relative comparison using an oscillator. Therefore, in this embodiment, the transfer function measured by ignoring this is used. I used it as it was.
伝達関数は、荷重が０．２５Ｎのときをｐ、１Ｎのときをｑとし、逆関数は計測結果よりゲイン：−７５ｄＢを基準として、イコライザ１０２ｂを相対的に設定した。被験者は両手を用いて、左右で異なる荷重条件を与え、異なる伝達関数（ｐかｑ）の状態にし、これにイコライザ１０２ｂを用いて逆伝達関数をかけた他の人のセンサ出力信号を触覚呈示した。 In the transfer function, p was set when the load was 0.25 N, and q was set when the load was 1 N. In the inverse function, the equalizer 102b was relatively set based on the gain: −75 dB from the measurement result. The subject uses both hands to apply different load conditions on the left and right to obtain different transfer functions (p or q), and then uses the equalizer 102b to apply the inverse transfer function to the sensor output signal of another person. did.
組み合せは、荷重をかけている皮膚の逆伝達関数を使用する場合（ｐ・ｐ−１とｑ・ｑ−１）、および、その逆の場合（ｐ・ｑ−１とｑ・ｐ−１）の２条件について行った。本実施例では、被験者はどちらの手の振動が大きいかを回答する。各条件について１０回ずつ回答してもらった。なお、実験の前に左右の違いがないように同じ荷重条件で同じ振動を与えた際に違いがないように、予め振動子用アンプ１０２ｃのゲインを調整した。また、計測した伝達関数は、人差し指のみのため、振動子１１４を人差し指のみで同じ姿勢、荷重（０．２５Ｎまたは、１Ｎ）で触ってもらい、振動を比較してもらうようにした。The combination is when using the inverse transfer function of the loaded skin (p · p -1 and q · q -1 ) and vice versa (p · q -1 and q · p -1 ). We went about two conditions. In this embodiment, the subject answers which hand vibrates more. We asked them to answer each condition 10 times. Before the experiment, the gain of the oscillator amplifier 102c was adjusted in advance so that there would be no difference when the same vibration was applied under the same load conditions so that there would be no difference between the left and right sides. In addition, since the measured transfer function is only the index finger, the vibrator 114 was touched with the index finger only in the same posture and load (0.25N or 1N), and the vibrations were compared.
（実験結果および考察）
図９は、６名の被験者に対する実験結果を示すグラフ図である。図９では、各被験者について、それぞれの条件において振動が大きいと答えた回数を示している。図９（ａ）では、大きいと答えた振動が一方に偏らず、ばらついている。一方、図９（ｂ）においてはほとんどの被験者がｑ・ｐ−１の方が大きいと答えた。実験結果の図９（ａ）から回答数に個人差はあるが、回答にばらつきがあり、左右の振動の強弱を比べることが困難であることが分かった。したがって、逆関数を掛け合わせることにより、左右の指には同程度の振動が伝わっていると確かめられた。(Experimental results and discussion)
FIG. 9 is a graph showing the experimental results for 6 subjects. FIG. 9 shows the number of times that each subject answered that the vibration was large under each condition. In FIG. 9A, the vibrations that are answered to be large are not biased to one side and are scattered. On the other hand, in FIG. 9B, most of the subjects answered that q ・ p -1 was larger. From FIG. 9A of the experimental results, it was found that although there are individual differences in the number of responses, there are variations in the responses, and it is difficult to compare the strength of the left and right vibrations. Therefore, it was confirmed that the same degree of vibration was transmitted to the left and right fingers by multiplying the inverse function.
なお、本手法は、なぞりの再現や刺激の空間分布を再現しておらず厳密に相手が触った触覚を再現するものではないが、振動子を用いて、一旦自分の触覚を同様に振動子で体感し、相手と比較するなど、相対的評価を可能にするものであり、触覚の伝達として効果があると考えられる。 It should be noted that this method does not reproduce the tracing and the spatial distribution of the stimulus, and does not exactly reproduce the tactile sensation touched by the other party. It enables relative evaluation, such as experiencing it and comparing it with the other party, and is considered to be effective as a tactile transmission.
ここで、図９（ｂ）では、回答がｑ・ｐ−１の方が大きいと偏っており、伝達関数の強度から妥当な結果といえる。この原因として、今回の実験に用いた伝達関数は、計測結果から周波数によっても大きさは異なるが、全体として強度は│ｐ│＜│ｑ│となっており、このことから│ｐ│−１＞│ｑ│−１といえる。したがって、ｑ・ｐ−１の組み合せの振動は、ｐ・ｑ−１より大きくなると考えられる。以上より、本手法で自分の伝達関数を変化させて同程度の触覚を感じ取れていると確かめられたことから、相手の皮膚伝搬振動に変換できるとわかった。Here, in FIG. 9B, the answer is biased that q · p -1 is larger, which can be said to be a reasonable result from the strength of the transfer function. The reason for this is that the transfer function used in this experiment varies in magnitude depending on the frequency from the measurement results, but the overall intensity is │p│<│q│, which is why │p│- 1. > │ q │ -1 . Therefore, it is considered that the vibration of the combination of q · p -1 is larger than that of p · q -1 . From the above, it was confirmed that the same degree of tactile sensation could be felt by changing one's transfer function by this method, and it was found that it can be converted into the skin-propagated vibration of the other party.
（まとめ）
本実施例では、自身の皮膚の逆関数をかけることにより、自分の皮膚伝搬振動を相手の皮膚伝搬振動に変換できることが分かった。他者と同じ触覚を得たかの比較は困難であるため、同一の被験者で押しつけ力による自分の伝達関数の変化を利用して振動子を用いた触覚伝達の実験を行った。したがって、この結果は、相手の皮膚伝搬振動への変換にも応用できると考えられる。(Summary)
In this example, it was found that by multiplying the inverse function of one's own skin, one's own skin-propagated vibration can be converted into the other's skin-propagated vibration. Since it is difficult to compare whether or not the same tactile sensation was obtained with others, an experiment of tactile transmission using an oscillator was conducted using the change of one's own transfer function due to the pressing force in the same subject. Therefore, it is considered that this result can be applied to the conversion into the skin propagation vibration of the other party.
［実施例２］
ここで、本実施の形態の触覚呈示システムによる触覚の拡張に関する実施例２について以下に説明する。[Example 2]
Here, the second embodiment relating to the expansion of the tactile sensation by the tactile sensation presentation system of the present embodiment will be described below.
本実施例では、図２に示した触覚拡張を図る構成において、被験者の主観評価を行い、実際に感覚として触覚拡張が引き起こされたか否かを実験した。 In this example, in the configuration for tactile dilation shown in FIG. 2, the subject's subjective evaluation was performed, and it was tested whether or not the tactile dilation was actually caused as a sensation.
以下に示す手順にて実験を実施した。まず、実験は、恒常法を用いて行い、被験者には図２のシステムを身につけさせた。次に、ホワイトノイズを流しているノイズキャンセリングヘッドフォンと目隠しを身につけ、視覚と聴覚を遮断した。 The experiment was carried out according to the procedure shown below. First, the experiment was performed using the constant method, and the subjects were made to wear the system shown in FIG. Next, I wore noise-cancelling headphones with white noise and a blindfold to block my sight and hearing.
そして、紙やすり１２０，１５０，１８０，２４０，３２０，４００，６００番手を比較刺激とし、２４０番手を標準刺激として使用した。被験者には、標準刺激に対して、比較刺激が滑らかか否かを二件法により回答させた。検査回数は、標準刺激から比較刺激を５回、比較刺激から標準刺激を５回試行し、各比較刺激（１２０〜６００番手）に対して行い、計７０回の試行を１セクションとして実施した。そして、触覚拡張システムの有無で２セクション、計１４０回の試行を実施した。 Then, sandpaper 120, 150, 180, 240, 320, 400, 600 counts were used as comparative stimuli, and 240 counts were used as standard stimuli. The subjects were asked to answer whether the comparative stimulus was smooth or not with respect to the standard stimulus by the two-case method. The number of tests was 5 trials from the standard stimulus and 5 trials from the comparative stimulus, 5 trials from the comparative stimulus, and each comparative stimulus (120 to 600 counts) was performed, and a total of 70 trials were performed as one section. Then, a total of 140 trials were carried out in two sections with and without the tactile expansion system.
図１０は、触覚拡張のシステムの有無による主観評価の実験結果を示すグラフ図である。横軸は、サンドペーパーの粗さ（番手）を示しており、縦軸は、比較刺激の方が滑らかだと回答した確率を示している。 FIG. 10 is a graph showing the experimental results of subjective evaluation with and without the tactile dilation system. The horizontal axis shows the roughness (count) of sandpaper, and the vertical axis shows the probability that the comparative stimulus is smoother.
すなわち、標準刺激（２４０番手）に対して比較刺激が滑らかと回答すればするほど縦軸が１に近づく。したがって、２４０番手未満は０であるほど正しく、２４０番手より大きい場合は１であるほど正しいということを示している。 That is, the more smooth the comparative stimulus is to the standard stimulus (240th), the closer the vertical axis approaches 1. Therefore, it is shown that the value less than 240 is correct as it is 0, and the value greater than 240 is correct as it is 1.
さらに、図１０において、実験結果の縦線は、弁別閾を示しており、左側の線は２５％の確率では知覚でき、右側の線は７５％の確率で知覚できることを示している。すなわち、ここから得られた弁別の差の半分（弁別閾）が小さいほど細かく粗さ滑らかさを知覚できることを示している。 Further, in FIG. 10, the vertical line of the experimental result shows the discrimination threshold, the left line is perceptible with a 25% probability, and the right line is perceptible with a 75% probability. That is, it is shown that the smaller the half of the difference in discrimination (discrimination threshold) obtained from this, the finer the roughness and smoothness can be perceived.
図１０に示すように、本実験で得られた弁別閾は、触覚拡張のシステムが無い場合は、１１８であり、触感拡張のシステムがある場合は、８４であった。したがって、触感拡張のシステムがあった方が弁別閾が低く、細かく粗さと滑らかさを知覚できていることから、触感の拡張が実施できることが確かめられた。 As shown in FIG. 10, the discrimination threshold obtained in this experiment was 118 in the absence of the tactile dilation system and 84 in the presence of the tactile dilation system. Therefore, it was confirmed that the tactile sensation can be expanded because the discrimination threshold is lower and the roughness and smoothness can be perceived finely if there is a tactile sensation expansion system.
以上で、本実施例の説明を終える。 This is the end of the description of this embodiment.
［他の実施の形態］
さて、これまで本発明の実施の形態について説明したが、本発明は、上述した実施の形態以外にも、特許請求の範囲に記載した技術的思想の範囲内において種々の異なる実施の形態にて実施されてよいものである。[Other embodiments]
Although the embodiments of the present invention have been described above, the present invention has various different embodiments within the scope of the technical idea described in the claims, in addition to the above-described embodiments. It may be implemented.
例えば、触覚呈示システムは、スタンドアローンの形態で処理を行うよう一体として構成されてもよく、あるいは、要求に応じて処理を行い、その処理結果を当該端末に返却する構成としてもよい。 For example, the tactile presentation system may be integrally configured to perform processing in a stand-alone form, or may be configured to perform processing on demand and return the processing result to the terminal.
また、実施の形態において説明した各処理のうち、自動的に行われるものとして説明した処理の全部または一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部または一部を公知の方法で自動的に行うこともできる。 Further, among the processes described in the embodiments, all or a part of the processes described as being automatically performed can be manually performed, or the processes described as being manually performed can be performed. All or part of it can be done automatically by a known method.
このほか、上記文献中や図面中で示した処理手順、制御手順、具体的名称、各処理の登録データや検索条件等のパラメータを含む情報、画面例、データベース構成については、特記する場合を除いて任意に変更することができる。 In addition, the processing procedure, control procedure, specific name, information including parameters such as registration data and search conditions of each processing, screen examples, and database configuration shown in the above documents and drawings are not specified unless otherwise specified. Can be changed arbitrarily.
また、触覚呈示システムに関して、図示の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。 Further, with respect to the tactile presentation system, each component shown in the figure is a functional concept and does not necessarily have to be physically configured as shown in the figure.
例えば、触覚呈示システムの各装置が備える処理機能、特に変換器１０２にて行われる各処理機能については、その全部または任意の一部を、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）および当該ＣＰＵにて解釈実行されるプログラムにて実現してもよく、また、ワイヤードロジックによるハードウェアとして実現してもよい。尚、プログラムは、後述する、コンピュータに本発明に係る方法を実行させるためのプログラム化された命令を含む、一時的でないコンピュータ読み取り可能な記録媒体に記録されており、必要に応じて触覚呈示システムに機械的に読み取られる。すなわち、ＲＯＭまたはＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）などの記憶部などには、ＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）と協働してＣＰＵに命令を与え、各種処理を行うためのコンピュータプログラムが記録されている。このコンピュータプログラムは、ＲＡＭにロードされることによって実行され、ＣＰＵと協働して制御部を構成する。 For example, with respect to the processing functions provided in each device of the tactile presentation system, particularly each processing function performed by the converter 102, all or any part thereof is interpreted and executed by the CPU (Central Processing Unit) and the CPU. It may be realized by a program, or it may be realized as hardware by wired logic. The program is recorded on a non-temporary computer-readable recording medium, including a programmed instruction for causing the computer to execute the method according to the present invention, which will be described later, and a tactile presentation system as needed. Is read mechanically. That is, in a storage unit such as a ROM or an HDD (Hard Disk Drive), a computer program for giving instructions to the CPU in cooperation with the OS (Operating System) and performing various processes is recorded. This computer program is executed by being loaded into RAM, and constitutes a control unit in cooperation with a CPU.
また、このコンピュータプログラムは、触覚呈示システムに対して任意のネットワークを介して接続されたアプリケーションプログラムサーバに記憶されていてもよく、必要に応じてその全部または一部をダウンロードすることも可能である。 In addition, this computer program may be stored in an application program server connected to the tactile presentation system via an arbitrary network, and all or a part thereof can be downloaded as needed. ..
また、本発明に係るプログラムを、コンピュータ読み取り可能な記録媒体に格納してもよく、また、プログラム製品として構成することもできる。ここで、この「記録媒体」とは、メモリーカード、ＵＳＢメモリ、ＳＤカード、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤ、および、Ｂｌｕ−ｒａｙ（登録商標）Ｄｉｓｃ等の任意の「可搬用の物理媒体」を含むものとする。 Further, the program according to the present invention may be stored in a computer-readable recording medium, or may be configured as a program product. Here, the "recording medium" includes a memory card, a USB memory, an SD card, a flexible disk, a magneto-optical disk, a ROM, an EPROM, an EEPROM, a CD-ROM, an MO, a DVD, and a Blu-ray (registered trademark). It shall include any "portable physical medium" such as a disk.
また、「プログラム」とは、任意の言語や記述方法にて記述されたデータ処理方法であり、ソースコードやバイナリコード等の形式を問わない。なお、「プログラム」は必ずしも単一的に構成されるものに限られず、複数のモジュールやライブラリとして分散構成されるものや、ＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）に代表される別個のプログラムと協働してその機能を達成するものをも含む。なお、実施の形態に示した各装置において記録媒体を読み取るための具体的な構成、読み取り手順、あるいは、読み取り後のインストール手順等については、周知の構成や手順を用いることができる。プログラムが、一時的でないコンピュータ読み取り可能な記録媒体に記録されたプログラム製品として本発明を構成してもよい。 Further, the "program" is a data processing method described in an arbitrary language or description method, regardless of the format such as source code or binary code. The "program" is not necessarily limited to a single program, but is distributed as a plurality of modules or libraries, or cooperates with a separate program represented by an OS (Operating System). Including those that achieve the function. A well-known configuration or procedure can be used for a specific configuration, a reading procedure, an installation procedure after reading, or the like for reading the recording medium in each device shown in the embodiment. The present invention may be configured as a program product in which the program is recorded on a non-temporary computer-readable recording medium.
触覚呈示システムに格納される各種のデータベース等は、ＲＡＭ、ＲＯＭ等のメモリ装置、ハードディスク等の固定ディスク装置、フレキシブルディスク、および、光ディスク等のストレージ手段であり、各種処理やウェブサイト提供に用いる各種のプログラム、テーブル、データベース、および、ウェブページ用ファイル等を格納する。 Various databases and the like stored in the tactile presentation system are memory devices such as RAM and ROM, fixed disk devices such as hard disks, flexible disks, and storage means such as optical disks, and are used for various processes and website provision. Stores programs, tables, databases, files for web pages, etc.
また、触覚呈示システムは、既知のパーソナルコンピュータ、ワークステーション等の情報処理装置として構成してもよく、また、該情報処理装置に任意の周辺装置を接続して構成してもよい。また、触覚呈示システムは、該情報処理装置に本発明の方法を実現させるソフトウェア（プログラム、データ等を含む）を実装することにより実現してもよい。 Further, the tactile presentation system may be configured as an information processing device such as a known personal computer or workstation, or may be configured by connecting an arbitrary peripheral device to the information processing device. Further, the tactile presentation system may be realized by mounting software (including a program, data, etc.) that realizes the method of the present invention on the information processing apparatus.
更に、装置の分散・統合の具体的形態は図示するものに限られず、その全部または一部を、各種の付加等に応じて、または、機能負荷に応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。すなわち、上述した実施形態を任意に組み合わせて実施してもよく、実施形態を選択的に実施してもよい。 Further, the specific form of distribution / integration of the device is not limited to the one shown in the figure, and all or a part thereof may be functionally or physically in an arbitrary unit according to various additions or functional loads. It can be configured in a distributed and integrated manner. That is, the above-described embodiments may be arbitrarily combined and implemented, or the embodiments may be selectively implemented.
以上詳述に説明したように、本発明によれば、利用者が直接、対象物に触れながら、その触感を拡張ないし伝達することができる、触覚呈示システム、触覚呈示方法、および、触覚呈示プログラム、ならびに、記録媒体を提供することができ、産業上の有用性がある。 As described in detail above, according to the present invention, a tactile presentation system, a tactile presentation method, and a tactile presentation program capable of expanding or transmitting the tactile sensation while the user directly touches the object. , As well as recording media can be provided and have industrial utility.
例えば、本発明を用いることにより、高齢や障害により触覚機能が低下あるいは喪失した際に、感覚機能を回復する福祉医療機器、製品検査において細かな傷やテクスチャの違いの判別を容易にするような支援機器、身の回りのモノの触覚が自在に変わるようなエンターテイメント機器、子どもがモノに積極的に触れることを促進するような知育ツールの開発等に応用することができる。 For example, by using the present invention, it is possible to easily discriminate small scratches and differences in texture in welfare medical devices and product inspections that restore sensory function when the tactile function deteriorates or is lost due to old age or disability. It can be applied to the development of support equipment, entertainment equipment that allows the tactile sensation of things around us to change freely, and educational tools that encourage children to actively touch things.
１０２ 変換器
１０２ａ プリアンプ
１０２ｂ イコライザ
１０２ｃ 振動子用アンプ
１１２ 皮膚振動センサ
１１４ 振動アクチュエータ102 Converter 102a Preamplifier 102b Equalizer 102c Oscillator amplifier 112 Skin vibration sensor 114 Vibration actuator
Claims (11)
前記利用者の前記指の第１関節から第３関節の間または爪に設けられた皮膚振動センサと、
前記皮膚振動センサにより読み取られた振動信号を、前記拡張または前記伝達のために変換する変換器と、
前記利用者の前記指以外の手腕または前記第三者に設けられ、前記変換器により変換された前記振動信号に基づいて触刺激を呈示する振動子と、
を少なくとも備え、
前記変換器は、
前記振動信号から指の振動伝播特性を差し引くことを特徴とする、触覚呈示システム。 It is a tactile presentation system that expands the tactile sensation when the user touches an object with a finger or transmits it to a third party.
A skin vibration sensor provided between the first joint to the third joint of the finger of the user or on the nail,
The vibration signal read by said skin vibration sensor, a converter for converting for the extension or the transmission,
An oscillator provided on a wrist other than the finger of the user or a third party and presenting a tactile stimulus based on the vibration signal converted by the converter.
With at least,
The converter
A tactile presentation system characterized by subtracting the vibration propagation characteristics of a finger from the vibration signal .
前記利用者の前記指の第１関節から第３関節の間または爪に設けられた皮膚振動センサと、
前記皮膚振動センサにより読み取られた振動信号を、前記拡張のために変換する変換器と、
前記利用者の前記指に設けられ、前記変換器により変換された前記振動信号に基づいて触刺激を呈示する振動子と、
を少なくとも備え、
前記変換器は、
前記振動信号から指の振動伝播特性を差し引くことを特徴とする、触覚呈示システム。 It is a tactile presentation system that expands the tactile sensation when the user touches an object with a finger.
A skin vibration sensor provided between the first joint to the third joint of the finger of the user or on the nail,
The vibration signal read by said skin vibration sensor, a converter for converting for said expansion,
An oscillator provided on the finger of the user and exhibiting a tactile stimulus based on the vibration signal converted by the converter.
With at least,
The converter
A tactile presentation system characterized by subtracting the vibration propagation characteristics of a finger from the vibration signal .
前記皮膚振動センサは、
ポリフッ化ビニリデンフィルムを前記第１関節から第３関節の間の指腹部に巻き付けることで圧電効果により前記振動信号を得るセンサであることを特徴とする、触覚呈示システム。 In the tactile presentation system according to claim 1 or 2.
The skin vibration sensor is
A tactile presentation system comprising a sensor that obtains the vibration signal by a piezoelectric effect by wrapping a polyvinylidene fluoride film around a finger pad between the first joint and the third joint.
前記振動子は、
前記利用者の前記指が属する手の手首関節より指先側において前記触刺激を呈示することを特徴とする、触覚呈示システム。 In the tactile presentation system according to any one of claims 1 to 3.
The oscillator
A tactile presentation system characterized in that the tactile stimulus is presented on the fingertip side of the wrist joint of the hand to which the finger of the user belongs.
前記皮膚振動センサは、
前記利用者の前記爪に設けられたコンタクトマイクであることを特徴とする、触覚呈示システム。 In the tactile presentation system according to claim 1 or 2.
The skin vibration sensor is
A tactile presentation system, characterized in that it is a contact microphone provided on the nail of the user.
前記振動子は、
ボイスコイル型振動子、ピエゾ素子、または、バイブレーションモータであることを特徴とする、触覚呈示システム。 In the tactile presentation system according to any one of claims 1 to 5 .
The oscillator
A tactile presentation system characterized by being a voice coil type oscillator, a piezo element, or a vibration motor.
前記変換器は、The converter
典型的又は平均的な人の指の皮膚振動伝搬関数の逆関数を前記振動信号に掛け合わせることにより前記振動伝播特性を差し引くことを特徴とする、触覚呈示システム。A tactile presentation system characterized in that the vibration propagation characteristic is subtracted by multiplying the vibration signal by the inverse function of the skin vibration propagation function of a typical or average human finger.
前記振動伝播特性は、The vibration propagation characteristics are
前記利用者の前記指の振動伝播特性であることを特徴とする、触覚呈示システム。A tactile presentation system characterized by vibration propagation characteristics of the finger of the user.
前記振動伝播特性は、The vibration propagation characteristics are
前記利用者の前記指の指先に既知の振動を与え、前記皮膚振動センサの測定データと比較することにより得られたものであることを特徴とする、触覚呈示システム。A tactile presentation system, characterized in that it is obtained by applying a known vibration to the fingertip of the user and comparing it with the measurement data of the skin vibration sensor.
前記利用者の前記指の第１関節から第３関節の間または爪に設けられた皮膚振動センサにおいて、振動信号を取得する読取ステップと、
前記変換器において、前記皮膚振動センサにより読み取られた前記振動信号を、前記拡張または前記伝達のために変換する変換ステップと、
前記利用者の前記指もしくは当該指以外の手腕または前記第三者に設けられた前記振動子において、前記変換器により変換された前記振動信号に基づいて触刺激を呈示する呈示ステップと、
を含み、
前記変換ステップにおいて、前記振動信号から指の振動伝播特性を差し引くことを特徴とする、触覚呈示方法。 A tactile presentation method performed in a tactile presentation system equipped with at least a skin sensor, a transducer, and an oscillator in order to extend or transmit the tactile sensation when the user touches an object with a finger to a third party.
In skin vibration sensors provided from the first joint of the finger of the user during or nails of the third joint, and the step read to obtain the vibration signal,
A conversion step of converting the vibration signal read by the skin vibration sensor in the transducer for the expansion or transmission.
A presentation step of presenting a tactile stimulus based on the vibration signal converted by the converter in the finger of the user, a wrist other than the finger, or the vibrator provided in the third party.
Only including,
A tactile presentation method comprising subtracting a finger vibration propagation characteristic from the vibration signal in the conversion step .
前記利用者の前記指の第１関節から第３関節の間または爪に設けられた皮膚振動センサにおいて、振動信号を取得する読取ステップと、
前記変換器において、前記皮膚振動センサにより読み取られた前記振動信号を、前記拡張または前記伝達のために変換する変換ステップと、
前記利用者の前記指もしくは当該指以外の手腕または前記第三者に設けられた前記振動子において、前記変換器により変換された前記振動信号に基づいて触刺激を呈示する呈示ステップと、
を実行させ、
前記変換ステップにおいて、前記振動信号から指の振動伝播特性を差し引くことを特徴とする、触覚呈示プログラム。 It is a tactile presentation program to be executed by a tactile presentation system equipped with at least a skin sensor, a converter, and an oscillator in order to extend the tactile sensation when a user touches an object with a finger or to transmit it to a third party.
In skin vibration sensors provided from the first joint of the finger of the user during or nails of the third joint, and the step read to obtain the vibration signal,
A conversion step of converting the vibration signal read by the skin vibration sensor in the transducer for the expansion or transmission.
A presentation step of presenting a tactile stimulus based on the vibration signal converted by the converter in the finger of the user, a wrist other than the finger, or the vibrator provided in the third party.
To execute,
A tactile presentation program comprising subtracting a finger vibration propagation characteristic from the vibration signal in the conversion step .
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015241953 | 2015-12-11 | ||
| JP2015241953 | 2015-12-11 | ||
| PCT/JP2016/086803 WO2017099241A1 (en) | 2015-12-11 | 2016-12-09 | Tactile presentation system, tactile presentation method, and tactile presentation program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPWO2017099241A1 JPWO2017099241A1 (en) | 2018-10-25 |
| JP6809712B2 true JP6809712B2 (en) | 2021-01-06 |
Family
ID=59013331
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2017555171A Active JP6809712B2 (en) | 2015-12-11 | 2016-12-09 | Tactile presentation system, tactile presentation method, and tactile presentation program |
Country Status (2)
| Country | Link |
|---|---|
| JP (1) | JP6809712B2 (en) |
| WO (1) | WO2017099241A1 (en) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019244716A1 (en) * | 2018-06-19 | 2019-12-26 | ソニー株式会社 | Information processing device, information processing method, and program |
| JP2020027969A (en) * | 2018-08-09 | 2020-02-20 | 株式会社コスモ計器 | Vibration detector |
| JP7268519B2 (en) * | 2019-07-24 | 2023-05-08 | トヨタ紡織株式会社 | Data reproduction device, data generation device, data reproduction method, and data generation method |
| US20230088450A1 (en) * | 2020-02-10 | 2023-03-23 | Nippon Telegraph And Telephone Corporation | Tactile stimulus presentation apparatus and method |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP0864145A4 (en) * | 1995-11-30 | 1998-12-16 | Virtual Technologies Inc | Tactile feedback man-machine interface device |
-
2016
- 2016-12-09 WO PCT/JP2016/086803 patent/WO2017099241A1/en active Application Filing
- 2016-12-09 JP JP2017555171A patent/JP6809712B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JPWO2017099241A1 (en) | 2018-10-25 |
| WO2017099241A1 (en) | 2017-06-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6809712B2 (en) | Tactile presentation system, tactile presentation method, and tactile presentation program | |
| JP4769342B2 (en) | Tactile sensation reproduction method, apparatus, computer program, and recording medium recording the computer program | |
| JP6566906B2 (en) | Haptic CAPTCHA | |
| Kuchenbecker et al. | Haptography: Capturing and recreating the rich feel of real surfaces | |
| JP4778591B2 (en) | Tactile treatment device | |
| Yao et al. | A tactile enhancement instrument for minimally invasive surgery | |
| Hatzfeld et al. | Haptics as an interaction modality | |
| JP2017182495A (en) | Information processing device, information processing method and program | |
| US20230273685A1 (en) | Method and Arrangement for Handling Haptic Feedback | |
| Maeda et al. | Hapticaid: Haptic experiences system using mobile platform | |
| Tanaka et al. | Tactile sensing system including bidirectionality and enhancement of haptic perception by tactile feedback to distant part | |
| Lawrence et al. | Human perception of friction in haptic interfaces | |
| WO2020045250A1 (en) | Tactile sensation presentation device and tactile sensation presentation system | |
| US20220368794A1 (en) | Method For and a Communication Device Adapted to Modify the Shape of the Device | |
| Campion | The Synthesis of Three Dimensional Haptic Textures: Geometry, Control, and Psychophysics | |
| Wiertlewski | Reproduction of tactual textures: transducers, mechanics and signal encoding | |
| JP6252845B2 (en) | Nail vibration measuring device, nail vibration monitoring system and nail vibration feedback presentation system | |
| KR20210150988A (en) | Apparatus and method for acquiring of vitality quotient | |
| Schafer | Touch amplification for human computer interaction | |
| Vardar | Tactile perception by electrovibration | |
| Bernard | Perception of audio-haptic textures for new touchscreen interactions | |
| Wiertlewski | Reproduction of tactual textures: transducers, mechanics, and signal encoding | |
| JP7216084B2 (en) | Information processing device, program, and sensing device | |
| JP5858228B2 (en) | Identification apparatus, identification method, and identification program | |
| Chamnongthai et al. | Band-limited vibrotactile noise enhances fingertip haptic sensation |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20180910 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20180910 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20191128 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20191128 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20201124 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20201203 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6809712 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |