JP7268519B2 - データ再生装置、データ生成装置、データ再生方法、およびデータ生成方法 - Google Patents

Description

本発明は、触感を再現する技術、触感を再現するための情報を生成する技術、および触感を再現するために記録するデータの構造に関する。

ユーザが対象物に触れたときユーザと対象物との界面には様々な物理現象が生じる。ユーザはそのような物理現象を触感として感受する。特許文献１には、人間が対象物に触れたときの物理現象をデータとして記録し再現することにより、触感を伝達する技術が記載されている。

国際公開第２０１７／０９９２４１号

しかしながら、特許文献１に記載された技術には、以下の問題がある。特許文献１に記載された技術では、触感を伝達するユーザ間で触感を感受する部位（接触部）の特性に差がある場合、触感が正しく伝達されない可能性がある。例えば、ユーザＡの指表面はユーザＢより硬いとする。この場合、ユーザＡが対象物に触れた際に生じる物理現象をユーザＢの指に対して再現すると、ユーザＢは、ユーザＡが感じた触感よりも硬いとの触感を感受する可能性がある。

本発明の一態様は、触感を感受する接触部の特性を考慮してより精度よく触感を再現する技術を実現することを目的とする。

上記の課題を解決するために、本発明の一態様に係るデータ再生装置は、対象物の触感を表す触感情報と、前記触感を感受した第１接触部の特性を示す第１接触部特性情報とを取得する取得部と、前記触感情報と前記第１接触部特性情報とを参照して、第２接触部に対して前記触感を再現するための再現情報を生成する再現情報生成部とを備えている。上記構成によれば、再現すべき触感を感受した第１接触部の特性が考慮されるので、第２接触部に対してより精度よく触感が再現される。

本発明の態様２に係るデータ再生装置は、上記態様１において、第１接触部特性情報には、前記第１接触部の硬度、前記第１接触部の温度、前記第１接触部の熱抵抗、前記第１接触部の振動伝達関数、前記第１接触部の振動、及び前記第１接触部の摩擦特性をそれぞれ表す情報の少なくとも何れかが含まれることが好ましい。上記構成によれば、第１接触部の硬度、温度、熱抵抗、振動伝達関数、振動、摩擦特性の少なくとも何れかが考慮されるので、第２接触部に対してさらに精度よく触感が再現される。

本発明の態様３に係るデータ再生装置は、上記態様１または上記態様２において、前記取得部は、前記第２接触部の特性を示す第２接触部特性情報を取得し、前記再現情報生成部は、前記触感情報、前記第１接触部特性情報、及び前記第２接触部特性情報を参照して、前記再現情報を生成することが好ましい。上記構成によれば、触感を再現すべき対象である第２接触部の特性がさらに考慮されるので、第２接触部に対してさらに精度よく触感が再現される。

本発明の態様４に係るデータ再生装置は、上記態様３において、前記再現情報生成部は、前記触感情報を参照して補正前再現情報を生成し、生成した前記補正前再現情報を、前記第１接触部特性情報及び前記第２接触部特性情報を参照して補正することにより、前記再現情報を生成することが好ましい。上記構成によれば、第１接触部の特性および第２接触部の特性を考慮した補正処理により、第２接触部に対して精度よく触感が再現される。

本発明の態様５に係るデータ再生装置は、上記態様３において、前記再現情報生成部は、前記触感情報と前記第１接触部特性情報とを含む教師データを用いて予め学習されたモデルに、前記取得部が取得した前記触感情報と前記第２接触部特性情報とを入力することによって、前記再現情報を生成することが好ましい。上記構成によれば、モデルから出力される再現情報を用いて、第２接触部に対して精度よく触感が再現される。

本発明の態様６に係るデータ生成装置は、対象物の触感に関わる１又は複数の触覚指標について生じる物理現象を表す触覚指標情報と、前記触感を感受した第１接触部の特性を示す第１接触部特性情報とを取得する取得部と、前記触覚指標情報に基づいて生成した前記触感を表す触感情報と、前記第１接触部特性情報とを出力する触感情報出力部とを備えている。上記構成によれば、触感情報と第１接触部特性情報とを、上記態様１から上記態様５の何れかのデータ再生装置に提供することができる。

本発明の態様７に係るデータ構造は、対象物の触感に関わる１又は複数の触覚指標について生じる物理現象を表す触覚指標情報と、前記触感を感受した第１接触部の特性を示す第１接触部特性情報と含み、データ再生装置によって参照されるデータのデータ構造であって、前記データ再生装置は、前記触覚指標情報に基づいて生成された触感情報と、前記第１接触部特性情報とを参照して、第２接触部に対して前記触感を再現するための再現情報を生成する。上記構成によれば、第１接触部が感受した触感を、当該第１接触部の特性を考慮して第２接触部に対して再現するデータ再生装置において参照されるデータを記録しておくことができる。

本発明の態様８に係るデータ構造は、上記態様７において、前記第１接触部特性情報には、前記第１接触部の硬度、前記第１接触部の温度、前記第１接触部の熱抵抗、前記第１接触部の振動伝達関数、前記第１接触部の振動、及び前記第１接触部の摩擦特性をそれぞれ表す情報の少なくとも何れかが含まれることが好ましい。上記構成によれば、第１接触部に関するこれらの特性を表す情報を、触覚指標情報に関連付けて記録しておくことができる。

本発明の態様９に係るデータ再生方法は、データ再生装置が実行するデータ再生方法であって、対象物の触感を表す触感情報と、前記触感を感受した第１接触部の特性を示す第１接触部特性情報とを取得するステップと、前記触感情報と前記第１接触部特性情報とを参照して、第２接触部に対して前記触感を再現するための再現情報を生成するステップと含む。上記の構成によれば、本発明の一態様に係るデータ再生装置と同様の効果を奏する。

本発明の態様１０に係るデータ生成方法は、データ生成装置が実行するデータ生成方法であって、対象物の触感に関わる１又は複数の触覚指標について生じる物理現象を表す触覚指標情報と、前記触感を感受した第１接触部の特性を示す第１接触部特性情報とを取得するステップと、前記触覚指標情報に基づいて生成した前記触感を表す触感情報と、前記第１接触部特性情報とを出力するステップとを含む。上記の構成によれば、本発明の態様６に係るデータ生成装置と同様の効果を奏する。

また、本発明の各態様に係るデータ再生装置は、コンピュータによって実現してもよく、この場合には、コンピュータを前記データ再生装置が備える各部（ソフトウェア要素）として動作させることにより前記データ再生装置をコンピュータにて実現させる制御プログラムおよびそれを記録したコンピュータ読取り可能な記録媒体も、本発明の範疇に入る。

また、本発明の各態様に係るデータ生成装置は、コンピュータによって実現してもよく、この場合には、コンピュータを前記データ生成装置が備える各部（ソフトウェア要素）として動作させることにより前記データ生成装置をコンピュータにて実現させる制御プログラムおよびそれを記録したコンピュータ読取り可能な記録媒体も、本発明の範疇に入る。

本発明の一態様によれば、触感を感受する接触部の特性を考慮してより精度よく触感を再現する技術を実現することをきる。

実施形態に係る触感再現システムの構成を示す図である。 触感再現システムが触感を再現する処理を模式的に説明する図である。 触感再現システムの機能的な構成を示す図である。 触覚記録データの構造を説明する図である。 出力デバイスの断面図の一例を示す図である。 触感再現システムにおける処理の流れを示すフローチャートである。 触覚指標に関するデータの一例を示す図である。 触覚指標に関するデータの一例を示す図である。 ハンマリング波形のグラフの一例を示す図である。 周波数特性のグラフの一例を示す図である。 伝達関数のグラフの一例を示す図である。 弾力測定データのグラフの一例を示す図である。

〔実施形態〕
以下、本発明の一実施形態について、詳細に説明する。

≪触感再現システムの概要≫
本実施形態に係る触感再現システムは、ユーザが対象物に触れた際の触感をセンシング（測定）して別のデバイス上に再現するためのシステムである。以下の例において、触感再現システムは、センシングされた触感に関するデータを、機械学習を用いてエンコーダ側で特徴量空間の領域にマッピングし、デコーダ側で当該領域を示す情報を参照して対象物の触感を再現する。なお、本明細書において「対象物」とは、ユーザが触れる対象となる物体、またはそれに相当する観念を意味する。また、本明細書において特徴量空間の「領域」には、例えば点、曲線、曲面または多次元曲面等の概念が含まれる。なお、当該「領域」を表す情報は、本発明における「触感情報」の一例に相当する。

図１は、本実施形態に係る触感再現システム１の構成を模式的に示す図である。図１に示すように、触感再現システム１は、エンコーダ１０、デコーダ３０、センサ群５、センサ群９、及び出力部７１を含む。これらの装置は、互いに有線または無線で接続されている。なお、エンコーダ１０は、本発明におけるデータ生成装置の一実施形態である。また、デコーダ３０は、本発明におけるデータ再生装置の一実施形態である。

図２は、触感再現システム１が触感を再現する処理を模式的に説明する図である。図２に示すように、エンコーダ１０は、第１接触部が対象物に接触する際に記録された触覚指標情報を学習済みモデル１８に入力することにより、特徴量空間の領域（触感情報）を特定する。触感情報は、対象物の触感の特徴を表す。第１接触部とは、対象物に接触して触感を感受したユーザの部位である。第１接触部の一例としては、ユーザの指が挙げられるが、これに限られない。また、エンコーダ１０は、触感情報を、第１接触部の特性を表す情報（第１接触部特性情報）と共にデコーダ３０に対して出力する。

デコーダ３０は、触感情報を、学習済みモデル３８に入力する。学習済みモデル３８は、学習済みモデル１８の逆関数として機能するモデルである。また、デコーダ３０は、学習済みモデル３８から得られる出力を、第１接触部特性情報および第２接触部特性情報を参照して補正することにより、第２接触部に対して触感を再現するための再現情報を生成する。第２接触部とは、再現された触感を感受するユーザの部位である。第２接触部の一例としては、ユーザの指が挙げられるが、これに限られない。第２接触部特性情報は、第２接触部の特性を表す情報である。第１接触部および第２接触部は、同一ユーザまたは異なるユーザにおける同種の部位（例えば、指）であることが望ましい。以降、第１接触部および第２接触部を特に区別して説明する必要がない場合には、単に接触部とも記載する。また、第１接触部特性情報および第２接触部特性情報を特に区別して説明する必要がない場合には、単に接触部特性情報とも記載する。

≪要部構成≫
図３は、本実施形態に係る触感再現システム１の機能ブロック図である。触感再現システム１は、図３に示すように、エンコーダ１０、デコーダ３０、センサ群５、センサ群９、及び出力部７１を備えている。以下、触感再現システム１の構成要素ごとに説明を行う。

（センサ群５）
センサ群５は、触覚指標情報と、第１接触部特性情報とをセンシングするための測定装置である。触覚指標情報、及び第１接触部特性情報の詳細については後述する。

センサ群５に含まれるセンサの種類および数は、触覚指標情報及び第１接触部特性情報の種類に基づいて定められる。例えば、センサ群５には、対象物の振動、温度、硬軟、圧力等を測定するための各種センサが含まれる。これらは、触覚指標情報を測定するためのセンサの一例である。また、センサ群５には、第１接触部の硬度、温度、熱抵抗、振動伝達係数、振動、摩擦特性等を測定するための各種センサが含まれる。これらは、第１接触部特性情報のうち後述するユーザ特性情報を測定するためのセンサの一例である。また、センサ群５には、第１接触部が対象物に接触する接触位置の移動速度、対象物を押し付ける押し付け荷重、対象物を圧縮する圧縮速度、環境温度、接触位置の軌跡、第１接触部が対象物に接触している接触時間の長さ等を測定するための各種センサが含まれる。これらは、第１接触部特性情報のうち後述する動作特性情報を測定するためのセンサの一例である。ただし、センサ群５の詳細は、上述した構成に限定されない。

（センサ群９）
センサ群９は、第２接触部特性情報をセンシングするための測定装置である。センサ群９に含まれるセンサの種類および数は、第２接触部特性情報の種類に基づいて定められる。センサ群９の詳細は、上述したセンサ群５のうち第１接触部特性情報を測定するためのセンサ群と同様に説明される。ただし、センサ群９の詳細は、上述した構成に限定されない。また、センサ群９は、センサ群５のうち第１接触部特性情報を測定するためのセンサ群の全てと同種類のセンサ群を含まなくてもよい。例えば、センサ群５には、第１接触部の摩擦特性を測定する装置が含まれ、センサ群９には、第２接触部の摩擦特性を測定する装置が含まれていなくてもよい。また、センサ群５に含まれる第１接触部の硬度を測定する装置と、センサ群９に含まれる第２接触部の硬度を測定する装置とは、必ずしも同種類の装置である必要はない。

（触覚記録データのデータ構造）
センサ群５によってセンシングされた触覚指標情報および第１接触部特性情報は、触覚記録データ１８１として記憶部１７に記憶される。なお、触覚記録データ１８１を参照して特定される特徴量空間の領域（触感情報）は、デコーダ３０によって参照される。換言すると、触覚記録データ１８１は、デコーダ３０によって参照される。図４は、触覚記録データのデータ構造を模式的に説明する図である。図４に示すように、触覚記録データは、触覚指標情報と、第１接触部特性情報とを含む。

触覚指標情報は、触感に関わる１又は複数の触覚指標について生じる物理現象を表すデータである。触覚指標とは、対象物と、当該対象物に接触した接触部（例えば、人の指）との界面で生じる物理現象のうち、接触部に触覚刺激を与える物理現象である。触覚指標の一例としては、対象物の振動、温度、力（硬軟）等が挙げられる。触覚指標情報には、例えば、図４に示すように、対象物の振動、対象物の硬軟、対象物の温度をそれぞれ示すデータが含まれる。また、各指標情報を示すデータは、当該触覚指標について生じる物理現象の時間的な変化を表す時系列データであってもよい。例えば、振動に関する時系列データは、対象物において接触部に接触されている接触箇所の振動の時間的な変化を示す。また、温度に関する時系列データは、対象物において接触部に接触されている接触箇所の温度の時間的な変化を示す。また、力（硬軟）を示すデータは、対象物において接触部に接触されている接触箇所の荷重と変位との関係を表す。触覚指標の他の例としては、圧力、せん断力、摩擦係数等がある。ただし、触覚指標は、上述した例に限られない。より多くの触覚指標について測定された触覚指標情報を用いることにより、触感の再現性を向上させることができる。

第１接触部特性情報は、第１接触部の特性を表す情報である。詳細には、第１接触部特性情報は、触覚指標情報が示す物理現象によって触覚刺激を与えられる第１接触部の特性を表す情報である。第１接触部特性情報は、第１接触部におけるユーザの特性を表すユーザ特性情報と、第１接触部による接触動作の特性を表す動作特性情報と、を含む。

ユーザ特性情報には、例えば、図４に示すように、第１接触部の硬度、温度、熱抵抗、振動伝達関数、振動、及び摩擦特性をそれぞれ表す情報が含まれる。ただし、ユーザ特性情報は、上述した例に限定されない。

動作特性情報には、例えば、図４に示すように、撫でる動作における接触部の移動速度、押し付け荷重等をそれぞれ表す情報が含まれる。また、動作特性情報には、例えば、押し込む動作において対象物が圧縮される圧縮速度、圧縮速度に影響を及ぼす環境温度等をそれぞれ表す情報が含まれる。その他、動作特性情報には、例えば、対象物における接触位置の軌跡、対象物との接触時間の長さ等をそれぞれ示す情報が含まれていてもよい。ただし、動作特性情報は、上述した例に限定されない。

（エンコーダ１０）
エンコーダ１０は、触覚記録データを入力データとして、上記入力データによって特定される特徴量を示す情報であって、特徴量空間における領域を示す情報（触感情報）および第１接触部特性情報を出力データとして生成する装置である。図３に示すように、エンコーダ１０は、制御部１１、記憶部１７および通信部１９を備えている。

制御部１１は、エンコーダ１０全体を統括する制御装置であって、入力データ取得部１２、特徴量特定部１３、データ生成部１４、学習部１５および通信制御部１６としても機能する。入力データ取得部１２は、本発明におけるデータ生成装置の「取得部」の一実施形態である。特徴量特定部１３およびデータ生成部１４は、本発明におけるデータ生成装置の「触感情報出力部」の一実施形態である。

入力データ取得部１２は、センサ群５によって計測される触覚指標情報および第１接触部特性情報を入力データとして取得する。また、入力データ取得部１２は、取得した入力データを、触覚記録データ１８１として記憶部１７に記憶する。なお、入力データ取得部１２は、触覚指標情報および第１接触部特性情報の何れかまたは全てを、センサ群５から取得する代わりに、通信部１９を介して接続される他の装置、または可搬型記憶媒体等から取得してもよい。また、第１接触部特性情報をセンサ群５から取得しない場合、第１接触部特性情報は、必ずしも実測値である必要はなく、推定値であってもよい。

特徴量特定部１３は、触感を表す特徴量空間における領域を、上記入力データを参照して特定する。換言すると、特徴量特定部１３は、上記入力データに含まれる触覚指標情報を、学習済みモデル１８に入力し、学習済みモデル１８が出力する領域を当該入力データに対応する特徴量として特定する。ここで、触感を表す特徴量空間とは、対象物の触感に関する特徴量を成分とするベクトルが規定する空間である。また、本明細書において、モデルが学習済みであるとは、現時点以降に更なるモデルの学習が行えないことを意味しない。

また、学習済みモデル１８とは、触覚記録データと、特徴量空間における領域とを対応付けるためのモデルである。ここで、触覚記録データの次元数と、特徴量空間の次元数とは互いに異なっていてもよく、後者の方が小さい構成が好適である。また、学習済みモデル１８は特徴量空間を規定する。換言すると、学習済みモデル１８は、触感を表す特徴量空間ＣＳを生成する。例えば、学習済みモデル１８の出力データの次元数が６４次元であれば、特徴量特定部１３は、次元数６４を有する特徴量空間における特徴量を特定する。また、学習済みモデル１８は、触覚記録データに対応する特徴量空間における領域を正解データとする教師データを用いて学習される。学習の詳細については後述する。

また、学習済みモデル１８、及び学習済みモデル３８は、特定の構成に限定されないが、例えば、畳み込みニューラルネットワーク（CNN: Convolutional Neural Network）及び、再帰型ニューラルネットワーク（RNN: Recurrent Neural Network）の少なくとも何れかを含む構成としてもよい。

データ生成部１４は、特徴量特定部１３によって特定された特徴量空間の領域を表す情報を、触感情報として生成する。また、データ生成部１４は、生成した触感情報と、第１接触部特性情報とを関連付けて出力する。出力先は、デコーダ３０である。なお、データ生成部１４は、触感情報と第１接触部特性情報と関連付けて記憶部１７に記憶しておき、デコーダ３０からの要求に応じて出力してもよい。

通信制御部１６は、通信部１９による通信処理に係る制御を行う。

学習部１５は、記憶部１７内の後述するパラメータセットを、教師データを参照して更新することによって、学習済みモデル１８の学習を行う。教師データとしては、触覚記録データ、および、当該触覚記録データに対応する特徴量空間における領域を表す情報（正解データ）の組が用いられる。ここで、パラメータセットの更新処理の詳細は本実施形態を限定するものではないが、例えば、学習済みモデル１８にＣＮＮを用いる場合、バックプロパゲーションの手法を用いればよい。

記憶部１７は、各種データを保存する記憶装置である。また、記憶部１７は、学習済みモデル１８を規定するパラメータセットを格納する。また、記憶部１７は、触覚記録データ１８１を格納する。

通信部１９は、デコーダ３０等の外部装置との通信処理を行う。通信部１９は、例えばデータ生成部１４が生成したデータをデコーダ３０に送信する。

また、触感再現システム１を構成する各装置等、特にエンコーダ１０とデコーダ３０とは、インターネットを介して接続されていてもよい。換言すると、触感再現システム１を構成する各装置等は、互いに遠隔地に配置される構成であってもよい。また、センサ群５は、エンコーダ１０と一体であってもよいし、エンコーダ１０の一部に含まれるものと解してもよい。

（デコーダ３０）
デコーダ３０は、エンコーダ１０から受信した触感情報および第１接触条件情報と、デコーダ３０側で取得される第２接触条件情報とを入力データとして、対象物の触感を再現するための再現情報を生成する装置である。再現情報は、１又は複数の触覚指標のそれぞれに関する物理現象を表す。各触覚指標に対応する再現情報は、当該物理現象の時系列データで表されていてもよい。再現情報の構成は、エンコーダ１０において取得される触覚指標情報と同様である。図３に示すように、デコーダ３０は、制御部３１、記憶部３７および通信部３９を備えている。

制御部３１は、デコーダ３０全体を統括する制御装置であって、入力データ取得部３２、データ生成部３４、通信制御部３５および表示制御部３６としても機能する。入力データ取得部３２は、本発明におけるデータ再生装置の「取得部」の一実施形態である。データ生成部３４は、本発明におけるデータ再生装置の「再現情報生成部」の一実施形態である。

入力データ取得部３２は、エンコーダ１０から出力された触感情報および第１接触部特性情報を取得する。エンコーダ１０から出力される情報の取得は、一例として通信部３９を介して行われる。

また、入力データ取得部３２は、センサ群９によってセンシングされた、第２接触部特性情報を取得する。第２接触部特性情報は、前述のように、デコーダ３０によって触感が再現される対象となる第２接触部の特性を表す情報である。第２接触部は、典型的には、ユーザの指であるが、これに限られない。第２接触部特性情報は、第１接触部特性情報と同様に構成され、その詳細は上述した通りである。なお、第２接触部特性情報は、センサ群９によって測定された実測値であってもよいし、推定値であってもよい。推定値を適用する場合、センサ群９の構成は省略可能である。

データ生成部３４は、触感情報、第１接触部特性情報、及び第２接触部特性情報を参照して、再現情報を生成する。具体的には、データ生成部３４は、上記領域を示す触感情報を参照して、学習済みモデル３８を用いて、対象物の触感を再現するための補正前再現情報を生成する。補正前再現情報は、第１接触部および第２接触部の各々の特性が考慮される前の再現情報である。具体的には、データ生成部３４は、エンコーダ１０から取得した触感情報を学習済みモデル３８に入力することによって、その出力として補正前再現情報を得る。

ここで、学習済みモデル３８とは、触感情報と補正前再現情報とを対応付けるためのモデルである。例えば、学習済みモデル３８は、エンコーダ１０における学習済みモデル１８の逆関数として機能するよう、学習済みモデル１８に基づいて生成されてもよい。この場合、学習済みモデル３８は、学習済みモデル１８の更新に伴い更新される。ただし、学習済みモデル３８は、学習済みモデル１８とは独立して学習されることにより生成されてもよい。例えば、学習済みモデル３８は、触感情報、及び、当該触感情報に対応する補正前再現情報（正解データ）の組からなる教師データを用いて学習されたものであってもよい。

また、データ生成部３４は、補正前再現情報を、第１接触部特性情報及び第２接触部特性情報を参照して補正することにより、再現情報を生成する。具体的には、データ生成部３４は、補正前再現情報に対して、第１接触部特性情報が示す特性による影響を取り除く処理と、第２接触部特性情報が示す特性による影響を加味する処理とを行う。例えば、データ生成部３４は、標準的な特性を有する接触部に与える触感を再現するための再現情報と、各種特性を有する接触部に与える触感を再現するための再現情報との間の伝達関数モデルを用いる。そして、データ生成部３４は、補正前再現情報を、第１接触部特性情報が示す伝達関数で除した上で、第２接触部特性情報が示す伝達関数を乗ずる処理を行う。ただし、データ生成部３４が、補正前再現情報を、第１接触部特性情報及び第２接触部特性情報を参照して補正する手法はこれに限定されない。

通信制御部３５は、通信部３９による通信処理に係る制御を行う。なお、図示していないが、通信制御部３５は、データ生成部３４が生成した出力データを、通信部３９を介して出力部７１に送信してもよい。表示制御部３６は、表示部７２による画面表示に係る制御を行う。

記憶部３７は、各種データを保存する記憶装置である。また、記憶部３７は、学習済みモデル３８を規定するパラメータセットを格納する。通信部３９は、エンコーダ１０等の外部装置との通信処理を行う。

（出力部７１）
出力部７１は、第２接触部を対象として、対象物の触感を再現するための装置である。図３に示すように、出力部７１は、表示部７２および出力デバイス７３を備えている。

表示部７２は、少なくとも画像を表示可能な表示パネルであって、対象物表面の画像を表示する。出力デバイス７３は、図１に示すように、第２接触部を乗せて表示部７２上を移動可能なデバイスである。

また、出力デバイス７３は、データ生成部３４が生成した再現情報を参照して、当該再現情報が示す対象物の触感を再現する。

図５は、出力デバイス７３の断面図の一例を示す図である。出力デバイス７３は、サーボ素子７５によって、対象物の硬度を再現する。また、ペルチェ素子７６によって対象物の温冷を再現する。また、振動子７７によって、対象物に生じる振動を再現する。また、指を置く面と反対側の面に配置されたスライダ７８において、静電力によって垂直抗力を生じさせ、指が対象物に触れた際の摩擦を再現する。ただし、出力デバイス７３の構成はこれに限定されず、各触覚指標に関わる物理現象を再現可能な他の素子を含んでいてもよい。

なお、出力デバイス７３は、第２接触部が自装置に触れていることを検出している場合にのみ、対象物の触感を再現する構成であってもよい。また、出力部７１は、デコーダ３０と一体であってもよいし、デコーダ３０の一部に含まれるものとしてもよい。

また、第１接触部を有するユーザと、第２接触部を有するユーザとは、通常、互いに異なるユーザであることを想定しているが、例えば触感の再現度を確認する場合等には、同一のユーザであることもあり得る。また、別の態様として、エンコーダ１０とデコーダ３０とが一体である構成であってもよい。

≪触感再現処理≫
以下、触感再現システム１が実行する動作について説明する。

図６は、本実施形態に係る触感再現システム１における処理の流れを示すフローチャートである。図６に示す処理のうち、ステップＳ１０１～Ｓ１０４は、センサ群５を含むエンコーダ１０側における処理であり、ステップＳ１０５～Ｓ１０９は、出力部７１を含むデコーダ３０側における処理である。なお、デコーダ３０側における処理が実行されるタイミングは、エンコーダ１０側における処理が終了した直後でなくともよく、時間的な隔たりがあってもよい。

ステップＳ１０１において、センサ群５は、第１接触部が対象物に触れた際に発生する物理現象をセンシングする。また、入力データ取得部１２は、センシングされた物理現象が示す触覚指標情報および第１接触部特性情報を取得する。取得した触覚指標情報および第１接触部特性情報は、触覚記録データ１８１として記憶部１７に記憶される。

ステップＳ１０２において、特徴量特定部１３は、触覚記録データ１８１に含まれる触覚指標情報を参照して、学習済みモデル１８が生成する特徴量空間ＣＳにおける領域を特定する。

ステップＳ１０３において、データ生成部１４は、当該領域を表す触感情報を生成する。

ステップＳ１０４において、通信制御部１６は、触感情報および第１接触部特性情報を、通信部１９を介してデコーダ３０に送信する。なお、当該ステップは、ステップＳ１０３の処理完了を契機に実行されてもよいが、その代わりに、デコーダ３０からの要求に応じて実行されてもよい。この場合、ステップＳ１０３において、データ生成部１４は、触感情報および第１接触部特性情報を関連付けて記憶部１７に記憶する。ステップＳ１０４において、通信制御部１６は、デコーダ３０からの要求に応じて、記憶部１７に記憶された触感情報および第１接触部特性情報を読み出して、デコーダ３０に送信する。

ステップＳ１０５において、入力データ取得部３２は、通信部３９を介して、エンコーダ１０から出力された触感情報および第１接触部特性情報を、入力データとして取得する。

ステップＳ１０６において、センサ群９は、第２接触部の特性を示すデータをセンシングする。これにより、入力データ取得部３２は、センシングされたデータが示す第２接触部特性情報を取得する。なお、センサ群９によるセンシングは、ステップＳ１０６において実行されることに限らず、事前に実行されてもよい。また、センサ群９によるセンシングの代わりに、推定値としての第２接触部特性情報が取得されてもよい。

ステップＳ１０７において、データ生成部３４は、入力データ取得部３２が取得した触感情報を学習済みモデル３８に入力することにより、補正前再現情報を生成する。

ステップＳ１０８において、データ生成部３４は、補正前再現情報を、第１接触部特性情報および第２接触部特性情報を参照して補正することにより、再現情報を生成する。

ステップＳ１０９において、出力部７１は、データ生成部３４によって生成された再現情報を参照して、対象物の触感を再現する。具体的には、出力部７１は、再現情報が示す各触覚指標に関わる物理現象を、当該触覚指標に対応する出力部７１内の素子を駆動することにより再生する。

≪モデル学習処理≫
続いて、学習部１５が学習済みモデル１８を学習させる処理について補足する。本実施形態に係る学習部１５は、複数の触覚指標に関する実測データ（触覚指標情報）と、特徴量空間における領域を示す情報（触感情報の正解データ）とを含む教師データを用いて学習済みモデル１８を学習させる。例えば学習部１５は、記憶部１７に格納されたパラメータセットの値を、学習済みモデル１８の出力値によって規定される損失関数を減少させる勾配方向に更新する。

なお、学習部１５がモデルの学習を行うタイミングは、特定のタイミングに限定されない。例えば所定時刻の到来、若しくは前回学習を行ってからの所定時間の経過によって、又はユーザの指示に応じて学習処理が実行されてもよい。

また、学習部１５は、生成した学習済みモデル１８に基づいて、当該学習済みモデル１８の逆関数として機能するよう、学習済みモデル３８を生成する。この場合、デコーダ３０の記憶部３７に格納されたパラメータセットは、エンコーダ１０の記憶部１７に格納されたパラメータセットが更新された場合に更新される構成であってもよい。

なお、学習済みモデル３８は、学習済みモデル１８を用いずに、触感情報と補正前再現情報とを含む教師データを用いた学習により生成されてもよい。あるいは、学習済みモデル３８は、学習済みモデル１８と同時に学習されることにより生成されてもよい。この場合、学習部１５は、学習済みモデル１８に入力される触覚指標情報と、学習済みモデル３８から出力される再現情報の組を教師データとして用いて、学習済みモデル１８、３８の学習処理を同時に行ってもよい。

〔変形例〕
本実施形態において、学習済みモデル１８および学習済みモデル３８は、第１接触部および第２接触部の各々の特性を考慮せずに学習されるものとして説明した。ただし、本実施形態は、学習済みモデル１８および学習済みモデル３８が、第１接触部および第２接触部の各特性を考慮して学習される形態に変形することができる。

本変形例では、エンコーダ１０の学習部１５は、対象物に第１接触部が接触した際に測定される触覚指標情報および第１接触部特性情報と、当該第１接触部が感受した触感を表す触感情報との組を教師データとして、学習済みモデル１８を学習させる。これにより、学習済みモデル１８は、触覚指標情報および第１接触部特性情報を入力として、触感情報を出力する。出力される触感情報は、第１接触部の特性を考慮した触感を表す情報となり、以降、第１触感情報とも記載する。

また、学習部１５は、第１触感情報および第２接触部特性情報と、再現情報との組を教師データとして、学習済みモデル３８を学習させる。これにより、学習済みモデル１８は、第１触感情報および第２接触部特性情報を入力として、再現情報を出力する。出力される再現情報は、第１接触部の特性を除去し、第２接触部の特性を考慮した情報となる。

本変形例では、学習済みモデル１８および学習済みモデル３８は、本発明における「第１触感情報および第１接触部特性情報を含む教師データを用いて予め学習されたモデル」の一実施形態である。

また、本変形例では、デコーダ３０のデータ生成部３４は、学習済みモデル３８に、入力データ取得部３２によって取得された第１触感情報と第２接触部特性情報とを入力することによって、出力されるデータを再現情報として得る。これにより、デコーダ３０は、上述した補正処理を行う必要がなく、学習済みモデル３８から出力される再現情報を用いて触感を再現することができる。

〔その他の変形例〕
上述した実施形態において、制御部１１が学習部１５を備えること、及び、学習部１５による学習処理によって機械学習に用いるパラメータセットの値を更新されることは必須ではなく、固定的な学習済みモデル１８、３８が用いられる構成でもよい。また、出力部７１が表示部７２を備えること、及び、対象物表面の画像が画面に表示されることは必須ではない。

また、上述した実施形態において、データ生成部３４は、触感情報と、第１接触部特性情報と、第２接触部特性情報とを参照して、再現情報を生成するものとして説明した。ただし、データ生成部３４は、第２接触部特性情報を参照しない構成に変形することができる。すなわち、データ生成部３４は、触感情報と第１接触部特性情報とを参照して、再現情報を生成してもよい。この場合、生成される再現情報は、対象物の触感を感受した第１接触部の特性の影響を取り除いたものとなる。その結果、このように変形した触感再現システム１は、標準的な特性を有する接触部に対して精度よく触感を再現できる。

また、上述した実施形態において、デコーダ３０によって生成された再現情報と、第２接触部特性情報とが、触覚記録データ１８１として記憶部１７または３７に記憶されるようにしてもよい。この場合、再現情報は、本発明のデータ構造における触覚指標情報の一実施形態となり、第２接触部特性情報は、本発明のデータ構造における第１接触部特性情報の一実施形態となる。これにより、デコーダ３０によって再現された触感を記録しておき、他の第２接触部に対して当該触感を再現することが可能となる。

＜触覚指標情報及び再現情報の構成例＞
触覚指標情報及び再現情報の具体的構成例について図７～図１２を参照して説明する。これらの図は、入力データ取得部１２が取得し、特徴量特定部１３によって参照される触覚指標情報、又はデータ生成部３４によって生成される再現情報の一例を示している。

図７の表２０１、２０２は、ユーザが対象物に触れた際の触覚指標に関するデータであって、例えば対象物の弾力等の値が時系列に沿ってどのように変化したかを示している。また、図８の表２０３は、接触部の物性の値が時系列に沿ってどのように変化したか等を示している。ここでのハンマリングとは、対象物と接触部との接触を意味しており、図９に例示するハンマリング波形のグラフは、表２０１におけるハンマリング時系列データの項目に対応する。表２０１に示すように、ハンマリング時系列データには、一例として、入力荷重、並びに、加速度Ｘ方向、Ｙ方向およびＺ方向等が含まれる。また、図１０に例示する周波数特性のグラフは、表２０１におけるハンマリング周波数分析の項目に対応する。表２０１に示すように、ハンマリング周波数分析には、一例として、周波数、Ｘ方向、Ｙ方向およびＺ方向のパワースペクトル等が含まれる。また、図１１に例示する伝達関数のグラフは、表２０２におけるハンマリング伝達関数の項目に対応する。表２０２に示すように、ハンマリング伝達関数には、一例として、周波数、Ｘ方向、Ｙ方向およびＺ方向の伝達関数等が含まれる。また、図１２に例示する弾力測定のグラフは、表２０２における弾力測定時系列データに対応する。表２０２に示すように、弾力測定時系列データには、弾力測定時間、弾力測定変位、最大変位Ｒ０、最小変位Ｒ１、振幅比Ｒ２、正味弾性率Ｒ５、粘弾性比Ｒ６、弾性力Ｒ７および復元率Ｒ８等が含まれる。

なお、表２０１～２０３の例においては、0.0005秒ごとのデータが規定されているが、これに限定されるものではなく、項目ごとに互いに異なる間隔であってもよい。

〔ソフトウェアによる実現例〕
エンコーダ１０の制御ブロック（特に入力データ取得部１２、特徴量特定部１３、データ生成部１４、学習部１５および通信制御部１６）、及びデコーダ３０の制御ブロック（特に入力データ取得部３２、データ生成部３４、通信制御部３５および表示制御部３６）は、集積回路（ＩＣチップ）等に形成された論理回路（ハードウェア）によって実現してもよいし、ソフトウェアによって実現してもよい。

後者の場合、エンコーダ１０またはデコーダ３０は、各機能を実現するソフトウェアであるプログラムの命令を実行するコンピュータを備えている。このコンピュータは、例えば１つ以上のプロセッサを備えていると共に、上記プログラムを記憶したコンピュータ読み取り可能な記録媒体を備えている。そして、上記コンピュータにおいて、上記プロセッサが上記プログラムを上記記録媒体から読み取って実行することにより、本発明の目的が達成される。上記プロセッサとしては、例えばＣＰＵ（Central Processing Unit）を用いることができる。上記記録媒体としては、「一時的でない有形の媒体」、例えば、ＲＯＭ（Read Only Memory）等の他、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路などを用いることができる。また、上記プログラムを展開するＲＡＭ（Random Access Memory）などをさらに備えていてもよい。また、上記プログラムは、該プログラムを伝送可能な任意の伝送媒体（通信ネットワークや放送波等）を介して上記コンピュータに供給されてもよい。なお、本発明の一態様は、上記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。

本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。

１ 触感再現システム
５、９ センサ群
１０ エンコーダ
１１、３１ 制御部
１２、３２ 入力データ取得部
１３ 特徴量特定部
１４、３４ データ生成部
１５ 学習部
１６、３５ 通信制御部
１７、３７ 記憶部
１８、３８ 学習済みモデル（モデル）
１９、３９ 通信部
３０ デコーダ
３６ 表示制御部
７１ 出力部
７２ 表示部
７３ 出力デバイス
１８１ 触覚記録データ

Claims (6)

1. 対象物の触感を表す触感情報と、前記触感を感受した第１接触部の特性を示す第１接触部特性情報とを取得する取得部と、
   前記触感情報と前記第１接触部特性情報とを参照して、第２接触部に対して前記触感を再現するための再現情報を生成する再現情報生成部と
   を備え、
   前記取得部は、前記第２接触部の特性を示す第２接触部特性情報を取得し、
   前記再現情報生成部は、
   前記触感情報を参照して補正前再現情報を生成し、
   生成した前記補正前再現情報を、前記第１接触部特性情報及び前記第２接触部特性情報を参照して補正することにより、前記再現情報を生成することを特徴とするデータ再生装置。
2. 前記第１接触部特性情報には、
   前記第１接触部の硬度、
   前記第１接触部の温度、
   前記第１接触部の熱抵抗、
   前記第１接触部の振動伝達関数、
   前記第１接触部の振動、及び
   前記第１接触部の摩擦特性
   をそれぞれ表す情報の少なくとも何れかが含まれる請求項１に記載のデータ再生装置。
3. 前記再現情報生成部は、
   前記触感情報と前記第１接触部特性情報とを含む教師データを用いて予め学習されたモデルに、前記取得部が取得した前記触感情報と前記第２接触部特性情報とを入力することによって、前記再現情報を生成する
   ことを特徴とする請求項１または２に記載のデータ再生装置。
4. 請求項１から３のいずれか１項に記載のデータ再生装置を含む触感再現システムに含まれるデータ生成装置であって、
   前記対象物の触感に関わる１又は複数の触覚指標について生じる物理現象を表す触覚指標情報と、前記触感を感受した前記第１接触部の特性を示す前記第１接触部特性情報とを取得するデータ生成装置側取得部と、
   前記触覚指標情報に基づいて生成した前記触感を表す前記触感情報と、前記第１接触部特性情報とを出力する触感情報出力部と
   を備えていることを特徴とするデータ生成装置。
5. データ再生装置が実行するデータ再生方法であって、
   対象物の触感を表す触感情報と、前記触感を感受した第１接触部の特性を示す第１接触部特性情報とを取得するステップと、
   第２接触部の特性を示す第２接触部特性情報を取得するステップと、
   前記触感情報を参照して補正前再現情報を生成するステップと、
   前記第１接触部特性情報及び前記第２接触部特性情報を参照して前記補正前再現情報を補正することにより、前記第２接触部に対して前記触感を再現するための再現情報を生成するステップと、
   を含むことを特徴とするデータ再生方法。
6. 請求項５に記載のデータ再生方法を実行するデータ再生装置を含む触感再現システムに含まれるデータ生成装置が実行するデータ生成方法であって、
   前記対象物の触感に関わる１又は複数の触覚指標について生じる物理現象を表す触覚指標情報と、前記触感を感受した前記第１接触部の特性を示す前記第１接触部特性情報とを取得するステップと、
   前記触覚指標情報に基づいて生成した前記触感を表す前記触感情報と、前記第１接触部特性情報とを出力するステップと
   を含むことを特徴とするデータ生成方法。

Images