JP7345387B2

JP7345387B2 - 触感提示システム、触感提示システムのローカル端末およびサーバ装置ならびに触感提示方法および触感提示プログラム

Info

Publication number: JP7345387B2
Application number: JP2019235858A
Authority: JP
Inventors: 優輝田島
Original assignee: KDDI Corp
Current assignee: KDDI Corp
Priority date: 2019-12-26
Filing date: 2019-12-26
Publication date: 2023-09-15
Anticipated expiration: 2039-12-26
Also published as: JP2021105778A

Description

本発明は、触感提示システム、触感提示システムのローカル端末およびサーバ装置ならびに触感提示方法および触感提示プログラムに係り、特に、ユーザがタッチしたタッチパネルディスプレイの位置に表示されている任意の物体の触感を当該ユーザに提示する触感提示システム、触感提示システムのローカル端末およびサーバ装置ならびに触感提示方法および触感提示プログラムに関する。

特許文献１には、主にオンラインショッピングへの利用を想定し、商品の各種情報を提供するウェブページをHTML文書の形式で生成するサーバ装置と、タッチパネルからのタッチ入力に基づいてアクチュエータを駆動することで物体の触感を提示する触感提示装置が開示されている。

特許文献１では、サーバ装置が生成するウェブページに「触感体感」と記載されたアイコンが表示されており、ユーザはスマートフォンのような消費者端末からアイコンをクリックすることで、サーバ装置から触感提示装置の制御パラメータをダウンロードできる。消費者端末と触感提示装置とは有線あるいは無線で接続され、ダウンロードした制御パラメータを触感提示装置に適用し、触感提示装置のタッチパネルに指先で触れることでユーザは所望の商品の触感を体感できる。

特開2019-128738号公報

しかしながら、特許文献１の装置は、オンラインショッピングにおいて触感体感をユーザに提供するという用途に最適化されているため、任意の場面において、任意の物体の触感体感をユーザに提供する装置を構成する際、以下の点が技術的課題となる。

第１に、特許文献１の装置では、物体に紐づく触感パラメータを事前に準備する必要があるため、触感を体感させる対象物体の点数の増大に伴い、触感パラメータのセッティング回数が増大し、時間的コストが生じる。

第２に、特許文献１の装置では、一つの商品ページに対して一つの触感パラメータを設定していることにより、同一場面において複数の物体の触感を同時に再現できない。例えば、キッチンの場面ではコップやフライパンといった様々な物体が存在する。そのような場面において、コップの触感やフライパンの触感を同時にユーザに体感させることができない。

本発明の目的は、上記の技術課題を解決し、ディスプレイに表示されている物体について、ユーザが要求した任意の物体の触感を当該ユーザに提示できる触感提示システム、触感提示システムのローカル端末およびサーバ装置ならびに触感提示方法および触感提示プログラムを提供することにある。

上記の目的を達成するために、本発明は、以下の構成を具備した点に特徴がある。

(1) 本発明の触感提示システムは、物体の映像を取得する手段と、物体の種別ごとに触感パラメータを保持する触感記憶手段と、ディスプレイに表示される物体の種別および位置を識別する手段と、物体の種別および位置の識別結果ならびに触感記憶手段に基づいて、ディスプレイ上の各位置と触感パラメータとを対応付ける触感情報を生成する手段と、ディスプレイに対するタッチ操作に基づいて触感要求位置を検知する手段と、触感要求位置に対応した触感パラメータを前記触感情報に基づいて取得する手段と、取得した触感パラメータに基づいて、前記触感要求位置に表示された物体の触感を提示する手段とを具備した。

(2) 本発明のローカル端末は、物体の映像を取得する手段と、映像の情報を外部のサーバ装置へ送信し、ディスプレイ上の各位置と触感パラメータとを対応付ける触感情報を当該サーバ装置から取得する手段と、ディスプレイに対するタッチ操作に基づいて触感要求位置を検知する手段と、触感要求位置に対応した触感パラメータを前記触感情報に基づいて取得する手段とを具備し、取得した触感パラメータに基づいて物体の触感を提示するようにした。

(3) 本発明のローカル端末は、物体の映像を取得する手段と、ディスプレイに表示される各物体の種別および位置を識別する手段と、識別結果を外部のサーバ装置へ送信し、ディスプレイ上の各位置と触感パラメータとを対応付ける触感情報を当該サーバ装置から取得する手段と、物体を表示するディスプレイに対するタッチ操作に基づいて触感要求位置を検知する手段と、触感要求位置に対応した触感パラメータを前記触感情報に基づいて取得する手段とを具備し、取得した触感パラメータに基づいて物体の触感を提示するようにした。

(4) 本発明の触感提示システムおよびローカル端末は、映像が動画の各フレーム画像であると、今回のフレーム画像に基づいて生成した触感情報を、前回以前の各フレーム画像に基づいて生成した各触感情報に基づいて修正する手段を具備した。

(5) 今回フレームの全てのピクセルまたは触感要求位置の種別を、当該各ピクセルまたは触感要求位置と前回以前の各フレーム画像の各ピクセルとの距離およびその種別に基づく重み付き線形和で修正する手段を具備した。

(6) 本発明の触感提示システムおよびローカル端末は、フレームごとに種別ヒストグラムを作成し、種別ヒストグラムの変化が所定の閾値を超えるフレーム間には前記修正する手段を適用しないようにした。

(7) 本発明の触感提示システムおよびローカル端末は、タッチ操作に基づいてディスプレイへの触り方を検知する手段を更に具備し、触感パラメータおよび触り方に基づいて物体の触感を提示するようにした。

(8) 本発明のサーバ装置は、物体の種別ごとに触感パラメータを保持する触感記憶手段と、ローカル端末からそのディスプレイに表示される映像の情報を取得して、ディスプレイに表示される各物体の種別および位置を識別する手段と、各物体の種別および位置の識別結果に基づいて触感記憶手段を参照し、ディスプレイ上の各位置と触感パラメータとを対応付ける触感情報を生成する手段とを具備し、前記触感情報をローカル端末へ応答するようにした。

(9) 本発明のサーバ装置は、物体の種別ごとに触感パラメータを保持する触感記憶手段と、ローカル端末からそのディスプレイに表示される各物体の種別および位置の識別結果を取得し、前記触感記憶手段に基づいてディスプレイ上の各位置と触感パラメータとを対応付ける触感情報を生成する手段とを具備し、前記触感情報をローカル端末へ応答するようにした。

(1) 本発明によれば、タッチパネルディスプレイに表示される物体の種別および位置が識別され、ユーザが触感を体感したい物体の表示位置にタッチすると、当該タッチ位置に表示されている物品の識別結果に基づいてその触感パラメータが取得されて触感が再現されるので、ユーザはタッチパネルディスプレイに表示される任意の物体の触感を体感できるようになる。

その結果、触感を伴った映画や、画像中に含まれる商品のそれぞれの触感を体験しながら商品選択できるオンラインショッピングなどを実現できるようになる。また、リアルタイムに処理を行うことができるため、触感を伴ったテレコミュニケーションシステムを実現できる。更に、架空のキャラクターを識別して触感を付与することで、登場キャラクターに触ることができる漫画書籍やアニメーション等の製作等、より臨場感のあるアプリケーションを製作できるようになる。

(2) 映像が動画の各フレーム画像であると、今回のフレーム画像に基づいて生成した触感情報を前回以前の各フレーム画像に基づいて生成した各触感情報に基づいて修正することができるので、物体の種別を正しく識別できなかった場合でも当該物体の正しい触感をユーザに提示できるようになる。

(3) 今回フレームの各ピクセルまたは触感要求位置の種別を、当該各ピクセルまたは触感要求位置と前回以前の各フレーム画像の各ピクセルとの距離およびその種別に基づく重み付き線形和で修正するので、種別の推定結果を時間的、空間的に抽象化できる。したがって、種別の推定において一時的あるいは部分的な誤認識が生じたとしても、触感提示への影響を軽減できるようになる。

(4) フレームごとに種別ヒストグラムを作成し、種別ヒストグラムの変化が所定の閾値を超えるフレーム間には前記修正を適用しないようにしたので、映像が大きく変化する前の触感情報が、大きく変化した後の触感情報に基づいて修正されてしまうような、誤った修正を防止できるようになる。

(5) タッチ操作に基づいてディスプレイへの触り方を検知する手段を更に具備し、触感パラメータおよび触り方に基づいて物体の触感を提示するようにしたので、触り方に応じて変化する触感も正確に提示できるようになる。

(6) 本発明のサーバ装置によれば、触感提示に係る処理の一部をローカル端末に代わって実施できるので、処理能力の低いローカル端末にも触感提示機能を付与することが可能になる。

本発明の第１実施形態に係る触感提示システムの機能ブロック図である。触感情報の例を示した図である。本発明を適用した触感提示方法のフローチャートである。触感提示システムをローカル端末及びサーバ装置で構成した第２実施形態の機能ブロック図である。図４に示した触感提示システムのシーケンスフローである。触感提示システムをローカル端末及びサーバ装置で構成した第３実施形態の機能ブロック図である。図６に示した触感提示システムのシーケンスフローである。触感提示システムをローカル端末で構成した第４実施形態の機能ブロック図である。マップ修正部を備えた第５実施形態に係る触感提示システムの機能ブロック図である。マップ修正部の機能を説明した図である。マップ修正部をローカル端末に備えた第６実施形態に係る触感提示システムの機能ブロック図である。今回フレームの触感要求位置の種別を修正する方法を模式的に示した図である。カメラの切替わりや物体の入替わりを検知する方法を模式的に示した図である。マップ修正部をサーバ装置に備えた第７実施形態に係る触感提示システムの機能ブロック図である。

以下、図面を参照して本発明の実施の形態について詳細に説明する。図１は、本発明の第１実施形態に係る触感提示システム１０の機能ブロック図である。本発明の触感提示システム１０は、複数の物体を表示するディスプレイ上でユーザが指定した物体の触感を当該ユーザに提示して体感させる。なお、以下の実施形態は本発明を具体化した一例であって、本発明の技術的範囲を限定するものではない。

映像取得部１００は、被写体として物体を含む静止画像または動画映像（以下、映像またはフレーム画像で代表する）をネットワーク経由またはローカルに取得し、タッチパネルディスプレイ１０２に表示する。物体識別部１０１は、種別識別部１０１ａおよび位置識別部１０１ｂを含み、タッチパネルディスプレイ１０２に表示される物体の種別および位置座標をそれぞれ識別する。位置座標は、平面的な2D位置座標であっても良いし、奥行き情報（ｚ軸方向）を加えた立体的な３D位置座標であっても良い。

前記種別識別部１０１ａとしては、矩形領域として二次元の位置座標を推定するYOLO、あるいは自由形状の領域として二次元の位置座標を推定するDeepLabなどのアルゴリズムを使用できる。奥行き情報を推定するアルゴリズムとしてはPlaneNetなどを使用できる。また、TOF (Time of Flight) センサ等により物体の奥行き情報を取得している場合はその値を用いてもよい。

触感データベース(DB)１０３には、物体の種別ごとに、後に詳述する触感発生装置１０８のアクチュエータを制御して物体の触感をユーザに提示させるための触感パラメータが保持されている。触感パラメータには、物体ごとに固有の「ヤング率」、「表面粗さ」あるいは「熱伝導率」といった物質特性に対応するパラメータ、および／または「硬さ感」、「粗さ感」あるいは「ひんやり感」といった触感の知覚強度に対応するパラメータが含まれる。触感発生装置１０８が振動素子や電熱素子等のアクチュエータを含む場合、触感のクオリティを高めるために振動素子の振動波形や電熱素子の駆動電流などの制御信号を触感パラメータに加えても良い。

触感情報生成部１０４は、物体識別部１０１から取得した各物体の種別に対応した触感パラメータを前記触感データベース１０３から取得し、図２に一例を示したように、タッチパネルディスプレイ１０２における各物体の位置座標を定義する認識物体マップd1と各物体の種別と触感パラメータとを対応付ける触感データサブセットd2とから構成される触感情報Dを生成する。

触感要求検知部１０５は、位置検知部１０５ａおよび触り方検知部１０５ｂを含む。位置検知部１０５ａは、物体を表示しているタッチパネルディスプレイ１０２のタッチパネル部１０２ａに対するユーザのタッチ操作に基づいて、当該ユーザが触感を要求している物体の位置を触感要求位置Pとして検知する。触り方検知部１０５ｂは、前記タッチ操作に基づいて、タッチ速度やタッチ圧の時系列変化を"触り方Q"として検知する。

触感パラメータ取得部１０６は、前記触感情報Dから触感要求位置Pに基づいて当該ユーザが触感を要求した物体の触感パラメータを取得する。触感提示信号生成部１０７は、前記触感要求位置P，触り方Qおよび触感パラメータを、予め学習した所定のモデル式に適用して触感提示信号を生成する。

例えば、垂直方向への押し込み力に応じて振動アクチュエータの出力を制限したり、あるいは水平方向へのなぞり操作による触り方を検知した場合に、なぞり操作の位置および移動速度をバネ-ダンパ系で表現される運動方程式に導入し、対象物体の振動や横滑りをシミュレーションすることで、アクチュエータを駆動する触感提示信号を生成できる。触感発生装置１０８は、ユーザの振動覚、力覚あるいは温度覚等の少なくとも1つに作用して物体の触感を疑似的に発生させる少なくとも一つのアクチュエータを含み、前記触感提示信号に基づいて各アクチュエータを制御することで各触感を合成し、触感提示部１０８ａを介してユーザに物体の触感を体感させる。

このような触感発生装置１０８としては、例えば、ペン型デバイス、グローブ型デバイスまたはフィンガーキャップ型デバイスを用いることができる。あるいは、触感発生装置１０８を光透過型のフィルム状またはパネル状に構成し、タッチパネルディスプレイ１０２の表示面に重ねて設けても良い。

触感の合成方法は、作用する触感や使用するアクチュエータによって様々であるが、ここでは振動覚、力覚、温度覚のそれぞれに対して、タッチパネルに表示された物体の触感特徴を表現する触感合成手法の一例を説明する。

振動覚に作用するアクチュエータとして、偏心モータあるいはハプティック（登録商標）リアクタのように触感提示用に最適化された振動素子を用いれば、ユーザのタッチ操作に応じた触感を提示することができる。例えば、タッチパネルディスプレイ１０２に表示された物体を撫でる動作中に振動を提示すれば、当該物体の表面凹凸に起因する振動や粗さ感を表現できる。また、タッチパネルディスプレイ１０２に表示された物体にタッチあるいは押し込んだ瞬間に固有減衰振動を提示すれば当該物体の硬さ感を表現できる。

力覚に作用するアクチュエータとしてモータを用いるのであれば、モータの駆動力を用いてタッチパネルディスプレイ自体を動かし、あるいはユーザの手指に取り付けた治具を動かすことで触感を提示することができる。このとき、物体の奥行き情報に基づいて、タッチパネルディスプレイ１０２に表示された物体への押し込み動作を検知し、検知結果に基づいてモータの駆動力あるいは回転量を制御することで当該物体の弾性や柔らかさを表現できる。

温度覚に作用するアクチュエータとしてペルチェ素子を用いることができる。この場合、物体のひんやり感や熱伝導率のパラメータに応じて素子の駆動電流を制御することで触感を合成できる。

図３は、前記触感提示システムの動作を示したフローチャートであり、ステップＳ１では、物体を被写体とする映像が前記映像取得部１００によりネットワーク経由または内蔵メモリ等からフレーム単位で取得される。

ステップＳ２では、前記映像がディスプレイ１０２に表示され、これと並行または前後して、ステップＳ３では前記識別部１０１がフレーム画像から抽出した各物体の種別を種別識別部１０１ａが識別し、ステップＳ４では、位置識別部１０１ｂが各物体のディスプレイ１０２上での位置座標を識別し、ステップＳ５では、前記触感情報生成部１０４が物体の種別および位置の識別結果ならびに触感データベース１０３に基づいて触感情報Dを生成する。

ステップＳ６では、前記触感要求検知部１０５により、ユーザがディスプレイ１０２にタッチ操作したか否かが判断される。タッチ操作が検知されると、触感要求検知部１０５がその位置を触感要求位置Pと認識し、さらに触り方Qを検知してステップＳ７へ進む。ステップＳ７では前記触感情報Dを参照し、認識物体マップd1上での触感要求位置Pと対応付けられた触感パラメータが触感データサブセットd2から取得される。

ステップＳ８では、前記触感要求位置P、触り方Qおよび触感パラメータがモデル式に適用されて触感提示信号が生成される。ステップＳ９では、前記触感提示信号が触感発生装置１０８へ出力され、その触感提示部１０８ａによって前記物体の触感がユーザに提示される。したがって、ユーザはディスプレイに表示される任意の物体の触感を触感提示部１０８ａにおいて体感できるようになる。

本実施形態によれば、ユーザはタッチパネルディスプレイに表示される任意の物体の触感を体感できるので、触感を伴った映画や、画像中に含まれる商品のそれぞれの触感を体験しながら商品選択できるオンラインショッピングなどを実現できるようになる。また、リアルタイムに処理を行うことができるため、触感を伴ったテレコミュニケーションシステムを実現できる。更に、架空のキャラクターを識別して触感を付与することで、登場キャラクターに触ることができる漫画書籍やアニメーション等の製作等、より臨場感のあるアプリケーションを製作できるようになる。

図４は、本発明の第２実施形態に係る触感提示システムの構成を示した機能ブロック図であり、前記と同一の符号は同一または同等部分を表しているので、その説明は省略する。本実施形態では、触感提示システム１０の各機能が、スマートフォンに代表されるローカル端末１とネットワーク上のサーバ装置２とに分散配置され、各機能が連携動作することで触感提示が実現される点に特徴がある。

ローカル端末１において、触感情報取得部１０４ａは、映像取得部１００が取得した映像の情報をサーバ装置２へ送信し、前記物体識別マップd1および触感データセットd2から構成される触感情報Dを当該サーバ装置２から取得する。触感発生装置１０８は、USB、無線LANあるいはBluetooth（登録商標）等の適宜の無線／有線インタフェースを介してローカル端末１に外付けされている。

図５は、本実施形態の動作を示したシーケンスフローであり、時刻t1では、ローカル端末１の映像取得部１００が物体のフレーム画像を取得する。時刻t2では、触感情報取得部１０４ａがフレーム画像の情報を含む触感情報要求をネットワーク経由でサーバ装置２へ送信する。時刻t3では、前記フレーム画像がタッチパネルディスプレイ１０２に表示される。

サーバ装置２は、前記触感情報要求を受信すると、時刻t4において、識別部１０１がフレーム画像から物体を抽出し、更に各物体の種別および位置座標を識別する。時刻t5では、サーバ装置２から触感DB１０３へ、前記物体の種別を記述したパラメータ要求が送信される。触感DB１０３は、時刻t6において前記物体種別に対応した触感パラメータをサーバ装置２へ応答する。

サーバ装置２は、時刻t7において、取得した各物体の触感パラメータおよび位置座標に基づいて、前記図２を参照して説明した触感情報Dを生成し、時刻t８において当該触感情報Dをローカル端末１へ応答する。

これと並行して、時刻t9では、ローカル端末１の触感要求検知部１０５が、タッチパネル部１０２ｂに対するユーザのタッチ操作に基づいて、当該ユーザが触感を要求している物体の位置を触感要求位置Pとして検知し、さらにタッチ速度やタッチ圧の時系列変化を触り方Qとして検知する。

ローカル端末１では、時刻t10において、触感パラメータ取得部１０６が前記触感情報Dから触感要求位置Pに基づいて前記ユーザが要求した物体の触感パラメータを取得する。時刻t11では、前記触感提示信号生成部１０７が前記触感要求位置P、触り方Qおよび触感パラメータをモデル式に適用して触感提示信号を生成する。

時刻t12では、前記触感提示信号を含む駆動要求が触感発生装置１０８へ提供される。触感発生装置１０８は、時刻t13において、受信した触感提示信号に基づいてアクチュエータを駆動することで触感提示部１０８ａの振動や温度等を制御し、物体の触感を再現する。

本実施形態によれば、触感提示に要する複数の機能をローカル端末１およびサーバ装置２に分散できるので、処理能力の低いローカル端末にも触感提示機能を付与できるようになる。

図６は、本発明の第３実施形態の構成を示した機能ブロック図であり、前記と同一の符号は同一または同等部分を表しているので、その説明は省略する。本実施形態は第２実施形態と比較して、識別部１０１がローカル端末１に実装された点に特徴がある。

図７は、第３実施形態の動作を示したシーケンスフローであり、時刻t21では、ローカル端末１の映像取得部１００がフレーム画像を取得し、時刻t22においてタッチパネルディスプレイ１０２に表示する。時刻t23では、識別部１０１が前記フレーム画像から物体を抽出し、各物体の種別およびディスプレイ１０２上での位置座標を識別する。

時刻t24では前記物体の種別が記述された触感情報要求がローカル端末１からサーバ装置２へ送信される。時刻t25では、前記触感情報要求に記述されている物体種別を含むパラメータ要求がサーバ装置２から触感DB１０３へ送信される。時刻t26では、前記パラメータ要求に対して前記物体種別に対応した触感パラメータが触感DB３からサーバ装置２へ応答される。時刻t27では、サーバ装置２の触感情報生成部１０４により、取得した触感パラメータおよび物体の位置座標に基づいて、前記物体識別マップd1および触感データセットd2から構成される触感情報Dが生成される。

これと並行して、時刻t29では、ローカル端末１の前記触感要求検知部１０５が、タッチパネル部１０２ｂに対するユーザのタッチ操作に基づいて触感要求位置Pおよび触り方Qを検知する。時刻t30では、前記触感パラメータ取得部１０６が、前記触感情報Dから触感要求位置Pに基づいて触感パラメータを取得する。

時刻t31では、前記触感提示信号生成部１０７が前記触感要求位置P、触り方Qおよび触感パラメータをモデル式に適用して触感提示信号を生成する。時刻t32では、前記触感提示信号を含む駆動要求が触感発生装置１０８へ提供される。触感発生装置１０８は、時刻t33において、受信した触感提示信号に基づいてアクチュエータを駆動することで触感提示部１０８ａの振動や温度等を制御し、物体の触感を再現する。

本実施形態によれば、第２実施形態との比較で、触感提示に係るローカル端末１の処理負荷は増えるが、ローカル端末１とサーバ装置２との間のトラヒック量を低減できるようになる。

図８は、本発明の第４実施形態の構成を示した機能ブロック図であり、前記と同一の符号は同一または同等部分を表しているのでその説明は省略する。本実施形態は、触感提示システム１０の全ての機能をローカル端末１に実装した点に特徴がある。ただし、触感発生装置１０８は適宜のインタフェースを介してローカル端末１に外付けされるようにしても良い。

図９は、本発明の第５実施形態に係る触感提示システム１０の他の構成を示した機能ブロック図であり、触感情報生成部１０４が生成した認識物体マップd1を修正するマップ修正部１０９を具備した点に特徴がある。

触感情報生成部１０４は、映像が動画であれば識別部１０１による識別結果に基づいてフレーム単位で認識物体マップd1を生成する。このとき識別部１０１ａの識別精度、画像中の光陰、映像ノイズ等の影響により、図１０に示したように、フレーム間で一時的かつ部分的に物体の種別が誤認識され、認識物体マップd1の一部に誤りが生じることがある。このような誤認識は、特に自由形状に基づいて物体の種別を推定する識別アルゴリズムにおいて顕著に発生する。

誤認識された領域が触感要求位置Pとして指定されると、誤った触感パラメータに基づいて誤った触感が提示され、さらに次フレームで正しい触感パラメータに基づいて正しい触感が提示されると、短時間での触感変化がノイズの要因となり、提示触感のクオリティが著しく低下する。

マップ修正部１０９は、物体の種別が誤認識されて認識物体マップd1の一部に誤りが生じることに起因した提示触感のクオリティ低下を防止するために、今回フレームの認識物体マップd1を過去の複数フレーム分の認識物体マップd1に基づいて修正する。これにより、物体の種別を正しく識別できなかった場合でも当該物体の正しい触感をユーザに提示できるようになる。

図１１は、前記マップ修正部１０９の機能を備えた本発明の第６実施形態の構成を示した機能ブロック図であり、ローカル端末１０２にマップ修正部１０９ａが実装された点に特徴がある。

マップ修正部１０９ａは、今回フレームの認識物体マップd1に加えて、過去nフレーム分（本実施形態では、過去４フレーム分）の認識物体マップd1を保持し、図１２に示したように、触感要求位置Pが検知されると、当該触感要求位置Pの座標を中心に、例えば５ピクセル四方、併せて１２５ピクセル分の識別結果を各認識物体マップd1から抽出する。そして、触感要求位置Pの座標を起点に過去フレームのピクセルごとに時間的あるいはピクセル間距離に基づくタグIDの重み付き線形和を計算する。ここで、タグIDは各物体の識別結果に固有の識別子である。

本実施形態では、今回フレームの認識物体マップd1における触感要求位置Pの位置座標を(x_t, y_t)とし、fフレーム前の認識物体マップd1における各ピクセルの位置座標(x, y)に対応したタグIDをv_xyfとし、過去kフレームに遡って、(2N+1)ピクセル×(2M+1)ピクセルの矩形領域を対象にタグIDを抽出して線形和を求める。タグID (T)についての線形和E (T)は次式(1)で表すことができる。ただし、w_xyfは今回フレームにおける触感要求位置P(x_t, y_t)からfフレーム前の認識物体マップj1における各ピクセル座標(x, y)までの線形和重みであり、f=0は現在のフレームを表す。

そして、各タグIDについて求められた線形和のうち、最も値が大きい線形和、およびそれに対応するタグIDを選出し、その線形和が一定の閾値より大きければ、触感要求位置Pの位置座標(x_t, y_t)を、選出されたタグIDの領域と判断する。これに対して、線形和が閾値より小さければ、その位置座標(x_t, y_t)を背景領域と判断する。

本実施形態によれば、推定結果を時間的、空間的に抽象化するため、触感情報生成部１０４において一時的あるいは部分的な誤認識が生じたとしても、触感提示への影響を軽減できる。

ただし、映像中にカメラ視点の切り替えや、映像中の物体の入れ替わりが発生した場合、マップ修正部１０９が過去のフレームに遡って重み付き線形和を算出すると、正しい推定結果が得られない可能性がある。

ここで、図１３に示したように、認識物体マップj1において物体の識別結果（タグID）を画素データとしてヒストグラムを作成すると、このヒストグラムは、そのフレーム画像においてどの物体がどの程度の領域を占めているかを示す。そのため、「人」，「犬」，「車」が映っていたフレーム画像が、「人」のみが映ったフレーム画像に切り替わると、図示の通りヒストグラムが大きく変化する。

そこで、本実施形態ではタグIDについてのヒストグラムの値を過去数フレーム分保持して起き、今回フレームのヒストグラムと過去の各フレーム画像のヒストグラムとを比較することでカメラの切り替わりや物体の入れ替わりを検出する。

例えば、タグIDごとに過去フレームと今回フレームとの間の変動率を算出し、さらにタグID間の変動率の平均値を算出する。算出した平均値が閾値を超えていた場合は、カメラの切り替えや物体の入れ替えが起こったと判断できる。

ただし、ヒストグラムの対象領域をフレーム全体にしていた場合はフレームの部分的な変動に対応できない。このため、実際には1つのフレーム画像を部分区画に区切り、区画ごとにヒストグラムを算出することで各区画におけるカメラの切り替わりや物体の入れ替わりを検出することが望ましい。

上記手法により、ある領域においてカメラの切り替わりや物体の入れ替わりを検出したとき、ユーザがその領域の部分にタッチしていた場合には、検出以前のフレームを線形和の重みを再度設定しなおして、タッチ位置における物体の種別を再度判断する。これにより、カメラの切り替わりや物体の入れ替わりが起こるような映像においても、物体の誤認識の影響を軽減した触感提示が可能になる。

本実施形態によれば、映像が大きく変化する前の触感情報が、大きく変化した後の触感情報に基づいて修正されてしまうような、誤った修正を防止できるようになる。また、本実施形態によれば、感触感要求位置Pに対応したピクセルのタグIDのみを過去フレームの触感情報マップMに基づいて修正するので計算量を減じることができる。したがって、一般的に計算能力の低いローカル端末１への実装を実現できる。

図１４は、前記マップ修正部１０９を含む本発明の第７実施形態の構成を示した機能ブロック図であり、前記マップ修正部１０９の機能をサーバ装置２において実現するマップ修正部１０９ｂが実装された点に特徴がある。

第６実施形態では、触感要求位置Pが検知されると、当該触感要求位置Pに対応したピクセルのタグIDのみを過去フレームの触感情報マップMに基づいて修正したが、サーバ装置２にとって触感要求位置Pは未知である。そこで、第７実施形態ではマップ修正部１０９ｂが今回フレームに関して生成した認識物体マップの全てのピクセルに関して、予め上記と同様の手順を繰り返すことで認識物体マップd1を修正する。

本実施形態によれば、一般的に処理負荷の高い認識物体マップd1の修正処理をサーバ装置に負担させることができるので、ローカル端末１の処理負荷を軽減できるようになる。

１…ローカル端末，２…サーバ装置，１０…触感提示システム，１００…映像取得部，１０１…物体識別部，１０１ａ…種別識別部，１０１ｂ…位置識別部，１０２…タッチパネルディスプレイ，１０３…触感データベース(DB)，１０４…触感情報生成部，１０５…触感要求検知部，１０６…触感パラメータ取得部，１０７…触感提示信号生成部，１０８…触感発生装置，１０８ａ…触感提示部，１０９，１０９ａ，１０９ｂ…マップ修正部

Claims

ディスプレイに表示される物体の触感を提示する触感提示システムにおいて、
物体の映像を取得する手段と、
物体の種別ごとに触感パラメータを保持する触感記憶手段と、
ディスプレイに表示される物体の種別および位置を識別する手段と、
前記物体の種別および位置の識別結果ならびに前記触感記憶手段に基づいて、前記ディスプレイ上の各位置と前記種別及びその触感パラメータとを対応付ける触感情報を生成する手段と、
物体を表示するディスプレイに対するタッチ操作に基づいて触感要求位置を検知する手段と、
今回フレームの触感要求位置の種別を、当該触感要求位置と前回以前の各フレーム画像の各位置との距離およびその種別に基づく重み付き線形和で修正する手段と、
前記触感要求位置に対応した触感パラメータを前記触感情報に基づいて取得する手段と、
取得した触感パラメータに基づいて、前記触感要求位置に表示された物体の触感を提示する手段とを具備したことを特徴とする触感提示システム。
前記タッチ操作に基づいて前記ディスプレイへの触り方を検知する手段を更に具備し、
前記物体の触感を提示する手段は、前記取得した触感パラメータおよび触り方に基づいて物体の触感を提示することを特徴とする請求項１に記載の触感提示システム。
ディスプレイに表示される物体の触感を提示する触感提示システムのローカル端末において、
物体の映像を取得する手段と、
前記映像の情報を外部のサーバ装置へ送信し、前記ディスプレイ上の各位置と当該各位置に表示されている物体の種別及びその触感パラメータとを対応付ける触感情報を当該サーバ装置から取得する手段と、
前記ディスプレイに対するタッチ操作に基づいて触感要求位置を検知する手段と、
今回フレームの触感要求位置の種別を、当該触感要求位置と前回以前の各フレーム画像の各位置との距離およびその種別に基づく重み付き線形和で修正する手段と、
前記触感要求位置に対応した触感パラメータを前記触感情報に基づいて取得する手段とを具備し、
取得した触感パラメータに基づいて、前記触感要求位置に表示された物体の触感を提示することを特徴とする触感提示システムのローカル端末。
ディスプレイに表示される物体の触感を提示する触感提示システムのローカル端末において、
物体の映像を取得する手段と、
ディスプレイに表示される各物体の種別および位置を識別する手段と、
前記識別結果を外部のサーバ装置へ送信し、前記ディスプレイ上の各位置と前記種別及びその触感パラメータとを対応付ける触感情報を当該サーバ装置から取得する手段と、
前記ディスプレイに対するタッチ操作に基づいて触感要求位置を検知する手段と、
今回フレームの触感要求位置の種別を、当該触感要求位置と前回以前の各フレーム画像の各位置との距離およびその種別に基づく重み付き線形和で修正する手段と、
前記触感要求位置に対応した触感パラメータを前記触感情報に基づいて取得する手段とを具備し、
取得した触感パラメータに基づいて、前記触感要求位置に表示された物体の触感を提示することを特徴とする触感提示システムのローカル端末。
フレームごとに種別ヒストグラムを作成し、
種別ヒストグラムの変化が所定の閾値を超えるフレーム間には前記修正する手段を適用しないことを特徴とする請求項３または４に記載の触感提示システムのローカル端末。
前記タッチ操作に基づいて前記ディスプレイへの触り方を検知する手段を更に具備し、
前記物体の触感を提示する手段は、前記取得した触感パラメータおよび触り方に基づいて物体の触感を提示することを特徴とする請求項３ないし５のいずれかに記載の触感提示システムのローカル端末。
ローカル端末に物体の触感を提示させる触感提示システムのサーバ装置において、
物体の種別ごとに触感パラメータを保持する触感記憶手段と、
ローカル端末からそのディスプレイに表示される映像の情報を取得して、前記ディスプレイに表示される各物体の種別および位置を識別する手段と、
前記各物体の種別および位置の識別結果に基づいて前記触感記憶手段を参照し、前記ディスプレイ上の各位置と前記種別及びその触感パラメータとを対応付ける触感情報を生成する手段と、
今回フレームの各位置の種別を、当該今回フレームの各位置と前回以前の各フレーム画像の各位置との距離およびその種別に基づく重み付き線形和で修正する手段とを具備し、
前記触感情報を前記ローカル端末へ応答することを特徴とする触感提示システムのサーバ装置。
ローカル端末に物体の触感を提示させる触感提示システムのサーバ装置において、
物体の種別ごとに触感パラメータを保持する触感記憶手段と、
ローカル端末からそのディスプレイに表示される各物体の種別および位置の識別結果を取得し、前記触感記憶手段に基づいて前記ディスプレイ上の各位置と前記種別及びその触感パラメータとを対応付ける触感情報を生成する手段と、
今回フレームの各位置の種別を、当該今回フレームの各位置と前回以前の各フレーム画像の各位置との距離およびその種別に基づく重み付き線形和で修正する手段とを具備し、
前記触感情報を前記ローカル端末へ応答することを特徴とする触感提示システムのサーバ装置。
フレームごとに種別ヒストグラムを作成し、
種別ヒストグラムの変化が所定の閾値を超えるフレーム間には前記修正する手段を適用しないことを特徴とする請求項７または８に記載の触感提示システムのサーバ装置。
コンピュータが、ディスプレイに表示される物体の触感を提示する触感提示方法において、
物体の映像をディスプレイに表示し、
ディスプレイに表示される物体の種別および位置を識別し、
前記種別および位置の識別結果に基づいて、物体の種別ごとに触感パラメータを保持する触感記憶手段を参照し、前記ディスプレイ上の各位置と前記種別及びその触感パラメータとを対応付ける触感情報を生成し、
前記ディスプレイに対するユーザのタッチ操作に基づいて触感要求位置を検知し、
今回フレームの触感要求位置の種別を、当該触感要求位置と前回以前の各フレーム画像の各位置との距離およびその種別に基づく重み付き線形和で修正し、
前記触感要求位置に基づいて前記触感情報から触感パラメータを取得し、
取得した触感パラメータに基づいて、前記触感要求位置に表示された物体の触感を生じさせることを特徴とする触感提示方法。
ローカル端末にそのディスプレイに表示される物体の触感を提示させる触感提示プログラムおいて、
物体の映像を取得する手順と、
前記映像の情報を外部のサーバ装置へ送信する手順と、
前記サーバ装置から前記ディスプレイ上の各位置と当該各位置に表示されている物体の種別及びその触感パラメータとを対応付ける触感情報を取得する手順と、
前記ディスプレイに対するユーザのタッチ操作に基づいて触感要求位置を検知する手順と、
今回フレームの触感要求位置の種別を、当該触感要求位置と前回以前の各フレーム画像の各位置との距離およびその種別に基づく重み付き線形和で修正する手順と、
前記触感要求位置に対応した触感パラメータを前記触感情報に基づいて取得する手順と、
取得した触感パラメータに基づいて物体の触感を生じさせる手順と、
をローカル端末に実行させる触感提示プログラム。
ローカル端末にそのディスプレイに表示される物体の触感を提示させる触感提示プログラムおいて、
物体の映像を取得する手順と、
前記ディスプレイ上での物体の種別および位置を識別する手順と、
前記識別の結果を外部のサーバ装置へ送信する手順と、
前記サーバ装置から前記ディスプレイ上での各物体の位置と前記種別及びその触感パラメータとを対応付ける触感情報を取得する手順と、
前記ディスプレイに対するユーザのタッチ操作に基づいて触感要求位置を検知する手順と、
今回フレームの触感要求位置の種別を、当該触感要求位置と前回以前の各フレーム画像の各位置との距離およびその種別に基づく重み付き線形和で修正する手順と、
前記触感要求位置に対応した触感パラメータを前記触感情報に基づいて取得する手順と、
取得した触感パラメータに基づいて物体の触感を生じさせる手順と、
をローカル端末に実行させる触感提示プログラム。
ローカル端末にそのディスプレイに表示される物体の触感を提示させる触感提示プログラムおいて、
物体の映像を取得する手順と、
前記ディスプレイ上での物体の種別および位置を識別する手順と、
前記種別および位置の識別結果に基づいて、物体の種別ごとに触感パラメータを保持する触感記憶手段を参照し、前記ディスプレイ上の各位置と前記種別及びその触感パラメータとを対応付ける触感情報を生成する手順と、
前記ディスプレイに対するユーザのタッチ操作に基づいて触感要求位置を検知する手順と、
今回フレームの触感要求位置の種別を、当該触感要求位置と前回以前の各フレーム画像の各位置との距離およびその種別に基づく重み付き線形和で修正する手順と、
前記触感要求位置に対応した触感パラメータを前記触感情報に基づいて取得する手順と、
取得した触感パラメータに基づいて物体の触感を生じさせる手順と、
をローカル端末に実行させる触感提示プログラム。
前記タッチ操作に基づいて前記ディスプレイへの触り方を検知する手順を更に含み、
前記取得した触感パラメータおよび触り方に基づいて物体の触感を提示することを特徴とする請求項１１ないし１３のいずれかに記載の触感提示プログラム。
ローカル端末に物体の触感を提示させるサーバ装置の触感提示プログラムにおいて、
ローカル端末からそのディスプレイに表示される映像の情報を取得する手順と、
前記取得した映像の情報に基づいて、前記ディスプレイ上での各物体の種別および位置を識別する手順と、
前記各物体の種別および位置の識別結果に基づいて、物体の種別ごとに触感パラメータを保持する触感記憶手段を参照し、前記ディスプレイ上の各位置と前記種別及びその触感パラメータとを対応付ける触感情報を生成する手順と、
今回フレームの各位置の種別を、当該今回フレームの各位置と前回以前の各フレーム画像の各位置との距離およびその種別に基づく重み付き線形和で修正する手順と、
前記触感情報をローカル端末へ応答する手順と、
をサーバ装置に実行させる触感提示プログラム。
ローカル端末に物体の触感を提示させるサーバ装置の触感提示プログラムにおいて、
ローカル端末からそのディスプレイに表示される各物体の種別および位置の識別結果を取得する手順と、
前記識別結果に基づいて、物体の種別ごとに触感パラメータを保持する触感記憶手段を参照し、前記ディスプレイ上の各位置と前記種別及びその触感パラメータとを対応付ける触感情報を生成する手順と、
今回フレームの各位置の種別を、当該今回フレームの各位置と前回以前の各フレーム画像の各位置との距離およびその種別に基づく重み付き線形和で修正する手順と、
前記触感情報を前記ローカル端末へ応答する手順と、
をサーバ装置に実行させる触感提示プログラム。