JP6725133B2 - 感覚置換デバイスのパラメータ値の決定 - Google Patents

Description

関連出願の相互参照
本願は、Ｎａｔｉｏｎａｌ ＩＣＴ Ａｕｓｔｒａｌｉａが出願人である２０１４年７月２８日に出願されたオーストラリア仮特許出願第２０１４９０２９１５号明細書からの優先権を主張するものであり、その内容は参照により本明細書に援用される。

本発明は、概して、感覚置換デバイス及び方法に関する。本発明の態様は、感覚置換デバイスのパラメータ値を決定するコンピュータ実施方法、ソフトウェア、コンピュータシステム、及び感覚置換デバイスを含む。

感覚置換デバイスは、あるタイプの感覚指示を別のタイプの感覚指示に、例えば、視覚指示、聴覚指示、又は距離指示を触覚指示に変換して、対象者の触覚による視覚指示、聴覚指示、又は距離指示の知覚を促進する。

特に、触覚視覚置換デバイスは、対象者に適用される振動を生成するために、視覚画像を、モータのアレイを駆動する電圧信号アレイに変換する。画像は、触覚を使用する対象者によって、振動を使用して知覚され得る。これは特に、盲人に関連するが、対象者の視覚系への情報負荷を軽減することにより、重工業から防衛にまで及ぶ他の分野に拡張することができる。

本明細書に含まれている文献、動作、材料、デバイス、物品等のあらゆる考察は、これらのもののいずれか又は全てが本願の各請求項の優先日前に存在するものとして、従来技術の基礎の一部をなすこと、又は本開示に関連する分野での一般知識であったことを認めるものとして解釈されるべきではない。

対象者の第１のタイプの感覚を示す強度レベルを前記対象者の異なる第２のタイプの感覚のパラメータ値で表すコンピュータ実施方法が提供され、本方法は、
前記第１のタイプの感覚を示す第１の強度レベルを表す、前記第２のタイプの感覚の第１のパラメータ値を決定することと、
前記第１のパラメータ値を参照して前記第１のタイプの感覚を示す第２の強度レベルを表す、前記第２のタイプの感覚の第２のパラメータ値を決定することと、
を含み、前記第１のパラメータ値は、前記対象者の前記第２のタイプの感覚の少なくとも１つの丁度可知差異（ＪＮＤ）だけ前記第２のパラメータ値から異なる。

本発明は、第１のタイプの感覚を示す第２の強度レベルを表す、第２のタイプの感覚の第２のパラメータ値を決定するに当たり、第２のタイプの感覚の第１のパラメータ値を考慮に入れることが有利である。本発明により決定される第２のパラメータ値は、対象者が区別可能な第２のタイプの感覚の刺激を誘発する第２のタイプの感覚の少なくとも１つのＪＮＤだけ第１のパラメータ値から異なる。その結果、本発明は、第２のタイプの感覚の形態において、第１のタイプの感覚でのコントラスト情報のよりよい表現を提供する。

前記第２のタイプの感覚の前記第１のパラメータ値を決定することは、
前記第２のタイプの感覚のＪＮＤに基づいて前記対象者が区別可能な前記対象者の前記第２のタイプの感覚の複数のパラメータ値を決定することと、
前記第１のパラメータ値である、前記第２のタイプの感覚の前記複数のパラメータ値のうちの１つを選択することと、
を含み得る。

前記複数のパラメータ値のうちの１つを選択することは、
前記第１のタイプの感覚を示す前記強度レベルの値範囲を決定することと、
前記対象者の前記第１のタイプの感覚のＪＮＤに基づいて、前記値範囲を複数の間隔に分割することであって、前記複数の間隔の数が、前記第２のタイプの感覚の前記複数のパラメータ値の数に等しいように分割することと、
前記複数の間隔に基づいて、前記第１のパラメータ値である、前記第２のタイプの感覚の前記複数のパラメータ値のうちの前記１つを選択することと、
を含み得る。

前記第２のタイプの感覚の前記複数のパラメータ値は、前記対象者が区別可能な前記第２のタイプの感覚の全てのパラメータ値を含み得る。

利用可能な全てのパラメータ値を使用することにより、第１のタイプの感覚のコントラスト情報が、可能な限り多く第２のタイプの感覚において保存されることを保証し得る。

前記第２のタイプの感覚の前記第２のパラメータ値を決定することは、前記第２のパラメータ値である、前記第２のタイプの感覚の前記複数のパラメータ値のうちの別の１つを選択することを更に含み得る。

前記第１のタイプの感覚は、視覚、聴覚、距離感覚、味覚、嗅覚、前庭知覚を含み得る。

前記第２のタイプの感覚は触覚を含み得、且つ前記第２のタイプの感覚のパラメータ値は電圧及び電流を含み得る。

前記第１のタイプの感覚を示す前記第１の強度レベルは、複数の部分を含む画像の第１の部分を示す第１の視覚強度レベルを含み得る。

前記第１のタイプの感覚を示す前記第２の強度レベルは、前記画像の第２の部分を示す第２の視覚強度レベルを含み得る。

前記画像の前記第２の部分は、前記画像の関心領域（ＲＯＩ）の少なくとも一部を含み得る。

前記ＲＯＩは、前記強度レベルが経時変化する領域を含み得る。

前記ＲＯＩは、前記画像中の移動物体を含み得る。

前記ＲＯＩは、前記画像中のエッジを含み得る。

前記ＲＯＩは、前記画像中のシーン物体を含み得る。

上記コンピュータ実施方法は、前記第２のタイプの感覚への適応に対抗するように、前記第２のタイプの感覚の前記パラメータ値を経時調整することを更に含み得る。

上記コンピュータ実施方法は、感覚置換システムにより実行され得、且つ前記第２のパ
ラメータ値は感覚出力デバイスに入力として提供される。

前記第１の強度レベルは、前記対象者の前記第１のタイプの感覚の１つ未満の丁度可知差異（ＪＮＤ）だけ前記第２の強度レベルから異なる。

プロセッサにより実行される機械可読命令を含むコンピュータソフトウェアプログラムであって、前記プロセッサに上記請求項のいずれか一項に記載の方法を実行させる、コンピュータソフトウェアプログラムが提供される。

対象者の第１のタイプの感覚を示す強度レベルを前記対象者の異なる第２のタイプの感覚のパラメータ値で表すコンピュータシステムが提供され、本コンピュータシステムは、
命令を記憶するメモリと、
前記命令を前記メモリから通信するバスと、
前記バスを介して通信される前記メモリから前記命令を実行して、
前記第１のタイプの感覚を示す第１の強度レベルを表す、前記第２のタイプの感覚の第１のパラメータ値を決定することと、
前記第１のパラメータ値を参照して前記第１のタイプの感覚を示す第２の強度レベルを表す、前記第２のタイプの感覚の第２のパラメータ値を決定することと、
を行うプロセッサと、
を備え、前記第１のパラメータ値は、前記対象者の前記第２のタイプの感覚の少なくとも１つの丁度可知差異（ＪＮＤ）だけ前記第２のパラメータ値から異なる。

対象者の視覚情報を示す強度レベルを、触覚を示す強度レベルに変換する感覚置換システムが提供され、本感覚置換システムは、
視覚情報を示す前記強度レベルを捕捉する感覚情報捕捉デバイスと、
刺激生成部材のアレイと、
プロセッサであって、
視覚情報を示す第１の強度レベルを表す、触覚の第１のパラメータ値を決定することと、
前記第１のパラメータ値を参照して視覚情報を示す第２の強度レベルを表す、触覚の第２のパラメータ値を決定することと、
を行うプロセッサと、
を備え、前記第１のパラメータ値は、前記対象者の触覚の少なくとも１つの丁度可知差異（ＪＮＤ）だけ前記第２のパラメータ値から異なる。

前記感覚情報捕捉デバイスはカメラを含み得る。

感覚刺激生成デバイスはコインモータ又は電極を含み得る。

本開示の特徴は、非限定的な例として示され、同様の番号は同様の要素を示す。

本開示の例による、第１のタイプの感覚を異なる第２のタイプの感覚に変換する感覚置換デバイスの図である。 本開示の例による、対象者の第１のタイプの感覚を示す強度レベルを対象者の異なる第２のタイプの感覚のパラメータ値で表すフローチャートである。 本開示の例による、入力画像を処理して、モータアレイの電圧値を決定するプロセスを示す。 本開示の例による、前の電圧値を参照して続く電圧値を決定する例を示す。 第１のタイプの感覚を示す強度レベルを第２のタイプの感覚のパラメータ値にマッピングする例を示す。 第１のタイプの感覚を示す強度レベルを第２のタイプの感覚のパラメータ値にマッピングする例を示す。 本開示の例がエッジを含む画像に適用されるシナリオを示す。 本開示の例が移動物体を含む画像に適用されるシナリオを示す。 本開示の例がシーン物体を含む画像に適用されるシナリオを示す。 本開示の例による、第１のタイプの感覚を異なる第２のタイプの感覚に変換するコンピュータシステムを示す図である。

図１は、第１のタイプの感覚を異なる第２のタイプの感覚に変換する感覚置換システム１００の図である。感覚置換システム１００は、感覚情報捕捉デバイス１１０、プロセッサ１２０、及び刺激生成デバイス１３０のアレイ等の感覚出力デバイスを含む。

感覚情報捕捉デバイス１１０を使用して、対象者１５０、例えば、人の第１のタイプの感覚を表す感覚情報を検出（捕捉）する。感覚情報は、特に第１のタイプの感覚での人の知覚能力が損なわれている場合、人、例えば、有意の視覚情報を知覚することができない盲人が実際に知覚するものである必要はない。感覚情報捕捉デバイス１１０により捕捉される感覚情報は、正常な場合に人が知覚するもの又は人の知覚能力が損なわれてない場合に人が知覚するものの有意表現を提供する。

図１に示される例では、感覚情報捕捉デバイス１１０は、視覚情報、特に対象者１５０の視覚を表す画像１４０を捕捉するカメラとして示されているが、感覚情報捕捉デバイス１１０は、他の感覚タイプ、例えば、聴覚若しくは音、距離感覚若しくは距離、味覚若しくは味、嗅覚若しくは臭い、前庭知覚若しくは平衡、又は任意の他の知覚を表す感覚情報を補足する様々な感覚情報捕捉デバイスの１つ又は複数であり得る。

感覚情報捕捉デバイス１１０は、第１のタイプの感覚を示す強度レベルを表す色、音、深さ等を含むデータをプロセッサ１２０に通信する。すなわち、強度レベルは、その感覚の適する強度レベル範囲にわたる感覚の実際の測定可能量を示す。強度レベルは、感覚の実際の測定可能量であってもよく、又は感覚の実際の測定可能量を導出することができる他の形態をとってもよい。

図１に示される例では、画像１４０のピクセルの色値で単一の強度レベルを表し得る。白黒画像の場合、強度レベルは、グレー範囲又はグレースケールと比較した場合の画像１４０のピクセルの強度（グレーレベル）で表され得る。

理想的には、画像１４０の各ピクセルは１つの刺激生成デバイス１３０に対応するが、通常、対象者１５０に配置された多数の刺激生成デバイス１３０を有することは非現実的である。例えば、画像１４０が１００×１００ピクセルの画像である場合、刺激生成部材１３０のアレイは、画像１４０に対して１対１の関係を有するには、１０，０００個の刺激生成部材を含む必要があり、これは通常、高価でありすぎると共に、対象者１５０に物理的な負荷を生じさせ得る。したがって、画像１４０は、図１の破線格子として示される複数の部分に分割され得、これらの部分を以下では入力チャネルと呼び得る。

この例では、破線格子は１０×１０入力チャネルを含み、各入力チャネルは１つの刺激生成デバイス１３０に対応する。各入力チャネルの強度レベルは、その部分内のピクセルのグレーレベル（強度）の平均又は加重和で表され得る。他の例では、入力チャネルの強度レベルは、近傍の入力チャネル又はピクセルを考慮することを含み得る。

入力チャネルの強度レベルは、プロセッサ１２０により処理されて、対象者１５０の第２のタイプの感覚のパラメータ値で表される。

特に、プロセッサ１２０は、第１のタイプの感覚を示す強度レベルを第２のタイプの感覚のパラメータ値に変換する。そのパラメータ値に基づいて、プロセッサ１２０は、刺激生成部材１３０のアレイを駆動して、第２のタイプの感覚の形態において対象者１５０への刺激を生成する。刺激生成部材１３０は、以下では出力チャネルと呼び得る。

第１のタイプの感覚と同様に、第２のタイプの感覚も様々な感覚を含み得る。説明を容易にするために、この例での第２のタイプの感覚は、対象者１５０の触覚である。

この例では、触覚刺激は、刺激生成部材１３０、例えば、モータ１３０、特にコインモータのアレイにより生成される振動の形態を取り得る。触覚のパラメータ値は、モータ１３０のアレイに適用される電圧であり得る。代替的には、実際の電圧はパラメータ値に基づき得る。

図１に示されるように、モータ１３０のアレイも１０×１０モータのアレイであり、矩形構成で対象者１５０の下背部に配置される。モータ１３０のアレイの矩形構成により、各モータ１３０は、画像１４０の入力チャネルの構成に空間的に対応することができる。他の例では、モータ１３０のアレイの位置及び構成が、本発明の範囲から逸脱することなく、図１に示される例から異なってもよいことに留意されたい。例えば、モータのアレイは、対象者１５０の胸部に配置してもよく、又は円形であってもよい。

画像１４０の各入力チャネルの強度レベルは、対応するモータ１３０又は出力チャネルの電圧値に変換され、プロセッサ１２０は、電圧値をモータ１３０に適用して、モータ１３０に対象者１５０への触覚刺激を生成させる。

その結果、モータ１３０のアレイは、図１において丸い点で表される触覚刺激パターンを対象者１５０の下背部に生成する。本明細書では、説明のために、丸い点のグレーレベルは、対象者１５０に画像１４０として知覚され得る、対象者１５０の下背部の様々な箇所での振動強度レベルを表す。

他の例では、触覚刺激は、図１に示されていない対象者１５０の舌に配置される電極１３０のアレイにより、電流の形態で生成され得る。

図２は、対象者の第１のタイプの感覚を示す強度レベルを対象者の異なる第２のタイプの感覚のパラメータ値で表すプロセス２００を示す。

図２のプロセス２００は、この例では、プロセッサ１２０により実行され得る。他の例では、プロセス２００は、別個で、任意選択的にリモートの計算デバイス、例えば、図９に示されるコンピュータシステムにより実行され得る。

図１に示される感覚置換システム１００の詳細な動作例について、これより図２〜図８ｄを参照して説明する。

画像が、入力画像３１０として感覚情報捕捉デバイス１１０により捕捉される。感覚情報捕捉デバイス１１０は、白黒カメラ又はカラーカメラであり得る。その結果、入力画像３１０は白黒又はカラーの入力画像であり得る。説明を容易にするために、この例では、入力画像３１０は、図３ａに示されるように、グレーレベル画像であり、これは、白黒カメラにより捕捉してもよく、又はカラーカメラにより捕捉されるカラー画像から変換して
もよい。他の例では、カラー入力画像を使用し得る。

入力画像３１０は、更に処理するためにプロセッサ１２０に送信される。

入力画像３１０のグレーレベルのダイナミックレンジは、常にではないが、図３ａに示されるように比較的狭い範囲のグレーレベル、例えば、明るいグレーから白までを含み得る。この範囲は、入力画像３１０でのグレーレベル（強度）のものであり、入力画像の内容に依存するために動的である。その結果、入力画像３１０は限られたコントラスト情報を含み得、それにより、モータ１３０のアレイにより生成される触覚刺激の形態のコントラスト情報を保存することが難しくなる。

この影響を軽減するために、入力画像３１０は、図３ｂに示されるように、より広い範囲のグレーレベル、例えば、黒から白までを含むように再スケーリングされ、それにより再スケーリング画像３２０が生成される。

上述したように、感覚置換システム１００内に再スケーリング画像３２０内のピクセル数と同数のモータを有することは、通常、非現実的である。したがって、再スケーリング画像３２０内のピクセル数をダウンサンプリングし得る。

再スケーリング画像３２０内のピクセルのダウンサンプリングは、２つの側面：入力チャネル数を決定すること、及び入力チャネルのグレーレベルを特定することを含み得る。

この例では、再スケーリング画像３２０は、出力チャネルと同数の入力チャネルを有するようにダウンサンプリングされ、これは、入力チャネルのアレイ及び出力チャネルのアレイの両方が２×５チャネルを含むことを意味する。

各入力チャネルのグレーレベルは、特定のスケールで特定され得る。これは、入力画像にわたる全てのピクセルのグレーレベルの平均をとること、又はエッジ検出を強化するように入力チャネルのエッジにより大きい重みを置くか、若しくは中央により大きい重みを置く等の様々な方法により行うことができる。ダウンサンプリング画像３３０は図３ｃに示されており、２×５入力チャネルを含む。図３ｃ内の各入力チャネル数は、入力チャネルのグレーレベルを示す。

この例では、画像の再スケーリングは、画像のダウンサンプリング前に実行されるが、他の例では、本発明の範囲から逸脱することなく、これらの２つのステップの順序が交換可能なことに留意されたい。更に、これらのステップのうちの一方又は両方を省いてもよい。

ダウンサンプリング画像３３０内の全ての入力チャネルのグレーレベル範囲は、特定のスケールで特定され得る（スケールは対数、線形、又は任意の他のスケールであることができる）。例えば、ダウンサンプリング画像３３０のグレーレベル範囲は、線形スケールで０〜２５５である。

この例では、（前の）グレーレベル（第１の強度レベルと呼ばれる）から変換された（前の）電圧値（第１のパラメータ値と呼ばれる）は、続くグレーレベル（第２の強度レベルと呼ばれる）を続くパラメータ値（第２のパラメータ値と呼ばれる）に変換するための参照パラメータ値として機能する。第１のパラメータ値及び第２のパラメータ値は、対象者１５０が区別可能な第１の触覚刺激及び第２の触覚刺激を生じさせ得る。

換言すれば、第２の触覚刺激の対象者１５０による知覚は、第１の触覚刺激による知覚
から少なくとも１つの丁度可知差異（ＪＮＤ）だけ異なり、ＪＮＤとは、対象者１５０が知覚することができる最小差である。

一般的に言えば、ＪＮＤは、正確率での刺激レベルの対象者による知覚の区別に関連する用語であるが、説明を容易にするために、本明細書では、１つのＪＮＤだけ離れた正確率で触覚刺激の知覚を生じさせる２つの電圧値間の最小差も、ＪＮＤと呼ばれる。例えば、正確率８５％で、２．０ボルトの電圧値により生じる触覚刺激の知覚が、２．３ボルトの電圧値により生じる触覚刺激の知覚から１つのＪＮＤだけ離れている場合、正確率８５％でのボルト単位で表されるＪＮＤは０．３ボルトである。

参照パラメータ値を参照して、特定のＪＮＤを使用し得ることに留意されたい。例えば、上記例に加えて、０．３ボルトのＪＮＤは、電圧値２．０ボルトを参照する場合にのみ有効である。２．３ボルトを参照して区別可能な最小触覚刺激を生じさせ得る次の電圧値は、単純に２．３＋０．３＝２．６ボルトではないことがある。しかし、従来の研究により、ＪＮＤと対応する参照パラメータ値との比率が一定である、すなわち、ウェーバー比と呼ばれる、

であることが示されている。

上記例では、ウェーバー比は０．３／２．０＝０．１５である。ウェーバー比を用いて、２．３ボルトを参照して１つのＪＮＤだけ離れた次の電圧値が、２．３＋ＪＮＤ_{ｒｅｆ＝２．３}＝２．３＋２．３×ｋ＝２．３×（１×ｋ）＝２．６４５ボルトであることを特定することができ、これは、２．６４５ボルトというパラメータ値が、正確率８５％において、２．３ボルトを参照して区別可能な最小触覚刺激を誘発し得ることを意味する。

続く電圧値、例えば、３．０４２ボルト、３．４９８ボルト、４．０２３ボルト、４．６２６ボルトも、モータ１３０に適用することができる最大電圧値又は対象者１５０が快適である最大電圧値、例えば、上記例では５．０ボルトを条件として、同様に特定することができる。

他方、１つのＪＮＤだけ離れた２．０ボルトの電圧値未満の第１の電圧値は、２．０／（１＋ｋ）＝１．７３９ボルトである。続く電圧値、例えば、１．５１２ボルト、１．３１５ボルト、１．１４４ボルトも、対象者１５０に知覚可能な触覚刺激を生じさせることができる最小電圧値又は知覚閾値、例えば、上記例では１．０ボルトを条件として、同様にして決定することができる。換言すれば、知覚閾値未満のいかなる電圧値も、対象者１５０に知覚可能な触覚刺激を生じさせない。

ＪＮＤ数は、以下の式：

により決定され、式中、＃ＪＮＤ＝利用可能なＪＮＤ数であり、ＭＣＬ＝％デューティサイクル（ｄｃ）での^１０ｌｏｇ（最大快適刺激レベル）であり、Ｉ＝％ｄｃでの^１０ｌｏｇ（参照刺激レベル）である。

対象者１５０に関する各モータ１３０の最大快適刺激レベル及び知覚閾値は、初期テスト段階において１０％ステップで０デューティサイクル（％ｄｃ）から１００％ｄｃまで刺激レベルを増大させることにより決定され得る。上記例では、１００％ｄｃは５Ｖに対応する。

ＪＮＤ又はＪＮＤ数に基づいて、知覚閾値及び最大快適刺激レベルにより定義される範囲内の１つのＪＮＤだけ離れた電圧値の数を決定し得る。明らかに、上記例で記載される電圧値の数は１１である。

これより再び図３を参照すると、第１の強度レベル及び第２の強度レベルが、異なる瞬間での同じ入力チャネルの強度レベル又は同じ瞬間での異なる入力チャネルの強度レベルを表し得ることに留意されたい。この例では、第１の強度レベルは、入力チャネル３３０１のグレーレベル（６）で表され、一方、第２の強度レベルは、入力チャネル３３０２のグレーレベル（２５）で表される。入力チャネル３３０１及び３３０２に空間的に対応する出力チャネルは、それぞれ出力チャネル３４０１及び３４０２である。

図４及び図５ｂに示される例では、知覚閾値は０．５ボルトであり、最大電圧値は５．０ボルトであり、ウェーバー比は０．６７である。

プロセッサ１２０は、図３ｄに示されるように、出力チャネル３４０１の電圧値１．１ボルトを決定して（２１０）、入力チャネル３３０１のグレーレベル（６）を表す。

次に、プロセッサ１２０は、ウェーバー比及び参照電圧値１．１ボルトに基づいて、参照電圧値から少なくとも１つのＪＮＤだけ離れた出力チャネル３４０２の１つ又は複数の電圧値を決定し（２２０）、これは、例えば、図４に示されるように、０．６６ボルト、１．８４ボルトであり得る。すなわち、出力チャネル３４０２の１つ又は複数の電圧値は、参照電圧値を参照して、特に、参照電圧値に関連して決定される。

したがって、プロセッサ１２０は、図３ｄに示されるように、１．８４ボルトを超えるか、又は０．６６ボルト未満の任意の電圧値を出力チャネル３４０２に使用して、出力チャネル３４０２の最大電圧値５．０ボルト及び知覚閾値０．５ボルトを条件として、上記入力チャネルのグレーレベル（２５）を表し得る。

これは特に、入力チャネルのグレーレベルが近い場合に有用である。例えば、入力チャネルのグレーレベル間の差は、対象者の第１のタイプの感覚の１つ未満のＪＮＤであり得る。その結果、入力チャネルのグレーレベルがいかに近いかに関係なく、対応する出力チャネルの電圧値は、対象者の第２のタイプの感覚の少なくとも１つのＪＮＤだけ異なるように強制され、これは、対象者１５０の触覚により知覚することができる異なる触覚刺激を生じさせ得る。したがって、触覚刺激での知覚可能な差が保証される。これは、画像３３０内の特定の部分、例えば、関心領域（ＲＯＩ）のよりよい知覚を提供する。

図５ａ及び図５ｂは、第１のパラメータ値である、出力チャネル３４０１の電圧値を決定する例を示す。出力チャネル３４０１の電圧値が、本発明の範囲から逸脱することなく、様々な方法で決定され得ることに留意されたい。

出力チャネルの最大電圧値、知覚閾値、及びウェーバー比は、例えば、対象者１５０に関する初期化時に既知の係数であるため、プロセッサ１２０は、例えば、知覚閾値から開始される出力チャネルのＪＮＤに基づいて、対象者１５０が区別可能な出力チャネルの複数の電圧値を決定し得る（５１０）。

図５ｂに示されるように、知覚閾値から始まる複数の電圧値は、０．５ボルト、０．８４ボルト、１．４０ボルト、２．３３ボルト、及び３．８９ボルトであり得る。この例では、知覚閾値から始まる５つ全ての利用可能な電圧値は、入力チャネルの可能な限り多くのコントラスト情報を出力チャネルにおいて保存するように考慮される。他の例では、本発明の範囲から逸脱することなく、５つの利用可能電圧値のうちの幾つかのみを使用し得る。プロセッサ１２０は、第１のパラメータ値である、出力チャネル３４０１の複数の電圧値のうちの１つを選択する。複数の電圧値のうちの１つを選択することについて、以下に詳細に説明する。

プロセッサ１２０は、入力チャネルのグレーレベルの値範囲又はダイナミックレンジを決定する（５２０）。図３ｃ及び図５ｂに示されるように、入力チャネルのダイナミックレンジは、線形スケールで０〜２５５である。

プロセッサ１２０は、入力チャネルを複数の間隔に分割し（５３０）、複数の間隔の数は、出力チャネルの複数の電圧値の数に等しく、この例では、出力チャネルの電圧値の数は５である。

入力チャネルのグレーレベルのダイナミックレンジを様々な方法で分割することができるが、図５ｂに示されるグレーレベルの分割が、上述した式（１）に従って対象者１５０の視覚のＪＮＤに基づき、分割において区別可能な視覚を保存することに留意されたい。対象者１５０が盲人である場合、経験的又は統計学的結果に基づいて、グレーレベルの分割に使用される視覚のＪＮＤを決定し得ることに留意されたい。このように、視覚により知覚することができる画像のコントラスト情報は、出力チャネルにおいて可能な限り多く保存され得、触覚知覚により依然として知覚することができる。

図５ｂに示されるように、入力チャネルのダイナミックレンジは、５つの間隔：０〜３、３〜９、９〜２８、２８〜８４、及び８４〜２５５に分割される。

電圧値へのグレーレベルの変換は、以下のようにマッピングテーブルに基づいて実行され得る。

プロセッサ１２０は、上記マッピングテーブル中の間隔に基づいて、グレーレベル間隔を電圧値にマッピングすることにより、入力チャネルに対応する出力チャネルの電圧値として、複数の電圧値のうちの１つを選択し得る（５４０）。例えば、入力チャネル３３０１のグレーレベルは、図３ｃに示されるように、６であり、これは３〜９の間隔に入り、プロセッサ１２０は、入力チャネル３３０１のグレーレベルを対応する出力チャネル３４０１の電圧値０．８４ボルトにマッピングする。

上記プロセスは、ＪＮＤ最適化マッピングと呼ばれ、入力画像の特定の部分、例えば、背景又は入力画像全体を表す入力チャネルのグレーレベルを対応する出力チャネルの電圧値に変換するのに使用され得る。

グレーレベルが２５である近傍の入力チャネル３３０２の場合、プロセッサ１２０は、図３ｅに示されるように、出力チャネル３４０１の電圧値から少なくとも１つのＪＮＤだけ離れている、対応する出力チャネル３４０２の０．８４ボルト以外の複数の電圧値内の別の電圧値、例えば、１．４ボルトを決定する。

上記方法は多くのシナリオに適用され得、それらの多くのシナリオについて以下に説明する。

ＪＮＤ最適化マッピング
図３ｅは、上述したＪＮＤ最適化マッピングが、図５ｂに示されるスケールに従って画像３３０全体に適用されるシナリオを示す。図３ｅから、出力チャネルの電圧値が少なくとも１つのＪＮＤだけ離れることを見て取ることができる。その結果、対象者１５０は、触覚を介して画像３３０のグレーレベルへの空間変化を知覚し得る。

時空間コントラスト強化
画像３３０中で特定される１つ又は複数の入力チャネルのグレーレベルがフレーム毎に変化する（フレームは、画像又は入力ピクセルの集まりである）場合、これらのチャネルを関心チャネル（ＣＯＩ）と呼び得る。ＣＯＩは、関心領域（ＲＯＩ）を形成する他のＣＯＩに隣接するか、又は少なくとも近傍にあり得る。この場合、コントラスト強化は、ＲＯＩ入力チャネルのグレーレベル及び非ＲＯＩ入力チャネルのグレーレベルが図５ｂに示される同じグレーレベル間隔に空間的に入る場合であっても、周囲の時間的に変化しないか、又は変化がより少ない出力チャネルと比較して少なくとも１つ多いか、又は少なくとも１つ少ないＪＮＤを割り当てることにより、ＲＯＩで優先付けされる。その結果、対象者１５０は、変化する出力チャネルと、変化しないか又は変化がより小さい出力チャネルとを区別可能であり得る。

ＲＯＩは、入力チャネルの時空間コントラスト特徴に基づいて特定の方法で検出され得る。ＲＯＩは、出力チャネル特性に基づいて検出することもできる。

ＲＯＩは、領域検出器、エッジ検出器、又はそれらの組合せにより検出され得る。当業者は、動き、テクスチャ、距離（例えば、深度画像内）等の様々な他の特徴を考慮に入れることもできる。画像例の組から領域検出器を開発する機械学習手法を使用することもできる。

フレーム間のグレーレベル差が、例えば、図５ｂに示されるグレーレベル間隔よりも大きい場合、出力チャネル刺激強度の差は、少なくとも１つのＪＮＤである。そのような時間的変化は、複数の方法で検出され得る。したがって、時間的分解は、入力チャネルのグレーレベルの変化を追跡し、それを後続フレームと比較することにより達成される。

高フレームレートでは、連続フレームにわたる入力チャネルの平均グレーレベル及び幾つかのフィルタ、例えば、カルマンフィルタを使用して、アーチファクトグレーレベル変化を回避し得る。フレーム毎に、出力チャネルの電圧値は、図２の２１０、特に図５ａの５１０〜５４０を参照して説明されるように決定され得る。関心のある空間コントラストは、図４及び図５ｂを参照して説明するように、入力チャネルにおいて検出され、ＲＯＩ出力チャネルに反映され得る。

上記例はグレーレベル画像を参照して説明されるが、カラー画像を使用することもできる。特に、カラー画像内の各カラーチャネルは、上述したように処理され、カラーチャネルを表す別個のモータに適用される。更に、様々な色変換を行い、同様の手法を適用し得る。

エッジ及び移動物体コントラスト強化
入力画像中の移動物体は、静的な物体よりも優先され得る。更に、入力画像中のエッジ（高コントラストのエリア）は、コントラストがより低いエリアよりも優先され得る。

このために、標準の移動検出器、エッジ検出器、又は任意の他の検出器（熱／赤外線検出、レンジ、ＵＶ、ステレオカメラ入力、デュアルカメラ入力、構造化光、ハイパースペクトル画像データ、及び超音波等）を使用して、入力画像中の移動物体又はエッジとして１つ又は複数のＲＯＩを識別し得る。その結果、これらのＲＯＩに優先度を割り当て得、その結果、少なくとも１つの出力チャネルがこれらのＲＯＩを表すために割り当てられる。

ＲＯＩを表す出力チャネルに、上述したように、周囲の出力チャネルと比較して少なくとも１つ以上のＪＮＤを割り当て得る。動き検出器又はエッジ検出器は、ＲＯＩ入力チャネルのグレーレベル及び非ＲＯＩチャネルのグレーレベルが図５ｂに示される同じグレーレベル間隔に入る場合であっても、移動物体又はエッジを検出し得る。

移動物体又はエッジが検出されると、動き検出器又はエッジ検出器は、ＲＯＩ及び非ＲＯＩ入力チャネルを識別する。プロセッサ１２０は、少なくとも１つ多いＪＮＤをＲＯＩ出力チャネルに割り当てる。周囲の非ＲＯＩ入力チャネルの輝度が最大グレーレベルに達する場合、プロセッサは、対応する非ＲＯＩ出力チャネルの電圧値をＲＯＩ出力チャネルの電圧値から１つ又は複数のＪＮＤだけ下げる。

エッジは、周囲の出力チャネルからエッジが少なくとも１つのＪＮＤだけ異なることを保証することにより表される。移動物体は、周囲の出力チャネルと比較して少なくとも１つ多いＪＮＤで全体として表されるか、又はそのエッジは、コントラストを強化して提示される。

図６ａ〜図７ｆは、エッジ又は移動物体を含む入力画像への上記方法の適用を示す。図６ａ〜図７ｆにおいて破線で表される円が、空間的に対応する出力チャネルを表すのに使用される入力画像の部分ではないことに留意されたい。出力チャネル内の番号が、出力チャネルの実際の電圧値を表さず、説明を容易にするために、区別可能な触覚刺激レベルを示すのに使用されることにも留意されたい。換言すれば、触覚刺激レベルは少なくとも１つのＪＮＤ離間である。

図６ａに示される入力画像は、背景部分６１０及びエッジ６２０を含む。図６ａに示されるように、背景部分６１０のグレーレベルは徐々に変化し、一方、エッジ６２０のグレーレベルは、周囲の背景と比較して急激に変化する。

ＪＮＤ最適化マッピングが背景部分６１０に適用され、背景部分６１０のコントラスト情報は、対応する出力チャネルにおいて保存され、図６ｂに示されるように、触覚刺激レベル０〜３により表される。

他方、図６ａに示される入力画像中のエッジ６２０は、エッジ検出器により検出される。エッジ６２０に対応する出力チャネルにより生じる触覚刺激レベル（図６ｂに示されるように、「４」として示される）は、周囲の出力チャネルよりも１つ高いＪＮＤである。
その結果、対象者１５０は、背景部分６１０のコントラスト情報を知覚し、同時に、エッジ６２０であるＲＯＩのよりよい知覚を有し得る。

図７ａ、図７ｃ、及び図７ｅは、動き検出器により検出され得る移動物体７１０を含む３つのフレームを含む一連の画像を表す。

ＪＮＤ最適化マッピングを背景に適用し、物体コントラスト強化を移動物体７１０に適用することにより、図７ｂ、図７ｄ、及び図７ｆから、移動物体７１０を表す触覚刺激レベルが周囲領域から少なくとも１つのＪＮＤだけ離れていることを見て取ることができる。このように、対象者１５０は、対象者１５０が知覚する背景触覚刺激により気が逸れることなく、移動物体７１０が背中を「動いている」ことを知覚し得る。

重要なことに、図７ａ〜図７ｆから見て取ることができるように、移動物体７１０が周囲エリアと比較して高いコントラストを有さない場合であっても、対応する出力チャネルにより生じる触覚刺激レベルは、依然として周囲の出力チャネルから少なくとも１つのＪＮＤだけ離れている。

シーン理解強化
図８ａ〜図８ｄは、シーン物体検出器を使用して、シーンを解析し、シーン内のシーン物体を識別するシナリオを示す。説明を容易にするために、３２×３２出力チャネルのアレイの触覚刺激レベルは、この例では、グレーレベルで表される。

図８ａは、床８１０、障害物８２０、及び壁８３０であるシーン物体又はＲＯＩを含むシーン画像８００を示す。

図８ｂは、シーン画像８００から従来手法により変換される出力チャネルの触覚刺激レベルを示す。図８ｂから、シーン物体８１０、８２０、８３０の境界が明確ではないことを見て取ることができる。

シーン物体検出器が図８ａに示されるシーン画像８００に適用されると、図８ｃに示されるように、シーン物体８１０、８２０、８３０が識別される。

ＪＮＤ最適化マッピングが、図８ｃにおいて識別されるシーン物体を参照してシーン画像８（ａ）に適用されると、シーン物体８１０、８２０、８３０に対応する出力チャネルの触覚刺激レベルは、図８ｄに示されるように、周囲の出力チャネルから少なくとも１つのＪＮＤだけ離れ、それにより、床物体８１０の深度情報を維持しながら、シーン物体８１０、８２０、８３０の境界はより明確になる。

フェーディング
フェーディングとは、長時間及び一定の刺激中に知覚される刺激強度が低減する現象であり、適応の特定の形態である。触覚刺激への適応は、知覚閾値、ＪＮＤ、ＪＮＤ数と共に、対象者１５０に関して感覚置換システム１００を初期化する際、特徴付けることができる。知覚閾値は、時間の経過に伴い動的に更新され得る。その結果、触覚刺激のダイナミックレンジ、ＪＮＤ、ＪＮＤ数、及びモータに適用される電圧値は、それに従って長時間一定の触覚刺激の生成を回避して、触覚刺激への適応に対抗するように、時間の経過に伴って更新され得る。

上記例は、ハードウェア、ソフトウェア、ファームウェア、又はそれらの組合せにより実施することができる。

図９は、対象者の第１のタイプの感覚を示す強度レベルを対象者の異なる第２のタイプの感覚のパラメータ値で表すコンピュータシステム９００を示す図である。

コンピュータシステム９００は、プロセッサ９１０、メモリ９２０、バス９３０、及びインタフェースデバイス９４０を含む。プロセッサ９１０、メモリ９２０、及びインタフェースデバイス９４０は、バス９３０を介して互いと通信する。

インタフェースデバイス９４０は、他のデバイス、例えば、カメラとインタフェースして、第１のタイプの感覚を表すデータ、例えば、画像を受信する。データは、バス９３０を介してメモリ９２０と通信し得る。

メモリ９２０は、図１〜図８ｄを参照して説明されるように、第１のタイプの感覚を表すデータ及びデータを処理する命令を記憶する。

プロセッサ９１０は、メモリ９２０からの命令を実行して、
第１のタイプの感覚を示す第１の強度レベルを表す、第２のタイプの感覚の第１のパラメータ値を決定することと、
第１のパラメータ値を参照して第１のタイプの感覚を示す第２の強度レベルを表す、第２のタイプの感覚の第２のパラメータ値を決定することと
を行い得、第１のパラメータ値は、対象者の第２のタイプの感覚の少なくとも１つの丁度可知差異（ＪＮＤ）だけ第２のパラメータ値から異なる。

インタフェースデバイス９４０も、所定のパラメータ値をモータのアレイに送信して、モータのアレイに対象者への触覚刺激を生成させ得る。

様々な技術を使用して、本開示の技法を実施し得ることを理解されたい。例えば、本明細書に記載の方法は、適するコンピュータ可読媒体に存在する一連のコンピュータ実行可能命令により実施され得る。適するコンピュータ可読媒体は、揮発性メモリ（例えば、ＲＡＭ）及び／又は不揮発性メモリ（例えば、ＲＯＭ、ディスク）、搬送波、及び伝送媒体を含み得る。例示的な搬送波は、ローカルネットワーク又はインターネット等の公衆アクセス可能ネットワークに沿ってデジタルデータストリームを搬送する電気信号、電磁信号、又は光信号の形態を取り得る。

以下の考察から明確であるとして別段のことが特に記される場合以外、本説明全体を通して、「受信する」、「取得する」、「決定する」、「送信する」、又は「マッピングする」等の用語を利用する考察が、コンピュータシステムのレジスタ及びメモリ内の物理的（電子的）数量として表されるデータを処理して、コンピュータシステムのメモリ、レジスタ、又は他のそのような情報記憶装置、伝送デバイス、又は表示デバイス内の物理的数量として同様に表される他のデータに変換するコンピュータシステム又は同様の電子計算デバイスの動作及びプロセスを指すことが認められることも理解されたい。

Claims (20)

1. 感覚置換システムにより実行され、対象者の第１のタイプの感覚を示す強度レベルを前記対象者の異なる第２のタイプの感覚のパラメータ値で表すコンピュータ実施方法であって、前記感覚置換システムは、プロセッサと感覚出力デバイスとを含み、前記プロセッサは、
   前記第１のタイプの感覚を示す第１の強度レベルを表す、前記第２のタイプの感覚の第１のパラメータ値を決定することと、
   前記第１のパラメータ値を参照して前記第１のタイプの感覚を示す第２の強度レベルを表す、前記第２のタイプの感覚の第２のパラメータ値を決定することと、
   の前記方法を実行し、
   前記第１のパラメータ値は、前記対象者の前記第２のタイプの感覚の少なくとも１つの丁度可知差異（ＪＮＤ）だけ前記第２のパラメータ値から異なり、
   前記第２のパラメータ値は、前記感覚出力デバイスに入力として提供される、方法。
2. 前記第２のタイプの感覚の前記第１のパラメータ値を決定することは、
   前記第２のタイプの感覚のＪＮＤに基づいて前記対象者が区別可能な前記対象者の前記第２のタイプの感覚の複数のパラメータ値を決定することと、
   前記第１のパラメータ値である、前記第２のタイプの感覚の前記複数のパラメータ値のうちの１つを選択することと、
   を更に含む、請求項１に記載の方法。
3. 前記複数のパラメータ値のうちの１つを選択することは、
   前記第１のタイプの感覚を示す前記強度レベルの値範囲を決定することと、
   前記対象者の前記第１のタイプの感覚のＪＮＤに基づいて、前記値範囲を複数の間隔に分割することであって、前記複数の間隔の数が、前記第２のタイプの感覚の前記複数のパラメータ値の数に等しいように分割することと、
   前記複数の間隔に基づいて、前記第１のパラメータ値である、前記第２のタイプの感覚の前記複数のパラメータ値のうちの前記１つを選択することと、
   を含む、請求項２に記載の方法。
4. 前記第２のタイプの感覚の前記複数のパラメータ値は、前記対象者が区別可能な前記第
   ２のタイプの感覚の全てのパラメータ値を含む、請求項２又は３に記載の方法。
5. 前記第２のタイプの感覚の前記第２のパラメータ値を決定することは、前記第２のパラメータ値である、前記第２のタイプの感覚の前記複数のパラメータ値のうちの別の１つを選択することを更に含む、請求項２〜４のいずれか一項に記載の方法。
6. 前記第１のタイプの感覚は、視覚、聴覚、距離感覚、味覚、嗅覚、前庭知覚を含む、請求項１〜５のいずれか一項に記載の方法。
7. 前記第２のタイプの感覚は触覚を含み、且つ前記第２のタイプの感覚の前記パラメータ値は電圧及び電流を含む、請求項１〜６のいずれか一項に記載の方法。
8. 前記第１のタイプの感覚を示す前記第１の強度レベルは、画像の第１の部分を示す第１の視覚強度レベルを含み、且つ前記第１のタイプの感覚を示す前記第２の強度レベルは、その同じ画像の第２の部分を示す第２の視覚強度レベルを含む、請求項１〜７のいずれか
   一項に記載の方法。
9. 前記画像の前記第２の部分は、前記画像の関心領域（ＲＯＩ）の少なくとも一部を含む、請求項８に記載の方法。
10. 前記ＲＯＩは、前記強度レベルが経時変化する領域を含む、請求項９に記載の方法。
11. 前記ＲＯＩは、前記画像中の移動物体を含む、請求項９に記載の方法。
12. 前記ＲＯＩは、前記画像中のエッジを含む、請求項９に記載の方法。
13. 前記ＲＯＩは、前記画像中のシーン物体を含む、請求項９に記載の方法。
14. 前記第２のタイプの感覚への適応に対抗するように、前記第２のタイプの感覚の前記パラメータ値を経時調整することを更に含む、請求項１〜１３のいずれか一項に記載の方法。
15. 前記第１の強度レベルは、前記対象者の前記第１のタイプの感覚の１つ未満のＪＮＤだけ前記第２の強度レベルから異なる、請求項１〜１４のいずれか一項に記載の方法。
16. プロセッサにより実行される機械可読命令を含むコンピュータソフトウェアプログラムであって、前記プロセッサに請求項１〜１５のいずれか一項に記載の方法を実行させる、コンピュータソフトウェアプログラム。
17. 対象者の第１のタイプの感覚を示す強度レベルを前記対象者の異なる第２のタイプの感覚のパラメータ値で表す感覚置換システムであって、
    感覚出力デバイスと、
    バスを介して通信されるメモリから命令を実行して、
    前記第１のタイプの感覚を示す第１の強度レベルを表す、前記第２のタイプの感覚の第１のパラメータ値を決定することと、
    前記第１のパラメータ値を参照して前記第１のタイプの感覚を示す第２の強度レベルを表す、前記第２のタイプの感覚の第２のパラメータ値を決定することと、
    前記第２のパラメータ値を前記感覚出力デバイスに入力として提供することと、
    を行うプロセッサと、
    を備え、
    前記第１のパラメータ値は、前記対象者の前記第２のタイプの感覚の少なくとも１つの丁度可知差異（ＪＮＤ）だけ前記第２のパラメータ値から異なる、感覚置換システム。
18. 対象者の視覚情報を示す強度レベルを、触覚を示す強度レベルに変換する感覚置換システムであって、
    前記対象者の視覚情報を示す前記強度レベルを捕捉する感覚情報捕捉デバイスと、
    刺激生成部材のアレイと、
    プロセッサであって、
    視覚情報を示す第１の強度レベルを表す、触覚の第１のパラメータ値を決定することと、
    前記第１のパラメータ値を参照して視覚情報を示す第２の強度レベルを表す、触覚の第２のパラメータ値を決定することと、
    前記第２のパラメータ値を前記刺激生成部材のアレイに入力として提供することと、を行うプロセッサと、
    を備え、
    前記第１のパラメータ値は、前記対象者の触覚の少なくとも１つの丁度可知差異（ＪＮＤ）だけ前記第２のパラメータ値から異なる、感覚置換システム。
19. 前記感覚情報捕捉デバイスはカメラを含む、請求項１８に記載の感覚置換システム。
20. 前記刺激生成部材はコインモータ又は電極を含む、請求項１８又は１９に記載の感覚置換システム。

Images