JP5245808B2 - ポインティングシステム - Google Patents

Description

この発明は、対象物を指し示す操作子（ポインティングデバイス）を備えたポインティングシステムに関する。

従来、ユーザが指し示した対象物（現実上の物体）に対応した情報（例えば画像情報、テキスト情報、音声情報等）をユーザに提供する装置が提案されている（例えば特許文献１参照）。
特開２０００−１９４７２６号公報

しかし、特許文献１の装置においては、視界内の対象物の認識をＣＣＤカメラによる画像認識で行っている。また、対象物の位置検出は、赤外線ビーコンおよびＩＲセンサを用いて行っている。そのため、誤検出も多く、処理負荷が高いという問題があった。また、光センサ関係の部品点数も多く、コストがかかるという問題もあった。

さらに、対象物を指し示すための操作は、マウスを用いて画面上のポインタを移動させることで行っており、対象物を直感的に指し示すことができなかった。

そこで、この発明は、対象物をより直感的に指し示すことができるポインティングシステムを提供することを目的とする。

この発明のポインティングシステムは、送信機、受信機、およびユーザが対象物を指し示すための操作子を備えている。送信機は、放音方位を示す情報を重畳した送信側音声を放音する送信側放音手段を備え、操作子は、操作子側音声を放音する操作子側放音手段を備えている。放音方位を示す情報とは、ある基準方位からのずれ角である。

受信機は、音声を収音する複数の収音手段（マイク）と、収音した送信側音声から前記放音方位を示す情報を復調する復調手段を備えている。さらに、受信機は、復調した放音方位を示す情報、および各マイクの送信側音声の収音時間差に基づいて、自装置が向いている方位を検出する自装置方位検出手段を備えている。例えば２つのマイクの収音時間差を求めることで、送信機と受信機の相対的な方位を求めることができ、送信機の放音方位を示す情報から自装置の向き（基準方位からのずれ角）を求めることができる。

また、受信機は、各マイクの操作子側音声の収音時間差に基づいて、自装置と操作子の相対方位を検出する操作子方位検出手段を備えている。そして、受信機は、自装置が向いている方位、および前記操作子の相対方位に基づいて前記操作子が指し示す方位を検出する。つまり、自装置および操作子の向きをそれぞれ検出することができ、操作子の指し示す方位を検出することができる。

このように、音声だけで操作子が指し示す方位を検出することができるため、誤検出が少なく、処理負荷も低く、さらにコストを抑えることもできる。また、ユーザが手に持つ操作子で直接対象物を指し示すことができ、より直感的に対象物を指し示すことができる。

また、送信機の送信側放音手段は、対象物の方位、および当該対象物に関する情報を前記送信側音声に重畳して放音してもよい。この場合、受信機の復調手段は、対象物の方位および対象物に関する情報を復調する。そして、受信機は、操作子が指し示す方位が対象物の方位に合致する場合に、その対象物に関する情報を再生する。

この発明によれば、音声だけでポインティングデバイスの位置を検出することができ、対象物をより直感的に指し示すことができる。

本発明のポインティングシステムに係る実施形態について説明する。図１は、ポインティングシステムの全体構成を示す図である。

ポインティングシステムは、送信機１、受信機２、および操作子３からなる。送信機１は、室内に固定設置されており、所定の方位に指向性を有する変調音声（例えば超音波）を放音する。受信機２は、ユーザの頭部に取り付けるヘッドセット状の端末装置であり、複数のマイクを備えている。操作子３は、電子ペン等のポインティングデバイスであり、ユーザが手に持って対象物４１や対象物４２を指し示すためのものである。操作子３にはスピーカが取り付けられており、送信機１とは異なる周波数の超音波を放音する。

受信機２は、送信機１が出力する変調音声に基づいて自装置の向いている方位（基準方位からのずれ角）を検出するとともに、操作子３が出力する音声に基づいて自装置と操作子３との相対的方位（受信機２に対して操作子３がどの方位を向いているか）を検出する。受信機２は、自装置の方位と上記相対的方位から操作子３が指し示している絶対方位（基準方位からのずれ角）を検出する。送信機１が出力する変調音声には、対象物の方位に関する情報が含まれており、受信機２は、操作子３が指し示している絶対方位に対象物が存在すれば、当該対象物に関する情報（例えば音声案内等）をユーザに提供する。よって、本実施形態のポインティングシステムは、ユーザが操作子３で対象物を指し示すだけで、その対象物の情報を得られることができるものである。

以下、本実施形態のポインティングシステムの詳細な構成、動作について説明する。
受信機２は、ユーザの両耳に当接するスピーカ２１Ｌ、スピーカ２１Ｒを備えており、スピーカ２１Ｌとスピーカ２１Ｒは、ヘッドストラップ２２でつながれている。ヘッドストラップ２２上には、マイク２３、マイク２４、およびマイク２５が設けられている。マイク２３は左側に取り付けられ、マイク２４は右側に取り付けられている。マイク２５は中央部（頭頂位置）に取り付けられている。受信機２は、３つのマイクにおける変調音声の収音時間差に基づいて自装置の方位を検出する。詳細は後述する。

図２（Ａ）は送信機１の構成を示すブロック図であり、同図（Ｂ）は操作子３の構成を示すブロック図である。送信機１は、２チャンネルの音声を出力するものであり、各チャンネルについて対象物情報記憶部１１、読出部１２、変調器１３、およびＰＮ符号発生器１４を備えている。各チャンネルの音声は、加算器１５で加算され、スピーカ１６から放音される。各チャンネルのＰＮ符号発生器１４は、それぞれ異なる系列のＰＮ符号を発生する。なお、チャンネル数は２つに限るものではない。また、操作子３のＰＮ符号発生器３１も異なる系列のＰＮ符号を発生し、スピーカ３３から放音される。

送信機１の対象物情報記憶部１１は、対象物に関する情報を記憶している。図３は、対象物情報記憶部１１に記憶される情報の内容例を示した図である。チャンネル１の対象物情報記憶部１１には、対象物４１に関する情報が記憶され、チャンネル２の対象物情報記憶部１１には、対象物４２に関する情報が記憶されている。図３に示すように、対象物に関する情報には、名称、カテゴリ、優先度、詳細情報等が含まれている。対象物に関する情報のうち、名称は、その対象物の呼び名のテキストデータであり、本実施形態では対象物４１の名称として「リンゴ」対象物４２の名称として「ミカン」を記憶している。カテゴリは、対象物の種類を表す情報である。本実施形態では、対象物４１および対象物４２のカテゴリとして「果物」のカテゴリが記憶されている。優先度は、対象物の重要度を示す情報であり、受信機２にて、同時に２つの対象物が指し示されたときに、重要度の高いものから順に情報提供を行う。詳細情報は、その対象物の内容を詳細に示すガイド情報等であり、例えばテキストデータや音声データ等である。

なお、チャンネル１の対象物情報記憶部１１には、送信機１の放音方位や対象物４１および対象物４２の方位に関する情報が記憶されている。これらの方位は基準方位（例えば真北）からのずれ角で表される。なお、チャンネル１だけでなく、全チャンネルにこれらの方位に関する情報が記憶されていてもよい。また、対象物の方位に関する情報は、対応する各チャンネルの対象物に関する情報に含まれていてもよい。

各チャンネルの読出部１２は、対象物情報記憶部１１に記憶されている上記各種情報を読み出し、変調器１３に入力する。変調器１３は、出力超音波を変調し、入力された各種情報を重畳する。また、変調器１３は、ＰＮ符号発生器１４から入力されるＰＮ符号を超音波に重畳して出力する。

図４は、受信機２の構成を示すブロック図である。マイク２３、マイク２４、およびマイク２５で収音された音声信号は、それぞれ復調器５３、復調器５４、および復調器５５に入力される。また、復調器６３、復調器６４、および復調器６５にもこれら音声信号が入力される。

復調器５３、復調器５４、および復調器５５は、ＰＮ符号発生器５１からチャンネル１のＰＮ符号が入力される。復調器５３、復調器５４、および復調器５５は、ＰＮ符号発生器５１から入力されるＰＮ符号と、入力音声信号との相関をとり、相関のピークタイミングを抽出する。復調器５３、復調器５４、および復調器５５は、このピークタイミングを示す情報を自装置方位検出部５６に出力する。このピークタイミングの時間差が各マイクの収音時間差に相当する。さらに、復調器５５は、マイク２５で収音した音声信号に重畳されている各種情報のうち方位に関する情報（放音方位）を復調し、自装置方位検出部５６に出力する。なお、方位に関する情報は、他の復調器５３や復調器５４で復調してもよいが、ヘッドストラップ２２の中央に設けられたマイク２５が最も収音特性がよいと考えられるため、復調器５５で復調することが望ましい。

自装置方位検出部５６は、復調器５３、復調器５４、および復調器５５から入力されるピークタイミングの時間差に基づいて送信機１の放音方位に対する自装置の向き（相対角度Δθ）を算出する。算出した相対角度Δθに送信機１の放音方位を加算すると受信機２の方位（基準方位からのずれ角）を求めることができる。

図５を参照して受信機２の方位検出手法について説明する。各マイクの収音時間差は、送信機との距離に対応する。図５（Ａ）は、時間差に基づく距離を図示したものである。マイク２４の収音タイミングＴ２４とマイク２３の収音タイミング２３との時間差に基づく距離をΔＬとし、マイク２４の収音タイミングＴ２４とマイク２５の収音タイミング２５との時間差に基づく距離をΔＲとすると、
ΔＬ＝（Ｔ２３−Ｔ２４）×Ｖ
ΔＲ＝（Ｔ２５−Ｔ２４）×Ｖ
となる（ただしＶは音速）。マイク２３とマイク２４との距離をＬとすると、送信機１の放音方位と受信機２の方位との相対角度Δθは、
ｓｉｎΔθ＝ΔＬ／Ｌ
となり、Δθは、
Δθ＝ｓｉｎ^−１（ΔＬ／Ｌ） ・・・式１
となる。

ただし、式１は、０°≦Δθ≦９０°および２７０°≦Δθ≦３６０°の場合に成立する。相対角度Δθが９０°≦Δθ≦２７０°の場合、
Δθ＝ｓｉｎ^−１（ΔＬ／Ｌ）＋１８０° ・・・式２
となる。Δθが式１の範囲であるか式２の範囲であるかは、ΔＲとΔＬ／２の大小関係で判定することができる。同図（Ｂ）に示すように、「０°≦Δθ≦９０°および２７０°≦Δθ≦３６０°」の場合、ΔＲ＞ΔＬ／２であり、「９０°≦Δθ≦２７０°」の場合、ΔＲ＜ΔＬ／２である。この判定により、同図（Ｃ）に示すようなΔＬが同じで向きが異なる２つの態様を区別することができる。

自装置方位検出部５６は、上述のようにして算出した相対角度Δθに放音方位θｓを加算することで受信機２の方位θを求めることができる。算出した受信機２の方位θの情報は、制御部５８に入力される。

また、図４において、復調器６３、復調器６４、および復調器６５についても、ＰＮ符号発生器５０から入力されるＰＮ符号と、入力音声信号との相関をとり、相関のピークタイミングを抽出する。ＰＮ符号発生器５０が出力するＰＮ符号は、操作子３のＰＮ符号発生器３１と同じＰＮ符号である。復調器６３、復調器６４、および復調器６５は、抽出したピークタイミングを示す情報を操作子方位検出部６６に出力する。操作子方位検出部６６は、図５に示した手法を用いて、受信機２と操作子３との相対的方位θｐを検出する。θｐ＝０°で操作子３が受信機２の正面に存在しているとする。この相対的方位θｐの情報も制御部５８に入力される。

制御部５８は、入力された相対的方位θｐに応じて単眼ディスプレイ２６に図６に示すようなターゲットアイコンを表示する。単眼ディスプレイ２６の画面中央部は、相対的方位θｐ＝０°に対応しており、画面右端は相対的方位θｐ＝２８０°に対応しており、画面左端は相対的方位θｐ＝８０°に対応している。よって、制御部５８は、入力された相対的方位θｐに対応する画面内の位置にターゲットアイコンを表示する。操作子３が移動した場合、制御部５８はターゲットアイコンも移動させて表示する。

なお、本実施形態では、３つのマイクにより、方位だけを検出している例を示しているが、図５に示した手法で高さ方向の角度も検出することができる。その場合、操作子３の移動に応じて、単眼ディスプレイ２６の画面内のターゲットアイコンも上下方向に移動するようにすればよい。

このように、単眼ディスプレイ２６の画面内にターゲットアイコンを表示することで、ユーザが操作子３を用いて対象物を指し示す際の目安となる。ターゲットアイコンの大きさは、対象物の探査範囲（例えば±３°）として設定される。

次に、制御部５８は、操作子方位検出部６６から入力された相対的方位θｐと、自装置方位検出部５６から入力された自装置の方位θとを加算し、操作子３の絶対方位（基準方位からのずれ角）を求める。制御部５８には、復調器５５から各対象物の方位に関する情報が入力される。すなわち、復調器５５は、マイク２５で収音した音声信号に重畳されている各種情報のうち対象物の方位に関する情報を復調し、制御部５８に出力する。制御部５８は、復調器５５から入力した各対象物の方位に関する情報と、上記操作子３の絶対方位を比較し、操作子３の絶対方位近傍（上記ターゲットアイコンの範囲内である±３°）に対象物の方位が該当すると判断した場合、その対象物のチャンネル（例えば対象物４２であればチャンネル２）を選択する。

制御部５８は、選択したチャンネルに関する情報を復調器５９に出力する。復調器５９は、選択されたチャンネルの情報を復調する。復調された情報は、制御部５８に入力される。

制御部５８は、入力された情報から、単眼ディスプレイ２６に各種情報を表示する。例えば、図６（Ｂ）に示すように、操作子３の絶対方位近傍に対象物４１の方位が該当し、チャンネル１が選択され、チャンネル１の各種情報が入力された場合、チャンネル１に関する情報ウインドウを表示する。例えば、「この方位に「リンゴ」があります。詳細情報を表示しますか？」等と表示する。

ここで、ユーザが操作子３のスイッチ３２を操作した場合、制御部５８は、対象物４１の詳細情報を表示する。詳細情報が音声データであった場合、制御部５８は、音声データを音声処理部７１に出力し、音声処理部７１がスピーカ２１Ｌおよびスピーカ２１Ｒから放音する。なお、詳細情報がテキストデータであった場合、単眼ディスプレイ２６に表示するのみならず、音声処理部７１が当該テキストデータから音声合成を行い、放音するようにしてもよい。

なお、操作子３のスイッチ操作の検出手法は、どのようなものであってもよいが、例えば以下のようにして行う。すなわち、操作子３のＰＮ符号発生器３１は、スイッチ３２が操作されたとき、出力する音声の周波数を変更する。受信機２では、操作子３が出力する音声の周波数変化を検出し、周波数変化があった場合にスイッチ３２が操作されたと判断する。

また、スイッチがなくとも、ユーザの操作を検出することが可能である。例えば受信機２において、操作子３が出力する音声の周波数変化を検出し、周波数が高くなった場合、操作子３が近づいたと判断する。操作子３が近づくと、ドップラー効果により周波数が高くなるためである。同様に、周波数が低くなった場合、操作子３が遠ざかったと判断する。この周波数偏移の速度、量、時間等を検出することで、操作子３の操作態様を検出することができる。例えば遠ざかる方向へ素早く振った場合にユーザの選択操作があったとすればよい。

なお、図６（Ｃ）に示すように、対象物４１と対象物４２が同じような方位に存在した場合、各チャンネルのうち重要度の高いものから順に情報提供を行うようにする。この場合、単眼ディスプレイ２６には、重要度の高いものから順に情報ウインドウを表示し、順に優先度の低いものの情報ウインドウを表示する（サイクリック表示をする）ようにすればよい。

以上のように、本実施形態のポインティングシステムでは、音声だけで操作子が指し示す方位を検出することができる。そのため、誤検出が少なく、処理負荷も低く、コストを抑えることもできる。また、ユーザが手に持つ操作子で直接対象物を指し示すことができ、より直感的に対象物を指し示すことができる。

ポインティングシステムの全体構成を示す図である。 送信機の構成を示すブロック図である。 対象物情報記憶部１１に記憶される情報の内容例を示した図である。 受信機の構成を示すブロック図である。 受信機２の方位検出手法について説明する図である。 単眼ディスプレイ２６に表示される各種情報の内容を示した図である。

符号の説明

１−送信機
２−受信機
３−操作子

Claims (2)

1. 送信機、受信機、およびユーザが対象物を指し示すための操作子、を備えたポインティングシステムであって、
   前記送信機は、放音方位を示す情報を重畳した送信側音声を放音する送信側放音手段を備え、
   前記操作子は、操作子側音声を放音する操作子側放音手段を備え、
   前記受信機は、音声を収音する複数の収音手段と、
   収音した送信側音声から前記放音方位を示す情報を復調する復調手段と、
   前記復調手段で復調した放音方位を示す情報および前記複数の収音手段で収音した送信側音声の収音時間差に基づいて、自装置が向いている方位を検出する自装置方位検出手段と、
   前記複数の収音手段で収音した操作子側音声の収音時間差に基づいて、自装置と操作子の相対方位を検出する操作子方位検出手段と、
   前記自装置が向いている方位および前記操作子の相対方位に基づいて、自装置の位置を基準として前記操作子が存在する絶対方位を検出する操作子位置検出手段と、
   を備えたポインティングシステム。
2. 前記送信機の送信側放音手段は、対象物の方位および当該対象物に関する情報を前記送信側音声に重畳して放音し、
   前記受信機の復調手段は、前記収音手段で収音した送信側音声から前記対象物の方位および前記対象物に関する情報を復調し、
   前記受信機は、前記絶対方位が前記対象物の方位に合致する場合に、前記対象物に関する情報を再生する再生手段をさらに備えた請求項１に記載のポインティングシステム。

Images