JP6696357B2 - ポインタ制御システムおよびポインタ制御プログラム - Google Patents

ポインタ制御システムおよびポインタ制御プログラム Download PDF

Info

Publication number
JP6696357B2
JP6696357B2 JP2016166217A JP2016166217A JP6696357B2 JP 6696357 B2 JP6696357 B2 JP 6696357B2 JP 2016166217 A JP2016166217 A JP 2016166217A JP 2016166217 A JP2016166217 A JP 2016166217A JP 6696357 B2 JP6696357 B2 JP 6696357B2
Authority
JP
Japan
Prior art keywords
pointer
viewpoint
control unit
operator
distance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016166217A
Other languages
English (en)
Other versions
JP2018032348A (ja
Inventor
神谷 和宏
和宏 神谷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aisin AW Co Ltd
Original Assignee
Aisin AW Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aisin AW Co Ltd filed Critical Aisin AW Co Ltd
Priority to JP2016166217A priority Critical patent/JP6696357B2/ja
Publication of JP2018032348A publication Critical patent/JP2018032348A/ja
Application granted granted Critical
Publication of JP6696357B2 publication Critical patent/JP6696357B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • User Interface Of Digital Computer (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Position Input By Displaying (AREA)

Description

本発明は、ポインタ制御システムおよびポインタ制御プログラムに関する。
従来、利用者の視線方向と手動操作の検出結果に基づいてディスプレイ画面上にカーソルを表示する技術が知られている。例えば、特許文献1においては、利用者がカーソルを注視し、かつ、手動操作が行われ、かつ、カーソル移動距離が閾値を超えている場合に視線検出座標にカーソルを移動させる技術が開示されている。
特開2015−118531号公報
上述した従来技術においては、特定の操作者がポインタを操作し、複数人がポインタを視認し得る場合に、ポインタが操作者の必要に応じた視認性にならない場合があった。例えば、操作者がポインタを注視する必要性が低い位置にポインタが存在する場合に、ポインタの視認性が高いと、操作者以外の者にとっては、ポインタが煩わしいものになり得る。
本発明は、前記課題にかんがみてなされたもので、ポインタを操作者の必要に応じた視認性にすることが可能な技術を提供することを目的とする。
上記の目的を達成するため、ポインタ制御システムは、指示対象を指示するポインタの位置をポインティングデバイスの出力に基づいて制御するポインタ位置制御部と、ポインティングデバイスの操作者の視点を検出する視点検出部と、ポインタの位置と視点との距離に応じてポインタの視認性を変化させるポインタ表示制御部と、を備える。
また、上記の目的を達成するため、ポインタ制御プログラムは、コンピュータを、指示対象を指示するポインタの位置をポインティングデバイスの出力に基づいて制御するポインタ位置制御部、ポインティングデバイスの操作者の視点を検出する視点検出部、ポインタの位置と視点との距離に応じてポインタの視認性を変化させるポインタ表示制御部、として機能させる。
すなわち、ポインタ制御システムおよびプログラムでは、ポインタの位置と視点との距離に応じてポインタの視認性を変化させる。従って、ポインタの位置とポインタの操作者の視点との距離が、操作者によるポインタの認識の要否を示す指標であると見なしてポインタの視認性を変化させることができる。例えば、ポインタの位置とポインタの操作者の視点との距離が、ポインタの操作者にとってポインタの認識が必要な距離であれば、視認性を高くすることができる。また、ポインタの位置とポインタの操作者の視点との距離が、ポインタの操作者にとってポインタの認識が不要な距離であれば、視認性を低くすることができる。このため、ポインタを操作者の必要に応じた視認性にすることが可能である。
ポインタ制御システムを示すブロック図である。 ポインタ制御処理を示すフローチャートである。 図3A、図3Bは画面の表示例を示す図である。 ポインタ制御処理を示すフローチャートである。
ここでは、下記の順序に従って本発明の実施の形態について説明する。
(1)ポインタ制御システムの構成:
(2)ポインタ制御処理:
(3)他の実施形態:
(1)ポインタ制御システムの構成:
図1は、本発明の一実施形態であるポインタ制御システムを実現するナビゲーションシステム10の構成を示すブロック図である。本実施形態にかかるポインタ制御システムは、車両に搭載されたナビゲーションシステム10の機能の一部として実現される。ナビゲーションシステム10は、CPU、RAM、ROM等を備える制御部20を備えており、制御部20は、当該ROMや記録媒体30に記録された所望のプログラムを実行することができる。本実施形態において、制御部20は、図示しないナビゲーションプログラムを実行することができ、当該ナビゲーションプログラムを実行することにより、図示しないGPS信号等に基づいてナビゲーションシステム10が搭載された車両を指定の目的地まで誘導する。また、ナビゲーションプログラムは、誘導案内に関する処理以外にも各種の処理を制御部20に実行させることが可能である。
車両は、ディスプレイ40、ポインティングデバイス41および視線検出センサ42を備えている。ディスプレイ40は、図示しないインタフェースを介して制御部20と接続されており、制御部20は、ディスプレイ40に対して制御信号を出力することにより、任意の座標を指定し、任意の画像をディスプレイ40に表示させることができる。本実施形態において、ディスプレイ40は、2個の画面(画面1,画面2)を備えており、各画面に予め決められた画像を表示する。
本実施形態において、画面1はナビゲーション機能や音楽再生機能等を利用するための画面であり、画面2はインストルメントパネルの少なくとも一部の機能を代替するための画面である。制御部20は、画面1にナビゲーション機能や音楽再生機能に関する画像(地図や経路、車両の現在位置、楽曲リスト等)を表示させ、画面2に速度計やシフトレバーによって選択されたシフト位置等を表示させる。また、制御部20は、ディスプレイ40(以後、画面1,画面2の双方に該当する事項については単にディスプレイ40と表記する)に各種の機能を利用するためのユーザインタフェースを表示する。すなわち、制御部20は、ディスプレイ40に、ポインタの指示対象となるボタンやスイッチ等のアイコンと指示対象を指示するためのポインタを表示する。
ポインティングデバイス41は、タッチパッドであり、図示しないインタフェースを介して制御部20と接続されている。利用者がポインティングデバイス41のタッチ検出領域に触れると、ポインティングデバイス41はそのタッチ位置を示す情報を出力する。制御部20は、当該出力に基づいて、ポインタの位置を決定する。ポインティングデバイス41は、運転者が操作可能な位置に配置されており、本実施形態においてポインタの操作者は運転者である。
視線検出センサ42は、赤外線出力部と少なくとも2個の赤外線カメラとを備えている。当該赤外線カメラは、運転者の顔を視野に含むように車室内の構造体(例えば、インストルメントパネルの壁面)に取り付けられている。赤外線カメラは、赤外線出力部から出力された赤外線によって撮影された操作者(運転者)の目の像に基づいて、目の位置および操作者の視線方向(ベクトル)を検出し、出力する。制御部20は、当該出力に基づいて、予め定義された3次元空間内で目の位置および視線方向を特定することができる。視線方向は、例えば、両眼のそれぞれにおいて設定された基準点と、眼球の動きに応じて位置が変化する動点とを結ぶ方向として取得され、他にも種々の方式が採用されてよい。また、両眼のそれぞれにおいて特定された視線方向の平均値等によって操作者の視線方向を1方向に特定することができるが、視線方向の特定方法も種々の方法が採用され得る。
以上の構成において、ポインタは、ナビゲーションプログラムに含まれるポインタ制御プログラム21によって制御される。ポインタの制御を行うため、ポインタ制御プログラム21は、ポインタ位置制御部21aと視点検出部21bとポインタ表示制御部21cとを備えている。
ポインタ位置制御部21aは、指示対象を指示するポインタの位置をポインティングデバイス41の出力に基づいて制御する機能を制御部20に実現させるプログラムモジュールである。本実施形態においては、ポインティングデバイス41に対する操作者のタッチ位置の変化によってポインタの位置を変化させるように構成されており、タッチ位置の単位変化量あたりのポインタの位置変化量が予め決められている。そこで、制御部20は、ポインティングデバイス41の出力を取得し、当該出力が示すタッチ位置が変化した場合、その変化量に応じてポインタの位置を変化させる。
さらに、制御部20は、ポインタの位置にポインタを描画する。すなわち、記録媒体30には、ディスプレイ40に表示させるアイコンの画像を示すアイコン情報30aが記録されており、当該アイコン情報30aにポインタの画像が含まれている。そこで、制御部20は、当該アイコン情報30aを参照してポインタの画像を取得し、ディスプレイ40の画面上のポインタの位置にポインタの画像を重畳させるための画像を描画する。制御部20が、当該描画した画像をディスプレイ40に出力すると、ディスプレイ40のポインタの位置にポインタのアイコンが重畳される。
本実施形態において、ポインタの画像は予め決められた色、大きさ、形状の画像であるが、その透過率(アルファチャンネル)が可変である。当該透過率は後述するポインタ表示制御部21cの制御によって決められる。なお、制御部20は、ポインタの移動以外にも種々の操作を受け付けることができる。例えば、制御部20は、ポインティングデバイス41に対する予め決められたタッチ操作(タップ等)により、操作者が指示対象としてのボタンを選択したことを受け付けることができる。
視点検出部21bは、ポインティングデバイス41の操作者の視点を検出する機能を制御部20に実現させるプログラムモジュールである。本実施形態においては、視点の検出領域となる画面1および画面2の位置が、車室内空間の位置を規定する3次元座標系によって予め特定されている。制御部20は、視線検出センサ42の出力に基づいて、操作者の目の位置および視線方向を取得し、画面1および画面2の位置が規定された3次元座標系内で操作者の目の位置および視線方向を特定する。そして、当該目の位置から視線方向に延びる仮想的な線と、画面1または画面2との交点を視点として特定する。画面1または画面2に視点が存在しない場合、例えば、視点が不定とされる。
ポインタ表示制御部21cは、ポインタの位置と操作者の視点との距離に応じてポインタの視認性を変化させる機能を制御部20に実現させるプログラムモジュールである。本実施形態においては、ポインタの位置と操作者の視点との距離に応じて、操作者がポインタを認識する必要性が変化すると見なしてポインタの視認性を制御する。具体的には、制御部20は、ポインタの位置と操作者の視点との距離が小さい場合、大きい場合よりも視認性を高くする。すなわち、制御部20は、ポインタが操作者の視点に近づくと視認性が高くなるように制御する。
この構成であれば、視点が指示対象上または指示対象付近に存在する場合において、指示対象からポインタが遠く、ポインタで指示対象を指示できない場合にはポインタの視認性が低くなる。また、ポインタが指示対象に近づき、ポインタで指示対象を指示し得る状況になった場合にはポインタの視認性が高くなる。従って、ポインタで指示対象を指示できないような状況下においてポインタが他のオブジェクト等の視認を妨げることはない。このため、例えば、ポインタの操作に関与していない操作者以外の者がポインタの移動範囲に存在する対象(アイコンやデバイス等)を視認することを妨げることはない。
なお、本実施形態において、ポインタと視点とは画面上で定義されるため、制御部20は、画面上の視点と画面上のポインタの位置との距離を容易に取得することができる。なお、本実施形態においてディスプレイ40は画面を2個備えているが、一方の画面の端部と他方の画面の端部との接続態様を予め規定しておけば、異なる画面に跨がる距離を特定することができる。
また、本実施形態において、視認性は、ポインタの透過性によって調整される。すなわち、制御部20は、ポインタの位置と操作者の視点との距離が閾値以上である場合、ポインタの透過率を高透過率(例えば、90%〜100%のいずれかの比率)に設定する。また、制御部20は、ポインタの位置と操作者の視点との距離が閾値より小さい場合、ポインタの透過率を低透過率(例えば、0%以上90%以下のいずれかの比率)に設定する。そして、制御部20は、設定した透過率をポインタ位置制御部21aでの処理に受け渡す。この結果、ポインティングデバイス41に対する操作に応じてポインタが表示される際に、ポインタ表示制御部21cの処理で設定された透過率でポインタが表示される状態になる。
以上の構成によれば、ポインタの位置とポインタの操作者の視点との距離が近いほど、ポインタの操作者にとってポインタの認識の必要性が高いと見なされ、視認性が高くなる。このため、ポインタを操作者の必要に応じた視認性にすることが可能である。
(2)ポインタ制御処理:
次に上述の構成におけるポインタ制御処理を詳細に説明する。図2は、当該ポインタ制御処理を示すフローチャートである。本実施形態においては、ディスプレイ40に指示対象のアイコン(ボタン等)が表示されている状態で、利用者がポインティングデバイス41等によって選択項目の選択指示を行った場合に、ポインタ制御処理が実行される。ポインタ制御処理において、制御部20は、ポインタ位置制御部21aの処理により、タッチ位置を検出する(ステップS100)。すなわち、制御部20は、ポインティングデバイス41の出力に基づいて操作者がタッチパッドのタッチ位置を示す座標を特定し、RAMに記録する。なお、タッチ位置は、タッチパッドのタッチ面に張られた直交する2軸によって規定されるタッチ座標系で定義される。
次に、制御部20は、ポインタ位置制御部21aの処理により、タッチ位置が変化したか否かを判定する(ステップS105)。すなわち、制御部20は、RAMに記録されたタッチ位置を参照し、ステップS100のループ処理において今回取得したタッチ位置と前回取得したタッチ位置とが異なっている場合にタッチ位置が変化したと判定する。ステップS105において、タッチ位置が変化したと判定されない場合、制御部20は、ステップS100以降の処理を繰り返す。
ステップS105において、タッチ位置が変化したと判定された場合、制御部20は、ポインタの位置を移動させる(ステップS110)。本実施形態においてポインタの位置は、ディスプレイ40の画面1内および画面2内における位置を規定するための画面座標系において定義され、ポインタが表示されている状態においては当該ポインタの位置を示す座標がRAMに記録されている。
そして、本実施形態においては、タッチ座標系でのタッチ位置の単位変化量に対する画面座標系でのポインタの位置の変化量が予め決められているため、制御部20は、タッチ位置の変化量に基づいてRAMに記録されたポインタの位置を変化させ、変化させた後のポインタの位置でRAMの情報を更新する。なお、ステップS110においては、ポインタの位置が移動されるが、この段階においては移動後の位置にポインタは描画されていないため、ディスプレイ40上のポインタの位置は変化しない。
次に、制御部20は、視点検出部21bの処理により、視点を検出する(ステップS115)。すなわち、制御部20は、視線検出センサ42の出力に基づいて、車室内の空間上の位置を規定する3次元座標系において操作者の目の位置および視線方向を取得する。さらに、制御部20は、当該目の位置から視線方向に延びる仮想的な線と、画面1または画面2との交点を特定する。そして、当該交点の位置を画面座標系の位置に変換することにより、操作者の視点の位置をディスプレイ40上(画面1上または画面2上)で特定する。
次に、制御部20は、ポインタ表示制御部21cの処理により、ポインタの位置と視点との距離を取得する(ステップS120)。すなわち、制御部20は、RAMを参照して画面座標系で定義されたポインタの位置を取得する。また、制御部20は、ステップS115で取得された画面座標系での視点の位置を取得する。そして、制御部20は、両者の距離を取得する。
次に、制御部20は、ポインタの位置と視点との距離が閾値以上であるか否かを判定する(ステップS125)。すなわち、本実施形態においては、ポインタの位置と視点との距離が閾値より近い場合にポインタの操作者がポインタを視認する必要性が高く、距離が閾値以上である場合にポインタの操作者がポインタを視認する必要性が低いと見なす。そして、距離に基づいて視認性の要否を判定するための閾値が予め定義されている。そこで、制御部20は、ポインタの位置と視点との距離を閾値と比較する。
ステップS125において、ポインタの位置と視点との距離が閾値以上であると判定された場合、すなわち、操作者がポインタを視認する必要性が低い場合、制御部20は、ポインタ表示制御部21cの処理により、ポインタの透過率を高透過率に設定する(ステップS130)。一方、ステップS125において、ポインタの位置と視点との距離が閾値以上であると判定されない場合、すなわち、操作者がポインタを視認する必要性が高い場合、制御部20は、ポインタ表示制御部21cの処理により、ポインタの透過率を低透過率に設定する(ステップS135)。なお、閾値は操作者の必要性に応じて予め決められていれば良く、必要性は、統計によって決められても良いし、人工知能等によって決められても良い。
次に、ポインタ位置制御部21aは、ポインタの位置にポインタを描画する(ステップS140)。すなわち、制御部20は、ディスプレイ40に対して制御信号を出力し、現在表示されているポインタを消去し、ステップS110によって移動されたポインタの位置にポインタを描画させる。この結果、ポインタの位置と視点との距離に応じた視認性でポインタがディスプレイ40上に表示されることになる。
図3Aおよび図3Bは、以上の処理による画面の変化例を示す図である(x、yは画面座標系を規定する軸である)。これらの図において、画面1は符号D1、画面2は符号D2で示されている。これらの例においては、画面1および画面2の双方に指示対象としてのボタン(B1,B2等)が表示されており、1個のポインタPが画面1,画面2のいずれかに表示されている。さらに、図3Aおよび図3Bの双方において、操作者の視点PeはボタンB2内に存在する。
図3Aにおいては、ポインタの位置から視点までの距離と比較される閾値Thの大きさが例示されており、この例であれば、図3Aに示すようにポインタPが画面1内に存在す状態で、ポインタPの位置と視点Peとの距離が閾値以上である。従って、ポインタPは高透過率とされ、視認性は低い。図3Aにおいては、白抜きのアイコンによって低い視認性のポインタPが示されている。
このような図3Aに示す状態において、操作者がボタンB2を指示することを意図し、視点Peを変化させることなくタッチパッドを操作してポインタPをボタンB2に近づけることを想定する。この操作によれば、画面1内のポインタPがやがて画面1の右側の端に達し、画面2の左側の端から現れるようにポインタPが移動する。そして、操作者の操作によってポインタPがボタンB2に近づくと、やがて図3Bに示すようにポインタPの位置と視点Peとの距離が閾値より短くなる。この場合、ポインタPは低透過率とされ、視認性は高くなる。図3Bにおいては、黒いアイコンによって高い視認性のポインタPが示されている。
(3)他の実施形態:
以上の実施形態は本発明を実施するための一例であり、ポインタの位置と操作者の視点との距離に応じてポインタの視認性を変化させる限りにおいて、他にも種々の実施形態を採用可能である。例えば、ポインタ制御システムは、ナビゲーションシステム以外のシステム、例えば、汎用コンピュータシステムに適用されていても良い。また、ポインタ制御は、複数の装置(例えば、クライアントとサーバ)によって実現されるシステムであっても良い。
さらに、ポインタ制御システムを構成するポインタ位置制御部21a、視点検出部21b、ポインタ表示制御部21cの少なくとも一部が複数の装置に分かれて存在していても良い。例えば、ポインタ位置制御部21aがポインティングデバイス41内の制御部やディスプレイ40内の制御部で実現されても良いし、ポインタ表示制御部21cがディスプレイ40内の制御部で実現されても良い。むろん、上述の実施形態の一部の構成が省略されてもよいし、処理の順序が変動または省略されてもよい。
さらに、上述の実施形態においては、ディスプレイ40が複数の画面を備え、制御部20によって複数の画面の表示が制御されていたが、各画面の表示は各画面を制御する制御部によって制御されても良い。この場合、いずれかの制御部または他の制御部がポインタの位置を特定し、両画面間でのポインタの移動を制御する構成等を採用可能である。むろん、画面の数は2個に限定されない。
ポインタ位置制御部は、指示対象を指示するポインタの位置をポインティングデバイスの出力に基づいて制御することができればよい。すなわち、ポインティングデバイスは、利用者による操作を受け付け、ポインタの位置を特定するための情報を出力する。そこで、ポインタ位置制御部は、当該出力に基づいてポインタの位置を制御することができればよい。
ポインタは、指示対象を指示することができればよく、ディスプレイ上の画像であっても良いし、指示対象に対応づけて配置されたランプ等であっても良く、種々の構成を採用可能である。指示対象は、ポインタで指示される対象であれば良く、ディスプレイ上の画像(アイコン等)であっても良いし、デバイス(エアコンの吹き出し口や窓の開閉スイッチ等)であっても良く、種々の対象が想定可能である。
ポインティングデバイスは各種のデバイスを想定可能であり、少なくともポインタの位置を変化させるための入力を受け付けることが可能なデバイスであれば良い。従って、ボタンやジョイスティック、タッチパッド、接触センサ等の各種のデバイスをポインティングデバイスとすることができる。ポインティングデバイスの出力は、利用者が行ったポインティングデバイスへの操作を示す出力であれば良く、当該出力によって少なくともポインタの位置を制御することができればよい。
視点検出部は、ポインティングデバイスの操作者の視点を検出することができればよく、種々の構成を採用可能である。例えば、操作者の目を撮影するカメラの出力に基づいて操作者の目の動作を特定することにより視線を特定し、視線と予め特定された構造体(ディスプレイ画面やデバイスの外面)との交点を視点と見なす構成等を採用可能である。検出対象となる目は1個であっても良いし、2個であっても良いが、精度を高めるためには検出対象の目は2個であることが好ましい。2個の目の視線が特定された場合における視点は、各目の視線に基づいて特定された各視点から統計的に特定されても良いし、利き目によるバイアスに基づいて視点が特定されても良い。
ポインタ表示制御部は、ポインタの位置と視点との距離に応じてポインタの視認性を変化させることができればよい。すなわち、ポインタ表示制御部は、操作者がポインタを認識する必要性が、ポインタの位置と操作者の視点との距離に応じて変化すると見なしてポインタの視認性を制御することができればよい。ポインタの位置と操作者の視点との距離は、種々の計測法で計測されて良い。
例えば、ポインタおよび視点が存在し得る空間に定義された3次元座標に基づいて距離が特定されても良いし、ポインタおよび視点が存在し得る面に定義された2次元座標に基づいて距離が特定されても良い。また、座標等に基づいて正確な距離が計測されなくてもよい。すなわち、当該距離は、操作者によるポインタの認識の要否を示す指標となれば良く、距離の概算、例えば、ポインタの位置と操作者の視点との間に位置する指示対象の個数や大きさ等によって距離が評価されても良い。
視認性は、操作者がポインタを視覚的に認識する際の容易さであれば良く、視認性は種々の手法で変化させることができる。例えば、ポインタが画像(アイコン等)である場合において、透過性を高くすると視認性を低下させることができる。また、画像の色を目立つ色や濃い色にしたり、画像の大きさを大きくしたりすることによって視認性を向上させることができる。さらに、ポインタがランプ等であれば、その明るさを明るくすると視認性を向上させることができる。
距離に応じたポインタの視認性の変化は、種々の変化であって良く、上述の実施形態のように、ポインタ表示制御部が、ポインタの位置と操作者の視点との距離が小さい場合、大きい場合よりも視認性を高くする構成であっても良い。すなわち、ポインタが操作者の視点に近づくと視認性が高くなる構成であっても良い。この構成であれば、視点や視点付近の指示対象をポインタで指示できない場合にはポインタの視認性が低く、ポインタで指示対象を指示し得る状況になった場合にはポインタの視認性が高くなる。従って、ポインタで指示対象を指示できないような状況下においてポインタが他のオブジェクト等の視認を妨げることはない。このため、例えば、ポインタの操作に関与していない操作者以外の者がポインタの移動範囲に存在する対象(アイコンやデバイス等)を視認することを妨げることはない。
なお、このような距離に応じたポインタの視認性の変化は一例であり、ポインタの位置と操作者の視点との距離が大きい場合、小さい場合よりも視認性を高くする構成であっても良い。すなわち、ポインタが操作者の視点から遠ざかると視認性が高くなる構成であっても良い。この構成によれば、操作者の視点から遠くなった場合に、ポインタが見つけづらくならないようにすることができる。さらに、距離に応じたポインタの視認性の変化特性が逆の2個の特性が併用されても良い。例えば、特定の条件において一方の特性となり、他の条件において他方の特性となる構成等を採用してもよい。また、距離が特定の範囲である場合に一方の特性となり、距離が特定の範囲外になると他方の特性となる構成であっても良い。
むろん、距離に応じた視認性の変化は、距離に応じた単調変化であっても良いし、複雑に変化しても良いし、段階的に変化しても良い。さらに、距離に応じた視認性の変化に例外があっても良い。例えば、ポインタ表示制御部が、ポインタの位置が操作者の視点に一致している場合、一致していない場合よりも視認性を低くする構成であっても良い。すなわち、操作者の視点は、ポインタの指示対象上に存在する場合が多い。
操作者の視点がポインタの指示対象上に存在する場合、ポインタの位置と操作者の視点が一致すれば、ポインタが指示対象に重なっていることになる。そこで、この場合に視認性を低くすれば、ポインタによって指示対象の視認を妨げることはない。なお、ポインタの位置と操作者の視点とが一致しているか否の判定は、厳密な位置の一致を判定することによって行われても良いし、両者の距離が閾値以下の場合に一致していると判定することによって行われても良く、種々の構成を採用可能である。
図4は、ポインタの位置と操作者の視点が一致した場合にポインタの視認性を低くする構成を実現するためのフローチャートである。図4に示すフローチャートは、図2に示すフローチャートに対してステップS127およびステップS137を追加することによって実現される。すなわち、ステップS125において、ポインタの位置と視点との距離が閾値以上であると判定された場合、制御部20は、ポインタ表示制御部21cの処理により、ポインタの位置と視点との距離がほぼ0であるか否かを判定する(ステップS127)。すなわち、制御部20は、ポインタの位置と視点とがほぼ一致したと見なすことができるか否かを判定する。
ステップS127において、ポインタの位置と視点との距離がほぼ0であると判定されなかった場合、ポインタは視点から近く、ポインタの視認性を高くしてポインタを認識しやすくする必要があるため、制御部20は、ステップS135においてポインタの透過率を低透過率に設定する。一方、ステップS127において、ポインタの位置と視点との距離がほぼ0であると判定された場合、ポインタは指示対象に一致している(例えば、図3BにおいてポインタPがボタンB2上に存在する)。従って、ポインタの視認性を低くしてポインタ周辺のオブジェクトの視認性を高くする必要があり、制御部20は、ポインタ表示制御部21cの処理により、ポインタの透過率を高透過率に設定する(ステップS137)。
この結果、ポインタPが指示対象(例えば、図3BにおけるボタンB2)の視認を妨げないようにすることができる。ただし、ステップS137においてポインタPの透過率を高透過率にする場合、完全透過(透過率100%)にするのではなく、薄いが視認される程度の透過率にすることが好ましい。この構成によれば、指示対象とともにポインタも視認できるように構成することができる。
さらに、本発明のように、ポインタの位置と操作者の視点との距離に応じてポインタの視認性を変化させる手法は、プログラムや方法としても適用可能である。また、以上のようなシステム、プログラム、方法は、単独の装置として実現される場合や、複数の装置によって実現される場合が想定可能であり、各種の態様を含むものである。例えば、以上のような手段を備えたナビゲーションシステム、携帯端末や方法、プログラムを提供することが可能である。また、一部がソフトウェアであり一部がハードウェアであったりするなど、適宜、変更可能である。さらに、システムを制御するプログラムの記録媒体としても発明は成立する。むろん、そのソフトウェアの記録媒体は、磁気記録媒体であってもよいし光磁気記録媒体であってもよいし、今後開発されるいかなる記録媒体においても全く同様に考えることができる。
10…ナビゲーションシステム、20…制御部、21…ポインタ制御プログラム、21a…ポインタ位置制御部、21b…視点検出部、21c…ポインタ表示制御部、30…記録媒体、30a…アイコン情報、40…ディスプレイ、41…ポインティングデバイス、42…視線検出センサ

Claims (3)

  1. 指示対象を指示するポインタの位置をポインティングデバイスの出力に基づいて制御するポインタ位置制御部と、
    前記ポインティングデバイスの操作者の視点を検出する視点検出部と、
    前記ポインタの位置と前記視点との距離に応じて前記ポインタの視認性を変化させるポインタ表示制御部と、
    を備え
    前記ポインタ表示制御部は、
    前記ポインタの位置と前記視点との距離が小さい場合、大きい場合よりも前記視認性を高くする、
    ポインタ制御システム。
  2. 前記ポインタ表示制御部は、
    前記ポインタの位置が前記視点に一致している場合、一致していない場合よりも前記視認性を低くする、
    請求項1に記載のポインタ制御システム。
  3. コンピュータを、
    指示対象を指示するポインタの位置をポインティングデバイスの出力に基づいて制御するポインタ位置制御部、
    前記ポインティングデバイスの操作者の視点を検出する視点検出部、
    前記ポインタの位置と前記視点との距離に応じて前記ポインタの視認性を変化させるポインタ表示制御部、
    として機能させ、
    前記ポインタ表示制御部は、コンピュータを、
    前記ポインタの位置と前記視点との距離が小さい場合、大きい場合よりも前記視認性を高くするように機能させる、
    ポインタ制御プログラム。
JP2016166217A 2016-08-26 2016-08-26 ポインタ制御システムおよびポインタ制御プログラム Active JP6696357B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2016166217A JP6696357B2 (ja) 2016-08-26 2016-08-26 ポインタ制御システムおよびポインタ制御プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016166217A JP6696357B2 (ja) 2016-08-26 2016-08-26 ポインタ制御システムおよびポインタ制御プログラム

Publications (2)

Publication Number Publication Date
JP2018032348A JP2018032348A (ja) 2018-03-01
JP6696357B2 true JP6696357B2 (ja) 2020-05-20

Family

ID=61304526

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016166217A Active JP6696357B2 (ja) 2016-08-26 2016-08-26 ポインタ制御システムおよびポインタ制御プログラム

Country Status (1)

Country Link
JP (1) JP6696357B2 (ja)

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3959354B2 (ja) * 2003-01-10 2007-08-15 株式会社東芝 画像生成装置、画像生成方法、及び画像生成プログラム
JP2004287823A (ja) * 2003-03-20 2004-10-14 Seiko Epson Corp ポインティング操作支援システム
US20120105486A1 (en) * 2009-04-09 2012-05-03 Dynavox Systems Llc Calibration free, motion tolerent eye-gaze direction detector with contextually aware computer interaction and communication methods
JP2012148710A (ja) * 2011-01-20 2012-08-09 Toyota Motor Corp 画像表示装置
JP6365267B2 (ja) * 2014-11-27 2018-08-01 富士通株式会社 表示装置、表示方法及び表示プログラム
JP6557981B2 (ja) * 2015-01-30 2019-08-14 富士通株式会社 表示装置、表示プログラム及び表示方法

Also Published As

Publication number Publication date
JP2018032348A (ja) 2018-03-01

Similar Documents

Publication Publication Date Title
US10606441B2 (en) Operation control device and operation control method
US10642372B2 (en) Apparatus and method for remote control using camera-based virtual touch
US8666115B2 (en) Computer vision gesture based control of a device
US10489981B2 (en) Information processing device, information processing method, and program for controlling display of a virtual object
US8675916B2 (en) User interface apparatus and method using movement recognition
JP6252409B2 (ja) 情報処理装置、情報処理方法およびプログラム
JP2013069224A (ja) 動作認識装置、動作認識方法、操作装置、電子機器、及び、プログラム
JP2012069114A (ja) 指先ポインティング、ジェスチャに基づく車両用ヒューマンマシンインタフェース
KR20130105725A (ko) 콘텐츠의 양 손 제어에 기반한 컴퓨터 비전
US20140053115A1 (en) Computer vision gesture based control of a device
WO2017169273A1 (ja) 情報処理装置、情報処理方法、及びプログラム
JP6911834B2 (ja) 情報処理装置、情報処理方法、およびプログラム
JP2010117917A (ja) 動作検出装置および操作システム
US10013802B2 (en) Virtual fitting system and virtual fitting method
CN111819841B (zh) 信息处理装置、信息处理方法和存储介质
WO2017169272A1 (ja) 情報処理装置、情報処理方法、及びプログラム
JP2016126687A (ja) ヘッドマウントディスプレイ、操作受付方法および操作受付プログラム
JP6696357B2 (ja) ポインタ制御システムおよびポインタ制御プログラム
JP7293620B2 (ja) ジェスチャ検出装置、およびジェスチャ検出方法
US20230099167A1 (en) Display user interface method and system
JP2018041219A (ja) 視点取得システムおよび視点取得プログラム
JP2018063521A (ja) 表示制御システムおよび表示制御プログラム
JP2018092518A (ja) 表示制御システムおよび表示制御プログラム
JP6409948B2 (ja) 情報処理装置、情報処理方法およびプログラム
JP2018041354A (ja) ポインタ制御システムおよびポインタ制御プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190301

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20191009

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20191015

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191119

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200324

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200406

R150 Certificate of patent or registration of utility model

Ref document number: 6696357

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150