JP2014170344A - 情報表示制御装置、情報表示装置および情報表示制御方法 - Google Patents

情報表示制御装置、情報表示装置および情報表示制御方法 Download PDF

Info

Publication number
JP2014170344A
JP2014170344A JP2013041429A JP2013041429A JP2014170344A JP 2014170344 A JP2014170344 A JP 2014170344A JP 2013041429 A JP2013041429 A JP 2013041429A JP 2013041429 A JP2013041429 A JP 2013041429A JP 2014170344 A JP2014170344 A JP 2014170344A
Authority
JP
Japan
Prior art keywords
display
prompt
input
input surface
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2013041429A
Other languages
English (en)
Other versions
JP5984718B2 (ja
Inventor
Hidekazu Arita
英一 有田
Mitsuo Shitaya
光生 下谷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Priority to JP2013041429A priority Critical patent/JP5984718B2/ja
Publication of JP2014170344A publication Critical patent/JP2014170344A/ja
Application granted granted Critical
Publication of JP5984718B2 publication Critical patent/JP5984718B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

【課題】入力装置の入力面と表示装置の表示面とを相似形に設計しなければならないという制約を不要にしうる技術を提供する。
【解決手段】制御部は、表示面2aにプロンプト表示領域2bを設定する(プロンプト表示領域設定処理)。制御部は、入力面内位置(x0,y0)を、プロンプト表示領域2b内の対応位置である表示面内位置(X0,Y0)に、入力面4aと入力面内位置(x0,y0)との位置関係がプロンプト表示領域2bと表示面内位置(X0,Y0)との位置関係に保持されるように規定された変換規則に従って、変換する(2次元位置変換処理)。制御部は、2次元位置変換処理で得られた表示面内位置(X0,Y0)にプロンプト31を表示させるための表示画像データを生成する(表示画像データ生成処理)。
【選択図】図6

Description

本発明は、情報表示制御装置、情報表示装置および情報表示制御方法に関する。
下記特許文献1には、プロンプター方式と称される遠隔操作技術を採用したカーナビゲーション装置が紹介されている。このカーナビゲーション装置では、表示装置が車両のセンターコンソールの上部に取り付けられ、タッチパネルが該センターコンソールの下部に取り付けられている。さらに、タッチパネル上を移動する手を撮影するためのカメラが設けられている。タッチパネルの表面に指を当てて上下左右に移動させると、カメラが、操作する手を含むタッチパネルの表面を撮影する。撮影映像から手の画像が抽出され、その手画像がメインの画像に重畳される。タッチパネル上での指の移動に併せて、表示画面上を手画像が移動するので、あたかもタッチパネル付き画面を操作しているような感覚が得られる。
下記特許文献2には、パーソナルコンピュータの使用環境において、タブレット上にペンで筆記することによって入力操作を行う技術が紹介されている。特にペンの3次元位置を検出する種々の技術が紹介されている。また、画面上のカーソルに影を付け、その影を、タブレット上方のペンの高さに応じて変化させることにより、手元を見なくても実際のペンが置かれている空間位置を把握できるとしている。
特許第4915503号公報 特開平9−305306号公報
特許文献1の技術では、タッチパネルの表示面の全面が、入力面になっている。また、特許文献2の技術では、タブレットの入力面の全面が、表示面の全面に対応している。すなわち、従来技術では、入力面の全面が表示面の全面に対応付けられており、しかもその対応付けは固定されている。
したがって、入力面と表示面とを相似形にする必要がある。例えば、表示面の形状が先に設計される場合、それと相似形の入力面を有した入力装置を調達しなければならない。逆の状況も起こりうる。すなわち、入力面と表示面とを相似形にしなければならないという制約は、製品開発(仕様設計、デザイン設計、等)の自由度を狭めてしまう。また、その結果、例えば、製品の操作性が低くなってしまうことも考えられる。
本発明は、上記制約を不要にしうる技術を提供することを目的とする。
本発明の一形態に係る情報表示制御装置は、表示装置用接続部と、入力装置用接続部と、制御部とを含む。表示装置用接続部は、表示面を有する表示装置が接続される。入力装置用接続部は、入力面上における指示物の位置である入力面内位置を検出する入力装置が接続され、入力装置から検出結果に関する位置情報が入力される。制御部は、プロンプト表示領域設定処理と、2次元位置変換処理と、表示画像データ生成処理とを行う。プロンプト表示領域設定処理では、制御部は、表示面にプロンプト表示領域を設定する。2次元位置変換処理では、制御部は、入力面内位置を、プロンプト表示領域内の対応位置である表示面内位置に、入力面と入力面内位置との位置関係がプロンプト表示領域と表示面内位置との位置関係に保持されるように規定された変換規則に従って、変換する。表示画像データ生成処理では、制御部は、2次元位置変換処理で得られた表示面内位置にプロンプトを表示させるための表示画像データを生成する。
上記一形態によれば、表示面にプロンプト表示領域が設定され、入力面と入力面内位置との位置関係がプロンプト表示領域と表示面内位置との位置関係に保持されるように、入力面内位置から表示面内位置への変換が行われる。このため、入力面と表示面とが相似形である必要はないし、さらに入力面とプロンプト表示領域とが相似形である必要もない。このため、製品開発(仕様設計、デザイン設計、等)に高い自由度を与えることができる。それにより、例えば、製品の操作性の向上に貢献する。
本発明の目的、特徴および利点は、以下の詳細な説明と添付図面とによって、より明白となる。
実施の形態1について、情報表示装置を例示するブロック図である。 実施の形態1について、表示面と入力面の配置位置を例示する図である。 実施の形態1について、情報表示制御装置を例示するブロック図である。 実施の形態1について、情報表示装置の動作を例示するフローチャートである。 実施の形態1について、プロンプト表示領域を例示する図である。 実施の形態1について、入力面と表示面とプロンプト表示領域との関係を例示する共に、2次元位置変換処理を説明する図である。 実施の形態1について、2次元位置変換処理を説明する図である。 実施の形態1について、入力面と表示面とプロンプト表示領域との関係を例示する共に、2次元位置変換処理を説明する図である。 実施の形態1について、情報表示装置の他の動作を例示するフローチャートである。 実施の形態2について、入力面と表示面とプロンプト表示領域と入力受付領域との関係を例示する共に、2次元位置変換処理を説明する図である。 実施の形態2について、情報表示装置の動作を例示するフローチャートである。 実施の形態3について、プロンプトの表現を例示する図である。 実施の形態3について、情報表示装置の動作を例示するフローチャートである。 実施の形態3について、プロンプトの表現の変化を例示する図である。 実施の形態3について、プロンプトの表現を例示する図である。 実施の形態3について、距離情報の変化を例示する図である。 実施の形態3について、距離情報の変化を例示する図である。 実施の形態3について、距離情報の変化を例示する図である。 実施の形態3について、情報表示装置の動作を例示するフローチャートである(付加情報ありの場合)。 実施の形態3について、距離情報の第2例を示す図である。 実施の形態3について、距離情報の第3例を示す図である。 実施の形態3について、プロンプトの表現を例示する図である(プロンプトをナビゲーション関連のアイコン上に表示する場合)。 実施の形態3について、プロンプトの表現を例示する図である(プロンプトをAV関連のアイコン上に表示する場合)。 実施の形態3について、プロンプトの表現を例示する図である(プロンプトをアイコン領域に表示する場合)。 実施の形態3について、プロンプトの表現を例示する図である(プロンプトを画面操作領域に表示する場合)。 実施の形態3について、プロンプトの表現を例示する図である(プロンプトを操作不許可アイコン上に表示する場合)。 実施の形態3について、プロンプトの表現を例示する図である(プロンプトを操作許可アイコン上に表示する場合)。 実施の形態3について、プロンプトの表現を例示する図である(プロンプトを操作不許可領域に表示する場合)。 実施の形態3について、プロンプトの表現を例示する図である(プロンプトを操作許可領域に表示する場合)。 実施の形態3について、プロンプトの表現を例示する図である(操作不許可領域から操作許可領域への進入方向が複数存在しうる場合)。 実施の形態3について、プロンプトおよび面内状態情報の表現を例示する図である(面内状態連動条件)。 実施の形態3について、プロンプトの表現を例示する図である(ジェスチャ操作と関連付けた場合)。 実施の形態3について、プロンプトの表現を例示する図である(スタイラスペンの場合)。 実施の形態3について、情報表示制御装置を例示するブロック図である(スタイラスペンを利用する場合)。 実施の形態3について、複数の入力装置を利用する場合の構成を例示するブロック図である。 実施の形態3について、複数のプロンプトが表示された画面を例示する図である(非分割画面の場合)。 実施の形態3について、複数のプロンプトが表示された画面を例示する図である(分割画面の場合)。 実施の形態3について、複数のプロンプトが表示された画面を例示する図である(スプリットビュー画面の場合)。 実施の形態4について、アイコンの視認性の調整を例示する図である。 実施の形態4について、情報表示装置の動作を例示するフローチャートである。 実施の形態4について、アイコンの視認性の変化を例示する図である。 実施の形態4について、アイコンの視認性の変化を例示する図である。 実施の形態4について、アイコンの視認性の変化を例示する図である。 実施の形態4について、地図画像の視認性の調整を例示する図である。 実施の形態4について、地図画像の視認性の変化を例示する図である。 実施の形態4について、地図画像の視認性の変化を例示する図である。 実施の形態4について、アイコンの視認性の調整を例示する図である。 実施の形態4について、情報表示装置の動作を例示するフローチャートである。 実施の形態4について、画面表示の変化を例示する図である。 実施の形態5について、情報表示装置の動作を例示するフローチャートである。 実施の形態5について、距離値補正処理を説明する斜視図である(指示物が運転席側から到来する場合)。 実施の形態5について、距離値補正処理を説明する側面図である(指示物が運転席側から到来する場合)。 実施の形態5について、距離値補正処理を説明する斜視図である(指示物が助手席側から到来する場合)。 実施の形態5について、距離値補正処理を説明する側面図である(曲線経路の場合)。
<実施の形態1>
<全体構成の概略>
図1に、実施の形態1に係る情報表示装置1のブロック図を例示する。図1では情報表示装置1が、移動体の一例である自動車に搭載される場合を例示しており、そのような使用環境下で情報表示装置1に接続される種々の装置も例示している。なお、情報表示装置1は、自動車以外の車両(例えば鉄道車両)に搭載されてもよいし、車両以外の移動体(例えば飛行機、船)に搭載されてもよい。
図1の例によれば、情報表示装置1は表示装置2と情報表示制御装置3とに大別され、情報表示制御装置3に入力装置4と、スピーカ5と、AV(Audio-Visual)機器6と、現在位置検出装置7とが接続されている。なお、スピーカ5の接続は任意であり、AV機器6と現在位置検出装置7のそれぞれも同様である。
表示装置2は、各種情報を表示する。表示装置2は、例えば、複数の画素がマトリクス状に配置されることによって構成された表示面2aと、情報表示制御装置3から取得した表示画像データに基づいて各画素を駆動する(換言すれば、各画素の表示状態を制御する)駆動装置と、を含んでいる。なお、表示画像データは、予め定められた信号フォーマットの映像信号(デジタル信号でもアナログ信号でもよい)として、情報表示制御装置3から表示装置2に供給される。表示装置2で表示する画像は、静止画像の場合もあるし、動画像の場合もあるし、さらには静止画像と動画像の組み合わせの場合もある。
表示装置2は、例えば液晶表示装置によって構成可能である。この例によれば、表示パネル(ここでは液晶パネル)の表示領域が表示面2aに対応し、表示パネルに外付けされた駆動回路が上記駆動装置に対応する。なお、駆動回路の一部が表示パネルに内蔵される場合もある。液晶表示装置の他に、エレクトロルミネセンス(EL)表示装置、プラズマディスプレイ装置、等によって、表示装置2を構成することも可能である。
情報表示制御装置3は、各種の処理を行う。具体的には、情報表示制御装置3は、表示装置2およびスピーカ5に供給する信号を生成する。また、情報表示制御装置3は、入力装置4から入力される情報(指示を含む)を解析し、解析結果に応じた各種処理(例えば表示装置2の制御)を行う。また、情報表示制御装置3は、AV機器6から入力されるAV信号を表示装置2およびスピーカ5向けに加工する。また、情報表示制御装置3は、ユーザ指示に応じてAV機器6を制御する。また、情報表示制御装置3は、現在位置検出装置7から入力される情報を使って、ナビゲーション機能等を実現する。
入力装置4は、ユーザから情報(指示を含む)を受け付ける。入力装置4は、例えば、ユーザが入力のために用いる指示物を検出する検出部と、検出部によって検出された結果を検出信号として情報表示制御装置3へ出力する検出信号出力部と、を含んでいる。
特に、入力装置4は、入力面4aを有し、入力面4a上の空間に存在する指示物の3次元位置を検出し、検出結果に関する3次元位置情報を出力する。ここでは、そのような3次元位置検出機能を有する入力装置4として、非接触型(3次元(3D)型とも称される)のタッチパネルを例示する。非接触型タッチパネルとして種々の方式が開発されているが、例えば、静電容量方式の一つである投影容量方式が知られている。以下では入力装置4をタッチパネル4と称する場合がある。なお、タッチパネルはタッチパッドと称される場合もある。
但し、実施の形態1では、入力装置4は接触型(2次元(2D)型とも称される)であってもよい。接触型では、入力面4a上方の指示物は検出されず、指示物が入力面4aに接触している状態において入力面4a上における指示物の2次元位置が検出される。
タッチパネル4の入力面4aにはセンサが設けられており、各センサの出力信号の状態から、入力面4a上および入力面4a上方における指示物の3次元位置を特定可能である。特定された3次元位置は例えば、入力面4aに予め設定された3次元座標上の座標データによって表現される。この場合、入力面4a上で指示物を移動させると指示物の位置を示す座標データが変化するので、連続的に取得される一連の座標データによって指示物の移動を検出可能である。なお、座標以外の手法によって指示物の3次元位置情報を表現してもよい。
タッチパネル4は、指示物の3次元位置の検出だけでなく、入力面4aに対する指示物の押圧力を検出可能な構成を採用してもよい。
タッチパネル4は情報表示装置1専用であってもよいし、あるいは、汎用の情報端末機に搭載されているタッチパネルをタッチパネル4として利用してもよい。
なお、入力に用いる上記指示物が、ユーザの指(より具体的には、指先)である場合を例示する。但し、例えばスタイラスペン(タッチペンとも称される)等の道具を指示物として利用してもよい。
スピーカ5は、聴覚的情報を出力する。例えば、CD等の音声、操作音、通知音、効果音、ガイダンス音声、等がスピーカ5から出力される。AV機器6は例えば、CD、DVD、SDメモリカード等のメディアに記録されているAVデータを再生する。
現在位置検出装置7は、自動車の現在位置を検出する。現在位置検出装置7は、例えば、GPS(Global Positioning System)受信装置である。GPS受信装置は、GPS受信用のアンテナを介してGPS衛星から受信した情報に基づいて自車位置の現在位置を取得する。なお、GPSに代えて、加速度センサ、ジャイロまたは車速検出器によって、現在位置検出装置7を構成してもよい。あるいは、それらの組み合わせによって、現在位置検出装置7を構成してもよい。
ここで、図2に、表示装置2の表示面2aとタッチパネル4の入力面4aの配置位置を例示する。図2の例では、表示装置2は統合インストルメントパネルを構成し、表示面2aは運転席正面に配置されている。
統合インストルメントパネルとは、例えば、メータ(車速計、回転計、等)、各種警報、ナビゲーション画像、各種装置(AV機器6等)の動作状況、車載カメラによる撮影映像を、統合的に表示可能な表示盤である。統合インストルメントパネルによれば、1種類または複数種類の情報がレイアウト表示され、また、表示する情報を切り替え可能である。情報のレイアウトおよび切り替えはユーザが操作可能であってもよい。なお、統合インストルメントパネルは、統合ダッシュボード、メータクラスタ、等とも称される。
なお、図2に2点鎖線で示すように、表示面2aはダッシュボード中央、すなわち運転席正面と助手席正面の間に配置されてもよい。
他方、タッチパネル4の入力面4aは、表示面2aとは別の場所に配置されている。図2の例では、入力面4aは、運転席横(助手席側)に、天井に向く姿勢で配置されている。なお、図2に2点鎖線で示すように、入力面4aはダッシュボードに、運転席後方に向く姿勢で配置されてもよい。入力面4aの配置場所は上記に限るものではない。
いずれの配置例においても、ユーザ(運転手)は、表示面2aと入力面4aとを同時に視界に入れるのが難しい。このため、従来であれば、入力操作時に表示面と入力面とを交互に見ることになるであろう。さらに、運転中は、車両前方を特に注視する必要がある。このような環境下においても情報表示装置1によれば、後述のように、操作性の向上等を図ることができる。
なお、情報表示装置1の利用環境は自動車等の移動体内に限定されるものではない。例えば、表示面2aおよび入力面4aは卓上に配置されてもよいし、あるいは、表示面2aを室内壁面に配置してもよい。すなわち、表示面2aと入力面4aとが離れるほど、表示面2aと入力面4aを同時に視界に入れるのが難しくなる。また、表示面2aが大きくなるほど、同様の傾向が生じる。
図3に、情報表示制御装置3のブロック図を例示する。図3の例によれば、情報表示制御装置3は、制御部11と、記憶部12と、接続部22,24,25,26,27とを含んでいる。
制御部11は、情報表示制御装置3における(換言すれば、情報表示装置1における)各種の処理を行う。例えば、制御部11は、タッチパネル4(図1参照)から入力された情報を解析し、その解析結果に応じた画像データを生成し、その画像データを表示装置2へ出力する。
ここでは、制御部11が中央演算処理部(例えば1つまたは複数のマイクロプロセッサで構成される)と主記憶部(例えばROM、RAM、フラッシュメモリ等の1つまたは複数の記憶装置で構成される)とによって構成される場合を例示する。この例によれば、主記憶部に格納された各種プログラム(換言すれば、アプリケーション)を中央演算処理部が実行することによって(換言すれば、ソフトウェアによって)、各種処理が実行される。各種処理は並列的に実行させることも可能である。なお、各種処理によって、それに対応した各種機能が実現される。
制御部11が実行するプログラムとして、入力解析、画像生成、ナビゲーション、AV再生、等のプログラムが挙げられる。
制御部11が実行するプログラムは、予め制御部11の主記憶部に格納されていてもよいし、あるいは、実行時に記憶部12から読み出されて主記憶部に格納されてもよい。主記憶部は、プログラムだけでなく各種データの格納にも利用される。また、主記憶部は、中央演算処理部がプログラムを実行する際の作業領域を提供する。また、主記憶部は、表示装置2に表示する画像を書き込むため画像保持部を提供する。画像保持部はビデオメモリまたはグラフィックメモリと称される場合もある。
なお、制御部11が行う処理の全部又は一部が、ハードウェア(例えば、特定の演算を行うように構成された演算回路等)として構成されていてもよい。
記憶部12は、各種情報を格納する。ここでは、記憶部12は、制御部11が利用する補助記憶部として設けられている。記憶部12は、例えば、ハードディスク装置、光ディスク、書き換え可能かつ不揮発性の半導体メモリ、等の記憶装置の1つ以上を利用して構成可能である。
記憶部12に格納される情報として、画像データ(アイコン、プロンプト、地図、等)、音声データ(操作音、通知音、効果音、ガイダンス音声、等)、AVデータ、等が挙げられる。
接続部22は、表示装置2用に設けられ、表示装置2と制御部11とを信号伝送可能に接続する。なお、表示装置2と制御部11との間の信号伝送は、有線、無線、またはそれらの組み合わせのいずれであってもよい。
接続部22は例えば配線である。また、接続部22は例えば配線接続用のコネクタを含んでもよく、この場合、表示装置2は接続相手となるコネクタを有する。
また、接続部22は例えば、制御部11から表示装置2へ伝送する信号を生成する信号生成回路を含んでもよい。具体的に、その信号生成回路は、制御部11で生成されたデジタル信号(制御指示、画像データ、等)を伝送するためのアナログ伝送信号を生成する。この場合、表示装置2は、接続部22の信号生成回路に対応した信号生成回路を有する。なお、表示装置2が制御部11へ向けて信号を伝送可能である場合、接続部22の信号生成回路は、表示装置2から送られてきたアナログ伝送信号から、制御部11が取り扱い可能なデジタル信号を生成する。
また、接続部22および表示装置2の信号生成回路は、上記アナログ伝送信号として無線信号を生成する構成であってもよい。この場合、接続部22および表示装置2はアンテナも含むことになる。
接続部24はタッチパネル4用に設けられ、接続部25はスピーカ5用に設けられ、接続部26はAV機器6用に設けられ、接続部27は現在位置検出装置7用に設けられている。これらの接続部24,25,26,27も、表示装置2用の接続部22と同様に構成可能である。
なお、スピーカ5用の接続部25の搭載は任意である。また、スピーカ5用の接続部25を搭載していても、スピーカ5を接続しない構成を採用してもよい。AV機器6用の接続部26と現在位置検出装置7の接続部27のそれぞれも同様である。
<動作例>
図4に、実施の形態1に係る動作例のフローチャートを示す。
<プロンプト表示領域設定処理>
図4に例示の処理S10によれば、ステップS11において制御部11は、表示面2aのうちでプロンプトを表示する領域であるプロンプト表示領域を、表示面2aに設定する(プロンプト表示領域設定処理)。プロンプト表示領域は、表示面2aのうちでプロンプトが移動可能な領域であるプロンプト可動領域と称してもよい。なお、プロンプトは、指示物の入力面4a上の位置情報を表示面2aにおいて表現する描画要素であり、カーソル、ポインタ、等と称される場合もある。
ステップS11では、例えば、表示面2aにおける表示情報のレイアウトに応じて、プロンプト表示領域の形状、大きさ、配置位置、等が設定される。すなわち、プロンプト表示領域の形状、大きさ、配置位置、等は可変である。図5にプロンプト表示領域2bの一例を示す。図5の例では、統合インストルメントパネルを提供する表示面2aのうちで、メータが表示されているメータ領域以外に、プロンプト表示領域2bが設定されている。例えば、プロンプト表示領域2bには制御アイコン、地図画像等が表示され、ユーザはプロンプト31を使って制御アイコン、地図画像等を操作可能である。
なお、表示面2aのうちでプロンプト表示領域2b以外の領域(図5の例ではメータ領域)を、プロンプト非表示領域2cと称することにする。図5および後出の図面では、図面を見やすくするために、プロンプト表示領域2bに砂状ハッチングを施しているが、当該ハッチングはプロンプト表示領域2bの色等を限定するものではない。
図6に、プロンプト表示領域2bの他の例を示す。なお、図6には説明のために入力面4aも図示しているが、図6は入力面4aと表示面2aとの実寸法比を限定するものではない。図6の例では、プロンプト表示領域2bは入力面4aと同様に四角形をしているが、プロンプト表示領域2bと入力面4aとは相似形ではない。また、プロンプト表示領域2bは、表示面2aの一部に設定されている。
なお、図6では、入力面4aの左下頂点を仮想的なxyz座標系の原点に選び、入力面4aの横方向および縦方向にx軸およびy軸にそれぞれ設定し、入力面4aの法線方向にz軸を設定している。但し、座標系の設定はこれに限定されるものではない。例えば、入力面4aの中心に原点を設定してもよいし、あるいは、原点を入力面4aの上方に設定してもよい。しかし、どのような座標系も(直交座標系以外も含む)、図6に例示したxyz座標系に変換可能である。すなわち、図6の例示したxyz座標系であっても、一般性を失うことはない。また、図6では表示面2aに対しても同様にして、仮想的なXY座標を設定している。
<位置情報取得処理>
ステップS12では、タッチパネル4が入力面4a上の空間に存在する指示物を検出し、制御部11がその検出結果である3次元位置情報を、接続部24を介してタッチパネル4から取得する(位置情報取得処理)。
<2次元位置変換処理>
そして、制御部11は、ステップS13において、3次元位置情報に基づき、指示物の入力面内位置を、表示装置2の表示面内位置に変換する(2次元位置変換処理)。特に、表示面内位置はプロンプト31(図6参照)を配置する位置であり、このため表示面内位置はプロンプト表示領域2b内に設定される。ここで、図7に2次元位置変換処理の説明図を示す。
図7に示すように、入力面内位置は、入力面4aのうちで入力面4aの法線(図7ではz軸に平行な線である)に沿った指示物の直下位置のことである。換言すれば、指示物から入力面4aへ下ろした垂線と、入力面4aとの交点が、指示物の入力面内位置である。より具体的には図7の左部に示すように、指示物の位置の座標が(x0,y0,z0)である場合、入力面内位置の座標は(x0,y0,0)、換言すれば(x0,y0)である。
得られた入力面内位置(x0,y0)は、例えば予め規定された変換規則によって、表示装置2の表示面内位置(X0,Y0)に変換される。変換規則は変換式、変換テーブル、等によって具現化可能である。変換式を一般化すれば、X0=fx(x0,y0)、Y0=fy(x0,y0)で与えられる。また、表示面2aが曲面にデザインされている場合でも、その曲面デザインに応じて適切な変換式を規定することは可能である。
ここで、表示面内位置は、上記のように、プロンプト31の配置位置として、プロンプト表示領域2b内に設定される。このため、指示物が移動するのに応じて、プロンプト31もプロンプト表示領域2b内で同様に移動する必要がある。すなわち、入力面内位置が移動するのに応じて、表示面内位置もプロンプト表示領域2b内で同様に移動するように、入力面内位置と表示面内位置とが対応付けられる。そのような対応付けは、入力面4aと入力面内位置(x0,y0)との位置関係が、プロンプト表示領域2bと表示面内位置(X0,Y0)との位置関係においても保持されるように、変換規則を規定すればよい。
図6の例を使って、より具体的に説明する。図6に示すように、入力面4aの横寸法および縦寸法をpおよびqとし、プロンプト表示領域2bの横寸法および縦寸法をPおよびQとする。また、プロンプト表示領域2bの基点の座標を(Xa,Ya)とする。この場合、X0=Xa+x0×(P÷p)およびY0=Ya+y0×(Q÷q)という変換式(換言すれば、変換規則)を採用することによって、入力面4aと入力面内位置(x0,y0)との位置関係が、プロンプト表示領域2bと表示面内位置(X0,Y0)との位置関係において保持可能である。なお、図6では基点(Xa,Ya)としてプロンプト表示領域2bの左下頂点(換言すれば、XY座標の原点に最も近い頂点)を選んでいるが、他の位置に基点(Xa,Ya)を選んでも同様にして変換式を求められる。
また、図8に、別の形状のプロンプト表示領域2bを例示する。図8の例では、プロンプト表示領域2bは、四角形の上に半楕円形を載せた形状をしている。そのような形状のプロンプト表示領域2bにおいて表示面内位置(X0,Y0)は次のようにして求められる。
制御部11は、プロンプト表示領域2bの全体を内包し且つ大きさが最小の四角形2dを仮想的に設定する。図8では、その仮想四角形2dの左下頂点がプロンプト表示領域2bの基点(Xa,Ya)に設定されている。また、仮想四角形2dの横寸法および縦寸法が、プロンプト表示領域2bの横寸法Pおよび縦寸法Qとされている。
制御部11は、入力面内位置(x0,y0)から、入力面内位置(x0,y0)の角度θを算出する。当該角度θは、入力面4aのxy座標において、入力面内位置(x0,y0)と原点とを通る仮想直線4eが、x軸と成す角度である。また、制御部11は、原点から、仮想直線4eと入力面4aの外形線との交点までの距離len1を算出する。また、制御部11は、原点から入力面内位置(x0,y0)までの距離len2を算出する。
また、制御部11は、表示面2aのXY座標において、基点(Xa,Ya)を通りX軸に対して角度θを成す仮想直線2eを求める。次に、制御部11は、基点(Xa,Ya)から、仮想直線2eとプロンプト表示領域2bとの交点までの距離LEN1を算出する。その後、制御部11は、LEN2=LEN1×(len2÷len1)という関係式を使って、距離LEN2を算出する。そして、制御部11は、仮想線2e上において基点(Xa,Ya)から距離LEN2だけ離れた位置を、表示面内位置(X0,Y0)として求める。
すなわち、図8に例示した形状のプロンプト表示領域2bに対する変換規則は、例えば上記処理手順によって、規定可能である。ここで、上記処理手順は、図6に例示した四角形のプロンプト表示領域2bにも利用可能である。このため、上記処理手順は、一般化された変換規則の一例を提供するものである。
<表示画像データ生成処理>
図4に戻り、制御部11は、ステップS14において、表示画像データを生成する(表示画像データ生成処理)。例えば、プロンプト用のレイヤ(換言すれば、画像保持部)にプロンプト31の画像データを書き込み、アイコン用のレイヤにアイコンの画像データを書き込み、それらのレイヤと他のレイヤ(例えば地図画像データが書き込まれたレイヤ)とを合成することによって、表示画像データが生成される。ここで、プロンプト31は、ステップS13で得られた表示面内位置に表示されるように、表示画像データが生成される。ステップS14で生成された表示画像データは、表示装置2へ伝送され、表示装置2によって表示面2aに表示される。
そして、制御部11は、後続の検出タイミングで得られた3次元位置情報に対して、ステップS12〜S14を繰り返す。なお、制御部11は、例えばプロンプト表示領域2bの形状等を変更した場合、処理S10をステップS11から実行する。
このように、表示面2aにプロンプト表示領域2bが設定され、入力面4aと入力面内位置(x0,y0)との位置関係が、プロンプト表示領域2bと表示面内位置(X0,Y0)との位置関係に保持されるように、入力面内位置(x0,y0)から表示面内位置(X0,Y0)への変換が行われる。このため、入力面4aと表示面2aとが相似形である必要はないし、さらに入力面4aとプロンプト表示領域2bとが相似形である必要もない。このため、製品開発(仕様設計、デザイン設計、等)に高い自由度を与えることができる。それにより、例えば、製品の操作性の向上に貢献する。
ここで、情報表示制御装置3では、プロンプト表示領域設定処理(ステップS11参照)を採用しているので、プロンプト表示領域2bの形状、大きさ、配置位置、等が可変である。これに対し、従来技術(例えば特許文献1,2の技術)では、入力面の全面が表示面の全面に対応付けられており、しかもその対応付けは固定されている。つまり、従来技術では、入力面と表示面との対応付けが固定されているので、そもそもプロンプト表示領域設定処理を有していない。このため、構成および効果において、情報表示制御装置3は従来技術と相違する。
また、プロンプト表示領域2bを表示面2aの一部に対して設定する場合、従来技術に比べて高い操作性が得られる。すなわち、従来技術では入力面の全面が表示面の全面に対応付けられているので、表示面の一部においてプロンプトを操作する場合、入力面の一部(表示面の一部に対応する部分)において指示物を操作しなければならない。これに対し、情報表示制御装置3によれば、入力面4aをより広く使って(ここでは入力面4aの全面を使って)、プロンプト表示領域2b(ここでは表示面2aの一部に対して設定されている)内のプロンプト31を操作可能である。このため、プロンプト31の精細な操作が容易化され、例えば誤操作を低減できる。つまり、高い操作性が得られる。
なお、プロンプト表示領域設定処理の採用は、プロンプト表示領域2bを表示面2aの全面に設定すること、および、プロンプト表示領域2bを入力面4aと相似形に設定すること、を禁止するものではない。すなわち、プロンプト表示領域設定処理を採用しているからこそ、それらの設定も選択可能なのである。
ところで、入力面内位置(x0,y0)から表示面内位置(X0,Y0)への変換規則(図6および図8参照)は、プロンプト表示領域2bが表示面2aの一部に固定的に予め設定されている場合に対しても、適用可能である。なお、この場合、プロンプト表示領域2bは入力面4aと相似形であってもよいし、相似形でなくてもよい。この例のフローチャートを図9に示す。図9に例示の処理S20は、図4の処理S10からプロンプト表示領域設定ステップS11を省略したフローになっている。かかる処理S20が、各検出タイミングで3次元位置情報が得られる度に、実行される。
このような適用例によっても、上記で説明した効果が得られる。また、当該適用例も、入力面の全面が表示面の全面に対応付けられ且つその対応付けが固定されている従来技術に対して、構成および効果において相違する。
<実施の形態2>
実施の形態1では、入力面4aの全面を利用する例を説明した。実施の形態2では、入力面4aにプロンプト表示領域2bの形状に応じた領域を設定し、その領域を、入力を受付ける領域(以下、入力受付領域と称する)として利用する例を説明する。
図10に、表示面2aのプロンプト表示領域2bと、入力面4aの入力受付領域4bとの関係を例示する。図10では、図面を見やすくするために、入力受付領域4bに斜め交差状のハッチングを施しているが、当該ハッチングは入力受付領域4bの色等を限定するものではない。また、図10では図8と同じ形状のプロンプト表示領域2bを例示しているが、プロンプト表示領域2bは他の形状であってもよい。なお、入力面4aのうちで入力受付領域4b以外の領域を、入力非受付領域4cと称することにする。
図10に示すように、入力面4aの入力受付領域4bは、プロンプト表示領域2bと相似形に設定される。かかる形状の入力受付領域4b内に、指示物の入力面内位置(x0,y0)が存在する場合には、プロンプト表示領域2b内の表示面内位置(X0,Y0)にプロンプト31を表示する。
この際、入力受付領域4bとプロンプト表示領域2bとは相似形であるので、相似比をrとして、X0=x0×r+Xa、Y0=y0×r+Yaという変換式(換言すれば、変換規則)によって、入力面内位置(x0,y0)を表示面内位置(X0,Y0)に変換できる。すなわち、相似比rによる相似変換と、基点(Xa,Ya)分の平行移動とを利用して、位置変換を実行可能である。
なお、図10の例では入力受付領域4bの基点の座標を(xa,ya)をxy座標の原点に設定しているが、(xa,ya)≠(0,0)であってもよい。(xa,ya)≠(0,0)の場合も、上記と同様にして変換式を規定可能である。
他方、入力受付領域4b内に指示物の入力面内位置(x0,y0)が存在しない場合、プロンプト31を表示しない。
図11に、実施の形態2に係る動作例のフローチャートを示す。図11に例示の処理S30は、図4の処理S10においてステップS11,S12の間に、入力受付領域4bを設定するステップS31が追加されている。当該ステップS31では、制御部11が、上記のように入力面4aに対してプロンプト表示領域2bと相似形の入力受付領域4bを設定する入力受付領域設定処理を、実行する。
他のステップS11〜S14は基本的に処理S10の場合と同様であるが、2次元位置変換処理ステップS13は、入力面内位置が入力受付領域4b内に存在することを条件にして、実行される点が異なる。すなわち、処理S30における2次元位置変換処理は、入力面内位置が入力受付領域4b内に存在するか否かの判別処理も含んでいる。
処理S30は、各検出タイミングで3次元位置情報が得られる度に、実行される。
実施の形態2によれば、入力受付領域4bがプロンプト表示領域2bと相似形であるので、指示物の移動量(換言すれば、入力面内位置の移動量)とプロンプト31の移動量とが比例関係になる。このため、直感的な操作が確保される。また、指示物の入力面内位置(x0,y0)が入力受付領域4b内に存在しない場合にはプロンプト31を表示しないので、指示物がそのような状況にあることを表示面2aを通して把握できる。
入力受付領域4bは入力面4aにおいて最大の大きさで設定されるのが好ましい。これによれば、入力面4aをより広く使って、プロンプト表示領域2b内のプロンプト31を操作可能である。このため、プロンプト31の精細な操作が容易化され、例えば誤操作を低減できる。つまり、高い操作性が得られる。
また、制御部11は、入力受付領域設定処理において、入力面4aのうちで入力受付領域4bまたは入力非受付領域4cを選択的に盛り上げる指示を、タッチパネル4に与えてもよい。タッチパネル4が入力面4aを部分的に盛り上げる機能を有している場合、タッチパネル4は制御部11からの上記指示に従って該当する領域を盛り上げる。これによれば、ユーザは、その盛り上がりの境界を指示物を介して認識でき、それにより入力受付領域4bの範囲を入力面4aを見なくても判別できる。このため、操作性が向上する。
入力面4aの盛り上げは、例えば、膨張素子を利用すれば実現可能である。膨張素子は、例えば、電解液の封止構造を有した素子によって実現可能である。具体的には、その電解液に電気を供給すると、素子内部に気体が発生し、それにより膨張する。
ここで、図11の処理S30では、ステップS11においてプロンプト表示領域設定処理を実行する。このため、プロンプト表示領域2bは可変であり、プロンプト表示領域2bを表示面2aの一部または全部に対して設定可能である。これに対し、プロンプト表示領域2bが表示面2aの一部に固定的に予め設定されている場合に対しても、処理S30を応用可能である。すなわち、処理S30からステップS11を省略してもよい。
なお、実施の形態2では、タッチパネル4は非接触型(3D型)と接触型(2D型)のいずれでもよい。
<実施の形態3>
ここで、特許文献1の技術では、カメラで撮影した画像は平面画像であるので、手の位置はその平面画像における2次元位置でしか識別できない。また、カメラによる撮影は、指がタッチパネルに接触している時に限られている。すなわち、手の2次元位置情報しか利用されない。
他方、特許文献2の技術では、ペンの3次元位置を検出することができ、ペンの高さをカーソルの影に反映させることによって画面上でペンの高さを把握できる。しかし、特許文献2の技術はパーソナルコンピュータの使用環境が前提であるので、特許文献2の技術をそのまま他の使用環境で採用すると不便が生じる可能性がある。
これに対し、実施の形態3および後述の実施の形態4,5では、指示物の3次元位置情報を使って、プロンプト表示領域2bにおける画面表示を工夫することにより、操作性の向上等を図る。さらに、後述の実施の形態5では、種々の使用環境においても、ユーザの操作感覚に配慮した快適な操作環境を提供する。
なお、実施の形態3〜5は実施の形態1を基礎として説明するが、実施の形態2を基礎にして実施の形態3〜5を構築することも可能である。以下に、まず、実施の形態3を説明する。
<プロンプト>
実施の形態3では、プロンプト表示領域2bに表示するプロンプト31に種々の工夫を施している。それを、図12を参照して説明する。
図12の例によれば、タッチパネル4の入力面4aから指示物(ここでは指先)までの距離z0に対して、3つの閾値zth1,zth2,zth3が予め設定されている。但し、閾値の数は3つに限定されるものではない。なお、指示物の距離z0は、入力面4aの法線に沿った距離のことであり、指示物の高さz0と表現してもよい。
ここではzth1<zth2<zth3であり、例えば、zth1=1cm、zth2=2cm、zth3=3cmである。なお、zth1,zth2,zth3は不等間隔に設定してもよい。
3つの閾値zth1,zth2,zth3によって、指示物の距離z0に対して、5つの距離レベル(換言すれば、高さレベル)zlvl0,zlvl1,zlvl2,zlvl3,zlvl4が予め設定されている。すなわち、距離レベルzlvl0はz0=0に対応し、距離レベルzlvl1は0<z0<zth1に対応し、距離レベルzlvl2はzth1<z0<zth2に対応し、距離レベルzlvl3はzth2<z0<zth3に対応し、距離レベルzlvl4はzth3<z0に対応する。なお、z0=zth1を距離レベルzlvl1,zlvl2のいずれに含めるかは予め規定しておけばよい。z0=zth2およびz0=zth3も同様である。なお、図12の例では、z0=0に対して距離レベルzlvl0を割り当てているが、z0=0を距離レベルzlvl1に含めてもよい。
図12に示すように、各距離レベルzlvl0,zlvl1,zlvl2,zlvl3に対して、表現(換言すれば、見た目)の異なるプロンプト31が予め設定されている。図12の例では、距離レベルzlvl3,zlvl2には、写実的に描画された指先の画像(写真でもよい)が、プロンプト31の画像として割り当てられている。但し、距離レベルzlvl3のプロンプト31は、距離レベルzlvl2のプロンプト31よりも小さい。また、距離レベルzlvl1には、物を指し示す際に一般に行われる人差し指を突き出した状態の手を、線図で簡略化した手画像が、割り当てられている。また、距離レベルzlvl0には、距離レベルzlvl1の簡略化された手画像に背景枠を追加した画像が、割り当てられている。なお、図12の例では、指示物の距離z0が距離レベルzlvl4に該当する場合には、プロンプト31を表示しない。
このように、距離レベルzlvl0,zlvl1,zlvl2,zlvl3ごとに、プロンプト31の表現が異なっている。表現の相違は、表現要素が少なくとも1つが異なることによって、生じる。表現要素は例えば、大きさ、形状、色、模様、アニメーション表示である。このため、大きさと、形状と、色と、アニメーション表示とのうちの少なくとも1つの表現要素を、距離レベルzlvl0,zlvl1,zlvl2,zlvl3で変化させればよい。
図13に、プロンプト31の表現を指示物の距離z0に応じて変化させる処理S40のフローチャートを例示する。処理S40は基本的には処理S10(図4参照)と同様であるが、表示画像データ生成処理ステップS14が、距離レベル判別処理ステップS14aと、プロンプト表現設定処理ステップS14bとを含んでいる。
ステップS14aでは、制御部11は、ステップS12で取得した指示物の3次元位置情報に基づいて、指示物の距離z0が、距離レベルzlvl0,zlvl1,zlvl2,zlvl3,zlvl4(図12参照)のいずれに該当するかを判別する(距離レベル判別処理)。
次に、制御部11は、ステップS14bにおいて、プロンプト31の表現を設定する(プロンプト表現設定処理)。特に、制御部11は、ステップS14aで判別した距離レベルzlvl0,zlvl1,zlvl2,zlvl3,zlvl4を、予め定められた規則(図12参照)に照合することによって、プロンプト31の画像を選択する。これにより、指示物の距離レベルzlvl0,zlvl1,zlvl2,zlvl3,zlvl4に応じて、プロンプト31の表現を変化させることができる。
その後、制御部11は、プロンプト31が、ステップS13で得られた表示面内位置に、ステップS14bで設定された表現で以て表示されるように、表示画像データを生成する(表示画像データ生成処理)。
図14に、プロンプト31の表現の変化を例示する。なお、図14では、紙面の大きさの都合で、プロンプト表示領域2bのみを図示している。また、プロンプト表示領域2bが四角形の場合を例示している。
図14から分かるように、指示物の距離z0が減少するに従って、すなわち指示物が入力面4aに近づくに従って、プロンプト31の表現が変化する。また、指示物の距離z0が増大する場合にも、すなわち指示物が入力面4aから遠ざかる場合にも、プロンプト31の表現が変化する。
なお、2次元位置変換ステップS13は、距離レベル判別ステップS14aまたはプロンプト表現設定ステップS14bよりも後で実行してもよい。
また、図12の例によれば、指示物の距離z0が距離レベルzlvl4に該当する場合にはプロンプト31を表示しない。このため、3次元位置情報取得ステップS12の直後に距離レベル判別ステップS14aを実行し、指示物の距離z0が距離レベルzlvl4に該当することが判別されたならば、その3次元位置情報については、残りのステップS13,S14bを実行しないようにしてもよい。
このようにプロンプト31の表現が指示物の距離z0に応じて変化するので、ユーザ(ここでは運転手)は、タッチパネル4に向けた手元を見なくても、表示面2a(特にプロンプト表示領域2b)を通じて、タッチパネル4までの距離z0を把握することができる。このため、視線移動が減り、操作性が向上する。この点は、表示面2aと入力面4aとを同時に視界に入れるのが難しい環境下において、特に好適である。また、運転中に視線を車両前方から大きくそらすのを回避可能である。
また、プロンプト31の表現は、指示物の距離レベルごとに変化する。このため、プロンプトの大きさ等が連続的に変化する場合に比べて、プロンプト31の変化に気付きやすい。換言すれば、認知性に優れる。
また、プロンプトの大きさ等が連続的に変化する場合には、指示物の若干の揺れが、プロンプトの変化に過敏に反映されてしまう。しかし、プロンプト31のように指示物の距離レベルごとの変化であれば、そのような過敏な変化を抑制できる。このため、例えば車中のように揺れが生じる環境下においても、プロンプト31の表現が安定し、快適な操作性を提供可能である。
ここで、図12および図14の例では、各距離レベルzlvl1,zlvl2,zlvl3,zlvl4内においてプロンプト31の表現が変化しないものとした。これに対し、指示物の距離z0が或る距離レベルに属している間に、プロンプト31の表現を、指示物の距離z0に応じて変化させてもよい。図15にそのような例の説明図を示す。
図15の例では、距離レベルzlvl3において、プロンプト31の大きさを指示物の距離z0に応じて連続的に(換言すれば、無段階に)変化させる連続的変化を実行する。より具体的には、距離z0が連続的に小さくなるのに従って、プロンプト31を連続的に大きくする。逆に、距離z0が連続的に大きくなるのに従って、プロンプト31を連続的に小さくする。また、距離レベルzlvl2においても、距離レベルzlvl3と同様に、プロンプト31の大きさについて連続的変化を実行する。なお、距離レベルzlvl2,zlvl3間でプロンプト31の大きさが連続していてもよいし、あるいは、そのような連続性が無くてもよい。
また、図15の例では、距離z0が距離レベルzlvl3から距離レベルzlvl2に変化するのに伴って、および、距離z0が距離レベルzlvl2から距離レベルzlvl3に変化するのに伴って、プロンプト31の色を変化させる。
すなわち、距離レベルzlvl3では、距離レベルの変化に伴って変化させる表現要素とは異なる表現要素を、指示物の距離z0に応じて連続的に変化させる。距離レベルzlvl2においても同様である。このような連続的変化によれば、単一の距離レベル内においても指示物の距離z0の変化を把握しやすくなる。
また、上記のように、かかる連続的変化において変化させる表現要素を、距離レベルの変化に伴って変化させる表現要素とは異ならせている。このため、距離レベル単位でプロンプト31の表現を変化させることに起因した上記効果を損なうものではない。
図15の例では距離レベルzlvl1ではプロンプト31の大きさを変化させないものとしているが、距離レベルzlvl1内でプロンプト31の大きさを連続的に変化させてもよい。すなわち、距離レベルzlvl1,zlvl2,zlvl3のうちの一部または全部の距離レベルにおいて連続的変化を採用可能である。特に一部の距離レベルで連続的変化を採用した場合、全ての距離レベルで連続的変化を採用する場合に比べて、プロンプト31の描画処理にかかる負荷を軽減できる。
なお、図15の例とは異なり、大きさに代えてまたは加えて、他の表現要素を連続的に変化させてもよい。
<プロンプトの付加情報>
プロンプト31に付加情報を追加してもよい。付加情報の一例である距離情報について、図16を参照して説明する。図16の例では、指示物の距離z0が距離レベルzlvl1である場合に、距離情報32をプロンプト31に付加する。但し、他の距離レベルzlvl0,zlvl2,zlvl3において距離情報32を付加してもよい。
図16に例示の距離情報32は、帯状の図形であり、指示物の距離z0に応じて長さ(ここでは縦寸法)が変化する。かかる帯状の図形は、プロンプト31の背景として追加される。
帯状図形による距離情報32は、指示物の距離z0が小さいほど(すなわち、指示物が入力面4aに近いほど)、長くなる。例えば、図17に示すように、帯状図形の長さa(z0)はzth1/sを最大寸法とし、a(z0)=zth1/s−z0/sという式で与えられる。sは、距離z0と表示時の大きさとの変換係数である。なお、z0=zth1の際にも長さを有するように(図16参照)、オフセットを与えてもよい。また、ここでは幅(ここでは横寸法)は固定とするが、幅も距離z0に連動させてもよい。
図18に、距離情報32の変化を例示する。図18から分かるように、指示物の距離z0が減少するに従って、距離情報32である帯状図形が長くなる。逆に、指示物の距離z0が増大するに従って、帯状図形は短くなる。
図19に、距離情報32を追加する場合のフローチャートを例示する。図19の処理S50は、図13の処理S40のステップS14にステップS14c(付加情報設定処理)が追加されている。ステップS14cでは、制御部11は、指示物の距離z0に応じて、距離情報32である帯状図形の長さを設定する。そして、制御部11は、距離情報32付きのプロンプト31を含んだ表示画像のデータを生成し、その表示画像が表示されるように表示装置2を制御する。
図20および図21に、距離情報32の他の例を示す。図20の例では、距離情報32は、矢印状の図形であり、矢印の長さが指示物の距離z0に応じて変化する。図21の例では、距離情報32は、指示物の距離z0に対応する数値である。なお、当該数値は、距離z0の絶対的な数値でなくてもよく、例えば、距離z0を、予め定められた規則で変換した相対的な数値であってもよい。また、図形表示と数値表示とを組み合わせて、距離情報32を構成してもよい。
距離情報32によれば、表示面2aを通じて、指示物の距離z0を、さらに把握しやすくなる。また、距離情報32を、入力面4aに最も近い距離レベルzlvl1において表示し、他の距離レベルzlvl0,zlvl2,zlvl3では表示しない場合(図16参照)、指示物が入力面4aに近いことに気付きやすくなる。このため、指示物の入力面4aへの接触をスムーズに行うことができる。
<プロンプト等の他の例>
以下に、プロンプト31等の他の例を説明する。なお、以下の例示は、それぞれを単独で採用してもよいし、種々に組み合わせることも可能である。
プロンプト表現設定処理S14b(図13および図19を参照)において、プロンプト31の表現をプロンプト31の表示位置に応じて変化させるという位置連動条件を適用してもよい。例えば、次の第1〜第4の位置連動条件が挙げられる。
第1の位置連動条件は、プロンプト31を機能アイコン上に表示する場合、その機能アイコンに関連付けられている機能の種類に応じて、プロンプト31の表現を変化させる、という条件である。例えば、図22に示すように、プロンプト31がナビゲーション関連のアイコンと重なる場合は、指形状の表現を用いる。これに対し、図23に例示するように、プロンプト31がAV関連のアイコンと重なる場合は、音符形状の表現を用いる。
第2の位置連動条件は、プロンプト31をアイコン領域上に表示する場合と、プロンプト31を画面操作領域上に表示する場合とで、プロンプト31の表現を変化させる、という条件である。ここで、アイコン領域とは1つまたは複数のアイコンが配置された領域であり、図24および図25の画面例では、AV関連およびナビゲーション関連のアイコンが配置された画面右側の領域が、アイコン領域である。また、画面操作領域とはユーザが画面(換言すれば、表示内容)を操作可能な領域であり、表示内容操作領域と称してもよい。図24および図25の画面例では、中央部および左部からなる領域にスクロール等の操作が可能な地図画像が表示されており、この地図画像の領域が画面操作領域にあたる。第2の位置連動条件によれば、例えば、図24に示すようにプロンプト31をアイコン領域に表示する場合には線図の指画像を用い、図25に示すようにプロンプト31を画面操作領域に表示する場合は写実的な手画像を用いる。
第3の位置連動条件は、プロンプト31を操作許可アイコン(ユーザによる操作が許可されたアイコン)上に表示する場合と、プロンプト31を操作不許可アイコン(ユーザによる操作が許可されていないアイコン)上に表示する場合とで、プロンプト31の表現を変化させる、という条件である。例えば、多くの手順が予想される操作(例えば50音検索)を走行中に行うのは好ましくないので、そのような操作は、走行中は操作不許可に設定される。この場合、図26に例示するように、50音検索アイコンの位置にプロンプト31が存在する場合、そのプロンプト31は、通常よりも小さく、且つ、透明度を上げて、表示される。これに対し、図27に例示するように、停車中は50音検索アイコンは操作許可に設定され、当該アイコン上であってもプロンプト31を通常表現で表示する。
第4の位置連動条件は、プロンプト31を操作許可領域(ユーザによる操作が許可された領域)上に表示する場合と、プロンプト31を操作不許可領域(ユーザによる操作が許可されていない領域)上に表示する場合とで、プロンプト31の表現を変化させる、という条件である。例えば、図28に示すように、表示面2aにメータが表示されている場合、その表示領域は操作不許可領域に設定される。この場合、図28の例では、操作不許可領域においてプロンプト31は、指画像および手画像ではなく、十字印を丸で囲んだ形状で表示される。これに対し、図29に例示するように、操作許可領域では、プロンプト31を通常表現で表示する。なお、図29では、操作許可領域として、スクロール等の操作が可能な地図画像が表示された画面操作領域を例示しているが、操作許可領域は例えばアイコン領域であってもよい。
ここで、図30に例示するように、操作不許可領域から操作許可領域への進入方向が複数存在しうる場合、その進入方向に応じて、操作許可領域内でのプロンプト31の表現を設定してもよい(移動方向連動条件)。
位置連動条件を適用することにより、操作の確認に役立つ。なお、第1〜第4の位置連動条件のうちの1つだけを採用してもよいし、あるいは、第1〜第4の位置連動条件のうちの2つ以上を採用してもよい。
また、第1〜第4の位置連動条件は、指示物の距離z0に関わらず、適用可能である。換言すれば、z0=0の場合のみならずz0≠0の場合(指示物が入力面4aの上方に存在する場合)にも、第1〜第4の位置連動条件を適用することにより、指示物が入力面4aに接触する前に操作確認をすることができる。
また、プロンプト表現設定処理S14b(図13および図19を参照)において、プロンプト31の表現を、指示物の入力面内位置の状態に応じて変化させるという面内状態連動条件を適用してもよい。具体的に図31の例では、入力面内位置が静止している場合には、通常の手画像のプロンプト31を表示し、これに対し、入力面内位置が移動している場合には、十字印を丸で囲んだ形状のプロンプト31を表示する。これによれば、表示面2aを通しての操作状況確認を容易化できる。
プロンプト31の画像は図31の例に限定されるものではない。但し、図31の例のように、指示物の入力面内位置が移動状態である場合に簡略な画像を採用することにより、プロンプト31の描画処理にかかる負荷を軽減できる。
面内状態連動条件は、指示物の距離z0に関わらず、適用可能である。特にz0=0の場合における適用は、指示物によって入力されるジェスチャ操作(スクロール操作、拡大縮小操作、回転操作、等)の開始および終了に伴って、プロンプト31の表現を変化させることが可能である。具体的には、図32の例では、スクロール操作の開始に伴ってプロンプト31の表現を変化させ、スクロール操作の終了に伴ってプロンプト31の表現を戻している。なお、図32では、z0=0の場合の距離情報32として、楕円図形を例示している。このように、プロンプト31の表現変化と入力面4a上でのジェスチャ操作とを関連させることにより、ジェスチャ操作の実行状況が確認しやすくなる。
図31に戻り、面内状態連動条件は、プロンプト31の付加情報にも適用可能である。すなわち、付加情報の他の例として、指示物の入力面内位置の状態を示す面内状態情報33がある。制御部11は、付加情報設定処理S14c(図19参照)において、指示物の入力面内位置が移動している場合と静止している場合とで、面内状態情報33の表現を変化させる。図31には面内状態情報33として、指示物の移動方向を示す矢印状の図形と、背景枠とが例示されている。矢印状図形の長さは、固定であってもよいし、指示物の面内位置の移動量に応じて変化させてもよい。入力面内位置が静止している場合には面内状態情報33を付加せず、これに対し、入力面内位置が移動している場合には面内状態情報33をプロンプト31に付加する。これによれば、表示面2aを通しての操作状況確認を容易化できる。
図12および図16では指示物が指である場合に例示したが、指示物がスタイラスペンの場合におけるプロンプトの表現を、図33に例示する。なお、図33の例に、距離情報32(図16参照)と面内状態情報33(図31参照)の一方または両方を付加してもよい。
プロンプト表現設定処理S14b(図13および図19を参照)において、指示物の種類に応じてプロンプト31の表現を変化させることにより、複数種類の指示物を使い分けることができ、便利である。例えば、ペン用プロンプト31によって指示できる粒度(換言すれば、分解能)を指用プロンプト31よりも小さく設定すれば、スタイラスペンを選択することにより、精細な画面に対しても操作性が向上する。また、指とスタイラスペンとの使い分けによって、動作モードが切り替わるようにしてもよい。例えば、指利用時には相対座標入力モードが設定され、ペン利用時には絶対座標入力モードが設定されてもよい。
図34に、スタイラスペンを利用する場合について、情報表示制御装置3のブロック図を例示する。図34の例によれば、図3の構成例に、ペン用の接続部28が追加されている。具体的には、スタイラスペンに固有の識別情報を組み込んでおき、その識別情報が接続部28を介して制御部11へ伝送される。これによれば、制御部11は、識別情報の入力がある場合には、スタイラスペンが利用されていることを判別可能である。他方、識別情報の入力がなければ場合には、指が利用されていることを判別可能である。また、識別情報自体を判別することによって、複数のスタイラスペンを判別することも可能である。
スタイラスペンへの識別情報の付与、および、接続部28による識別情報の取得は、例えば、無線タグ技術を応用することによって、実現可能である。
ここで、図35に、2つのタッチパネル4を情報表示装置1に接続した例を示す。この場合、タッチパネル4ごとに指示物が用いられる。すなわち、2つの指示物によって、情報表示装置1への入力操作が行われる。入力装置用接続部24には、2つの指示物のそれぞれの3次元位置情報が、各指示物用のタッチパネル4から入力される。なお、2つの入力装置4の一方または両方がタッチパネル以外の装置であってもよい。
なお、それぞれのタッチパネル4に接続部(接続部24に相当)が設けられる場合、それらの接続部を総称が上記の入力装置用接続部24にあたる。また、例えば2つのタッチパネル4が共に無線通信で情報表示装置1に接続される場合、入力装置用接続部24を1つの無線通信用信号生成回路で構成することも可能である。すなわち、2つのタッチパネル4に対して、接続部24は種々の構成を採りうる。
制御部11は、指示物ごとの3次元位置情報を取得し、2つの指示物のうちの少なくとも1つについて、上記のプロンプト表現設定処理S14b(図13および図19を参照)を実行する。図36には、2つの指示物が同時に利用され、両方のプロンプト31にプロンプト表現設定処理S14bが適用された場合の画面を例示する。また、2つの指示物のうちの少なくとも1つに対して、付加情報設定処理S14c(図19参照)を実行してもよい。
同様にして3つ以上のタッチパネル4を接続して、3つ以上の指示物を利用することも可能である。なお、複数の指示物は同じ種類である必要はない。
ここで、図37に、表示面2aを2つの領域に分割し、一方のタッチパネル4を左画面用入力装置として利用し、他方のタッチパネル4を右画面用入力装置として利用する例を示す。また、図38に、いわゆるスプリットビュー画面の説明図を示す。スプリットビュー画面では、表示面2aを見る方向によって、見える画面が異なる。このため、例えば、一方のタッチパネル4は右側(ここでは運転席側)から見た画面用の入力装置として利用し、他方のタッチパネル4は左側(ここでは助手席側)から見た画面用の入力装置として利用することが可能である。
図38には、右側から見た画面ではプロンプト31の指画像を左向き(手首が右側に在り、人差し指が左側に在る)で表示し、左側から見た画面ではプロンプト31の指画像を右向き(手首が左側に在り、人差し指が右側に在る)で表示する例を図示している。これに対し、両方の指画像を同じ方向に向けてもよい。但し、図38の例によれば、指の向きが、表示面2aと座席との位置関係を反映しているので、プロンプト31を直感的に認識しやすい。図38における2つの指画像の向きは図36および図37の例にも応用可能である。
また、制御部11は、指示物の距離z0に応じて画面全体の色相を変化させてもよい(画面色相制御処理)。これによれば、プロンプト31を注視しなくても距離z0の変化を判別可能であり、それによりプロンプト31を探す時間を減らすことができる。このため、例えば、運転中に視線を長い時間、車両前方からそらすのを回避可能である。
また、制御部11は、指示物が入力面4aに接触した場合(すなわち距離z0=0になった場合)に、入力面4aを振動させる指示を、接続部24を介してタッチパネル4に与えてもよい。タッチパネル4は、入力面4aを振動させる機能を有している場合、その指示に従って入力面4aを振動させる。また、制御部11は、入力面4aを盛り上げる指示をタッチパネル4に与えてもよい。タッチパネル4は、入力面4aを盛り上げる機能を有している場合、その指示に従って入力面4aを盛り上げる。また、制御部11は通知音を、スピーカ5からまたはタッチパネル4のスピーカから、発生させてもよい。これらによれば、入力面4aを見なくても、さらには表示面2aを見なくても、入力面4aに接触したことが分かる。なお、上記3つの処理例を種々に組み合わせてもよい。
ここで、入力面4aの振動は、圧電素子等の振動素子を利用すれば実現可能である。また、入力面4aの盛り上げは、実施の形態1で例示したように、膨張素子を利用すれば実現可能である。なお、入力面4aの振動は、入力面4aの全体に発生させてもよいし、あるいは、指示物が接触した箇所を含む一部分に選択的に発生させてもよい。かかる点は入力面4aの盛り上げについても同様である。
<実施の形態4>
実施の形態4では、プロンプト31が指し示す第1オブジェクトと、他のオブジェクトである第2オブジェクトとの視認性の差を調整する。以下ではまず、第1オブジェクトがアイコンであり、そのアイコンの視認性を上げる例を説明する。
図39に、アイコン40の視認性の調整を説明する図を示す。図39の例によれば、タッチパネル4の入力面4aから指示物(ここでは指先)までの距離z0に対して、2つの閾値ztha,zthbが予め設定されている。但し、閾値の数は2つに限定されるものではない。
ここではztha<zthbであり、例えば、ztha=1cm、zthb=2cmである。なお、ztha,zthbは不等間隔に設定してもよい。
2つの閾値ztha,zthbによって、指示物の距離z0に対して、4つの距離レベル(換言すれば、高さレベル)zlvl0,zlvla,zlvlb,zlvlcが予め設定されている。すなわち、距離レベルzlvl0はz0=0に対応し、距離レベルzlvlaは0<z0<zthaに対応し、距離レベルzlvlbはztha<z0<zthbに対応し、距離レベルzlvlcはzthb<z0に対応する。なお、z0=zthaを距離レベルzlvla,zlvlbのいずれに含めるかは予め規定しておけばよい。z0=zthbも同様である。なお、図39の例では、z0=0に対して距離レベルzlvl0を割り当てているが、z0=0を距離レベルzlvlaに含めてもよい。
また、図39の例では、入力面4aの押下された状態に、距離レベルzlvl00が設定されている。入力面4aの押下は、タッチパネル4が、入力面4aに対する押圧力がz0=0の場合よりも強いことを検出することによって、判別可能である。入力面4aが押下されたか否かの情報は、タッチパネル4が出力する3次元位置情報に含まれるものとする。なお、入力面4aの押下を便宜的にz0<0と表現する場合もある。
なお、距離レベルzlvl00を採用可能である場合、すなわちタッチパネル4が入力面4aに対する押下を検出可能である場合、例えば、距離レベルzlvl0(z0=0)によって、アイコン40の選択が決定され、距離レベルzlvl00(z0<0)によって、アイコン40に関連付けられている機能が実行される、という使い分けが可能である。逆に、距離レベルzlvl00を採用できないまたは採用しない場合、距離レベルzlvl0(z0=0)に、アイコン40の選択決定と機能実行の両方が割り当てられる。
図39に示すように、各距離レベルzlvlc,zlvlb,zlvla,zlvl0,zlvl00に対して、表現(換言すれば、見た目)の異なるアイコン40が予め設定されている。図39の例では、距離レベルzlvlcに割り当てられたアイコン40は、平面状の四角形であり、当該四角形は単色で塗りつぶされている。距離レベルzlvlbに割り当てられたアイコン40は、距離レベルzlvlcのアイコン40において上記四角形の中に影を模した模様が付加されている。距離レベルzlvlaに割り当てられたアイコン40は、距離レベルzlvlbのアイコン40が手前に飛び出した立体形状をしている。距離レベルzlvl0に割り当てられたアイコン40は、距離レベルzlvlaのアイコン40と同じ立体形状をしているが、影模様を有さず、距離レベルzlvlaのアイコン40とは異なる色(特に、赤色等の強調色)に着色されている。
また、距離レベルzlvl00に割り当てられたアイコン40は、距離レベルzlvl0の立体形状において手前の面を奥へ押し込んだ状態を模した形状をしている。但し、タッチパネル4が入力面4aに対する押圧力を検出可能な構成を有していない場合、押下時用のアイコン40は省略してもよい。あるいは、押下時用のアイコン40を、距離レベルzlvl0のアイコン40の代わりに採用してもよい。
このように、距離レベルzlvl00,zlvl0,zlvla,zlvlb,zlvlcごとに、アイコン40の表現が異なっている。表現の相違は、表現要素が少なくとも1つが異なることによって、生じる。表現要素は例えば、大きさ、形状、色、模様、アニメーション表示(例えば回転、揺動)である。このため、大きさと、形状と、色と、アニメーション表示とのうちの少なくとも1つの表現要素を、距離レベルzlvl00,zlvl0,zlvla,zlvlb,zlvlcで変化させればよい。
特に図39の例によれば、指示物の距離z0が小さいほど、アイコン40に対する注目度が増すように、アイコン40の表現が設定されている。すなわち、指示物の距離z0が小さいほど、アイコン40の視認性が上がる。
図40に、アイコン40の表現を指示物の距離z0に応じて変化させる処理S60のフローチャートを例示する。図40の処理S60は、図4の処理S10と基本的には同じであるが、画像データ生成処理ステップS14の詳細が異なる。すなわち、処理S60のステップS14は、距離レベル判別処理ステップS14aと、視認性調整処理ステップS14dとを含んでいる。
ステップS14aは基本的には実施の形態3のステップS14a(図13参照)と同様であるが、図39の距離レベル判別基準に従う。すなわち、ステップS14aでは、制御部11は、3次元位置情報に基づき、入力面4aと指示物との間の距離z0が、距離レベルzlvl00,zlvl0,zlvla,zlvlb,zlvlc(図39参照)のいずれに該当するかを判別する(距離レベル判別処理)。
次に、制御部11は、ステップS14dにおいて、プロンプト31が指し示す第1オブジェクト(ここではアイコン40)と、他のオブジェクトである第2オブジェクトとの視認性の差を調整する(視認性調整処理)。より具体的には、制御部11は、ステップS14aで判別した距離レベルzlvl00,zlvl0,zlvla,zlvlb,zlvlcを、予め定められた規則(図39参照)に照合することによって、アイコン40の画像を選択する。これにより、指示物の距離レベルzlvl00,zlvl0,zlvla,zlvlb,zlvlcに応じて、プロンプトが指し示すアイコン40の視認性を変化させることができる。
なお、プロンプト31が指し示すアイコン40は、例えば、アイコン40の画像がプロンプト31の画像と重なりを有することによって特定可能である。また、例えば、プロンプト31の表示位置からその指し示す方向にプロンプト指示範囲(その大きさは予め設定すればよい)を設定し、そのプロンプト指示範囲に重なるアイコン40を、プロンプト31が指し示すアイコン40として特定可能である。
そして、制御部11は、例えば、プロンプト用のレイヤ(換言すれば、画像保持部)にプロンプト31の画像データを書き込み、アイコン用のレイヤにアイコン40の画像データを書き込み、それらのレイヤと他のレイヤ(例えば地図画像データが書き込まれたレイヤ)とを合成することによって、表示画像データを生成する(表示画像データ生成処理)。ここで、プロンプト31は、ステップS12で得られた表示面内位置に表示されるように、表示画像データが生成される。
なお、2次元位置変換ステップS12は、距離レベル判別ステップS14aよりも後で実行してもよい。
図41および図42に、アイコン40の表現の変化、すなわちアイコン40の視認性の変化を例示する。なお、図41および図42では、紙面の大きさの都合で、プロンプト表示領域2bのみを図示している。また、プロンプト表示領域2bが四角形の場合を例示している。
図41および図42から分かるように、指示物の距離z0が減少するに従って、すなわち指示物が入力面4aに近づくに従って、アイコン40の視認性が上がるようにその表現が変化する。逆に、指示物の距離z0が増大するに従って、アイコン40の表現は標準設定に近づき、アイコン40の視認性が下がる。なお、図41および図42の例では、アイコン以外のオブジェクトである地図画像の視認性は、変化しないものとしている。
このように指示物の距離z0が小さいほど、アイコン40の視認性が上がり、アイコン40と他のオブジェクト(図41および図42の例では地図画像)との視認性の差が拡大する。このため、ユーザ(ここでは運転手)は、入力面4aに向けた手元を見なくても、表示面2a(特にプロンプト表示領域2b)を通じて、指示物の位置および入力面4aまでの距離を把握することができる。それにより、視線移動が減り、操作性が向上する。この点は、表示面2aと入力面4aとを同時に視界に入れるのが難しい環境下において、特に好適である。また、運転中に視線を車両前方から大きくそらすのを回避可能である。
ここで、図39、図41および図42の例では、各距離レベルzlvla,zlvlb,zlvlc内においてアイコン40の表現が変化しないものとした。これに対し、指示物の距離z0が或る距離レベルに属している間に、アイコン40の表現を、指示物の距離z0に応じて連続的に(換言すれば、無段階に)変化させる連続的変化を採用してもよい。なお、距離レベルzlvlc,zlvlb間でアイコン40の表現が連続していてもよいし、あるいは、そのような連続性が無くてもよい。距離レベルzlvlb,zlvla間での連続性についても同様である。また、距離レベルzlvla,zlvlb,zlvlcのうちの一部の距離レベルだけで、アイコン40の連続的変化を採用してもよい。それによれば、全ての距離レベルで連続的変化を採用する場合に比べて、アイコン40の描画処理にかかる負荷を軽減できる。
これに対し、図39、図41および図42の例のようにアイコン40の表現が指示物の距離レベルごとに変化することによって、アイコン40が連続的に変化する場合に比べて、アイコン40の変化に気付きやすい。換言すれば、認知性に優れる。
また、アイコン40が連続的に変化する場合には、指示物の若干の揺れが、アイコン40の変化に過敏に反映されてしまう。しかし、指示物の距離レベルごとの変化であれば、そのような過敏な変化を抑制できる。このため、例えば車中のように揺れが生じる環境下においても、アイコン40の表現が安定し、快適な操作性を提供可能である。
また、例えば車中のように揺れが生じる環境下では、入力面4aへの接触(z0=0)ではなく、入力面4aの押下(z0<0)によって、アイコン40に関連付けられている機能(図42の例ではCDの再生)が実行されるように処理設計をしておけば、誤操作を減らせる。これに関連して、図39および図42の例では接触(z0=0)と押下(z0<0)とでアイコン40の表現を異ならせているので、ユーザは、接触と押下との違いを、入力面4aに向けた手元を見なくても、表示面2aを通じて確認することができる。かかる点からも、快適な操作性を提供可能である。
上記では、プロンプト31が指し示す第1オブジェクトが1つのアイコン40である場合を例示した。これに対して、第1オブジェクトは複数のアイコン40であってもよい。総じて言うならば、第1オブジェクトは、1つまたは複数のアイコンが配置されたアイコン領域であってもよい。例えば図43に示すように、距離レベルzlvlbでは、アイコン領域に在る全てのアイコン40の視認性を上げる。
また、図43の例によれば、距離レベルzlvla,zlvl0では、プロンプト31の直近に在るアイコン40についてのみ視認性を上げ、他のアイコン40は距離レベルzlvlbと同じ表現に設定されている。これに対し、例えば、他のアイコン40は、距離レベルzlvlc(図39参照)の表現に設定してもよい。いずれに例にしても、プロンプト31の直近に在るアイコン40に比べて、他のアイコン40は視認性が低い状態になる。すなわち、指示物の距離z0の変化の途中で、視認性を上げる第1オブジェクトの範囲を変更しても構わない。
なお、図43では、紙面の大きさの都合により、距離レベルzlvlc,zlvl00での画面表示は省略している。
ところで、上記では、プロンプト31が指し示す第1オブジェクト自体の視認性を上げる例を説明した。これに対し、第1オブジェクト以外の他のオブジェクトである第2オブジェクトの視認性を下げることによって、第1オブジェクトの視認性を相対的に上げることも可能である。そのような例を図44および図45を参照して説明する。
図44の例によれば、タッチパネル4の入力面4aから指示物(ここでは指先)までの距離z0に対して、2つの閾値zthh,zthiが予め設定されている。但し、閾値の数は2つに限定されるものではない。
ここではzthh<zthiであり、例えば、zthh=1cm、zthi=2cmである。なお、zthh,zthiは不等間隔に設定してもよい。また、zthhは、zthaまたはzthb(図39参照)と同じ値であってもよいし、あるいは、zthaおよびzthbのいずれとも異なる値であってもよい。zthiについても同様である。
2つの閾値zthh,zthiによって、指示物の距離z0に対して、3つの距離レベル(換言すれば、高さレベル)zlvlh,zlvli,zlvljが予め設定されている。すなわち、距離レベルzlvlhは0≦z0<zthhに対応し、距離レベルzlvliはzthh<z0<zthiに対応し、距離レベルzlvljはzthi<z0に対応する。なお、z0=zthhを距離レベルzlvlh,zlvliのいずれに含めるかは予め規定しておけばよい。z0=zthiも同様である。なお、図44の例では、z0=0を距離レベルzlvlhを含めているが、図39の例と同様にz0=0に距離レベルzlvl0を割り当ててもよい。
図44に示すように、各距離レベルzlvlh,zlvli,zlvljに対して、表示画像に含める地図要素が予め設定されている。図44の例では、距離レベルzlvljでは、地図要素の全て(ここでは主要道路と細い道路と建物とが例示される)が表示される(図45の上段の表示画像を参照)。また、距離レベルzlvliでは、主要道路と細い道路とは表示されるが、建物は省略される(図45の中段の表示画像を参照)。また、距離レベルzlvlhでは、主要道路のみが表示される(図45の下段の表示画像を参照)。
このように、距離レベルzlvlh,zlvli,zlvljごとに、地図画像の情報量が異なっている。このため、指示物の距離z0が減少するに従って、すなわち指示物が入力面4aに近づくに従って、地図要素が間引かれ、それにより地図画像の情報量が減少する。その結果、地図画像の視認性を下げることができる。逆に、指示物の距離z0が増大するに従って、地図画像の情報量が増大し、それにより地図画像の視認性が上がる。
なお、図45の例では、距離レベルzlvliでは方向と縮尺の表示を、距離レベルzlvljに比べて、くすんだ表現に設定している。また、距離レベルzlvlhでは方向と縮尺を表示しない。かかる表現設定も地図画像の情報量の調整に貢献している。
図44および図45の例によれば、視認性調整処理S14d(図40参照)において、第2オブジェクトとしての地図画像の視認性を調整することにより、第1オブジェクトと第2オブジェクトとの視認性の差を調整することができる。
ここで、図45に対応する図46に例示するように、第2オブジェクトである地図画像だけでなく、第1オブジェクトであるアイコン40も同時に、視認性を調整してもよい。図46では、zlvlj=zlvlc、zlvli=zlvlb、zlvlh=zlvlaとした場合を例示している。これによれば、指示物の距離z0が減少するに従って、アイコン40の視認性が上がると共に、地図画像の視認性が下がる。このため、z0の減少に伴う視認性の差の拡大が、より分かりやすくなり、操作性がさらに向上する。
なお、くすみ、透明度、鮮鋭性等を調整することによっても、地図画像の視認性を調整可能である。その際、連続的変化も適用可能である。また、くすみ、透明度、鮮鋭性等の調整は、地図画像だけでなく、AV再生画像等の他の画像、アイコン等にも適用可能である。例えばくすみの調整によってアイコン40の視認性を調整する例を図47に示す。
図47には、アイコン40が第2オブジェクトであり、指示物の距離z0の減少に伴ってアイコン40の視認性を下げる例が示されている。図47の例によれば、タッチパネル4の入力面4aから指示物(ここでは指先)までの距離z0に対して、2つの閾値zthp,zthqが予め設定されている。但し、閾値の数は2つに限定されるものではない。
ここではzthp<zthqであり、例えば、zthp=1cm、zthq=2cmである。なお、zthp,zthqは不等間隔に設定してもよい。また、zthpは、zthhまたはzthi(図44参照)と同じ値であってもよいし、あるいは、zthhおよびzthiのいずれとも異なる値であってもよい。zthqについても同様である。
2つの閾値zthp,zthqによって、指示物の距離z0に対して、3つの距離レベル(換言すれば、高さレベル)zlvlp,zlvlq,zlvlrが予め設定されている。すなわち、距離レベルzlvlpは0≦z0<zthpに対応し、距離レベルzlvlqはzthp<z0<zthqに対応し、距離レベルzlvlrはzthq<z0に対応する。なお、z0=zthpを距離レベルzlvlp,zlvlqのいずれに含めるかは予め規定しておけばよい。z0=zthqも同様である。なお、図47の例では、z0=0を距離レベルzlvlpを含めているが、図39の例と同様にz0=0に距離レベルzlvl0を割り当ててもよい。
図47の例では、距離レベルzlvlrでは、第2オブジェクトとしてのアイコン40を、標準設定に従って表示する。また、距離レベルzlvlqでは、標準設定よりも、くすんだ表現で、第2オブジェクトとしてのアイコン40を表示する。また、距離レベルzlvlpでは、第2オブジェクトとしてのアイコン40を表示しない。このため、指示物の距離z0が減少するに従って、すなわち指示物が入力面4aに近づくに従って、アイコン40の視認性を下げることができる。その結果、第1オブジェクト(例えば地図画像)の視認性を相対的に上げることができる。
ここで、図48の処理S70に示すように、表示画像データ生成処理ステップS14に、プロンプト表現設定処理ステップS14bを追加してもよい。ステップS14がステップS14b,S14dの両方を含む場合の表示画像の変化を、図49に例示する。なお、zth1は、ztha、zthb、zthh、zthi、zthpまたはzthq(図39、図44および図47参照)と同じ値であってもよいし、あるいは、ztha、zthb、zthh、zthi、zthpおよびzthqのいずれとも異なる値であってもよい。zth2およびzth3についても同様である。
また、図48の表示画像データ生成処理ステップS14に、さらに、付加情報設定処理ステップS14c(図19参照)を追加してもよい。
<実施の形態5>
実施の形態5では、入力面4aから指示物までの距離z0の値を補正して利用する例を説明する。
図50に、実施の形態5に係る動作例のフローチャートを示す。図50に例示の処理S80は、図13の処理S40においてステップS13,S14の間に、距離値補正処理を行うステップS81が追加されている。
制御部11は、ステップS81において、タッチパネル4の入力面4aから指示物までの距離z0の値を、補正する(距離値補正処理)。図51の斜視図および図52の側面図を参照しつつ、距離値補正処理を説明する。
タッチパネル4によって取得された3次元位置情報によれば、指示物(ここでは指先)と入力面4aとの間の距離z0は、図51および図52に示すように、入力面4aから入力面4aの法線(図51および図52ではz軸に平行な線である)に沿った指示物までの距離である。
しかし、指示物は入力面4aのz軸に平行に移動するとは限らず、図51および図52に示すようにz軸に対して斜め方向に移動する場合がある。特に図2に例示したように入力面4aが運転席の横に配置されている場合、ユーザ(ここでは運転手)の指は図51および図52に示すように入力面4aに対して斜め方向に移動することが多いと考えられる。このため、ユーザの感覚からすれば、指先と入力面4aまでの距離は、入力面4aの法線に沿った距離z0ではなく、指先の移動経路51に沿った距離zzであると感じる。
そこで、距離値補正処理ステップS81では、タッチパネル4の検出結果から得られる距離z0の値を、指示物の移動経路51に沿った距離zzの値に補正する。なお、以下、距離z0の値にも便宜的に符号z0を用い、距離値z0という表記を用いる場合がある。同様に、距離zzの値を、距離値zzと表記する場合がある。また、距離値zzを補正距離値zzと称する場合もある。
具体的には、指示物の移動経路51は、入力面4aとユーザとの位置関係から予め想定することが可能である。図51おおび図52に例示の移動経路51は、入力面4aに対して角度θ1(但しθ1≠90°とする)を形成する直線経路として想定されている。この場合、zz=z0/sinθ1という関係が成り立つ。すなわち、直線経路として想定された移動経路51に基づいて、zz=z0/sinθ1という距離値補正規則を予め規定可能である。なお、距離値補正規則は、演算式、変換テーブル等によって具現化可能である。つまり、制御部11は、距離値補正規則に従って、入力面4aの法線に沿った距離値z0を、移動経路51に沿った距離値zzに補正する。
次に、制御部11は、ステップS14において、距離値z0の代わりに、補正距離値zzを使って、表示画像データを生成する(表示画像データ生成処理)。図50の例では、距離レベル判別処理のステップS14aおよびプロンプト表現設定処理のステップS14bにおいて、補正距離値zzに応じてプロンプト31の表現が設定される。
このように補正距離値zzを用いることにより、補正前の距離値z0に基づいてプロンプト31の表現を変化させる場合に比べて、ユーザの距離感に合った操作性を提供できる。例えば、指示物の移動に伴ってユーザ自身が感じる距離感と、表示面2aを介して得られる距離感とのずれが低減されるので、そのずれから生じる操作上の混乱を低減できる。
より具体的には、ユーザにとっては入力面4aにまだ到達しないと思っていたのに、実際には指先が入力面4aに接触してしまい誤操作を生じる、といった事態を低減できる。また、ユーザにとっては入力面4aに接触しているはずなのに、接触した感覚が得られず、入力面4aに視線を向ける、といった事態を低減できる。
このように、ユーザの操作感覚に配慮した快適な操作環境を提供することができる。また、既述のように情報表示装置1の利用環境は自動車内に限定されるものではないので、種々の使用環境において同様の効果が得られる。
図51では運転席側から指示物が入力面4aに向かう移動経路51を例示したが、図53に例示するように指示物が助手席側から入力面4aに向かう移動経路52も想定可能である。図53によれば、助手席側からの移動経路52は、入力面4aに対して角度θ2(但しθ2≠90°とする)を形成する直線経路として想定されている。この場合、zz=z0/sinθ2という関係の距離値補正規則が予め規定される。
制御部11は、指示物の移動方向、具体的には入力面内位置(x0,y0)の移動方向から、指示物が運転席側から到来したのか、助手席側から到来したのかを判別可能である。よって、制御部11は、運転席側用の距離値補正規則(zz=z0/sinθ1)と、助手席側用の距離値補正規則(zz=z0/sinθ2)とのいずれを選択すればよいのかを判別可能である。
一般化するならば、運転席と助手席の一方を第1座席とし、運転席と助手席の他方を第2座席とした場合、第1座席と入力面4aとの間に想定された第1移動経路用に規定された第1距離値補正規則と、第2座席と入力面4aとの間に想定された第2移動経路用に規定された第2距離値補正規則とは、指示物の移動状況に基づいて適切に選択可能である。なお、第1座席および第2座席は運転席と助手席の組み合わせでなくてもよい。また、3席以上の場合については、当該3席のうちの任意の2席について上記説明が当てはまる。つまり、3席以上の場合についても、各座席用の距離値補正規則を適切に選択可能である。
また、図51および図52には指示物の移動経路51が直線経路である場合を例示したが、図54の側面図に例示するように移動経路51は曲線経路であってもよい。また、移動経路51は直線経路と曲線経路との組み合わせであってもよい。なお、直線経路と曲線経路とは連続していてもよいし、不連続であってもよい。一般化するならば、補正距離値zzは、入力装置4の検出結果から得られる距離z0と、想定した移動経路51が入力面4aと成す角度θ1との関数として、例えばzz=f(z0,θ1)と表される。すなわち、距離値補正規則はzz=f(z0,θ1)で与えられる。なお、直線経路に対してθ1は一定値である一方、曲線経路に対しては、θ1は距離z0の関数として、例えばθ1=g(z0)と表される。これらの点は、助手席側からの移動経路52についても同様である。
また、上記では移動経路51(換言すれば、距離値補正規則)は予め想定され制御部11に与えられるものとしたが、制御部11は移動経路51を更新してもよい。例えば、指示物の各回の移動履歴は、指示物の位置(x0,y0,z0)(図7参照)の軌跡として取得可能である。このため、例えば、予め与えられた移動経路51と、複数の移動履歴とを平均して平均的な経路を求め、その平均的な経路を、更新後の移動経路51としてもよい。また、移動経路51が予め与えられない場合であっても、複数の移動履歴から平均的な経路を求め、その平均的な経路を、当初のまたは更新後の移動経路51としてもよい。すなわち、制御部11は、指示物の複数の移動履歴から移動経路51を学習可能である。移動経路51の学習により、補正精度を向上させることが可能である。これらの点は、助手席側からの移動経路52についても同様である。
なお、図50では表示画像データ生成処理のステップS14がステップS14a,S14bを含む例を挙げたが、ステップS14は例えばステップS14a〜S14dを種々に組み合わせて構成可能である。
<変形例>
上記では、表示装置2の表示面2aと入力装置4の入力面4aとが別の場所に配置される例を挙げた。しかし、入力面4aが表示面2a上に重ねられた構造にも、上記の各種工夫を採用可能である。
なお、本発明は、その発明の範囲内において、各実施の形態を自由に組み合わせたり、各実施の形態を適宜、変形、省略することが可能である。
1 情報表示装置、2 表示装置、2a 表示面、2b プロンプト表示領域、3 情報表示制御装置、4 入力装置、4a 入力面、4b 入力受付領域、11 制御部、22 表示装置用接続部、24 入力装置用接続部、31 プロンプト、40 アイコン、51,52 指示物の移動経路、S11 プロンプト表示領域設定処理、S12 位置情報取得処理、S13 2次元位置変換処理、S14 表示画像データ生成処理、S14a 距離レベル判別処理、S14b プロンプト表現設定処理、S14c 付加情報設定処理、S14d 視認性調整処理、S81 距離値補正処理、z0 入力面の法線に沿った距離値、zz 補正距離値。

Claims (18)

  1. 表示面を有する表示装置が接続される表示装置用接続部と、
    入力面上における指示物の位置である入力面内位置を検出する入力装置が接続され、前記入力装置から検出結果に関する位置情報が入力される、入力装置用接続部と、
    前記表示面にプロンプト表示領域を設定するプロンプト表示領域設定処理と、前記入力面内位置を、前記プロンプト表示領域内の対応位置である表示面内位置に、前記入力面と前記入力面内位置との位置関係が前記プロンプト表示領域と前記表示面内位置との位置関係に保持されるように規定された変換規則に従って、変換する2次元位置変換処理と、前記2次元位置変換処理で得られた前記表示面内位置にプロンプトを表示させるための表示画像データを生成する表示画像データ生成処理とを行う、制御部と
    を備える情報表示制御装置。
  2. 前記プロンプト表示領域は可変である、請求項1に記載の情報表示制御装置。
  3. 表示面を有する表示装置が接続される表示装置用接続部と、
    入力面上における指示物の位置である入力面内位置を検出する入力装置が接続され、前記入力装置から検出結果に関する位置情報が入力される、入力装置用接続部と、
    前記入力面内位置を、前記表示面の一部に予め設定されたプロンプト表示領域内の対応位置である表示面内位置に、前記入力面と前記入力面内位置との位置関係が前記プロンプト表示領域と前記表示面内位置との位置関係に保持されるように規定された変換規則に従って、変換する2次元位置変換処理と、前記2次元位置変換処理で得られた前記表示面内位置にプロンプトを表示させるための表示画像データを生成する表示画像データ生成処理とを行う、制御部と
    を備える情報表示制御装置。
  4. 前記プロンプト表示領域は前記入力面と相似形でない、請求項1〜請求項3のうちのいずれか1項に記載の情報表示制御装置。
  5. 表示面を有する表示装置が接続される表示装置用接続部と、
    入力面上における指示物の位置である入力面内位置を検出する入力装置が接続され、前記入力装置から検出結果に関する位置情報が入力される、入力装置用接続部と、
    前記入力面に対して前記表示面内のプロンプト表示領域と相似形の入力受付領域を設定する入力受付領域設定処理と、前記入力面内位置が前記入力受付領域内に存在することを条件にして、前記入力面内位置を、前記プロンプト表示領域内の対応位置である表示面内位置に、相似変換を利用して変換する2次元位置変換処理と、前記2次元位置変換処理で得られた前記表示面内位置にプロンプトを表示させるための表示画像データを生成する表示画像データ生成処理とを行う、制御部と
    を備える情報表示制御装置。
  6. 前記制御部は、前記表示面に前記プロンプト表示領域を設定するプロンプト表示領域設定処理を行う、請求項5に記載の情報表示制御装置。
  7. 前記制御部は、前記入力面のうちで前記入力受付領域または前記入力受付領域以外の領域を選択的に盛り上げる指示を前記入力装置に与える、請求項5または請求項6に記載の情報表示制御装置。
  8. 前記表示面は前記入力面とは別の場所に配置されている、請求項1〜請求項7のうちのいずれか1項に記載の情報表示制御装置。
  9. 前記表示装置は移動体の統合インストルメントパネルである、請求項8に記載の情報表示制御装置。
  10. 前記プロンプト表示領域は前記表示面のうちでメータ領域以外に設定される、請求項9に記載の情報表示制御装置。
  11. 前記入力装置は前記入力面上方における前記指示物の位置も検出し、その検出結果に関する3次元位置情報が前記入力装置用接続部に入力され、
    前記制御部は、前記3次元位置情報に基づき、前記入力面のうちで前記入力面の法線に沿った前記指示物の直下位置を前記入力面内位置として、前記2次元位置変換処理を実行する、
    請求項1〜請求項10のうちのいずれか1項に記載の情報表示制御装置。
  12. 前記制御部は、前記表示画像データ生成処理では、前記3次元位置情報に基づき前記入力面から前記入力面の前記法線に沿った前記指示物までの距離に応じて前記プロンプトの表現を変化させるプロンプト表現設定処理を行い、前記プロンプトが、前記プロンプト表現設定処理で設定された表現で表示されるように前記表示画像データを生成する、請求項11に記載の情報表示制御装置。
  13. 前記制御部は、前記表示画像データ生成処理では、前記3次元位置情報に基づき前記入力面から前記入力面の前記法線に沿った前記指示物までの距離が小さいほど、前記プロンプトが指し示す第1オブジェクトと、他のオブジェクトである第2オブジェクトとの視認性の差を拡大させる視認性調整処理を行う、請求項11または請求項12に記載の情報表示制御装置。
  14. 前記制御部は、前記3次元位置情報に基づき、前記入力面から前記入力面の法線に沿った前記指示物までの距離の値を、前記入力面とユーザとの位置関係から想定され前記入力面に対して90°ではない角度を形成する前記指示物の移動経路に基づいて予め規定された距離値補正規則に従って補正し、補正された距離値を得る距離値補正処理を行い、前記表示画像データ生成処理では、前記補正された距離値に基づいて前記表示画像データを生成する、請求項11〜請求項13のうちのいずれか1項に記載の情報表示制御装置。
  15. 請求項1〜請求項14のうちのいずれか1項に記載の情報表示制御装置と、
    前記情報表示制御装置の前記表示装置用接続部に接続された表示装置と
    を備える情報表示装置。
  16. (a)入力装置の入力面上における指示物の位置である入力面内位置を取得するステップと、
    (b)表示装置の表示面にプロンプト表示領域を設定するステップと、
    (c)前記入力面内位置を、前記プロンプト表示領域内の対応位置である表示面内位置に、前記入力面と前記入力面内位置との位置関係が前記プロンプト表示領域と前記表示面内位置との位置関係に保持されるように規定された変換規則に従って、変換するステップと、
    (d)前記ステップ(c)で得られた前記表示面内位置にプロンプトを表示させるための表示画像データを生成するステップと
    を備える情報表示制御方法。
  17. (e)入力装置の入力面上における指示物の位置である入力面内位置を取得するステップと、
    (f)前記入力面内位置を、前記表示面の一部に予め設定されたプロンプト表示領域内の対応位置である表示面内位置に、前記入力面と前記入力面内位置との位置関係が前記プロンプト表示領域と前記表示面内位置との位置関係に保持されるように規定された変換規則に従って、変換するステップと、
    (g)前記ステップ(f)で得られた前記表示面内位置に前記プロンプトを表示させるための表示画像データを生成するステップと
    を備える情報表示制御方法。
  18. (h)入力装置の入力面上における指示物の位置である入力面内位置を取得するステップと、
    (i)前記入力面に対して前記表示面内のプロンプト表示領域と相似形の入力受付領域を設定するステップと、
    (j)前記入力面内位置が前記入力受付領域内に存在することを条件にして、前記入力面内位置を、前記プロンプト表示領域内の対応位置である表示面内位置に、相似変換を利用して変換するステップと、
    (k)前記ステップ(j)で得られた前記表示面内位置に前記プロンプトを表示させるための表示画像データを生成するステップと
    を備える情報表示制御方法。
JP2013041429A 2013-03-04 2013-03-04 車載情報表示制御装置、車載情報表示装置および車載表示装置の情報表示制御方法 Active JP5984718B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2013041429A JP5984718B2 (ja) 2013-03-04 2013-03-04 車載情報表示制御装置、車載情報表示装置および車載表示装置の情報表示制御方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013041429A JP5984718B2 (ja) 2013-03-04 2013-03-04 車載情報表示制御装置、車載情報表示装置および車載表示装置の情報表示制御方法

Publications (2)

Publication Number Publication Date
JP2014170344A true JP2014170344A (ja) 2014-09-18
JP5984718B2 JP5984718B2 (ja) 2016-09-06

Family

ID=51692704

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013041429A Active JP5984718B2 (ja) 2013-03-04 2013-03-04 車載情報表示制御装置、車載情報表示装置および車載表示装置の情報表示制御方法

Country Status (1)

Country Link
JP (1) JP5984718B2 (ja)

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04119418A (ja) * 1990-09-10 1992-04-20 Hitachi Ltd ポインティング装置およびその座標変換方法
JPH07104914A (ja) * 1993-09-30 1995-04-21 Toshiba Corp タッチ入力装置
JP2003348371A (ja) * 2002-05-27 2003-12-05 Canon Inc リモートコントロール装置及び操作制御システム
JP2007114035A (ja) * 2005-10-20 2007-05-10 Denso Corp 車両用表示装置
JP2008059430A (ja) * 2006-09-01 2008-03-13 Alpine Electronics Inc ユーザインタフェース装置
JP2009098899A (ja) * 2007-10-16 2009-05-07 Toyota Motor Corp 情報提示装置
JP2009259110A (ja) * 2008-04-18 2009-11-05 Toshiba Corp 表示オブジェクト制御装置、表示オブジェクト制御プログラムおよび表示装置
JP2010061224A (ja) * 2008-09-01 2010-03-18 Honda Motor Co Ltd 自動車用入出力装置
WO2010113397A1 (ja) * 2009-03-31 2010-10-07 三菱電機株式会社 表示入力装置
JP2011118857A (ja) * 2009-12-02 2011-06-16 Hyundai Motor Co Ltd 車両のマルチメディアシステム操作用ユーザーインターフェース装置

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04119418A (ja) * 1990-09-10 1992-04-20 Hitachi Ltd ポインティング装置およびその座標変換方法
JPH07104914A (ja) * 1993-09-30 1995-04-21 Toshiba Corp タッチ入力装置
JP2003348371A (ja) * 2002-05-27 2003-12-05 Canon Inc リモートコントロール装置及び操作制御システム
JP2007114035A (ja) * 2005-10-20 2007-05-10 Denso Corp 車両用表示装置
JP2008059430A (ja) * 2006-09-01 2008-03-13 Alpine Electronics Inc ユーザインタフェース装置
JP2009098899A (ja) * 2007-10-16 2009-05-07 Toyota Motor Corp 情報提示装置
JP2009259110A (ja) * 2008-04-18 2009-11-05 Toshiba Corp 表示オブジェクト制御装置、表示オブジェクト制御プログラムおよび表示装置
JP2010061224A (ja) * 2008-09-01 2010-03-18 Honda Motor Co Ltd 自動車用入出力装置
WO2010113397A1 (ja) * 2009-03-31 2010-10-07 三菱電機株式会社 表示入力装置
JP2011118857A (ja) * 2009-12-02 2011-06-16 Hyundai Motor Co Ltd 車両のマルチメディアシステム操作用ユーザーインターフェース装置

Also Published As

Publication number Publication date
JP5984718B2 (ja) 2016-09-06

Similar Documents

Publication Publication Date Title
JP5355683B2 (ja) 表示入力装置および車載情報機器
JP5430782B2 (ja) 表示入力装置および車載情報機器
JP5052677B2 (ja) 表示入力装置
US8963849B2 (en) Display input device
JP5704408B2 (ja) 操作入力システム
JP5561092B2 (ja) 入力装置、入力制御システム、情報処理方法及びプログラム
EP2642369A1 (en) Haptic operation input system
JP5700254B2 (ja) 操作入力システム
JP6033465B2 (ja) 表示制御装置
JP5933468B2 (ja) 情報表示制御装置、情報表示装置および情報表示制御方法
JP6041708B2 (ja) 車載用情報表示制御装置、車載用情報表示装置および情報表示制御方法
JP5984718B2 (ja) 車載情報表示制御装置、車載情報表示装置および車載表示装置の情報表示制御方法
WO2015083264A1 (ja) 表示制御装置及び表示制御方法
JP5889230B2 (ja) 情報表示制御装置、情報表示装置および情報表示制御方法
JP5950851B2 (ja) 情報表示制御装置、情報表示装置および情報表示制御方法
JP6180306B2 (ja) 表示制御装置及び表示制御方法
JP2014052817A (ja) 画像表示方法および画像表示装置
JP2013134722A (ja) 操作入力システム
JP5423279B2 (ja) ユーザインタフェース装置
JP2018063521A (ja) 表示制御システムおよび表示制御プログラム
JP2013152688A (ja) 操作入力システム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150204

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20151228

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160112

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160307

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160517

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160608

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160705

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160802

R150 Certificate of patent or registration of utility model

Ref document number: 5984718

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250