JP6439744B2 - 表示システム、情報装置、表示方法及びプログラム - Google Patents

表示システム、情報装置、表示方法及びプログラム Download PDF

Info

Publication number
JP6439744B2
JP6439744B2 JP2016090020A JP2016090020A JP6439744B2 JP 6439744 B2 JP6439744 B2 JP 6439744B2 JP 2016090020 A JP2016090020 A JP 2016090020A JP 2016090020 A JP2016090020 A JP 2016090020A JP 6439744 B2 JP6439744 B2 JP 6439744B2
Authority
JP
Japan
Prior art keywords
display
information
unit
displayed
information device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016090020A
Other languages
English (en)
Other versions
JP2016180986A5 (ja
JP2016180986A (ja
Inventor
忠裕 杉山
忠裕 杉山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Casio Computer Co Ltd
Original Assignee
Casio Computer Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Casio Computer Co Ltd filed Critical Casio Computer Co Ltd
Priority to JP2016090020A priority Critical patent/JP6439744B2/ja
Publication of JP2016180986A publication Critical patent/JP2016180986A/ja
Publication of JP2016180986A5 publication Critical patent/JP2016180986A5/ja
Application granted granted Critical
Publication of JP6439744B2 publication Critical patent/JP6439744B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Controls And Circuits For Display Device (AREA)
  • User Interface Of Digital Computer (AREA)

Description

本発明は、表示システム、情報装置、表示方法及びプログラムに関する。
従来、日時や温度等の各種情報を表示するディスプレイ等を備える腕時計が知られている(例えば、特許文献1参照)。また、近年では、より大型のディスプレイに、日時や温度以外の情報、例えば、地図、Webサイト、画像等を表示可能な腕時計型の表示端末も提案されている。
特開2006−292428号公報
しかしながら、腕時計型の表示端末は、一般的に手首に装着されることから寸法に制約が生じ、広い面積の表示領域を確保し難い。このため、腕時計型の表示端末では、地図、Webサイト、画像等を拡大して表示すると、その一部分しか表示されないこととなり、使い勝手が悪いといった問題がある。
本発明は、このような問題に鑑みてなされたものであり、本発明の課題は、より多くの
情報を効率良く表示することができる表示システム、情報装置、表示方法及びプログラム
を提供することである。
上記課題を解決するため、本発明に係る表示システムは、
第一の情報装置と、当該第一の情報装置に接続された第二の情報装置と、からなる表示システムであって、
前記第一の情報装置が有する第一の表示手段と、
前記第二の情報装置が有する第二の表示手段と、
前記第一の表示手段に表示されている表示内容を示す情報を取得する取得手段と、
前記第一の情報装置の傾きを検出する、前記第一の情報装置が有する検出手段と、
前記表示内容を示す情報に基づいて、前記第一の表示手段の表示内容に関連する内容関連情報を前記第二の表示手段に表示させる制御手段と、
を備え
前記制御手段は、前記第一の情報装置本体の傾きを示す情報に基づいて、前記関連情報を傾斜させて前記第二の表示手段に表示させる
ことを特徴とする。
本発明によれば、より多くの情報を効率良く表示することができる。
本発明を適用した一実施形態の表示システムの概略構成を示す図である。 図1の表示システムを構成する腕時計型表示端末の概略構成を示すブロック図である。 図1の表示システムを構成する眼鏡型表示端末の概略構成を示すブロック図である。 図1の表示システムによる表示処理に係る動作の一例を示すフローチャートである。 図1の表示システムによる表示処理を説明するための図である。
以下に、本発明について、図面を用いて具体的な態様を説明する。ただし、発明の範囲は、図示例に限定されない。
図1は、本発明を適用した一実施形態の表示システム100の概略構成を示す図である。
図1に示すように、本実施形態の表示システム100は、腕時計型表示端末1(図2参照)と、眼鏡型表示端末2(図3参照)とを備え、腕時計型表示端末1と眼鏡型表示端末2とは、無線通信回線を介して情報通信可能に接続されている。
先ず、腕時計型表示端末(第一の表示端末)1について、図2を参照して説明する。
図2は、表示システム100を構成する腕時計型表示端末1の概略構成を示すブロック図である。
腕時計型表示端末1は、所謂、装着者Sに装着されるウェアラブルコンピューターシステムであり、特に手首装着型コンピューターシステム(ヘッドマウンティドディスプレイ)である。
図2に示すように、腕時計型表示端末1は、中央制御部101と、メモリ102と、傾き検出部103と、表示部104と、表示制御部105と、表示内容取得部106と、計時部107と、無線処理部108と、操作入力部109とを備えている。
また、中央制御部101、メモリ102、傾き検出部103、表示部104、表示制御部105、表示内容取得部106、計時部107及び無線処理部108は、バスライン110を介して接続されている。
中央制御部101は、腕時計型表示端末1の各部を制御するものである。具体的には、中央制御部101は、図示は省略するが、CPU(Central Processing Unit)、RAM(Random Access Memory)、ROM(Read Only Memory)を備え、腕時計型表示端末1用の各種処理プログラム(図示略)に従って各種の制御動作を行う。
メモリ102は、例えば、DRAM(Dynamic Random Access Memory)等により構成され、中央制御部101の他、当該腕時計型表示端末1の各部によって処理されるデータ等を一時的に記憶するものである。
傾き検出部(検出手段)103は、当該端末本体の傾きを検出する。
すなわち、傾き検出部103は、当該端末本体の重力軸方向に対する傾きを検出する。具体的には、傾き検出部103は、例えば、3軸加速度センサ等を備え、この3軸加速度センサによる各軸の検出信号の0Hzの周波数成分に基づいて重力軸方向を特定し、当該重力軸方向に対する各軸の傾きを検出する。
なお、上記した3軸加速度センサによる重力軸方向の検出手法や、傾き検出部103による端末本体の重力軸方向に対する傾きの検出手法は、一例であってこれに限られるものではなく、適宜任意に変更可能である。
表示部(第一の表示手段)104は、所定の情報を表示する。
すなわち、表示部104は、例えば、LCD等を具備し、中央制御部101のCPUの制御下にて各種情報を表示領域104a(図5(a)等参照)内に表示する。具体的には、表示部104は、例えば、表示制御部105から出力された画像信号に応じてアプリケーション画面(例えば、地図画面やWebページ画面等)を表示領域104a内に表示する。
表示制御部105は、中央制御部101のCPUによる各種のアプリケーションプログラム(図示略)の実行に基づいて、アプリケーション画面を生成し、生成されたアプリケーション画面に従った画像信号を表示部104に出力する。また、表示制御部105は、例えば、ユーザによる操作入力部109の所定操作に基づいてアプリケーション画面を拡大して表示したり縮小して表示部104に表示させても良く、この場合には、表示領域104aを構成する画素数に応じてアプリケーション画面全体が表示されずに、その一部分が表示された状態となる場合も生じる。
なお、アプリケーションプログラムとしては、例えば、地図表示ソフト、電子メールソフト、インターネットブラウザ、メッセンジャー、ゲームソフト、電子辞書ソフト、ワードプロセッサ、表計算ソフト、プレゼンテーションソフト、画像編集ソフト、作図ソフト、ベクトルグラフィックエディタ又はデジタルカメラ制御等のプログラムが挙げられる。
また、アプリケーションプログラムは、例えば、予めROMに記録されていても良いし、眼鏡型表示端末2から送信され無線処理部108を介して受信されても良いし、図示しない通信処理部が通信ネットワークNを介して外部サーバから取得しても良い。
また、表示制御部105は、傾き検出部103により検出された当該端末本体の傾きを示す情報に基づいて、表示領域104a内に表示されている表示内容を傾斜させて表示部104に表示させても良い。すなわち、表示制御部105は、当該端末本体が重力軸方向に対する傾きに応じて表示内容を奥行きを持たせるように変形させる。
例えば、アプリケーション画面として地図画面を表示する場合等に、当該端末本体が重力軸方向に対する傾きに応じて装着者Sの視線方向に正対しているかどうかを特定して、表示制御部105は、装着者Sの視線方向に正対している場合には二次元の地図情報を取得して二次元の地図画面を表示部104に表示させ、装着者Sの視線方向に正対していない場合には三次元の地図情報を取得して三次元の地図画面を表示部104に表示させる。
なお、表示内容を変形させる技術は、公知の技術であるので、ここでは詳細な説明は省略する。
表示内容取得部(取得手段)106は、表示部104に表示されている表示内容を示す情報を取得する。
すなわち、表示内容取得部106は、例えば、表示部104に表示されている所定の情報(例えば、地図アプリケーション等)を識別する識別情報や、表示部104にアプリケーション画面が表示されている場合にその表示範囲を示す範囲情報等を取得する。
ここで、範囲情報とは、アプリケーション画面を構成する全ての画素情報のうち、表示部104の表示領域104aに実際に表示されている範囲を示す情報である。例えば、アプリケーション画面を構成する全ての画素情報のうち、表示領域104aの各隅部の画素に対応する画素の位置を表す情報等を含む。
計時部107は、図示は省略するが、例えば、タイマや計時回路等を備えて構成され、現在の時刻を計時して時刻情報を取得する。そして、計時部107は、取得した時刻情報をメモリ102に出力する。
なお、計時部107は、取得した時刻情報に基づいて、日付や曜日等の暦を特定しても良い。
無線処理部108は、所定の無線通信回線を介して接続された眼鏡型表示端末2等の外部機器との情報の通信制御を行う。
即ち、無線処理部108は、例えば、Bluetooth(ブルートゥース;登録商標)等の無線により通信可能な距離が所定距離に制限された近距離無線通信規格により実現される無線PANを介して眼鏡型表示端末2と接続する。
具体的には、無線処理部108は、例えば、通信アンテナ108aを介して眼鏡型表示端末2との間でブルートゥース通信を行うための制御モジュールを具備している。そして、無線処理部108は、例えば、予めペアリングと呼ばれる通信設定処理を行うことで、互いのデバイス情報や認証鍵のデータを無線信号により通信相手と交換する。これにより、その後、当該通信設定処理を毎回行うことなく、この通信相手と自動的に或いは半自動的に通信接続されたり通信接続が解除されたりするようになっている。例えば、腕時計型表示端末1と眼鏡型表示端末2とが電波が届かない範囲に離れれば通信接続が解除される一方で、電波が届く範囲に近づけば自動的に通信接続される。また、或いは、接続や解除の操作により半自動的に通信接続されたり解除される。
また、無線処理部(送信手段)108は、表示内容取得部106により取得された表示内容を示す情報を眼鏡型表示端末2に送信する。
具体的には、無線処理部108は、表示内容取得部106により取得された表示内容を示す情報としての識別情報や範囲情報を、無線PANを介して接続されている眼鏡型表示端末2に送信する。このとき、無線処理部108は、傾き検出部103により検出された当該端末本体の傾きを示す情報を眼鏡型表示端末2に送信しても良い。
なお、無線処理部108は、例えば、無線LANモジュール等から構成され、外部のア
クセスポイントを経由せずに直接眼鏡型表示端末2の無線処理部207との間で無線通信
回線を構築するPeer to Peer(アドホックモード)で動作しても良い。
操作入力部109は、端末本体に対して各種指示を入力するためのものである。
具体的には、操作入力部109は、端末本体の電源のON/OFFに係る電源ボタン、
モードや機能等の選択指示に係る上下左右のカーソルボタンや決定ボタン等の各種ボタン
(何れも図示略)を備えている。
そして、ユーザにより各種ボタンが操作されると、操作入力部109は、操作されたボ
タンに応じた操作指示を中央制御部101に出力する。中央制御部101は、操作入力部
109から出力され入力された操作指示に従って所定の動作(例えば、地図画面の表示等
)を各部に実行させる。
なお、操作入力部109は、表示部104と一体となって設けられたタッチパネルを有していても良く、ユーザによるタッチパネルの所定操作に基づいて、当該所定操作に応じた操作指示を中央制御部101に出力しても良い。
次に、眼鏡型表示端末2について、図3を参照して説明する。
図3は、表示システム100を構成する眼鏡型表示端末2の概略構成を示すブロック図である。
眼鏡型表示端末2は、所謂、装着者Sに装着されるウェアラブルコンピューターシステムであり、特に頭部装着型コンピューターシステム(ヘッドマウンティドディスプレイ)である。より具体的には、この眼鏡型表示端末2は、眼鏡のようにして頭部に装着することができる。
図3に示すように、眼鏡型表示端末2は、中央制御部201と、メモリ202と、撮像部203と、表示部204と、判定部205と、表示制御部206と、無線処理部207と、送受話部208と、通信処理部209と、操作入力部210とを備えている。
また、中央制御部201、メモリ202、撮像部203、表示部204、判定部205、表示制御部206、無線処理部207、送受話部208及び通信処理部209は、バスライン211を介して接続されている。
中央制御部201は、眼鏡型表示端末2の各部を制御するものである。具体的には、中央制御部201は、図示は省略するが、CPU(Central Processing Unit)、RAM(Random Access Memory)、ROM(Read Only Memory)を備え、眼鏡型表示端末2用の各種処理プログラム(図示略)に従って各種の制御動作を行う。
メモリ202は、例えば、DRAM(Dynamic Random Access Memory)等により構成され、中央制御部201の他、当該眼鏡型表示端末2の各部によって処理されるデータ等を一時的に記憶するものである。
撮像部203は、当該端末本体の装着者Sの視線方向、すなわち、視界A(図5(a)等参照)と略等しい範囲を撮像する。具体的には、撮像部203は、例えば、図示は省略するが、レンズ部と、電子撮像部と、撮像制御部とを備えている。
レンズ部は、例えば、ズームレンズやフォーカスレンズ等の複数のレンズ(図示略)から構成されている。
電子撮像部は、例えば、CCD(Charge Coupled Device)やCMOS(Complementary Metal-oxide Semiconductor)等のイメージセンサ(図示略)から構成され、レンズ部の各種レンズを通過した光学像を二次元の画像信号に変換する。
撮像制御部は、例えば、タイミング発生器、ドライバ等(図示略)を備えている。そして、撮像制御部は、タイミング発生器、ドライバにより電子撮像部を走査駆動して、所定周期毎にレンズ部により結像された光学像を電子撮像部により二次元の画像信号に変換させ、当該電子撮像部の撮像領域から1画面分ずつフレーム画像を読み出してメモリ202に出力させる。なお、各フレーム画像は、図示しない画像処理部により逐次処理されて、デジタル値の輝度信号Y及び色差信号Cb,Cr(YUVデータ)に変換される。
表示部(第二の表示手段)204は、映像の光と視界Aに対応する外界像の光とを重畳して表示領域204aに透過表示する。
具体的には、表示部204は、眼鏡本体2aのレンズの前に配置されている光学素子を備えている。光学素子は、ホログラフィック光学素子であり、装着者Sの前の外界の像の光が光学素子を通過して装着者Sの瞳へ到達するとともに、表示制御部206によって生成された映像(例えば、関連情報)の光が光学素子によって装着者Sの瞳へ導かれる(回折反射される)。そのため、外界像の光と映像の光が重畳され、外界像及び映像が合成されて装着者Sの瞳に映る。
また、表示部204は、表示制御部206により生成された映像信号が入力され、その映像信号に基づく映像を生成(表示)する。例えば、表示部204は、表示コントローラ、表示素子(例えば、液晶表示素子、デジタル・マイクロミラー・デバイス等の空間光変調素子)及び光源装置等(図示略)を備えている。表示コントローラは、映像信号に基づいて光源装置及び表示素子を制御し、光源装置が原色光(例えば赤色光、青色光及び緑色光)を表示素子に照射し、表示素子が表示コントローラによって駆動されることによって、表示素子に照射される光が画素毎に変調制御される。これにより、表示素子によって映像が生成される。なお、表示部204の表示素子が時発光型表示素子であれば、光源装置が表示部204に設けられていない。
そして、表示部(特に、表示素子)204によって生成された映像は、光学素子及び投影レンズによって装着者Sの瞳に投影される。
判定部(判定手段)205は、表示部204の表示領域204a内に腕時計型表示端末1の表示部104の表示領域104aが存するか否かを判定する。つまり、ユーザから眼鏡型表示端末2の表示領域204a越しに腕時計型表示端末1の表示部104の表示領域104aが見える位置に存するか否かを判定する。
具体的には、判定部205は、腕時計型表示端末1の表示部104の表示領域104aを検出する表示領域検出部205aを具備している。
表示領域検出部205aは、撮像部203により撮像された視界Aと略等しい範囲に対応するフレーム画像に含まれる腕時計型表示端末1の表示部104の表示領域104aの複数の点(例えば、4隅の点等)の座標を検出する。例えば、表示領域検出部205aは、フレーム画像に対して所定の二値化処理が施されることで生成された二値化画像の画像データに対して所定の特徴抽出処理を行って、略枠状の表示領域104aを抽出する。
そして、表示部204の表示領域204aは、撮像部203による撮像範囲に対応する外界像の光が重畳した状態で透過表示されるので、判定部205は、表示領域検出部205aによる表示領域104aの検出結果に基づいて、表示部204の表示領域204a内に腕時計型表示端末1の表示部104の表示領域104aが存するか否かを判定する。
ここで、腕時計型表示端末1の表示領域104aの4隅にマーカーが付されている場合には、表示領域検出部205aは、マーカーを検出することで表示領域104aを検出しても良い。なお、特徴抽出処理は、公知の技術であるので、ここでは詳細な説明を省略する。
表示制御部206は、中央制御部201のCPUによる各種のアプリケーションプログラム(図示略)の実行に基づいて、表示アプリケーション画面を生成し、生成された表示アプリケーション画面に従った画像信号を表示部204に出力する。
なお、アプリケーションプログラムとしては、例えば、腕時計型表示端末1と略同様に、地図表示ソフト、電子メールソフト、インターネットブラウザ、メッセンジャー、ゲームソフト、電子辞書ソフト、ワードプロセッサ、表計算ソフト、プレゼンテーションソフト、画像編集ソフト、作図ソフト、ベクトルグラフィックエディタ又はデジタルカメラ制御等のプログラムが挙げられる。
また、アプリケーションプログラムは、例えば、予めROMに記録されていても良いし、通信処理部209が通信ネットワークNを介して外部サーバから取得しても良い。
また、表示制御部(制御手段)206は、無線処理部207により受信された表示内容を示す情報に基づいて、腕時計型表示端末1の表示部104の表示内容に関連する内容の関連情報を表示部204に表示させる。
すなわち、表示制御部206の関連情報特定部206aは、無線処理部207により受信された表示内容を示す情報としての、腕時計型表示端末1の表示部104に表示されている所定の情報(例えば、地図アプリケーション等)を識別する識別情報に基づいて、当該所定の情報を表示部204に表示させるべき情報(関連情報)として特定する。そして、表示制御部206は、特定された情報に対応する表示アプリケーション画面を生成し、生成された表示アプリケーション画面に従った画像信号を表示部204に出力する。
このように、関連情報は、腕時計型表示端末1の表示部104に表示されている表示内容に対応する情報を一部に含む情報であるが、一例であってこれに限られるものではなく、適宜任意に変更可能である。例えば、腕時計型表示端末1の表示部104に表示されている表示内容を詳細に説明する情報(例えば、地図の場合には、その地点に存する建物の事業内容、画像の場合には、露出条件や焦点距離等の撮像条件など)であっても良い。
また、表示制御部206は、無線処理部207により受信された表示内容を示す情報としての、腕時計型表示端末1の表示部104に表示されているアプリケーション画面の表示範囲を示す範囲情報に基づいて、表示部204に表示させるべき表示アプリケーション画面の表示範囲を特定する。すなわち、表示制御部206は、判定部205により当該眼鏡型表示端末2の表示部204の表示領域204a内に腕時計型表示端末1の表示部104の表示領域104aが存すると判定された場合に、腕時計型表示端末1の表示部104に表示されているアプリケーション画面に対応する表示アプリケーション画面を表示部204の表示領域204aに表示させる。具体的には、表示制御部206は、腕時計型表示端末1の表示部104に表示されているアプリケーション画面の表示内容に対して表示部204に表示させるべき表示アプリケーション画面に含まれる当該表示内容に対応する範囲の位置を一致させるように表示部204の表示領域204aに表示させる。
つまり、表示部204の表示領域204a内に腕時計型表示端末1の表示部104の表示領域104aが存する場合、表示部204は、腕時計型表示端末1の表示部104に表示されているアプリケーション画面の外界像の光は当該表示部204の表示領域204aに透過した状態で配置される(図5(a)等参照)。表示制御部206は、腕時計型表示端末1の表示部104に表示されているアプリケーション画面の表示範囲を示す範囲情報に基づいて、表示部204に表示させるべき表示アプリケーション画面の中で腕時計型表示端末1の表示内容に対応する範囲を特定し、特定された範囲を表示領域204aに透過した状態の腕時計型表示端末1の表示部104に表示されているアプリケーション画面に一致させるように配置するとともに、特定された範囲以外の表示アプリケーション画面の部分を表示部204の表示領域204aに透過表示させる。
なお、表示アプリケーション画面の中で腕時計型表示端末1の表示内容に対応する範囲は、表示部204に透過表示(腕時計型表示端末1の表示部104の表示領域104aと重畳させるように透過表示)されても良いし、当該範囲以外の表示アプリケーション画面の部分が表示部204に透過表示されても良い。
また、腕時計型表示端末1の傾き検出部103により検出された当該端末本体の傾きを示す情報に基づいて、表示制御部206は、表示部204の表示領域204a内に表示されるアプリケーション画面を傾斜させて表示部204に表示させても良い。
なお、アプリケーション画面を傾斜させて表示部204の表示領域204a内に表示させる手法は、上記腕時計型表示端末1の場合と略同様であり、その詳細な説明は省略する。
無線処理部207は、所定の無線通信回線を介して接続された腕時計型表示端末1等の
外部機器との情報の通信制御を行う。
即ち、無線処理部207は、腕時計型表示端末1の無線処理部108と略同様に、例え
ば、通信アンテナ207aを介してBluetooth(登録商標)等の無線により通信可能な距
離が所定距離に制限された近距離無線通信規格により実現される無線PANを介して腕時
計型表示端末1と接続する。
また、無線処理部(受信手段)207は、腕時計型表示端末1から送信された表示内容を示す情報を受信する。
具体的には、無線処理部207は、腕時計型表示端末1の表示内容取得部106により取得され、無線PANを介して送信された表示内容を示す情報としての識別情報や範囲情報を受信する。また、腕時計型表示端末1から当該端末本体の傾きを示す情報が送信された場合には、無線処理部207は、当該端末本体の傾きを示す情報を受信する。
なお、無線処理部207は、腕時計型表示端末1の無線処理部108と略同様に、例え
ば、無線LANモジュール等から構成され、外部のアクセスポイントを経由せずに直接腕
時計型表示端末1の無線処理部108との間で無線通信回線を構築するPeer to Peer(ア
ドホックモード)で動作しても良い。
通信処理部209は、通信ネットワークN及び通信アンテナ209aを介してデータの送受信を行う。
即ち、通信アンテナ209aは、当該眼鏡型表示端末2が無線基地局(図示略)との通信で採用している所定の通信方式(例えば、W−CDMA(Wideband Code Division Multiple Access;登録商標)方式、GSM(Global System for Mobile Communications;登録商標)方式等)に対応したデータの送受信が可能なアンテナである。そして、通信処理部209は、所定の通信方式に対応する通信プロトコルに従って、この通信方式で設定される通信チャネルにより無線基地局との間で通信アンテナ209aを介してデータの送受信を行う。
なお、通信処理部209の構成は一例であってこれに限られるものではなく、適宜任意に変更可能であり、例えば、図示は省略するが、無線LANモジュールを搭載し、アクセスポイント(Access Point)を介して通信ネットワークNにアクセス可能な構成としても良い。
通信ネットワークNは、例えば、眼鏡型表示端末2を無線基地局やゲートウェイサーバ(図示略)等を介して外部機器と接続する通信ネットワークである。
また、通信ネットワークNは、例えば、専用線や既存の一般公衆回線を利用して構築された通信ネットワークであり、LAN(Local Area Network)やWAN(Wide Area Network)等の様々な回線形態を適用することが可能である。また、通信ネットワークNには、例えば、電話回線網、ISDN回線網、専用線、移動体通信網、通信衛星回線、CATV回線網等の各種通信ネットワーク網と、IPネットワーク、VoIP(Voice over Internet Protocol)ゲートウェイ、インターネットサービスプロバイダ等が含まれる。
操作入力部210は、端末本体に対して各種指示を入力するためのものである。
具体的には、操作入力部210は、端末本体の電源のON/OFFに係る電源ボタン、モードや機能等の選択指示に係る上下左右のカーソルボタンや決定ボタン等の各種ボタン(何れも図示略)を備えている。
そして、ユーザにより各種ボタンが操作されると、操作入力部210は、操作されたボタンに応じた操作指示を中央制御部201に出力する。中央制御部201は、操作入力部210から出力され入力された操作指示に従って所定の動作を各部に実行させる。
<表示処理>
次に、表示システム100による表示処理について、図4を参照して説明する。
図4は、表示処理に係る動作の一例を示すフローチャートである。
なお、以下の表示処理では、予め腕時計型表示端末1と眼鏡型表示端末2とが無線PANを介して情報通信可能に接続されているものとする。
図4に示すように、先ず、腕時計型表示端末1にあっては、ユーザによる操作入力部109の所定操作に基づいて所望のアプリケーションが指定されると、中央制御部101のCPUは、当該アプリケーションに対応するアプリケーションプログラムを実行して、表示制御部105は、アプリケーション画面を表示部104に表示させる(ステップS1)。
次に、表示内容取得部106は、表示部104に表示されている表示内容を示す情報として、表示されているアプリケーション画面に対応するアプリケーションを識別する識別情報や、表示部104におけるアプリケーション画面の表示範囲を示す範囲情報を取得する(ステップS2)。
そして、無線処理部108は、表示内容取得部106により取得された表示内容を示す情報としての識別情報や範囲情報を、無線PANを介して接続されている眼鏡型表示端末2に送信する(ステップS3)。
眼鏡型表示端末2にあっては、判定部205は、表示部204の表示領域204a内に腕時計型表示端末1の表示部104の表示領域104aが存するか否かを逐次判定する(ステップS4)。
具体的には、撮像部203は、装着者Sの視界Aと略等しい範囲を逐次撮像して複数のフレーム画像を生成し、判定部205の表示領域検出部205aは、各フレーム画像に含まれる腕時計型表示端末1の表示部104の表示領域104aの複数の点(例えば、4隅の点等)の座標を検出し、略枠状の表示領域104aを抽出する。そして、判定部205は、表示領域検出部205aによる表示領域104aの検出結果に基づいて、表示部204の表示領域204a内に腕時計型表示端末1の表示部104の表示領域104aが存するか否かを判定する。
ステップS4における判定処理は、所定の時間間隔で逐次行われ、表示部204の表示領域204a内に腕時計型表示端末1の表示部104の表示領域104aが存しないと判定されると(ステップS4;NO)、判定部205は、所定の時間経過後に、表示部204の表示領域204a内に腕時計型表示端末1の表示部104の表示領域104aが存するか否かを再度判定する。
ステップS4にて、表示部204の表示領域204a内に腕時計型表示端末1の表示部104の表示領域104aが存すると判定されると(ステップS4;YES)、表示制御部206の関連情報特定部206aは、無線処理部207により受信された表示内容を示す情報としての識別情報に基づいて、表示部204に表示させるべきアプリケーションを特定する(ステップS5)。続けて、表示制御部206は、無線処理部207により受信された表示内容を示す情報としての範囲情報に基づいて、表示部204に表示させるべき表示アプリケーション画面の表示範囲、すなわち、表示部204に表示させるべき表示アプリケーション画面の中で腕時計型表示端末1の表示内容に対応する範囲を特定する(ステップS6)。
次に、表示制御部206は、表示アプリケーション画面の中で腕時計型表示端末1の表示内容に対応する範囲を、表示領域204aに透過した状態の腕時計型表示端末1の表示部104に表示されているアプリケーション画面に一致させるように配置するとともに、特定された範囲以外の表示アプリケーション画面の部分を表示部204の表示領域204aに透過表示させる(ステップS7;図5(a)等参照)。
当該表示処理は常時行われ、腕時計型表示端末1の表示部104の表示領域104aの表示内容に応じて、眼鏡型表示端末2の表示部204の表示領域204aの表示内容も変化することとなる。
例えば、腕時計型表示端末1の表示部104に地図を表示する場合、表示部104に現在位置「地点A」の付近を表示させている場合には(図5(a)参照)、眼鏡型表示端末2の表示部204に「地点A」を基準としてその周辺の所定範囲の地図が透過表示された状態となる。一方、表示部104に現在位置以外の「ハローワーク○○○」付近を表示させている場合には(図5(b)参照)、眼鏡型表示端末2の表示部204に「ハローワーク○○○」を基準としてその周辺の所定範囲の地図が透過表示された状態となる。
以上のように、本実施形態の表示システム100によれば、眼鏡型表示端末2は、腕時計型表示端末1から送信され、当該腕時計型表示端末1の表示部104に表示されている表示内容を示す情報に基づいて、腕時計型表示端末1の表示部104の表示内容に関連する内容の関連情報を表示部204に表示させるので、例えば、地図、Webサイト、画像等を表示するのに腕時計型表示端末1の表示部104の表示領域104aが十分な面積を有していない場合であっても、眼鏡型表示端末2の表示部204を利用して表示領域104aを確保することができ、より多くの情報を効率良く表示することができる。
また、眼鏡型表示端末2の表示部204の表示領域204a内に腕時計型表示端末1の表示部104の表示領域104aが存する(ユーザから眼鏡型表示端末2の表示領域204a越しに腕時計型表示端末1の表示部104の表示領域104aが見える位置に存する)と判定された場合に、関連情報を表示部204の表示領域204aに表示させるので、眼鏡型表示端末2の表示部204の表示領域204a内に腕時計型表示端末1の表示部104の表示領域104aが存するか否かに応じて、すなわち、装着者Sが腕時計型表示端末1の表示部104に表示されている情報を視認しているか否かに応じて、当該表示領域204a内に表示される情報を切り替えて表示させることができ、使い勝手を向上させることができる。
このとき、腕時計型表示端末1の表示部104に表示されている表示内容に対して関連情報に含まれる当該表示内容に対応する範囲の位置を一致させるように関連情報を表示部204の表示領域204aに表示させることで、眼鏡型表示端末2の表示部204の表示領域204a内に腕時計型表示端末1の表示部104の表示領域104aが存する場合であっても、腕時計型表示端末1の表示部104に表示されている所定の情報及び眼鏡型表示端末2の表示部204に透過表示されている関連情報を視認する装着者Sに対して違和感を生じさせ難くすることができる。
なお、本発明は、上記実施形態に限定されることなく、本発明の趣旨を逸脱しない範囲において、種々の改良並びに設計の変更を行っても良い。
例えば、上記実施形態にあっては、腕時計型表示端末1の当該端末本体の傾きを示す情報に基づいて、眼鏡型表示端末2は、関連情報を傾斜させて表示部204に表示させたり、腕時計型表示端末1は、所定の情報の表示内容を傾斜させて表示するようにしたが、一例であってこれに限られるものではなく、適宜任意に変更可能である。すなわち、腕時計型表示端末1の当該端末本体の傾きを基準として、眼鏡型表示端末2の表示部204や腕時計型表示端末1の表示部104の表示を変化させることができ、使い勝手をより向上させることができるが、腕時計型表示端末1は、必ずしも傾き検出部103を具備する必要はない。
また、上記実施形態では、表示部204の表示領域204a内に腕時計型表示端末1の表示部104の表示領域104aが存するか否かを、表示領域検出部205aによる腕時計型表示端末1の表示部104の表示領域104aの検出結果に応じて判定するようにしたが、一例であってこれに限られるものではなく、適宜任意に変更可能である。例えば、所定の視線検出技術により装着者Sが腕時計型表示端末1の表示部104の表示領域104aを視認しているか否かを検出し、当該検出の結果に応じて外界像の光を透過する表示部204の表示領域204a内に腕時計型表示端末1の表示部104の表示領域104aが存するか否かを判定するようにしても良い。
さらに、上記実施形態では、例えば、所定の通信回線として、無線通信回線を例示して説明したが、眼鏡型表示端末2と腕時計型表示端末1とを有線ケーブル等により接続して通信を行う有線通信回線であっても良い。
また、表示システム100の構成や当該表示システム100が有する腕時計型表示端末1や眼鏡型表示端末2の構成は、上記実施形態に例示したものは一例であり、これに限られるものではない。
例えば、腕時計型表示端末1の代わりに、例えば、スマートフォン、携帯電話やPHS(Personal Handy-phone System)、PDA(Personal Data Assistants)等を適用しても良い。
加えて、上記実施形態にあっては、受信制御手段、表示制御手段としての機能を、眼鏡型表示端末2の中央制御部201の制御下にて、無線処理部207、表示制御部206が駆動することにより実現される構成としたが、これに限られるものではなく、中央制御部201によって所定のプログラム等が実行されることにより実現される構成としても良い。
即ち、プログラムメモリ(図示略)に、受信制御処理ルーチン、表示制御処理ルーチンを含むプログラムを記録しておく。そして、受信制御処理ルーチンにより中央制御部201のCPUを、他の表示端末から送信され、当該他の表示端末に表示されている表示内容を示す情報を受信する手段として機能させるようにしても良い。また、表示制御処理ルーチンにより中央制御部201のCPUを、受信された前記表示内容を示す情報に基づいて、他の表示端末の表示内容に関連する内容の関連情報を表示手段に表示させる手段として機能させるようにしても良い。
同様に、判定手段についても、眼鏡型表示端末2の中央制御部201のCPUによって所定のプログラム等が実行されることにより実現される構成としても良い。
さらに、上記の各処理を実行するためのプログラムを格納したコンピュータ読み取り可能な媒体として、ROMやハードディスク等の他、フラッシュメモリ等の不揮発性メモリ、CD−ROM等の可搬型記録媒体を適用することも可能である。また、プログラムのデータを所定の通信回線を介して提供する媒体としては、キャリアウェーブ(搬送波)も適用される。
本発明のいくつかの実施形態を説明したが、本発明の範囲は、上述の実施の形態に限定するものではなく、特許請求の範囲に記載された発明の範囲とその均等の範囲を含む。
以下に、この出願の願書に最初に添付した特許請求の範囲に記載した発明を付記する。付記に記載した請求項の項番は、この出願の願書に最初に添付した特許請求の範囲の通りである。
〔付記〕
<請求項1>
情報通信可能に接続された複数の表示端末を備える表示システムであって、
前記複数の表示端末のうち、第一の表示端末は、
情報を表示する第一の表示手段と、
前記第一の表示手段に表示されている表示内容を示す情報を取得する取得手段と、
前記取得手段により取得された前記表示内容を示す情報を、第二の表示端末に送信する送信手段と、を備え、
前記第二の表示端末は、
第二の表示手段と、
前記第一の表示端末から送信された前記表示内容を示す情報を受信する受信手段と、
前記受信手段により受信された前記表示内容を示す情報に基づいて、前記第一の表示手段の表示内容に関連する内容の関連情報を前記第二の表示手段に表示させる制御手段と、を備えることを特徴とする表示システム。
<請求項2>
前記第二の表示端末は、
ユーザから当該表示端末の表示領域越しに前記第一の表示手段の表示領域が見える位置に存するか否かを判定する判定手段を更に備え、
前記制御手段は、
前記判定手段により存すると判定された場合に、前記関連情報を前記第二の表示手段の表示領域に表示させることを特徴とする請求項1に記載の表示システム。
<請求項3>
前記関連情報は、前記第一の表示手段に表示されている表示内容に対応する情報を一部に含む情報であり、
前記制御手段は、更に、
前記判定手段により存すると判定された場合に、前記第一の表示手段に表示されている表示内容に対して前記関連情報に含まれる当該表示内容に対応する情報の位置を一致させるように前記関連情報を前記第二の表示手段の表示領域に表示させることを特徴とする請求項2に記載の表示システム。
<請求項4>
前記第二の表示手段は、更に、
外界像の光に対して前記関連情報の光を重畳して表示領域に透過表示することを特徴とする請求項1〜3の何れか一項に記載の表示システム。
<請求項5>
前記第一の表示端末は、
当該端末本体の傾きを検出する検出手段を更に備え、
前記送信手段は、
前記検出手段により検出された当該端末本体の傾きを示す情報を前記第二の表示端末に送信し、
前記第二の表示端末にあっては、
前記制御手段は、更に、
前記受信手段により受信された前記第一の表示端末本体の傾きを示す情報に基づいて、前記関連情報を傾斜させて前記第二の表示手段に表示させることを特徴とする請求項1〜4の何れか一項に記載の表示システム。
<請求項6>
前記第一の表示端末にあっては、
前記第一の表示手段は、
前記検出手段により検出された当該端末本体の傾きを示す情報に基づいて、前記表示内容を傾斜させて表示することを特徴とする請求項5に記載の表示システム。
<請求項7>
前記第一の表示端末は、手首に装着される腕時計型の表示端末であり、
前記第二の表示端末は、頭に装着される眼鏡型の表示端末であることを特徴とする請求項1〜6の何れか一項に記載の表示システム。
<請求項8>
情報通信可能に他の表示端末と接続された表示端末であって、
前記他の表示端末から送信され、当該他の表示端末に表示されている表示内容を示す情報を受信する受信手段と、
前記受信手段により受信された前記表示内容を示す情報に基づいて、前記他の表示端末の表示内容に関連する内容の関連情報を表示手段に表示させる制御手段と、を備えることを特徴とする表示端末。
<請求項9>
情報通信可能に接続された複数の表示端末を備える表示システムを用いた表示方法であって、
前記複数の表示端末のうち、第一の表示端末は、
第一の表示手段に表示されている表示内容を示す情報を取得する処理と、
取得された前記表示内容を示す情報を、第二の表示端末に送信する処理と、を行い、
前記第二の表示端末は、
前記第一の表示端末から送信された前記表示内容を示す情報を受信する処理と、
受信された前記表示内容を示す情報に基づいて、前記第一の表示手段の表示内容に関連する内容の関連情報を第二の表示手段に表示させる処理と、を行うことを特徴とする表示方法。
<請求項10>
情報通信可能に他の表示端末と接続された表示端末が有するコンピュータを、
前記他の表示端末から送信され、当該他の表示端末に表示されている表示内容を示す情報を受信する受信制御手段、
受信された前記表示内容を示す情報に基づいて、前記他の表示端末の表示内容に関連する内容の関連情報を表示手段に表示させる表示制御手段、
として機能させることを特徴とするプログラム。
100 表示システム
1 腕時計型表示端末
103 傾き検出部
104 表示部
106 表示内容取得部
108 無線処理部
2 眼鏡型表示端末
201 中央制御部
204 表示部
205 判定部
206 表示制御部
207 無線処理部

Claims (13)

  1. 第一の情報装置と、当該第一の情報装置に接続された第二の情報装置と、からなる表示システムであって、
    前記第一の情報装置が有する第一の表示手段と、
    前記第二の情報装置が有する第二の表示手段と、
    前記第一の表示手段に表示されている表示内容を示す情報を取得する取得手段と、
    前記第一の情報装置の傾きを検出する、前記第一の情報装置が有する検出手段と、
    前記表示内容を示す情報に基づいて、前記第一の表示手段の表示内容に関連する内容の関連情報を前記第二の表示手段に表示させる制御手段と、
    を備え、
    前記制御手段は、前記第一の情報装置本体の傾きを示す情報に基づいて、前記関連情報を傾斜させて前記第二の表示手段に表示させる
    ことを特徴とする表示システム。
  2. ユーザから当該第二の情報装置の表示領域越しに前記第一の表示手段の表示領域が見える位置に存するか否かを判定する判定手段を更に備え、
    前記制御手段は、
    前記判定手段により存すると判定された場合に、前記関連情報を前記第二の表示手段の表示領域に表示させることを特徴とする請求項1に記載の表示システム。
  3. 前記表示内容を示す情報は、前記第一の表示手段に表示されている範囲を示す範囲情報を含むことを特徴とする請求項2記載の表示システム。
  4. 前記第二の表示手段は、
    前記範囲情報に基づいて、前記第二の表示手段における、前記第一の情報装置の表示内容に対応する範囲を特定する範囲特定手段を備え、
    前記制御手段は、前記範囲特定手段により特定された範囲を透過させると共に前記範囲特定手段により特定された範囲以外の部分の関連情報を透過表示させた状態で前記第一の表示手段の表示内容に関連する内容の関連情報を前記第二の表示手段に表示させることを特徴とする請求項3に記載の表示システム。
  5. 前記関連情報は、前記第一の表示手段に表示されている表示内容に対応する情報を一部に含む情報であり、
    前記制御手段は、更に、
    前記判定手段により存すると判定された場合に、前記第一の表示手段に表示されている表示内容に対して前記関連情報に含まれる当該表示内容に対応する情報の位置を一致させるように前記関連情報を前記第二の表示手段の表示領域に表示させることを特徴とする請求項3又は4に記載の表示システム。
  6. 前記第二の表示手段は、更に、
    外界像の光に対して前記関連情報の光を重畳して表示領域に透過表示することを特徴とする請求項1乃至5のいずれかに記載の表示システム。
  7. 前記第一の情報装置にあっては、
    前記第一の表示手段は、
    前記検出手段により検出された当該第一の情報装置の傾きを示す情報に基づいて、前記表示内容を傾斜させて表示することを特徴とする請求項1乃至6の何れかに記載の表示システム。
  8. 前記第一の情報装置は、手首に装着される腕時計型の情報装置であり、
    前記第二の情報装置は、頭に装着される眼鏡型の情報装置であることを特徴する請求項1乃至7のいずれかに記載の表示システム。
  9. 前記表示内容を示す情報に基づいて、前記第二の表示手段で表示させるべきアプリケーションを特定するアプリケーション特定手段を備え、
    前記制御手段は、前記特定されたアプリケーションを起動するとともに、前記表示内容を示す情報に基づいて、前記アプリケーションにおける前記関連情報を前記第二の表示手段に表示させる
    ことを特徴とする請求項1乃至8の何れかに記載の表示システム。
  10. 表示手段と、
    通信可能に接続された他の情報装置から送信され、前記他の情報装置に表示されている表示内容を示す情報及び、前記他の情報装置の傾きの情報を受信する受信手段と、
    前記受信手段により受信された前記表示内容を示す情報に基づいて、前記他の情報装置の表示内容に関連する内容の関連情報を前記表示手段に表示させる制御手段と、
    を備え、
    前記制御手段は、前記他の情報装置の傾きを示す情報に基づいて、前記関連情報を傾斜させて前記表示手段に表示させることを特徴とする情報装置。
  11. 表示手段と、
    自身の傾きを検出する検出手段と、
    前記表示手段に表示されている表示内容を示す情報に基づいて、前記表示手段の表示内容に関連する内容の関連情報を表示させ且つ前記自身の傾きに関する情報に基づいて、前記関連情報を傾斜させて前記表示手段に表示させる他の情報装置に、前記表示内容を示す情報及び前記自身の傾きに関する情報を送信する送信手段と、
    を備えることを特徴とする情報装置。
  12. 第一の表示手段を有し、自身の傾きを検出する検出手段を有する第一の情報装置と、当該第一の情報装置に接続され且つ第二の表示手段を有する第二の情報装置とで行なう表示方法であって、
    第一の表示手段に表示されている表示内容を示す情報を取得する処理と、
    前記第一の情報装置の傾きを検出する処理と、
    前記表示内容を示す情報に基づいて、前記第一の表示手段の表示内容に関連する内容の関連情報を前記第二の表示手段に表示させる処理と、を行い、
    前記関連情報を前記第二の表示手段に表示させる処理は、前記検出手段により検出された前記第一の情報装置の傾きを示す情報に基づいて、前記関連情報を傾斜させて前記第二の表示手段に表示させる
    ことを特徴とする表示方法。
  13. 第一の表示手段を有し、自身の傾きを検出する検出手段を有する第一の情報装置と、当該第一の情報装置に接続され且つ第二の表示手段を有する第二の情報装置とが有するコンピュータを、
    前記第一の表示手段に表示されている表示内容を示す情報を取得する取得手段、
    前記表示内容を示す情報に基づいて、前記第一の表示手段の表示内容に関連する内容の関連情報を前記第二の表示手段に表示させる表示制御手段、
    として機能させ、
    前記表示制御手段は、前記検出手段により検出された第一の情報装置の傾きを示す情報に基づいて、前記関連情報を傾斜させて前記第二の表示手段に表示させることを特徴とするプログラム。
JP2016090020A 2016-04-28 2016-04-28 表示システム、情報装置、表示方法及びプログラム Active JP6439744B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2016090020A JP6439744B2 (ja) 2016-04-28 2016-04-28 表示システム、情報装置、表示方法及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016090020A JP6439744B2 (ja) 2016-04-28 2016-04-28 表示システム、情報装置、表示方法及びプログラム

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2014006066A Division JP5929933B2 (ja) 2014-01-16 2014-01-16 表示システム、表示端末、表示方法及びプログラム

Publications (3)

Publication Number Publication Date
JP2016180986A JP2016180986A (ja) 2016-10-13
JP2016180986A5 JP2016180986A5 (ja) 2017-02-16
JP6439744B2 true JP6439744B2 (ja) 2018-12-19

Family

ID=57132589

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016090020A Active JP6439744B2 (ja) 2016-04-28 2016-04-28 表示システム、情報装置、表示方法及びプログラム

Country Status (1)

Country Link
JP (1) JP6439744B2 (ja)

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5691802B2 (ja) * 2011-04-28 2015-04-01 コニカミノルタ株式会社 投影システム、投影装置、投影方法、および制御プログラム
JP2013125247A (ja) * 2011-12-16 2013-06-24 Sony Corp ヘッドマウントディスプレイ及び情報表示装置
JP5483761B2 (ja) * 2012-06-29 2014-05-07 株式会社ソニー・コンピュータエンタテインメント 映像出力装置、立体映像観察デバイス、映像提示システム、および映像出力方法

Also Published As

Publication number Publication date
JP2016180986A (ja) 2016-10-13

Similar Documents

Publication Publication Date Title
JP5929933B2 (ja) 表示システム、表示端末、表示方法及びプログラム
JP6967160B2 (ja) 画像処理方法および関連デバイス
EP3163348B1 (en) Imaging device
JPWO2020003361A1 (ja) ヘッドマウントディスプレイ、ヘッドマウントディスプレイ連携システム及びその方法
US9049317B2 (en) Communication system, communication terminal, and method of controlling a communication system
JP2016012786A (ja) 撮像装置
US9819853B2 (en) Imaging device and focusing control method
US9794471B2 (en) Imaging device and focusing control method
US20230284000A1 (en) Mobile information terminal, information presentation system and information presentation method
US20180295283A1 (en) Mobile terminal and method of controlling the same
WO2014098143A1 (ja) 画像処理装置、撮像装置、画像処理方法、画像処理プログラム
JP6439744B2 (ja) 表示システム、情報装置、表示方法及びプログラム
CN113950028A (zh) 用于终端设备与网络侧设备的通信方法及终端设备
KR20150123645A (ko) 이동단말기 및 그 제어방법
KR20200050095A (ko) 증강현실을 이용한 착용 서비스 제공 방법
KR20180119281A (ko) 이동 단말기 및 그 제어 방법
JP2016177565A (ja) 通信制御装置、通信制御方法及びプログラム
JP6736962B2 (ja) 画像送信制御プログラム、画像送信制御方法および画像送信制御装置
JP7085651B2 (ja) 撮像装置の制御装置、撮像装置、撮像装置の制御方法、撮像装置の制御プログラム
US11624924B2 (en) Image capturing system including head-mount type display device, and display device and method of controlling the same
CN111340894B (zh) 图像处理方法、装置和计算机设备
US20240095086A1 (en) Mobile device resource optimized kiosk mode
JP2005223855A (ja) 携帯端末装置及びサーバ装置
CN114143588B (zh) 一种播放控制方法以及电子设备
JP2020201723A (ja) 画像処理装置、ウェアラブルデバイス、画像処理プログラム、画像処理方法、オブジェクト認識装置、オブジェクト認識プログラムおよびオブジェクト認識方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170113

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170113

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20171024

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20171121

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180116

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180626

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180822

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20181023

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20181105

R150 Certificate of patent or registration of utility model

Ref document number: 6439744

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150