JP7081901B2 - 表示制御装置および表示制御方法 - Google Patents

表示制御装置および表示制御方法 Download PDF

Info

Publication number
JP7081901B2
JP7081901B2 JP2016207024A JP2016207024A JP7081901B2 JP 7081901 B2 JP7081901 B2 JP 7081901B2 JP 2016207024 A JP2016207024 A JP 2016207024A JP 2016207024 A JP2016207024 A JP 2016207024A JP 7081901 B2 JP7081901 B2 JP 7081901B2
Authority
JP
Japan
Prior art keywords
display device
gaze
display
user
content information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016207024A
Other languages
English (en)
Other versions
JP2018066940A (ja
Inventor
貴克 山下
佳保里 本多
順子 樋渡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Ten Ltd
Original Assignee
Denso Ten Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Ten Ltd filed Critical Denso Ten Ltd
Priority to JP2016207024A priority Critical patent/JP7081901B2/ja
Publication of JP2018066940A publication Critical patent/JP2018066940A/ja
Application granted granted Critical
Publication of JP7081901B2 publication Critical patent/JP7081901B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Controls And Circuits For Display Device (AREA)
  • User Interface Of Digital Computer (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Digital Computer Display Output (AREA)
  • Position Input By Displaying (AREA)

Description

本発明は、表示制御装置および表示制御方法に関する。
従来、例えば再生されたDVD(Digital Versatile Disc)の映像やテレビ映像などのコンテンツ情報を表示可能な表示装置が知られている。なお、上記した表示装置は、例えば車両などに搭載されている(例えば特許文献1参照)。
ところで、上記した表示装置が複数あり、複数の表示装置にそれぞれ別のコンテンツ情報が表示されることがある。その際、複数の表示装置のうちの一つの表示装置に表示されているコンテンツ情報を別の表示装置に表示させたい場合、ユーザが別の表示装置を操作することで、別の表示装置にコンテンツ情報を表示させていた。
特開2006-3787号公報
しかしながら、上記したような別の表示装置にコンテンツ情報を表示させる操作はユーザにとって煩わしく、表示装置の利便性を低下させるおそれがあった。このように、従来技術には、表示装置の利便性を向上させるという点で改善の余地があった。
本発明は、上記に鑑みてなされたものであって、表示装置に対するユーザの利便性を向上させることができる表示制御装置および表示制御方法を提供することを目的とする。
上記課題を解決し、目的を達成するために、本発明は、表示制御装置において、注視検出部と、表示制御部とを備える。注視検出部は、コンテンツ情報を表示可能な複数の表示装置のうち、ユーザに注視されている注視表示装置を検出する。表示制御部は、前記注視検出部によって検出された前記注視表示装置に表示されているコンテンツ情報を前記注視表示装置とは別の表示装置に表示させる。
本発明によれば、表示装置に対するユーザの利便性を向上させることができる。
図1は、第1の実施形態に係る表示制御方法の概要を示す図である。 図2は、第1の実施形態における表示システムの構成例を示すブロック図である。 図3は、表示装置を説明する図である。 図4は、表示制御装置が実行する処理手順を示すフローチャートである。 図5は、第1の変形例に係る表示制御装置を説明する図である。 図6は、第2の変形例に係る表示制御装置を説明する図である。 図7は、第2の実施形態における表示システムの構成例を示すブロック図である。 図8は、ユーザ端末の構成例を示すブロック図である。 図9は、表示制御装置の構成例を示すブロック図である。 図10は、表示装置の配置例を示す図である。
以下、添付図面を参照して、本願の開示する表示制御装置および表示制御方法の実施形態を詳細に説明する。なお、以下に示す実施形態によりこの発明が限定されるものではない。
(第1の実施形態)
<1.表示制御方法の概要>
以下では先ず、第1の実施形態に係る表示制御方法の概要について図1を参照して説明する。図1は、第1の実施形態に係る表示制御方法の概要を示す図である。
第1の実施形態に係る表示制御方法は、例えば自動車などの車両1に搭載された表示制御装置30によって実行される。具体的には、車両1は、車室2と、表示装置20と、表示制御装置30とを備える。
車室2は、その前部(前方)に座席3FRおよび座席3FLを、その後部(後方)に座席3RRおよび座席3RLを、それぞれ備えているものとする。なお、以下では、座席3FR,3FLを「前席3FR,3FL」、座席3RR,3RLを「後席3RR,3RL」と記載する場合がある。
図1に示す例では、前席3FRが車両1の運転席であり、運転者Dが着座し、また搭乗者Uが後席3RLに着座しているものとする。なお、以下では、搭乗者Uを「ユーザU」と記載するが、運転者Dがユーザであってもよい。
表示装置20は複数あり、例えば前席3FR,3FLと後席3RR,3RLとにそれぞれ1台ずつ設置されているものとする。表示装置20は、例えば液晶パネルなどの画面21を備え、例えば再生されたDVDの映像やテレビ映像、ナビゲーション画像など種々のコンテンツ情報を表示可能とされる。
なお、以下では、前席3FR,3FLに設置された表示装置20Fを「前席表示装置20F」、後席3RR,3RLに設置された表示装置20Rを「後席表示装置20R」と記載する場合がある。また、図1に示すユーザUの着座位置、前席表示装置20Fおよび後席表示装置20Rの設置位置は、例示であって限定されるものではない。
表示制御装置30は、前席表示装置20Fおよび後席表示装置20Rの表示の制御などを行う。なお、表示制御装置30の詳しい構成については、図2を参照して後述する。
ところで、上記したように表示装置20が複数あると、複数の表示装置20にそれぞれ別のコンテンツ情報が表示されることがある。例えば図1に示すように、前席表示装置20Fの画面21Fに人の顔が表示され、後席表示装置20Rの画面21Rに山の風景が表示されるなど、別の内容が表示されることがある。なお、上記した人の顔や山の風景は、コンテンツ情報の一部であるものとする。
ここで、例えば、後席3RLのユーザUが前席表示装置20Fを見て、前席表示装置20Fに表示されているコンテンツ情報に興味を示し、かかるコンテンツ情報を自身に近い後席表示装置20Rに表示させることを所望することがある。
その際、従来技術においては、ユーザUが後席表示装置20Rの操作部(図示せず)を操作することで、前席表示装置20Fのコンテンツ情報を後席表示装置20Rに表示させていた、言い換えると、コンテンツ情報の切り替え操作をユーザU自身が行っていた。
このような、複数の表示装置20のうちの一つの表示装置(ここでは前席表示装置20F)に表示されているコンテンツ情報を別の表示装置(ここでは後席表示装置20R)に表示させる操作はユーザUにとって煩わしく、表示装置20の利便性を低下させるおそれがあった。そこで、本実施形態に係る表示制御方法にあっては、表示装置20の利便性を向上させるようにした。
詳しく説明すると、本実施形態において、車両1の車室2の適宜位置には、撮像部12が設けられる。なお、図1にあっては、図示の簡略化のため、後席3RLのユーザUを撮影する撮像部12のみを示したが、これに限られず、例えば後席3RRや前席3FR,3FLに着座するユーザを撮像する撮像部12を備えていてもよい。また、撮像部12は、車室2内のユーザを撮像できれば、1台であっても複数台であってもよく、また、設置する位置も任意に設定することができる。
上記した撮像部12は、ユーザUの顔を含む画像、換言すると、ユーザUの視線に関する画像を撮像し、かかる画像情報を表示制御装置30へ出力する。
表示制御装置30は、撮像部12から出力された画像情報に基づいてユーザUの視線の方向を検出する(ステップS1)。続いて表示制御装置30は、検出されたユーザUの視線の方向の情報に基づき、複数の表示装置20の中から注視表示装置を検出する(ステップS2)。注視表示装置とは、ユーザUに注視されている表示装置20である。
具体的に表示制御装置30は、ユーザUの画像情報から得られたユーザUの視線の方向の情報に基づき、例えば複数の表示装置20のうちの一つの表示装置20に対してユーザUの視線が所定時間以上向けられていると判定された場合、当該表示装置20を注視表示装置として検出する。なお、図1に示す例では、表示制御装置30は、前席表示装置20Fを注視表示装置として検出するものとする。
そして、注視表示装置が検出されると、表示制御装置30は、注視表示装置に表示されているコンテンツ情報を注視表示装置とは別の表示装置(ここでは後席表示装置20R)に表示させる(ステップS3)。
これにより、後席表示装置20Rには、前席表示装置20Fに表示されているコンテンツ情報が表示されることとなる、言い換えれば、後席表示装置20Rのコンテンツ情報が前席表示装置20Fに表示されているコンテンツ情報に切り替えられることとなる。
このように、本実施形態にあっては、ユーザUは、例えば興味のある前席表示装置20Fを見るだけで、後席表示装置20Rのコンテンツ情報を前席表示装置20Fのコンテンツ情報に切り替えることができる。すなわち、本実施形態にあっては、後席表示装置20Rに対するユーザUの操作を要さずに、所望するコンテンツ情報への切り替えが行われることから、表示装置20の利便性を向上させることができる。
なお、上記では、表示装置20や表示制御装置30が車両1たる自動車に搭載される場合を例に挙げて説明したが、これに限定されるものではなく、例えば飛行機、列車等の車両や船舶などその他の交通機関などに搭載されてもよい。例えば表示制御装置30等が飛行機に搭載される場合、ユーザUが機内の離れた位置にある表示装置20を注視すると、表示制御装置30は当該表示装置20を注視表示装置として検出し、かかる注視表示装置のコンテンツ情報をユーザUの近傍にある表示装置20に表示させるようにしてもよい。
<2.表示制御装置などの構成>
次に、図2を用いて、第1の実施形態に係る表示制御装置30を備えた表示システム100の構成を説明する。図2は、第1の実施形態における表示システム100の構成例を示すブロック図である。
図2に示すように、本実施形態に係る表示システム100は、操作部10と、コンテンツ入力部11と、撮像部12と、表示装置20と、表示制御装置30とを備える。
操作部10は、運転者や搭乗者などのユーザUによって操作された場合、かかる操作内容を示す信号を表示制御装置30の制御部40(後述)へ出力する。例えば、操作部10は、表示装置20に表示させるコンテンツ情報の種類(DVDの映像やテレビ映像など)を選択する選択ボタン等を含み、かかるボタンがユーザUによって操作された場合、選択されたコンテンツ情報の種類を示す信号を制御部40へ出力する。なお、操作部10としては、表示装置20付近に配置される操作ボタンや表示装置20の画面21に設けられるタッチパネルなどを用いることができる。
コンテンツ入力部11には、コンテンツ情報が入力され、入力されたコンテンツ情報を表示制御装置30の制御部40へ出力する。コンテンツ入力部11としては、例えばDVDの再生装置やTV電波を受信するアンテナ装置などを用いることができるが、これに限られず、コンテンツ情報が入力される装置であれば、その他の装置であってもよい。
撮像部12は、上記したように、ユーザUの視線に関する画像を撮像し、画像情報を表示制御装置30の制御部40へ出力する。なお、撮像部12は、例えばユーザUを撮像するカメラデバイスであり、車載カメラなどを用いることができる。
表示装置20は、上記した前席表示装置20Fおよび後席表示装置20Rを含むが、これに限定されるものではない。図3は、車室2の模式平面図であり、表示装置20を説明する図である。
図3に示すように、後席表示装置20Rは、後席3RRと後席3RLとの間で、かつ前席3FR,3FLの後方の位置に配置される。なお、後席表示装置20Rは、例えば車室2の天井に取り付けられて配置されるが、取付位置はこれに限定されない。
そのため、後席表示装置20Rは、後席3RLのユーザUと後席3RRのユーザ(図示せず)とで共用されるが、かかる後席表示装置20Rに代えてあるいは加えて、図3に想像線で示すように、後席表示装置120RR,120RLが車室2に配置されてもよい。後席表示装置120RRは、後席3RRの前方かつ前席3FRの後方の位置に配置され、後席表示装置120RLは、後席3RLの前方かつ前席3FLの後方の位置に配置される。また、後席表示装置120RR,120RLは、例えば前席3FR,3FLの背もたれ部やヘッドレスト部に取り付けられて配置されるが、取付位置はこれに限定されない。
また、図3に想像線で示すように、後席表示装置220RR,220RLが後席3RR,3RLの側方のドア付近にそれぞれ配置されてもよい。上記した後席表示装置120RR,120RLや後席表示装置220RR,220RLは、後席3RRのユーザ(図示せず)および後席3RLのユーザUに対してそれぞれ専用の表示装置20として使用される。
このように、表示装置20は、前席表示装置20Fや後席表示装置20Rに代えてあるいは加えて、後席表示装置120RR,120RL,220RR,220RLを含んでいてもよい。
図2の説明に戻ると、表示制御装置30は、制御部40と、記憶部50とを備える。制御部40は、操作受付部41と、コンテンツ取得部42と、視線検出部43と、注視検出部44と、表示制御部45とを備え、CPU(Central Processing Unit)などを有するマイクロコンピュータである。
また、記憶部50は、不揮発性メモリやハードディスクドライブといった記憶デバイスで構成される記憶部であり、表示装置20の位置情報データベース(DB)51と、コンテンツ情報データベース(DB)52とを備える。
表示装置20の位置情報DB51には、前席表示装置20Fや後席表示装置20Rの位置を示す情報が記憶される。例えば、表示装置20の位置情報DB51に記憶される情報は、車室2の前席3FR,3FLや後席3RR,3RLに対する前席表示装置20Fや後席表示装置20Rのそれぞれの相対的な位置関係を示す情報である。コンテンツ情報DB52には、例えばコンテンツ入力部11から入力されたコンテンツ情報が記憶される。
制御部40の操作受付部41は、例えば、ユーザUの操作部10への操作によって選択されたコンテンツ情報の種類を示す信号を受け付ける。操作受付部41は、受け付けた信号を表示制御部45へ出力する。
コンテンツ取得部42は、コンテンツ入力部11に入力されたコンテンツ情報を取得する。そして、コンテンツ取得部42は、取得したコンテンツ情報をコンテンツ情報DB52に一時的に記憶させる。
視線検出部43は、撮像部12によって撮像されたユーザUの画像を取得し、かかる画像に対する画像解析処理を行ってユーザUの視線方向を検出する。例えば、視線検出部43は、ユーザUの画像におけるユーザUの頭部の向きや目の位置を、予め記憶部50に記憶された基準画像と比較し、ユーザUの視線が何処に向いているかを検出してもよい。なお、上記した基準画像は、例えば図3に示すユーザUが前席表示装置20Fを見ている場合や、後席表示装置20Rを見ている場合の頭部の向きや目の位置などの画像を含むものとする。
なお、例えば、撮像部12が赤外線カメラおよび赤外線LEDを備えるように構成し、視線検出部43は、赤外線カメラで撮像した画像に基づいてユーザUの視線方向を検出してもよい。具体的には、視線検出部43は、赤外線LEDで照らしたユーザUの顔を赤外線カメラで撮像することによって得られる赤外画像中の瞳孔と、眼球上に生じる赤外照明反射像との位置関係に基づき、ユーザUの視線方向を検出してもよい。
そして、視線検出部43は、検出されたユーザUの視線方向を示す情報を注視検出部44へ出力する。なお、上記したユーザUの視線方向を検出する手法は、あくまでも例示であって限定されるものではない。
注視検出部44は、視線検出部43によって検出されたユーザUの視線方向を示す情報に基づき、注視表示装置を検出する。例えば、注視検出部44は、上記したように、ユーザUの視線が複数の表示装置20のうちの一つの表示装置20に対して所定時間以上継続して向けられている場合に、当該表示装置20を注視表示装置として検出する。
なお、注視検出部44は、例えば、ユーザUの視線が一つの表示装置20に対して所定時間以内に所定回数以上向けられた場合に、当該表示装置20を注視表示装置として検出してもよい。
そして、注視検出部44は、検出された注視表示装置を示す情報と、注視表示装置を注視しているユーザUの着座位置を示す情報とを関連付けて表示制御部45へ出力する。なお、上記した所定時間や所定回数の数値は、任意の値に設定することができる。また、上記では、注視検出部44において表示装置20を注視表示装置として検出する条件について具体例を挙げて説明したが、これらはあくまでも例示であって限定されるものではない。
表示制御部45は、操作受付部41から出力されるコンテンツ情報の種類を示す信号に基づいて、対応するコンテンツ情報をコンテンツ情報DB52から読み出す。そして、表示制御部45は、読み出したコンテンツ情報を、ユーザUが操作した操作部10に対応する表示装置20、言い換えると、ユーザUが所望した表示装置20へ出力して表示させる。
また、表示制御部45は、注視検出部44によって注視表示装置が検出された場合、注視表示装置に表示されているコンテンツ情報を、注視表示装置とは別の表示装置20に表示させるようにしてもよい。
ここでは、図3に示すように、後席3RLのユーザUが前席表示装置20Fを注視し、前席表示装置20Fが注視表示装置として検出された場合を例に挙げて説明する。かかる場合、表示制御部45は、後席表示装置20Rを、前席表示装置20Fのコンテンツ情報を表示させる別の表示装置20として選択する。なお、以下では、表示制御部45によって選択された表示装置20を「選択表示装置」と記載する場合がある。
詳しくは、表示制御部45は先ず、注視表示装置として検出された前席表示装置20Fの位置情報を表示装置20の位置情報DB51から読み出し、前席表示装置20Fと後席3RLのユーザUとの位置関係を示す情報を取得する。
そして、表示制御部45は、取得した位置関係を示す情報に基づき、例えば後席3RLのユーザUにとって前席表示装置20Fよりも見易い位置にある表示装置20を選択表示装置として選択する。
例えば、表示制御部45は、ユーザUの位置よりも注視表示装置側にある表示装置20、より詳しくは、図3に破線の範囲Aで示すように、ユーザUの位置よりも注視表示装置側であって、ユーザUの位置と注視表示装置との間にある表示装置20(ここでは後席表示装置20R)を選択表示装置として選択する。
すなわち、注視表示装置が検出された場合、ユーザUは注視表示装置の方向を向いている。従って、ユーザUの位置よりも注視表示装置側の範囲Aにある表示装置20は、ユーザUの注視方向に存在するため、ユーザUにとって見易い位置であると推定される。そこで、表示制御部45にあっては、上記した範囲Aにある表示装置20を選択表示装置として選択する。
なお、例えば、上記した後席表示装置120RR,120RL,220RR,220RLが車室2に配置される場合、表示制御部45は、後席表示装置120RR,120RL,220RR,220RLの一部あるいは全部を選択表示装置として選択してもよい。
また、図示は省略するが、後席3RLのユーザUが後席表示装置20Rを注視し、後席表示装置20Rが注視表示装置として検出された場合、ユーザUの位置と注視表示装置との間に表示装置20が存在しないことから、表示制御部45は選択表示装置の選択を行わないようにしてもよい。
なお、後席表示装置20Rが注視表示装置として検出された場合であっても、後席3RLのユーザUの姿勢によっては、後席表示装置20Rよりも前席表示装置20Fの方がユーザUにとって見易いこともある。その際、表示制御部45は、ユーザUの位置よりも注視表示装置側にある前席表示装置20Fを選択表示装置として選択してもよい。
表示制御部45は、上記のように選択表示装置が選択されると、かかる選択表示装置、換言すれば注視表示装置とは別の表示装置20に、注視表示装置に表示されているコンテンツ情報を表示させる(図1のS3参照)。
なお、表示制御部45は、注視表示装置とは別の表示装置20に、注視表示装置のコンテンツ情報を表示させた場合、表示装置20の画面21を点滅させたり、図示しないスピーカから音声を出力したりして、ユーザUにコンテンツ情報が切り替わったことを報知するようにしてもよい。これにより、ユーザUは、コンテンツ情報が切り替わったことを早期に認識することが可能となる。
<3.第1の実施形態に係る表示制御装置の表示制御処理>
次に、表示制御装置30が表示装置20の表示を制御する具体的な処理手順について図4を用いて説明する。図4は、表示制御装置30が実行する処理手順を示すフローチャートである。
図4に示すように、表示制御装置30は、ユーザUの画像に基づいてユーザUの視線方向を検出する(ステップS10)。次いで、表示制御装置30は、検出されたユーザUの視線方向に基づいて注視表示装置を検出する(ステップS11)。
続いて、表示制御装置30は、注視表示装置が検出されたか否かを判定する(ステップS12)。表示制御装置30は、注視表示装置が検出されない場合(ステップS12,No)、以降の処理をスキップする。
他方、表示制御装置30は、注視表示装置が検出された場合(ステップS12,Yes)、注視表示装置とは別の表示装置20を選択表示装置として選択する(ステップS13)。そして、表示制御装置30は、選択表示装置として選択された表示装置20の表示を制御する(ステップS14)。具体的には、表示制御装置30は、注視表示装置に表示されているコンテンツ情報を選択表示装置として選択された表示装置20に表示させる。
上述してきたように、第1の実施形態に係る表示制御装置30は、注視検出部44と、表示制御部45とを備える。注視検出部44は、コンテンツ情報を表示可能な複数の表示装置20のうち、ユーザUに注視されている注視表示装置を検出する。表示制御部45は、注視検出部44によって検出された注視表示装置に表示されているコンテンツ情報を注視表示装置とは別の表示装置20に表示させる。これにより、第1の実施形態に係る表示制御装置30にあっては、表示装置20に対するユーザの利便性を向上させることができる。
また、表示制御部45は、注視表示装置に表示されているコンテンツ情報を、例えば、ユーザUの位置よりも注視表示装置側にある表示装置20に表示させる。これにより、ユーザUにとって見易い位置であると推定される位置の表示装置20に、注視表示装置のコンテンツ情報を表示させることができる。
表示制御部45は、前席3FR,3FLに設置された前席表示装置20Fが後席3RR,3RLのユーザUに注視されて注視表示装置として検出された場合、注視表示装置のコンテンツ情報を後席3RR,3RLに設置された後席表示装置20Rに表示させる。これにより、後席3RR,3RLのユーザUにとって見易い位置にある後席表示装置20Rに、注視表示装置のコンテンツ情報を表示させることができる。
(第1の変形例)
<4.第1の変形例に係る表示制御装置>
次いで、第1の変形例に係る表示制御装置30について説明する。上記した第1の実施形態にあっては、ユーザUが1人である場合を例にとって説明したが、車両1には、複数のユーザUが乗る場合もある。そこで、第1の変形例に係る表示制御装置30にあっては、ユーザUが複数であっても対応できるような構成とした。
図5は、第1の変形例に係る表示制御装置30を説明する図である。図5に示すように、第1の変形例では、車両1の後席3RLにユーザU1が着座し、後席3RRにユーザU2が着座しているものとする。
また、撮像部12は、後席3RLおよび後席3RRにそれぞれ設けられてユーザU1,U2を撮像するが、これに限られず、例えば1台の撮像部12でユーザU1,U2を撮像してもよい。
表示制御装置30の視線検出部43は、撮像部12から出力された画像情報に基づいて複数のユーザU1,U2の視線の方向をそれぞれ検出する(ステップS1)。次いで、表示制御装置30の注視検出部44は、検出されたユーザU1,U2の視線の方向の情報に基づき、複数の表示装置20の中から注視表示装置を検出する(ステップS2)。
そして、表示制御装置30の表示制御部45は、注視検出部44の検出結果に基づいて、言い換えると、複数のユーザU1,U2の注視表示装置に関する検出結果に基づいて、注視表示装置とは別の表示装置20の表示を制御するようにする。これにより、複数のユーザU1,U2の表示装置20に対する利便性を向上させることができる。
詳しく説明すると、例えば図5に示すように、ユーザU1およびユーザU2がともに、前席表示装置20Fを注視し、前席表示装置20Fが注視表示装置として検出されたものとする。かかる場合、ユーザU1,U2は両方とも、前席表示装置20Fのコンテンツ情報を自身に近い後席表示装置20Rに表示させることを所望する意図があると推定することができる。
そこで、第1の変形例に係る表示制御部45にあっては、複数の表示装置20のうちの同じ表示装置20が複数のユーザU1,U2に注視されて注視表示装置として検出された場合に、注視表示装置のコンテンツ情報を別の表示装置(ここでは後席表示装置20R)に表示させる(ステップS3)。
従って、第1の変形例にあっては、複数のユーザU1,U2は、例えば前席表示装置20Fを見るだけで、後席表示装置20Rのコンテンツ情報を前席表示装置20Fのコンテンツ情報に切り替えることができる。このように、第1の変形例では、複数のユーザU1,U2の両方の意図を推定しつつ表示装置20を制御することから、複数のユーザU1,U2の表示装置20に対する利便性を向上させることができる。
なお、第1の変形例では、複数のユーザU1,U2が2人であるため、2人のユーザU1,U2全員が前席表示装置20Fを注視した場合に、後席表示装置20Rのコンテンツ情報を切り替えるようにしたが、例えばユーザUが3人以上の場合、これに限られない。
すなわち、例えばユーザUが3人以上であった場合、複数のユーザUのうちの過半数のユーザUが前席表示装置20Fを注視したとき、あるいは複数のユーザUのうちの少なくとも2人のユーザUが前席表示装置20Fを注視したとき、後席表示装置20Rのコンテンツ情報の切り替えを行うようにしてもよい。このように構成した場合であっても、3人以上のユーザUの表示装置20に対する利便性を向上させることが可能となる。
(第2の変形例)
<5.第2の変形例に係る表示制御装置>
次いで、第2の変形例に係る表示制御装置30について説明する。上記した第1の実施形態にあっては、ユーザUが注視して注視表示装置のコンテンツ情報を、注視表示装置とは別の表示装置20に表示させるようにした。
しかしながら、コンテンツ情報が切り替えられる別の表示装置20を他のユーザUが注視していることもあり、そのような場合に別の表示装置20のコンテンツ情報が切り替えられると、他のユーザUは不満を感じて表示装置20に対する満足度が低下するおそれがある。
そこで、第2の変形例にあっては、表示装置20に対する満足度が低下することを抑制するような構成とした。図6は、第2の変形例に係る表示制御装置30を説明する図である。
図6に示すように、第2の変形例では、第1の変形例と同様、車両1の後席3RL,3RRにユーザU1,U2が着座し、後席3RL,後席3RRに撮像部12が設置される。
視線検出部43は、複数のユーザU1,U2の視線の方向をそれぞれ検出し(ステップS1)、次に、注視検出部44は、ユーザU1,U2の視線の方向の情報に基づき、複数の表示装置20の中から注視表示装置を検出する(ステップS2)。
そして、図6に示す例では、ユーザU1が前席表示装置20Fを注視し、前席表示装置20Fが注視表示装置として検出されるものとする。他方、ユーザU2は後席表示装置20Rを注視し、後席表示装置20Rが注視表示装置として検出されるものとする。
かかる場合、ユーザU1は前席表示装置20Fのコンテンツ情報を後席表示装置20Rに表示させてコンテンツ情報を切り替えることを所望するが、ユーザU2は、後席表示装置20Rを注視しているため、後席表示装置20Rのコンテンツ情報の切り替えを所望していないと推定することができる。
そこで、第2の変形例に係る表示制御部45にあっては、複数のユーザU1,U2のうちの一部のユーザU1に注視された注視表示装置のコンテンツ情報を表示させる別の表示装置(ここでは後席表示装置20R)が、他のユーザU2に注視されて注視表示装置として検出された場合、ユーザU1に注視された注視表示装置のコンテンツ情報の別の表示装置への表示を禁止する(ステップS3a)。
これにより、第2の変形例にあっては、別の表示装置20のコンテンツ情報が切り替えられることはないため、他のユーザU2は不満を感じて表示装置20に対する満足度が低下することを抑制することができる。
(第2の実施形態)
<6.第2の実施形態に係る表示制御装置を含む表示システムの構成>
次いで、第2の実施形態に係る表示制御装置30について説明する。上記した実施形態において、表示制御装置30は、車両1に搭載された表示装置20の制御を行うようにしたが、これに限定されるものではない。
例えば、上記した表示制御装置30にあっては、デジタルサイネージと呼ばれる、電子広告媒体などを表示する表示装置にも適用することができる。なお、デジタルサイネージは、例えば通信ネットワークを介して配信されるコンテンツ情報を表示し、例えば街頭、駅、店舗、空港、ホテルなどの様々な場所に設置されている。
図7は、第2の実施形態における表示システム100の構成例を示すブロック図である。図7に示すように、第2の実施形態に係る表示システム100は、コンテンツ提供者端末60と、ユーザ端末70と、表示制御装置130と、表示装置20とを備え、これらは通信ネットワークNを介して通信可能に接続される。なお、通信ネットワークNとしては、例えばインターネットなどのWAN(Wide Area Network)を用いることができる。
コンテンツ提供者端末60は、複数のコンテンツ提供者端末60a,60bを含み、これらはコンテンツ提供者の操作によって、例えば広告情報やニュース情報など種々のコンテンツ情報が入力される。なお、図7では、コンテンツ提供者端末60を複数示したが、1つであってもよい。
ユーザ端末70は、例えばユーザUによって携帯あるいは所持可能な端末装置であり、例えばメガネ型のウェアラブル端末(所謂スマートグラス)を用いることができるが、これに限定されるものではない。すなわち、例えば、ユーザ端末70として、スマートフォンや、タブレット型端末や、PDA(Personal Digital Assistant)や、デスクトップ型PC(Personal Computer)や、ノート型PC等を用いてもよい。
図8は、ユーザ端末70の構成例を示すブロック図である。図8に示すように、ユーザ端末70は、通信部80と、測位部81と、撮像部82と、ユーザ端末側表示装置83と、記憶部84と、制御部90とを備える。
通信部80は、通信ネットワークNに接続され、例えば表示制御装置130などとの間で情報の送受信を行う。測位部81は、GPS(Global Positioning System)衛星から送出される電波を受信し、受信した電波に基づいてユーザ端末70の位置を示す位置情報(例えば、緯度および経度)を取得する。
撮像部82は、第1の実施形態の撮像部12と同様の機能を有する。すなわち、撮像部82は、ユーザUの視線に関する画像を撮像するカメラである。ユーザ端末側表示装置83は、図示は省略するが、例えば液晶パネルなどの画面を備え、種々のコンテンツ情報等を表示可能とされる。記憶部84は、不揮発性メモリやハードディスクドライブといった記憶デバイスで構成される記憶部であり、例えばユーザ端末70を動作させる各種プログラムなどが記憶される。
制御部90は、送信部91と、受信部92と、処理部93とを備え、CPU(Central Processing Unit)などを有するマイクロコンピュータである。送信部91は、撮像部82によって撮像されたユーザUの画像情報を通信部80を介して表示制御装置130へ送信する。また、送信部91は、測位部81によって取得されたユーザ端末70の位置を示す位置情報を通信部80を介して表示制御装置130へ送信する。
受信部92は、例えば、表示制御装置130からのコンテンツ情報を通信部80を介して受信することができる。処理部93は、撮像部82やユーザ端末側表示装置83等を含め、ユーザ端末70全体を制御する。例えば、処理部93は、受信部92で受信したコンテンツ情報をユーザ端末側表示装置83に表示させることもできる。
図7の説明に戻ると、表示制御装置130は、表示装置20やユーザ端末側表示装置83の表示を制御する。図9は、表示制御装置130の構成例を示すブロック図である。
図9に示すように、表示制御装置130は、通信部111と、制御部140と、記憶部150とを備える。通信部111は、通信ネットワークNに接続され、例えばコンテンツ提供者端末60やユーザ端末70などとの間で情報の送受信を行う。
制御部140は、コンテンツ取得部142と、視線検出部143と、注視検出部144と、表示制御部145と、移動判定部146とを備え、CPUなどを有するマイクロコンピュータである。また、記憶部150は、表示装置20の位置情報DB151と、コンテンツ情報DB152とを備える。
表示装置20の位置情報DB151には、複数の表示装置20の位置関係を示す情報が記憶されるが、これについては図10を用いて後述する。コンテンツ情報DB152には、例えばコンテンツ提供者端末60から送信されたコンテンツ情報が記憶される。
コンテンツ取得部142は、コンテンツ提供者端末60からのコンテンツ情報を取得し、コンテンツ情報DB152に一時的に記憶させる。視線検出部143は、撮像部82によって撮像されたユーザUの画像を取得し、かかる画像に基づいてユーザUの視線方向を検出する。なお、視線検出部143は、上記した視線検出部43と同様な構成であるため、これ以上の説明を省略する。
注視検出部144は、視線検出部143によって検出されたユーザUの視線方向を示す情報に基づき、注視表示装置を検出する。注視検出部144も、上記した注視検出部44と同様であるため、説明を省略する。
表示制御部145は、コンテンツ情報をコンテンツ情報DB152から読み出し、読み出したコンテンツ情報を所定の表示装置20へ出力して表示させる。なお、表示制御部145は、注視検出部144によって検出された注視表示装置に基づいて表示装置20の表示制御を行うが、これについては図10を参照して後述する。
移動判定部146は、測位部81によって取得されたユーザ端末70の位置情報に基づいてユーザUの移動状態を検出し、ユーザUが移動しているか否かを判定する。詳しくは、移動判定部146は、ユーザUが注視表示装置へ向けて移動しているか否かを判定する。
図7の説明に戻ると、表示装置20は、複数の表示装置20a,20bを含むものとする。なお、図7では、2個の表示装置20a,20bを示したが、3個以上であってもよい。
図10は、上記した表示装置20の配置例を示す図である。図10は、例えば表示装置20が設置される駅などを上から見たときの模式図である。
図10に示す例では、表示装置20は9個設置されているものとする。また、9個の表示装置20のうち、ユーザUの視線方向(一点鎖線矢印参照)に沿ってユーザUから近い順に、表示装置20a,20b,20x,20c,20dが直線的に並んでいるものとする。また、ユーザUの視線方向が例えばユーザUの右側に向けられているとした場合、ユーザUの視線方向と反対側であるユーザUの左側の前方には、ユーザUから近い順に、表示装置20e,20fが直線的に並んでいるものとする。
さらに、ユーザUの後方であって、ユーザUの視界に入らない位置には、表示装置20g,20hが配置されているものとする。なお、図10に破線で示す範囲Bは、ユーザUから比較的近い所定の範囲を示しており、かかる範囲Bには、上記した表示装置20a,20e,20g,20hが配置されているものとする。
なお、上記したような複数の表示装置20の位置関係の情報が、上記した表示装置20の位置情報DB151に記憶されている。また、図10に示す表示装置20の位置や個数は、例示であって限定されるものではない。
以下、表示制御装置130が、上記のように配置された表示装置20に対して行う表示制御について説明する。なお、図10に示す例では、表示装置20xがユーザUに注視され、注視表示装置として検出されたものとする。
第2の実施形態に係る表示制御装置130の表示制御部145は、第1の実施形態と同様、注視検出部144によって注視表示装置が検出された場合、注視表示装置のコンテンツ情報を、注視表示装置とは別の表示装置20に表示させるようにしてもよい。
詳しくは、表示制御部145は、例えば表示装置20a~20hのうちの一部または全部を選択表示装置として選択し、選択された選択表示装置に表示されるコンテンツ情報を注視表示装置のコンテンツ情報に切り替える。
また、表示制御部145によってコンテンツ情報が切り替えられる表示装置20は、任意に設定することができる。以下、コンテンツ情報が切り替えられる表示装置20の例について説明する。
例えば、表示制御部145は、ユーザUの視線方向に沿って配置される全ての表示装置20のコンテンツ情報を切り替えてもよい。かかる場合、表示装置20a~20hのうち、表示装置20a~20dのコンテンツ情報が切り替えられることとなる。
また、例えば、表示制御部145は、ユーザUの視線方向に沿って配置される表示装置20であって、ユーザUに最も近い表示装置20のコンテンツ情報を切り替えてもよい。かかる場合、表示装置20a~20hのうち、表示装置20aのみのコンテンツ情報が切り替えられることとなる。
また、例えば、表示制御部145は、ユーザUの視線方向に沿って配置される表示装置20であって、ユーザUの位置と注視表示装置との間に配置される表示装置20のコンテンツ情報を切り替えてもよい。かかる場合、表示装置20a~20hのうち、表示装置220a,20bのコンテンツ情報が切り替えられることとなる。
また、例えば、表示制御部145は、ユーザUから比較的近い範囲Bに配置される全ての表示装置20のコンテンツ情報を切り替えてもよい。かかる場合、表示装置20a~20hのうち、表示装置20a,20e,20g,20hのコンテンツ情報が切り替えられることとなる。
また、例えば、図10に矢印Cで示すように、移動判定部146によってユーザUが注視表示装置たる表示装置20xへ向けて移動していると判定された場合、表示制御部145は、かかる判定結果に基づいて注視表示装置とは別の表示装置20の表示を制御してもよい。これにより、ユーザUの移動状態に即した位置に配置される表示装置20のコンテンツ情報を切り替えることが可能となる。
例えば、表示制御部145は、ユーザUが移動していると判定された場合、ユーザUの視線方向に沿って配置される表示装置20であって、かつ注視表示装置たる表示装置20xよりもユーザUの移動方向側にある表示装置20のコンテンツ情報を切り替えてもよい。かかる場合、表示装置20a~20hのうち、表示装置20c,20dの一方あるいは両方のコンテンツ情報が切り替えられることとなる。
これにより、例えばユーザUが破線で示す位置まで移動した場合であっても、移動先のユーザUに比較的近い表示装置20のコンテンツ情報の切り替えを行うことができ、結果としてユーザUにとって見易い位置にある表示装置20に、注視表示装置のコンテンツ情報を表示させることが可能となる。
また、例えば、表示制御部145は、ユーザUが移動していると判定された場合、注視表示装置たる表示装置20xよりもユーザUの移動方向側にある全ての表示装置20のコンテンツ情報を切り替えてもよい。かかる場合、表示装置20a~20hのうち、表示装置20c,20d,20fのコンテンツ情報が切り替えられることとなる。
また、例えば、表示制御部145は、全ての表示装置20のコンテンツ情報を切り替えてもよい。かかる場合、表示装置20a~20hの全てのコンテンツ情報が切り替えられることとなる。
このように、第2の実施形態にあっては、表示制御部145によってコンテンツ情報が切り替えられる表示装置20を適宜に設定することで、ユーザUにとって見易い位置にある表示装置20に、注視表示装置のコンテンツ情報を表示させることが可能となる。また、例えばコンテンツ情報が広告情報やニュース情報などを含む場合、コンテンツ情報のユーザUに対する訴求力を向上させることができる。
なお、表示制御部145は、例えば、表示装置20以外にもユーザ端末側表示装置83のコンテンツ情報を切り替えてもよい。かかる場合、ユーザUに近い位置にあるユーザ端末側表示装置83に、注視表示装置のコンテンツ情報を表示させることが可能となる。
また、上記した第2の実施形態では、表示装置20としてデジタルサイネージを例に挙げて説明したが、これに限定されるものではなく、ユーザUに対してコンテンツ情報を表示する表示装置20であれば、その他の種類の表示装置であってもよい。例えば、表示装置20としては、美術館、博物館や動物園などの公共機関に設けられ、展示物等に関する情報を含むコンテンツ情報を表示する表示装置であってもよい。
また、上記した各実施形態では、表示装置20のコンテンツ情報を切り替えるようにしたが、これに限られず、例えばユーザUが携帯するスマートフォンやタブレット型端末などのディスプレイのコンテンツ情報を切り替えるようにしてもよい。
さらなる効果や変形例は、当業者によって容易に導き出すことができる。このため、本発明のより広範な態様は、以上のように表しかつ記述した特定の詳細および代表的な実施形態に限定されるものではない。したがって、添付の特許請求の範囲およびその均等物によって定義される総括的な発明の概念の精神または範囲から逸脱することなく、様々な変更が可能である。
1 車両
12,82 撮像部
20 表示装置
30,130 表示制御装置
43,143 視線検出部
44,144 注視検出部
45,145 表示制御部
146 移動判定部

Claims (4)

  1. コンテンツ情報を表示可能な複数の表示装置のうち、ユーザに注視されている注視表示装置を検出する注視検出部と、
    前記注視検出部によって検出された前記注視表示装置に表示されているコンテンツ情報を、前記注視表示装置とは別の表示装置であって、前記ユーザの姿勢に基づいて選択される、前記ユーザにとって前記注視表示装置より見易い位置にある表示装置に表示させる表示制御部と
    を備えることを特徴とする表示制御装置。
  2. 車両の前席および後席にそれぞれ設置されコンテンツ情報を表示可能な複数の表示装置のうち、前記車両のユーザに注視されている注視表示装置を検出する注視検出部と、
    前記注視検出部によって検出された前記注視表示装置に表示されているコンテンツ情報を、前記注視表示装置とは別の表示装置に表示させる表示制御部と
    を備え、
    記表示制御部は、
    前記注視検出部によって前記前席に設置された前記表示装置が前記後席のユーザに注視されて前記注視表示装置として検出された場合、前記注視表示装置に表示されているコンテンツ情報を前記後席に設置された前記表示装置に表示させること
    を特徴とする表示制御装置。
  3. コンテンツ情報を表示可能な複数の表示装置のうち、ユーザに注視されている注視表示装置を検出する注視検出工程と、
    前記注視検出工程で検出された前記注視表示装置に表示されているコンテンツ情報を、前記注視表示装置とは別の表示装置であって、前記ユーザの姿勢に基づいて選択される、前記ユーザにとって前記注視表示装置より見易い位置にある表示装置に表示させる表示制御工程と
    を含むことを特徴とする表示制御方法。
  4. 車両の前席および後席にそれぞれ設置されコンテンツ情報を表示可能な複数の表示装置のうち、前記車両のユーザに注視されている注視表示装置を検出する注視検出工程と、
    前記注視検出工程で検出された前記注視表示装置に表示されているコンテンツ情報を、前記注視表示装置とは別の表示装置に表示させる表示制御工程と
    を含み、
    記表示制御工程は、
    前記注視検出工程によって前記前席に設置された前記表示装置が前記後席のユーザに注視されて前記注視表示装置として検出された場合、前記注視表示装置に表示されているコンテンツ情報を前記後席に設置された前記表示装置に表示させること
    を特徴とする表示制御方法。
JP2016207024A 2016-10-21 2016-10-21 表示制御装置および表示制御方法 Active JP7081901B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2016207024A JP7081901B2 (ja) 2016-10-21 2016-10-21 表示制御装置および表示制御方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016207024A JP7081901B2 (ja) 2016-10-21 2016-10-21 表示制御装置および表示制御方法

Publications (2)

Publication Number Publication Date
JP2018066940A JP2018066940A (ja) 2018-04-26
JP7081901B2 true JP7081901B2 (ja) 2022-06-07

Family

ID=62087093

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016207024A Active JP7081901B2 (ja) 2016-10-21 2016-10-21 表示制御装置および表示制御方法

Country Status (1)

Country Link
JP (1) JP7081901B2 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009301439A (ja) 2008-06-16 2009-12-24 Nippon Telegr & Teleph Corp <Ntt> 情報提示システム、情報提示方法、情報提示プログラムとその記憶媒体
JP2011242699A (ja) 2010-05-20 2011-12-01 Canon Inc 情報提示システム及びその制御方法、プログラム
JP2013246355A (ja) 2012-05-28 2013-12-09 Yahoo Japan Corp 表示装置、表示方法及び表示プログラム
US20150154445A1 (en) 2013-11-29 2015-06-04 Nokia Corporation Method and apparatus for controlling transmission of data based on gaze interaction
WO2018042861A1 (ja) 2016-09-01 2018-03-08 株式会社デンソー 車両用操作システム及びコンピュータプログラム

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5423183B2 (ja) * 2009-07-03 2014-02-19 ソニー株式会社 表示制御装置および表示制御方法
JP5685685B2 (ja) * 2010-08-12 2015-03-18 日立マクセル株式会社 映像表示装置
JP6394281B2 (ja) * 2014-10-29 2018-09-26 株式会社デンソー 車載注意喚起システム、報知制御装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009301439A (ja) 2008-06-16 2009-12-24 Nippon Telegr & Teleph Corp <Ntt> 情報提示システム、情報提示方法、情報提示プログラムとその記憶媒体
JP2011242699A (ja) 2010-05-20 2011-12-01 Canon Inc 情報提示システム及びその制御方法、プログラム
JP2013246355A (ja) 2012-05-28 2013-12-09 Yahoo Japan Corp 表示装置、表示方法及び表示プログラム
US20150154445A1 (en) 2013-11-29 2015-06-04 Nokia Corporation Method and apparatus for controlling transmission of data based on gaze interaction
WO2018042861A1 (ja) 2016-09-01 2018-03-08 株式会社デンソー 車両用操作システム及びコンピュータプログラム

Also Published As

Publication number Publication date
JP2018066940A (ja) 2018-04-26

Similar Documents

Publication Publication Date Title
CN109155834B (zh) 显示控制装置、显示控制方法、显示装置以及移动体装置
EP3067827B1 (en) Driver distraction detection system
CN111480194B (zh) 信息处理装置、信息处理方法、程序、显示***和移动物体
CN107089191B (zh) 用于车辆信息学和虚拟现实的主动窗户
CN108099790B (zh) 基于增强现实平视显示与多屏语音交互的驾驶辅助***
US8818626B2 (en) Mobile device wireless camera integration with a vehicle
US9552830B2 (en) Vehicle language setting system
EP2936235A1 (en) System for a vehicle
US20140028726A1 (en) Wireless data transfer based spanning, extending and/or cloning of display data across a plurality of computing devices
JP2018513804A (ja) プライバシが保護されたリモートビューシステム
KR20150001425A (ko) 헤드 마운트 디스플레이 장치 및 그 동작방법
JP2014052518A (ja) 広告配信システムおよび広告配信方法
WO2014143899A1 (en) Aircraft predictive active noise cancellation
US20180246641A1 (en) Triggering control of a zone using a zone image overlay on an in-vehicle display
JP2018169580A (ja) 表示制御装置、表示システムおよび表示制御方法
CN112513708B (zh) 用于与车辆一起使用的设备和方法
US20140253415A1 (en) Information sharing between integrated virtual environment (ive) devices and vehicle computing systems
JP7081901B2 (ja) 表示制御装置および表示制御方法
JP2006293194A (ja) 表示切替装置および表示切替方法
US10661654B2 (en) Method for setting display of vehicle infotainment system and vehicle infotainment system to which the method is applied
EP3476673B1 (en) Vehicle image displaying apparatus and method of displaying image data on a head-mounted display device disposed in a vehicle
CN116424173A (zh) 专用车辆
US10999624B2 (en) Multimedia device, vehicle including the same, and broadcast listening method of the multimedia device
US20180357029A1 (en) Personal device control portal
CN111355925B (zh) 控制装置、车辆、图像显示***和图像显示方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190930

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20201008

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20201117

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210115

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20210302

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210416

C60 Trial request (containing other claim documents, opposition documents)

Free format text: JAPANESE INTERMEDIATE CODE: C60

Effective date: 20210416

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20210426

C21 Notice of transfer of a case for reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C21

Effective date: 20210427

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20210528

C211 Notice of termination of reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C211

Effective date: 20210601

C22 Notice of designation (change) of administrative judge

Free format text: JAPANESE INTERMEDIATE CODE: C22

Effective date: 20210914

C22 Notice of designation (change) of administrative judge

Free format text: JAPANESE INTERMEDIATE CODE: C22

Effective date: 20211012

C13 Notice of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: C13

Effective date: 20220104

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220304

C22 Notice of designation (change) of administrative judge

Free format text: JAPANESE INTERMEDIATE CODE: C22

Effective date: 20220412

C23 Notice of termination of proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C23

Effective date: 20220426

C03 Trial/appeal decision taken

Free format text: JAPANESE INTERMEDIATE CODE: C03

Effective date: 20220524

C30A Notification sent

Free format text: JAPANESE INTERMEDIATE CODE: C3012

Effective date: 20220524

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220526

R150 Certificate of patent or registration of utility model

Ref document number: 7081901

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150