JP2007047735A - 視覚情報呈示装置及び視覚情報呈示方法 - Google Patents

視覚情報呈示装置及び視覚情報呈示方法 Download PDF

Info

Publication number
JP2007047735A
JP2007047735A JP2006070940A JP2006070940A JP2007047735A JP 2007047735 A JP2007047735 A JP 2007047735A JP 2006070940 A JP2006070940 A JP 2006070940A JP 2006070940 A JP2006070940 A JP 2006070940A JP 2007047735 A JP2007047735 A JP 2007047735A
Authority
JP
Japan
Prior art keywords
visual information
output
driver
presentation device
output area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2006070940A
Other languages
English (en)
Other versions
JP4929768B2 (ja
Inventor
Soichiro Mori
壮一郎 森
Masami Funekawa
政美 舟川
Okiyoshi Nanbu
起可 南部
Tatsumi Yanai
達美 柳井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nissan Motor Co Ltd
Original Assignee
Nissan Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nissan Motor Co Ltd filed Critical Nissan Motor Co Ltd
Priority to JP2006070940A priority Critical patent/JP4929768B2/ja
Publication of JP2007047735A publication Critical patent/JP2007047735A/ja
Application granted granted Critical
Publication of JP4929768B2 publication Critical patent/JP4929768B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

【課題】運転者に煩わしさを感じさせることなく両眼視差によって視覚情報が二重に見えることを防止し、視覚情報の視認効率を向上させる。
【解決手段】出力領域遮蔽手段3が、視覚情報出力手段1の映像出力領域の少なくとも一部を運転者の左眼のみ又は右眼のみでしか視認できない映像出力領域に分割し、視覚情報出力手段1は、運転者の左眼のみ又は右眼のみでしか視認できない出力領域に映像を出力する。これにより、運転者に煩わしさを感じさせることなく両眼視差によって視覚情報としての映像が二重に見えることを防止し、視覚情報の視認効率を向上させることができる。
【選択図】図1

Description

本発明は、運転者の前方視界内に視覚情報を呈示することにより運転者の車両運転操作を支援する視覚情報呈示装置及び視覚情報呈示方法に関する。
従来より、フロントウインドウガラスの前方に視覚情報を呈示し、車両の速度に合わせて視覚情報の呈示位置を変化させることにより、運転者の注視位置を適切な位置に誘導する車両用表示装置が知られている(特許文献1,2を参照)。
特開平7−89371号公報 特許2827759号公報
しかしながら、上記車両用表示装置は、凹面鏡の上下方向の角度を変化させることにより視覚情報の上下位置を変化させる構成になっているために、視覚情報の焦点距離を厳密に制御することができない。従って、上記車両用表示装置によれば、運転者が前方風景に対し視覚の焦点を合わせている状態の時に焦点距離が異なる視覚情報を呈示した場合、両眼視差によって視覚情報が二重に見えることにより運転者が視覚情報に対して煩わしさを感じることがある。また、前方風景に対し視覚の焦点を合わせている状態から視覚情報に対し視覚の焦点を合わせるまで(焦点調節)に時間を要する共に、二重に見えた視覚情報が実際には1つ又は2つ個別のもののどちらであるのかを視認するために時間を要するために、視覚情報の視認効率が低下する。
なお、このような問題を解決するために、上記特許文献2に記載されているように、運転者の片目の視界にのみ視覚情報を表示したり、片目の表示を遮蔽したりする方法が考えられてはいるが、この方法を用いる場合には、運転者の頭部等の運転者の眼から近い距離範囲内にコンバイナを設置して表示を制御する必要があるので、運転者がコンバイナに対して煩わしさを感じることがあり、また、コンバイナが運転操作の妨げになる可能性がある。
本発明は、上述の課題を解決するためになされたものであり、その目的は、運転者に煩わしさを感じさせることなく両眼視差によって視覚情報が二重に見えることを防止し、視覚情報の視認効率を向上させることが可能な視覚情報呈示装置及び視覚情報呈示方法を提供することにある。
上記課題を解決するために、本発明の第1の態様に係る視覚情報呈示装置及び視覚情報呈示方法は、視覚情報の出力領域の少なくとも一部を運転者の左眼のみ又は右眼のみでしか視認できない出力領域に分割し、運転者の左眼のみ又は右眼のみでしか視認できない出力領域の一方に視覚情報を出力する。また、本発明の第2の態様に係る視覚情報呈示装置は、所定出力領域に視覚情報を出力する出力手段と、所定出力領域に出力された視覚情報を運転者の視線方向に反射することにより視覚情報を運転者に視認させる反射手段と、出力手段と反射手段間の視覚情報の出力経路上に配置され、所定出力領域の少なくとも一部を運転者の一方の眼でしか視認できない出力領域に設定する遮蔽手段とを備え、遮蔽手段は、視覚情報の出力経路上において、所定出力領域に出力された視覚情報と運転者の一方の眼球位置を結ぶ直線に対し略平行、且つ、運転者から見た視覚情報の上下方向に対し略平行な少なくとも一つ以上の平面を備え、視覚情報の出力経路の前後方向に対し立体的な構造を有し、出力手段は、遮蔽手段により設定された出力領域に視覚情報を出力する。
本発明に係る視覚情報呈示装置及び視覚情報呈示方法によれば、運転者に煩わしさを感じさせることなく両眼視差によって視覚情報が二重に見えることを防止し、視覚情報の視認効率を向上させることができる。
以下、図面を参照して、本発明の第1及び第2の実施形態となる視覚情報呈示装置の構成及び動作について説明する。
[第1の実施形態]
始めに、本発明の第1の実施形態となる視覚情報呈示装置の構成及び動作について説明する。
〔視覚情報呈示装置の全体構成〕
本発明の第1の実施形態となる視覚情報呈示装置は、車両に設けられ、図1に示すように、視覚情報出力手段1と、出力手段可動手段2と、出力領域遮蔽手段3と、遮蔽手段可動手段4と、視覚情報反射手段5と、視認角限定手段6と、車両走行状態検出手段7と、眼球位置推定手段8と、データ保存手段9と、視覚情報出力制御手段10とを主な構成要素として備える。
上記視覚情報出力手段1は、図2に示すように、車両のフロントダッシュボード11内部に設けられ、視覚情報反射手段5として機能するフロントウインドガラス12の内側表面に向けて視覚情報としての映像(例えば経路誘導情報,車両状態情報,道路地勢情報等)を出力する。なお、この視覚情報出力手段1は、出力手段可動手段2によって車両に対する相対位置を変更可能なように構成されている。
上記出力領域遮蔽手段3は、図2に示すように、視覚情報出力手段1と視覚情報反射手段3(フロントウインドウガラス12内側表面)間の映像出力経路上に配置され、詳しくは後述するが、視覚情報出力手段1の映像出力領域の少なくとも一部を運転者Mが右眼でしか視認できない映像出力領域と右眼でしか視認できない映像出力領域とに分割する。なお、この出力領域遮蔽手段3は、遮蔽手段可動手段4によって車両に対する相対位置を変更可能なように構成されている。
視覚情報反射手段5は、図2に示すように、フロントウインドウガラス12の内側表面により構成され、視覚情報出力手段1から出力された映像を運転者Mの眼球位置E方向に向けて反射することにより運転者Mに映像を視認させる。このように視覚情報出力手段1及び視覚情報反射手段5により所謂ヘッドアップディスプレイ装置が構成され、運転者Mの前方視界には視覚情報としての映像が重畳表示される。
視認角限定手段6は、携帯電話機やパソコン等の液晶画面に用いられるプライバシーフィルムや任意に設定された視野角の範囲のみ物理的に映像を視認できるようにするブラインド等により構成され、出力領域遮蔽手段3と視覚情報反射手段5間の映像出力経路上に配置される。そして、視野角限定手段6は、運転者Mの眼球位置Eが基準位置から特に車両左右方向に大きく移動した際に、一方の眼でしか視認できない映像出力領域に表示された映像を他方の眼でも視認してしまうことを防止するために、映像に対する運転者Mの視認角が運転者Mが車両進行方向に対して平行に映像を視認している時の視認角に対し所定角度の範囲内にある時のみ運転者Mが映像を視認可能なようにする。これにより、映像を両眼で視認することにより運転者Mが煩わしさや不自然さを感じたりすることを防止できる。
なお、運転者Mの眼球位置Eが比較的小さい移動量sだけ移動した場合には、左眼でしか視認できない映像出力領域と右眼でしか視認できない映像出力領域の境界線は、運転者Mの眼球位置Eから出力領域遮蔽手段3までの距離aと出力領域遮蔽手段3から視覚情報出力手段1までの距離bの比、すなわちs・b/aだけ移動することになるので、出力する映像の幅を映像出力領域の幅よりも小さく設定することにより、視認角限定手段6を用いることなく、映像を両眼で視認してしまうことを防止できる。
車両走行状態検出手段7は、車両に対する加速度,車速,エンジン回転数,操舵角,シフト位置,ウインカー信号,ブレーキペダル信号等の車両の走行状態を示す情報を検出し、検出結果をデータ保存手段9に記録する。なお、車両に対する加速度は、車両の前後左右に設けられた加速度センサやジャイロセンサにより検出することができる。
眼球位置推定手段8は、運転者Mの眼球位置Eを推定し、推定結果をデータ保存手段9に記録する。具体的には、眼球位置推定手段8は、運転者Mとして標準的な体形を有する運転者を設定し、設定された運転者の眼の位置を任意の固定値として出力することにより、運転者Mの眼球位置Eを推定する。
なお、眼球位置推定手段8は、運転席の位置とミラーの角度を検出し、運転席のシートセット位置及びミラーの角度と運転者Mの眼球位置Eの対応関係を示すテーブルデータの中から検出された運転席のシートセット位置及びミラー(サイドミラーとルームミラーの少なくとも一方)の角度に対応する運転者Mの眼球位置Eを検索することにより運転者Mの眼球位置Eを推定してもよい。このような推定方法によれば、運転者Mの体型や運転姿勢の違いに合わせて出力映像を最適化することができる。また、眼球位置推定手段8は、運転者Mの顔画像を撮像,解析することにより運転者Mの眼球位置Eを推定してもよい。このような推定方法によれば、運転者Mの姿勢変化に伴う運転者Mの目の位置の移動に合わせて出力映像を最適化することができる。
データ保存手段10は、公知の記憶装置により構成され、運転者Mの前方視界内に表示する視覚情報及び制御プログラムや制御パラメータを保存データとして記憶する。視覚情報出力制御手段10は、CPU(Central Processing Unit)等の情報処理装置により構成され、詳しくは後述するが、データ保存手段10内に記憶されている情報を利用して視覚情報出力手段1が出力する映像を移動制御する。
〔出力領域遮蔽手段の構成〕
出力領域遮蔽手段3は、運転者Mの眼球位置E及び視覚情報出力手段1と出力領域遮蔽手段3の位置関係から定義される幅L0の格子が間隔L0毎に配置された構成により視覚情報出力手段1の映像出力領域の少なくとも一部を運転者Mが右眼でしか視認できない映像出力領域と左眼でしか視認できない映像出力領域に分割する。以下、出力領域遮蔽手段3の構成について詳しく説明する。
いま、図3(a)に示すように、運転者Mの眼球位置Eから出力領域遮蔽手段3までの距離,出力領域遮蔽手段3から視覚情報出力手段1までの距離,及び運転者Mの左眼E1と右眼E2の間の距離をそれぞれパラメータa,b,dで表し、また、右眼E2の概略正面位置に対応する視覚情報出力手段1及び出力領域遮蔽手段3上の位置をそれぞれ点A0,点B0とすると、左眼の位置E1と点A0を結んだ直線、すなわち左眼の視線が出力領域遮蔽手段3と交わる点B1が定まると共に、右眼の位置E1と点B1を結ぶ直線、すなわち右眼の視線が視覚情報出力手段1と交わる点A1が定まる。
次に、左眼の位置E1と位置A1を結んだ直線が出力領域遮蔽手段3と交わる点B2が定まると共に、右眼の位置E1と点B2を結ぶ直線が視覚情報出力手段1と交わる点A2が定まる。そして、以下同様の処理を繰り返し、求められた点B0〜B5において出力領域遮蔽手段3を分割することにより、視覚情報出力手段1の映像出力領域を左眼E1でしか視認できない映像出力領域(点A0〜点A1間,点A2〜点A3間,点A4〜点A5間)と右眼E2でしか視認できない映像出力領域(点A1〜点A2間,点A3〜点A4間)に分割することができる。
またこの時、点A0,A1間の幅L0’は距離dに対する距離a,bの比によって(b/a)・dと表され、点B0,B1間の幅L0はL0’に対する距離a,a+bの比によってa/(a+b)・L0’と表される。そして以下同様の処理を繰り返すことにより、幅L1’=L0・a/(a+b),幅L1=L1’・a/(a+b),幅L2’=L1・a/(a+b),幅L2=L2’・a/(a+b)となるが、隣り合う幅L0と幅L1及び幅L0’と幅L1’とを比較すると、L0=L1=L2=…=d・a/(a+b)及びL0’=L1’=L2’=…=b/a・dとなり、L及びL’は等間隔であることわかる。また、左眼E1と右眼E2の間の距離dは人間の体形に依存せずほぼ一定(60[mm]程度)であることが知られている。従って、距離a,bを設定することにより幅L0及びL0’の大きさを求めることができる。
そこで、この視覚情報呈示装置では、出力領域遮蔽手段3は、距離a,bを設定することにより幅L0を算出し、図3(b)に示すように幅L0の格子が間隔L0毎に配置された構成を有する。より具体的には、この実施形態では、出力領域遮蔽手段3は幅L0の格子が等間隔L0に4つ配置された構成を有する。このような構成によれば、図4に示す視覚情報出力手段1の映像出力領域21は図5に示すように左眼E1でしか視認できない幅L0’映像出力領域R2,R4,R6,R8と右眼E2でしか視認できない幅L0’の映像出力領域R1,R3,R5,R7,R9とが交互に配置された構成になる。従って、視覚情報出力手段1は、視覚情報としての映像を片眼のみで見える映像出力領域にのみに表示することにより、運転者Mに煩わしさを感じさせることなく両眼視差によって視覚情報が二重に見えることを防止し、視覚情報の視認効率を向上させることができる。
なお、図5に示す例では、右眼でしか視認できない映像出力領域R1,R3,R5,R7,R9それぞれに車速情報I1,経路誘導情報I2,車間距離情報I3等の視覚情報が表示される。但し、映像出力領域に表示する視覚情報としては、警告情報,メータ表示,道路地勢情報等の情報であってもよい。
〔視覚情報出力制御手段の構成〕
上記視覚情報出力制御手段10は、データ保存手段10内に記憶されている情報を利用して視覚情報出力手段1が出力する映像を移動制御する。以下、視覚情報出力制御手段10による制御の幾つかの具体例について説明する。
いま、眼球位置推定手段8により推定された運転者Mの左眼E1及び右眼E2の眼球位置をそれぞれ(ELx,ELy,ELz),(ERx,ERy,ERz)と表すと、視覚情報出力手段1が車両の水平面と略平行に配置されている場合において、図6に示すように運転者Mの眼球位置が左右方向に距離Sxだけ移動した場合には、運転者Mは視覚情報反射手段5により反射された映像を視認するために、映像出力領域が図7に示すように位置ERxから−Sx・b/aだけ横方向(反対方向にSx・b/a)に移動したように感じる。なお、運転者Mの眼球位置の移動は、車両走行状態検出手段7の検出結果から車両の所定値以上の加速度が加わり、運転者Mの姿勢が大きく変動したと判定された場合や、眼球位置推定手段8の推定結果に従って検出することができる。
このため、運転者Mの眼球位置が左右方向に距離Sxだけ移動した場合、視覚情報出力制御手段10は、映像出力領域を位置ERxから−Sx・b/aだけ横方向に移動する。このような処理によれば、図6,7に示す例では、運転者Mは常に右眼のみで映像を視認するようになり、映像を両眼で視認することにより運転者Mが煩わしさや不自然さを感じたりすることを防止できる。
一方、運転者Mの眼球位置が前後方向に距離Syだけ移動した場合には、図8に示すように映像出力領域の幅L0’がL’・b/(a−Sy)だけ大きくなり、左眼でしか視認できない映像出力領域と右眼でしか視認できない映像出力領域の境界線が重なることによって片眼でのみ視認できる映像出力領域の幅L0’が狭まる。このため、運転者Mの眼球位置が前後方向に距離Syだけ移動した場合には、視覚情報出力制御手段10は、幅L0’の変化量に応じて視覚情報出力手段1が出力する映像を縦横両方向又は横方向に縮小する。このような処理によれば、図6,7に示す例では、運転者Mは常に右眼のみで映像を視認するようになり、映像を両眼で視認することにより運転者Mが煩わしさや不自然さを感じたりすることを防止できる。
なお、運転者Mの眼球位置が上下方向に距離Szだけ移動した場合には、左眼でしか視認できない映像出力領域と右眼でしか視認できない映像出力領域の境界線は移動しないので、視覚情報出力制御手段10は、視覚情報出力手段1が出力する映像を制御しなくてもよいし、また、視覚情報出力手段1が出力する映像を位置ERzから−Sz・b/aの範囲内で移動制御するようにしてもよい。
また、映像出力領域を移動制御する方法としては、出力手段可動手段2により視覚情報出力手段1のみを移動する方法、遮断手段可動手段4により出力領域遮蔽手段3のみを移動する方法、又は出力手段可動手段2及び遮断手段可動手段4により視覚情報出力手段1と出力領域遮蔽手段3の両方を移動する方法を用いることができる。そこで以下では、各方法について具体的に説明する。
〔出力手段可動手段による映像の移動制御〕
運転者Mの眼球位置が左右方向に距離Sx移動した場合、視覚情報出力制御手段10は出力手段可動手段2により視覚情報出力手段1を左右方向に距離−Sx移動する。また、運転者Mの眼球位置が前後方向に距離Sy移動した場合、視覚情報出力制御手段10は、a:b=(a−Sy):(b+t)の関係から出力手段可動手段2により視覚情報出力手段1を前後方向に距離t=Sy・b/a移動する。一方、運転者Mの眼球位置が上下方向に距離Sz移動した場合には、視覚情報出力制御手段10は、出力手段可動手段2により視覚情報出力手段1を上下方向に距離−Sz移動する、又は、映像が映像出力領域の上下方向の範囲内に収まっている場合には出力手段可動手段2を動作させない。
〔遮断手段可動手段による映像の移動制御〕
運転者Mの眼球位置が左右方向に距離Sx移動した場合、視覚情報出力制御手段10は遮断手段可動手段4により出力領域遮蔽手段3を左右方向に距離Sx・a/b移動する。また、運転者Mの眼球位置が前後方向に距離Sy移動した場合、視覚情報出力制御手段10は、a:b=(a+Sy):(b−u)の関係から遮断手段可動手段4により出力領域遮蔽手段3を前後方向に距離u=−Sy・b/a移動する。一方、運転者Mの眼球位置が上下方向に距離Sz移動した場合には、視覚情報出力制御手段10は、遮断手段可動手段4により出力領域遮蔽手段3を上下方向に距離Sz・a/b移動する、又は、映像が出力領域の上下方向の範囲内に収まっている場合には遮断手段可動手段4を動作させない。
なお、このように出力領域遮蔽手段3を移動制御することにより運転者Mの左右の眼球位置の傾きの変化に対しても映像を両眼で視認することにより運転者Mが煩わしさや不自然さを感じたりすることを防止できる。具体的には、この場合、運転者Mの左右の眼球位置の車両水平方向に対する傾きをθとすると、視覚情報出力制御手段10は、映像出力領域の概略中心点を通る分割領域及び出力領域遮蔽手段3に垂直な軸に対してθだけ出力領域遮蔽手段3を回転させる。
〔出力手段可動手段と遮断手段可動手段による映像の移動制御〕
出力手段可動手段3と遮断手段可動手段4それぞれで移動制御する方向を分担する。例えば、運転者Mの眼球位置が左右方向に移動した場合、視覚情報出力制御手段10は出力手段可動手段2により視覚情報出力手段1を左右方向に移動する。一方、運転者Mの眼球位置が前後方向や上下方向に移動した場合には、視覚情報出力制御手段10は遮断手段可動手段4により出力領域遮蔽手段3を移動する。
なお、出力手段可動手段3と遮断手段可動手段4を一体として映像を移動制御してもよい。具体的には、この場合には、運転者Mの眼球位置の移動に合わせて映像出力領域及び遮蔽領域の概略中心点を通る垂直な軸を軸上の一点を基点として回転させる、又は基点を前後に移動する、又は、軸が車両の向きと常に平行になるように移動することにより、映像を移動制御する。また、運転開始時に、上記軸を軸上の一点を基点として回転させる、又は、軸が車両の向きと常に平行になるように移動することにより映像を移動制御し、運転中は運転者Mの眼球位置に合わせて映像を移動制御するようにしてもよい。
以上の説明から明らかなように、本発明の第1の実施形態となる視覚情報呈示装置によれば、出力領域遮蔽手段3が、視覚情報出力手段1の映像出力領域の少なくとも一部を運転者Mの左眼のみ又は右眼のみでしか視認できない映像出力領域に分割し、視覚情報出力手段1は、運転者Mの左眼のみ又は右眼のみでしか視認できない出力領域に映像を出力するので、運転者Mに煩わしさを感じさせることなく両眼視差によって映像が二重に見えることを防止し、映像の視認効率を向上させることができる。
また、本発明の第1の実施形態となる視覚情報呈示装置によれば、視覚情報出力手段1は、出力する一つ又は複数の映像のそれぞれの大きさを運転者Mの左眼のみ又は右眼のみでしか視認できない映像出力領域の範囲内に収まるように制御するので、複数の映像が出力された場合であっても運転者Mは左眼又は右眼のみで視認することができる。
また、本発明の第1の実施形態となる視覚情報呈示装置によれば、視認角限定手段6が、映像に対する運転者Mの視認角が運転者Mが車両進行方向に対して平行に視覚情報を視認している時の視認角に対し所定角度の範囲内にある場合のみ映像を視認することを許容するので、運転者Mの眼球位置が移動した際に映像を両眼で視認することにより運転者Mが煩わしさや不自然さを感じたりすることを防止できる。
また、本発明の第1の実施形態となる視覚情報呈示装置によれば、車両走行状態検出手段7が、車両の走行状態を検出し、視覚情報出力制御手段10が、車両走行状態検出手段7の検出結果に従って映像出力領域を移動制御するので、車両の運動によって運転者Mの眼球位置が移動した際に映像を両眼で視認することにより運転者Mが煩わしさや不自然さを感じたりすることを防止できる。
また、本発明の第1の実施形態となる視覚情報呈示装置によれば、眼球位置推定手段8が、運転者Mの眼球位置Eを推定し、視覚情報出力制御手段10が、眼球位置推定手段8の推定結果に従って映像出力領域を移動制御するので、運転者Mが変わった際や運転者Mの眼球位置が移動した際に映像を両眼で視認することにより運転者Mが煩わしさや不自然さを感じたりすることを防止できる。
[第2の実施形態]
次に、本発明の第2の実施形態となる視覚情報呈示装置の構成及び動作について説明する。
〔視覚情報呈示装置の全体構成〕
本発明の第2の実施形態となる視覚情報呈示装置の構成は、出力領域遮蔽手段3が、映像の出力経路の前後方向に対して立体的な構造を有し、視覚情報出力手段1の映像出力領域の少なくとも一部を運転者Mが片目でしか視認できない映像出力領域に設定する点において第1の実施形態となる視覚情報呈示装置の構成と異なる。そこで以下では、出力領域遮蔽手段3の構成についてのみ説明し、その他の構成要素についての説明は省略する。
〔出力領域遮蔽手段の構成〕
本発明の第2の実施形態となる視覚情報呈示装置では、出力領域遮蔽手段3が、映像の出力経路の前後方向に対して長さ寸法cを有し、視覚情報出力手段1の映像出力領域の少なくとも一部を運転者Mが片目でしか視認できない映像出力領域に設定する。以下では、視覚情報出力手段1の映像出力領域を運転者Mが右眼でしか視認できない映像出力領域に設定する場合における出力領域遮蔽手段3の長さ寸法cの設定方法について説明する。
なお、出力領域遮蔽手段3の幅寸法L0〜L4の設定方法は、上記第1の実施形態となる視覚情報呈示装置における設定方法と同じであるので、以下ではその説明を省略する。また、以下の説明において参照する図面中に含まれる符号のうち、上記図1〜図8に含まれる符号と同一のものは上記図1〜図8に含まれる符号と同一の機能を示すものとする。
いま、図9(a)に示すように、運転者Mの左眼E1と点B0を結ぶ直線と右眼E2と点A1,B1を結ぶ直線の交点をC1とする。次に、運転者Mの左眼E1と点A0,B1を結ぶ直線と右眼E2と点A2,B2を結ぶ直線の交点をC2とする。以下同様にして、点C0〜C5を算出し、点B0〜B5を通る平面と点C0〜C5を通る平面をそれぞれ平面3a,平面3bとする。
この時、点C0,C1間の幅M0は、図9(b)に示すように、幅L0に対する距離a−c,bの比によりL0・(a−c)/aと表され、点C1,C2間の幅M1はL1に対する距離a−c,bの比によりL1・(a−c)/aと表される。そして以下同様の処理を繰り返すことにより、M0=M1=M2=…=L・(a−c)/a=b・d・(a−c)/{(a+b)・a}(数式1)となり、点B0〜B5間の幅M1〜M4は等間隔で表される。
一方、点C0,C1間の幅M0は、運転者Mの左眼E1と右眼E2の間の距離dに対する距離c,aの比によりc/a・d(数式2)と表される。従って、上記数式1と数式2により出力領域遮蔽手段3の長さ寸法cはa・b/(a+2b)と表され、距離a,b,dの値によって一義的に定まることがわかる。
そして、出力領域遮蔽手段3の長さ寸法cを上述の方法により設定した場合、図9(a)に示すように、運転者Mは、点C0〜C5と点B0〜B5により形成される平面によって右眼E2でしか点A0〜A5に対応する視覚情報出力手段1の映像出力領域を視認できなくなる。なお、距離aに対する距離bの値は、視覚情報出力手段1の映像出力領域を片眼だけで見える領域に設定するための距離aに対する最小値であり、距離aに対して距離bを大きくした場合には、幅L’0〜L’4が大きくなることにより表示情報や表示領域の自由度が格段に向上する。
なお、本実施形態では、遮蔽手段可動手段4によって出力領域遮蔽手段3の長さ寸法cを任意に変化させてもよい。距離a,bを固定した状態で長さ寸法cを小さくした場合には、幅M0〜M4が大きくなるので、眼球位置が多少変化した時であっても運転者Mは出力映像を視認続けることができる。但し、この場合、片目だけで視認される幅L’は非連続になると共にL’・c2/c(c2は変化後の長さ寸法を示す)で表される値Lcまで小さくなる。従って、長さ寸法cは、視覚情報出力手段1から出力される映像の左右水平方向幅幅に合わせて設定することが望ましい。
一方、距離a,bを固定した状態で長さ寸法cを大きくした場合には、片目だけで視認される幅L’の連続性は保持される。また、運転者Mの眼球位置の移動量に対する映像が視認できなくなる領域の減少幅が増えるので、運転者Mの眼球位置の移動量に対する不可視領域の変化を制御することができる。なお、この場合、不可視領域は運転者Mの眼球位置の移動に応じて幅L’の左右両側から減少していく。
また、自車両の走行状態によって運転者Mの姿勢が大きく変化し、運転者Mの眼球位置が移動した場合には、視覚情報出力手段1と出力領域遮蔽手段3の相対位置関係が変化し、出力映像が出力領域遮蔽手段3によって遮られることによって運転者Mが出力映像を不自然に感じる場合がある。そこで、本実施形態では、眼球位置推定手段8により推定された運転者Mの眼球位置に合わせて出力手段可動手段2や遮蔽手段可動手段4により視覚情報出力手段1や出力領域遮蔽手段3を移動制御してもよい。
具体的には、眼球位置推定手段8により推定された運転者Mの左眼E1及び右眼E2の眼球位置をそれぞれ(ELx,ELy,ELz),(ERx,ERy,ERz)と表すと、視覚情報出力手段1が車両の水平面と略平行に配置されている場合において、図10に示すように運転者Mの眼球位置が左方向に距離Sxだけ移動した場合には、運転者Mは視覚情報反射手段5により反射された映像を視認するために、映像出力領域が図11に示すように位置ERxから−Sx・b/aだけ横方向(反対方向にSx・b/a)に移動したように感じる。なお、運転者Mの眼球位置の移動は、車両走行状態検出手段7の検出結果から車両の所定値以上の加速度が加わり、運転者Mの姿勢が大きく変動したと判定された場合や、眼球位置推定手段8の推定結果に従って検出することができる。
このため、運転者Mの眼球位置が左方向に距離Sxだけ移動した場合、視覚情報出力制御手段10は、映像出力領域を位置A0を基準として−Sx・b/aだけ横方向に移動する。また、遮蔽手段可動手段4は、運転者Mの眼球位置の移動に合わせて点C0〜C5と点B0〜B5により形成される平面をSx・c/aだけ横方向に移動、換言すれば、点C0〜C5と点B0〜B5により形成される平面の向きを運転者Mの眼球位置に移動させる。このような処理によれば、図10,11に示す例では、運転者Mは常に右眼のみで映像を視認するようになり、運転者Mが出力映像を不自然に感じることを防止できる。
一方、運転者Mの眼球位置が前後方向に距離Syだけ移動した場合には、図12に示すように片目のみ視認可能な映像出力領域の幅L’がL’・b/(a−Sy)だけ大きくなる。このため、運転者Mの眼球位置が前後方向に距離Syだけ移動した場合において、前方風景に対する出力映像の位置を変化させない場合には、出力領域遮蔽手段3の平面3aの位置bが固定されているとすると、視覚情報出力制御手段10は、幅L’の変化量に応じて視覚情報出力手段1が出力する映像を出力領域遮蔽手段3の平面3aにおいて縮小する。一方、視覚情報出力手段1に出力される映像自体のスケールを固定する場合には、出力手段可動手段2が、出力領域遮蔽手段3の平面3aの位置bが常にb・(a−Sy)/aに位置するように制御する。
また、運転者Mの眼球位置が上下方向に距離Szだけ移動した場合において、前方風景に対する出力映像の位置を変化させない場合には、視覚情報出力制御手段10は、視覚情報出力手段1が出力する映像を上下方向に−Sz・b/aだけ移動制御してもよい。但し、この場合、出力映像は、視覚情報反射手段5を介して運転者Mに視認されるために、出力映像の上下方向が反転されることを考慮する必要がある。また、前方風景に対する出力映像の位置が変化しても問題が生じない場合には、出力映像を上下方向に移動させなくてもよい。
また、本実施形態では、図13(a)〜(c)に示すように、眼球位置推定手段8により推定された運転者Mの眼球位置の前後方向の移動距離に応じて、遮蔽手段可動手段4によって出力領域遮蔽手段3を構成する平面3a,3bの位置を初期位置c1からcL〜cSの範囲内で変化させてもよい。なお、この場合、点C0〜C5と点B0〜B5により形成される平面は、運転者Mの一方の眼球位置を通る直線に対して平行に保たれるように、平面3bから長さcSの範囲で左右に可動できる状態で固定する。このような構成によれば、運転者Mの眼球位置の前後方向の移動に合わせて出力領域遮蔽手段3の左右方向及び出力映像の光軸の前後方向の長さが制御されるので、運転者Mは常に片方の眼で出力映像を視認することができる。
以上の説明から明らかなように、本発明の第2の実施形態となる視覚情報呈示装置によれば、出力領域遮蔽手段3は、映像の出力経路上において、視覚情報と運転者Mの一方の眼球位置を結ぶ直線に対して略平行、且つ、運転者Mから見た視覚情報の上下方向に対して略平行な平面(点C0〜C5と点B0〜B5により形成される平面)を備えることにより、視覚情報の出力経路の前後方向に対して立体的な構造を有する。そして、このような構成によれば、運転者Mは左右の一方の眼でのみ出力映像を視認するようになるので、運転者Mに煩わしさを感じさせることなく両眼視差によって視覚情報が二重に見えることを防止し、視覚情報の視認効率を向上させることができる。
また、本発明の第2の実施形態となる視覚情報呈示装置は、視覚情報出力手段1から出力される視覚情報の左右水平方向の大きさに応じて、出力領域遮蔽手段3の長さ寸法cのを変化させるので、出力映像の大きさに合わせて片目でのみ出力映像を視認できる領域の大きさを任意に設定することができる。また、運転者Mが任意に設定した移動範囲を超えて眼球位置を大きく移動させた場合には出力映像を視認できなくなるので、眼球位置を大きく移動させる走行シーンにおいて、出力映像を煩わしく感じることを防止できる。また、前方風景に対してシーンリンクしている出力映像の重畳位置にずれが生じることによって、出力映像が不自然に見えたり、煩わしく感じたりすることを防止できる。
また、本発明の第2の実施形態となる視覚情報呈示装置は、眼球位置推定手段8により推定された運転者Mの左右の眼球位置に応じて視覚情報の出力位置を制御し、点C0〜C5と点B0〜B5により形成される平面が眼球位置推定手段8により推定された運転者Mの一方の眼球位置と視覚情報を結ぶ直線と略平行、且つ、運転者Mから見た視覚情報の上下方向と略平行になるように、点C0〜C5と点B0〜B5により形成される平面の位置を視覚情報の出力経路に対して左右方向に移動させることにより、運転者Mの眼球位置が左右方向に移動しても前方風景に対して常に同じ位置に映像を出力するので、運転者Mは片目のみで出力映像を視認し続けることができる。またこの結果、二重視による煩わしさを低減すると共に視認効率を高めることができる。
また、本発明の第2の実施形態となる視覚情報呈示装置は、眼球位置推定手段8により推定された運転者Mの眼球位置の前後方向の移動距離に応じて出力領域遮蔽手段3の長さ寸法cを変化させることにより、運転者Mの眼球位置が前後方向に移動した場合であっても、運転者Mの眼球位置が左右方向に移動しても前方風景に対して常に同じ位置に映像を出力するので、運転者Mは片目のみで出力映像を視認し続けることができる。またこの結果、二重視による煩わしさを低減すると共に視認効率を高めることができる。
以上、本発明者らによってなされた発明を適用した実施の形態について説明したが、この実施の形態による本発明の開示の一部をなす論述及び図面により本発明は限定されることはない。すなわち、この実施の形態に基づいて当業者等によりなされる他の実施の形態、実施例及び運用技術等は全て本発明の範疇に含まれることは勿論であることを付け加えておく。
本発明の第1の実施形態となる視覚情報呈示装置の構成を示すブロック図である。 本発明の第1の実施形態となる視覚情報呈示装置における視覚情報出力手段,出力領域遮蔽手段,視覚情報反射手段,及び運転者の位置関係を説明するための図である。 本発明の第1の実施形態となる視覚情報呈示装置における出力領域遮蔽手段の構成を説明するための図である。 視覚情報出力手段の映像出力領域を示す図である。 出力領域遮蔽手段により分割された映像出力領域を示す図である。 運転者の眼球位置の基準位置を示す図である。 運転者の眼球位置が図6に示す基準位置から左方向に移動した状態を示す図である。 運転者の眼球位置が図6に示す基準位置から前方方向に移動した状態を示す図である。 本発明の第2の実施形態となる視覚情報呈示装置における出力領域遮蔽手段の構成を説明するための図である。 運転者の眼球位置の基準位置を示す図である。 運転者の眼球位置が図10に示す基準位置から左方向に移動した状態を示す図である。 運転者の眼球位置が図10に示す基準位置から前方方向に移動した状態を示す図である。 眼球位置推定手段により推定された運転者の眼球位置の前後方向の移動距離に応じて出力領域遮蔽手段の長さ寸法を変化させる処理を説明するための図である。
符号の説明
1:視覚情報出力手段
2:出力手段可動手段
3:出力領域遮蔽手段
4:遮蔽手段可動手段
5:視覚情報反射手段
6:視認角限定手段
7:車両走行状態検出手段
8:眼球位置推定手段
9:データ保存手段
10:視覚情報出力制御手段

Claims (12)

  1. 運転者の前方視界内に視覚情報を呈示することにより運転者の車両運転操作を支援する視覚情報呈示装置であって、
    所定出力領域に前記視覚情報を出力する出力手段と、
    前記所定出力領域に出力された視覚情報を運転者の視線方向に反射することにより当該視覚情報を運転者に視認させる反射手段と、
    前記出力手段と前記反射手段間の視覚情報の出力経路上に配置され、前記所定出力領域の少なくとも一部を運転者の左眼のみ又は右眼のみでしか視認できない出力領域に分割する遮蔽手段とを備え、
    前記出力手段は、前記遮蔽手段により分割された運転者の左眼のみ又は右眼のみでしか視認できない出力領域の一方に前記視覚情報を出力すること
    を特徴とする視覚情報呈示装置。
  2. 請求項1に記載の視覚情報呈示装置であって、
    前記出力手段は、出力する一つ又は複数の視覚情報のそれぞれの大きさを運転者の左眼のみ又は右眼のみでしか視認できない出力領域の範囲内に収まるように制御することを特徴とする視覚情報呈示装置。
  3. 請求項1又は請求項2に記載の視覚情報呈示装置であって、
    前記視覚情報に対する運転者の視認角が運転者が車両進行方向に対して平行に視覚情報を視認している時の視認角に対し所定角度の範囲内にある場合のみ視覚情報を視認することを許容する視認角限定手段を備えることを特徴とする視覚情報呈示装置。
  4. 請求項1乃至請求項3のうち、いずれか1項に記載の視覚情報呈示装置であって、
    車両の走行状態を検出する車両走行状態検出手段と、
    前記車両走行状態検出手段の検出結果に従って前記視覚情報の出力領域を移動制御する出力制御手段と
    を備えることを特徴とする視覚情報呈示装置。
  5. 請求項4に記載の視覚情報呈示装置であって、
    運転者の眼球位置を推定する眼球位置推定手段を備え、
    前記出力制御手段は、前記眼球位置推定手段の推定結果に従って前記視覚情報の出力領域を移動制御することを特徴とする視覚情報呈示装置。
  6. 請求項4又は請求項5に記載の視覚情報呈示装置であって、
    車両に対する前記遮蔽手段の相対位置を変化させる第1の可動手段を備え、
    前記出力制御手段は、前記第1の可動手段を動作させることによって車両に対する前記遮蔽手段の相対位置を変化させることにより前記視覚情報の出力領域を移動制御することを特徴とする視覚情報呈示装置。
  7. 請求項4乃至請求項6のうち、いずれか1項に記載の視覚情報呈示装置であって、
    車両に対する前記出力手段の相対位置を変化させる第2の可動手段を備え、
    前記出力制御手段は、前記第2の可動手段を動作させることによって車両に対する前記出力手段の相対位置を変化させることにより前記視覚情報の出力領域を移動制御することを特徴とする視覚情報呈示装置。
  8. 運転者の前方視界内に視覚情報を呈示することにより運転者の車両運転操作を支援す
    る視覚情報呈示方法であって、
    視覚情報を出力する所定出力領域の少なくとも一部を運転者の左眼のみ又は右眼のみ
    でしか視認できない出力領域に分割するステップと、
    運転者の左眼のみ又は右眼のみでしか視認できない出力領域の一方に視覚情報を出力
    するステップと
    を有することを特徴とする視覚情報呈示方法。
  9. 運転者の前方視界内に視覚情報を呈示することにより運転者の車両運転操作を支援する視覚情報呈示装置であって、
    所定出力領域に前記視覚情報を出力する出力手段と、
    前記所定出力領域に出力された視覚情報を運転者の視線方向に反射することにより当該視覚情報を運転者に視認させる反射手段と、
    前記出力手段と前記反射手段間の視覚情報の出力経路上に配置され、前記所定出力領域の少なくとも一部を運転者の一方の眼でしか視認できない出力領域に設定する遮蔽手段とを備え、
    前記遮蔽手段は、視覚情報の出力経路上において、所定出力領域に出力された視覚情報と運転者の一方の眼球位置を結ぶ直線に対し略平行、且つ、運転者から見た視覚情報の上下方向に対し略平行な少なくとも一つ以上の平面を備え、視覚情報の出力経路の前後方向に対し立体的な構造を有し、前記出力手段は、前記遮蔽手段により設定された出力領域に前記視覚情報を出力することを特徴とする視覚情報呈示装置。
  10. 請求項9に記載の視覚情報呈示装置であって、
    前記視覚情報の左右水平方向の大きさに応じて、前記遮蔽手段の前記前後方向の長さを変化させる手段を備えることを特徴とする視覚情報呈示装置。
  11. 請求項9又は請求項10に記載の視覚情報呈示装置であって、
    前記運転者の左右の眼球位置を推定する眼球位置推定手段と、
    前記眼球位置推定手段により推定された運転者の左右の眼球位置に応じて所定出力領域における視覚情報の出力位置を制御する視覚情報出力制御手段と、
    前記遮蔽手段を構成する平面が、前記眼球位置推定手段により推定された運転者の一方の眼球位置と所定出力領域に出力された視覚情報を結ぶ直線に対し略平行、且つ、運転者から見た視覚情報の上下方向に対し略平行になるように、当該平面の位置を視覚情報の出力経路の左右方向に移動させる手段と
    を備えることを特徴とする視覚情報呈示装置。
  12. 請求項11に記載の視覚情報呈示装置であって、
    前記眼球位置推定手段により推定された運転者の眼球位置の前後方向の移動距離に応じて、前記遮蔽手段の前記前後方向の長さを変化させる手段を備えることを特徴とする視覚情報呈示装置。
JP2006070940A 2005-07-11 2006-03-15 視覚情報呈示装置及び視覚情報呈示方法 Expired - Fee Related JP4929768B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2006070940A JP4929768B2 (ja) 2005-07-11 2006-03-15 視覚情報呈示装置及び視覚情報呈示方法

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2005201689 2005-07-11
JP2005201689 2005-07-11
JP2006070940A JP4929768B2 (ja) 2005-07-11 2006-03-15 視覚情報呈示装置及び視覚情報呈示方法

Publications (2)

Publication Number Publication Date
JP2007047735A true JP2007047735A (ja) 2007-02-22
JP4929768B2 JP4929768B2 (ja) 2012-05-09

Family

ID=37850573

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006070940A Expired - Fee Related JP4929768B2 (ja) 2005-07-11 2006-03-15 視覚情報呈示装置及び視覚情報呈示方法

Country Status (1)

Country Link
JP (1) JP4929768B2 (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010109941A1 (ja) * 2009-03-23 2010-09-30 株式会社 東芝 車載用表示システム、表示方法及び車両
JP2010224293A (ja) * 2009-03-24 2010-10-07 Toshiba Corp 表示装置、表示方法及び車両
JP2016080984A (ja) * 2014-10-21 2016-05-16 株式会社デンソー 表示制御方法、表示制御装置、表示装置
JP2018129826A (ja) * 2018-03-12 2018-08-16 Tianma Japan株式会社 立体画像表示装置及び立体画像表示方法
WO2019021340A1 (ja) * 2017-07-24 2019-01-31 三菱電機株式会社 表示制御装置、表示システムおよび表示制御方法
CN112824118A (zh) * 2019-11-20 2021-05-21 大众汽车股份公司 用于支持无眩光的驾驶员视野的交通工具辅助***

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS62268742A (ja) * 1986-05-16 1987-11-21 Nissan Motor Co Ltd 車両用表示装置
JPH08169260A (ja) * 1994-12-20 1996-07-02 Asahi Glass Co Ltd 表示システムおよびヘッドアップディスプレイ
JPH1185085A (ja) * 1997-09-02 1999-03-30 Fujitsu Ltd 画像表示装置
JPH11119147A (ja) * 1997-10-14 1999-04-30 Asahi Optical Co Ltd ヘッドアップディスプレイ

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS62268742A (ja) * 1986-05-16 1987-11-21 Nissan Motor Co Ltd 車両用表示装置
JPH08169260A (ja) * 1994-12-20 1996-07-02 Asahi Glass Co Ltd 表示システムおよびヘッドアップディスプレイ
JPH1185085A (ja) * 1997-09-02 1999-03-30 Fujitsu Ltd 画像表示装置
JPH11119147A (ja) * 1997-10-14 1999-04-30 Asahi Optical Co Ltd ヘッドアップディスプレイ

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010109941A1 (ja) * 2009-03-23 2010-09-30 株式会社 東芝 車載用表示システム、表示方法及び車両
JP2010221830A (ja) * 2009-03-23 2010-10-07 Toshiba Corp 車載用表示システム、表示方法及び車両
JP2010224293A (ja) * 2009-03-24 2010-10-07 Toshiba Corp 表示装置、表示方法及び車両
JP2016080984A (ja) * 2014-10-21 2016-05-16 株式会社デンソー 表示制御方法、表示制御装置、表示装置
WO2019021340A1 (ja) * 2017-07-24 2019-01-31 三菱電機株式会社 表示制御装置、表示システムおよび表示制御方法
JPWO2019021340A1 (ja) * 2017-07-24 2019-11-07 三菱電機株式会社 表示制御装置、表示システムおよび表示制御方法
CN110915205A (zh) * 2017-07-24 2020-03-24 三菱电机株式会社 显示控制装置、显示***以及显示控制方法
JP2018129826A (ja) * 2018-03-12 2018-08-16 Tianma Japan株式会社 立体画像表示装置及び立体画像表示方法
CN112824118A (zh) * 2019-11-20 2021-05-21 大众汽车股份公司 用于支持无眩光的驾驶员视野的交通工具辅助***

Also Published As

Publication number Publication date
JP4929768B2 (ja) 2012-05-09

Similar Documents

Publication Publication Date Title
JP2010070066A (ja) ヘッドアップディスプレイ
JP4857885B2 (ja) 表示装置
US11250816B2 (en) Method, device and computer-readable storage medium with instructions for controlling a display of an augmented-reality head-up display device for a transportation vehicle
JP4367212B2 (ja) 虚像表示装置およびプログラム
CN108027508B (zh) 显示装置和显示像投影方法以及平视显示器
JP2019164317A (ja) 画像形成システム、画像補正システム、画像表示システム、移動体、画像形成方法、及びプログラム
WO2018088362A1 (ja) ヘッドアップディスプレイ
JP4929768B2 (ja) 視覚情報呈示装置及び視覚情報呈示方法
JP7478919B2 (ja) 表示制御装置、画像表示システム、移動体、表示制御方法及びプログラム
JP7126115B2 (ja) 表示システム、移動体、及び、設計方法
US11367418B2 (en) Vehicle display device
JP2018120135A (ja) ヘッドアップディスプレイ
JP2018203245A (ja) 表示システム、電子ミラーシステム及び移動体
JP7358909B2 (ja) 立体表示装置及びヘッドアップディスプレイ装置
JP2005313772A (ja) 車両用ヘッドアップ・ディスプレイ装置
JP2019083385A (ja) ヘッドアップディスプレイ装置
JP7354846B2 (ja) ヘッドアップディスプレイ装置
JPWO2018101170A1 (ja) 表示装置、及び、電子ミラー
WO2020195430A1 (ja) 画像表示システム、移動体、画像表示方法及びプログラム
JP2023017641A (ja) 車両用表示制御装置、車両用表示装置、車両用表示制御方法及び車両用表示制御プログラム
WO2020090187A1 (ja) 虚像表示装置、およびヘッドアップディスプレイ装置
WO2019124323A1 (ja) 虚像表示装置、およびヘッドアップディスプレイ装置
WO2018109991A1 (ja) 表示装置、電子ミラー、表示装置の制御方法、プログラム、記録媒体
WO2020171045A1 (ja) ヘッドアップディスプレイ装置、表示制御装置、及び表示制御プログラム
WO2023054307A1 (ja) 表示制御装置、ヘッドアップディスプレイ装置、及び表示制御方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090204

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110524

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110531

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110725

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110816

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110921

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120117

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120130

R150 Certificate of patent or registration of utility model

Ref document number: 4929768

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150224

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees