JP6255537B2 - 投写型表示装置及び投写制御方法 - Google Patents

投写型表示装置及び投写制御方法 Download PDF

Info

Publication number
JP6255537B2
JP6255537B2 JP2017531097A JP2017531097A JP6255537B2 JP 6255537 B2 JP6255537 B2 JP 6255537B2 JP 2017531097 A JP2017531097 A JP 2017531097A JP 2017531097 A JP2017531097 A JP 2017531097A JP 6255537 B2 JP6255537 B2 JP 6255537B2
Authority
JP
Japan
Prior art keywords
projection
light
line
sight
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017531097A
Other languages
English (en)
Other versions
JPWO2017018122A1 (ja
Inventor
広大 藤田
広大 藤田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Application granted granted Critical
Publication of JP6255537B2 publication Critical patent/JP6255537B2/ja
Publication of JPWO2017018122A1 publication Critical patent/JPWO2017018122A1/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/213Virtual instruments
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/37Details of the operation on graphic patterns
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/20Optical features of instruments
    • B60K2360/33Illumination features
    • B60K2360/334Projection means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0138Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/014Head-up displays characterised by optical features comprising information/image processing systems
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00Projectors or projection-type viewers; Accessories therefor
    • G03B21/14Details
    • G03B21/20Lamp housings
    • G03B21/2006Lamp housings characterised by the light source
    • G03B21/2013Plural light sources
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00Projectors or projection-type viewers; Accessories therefor
    • G03B21/14Details
    • G03B21/20Lamp housings
    • G03B21/208Homogenising, shaping of the illumination light
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/06Adjustment of display parameters
    • G09G2320/0626Adjustment of display parameters for control of overall brightness
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/06Adjustment of display parameters
    • G09G2320/066Adjustment of display parameters for control of contrast
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/06Adjustment of display parameters
    • G09G2320/0666Adjustment of display parameters for control of colour parameters, e.g. colour temperature
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/14Solving problems related to the presentation of information to be displayed
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00Aspects of interface with display user
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2380/00Specific applications
    • G09G2380/10Automotive applications

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Theoretical Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Transportation (AREA)
  • Combustion & Propulsion (AREA)
  • Chemical & Material Sciences (AREA)
  • Mechanical Engineering (AREA)
  • Instrument Panels (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Transforming Electric Information Into Light Information (AREA)
  • Devices For Indicating Variable Information By Combining Individual Elements (AREA)
  • Projection Apparatus (AREA)

Description

本発明は、投写型表示装置及び投写制御方法に関する。
自動車、電車、重機、航空機、及び船舶等の乗り物内において、フロントウィンドシールドに、或いは、フロントウィンドシールドの付近に配置されるコンバイナをスクリーンとして用い、これに光を投写して画像を表示させる乗り物用のHUD(Head−up Display)が知られている(特許文献1、2参照)。このHUDを用いれば、乗り物内にいる利用者(例えば、運転者)は、HUDから投写された投写光に基づく画像を、スクリーン上で実像として、又は、スクリーン前方において虚像として、視認することができる。
特許文献1には、運転者の視線を検出し、視線方向が車両前方進路にある場合にのみ投写面に画像情報に基づく光を投写する車両用のHUDが記載されている。
特許文献2には、運転者の焦点調節反応を誘発しないように、投写光に基づく画像の空間周波数を制御するHUDが記載されている。
特開平7−257228号公報 特開2006−327310号公報
人の身長や運転席に着座したときの姿勢などは運転者によって違うことに対して、HUDでは、代表的な運転者の目の位置を中心とする一定領域を想定して、この一定領域内に運転者の目がある限りは良好に実像又は虚像を視認できるように、投写面への投写光の投写範囲が設定されている。
光の投写範囲と運転者の視線とが交差している状態では、運転者は実像又は虚像を視認することができる。一方、投写光の投写範囲と運転者の視線とが交差していない状態では、運転者は実像又は虚像を視認することはできない。乗り物の運転中は、進行方向前方の広い範囲に気を配る必要があり、投写光の投写範囲と運転者の視線とが交差しない状態も起こり得る。
運転者が、投写範囲から視線を外した後、視線を投写範囲に戻した場合には、投写範囲における前方の状況よりも、投写範囲に投写される光に基づく実像又は虚像に焦点が合ってしまい、前方の状況を把握するまでに時間がかかる可能性がある。
特許文献1に記載のHUDは、視線が車両前方進路以外にある状態から、視線が車両前方進路に向くと、画像情報に基づく光が投写面にすぐに投写される構成である。このため、運転者の視線が車両前方進路に戻ったときに、すぐに視認可能となる実像又は虚像に焦点が合ってしまうことは避けられず、車両前方進路の状況を把握するまでに時間がかかる可能性がある。
特許文献2は、視線が投写範囲から外れたときの動作について考慮していない。
本発明は、上記事情に鑑みてなされたものであり、運転者の視線が複雑に変化する状況においても、進行方向の状況を正確に把握することのできる投写型表示装置及び投写制御方法を提供することを目的とする。
本発明の投写型表示装置は、光源と、上記光源から出射される光を空間変調する光変調素子と、上記光変調素子により空間変調された光を投写光として乗り物に搭載された投写面に投写する投写部とを含む投写表示部と、上記乗り物の運転者の視線を検出する視線検出部と、上記視線検出部により検出される視線が上記投写面外にある状態では、上記投写表示部による上記投写面への上記投写光の投写を停止させ、上記視線が上記投写面外から上記投写面内に移ったと判断した時点から第一の時間経過後に、上記投写表示部による上記投写面への上記投写光の投写を再開させる投写制御部と、を備え、上記投写制御部は、上記投写面への上記投写光の投写を再開させると、上記投写光によって結像される画像の視認性を時間経過と共に高くさせていくものである。
本発明の投写制御方法は、光源と、上記光源から出射される光を空間変調する光変調素子と、上記光変調素子により空間変調された光を投写光として乗り物に搭載された投写面に投写する投写部とを含む投写表示部と、上記乗り物の運転者の視線を検出する視線検出部と、を有する投写型表示装置による投写制御方法であって、上記視線検出部により検出される視線が上記投写面外にある状態では、上記投写表示部による上記投写面への上記投写光の投写を停止させ、上記視線が上記投写面外から上記投写面内に移ったと判断した時点から第一の時間経過後に、上記投写表示部による上記投写面への上記投写光の投写を再開させる投写制御ステップを備え、上記投写制御ステップでは、上記投写面への上記投写光の投写を再開させると、上記投写光によって結像される画像の視認性を時間経過と共に高くさせるものである。
本発明によれば、運転者の視線が複雑に変化する状況においても、進行方向の状況を正確に把握することのできる投写型表示装置及び投写制御方法を提供することができる。
本発明の投写型表示装置の一実施形態であるHUDの構成を示す概念図である。 図1に示すHUDの詳細構成を示す模式図である。 図1に示すHUDの動作を説明するためのフローチャートである。 投写再開時のアイコンの表示変更方法の一例を示す図である。 視認性変更のマニュアル操作を説明する図である。
以下、本発明の実施形態について図面を参照して説明する。
図1は、本発明の投写型表示装置の一実施形態であるHUDの概略構成を示す図である。このHUDは、自動車に搭載され、自動車のフロントウィンドシールド1の一部の範囲を光の投写面2とし、投写面2に投写される光により結像された虚像を、自動車の運転者によって視認可能にする。図1のHUDは、自動車以外に、電車、重機、建機、航空機、及び船舶等の乗り物に搭載して用いることができる。
図1に示すHUDは、自動車のダッシュボード3に内蔵された光源部4と、同じくダッシュボード3に内蔵された拡散板5、反射ミラー6、及び拡大鏡7と、ダッシュボード3の運転席側に設けられた計器板9に取り付けられた撮像部10と、を備えている。
拡散板5は、光源部4から出射された光を拡散させて面光源化する。反射ミラー6は、拡散板5によって面光源化された光を拡大鏡7側に反射させる。拡大鏡7は、反射ミラー6からの光を拡大し、フロントウィンドシールド1の一部の範囲である投写面2に投写する。投写面2は、拡大鏡7から投写された光が運転者の目の方向に反射するような加工がなされている。ここではフロントウィンドシールド1に対して光を投写する構成としているが、フロントウィンドシールド1付近に配置されるコンバイナに光を投写する構成としてもよい。この場合は、コンバイナが投写面2を構成する。
自動車の運転者は、投写面2に投写され、投写面2によって反射された光に基づく虚像により、運転に関する情報の絵や文字等を視認することができる。また、投写面2は、フロントウィンドシールド1の外部(車外)からの光を透過する機能を持つ。このため、運転者は、拡大鏡7から投写された光に基づく虚像と外界の景色とが重畳された像を視認することができる。
計器板9に取り付けられた撮像部10は、運転席にいる運転者の顔を撮像するものであり、有線又は無線を用いて光源部4と接続されている。撮像部10により得られた運転者の顔の撮像画像データは、有線又は無線によって光源部4に転送される。
撮像部10は、運転者の顔を撮像することができる場所であれば、計器板9以外の場所に取り付けてあってもよい。なお、撮像部10は、自動車においてHUDとは別の用途として設けられているものを利用してもよい。
図2は、図1に示すHUDの詳細構成を示す模式図である。
図2に示すように、HUDは、光源部4と、投写ユニット50と、撮像部10と、操作部80と、を備える。
光源部4は、光源ユニット40と、光源ユニット40に含まれる光変調素子44を駆動する駆動部45と、全体を統括制御するシステム制御部60と、視線検出部70と、を備えている。システム制御部60は投写制御部として機能する。
光源ユニット40は、光源制御部40Aと、赤色光を出射する赤色光源であるR光源41rと、緑色光を出射する緑色光源であるG光源41gと、青色光を出射する青色光源であるB光源41bと、ダイクロイックプリズム43と、R光源41rとダイクロイックプリズム43の間に設けられたコリメータレンズ42rと、G光源41gとダイクロイックプリズム43の間に設けられたコリメータレンズ42gと、B光源41bとダイクロイックプリズム43の間に設けられたコリメータレンズ42bと、光変調素子44と、を備えている。R光源41rとG光源41gとB光源41bはHUDの光源を構成する。
R光源41r、G光源41g、及びB光源41bは、それぞれ、レーザ、LED(Light Emitting Diode)等の発光素子が用いられる。本実施形態では、R光源41rとG光源41gとB光源41bの3つの光源を含むHUDを例にするが、この光源の数は1つ、2つ、または4つ以上であってもよい。
光源制御部40Aは、R光源41r、G光源41g、及びB光源41bの各々の発光量を予め決められた発光量パターンに設定し、この発光量パターンに従ってR光源41r、G光源41g、及びB光源41bから光を順次出射させる制御を行う。
ダイクロイックプリズム43は、R光源41r、G光源41g、及びB光源41bの各々から出射される光を同一光路に導くための光学部材である。ダイクロイックプリズム43は、コリメータレンズ42rによって平行光化された赤色光を透過させて光変調素子44に出射する。また、ダイクロイックプリズム43は、コリメータレンズ42gによって平行光化された緑色光を反射させて光変調素子44に出射する。さらに、ダイクロイックプリズム43は、コリメータレンズ42bによって平行光化された青色光を反射させて光変調素子44に出射する。光を同一光路に導く機能を持つ光学部材としては、ダイクロイックプリズムに限らない。例えば、クロスダイクロイックミラーを用いてもよい。
光変調素子44は、ダイクロイックプリズム43により出射された光を、画像情報である投写画像データに基づいて空間変調し、投写画像データに応じた光(赤色画像光、青色画像光、及び緑色画像光)を投写ユニット50に出射する。この画像情報は、例えば自動車の走行速度を示す情報、運転者への通知を行うための情報、ナビゲーション情報等である。
光変調素子44としては、例えば、LCOS(Liquid crystal on silicon)、DMD(Digital Micromirror Device)、MEMS(Micro Electro Mechanical Systems)素子、及び液晶表示素子等を用いることができる。
駆動部45は、システム制御部60から入力される投写画像データにしたがって光変調素子44を駆動し、投写画像データに応じた光を投写ユニット50に出射させる。
投写ユニット50は、投写光学系46と、拡散板5と、反射ミラー6と、拡大鏡7と、を備えている。
投写光学系46は、光変調素子44によって空間変調された光を、拡散板5に投写するための光学系である。この光学系は、レンズに限らず、スキャナを用いることもできる。
投写ユニット50は、光変調素子44により空間変調された光を投写面2に投写する投写部を構成する。投写面2は、投写ユニット50により投写される光(以下、投写光ともいう)の投写範囲となる。投写ユニット50は、投写面2に投写された光に基づく画像がフロントウィンドシールド1前方の位置において虚像として運転者に視認可能となるように光学設計がなされている。
R光源41r、G光源41g、及びB光源41bを含む光源と、光変調素子44と、投写ユニット50とにより、投写表示部が構成される。
システム制御部60は、光源制御部40A及び駆動部45を制御して、光源ユニット40から、投写画像データに基づく光を投写ユニット50に出射させる。
視線検出部70は、撮像部10で撮像して得られた撮像画像データを取得し、取得した撮像画像データに周知の視線検出処理を施すことによって、HUDが搭載された自動車の運転者の視線を検出する。視線検出部70は、視線検出結果をシステム制御部60に通知する。
操作部80は、自動車に搭載される表示部(例えば、センターコンソールにあるタッチパネル付ディスプレイ)及び操作ボタン等であり、システム制御部60に各種指示を行うためのインターフェースである。
システム制御部60は、視線検出部70の視線検出結果に基づき、投写ユニット50によるフロントウィンドシールド1への光の投写範囲(投写面2)内に運転者の視線が存在するか否かを判定する。
投写面2内に視線が存在するとは、視線検出部70により検出された視線が投写面2と交わっている状態を言う。投写面2外に視線が存在するとは、視線検出部70により検出された視線が投写面2と交わっていない状態を言う。
システム制御部60は、視線検出部70により検出される視線が投写面2外にある状態において、投写表示部による投写面2への投写光の投写を停止させる。
また、システム制御部60は、視線検出部70により検出される視線が投写面2外にある状態から投写面2内に移ったと判断すると、この判断した時点から第一の時間経過後に、投写表示部による投写面2への投写光の投写を再開させる。
投写表示部による投写面2への投写光の投写の停止方法としては、駆動部45を制御し光変調素子44から光を出射させないようにする第一の方法、光源制御部40Aを制御して光源を停止させる第二の方法、光源ユニット40全体を停止又はスタンバイ状態にさせる第三の方法等がある。
第二の方法或いは第三の方法によればHUDの消費電力や発熱を低減することができる。投写表示部による投写面2への投写光の投写の再開は、光変調素子44から投写画像データに応じた光を出射させる制御、光源を起動する制御、光源ユニット40全体を起動又はスタンバイ解除する制御等によって行う。
また、投写ユニット50において、投写光学系46と拡散板5との間の光路上に、光を遮蔽するシャッタ(図示せず)を挿脱可能な構成として配置され、システム制御部60がこのシャッタを閉じる制御を行うことによって、投写表示部による投写面2への投写光の投写を停止させてもよい。このシャッタの位置は、投写光路上であればどこでもよい。
この方法によれば、投写光の投写を停止した状態から投写光の投写を再開させるときに、シャッタを開くだけで投写面2への投写光の投写を再開することができる。このため、システム制御部60が光の投写を再開させると判断してから、運転者に対して虚像が視認可能になるまでの時間を極力短くすることができる。また、光源ユニット40は起動と停止を繰り返すことがないため、光源ユニット40の耐久性を高めることができる。
図3は、図1に示すHUDの動作を説明するためのフローチャートである。
HUDが起動すると、システム制御部60は投写表示部による投写面2への投写光の投写を開始させる。その後、視線検出部70は、撮像部10で撮像された撮像画像データを取得する(ステップS1)。
次に、視線検出部70は、ステップS1で取得した撮像画像データに基づき、運転者の視線を検出する(ステップS2)。
ステップS2の後、システム制御部60は、視線検出部70により検出された運転者の視線が、投写面2内にあるか否かを判定する(ステップS3)。システム制御部60は、運転者の視線が投写面2外にあると判定した場合(ステップS3:NO)は、内蔵するタイマをリセットする(ステップS4)。
ステップS4の後、システム制御部60は、内部メモリに記憶しているフラグを視線が投写面2外にある状態を示すフラグoにセットし(ステップS5)、光源ユニット40を停止又はスタンバイ状態にして、投写表示部による投写面2への投写光の投写を停止させる(ステップS6)。ステップS6の処理の後は、ステップS1に処理が戻る。
システム制御部60は、ステップS3において、運転者の視線が投写面2内にあると判定した場合(ステップS3:YES)は、内部メモリのフラグがフラグoにセットされているか否かを判定する(ステップS7)。
内蔵メモリのフラグが、視線が投写面2内にある状態を示すフラグiにセットされている場合(ステップS7:NO)は、ステップS1に処理が戻る。
内蔵メモリのフラグがフラグoにセットされている場合(ステップS7:YES)、システム制御部60は、内蔵タイマによる時間計測を開始する(ステップS8)。
次に、システム制御部60は、内蔵タイマの計測時間を参照し、計測時間が第二の時間(例えば1秒)以上か否かを判定する(ステップS9)。
内蔵タイマの計測時間が第二の時間未満である場合(ステップS9:NO)は、ステップS1に戻り、上述した処理が繰り返される。
システム制御部60は、内蔵タイマの計測時間が第二の時間以上である場合(ステップS9:YES)は、運転者の視線が投写面2外から投写面2内に移ったと判断し(ステップS10)、内蔵メモリのフラグをフラグiにセットする(ステップS11)。
例えば、運転者は、車線変更等において、バックミラーやサイドミラーを確認することがあり、そのような視線が複雑に変化する状況下では、視線が短時間のうちに投写面2内に入ったり、投写面2外に出たりを繰り返す。
このように視線が大きく動いている状況において、視線が投写面2外から投写面2内に移動したからとして投写表示部による光の投写を再開してしまうと、その後すぐに視線が投写面2外に出た場合に光の投写がすぐに停止されることになる。つまり、光の投写と非投射が頻繁に繰り返されることになる。
このような事態を避けるために、システム制御部60は、運転者の視線が投写面2外にある状態から投写面2内に入り、かつ、投写面2内に視線がある状態が第二の時間継続した場合(ステップS9:YES)にのみ、運転者の視線が投写面2外から投写面2内に移ったと判断する。
また、システム制御部60は、運転者の視線が投写面2外から投写面2内に移ったと判断してから、さらに第一の時間(例えば1秒〜4秒程度)経過後に、光源ユニット40を起動し、投写画像データを駆動部45に入力する。駆動部45の駆動により、光変調素子44が光源ユニット40から出射される光をこの投写画像データにしたがって空間変調する。空間変調された光は投写ユニット50から投写面2に投写されて、投写光の投写、すなわち虚像の投影が再開される(ステップS12)。ステップS12の処理の後は、ステップS1に処理が戻る。
以上のように、図1に示すHUDを用いれば、運転者の視線が投写面2外にある場合は、投写面2への投写光の投写が停止される。また、運転者の視線が投写面2外から投写面2内に移ったと判断されると、その判断した時点から第一の時間経過後に、投写面2への投写光の投写が再開される。
このように、運転者が視線を投写面2外から投写面2内に移した場合でも、第一の時間経過するまでは、投写面2に光が投写されることはない。このため、虚像に焦点が合ってしまうことを避けることができ、進行方向の状況を正確に把握することが可能となる。この第一の時間は、人間工学に基づいて適当な値を決めておくことができるし、上述したように1秒〜4秒程度の時間とすることもよい。
また、図1のHUDを用いれば、投写面2外に視線がある状態では、光源ユニット40を停止したり、スタンバイ状態に移行させたりすることができる。このため、HUDの消費電力を低減することができる。
また、図1のHUDでは、運転者の視線が投写面2外にある状態から投写面2内に入り、かつ、投写面2内に視線がある状態が第二の時間継続した場合(ステップS9:YES)にのみ、第一の時間経過後に投写面2への光の投写を再開するものとしている。
このため、運転者が視線を激しく動かしている状況において、投写面2に光が投写される状態と光が投写されない状態とが頻繁に切り替わるのを防ぐことができる。したがって、HUDの耐久性を向上させたり、運転者或いは同乗者にとってのHUDの使用感を向上させたりすることができる。上記の第二の時間は、視線が安定したと判断できる程度の時間であればよく、実験的に求めて決めてもよいし、運転者の視線の履歴に基づいて値をリアルタイムで変化させてもよい。
なお、図3においてステップS7の判定がYESのときに、すぐにステップS10に移行するようにしてもよい。この場合は、ステップS8は削除し、ステップS7の判定がNOのときにはステップS1に処理を移行させる。また、この場合は、第一の時間を1秒〜5秒程度としておくのが好ましい。このような動作であっても、視線を投写面2外から投写面2内に移したときに、運転者にすぐに虚像が提示されることはないため、虚像に焦点が合ってしまって背景に注意がいきにくくなるのを避けることができ、進行方向の状況を正確に把握することが可能となる。
また、図3のステップS12における第一の時間はマニュアル設定可能にしておくことが好ましい。具体的には、操作部80としての表示部(タッチパネル)に表示再開時間設定画面を表示させ、この画面上でのボタン操作により、第一の時間を任意に設定できるようにする。ただし、第一の時間の最短時間(例えば1秒)は予め決められており、それより短い時間に設定することはできない。そのようにすることで、運転者の視線が投写面2内に移ったと判断してから、すぐに虚像の投影が再開されてしまうのを防止することができる。
また、図3のステップS12において投写面2への投写光の投写を再開させるときに、システム制御部60は、虚像の視認性を最初から最大とすることではなく、時間経過と共に徐々に視認性を高めていくよう制御してもよい。このように、虚像の視認性が徐々に高くなっていくことにより、運転者に対し自然な形で虚像の提示を再開することができる。
具体的には、システム制御部60は、ステップS12において駆動部45に入力する投写画像データを時間経過と共に変化させる。
図4(a)には、運転者に注意喚起するためのアイコン(「!」の文字を内部に記したアイコン)として、縁取りのみであり内部の文字以外を透明にしたアイコン50Aと、内部の文字以外を文字とは異なる色で塗りつぶしたアイコン50Bとを示している。アイコンの内部の塗りつぶし領域の透過率が高いほど、背景を確認しやすくなるものの、アイコンとしての視認性は低下する。
システム制御部60は、ステップS12において、アイコン50Aを表示するための投写画像データを駆動部45に入力した後、所定時間経過後に、アイコン50Bを表示するための投写画像データを駆動部45に入力することによって、アイコンの視認性を時間経過と共に上げていく。
ここではアイコンの表示を2段階で変化させているが、3段階以上で変化させてもよい。この場合は、アイコン50Aから、アイコンの内部の塗りつぶし色の濃度を徐々に上げていってアイコン50Bに至るように投写画像データを変更すればよい。
図4(b)には、運転者に注意喚起するためのアイコンとして、サイズの小さいアイコン51Aと、サイズが大きいアイコン51Bとを示している。アイコンのサイズが小さいほど、背景を確認しやすくなるものの、アイコンとしての視認性は低下する。
システム制御部60は、ステップS12において、アイコン51Aを表示するための投写画像データを駆動部45に入力した後、所定時間経過後に、アイコン51Bを表示するための投写画像データを駆動部45に入力することによって、アイコンの視認性を時間経過と共に上げていく。
ここではアイコンのサイズを2段階で変化させているが、3段階以上で変化させてもよい。この場合は、アイコン51Aから、アイコンサイズを徐々に上げていってアイコン51Bに至るように投写画像データを変更すればよい。
図4(c)には、運転者に注意喚起するためのアイコンとして、輝度の低いアイコン52Aと、輝度が高いアイコン52Bとを示している。アイコンの輝度が低いほど、背景を確認しやすくなるものの、アイコンとしての視認性は低下する。
システム制御部60は、ステップS12において、アイコン52Aを表示するための投写画像データを駆動部45に入力した後、所定時間経過後に、アイコン52Bを表示するための投写画像データを駆動部45に入力することによって、アイコンの視認性を時間経過と共に上げていく。
ここではアイコンの輝度を2段階で変化させているが、3段階以上で変化させてもよい。この場合は、アイコン52Aから、輝度を徐々に上げていってアイコン52Bに至るように投写画像データを変更すればよい。ここでは視認性を変えるものとしたが、輝度の代わりに彩度を変えてもよい。彩度を徐々に高くすることによって、視認性を高くしていくことができる。
なお、図4に例示した3つの視認性変更方法は、HUDの操作者によってマニュアルで選択できるようにしてもよい。
例えば、投写面2に投写光を投写することに対して、図5(A)に示す視認変更画面を虚像として提示するとともに、図5(B)に示すように、操作部80の表示部(タッチパネル)に、操作ボタン83〜85を表示させる。
操作部80に表示される操作ボタン83〜85は、図5(A)の視認変更画面内の視認変更方法(表示方法1〜3)と対応付けられている。運転者は、図5(A)の視認変更画面を確認しながら実際の見え方を確認し、希望する表示方法に対応する操作ボタン83〜85のいずれかを選択することによって、視認性の変更方法を任意に設定することができる。
操作部80は、自動車に搭載される表示部(例えば、センターコンソールにあるタッチパネル付のディスプレイ)及び操作ボタン等としたが、運転者又は同乗者が所持する電子機器と通信する通信部を自動車内に設け、電子機器で操作された信号をこの通信部により受信してシステム制御部60に出力するようにしてもよい。この通信部はHUDに内蔵してもよい。
電子機器は、スマートフォン、カメラ付き携帯電話機、タブレット端末(携帯情報端末)等の携帯型コンピュータであって、電子機器上において図5(B)に示した操作画面を表示させて各種情報を入力できるものであればよい。このようにすることで、操作部80と同等の操作を行うことができる。
なお、図1のHUDでは、投写ユニット50として、投写面2に投写された光に基づく画像が投写面2において実像として運転者に視認可能となるように光学設計を行った光学系を用いてもよい。この場合も、運転者が視線を投写面2外から投写面2内に移した場合には、第一の時間経過するまでは、投写面2に光が投写されることはない。このため、投写面2に表示される実像に焦点が合ってしまうのを避けることができ、進行方向の状況を正確に把握することが可能となる。
以上説明してきたように、本明細書には以下の事項が開示されている。
開示された投写型表示装置は、光源と、上記光源から出射される光を空間変調する光変調素子と、上記光変調素子により空間変調された光を投写光として乗り物に搭載された投写面に投写する投写部とを含む投写表示部と、上記乗り物の運転者の視線を検出する視線検出部と、上記視線検出部により検出される視線が上記投写面外にある状態では、上記投写表示部による上記投写面への上記投写光の投写を停止させ、上記視線が上記投写面外から上記投写面内に移ったと判断した時点から第一の時間経過後に、上記投写表示部による上記投写面への上記投写光の投写を再開させる投写制御部と、を備えるものである。
開示された投写型表示装置は、上記投写制御部は、上記視線検出部により検出される視線が上記投写面外にある状態から上記投写面内に移り、上記視線が上記投写面内に第二の時間継続して存在する場合に、上記視線が上記投写面外から上記投写面内に移ったと判断するものである。
開示された投写型表示装置は、上記投写制御部は、上記投写面への上記投写光の投写を再開させると、上記投写光によって結像される画像の視認性を時間経過と共に高くさせるものである。
開示された投写型表示装置は、上記画像の視認性の変更方法がマニュアル設定可能であるものを含む。
開示された投写型表示装置は、上記第一の時間がマニュアル設定可能であるものを含む。
開示された投写型表示装置は、上記投写部は、上記投写光に基づく画像を実像又は虚像として視認可能に上記投写光を上記投写面に投写するものである。
開示された投写制御方法は、光源と、上記光源から出射される光を空間変調する光変調素子と、上記光変調素子により空間変調された光を投写光として乗り物に搭載された投写面に投写する投写部とを含む投写表示部と、上記乗り物の運転者の視線を検出する視線検出部と、を有する投写型表示装置による投写制御方法であって、上記視線検出部により検出される視線が上記投写面外にある状態では、上記投写表示部による上記投写面への上記投写光の投写を停止させ、上記視線が上記投写面外から上記投写面内に移ったと判断した時点から第一の時間経過後に、上記投写表示部による上記投写面への上記投写光の投写を再開させる投写制御ステップを備えるものである。
開示された投写制御方法は、上記投写制御ステップでは、上記視線検出部により検出される視線が上記投写面外にある状態から上記投写面内に移り、上記視線が上記投写面内に第二の時間継続して存在する場合に、上記視線が上記投写面外から上記投写面内に移ったと判断するものである。
開示された投写制御方法は、上記投写制御ステップでは、上記投写面への上記投写光の投写を再開させると、上記投写光によって結像される画像の視認性を時間経過と共に高くさせるものである。
開示された投写制御方法は、上記投写部は、上記投写光に基づく画像を実像又は虚像として視認可能に上記投写光を上記投写面に投写するものである。
本発明の投写型表示装置は、特に自動車に搭載して利便性が高く、有効である。
2 投写面
10 撮像部
40 光源ユニット
44 光変調素子
45 駆動部
50 投写ユニット
60 システム制御部
70 視線検出部

Claims (8)

  1. 光源と、前記光源から出射される光を空間変調する光変調素子と、前記光変調素子により空間変調された光を投写光として乗り物に搭載された投写面に投写する投写部とを含む投写表示部と、
    前記乗り物の運転者の視線を検出する視線検出部と、
    前記視線検出部により検出される視線が前記投写面外にある状態では、前記投写表示部による前記投写面への前記投写光の投写を停止させ、前記視線が前記投写面外から前記投写面内に移ったと判断した時点から第一の時間経過後に、前記投写表示部による前記投写面への前記投写光の投写を再開させる投写制御部と、を備え
    前記投写制御部は、前記投写面への前記投写光の投写を再開させると、前記投写光によって結像される画像の視認性を時間経過と共に高くさせていく投写型表示装置。
  2. 請求項1記載の投写型表示装置であって、
    前記投写制御部は、前記視線検出部により検出される視線が前記投写面外にある状態から前記投写面内に移り、前記視線が前記投写面内に第二の時間継続して存在する場合に、前記視線が前記投写面外から前記投写面内に移ったと判断する投写型表示装置。
  3. 請求項1又は2記載の投写型表示装置であって、
    前記画像の視認性の変更方法がマニュアル設定可能である投写型表示装置。
  4. 請求項1〜のいずれか1項記載の投写型表示装置であって、
    前記第一の時間がマニュアル設定可能である投写型表示装置。
  5. 請求項1〜のいずれか1項記載の投写型表示装置であって、
    前記投写部は、前記投写光に基づく画像を実像又は虚像として視認可能に前記投写光を前記投写面に投写する投写型表示装置。
  6. 光源と、前記光源から出射される光を空間変調する光変調素子と、前記光変調素子により空間変調された光を投写光として乗り物に搭載された投写面に投写する投写部とを含む投写表示部と、前記乗り物の運転者の視線を検出する視線検出部と、を有する投写型表示装置による投写制御方法であって、
    前記視線検出部により検出される視線が前記投写面外にある状態では、前記投写表示部による前記投写面への前記投写光の投写を停止させ、前記視線が前記投写面外から前記投写面内に移ったと判断した時点から第一の時間経過後に、前記投写表示部による前記投写面への前記投写光の投写を再開させる投写制御ステップを備え
    前記投写制御ステップでは、前記投写面への前記投写光の投写を再開させると、前記投写光によって結像される画像の視認性を時間経過と共に高くさせる投写制御方法。
  7. 請求項記載の投写制御方法であって、
    前記投写制御ステップでは、前記視線検出部により検出される視線が前記投写面外にある状態から前記投写面内に移り、前記視線が前記投写面内に第二の時間継続して存在する場合に、前記視線が前記投写面外から前記投写面内に移ったと判断する投写制御方法。
  8. 請求項6又は7記載の投写制御方法であって、
    前記投写部は、前記投写面に前記投写光に基づく画像を実像又は虚像として視認可能に前記投写光を前記投写面に投写する投写制御方法。
JP2017531097A 2015-07-29 2016-06-30 投写型表示装置及び投写制御方法 Active JP6255537B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2015149988 2015-07-29
JP2015149988 2015-07-29
PCT/JP2016/069393 WO2017018122A1 (ja) 2015-07-29 2016-06-30 投写型表示装置及び投写制御方法

Publications (2)

Publication Number Publication Date
JP6255537B2 true JP6255537B2 (ja) 2017-12-27
JPWO2017018122A1 JPWO2017018122A1 (ja) 2018-02-08

Family

ID=57884281

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017531097A Active JP6255537B2 (ja) 2015-07-29 2016-06-30 投写型表示装置及び投写制御方法

Country Status (5)

Country Link
US (1) US10643510B2 (ja)
JP (1) JP6255537B2 (ja)
CN (1) CN107851424B (ja)
DE (1) DE112016002924B4 (ja)
WO (1) WO2017018122A1 (ja)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017064797A1 (ja) * 2015-10-15 2017-04-20 日立マクセル株式会社 情報表示装置
US10810773B2 (en) * 2017-06-14 2020-10-20 Dell Products, L.P. Headset display control based upon a user's pupil state
GB2567164A (en) * 2017-10-04 2019-04-10 Continental Automotive Gmbh Display system in a vehicle
JP7035989B2 (ja) * 2018-12-06 2022-03-15 株式会社Jvcケンウッド ディスプレイ装置、判別方法および照射方法
EP3971005B1 (en) * 2019-05-15 2022-11-16 NISSAN MOTOR Co., Ltd. Display control method and display control device
CN110764342A (zh) * 2019-11-19 2020-02-07 四川长虹电器股份有限公司 智能投影显示装置及其投影画面的调整方法
CN114450740A (zh) * 2019-12-25 2022-05-06 日本精机株式会社 显示控制装置、平视显示装置
WO2023145145A1 (ja) * 2022-01-31 2023-08-03 日産自動車株式会社 表示制御方法、表示制御装置
JP2023174351A (ja) * 2022-05-27 2023-12-07 京セラ株式会社 画像表示装置
TW202409639A (zh) * 2022-08-25 2024-03-01 緯創資通股份有限公司 用於配置抬頭顯示器的電子裝置和方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07257228A (ja) * 1994-03-18 1995-10-09 Nissan Motor Co Ltd 車両用表示装置
JP2002274218A (ja) * 2001-03-19 2002-09-25 Nissan Motor Co Ltd 車両用表示装置
JP2009253786A (ja) * 2008-04-09 2009-10-29 Seiko Epson Corp 頭部装着型画像表示装置
WO2010061272A1 (en) * 2008-11-25 2010-06-03 Toyota Jidosha Kabushiki Kaisha Vehicle display device and display method
JP2010269756A (ja) * 2009-05-25 2010-12-02 J&K Car Electronics Corp 情報表示装置、情報表示方法、及びプログラム
JP2010271339A (ja) * 2009-05-19 2010-12-02 Hitachi Ltd 映像表示装置
JP2016131009A (ja) * 2015-01-09 2016-07-21 パナソニックIpマネジメント株式会社 表示制御装置、投影装置、表示制御方法、表示制御プログラム及び記録媒体

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10037573B4 (de) * 2000-08-02 2005-05-19 Robert Bosch Gmbh Navigationsverfahren in einem Kraftfahrzeug
JP3989302B2 (ja) * 2002-05-24 2007-10-10 オリンパス株式会社 照明装置及びプロジェクタ装置
JP4501778B2 (ja) 2005-05-24 2010-07-14 日産自動車株式会社 車両用情報表示方法及び車両用情報表示装置
JP2008030729A (ja) * 2006-07-05 2008-02-14 Nissan Motor Co Ltd 車両用表示装置
JP5223289B2 (ja) * 2007-10-18 2013-06-26 日産自動車株式会社 視覚情報呈示装置及び視覚情報呈示方法
JP2012174057A (ja) * 2011-02-22 2012-09-10 Sharp Corp 表示装置、テレビジョン受像装置、特定方法、コンピュータプログラム及び記録媒体
KR101492413B1 (ko) * 2013-11-22 2015-02-12 현대모비스 주식회사 차량의 라이트 제어장치 및 방법
JP6481273B2 (ja) * 2014-07-11 2019-03-13 株式会社デンソー 車両用表示装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07257228A (ja) * 1994-03-18 1995-10-09 Nissan Motor Co Ltd 車両用表示装置
JP2002274218A (ja) * 2001-03-19 2002-09-25 Nissan Motor Co Ltd 車両用表示装置
JP2009253786A (ja) * 2008-04-09 2009-10-29 Seiko Epson Corp 頭部装着型画像表示装置
WO2010061272A1 (en) * 2008-11-25 2010-06-03 Toyota Jidosha Kabushiki Kaisha Vehicle display device and display method
JP2010271339A (ja) * 2009-05-19 2010-12-02 Hitachi Ltd 映像表示装置
JP2010269756A (ja) * 2009-05-25 2010-12-02 J&K Car Electronics Corp 情報表示装置、情報表示方法、及びプログラム
JP2016131009A (ja) * 2015-01-09 2016-07-21 パナソニックIpマネジメント株式会社 表示制御装置、投影装置、表示制御方法、表示制御プログラム及び記録媒体

Also Published As

Publication number Publication date
CN107851424A (zh) 2018-03-27
JPWO2017018122A1 (ja) 2018-02-08
DE112016002924B4 (de) 2020-08-13
US10643510B2 (en) 2020-05-05
US20180144672A1 (en) 2018-05-24
WO2017018122A1 (ja) 2017-02-02
DE112016002924T5 (de) 2018-03-22
CN107851424B (zh) 2020-03-17

Similar Documents

Publication Publication Date Title
JP6255537B2 (ja) 投写型表示装置及び投写制御方法
JP6387465B2 (ja) 投写型表示装置及び投写制御方法
JP6439052B2 (ja) 投写型表示装置
JP6175589B2 (ja) 投写型表示装置及び投写表示方法
JP6244500B2 (ja) 投写型表示装置、投写表示方法、及び投写表示プログラム
JP6149403B2 (ja) 表示装置、および、表示装置の制御方法
JP2009008722A (ja) 3次元ヘッドアップディスプレイ装置
JPWO2018056058A1 (ja) 投写型表示装置、投写表示方法、及び、投写表示プログラム
JP6339887B2 (ja) 画像表示装置
US10412354B2 (en) Projection type display device and projection control method
WO2015146037A1 (ja) 車両用表示入力装置
WO2017051655A1 (ja) 投写型表示装置及び投写制御方法
JP2018205621A (ja) 虚像表示装置、中間像形成部および画像表示光生成ユニット
JP6637986B2 (ja) 画像表示装置
JP5821464B2 (ja) 頭部装着型表示装置
JPWO2018110041A1 (ja) 投写型表示装置、投写型表示装置の制御方法、投写型表示装置の制御プログラム
WO2017145565A1 (ja) 投写型表示装置、投写表示方法、及び、投写表示プログラム
JP2018036342A (ja) 虚像表示装置及び遊技装置
JP2018087907A (ja) ヘッドアップディスプレイ装置
JP6065960B2 (ja) 頭部装着型表示装置
KR20180004633A (ko) 차량용 영상 장치

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170907

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170907

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20170907

TRDD Decision of grant or rejection written
A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20171030

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20171107

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20171204

R150 Certificate of patent or registration of utility model

Ref document number: 6255537

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250