JP6526351B1 - 車両照明制御装置、車両照明制御方法及び車両照明制御プログラム - Google Patents
車両照明制御装置、車両照明制御方法及び車両照明制御プログラム Download PDFInfo
- Publication number
- JP6526351B1 JP6526351B1 JP2018548941A JP2018548941A JP6526351B1 JP 6526351 B1 JP6526351 B1 JP 6526351B1 JP 2018548941 A JP2018548941 A JP 2018548941A JP 2018548941 A JP2018548941 A JP 2018548941A JP 6526351 B1 JP6526351 B1 JP 6526351B1
- Authority
- JP
- Japan
- Prior art keywords
- light
- vehicle
- pedestrian
- marking
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 33
- 238000001514 detection method Methods 0.000 claims abstract description 90
- 230000001678 irradiating effect Effects 0.000 claims abstract description 9
- 238000012545 processing Methods 0.000 claims description 19
- 230000008569 process Effects 0.000 claims description 17
- 238000005286 illumination Methods 0.000 claims description 13
- 238000004364 calculation method Methods 0.000 description 25
- 238000005259 measurement Methods 0.000 description 24
- 239000011159 matrix material Substances 0.000 description 10
- 230000006870 function Effects 0.000 description 7
- 230000001133 acceleration Effects 0.000 description 5
- 230000008859 change Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000005484 gravity Effects 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 239000000725 suspension Substances 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000012886 linear function Methods 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 102200012170 rs10084168 Human genes 0.000 description 1
- 102220171488 rs760746448 Human genes 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
- B60Q1/00—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
- B60Q1/02—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments
- B60Q1/04—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments the devices being headlights
- B60Q1/06—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments the devices being headlights adjustable, e.g. remotely-controlled from inside vehicle
- B60Q1/08—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments the devices being headlights adjustable, e.g. remotely-controlled from inside vehicle automatically
- B60Q1/085—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments the devices being headlights adjustable, e.g. remotely-controlled from inside vehicle automatically due to special conditions, e.g. adverse weather, type of road, badly illuminated road signs or potential dangers
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/01—Detecting movement of traffic to be counted or controlled
- G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
- G08G1/0137—Measuring and analyzing of parameters relative to traffic conditions for specific applications
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/01—Detecting movement of traffic to be counted or controlled
- G08G1/04—Detecting movement of traffic to be counted or controlled using optical or ultrasonic detectors
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
- G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
-
- H—ELECTRICITY
- H05—ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
- H05B—ELECTRIC HEATING; ELECTRIC LIGHT SOURCES NOT OTHERWISE PROVIDED FOR; CIRCUIT ARRANGEMENTS FOR ELECTRIC LIGHT SOURCES, IN GENERAL
- H05B45/00—Circuit arrangements for operating light-emitting diodes [LED]
- H05B45/20—Controlling the colour of the light
-
- H—ELECTRICITY
- H05—ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
- H05B—ELECTRIC HEATING; ELECTRIC LIGHT SOURCES NOT OTHERWISE PROVIDED FOR; CIRCUIT ARRANGEMENTS FOR ELECTRIC LIGHT SOURCES, IN GENERAL
- H05B47/00—Circuit arrangements for operating light sources in general, i.e. where the type of light source is not relevant
- H05B47/10—Controlling the light source
- H05B47/105—Controlling the light source in response to determined parameters
- H05B47/115—Controlling the light source in response to determined parameters by determining the presence or movement of objects or living beings
- H05B47/125—Controlling the light source in response to determined parameters by determining the presence or movement of objects or living beings by using cameras
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
- B60Q2300/00—Indexing codes for automatically adjustable headlamps or automatically dimmable headlamps
- B60Q2300/40—Indexing codes relating to other road users or special conditions
- B60Q2300/45—Special conditions, e.g. pedestrians, road signs or potential dangers
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02B—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO BUILDINGS, e.g. HOUSING, HOUSE APPLIANCES OR RELATED END-USER APPLICATIONS
- Y02B20/00—Energy efficient lighting technologies, e.g. halogen lamps or gas discharge lamps
- Y02B20/40—Control techniques providing energy savings, e.g. smart controller or presence detection
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Mechanical Engineering (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Lighting Device Outwards From Vehicle And Optical Signal (AREA)
- Traffic Control Systems (AREA)
Abstract
Description
この発明は、ドライバーが歩行者といった対象物を認知し易くすることを目的とする。
車両が有するロービームの照射範囲外に存在する対象物を検知する検知部と、
前記ロービームよりも遠方まで照射可能なマーキングライトにより、前記検知部によって検知された前記対象物が存在する範囲を照射するライト制御部と
を備える。
***構成の説明***
図1を参照して、実施の形態1に係る車両照明制御装置10の構成を説明する。
車両照明制御装置10は、車両100に搭載されるECU(Electronic Control Unit)といったコンピュータである。車両照明制御装置10は、車両100と一体不可分な構成であってもよいし、車両100と分離可能な構成であってもよい。
ライト制御部22は、機能構成要素として、画素ベース予測部41と、第1角度算出部42と、車両ベース予測部43と、第2角度算出部44と、車両移動予測部45と、ロービーム検出部46と、衝突予測部47と、制御実行部48とを備える。ライト制御部22が備える機能構成要素は、ソフトウェアで実現される。
ライト制御部22を実現するECUには、メモリが搭載されており、メモリには各機能構成要素の機能を実現するプログラムが格納されている。このプログラムは、処理を実行するIC(Integrated Circuit)であるプロセッサに読み込まれ、プロセッサによって実行される。これにより、ライト制御部22が備える各機能構成要素の機能が実現される。
また、メモリは、第1パラメータ記憶部421と、第2パラメータ記憶部441との機能を実現する。
図3から図9を参照して、実施の形態1に係る車両照明制御装置10の動作を説明する。
実施の形態1に係る車両照明制御装置10の動作は、実施の形態1に係る車両照明制御方法に相当する。また、実施の形態1に係る車両照明制御装置10の動作は、実施の形態1に係る車両照明制御プログラムの処理に相当する。
図3に示すように、遠赤外線カメラ31によって得られる画像座標系50は、水平方向の軸を右向きに正としてU軸とし、垂直方向の軸を下向きに正としてV軸とする。横M画素及び縦N画素の画像が得られるとすると、最も左上にある画素位置が(1,1)として表され、最も右下にある画素位置が(M,N)として表され、1≦u≦M及び1≦v≦Nの範囲にある任意の画素位置が(u,v)として表される。
遠赤外線カメラ31により撮像された対象物である歩行者51の検知範囲が検知枠52として表される。検知枠52の左上の画素位置53が(Utl,Vtl)として表され、右下の画素位置54が(Ubr,Vbr)として表される。検知枠52の中心座標55は、((Utl+Ubr)/2,(Vtl+Vbr)/2)である。
(ステップS1:第1検知処理)
第1検知部23は、車両100が有するロービームの照射範囲外に存在する対象物である歩行者を検知する。つまり、第1検知部23は、遠赤外線カメラ31を用い、ロービームが届かずにドライバーが目視で認知できない車両100前方の遠方に存在する歩行者を検知する。ロービームが届かない遠方とは、例えば、車両100から40m以上離れた範囲である。ここでは、第1検知部23は、ロービームが届かない遠方のうち、車両100〜120mの範囲内の歩行者を検知する。
第1検知部23は、遠赤外線カメラ31によって出力された映像データを入力として、ASIC(Application Specific Integrated Circuit)又はFPGA(Field−Programmable Gate Array)といった回路により諧調処理といったカメラ信号処理を実行する。第1検知部23は、自動車予防安全向けのSoC(System on Chip)により、1枚の静止画像から画像内の特徴量を算出し、サポートベクターマシンを適用して歩行者か否かを判定する。そして、第1検知部23は、静止画像における歩行者と判定された画素の位置を計算して、画像座標系50における検知枠52の左上の画素位置53(Utl,Vtl)と、右下の画素位置54(Ubr,Vbr)とを出力する。
ライト制御部22の画素ベース予測部41は、ステップS1で出力された画素位置に基づき、ある時間後の歩行者の移動先の画素位置を予測する。ここでは、画素ベース予測部41は、0.1[s]から5[s]後までの歩行者の移動先の画素位置{(lu(t+p|t)、lv(t+p|t)),p=1,・・・,50,p=1,・・・,50}をカルマンフィルタにより計算する。
具体的には、画素ベース予測部41は、検知枠52の左上の画素位置53(Utl,Vtl)と、右下の画素位置54(Ubr,Vbr)とから、中心座標55((Utl+Ubr)/2,(Vtl+Vbr)/2)を計算する。画素ベース予測部41は、中心座標55を入力として、0.1[s]から5[s]後までの歩行者の水平方向の移動先の画素位置をカルマンフィルタにより計算する。
なお、移動先の画素位置の計算方法は、カルマンフィルタを用いた方法に限定されるものではなく、他の方法でもよい。
位置をl(Location)、速度をv(Velocity)、加速度をa(Accelaration)で表す。時刻tにおける画像上の位置と、速度と、加速度とをそれぞれ位置(lu(t)、lv(t))と、速度(vu(t)),vv(t))と、加速度(au(t),av(t))とする。状態ベクトルx(t)を、x(t)=[lu(t)、lv(t)、vu(t)、vv(t)、au(t)、av(t)]で定義する。
状態空間モデルをx(t+1)=Fx(t)+Gξ(t)とする。ここで、Fは、状態遷移行列、Gはシステム雑音の遷移行列、ξ(t)は平均0かつ共分散Qの正規性白色雑音である。また、検知した歩行者の画素位置の観測モデルをy(t)=Hx(t)+η(t)とする。ここで、Hは観測行列、η(t)は平均0かつ共分散Rの正規性白色雑音である。
初期値をx(1|0)=x0、P(1|0)=P0として与えることで、t=1,・・・,Nに対し、以下の予測推定値及び濾波推定値が求まる。但し、x0はx(t)が取り得る平均値、P0はx(t)が取り得る共分散値を概算して与える。
x(t|t)=x(t|t−1)+K(t){y(t)−Hx(t|t−1)}
P(t|t)=P(t|t−1)−KHP(t|t−1)
x(t+1|t)=Fx(t|t)
P(t+1|t)=FP(t|t)F^{T}+GQG^{T}
なお、式において“^”はべき乗を表す。例えば、X^Yは、XYを表す。ただし、X^{T}は行列Xの転置を表す。
また、システム雑音は状態ベクトルの要素はお互いに無相関であるとし、Gは6×6の単位行列と定義される。
画素ベース予測部41は、歩行者の画素位置((Utl+Ubr)/2,(Vtl+Vbr)/2)のみ出力する。そのため、観測行列Hは、H=[1 0 0 0 0 0;0 1 0 0 0 0;0 0 0 0 0 0;0 0 0 0 0 0;0 0 0 0 0 0;0 0 0 0 0 0]と定義される。
そして、0.1[s]から5[s]後までの状態ベクトルx(t+1|t),・・・,x(t+50|t)から、0.1[s]から5[s]後までの水平方向の画素位置lu(t+1|t),・・・,lu(t+50|t)が計算可能である。
ライト制御部22の第1角度算出部42は、車両100の進行方向に対する歩行者の存在する方向の水平角度θ(t+p|t)を計算する。そして、制御実行部48は、計算された水平角度θ(t+p|t)に基づき、マーキングライト35を制御して、歩行者の存在する方向に向けて光を照射する。
ここで、マーキングライト35は、ロービームよりも狭い範囲で、且つ遠方まで照射可能なライトである。また、照射方向を変えることができる。車両100は、マーキングライト35を1つだけでなく複数備えても良く、複数のマーキングライト35を備える場合には、各マーキングライトの輝度、色、または照射方向等を個別に制御できるようにしても良い。ここではマーキングライト35としてLEDを例とし、水平ステッピングモーター39と垂直ステッピングモーター40によってライトの照射方向を変える。
キャリブレーションパラメータについて説明する。例えば図7に示すように、第1角度算出部42は、マーキングライト35の水平角度−30度と、−20度と、−10度と、0度と、10度と、20度と、30度とに対する遠赤外線カメラ31の画像座標での水平位置u(−30度)と、u(−20度)と、u(−10度)と、u(0度)と、u(10度)と、u(20度)と、u(30度)とを予め計測して、テーブルとして第1パラメータ記憶部421に保存しておく。このテーブルがキャリブレーションパラメータである。第1角度算出部42は、画素位置(lu(t+p|t)、lv(t+p|t))から計算される中心座標55((Utl+Ubr)/2,(Vtl+Vbr)/2)がテーブルのどの区間に入るのかを求める。そして、第1角度算出部42は、その区間内における中心座標55((Utl+Ubr)/2,(Vtl+Vbr)/2)に対応する角度を、対応するマーキングライト35の水平角度として、1次関数により求める。
なお、遠赤外線カメラ31によって得られる画像の水平方向の画素位置に対するマーキングライト35の水平角度の関係が非線形関係になる場合も考えられる。この場合には、多くのサンプリング点でテーブルを生成することにより、精度よくマーキングライト35の水平角度を計算することができる。また、サンプリング点を多項式で近似し、多項式に基づきマーキングライト35の水平角度を計算してもよい。
すると、水平ドライバー37は、モーター制御信号が入力されると、モーター制御信号に基づき水平ステッピングモーター39にパルス信号を出力する。水平ステッピングモーター39は、パルス信号に基づきマーキングライト35を水平方向に回転させる。また、LEDドライバー34は、ドライバー制御信号が入力されると、5Vの電圧をマーキングライト35に印加する。マーキングライト35は、5Vの電圧が印加されると点灯する。
つまり、マーキングライト35は、選択された水平角度に向けて、歩行者の存在する方向に向けて光を照射する。
第2検知部24は、可視光カメラ32によりマーキングライト35により照射された範囲に存在する対象物である歩行者を検知する。つまり、ステップS3でマーキングライト35により歩行者に光が照射されることによって、可視光カメラ32により歩行者を撮像することが可能になる。そこで、第2検知部24は、可視光カメラ32によりマーキングライト35により照射された範囲を撮像して、歩行者を検知する。
第2検知部24は、可視光カメラ32によって出力された映像データを入力として、自動車予防安全向けSoCにより、1枚の静止画像から画像内の特徴量を算出し、サポートベクターマシンを適用して歩行者か否かを判定する。第2検知部24は、静止画像における歩行者と判定された画素の位置を計算して、画像座標系50における検知枠52の左上の画素位置53(Utl,Vtl)と、右下の画素位置54(Ubr,Vbr)とを特定する。第2検知部24は、左上の画素位置53(Utl,Vtl)と、右下の画素位置54(Ubr,Vbr)とから中心座標55を計算する。第2検知部24は、中心座標55に基づき、ある時刻T=tにおける車両100の位置を原点とした車両座標系60における歩行者の座標値(xwp(t),ywp(t),zwp(t))を計算し、出力する。
ライト制御部22の車両ベース予測部43は、ステップS4で出力された歩行者の座標値に基づき、ある時間後の歩行者の移動先の座標値を予測する。ここでは、車両ベース予測部43は、ある時刻tに対して、0.1[s]から5[s]後までの歩行者の移動先の車両座標系60における座標{(xwp(t+p|t),ywp(t+p|t),zwp(t+p|t)),p=1,・・・,50}をカルマンフィルタにより計算する。
ここで、カルマンフィルタによる座標の予測方法は,ステップS2におけるカルマンによる画素位置の予測方法と同様のアルゴリズムで求めることができる。なお、状態ベクトルの定義は物理モデルを勘案して定義すればよい。
ライト制御部22の車両移動予測部45は、車載センサー33から、ある時刻tにおける車両100の走行速度V(t)[m/s]と、ヨーレート(ヨー角速度)r(t)[°/s]と、操舵角δ(t)[°]とを取得する。車載センサー33は、車両100に搭載された各種センサーである。車両移動予測部45は、走行速度V(t)と、ヨーレートr(t)と、操舵角δ(t)とを入力として、旋回半径ρ(t)=(1−m/(2・l^(2))・((lf・Kf−lr・Kr)/Kf・Kr)・(V(t))^(2)))・l/δ(t)を計算する。
ここで、m[kg]は慣性質量である。l[m]はホイールベース長である。Kfは前輪のコーナリングパワーである。Krは後輪のコーナリングパワーである。lf[m]は車両重心点と前車軸間の距離である。lr[m]は車両重心点と後車軸間の距離であり、車両100の移動を予測する際に旋回半径を求める際の定数となる。
車両移動予測部45は、その際の回転角度(t,t+p)=(360[°]×L(t,t+p))/(2×π×ρ(t))計算する。そして、車両移動予測部45は、p=1,・・・,50について、時刻tにおける車両座標系60での移動予測位置(xwc(t,t+p),zwc(t,t+p))を、ヨーレートr(t)が正の場合はxwc(t,t+p)=−ρ(t)+ρ(t)cos(ψ(t,t+p)),zwc(t,t+p)=ρ(t)sin(ψ(t,t+p))により計算し、ヨーレートr(t)が負の場合はxwc(t,t+p)=ρ(t)−ρ(t)cos(ψ(t,t+p)),zwc(t,t+p)=ρ(t)sin(ψ(t,t+p))により計算する。
なお、車両移動予測部45は、道路の起伏などに合わせ車両100がサスペンションにより上下動をすると考え、時刻tに対する予測値を計算してもよい。この場合には、車両移動予測部45は、ywc(t,t+p)を計算して出力すればよい。但し、サスペンションの物理モデルを導入して予測することとなり煩雑となるため、ここでは一定値とする。
ライト制御部22のロービーム検出部46は、歩行者がロービームの照射範囲に入ったか否かを判定する。
具体的には、ロービーム検出部46は、可視光カメラ32により車両100の前方を撮像してえられた映像データを取得する。ロービーム検出部46は、図8に示すように、映像データのある時刻tの画像データを、複数のブロックに分割する。例えば、ロービーム検出部46は、画像データを40ピクセル×40ピクセルのブロックに分割する。また、ロービーム検出部46は、各ブロックについて、そのブロックに含まれる画素の輝度値の平均値をブロック平均として計算する。
そして、ロービーム検出部46は、直近に実行されたステップS4で検知された歩行者の位置に対応する画素を含むブロックを特定する。ロービーム検出部46は、特定されたブロックのブロック平均が閾値よりも高いか否かを判定する。また、ロービーム検出部46は、特定されたブロックの周囲の全てのブロックのブロック平均が閾値よりも低いか否かを判定する。ロービーム検出部46は、特定されたブロックのブロック平均が閾値よりも高く、かつ、特定されたブロックの周囲の全てのブロックのブロック平均が閾値よりも低くない場合には、歩行者がロービームの照射範囲に入ったと判定する。
ライト制御部22の第2角度算出部44は、0.1秒後から5秒後まで50個の車両座標系60の歩行者の座標(xwp(t,t+p),ywp(t,t+p),zwp(t,t+p))と、0.1秒後から5秒後まで50個の車両座標系60の車両100の座標(xwc(t,t+p),ywc(t,t+p),zwc(t,t+p))とをライト座標系70の座標に変換する。
そして、第2角度算出部44は、[xlp(t+p|t);ylp(t+p|t);zlp(t+p|t);1]=[r11 r12 r13 t1;r21 r22 r23 t2;r31 r32 r33 t3;0 0 0 1]×[xwp(t+p|t);ywp(t+p|t);zwp(t+p|t);1]を計算することにより、車両座標系60の歩行者の座標をライト座標の歩行者の座標に変換することができる。
ここでθ(t+p,t)は、時刻tに対して時間p後の水平角度を示し、φ(t+p,t)は、時刻tに対して時間p後の垂直角度を示している。
衝突予測部47は、ステップS5Aで計算された歩行者の予測位置と、ステップS5Bで計算された車両100の予測位置とから、歩行者と車両100とが同じ時刻に同じ位置に移動すること予測されているか否かを判定する。ここで、同じ時刻とは、厳密に同一の時刻だけでなく、例えば1秒といったある程度の幅のある時間である。同様に、同じ位置とは、厳密に同一の位置だけでなく、3メートル四方といったある程度広さのある範囲である。衝突予測部47は、歩行者と車両100とが同じ時刻に同じ位置に移動すること予測されていると判定された場合には、歩行者と車両100とが衝突する可能性があると判定する。
そして、衝突予測部47は、上述した同じ位置を歩行者と車両100とが衝突する衝突位置として特定する。第2角度算出部44は、0.1秒後から5秒後までについて、車両100の進行方向に対する衝突位置の水平角度θ及び垂直角度φを計算する。水平角度θ及び垂直角度φの計算方法は、ステップS6Aと同様である。
制御実行部48は、ステップS6Aで計算された水平角度θ及び垂直角度φと、ステップS6Bで判定された結果と、ステップS5Cで判定された結果とに基づき、マーキングライト35を制御する。制御実行部48は、ステップS6Bで衝突する可能性があると判定された場合と、衝突する可能性がないと判定された場合とで制御を変える。
制御実行部48は、マーキングライト35を制御して、衝突位置の方向と、歩行者が存在する方向とに向けて光を照射する。この際、制御実行部48は、マーキングライト35から照射される光を一定パターンで変化させる。制御実行部48は、一定時間経過後、マーキングライト35を制御して、歩行者が存在する方向だけに向けて光を照射する。
すると、水平ドライバー37は、モーター制御信号が入力されると、モーター制御信号に基づき水平ステッピングモーター39にパルス信号を出力する。水平ステッピングモーター39は、パルス信号に基づきマーキングライト35を水平方向に回転させる。同様に、垂直ドライバー38は、モーター制御信号が入力されると、モーター制御信号に基づき垂直ステッピングモーター40にパルス信号を出力する。垂直ステッピングモーター40は、パルス信号に基づきマーキングライト35を垂直方向に回転させる。この際、水平ステッピングモーター39及び垂直ステッピングモーター40は、マーキングライト35の一部の光源を衝突位置の方向に回転させ、残りの光源を歩行者の方向に回転させる。また、LEDドライバー34は、ドライバー制御信号が入力されると、5Vの電圧をマーキングライト35に印加する。
制御実行部48は、一定時間経過後、衝突位置についてのみ、水平角度θ及び垂直角度φの組のうち1つを選択する。そして、マーキングライト35を制御して、歩行者が存在する方向だけに向けて光を照射する。
制御実行部48は、マーキングライト35を制御して、歩行者が存在する方向に向けて光を照射し、歩行者がロービームの照射範囲に入った場合に光の照射を止める。光を照射する際、制御実行部48は、マーキングライト35から照射される光を一定パターンで変化させてもよい。
すると、水平ドライバー37は、モーター制御信号が入力されると、モーター制御信号に基づき水平ステッピングモーター39にパルス信号を出力する。水平ステッピングモーター39は、パルス信号に基づきマーキングライト35を水平方向に回転させる。同様に、垂直ドライバー38は、モーター制御信号が入力されると、モーター制御信号に基づき垂直ステッピングモーター40にパルス信号を出力する。垂直ステッピングモーター40は、パルス信号に基づきマーキングライト35を垂直方向に回転させる。また、LEDドライバー34は、ドライバー制御信号が入力されると、5Vの電圧をマーキングライト35に印加する。
車両100から歩行者までの距離は、車両100の位置と歩行者の位置とから計算可能である。この際、車両座標系60における車両100の位置及び歩行者の位置を用いて距離を計算してもよいし、ライト座標系70における車両100の位置及び歩行者の位置を用いて距離を計算してもよい。
以上のように、実施の形態1に係る車両照明制御装置10は、ロービームの照射範囲外に存在する歩行者を検知して、歩行者が存在する範囲へマーキングライト35により光を照射する。これにより、ロービームのみ使用している状況では認知することのできなかった遠方の対象物をドライバーが認知することが可能になる。
また、歩行者は、マーキングライト35により光が照射されることにより、ドライバーが存在に気が付いているという安心感を得ることができる。
歩行者の顔よりも低い位置に光を照射するといった制御をすることも考えられる。これにより、歩行者を眩惑しないようにすることができる。
<変形例1>
実施の形態1では、制御実行部48は、歩行者がロービームの照射範囲に入った場合には、マーキングライト35による光の照射を止めた。しかし、制御実行部48は、歩行者がロービームの照射範囲に入った場合には、マーキングライト35による光の強度を低くしてもよい。これにより、ドライバーがマーキングライト35の光に惑わされることを防止しつつ、歩行者がいる位置をドライバーが認識し易くすることが可能になる。
実施の形態1では、マーキングライト35の方向を制御するために水平ドライバー37及び垂直ドライバー38のハードウェアを用いた。しかし、制御実行部48がソフトウェアによりマーキングライト35の方向を制御してもよい。
実施の形態2は、可視光カメラ32に代えて、レーザースキャナーといった測距センサー321を用いる点が実施の形態1と異なる。実施の形態2では、この異なる点を説明し、同一の点については説明を省略する。
図10を参照して、実施の形態2に係る車両照明制御装置10の構成を説明する。
車両100には、可視光カメラ32に代えて、測距センサー321が搭載される点と、検知部21が第3パラメータ記憶部241と第4パラメータ記憶部242とを備える点とが図1に示す構成と異なる。
測距センサー321は、レーザーを用いて測距し、測距データを出力するセンサーである。測距センサー321は、具体例としては、LiDAR(Light Detection and Ranging)といったレーザースキャナーである。実施の形態2では、測距センサー321は、車両100の周囲にレーザーを照射し、反射点で反射した光を受信して反射点までの距離を計算し、計算された反射点までの距離を示す測距データを出力するとする。
ライト制御部22は、画素ベース予測部41と、第1角度算出部42と、第1パラメータ記憶部421とを備えていない点と、第5パラメータ記憶部461を備えている点とが図2に示す構成と異なる。
図12から図15を参照して、実施の形態2に係る車両照明制御装置10の動作を説明する。
実施の形態2に係る車両照明制御装置10の動作は、実施の形態2に係る車両照明制御方法に相当する。また、実施の形態2に係る車両照明制御装置10の動作は、実施の形態2に係る車両照明制御プログラムの処理に相当する。
図12に示すように、測距センサー座標系80は、レーザーの0度の照射方向をZL軸とし、左手系を用いてXL軸及びYL軸が定義される。ある時刻T=tにおける測距センサー座標系80での歩行者の座標は、(xLp(t),yLp(t),zLp(t))と表される。また、ある時刻T=tにおける測距センサー座標系80での車両100の座標は、(xLc(t),wLc(t),zLc(t))と表される。
ステップS11の処理は、図6のステップS1の処理と同じである。ステップS13Bは、図6のステップS5Bと同じである。ステップS14A及びステップS14Bは、図6のステップS6A及びステップS6Bと同じである。
第2検知部24は、測距センサー231から出力された測距データにより、車両100が有するロービームの照射範囲外に存在する対象物である歩行者までの距離を測定する。
ここで、第2検知部24は、遠赤外線カメラ31における画像座標系50の任意の座標(u,v)に対し、測距センサー231の照射方向(α(u,v)、β(u,v))をテーブルとして第3パラメータ記憶部241に記憶しておく。そして、第2検知部24は、ステップS1で出力された画素位置53(Utl,Vtl)と、右下の画素位置54(Ubr,Vbr)とのそれぞれに対応する測距センサー231の照射方向(α(u,v)、β(u,v))を第3パラメータ記憶部241に記憶されたテーブルを引いて特定する。
第3パラメータ記憶部241は、1<=u<=U及び1<=v<=Vの全画素位置について照射方向(α(u,v)、β(u,v))がテーブルとして記憶されていてもよい。しかし、例えば、一定の間隔の画素位置について照射方向(α(u,v)、β(u,v))がテーブルとして記憶されていてもよい。一定の間隔の画素位置について照射方向(α(u,v)、β(u,v))が記憶されている場合には、記憶されていない画素位置については、記憶されている画素位置についての照射方向(α(u,v)、β(u,v))から線形補間を行い計算すればよい。テーブルの作成方法については特に限定するものではない。
そして、第2検知部24は、抽出された測距データからレーザーの反射強度が強い位置を特定する。第2検知部24は、特定された位置までの距離と、特定された位置に対するレーザーの照射角度とから、歩行者の座標(xLp(t),yLp(t),zLp(t))を特定する。なお、抽出された測距データから歩行者の座標を特定する方法については、特に限定されない。例えば、複数の測距データを平均値で置き換えた上で、歩行者の座標を特定するようにしてもよい。
ここで、第2検知部24は、車両座標系60の歩行者の座標(xwp(t),ywp(t),zwp(t))と測距センサー座標系80の歩行者の座標(xLp(t),yLp(t),zLp(t))との変換のためのキャリブレーションパラメータを予め計測して、第4パラメータ記憶部242に記憶しておく。このキャリブレーションパラメータは、2つの座標間での回転(r11,r12,r13,r21,r22,r23,r31,r32,r33)と、並進(t1,t2,t3)とで表される。そして、第2検知部24は、[xwp(t);ywp(t);zwp(t);1]=[r11 r12 r13 t1;r21 r22 r23 t2;r31 r32 r33 t3;0 0 0 1]×[xLp(t);yLp(t);zLp(t);1]を計算することにより、測距センサー座標系80の歩行者の座標を車両座標系60の歩行者の座標(xwp(t),ywp(t),zwp(t))に変換する。
図6のステップS5Aと同様に、ライト制御部22の車両ベース予測部43は、ステップS12で出力された歩行者の座標値に基づき、ある時間後の歩行者の移動先の座標値を予測する。
ライト制御部22のロービーム検出部46は、歩行者がロービームの照射範囲に入ったか否かを判定する。
具体的には、ロービーム検出部46は、車両座標系60においてロービームが届く範囲を第5パラメータ記憶部461に記憶しておく。例えば、図15のような範囲でロービームが照射されるとする。この場合には、第5パラメータ記憶部461には、Zw軸1.0m毎のXw軸の最大値と最小値が、ロービームの照射範囲として記憶される。ロービーム検出部46は、第5パラメータ記憶部461に記憶されたロービームが届く範囲と、直近に実行されたステップS12で出力された歩行者の座標(xwp(t),ywp(t),zwp(t))とを比較することにより、歩行者がロービームの照射範囲に入ったか否かを判定する。
制御実行部48は、ステップS14Aで計算された水平角度θ及び垂直角度φと、ステップS14Bで判定された結果と、ステップS14Cで判定された結果とに基づき、マーキングライト35を制御する。
具体的な制御は、図6のステップS7の制御と同じである。
以上のように、実施の形態1に係る車両照明制御装置10は、測距センサー321を用いて、ロービームの照射範囲外に存在する歩行者の位置を特定して、歩行者が存在する範囲へマーキングライト35により光を照射する。これにより、ロービームのみ使用している状況では認知することのできなかった遠方の対象物をドライバーが認知することが可能になる。
特に、実施の形態1では、マーキングライト35により光を照射した上で、可視光カメラ32により歩行者を検知して、歩行者の位置を特定した。これに比べて、実施の形態2では、マーキングライト35により光を照射することなく、歩行者の位置を特定することができる。そのため、実施の形態1と比べて単純な処理により、実施の形態1と同様の効果を奏することができる。
Claims (9)
- 遠赤外線カメラにより車両が有するロービームの照射範囲外に存在する対象物を検知する第1検知部と、
前記ロービームよりも遠方まで照射可能なマーキングライトにより、前記第1検知部によって検知された前記対象物が存在する範囲を照射するライト制御部と、
可視光カメラにより前記マーキングライトにより照射された範囲に存在する前記対象物の位置を検知する第2検知部と
を備え、
前記ライト制御部は、前記第2検知部によって前記対象物の位置が検知されると、前記マーキングライトにより、前記第2検知部によって検知された前記対象物の位置を照射する車両照明制御装置。 - 前記ライト制御部は、前記対象物が前記ロービームの照射範囲に入った場合には、前記マーキングライトによる照射を止める
請求項1に記載の車両照明制御装置。 - 前記ライト制御部は、前記対象物が前記ロービームの照射範囲に入った場合には、前記マーキングライトによる照射の強度を低くする
請求項1に記載の車両照明制御装置。 - 前記ライト制御部は、前記車両と前記対象物との間の距離に応じて、前記マーキングライトにより照射する光の色と、前記マーキングライトにより照射する光の強度との少なくともいずれかを変える
請求項1から3までのいずれか1項に記載の車両照明制御装置。 - 前記ライト制御部は、前記第2検知部により検知された前記対象物の位置と、前記車両の位置とから、前記車両と前記対象物との間の距離を特定する
請求項3に記載の車両照明制御装置。 - 前記ライト制御部は、前記車両と前記対象物とが衝突する可能性がある衝突位置を予測し、前記マーキングライトにより前記衝突位置を照射する
請求項1から5までのいずれか1項に記載の車両照明制御装置。 - 前記車両照明制御装置は、さらに、
前記遠赤外線カメラによって得られる画像の水平方向の画素位置に対する前記マーキングライトの水平方向の照射方向を記憶したパラメータ記憶部
を備え、
前記ライト制御部は、前記パラメータ記憶部を参照して、前記第1検知部により検出された前記対象物が存在する範囲を特定し、特定された範囲を前記マーキングライトにより照射する
請求項1から6までのいずれか1項に記載の車両照明制御装置。 - 第1検知部が、遠赤外線カメラにより車両が有するロービームの照射範囲外に存在する対象物を検知し、
ライト制御部が、前記ロービームよりも遠方まで照射可能なマーキングライトにより、検知された前記対象物が存在する範囲を照射し、
第2検知部が、可視光カメラにより前記マーキングライトにより照射された範囲に存在する前記対象物の位置を検知し、
前記ライト制御部が、前記第2検知部によって前記対象物の位置が検知されると、前記マーキングライトにより、前記第2検知部によって検知された前記対象物の位置を照射する
車両照明制御方法。 - 遠赤外線カメラにより車両が有するロービームの照射範囲外に存在する対象物を検知する第1検知処理と、
前記ロービームよりも遠方まで照射可能なマーキングライトにより、前記第1検知処理によって検知された前記対象物が存在する範囲を照射するライト制御処理と、
可視光カメラにより前記マーキングライトにより照射された範囲に存在する前記対象物の位置を検知する第2検知処理と
をコンピュータに実行させ、
前記ライト制御処理では、前記第2検知処理によって前記対象物の位置が検知されると、前記マーキングライトにより、前記第2検知処理によって検知された前記対象物の位置を照射する車両照明制御プログラム。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2018/013136 WO2019186863A1 (ja) | 2018-03-29 | 2018-03-29 | 車両照明制御装置、車両照明制御方法及び車両照明制御プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP6526351B1 true JP6526351B1 (ja) | 2019-06-05 |
JPWO2019186863A1 JPWO2019186863A1 (ja) | 2020-04-30 |
Family
ID=66730742
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018548941A Active JP6526351B1 (ja) | 2018-03-29 | 2018-03-29 | 車両照明制御装置、車両照明制御方法及び車両照明制御プログラム |
Country Status (5)
Country | Link |
---|---|
US (1) | US11117511B2 (ja) |
JP (1) | JP6526351B1 (ja) |
CN (1) | CN111902314B (ja) |
DE (1) | DE112018007189B4 (ja) |
WO (1) | WO2019186863A1 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2021092979A (ja) * | 2019-12-10 | 2021-06-17 | 本田技研工業株式会社 | 自動運転車用情報提示装置 |
US11509833B2 (en) | 2021-03-04 | 2022-11-22 | Ford Global Technologies, Llc | Illumination control for vehicle sensors |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000318513A (ja) * | 1999-05-17 | 2000-11-21 | Mitsubishi Electric Corp | 車両用障害物検出装置 |
JP2008181711A (ja) * | 2007-01-23 | 2008-08-07 | Matsushita Electric Ind Co Ltd | 暗視撮像装置、ヘッドライトモジュール、車両及び暗視撮像装置の制御方法 |
JP2008230333A (ja) * | 2007-03-19 | 2008-10-02 | Mazda Motor Corp | 車両の運転支援装置 |
JP2009018726A (ja) * | 2007-07-12 | 2009-01-29 | Koito Mfg Co Ltd | 車両用照明装置 |
JP2010018165A (ja) * | 2008-07-10 | 2010-01-28 | Panasonic Corp | 車両用照明装置及び照明方法 |
WO2012164729A1 (ja) * | 2011-06-02 | 2012-12-06 | トヨタ自動車株式会社 | 車両用視界支援装置 |
JP2013184614A (ja) * | 2012-03-08 | 2013-09-19 | Toyota Motor Corp | 多光式ヘッドライト |
JP2017165178A (ja) * | 2016-03-15 | 2017-09-21 | トヨタ自動車株式会社 | 車両用照明装置 |
JP6288208B1 (ja) * | 2016-10-24 | 2018-03-07 | マツダ株式会社 | 車両用ヘッドライト制御装置 |
Family Cites Families (22)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2004013654A1 (en) * | 2002-08-05 | 2004-02-12 | Elbit Systems Ltd. | Vehicle mounted night vision imaging system and method |
JP4437712B2 (ja) | 2004-07-07 | 2010-03-24 | 株式会社小糸製作所 | 車両用照明システム |
JP2006264416A (ja) * | 2005-03-22 | 2006-10-05 | Takata Corp | 対象物検知システム、保護システム、車両 |
JP2007030739A (ja) | 2005-07-28 | 2007-02-08 | Fujitsu Ten Ltd | 車載灯具制御装置および車載灯具制御方法 |
JP2007099235A (ja) | 2005-10-07 | 2007-04-19 | Nissan Motor Co Ltd | 切り替え制御システム |
JP4835374B2 (ja) | 2006-10-19 | 2011-12-14 | トヨタ自動車株式会社 | 車両用照明装置 |
JP2012151058A (ja) | 2011-01-21 | 2012-08-09 | Koito Mfg Co Ltd | シェード駆動ユニット |
JP5370413B2 (ja) | 2011-06-06 | 2013-12-18 | 株式会社デンソー | 認識対象検出装置 |
JP5907407B2 (ja) | 2011-12-05 | 2016-04-26 | スタンレー電気株式会社 | 車両用前照灯 |
JP5696701B2 (ja) * | 2012-08-31 | 2015-04-08 | 株式会社デンソー | 対歩行者報知装置 |
CN103692993A (zh) * | 2012-09-27 | 2014-04-02 | 中国航天科工集团第二研究院二O七所 | 一种双目远红外智能辅助安全驾驶*** |
JP2015033939A (ja) | 2013-08-09 | 2015-02-19 | スタンレー電気株式会社 | 車両用前照灯の点灯制御装置、車両用前照灯システム |
JP2016110853A (ja) | 2014-12-08 | 2016-06-20 | 株式会社小糸製作所 | 車両用前照灯 |
JP2017021546A (ja) * | 2015-07-10 | 2017-01-26 | 田山 修一 | 車輌用画像表示システム及び方法 |
JP6447545B2 (ja) * | 2016-03-11 | 2019-01-09 | トヨタ自動車株式会社 | 車両用照明装置 |
US9771021B1 (en) * | 2016-05-03 | 2017-09-26 | Toyota Motor Engineering & Manufacturing North America, Inc. | Pedestrian marking systems |
JP6868805B2 (ja) * | 2016-06-07 | 2021-05-12 | パナソニックIpマネジメント株式会社 | 画像生成装置、画像生成方法、およびプログラム |
JP6311768B1 (ja) * | 2016-10-24 | 2018-04-18 | マツダ株式会社 | 車両用ヘッドライト制御装置 |
JP2019055756A (ja) * | 2017-09-22 | 2019-04-11 | トヨタ自動車株式会社 | 車両用認知支援装置 |
JP6930350B2 (ja) * | 2017-10-02 | 2021-09-01 | トヨタ自動車株式会社 | 車両用認知支援装置 |
JP7188397B2 (ja) * | 2017-12-04 | 2022-12-13 | ソニーグループ株式会社 | 画像処理装置及び画像処理方法 |
CN111902315B (zh) * | 2018-03-29 | 2023-04-28 | 三菱电机株式会社 | 车辆照明控制装置、车辆照明控制方法和计算机能读取的存储介质 |
-
2018
- 2018-03-29 JP JP2018548941A patent/JP6526351B1/ja active Active
- 2018-03-29 WO PCT/JP2018/013136 patent/WO2019186863A1/ja active Application Filing
- 2018-03-29 CN CN201880091600.XA patent/CN111902314B/zh active Active
- 2018-03-29 US US16/970,665 patent/US11117511B2/en active Active
- 2018-03-29 DE DE112018007189.8T patent/DE112018007189B4/de active Active
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000318513A (ja) * | 1999-05-17 | 2000-11-21 | Mitsubishi Electric Corp | 車両用障害物検出装置 |
JP2008181711A (ja) * | 2007-01-23 | 2008-08-07 | Matsushita Electric Ind Co Ltd | 暗視撮像装置、ヘッドライトモジュール、車両及び暗視撮像装置の制御方法 |
JP2008230333A (ja) * | 2007-03-19 | 2008-10-02 | Mazda Motor Corp | 車両の運転支援装置 |
JP2009018726A (ja) * | 2007-07-12 | 2009-01-29 | Koito Mfg Co Ltd | 車両用照明装置 |
JP2010018165A (ja) * | 2008-07-10 | 2010-01-28 | Panasonic Corp | 車両用照明装置及び照明方法 |
WO2012164729A1 (ja) * | 2011-06-02 | 2012-12-06 | トヨタ自動車株式会社 | 車両用視界支援装置 |
JP2013184614A (ja) * | 2012-03-08 | 2013-09-19 | Toyota Motor Corp | 多光式ヘッドライト |
JP2017165178A (ja) * | 2016-03-15 | 2017-09-21 | トヨタ自動車株式会社 | 車両用照明装置 |
JP6288208B1 (ja) * | 2016-10-24 | 2018-03-07 | マツダ株式会社 | 車両用ヘッドライト制御装置 |
Also Published As
Publication number | Publication date |
---|---|
US11117511B2 (en) | 2021-09-14 |
JPWO2019186863A1 (ja) | 2020-04-30 |
US20200377007A1 (en) | 2020-12-03 |
DE112018007189T5 (de) | 2020-12-10 |
DE112018007189B4 (de) | 2024-06-20 |
CN111902314B (zh) | 2023-09-08 |
WO2019186863A1 (ja) | 2019-10-03 |
CN111902314A (zh) | 2020-11-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10614326B2 (en) | System and method for vehicle control based on object and color detection | |
JP6526350B1 (ja) | 車両照明制御装置、車両照明制御方法及び車両照明制御プログラム | |
US10380438B2 (en) | System and method for vehicle control based on red color and green color detection | |
JP6185970B2 (ja) | 車両の後方側面に隣接する物体を検出する方法 | |
JP6175430B2 (ja) | 車両の周辺区域にある物体を認識する方法および装置 | |
US9707885B2 (en) | Motor vehicle with driver's gaze controlled headlamp and method | |
JP6551283B2 (ja) | 車両制御装置、車両制御方法 | |
JP6459659B2 (ja) | 画像処理装置、画像処理方法、運転支援システム、プログラム | |
JP6597350B2 (ja) | 車両用撮像システム | |
EP2214121B1 (en) | Safety system for a motor vehicle | |
JP6526351B1 (ja) | 車両照明制御装置、車両照明制御方法及び車両照明制御プログラム | |
US20200031276A1 (en) | Rear-side alarm device and rear-side alarm method thereof | |
JP5760635B2 (ja) | 走行支援装置 | |
US11919462B2 (en) | Vehicle occupant monitoring apparatus and vehicle occupant protecting system | |
US11066005B2 (en) | System and method for providing dynamic high beam control | |
JP5859897B2 (ja) | 車載カメラ装置 | |
JP2014101068A (ja) | 誤検知判定装置および車両制御システム | |
JP7020359B2 (ja) | 警告装置 | |
US20230136684A1 (en) | Person movement type determination method, person movement type determination device, and storage medium | |
JP6720683B2 (ja) | 車両用表示装置および車両用表示方法 | |
CN117152721A (zh) | 座椅定位推测装置、座椅定位推测方法以及座椅定位推测用计算机程序 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180914 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180914 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20180914 |
|
A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20181105 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20181113 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190104 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190409 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190507 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6526351 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |