JP7047730B2 - Display control device and display control program - Google Patents
Display control device and display control program Download PDFInfo
- Publication number
- JP7047730B2 JP7047730B2 JP2018226710A JP2018226710A JP7047730B2 JP 7047730 B2 JP7047730 B2 JP 7047730B2 JP 2018226710 A JP2018226710 A JP 2018226710A JP 2018226710 A JP2018226710 A JP 2018226710A JP 7047730 B2 JP7047730 B2 JP 7047730B2
- Authority
- JP
- Japan
- Prior art keywords
- memory
- correction
- image
- input image
- display control
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012937 correction Methods 0.000 claims description 196
- 230000015654 memory Effects 0.000 claims description 189
- 238000004364 calculation method Methods 0.000 claims description 59
- 238000012545 processing Methods 0.000 claims description 55
- 238000000034 method Methods 0.000 claims description 24
- 230000008569 process Effects 0.000 claims description 21
- 230000006870 function Effects 0.000 claims description 19
- 230000008859 change Effects 0.000 claims description 7
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 claims description 5
- 238000012986 modification Methods 0.000 description 25
- 230000004048 modification Effects 0.000 description 25
- 238000003702 image correction Methods 0.000 description 11
- 238000005259 measurement Methods 0.000 description 8
- 230000003287 optical effect Effects 0.000 description 7
- 230000001133 acceleration Effects 0.000 description 4
- 238000004590 computer program Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000005401 electroluminescence Methods 0.000 description 3
- 230000003936 working memory Effects 0.000 description 3
- 206010034719 Personality change Diseases 0.000 description 2
- 230000003190 augmentative effect Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 238000004891 communication Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 238000009429 electrical wiring Methods 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 229910052751 metal Inorganic materials 0.000 description 1
- 229910052710 silicon Inorganic materials 0.000 description 1
- 239000010703 silicon Substances 0.000 description 1
- 230000007480 spreading Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
- 238000002834 transmittance Methods 0.000 description 1
Images
Landscapes
- Instrument Panels (AREA)
- Controls And Circuits For Display Device (AREA)
Description
この明細書による開示は、虚像の表示を制御する表示制御装置及び表示制御プログラムに関する。 The disclosure according to this specification relates to a display control device and a display control program for controlling the display of a virtual image.
従来、例えば特許文献１には、車両の進行方向を示す矢印の虚像を、車両前方の路面上に重畳表示させる虚像生成システムが開示されている。この虚像生成システムのナビゲーションＥＣＵは、車両にピッチ変化が生じても、路面上への虚像の重畳表示が維持されるように、映像の投影位置を車両のピッチ変化に合わせて補正する。ナビゲーションＥＣＵには、制御装置としてのＣＰＵ、及びＲＡＭ等のワーキングメモリが設けられている。
Conventionally, for example,
特許文献１のナビゲーションＥＣＵのＣＰＵは、虚像として表示される画像を、メモリから読み出しつつ、ピッチ変化に合わせた補正を行い、ヘッドアップディスプレイ（以下、「ＨＵＤ」）に出力していると推定される。こうした処理にて、ＣＰＵは、画像だけでなく、画像を補正するための補正情報も、一つのメモリから読み出す必要がある。そのため、路面上への虚像の重畳表示を維持すべく、上記の処理を継続した場合、ＣＰＵのメモリへのアクセスについて、遅延発生の虞が生じ得た。
It is presumed that the CPU of the navigation ECU of
本開示は、画像補正に関連するメモリへのアクセス遅延を抑制可能な表示制御装置及び表示制御プログラムの提供を目的とする。 An object of the present disclosure is to provide a display control device and a display control program capable of suppressing an access delay to a memory related to image correction.
上記目的を達成するため、開示された一つの態様は、車両（Ａ）において用いられ、車両の前景に重畳される虚像表示を制御する表示制御装置であって、虚像表示のために投影される出力画像（Ｐｏ）を、入力画像（Ｐｉ）の補正によって生成する補正演算部（６４）と、補正演算部によって読み出し可能に入力画像を記憶する第一メモリ（７１）及び第二メモリ（７２）と、を備え、第一メモリ及び第二メモリの両方は、入力画像を補正する補正演算に用いられる補正情報を、補正演算部によって読み出し可能に記憶しており、補正演算部は、第一メモリ及び第二メモリの一方から入力画像を読み出しつつ、第一メモリ及び第二メモリの他方から補正情報を読み出す表示制御装置とされる。 In order to achieve the above object, one disclosed aspect is a display control device used in the vehicle (A) that controls an imaginary image display superimposed on the foreground of the vehicle, and is projected for imaginary image display. A correction calculation unit (64) that generates an output image (Po) by correcting an input image (Pi), and a first memory (71) and a second memory (72) that store the input image readable by the correction calculation unit. And, both the first memory and the second memory readablely store the correction information used for the correction calculation for correcting the input image by the correction calculation unit, and the correction calculation unit is the first memory. It is a display control device that reads correction information from the other of the first memory and the second memory while reading the input image from one of the first memory and the second memory.
また開示された一つの態様は、車両（Ａ）において用いられ、車両の前景に重畳される虚像表示を制御する表示制御プログラムであって、少なくとも一つの処理部（６０）に、当該処理部と結合された第一メモリ（７１）及び第二メモリ（７２）の両方に補正情報を格納し（Ｓ１０１）、第一メモリ及び第二メモリの一方に入力画像（Ｐｉ）を書き込み（Ｓ１０３，Ｓ１１０）、第一メモリ及び第二メモリの一方から書き込まれた入力画像を読み出しつつ、第一メモリ及び第二メモリの他方から補正情報を読み出し（Ｓ１０７，Ｓ１１４）、補正情報を用いて入力画像を補正する補正演算により、虚像表示のために投影される出力画像（Ｐｏ）を生成する（Ｓ１０８，Ｓ１１５）、ことを含む処理を実行させる表示制御プログラム。 Further, one disclosed aspect is a display control program used in the vehicle (A) to control a virtual image display superimposed on the foreground of the vehicle, and at least one processing unit (60) is provided with the processing unit. Correction information is stored in both the combined first memory (71) and second memory (72) (S101), and an input image (Pi) is written in one of the first memory and the second memory (S103, S110). , While reading the input image written from one of the first memory and the second memory, the correction information is read from the other of the first memory and the second memory (S107, S114), and the input image is corrected using the correction information. A display control program for executing a process including generating an output image (Po) projected for virtual image display (S108, S115) by a correction calculation.
これらの態様では、第一メモリ及び第二メモリのそれぞれに、補正演算に用いられる補正情報が記憶されている。故に、補正演算部又はプロセッサは、第一メモリ及び第二メモリの両方を活用し、入力画像の読み出しを実施しできるうえに、入力画像を読み出していない他方のメモリから補正情報を読み出すことができる。こうした読み出し処理の分散によれば、画像補正に関連したメモリへのアクセス遅延が、抑制可能になる。 In these aspects, the correction information used for the correction calculation is stored in each of the first memory and the second memory. Therefore, the correction calculation unit or the processor can utilize both the first memory and the second memory to read the input image, and can also read the correction information from the other memory that has not read the input image. .. Due to the distribution of the read processing, the delay in accessing the memory related to the image correction can be suppressed.
加えて、開示された一つの態様は、車両（Ａ）において用いられ、車両の前景に重畳される虚像表示を制御する表示制御装置であって、虚像表示のために投影される出力画像（Ｐｏ）を、入力画像（Ｐｉ）の補正によって生成する補正演算部（６４）と、入力画像及び入力画像の補正演算に用いられる補正情報を、補正演算部によって読み出し可能に記憶するメモリ（２７０）と、を備え、補正情報は、出力画像における画素の位置を示した補正後座標と、補正後座標の画素に割り当てられる入力画像の画素の位置を示した補正前座標と、補正前座標から連続して読み出す画素の数を示したバースト長と、を含む表示制御装置とされる。 In addition, one disclosed embodiment is a display control device used in the vehicle (A) that controls a virtual image display superimposed on the foreground of the vehicle, and is an output image (Po) projected for the virtual image display. ) With the correction calculation unit (64) generated by the correction of the input image (Pi), and the memory (270) that readablely stores the correction information used for the correction calculation of the input image and the input image by the correction calculation unit. , And the correction information is continuous from the corrected coordinates indicating the positions of the pixels in the output image, the pre-corrected coordinates indicating the positions of the pixels of the input image assigned to the pixels of the corrected coordinates, and the pre-corrected coordinates. It is a display control device including a burst length indicating the number of pixels to be read out.
また開示された一つの態様は、車両（Ａ）において用いられ、車両の前景に重畳される虚像表示を制御する表示制御プログラムであって、少なくとも一つの処理部（６０）に、当該処理部と結合されたメモリ（２７０）に補正情報を格納し（Ｓ１０１）、メモリに書き込まれた入力画像（Ｐｉ）と、補正情報とを読み出し（Ｓ１０７，Ｓ１１４）、補正情報を用いて入力画像を補正する補正演算により、虚像表示のために投影される出力画像（Ｐｏ）を生成する（Ｓ１０８，Ｓ１１５）、ことを含む処理を実行させ、メモリには、出力画像における画素の位置を示した補正後座標と、補正後座標の画素に割り当てられる入力画像の画素の位置を示した補正前座標と、補正前座標から連続して読み出す画素の数を示したバースト長と、を含む補正情報が準備される表示制御プログラム。 Further, one disclosed aspect is a display control program used in the vehicle (A) to control a virtual image display superimposed on the foreground of the vehicle, and at least one processing unit (60) is provided with the processing unit. The correction information is stored in the combined memory (270) (S101), the input image (Pi) written in the memory and the correction information are read out (S107, S114), and the input image is corrected using the correction information. A process including generating an output image (Po) projected for displaying a virtual image (S108, S115) by a correction calculation is executed, and the memory has corrected coordinates indicating the positions of pixels in the output image. Correction information including the pre-correction coordinates indicating the positions of the pixels of the input image assigned to the pixels of the post-correction coordinates and the burst length indicating the number of pixels continuously read from the pre-correction coordinates is prepared. Display control program.
これらの態様では、出力画像及び入力画像における画素位置の対応関係を規定する補正後座標及び補正前座標に加えて、補正前座標から連続して読み出す画素の数を示したバースト長が、補正情報に含まれている。こうしたデータ構成によれば、補正後座標及び補正前座標を、出力画像における各画素について個別に規定するよりも、補正情報のデータ量が少なくなる。以上のような補正情報の圧縮によれば、画像補正に関連したメモリへのアクセス遅延は、抑制され得る。 In these aspects, in addition to the post-correction coordinates and the pre-correction coordinates that define the correspondence between the pixel positions in the output image and the input image, the burst length indicating the number of pixels continuously read from the pre-correction coordinates is the correction information. Included in. According to such a data structure, the amount of correction information data is smaller than that the corrected coordinates and the pre-corrected coordinates are individually defined for each pixel in the output image. By compressing the correction information as described above, the delay in accessing the memory related to the image correction can be suppressed.
尚、上記括弧内の参照番号は、後述する実施形態における具体的な構成との対応関係の一例を示すものにすぎず、技術的範囲を何ら制限するものではない。 The reference numbers in parentheses are merely examples of the correspondence with the specific configuration in the embodiment described later, and do not limit the technical scope at all.
以下、本開示の複数の実施形態を図面に基づいて説明する。尚、各実施形態において対応する構成要素には同一の符号を付すことにより、重複する説明を省略する場合がある。各実施形態において構成の一部分のみを説明している場合、当該構成の他の部分については、先行して説明した他の実施形態の構成を適用することができる。また、各実施形態の説明において明示している構成の組み合わせばかりではなく、特に組み合わせに支障が生じなければ、明示していなくても複数の実施形態の構成同士を部分的に組み合わせることができる。そして、複数の実施形態及び変形例に記述された構成同士の明示されていない組み合わせも、以下の説明によって開示されているものとする。 Hereinafter, a plurality of embodiments of the present disclosure will be described with reference to the drawings. By assigning the same reference numerals to the corresponding components in each embodiment, duplicate description may be omitted. When only a part of the configuration is described in each embodiment, the configuration of the other embodiment described above can be applied to the other parts of the configuration. Further, not only the combination of the configurations specified in the description of each embodiment but also the configurations of a plurality of embodiments can be partially combined even if the combination is not specified. Further, an unspecified combination of the configurations described in the plurality of embodiments and modifications is also disclosed by the following description.
（第一実施形態）
図１に示す本開示の第一実施形態による表示制御装置の機能は、表示制御ＥＣＵ（Electronic Control Unit）１００に実装されている。表示制御ＥＣＵ１００は、描画ＥＣＵ３０及びＨＵＤ４０等と共に、車両Ａにおいて用いられる虚像表示システム１０を構成している。虚像表示システム１０は、車両Ａの前景に重畳される虚像Ｖｉを用いた表示により、車両Ａに関連する種々の情報を運転者に提示する。表示制御ＥＣＵ１００は、上述の描画ＥＣＵ３０及びＨＵＤ４０と電気的に接続されている。
(First Embodiment)
The function of the display control device according to the first embodiment of the present disclosure shown in FIG. 1 is implemented in the display control ECU (Electronic Control Unit) 100. The
描画ＥＣＵ３０は、複数の車載表示器と直接的又は間接的に接続されており、各車載表示器の表示を統合的に制御する。描画ＥＣＵ３０は、各車載表示器の表示内容を決定し、各車載表示器へ向けて映像データを逐次出力する。描画ＥＣＵ３０は、車載ネットワークの通信バス等と電気接続されており、映像データの生成に必要なデータを、車載ネットワークから取得する。描画ＥＣＵ３０は、車載ネットワーク等から取得した情報を用いて、虚像表示のための映像データを生成し、表示制御ＥＣＵ１００へ向けて逐次出力する。
The drawing ECU 30 is directly or indirectly connected to a plurality of vehicle-mounted displays, and controls the display of each vehicle-mounted display in an integrated manner. The drawing ECU 30 determines the display content of each in-vehicle display and sequentially outputs video data to each in-vehicle display. The drawing ECU 30 is electrically connected to a communication bus or the like of the vehicle-mounted network, and acquires data necessary for generating video data from the vehicle-mounted network. The drawing ECU 30 generates video data for displaying a virtual image using information acquired from an in-vehicle network or the like, and sequentially outputs the video data to the
ＨＵＤ４０は、ウィンドシールドＷＳの下方にて、インスツルメントパネルに設けられた収容空間に収容される車載表示器である。ＨＵＤ４０は、ウィンドシールドＷＳに規定された投影領域ＰＡへの光の投影により、運転者から視認可能に虚像Ｖｉを表示する。詳記すると、ＨＵＤ４０からウィンドシールドＷＳの投影領域ＰＡへ向けて射出された虚像Ｖｉの光は、投影領域ＰＡによってアイポイント側へ向けて反射され、運転者によって知覚される。運転者は、投影領域ＰＡを通して見える前景に、虚像Ｖｉが重畳された表示を視認する。ＨＵＤ４０は、例えばアイポイントから車両Ａの前方向に１０～２０ｍ程度の空間中に虚像Ｖｉを結像させる。
The
ＨＵＤ４０によって表示される虚像Ｖｉには、ＡＲ（Augmented Reality）表示物が含まれている。ＡＲ表示物は、拡張現実表示に用いられる虚像Ｖｉである。ＡＲ表示物として表示される虚像Ｖｉの表示位置は、投影領域ＰＡを通して視認される前景中の特定物体、例えば、前走車、歩行者及び路面等の重畳対象に関連付けられている。ＡＲ表示物としての虚像Ｖｉは、こうした重畳対象に相対固定されているように、重畳対象を追って、運転者の見た目上で移動する。そのため、車両Ａの姿勢が変化した場合でも、虚像Ｖｉが重畳対象に重畳表示された状態は、維持される。一例として、走行すべき車線の範囲を示すバーチャルレーン表示等が、ＡＲ表示物として虚像表示される。尚、ＨＵＤ４０によって表示される虚像Ｖｉには、ＡＲ表示物だけでなく、非ＡＲ表示物が含まれていてもよい。非ＡＲ表示物は、特定の重畳対象には重畳されず、ウィンドシールドＷＳ等の車両構成に相対固定されているように表示される。
The virtual image Vi displayed by the
ＨＵＤ４０は、ＬＣＤ（Liquid Crystal Display）４１、バックライト４２及び反射光学系４３と、これらの光学要素を収容する筐体等によって構成されている。ＬＣＤ４１は、多数の画素が配列されてなる表示面を有している。ＬＣＤ４１は、各画素に設けられた赤色、緑色、及び青色等のサブ画素の光の透過率を増減させ、表示面に種々の画像をカラー表示する。ＬＣＤ４１の表示面には、出力映像データＶｄｏに基づく出力画像Ｐｏ（後述する）が連続的に表示される。バックライト４２は、ＬＣＤ４１を背面側から透過照明し、表示面に描画された出力画像Ｐｏを発光表示させる。反射光学系４３は、凸面鏡及び凹面鏡等の反射鏡を含む構成である。反射光学系４３は、ＬＣＤ４１から射出された出力画像Ｐｏの光を、反射によって広げつつ投影領域ＰＡに投影する。こうした投影により、出力画像Ｐｏを拡大させてなる虚像Ｖｉが表示される。尚、反射光学系４３には、例えば回折によって出力画像Ｐｏを拡大する回折光学素子（Diffractive Optical Element：ＤＯＥ）等が用いられてもよい。
The
表示制御ＥＣＵ１００は、描画ＥＣＵ３０及びＨＵＤ４０間にて映像データを中継し、ＨＵＤ４０による虚像Ｖｉの表示を制御する制御装置である。表示制御ＥＣＵ１００は、慣性センサ５１及び回路基板等によって構成されている。回路基板には、処理部６０、第一メモリ７１、第二メモリ７２、記憶部７４及び入出力インターフェース等が設けられている。回路基板に形成されたデータバス５０には、慣性センサ５１、第一メモリ７１、第二メモリ７２、記憶部７４及び処理部６０等が高速アクセス可能に接続されている。
The
慣性センサ５１は、車両Ａの姿勢変化を計測する計測部である。慣性センサ５１は、ジャイロセンサを主体に構成されており、車両Ａの姿勢変化のうちで、特にピッチ方向の角速度を計測する。慣性センサ５１は、例えば回路基板に固定されていてもよく、又は表示制御ＥＣＵ１００の金属筐体等に固定されていてもよい。慣性センサ５１には、ローパスフィルタ、ＡＤ変換部、及びハイパスフィルタ等が、ジャイロセンサの出力信号を処理する信号処理回路として設けられている。ローパスフィルタは、出力信号に含まれる高周波ノイズを除去する。ＡＤ変換部は、ローパスフィルタを通過したアナログ信号をデジタル信号に変換する。ハイパスフィルタは、出力信号に含まれるドリフト成分を除去する。慣性センサ５１は、信号処理回路を通過した出力信号を、車両Ａのピッチ方向の変位を示すピッチ計測情報として、データバス５０に逐次出力する。
The
第一メモリ７１及び第二メモリ７２は、例えばＤＤＲ（Dynamic Random Access Memory）２又はＤＤＲ３等の規格に準じたＳＤＲＡＭのメモリモジュールを主体に構成されている。第一メモリ７１及び第二メモリ７２は、互いに実質同一構成の揮発性メモリであり、容量及びアクセス速度等も実質同一となるように揃えられている。第一メモリ７１及び第二メモリ７２は、それぞれ個別にデータバス５０に接続されている。第一メモリ７１及び第二メモリ７２は、処理部６０と結合されて、処理部６０のワーキングメモリとして機能する。
The
第一メモリ７１及び第二メモリ７２は、互いに独立した状態で、処理部６０のワーキングメモリとして機能可能である。具体的には、第一メモリ７１及び第二メモリ７２は、物理的に独立したメモリ構成として、データバス５０に繋がる回路基板上のメモリスロットに組み付けられている。さらに、処理部６０は、第一メモリ７１へのアクセス期間中でも併行して第二メモリ７２にアクセス可能であり、同様に、第二メモリ７２へのアクセス期間中でも併行して第一メモリ７１にアクセス可能である。即ち、処理部６０は、第一メモリ７１及び第二メモリ７２のうちの一方のアクセスに制限されることなく、他方のメモリにもアクセス可能である。
The
記憶部７４は、ＲＯＭ又はフラッシュメモリ等の不揮発性の記憶媒体を主体に構成されている。記憶部７４は、データバス５０に接続されており、処理部６０に提供されるデータを保持している。記憶部７４には、処理部６０によって実行される種々のプログラムが格納されている。加えて記憶部７４には、虚像表示に必要とされる多数のパラメータが格納されている。こうしたパラメータの一つとして、後述する歪み補正テーブルＴＢｃが、記憶部７４には記憶されている。
The
処理部６０は、描画ＥＣＵ３０にて生成された映像データ（以下、「入力映像データＶｄｉ」）を加工し、ＨＵＤ４０へ向けて出力する出力映像データＶｄｏを生成する。処理部６０は、入力映像データＶｄｉの各フレームを構成する入力画像Ｐｉを補正し、出力映像データＶｄｏの各フレームとなる出力画像Ｐｏを描画する。
The
処理部６０は、第一メモリ７１及び第二メモリ７２へのアクセスを制御するメモリコントローラ等を含む構成である。処理部６０は、ＣＰＵ（Central Processing Unit）、ＦＰＧＡ（Field-Programmable Gate Array）及び他の専用機能を備えたＩＰコア等を組み合わせた構成とされている。処理部６０には、信号生成部６１、データ書込部６３及び補正演算部６４等が設けられている。
The
信号生成部６１は、出力映像データＶｄｏの受信側となるＬＣＤ４１に、各フレーム画像の読み出しタイミングを伝える同期信号を生成する。信号生成部６１は、少なくとも垂直同期信号（Vertical Synchronizing signal，図４ ＶＳＹＮＣ参照）を生成する。垂直同期信号は、出力画像Ｐｏと共に外部のＨＵＤ４０へ向けて出力される。垂直同期信号に基づき、ＬＣＤ４１は、一つの出力画像Ｐｏから次の出力画像Ｐｏへと、画面の書き換えを開始する。垂直同期信号にて、一つのフレーム（出力画像Ｐｏ）に割り当てられたオン期間には、ブランキング期間Ｔｂと画面表示期間Ｔｄとが含まれている。ブランキング期間Ｔｂは、映像が表示されない期間であり、画面表示期間Ｔｄの前後に設定されている。一方、画面表示期間Ｔｄは、映像が表示される期間である。
The
データ書込部６３は、第一メモリ７１及び第二メモリ７２のそれぞれに、データを書き込む処理を実行する。データ書込部６３は、表示制御ＥＣＵ１００の起動直後、虚像Ｖｉの表示が開始される前に、記憶部７４に格納された補正情報としての歪み補正テーブルＴＢｃを読み出し、第一メモリ７１及び第二メモリ７２の両方に、歪み補正テーブルＴＢｃを書き込む。第一メモリ７１及び第二メモリ７２は、表示制御ＥＣＵ１００への給電が停止されるまで、歪み補正テーブルＴＢｃのデータを消去することなく保持し続ける。
The
データ書込部６３は、描画ＥＣＵ３０から表示制御ＥＣＵ１００への入力映像データＶｄｉの出力が開始されると、伝送される入力映像データＶｄｉを受信する。データ書込部６３は、取得した入力映像データＶｄｉにて連続する個々のフレーム画像を、入力画像Ｐｉとして第一メモリ７１及び第二メモリ７２に書き込む処理を実施する。データ書込部６３は、歪み補正テーブルＴＢｃの格納領域とは異なるアドレスに入力画像Ｐｉを書き込む。データ書込部６３は、第一メモリ７１及び第二メモリ７２に、入力画像Ｐｉを交互に書き込んでいく。例えばデータ書込部６３は、ｎ番目のフレームを第一メモリ７１に入力画像Ｐｉとして書き込んだ場合、ｎ＋１番目のフレームを第二メモリ７２に入力画像Ｐｉとして書き込む。以上のスイッチングにより、第一メモリ７１及び第二メモリ７２は、補正演算部６４によって読み出し可能に、異なる入力画像Ｐｉを記憶した状態となる。
The
補正演算部６４は、図１及び図２に示すように、入力画像Ｐｉの補正によって出力画像Ｐｏを生成する。補正演算部６４は、出力画像Ｐｏを生成に際して、第一メモリ７１及び第二メモリ７２の一方から入力画像Ｐｉを読み出しつつ、第一メモリ７１及び第二メモリ７２の他方から歪み補正テーブルＴＢｃを読み出す処理を実施する。補正演算部６４は、入力画像Ｐｉに対する補正として、ピッチ補正と歪み補正とを実施する。
As shown in FIGS. 1 and 2, the
ピッチ補正は、車両Ａの姿勢変化（ピッチング）に起因する重畳対象からの虚像Ｖｉの位置ずれを低減（相殺）させる補正である。ピッチ補正の対象は、車両Ａに生じるピッチ方向の振動のうちで、例えば０．５～２Ｈｚまでの周波数帯域の振動とされる。補正演算部６４は、入力画像Ｐｉの中で出力画像Ｐｏに使用する範囲（図２ 中間画像Ｐｍ）を、慣性センサ５１から取得するピッチ計測情報に基づき、決定する。具体的に、補正演算部６４は、ピッチ計測情報に基づき、車両Ａの姿勢変化のうちで、ピッチングに起因する姿勢補正量として、ピッチ補正量を算出する。ピッチ補正量は、ピッチ計測情報の示す車両ピッチ角が増えるほど、大きな値となる。補正演算部６４は、ピッチ補正量に基づき、入力画像Ｐｉのうちで出力画像Ｐｏに使用する中間画像Ｐｍの上下方向の位置を決定する。尚、中間画像Ｐｍのサイズ（例えば１２８０×４８０ピクセル）は、入力画像Ｐｉのサイズ（例えば１２８０×７２０ピクセル）よりも小さく、且つ、出力画像Ｐｏのサイズと同程度とされる。
The pitch correction is a correction that reduces (offsets) the positional deviation of the virtual image Vi from the superimposed object due to the posture change (pitching) of the vehicle A. The target of the pitch correction is, for example, the vibration in the frequency band from 0.5 to 2 Hz among the vibrations in the pitch direction generated in the vehicle A. The
歪み補正は、投影領域ＰＡ及び反射光学系４３での反射に起因する虚像Ｖｉの変形を考慮し、歪みを低減（相殺）させた状態で虚像Ｖｉが表示されるように、出力画像Ｐｏの形状を予め変形させておく補正である。歪み補正の補正演算には、補正情報としての歪み補正テーブルＴＢｃが用いられる。補正演算部６４は、中間画像Ｐｍ（入力画像Ｐｉ）における画素の二次元配列を、歪み補正テーブルＴＢｃに基づき並び替える処理により、中間画像Ｐｍを変形させてなる出力画像Ｐｏを生成する。
The distortion correction considers the deformation of the virtual image Vi due to the reflection in the projection region PA and the reflection
尚、実際の処理では、中間画像Ｐｍの生成は、省略される。即ち、補正演算部６４は、中間画像Ｐｍに相当する入力画像Ｐｉの範囲の画素を直接的に並び替えて、出力画像Ｐｏを直接的に生成できる。
In the actual processing, the generation of the intermediate image Pm is omitted. That is, the
以上の歪み補正にて使用される歪み補正テーブルＴＢｃは、図３に示すように、ＬＣＤ座標、元画像座標、及びバースト長を含む一組のデータセットを多数連続させてなるファイル構成である。ＬＣＤ座標は、補正後座標に相当し、出力画像Ｐｏにおける画素の位置を示す情報である。ＬＣＤ座標は、ＬＣＤ４１の画面上におけるＸ座標及びＹ座標を示す値である。元画像座標は、補正前座標に相当し、対応するデータセットのＬＣＤ座標の画素に割り当てられる入力画像Ｐｉの画素の位置を、Ｘ座標及びＹ座標によって示している。バースト長は、元画像座標から連続して読み出す画素の数を示している。
As shown in FIG. 3, the distortion correction table TBc used in the above distortion correction has a file structure in which a large number of sets of data sets including LCD coordinates, original image coordinates, and burst length are continuous. The LCD coordinates correspond to the corrected coordinates and are information indicating the positions of the pixels in the output image Po. The LCD coordinates are values indicating the X and Y coordinates on the screen of the
歪み補正テーブルＴＢｃの一組のデータセットにおける数値の並びは、＜ＬＣＤのＸ座標＞，＜ＬＣＤのＹ座標＞，＜元画像のＸ座標＞，＜元画像のＹ座標＞，＜バースト長＞の順とされている。最初（一行目）の数値群は、出力画像Ｐｏの最初の５１ピクセルは、（－１，－１）の無効ピクセル（黒背景）であることを示している。二つ目（二行目）の数値群は、出力画像Ｐｏの５１ピクセル目には、入力画像Ｐｉの（０，５０）の画素情報（階調値）を割り当てることを示している。三つ目（三行目）の数値群は、出力画像Ｐｏの５２ピクセル目には、入力画像Ｐｉの（０，４９）から５ピクセル分の画素情報を連続して割り当てることを示している。 The sequence of numerical values in a set of data sets of the distortion correction table TBc is <LCD X coordinate>, <LCD Y coordinate>, <original image X coordinate>, <original image Y coordinate>, <burst length>. It is said that the order is. The first (first row) numerical group indicates that the first 51 pixels of the output image Po are invalid pixels (black background) of (-1, -1). The second (second row) numerical group indicates that the pixel information (gradation value) of (0,50) of the input image Pi is assigned to the 51st pixel of the output image Po. The third (third row) numerical group indicates that pixel information for 5 pixels is continuously assigned to the 52nd pixel of the output image Po from (0,49) of the input image Pi.
尚、入力画像Ｐｉ及び出力画像Ｐｏにおける画素の並びは、一例として、左上が１ピクセル目の座標（０，０）とされており、右方向に行くに従い２ピクセル目、３ピクセル目・・・ｎピクセル目となる。そして、一つ下の行の左端の画素が、ｎ＋１ピクセル目となる。 As an example, the arrangement of pixels in the input image Pi and the output image Po has the coordinates (0,0) of the first pixel in the upper left, and the second pixel, the third pixel, and so on as it goes to the right. It is the nth pixel. Then, the leftmost pixel in the line below is the n + 1th pixel.
次に、処理部６０によって実施される画像補正処理の詳細を、図４及び図５に基づき、図１及び図２を参照しつつ、時系列に沿って説明する。こうした画像補正処理は、表示制御ＥＣＵ１００への電力供給の開始に基づき開始され、表示制御ＥＣＵ１００が停止されるまで継続される。
Next, the details of the image correction processing performed by the
表示制御ＥＣＵ１００の起動直後では、初期処理の一つとして、処理部６０は、記憶部７４から歪み補正テーブルＴＢｃを読み出し、第一メモリ７１及び第二メモリ７２の両方に、歪み補正テーブルＴＢｃを格納する処理を実施する（Ｓ１０１）。初期処理の終了後、処理部６０は、垂直同期信号のオンタイミングとなる時刻ｔ１を待機した状態となる（Ｓ１０２）。
Immediately after the
時刻ｔ１～ｔ４は、ｎフレーム目の出力画像Ｐｏが虚像表示される期間である。時刻ｔ１にて、データ書込部６３は、第一メモリ７１への入力画像Ｐｉの書き込みを開始する（Ｓ１０３）。この時刻ｔ１からの期間では、描画ＥＣＵ３０より取得する入力映像データＶｄｉの現在フレームが、ｎ＋１フレーム目の入力画像Ｐｉとして、第一メモリ７１に書き込まれる。こうした画像の書き込みは、シーケンシャルであるため、画像の読み出しと比べて高速に処理され得る。
Times t1 to t4 are periods during which the output image Po in the nth frame is displayed as a virtual image. At time t1, the
次に処理部６０は、ピッチ補正量の決定タイミングを待機し（Ｓ１０４）、ピッチ補正量を決定する演算を実施する（Ｓ１０５）。ピッチ補正量の決定タイミングは、画面表示期間Ｔｄの前側（直前）に設定されたブランキング期間Ｔｂの後半、且つ最後に設定されており、具体的には、ブランキング期間Ｔｂから画面表示期間Ｔｄに切り替わる時刻ｔ２の直前（所定時間前）とされている。補正演算部６４は、画面表示期間Ｔｄへの切り替わり時刻ｔ２直前にて慣性センサ５１により計測されたピッチ計測情報を用いて、ピッチ補正量を決定する。
Next, the
時刻ｔ２となると（Ｓ１０６）、補正演算部６４は、第二メモリ７２に記憶されているｎフレーム目の入力画像Ｐｉの読み出しを開始する。こうした処理に併行して、補正演算部６４は、第一メモリ７１からの歪み補正テーブルＴＢｃの読み出しを開始する（Ｓ１０７）。歪み補正テーブルＴＢｃは、入力画像Ｐｉの書き込み処理中である第一メモリ７１から読み出される。
At time t2 (S106), the
そして補正演算部６４は、直前に決定したピッチ補正量と、歪み補正テーブルＴＢｃとに従い、読み出した入力画像Ｐｉを逐次補正し、出力画像ＰｏとしてＨＵＤ４０に出力する（Ｓ１０８）。以上により、時刻ｔ２から時刻ｔ３の画面表示期間Ｔｄにて、ＬＣＤ４１の画面には、ｎフレーム目の出力画像Ｐｏが描画される。尚、表示制御ＥＣＵ１００の起動直後にて、入力画像Ｐｉが第二メモリ７２に記憶されていない場合には、出力画像Ｐｏの生成及び出力は、スキップされる。
Then, the
次の時刻ｔ４～ｔ７は、ｎ＋１フレーム目の出力画像Ｐｏが虚像表示される期間となる。垂直同期信号のオンタイミングとなる時刻ｔ４にて、データ書込部６３は、第二メモリ７２への入力画像Ｐｉの書き込みを開始する（Ｓ１０９，Ｓ１１０）。時刻ｔ４からの期間では、描画ＥＣＵ３０より取得する入力映像データＶｄｉの現在フレームが、ｎ＋２フレーム目の入力画像Ｐｉとして、第二メモリ７２に書き込まれる。その結果、第二メモリ７２に記憶されていたｎフレーム目の入力画像Ｐｉのデータは、ｎ＋２フレーム目の入力画像Ｐｉのデータによって上書きされる。
The next times t4 to t7 are periods during which the output image Po in the n + 1th frame is displayed as a virtual image. At time t4, which is the on-timing of the vertical synchronization signal, the
ピッチ補正量の決定タイミングとなる時刻ｔ５となると、補正演算部６４は、Ｓ１０５と同様に、最新のピッチ計測情報を用いてピッチ補正量を決定する（Ｓ１１１，Ｓ１１２）。そして、ブランキング期間Ｔｂから画面表示期間Ｔｄに切り替わる時刻ｔ５にて、補正演算部６４は、第一メモリ７１に記憶されているｎ＋１フレーム目の入力画像Ｐｉの読み出しを開始する（Ｓ１１３，Ｓ１１４）。さらに、補正演算部６４は、入力画像Ｐｉの読み出し開始と併行して、第二メモリ７２からの歪み補正テーブルＴＢｃの読み出しを開始する。この場合も、歪み補正テーブルＴＢｃは、入力画像Ｐｉの書き込み処理中である第二メモリ７２から読み出される。
At the time t5, which is the timing for determining the pitch correction amount, the
そして補正演算部６４は、Ｓ１０８と同様に、直前に決定したピッチ補正量と、歪み補正テーブルＴＢｃとに従い、読み出した入力画像Ｐｉを逐次補正し、出力画像ＰｏとしてＨＵＤ４０に出力する（Ｓ１１５）。以上により、時刻ｔ５から時刻ｔ６の画面表示期間Ｔｄにて、ＬＣＤ４１の画面には、ｎ＋１フレーム目の出力画像Ｐｏが描画される。時刻ｔ１～ｔ７の処理であって、Ｓ１０２～Ｓ１１５の処理の繰り返しにより、出力映像データＶｄｏに基づく虚像Ｖｉが表示される。
Then, the
ここまで説明した第一実施形態では、第一メモリ７１及び第二メモリ７２のそれぞれに、歪み補正テーブルＴＢｃが記憶されている。故に、補正演算部６４は、第一メモリ７１及び第二メモリ７２の両方を活用し、入力画像Ｐｉの読み出しを実施しできるうえに、入力画像Ｐｉを読み出していない他方のメモリから歪み補正テーブルＴＢｃを読み出すことができる。こうした読み出し処理の分散によれば、画像補正に関連したメモリへのアクセス遅延が、抑制可能になる。その結果、高性能なメモリ採用に起因するコストの上昇を抑えつつ、映像データのスループット及びレイテンシの良好な表示制御ＥＣＵ１００が提供できる。
In the first embodiment described so far, the strain correction table TBc is stored in each of the
加えて第一実施形態では、歪み補正テーブルＴＢｃが補正情報として用いられている。歪み補正テーブルＴＢｃは、出力画像Ｐｏ及び入力画像Ｐｉにおける画素位置の対応関係を規定するＬＣＤ座標及び元画像座標に加えて、元画像座標から連続して読み出す画素の数をバースト長によって規定している。こうした歪み補正テーブルＴＢｃのデータ構成によれば、出力画像Ｐｏにおける各画素について、ＬＣＤ座標及び元画像座標の対応関係を個別に規定するよりも、補正情報のデータ量は、少なくなる。さらに、入力画像Ｐｉの読み出しに際して、画素情報のバースト転送が実施され得る。以上のことから、バースト長を規定する歪み補正テーブルＴＢｃの採用によっても、画像補正に関連したメモリへのアクセス遅延は、抑制可能となる。 In addition, in the first embodiment, the distortion correction table TBc is used as correction information. The distortion correction table TBc defines the number of pixels continuously read from the original image coordinates by the burst length, in addition to the LCD coordinates and the original image coordinates that define the correspondence between the pixel positions in the output image Po and the input image Pi. There is. According to the data structure of the distortion correction table TBc, the amount of correction information data is smaller than that individually defining the correspondence between the LCD coordinates and the original image coordinates for each pixel in the output image Po. Further, burst transfer of pixel information may be performed when reading the input image Pi. From the above, the delay in accessing the memory related to the image correction can be suppressed even by adopting the distortion correction table TBc that defines the burst length.
また第一実施形態の補正演算部６４は、第一メモリ７１及び第二メモリ７２のうちで、入力画像Ｐｉが書き込まれている一方のメモリから、歪み補正テーブルＴＢｃを読み出す。換言すれば、歪み補正テーブルＴＢｃは、入力画像Ｐｉの読み出し中ではないメモリから、読み出される。以上のように、各メモリ７１，７２へのアクセス処理のうちで、入力画像Ｐｉを読み出す処理が、最も重い処理となる。そのため、歪み補正テーブルＴＢｃの読み出しは、入力画像Ｐｉを読み出しているメモリではなく、入力画像Ｐｉを書き込んでいるメモリから行うのが、遅延抑制に有効となる。
Further, the
さらに第一実施形態の補正演算部６４は、車両Ａのピッチングに起因するピッチ補正量を、垂直同期信号に設けられた前側のブランキング期間Ｔｂの後半（最後）において決定する。こうした決定タイミングの設定によれば、ピッチ補正量は、最新の車両姿勢を反映した値になり得る。以上によれば、メモリアクセスの遅延抑制効果と相俟って、出力画像Ｐｏに基づく虚像Ｖｉは、車両姿勢が変化しても、重畳対象に精度良く追従可能となる。
Further, the
尚、第一実施形態では、入力映像データＶｄｉが「映像データ」に相当し、データ書込部６３が「画像書込部」に相当し、表示制御ＥＣＵ１００が「表示制御装置」に相当する。
In the first embodiment, the input video data Vdi corresponds to "video data", the
（第二実施形態）
図６及び図７に示す第二実施形態は、第一実施形態の変形例である。第二実施形態の虚像表示システム２１０に採用される表示制御ＥＣＵ２００は、第一実施形態の二つのメモリ７１，７２（図１参照）に相当する構成として、一つのメモリ２７０を備えている。メモリ２７０には、第一実施形態と実質同一の歪み補正テーブルＴＢｃが格納されている。加えてメモリ２７０には、少なくとも二フレーム分の入力画像Ｐｉを一時記憶可能な記憶領域が確保されている。第二実施形態では、データ書込部６３によるメモリ２７０への書き込みアクセス、及び補正演算部６４によるメモリ２７０からの読み出しアクセスの各詳細が、第一実施形態とは異なっている。
(Second embodiment)
The second embodiment shown in FIGS. 6 and 7 is a modification of the first embodiment. The
データ書込部６３は、表示制御ＥＣＵ２００の起動直後、記憶部７４に格納された歪み補正テーブルＴＢｃを読み出し、メモリ２７０への書き込みを行う。加えてデータ書込部６３は、描画ＥＣＵ３０による入力映像データＶｄｉの出力が開始されると、入力映像データＶｄｉの各フレーム画像を、入力画像Ｐｉとしてメモリ２７０に書き込む処理を実施する。補正演算部６４は、垂直同意信号のオンタイミング（時刻ｔ１）にて、メモリ２７０への入力画像Ｐｉの書き込みを開始する。補正演算部６４は、メモリ２７０に確保された二つの記憶領域に、交互に入力画像Ｐｉを書き込んでいく。
Immediately after the
補正演算部６４は、第一実施形態と同様に、歪み補正テーブルＴＢｃを用いた入力画像Ｐｉの歪み補正を実施する。補正演算部６４は、ブランキング期間Ｔｂから画面表示期間Ｔｄに切り替わるタイミング（時刻ｔ２）にて、メモリ２７０に書き込まれた入力画像Ｐｉの読み出しと、メモリ２７０に準備された歪み補正テーブルＴＢｃの読み出しとを、実質同時に開始する。補正演算部６４は、一つのメモリ２７０からの入力画像Ｐｉ及び歪み補正テーブルＴＢｃの読み出しを、併行実施する。そして、逐次読み出す歪み補正テーブルＴＢｃのＬＣＤ座標、元画像座標及びバースト長の各値に基づき、入力画像Ｐｉを補正してなる出力画像Ｐｏを生成し、ＨＵＤ４０に逐次出力する。
The
ここまで説明した第二実施形態のように、一つのメモリ２７０を採用した表示制御ＥＣＵ２００であっても、歪み補正テーブルＴＢｃを補正情報として採用すれば、入力画像Ｐｉと併行してメモリ２７０から読み出す必要のあるデータ量が、削減され得る。以上によれば、第一実施形態と同様の効果を奏し、画像補正に関連したメモリへのアクセス遅延は、抑制可能となる。尚、第二実施形態では、表示制御ＥＣＵ２００が「表示制御装置」に相当する。
Even in the
（他の実施形態）
以上、本開示の複数の実施形態について説明したが、本開示は、上記実施形態に限定して解釈されるものではなく、本開示の要旨を逸脱しない範囲内において種々の実施形態及び組み合わせに適用することができる。
(Other embodiments)
Although the plurality of embodiments of the present disclosure have been described above, the present disclosure is not construed as being limited to the above embodiments, and is applied to various embodiments and combinations without departing from the gist of the present disclosure. can do.
上記第一実施形態の変形例１にて、補正演算部は、歪み補正テーブルＴＢｃ（図３参照）に替えて、補正関数を補正情報として歪み補正に用いる。変形例１では、第一メモリ及び第二メモリの両方に、補正関数が準備される。補正関数は、投影領域及び光学反射系の湾曲形状を考慮した多項式又は単項式として、予め規定されている。補正関数では、ＬＣＤ座標（Ｘ，Ｙ）が入力パラメータとされ、元画像座標（Ｘ，Ｙ）が出力パラメータとされている。補正演算部は、ＬＣＤ座標（Ｘ，Ｙ）を補正関数に順に代入する処理により、各ＬＣＤ座標に割り当てられる元画像座標（Ｘ，Ｙ）を特定する。 In the first modification of the first embodiment, the correction calculation unit uses the correction function as correction information for distortion correction instead of the distortion correction table TBc (see FIG. 3). In the first modification, the correction function is prepared in both the first memory and the second memory. The correction function is predetermined as a polynomial or a monomial in consideration of the projection region and the curved shape of the optical reflection system. In the correction function, the LCD coordinates (X, Y) are used as input parameters, and the original image coordinates (X, Y) are used as output parameters. The correction calculation unit specifies the original image coordinates (X, Y) assigned to each LCD coordinate by the process of sequentially substituting the LCD coordinates (X, Y) into the correction function.
また変形例２では、補正関数の入力パラメータに、視認者（運転者）のアイポイントの座標情報がさらに含まれている。表示制御ＥＣＵは、例えばドライバステータスモニタ等の検出情報を用いて、アイポイントの現在位置を特定する。補正演算部は、特定されたアイポイントの座標データを補正関数に適用し、現在のアイポイントに対応する補正関数を準備する。そして補正演算部は、アイポイント情報を適用された補正関数に、ＬＣＤ座標（Ｘ，Ｙ）を順に代入する処理により、各ＬＣＤ座標に割り当てられる元画像座標（Ｘ，Ｙ）を特定する。 Further, in the second modification, the input parameter of the correction function further includes the coordinate information of the eye point of the viewer (driver). The display control ECU identifies the current position of the eye point by using detection information such as a driver status monitor. The correction calculation unit applies the coordinate data of the specified eye point to the correction function, and prepares the correction function corresponding to the current eye point. Then, the correction calculation unit specifies the original image coordinates (X, Y) assigned to each LCD coordinate by the process of sequentially substituting the LCD coordinates (X, Y) into the correction function to which the eye point information is applied.
以上のような、変形例１，２では、各メモリの物理的なアクセス速度を引き上げなくても、入力画像及び補正情報の読み出しに要する時間が短縮され得る。その結果、上記実施形態と同様に、画像補正に関連したメモリアクセスの遅延抑制効果が発揮可能となる。 In the above modified examples 1 and 2, the time required for reading the input image and the correction information can be shortened without increasing the physical access speed of each memory. As a result, similarly to the above embodiment, the effect of suppressing the delay of memory access related to the image correction can be exhibited.
上記第一実施形態の変形例３にて、両メモリに準備される歪み補正テーブルは、バースト長を含まないデータ構成とされている。変形例３の歪み補正テーブルでは、出力画像における各画素について、ＬＣＤ座標及び元画像座標の対応関係が、個別に規定されている。 In the third modification of the first embodiment, the distortion correction table prepared in both memories has a data structure that does not include the burst length. In the distortion correction table of the third modification, the correspondence between the LCD coordinates and the original image coordinates is individually defined for each pixel in the output image.
上記実施形態における表示制御ＥＣＵは、他の車載構成と一体的な構成であってもよい。具体的に、上記実施形態の変形例４では、表示制御ＥＣＵは、ＨＵＤと一体的に構成されている。即ち、変形例４では、入力映像データを補正する機能が、ＨＵＤに実装されている。また上記実施形態の変形例５では、表示制御ＥＣＵは、描画ＥＣＵと一体的に構成されている。即ち、変形例５の描画ＥＣＵは、慣性センサにて計測された姿勢情報を用いて補正を行い、補正済みとされた出力映像データを、ＨＵＤへ向けて出力する。さらに上記実施形態の変形例６では、描画ＥＣＵ、表示制御ＥＣＵ及びＨＵＤの全機能が、一つの虚像表示ユニットに集約されている。
The display control ECU in the above embodiment may be integrated with other in-vehicle configurations. Specifically, in the
上記第一実施形態の変形例７における補正演算部は、二つのメモリのうちで、入力画像を読み出し中の一方から、補正情報を読み出す。上記実施形態の変形例８では、ピッチ補正量の決定タイミングが、垂直同期信号における前側のブランキング期間の前半に設定されている。
The correction calculation unit in the
表示制御ＥＣＵにて補正された出力映像データの各出力画像を、虚像として空中表示させるＨＵＤの具体的な投影構成は、適宜変更されてよい。例えば変形例９のＨＵＤには、ＬＣＤ及びバックライトに替えて、ＥＬ（Electro Luminescence）パネルが設けられている。さらに、ＥＬパネルに替えて、プラズマディスプレイパネル、ブラウン管及びＬＥＤ等の表示器を用いたプロジェクタがＨＵＤには採用可能である。 The specific projection configuration of the HUD for displaying each output image of the output video data corrected by the display control ECU in the air as a virtual image may be appropriately changed. For example, the HUD of Modification 9 is provided with an EL (Electro Luminescence) panel instead of the LCD and the backlight. Further, instead of the EL panel, a projector using a display such as a plasma display panel, a cathode ray tube and an LED can be adopted for the HUD.
また変形例１０のＨＵＤには、ＬＣＤ及びバックライトに替えて、レーザモジュール（以下「ＬＳＭ」）及びスクリーンが設けられている。ＬＳＭは、例えばレーザ光源及びＭＥＭＳ（Micro Electro Mechanical Systems）スキャナ等を含む構成である。スクリーンは、例えばマイクロミラーアレイ又はマイクロレンズアレイである。変形例１０のＨＵＤでは、ＬＳＭから照射されるレーザ光の走査により、スクリーンに出力画像が描画される。ＨＵＤは、スクリーンに投影された出力画像を反射光学系によって投影領域に投影し、虚像を空中表示させる。
Further, the HUD of the modified example 10 is provided with a laser module (hereinafter referred to as “LSM”) and a screen instead of the LCD and the backlight. The LSM includes, for example, a laser light source, a MEMS (Micro Electro Mechanical Systems) scanner, and the like. The screen is, for example, a micromirror array or a microlens array. In the HUD of the
また変形例１１のＨＵＤには、ＤＬＰ（Digital Light Processing，登録商標）プロジェクタが設けられている。ＤＬＰプロジェクタは、多数のマイクロミラーが設けられたデジタルミラーデバイス（以下、「ＤＭＤ」）と、ＤＭＤに向けて光を投射する投射光源とを有している。ＤＬＰプロジェクタは、ＤＭＤ及び投射光源を連携させた制御により、出力画像をスクリーンに描画する。さらに、変形例１２のＨＵＤでは、ＬＣＯＳ（Liquid Crystal On Silicon）を用いたプロジェクタが採用されている。
Further, the HUD of the modified example 11 is provided with a DLP (Digital Light Processing, registered trademark) projector. The DLP projector has a digital mirror device (hereinafter, "DMD") provided with a large number of micromirrors, and a projection light source that projects light toward the DMD. The DLP projector draws an output image on the screen under the control of linking the DMD and the projection light source. Further, in the HUD of the
上記実施形態の変形例１３では、出力画像の光が、ウィンドシールドとは別の車載構成に投影される。具体的に、変形例１３では、ウィンドシールドとは別体で設けられた投影部材（例えばコンバイナ等）に、出力画像の光が投影される。 In the modification 13 of the above embodiment, the light of the output image is projected onto an in-vehicle configuration different from the windshield. Specifically, in the modification 13, the light of the output image is projected onto a projection member (for example, a combiner or the like) provided separately from the windshield.
上記第一実施形態の変形例１４では、第一メモリとして用いられるメモリモジュールが、第二メモリとして用いられるメモリモジュールと物理的に異なっている。こうした変形例１４のように、各メモリとして採用されるメモリモジュールは、容量及び読み書きのアクセス速度等の仕様が互いに異なっていてもよい。 In the modification 14 of the first embodiment, the memory module used as the first memory is physically different from the memory module used as the second memory. As in the modification 14, the memory modules adopted as the respective memories may have different specifications such as capacity and read / write access speed.
上記第一実施形態の変形例１５では、第一メモリ及び第二メモリが一つのメモリモジュールに統合されている。第一メモリ及び第二メモリは、共通のメモリスロットを介してデータバスに接続されている。変形例１５では、データバスへの接続経路が見た目上で別れていなくても、処理部は、二つのメモリへのアクセスを独立的に実施可能である。即ち、処理部は、一方のメモリへのアクセスに速度的な影響を受けることなく、他方のメモリにアクセス可能である。以上のように、第一メモリ及び第二メモリは、物理的に独立した構成でなくてもよい。 In the modification 15 of the first embodiment, the first memory and the second memory are integrated into one memory module. The first memory and the second memory are connected to the data bus via a common memory slot. In the modified example 15, even if the connection paths to the data bus are not visually separated, the processing unit can independently access the two memories. That is, the processing unit can access the other memory without being affected by the speed of access to the other memory. As described above, the first memory and the second memory do not have to be physically independent configurations.
上記実施形態にて、表示制御ＥＣＵでのピッチ補正の対象とされる周波数帯域は、例えば悪路走行中、ブレーキ操作を複数回入力した場合、車両を急発進又は急減速させる場合等の走行シーンにて生じる振動を含む帯域であった。補正演算部によるピッチ補正のように、出力画像中の描画物をシフトさせる電子的な補正では、姿勢計測から虚像表示までのタイムラグが短縮され得る。一方で、相殺可能な補正量は、確保され難い。故に、ピッチ補正の対象となる周波数帯域は、上記のような走行シーンを想定した範囲とされるのがよい。 In the above embodiment, the frequency band targeted for pitch correction by the display control ECU is, for example, a driving scene such as when driving on a rough road, when a brake operation is input multiple times, or when the vehicle is suddenly started or decelerated. It was a band including vibration generated in. Electronic correction that shifts the drawing object in the output image, such as pitch correction by the correction calculation unit, can shorten the time lag from posture measurement to virtual image display. On the other hand, it is difficult to secure a correction amount that can be offset. Therefore, the frequency band to be pitch-corrected should be in the range assuming the above-mentioned driving scene.
但し、表示制御ＥＣＵでの補正対象とされる周波数帯域は、適宜変更されてもよい。さらに、表示制御ＥＣＵの補正対象とされる周波数帯域よりも低い周波数帯域については、描画ＥＣＵでの入力画像の生成時に補正されるのが望ましい。 However, the frequency band to be corrected by the display control ECU may be changed as appropriate. Further, it is desirable that the frequency band lower than the frequency band to be corrected by the display control ECU is corrected when the input image is generated by the drawing ECU.
入力画像Ｐｉ、中間画像Ｐｍ及び出力画像Ｐｏの各画像サイズ（解像度）は、適宜変更されてよい。入力映像データ及び出力映像データのデータ量（ｂｐｓ）は、各画像の縦解像度、横解像度、ＲＧＢの数、階調、フレームレート等の積になる。故に、第一メモリ及び第二メモリ等のアクセス速度を考慮のうえ、画像補正の遅延が拡大しないように、各解像度、階調及びフレームレート等は、決定されることが望ましい。各解像度、階調、フレームレート等を小さくし、データ量を減少させることで、安価なメモリを用いても、システムを成立させることが可能になる。また補正演算部は、各メモリへのアクセス状態を監視し、読み出し速度が不足しそうな場合に、解像度、階調及びフレームレート等を下げる調整を行ってもよい。 The image sizes (resolutions) of the input image Pi, the intermediate image Pm, and the output image Po may be appropriately changed. The data amount (bps) of the input video data and the output video data is the product of the vertical resolution, the horizontal resolution, the number of RGB, the gradation, the frame rate, etc. of each image. Therefore, it is desirable that each resolution, gradation, frame rate, etc. are determined so that the delay of image correction does not increase in consideration of the access speeds of the first memory, the second memory, and the like. By reducing each resolution, gradation, frame rate, etc. and reducing the amount of data, it is possible to establish a system even if an inexpensive memory is used. Further, the correction calculation unit may monitor the access state to each memory and make adjustments to lower the resolution, gradation, frame rate, etc. when the read speed is likely to be insufficient.
上記実施形態の変形例１６の慣性センサは、ジャイロセンサ及び加速度センサを組み合わせた構成である。この慣性センサは、ヨー方向、ピッチ方向、ロール方向の各角速度を検出する３軸のジャイロセンサと、車両の前後方向、上下方向、左右方向の各加速度を検出する３軸の加速度センサとを備えた６軸のモーションセンサである。さらに、変形例１７の慣性センサは、加速度センサのみを備え、ジャイロセンサを備えない。以上の変形例１６，１７のように、慣性センサの構成は、適宜変更されてよい。さらに、慣性センサの計測対象とされる姿勢変化も、ピッチングに限定されず、ロールやヒーブ等を含んでいてもよい。 The inertial sensor of the modification 16 of the above embodiment has a configuration in which a gyro sensor and an acceleration sensor are combined. This inertial sensor includes a 3-axis gyro sensor that detects each angular velocity in the yaw direction, pitch direction, and roll direction, and a 3-axis acceleration sensor that detects each acceleration in the front-rear direction, vertical direction, and left-right direction of the vehicle. It is a 6-axis motion sensor. Further, the inertial sensor of the modified example 17 includes only an acceleration sensor and does not include a gyro sensor. As in the above modified examples 16 and 17, the configuration of the inertial sensor may be changed as appropriate. Further, the posture change to be measured by the inertial sensor is not limited to pitching, and may include roll, heave, and the like.
さらに、変形例１８の慣性センサは、表示制御ＥＣＵに内蔵された構成ではない。変形例１８の慣性センサは、表示制御ＥＣＵの外部に設けられており、電気配線等を通じて、表示制御ＥＣＵの回路基板と接続されており、車両の姿勢変化を計測した計測情報をデータバスに逐次提供可能である。
Further, the inertial sensor of the
表示制御ＥＣＵにおける処理部の具体的な構成は、適宜変更可能である。処理部は、ＣＰＵ等に加えて、ＧＰＵ（Graphics Processing Unit）等の演算コアを含んでいてもよい。さらに処理部は、ＣＰＵ及びＦＰＧ等を含んでなるＳｏＣ（System-on-a-Chip）の形態であってもよく、物理的に独立した複数の演算コアを回路基板に個別実装してなる形態であってもよい。 The specific configuration of the processing unit in the display control ECU can be changed as appropriate. The processing unit may include a calculation core such as a GPU (Graphics Processing Unit) in addition to the CPU and the like. Further, the processing unit may be in the form of a SoC (System-on-a-Chip) including a CPU, an FPG, and the like, and a plurality of physically independent arithmetic cores are individually mounted on a circuit board. May be.
処理部を各機能部として機能させるプログラム（表示制御プログラム）は、ＣＰＵ又はＧＰＵ等に処理内容を指示する通常のソフトウェアであってもよく、又はＦＰＧＡを任意のハードウェア論理回路として機能させるハードウェアプログラムであってもよい。 The program (display control program) that causes the processing unit to function as each functional unit may be ordinary software that instructs the CPU, GPU, or the like to process the contents, or hardware that causes the FPGA to function as an arbitrary hardware logic circuit. It may be a program.
表示制御ＥＣＵの記憶部には、フラッシュメモリ及びハードディスク等の種々の非遷移的実体的記憶媒体（non-transitory tangible storage medium）が採用可能である。加えて、虚像表示に関連するプログラム及びパラメータを記憶する記憶媒体は、回路基板上に実装された記憶媒体に限定されず、例えばメモリカード等の形態であり、カードスロット部に挿入されて、データバスに電気的に接続される構成であってよい。さらに、記憶媒体は、表示制御ＥＣＵの記憶装置へのコピー元となる光学ディスク及び汎用コンピュータのハードディスクドライブ等であってもよい。 Various non-transitory tangible storage media such as a flash memory and a hard disk can be adopted as the storage unit of the display control ECU. In addition, the storage medium for storing the programs and parameters related to the virtual image display is not limited to the storage medium mounted on the circuit board, for example, in the form of a memory card or the like, and is inserted into the card slot portion to perform data. It may be configured to be electrically connected to the bus. Further, the storage medium may be an optical disk that is a copy source of the display control ECU to the storage device, a hard disk drive of a general-purpose computer, or the like.
本開示に記載の制御部及びその手法は、コンピュータプログラムにより具体化された一つ乃至は複数の機能を実行するようにプログラムされたプロセッサを構成する専用コンピュータにより、実現されてもよい。あるいは、本開示に記載の装置及びその手法は、専用ハードウェア論理回路により、実現されてもよい。もしくは、本開示に記載の装置及びその手法は、コンピュータプログラムを実行するプロセッサと一つ以上のハードウェア論理回路との組み合わせにより構成された一つ以上の専用コンピュータにより、実現されてもよい。また、コンピュータプログラムは、コンピュータにより実行されるインストラクションとして、コンピュータ読み取り可能な非遷移有形記録媒体に記憶されていてもよい。 The control unit and method thereof described in the present disclosure may be realized by a dedicated computer constituting a processor programmed to perform one or more functions embodied by a computer program. Alternatively, the apparatus and method thereof described in the present disclosure may be realized by a dedicated hardware logic circuit. Alternatively, the apparatus and method thereof described in the present disclosure may be realized by one or more dedicated computers configured by a combination of a processor for executing a computer program and one or more hardware logic circuits. Further, the computer program may be stored in a computer-readable non-transitional tangible recording medium as an instruction executed by the computer.
Ａ 車両、Ｐｉ 入力画像、Ｐｏ 出力画像、Ｔｂ ブランキング期間、Ｔｄ 画面表示期間Ｔｄ、Ｖｄｉ 入力映像データ（映像データ）、６０ 処理部、６１ 信号生成部、６３ データ書込部（画像書込部）、６４ 補正演算部、７１ 第一メモリ、７２ 第二メモリ、２７０ メモリ、１００，２００ 表示制御ＥＣＵ（表示制御装置） A vehicle, Pi input image, Po output image, Tb blanking period, Td screen display period Td, Vdi input video data (video data), 60 processing unit, 61 signal generation unit, 63 data writing unit (image writing unit) ), 64 Correction calculation unit, 71 1st memory, 72 2nd memory, 270 memory, 100,200 Display control ECU (display control device)
Claims (8)
前記虚像表示のために投影される出力画像（Ｐｏ）を、入力画像（Ｐｉ）の補正によって生成する補正演算部（６４）と、
前記補正演算部によって読み出し可能に前記入力画像を記憶する第一メモリ（７１）及び第二メモリ（７２）と、を備え、
前記第一メモリ及び前記第二メモリの両方は、前記入力画像を補正する補正演算に用いられる補正情報を、前記補正演算部によって読み出し可能に記憶しており、
前記補正演算部は、前記第一メモリ及び前記第二メモリの一方から前記入力画像を読み出しつつ、前記第一メモリ及び前記第二メモリの他方から前記補正情報を読み出す表示制御装置。 A display control device used in a vehicle (A) to control a virtual image display superimposed on the foreground of the vehicle.
The correction calculation unit (64) that generates the output image (Po) projected for the virtual image display by the correction of the input image (Pi), and
A first memory (71) and a second memory (72) for storing the input image so as to be readable by the correction calculation unit are provided.
Both the first memory and the second memory readablely store the correction information used for the correction calculation for correcting the input image by the correction calculation unit.
The correction calculation unit is a display control device that reads the correction information from the other of the first memory and the second memory while reading the input image from one of the first memory and the second memory.
前記出力画像における画素の位置を示した補正後座標と、
前記補正後座標の画素に割り当てられる前記入力画像の画素の位置を示した補正前座標と、
前記補正前座標から連続して読み出す画素の数を示したバースト長と、を含む前記補正情報が記憶されている請求項１に記載の表示制御装置。 Both the first memory and the second memory have
Corrected coordinates showing the positions of pixels in the output image, and
Pre-correction coordinates indicating the positions of the pixels of the input image assigned to the pixels of the corrected coordinates, and
The display control device according to claim 1, wherein the correction information including a burst length indicating the number of pixels continuously read from the pre-correction coordinates is stored.
前記補正演算部は、前記第一メモリ及び前記第二メモリのうちで、前記画像書込部によって前記入力画像が書き込まれている一方から、前記補正情報を読み出す請求項１～３のいずれか一項に記載の表示制御装置。 An image writing unit that acquires video data (Vdi) in which a plurality of the input images are continuous and alternately writes the input images that are frames of the video data to the first memory and the second memory. (63), further prepared,
The correction calculation unit is any one of claims 1 to 3 for reading the correction information from one of the first memory and the second memory in which the input image is written by the image writing unit. The display control device described in the section.
前記虚像表示のために投影される出力画像（Ｐｏ）を、入力画像（Ｐｉ）の補正によって生成する補正演算部（６４）と、
前記入力画像及び前記入力画像の補正演算に用いられる補正情報を、前記補正演算部によって読み出し可能に記憶するメモリ（２７０）と、を備え、
前記補正情報は、
前記出力画像における画素の位置を示した補正後座標と、
前記補正後座標の画素に割り当てられる前記入力画像の画素の位置を示した補正前座標と、
前記補正前座標から連続して読み出す画素の数を示したバースト長と、を含む表示制御装置。 A display control device used in a vehicle (A) to control a virtual image display superimposed on the foreground of the vehicle.
The correction calculation unit (64) that generates the output image (Po) projected for the virtual image display by the correction of the input image (Pi), and
A memory (270) for readablely storing the input image and the correction information used for the correction calculation of the input image by the correction calculation unit is provided.
The correction information is
Corrected coordinates showing the positions of pixels in the output image, and
Pre-correction coordinates indicating the positions of the pixels of the input image assigned to the pixels of the corrected coordinates, and
A display control device including a burst length indicating the number of pixels continuously read from the pre-correction coordinates.
前記補正演算部は、前記車両の姿勢変化に起因する姿勢補正量を、前記垂直同期信号にて画面表示期間（Ｔｄ）の前側に設定されるブランキング期間（Ｔｂ）の後半において決定する請求項１～５のいずれか一項に記載の表示制御装置。 Further, a signal generation unit (61) for generating a vertical synchronization signal output to the outside together with the output image is provided.
The claim that the correction calculation unit determines the posture correction amount due to the posture change of the vehicle in the latter half of the blanking period (Tb) set on the front side of the screen display period (Td) by the vertical synchronization signal. The display control device according to any one of 1 to 5.
少なくとも一つの処理部（６０）に、
当該処理部と結合された第一メモリ（７１）及び第二メモリ（７２）の両方に補正情報を格納し（Ｓ１０１）、
前記第一メモリ及び前記第二メモリの一方に入力画像（Ｐｉ）を書き込み（Ｓ１０３，Ｓ１１０）、
前記第一メモリ及び前記第二メモリの一方から書き込まれた前記入力画像を読み出しつつ、前記第一メモリ及び前記第二メモリの他方から前記補正情報を読み出し（Ｓ１０７，Ｓ１１４）、
前記補正情報を用いて前記入力画像を補正する補正演算により、前記虚像表示のために投影される出力画像（Ｐｏ）を生成する（Ｓ１０８，Ｓ１１５）、ことを含む処理を実行させる表示制御プログラム。 A display control program used in a vehicle (A) to control a virtual image display superimposed on the foreground of the vehicle.
In at least one processing unit (60)
The correction information is stored in both the first memory (71) and the second memory (72) combined with the processing unit (S101).
The input image (Pi) is written in one of the first memory and the second memory (S103, S110).
While reading the input image written from one of the first memory and the second memory, the correction information is read from the other of the first memory and the second memory (S107, S114).
A display control program for executing a process including generating (S108, S115) an output image (Po) projected for the virtual image display by a correction operation for correcting the input image using the correction information.
少なくとも一つの処理部（６０）に、
当該処理部と結合されたメモリ（２７０）に補正情報を格納し（Ｓ１０１）、
前記メモリに書き込まれた入力画像（Ｐｉ）と、前記補正情報とを読み出し（Ｓ１０７，Ｓ１１４）、
前記補正情報を用いて前記入力画像を補正する補正演算により、前記虚像表示のために投影される出力画像（Ｐｏ）を生成する（Ｓ１０８，Ｓ１１５）、ことを含む処理を実行させ、
前記メモリには、
前記出力画像における画素の位置を示した補正後座標と、
前記補正後座標の画素に割り当てられる前記入力画像の画素の位置を示した補正前座標と、
前記補正前座標から連続して読み出す画素の数を示したバースト長と、を含む前記補正情報が準備される表示制御プログラム。 A display control program used in a vehicle (A) to control a virtual image display superimposed on the foreground of the vehicle.
In at least one processing unit (60)
The correction information is stored in the memory (270) combined with the processing unit (S101).
The input image (Pi) written in the memory and the correction information are read out (S107, S114).
A process including generating an output image (Po) projected for the virtual image display (S108, S115) by a correction operation for correcting the input image using the correction information is executed.
The memory has
Corrected coordinates showing the positions of pixels in the output image, and
Pre-correction coordinates indicating the positions of the pixels of the input image assigned to the pixels of the corrected coordinates, and
A display control program in which the correction information including a burst length indicating the number of pixels continuously read from the pre-correction coordinates is prepared.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018226710A JP7047730B2 (en) | 2018-12-03 | 2018-12-03 | Display control device and display control program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018226710A JP7047730B2 (en) | 2018-12-03 | 2018-12-03 | Display control device and display control program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2020091325A JP2020091325A (en) | 2020-06-11 |
| JP7047730B2 true JP7047730B2 (en) | 2022-04-05 |
Family
ID=71012756
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2018226710A Active JP7047730B2 (en) | 2018-12-03 | 2018-12-03 | Display control device and display control program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7047730B2 (en) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002205571A (en) | 2001-01-10 | 2002-07-23 | Yazaki Corp | Vehicular display system |
| JP2002247446A (en) | 2001-02-16 | 2002-08-30 | Minolta Co Ltd | Digital image pickup device, image pickup device, image processor and recording medium |
| JP2003287707A (en) | 2002-03-27 | 2003-10-10 | Denso Corp | Image conversion method, image processor, headup display and program |
| JP2017161760A (en) | 2016-03-10 | 2017-09-14 | トヨタ自動車株式会社 | On-vehicle image display system |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2012044504A (en) * | 2010-08-20 | 2012-03-01 | Seiko Epson Corp | Video processing apparatus, video display apparatus, and video processing method |
-
2018
- 2018-12-03 JP JP2018226710A patent/JP7047730B2/en active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002205571A (en) | 2001-01-10 | 2002-07-23 | Yazaki Corp | Vehicular display system |
| JP2002247446A (en) | 2001-02-16 | 2002-08-30 | Minolta Co Ltd | Digital image pickup device, image pickup device, image processor and recording medium |
| JP2003287707A (en) | 2002-03-27 | 2003-10-10 | Denso Corp | Image conversion method, image processor, headup display and program |
| JP2017161760A (en) | 2016-03-10 | 2017-09-14 | トヨタ自動車株式会社 | On-vehicle image display system |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2020091325A (en) | 2020-06-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR100637308B1 (en) | Image processing system, projector, information storage medium and image processing method | |
| CN110308556B (en) | Image forming system, image correcting system, image displaying method, moving object, and non-transitory computer-readable medium | |
| JP7040485B2 (en) | Display control device and display control program | |
| US11247565B2 (en) | Virtual image display device | |
| KR102561042B1 (en) | Data processing systems | |
| JP6724886B2 (en) | Virtual image display | |
| JP5348022B2 (en) | Projector and projection conversion processing apparatus | |
| JP5239611B2 (en) | Projection display apparatus and image correction method | |
| JP2022161901A (en) | Display control device and display control program | |
| JP2015041922A (en) | Image processing system and image correction device | |
| JP2020004413A (en) | Data processing systems | |
| JP2008543071A (en) | Integrated circuit having warping arithmetic unit | |
| JP2010525375A (en) | System for projecting a three-dimensional image on a two-dimensional screen and corresponding method | |
| JP5348035B2 (en) | projector | |
| JP2011193332A (en) | Projector and video projection method | |
| JP7047730B2 (en) | Display control device and display control program | |
| JP6427961B2 (en) | Image processing apparatus, display apparatus, image processing method, and program | |
| JP2019161346A (en) | Head-up display device and display image correction method | |
| JP2019169828A (en) | On-vehicle display control unit and on-vehicle display control method | |
| JP2018088669A (en) | Projection image distortion correction device and method | |
| JP7145509B2 (en) | VIDEO DISPLAY SYSTEM, VIDEO DISPLAY METHOD, PROGRAM AND MOBILE BODY | |
| EP2811454B1 (en) | Image transformation | |
| WO2020059441A1 (en) | Display control device, display control program, and computer-readable non-transitory recording medium | |
| JP7066271B2 (en) | Image processing device, image processing method and head-up display system | |
| JP2009288713A (en) | Display |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210413 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220210 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220222 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220307 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 7047730 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |