JP7047730B2 - Display control device and display control program - Google Patents
Display control device and display control program Download PDFInfo
- Publication number
- JP7047730B2 JP7047730B2 JP2018226710A JP2018226710A JP7047730B2 JP 7047730 B2 JP7047730 B2 JP 7047730B2 JP 2018226710 A JP2018226710 A JP 2018226710A JP 2018226710 A JP2018226710 A JP 2018226710A JP 7047730 B2 JP7047730 B2 JP 7047730B2
- Authority
- JP
- Japan
- Prior art keywords
- memory
- correction
- image
- input image
- display control
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012937 correction Methods 0.000 claims description 196
- 230000015654 memory Effects 0.000 claims description 189
- 238000004364 calculation method Methods 0.000 claims description 59
- 238000012545 processing Methods 0.000 claims description 55
- 238000000034 method Methods 0.000 claims description 24
- 230000008569 process Effects 0.000 claims description 21
- 230000006870 function Effects 0.000 claims description 19
- 230000008859 change Effects 0.000 claims description 7
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 claims description 5
- 238000012986 modification Methods 0.000 description 25
- 230000004048 modification Effects 0.000 description 25
- 238000003702 image correction Methods 0.000 description 11
- 238000005259 measurement Methods 0.000 description 8
- 230000003287 optical effect Effects 0.000 description 7
- 230000001133 acceleration Effects 0.000 description 4
- 238000004590 computer program Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000005401 electroluminescence Methods 0.000 description 3
- 230000003936 working memory Effects 0.000 description 3
- 206010034719 Personality change Diseases 0.000 description 2
- 230000003190 augmentative effect Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 238000004891 communication Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 238000009429 electrical wiring Methods 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 229910052751 metal Inorganic materials 0.000 description 1
- 229910052710 silicon Inorganic materials 0.000 description 1
- 239000010703 silicon Substances 0.000 description 1
- 230000007480 spreading Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
- 238000002834 transmittance Methods 0.000 description 1
Images
Landscapes
- Instrument Panels (AREA)
- Controls And Circuits For Display Device (AREA)
Description
この明細書による開示は、虚像の表示を制御する表示制御装置及び表示制御プログラムに関する。 The disclosure according to this specification relates to a display control device and a display control program for controlling the display of a virtual image.
従来、例えば特許文献1には、車両の進行方向を示す矢印の虚像を、車両前方の路面上に重畳表示させる虚像生成システムが開示されている。この虚像生成システムのナビゲーションECUは、車両にピッチ変化が生じても、路面上への虚像の重畳表示が維持されるように、映像の投影位置を車両のピッチ変化に合わせて補正する。ナビゲーションECUには、制御装置としてのCPU、及びRAM等のワーキングメモリが設けられている。
Conventionally, for example,
特許文献1のナビゲーションECUのCPUは、虚像として表示される画像を、メモリから読み出しつつ、ピッチ変化に合わせた補正を行い、ヘッドアップディスプレイ(以下、「HUD」)に出力していると推定される。こうした処理にて、CPUは、画像だけでなく、画像を補正するための補正情報も、一つのメモリから読み出す必要がある。そのため、路面上への虚像の重畳表示を維持すべく、上記の処理を継続した場合、CPUのメモリへのアクセスについて、遅延発生の虞が生じ得た。
It is presumed that the CPU of the navigation ECU of
本開示は、画像補正に関連するメモリへのアクセス遅延を抑制可能な表示制御装置及び表示制御プログラムの提供を目的とする。 An object of the present disclosure is to provide a display control device and a display control program capable of suppressing an access delay to a memory related to image correction.
上記目的を達成するため、開示された一つの態様は、車両(A)において用いられ、車両の前景に重畳される虚像表示を制御する表示制御装置であって、虚像表示のために投影される出力画像(Po)を、入力画像(Pi)の補正によって生成する補正演算部(64)と、補正演算部によって読み出し可能に入力画像を記憶する第一メモリ(71)及び第二メモリ(72)と、を備え、第一メモリ及び第二メモリの両方は、入力画像を補正する補正演算に用いられる補正情報を、補正演算部によって読み出し可能に記憶しており、補正演算部は、第一メモリ及び第二メモリの一方から入力画像を読み出しつつ、第一メモリ及び第二メモリの他方から補正情報を読み出す表示制御装置とされる。 In order to achieve the above object, one disclosed aspect is a display control device used in the vehicle (A) that controls an imaginary image display superimposed on the foreground of the vehicle, and is projected for imaginary image display. A correction calculation unit (64) that generates an output image (Po) by correcting an input image (Pi), and a first memory (71) and a second memory (72) that store the input image readable by the correction calculation unit. And, both the first memory and the second memory readablely store the correction information used for the correction calculation for correcting the input image by the correction calculation unit, and the correction calculation unit is the first memory. It is a display control device that reads correction information from the other of the first memory and the second memory while reading the input image from one of the first memory and the second memory.
また開示された一つの態様は、車両(A)において用いられ、車両の前景に重畳される虚像表示を制御する表示制御プログラムであって、少なくとも一つの処理部(60)に、当該処理部と結合された第一メモリ(71)及び第二メモリ(72)の両方に補正情報を格納し(S101)、第一メモリ及び第二メモリの一方に入力画像(Pi)を書き込み(S103,S110)、第一メモリ及び第二メモリの一方から書き込まれた入力画像を読み出しつつ、第一メモリ及び第二メモリの他方から補正情報を読み出し(S107,S114)、補正情報を用いて入力画像を補正する補正演算により、虚像表示のために投影される出力画像(Po)を生成する(S108,S115)、ことを含む処理を実行させる表示制御プログラム。 Further, one disclosed aspect is a display control program used in the vehicle (A) to control a virtual image display superimposed on the foreground of the vehicle, and at least one processing unit (60) is provided with the processing unit. Correction information is stored in both the combined first memory (71) and second memory (72) (S101), and an input image (Pi) is written in one of the first memory and the second memory (S103, S110). , While reading the input image written from one of the first memory and the second memory, the correction information is read from the other of the first memory and the second memory (S107, S114), and the input image is corrected using the correction information. A display control program for executing a process including generating an output image (Po) projected for virtual image display (S108, S115) by a correction calculation.
これらの態様では、第一メモリ及び第二メモリのそれぞれに、補正演算に用いられる補正情報が記憶されている。故に、補正演算部又はプロセッサは、第一メモリ及び第二メモリの両方を活用し、入力画像の読み出しを実施しできるうえに、入力画像を読み出していない他方のメモリから補正情報を読み出すことができる。こうした読み出し処理の分散によれば、画像補正に関連したメモリへのアクセス遅延が、抑制可能になる。 In these aspects, the correction information used for the correction calculation is stored in each of the first memory and the second memory. Therefore, the correction calculation unit or the processor can utilize both the first memory and the second memory to read the input image, and can also read the correction information from the other memory that has not read the input image. .. Due to the distribution of the read processing, the delay in accessing the memory related to the image correction can be suppressed.
加えて、開示された一つの態様は、車両(A)において用いられ、車両の前景に重畳される虚像表示を制御する表示制御装置であって、虚像表示のために投影される出力画像(Po)を、入力画像(Pi)の補正によって生成する補正演算部(64)と、入力画像及び入力画像の補正演算に用いられる補正情報を、補正演算部によって読み出し可能に記憶するメモリ(270)と、を備え、補正情報は、出力画像における画素の位置を示した補正後座標と、補正後座標の画素に割り当てられる入力画像の画素の位置を示した補正前座標と、補正前座標から連続して読み出す画素の数を示したバースト長と、を含む表示制御装置とされる。 In addition, one disclosed embodiment is a display control device used in the vehicle (A) that controls a virtual image display superimposed on the foreground of the vehicle, and is an output image (Po) projected for the virtual image display. ) With the correction calculation unit (64) generated by the correction of the input image (Pi), and the memory (270) that readablely stores the correction information used for the correction calculation of the input image and the input image by the correction calculation unit. , And the correction information is continuous from the corrected coordinates indicating the positions of the pixels in the output image, the pre-corrected coordinates indicating the positions of the pixels of the input image assigned to the pixels of the corrected coordinates, and the pre-corrected coordinates. It is a display control device including a burst length indicating the number of pixels to be read out.
また開示された一つの態様は、車両(A)において用いられ、車両の前景に重畳される虚像表示を制御する表示制御プログラムであって、少なくとも一つの処理部(60)に、当該処理部と結合されたメモリ(270)に補正情報を格納し(S101)、メモリに書き込まれた入力画像(Pi)と、補正情報とを読み出し(S107,S114)、補正情報を用いて入力画像を補正する補正演算により、虚像表示のために投影される出力画像(Po)を生成する(S108,S115)、ことを含む処理を実行させ、メモリには、出力画像における画素の位置を示した補正後座標と、補正後座標の画素に割り当てられる入力画像の画素の位置を示した補正前座標と、補正前座標から連続して読み出す画素の数を示したバースト長と、を含む補正情報が準備される表示制御プログラム。 Further, one disclosed aspect is a display control program used in the vehicle (A) to control a virtual image display superimposed on the foreground of the vehicle, and at least one processing unit (60) is provided with the processing unit. The correction information is stored in the combined memory (270) (S101), the input image (Pi) written in the memory and the correction information are read out (S107, S114), and the input image is corrected using the correction information. A process including generating an output image (Po) projected for displaying a virtual image (S108, S115) by a correction calculation is executed, and the memory has corrected coordinates indicating the positions of pixels in the output image. Correction information including the pre-correction coordinates indicating the positions of the pixels of the input image assigned to the pixels of the post-correction coordinates and the burst length indicating the number of pixels continuously read from the pre-correction coordinates is prepared. Display control program.
これらの態様では、出力画像及び入力画像における画素位置の対応関係を規定する補正後座標及び補正前座標に加えて、補正前座標から連続して読み出す画素の数を示したバースト長が、補正情報に含まれている。こうしたデータ構成によれば、補正後座標及び補正前座標を、出力画像における各画素について個別に規定するよりも、補正情報のデータ量が少なくなる。以上のような補正情報の圧縮によれば、画像補正に関連したメモリへのアクセス遅延は、抑制され得る。 In these aspects, in addition to the post-correction coordinates and the pre-correction coordinates that define the correspondence between the pixel positions in the output image and the input image, the burst length indicating the number of pixels continuously read from the pre-correction coordinates is the correction information. Included in. According to such a data structure, the amount of correction information data is smaller than that the corrected coordinates and the pre-corrected coordinates are individually defined for each pixel in the output image. By compressing the correction information as described above, the delay in accessing the memory related to the image correction can be suppressed.
尚、上記括弧内の参照番号は、後述する実施形態における具体的な構成との対応関係の一例を示すものにすぎず、技術的範囲を何ら制限するものではない。 The reference numbers in parentheses are merely examples of the correspondence with the specific configuration in the embodiment described later, and do not limit the technical scope at all.
以下、本開示の複数の実施形態を図面に基づいて説明する。尚、各実施形態において対応する構成要素には同一の符号を付すことにより、重複する説明を省略する場合がある。各実施形態において構成の一部分のみを説明している場合、当該構成の他の部分については、先行して説明した他の実施形態の構成を適用することができる。また、各実施形態の説明において明示している構成の組み合わせばかりではなく、特に組み合わせに支障が生じなければ、明示していなくても複数の実施形態の構成同士を部分的に組み合わせることができる。そして、複数の実施形態及び変形例に記述された構成同士の明示されていない組み合わせも、以下の説明によって開示されているものとする。 Hereinafter, a plurality of embodiments of the present disclosure will be described with reference to the drawings. By assigning the same reference numerals to the corresponding components in each embodiment, duplicate description may be omitted. When only a part of the configuration is described in each embodiment, the configuration of the other embodiment described above can be applied to the other parts of the configuration. Further, not only the combination of the configurations specified in the description of each embodiment but also the configurations of a plurality of embodiments can be partially combined even if the combination is not specified. Further, an unspecified combination of the configurations described in the plurality of embodiments and modifications is also disclosed by the following description.
(第一実施形態)
図1に示す本開示の第一実施形態による表示制御装置の機能は、表示制御ECU(Electronic Control Unit)100に実装されている。表示制御ECU100は、描画ECU30及びHUD40等と共に、車両Aにおいて用いられる虚像表示システム10を構成している。虚像表示システム10は、車両Aの前景に重畳される虚像Viを用いた表示により、車両Aに関連する種々の情報を運転者に提示する。表示制御ECU100は、上述の描画ECU30及びHUD40と電気的に接続されている。
(First Embodiment)
The function of the display control device according to the first embodiment of the present disclosure shown in FIG. 1 is implemented in the display control ECU (Electronic Control Unit) 100. The
描画ECU30は、複数の車載表示器と直接的又は間接的に接続されており、各車載表示器の表示を統合的に制御する。描画ECU30は、各車載表示器の表示内容を決定し、各車載表示器へ向けて映像データを逐次出力する。描画ECU30は、車載ネットワークの通信バス等と電気接続されており、映像データの生成に必要なデータを、車載ネットワークから取得する。描画ECU30は、車載ネットワーク等から取得した情報を用いて、虚像表示のための映像データを生成し、表示制御ECU100へ向けて逐次出力する。
The drawing ECU 30 is directly or indirectly connected to a plurality of vehicle-mounted displays, and controls the display of each vehicle-mounted display in an integrated manner. The drawing ECU 30 determines the display content of each in-vehicle display and sequentially outputs video data to each in-vehicle display. The drawing ECU 30 is electrically connected to a communication bus or the like of the vehicle-mounted network, and acquires data necessary for generating video data from the vehicle-mounted network. The drawing ECU 30 generates video data for displaying a virtual image using information acquired from an in-vehicle network or the like, and sequentially outputs the video data to the
HUD40は、ウィンドシールドWSの下方にて、インスツルメントパネルに設けられた収容空間に収容される車載表示器である。HUD40は、ウィンドシールドWSに規定された投影領域PAへの光の投影により、運転者から視認可能に虚像Viを表示する。詳記すると、HUD40からウィンドシールドWSの投影領域PAへ向けて射出された虚像Viの光は、投影領域PAによってアイポイント側へ向けて反射され、運転者によって知覚される。運転者は、投影領域PAを通して見える前景に、虚像Viが重畳された表示を視認する。HUD40は、例えばアイポイントから車両Aの前方向に10~20m程度の空間中に虚像Viを結像させる。
The
HUD40によって表示される虚像Viには、AR(Augmented Reality)表示物が含まれている。AR表示物は、拡張現実表示に用いられる虚像Viである。AR表示物として表示される虚像Viの表示位置は、投影領域PAを通して視認される前景中の特定物体、例えば、前走車、歩行者及び路面等の重畳対象に関連付けられている。AR表示物としての虚像Viは、こうした重畳対象に相対固定されているように、重畳対象を追って、運転者の見た目上で移動する。そのため、車両Aの姿勢が変化した場合でも、虚像Viが重畳対象に重畳表示された状態は、維持される。一例として、走行すべき車線の範囲を示すバーチャルレーン表示等が、AR表示物として虚像表示される。尚、HUD40によって表示される虚像Viには、AR表示物だけでなく、非AR表示物が含まれていてもよい。非AR表示物は、特定の重畳対象には重畳されず、ウィンドシールドWS等の車両構成に相対固定されているように表示される。
The virtual image Vi displayed by the
HUD40は、LCD(Liquid Crystal Display)41、バックライト42及び反射光学系43と、これらの光学要素を収容する筐体等によって構成されている。LCD41は、多数の画素が配列されてなる表示面を有している。LCD41は、各画素に設けられた赤色、緑色、及び青色等のサブ画素の光の透過率を増減させ、表示面に種々の画像をカラー表示する。LCD41の表示面には、出力映像データVdoに基づく出力画像Po(後述する)が連続的に表示される。バックライト42は、LCD41を背面側から透過照明し、表示面に描画された出力画像Poを発光表示させる。反射光学系43は、凸面鏡及び凹面鏡等の反射鏡を含む構成である。反射光学系43は、LCD41から射出された出力画像Poの光を、反射によって広げつつ投影領域PAに投影する。こうした投影により、出力画像Poを拡大させてなる虚像Viが表示される。尚、反射光学系43には、例えば回折によって出力画像Poを拡大する回折光学素子(Diffractive Optical Element:DOE)等が用いられてもよい。
The
表示制御ECU100は、描画ECU30及びHUD40間にて映像データを中継し、HUD40による虚像Viの表示を制御する制御装置である。表示制御ECU100は、慣性センサ51及び回路基板等によって構成されている。回路基板には、処理部60、第一メモリ71、第二メモリ72、記憶部74及び入出力インターフェース等が設けられている。回路基板に形成されたデータバス50には、慣性センサ51、第一メモリ71、第二メモリ72、記憶部74及び処理部60等が高速アクセス可能に接続されている。
The
慣性センサ51は、車両Aの姿勢変化を計測する計測部である。慣性センサ51は、ジャイロセンサを主体に構成されており、車両Aの姿勢変化のうちで、特にピッチ方向の角速度を計測する。慣性センサ51は、例えば回路基板に固定されていてもよく、又は表示制御ECU100の金属筐体等に固定されていてもよい。慣性センサ51には、ローパスフィルタ、AD変換部、及びハイパスフィルタ等が、ジャイロセンサの出力信号を処理する信号処理回路として設けられている。ローパスフィルタは、出力信号に含まれる高周波ノイズを除去する。AD変換部は、ローパスフィルタを通過したアナログ信号をデジタル信号に変換する。ハイパスフィルタは、出力信号に含まれるドリフト成分を除去する。慣性センサ51は、信号処理回路を通過した出力信号を、車両Aのピッチ方向の変位を示すピッチ計測情報として、データバス50に逐次出力する。
The
第一メモリ71及び第二メモリ72は、例えばDDR(Dynamic Random Access Memory)2又はDDR3等の規格に準じたSDRAMのメモリモジュールを主体に構成されている。第一メモリ71及び第二メモリ72は、互いに実質同一構成の揮発性メモリであり、容量及びアクセス速度等も実質同一となるように揃えられている。第一メモリ71及び第二メモリ72は、それぞれ個別にデータバス50に接続されている。第一メモリ71及び第二メモリ72は、処理部60と結合されて、処理部60のワーキングメモリとして機能する。
The
第一メモリ71及び第二メモリ72は、互いに独立した状態で、処理部60のワーキングメモリとして機能可能である。具体的には、第一メモリ71及び第二メモリ72は、物理的に独立したメモリ構成として、データバス50に繋がる回路基板上のメモリスロットに組み付けられている。さらに、処理部60は、第一メモリ71へのアクセス期間中でも併行して第二メモリ72にアクセス可能であり、同様に、第二メモリ72へのアクセス期間中でも併行して第一メモリ71にアクセス可能である。即ち、処理部60は、第一メモリ71及び第二メモリ72のうちの一方のアクセスに制限されることなく、他方のメモリにもアクセス可能である。
The
記憶部74は、ROM又はフラッシュメモリ等の不揮発性の記憶媒体を主体に構成されている。記憶部74は、データバス50に接続されており、処理部60に提供されるデータを保持している。記憶部74には、処理部60によって実行される種々のプログラムが格納されている。加えて記憶部74には、虚像表示に必要とされる多数のパラメータが格納されている。こうしたパラメータの一つとして、後述する歪み補正テーブルTBcが、記憶部74には記憶されている。
The
処理部60は、描画ECU30にて生成された映像データ(以下、「入力映像データVdi」)を加工し、HUD40へ向けて出力する出力映像データVdoを生成する。処理部60は、入力映像データVdiの各フレームを構成する入力画像Piを補正し、出力映像データVdoの各フレームとなる出力画像Poを描画する。
The
処理部60は、第一メモリ71及び第二メモリ72へのアクセスを制御するメモリコントローラ等を含む構成である。処理部60は、CPU(Central Processing Unit)、FPGA(Field-Programmable Gate Array)及び他の専用機能を備えたIPコア等を組み合わせた構成とされている。処理部60には、信号生成部61、データ書込部63及び補正演算部64等が設けられている。
The
信号生成部61は、出力映像データVdoの受信側となるLCD41に、各フレーム画像の読み出しタイミングを伝える同期信号を生成する。信号生成部61は、少なくとも垂直同期信号(Vertical Synchronizing signal,図4 VSYNC参照)を生成する。垂直同期信号は、出力画像Poと共に外部のHUD40へ向けて出力される。垂直同期信号に基づき、LCD41は、一つの出力画像Poから次の出力画像Poへと、画面の書き換えを開始する。垂直同期信号にて、一つのフレーム(出力画像Po)に割り当てられたオン期間には、ブランキング期間Tbと画面表示期間Tdとが含まれている。ブランキング期間Tbは、映像が表示されない期間であり、画面表示期間Tdの前後に設定されている。一方、画面表示期間Tdは、映像が表示される期間である。
The
データ書込部63は、第一メモリ71及び第二メモリ72のそれぞれに、データを書き込む処理を実行する。データ書込部63は、表示制御ECU100の起動直後、虚像Viの表示が開始される前に、記憶部74に格納された補正情報としての歪み補正テーブルTBcを読み出し、第一メモリ71及び第二メモリ72の両方に、歪み補正テーブルTBcを書き込む。第一メモリ71及び第二メモリ72は、表示制御ECU100への給電が停止されるまで、歪み補正テーブルTBcのデータを消去することなく保持し続ける。
The
データ書込部63は、描画ECU30から表示制御ECU100への入力映像データVdiの出力が開始されると、伝送される入力映像データVdiを受信する。データ書込部63は、取得した入力映像データVdiにて連続する個々のフレーム画像を、入力画像Piとして第一メモリ71及び第二メモリ72に書き込む処理を実施する。データ書込部63は、歪み補正テーブルTBcの格納領域とは異なるアドレスに入力画像Piを書き込む。データ書込部63は、第一メモリ71及び第二メモリ72に、入力画像Piを交互に書き込んでいく。例えばデータ書込部63は、n番目のフレームを第一メモリ71に入力画像Piとして書き込んだ場合、n+1番目のフレームを第二メモリ72に入力画像Piとして書き込む。以上のスイッチングにより、第一メモリ71及び第二メモリ72は、補正演算部64によって読み出し可能に、異なる入力画像Piを記憶した状態となる。
The
補正演算部64は、図1及び図2に示すように、入力画像Piの補正によって出力画像Poを生成する。補正演算部64は、出力画像Poを生成に際して、第一メモリ71及び第二メモリ72の一方から入力画像Piを読み出しつつ、第一メモリ71及び第二メモリ72の他方から歪み補正テーブルTBcを読み出す処理を実施する。補正演算部64は、入力画像Piに対する補正として、ピッチ補正と歪み補正とを実施する。
As shown in FIGS. 1 and 2, the
ピッチ補正は、車両Aの姿勢変化(ピッチング)に起因する重畳対象からの虚像Viの位置ずれを低減(相殺)させる補正である。ピッチ補正の対象は、車両Aに生じるピッチ方向の振動のうちで、例えば0.5~2Hzまでの周波数帯域の振動とされる。補正演算部64は、入力画像Piの中で出力画像Poに使用する範囲(図2 中間画像Pm)を、慣性センサ51から取得するピッチ計測情報に基づき、決定する。具体的に、補正演算部64は、ピッチ計測情報に基づき、車両Aの姿勢変化のうちで、ピッチングに起因する姿勢補正量として、ピッチ補正量を算出する。ピッチ補正量は、ピッチ計測情報の示す車両ピッチ角が増えるほど、大きな値となる。補正演算部64は、ピッチ補正量に基づき、入力画像Piのうちで出力画像Poに使用する中間画像Pmの上下方向の位置を決定する。尚、中間画像Pmのサイズ(例えば1280×480ピクセル)は、入力画像Piのサイズ(例えば1280×720ピクセル)よりも小さく、且つ、出力画像Poのサイズと同程度とされる。
The pitch correction is a correction that reduces (offsets) the positional deviation of the virtual image Vi from the superimposed object due to the posture change (pitching) of the vehicle A. The target of the pitch correction is, for example, the vibration in the frequency band from 0.5 to 2 Hz among the vibrations in the pitch direction generated in the vehicle A. The
歪み補正は、投影領域PA及び反射光学系43での反射に起因する虚像Viの変形を考慮し、歪みを低減(相殺)させた状態で虚像Viが表示されるように、出力画像Poの形状を予め変形させておく補正である。歪み補正の補正演算には、補正情報としての歪み補正テーブルTBcが用いられる。補正演算部64は、中間画像Pm(入力画像Pi)における画素の二次元配列を、歪み補正テーブルTBcに基づき並び替える処理により、中間画像Pmを変形させてなる出力画像Poを生成する。
The distortion correction considers the deformation of the virtual image Vi due to the reflection in the projection region PA and the reflection
尚、実際の処理では、中間画像Pmの生成は、省略される。即ち、補正演算部64は、中間画像Pmに相当する入力画像Piの範囲の画素を直接的に並び替えて、出力画像Poを直接的に生成できる。
In the actual processing, the generation of the intermediate image Pm is omitted. That is, the
以上の歪み補正にて使用される歪み補正テーブルTBcは、図3に示すように、LCD座標、元画像座標、及びバースト長を含む一組のデータセットを多数連続させてなるファイル構成である。LCD座標は、補正後座標に相当し、出力画像Poにおける画素の位置を示す情報である。LCD座標は、LCD41の画面上におけるX座標及びY座標を示す値である。元画像座標は、補正前座標に相当し、対応するデータセットのLCD座標の画素に割り当てられる入力画像Piの画素の位置を、X座標及びY座標によって示している。バースト長は、元画像座標から連続して読み出す画素の数を示している。
As shown in FIG. 3, the distortion correction table TBc used in the above distortion correction has a file structure in which a large number of sets of data sets including LCD coordinates, original image coordinates, and burst length are continuous. The LCD coordinates correspond to the corrected coordinates and are information indicating the positions of the pixels in the output image Po. The LCD coordinates are values indicating the X and Y coordinates on the screen of the
歪み補正テーブルTBcの一組のデータセットにおける数値の並びは、<LCDのX座標>,<LCDのY座標>,<元画像のX座標>,<元画像のY座標>,<バースト長>の順とされている。最初(一行目)の数値群は、出力画像Poの最初の51ピクセルは、(-1,-1)の無効ピクセル(黒背景)であることを示している。二つ目(二行目)の数値群は、出力画像Poの51ピクセル目には、入力画像Piの(0,50)の画素情報(階調値)を割り当てることを示している。三つ目(三行目)の数値群は、出力画像Poの52ピクセル目には、入力画像Piの(0,49)から5ピクセル分の画素情報を連続して割り当てることを示している。 The sequence of numerical values in a set of data sets of the distortion correction table TBc is <LCD X coordinate>, <LCD Y coordinate>, <original image X coordinate>, <original image Y coordinate>, <burst length>. It is said that the order is. The first (first row) numerical group indicates that the first 51 pixels of the output image Po are invalid pixels (black background) of (-1, -1). The second (second row) numerical group indicates that the pixel information (gradation value) of (0,50) of the input image Pi is assigned to the 51st pixel of the output image Po. The third (third row) numerical group indicates that pixel information for 5 pixels is continuously assigned to the 52nd pixel of the output image Po from (0,49) of the input image Pi.
尚、入力画像Pi及び出力画像Poにおける画素の並びは、一例として、左上が1ピクセル目の座標(0,0)とされており、右方向に行くに従い2ピクセル目、3ピクセル目・・・nピクセル目となる。そして、一つ下の行の左端の画素が、n+1ピクセル目となる。 As an example, the arrangement of pixels in the input image Pi and the output image Po has the coordinates (0,0) of the first pixel in the upper left, and the second pixel, the third pixel, and so on as it goes to the right. It is the nth pixel. Then, the leftmost pixel in the line below is the n + 1th pixel.
次に、処理部60によって実施される画像補正処理の詳細を、図4及び図5に基づき、図1及び図2を参照しつつ、時系列に沿って説明する。こうした画像補正処理は、表示制御ECU100への電力供給の開始に基づき開始され、表示制御ECU100が停止されるまで継続される。
Next, the details of the image correction processing performed by the
表示制御ECU100の起動直後では、初期処理の一つとして、処理部60は、記憶部74から歪み補正テーブルTBcを読み出し、第一メモリ71及び第二メモリ72の両方に、歪み補正テーブルTBcを格納する処理を実施する(S101)。初期処理の終了後、処理部60は、垂直同期信号のオンタイミングとなる時刻t1を待機した状態となる(S102)。
Immediately after the
時刻t1~t4は、nフレーム目の出力画像Poが虚像表示される期間である。時刻t1にて、データ書込部63は、第一メモリ71への入力画像Piの書き込みを開始する(S103)。この時刻t1からの期間では、描画ECU30より取得する入力映像データVdiの現在フレームが、n+1フレーム目の入力画像Piとして、第一メモリ71に書き込まれる。こうした画像の書き込みは、シーケンシャルであるため、画像の読み出しと比べて高速に処理され得る。
Times t1 to t4 are periods during which the output image Po in the nth frame is displayed as a virtual image. At time t1, the
次に処理部60は、ピッチ補正量の決定タイミングを待機し(S104)、ピッチ補正量を決定する演算を実施する(S105)。ピッチ補正量の決定タイミングは、画面表示期間Tdの前側(直前)に設定されたブランキング期間Tbの後半、且つ最後に設定されており、具体的には、ブランキング期間Tbから画面表示期間Tdに切り替わる時刻t2の直前(所定時間前)とされている。補正演算部64は、画面表示期間Tdへの切り替わり時刻t2直前にて慣性センサ51により計測されたピッチ計測情報を用いて、ピッチ補正量を決定する。
Next, the
時刻t2となると(S106)、補正演算部64は、第二メモリ72に記憶されているnフレーム目の入力画像Piの読み出しを開始する。こうした処理に併行して、補正演算部64は、第一メモリ71からの歪み補正テーブルTBcの読み出しを開始する(S107)。歪み補正テーブルTBcは、入力画像Piの書き込み処理中である第一メモリ71から読み出される。
At time t2 (S106), the
そして補正演算部64は、直前に決定したピッチ補正量と、歪み補正テーブルTBcとに従い、読み出した入力画像Piを逐次補正し、出力画像PoとしてHUD40に出力する(S108)。以上により、時刻t2から時刻t3の画面表示期間Tdにて、LCD41の画面には、nフレーム目の出力画像Poが描画される。尚、表示制御ECU100の起動直後にて、入力画像Piが第二メモリ72に記憶されていない場合には、出力画像Poの生成及び出力は、スキップされる。
Then, the
次の時刻t4~t7は、n+1フレーム目の出力画像Poが虚像表示される期間となる。垂直同期信号のオンタイミングとなる時刻t4にて、データ書込部63は、第二メモリ72への入力画像Piの書き込みを開始する(S109,S110)。時刻t4からの期間では、描画ECU30より取得する入力映像データVdiの現在フレームが、n+2フレーム目の入力画像Piとして、第二メモリ72に書き込まれる。その結果、第二メモリ72に記憶されていたnフレーム目の入力画像Piのデータは、n+2フレーム目の入力画像Piのデータによって上書きされる。
The next times t4 to t7 are periods during which the output image Po in the n + 1th frame is displayed as a virtual image. At time t4, which is the on-timing of the vertical synchronization signal, the
ピッチ補正量の決定タイミングとなる時刻t5となると、補正演算部64は、S105と同様に、最新のピッチ計測情報を用いてピッチ補正量を決定する(S111,S112)。そして、ブランキング期間Tbから画面表示期間Tdに切り替わる時刻t5にて、補正演算部64は、第一メモリ71に記憶されているn+1フレーム目の入力画像Piの読み出しを開始する(S113,S114)。さらに、補正演算部64は、入力画像Piの読み出し開始と併行して、第二メモリ72からの歪み補正テーブルTBcの読み出しを開始する。この場合も、歪み補正テーブルTBcは、入力画像Piの書き込み処理中である第二メモリ72から読み出される。
At the time t5, which is the timing for determining the pitch correction amount, the
そして補正演算部64は、S108と同様に、直前に決定したピッチ補正量と、歪み補正テーブルTBcとに従い、読み出した入力画像Piを逐次補正し、出力画像PoとしてHUD40に出力する(S115)。以上により、時刻t5から時刻t6の画面表示期間Tdにて、LCD41の画面には、n+1フレーム目の出力画像Poが描画される。時刻t1~t7の処理であって、S102~S115の処理の繰り返しにより、出力映像データVdoに基づく虚像Viが表示される。
Then, the
ここまで説明した第一実施形態では、第一メモリ71及び第二メモリ72のそれぞれに、歪み補正テーブルTBcが記憶されている。故に、補正演算部64は、第一メモリ71及び第二メモリ72の両方を活用し、入力画像Piの読み出しを実施しできるうえに、入力画像Piを読み出していない他方のメモリから歪み補正テーブルTBcを読み出すことができる。こうした読み出し処理の分散によれば、画像補正に関連したメモリへのアクセス遅延が、抑制可能になる。その結果、高性能なメモリ採用に起因するコストの上昇を抑えつつ、映像データのスループット及びレイテンシの良好な表示制御ECU100が提供できる。
In the first embodiment described so far, the strain correction table TBc is stored in each of the
加えて第一実施形態では、歪み補正テーブルTBcが補正情報として用いられている。歪み補正テーブルTBcは、出力画像Po及び入力画像Piにおける画素位置の対応関係を規定するLCD座標及び元画像座標に加えて、元画像座標から連続して読み出す画素の数をバースト長によって規定している。こうした歪み補正テーブルTBcのデータ構成によれば、出力画像Poにおける各画素について、LCD座標及び元画像座標の対応関係を個別に規定するよりも、補正情報のデータ量は、少なくなる。さらに、入力画像Piの読み出しに際して、画素情報のバースト転送が実施され得る。以上のことから、バースト長を規定する歪み補正テーブルTBcの採用によっても、画像補正に関連したメモリへのアクセス遅延は、抑制可能となる。 In addition, in the first embodiment, the distortion correction table TBc is used as correction information. The distortion correction table TBc defines the number of pixels continuously read from the original image coordinates by the burst length, in addition to the LCD coordinates and the original image coordinates that define the correspondence between the pixel positions in the output image Po and the input image Pi. There is. According to the data structure of the distortion correction table TBc, the amount of correction information data is smaller than that individually defining the correspondence between the LCD coordinates and the original image coordinates for each pixel in the output image Po. Further, burst transfer of pixel information may be performed when reading the input image Pi. From the above, the delay in accessing the memory related to the image correction can be suppressed even by adopting the distortion correction table TBc that defines the burst length.
また第一実施形態の補正演算部64は、第一メモリ71及び第二メモリ72のうちで、入力画像Piが書き込まれている一方のメモリから、歪み補正テーブルTBcを読み出す。換言すれば、歪み補正テーブルTBcは、入力画像Piの読み出し中ではないメモリから、読み出される。以上のように、各メモリ71,72へのアクセス処理のうちで、入力画像Piを読み出す処理が、最も重い処理となる。そのため、歪み補正テーブルTBcの読み出しは、入力画像Piを読み出しているメモリではなく、入力画像Piを書き込んでいるメモリから行うのが、遅延抑制に有効となる。
Further, the
さらに第一実施形態の補正演算部64は、車両Aのピッチングに起因するピッチ補正量を、垂直同期信号に設けられた前側のブランキング期間Tbの後半(最後)において決定する。こうした決定タイミングの設定によれば、ピッチ補正量は、最新の車両姿勢を反映した値になり得る。以上によれば、メモリアクセスの遅延抑制効果と相俟って、出力画像Poに基づく虚像Viは、車両姿勢が変化しても、重畳対象に精度良く追従可能となる。
Further, the
尚、第一実施形態では、入力映像データVdiが「映像データ」に相当し、データ書込部63が「画像書込部」に相当し、表示制御ECU100が「表示制御装置」に相当する。
In the first embodiment, the input video data Vdi corresponds to "video data", the
(第二実施形態)
図6及び図7に示す第二実施形態は、第一実施形態の変形例である。第二実施形態の虚像表示システム210に採用される表示制御ECU200は、第一実施形態の二つのメモリ71,72(図1参照)に相当する構成として、一つのメモリ270を備えている。メモリ270には、第一実施形態と実質同一の歪み補正テーブルTBcが格納されている。加えてメモリ270には、少なくとも二フレーム分の入力画像Piを一時記憶可能な記憶領域が確保されている。第二実施形態では、データ書込部63によるメモリ270への書き込みアクセス、及び補正演算部64によるメモリ270からの読み出しアクセスの各詳細が、第一実施形態とは異なっている。
(Second embodiment)
The second embodiment shown in FIGS. 6 and 7 is a modification of the first embodiment. The
データ書込部63は、表示制御ECU200の起動直後、記憶部74に格納された歪み補正テーブルTBcを読み出し、メモリ270への書き込みを行う。加えてデータ書込部63は、描画ECU30による入力映像データVdiの出力が開始されると、入力映像データVdiの各フレーム画像を、入力画像Piとしてメモリ270に書き込む処理を実施する。補正演算部64は、垂直同意信号のオンタイミング(時刻t1)にて、メモリ270への入力画像Piの書き込みを開始する。補正演算部64は、メモリ270に確保された二つの記憶領域に、交互に入力画像Piを書き込んでいく。
Immediately after the
補正演算部64は、第一実施形態と同様に、歪み補正テーブルTBcを用いた入力画像Piの歪み補正を実施する。補正演算部64は、ブランキング期間Tbから画面表示期間Tdに切り替わるタイミング(時刻t2)にて、メモリ270に書き込まれた入力画像Piの読み出しと、メモリ270に準備された歪み補正テーブルTBcの読み出しとを、実質同時に開始する。補正演算部64は、一つのメモリ270からの入力画像Pi及び歪み補正テーブルTBcの読み出しを、併行実施する。そして、逐次読み出す歪み補正テーブルTBcのLCD座標、元画像座標及びバースト長の各値に基づき、入力画像Piを補正してなる出力画像Poを生成し、HUD40に逐次出力する。
The
ここまで説明した第二実施形態のように、一つのメモリ270を採用した表示制御ECU200であっても、歪み補正テーブルTBcを補正情報として採用すれば、入力画像Piと併行してメモリ270から読み出す必要のあるデータ量が、削減され得る。以上によれば、第一実施形態と同様の効果を奏し、画像補正に関連したメモリへのアクセス遅延は、抑制可能となる。尚、第二実施形態では、表示制御ECU200が「表示制御装置」に相当する。
Even in the
(他の実施形態)
以上、本開示の複数の実施形態について説明したが、本開示は、上記実施形態に限定して解釈されるものではなく、本開示の要旨を逸脱しない範囲内において種々の実施形態及び組み合わせに適用することができる。
(Other embodiments)
Although the plurality of embodiments of the present disclosure have been described above, the present disclosure is not construed as being limited to the above embodiments, and is applied to various embodiments and combinations without departing from the gist of the present disclosure. can do.
上記第一実施形態の変形例1にて、補正演算部は、歪み補正テーブルTBc(図3参照)に替えて、補正関数を補正情報として歪み補正に用いる。変形例1では、第一メモリ及び第二メモリの両方に、補正関数が準備される。補正関数は、投影領域及び光学反射系の湾曲形状を考慮した多項式又は単項式として、予め規定されている。補正関数では、LCD座標(X,Y)が入力パラメータとされ、元画像座標(X,Y)が出力パラメータとされている。補正演算部は、LCD座標(X,Y)を補正関数に順に代入する処理により、各LCD座標に割り当てられる元画像座標(X,Y)を特定する。 In the first modification of the first embodiment, the correction calculation unit uses the correction function as correction information for distortion correction instead of the distortion correction table TBc (see FIG. 3). In the first modification, the correction function is prepared in both the first memory and the second memory. The correction function is predetermined as a polynomial or a monomial in consideration of the projection region and the curved shape of the optical reflection system. In the correction function, the LCD coordinates (X, Y) are used as input parameters, and the original image coordinates (X, Y) are used as output parameters. The correction calculation unit specifies the original image coordinates (X, Y) assigned to each LCD coordinate by the process of sequentially substituting the LCD coordinates (X, Y) into the correction function.
また変形例2では、補正関数の入力パラメータに、視認者(運転者)のアイポイントの座標情報がさらに含まれている。表示制御ECUは、例えばドライバステータスモニタ等の検出情報を用いて、アイポイントの現在位置を特定する。補正演算部は、特定されたアイポイントの座標データを補正関数に適用し、現在のアイポイントに対応する補正関数を準備する。そして補正演算部は、アイポイント情報を適用された補正関数に、LCD座標(X,Y)を順に代入する処理により、各LCD座標に割り当てられる元画像座標(X,Y)を特定する。 Further, in the second modification, the input parameter of the correction function further includes the coordinate information of the eye point of the viewer (driver). The display control ECU identifies the current position of the eye point by using detection information such as a driver status monitor. The correction calculation unit applies the coordinate data of the specified eye point to the correction function, and prepares the correction function corresponding to the current eye point. Then, the correction calculation unit specifies the original image coordinates (X, Y) assigned to each LCD coordinate by the process of sequentially substituting the LCD coordinates (X, Y) into the correction function to which the eye point information is applied.
以上のような、変形例1,2では、各メモリの物理的なアクセス速度を引き上げなくても、入力画像及び補正情報の読み出しに要する時間が短縮され得る。その結果、上記実施形態と同様に、画像補正に関連したメモリアクセスの遅延抑制効果が発揮可能となる。 In the above modified examples 1 and 2, the time required for reading the input image and the correction information can be shortened without increasing the physical access speed of each memory. As a result, similarly to the above embodiment, the effect of suppressing the delay of memory access related to the image correction can be exhibited.
上記第一実施形態の変形例3にて、両メモリに準備される歪み補正テーブルは、バースト長を含まないデータ構成とされている。変形例3の歪み補正テーブルでは、出力画像における各画素について、LCD座標及び元画像座標の対応関係が、個別に規定されている。 In the third modification of the first embodiment, the distortion correction table prepared in both memories has a data structure that does not include the burst length. In the distortion correction table of the third modification, the correspondence between the LCD coordinates and the original image coordinates is individually defined for each pixel in the output image.
上記実施形態における表示制御ECUは、他の車載構成と一体的な構成であってもよい。具体的に、上記実施形態の変形例4では、表示制御ECUは、HUDと一体的に構成されている。即ち、変形例4では、入力映像データを補正する機能が、HUDに実装されている。また上記実施形態の変形例5では、表示制御ECUは、描画ECUと一体的に構成されている。即ち、変形例5の描画ECUは、慣性センサにて計測された姿勢情報を用いて補正を行い、補正済みとされた出力映像データを、HUDへ向けて出力する。さらに上記実施形態の変形例6では、描画ECU、表示制御ECU及びHUDの全機能が、一つの虚像表示ユニットに集約されている。
The display control ECU in the above embodiment may be integrated with other in-vehicle configurations. Specifically, in the
上記第一実施形態の変形例7における補正演算部は、二つのメモリのうちで、入力画像を読み出し中の一方から、補正情報を読み出す。上記実施形態の変形例8では、ピッチ補正量の決定タイミングが、垂直同期信号における前側のブランキング期間の前半に設定されている。
The correction calculation unit in the
表示制御ECUにて補正された出力映像データの各出力画像を、虚像として空中表示させるHUDの具体的な投影構成は、適宜変更されてよい。例えば変形例9のHUDには、LCD及びバックライトに替えて、EL(Electro Luminescence)パネルが設けられている。さらに、ELパネルに替えて、プラズマディスプレイパネル、ブラウン管及びLED等の表示器を用いたプロジェクタがHUDには採用可能である。 The specific projection configuration of the HUD for displaying each output image of the output video data corrected by the display control ECU in the air as a virtual image may be appropriately changed. For example, the HUD of Modification 9 is provided with an EL (Electro Luminescence) panel instead of the LCD and the backlight. Further, instead of the EL panel, a projector using a display such as a plasma display panel, a cathode ray tube and an LED can be adopted for the HUD.
また変形例10のHUDには、LCD及びバックライトに替えて、レーザモジュール(以下「LSM」)及びスクリーンが設けられている。LSMは、例えばレーザ光源及びMEMS(Micro Electro Mechanical Systems)スキャナ等を含む構成である。スクリーンは、例えばマイクロミラーアレイ又はマイクロレンズアレイである。変形例10のHUDでは、LSMから照射されるレーザ光の走査により、スクリーンに出力画像が描画される。HUDは、スクリーンに投影された出力画像を反射光学系によって投影領域に投影し、虚像を空中表示させる。
Further, the HUD of the modified example 10 is provided with a laser module (hereinafter referred to as “LSM”) and a screen instead of the LCD and the backlight. The LSM includes, for example, a laser light source, a MEMS (Micro Electro Mechanical Systems) scanner, and the like. The screen is, for example, a micromirror array or a microlens array. In the HUD of the
また変形例11のHUDには、DLP(Digital Light Processing,登録商標)プロジェクタが設けられている。DLPプロジェクタは、多数のマイクロミラーが設けられたデジタルミラーデバイス(以下、「DMD」)と、DMDに向けて光を投射する投射光源とを有している。DLPプロジェクタは、DMD及び投射光源を連携させた制御により、出力画像をスクリーンに描画する。さらに、変形例12のHUDでは、LCOS(Liquid Crystal On Silicon)を用いたプロジェクタが採用されている。
Further, the HUD of the modified example 11 is provided with a DLP (Digital Light Processing, registered trademark) projector. The DLP projector has a digital mirror device (hereinafter, "DMD") provided with a large number of micromirrors, and a projection light source that projects light toward the DMD. The DLP projector draws an output image on the screen under the control of linking the DMD and the projection light source. Further, in the HUD of the
上記実施形態の変形例13では、出力画像の光が、ウィンドシールドとは別の車載構成に投影される。具体的に、変形例13では、ウィンドシールドとは別体で設けられた投影部材(例えばコンバイナ等)に、出力画像の光が投影される。 In the modification 13 of the above embodiment, the light of the output image is projected onto an in-vehicle configuration different from the windshield. Specifically, in the modification 13, the light of the output image is projected onto a projection member (for example, a combiner or the like) provided separately from the windshield.
上記第一実施形態の変形例14では、第一メモリとして用いられるメモリモジュールが、第二メモリとして用いられるメモリモジュールと物理的に異なっている。こうした変形例14のように、各メモリとして採用されるメモリモジュールは、容量及び読み書きのアクセス速度等の仕様が互いに異なっていてもよい。 In the modification 14 of the first embodiment, the memory module used as the first memory is physically different from the memory module used as the second memory. As in the modification 14, the memory modules adopted as the respective memories may have different specifications such as capacity and read / write access speed.
上記第一実施形態の変形例15では、第一メモリ及び第二メモリが一つのメモリモジュールに統合されている。第一メモリ及び第二メモリは、共通のメモリスロットを介してデータバスに接続されている。変形例15では、データバスへの接続経路が見た目上で別れていなくても、処理部は、二つのメモリへのアクセスを独立的に実施可能である。即ち、処理部は、一方のメモリへのアクセスに速度的な影響を受けることなく、他方のメモリにアクセス可能である。以上のように、第一メモリ及び第二メモリは、物理的に独立した構成でなくてもよい。 In the modification 15 of the first embodiment, the first memory and the second memory are integrated into one memory module. The first memory and the second memory are connected to the data bus via a common memory slot. In the modified example 15, even if the connection paths to the data bus are not visually separated, the processing unit can independently access the two memories. That is, the processing unit can access the other memory without being affected by the speed of access to the other memory. As described above, the first memory and the second memory do not have to be physically independent configurations.
上記実施形態にて、表示制御ECUでのピッチ補正の対象とされる周波数帯域は、例えば悪路走行中、ブレーキ操作を複数回入力した場合、車両を急発進又は急減速させる場合等の走行シーンにて生じる振動を含む帯域であった。補正演算部によるピッチ補正のように、出力画像中の描画物をシフトさせる電子的な補正では、姿勢計測から虚像表示までのタイムラグが短縮され得る。一方で、相殺可能な補正量は、確保され難い。故に、ピッチ補正の対象となる周波数帯域は、上記のような走行シーンを想定した範囲とされるのがよい。 In the above embodiment, the frequency band targeted for pitch correction by the display control ECU is, for example, a driving scene such as when driving on a rough road, when a brake operation is input multiple times, or when the vehicle is suddenly started or decelerated. It was a band including vibration generated in. Electronic correction that shifts the drawing object in the output image, such as pitch correction by the correction calculation unit, can shorten the time lag from posture measurement to virtual image display. On the other hand, it is difficult to secure a correction amount that can be offset. Therefore, the frequency band to be pitch-corrected should be in the range assuming the above-mentioned driving scene.
但し、表示制御ECUでの補正対象とされる周波数帯域は、適宜変更されてもよい。さらに、表示制御ECUの補正対象とされる周波数帯域よりも低い周波数帯域については、描画ECUでの入力画像の生成時に補正されるのが望ましい。 However, the frequency band to be corrected by the display control ECU may be changed as appropriate. Further, it is desirable that the frequency band lower than the frequency band to be corrected by the display control ECU is corrected when the input image is generated by the drawing ECU.
入力画像Pi、中間画像Pm及び出力画像Poの各画像サイズ(解像度)は、適宜変更されてよい。入力映像データ及び出力映像データのデータ量(bps)は、各画像の縦解像度、横解像度、RGBの数、階調、フレームレート等の積になる。故に、第一メモリ及び第二メモリ等のアクセス速度を考慮のうえ、画像補正の遅延が拡大しないように、各解像度、階調及びフレームレート等は、決定されることが望ましい。各解像度、階調、フレームレート等を小さくし、データ量を減少させることで、安価なメモリを用いても、システムを成立させることが可能になる。また補正演算部は、各メモリへのアクセス状態を監視し、読み出し速度が不足しそうな場合に、解像度、階調及びフレームレート等を下げる調整を行ってもよい。 The image sizes (resolutions) of the input image Pi, the intermediate image Pm, and the output image Po may be appropriately changed. The data amount (bps) of the input video data and the output video data is the product of the vertical resolution, the horizontal resolution, the number of RGB, the gradation, the frame rate, etc. of each image. Therefore, it is desirable that each resolution, gradation, frame rate, etc. are determined so that the delay of image correction does not increase in consideration of the access speeds of the first memory, the second memory, and the like. By reducing each resolution, gradation, frame rate, etc. and reducing the amount of data, it is possible to establish a system even if an inexpensive memory is used. Further, the correction calculation unit may monitor the access state to each memory and make adjustments to lower the resolution, gradation, frame rate, etc. when the read speed is likely to be insufficient.
上記実施形態の変形例16の慣性センサは、ジャイロセンサ及び加速度センサを組み合わせた構成である。この慣性センサは、ヨー方向、ピッチ方向、ロール方向の各角速度を検出する3軸のジャイロセンサと、車両の前後方向、上下方向、左右方向の各加速度を検出する3軸の加速度センサとを備えた6軸のモーションセンサである。さらに、変形例17の慣性センサは、加速度センサのみを備え、ジャイロセンサを備えない。以上の変形例16,17のように、慣性センサの構成は、適宜変更されてよい。さらに、慣性センサの計測対象とされる姿勢変化も、ピッチングに限定されず、ロールやヒーブ等を含んでいてもよい。 The inertial sensor of the modification 16 of the above embodiment has a configuration in which a gyro sensor and an acceleration sensor are combined. This inertial sensor includes a 3-axis gyro sensor that detects each angular velocity in the yaw direction, pitch direction, and roll direction, and a 3-axis acceleration sensor that detects each acceleration in the front-rear direction, vertical direction, and left-right direction of the vehicle. It is a 6-axis motion sensor. Further, the inertial sensor of the modified example 17 includes only an acceleration sensor and does not include a gyro sensor. As in the above modified examples 16 and 17, the configuration of the inertial sensor may be changed as appropriate. Further, the posture change to be measured by the inertial sensor is not limited to pitching, and may include roll, heave, and the like.
さらに、変形例18の慣性センサは、表示制御ECUに内蔵された構成ではない。変形例18の慣性センサは、表示制御ECUの外部に設けられており、電気配線等を通じて、表示制御ECUの回路基板と接続されており、車両の姿勢変化を計測した計測情報をデータバスに逐次提供可能である。
Further, the inertial sensor of the
表示制御ECUにおける処理部の具体的な構成は、適宜変更可能である。処理部は、CPU等に加えて、GPU(Graphics Processing Unit)等の演算コアを含んでいてもよい。さらに処理部は、CPU及びFPG等を含んでなるSoC(System-on-a-Chip)の形態であってもよく、物理的に独立した複数の演算コアを回路基板に個別実装してなる形態であってもよい。 The specific configuration of the processing unit in the display control ECU can be changed as appropriate. The processing unit may include a calculation core such as a GPU (Graphics Processing Unit) in addition to the CPU and the like. Further, the processing unit may be in the form of a SoC (System-on-a-Chip) including a CPU, an FPG, and the like, and a plurality of physically independent arithmetic cores are individually mounted on a circuit board. May be.
処理部を各機能部として機能させるプログラム(表示制御プログラム)は、CPU又はGPU等に処理内容を指示する通常のソフトウェアであってもよく、又はFPGAを任意のハードウェア論理回路として機能させるハードウェアプログラムであってもよい。 The program (display control program) that causes the processing unit to function as each functional unit may be ordinary software that instructs the CPU, GPU, or the like to process the contents, or hardware that causes the FPGA to function as an arbitrary hardware logic circuit. It may be a program.
表示制御ECUの記憶部には、フラッシュメモリ及びハードディスク等の種々の非遷移的実体的記憶媒体(non-transitory tangible storage medium)が採用可能である。加えて、虚像表示に関連するプログラム及びパラメータを記憶する記憶媒体は、回路基板上に実装された記憶媒体に限定されず、例えばメモリカード等の形態であり、カードスロット部に挿入されて、データバスに電気的に接続される構成であってよい。さらに、記憶媒体は、表示制御ECUの記憶装置へのコピー元となる光学ディスク及び汎用コンピュータのハードディスクドライブ等であってもよい。 Various non-transitory tangible storage media such as a flash memory and a hard disk can be adopted as the storage unit of the display control ECU. In addition, the storage medium for storing the programs and parameters related to the virtual image display is not limited to the storage medium mounted on the circuit board, for example, in the form of a memory card or the like, and is inserted into the card slot portion to perform data. It may be configured to be electrically connected to the bus. Further, the storage medium may be an optical disk that is a copy source of the display control ECU to the storage device, a hard disk drive of a general-purpose computer, or the like.
本開示に記載の制御部及びその手法は、コンピュータプログラムにより具体化された一つ乃至は複数の機能を実行するようにプログラムされたプロセッサを構成する専用コンピュータにより、実現されてもよい。あるいは、本開示に記載の装置及びその手法は、専用ハードウェア論理回路により、実現されてもよい。もしくは、本開示に記載の装置及びその手法は、コンピュータプログラムを実行するプロセッサと一つ以上のハードウェア論理回路との組み合わせにより構成された一つ以上の専用コンピュータにより、実現されてもよい。また、コンピュータプログラムは、コンピュータにより実行されるインストラクションとして、コンピュータ読み取り可能な非遷移有形記録媒体に記憶されていてもよい。 The control unit and method thereof described in the present disclosure may be realized by a dedicated computer constituting a processor programmed to perform one or more functions embodied by a computer program. Alternatively, the apparatus and method thereof described in the present disclosure may be realized by a dedicated hardware logic circuit. Alternatively, the apparatus and method thereof described in the present disclosure may be realized by one or more dedicated computers configured by a combination of a processor for executing a computer program and one or more hardware logic circuits. Further, the computer program may be stored in a computer-readable non-transitional tangible recording medium as an instruction executed by the computer.
A 車両、Pi 入力画像、Po 出力画像、Tb ブランキング期間、Td 画面表示期間Td、Vdi 入力映像データ(映像データ)、60 処理部、61 信号生成部、63 データ書込部(画像書込部)、64 補正演算部、71 第一メモリ、72 第二メモリ、270 メモリ、100,200 表示制御ECU(表示制御装置) A vehicle, Pi input image, Po output image, Tb blanking period, Td screen display period Td, Vdi input video data (video data), 60 processing unit, 61 signal generation unit, 63 data writing unit (image writing unit) ), 64 Correction calculation unit, 71 1st memory, 72 2nd memory, 270 memory, 100,200 Display control ECU (display control device)
Claims (8)
前記虚像表示のために投影される出力画像(Po)を、入力画像(Pi)の補正によって生成する補正演算部(64)と、
前記補正演算部によって読み出し可能に前記入力画像を記憶する第一メモリ(71)及び第二メモリ(72)と、を備え、
前記第一メモリ及び前記第二メモリの両方は、前記入力画像を補正する補正演算に用いられる補正情報を、前記補正演算部によって読み出し可能に記憶しており、
前記補正演算部は、前記第一メモリ及び前記第二メモリの一方から前記入力画像を読み出しつつ、前記第一メモリ及び前記第二メモリの他方から前記補正情報を読み出す表示制御装置。 A display control device used in a vehicle (A) to control a virtual image display superimposed on the foreground of the vehicle.
The correction calculation unit (64) that generates the output image (Po) projected for the virtual image display by the correction of the input image (Pi), and
A first memory (71) and a second memory (72) for storing the input image so as to be readable by the correction calculation unit are provided.
Both the first memory and the second memory readablely store the correction information used for the correction calculation for correcting the input image by the correction calculation unit.
The correction calculation unit is a display control device that reads the correction information from the other of the first memory and the second memory while reading the input image from one of the first memory and the second memory.
前記出力画像における画素の位置を示した補正後座標と、
前記補正後座標の画素に割り当てられる前記入力画像の画素の位置を示した補正前座標と、
前記補正前座標から連続して読み出す画素の数を示したバースト長と、を含む前記補正情報が記憶されている請求項1に記載の表示制御装置。 Both the first memory and the second memory have
Corrected coordinates showing the positions of pixels in the output image, and
Pre-correction coordinates indicating the positions of the pixels of the input image assigned to the pixels of the corrected coordinates, and
The display control device according to claim 1, wherein the correction information including a burst length indicating the number of pixels continuously read from the pre-correction coordinates is stored.
前記補正演算部は、前記第一メモリ及び前記第二メモリのうちで、前記画像書込部によって前記入力画像が書き込まれている一方から、前記補正情報を読み出す請求項1~3のいずれか一項に記載の表示制御装置。 An image writing unit that acquires video data (Vdi) in which a plurality of the input images are continuous and alternately writes the input images that are frames of the video data to the first memory and the second memory. (63), further prepared,
The correction calculation unit is any one of claims 1 to 3 for reading the correction information from one of the first memory and the second memory in which the input image is written by the image writing unit. The display control device described in the section.
前記虚像表示のために投影される出力画像(Po)を、入力画像(Pi)の補正によって生成する補正演算部(64)と、
前記入力画像及び前記入力画像の補正演算に用いられる補正情報を、前記補正演算部によって読み出し可能に記憶するメモリ(270)と、を備え、
前記補正情報は、
前記出力画像における画素の位置を示した補正後座標と、
前記補正後座標の画素に割り当てられる前記入力画像の画素の位置を示した補正前座標と、
前記補正前座標から連続して読み出す画素の数を示したバースト長と、を含む表示制御装置。 A display control device used in a vehicle (A) to control a virtual image display superimposed on the foreground of the vehicle.
The correction calculation unit (64) that generates the output image (Po) projected for the virtual image display by the correction of the input image (Pi), and
A memory (270) for readablely storing the input image and the correction information used for the correction calculation of the input image by the correction calculation unit is provided.
The correction information is
Corrected coordinates showing the positions of pixels in the output image, and
Pre-correction coordinates indicating the positions of the pixels of the input image assigned to the pixels of the corrected coordinates, and
A display control device including a burst length indicating the number of pixels continuously read from the pre-correction coordinates.
前記補正演算部は、前記車両の姿勢変化に起因する姿勢補正量を、前記垂直同期信号にて画面表示期間(Td)の前側に設定されるブランキング期間(Tb)の後半において決定する請求項1~5のいずれか一項に記載の表示制御装置。 Further, a signal generation unit (61) for generating a vertical synchronization signal output to the outside together with the output image is provided.
The claim that the correction calculation unit determines the posture correction amount due to the posture change of the vehicle in the latter half of the blanking period (Tb) set on the front side of the screen display period (Td) by the vertical synchronization signal. The display control device according to any one of 1 to 5.
少なくとも一つの処理部(60)に、
当該処理部と結合された第一メモリ(71)及び第二メモリ(72)の両方に補正情報を格納し(S101)、
前記第一メモリ及び前記第二メモリの一方に入力画像(Pi)を書き込み(S103,S110)、
前記第一メモリ及び前記第二メモリの一方から書き込まれた前記入力画像を読み出しつつ、前記第一メモリ及び前記第二メモリの他方から前記補正情報を読み出し(S107,S114)、
前記補正情報を用いて前記入力画像を補正する補正演算により、前記虚像表示のために投影される出力画像(Po)を生成する(S108,S115)、ことを含む処理を実行させる表示制御プログラム。 A display control program used in a vehicle (A) to control a virtual image display superimposed on the foreground of the vehicle.
In at least one processing unit (60)
The correction information is stored in both the first memory (71) and the second memory (72) combined with the processing unit (S101).
The input image (Pi) is written in one of the first memory and the second memory (S103, S110).
While reading the input image written from one of the first memory and the second memory, the correction information is read from the other of the first memory and the second memory (S107, S114).
A display control program for executing a process including generating (S108, S115) an output image (Po) projected for the virtual image display by a correction operation for correcting the input image using the correction information.
少なくとも一つの処理部(60)に、
当該処理部と結合されたメモリ(270)に補正情報を格納し(S101)、
前記メモリに書き込まれた入力画像(Pi)と、前記補正情報とを読み出し(S107,S114)、
前記補正情報を用いて前記入力画像を補正する補正演算により、前記虚像表示のために投影される出力画像(Po)を生成する(S108,S115)、ことを含む処理を実行させ、
前記メモリには、
前記出力画像における画素の位置を示した補正後座標と、
前記補正後座標の画素に割り当てられる前記入力画像の画素の位置を示した補正前座標と、
前記補正前座標から連続して読み出す画素の数を示したバースト長と、を含む前記補正情報が準備される表示制御プログラム。 A display control program used in a vehicle (A) to control a virtual image display superimposed on the foreground of the vehicle.
In at least one processing unit (60)
The correction information is stored in the memory (270) combined with the processing unit (S101).
The input image (Pi) written in the memory and the correction information are read out (S107, S114).
A process including generating an output image (Po) projected for the virtual image display (S108, S115) by a correction operation for correcting the input image using the correction information is executed.
The memory has
Corrected coordinates showing the positions of pixels in the output image, and
Pre-correction coordinates indicating the positions of the pixels of the input image assigned to the pixels of the corrected coordinates, and
A display control program in which the correction information including a burst length indicating the number of pixels continuously read from the pre-correction coordinates is prepared.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018226710A JP7047730B2 (en) | 2018-12-03 | 2018-12-03 | Display control device and display control program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018226710A JP7047730B2 (en) | 2018-12-03 | 2018-12-03 | Display control device and display control program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020091325A JP2020091325A (en) | 2020-06-11 |
JP7047730B2 true JP7047730B2 (en) | 2022-04-05 |
Family
ID=71012756
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018226710A Active JP7047730B2 (en) | 2018-12-03 | 2018-12-03 | Display control device and display control program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7047730B2 (en) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002205571A (en) | 2001-01-10 | 2002-07-23 | Yazaki Corp | Vehicular display system |
JP2002247446A (en) | 2001-02-16 | 2002-08-30 | Minolta Co Ltd | Digital image pickup device, image pickup device, image processor and recording medium |
JP2003287707A (en) | 2002-03-27 | 2003-10-10 | Denso Corp | Image conversion method, image processor, headup display and program |
JP2017161760A (en) | 2016-03-10 | 2017-09-14 | トヨタ自動車株式会社 | On-vehicle image display system |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012044504A (en) * | 2010-08-20 | 2012-03-01 | Seiko Epson Corp | Video processing apparatus, video display apparatus, and video processing method |
-
2018
- 2018-12-03 JP JP2018226710A patent/JP7047730B2/en active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002205571A (en) | 2001-01-10 | 2002-07-23 | Yazaki Corp | Vehicular display system |
JP2002247446A (en) | 2001-02-16 | 2002-08-30 | Minolta Co Ltd | Digital image pickup device, image pickup device, image processor and recording medium |
JP2003287707A (en) | 2002-03-27 | 2003-10-10 | Denso Corp | Image conversion method, image processor, headup display and program |
JP2017161760A (en) | 2016-03-10 | 2017-09-14 | トヨタ自動車株式会社 | On-vehicle image display system |
Also Published As
Publication number | Publication date |
---|---|
JP2020091325A (en) | 2020-06-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR100637308B1 (en) | Image processing system, projector, information storage medium and image processing method | |
CN110308556B (en) | Image forming system, image correcting system, image displaying method, moving object, and non-transitory computer-readable medium | |
JP7040485B2 (en) | Display control device and display control program | |
US11247565B2 (en) | Virtual image display device | |
KR102561042B1 (en) | Data processing systems | |
JP6724886B2 (en) | Virtual image display | |
JP5348022B2 (en) | Projector and projection conversion processing apparatus | |
JP5239611B2 (en) | Projection display apparatus and image correction method | |
JP2022161901A (en) | Display control device and display control program | |
JP2015041922A (en) | Image processing system and image correction device | |
JP2020004413A (en) | Data processing systems | |
JP2008543071A (en) | Integrated circuit having warping arithmetic unit | |
JP2010525375A (en) | System for projecting a three-dimensional image on a two-dimensional screen and corresponding method | |
JP5348035B2 (en) | projector | |
JP2011193332A (en) | Projector and video projection method | |
JP7047730B2 (en) | Display control device and display control program | |
JP6427961B2 (en) | Image processing apparatus, display apparatus, image processing method, and program | |
JP2019161346A (en) | Head-up display device and display image correction method | |
JP2019169828A (en) | On-vehicle display control unit and on-vehicle display control method | |
JP2018088669A (en) | Projection image distortion correction device and method | |
JP7145509B2 (en) | VIDEO DISPLAY SYSTEM, VIDEO DISPLAY METHOD, PROGRAM AND MOBILE BODY | |
EP2811454B1 (en) | Image transformation | |
WO2020059441A1 (en) | Display control device, display control program, and computer-readable non-transitory recording medium | |
JP7066271B2 (en) | Image processing device, image processing method and head-up display system | |
JP2009288713A (en) | Display |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210413 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220210 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220222 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220307 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7047730 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |