JP2012089985A - Display controller and controller - Google Patents
Display controller and controller Download PDFInfo
- Publication number
- JP2012089985A JP2012089985A JP2010233476A JP2010233476A JP2012089985A JP 2012089985 A JP2012089985 A JP 2012089985A JP 2010233476 A JP2010233476 A JP 2010233476A JP 2010233476 A JP2010233476 A JP 2010233476A JP 2012089985 A JP2012089985 A JP 2012089985A
- Authority
- JP
- Japan
- Prior art keywords
- image
- memory
- video signal
- mode
- display
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012545 processing Methods 0.000 claims abstract description 22
- 239000002131 composite material Substances 0.000 claims description 52
- 230000005856 abnormality Effects 0.000 claims description 4
- 230000002194 synthesizing effect Effects 0.000 claims description 4
- 230000000694 effects Effects 0.000 abstract description 2
- 238000006243 chemical reaction Methods 0.000 description 12
- 239000000203 mixture Substances 0.000 description 6
- 230000015572 biosynthetic process Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 238000003786 synthesis reaction Methods 0.000 description 5
- 238000000034 method Methods 0.000 description 4
- 230000002159 abnormal effect Effects 0.000 description 3
- 240000004050 Pentaglottis sempervirens Species 0.000 description 2
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 description 2
- 239000012141 concentrate Substances 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 230000007257 malfunction Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
Images
Landscapes
- Closed-Circuit Television Systems (AREA)
Abstract
Description
本発明は、カメラで撮影された映像の表示を制御する表示制御装置及び制御装置に関する。 The present invention relates to a display control device and a control device that control display of an image captured by a camera.
従来、複数のカメラで撮影された映像を表示装置へ出力する場合、各カメラによって取得された映像信号を、一旦フレームメモリへ書き込み、書き込まれた映像信号を順次更新して出力する技術が知られている。（例えば、特許文献１） Conventionally, when outputting video captured by a plurality of cameras to a display device, a technique is known in which video signals acquired by each camera are once written in a frame memory, and the written video signals are sequentially updated and output. ing. (For example, Patent Document 1)
このような複数のカメラで撮影された映像を表示装置へ出力する装置では、ノイズ等の影響によって映像信号のフレームメモリへの書き込み処理が停止してしまうと、映像信号は更新して出力されなくなってしまう。そのため、表示装置にはユーザの意図しない静止画像が表示され、ユーザに誤った動作を促すおそれがあるといった問題がある。 In such a device that outputs video captured by a plurality of cameras to a display device, if the writing process of the video signal to the frame memory is stopped due to the influence of noise or the like, the video signal is not updated and output. End up. For this reason, there is a problem in that a still image unintended by the user is displayed on the display device, which may prompt the user to perform an erroneous operation.
特に、車両の前部、後部および側部等に設置されたカメラによって撮影された車両周辺の映像を運転者に提供することによって運転者の安全運転をサポートするような運転支援システムにおいては、このような問題が発生すると、運転者は意図しない静止画に戸惑ってしまい運転に集中できなくなってしまったり、また、静止画に切り替わっていることを知らずに動画像と信じて運転を続けてしまったりすると、良好に安全運転をサポートすることができなくなってしまうおそれがある。 In particular, in a driving support system that supports the driver's safe driving by providing the driver with images of the surroundings of the vehicle taken by cameras installed at the front, rear, and side portions of the vehicle. When such a problem occurs, the driver is confused by an unintended still image and can not concentrate on driving, or he believes that it is switched to a still image and continues driving by believing that it is a moving image Then, there is a possibility that it is impossible to support safe driving well.
そこで、本発明は、表示装置に表示される映像が正常でない場合に、その旨をユーザに提示することを行う表示制御装置及び制御装置を提供することを目的とする。 Therefore, an object of the present invention is to provide a display control device and a control device that present a user to that effect when an image displayed on a display device is not normal.
上記課題を解決するために、本発明に係る表示制御装置は、映像信号を受信し、受信した映像信号を第１のメモリに書き込む映像信号受信部と、前記映像信号を処理した画像を表示部に出力する画像出力部と、第１のメモリへの前記映像信号の書き込みが許可に設定されている場合で、前記映像信号の第１のメモリへの書き込みが停止したときに、フェイルセーフ処理を実行するメモリ制御部と、を有するようにした。 In order to solve the above problems, a display control device according to the present invention includes a video signal receiving unit that receives a video signal and writes the received video signal in a first memory, and a display unit that displays an image obtained by processing the video signal. When the writing of the video signal to the first memory is stopped when the writing of the video signal to the first memory and the video output to the first memory is set to be permitted, fail-safe processing is performed. And a memory control unit to be executed.
また、上記課題を解決するために、本発明に係る制御装置は、画像制御部と、映像信号を受信し、受信した映像信号を第１のメモリに書き込む映像信号受信部と、前記映像信号を処理した画像を表示部に出力する画像出力部と、第１のメモリへの前記映像信号の書き込みが許可に設定されている場合で、前記映像信号の第１のメモリへの書き込みが停止したときに、フェイルセーフ処理を実行するメモリ制御部と、を有するようにした。 In order to solve the above-described problem, a control device according to the present invention includes an image control unit, a video signal receiving unit that receives a video signal, writes the received video signal to a first memory, and the video signal. When the image output unit that outputs the processed image to the display unit and the writing of the video signal to the first memory are set to permit, and the writing of the video signal to the first memory is stopped And a memory control unit that executes fail-safe processing.
本装置では、表示装置に表示される映像が正常でない場合には、その旨をユーザに提示するため、ユーザに誤った動作を誘発しなくできる。特に、運転支援システムにおいては、運転者に誤った運転操作を回避できるため、安全運転を維持することが可能となる。 In the present apparatus, when the video displayed on the display device is not normal, the fact is presented to the user, so that it is not possible to induce an erroneous operation to the user. In particular, in the driving support system, since it is possible to avoid an erroneous driving operation by the driver, it is possible to maintain safe driving.
本発明の明細書に記載される具体例は単なる例示に過ぎず、本発明を限定するものとして解釈してはならない。また、本発明の説明は例示のためのもので、請求項の範囲を制限するためのものではない。したがって、様々な代案、修正、及び変形が当業者にとっては明らかである。 The specific examples described in the specification of the present invention are merely illustrative and should not be construed as limiting the invention. Also, the description of the present invention is intended to be illustrative and not intended to limit the scope of the claims. Accordingly, various alternatives, modifications, and variations will be apparent to those skilled in the art.
図１（ａ）は、車両を上方から見た図であり、カメラが、前部（カメラＦ１１）、後部（カメラＢ（バックカメラ）１２）、右側部（カメラＲ１３）及び左側部（カメラＬ１４）に４台設置されている。カメラＦ１１は、車両の前部の一部と車両前方周囲の映像を撮像し、カメラＢ１２は、車両の後部の一部と車両後方周囲の映像を撮像し、カメラＲ１３は、車両の右側部の一部と車両右側方周囲の映像を撮像し、カメラＬ１４は、車両の左側部の一部と車両左側方周囲の映像を撮像する。 FIG. 1A is a view of the vehicle as viewed from above. The cameras are a front part (camera F11), a rear part (camera B (back camera) 12), a right part (camera R13), and a left part (camera L14). 4 units are installed. The camera F11 captures a part of the front part of the vehicle and a video around the front of the vehicle, the camera B12 captures a part of the rear part of the vehicle and a video around the rear of the vehicle, and the camera R13 A part and a video around the right side of the vehicle are captured, and the camera L14 captures a part of the left side of the vehicle and a video around the left side of the vehicle.
また、カメラ１１〜１４は、広い画角で撮影可能なカメラであることが好ましいが、それに限定されず、カメラ１１〜１４のうち一部が狭い画角で撮影可能なカメラであってもよい。
The
カメラ１１〜１４により広い画角で撮像された車両周辺の映像は、画像の縁端部に近づくほどゆがんでいる。そこで、取得された画像のゆがみを修正するとともに、自車両と自車両の周囲に存在する物体との位置関係が明確となるように、カメラ１１〜１４によって取得された画像を仮想視点から見たような合成画像に合成し、その合成画像にＦＬＡＳＨメモリに予め記憶されている自車両の画像（イメージ画像、ポリゴン画像等）を重畳して表示部に出力する。
The video around the vehicle captured by the
図１（ｂ）は、表示部に出力された合成画像の一例である。自車両を上方の仮想視点から見たときの合成画像を示す。カメラ１１〜１４によって撮影された、前方画像１１１、後方画像１２１、右側方画像１３１、左側方画像１４１及び自車両の画像（イメージ）１０１を合成したものである。自車両は合成画像の中央付近に表示される。
FIG. 1B is an example of a composite image output to the display unit. The composite image when the own vehicle is seen from the upper virtual viewpoint is shown. A front image 111, a
図２は、本発明の表示制御装置２０の概念図を示す。表示制御装置２０は、表示制御部２４及び画像制御部３０を含む。図２を参照して、カメラ１１〜１４によって撮影された映像を表示部４０に表示するまでの映像信号の処理を説明する。表示制御装置２０は、カメラから映像信号を取得し、取得した映像信号をメモリへ書き込み、メモリに書き込まれた映像信号を読み出し、メモリから読み出された映像信号に基づいて合成画像を作成し、作成した合成画像をメモリへ書き込んだり、作成した合成画像を表示部へ出力したりする等の処理を行う。
FIG. 2 is a conceptual diagram of the display control device 20 of the present invention. The display control device 20 includes a
表示制御部２４は、映像信号受信部２１、画像合成部２２、画像出力部２３、メモリ制御部２７、書き込み停止レジスタ２０１、出力レジスタ２０２等を有する。書き込み停止レジスタ２０１、出力レジスタ２０２は、バス２８を介してメモリ制御部２７に接続される。また、映像信号受信部２１、画像合成部２２及び画像出力部２３は、バス２９を介してメモリ制御部２７に接続される。
The
第１のメモリ２５−１は、バス３６を介して映像信号受信部２１に接続される。また、第２のメモリ２５−２、第３のメモリ（不揮発性メモリ）２６は、それぞれ、バス３７，３８を介して画像合成部２２に接続される。
The first memory 25-1 is connected to the video
画像制御部３０には、状態レジスタ３０１とステータスレジスタ３０２が、配置される。メモリ制御部２７は、バス３３を介して画像制御部３０に接続される。また、第１のスイッチ３１と第２のスイッチ３２は、それぞれ、バス３４，３５を介して画像制御部３０に接続される。
In the
４台のカメラＦ１１、カメラＢ１２、カメラＲ１３、カメラＬ１４を示しており、各カメラは、自車両の前方、後方、右側方、左側方の画像情報（前方画像情報、後方画像情報、右側方画像情報，左側方画像情報）を映像信号として取得し、映像信号受信部２１へ入力する。映像信号受信部２１は、Ａ／Ｄ変換部（図示せず）を備えている。
Four cameras F11, B12, R13, and L14 are shown, and each camera has front, rear, right side, and left side image information (front image information, rear image information, right side image) of the host vehicle. Information, left-side image information) is acquired as a video signal and input to the video
映像信号受信部２１は、受信した映像信号がアナログ信号の場合、Ａ／Ｄ変換部でアナログ信号をデジタル信号に変換する。一方、受信した映像信号がデジタル信号の場合は、Ａ／Ｄ変換部によるＡ／Ｄ変換は行われない。尚、アナログの映像信号はアナログ映像信号、デジタルの映像信号はデジタル映像信号と、以降に記載する。
When the received video signal is an analog signal, the video
次に、メモリ制御部２７からの制御信号により、デジタル映像信号を第１のメモリ２５−１（例えば、ＤＤＲ２メモリ）に書き込む。第１のメモリ２５−１では、各カメラ１１〜１４によって同じタイミングで撮影された映像信号が同期をとって読み出されるように格納される。具体的には、例えば、第１のメモリ２５−１の記憶領域の上２つにカメラＢ１２とカメラＬ１４からのデジタル映像信号を、第１のメモリ２５−１の記憶領域の下２つにカメラＲ１３とカメラＦ１１からのデジタル映像信号を書き込む。このように記憶領域の上下２段の近接した位置に書き込むと、４つのカメラ１１〜１４からの映像信号を第１のメモリ２５−１から読み出した時に同じタイミングでの読み出しが可能となる。
Next, the digital video signal is written into the first memory 25-1 (for example, DDR2 memory) by the control signal from the memory control unit 27. In the first memory 25-1, video signals captured at the same timing by the
ここで、画像制御部３０は、後述する状態レジスタ３０１が、第１のメモリ２５−１へのデジタル映像信号の書き込みを停止する状態（書き込み停止の状態（状態「１」）であることを検出すると、表示制御部２４の後述する書き込み停止レジスタ２０１を書き込み停止の状態（状態「１」）にする。このような状態になると、第１のメモリ２５−１に書き込まれたデジタル映像信号を読み出しても、第１のメモリ２５−１に格納されている映像信号は更新されていないため、カメラ１１〜１４で撮像されている現在の（リアルタイムな）映像信号は、第１のメモリ２５−１から読み出すことはできない。
Here, the
一方で、第１のメモリ２５−１への書き込みが停止した時点で、第１のメモリ２５−１に書き込まれている映像信号が繰り返し読み出されるため、表示部には静止画が表示される。
これによって、運転者の意図に関係なく、ノイズ等の影響で状態レジスタ３０１や書き込み停止レジスタ２０１が書き込み停止状態となると、運転者は意図しない静止画に戸惑ってしまい運転に集中できなくなってしまったり、また、静止画に切り替わっていることを知らずに動画像と信じて運転を続けてしまったりするおそれがある。
On the other hand, since the video signal written in the first memory 25-1 is repeatedly read out when the writing to the first memory 25-1 is stopped, a still image is displayed on the display unit.
As a result, regardless of the driver's intention, if the
次に、画像合成部２２は、第１のメモリ２５−１から読み出した４方向を撮影した画像情報（前方画像情報、右側方画像情報，左側方画像情報，後方画像情報）のデジタル映像信号に対し、座標変換処理を施し、自車両のイメージ画像（ポリゴン画像等）を含まない合成画像を作成する。
Next, the
次に、画像合成部２２は、自車両のイメージ画像を予め記憶した第３のメモリ（不揮発性メモリ）２６（例えば、ＦＬＡＳＨメモリ）から読み出し、合成画像に自車両のイメージ画像を重畳するように合成する（貼り付ける）。これによって作成された自車両のイメージ画像を含む合成画像（前方画像情報、右側方画像情報，左側方画像情報，後方画像情報、自車両のイメージ画像を含む）を第２のメモリ２５−２に書き込む（画像をセーブする）。
Next, the
ここで、自車両のイメージ画像は必要な時に読み出し可能なように、上方、前方、後方、左右側方を含む周囲３６０度の全ての方向及び様々な高さから見た自車両のイメージ画像を第３のメモリ２６に予め記憶しておく。さらに、第３のメモリ２６に記憶した自車両のイメージ画像を揮発性メモリ（例えば、ＤＲＡＭ）に書き込んだものを読み出してもよい。
Here, the image image of the host vehicle viewed from all directions of 360 degrees including the upper, front, rear, left and right sides and various heights so that it can be read out when necessary. Pre-stored in the
そして、画像出力部２３は、第２のメモリ２５−２に記憶されている自車両のイメージ画像を含む合成画像を表示部４０に出力する。ここで、画像出力部２３は、Ｄ／Ａ変換部（図示せず）を備えてもよい。出力信号として、アナログ映像信号が必要な場合には、デジタル映像信号をＤ／Ａ変換部でＤ／Ａ変換して、アナログ映像信号とした合成画像を、表示部４０に出力する。なお、合成画像をデジタル映像信号で出力する場合には、合成画像のＤ／Ａ変換は行わない。
Then, the
また、前述した実施形態では、映像信号の処理および制御において、カメラから取得された映像信号を第１のメモリ２５−１に、合成画像の映像信号を第２のメモリ２５−２に書き込んでいる。別の実施形態として、メモリの容量が十分に大きく、信号処理速度が十分速い場合は、第１のメモリと第２のメモリを１つのメモリとして、メモリ領域を分割して扱ってもよい。 In the above-described embodiment, in the processing and control of the video signal, the video signal acquired from the camera is written in the first memory 25-1 and the video signal of the composite image is written in the second memory 25-2. . As another embodiment, when the memory capacity is sufficiently large and the signal processing speed is sufficiently high, the memory area may be divided and handled by using the first memory and the second memory as one memory.
［１画面表示］
上記では、カメラ１１〜１４から取得された画像情報のそれぞれを合成した合成画像を表示部に出力するための画像信号処理について説明したが、次に、カメラＢ１２によって取得された車両の後方周囲の画像情報のみを表示部に出力するための画像信号の処理について説明する。
[Single screen display]
In the above description, the image signal processing for outputting the combined image obtained by synthesizing each of the image information acquired from the
映像信号受信部２１は、カメラＢ１２によって撮影された後方画像情報を取得し、第１のメモリ２５−１に書き込む。そして、第１のメモリ２５−１に書き込まれた後方画像情報のデジタル映像信号のみを第１のメモリ２５−１から読み出し、視点変換及び画像合成を行わずに、後方画像情報の１画面のみを表示部４０へ出力する。必要な場合には、後方画像情報をＤ／Ａ変換した後、表示部４０へ出力する。
The video
また、同様にして、映像信号受信部２１は、カメラＦ１１、カメラＲ１３又はカメラＬ１４のいずれか一つによって撮影された画像情報のデジタル映像信号を第１のメモリ２５−１から読み出し、画像情報を視点変換及び画像合成を行わずに、選択された画像情報の１画面のみを表示部４０へ出力する。必要な場合には、後方画像情報をＤ／Ａ変換した後、表示部４０へ出力する。このようにして、４つのカメラのいずれかから得られた画像情報の１画面のみを表示部４０に出力することができる。
Similarly, the video
さらに、後方画像情報を視点変換した映像信号を１画面表示のための映像情報として用いることもできる。さらに、視点変換し、画像合成した合成画像から、必要な部分、例えば、後方画像情報のみを取り出して１画面情報とすることもできる。これは、１画面情報として、前方画像情報、右側方画像情報、左側方画像情報のいずれかを取り出す場合においても、同様にして合成画像からいずれかの１画面情報を取り出すことができる。 Furthermore, a video signal obtained by converting the viewpoint of the rear image information can be used as video information for one-screen display. Furthermore, it is also possible to extract only a necessary portion, for example, rear image information, from the synthesized image obtained by performing viewpoint conversion and image synthesis to be one-screen information. In this case, even when any one of the front image information, the right side image information, and the left side image information is extracted as one screen information, any one screen information can be extracted from the composite image in the same manner.
［第２の合成画像］
さらに、合成画像とバックカメラＢ１２の１画面とを更に合成した、第２の合成画像を作成することができる。自車両のイメージを含む合成画像のデジタル映像信号を第２のメモリ２５−２から読み出し、バックカメラＢ１２からの１画面の後方画像情報のデジタル映像信号を第１のメモリ２５−１から読み出し、カメラ１１〜１４から画像情報を取得した時刻が同じとなるようにして、第２の合成画像を作成する。
[Second composite image]
Furthermore, a second composite image can be created by further combining the composite image with one screen of the back camera B12. The digital video signal of the composite image including the image of the host vehicle is read from the second memory 25-2, the digital video signal of the rear image information of one screen from the back camera B12 is read from the first memory 25-1, and the camera A second composite image is created such that the time when the image information is acquired from 11 to 14 is the same.
この際、合成画像と１画面の後方画像とを左右に並べて表示した第２の合成画像としてもよい。また、合成画像と１画面の後方画像とを上下に並べて表示した第２の合成画像としてもよい。さらに、１画面の画像は、後方画像以外の、前方画像、右側方画像、左側方画像のいずれか１つを任意に選択できる。 At this time, a second composite image in which the composite image and the rear image of one screen are displayed side by side may be used. Moreover, it is good also as a 2nd synthesized image which displayed the synthesized image and the back image of 1 screen side by side up and down. Furthermore, as for the image of one screen, any one of the front image, the right side image, and the left side image other than the rear image can be arbitrarily selected.
ここで、１画面の後方画像は視点変換及び合成画像処理を行っていないので、第１のメモリ２５−１から読み出されるカメラＢ１２からの後方画像の映像信号のカメラＢ１２での映像取得時刻は、第２のメモリ２５−２から読み出される合成画像を作成する画像のカメラ１１〜１４からの映像取得時刻と比較すると、合成画像を作成するための視点変換及び画像合成処理等に要する時間だけ早い。
Here, since the rear image of one screen is not subjected to viewpoint conversion and composite image processing, the video acquisition time at the camera B12 of the video signal of the rear image read from the camera B12 read from the first memory 25-1 is Compared with the video acquisition time from the
したがって、カメラＢ１２からの後方画像と合成画像とを合成する際には、両画像についての映像信号のカメラからの取得時刻が一致するように、後方画像を遅延させて第２の合成画像を作成することが必要である。 Therefore, when the rear image from the camera B12 and the composite image are combined, the second image is created by delaying the rear image so that the acquisition times of the video signals from the camera for both images coincide. It is necessary to.
また、１画面の前方画像、右側方画像、左側方画像のいずれかについても、１画面の後方画像と同様に、視点変換及び画像合成処理された合成画像とは、画像取得時間のずれがあるので、第２の合成画像を作成する際には、画像の取得時刻の調整が必要である。 Also, for any one of the front image, the right side image, and the left side image of one screen, there is a difference in image acquisition time from the composite image that has been subjected to viewpoint conversion and image synthesis processing, as with the rear image of one screen. Therefore, when creating the second composite image, it is necessary to adjust the image acquisition time.
なお、第２の合成画像を作成する際に、合成画像の一部分を切り出して、１画面画像として利用し、更に、合成画像と合成する場合には、画像合成の元となる画像情報の取得時間のずれはない。したがって、映像取得時間を一致させるための、１画面画像の映像信号の遅延は不要である。 When creating the second composite image, a part of the composite image is cut out and used as a one-screen image, and when it is combined with the composite image, the acquisition time of the image information that is the source of the image composition There is no gap. Therefore, there is no need to delay the video signal of one screen image for matching the video acquisition times.
図２に記載される表示制御部２４においては、第１のメモリ２５−１、第２のメモリ２５−２、第３のメモリ（不揮発性メモリ）２６が、表示制御部２４の外部に配置されているが、表示制御部２４の内部に配置してもよい。また、画像制御部３０も、表示制御部２４の内部に配置することができる。
In the
図３は、画像制御部３０の状態レジスタ３０１、ステータスレジスタ３０２と、表示制御部２４の書き込み停止レジスタ２０１、出力レジスタ２０２の動作を説明する図である。図３（ａ）は、状態レジスタが「１」（書き込み停止）の場合の状態を、図３（ｂ）は、状態レジスタが「０」（書き込み許可）の場合の状態を示す。
FIG. 3 is a diagram for explaining the operation of the
画像制御部３０の状態レジスタ３０１の状態を設定するための手段として、第１のスイッチ３１、第２のスイッチ３２が画像制御部３０に接続されている。そして、第１のスイッチ３１及び第２のスイッチ３２の動作により、状態レジスタ３０１の状態を「０」（書き込み許可）に設定することができる。
As means for setting the state of the
図３（ａ）は、状態レジスタが「１」（第１のメモリへの書き込み停止）に設定された場合である。例えば、図４の運転支援モード（自動）（モード１）では、表示画面にナビゲーション画面（ナビ画面）が表示される。この場合には、カメラからの映像信号を第１のメモリ２５−１へ書き込むことは不要である。したがって、運転支援モード（自動）（モード１）では、状態レジスタは「１」に設定される。この状態レジスタ「１」の設定及び解除は、ギヤの切り換えに応じて行われる。すなわち、ギヤの切り換えを検出する信号に基づいて第１のスイッチ３１の動作が行われ、これにより状態レジスタ「１」の設定及び解除が行われる。(図２参照）
FIG. 3A shows a case where the status register is set to “1” (stop writing to the first memory). For example, in the driving support mode (automatic) (mode 1) in FIG. 4, a navigation screen (navigation screen) is displayed on the display screen. In this case, it is not necessary to write the video signal from the camera into the first memory 25-1. Therefore, in the driving support mode (automatic) (mode 1), the status register is set to “1”. The setting and release of the status register “1” is performed according to the gear change. That is, the operation of the
ここで、表示制御部２４の出力レジスタ２０２の動作について説明する。出力レジスタ２０２の状態は、「表１」に示すとおりである。
Here, the operation of the
出力レジスタ２０２は、ここでは、２ビット表示であり、表示は、「００」、「０１」、「１０」、「１１」をとり得る。出力レジスタ２０２が「００」のときは、正常動作であり、また、出力レジスタ２０２の「０１」、「１０」は、いずれかのカメラからの映像信号を映像信号受信部が受信していない、即ち異常が生じていることを意味する。そして、出力レジスタ２０２が「１１」のときは、第１のメモリ２５−１への書き込み停止を意味する。メモリ制御部２７は、表示制御部２４の各部を監視し、その状態を出力レジスタ２０２に設定する。第１のメモリ２５−１への書き込み停止は、ユーザーが意図して設定する場合もあるため、本来書き込み停止状態は異常状態とは言えない。本実施の形態では、元々異常状態を出力するための出力レジスタ２０２を利用して第１のメモリ２５−１への書き込み停止状態を出力している。
Here, the
表示制御部２４の出力レジスタ２０２の「０１」、「１０」のそれぞれに対して、どのカメラからの映像信号を映像信号受信部２１が受信していないかを対応させることは任意である。例えば、「０１」では、サイドカメラ１３，１４からの映像信号がないことを示し、「１０」では、フロントカメラ１１からの映像信号がないことを示すと設定できる。また、「０１」、「１０」に対して、他のカメラからの映像信号がないことを示すと設定することもできる。
It is arbitrary to associate each of “01” and “10” of the
したがって、出力スレジスタ２０２の状態が、「１１」であることは、カメラからの映像信号が単に受信されない状態とも異なることは明らかである。なお、出力レジスタ２０２の状態が「０１」、「１０」であることは、一般的には、対応付けられたカメラの何らかの不具合を意味する。
Therefore, it is obvious that the state of the
さらに、表示制御部２４の出力レジスタ２０２のビット数は、３以上、例えば３とすることができる。すると、正常状態及び第１のメモリ２５−１への書き込み停止以外に、最大６つの異なる状態を出力することができる。そうすることにより、４つのカメラのいずれからの映像信号がないかを個別に検出して出力することもできるし、他の部位の異常状態を出力することもできる。
Furthermore, the number of bits of the
表示制御部２４の出力レジスタ２０２の状態は、画像制御部３０のステータスレジスタ３０２に伝えられ、ステータスレジスタ３０２には、出力レジスタ２０２と同じ状態が設定される。例えば、出力レジスタ２０２が「００」であれば、ステータスレジスタ３０２にも「００」が設定され、出力レジスタ２０２が「１１」であれば、ステータスレジスタ３０２にも「１１」が設定される。
The state of the
次に、出力レジスタ２０２からステータスレジスタ３０２に伝えられた状態、例えば、「１１」が、状態レジスタ３０１の状態「１」と一致していれば、正常であるため画像制御部３０から新たな制御信号は出されない。しかしながら、例えば、状態レジスタ３０１が「０」の状態であるのに対して、出力レジスタ２０２から伝えられた、ステータスレジスタ３０２の状態が「１１」であれば、画像制御部３０により、ユーザの意図（状態レジスタ（「０」））と現在の状態（ステータスレジスタ（「１１」））とが一致していないことが検出できる。
Next, if the state transmitted from the
言い換えると、状態レジスタ３０１が「第１のメモリへの書き込み許可」の状態（「０」）であるにもかかわらず、ステータスレジスタ３０２が「第１のメモリへの書き込み停止」の状態（「１１」）を示している。すると、画像制御部３０は、表示制御部２４に異常が生じていると判断し、表示画面に出力される映像信号が、逐次更新されていないことを示すために、第２のメモリ２５−２から警告画像を読み出し、表示部４０に警告画像を表示するように制御する信号を出力する。
In other words, even though the
ここで、画像制御部３０の「状態レジスタ」３０１は、書き込み許可の状態「０」であるにもかかわらず、ノイズ等の何かの不具合により、表示制御部２４の書き込み停止レジスタ２０１が、書き込み停止の状態「１」となる。すると、メモリ制御部２７が、表示制御部２４の書き込み停止レジスタ２０１が「１」となったことを検出して、出力レジスタ２０２を状態「１１」とする。そして、画像制御部３０は、出力レジスタ２０２が状態「１１」となったことを検出して、ステータスレジスタ３０２を状態「１１」とする。
Here, although the “status register” 301 of the
この状態では、状態レジスタ３０１の状態（「０」：第１のメモリへの書き込み許可）と、ステータスレジスタ３０２の状態（「１１」：第１のメモリへの書き込み停止）とは一致していない。したがって、画像制御部３０は、状態レジスタ３０１の状態とステータスレジスタ３０２の状態が一致していない、言い換えると、第１のメモリ２５−１への書き込み許可と設定しているにもかかわらず、第１のメモリ２５−１への書き込みが停止していることを検出する。
In this state, the state of the state register 301 (“0”: write permission to the first memory) does not match the state of the status register 302 (“11”: stop writing to the first memory). . Therefore, the
そして、ユーザの意図に反して第１のメモリ２５−１への書き込みが停止されていることをユーザに知らせるために、表示部の画面には警告画像が表示される。このようにして、フェイルセーフ処理を実行する。 Then, a warning image is displayed on the screen of the display unit in order to notify the user that writing to the first memory 25-1 is stopped against the user's intention. In this way, fail-safe processing is executed.
警告画像は、予め記憶された第３のメモリ（不揮発性メモリ）２６から読み出されて表示される。警告画像に表示される警告信号としては、単色（例えば、黒、青）の画面、又は、警告内容を言語、記号、意匠、又は模様で表わす画面が含まれる。ユーザは、警告画像を見ることにより、映像信号の第１のメモリへの書き込みが停止していることを明確に認識できる。 The warning image is read from the third memory (nonvolatile memory) 26 stored in advance and displayed. The warning signal displayed on the warning image includes a single color (for example, black, blue) screen or a screen that displays the warning content in a language, symbol, design, or pattern. The user can clearly recognize that the writing of the video signal to the first memory is stopped by looking at the warning image.
ここで、図４の運転支援モードでは、車両に搭載されたカメラ１１〜１４からの画像情報を合成した合成画面は表示画面に表示されていないので、カメラ１１〜１４によって取得された映像信号の第１のメモリ２５−１への書き込みは行われない。したがって、画像制御部３０の状態レジスタ３０１は、書き込み停止の状態（状態「１」）となっている。画像制御部３０は、状態レジスタ３０１が、書き込み停止の状態（状態「１」）であることを検出すると、表示制御部２４の書き込み停止レジスタ２０１を書き込み停止の状態（状態「１」）にする。
Here, in the driving support mode of FIG. 4, since the composite screen obtained by combining the image information from the
そして、メモリ制御部２７は、書き込み停止レジスタ２０１が書き込み停止の状態（状態「１」）になったことを検出して、第１のメモリへのデジタル映像信号の書き込みを停止させると共に、表示制御部２４の出力レジスタ２０２を書き込み停止中であることを示す状態「１１」とする。また、画像制御部３０は、出力レジスタ２０２の出力を監視し、出力レジスタ２０２が書き込み停止の状態（状態「１１」）になったことを検出してステータスレジスタ３０２を書き込み停止中であることを示す状態「１１」とする。
The memory control unit 27 detects that the write stop register 201 is in a write stop state (state “1”), stops writing the digital video signal to the first memory, and performs display control. The
ここで、状態レジスタ３０１の状態「１」と、ステータスレジスタ３０２の状態「１１」とを比較すると、いずれも、第１のメモリ２５−１への書き込み停止の状態である。したがって、図３（ａ）のレジスタの状態は、ユーザの設定（状態レジスタ３０１「１」）と現在の状態、即ち、ステータスレジスタ３０２の状態（書き込み停止（状態「１１」））が一致している。
Here, when the state “1” of the
この場合には、ステータスレジスタ３０２は書き込み停止の状態であるが、ユーザが、第１のスイッチ３１を動作させて行った状態レジスタ３０１の設定と一致するので問題はない。
In this case, the
次に、運転者（ユーザ）がギヤを「リバース」に切り換えると、自動的に、表示画面が、ナビゲーション画面から、カメラ画像に切り換り、車両に搭載したカメラからの映像信号を変換したデジタル映像信号の第１のメモリ２５−１への書き込みを開始する。即ち、ギヤ切り換えに連動して運転支援モード（自動）（モード１）から駐車支援モード(自動）（モード２）にモードが、切り換る（図４参照）。 Next, when the driver (user) switches the gear to “reverse”, the display screen is automatically switched from the navigation screen to the camera image, and the digital signal obtained by converting the video signal from the camera mounted on the vehicle. Writing of the video signal to the first memory 25-1 is started. That is, the mode is switched from the driving assistance mode (automatic) (mode 1) to the parking assistance mode (automatic) (mode 2) in conjunction with the gear change (see FIG. 4).
ギヤのリバースへの切り換えを検出し、その検出信号に基づく、第１のスイッチ３１の動作により、画像制御部３０の状態レジスタ３０１は、書き込み許可の状態（状態「０」）となる。そして、画像制御部３０は、状態レジスタ３０１が書き込み許可の状態（状態「０」）であることを検出すると、表示制御部２４の書き込み停止レジスタ２０１を、書き込み許可の状態（状態「０」）とする。そして、モード２の画面４０２又は４０３では、モード２が選択された状態を示す、スイッチ４０５が「ＯＮ」となっている（図４参照）。
The
さらに、運転者（ユーザ）がギヤを「リバース」から「フォーワード」に切り換えると、表示画面が、カメラから映像信号に基づく合成画像から、ナビゲーション画面に自動的に切り換る。即ち、ギヤ切り換えに連動して、駐車支援モード（自動）（モード２）から運転支援モード(自動）（モード１）にモードが切り換る（図４参照）。 Further, when the driver (user) switches the gear from “reverse” to “forward”, the display screen is automatically switched from the composite image based on the video signal from the camera to the navigation screen. That is, in conjunction with the gear switching, the mode is switched from the parking assistance mode (automatic) (mode 2) to the driving assistance mode (automatic) (mode 1) (see FIG. 4).
同時に、車両に搭載したカメラからの映像信号を変換したデジタル映像信号の第１のメモリ２５−１への書き込みは不要となり、第１のメモリ２５−１への書き込みを停止する。そして、モード１の画面４０１では、モード１が選択された状態を示す、スイッチ４０４が「ＯＮ」となっている（図４参照）。
At the same time, the writing of the digital video signal obtained by converting the video signal from the camera mounted on the vehicle into the first memory 25-1 becomes unnecessary, and the writing into the first memory 25-1 is stopped. On the
そのとき、画像制御部３０の「状態レジスタ」３０１は、書き込み許可（状態「０」）から書き込み停止（状態「１」）となる。同様にして、表示制御部２４の「書き込み停止レジスタ」２０１も、書き込み許可（状態「０」）から書き込み停止（状態「１」）となる。
At that time, the “status register” 301 of the
再度、運転者（ユーザ）がギヤを「リバース」に切り換えると、表示画面が、ナビゲーション画面からカメラからの映像信号を表示する画面に自動的に切り換わる。同時に、車両に搭載したカメラからの映像信号を変換したデジタル映像信号の第１のメモリ２５−１への書き込みが開始する。さらに、画像制御部３０の状態レジスタ３０１は、書き込み許可（状態「０」）となり、表示制御部２４の書き込み停止レジスタ２０１も、書き込み許可（状態「０」）となる。
When the driver (user) switches the gear to “reverse” again, the display screen is automatically switched from the navigation screen to a screen displaying the video signal from the camera. At the same time, writing of the digital video signal obtained by converting the video signal from the camera mounted on the vehicle into the first memory 25-1 is started. Further, the
［表示画面切換え］
図４は、本発明の表示制御装置の表示モード１，２の説明図である。図４には、本発明での表示モードで、運転支援モード（モード１）と駐車支援モード（モード２）とを自動で切り換える際のモードの切換えと、切換えにより表示される画面を示している。通常の運転においては、運転支援モード（モード１）で、ナビゲーション画面（ナビ画面）４０１が表示され、ナビゲーションシステム(図示せず）からのナビゲーション画面４０１により、運転者の支援をする。
[Display screen switching]
FIG. 4 is an explanatory diagram of
ここで、画面上に形成したモード切り換えスイッチ４０４ないし４０７（例えば、タッチパネル上のスイッチ）は、それぞれ、モード１ないし４（図５参照）に対応している。したがって、モード１の画面４０１では、モード１に対応するスイッチ４０４が「ＯＮ」となっている。
Here, the mode change-over
また、モード２の画面４０２、４０３では、モード２に対応するスイッチ４０５が「ＯＮ」となっている。このように、現在のモードが画面上に表示されているので、モードの確認が容易であり、モード切り換えもスイッチ４０４ないし４０７の選択により、任意に変更できる。
On the
駐車支援モード（モード２）においては、４台のカメラからの画像情報を利用して作成した自車両を含む合成画像とバックカメラＢ１２からの後方画像を１画面とした第２の合成画像４０２の表示画面と、バックカメラＢ１２からの後方画像のみを１画面とした表示画面４０３とを、ユーザは、例えば、画面（タッチパネル）上に形成した切り換えスイッチ４０８で切り換えることができる。
In the parking support mode (mode 2), the second
スイッチ４０８により切り換えられる状態は、例えば、画面４０２では、スイッチ４０８が「ＯＮ」と表示され、画面４０３では、スイッチ４０８は「ＯＦＦ」と表示される。モード１の画面４０１では、スイッチ４０８は、図４のように表示される場合は非アクティブとするか、または、画面表示しないかのいずれかが選択できる。
The state switched by the
ここで、運転支援モード(自動）（モード１）と駐車支援モード(自動）（モード２）とは、ギアの切換えに連動して自動で切り換えることができる。運転支援モード（モード１）の通常運転時に、ギアをリバースに切り換えると、ギアの切換えと連動して、表示モードが、運転支援モード（モード１）から駐車支援モード（モード２）に切り換わる。尚、モード１とモード２の切替はギヤ位置と車速に基づき行なうようにしてもよい。例えば、ギヤが「フォーワード」かつ車速が１０Ｋｍ／ｈ以上の時、ナビゲーション画面に切り換え、ギヤが「フォーワード」かつ車速が１０Ｋｍ／ｈ以下のとき、またはギヤが「リバース」のときに運転支援モード(自動）（モード１）に切り換えるようにしてもよい。
Here, the driving assistance mode (automatic) (mode 1) and the parking assistance mode (automatic) (mode 2) can be automatically switched in conjunction with the gear change. If the gear is switched to reverse during normal operation in the driving support mode (mode 1), the display mode is switched from the driving support mode (mode 1) to the parking support mode (mode 2) in conjunction with the gear switching. The switching between
ギヤの切換えと連動して、カメラからの映像信号を変換したデジタル映像信号の第１のメモリへの書き込みが開始し（第１のメモリへの書き込みが許可され）、表示モードが、ナビゲーション画面から、カメラからの映像信号による合成画像又は後方画像のみの１画面を表示するモードに切り換えられる。そして、図２に示す、映像信号の処理に従って、カメラからの画像を視点変換して合成した合成画像または後方画像のみの１画面が表示画面に表示される。 In conjunction with the gear switching, writing of the digital video signal obtained by converting the video signal from the camera to the first memory is started (writing to the first memory is permitted), and the display mode is changed from the navigation screen. Then, the mode is switched to a mode for displaying only one screen of a composite image or a rear image based on a video signal from the camera. Then, according to the processing of the video signal shown in FIG. 2, one screen of only the composite image or the rear image obtained by combining the viewpoints of the images from the camera is displayed on the display screen.
したがって、運転支援モード(自動）（モード１）から駐車支援モード(自動）（モード２）に切り換えられると、状態レジスタ３０１は「０」（第１のメモリへの映像信号の書き込み許可）に設定される。また、駐車支援モード(自動）（モード２）から運転支援モード(自動）（モード１）に切り換えられると、状態レジスタ３０１は「１」（第１のメモリへの映像信号の書き込み停止）に設定される。
Therefore, when the driving support mode (automatic) (mode 1) is switched to the parking support mode (automatic) (mode 2), the
そして、第１のメモリへの書き込みの許可（状態レジスタの「０」）と書き込み停止（状態レジスタの「１」）の設定は、ギヤ切り換えを検出する信号に基づく第１のスイッチ３１の動作により行うことができる（図２参照）。
The setting of the write permission (status register “0”) and write stop (status register “1”) to the first memory is performed by the operation of the
ところで、駐車支援モード（モード２）には、第２の合成画像を表示するモード（画面４０２）と、後方画像の１画面のみを表示するモード（画面４０３）がある。ギアがリバースから他の位置に変更される時に、ギア切換え前に表示されているモード（第２の合成画像を表示するモード、又は、後方画像の１画面を表示するモード）が記憶される。 Incidentally, the parking assistance mode (mode 2) includes a mode (screen 402) for displaying the second composite image and a mode (screen 403) for displaying only one screen of the rear image. When the gear is changed from reverse to another position, the mode displayed before the gear change (the mode for displaying the second composite image or the mode for displaying one screen of the rear image) is stored.
次に、ギアがリバースに切り換えられた時には、前に記憶されている、駐車支援モード（モード２）のいずれかの表示モード（２画面又は１画面）が表示される。なお、駐車支援モード（モード２）の画面が表示されている間は、画面上のモード切り換えスイッチ４０８により、第２の合成画像を表示するモード（２画面４０２）と、後方画像情報の１画面のみを表示するモード（１画面４０３）の切換えが可能である。
Next, when the gear is switched to reverse, one of the display modes (two screens or one screen) stored in the parking assist mode (mode 2) is displayed. While the parking assist mode (mode 2) screen is displayed, the
駐車支援モード（モード２）の画面が表示されている間は、第１のメモリ２５−１への書き込みが許可されるので、通常動作では、画像情報のデジタル映像信号は、第１のメモリに逐次書き込まれており、第２の合成画像は、第２のメモリに逐次書き込まれている。 While the parking assist mode (mode 2) screen is displayed, writing to the first memory 25-1 is permitted, so that in normal operation, the digital video signal of image information is stored in the first memory. The second composite image is sequentially written in the second memory.
しかし、運転支援モード（モード１）に切り換えられると、表示画面には、ナビゲーションシステムから取得した地図情報等のナビゲーション画像が表示される。そして、ナビゲーション画像を表示中は、カメラ１１〜１４から取得した画像情報のデジタル映像信号の第１のメモリ２５−１への書き込みは不要となり、カメラからの映像信号を受信した映像信号受信部からのデジタル映像信号の第１のメモリ２５−１への書き込みは停止する。
However, when the mode is switched to the driving support mode (mode 1), a navigation image such as map information acquired from the navigation system is displayed on the display screen. During the display of the navigation image, it is not necessary to write the digital video signal of the image information acquired from the
これまで、車両に設置したカメラは４台として説明しているが、カメラは１台以上であればよい。設置するカメラの台数が少ないと、車両周囲の状況について得られる情報は減少する。しかし、例えば、カメラが１台であっても、そのカメラが車両後部に設置されるバックカメラ（カメラＢ）であれば、車両後部周囲の状況を把握することができる。したがって、駐車支援モード（モード２）での後方画像の１画面表示は可能である。また、カメラの台数が増加すると、合成画像を作成したとき、カメラ４台からの映像信号に基づく合成画像に近い画像が得られる。 Up to now, the explanation has been made assuming that the number of cameras installed in the vehicle is four. However, one or more cameras may be used. If the number of cameras to be installed is small, the information obtained about the situation around the vehicle decreases. However, for example, even if there is one camera, if the camera is a back camera (camera B) installed at the rear of the vehicle, the situation around the rear of the vehicle can be grasped. Therefore, one-screen display of the rear image in the parking assist mode (mode 2) is possible. Further, when the number of cameras increases, when a composite image is created, an image close to a composite image based on video signals from four cameras can be obtained.
さらに、第２の合成画像４０２は、合成画像（俯瞰画像）と後方画像とを１画面に表示したものである。俯瞰画像と後方画像を１画面に表示することにより、車両が後進する際に、車両後方周囲の状況を正確に把握することができる。また、運転者は後方を振り返ることなく、自車両を含めた俯瞰画像とさらに詳細な車両後方周囲の後方画像を利用して運転ができる。後方画像のみで十分な場合には、後方画像の１画面に切り換えることができる。
Further, the second
図５は、本発明の表示制御装置の表示モードの切換えを示す図である。表示モードには、「モード１」：運転支援モード(自動）（ナビ画像）、「モード２」：駐車支援モード（自動）、「モード３」：駐車支援モード、「モード４」：運転支援モードがある。モード１は、表示画面にナビゲーションの画像を表示するモードであり、モード２〜４は、表示画面にカメラからの画像情報（カメラ画像）を表示するモードである。
FIG. 5 is a diagram showing switching of the display mode of the display control apparatus of the present invention. The display modes include “
ここで、表示画面にカメラからの映像信号を表示するモードである、駐車支援モード（自動）（モード２）、駐車支援モード（モード３）、運転支援モード（モード４）の各モードにおいては、状態レジスタは「０」となっている。即ち、映像信号の第１のメモリ２５−１への書き込みが許可されている状態となっている。 Here, in each mode of the parking assistance mode (automatic) (mode 2), the parking assistance mode (mode 3), and the driving assistance mode (mode 4), which are modes for displaying the video signal from the camera on the display screen, The status register is “0”. That is, the writing of the video signal to the first memory 25-1 is permitted.
モード１ないし４の各モードは、画面上に形成した切り換えスイッチ４０４ないし４０７を用いて切り換えることができる。また、モード１からモード２への切り換えに伴う状態レジスタの「第１のメモリへの書き込み許可」の設定は、第１のスイッチ３１の動作によりなし得る。また、その他のモード切り換えでの、第１のメモリへの書き込み許可の設定は、第２、第３及び第４モード切り換えスイッチ４０５，４０６及び４０７（図４参照）の選択に連動する、第２のスイッチ３２の動作によりなし得る（図２参照）。
The
これまで、第１のメモリへの書き込み許可の設定は、第１及び第２のスイッチ３１，３２の動作により行うと説明しているが、第１のメモリへの書き込み許可の設定を行うことができれば、他の設定手段でよいことは当業者に明らかである。ここで、第１及び第２のスイッチは、第１及び第２の設定手段とも呼べる。
So far, it has been described that the setting of the write permission to the first memory is performed by the operation of the first and
そして、状態レジスタが「０」（映像信号の第１のメモリへの書き込み許可）となっているにもかかわらず、何からの不具合により、書き込み停止レジスタの状態が「１」となることがある。すると、出力レジスタ２０２、ステータスレジスタ３０２はともに「１１」となる。したがって、状態レジスタ３０１の状態「０」と、ステータスレジスタ３０２の状態「１１」が異なる状態を示しており、画像制御部３０が両者を比較して異なることを検出する。すると、画像制御部３０からの制御信号により、第２のメモリ２５−２から読み出された警告画像が表示部４０に表示される。
Even though the status register is “0” (write permission of the video signal to the first memory), the status of the write stop register may be “1” due to a malfunction. . Then, both the
一方、表示画面にナビ画面を表示するモードである、運転支援モード(自動）（ナビ画像）（モード１）においては、状態レジスタは「１」となっている。即ち、映像信号の第１のメモリへの書き込みは停止された状態となっている。 On the other hand, in the driving support mode (automatic) (navigation image) (mode 1) in which the navigation screen is displayed on the display screen, the status register is “1”. That is, the writing of the video signal to the first memory is stopped.
そして、カメラ画像を表示するモードには、ギヤをリバースに切り換えると自動的にカメラ画像が表示される「モード２」（駐車支援モード(自動））と、駐車操作中にギヤをリバースからフォーワードに戻してもカメラ画像が引き続き表示されるように設定した「モード３」（駐車支援モード）と、通常の運転中にカメラ画像を利用した運転ができる「モード４」（運転支援モード）がある。
The camera image display mode includes “
さらに、「モード１」から「モード２」への切換えのために、ギヤをリバースに切り換えると、表示画面がナビ画像４０１からカメラ画像４０２，４０３に自動的に切り換えられる。逆に「モード２」から「モード１」への切換えのために、ギヤをリバースからフォーワードに戻すと、カメラ画像４０２，４０３からナビ画像４０１に自動的に切り換えられる。また、図５に各モード間の切換えを示す。「モード１」と「モード２」との間の切換え以外の、「モード１」〜「モード４」の相互の切換えは、画面上に形成した切り換えスイッチ４０４ないし４０７により任意に行うことができる。
Further, when the gear is switched to reverse for switching from “
ナビ画像を表示したモード１を利用した通常の運転から、ギヤをリバースにすると駐車支援モード(自動）（モード２）となり、表示画面に、カメラからの映像情報を利用した画像が表示される。しかし、駐車操作中にギヤをリバースからフォーワードに戻す必要がある場合には、画面上のスイッチ４０６で駐車支援モード２から駐車支援モード（モード３）にモードを切り換えておく。すると、ギヤをリバースからフォーワードに戻しても、表示画面には、引き続きカメラからの映像情報を利用した画像が表示される。したがって、駐車操作中に切返しなどの操作を行う場合には、駐車支援モード（モード３）が利用できる。
When the gear is reversed from normal
さらに、駐車支援モード(自動）（モード２）と駐車支援モード（モード３）のいずれにおいても、表示モードは、俯瞰画像とバックカメラからの画像との合成画像と、バックカメラからの１画像のみの表示画像とを画面上のスイッチ４０８により切り換えることができる（図４参照）。
Furthermore, in both the parking support mode (automatic) (mode 2) and the parking support mode (mode 3), the display mode is only a composite image of the overhead view image and the image from the back camera, and one image from the back camera. Can be switched by the
また、通常の運転中には、「モード１」（運転支援モード）(自動）により表示画面にナビ画像を表示することができ、「モード１」（運転支援モード）(自動）と「モード４」（運転支援モード）との間では、画面上のスイッチ４０４，４０７により切り換えができる。「モード４」（運転支援モード）では、俯瞰画面とフロント画面からの画像との合成画像、俯瞰画面とサイド画面からの画像との合成画像又は俯瞰画面とバック画面からの画像との合成画像を表示画面に表示できる。例えば、カメラからの画像を表示することにより、車両側面又は、車両斜め後方等の運転者から見えにくい方向の映像を表示した表示画面により状況を正確に確認できる。
Further, during normal driving, a navigation image can be displayed on the display screen by “
しかしながら、何らかの不具合により、カメラ１１〜１４からの画像情報についての映像信号の第１のメモリ２５−１への書き込みが停止すると、第１のメモリへの映像信号は更新されなくなる。そのため、第１のメモリ２５−１から読み出した映像信号に基づいて合成される、第２のメモリ２５−２へ書き込まれる合成画像も、第１のメモリ２５−１への映像信号の書き込みが停止される前の映像信号に基づくものとなる。したがって、第２のメモリ２５−２から読み出され、画像出力部２３（図２参照）から出力される映像信号は更新されず、静止画が表示画面に表示される。
However, if the writing of the video signal regarding the image information from the
したがって、運転者は、カメラ１１〜１４からの画像情報がどのようなものであるか、現在の車両周辺の状況がどのように変化しているかを把握することができない。そして、安全が確認できない状況で運転することになる。
Therefore, the driver cannot grasp what the image information from the
モード２（駐車支援モード(自動））、モード３（駐車支援モード）及びモード４（運転支援モード）のいずれにおいても、カメラから取得した画像情報を表示画面に表示中は、映像信号の第１のメモリ２５−１への書き込みは許容されているので、カメラから取得した映像信号の第１のメモリ２５−１への書き込みが停止する可能性がある。しかし、モード１（運転支援モード）(自動）においては、映像信号の第１のメモリ２５−１への書き込みは許容されていない。 In any of mode 2 (parking support mode (automatic)), mode 3 (parking support mode), and mode 4 (driving support mode), the first video signal is displayed while image information acquired from the camera is being displayed on the display screen. Since writing to the memory 25-1 is permitted, writing of the video signal acquired from the camera to the first memory 25-1 may stop. However, in mode 1 (driving support mode) (automatic), writing of a video signal to the first memory 25-1 is not permitted.
映像信号の第１のメモリ２５−１への書き込みが許容されている場合で、映像信号の第１のメモリ２５−１への書き込みが停止した時には、メモリ制御部２７からの制御信号により、第２のメモリ２５−２から、予め記憶されている、警告画像が表示部４０に表示される。警告画像としては、一色、例えば、青又は黒、の画面がある。また、警告内容を言語、記号、意匠又は模様で表わす画面であってもよい。
When the writing of the video signal to the first memory 25-1 is permitted and the writing of the video signal to the first memory 25-1 is stopped, the control signal from the memory control unit 27 The warning image stored in advance from the second memory 25-2 is displayed on the
図６は、本発明の表示制御装置のモード４の表示画像の一例である。通常運転においても、ナビ画面を表示させないで、カメラ画像を表示することにより、運転者がより安全に運転することをサポートすることができる。 FIG. 6 is an example of a display image in mode 4 of the display control apparatus of the present invention. Even in normal driving, displaying the camera image without displaying the navigation screen can support the driver to drive more safely.
上記説明においては、カメラ映像を用いた車載用の運転支援装置を例にとり説明したが、ＤＶＤ等の映像記録再生装置やデジタルテレビなどの映像表示装置であれば適用可能である。 In the above description, an in-vehicle driving support apparatus using a camera image has been described as an example. However, the present invention can be applied to any video recording / reproducing apparatus such as a DVD or video display apparatus such as a digital television.
また、上記説明においては、画像制御部及び表示制御装置にレジスタを備え、画像制御部の状態レジスタの状態とステータスレジスタの状態との一致・不一致を検出することにより、ユーザが設定した状態（第１のメモリへの書き込み許可）と、現在の状態が同じか異なるかを検出した。しかし、レジスタ以外の手段により、ユーザが設定した状態と現在の状態との一致・不一致を検出することができる、他の手段を用いてもよいことは当業者にとって明らかである。 In the above description, the image control unit and the display control device are provided with a register, and the state set by the user (the first state) is detected by detecting a match / mismatch between the state register state of the image control unit and the status register state. 1) and whether the current state is the same or different. However, it will be apparent to those skilled in the art that other means that can detect the match / mismatch between the state set by the user and the current state by means other than the register may be used.
１０ 自車両
１１ 前部（Ｆ）カメラ
１２ 後部（Ｂ）カメラ
１３ 右側部（ＲＳ）カメラ
１４ 左側部（ＬＳ）カメラ
１０１ 自車両の画像
１１１ 前方画像
１２１ 後方画像
１３１ 右側方画像
１４１ 左側方画像
２０ 表示制御装置
２０１ 書き込み停止レジスタ
２０２ 出力レジスタ
２１ 映像信号受信部
２２ 画像合成部
２３ 画像出力部
２４ 表示制御部
２５−１ 第１のメモリ
２５−２ 第２のメモリ
２６ 第３のメモリ（不揮発性メモリ）
２７ メモリ制御部
２８、２９ バス
３０ 画像制御部
３１ 第１のスイッチ
３２ 第２のスイッチ
３３、３４、３５、３６、３７、３８ バス
３０１ 状態レジスタ
３０２ ステータスレジスタ
４０ 表示部
４０１ ナビゲーション画面
４０２ 第２の合成画面
４０３ １画面
４０４、４０５、４０６、４０７ 第１ないし第４モード切り換えスイッチ
４０８ モード切り換えスイッチ
DESCRIPTION OF
27
Claims (6)
前記映像信号を処理した画像を表示部に出力する画像出力部と、
第１のメモリへの前記映像信号の書き込みが許可に設定されている場合で、前記映像信号の第１のメモリへの書き込みが停止したときに、フェイルセーフ処理を実行するメモリ制御部と、
を有することを特徴とする表示制御装置。 A video signal receiving unit that receives the video signal and writes the received video signal to the first memory;
An image output unit that outputs an image obtained by processing the video signal to a display unit;
A memory control unit that executes fail-safe processing when writing of the video signal to the first memory is set to be permitted and writing of the video signal to the first memory is stopped;
A display control device comprising:
前記第１のメモリから読み出し視点変換した映像信号と予め記憶されている車両の画像とを合成した合成画像を作成する画像合成部を更に備え、
前記メモリ制御部は、フェイルセーフ処理として、前記合成画像に代えて警告画像を表示部に出力することを特徴とする請求項１に記載の表示制御装置。 The video signal is a video signal taken around the vehicle from a camera installed in the vehicle,
An image synthesizing unit that creates a synthesized image by synthesizing a video signal read out from the first memory and converted in viewpoint and a vehicle image stored in advance;
The display control apparatus according to claim 1, wherein the memory control unit outputs a warning image to the display unit instead of the composite image as fail-safe processing.
前記画像制御部は、前記書き込み停止レジスタに書き込み停止を設定していないにもかかわらず該出力レジスタが書き込み停止状態であることを示すとき異常が発生したと判断し、前記メモリ制御部に異常を通知することを特徴とする請求項１または２に記載の表示制御装置。 An image control unit includes a write stop register that is set to stop writing to the first memory, and an output register, and the memory control unit detects that the write stop register is set to a write stop state. Stop writing the video signal to the first memory and set the output register to be in a write stop state,
The image control unit determines that an abnormality has occurred when the output register indicates that the write stop state has been set even though the write stop register has not been set to stop writing, and has detected an abnormality in the memory control unit. The display control apparatus according to claim 1, wherein notification is performed.
映像信号を受信し、受信した映像信号を第１のメモリに書き込む映像信号受信部と、
前記映像信号を処理した画像を表示部に出力する画像出力部と、
第１のメモリへの前記映像信号の書き込みが許可に設定されている場合で、前記映像信号の第１のメモリへの書き込みが停止したときに、フェイルセーフ処理を実行するメモリ制御部と、
を有することを特徴とする制御装置。 An image controller;
A video signal receiving unit that receives the video signal and writes the received video signal to the first memory;
An image output unit that outputs an image obtained by processing the video signal to a display unit;
A memory control unit that executes fail-safe processing when writing of the video signal to the first memory is set to be permitted and writing of the video signal to the first memory is stopped;
A control device comprising:
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2010233476A JP5751795B2 (en) | 2010-10-18 | 2010-10-18 | Display control device and control device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2010233476A JP5751795B2 (en) | 2010-10-18 | 2010-10-18 | Display control device and control device |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2012089985A true JP2012089985A (en) | 2012-05-10 |
| JP5751795B2 JP5751795B2 (en) | 2015-07-22 |
Family
ID=46261157
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2010233476A Expired - Fee Related JP5751795B2 (en) | 2010-10-18 | 2010-10-18 | Display control device and control device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5751795B2 (en) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2016167664A (en) * | 2015-03-09 | 2016-09-15 | アルパイン株式会社 | Image processing device and method |
| WO2017203970A1 (en) * | 2016-05-24 | 2017-11-30 | ソニー株式会社 | Vehicle-mounted information processing device, vehicle-mounted information processing system, information processing method, and program |
| JP2020053799A (en) * | 2018-09-26 | 2020-04-02 | 株式会社デンソー | Image processing apparatus and image display system |
| JP2021059970A (en) * | 2020-12-28 | 2021-04-15 | 株式会社小松製作所 | Construction management system |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH01231144A (en) * | 1988-03-11 | 1989-09-14 | Nec Corp | Memory circuit |
| JPH09237076A (en) * | 1995-12-27 | 1997-09-09 | Omron Corp | Picture display system |
| JP2000105694A (en) * | 1998-09-28 | 2000-04-11 | Nec Ic Microcomput Syst Ltd | Flash memory, microcomputer equipped with flash memory, and method for storing program in flash memory |
| JP2006066953A (en) * | 2004-08-24 | 2006-03-09 | Toyota Motor Corp | In-vehicle communication system and communication method thereof |
| JP2008283431A (en) * | 2007-05-10 | 2008-11-20 | Matsushita Electric Ind Co Ltd | Image processing apparatus |
-
2010
- 2010-10-18 JP JP2010233476A patent/JP5751795B2/en not_active Expired - Fee Related
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH01231144A (en) * | 1988-03-11 | 1989-09-14 | Nec Corp | Memory circuit |
| JPH09237076A (en) * | 1995-12-27 | 1997-09-09 | Omron Corp | Picture display system |
| JP2000105694A (en) * | 1998-09-28 | 2000-04-11 | Nec Ic Microcomput Syst Ltd | Flash memory, microcomputer equipped with flash memory, and method for storing program in flash memory |
| JP2006066953A (en) * | 2004-08-24 | 2006-03-09 | Toyota Motor Corp | In-vehicle communication system and communication method thereof |
| JP2008283431A (en) * | 2007-05-10 | 2008-11-20 | Matsushita Electric Ind Co Ltd | Image processing apparatus |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2016167664A (en) * | 2015-03-09 | 2016-09-15 | アルパイン株式会社 | Image processing device and method |
| WO2017203970A1 (en) * | 2016-05-24 | 2017-11-30 | ソニー株式会社 | Vehicle-mounted information processing device, vehicle-mounted information processing system, information processing method, and program |
| US11214269B2 (en) | 2016-05-24 | 2022-01-04 | Sony Corporation | In-vehicle information processing device, in-vehicle information processing system, and information processing method |
| JP2020053799A (en) * | 2018-09-26 | 2020-04-02 | 株式会社デンソー | Image processing apparatus and image display system |
| WO2020067298A1 (en) * | 2018-09-26 | 2020-04-02 | 株式会社デンソー | Image processing device and image display system |
| JP2021059970A (en) * | 2020-12-28 | 2021-04-15 | 株式会社小松製作所 | Construction management system |
| JP7166326B2 (en) | 2020-12-28 | 2022-11-07 | 株式会社小松製作所 | Construction management system |
Also Published As
| Publication number | Publication date |
|---|---|
| JP5751795B2 (en) | 2015-07-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8854466B2 (en) | Rearward view assistance apparatus displaying cropped vehicle rearward image | |
| JP4807104B2 (en) | Vehicle surrounding monitoring system and image display method | |
| JP4900232B2 (en) | Vehicle parking assist device and video display method | |
| JP5251947B2 (en) | Image display device for vehicle | |
| JP4254887B2 (en) | Image display system for vehicles | |
| JP4978558B2 (en) | Vehicle display device | |
| JP4725233B2 (en) | Overhead image display system | |
| JP5187179B2 (en) | Vehicle periphery monitoring device | |
| WO2014068856A1 (en) | Image generation device and image generation program product | |
| JP2007036668A (en) | System and method for displaying bird's-eye view image | |
| JP5697512B2 (en) | Image generation apparatus, image display system, and image display apparatus | |
| JP2008197667A (en) | Display data output device | |
| JP5751795B2 (en) | Display control device and control device | |
| JP2006180340A (en) | Video signal processor, its method and on-vehicle camera system | |
| US10003772B2 (en) | Vehicular image control apparatus | |
| JP4823938B2 (en) | Screen switching determination device, vehicle periphery monitoring device, and screen switching determination method | |
| JP6446837B2 (en) | Video signal processing apparatus and diagnostic program | |
| JP2007290433A (en) | Parking support system | |
| JP5067136B2 (en) | Vehicle periphery image processing apparatus and vehicle periphery state presentation method | |
| JP4895940B2 (en) | Vehicle peripheral image display device and display mode information display method | |
| JPH1155656A (en) | Device for monitoring side of vehicle | |
| JP2012166689A (en) | Driving assistance apparatus | |
| JP6458393B2 (en) | Video signal processing apparatus and video signal processing program | |
| JP2017225062A (en) | Image processing apparatus, image processing system, and image processing method | |
| JP2012147308A (en) | Image processing apparatus, image display system, and image processing method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20130805 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20140513 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140520 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140714 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20141021 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20141208 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20150421 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20150519 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 5751795 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |