JP5651491B2 - Image display system, image display apparatus, and image display method - Google Patents
Image display system, image display apparatus, and image display method Download PDFInfo
- Publication number
- JP5651491B2 JP5651491B2 JP2011018192A JP2011018192A JP5651491B2 JP 5651491 B2 JP5651491 B2 JP 5651491B2 JP 2011018192 A JP2011018192 A JP 2011018192A JP 2011018192 A JP2011018192 A JP 2011018192A JP 5651491 B2 JP5651491 B2 JP 5651491B2
- Authority
- JP
- Japan
- Prior art keywords
- vehicle
- predicted
- image
- error
- range
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 38
- 238000012545 processing Methods 0.000 claims description 40
- 230000008569 process Effects 0.000 claims description 28
- 230000008859 change Effects 0.000 claims description 21
- 238000013461 design Methods 0.000 claims description 19
- 238000001514 detection method Methods 0.000 claims description 16
- 238000003384 imaging method Methods 0.000 claims description 14
- 238000004364 calculation method Methods 0.000 claims description 8
- 238000009795 derivation Methods 0.000 claims description 8
- 230000004044 response Effects 0.000 claims description 2
- 239000002131 composite material Substances 0.000 description 44
- 238000010586 diagram Methods 0.000 description 24
- 230000006870 function Effects 0.000 description 17
- 230000007935 neutral effect Effects 0.000 description 7
- 230000002093 peripheral effect Effects 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 5
- 230000000007 visual effect Effects 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 239000000203 mixture Substances 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 239000007787 solid Substances 0.000 description 3
- 239000000725 suspension Substances 0.000 description 3
- 240000004050 Pentaglottis sempervirens Species 0.000 description 2
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000013256 coordination polymer Substances 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000012447 hatching Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
Images
Landscapes
- Closed-Circuit Television Systems (AREA)
- Traffic Control Systems (AREA)
Description
本発明は、車両の予測進路を表示する技術に関する。 The present invention relates to a technique for displaying a predicted course of a vehicle.
近年、車両に搭載された表示装置において、車両に備えられたカメラにより車両周辺を撮影した車外画像に車両の予測進路を示す指標を重畳して表示する技術が開発されている。車両のユーザは表示装置に表示された指標を車両の進行方向の目安として、車両のステアリングホイールの操作、および、アクセル開度の調整などを行って、ユーザの目標とするスペースに車両を移動させる。なお、本発明と関連する技術を説明する資料としては特許文献１がある。
In recent years, in a display device mounted on a vehicle, a technique for superimposing and displaying an index indicating a predicted course of the vehicle on an outside image obtained by photographing the periphery of the vehicle with a camera provided in the vehicle has been developed. The user of the vehicle moves the vehicle to the user's target space by operating the steering wheel of the vehicle and adjusting the accelerator opening, using the indicator displayed on the display device as a guide for the traveling direction of the vehicle. . Note that there is
しかしながら、表示装置に表示される車両の予測進路は、車両のステアリングホイールの操舵角に応じて、車外画像上の表示位置の変更がなされるものの、車両の進行に伴い予測進路に誤差を生じさせる要因については考慮されていなかった。そのため、表示装置に表示された予測進路に基づいてユーザが車両を移動させた場合にユーザの意図した位置とは異なる位置に車両が移動する可能性があった。 However, the predicted course of the vehicle displayed on the display device causes an error in the predicted course as the vehicle travels, although the display position on the outside image is changed according to the steering angle of the steering wheel of the vehicle. Factors were not considered. Therefore, when the user moves the vehicle based on the predicted course displayed on the display device, the vehicle may move to a position different from the position intended by the user.
本発明は、上記課題に鑑みてなされたものであり、車両が移動する可能性のある位置を示す予測進路をユーザへ提供することを目的とする。 This invention is made | formed in view of the said subject, and it aims at providing the user the predicted course which shows the position where a vehicle may move.
上記課題を解決するために、請求項１の発明は、車両に搭載される画像表示システムであって、前記車両の周辺を撮影する撮像部が取得した車外画像を受信する受信手段と、前記車両の操舵角を取得する取得手段と、前記操舵角に基づいて、前記車両が進行すると予測される予測進路を導出する第１導出手段と、前記予測進路に誤差を生じさせる要因の程度を検知する検知手段と、前記要因の程度に関する路面摩擦係数、および、前記車両の速度のパラメータの演算処理に基づいて、前記予測進路に対して最大の誤差を有する最大誤差進路を導出する第２導出手段と、前記予測進路と前記最大誤差進路とで構成される範囲であり、前記車両からの距離が離れるほど広くなる範囲を示す指標を前記車外画像に重畳して表示する表示手段と、を備える。
In order to solve the above-mentioned problem, the invention of
また、請求項２の発明は、請求項１に記載の画像表示システムにおいて、前記検知手段は、前記車両が走行する路面の滑りやすさと、前記車両の速度とを前記要因の程度として検知する。 According to a second aspect of the present invention, in the image display system according to the first aspect, the detecting means detects the slipperiness of the road surface on which the vehicle travels and the speed of the vehicle as the degree of the factor.
また、請求項３の発明は、請求項１または２に記載の画像表示システムにおいて、前記検知手段は、前記車両の設計公差を前記要因の程度として検知する。 According to a third aspect of the present invention, in the image display system according to the first or second aspect, the detection means detects a design tolerance of the vehicle as the degree of the factor.
また、請求項４の発明は、請求項２に記載の画像表示システムにおいて、前記表示手段は、前記車両の速度に応じて前記予測進路と前記最大誤差経路とで構成される範囲が変化した場合に、変化前と変化後との双方の前記予測進路と前記最大誤差進路とで構成される範囲を示す指標を表示する。
Also, when the invention of claim 4, in the image display system according to claim 2, wherein the display means, the range that is constituted by the said maximum error path and the predicted path in response to the speed of the vehicle is changed In addition, an index indicating a range constituted by the predicted course and the maximum error course both before and after the change is displayed.
また、請求項５の発明は、車両に搭載される画像処理装置であって、前記車両の周辺を撮影する撮像部が取得した車外画像を受信する受信手段と、前記車両の操舵角を取得する取得手段と、前記操舵角に基づいて、前記車両が進行すると予測される予測進路を導出する第１導出手段と、前記予測進路に誤差を生じさせる要因の程度を検知する検知手段と、前記要因の程度に関する路面摩擦係数、および、前記車両の速度のパラメータの演算処理に基づいて、前記予測進路に対して最大の誤差を有する最大誤差進路を導出する第２導出手段と、前記予測進路と前記最大誤差進路とで構成される範囲であり、前記車両からの距離が離れるほど広くなる範囲を示す指標を表示装置に送信する送信手段と、を備える。
According to a fifth aspect of the present invention, there is provided an image processing apparatus mounted on a vehicle, wherein a receiving unit that receives an outside image acquired by an imaging unit that captures the periphery of the vehicle and a steering angle of the vehicle are acquired. An obtaining means; a first deriving means for deriving a predicted course where the vehicle is predicted to travel based on the steering angle; a detecting means for detecting a degree of a factor causing an error in the predicted course; and the factor the road surface friction coefficient regarding the degree of, and, based on the calculation of the speed parameter of the vehicle, a second derivation means for deriving the maximum error path having the largest error relative to the predicted route, and the predicted route the Transmitting means for transmitting to the display device an index indicating a range which is a range constituted by a maximum error path and becomes wider as the distance from the vehicle increases .
また、請求項６の発明は、車両に搭載される画像表示システムの画像表示方法であって、（ａ）前記車両の周辺を撮影する撮像部が取得した車外画像を受信する工程と、（ｂ）前記車両の操舵角を取得する工程と、（ｃ）前記操舵角に基づいて、前記車両が進行すると予測される予測進路を導出する工程と、（ｄ）前記予測進路に誤差を生じさせる要因の程度を検知する工程と、（ｅ）前記要因の程度に関する路面摩擦係数、および、前記車両の速度のパラメータの演算処理に基づいて、前記予測進路に対して最大の誤差を有する最大誤差進路を導出する工程と、（ｆ）前記予測進路と前記最大誤差進路とで構成される範囲であり、前記車両からの距離が離れるほど広くなる範囲を示す指標を前記車外画像に重畳して表示する工程と、を備える。
また、請求項７の発明は、車両に搭載される画像表示システムであって、前記車両の周辺を撮影する撮像部が取得した車外画像を受信する受信手段と、前記車両の操舵角を取得する取得手段と、前記操舵角に基づいて、前記車両が進行すると予測される予測進路を導出する第１導出手段と、前記予測進路に誤差を生じさせる要因の程度を検知する検知手段と、前記要因の程度に基づいて、前記予測進路の前記誤差が生じる範囲を導出する第３導出手段と、前記予測進路の前記誤差が生じる範囲を示す指標を前記車外画像に重畳して表示する表示手段と、を備え、前記検知手段は、前記車両の速度を前記要因の程度として検知し、前記表示手段は、前記車両の速度に応じて前記予測進路の前記誤差が生じる範囲が変化した場合に、変化前と変化後との双方の前記予測進路の前記誤差が生じる範囲を示す指標を表示する。
また、請求項８の発明は、請求項７に記載の画像表示システムにおいて、前記検知手段は、前記車両が走行する路面の滑りやすさを前記要因の程度として検知する。
The invention of claim 6 is an image display method of an image display system mounted on a vehicle, wherein (a) a step of receiving an image outside the vehicle acquired by an imaging unit that captures the periphery of the vehicle; ) Obtaining a steering angle of the vehicle; (c) deriving a predicted course where the vehicle is predicted to travel based on the steering angle; and (d) a factor causing an error in the predicted course. And (e) a maximum error path having a maximum error with respect to the predicted path based on a calculation process of a road surface friction coefficient relating to the degree of the factor and a parameter of the speed of the vehicle. A step of deriving, and (f) a step of superimposing and displaying on the outside image an index indicating a range which is a range constituted by the predicted course and the maximum error course and becomes wider as the distance from the vehicle increases. And equipped with .
The invention according to claim 7 is an image display system mounted on a vehicle, wherein a receiving unit that receives an outside image acquired by an imaging unit that captures the periphery of the vehicle and a steering angle of the vehicle are acquired. An obtaining means; a first deriving means for deriving a predicted course where the vehicle is predicted to travel based on the steering angle; a detecting means for detecting a degree of a factor causing an error in the predicted course; and the factor A third deriving unit for deriving a range in which the error of the predicted course occurs based on the degree of the display, a display unit for displaying an index indicating the range in which the error of the predicted course occurs in a manner superimposed on the outside image, The detection means detects the speed of the vehicle as the degree of the factor, and the display means changes the range in which the error in the predicted course changes according to the speed of the vehicle before the change. And change Displaying an indication that the range in which an error occurs in the predicted course of both the.
According to an eighth aspect of the present invention, in the image display system according to the seventh aspect, the detection means detects the slipperiness of the road surface on which the vehicle travels as the degree of the factor.
請求項１ないし６の発明によれば、予測進路の誤差が生じる範囲を示す指標を車外画像に重畳して表示することで、車両の進行に伴って車両の通過する可能性のある位置をユーザが認識できる。 According to the first to sixth aspects of the present invention, the index indicating the range in which the predicted course error occurs is superimposed and displayed on the outside image so that the position where the vehicle may pass as the vehicle travels is displayed. Can be recognized.
また、特に請求項２の発明によれば、検知手段は、車両が走行する路面の滑りやすさと、車両の速度とを要因の程度として検知することで、車両の外部要因に基づいて導出された車両の進行に伴って車両の通過する可能性のある位置をユーザが認識できる。 In particular, according to the invention of claim 2, the detecting means detects the slipperiness of the road surface on which the vehicle travels and the speed of the vehicle as factors, and is derived based on external factors of the vehicle. The user can recognize a position where the vehicle may pass as the vehicle travels.
また、特に請求項３の発明によれば、検知手段は、車両の設計公差を要因の程度として検知することで、車両内部の要因に基づいて導出された車両の進行に伴って車両の通過する可能性のある位置をユーザに認識させることができる。 In particular, according to the invention of claim 3, the detecting means detects the design tolerance of the vehicle as the degree of the factor, so that the vehicle passes along with the progress of the vehicle derived based on the factor inside the vehicle. Possible positions can be recognized by the user.
さらに、特に請求項４の発明によれば、表示手段は、車両の速度に応じて予測進路の誤差が生じる範囲が変化した場合に、変化前と変化後との双方の予測進路の誤差が生じる範囲を示す指標を表示することで、車両の速度に応じて変化した予測進路の誤差が生じる範囲をユーザが認識できる。 Further, according to the invention of claim 4, when the range in which the predicted path error occurs is changed according to the speed of the vehicle, the display means generates an error in the predicted path both before and after the change. By displaying the index indicating the range, the user can recognize the range in which the error in the predicted course that changes according to the speed of the vehicle occurs.
以下、図面を参照しつつ本発明の実施の形態について説明する。 Hereinafter, embodiments of the present invention will be described with reference to the drawings.
＜１．第１の実施の形態＞
＜１−１．システム構成＞
図１は、画像表示システム１２０のブロック図である。この画像表示システム１２０は、車両（本実施の形態では、自動車）に搭載されるものであり、車両の周辺を撮影して画像を生成し、その生成した画像を車室内のナビゲーション装置２０などの表示装置に出力する機能を有している。画像表示システム１２０のユーザ（代表的にはドライバ）は、この画像表示システム１２０を利用することにより、当該車両の周辺の様子をほぼリアルタイムに把握できるようになっている。
<1. First Embodiment>
<1-1. System configuration>
FIG. 1 is a block diagram of the
図１に示すように、画像表示システム１２０は、車両の周辺を示す周辺画像を生成してナビゲーション装置２０などの表示装置に画像情報を出力する画像処理装置１００と、車両の周囲を撮影するカメラを備えている撮影部５とを主に備えている。
As shown in FIG. 1, an
ナビゲーション装置２０は、ユーザに対しナビゲーション案内を行うものであり、タッチパネル機能を備えた液晶などのディスプレイ２１と、ユーザが操作を行う操作部２２と、装置全体を制御する制御部２３とを備えている。ディスプレイ２１の画面がユーザから視認可能なように、ナビゲーション装置２０は車両のインストルメントパネルなどに設置される。ユーザからの各種の指示は、操作部２２とタッチパネルとしてのディスプレイ２１とによって受け付けられる。制御部２３は、ＣＰＵ、ＲＡＭ、および、ＲＯＭなどを備えたコンピュータであり、所定のプログラムに従ってＣＰＵが演算処理を行うことでナビゲーション機能を含む各種の機能が実現される。
The
ナビゲーション装置２０は、画像処理装置１００と通信可能に接続され、画像処理装置１００との間で各種の制御信号の送受信や、画像処理装置１００で生成された周辺画像の受信が可能となっている。ディスプレイ２１には、制御部２３の制御により、通常はナビゲーション装置２０単体の機能に基づく画像が表示されるが、所定の条件下で画像処理装置１００により生成された車両の周辺の様子を示す周辺画像や、車両９及び車両９の周辺領域を俯瞰した俯瞰画像が表示される。また、ディスプレイ２１に表示される俯瞰画像は周辺領域をほぼリアルタイムに示すことになる。これにより、ナビゲーション装置２０は、画像処理装置１００で生成された周辺画像を受信して表示する表示装置としても機能する。
The
画像処理装置１００は、その本体部１０が周辺画像を生成する機能を有するＥＣＵ（Electronic Control Unit）であり、車両の所定の位置に配置される。画像処理装置１００は、車両の周辺を撮影する撮影部５を備えており、この撮影部５で車両の周辺を撮影して得られる撮影画像に基づいて仮想視点からみた合成画像を生成する画像生成装置として機能する。これらの撮影部５が備える複数の車載カメラ５１，５２，５３は、本体部１０とは別の車両の適位置に配置されるが詳細は後述する。
The
画像処理装置１００の本体部１０は、装置全体を制御する制御部１と、撮影部５で取得された撮影画像を処理して表示用の周辺画像を生成する画像生成部３と、ナビゲーション装置２０との間で通信を行うナビ通信部４２とを主に備えている。
The
ナビゲーション装置２０の操作部２２やディスプレイ２１によって受け付けられたユーザからの各種の指示は、制御信号としてナビ通信部４２によって受け付けられて制御部１に入力される。
Various instructions from the user received by the
画像生成部３は、各種の画像処理が可能なハードウェア回路として構成されており、画像受信部３１、画像重畳部３３、及び、画像送信部３４を主な機能として備えている。
The image generation unit 3 is configured as a hardware circuit capable of various image processing, and includes an
画像受信部３１は、車両９の周辺を撮影する撮影部５の複数の車載カメラ５１、５２、５３で取得された複数の撮影画像を受信する、
画像合成部３２は、撮影部５の複数の車載カメラ５１、５２、５３で取得された複数の撮影画像に基づいて、車両の周辺の任意の仮想視点からみた合成画像を生成する。合成画像生成部３２が仮想視点からみた合成画像を生成する手法については後述する。
The
The
画像重畳部は３３は、車両９が進行すると予測される予測進路を撮影部５が撮影した画像に重畳する処理を行う。予測進路は車両９が進行することにより通過する位置を示し、後述する制御部１の予測進路導出部１３により導出される。また、予測進路が重畳される画像は、撮影部５の一のカメラ（例えばバックカメラ５２）により撮影された画像、および、画像合成部３２により合成された画像などである。なお、以下、このような車両９の周辺を一のカメラにより撮影した画像、および、車両９の周辺を複数のカメラで撮影した画像を合成した合成画像を車外画像ともいう。
The
画像送信部３４は、画像生成部３で生成された車外画像をナビゲーション装置２０へ出力する。
The
制御部１は、ＣＰＵ、ＲＡＭ、および、ＲＯＭなどを備えたコンピュータであり、所定のプログラムに従ってＣＰＵが演算処理を行うことで各種の制御機能が実現される。図中に示す画像制御部１１、操舵角取得部１２、予測進路導出部１３、および、要因検知部１４は、このようにして実現される制御部１の機能のうちの一部を示している。
The
画像制御部１１は、画像生成部３によって実行される画像処理を制御するものである。例えば、画像制御部１１は、画像合成部３２が生成する合成画像の生成に必要な各種パラメータなどを指示する。
The image control unit 11 controls image processing executed by the image generation unit 3. For example, the image control unit 11 instructs various parameters necessary for generating a composite image generated by the
操舵角取得部１２は、ユーザが操作した車両９のステアリングホイールの操舵角の情報を操舵角センサ８３から取得する。
The steering
予測進路導出部１３は、操舵角取得部１２が取得したステアリングホイールの操舵角に基づいて車両９が進行すると予想される予測進路を導出する。詳細には、ステアリングホイールの操舵角の情報から車両９の回転半径を導出し、回転半径に基づいて車両９の後輪が進行すると予測される軌跡を演算する。
The predicted
また、予測進路導出部１３は、後述する要因検知部１４が検知する予測進路の誤差を生じさせる要因の程度に基づいて、予測進路の誤差が生じる範囲を導出する。つまり、ステアリングホイールの操舵角に基づいて導出した車両９の予測進路が車両９の走行環境の影響で誤差を生じる場合に、誤差分を予測進路の導出の演算に含めた車両９の予測進路を予測進路導出部１３が導出する。
Further, the predicted
ここで、車両９の走行環境とは、例えば車両９の走行する路面の滑りやすさを示す路面摩擦係数、および、車両９の速度である。そして、ステアリングホイールの操舵角のみに基づいて予測進路導出部１３が導出した誤差を考慮しない理想的な予測進路と、ステアリングホイールの操舵角および誤差を生じる要因の程度に基づいて予測進路導出部１３が導出した最大の誤差を考慮した予測進路との間隔が、予測進路の誤差が生じる範囲として導出される。そして、この予測進路の誤差が生じる範囲を示す指標がディスプレイ２１に表示される。なお、この予測進路の誤差が生じる範囲を導出について、予測進路導出部１３は路面摩擦係数および車両９の速度をパラメータとした演算処理を行う。また、予測進路の誤差が生じる範囲を導出するための対応関係を示すテーブルデータである範囲データ４ｂを不揮発性メモリ４０に記録しておき、路面摩擦係数と車両９の速度に応じて予測進路の誤差が生じる範囲を予測進路導出部１３が導出するようにしてもよい。
Here, the traveling environment of the
要因検知部１４は、車両９の予測進路に誤差を生じさせる要因の程度を検知する。ここで、予測進路に誤差を生じさせる要因は上述のように車両９の走行環境である。走行環境の一つは、車両９が走行する路面の滑りやすさを示す路面摩擦係数である。この路面摩擦係数は、ブレーキＥＣＵ８４に検知される。また、走行環境の他の一つは、車両９の速度である。この速度は、車速センサ８６に検知される。これら路面摩擦係数及び速度は、予測進路に誤差を生じさせる要因の程度として要因検知部１４に検知される。
The
また、画像処理装置１００の本体部１０は、不揮発性メモリ４０、及び、信号入力部４１をさらに備えており、これらは制御部１に接続されている。
The
不揮発性メモリ４０は、電源オフ時においても記憶内容を維持可能なフラッシュメモリなどで構成されている。不揮発性メモリ４０には、車種別データ４ａが記憶されている。車種別データ４ａは、画像合成部３２が合成画像を生成する際に必要となる車両の種別に応じたデータなどである。
The
また、不揮発性メモリ４０には範囲データ４ｂが記録されている。範囲データ４ｂは、予測進路導出部１３が予測進路の誤差が生じる範囲を導出する際に読出されるデータである。つまり、予測進路の誤差が生じる範囲を導出するための対応関係を示すテーブルデータが範囲データ４ｂとして不揮発性メモリに記録されている。
Further, the
また、信号入力部４１は、車両に設けられた各種装置からの信号を入力する。この信号入力部４１を介して、画像表示システム１２０の外部からの信号が制御部１に入力される。具体的には、シフトセンサ８１、ジャイロセンサ８２、操舵角センサ８３、ブレーキＥＣＵ８４、サスペンションＥＣＵ８５、および、車速センサ８６などから、各種情報を示す信号が制御部１に入力される。
Moreover, the
シフトセンサ８１からは、車両９の変速装置のシフトレバーの操作の位置、すなわち、”Ｐ（駐車）”，”Ｄ（前進）”，”Ｎ（中立）”，”Ｒ（後退）”などのシフトポジションが入力される。なお、車速センサ８６からは、その時点の車両９の走行速度（ｋｍ／ｈ）が入力される。
From the
ジャイロセンサ８２からは、車両９の傾き変化の速度（角速度）の信号が入力される。制御部１はジャイロセンサ８２からの入力信号により車両９の傾き変化を導出する。
From the
操舵角センサ８３は、ユーザが操作したステアリングホイールの操作方向を制御部１に入力する。詳細には、操舵角センサ８３は、ユーザが操作したステアリングホイールの回転方向、回転角度、及び、回転速度を信号入力部４１を介して制御部１に入力する。なお、操舵角センサ８３の信号は車両本体を制御する制御部へも入力される。そして、操舵角センサ８３の入力信号と車速センサ８６から車両本体を制御する制御部へ入力された信号に基づいて、車両９を操舵する前輪の操舵角と操舵速度が算出され、この算出された値に基づいて車両９の制御が行われる。
The
ブレーキＥＣＵ８４は、車両９の車輪の円周の値に車輪の回転数を乗算して導出される制動距離と車両９の速度に対応する車輪速度とに基づいて、車両９の走行する路面の摩擦係数を導出する。
The
サスペンションＥＣＵ８５は、車両９の走行する路面の凹凸の程度を検知する。この路面の凹凸の程度の情報は予測進路に誤差を生じさせる要因の程度の一つとして要因検知部１４が検知する。
The
車速センサ８６は、車両９が移動した際に車輪が回転する速度を車速信号として制御部１に出力する。
The
＜１−２．撮影部＞
次に、画像処理装置１００の撮影部５について詳細に説明する。撮影部５は、制御部１に電気的に接続され、制御部１からの信号に基づいて動作する。
<1-2. Shooting Department>
Next, the photographing unit 5 of the
撮影部５は、車載カメラであるフロントカメラ５１、バックカメラ５２、左サイドカメラ５３、および、右サイドカメラ５４を備えている。これらの車載カメラ５１、５２、５３、５４はそれぞれ、ＣＣＤやＣＭＯＳなどの撮像素子を備えており電子的に画像を取得する。
The imaging unit 5 includes a
図２は、車載カメラ５１、５２、５３、５４が車両９に配置される位置を示す図である。なお、以下の説明においては、方向及び向きを示す際に、適宜、図中に示す３次元のＸＹＺ直交座標を用いる。このＸＹＺ軸は車両９に対して相対的に固定される。ここで、Ｘ軸方向は車両９の左右方向に沿い、Ｙ軸方向は車両９の直進方向（前後方向）に沿い、Ｚ軸方向は鉛直方向に沿っている。また、便宜上、＋Ｘ側を車両９の右側、＋Ｙ側を車両９の後側、＋Ｚ側を上側とする。
FIG. 2 is a diagram illustrating positions where the in-
フロントカメラ５１は、車両９の前端にあるナンバープレート取付位置の近傍に設けられ、その光軸５１ａは車両９の直進方向（平面視でＹ軸方向の−Ｙ側）に略沿って向けられている。バックカメラ５２は、車両９の後端にあるナンバープレート取付位置の近傍に設けられ、その光軸５２ａは車両９の直進方向の逆方向（平面視でＹ軸方向の＋Ｙ側）に向けられている。また、左サイドカメラ５３は、左のドアミラー９３にそれぞれ設けられており、その光軸５３ａは車両９の左方向（平面視で＋Ｘ軸方向）に沿って外部に向けられている。さらに、右サイドカメラ５４は、右のドアミラー９４にそれぞれ設けられており、その光軸５４ａは車両９の右方向（平面視で−Ｘ軸方向）に沿って外部に向けられている。なお、フロントカメラ５１やバックカメラ５２の取り付け位置は、左右略中央であることが望ましいが、左右中央から左右方向に多少ずれた位置であってもよい。
The
これらの車載カメラ５１、５２、５３、５４のレンズとしては魚眼レンズなどが採用されており、車載カメラ５１、５２、５３、５４は１８０度以上の画角αを有している。このため、４つの車載カメラ５１、５２、５３、５４を利用することで、車両９の全周囲の撮影が可能となっている。
As the lenses of these in-
＜１−３．画像変換処理＞
次に、画像生成部３の画像合成部３２が、撮影部５で得られた複数の撮影画像に基づいて車両９の周辺を任意の仮想視点からみた様子を示す合成画像を生成する手法について説明する。合成画像を生成する際には、不揮発性メモリ４０に予め記憶された車種別データ４ａが利用される。図３は、合成画像を生成する手法を説明するための図である。
<1-3. Image conversion processing>
Next, a description will be given of a method in which the
撮影部５のフロントカメラ５１、バックカメラ５２、左サイドカメラ５３、および、右サイドカメラ５４で同時に撮影が行われると、車両９の前方、後方、左側方、及び、右側方をそれぞれ示す４つの撮影画像Ｐ１〜Ｐ４が取得される。すなわち、撮影部５で取得される４つの撮影画像Ｐ１〜Ｐ４には、撮影時点の車両９の全周囲を示す情報が含まれていることになる。
When the
次に、４つの撮影画像Ｐ１〜Ｐ４の各画素が、仮想的な三次元空間における立体曲面ＳＰに投影される。立体曲面ＳＰは、例えば略半球状（お椀形状）をしており、その中心部分（お椀の底部分）が車両９が存在する位置として定められている。撮影画像Ｐ１〜Ｐ４に含まれる各画素の位置と、この立体曲面ＳＰの各画素の位置とは予め対応関係が定められている。このため、立体曲面ＳＰの各画素の値は、この対応関係と撮影画像Ｐ１〜Ｐ４に含まれる各画素の値とに基づいて決定できる。
Next, each pixel of the four captured images P1 to P4 is projected onto a three-dimensional curved surface SP in a virtual three-dimensional space. The three-dimensional curved surface SP has, for example, a substantially hemispherical shape (a bowl shape), and a center portion (a bottom portion of the bowl) is determined as a position where the
撮影画像Ｐ１〜Ｐ４の各画素の位置と立体曲面ＳＰの各画素の位置との対応関係は、車両９における４つの車載カメラ５１，５２，５３の配置（相互間距離、地上高さ、光軸角度等）に依存する。このため、この対応関係を示すテーブルデータが、不揮発性メモリ４０に記憶された車種別データ４ａに含まれている。
The correspondence between the positions of the pixels of the captured images P1 to P4 and the positions of the pixels of the three-dimensional curved surface SP is determined by the arrangement of the four in-
また、車種別データ４ａに含まれる車体の形状やサイズを示すポリゴンデータが利用され、車両９の三次元形状を示すポリゴンモデルである車両像を仮想的に備えている。構成された車両像は、立体曲面ＳＰが設定される三次元空間において、車両９の位置と定められた略半球状の中心部分に配置される。
Further, polygon data indicating the shape and size of the vehicle body included in the
さらに、立体曲面ＳＰが存在する三次元空間に対して、制御部１により仮想視点ＶＰが設定される。仮想視点ＶＰは、視点位置と視野方向とで規定され、この三次元空間における車両９の周辺に相当する任意の視点位置に任意の視野方向に向けて設定される。
Further, the virtual viewpoint VP is set by the
そして、設定された仮想視点ＶＰに応じて、立体曲面ＳＰにおける必要な領域が画像として切り出される。仮想視点ＶＰと、立体曲面ＳＰにおける必要な領域との関係は予め定められており、テーブルデータとして不揮発性メモリ４０等に予め記憶されている。一方で、設定された仮想視点ＶＰに応じてポリゴンで構成された車両像に関してレンダリングがなされ、その結果となる二次元の車両像が、切り出された画像に対して重畳される。これにより、車両９及びその車両９の周辺を任意の仮想視点からみた様子を示す合成画像が生成されることになる。
Then, according to the set virtual viewpoint VP, a necessary area on the three-dimensional curved surface SP is cut out as an image. The relationship between the virtual viewpoint VP and a necessary area in the three-dimensional curved surface SP is determined in advance, and is stored in advance in the
例えば、視点位置が車両９の位置の略中央の直上位置で、視野方向が略直下方向とした仮想視点ＶＰ１を設定した場合は、車両９の略直上から車両９を見下ろすように、車両９（実際には車両像）及び車両９の周辺の様子を示す合成画像ＣＰ１が生成される。また、図中に示すように、視点位置が車両９の位置の左後方で、視野方向が車両９における略前方とした仮想視点ＶＰ２を設定した場合は、車両９の左後方からその周辺全体を見渡すように、車両９（実際には車両像）及び車両９の周辺の様子を示す合成画像ＣＰ２が生成される。
For example, when the virtual viewpoint VP1 in which the viewpoint position is a position just above the center of the position of the
なお、実際に合成画像を生成する場合においては、立体曲面ＳＰの全ての画素の値を決定する必要はなく、設定された仮想視点ＶＰに対応して必要となる領域の画素の値のみを撮影画像Ｐ１〜Ｐ４に基づいて決定することで、処理速度を向上できる。 In the case of actually generating a composite image, it is not necessary to determine the values of all the pixels of the three-dimensional curved surface SP, and only the values of the pixels in the area necessary corresponding to the set virtual viewpoint VP are photographed. By determining based on the images P1 to P4, the processing speed can be improved.
＜１−４表示画像＞
以下では、予測進路導出部１３により導出された予測進路が車外画像に重畳して表示される例を示す。図４は、車両像９０を俯瞰した合成画像ＣＱ１，ＣＱ２がディスプレイ２１に表示された例を示す図である。合成画像ＣＱ１では、車両像９０が合成画像中の略中央に位置しており、他車両の像である車両像１９と車両像２９との間にスペースＳＡ４１の領域が存在している。なお、車両像９０は、画像表示システム１２０を備える車両９の像である。また、以下では、ユーザが車両９を操作してスペースＳＡ４１に対応する領域に移動させるまでの状態をディスプレイ２１に表示される各合成画像を用いて説明する。
<1-4 display image>
In the following, an example is shown in which the predicted course derived by the predicted
図４に示す合成画像ＣＱ２は、車両９が合成画像ＣＱ１の車両像９０に対応する位置から前進した（−Ｙ方向に移動した）状態を示している。また、車両９のユーザがシフトレバーの位置を”Ｒ（後退）”としたことによりシフトセンサ８１から制御部１にシフトポジションの信号が入力される。そして、操舵角取得部１２が、操舵角センサ８３からの信号によりステアリングホイールの操舵角を取得し、車両像９０の後方に車両９の予測進路である指標ＭＡ３を合成画像ＣＱ２に重畳して表示する。なお、ステアリングホイールの操舵角が略中立位置にあるため、指標ＭＡ３が示す予測進路は車両９が後方に直進する方向（＋Ｙ方向）に延びる状態となる。
A composite image CQ2 illustrated in FIG. 4 illustrates a state in which the
図５は、車両像９０を俯瞰した合成画像ＣＱ３，ＣＱ４がディスプレイ２１に表示された例を示す図である。合成画像ＣＱ３では、図４の合成画像ＣＱ２に示す車両像９０の位置に対応する位置から車両９が後退した状態を示している。このような車両９の後退に伴い、ブレーキＥＣＵ８４が車両９の走行する路面の路面摩擦係数を導出する。また、車速センサ８６が車両９の速度を検知する。このようにして検出された路面摩擦係数と車両９の速度とが信号入力部４１を介して制御部１に入力される。
FIG. 5 is a diagram illustrating an example in which composite images CQ3 and CQ4 overlooking the
図５に示す合成画像ＣＱ４では、車両９のユーザがステアリングホイールを中立状態から左方向（−Ｘ方向）に操作したことに伴い、車両９が左方向（−Ｘ方向）に向けて曲線的に後退する車両９の予測進路を示す指標ＭＡ４ａを重畳して表示している。指標ＭＡ４ａについて、図６および図７を用いて詳細に説明する。
In the composite image CQ4 shown in FIG. 5, the
図６は、車両９の予測進路を示す指標ＭＡ４ａを示す図である。なお、以下の説明において車両像９０の方向及び向きについては図２を用いて説明した車両９と方向および向きと同様である。以下の説明の中では図６に示す３次元のＸＹＺ直交座標を用いる。なお、ＸＹＺ軸は車両像９０に対して相対的に固定されている。
FIG. 6 is a diagram illustrating an index MA4a indicating the predicted course of the
ユーザが操作する車両９のステアリングホイールの操舵角に基づいて予測進路導出部１３が予測進路を導出し、その予測進路を示す指標ＭＡ４ａがディスプレイ２１に表示される。指標ＭＡ４ａが示す予測進路は、車両像９０の左側（−Ｘ方向）の後輪の予測進路ＭＬ３１ａ、および、車両像９０の右側（＋Ｘ方向）の後輪の予測進路ＭＬ３２ａを含む。なお、指標Ｍ４ａが示す予測進路は、ユーザのステアリングホイールを左方向に操作したことに基づいて、左方向（−Ｘ方向）に曲がるように変化している。
The predicted
また、左右方向（±Ｘ方向）に延び、両端の各々が２つの予測進路ＭＬ３１ａ，ＭＬ３２ａと接する２つの距離線Ｄ３ａ，Ｄ４が指標ＭＡ４ａに含まれる。なお、これら距離線Ｄ３ａ，Ｄ４の長さは車両像９０の車幅Ｗ１と略同じ長さである。図中に示す、点ｐ５ａは距離線Ｄ３ａの左端（−Ｘ方向）と予測進路ＭＬ３１との交点であり、点ｐ６ａは距離線Ｄ３ａの右端（＋Ｘ方向）と予測進路ＭＬ３２との交点である。さらに、点ｐ７ａは距離線Ｄ４の左端（−Ｘ方向）と予測進路ＭＬ３１との交点であり、点ｐ８ａは距離線Ｄ４ａの右端（＋Ｘ方向）と予測進路ＭＬ３２との交点である。
In addition, the indicator MA4a includes two distance lines D3a and D4 that extend in the left-right direction (± X direction) and that each of the both ends contact with the two predicted courses ML31a and ML32a. The lengths of the distance lines D3a and D4 are substantially the same as the vehicle width W1 of the
なお、車両像９０の後方バンパーＢＰの位置を基準とした場合、距離線Ｄ３ａまでの車両９からの実際の距離は例えば約１．５ｍであり、距離線Ｄ４ａまでの車両９からの実際の距離は例えば約３．０ｍである。
When the position of the rear bumper BP of the
図７は、車両９の予測進路の誤差が生じる範囲を示す指標ＭＡ４を示す図である。指標ＭＡ４が示す予測進路は、車両９が後退の際の車両像９０の左側（−Ｘ方向）の後輪の予測進路の範囲を示す進路範囲ＭＬ３１、および、車両像９０の右側（＋Ｘ方向）の後輪の予測進路の範囲を示す進路範囲ＭＬ３２を含む。
FIG. 7 is a diagram illustrating an index MA4 indicating a range in which an error in the predicted course of the
予測進路の誤差が生じる範囲は、誤差を考慮しない理想的な予測進路（以下、「理想予測進路」という。）と、最大の誤差を考慮した予測進路（以下、「最大誤差進路」という。）との間隔に相当する。理想予測進路は、ステアリングホイールの操舵角のみに基づいて導出される。一方、最大誤差進路は、ステアリングホイールの操舵角と、予測進路に誤差を生じさせる要因の程度とに基づいて導出される。詳細には、最初に図６に示す理想予測進路ＭＬ３１ａ，ＭＬ３２ａが予測進路導出部１３に導出される。そして、路面摩擦係数と車両９の速度とが要因検知部１４に検知され、これら路面摩擦係数と車両９の速度とに基づいて予測進路導出部１３が最大誤差進路ＭＬ３１ｂ，ＭＬ３２ｂを導出する。このようにして導出された理想予測進路ＭＬ３１ａと、最大誤差進路ＭＬ３１ｂとの間隔が、左側の後輪の予測進路の誤差が生じる範囲に相当する。また、理想予測進路ＭＬ３２ａと、最大誤差進路ＭＬ３２ｂとの間隔が、左側の後輪の予測進路の誤差が生じる範囲に相当する。
The range in which the error in the predicted path occurs is an ideal predicted path that does not consider the error (hereinafter referred to as “ideal predicted path”) and a predicted path that considers the maximum error (hereinafter referred to as “maximum error path”). It corresponds to the interval. The ideal predicted course is derived based only on the steering angle of the steering wheel. On the other hand, the maximum error path is derived based on the steering angle of the steering wheel and the degree of factors that cause an error in the predicted path. Specifically, first, the ideal predicted courses ML31a and ML32a shown in FIG. Then, the road surface friction coefficient and the speed of the
予測進路の誤差が生じる範囲を、予測進路と距離線との交点の位置関係で検討する。車両９からの距離が約１．５ｍの位置を示す距離線については、理想予測進路ＭＬ３１ａ，ＭＬ３２ａとの交点の位置はそれぞれ、点ｐ５ａ，点ｐ６ａである。一方、この距離線の、最大誤差進路ＭＬ３１ｂ，ＭＬ３２ｂとの交点の位置はそれぞれ、点ｐ５ｂ，ｐ６ｂとなる。
The range in which the predicted course error occurs is examined by the positional relationship of the intersection of the predicted course and the distance line. Regarding the distance line indicating the position where the distance from the
これら点ｐ５ａおよび点ｐ５ｂの間隔（Ｗ２ａ）と、点ｐ６ａおよび点ｐ６ｂとの間隔（Ｗ２ａ）が、車両９から約１．５ｍの距離において予測進路の誤差が生じる範囲を示す。つまり、予測進路に誤差を生じる要因により車両９の予測進路には、理想予測進路ＭＬ３１ａ，ＭＬ３２aから、右斜め後方の最大誤差進路ＭＬ３１ｂ，ＭＬ３２ｂまでの範囲の誤差が生じる可能性があることとなる。なお、予測進路導出部１３により予測進路の誤差が生じる範囲が導出された場合、車両９からの距離が約１．５ｍの位置を示す距離線は、最大誤差進路ＭＬ３１ｂ，ＭＬ３２ｂとの交点ｐ５ｂ，ｐ６ｂを両端に有する距離線Ｄ３ｂによって示される。
The distance (W2a) between the points p5a and p5b and the distance (W2a) between the points p6a and p6b indicate the range in which the predicted course error occurs at a distance of about 1.5 m from the
また、車両９からの距離が約３．０ｍの位置を示す距離線については、理想予測進路ＭＬ３１ａ，ＭＬ３２ａとの交点の位置はそれぞれ、点ｐ７ａ，点ｐ８ａである。一方、最大誤差進路ＭＬ３１ｂ，ＭＬ３２ｂとの交点の位置はそれぞれ、点ｐ７ｂ，点ｐ８ｂとなる。
For the distance line indicating the position where the distance from the
これら点ｐ７ａと点ｐ７ｂとの間隔（Ｗ２ｂ）、及び、点ｐ８ａと点ｐ８ｂとの間隔（Ｗ２ｂ）が、車両９から約３．０ｍの距離において予測進路の誤差が生じる範囲を示す。なお、予測進路導出部１３により予測進路の範囲が導出された場合、車両９からの距離が約３．０ｍの位置を示す距離線は、最大誤差進路ＭＬ３１ｂ，ＭＬ３２ｂとの交点ｐ７ｂ，ｐ８ｂを両端に有する距離線Ｄ４によって示される。
The distance (W2b) between the points p7a and p7b and the distance (W2b) between the points p8a and p8b indicate a range in which the predicted course error occurs at a distance of about 3.0 m from the
車両９から約１．５ｍの距離での予測進路の誤差が生じる範囲である間隔Ｗ２ａと、車両９から約３．０ｍの距離での予測進路の誤差が生じる範囲である間隔Ｗ２ｂとを比較すると、間隔２ｂが間隔２ａよりも大きい値となる。このように予測進路の誤差が生じる範囲は、車両９からの距離が離れるほど大きい値となる。このような予測進路の誤差が生じる範囲を示す指標Ｍ４を車外画像に重畳してディスプレイ２１に表示することで、車両９の進行に伴って車両９の通過する可能性のある位置をユーザが認識できる。
Comparing the distance W2a, which is a range in which the predicted course error occurs at a distance of about 1.5 m from the
なお、予測進路の誤差が生じる範囲は、車両の走行速度に応じて変化する。例えば、図７に示す進路範囲ＭＬ３１，ＭＬ３２の大きさは、車両９の速度に応じて変化する。詳細には、点ｐ５ａと点ｐ５ｂとの間隔（Ｗ２ａ）、および、点ｐ６ａと点ｐ６ｂとの間隔（Ｗ２ａ）が車両９の速度の変化に応じて変化する。また、点ｐ７ａと点ｐ７ｂとの間隔（Ｗ２ｂ）、および、点ｐ８ａと点ｐ８ｂとの間隔（Ｗ２ｂ）が車両９の速度の変化に応じて変化する。
Note that the range in which the predicted course error occurs varies depending on the traveling speed of the vehicle. For example, the sizes of the route ranges ML31 and ML32 illustrated in FIG. 7 change according to the speed of the
次に、車両９をスペースＳＡ４１に対応する領域に移動させる状態を示す合成画像の表示に戻り説明を行う。図８は、ディスプレイ２１に表示される合成画像ＣＱ５，ＣＱ６を示す図である。図５に示す合成画像ＣＱ４のように予測進路の誤差が生じる範囲を示す指標ＭＡ４を表示した後、車両９の後退に伴いユーザがステアリングホイールの位置を中立位置に戻したとする。この場合、操舵角センサ８３の信号を操舵角取得部１２が取得し、図８に示すように車両９が後方に直進する予測進路を示す指標ＭＡ３が合成画像ＣＱ５に重畳して表示される。
Next, returning to the display of the composite image showing the state in which the
そして、合成画像ＣＱ６では、合成画像ＣＱ５と比べて車両９が他の車両像１９および２９との間のスペースＳＡ４１の近くまで直進して後退した状態が示されている。
The composite image CQ6 shows a state in which the
図９は、ディスプレイ２１に表示される合成画像ＣＱ７，ＣＱ８を示す図である。合成画像ＣＱ７には、図５の合成画像ＣＱ４と同様に予測進路の誤差が生じる範囲を示す指標ＭＡ４ｂが重畳されている。ここで、図９の合成画像ＣＱ７と図５の合成画像ＣＱ４とが異なる主な点は、ユーザの操作するステアリングホイールの方向である。図９の合成画像ＣＱ７では、車両９のユーザがステアリングホイールを中立状態から右方向（＋Ｘ方向）に操作したことに伴い、右方向に向けて曲線的に後退する予測進路を示す指標ＭＡ４ｂが重畳されている。なお、指標ＭＡ４ｂが示す予測進路の誤差が生じる範囲は、図５の合成画像ＣＱ４と同様に、路面摩擦係数および車両９の速度に基づいて予測進路導出部１３によって導出される。
FIG. 9 is a diagram showing composite images CQ7 and CQ8 displayed on the
図９に示す合成画像ＣＱ８では、車両９がスペース４１に対応する領域内に位置することに伴い、車両像９０がスペース４１の範囲内に含まれている。このように、ユーザは車両９を目的の位置にスムーズに移動させることができる。
In the composite image CQ <b> 8 shown in FIG. 9, the
なお、上記のように俯瞰画像中に示された予測進路がディスプレイ２１に表示される画像をユーザの操作部２２による操作により切替えて、後方の一のカメラで撮影した車外画像に重畳して表示する例を次に示す。
In addition, the predicted course shown in the overhead view image as described above is displayed by superimposing the image displayed on the
図１０は、バックカメラ５２により撮影された画像を画像生成部３で処理を行い、ディスプレイ２１に表示した図である。図１０には、車両９の左側の後輪の予測進路の誤差が生じる範囲を示す進路範囲ＭＬ３１と、車両９の右側の後輪の予測進路の誤差が生じる範囲を示す進路範囲ＭＬ３２と、２つの距離線Ｄ３ｂ，Ｄ４とを示す指標ＭＡ４が表示されている。このような画像をユーザが視認することで、車両９の進行に伴って車両９の通過する可能性のある位置をユーザが認識できる。
FIG. 10 is a diagram in which an image captured by the
＜１−５．処理フローチャート＞
図１１は、第１の実施の形態の画像処理装置１００の処理フローチャートである。画像処理装置１００は、車両９の撮影部５のカメラ画像を取得して（ステップＳ１０１）、操舵角センサ８３からの操舵角情報を信号入力部４１を介して受信して（ステップＳ１０２）、ステップＳ１０３の処理に進む。
<1-5. Processing flowchart>
FIG. 11 is a process flowchart of the
ステップＳ１０３では、操舵角センサ８３からの受信した情報に基づいて車両９の予測進路を予測進路導出部１３が導出して（ステップＳ１０３）、ステップＳ１０４の処理へ進む。
In step S103, the predicted
ステップＳ１０４では、ブレーキＥＣＵ８４が車両９の進行に伴い路面情報（例えば、路面摩擦係数）を導出し（ステップＳ１０４）、ステップＳ１０５の処理へ進む。
In step S104, the
ステップＳ１０５では、車速センサ８６からの車両９の速度情報の信号を画像処理装置１００が受信し、ステップＳ１０６の処理へ進む。
In step S105, the
ステップＳ１０６では、ブレーキＥＣＵ８４により導出された路面情報と車速センサ８６により導出された車両９の速度情報を予測進路に誤差を生じさせる要因の程度として要因検知部１４が検知して、ステップＳ１０７の処理に進む。
In step S106, the
ステップＳ１０７では、要因検知部１４が検知した予測進路に誤差を生じさせる要因の程度に基づいて、予測進路導出部１３が予測進路の誤差が生じる範囲を導出して（ステップＳ１０７）、ステップＳ１０８の処理に進む。
In step S107, the predicted
ステップＳ１０８では、この予測進路の誤差が生じる範囲を示す指標が車外画像に重畳され、誤差が生じる範囲を示す指標が重畳された車外画像がナビ通信部４２を介してナビゲーション装置２０に出力される（ステップＳ１０８）。これにより、誤差が生じる範囲を示す指標がディスプレイ２１に表示され、車両９の進行に伴って車両９の通過する可能性のある位置をユーザが認識できることとなる。
In step S108, an index indicating the range where the predicted course error occurs is superimposed on the outside image, and the outside image superimposed with the index indicating the range where the error occurs is output to the
＜第２の実施の形態＞
次に、第２の実施の形態について説明する。第２の実施の形態における画像表示システムの構成・処理は、第１の実施の形態とほぼ同様であるが一部が相違しているため、以下、第１の実施の形態との相違点を中心に説明する。第２の実施の形態では、要因検知部１４は予測進路に誤差を生じさせる要因の程度として、車両９の設計上許容される寸法差などの設計公差の程度を検知する。
<Second Embodiment>
Next, a second embodiment will be described. The configuration and processing of the image display system in the second embodiment are substantially the same as those in the first embodiment, but are partially different. Therefore, the differences from the first embodiment will be described below. The explanation is centered. In the second embodiment, the
設計公差の程度は、車両９の製品出荷前に不揮発性メモリ４０の車種別データ４ａに予め記録されており、車両９の予測進路に誤差を生じさせる要因を検知する際に不揮発性メモリ４０から要因検知部１４が読み出す。そして、設計公差の程度に基づいて予測進路導出部１３が、予測進路の誤差が生じる範囲を導出する。
The degree of design tolerance is recorded in advance in the
＜２−１．表示画像＞
図１２は、予測進路の誤差が生じる範囲を示す指標ＭＡ１４を示す図である。図１２の指標ＭＡ１４は進路範囲ＭＬ３１１，ＭＬ３１２を含む。これらの進路範囲ＭＬ３１１，ＭＬ３１２は、予測進路に誤差を生じさせる要因の程度として、路面摩擦係数と車両９の速度とともに設計公差を考慮して、予測進路導出部１３が予測進路の誤差が生じる範囲を導出したものである。
<2-1. Display image>
FIG. 12 is a diagram illustrating an index MA14 that indicates a range in which an error in the predicted course occurs. The index MA14 in FIG. 12 includes course ranges ML311 and ML312. These course ranges ML311 and ML312 are ranges in which the predicted
そのため、図１２に示す点ｐ５ａと点ｐ１５ｂとの間隔（Ｗ１２ａ）、および、点ｐ６ａと点ｐ１６ｂとの間隔（Ｗ１２ａ）は、図７に示した間隔Ｗ２ａよりも大きい。図中に示す点ｐ１５ｂは、路面摩擦係数、車両９の速度、および、設計公差に基づいて導出した車両像９の左側の後輪の最大誤差進路ＭＬ３０１ｂと、車両９からの距離が約１．５ｍの位置を示す距離線Ｄ３ａとの交点である。また、点ｐ１６ｂは、路面摩擦係数、車両９の速度、および、設計公差に基づいて導出した車両９の右側の後輪の最大誤差進路ＭＬ３０２ｂと、車両９からの距離が約１．５ｍの位置を示す距離線Ｄ３ａとの交点である。
Therefore, the interval (W12a) between the points p5a and p15b and the interval (W12a) between the points p6a and p16b shown in FIG. 12 are larger than the interval W2a shown in FIG. The point p15b shown in the figure is about 1. from the maximum error path ML301b of the rear wheel on the left side of the
また、図１２に示す点ｐ７ａと点ｐ１７ｂとの間隔（Ｗ１２ｂ）、および、点ｐ８ａと点ｐ１８ｂとの間隔（Ｗ１２ｂ）は、図７に示した間隔Ｗ１２ａよりも大きい。図中に示す点ｐ１７ｂ、は、路面摩擦係数、車両９の速度、および、設計公差に基づいて導出した車両９の左側の後輪の最大誤差進路ＭＬ３０１ｂと、車両９からの距離が約３．０ｍの位置を示す距離線Ｄ４との交点である。また、点ｐ１８ｂは、路面摩擦係数、車両９の速度、および、設計公差に基づいて導出した車両９の右側の後輪の最大誤差進路ＭＬ３０２ｂと、車両９からの距離が約３．０ｍの位置を示す距離線Ｄ４との交点である。このように車両の内部の要因に基づいて、導出された車両９の進行に伴って車両９の通過する可能性のある位置をユーザに認識させることができる。
Further, the interval (W12b) between the points p7a and p17b and the interval (W12b) between the points p8a and p18b shown in FIG. 12 are larger than the interval W12a shown in FIG. The point p17b shown in the figure is a distance between the
＜２−２．処理フローチャート＞
図１３は、第２の実施の形態の画像処理装置１００の処理フローチャートである。図１３に示す第２の実施の形態の処理フローチャートと第１の実施の形態の図１１に示す処理フローチャートとの違いは、ステップＳ２０１の設計公差の情報を読み出す処理が新たに追加された点である。そして、図１１のステップＳ１０７，の処理が、図１３に示すステップＳ１０７ａの処理に変更されている。
<2-2. Processing flowchart>
FIG. 13 is a process flowchart of the
ステップＳ１０７ａの処理においては、予測進路導出部１３が予測進路の誤差が生じる範囲を導出する際に、第１の実施の形態で説明した路面摩擦係数と車両９の速度に加えて、設計交差を新たに誤差の要因とする。その他の処理については図１１に示した処理フローチャートと同様の処理である。
In the process of step S107a, when the predicted
図１３に示すステップＳ１０２では、操舵角センサ８３からの操舵角情報を信号入力部４１を介して受信して（ステップＳ１０２）、ステップＳ２０１の処理に進む。
In step S102 shown in FIG. 13, the steering angle information from the
ステップＳ２０１では、要因検知部１４が、不揮発性メモリ４０の車種別データ４ａに記録されている車両９の設計公差の情報を読み出して（ステップＳ２０１）、ステップＳ１０３の処理へ進む。そして、以降の処理のステップＳ１０７ａの処理では、予測進路導出部１３が予測進路を導出する場合に、設計公差の情報を予測進路に誤差を生じさせる要因の程度として用いて予測進路の誤差が生じる範囲を導出する。
＜第３の実施の形態＞
次に、第３の実施の形態について説明する。第３の実施の形態における画像表示システムの構成・処理は、第１の実施の形態とほぼ同様であるが一部が相違しているため、以下、第１の実施の形態との相違点を中心に説明する。予測進路導出部１３が予測進路の誤差が生じる範囲を導出した後に、車両９の速度が変化した場合においては、予測進路の誤差が生じる範囲が変化する。第３の実施の形態では、このように予測進路の誤差が生じる範囲が変化した場合に、変化前と変化後との双方の予測進路の誤差が生じる範囲を示す指標を表示する。
In step S201, the
<Third Embodiment>
Next, a third embodiment will be described. The configuration and processing of the image display system in the third embodiment are substantially the same as those in the first embodiment, but are partially different. Therefore, the differences from the first embodiment will be described below. The explanation is centered. If the speed of the
＜３−１．表示画像＞
図１４は、予測進路の誤差が生じる範囲を示す指標ＭＡ２４を示す図である。図１４には車両９の速度の変化に伴う２種類の予測進路の誤差が生じる範囲が示されている。２種類の一方は、図７と同様の進路範囲ＭＬ３１，ＭＬ３２である。また、２種類の他方は、これらの進路範囲ＭＬ３１，ＭＬ３２が導出された後に、車両９の速度が変化したことに伴って変化した進路範囲ＭＬ３０１，ＭＬ３０２（図１４にハッチングで表示されている範囲）である。これら２種類の予測進路の誤差が生じる範囲がディスプレイ２１に表示される際には、先に導出された進路範囲ＭＬ３１上に、後に導出された進路範囲ＭＬ３０１が重畳される。また、先に導出された進路範囲ＭＬ３２に、後に導出された進路範囲ＭＬ３０２が重畳される。
<3-1. Display image>
FIG. 14 is a diagram illustrating an index MA24 indicating a range in which an error in the predicted course occurs. FIG. 14 shows a range in which two types of predicted course errors occur as the speed of the
このように車両９の速度に応じて予測進路の誤差が生じる範囲が変化した場合に、変化前の予測進路の誤差が生じる範囲（進路範囲ＭＬ３１，ＭＬ３２）と変化後の予測進路の誤差が生じる範囲（進路範囲ＭＬ３０１，ＭＬ３０２）との双方を示す指標ＭＡ２４を表示することで、車両９の速度に応じて変化した予測進路の誤差が生じる範囲をユーザが認識できる。
As described above, when the range in which the predicted course error occurs is changed in accordance with the speed of the
なお、後に導出された進路範囲は、先に導出された進路範囲に比べて範囲内の色を濃くしてもよい。また、車両９の速度の変化後に導出された最大誤差進路ＭＬ３１ｃ，ＭＬ３２ｃの線の太さを、車両９の速度の変化前に導出された最大誤差進路ＭＬ３１ｂ，ＭＬ３２ｂと比べて太く表示するようにしてもよい。これにより、車両９の速度に対応した予測進路をユーザが認識できる。
The route range derived later may be darker in color than the previously derived route range. Further, the line thickness of the maximum error paths ML31c and ML32c derived after the speed change of the
なお、図１４に示す場合では、車両９の速度の変化後に導出された進路範囲ＭＬ３０１，ＭＬ３０２は、車両９の速度の変化前に導出された進路範囲ＭＬ３１，ＭＬ３２よりもそれぞれ狭い範囲となっている。これは、路面摩擦係数が一定であると仮定すると、車両９の速度が低下したことを示している。なお、逆に、車両９の速度が速くなった場合は、速度の変化後に導出された進路範囲ＭＬ３０１，ＭＬ３０２は、速度の変化前に導出された進路範囲ＭＬ３１，ＭＬ３２よりもそれぞれ広くなる。
In the case shown in FIG. 14, the course ranges ML301 and ML302 derived after the change in the speed of the
＜変形例＞
以上、本発明の実施の形態について説明してきたが、この発明は上記実施の形態に限定されるものではなく様々な変形が可能である。以下では、このような変形例について説明する。なお、上記実施の形態で説明した形態、および、以下で説明する形態を含む全ての形態は、適宜に組み合わせ可能である。
<Modification>
Although the embodiments of the present invention have been described above, the present invention is not limited to the above-described embodiments, and various modifications are possible. Below, such a modification is demonstrated. In addition, all the forms including the form demonstrated in the said embodiment and the form demonstrated below are combinable suitably.
上記実施の形態では、予測進路に誤差が生じる要因の程度として、路面の滑りやすさ、および、車両９の速度の程度などを示したが、これ以外にもジャイロセンサ８２により検知される車両９の傾きの程度に基づいて、予測進路導出部１３が予測進路の誤差が生じる範囲を導出するようにしてもよい。例えば、車両９が傾斜を有する坂道を走行する場合には、車両９の傾きの程度を考慮することで予測進路の誤差が生じる範囲を精度よく導出することができる。
In the above-described embodiment, the degree of slippage of the road surface and the speed of the
また、上記実施の形態では、車両９が後退してユーザが目標とするスペースに車両９を移動させる場合に、車両９の後方に予測進路を示す指標を車外画像に重畳して表示する例について述べたが、これ以外にも、車両９が前進して目標とするスペースに車両９を移動させる場合に、車両９の前方に予測進路を示す指標を車外画像に重畳して表示するようにしてもよい。
In the above embodiment, when the
また、上記実施の形態においては車両９が曲線的に後退する場合に、設計交差を予測進路に誤差を生じさせる要因の程度として用いることを説明した。これに対して、車両９のステアリングホイールが中立位置に操作されている場合（車両９が直線的に後退する場合）においても、設計公差を要因として用いることで予測進路に誤差を生じさせる範囲を精度良く導出することができる。この場合は、まず、画像処理装置１００が撮影部５からのカメラ画像を受信する。次に、操舵角取得部１２がユーザが操作したステアリングホイールの操舵角が、中立位置であることを取得する。このため、操舵角は考慮されず、車両９の速度と設計公差とに基づいて予測進路導出部１３が予測進路に誤差を生じさせる範囲を導出する。そして、この範囲を示す指標が車外画像に重畳してディスプレイ２１に表示される。
Moreover, in the said embodiment, when the
また、上記実施の形態では、要因検知部１７が検知する要因については、ブレーキＥＣＵ８４が検知する路面摩擦係数と、車速センサ８６が検知する車両９の速度とした。そして、路面摩擦係数および車両９の速度に基づいて、誤差を生じる予測進路の範囲を予測進路導出部１３が導出することについて説明した。また、要因検知部１７がサスペンションＥＣＵ８５により検知された車両９の走行する路面の凹凸の程度を検知し、路面の凹凸の程度に基づいて予測進路導出部１３が車両９の予測進路の範囲を導出するようにしてもよい。
In the above embodiment, the factors detected by the factor detector 17 are the road surface friction coefficient detected by the
また、上記実施の形態では、車両９の速度の検知は車速センサ８６の信号に基づいて検知されるとしたが、ブレーキＥＣＵ８４からの車速信号に基づいて検知するようにしてもよい。
In the above embodiment, the speed of the
また、上記実施の形態では、画像処理装置１００とナビゲーション装置２０とは別の装置であるとして説明したが、画像処理装置１００とナビゲーション装置２０とが同一の筐体内に配置されて一体型の装置として構成されてもよい。
In the above embodiment, the
また、上記実施の形態では、画像処理装置１００で生成された画像を表示する表示装置はナビゲーション装置２０であるとして説明したが、ナビゲーション機能等の特殊な機能を有していない一般的な表示装置であってもよい。
In the above embodiment, the display device that displays the image generated by the
また、上記実施の形態において、画像処理装置１００の制御部１によって実現されると説明した機能の一部は、ナビゲーション装置２０の制御部２３によって実現されてもよい。
In the above embodiment, some of the functions described as being realized by the
また、上記実施の形態において、信号入力部４１を介して画像処理装置１００の制御部１に入力されると説明した信号の一部または全部は、ナビゲーション装置２０に入力されるようになっていてもよい。この場合は、ナビ通信部４２を経由して、画像処理装置１００の制御部１に当該信号を入力すればよい。
In the above embodiment, part or all of the signals described as being input to the
また、上記実施の形態では、プログラムに従ったＣＰＵの演算処理によってソフトウェア的に各種の機能が実現されると説明したが、これら機能のうちの一部は電気的なハードウェア回路により実現されてもよい。また逆に、ハードウェア回路によって実現されるとした機能のうちの一部は、ソフトウェア的に実現されてもよい。 Further, in the above-described embodiment, it has been described that various functions are realized in software by the arithmetic processing of the CPU according to the program. However, some of these functions are realized by an electrical hardware circuit. Also good. Conversely, some of the functions realized by the hardware circuit may be realized by software.
１・・・・・制御部
５・・・・・撮影部
１０・・・・本体部
１１・・・・画像制御部
１２・・・・操舵角取得部
１３・・・・予測進路導出部
１４・・・・要因検知部
DESCRIPTION OF
Claims (8)
前記車両の周辺を撮影する撮像部が取得した車外画像を受信する受信手段と、
前記車両の操舵角を取得する取得手段と、
前記操舵角に基づいて、前記車両が進行すると予測される予測進路を導出する第１導出手段と、
前記予測進路に誤差を生じさせる要因の程度を検知する検知手段と、
前記要因の程度に関する路面摩擦係数、および、前記車両の速度のパラメータの演算処理に基づいて、前記予測進路に対して最大の誤差を有する最大誤差進路を導出する第２導出手段と、
前記予測進路と前記最大誤差進路とで構成される範囲であり、前記車両からの距離が離れるほど広くなる範囲を示す指標を前記車外画像に重畳して表示する表示手段と、
を備えること、
を特徴とする画像表示システム。 An image display system mounted on a vehicle,
Receiving means for receiving an image outside the vehicle acquired by an imaging unit that images the periphery of the vehicle;
Obtaining means for obtaining a steering angle of the vehicle;
First deriving means for deriving a predicted course where the vehicle is predicted to travel based on the steering angle;
Detecting means for detecting a degree of a factor causing an error in the predicted course;
Second derivation means for deriving a maximum error path having a maximum error with respect to the predicted path based on a calculation process of a road surface friction coefficient related to the degree of the factor and a parameter of the vehicle speed ;
A display means for superimposing and displaying on the image outside the vehicle an index indicating a range which is a range constituted by the predicted course and the maximum error course, and becomes wider as the distance from the vehicle increases ;
Providing
An image display system characterized by the above.
前記検知手段は、前記車両が走行する路面の滑りやすさと、前記車両の速度とを前記要
因の程度として検知すること、
を特徴とする画像表示システム。 The image display system according to claim 1,
The detecting means detects the slipperiness of the road surface on which the vehicle travels and the speed of the vehicle as the degree of the factor;
An image display system characterized by the above.
前記検知手段は、前記車両の設計公差を前記要因の程度として検知すること、
を特徴とする画像表示システム。 The image display system according to claim 1 or 2,
The detection means detects the design tolerance of the vehicle as the degree of the factor;
An image display system characterized by the above.
前記表示手段は、前記車両の速度に応じて前記予測進路と前記最大誤差経路とで構成される範囲が変化した場合に、変化前と変化後との双方の前記予測進路と前記最大誤差進路とで構成される範囲を示す指標を表示すること、
を特徴とする画像表示システム。 The image display system according to claim 2,
The display means, when the range that is constituted by the said maximum error path and the predicted path in response to the speed of the vehicle is changed, and the predicted path of both the pre-change and after the change and the maximum error path Display an indicator of the range that consists of
An image display system characterized by the above.
前記車両の周辺を撮影する撮像部が取得した車外画像を受信する受信手段と、
前記車両の操舵角を取得する取得手段と、
前記操舵角に基づいて、前記車両が進行すると予測される予測進路を導出する第１導出手段と、
前記予測進路に誤差を生じさせる要因の程度を検知する検知手段と、
前記要因の程度に関する路面摩擦係数、および、前記車両の速度のパラメータの演算処理に基づいて、前記予測進路に対して最大の誤差を有する最大誤差進路を導出する第２導出手段と、
前記予測進路と前記最大誤差進路とで構成される範囲であり、前記車両からの距離が離れるほど広くなる範囲を示す指標を表示装置に送信する送信手段と、
を備えること、
を特徴とする画像処理装置。 An image processing apparatus mounted on a vehicle,
Receiving means for receiving an image outside the vehicle acquired by an imaging unit that images the periphery of the vehicle;
Obtaining means for obtaining a steering angle of the vehicle;
First deriving means for deriving a predicted course where the vehicle is predicted to travel based on the steering angle;
Detecting means for detecting a degree of a factor causing an error in the predicted course;
Second derivation means for deriving a maximum error path having a maximum error with respect to the predicted path based on a calculation process of a road surface friction coefficient related to the degree of the factor and a parameter of the vehicle speed ;
Transmitting means for transmitting to the display device an index indicating a range that is configured by the predicted course and the maximum error course and becomes wider as the distance from the vehicle increases .
Providing
An image processing apparatus.
（ａ）前記車両の周辺を撮影する撮像部が取得した車外画像を受信する工程と、
（ｂ）前記車両の操舵角を取得する工程と、
（ｃ）前記操舵角に基づいて、前記車両が進行すると予測される予測進路を導出する工程と、
（ｄ）前記予測進路に誤差を生じさせる要因の程度を検知する工程と、
（ｅ）前記要因の程度に関する路面摩擦係数、および、前記車両の速度のパラメータの演算処理に基づいて、前記予測進路に対して最大の誤差を有する最大誤差進路を導出する工程と、
（ｆ）前記予測進路と前記最大誤差進路とで構成される範囲であり、前記車両からの距離が離れるほど広くなる範囲を示す指標を前記車外画像に重畳して表示する工程と、
を備えること、
を特徴とする画像表示方法。 An image display method for an image display system mounted on a vehicle,
(A) receiving an image outside the vehicle acquired by an imaging unit that captures the periphery of the vehicle;
(B) obtaining a steering angle of the vehicle;
(C) deriving a predicted course where the vehicle is predicted to travel based on the steering angle;
(D) detecting a degree of a factor causing an error in the predicted course;
(E) deriving a maximum error path having a maximum error with respect to the predicted path based on a calculation process of a road surface friction coefficient regarding the degree of the factor and a parameter of the vehicle speed ;
(F) a step of superimposing and displaying an index indicating a range which is a range constituted by the predicted course and the maximum error course and becomes wider as the distance from the vehicle is increased ;
Providing
An image display method characterized by the above.
前記車両の周辺を撮影する撮像部が取得した車外画像を受信する受信手段と、
前記車両の操舵角を取得する取得手段と、
前記操舵角に基づいて、前記車両が進行すると予測される予測進路を導出する第１導出
手段と、
前記予測進路に誤差を生じさせる要因の程度を検知する検知手段と、
前記要因の程度に基づいて、前記予測進路の前記誤差が生じる範囲を導出する第３導出
手段と、
前記予測進路の前記誤差が生じる範囲を示す指標を前記車外画像に重畳して表示する表
示手段と、
を備え、
前記検知手段は、前記車両の速度を前記要因の程度として検知し、
前記表示手段は、前記車両の速度に応じて前記予測進路の前記誤差が生じる範囲が変化
した場合に、変化前と変化後との双方の前記予測進路の前記誤差が生じる範囲を示す指標
を表示すること、
を特徴とする画像表示システム。 An image display system mounted on a vehicle,
Receiving means for receiving an image outside the vehicle acquired by an imaging unit that images the periphery of the vehicle;
Obtaining means for obtaining a steering angle of the vehicle;
First deriving means for deriving a predicted course where the vehicle is predicted to travel based on the steering angle;
Detecting means for detecting a degree of a factor causing an error in the predicted course;
Third deriving means for deriving a range in which the error of the predicted course occurs based on the degree of the factor;
Display means for superimposing and displaying an index indicating a range in which the error of the predicted course occurs on the outside image;
With
The detection means detects the speed of the vehicle as the degree of the factor,
The display means displays an index indicating a range in which the error in the predicted path before and after the change occurs when the range in which the error in the predicted path changes according to the speed of the vehicle. To do,
An image display system characterized by the above.
前記検知手段は、前記車両が走行する路面の滑りやすさを前記要因の程度として検知すること、
を特徴とする画像表示システム。 The image display system according to claim 7,
The detecting means detects the slipperiness of a road surface on which the vehicle travels as the degree of the factor;
An image display system characterized by the above.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2011018192A JP5651491B2 (en) | 2011-01-31 | 2011-01-31 | Image display system, image display apparatus, and image display method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2011018192A JP5651491B2 (en) | 2011-01-31 | 2011-01-31 | Image display system, image display apparatus, and image display method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2012158225A JP2012158225A (en) | 2012-08-23 |
| JP5651491B2 true JP5651491B2 (en) | 2015-01-14 |
Family
ID=46839125
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2011018192A Active JP5651491B2 (en) | 2011-01-31 | 2011-01-31 | Image display system, image display apparatus, and image display method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5651491B2 (en) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6760122B2 (en) * | 2017-02-16 | 2020-09-23 | アイシン精機株式会社 | Peripheral monitoring device |
| JP6747349B2 (en) * | 2017-03-23 | 2020-08-26 | 株式会社Ｊｖｃケンウッド | Driving support device, driving support method and program |
| JP7159598B2 (en) * | 2018-04-10 | 2022-10-25 | 株式会社アイシン | Perimeter monitoring device |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3619753B2 (en) * | 2000-07-03 | 2005-02-16 | トヨタ自動車株式会社 | Rear view display device for moving object |
| JP4673521B2 (en) * | 2001-09-10 | 2011-04-20 | 株式会社アイ・トランスポート・ラボ | Vehicle traveling locus observation apparatus and method using a plurality of video cameras |
| JP4110040B2 (en) * | 2003-05-27 | 2008-07-02 | 本田技研工業株式会社 | Automatic vehicle steering system |
-
2011
- 2011-01-31 JP JP2011018192A patent/JP5651491B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2012158225A (en) | 2012-08-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10676027B2 (en) | Vehicle control apparatus and program | |
| JP5337878B2 (en) | Driving assistance device | |
| US9895974B2 (en) | Vehicle control apparatus | |
| JP5681569B2 (en) | Information processing system, server device, and in-vehicle device | |
| CN109643439B (en) | Peripheral monitoring device | |
| JP4914458B2 (en) | Vehicle periphery display device | |
| EP1803602A1 (en) | Driving assist method and driving assist apparatus | |
| CN110945558B (en) | Display control device | |
| CN102149573A (en) | Display apparatus | |
| WO2020116352A1 (en) | Road surface detection device and road surface detection program | |
| WO2018150642A1 (en) | Surroundings monitoring device | |
| JP2012076551A (en) | Parking support device, parking support method, and parking support system | |
| JP2017220760A (en) | Image processing apparatus for vehicle | |
| JP2012073836A (en) | Image display system, image processing apparatus, and image display method | |
| JP6554866B2 (en) | Image display control device | |
| JP2007168560A (en) | Parking support apparatus | |
| JP2019054420A (en) | Image processing system | |
| JP5651491B2 (en) | Image display system, image display apparatus, and image display method | |
| JP2022023870A (en) | Display control device | |
| US20200140011A1 (en) | Parking assistance apparatus | |
| JP7009785B2 (en) | Peripheral monitoring device | |
| JP6642307B2 (en) | Perimeter monitoring device | |
| JP6610140B2 (en) | Perimeter monitoring device | |
| JP2020043418A (en) | Periphery monitoring device | |
| WO2023090186A1 (en) | Parking assistance device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20131217 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20140626 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140701 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140724 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140902 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140930 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20141111 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20141117 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 5651491 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |