JP3982357B2 - 画像変換システム及び画像処理装置 - Google Patents
画像変換システム及び画像処理装置 Download PDFInfo
- Publication number
- JP3982357B2 JP3982357B2 JP2002215805A JP2002215805A JP3982357B2 JP 3982357 B2 JP3982357 B2 JP 3982357B2 JP 2002215805 A JP2002215805 A JP 2002215805A JP 2002215805 A JP2002215805 A JP 2002215805A JP 3982357 B2 JP3982357 B2 JP 3982357B2
- Authority
- JP
- Japan
- Prior art keywords
- distance
- vehicle
- image
- conversion
- conversion table
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000006243 chemical reaction Methods 0.000 title claims description 259
- 238000012545 processing Methods 0.000 title claims description 74
- 238000003384 imaging method Methods 0.000 claims description 82
- 238000001514 detection method Methods 0.000 claims description 32
- 238000004891 communication Methods 0.000 claims description 14
- 238000004364 calculation method Methods 0.000 claims description 10
- 238000005259 measurement Methods 0.000 claims description 10
- 238000012937 correction Methods 0.000 claims description 6
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 description 14
- 230000008859 change Effects 0.000 description 14
- 240000004050 Pentaglottis sempervirens Species 0.000 description 11
- 238000010586 diagram Methods 0.000 description 11
- 238000000034 method Methods 0.000 description 10
- 230000008569 process Effects 0.000 description 10
- 230000006870 function Effects 0.000 description 7
- 238000013500 data storage Methods 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 4
- 230000004044 response Effects 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 239000003086 colorant Substances 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 230000007935 neutral effect Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Landscapes
- Image Analysis (AREA)
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
- Traffic Control Systems (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、車両に取り付けられた撮像装置の撮像データを表示用データに変換するものに関し、特に、撮像データの特定範囲を拡大した表示用データへスムーズに変換できる画像変換システム及び画像処理装置に関する。
【０００２】
【従来の技術】
従来、車両の運転席から死角となる車両の前部、後部等にカメラを取り付けると共に、カメラの撮像した撮像データを画像処理装置で表示用データに変換し、この表示用データを車内に設置したモニタ装置で表示すると云う画像変換システムが存在する。
【０００３】
従来の画像変換システムにおける変換の種類には、撮像データの画像の視点方向の変更、及び、撮像データに各種ガイド線等の図データを付加するもの等がある。画像の視点方向を変更するものには、例えば、撮像した画像を俯瞰方向から眺めた画像に画像処理装置で変換するものがあり、このように俯瞰方向に変換した画像を車内のモニタ装置で表示することで、運転者の運転操作に係る各種判断を支援する。
【０００４】
また、ガイド線等の図データが付加された表示用データへの変換は、例えば、駐車スペースに車両を駐車する際に行われ、このような変換を行うことで付加されたガイド線等を車両の進行程度に対する目安として利用できるようにしている。なお、上述した画像処理装置における変換では、撮像した画像の画素を入力データである変換元にして、出力データである変換後の表示用データを得ている。
【０００５】
【発明が解決しようとする課題】
上述したように従来の画像変換システムの変換では、画像の視点方向を変更して運転操作を支援できるようにしているが、変換された画像をモニタ装置で表示する範囲を変更する機能までは存在しないので、画像を拡大して運転操作をきめ細かく支援できない場合がある。例えば、周囲に他の車両等が駐車しているスペースに車両を駐車させるような場合、自身の車両と他の車両とが接触するおそれのある箇所を大きな表示で確認したいときもあるが、従来の変換では拡大表示に対応していないため、自身の車両と他の車両との間隔等を詳細に確認できないと云う問題がある。
【０００６】
また、駐車操作時等に使用されるバックカメラには広い範囲を撮像できるように広角レンズが装着されている場合が多いが、このような広角レンズによる撮像画像は湾曲するため、モニタ装置で表示される変換後の表示用データにも歪みが生じ、現実の状況に比べて違和感を与えると共に距離感の把握を混乱させる問題がある。なお、このような問題はガイド線等を付加することで、従来は対応されているが、湾曲画像にガイド線等が付加された状況であるため、依然として違和感等は解消できない。
【０００７】
さらに、従来の変換では、画像処理装置に入力される撮像データから出力される表示用データを得ているため、撮像データの画素位置に対応していない表示用データの画素位置には変換情報が配置されない。その結果、変換情報が配置されない表示用データの箇所には、画像が表示されない空白部分が発生する問題がある。
【０００８】
本発明は、斯かる事情に鑑みてなされたものであり、特別な操作を行うこと無しに、撮像データの画像を自動で拡大して変換できる画像変換システム及び画像処理装置を提供することを目的とする。
また、本発明は、画像の拡大と共に撮像データの画像の視点方向の変更及び歪みの矯正をスムーズに行い、車両の駐車操作に貢献できる画像変換システム及び画像処理装置を提供することを目的とする。
【０００９】
さらに、本発明は、変換テーブルの変換で出力データを元にして入力データの各画素の配置を規定することにより、表示用データに空白部分を生じさせない画像変換システム及び画像処理装置を提供することを目的とする。
【００１０】
【課題を解決するための手段】
第１発明に係る画像変換システムは、車両の後方を撮像するために前記車両に取り付けられた撮像装置と、該撮像装置が撮像した撮像データの表示用データへの変換を行う画像処理装置とを接続してなる画像変換システムにおいて、前記車両から後方に位置する物までの距離を測定する距離測定手段と、所定距離を記憶する距離記憶手段と、車両の直進状態を検出する直進検出手段とを含み、前記画像処理装置は、前記距離測定手段、前記距離記憶手段及び前記直進検出手段と接続されており、それぞれから測定された距離、前記所定距離及び直進状態であるか否かを受信する通信手段と、前記撮像データを形成する画素の座標範囲の一部の範囲と、該一部の範囲より大きい範囲である前記表示用データを形成する画素の座標範囲とを、前記一部の範囲が夫々相違する複数の範囲でそれぞれ対応付ける複数の変換テーブルと、これらの変換テーブルに基づいて、前記一部の範囲における撮像データの画像を拡大する前記変換を行う変換手段と、前記距離測定手段が測定した距離が前記距離記憶手段が記憶する所定距離以下である場合に、前記一部の範囲が大きい変換テーブルから小さい変換テーブルへの切換を行う変換テーブル切換手段とを備え、前記変換テーブル切換手段は、前記直進検出手段が直進状態を検出したときに、前記切換を行うようにしてあることを特徴とする。
また第２発明に係る画像変換システムは、車両の後方を撮像するために前記車両に取り付けられた撮像装置と、該撮像装置が撮像した撮像データの表示用データへの変換を行う画像処理装置とを接続してなる画像変換システムにおいて、前記車両から後方に位置する物までの距離を測定する距離測定手段と、所定距離を記憶する距離記憶手段と、車両のエンジン停止からエンジン始動までの時間を測定する時間測定手段と、所定時間を記憶する時間記憶手段とを含み、前記画像処理装置は、前記距離測定手段、前記距離記憶手段、前記時間測定手段及び前記時間記憶手段と接続されており、それぞれから測定された距離、前記所定時間、測定された時間及び前記所定時間を受信する通信手段と、前記撮像データを形成する画素の座標範囲の一部の範囲と、該一部の範囲より大きい範囲である前記表示用データを形成する画素の座標範囲とを、前記一部の範囲が夫々相違する複数の範囲でそれぞれ対応付ける複数の変換テーブルと、これらの変換テーブルに基づいて、前記一部の範囲における撮像データの画像を拡大する前記変換を行う変換手段と、前記距離測定手段が測定した距離が前記距離記憶手段が記憶する所定距離以下である場合に、前記一部の範囲が大きい変換テーブルから小さい変換テーブルへの切換を行う変換テーブル切換手段とを備え、前記変換テーブル切換手段は、前記切換が行われ、且つ前記時間測定手段が測定した時間が前記時間記憶手段が記憶する所定時間以下である場合に、前記行われた切換を維持する手段を備えることを特徴とする。
更に第３発明に係る画像変換システムは、車両の後方を撮像するために前記車両に取り付けられた撮像装置と、該撮像装置が撮像した撮像データの表示用データへの変換を行う画像処理装置とを接続してなる画像変換システムにおいて、前記車両の後進距離を測定する測定手段と、所定距離を記憶する距離記憶手段とを含み、前記画像処理装置は、前記測定手段及び前記距離記憶手段と接続されており、それぞれから測定された距離及び前記所定距離を受信する通信手段と、前記撮像データを形成する画素の座標範囲の一部の範囲と、該一部の範囲より大きい範囲である前記表示用データを形成する画素の座標範囲とを、前記一部の範囲が夫々相違する複数の範囲でそれぞれ対応付ける複数の変換テーブルと、これらの変換テーブルに基づいて、前記一部の範囲における撮像データの画像を拡大する前記変換を行う変換手段と、前記表示用データにおける目標位置を受け付ける受付手段と、前記表示用データにおける車両の位置を特定する特定手段と、該特定手段が特定した車両の位置から前記受付手段が受け付けた目標位置までの距離を演算する距離演算手段と、該距離演算手段が演算した距離と前記測定手段が測定した後進距離との差を演算する差演算手段と、前記差演算手段が演算した距離の差が前記距離記憶手段が記憶する所定距離以下である場合に、前記一部の範囲が大きい変換テーブルから小さい変換テーブルへの切換を行う変換テーブル切換手段とを備えることを特徴とする。
【００１１】
第４発明に係る画像変換システムは、前記変換テーブルが、前記撮像データの画像の俯瞰方向の画像への変換を行う方向変換手段を備えることを特徴とする。
【００１２】
第５発明に係る画像変換システムは、前記撮像装置が、湾曲画像の撮像データを撮像するものであり、前記変換テーブルは、前記湾曲画像の歪みを矯正する変換を行う歪み矯正手段を備えることを特徴とする。
【００１５】
第６発明に係る画像変換システムは、車両の前進距離を測定する前進距離測定手段と、所定の前進距離を記憶する前進距離記憶手段とを更に含み、前記画像処理装置の通信手段は更に、前記前進距離測定手段及び前記前進距離記憶手段と接続されており、前記画像処理装置の前記変換テーブル切換手段は、前記切換が行われ、且つ前記前進距離測定手段が測定した前進距離が前記前進距離記憶手段が記憶する前進距離以下である場合に、前記行われた切換を維持する手段を備えることを特徴とする。
【００１７】
第７発明に係る画像変換システムは、前記各変換テーブルが、前記撮像データの一部の範囲に対する前記表示用データの座標範囲の比に応じた大きさの車両の図データを前記表示用データに付加する手段を備えることを特徴とする。
【００１９】
第８発明に係る画像変換システムは、前記小さい変換テーブルは、車両の後方へ延出するガイド線を示すガイド線データを前記表示用データに付加する手段を備えることを特徴とする。
【００２０】
第９発明に係る画像変換システムは、前記小さい変換テーブルが、車両の後端からの距離を示す距離線を示す距離線データを前記表示用データに付加する手段を備えることを特徴とする。
【００２１】
また、本発明に係る画像処理装置は、上記の第１、第２及び第３発明の画像変換システムを構成する画像処理装置であることを特徴とする。
【００２２】
第１、第２及び第３発明にあっては、変換テーブルが撮像データの一部の範囲と、表示用データの座標範囲とを対応付けるので、この変換テーブルに基づき変換を行うことで、撮像データの画像を拡大した表示用データへ自動でスムーズに変換できる。このように撮像データの画像を拡大した表示用データを表示することで、運転者は運転操作の判断に必要な箇所の状況を詳細に把握できる。
また第１及び第２発明にあっては、画像変換システムの変換対象をバックカメラの撮像データにした場合であり、距離測定手段等を備えることで、自動的に表示される画像を拡大でき、駐車の操作において細心の注意を要求される場面で、拡大率の変更の操作から運転者を解放して運転者の負担を軽減できる。なお、バックカメラの撮像画像の表示は基本的に車両のリバースギアが入ったことを検出して行うようにする。さらに、手動で拡大率等を変更する場合等も考慮して拡大率変更に対応した操作スイッチ等を設けるようにしてもよい。なお、距離測定手段には超音波センサを適用するのが好適である。
更に第１発明にあっては、直進検出手段を設けることで、車両が直進状態であるときに、拡大画像の表示を行うので現実の駐車状況に即した表示を行える。即ち、駐車しようとする駐車スペースの隣に他の車両が駐車されているような場合、駐車スペースへ姿勢を方向転換して駐車するとき、方向転換の途中で駐車する車両の後方に他の車両が位置するような状況が発生する。この際、第４発明に基づき後方の他の車両の検出に応じて表示が拡大画像に切り換えられることが想定される。
【００２３】
一般に、方向転換して駐車スペースに車両を入れる状況では表示を拡大する必要はないので、方向転換時には車両の操舵装置が操舵されていることを判断条件として、方向転換が終了して駐車の最終段階の車両が直進状態の場合にだけ表示の切換を行うようにすることで、無用な表示切換を回避できる。また、上述したように距離測定手段で後方の壁等までの距離を測定して拡大表示にすることで、壁等までの詳細な状況を確認でき、適切な位置に車両を停止する判断を支援できる。なお、直進検出手段としては操舵装置の操舵角の検出センサ等を適用できる。
更に第２発明にあっては、一旦、駐車操作を終了してエンジンを停止しても、車外に出てみると、もう少し車両を寄せたい場合等が現実には存在するため、このような場合に対して、エンジン停止から記憶された時間内にエンジンを再始動した場合は、駐車操作時の拡大表示を維持し、駐車操作に適した画像を即時に表示して、実際の状況に適した表示を実現できる。
また更に第３発明にあっては、表示される画像の拡大切換を実際の後進距離に基づき行うので、一段と現実の車両の位置と駐車する目標位置の関係に応じた表示を行うことができる。なお、表示用データにおける目標位置の受付手段としては、タッチパネル機能を具備するモニタ装置等を適用でき、モニタ装置に表示される画像で駐車させたい位置を触れることで、表示される画像の画素単位と実際の距離との換算を行うことにより目標位置から現在の車両位置までの距離を演算できる。また、実際の後進距離は、車両にジャイロセンサ、車速センサ及びリバースギアセンサ等を設けることで、これらの各センサの検出値に基づき求めることができる。
なお、第１、第２及び第３発明にあっては、拡大される比率は、撮像データの一部の範囲と前記表示用データの座標範囲の比に対応しており、前記表示用データの座標範囲が一定の場合、前記撮像データの一部の範囲が小さい程、表示される画像は拡大されることになる。
【００２４】
第４発明にあっては、変換テーブルが方向変換手段を備えることで、撮像データの画像拡大と同時に画像の視点を俯瞰方向に変更でき、相違する２つの変換を効率的に行うことができる。また、このような俯瞰方向の変更は変換式に基づいて行うことが変換処理の効率化及び高精度等の観点から好適である。
【００２５】
第５発明にあっては、変換テーブルが歪み矯正手段を備えることで、撮像データの画像が湾曲していても歪みを矯正できるので、変換された表示用データを違和感のない自然な画像で表示でき、距離感等の把握も容易にできる。さらに、前記歪みの矯正は撮像データの縮尺変更と同時に行うことで、変換効率も向上でき、また、第４発明に係る俯瞰方向の変更も組み合わせて、縮尺変更、方向変更及び歪み矯正を一度に行うことも可能である。なお、第５発明に係る変換も変換式に基づいて行うことが好適である。
【００２９】
第６発明にあっては、前進距離測定手段が測定した距離と記憶された前進距離との関係に応じて変換テーブルの切換を維持するので、車両の操作状況に合致した表示を行うことができる。即ち、実際の駐車操作においては、車両の姿勢を整えるため後進している車両を一旦前進させることもあるが、このような前進の度に画像の縮尺表示を切り換えると、表示状況が煩雑になる。よって、一旦駐車の操作の段階になると、無用な切換を行わないようにして拡大画像の表示を維持して、見やすい表示状況を確保できる。
【００３１】
第７発明にあっては、変換テーブルに拡大比率に応じた大きさの車両の図データを付加する手段を設けることで、表示用データには車両の図データが表示されることになり、この車両の図データの大きさから現在の表示の拡大率を判断でき、表示される状況の距離感等の把握を容易にできる。なお、拡大率の判断しやすさ及び第４発明の俯瞰方向への変更等を考慮すると、車両の図データには車両の鳥瞰図を適用するのが好適である。
【００３３】
第８発明にあっては、小さい変換テーブルが車両から後方へ伸びるガイド線データを付加する手段を備えるので、駐車の最終段階における拡大された表示で操作の目安を提供して駐車操作を支援できる。なお、ガイド線は、車両の幅方向の両端部から車両の長手方向と平行に延出させることが、車両の駐車状況を確実に把握できるようにする観点から好ましい。
【００３４】
第９発明にあっては、小さい変換テーブルが車両の後端からの距離を示す距離線データを付加する手段を備えるので、拡大表示へ切り換えた後には、車両の後方からの距離を、表示用データで示される距離線に基づき必要な後進距離を判断でき、確実な駐車操作を行うことができる。
【００３５】
【発明の実施の形態】
以下、本発明をその実施の形態を示す図面に基づいて説明する。
図１は、本発明の実施形態に係る画像変換システム１０の全体構成図である。画像変換システム１０は車両Ｓに構築されており、バックカメラ１２をモニタ装置１４が接続されている画像処理装置１３へ情報系ケーブル１５で接続すると共に、情報系ケーブル１５の端末のゲートウェイ装置１６を介して超音波センサ１８Ａ、操舵角センサ１８Ｂ、車速センサ１８Ｃ、エンジン回転センサ１８Ｄ及びリバースギアセンサ１８Ｅを接続している。
【００３６】
画像変換システム１０の情報系ケーブル１５で接続される範囲は、同期通信用ネットワークのＩＥＥＥ１３９４の規格に合致したネットワーク構成になっており、車両に構築される車載ＬＡＮの一部に相当する情報系ＬＡＮ１１を形成している。一方、超音波センサ１８Ａ等の接続を行うボディ系ケーブル１９に係る範囲は、車載ＬＡＮにおけるボディ系ＬＡＮ１７を形成しており、ゲートウェイ装置１６が系統の相違する情報系ＬＡＮ１１及びボディ系ＬＡＮ１７を接続して、各センサ１８Ａ等の検出信号を情報系ＬＡＮ１１側の画像処理装置１３へ伝送している。
【００３７】
情報系ＬＡＮ１１に含まれるバックカメラ１２は撮像装置に相当し、図２に示すように車両Ｓの後方に取り付けられている。バックカメラ１２は広角レンズが装着されて車両の後方を広角で撮像するようにしている。図３（ａ）はバックカメラ１２で撮像された撮像データの一例となる画像４０であり、図３（ｂ）に示す駐車場Ｐの点Ａの位置で車両Ｓの後方を撮像したものである。なお、画像４０は広角レンズの影響により、歪みのある湾曲画像になる。また、バックカメラ１２の撮像及び撮像データの伝送は、画像処理装置１３のリバースギアセンサ１８Ｅの後進ギヤ位置の検出に応じた制御により行われる。
【００３８】
一方、図４に示す画像処理装置１３は、伝送された撮像データをモニタ装置１４で表示する表示用データに変換するものであり、内部に変換テーブル用メモリ２１、通信インタフェース２２、マイクロコンピュータ２３、画像処理ＡＳＩＣ２４、フレームメモリ２５、モニタインタフェース２６、ＲＯＭ２７及びＲＡＭ２８を具備している。
【００３９】
変換テーブル用メモリ２１は、バックカメラ１２の撮像データを表示用データへ変換する際に使用する変換テーブルを記憶するものであり、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ ＰＲＯＭ）で形成されている。
【００４０】
変換テーブル用メモリ２１に記憶される変換テーブルには様々な種類があり、例えば、図３（ａ）の歪みのある画像４０を、図５（ａ）（ｂ）（ｃ）に示す俯瞰方向で且つ歪みの矯正された種々の大きさの表示用データの画像４１、４２、４３に変換するもの、さらには、図６に示す一段と大きく拡大されてガイド線４６Ａ、４６Ｂ等が付加された表示用データの画像４４に変換するものがある。なお、図５（ａ）（ｂ）（ｃ）の各画像４１〜４３は、図３（ｂ）の駐車場Ｐの点Ａにおいて撮像された画像を変換したものであり、図６の画像４４は点Ｂにおいて撮像された画像を変換したものである。
【００４１】
上述したような変換を行う変換テーブルは、画像の拡大、画像の視点方向の変更及び歪みを矯正する処理手段を組み合わせた内容になっている。また、この変換テーブルでは、変換された表示用データを形成する各画素の座標を元にして、変換される撮像データを形成する各画素の座標を演算により特定する。このような変換テーブルに基づき変換することで、表示用データの全ての画素に撮像データの何れかの画素を配置できる。但し、表示用データの画素から演算で特定された座標が撮像データに存在しないときは、画素の配置は行わない。
【００４２】
次に、上述した各処理手段毎に変換テーブルの中身を説明する。
画像の拡大に係る変換テーブルは、変換される元の画像の一部の範囲を切り出して、切り出した範囲を表示用の画像に変換するものである。具体的には、図７に示すように、変換されるデータの画像５０を形成する画素の元座標範囲５０ａの一部の範囲と、変換したデータの画像５１を形成する画素の新座標範囲５１ａとの対応付けを行う。
【００４３】
このような変換テーブルに基づき変換を行うことで、矩形の元座標範囲５０ａの一部に含まれる画像を矩形の新座標範囲５１ａとして切り出し、この新座標範囲５１ａを前記一部の範囲より広い大きさにすることで拡大する。例えば、この新座標範囲５１ａを元座標範囲５０ａと同等の寸法にして切り出した画像の拡大を行う。
【００４４】
上述した切り出す新座標範囲５１ａの大きさはパラメータにより特定している。具体的には、図８に示すように、ｘ軸方向（水平方向）の両端のｘmin 、ｘmax のパラメータの数値及びｙ軸方向（垂直方向）の両端のｙmin 、ｙmax のパラメータの数値を適宜設定することで行われ、ｘ軸方向の辺５１ｂの長さはｘmax −ｘmin 、で求めることができ、ｙ軸方向の辺５１ｃの長さはｙmin −ｙmax で求めることができる。
【００４５】
よって、図５（ａ）（ｂ）（ｃ）の各画像４１、４２、４３及び図６の画像４４は、画像４１のｘ軸方向及びｙ軸方向の辺５１ｂ、５１ｃの長さを夫々「１」とした場合、図５（ｂ）の画像４２は「１．２」、図５（ｃ）の画像４３は「１．３」、図６の画像４４は「３」となるように、それぞれの変換に対応する変換テーブルにおけるパラメータを設定されている。なお、このようなパラメータの数値は、上述した数値以外にも拡大率に応じた変換テーブル毎に設定可能である。
【００４６】
上述した図８の新座標範囲５１ａ内の点Ｔに対応する図１のモニタ装置１４で表示される変換後の表示用データの座標範囲内の画素位置は以下の数式（１）（２）で特定できる。
ｘ＝（ｘmax −ｘmin ）／Ｃ×ｉ＋ｘmin ・・・（１）
ｙ＝（ｙmin −ｙmax ）／Ｄ×ｊ＋ｙmax ・・・（２）
但し、ｘは変換後の画素の水平座標、ｙは変換後の画素の垂直座標、Ｃは表示用データの水平画素数、Ｄは表示用データの垂直画素数、ｉは点Ｔの水平座標、ｊは点Ｔの垂直座標である。
【００４７】
上述した数式（１）（２）に基づき、前記変換テーブルは切り出された画像を表示用データの座標範囲に拡大して画素の配置を規定する。なお、本実施形態の表示用データの画素数は（Ｃ、Ｄ）＝（３６０、５２５）にしている。
【００４８】
また、画像を俯瞰方向に変換する処理手段（方向変換手段）は、変換後の画素の水平座標をｘ′、変換後の画素の垂直座標をｙ′、変換元の画素の水平座標をＸ′、変換元の画素の垂直座標をＹ′とすると、下記の数式（３）（４）に基づき対応付けが行われる。
但し、図９に示すように、Ｈは車両Ｓの接地面ｇからバックカメラ１２までの距離、Ｆはバックカメラ１２の焦点距離、θは車両Ｓの接地面ｇに対するバックカメラ１２の撮像方向（光軸方向）の角度である。
【００４９】
さらに、湾曲画像の歪みを矯正する処理手段（歪み矯正手段）は、変換後の画素の水平座標をｘ″、変換後の画素の垂直座標をｙ″、変換元の画素の水平座標をＸ″、変換元の画素の垂直座標をＹ″とすると、下記の数式（５）（６）に基づき対応付けが行われる。
但し、ａは表示用データの中心位置の画素の水平座標、ｂは表示用データの中心位置の画素の垂直座標、ｋはバックカメラの撮像レンズ（広角レンズ）に係る調和係数、ｃはアスペクト比率（縦横比）である。
【００５０】
本実施形態の変換テーブルは、上述した３種の処理である画像の拡大、画像方向の変更及び歪み矯正を、画素毎に一度の変換で行うため、上述した数式（１）〜（６）を順次代入して組み合わせた内容になっている。即ち、式（１）及び式（２）の各右辺を、式（３）における変換後の画素の水平座標ｘ′及び式（４）の変換後の画素の垂直座標をｙ′に夫々代入すると共に、この代入を行った式（３）（４）の各右辺を、式（５）における変換後の画素の水平座標ｘ″及び式（６）の変換後の画素の垂直座標をｙ″に夫々代入し、図８の点Ｔの（ｉ、ｊ）と、式（５）（６）の変換元の座標（Ｘ″、Ｙ″）との対応付けを行っている。
【００５１】
なお、各変換テーブルは上述した対応付けに加えて、車両の図データを表示用データに付加する手段を具備し、さらに、図６の画像４４の変換に係る最も小さい範囲に対応する変換テーブルは、ガイド線データ及び距離線データを表示用データに付加する手段も具備している。即ち、図５（ａ）（ｂ）（ｃ）、図６の各表示用データの画像４１、４２、４３、４４で表示される車両の鳥瞰図４５及び図６の画像４４で表示される車両の鳥瞰図４５の後部両端から後方へ延出する２本のガイド線４６Ａ、４６Ｂ、さらには、車両の鳥瞰図４５の後端からの距離を示す距離線４７Ａ〜４７Ｃが各変換テーブルに基づく変換で付加される。
【００５２】
各変換テーブルは、上述した車両の鳥瞰図４５、ガイド線４６Ａ等を付加する箇所に該当する画素には、撮像データの画素を対応付けるのではなく、変換情報としてＲＧＢ値を規定することで上述した鳥瞰図４５等を表示用データの各画像４１〜４４へ付加するようにしている。また、各変換テーブルは、各画像４１〜４４における車両の鳥瞰図４５の大きさを、撮像データの元の座標範囲の一部の範囲と表示用データの座標範囲の比に基づいて夫々相違させている。よって、各画像４１〜４４における車両の鳥瞰図４５の大きさを見ることで、各画像４１〜４４の拡大率を把握できるようにしている。
【００５３】
なお、図６の画像４４における２本のガイド線４６Ａ、４６Ｂは車両の鳥瞰図４５の後部両端から後方へ延出させることで、各ガイド線４６Ａ、４６Ｂの間隔を、丁度、車両幅と一致させており、これにより車両幅の認識性を高めている。また、画像４４における距離線４７Ａは車両の後端から５０ｃｍ離れた位置を示し、以下、距離線４７Ｂは１ｍ、距離線４７Ｃは２ｍ離れた位置を示している。なお、各距離線４７Ａ〜４７Ｃは、後述する図４に示す操作部２９に設けられた切換スイッチにより、手動で表示する線を適宜切換可能にしている。
【００５４】
上述した種々の複数の変換テーブルは、後述するマイクロコンピュータ２３の発行する読出用トリガに対応させて変換テーブル用メモリ２１に記憶されており、読出用トリガに応じて画像処理ＡＳＩＣ２４で読み出される。
【００５５】
一方、図４に示す画像処理装置１３の他のハードウェアである通信インタフェース２２はシステムの物理層処理、データリンク層処理及びトランザクション層処理を行うネットワークの接続インタフェースであり、バックカメラ１２から伝送された撮像データ及び図１に示すボディ系ＬＡＮ１７の各センサ１８Ａ〜１８Ｅの検出信号の受付に係る処理を上述した各層に応じて行っている。
【００５６】
マイクロコンピュータ２３は、ＲＯＭ２７内に記憶されているプログラムに基づき画像変換処理に係る全般の制御処理を行うと共に、条件に応じて変換の対応付けに係る一部の座標範囲が大きい変換テーブルから小さい変換テーブルへ切換を行う変換テーブル切換手段等として機能している。
【００５７】
マイクロコンピュータ２３は、先ず基本的に、車両Ｓの変速器がリバースギアに入ったことを検出するリバースギアセンサ１８Ｅの検出信号を受け付けており、この検出信号を受け付けた場合、図３（ａ）に示す撮像データの画像４０を図５（ａ）の表示用データの画像４１へ変換する際に適用される変換テーブルに対応する読出用トリガを発行し、画像処理ＡＳＩＣ２４に読出用トリガに対応する変換テーブルを変換テーブル用メモリ２１から読み出させる制御を行う。
【００５８】
また、マイクロコンピュータ２３には操作部２９が接続されている。操作部２９は、変換に適用される変換テーブルの手動で切り換える場合の切換操作を受け付けるスイッチを有している。具体的には図３（ａ）に示す撮像データの画像４０から図５（ａ）の表示用データの画像４１へ変換する変換テーブル、画像４０から図５（ｂ）の画像４２へ変換する変換テーブル、画像４０から図５（ｃ）の画像４３へ変換する変換テーブルを適宜切り換えることをスイッチ操作により受け付けており、受け付けた内容を切換信号としてマイクロコンピュータ２３へ伝送している。
【００５９】
マイクロコンピュータ２３は、前記切換信号を受け付けた場合、切換信号に対応する読出用トリガを画像処理ＡＳＩＣ２４へ発行し、前記同様に画像処理ＡＳＩＣ２４に対応する変換テーブルを読み出させる制御を行う。
【００６０】
また、図３（ａ）の画像４０を図６の表示用データの画像４４へ変換する際に使用される変換テーブルに、上述した画像４１、４２、４３に係る各変換テーブルから切り換えるのは、マイクロコンピュータ２３の変換テーブル切換手段が行っている。この変換テーブル切換手段は、マイクロコンピュータ２３が受け付ける図１の各センサ１８Ａ〜１８Ｄの検出信号と、ＲＯＭ２７に記憶される距離、前進距離、時間との比較により画像４４に係る変換テーブルに切り換えるか否かを判断する。
【００６１】
超音波センサ１８Ａは、図２に示すように車両Ｓの後部に取り付けられて、車両Ｓの後部から後方に位置する物Ｍまでの距離Ｌを測定する距離測定手段に相当する。また、上述したＲＯＭ２７に記憶される距離は、超音波センサ１８Ａが測定した距離Ｌと比較されて、画像４４に係る変換テーブルに切り換える基準となるものであり、本実施形態では１ｍに設定された距離が記憶されている。
【００６２】
なお、１ｍに設定している理由としては、画像４４は最も座標範囲が小さく、その結果、画像が大きく表示されるので、車両Ｓを後進させて駐車する場合、一連の駐車操作の最終段階で、車両Ｓを停止する際の距離等を確認する場合に最適となるからである。即ち、図３（ｂ）の図で説明すると、点Ａに位置する車両Ｓが点Ｂへ移動して正確に駐車スペースＰ１へ車両Ｓを止める際、壁Ｗからの距離に応じて画像４４が表示されるようにしている。
【００６３】
よって、車両Ｓが駐車スペースＰ１内に入り後方の壁Ｗから車両Ｓの後部までの距離が１ｍ以下になれば、自動的に画像４４に係る変換テーブルに切り換えられ、図１のモニタ装置１４には画像４４が表示される。画像４４は各画像が大きいため、細かい箇所も良好に確認できると共に、ガイド線４６Ａ、４６Ｂにより駐車スペースＰ１に対する車両Ｓの傾き等も把握できる上、距離線４７Ａ等により車両Ｓの後方への距離も認識でき、駐車時の最終段階における操作を支援できる。
【００６４】
また、操舵角センサ１８Ｂは、車両Ｓの操舵装置によりステアリングホイールが中立範囲の状態か、中立範囲から操舵されているかを検知して、車両Ｓの直進状態を検出する直進検出手段に該当するものである。マイクロコンピュータ２３は、操舵角センサ１８Ｂが直進状態の検出に係る検出信号を受け付けており、この検出信号を受け付けたとき、変換テーブル切換手段として上述した後方までの距離の条件を満たしている状態であれば画像４４に係る変換テーブルへの切換を行う。
【００６５】
このような直進状態の検出に応じて変換を行うのは、実際の駐車状況を考慮しているためであり、図１０に示すように、車両Ｓを駐車スペースＰ１へ駐車する際、隣の駐車スペースＰ２に他の車両Ｓ′が既に駐車されていることもある。この場合、車両Ｓの方向を転換する際、車両Ｓの後方から他の車両Ｓ′までの距離が１ｍ以下になると、運転者が望まない状況でモニタ装置１４の表示が拡大された画像４４に勝手に切り換えられるので、車両Ｓの直進状態でなければ、画像４４に係る変換テーブルの切換を行わないようにして、常に適切な表示が行われるように制御している。
【００６６】
また、車速センサ１８Ｃは、車両Ｓの変速機が前進側のギアに入っている場合の車速パルスの検出信号をマイクロコンピュータ２３へ伝送するものであり、マイクロコンピュータ２３自体は、受け付けた前記検出信号から車両Ｓの前進距離を演算して測定する前進距離測定手段として機能する。また、ＲＯＭ２７に記憶される前進距離は、マイクロコンピュータ２３の前進距離測定手段で測定される前進距離の比較対象になるものであり、本実施形態では５ｍに設定されて記憶されている。
【００６７】
マイクロコンピュータ２３の変換テーブル切換手段は、上述した２つの条件を満たして画像４４に係る変換テーブルに切り換えた場合、車両が前進しても前進距離が５ｍ以内であれば前記変換テーブルに切り換えた状態を維持する制御を行う。即ち、実際の駐車操作の最終段階では、正確に車両Ｓを止めようとするときに、車両Ｓの姿勢を整えるため等の理由で一旦車両Ｓを前進することもあるが、上記のような制御を行うことで、モニタ装置１４の表示が煩雑に切り換わることを防止している。
【００６８】
さらに、エンジン回転センサ１８Ｄはエンジンの回転している状態を検出して検出信号をマイクロコンピュータ２３へ伝送するものである。マイクロコンピュータ２３は、この検出信号の受付の有無でエンジン停止状態とエンジン始動状態を認識し、エンジン停止状態からエンジン始動状態になるまでの時間を測定する時間測定手段として機能する。また、ＲＯＭ２７に記憶される時間は、マイクロコンピュータ２３の時間測定手段で測定される時間と比較されるものであり、本実施形態では３分に設定されて記憶されている。
【００６９】
マイクロコンピュータ２３の変換テーブル切換手段は、上述した２つの条件を満たして画像４４に係る変換テーブルに切り換えた場合、車両Ｓを止めてエンジンを一旦停止しても、３分以内にエンジンを始動した場合は、画像４４の表示が維持される制御を行う。即ち、実際の駐車操作の最終段階では、一旦車両Ｓを止めて運転者が車外に出てから、再度、車両位置の微調整をすることもあるため、このような事態に対処するため上記のような制御を行い、再始動後にもスムーズに画像４４をモニタ装置１４に表示できるようにしている。
【００７０】
また、マイクロコンピュータ２３に制御される画像処理ＡＳＩＣ２４は、画像処理専用のカスタムＩＣであり、変換手段としてバックカメラ１２の撮像データを変換テーブル用メモリ２１から読み出した変換テーブルに基づいて画像が拡大等される表示用データに変換するものである。なお、画像処理ＡＳＩＣ２４は、マイクロコンピュータ２３が発行する読出用トリガに応じて読み出した種々の変換テーブルに基づき変換を行うことにより、撮像データを種々の拡大率の表示用データに変換できる。このように変換された表示用データは、一旦、画像処理ＡＳＩＣ２４からフレームメモリ２５へ伝送される。
【００７１】
フレームメモリ２５は、撮像データ記憶領域及び表示用データ記憶領域を有しており、撮像データ記憶領域でバックカメラ１２から伝送された撮像データを１画面単位で一時的に記憶し、表示用データ記憶領域で画像処理ＡＳＩＣ２４により変換された表示用データを１画面単位で記憶している。なお、表示用データ記憶領域は、１画面分の表示用データを蓄積した後、蓄積した各表示用データをモニタインタフェース２６へ順次送出している。また、表示用データ記憶領域では、表示用データ以外にも、初期画面用のデータ、背景用のデータ及びメニュー画面用のデータ、オーディオ・エアコン制御画面のデータ等も記憶している。
【００７２】
モニタインタフェース２６は、モニタ装置１４への接続用インタフェースであり、表示用データをアナログ画像信号の形態でモニタ装置１４へ出力する。なお、モニタインタフェース２６は、アナログＲＧＢ信号又はモニタ装置１４との間でデジタル伝送等に係るデジタル画像信号に対応したデータを出力可能にしてもよい。また、ＲＡＭ２８には変換処理中に生じた各種データ等が記憶される。
【００７３】
なお、図１の情報系ＬＡＮ１１には、図示していないナビゲーション装置、テレビチューナ等も接続されており、バックカメラ１２で撮像された画像をモニタ装置１４で表示しないとき等は、ナビゲーション装置のナビゲーション画面又はテレビチューナが受信したテレビ画面等をモニタ装置１４で表示するように画像処理装置１３が制御を行っている。
【００７４】
次に、画像変換システム１０におけるバックカメラ１２の撮像データの変換に係る一連の処理例を、車両Ｓの駐車状況に基づいて図１１の第１フローチャート及び図１２の第２フローチャートに従って説明する。
先ず、画像変換システム１０の電源スイッチをオンにしてシステムを立ち上げる（Ｓ１）。なお、システム立上に伴い、エンジンが始動され車両Ｓは目的地へ移動する走行が行われるものとする。また、車両Ｓの走行中は、モニタ装置１４にナビゲーション画面又はオーディオ・エアコン制御画面等が表示される（Ｓ２）。
【００７５】
次に、車両Ｓが駐車状況になり車両Ｓのリバースギアが入れられたか、又は、バックカメラ１２の撮像データの画像表示操作が操作部２９で行われたかが画像処理装置１３で判断される（Ｓ３）。リバースギアが入れられず、バックカメラ１２の画像表示操作も行われていない場合（Ｓ３：ＮＯ）、モニタ装置１４でナビゲーション画面等が表示される段階（Ｓ２）へ戻る。また、リバースギアが入れられた場合、又は、バックカメラ１２の画像表示操作が行われた場合（Ｓ３：ＹＥＳ）、バックカメラ１２の撮像データを図５（ａ）（ｂ）（ｃ）の画像４１、４２、４３の何れかに相当する画像の表示用データへ変換してモニタ装置１４で表示する（Ｓ４）。
【００７６】
この状態で、表示される画像の拡大表示操作が操作部２９で行われたか判断され（Ｓ５）、操作が行われていない場合は（Ｓ５：ＮＯ）、現状の変換された画像の表示が維持される（Ｓ４）。また、操作が行われた場合は（Ｓ５：ＹＥＳ）、操作に応じた画像４２又は画像４３に相当する拡大変換が行われた画像を表示する（Ｓ６）。
【００７７】
さらに、車両後方の物までの距離が１ｍ以内かを画像処理装置１３が判断し（Ｓ７）、１ｍを越えている場合は（Ｓ７：ＮＯ）、１ｍ以内になるまでループ状態となり現状の表示が維持される。一方、１ｍ以内になった場合（Ｓ７：ＹＥＳ）、図１２の第２フローチャートに示すように、続いて車両が直進状態であるかを画像処理装置１３が判断する（Ｓ８）。
【００７８】
車両が直進状態でないと判断した場合（Ｓ８：ＮＯ）、図１１の第１フローチャートの車両後方の物までの距離が１ｍ以内であるかの判断段階（Ｓ７）へ戻る。また、車両が直進状態であると判断した場合（Ｓ８：ＹＥＳ）、駐車操作の最終段階であると判断して、バックカメラ１２の撮像データを図６の画像４４に相当するガイド線４６Ａ、４６Ｂ及び距離線４７Ａ等を付加した表示用データの拡大画像に変換してモニタ装置１４で表示する（Ｓ９）。
【００７９】
この後、駐車が完了したと思われる場合は、エンジンを停止するが（Ｓ１０）、車外に出て適切な駐車位置でないとき等に対応して、駐車位置を調節するためエンジンを再始動したかを次の段階で画像処理装置１３が判断する（Ｓ１１）。エンジンを再始動していない場合は（Ｓ１１：ＮＯ）、そのまま処理を終了する。
【００８０】
一方、エンジンを再始動した場合（Ｓ１１：ＹＥＳ）、エンジン停止からエンジン再始動までが３分以内かを画像処理装置１３が判断する（Ｓ１２）。３分を越える場合は（Ｓ１２：ＮＯ）、駐車のためのエンジン再始動ではないと判断されて、図１１の第１フローチャートのナビゲーション画面等の表示の段階（Ｓ２）へ戻る。また、３分以内であれば（Ｓ１２：ＹＥＳ）、ガイド線４６Ａ、４６Ｂ及び距離線４７Ａ等を付加した拡大画像の表示が維持される（Ｓ１３）。
【００８１】
さらに、エンジン再始動後に車両の前進距離が５ｍ以内であるかを画像処理装置１３が判断する（Ｓ１４）。前進距離が５ｍをこえる場合は（Ｓ１４：ＮＯ）、駐車のための前進ではないと判断されて、図１１の第１フローチャートのナビゲーション画面等の表示の段階（Ｓ２）へ戻る。また、前進距離が５ｍ以内の場合は（Ｓ１４：ＹＥＳ）、ガイド線４６Ａ、４６Ｂ及び距離線４７Ａ等を付加した表示用データの拡大画像をモニタ装置１４で表示する段階（Ｓ９）へ戻り、以降、上記同様の処理になる。
【００８２】
このように本発明に係る画像変換システム１０は、駐車操作の最終段階では、運転者が特別な操作をすることなしに自動的に、最も拡大された画像が表示されるため、運転者は運転操作を続けた状態で、駐車操作に最適な画像の表示を確認できる。なお、本発明に係る画像変換システム１０は、上述した形態以外にも種々の変形例が可能である。
【００８３】
例えば、上述した実施形態では、図１に示すように、画像処理装置１３はモニタ装置１４と別体にされているが、画像処理装置１３をモニタ装置１４に組み込んで画像処理装置１３とモニタ装置１４とを一体化するようにしてもよい。さらに、画像処理装置１３はゲートウェイ装置１６と一体化するようにしてもよい。また、図６の画像４４では、距離線４７Ａ〜４７Ｃの線種を夫々相違させて表示しているが、各線の色を相違させて表示するようにしてもよい。
【００８４】
さらに、本実施形態では、バックカメラ１２の撮像データを表示用データの変換テーブルに基づき変換するようにしているが、車両Ｓの前部両端及び側方等の他の箇所に取り付けるカメラの撮像データに対しても同様な変換を行うことができる。さらに、また、本実施形態の変換テーブルは、画像の拡大、画像方向を俯瞰方向へ変更及び歪みの矯正を組合せた内容になっているが、カメラの性質及びカメラの取付位置等に応じて、変換テーブルの内容を前記処理のいずれか一つ、又は、いずれか２つに対応させたものにしてもよい。
【００８５】
また、図６の表示用データの画像４４に係る変換テーブルへの切換は、画像変換システム１０を以下のような構成にして制御することで行うようにしてもよい。即ち、モニタ装置１４にタッチパネル機能を設けて、図３（ｂ）の様な表示用データの画像を表示した状態で、駐車の目標位置の点Ｂの箇所を触れることで点Ｂの位置座標を受け付ける受付手段、及び、表示される車両Ｓの位置となる点Ａの箇所を触れることで点Ａの位置座標を特定する特定手段をモニタ装置１４に具備させる。
【００８６】
また、点Ｂの位置座標及び点Ａの位置座標に係るデータは画像処理装置１３のマイクロコンピュータ２３へ伝送する。マイクロコンピュータ２３は、点Ａから点Ｂに至る表示用データ上における水平画素数及び垂直画素数を求め、１画素当たりの実際の距離を換算して、点Ａから点Ｂの水平距離及び垂直距離の合計距離を演算する演算手段として機能させる。また、マイクロコンピュータ２３は車両Ｓの後進距離を測定する測定手段として、車速センサ１８Ｃからの車速パルスの検出信号及びリバースギアセンサ１８Ｅの検出信号を受け付けて後進距離を測定する。
【００８７】
さらに、マイクロコンピュータ２３は、差演算手段として測定した後進距離と演算した合計距離の差を演算し、この差の距離がＲＯＭ２７に記憶されている比較用の距離以下の場合に、画像４４に係る変換テーブルへ切り換える制御を行うようにしてもよい。なお、車両Ｓの後進距離を一段と正確に測定するために、車両に角速度センサ（ジャイロセンサ）を設けて、マイクロコンピュータ２３に検出信号を伝送するようにしてもよい。
【００８８】
また、画素の配置を図８における配置と相違させた上下反転用及び鏡像反転用の変換テーブルを設けると共に、図４の操作部２９に上下反転スイッチ及び鏡像反転スイッチを設けて上下反転及び鏡像反転の変換を行うようにしてもよい。
【００８９】
即ち、図８に示す新座標範囲５１ａはｙ軸方向において上端にｙmax 、下端にｙmin を配置するように規定しているが、上下反転用の変換テーブルはｙ軸方向において上端にｙmin 、下端にｙmax を夫々配置するよう規定する。また、操作部２９の上下切換スイッチを操作することで、上述した上下反転用の変換テーブルの読出用トリガを発生させて、手動で上下反転の表示切換を行うようにしてもよい。
【００９０】
また、鏡像反転の変換に関しては、図８に示す新座標範囲５１ａはｘ軸方向において左端にｘmin 、右端にｘmax を配置するように規定しているが、鏡像反転用の変換テーブルはｘ軸方向において左端にｘmax 、右端にｘmin を配置するよう規定する。また、操作部２９の鏡像切換スイッチを操作することで、上述した鏡像反転用の変換テーブルの読出用トリガを発生させて、手動で鏡像反転の表示切換を行うようにしてもよい。なお、この場合、操作部２９の上下切換スイッチ及び鏡像切換スイッチを同時に操作することで、上下反転及び鏡像反転を同時に変換できるようにしてもよい。
【００９１】
【発明の効果】
以上に詳述した如く、第１発明、第２発明及び第３発明にあっては、撮像データの一部の座標範囲と、表示用データの座標範囲とを対応付ける変換テーブルに基づき変換を行うことで、撮像データの画像を拡大した表示用データへ自動でスムーズに変換できる。
また第１発明及び第２発明にあっては、距離測定手段等を備えることで、自動的に表示される画像を拡大でき、運転者の駐車操作を支援できる。
更に第１発明にあっては、直進検出手段を設けることで、車両が直進状態であるときに、拡大画像の表示を行い、画像の切換が煩雑になるのを防止できる。
また第２発明にあっては、エンジン停止から記憶された時間内にエンジンを再始動した場合は、駐車操作時の拡大表示を維持できる。
また更に第３発明にあっては、表示される画像の拡大切換を実際の後進距離に基づき行うので、現実の車両の位置と駐車する目標位置の関係に応じた表示の切換を実現できる。 第４発明にあっては、変換テーブルが方向変換手段を備えることで、撮像データの画像拡大及び画像の俯瞰方向の変更を同時に行うことができる。
【００９２】
第５発明にあっては、変換テーブルが歪み矯正手段を備えることで、撮像データの画像が湾曲していても違和感のない自然な画像で表示できる。
【００９３】
第６発明にあっては、実際の駐車状況で行われる前進操作による前進距離を判断して画像の切換を行うので適切な表示を確保できる。
【００９４】
第７発明にあっては、表示用データには拡大率に応じた大きさの車両の図データが表示されることで、車両の図データの大きさから現在の表示の拡大率を容易に判断できる。
【００９５】
第８発明にあっては、拡大表示の切換を行ったときは車両から後方へ伸びるガイド線の図データを付加するので、最終段階の駐車操作を支援できる。
第９発明にあっては、車両の後方からの距離を示す距離線を表示するため、駐車する際に必要な後進距離を容易に把握できる。
【図面の簡単な説明】
【図１】本発明の実施形態に係る画像変換システムの全体構成図である。
【図２】車両に対するバックカメラの取付位置及び超音波センサの検出状況を示す概略平面図である。
【図３】（ａ）はバックカメラの撮像データの一例の画像を示す図であり、（ｂ）は駐車場における車両の駐車状況を示す概略平面図である。
【図４】画像処理装置の構成を示すブロック図である。
【図５】（ａ）（ｂ）（ｃ）は拡大変換された表示用データの画像を示す図である。
【図６】ガイド線及び距離線が付加された表示用データの最拡大画像を示す図である。
【図７】元座標範囲の一部の範囲と新座標範囲の関係を示す図である。
【図８】新座標範囲の水平及び垂直座標を示す図である。
【図９】車両の後部のバックカメラの取付状況を示す概略側面図である。
【図１０】駐車状況の一例を示す概略平面図である。
【図１１】本発明の処理に係る第１フローチャートである。
【図１２】本発明の処理に係る第２フローチャートである。
【符号の説明】
１０ 画像変換システム
１１ 情報系ＬＡＮ
１２ バックカメラ
１３ 画像処理装置
１４ モニタ装置
１６ ゲートウェイ装置
１７ ボディ系ＬＡＮ
１８Ａ 超音波センサ
１８Ｂ 操舵角センサ
１８Ｃ 車速センサ
１８Ｄ エンジン回転センサ
１８Ｅ リバースギアセンサ
２１ 変換テーブル用メモリ
２３ マイクロコンピュータ
２９ 操作部
４０ 撮像データの画像
４１〜４４ 表示用データの画像
４５ 車両の鳥瞰図
４６Ａ、４６Ｂ ガイド線
４７Ａ、４７Ｂ、４７Ｃ 距離線
Ｓ 車両
【発明の属する技術分野】
本発明は、車両に取り付けられた撮像装置の撮像データを表示用データに変換するものに関し、特に、撮像データの特定範囲を拡大した表示用データへスムーズに変換できる画像変換システム及び画像処理装置に関する。
【０００２】
【従来の技術】
従来、車両の運転席から死角となる車両の前部、後部等にカメラを取り付けると共に、カメラの撮像した撮像データを画像処理装置で表示用データに変換し、この表示用データを車内に設置したモニタ装置で表示すると云う画像変換システムが存在する。
【０００３】
従来の画像変換システムにおける変換の種類には、撮像データの画像の視点方向の変更、及び、撮像データに各種ガイド線等の図データを付加するもの等がある。画像の視点方向を変更するものには、例えば、撮像した画像を俯瞰方向から眺めた画像に画像処理装置で変換するものがあり、このように俯瞰方向に変換した画像を車内のモニタ装置で表示することで、運転者の運転操作に係る各種判断を支援する。
【０００４】
また、ガイド線等の図データが付加された表示用データへの変換は、例えば、駐車スペースに車両を駐車する際に行われ、このような変換を行うことで付加されたガイド線等を車両の進行程度に対する目安として利用できるようにしている。なお、上述した画像処理装置における変換では、撮像した画像の画素を入力データである変換元にして、出力データである変換後の表示用データを得ている。
【０００５】
【発明が解決しようとする課題】
上述したように従来の画像変換システムの変換では、画像の視点方向を変更して運転操作を支援できるようにしているが、変換された画像をモニタ装置で表示する範囲を変更する機能までは存在しないので、画像を拡大して運転操作をきめ細かく支援できない場合がある。例えば、周囲に他の車両等が駐車しているスペースに車両を駐車させるような場合、自身の車両と他の車両とが接触するおそれのある箇所を大きな表示で確認したいときもあるが、従来の変換では拡大表示に対応していないため、自身の車両と他の車両との間隔等を詳細に確認できないと云う問題がある。
【０００６】
また、駐車操作時等に使用されるバックカメラには広い範囲を撮像できるように広角レンズが装着されている場合が多いが、このような広角レンズによる撮像画像は湾曲するため、モニタ装置で表示される変換後の表示用データにも歪みが生じ、現実の状況に比べて違和感を与えると共に距離感の把握を混乱させる問題がある。なお、このような問題はガイド線等を付加することで、従来は対応されているが、湾曲画像にガイド線等が付加された状況であるため、依然として違和感等は解消できない。
【０００７】
さらに、従来の変換では、画像処理装置に入力される撮像データから出力される表示用データを得ているため、撮像データの画素位置に対応していない表示用データの画素位置には変換情報が配置されない。その結果、変換情報が配置されない表示用データの箇所には、画像が表示されない空白部分が発生する問題がある。
【０００８】
本発明は、斯かる事情に鑑みてなされたものであり、特別な操作を行うこと無しに、撮像データの画像を自動で拡大して変換できる画像変換システム及び画像処理装置を提供することを目的とする。
また、本発明は、画像の拡大と共に撮像データの画像の視点方向の変更及び歪みの矯正をスムーズに行い、車両の駐車操作に貢献できる画像変換システム及び画像処理装置を提供することを目的とする。
【０００９】
さらに、本発明は、変換テーブルの変換で出力データを元にして入力データの各画素の配置を規定することにより、表示用データに空白部分を生じさせない画像変換システム及び画像処理装置を提供することを目的とする。
【００１０】
【課題を解決するための手段】
第１発明に係る画像変換システムは、車両の後方を撮像するために前記車両に取り付けられた撮像装置と、該撮像装置が撮像した撮像データの表示用データへの変換を行う画像処理装置とを接続してなる画像変換システムにおいて、前記車両から後方に位置する物までの距離を測定する距離測定手段と、所定距離を記憶する距離記憶手段と、車両の直進状態を検出する直進検出手段とを含み、前記画像処理装置は、前記距離測定手段、前記距離記憶手段及び前記直進検出手段と接続されており、それぞれから測定された距離、前記所定距離及び直進状態であるか否かを受信する通信手段と、前記撮像データを形成する画素の座標範囲の一部の範囲と、該一部の範囲より大きい範囲である前記表示用データを形成する画素の座標範囲とを、前記一部の範囲が夫々相違する複数の範囲でそれぞれ対応付ける複数の変換テーブルと、これらの変換テーブルに基づいて、前記一部の範囲における撮像データの画像を拡大する前記変換を行う変換手段と、前記距離測定手段が測定した距離が前記距離記憶手段が記憶する所定距離以下である場合に、前記一部の範囲が大きい変換テーブルから小さい変換テーブルへの切換を行う変換テーブル切換手段とを備え、前記変換テーブル切換手段は、前記直進検出手段が直進状態を検出したときに、前記切換を行うようにしてあることを特徴とする。
また第２発明に係る画像変換システムは、車両の後方を撮像するために前記車両に取り付けられた撮像装置と、該撮像装置が撮像した撮像データの表示用データへの変換を行う画像処理装置とを接続してなる画像変換システムにおいて、前記車両から後方に位置する物までの距離を測定する距離測定手段と、所定距離を記憶する距離記憶手段と、車両のエンジン停止からエンジン始動までの時間を測定する時間測定手段と、所定時間を記憶する時間記憶手段とを含み、前記画像処理装置は、前記距離測定手段、前記距離記憶手段、前記時間測定手段及び前記時間記憶手段と接続されており、それぞれから測定された距離、前記所定時間、測定された時間及び前記所定時間を受信する通信手段と、前記撮像データを形成する画素の座標範囲の一部の範囲と、該一部の範囲より大きい範囲である前記表示用データを形成する画素の座標範囲とを、前記一部の範囲が夫々相違する複数の範囲でそれぞれ対応付ける複数の変換テーブルと、これらの変換テーブルに基づいて、前記一部の範囲における撮像データの画像を拡大する前記変換を行う変換手段と、前記距離測定手段が測定した距離が前記距離記憶手段が記憶する所定距離以下である場合に、前記一部の範囲が大きい変換テーブルから小さい変換テーブルへの切換を行う変換テーブル切換手段とを備え、前記変換テーブル切換手段は、前記切換が行われ、且つ前記時間測定手段が測定した時間が前記時間記憶手段が記憶する所定時間以下である場合に、前記行われた切換を維持する手段を備えることを特徴とする。
更に第３発明に係る画像変換システムは、車両の後方を撮像するために前記車両に取り付けられた撮像装置と、該撮像装置が撮像した撮像データの表示用データへの変換を行う画像処理装置とを接続してなる画像変換システムにおいて、前記車両の後進距離を測定する測定手段と、所定距離を記憶する距離記憶手段とを含み、前記画像処理装置は、前記測定手段及び前記距離記憶手段と接続されており、それぞれから測定された距離及び前記所定距離を受信する通信手段と、前記撮像データを形成する画素の座標範囲の一部の範囲と、該一部の範囲より大きい範囲である前記表示用データを形成する画素の座標範囲とを、前記一部の範囲が夫々相違する複数の範囲でそれぞれ対応付ける複数の変換テーブルと、これらの変換テーブルに基づいて、前記一部の範囲における撮像データの画像を拡大する前記変換を行う変換手段と、前記表示用データにおける目標位置を受け付ける受付手段と、前記表示用データにおける車両の位置を特定する特定手段と、該特定手段が特定した車両の位置から前記受付手段が受け付けた目標位置までの距離を演算する距離演算手段と、該距離演算手段が演算した距離と前記測定手段が測定した後進距離との差を演算する差演算手段と、前記差演算手段が演算した距離の差が前記距離記憶手段が記憶する所定距離以下である場合に、前記一部の範囲が大きい変換テーブルから小さい変換テーブルへの切換を行う変換テーブル切換手段とを備えることを特徴とする。
【００１１】
第４発明に係る画像変換システムは、前記変換テーブルが、前記撮像データの画像の俯瞰方向の画像への変換を行う方向変換手段を備えることを特徴とする。
【００１２】
第５発明に係る画像変換システムは、前記撮像装置が、湾曲画像の撮像データを撮像するものであり、前記変換テーブルは、前記湾曲画像の歪みを矯正する変換を行う歪み矯正手段を備えることを特徴とする。
【００１５】
第６発明に係る画像変換システムは、車両の前進距離を測定する前進距離測定手段と、所定の前進距離を記憶する前進距離記憶手段とを更に含み、前記画像処理装置の通信手段は更に、前記前進距離測定手段及び前記前進距離記憶手段と接続されており、前記画像処理装置の前記変換テーブル切換手段は、前記切換が行われ、且つ前記前進距離測定手段が測定した前進距離が前記前進距離記憶手段が記憶する前進距離以下である場合に、前記行われた切換を維持する手段を備えることを特徴とする。
【００１７】
第７発明に係る画像変換システムは、前記各変換テーブルが、前記撮像データの一部の範囲に対する前記表示用データの座標範囲の比に応じた大きさの車両の図データを前記表示用データに付加する手段を備えることを特徴とする。
【００１９】
第８発明に係る画像変換システムは、前記小さい変換テーブルは、車両の後方へ延出するガイド線を示すガイド線データを前記表示用データに付加する手段を備えることを特徴とする。
【００２０】
第９発明に係る画像変換システムは、前記小さい変換テーブルが、車両の後端からの距離を示す距離線を示す距離線データを前記表示用データに付加する手段を備えることを特徴とする。
【００２１】
また、本発明に係る画像処理装置は、上記の第１、第２及び第３発明の画像変換システムを構成する画像処理装置であることを特徴とする。
【００２２】
第１、第２及び第３発明にあっては、変換テーブルが撮像データの一部の範囲と、表示用データの座標範囲とを対応付けるので、この変換テーブルに基づき変換を行うことで、撮像データの画像を拡大した表示用データへ自動でスムーズに変換できる。このように撮像データの画像を拡大した表示用データを表示することで、運転者は運転操作の判断に必要な箇所の状況を詳細に把握できる。
また第１及び第２発明にあっては、画像変換システムの変換対象をバックカメラの撮像データにした場合であり、距離測定手段等を備えることで、自動的に表示される画像を拡大でき、駐車の操作において細心の注意を要求される場面で、拡大率の変更の操作から運転者を解放して運転者の負担を軽減できる。なお、バックカメラの撮像画像の表示は基本的に車両のリバースギアが入ったことを検出して行うようにする。さらに、手動で拡大率等を変更する場合等も考慮して拡大率変更に対応した操作スイッチ等を設けるようにしてもよい。なお、距離測定手段には超音波センサを適用するのが好適である。
更に第１発明にあっては、直進検出手段を設けることで、車両が直進状態であるときに、拡大画像の表示を行うので現実の駐車状況に即した表示を行える。即ち、駐車しようとする駐車スペースの隣に他の車両が駐車されているような場合、駐車スペースへ姿勢を方向転換して駐車するとき、方向転換の途中で駐車する車両の後方に他の車両が位置するような状況が発生する。この際、第４発明に基づき後方の他の車両の検出に応じて表示が拡大画像に切り換えられることが想定される。
【００２３】
一般に、方向転換して駐車スペースに車両を入れる状況では表示を拡大する必要はないので、方向転換時には車両の操舵装置が操舵されていることを判断条件として、方向転換が終了して駐車の最終段階の車両が直進状態の場合にだけ表示の切換を行うようにすることで、無用な表示切換を回避できる。また、上述したように距離測定手段で後方の壁等までの距離を測定して拡大表示にすることで、壁等までの詳細な状況を確認でき、適切な位置に車両を停止する判断を支援できる。なお、直進検出手段としては操舵装置の操舵角の検出センサ等を適用できる。
更に第２発明にあっては、一旦、駐車操作を終了してエンジンを停止しても、車外に出てみると、もう少し車両を寄せたい場合等が現実には存在するため、このような場合に対して、エンジン停止から記憶された時間内にエンジンを再始動した場合は、駐車操作時の拡大表示を維持し、駐車操作に適した画像を即時に表示して、実際の状況に適した表示を実現できる。
また更に第３発明にあっては、表示される画像の拡大切換を実際の後進距離に基づき行うので、一段と現実の車両の位置と駐車する目標位置の関係に応じた表示を行うことができる。なお、表示用データにおける目標位置の受付手段としては、タッチパネル機能を具備するモニタ装置等を適用でき、モニタ装置に表示される画像で駐車させたい位置を触れることで、表示される画像の画素単位と実際の距離との換算を行うことにより目標位置から現在の車両位置までの距離を演算できる。また、実際の後進距離は、車両にジャイロセンサ、車速センサ及びリバースギアセンサ等を設けることで、これらの各センサの検出値に基づき求めることができる。
なお、第１、第２及び第３発明にあっては、拡大される比率は、撮像データの一部の範囲と前記表示用データの座標範囲の比に対応しており、前記表示用データの座標範囲が一定の場合、前記撮像データの一部の範囲が小さい程、表示される画像は拡大されることになる。
【００２４】
第４発明にあっては、変換テーブルが方向変換手段を備えることで、撮像データの画像拡大と同時に画像の視点を俯瞰方向に変更でき、相違する２つの変換を効率的に行うことができる。また、このような俯瞰方向の変更は変換式に基づいて行うことが変換処理の効率化及び高精度等の観点から好適である。
【００２５】
第５発明にあっては、変換テーブルが歪み矯正手段を備えることで、撮像データの画像が湾曲していても歪みを矯正できるので、変換された表示用データを違和感のない自然な画像で表示でき、距離感等の把握も容易にできる。さらに、前記歪みの矯正は撮像データの縮尺変更と同時に行うことで、変換効率も向上でき、また、第４発明に係る俯瞰方向の変更も組み合わせて、縮尺変更、方向変更及び歪み矯正を一度に行うことも可能である。なお、第５発明に係る変換も変換式に基づいて行うことが好適である。
【００２９】
第６発明にあっては、前進距離測定手段が測定した距離と記憶された前進距離との関係に応じて変換テーブルの切換を維持するので、車両の操作状況に合致した表示を行うことができる。即ち、実際の駐車操作においては、車両の姿勢を整えるため後進している車両を一旦前進させることもあるが、このような前進の度に画像の縮尺表示を切り換えると、表示状況が煩雑になる。よって、一旦駐車の操作の段階になると、無用な切換を行わないようにして拡大画像の表示を維持して、見やすい表示状況を確保できる。
【００３１】
第７発明にあっては、変換テーブルに拡大比率に応じた大きさの車両の図データを付加する手段を設けることで、表示用データには車両の図データが表示されることになり、この車両の図データの大きさから現在の表示の拡大率を判断でき、表示される状況の距離感等の把握を容易にできる。なお、拡大率の判断しやすさ及び第４発明の俯瞰方向への変更等を考慮すると、車両の図データには車両の鳥瞰図を適用するのが好適である。
【００３３】
第８発明にあっては、小さい変換テーブルが車両から後方へ伸びるガイド線データを付加する手段を備えるので、駐車の最終段階における拡大された表示で操作の目安を提供して駐車操作を支援できる。なお、ガイド線は、車両の幅方向の両端部から車両の長手方向と平行に延出させることが、車両の駐車状況を確実に把握できるようにする観点から好ましい。
【００３４】
第９発明にあっては、小さい変換テーブルが車両の後端からの距離を示す距離線データを付加する手段を備えるので、拡大表示へ切り換えた後には、車両の後方からの距離を、表示用データで示される距離線に基づき必要な後進距離を判断でき、確実な駐車操作を行うことができる。
【００３５】
【発明の実施の形態】
以下、本発明をその実施の形態を示す図面に基づいて説明する。
図１は、本発明の実施形態に係る画像変換システム１０の全体構成図である。画像変換システム１０は車両Ｓに構築されており、バックカメラ１２をモニタ装置１４が接続されている画像処理装置１３へ情報系ケーブル１５で接続すると共に、情報系ケーブル１５の端末のゲートウェイ装置１６を介して超音波センサ１８Ａ、操舵角センサ１８Ｂ、車速センサ１８Ｃ、エンジン回転センサ１８Ｄ及びリバースギアセンサ１８Ｅを接続している。
【００３６】
画像変換システム１０の情報系ケーブル１５で接続される範囲は、同期通信用ネットワークのＩＥＥＥ１３９４の規格に合致したネットワーク構成になっており、車両に構築される車載ＬＡＮの一部に相当する情報系ＬＡＮ１１を形成している。一方、超音波センサ１８Ａ等の接続を行うボディ系ケーブル１９に係る範囲は、車載ＬＡＮにおけるボディ系ＬＡＮ１７を形成しており、ゲートウェイ装置１６が系統の相違する情報系ＬＡＮ１１及びボディ系ＬＡＮ１７を接続して、各センサ１８Ａ等の検出信号を情報系ＬＡＮ１１側の画像処理装置１３へ伝送している。
【００３７】
情報系ＬＡＮ１１に含まれるバックカメラ１２は撮像装置に相当し、図２に示すように車両Ｓの後方に取り付けられている。バックカメラ１２は広角レンズが装着されて車両の後方を広角で撮像するようにしている。図３（ａ）はバックカメラ１２で撮像された撮像データの一例となる画像４０であり、図３（ｂ）に示す駐車場Ｐの点Ａの位置で車両Ｓの後方を撮像したものである。なお、画像４０は広角レンズの影響により、歪みのある湾曲画像になる。また、バックカメラ１２の撮像及び撮像データの伝送は、画像処理装置１３のリバースギアセンサ１８Ｅの後進ギヤ位置の検出に応じた制御により行われる。
【００３８】
一方、図４に示す画像処理装置１３は、伝送された撮像データをモニタ装置１４で表示する表示用データに変換するものであり、内部に変換テーブル用メモリ２１、通信インタフェース２２、マイクロコンピュータ２３、画像処理ＡＳＩＣ２４、フレームメモリ２５、モニタインタフェース２６、ＲＯＭ２７及びＲＡＭ２８を具備している。
【００３９】
変換テーブル用メモリ２１は、バックカメラ１２の撮像データを表示用データへ変換する際に使用する変換テーブルを記憶するものであり、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ ＰＲＯＭ）で形成されている。
【００４０】
変換テーブル用メモリ２１に記憶される変換テーブルには様々な種類があり、例えば、図３（ａ）の歪みのある画像４０を、図５（ａ）（ｂ）（ｃ）に示す俯瞰方向で且つ歪みの矯正された種々の大きさの表示用データの画像４１、４２、４３に変換するもの、さらには、図６に示す一段と大きく拡大されてガイド線４６Ａ、４６Ｂ等が付加された表示用データの画像４４に変換するものがある。なお、図５（ａ）（ｂ）（ｃ）の各画像４１〜４３は、図３（ｂ）の駐車場Ｐの点Ａにおいて撮像された画像を変換したものであり、図６の画像４４は点Ｂにおいて撮像された画像を変換したものである。
【００４１】
上述したような変換を行う変換テーブルは、画像の拡大、画像の視点方向の変更及び歪みを矯正する処理手段を組み合わせた内容になっている。また、この変換テーブルでは、変換された表示用データを形成する各画素の座標を元にして、変換される撮像データを形成する各画素の座標を演算により特定する。このような変換テーブルに基づき変換することで、表示用データの全ての画素に撮像データの何れかの画素を配置できる。但し、表示用データの画素から演算で特定された座標が撮像データに存在しないときは、画素の配置は行わない。
【００４２】
次に、上述した各処理手段毎に変換テーブルの中身を説明する。
画像の拡大に係る変換テーブルは、変換される元の画像の一部の範囲を切り出して、切り出した範囲を表示用の画像に変換するものである。具体的には、図７に示すように、変換されるデータの画像５０を形成する画素の元座標範囲５０ａの一部の範囲と、変換したデータの画像５１を形成する画素の新座標範囲５１ａとの対応付けを行う。
【００４３】
このような変換テーブルに基づき変換を行うことで、矩形の元座標範囲５０ａの一部に含まれる画像を矩形の新座標範囲５１ａとして切り出し、この新座標範囲５１ａを前記一部の範囲より広い大きさにすることで拡大する。例えば、この新座標範囲５１ａを元座標範囲５０ａと同等の寸法にして切り出した画像の拡大を行う。
【００４４】
上述した切り出す新座標範囲５１ａの大きさはパラメータにより特定している。具体的には、図８に示すように、ｘ軸方向（水平方向）の両端のｘmin 、ｘmax のパラメータの数値及びｙ軸方向（垂直方向）の両端のｙmin 、ｙmax のパラメータの数値を適宜設定することで行われ、ｘ軸方向の辺５１ｂの長さはｘmax −ｘmin 、で求めることができ、ｙ軸方向の辺５１ｃの長さはｙmin −ｙmax で求めることができる。
【００４５】
よって、図５（ａ）（ｂ）（ｃ）の各画像４１、４２、４３及び図６の画像４４は、画像４１のｘ軸方向及びｙ軸方向の辺５１ｂ、５１ｃの長さを夫々「１」とした場合、図５（ｂ）の画像４２は「１．２」、図５（ｃ）の画像４３は「１．３」、図６の画像４４は「３」となるように、それぞれの変換に対応する変換テーブルにおけるパラメータを設定されている。なお、このようなパラメータの数値は、上述した数値以外にも拡大率に応じた変換テーブル毎に設定可能である。
【００４６】
上述した図８の新座標範囲５１ａ内の点Ｔに対応する図１のモニタ装置１４で表示される変換後の表示用データの座標範囲内の画素位置は以下の数式（１）（２）で特定できる。
ｘ＝（ｘmax −ｘmin ）／Ｃ×ｉ＋ｘmin ・・・（１）
ｙ＝（ｙmin −ｙmax ）／Ｄ×ｊ＋ｙmax ・・・（２）
但し、ｘは変換後の画素の水平座標、ｙは変換後の画素の垂直座標、Ｃは表示用データの水平画素数、Ｄは表示用データの垂直画素数、ｉは点Ｔの水平座標、ｊは点Ｔの垂直座標である。
【００４７】
上述した数式（１）（２）に基づき、前記変換テーブルは切り出された画像を表示用データの座標範囲に拡大して画素の配置を規定する。なお、本実施形態の表示用データの画素数は（Ｃ、Ｄ）＝（３６０、５２５）にしている。
【００４８】
また、画像を俯瞰方向に変換する処理手段（方向変換手段）は、変換後の画素の水平座標をｘ′、変換後の画素の垂直座標をｙ′、変換元の画素の水平座標をＸ′、変換元の画素の垂直座標をＹ′とすると、下記の数式（３）（４）に基づき対応付けが行われる。
【００４９】
さらに、湾曲画像の歪みを矯正する処理手段（歪み矯正手段）は、変換後の画素の水平座標をｘ″、変換後の画素の垂直座標をｙ″、変換元の画素の水平座標をＸ″、変換元の画素の垂直座標をＹ″とすると、下記の数式（５）（６）に基づき対応付けが行われる。
【００５０】
本実施形態の変換テーブルは、上述した３種の処理である画像の拡大、画像方向の変更及び歪み矯正を、画素毎に一度の変換で行うため、上述した数式（１）〜（６）を順次代入して組み合わせた内容になっている。即ち、式（１）及び式（２）の各右辺を、式（３）における変換後の画素の水平座標ｘ′及び式（４）の変換後の画素の垂直座標をｙ′に夫々代入すると共に、この代入を行った式（３）（４）の各右辺を、式（５）における変換後の画素の水平座標ｘ″及び式（６）の変換後の画素の垂直座標をｙ″に夫々代入し、図８の点Ｔの（ｉ、ｊ）と、式（５）（６）の変換元の座標（Ｘ″、Ｙ″）との対応付けを行っている。
【００５１】
なお、各変換テーブルは上述した対応付けに加えて、車両の図データを表示用データに付加する手段を具備し、さらに、図６の画像４４の変換に係る最も小さい範囲に対応する変換テーブルは、ガイド線データ及び距離線データを表示用データに付加する手段も具備している。即ち、図５（ａ）（ｂ）（ｃ）、図６の各表示用データの画像４１、４２、４３、４４で表示される車両の鳥瞰図４５及び図６の画像４４で表示される車両の鳥瞰図４５の後部両端から後方へ延出する２本のガイド線４６Ａ、４６Ｂ、さらには、車両の鳥瞰図４５の後端からの距離を示す距離線４７Ａ〜４７Ｃが各変換テーブルに基づく変換で付加される。
【００５２】
各変換テーブルは、上述した車両の鳥瞰図４５、ガイド線４６Ａ等を付加する箇所に該当する画素には、撮像データの画素を対応付けるのではなく、変換情報としてＲＧＢ値を規定することで上述した鳥瞰図４５等を表示用データの各画像４１〜４４へ付加するようにしている。また、各変換テーブルは、各画像４１〜４４における車両の鳥瞰図４５の大きさを、撮像データの元の座標範囲の一部の範囲と表示用データの座標範囲の比に基づいて夫々相違させている。よって、各画像４１〜４４における車両の鳥瞰図４５の大きさを見ることで、各画像４１〜４４の拡大率を把握できるようにしている。
【００５３】
なお、図６の画像４４における２本のガイド線４６Ａ、４６Ｂは車両の鳥瞰図４５の後部両端から後方へ延出させることで、各ガイド線４６Ａ、４６Ｂの間隔を、丁度、車両幅と一致させており、これにより車両幅の認識性を高めている。また、画像４４における距離線４７Ａは車両の後端から５０ｃｍ離れた位置を示し、以下、距離線４７Ｂは１ｍ、距離線４７Ｃは２ｍ離れた位置を示している。なお、各距離線４７Ａ〜４７Ｃは、後述する図４に示す操作部２９に設けられた切換スイッチにより、手動で表示する線を適宜切換可能にしている。
【００５４】
上述した種々の複数の変換テーブルは、後述するマイクロコンピュータ２３の発行する読出用トリガに対応させて変換テーブル用メモリ２１に記憶されており、読出用トリガに応じて画像処理ＡＳＩＣ２４で読み出される。
【００５５】
一方、図４に示す画像処理装置１３の他のハードウェアである通信インタフェース２２はシステムの物理層処理、データリンク層処理及びトランザクション層処理を行うネットワークの接続インタフェースであり、バックカメラ１２から伝送された撮像データ及び図１に示すボディ系ＬＡＮ１７の各センサ１８Ａ〜１８Ｅの検出信号の受付に係る処理を上述した各層に応じて行っている。
【００５６】
マイクロコンピュータ２３は、ＲＯＭ２７内に記憶されているプログラムに基づき画像変換処理に係る全般の制御処理を行うと共に、条件に応じて変換の対応付けに係る一部の座標範囲が大きい変換テーブルから小さい変換テーブルへ切換を行う変換テーブル切換手段等として機能している。
【００５７】
マイクロコンピュータ２３は、先ず基本的に、車両Ｓの変速器がリバースギアに入ったことを検出するリバースギアセンサ１８Ｅの検出信号を受け付けており、この検出信号を受け付けた場合、図３（ａ）に示す撮像データの画像４０を図５（ａ）の表示用データの画像４１へ変換する際に適用される変換テーブルに対応する読出用トリガを発行し、画像処理ＡＳＩＣ２４に読出用トリガに対応する変換テーブルを変換テーブル用メモリ２１から読み出させる制御を行う。
【００５８】
また、マイクロコンピュータ２３には操作部２９が接続されている。操作部２９は、変換に適用される変換テーブルの手動で切り換える場合の切換操作を受け付けるスイッチを有している。具体的には図３（ａ）に示す撮像データの画像４０から図５（ａ）の表示用データの画像４１へ変換する変換テーブル、画像４０から図５（ｂ）の画像４２へ変換する変換テーブル、画像４０から図５（ｃ）の画像４３へ変換する変換テーブルを適宜切り換えることをスイッチ操作により受け付けており、受け付けた内容を切換信号としてマイクロコンピュータ２３へ伝送している。
【００５９】
マイクロコンピュータ２３は、前記切換信号を受け付けた場合、切換信号に対応する読出用トリガを画像処理ＡＳＩＣ２４へ発行し、前記同様に画像処理ＡＳＩＣ２４に対応する変換テーブルを読み出させる制御を行う。
【００６０】
また、図３（ａ）の画像４０を図６の表示用データの画像４４へ変換する際に使用される変換テーブルに、上述した画像４１、４２、４３に係る各変換テーブルから切り換えるのは、マイクロコンピュータ２３の変換テーブル切換手段が行っている。この変換テーブル切換手段は、マイクロコンピュータ２３が受け付ける図１の各センサ１８Ａ〜１８Ｄの検出信号と、ＲＯＭ２７に記憶される距離、前進距離、時間との比較により画像４４に係る変換テーブルに切り換えるか否かを判断する。
【００６１】
超音波センサ１８Ａは、図２に示すように車両Ｓの後部に取り付けられて、車両Ｓの後部から後方に位置する物Ｍまでの距離Ｌを測定する距離測定手段に相当する。また、上述したＲＯＭ２７に記憶される距離は、超音波センサ１８Ａが測定した距離Ｌと比較されて、画像４４に係る変換テーブルに切り換える基準となるものであり、本実施形態では１ｍに設定された距離が記憶されている。
【００６２】
なお、１ｍに設定している理由としては、画像４４は最も座標範囲が小さく、その結果、画像が大きく表示されるので、車両Ｓを後進させて駐車する場合、一連の駐車操作の最終段階で、車両Ｓを停止する際の距離等を確認する場合に最適となるからである。即ち、図３（ｂ）の図で説明すると、点Ａに位置する車両Ｓが点Ｂへ移動して正確に駐車スペースＰ１へ車両Ｓを止める際、壁Ｗからの距離に応じて画像４４が表示されるようにしている。
【００６３】
よって、車両Ｓが駐車スペースＰ１内に入り後方の壁Ｗから車両Ｓの後部までの距離が１ｍ以下になれば、自動的に画像４４に係る変換テーブルに切り換えられ、図１のモニタ装置１４には画像４４が表示される。画像４４は各画像が大きいため、細かい箇所も良好に確認できると共に、ガイド線４６Ａ、４６Ｂにより駐車スペースＰ１に対する車両Ｓの傾き等も把握できる上、距離線４７Ａ等により車両Ｓの後方への距離も認識でき、駐車時の最終段階における操作を支援できる。
【００６４】
また、操舵角センサ１８Ｂは、車両Ｓの操舵装置によりステアリングホイールが中立範囲の状態か、中立範囲から操舵されているかを検知して、車両Ｓの直進状態を検出する直進検出手段に該当するものである。マイクロコンピュータ２３は、操舵角センサ１８Ｂが直進状態の検出に係る検出信号を受け付けており、この検出信号を受け付けたとき、変換テーブル切換手段として上述した後方までの距離の条件を満たしている状態であれば画像４４に係る変換テーブルへの切換を行う。
【００６５】
このような直進状態の検出に応じて変換を行うのは、実際の駐車状況を考慮しているためであり、図１０に示すように、車両Ｓを駐車スペースＰ１へ駐車する際、隣の駐車スペースＰ２に他の車両Ｓ′が既に駐車されていることもある。この場合、車両Ｓの方向を転換する際、車両Ｓの後方から他の車両Ｓ′までの距離が１ｍ以下になると、運転者が望まない状況でモニタ装置１４の表示が拡大された画像４４に勝手に切り換えられるので、車両Ｓの直進状態でなければ、画像４４に係る変換テーブルの切換を行わないようにして、常に適切な表示が行われるように制御している。
【００６６】
また、車速センサ１８Ｃは、車両Ｓの変速機が前進側のギアに入っている場合の車速パルスの検出信号をマイクロコンピュータ２３へ伝送するものであり、マイクロコンピュータ２３自体は、受け付けた前記検出信号から車両Ｓの前進距離を演算して測定する前進距離測定手段として機能する。また、ＲＯＭ２７に記憶される前進距離は、マイクロコンピュータ２３の前進距離測定手段で測定される前進距離の比較対象になるものであり、本実施形態では５ｍに設定されて記憶されている。
【００６７】
マイクロコンピュータ２３の変換テーブル切換手段は、上述した２つの条件を満たして画像４４に係る変換テーブルに切り換えた場合、車両が前進しても前進距離が５ｍ以内であれば前記変換テーブルに切り換えた状態を維持する制御を行う。即ち、実際の駐車操作の最終段階では、正確に車両Ｓを止めようとするときに、車両Ｓの姿勢を整えるため等の理由で一旦車両Ｓを前進することもあるが、上記のような制御を行うことで、モニタ装置１４の表示が煩雑に切り換わることを防止している。
【００６８】
さらに、エンジン回転センサ１８Ｄはエンジンの回転している状態を検出して検出信号をマイクロコンピュータ２３へ伝送するものである。マイクロコンピュータ２３は、この検出信号の受付の有無でエンジン停止状態とエンジン始動状態を認識し、エンジン停止状態からエンジン始動状態になるまでの時間を測定する時間測定手段として機能する。また、ＲＯＭ２７に記憶される時間は、マイクロコンピュータ２３の時間測定手段で測定される時間と比較されるものであり、本実施形態では３分に設定されて記憶されている。
【００６９】
マイクロコンピュータ２３の変換テーブル切換手段は、上述した２つの条件を満たして画像４４に係る変換テーブルに切り換えた場合、車両Ｓを止めてエンジンを一旦停止しても、３分以内にエンジンを始動した場合は、画像４４の表示が維持される制御を行う。即ち、実際の駐車操作の最終段階では、一旦車両Ｓを止めて運転者が車外に出てから、再度、車両位置の微調整をすることもあるため、このような事態に対処するため上記のような制御を行い、再始動後にもスムーズに画像４４をモニタ装置１４に表示できるようにしている。
【００７０】
また、マイクロコンピュータ２３に制御される画像処理ＡＳＩＣ２４は、画像処理専用のカスタムＩＣであり、変換手段としてバックカメラ１２の撮像データを変換テーブル用メモリ２１から読み出した変換テーブルに基づいて画像が拡大等される表示用データに変換するものである。なお、画像処理ＡＳＩＣ２４は、マイクロコンピュータ２３が発行する読出用トリガに応じて読み出した種々の変換テーブルに基づき変換を行うことにより、撮像データを種々の拡大率の表示用データに変換できる。このように変換された表示用データは、一旦、画像処理ＡＳＩＣ２４からフレームメモリ２５へ伝送される。
【００７１】
フレームメモリ２５は、撮像データ記憶領域及び表示用データ記憶領域を有しており、撮像データ記憶領域でバックカメラ１２から伝送された撮像データを１画面単位で一時的に記憶し、表示用データ記憶領域で画像処理ＡＳＩＣ２４により変換された表示用データを１画面単位で記憶している。なお、表示用データ記憶領域は、１画面分の表示用データを蓄積した後、蓄積した各表示用データをモニタインタフェース２６へ順次送出している。また、表示用データ記憶領域では、表示用データ以外にも、初期画面用のデータ、背景用のデータ及びメニュー画面用のデータ、オーディオ・エアコン制御画面のデータ等も記憶している。
【００７２】
モニタインタフェース２６は、モニタ装置１４への接続用インタフェースであり、表示用データをアナログ画像信号の形態でモニタ装置１４へ出力する。なお、モニタインタフェース２６は、アナログＲＧＢ信号又はモニタ装置１４との間でデジタル伝送等に係るデジタル画像信号に対応したデータを出力可能にしてもよい。また、ＲＡＭ２８には変換処理中に生じた各種データ等が記憶される。
【００７３】
なお、図１の情報系ＬＡＮ１１には、図示していないナビゲーション装置、テレビチューナ等も接続されており、バックカメラ１２で撮像された画像をモニタ装置１４で表示しないとき等は、ナビゲーション装置のナビゲーション画面又はテレビチューナが受信したテレビ画面等をモニタ装置１４で表示するように画像処理装置１３が制御を行っている。
【００７４】
次に、画像変換システム１０におけるバックカメラ１２の撮像データの変換に係る一連の処理例を、車両Ｓの駐車状況に基づいて図１１の第１フローチャート及び図１２の第２フローチャートに従って説明する。
先ず、画像変換システム１０の電源スイッチをオンにしてシステムを立ち上げる（Ｓ１）。なお、システム立上に伴い、エンジンが始動され車両Ｓは目的地へ移動する走行が行われるものとする。また、車両Ｓの走行中は、モニタ装置１４にナビゲーション画面又はオーディオ・エアコン制御画面等が表示される（Ｓ２）。
【００７５】
次に、車両Ｓが駐車状況になり車両Ｓのリバースギアが入れられたか、又は、バックカメラ１２の撮像データの画像表示操作が操作部２９で行われたかが画像処理装置１３で判断される（Ｓ３）。リバースギアが入れられず、バックカメラ１２の画像表示操作も行われていない場合（Ｓ３：ＮＯ）、モニタ装置１４でナビゲーション画面等が表示される段階（Ｓ２）へ戻る。また、リバースギアが入れられた場合、又は、バックカメラ１２の画像表示操作が行われた場合（Ｓ３：ＹＥＳ）、バックカメラ１２の撮像データを図５（ａ）（ｂ）（ｃ）の画像４１、４２、４３の何れかに相当する画像の表示用データへ変換してモニタ装置１４で表示する（Ｓ４）。
【００７６】
この状態で、表示される画像の拡大表示操作が操作部２９で行われたか判断され（Ｓ５）、操作が行われていない場合は（Ｓ５：ＮＯ）、現状の変換された画像の表示が維持される（Ｓ４）。また、操作が行われた場合は（Ｓ５：ＹＥＳ）、操作に応じた画像４２又は画像４３に相当する拡大変換が行われた画像を表示する（Ｓ６）。
【００７７】
さらに、車両後方の物までの距離が１ｍ以内かを画像処理装置１３が判断し（Ｓ７）、１ｍを越えている場合は（Ｓ７：ＮＯ）、１ｍ以内になるまでループ状態となり現状の表示が維持される。一方、１ｍ以内になった場合（Ｓ７：ＹＥＳ）、図１２の第２フローチャートに示すように、続いて車両が直進状態であるかを画像処理装置１３が判断する（Ｓ８）。
【００７８】
車両が直進状態でないと判断した場合（Ｓ８：ＮＯ）、図１１の第１フローチャートの車両後方の物までの距離が１ｍ以内であるかの判断段階（Ｓ７）へ戻る。また、車両が直進状態であると判断した場合（Ｓ８：ＹＥＳ）、駐車操作の最終段階であると判断して、バックカメラ１２の撮像データを図６の画像４４に相当するガイド線４６Ａ、４６Ｂ及び距離線４７Ａ等を付加した表示用データの拡大画像に変換してモニタ装置１４で表示する（Ｓ９）。
【００７９】
この後、駐車が完了したと思われる場合は、エンジンを停止するが（Ｓ１０）、車外に出て適切な駐車位置でないとき等に対応して、駐車位置を調節するためエンジンを再始動したかを次の段階で画像処理装置１３が判断する（Ｓ１１）。エンジンを再始動していない場合は（Ｓ１１：ＮＯ）、そのまま処理を終了する。
【００８０】
一方、エンジンを再始動した場合（Ｓ１１：ＹＥＳ）、エンジン停止からエンジン再始動までが３分以内かを画像処理装置１３が判断する（Ｓ１２）。３分を越える場合は（Ｓ１２：ＮＯ）、駐車のためのエンジン再始動ではないと判断されて、図１１の第１フローチャートのナビゲーション画面等の表示の段階（Ｓ２）へ戻る。また、３分以内であれば（Ｓ１２：ＹＥＳ）、ガイド線４６Ａ、４６Ｂ及び距離線４７Ａ等を付加した拡大画像の表示が維持される（Ｓ１３）。
【００８１】
さらに、エンジン再始動後に車両の前進距離が５ｍ以内であるかを画像処理装置１３が判断する（Ｓ１４）。前進距離が５ｍをこえる場合は（Ｓ１４：ＮＯ）、駐車のための前進ではないと判断されて、図１１の第１フローチャートのナビゲーション画面等の表示の段階（Ｓ２）へ戻る。また、前進距離が５ｍ以内の場合は（Ｓ１４：ＹＥＳ）、ガイド線４６Ａ、４６Ｂ及び距離線４７Ａ等を付加した表示用データの拡大画像をモニタ装置１４で表示する段階（Ｓ９）へ戻り、以降、上記同様の処理になる。
【００８２】
このように本発明に係る画像変換システム１０は、駐車操作の最終段階では、運転者が特別な操作をすることなしに自動的に、最も拡大された画像が表示されるため、運転者は運転操作を続けた状態で、駐車操作に最適な画像の表示を確認できる。なお、本発明に係る画像変換システム１０は、上述した形態以外にも種々の変形例が可能である。
【００８３】
例えば、上述した実施形態では、図１に示すように、画像処理装置１３はモニタ装置１４と別体にされているが、画像処理装置１３をモニタ装置１４に組み込んで画像処理装置１３とモニタ装置１４とを一体化するようにしてもよい。さらに、画像処理装置１３はゲートウェイ装置１６と一体化するようにしてもよい。また、図６の画像４４では、距離線４７Ａ〜４７Ｃの線種を夫々相違させて表示しているが、各線の色を相違させて表示するようにしてもよい。
【００８４】
さらに、本実施形態では、バックカメラ１２の撮像データを表示用データの変換テーブルに基づき変換するようにしているが、車両Ｓの前部両端及び側方等の他の箇所に取り付けるカメラの撮像データに対しても同様な変換を行うことができる。さらに、また、本実施形態の変換テーブルは、画像の拡大、画像方向を俯瞰方向へ変更及び歪みの矯正を組合せた内容になっているが、カメラの性質及びカメラの取付位置等に応じて、変換テーブルの内容を前記処理のいずれか一つ、又は、いずれか２つに対応させたものにしてもよい。
【００８５】
また、図６の表示用データの画像４４に係る変換テーブルへの切換は、画像変換システム１０を以下のような構成にして制御することで行うようにしてもよい。即ち、モニタ装置１４にタッチパネル機能を設けて、図３（ｂ）の様な表示用データの画像を表示した状態で、駐車の目標位置の点Ｂの箇所を触れることで点Ｂの位置座標を受け付ける受付手段、及び、表示される車両Ｓの位置となる点Ａの箇所を触れることで点Ａの位置座標を特定する特定手段をモニタ装置１４に具備させる。
【００８６】
また、点Ｂの位置座標及び点Ａの位置座標に係るデータは画像処理装置１３のマイクロコンピュータ２３へ伝送する。マイクロコンピュータ２３は、点Ａから点Ｂに至る表示用データ上における水平画素数及び垂直画素数を求め、１画素当たりの実際の距離を換算して、点Ａから点Ｂの水平距離及び垂直距離の合計距離を演算する演算手段として機能させる。また、マイクロコンピュータ２３は車両Ｓの後進距離を測定する測定手段として、車速センサ１８Ｃからの車速パルスの検出信号及びリバースギアセンサ１８Ｅの検出信号を受け付けて後進距離を測定する。
【００８７】
さらに、マイクロコンピュータ２３は、差演算手段として測定した後進距離と演算した合計距離の差を演算し、この差の距離がＲＯＭ２７に記憶されている比較用の距離以下の場合に、画像４４に係る変換テーブルへ切り換える制御を行うようにしてもよい。なお、車両Ｓの後進距離を一段と正確に測定するために、車両に角速度センサ（ジャイロセンサ）を設けて、マイクロコンピュータ２３に検出信号を伝送するようにしてもよい。
【００８８】
また、画素の配置を図８における配置と相違させた上下反転用及び鏡像反転用の変換テーブルを設けると共に、図４の操作部２９に上下反転スイッチ及び鏡像反転スイッチを設けて上下反転及び鏡像反転の変換を行うようにしてもよい。
【００８９】
即ち、図８に示す新座標範囲５１ａはｙ軸方向において上端にｙmax 、下端にｙmin を配置するように規定しているが、上下反転用の変換テーブルはｙ軸方向において上端にｙmin 、下端にｙmax を夫々配置するよう規定する。また、操作部２９の上下切換スイッチを操作することで、上述した上下反転用の変換テーブルの読出用トリガを発生させて、手動で上下反転の表示切換を行うようにしてもよい。
【００９０】
また、鏡像反転の変換に関しては、図８に示す新座標範囲５１ａはｘ軸方向において左端にｘmin 、右端にｘmax を配置するように規定しているが、鏡像反転用の変換テーブルはｘ軸方向において左端にｘmax 、右端にｘmin を配置するよう規定する。また、操作部２９の鏡像切換スイッチを操作することで、上述した鏡像反転用の変換テーブルの読出用トリガを発生させて、手動で鏡像反転の表示切換を行うようにしてもよい。なお、この場合、操作部２９の上下切換スイッチ及び鏡像切換スイッチを同時に操作することで、上下反転及び鏡像反転を同時に変換できるようにしてもよい。
【００９１】
【発明の効果】
以上に詳述した如く、第１発明、第２発明及び第３発明にあっては、撮像データの一部の座標範囲と、表示用データの座標範囲とを対応付ける変換テーブルに基づき変換を行うことで、撮像データの画像を拡大した表示用データへ自動でスムーズに変換できる。
また第１発明及び第２発明にあっては、距離測定手段等を備えることで、自動的に表示される画像を拡大でき、運転者の駐車操作を支援できる。
更に第１発明にあっては、直進検出手段を設けることで、車両が直進状態であるときに、拡大画像の表示を行い、画像の切換が煩雑になるのを防止できる。
また第２発明にあっては、エンジン停止から記憶された時間内にエンジンを再始動した場合は、駐車操作時の拡大表示を維持できる。
また更に第３発明にあっては、表示される画像の拡大切換を実際の後進距離に基づき行うので、現実の車両の位置と駐車する目標位置の関係に応じた表示の切換を実現できる。 第４発明にあっては、変換テーブルが方向変換手段を備えることで、撮像データの画像拡大及び画像の俯瞰方向の変更を同時に行うことができる。
【００９２】
第５発明にあっては、変換テーブルが歪み矯正手段を備えることで、撮像データの画像が湾曲していても違和感のない自然な画像で表示できる。
【００９３】
第６発明にあっては、実際の駐車状況で行われる前進操作による前進距離を判断して画像の切換を行うので適切な表示を確保できる。
【００９４】
第７発明にあっては、表示用データには拡大率に応じた大きさの車両の図データが表示されることで、車両の図データの大きさから現在の表示の拡大率を容易に判断できる。
【００９５】
第８発明にあっては、拡大表示の切換を行ったときは車両から後方へ伸びるガイド線の図データを付加するので、最終段階の駐車操作を支援できる。
第９発明にあっては、車両の後方からの距離を示す距離線を表示するため、駐車する際に必要な後進距離を容易に把握できる。
【図面の簡単な説明】
【図１】本発明の実施形態に係る画像変換システムの全体構成図である。
【図２】車両に対するバックカメラの取付位置及び超音波センサの検出状況を示す概略平面図である。
【図３】（ａ）はバックカメラの撮像データの一例の画像を示す図であり、（ｂ）は駐車場における車両の駐車状況を示す概略平面図である。
【図４】画像処理装置の構成を示すブロック図である。
【図５】（ａ）（ｂ）（ｃ）は拡大変換された表示用データの画像を示す図である。
【図６】ガイド線及び距離線が付加された表示用データの最拡大画像を示す図である。
【図７】元座標範囲の一部の範囲と新座標範囲の関係を示す図である。
【図８】新座標範囲の水平及び垂直座標を示す図である。
【図９】車両の後部のバックカメラの取付状況を示す概略側面図である。
【図１０】駐車状況の一例を示す概略平面図である。
【図１１】本発明の処理に係る第１フローチャートである。
【図１２】本発明の処理に係る第２フローチャートである。
【符号の説明】
１０ 画像変換システム
１１ 情報系ＬＡＮ
１２ バックカメラ
１３ 画像処理装置
１４ モニタ装置
１６ ゲートウェイ装置
１７ ボディ系ＬＡＮ
１８Ａ 超音波センサ
１８Ｂ 操舵角センサ
１８Ｃ 車速センサ
１８Ｄ エンジン回転センサ
１８Ｅ リバースギアセンサ
２１ 変換テーブル用メモリ
２３ マイクロコンピュータ
２９ 操作部
４０ 撮像データの画像
４１〜４４ 表示用データの画像
４５ 車両の鳥瞰図
４６Ａ、４６Ｂ ガイド線
４７Ａ、４７Ｂ、４７Ｃ 距離線
Ｓ 車両
Claims (12)
- 車両の後方を撮像するために前記車両に取り付けられた撮像装置と、該撮像装置が撮像した撮像データの表示用データへの変換を行う画像処理装置とを接続してなる画像変換システムにおいて、
前記車両から後方に位置する物までの距離を測定する距離測定手段と、所定距離を記憶する距離記憶手段と、車両の直進状態を検出する直進検出手段とを含み、
前記画像処理装置は、
前記距離測定手段、前記距離記憶手段及び前記直進検出手段と接続されており、それぞれから測定された距離、前記所定距離及び直進状態であるか否かを受信する通信手段と、 前記撮像データを形成する画素の座標範囲の一部の範囲と、該一部の範囲より大きい範囲である前記表示用データを形成する画素の座標範囲とを、前記一部の範囲が夫々相違する複数の範囲でそれぞれ対応付ける複数の変換テーブルと、
これらの変換テーブルに基づいて、前記一部の範囲における撮像データの画像を拡大する前記変換を行う変換手段と、
前記距離測定手段が測定した距離が前記距離記憶手段が記憶する所定距離以下である場合に、前記一部の範囲が大きい変換テーブルから小さい変換テーブルへの切換を行う変換テーブル切換手段と
を備え、
前記変換テーブル切換手段は、前記直進検出手段が直進状態を検出したときに、前記切換を行うようにしてあることを特徴とする画像変換システム。 - 車両の後方を撮像するために前記車両に取り付けられた撮像装置と、該撮像装置が撮像した撮像データの表示用データへの変換を行う画像処理装置とを接続してなる画像変換システムにおいて、
前記車両から後方に位置する物までの距離を測定する距離測定手段と、所定距離を記憶する距離記憶手段と、車両のエンジン停止からエンジン始動までの時間を測定する時間測定手段と、所定時間を記憶する時間記憶手段とを含み、
前記画像処理装置は、
前記距離測定手段、前記距離記憶手段、前記時間測定手段及び前記時間記憶手段と接続されており、それぞれから測定された距離、前記所定時間、測定された時間及び前記所定時間を受信する通信手段と、
前記撮像データを形成する画素の座標範囲の一部の範囲と、該一部の範囲より大きい範囲である前記表示用データを形成する画素の座標範囲とを、前記一部の範囲が夫々相違する複数の範囲でそれぞれ対応付ける複数の変換テーブルと、
これらの変換テーブルに基づいて、前記一部の範囲における撮像データの画像を拡大する前記変換を行う変換手段と、
前記距離測定手段が測定した距離が前記距離記憶手段が記憶する所定距離以下である場合に、前記一部の範囲が大きい変換テーブルから小さい変換テーブルへの切換を行う変換テーブル切換手段と
を備え、
前記変換テーブル切換手段は、前記切換が行われ、且つ前記時間測定手段が測定した時間が前記時間記憶手段が記憶する所定時間以下である場合に、前記行われた切換を維持する手段を備えることを特徴とする画像変換システム。 - 車両の後方を撮像するために前記車両に取り付けられた撮像装置と、該撮像装置が撮像した撮像データの表示用データへの変換を行う画像処理装置とを接続してなる画像変換システムにおいて、
前記車両の後進距離を測定する測定手段と、所定距離を記憶する距離記憶手段とを含み、
前記画像処理装置は、
前記測定手段及び前記距離記憶手段と接続されており、それぞれから測定された距離及び前記所定距離を受信する通信手段と、
前記撮像データを形成する画素の座標範囲の一部の範囲と、該一部の範囲より大きい範囲である前記表示用データを形成する画素の座標範囲とを、前記一部の範囲が夫々相違する複数の範囲でそれぞれ対応付ける複数の変換テーブルと、
これらの変換テーブルに基づいて、前記一部の範囲における撮像データの画像を拡大する前記変換を行う変換手段と、
前記表示用データにおける目標位置を受け付ける受付手段と、
前記表示用データにおける車両の位置を特定する特定手段と、
該特定手段が特定した車両の位置から前記受付手段が受け付けた目標位置までの距離を演算する距離演算手段と、
該距離演算手段が演算した距離と前記測定手段が測定した後進距離との差を演算する差演算手段と、
前記差演算手段が演算した距離の差が前記距離記憶手段が記憶する所定距離以下である場合に、前記一部の範囲が大きい変換テーブルから小さい変換テーブルへの切換を行う変換テーブル切換手段と
を備えることを特徴とする画像変換システム。 - 前記変換テーブルは、前記撮像データの画像の俯瞰方向の画像への変換を行う方向変換手段を備える請求項１から請求項３のいずれかに記載の画像変換システム。
- 前記撮像装置は、湾曲画像の撮像データを撮像するものであり、
前記変換テーブルは、前記湾曲画像の歪みを矯正する変換を行う歪み矯正手段を備える請求項１から請求項４のいずれかに記載の画像変換システム。 - 車両の前進距離を測定する前進距離測定手段と、所定の前進距離を記憶する前進距離記憶手段とを更に含み、
前記画像処理装置の通信手段は更に、前記前進距離測定手段及び前記前進距離記憶手段と接続されており、
前記画像処理装置の前記変換テーブル切換手段は、前記切換が行われ、且つ前記前進距離測定手段が測定した前進距離が前記前進距離記憶手段が記憶する前進距離以下である場合に、前記行われた切換を維持する手段を備える請求項１又は請求項２に記載の画像変換システム。 - 前記各変換テーブルは、前記撮像データの一部の範囲に対する前記表示用データの座標範囲の比に応じた大きさの車両の図データを前記表示用データに付加する手段を備える請求項１から請求項６のいずれかに記載の画像変換システム。
- 前記小さい変換テーブルは、車両の後方へ延出するガイド線を示すガイド線データを前記表示用データに付加する手段を備える請求項２又は請求項７に記載の画像変換システム。
- 前記小さい変換テーブルは、車両の後端からの距離を示す距離線を示す距離線データを前記表示用データに付加する手段を備える請求項２、請求項７又は請求項８に記載の画像変換システム。
- 車両の後方を撮像するために前記車両に取り付けられた撮像装置が撮像した撮像データの表示用データへの変換を行う画像処理装置において、
前記車両にそれぞれ備えられている前記車両から後方に位置する物までの距離を測定する距離測定手段、所定距離を記憶する距離記憶手段及び車両の直進状態を検出する直進検出手段に接続されており、それぞれから測定された距離、前記所定距離及び直進状態であるか否かを受信する通信手段と、
前記撮像データを形成する画素の座標範囲の一部の範囲と、該一部の範囲より大きい範囲である前記表示用データを形成する画素の座標範囲とを、前記一部の範囲が夫々相違する複数の範囲でそれぞれ対応付ける複数の変換テーブルと、
これらの変換テーブルに基づいて、前記一部の範囲における撮像データの画像を拡大する前記変換を行う変換手段と、
前記距離測定手段が測定した距離が前記距離記憶手段が記憶する所定距離以下である場 合に、前記一部の範囲が大きい変換テーブルから小さい変換テーブルへの切換を行う変換テーブル切換手段と
を備え、
前記変換テーブル切換手段は、前記直進検出手段が直進状態を検出した場合に、前記切換を行うようにしてあることを特徴とする画像処理装置。 - 車両の後方を撮像するために前記車両に取り付けられた撮像装置が撮像した撮像データの表示用データへの変換を行う画像処理装置において、
前記車両にそれぞれ備えられている前記車両から後方に位置する物までの距離を測定する距離測定手段、所定距離を記憶する距離記憶手段、車両のエンジン停止からエンジン始動までの時間を測定する時間測定手段及び所定時間を記憶する時間記憶手段に接続されており、それぞれから測定された距離、前記所定時間、測定された時間及び前記所定時間を受信する通信手段と、
前記撮像データを形成する画素の座標範囲の一部の範囲と、該一部の範囲より大きい範囲である前記表示用データを形成する画素の座標範囲とを、前記一部の範囲が夫々相違する複数の範囲でそれぞれ対応付ける複数の変換テーブルと、
これらの変換テーブルに基づいて、前記一部の範囲における撮像データの画像を拡大する前記変換を行う変換手段と、
前記距離測定手段が測定した距離が、前記距離記憶手段が記憶する前記所定距離以下である場合に、前記一部の範囲が大きい変換テーブルから小さい変換テーブルへの切換を行う変換テーブル切換手段と
を備え、
前記変換テーブル切換手段は、前記切換が行われ、且つ前記時間測定手段が測定した時間が前記時間記憶手段が記憶する所定時間以下である場合に、前記行われた切換を維持する手段を備えることを特徴とする画像処理装置。 - 車両の後方を撮像するために前記車両に取り付けられた撮像装置が撮像した撮像データの表示用データへの変換を行う画像処理装置において、
前記車両にそれぞれ備えられている前記車両の後進距離を測定する測定手段及び所定距離を記憶する距離記憶手段に接続されており、それぞれから測定された距離及び前記所定距離を受信する通信手段と、
前記撮像データを形成する画素の座標範囲の一部の範囲と、該一部の範囲より大きい範囲である前記表示用データを形成する画素の座標範囲とを、前記一部の範囲が夫々相違する複数の範囲でそれぞれ対応付ける複数の変換テーブルと、
これらの変換テーブルに基づいて、前記一部の範囲における撮像データの画像を拡大する前記変換を行う変換手段と、
前記表示用データにおける目標位置を受け付ける受付手段と、
前記表示用データにおける車両の位置を特定する特定手段と、
該特定手段が特定した車両の位置から前記受付手段が受け付けた目標位置までの距離を演算する距離演算手段と、
該距離演算手段が演算した距離と前記測定手段が測定した後進距離との差を演算する差演算手段と、
前記差演算手段が演算した距離の差が前記距離記憶手段が記憶する所定距離以下である場合に、前記一部の範囲が大きい変換テーブルから小さい変換テーブルへの切換を行う変換テーブル切換手段と
を備えることを特徴とする画像処理装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002215805A JP3982357B2 (ja) | 2002-07-24 | 2002-07-24 | 画像変換システム及び画像処理装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002215805A JP3982357B2 (ja) | 2002-07-24 | 2002-07-24 | 画像変換システム及び画像処理装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004064150A JP2004064150A (ja) | 2004-02-26 |
| JP3982357B2 true JP3982357B2 (ja) | 2007-09-26 |
Family
ID=31937747
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002215805A Expired - Fee Related JP3982357B2 (ja) | 2002-07-24 | 2002-07-24 | 画像変換システム及び画像処理装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3982357B2 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102487449B1 (ko) * | 2021-09-07 | 2023-01-11 | 포티투닷 주식회사 | 로컬맵 제작을 위한 데이터-셋 어노테이션 방법 및 이를 수행하는 서버 |
Families Citing this family (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4647975B2 (ja) * | 2004-11-17 | 2011-03-09 | オリンパス株式会社 | 画像生成装置 |
| JP2007062649A (ja) * | 2005-09-01 | 2007-03-15 | Clarion Co Ltd | 車両用距離情報表示装置 |
| JP2007149011A (ja) * | 2005-11-30 | 2007-06-14 | Auto Network Gijutsu Kenkyusho:Kk | 車両周辺視認装置 |
| WO2007145257A1 (ja) * | 2006-06-13 | 2007-12-21 | Pioneer Corporation | 表示装置、表示方法、表示プログラムおよびコンピュータに読み取り可能な記録媒体 |
| JP5160753B2 (ja) * | 2006-07-19 | 2013-03-13 | クラリオン株式会社 | 車載用装置 |
| JP4595902B2 (ja) * | 2006-07-31 | 2010-12-08 | アイシン・エィ・ダブリュ株式会社 | 車両周辺画像表示システム及び車両周辺画像表示方法 |
| JP5057936B2 (ja) * | 2007-11-09 | 2012-10-24 | アルパイン株式会社 | 鳥瞰画像生成装置および方法 |
| JP5229072B2 (ja) * | 2009-04-02 | 2013-07-03 | 株式会社デンソー | 駐車支援用電子制御装置、および車両用駐車支援装置 |
| CN102918833B (zh) * | 2010-06-15 | 2015-07-08 | 三菱电机株式会社 | 车辆周边监视装置 |
| JP5540938B2 (ja) * | 2010-06-25 | 2014-07-02 | 日産自動車株式会社 | 車両制御装置及び車両制御方法 |
| KR101266059B1 (ko) * | 2011-10-19 | 2013-05-21 | 인하대학교 산학협력단 | 거리정보를 이용한 차량 후방 카메라 |
| JP6365238B2 (ja) * | 2014-10-29 | 2018-08-01 | 株式会社デンソー | 駐車支援装置 |
| JP6658642B2 (ja) * | 2017-03-24 | 2020-03-04 | トヨタ自動車株式会社 | 車両用視認装置 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP2410741A1 (en) * | 1999-04-16 | 2012-01-25 | Panasonic Corporation | Image processing apparatus and monitoring system |
| JP3624769B2 (ja) * | 1999-09-30 | 2005-03-02 | 株式会社豊田自動織機 | 車両後方監視装置用画像変換装置 |
| JP2001106004A (ja) * | 1999-10-14 | 2001-04-17 | Toyota Autom Loom Works Ltd | 車両の後退時の操舵支援装置 |
| JP2002359839A (ja) * | 2001-03-29 | 2002-12-13 | Matsushita Electric Ind Co Ltd | リアビューカメラの画像表示方法及びその装置 |
| JP3952790B2 (ja) * | 2002-01-25 | 2007-08-01 | 株式会社豊田中央研究所 | 車輌後方表示装置 |
-
2002
- 2002-07-24 JP JP2002215805A patent/JP3982357B2/ja not_active Expired - Fee Related
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102487449B1 (ko) * | 2021-09-07 | 2023-01-11 | 포티투닷 주식회사 | 로컬맵 제작을 위한 데이터-셋 어노테이션 방법 및 이를 수행하는 서버 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2004064150A (ja) | 2004-02-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5682788B2 (ja) | 車両周辺監視装置 | |
| JP3982357B2 (ja) | 画像変換システム及び画像処理装置 | |
| US7505047B2 (en) | Vehicle periphery viewing apparatus | |
| US8880344B2 (en) | Method for displaying images on a display device and driver assistance system | |
| JP5379913B2 (ja) | 駐車支援装置、駐車支援システム、および駐車支援カメラユニット | |
| US6587760B2 (en) | Motor vehicle parking support unit and method thereof | |
| US7212653B2 (en) | Image processing system for vehicle | |
| WO2012096058A1 (ja) | 画像生成装置 | |
| WO2011090163A1 (ja) | パラメータ決定装置、パラメータ決定システム、パラメータ決定方法、及び記録媒体 | |
| JP2010246088A (ja) | 車載カメラ装置の画像調整装置及び方法、並びに車載カメラ装置 | |
| JP5136256B2 (ja) | 駐車支援装置および画像表示方法 | |
| JP2003319383A (ja) | 車載画像処理装置 | |
| KR20190035874A (ko) | 주차 지원 방법 및 장치 | |
| JP4329525B2 (ja) | 車外情報表示装置 | |
| JP2016168877A (ja) | 車両用視認装置 | |
| JP4595649B2 (ja) | 駐車支援方法及び駐車支援装置 | |
| JP2008145364A (ja) | 経路案内装置 | |
| JP2021013072A (ja) | 画像処理装置および画像処理方法 | |
| JP4470041B2 (ja) | 障害物検知支援装置 | |
| JP4449537B2 (ja) | 車外情報表示装置 | |
| JP2009100261A (ja) | 車両周囲画像提供装置及び広角画像の補正方法 | |
| JP2016139914A (ja) | 表示装置、携帯端末及び制御方法 | |
| JP4958005B2 (ja) | 車載表示装置 | |
| WO2010007960A1 (ja) | 車載用カメラの視点変換映像システム及び視点変換映像取得方法 | |
| JP6941949B2 (ja) | 車両用映像表示装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050412 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070312 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070320 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070517 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070612 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070625 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100713 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110713 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110713 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120713 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120713 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130713 Year of fee payment: 6 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |