JP5584561B2 - 画像処理装置、画像表示システム及び画像表示方法 - Google Patents

Description

本発明は、旅客車両において画像を表示する技術に関する。

バスなどの旅客車両においては、通常、車体側面に旅客の乗降口が設けられている。一方で、旅客車両の側方領域は乗務員（代表的にはドライバ）から死角になりやすいため、旅客が乗降する場合における安全確認を乗務員が適切に行うことができる技術が要望されている。

このような要望に対応するため、乗降口の近傍を撮影するカメラをバスに配置し、このカメラで得られた画像を、運転席から視認可能に設けられた表示装置に表示する画像表示システムが提案されている（例えば、特許文献１参照。）。

特開２００２−１７２９７８号公報

ところで、バスなどの旅客車両においては、旅客の乗降効率を上げるために、互いに離間した複数の乗降口を一の側面に備えている場合が多い。この場合においては、複数の乗降口の全てに関して、旅客が乗降する場合の安全確認を乗務員が適切に行えるようにすることが望ましい。

これに対応するため、単純に複数の乗降口のそれぞれにカメラを設けることが考えられる。しかしながら、この場合においては、画像表示システムに必要なカメラの数が多くなり、画像表示システムのコストが高くなってしまう。

また、旅客車両の側方領域の全体を１度に撮影可能な広角カメラを設け、この広角カメラで得られた撮影画像を表示装置に表示することも考えられる。しかしながら、この場合においては、側方領域の全体という広い範囲の様子が表示装置に表示されるため、乗務員が安全確認をすべき範囲が広くなってしまい、乗務員の注意が散漫になる恐れがある。

本発明は、上記課題に鑑みてなされたものであり、互いに離間した複数の乗降口を一の側面に有する旅客車両において、乗務員が旅客の乗降の安全確認を適切に行うことができる技術を提供することを目的とする。

上記課題を解決するため、請求項１の発明は、車両に搭載される表示装置に表示させる表示画像を生成する画像処理装置であって、前記車両は、互いに離間して配置された複数の乗降口を一の側面に有する旅客車両であり、前記複数の乗降口全ての近傍を含む範囲を撮影可能なカメラで得られた撮影画像を取得する取得手段と、前記撮影画像から、前記複数の乗降口の近傍をそれぞれ示す複数の部分画像を生成する生成手段と、前記複数の部分画像を並べて含む表示画像を、前記表示装置に出力して表示させる出力手段と、を備えている。

また、請求項２の発明は、車両に搭載され、表示画像を表示する画像表示システムであって、前記車両は、互いに離間して配置された複数の乗降口を一の側面に有する旅客車両であり、前記複数の乗降口全ての近傍を含む範囲を撮影可能なカメラで得られた撮影画像を取得する取得手段と、前記撮影画像から、前記複数の乗降口の近傍をそれぞれ示す複数の部分画像を生成する生成手段と、前記複数の部分画像を並べて含む表示画像を表示する表示手段と、を備えている。

また、請求項３の発明は、車両において、表示画像を表示する画像表示方法であって、前記車両は、互いに離間して配置された複数の乗降口を一の側面に有する旅客車両であり、前記複数の乗降口全ての近傍を含む範囲を撮影可能なカメラで得られた撮影画像を取得する工程と、前記撮影画像から、前記複数の乗降口の近傍をそれぞれ示す複数の部分画像を生成する工程と、前記複数の部分画像を並べて含む表示画像を表示する工程と、を備えている。
また、請求項４の発明は、請求項１に記載の画像処理装置において、前記複数の乗降口の近傍に存在する物体を検知する検知装置、をさらに備え、前記出力手段は、前記複数の部分画像のうち、前記物体を検知した乗降口に対応する部分画像のみを表示させる。
また、請求項５の発明は、請求項１に記載の画像処理装置において、前記旅客車両を直上から俯瞰する合成画像である俯瞰画像を生成する合成画像生成部、をさらに備え、前記出力手段は、前記複数の部分画像と前記俯瞰画像とを併せて表示させる。

請求項１ないし３の発明によれば、カメラの撮影画像から複数の乗降口の近傍をそれぞれ示す複数の部分画像を生成し、複数の部分画像を並べて含む表示画像を表示装置に表示させる。このため、乗務員は、複数の乗降口それぞれの近傍に注意力を向けることができ、旅客の乗降の安全確認を適切に行うことができる。

図１は、画像表示システムの構成を示すブロック図である。 図２は、旅客車両を上方からみた様子を示す図である。 図３は、合成画像を生成する手法を説明するための図である。 図４は、画像表示システムの動作モードの遷移を示す図である。 図５は、周囲確認モードにおける仮想視点の位置の遷移を示す図である。 図６は、周囲確認モードで生成される合成画像の一例を示す図である。 図７は、周囲確認モードで生成される合成画像の一例を示す図である。 図８は、バックモードで表示される表示画像の一例を示す図である。 図９は、フロントモードにおける表示モードの遷移を示す図である。 図１０は、俯瞰モードで表示される表示画像の一例を示す図である。 図１１は、乗降モードで表示される表示画像の一例を示す図である。 図１２は、乗降モードで表示される部分画像が対応する領域を示す図である。 図１３は、乗降モードの表示画像を生成する処理の流れを示す図である。 図１４は、左サイドカメラの撮影画像において切り出す領域を説明する図である。 図１５は、サイドミラーモードで表示される表示画像の一例を示す図である。

以下、図面を参照しつつ本発明の実施の形態について説明する。

＜１．システム構成＞
図１は、本実施の形態の画像表示システム１２０の構成を示すブロック図である。この画像表示システム１２０は、多数の旅客を輸送する旅客車両に搭載され、旅客車両の周辺の様子を示す画像を生成して車室内に表示する機能を有している。以下、旅客車両はバスであるものとして説明する。画像表示システム１２０のユーザとなる乗務員（代表的にはドライバ）は、この画像表示システム１２０を利用することにより、当該旅客車両の周辺の様子をほぼリアルタイムに把握できるようになっている。

図１に示すように、画像表示システム１２０は、旅客車両の周辺の様子を示す表示画像を生成する画像処理装置１００と、乗務員に対して各種情報を表示する表示装置２０とを主に備えている。

表示装置２０は、液晶ディスプレイなどを備えており、画像処理装置１００で生成された旅客車両の周辺の様子を示す各種の表示画像を表示する。表示装置２０は、旅客車両の運転席９０から視認可能な位置に配置される（図２参照。）。

画像処理装置１００は、画像を生成する機能を有するＥＣＵ（Electronic Control Unit）である本体部１０と、旅客車両の周辺を撮影する撮影部５と、乗務員が操作可能な切替スイッチ６とを備えている。本体部１０は、撮影部５で旅客車両の周辺を撮影して得られる撮影画像に基づいて、表示装置２０に表示するための表示画像を生成する。本体部１０は、表示装置２０とは異なる旅客車両の所定の位置に配置される。

撮影部５は、本体部１０に電気的に接続され、本体部１０からの信号に基づいて動作する。撮影部５は、複数の車載カメラ、具体的には、フロントカメラ５１、左サイドカメラ５２、右サイドカメラ５３、及び、バックカメラ５４を備えている。各車載カメラ５１〜５４は、レンズと撮像素子とを備えており電子的に画像を取得する。これら４つの車載カメラ５１〜５４は、旅客車両の前後左右の４面にそれぞれ配置される。

図２は、旅客車両９を上方からみた様子を示す図である。図に示すように、旅客車両９は、前後方向に長い形状を有している。旅客車両９は、右ハンドル車であり、運転席９０とは逆側の左側面９Ｌに旅客が乗降するための２つの乗降口９１，９２を備えている。各乗降口９１，９２にはドアが設けられており、乗務員からの指示に応じて開閉される。

これら２つの乗降口９１，９２は、互いに離間して配置されている。前乗降口９１は、旅客車両９の前後方向における運転席９０と略同じ位置に配置される。一方、後乗降口９２は、旅客車両９の前後方向における中央と後タイヤとの間に配置される。これら２つの乗降口９１，９２を利用して旅客が乗降する際には、旅客車両９の左側の側方領域に旅客が存在することになる。しかしながら、この左側の側方領域は、運転席９０からは直接的には確認しにくい。特に、後乗降口９２の近傍の領域は、運転席９０から離れているため死角となりやすい。

フロントカメラ５１は、旅客車両９の前面９Ｆにおける左右方向の中央の上部に設けられている。フロントカメラ５１の光軸５１ａは、平面視で旅客車両９の直進方向に向けられている。バックカメラ５４は、旅客車両９の後面９Ｂにおける左右方向の中央の上部に設けられている。バックカメラ５４の光軸５４ａは、平面視で旅客車両９の直進方向の逆方向に向けられている。

また、左サイドカメラ５２は、旅客車両９の左側面９Ｌにおける前後方向の中央の上部に設けられている。左サイドカメラ５２の光軸５２ａは、平面視で旅客車両９の左右方向に沿って旅客車両９の左側に向けられている。さらに、右サイドカメラ５３は、旅客車両９の右側面９Ｒにおける前後方向の中央の上部に設けられている。右サイドカメラ５３の光軸５３ａは、平面視で旅客車両９の左右方向に沿って旅客車両９の右側に向けられている。

これらの車載カメラ５１〜５４のレンズとしては魚眼レンズが採用されており、各車載カメラ５１〜５４は１８０度以上の画角θを有した広角カメラとなっている。このため、これら４つの車載カメラ５１〜５４を利用することで、旅客車両９の全周囲の撮影が可能となっている。

左サイドカメラ５２は、旅客車両９の前端から後端までの範囲を含む、旅客車両９の左側の側方領域の全体を撮影可能である。したがって、左サイドカメラ５２は、前乗降口９１の近傍と後乗降口９２の近傍との双方を含む範囲を１度に撮影可能となっている。

図１に戻り、切替スイッチ６は、表示装置２０の表示内容を切り替える指示を乗務員から受け付ける。切替スイッチ６は、乗務員が操作しやすいように、本体部１０とは別に運転席９０の近傍に配置される。

また、画像処理装置１００の本体部１０は、装置全体を制御する制御部１と、撮影部５から撮影画像を取得する画像取得部４１と、撮影画像に基づいて画像を生成する画像生成部３と、表示装置２０に画像を出力する画像出力部４２とを主に備えている。

画像取得部４１は、撮影部５が備える複数の車載カメラ５１〜５４それぞれから、撮影によって得られた撮影画像を受け取る。

画像生成部３は、各種の画像処理が可能なハードウェア回路であり、画像取得部４１が取得した撮影画像を処理し、表示装置２０の表示に用いる表示画像を生成する。画像生成部３は、撮影画像切出部３１、合成画像生成部３２及び表示画像生成部３３を主な機能として備えている。

撮影画像切出部３１は、撮影部５で取得された撮影画像の一部の領域を切り出し、切り出した領域を一つの画像として部分画像を生成する。撮影画像切出部３１は、一つの撮影画像に含まれる複数の領域を切り出して、それぞれ部分画像とすることが可能である。撮影画像切出部３１は、生成した部分画像に対して歪み補正や、拡大縮小などの画像処理を行うことも可能である。

合成画像生成部３２は、撮影部５の複数の車載カメラ５１〜５４で取得された複数の撮影画像に基づいて、任意の仮想視点からみた旅客車両９の周辺の領域を示す合成画像を生成する。合成画像生成部３２が合成画像を生成する手法については後述する。

表示画像生成部３３は、撮影画像切出部３１に生成された部分画像、及び、合成画像生成部３２に生成された合成画像を用いて、表示装置２０の表示に用いる表示画像を生成する。表示画像には、部分画像及び合成画像の少なくとも１つが含まれる。

画像出力部４２は、画像生成部３によって生成された表示画像を表示装置２０に出力する。これにより、旅客車両９の周辺の少なくとも一部の領域を示す表示画像が表示装置２０に表示される。

制御部１は、ＣＰＵ、ＲＡＭ及びＲＯＭなどを備えたコンピュータである。制御部１の各種の制御機能は、所定のプログラムに従ってＣＰＵが演算処理を行うことで実現される。制御部１は、例えば、画像表示システム１２０の動作モードの変更に応じて、表示装置２０に表示させる表示画像の内容を変更する制御を行う。この際、制御部１は、画像生成部３に対して、生成すべき画像の種類や、画像の生成に必要なパラメータ等を指示する。

また、乗務員によって切替スイッチ６が操作されると、所定の信号が制御部１に入力される。この信号に基づいて、制御部１は、乗務員の指示に応じた制御を行うことが可能である。

また、画像処理装置１００の本体部１０は、不揮発性メモリ４０、信号入力部４３、及び、カード読取部４４をさらに備えており、これらは制御部１に接続されている。

不揮発性メモリ４０は、電源オフ時においても記憶内容を維持可能なフラッシュメモリなどである。不揮発性メモリ４０には、制御部１の機能を実現するプログラム（ファームウェア）とともに、車両データ４ａが記憶されている。車両データ４ａは、車体サイズなどの旅客車両９に固有の情報を示すものである。

信号入力部４３は、旅客車両９に設けられた各種装置から信号を受け付ける。この信号入力部４３を介して、画像表示システム１２０の外部からの信号が制御部１に入力される。本実施の形態では、シフトセンサ８１からの信号が信号入力部４３を介して制御部１に入力される。シフトセンサ８１からは、旅客車両９の変速装置のシフトレバーの操作の位置、すなわち、”Ｐ（駐車）”，”Ｄ（前進）”，”Ｎ（中立）”，”Ｒ（後退）”などのシフトポジションが入力される。

また、カード読取部４４は、可搬性の記録媒体であるメモリカードＭＣの読み取りを行う。カード読取部４４は、メモリカードＭＣの着脱が可能なカードスロットを備えており、そのカードスロットに装着されたメモリカードＭＣに記録されたデータを読み取る。カード読取部４４で読み取られたデータは、制御部１に入力される。メモリカードＭＣは、種々のデータを記憶可能なフラッシュメモリなどであり、画像表示システム１２０はメモリカードＭＣに記憶された種々のデータを利用できる。例えば、メモリカードＭＣに記憶されたプログラムを読み出すことで、制御部１の機能を実現するプログラム（ファームウェア）を更新することが可能である。

＜２．画像合成処理＞
次に、画像生成部３の合成画像生成部３２が、撮影部５で得られた複数の撮影画像に基づいて旅客車両９の周辺を任意の仮想視点からみた様子を示す合成画像を生成する手法について説明する。図３は、合成画像を生成する手法を説明するための図である。

撮影部５のフロントカメラ５１、左サイドカメラ５２、右サイドカメラ５３及びバックカメラ５４で同時に撮影が行われると、旅客車両９の前方、左側方、右側方及び後方をそれぞれ示す４つの撮影画像Ｐ１〜Ｐ４が取得される。すなわち、撮影部５で取得される４つの撮影画像Ｐ１〜Ｐ４には、撮影時点の旅客車両９の全周囲を示す情報が含まれていることになる。

次に、４つの撮影画像Ｐ１〜Ｐ４の各画素が、仮想的な三次元空間における立体曲面ＴＳに投影される。立体曲面ＴＳは、例えば略半球状（お椀形状）をしており、その中心部分（お椀の底部分）が旅客車両９が存在する位置として定められている。撮影画像Ｐ１〜Ｐ４に含まれる各画素の位置と、この立体曲面ＴＳの各画素の位置とは予め対応関係が定められている。このため、立体曲面ＴＳの各画素の値は、この対応関係と撮影画像Ｐ１〜Ｐ４に含まれる各画素の値とに基づいて決定できる。

撮影画像Ｐ１〜Ｐ４の各画素の位置と立体曲面ＴＳの各画素の位置との対応関係は、旅客車両９における４つの車載カメラ５１〜５３の配置（相互間距離、地上高さ、光軸角度等）に依存する。この対応関係を示すテーブルデータは、不揮発性メモリ４０に記憶された車両データ４ａに含まれている。

また、車両データ４ａに含まれる車体の形状やサイズが利用され、旅客車両９の三次元形状を示すポリゴンのモデルが仮想的に構成される。構成された旅客車両９のモデルは、立体曲面ＴＳが設定される三次元空間において、旅客車両９の位置と定められた略半球状の中心部分に配置される。

さらに、立体曲面ＴＳが存在する三次元空間に対して、制御部１により仮想視点ＶＰが設定される。仮想視点ＶＰは、視点位置と視野方向とで規定され、この三次元空間における旅客車両９の近傍に相当する任意の視点位置に任意の視野方向に向けて設定される。

そして、設定された仮想視点ＶＰに応じて、立体曲面ＴＳにおける必要な領域が画像として切り出される。仮想視点ＶＰと、立体曲面ＴＳにおける必要な領域との関係は予め定められており、テーブルデータとして不揮発性メモリ４０等に予め記憶されている。一方で、設定された仮想視点ＶＰに応じてポリゴンのモデルに関してレンダリングがなされ、その結果となる二次元の旅客車両９の像が、切り出された画像に対して重畳される。これにより、旅客車両９及びその旅客車両９の周辺を任意の仮想視点ＶＰからみた様子を示す合成画像が生成されることになる。

例えば、視点位置が旅客車両９の位置の略中央の直上で、視野方向が直下方向とした仮想視点ＶＰａを設定した場合は、旅客車両９の略直上から旅客車両９を見下ろすように、旅客車両９及び旅客車両９の周辺の領域を示す合成画像ＣＰａが生成される。また、図中に示すように、視点位置が旅客車両９の位置の左後方で、視野方向が旅客車両９における略前方方向とした仮想視点ＶＰｂを設定した場合は、旅客車両９の左後方からその周辺全体を見渡すように、旅客車両９及び旅客車両９の周辺の領域を示す合成画像ＣＰｂが生成される。

なお、実際に合成画像を生成する場合においては、立体曲面ＴＳの全ての画素の値を決定する必要はなく、設定された仮想視点ＶＰに対応して必要となる領域の画素の値のみを撮影画像Ｐ１〜Ｐ４に基づいて決定することで、処理速度を向上できる。

画像表示システム１２０では、このような合成画像生成部３２の機能を利用することで、旅客車両９の周辺の任意の視点からみた合成画像を生成して、表示装置２０に表示することができる。

＜３．動作モード＞
次に、画像表示システム１２０の動作モードについて説明する。図４は、画像表示システム１２０の動作モードの遷移を示す図である。画像表示システム１２０は、周囲確認モードＭ１、フロントモードＭ２、及び、バックモードＭ３の３つの動作モードを有している。これらの動作モードは、乗務員の操作や旅客車両９の走行状態に応じて制御部１の制御により切り替えられるようになっている。

周囲確認モードＭ１は、旅客車両９を見下ろした状態で旅客車両９の周囲を周回するようなアニメーションを行う動作モードである。フロントモードＭ２は、前進時に必要となる旅客車両９の前方や側方を主に示す表示画像を表示する動作モードである。また、バックモードＭ３は、後退時に必要となる旅客車両９の後方を主に示す表示画像を表示する動作モードである。

画像表示システム１２０は起動すると、最初にフロントモードＭ２となる。このフロントモードＭ２の場合において、切替スイッチ６が所定時間（例えば、１秒）以上継続して押下されると、周囲確認モードＭ１に切り替えられる。周囲確認モードＭ１に切り替えられると、旅客車両９の周囲を周回するようなアニメーション表現がなされる。そして、このアニメーション表現の終了後、所定時間（例えば、６秒）が経過すると、自動的にフロントモードＭ２に切り替えられる。

また、フロントモードＭ２の場合において、シフトセンサ８１から入力されるシフトレバーの位置が”Ｒ（後退）”となったときは、バックモードＭ３に切り替えられる。すなわち、旅客車両９の変速装置が”Ｒ（後退）”の位置に操作されているときには、旅客車両９は後退する状態であるため、旅客車両９の後方を主に示すバックモードＭ３に切り替えられる。そして、バックモードＭ３の場合において、シフトレバーの位置が”Ｒ（後退）”以外となったときは、フロントモードＭ２に切り替えられる。

以下、周囲確認モードＭ１、バックモードＭ３及びフロントモードＭ２のそれぞれにおける、表示装置２０での表示態様について説明する。

＜４．周囲確認モード＞
まず、周囲確認モードＭ１における表示装置２０の表示態様について説明する。周囲確認モードＭ１においては、旅客車両９の全周囲を示す合成画像が表示される。そして、この合成画像のための仮想視点ＶＰが段階的かつ連続的に変化され、アニメーション表現がなされる。

具体的には、旅客車両９を見下ろすように仮想視点ＶＰが設定され、図５に示すように、この仮想視点ＶＰが旅客車両９の周辺を周回するように連続的に移動される。仮想視点ＶＰは、最初に旅客車両９の後方に設定された後、右回りで旅客車両９の周辺を周回する。このようにして仮想視点ＶＰが、旅客車両９の左側、前方及び右側を経由して再び後方まで移動すると、旅客車両９の直上まで移動する。このように仮想視点ＶＰが移動されている状態で、複数の合成画像が時間的に連続して生成される。例えば、図６に示す合成画像ＣＰ１１や、図７に示す合成画像ＣＰ１２などに示すように、旅客車両９を見下ろす視点から旅客車両９の全周囲をみた合成画像が生成される。

生成された複数の合成画像はそのまま表示画像として画像出力部４２から順次に出力される。表示装置２０において時間的に連続して表示される。これにより、旅客車両９を見下ろした状態で旅客車両９の周囲を周回するようなアニメーション表現がなされることになる。

乗務員は、このようなアニメーション表現を視認することで、旅客車両９を見下ろす視点から旅客車両９の全周囲の状況を確認することができ、直感的に旅客車両９の全周囲の障害物と旅客車両９との位置関係を把握できることになる。

＜５．バックモード＞
次に、バックモードＭ３における表示装置２０の表示態様について説明する。図８は、バックモードＭ３において表示装置２０に表示される表示画像ＤＰ３の一例を示す図である。

表示画像ＤＰ３は、旅客車両９をその直上から俯瞰する合成画像である俯瞰画像ＢＰ１と、バックカメラ５４の撮影画像の一部の領域を切り出した部分画像ＢＰ２と、視野範囲を示す視野アイコンＣ３と並べて含んでいる。

バックモードＭ３においては、このような二つの画像ＢＰ１，ＢＰ２を閲覧することができるため、乗務員は、旅客車両９の周囲全体とともに、進行方向である旅客車両９の後方の状況を一目で確認できる。

＜６．フロントモード＞
次に、フロントモードＭ２における表示装置２０の表示態様について説明する。フロントモードＭ２では、互いに表示態様が異なる３つの表示モード、具体的には、俯瞰モード、乗降モード及びサイドミラーモードがある。これら表示モードごとに、表示装置２０に表示される表示画像に含まれる内容が異なっている。

図９に示すように、これらの表示モードは、乗務員が切替スイッチ６を押下するごとに、俯瞰モードＭ２１、乗降モードＭ２２、サイドミラーモードＭ２３の順で制御部１の制御により切り替えられる。サイドミラーモードＭ２３の場合に切替スイッチ６を押下すると、再び、俯瞰モードＭ２１に戻るようになっている。

＜６−１．俯瞰モード＞
俯瞰モードＭ２１は、前進時に汎用的に利用される表示モードである。図１０は、俯瞰モードＭ２１において表示装置２０に表示される表示画像ＤＰ２１の一例を示す図である。

表示画像ＤＰ２１は、旅客車両９をその直上から俯瞰する合成画像である俯瞰画像ＦＰ１と、フロントカメラ５１の撮影画像の一部の領域を切り出した部分画像ＦＰ２と、視野範囲を示す視野アイコンＣ２１と並べて含んでいる。

俯瞰モードＭ２１においては、このような二つの画像ＦＰ１，ＦＰ２を閲覧することができるため、乗務員は、旅客車両９の周囲全体とともに、進行方向である旅客車両９の前方の状況を一目で確認できる。

＜６−２．乗降モード＞
乗降モードＭ２２は、乗務員が旅客の乗降の安全確認を行うために利用する表示モードである。図１１は、乗降モードＭ２２において表示装置２０に表示される表示画像ＤＰ２１の一例を示す図である。

表示画像ＤＰ２２は、左サイドカメラ５２の撮影画像の一部の領域を切り出した第１部分画像ＳＰ１と、左サイドカメラ５２の撮影画像の他の一部の領域を切り出した第２部分画像ＳＰ２と、視野範囲を示す視野アイコンＣ２２と並べて含んでいる。

図１２に示すように、第１部分画像ＳＰ１は、前乗降口９１の近傍の領域ＳＡ１を示している。一方、第２部分画像ＳＰ２は、後乗降口９２の近傍の領域ＳＡ２を示している。

乗降モードＭ２２においては、このような２つの部分画像ＳＰ１，ＳＰ２を閲覧することができるため、乗務員は、前乗降口９１及び後乗降口９２の双方の近傍の状況を一目で確認できる。表示装置２０においては、旅客車両９の左側の側方領域の全体ではなく、２つの乗降口９１，９２のそれぞれの近傍の領域のみが表示されることになる。このため、乗務員は、注意が散漫とならずに、確認すべき領域である２つの乗降口９１，９２それぞれの近傍に適切に注意を向けることができる。その結果、乗務員は、旅客の乗降の安全確認を適切に行うことができる。

乗降モードＭ２２の表示画像ＤＰ２２に含まれる２つの部分画像ＳＰ１，ＳＰ２は、左サイドカメラ５２で得られた同一の撮影画像から切り出されて生成される。

図１３は、乗降モードＭ２２の表示画像ＤＰ２２を生成する処理の流れを示す図である。

まず、画像取得部４１が、左サイドカメラ５２の一度の撮影により得られた撮影画像を左サイドカメラ５２から取得する。この撮影画像には、前乗降口９１の近傍の領域ＳＡ１、及び、後乗降口９２の近傍の領域ＳＡ２の双方が示されている（ステップＳ１１）。

次に、図１４に示すように、撮影画像切出部３１が、この左サイドカメラ５２の撮影画像Ｐ２から、前乗降口９１の近傍の領域ＳＡ１に対応する領域Ａ１を切り出して、第１部分画像ＳＰ１を生成する。さらに、撮影画像切出部３１は、同一の左サイドカメラ５２の撮影画像Ｐ２から、後乗降口９２の近傍の領域ＳＡ２に対応する領域Ａ２を切り出して、第２部分画像ＳＰ２を生成する（ステップＳ１２）。

ところで、魚眼レンズを利用して取得された撮影画像においては、周辺の領域ほど被写体の像が圧縮された状態で示される。このため、前乗降口９１の近傍の領域ＳＡ１と、後乗降口９２の近傍の領域ＳＡ２とでは、撮影画像Ｐ２に示されるサイズが異なる。具体的には、左サイドカメラ５２の位置から離間した前乗降口９１の近傍の領域ＳＡ１のほうが、後乗降口９２の近傍の領域ＳＡ２よりも小さく示される。このため、前乗降口９１の近傍の領域ＳＡ１を示す領域Ａ１のほうが、後乗降口９２の近傍の領域ＳＡ２を示す領域Ａ２よりも小さく切り出されることになる。このように切り出される２つの領域Ａ１，Ａ２のサイズが異なっていても、これら２つの領域Ａ１，Ａ２がそれぞれ対応する実際の被写体である２つの領域ＳＡ１，ＳＡ２のサイズは同一である。

次に、表示画像生成部３３が、第１部分画像ＳＰ１及び第２部分画像ＳＰ２を並べて含む表示画像ＤＰ２２（図１１参照。）を生成する（ステップＳ１３）。生成された表示画像ＤＰ２２は、画像出力部４２から表示装置２０に出力される。これにより、表示装置２０において、表示画像ＤＰ２２が表示され、第１部分画像ＳＰ１及び第２部分画像ＳＰ２が同一画面上に示されることになる（ステップＳ１４）。

この図１３に示す処理は、制御部１の制御により、所定の周期（例えば、１／６０秒）で繰り返し実行される。これにより、表示装置２０においては、前乗降口９１及び後乗降口９２の双方の近傍の状況が略リアルタイムに示されることになる。

このように、画像表示システム１２０においては、前乗降口９１の近傍の領域ＳＡ１を示す部分画像ＳＰ１と、後乗降口９２の近傍の領域ＳＡ２を示す部分画像ＳＰ２とが、一つの車載カメラ５２で得られた撮影画像から切り出されて生成される。このため、前乗降口９１及び後乗降口９２のそれぞれに車載カメラを配置することなく、前乗降口９１及び後乗降口９２の双方の近傍の様子を乗務員に示すことができる。

＜６−３．サイドミラーモード＞
サイドミラーモードＭ２３は、旅客車両９のサイドミラーに映る範囲と略同様の範囲を表示する表示モードである。図１５は、サイドミラーモードＭ２３において表示装置２０に表示される表示画像ＤＰ２３の一例を示す図である。

表示画像ＤＰ２３は、左サイドカメラ５２の撮影画像の一部の領域を切り出した部分画像ＭＰ１と、右サイドカメラ５３の撮影画像の一部の領域を切り出した部分画像ＭＰ２と、視野範囲を示す視野アイコンＣ２３と並べて含んでいる。部分画像ＭＰ１は、左側のサイドミラーに映る範囲と略同様の範囲を示している。一方、部分画像ＭＰ２は、右側のサイドミラーに映る範囲と略同様の範囲を示している。

サイドミラーモードＭ２３においては、このような二つの画像ＭＰ１，ＭＰ２を閲覧することができるため、乗務員はサイドミラーに映る範囲とほぼ同様の範囲を表示装置２０において確認することができる。

＜７．変形例＞
以上、本発明の実施の形態について説明してきたが、この発明は上記実施の形態に限定されるものではなく様々な変形が可能である。以下では、このような変形例について説明する。上記実施の形態で説明した形態及び以下で説明する形態を含む全ての形態は、適宜に組み合わせ可能である。

例えば、画像表示システム１２０において、クリアランスソナーなどの物体を検知する検知装置を設けておき、２つの乗降口９１，９２の近傍に存在する物体や、２つの乗降口９１，９２に接近する接近物を検知するようにしてもよい。そして、第１部分画像ＳＰ１と第２部分画像ＳＰ２との表示位置を固定しておき、物体や接近物を検知した乗降口９１，９２に対応する部分画像のみを表示するようにしてもよい。このようにすれば、いずれの乗降口９１，９２の近傍に物体や接近物が存在するかを乗務員が瞬時に把握できる。

また、上記実施の形態では、乗務員が切替スイッチ６を操作することで、表示モードが乗降モードＭ２２に切り替えられていたが、旅客車両がバス停などの所定の停車場に停車した場合に、ユーザの操作なしに乗降モードＭ２２に切り替えられるようにしてもよい。

旅客車両が停車場への停車したことは、例えば、旅客車両及び停車場のそれぞれが備える無線通信装置同士で通信させ、その通信結果に基づいて判断することができる。また、旅客車両の乗降口に設けられるドアが開いたことに基づいて、旅客車両が停車場への停車したことを判断するようにしてもよい。

また、旅客車両が停車場から発車したことに応答して、表示モードを乗降モードＭ２２から他の表示モード（例えば、俯瞰モードＭ２１）に切り替えるようにしてもよい。旅客車両が停車場から発車したことは、例えば、旅客車両の走行速度などに基づいて判断することができる。また、旅客車両の走行速度が、所定速度（例えば、１０ｋｍ／ｈ）を超えた場合は、乗務員を運転に集中させるために、表示装置２０における表示自体を停止するようにしてもよい。

また、上記実施の形態では、乗降モードＭ２２においては、表示装置２０に第１部分画像ＳＰ１と第２部分画像ＳＰ２とが表示されていたが、旅客車両９をその直上から俯瞰する合成画像である俯瞰画像を併せて表示するようにしてもよい。

また、上記実施の形態では、旅客車両としてバスを例に説明を行ったが、路面電車やケーブルカーなど、互いに離間して配置された複数の乗降口を一の側面に有する旅客車両であれば、どのような旅客車両であっても上記で説明した技術を適用可能である。

また、上記実施の形態では、旅客車両は２つの乗降口を一の側面に備えたものであったが、３以上の乗降口を一の側面に備えた旅客車両であっても、上記で説明した技術を適用可能である。いずれの場合であっても、旅客の乗降を監視すべき複数の乗降口全ての近傍を含む範囲を撮影可能なカメラを旅客車両に設けるようにすればよい。

また、上記実施の形態では、プログラムに従ったＣＰＵの演算処理によってソフトウェア的に各種の機能が実現されると説明したが、これら機能のうちの一部は電気的なハードウェア回路により実現されてもよい。また逆に、ハードウェア回路によって実現されるとした機能のうちの一部は、ソフトウェア的に実現されてもよい。

９ 旅客車両
２０ 表示装置
３１ 撮影画像切出部
３３ 表示画像生成部
４１ 画像取得部
４２ 画像出力部
５２ 左サイドカメラ
９０ 運転席
９１ 前乗降口
９２ 後乗降口

Claims (5)

1. 車両に搭載される表示装置に表示させる表示画像を生成する画像処理装置であって、
   前記車両は、互いに離間して配置された複数の乗降口を一の側面に有する旅客車両であり、
   前記複数の乗降口全ての近傍を含む範囲を撮影可能なカメラで得られた撮影画像を取得する取得手段と、
   前記撮影画像から、前記複数の乗降口の近傍をそれぞれ示す複数の部分画像を生成する生成手段と、
   前記複数の部分画像を並べて含む表示画像を、前記表示装置に出力して表示させる出力手段と、
   を備えることを特徴とする画像処理装置。
2. 車両に搭載され、表示画像を表示する画像表示システムであって、
   前記車両は、互いに離間して配置された複数の乗降口を一の側面に有する旅客車両であり、
   前記複数の乗降口全ての近傍を含む範囲を撮影可能なカメラで得られた撮影画像を取得する取得手段と、
   前記撮影画像から、前記複数の乗降口の近傍をそれぞれ示す複数の部分画像を生成する生成手段と、
   前記複数の部分画像を並べて含む表示画像を表示する表示手段と、
   を備えることを特徴とする画像表示システム。
3. 車両において、表示画像を表示する画像表示方法であって、
   前記車両は、互いに離間して配置された複数の乗降口を一の側面に有する旅客車両であり、
   前記複数の乗降口全ての近傍を含む範囲を撮影可能なカメラで得られた撮影画像を取得する工程と、
   前記撮影画像から、前記複数の乗降口の近傍をそれぞれ示す複数の部分画像を生成する工程と、
   前記複数の部分画像を並べて含む表示画像を表示する工程と、
   を備えることを特徴とする画像表示方法。
4. 請求項１に記載の画像処理装置において、
   前記複数の乗降口の近傍に存在する物体を検知する検知装置、
   をさらに備え、
   前記出力手段は、前記複数の部分画像のうち、前記物体を検知した乗降口に対応する部分画像のみを表示させることを特徴とする画像処理装置。
5. 請求項１に記載の画像処理装置において、
   前記旅客車両を直上から俯瞰する合成画像である俯瞰画像を生成する合成画像生成部、
   をさらに備え、
   前記出力手段は、前記複数の部分画像と前記俯瞰画像とを併せて表示させることを特徴とする画像処理装置。

Images