JP6243806B2 - 作業車両の周囲監視装置および周囲監視装置用プログラム - Google Patents

Description

本発明は、作業車両の周囲監視装置、および周囲監視装置用プログラムに関する。

舗装工事現場では、ロードローラやタイヤローラ等の締固め用の道路機械を用いて締固め作業が行われる。この締固め作業においては、道路機械周囲の作業員や他の作業機械と連携して作業を行うため、オペレータは常に道路機械周囲の状況を監視する必要があった。

一方、車両周囲を監視するシステムとして、特許文献１に記載のような装置が知られている。すなわち、車両の周囲を監視するカメラを複数設置し、それらのカメラの映像を上方視点の画像に変換して合成し、車両周囲の俯瞰画像を提供するようにしている。

ＷＯ００／０７３７３号公報

ところで、道路機械による作業、例えば上述した舗装工事においては、路肩との境界部分まで確実に締固めが行われるように境界線に沿って道路機械を移動させる。そのため、境界線付近においては慎重な操作が要求される。同時に、道路機械周囲の状況を常に監視する必要もある。そのため、路肩の境界線付近と道路機械周囲との間の視点移動を頻繁に行わなければならず、この作業性の悪さが道路機械のオペレータにとって大きな負担になっている。

また、上述した周囲監視システムを適用した場合、カメラの映像を車両の真上付近からの視点（上方視点）の画像に変換し、１つの画像に合成する俯瞰表示を行う場合に、画像の合成面の位置が考慮されておらず、路肩が画像の合成面処理の影響で見えにくい場合があり、路肩に沿った運転がしにくいという問題があった。

請求項１の発明による作業車両の周囲監視装置は、車両に設けられた複数のカメラにより撮像された車両周囲の画像に基づき、車両の前方を確認するための前方確認画像および車両の後方を確認するための後方確認画像を生成する画像生成部と、生成された前記前方確認画像および前記後方確認画像の一方を選択する画像選択指令が入力される画像選択指令入力部と、前記画像選択指令入力部で選択された画像を表示部に出力する出力部と、を備え、前記前方確認画像は、車両前方のカメラで取得した画像に基づいて生成される前方視点画像と、車両前方のカメラ、車両左側方のカメラおよび車両右側方のカメラで取得した各画像に基づいて生成される第１上方視点俯瞰画像とから合成され、かつ、前記前方確認画像における作業車両を模した車両アイコンの車両前面を通り該車両前面に平行な線に沿って、前記前方視点画像と前記第１上方視点俯瞰画像とが接続されるように合成され、前記後方確認画像は、車両後方のカメラで取得した画像に基づいて生成される後方視点画像と、車両後方のカメラ、車両左側方のカメラおよび車両右側方のカメラで取得した各画像に基づいて生成される第２上方視点俯瞰画像とから合成され、かつ、前記後方確認画像における前記車両アイコンの車両後面を通り該車両後面に平行な線に沿って、前記後方視点画像と前記第２上方視点俯瞰画像とが接続されるように合成され、前記第１上方視点俯瞰画像は、前記車両右側方のカメラで取得した画像に基づく上方視点画像である右上方視点画像および前記車両左側方のカメラで取得した画像に基づく上方視点画像である左上方視点画像と、前記車両前方のカメラで取得した画像に基づく上方視点画像である前上方視点画像と、の合成ラインが、前記表示部の前記作業車両が占める領域の前側ラインに一致し、かつ、前記右上方視点画像、前記左上方視点画像および前記前上方視点画像の尺度が同一となるよう、当該右上方視点画像、当該左上方視点画像および当該前上方視点画像を合成して生成され、前記第２上方視点俯瞰画像は、前記車両右側方のカメラで取得した画像に基づく上方視点画像である右上方視点画像および前記車両左側方のカメラで取得した画像に基づく上方視点画像である左上方視点画像と、前記車両後方のカメラで取得した画像に基づく上方視点画像である後上方視点画像と、の合成ラインが、前記表示部の前記作業車両が占める領域の後側ラインに一致し、かつ、前記右上方視点画像、前記左上方視点画像および前記後上方視点画像の尺度が同一となるよう、当該右上方視点画像、当該左上方視点画像および当該後上方視点画像を合成して生成され、前記画像選択指令入力部は、オペレータからの前記画像選択指令を受け付ける画像切替スイッチである。
請求項２の発明は、請求項１に記載の作業車両の周囲監視装置において、前記画像生成部は、前記車両アイコンが前記表示部の所定表示領域に表示されるように、前記前方確認画像または前記後方確認画像と前記車両アイコンと合成する。
請求項３の発明は、車両に設けられた複数のカメラにより撮像された車両周囲の画像に基づいて、車両の前方を確認するための前方確認画像および車両の後方を確認するための後方確認画像を生成する画像生成機能、オペレータからの指令を受け付ける画像切替スイッチを介して、生成された前記前方確認画像および前記後方確認画像の一方を選択する画像選択指令を受け付ける画像選択機能、前記画像選択機能により選択を受け付けた画像を表示部に出力する出力機能、をコンピュータに実現させるための作業車両の周囲監視装置用プログラムであって、前記前方確認画像は、車両前方のカメラで取得した画像に基づいて生成される前方視点画像と、車両前方のカメラ、車両左側方のカメラおよび車両右側方のカメラで取得した各画像に基づいて生成される第１上方視点俯瞰画像とから合成され、かつ、前記前方確認画像における前記作業車両を模した車両アイコンの車両前面を通り該車両前面に平行な線に沿って、前記前方視点画像と前記第１上方視点俯瞰画像とが接続されるように合成され、前記後方確認画像は、車両後方のカメラで取得した画像に基づいて生成される後方視点画像と、車両後方のカメラ、車両左側方のカメラおよび車両右側方のカメラで取得した各画像に基づいて生成される第２上方視点俯瞰画像とから合成され、かつ、前記後方確認画像における前記車両アイコンの車両後面を通り該車両後面に平行な線に沿って、前記後方視点画像と前記第２上方視点俯瞰画像とが接続されるように合成され、前記第１上方視点俯瞰画像は、前記車両右側方のカメラで取得した画像に基づく上方視点画像である右上方視点画像および前記車両左側方のカメラで取得した画像に基づく上方視点画像である左上方視点画像と、前記車両前方のカメラで取得した画像に基づく上方視点画像である前上方視点画像と、の合成ラインが、前記表示部の前記作業車両が占める領域の前側ラインに一致し、かつ、前記右上方視点画像、前記左上方視点画像および前記前上方視点画像の尺度が同一となるよう、当該右上方視点画像、当該左上方視点画像および当該前上方視点画像を合成して生成され、前記第２上方視点俯瞰画像は、前記車両右側方のカメラで取得した画像に基づく上方視点画像である右上方視点画像および前記車両左側方のカメラで取得した画像に基づく上方視点画像である左上方視点画像と、前記車両後方のカメラで取得した画像に基づく上方視点画像である後上方視点画像と、の合成ラインが、前記表示部の前記作業車両が占める領域の後側ラインに一致し、かつ、前記右上方視点画像、前記左上方視点画像および前記後上方視点画像の尺度が同一となるよう、当該右上方視点画像、当該左上方視点画像および当該後上方視点画像を合成して生成される、作業車両の周囲監視装置用プログラムである。

本発明によれば、車両の周囲および前方を確認しやすい周囲監視装置を提供することができる。

図１は、周辺監視システムを搭載する作業機械の側面図である。 図２は、作業機械の平面図である。 図３は、周囲監視システムの全体構成を示すブロック図である。 図４は、周辺監視装置における画像変換を説明する図である。 図５は、前方視点画像６００を示す図である。 図６は、前方確認画像の合成に用いられる上方視点画像７００を示す図である。 図７は、２視点画像８００を示す図である。 図８は、前方確認画像９００を示す図である。 図９は、後方視点画像１６００を示す図である。 図１０は、上方視点画像１７００を示す図である。 図１１は、２視点画像１８００を示す図である。 図１２は、後方確認画像１９００を示す図である。 図１３は、画像処理フローを説明するフローチャートである。 図１４は、タイヤローラ４００を用いた締固め作業の一例を示す図である。 図１５は、図１４に示す状況における周囲監視画像を示す図である。

以下、図を参照して本発明を実施するための形態について説明する。図１，２は、周辺監視システムを搭載する作業機械の外観を示す図であり、図１は側面図、図２は平面図である。本実施の形態では、作業機械として、道路の締固めを目的とした道路機械であるタイヤローラを例に説明するが、本発明の周囲監視装置は、タイヤローラに限らずロードローラやホイールローダ等の作業機械にも適用することができる。

図１に示すように、タイヤローラ４００は、タイヤローラ本体４０１、駆動軸タイヤ４０２、遊動軸タイヤ４０３を備えている。タイヤローラ本体４０１には、運転席４０４、ハンドル４０５、運転席４０４の上方を覆うキャノピ４０６が設けられている。また、タイヤローラ本体４０１には、周囲監視システムを構成する周囲監視装置２００および表示装置２６５が設けられている。表示装置２６５は運転席４０４の前方であってハンドル４０５の側方に配置されて、周囲監視装置２００とケーブルを介して接続されている。運転席４０４に着座したオペレータは、表示装置２６５に表示された画像を監視しながらタイヤローラ４００の運転を行うことができる。

図２に示すように、タイヤローラ本体４０１の前部、後部、右側部および左側部には、前方カメラ２０５、後方カメラ２１０、右カメラ２１５および左カメラ２２０が設けられている。これらのカメラ２０５，２１０，２１５，２２０は図１に示す周囲監視装置２００に接続されている。

カメラ２０５，２１０，２１５，２２０は、例えば耐久性や耐候性などに優れたＣＣＤやＣＭＯＳなどの撮像素子と広角レンズとを備えた広角ビデオカメラなどから構成されている。前方カメラ２０５は画角がおよそ１８０度で斜めに見下ろすように配置され、その撮影範囲５１０はタイヤローラ４００の前方を網羅する。後方カメラ２１０も画角がおよそ１８０度で斜めに見下ろすように配置され、その撮影範囲５２０はタイヤローラ４００の後方を網羅する。右カメラ２１５も画角がおよそ１８０度で斜めに見下ろすように配置され、その撮影範囲５３０はタイヤローラ４００の右側方を網羅する。左カメラ２２０も画角がおよそ１８０度で斜めに見下ろすように配置され、その撮影範囲５４０はタイヤローラ４００の左側方を網羅する。

前方カメラ２０５と右カメラ２１５とは、撮影範囲５１０と撮影範囲５３０とが重なるように配置される。また、前方カメラ２０５と左カメラ２２０とは、撮影範囲５１０と撮影範囲５４０とが重なるように配置される。同様に、後方カメラ２１０と、右カメラ２１５あるいは左カメラ２２０とは、撮影範囲５２０と、撮影範囲５３０あるいは撮影範囲５４０とが重なるように配置される。

図３は、周囲監視システムの全体構成を示すブロック図である。周囲監視システムは、前方カメラ２０５と、後方カメラ２１０と、右カメラ２１５と、左カメラ２２０と、周囲監視装置２００と、表示装置２６５とから構成される。周囲監視装置２００は、映像獲得部２２５、進行方向視点画像生成部２３０、表示画像生成部２３５、切替判定部２４０、バッファ２５０、上方視点画像生成部２５５、２視点画像合成部２６０、制御部２７０および入出力インタフェース２４５を備えている。表示装置２６５は、表示部２６５０および入力部２６５１（例えば、液晶表示装置が使用される）を備えている。

各カメラ２０５，２１０，２１５，２２０からそれぞれ原画像のＮＴＳＣなどのコンポジット信号は映像獲得部２２５に入力され、映像獲得部２２５は、これら各コンポジット信号をＡ／Ｄ変換してＲＧＢ信号にデコードする。映像獲得部２２５で処理された映像データは、バッファ２５０に一時的に記憶される。

上方視点画像生成部２５５は、バッファ２５０に記憶された映像データに基づいて、車両上方の視点から見下ろすような画像（以下では、上方視点画像と呼ぶ）を作成する。進行方向視点画像生成部２３０は、タイヤローラ４００の進行方向に向かう視点に関する画像を生成する。すなわち、車両前進時には車両前方に向かう視点から見た車両前方の画像（以下では、前方視点画像と呼ぶ）を生成し、車両後退時には車両後方に向かう視点から見た車両後方の画像（以下では後方視点画像と呼ぶ）を生成する。

２視点画像合成部２６０は、上方視点画像生成部２５５により生成された上方視点画像と、進行方向視点画像生成部２３０により生成された進行方向視点画像とを、一つの画像に合成処理する。前述した前方視点画像と上方視点画像とを２視点画像に合成処理する場合には、上方視点画像として、前方カメラ２０５、右カメラ２１５および左カメラ２２０の映像に基づく上方視点画像が使用される。この場合の合成処理後の２視点画像を、前方確認画像と呼ぶことにする。一方、後方視点画像と上方視点画像とを合成処理する場合には、上方視点画像として、後方カメラ２１０、右カメラ２１５および左カメラ２２０の映像に基づく上方視点画像が使用される。この場合の合成処理後の２視点画像を、後方確認画像と呼ぶ。

表示画像生成部２３５は、２視点画像合成部２６０により生成した２視点画像（前方確認画像および後方確認画像）に対してタイヤローラ４００を示す表示（アイコンなど）を合成して表示画像を生成する。切替判定部２４０には、前方確認画像を合成するか後方確認画像を合成するかを判定するための判定情報が入力される。切替判定部２４０は、入力された判定情報に基づいて、前方確認画像および後方確認画像のいずれを合成すべきかの指令を２視点画像合成部２６０に送る。２視点画像合成部２６０は、前方確認画像を合成すべきとの指令が入力されると前方確認画像用の２視点画像を生成し、後方確認画像を合成すべきとの指令が入力されると後方確認画像用の２視点画像を生成する。

切替判定部２４０に入力される判定情報としては、例えば、車両の前後進を切り替えるシフトレバーの位置情報（フロント・バック・ニュートラル）がある。また、表示装置２６５に画像切替スイッチを設けておいて、その画像切替スイッチの操作情報を用いても良い。画像切替スイッチとしては、表示部２６５０に表示される切替ボタンでもよいし、トグルスイッチやボタンのようなハード的なボタンであってもよい。

表示画像生成部２３５で生成された表示画像（前方確認画像または後方確認画像）は、表示装置２６５の表示部２６５０に表示される。入力部２６５１は、上述した画像切替スイッチや、画像表示に関する入力操作を行うためのスイッチ等で構成される。制御部２７０は、周囲監視装置２００の全体を制御するものであり、後述する画像生成処理に関するプログラムを実行する。画像生成処理プログラムは、制御部２７０に設けられたメモリ（例えば、ＲＯＭ）に記憶されている。

図４〜７は、前方確認画像の生成方法を説明する図である。図４（ａ）は、前方カメラ２０５で撮影された画像のイメージを示す図である。具体的には、格子線３２ａ，３２ｂが描かれた平らな路面を撮像したと仮定した場合の、画像を示したものである。各カメラ２０５，２１０，２１５，２２０は左右の画角が約１８０°の広角レンズを用いて撮影しているので、一般に、撮影された画像３１における格子線３２ａ，３２ｂは、中央部が拡大されて周辺部が縮小されるように歪んでいる。

図４（ｂ）は、図４（ａ）の画像３１にレンズ歪み補正処理を行った後の画像３３を示したものである。補正処理後の画像３３においては、図４（ａ）の格子線３２ａ，３２ｂは前方カメラ２０５の視点による遠近法に従った形に補正される。その結果、格子線３２ａ，３２ｂは直線状の格子線３４ａ，３４ｂに変換される。画像３３は、前方カメラ２０５の見下ろし角度に応じた画像となっている。

さらに、レンズ歪み補正処理後の画像３３に対して、視点を車両上方に移す（すなわち、車両上方の視点から見下ろすような）視点変換処理を行うと、図４（ｃ）に示すような画像３５（上方視点画像）に変換される。図４（ｂ）の格子線３４ａ，３４ｂは、図４（ｃ）の上下左右に直交する格子線３６ａ，３６ｂに変換される。ここで、図４（ｂ）に示す矩形状領域３７の画像は、図４（ｃ）の台形状領域３９の画像に変換される。また、図４（ｂ）の台形状領域３８の画像は、図４（ｃ）の矩形状領域４０の画像に変換される。

右カメラ２１５、左カメラ２２０および後方カメラ２１０で取得された映像に関しても、それぞれ図４に示すような変換を行うことにより、画像３１，３３，３５と同様の画像が生成される。

なお、図４（ａ）の画像３１から図４（ｂ）の画像３３への変換や、図４（ｂ）の画像３３から図４（ｃ）の画像３５への変換は、予め制御部２７０のメモリに保存された専用の画素変換テーブル（変換前の画像を構成する各画素のアドレスと変換後の各画素のアドレスとの対応関係を記載した画素変換テーブル）を用いた画素座標変換によって行われる。また、図４（ａ）の画像から、図４（ｂ）の画像を経ずに図４（ｃ）の画像へ変換する場合においても、同様の画素座標変換によって画像変換が行われる。

広角カメラで撮影した画像は映像の歪みが大きくなるため、直線を撮影した場合にはその直線がカーブを描くような画像となってしまう。しかし、本実施の形態では、図４（ａ）の画像３１から図４（ｂ）の画像３３へ変換する際にレンズ歪み補正処理が行われ、直線状の撮像対象物は、図４（ｂ）の画像３３においても直線状の画像として表示される。図４（ｂ）では格子線３４ａ，３４ｂが直線となっている。

図３の進行方向視点画像生成部２３０では、図４（ｂ）の領域３７の画像データに基づいて図５に示すような進行方向視点画像としての前方視点画像６００が生成される。もちろん、図４（ａ）に示すような画像３３の一部（図４（ｂ）の領域３７の画像に相当する画像）から、前方視点画像６００を直接生成するようにしても良い。

上述した図４（ｂ）の領域３７の画像は、進行方向視点の見下ろし角度に応じた画像となっているが、前方視点画像６００における見下ろし角度は、表示部２６５０に表示するための所定見下ろし角度とされている。なお、この見下ろし角度が前方カメラ２０５の見下ろし角度と同一であれば、図４（ｂ）の領域３７の画像と図５の前方視点画像６００とは同一画像となる。前方視点画像６００の直線（格子線）６１０は、図４（ａ）の格子線３２ａ、図４（ｂ）の格子線３４ａおよび図４（ｃ）の格子線３６ａに対応している。なお、図５の前方視点画像６００では、図４（ｃ）の格子線３６ｂに対応する格子線は図示を省略している。

図３の上方視点画像生成部２５５では、前方カメラ２０５、右カメラ２１５および左カメラ２２０から取得した映像データに基づいて、図４（ｃ）と同様の上方からの視点に変換する処理を行うことで、タイヤローラ４００の前方部分の上方視点画像が生成される。前方部分の上方視点画像は、前方確認画像を合成する場合に用いられる。同様に、後方カメラ２１０、右カメラ２１５および左カメラ２２０から取得した映像データに基づいて、タイヤローラ４００の後方部分の上方視点画像を生成する。後方部分の上方視点画像は、後方確認画像を合成する場合に用いられる。

図６は、前方確認画像の合成に用いられる上方視点画像７００を示す図である。上方視点画像７００の内、符号７１０で示す領域の画像は前方カメラ２０５の映像データに基づく上方視点画像であり、図４（ｃ）に示す矩形状領域４０の画像に相当している。また、符号７２０で示す領域の画像は右カメラ２１５の映像データに基づく上方視点画像であり、符号７３０で示す領域の画像は、左カメラ２２０の映像データに基づく上方視点画像である。画像７２０と画像７３０との間の格子線の無い領域７５０は、タイヤローラ４００が占める領域である。画像７２０，７３０は、タイヤローラ４００の車体の側方領域の上方視点画像内、前側半分の上方視点画像に相当するものである。

これら３つの画像を合成する場合、右カメラ２１５の画像７２０および左カメラ２２０の画像７３０と、前方カメラ２０５の画像７１０との合成ライン７４０が、領域７５０の前側ライン（タイヤローラ４００の前面に対応するライン）に対してほぼ平行になり、そのラインと一致するように合成処理が行われる。また、画像の尺度が同一となるように、各画像７１０，７２０，７３０における格子線７１０ａ，７１０ｂ，７２０ａ，７２０ｂ，７３０ａ，７３０ｂの間隔が同一となるように合成される。

図３の２視点画像合成部２６０では、図５に示した前方視点画像６００と図６に示した上方視点画像７００とを合成することにより、図７に示すような２視点画像８００が生成される。この合成においては、前方視点画像６００の格子線６１０と上方視点画像７００の格子線７１０ａとが接続されるように画像合成が行われる。このように、画像６００，７１０，７２０，７３０をつなぎ合わせる合成を行う際には、境界の前後における画像のつながりを持たせるようにしている。

図３の表示画像生成部２３５では、２視点画像８００に対して、タイヤローラ４００の領域を示す車両アイコン９１０を合成することで、図８に示すような前方確認画像９００が生成される。前方確認画像９００における車両アイコン９１０は、タイヤローラ４００の中央から前端までの上方視点画像に対応している。車両アイコン９１０は表示部２６５０の表示画面下辺の中央に隣接して表示され、その車両アイコン９１０を基準にタイヤローラ４００の周囲の２視点画像８００が表示部２６５０に表示される。

２視点画像８００において、格子線６１０，７１０ａ，７２０ａは連続しており、格子線７１０ａ，７２０ａは車両アイコン９１０の前後方向の軸線に対して平行となっている。また、格子線６１０は、前方カメラ２０５の視点による遠近法に従った形状、すなわち、２視点画像８００の上辺中央方向に傾いた直線となっている。

上述したように、本実施の形態では、カメラで撮像された映像データに基づいて図７の２視点画像８００を生成する際に、レンズ歪み補正処理を行うと共に、画像６００，７００〜７３０を合成する際にも各画像の格子線が直線となるように画像合成が行われる。その結果、車両前方の路肩が直線であるか曲線であるかを判別しやすくなり、路肩に沿った運転がしやすくなるという効果がある。また、前方視点画像６００を表示することで車両前方の画像が遠方まで提供され、運転者は進行方向の様子を確認できる。

図９〜１２は後方確認画像を説明する図であり、上述した前方確認画像９００に関する図５〜８に相当する図である。図９は、後方カメラ２１０の映像データに基づく進行方向視点画像としての後方視点画像１６００を示す図である。後方視点画像１６００では、上辺側の画像が車両に近い画像となり、下辺側の画像が遠方の画像となっている。そのため、格子線１６１０は、下辺中央側に傾いた直線となっている。

図１０は、後方確認画像を合成する場合の上方視点画像１７００を示したものである。上方視点画像１７００では、後方カメラ２１０の映像データに基づく上方視点画像（画像１７１０）の上側に、左カメラ２２０の映像データに基づく上方視点画像（画像１７３０）および右カメラ２１５の映像データに基づく上方視点画像（画像１７２０）が配置される。画像１７２０，１７３０は、タイヤローラ４００の車体の側方領域の上方視点画像の内の、後方側半分の上方視点画像に相当するものである。画像１７２０および１７３０と画像１７１０との合成ライン１７４０は、タイヤローラ４００の後面に対して平行で、タイヤローラ４００の後面と一致するように形成される。領域１７５０は、車両アイコンが表示される領域である。

図１１は、後方確認画像を合成する場合の２視点画像１８００を示したものである。２視点画像１８００では、後方カメラ２１０の映像データによる上方視点画像と後方視点画像１６００が接続されるように、すなわち、上方視点画像１７００の下側に後方視点画像１６００が接続されるように合成が行われる。図１２は、図１１の２視点画像１８００に車両アイコン１９１０を合成した後方確認画像１９００を示す図である。後方確認画像１９００における車両アイコン１９１０は、タイヤローラ４００の中央から後端までの上方視点画像に対応している。

次に、図３の制御部２７０で処理される画像処理フローについて、図１３を用いて説明する。ステップＳ３００では、本周囲監視システムの起動状態を確認したり、エラー診断を行ったりする起動処理を行う。ステップＳ３０５では、映像獲得部２２５において前方カメラ２０５、後方カメラ２１０、右カメラ２１５、左カメラ２２０からの映像をデジタル化し、さらにデジタル化した映像をバッファ２５０に一時的に保存する。

ステップＳ３１０では、切替判定部２４０で管理されている監視方向を示す判定情報が前方か後方かを判定することで、前方確認画像９００（図８参照）または後方確認画像１９００（図１２参照）のいずれを生成するかを決定する。そして、監視方向が前方である場合にはステップＳ３１５に進み、監視方向が後方である場合にはステップＳ３２５に進む。

ステップＳ３１５では、前方カメラ２０５で取得した映像を進行方向視点画像生成部２３０で進行方向の視点に変換する処理を行うことで、図５の前方視点画像６００を生成する。ステップＳ３２０では、上方視点画像生成部２５５において、右カメラ２１５、左カメラ２２０、前方カメラ２０５から取得した映像を上方からの視点に変換する処理を行うことで、タイヤローラ４００の前方部分の上方視点画像７００（図６参照）を生成する。

一方、ステップＳ３１０からステップＳ３２５に進んだ場合には、ステップＳ３２５において、後方カメラ２１０で取得した映像を進行方向視点画像生成部２３０で進行方向の視点に変換する処理を行うことで後方視点画像１６００（図９参照）を生成する。

ステップＳ３３０では、上方視点画像生成部２５５において、右カメラ２１５、左カメラ２２０、後方カメラ２１０から取得した映像を上方からの視点に変換する処理を行うことで、タイヤローラ４００の後方部分の上方視点画像を生成する。ステップＳ３３０の処理を終了したならばステップＳ３３５に進む。

ステップＳ３３５では、ステップＳ３１５あるいはステップＳ３２５で生成した進行方向視点画像（前方視点画像６００または後方視点画像１６００）と、ステップＳ３２０あるいはステップＳ３３０で作成した上方視点画像とを２視点画像合成部２６０で合成処理することで、２視点画像８００または１８００（図７，１１参照）を生成する。

ステップＳ３４０では、ステップＳ３３５で生成した２視点画像８００，１８００とタイヤローラ４００の車両アイコン９１０，１９１０（図８，１２参照）とを表示画像生成部２３５で合成処理し、前方確認画像９００（図８参照）または後方確認画像１９００（図１２参照）を生成する。

ステップＳ３４５では、ステップＳ３４０で作成した前方確認画像９００（図８参照）または後方確認画像１９００（図１２参照）を、図３の表示部２６５０に表示する。

このように、制御部２７０は、車両に設けられた複数のカメラ２０５〜２２０により撮像された車両周囲の画像に基づいて、以下のような車両周囲の監視画像を表示する周囲監視装置用プログラムを実行する。すなわち、周囲監視装置用プログラムは、前方カメラ２０５または後方カメラ２１０で取得した画像に基づいて前方視点画像６００または後方視点画像１６００を生成する処理と、前方カメラ２０５または後方カメラ２１０で取得した画像、左カメラ２２０で取得した左側方画像および右カメラ２１５で取得した右側方画像に基づいて、前方視点画像６００または後方視点画像１６００に対応する上方視点画像７００または１７００を生成する処理と、上方視点画像７００または１７００と、その上方視点画像７００または１７００に対応する前方視点画像６００または後方視点画像１６００を合成して監視画像を生成する処理と、監視画像を表示部２６５０に表示させる処理とをコンピュータで実行させるものである。

図１４は、タイヤローラ４００を用いた締固め作業の一例を示す図であり、道路４２０の締固め作業を行う場合を示したものである。タイヤローラ４００の運転者（不図示）は、運転席４１０にてタイヤローラ４００の操舵や加減速などの運転操作を行う。道路４２０の締固め作業においては、タイヤローラ４００による締固め作業が行われると共に、こぼれたアスファルトの回収などを行うために作業員１１０がタイヤローラ４００の周辺で作業する。運転者は、タイヤローラ４００を道路の路肩４３０に沿って前進および後進させることによって路面の締固めを行う。

図１５は、図１４に示す状況における周囲監視画像、すなわち表示部２６５０に表示された前方確認画像１００（上述した前方確認画像９００に対応する）を示したものである。前方確認画像１００は、前方視点画像１２０の下側に上方視点画像１２５を合成し、さらにタイヤローラ４００の領域を示すアイコン１０５を合成したものである。前方視点画像１２０には、作業員１１０および左右の路肩１１５が表示されている。上方視点画像１２５には、アイコン１０５の左右に路肩１１５が表示されている。

このように、車両上方から見下ろすような上方視点画像１２５を表示することで、車両と車両周辺に位置する対象（路肩等）との位置関係がわかりやすい画像を提供することができる。さらに、上方視点画像１２５に加えて前方視点画像１２０を表示することで、車両周辺状況だけでなく、車両からやや離れた位置にいる作業員１１０を表示画面上で同時に把握することができる。図１４に示す路肩４３０は車両前後方向に直線状に延びているが、前方確認画像１００における路肩１１５も、前方視点画像１２０と上方視点画像１２５とに亘る一本の路肩１１５として表示されている。さらに、前方視点画像１２０における路肩１１５は歪み無く直線状に表示されている。そのため、車両前方の路肩が直線であるか曲線であるかを判別しやすくなり、路肩に沿った運転がしやすくなる。

なお、上述した実施形態では、図１３のフローチャートで説明したように、切替判定部２４０に入力される判定情報が前方か後方かによって、前方確認画像９００または後方確認画像１９００を選択的に生成する構成としたが、前方確認画像９００のみを合成して表示する構成、または、後方確認画像１９００のみを合成して表示する構成であっても構わない。

以上説明したように、本実施の形態の周囲監視装置は以下のような特徴を備えている。
（ａ）画像生成部に対応する進行方向視点画像生成部２３０，上方視点画像生成部２５５，２視点画像合成部２６０および表示画像生成部２３５は、前方確認画像および後方確認画像の少なくとも一方を生成する。前方確認画像９００は、前方カメラ２０５で取得した映像に基づいて生成される前方視点画像６００と、前方カメラ２０５、左カメラ２２０および右カメラ２１５で取得した各画像に基づいて生成される上方視点画像７００とから合成される。後方確認画像１９００は、後方カメラ２１０で取得した映像に基づいて生成される後方視点画像１６００と、後方カメラ２１０、左カメラ２２０および右カメラ２１５で取得した各映像に基づいて生成される上方視点画像１７００とから合成される。このように、前方確認画像９００や後方確認画像１９００には、車両周囲の上方視点画像７００，１７００に加えて前方視点画像６００や後方視点画像１６００も合成されている。そのため、運転者は、前方確認画像９００や後方確認画像１９００から車両の進行方向および左右方向を同時に視認することができ、従来のような前方状況と周囲状況とを確認するための視点移動が不要となり、進行方向の障害物などの情報と、路肩の直線性や連続性などの情報とを同時に認識することができる。

なお、上述した実施形態では、車両アイコン９１０が合成された前方確認画像９００を監視用の画像として表示部２６５０に表示したが、２視点画像８００のように車両アイコン９１０が配置される領域７５０が空白状態の画像を、監視用の画像として表示部２６５０に表示しても構わない。

（ｂ）さらに、前方確認画像９００または後方確認画像１９００のように、作業機械の領域を示す車両アイコン９１０，１９１０を所定の表示領域（領域７５０，１７５０）に合成表示することにより、車両と路肩または障害物との距離を直感的に把握することができる。

（ｃ）また、図６に示すように、前方カメラ２０５の映像データに基づく上方視点画像７１０と上方視点画像（７２０，７３０）とを、車両アイコン９１０の車両前面を通り該車両前面に平行な合成ライン７４０に沿って接続されるように画像合成するようにしたので、合成画像上における路肩付近の画像の歪みが抑えられ、路肩を見やすくすることができる。平行な合成ライン７４０に沿って接続した場合、接続領域付近の画像生成には、被写体により近い方のカメラの映像データが用いられるようになり、より解像度の高い表示画像を得ることができる。その結果、路肩の視認性が向上する。

（ｄ）表示部２６５０に表示される表示画像として前方確認画像９００および後方確認画像１９００の一方を選択する画像選択指令（上述した判定情報）が入力される画像選択指令入力部としての切替判定部２４０を備え、その判定情報に基づいて前方確認画像９００または後方確認画像１９００を表示画像生成部２３５により生成させるようにしても良い。このような構成とすることで、例えば、車両前進時には前方確認画像９００が表示部２６５０に表示され、車両後進時には後方確認画像１９００が表示されるようにすることができ、車両操作性の向上を図ることが可能となる。

なお、以上の説明はあくまでも一例であり、本発明の特徴を損なわない限り、本発明は上記実施の形態に何ら限定されるものではない。例えば、上述した実施の形態では、判定情報に応じて前方確認画像９００または後方確認画像１９００を生成し、生成された画像を表示部２６５０に表示するようにしたが、判定情報に係わらず常に前方確認画像９００と後方確認画像１９００の両方を生成し、判定情報に応じていずれか一方を表示部２６５０に表示するような構成としても良い。

１１５，４３０…路肩、２００…周囲監視装置、２０５…前方カメラ、２１０…後方カメラ、２１５…右カメラ、２２０…左カメラ、２２５…映像獲得部、２３０…進行方向視点画像生成部、２３５…表示画像生成部、２４０…切替判定部、２４５…入出力インターフェイス、２５５…上方視点画像生成部、２６０…２視点画像合成部、２６５…表示装置、４００…タイヤローラ、６００，１６００…前方視点画像、７００，１７００…上方視点画像、７４０，１７４０…合成ライン、８００，１８００…２視点画像、９００…前方確認画像、９１０，１９１０…車両アイコン、１９００…後方視点画像、２６５０…表示部

Claims (3)

1. 車両に設けられた複数のカメラにより撮像された車両周囲の画像に基づき、車両の前方を確認するための前方確認画像および車両の後方を確認するための後方確認画像を生成する画像生成部と、
   生成された前記前方確認画像および前記後方確認画像の一方を選択する画像選択指令が入力される画像選択指令入力部と、
   前記画像選択指令入力部で選択された画像を表示部に出力する出力部と、を備え、
   前記前方確認画像は、車両前方のカメラで取得した画像に基づいて生成される前方視点画像と、車両前方のカメラ、車両左側方のカメラおよび車両右側方のカメラで取得した各画像に基づいて生成される第１上方視点俯瞰画像とから合成され、かつ、前記前方確認画像における作業車両を模した車両アイコンの車両前面を通り該車両前面に平行な線に沿って、前記前方視点画像と前記第１上方視点俯瞰画像とが接続されるように合成され、
   前記後方確認画像は、車両後方のカメラで取得した画像に基づいて生成される後方視点画像と、車両後方のカメラ、車両左側方のカメラおよび車両右側方のカメラで取得した各画像に基づいて生成される第２上方視点俯瞰画像とから合成され、かつ、前記後方確認画像における前記車両アイコンの車両後面を通り該車両後面に平行な線に沿って、前記後方視点画像と前記第２上方視点俯瞰画像とが接続されるように合成され、
   前記第１上方視点俯瞰画像は、前記車両右側方のカメラで取得した画像に基づく上方視点画像である右上方視点画像および前記車両左側方のカメラで取得した画像に基づく上方視点画像である左上方視点画像と、前記車両前方のカメラで取得した画像に基づく上方視点画像である前上方視点画像と、の合成ラインが、前記表示部の前記作業車両が占める領域の前側ラインに一致し、かつ、前記右上方視点画像、前記左上方視点画像および前記前上方視点画像の尺度が同一となるよう、当該右上方視点画像、当該左上方視点画像および当該前上方視点画像を合成して生成され、
   前記第２上方視点俯瞰画像は、前記車両右側方のカメラで取得した画像に基づく上方視点画像である右上方視点画像および前記車両左側方のカメラで取得した画像に基づく上方視点画像である左上方視点画像と、前記車両後方のカメラで取得した画像に基づく上方視点画像である後上方視点画像と、の合成ラインが、前記表示部の前記作業車両が占める領域の後側ラインに一致し、かつ、前記右上方視点画像、前記左上方視点画像および前記後上方視点画像の尺度が同一となるよう、当該右上方視点画像、当該左上方視点画像および当該後上方視点画像を合成して生成され、
   前記画像選択指令入力部は、オペレータからの前記画像選択指令を受け付ける画像切替スイッチである、作業車両の周囲監視装置。
2. 請求項１に記載の作業車両の周囲監視装置において、
   前記画像生成部は、前記車両アイコンが前記表示部の所定表示領域に表示されるように、前記前方確認画像または前記後方確認画像と前記車両アイコンと合成する、作業車両の周囲監視装置。
3. 車両に設けられた複数のカメラにより撮像された車両周囲の画像に基づいて、車両の前方を確認するための前方確認画像および車両の後方を確認するための後方確認画像を生成する画像生成機能、
   オペレータからの指令を受け付ける画像切替スイッチを介して、生成された前記前方確認画像および前記後方確認画像の一方を選択する画像選択指令を受け付ける画像選択機能、
   前記画像選択機能により選択を受け付けた画像を表示部に出力する出力機能、をコンピュータに実現させるための作業車両の周囲監視装置用プログラムであって、
   前記前方確認画像は、車両前方のカメラで取得した画像に基づいて生成される前方視点画像と、車両前方のカメラ、車両左側方のカメラおよび車両右側方のカメラで取得した各画像に基づいて生成される第１上方視点俯瞰画像とから合成され、かつ、前記前方確認画像における前記作業車両を模した車両アイコンの車両前面を通り該車両前面に平行な線に沿って、前記前方視点画像と前記第１上方視点俯瞰画像とが接続されるように合成され、
   前記後方確認画像は、車両後方のカメラで取得した画像に基づいて生成される後方視点画像と、車両後方のカメラ、車両左側方のカメラおよび車両右側方のカメラで取得した各画像に基づいて生成される第２上方視点俯瞰画像とから合成され、かつ、前記後方確認画像における前記車両アイコンの車両後面を通り該車両後面に平行な線に沿って、前記後方視点画像と前記第２上方視点俯瞰画像とが接続されるように合成され、
   前記第１上方視点俯瞰画像は、前記車両右側方のカメラで取得した画像に基づく上方視点画像である右上方視点画像および前記車両左側方のカメラで取得した画像に基づく上方視点画像である左上方視点画像と、前記車両前方のカメラで取得した画像に基づく上方視点画像である前上方視点画像と、の合成ラインが、前記表示部の前記作業車両が占める領域の前側ラインに一致し、かつ、前記右上方視点画像、前記左上方視点画像および前記前上方視点画像の尺度が同一となるよう、当該右上方視点画像、当該左上方視点画像および当該前上方視点画像を合成して生成され、
   前記第２上方視点俯瞰画像は、前記車両右側方のカメラで取得した画像に基づく上方視点画像である右上方視点画像および前記車両左側方のカメラで取得した画像に基づく上方視点画像である左上方視点画像と、前記車両後方のカメラで取得した画像に基づく上方視点画像である後上方視点画像と、の合成ラインが、前記表示部の前記作業車両が占める領域の後側ラインに一致し、かつ、前記右上方視点画像、前記左上方視点画像および前記後上方視点画像の尺度が同一となるよう、当該右上方視点画像、当該左上方視点画像および当該後上方視点画像を合成して生成される、作業車両の周囲監視装置用プログラム。

Images