以下に、本発明に係る一例としての俯瞰画像システムを、一例としての作業車両に用いた実施例について図面を参照しつつ説明する。なお、図5および図6は、各俯瞰画像Pの理解を容易とすべく表示部13に対応する俯瞰画像Pおよび姿勢標識Spを表示した様子を示しているが、操作部14を併せて表示してもよく、必ずしも実際の態様と一致しない。
本発明に係る俯瞰画像システムの一実施形態に係る実施例1の俯瞰画像システム10を、図1から図7を用いて説明する。実施例1の俯瞰画像システム10は、図1および図2に示すように、作業車両の一例としてのクレーン車1に用いる。そのクレーン車1は、走行体(キャリヤ)2と旋回台3とを備える。
その走行体2は、走行機能を有する車両の本体部分(車体)となり、複数の車輪と、車輪および旋回台3を駆動する駆動源と、を有する。走行体2は、図2に示すように、平面視して前後(図2を正面視した上下であり、上側を前側とする)に長尺な略長方形状を呈する。この走行体2は、前側(上側)を車両進行方向として進行すること、後側(下側)へと後退すること、操舵により左右へと曲がること、を可能とすべく構成されている。この走行体2には、前側および後側に各々左右一対のアウトリガ4(図1参照(走行体2の左側のみ図示))が設けられる。各アウトリガ4は、左右に張り出しおよび格納を可能とし、適宜張り出して接地することで後述するブーム7を用いた作業時(後述する作業モード)に走行体2を安定して支持する。
旋回台3は、図1および図2に示すように、走行体2の上部に水平旋回可能に設けられ、一体的に旋回可能なキャビン5とブームサポート6とを有する。そのキャビン5は、作業者(オペレータ)が乗車する場所であり、図2を正面視した上側が正面側となるように構成される。このキャビン5には、作業者が各種の操作を行うための操作部が設けられる。その各種の操作としては、例えば、旋回台3の旋回、後述するブーム7の起伏および伸縮、ブームサポート6に設けたウインチの巻上および巻下、各アウトリガ4の張出および格納、エンジンの始動および停止、走行体2の走行等がある。この旋回台3では、車両進行方向(前進側)に対して右側にキャビン5を設けている。旋回台3は、キャビン5およびブームサポート6が走行体2上に収まる大きさ寸法とされ、実施例1では、幅寸法(図2を正面視して左右方向の寸法)が走行体2と略等しくされ、長さ寸法(図2を正面視して上下方向の寸法)が走行体2よりも小さくされている。
そのブームサポート6は、ブーム7を取り付ける箇所であり、ブーム7の基端部がブーム根本支点ピンを介して取り付けられ、そのブーム根本支点ピンを中心にしてブーム7を起伏可能とする。また、ブームサポート6では、ブーム7との間に起伏用シリンダが設けられ、起伏用シリンダを伸縮することでブーム7が起伏される。このブーム7は、旋回台3において、キャビン5の左側で前後方向に伸びる位置関係とされる。ブーム7は、実施例1では、図1に示すように、走行時等の非使用時において水平に配置している。このブーム7は、図2を正面視して上側(先端箇所)が、旋回台3における走行体2からの突出する箇所となる。なお、ブーム7は、先端が下がって配置された所謂スラントブームとしてもよい。
このブーム7は、内部で伸縮シリンダにより連結された基端ブーム部と中間ブーム部と先端ブーム部とを有し、中間ブーム部と先端ブーム部とを順に基端ブーム部内に外側から内側へと入れ子式に組み合わせて収納して構成され、各伸縮シリンダが伸縮することで伸縮する。ブーム7は、先端ブーム部のシーブにワイヤが掛け回されてフックが吊下げられ、走行時(後述する走行モード(図2等参照))等の非使用時では各ブーム部を収納した状態とされる。
クレーン車1は、上述したようにブーム7を収納し、走行体2に対する旋回台3の姿勢を固定して走行による移動が行われる走行モードが設定されている。その走行モードには、走行姿勢モードMd(図2参照)と、反転姿勢モードMr(図3参照)と、の2つの種類が設定されている。走行姿勢モードMdは、図2に示すように、走行体2の前側(車両進行方向)と旋回台3におけるキャビン5(その中の作業者)の正面側(正面方向)とを一致させた走行姿勢Dpで走行するものである。この走行姿勢モードMdは、通常の移動で用いられるモードであり、キャビン5中の作業者が走行体2の前側を向くこととなり、基本的に図2を正面視して上側(矢印A1参照)へと進行する。このため、走行姿勢モードMdは、クレーン車1の進行方向と走行体2の前進側とが一致される。クレーン車1は、実施例1では、走行姿勢Dpとしてシフトスイッチを前進、中立、後退とすることで走行姿勢モードMdとなる。
反転姿勢モードMrは、図3に示すように、走行姿勢Dpから旋回台3を半回転(180度旋回)させた反転姿勢Rp、すなわち走行体2の後側(後退側)と旋回台3におけるキャビン5(その中の作業者)の正面側とを一致させた反転姿勢Rpで走行するものである。この反転姿勢モードMrは、例えば狭小な場所において作業後に旋回台3を走行姿勢Dpまでは旋回できない場合の移動で用いるモードであり、キャビン5中の作業者が走行体2の後側を向くこととなり、基本的に図3を正面視して下側(矢印A2参照)へと進行する。このため、反転姿勢モードMrは、クレーン車1の進行方向と走行体2の後退側とが一致される。クレーン車1は、実施例1では、反転姿勢Rpとしてシフトスイッチを前進、中立、後退とすることで走行姿勢モードMdとなる。
加えて、クレーン車1は、停止されて作業モードとすることで、ブーム7を使用すべく旋回台3を走行体2に対して旋回させることができる。クレーン車1は、実施例1では、車両駆動用のエンジン動力を作業機の駆動のために取り出す機構であるPTO(Power take−off)を駆動させるPTOスイッチをON状態とすることで作業モードとなる。このクレーン車1に俯瞰画像システム10を用いている。
その俯瞰画像システム10は、クレーン車1を鉛直方向の上側(上方)の仮想視点から見下ろした様子を示す各俯瞰画像P(図5、図6参照)を呈示するもので、図4に示すように、4つのカメラ11と制御部12と表示部13と操作部14と情報取得部15と記憶部16とを備える。その各カメラ11は、クレーン車1における走行体2の周辺の画像を取得することを鑑みて所定の位置に設けられ、例えば略180度の画角の広角カメラを用いる。この走行体2の周辺の画像とは、鉛直方向の上側(上方)から見て走行体2を取り囲む地面(走行している面)の画像であり、当該走行体2と隣接する位置から当該走行体2を中心とする所定の距離の位置までの領域の地面の画像である(図5、図6参照)。
各カメラ11は、図1および図2に示すように、走行体2を基準として、前方の画像を取得する前方カメラ11Fと、後方の画像を取得する後方カメラ11Bと、右方の画像を取得する右方カメラ11Rと、左方の画像を取得する左方カメラ11Lと、を有する。その前方カメラ11Fは、走行体2における前進側で当該走行体2の端部(前端)に設け、後方カメラ11Bは、走行体2における後退側で当該走行体2の端部(後端)に設けている。また、右方カメラ11Rは、キャビン5における右側となる旋回台3の右端に設け、左方カメラ11Lは、キャビン5における左側となる旋回台3の左端に設けている。
ここで、走行体2は、前後(車両進行方向)に長尺な略長方形状を呈するので、広角カメラを用いても左右に1台ずつ設けただけでは両側の領域の画像を全域に亘り取得するのは困難である。また、俯瞰画像システム10を用いたクレーン車1は、走行体2と旋回台3との幅寸法が略等しくされているので、走行体2の前側と旋回台3の正面側とが一致される走行姿勢Dpやそこから旋回台3が半回転される反転姿勢Rpでは、旋回台3における両側端が走行体2の両側端と略一致する(図2、図3参照)。このため、俯瞰画像システム10は、右方カメラ11Rおよび左方カメラ11Lを旋回台3の両側に設けることで、これらの設置位置を走行体2に設けた前方カメラ11Fおよび後方カメラ11Bよりも高くすることができ、旋回台3の両側すなわち走行モード(Md、Mr)における走行体2の両側の領域(後述する右方領域Arおよび左方領域Al(図5、図6参照))の画像を全域に亘り取得できる。これにより、俯瞰画像システム10は、走行モード(Md、Mr)において、右方カメラ11Rおよび左方カメラ11Lが取得した走行体2の両側の画像と、前方カメラ11Fおよび後方カメラ11Bが取得した走行体2の前後側の画像と、で走行体2の周辺の画像を全周に亘り取得できる(図5、図6参照)。なお、各カメラ(11)は、走行体2の周辺の画像を全周に亘り切れ目なく取得するものであれば、詳細な位置は適宜設定すればよく、実施例1の構成(図1および図2に示す位置)に限定されない。
制御部12は、図4に示すように、4つのカメラ11と表示部13と操作部14と情報取得部15と記憶部16とに接続される。この制御部12は、記憶部(内蔵する内蔵メモリ12a)や演算部を有するマイクロコンピュータであり、実施例1ではキャビン5に設けられる。制御部12は、記憶部16あるいは内蔵メモリ12aに格納されたプログラムに基づき、各カメラ11、表示部13、操作部14、情報取得部15および記憶部16の動作を統括的に制御し、各カメラ11や操作部14や情報取得部15から適宜情報を取得する。この制御部12は、各カメラ11からの信号に基づく各俯瞰画像P(その画像データ)の生成処理や、その各俯瞰画像Pを表示部13に表示させる表示処理や、操作部14に為された操作の判断処理や、情報取得部15が取得した各種情報の取得処理等の制御を行う。制御部12は、実施例1では、記憶部16あるいは内蔵メモリ12aに格納されたプログラムに基づき、各カメラ11が取得した画像(その画像データ)から各俯瞰画像P(その画像データ)を生成する画像処理部17を有する。
その画像処理部17は、一例として、次のような各処理を行うことで各俯瞰画像P(その画像データ)を生成する生成処理を行う。なお、この生成処理は、各カメラ11が取得した画像(その画像データ)と後述する各領域A(Af、Ab、Ar、Al)との対応関係が異なることを除くと、後述する走行俯瞰画像Pd(図5参照)であっても反転俯瞰画像Pr(図6参照)であっても同様であるので、単に俯瞰画像Pとして説明する。先ず、画像処理部17は、入力画素の座標値にレンズ歪み係数やアスペクト比等に基づく係数を乗じて出力画素の座標値に変換することで、レンズによる歪みを補正する歪み補正処理を行う。また、画像処理部17は、適宜選択した入力画素の座標値にカメラ取付角等に基づく種々の係数を乗じて出力画素の全ての座標値を形成することで、クレーン車1の上方に設定した仮想視点から見下ろした撮影画像(個別の俯瞰画像)に変換する俯瞰変換処理を行う。さらに、画像処理部17は、対応する座標値の輝度を線形補間等することで繋ぎ目の違和感を無くしつつ上記した各処理を行った各カメラ11からの隣り合う撮影画像を1枚の画像として繋ぎ合わせて俯瞰画像Pを生成する画像合成処理を行う。なお、画像処理部17は、生成処理として、俯瞰画像P(その画像データ)を生成すれば、これらの各処理を同時に行ってもよく、他の内容の処理を行ってもよく、実施例1の各処理に限定されない。
ここで、画像処理部17は、クレーン車1が走行モードの走行姿勢モードMdであるか反転姿勢モードMrであるかの別に応じて、各カメラ11が取得した画像(その画像データ)の各領域(A1〜A4)への対応関係を切り替えて各俯瞰画像Pを生成する。先ず、画像処理部17は、各俯瞰画像Pがキャビン5の中の作業者による周辺の視認を容易とするものであるため、キャビン5(それが設けられた旋回台3)を基準として、各俯瞰画像Pを生成する。その俯瞰画像Pでは、図5、図6に示すように、キャビン5を基準として、正面側を正面領域Afとし、背面側を背面領域Abとし、右側を右方領域Arとし、左側を左方領域Alとする。画像処理部17は、クレーン車1が走行姿勢モードMdであると、正面領域Afに前方カメラ11Fで取得した画像を、背面領域Abに後方カメラ11Bで取得した画像を、右方領域Arに右方カメラ11Rで取得した画像を、左方領域Alに左方カメラ11Lで取得した画像を、それぞれ用いて上記したように仮想視点から見下ろした画像に変換し繋ぎ合わせて走行俯瞰画像Pd(図5参照)を生成する。この走行俯瞰画像Pdは、その前方カメラ11Fと後方カメラ11Bと右方カメラ11Rと左方カメラ11Lとを上記した位置関係としているので、図5に示すように、走行体2の周辺を全周に亘り連続する画像となる。
また、画像処理部17は、クレーン車1が反転姿勢モードMrであると、正面領域Afに後方カメラ11Bで取得した画像を、背面領域Abに前方カメラ11Fで取得した画像を、右方領域Arに右方カメラ11Rで取得した画像を、左方領域Alに左方カメラ11Lで取得した画像を、それぞれ用いて上記したように仮想視点から見下ろした画像に変換し繋ぎ合わせて反転俯瞰画像Pr(図6参照)を生成する。この反転俯瞰画像Prは、図6に示すように、走行姿勢Dpから反転姿勢Rpとなることでキャビン5(旋回台3)に対する走行体2の前後関係が逆になるため、その前後に対応させるカメラ11(11F、11B)を正面領域Afと背面領域Abとで逆転させたものである。ここで、走行姿勢Dpから反転姿勢Rpとなってもキャビン5(旋回台3)から見た左右関係は変化しないので、その左右に対応させるカメラ11(11R、11L)を走行姿勢Dpと反転姿勢Rpとで変化させていない。反転俯瞰画像Prは、その前方カメラ11Fと後方カメラ11Bと右方カメラ11Rと左方カメラ11Lとを上記した位置関係としているので、走行体2の周辺を全周に亘り連続する画像となる。
このように画像合成された各俯瞰画像Pでは、各カメラ11が上記したように設けられているため、走行体2の外方の画像となりその走行体2の内方の領域の画像情報が欠落する。このため、画像処理部17は、各俯瞰画像Pにおける欠落箇所を例えば画素値ゼロ(黒表示)とする。
そして、画像処理部17は、画像合成された各俯瞰画像Pの欠落箇所に、クレーン車1を模擬的に可視化して表す作業車両標識M(図5、図6参照)を重畳する重畳処理を行う。その作業車両標識Mは、図5、図6に示すように、各俯瞰画像Pにおける作業車両としてのクレーン車1の位置および大きさを可視化して示すもので、走行体2を示す走行体標識部M2とその上のブーム7等を含む旋回台3を示す旋回台標識部M3とを有する。作業車両標識Mは、実際のクレーン車1の俯瞰写真を用いてもよくクレーン車1を俯瞰して示す図柄を用いてもよい。
ここで、画像処理部17は、クレーン車1における走行モード(走行姿勢モードMdまたは反転姿勢モードMr)、すなわち生成した俯瞰画像P(走行俯瞰画像Pdまたは反転俯瞰画像Pr)に応じて、重畳する作業車両標識Mを切り替える。具体的には、画像処理部17は、走行姿勢モードMdで走行俯瞰画像Pdを生成した場合には、図5に示すように、走行体2が存在する欠落領域に、走行姿勢Dpを示す作業車両標識Mを重畳させる。その走行姿勢Dpを示す作業車両標識Mは、走行体標識部M2の前側(走行体2の前進側に相当する箇所)と旋回台標識部M3の正面側(旋回台3におけるキャビン5の正面側に相当する箇所)とを一致させている。そして、画像処理部17は、走行体標識部M2の前側および旋回台標識部M3の正面側を、キャビン5(その作業者)から見て正面となる正面領域Afに向けて、この作業車両標識Mを走行俯瞰画像Pdに重畳させる。
また、画像処理部17は、反転姿勢モードMrで反転俯瞰画像Prを生成した場合には、図6に示すように、走行体2が存在する欠落領域に、反転姿勢Rpを示す作業車両標識Mを重畳させる。その反転姿勢Rpを示す作業車両標識Mは、走行体標識部M2の後側(走行体2の後退側に相当する箇所)と旋回台標識部M3の正面側とを一致させている。そして、画像処理部17は、走行体標識部M2の後側および旋回台標識部M3の正面側を、キャビン5(その作業者)から正面となる正面領域Afに向けて、この作業車両標識Mを走行俯瞰画像Pdに重畳させる。
制御部12は、図5および図6に示すように、画像処理部17で生成した各俯瞰画像P(その画像データ)を、表示部13に出力して当該表示部13に表示させるとともに、その各俯瞰画像Pを適宜記憶部16に格納する。このとき、制御部12は、各俯瞰画像Pにおける正面領域Afを、表示部13を正面視した上側に位置させて、その各俯瞰画像Pを表示部13に表示させる。このため、各俯瞰画像Pは、キャビン5から見て正面となる正面領域Afおよび旋回台標識部M3の正面側が、表示部13の上側に位置して表示されるので、キャビン5の中に居る作業者の感覚に一致される。
制御部12は、クレーン車1が走行姿勢Dpすなわち走行姿勢モードMdであるか反転姿勢Rpすなわち反転姿勢モードMrであるかの別を標示する姿勢標識Spを、各俯瞰画像Pとともに表示部13に表示させる。姿勢標識Spは、実施例1では、走行姿勢モードMdまたは反転姿勢モードMrであることを文字で示すものとしている。なお、姿勢標識Spは、クレーン車1が走行姿勢Dp(走行姿勢モードMd)であるか反転姿勢Rp(反転姿勢モードMr)であるかの別を標示すれば、記号や図柄でもよく、実施例1の構成に限定されない。そして、制御部12は、操作部14に為された操作情報(データ)や、情報取得部15が取得した各種情報(データ)が入力される。
表示部13は、各俯瞰画像Pやクレーン車1における各種情報を表示可能であり、実施例1では旋回台3のキャビン5内に設けている。この表示部13は、制御部12の制御下で、各カメラ11で取得された画像に基づき生成された各俯瞰画像P(図5、図6参照)を即時連続的に(リアルタイムで)表示ができる。表示部13は、実施例1では、タッチパネルの機能を搭載する。
操作部14は、俯瞰画像システム10における各種機能を利用するための操作部であり、入力操作された情報を制御部12へと出力する。この操作部14は、実施例1では、タッチパネルの機能を搭載する表示部13に表示された画面(その中の各種アイコン等)として構成される。操作部14は、表示部13に表示させる画像の切替の操作や、俯瞰画像システム10やクレーン車1における各種の設定の操作等を行うことができる。なお、操作部14は、表示部13とは独立してキャビン5内に設けてもよく、表示部13の画面の周囲にスイッチとして設けてもよい。
情報取得部15は、クレーン車1に関する各種の動作情報を取得し、その各動作情報(データ)を制御部12へと出力する。その各動作情報は、例えば、クレーン車1が走行モードにおける走行姿勢モードMdであるか反転姿勢モードMrであるか、あるいは作業モードであるかの別を示すモード情報や、旋回台3(ブーム7)の旋回角度やブーム7の起伏角度および長さを示す姿勢情報がある。情報取得部15は、実施例1では、走行姿勢モードMdまたは反転姿勢モードMrであることを示すモード情報として、クレーン車1のシフトスイッチが前進、中立、後退とされている際にクレーン車1が走行姿勢Dpとされているか反転姿勢Rpとされているかの別を取得(検知)する。
このように、俯瞰画像システム10は、走行体2に設けた前方カメラ11Fおよび後方カメラ11Bと、旋回台3に設けた右方カメラ11Rおよび左方カメラ11Lと、で走行体2の周辺の画像を前後左右に分けて各々取得し、その各画像(そのデータ)を制御部12(その画像処理部17)に出力する。画像処理部17は、クレーン車1が走行姿勢モードMdであると、上述したように、前方カメラ11Fを正面領域Afに、後方カメラ11Bを背面領域Abに、右方カメラ11Rを右方領域Arに、左方カメラ11Lを左方領域Alに、対応させて走行俯瞰画像Pd(俯瞰画像P)を生成し、走行体標識部M2の前側と旋回台標識部M3の正面側とを一致させた作業車両標識Mを重畳させる。その作業車両標識Mが重畳された走行俯瞰画像Pdは、制御部12の制御下で姿勢標識Spとともに表示部13に表示される(図5参照)。これにより、俯瞰画像システム10は、クレーン車1の走行姿勢モードMdにおいて、走行体2の周辺の視認を容易とする。
また、画像処理部17は、クレーン車1が反転姿勢モードMrであると、上述したように、後方カメラ11Bを正面領域Afに、前方カメラ11Fを背面領域Abに、右方カメラ11Rを右方領域Arに、左方カメラ11Lを左方領域Alに、対応させて反転俯瞰画像Pr(俯瞰画像P)を生成し、走行体標識部M2の後側と旋回台標識部M3の正面側とを一致させた作業車両標識Mを重畳させる。その作業車両標識Mが重畳された走行俯瞰画像Pdは、制御部12の制御下で姿勢標識Spとともに表示部13に表示される(図6参照)。これにより、俯瞰画像システム10は、クレーン車1の反転姿勢モードMrにおいて、走行体2の周辺の視認を容易とする。
このように、俯瞰画像システム10は、クレーン車1の走行モードの種類に拘わらず、走行体2に設けた前方カメラ11Fおよび後方カメラ11Bと、旋回台3に設けた右方カメラ11Rおよび左方カメラ11Lと、を共通して用いる。そして、俯瞰画像システム10は、走行モードの種類に応じて、走行体2に設けた前方カメラ11Fおよび後方カメラ11Bからの画像を対応させる位置を正面領域Afと背面領域Abとで逆転させることで、モードに適応する俯瞰画像Pを呈示する。
次に、俯瞰画像システム10において、制御部12の制御下で各俯瞰画像Pを生成して表示部13に表示させる俯瞰画像表示処理について、図7を用いて説明する。その図7は、実施例1における制御部12にて実行される俯瞰画像表示処理(俯瞰画像表示方法)を示すフローチャートである。この俯瞰画像表示処理は、制御部12の内蔵メモリ12aもしくは記憶部16に記憶されたプログラムに基づいて、制御部12が実行する。以下では、この図7のフローチャートの各ステップ(各工程)について説明する。この図7のフローチャートは、俯瞰画像システム10が俯瞰画像表示処理を実行する状態とされて、クレーン車1において走行モードをされることにより開始される。俯瞰画像システム10は、常に俯瞰画像表示処理を実行する状態とされていてもよく、操作部14の操作で実行の有無を切り替え可能としてもよい。
ステップS1は、各カメラ11からの画像を取得して、ステップS2へ進む。このステップS1は、各カメラ11からの画像(画像データ)が入力されて、その各画像(画像データ)を制御部12が取得する。
ステップS2は、クレーン車1が走行姿勢モードMdであるか否かを判断し、YESの場合はステップS3へ進み、NOの場合はステップS7へ進む。このステップS2は、情報取得部15を介してモード情報を取得し、クレーン車1が走行モードにおける走行姿勢モードMd(走行姿勢Dp)であるか反転姿勢モードMr(反転姿勢Rp)であるかの別を判断する。ステップS1は、実施例2では、クレーン車1において、シフトスイッチが前進、中立、後退とされている際に、走行姿勢Dpであると走行姿勢モードMdであると判断し、反転姿勢Rpであると反転姿勢モードMrであると判断する。
ステップS3は、走行姿勢Dpに適合する各カメラ11からの画像と各領域Aとの対応関係を設定して、ステップS4へ進む。このステップS3は、走行姿勢Dpすなわち走行姿勢モードMdに適合させて、前方カメラ11Fからの画像を正面領域Afに、後方カメラ11Bからの画像を背面領域Abに、右方カメラ11Rからの画像を右方領域Arに、左方カメラ11Lからの画像を左方領域Alに、それぞれ対応させる。
ステップS4は、走行俯瞰画像Pdを生成して、ステップS5へ進む。このステップS4は、上述したように制御部12の画像処理部17が、ステップS3で設定した対応関係に基づいて、走行体2の周辺を示しかつ当該走行体2が存在する領域の画像情報が欠落した俯瞰画像Pとしての走行俯瞰画像Pd(その画像データ)を生成する。
ステップS5は、走行姿勢Dpに対応する作業車両標識Mを走行俯瞰画像Pdに重畳させて、ステップS6へ進む。このステップS5は、上述したように制御部12の画像処理部17が、走行姿勢Dp(走行姿勢モードMd)に対応する作業車両標識M、すなわち走行体標識部M2の前側と旋回台標識部M3の正面側とを一致させた作業車両標識Mを走行俯瞰画像Pdに重畳(その画像データを生成)する。
ステップS6は、作業車両標識Mを重畳させた走行俯瞰画像Pdを表示部13に表示させて、ステップS11へ進む。このステップS6は、制御部12が、上述したようにステップS4、S5で画像処理部17が生成し走行姿勢モードMdに対応する作業車両標識Mを重畳した走行俯瞰画像Pd(その画像データ)を、表示部13に表示させる(図5参照)。また、ステップS6は、走行姿勢モードMd(走行姿勢Dp)である旨を標示する姿勢標識Spを、走行俯瞰画像Pdとともに表示部13に表示させる(図5参照)。
ステップS7は、反転姿勢Rpに適合する各カメラ11からの画像と各領域Aとの対応関係を設定して、ステップS8へ進む。このステップS7は、反転姿勢Rpすなわち反転姿勢モードMrに適合させて、後方カメラ11Bからの画像を正面領域Afに、前方カメラ11Fからの画像を背面領域Abに、右方カメラ11Rからの画像を右方領域Arに、左方カメラ11Lからの画像を左方領域Alに、それぞれ対応させる。
ステップS8は、反転俯瞰画像Prを生成して、ステップS9へ進む。このステップS8は、上述したように制御部12の画像処理部17が、ステップS7で設定した対応関係に基づいて、走行体2の周辺を示しかつ当該走行体2が存在する領域の画像情報が欠落した俯瞰画像Pとしての反転俯瞰画像Pr(その画像データ)を生成する。
ステップS9は、反転姿勢Rpに対応する作業車両標識Mを反転俯瞰画像Prに重畳させて、ステップS10へ進む。このステップS9は、上述したように制御部12の画像処理部17が、反転姿勢Rp(反転姿勢モードMr)に対応する作業車両標識M、すなわち走行体標識部M2の後側と旋回台標識部M3の正面側とを一致させた作業車両標識Mを反転俯瞰画像Prに重畳(その画像データを生成)する。
ステップS10は、作業車両標識Mを重畳させた反転俯瞰画像Prを表示部13に表示させて、ステップS11へ進む。このステップS10では、制御部12が、上述したようにステップS8、S9で画像処理部17が生成し反転姿勢モードMrに対応する作業車両標識Mを重畳した反転俯瞰画像Pr(その画像データ)を、表示部13に表示させる(図6参照)。また、ステップS10は、反転姿勢モードMr(反転姿勢Rp)である旨を標示する姿勢標識Spを、反転俯瞰画像Prとともに表示部13に表示させる(図6参照)。
ステップS11は、この俯瞰画像表示処理を終了するか否かを判断し、YESの場合は俯瞰画像表示処理を終了し、NOの場合はステップS1へ戻る。このステップS11は、表示部13に走行俯瞰画像Pdまたは反転俯瞰画像Prを表示させた後なので、制御部12が俯瞰画像表示処理を終了するか否かのすなわち表示部13での各俯瞰画像Pの表示を止めるか否かを判断する。この判断は、例えば、クレーン車1の走行モードが継続されていると俯瞰画像表示処理を続け、走行モードが終了(実施例1では、クレーン車1のシフトスイッチが前進、中立、後退から他の状態とされる)すると俯瞰画像表示処理を終了することが挙げられる。また、この判断は、例えば、操作部14の操作に基づいて行ってもよく、俯瞰画像システム10の電源が切られることやクレーン車1のエンジンが停止されることで行ってもよい。
次に、実施例1の俯瞰画像システム10の動作について説明する。俯瞰画像システム10は、俯瞰画像表示処理を実行する状態とされ、クレーン車1が走行姿勢Dp(走行姿勢モードMd)とされると、図7のフローチャートでステップS1→S2→S3へと進むことで、各カメラ11からの画像と各領域Aとを走行姿勢モードMd(走行姿勢Dp)に応じた対応関係とする。そして、図7のフローチャートでステップS4→S5→S6へと進むことで、走行俯瞰画像Pdを生成し、そこに走行姿勢モードMdに対応する作業車両標識Mを重畳させ、その走行俯瞰画像Pdを表示部13に表示させる(図5参照)。
また、俯瞰画像システム10は、俯瞰画像表示処理を実行する状態とされ、クレーン車1が反転姿勢Rp(反転姿勢モードMr)とされると、図7のフローチャートでステップS1→S2→S7へと進むことで、各カメラ11からの画像と各領域Aとを反転姿勢モードMr(反転姿勢Rp)に応じた対応関係とする。そして、図7のフローチャートでステップS8→S9→S10へと進むことで、反転俯瞰画像Prを生成し、そこに反転姿勢モードMrに対応する作業車両標識Mを重畳させ、その反転俯瞰画像Prを表示部13に表示させる(図6参照)。
そして、俯瞰画像システム10は、上記したことを、図7のフローチャートのステップS11で、俯瞰画像表示処理を終了すると判断するまで継続する。これにより、俯瞰画像システム10は、クレーン車1の走行モードの種類に応じた周辺の各俯瞰画像Pを、表示部13を介して作業者にリアルタイムで呈示する。また、俯瞰画像システム10は、クレーン車1の走行モードの種類に応じて、各俯瞰画像Pに重畳する作業車両標識Mの態様を変化させるので、実際のクレーン車1を俯瞰した状態に近い状態の各俯瞰画像Pを作業者に呈示する。さらに、俯瞰画像システム10は、各俯瞰画像Pとともに姿勢標識Spを表示部13に表示させるので、各俯瞰画像Pを見ている作業者が走行姿勢モードMdであるか反転姿勢モードMrであるかの別を認識できる。
上記した構成であるため、本発明に係る俯瞰画像システムの一実施例としての俯瞰画像システム10は、以下の各作用効果を得られる。
俯瞰画像システム10は、走行姿勢Dp(走行姿勢モードMd)において、前方カメラ11Fからの画像を正面領域Afに、後方カメラ11Bからの画像を背面領域Abに、右方カメラ11Rからの画像を右方領域Arに、左方カメラ11Lからの画像を左方領域Alに、それぞれ用いて走行体2の周辺の画像である走行俯瞰画像Pd(俯瞰画像P)を生成する。このため、俯瞰画像システム10は、走行姿勢Dpにおける走行体2の周辺の画像である走行俯瞰画像Pdを適切に生成して作業者に呈示できる。
また、俯瞰画像システム10は、走行体2に設けた前方カメラ11Fおよび後方カメラ11Bと、旋回台3に設けた右方カメラ11Rおよび左方カメラ11Lと、を用いて走行体2の周辺の画像である走行俯瞰画像Pd(俯瞰画像P)を生成する。このため、俯瞰画像システム10は、右方カメラ11Rおよび左方カメラ11Lの設置位置を前方カメラ11Fおよび後方カメラ11Bよりも高くすることができ、走行体2が前後(車両進行方向)に長尺であるにも拘らず当該走行体2の両側の領域の画像を、それぞれ1台のカメラで取得できる。これにより、俯瞰画像システム10は、4つのカメラ11からの画像を用いることで、前後(車両進行方向)に長尺な走行体2の周辺の全周に亘る画像である走行俯瞰画像Pdを適切に生成して作業者に呈示できる。
さらに、俯瞰画像システム10は、反転姿勢Rp(反転姿勢モードMr)において、後方カメラ11Bからの画像を正面領域Afに、前方カメラ11Fからの画像を背面領域Abに、右方カメラ11Rからの画像を右方領域Arに、左方カメラ11Lからの画像を左方領域Alに、それぞれ用いて走行体2の周辺の画像である反転俯瞰画像Pr(俯瞰画像P)を生成する。このため、俯瞰画像システム10は、反転姿勢Rpにおける走行体2の周辺の画像である反転俯瞰画像Prを適切に生成して作業者に呈示できる。ここで、俯瞰画像システム10は、4つのカメラ11で長尺な走行体2の周辺の全周に亘る画像を適切に生成すべく、前方カメラ11Fおよび後方カメラ11Bを走行体2に設け、かつ右方カメラ11Rおよび左方カメラ11Lを旋回台3に設けている。このため、俯瞰画像システム10は、クレーン車1が走行姿勢Dpである場合と反転姿勢Rpである場合とで、各カメラ11が取得する画像と各領域Aとの関係性が変化してしまう。そして、俯瞰画像システム10は、各カメラ11が取得する画像と各領域Aとの対応関係を、走行姿勢Dpと反転姿勢Rpとのそれぞれに合わせて変化させるので、クレーン車1の走行モードの種類に拘わらず走行体2の周辺の各俯瞰画像Pを適切に生成できる。加えて、俯瞰画像システム10は、各カメラ11が取得する画像と各領域Aとの対応関係を走行モードの種類に応じて変化させるだけなので、簡易な構成で走行俯瞰画像Pdおよび反転俯瞰画像Prを適切に生成できる。
俯瞰画像システム10は、各俯瞰画像Pにおける正面領域Afを表示部13の上側に位置させて、その各俯瞰画像Pを表示部13に表示させる。このため、俯瞰画像システム10は、キャビン5から見て正面となる正面領域Afを、表示部13の上側に位置して表示させるので、呈示した各俯瞰画像Pをキャビン5の中に居る作業者の感覚に一致させることができ、走行体2の周辺の視認を容易にできる。
俯瞰画像システム10は、各俯瞰画像Pとともに姿勢標識Spを表示部13に表示させるので、各俯瞰画像Pを見ている作業者にクレーン車1が走行姿勢Dp(走行姿勢モードMd)であるか反転姿勢Rp(反転姿勢モードMr)であるかの別を認識させることができる。このため、俯瞰画像システム10は、各俯瞰画像Pを見ている作業者が走行姿勢Dpであるか反転姿勢Rpであるかの別が判らなくなることに起因して不測の事態が生じることを防止でき、より安全に寄与できる。
俯瞰画像システム10は、走行俯瞰画像Pdには走行体標識部M2の前側と旋回台標識部M3の正面側とを一致させた作業車両標識Mを重畳し、反転俯瞰画像Prには走行体標識部M2の後側と旋回台標識部M3の正面側とを一致させた作業車両標識Mを重畳する。このため、俯瞰画像システム10は、クレーン車1の走行モードでの種類に応じて生成した各俯瞰画像Pに重畳する作業車両標識Mを、当該種類における実際のクレーン車1を俯瞰した状態に近いものにできる。すなわち、俯瞰画像システム10は、走行俯瞰画像Pdが走行姿勢Dpにおける走行体2の、反転俯瞰画像Prが反転姿勢Rpにおける走行体2の、それぞれの周辺を示すので、走行俯瞰画像Pdに走行姿勢Dpを示す作業車両標識Mを、反転俯瞰画像Prに反転姿勢Rpを示す作業車両標識Mを、それぞれ重畳することで、走行モードでの種類に応じた実際のクレーン車1の周囲を俯瞰した状態に近いものにできる。このため、俯瞰画像システム10は、作業者が違和感を覚えることなく走行体2の周辺の状況の容易なかつ適切な把握を可能とする各俯瞰画像Pを呈示できる。
したがって、本発明に係る俯瞰画像システムの一実施例としての俯瞰画像システム10では、旋回台3が設けられた走行体2において、走行姿勢Dpと反転姿勢Rpとの双方において走行体2の周辺の視認を全周に亘り可能とできる。
以上、本発明の俯瞰画像システムを実施例1に基づき説明してきたが、具体的な構成については実施例1に限られるものではなく、本発明の要旨を逸脱しない限り、設計の変更や追加等は許容される。また、構成部材の数、位置、形状等は実施例に限定されず、本発明を実施する上で好適な数、位置、形状等にできる。
なお、上記した実施例1では本発明に係る俯瞰画像システムの一実施例としての俯瞰画像システム10について説明したが、走行体に旋回可能な旋回台が設けられた作業車両の周辺画像を取得する複数のカメラと、前記各カメラで取得した画像に基づく俯瞰画像を表示する表示部と、前記俯瞰画像を生成して前記表示部に表示させる制御部と、を備え、前記各カメラは、前記走行体における前進側で前記走行体に設けられた前方カメラと、前記走行体における後退側で前記走行体に設けられた後方カメラと、前記旋回台に設けられたキャビンにおける右側で前記旋回台に設けられた右方カメラと、前記キャビンにおける左側で前記旋回台に設けられた左方カメラと、で構成され、前記制御部は、前記作業車両が前記走行体の前進側と前記キャビンの正面側とが一致された走行姿勢とされると、前記キャビンを基準として、正面側の正面領域に前記前方カメラで取得した画像を、背面側の背面領域に前記後方カメラで取得した画像を、右側の右方領域に前記右方カメラで取得した画像を、左側の左方領域に前記左方カメラで取得した画像を、それぞれ用いて上方の仮想視点から見下ろした画像に変換し繋ぎ合わせて前記俯瞰画像を生成し、前記作業車両が前記走行姿勢から前記旋回台を半回転させた反転姿勢とされると、前記正面領域に前記後方カメラで取得した画像を、前記背面領域に前記前方カメラで取得した画像を、前記右方領域に前記右方カメラで取得した画像を、前記左方領域に前記左方カメラで取得した画像を、それぞれ用いて上方の仮想視点から見下ろした画像に変換し繋ぎ合わせて前記俯瞰画像を生成する俯瞰画像システムであればよく、上記した実施例1に限定されない。
また、上記した実施例1では俯瞰画像システム10を用いる作業車両としてクレーン車1を示していたが、走行体(2)に旋回可能な旋回台(3)が設けられた作業車両であれば、他の構成の作業車両でもよく、上記した実施例1に限定されない。
さらに、上記した実施例1では図5または図6に示すように各俯瞰画像Pに作業車両標識Mを重畳させていたが、各カメラ11の設置位置によっては作業車両標識Mが各俯瞰画像Pを部分的に隠してしまう場合がある。その各俯瞰画像Pを隠す箇所としては、例えば、図5および図6に示す点線囲んだブーム7の先端箇所が該当する。このため、俯瞰画像システム10では、各俯瞰画像Pを全周に亘り切れ目なく視認させるべく、これらの隠す箇所を半透明化または非表示とした作業車両標識Mを各俯瞰画像Pに重畳させてもよい。このことは、各俯瞰画像Pにおける隠す箇所の表示を加工することで実行できる。