JP6167042B2 - 自走式産業機械の周囲監視装置 - Google Patents

Description

本発明は、自走式産業機械において、作業の安全確保や作業の効率化等のために、周囲を監視するために設けられる周囲監視装置に関するものである。

様々な種類の自走式産業機械が開発され、実用化されている。例えば、土砂を掘削するために油圧ショベルを稼働させ、また掘削した土砂を運搬するためにダンプトラックが用いられる。これら各種の自走式産業機械において、その周囲に人や物が位置していると、作動時に機械の構成部と接触し、または衝突するおそれがあるために、機械を操作するオペレータは、機械の周囲の安全を確保する必要がある。オペレータは機械の運転室に着座して操作を行う関係から、オペレータが運転席に着座した状態で、前方視野は確保される。運転室の左右両側については、サイドミラーが設けられて、これらの方向の監視もある程度は可能である。さらに、バックミラーを介することにより運転室の後方の確認も可能な構成となっている。

例えば、ダンプトラックは土砂等を積載して走行するものであり、安全確認のためには、少なくとも走行方向の視野が良好でなければならない。ダンプトラックの走行方向としては、前進だけでなく、後進も行われることはもとより、曲り方向の走行もある。従って、走行方向における視野の確保が要求され、視野角はあまり広角にする必要はないが、走行速度との関係で、ある程度は遠方まで見通せるようになっていなければならない。

また、他の自走式産業機械としての油圧ショベルは、自走可能であるが、走行速度は低速である。そして、油圧ショベルは、その車体として、通常、クローラ式の走行手段を有する下部走行体と、この下部走行体の上に設置した上部旋回体とから構成される。上部旋回体は下部走行体に対して３６０度旋回可能となっており、作業手段は上部旋回体に設けられている。従って、周囲の安全を確認するためには、上部旋回体が旋回することから視野角は全周、即ち３６０度とし、また作業手段は伸縮することから、車体から安全確認のための監視対象までの距離関係が重要になる。

自走式産業機械の運転室に位置するオペレータの肉眼による視野確保だけでは、周囲の安全確認のためには限界がある。そこで、自走式産業機械にカメラを設置して画像を撮影し、運転室内にモニタを設置して、カメラ画像を動画状態の映像として表示することによって、自走式産業機械の周囲監視を可能にすることは従来から知られている。また、カメラによる視野範囲は限定されていることから、オペレータの肉眼による観察範囲の死角となる箇所に複数のカメラを設置することによって、死角範囲に補助的な視野を確保することは可能である。特に、複数箇所、具体的には後方と左右の両方向の３方向を視野とし、さらには前方を含めて４方向に視野を確保するようにカメラを設ければ、自走式産業機械の全周にわたって、ほぼ死角のない状態とすることができる。

カメラは、そのレンズの光軸方向の前方に視野を有する特定の角度範囲の映像を取得でき、また遠方を見通すことが可能である。ただし、前方に向けたカメラによる画像からだけでは自走式産業機械と監視対象との距離関係を正確に把握するのが困難なことがある。カメラをある高さから斜め下方向に視野を向けて撮影し、このカメラ画像の視点変換処理を行うと、仮想視点からの画像に変換することができる。モニタにカメラ画像を表示すると、遠方まで見通す画像が得られ、また俯瞰画像をモニタに表示すると、カメラから監視対象までの距離を正確に把握することができる。カメラを斜め下方向に向けた状態で撮影すると、カメラ画像と俯瞰画像とを取得できる。このためにはカメラを斜め下方に向けることになるが、カメラを下方に向けた分だけ遠方の視野は制限される。従って、周囲監視という観点からは、カメラの傾斜角や位置、方向を調整することによって、必要とするカメラ視野が得られる。

油圧ショベルにおいて、オペレータの死角となる方向、つまり油圧ショベルの後方と、右側方とに向けた監視用のカメラを設けて、カメラ画像単独若しくはカメラ画像と俯瞰画像とを同時にモニタに上下に並べて表示するように構成したものが特許文献１に開示されている。ここで、カメラを油圧ショベルの後方に向けて配置した場合には、カメラ画像のみが表示され、またカメラを油圧ショベルの後方と、右側方とに設置されている場合には、これらのカメラから得られる２つのカメラ画像を表示され、またカメラ画像と俯瞰画像とを表示することもできるようにしている。

ここで、２台のカメラを設けている場合には、各カメラの視野範囲が表示されるようになっており、このためにモニタには油圧ショベルの平面図を表示し、かつ各カメラの視野範囲等も表示している。そのうえで、モニタには、どの画像が後方カメラで撮影した画像であるか、右側方カメラとからの画像であるかについての説明書きを表示する領域も設定されている。

国際公開ＷＯ２００６/１０６６８５号パンフレット

ところで、モニタは運転室内に設置されることから、その画面サイズは限られることになるが、周囲監視画像としての実効性を向上させるには、表示領域が限定されたモニタを有効に活用しなければならない。画像は見易く鮮明であることが必要であり、かつ画像の表示領域を広くすることが必要である。死角となる領域をなくすためには、自走式産業機械に複数のカメラを設けるが、これら各カメラで取得した映像を大きく見易い状態にして表示するためには、稼働時に、周囲を監視するために必要な映像を大きな画像として表示できるようになし、かつ複数の映像を同時に表示できるようにすることも必要である。以上のことから、モニタには映像を最大限に拡大して表示できるようになし、またモニタの表示領域を区切って、複数の映像を表示できることが必要である。また、現にモニタに表示されている映像がどのカメラから取得したものであるかをオペレータが確実に認識できるように表示しなければ、周囲監視の目的が達成できないだけでなく、混乱が生じる等といった不都合が生じることになる。

本発明は以上の点に鑑みてなされたものであって、その目的とするところは、モニタの表示領域を広く活用して、周囲監視用の映像を見易く鮮明に表示できるようになし、しかも複数からなる監視画像をどのカメラで取得したものかを正確に判断できるように表示できるようにすることにある。

前述した目的を達成するために、本発明は、自走式産業機械に複数設置されるカメラから取得されるカメラ画像に対して、表示コントローラが処理を行ってモニタに表示を行う自走式産業機械の周囲監視装置であって、前記表示コントローラは、前記各カメラ画像をそれぞれ上方視点に変換した俯瞰画像を生成する視点変換部と、複数の前記カメラ画像と複数の前記俯瞰画像とから前記モニタに表示される１または複数の画像を選択する画像選択部と、前記画像選択部で選択された画像を取得したカメラの配設位置を示すアイコンを前記画像上に合成する画像合成部と、前記画像合成部で前記アイコンを合成した前記画像を表示画像として生成する画像生成部と、を備えたものである。

自走式産業機械としては、例えばダンプトラック等のように、走行速度が速いが、監視が必要な方向は走行方向であり、必要な視野方向は限定されるものと、油圧ショベル等のように旋回し、しかも伸縮可能な作業手段を有するもののように、自走式産業機械の周囲を視野に入れ、接触や衝突を回避する必要のある対象までの距離関係の把握が重要であるが、低速で走行するために、安全確保の点からは走行方向における遠方の視野は必ずしも必要ではないものとがある。カメラ画像は走行方向において、ある程度まで遠方を視野に入れるために有用な画像であり、俯瞰画像は機械の周囲に存在する回避対象までの距離関係を把握するのに必要な画像である。そして、重要性の度合いに差があるにしても、カメラ画像と俯瞰画像との双方をモニタに表示可能とすることは、周囲監視の点からは望ましいものである。なお、本発明の周囲監視装置が設けられるのは、前述したダンプトラックや油圧ショベルに限定されるものではなく、クレーン等各種の産業機械に適用できることはいうまでもない。

機械の周囲に複数のカメラを設けるが、周囲監視装置としては、運転席からの視野が得られる前方はともかくとして、少なくとも機械の後方位置と、左右両側部の位置にカメラを設置して、運転席から死角となる範囲をなくすようにする。従って、カメラは少なくとも３箇所、前方も含めれば、４箇所に設置されることになる。また、左右のいずれかの側部または両側部にカメラを追加して、５箇所以上にカメラを配置することもできるが、あまり多数のカメラを設けることは、信号処理が複雑になるので望ましくない。従って、各カメラの視野範囲をできるだけ広くした広角レンズを用いる。また、各カメラで撮影した画像を視点変換することにより俯瞰画像を作成することから、各カメラにおけるレンズの光軸は斜め下方に向けるようにする。

モニタに表示される画像は、各カメラで撮影した画像であり、これらはカメラ画像として表示することもでき、また俯瞰画像として表示することもできる。全てのカメラ画像または全ての俯瞰画像を同一画面で表示することもできる。また、異なる配設位置のカメラ画像および俯瞰画像を同一画面で表示することもでき、同じ配設位置のカメラ画像および俯瞰画像を同一画面で表示することもできる。モニタに表示されるカメラ画像や俯瞰画像の組み合わせや個数は画像選択部によって選択することが可能である。

全てのカメラ画像を表示する場合には、各画像を並べて表示することになるが、全ての俯瞰画像を表示する場合には、各俯瞰画像は自走式産業機械を中心とした各方向の画像であることから、モニタの中央から放射状に各俯瞰画像を並べて表示するのが望ましい。そして、モニタの中央に当該自走式産業機械の画像そのものまたはそれをシンボル化した画像を配置し、各俯瞰画像をその周囲に表示すると、自走式産業機械の周囲の状況を把握する上で望ましい。

モニタには、１つのカメラで撮影したカメラ画像または俯瞰画像を単一の画像としてモニタの全面に表示することができる。これによって、モニタ画面の全面を表示領域とすることができるので、画像が拡大されて、周囲各部を大きく表示できる。また、カメラ画像または俯瞰画像を複数同時に表示することもできる。同じカメラで撮影したカメラ画像と俯瞰画像とを同時に表示することもでき、異なるカメラで撮影したカメラ画像と俯瞰画像とをモニタに表示することもできる。

モニタには表示コントローラが接続されており、表示コントローラに画像選択部を設けて、モニタに表示される画像を選択できるようにする。その方式としては、例えば各画像をスクロールするようにして表示し、関心のある画像が表示されると、それを選択するように構成することができる。また、全てのカメラ画像または全ての俯瞰画像を同一画面で表示し、それらから関心のある１または複数の画像を選択できるように設定することもできる。

全ての俯瞰画像を当該自走式産業機械の画像（或いはシンボル化した画像）を中心として表示する場合は、各々の画像とカメラの配設位置との対応関係はある程度明確になるが、それ以外の各カメラに基づく画像については、特に単一のカメラからの画像をモニタ全面に表示する場合には、自走式産業機械のどの方向の画像であるかを認識するのが困難であるか、または認識不可能となる。このために、画像の表示領域内にどの画像であるかの表示を行う。この表示は少なくとも当該自走式産業機械に配置したカメラの位置（配設位置）を示すものであり、好ましくはその時の運転席の方向も併せて表示する。アイコンは当該自走式産業機械をシンボル化した絵柄を用いるか、または当該自走式産業機械を記号化したものとすることができる。モニタに表示されているカメラの位置を他の部位と色彩を変えて表示するか、点滅させる等により他の部位と識別可能とすることができる。

モニタに複数の画像が表示されるときには、各画像にアイコンが表示される。このときに、各画像のアイコン同士が離間していると、アイコンを視認するときに、視線を大きく動かす必要があるため、視認性の点で良好ではない。そこで、各画像のアイコンをできる限り相互に近接した位置に配置する。これにより、良好な視認性で各アイコンを視認することができ、各アイコンのそれぞれの画像を直感的にオペレータに認識させることができる。従って、ユーザーフレンドリーな態様で表示を行うことができる。

自走式産業機械の左側方を監視するカメラおよび右側方を監視するカメラを配置した場合には、左側方のカメラ画像を時計回りに９０度回転させ、右側方のカメラ画像を反時計回りに９０度回転させるようにする。これにより、オペレータに左右側方のカメラ画像を直感的に認識させることができる。

モニタにおける表示範囲は限られたものであり、画像が表示される部位はより広い方が望ましい。そこで、アイコンの表示は一定の時間だけとし、設定時間が経過すると、このアイコン表示を消滅させて、画面全体に画像のみを表示するように設定できる。また、必要に応じて、アイコンの再表示も可能としても良い。そして、油圧ショベルのように、下部走行体に対して上部旋回体が旋回可能な構成となっているものにあっては、アイコンとして、さらに自走式産業機械の走行方向も表示することができる。

自走式産業機械の周囲を監視するうえで、モニタの表示領域を広く活用できて、周囲監視用の映像が見易く鮮明に表示され、しかも複数からなる監視画像をどのカメラで取得したものかを混乱なく、正確に判断できるようになり、もって自走式産業機械における周囲監視機能の質的向上が図られる。

自走式産業機械の一例としての油圧ショベルの正面図である。 他の自走式産業機械としてのダンプトラックを示す正面図である。 油圧ショベル及びダンプトラックのカメラの設置箇所とそれらの光軸中心及びカメラ視野範囲を示す説明図である。 自走式産業機械の運転室の一例を示した図である。 カメラ画像から俯瞰画像に変換するための原理を示す説明図である。 作業現場における監視領域を示し、この監視領域を撮影したことによるカメラ画像及び俯瞰画像との一例を示す説明図である。 周囲監視装置の構成を示す回路構成図である。 モニタに表示されるアイコンの例を示すものである。 モニタにおける全カメラ画像表示と単一カメラ画像表示との一例を示す説明図である。 モニタにおける全俯瞰画像表示と単一俯瞰画像表示との一例を示す説明図である。 モニタに左右のカメラ画像を表示した状態を示す説明図である。 図１１において、縦横比が異なる場合の状態を示す説明図である。 モニタに２つの画像を異なる間隔で表示した状態を示す説明図である。 モニタにカメラ画像と俯瞰画像とを組み合わせて表示した状態を示す説明図である。 油圧ショベルの運転室の向きと走行方向とが異なる場合に、走行方向を示すアイコンを設けたモニタの説明図である。

以下、図面に基づいて本発明の実施の形態について説明する。まず、図１に自走式産業機械の一例としての油圧ショベルを示し、また図２には他の自走式産業機械であるダンプトラックを示す。

図１に示した油圧ショベル１は、クローラ式走行体を有する下部走行体２と、この下部走行体２に対して旋回可能に連結した上部旋回体３とを有して構成されている。上部旋回体３には、オペレータが搭乗して機械を操作するための運転室４が設置されており、また土砂の掘削等の作業を行う作業手段５が設けられている。作業手段５は、運転室４の右手において、ほぼ並ぶ位置に設けられている。さらに、上部旋回体３には、運転室４及び作業手段５の後方位置に建屋６等が設けられており、最後端部にはカウンタウエイト７が設置されている。

作業手段５は、ブーム１０、アーム１１及びフロントアタッチメントとしてのバケット１２から構成される土砂の掘削作業手段である。ブーム１０は、その基端部が上部旋回体３のフレーム３ａに連結ピンにより軸支されて俯仰動作可能となっている。ブーム１０の先端にはアーム１１が上下方向に回動可能に連結されており、さらにアーム１１の先端にはバケット１２が回動可能に連結されている。ブーム１０の俯仰動作はブームシリンダ１０ａを駆動することにより行われる。アーム１１はアームシリンダ１１ａにより、さらにバケット１２はバケットシリンダ１２ａにより駆動される。従って、作業手段５はブーム１０とアーム１１とを折り畳んで縮小した状態と、ブーム１０及びアーム１１を前方に向けて伸長させた状態とに変位可能となっている。

一方、図２に示したダンプトラック２０は、走行手段としてのタイヤ２１を取り付けたシャーシ２２を有するものであり、シャーシ２２には、その前方位置の高所に運転室２３が設けられており、オペレータはこの運転室２３内で操作を行うようになっている。シャーシ２２には、ベッセル２４が設けられており、このベッセル２４は土砂等が投入されることになる。そして、ベッセル２４は後方に向けて傾動可能となっており、これによってベッセル２４に投入された土砂等の排出を行うことができるものである。このベッセル２４を傾動させるために、シャーシ２２とベッセル２４との間には駆動用シリンダ２５及びリンク機構２６とが介装されている。

油圧ショベル１及びダンプトラック２０には、図３に示したように、複数箇所にカメラが設けられており、これらのカメラは油圧ショベル１やダンプトラック２０等の自走式産業機械（車両）の周囲を監視するために設けられている。図３（ａ）の油圧ショベル１については、後方監視用のカメラ（後方カメラ）３０Ｂと、右側方監視用の（右方カメラ）カメラ３０Ｒ及び左側方監視用の（左方カメラ）カメラ３０Ｌとを有するものであり、また前方監視用の（前方カメラ）カメラ３０Ｆも設置されている。なお、前方カメラ３０Ｆは必ずしも設ける必要はない。一方、図３（ｂ）のダンプトラック２０についても、油圧ショベル１と同様、後方監視用の（後方カメラ）カメラ３０Ｂ と、右側方監視用の（右方カメラ）カメラ３０Ｒ及び左側方監視用の（左方カメラ）カメラ３０Ｌとを有するものであり、また前方監視用の（前方カメラ）カメラ３０Ｆも設置されている。なお、以下において、前方カメラ３０Ｆ、後方カメラ３０Ｂ、右方カメラ３０Ｒ、左方カメラ３０Ｌを総称してカメラ３０とする。

図４は、自走式産業機械としてのダンプトラック２０の運転室２３の一例を示している。運転室２３にはオペレータが走行操作を行うためのハンドル３１が設けられており、また計器類等を表示するためのコンソール３２が設けられている。また、オペレータの前方の視界の妨げにならないように、ピラー３３にモニタ３４が取り付けられている。モニタ３４にはカメラ３０が撮影した画像等を表示するための画面となる画像表示部３５および表示する情報を操作するための入力部３６が設けられている。

ここで、各カメラ３０は、そのレンズの光軸方向における所定の角度範囲の画像が取得される。また、このカメラ画像に対して所定の信号処理を行って、仮想視点位置とした上方視点画像を作成することができる。即ち、図５に示したように、カメラ３０の対物レンズの光軸Ａを、地表Ｌに対して所定角度θをもった斜め下方に向けている。これを、上方位置から地表Ｌに向けて、高さＨに配置した仮想的なカメラ３０Ｖから見た俯瞰画像に座標変換することで視点変換することができる。これにより、俯瞰画像が生成される。

図６（ａ）は自走式産業機械として油圧ショベル１の後方部分を示しており、その後方に障害物として作業者Ｓ１と構築物Ｓ２とが位置しており、これら作業者Ｓ１と構築物Ｓ２とは周囲監視を行う際における監視対象である。後方カメラ３０Ｂでは、図６（ｂ）に示したカメラ画像（スルー画像）が取得される。このカメラ画像に対して、前述した視点変換処理を行うと、図６（ｃ）に示した俯瞰画像が生成される。これらの図から明らかなように、図６（ｂ）のカメラ画像では、カメラ３０Ｂの光軸方向において、遠方まで見通せる画像が得られる。一方、図６（ｃ）の俯瞰画像では、油圧ショベル１と監視対象との間の距離関係を把握できることになる。

以上のように、油圧ショベル１やダンプトラック２０等の自走式産業機械には、４箇所に各カメラ３０が設置されており、各カメラ３０が撮影した映像はカメラ画像として表示コントローラ４０に取り込まれる。図７に示したように、これらのカメラ画像は画像信号として表示コントローラ４０に取り込まれて、所定の信号処理を経てモニタ３４に表示されることになる。各カメラ３０で撮影したそれぞれのカメラ画像は、画像補正部４１に取り込まれる。この画像補正部４１では、取り込まれたカメラ画像を、カメラ光学系パラメータ等に基づいて、収差補正や、コントラスト補正、色調補正等の画像補正を行うことによって、取得した画像の画質を向上させる。

画像補正部４１が補正処理を行った各カメラ画像は、カメラ画像保持部４２および視点変換部４３に取り込まれる。そして、視点変換部４３で画像の視点が上方となるように視点変換されて、俯瞰画像が生成される。このときに、前方カメラ３０Ｆ、後方カメラ３０Ｂ、左方カメラ３０Ｌ、右方カメラ３０Ｒのそれぞれのカメラ画像ごとに俯瞰画像が生成される。生成された各俯瞰画像は俯瞰画像保持部４４に取り込まれる。さらに、表示コントローラ４０には、アイコン保持部４５が設けられている。アイコンはカメラ画像であれ、俯瞰画像であれ、各カメラ３０の配設位置を表示するシンボルであり、このアイコンをアイコン保持部４５が保持している。そして、モニタ３４に周囲監視用の画像が表示されると、この画像にアイコンが重畳するようにして表示される。

モニタ３４は画像表示部３５及び入力部３６を有するものであり、入力部３６にはスイッチ等の切換手段が設けられている。この入力部３６の入力信号は画像選択部４６に入力されて、カメラ画像保持部４２または俯瞰画像保持部４４から特定のカメラ画像または俯瞰画像が読み出されて、監視画像としてモニタ３４に表示される。このために、画像選択部４６は表示する監視画像（カメラ画像または俯瞰画像）を選択して、俯瞰画像保持部４４から俯瞰画像を読み出し、またはカメラ画像保持部４２からカメラ画像を読み出す。ここで、監視画像は１台のカメラ３０から得たものだけでなく、複数台のカメラ３０から得られた画像が含まれることもある。そして、これら画像選択部４６で選択された監視画像は、アイコン保持部４５が保持するアイコンと画像合成部４７で合成されて、表示画像生成部４８を経てモニタ３４の画像表示部３５に表示される。ここで、画像合成部４７では、表示のために選択された画像のモニタ３４における画像表示部３５での表示位置と、表示画像のサイズとが設定される。

モニタ３４には、監視画像にカメラ位置識別用のアイコンが合成される。アイコンは図８に例示したものがある。なお、アイコンの表示態様は図８に示したものにだけでなく、要は自走式産業機械の向きとカメラの位置とが表示されれば、各種の表示態様を用いることができ、画像上での自走式産業機械の向きと、カメラの位置とが明示されておれば良い。ここで、自走式産業機械の向きは運転席に着座したオペレータの前方とを整合させてある。

図８（ａ）は、カメラ画像を表示するときに合成されるアイコンｉｃ１を示している。このアイコンｉｃ１では、自走式産業機械の向きを三角形の矢印ｉｃＤで表示し、矢印ｉｃＤの周囲にカメラの数に応じた円弧を表示している。本実施の形態の場合には、矢印ｉｃＤを中心にして、その周囲に４つに分割した円弧ｉｃＢ、ｉｃＲ、ｉｃＬ、ｉｃＦからなる記号シンボルとしたアイコンｉｃ１を示している。そして、表示される画像の位置に対応するカメラ３０の配設位置を示す円弧の部位を他の円弧とは異なる色に表示している。図中では、円弧ｉｃＢが他の円弧とは異なる色であることを示すために、網掛けを施している。

従って、アイコンｉｃ１のうち、矢印ｉｃＤは前方方向表示部であり、４つの円弧ｉｃＢ、ｉｃＲ、ｉｃＬ、ｉｃＦはカメラ位置表示部となる。４つの円弧のうちカメラ３０の配設位置を示す円弧の部位は異なる色として表示するだけでなく、例えば点灯或いは点滅等をさせてもよい。また、図中に示すように、網掛けを施すようにしてもよい。要は、対象となる円弧を特定できれば、任意の表示態様を採用することができる。

また、図８（ｂ）は、俯瞰画像表示を行うときに合成されるアイコンｉｃ２を示している。同図に示したものは、自走式作業機械としてダンプトラック２０を適用し、その平面図の形状を再現したアイコンとして、シンボルｉｃＳを表示している。そして、その周囲の領域を放射状に前後左右に４つに分割して、カメラの数に応じたエリアｉｃＢ、ｉｃＲ、ｉｃＬ、ｉｃＦを設けている。そして、この場合も同様に、カメラ３０の配設位置を示すエリアの部位だけを色分けするか（図中の網掛け）、点灯或いは点滅等をさせて、他のエリアと区別できるようにする。同図（ｂ）においては、アイコンｉｃＳが前方方向表示部となり、エリアｉｃＢ、ｉｃＲ、ｉｃＬ、ｉｃＦはカメラ３０の配設位置を示すカメラ位置表示部となる。

なお、カメラ画像を表示するときに図８（ｂ）のアイコンｉｃ２を合成してもよいし、俯瞰画像を表示するときに図８（ａ）のアイコンｉｃ１を合成してもよい。要は、何れのアイコンを用いるとしても、自走式産業機械の向きとカメラの配設位置とが表示されれば、任意の表示態様を用いることができる。

自走式産業機械の周囲監視は、自走式産業機械の稼働領域の近くに位置する作業者等の人や、周囲に配置されている構築物等の固定的に配置されている物体や樹木、さらには他の車両等といった回避すべき監視対象と接触したり、衝突したりするのを防止するために行われるものである。このために、モニタ３４には、自走式産業機械の周囲の画像を表示するが、表示可能な画像はカメラ画像と俯瞰画像とである。カメラ画像は自走式産業機械の進行方向の情報を取得する際に用いられるものであり、自走式産業機械が高速で走行することも考慮して、回避対象がある程度遠い位置であっても、それを見通せるようにする必要がある。ただし、視野範囲は走行方向を中心として所定の角度分があれば良く、必要な視野角は限定される。一方、俯瞰画像は自走式産業機械の周囲に関する情報を取得するためのものであり、自走式産業機械と回避対象の相対位置関係が重要であり、見通す範囲は多少犠牲にしても、この位置関係を重視する。

自走式産業機械としての油圧ショベル１では俯瞰画像が必要であり、ダンプトラック２０ではカメラ画像が重視される。ただし、油圧ショベル１でも、回避対象の画像をより鮮明に把握するために、視点変換処理を行わないカメラ画像を表示できるようにする必要がある。また、ダンプトラック２０でも、例えば走行開始前の段階では、周囲の回避対象との位置関係を知ることは重要であり、俯瞰画像を表示することも必要である。

次に、モニタ３４の画像表示部３５に表示可能な画像を以下に例示して説明する。図９には全カメラ画像が表示されている例を示している。そして、図９（ａ）で示したのは各カメラ３０で撮影した４つのカメラ画像ＴＢ、ＴＲ、ＴＬ、ＴＦをそれぞれアイコンｉｃ１と共に一括して表示している。

全カメラ画像を構成する４画像は、モニタ３４の画像表示部３５を上下及び左右に十字状に４分割して各領域に表示されるものである。そして、これら各領域に表示されているのは、各々のカメラ画像だけではなく、カメラの配設位置を識別するためのアイコンが重ね合わせて表示される。ここで、表示されるアイコンとして、図９（ａ）に示したアイコンｉｃ１が表示される場合には、各々のカメラ画像の位置に対応する位置に相当する円弧の部位が網掛けパターンで示したように、他の円弧と異なる色で色分けされている。これによって、カメラ画像とカメラ３０との位置関係に対応が取れることになり、モニタ３４を視認するオペレータの誤認識が生じるのを防止することができる。

図１０（ａ）は、俯瞰画像表示を示している。俯瞰画像表示は、ダンプトラック２０の平面図の形状を再現したキャラクタＣＲを中心として、その周囲を４つの領域に分割して、各カメラ３０で撮影した４つのカメラ画像ＴＢ、ＴＲ、ＴＬ、ＴＦを視点変換部４３で視点変換した俯瞰画像ＰＢ、ＰＲ、ＰＬ、ＰＦを表示している。これは、全俯瞰画像表示となる。キャラクタＣＲは、図８（ｂ）に示したシンボルｉｃＳと同一または近似した形状をしている。ただし、シンボルｉｃＳはあくまでもアイコンｉｃ１の一部を構成するものであることから、キャラクタＣＲはアイコンｉｃＳよりもかなり大きなものとなる。キャラクタＣＲもアイコンｉｃＳと同様に、キャラクタＣＲ自体から進行方向を認識することができる。

図９（ａ）の全カメラ画像表示から、または図１０（ａ）の全俯瞰画像表示から、いずれか１または複数の画像をモニタ３４に表示することができる。この場合、全カメラ画像には、各々の表示領域にアイコンｉｃ１を表示するが、全俯瞰画像表示の場合には、各々の表示領域に個別的にアイコンｉｃ２を表示することもできる。ただし、モニタ３４の中央部分にキャラクタＣＲを表示しておけば、各領域を色分けによる表示は必要としない。

この表示から、図９（ｂ）または図１０（ｂ）に示したように、いずれか１台のカメラ、例えば後方カメラ３０Ｂの単一カメラ画像または単一俯瞰画像を表示することができる。ここで、単一カメラ画像や単一俯瞰画像は、モニタ３４の画像表示部３５の全体に表示される。従って、画像は拡大して表示され、画像の細部まで明確に表示されることになり、周囲監視画像の質的向上が図られる。

図９（ｂ）に示す単一カメラ画像には、カメラ３０の配設位置を識別するためのアイコンｉｃ１が合成されている。このアイコンｉｃ１における円弧ｉｃＢ、ｉｃＲ、ｉｃＬ、ｉｃＦのうち、現在表示されている画像を撮影しているカメラ３０の位置に対応する円弧（後方カメラ３０Ｂが選択されている場合には、円弧ｉｃＢ）を他の円弧とは異なる色合いとしている。従って、モニタ３４を目視することによって、自走式産業機械の全体の画像や視野範囲についての説明書きが示されていなくても、運転室４から見てどの方向のカメラ画像が表示されているかを明確に認識できる。従って、余分な画像を表示する必要がなく、最大の大きさの単一カメラ画像が表示される。

また、図１０（ｂ）に示す単一俯瞰画像にも、カメラ３０の配設位置を識別するためのアイコンｉｃ２が合成されている。このアイコンｉｃ２におけるエリアｉｃＢ、ｉｃＲ、ｉｃＬ、ｉｃＦのうち、現在表示されている画像を撮影しているカメラ３０の配設位置に対応するエリア（後方カメラ３０Ｂが選択されている場合には、エリアｉｃＢ）を他とは異なる色合いとしている。これにより、運転室４から見てどの方向の俯瞰画像が表示されているかを認識することができ、最大の大きさの俯瞰画像を表示することができる。図１０（ｂ）の例では、アイコンｉｃ２を合成していたが、図７（ａ）のアイコンｉｃ１を合成してもよい。ただし、アイコンｉｃ２は俯瞰画像表示のときに合成されるものであり、アイコンｉｃ２を合成することで、表示されている画像が俯瞰画像であることを明示することになる。

単一カメラ画像や単一俯瞰画像ではなく、複数の画像を並べて画像表示部３５に表示することもできる。図１１は、左方カメラ３０Ｌおよび右方カメラ３０Ｒが撮影している２つのカメラ画像ＴＬ、ＴＲを画像表示部３５に表示した例である。左方カメラ３０のカメラ画像ＴＬ（ＴＬ画像）および右方カメラ３０のカメラ画像ＴＲ（ＴＲ画像）は、画像全体を表示してもよいが、部分的に表示するようにしてもよい。

なお、図１１では、２つのカメラ画像を表示している例を示しているが、２つの俯瞰画像を表示するようにしてもよい。例えば、左方カメラ３０のカメラ画像を視点変換した俯瞰画像と右方カメラ３０のカメラ画像を視点変換した俯瞰画像とを並列して表示するようにしてもよい。

ＴＬ画像およびＴＲ画像はそれぞれ拡大された画像になっている。これにより、単一カメラ画像よりは拡大率が低くなるが、２つの拡大されたカメラ画像を画像表示部３５に表示することができる。従って、運転室４の左右側方の視野をＴＬ画像およびＴＲ画像として画像表示部３５から認識することができる。そして、ＴＬ画像およびＴＲ画像のそれぞれに、対応するカメラ３０の配設位置を示すアイコンｉｃ１が合成されている。

ＴＬ画像のアイコンｉｃ１（以下、ＴＲ画像のアイコンｉｃ１と区別するためｉｃ１Ｌとする）は左方の視野であるため、アイコンｉｃ１Ｌのうち左側の円弧ｉｃＬが他の円弧とは色分けがされている。また、ＴＲ画像のアイコンｉｃ１（以下、ＴＬ画像のアイコンｉｃ１と区別するためｉｃ１Ｒとする）は右方の視野であるため、アイコンｉｃ１Ｒのうち右側の円弧ｉｃＲが他の円弧とは色分けがされている。これらのアイコンｉｃ１Ｌおよびｉｃ１Ｒを指標とすることで、ＴＬ画像は左方の視野の画像であり、ＴＲ画像は右方の視野の画像であることが、格別の説明書きをすることなく、一見して明瞭に把握することができる。

ところで、図１１に示すように、ＴＬ画像のアイコンｉｃ１ＬとＴＲ画像のアイコンｉｃ１Ｒとは近接した位置に配置するようにしている。つまり、ＴＬ画像のうち右端にアイコンｉｃ１Ｌを配置し、ＴＲ画像のうち左端にアイコンｉｃ１Ｒを配置している。同図では、ＴＬ画像のアイコンｉｃ１Ｌは右上の角隅部近傍に、ＴＲ画像のアイコンｉｃ１Ｒは左上の角隅部近傍に配置している。

従って、アイコンｉｃ１Ｌとアイコンｉｃ１Ｒとは近接した位置に配置される。ただし、あくまでもアイコンｉｃ１ＬはＴＬ画像の内部に、アイコンｉｃ１ＲはＴＲ画像の内部に合成される。これにより、画像表示部３５の中でアイコンｉｃ１Ｌとアイコンｉｃ１Ｒとが近接していることから、オペレータは視線を殆ど動かすことなく２つのアイコンを認識することができる。そして、ＴＬ画像は左方カメラ５０Ｌが撮影している画像であり、ＴＲ画像は右方カメラ５０Ｒが撮影している画像であることをオペレータに一見して把握させることができる。

特に、ＴＬ画像は画面の左半分に表示され、ＴＲ画像は右半分に表示される。従って、アイコンｉｃ１Ｌとアイコンｉｃ１Ｒとは画面のほぼ中央に表示される。つまり、アイコンｉｃ１Ｌとアイコンｉｃ１Ｒとを基準とし、オペレータは自身が画面中央に位置していることを準えられ、画面の左半分の画像と右半分の画像とが何れのカメラ５０の配設位置の画像であるかを直感的に認識することができる。

図１１では、２つのカメラ画像を表示した例を説明したが、図９（ａ）のように、全カメラ画像を表示する場合には、各カメラ画像のアイコンｉｃ１は相互に近接した位置、つまり画面中央に集中させるように配置する。これにより、オペレータは殆ど視線を動かすことなく、４つのアイコンｉｃ１を認識することができる。このため、４つのアイコンｉｃ１を基準として、４つのカメラ画像ＴＢ、ＴＦ、ＴＲ、ＴＬが何れのカメラ３０からの画像であるかを良好な視認性で認識することができる。

ところで、図１１において、ＴＬ画像およびＴＲ画像はそれぞれ９０度回転されている。ＴＬ画像は時計回りに９０度回転させ、ＴＲ画像は反時計回りに９０度回転させる。これにより、画像表示部３５の左半分に表示されるＴＬ画像（左方カメラ３０のカメラ画像）をオペレータが直感的に視認し易い形式で表示することができる。同様に、画像表示部３５の右半分に表示されるＴＲ画像をオペレータが直感的に視認し易い形式で表示することができる。

以上のように、複数の画像が画像表示部３５に表示される場合に、各アイコンｉｃ１を近接した位置に配置することで、オペレータの視認性は向上する。ただし、オペレータの視認性を犠牲にすることを容認すれば、アイコンｉｃ１を離間した位置に配置したとしても、本実施形態の目的を達成することはできる。つまり、各画像にカメラ３０の配設位置を示すアイコンｉｃ１を合成して表示することで、オペレータは何れのカメラ３０の画像であるかを認識することができる。

図１１では、画像表示部３５の画素数の縦横比が縦の方が大きい場合を説明したが、図１２のように画像表示部３５の画素数の縦横比が横の方が大きい場合に適用するものであってもよい。図１１および図１２では、ＴＬ画像とＴＲ画像とは画像表示部３５の表示領域を半分にしていたが、ＴＬ画像とＴＲ画像との表示領域の大きさを異なるようにしてもよい。図１３の例では、ＴＬ画像の表示領域が小さく、ＴＲ画像の表示領域が大きい場合を示している。なお、図中のＰＬ画像は左方カメラ３０Ｌによる俯瞰画像を示し、ＰＲ画像は右方カメラ３０Ｒによる俯瞰画像を示している。このときに、各円弧の部位は表示幅に対応するように変化させても良い。

複数の画像を並べて表示する場合に、３画像を並べて表示することもできる。ここで、３枚の俯瞰画像を表示する場合において、各境界部の位置を変化させることもできる。この場合も、カメラ位置識別用のアイコンｉｃ１は、各円弧の部位は表示されている幅に対応するように変化させるように設定するのが望ましい。

複数の画像を並べて表示する場合であって、カメラ画像と俯瞰画像とを混在させるようにすることもできる。例えば、図１４に示したように、後方カメラ３０Ｂと左方カメラ３０Ｌと右方カメラ３０Ｒとに基づく３つの俯瞰画像と、前方カメラ３０Ｆに基づく１つのカメラ画像とを同時にモニタ３４に表示することもできる。俯瞰画像についてはアイコンｉｃ２が１箇所に表示され、円弧ｉｃＢ、ｉｃＲ、ｉｃＬは同じ色付けがなされる。ただし、左方カメラ３０Ｌおよび右方カメラ３０Ｒによる俯瞰画像は部分的に表示されていることから、エリアｉｃＬおよびｉｃＲの全領域ではなく、部分的に表示される俯瞰画像に対応する領域のみが色付けされる。一方、カメラ画像については、前方の方向の円弧ｉｃＦのみが色付けされることになる。

ところで、ダンプトラック２０の場合には、運転室２３はシャーシ２２に対して旋回することはないので、走行時に運転室２３とシャーシ２２との位置がずれることはないが、油圧ショベル１の場合には、運転室４が設置されている上部旋回体３は下部走行体２に対して旋回可能となっている関係から、例えば下部走行体２に対して上部旋回体３を１８０度旋回した状態で運転室４内で前進用走行レバーを操作したときには、上部旋回体３の向いている方向に車体が動作せず、反対方向に動作することから、意図した方向とは異なる方向に動作することになる。

図１５は、油圧ショベル１のキャラクタＣＲを中心として、４方向の俯瞰画像ＰＦ、ＰＬ、ＰＲ、ＰＢを示しているが、画像表示部３５にアイコンｉｃ１を合成することで、矢印ｉｃＤに基づいて運転室４の方向を表示することができる。そして、油圧ショベル１を前進させたときにおける進行方向を進行方向指示用アイコンｉｃＧで表示するようにしている。これによって、オペレータは油圧ショベル１の前進操作を行ったときにおける進行方向の認識が可能になる。

前述したように、モニタ３４の画像表示部３５には、周囲監視画像だけでなく、アイコンも表示されており、アイコン表示により周囲監視画像の表示が制限されてしまう。アイコンは必ずしも常時表示する必要はなく、オペレータが必要な情報を認識すれば、非表示とすることができ、これによって周囲監視画像の制限がなくなる。このためには、オペレータによる操作でアイコンを非表示にすることができるようにするか、またはアイコンは所定の時間分だけ表示した後、表示を消滅させるようにすることもできる。

以上のように構成することによって、自走式産業機械として、油圧ショベル１やダンプトラック２０を作動させて所定の作業を行うに当って、自走式産業機械の周囲の安全確認を行うことができる。そして、自走式産業機械の稼働領域の近くに位置する作業者等の人や、周囲に配置されている構築物等の固定的に配置されている物体や樹木、他の車両等の回避すべき監視対象の存在が迅速かつ的確に認識される。その結果、それらと接触したり、衝突したりするのを防止することができ、また作業の効率化が図られる。

自走式産業機械が停止している状態から、起動させたときには、周辺監視としては、自走式産業機械の全周に、監視対象の存在の有無を確認する。そして、必要に応じて、作業者に危険を知らせ、または自走式産業機械を迂回させる等によって、走行が開始する前に危険回避動作を取るようにする。

自走式産業機械がダンプトラック２０である場合には、走行を開始することになるが、このときには走行方向の前方視野を確保する。ダンプトラック２０が前進する場合には、前方カメラ３０Ｆからのカメラ画像をモニタ３４に表示する。そして、このカメラ画像はモニタ３４の全面に表示されるようになっているから、映像が大きく拡大することになって、見易く、進行方向に関して詳細な監視画像が得られる。しかも、モニタ３４の表示には、現に表示されている画像がどのカメラ３０から取得したどの方向の画面であるかがアイコンｉｃ１で表示されているので、誤認等が生じるおそれがなく、安全な運転が可能になる。

ダンプトラック２０が後進する際や、ステアリング操作を行って曲る際には、その進行方向の画像が表示される。このためには、入力部３６の操作を行うか、またはハンドル３１や操作レバーに連動して、走行方向の画像が表示されるようにするのが望ましい。また、オペレータによるマニュアル操作で画面が切り換わるようにする際には、全カメラ画像と全俯瞰画像とを表示して、その中から選択できるようにすれば、目的とする画像を容易に選択することができる。さらに、周辺監視の目的に適う複数の画像が存在する場合にあっては、それらの画像をスクロール表示するようになし、オペレータに画像を選択させるようにすることもできる。

ダンプトラック２０の場合には、主にカメラ画像が選択されるが、微細なステアリング操作等を行う際には、一度全俯瞰画像を表示すれば、周囲の安全性確保が可能になる。そして、俯瞰画像では、視点変換処理を行っている関係から、画像そのものが多少見難いこともある。その場合には、関心のある方向のカメラ画像を単独で、または画像表示部３５を分割して俯瞰画像と共にカメラ画像を表示することもできる。

一方、自走式産業機械が油圧ショベル１である場合には、走行速度が遅いために、周囲の表示範囲はあまり広くする必要がなく、上方視点からの画像、つまり俯瞰画像が重要となる。従って、油圧ショベル１の起動時には、モニタ３４には全俯瞰画像を表示するのが望ましい。そして、モニタ３４には油圧ショベル１を中心とした所定半径の危険ゾーンマークを表示しておくようにすると、オペレータに対する注意喚起のために有利である。全俯瞰画像から、回避対象の存在を認識したときには、適宜回避行動を取るようにする。そして、モニタ３４の表示領域が限られていることから、全俯瞰画像では詳細が得られない場合や、不鮮明な表示となる場合がある。このような場合には、いずれか１乃至複数の俯瞰画像となるように拡大表示するか、または俯瞰画像に代えて、若しくは俯瞰画像と共にカメラ画像を表示するように操作することができる。勿論、このときにモニタ３４に表示されている俯瞰画像またはカメラ画像はどのカメラから得たものであるかが表示されることから、オペレータに誤認や混同等を生じるおそれはない。

以上によって、油圧ショベル１やダンプトラック２０等の自走式産業機械を操作する際において、自走式産業機械または自走式産業機械の一部が他の物体や人等に衝突し、接触することを未然に防止できるようになり、作業の安全性が著しく向上することになる。

１ 油圧ショベル
２０ ダンプトラック
３０ カメラ
３４ モニタ
３５ 画像表示部
３６ 入力部
３８ 表示画面
４０ 表示コントローラ
４１ 画像補正部
４２ カメラ画像保持部
４３ 視点変換部
４４ 俯瞰画像保持部
４５ アイコン保持部
４６ 画像選択部
４７ 画像合成部
４８ 表示画像生成部
５０ カメラ
ＣＲ キャラクタ
ｉｃ１、ｉｃ２ アイコン

Claims (2)

1. 自走式産業機械に複数設置されるカメラから取得されるカメラ画像に対して、表示コントローラが処理を行ってモニタに表示を行う自走式産業機械の周囲監視装置であって、
   前記表示コントローラは、
   前記各カメラ画像をそれぞれ上方視点に変換した俯瞰画像を生成する視点変換部と、
   複数の前記カメラ画像と複数の前記俯瞰画像とから前記モニタに表示される１または複数の画像を選択する画像選択部と、
   前記画像選択部で選択された画像を取得したカメラの配設位置を示すアイコンを前記画像上に合成する画像合成部と、
   前記画像合成部で前記アイコンを合成した前記画像を表示画像として生成する画像生成部と、
   を備え、
   前記画像選択部は、複数の画像が選択されるときには、異なる配設位置のカメラ画像と俯瞰画像とであるか、同じ配設位置のカメラ画像と俯瞰画像とであるか、全てのカメラ画像であるか、または全ての俯瞰画像であるか、若しくは任意の１乃至複数のカメラ画像と任意の１乃至複数の俯瞰画像であるかの何れかを選択することが可能であり、
   前記アイコンは、前記自走式産業機械の運転室から見て前方の向きを示す方向の前方方向表示部と、表示されている画像を撮影したカメラの位置を示すカメラ位置表示部とを備え、
   前記画像合成部は、前記モニタに複数の画像が表示されるときには、それぞれの画像のアイコン同士が相互に近接した位置に配置されるように合成を行う、
   ことを特徴とする自走式産業機械の周囲監視装置。
2. 請求項１に記載の自走式産業機械の周囲監視装置において、
   前記画像合成部は、前記自走式産業機械の左側方のカメラ画像を時計回りに９０度回転させ、右側方のカメラ画像を反時計回りに９０度回転させる、
   ことを特徴とする自走式産業機械の周囲監視装置。

Images