JP5995899B2 - 自走式産業機械の画像処理装置 - Google Patents

Description

本発明は、自走式産業機械に設けられ、この自走式産業機械に設置したカメラにより周囲の観察を行うに適した信号処理を行うようにした自走式産業機械の画像処理装置に関するものである。

自走式産業機械として、鉱山で稼働するダンプトラックがあるが、この鉱山用のダンプトラックは、例えば油圧ショベル等の作業機械で掘削した土砂等を運搬する運搬機械として用いられる。掘削現場で掘削された土砂等はベッセルに積載して運搬され、所定の位置でこの積載物は放土される。通常、ダンプトラックが稼働する現場は不整地であり、周囲には岩石等の固定的な障害物や作業者，他の車両等の可動障害物が存在するものである。特に鉱山用のダンプトラックは大型のものであり、運転室は車両の高所に設けられ、しかもダンプトラックの周囲には、塵埃が飛散するために、運転者の目視だけでは、周囲の状況を十分に確認できない場合がある。

一般に、車両の周囲状況の確認を図る上でカメラによるアシスト機構を設けるようにしたものは、特許文献１にもあるように、従来から知られている。この特許文献１の装置では、２台のカメラを車両に搭載することによって、前方の障害物の距離及び相対速度を検出するようにしている。また、白線検知手段も設けられており、この白線検知手段は道路に設けた白線を検知するようになし、もって車両の進行方向における障害物の有無を検知する構成としている。

前述した特許文献１では、舗装された道路を走行する車両を対象としている。しかしながら、鉱山等のように不整地を走行するダンプトラック等の産業機械からなる車両にあっては、その走行経路に岩石等を含む様々な障害物が存在しており、塵埃等により見通しの悪い環境下で稼働するのが一般的である。従って、カメラで周囲を撮影することにより周囲の監視を行うことは、周囲の状況を確認しながら運転する上で重要である。このように、カメラで撮影した周囲の状況を運転室内に設けたモニタに表示することによって、運転者はこのモニタを介して周囲の状況を、充分に確認することができる。

モニタに表示される画像は車両の周囲の状況を明確に、しかも正確に表示していなければならない。自走式産業機械が稼働する作業現場、特に鉱山にあっては、カメラで撮影するのに必ずしも有利な条件とは言えない。カメラは外部に露出しており、このカメラを装着した部位の近傍には砂塵が飛散している状況があり、カメラのレンズ面への付着物により鮮明な画像が得られないことが多い。また、車両の走行中にはカメラのレンズ面に何らかの物体が衝突したりして、損傷を来すこともある。

特許文献２では、このようなカメラのレンズ面への付着物や傷があったことを検出する機能を持たせるようにしたものが開示されている。この特許文献２では、時間的に隔てて撮影した画像の濃度を比較することによって、カメラの入射面に設けたレンズやカバーガラスの汚れや傷を検出するようにしている。

特開２００１−１９９２６０号公報 特開２００３−２５９３５号公報

鉱山用のダンプトラック等の車両の走行を、周囲の状況を充分に確認しながら行うための周囲監視装置においては、モニタに表示される映像は、まず正確な映像が表示されていなければならない。特に、ダンプトラックの走行方向に障害物や作業員等といった物的及び人的な障害対象については正確な表示が必要である。ただし、走行方向に何らかの物体が存在していても、ダンプトラックの走行に支障を来さないものであれば、車両の走行時における障害物ではないので、表示することは運転者にとってかえって混乱を生じることになり、むしろ表示しない方が運転者にとって望ましいこともある。

カメラは車両に装着され、野外で走行する間に周囲の映像を取得するものである。従って、映像は天候の影響を受け、また周囲が塵埃等により視界が悪くなることもあり、さらに太陽光の方向や状態によっては、カメラの映像に物体等の影が映し出され、またカメラに入射する光の関係から、映像にハレーションやゴースト等が映り込むことがある。しかも、カメラの入射面に泥土や虫等の異物、さらには雨水などの水滴が付着する可能性もある。その結果、車両の走行方向において、障害物が存在しないにも拘わらず、偽の障害情報が表示される等、障害物の存在についての誤認を生じさせるおそれがあり、監視方式としての信頼性が十分得られるものではない。

本発明は、以上の点に鑑みてなされたものであって、その目的とするところは、自走式産業機械の周囲において、偽障害情報を排除して、稼働上報知すべき障害物を表示できる精度の高い監視画面を得ることにある。

以上の課題を解決するため、本発明の自走式産業機械の画像処理装置は、自走式産業機械に設けた撮影装置と、前記撮影装置で撮影した画像データを処理する画像処理装置と、前記画像処理装置で処理された画像データを表示する表示装置とを備え、前記画像処理装置は、画像データを構成する各画素の輝度差を測定して、前記輝度差が、予め設定した所定値以下の画素で構成される領域を非エッジ画素領域として、前記輝度差が前記所定値以上の画素で構成される領域をエッジ画素領域として、さらに前記非エッジ画素領域の内、所定の輝度範囲を有するものを異常領域として、各々検出する画像データ領域検出部と、前記画像データ領域検出部が検出した前記異常領域以外の非エッジ画素領域を障害物であるか否かを判定する障害物判定部とを備える自走式産業機械の画像処理装置とを備える構成としたことをその特徴とするものである。

自走式産業機械が稼働する領域は、舗装されておらず、不整地である作業現場であるのが一般的である。この自走式産業機械が意図しない障害等に妨げられずに稼働、もしくは走行できるかについて、撮像装置を構成するカメラからの映像に基づいて判定する。つまり、走行を不能、もしくは注意しながら走行する必要があるような障害、岩石やその他の物体からなり、固定的に存在する固定的障害が存在するか否か、作業員や車両等といった移動する可動的障害が位置しているか否かをカメラで取得した映像に基づいて判定する。

自走式産業機械の稼働範囲、走行車両であって、その走行方向の領域をカメラで撮影したときに、走行可能な地面であるか、地面上に存在する物体である障害物（人を含む）であるかの判定を行う。このために、映像取得時に、カメラのＣＣＤ等からなる撮像部を構成する各画素の輝度を比較する。比較は、具体的には画像データにおいて、所定の画素（中心画素）とその周囲の画素（周辺画素）との輝度差を検出する。不整地であることから、地面上に特定の物体が存在しない車両の走行が可能な平坦な地面であっても、微小な凹凸による輝度差が現れる。この輝度差はあるパターンを持っており、無数の点、もしくは線からなるエッジ画素の集合体、すなわちエッジ画素領域となる。一方、物体像においては、その境界は周囲との輝度差が生じるためにエッジが生じるが、このエッジで囲われた内部は輝度差が限りなく小さいため、輝度差の少ない画素、すなわち非エッジ画素の集合体である非エッジ画素領域となる。以上のことから、基本的には、エッジ画素領域は地面として認識され、非エッジ画素領域は物体像として認識されるものである。

画像データには泥などの付着物や物体の影も表示され、これらの付着物や影は物体像であると誤認されないようにする。付着物や影は輝度差が限りなく小さく、非エッジ画素領域に含まれるが、輝度が通常の物体像と比較し低いことから、所定値を予め設定し、その所定値より輝度が低ければ、異常低輝度領域として物体と付着物、もしくは影とを識別する。

また、異なるタイミングで取得した画像データを比較して、この非エッジ画素領域が画像データから消失、もしくは移動しているか否かを判別することで、例えば泥がカメラ画像に固定付着しており、運転手にカメラレンズの洗浄を報知したりすることが可能となる一方、虫などが一時的に付着したものについては報知しなくて済むので、運転手に煩わしさを与えない。

さらに、映像は主に野外で撮影したものであるから、太陽光の影響を受ける。カメラに直射日光が入射することがあり、また物体からの反射光であっても、輝度が極めて高いこともある。また、雨水などがカメラ入射面に付着した水滴も輝度が高いこともある。これら直射日光や反射光、さらに水滴も輝度差は限りなく小さく、非エッジ画素領域に含まれるが、輝度が通常の物体像と比較し高いことから、所定値を予め設定し、その所定値より輝度が高ければ、異常高輝度領域として物体と直射日光等を識別する。

画像データの全体において、中心画素とその周囲画素とを設定して、中心画素と周辺画素との輝度差が所定値以上の場合には、強調するようにして輝度差を鮮鋭化させる。これによって、エッジ画素領域は輪郭が強調される。

ここで、映像は車両の周囲の状況を確認するためのものであり、自走式産業機械が運搬機械としてのダンプトラックであるか、油圧ショベル等の作業を行う作業機械であるかによって、車両の周囲に位置する物体が車両の動作に対して注意を払うべきであるか否かは異なるものとなり、また対象となる物体のサイズや形状によって稼働の障害となるか否かが決定される。例えば、車両の動作に支障を来す可能性の高い物体像は、運転手に報知する必要があり、その物体像にマーキング表示等をすることができる。

一方、支障を来す可能性のない程度にサイズの小さい物体は、運転者に報知する必要がないだけでなく、むしろ報知する方が運転者にとって注意が散漫になることもある。このために、映像上に表示されている物体像であっても、所定の大きさ以下であればマーキングなどをせずに表示することができる。

本発明は、自走式産業機械の周囲において、障害物ではない偽障害情報の映り込みを排除して、稼動上報知すべき障害物を表示でき、精度の高い監視画像を得て車両を操作する運転者に周囲の状況を的確に認識させることができる。

ダンプトラックの上面図である。 ダンプトラックの側面図である。 画像処理装置の構成を示すブロック図である。 画像処理装置の動作を示すフローチャートである。 ダンプトラックの影とレンズ付着物による異常領域を含む画像データを示す説明図である。 非エッジ画素領域を示す説明図である。 異常輝度領域を示す説明図である。 異常領域抽出を説明する図の内の一つで、図６の非エッジ画素領域を示す図である。 異常領域抽出を説明する図の内の一つで、図７の異常輝度領域を示す図である。 異常領域抽出を説明する図の内の一つで、図８Ａの非エッジ画素領域と図８Ｂの異常輝度領域とを重畳させた結果に基づいて異常領域抽出を説明する図である。 異常領域の連続判定を説明する図の内の一つで、図７の異常輝度領域を示す図である。 異常領域の連続判定を説明する図の内の一つで、図９Ａとは異なるタイミングで取得した異常輝度領域を示す図である。 異常領域の連続判定を説明する図の内の一つで、図９Ａと図９Ｂとを比較した結果に基づいた連続判定を示す図である。 マスク画像データを示す説明図である。 注目領域における移動物体の判別原理を示す説明図である。 注目領域、検索領域、さらに比較領域との関係を示す図である。 注目領域と検索領域との対比手順を示すものであり、比較領域が移動する開始状態を示す図である。 注目領域と検索領域との対比手順を示すものであり、比較領域がＸ方向に画素１ピッチ分移動した状態を示す図である。 注目領域と検索領域との対比手順を示すものであり、比較領域がＸ方向に全画素分移動後、Ｙ方向に画素１ピッチ分移動した状態を示す図である。 注目領域と検索領域との対比手順を示すものであり、比較領域がＸ方向、Ｙ方向、各々の方向の全画素分移動した最終状態を示す図である。 障害物が支障となる大きさか否かの判別を説明する図である。 モニタに表示した画像の一例を示す説明図である。 別の異常領域の処理を説明する図の内の一つで、ダンプトラックの影と直射日光や水滴による異常領域を含む画像データを示す説明図である。 別の異常領域の処理を説明する図の内の一つで、非エッジ画素領域を示す説明図である。 別の異常領域の処理を説明する図の内の一つで、異常輝度領域を示す説明図である。 別の異常領域の処理を説明する図の内の一つで、図１５Ｂと図１５Ｃとを重複させた結果から、異常抽出を示す図である。 モニタに表示した画像の別の例を示す説明図である。 俯瞰画像で表示した画像の一例を示す説明図である。

以下、図面を参照して、本発明の実施形態について説明する。ここでは、自走式産業機械として、鉱山において、鉱石を運搬する運搬車両としてのダンプトラックに適用したものとして説明する。ただし、自走式産業機械はこの種のダンプトラックに限定されるものではなく、下部走行体を有する作業機械としての油圧ショベル等の建設機械にも適用できる。ダンプトラックとしてはリジットタイプとアーティキュレートタイプとがあるが、何れを適用してもよい。要するに、所定の作業（運搬や掘削等）を行う任意の自走式産業機械に本実施の形態の画像処理装置を適用することができる。なお、以下の説明において、「左」とは運転室から見たときの左方であり、「右」とは運転室から見たときの右方である。

自走式産業機械が稼働する現場は、整地され、舗装された道路とすることを除外するものではないが、通常は、整地されておらず、地面に凹凸があり、岩石等の障害物が散在している鉱山である。本発明に係る画像処理装置は、運搬用として用いられる大型のダンプトラックにおける走行時に周囲の状況を確認するために用いられる。ダンプトラックが稼働する現場で走行する際に、その走行経路に岩石、その他の固定的な障害物が存在していたり、また人や他の車両といった可動な障害が存在していたりすると、これらを避けるようにして走行する必要がある。即ち、これらはダンプトラックの走行時における衝突を回避すべき回避対象である。なお、回避対象はダンプトラックの走行時だけでなく、放土のためにベッセルを上げ下ろしする際にも衝突を回避すべき回避対象となり、さらにダンプトラック以外の自走式産業機械における走行手段や作業機といった可動機構の動作時における衝突を回避する回避対象もある。

そこで、図１及び図２にダンプトラック１の概略構成を示す。ダンプトラック１は、車体フレーム２と前輪３（３Ｌおよび３Ｒ）と後輪４（４Ｌおよび４Ｒ）とベッセル５とが基本構成となっている。そして、このダンプトラック１には撮像装置としてのカメラ６が装着されている。カメラ６は運転室７の前方位置に設けられており、このカメラ６の視野は走行方向の前方に向けられている。そして、運転室７の内部には、画像処理装置８とモニタ９とが設けられている。なお、カメラ６の取付け位置は運転室７の前方位置に拘ることなく、ダンプトラック１の左側、右側、または後側に取付けても構わない。

車体フレーム２はダンプトラック１の本体を構成するものであり、車体フレーム２の前方に前輪３、後方に後輪４を設けている。なお、前輪３Ｒは右方の前輪３であり、前輪３Ｌは左方の前輪３である。また、後輪４Ｒは右方の後輪４であり、後輪４Ｌは左方の後輪４である。ベッセル５は荷台であり、土砂や鉱物等を積載する。ベッセル５は起伏可能に構成されている。

本実施の形態では、ダンプトラック１において、カメラ６は運転室７の前方に取り付けられている。そして、カメラ６はダンプトラック１の前方の斜め下方を俯瞰するような視野範囲ＦＡ（図中の破線の範囲）で撮影を行っている。カメラ６が撮影した映像は画像データとして画像処理装置８に出力される。なお、カメラ６の視野範囲ＦＡはダンプトラック１の前方の斜め下方には限定されない。例えば、ダンプトラック１の後方の斜め下方を撮影するようにしてもよい。これにより、ダンプトラック１を後進させるときに、後方の状況をモニタ９に表示することができる。

運転室７には運転者が搭乗してダンプトラック１を操作するために、各種の操作手段が設けられている。例えば、ダンプトラック１を前進または後進させるシフトレバー等が操作手段として設けられている。運転室７には画像処理装置８とモニタ９とが設けられており、カメラ６が撮影することにより生成される画像データは画像処理装置８において所定の画像処理が行われる。画像処理が行われた画像データはモニタ９に表示される。モニタ９は表示装置であり、基本的にモニタ９にはカメラ６が撮影する映像が表示されている。

図２においては、カメラ６による視野範囲をＦＡとするものであり、視野範囲ＦＡには前方構造物１０が含まれている。前方構造物１０はダンプトラック１の車体フレーム２の前方の構造物であり、視野範囲ＦＡの一部に前方構造物１０が含まれる。なお、図２に示した視野範囲ＦＡは一例であり、他の作業機械やサービスカー等が視野範囲ＦＡに含まれることもある。

カメラ６による視野範囲において、周囲の状況、特にダンプトラック１の走行に障害となり、固定的な障害や可動的な障害といった回避が必要となる対象の存在及びその位置をモニタ９に表示する。この対象は、画像データにおける輝度差を測定することにより特定される。このために、ダンプトラック１には図３に示した画像処理装置８を備えている。

画像処理装置８は、カメラ６による画像データにおいて、画像データのエッジ画素領域や異常輝度の領域等を検出する画像データ領域検出部を有し、画像データ領域検出部は、画像データ記憶部２１、鮮鋭化処理部２２、エッジ画素領域検出部２３、異常輝度領域検出部２４、異常領域抽出部２６および連続判定部２７を備える。即ち、画像データ記憶部２１の出力信号は、鮮鋭化処理部２２に入力され、さらにエッジ画素領域検出部２３に取り込まれる。また、画像データ記憶部２１からの出力信号は異常輝度領域検出部２４にも出力される。そして、エッジ画素領域検出部２３からの出力信号及び異常輝度領域検出部２４からの出力信号は異常領域抽出部２６に出力され、さらに異常領域抽出部２６の出力信号が連続判定部２７に出力される。そして、連続判定部２７とエッジ画素領域検出部２３との信号が障害物判定部に含まれる異常領域マスク部２８に入力されて、異常領域マスク部２８からの信号が障害物判定部に含まれる障害物検出部２９に取り込まれる。連続判定部２７には、また異常原因判別部３０が接続されており、これら障害物検出部２９と異常原因判別部３０からの出力信号が画面生成部３１に伝送されて、周囲の監視画像が生成されて、モニタ９に監視画像が表示されるようになっている。

ここで、画像処理は画像データにおける各画素の輝度差に基づいて監視対象の認識を行うものである。画像処理を行うには、各画素の輝度が映像として認識できる輝度レベル範囲であることが条件でとなる。カメラ６の撮影条件によっては、適正で、正確な画像表示ができない領域がある。この適正な画像が表示されない領域を異常領域とする。この異常領域は異常低輝度領域と異常高輝度領域とがある。異常低輝度は通常の輝度範囲より低い輝度を有するものであり、異常低輝度の画素が集合した領域が異常低輝度領域である。

適正な画像が表示されない異常低輝度領域が発生する要因には、物体の存在があるが、また周囲の可動な機械、装置の動きによる塵埃の舞い上がり、泥の飛散や、その他の異物の飛来によるカメラ６のレンズ面への付着等に起因するものもある。一方、異常高輝度領域は、太陽光や照明光を含む外光及び照り返し等の反射光を含み、またレンズ面への水滴の付着等によっても輝度の上昇がある。ここで、異常高輝度となった領域では、物体像そのものがモニタ９に表示できないか、認識不能な状態であることが表示される。

画像データ記憶部２１はカメラ６が撮影した映像を画像データとして記憶する。カメラ６による撮影で取得した画像データは画像データ記憶部２１に記憶され、最新の画像データから順番に画像データが記憶される。画像データ記憶部２１に記憶される画像データはフレーム画像であり、記憶容量の関係から、記憶可能なフレーム数には限度があり、フレーム画像の量が多くなると、最も古い画像データから順次削除される。カメラ６は所定の撮像周期で画像データを生成するが、画像データを生成するタイミングは同期的であっても、また非周期的であってもよい。

画像データ記憶部２１から出力される画像データは、監視対象を認識するためのものであるから、物体像の輪郭を強調するために、鮮鋭化処理部２２で物体像を生成することになる。

鮮鋭化処理部２２では、画像データ記憶部２１に記憶されている最新の画像データに対して、全ての画素について鮮鋭化処理を行う。この鮮鋭化処理の具体的の一例としては、後述するように、１つの画素を中心画素として、その周囲の８つの周辺画素として設定して、中心画素と周辺画素との輝度差を強調する処理である。具体的には、例えば鮮鋭化フィルタを用いたフィルタリング処理を行う等により鮮鋭化処理が実行される。

エッジ画素領域検出部２３は、最新の画像データの全ての画素についてエッジ画素を検出するものである。ダンプトラック１が走行する路面には微小な凹凸が無数の点や線状に存在しており、この微小凹凸に起因して画素間に輝度差が存在する。この輝度差がある程度生じている画素をエッジ画素とし、このエッジ画素の集合体をエッジ画素領域として認識する。つまり、エッジ画素領域とは路面の凹凸を含んでいる。この輝度差の度合いは所定の閾値を設定して、輝度差の比較を行う。このエッジ画素領域検出部２３を設けることによって、輝度差を有するエッジ画素領域を識別できる。また、所定の閾値より小さい輝度差を有する領域を非エッジ画素領域として識別する。非エッジ画素領域とは画素間の輝度差が前述の所定の閾値より小さい画素の集合体で、ダンプトラック１などの影、カメラ６に付着した泥や水滴、太陽光、照明光、同色の作業服をまとった作業員、さらに比較的表面色が同色の岩石、等である（詳しくはこれら非エッジ画素領域の外周はエッジ画素領域となる）。なお、このエッジ画素領域検出部２３を設ければ、必ずしも鮮鋭化処理部２２を設けなくても良いが、エッジ画素領域をより効率よく得るためには、鮮鋭化処理部２２とエッジ画素領域検出部２３とを設けるようにするのが望ましい。

異常輝度領域検出部２４は、最新の画像データから異常高輝度及び異常低輝度の画素を検出するものである。画素データはＸ方向（横方向）およびＹ方向（縦方向）に所定の画素数から構成されている。異常高輝度または異常低輝度の画素は、通常輝度の画素の上限値と下限値とが閾値、もしくは一つの閾値として設定されており、この閾値に基づいて異常高輝度または異常低輝度であるか否かの判定がなされる。なお、異常高輝度または異常低輝度の画素の集合体を異常輝度領域として認識する。

異常領域抽出部２６においては、エッジ画素領域検出部２３で検出された非エッジ画素領域とこの異常輝度領域とが重複した画素を検出する。このように、これら非エッジ画素領域と異常輝度領域とが重なり合う画素で形成される画素領域を異常領域として抽出する。

ここで、異常領域は、障害物ではないにも拘わらず、ダンプトラック１の作動時における障害物と誤認する可能性のある偽障害情報を識別するためものである。この異常領域は偽の障害情報、つまり画像上のノイズとなる可能性があるものであって、例えば物体の影等が相当する。また、ダンプトラック１の走行等に支障を来さない程度の大きさのものについては異常領域とはしない。例えば、現場で作業する作業員の大きさ以上のものに限定する。

連続判定部２７は異常領域生成部２６で検出された異常領域のうち、一定の時間連続しているものを抽出するためのものである。時間的に異なる画像データを比較して、比較対照となる画像データにおいて、同じ座標軸上に異常領域が存在するか、またカメラ６の位置が変化したときに、異常領域が同じ位置となるか、位置が変化するかによっても、連続性の判定が可能になる。勿論、ダンプトラック１が作動中は振動が発生することから、所定の誤差を持たせるようにする。

異常領域マスク部２８には、エッジ画素領域検出部２３から出力される画像データが入力されると共に、連続判定部２７からの異常領域に関するデータが取り込まれる。そして、異常領域内に移動体が存在するか否かの検出ができない場合や、カメラ６で取得する画像データの輝度調整機能が正常に働かないことを考慮して、この異常領域マスク部２８ではエッジ画素領域検出部２３の画像データにおける異常領域をマスクする処理が行われる。そして、このように異常領域をマスクした画像データは障害物検出部２９に出力される。

障害物検出部２９では、鉱山からなる作業現場の場合には、主に作業員やサービスカーといった現場に立ち入る可能性が高い移動体を検出するようにしている。この障害物検出部２９での移動体は、画像中におけるエッジの輝度や色等により静止像として複合的に判断することもできるが、対象物の移動を検出することもできる。この移動体の検出は、後述するように、ブロックマッチングを用いることができるが、勿論これ以外の方式であっても良い。この移動体検出は、さらに画素データの各画素における輝度の空間的または時間的な勾配を検出することができ、また画像の背景の差を検出する背景差分法、時間的に異なる３フレームの画像データを用いて、２フレーム分の差分を検出するフレーム差分法等といった移動体検出方式を採用することができる。

異常原因判別部３０は、異常領域抽出部２６から異常領域に関するデータが入力され、この異常領域の輝度値の平均値を算出し、算出された輝度平均値が所定の輝度値より高い場合には、異常高輝度による映像異常として、また低い場合には、異常低輝度による映像異常として、各々判定する。ここで、このときの輝度閾値は異常輝度領域検出部２４で設定した異常高輝度及び異常低輝度のときの閾値と同じにしても良い。

画像生成部３１は画像データ記憶部２１から出力される最新の画像データに、連続判定部２７から異常領域マスク部２８及び障害物検出部２９を経た障害物の存在と、異常原因判定部３０で得られた映像異常の判定結果とを合わせて表示する。ここで、障害物の情報は、見易くするために、輪郭線を強調的に描画して表示し、異常原因判別部３０で得られた映像異常の判定情報をメッセージ等により表示する。

本実施の形態は以上の構成を有するものであり、次にダンプトラック１の周囲監視のための画像データの作成手順について説明する。ダンプトラック１が起動すると、カメラ６が前方斜め下方を視野範囲ＦＡとする撮影が行われる。このカメラ６により１フレーム分の画像データが取得される毎に画像データ記憶部２１に記憶される。ただし、必ずしも１フレーム毎に画像データ２１に記憶させるのではなく、各処理部２２〜２４、および２６〜３１に直接入力することもできる。

カメラ６で取得した画像データは、画像処理装置８によって、ダンプトラック１の稼働時における周囲状況の確認のために正確な画像をモニタ９に表示し、実際に存在しない障害物等の偽情報が表示されるのを防止するために、画像データに現れる異常領域を特定する処理が行われる。

カメラ６が作動すると、ダンプトラック１の斜め前方を視野範囲ＦＡとする撮影が行われる。ここで、カメラ６で得られる画像が図５に示したものであったとする。図５においては、画像データＰＤには領域ＴＯ１〜ＴＯ４が表示されていたとする。また、この画像データＰＤには、地面が表示されており、この地面は整地されておらず、このために、地面に凹凸が含まれている。従ってこの地面の凹凸情報をエッジ画素領域ＥＧとして示す。ここで、領域ＴＯ１は、実際にはカメラ６のレンズ面に付着した泥である。領域ＴＯ２はダンプトラック１を構成する前部構造物１０の影であり、領域ＴＯ３はたとえ物体であったとしてもダンプトラック１の走行に関しては障害とはならない小さな岩などの障害物である（以下、領域ＴＯ３を小さな岩とする）。また、領域ＴＯ４は、虫などの一時的にカメラに付着したものである。さらに、画像データＰＤには作業者像Ｍも存在している。ここで、作業者像Ｍを特定するための処理を中心として説明する。

カメラ６により得た画像データＰＤは画像データ記憶部２１に取り込まれる（ステップＳ１）。この画像データは鮮鋭化処理され（ステップＳ２）、さらにエッジ画素検出処理がなされる（ステップＳ３）。

画像データ中において、物体像の存在があると、その部位に大きな輝度差が生じる。不整地であることから、地面には多少の凹凸があり、この地面の凹凸に応じても輝度差が生じることになる。鮮鋭化処理は、前述したように、１つの画素を中心画素として、その周囲の８画素を周辺画素とした合計９画素について、中心画素と周辺画素との輝度値の差異を検出する。鮮鋭化処理ステップＳ２では物体像の有無の基準となるエッジが画像データ中に存在するか否かが判定される。その結果、画像データ上には、点や線といった面的な広がりがなく、エッジが存在するエッジ画素領域と、面的に広がりを持ち、エッジのないパターンからなる非エッジ画素領域とがより明確化される。

ステップＳ２では、周囲の画素に対し、所定値の輝度差を有する画素を検出し、その輪郭を割り出して鮮鋭化処理が行われることになる。一方、エッジ画素領域検出処理（ステップＳ３）では、エッジ画素領域と非エッジ画素領域を検出する。これらエッジ画素領域、および非エッジ画素領域を検出するときの輝度値の差異（以降、輝度差と呼ぶことがある）の閾値は任意に設定することができるが、本実施の形態においては地面に凹凸エッジが存在しているときに検出される輝度差を基準とする。鮮鋭化処理を行うことによって、輝度差を強調するようにしておくと、エッジ画素領域検出部２３がエッジ画素を検出しやすくなり、エッジ画素領域と非エッジ画素領域も検出しやすくなる。よって、前述したようにエッジ画素領域検出部２３がいかなる場合においてもエッジ画素を検出できれば、鮮鋭化処理部２２は省略できるが、確実にエッジ画素を検出するために、鮮鋭化処理部２２を設けることが望ましい。

図６はエッジ画素領域、および非エッジ画素領域を検出した画像データを示している。この図において、白い領域がエッジ画素領域、黒い領域が非エッジ画素領域であり、エッジ画素領域検出部２３では設定された輝度差の閾値に基づいてエッジ画素を検出している。なお、前述したように画面データでは地面は無数の点や線状からなるエッジ画素から構成されていることから、これらをエッジ画素領域とすることで、非エッジ画素領域をより識別し易くなる。

画像データのうち、異常輝度を有する範囲において、通常の異常高輝度より高い輝度を持つ画素と、異常低輝度より低い輝度の画素を検出する。これがステップＳ４の異常輝度領域検出処理である。図７は異常輝度画像データのうち、異常低輝度として検出された画像が示されている。図中において、領域ＴＯ１、ＴＯ２、およびＴＯ４を示す黒塗りにした部分が異常低輝度の領域を表している。なお、前述では、異常低輝度、または異常高輝度を検出するための閾値は、予め実験的に得るなどの求め方により求められる。

異常領域抽出部２６では、図８Ａで示したように、エッジ画素領域検出部２３からエッジ画素領域および非エッジ画素領域の画像データが入力され、また図８Ｂで示した異常輝度領域検出部２４から異常輝度領域の画像データが入力される。エッジ画素領域および非エッジ画素領域の画像データと異常輝度領域の画像データとは同じ画素数で、対応する位置の画素を有していることから、ステップＳ５において、エッジ画素領域および非エッジ画素領域の画像データと異常輝度領域の画像データとの間で重複している画素領域を異常領域として検出する。

これによって、図８Ｃで示したような画像データが得られる。すなわち、この図８Ｃでは重複領域であるカメラ６に付着した泥である領域ＴＯ１や、虫など一時的にカメラ６に付着した領域ＴＯ４、さらにダンプトラック１の影である領域ＴＯ２が異常領域であることを示す。

なお、異常領域抽出部２６のステップ５の処理では、異常領域の大きさを測定し、所定の大きさを有する領域であれば、異常領域であると認識する機能を追加することも可能である。その一例として、領域ＴＯ１、およびＴＯ２より小さい図示しない泥がカメラ６に付着していた場合、異常領域抽出部２６にて領域ＴＯ１、ＴＯ４、および小さい泥、の各大きさを測定し、所定の大きさを有する領域ＴＯ１、およびＴＯ４を異常領域と認識し、一方、所定の大きさを有さない小さい泥を異常領域から除外し、ステップ７以降でそれを反映させる。ここで大きさとはその物体の距離と、その物体が画面上で占める画素数から求める面積のことで、距離は公知のカメラの透視投影モデルを用いて、画像中の座標から実空間上の位置を幾何学的に推定でき、画素数は図示しないカウンタで計測し、各々の結果から求める。この結果、ダンプトラック１の運転手が作業上、作業員等の注意すべき最小限の大きさより大きいものを異常領域として抽出するため、モニタ９へ表示する際の運転手に対する情報量を必要最小限とすることができる。

異常領域抽出部２６で抽出された異常領域の内、それが可動なものか否かを連続判定部２７にて判別する。即ち、連続判定部２７のステップ６の処理では、図９Ａで示した過去の異常領域を示す画像データと、図９Ｂで示した最新の異常領域を示す画像データとを比較して、前後の画像データの差分を求めることによって、異常領域が可動なものであるか否かの判定を行う。これによって、図９Ｃで示した連続判定後の異常領域の画像データが得られる。なお、前述した通り、領域ＴＯ４が虫等のカメラ６に一時的に付着したものであり、また、最新の異常領域を示す画像データでは領域ＴＯ４がカメラ６から消えていたため、図９Ｃでは領域ＴＯ４が可動なものと判定され、表示されなかったことを示している。ここで、過去の異常領域の画像データと最新の異常領域の画像データとの比較構成の一例を示すと、連続判定部２７では図示しない記憶装置を別途備え、例えば、１もしくは複数周期前の異常領域の画像データを記憶するようにし、最新の異常領域の画像データが入力される毎に比較することが挙げられる。

連続判定部２７にて得られた異常領域の画像データと、それに対応するエッジ画素領域検出部２３からの画像データとを基に、異常領域マスク部２８で画像データＰＤにおける異常領域以外を検知対象とするため、エッジ画素領域検出部２３で得られた画像データに異常領域の画像データで示された異常領域をマスクしたマスク画像データを作成する（ステップＳ７）。図１０に示すような領域ＴＯ３、および作業員像Ｍをマスクせず、領域ＴＯ１である泥をマスクしたマスク領域ＭＡＳＫ１と、領域ＴＯ２である影をマスクしたマスク領域ＭＡＳＫ２とをマスクしたマスク画像データが得られ、このマスク画像データは障害物検出部２９に入力される。

障害物検出部２９では異常領域マスク部２８から入力したマスク画像データから、マスクされた異常領域以外の非エッジ画素領域を障害物として検出する。なお、本発明の実施形態では作業員等は静止していると仮定しているが、作業員は基本的に動く可能性のある移動体であるため、移動体も障害物として検出すべきである。この場合は、障害物検出部２９では、異常領域マスク部２８から１または複数周期前の画像データと最新の画像データとを障害物検出部２９に有する図示しない記憶装置により保持することによって、移動体の領域を検出することができる（ステップ８）。この移動体検出を図１１Ａ，図１１Ｂに示すブロックマッチング検出手法で説明する。図１１Ａに示すに、所定数の画素を注目領域ＮＡとして抽出する。ここで、図１１Ａ，図１１Ｂの手法では、Ｘ，Ｙ方向に各４画素、合計１６画素を注目領域ＮＡとして設定している。ただし、これは１つの例であって、抽出する画素数は任意である。そして、１周期を経た最新のフレーム画像において、図１１Ｂに示した注目領域ＮＡより広い検索範囲ＳＡを設定する。ここで、検索範囲ＳＡは比較領域を限定するためのものであって図１１Ｂでは８×８画素としている。

前述した２つの画像データにおいて、同じ位置の画像データの比較を行う。即ち、１周期前の画像データと最新の画像データとを座標上で同じ位置の画素を比較領域ＣＡとして、この比較領域ＣＡと注目領域ＮＡとの間で輝度値を比較して、その差分を演算する。具体的には、所定の位置関係にある注目領域ＮＡと比較領域ＣＡとの平均輝度値を比較して、誤差が所定の値以内であれば、動きがないと判断する。両領域ＮＡ，ＣＡ間に輝度差があると、図１２Ａ，図１２Ｂ，図１２Ｃ，図１２Ｄに矢印で示す順に検索領域ＣＡをＸ方向（及びＹ方向）に画素１ピッチ分ずらせて同様の比較を行う。そして、検索範囲ＳＡ全体にわたって輝度差の比較を行った結果、その値が最も大きい部位を求め、これが一定時間内での移動する物体の動き量とする。

さらに障害物検出部２９では前述した異常領域抽出部２６と同様、所定の大きさを有しない障害物を検出対象から除外できる。障害物検出部２９は、作業員像Ｍと領域ＴＯ３である小さな岩の大きさを各々求め、作業員像Ｍは所定の大きさを有しており障害物検出の対象としているが、小さな岩は所定の大きさより小さいため、障害物の検出対象にはならないと判断する。図１３にて領域ＴＯ３である小さな岩を破線で囲ったのは、障害物検出対象でないことを示している。

異常原因判別部３０では、連続判定部２７を介して異常領域抽出部２６からの異常領域の輝度情報を基に、ステップ９にて、異常領域が異常低輝度、もしくは異常高輝度であったかを判別し異常原因情報として、異常領域情報とともに画面作成部３１に出力する。

画面作成部３１では、ステップ１０において、画像データ記憶部２１より画像データＰＤを入力し、その画像データ上に、障害物検出部２９よりダンプトラック１の運転手に報知すべき障害物情報と、異常原因判別部３０から異常原因情報とを付加し、モニタ９へ出力する。即ち、本発明の実施形態では障害物検出部２９からの障害物情報は作業員であることから、作業員像Ｍを強調するマーキングを付加し、また、異常原因判別部３０からの異常領域情報から異常領域を明確化し、さらに異常原因情報が異常低輝度としていることから、その原因がカメラ６に付着した泥である可能性があり、カメラ６のレンズ点検を促すメッセージを付加する。

モニタ９ではステップ１１にて、画面作成部３１からの画面データＰＤを入力し、付加表示する。図１４はその一例であり、マーキングＭＡ１、ＭＡ２は異常領域である領域ＴＯ１、およびＴＯ２に、マーキングＭＡ３は障害物である作業員に、さらにメッセージＭＥ１は異常原因情報に基づき、各々付加表示している。モニタ９にて表示後はリターンで開始に戻る。なお、この制御は一定間隔毎に行っていることを想定している。

ここで、カメラ６による撮影時に、輝度が高すぎて、正確な画像表示ができないことがある。例えば、図１５Ａに示したように、カメラ６への強い入射光により画素が飽和したか、または飽和に近い状態で正確な映像が表示されない画像不明確領域ＬＩである。また、カメラ６のレンズ面への付着物としては、泥や虫等といった不透明のものに限らず、水滴等のように透明度を有するものもある。水滴等の付着によっては、視野の妨げとはならないが、図１５Ａに示したように、この水滴付着箇所ＤＷの部位は歪んだ像となり、正確な画像情報ではなくなる。この画像不明確領域ＬＩや水滴ＤＷが存在していた場合にも、その存在を運転者に認識可能な状態で表示される。即ち、画像不明確領域Ｌｉや水滴ＤＷ、さらにはダンプトラック１の影である領域ＴＯ２を含む画像データは図１５Ａで示したものとなり、この画像データを基に、図４で示したステップ２，３を行い、図１５Ｂに示すようにエッジ画素領域および非エッジ画素領域を検出し、図４で示したステップ４を行い、図１５Ｃに示すように異常輝度領域を検出し、これらから図４で示したステップ５およびステップ６を行い、図１５Ｄに示すように異常領域の画像データが得られる。

この異常領域の画像データは、図４で示したステップ７からステップ１０を行い、ステップ１１を介してモニタ９に表示される。図１６は図１４と同様に、画像不明確領域Ｌｉ、水滴ＤＷ、ダンプトラック１の影である領域ＴＯ２、作業員像ＭにマーキングＭＡ１〜ＭＡ４、およびメッセージＭＥ１を付加したモニタ９の表示画面を示す。

前述した実施の形態では、ダンプトラック１の稼働に障害となる可能性のある障害物の検出を画像データにおける各画素の輝度を検出し、異常輝度領域に基づいて、運転手に報知すべき障害物であるかどうかの判定を行い、表示するようにしているため、障害物ではない偽の情報、つまり映り込みを排除して、稼働上報知すべき障害物を表示でき、高い監視画面を得て、車両を操作する運転者に周囲の状況を的確に認識させることができる。

なお、前述した実施の形態においては、カメラ６をダンプトラック１における運転室７の前方に設けて、その走行方向前方の映像を取得するものとしたが、ダンプトラック１の左右後の４方向にもカメラ６を取り付けて周囲画像を得ることもできる。図１７は４方向に取り付けたカメラ６からの画像を図示しない俯瞰画像変換装置で俯瞰画像に変換し、前述と同様の処理を行い、前方カメラ６に付着した泥である領域ＴＯ１、ダンプトラック１の影である領域ＴＯ２、作業員像ＭとにマーキングＭＡ１〜ＭＡ３、およびメッセージＭＥ１表示したものである。このように本発明は俯瞰画像にしても前述の実施形態と同様に表示でき、さらに同様の効果を得ることができる。

１ ダンプトラック
６ カメラ
７ 運転室
８ 画像処理装置
９ モニタ
２１ 画像データ記憶部
２２ 鮮鋭化処理部
２３ エッジ画素領域検出部
２４ 異常輝度領域検出部
２６ 異常領域抽出部
２７ 連続判定部
２８ 異常領域マスク部
２９ 障害物検出部
３０ 異常原因判別部
３１ 画面作成部

Claims (4)

1. 自走式産業機械に設けた撮影装置と、
   前記撮影装置で撮影した画像データを処理する画像処理装置と、
   前記画像処理装置で処理された画像データを表示する表示装置とを備え、
   前記画像処理装置は、画像データを構成する各画素の輝度差を測定して、前記輝度差が、予め設定した所定値以下の画素で構成される領域を非エッジ画素領域として、前記輝度差が前記所定値以上の画素で構成される領域をエッジ画素領域として、さらに前記非エッジ画素領域の内、所定の輝度範囲を有するものを異常領域として、各々検出する画像データ領域検出部と、
   前記画像データ領域検出部が検出した前記異常領域以外の非エッジ画素領域を障害物であるかを判定する障害物判定部とを備える自走式産業機械の画像処理装置。
2. 前記画像データ領域検出部は、画像データを構成する撮像装置の画素について、中心画素とこの中心画素の周囲の周辺画素との輝度差を比較することによって、前記エッジ画素領域の輪郭を鮮鋭化する構成としたことを特徴とする請求項１記載の自走式産業機械の画像処理装置。
3. 前記画像データ領域検出部では、異なるタイミングで取得した画像データを比較し、重複位置のずれを検出することによって、可動な物体を検出する構成としたことを特徴とする請求項１記載の自走式産業機械の画像処理装置。
4. 前記障害物判定部により障害物であると判定された像の認識用のマークを表示する構成としたことを特徴とする請求項１記載の自走式産業機械の画像処理装置。