JP5902990B2 - 自走式産業機械の画像処理装置 - Google Patents

Description

本発明は、自走式産業機械に設けた撮影部が撮影する画像データに対して所定の画像処理を行う自走式産業機械の画像処理装置に関するものである。

自走式産業機械としてのダンプトラックは、車体のフレーム上に起伏可能とした荷台（ベッセル）を備えている。油圧ショベル等の作業機械が掘削した土砂等の運搬対象物はダンプトラックのベッセルに積載される。ベッセルに運搬対象物が積載された後に、ダンプトラックのオペレータが走行操作を行うことで、ダンプトラックが走行する。そして、所定の集積場までダンプトラックを走行した後に、ベッセルの運搬対象物の排土を行う。

ダンプトラックが停止中には格別に周囲の安全性を確認する必要はない。しかし、ダンプトラックを発進する直前には周囲の安全性を確認した後に、ダンプトラックを発進させる必要がある。特に、ダンプトラックが停止中には、作業員やサービスカーがダンプトラックに接近することがあるため、ダンプトラックの発進直前には周囲の安全性について、より高度な注意が必要になる。

このために、ダンプトラックにカメラを搭載し、カメラの映像をダンプトラックの運転室に設けたモニタに出力する。運転室に搭乗するオペレータはモニタに表示される画像を視認することにより、ダンプトラックの周囲の安全性をより詳細に確認することができる。つまり、モニタに表示される画像はオペレータによる周囲の安全性の認識をアシストする役割を果たす。

周囲の安全性を確認するのは、下部走行体を有する油圧ショベル等の建設機械においても同様であり、特許文献１では油圧ショベルにカメラを装着して、カメラの映像に基づいて、油圧ショベルの作業範囲に侵入移動体が入っているか否かを検出している。そして、所定の画像処理を行うことで、侵入移動体の距離や人体としての確信度の評価を行っている。

特開平１０−７２８５１号公報

ダンプトラックは、鉱山や建設現場等の極めて過酷な環境下で運用されるため、ダンプトラックの運転室に搭乗するオペレータの視認性を低下させる種々の要因が存在する。特に、ダンプトラックが走行する作業現場には、土煙や霧、煙、粉塵その他の塵埃が発生する場合が多い。この塵埃がオペレータの視認性を低下させる要因となる。

塵埃が発生したときには、カメラが撮影する映像にも塵埃が含まれる。このため、ダンプトラックの運転室に配備したモニタには塵埃が含まれた画像データが表示される。画像データに塵埃が含まれると、画像データは異常な画像データになる。特に、塵埃は画像データのノイズとして誤認識される可能性があり、モニタを視認することによっては、オペレータはダンプトラックの周囲の状況を性格に把握することができなくなる。

また、前述した特許文献１のように、画像データに対して所定の画像処理を行うことにより移動体を検出する場合に、移動体の検出が正確に行われなくなる。塵埃は空中の浮遊物であり、流動的に移動する。これにより、現場周辺の状況によっては、塵埃領域が流動的に移動し、この塵埃領域を障害物として誤検出することがある。これにより、塵埃領域が発生すると、正確に障害物を認識することができなくなり、ダンプトラックの周囲の状況を正確に把握することができなくなる。

そこで、本発明は、自走式産業機械に搭載した撮影部により撮影した画像データにより周囲の安全を確認するときに、塵埃が発生したとしても、周囲の状況を適切にオペレータに認識させることを目的とする。

以上の課題を解決するため、本発明の自走式産業機械の画像処理装置は、自走式産業機械に設けた撮影部が撮影した映像を画像データとして、この画像データの各画素の中から塵埃を特定するための輝度値よりも高い輝度値の画素を高輝度画素として検出する高輝度画素検出部と、前記画像データの１つの画素を中心画素として、その周囲の画素との間の輝度値の差異が地面のエッジとして検出される輝度値の差異よりも低い中心画素を非エッジ画素として検出する非エッジ画素検出部と、前記高輝度画素と前記非エッジ画素とが重複している重複画素を検出する重複画素検出部と、前記重複画素により形成される領域を重複画素領域として、この重複画素領域が前記塵埃と特定するための領域以上の大きさのときに前記重複画素領域を塵埃領域として生成する塵埃領域生成部と、前記画像データに対して前記塵埃領域を特定するように描画した画面を作成する画面作成部と、を備えている。

この自走式産業機械の画像処理装置によれば、高輝度画素と非エッジ画素とが重複している重複画素のうち所定の領域以上を塵埃領域としている。高輝度画素だけでは日照条件の変化等により塵埃の誤検出を行うことがあり、非エッジ画素だけでは地面にエッジがない場合に塵埃を検出できない。そこで、両者の重複画素領域を抽出することで、正確に塵埃領域を特定できる。これにより、自走式産業機械の周囲に発生している塵埃領域をオペレータに認識させることができ、周囲の状況を適切にオペレータに認識させることができる。

また、前記非エッジ画素検出部が前記非エッジ画素を検出する前に、前記画像データの全ての画素に対して、中心画素と周辺画素との輝度値の差異を強調する鮮鋭化処理を行う鮮鋭化処理部をさらに備えてもよい。

鮮鋭化処理を行うことで、地面のエッジがさらに際立つようになる。これにより、地面のエッジを正確に検出できるため、非エッジ画素検出部の検出精度が向上し、その結果塵埃領域を特定する精度も向上する。

また、前記画像データを記憶する画像データ記憶部に記憶され、時間的に前後する画像データの差分に基づいて移動体領域を検出する移動体領域検出部と、前記移動体領域から前記塵埃領域を除去する塵埃領域除去部と、前記塵埃領域を除去した前記移動体領域を障害物候補として、この障害物候補が障害物であると判定するために予め設定した所定の領域以上の大きさのときに、前記障害物候補を前記障害物として判定する障害物判定部と、をさらに備えてもよい。

塵埃は流動的に移動するため、移動体領域検出部が塵埃を移動体領域として検出する。このとき、移動体領域から塵埃領域を除外した障害物候補の領域が所定領域以上であるときに、障害物と特定することができる。これにより、塵埃領域以外の障害物を検出することができる。

また、前記塵埃領域の内側の全ての画素に対して、中心画素と周辺画素との輝度値の差異が障害物の境界として検出される輝度値の差異よりも高い画素を検出する塵埃領域走査部と、前記塵埃領域走査部が検出した画素により形成される領域を障害物候補として、この障害物候補が障害物であると判定するために予め設定した所定の領域以上の大きさのときに、前記障害物候補を前記障害物として判定する障害物判定部と、をさらに備えてもよい。

塵埃領域内は塵埃により地面のエッジを判別することが困難になるため、塵埃領域内に障害物が存在する場合には、その境界を容易に検出することができる。これにより、塵埃領域内における障害物の存在を容易に認識することが可能になる。

また、前記画像データを記憶する画像データ記憶部に記憶され、時間的に前後する画像データの差分に基づいて移動体の領域を検出する移動体領域検出部と、前記移動体領域から前記塵埃領域を除去する塵埃領域除去部と、前記塵埃領域の内側の全ての画素に対して、中心画素と周辺画素との輝度値の差異が障害物の境界として検出される輝度値の差異よりも高い画素を検出する塵埃領域走査部と、前記塵埃領域を除去した前記移動体領域を塵埃領域外障害物候補として、且つ前記塵埃領域走査部が検出した画素により形成される領域を塵埃領域内障害物候補として、前記塵埃領域外障害物候補と前記塵埃領域内障害物候補とが連続している連続領域が障害物であると判定するために予め設定した所定の領域以上の大きさのときに、前記連続領域を前記障害物として判定する障害物判定部と、をさらに備えてもよい。

塵埃領域の境界に障害物が存在しているとき、障害物の一部が塵埃領域内に存在し、残部が塵埃領域外に存在する。これにより、塵埃領域内の障害物候補および塵埃領域外の障害物候補は障害物と判定できる領域以上を有していないため、障害物として判定されない。そこで、両者が連続している連続領域が所定領域以上であるときに、障害物と判定することができる。

また、時間的に前後する前記障害物の画素の周囲画素が部分的に重複しているとき、または時間的に前後する前記障害物の画素の周囲画素のうち一方の周囲画素の全ての画素が他方の周囲画素の内側にあるときに、前記障害物が移動していることを認識する障害物移動認識部をさらに備えてもよい。

障害物は通常移動していることが多く、時間的に前後する障害物の画素の周囲の画素が部分的に重複しているとき、または周囲画素のうち一方の周囲画素の全ての画素が他方の周囲画素の内側にあるときに、作業員が歩行をしていること可能性が高くなる。これにより、障害物を作業員として認識することができ、自走式産業機械の周囲に作業員が存在していることを認識することができる。

また、前記画面作成部は、前記塵埃領域が発生しているときに前記塵埃領域の外郭を描画し、前記障害物が発生しているときに前記障害物の外郭を描画してもよい。

塵埃領域および障害物の外郭を画像データに重畳表示することで、表示された画像データに基づいて、オペレータは塵埃領域と障害物とを明確に認識することができる。塵埃領域の外郭と障害物の外郭とを異なる態様で描画することで、両者の区別を直感的に行うことができる。

また、好ましい自走式産業機械の画像処理方法は、自走式産業機械に設けた撮影部が撮影した映像を画像データとして入力して、前記画像データの各画素の中から塵埃を特定するための輝度値よりも高い輝度値の画素を高輝度画素として検出し、前記画像データの１つの画素を中心画素として、その周囲の画素との間の輝度値の差異が地面のエッジとして検出される輝度値の差異よりも低い中心画素を非エッジ画素として検出し、前記高輝度画素と前記非エッジ画素とが重複している重複画素を検出し、前記重複画素により形成される領域を重複画素領域として、この重複画素領域が前記塵埃と特定するための領域以上の大きさのときに前記重複画素領域を塵埃領域として生成し、前記画像データに対して前記塵埃領域を特定するように描画した画面を作成している。

本発明は、高輝度画素と非エッジ画素とが重複している画素のうち所定の領域以上を塵埃領域としている。高輝度画素だけでは日照条件の変化等により塵埃の誤検出を行うことがあり、非エッジ画素だけでは地面にエッジがない場合に塵埃を検出できない。そこで、両者の重複画素領域を抽出することで、正確に塵埃領域を特定できる。これにより、自走式産業機械の周囲に発生している塵埃領域をオペレータに認識させることができ、周囲の状況を適切にオペレータに認識させることができる。

ダンプトラックの上面図である。 ダンプトラックの側面図である。 画像処理装置の構成を示すブロック図である。 画像処理装置の動作を示すフローチャートである。 塵埃領域が含まれる画像データを示す図である。 高輝度画像データを示す図である。 鮮鋭化処理を説明するための図である。 鮮鋭化画像データを示す図である。 非エッジ画像データを示す図である。 重複画像データの生成を説明する図である。 塵埃領域画像データを示す図である。 塵埃外郭を画像データに描画した図である。 作業員が塵埃領域の外側にいるときの画像データを示す図である。 移動体領域の検出を説明する図である。 検索領域内を注目領域で検索する手法を説明する図である。 注目領域と比較領域との画素間の比較を説明する図である。 図１３の画像データに障害物外郭を描画した画像データを示す図である。 作業員が塵埃領域の内側にいるときの画像データを示す図である。 図１８の画像データに障害物外郭を描画した画像データを示す図である。 作業員が塵埃領域の境界にいるときの画像データを示す図である。 移動体領域画像データの生成を説明する図である。 塵埃領域除去画像データの生成を説明する図である。 塵埃領域走査画像データの生成を説明する図である。 障害物画像データの生成を説明する図である。 図２０の画像データに障害物外郭を描画した画像データを示す図である。 障害物の移動を認識する第１の手法を説明する図である。 障害物の移動を認識する第２の手法を説明する図である。 画面作成部のフローを説明する図である。 高輝度領域を検出する他の例を説明する図である。

以下、図面を参照して、本発明の実施形態について説明する。ここでは、運搬車両としてのダンプトラックを自走式産業機械として適用している。ただし、自走式産業機械はダンプトラックには限定されない。例えば、下部走行体を有する自走式の建設機械を自走式産業機械として適用してもよい。ダンプトラックとしてはリジットタイプとアーティキュレートタイプとがあるが、何れを適用してもよい。要は、所定の作業（運搬や掘削等）を行う任意の自走式産業機械に本実施形態の画像処理装置を適用することができる。なお、以下において、「左」とは運転室から見たときの左方であり、「右」とは運転室から見たときの右方である。

また、本実施形態における「塵埃」には、土煙や霧、煙、粉塵等のような空中の浮遊物が含まれる。この塵埃が発生すると、視界が良好でなくなる。塵埃が発生する要因としては、地面（路面）の土埃が自然的に空中に舞い上がることにより発生する場合もあり、他の車両が走行したときの風圧により土埃が空中に舞い上がることにより発生する場合もある。

図１は、本実施形態のダンプトラック１の一例を示している。ダンプトラック１は、車体フレーム２と前輪３（３Ｌおよび３Ｒ）と後輪４（４Ｌおよび４Ｒ）とベッセル５とカメラ６と運転室７と画像処理装置８とモニタ９とを備えて構成している。車体フレーム２はダンプトラック１の本体を形成するものであり、車体フレーム２の前方に前輪３、後方に後輪４を設けている。なお、前輪３Ｒは右方の前輪３であり、前輪３Ｌは左方の前輪３である。また、後輪４Ｒは右方の後輪４であり、後輪４Ｌは左方の後輪４である。ベッセル５は荷台であり、土砂や鉱物等を積載する。ベッセル５は起伏可能に構成されている。

ダンプトラック１には任意の位置に撮像部としてのカメラ６を設置することができる。図２はダンプトラック１の側面図を示しており、カメラ６は運転室７の前方に取り付けられている。そして、カメラ６はダンプトラック１の前方の斜め下方を俯瞰するような視野範囲ＡＲ（図中の破線の範囲）で撮影を行っている。カメラ６が撮影した映像は画像データとして画像処理装置８に出力される。なお、カメラ６の視野範囲ＡＲはダンプトラック１の前方の斜め下方には限定されない。例えば、ダンプトラック１の後方の斜め下方を撮影するようにしてもよい。これにより、ダンプトラック１を後進させるときに、後方の状況をモニタ９に表示することができる。

運転室７はオペレータが搭乗してダンプトラック１を操作する各種の操作手段が設けられている。例えば、ダンプトラック１を前進または後進させるシフトレバー等が操作手段として設けられている。運転室７には画像処理装置８とモニタ９とが設けられており、カメラ６が撮影することにより生成される画像データは画像処理装置８で所定の画像処理が行われる。画像処理が行われた画像データはモニタ９に表示される。モニタ９は表示装置であり、基本的にモニタ９にはカメラ６が撮影する映像が表示されている。

図２においては、視野範囲ＡＲはダンプトラック１の前方の斜め下方の領域となっており、この中に塵埃領域ＤＡと作業員Ｍとが存在している。また、視野範囲ＡＲには前方構造物１０が含まれている。前方構造物１０はダンプトラック１の車体フレーム２の前方の構造物であり、視野範囲ＡＲの一部に前方構造物１０が含まれるようになっている。なお、図２に示した視野範囲ＡＲは一例であり、他の作業機械やサービスカー等が視野範囲ＡＲに含まれることもある。

図３は画像処理装置８の構成を示している。画像処理装置８はカメラ６が撮影した画像データに対して画像処理を行う画像処理コントローラである。そして、画像処理を行った画像データをモニタ９に表示する。画像処理装置８は、画像データ記憶部２１と高輝度画素検出部２２と鮮鋭化処理部２３と非エッジ画素検出部２４と重複画素検出部２５と塵埃領域生成部２６と移動体領域検出部２７と塵埃領域除去部２８と塵埃領域走査部２９と障害物判定部３０と障害物移動認識部３１と画面作成部３２とを備えて構成している。

画像データ記憶部２１はカメラ６が撮影した映像を画像データとして記憶する。カメラ６は所定の撮像周期で画像データを画像データ記憶部２１に出力している。従って、画像データ記憶部２１には、最新の画像データから順番に時間的に古い画像データが記憶される。画像データ記憶部２１に記憶される画像データの量が多くなったときには、最も古い画像データから削除される。カメラ６は所定の撮像周期（周期）で画像データを生成するが、画像データを生成するタイミングは非周期的であってもよい。

高輝度画素検出部２２は画像データ記憶部２１に記憶されている最新の画像データの中から高輝度の画素を検出する。画像データはＸ方向（横方向）およびＹ方向（縦方向）に所定の画素数から構成されている。高輝度画素検出部２２は画像データの全ての画素について高輝度画素であるか否かを判定する。判定する対象の画素の輝度値が所定の閾値以上のときに当該画素は高輝度画素として判定される。このときの閾値は、塵埃と特定する輝度値に設定することができる。塵埃の輝度値は比較的高いため、塵埃の輝度値よりも高い輝度値の画素を高輝度画素とする。なお、塵埃と特定する閾値は任意に設定することができる。

鮮鋭化処理部２３は、最新の画像データの全ての画素について鮮鋭化処理を行う。鮮鋭化処理は１つの画素を中心画素として、その周囲の８画素を周辺画素とした合計９画素について、中心画素と周辺画素との輝度値の差異を強調する処理である。従って、輝度値の差異を強調する処理であれば任意の処理を適用できる。ここでは、後述する鮮鋭化フィルタを用いてフィルタリング処理を行い、中心画素と周辺画素との差異を強調している。

非エッジ画素検出部２４は、鮮鋭化処理された画像データの全ての画素について非エッジ画素の検出を行う。ダンプトラック１が走行する地面には凹凸のエッジが存在している。当該エッジを含む画像を撮影すると、画像データ中のエッジ部分における隣接する画素間の輝度値に比較的大きな差異を生じる。そこで、中心画素と周辺画素の輝度値の差異が所定の閾値未満のときに、エッジがないものとして検出する。逆に、輝度値の差異が所定の閾値以上のときには、エッジが存在していることになる。

非エッジ画素検出部２４が非エッジ画素を検出するときの閾値は、地面に凹凸エッジが存在しているときに検出される輝度値の差異を基準とすることができ、このときの閾値は任意に設定することができる。非エッジ画素検出部２４が非エッジ画素を検出するために、鮮鋭化処理を行っている。つまり、鮮鋭化処理を行うことで、輝度値の差異が強調されるため、非エッジ画素検出部２４が非エッジ画素を検出しやすくなる。よって、非エッジ画素検出部２４が非エッジ画素を検出できれば、鮮鋭化処理部２３は省略できるが、確実に非エッジ画素を検出するために、鮮鋭化処理部２３を設けることが望ましい。

重複画素検出部２５は高輝度画素検出部２２で検出された高輝度画素と非エッジ画素検出部２４で検出された非エッジ画素とが重複している画素を重複画素として検出する。画像データの対応する画素について、高輝度画素であり且つ非エッジ画素である画素のみを重複画素として抽出する。画像データの中の各画素が重複画素であるか否かの情報が塵埃領域生成部２６に出力される。

塵埃領域生成部２６は重複画素に基づいて、画像データ中の塵埃領域を特定する。重複画素により一定の領域が形成されるときに、当該領域を重複画素領域とする。この重複画素領域が所定の領域（面積）以上のときに、当該重複画素領域を塵埃領域として特定する。前記の所定の領域は塵埃として特定できる領域が基準となる。通常の塵埃領域はある程度の大きさの領域となっているため、重複画素領域が所定の領域以上のときに、塵埃領域を特定することができる。勿論、この所定の領域は任意の値に設定することができる。ただし、塵埃領域は少なくとも作業員よりは大きな領域とする。重複画素領域が塵埃領域であるか否かは画素数を基準としてもよいが、後述するように外接矩形を使用して特定してもよい。

移動体領域検出部２７は画像データの中の移動体領域を検出する。移動体領域は一定の領域を形成しており、時間的に異なる画像データを比較したときに、移動体領域が異なる位置に移動しているときに、当該領域を移動体領域として検出する。移動体領域の検出には任意の手法を用いることができる。本実施形態では、オプティカルフロー検出手法のブロックマッチングを用いているが、異なる時間の画像データに基づいて、所定の領域が移動していることを移動体領域として検出できるものであれば、任意の手法を用いることができる。

例えば、画像データの各画素における明るさの空間的勾配と時間的勾配の間の関係を用いて検出する勾配法を用いてもよいし、移動体領域がないときの画像データと最新の画像データとの差分を検出する背景差分法、或いは時間の異なる３枚の画像データを用いて２枚の差分画像を生成して移動体領域を検出するフレーム間差分法等の任意の手法を用いることができる。

塵埃領域除去部２８は、移動体領域検出部２７から移動体領域を入力し、塵埃領域生成部２６から塵埃領域を入力する。画像データの中で作業員のような障害物も移動体であり、塵埃領域も移動体である。そこで、塵埃領域除去部２８は移動体から塵埃領域を除去する処理を行う。塵埃領域を除去した移動体領域は障害物判定部３０に出力される。そして、障害物判定部３０において、塵埃領域を除去した移動体領域を障害物候補として障害物であるか否かが判定される。なお、この障害物候補は塵埃領域外の障害物候補となる。

塵埃領域走査部２９は、塵埃領域の内側に障害物候補が存在しているか否かを検出する。塵埃領域走査部２９は塵埃領域生成部２６より塵埃領域を入力しており、この塵埃領域の中に障害物候補が存在しているか否かを判定する。塵埃が発生すると、地面の凹凸エッジは塵埃領域に覆われる。このため、地面のエッジをほぼ判別不能となる。そのため、障害物の境界を検出しやすくなる。そこで、塵埃領域走査部２９は塵埃領域の内側の全ての画素について、中心画素と周辺画素との輝度値の差異が所定の閾値以上であるか否かを判定する。

このときの閾値は塵埃領域内の障害物の境界を検出できる輝度値の差異として設定する。勿論、この閾値は任意の値に設定できる。塵埃領域走査部２９は検出した障害物の境界の情報を障害物判定部３０に出力する。そして、障害物判定部３０において、障害物の境界により形成される領域が障害物候補として障害物であるか否かが判定される。なお、この障害物候補は塵埃領域内の障害物候補となる。

障害物判定部３０は、塵埃領域外の障害物候補、塵埃領域内の障害物候補またはその両方の障害物候補に基づいて、障害物を判定する。障害物候補は所定の領域を形成しており、障害物候補の領域が所定の閾値以上のときに障害物候補は障害物として判定される。このときの閾値は、視野範囲ＡＲのうち最も遠い場所に通常の人間が位置しているときの領域とすることができる。勿論、この閾値は任意に設定することができる。これにより、作業員を障害物として検出でき、また作業員よりも大きい他の自走式産業機械やサービスカー等も障害物として検出できる。

一方、障害物候補が塵埃領域の境界に位置しているときには、障害物候補の一部が塵埃領域外に位置しており、残部が塵埃領域内に位置している。従って、塵埃領域外の障害物候補のみでは障害物として判定されない。また、塵埃領域内の障害物候補のみでは障害物として判定されない。そこで、塵埃領域外の障害物候補と塵埃領域内の障害物候補とが連続しているときには、連続している領域を連続領域として、この連続領域が前述した閾値以上であるか否かを判定する。閾値以上であれば、当該連続領域は障害物として判定される。これにより、障害物候補が塵埃領域の境界に位置しているときの障害物の判定が行われる。

障害物移動認識部３１は、障害物が移動しているか否かを認識する。つまり、画像データの中で障害物の位置が移動しているか否かを判定する。障害物が移動しているか否かの検出は任意の手法を用いることができる。画像データは周期的に取得されることから、画像データの中で検出された障害物の位置が画像データの中で変化していれば、障害物が移動していることを認識する。

障害物移動認識部３１は主に作業員を検出する。つまり、通常の人間が歩行する速度で移動する障害物を認識する。ここでは、障害物の周囲に画素を形成して、これを周囲画素とする。障害物移動認識部３１は、２つの手法により障害物の移動を検出する。第１の手法では、時間的に前後する画像データの中で障害物の画素の周囲の画素（周囲画素）が部分的に重複しているときに、障害物の移動を検出する。また、第２の手法では、時間的に前後する画像データのうち一方の周囲画素の全ての画素が他方の周囲画素の内側にあるときに、障害物の移動を検出する。障害物移動認識部３１は、第１の手法と第２の手法との何れか一方のみを行う機能を有していてもよいし、両者を行う機能を有していてもよい。これにより、作業員が歩行により移動していることを検出することができる。

画面作成部３２は、画像データ記憶部２１に記憶されている最新の画像データをモニタ９に表示する画面を作成する。画面作成部３２には塵埃領域生成部２６から塵埃領域が入力され、障害物判定部３０から障害物が入力される。画面作成部３２は、画像データに塵埃領域や障害物を特定する描画する画像処理を行う。ここでは、画面作成部３２は塵埃領域や障害物に外郭を描画する処理を行う。この画像処理を行った画像データを表示画面として作成し、モニタ９に出力する。モニタ９は入力した表示画面を表示する。なお、画面作成部３２は、塵埃領域と障害物との何れか一方のみに外郭を描画してもよい。

以上が構成である。次に、動作について説明する。カメラ６はダンプトラック１の前方の斜め下方を視野範囲ＡＲとして撮影を行っている。カメラ６には所定の撮像周期（フレーム／秒）が存在し、撮像周期ごとに１フレーム分の画像データを画像データ記憶部２１に出力する。従って、カメラ６からは、撮像周期に依存した転送周期で画像データが画像データ記憶部２１に記憶される。なお、カメラ６が撮影した画像データは直接的に高輝度画素検出部２２と鮮鋭化処理部２３と画面作成部３２とに入力してもよい。つまり、カメラ６から直接的に入力した画像データに基づいて、高輝度画素検出部２２と鮮鋭化処理部２３と画面作成部３２とは、それぞれの処理を行うことが可能である。

前述したように、移動体領域検出部２７は移動体領域を検出する。このとき、カメラ６の撮像周期が高速であると、移動体領域が移動しているとしても、殆ど移動していないように認識される。このため、移動体領域として検出されなくなる。逆に、撮像周期が低速であると、移動体領域が高速に移動しているように認識される。この場合も、移動体領域として検出されなくなる。そこで、撮像周期が高速の場合には、最新の画像データと複数周期前の画像データとを用い、撮像周期が低速の場合には、最新の画像データと１周期前の画像データとを用いて処理を行う。これにより、時系列の繋がりを確保する。

最初に、画像データの中の塵埃領域を特定する処理について、図４のフローチャートを参照して説明する。カメラ６は所定の撮像周期で画像データを画像データ記憶部２１に出力しており、画像データ記憶部２１は最新の画像データを記憶する。図５は画像データ（ＰＤとする）の一例を示している。ダンプトラック１の周辺には塵埃が発生しており、画像データＰＤの中に塵埃領域ＤＡが含まれている。ただし、この時点では、塵埃領域ＤＡが塵埃であるとは特定されていない。

画像データＰＤには、他に地面の凹凸のエッジＥＧが含まれており、またダンプトラック１の前方構造物１０が映し出されている。前方構造物１０が画像データＰＤに映し出されているのは、カメラ６が前方の斜め下方を俯瞰的に撮影しており、視野範囲ＡＲに前方構造物１０の一部が含まれているためである。画像データ記憶部２１には最新の画像データＰＤが記憶されており、高輝度画素検出部２２は最新の画像データＰＤを取得する（ステップＳ１）。なお、高輝度画素検出部２２にはカメラ６から直接的に画像データＰＤを入力させるようにしてもよい。

高輝度画素検出部２２は、画像データの全ての画素に対して塵埃と特定できる輝度値よりも高い輝度値を持つ画素を検出する（ステップＳ２）。図６は画像データＰＤから高輝度画素を検出した高輝度画像データを示している。図６の高輝度画像データのうち黒い部分は高輝度画素として検出された画素である。この高輝度画像データは重複画素検出部２５に入力される。

図６に示す高輝度画像データには一定の領域が形成される。これを高輝度領域とする。この高輝度領域は図５に示した塵埃領域ＤＡに近い領域となっている。これは、塵埃領域ＤＡの輝度値が高いため、高輝度領域として検出されるためである。ただし、高輝度領域だけでは、日照条件や照明条件等により、塵埃領域ＤＡ以外を高輝度領域として検出する可能性がある。また、本来は高輝度画素として検出される画素が検出されなくなる可能性がある。従って、高輝度領域のみによって、塵埃領域ＤＡを特定しない。

次に、鮮鋭化処理部２３は画像データ記憶部２１から画像データＰＤを読み出す。鮮鋭化処理部２３は画像データＰＤの全ての画素に対して鮮鋭化処理を行う（ステップＳ３）。鮮鋭化処理部２３が行う鮮鋭化処理は、図７に示す鮮鋭化フィルタを用いて行う。同図に示すように、鮮鋭化フィルタは中心画素とその周囲の８画素の周辺画素とにより構成されている。中心画素は＋Ｋ（Ｋは１以上の整数）、周辺画素は−Ｌ（Ｌは１以上の整数）の値となっている。

鮮鋭化フィルタを用いて最新の画像データＰＤの全てに画素についてフィルタリング処理を行う。このフィルタリング処理を行うことで、画像データＰＤの中心画素の輝度値に＋Ｋの値が乗算され、周辺画素の８画素にそれぞれ対応する画素に−Ｌの値が乗算される。そして、乗算後の中心画素の輝度値に乗算後の周辺画素の輝度値を加算する。この加算した結果が鮮鋭化値となる。この鮮鋭化値は中心画素の輝度値を示している。

これにより、図８に示すような鮮鋭化画像データが得られる。鮮鋭化画像データは画像データＰＤに対して鮮鋭化処理を行った画像データであり、隣接する画素間に輝度値の差異を強調している。このため、図８に示すように、塵埃領域ＤＡの境界とエッジＥＧとが強調された画像データになっている。

鮮鋭化処理は地面のエッジＥＧを強調するための処理である。地面の凹凸のエッジＥＧがある部分は画像データＰＤの中で輝度値にある程度の差異を生じる。そこで、鮮鋭化処理を行うことで、地面のエッジＥＧがより強調されて検出される。従って、鮮鋭化フィルタのフィルタ係数ＫおよびＬはエッジＥＧが画像データＰＤの中で強調して出現されるような値に設定する。この鮮鋭化画像データが非エッジ画素検出部２４に出力される。

非エッジ画素検出部２４は鮮鋭化画像データの全ての画素について非エッジ画素の検出を行う（ステップＳ４）。鮮鋭化画像データはエッジＥＧが強調された画像になっている。そこで、非エッジ画素検出部２４はエッジＥＧを除外した画像を非エッジ画像データとして生成する。図９は非エッジ画像データを示している。図９の非エッジ画像データのうち、黒い画素が非エッジ画素として検出された画素である。

非エッジ画素検出部２４は、エッジＥＧを除外した画像を生成するために、隣接する画素間の輝度値の差異が所定の閾値未満の画素を非エッジ画素として検出する。このときの閾値は、前述したようにエッジＥＧがあるときの輝度値の差異を基準とすることができる。従って、図８ではエッジＥＧが存在していた部分は非エッジ画素としては検出されず、エッジＥＧが存在していない部分が非エッジ画素として検出される。これが、図９に示す非エッジ画像データである。

ここでは、エッジＥＧを判定するために、中心画素の輝度値を８画素の周辺画素の輝度値の平均値で微分を行い、微分値が所定の閾値よりも小さい場合に、中心画素を非エッジ画素として判定する。このときの閾値はエッジＥＧがあるときの微分値を基準とすることができる。これにより、隣接する画素間の輝度値の差異に基づいて、非エッジ画素を検出することができる。勿論、輝度値の差異に基づいてエッジでない画素を検出する手法であれば任意の手法を用いることができる。

前述したように、鮮鋭化処理により、画像データＰＤの中でエッジＥＧが強調された鮮鋭化画像データに基づいて、非エッジ画像データを生成している。従って、エッジＥＧの部分の輝度値の差異は明確になっているため、非エッジ画素を検出する精度が飛躍的に向上する。これにより、図９のように、エッジＥＧを除外した非エッジ画像データを生成することができる。なお、同図の非エッジ画像データに示すように、塵埃領域ＤＡの境界部分についても、輝度値の差異が大きいため、非エッジ画素としては検出されていない。

重複画素検出部２５は、高輝度画素検出部２２から高輝度画像データを入力し、非エッジ画素検出部２４から非エッジ画像データを入力する。高輝度画像データも非エッジ画像データも画像データＰＤに基づいて作成されている。よって、高輝度画像データと非エッジ画像データとは同じ画素数を有しており、各画素が対応している。重複画素検出部２５は高輝度画素と非エッジ画素とが重複している画素を重複画素としている（ステップＳ５）。つまり、重複画素は高輝度画素であり、且つ非エッジ画素の画素となる。

図１０は、重複画素検出処理を示している。図６に示した高輝度画素（黒い画素）と図９に示した非エッジ画素（黒い画素）とが重複している画素を重複画素として検出している。図１０に示すように、重複画素により一定の領域が形成される。この領域を重複画素領域とする。重複画素領域は高輝度領域とほぼ近い形状をしている。この重複画素領域を含む重複画像データが塵埃領域生成部２６に入力される。

塵埃領域生成部２６は、重複画素領域に基づいて塵埃領域ＤＡを特定する。このために、重複画素領域が所定の領域以上のときに、当該重複画素領域を塵埃領域ＤＡとして判定する（ステップＳ６）。塵埃領域ＤＡはある程度の大きさを有しているため、小さい領域は塵埃領域ＤＡとは判定しない。少なくとも、作業員と同程度の大きさの領域は塵埃領域ＤＡとして判定しない。これにより、重複画素領域から塵埃領域ＤＡを特定することができる。塵埃領域ＤＡが特定された画像データを塵埃領域画像データとする。

重複画素領域の面積の判定の手法は任意の手法を用いることができる。単純に、画素数の比較を行ってもよい。つまり、重複画素領域の画素数が所定の画素数以上のときに、当該重複画素領域を塵埃領域ＤＡとして特定することができる。このときの所定の画素数は塵埃領域ＤＡを特定する面積の画素数とすることができる。

また、図１１に示すように、外接矩形を用いて判定を行ってもよい。重複画素領域に外接矩形（図中の破線）を形成し、外接矩形が所定の閾値以上の重複画素領域を塵埃領域ＤＡとしてもよい。前記の閾値としては、視野範囲ＡＲの最も遠い場所に通常の大きさの人間が位置しているときの画素数（障害物画素数）を基準とすることができる。この障害物画素数は、障害物を検出できる最大距離、カメラ６の取り付け高さ・俯角、カメラ６の画素数と画角との情報に基づいて、画像データＰＤの障害物が前記の最大距離の位置に存在するときの画素数とすることができる。

塵埃領域ＤＡは少なくとも人間よりもサイズが大きいため、障害物画素数よりも画素数が大きな重複画素領域を塵埃領域ＤＡとすることができる。外接矩形を形成した画像データを外接矩形画像データとして、障害物画素数を基準として塵埃領域ＤＡを特定した画像データが塵埃領域画像データとなる。

ところで、重複画素領域は基本的には高輝度領域に近い領域であり、高輝度画素と非エッジ画素とが重複している領域となっている。塵埃は輝度が高いため、高輝度画素として検出される。このため、前述したように、高輝度領域は塵埃領域ＤＡと近い領域になっている。ただし、日照条件や照明条件等によっては、塵埃領域ＤＡを正確に検出することができない。従って、高輝度領域のみによっては塵埃領域ＤＡを特定しない。

そこで、非エッジ画素検出部２４で非エッジ画素を検出し、高輝度画素と非エッジ画素とが重複（共通）している画素を重複画素として、重複画素により形成される重複画素領域のみを塵埃領域の候補としている。カメラ６の視野範囲ＡＲに塵埃領域ＤＡが発生すると、地面は塵埃に覆われ、地面を認識することが殆どできなくなる。このため、塵埃領域ＤＡでは地面の凹凸のエッジＥＧは検出されなくなる。その性質を利用して、重複画素領域は高輝度画素と非エッジ画素とが重複している領域としている。

従って、塵埃領域ＤＡは、高輝度画素だけでなく、非エッジ画素を満たすことを条件としている。つまり、高輝度画素と非エッジ画素との両方の条件を具備した画素のみを重複画素としているため、正確に塵埃領域ＤＡを検出することができる。そして、塵埃領域ＤＡは狭小な領域ではなく、比較的広範な領域となる。従って、塵埃領域ＤＡとして特定できる領域以上の重複画素領域を塵埃領域ＤＡとすることで、塵埃領域ＤＡの検出精度はさらに向上する。以上により、塵埃領域生成部２６は画像データＰＤの中で塵埃領域ＤＡを生成する。塵埃領域ＤＡを特定した塵埃領域画像データは画面作成部３２に出力される。

画面作成部３２には画像データ記憶部２１から最新の画像データＰＤが入力されている。つまり、カメラ６が撮影した画像データＰＤが画面作成部３２に入力される。画面作成部３２には塵埃領域画像データが入力されている。この塵埃領域画像データはもともと画像データＰＤに基づいて生成されたものであるから、画像データＰＤと対応している。そこで、塵埃領域画像データの塵埃領域ＤＡの境界部分を画像データＰＤに描画する。

図１２は画像データＰＤ中に塵埃領域ＤＡの境界部分を外郭として描画している。この外郭は塵埃外郭４１となる。つまり、塵埃外郭４１で囲まれた領域が塵埃領域ＤＡとなる。画面作成部３２は画像データＰＤに塵埃外郭４１を描画した画面を作成する（ステップＳ７）。そして、モニタ９に作成された画面を出力する。モニタ９は入力した画面を表示する（ステップＳ８）。

運転室７に搭乗するオペレータは、モニタ９に表示されている画像データＰＤに塵埃外郭４１で囲まれた塵埃領域ＤＡを視認することで、塵埃外郭４１で囲まれた領域は塵埃領域ＤＡであることを一見して把握することができる。これにより、ダンプトラック１の前方に塵埃領域ＤＡが発生していることをオペレータに認識させることができる。塵埃領域ＤＡの中ではオペレータの視界は良好でなくなるため、オペレータに塵埃領域ＤＡが発生していることの注意喚起を行うことができる。これにより、ダンプトラック１の周囲の状況を正確に認識することができる。

塵埃領域ＤＡは流動的に移動するため、塵埃外郭４１で囲まれた塵埃領域ＤＡは刻々と移動する。ただし、塵埃領域ＤＡは塵埃の領域であることが明確に認識されるため、塵埃領域ＤＡが他の障害物（例えば、作業員や作業機械、サービスカー等）と認識されることはない。従って、塵埃領域ＤＡと障害物とを明確に区別することができる。

画像処理により移動体領域を検出して障害物を検出する場合には、塵埃領域ＤＡも障害物として検出される。従って、画像処理を行うことにより移動体領域を障害物として検出する場合には、塵埃領域も移動体領域に含まれることから、正確に障害物を検出できなくなる。そこで、塵埃領域ＤＡを明確に特定することで、障害物と塵埃領域ＤＡとを区別することができ、画像処理により正確な障害物の検出を行うことができる。

また、塵埃が発生している場合には、モニタ９に塵埃を含んだ画像データが表示される。塵埃を含んだ画像データはノイズとして誤認識されやすく、異常な画像データとなる。しかし、塵埃領域ＤＡを特定して塵埃外郭４１で囲うように描画することで、画像データには塵埃領域ＤＡが含まれており、ノイズを生じた異常な画像データでないことを、オペレータは一見して把握することができる。

なお、図２の例では、画像データＰＤにダンプトラック１の前方構造物１０の一部が含まれるようにカメラ６の視野範囲ＡＲを設定している。これにより、画像データＰＤには前方構造物１０が表示され、且つ塵埃領域ＤＡの塵埃外郭４１も描画されている。従って、オペレータはモニタ９を視認することで、前方構造物１０と塵埃領域ＤＡとの距離感を認識することができる。

次に、画像データＰＤの中に障害物が含まれており、障害物を特定する例について説明する。障害物としては主に作業員が想定されるが、他の作業機械やサービスカー等も障害物となる。障害物の検出は、障害物が塵埃領域ＤＡの外側に位置している場合と、塵埃領域ＤＡの内側に位置している場合と、塵埃領域ＤＡの境界に位置している場合と、で検出の態様が異なる。以下、それぞれの場合に分けて説明する。

最初に、障害物を作業員Ｍとして、作業員Ｍが塵埃領域ＤＡの外側の領域に存在している場合について説明する。図１３は、カメラ６が撮影した画像データＰＤを示している。この図に示すように、作業員Ｍは塵埃領域ＤＡの外側の領域に位置している。作業員Ｍを検出するために、移動体領域検出部２７は移動体領域を検出する。

作業現場において、通常は、作業員Ｍは移動している。そこで、移動体領域検出部２７が移動体領域を検出することで、作業員Ｍを検出する。画像データＰＤの中で移動体領域を検出するために任意の手法を用いることができる。ここでは、オプティカルフロー検出手法のブロックマッチングを用いた場合を説明するが、時間の異なる２つ以上の画像データＰＤに基づいて移動体領域を検出することができれば、移動体領域検出部２７は任意の手法を用いて、移動体領域の検出を行うことができる。

移動体領域検出部２７は、カメラ６の撮像周期によって１周期前または複数周期前の画像データＰＤ（ここでは、１周期前の画像データＰＤ）と最新の画像データＰＤとを読み出す。オプティカルフロー検出手法では、画像データＰＤのうち所定の画素数からなる注目領域ＮＡを設定する。図１４の例では、Ｘ方向に４画素、Ｙ方向に４画素の合計１６画素の領域を注目領域ＮＡとしている。勿論、注目領域ＮＡの画素数は任意に設定することができる。そして、注目領域ＮＡを中心として、注目領域ＮＡよりも縦横に大きな領域を検索領域ＳＡとする。図１４の例では、Ｘ方向およびＹ方向にそれぞれ８画素、合計６４画素の領域を検索領域ＳＡとしている。

移動体領域検出部２７は、検索領域ＳＡの中を注目領域ＮＡと同じ大きさの領域（比較領域ＣＡとする）で検索を行う。つまり、比較領域ＣＡと注目領域ＮＡとは同じ大きさの領域であり、４画素×４画素の合計１６画素となっている。図１５の例では、比較領域ＣＡを検索領域ＳＡの左上からＸ方向に１画素ずつずらして、Ｘ方向の検索を行う。次に、Ｙ方向に１画素ずらして、再びＸ方向に１画素ずらしてＸ方向の検索を行う。これにより、検索領域ＳＡの全体を検索（スキャン）することができる。

移動体領域検出部２７は注目領域ＮＡが検索領域ＳＡの中で移動しているか否かを検出する。このために、１転送周期前の画像データＰＤの注目領域ＮＡと最新の画像データＰＤの比較領域ＣＡとの対応する画素間の輝度値の差分を演算する。図１６は注目領域ＮＡと比較領域ＣＡとの比較を示している。注目領域ＮＡと比較領域ＣＡとは４画素×４画素の合計１６画素であり、注目領域ＮＡの１画素と比較領域ＣＡの１画素とは対応している。

そこで、対応している画素間の輝度値の差分を演算することで、画素ごとに差分値が得られる。移動体領域検出部２７は１６個の差分値をそれぞれ二乗する演算を行い、差分値を二乗した値を合計する演算を行う。このときの合計値が小さければ、注目領域ＮＡと比較領域ＣＡとは同じであると判定する。合計値が小さいか否かを判断する閾値は、注目領域ＮＡと比較領域ＣＡとが同一の障害物とみなせるか否かを基準とすることができる。勿論、このときの閾値は任意に設定することができる。

検索領域ＳＡの全領域を検索して、注目領域ＮＡと比較領域ＣＡとの位置に変化が生じていれば、注目領域ＮＡを移動体領域として検出することができる。位置に変化を生じていなければ、移動体領域として検出されない。以上により、移動体領域検出部２７は移動体領域の検出を行うことができる。検索領域ＳＡは任意に設定できるが、カメラ６の撮像周期の１周期の間（カメラ６の撮像周期が高速な場合は複数周期の間）に人間が通常の速度で歩行したときの移動量の限界に基づいて設定することができる。これにより、作業員Ｍを移動体として検出することができる。

ところで、塵埃領域ＤＡも流動的に移動する。従って、塵埃領域ＤＡも移動体領域として検出されることがある。そこで、移動体領域検出部２７が検出した移動体領域は塵埃領域除去部２８に出力され、塵埃領域除去部２８で塵埃領域ＤＡが移動体領域から除去される。塵埃領域除去部２８には塵埃領域生成部２６から塵埃領域ＤＡを入力しており、この塵埃領域ＤＡを移動体領域から除去する。これにより、移動体領域は塵埃領域ＤＡを含まなくなる。

障害物判定部３０には塵埃領域ＤＡを含んでいない移動体領域が入力される。この移動体領域が障害物候補となる。障害物判定部３０では塵埃領域除去部２８から入力した障害物候補の領域の大きさを判定する。前述したように、視野範囲ＡＲの最も遠い位置に通常の大きさの人間が存在しているときの画素数（障害物画素数）を基準として、障害物候補が障害物画素数以上であれば、障害物として判定し、それ以外の場合は障害物として判定しない。これにより、作業員Ｍが障害物と検出され、同様に作業員Ｍよりも大きな作業機械やサービスカー等も障害物として認識される。認識された障害物は画面作成部３２に出力される。

画面作成部３２は、障害物の周囲に障害物外郭４２を描画する。ここでは、障害物外郭４２は外接矩形として表示しているが、障害物外郭４２は矩形でなくてもよい。画面作成部３２は塵埃領域ＤＡの境界に塵埃外郭４１を描画し、且つ障害物としての作業員Ｍの周囲に障害物外郭４２を描画する。これにより、図１７のような画像データＰＤが作成される。

従って、画像データＰＤの中に塵埃外郭４１を描画することで、オペレータは塵埃領域ＤＡを把握することができるだけでなく、障害物外郭４２を描画することで、作業員Ｍの存在を一見して把握することができる。塵埃外郭４１と障害物外郭４２とを異なる表示態様の外郭で表示することにより、塵埃領域と障害物との何れであるかを直感的に認識することができる。例えば、塵埃外郭４１と障害物外郭４２とで異なる線種を用いることで、両者の違いを明確に把握することができる。図１７の例では、塵埃外郭４１に破線を用い、障害物外郭４２に実線を用いている。

以上により、塵埃領域ＤＡの外側に障害物が存在している場合、塵埃領域と障害物（作業員Ｍ）とをオペレータに認識させることができる。これにより、画像データＰＤをモニタ９に表示することで、ダンプトラック１の周囲の状況を確実に認識することができる。

次に、塵埃領域ＤＡの内側に障害物（作業員Ｍ）が存在している場合について説明する。図１８は塵埃領域ＤＡの内側に作業員Ｍが位置している状態の画像データＰＤを示している。塵埃領域ＤＡの内側の視界は良好でないため、画像データＰＤの中で作業員Ｍは鮮明に表示されていない。そこで、この塵埃領域ＤＡの内側の作業員Ｍを検出する。

塵埃領域生成部２６により最新の画像データＰＤの中で塵埃領域ＤＡが生成される。これにより、画像データのＰＤの中の塵埃領域ＤＡが特定される。前述したように、塵埃領域ＤＡの内側は、地面のエッジＥＧが覆われているため、エッジＥＧは検出されない。よって、塵埃領域ＤＡの内側においては、地面のエッジＥＧは検出されないため、障害物の境界部が際立つことになる。

塵埃領域生成部２６が生成した塵埃領域ＤＡは塵埃領域走査部２９に出力される。塵埃領域走査部２９は塵埃領域ＤＡの内側を走査する。この走査は中心画素とその周囲の８画素の周辺画素との間の輝度値の差異が大きいか否かに基づいて行われる。輝度値の差異が大きければ障害物と特定され、それ以外の場合は障害物とは特定されない。

ここでは、塵埃領域走査部２９は、中心画素の輝度値を周辺画素の輝度値の平均値で微分する。このときの微分値が所定の閾値以上であれば、障害物の境界を検出し、それ以外の場合は障害物の境界を検出しない。ここでは、前記の閾値を障害物の境界を検出する輝度値の差異に設定する。この処理を塵埃領域ＤＡの全ての画素について行う。これにより、障害物の境界の画素が検出される。

塵埃領域走査部２９が走査をした結果、障害物の境界により形成される領域（障害物境界領域）を障害物候補として障害物判定部３０に出力する。障害物判定部３０は、障害物候補が前述した障害物画素数以上であるか否かによって障害物を判定する。障害物候補が障害物画素数以上のときに、障害物として判定する。これにより、塵埃領域ＤＡの内側の作業員Ｍが障害物として検出され、作業機械やサービスカー等も障害物として検出される。

障害物判定部３０が判定した障害物は画面作成部３２に出力される。これにより、図１９に示すように、塵埃領域ＤＡの塵埃外郭４１が描画され、塵埃領域ＤＡの中に障害物外郭４２が描画される。このときの画像データＰＤをモニタ９に表示することで、オペレータは塵埃領域ＤＡの中に障害物（作業員Ｍ）が存在していることを認識することができる。

塵埃領域走査部２９は、塵埃領域ＤＡの各画素について輝度値の差異に基づいて、塵埃領域ＤＡの中の障害物の境界を検出していた。このために、中心画素を周辺画素の平均値で微分していたが、他の手法により障害物の境界を検出してもよい。例えば、障害物のコーナーを特徴点として検出するコーナー検出法や直線を特徴点として抽出する直線抽出手法を用いてもよい。これらは単独で用いてもよいし、併用してもよい。要は、塵埃領域ＤＡの内側の障害物の境界を検出できる手法であれば任意の手法を用いることができる。

次に、障害物が塵埃領域ＤＡの境界に位置している場合について説明する。図２０はカメラ６が撮影した画像データＰＤである。この画像データＰＤでは、作業員Ｍは塵埃領域ＤＡの境界に位置している。このため、上半身が塵埃領域ＤＡの内側にあり、下半身が塵埃領域ＤＡの外側にある。なお、作業員Ｍは移動しているものとする。

従って、塵埃領域走査部２９により作業員Ｍのうち塵埃領域ＤＡの内側の部分が障害物候補となるが、この障害物候補は障害物と判定するために設定した領域を有していない。従って、作業員Ｍを障害物として認識することができない。同様に、塵埃領域除去部２８により作業員Ｍのうち塵埃領域ＤＡの外側の部分が障害物候補となるが、この障害物候補は障害物と判定できる領域を有していない。従って、作業員Ｍを障害物として認識することができない。

そこで、障害物判定部３０は、塵埃領域除去部２８から入力する移動体領域と塵埃領域走査部２９から入力する障害物境界領域とが連続しているか否かを判定し、連続しているときには移動体領域と障害物境界領域とが連続している領域を連続領域として判定する。塵埃領域ＤＡの境界に作業員Ｍが位置している場合の画像処理について図２１乃至図２４を用いて説明する。

図２１に示すように、移動体領域検出部２７は、１周期前の画像データＰＤと最新の画像データＰＤとに基づいて、移動体領域を検出している。図中の黒い部分が移動体領域となる。前述したように、塵埃領域ＤＡも移動体領域として検出されるため、図２１では塵埃領域ＤＡの一部も移動体領域として検出されている。また、作業員Ｍも移動しているため、移動体領域として検出されている。図２１のうち「Ｍ」で示しているが、作業員Ｍの移動体領域となる。移動体領域を検出した画像を移動体領域画像データとする。

塵埃領域除去部２８は、塵埃領域生成部２６から塵埃領域画像データを入力し、移動体領域検出部２７から移動体領域画像データを入力する。そして、図２２に示すように、塵埃領域除去部２８は、移動体領域から塵埃領域ＤＡを除去する。これにより、塵埃を除外した移動体の領域を得ることができる。塵埃領域除去部２８が生成する画像を塵埃領域除去画像データとする。なお、塵埃領域除去画像データには、作業員Ｍ（の一部）だけでなく、移動体領域から塵埃領域ＤＡを除外した他の領域も含まれている。

次に、塵埃領域走査部２９は塵埃領域ＤＡの内側を走査する。図２３は、塵埃領域画像データと最新画像データＰＤとを入力して、塵埃領域ＤＡを詳細に特定して、塵埃領域ＤＡの内側の障害物の境界を検出するために、塵埃領域ＤＡの内側の障害物の境界を検出する。障害物の境界を検出した画像データを塵埃領域走査画像データとする。なお、塵埃領域走査画像データには、作業員Ｍの一部以外も境界が検出されている。

図２４に示すように、障害物判定部３０は、塵埃領域除去部２８から塵埃領域除去画像データを入力し、塵埃領域走査部２９から塵埃領域走査データを入力する。そして、同図に示すように、障害物判定部３０は２つの画像データを合成する。つまり、移動体領域と障害物境界領域とがそれぞれ障害物候補を構成する障害物候補領域画像データを生成する。障害物判定部３０は移動体領域と障害物境界領域とが連続しているときには、連続領域として判定する。ここでは、「Ｍ」で示す部分が連続領域となる。そして、この連続領域、移動体領域および障害物境界領域が障害物候補となり、各障害物候補に外接矩形を形成する。これを、外接矩形形成画像データとする。

障害物判定部３０は形成した外接矩形の領域判定処理を行う。つまり、障害物候補の外接矩形の領域（面積）が障害物として判定する面積を有している場合には、障害物として判定する。図２４では、連続領域のみが障害物として判定されている。この連続領域は障害物としての作業員Ｍである。これにより、塵埃領域ＤＡの境界に作業員Ｍが位置しているときに、作業員Ｍの検出を行うことができる。この作業員Ｍの検出を行った画像データが障害物画像データである。

なお、障害物判定部３０は外接矩形を用いて面積判定処理を行っているが、前述したように、障害物候補の画素数が障害物と判定できる画素数以上のときに、当該障害物候補を障害物として判定してもよい。つまり、連続領域の画素数が障害物と判定できる画素数以上のときに、連続領域を障害物と判定することができる。

従って、塵埃領域ＤＡの境界に位置している作業員Ｍを特定することができる。画面作成部３２は、塵埃領域ＤＡの塵埃外郭４１を描画すると共に、障害物判定部３０で判定された作業員Ｍの障害物外郭４２を描画する。これにより、図２５に示すように、塵埃領域ＤＡが特定され、且つ塵埃領域ＤＡの境界に位置している作業員Ｍも特定される。

ところで、作業員Ｍは、通常は作業現場で歩行により移動しているものであり、障害物判定部３０により判定された障害物が移動している場合に、障害物が作業員Ｍであることを特定することができる。障害物が移動しているか否かの検出の手法は任意の手法を用いることができる。つまり、障害物として認識された画像データＰＤの中の領域が移動しているか否かを検出することができれば任意の手法を用いることができる。障害物移動認識部３１が障害物の移動を検出するが、ここでは障害物移動認識部３１は第１の手法または第２の手法を用いて、障害物の移動を検出する。

まず、第１の手法について説明する。図２６は、第１の手法による障害物の移動を検出している状態を説明している。カメラ６は所定の撮像周期で撮像を行っており、画像データ記憶部２１に最新の画像データＰＤから順番に古い画像データＰＤが記憶されている。

そこで、障害物判定部３０は、最新の画像データを含む時間の異なる複数の画像データＰＤに基づいて、障害物が移動しているか否かを検出する。図２６に示すように、最新の画像データＰＤの中で障害物を検出したときに、当該障害物の周囲に周囲画素を形成する。そして、図２６では、１周期前および２周期前の障害物にも周囲画素を形成している。障害物移動認識部３１は最新の画像データＰＤから順番に周囲画素が部分的に重複しているか否かを判定する。

周囲画素が部分的に重複していれば、障害物が移動していることが認識される。これにより、障害物は作業員Ｍとして認識することができる。一方、完全に重複している場合には、移動していないため、障害物は移動していないと判定する。そして、周囲画素が離間している場合には、やはり作業員Ｍとは認識しない。カメラ６には一定の撮像周期があり、通常の作業員Ｍの歩行であれば、撮像周期の間に移動できる移動量も限られている。そこで、周囲画素が離間しているような場合には、障害物が高速で移動しているため、これも作業員Ｍとしては検出しない。

従って、カメラ６の撮像周期によって、周囲画素が部分的に重複している場合のみ、障害物が移動していると判定し、当該障害物を作業員Ｍとして認識する。これにより、作業員Ｍを認識できる精度を向上させることができる。ダンプトラック１の周囲で最も注意を払う必要があるのは作業員Ｍであり、この作業員Ｍを検出することで、ダンプトラック１を発進するときの安全性を確保することができる。

このときに、図２５等で示した障害物外郭４２を、作業員Ｍと特定できるような描画を行うことで（例えば、線種を変えることで）、塵埃領域ＤＡが発生している画像データＰＤの中で障害物が単なる障害物ではなく、作業員Ｍであることを直感的に認識することができる。

次に、障害物移動検出部３１が行う第２の手法について説明する。第１の手法では、周囲画素が部分的に重複しているときに障害物が移動していると判定しているが、第２の手法では、周囲画素が重複していない場合であっても障害物の移動を検出している。図２７は、その一例を示している。同図（Ａ）は２周期前の障害物の画素とその周囲画素とを示している。なお、破線で示した画素は次の１周期前の周囲画素を示している。同図（Ｂ）は１周期前の障害物の画素とその周囲画素とを示している。なお、破線で示した画素は最新の周囲画素を示している。同図（Ｃ）は最新の障害物の画素とその周囲画素を示している。

２周期前の障害物は画素数が少ないが、最新の障害物は画素数が多い。これは、カメラ６の光軸上を障害物が移動しているときに同図（Ａ）〜（Ｃ）のようになる。すなわち、障害物がカメラ６の光軸上をダンプトラック１に対して近接する移動を行っているときに、障害物の画素は同図（Ａ）〜（Ｃ）のように変化する。同図（Ａ）および（Ｂ）に示すように、時間的に前後する周囲画素は重複していない。しかし、時間的に前後する周囲画素が重複していなくても、障害物がカメラ６の光軸上を移動している場合には、障害物移動認識部３１は障害物の移動を認識する。

第２の手法においては、障害物移動認識部３１は、時間的に前後する周囲画素のうち一方の周囲画素の全ての画素が他方の周囲画素の内側にあるときに、障害物の移動を検出する。同図（Ａ）の２周期前の周囲画素の全ての画素は１周期前の周囲画素の領域の内側にある。また、同図（Ｂ）の１周期前の周囲画素の全ての画素は最新の周囲がその領域の内側にある。つまり、時間的に前後する周囲画素は重複していないが、障害物は移動している。同図（Ａ）〜（Ｃ）では、カメラ６の光軸上に沿って、徐々に障害物がダンプトラック１に近づいている状態を示しているが、障害物がダンプトラック１から遠ざかる場合（離間する場合）も同様である。

従って、第２の手法により障害物移動認識部３１が障害物の移動を検出すると、当該障害物を作業員Ｍとして認識する。これにより、作業員Ｍを認識できる精度を向上させることができる点は第１の手法と同様である。第２の手法では、作業員Ｍが徐々にダンプトラック１に接近していることを認識することができる。これにより、ダンプトラック１を発進するときの安全性をさらに確保することができる。

障害物移動検出部３１は第１の手法を行う機能だけを有してもよいし、第２の手法を行う機能だけを有していてもよい。ただし、所が異物移動検出部３１は第１の手法と第２の手法との両者を行う機能を具備し、第１の手法または第２の手法の何れかの手法を用いて障害物の移動を検出することが望ましい。

なお、第２の手法において、障害物がカメラ６の光軸と完全に一致した方向に移動している場合だけでなく、光軸から僅かにずれた方向に移動している場合でも、障害物の移動検出を行うことができる。この場合でも、時間的に前後する周囲画素のうち一方の周囲画素の全ての画素が他方の周囲画素の内側に入っているときに、障害物の移動が検出される。

図２８は、画面作成部３２が行う処理のフローを示している。前述したように、塵埃領域生成部２６が塵埃領域ＤＡを生成する。このとき、塵埃領域生成部２６は塵埃領域ＤＡが存在しているか否かを判定する（ステップＳ１１）。画面作成部３２は、塵埃領域ＤＡが存在していれば、塵埃外郭４１を画像データＰＤに描画する（ステップＳ１２）。一方、塵埃領域ＤＡが存在していなければ塵埃外郭４１を描画しない。

また、障害物判定部３０は障害物候補に基づいて障害物が存在しているか否かを判定する（ステップＳ１３）。障害物判定部３０により障害物が存在していると判定されたときには、画面作成部３２は障害物外郭４２を画像データＰＤに描画する（ステップＳ１４）。一方、障害物が存在していなければ障害物外郭４２を描画しない。

ところで、高輝度画素検出部２２は高輝度画素を検出している。そして、高輝度画素と非エッジ画素とが重複している画素を重複画素として、重複画素が一定の領域を形成しているときに重複画素領域としている。この重複画素領域が所定領域以上のときに、塵埃領域ＤＡを特定している。

このとき、塵埃領域ＤＡの境界部分をより高精度に検出したい場合には、高輝度画素の検出に別の手法を用いることができる。図２９を参照して、説明する。最新の画像データＰＤのうち、Ｘ方向にＰ（Ｐは１以上の整数）画素、Ｙ方向にＱ（Ｑは１以上の整数）画素の注目画素領域を設定する。この注目画素領域の画素数は、例えば前述した障害物画素数とすることができる。

そして、注目画素領域を中心として、注目画素領域よりも大きな画素領域を周辺画素領域とする。ここでは、周辺画素領域は、注目画素領域を中心として、上下左右にＲ（Ｒは１以上の整数）画素の分を大きくした画素領域になる。そして、高輝度画素検出部２２は注目画素領域の各画素の輝度値の平均値（１画素の場合は、その画素の輝度値）を算出し、周辺画素領域の各画素の輝度値の平均値を算出する。

このときに、注目画素領域の輝度値の平均値が周辺画素領域の輝度値の平均値よりも高ければ、高輝度画素検出部２２は、注目画素領域は高輝度画素の領域として判定できる。高輝度画素検出部２２は画像データＰＤの全領域に注目画素領域を走査させて、輝度値の平均値の比較を行う。そして、高輝度画素の領域として判定された注目画素領域により一定の領域が形成されたときには、その領域を高輝度領域として認識することができる。

この手法を用いることにより、高輝度画素検出部２２は高輝度領域の境界部分を詳細に認識することができる。なお、この手法では、高輝度領域の境界が高輝度画素として認識される。よって、高輝度画素を検出して、一定の高輝度領域として認識するときには、高輝度画素により形成される領域の内側を高輝度領域として認識する。

１ ダンプトラック
７ 運転室
８ 画像処理装置
９ モニタ
１０ 前方構造物
２１ 画像データ記憶部
２２ 高輝度画素検出部
２３ 鮮鋭化処理部
２４ 非エッジ画素検出部
２５ 重複画素検出部
２６ 塵埃領域生成部
２７ 移動体領域検出部
２８ 塵埃領域除去部
２９ 塵埃領域走査部
３０ 障害物判定部
３１ 障害物移動認識部
３２ 画面作成部
４１ 塵埃外郭
４２ 障害物外郭
ＡＲ 視野範囲
ＣＡ 比較領域
ＤＡ 塵埃領域
ＥＧ エッジ
Ｍ 作業員
ＰＤ 画像データ

Claims (5)

1. 自走式産業機械に設けた撮影部が撮影した映像を画像データとして、この画像データの各画素の中から塵埃を特定するための輝度値よりも高い輝度値の画素を高輝度画素として検出する高輝度画素検出部と、
   前記画像データの１つの画素を中心画素として、その周囲の画素との間の輝度値の差異が地面のエッジとして検出される輝度値の差異よりも低い中心画素を非エッジ画素として検出する非エッジ画素検出部と、
   前記高輝度画素と前記非エッジ画素とが重複している重複画素を検出する重複画素検出部と、
   前記重複画素により形成される領域を重複画素領域として、この重複画素領域が前記塵埃と特定するための領域以上の大きさのときに前記重複画素領域を塵埃領域として生成する塵埃領域生成部と、
   前記画像データに対して前記塵埃領域を特定するように描画した画面を作成する画面作成部と、
   前記画像データを記憶する画像データ記憶部に記憶され、時間的に前後する画像データの差分に基づいて移動体領域を検出する移動体領域検出部と、
   前記移動体領域から前記塵埃領域を除去する塵埃領域除去部と、
   前記塵埃領域を除去した前記移動体領域を障害物候補として、この障害物候補が障害物であると判定するために予め設定した所定の領域以上の大きさのときに、前記障害物候補を前記障害物として判定する障害物判定部と、
   を備えた自走式産業機械の画像処理装置。
2. 自走式産業機械に設けた撮影部が撮影した映像を画像データとして、この画像データの各画素の中から塵埃を特定するための輝度値よりも高い輝度値の画素を高輝度画素として検出する高輝度画素検出部と、
   前記画像データの１つの画素を中心画素として、その周囲の画素との間の輝度値の差異が地面のエッジとして検出される輝度値の差異よりも低い中心画素を非エッジ画素として検出する非エッジ画素検出部と、
   前記高輝度画素と前記非エッジ画素とが重複している重複画素を検出する重複画素検出部と、
   前記重複画素により形成される領域を重複画素領域として、この重複画素領域が前記塵埃と特定するための領域以上の大きさのときに前記重複画素領域を塵埃領域として生成する塵埃領域生成部と、
   前記画像データに対して前記塵埃領域を特定するように描画した画面を作成する画面作成部と、
   前記塵埃領域の内側の全ての画素に対して、中心画素と周辺画素との輝度値の差異が障害物の境界として検出される輝度値の差異よりも高い画素を検出する塵埃領域走査部と、
   前記塵埃領域走査部が検出した画素により形成される領域を障害物候補として、この障害物候補が障害物であると判定するために予め設定した所定の領域以上の大きさのときに、前記障害物候補を前記障害物として判定する障害物判定部と、
   を備えた自走式産業機械の画像処理装置。
3. 自走式産業機械に設けた撮影部が撮影した映像を画像データとして、この画像データの各画素の中から塵埃を特定するための輝度値よりも高い輝度値の画素を高輝度画素として検出する高輝度画素検出部と、
   前記画像データの１つの画素を中心画素として、その周囲の画素との間の輝度値の差異が地面のエッジとして検出される輝度値の差異よりも低い中心画素を非エッジ画素として検出する非エッジ画素検出部と、
   前記高輝度画素と前記非エッジ画素とが重複している重複画素を検出する重複画素検出部と、
   前記重複画素により形成される領域を重複画素領域として、この重複画素領域が前記塵埃と特定するための領域以上の大きさのときに前記重複画素領域を塵埃領域として生成する塵埃領域生成部と、
   前記画像データに対して前記塵埃領域を特定するように描画した画面を作成する画面作成部と、
   前記画像データを記憶する画像データ記憶部に記憶され、時間的に前後する画像データの差分に基づいて移動体領域を検出する移動体領域検出部と、
   前記移動体領域から前記塵埃領域を除去する塵埃領域除去部と、
   前記塵埃領域の内側の全ての画素に対して、中心画素と周辺画素との輝度値の差異が障害物の境界として検出される輝度値の差異よりも高い画素を検出する塵埃領域走査部と、
   前記塵埃領域を除去した前記移動体領域を塵埃領域外障害物候補として、且つ前記塵埃領域走査部が検出した画素により形成される領域を塵埃領域内障害物候補として、前記塵埃領域外障害物候補と前記塵埃領域内障害物候補とが連続している連続領域が障害物であると判定するために予め設定した所定の領域以上の大きさのときに、前記連続領域を前記障害物として判定する障害物判定部と、
   を備えた自走式産業機械の画像処理装置。
4. 時間的に前後する前記障害物の画素の周囲画素が部分的に重複しているとき、または時間的に前後する前記障害物の画素の周囲画素のうち一方の周囲画素の全ての画素が他方の周囲画素の内側にあるときに、前記障害物が移動していることを認識する障害物移動認識部
   をさらに備えた請求項１乃至３のうち何れか１項に記載の自走式産業機械の画像処理装置。
5. 前記画面作成部は、前記塵埃領域が発生しているときに前記塵埃領域の外郭を描画し、前記障害物が発生しているときに前記障害物の外郭を描画する
   請求項１乃至３のうち何れか１項に記載の自走式産業機械の画像処理装置。

Images