JP7451392B2

JP7451392B2 - 画像処理装置、画像処理方法、画像処理プログラム

Info

Publication number: JP7451392B2
Application number: JP2020218531A
Authority: JP
Inventors: 隼人道祖土
Original assignee: Sumitomo Heavy Industries Ltd
Current assignee: Sumitomo Heavy Industries Ltd
Priority date: 2020-12-28
Filing date: 2020-12-28
Publication date: 2024-03-18
Anticipated expiration: 2040-12-28
Also published as: JP2022103725A

Description

本発明は画像処理技術に関する。

特許文献１には、建設機械に設けられたカメラで撮影した画像の歪みを補正し、高精度に物体を検知する画像処理装置が開示されている。

特開２０２０－１３２２０号公報

特許文献１のようにカメラが建設現場等の屋外で使用される場合、カメラの撮影状態が画像処理に影響を及ぼす。ここで、カメラの撮影状態とは、カメラ自体に発生しうる傷、汚れ、故障などの異常や、天気、明るさ、時間帯、電磁波などの撮影時の環境を含む概念である。撮影状態が正常な場合、特許文献１の画像処理装置によって高精度に物体を検知できるが、撮影状態が異常な場合、例えば、カメラのレンズに傷がある場合や、雨が降っている夜間に撮影を行う場合は、物体検知精度が低下する可能性がある。このような撮影状態の悪化による画像処理精度の悪化を防ぐ性質をロバスト性（頑強性）という。従来、画像処理装置のロバスト性を評価するためには、悪い撮影状態で実際に撮影した画像を画像処理装置に処理させた結果を個別に評価する必要があった。すなわち、上記の例では、カメラのレンズに実際に傷を付けて撮影を行ったり、雨が降っている夜間に実際に撮影を行う必要があり、非効率的であった。

本発明はこうした状況に鑑みてなされたものであり、その目的は、効率的にロバスト性を評価できる画像処理装置を提供することにある。

上記課題を解決するために、本発明のある態様の画像処理装置は、画像を入力する画像入力部と、画像に対して所定の画像処理を行う画像処理部と、画像を撮影して画像入力部に入力可能な撮影装置で想定される撮影状態を模擬する模擬処理を画像入力部で入力された画像に施して画像処理部に提供する模擬画像生成部と、画像入力部が入力した画像処理部の評価に用いられる評価画像について、模擬処理が施された評価画像に対して画像処理部が行った画像処理の結果と、模擬処理が施されていない評価画像に対して画像処理部が行った画像処理の結果の比較に基づき、画像処理部を評価する評価部とを備える。

この態様では、撮影装置で想定される撮影状態を模擬する模擬処理が入力画像に施されるため、実際にその撮影状態で画像を撮影する必要がない。したがって、効率的にロバスト性を評価できる。なお、特許文献１の例では、屋外で使用されるカメラ（撮影装置）について説明したが、屋内で使用される撮影装置でも撮影状態は変化しうるため、本態様の画像処理装置を同様に適用できる。

本発明の別の態様は、画像処理方法である。この方法は、画像を入力する画像入力ステップと、画像に対して所定の画像処理を行う画像処理ステップと、画像を撮影して画像入力ステップに入力可能な撮影装置で想定される撮影状態を模擬する模擬処理を画像入力ステップで入力された画像に施して画像処理ステップに提供する模擬画像生成ステップと、画像入力ステップが入力した画像処理ステップの評価に用いられる評価画像について、模擬処理が施された評価画像に対して画像処理ステップが行った画像処理の結果と、模擬処理が施されていない評価画像に対して画像処理ステップが行った画像処理の結果の比較に基づき、画像処理ステップを評価する評価ステップとを備える。

なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。

本発明によれば、効率的にロバスト性を評価できる画像処理装置を提供できる。

実施形態に係る画像処理装置を示す機能ブロック図である。画像処理装置の処理を示すフローチャートである。

以下、図面を参照しながら、本発明を実施するための形態について詳細に説明する。説明および図面において同一または同等の構成要素、部材、処理には同一の符号を付し、重複する説明は適宜省略する。図示される各部の縮尺や形状は、説明を容易にするために便宜的に設定されており、特に言及がない限り限定的に解釈されるものではない。実施形態は例示であり、本発明の範囲を何ら限定するものではない。実施形態に記述されるすべての特徴やその組み合わせは、必ずしも発明の本質的なものであるとは限らない。

図１は、実施形態に係る画像処理装置１０を示す機能ブロック図である。画像処理装置１０は、カメラ２０または画像メモリ２１から供給される画像に対して所定の画像処理を行う装置である。

撮影装置としてのカメラ２０は、画像を撮影して画像処理装置１０または画像メモリ２１に供給する。カメラ２０の設置場所や設置態様は任意であり、建設機械のような可動部を持つ他の装置に取り付けてもよいし、特定の地点に設置してもよいし、人が携帯してもよい。本実施形態では、主にカメラ２０を建設機械に取り付けた例について説明する。この例では、カメラ２０が撮影した建設機械の周囲の画像に基づいて、建設機械に接触する可能性がある人、建材、建築物、他の建設機械等の物体を画像処理装置１０が検知する。カメラ２０が撮影する画像は静止画でも動画でもよいが、静止画の場合は建設機械の周囲の物体をタイムリーに検知できるように例えば数秒以下の高頻度で連続的に撮影するのが好ましい。

カメラ２０は、撮影した画像が物体の接触検知等のリアルタイムの画像処理に必要な場合は、画像メモリ２１を介さず直接的に画像処理装置１０に画像を供給する。この場合の画像処理装置１０は、カメラ２０と同じ建設機械内のコンピュータに実装してもよいし、建設現場または遠隔地の建設機械外のコンピュータに実装してもよい。いずれの場合も、カメラ２０と画像処理装置１０は有線または無線でリアルタイム通信可能に構成され、カメラ２０で撮影された画像がリアルタイムで画像処理装置１０に供給される。

一方、カメラ２０で撮影した画像がリアルタイムの画像処理に必要でない場合、後の画像処理に使えるように画像を画像メモリ２１に保存する。画像メモリ２１は、カメラ２０の内蔵メモリでもよいし、メモリーカード等の汎用のリムーバブルメディアでもよい。また、有線または無線でカメラ２０および画像処理装置１０と通信可能な建設機械内外のストレージでもよい。

建設機械内外のコンピュータに実装される画像登録部２２は、画像メモリ２１および模擬画像メモリ２３に、任意の画像を登録できる。詳細については後述するが、画像登録部２２は、画像処理装置１０のロバスト性の評価に用いられる任意の評価画像を画像メモリ２１に保存し、カメラ２０で想定される撮影状態を模擬する任意の模擬画像を模擬画像メモリ２３に保存する。模擬画像メモリ２３は、画像登録部２２および画像処理装置１０が同時か否かを問わずアクセス可能であれば、どのようなメモリでもよい。

画像処理装置１０は、画像入力部１１と、画像処理部１２と、模擬画像生成部１３と、評価部１４と、調整部１５を備える。

画像入力部１１は、カメラ２０または画像メモリ２１からの画像を入力する。画像処理部１２は、画像入力部１１が入力した画像に対して所定の画像処理を行う。画像処理の内容は、カメラ２０の設置場所または設置態様や画像処理装置１０の目的に応じて任意に設定できる。カメラ２０が建設機械に取り付けられ、画像処理装置１０の目的が建設機械の周囲の物体検知である本実施形態の例では、画像処理部１２は入力画像に基づく物体検知処理を行う。画像処理部１２の画像処理結果としての物体検知結果は、検知された物体の有無と、物体が検知された場合は、物体の種別（人、建材、建築物、他の建設機械等）や、物体の建設機械への接触の可能性（危険度）を含み、画像処理装置１０外の他の装置に対して出力される。

以下は本発明を適用可能な画像処理の他の例である。
・画像検査装置に設けられたカメラで撮影した画像に基づく、損傷、汚れ、欠陥、歪み等の検査対象物の異常の検知
・自動車等の乗り物に設けられたカメラで撮影した画像に基づく、乗り物の周囲の物体の検知
・撮影された物体との距離の測定
・画像中の情報や文字の認識（光学文字認識（OCR: Optical Character Recognition）など）
・撮影された人や動物のジェスチャーの認識
・人工知能を用いた画像の解釈や診断
・画像の加工（画質改善処理、フィルタ処理、視点変換、３次元モデル生成など）

模擬画像生成部１３は、模擬画像重畳部１３１と模擬画像切替部１３２を備え、カメラ２０で想定される撮影状態を模擬する模擬処理を画像入力部１１で入力された画像に施して画像処理部１２に提供する。模擬画像重畳部１３１は、模擬処理の一例として、カメラ２０で想定される撮影状態を模擬する模擬画像を入力画像に重畳する。模擬画像は画像登録部２２によって模擬画像メモリ２３に予め登録されている。異なる撮影状態に対応する複数の模擬処理を切り替える模擬処理切替部としての模擬画像切替部１３２は、模擬画像メモリ２３に保存された模擬画像を読み出して模擬画像重畳部１３１に提供する。模擬画像切替部１３２は任意の数の模擬画像を同時に読み出し、模擬画像重畳部１３１はそれらの模擬画像を同時に入力画像に重畳する。例えば、「夜」を表す模擬画像と「雨」を表す模擬画像を同時に入力画像に重畳することで、「雨が降っている夜間」という撮影状態を模擬ないし再現できる。また、模擬画像切替部１３２は、模擬画像重畳部１３１が重畳する模擬画像を切り替えることで、異なる撮影状態を簡単に模擬できる。例えば、上記の「雨が降っている夜間」という撮影状態に続いて、カメラ２０のレンズの傷を表す模擬画像に切り替えることで「カメラのレンズに傷がある」という異なる撮影状態を迅速に模擬できる。なお、上記の模擬処理の例では模擬画像が入力画像に重畳されたが、フィルタ処理等の適当な画像加工処理を入力画像に施すことで、カメラ２０の様々な撮影状態を模擬してもよい。例えば、「夜」という撮影状態を模擬するために、入力画像の輝度を一様に下げるフィルタ処理を施す。また、このような撮影状態を模擬するための画像加工処理は、入力画像の一部に施してもよく、また入力画像の部分毎に異なるものでもよい。例えば、単純に一定間隔の画素を強制的に黒くすることで暗さを模擬する、各画素の輝度をランダムに変えることで暗電流等に基づくノイズを模擬する、等が考えられる。このような多様な模擬処理のパターンを予め用意することで、一つの評価画像に対して多様な観点からの模擬画像を生成できる。したがって、従来のように様々な撮影状態で実際に評価画像を撮影する必要がなく、効率的にロバスト性の評価を行える。

模擬画像切替部１３２は、動的再構成可能な回路であるＦＰＧＡ（Field-Programmable Gate Array）で構成され、当該動的再構成によって複数の模擬処理または模擬画像を切り替える。模擬画像切替部１３２は汎用の演算処理装置で構成してもよく、演算処理装置で実行されるソフトウェアによって複数の模擬処理または模擬画像が切り替えられる。

模擬画像重畳部１３１によって模擬される撮影状態は、カメラ２０に発生しうる異常と、カメラ２０の置かれる環境に大別される。前者のカメラ２０に発生しうる異常の類型は、例えば、レンズの破損、傷、汚れや、回路の動作遅延、動作不良、故障である。後者のカメラ２０の置かれる環境の類型は、例えば、天気、明るさ、時間帯、入射光、電磁波、環境ノイズ（カメラのイメージセンサの暗電流によって夜間の撮影時に発生する白点ノイズや、強風時の砂埃によるノイズ、コークス炉内を飛散するカーボンチップによるノイズなど）である。これらの各類型を個別に模擬できるよう、模擬画像メモリ２３には各類型に応じた模擬画像が格納される。また、同一の類型でも複数の撮影状態が想定される場合は、各撮影状態について個別の模擬画像が用意される。例えば、「雨」という撮影状態の類型について、「暴風雨」「強い雨」「弱い雨」「霧雨」等の想定される様々な態様に応じた模擬画像が用意される。同様に、「レンズに傷がある」という撮影状態の類型について、想定される様々な大きさ、形状、位置の傷に応じた模擬画像が用意される。このように想定しうる撮影状態の各態様について個別の模擬画像を用意することで、模擬画像重畳部１３１は、これらの模擬画像を組み合わせて任意の撮影状態をきめ細かく模擬できる。例えば、「カメラのレンズの中心部に大きな筋状の傷があり、カメラの回路に中程度の動作遅延があり、天気は曇りで、夕方５時頃、強い逆光」といった複雑な撮影状態も簡単に模擬できる。

以上のような撮影状態のうち、「回路の動作遅延」や「雨」といった動きや時間的変化がある撮影状態を模擬する模擬画像は動画とするのが好ましい。また、「入射光」のように、撮影された被写体の姿勢や性質に応じて、画像に現われる影響が異なる撮影状態については、画像処理部１２での被写体の検知結果に基づき、模擬画像重畳部１３１が重畳する模擬画像を調整してもよい。例えば、被写体の反射率が低い場合は、模擬画像として重畳する入射光の強度を弱める。

画像処理部１２は、模擬画像重畳部１３１で模擬画像が重畳された入力画像に対しても、前述の所定の画像処理を行う。すなわち、画像処理部１２は、画像入力部１１から直接的に提供される模擬画像なしの入力画像に対する画像処理と、画像入力部１１から模擬画像重畳部１３１を介して間接的に提供される模擬画像ありの入力画像に対する画像処理を並行して行う。前者の模擬画像なしの入力画像に対する画像処理結果は、画像処理装置１０外の他の装置に対して出力され、後者の模擬画像ありの入力画像に対する画像処理結果は、次に述べる評価部１４に提供されて画像処理装置１０のロバスト性の評価に用いられる。このように画像処理部１２が模擬画像ありの入力画像と模擬画像なしの入力画像を並行処理することによって、画像処理結果を出力するという画像処理装置１０の通常動作を行わせながら、並行して画像処理装置１０のロバスト性の評価をリアルタイムで行える。変形例として、画像処理部１２に提供する入力画像の切り替えによって、模擬画像なしの入力画像に基づいて通常動作を行う通常動作モードと、模擬画像ありの入力画像に基づいてロバスト性の評価を行うロバスト性評価モードを切り替えてもよい。

評価部１４は、模擬画像が重畳された評価画像に対して画像処理部１２が行った画像処理の結果と、評価画像に対する所期の画像処理の結果の比較に基づき、画像処理部１２を評価する。ここで「評価画像」とは、評価部１４が評価を行う際に画像入力部１１が入力する画像を意味する。評価画像は、カメラ２０がリアルタイムで撮影した画像でもよいし、画像メモリ２１に格納されたカメラ２０の過去の撮影画像でもよいし、カメラ２０によらずに画像登録部２２によって画像メモリ２１に格納された任意の画像でもよい。カメラ２０がリアルタイムで撮影した画像を評価画像とする場合は、画像処理部１２の評価をリアルタイムで行えるという利点がある。一方、画像メモリ２１に格納された画像を評価画像とする場合は、画像処理部１２の評価に適した画像を任意に選択できるという利点がある。

カメラ２０が建設機械に取り付けられた例における評価画像は、建設機械の周囲を撮影した画像である。画像処理部１２は評価画像に対する画像処理として物体検知処理を行い、検知された物体の有無、物体の種別、物体の建設機械への接触可能性等を含む画像処理結果を出力する。例えば、評価画像において近距離に人が映っている場合、所期の画像処理結果は「検知された物体の有無：有／物体の種別：人／物体の建設機械への接触可能性：高」となる。この評価画像に対して模擬画像重畳部１３１が模擬画像を重畳した場合の画像処理部１２の画像処理結果が所期の画像処理結果と異なる場合、画像処理部１２は模擬画像が模擬する撮影状態（例えば「雨」）に対するロバスト性が低いと評価される。逆に、模擬画像を重畳した場合も所期の画像処理結果が得られた場合、画像処理部１２は模擬画像が模擬する撮影状態に対するロバスト性が高いと評価される。このように、評価部１４は、模擬画像が重畳された評価画像の画像処理結果を所期の画像処理結果と比較することで、模擬画像が模擬する撮影状態に対する画像処理部１２のロバスト性を評価できる。

なお、評価画像としてカメラ２０がリアルタイムで撮影した画像を用いる場合、所期の画像処理結果を予め知ることはできないが、画像入力部１１が画像処理部１２に直接的に提供する模擬画像なしの評価画像の画像処理結果を所期の画像処理結果として代用できる。このとき、評価の万全を期すために、評価部１４が暫定的な評価結果をユーザに提示し、ユーザの最終評価を仰いでもよい。また、評価部１４を設けずに、ユーザが全ての評価を担ってもよい。

一方、評価画像として画像メモリ２１に格納された画像を用いる場合、画像処理部１２の評価に適した任意の画像を選択でき、かつ、所期の画像処理結果を予め知ることができるので、ユーザの最終評価を仰がずに評価部１４が効果的に評価を行える。例えば、建設現場における人の検知を行う例では、個々の建設作業員を高精度に検知することが求められる。そこで、ヘルメットを着用した複数の作業員が映っている画像を評価画像として、様々な撮影状態（模擬画像）の下でも画像処理部１２が個々の作業員を検知できるか否かを評価部１４が評価する。逆に、作業員が着用していないヘルメットが映り込んだ画像を評価画像として、画像処理部１２がヘルメットを人と誤検知するか否かを評価することもできる。また、同じく建設現場における人の検知を行う例では、建設現場で多く使用される青い防水シート（いわゆるブルーシート）が人の衣服と誤検知されることがある。このような誤検知を未然に防止するために、ブルーシートが各所に映り込んだ画像を評価画像として、様々な撮影状態（模擬画像）の下で画像処理部１２がブルーシートを人と誤検知するか否かを評価部１４が評価する。このように、カメラ２０の設置場所または設置態様や画像処理装置１０の目的に応じて、適切な評価画像を任意に選択できるので、画像処理部１２のロバスト性を効果的に評価できる。

調整部１５は、評価部１４がロバスト性が低いと評価した撮影状態に関して、それを改善するための画像処理部１２の調整を行う。

図２は、画像処理装置１０の処理を示すフローチャートである。本図における「Ｓ」は「ステップ」を意味する。Ｓ１では、画像入力部１１が、カメラ２０からのリアルタイム画像または画像メモリ２１からの非リアルタイム画像を入力する。Ｓ２では、画像処理部１２が、Ｓ１で入力された画像に対して所定の画像処理を行う。この画像には模擬画像が重畳されておらず、画像処理部１２はその画像処理結果を画像処理装置１０外の他の装置に対して出力する。画像が非リアルタイム画像の場合で、その画像処理結果が画像処理装置１０外で必要とされていない場合は、画像処理結果を出力しなくてもよい。

Ｓ３では、模擬画像重畳部１３１が、Ｓ１で入力された画像に模擬画像に重畳する。Ｓ４では、画像処理部１２が、Ｓ３で模擬画像が重畳された画像に対して所定の画像処理を行う。Ｓ５では、評価部１４が、Ｓ１で入力された評価画像がカメラ２０のリアルタイム画像か否かを判定する。リアルタイム画像の場合はＳ６に進み、評価部１４がＳ２の模擬画像なしでの画像処理結果を所期の画像処理結果として取得する。非リアルタイム画像の場合はＳ７に進み、評価部１４がその非リアルタイム画像と共に画像メモリ２１に保存されている所期の画像処理結果を取得する。所期の画像処理結果が画像メモリ２１に保存されていない場合は、Ｓ６と同様に、Ｓ２の模擬画像なしでの画像処理結果を所期の画像処理結果として取得してもよい。

Ｓ８では、評価部１４が、Ｓ４の模擬画像ありでの画像処理結果とＳ６またはＳ７で取得された所期の画像処理結果の比較に基づき、画像処理部１２のロバスト性を評価する。Ｓ９では、調整部１５が、Ｓ８でロバスト性が低いと評価された場合に、それを改善するための画像処理部１２の調整を行う。Ｓ１０では、模擬画像切替部１３２が、ロバスト性を評価すべき他の模擬画像の有無を判定する。他の模擬画像がある場合はＳ１１に進み、模擬画像切替部１３２が当該他の模擬画像に切り替える。続いてＳ３に戻り、模擬画像重畳部１３１が当該他の模擬画像を評価画像に重畳する。以降は同様に、当該他の模擬画像（撮影状態）についてロバスト性の評価等が行われる。

以上、本発明を実施形態に基づいて説明した。実施形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。

なお、実施形態で説明した各装置の機能構成はハードウェア資源またはソフトウェア資源により、あるいはハードウェア資源とソフトウェア資源の協働により実現できる。ハードウェア資源としてプロセッサ、ＲＯＭ、ＲＡＭ、その他のＬＳＩを利用できる。ソフトウェア資源としてオペレーティングシステム、アプリケーション等のプログラムを利用できる。

１０画像処理装置、１１画像入力部、１２画像処理部、１３模擬画像生成部、１４評価部、１５調整部、２０カメラ、２１画像メモリ、２２画像登録部、２３模擬画像メモリ、１３１模擬画像重畳部、１３２模擬画像切替部。

Claims

画像を入力する画像入力部と、
前記画像に対して所定の画像処理を行う画像処理部と、
画像を撮影して前記画像入力部に入力可能な撮影装置で想定される撮影状態を模擬する模擬処理を前記画像入力部で入力された画像に施して前記画像処理部に提供する模擬画像生成部と、
前記画像入力部が入力した前記画像処理部の評価に用いられる評価画像について、前記模擬処理が施された前記評価画像に対して前記画像処理部が行った画像処理の結果と、前記模擬処理が施されていない前記評価画像に対して前記画像処理部が行った画像処理の結果の比較に基づき、前記画像処理部を評価する評価部と
を備える画像処理装置。
異なる前記撮影状態に対応する複数の前記模擬処理を切り替える模擬処理切替部を備える
請求項１に記載の画像処理装置。
前記模擬処理切替部は、動的再構成可能な回路で構成され、当該動的再構成によって複数の前記模擬処理を切り替える
請求項２に記載の画像処理装置。
前記動的再構成可能な回路はＦＰＧＡである
請求項３に記載の画像処理装置。
前記撮影状態は、前記撮影装置に発生しうる異常と、前記撮影装置の置かれる環境の少なくともいずれかを含む
請求項１から４のいずれかに記載の画像処理装置。
前記模擬処理は、前記撮影状態の時間的変化を模擬する動画を前記画像入力部で入力された画像に重畳する
請求項１から５のいずれかに記載の画像処理装置。
前記画像入力部に入力される画像は、前記撮影装置によらない画像を含む
請求項１から６のいずれかに記載の画像処理装置。
画像を入力する画像入力ステップと、
前記画像に対して所定の画像処理を行う画像処理ステップと、
画像を撮影して前記画像入力ステップに入力可能な撮影装置で想定される撮影状態を模擬する模擬処理を前記画像入力ステップで入力された画像に施して前記画像処理ステップに提供する模擬画像生成ステップと、
前記画像入力ステップが入力した前記画像処理ステップの評価に用いられる評価画像について、前記模擬処理が施された前記評価画像に対して前記画像処理ステップが行った画像処理の結果と、前記模擬処理が施されていない前記評価画像に対して前記画像処理ステップが行った画像処理の結果の比較に基づき、前記画像処理ステップを評価する評価ステップと
を備える画像処理方法。
画像を入力する画像入力ステップと、
前記画像に対して所定の画像処理を行う画像処理ステップと、
画像を撮影して前記画像入力ステップに入力可能な撮影装置で想定される撮影状態を模擬する模擬処理を前記画像入力ステップで入力された画像に施して前記画像処理ステップに提供する模擬画像生成ステップと、
前記画像入力ステップが入力した前記画像処理ステップの評価に用いられる評価画像について、前記模擬処理が施された前記評価画像に対して前記画像処理ステップが行った画像処理の結果と、前記模擬処理が施されていない前記評価画像に対して前記画像処理ステップが行った画像処理の結果の比較に基づき、前記画像処理ステップを評価する評価ステップと
をコンピュータに実行させる画像処理プログラム。