JP2019178892A

JP2019178892A - 画像処理装置、画像処理方法及びプログラム

Info

Publication number: JP2019178892A
Application number: JP2018066925A
Authority: JP
Inventors: 貴公瀬戸; Takahiro Seto
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2018-03-30
Filing date: 2018-03-30
Publication date: 2019-10-17
Anticipated expiration: 2038-03-30
Also published as: US20210004988A1; WO2019188316A1; US11544875B2; JP7262927B2

Abstract

【課題】物体の形状や撮像条件に依らずに、物体の色を評価するための情報を提供することを目的とする。【解決手段】物体の表面を撮像することによって得られる撮像画像データを取得する撮像画像データ取得手段と、前記物体の表面の形状を示す情報を抽出する抽出手段と、前記物体の表面の形状を示す情報に基づいて、前記撮像画像を補正する補正手段と、を有することを特徴とする画像処理装置。【選択図】図１

Description

本発明は、対象物の色を評価するための画像処理技術に関する。

従来、デジタルカメラから取得された撮像画像を用いて、撮像対象物の色を評価する技術が知られている。特許文献１は、撮像によって得られた検査物の色度分布を基準物の色度分布と比較することにより、色のテクスチャの違いを検査する技術を開示している。

特開２０１６−１６４５５９号公報

物体を撮像して物体の色を評価する場合、物体の形状や撮像条件に応じて、撮像によって取得される色が異なってしまう。しかしながら、特許文献１のような従来の技術においては、物体の形状と撮像条件との少なくとも一方が変わると、色の評価も変わってしまうという課題があった。

本発明は、上記課題に鑑みてなされたものであり、物体の形状や撮像条件に依らずに、物体の色を評価するための情報を提供することを目的とする。

上記課題を解決するために、本発明に係る画像処理装置は、物体の表面を撮像することによって得られる撮像画像データを取得する撮像画像データ取得手段と、前記物体の表面の形状を示す情報を抽出する抽出手段と、前記物体の表面の形状を示す情報に基づいて、前記撮像画像を補正する補正手段と、を有することを特徴とする。

本発明によれば、物体の形状や撮像条件に依らずに、物体の色を評価するための情報を提供することができる。

画像処理システムの構成を示す図画像処理装置の構成を示すブロック図画像処理装置が実行する処理を示すフローチャートマーカーの例を示す図正規化された撮像画像を得るための処理を示すフローチャートメタデータの一例を示す図正規化された撮像画像の色情報を算出する処理を示すフローチャート色を評価する処理を示すフローチャート色を評価する処理を示すフローチャートマーカーの例を示す図ディスプレイに表示する画像の例を示す図

以下、本発明の実施形態について、図面を参照して説明する。尚、以下の実施形態は本発明を必ずしも限定するものではない。また、本実施形態において説明されている特徴の組み合わせの全てが本発明の解決手段に必須のものとは限らない。

［第１実施形態］
本実施形態においては、物体の形状や撮像条件（撮像方向や撮像距離）に依らない物体の色を評価する。本実施形態における物体（立体物）は、曲面形状を有する車体である。

＜画像処理システムの構成＞
図１は、本実施形態における画像処理システムの構成を示す図である。画像処理システムは、撮像装置１０３と、画像処理装置１０４と、から構成される。物体１０１は、撮像対象であり、本実施形態においては、物体１０１の色が評価対象となる。マーカー１０２は、色の評価をするために物体１０１の表面に貼り付けられるマーカーである。マーカー１０２は、物体１０１の表面に貼り付けられることによって、物体１０１の形状を示す特徴を有している。撮像装置１０３は、物体１０１の表面に貼り付けられたマーカー１０２を撮像範囲に含めるように、物体１０１を撮像するためのデジタルカメラである。本実施形態における物体１０１は、パーツごとに形状が異なる車体の外装や内装とするが、曲面形状を有する物体であれば物体１０１は上記一例に限られない。また、撮像装置１０３は、レンズとＣＭＯＳ等の４０００×２０００画素のエリアセンサとを備えており、Ｒ（レッド）値、Ｇ（グリーン）値、Ｂ（ブルー）値の各色８ビット、計２４ビットの色情報を画素ごとに有する画像を表す画像データを生成する。尚、撮像装置１０３は、撮像対象物の色情報の２次元分布を取得できるカメラであればどのようなものであってもよく、色数やビット深度、画素数などは上述した一例に限定されない。撮像装置１０３はＵＳＢ（ユニバーサルシリアルバス）等のインターフェースを介して画像処理装置１０４に接続されている。画像処理装置１０４は、パーソナルコンピュータ等の汎用のコンピュータである。また、画像処理装置１０４には、ディスプレイ１０５、マウス１０６、キーボード１０７がＨＤＭＩ（登録商標）（高精細度マルチメディアインターフェース）やＵＳＢ等のインターフェースを介して接続されている。

＜マーカー１０２＞
次に、マーカー１０２について詳細な説明を行う。図４は、マーカー１０２のレイアウトの一例を示す図である。フレーム領域４０１は黒色の領域であり、フレーム領域４０１上に各種パターンが配置される。また、印領域４０２は白色の円領域であり、撮像画像の幾何補正を行うために用いられる領域である。マーカー１０２は、所定の間隔で配置された複数の印領域４０２から構成されるパターンを含む領域を有する。印領域４０２は、フレーム領域４０１上に少なくとも４つ以上配置される。図４においては、横方向に６個、縦方向に３個並ぶ計１８個の印領域４０２が設けられている。尚、被写界深度の影響等によって、撮像画像における印領域４０２のエッジにボケが発生した場合、印領域４０２が円形領域である場合は、円形領域の中心座標を２値化の閾値等のパラメータに依らずに安定して算出することができる。曲面を有する物体など、様々な方向から撮像することが望ましい場合は特に画像にボケが発生し易い。よって、印領域４０２の形状は、円形が望ましい。

また、図４においてハッチングされた領域は評価領域４０３である。評価領域４０３は、マーカーにおいて切り抜かれた領域である。このため、マーカー１０２を物体１０１に貼り付けると物体１０１の表面が露出し、物体１０１の表面の色の評価を行うことができる。評価領域４０３が印領域４０２に囲まれるように配置されていることを利用し、評価領域４０３を撮像することによって得られた撮像画像の幾何補正を行うことによって、物体１０１の形状や撮像条件に依らない色の評価が可能となる。

また、ＩＤコード領域４０４は、識別情報をコード化した領域である。識別情報は、マーカー１０２を識別するための情報であり、製造されたマーカー１０２ごとに割り振られた番号である。この識別番号により、複数のマーカー１０２が１つの撮像画像中に含まれていても、評価領域４０３を区別して色を評価することが可能となる。ＩＤコード領域４０４のパターンは、領域を８×８画素の計６４個のブロックに分割し、各ブロックを白と黒との２値で表現することによって、６４ビットの識別番号が表現可能なものを使用する。

印領域４０２の色は、印領域４０２における照明光の強さの違いを推定するために、白色であることが望ましい。印領域４０２における照明光の強さの違いを推定することにより、評価領域４０３において生じる照度ムラの影響を低減することができる。本実施形態における物体１０１は曲面を有しているため、平面の場合より照明光の強さが位置に応じて変化しやすい。そのため、照度ムラの影響を低減することによって、評価領域４０３の色を高精度に評価することができる。また、フレーム領域４０１の色は、印領域４０２とのコントラストを大きくすることによって、撮像画像から印領域４０２の抽出する処理を高精度に行うため、黒色が望ましい。

マーカー１０２は、上述したレイアウトを、物体１０１の表面に合わせて自由に曲げることのできるフレキシブルな基材上に印刷したものである。尚、基材はマグネットや吸着シートなど、貼ったり剥がしたりを繰り返すことのできる素材が望ましい。また、マーカー１０２は、マーカー１０２に皺ができないように、また、物体１０１の表面との間に隙間ができないように、貼り付けられることが望ましい。また、印刷に用いるインクやトナーなどの記録材を拡散性を有するマットな記録材とすることによって、光源や周囲の映り込みを低減することができるため、印領域４０２を高精度に抽出できるようになる。

＜画像処理装置１０４のハードウェア構成＞
図２（ａ）は、画像処理装置１０４のハードウェア構成を示すブロック図である。画像処理装置１０４は、ＣＰＵ１００１、ＲＯＭ１００２、ＲＡＭ１００３を備える。また、画像処理装置１０４は、ＶＣ（ビデオカード）１００４、汎用Ｉ／Ｆ（インターフェース）１００５、ＳＡＴＡ（シリアルＡＴＡ）Ｉ／Ｆ１００６、ＮＩＣ（ネットワークインターフェースカード）１００７を備える。ＣＰＵ１００１は、ＲＡＭ１００３をワークメモリとして、ＲＯＭ１００２、ＨＤＤ（ハードディスクドライブ）１０１３などに格納されたＯＳ（オペレーティングシステム）や各種プログラムを実行する。また、ＣＰＵ１００１は、システムバス１００８を介して各構成を制御する。尚、後述するフローチャートによる処理は、ＲＯＭ１００２やＨＤＤ１０１３などに格納されたプログラムコードがＲＡＭ１００３に展開され、ＣＰＵ１００１によって実行される。ＶＣ１００４には、ディスプレイ１０５が接続される。汎用Ｉ／Ｆ１００５には、シリアルバス１００９を介して、マウス１０６やキーボード１０７などの入力デバイス１０１０や撮像装置１０３が接続される。ＳＡＴＡＩ／Ｆ１００６には、シリアルバス１０１２を介して、ＨＤＤ１０１３や各種記録メディアの読み書きを行う汎用ドライブ１０１４が接続される。ＮＩＣ１００７は、外部装置との間で情報の入力及び出力を行う。ＣＰＵ１００１は、ＨＤＤ１０１３や汎用ドライブ１０１４にマウントされた各種記録メディアを各種データの格納場所として使用する。ＣＰＵ１００１は、プログラムによって提供されるＵＩ（ユーザインターフェース）をディスプレイ１０５に表示し、入力デバイス１０１０を介して受け付けるユーザ指示などの入力を受信する。

＜画像処理装置１０４の機能構成＞
図２（ｂ）は、画像処理装置１０４の機能構成を示すブロック図である。ＯＳ２０１は、オペレーティングシステムであり、入出力の制御、および、アプリケーションの起動や切り替え等を行う命令群である。また、デバイスドライバ２０２は、ＯＳ２０１に含まれるデバイスドライバであり、画像処理装置１０４に接続された撮像装置１０３、ディスプレイ１０５、マウス１０６、キーボード１０７等の機器を制御する命令群である。各種アプリケーションは、ＯＳ２０１に所定の命令を送ることにより、これらの機器を制御することが可能である。

撮像アプリケーション２０３は、撮像装置１０３を用いた撮像を行い、撮像によって得られた画像データをＨＤＤ１０１３に保存する一連の操作を実現するための命令群である。具体的には、マウス１０６やキーボード１０７を介して入力されるユーザの指示に基づいて、撮像装置１０３のＩＳＯ感度、シャッター速度、絞り値等を変更する命令や、撮像実行命令、画像データの転送命令などをＯＳ２０１に送る。そして、その結果をディスプレイ１０５に表示する。

色評価アプリケーション２０４は、物体１０１の表面に貼り付けられたマーカー１０２を撮像することによって得られた撮像画像データを処理し、物体１０１の色を評価するための命令群である。色評価アプリケーション２０４は、撮像画像データ取得部２０５、メタデータ取得部２０６、抽出部２０７、幾何補正部２０８、照度ムラ補正部２０９、参照画像データ取得部２１０、評価部２１１を有する。撮像画像データ取得部２０５は、物体１０１の表面に貼り付けられたマーカー１０２を撮像することによって得られた撮像画像データを取得する。メタデータ取得部２０６は、撮像画像データが表す撮像画像を正規化するために用いるメタデータを取得する。ここで、メタデータはマーカー画像（正規画像）についての詳細を示すメタデータである。また、正規画像に合わせて撮像画像の画素座標を統一するために幾何補正を行うことを正規化と呼ぶ。抽出部２０７は、撮像画像においてマーカー１０２のＩＤコード領域４０４を抽出し、マーカー１０２の識別番号を読み取る。幾何補正部２０８は、メタデータに基づいて、撮像画像を正規化する。照度ムラ補正部２０９は、正規化された撮像画像に含まれる照度ムラを低減するために、正規化された撮像画像を補正する。参照画像データ取得部２１０は、正規化された撮像画像と比較するための参照画像を表す参照画像データを取得する。評価部２１１は、正規化された撮像画像を表す撮像画像データと参照画像データとに基づいて、物体の１０１の色を評価する。

＜画像処理システムが実行する処理＞
本実施形態における画像処理システムが実行する処理の流れを、図３のフローチャートを用いて説明する。以下、各ステップ（工程）は符号の前にＳをつけて表す。

Ｓ３０１において、撮像アプリケーション２０３は、ユーザからの撮像指示に応じて、物体１０１におけるマーカー１０２が貼り付けられた領域を撮像装置１０３を用いて撮像する。撮像によって得られた撮像画像データは、ＨＤＤ１０１３に送られ、保存される。Ｓ３０２において、色評価アプリケーション２０４は、保存された撮像画像データに対する処理を行い、正規化された撮像画像を表す撮像画像データを生成する。Ｓ３０２の処理の詳細は後述する。Ｓ３０３において、色評価アプリケーション２０４は、正規化された撮像画像を表す撮像画像データに基づいて物体１０１の色を評価し、評価結果をディスプレイ１０５に表示させる。Ｓ３０３の処理の詳細は後述する。

＜Ｓ３０２における処理＞
以下においては、Ｓ３０２において色評価アプリケーション２０４が実行する処理の詳細を説明する。図５は、Ｓ３０２において色評価アプリケーション２０４が実行する処理の流れを示すフローチャートである。色評価アプリケーション２０４がＯＳ２０１から起動命令を受けると、まず、Ｓ５０１の処理が実行される。

Ｓ５０１において、撮像画像データ取得部２０５は、Ｓ３０２における撮像によって得られた撮像画像データを取得する。具体的には、ファイルダイヤログ等をディスプレイ１０５に表示させ、入力デバイス１０１０を介したユーザの指示に応じて撮像画像データをＨＤＤ１０１３からＲＡＭ１００３等の主記憶装置に読み込む。

Ｓ５０２において、抽出部２０７は、撮像画像においてＩＤコード領域４０４に対応する領域を抽出し、抽出した領域のパターンからマーカー１０２の識別番号を読み取る。具体的には、抽出部２０７は、撮像画像の画素値を２値化する。この２値化処理は、所定の閾値以上の画素値を有する画素を白、所定の閾値未満の画素値を有する画素を黒とする２値化処理である。２値化処理後の撮像画像において公知のキャニー法を用いてエッジ位置を抽出し、８つの近傍画素にエッジ位置がある画素を同一の輪郭とみなしてグループ化する輪郭抽出を行う。抽出した複数の輪郭グループの中から四角形の輪郭を選択し、ＩＤコード領域４０４が実際の形状と同じになるように輪郭を変形する。変形された輪郭の内部のパターンを、８×８画素のブロックに分割し、各ブロックの濃淡に基づいて識別番号を読み取る。

Ｓ５０３において、メタデータ取得部２０６は、撮像画像を正規化するために用いるメタデータをＨＤＤ１０１３からＲＡＭ１００３等の主記憶装置に読み込む。ここで、図６を用いてメタデータについて説明する。

図６（ａ）はメタデータの一例を示す図である。領域６０１は、正規化後の撮像画像のサイズを記録する領域であり、幅及び高さがピクセル単位で記録される。領域６０２は、正規化後の撮像画像における印領域４０２それぞれの中心の座標値を示す領域であり、正規化後の撮像画像の左上を原点とする２次元の座標値がピクセル単位で各行に記録される。したがって、領域６０２には、印領域４０２の数と同じ数の行が記録される。領域６０３は、図６（ｂ）において破線で示した矩形の情報を記録する領域である。領域６０２に記録された印領域４０２の中心を頂点とし、矩形の４つの頂点に対応した領域６０２における行番号が領域６０３の各行に記録される。領域６０４は、正規化後の撮像画像における評価領域４０３それぞれの位置、大きさを記録する領域である。正規化後の撮像画像における評価領域４０３の左上の座標値と、幅及び高さがピクセル単位で各行に記録される。このメタデータは、テキスト形式でＨＤＤ１０１３に予め保存されている。

Ｓ５０４において、抽出部２０７は、撮像画像データに基づいて、印領域４０２の中心座標を、撮像画像におけるマーカーの歪みを特定するための情報として算出する。また、抽出部２０７は、白色情報として印領域４０２それぞれの平均画素値を算出する。ここでは、Ｓ５０２と同様に輪郭抽出までの処理を行い、輪郭グループの中から円または楕円となる輪郭の候補を選択する。輪郭の候補として選択された円または楕円の輪郭により囲まれる面積を算出し、算出した各輪郭の面積と予め設定された印領域４０２の面積との差に応じて候補の順位づけを行う。順位１〜１８の印領域４０２に対応する複数の輪郭を抽出し、各輪郭の中心座標値と輪郭内部の平均画素値とを算出する。各輪郭の中心座標値の相対的な位置関係が、領域６０２に記載されている座標値の相対的な位置関係と一致するように各輪郭の中心座標値と平均画素値とをソートする。

Ｓ５０５において、幾何補正部２０８は、物体１０１の表面に貼り付けられたマーカー１０２を撮像することによって得られた撮像画像をメタデータに基づいて正規化し、正規化された撮像画像を表す撮像画像データを得る。Ｓ５０５の処理の詳細を図７のフローチャートを用いて説明する。

Ｓ７０１において、幾何補正部２０８は、メタデータから矩形の頂点座標を読み込む。具体的には、メタデータから、領域６０３に示した矩形情報から一行を読み取り、各頂点に対応する座標値を領域６０２から読み取る。Ｓ７０２において、幾何補正部２０８は、Ｓ５０４において算出した印領域４０２の中心座標から、Ｓ７０１において座標値を読み取った各頂点に対応する座標値を読み取る。印領域４０２の中心座標の順は、すでにＳ５０４において領域６０２に登録されている座標値の順と一致するようにソートされている。このため、Ｓ７０２においては、Ｓ７０１と同様に領域６０３に記載されている頂点の番号に対応する中心座標を抽出すればよい。

Ｓ７０３において、幾何補正部２０８は、Ｓ７０１において読み込んだ頂点の座標値によって形成される平面を、Ｓ７０２において読み込んだ頂点の座標値で形成される平面に射影するホモグラフィ行列を算出する。ここで、ホモグラフィ行列は、ａ〜ｈを要素として有する、式（１）によって表される行列である。尚、（ｕ´，ｖ´）は正規化されていない撮像画像における座標値、（ｕ，ｖ）は正規化された撮像画像における座標値である。ｕ´は正規化されていない撮像画像における横方向の画素位置（座標）であり、ｖ´は正規化されていない撮像画像における縦方向の画素位置（座標）である。ｕは正規化された撮像画像における横方向の画素位置（座標）であり、ｖは正規化された撮像画像における縦方向の画素位置（座標）である。

式（１）に示すホモグラフィ行列は、自由度が８であるため、矩形の４つの頂点座標の対応関係に基づいて連立一次方程式を解くことによって算出する。

Ｓ７０４において、幾何補正部２０８は、正規化される前の撮像画像に基づいて、正規化された撮像画像の各画素の色情報を算出する。まず、幾何補正部２０８は、正規化された後の撮像画像を表す撮像画像データを格納する記憶領域をＲＡＭ１００３に確保する。つまり、領域６０１に記録された幅及び高さを有し、正規化される前の撮像画像と同じＲ値、Ｇ値、Ｂ値の各色８ビット、計２４ビットの色情報を各画素が有する画像を表す画像データを格納する記憶領域をＲＡＭ１００３に確保する。尚、この処理を複数の矩形に対して繰り返し行う場合は、最初の処理時のみ、この記憶領域が確保される。次に、幾何補正部２０８は、正規化された撮像画像において対象とする矩形内の各画素の座標値（ｕ，ｖ）を式（１）に従って変換し、撮像画像における座標値（ｕ´，ｖ´）を算出する。幾何補正部２０８は、撮像画像における座標値（ｕ´，ｖ´）の色情報を、周辺画素の色情報から公知の線形補間やバイキュービック補間等によって算出し、その色情報を正規化された撮像画像の座標値（ｕ、ｖ）における色情報とする。Ｓ７０１〜Ｓ７０４の処理は、領域６０３の各行において定義される全ての矩形に対して行われ、これにより正規化された撮像画像を表す撮像画像データが得られる。

Ｓ５０６において、照度ムラ補正部２０９は、正規化された撮像画像における評価領域の照度ムラを低減するため、正規化された撮像画像を補正する。本実施形態においては、白色領域として、印領域４０２を用いるものとして説明する。まず、照度ムラ補正部２０９は、正規化された撮像画像と同じサイズの記憶領域をＲＡＭに確保し、照度ムラ画像データを生成する。次に、照度ムラ補正部２０９は、Ｓ５０４において算出した各頂点に対応する印領域４０２の平均画素値を白色情報として、各矩形の頂点座標に位置する画素の色情報を算出する。次に、照度ムラ補正部２０９は、各矩形内部の画素値を、各矩形の頂点位置と各矩形内部の画素との距離に応じた重みを加えた加重平均により算出する。次に、照度ムラ補正部２０９は、この照度ムラ画像データに基づいて、正規化された撮像画像を補正する。評価領域ごとに照度ムラ画像の色情報の平均値を算出し、（色情報の平均値／着目画素の色情報）となる係数を画素ごとに算出する。正規化された撮像画像における評価領域の各画素の色情報に、その画素に対応した係数を乗じることにより補正を行う。補正された撮像画像は、ディスプレイ１０５において表示される。尚、補正された撮像画像はディスプレイ１０５において表示するのではなく、補正された撮像画像を表す撮像画像データを、ＨＤＤ１０１３内のユーザが指定した任意の場所に保存してもよい。

＜Ｓ３０３における処理＞
以下においては、Ｓ３０３において色評価アプリケーション２０４が実行する処理の詳細を説明する。図８は、Ｓ３０３において色評価アプリケーション２０４が実行する処理の流れを示すフローチャートである。

Ｓ８０１において、参照画像データ取得部２１０は、撮像画像との比較の対象である参照画像を表す参照画像データを取得する。参照画像は、物体１０１とは別の物体に貼り付けたマーカー１０２、又は、物体１０１と同じ物体の異なる位置に貼り付けたマーカー１０２を撮像することによって得られる画像データをＳ３０３における処理によって正規化した画像である。Ｓ８０１において、参照画像データ取得部２１０は、予めＨＤＤ１０１３内の任意の場所に保存された参照画像データを読み込む。

Ｓ８０２において、評価部２１１は、正規化された撮像画像における評価領域４０３の全画素において、各画素の色情報と、参照画像の同一位置における画素の色情報と、の色差を算出する。ここで色差は、ＲＧＢ各チャンネルの平均二乗誤差とする。尚、色差は、ＲＧＢをＣＩＥＬ^＊ａ^＊ｂ^＊色空間など変換式を用いて等色色空間における色情報に変換し、変換された色情報同士の平均二乗誤差としてもよい。

Ｓ８０３において、色評価部２１１は、Ｓ８０２において算出した各画素の色差の平均値を評価値として算出する。算出した評価値を所定の値と比較し、評価値が所定の値以下の場合は、撮像画像と参照画像とが同一の色であると判定し、同一の色であることを示す判定結果を通知するダイヤログ等の表示をディスプレイ１０５において行う。評価値が所定の値より大きい場合は、同一の色でないことを通知するダイヤログ等の表示をディスプレイ１０５において行う。

Ｓ８０４において、色評価部２１１は、色差画像データを生成し、生成した色差画像データが表す色差画像をディスプレイ１０５に表示させる。色差画像は、各画素の色差の大きさを、８ビットの濃淡で示した画像である。図１１（ａ）に、ディスプレイ１０５に表示させる色差画像の一例を示す。図１１（ａ）の例においては、色差画像における評価領域４０３に対応する領域１１０１を切り出して表示している。色差画像を表示することによって、物体１０１の傷の有無など、ユーザが目視で検査を行うことが可能となる。撮像方向や撮像距離に応じて撮像画像における傷の大きさは異なってしまうが、上述した処理により撮像画像を正規化することによって、物体１０１の形状や撮像条件に依らない色の評価を行うことができる。よって、物体の検査などを効率化させることができる。尚、Ｓ８０３とＳ８０４とは、どちらか一方を行うようにしてもよい。例えば、物体１０１の検査を行いたい場合は、Ｓ８０３において、同一の色であることを示す判定結果を検査合格としてユーザに通知し、同一の色でないことを示す判定結果を検査不合格としてユーザに通知してもよい。

＜第１実施形態の効果＞
以上説明したように、本実施形態における画像処理装置は、物体の表面を撮像することによって得られる撮像画像データを取得する。物体の表面の形状を示す情報を抽出する。物体の表面の形状を示す情報に基づいて、撮像画像を補正する。これにより、対象物の異なるパーツ同士、又は、パーツと塗料見本など、形状が違うものの色の違いや傷などが容易に検査可能となる。本実施形態における物体１０１のような車体の外装に対しては、塗装の均一性を評価することができる。つまり、本実施形態によれば、物体の形状や撮像条件に依らずに、物体の色を評価するための情報を提供することができる。また、立体物においては、位置毎に立体物の表面と照明との距離が異なるため、表面形状に応じた照度ムラが発生する。本実施形態においては、評価領域の周囲の情報に基づいて照度ムラを低減するように撮像画像を補正したため、立体物の表面形状に応じた照度ムラを低減することができ、より高精度に立体物の色を評価することができる。

［第２実施形態］
第１実施形態においては、曲面形状を有する物体表面の色を評価した。物体表面のテクスチャパターンは、物体の形状や撮像条件に応じて大きさが変化したり歪んだりする。本実施形態においては、撮像画像を正規化することにより、テクスチャパターンの大きさの統一と歪みの補正とを行い、物体表面のテクスチャ（色の分布）を評価する。尚、本実施形態における画像処理システムの構成は第１実施形態のものと同様であるため、説明を省略する。また、画像処理システムが実行する処理の流れ、Ｓ３０１及びＳ３０２の処理も第１実施形態と同様であるため、説明を省略する。以下において、本実施形態と第１実施形態とで異なる部分を主に説明する。

＜Ｓ３０３における処理＞
以下においては、Ｓ３０３において色評価アプリケーション２０４が実行する処理の詳細を説明する。図９は、Ｓ３０３において色評価アプリケーション２０４が実行する処理の流れを示すフローチャートである。

Ｓ９０１において、評価部２１１は、正規化された撮像画像における評価領域４０３に対して離散フーリエ変換を行う。Ｓ９０２において、評価部２１１は、Ｓ９０１における離散フーリエ変換の結果に基づいて、評価値を算出する。具体的には、まず、離散フーリエ変換の結果に基づいて、振幅が最大となる空間周波数（ｆｘ，ｆｙ）を算出する。ここで、ｆｘは画像の横方向、ｆｙは画像の縦方向の周波数である。次に、式（２）において評価値ｄを算出する。

ここで、（ｒｘ，ｒｙ）は予め設定された基準の周波数である。

Ｓ９０３において、評価部２１１は、評価値に基づいて、撮像画像のテクスチャが参照画像と同一のパターンを有するテクスチャであるか否かを判定し、判定結果をディスプレイ１０５に表示させる。評価値ｄが所定の値以下である場合は、撮像画像のテクスチャが参照画像と同一のパターンを有するテクスチャであることを通知するダイヤログ等の表示をディスプレイ１０５において行う。また、評価値ｄが所定の値より大きい場合は、撮像画像のテクスチャが参照画像と同一のパターンを有さないテクスチャであることを通知するダイヤログ等の表示をディスプレイ１０５において行う。

Ｓ９０４において、評価部２１１は、離散フーリエ変換によって得られた画像をディスプレイ１０５に表示させる。離散フーリエ変換によって得られた画像は、離散フーリエ変換によって算出される各画素の振幅値を、８ビット等の濃淡で示した画像である。離散フーリエ変換によって得られた画像を表示することによって、ユーザが目視で検査を行うことが可能となる。尚、Ｓ９０３とＳ９０４とは、どちらか一方を行うようにしてもよい。例えば、物体１０１の検査を行いたい場合は、Ｓ９０３において、同一のテクスチャであることを示す判定結果を検査合格としてユーザに通知し、同一のテクスチャでないことを示す判定結果を検査不合格としてユーザに通知してもよい。

＜第２実施形態の効果＞
以上説明したように、本実施形態における画像処理装置は、曲面形状を有する物体表面のテクスチャ、つまり色の分布を、テクスチャパターンの大きさの統一と歪みの補正とを行うことによって評価した。よって、立体物の色を高精度に評価することができる。

［その他の実施形態］
上述した実施形態におけるマーカー１０２は、図４に示したレイアウトであったが、マーカーのレイアウトは上記一例に限定されない。図１０は、マーカー１０２の変形例を示す図である。図１０（ａ）に示すように、マーカー１０２は、印領域４０２の座標を撮像画像から抽出することができれば、ＩＤコード領域４０４を有していなくてもよい。また、図１０（ｂ）に示すように、縦方向、又は横方向の印領域４０２を減らし、評価領域４０３を大きくしてもよい。この場合、省略された印領域４０２の座標値及び平均画素値は、他の印領域４０２の座標値及び平均画素値を用いた線形補間等により算出できる。また、図１０（ｃ）に示すように、フレーム領域４０１と印領域４０２との色を反転させたものであってもよい。これにより、物体１０１が黒色などのフレーム領域４０１の色と近い場合であっても、マーカー１０２の位置を抽出し易くなる。この場合、照度ムラの低減処理における白色情報を、各印領域４０２の平均画素値の代わりに、各印領域４０２の外周に位置するフレーム領域４０１の画素値とすればよい。

上述した実施形態における色評価アプリケーション２０４は、照度ムラ補正部２０９を有していたが、色評価アプリケーション２０４は照度ムラ補正部２０９を有していなくてもよい。この場合、Ｓ５０６における補正を行わずにＳ３０２を終了し、処理をＳ３０３に移行する。また、照度ムラ補正を行うモードか行わないモードかをユーザに指定させ、指定されたモードに応じて処理を切り替えてもよい。

上述した実施形態における印領域４０２の形状は円形であったが、印領域４０２の形状は円形に限られない。例えば、印領域４０２の形状は三角形であってもよい。また、ＩＤコード領域４０４を有さないマーカーを用いる場合や、ＩＤコード領域４０４と大きさによって区別することができる場合には、印領域４０２の形状は四角形であってもよい。

上述した実施形態におけるマーカー１０２は、物体１０１に貼り付けられたが、物体１０１の形状に応じた撮像ができるように配置されていれば、貼り付けられていなくてもよい。例えば、プロジェクタによって投影されたマーカー画像をマーカー１０２として用いてもよい。

上述した実施形態においては、Ｓ５０２において、抽出部２０７は、キャニー法を用いてエッジの抽出を行ったが、エッジの抽出方法は上記一例に限定されない。例えば、ソーベルフィルタを用いてエッジの抽出を行ってもよい。

上述した実施形態においては、Ｓ８０４において、色評価部２１１は、色差画像をディスプレイ１０５に表示させたが、ディスプレイ１０５に表示させる画像は色差画像だけでなくてもよい。例えば、図１１（ｂ）に示すように、正規化後の撮像画像と参照画像と色差画像との３つの画像をディスプレイ１０５に表示させてもよい。図１１（ｂ）の例においては、正規化後の撮像画像における評価領域４０３に対応する領域１１０３、参照画像における評価領域４０３に対応する領域１１０２、色差画像における評価領域４０３に対応する領域１１０１を切り出して表示している。

上述した実施形態においては、色の比較を行うための参照データとして参照画像データを用いたが、正規化された撮像画像の色と比較するための色を表すデータであれば、参照データは画像データに限られない。

上述した実施形態においては、画像処理システムがＳ３０１において撮像を行い、撮像によって得られた撮像画像データに対してＳ３０２の処理を行ったが、処理の流れは上記一例に限定されない。Ｓ３０１における撮像と同様の撮像を予め行っておき、撮像によって得られた撮像画像データをＨＤＤ１０１３に保存しておくことによって、Ｓ３０１における処理を省略してもよい。また、撮像を行うモードか、予め撮像によって得られた撮像画像データを取得するモードか、をユーザに指定させ、指定されたモードに応じて処理を切り替えてもよい。

上述した実施形態においては、図３、図５、図７、図８、図９のフローチャートに従って処理を行ったが、処理の順番は各フローチャートに示す処理の流れに限定されない。例えば、Ｓ５０３におけるメタデータの取得は、Ｓ５０５の前に行われるのであれば、Ｓ５０１における撮像画像データの取得と平行して行うなど、図５のフローチャートに示す順番に行われなくてもよい。また、Ｓ５０４における印領域４０２の平均画素値の算出を、Ｓ５０６において行ってもよい。

上述した実施形態においては、撮像画像と参照画像とを比較することによって物体１０１の色の評価を行ったが、参照画像を用いずに色の評価を行ってもよい。例えば、参照する情報は、画像ではなく、予め決められた色の信号値であってもよい。この場合、参照画像データ取得部２１０は、参照データ取得部２１０として、色の信号値を表す参照データを取得する。また、物体１０１の色の評価を行う際に撮像画像と参照画像との比較を行うモードか行わないモードかをユーザに指定させ、指定されたモードに応じて処理を切り替えてもよい。

上述した実施形態においては、フレーム領域４０１上に少なくとも４つ以上印領域４０２が配置されたマーカー１０２を用いて処理を行った。しかしながら、撮像装置１０３の撮像パラメータ（焦点距離及び主点位置）をさらに取得するのであれば、３つの印領域４０２が配置されたマーカーであっても上述したような色の評価を行うことが可能である。

上述した実施形態においては、物体１０１に貼り付けられたマーカー１０２を利用して撮像画像の正規化を行ったが、撮像画像の正規化はマーカーを利用する方法に限定されない。例えば、物体の形状を測定可能なスキャナ（測定装置）を用いて得られた測定データや、ＣＡＤデータなどの製図情報を、物体の３次元形状を示す形状データとして利用する方法であってもよい。具体的には、まず、上述した方法によって得られた形状データに基づいて、物体を仮想の位置及び姿勢で撮像した画像をシミュレーションする。実際に物体を撮像することよって得られた撮像画像とシミュレーションにより得られた画像との特徴量が一致するか否かを判定する処理を、位置及び姿勢を変えながら繰り返し行う。特徴量が一致する位置及び姿勢のシミュレーション結果に基づいて、物体の３次元座標と撮像画像の各画素との対応関係を算出する。算出した対応関係に基づいて、形状データにおける物体を構成するポリゴンを矩形などの所定の形に変形する幾何補正行列を算出し、算出した幾何補正行列を用いて撮像画像を正規化する。

第１実施形態においては物体１０１の色の評価を行い、第２実施形態においては物体１０１のテクスチャ（色の分布）の評価を行ったが、両方の評価を行ってもよい。また、色の評価を行うモードかテクスチャの評価を行うモードかをユーザに指定させ、指定されたモードに応じて処理を切り替えてもよい。

本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１０４画像処理装置
２０５撮像画像データ取得部
２０７抽出部
２０８幾何補正部

Claims

物体の表面を撮像することによって得られる撮像画像データを取得する撮像画像データ取得手段と、
前記物体の表面の形状を示す情報を抽出する抽出手段と、
前記物体の表面の形状を示す情報に基づいて、前記撮像画像を補正する補正手段と、
を有することを特徴とする画像処理装置。
前記撮像画像データ取得手段は、前記物体の表面と、前記物体の表面に配置され、前記物体の表面の形状を示す特徴を有するマーカーと、を撮像することによって得られる撮像画像データを取得し、
前記抽出手段は、前記撮像画像データが表す撮像画像における前記マーカーの特徴に基づいて、前記物体の表面の形状を示す情報を抽出することを特徴とする請求項１に記載の画像処理装置。
前記抽出手段は、前記撮像画像における前記マーカーの特徴に基づいて、前記物体の表面の形状に応じた前記撮像画像におけるマーカーの歪みを特定するための情報を抽出することを特徴とする請求項２に記載の画像処理装置。
前記マーカーの特徴は、前記マーカーの歪みを特定するためのパターンを有し、かつ、前記物体に配置された際に前記物体の表面が露出する領域を有することであることを特徴とする請求項２又は請求項３に記載の画像処理装置。
前記補正手段によって補正された前記撮像画像に基づいて、前記物体の表面の色を評価する評価手段と、さらに有することを特徴とする請求項２乃至請求項４のいずれか一項に記載の画像処理装置。
前記撮像画像の色を評価するために参照する色を表す参照データを取得する参照データ取得手段をさらに有し、
前記評価手段は、補正された前記撮像画像の色と前記参照データが表す色とに基づいて、前記物体の表面の色を評価することを特徴とする請求項５に記載の画像処理装置。
前記評価手段は、補正された前記撮像画像の色と前記参照データが表す色との色差に基づいて、前記物体の表面の色を評価することを特徴とする請求項６に記載の画像処理装置。
前記評価手段は、前記色差が所定の閾値以上であるか否かを判定することによって、前記物体の表面の色を評価することを特徴とする請求項７に記載の画像処理装置。
前記参照データ取得手段は、前記参照データとして、参照する色を有する参照画像を表す参照画像データを取得することを特徴とする請求項６乃至請求項８のいずれか一項に記載の画像処理装置。
前記撮像画像における前記物体の表面に生じた照度ムラを低減する低減手段をさらに有し、
前記評価手段は、前記照度ムラが低減された前記撮像画像を表す撮像画像データに基づいて、前記物体の表面の色を評価することを特徴とする請求項５乃至請求項９のいずれか一項に記載の画像処理装置。
前記マーカーは白色領域を有し、
前記低減手段は、前記白色領域における色情報に基づいて、前記照度ムラを低減することを特徴とする請求項１０に記載の画像処理装置。
前記パターンは前記マーカーが有する白色領域であって、
前記抽出手段は、前記撮像画像データに基づいて、前記パターンに含まれる印に対応する領域の平均画素値を前記白色領域の色情報として算出し、
前記平均画素値に基づいて、前記撮像画像における前記物体の表面に生じた照度ムラを低減する低減手段と、
前記照度ムラが低減された前記撮像画像を表す撮像画像データに基づいて、前記物体の表面の色を評価する評価手段と、をさらに有することを特徴とする請求項４に記載の画像処理装置。
前記抽出手段は、前記撮像画像データが表す撮像画像における前記マーカーの特徴に基づいて、前記物体の表面の形状を示す情報として、前記パターンに含まれる印の中心座標を算出することを特徴とする請求項４又は請求項１２に記載の画像処理装置。
前記マーカーに関する情報を有するメタデータを取得するメタデータ取得手段と、
前記補正手段は、前記物体の表面の形状を示す情報と、前記メタデータと、に基づいて、前記撮像画像を補正することを特徴とする請求項２乃至請求項１３のいずれか一項に記載の画像処理装置。
前記評価手段は、前記補正手段によって補正された前記撮像画像の空間周波数に基づいて、前記物体の表面の色の分布を評価することを特徴とする請求項５又は請求項６に記載の画像処理装置。
前記パターンに含まれる印は、所定の面積を有する円であることを特徴とする請求項４に記載の画像処理装置。
前記マーカーは、前記パターンに含まれる印を少なくとも４つ有するマーカーであることを特徴とする請求項４に記載の画像処理装置。
前記評価手段による評価の結果を出力する出力手段をさらに有することを特徴とする請求項５乃至請求項１２のいずれか一項に記載の画像処理装置。
物体の表面と、前記物体の表面に配置され、前記物体の表面の形状を示す特徴を有するマーカーと、を撮像することによって得られる撮像画像データと、参照画像を表す参照データと、を取得する取得手段と、
補正された前記撮像画像と、前記参照画像と、補正された前記撮像画像の各画素の色と前記参照画像の各画素の色との色差が各画素に記録された色差画像と、を表示する表示手段と、
を有することを特徴とする画像処理装置。
コンピュータを請求項１乃至請求項１９のいずれか一項に記載の画像処理装置の各手段として機能させるためのプログラム。
物体の表面を撮像することによって得られる撮像画像データを取得するステップと、
前記物体の表面の形状を示す情報を抽出するステップと、
前記物体の表面の形状を示す情報に基づいて、前記撮像画像を補正するステップと、
を有することを特徴とする画像処理方法。
物体の表面と、前記物体の表面に配置され、前記物体の表面の形状を示す特徴を有するマーカーと、を撮像することによって得られる撮像画像データと、参照画像を表す参照データと、を取得する取得ステップと、
補正された前記撮像画像と、前記参照画像と、補正された前記撮像画像の各画素の色と前記参照画像の各画素の色との色差が各画素に記録された色差画像と、を表示する表示ステップと、
を有することを特徴とする画像処理方法。
物体の表面に配置されるマーカーであって、
前記物体の表面の形状を示す特徴を有するパターンを有し、かつ、前記物体に配置された際に前記物体の表面が露出する領域を有するマーカー。