JP7272296B2 - 判定方法、判定装置及び判定プログラム - Google Patents
判定方法、判定装置及び判定プログラム Download PDFInfo
- Publication number
- JP7272296B2 JP7272296B2 JP2020019885A JP2020019885A JP7272296B2 JP 7272296 B2 JP7272296 B2 JP 7272296B2 JP 2020019885 A JP2020019885 A JP 2020019885A JP 2020019885 A JP2020019885 A JP 2020019885A JP 7272296 B2 JP7272296 B2 JP 7272296B2
- Authority
- JP
- Japan
- Prior art keywords
- paint
- mixed
- image
- reflecting material
- type
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 23
- 239000003973 paint Substances 0.000 claims description 151
- 239000000463 material Substances 0.000 claims description 36
- 238000003384 imaging method Methods 0.000 claims description 12
- 238000004364 calculation method Methods 0.000 claims description 8
- 238000012549 training Methods 0.000 claims description 6
- 238000012545 processing Methods 0.000 description 11
- 238000010586 diagram Methods 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 239000003086 colorant Substances 0.000 description 4
- 238000011156 evaluation Methods 0.000 description 3
- 229910052782 aluminium Inorganic materials 0.000 description 1
- XAGFODPZIPBFFR-UHFFFAOYSA-N aluminium Chemical compound [Al] XAGFODPZIPBFFR-UHFFFAOYSA-N 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 229910052500 inorganic mineral Inorganic materials 0.000 description 1
- 229910052751 metal Inorganic materials 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 150000002739 metals Chemical class 0.000 description 1
- 239000010445 mica Substances 0.000 description 1
- 229910052618 mica group Inorganic materials 0.000 description 1
- 239000011707 mineral Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/46—Colour picture communication systems
- H04N1/56—Processing of colour picture signals
- H04N1/60—Colour correction or control
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/60—Extraction of image or video features relating to illumination properties, e.g. using a reflectance or lighting model
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
- G01J3/46—Measurement of colour; Colour measuring devices, e.g. colorimeters
- G01J3/50—Measurement of colour; Colour measuring devices, e.g. colorimeters using electric radiation detectors
- G01J3/51—Measurement of colour; Colour measuring devices, e.g. colorimeters using electric radiation detectors using colour filters
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
- G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
- G01N21/27—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands using photo-electric detection ; circuits for computing concentration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/64—Three-dimensional objects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/46—Colour picture communication systems
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Software Systems (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Signal Processing (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Engineering & Computer Science (AREA)
- Analytical Chemistry (AREA)
- Evolutionary Biology (AREA)
- Mathematical Physics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Health & Medical Sciences (AREA)
- Chemical & Material Sciences (AREA)
- Evolutionary Computation (AREA)
- Biochemistry (AREA)
- General Health & Medical Sciences (AREA)
- Immunology (AREA)
- Pathology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Image Analysis (AREA)
- Spectrometry And Color Measurement (AREA)
- Investigating Or Analysing Materials By Optical Means (AREA)
Description
本発明は、物体に塗装された塗料の種類を判定する判定方法、判定装置及び判定プログラムに関する。
従来、物体に塗装された塗料の種類、例えば、光反射材料が混合された塗料と光反射材料が混合されていない塗料を判定する技術が提案されている。このような技術の一例として、特許文献１が開示する塗装色評価装置は、塗装面にコリメート光を照射し、塗装面の撮影画像について低輝度領域の平均値及び高輝度領域の輝度の平均値を算出し、これらの平均値に基づいて塗装面の塗装色を評価する。
しかしながら、特許文献１が開示する塗装色評価装置では、撮影する位置と方向が固定された複数の撮影装置を用いて、既定の位置に配置された物体の塗装面を撮影し、塗装面の塗装色を評価する。そのため、この塗装色評価装置では、判定対象の物体の局所的な範囲の塗料の種類を判定することしかできず、物体の広範囲に塗装された塗料の種類を判定できないという問題があった。
本発明は、このような問題を解決するためのものであり、判定対象の物体の広範囲に塗装された塗料の種類を判定することが可能な判定方法、判定装置及び判定プログラムを提供することを目的とする。
本発明の例示的な一態様に係る判定方法は、物体と撮影装置との位置関係が変化している状態で撮影装置によって連続して撮影された物体の複数の撮影画像を取得し、時間的に連続する複数の撮影画像のそれぞれを複数の画像領域に分割し、分割された複数の画像領域を、時間的に連続する複数の撮影画像の間で対応付け、対応付けられた各画像領域における最大輝度値と最小輝度値の輝度差を算出し、時間的に連続する複数の撮影画像の間で対応付けられた複数の画像領域における輝度差の変化に基づいて、物体に塗装された塗料の種類を判定する。
また、塗料の種類には、光反射材料が混合された塗料及び光反射材料が混合されていない塗料が含まれており、塗料の種類の判定において、物体に塗装された塗料が、光反射材料が混合された塗料及び光反射材料が混合されていない塗料のいずれかであるか判定することができる。
さらに、塗料の種類の判定は、学習済みモデルを用いて行われ、学習済みモデルは、時間的に連続する複数の撮影画像の間で対応付けられた各画像領域の輝度差を示す情報と、画像領域に表された物体に塗装されている塗料の種類を示す情報を、訓練データとして用いて学習され、学習済みモデルは、対応付けられた複数の画像領域の輝度差を示す情報を用いて、物体に塗装された塗料の種類を判定することができる。
さらに、塗料の種類の判定において、輝度差の変化が既定の閾値以上である場合、物体に塗装された塗料が、光反射材料が混合された塗料であると判定し、輝度差の変化が既定の閾値未満である場合、物体に塗装された塗料が、光反射材料が混合されていない塗料であると判定することができる。
本発明の例示的な一態様に係る判定装置は、物体と撮影装置との位置関係が変化している状態で撮影装置によって連続して撮影された物体の複数の撮影画像のそれぞれを複数の画像領域に分割する分割部と、分割された複数の画像領域を、時間的に連続する複数の撮影画像の間で対応付ける対応付け部と、対応付けられた各画像領域における最大輝度値と最小輝度値の輝度差を算出する輝度差算出部と、時間的に連続する複数の撮影画像の間で対応付けられた複数の画像領域における輝度差の変化に基づいて、物体に塗装された塗料の種類を判定する判定部とを備える。
また、塗料の種類には、光反射材料が混合された塗料及び光反射材料が混合されていない塗料が含まれており、判定部は、物体に塗装された塗料が、光反射材料が混合された塗料及び光反射材料が混合されていない塗料のいずれかであるか判定することができる。
さらに、判定部は、時間的に連続する複数の撮影画像の間で対応付けられた各画像領域の輝度差を示す情報と、画像領域に表された物体に塗装されている塗料の種類を示す情報を、訓練データとして用いて学習された学習済みモデルであり、学習済みモデルは、対応付けられた複数の画像領域の輝度差を示す情報を用いて、物体に塗装された塗料の種類を判定することができる。
さらに、判定部は、輝度差の変化が既定の閾値以上である場合、物体に塗装された塗料が、光反射材料が混合された塗料であると判定し、輝度差の変化が既定の閾値未満である場合、物体に塗装された塗料が、光反射材料が混合されていない塗料であると判定することができる。
本発明の例示的な一態様に係る判定プログラムは、物体に塗装された塗料の種類を判定する判定装置において実行され、判定装置が備える演算装置に対し、物体と撮影装置との位置関係が変化している状態で撮影装置によって連続して撮影された物体の複数の撮影画像を取得させるステップと、時間的に連続する複数の撮影画像のそれぞれを複数の画像領域に分割させるステップと、分割された複数の画像領域を、時間的に連続する複数の撮影画像の間で対応付けさせるステップと、対応付けられた各画像領域における最大輝度値と最小輝度値の輝度差を算出させるステップと、時間的に連続する複数の撮影画像の間で対応付けられた複数の画像領域における輝度差の変化に基づいて、物体に塗装された塗料の種類を判定させるステップとを実行させる。
また、塗料の種類には、光反射材料が混合された塗料及び光反射材料が混合されていない塗料が含まれており、塗料の種類を判定させるステップは、物体に塗装された塗料が、光反射材料が混合された塗料及び光反射材料が混合されていない塗料のいずれかであるか判定させるステップを含む。
本発明により、判定対象の物体の広範囲に塗装された塗料の種類を判定することが可能な判定方法、判定装置及び判定プログラムを提供することができる。
以下、図面を参照して、本発明の一態様について説明する。図１は、本発明の一態様に係る判定装置１０の構成を示すブロック図である。判定装置１０は、物体に塗装された塗料の種類を判定する判定装置である。判定装置１０の具体例としては、サーバやＰＣ（Personal Computer）等の情報処理装置等が挙げられるが、これらに限定されない。
判定対象の物体には、例えば、自動車等の車両が含まれる。塗料の種類には、光反射材料が混合された塗料（以下、「混合塗料」とする。）及び光反射材料が混合されていない塗料（以下、「非混合塗料」とする。）が含まれる。光反射材料には、当該光反射材料が混合される塗料よりも光沢性の高い他の物質、例えば、アルミ等の光沢性を有する金属、マイカ等の光沢性を有する鉱物などが含まれる。混合塗料は、例えば、パールカラーの塗料やメタリックカラーの塗料である。非混合塗料は、例えば、ソリッドカラーの塗料である。
判定装置１０は、塗装された物体の複数の撮影画像を撮影装置から取得する。撮影装置は、物体と撮影装置との位置関係が変化している状態で、塗装された物体を連続して撮影することにより、当該物体の時間的に連続する複数の撮影画像を生成する。例えば、塗装された物体がベルトコンベアー等の移動装置によって移動する場合、特定の位置に設置された撮影装置が、当該物体を連続して撮影することによって撮影画像を生成できる。また、塗装された物体が特定の位置に配置された状態で、撮影装置の位置を変化させながら、撮影装置が当該物体を連続して撮影することによって撮影画像を生成してもよい。さらに、塗装された物体が移動している状態で、撮影装置の位置を変化させながら、撮影装置が当該物体を連続して撮影することによって撮影画像を生成してもよい。
判定装置１０は、演算装置１００と、通信インタフェース（Ｉ／Ｆ）１１０と、記憶装置１２０とを備える。演算装置１００は、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）等の演算装置である。演算装置１００は、記憶装置１２０に保存されている判定プログラムを実行することにより、物体に塗装された塗料の種類を判定する判定方法を実行する。判定プログラムは、色調変更部１０１と、分割部１０２と、対応付け部１０３と、輝度差算出部１０４と、判定部１０５とを含む。
色調変更部１０１は、塗装された物体の撮影画像の色調を変更するプログラムモジュールである。具体的には、色調変更部１０１は、撮影画像の色調がカラーである場合、撮影画像の色調をカラーからグレースケールに変更する。なお、撮影画像の色調がグレースケールである場合、色調変更部１０１は、当該撮影画像の色調を変更しない。
分割部１０２は、塗装された物体の撮影画像を複数の画像領域に分割するプログラムモジュールである。分割部１０２は、図２に示すように、撮影画像を任意の大きさの画像領域に分割する。図２に示す例では、１つの撮影画像が３６個の画像領域に分割されるが、画像領域の数は、これに限定されない。
対応付け部１０３は、分割部１０２によって分割された複数の画像領域を複数の撮影画像の間で対応付けるための対応付け処理を実行するプログラムモジュールである。具体的には、対応付け部１０３は、時間的に連続する２つの撮影画像の画像領域を照合し、マッチングする画像領域の位置に基づいて、これらの撮影画像の各画像領域を対応付ける。対応付け処理の詳細については、図６を参照して後述する。
輝度差算出部１０４は、対応付け部１０３によって対応付けられた各画像領域における最大輝度値と最小輝度値の輝度差を算出するプログラムモジュールである。輝度差算出部１０４は、対応付けられた各画像領域の輝度値を解析し、各画像領域の最大輝度値及び最小輝度値を特定する。次いで、輝度差算出部１０４は、最大輝度値から最小輝度値を減算することにより、各画像領域の輝度差を算出することができる。
図３に示す例では、時間「ｔ０」～「ｔ４」で識別される撮影画像の画像領域３０～３４が対応付けられている。この例では、時間「ｔ０」、「ｔ２」及び「ｔ４」で識別される撮影画像の画像領域３０，３２，３４の最大の輝度値ＬＶ及び最小の輝度値ＬＶは、それぞれ「２５５」及び「１２０」である。この場合、画像領域３０，３２，３４の輝度差ＬＤは「１３５」となる。一方、時間「ｔ１」及び「ｔ３」で識別される撮影画像の画像領域３１，３３の最大の輝度値ＬＶ及び最小の輝度値ＬＶは共に「１２０」である。この場合、画像領域３１，３３の輝度差ＬＤは「０」となる。画像領域３０～３４の輝度差ＬＤの変化は、図３に示すグラフのように表すことができる。なお、輝度差ＬＤは、「０」及び「１３５」の２つの値に限定されるものではなく、撮影装置による撮影間隔を短くすることにより、輝度差ＬＤは「０」及び「１３５」の間の値となり得る。
判定部１０５は、時間的に連続する複数の撮影画像の間で対応付けられた複数の画像領域における輝度差の変化に基づいて、物体に塗装された塗料の種類を判定するプログラムモジュールである。本実施形態では、判定部１０５は、学習済みモデルとして実現することができる。学習済みモデルは、時間的に連続する複数の撮影画像の間で対応付けられた各画像領域の輝度差を示す情報と、当該画像領域に表された物体に塗装されている塗料の種類を示す情報を、訓練データとして用いて学習することができる。
図４は、混合塗料が塗装された物体の撮影画像４０と、非混合塗料が塗装された物体の撮影画像５０と、これらの撮影画像の画像領域の輝度差ＬＤの変化を示す図である。図４に示すように、撮影画像４０の画像領域４１，４２の輝度差ＬＤの変化は、撮影画像５０の画像領域５１，５２の輝度差ＬＤの変化よりも程度が大きい。すなわち、混合塗料の方が非混合塗料よりも、輝度差ＬＤの変化の程度が大きくなる。このように、塗装された物体の撮影画像の各画像領域の輝度差と、当該物体に塗装されている塗料の種類は相関する。
学習済みモデルは、時間的に連続する複数の撮影画像の間で対応付けられた複数の画像領域の輝度差を示す情報が入力されると、物体に塗装されている塗料の種類を示す情報を出力する。具体的には、学習済みモデルは、混合塗料が塗装された物体の複数の撮影画像の間で対応付けられた複数の画像領域の輝度差を示す情報が入力されると、混合塗料を示す情報を出力する。また、学習済みモデルは、非混合塗料が塗装された物体の複数の撮影画像の間で対応付けられた複数の画像領域の輝度差を示す情報が入力されると、非混合塗料を示す情報を出力する。
通信Ｉ／Ｆ１１０は、判定装置１０と外部装置との間でデータを通信する装置である。通信Ｉ／Ｆ１１０は、外部装置から判定対象の物体の撮影画像を受信すると、当該撮影画像を記憶装置１２０に保存する。記憶装置１２０は、本発明の一態様に係る判定プログラム、塗装された物体の複数の撮影画像等の種々のデータが保存される記憶装置である。
図５は、判定装置１０が実行する処理の一例を示すフローチャートである。ステップＳ１０１では、判定装置１０の色調変更部１０１が、塗装された物体の複数の撮影画像を記憶装置１２０から取得し、これらの撮影画像の色調をカラーからグレースケールに変更する。なお、記憶装置１２０に保存されている撮影画像の色調がグレースケールである場合には、色調を変更する処理を省略することができる。
ステップＳ１０２では、分割部１０２が、色調がグレースケールの各撮影画像を複数の画像領域に分割する。ステップＳ１０３では、対応付け部１０３が、複数の撮影画像を用いて対応付け処理を実行する。ステップＳ１０４では、輝度差算出部１０４が、対応付けられた各画像領域の最大輝度値と最小輝度値の輝度差を算出する。ステップＳ１０５では、判定部１０５が、対応付けられた複数の画像領域における輝度差の変化に基づいて、物体に塗装された塗料の種類を判定し、図５の処理が終了する。
図６は、対応付け部１０３が実行する対応付け処理の一例を示す図である。ステップＳ２０１では、対応付け部１０３は、複数の撮影画像の中から時間的に連続する一対の撮影画像を選択する。例えば、対応付け部１０３は、図２に示すように、「ｔ０」で識別される撮影画像と、「ｔ１」で識別される撮影画像を選択する。なお、他の実施形態では、時間的に連続する３以上の撮影画像を選択してもよい。
ステップＳ２０２では、対応付け部１０３は、一方の撮影画像の中から１つの画像領域を選択する。例えば、対応付け部１０３は、図２に示すように、「ｔ０」で識別される撮影画像から画像領域２０を選択する。本実施形態では、対応付け部１０３は、塗装された物体が写っている画像領域を選択する。
ステップＳ２０３では、対応付け部１０３は、パターンマッチング等の画像照合手法を用いて、選択した１つの画像領域とマッチングする画像領域が他方の撮影画像内に存在するか否か判断する。選択した１つの画像領域とマッチングする画像領域が存在しない場合（ＮＯ）、ステップＳ２０１に処理が戻る。一方、選択した１つの画像領域とマッチングする画像領域が存在する場合（ＹＥＳ）、ステップＳ２０４に処理が分岐する。
ステップＳ２０４では、対応付け部１０３は、選択した１つの画像領域とマッチングする画像領域が、他方の撮影画像内に１つだけ存在するか否か判断する。マッチングする画像領域が他方の撮影画像内に複数存在する場合（ＮＯ）、ステップＳ２０１に処理が戻る。一方、マッチングする画像領域が他方の撮影画像内に１つだけ存在する場合（ＹＥＳ）、ステップＳ２０５に処理が分岐する。
ステップＳ２０５では、対応付け部１０３は、選択した１つの画像領域と、当該画像領域とマッチングする画像領域の位置に基づいて、双方の撮影画像の各画像領域に対し、各画像領域の識別情報を割り当て、図６の処理が終了する。例えば、図２に示す例では、対応付け部１０３は、選択した１つの画像領域２０と、当該画像領域とマッチングする画像領域２１の位置に基づいて、時間「ｔ０」で識別される撮影画像の各画像領域と、時間「ｔ１」で識別される撮影画像の各画像領域に対し、識別情報「１」～「１６」を割り当てる。これにより、判定対象の物体が写っている各画像領域が対応付けられる。対応付け部１０３は、複数の撮影画像に含まれる時間的に連続する一対の撮影画像の全てについて、図６の処理を実行する。
上述した実施形態では、判定装置１０が、判定対象の物体と撮影装置との位置関係が変化している状態で撮影装置によって連続して撮影された判定対象の物体の複数の撮影画像を、通信Ｉ／Ｆ１１０を介して取得する。次いで、分割部１０２が、時間的に連続する複数の撮影画像のそれぞれを複数の画像領域に分割し、対応付け部１０３が、分割された複数の画像領域を、時間的に連続する複数の撮影画像の間で対応付ける。そして、輝度差算出部１０４が、対応付けられた各画像領域における最大輝度値と最小輝度値の輝度差を算出し、判定部１０５が、対応付けられた複数の画像領域における輝度差の変化に基づいて、判定対象の物体に塗装された塗料の種類を判定する。
このように、判定装置１０は、判定対象の物体と撮影装置との位置関係が変化している状態で撮影された物体の複数の撮影画像を用いて、物体に塗装された塗料の種類を判定するため、判定対象の物体の広範囲に塗装された塗料の種類を判定できる。
また、光沢性を有する混合塗料は、非混合塗料と比べて、対応付けられた複数の画像領域における輝度差の変化が大きい。そのため、判定対象の物体と撮影装置との位置関係が変化している状態で当該物体を撮影することにより、これらの輝度差の変化を特徴量として捉えることができる。判定装置１０は、このような撮影画像を用いて、判定対象の物体に塗装された塗料の種類を判定するため、当該物体に塗装された塗料の種類が、混合塗料及び非混合塗料のいずれかであるか判定することができる。
上述の例において、プログラムは、様々なタイプの非一時的なコンピュータ可読媒体（non-transitory computer readable medium）を用いて格納され、コンピュータに提供することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（tangible storage medium）を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えば、フレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば、光磁気ディスク）、ＣＤ－ＲＯＭ、ＣＤ－Ｒ、ＣＤ－Ｒ／Ｗ、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable PROM）、フラッシュＲＯＭ、ＲＡＭ）を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（transitory computer readable medium）によってコンピュータに提供されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。
本発明は、上述した実施形態に限られたものではなく、本発明の趣旨を逸脱しない範囲で適宜変更することが可能である。例えば、他の実施形態では、判定装置１０の判定部１０５が、物体に塗装された塗料の種類を判定する場合、輝度差の変化が既定の閾値以上であるとき、物体に塗装された塗料が、混合塗料であると判定し、輝度差の変化が既定の閾値未満のとき、物体に塗装された塗料が、非混合塗料であると判定してもよい。既定の閾値は、物体に塗装された状態における混合塗料の輝度差の変化の代表値と、物体に塗装された状態における非混合塗料の輝度差の変化の代表値との間の値とすることができる。
また、他の実施形態では、判定装置１０が、カラーの撮影画像の色調を変更することなく、カラーの撮影画像を用いて、判定対象の物体に塗装された塗料の種類と、塗料の色を判定してもよい。この場合、学習済みモデルは、時間的に連続する複数のカラーの撮影画像の間で対応付けられた各画像領域の輝度差を示す情報と、当該画像領域に表された物体に塗装されている塗料の種類を示す情報と、塗料の色を示す情報を、訓練データとして用いて学習することができる。
本実施形態では、学習済みモデルは、混合塗料が塗装された物体の複数のカラーの撮影画像の間で対応付けられた複数の画像領域の輝度差を示す情報が入力されると、混合塗料を示す情報と塗料の色を示す情報を出力することができる。例えば、学習済みモデルは、赤色の混合塗料が塗装された物体の複数のカラーの撮影画像の間で対応付けられた複数の画像領域の輝度差を示す情報が入力された場合、混合塗料を示す情報と、塗料が赤色である旨の情報を出力する。学習済みモデルは、青色の混合塗料が塗装された物体の複数のカラーの撮影画像の間で対応付けられた複数の画像領域の輝度差を示す情報が入力された場合、混合塗料を示す情報と、塗料が青色である旨の情報を出力する。
また、学習済みモデルは、非混合塗料が塗装された物体の複数のカラーの撮影画像の間で対応付けられた複数の画像領域の輝度差を示す情報が入力されると、非混合塗料を示す情報を出力することができる。例えば、学習済みモデルは、白色の非混合塗料が塗装された物体の複数のカラーの撮影画像の間で対応付けられた複数の画像領域の輝度差を示す情報が入力された場合、非混合塗料を示す情報と、塗料が白色である旨の情報を出力する。学習済みモデルは、黄色の非混合塗料が塗装された物体の複数のカラーの撮影画像の間で対応付けられた複数の画像領域の輝度差を示す情報が入力された場合、非混合塗料を示す情報と、塗料が黄色である旨の情報を出力する。
さらに、上述した実施形態では、１つの装置が、色調変更部１０１、分割部１０２、対応付け部１０３、輝度差算出部１０４及び判定部１０５を実行するが、他の実施形態では、複数の装置が、これらのプログラムモジュールを実行してもよい。例えば、１つの装置が色調変更部１０１、分割部１０２、対応付け部１０３及び輝度差算出部１０４を実行し、別の装置が判定部１０５を実行してもよい。
さらに、上述した実施形態では、演算装置１００が判定プログラムを実行するが、他の実施形態では、ＦＰＧＡ（Field-Programmable Gate Array）やＡＳＩＣ（Application Specific Integrated Circuit）等の集積回路が判定プログラムを実行してもよい。
１０ 判定装置
１００ 演算装置
１０１ 色調変更部
１０２ 分割部
１０３ 対応付け部
１０４ 輝度差算出部
１０５ 判定部
１１０ 通信インタフェース
１２０ 記憶装置
１００ 演算装置
１０１ 色調変更部
１０２ 分割部
１０３ 対応付け部
１０４ 輝度差算出部
１０５ 判定部
１１０ 通信インタフェース
１２０ 記憶装置
Claims (10)
- 物体に塗装された塗料の種類を判定する判定方法であって、
前記物体と撮影装置との位置関係が変化している状態で前記撮影装置によって連続して撮影された前記物体の複数の撮影画像を取得し、
時間的に連続する前記複数の撮影画像のそれぞれを複数の画像領域に分割し、
前記時間的に連続する複数の撮影画像について、分割された前記複数の画像領域のうち塗装された前記物体が写っている画像領域を照合し、
照合の結果、マッチングすると判定された各画像領域の輝度値を解析して、マッチングすると判定された画像領域のそれぞれについて最大輝度値及び最小輝度値を特定し、
特定された最大輝度値及び最小輝度値に基づいて、前記マッチングすると判定された画像領域のそれぞれについて最大輝度値と最小輝度値の輝度差を算出し、
前記時間的に連続する複数の撮影画像についての算出された前記輝度差の変化に基づいて、前記物体に塗装された塗料の種類を判定する、
判定方法。 - 前記塗料の種類には、光反射材料が混合された塗料及び光反射材料が混合されていない塗料が含まれており、
前記塗料の種類の判定において、前記物体に塗装された塗料が、前記光反射材料が混合された塗料及び前記光反射材料が混合されていない塗料のいずれかであるか判定する、請求項１に記載の判定方法。 - 前記塗料の種類の判定は、学習済みモデルを用いて行われ、
前記学習済みモデルは、前記時間的に連続する複数の撮影画像の間で対応付けられた各画像領域の前記輝度差を示す情報と、前記画像領域に表された物体に塗装されている塗料の種類を示す情報を、訓練データとして用いて学習され、
前記学習済みモデルは、前記対応付けられた複数の画像領域の前記輝度差を示す情報を用いて、前記物体に塗装された塗料の種類を判定する、請求項１又は２に記載の判定方法。 - 前記塗料の種類の判定において、
前記輝度差の変化が既定の閾値以上である場合、前記物体に塗装された塗料が、前記光反射材料が混合された塗料であると判定し、
前記輝度差の変化が既定の閾値未満である場合、前記物体に塗装された塗料が、前記光反射材料が混合されていない塗料であると判定する、請求項２に記載の判定方法。 - 物体に塗装された塗料の種類を判定する判定装置であって、
前記物体と撮影装置との位置関係が変化している状態で前記撮影装置によって連続して撮影された前記物体の時間的に連続する複数の撮影画像のそれぞれを、複数の画像領域に分割する分割部と、
前記時間的に連続する複数の撮影画像について、分割された前記複数の画像領域のうち塗装された前記物体が写っている画像領域を照合する照合部と、
照合の結果、マッチングすると判定された各画像領域の輝度値を解析して、マッチングすると判定された画像領域のそれぞれについて最大輝度値及び最小輝度値を特定する輝度値特定部と、
特定された最大輝度値及び最小輝度値に基づいて、前記マッチングすると判定された画像領域のそれぞれについて最大輝度値と最小輝度値の輝度差を算出する輝度差算出部と、
前記時間的に連続する複数の撮影画像についての算出された前記輝度差の変化に基づいて、前記物体に塗装された塗料の種類を判定する判定部と
を備える、判定装置。 - 前記塗料の種類には、光反射材料が混合された塗料及び光反射材料が混合されていない塗料が含まれており、
前記判定部は、前記物体に塗装された塗料が、前記光反射材料が混合された塗料及び前記光反射材料が混合されていない塗料のいずれかであるか判定する、請求項５に記載の判定装置。 - 前記判定部は、前記時間的に連続する複数の撮影画像の間で対応付けられた各画像領域の前記輝度差を示す情報と、前記画像領域に表された物体に塗装されている塗料の種類を示す情報を、訓練データとして用いて学習された学習済みモデルであり、
前記学習済みモデルは、前記対応付けられた複数の画像領域の前記輝度差を示す情報を用いて、前記物体に塗装された塗料の種類を判定する、請求項５又は６に記載の判定装置。 - 前記判定部は、
前記輝度差の変化が既定の閾値以上である場合、前記物体に塗装された塗料が、前記光反射材料が混合された塗料であると判定し、
前記輝度差の変化が既定の閾値未満である場合、前記物体に塗装された塗料が、前記光反射材料が混合されていない塗料であると判定する、請求項６に記載の判定装置。 - 物体に塗装された塗料の種類を判定する判定装置において実行される判定プログラムであって、前記判定装置が備える演算装置に対し、
前記物体と撮影装置との位置関係が変化している状態で前記撮影装置によって連続して撮影された前記物体の複数の撮影画像を取得させるステップと、
時間的に連続する前記複数の撮影画像のそれぞれを複数の画像領域に分割させるステップと、
前記時間的に連続する複数の撮影画像について、分割された前記複数の画像領域のうち塗装された前記物体が写っている画像領域を照合させるステップと、
照合の結果、マッチングすると判定された各画像領域の輝度値を解析させて、マッチングすると判定された画像領域のそれぞれについて最大輝度値及び最小輝度値を特定させるステップと、
特定された最大輝度値及び最小輝度値に基づいて、前記マッチングすると判定された画像領域のそれぞれについて最大輝度値と最小輝度値の輝度差を算出させるステップと、
前記時間的に連続する複数の撮影画像についての算出された前記輝度差の変化に基づいて、前記物体に塗装された塗料の種類を判定させるステップと
を実行させる、判定プログラム。 - 前記塗料の種類には、光反射材料が混合された塗料及び光反射材料が混合されていない塗料が含まれており、
前記塗料の種類を判定させるステップは、前記物体に塗装された塗料が、前記光反射材料が混合された塗料及び前記光反射材料が混合されていない塗料のいずれかであるか判定させるステップを含む、請求項９に記載の判定プログラム。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2020019885A JP7272296B2 (ja) | 2020-02-07 | 2020-02-07 | 判定方法、判定装置及び判定プログラム |
| US17/143,592 US11521364B2 (en) | 2020-02-07 | 2021-01-07 | Determination method, determination apparatus, and computer readable medium storing determination program |
| CN202110162892.5A CN113259541B (zh) | 2020-02-07 | 2021-02-05 | 判定方法、判定装置以及记录介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2020019885A JP7272296B2 (ja) | 2020-02-07 | 2020-02-07 | 判定方法、判定装置及び判定プログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2021124463A JP2021124463A (ja) | 2021-08-30 |
| JP7272296B2 true JP7272296B2 (ja) | 2023-05-12 |
Family
ID=77178380
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2020019885A Active JP7272296B2 (ja) | 2020-02-07 | 2020-02-07 | 判定方法、判定装置及び判定プログラム |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US11521364B2 (ja) |
| JP (1) | JP7272296B2 (ja) |
| CN (1) | CN113259541B (ja) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005106764A (ja) | 2003-10-02 | 2005-04-21 | Nissan Motor Co Ltd | 塗装ムラ検査装置および塗装ムラ検査方法 |
| JP2007205832A (ja) | 2006-02-01 | 2007-08-16 | Seiko Epson Corp | 測色用画像データ管理方法、測色用画像データ管理システム及び測色用画像データ管理プログラム |
| JP2012199792A (ja) | 2011-03-22 | 2012-10-18 | Seiko Epson Corp | 読取装置および読取方法 |
| JP2012226763A (ja) | 2006-01-20 | 2012-11-15 | Kansai Paint Co Ltd | 光輝性顔料の同定方法、同定システム、同定プログラム及びその記録媒体 |
| JP2016194449A (ja) | 2015-03-31 | 2016-11-17 | 有限会社パパラボ | 着色検査装置および着色検査方法 |
Family Cites Families (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3680636B2 (ja) * | 1999-06-10 | 2005-08-10 | 日産自動車株式会社 | 塗装むら検査装置 |
| CN100386773C (zh) * | 2004-12-27 | 2008-05-07 | 欧姆龙株式会社 | 图像处理方法、基板检查方法和装置及检查数据制作方法 |
| CN100582755C (zh) * | 2005-03-17 | 2010-01-20 | 欧姆龙株式会社 | 基板检查装置及其检查逻辑设定方法和检查逻辑设定装置 |
| WO2013187047A1 (ja) * | 2012-06-13 | 2013-12-19 | パナソニック株式会社 | 物体検出装置 |
| CN104714451A (zh) * | 2015-03-10 | 2015-06-17 | 无锡市崇安区科技创业服务中心 | 一种汽车油漆自动配色*** |
| JP6528723B2 (ja) * | 2016-05-25 | 2019-06-12 | トヨタ自動車株式会社 | 物体認識装置、物体認識方法及びプログラム |
| JP6832224B2 (ja) * | 2017-04-28 | 2021-02-24 | 株式会社デンソーテン | 付着物検出装置および付着物検出方法 |
| JP6328838B1 (ja) | 2017-10-24 | 2018-05-23 | 株式会社小滝電機製作所 | 塗装色評価装置および塗装色評価方法 |
| US11062479B2 (en) * | 2017-12-06 | 2021-07-13 | Axalta Coating Systems Ip Co., Llc | Systems and methods for matching color and appearance of target coatings |
| CN112304292B (zh) * | 2019-07-25 | 2023-07-28 | 富泰华工业（深圳）有限公司 | 基于单色光的物体检测方法及检测*** |
-
2020
- 2020-02-07 JP JP2020019885A patent/JP7272296B2/ja active Active
-
2021
- 2021-01-07 US US17/143,592 patent/US11521364B2/en active Active
- 2021-02-05 CN CN202110162892.5A patent/CN113259541B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005106764A (ja) | 2003-10-02 | 2005-04-21 | Nissan Motor Co Ltd | 塗装ムラ検査装置および塗装ムラ検査方法 |
| JP2012226763A (ja) | 2006-01-20 | 2012-11-15 | Kansai Paint Co Ltd | 光輝性顔料の同定方法、同定システム、同定プログラム及びその記録媒体 |
| JP2007205832A (ja) | 2006-02-01 | 2007-08-16 | Seiko Epson Corp | 測色用画像データ管理方法、測色用画像データ管理システム及び測色用画像データ管理プログラム |
| JP2012199792A (ja) | 2011-03-22 | 2012-10-18 | Seiko Epson Corp | 読取装置および読取方法 |
| JP2016194449A (ja) | 2015-03-31 | 2016-11-17 | 有限会社パパラボ | 着色検査装置および着色検査方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113259541A (zh) | 2021-08-13 |
| US11521364B2 (en) | 2022-12-06 |
| CN113259541B (zh) | 2023-07-04 |
| US20210248405A1 (en) | 2021-08-12 |
| JP2021124463A (ja) | 2021-08-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102592076B1 (ko) | 딥러닝 기반 영상 처리 장치 및 방법, 학습 장치 | |
| WO2018040756A1 (zh) | 一种车身颜色识别的方法及装置 | |
| CN102314600B (zh) | 用于畅通路径检测的去除由基于车辆的相机捕获的图像中的阴影 | |
| US20150278710A1 (en) | Machine learning apparatus, machine learning method, and non-transitory computer-readable recording medium | |
| US10452950B2 (en) | Object recognition apparatus, objection recognition method, and program | |
| CN111066060A (zh) | 虚拟面部化妆去除和模拟、快速面部检测和地标跟踪 | |
| TWI649698B (zh) | 物件偵測裝置、物件偵測方法及電腦可讀取媒體 | |
| US20070140550A1 (en) | Method and apparatus for performing object detection | |
| JP2004348674A (ja) | 領域検出方法及びその装置 | |
| KR101738129B1 (ko) | 단일 카메라를 이용한 원거리 영상에서의 차량 번호판 인식 장치 및 그 방법 | |
| TW201935320A (zh) | 評估系統、評估裝置、評估方法、評估程式及記錄媒體 | |
| US10891740B2 (en) | Moving object tracking apparatus, moving object tracking method, and computer program product | |
| JP7272296B2 (ja) | 判定方法、判定装置及び判定プログラム | |
| US11055887B2 (en) | Modifying digital content with digital effects using facial skin mask | |
| US9756220B2 (en) | Image data generating apparatus, printer, image data generating method, and non-transitory computer readable medium for extracting one or more pixels corresponding to a metallic-color region | |
| CN113095148B (zh) | 眉毛区域被遮挡的检测方法、***、拍照设备和存储介质 | |
| KR100680278B1 (ko) | 입술모양 추출방법 및 그 장치 | |
| JPWO2011083749A1 (ja) | 学習装置、識別装置、学習識別システム及び学習識別装置 | |
| Singh et al. | Template matching for detection & recognition of frontal view of human face through Matlab | |
| JP2019095384A (ja) | 色評価装置、色評価方法およびプログラム | |
| JP2013061876A (ja) | 情報処理装置、情報処理装置の制御方法、およびプログラム | |
| JP5979008B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
| KR102326185B1 (ko) | 딥러닝을 이용한 얼굴 매칭 방법 및 장치 | |
| JP2003337945A (ja) | 画像分類プログラム及び画像分類方法 | |
| JP2000113215A (ja) | 画像処理装置およびその処理を実行するためのプログラムを記録した記録媒体 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220317 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20221228 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230110 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230221 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230328 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230410 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 7272296 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |