JP7425032B2 - 物体判定装置および物体判定システム - Google Patents

Description

本開示は、物体判定装置および物体判定システムに関する。

搬送される対象物の種類を判定するシステムが知られている。例えば、搬送される対象物または対象物の搬送機構に設けられた識別符号をセンサにより読取ることで、対象物の種類を判定することが行われている（例えば、特許文献１参照）。

特開平１１－０４９３３１号公報

しかしながら、従来技術では、識別符号の設置部分の汚れや搬送される対象物の揺れなどによって、対象物の種類の判定が困難となる場合があった。

本開示が解決しようとする課題は、搬送される対象物の種類を高精度に判定することができる物体判定装置および物体判定システムを提供することである。

本開示にかかる物体判定装置は、抽出部と、判定部と、を備える。抽出部は、搬送される対象物の撮影画像から複数の着目領域を抽出する。判定部は、前記撮影画像である学習用画像に含まれる複数の前記着目領域を用いて学習された、複数の前記着目領域から前記対象物の種類を出力する学習モデルを用いて、抽出された複数の前記着目領域から前記対象物の種類を判定する。前記対象物は車両であり、複数の前記着目領域は前記車両の互いに異なる部品を含む領域である。

本開示にかかる物体判定装置および物体判定システムによれば、搬送される対象物の種類を高精度に判定することができる。

図１は、実施形態の物体判定システムの模式図である。 図２は、物体判定装置およびシーケンサのハードウェア構成図である。 図３は、物体判定装置の機能ブロック図である。 図４は、撮影画像の模式図である。 図５は、学習用画像の説明図である。 図６は、情報処理の流れを示すフローチャートである。

以下に添付図面を参照して、本開示に係る物体判定装置および物体判定システムの実施形態を説明する。

図１は、本実施形態の物体判定システム１の一例を示す模式図である。物体判定システム１は、物体判定装置１０と、シーケンサ２０と、撮影部３０と、搬送機構４０と、を備える。

物体判定システム１は、搬送される対象物の種類を判定するシステムである。

対象物とは、種類の判定対象の物体である。対象物は、搬送機構４０によって搬送される物体であればよい。対象物は、例えば、車両Ｖなどの物体、物体または建造物等を構成する部品、果実等の食品、等である。本実施形態では、対象物が車両Ｖである形態を一例として説明する。

搬送機構４０は、対象物を搬送する機構である。本実施形態では、搬送機構４０が、車両Ｖの生産ラインに含まれる工程である塗装工程の搬送機構である形態を一例として説明する。

搬送機構４０は、例えば、ガイドレール４０Ａと、支持部材４０Ｂと、支持部材４０Ｃと、を備える。ガイドレール４０Ａは、搬送方向Ｘに沿って延伸された部材である。支持部材４０Ｂは、ガイドレール４０Ａに沿って移動可能に設けられ、支持部材４０Ｃを介して車両Ｖを支持する。支持部材４０Ｃは、車両Ｖを支持する。支持部材４０Ｃは、台車と称される場合がある。なお、支持部材４０Ｃは車両Ｖを支持可能な部材であればよく、車両Ｖを吊り下げることで支持する部材、車両Ｖを把持することで支持する部材、車両Ｖを載置することで支持する部材、などの何れであってもよい。本実施形態では、支持部材４０Ｃは、車両Ｖを吊り下げることで支持する部材である形態を一例として説明する。

搬送機構４０は、シーケンサ２０によって図示を省略する駆動部が制御されることで、搬送方向Ｘに沿って所定間隔ごとに配置された支持部材４０Ｂを搬送方向Ｘに搬送する。支持部材４０Ｂが搬送方向Ｘに搬送されることで、支持部材４０Ｂを介して支持部材４０Ｃによって支持された車両Ｖが搬送方向Ｘに搬送される。

なお、搬送機構４０は、車両Ｖを搬送方向Ｘに沿って搬送可能な機構であればよく、図１に示す構成に限定されない。

本実施形態では、支持部材４０Ｃには、タグ６０が設けられている。タグ６０は、記憶された情報を無線通信する機器である。タグ６０は、例えば、ＲＦ（Radio Frequency）タグ等である。タグ６０には、例えば、支持部材４０Ｃを一意に識別する台車ＩＤ（識別情報）が予め記憶されている。

シーケンサ２０は、搬送機構４０の搬送を制御する制御装置である。シーケンサ２０は、搬送機構４０、塗装装置５０、および物体判定装置１０の各々と通信可能に接続されている。

シーケンサ２０は、支持部材４０Ｃによって支持された車両Ｖの搬送を制御し、車両Ｖが所定位置Ｘ１に搬送されるごとに、判定開始信号を物体判定装置１０へ送信する。判定開始信号は、車両Ｖの種類の判定開始を指示する信号である。シーケンサ２０は、例えば、赤外線センサなどの検知結果を用いて、搬送される車両Ｖが所定位置Ｘ１に到達したことを判別すればよい。

次に、撮影部３０について説明する。撮影部３０は、車両Ｖの搬送される搬送空間を撮影する。撮影部３０は、車両Ｖの搬送される搬送空間における所定の撮影範囲Ｒを撮影可能に配置されている。撮影範囲Ｒは、例えば、所定位置Ｘ１に搬送された車両Ｖの特定の部品Ｐを含む範囲となるように予め調整されている。撮影部３０は、実空間における固定の撮影範囲Ｒを撮影するように予め調整されている。実空間における固定の撮影範囲Ｒとは、実空間における位置、大きさ、および範囲が固定であることを意味する。

すなわち、撮影部３０は、搬送機構４０によって搬送される車両Ｖが所定位置Ｘ１に到達したときに撮影される撮影画像７０に、車両Ｖにおける特定の部品Ｐを含む領域が映り込むように、設置位置および撮影画角などが予め調整されている。

部品Ｐは、車両Ｖを構成する部材である。本実施形態では、互いに異なる複数の部品Ｐである部品Ｐ１および部品Ｐ２が少なくとも映り込むように、撮影部３０の撮影範囲Ｒが予め調整されている。すなわち、撮影範囲Ｒは、搬送によって所定位置Ｘ１に到達した車両Ｖの複数の部品Ｐが映り込む範囲となるように、予め調整されている。部品Ｐは、車両Ｖの種類を特定可能な部材であればよい。また、撮影範囲Ｒに含まれる部品Ｐは、複数であればよく、２つの部品Ｐに限定されない。

撮影部３０は、撮影によって撮影範囲Ｒの撮影画像７０を得る。例えば、撮影部３０は、時系列に連続する複数の撮影画像７０から構成される動画像データを得る。動画像データを構成する各撮影画像７０は、例えば、静止画像である。以下では、動画像データを動画像と称し、静止画像データを撮影画像と称して説明する場合がある。

本実施形態では、撮影部３０は、搬送機構４０の駆動が開始されたときに、搬送機構４０の動画像の撮影を開始する形態を一例として説明する。搬送機構４０の駆動とは、搬送機構４０に含まれる支持部材４０Ｃによって支持された車両Ｖの搬送方向Ｘへの搬送を意味する。

例えば、撮影部３０は、ユーザによる撮影部３０の撮影開始ボタンの操作指示等によって撮影開始信号を受付けると、撮影範囲Ｒの撮影を開始する。ユーザは、搬送機構４０の駆動が開始されると、撮影部３０の撮影開始ボタン等を操作指示すればよい。

なお、撮影部３０は、搬送機構４０の駆動を検出したときに、撮影範囲Ｒの動画像の撮影を開始してもよい。この場合、撮影部３０と搬送機構４０の駆動部とを通信可能に接続した構成とし、駆動開始したときに搬送機構４０が撮影開始信号を撮影部３０へ送信する構成とすればよい。また、撮影部３０は、物体判定装置１０またはシーケンサ２０から受信した撮影開始信号に応じて、撮影を開始してもよい。

次に、物体判定装置１０について説明する。物体判定装置１０は、搬送機構４０によって搬送される対象物の種類を判定する情報処理装置である。

対象物の種類とは、対象物を予め定められた分類基準に従って複数のグループに分類した、各グループを表す情報である。上述したように、本実施形態では、対象物が車両Ｖである形態を一例として説明する。対象物が車両Ｖである場合、車両Ｖの種類は、例えば、車両Ｖの種別、車両Ｖの車種、車両Ｖの年式、などであるが、これらに限定されない。車両Ｖの種別は、例えば、普通自動車、小型自動車、特殊用途自動車、などの種別を表す。車両Ｖの車種は、車両製造会社などによって規定された車名などである。本実施形態では、車両Ｖの種類は、車名である場合を想定して説明する。

まず、物体判定装置１０およびシーケンサ２０のハードウェア構成を説明する。

図２は、物体判定装置１０およびシーケンサ２０の一例のハードウェア構成図である。

物体判定装置１０およびシーケンサ２０は、ＣＰＵ（Central Processing Unit）１１Ａ、ＲＯＭ（Read Only Memory）１１Ｂ、ＲＡＭ（Random Access Memory）１１Ｃ、およびＩ／Ｆ１１Ｄ等がバス１１Ｅにより相互に接続され、通常のコンピュータを利用したハードウェア構成である。

ＣＰＵ１１Ａは、本実施形態の物体判定装置１０およびシーケンサ２０を制御する演算装置である。ＲＯＭ１１Ｂは、ＣＰＵ１１Ａによる各種処理を実現するプログラム等を記憶する。ＲＡＭ１１Ｃは、ＣＰＵ１１Ａによる各種処理に必要なデータを記憶する。Ｉ／Ｆ１１Ｄは、データを送受信するためのインターフェースである。

本実施形態の物体判定装置１０およびシーケンサ２０で実行されるプログラムは、ＲＯＭ１１Ｂ等に予め組み込んで提供される。なお、本実施形態の物体判定装置１０およびシーケンサ２０で実行されるプログラムは、物体判定装置１０およびシーケンサ２０にインストール可能な形式又は実行可能な形式のファイルでＣＤ－ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ－Ｒ、ＤＶＤ（Digital Versatile Disk）等のコンピュータで読取り可能な記録媒体に記録されて提供するように構成してもよい。

次に、物体判定装置１０の機能的構成を説明する。

図３は、物体判定装置１０の一例の機能ブロック図である。図３には、物体判定システム１に含まれる物体判定装置１０以外の構成も併せて示す。

物体判定装置１０は、処理部１２と、通信部１４と、記憶部１６と、表示部１８と、を備える。処理部１２、通信部１４、記憶部１６、および表示部１８は、例えば、バス１９等を介して通信可能に接続されている。

通信部１４は、シーケンサ２０、タグ６０、および撮影部３０の各々と通信可能に接続されている。すなわち、通信部１４は、シーケンサ２０、タグ６０、および撮影部３０の各々と通信するための通信インターフェースである。記憶部１６は、各種の情報を記憶する。本実施形態では、記憶部１６は、学習モデル１６Ａを予め記憶する。学習モデル１６Ａの詳細は後述する。

表示部１８は、各種の情報を表示する。表示部１８は、例えば、画像を表示するディスプレイである。なお、物体判定装置１０は、音声を出力するスピーカを更に備えた構成であってもよい。また、物体判定装置１０は、ユーザによる操作入力を受付けるキーボードやポインティングデバイス等の入力装置を更に備えた構成であってよい。

処理部１２は、各種の情報処理を実行する。本実施形態では、処理部１２は、受付部１２Ａと、タグ判定部１２Ｂと、取得部１２Ｃと、抽出部１２Ｄと、判定部１２Ｅと、学習部１２Ｆと、出力制御部１２Ｇと、を備える。受付部１２Ａ、タグ判定部１２Ｂ、取得部１２Ｃ、抽出部１２Ｄ、判定部１２Ｅ、学習部１２Ｆ、および出力制御部１２Ｇの一部または全ては、例えば、ＣＰＵ等の処理装置にプログラムを実行させること、すなわち、ソフトウェアにより実現してもよい。また、これらの機能部の一部または全ては、ＩＣ（Integrated Circuit）等のハードウェアにより実現してもよい。また、これらの機能部の一部または全ては、ソフトウェアおよびハードウェアを併用して実現してもよい。

これらの機能部の少なくとも１つを、ネットワーク等を介して物体判定装置１０に通信可能に接続された外部の情報処理装置に搭載した構成としてもよい。また、記憶部１６に記憶されたデータの少なくとも一部を、ネットワーク等を介して物体判定装置１０に通信可能に接続された外部の情報処理装置に記憶した構成としてもよい。

受付部１２Ａは、シーケンサ２０から判定開始信号を受付ける。上述したように、シーケンサ２０は、搬送される車両Ｖが所定位置Ｘ１に到達すると、判定開始信号を物体判定装置１０へ送信する。受付部１２Ａは、通信部１４を介してシーケンサ２０から判定開始信号を受付ける。

タグ判定部１２Ｂは、受付部１２Ａで判定開始信号を受付けた時に、通信部１４を介してタグ６０から台車ＩＤを読取る。タグ判定部１２Ｂは、通信部１４とタグ６０との無線通信によって、タグ６０に記憶されている台車ＩＤを読取る。タグ判定部１２Ｂは、読取った台車ＩＤによって識別される支持部材４０Ｃによって支持されている車両Ｖの種類を判定する。例えば、記憶部１６は、台車ＩＤと、車両Ｖの種類と、を対応付けた台車管理情報を予め記憶する。タグ判定部１２Ｂは、タグ６０から受付けた台車ＩＤに対応する車両Ｖの種類を台車管理情報から読取ることで、車両Ｖの種類を判定する。台車管理情報には、ユーザによる操作指示などによって、実際に搬送機構４０を搬送されている車両Ｖの種類と該車両Ｖを支持する支持部材４０Ｃの台車ＩＤとが一致する情報が予め登録されているものとする。

タグ判定部１２Ｂは、タグ６０に記憶されている台車ＩＤを用いた車両Ｖの種類の判定に成功した場合、車両Ｖの種類を表す判定結果を後述する出力制御部１２Ｇへ出力する。

ここで、タグ６０の汚れ、タグ６０の揺れ、支持部材４０Ｃの揺れ、または通信エラー等によって、台車ＩＤの読取異常が発生する場合がある。また、タグ６０から読取った台車ＩＤに対応する車両Ｖの種別が台車管理情報に含まれない場合がある。このような場合、タグ判定部１２Ｂは、タグ６０に記憶されている台車ＩＤを用いた車両Ｖの種類の判定に失敗する。台車ＩＤを用いた車両Ｖの種類の判定に失敗した場合、タグ判定部１２Ｂは、判定開始信号を取得部１２Ｃへ出力する。

取得部１２Ｃは、タグ判定部１２Ｂから判定開始信号を受付けると、撮影部３０で撮影された撮影画像７０を取得する。取得部１２Ｃは、受付部１２Ａがシーケンサ２０から判定開始信号を受付けた時に撮影部３０によって撮影された撮影画像７０を取得する。詳細には、取得部１２Ｃは、撮影部３０で撮影された動画像に含まれる複数の撮影画像７０の内、受付部１２Ａがシーケンサ２０から判定開始信号を受付けた時に撮影部３０によって撮影された撮影画像７０を取得する。

なお、本実施形態では、物体判定装置１０の処理部１２が、タグ判定部１２Ｂを備えた構成である形態を一例として説明する。しかし、処理部１２は、タグ判定部１２Ｂを備えない構成であってもよい。この場合、取得部１２Ｃは、受付部１２Ａでシーケンサ２０から判定開始信号を受付けた時に、撮影部３０によって撮影された撮影画像７０を取得すればよい。

上述したように、撮影部３０の撮影範囲Ｒは、搬送によって所定位置Ｘ１に到達した車両Ｖの特定の部品Ｐを含む範囲となるように予め調整されている。また、シーケンサ２０は、搬送によって車両Ｖが所定位置Ｘ１に到達したときに、判定開始信号を物体判定装置１０へ送信する。このため、シーケンサ２０から判定開始信号を受付けた時に撮影部３０によって撮影された撮影画像７０を取得することで、取得部１２Ｃは、搬送される車両Ｖの撮影画像７０であって、車両Ｖの種類を特定可能な複数の部品Ｐを含む撮影範囲Ｒの撮影画像７０を取得する。

抽出部１２Ｄは、取得部１２Ｃで取得した撮影画像７０から、複数の着目領域を抽出する。

図４は、撮影画像７０の一例の模式図である。図４には、取得部１２Ｃで取得した撮影画像７０の一例を示す。抽出部１２Ｄは、撮影画像７０から複数の着目領域７２を抽出する。

着目領域７２は、撮影画像７０に含まれる車両Ｖの種類を特定可能な領域である。抽出部１２Ｄは、少なくとも一部の領域が非重複の複数の着目領域７２を撮影画像７０から抽出する。

複数の着目領域７２の各々には、車両Ｖの種類を特定可能な部材が映り込んでいればよい。詳細には、複数の着目領域７２は、撮影画像７０に映り込む車両Ｖの互いに異なる部品Ｐを含む領域であることが好ましい。部品Ｐは、上述したように、車両Ｖの種類を判別可能な部材である。

本実施形態では、抽出部１２Ｄは、部品Ｐ１を含む第１着目領域７２Ａと、部品Ｐ２を含む第２着目領域７２Ｂと、を抽出する形態を一例として説明する。部品Ｐ１および部品Ｐ２は、車両Ｖの種類を判別可能な互いに異なる部品Ｐである。なお、抽出部１２Ｄは、複数の着目領域７２を抽出すればよく、２つの着目領域７２を抽出する形態に限定されない。

抽出部１２Ｄは、複数の着目領域７２の各々の、撮影画像７０における位置およびサイズを表す着目領域情報を予め記憶部１６に記憶する。本実施形態では、抽出部１２Ｄは、第１着目領域７２Ａおよび第２着目領域７２Ｂの各々の着目領域情報として、第１着目領域情報および第２着目領域情報を予め記憶部１６に記憶する。

詳細には、例えば、抽出部１２Ｄは、撮影画像７０における第１着目領域７２Ａの位置およびサイズを表す第１着目領域情報を予め記憶部１６に記憶する。また、抽出部１２Ｄは、撮影画像７０における第２着目領域７２Ｂの位置およびサイズを表す第２着目領域情報を予め記憶部１６に記憶する。そして、抽出部１２Ｄは、取得部１２Ｃで取得した撮影画像７０における、記憶部１６から読取った第１着目領域情報および第２着目領域情報の各々によって表される位置およびサイズの範囲を抽出することで、第１着目領域７２Ａおよび第２着目領域７２Ｂを撮影画像７０から抽出する。すなわち、抽出部１２Ｄは、取得部１２Ｃで新たな撮影画像７０を取得するごとに、着目領域情報に基づいて、順次取得する複数の撮影画像７０間で画像内における位置およびサイズが同じ領域を着目領域７２として抽出する。

図３に戻り説明を続ける。判定部１２Ｅは、学習モデル１６Ａを用いて、抽出部１２Ｄで抽出された複数の着目領域７２（第１着目領域７２Ａ、第２着目領域７２Ｂ）から車両Ｖの種類を判定する。

学習モデル１６Ａは、撮影画像７０に含まれる複数の着目領域７２から、該撮影画像７０に含まれる車両Ｖの種類を出力する学習モデルである。言い換えると、学習モデル１６Ａは、複数の着目領域７２を入力とし、車両Ｖの種類を出力とする学習モデルである。

学習部１２Ｆは、教師データ用いた機械学習によって学習モデル１６Ａを予め学習する。学習部１２Ｆは、取得部１２Ｃで取得した撮影画像７０を学習用の学習用画像として用い、学習用画像に含まれる複数の着目領域７２を教師データとして用いる。

図５は、学習用画像８０の一例の説明図である。学習部１２Ｆは、撮影部３０によって撮影された、搬送によって所定位置Ｘ１に到達した車両Ｖの撮影範囲Ｒの撮影画像７０を、学習用画像８０として用いる。そして、学習部１２Ｆは、学習用画像８０に含まれる複数の着目領域７２と、複数の加工着目領域７４と、を用いて学習モデル１６Ａを学習する。

詳細には、学習部１２Ｆは、学習用画像８０に含まれる第１着目領域７２Ａおよび第２着目領域７２Ｂを、入力データと正解データとからなる教師データの入力データとして用いる。

具体的には、学習部１２Ｆは、学習用画像８０における、第１着目領域情報によって規定される位置およびサイズの領域を、第１着目領域７２Ａとして抽出する。また、学習部１２Ｆは、学習用画像８０における、第２着目領域情報によって規定される位置およびサイズの領域を、第２着目領域７２Ｂとして抽出する。そして、学習部１２Ｆは、学習用画像８０から抽出した第１着目領域７２Ａおよび第２着目領域７２Ｂの対を、教師データの入力データとして用いる。

また、学習部１２Ｆは、これらの第１着目領域７２Ａおよび第２着目領域７２Ｂに映り込んだ車両Ｖの種類を、該教師データの該入力データに対する正解データとして用いる。

また、学習部１２Ｆは、学習用画像８０に含まれる複数の着目領域７２の各々について、着目領域７２の位置および角度の少なくとも一方を変更した領域を加工着目領域７４として抽出する。

詳細には、学習部１２Ｆは、学習用画像８０に含まれる第１着目領域７２Ａの位置および角度の少なくとも一方を変更した１以上の第１加工着目領域７４Ａを抽出する。図５には、第１着目領域７２Ａの位置を変更した第１加工着目領域７４Ａ１～第１加工着目領域７４Ａ２と、第１着目領域７２Ａの角度を変更した第１加工着目領域７４Ａ３と、を抽出した例を一例として示す。なお、学習部１２Ｆは、第１着目領域７２Ａの位置および角度の少なくとも一方を変更した１以上の第１加工着目領域７４Ａを抽出すればよく、３つの第１加工着目領域７４Ａを抽出する形態に限定されない。

なお、学習部１２Ｆは、搬送されて所定位置Ｘ１に到達した車両Ｖの揺れ等によって生じる、撮影部３０の撮影範囲Ｒに対する実空間における車両Ｖの位置および角度のずれの範囲で、第１着目領域７２Ａの位置および角度を変更した複数の第１加工着目領域７４Ａを抽出する。但し、学習部１２Ｆは、抽出した複数の第１加工着目領域７４Ａの各々が部品Ｐ１を含む領域となるように抽出位置および角度を調整する。

また、学習部１２Ｆは、学習用画像８０に含まれる第２着目領域７２Ｂの位置および角度の少なくとも一方を変更した１以上の第２加工着目領域７４Ｂを抽出する。図５には、第２着目領域７２Ｂの位置を変更した第２加工着目領域７４Ｂ１～第２加工着目領域７４Ｂ２と、第２着目領域７２Ｂの角度を変更した第２加工着目領域７４Ｂ３と、を抽出した例を一例として示す。なお、学習部１２Ｆは、第２着目領域７２Ｂの位置および角度の少なくとも一方を変更した１以上の第２加工着目領域７４Ｂを抽出すればよく、３つの第２加工着目領域７４Ｂを抽出する形態に限定されない。

なお、学習部１２Ｆは、搬送されて所定位置Ｘ１に到達した車両Ｖの揺れ等によって生じる、撮影部３０の撮影範囲Ｒに対する実空間における車両Ｖの位置および角度のずれの範囲で、第２着目領域７２Ｂの位置および角度を変更した複数の第２加工着目領域７４Ｂを抽出する。但し、学習部１２Ｆは、抽出した複数の第２加工着目領域７４Ｂの各々が部品Ｐ２を含む領域となるように抽出位置を調整する。

そして、学習部１２Ｆは、学習用画像８０から抽出した第１着目領域７２Ａおよび複数の第１加工着目領域７４Ａの内の１つと、学習用画像８０から抽出した第２着目領域７２Ｂおよび複数の第２加工着目領域７４Ｂの１つと、の対の組み合わせを変えた複数の入力データを用意する。そして、学習部１２Ｆは、これらの複数の入力データと、複数の入力データの各々の正解データである車両Ｖの種類と、の対を複数の教師データとして生成する。

このように、学習部１２Ｆは、１つの学習用画像８０から組合せの異なる複数の着目領域７２および加工着目領域７４を入力データとした、複数の教師データを生成する。また、学習部１２Ｆは、複数の学習用画像８０を用いる場合についても同様に、複数の学習用画像８０の各々から、組合せの異なる複数の着目領域７２および加工着目領域７４を入力データとした、複数の教師データを生成する。

そして、学習部１２Ｆは、これらの複数の教師データの各々に含まれる入力データである第１着目領域７２Ａまたは第１加工着目領域７４Ａと、第２着目領域７２Ｂまたは第２加工着目領域７４Ｂと、の対を入力とし、該教師データに含まれる該入力データに対応する出力データである車両Ｖの種類を出力とした、学習モデル１６Ａを学習する。

学習モデル１６Ａの学習には、公知の機械学習を用いればよい。機械学習には、例えば、ＣＮＮ（Convolutional Neural Network）等の深層学習等を用いればよい。

このように、学習部１２Ｆは、学習用画像８０から抽出した複数の着目領域７２と、学習用画像８０における着目領域７２の位置及び角度の少なくとも一方を変更した複数の加工着目領域７４と、を用いて学習モデル１６Ａを学習する。このため、学習部１２Ｆは、少ない数の撮影画像７０から効率よく且つ高精度に学習モデル１６Ａを学習することができる。

また、学習部１２Ｆは、学習用画像８０における着目領域７２の位置および角度を、搬送される車両Ｖの揺れ等によって生じる、実空間における車両Ｖに対する撮影範囲Ｒ内の着目領域７２の位置および角度のずれの範囲で変更した、複数の加工着目領域７４を抽出する。そして、これらの複数の加工着目領域７４を、教師データとして用いる。このため、学習部１２Ｆは、搬送される車両Ｖの位置ずれや揺れなどによって、実空間における車両Ｖの撮影範囲Ｒに映り込む範囲がずれた場合であっても、高精度に車両Ｖの種類を出力可能な学習モデル１６Ａを学習することができる。

また、学習部１２Ｆは、学習済モデルを用いた転移学習(Transfer Learning)により、学習モデル１６Ａを学習してもよい。転移学習を行う場合についても、教師データの入力データには、学習用画像８０から抽出した複数の着目領域７２と、学習用画像８０における着目領域７２の位置および角度の少なくとも一方を変更した複数の加工着目領域７４と、を用いればよい。

学習部１２Ｆが転移学習により学習モデル１６Ａを学習することで、学習部１２Ｆは、更に少ない教師データで且つ短時間に効率よく高精度な学習モデル１６Ａを学習することができる。

なお、学習部１２Ｆは、物体判定装置１０の外部の情報処理装置に設けられた構成であってもよい。この場合、学習部１２Ｆは、物体判定装置１０の外部の情報処理装置で上記学習方法を用いて学習モデル１６Ａを学習し、学習済の学習モデル１６Ａを物体判定装置１０の記憶部１６に記憶すればよい。

図３に戻り説明を続ける。判定部１２Ｅは、学習部１２Ｆによって学習された学習モデル１６Ａに、抽出部１２Ｄで抽出された第１着目領域７２Ａおよび第２着目領域７２Ｂを入力する。そして、判定部１２Ｅは、該学習モデル１６Ａからの出力である車両Ｖの種類を取得することで、車両Ｖの種類を判定する。

出力制御部１２Ｇは、判定部１２Ｅまたはタグ判定部１２Ｂによる判定結果を出力する。判定結果は、車両Ｖの種類を表す情報である。

出力制御部１２Ｇは、判定結果である車両Ｖの種類を、通信部１４を介してシーケンサ２０へ出力する。

シーケンサ２０は、車両Ｖの種類の判定結果を物体判定装置１０から受付けると、該判定結果を塗装装置５０へ送信する。塗装装置５０は、シーケンサ２０から受付けた判定結果によって表される車両Ｖの種類に応じた塗装処理を実行する。例えば、塗装装置５０は、シーケンサ２０から受付けた車両Ｖの種類に応じた車両Ｖの特定の領域に塗装処理を行う。なお、物体判定システム１には、車両Ｖの種類の判定結果に応じた各種処理を行う処理装置が設けられていればよく、塗装を行う塗装装置５０の設けられた形態に限定されない。また、物体判定システム１には、車両Ｖの種別に応じた処理を行う塗装装置５０などの装置が設けられていない構成であってもよい。

また、出力制御部１２Ｇは、判定結果である車両Ｖの種類を、表示部１８に表示してもよい。この場合、出力制御部１２Ｇは、搬送されて所定位置Ｘ１に到達した車両Ｖの種類をユーザに対して視認可能に提供することができる。

次に、本実施形態の物体判定装置１０で実行する情報処理の流れの一例を説明する。

図６は、物体判定装置１０が実行する情報処理の流れの一例を示すフローチャートである。

受付部１２Ａは、シーケンサ２０から判定開始信号を受付ける（ステップＳ１００）。

タグ判定部１２Ｂは、ステップＳ１００で判定開始信号を受付けた時に、通信部１４を介してタグ６０から台車ＩＤを読取る（ステップＳ１０２）。タグ判定部１２Ｂは、ステップＳ１０２で読取った台車ＩＤを用いた車両Ｖの種類の判定に失敗したか否かを判断する（ステップＳ１０４）。タグ判定部１２Ｂは、ステップＳ１０２で読取った台車ＩＤに対応する車両Ｖの種類を台車管理情報から読取ることで、車両Ｖの種類を判定する。タグ判定部１２Ｂは、台車ＩＤを用いた車両Ｖの種類の判定に成功した場合、ステップＳ１０４で否定判断し（ステップＳ１０４：Ｎｏ）、後述するステップＳ１１２へ進む。ステップＳ１０４で肯定判断すると（ステップＳ１０４：Ｙｅｓ）、ステップＳ１０６へ進む。

ステップＳ１０６では、取得部１２Ｃが撮影画像７０を取得する（ステップＳ１０６）。取得部１２Ｃは、ステップＳ１００で判定開始信号を受付けた時に撮影部３０によって撮影された撮影画像７０を取得する。ステップＳ１０６の処理によって、取得部１２Ｃは、搬送されて所定位置Ｘ１に到達した車両Ｖの撮影範囲Ｒの撮影画像７０を取得する。

抽出部１２Ｄは、ステップＳ１０６で取得した撮影画像７０から複数の着目領域７２を抽出する（ステップＳ１０８）。例えば、抽出部１２Ｄは、撮影画像７０から第１着目領域７２Ａおよび第２着目領域７２Ｂを抽出する。

判定部１２Ｅは、学習モデル１６Ａを用いて、ステップＳ１０８で抽出された複数の着目領域７２（第１着目領域７２Ａ、第２着目領域７２Ｂ）から車両Ｖの種類を判定する（ステップＳ１１０）。

出力制御部１２Ｇは、ステップＳ１１０の判定結果またはステップＳ１０４で否定判断（ステップＳ１０４：Ｎｏ）することにより受付けた判定結果を出力する（ステップＳ１１２）。例えば、出力制御部１２Ｇは、判定結果である車両Ｖの種類を、通信部１４を介してシーケンサ２０へ出力する。シーケンサ２０は、例えば、該判定結果を塗装装置５０へ送信する。塗装装置５０は、シーケンサ２０から受付けた判定結果によって表される車両Ｖの種類に応じた塗装処理を実行する。

次に、処理部１２は、物体判定処理を終了するか否かを判断する（ステップＳ１１４）。例えば、処理部１２は、物体判定処理の終了指示信号を受付けたか否かを判別することで、ステップＳ１１４の判断を行う。例えば、ユーザは、車両Ｖの種類の判定処理を終了するときに物体判定装置１０の操作部等を操作することで、物体判定処理の終了指示信号を入力する。処理部１２は、終了指示信号を受付けた場合、物体判定処理を終了すると判断すればよい。ステップＳ１１４で否定判断すると（ステップＳ１１４：Ｎｏ）、上記ステップＳ１００に戻る。ステップＳ１１４で肯定判断すると（ステップＳ１１４：Ｙｅｓ）本ルーチンを終了する。

以上説明したように、本実施形態の物体判定装置１０は、抽出部１２Ｄと、判定部１２Ｅと、を備える。抽出部１２Ｄは、搬送される対象物の撮影画像７０から複数の着目領域７２を抽出する。判定部１２Ｅは、撮影画像７０である学習用画像８０に含まれる複数の着目領域７２を用いて学習された、複数の着目領域７２から対象物の種類を出力する学習モデル１６Ａを用いて、抽出された複数の着目領域７２から対象物の種類を判定する。

ここで、従来では、搬送される対象物または対象物の搬送機構に設けられた識別符号をセンサにより読取ることで、対象物の種類を判定していた。しかしながら、従来技術では、識別符号の設置部分の汚れや搬送される対象物の揺れなどによって、対象物の種類の判定が困難となる場合があった。また、搬送される対象物を支持する支持部材の劣化等により、搬送される対象物に位置ずれや揺れが発生することで、識別符号の読取異常が発生する場合があった。このため、従来技術では、搬送される対象物の種類を高精度に判定することが困難となる場合があった。

一方、本実施形態の物体判定装置１０では、搬送される車両Ｖの撮影画像７０から複数の着目領域７２を抽出し、抽出した複数の着目領域７２を学習モデル１６Ａへ入力することで、該学習モデル１６Ａからの出力として車両Ｖなどの対象物の種類を判定する。

このため、本実施形態の物体判定装置１０では、識別符号の読取異常などによる対象物の種類の判定精度の低下を抑制することができる。また、本実施形態の物体判定装置１０では、撮影画像７０に含まれる複数の着目領域７２を対象物の種類の判定に用いるため、１つの着目領域７２のみを判定に用いる場合に比べて、高精度に対象物の種類を判定することができる。

従って、本実施形態の物体判定装置１０は、搬送される対象物の種類を高精度に判定することができる。

また、従来技術では、搬送される対象物または対象物の搬送機構に設けられた識別符号の読取異常が発生した場合には、搬送機構４０による対象物の搬送を停止し、ユーザが手動で異常解消のための作業を行った後に再度搬送を再開させるなどの作業を行っていた。一方、本実施形態の物体判定装置１０では、例えば、タグ６０から読取った台車ＩＤの読取異常等が発生した場合であっても、搬送される対象物の撮影画像７０から抽出した複数の着目領域７２と学習モデル１６Ａとを用いて、対象物の種類を判定する。このため、本実施形態の物体判定装置１０は、上記効果に加えて、読取異常等による生産ラインの停止を抑制することができ、また、ユーザの作業負荷の低減を図ることができる。

なお、上記実施形態の物体判定装置１０で実行される上記各処理を実行するためのプログラムは、ＨＤＤに記憶されていてもよい。また、上記実施形態の物体判定装置１０で実行される上記各処理を実行するためのプログラムは、ＲＯＭ１１Ｂに予め組み込まれて提供されていてもよい。

また、上記実施形態の物体判定装置１０で実行される上記処理を実行するためのプログラムは、インストール可能な形式または実行可能な形式のファイルでＣＤ－ＲＯＭ、ＣＤ－Ｒ、メモリカード、ＤＶＤ（Digital Versatile Disk）、フレキシブルディスク（ＦＤ）等のコンピュータで読取り可能な記憶媒体に記憶されてコンピュータプログラムプロダクトとして提供されるようにしてもよい。また、上記実施形態の物体判定装置１０で実行される上記処理を実行するためのプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するようにしてもよい。また、上記実施形態の物体判定装置１０で実行される上記処理を実行するためのプログラムを、インターネット等のネットワーク経由で提供または配布するようにしてもよい。

なお、上記には、本発明の実施形態を説明したが、上記実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。この新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。この実施形態およびその変形は、発明の範囲および要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１ 物体判定システム
１０ 物体判定装置
１２Ｄ 抽出部
１２Ｅ 判定部
３０ 撮影部

Claims (4)

1. 搬送される対象物の撮影画像から複数の着目領域を抽出する抽出部と、
   前記撮影画像である学習用画像に含まれる複数の前記着目領域を用いて学習された、複数の前記着目領域から前記対象物の種類を出力する学習モデルを用いて、抽出された複数の前記着目領域から前記対象物の種類を判定する判定部と、
   を備え、
   前記対象物は車両であり、
   複数の前記着目領域は前記車両の互いに異なる部品を含む領域である、
   物体判定装置。
2. 搬送される対象物の撮影画像から複数の着目領域を抽出する抽出部と、
   前記撮影画像である学習用画像に含まれる複数の前記着目領域を用いて学習された、複数の前記着目領域から前記対象物の種類を出力する学習モデルを用いて、抽出された複数の前記着目領域から前記対象物の種類を判定する判定部と、
   を備え、
   前記対象物は車両であり、
   複数の前記着目領域は前記車両の互いに異なる部品を含む領域であり、
   前記判定部は、
   前記学習用画像に含まれる複数の前記着目領域と、前記学習用画像における前記着目領域の位置および角度の少なくとも一方を変更した複数の加工着目領域と、を用いて学習された前記学習モデルを用いて、抽出された複数の前記着目領域から前記対象物の種類を判定する、
   物体判定装置。
3. 搬送される対象物を撮影する撮影部と、
   前記対象物の撮影画像から複数の着目領域を抽出する抽出部と、
   前記撮影画像である学習用画像に含まれる複数の前記着目領域を用いて学習された、複数の前記着目領域から前記対象物の種類を出力する学習モデルを用いて、抽出された複数の前記着目領域から前記対象物の種類を判定する判定部と、
   を備え、
   前記対象物は車両であり、
   複数の前記着目領域は前記車両の互いに異なる部品を含む領域である、
   物体判定システム。
4. 搬送される対象物を撮影する撮影部と、
   前記対象物の撮影画像から複数の着目領域を抽出する抽出部と、
   前記撮影画像である学習用画像に含まれる複数の前記着目領域を用いて学習された、複数の前記着目領域から前記対象物の種類を出力する学習モデルを用いて、抽出された複数の前記着目領域から前記対象物の種類を判定する判定部と、
   を備え、
   前記対象物は車両であり、
   複数の前記着目領域は前記車両の互いに異なる部品を含む領域であり、
   前記判定部は、
   前記学習用画像に含まれる複数の前記着目領域と、前記学習用画像における前記着目領域の位置および角度の少なくとも一方を変更した複数の加工着目領域と、を用いて学習された前記学習モデルを用いて、抽出された複数の前記着目領域から前記対象物の種類を判定する、
   物体判定システム。

Images