JP6517666B2 - 物品管理装置、その方法、及びそのプログラム - Google Patents

Description

本発明の実施形態は、物品管理装置、その方法、及びそのプログラムに関するものである。

従来の物品管理装置には、物品を撮影した画像から、予め保持している物品データベースの物品、文字列を照合し、その照合結果から在庫リストを更新する。

特開２０１４−４３２８７公報

しかし、上記物品管理装置において、物品が大量にある場合、その照合結果と在庫リストに不一致が生じる個所も多数になるため、作業者がそれら個所を点検する作業が煩雑になるという問題点があった。

そこで本発明の実施形態は、上記問題点を解決するために、物品を管理するラベルの設置状態の点検作業の効率が向上する物品管理装置、その方法、及びそのプログラムを提供することを目的とする。

本発明の実施形態は、複数の物品を配するための棚と、前記棚の前面、又は、前記物品の前面にそれぞれ設置され、前記各物品を管理するために文字、数字、又は、記号のいずれかを含む文字列からなるラベル情報がそれぞれ表示されたラベルとを撮影した点検画像と、前記棚における前記ラベルの設置位置を示す複数の計画領域と前記各計画領域にそれぞれ付与された前記ラベルの前記ラベル情報を有する計画データとを取得する取得部と、前記点検画像から前記各ラベルにそれぞれ表示された前記文字列の文字領域を検出する検出部と、前記文字領域中の文字を認識情報として文字認識する認識部と、前記点検画像と前記計画データを位置決めして重ね合わせ、前記各文字領域と前記各計画領域をそれぞれ対応付けする位置決定部と、それぞれ対応付けした前記計画領域の前記ラベル情報と、前記文字領域の前記認識情報とを比較して、前記ラベル情報と前記認識情報の一致、又は、相違から求まる前記物品の設置の正誤に関わる状態を示す属性を前記文字領域、又は、前記計画領域に付与するリスト生成部と、を有する物品管理装置である。

本発明の実施形態１に係わる物品管理装置のブロック図。 物品管理装置のフローチャート。 計画データの説明図。 点検画像の説明図。 点検画像中のラベルの拡大図。 文字領域の検出を行うときの解像度ピラミッド点検画像の説明図。 点検画像から文字領域を検出した説明図。 点検画像に縦枠線と横枠線を設けるときの説明図。 点検画像と計画データを重ね合わせるときの説明図。 点検画像と計画データを重ね合わせたときの説明図。 属性を求めるときのフローチャート。 作業リストの説明図。 （ａ）（ｂ）は分割画像、（ｃ）は合成画像の説明図。 物品管理装置の構成図。

以下、本発明の一実施形態の物品管理装置１０について図面に基づいて説明する。

実施形態１

実施形態１の物品管理装置１０について図１〜図１２に基づいて説明する。本実施形態の物品管理装置１０が動作する状況について説明する。

棚１が、倉庫、店、部屋などに配置され、図４に示すようにこの棚１の棚板には各種の物品２がそれぞれ陳列されている。その棚１の前面、又は、物品２の前面には、陳列された物品２に対応するラベル３が設置されている。「ラベル」とは、管理対象である物品（商品）２を管理する文字、数字、記号のいずれかを含む文字列（例えば、「チョコレート」、「ケーキ」「２Ｂ−１５２３」である）が表示されたものであって、物品ラベル、物品札である。また、このラベル３に表示された文字列の情報を以下では、「ラベル情報」という。そして、棚１の陳列位置には、計画通りのラベル３が設置される必要がある。しかし、対応した陳列位置に異なるラベル３が設置されたり、ラベル３が全く設置されていない場合がある。

そこでこのような誤ったラベル３の設置状態を防止するため、計画データ４が作成されている。「計画データ」４とは、販売状態や出荷状態に基づいて、どのように物品２を棚１に陳列するかを定めた計画であり、棚１に陳列される物品２の前面に設置されそのラベル３の設置される範囲を長方形で表した計画領域５と、そのラベル３のラベル情報６が前記計画領域に付与されている。すなわち、計画データ４は、図３に示すように、棚１に設置されたラベル３の設置位置を示す計画領域５と、この計画領域５に対応したラベル情報６が付与されている。例えば、図４に示すように、棚１の最下段の左から「ビスケット」のラベル３、「クラッカー」のラベル３が設置されている場合には、図３に示すように、計画データ４の最下段に左からラベル情報６が「ビスケット」が付与された計画領域５、ラベル情報６が「クラッカー」の計画領域５が付与された計画領域５がそれぞれ表現されている。

まず、物品管理装置１０は、カメラ１６を用いて、物品２のラベル３の設置状態を点検したい棚１を撮影し、複数のラベル３が撮影された画像（以下、「点検画像」という）７を取得する。

次に、物品管理装置１０は、この点検画像７と計画データ４を比較して、計画した設置位置に正しいラベル３が設置されていたり、異なるラベル３が設置されていたり、ラベル３が設置されていない状態を検出し、属性を求めて、作業リストを生成する。「属性」とは、例えば、ラベル３の正常な設置、ラベル３の誤設置、ラベル３の設置忘れなどである。

次に、物品管理装置１０は、作業リストに基づいて点検画像７上のラベル３の位置に属性を付与して出力する。

物品管理装置１０の構成について、図１のブロック図、図２のフローチャートに基づいて説明する。

物品管理装置１０は、図１に示すように、取得部１１、検出部１２、認識部１３、位置決定部１４、リスト生成部１５とを備えている。

取得部１１は、外部の装置、又は、内部の記憶装置から計画データ４を取得し、カメラ１６から点検画像７を取得する（図２のステップＳ１）。

検出部１２は、点検画像７に写るラベル３に表示された文字列からなる文字領域８を検出する（図２のステップＳ２）。

認識部１３は、その検出した文字領域８から文字を認識する。以下、この認識した文字列を「認識情報」という（図２のステップＳ３）。

位置決定部１４は、点検画像７中のラベル３の文字領域８と、計画データ４の各ラベル３が設置された計画領域５が対応するように位置合わせして重ねる（図２のステップＳ４）。

リスト生成部１５は、計画領域５に付与されたラベル情報６と点検画像７中のラベル３から認識した認識情報などを比較し属性を求める（図２のステップＳ５）。リスト生成部１５は、点検画像７中の文字領域８毎の属性に基づいて作業リストを生成し（図２のステップＳ６）、その作業リストに基づいて点検画像７に属性を付与し、その点検画像７を出力する（図２のステップＳ７）。

次に、物品管理装置１０の各部１１〜１５の処理を順に詳しく説明する。

取得部１１は、外部の装置、又は、内部の記憶装置から図３に示す計画データ４と、カメラ１６から図４に示す点検画像７を取得する。本実施形態では、点検画像７は１枚の静止画像である。取得部１１に入力された点検画像７は、検出部１２へ出力し、取得部１１に入力された計画データ４は位置決定部１４へ出力する。

計画データ４について図３に基づいて説明する。計画データ４の計画領域５に付与されているラベル情報６は、管理する物品２を一意に表す数字列、アルファベットを含む記号列からなる文字列でなる。例えば、文字列は、物品２の管理コード（例：１０１１−１１２３、１Ａ−１１２３）である。特定の管理コードを付与していない場合には、「ビスケット」「クッキー」など物品名や、「日本産チョコレート」「ベルギー産チョコレート」のように産地などの属性を含めた物品名でもよい。

計画領域５は、ラベル３を棚１に設置する領域を特定する情報であり、ラベル３を設置する棚１の状態（図４参照）に対応して長方形の領域で表現される。この計画領域５は、計画データ４において設定された２次元のデータ座標系の４点の座標値（例えば、左上の座標値、右上の座標値、左下の座標値、右下の座標値）で表現されている。データ座標系は、例えば、図３に示すように、計画データ４の左下に原点があり、ｐ軸とｑ軸からなる直交座標系である。但し、計画領域５の表現方法は、物品２を配置する領域の大きさ及び物品２を配置する領域間の相対的な関係がわかる表現であればよく、これに限定されない。また、計画データ４には、複数の設置位置に同じ物品２のラベル３があってもよい。ラベル３が設置されていない領域には、ラベル情報が付与されていない空白の計画領域が設置されている。この計画データ４については、後からさらに詳しく説明する。

点検画像７には、２次元の画像座標系が設定され、点検画像上のラベル３の位置などはこの座標値で表現されている。画像座標系は、例えば、図４に示すように、点検画像７の左下に原点があり、ｘ軸とｙ軸からなる直交座標系である。

検出部１２は、取得部１１から入力された点検画像７中からラベル情報６を表す文字列の領域（以下、「文字領域」８という）、その検出位置、検出尤度Ｌを検出する。そして、検出部１２は、点検画像７、図７に示す検出した文字領域８、検出位置、検出尤度Ｌを認識部１３へ出力する。

検出部１２が、点検画像７に撮影された文字領域８を検出する方法について図３に基づいて説明する。

第１に、検出部１２は、点検画像７から文字の全部又は一部を構成する文字成分８１〜８５（１以上の連続する画素）を検出する。これについては、後から詳しく説明する。

第２に、検出部１２は、検出した文字成分８１〜８６の中から、同一の文字列に含まれると推定される文字成分を選択する。ここでは、検出部１２は、文字成分８１〜８６を選択する。

第３に、検出部１２は、選択した文字成分８１〜８６に基づいて文字列の方向及び高さの情報を取得することで、点検画像７から１以上の文字が映る領域（文字領域）８の検出位置を図７に示すように検出する。検出位置とは、文字領域８が検出された範囲を点検画像７上の２次元の画像座標系の４点の座標値（例えば、左上の座標値、右上の座標値、左下の座標値、右下の座標値）で表したものである。なお、点検画像７から１以上の文字領域８を検出する方法は、特開２００５−３０９７７１号公報に記載された方法、その他のの公知の方法を用いればよい。また、このときに検出部１２は、検出尤度Ｌも算出する。

検出部１２が、点検画像７から文字成分を検出する方法について、図６に基づいて説明する。

第１に、検出部１２は、点検画像７を一定比率ｒ（但し、０＜ｒ＜１）で順次縮小する。

第２に、検出部１２は、１以上のリサイズ点検画像７１〜７２を生成する。

第３に、検出部１２は、点検画像７とリサイズ点検画像７１〜７２の中心を合わせて上下方向に並べることで、解像度ピラミッド点検画像７３を生成する。

第４に、検出部１２は、解像度ピラミッド点検画像７３に含まれる点検画像７及びリサイズ点検画像７１〜７２の対応箇所を、所定サイズの検出窓７４で切り取り、３つの部分点検画像を生成する。

第５に、検出部１２は、文字、非文字画像を予め学習した文字検出辞書を用いて、３つの部分点検画像をそれぞれを照合する。

第６に、検出部１２は、この照合によって文字の確からしさを表す検出尤度Ｌを求め、文字成分検出用の検出閾値を超えていれば、文字成分として検出する。また、検出部１２は、この検出尤度Ｌも記憶しておく。検出尤度Ｌは、部分空間法やサポートベクターマシンなどを用いたパターン識別など公知の方法で求める。

認識部１３は、検出部１２で検出したそれぞれの文字領域８内に存在する認識情報を公知の文字認識方法で認識する。このときに認識部１３は、文字認識の度合いを示す認識スコアＭも求める。そして、認識部１３は、点検画像７、文字領域８、検出位置、検出尤度Ｌ、認識情報、認識スコアＭを位置決定部１４へ出力する。

なお、認識部１３は、文字を認識するために予め学習している文字パターン及び言語コーパスとの近さから、認識した文字列の確からしさを表す認識スコアＭを算出する。

位置決定部１４は、点検画像７と計画データ４を位置決めして重ね合わせ、点検画像７の文字領域８と計画データ４の計画領域５を対応付けして、リスト生成部１５に出力する。

位置決定方法について図３、図７〜図１０に基づいて説明する。

第１に、位置決定部１４は、図３に示すように、計画データ４の横方向に並ぶ長方形の計画領域５の数（以下、行の数という）、縦方向に並ぶ長方形の計画領域５の数（以下、列の数という）、横方向に並ぶ計画領域５の間を仕切る縦枠線の数、縦方向に並ぶ計画領域５の間を仕切る横枠線の数を、計画データ４から取得する。

第２に、位置決定部１４は、図７、図８に示すように、画像座標系における点検画像７中の文字領域８のｘ軸方向の存在区間（ｘ１０，ｘ１１）を、ｘ軸に射影して、射影区間（ｘ１０，ｘ１１）を求める。

また、位置決定部１４は、図７、図８に示すように、画像座標系における点検画像７中の他の文字領域８のｘ軸方向の存在区間（ｘ２０，ｘ２１）を、ｘ軸に射影して、射影区間（ｘ２０，ｘ２１）を求める。

このようにして、位置決定部１４は、図７、図８に示すように、点検画像７中の全ての文字領域８のｘ軸方向の存在区間を射影して、ｘ軸の射影区間を全て求める。

そして、位置決定部１４は、図７、図８に示すように、ｘ軸上において射影区間が全くない区間の中心を、点検画像７中のｙ軸と平行な縦枠線の位置として設定する。

第３に、位置決定部１４は、図７、図８に示すように、画像座標系における点検画像７中の文字領域８のｙ軸方向の存在区間（ｙ１０，ｙ１１）を、ｙ軸に射影して、射影区間（ｙ１０，ｙ１１）を求める。

また、位置決定部１４は、図７、図８に示すように、画像座標系における点検画像７中の他の文字領域８のｙ軸方向の存在区間（ｙ２０，ｙ２１）を、ｙ軸に射影して、射影区間（ｙ２０，ｙ２１）を求める。

そして、位置決定部１４は、図７、図８に示すように、ｙ軸上において射影区間が全くない区間の中心を、点検画像７中のｘ軸と平行な横枠線の位置として設定する。

このようにして、位置決定部１４は、図７、図８に示すように、点検画像７中の全ての文字領域８のｙ軸方向の存在区間を射影して、ｙ軸の射影区間を全て求める。

第４に、位置決定部１４は、計画データ４の縦枠線の数と横枠線の数と、点検画像７の縦枠線の数と横枠線の数とが同じになるように設定し、縦枠線と横枠線によって区切られた長方形の領域（以下、「セル」９という）を生成する。

第５に、位置決定部１４は、隣接する文字領域８間の相対位置関係を崩さないように文字領域８を、縦枠線と横枠線によって区切られた長方形のセル９に割り当てる。このとき、文字領域８間の上下、左右の関係が保たれない場合、位置決定部１４は、それら文字領域８にあるセル９を分割、統合し、上下、左右の関係を保持する。そして、位置決定部１４は、文字領域８を全て長方形の各セル９に割り当てる。

第６に、位置決定部１４は、点検画像７と計画データ４のスケールを合わせ、すなわち、位置決定部１４は、点検画像７のサイズと計画データ４のサイズが一致するように、どちらかを拡大、又は、縮小する。この拡大縮小比率は、カメラ１６の撮影位置からの点検画像７におけるラベル３のサイズと、計画データ４におけるラベル３のサイズとから予め求めておく。

第７に、図９に示すように、位置決定部１４は、文字領域８を含む縦枠線と横枠線の各セル９、及び、長方形の計画領域５の縦枠線と横枠線が合うように位置を決定して、点検画像７と計画データ４とを重ね合わる。

第８に、図１０に示すように、位置決定部１４は、重なった長方形のセル９の中にある文字領域８と、計画データ４の長方形の計画領域５に付与されたラベル情報６を対応付ける。

なお、長方形のセル９と長方形の計画領域５が重なり合っても、セル９の中心と計画領域５の中心との距離が、基準距離以上のときは対応づけないように設定してもよい。また、点検画像７と計画データ４とを重ね合わせたときに、最も対応する領域が多い位置で合わせてもよい。

リスト生成部１５は、点検画像７上の文字領域８と対応付けができた計画領域５と、文字領域８と対応付けができない計画領域５と、計画領域５と対応付けができない文字領域８とを検出し、それぞれの内容に対応して属性を付与し、作業リストを生成し、この作業リストに基づいて点検画像７上に属性を表現する。

まず、リスト生成部１５は、図１０に示すように、重ねた文字領域８と計画領域５とを比較し、一致するか否かを判断する。このリスト生成部１５が、文字領域８と計画領域５とが一致するか否かの方法について説明する。

第１に、リスト生成部１５は、文字領域８と計画領域５との距離Ｋ１、文字領域８の認識情報と計画領域５のラベル情報６との一致度合いＫ２から一致率Ｋを求める。距離Ｋ１とは、文字領域８と計画領域５が同じ位置にあれば「１」、所定の距離以上離れていれば「０」とした文字領域８と計画領域５間のずれの度合を示す。一致度合いＫ２とは、認識情報の文字とラベル情報６の文字が一致する割合を意味する。そして、一致率Ｋは、距離Ｋ１、又は、一致度合いＫ２のいずれか一方、又は、距離Ｋ１と一致度合いＫ２との重み付け和を意味する。

第２に、リスト生成部１５は、点検画像７中の文字領域８の検出尤度Ｌ、文字領域８の文字認識の認識スコアＭ、文字領域８と計画データ４の計画領域５に付与されたラベル情報６との一致度Ｋに基づいて属性を判断する。属性の判断方法については後から詳しく説明する。

第３に、リスト生成部１５は、点検画像７中の文字領域８の属性を全て判断して、図１２に示す作業リストを作成する。

第４に、リスト生成部１５は、作業リストに基づいて、点検画像７中の所定の位置にある文字領域８に属性を付与する。この属性の付与方法は、点検画像７中の文字領域８の色を、作業者が行う作業内容（属性によって指示される作業）に対応して色を変化させる。

第５に、リスト生成部１５は、上記のように属性が色で表現された点検画像７をプリンターやスマートフォンの表示装置に出力する。なお、属性１〜６に用いる点検画像７上の色は、例示であって、他の色や、吹き出しで属性内容を表現してもよい。

第６に、作業者は、この属性が色で表現された点検画像７を見ながら、その属性に応じた作業を行う。

属性としては、次のようなものがある。

属性１は、「正常」の意味である。すなわち、文字領域８の検出位置と認識スコア、計画領域５の位置とラベル情報とが共に一致する場合は、ラベル３が棚１に計画通りに設置されているとする。リスト生成部１５は、この属性１を点検画像７上に表現する場合は、点検画像７上の正常な文字領域８をそのままの表示する。

属性２は、「設置忘れ」の意味である。すなわち、計画領域５の位置に、文字領域８が存在しない場合は、計画領域５にラベル３が設置されていないとする。リスト生成部１５は、この属性２を点検画像７上に表現する場合は、点検画像７上の当該文字領域８がない領域を黒色で表示する。

属性３は、「誤設置」の意味である。すなわち、文字領域８の検出位置と認識スコア、計画領域５の位置とラベル情報とが共に一致しない場合は、間違ったラベル３を設置されているとする。リスト生成部１５は、この属性３を点検画像７上に表現する場合は、点検画像７上の誤設置されたラベル３の文字領域８を赤色で表示する。

属性４は、「設置検出位置誤り」の意味である。すなわち、文字領域８の検出位置に、計画領域５が存在しない場合は、計画にない範囲にラベル３が設置されているとする。リスト生成部１５は、この属性４を点検画像７上に表現する場合は、点検画像７上の誤まった範囲にあるラベル３の文字領域８を黄色で表示する。

属性５は、「設置不備」の意味である。すなわち、計画領域５の位置に、文字領域８が存在するが、文字を認識できない場合は、ラベル３が見えにくい状態で設置されているとする。リスト生成部１５は、この属性５を点検画像７上に表現する場合は、点検画像７上の認識できないラベル３の文字領域８を青色で表示する。

属性６は、「要確認」の意味である。すなわち、計画領域５の有無にかかわらず、点検画像７上の文字領域８の認識結果の信頼度が低い場合である。リスト生成部１５は、この属性６を点検画像７上に表現する場合は、点検画像７上の要確認のラベル３の文字領域８を緑色で表示する。

リスト生成部１５は、点検画像７上の文字領域８と、重ねた計画データ４の計画領域５とを比較して、一致するかを判断し、その内容に基づいて属性を判断し、作業リストを生成する。そして、リスト生成部１５は、その作業リストに応じて点検画像７上に属性を表現して出力する。

リスト生成部１５が属性を判断する方法について図１１のフローチャートに基づいて説明する。

属性は、検出部１２が求めた点検画像７中の文字領域８の検出尤度、認識部１３が求めた文字領域８の認識情報の認識スコア、リスト生成部１５が求めた認識情報と計画領域５に付与されたラベル情報６との一致度で判断される。

ステップＳ１０１において、リスト生成部１５は、計画データ４が取得されているか否かを判断し、取得されていればステップＳ１０７に進み（Ｙの場合）、計画データ４が取得されていなければステップＳ１０２に進む（Ｎの場合）。

ステップＳ１０２おいて、検出部１２が、点検画像７中に文字領域８を検出していればステップＳ１０４に進み（Ｙの場合）、検出していなければステップＳ１０３に進む（Ｎの場合）。

ステップＳ１０３おいて、計画データ４がなく、点検画像７中に文字領域８も検出されないため、リスト生成部１５は、「正常」の属性を付与する。すなわち、点検作業が無い場合である。

ステップＳ１０４おいて、リスト生成部１５は、検出された文字領域８の検出尤度が検出閾値以上、又は、認識スコアが認識スコア以上であればステップＳ１０５に進み（Ｙの場合）、検出尤度が検出閾値未満、かつ、認識スコアが認識閾値未満であればステップＳ１０６に進む（Ｎの場合）。

ステップＳ１０５において、点検画像７中に文字領域８が検出されているが、検出尤度が検出閾値以上、又は、認識スコアが認識閾値以上であるため、リスト生成部１５は、ラベルの設置間違いであると判断し、「設置位置誤り」の属性を付与する。

ステップＳ１０６において、点検画像７中に文字領域８が検出されているが、検出尤度が検出閾値未満、かつ、認識スコアが認識閾値未満であるため、リスト生成部１５は、その部分に関しては要確認であると判断し、「要確認」の属性を付与する。

ステップＳ１０７において、計画データ４が存在するので、検出部１２が、点検画像７中に文字領域８があるか否かを判断し、文字領域８がある場合にはステップＳ１０９に進み（Ｙの場合）、文字領域８がない場合にはステップＳ１０８に進む（Ｎの場合）。

ステップＳ１０８において、リスト生成部１５は、計画データ４が存在し、かつ、点検画像７中に文字領域８が認識されないため、ラベルの「設置忘れ」の属性を付与する。

ステップＳ１０９において、検出部１２の検出した検出尤度が検出閾値以上の場合にはステップＳ１１０に進み、検出閾値未満の場合にはステップＳ１１７に進む。

ステップＳ１１０において、リスト生成部１５は、検出尤度が検出閾値以上の文字領域８に関して、認識部１３が算出した認識スコアが認識閾値以上であればステップＳ１１２に進み（Ｙの場合）、認識閾値未満であればステップＳ１１１に進む（Ｎの場合）。

ステップＳ１１１において、リスト生成部１５は、認識スコアが点検画像７中に存在すると判断し、「要確認」の属性を付与する。

ステップＳ１１２において、リスト生成部１５は、検出尤度が検出閾値以上であり、認識スコアが認識閾値以上である文字領域８に関して、計画領域５と一致しているか否かを判断し、一致していればステップＳ１１４に進み（Ｙの場合）、一致していなければステップＳ１１３に進む（Ｎの場合）。

ステップＳ１１３において、文字領域８によって認識された認識情報と、計画領域５に付与されたラベル情報６とが一致していないため、リスト生成部１５は、ラベルの誤設置であると判断し、「設置位置誤り」の属性を付与する。

ステップＳ１１４において、リスト生成部１５は、計画領域５と一致した文字領域８に関する一致率が、一致閾値以上であればステップＳ１１５に進み（Ｙの場合）、一致閾値未満であればステップＳ１１６に進む（Ｎの場合）。

ステップＳ１１５において、点検画像７中に検出された文字領域８の認識スコアが認識閾値以上であり、かつ、計画データ４のラベル情報６と一致し、計画領域５と文字領域８の間隔を示す一致度が一致閾値以上であるため、リスト生成部１５は、そのラベルは正常に設置されたと判断し、「正常」の属性を付与する。

ステップＳ１１６において、リスト生成部１５は、一致率が一致閾値未満であるため、ラベルの内容は正しくても、設置位置が誤っていると判断し、「誤設置」の属性を付与する。

ステップＳ１１７において、検出部１２が検出した点検画像７中の文字領域８の検出尤度が検出閾値未満である場合に、認識部１３がその文字領域８に関する認識を行い、認識スコアが認識スコア以上であればステップＳ１１９に進み（Ｙの場合）、認識スコアが認識閾値未満であればステップＳ１１８に進む（Ｎの場合）。

ステップＳ１１８において、検出尤度が検出閾値未満であり、かつ、認識スコアが認識閾値未満であるため、リスト生成部１５は、ラベルの設置忘れであると判断し、「設置忘れ」の属性を付与する。

ステップＳ１１９において、リスト生成部１５は、検出尤度が検出閾値未満であるけれども、認識スコアが認識閾値以上である文字領域８と、計画領域５のラベル情報６とが一致しているか否かを判断し、一致していればステップＳ１２０に進み（Ｙの場合）、一致していなければステップＳ１２１に進む（Ｎの場合）。

ステップＳ１２０において、認識スコアが認識閾値以上であり、かつ、認識情報がラベル情報６と一致しているため、リスト生成部１５は、ラベルが検出し難い状態、すなわち、設置不備であると判断し、「設置不備」の属性を付与する。

ステップＳ１２１において、認識スコアが認識閾値以上であり、かつ、認識情報がラベル情報６と一致していないため、リスト生成部１５は、ラベルが誤設置されていると判断し、「誤設置」の属性を付与する。

以上のように各点検画像７中の文字領域８、計画データ４の計画領域５に関して属性を付与した後、リスト生成部１５は、図面に示す作業リストを生成する。

次に、リスト生成部１５は、この作業リストの内容に基づいて、点検画像７中に文字領域８にそれぞれ属性を付与する。

本実施形態の物品管理装置１０によれば、作業者は、属性が表現された点検画像７を見ながら、その属性に応じた作業を行うだけでよいので、作業効率が向上する。

実施形態２

次に、実施形態２の物品管理装置１０について図１３に基づいて説明する。

実施形態１と本実施形態の物品管理装置１０の異なる点は、実施形態１では、点検画像７は１枚の静止画像であったが、本実施形態では、計画データ４に対応した棚１を複数の点検画像７に分割して撮影している点にある。この複数の点検画像７は、複数の静止画像、又は、棚１を動画で撮影し、その動画の各フレームを意味する。以下の説明では、複数の点検画像７を一枚の点検画像７にまとめる構成についてのみ説明する。なお、複数の点検画像７を分割画像７０１、７０２と呼び、一枚にまとめた点検画像７を合成画像７０５と呼ぶ。

本実施形態では、照明条件は一定で、かつ、カメラ１６の撮影角度を変化させて、複数の分割画像を撮影する場合である。すなわち、本実施形態は、カメラ１６の撮影角度を変化させながら棚１を撮影した複数の分割画像を取得する。

第１に、取得部１１は、図１３（ａ）（ｂ）に示すように、カメラ１６の撮影角度を変化させながら複数の分割画像７０１、７０２を取得する。

第２に、位置決定部１４は、分割画像７０１、７０２に写った局所特徴量をそれぞれ算出し、各分割画像の局所特徴量間で最も類似した点７０３、７０４同士を対応点として決定する。なお、「局所特徴量」は、分割画像７０１、７０２において、回転、拡大縮小によって変化せず、かつ、安定した特徴を持つ点の領域を意味する。

第３に、位置決定部１４は、決定した複数の対応点７０３、７０４から、２枚の分割画像７０１、７０２の移動量と変形量を推定し、推定した移動量、変形量に沿って分割画像７０１、７０２の対応点７０３、７０４同士を重ね合わせ、図１３（ｂ）に示すように、合成画像を生成する。

第４に、リスト生成部１５は、合成画像７０５上に計画データ４の計画領域５を位置合わせして重ねる。

複数の分割画像７０１、７０２でラベル３を撮影する場合、ラベル３上の１つの文字列が、複数の分割画像７０１、７０２で撮影される場合がある。このとき、位置決定部１４は、その文字列を検出した文字領域８の検出尤度Ｌ及び認識スコアＭについて、各分割画像７０１、７０２の検出尤度Ｌ、認識スコアＭの平均値に設定し、文字列の認識情報について認識した文字の多数決で決定する。また、位置決定部１４は、最も高い検出尤度Ｌと、最も認識スコアＭが高い認識情報をその文字領域８の認識情報としてもよい。

また、認識部１３は、分割画像毎に文字を認識し、対応付いた文字領域８の認識情報をつなぎ合わせてもよい。

本実施形態によれば、他の物体による遮蔽や反射によって文字領域８が検出、認識できない場合であっても、文字領域８から認識情報を取得できる。また、認識部１４は、曲面状のラベル３に表示された文字を、カメラ１６の撮影角度を変化させることにより認識できる。

実施形態３

次に、実施形態３の物品管理装置１０について説明する。

本実施形態は、実施形態２の変更例であって、複数の分割画像７０１、７０２として、カメラ１６が固定され、かつ、照明条件を変化させて複数の分割画像７０１、７０２を撮影する。すなわち、本実施形態では、照明装置の照明角度、明るさ、設置位置などの照明条件を変化させ、同じ位置で固定されたカメラ１６が同じ棚１を複数回撮影し、取得部１１が、複数の分割画像７０１、７０２を取得する。

位置決定部１４は、取得部１１で取得した複数の分割画像７０１、７０２を合成して合成画像７０５を生成する。なお、照明条件を変化させるだけで、撮影位置が固定であるため、複数の分割画像７０１、７０２の位置合わせは不要である。

検出部１２は、それぞれの分割画像７０１、７０２の文字領域８を検出し、その中で最もコントラストの高い文字領域８を有する分割画像７０１、７０２を採用する。

本実施形態の物品管理装置１０であると、一枚の点検画像７では、照明により白飛びしてしまう領域や黒潰れしてしまう領域であっても、照明条件が変化した複数の分割画像７０１、７０２の中から最もコントラストのある文字領域８を検出できる。

変更例１

上記実施形態の物品管理装置１０の変更例１について説明する。上記実施形態の物品管理装置１０では、計画データ４の計画領域５を点検画像７の画像座標系に変換して、文字領域８と重ね合わせたが、これに代えて、点検画像７の文字領域８を計画データ４のデータ座標系に変換して、計画領域５と重ね合わせてもよい。

テータ座標系に座標変換する方法は、計画データ４上の計画領域５を点検画像７上へ座標変換する方法と同様の方法を用いる。このときには、リスト生成部１５は、属性を付与した計画データ４を出力する。

この座標変換する方法に関して、実施形態１では、点検画像７の撮影位置を固定しない方法を示したが、その方法に限らず、点検画像７の撮影位置を固定し、計画データ４と点検画像７上の特定の位置が対応するようにしてもよい。

また、点検画像７上のある位置と、それに対応する計画データ４の位置を、作業者が手動で複数個所指定し、指定された位置同士が重なりあうように計画領域５を座標変換してもよい。また、棚１の特定の位置（例えば棚１の端など）にマーカーを設置して点検画像７を撮影し、撮影されたマーカーの位置と、その位置に対応する計画データ４上のマーカー位置を合わせるように、計画領域５を座標変換して位置を合わせしてもよい。

なお、計画データ４と点検画像７上の位置合わせは、その他の公知公用の方法を用いることができる。

変更例２

上記実施形態の物品管理装置１０の変更例２について説明する。上記実施形態の物品管理装置１０の検出部１２は、点検画像７から文字列を検出したが、これに加えて物品２の管理情報を記載する領域を検出してもよい。すなわち、検出部１２が、物品２の管理情報を記載する領域を検出し、検出した領域に限定することにより物品２を表す文字列を検出する。

「管理情報」を記載する領域としては、物品札などがある。検出部１２は、物品札を検出し、その文字領域８の文字列のみを検出してもよく、物品札の特定の位置にある文字列のみを検出してもよい。

物品札の検出は、物品札、非物品札点検画像７を予め学習した検出辞書を用いて、点検画像７の解像度ピラミッド点検画像７から切り出した部分領域を照合し、物品札らしさを表す検出尤度Ｌが物品札検出用の検出閾値以上であれば、物品札領域として検出する。

物品札領域の検出方法は、これに限らず、点検画像７から特定の形状パターンを検出する方法、パターンマッチングやニューラルネットワークの方法を利用する方法、又はこれらを組み合わせた方法など、当業界で知られる公知公用の方法を採用できる。

また、文字領域８の検出尤度Ｌとして、物品札の検出尤度Ｌを用いてもよく、文字列を検出した際に算出した文字列の検出尤度Ｌと物品札の検出尤度Ｌの平均、最大値、重みづけ和の何れかを検出尤度Ｌとして用いてもよい。

変更例３

上記実施形態の物品管理装置１０の変更例３について説明する。上記実施形態の物品管理装置１０において付与する属性は、ラベル３の設置状態が一つ決まる方法であった。しかし、属性を数値化して連続的し、作業内容の重要度を比較できるようにしてもよい。

また、ラベル３の設置状態に対して作業が必要な確率を表す重要度を与えてもよい。

第１に、リスト生成部１５は、実施形態１で示した方法で属性を判断する。

第２に、リスト生成部１５は、検出尤度Ｌ、認識スコアＭ、一致度Ｋの合計値Ｇを求める。すなわち、Ｇ＝Ｌ＋Ｍ＋Ｋである。また、重要度をＪとし、重要度の上限値をＪＭとする。

第３に、リスト生成部１５が判断した属性が「正常」の場合は、重要度Ｊ＝ＪＭ−Ｇとする。

第４に、リスト生成部１５が判断した属性が「誤設置」、「設置位置誤り」の場合は、重要度Ｊ＝１／（Ｌ＋Ｍ＋Ｋ）とする。

第５に、リスト生成部１５が判断した属性が「設置忘れ」の場合は、対応する文字領域８がなかった場合に重要度Ｊを最も高くし、文字領域８があった場合は、重要度Ｊ＝１／（Ｌ＋Ｍ＋Ｋ）とする。

これにより、ラベル３の点検作業を行う必要が高い領域ほど重要度が高くなり、ラベル３の認識が誤っているなどの点検作業を行う必要が低い領域ほど重要度が低くなる。

また、重要度の低い領域は、作業者は実際に現場に行かず、点検画像７のみを確認することで点検作業を削減できる。

また、正常以外で重要度の高い領域は、修正作業が必要な可能性が高いため、点検画像７で確認することなく、実際の点検作業を行うことにより、効率的に作業できる。

また、正常と属性を付与した領域でも、重要度の高い領域は、認識誤りがある可能性があり、点検画像７を確認することで、認識誤りによる修正ミスを防止できる。

このように本変更例では、属性に重要度を与えることにより、点検作業を効率化できる。

変更例４

上記実施形態の物品管理装置１０の変更例４について説明する。本変更例では、ラベル３の文字列の意味によって重要度を変化させる。

また、重要度を求めるときに、物品２を表す文字列のうち、特定の位置にある文字（文字列）が、ラベル情報６と一致しているか否かで重要度を変更してもよい。

物品２を管理する管理コードは、大分類―小分類を表す文字列をつなげた構成にできる（例えば、書籍のＩＳＢＮコードである）。

例えば、コードを大分類、中分類、小分類に分類する。大分類では、食品１、その他２に分類する。中分類では、農産品１、畜産品２、水産品３に分類する。小分離では、物品２毎に個別のＩＤを付与する。トマトの場合には、１−１−５となり、さんまでは１−３−６となる。このとき、文字領域８と小分離を表す文字列（例では、末尾の文字）が一致しない場合よりも、大分類を表す文字列（例では、先頭の文字）が一致しない場合に重要度を上げる。

これにより、本変更例では、設置する物品２のラベル３から用途が異なる物品２のラベル３が設置されている場合ほど、重要度を上げることができる。

また、物品２を表す文字列が「日本産チョコレート」「ベルギー産チョコレート」のように産地などの属性を含めた物品名である場合について説明する。認識部１３には、物品名、又は、属性を表す文字（例えば、「産」）を予め記憶させておき、次に、認識した文字の意味を解析する。そして、一致する文字数が同じ場合において、物品名が不一致で属性（産地）が一致した場合よりも、物品名が一致し、属性（産地）が一致しない場合の重要度を下げてもよい。

変更例５

上記実施形態の物品管理装置１０の変更例５について説明する。本変更例では、属性を識別器を用いて推定する。リスト生成部１５が、この識別器を有している。

まず、識別器が、計画データ４の計画領域５と点検画像７の文字領域８のサンプルから、一致度Ｋ、認識スコアＭ、検出尤度Ｌ、ラベル３の実際の設置状態を示す属性を学習する。なお、サンプルは、属性の種類以上のサンプルを準備する。

次に、リスト生成部１５は、属性を判断したい入力データ（計画データ４と点検画像７）を識別器に入力してラベル３の属性を推定する。

識別器としては、例えば、マルチクラスＳＶＭ、又は、ＫＮＮ識別器を用いる。

マルチクラスＳＶＭは、特徴空間上でサンプルの属性を分離する識別平面を学習し、学習した識別平面からの距離から属性を判断する。

ＫＮＮ識別器は、特徴空間上で入力データの近い距離にあるサンプルの属性から、入力データの属性を推定する。

また、計画データ４と点検画像７のサンプルに対し、計画領域５に対して重要度を予め設定しておき、設定した重要度に対応した一致度Ｋ、認識スコアＭ、検出尤度Ｌを連結したベクトルを特徴量ｘとし、この特徴量から、重要度を算出する回帰直線を学習し、（１）式に示す学習した回帰直線を用いて重要度を推定してもよい。

特徴量ｘのサンプルで設定した重要度をｙｉとして、（２）式を用いて正規化された誤差関数を最小化し、重要度を算出する回帰直線を求める。

このとき、回帰の方法は、これに限定されることなく、公知公用の方法を用いることができる。

変更例６

図１４は、物品管理装置１０のハードウェア構成の一例を表すブロック図である。図１４に示すように、物品管理装置１０は、ＣＰＵ２０１と、物品管理プログラムなどを記憶するＲＯＭ２０２と、ＲＡＭ２０３と、ＨＤＤ２０４と、ＨＤＤ２０４とのインターフェイスであるＩ／Ｆ２０５と、カメラ１６からの点検画像７、計画データ４の入力用のインターフェイスであるＩ／Ｆ２０６と、マウスやキーボードなどの入力装置２０７と、入力装置２０７とのインターフェイスであるＩ／Ｆ２０６と、ディスプレイなどの表示装置２０８と、表示装置２０８とのインターフェイスであるＩ／Ｆ２１０と、バス２１１とを備えており、通常のコンピュータを利用したハードウェア構成となっている。

物品管理装置１０では、ＣＰＵ２０１がＲＯＭ２０２から物品管理プログラムをＲＡＭ２０３上に読み出して実行することにより、上記各部（取得部１１、検出部１２、認識部１３、位置決定部１４、リスト生成部１５）がコンピュータ上で実現され、ＨＤＤ２０４に記憶されているデータ等を用いて上記処理を行う。

なお、物品管理プログラムはＨＤＤ２０４に記憶されていてもよい。また、物品管理プログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、ＣＤ−Ｒ、メモリカード、ＤＶＤ、フレキシブルディスク（ＦＤ）、ＵＳＢメモリ等のコンピュータで読み取り可能な記憶媒体に記憶されて提供されるようにしてもよい。また、プログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードすることにより提供するようにしてもよい。また、計測プログラムを、インターネット等のネットワーク経由で提供または配布するようにしてもよい。

また、上記コンピュータに限らず、物品管理装置１０は、システムＬＳＩで実現してもよく、ＣＰＵやＤＵＰと、物品管理プログラムを記憶するＲＯＭと、ＲＡＭと、カメラ１６からの点検画像７、計画データ４の入力用のインターフェイスであるＩ／Ｆと、生成した作業リストや点検画像７を外部へ出力する出力用Ｉ／Ｆと、これら部品を接続するバスとを備えた構成でもよい。

変更例７

物品管理装置１０の上記変更例１〜６以外の変更例ついて説明する。

実施形態１の位置決定部１４において、射影する文字領域８にマージンを設けて、検出した文字領域８よりも拡大、縮小してもよい。例えば、点検画像７に対して文字が小さい場合には、文字領域８のずれなどにより、軸に対して垂直に並んでいる文字列を射影しても射影軸上で同一の座標とならない場合があるため、位置決定部１４は、文字領域８を拡大する。また、文字が大きい場合は、軸に対して垂直に並んでいなくても、射影軸上で重なってしまうことがあるため、位置決定部１４は、文字領域８を縮小する。

また、実施形態１の位置決定部１４において、文字領域８をｘ軸に射影し、設定した枠線毎にｙ軸に射影し、それぞれの列毎に行を構成する枠線を設定してもよい。

また、実施形態１の位置決定部１４が射影する軸は、点検画像７上のｘ軸、ｙ軸ではなく、検出した文字領域８の長辺方向の軸、短辺の方向の軸にしてもよい。なお、長辺方向の軸が複数ならば、それぞれの長辺方向の軸の平均、又は、最頻値として設定してもよい。

また、実施形態１の位置決定部１４は、点検画像７と計画データ４の対応付けの方法に関して、点検画像７と計画データ４を重ね合わせ、点検画像７の文字領域８と、その文字領域８に最も近接する計画領域５との距離が基準距離以内にあり、かつ、計画領域５に前記近接する文字領域８以外に文字領域８が存在しない場合に、前記近接文字領域８と前記計画領域５が対応していると決定してもよい。

また、実施形態１のリスト生成部１５における属性の判断は、一致度Ｋに加え、検出尤度Ｌ及び認識スコアＭを使用する方法を示したが、これに限らず、作業者が作業領域に対して分類したい状況を属性として設定してもよく、また、検出尤度Ｌ、認識スコアＭの一方のみと一致度Ｋで判断してもよい。

なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。

１・・・棚、２・・・物品、３・・・ラベル、４・・・計画データ、５・・・計画領域、６・・・ラベル情報、７・・・点検画像、８・・・文字領域、セル・・・９、１０・・・物品管理装置、１１・・・取得部、１２・・・検出部、１３・・・認識部、１４・・・位置決定部、１５・・・リスト生成部

Claims (12)

1. 複数の物品を配置するための棚と、前記棚の前面、又は、前記物品の前面にそれぞれ設置され、前記各物品を管理するために文字、数字、又は、記号のいずれかを含む文字列からなるラベル情報がそれぞれ表示されたラベルとを撮影した点検画像と、前記棚における前記ラベルの設置位置を示す複数の計画領域と前記各計画領域にそれぞれ付与された前記ラベルの前記ラベル情報を有する計画データとを取得する取得部と、
   前記点検画像から前記各ラベルにそれぞれ表示された前記文字列の文字領域を検出する検出部と、
   前記文字領域中の文字を認識情報として文字認識する認識部と、
   前記点検画像と前記計画データを位置決めして重ね合わせ、前記各文字領域と前記各計画領域をそれぞれ対応付けする位置決定部と、
   それぞれ対応付けした前記計画領域の前記ラベル情報と、前記文字領域の前記認識情報とを比較して、前記ラベル情報と前記認識情報の一致、又は、相違から求まる前記物品の設置の正誤に関わる状態を示す属性を前記文字領域、又は、前記計画領域に付与するリスト生成部と、
   を有する物品管理装置。
2. 前記リスト生成部は、前記計画領域の位置、前記ラベル情報、前記文字領域の位置、前記認識情報、及び、前記属性からなる作業リストを前記文字領域毎、又は、前記計画領域毎に生成する、
   請求項１に記載の物品管理装置。
3. 前記リスト生成部は、前記点検画像の前記文字領域に前記属性を付与して前記点検画像を出力するか、又は、前記計画データの前記計画領域に前記属性を付与して前記計画データを出力する、
   請求項１又は２に記載の物品管理装置。
4. 前記計画データの前記計画領域は長方形であって、複数の前記計画領域が縦方向に並んで配置され、又は、複数の前記計画領域が横方向に並んで配置され、
   前記位置決定部は、前記点検画像の複数の前記文字領域を区切るようにして複数の長方形のセルを作成し、複数の前記セルに前記各文字領域を割り当て、前記計画領域と前記セルとを重ねることにより、前記計画領域と前記文字領域とを対応付ける、
   請求項１又は２に記載の物品管理装置。
5. 複数の前記計画領域を区切る縦枠線と横枠線と、前記セルを区切る縦枠線と横枠線が合うように、前記計画領域と前記セルとを重ねる、
   請求項４に記載の物品管理装置。
6. 前記リスト生成部は、前記文字領域と前記計画領域との距離、及び、前記文字領域の前記認識情報と前記計画領域の前記ラベル情報との一致度合いから一致率を求め、前記一致率が予め定めた一致閾値以上であるときに、「正常」の属性を付与し、前記一致閾値未満であるときに「誤設置」の属性を付与する、
   請求項１乃至３のいずれか一項に記載の物品管理装置。
7. 前記リスト生成部は、前記文字領域の位置と前記計画領域の位置とが一致しないときに、前記計画領域のない位置に前記ラベルが設置されているとして「設置位置誤り」の属性を付与する、
   請求項１乃至３のいずれか一項に記載の物品管理装置。
8. 前記リスト生成部は、前記検出部が前記点検画像中に前記文字領域を検出できないときに、前記ラベルが設置されていないとして「設置忘れ」の属性を付与する、
   請求項１乃至３のいずれか一項に記載の物品管理装置。
9. 前記リスト生成部は、前記検出部が検出した前記文字領域における文字の確からしさを表す検出尤度が予め定めた検出閾値未満であり、かつ、前記認識部で認識される文字認識の正しさを表す認識スコアが予め定めた認識閾値以上のときに、前記ラベルが見えにくい状態で設置されているとして「設置不備」の属性を付与する、
   請求項１乃至３のいずれか一項に記載の物品管理装置。
10. 前記リスト生成部は、
    前記文字領域と前記計画領域との距離、及び、前記文字領域の前記認識情報と前記計画領域の前記ラベル情報との一致度合いから求めた一致率、
    前記検出部が検出した前記文字領域における文字の確からしさを表す検出尤度、
    前記認識部で認識される文字認識の正しさを表す認識スコアから、
    前記物品の設置の修正作業の重要度を算出し、前記重要度を属性として付与する、
    請求項１乃至３のいずれか一項に記載の物品管理装置。
11. コンピュータが、複数の物品を配置するための棚と、前記棚の前面、又は、前記物品の前面にそれぞれ設置され、前記各物品を管理するために文字、数字、又は、記号のいずれかを含む文字列からなるラベル情報がそれぞれ表示されたラベルとを撮影した点検画像と、前記棚における前記ラベルの設置位置を示す複数の計画領域と前記各計画領域にそれぞれ付与された前記ラベルの前記ラベル情報を有する計画データとを取得する取得ステップと、
    前記コンピュータが、前記点検画像から前記各ラベルにそれぞれ表示された前記文字列の文字領域を検出する検出ステップと、
    前記コンピュータが、前記文字領域中の文字を認識情報として文字認識する認識ステップと、
    前記コンピュータが、前記点検画像と前記計画データを位置決めして重ね合わせ、前記各文字領域と前記各計画領域をそれぞれ対応付けする位置決定ステップと、
    前記コンピュータが、それぞれ対応付けした前記計画領域の前記ラベル情報と、前記文字領域の前記認識情報とを比較して、前記ラベル情報と前記認識情報の一致、又は、相違から求まる前記物品の設置の正誤に関わる状態を示す属性を前記文字領域、又は、前記計画領域に付与するリスト生成ステップと、
    を有する物品管理方法。
12. 複数の物品を配置するための棚と、前記棚の前面、又は、前記物品の前面にそれぞれ設置され、前記各物品を管理するために文字、数字、又は、記号のいずれかを含む文字列からなるラベル情報がそれぞれ表示されたラベルとを撮影した点検画像と、前記棚における前記ラベルの設置位置を示す複数の計画領域と前記各計画領域にそれぞれ付与された前記ラベルの前記ラベル情報を有する計画データとを取得する取得機能と、
    前記点検画像から前記各ラベルにそれぞれ表示された前記文字列の文字領域を検出する検出機能と、
    前記文字領域中の文字を認識情報として文字認識する認識機能と、
    前記点検画像と前記計画データを位置決めして重ね合わせ、前記各文字領域と前記各計画領域をそれぞれ対応付けする位置決定機能と、
    それぞれ対応付けした前記計画領域の前記ラベル情報と、前記文字領域の前記認識情報とを比較して、前記ラベル情報と前記認識情報の一致、又は、相違から求まる前記物品の設置の正誤に関わる状態を示す属性を前記文字領域、又は、前記計画領域に付与するリスト生成機能と、
    をコンピュータに実現させるための物品管理プログラム。