JP7361359B2 - 商品情報検査システム及びコンピュータの制御方法 - Google Patents

商品情報検査システム及びコンピュータの制御方法 Download PDF

Info

Publication number
JP7361359B2
JP7361359B2 JP2019053190A JP2019053190A JP7361359B2 JP 7361359 B2 JP7361359 B2 JP 7361359B2 JP 2019053190 A JP2019053190 A JP 2019053190A JP 2019053190 A JP2019053190 A JP 2019053190A JP 7361359 B2 JP7361359 B2 JP 7361359B2
Authority
JP
Japan
Prior art keywords
product
information
unit
label
extracted
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019053190A
Other languages
English (en)
Other versions
JP2020154791A (ja
Inventor
駿 佐藤
祐治 中川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ishida Co Ltd
Original Assignee
Ishida Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ishida Co Ltd filed Critical Ishida Co Ltd
Priority to JP2019053190A priority Critical patent/JP7361359B2/ja
Priority to US16/821,758 priority patent/US20200302502A1/en
Priority to CN202010186786.6A priority patent/CN111723640B/zh
Publication of JP2020154791A publication Critical patent/JP2020154791A/ja
Application granted granted Critical
Publication of JP7361359B2 publication Critical patent/JP7361359B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00Commerce
    • G06Q30/06Buying, selling or leasing transactions
    • G06Q30/0601Electronic shopping [e-shopping]
    • G06Q30/0623Item investigation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/40Document-oriented image-based pattern recognition
    • G06V30/41Analysis of document content
    • G06V30/412Layout analysis of documents structured with printed lines or input boxes, e.g. business forms or tables
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/08Logistics, e.g. warehousing, loading or distribution; Inventory or stock management
    • G06Q10/087Inventory or stock management, e.g. order filling, procurement or balancing against orders
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • G06T1/0007Image acquisition

Landscapes

  • Business, Economics & Management (AREA)
  • Engineering & Computer Science (AREA)
  • Finance (AREA)
  • Accounting & Taxation (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • Development Economics (AREA)
  • Strategic Management (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Human Resources & Organizations (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Tourism & Hospitality (AREA)
  • Artificial Intelligence (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Character Discrimination (AREA)

Description

本発明は、商品情報検査システム及びコンピュータの制御方法に関する。
例えば、パン及びおにぎり等の商品には、商品名、賞味期限、原材料等が記載された商品ラベルが貼付されている。これらの商品を製造する工場等では、製造された商品に貼付する商品ラベルが、当該商品に貼付されるべきラベルとして正しいものであるか否かの検査が実施されている。このようなラベルの正否を検査する方法として、商品に関する情報が印字された部分と、当該商品に貼付すべき正しい商品ラベル(以後、「見本ラベル」と称する。)が印刷される(又は貼付される)部分と、これから貼付しようとする商品ラベル(以後、「貼付予定ラベル」)が貼付される部分とから構成されるラベル台帳を用いた検査方法が知られている。作業者は、見本ラベルと貼付予定ラベルとが一致するか否かを目視によって確認している。なお、見本ラベルがなく、チェックすべき商品情報の文字列(商品名、価格、消費期限、バーコードに係る文字列、生産工場の名称、生産ラインの識別コード、配送便の識別コード等)のみが印刷(又は貼付)されたラベル台帳が用いられることもある。
特許文献1には、このような目視による検査を自動的に行うためのラベル台帳検査装置が開示されている。具体的には、見本ラベルと貼付予定ラベルとを撮像装置によって撮像し、撮像された見本ラベルの画像と貼付予定ラベルの画像とを比較することによって、貼付予定ラベルの正否(見本ラベルと貼付予定ラベルとが一致するか否か)を判定するラベル台帳検査装置が開示されている。
特開2016-1503号公報
しかしながら、上記従来の方法では、比較検査のために、例えば商品名等の商品情報に変更がなくても、商品ラベルのデザイン(例えば、文字位置、文字大きさ、背景画像、及び配色等)が変更された場合には、貼付すべき商品ラベルである見本ラベルを差し替える必要があり、その作業は非常に手間である。また、商品を包装する包装材についても、商品ラベルと同様の課題がある。
そこで、本発明は、商品ラベル及び/又は包装材のデザインに変更があった場合であっても、変更に伴う作業手間を要することなく商品ラベル及び/又は包装材の正否を判定することができる商品情報検査システム及びコンピュータの制御方法を提供すること目的とする。
本発明に係る商品情報検査システムは、商品を識別する識別情報と商品に関する商品情報とを関連付けて記憶する記憶部と、生産に係る商品の識別情報を特定する識別情報特定部と、商品情報に含まれる一以上の商品項目が印字された、商品に貼付する商品ラベル及び/又は商品を包装する包装材に関する画像情報を取得する画像情報取得部と、識別情報特定部によって特定された識別情報に関連付けて記憶されている商品情報の中の比較対象となる所定の商品項目を、テキスト情報として記憶部から抽出する第一抽出部と、画像情報取得部によって取得された画像情報に含まれる文字の情報をテキスト情報として抽出する第二抽出部と、第一抽出部によって抽出されたテキスト情報としての文字列と、第二抽出部によって抽出されたテキスト情報としての文字列との比較に基づいて、商品ラベル及び/又は包装材の正否を判定する判定部と、を備える。
この構成の商品情報検査システムでは、見本となる(貼付すべき)商品ラベル及び/又は包装材の画像情報と画像情報取得部によって取得された商品に貼付する商品ラベル及び/又は包装材の画像情報とを比較するのではなく、記憶部に記憶されているテキスト情報としての商品項目と、上記画像情報から抽出されたテキスト情報としての商品項目とを比較することによって、商品ラベル及び/又は包装材の正否を判定している。すなわち、この構成の商品情報検査システムでは、商品ラベル及び/又は包装材の正否を判定するための基準データを、画像情報ではなくテキスト情報としている。この結果、商品ラベル及び/又は包装材のデザインに変更があった場合であっても、変更に伴う作業手間を要することなく商品ラベル及び/又は包装材の正否を判定することができる。
本発明に係る商品情報検査システムでは、第一抽出部は、商品項目として商品名を抽出してもよい。この構成では、商品名の文字列を、商品ラベル及び/又は包装材の正否を判定する基準データとすることができる。
本発明に係る商品情報検査システムでは、第一抽出部によって抽出された商品名に含まれる文字列を全て含む商品名であって、識別情報特定部によって特定された識別情報とは異なる他の識別情報に関連付けられた商品名を記憶部から抽出する第三抽出部を更に備え、判定部は、第三抽出部によって抽出された商品名の文字列が、第二抽出部によって抽出された商品名の文字列に含まれる場合には、商品ラベル及び/又は包装材は、正しいものではないと判定してもよい。
例えば、記憶部に記憶された商品名として「カレーパン」及び「辛口カレーパン」が存在し、第一抽出部によって取得された文字列が「カレーパン」、第二抽出部によって取得された文字列が「辛口カレーパン」であった場合を例に挙げる。このとき、判定部は、第一抽出部によって取得された文字列「カレーパン」が、第二抽出部によって取得された文字列「辛口カレーパン」とが異なるので、判定部は、商品ラベル及び/又は包装材は正しくないと判定されるべきである。ところが、判定部は、第二抽出部によって取得された文字列「辛口カレーパン」の中に、第一抽出部によって抽出された文字列「カレーパン」が含まれることで、画像情報取得部によって取得された「辛口カレーパン」と印字された商品ラベル及び/又は包装材を正しい商品ラベル及び/又は包装材であると判定する。このように、記憶部に類似する商品名が複数ある場合には、判定部における正否の判定精度を低下することがある。
そこで、本発明に係る構成では、第三抽出部は、第一抽出部によって抽出された商品名に含まれる文字列を全て含む商品名を抽出することによって、第一抽出部によって抽出された商品名に類似する商品名を抽出する。そして、第三抽出部によって抽出された商品名が第二抽出部によって抽出された商品名に含まれる場合には、画像情報取得部によって取得された商品ラベルは正しくないと判定する。すなわち、第三抽出部によって抽出される文字列「辛口カレーパン」が、第二抽出部によって抽出された文字列「辛口カレーパン」に含まれると、判定部は、画像情報取得部によって取得された商品ラベルは正しくないと判定することができる。これにより、記憶部に類似する商品名が複数ある場合であっても、判定部における正否の判定精度を高めることができる。
本発明に係る商品情報検査システムでは、第一抽出部によって抽出された商品名の文字列に対する編集距離が所定値以下である商品名であって、識別情報特定部によって特定された識別情報とは異なる他の識別情報に関連付けられた商品名を記憶部から抽出する第三抽出部を更に備え、判定部は、第三抽出部によって抽出された商品名の文字列が、第二抽出部によって抽出された商品名の文字列に含まれる場合には、商品ラベル及び/又は包装材は、正しいものではないと判定してもよい。
ここでいう編集距離とは、二つの文字列がどの程度異なっているかを示す指標であり、レーベンシュタイン距離とも称される公知の定義である。例えば、記憶部に記憶された商品名として「カレーパン」及び「辛口カレーパン」が存在し、第一抽出部によって取得された文字列が「カレーパン」、第二抽出部によって取得された文字列が「辛口カレーパン」であった場合を例に挙げる。このとき、判定部は、第一抽出部によって取得された文字列と、第二抽出部によって取得された文字列とが異なるので、判定部は、貼付予定の商品ラベルは正しくないと判定されるべきである。ところが、判定部は、第二抽出部によって取得された文字列の中に、第一抽出部によって抽出された文字列「カレーパン」が含まれることで、画像情報取得部によって取得された「辛口カレーパン」と印字された商品ラベルを正しい商品ラベルであると判定する。このように、記憶部に類似する商品名が複数ある場合には、判定部における正否の判定精度を低下することがある。
そこで、本発明に係る構成では、第三抽出部は、第一抽出部によって抽出された商品名の文字列に対する編集距離が所定値以下である文字列を含む商品名を抽出することによって、第一抽出部によって抽出された商品名に類似する商品名を抽出する。そして、第三抽出部によって抽出された商品名が第二抽出部によって抽出された商品名に含まれる場合には、画像情報取得部によって取得された商品ラベルは正しくないと判定する。すなわち、第三抽出部によって抽出される文字列「辛口カレーパン」が、第二抽出部によって抽出された文字列「辛口カレーパン」に含まれると、判定部は、画像情報取得部によって取得された商品ラベルは正しくないと判定することができる。これにより、記憶部に類似する商品名が複数ある場合であっても、判定部における正否の判定精度を高めることができる。
本発明に係る商品情報検査システムでは、第三抽出部によって商品名が抽出されたことを報知する報知部を更に備えてもよい。この構成では、作業者に注意喚起を促すことが可能になる。
本発明に係る商品情報検査システムは、商品を識別する識別情報と商品に関する商品情報とを関連付けて記憶する記憶部と、生産に係る商品の識別情報を特定する識別情報特定部と、識別情報特定部によって特定された識別情報に関連付けて記憶されている商品情報の中の比較対象となる所定の商品項目をテキスト情報として抽出すると共に、抽出したテキスト情報を第一画像情報に変換する変換部と、商品情報に含まれる一以上の商品項目が印字された、商品に貼付する商品ラベル及び/又は商品を包装する包装材に関する第二画像情報を取得する画像情報取得部と、変換部によって変換された第一画像情報と、画像情報取得部によって取得された第二画像情報との比較に基づいて、商品ラベル及び/又は包装材の正否を判定する判定部と、を備える。
この構成の商品情報検査システムでは、見本となる(貼付すべき)商品ラベルの画像情報と画像情報取得部によって取得された商品に貼付する商品ラベルの画像情報とを比較するのではなく、記憶部に記憶されているテキスト情報としての商品項目から変換された第一画像情報と、商品に貼付する商品ラベル及び/又は商品を包装する包装材に関する第二画像情報とを比較することによって、ラベルの正否を判定している。すなわち、この構成の商品情報検査システムは、商品ラベルの正否を判定するための基準データを、テキスト情報から変換された第一画像情報としている。この結果、商品ラベル及び/又は包装材のデザインに変更があった場合であっても、変更に伴う作業手間を要することなく商品ラベル及び/又は包装材の正否を判定することができる。
本発明に係る商品情報検査システムでは、変換部は、抽出したテキスト情報を第一画像情報に変換するときのフォントを選択的に設定可能に設けられていてもよい。この構成の商品情報検査システムでは、テキスト情報から第一画像情報に変換するときに、ラベル情報に印字されている商品項目のフォントに合わせたフォントとなるように選択することができる。これにより、第一画像情報と第二画像情報との比較が容易となり、判定精度を高めることが可能となる。
本発明に係る商品情報検査システムは、識別情報と、商品ラベル及び/又は包装材と、を撮像する撮像部を更に備え、識別情報特定部及び画像情報取得部は、撮像部が取得する撮像画像から識別情報及び画像情報を取得してもよい。この構成では、容易に識別情報及び画像情報を取得することができる。
本発明に係る商品情報検査システムでは、撮像部は、識別情報が印字されると共に商品ラベル及び/又は包装材が貼付された台帳を撮像してもよい。この構成では、台帳を用いて商品ラベルの検査を行っている現場において、商品ラベルの正否を判定させることができる。
本発明に係るコンピュータの制御方法では、商品を識別する識別情報と商品に関する商品情報とを関連付けて記憶する記憶部を備え、商品に貼付する商品ラベル及び/又は商品を包装する包装材が商品に対応した正しいものであるか否かを判定する商品情報検査システムに用いられるコンピュータの制御方法であって、生産に係る商品の識別情報を特定する識別情報特定ステップと、商品情報に含まれる一以上の商品項目が印字された商品ラベル及び/又は包装材に関する画像情報を取得する画像情報取得ステップと、識別情報特定ステップによって特定された識別情報に関連付けて記憶されている商品情報の中の比較対象となる所定の商品項目を、テキスト情報として記憶部から抽出する第一抽出ステップと、画像情報取得ステップによって取得された画像情報に含まれる文字の情報をテキスト情報として抽出する第二抽出ステップと、第一抽出ステップによって抽出されたテキスト情報としての文字列と、第二抽出ステップによって抽出されたテキスト情報としての文字列との比較に基づいて、商品ラベル及び/又は包装材の正否を判定する判定ステップと、を実行する。
このコンピュータの制御方法では、見本となる(貼付すべき)商品ラベルの画像情報と画像情報取得部によって取得された商品に貼付する商品ラベルの画像情報とを比較するのではなく、記憶部に記憶されているテキスト情報としての商品項目と、商品に貼付する商品ラベルの画像情報から抽出されたテキスト情報としての商品項目とを比較することによって、商品ラベルの正否を判定している。すなわち、このコンピュータの制御方法では、商品ラベルの正否を判定するための基準データを、画像情報ではなくテキスト情報としている。この結果、商品ラベル及び/又は包装材のデザインに変更があった場合であっても、変更に伴う作業手間を要することなく商品ラベル及び/又は包装材の正否を判定することができる。
本発明に係るコンピュータの制御方法では、商品を識別する識別情報と商品に関する商品情報とを関連付けて記憶する記憶部を備え、商品に貼付する商品ラベル及び/又は商品を包装する包装材が商品に対応した正しいものであるか否かを判定する商品情報検査システムに用いられるコンピュータの制御方法であって、生産に係る商品の識別情報を特定する識別情報特定ステップと、商品情報に含まれる一以上の商品項目が印字された、商品に貼付する商品ラベル及び/又は商品を包装する包装材に関する第二画像情報を取得する画像情報取得ステップと、識別情報特定ステップによって特定された識別情報に関連付けて記憶されている商品情報の中の比較対象となる所定の商品項目をテキスト情報として抽出すると共に、抽出したテキスト情報を第一画像情報に変換する変換ステップと、変換ステップによって変換された第一画像情報と、画像情報取得ステップによって取得された第二画像情報との比較に基づいて、商品ラベル及び/又は包装材の正否を判定する判定ステップと、を実行する。
このコンピュータの制御方法では、単に見本となる(貼付すべき)商品ラベルの画像情報と画像情報取得部によって取得された商品に貼付する商品ラベル及び/又は包装材の画像情報とを比較するのではなく、テキスト情報としての商品項目から変換される第一画像情報と、商品に貼付する商品ラベル及び/又は包装材の画像情報である第二画像情報とを比較することによって、商品ラベル及び/又は包装材の正否を判定している。すなわち、このコンピュータの制御方法では、商品ラベル及び/又は包装材の正否を判定するための基準データを、記憶部に記憶されたテキスト情報から変換された第一画像情報としている。この結果、商品ラベル及び/又は包装材のデザインに変更があった場合であっても、変更に伴う作業手間を要することなく商品ラベル及び/又は包装材の正否を判定することができる。
本発明によれば、商品ラベル及び/又は包装材のデザインに変更があった場合であっても、変更に伴う作業手間を要することなく商品ラベル及び/又は包装材の正否を判定することができる。
図1は、一実施形態に係る商品情報検査システムの機能構成を示すブロック図である。 図2は、図1の商品情報検査システムを構成する端末装置の斜視図である。 図3は、ラベル台帳の一例を示す図である。 図4は、図1の商品情報検査システムによって実行される検査処理の流れを示すフローチャートである。 図5は、図2の端末装置の撮像部が撮像した画像情報の一例を示した図である。 図6は、図2の端末装置の撮像部が撮像した画像情報の一例を示した図である。 図7は、図2の端末装置の撮像部が撮像した画像情報の一例を示した図である。 図8は、図1の商品情報検査システムによって実行される商品名の一致判定を示すフローチャートである。 図9は、変形例1に係る商品情報検査システムの機能構成を示すブロック図である。を示す図である。 図10は、ラベル台帳の変形例の一例を示す図である。
以下、添付図面を参照して、本発明の好適な実施形態について詳細に説明する。なお、図面の説明において同一又は相当要素には同一符号を付し、重複する説明は省略する。
商品を生産する工場等には、図1に示されるように、商品を識別する商品識別情報(識別情報)が印字された部分としてのバーコード51と、当該商品に貼付すべき正しい商品ラベル61(以後、「見本ラベル61」と称する。)を貼付する部分53と、当該商品に貼付予定の商品ラベル63(以後、「貼付予定ラベル63」と称する。)を貼付する部分55とから構成されるラベル台帳50が備えられている。そして、工場等の管理者は、図1に示されるようなラベル台帳50に、見本ラベル61と貼付予定ラベル63とを貼付し、貼付予定ラベル63が貼付されるべき正しいラベルであるか否かの確認を行っている。一実施形態の商品情報検査システム1は、このような貼付予定ラベル63が正しいものであるか否かを判定するシステムである。
バーコード51は、商品を識別する商品識別情報を含んでいる。商品識別情報は、例えば数字、英字、及び記号等を組み合わせた符号である。本実施形態では、バーコード51には、商品識別情報に加えて、当該商品がどのように製造されるかの予定を特定するための情報である製造識別情報も含んでいる。製造識別情報も、商品識別情報と同様に、例えば数字、英字、及び記号等を組み合わせた符号である。なお、ここでは、商品識別情報及び製造識別情報を含む情報の例として、バーコードを例に挙げて説明したが、QRコード(登録商標)等の二次元コードであってもよいし、文字列等の情報であってもよい。
見本ラベル61には、商品名が記載された表ラベル61Aと、商品名、原材料名、消費期限、保存方法、及び製造者等が記載された裏ラベル61Bと、が含まれる。貼付予定ラベル63には、商品名、消費期限、及び出荷便等が記載された表ラベル63Aと、商品名、原材料名、消費期限、保存方法、及び製造者等が記載された裏ラベル63Bと、が含まれる。なお、表ラベル61Aには、「消費期限までにお召し上がりください」又は「旬の素材」等といった、顧客に注意喚起(販売促進)するための文字情報が印字される場合もある。
(第一実施形態)
第一実施形態の商品情報検査システム1について説明する。図2に示されるように、商品情報検査システム1は、端末装置3と、端末装置3と通信可能に設けられる管理サーバ9と、を含んで構成されている。
端末装置3は、管理サーバ9に、ラベル台帳50の撮像画像(画像情報)を送信すると共に、貼付予定ラベル63が正しいラベルであるか否かの判定結果を管理サーバ9から受け取る装置である。端末装置3の例には、据え置き型の端末、スマートフォン等の携帯端末、及びタブレット端末等が含まれる。端末装置3は、例えば、図3に示されるように、柱状部5Aと脚部5Bとを有する架台5に支持された状態で、ラベル台帳50(図1参照)の撮像を実行する。図2に示されるように、端末装置3は、撮像部11と、表示操作部13と、制御部15と、通信部17と、を備えている。
撮像部11は、例えば、タブレット端末の背面に搭載されたカメラである。撮像部11によるラベル台帳50の撮像は、作業者が表示操作部13を操作することによって実行されてもよいし、管理サーバ9によって制御されることによって実行されてもよい。撮像部11は、図1に示されるようなバーコード51が印字されると共に貼付予定ラベル63が貼付されたラベル台帳50を撮像する。表示操作部13は、例えば、タッチパネルである。
制御部15は、CPU(Central Processing Unit)、ROM(Read Only Memory)、RAM(Random Access Memory)等からなる電子制御ユニットである。制御部15は、端末装置3における各種動作を制御する。制御部15は、例えば、表示操作部13における操作される内容にしたがって撮像部11を制御して、ラベル台帳50の撮像画像を取得したり、通信部17を制御して、撮像部11が取得した撮像画像を管理サーバ9に送信したり、表示操作部13を制御して、管理サーバ9から送信されてくる貼付予定ラベル63の正否判定結果を表示させたりする。通信部17は、管理サーバ9との間で情報をやりとりし、撮像部11によって撮像されたラベル台帳50の撮像画像を管理サーバ9に送信したり、管理サーバ9によって判定される貼付予定ラベル63の正否判定結果を受信したりする。
管理サーバ9は、CPU、RAM及びROM等の主記憶部、ハードディスク、フラッシュメモリ等に例示される補助記憶部等を含むコンピュータシステムとして構成されている。管理サーバ9の例には、据え置き型の端末、スマートフォン等の携帯端末、及びタブレット端末等が含まれる。管理サーバ9は、記憶部91と、制御部95と、通信部97とを備えている。
記憶部91は、例えば、上述したようにハードディスク、フラッシュメモリ等が例示される。記憶部91は、商品識別情報と商品に関する商品情報とが関連付けて記憶されている。商品に関する商品情報の商品項目の例には、商品名、価格、税込価格、及び原材料名等が含まれている。また、記憶部91は、製造識別情報と当該商品がどのように製造されるかの予定に関する情報である製造情報とが関連付けて記憶されている。製造情報の例には、消費期限、製造者、製造者連絡先、製造場所、製造ライン、及び出荷便等が含まれる。
制御部95は、CPU(Central Processing Unit)、ROM(Read Only Memory)、RAM(Random Access Memory)等からなる電子制御ユニットである。制御部95は、管理サーバ9における各種動作を制御する。また、制御部95は、例えばROMに格納されているプログラムがRAM上にロードされてCPUで実行されるソフトウェアとして構成することができる。制御部95は、電子回路等によるハードウェアとして構成されてもよい。制御部95では、CPU、RAM及びROM等のハードウェアと、プログラム等のソフトウェアとが協働することによって、下記に示す識別情報特定部95Aと、画像情報取得部95Bと、第一抽出部95Cと、第二抽出部95Dと、第三抽出部95Eと、判定部95Fと、報知部95Gと、が形成される。
識別情報特定部95Aは、生産に係る商品の識別情報を特定する。本実施形態では、識別情報特定部95Aは、端末装置3から送信されてくるラベル台帳50の撮像画像から商品識別情報を特定する。より詳細には、識別情報特定部95Aは、当該撮像画像に含まれるバーコード51の画像からテキスト情報(符号)としての商品識別情報を特定する。
画像情報取得部95Bは、商品情報に含まれる一以上の商品項目が印字された貼付予定ラベル63に関する画像情報を取得する。本実施形態では、画像情報取得部95Bは、端末装置3から送信されてくるラベル台帳50の撮像画像から商品に貼付予定の商品ラベルの画像情報を取得する。具体的には、図5に示されるように、第二抽出部95Dは、ラベル台帳50の撮像画像において、見本ラベル61の表ラベル61Aが貼付される領域C1と、見本ラベル61の裏ラベル61Bが貼付される領域C2と、貼付予定ラベル63の表ラベル63Aが貼付される領域C3と、貼付予定ラベル63の裏ラベル63Bが貼付される領域C4とをそれぞれ識別する。画像情報取得部95Bは、領域C3及び領域C4の領域に存在する画像情報を取得することによって、貼付予定ラベル63の画像情報を取得する。なお、第二抽出部95Dは、領域C1及び領域C2を識別する処理を必須としなくてもよい。
図2に戻り、第一抽出部95Cは、識別情報特定部95Aによって特定された商品識別情報に関連付けて記憶されている商品情報を記憶部91から抽出する。本実施形態では、第一抽出部95Cは、識別情報特定部95Aによって特定された商品識別情報に関連付けて記憶されている商品名(商品項目)を記憶部91から抽出する。
第二抽出部95Dは、画像情報取得部95Bによって取得された画像情報に含まれる文字列をテキスト情報として抽出する。より詳細には、図5に示されるように、第二抽出部95Dは、画像情報取得部95Bによって取得された画像情報において商品名が印字される領域C31及び領域C41に印字された内容を文字列として抽出する。第二抽出部95Dにおける領域C31及び領域C41の識別は、予め設定された座標情報等に基づいて可能になる。なお、画像情報から文字列を抽出することは、既知のOCR(Optical Character Recognition)技術を用いることで可能となる。
ここで、上述したように、表ラベル61A及び裏ラベル61Bには、種々の情報が印字されている。第二抽出部95Dは、このような情報を抽出する際に、必ずしも項目ごとに区別して取得することができるとは限らない。そのため、第二抽出部95Dは、所望の項目以外の情報も合わせて抽出することがある。例えば、第二抽出部95Dは、表ラベル61Aから商品名を抽出するときに、商品名と合わせて、「消費期限までにお召し上がりください」といった注意喚起のための文字列、価格、又は消費期限といった文字列を合わせて抽出してしまうこともある。
なお、抽出する位置をソフト的に又はハード的に調整し、限定することにより、第二抽出部95Dが所望の項目だけを抽出するように調整可能な場合もある。上述したように、例えば、抽出する位置は、領域C3,C4を座標情報に基づいて抽出したり、他のパーツの位置との相対関係等に基づいて抽出してもよい。また、撮像部11(タブレット端末)の設置位置に対するラベル台帳50の配置位置を固定するための目印等を設けることによって、領域C3,C4が抽出されるようにしてもよい。
判定部95Fは、第一抽出部95Cによって抽出されたテキスト情報としての文字列と、第二抽出部95Dによって抽出されるテキスト情報としての文字列との一致度合に基づいて、貼付予定ラベル63の正否を判定する。具体的には、判定部95Fは、第一抽出部95Cによって抽出された文字列が、第二抽出部95Dによって抽出された文字列に含まれている(一部一致)ときに、ラベル台帳50に貼付された貼付予定ラベル63が正しいと判定し、第一抽出部95Cによって抽出された文字列が、第二抽出部95Dによって抽出された文字列に含まれていない(一致しない)ときに、ラベル台帳50に貼付された貼付予定ラベル63が正しくない(間違っている)と判定する。なお、ここでは、両文字列の一部一致を貼付予定ラベル63の正否判定の基準としたが、両文字列の完全一致を当該正否判定の基準としてもよい。
通信部97は、判定部95Fによって判定された貼付予定ラベル63の正否判定結果を端末装置3に送信する。
次に、図4~図6を参照しながら、商品情報検査システム1における動作について説明する。ラベル台帳50における貼付予定ラベル63が正しいものであるか否かを商品情報検査システム1に判定させたい場合、作業者は、端末装置3を架台5に設置し(図3参照)、ラベル台帳50を撮像可能な状態とする。そして、作業者は、端末装置3の表示操作部13を操作して、撮像部11にラベル台帳50を撮像させる。これにより、撮像部11によってラベル台帳50の撮像画像が取得される(ステップS1)。撮像部11によって取得されたラベル台帳50の撮像画像は通信部17によって管理サーバ9に送信される(ステップS2)。
管理サーバ9の識別情報特定部95Aは、端末装置3から送信されてくるラベル台帳50の撮像画像に含まれるバーコード51の撮像画像から商品識別情報を特定する(ステップS3:識別情報特定ステップ)。ここでは、識別情報特定部95Aが特定した商品識別情報には、記憶部91において商品名「カレーパン」が関連付けられていたとして以後の説明を行う。
更に、管理サーバ9の画像情報取得部95Bは、端末装置3から送信されてくるラベル台帳50の撮像画像から貼付予定ラベル63の画像情報を取得する(ステップS4:画像情報取得ステップ)。更に詳細には、画像情報取得部95Bは、領域C3及び領域C4(図5参照)の領域に存在する画像情報を取得することによって、貼付予定ラベル63の画像情報を取得する。ここでは、画像情報取得部95Bは、図5に示されるような表ラベル63A及び裏ラベル63Bの画像、すなわち商品名「カレーパン」と印字された表ラベル63A及び裏ラベル63Bの画像を取得したとして、以後の説明を行う。
次に、管理サーバ9の第一抽出部95Cは、識別情報特定部95Aによって特定された商品識別情報に関連付けて記憶されている商品名をテキスト情報として記憶部91から抽出する(ステップS5:第一抽出ステップ)。ここで、第一抽出部95Cは、記憶部91において商品識別情報に関連付けられて記憶されている商品名「カレーパン」を抽出したとする。次に、管理サーバ9の第二抽出部95Dは、画像情報取得部95Bによって取得された表ラベル63A及び裏ラベル63Bの画像情報に含まれる文字列を抽出する(ステップS6:第二抽出ステップ)。ここで、第二抽出部95Dは、「カレーパン」を含む文字列「カレーパン ¥110(税込¥118)」をテキスト情報として抽出したとする。
次に、管理サーバ9の判定部95Fは、ステップS5において取得された文字列が、ステップS5において取得された文字列に含まれるか否かを判定する(ステップS7)。ここで、判定部95Fは、ステップS5において取得された文字列が、ステップS6において取得された文字列に含まれる場合には、貼付予定ラベル63は正しいと判定し(ステップS8:判定ステップ)、ステップS8において取得された文字列が、ステップS6において取得された文字列に含まれない場合には、貼付予定ラベル63は正しくないと判定する(ステップS9:判定ステップ)。なお、ここで、「文字列に含まれる」とは、一方の文字列を形態素解析等により単語に分節した上で、各単語が他方の文字列に含まれることを示している。また、第二抽出部95Dによりテキスト情報として抽出する際に、文字の認識誤りが生じる可能性がある。そのため、数文字(たとえば、1,2文字の所定文字数)程度の不一致については、許容されるように構成されていてもよい。
ここでは、ステップS5で取得される文字列「カレーパン」が、ステップS6で取得される文字列「カレーパン ¥110(税込¥118)」に含まれるため、貼付予定ラベル63は正しいと判定する。判定部95Fは、表ラベル63A及び裏ラベル63Bのそれぞれについて、正しいラベルであるか否かを判定する。
例えば、図6に示されるようなラベル台帳50が撮像部11によって撮像された場合には、ステップS5で取得される文字列「カレーパン」が、ステップS6で取得される文字列「メロンパン ¥110(税込¥118)」に含まれなくなる。このため、判定部95Fは、貼付予定ラベル63は正しくないと判定する。
次に、管理サーバ9の通信部97は、ステップS8及びステップS9における判定結果を端末装置3に送信する(ステップS10)。管理サーバ9により送信された判定結果は、端末装置3の通信部17によって受信される。端末装置3の制御部15は、受信した判定結果を表示操作部13に表示させる(ステップS11)。
上記実施形態の商品情報検査システム1では、見本ラベル61の画像情報と貼付予定ラベル63の画像情報とを比較するのではなく、記憶部91に記憶されている文字列(テキスト情報)としての商品名と、貼付予定ラベル63の画像情報から抽出された文字列(テキスト情報)としての商品名とを比較することによって、貼付予定ラベル63の正否を判定している。すなわち、上記実施形態の商品情報検査システム1では、貼付予定ラベル63の正否を判定するための基準データを、画像情報ではなく文字列(テキスト情報)としている。この結果、商品ラベルのデザインに変更があった場合であっても、貼付すべき商品ラベルを差し替える等の変更作業を実施することなく、貼付予定ラベル63の正否を判定することができる。
上記実施形態の商品情報検査システム1では、撮像部11は、バーコード51が印字されると共に貼付予定ラベル63が貼付されたラベル台帳50を撮像している。これにより、ラベル台帳50を用いて貼付予定ラベル63の正否の検査を行っている現場において、貼付予定ラベル63の正否を判定させることができる。
(第二実施形態)
次に、第二実施形態の商品情報検査システム1について説明する。第二実施形態の商品情報検査システム1が、第一実施形態の商品情報検査システム1と異なる点は、管理サーバ9の制御部95が、第三抽出部95E及び報知部95Gを備える点と、判定部95Fが、第三抽出部95Eによって記憶部91から抽出された商品名に基づいて、第一実施形態における判定とは別の判定を実行する点にある。ここでは、このような第一実施形態との相違点について主に説明し、他の箇所については、第一実施形態と同一であるので詳細な説明を省略する。
第三抽出部95Eは、第一抽出部95Cによって抽出された商品名に含まれる文字列を全て含む商品名を記憶部91から抽出する。なお、記憶部91において、このように抽出される商品名には、他の商品識別情報が関連付けられている。例えば、第一抽出部95Cによって抽出された商品名に含まれる文字列が「カレーパン」であり、記憶部91に商品名として「辛口カレーパン」及び「激辛カレーパン」が記憶されていた場合、第三抽出部95Eは、「辛口カレーパン」及び「激辛カレーパン」を記憶部91から抽出する。
なお、第三抽出部95Eは、第一抽出部95Cによって抽出された商品名に含まれる文字列を全て含む商品名を記憶部91から抽出する代わりに、第一抽出部95Cによって抽出された商品名の文字列からの編集距離が所定距離以内(例えば、2回)の文字列を有する商品名を記憶部91から抽出してもよい。この場合であっても、第三抽出部95Eは、第一抽出部95Cによって抽出された商品名に類似する他の商品名と抽出することができる。
判定部95Fは、上記第一実施形態の判定に加え、第三抽出部95Eによって抽出された商品名の文字列が第二抽出部95Dによって抽出された商品名の文字列に含まれていた場合には、貼付予定ラベル63は正しいものではないと判定する。例えば、図7に示されるようなラベル台帳50が撮像部11によって撮像されたとき、第一抽出部95Cは、バーコード51に基づいて記憶部91から商品名の文字列「カレーパン」を抽出し、第二抽出部95Dは、商品名の文字列「辛口カレーパン ¥110(税込¥118)」を抽出する。判定部95Fは、第一実施形態で説明したように、ステップS5で取得される文字列「カレーパン」が、ステップS6で取得される文字列「辛口カレーパン ¥110(税込¥118)」に含まれるため、貼付予定ラベル63は正しいと一時的に判定する。ところが、判定部95Fは、第二抽出部95Dによって抽出された商品名の文字列「辛口カレーパン ¥110(税込¥118)」は、第三抽出部95Eによって抽出された商品名の文字列「辛口カレーパン」にも含まれるので、貼付予定ラベル63は、正しいものではないと最終判定する。
報知部95Gは、第三抽出部95Eによって商品名が抽出されたことを報知する。具体的には、報知部95Gは、第三抽出部95Eによって商品名が抽出された場合、端末装置3の表示操作部13に、第一抽出部95Cによって抽出された商品名と類似する商品名が記憶部91に存在することを表示する。報知部95Gは、第三抽出部95Eによって抽出された具体的な商品名を表示してもよい。
以下、図8を用いて、第二実施形態における判定部95Fの判定方法の詳細について説明する。第一実施形態と同様に、第一抽出部95Cは、識別情報特定部95Aによって特定された商品識別情報に関連付けて記憶されている商品名を記憶部91から抽出する。ここで、第一抽出部95Cは、記憶部91から商品名「カレーパン」を取得したとする(ステップS21)。
次に、第三抽出部95Eは、記憶部91の中に、第一抽出部95Cによって抽出された「カレーパン」が含まれる商品名が他にあるか否かを検索する(ステップS22)。ここで、第三抽出部95Eは、記憶部91から商品名「辛口カレーパン」及び「激辛カレーパン」を抽出したとする(ステップS23)。次に、判定部95Fは、第二抽出部95Dによって抽出された商品名の文字列の中に「カレーパン」が含まれているか否かを判定する(ステップS24)。
ここで、商品名の文字列の中に「カレーパン」が含まれてないときは(ステップS24:YES)、判定部95Fは、貼付予定ラベル63は正しくない(間違いである)と判定する(ステップS27)。一方、商品名の文字列の中に「カレーパン」が含まれているときは(ステップS24:NO)、判定部95Fは、第二抽出部95Dによって抽出された商品名の文字列の中に「辛口カレーパン」が含まれているか否かを判定する(ステップS25)。
ここで、商品名の文字列の中に「辛口カレーパン」が含まれているときは(ステップS25:YES)、判定部95Fは、貼付予定ラベル63は正しくない(間違いである)と判定する(ステップS27)。一方、商品名の文字列の中に「辛口カレーパン」が含まれていないときは(ステップS25:NO)、判定部95Fは、第二抽出部95Dによって抽出された商品名の文字列の中に「激辛カレーパン」が含まれているか否かを判定する(ステップS26)。
ここで、商品名の文字列の中に「激辛カレーパン」が含まれているときは(ステップS26:YES)、判定部95Fは、貼付予定ラベル63は正しくない(間違いである)と判定する(ステップS27)。一方、商品名の文字列の中に「激辛カレーパン」が含まれていないときは(ステップS26:NO)、判定部95Fは、貼付予定ラベル63は正しい(間違いはない)と判定する(ステップS28)。
なお、第二実施形態における判定部95Fの判定処理において、ステップS25とステップS26とは入れ替えが可能である。また、ステップS24よりも前に、ステップS25及びステップS26を実行する処理としてもよい。
「カレーパン」に対する「辛口カレーパン」又は「激辛カレーパン」のように、修飾的な語句を有し、自身の文字列の全体を含む商品名が他に存在する場合に、より修飾の多い商品名が第二抽出部95Dにより抽出された文字列に含まれている場合には、ラベル台帳50に貼付された表ラベル61A(裏ラベル61B)は、より修飾の多い商品名に対応するものである蓋然性が高いといえる。そのため、第二抽出部95Dにより抽出された文字列に、第三抽出部95Eが抽出した自身を含む商品名より長い商品名が含まれている場合には、第三抽出部95Eが抽出した商品名の商品と、ラベル台帳50に貼付された表ラベル61A(裏ラベル61B)とが一致していると判断しても(フローを終了しても)よい。
上述したとおり、記憶部91に記憶された商品名として「カレーパン」、「辛口カレーパン」及び「激辛カレーパン」が存在し、第一抽出部95Cによって取得された文字列が「カレーパン」、第二抽出部95Dによって取得された文字列が「辛口カレーパン」であった場合の第一実施形態における判定処理について説明する。このとき、第一実施形態の判定部95Fは、第二抽出部95Dによって取得された文字列の中に「カレーパン」が含まれることで、画像情報取得部95Bによって取得された「辛口カレーパン」と印字された貼付予定ラベル63を正しい商品ラベルであると判定する。このように、第一実施形態では、記憶部91に記憶される商品名の種類によっては、判定精度が低下する場合がある。
一方、第二実施形態に係る商品情報検査システム1では、第三抽出部95Eは、第一抽出部95Cによって抽出される商品名に類似する商品名を抽出すると共に、判定部95Fは、第三抽出部95Eによって抽出された商品名の文字列が、第二抽出部95Dによって抽出された商品名の文字列に含まれる場合には、貼付予定ラベル63は正しくないと判定している。すなわち、判定部95Fは、第三抽出部95Eによって抽出される文字列「辛口カレーパン」又は「激辛カレーパン」が、第二抽出部95Dによって抽出された文字列「辛口カレーパン」に含まれるか否かを判定している。ここでは、判定部95Fは、第三抽出部95Eによって抽出される文字列「辛口カレーパン」が第二抽出部95Dによって抽出された文字列「辛口カレーパン」に含まれると判定するので、画像情報取得部95Bによって取得された貼付予定ラベル63は正しくないと判定する。これにより、判定部95Fにおける正否の判定精度を高めることができる。
以上、一実施形態について説明したが、本発明は、上記実施形態に限られるものではなく、発明の趣旨を逸脱しない範囲で種々の変更が可能である。
(変形例1)
上記第一実施形態及び第二実施形態の商品情報検査システム1では、記憶部91に記憶されているテキスト情報としての商品名と、貼付予定ラベル63の画像情報から抽出されたテキスト情報としての商品名とを比較することによって、貼付予定ラベル63の正否を判定する判定部95Fを例に挙げて説明したが、判定部95Fによる判定は、この限りではない。
図9に示されるように、変形例1に係る商品情報検査システム1の制御部95では、CPU、RAM及びROM等のハードウェアと、プログラム等のソフトウェアとが協働することによって、下記に示す識別情報特定部95Aと、画像情報取得部95Bと、変換部95Hと、判定部95Fと、が形成される。ここでは、上記実施形態の構成と機能が異なる変換部95Hと、判定部95Fと、について詳述する。
変換部95Hは、識別情報特定部95Aによって特定された識別情報に関連付けて記憶されている商品情報の中の比較対象となる商品名(所定の商品項目)をテキスト情報として抽出すると共に、抽出したテキスト情報を第一画像情報に変換する(変換ステップ)。変換部95Hは、抽出したテキスト情報を第一画像情報に変換するときのフォントを選択的に設定可能に設けられていてもよい。例えば、変換部95Hは、画像情報取得部95Bによって取得された貼付予定ラベル63の画像情報である第二画像情報に含まれる文字のフォントを選択してもよい。変換部95Hにおける上記選択は、貼付予定ラベル63の画像情報から分析されるフォントに自動的に変換してもよいし、作業者の操作によって選択されてもよい。
変換すべきフォント(書体、サイズ、文字間隔、文字の配置位置等)は、例えば、管理サーバ9の記憶部91に、対応する商品識別情報とともに記憶されている。変換部95Hは、ラベル台帳50Aが読み取ったバーコード51に対応する商品識別情報に応じて、変換すべきフォントを管理サーバ9から取得し、変換する。なお、変換部95Hは、変換すべきフォントについて、ラベルに印字を行ったプリンタから取得してもよい。
判定部95Fは、変換部95Hによって変換された第一画像情報と、画像情報取得部95Bによって取得された第二画像情報との比較に基づいて、貼付予定ラベル63の正否を判定する。具体的には、判定部95Fは、第一画像情報と第二画像情報との一致度合に基づいて、貼付予定ラベル63の正否を判定する。ここでいう一致度合に基づく判定は、例えば、画像情報の一致率に基づく判定等、画像情報の特徴部の一致率に基づく判定等、公知の比較手法を用いることによって実行できる。具体的には、例えば、判定部95Fは、変換した文字を含む第一画像情報に含まれる画像の特徴部分が、第二画像情報に含まれる画像の特徴部分に含まれるか否かに基づいて、貼付予定ラベル63の正否を判断してもよい。第二画像情報には、比較対象となる項目の文字情報以外の情報も含まれているため、第一画像情報に含まれる画像の特徴部分が、第二画像情報に含まれる画像の特徴部分に含まれるか否かにより判断するよう構成するのが望ましい。また、ここでいう画像情報(第一画像情報及び第二画像情報)は、JPEG、GIF、PNG、TIFF、BMP、PDF等の型式からなる画像データをいう。画像情報取得部95Bは、図5に示されるように、領域C3及び領域C4を識別することによって文字列部分の切り出してもよい。
変形例1に係る商品情報検査システム1では、単に見本ラベル61の画像情報と画像情報取得部95Bによって取得された貼付予定ラベル63の画像情報とを比較するのではなく、テキスト情報として記憶部91に記憶されている商品名に基づいて作成された第一画像情報と、貼付予定ラベル63の画像情報である第二画像情報とを比較することによって、貼付予定ラベル63の正否を判定している。すなわち、変形例1に係る商品情報検査システム1では、貼付予定ラベル63の正否を判定するための基準データを、記憶部91に記憶されたテキスト情報に基づいて生成された第一画像情報としている。この結果、貼付予定ラベルのデザインに変更があった場合であっても、見本ラベルを差し替える等の変更作業を実施することなく、貼付予定ラベル63の正否を判定することができる。
また、変形例1に係る商品情報検査システム1では、テキスト情報から第一画像情報に変換するときに、ラベル情報に印字されている商品項目のフォントに合わせたフォントとなるように選択することができるので、第一画像情報と第二画像情報との比較が容易となり、判定精度を高めることが可能となる。特に、第二画像情報の中に特殊フォントで印字された文字があった場合に有効である。
(変形例2)
上記実施形態及び変形例では、第一抽出部95Cが抽出する商品項目として、また、第二抽出部95Dが抽出する商品項目として、「商品名」を抽出する例に挙げて説明したが、これに限定されない。例えば、第一抽出部95C及び第二抽出部95Dが抽出する商品名に代えて又は加えて、価格、税込価格、原材料名、消費期限、製造者、製造者連絡先、製造場所、製造ライン、及び出荷便等の何れか一つ又は複数の商品項目を抽出してもよい。この場合であっても、貼付予定ラベル63の正否を判定することができる。
(変形例3)
上記実施形態及び変形例では、図1に示されるように、見本ラベル61と貼付予定ラベル63とが貼付されたラベル台帳50において、貼付予定ラベル63の正否を判定する例を挙げて説明したがこれに限定されない。例えば、見本ラベル61の貼付領域がなく、チェックすべき商品項目の文字列(商品名、価格、消費期限、バーコードに係る文字列、生産工場の名称、生産ラインの識別コード、配送便の識別コード等)のみが印刷(又は貼付)されたラベル台帳に貼付された貼付予定ラベル63の正否を判定してもよい。
更に、商品情報検査システム1は、図10に示されるような、複数の製造ラインにおいて製造されるそれぞれの商品への貼付予定ラベル63を管理するラベル台帳50Aに貼付された貼付予定ラベル63の正否も判定することができる。具体的には、商品情報検査システム1は、バーコード51と、三つの貼付予定ラベル63を貼付する部分(製造ラインごとに貼付予定ラベル63を貼付する部分)55とを含んで構成されるラベル台帳50Aに貼付された貼付予定ラベル63の正否を判定する。
ラベル台帳50Aのバーコード51は、三つのラインのそれぞれに対応付けて記憶された三つの商品識別情報を含んでいる。そして、第一抽出部95Cは、記憶部91から三つの商品識別情報のそれぞれに関連付けられている商品名のそれぞれを抽出する。ここでは第一抽出部95Cは、バーコード51に基づいて記憶部91から、例えば、商品名「カレーパン」、「カレーパン」、及び「辛口カレーパン」を抽出したとする。
次に、第二抽出部95Dは、撮像部11によって撮像されたラベル台帳50Aの撮像画像に含まれる貼付予定ラベル63の画像情報に含まれる文字列を抽出する。ここでは、第二抽出部95Dは、商品名「カレーパン」、「カレーパン」、及び「辛口カレーパン」を抽出したとする。そして、判定部95Fは、第一抽出部95Cによって抽出されたテキスト情報としての文字列と、第二抽出部95Dによって抽出されるテキスト情報としての文字列との一致度合に基づいて、三つのラインに対応する貼付予定ラベル63ごとにその正否を判定する。この場合も、上記実施形態及び変形例と同様に、貼付予定ラベル63の正否を判定することができる。
(変形例4)
上記実施形態及び変形例では、判定部95Fは、第一抽出部95Cによって抽出された記憶部91に記憶されている商品名(商品項目)の文字列をそのまま比較の対象(一致度合を判定する対象)としたがこれに限定されない。例えば、第一抽出部95Cは、記憶部91に記憶されている商品名の文字列から予め設定された特定の文字を削除し、判定部95Fは、当該特定の文字が削除された文字列を比較の対象としてもよい。上記特定の文字の例には、味付、関西風、関東風等の文字列が含まれる。
例えば、第一抽出部95Cにより抽出される文字には、配送地域によって調味料又は配合等が異なる商品を管理するために、パッケージ(ラベル又は包装素材)には印字しない管理用の文字列(例えば、関西風、関東風等)が付与されている場合があるためである。また、おにぎりの海苔を封入したフィルム(包装材)の表面に相当する部分に、味付海苔とそうでない海苔とを区別するために、予め「味付」といった文字が印字されている場合がある。このような場合には、重複記載となるために「味付」の文字列を省略した商品名が表ラベル61Aに印字されているため、第二抽出部95Dで抽出するラベル台帳50に貼付された貼付予定ラベル63の文字列からは、「味付」の文字列がない商品名を得ることになるためである。
(その他の変形例)
上記実施形態及び変形例では、商品に貼付する商品ラベル(貼付予定ラベル63)が正しいものであるか否かを判定するシステムを例に挙げて説明したが、商品を包装する包装材が正しいものであるか否かを判定するシステムとしてもよい。包装材も、台帳に(粘着テープ等により)貼付されて管理されていてもよい。包装材も、ラベルと同様に、商品名等の種々の商品項目が印字される。
上記実施形態及び変形例では、ラベル台帳50に貼付された貼付予定ラベル63を端末装置3の撮像部11で撮像することによって、判定部95Fに貼付予定ラベル63の正否を判定させる例を挙げて説明したがこれに限定されない。例えば、表示操作部13を介して端末装置3に商品識別情報を入力したり、バーコードリーダにてバーコード51をスキャンニングしたりした後で、貼付予定ラベル63を端末装置3の撮像部11で撮像したり、予め準備された貼付予定ラベル63の画像情報(例えば、JPEG、GIF、PNG、TIFF、BMP、PDF等の型式からなる画像データ)を読み出すことによって、判定部95Fに貼付予定ラベル63の正否を判定させてもよい。
上記実施形態及び変形例では、識別情報特定部95A及び画像情報取得部95Bが端末装置3に備えられ、記憶部91、第一抽出部95C、第二抽出部95D、及び判定部95Fが管理サーバ9に備えられている例を挙げて説明したが、これに限定されない。例えば、記憶部91、識別情報特定部95A、画像情報取得部95B、第一抽出部95C、第二抽出部95D、及び判定部95Fが一つの端末装置又はサーバ装置に備えられる構成の商品情報検査システム1であってもよい。
上記実施形態及び変形例では、本発明を商品情報検査システム1として実現する例を挙げて説明したが、画像情報取得部95Bによって取得された貼付予定ラベル63が、識別情報特定部95Aによって特定された識別情報に対応するラベルであるか否かを判定させるコンピュータの制御方法又はコンピュータ制御プログラムとして実現してもよい。
タブレット端末で貼付予定のラベル(台帳)を読み取る例を示したか、これに限られない。複合機のスキャナ機能等により、貼付予定ラベル63又はラベル台帳50を読み取ってもよい。
上記実施形態及び変形例では第二抽出部95Dで抽出した文字列に、第一抽出部95C(又は第三抽出部95E)で抽出した文字列が含まれるか否かで判断したが、これに限られない。第二抽出部95Dが抽出した文字列のラベル又は包装材に占める相対位置に基づいて、又は、第二抽出部95Dが抽出した文字列から商品名に対する価格等不要な文字列を削除することにより、比較したい項目に相当する文字列だけ特定してテキストとして抽出できている場合には、判定部95Fは、第二抽出部95Dで抽出した文字列と第一抽出部95C(又は第三抽出部95E)で抽出した文字列との一致(一致率)により、正否を判断してもよい。
1…商品情報検査システム、3…端末装置、9…管理サーバ、11…撮像部、15…制御部、50,50A…ラベル台帳、51…バーコード、61…見本ラベル、63…貼付予定ラベル、91…記憶部、95…制御部、95A…識別情報特定部、95B…画像情報取得部、95C…第一抽出部、95D…第二抽出部、95E…第三抽出部、95F…判定部、95G…報知部。

Claims (3)

  1. 商品を識別する識別情報と前記商品に関する商品情報とを関連付けて記憶する記憶部と、
    前記商品の前記識別情報を特定する識別情報特定部と、
    前記商品情報に含まれる一以上の文字の情報が印字された、前記商品に貼付する商品ラベル及び/又は前記商品の包装材に関する画像情報を取得する画像情報取得部と、
    前記識別情報特定部によって特定された前記識別情報に関連付けて記憶されている前記商品情報の中の文字の情報を、テキスト情報として前記記憶部から抽出する第一抽出部と、
    前記画像情報取得部によって取得された前記画像情報に含まれる文字の情報をテキスト情報として抽出する第二抽出部と、
    前記第一抽出部によって抽出されたテキスト情報としての文字列と、前記第二抽出部によって抽出されたテキスト情報としての文字列との比較に基づいて、前記商品ラベル及び/又は前記包装材の正否を判定する判定部と、を備え、
    前記第一抽出部によって前記商品情報の中から抽出された商品名に含まれる文字列を全て含む商品名であって、前記識別情報特定部によって特定された前記識別情報とは異なる他の識別情報に関連付けられた商品名を前記記憶部から抽出する第三抽出部を更に備え、
    前記判定部は、前記第三抽出部によって抽出された商品名の文字列が、前記第二抽出部によって抽出された商品名の文字列に含まれる場合には、前記商品ラベル及び/又は前記包装材は、正しいものではないと判定する、商品情報検査システム。
  2. 商品を識別する識別情報と前記商品に関する商品情報とを関連付けて記憶する記憶部と、
    前記商品の前記識別情報を特定する識別情報特定部と、
    前記商品情報に含まれる一以上の文字の情報が印字された、前記商品に貼付する商品ラベル及び/又は前記商品の包装材に関する画像情報を取得する画像情報取得部と、
    前記識別情報特定部によって特定された前記識別情報に関連付けて記憶されている前記商品情報の中の文字の情報を、テキスト情報として前記記憶部から抽出する第一抽出部と、
    前記画像情報取得部によって取得された前記画像情報に含まれる文字の情報をテキスト情報として抽出する第二抽出部と、
    前記第一抽出部によって抽出されたテキスト情報としての文字列と、前記第二抽出部によって抽出されたテキスト情報としての文字列との比較に基づいて、前記商品ラベル及び/又は前記包装材の正否を判定する判定部と、を備え、
    前記第一抽出部によって前記商品情報の中から抽出された商品名の文字列に対する編集距離が所定値以下である商品名であって、前記識別情報特定部によって特定された前記識別情報とは異なる他の識別情報に関連付けられた商品名を前記記憶部から抽出する第三抽出部を更に備え、
    前記判定部は、前記第三抽出部によって抽出された商品名の文字列が、前記第二抽出部によって抽出された商品名の文字列に含まれる場合には、前記商品ラベル及び/又は前記包装材は、正しいものではないと判定する、商品情報検査システム。
  3. 前記第三抽出部によって商品名が抽出されたことを報知する報知部を更に備える、請求項1又は2記載の商品情報検査システム。
JP2019053190A 2019-03-20 2019-03-20 商品情報検査システム及びコンピュータの制御方法 Active JP7361359B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2019053190A JP7361359B2 (ja) 2019-03-20 2019-03-20 商品情報検査システム及びコンピュータの制御方法
US16/821,758 US20200302502A1 (en) 2019-03-20 2020-03-17 Commodity information inspection system and control method for computer
CN202010186786.6A CN111723640B (zh) 2019-03-20 2020-03-17 商品信息检查***及计算机的控制方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019053190A JP7361359B2 (ja) 2019-03-20 2019-03-20 商品情報検査システム及びコンピュータの制御方法

Publications (2)

Publication Number Publication Date
JP2020154791A JP2020154791A (ja) 2020-09-24
JP7361359B2 true JP7361359B2 (ja) 2023-10-16

Family

ID=72515613

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019053190A Active JP7361359B2 (ja) 2019-03-20 2019-03-20 商品情報検査システム及びコンピュータの制御方法

Country Status (3)

Country Link
US (1) US20200302502A1 (ja)
JP (1) JP7361359B2 (ja)
CN (1) CN111723640B (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021189952A (ja) * 2020-06-03 2021-12-13 株式会社リコー 画像処理装置、方法およびプログラム
CN113239228A (zh) * 2021-06-11 2021-08-10 上海适享文化传播有限公司 基于图像识别的商品打标签方法
CN113591594A (zh) * 2021-07-06 2021-11-02 盒马(中国)有限公司 称重处理方法、装置及电子设备
CN113935774A (zh) * 2021-10-15 2022-01-14 北京百度网讯科技有限公司 图像处理方法、装置、电子设备及计算机存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004265205A (ja) 2003-03-03 2004-09-24 Ishida Co Ltd ラベル良否判定方法及びラベル良否判定装置
JP2012174101A (ja) 2011-02-23 2012-09-10 Oki Electric Ind Co Ltd ラベル検査システム、ラベル検査装置及びラベル検査プログラム
JP2013182384A (ja) 2012-03-01 2013-09-12 Oki Electric Ind Co Ltd ラベル台帳検査装置及びラベル台帳検査方法
JP2018066660A (ja) 2016-10-20 2018-04-26 株式会社寺岡精工 検査装置
JP2020111365A (ja) 2019-01-11 2020-07-27 株式会社進共 ラベル検査装置

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1313069A1 (en) * 2001-11-14 2003-05-21 Sys S.p.A.. System for label authenticity check and certifying, and multiple access database used in this system
JP2003182160A (ja) * 2001-12-20 2003-07-03 Ishida Co Ltd 商品情報印字装置および商品付票
JP2005063370A (ja) * 2003-08-20 2005-03-10 Ishida Co Ltd 商品情報処理システム
JP5476446B2 (ja) * 2012-11-05 2014-04-23 東芝テック株式会社 商品情報読取装置、商品情報処理装置及びプログラム
US20160171581A1 (en) * 2014-12-11 2016-06-16 Toshiba Global Commerce Solutions Holdings Corporation Apparatus and method for locating products in a retail store using a mobile device
JP6416720B2 (ja) * 2015-09-17 2018-10-31 東芝テック株式会社 免税処理システム、情報処理装置及びそのプログラム
WO2018207953A1 (ko) * 2017-05-08 2018-11-15 (주)인스타페이 터치 입력에 기반한 프로세스 처리 방법 및 시스템
JP6949596B2 (ja) * 2017-07-20 2021-10-13 東芝テック株式会社 商品データ処理装置及び商品データ処理プログラム
CN109472533A (zh) * 2018-11-15 2019-03-15 深圳市福尔科技有限公司 一种基于条码的商品管理方法及***

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004265205A (ja) 2003-03-03 2004-09-24 Ishida Co Ltd ラベル良否判定方法及びラベル良否判定装置
JP2012174101A (ja) 2011-02-23 2012-09-10 Oki Electric Ind Co Ltd ラベル検査システム、ラベル検査装置及びラベル検査プログラム
JP2013182384A (ja) 2012-03-01 2013-09-12 Oki Electric Ind Co Ltd ラベル台帳検査装置及びラベル台帳検査方法
JP2018066660A (ja) 2016-10-20 2018-04-26 株式会社寺岡精工 検査装置
JP2020111365A (ja) 2019-01-11 2020-07-27 株式会社進共 ラベル検査装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
清水 雅弘,複合機のスキャナ機能を活用したラベル検査 ラベル台帳検査システムの紹介,月刊自動認識,日本,日本工業出版株式会社,2014年12月,第27巻 第14号 ,p.7-11

Also Published As

Publication number Publication date
JP2020154791A (ja) 2020-09-24
CN111723640B (zh) 2024-01-19
CN111723640A (zh) 2020-09-29
US20200302502A1 (en) 2020-09-24

Similar Documents

Publication Publication Date Title
JP7361359B2 (ja) 商品情報検査システム及びコンピュータの制御方法
US20190197306A1 (en) Multi-page document recognition in document capture
US10614528B2 (en) System and method for automatic generation of reports based on electronic documents
JP6702629B2 (ja) 活字ocrシステム
US20160179313A1 (en) Page-independent multi-field validation in document capture
US20170147540A1 (en) Transforming unstructured documents
US20080285792A1 (en) Form Data Extraction Without Customization
JP6357621B1 (ja) 会計処理装置、会計処理システム、会計処理方法及びプログラム
JP6743445B2 (ja) 携帯型情報装置およびプログラム
US20240037348A1 (en) Data transformation system and method
JP7259754B2 (ja) 情報処理装置、情報処理方法、およびプログラム
US11869258B1 (en) Classifying and segmenting characters within an image
US9965679B2 (en) Capturing specific information based on field information associated with a document class
CN112550886B (zh) 检查装置及标签粘贴装置
JP6651169B2 (ja) 陳列状況判定システム
JP2022069813A (ja) 文字読取装置及び検査装置
JP5631352B2 (ja) コーディネート一覧提供システムおよびプログラム
US10235116B2 (en) Information processing apparatus, program, printing apparatus, and printing system for printing related information associated with code information
CN107861931B (zh) 模板文件处理方法、装置、计算机设备和存储介质
JP2020009466A (ja) 陳列状況判定システム
JP6199641B2 (ja) 帳票読取装置およびプログラム
CN112434997A (zh) 日期生成装置、控制方法和非暂时性计算机可读介质
JP6374079B1 (ja) 文字認識装置、方法およびプログラム
JP6682827B2 (ja) 情報処理装置及び情報処理プログラム
JP2020030722A (ja) 帳票画像処理システム、帳票画像処理方法、および帳票画像処理プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220208

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221220

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20221221

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230220

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20230530

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230829

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20230901

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230919

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230926

R150 Certificate of patent or registration of utility model

Ref document number: 7361359

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150