JP7461814B2 - Information processing program, device, and method - Google Patents

Description

開示の技術は、情報処理プログラム、情報処理装置、及び情報処理方法に関する。 The disclosed technology relates to an information processing program, an information processing device, and an information processing method.

メーカーで製造された商品を段ボール箱で梱包し、卸売業者及び小売業者へと流通させる過程において、流通過程で生じる衝撃を段ボール箱が吸収した際に、段ボール箱に変形や破損が生じる場合がある。また、流通過程において倉庫の保管環境によっては、段ボール箱が変形することがある。このような場合、輸送時、出荷先の倉庫での保管時、消費者による持ち帰り時等に破損が生じるおそれがあり、安全性に問題を生じるとして、流通過程の前段階へ商品が差し戻されることがある。そのため、出荷前及び納品前に、出荷可否を判定することが行われている。 When products manufactured by manufacturers are packed in cardboard boxes and distributed to wholesalers and retailers, the cardboard boxes may become deformed or damaged when they absorb shocks that occur during the distribution process. Also, depending on the storage environment of the warehouse during the distribution process, the cardboard boxes may become deformed. In such cases, there is a risk of damage during transportation, storage at the destination warehouse, or when the consumer takes the box home, and the product may be returned to the previous stage in the distribution process due to safety concerns. For this reason, a decision is made before shipping and before delivery whether or not the product can be shipped.

流通過程の次段階への出荷可否の判定に関する技術として、例えば、貨物のダメージ情報の管理を行う貨物ダメージ情報管理システムが提案されている。このシステムは、貨物を撮影するモバイル端末と、モバイル端末からの撮影された撮影画像と貨物を特定するキー情報と共に貨物ダメージ情報として管理する貨物ダメージ情報管理装置を有する。また、この貨物ダメージ情報管理装置は、貨物ダメージ情報としてダメージの部位、種類、レベルを自動的に判定するＡＩ画像分析機能を有する。 As a technology for determining whether or not an item can be shipped to the next stage in the distribution process, for example, a cargo damage information management system that manages cargo damage information has been proposed. This system has a mobile terminal that photographs cargo, and a cargo damage information management device that manages the images taken from the mobile terminal together with key information that identifies the cargo as cargo damage information. In addition, this cargo damage information management device has an AI image analysis function that automatically determines the location, type, and level of damage as cargo damage information.

また、検品結果の誤入力を防止して正確な検品作業を行うことができると共に、検品作業に際しての作業者の負担を軽減することができる検品システムが提案されている。この検品システムでは、発注側に設置された発注側端末、受注側に設置された受注側端末、管理サーバーが互いに通信可能なように接続されている。発注側に設けられた検品端末機は、撮像部、温度測定部、読取部を有するスキャナ装置とタッチパネル式の表示部が有線接続により一体化され、発注側端末と通信可能なものとなっている。作業者は、発注側の検品の際には、表示部で検品項目を確認しながら、このスキャナ装置を検品対象となる食品に接触させるだけで、食品の温度値、食品画像を自動的に管理サーバーに取り込む。 An inspection system has also been proposed that prevents erroneous input of inspection results, enables accurate inspection work, and reduces the burden on workers during inspection work. In this inspection system, an ordering terminal installed on the ordering side, an order receiving terminal installed on the receiving side, and a management server are connected so that they can communicate with each other. The inspection terminal installed on the ordering side is integrated with a scanner device having an imaging unit, temperature measurement unit, and reading unit and a touch panel display unit via a wired connection, and is capable of communicating with the ordering side terminal. When inspecting on the ordering side, the worker simply touches the scanner device to the food to be inspected while checking the inspection items on the display unit, and the food temperature value and food image are automatically imported into the management server.

特開２０１９－１７５１２１号公報JP 2019-175121 A 特開２０１９－３２７６９号公報JP 2019-32769 A

流通過程の次段階への出荷可否の判定において、その判定基準は、流通過程の各段階、又は、判定を行う作業者等によって異なる場合がある。判定基準が厳し過ぎる場合には、商品の不要な廃棄に繋がるなどの問題がある。また、判定基準が緩過ぎる場合には、流通過程の下流側での苦情の発生等、各流通過程での作業負荷が増大する可能性がある。 When deciding whether or not a product can be shipped to the next stage in the distribution process, the criteria may differ depending on each stage in the distribution process or the worker making the decision. If the criteria are too strict, it could lead to unnecessary waste of products. Furthermore, if the criteria are too lenient, it could lead to complaints downstream in the distribution process, increasing the workload at each stage.

流通過程の各段階及び各作業者において、判定基準に対する共通認識を持つことが望まれる。しかし、一方で、対象の商品の販売形態や、流通過程における輸送及び保管の条件等によって出荷可否の判定が異なる場合があるため、一律の判定基準を設けることは困難であるという問題がある。 It is desirable for each stage and worker in the distribution process to have a common understanding of the judgment criteria. However, on the other hand, the judgment of whether or not a product can be shipped may differ depending on the sales form of the product in question, and the conditions of transportation and storage during the distribution process, so there is a problem in that it is difficult to set uniform judgment criteria.

一つの側面として、開示の技術は、段ボール箱で梱包された商品の出荷可否を、各種条件を考慮した共通認識の判定基準で判定することを目的とする。 In one aspect, the disclosed technology aims to determine whether or not a product packaged in a cardboard box can be shipped using commonly understood criteria that take into account various conditions.

一つの態様として、開示の技術は、出荷可否の判定対象の商品を梱包した段ボール箱の外観画像と、前記判定対象の商品に関する情報及び前記判定対象の商品の流通に関する情報の少なくとも一方を含む外部情報とを取得する。そして、開示の技術は、モデルと、取得された前記判定対象の商品についての前記外観画像及び前記外部情報とに基づいて、前記判定対象の商品の出荷可否を判定する。モデルは、出荷可否を判定済みの商品についての前記外観画像及び前記外部情報と、段ボール箱の破損状態に応じた商品の出荷可否の判定結果との対応付けを機械学習したモデルである。 In one aspect, the disclosed technology acquires an external image of a cardboard box in which a product to be judged for its shippability is packed, and external information including at least one of information about the product to be judged and information about the distribution of the product to be judged. The disclosed technology then judges whether the product to be judged is shippable based on a model and the acquired external image and external information about the product to be judged. The model is a machine learning model that associates the external image and external information about a product whose shippability has already been judged, with the judgment result of whether the product is shippable or not depending on the damage state of the cardboard box.

一つの側面として、段ボール箱で梱包された商品の出荷可否を、各種条件を考慮した共通認識の判定基準で判定することができる、という効果を有する。 One aspect of this is that it has the effect of making it possible to determine whether or not a product packed in a cardboard box can be shipped based on commonly understood criteria that take into account various conditions.

第１実施形態に係る情報処理システムにより提供されるサービスの概要を説明するための図である。1 is a diagram for explaining an overview of services provided by an information processing system according to a first embodiment; 第１及び第２実施形態に係る情報処理システムの概略構成を示すブロック図である。1 is a block diagram showing a schematic configuration of an information processing system according to first and second embodiments. 第１実施形態に係る情報処理装置の機能ブロック図である。1 is a functional block diagram of an information processing device according to a first embodiment. 撮影画面の一例を示す図である。FIG. 4 is a diagram showing an example of a shooting screen. 外部情報ＤＢの一例を示す図である。FIG. 2 is a diagram illustrating an example of an external information DB. 判定用ＤＢの一例を示す図である。FIG. 13 is a diagram illustrating an example of a determination DB. 領域確認画面の一例を示す図である。FIG. 13 is a diagram showing an example of an area confirmation screen. 判定結果画面の一例を示す図である。FIG. 13 is a diagram showing an example of a determination result screen. 判定履歴ＤＢの一例を示す図である。FIG. 13 is a diagram illustrating an example of a determination history DB. 第１及び第２実施形態に係る情報処理装置として機能するコンピュータの概略構成を示すブロック図である。1 is a block diagram showing a schematic configuration of a computer that functions as an information processing apparatus according to first and second embodiments. 判定処理の一例を示すフローチャートである。13 is a flowchart illustrating an example of a determination process. 異議集計処理の一例を示すフローチャートである。13 is a flowchart showing an example of an objection counting process. 判定集計処理の一例を示すフローチャートである。13 is a flowchart illustrating an example of a determination counting process. 安全性に関するアラートの一例を示す図である。FIG. 13 is a diagram illustrating an example of a safety alert. 撮影範囲の他の例を説明するための図である。FIG. 11 is a diagram for explaining another example of the shooting range. 第２実施形態に係る情報処理装置の機能ブロック図である。FIG. 11 is a functional block diagram of an information processing device according to a second embodiment. 問題画面の一例を示す図である。FIG. 13 is a diagram showing an example of a question screen. 解答画面の一例を示す図である。FIG. 13 is a diagram showing an example of an answer screen. テストモード処理の一例を示すフローチャートである。13 is a flowchart illustrating an example of a test mode process.

以下、図面を参照して、開示の技術に係る実施形態の一例を説明する。 Below, an example of an embodiment of the disclosed technology is described with reference to the drawings.

＜第１実施形態＞
まず、図１を参照して、第１実施形態に係る情報処理システムにより提供されるサービスの概要について説明する。第１実施形態における情報処理システムは、流通過程における各拠点から、次の拠点へ商品を出荷する際の出荷可否を判定する。第１実施形態では、流通過程の各拠点が、メーカーの工場等の出荷元、卸売業者、及び小売業者である場合について説明する。各拠点において、商品を次の拠点へ出荷する際、段ボール箱で梱包された商品の外観画像を撮影する。そして、情報処理システムは、各拠点で撮影された外観画像、外部情報、及び判定モデルを用いて、出荷可否の判定を行い（詳細は後述）、判定結果を各拠点へ返す。 First Embodiment
First, an overview of services provided by an information processing system according to a first embodiment will be described with reference to FIG. 1. The information processing system in the first embodiment determines whether or not a product can be shipped from each base in a distribution process to the next base. In the first embodiment, a case will be described in which each base in the distribution process is a shipper such as a manufacturer's factory, a wholesaler, and a retailer. At each base, when a product is shipped to the next base, an external image of the product packed in a cardboard box is taken. Then, the information processing system uses the external image taken at each base, external information, and a determination model to determine whether or not the product can be shipped (details will be described later), and returns the determination result to each base.

図２に示すように、第１実施形態に係る情報処理システム１００は、情報処理装置１０と、拠点端末３０Ａ、３０Ｂ、３０Ｃとを含む。情報処理装置１０と、各拠点端末３０Ａ、３０Ｂ、３０Ｃとは、ネットワークを介して接続される。拠点端末３０Ａは拠点Ａで利用される端末であり、拠点端末３０Ｂは拠点Ｂで利用される端末であり、拠点端末３０Ｃは拠点Ｃで利用される端末である。第１実施形態では、拠点Ａは出荷元、拠点Ｂは卸売業者、拠点Ｃは小売業者を想定している。なお、情報処理システム１００に含まれる情報処理装置１０、及び拠点端末３０Ａ、３０Ｂ、３０Ｃの各々の数は図２の例に限定されず、それぞれ複数含まれてもよい。また、出荷元から小売業者までの間の流通過程の拠点として複数の卸売業者又は保管事業者等を含んでもよい。以下、拠点端末３０Ａ、３０Ｂ、３０Ｃの各々を区別なく説明する場合には、単に「拠点端末３０」という。 2, the information processing system 100 according to the first embodiment includes an information processing device 10 and base terminals 30A, 30B, and 30C. The information processing device 10 and each of the base terminals 30A, 30B, and 30C are connected via a network. The base terminal 30A is a terminal used at the base A, the base terminal 30B is a terminal used at the base B, and the base terminal 30C is a terminal used at the base C. In the first embodiment, the base A is assumed to be a shipper, the base B is a wholesaler, and the base C is a retailer. Note that the number of information processing devices 10 and base terminals 30A, 30B, and 30C included in the information processing system 100 is not limited to the example in FIG. 2, and may include a plurality of each. In addition, a plurality of wholesalers or storage businesses may be included as bases in the distribution process from the shipper to the retailer. Hereinafter, when the base terminals 30A, 30B, and 30C are described without distinction, they will simply be referred to as "base terminals 30".

拠点端末３０は、少なくともカメラ、タッチパネルディスプレイ等の情報の入出力機能部、及び情報処理装置１０との間で通信を行うための通信機能部を備えた情報処理端末である。拠点端末３０は、例えば、スマートフォンやタブレット端末等で実現することができる。拠点端末３０上では、情報処理システム１００により提供されるサービスを利用するためのアプリケーションが動作する。 The base terminal 30 is an information processing terminal equipped with at least an information input/output function unit such as a camera and a touch panel display, and a communication function unit for communicating with the information processing device 10. The base terminal 30 can be realized, for example, as a smartphone or a tablet terminal. An application for using the services provided by the information processing system 100 runs on the base terminal 30.

情報処理装置１０は、機能的には、図３に示すように、取得部１２と、判定部１４と、作成部１６とを含む。また、情報処理装置１０の所定の記憶領域には、外部情報ＤＢ（Database）２２と、判定用ＤＢ２４と、判定履歴ＤＢ２６とが記憶される。 As shown in FIG. 3, the information processing device 10 functionally includes an acquisition unit 12, a judgment unit 14, and a creation unit 16. In addition, an external information DB (Database) 22, a judgment DB 24, and a judgment history DB 26 are stored in a predetermined storage area of the information processing device 10.

取得部１２は、出荷可否の判定対象の商品を梱包した段ボール箱の外観画像と、判定対象の商品に関する情報（以下、「商品情報」という）、及び判定対象の商品の流通に関する情報（以下、「流通情報」という）の少なくとも一方を含む外部情報とを取得する。商品情報は、商品の販売形態の情報を含む。流通情報は、流通過程を特定する情報、倉庫における保管条件の情報、輸送条件に関する情報、及び流通時の環境情報の少なくとも１つを含む。 The acquisition unit 12 acquires an external image of the cardboard box in which the product to be judged for suitability for shipping is packed, and external information including at least one of information on the product to be judged (hereinafter referred to as "product information") and information on the distribution of the product to be judged (hereinafter referred to as "distribution information"). The product information includes information on the sales format of the product. The distribution information includes at least one of information specifying the distribution process, information on storage conditions in the warehouse, information on transportation conditions, and environmental information during distribution.

具体的には、取得部１２は、例えば図４に示すような撮影画面４０を拠点端末３０に表示する。図４の例では、撮影画面４０には、拠点端末３０のカメラにより撮影された画像が表示される撮影領域４０２と、出荷対象の商品の基本情報を入力するための基本情報入力領域４０４とが含まれる。基本情報には、商品の識別情報、流通過程における各種条件の特定に用いるための流通条件情報等が含まれる。商品の識別情報は、例えば、商品の銘柄を識別するための商品コード、その商品が製造された製造工場を識別する情報、製造ロット等である。流通条件情報は、例えば、拠点の倉庫への商品の入出庫日時、次の拠点へ商品を輸送する輸送会社の識別情報である輸送会社コード、出荷先である次の拠点の識別情報である拠点コード等が含まれる。また、撮影画面４０には、外観画像と基本情報とを情報処理装置１０へ送信する際に選択される送信ボタン４０６が含まれる。 Specifically, the acquisition unit 12 displays a shooting screen 40 on the base terminal 30 as shown in FIG. 4, for example. In the example of FIG. 4, the shooting screen 40 includes a shooting area 402 in which an image captured by the camera of the base terminal 30 is displayed, and a basic information input area 404 for inputting basic information of the product to be shipped. The basic information includes product identification information, distribution condition information used to specify various conditions in the distribution process, and the like. Product identification information is, for example, a product code for identifying the brand of the product, information identifying the manufacturing plant where the product was manufactured, and a manufacturing lot. Distribution condition information includes, for example, the date and time of entry and exit of the product into the warehouse of the base, a transport company code which is identification information of the transport company that transports the product to the next base, and a base code which is identification information of the next base to which the product is shipped. In addition, the shooting screen 40 includes a send button 406 which is selected when transmitting the exterior image and basic information to the information processing device 10.

拠点端末３０を操作する作業担当者は、撮影領域４０２に、出荷可否を判定したい商品を梱包した段ボール箱の対象箇所が表示されるように撮影する。また、作業担当者は、基本情報入力領域４０４に商品の基本情報を入力する。作業担当者は、タッチパネルディスプレイ等の入力機能部により基本情報を入力することができる。また、基本情報が文字情報やバーコードで記入された伝票等が段ボール箱に貼付されている場合、伝票等から文字情報やバーコードを読み取ることにより基本情報を入力するようにしてもよい。また、段ボール箱に、基本情報を記録したＲＦＩＤ（radio frequency identifier）等のタグが付与されている場合には、このタグを読み取ることにより基本情報を入力するようにしてもよい。 The worker operating the base terminal 30 photographs the cardboard box containing the product for which the shipping suitability is to be determined, so that the target area is displayed in the photographing area 402. The worker also inputs basic information about the product into the basic information input area 404. The worker can input the basic information using an input function unit such as a touch panel display. Also, if a slip or the like on which the basic information is written in text information or a barcode is attached to the cardboard box, the basic information may be input by reading the text information or barcode from the slip or the like. Also, if a tag such as an RFID (radio frequency identifier) on which the basic information is recorded is attached to the cardboard box, the basic information may be input by reading this tag.

作業担当者は、段ボール箱の外観画像の撮影、及び基本情報の入力が終了すると、送信ボタン４０６を選択する。これにより、拠点端末３０から情報処理装置１０へ外観画像及び基本情報が送信され、情報処理装置１０で受信された外観画像及び基本情報を取得部１２が取得する。 When the worker has finished taking an external image of the cardboard box and inputting the basic information, he or she selects the send button 406. This causes the external image and basic information to be sent from the base terminal 30 to the information processing device 10, and the acquisition unit 12 acquires the external image and basic information received by the information processing device 10.

取得部１２は、取得した基本情報に基づいて、外部情報ＤＢ２２等から、取得した外観画像に対応する外部情報を取得する。図５に、外部情報ＤＢ２２の一例を示す。図５の例では、外部情報ＤＢ２２には、商品情報テーブル２２２、拠点情報テーブル２２４、輸送情報テーブル２２６等が含まれる。 Based on the acquired basic information, the acquisition unit 12 acquires external information corresponding to the acquired appearance image from the external information DB 22, etc. FIG. 5 shows an example of the external information DB 22. In the example of FIG. 5, the external information DB 22 includes a product information table 222, a base information table 224, a transport information table 226, etc.

商品情報テーブル２２２には、商品コードに対応付けて、その商品コードが示す商品の商品名、販売形態等が記憶される。販売形態は、例えば、その商品が、梱包された段ボール箱のまま販売されるケース売りか、段ボール箱の中身である商品を取り出して販売するバラ売りかを示す情報である。 In the product information table 222, the product name, sales format, etc. of the product indicated by the product code are stored in association with the product code. The sales format is information indicating, for example, whether the product is sold in a case in which it is packed in a cardboard box, or whether it is sold individually, in which the products inside the cardboard box are removed and sold.

拠点情報テーブル２２４には、拠点の識別情報である拠点コードに対応付けて、拠点名、拠点区分、住所、倉庫平均湿度等の情報が記憶される。拠点区分は、その拠点が、メーカー等の出荷元か、卸売業者か、又は小売業者かを示す情報である。住所は、その拠点の倉庫の住所である。倉庫平均湿度は、過去の所定期間に測定された倉庫の湿度の平均である。 In the base information table 224, information such as the base name, base category, address, and average warehouse humidity is stored in association with a base code, which is identification information for the base. The base category is information indicating whether the base is a shipper such as a manufacturer, a wholesaler, or a retailer. The address is the address of the warehouse for that base. The average warehouse humidity is the average of the humidity in the warehouse measured over a specified period in the past.

輸送情報テーブル２２６には、輸送会社の識別情報である輸送会社コードに対応付けて、その輸送会社における輸送品質が記憶される。輸送品質は、輸送中の段ボール箱の破損の有無等の過去の輸送実績に基づいて評価された情報である。 The transport information table 226 stores the transport quality of a transport company in association with a transport company code, which is the identification information of the transport company. The transport quality is information evaluated based on past transport performance, such as whether or not cardboard boxes were damaged during transport.

取得部１２は、例えば、基本情報に含まれる商品コードに対応する販売形態を外部情報として取得する。また、取得部１２は、例えば、外部情報ＤＢ２２から、基本情報に含まれる出荷先の拠点の拠点コードに対応する住所と、基本情報を送信した拠点（以下、「自拠点」という）の住所とを抽出し、両拠点間の輸送経路を探索し、探索した輸送経路から推定される輸送距離を外部情報として取得する。また、取得部１２は、例えば、基本情報に含まれる倉庫への入出庫日時から、その拠点の倉庫における商品の滞留時間を算出し、自拠点に対応する倉庫平均湿度を抽出し、滞留時間×倉庫平均湿度を外部情報として取得する。なお、倉庫平均湿度に替えて、商品が倉庫に保管されていた期間の実際の湿度の推移を取得可能な場合には、取得部１２は、滞留時間×累積湿度を外部情報として取得してもよい。また、取得部１２は、例えば、外部情報ＤＢ２２から、基本情報に含まれる輸送会社コードに対応する輸送品質を外部情報として取得する。 The acquisition unit 12 acquires, for example, a sales form corresponding to a product code included in the basic information as external information. The acquisition unit 12 also extracts, for example, from the external information DB 22, an address corresponding to the base code of the shipping destination base included in the basic information and an address of the base that transmitted the basic information (hereinafter referred to as the "own base"), searches for a transportation route between the two bases, and acquires, as external information, a transportation distance estimated from the searched transportation route. The acquisition unit 12 also calculates the residence time of the product at the warehouse of the base from the date and time of entry and exit from the warehouse included in the basic information, extracts the average warehouse humidity corresponding to the own base, and acquires residence time x average warehouse humidity as external information. Note that, instead of the average warehouse humidity, if it is possible to acquire the actual humidity change during the period when the product was stored in the warehouse, the acquisition unit 12 may acquire residence time x accumulated humidity as external information. The acquisition unit 12 also acquires, for example, a transportation quality corresponding to the transportation company code included in the basic information from the external information DB 22 as external information.

なお、取得部１２は、自拠点の拠点区分に応じて、異なる種類の外部情報を取得してもよい。例えば、拠点区分が小売業者の場合、次の出荷先が存在しないため、上記の、推定される輸送距離に替えて、前段階の拠点から自拠点までの実際の輸送距離を外部情報として取得してもよい。実際の輸送距離は、例えば、トラックに搭載されたＧＰＳ、ドライブレコーダ、各種メータ等から取得した情報を記憶する、輸送会社が管理するデータベースにアクセスして取得する等すればよい。なお、自拠点が小売業者の場合、次の出荷先が存在しないため、出荷可否の判定は、自拠点の倉庫への商品の入庫時や、店舗への商品の陳列前に行うことが想定される。 The acquisition unit 12 may acquire different types of external information depending on the base classification of the own base. For example, when the base classification is a retailer, since there is no next shipping destination, the actual shipping distance from the previous base to the own base may be acquired as the external information instead of the above-mentioned estimated shipping distance. The actual shipping distance may be acquired by accessing a database managed by the transportation company that stores information acquired from the GPS, drive recorder, various meters, etc. mounted on the truck. When the own base is a retailer, since there is no next shipping destination, it is expected that the decision on whether or not to ship is made when the product is put into the warehouse of the own base or before the product is displayed in the store.

また、外部情報ＤＢ２２に含まれる各テーブルは、情報処理装置１０に記憶されている場合に限らず、各拠点、各輸送会社、又はこれらを管理する外部機関等の記憶装置に記憶されていてもよい。この場合、取得部１２は、該当の記憶装置にアクセスして、対応する外部情報を取得する。また、取得部１２は、外部情報ＤＢ２２以外から外部情報を取得してもよい。例えば、取得部１２は、気象情報を管理する外部データベースから、商品が保管及び輸送される際の天気、季節、湿度、温度等の情報を外部情報として取得してもよい。 In addition, each table included in the external information DB22 may not necessarily be stored in the information processing device 10, but may also be stored in a storage device of each base, each shipping company, or an external institution that manages them. In this case, the acquisition unit 12 accesses the relevant storage device and acquires the corresponding external information. The acquisition unit 12 may also acquire external information from a source other than the external information DB22. For example, the acquisition unit 12 may acquire information such as the weather, season, humidity, and temperature when the product is stored and transported as external information from an external database that manages weather information.

取得部１２は、取得した外観画像、基本情報、及び外部情報を判定部１４へ受け渡す。 The acquisition unit 12 passes the acquired appearance image, basic information, and external information to the determination unit 14.

判定部１４は、取得部１２から取得した外観画像及び外部情報と、判定用ＤＢ２４に記憶されているモデル及び教師データとに基づいて、判定対象の商品の出荷可否を判定する。 The determination unit 14 determines whether or not the product to be evaluated can be shipped based on the appearance image and external information acquired from the acquisition unit 12 and the model and training data stored in the evaluation DB 24.

図６に、判定用ＤＢ２４の一例を示す。図６の例では、判定用ＤＢ２４には、領域抽出モデル２４２、類似データ抽出モデル２４４、及び教師データテーブル２４６が含まれる。領域抽出モデル２４２は、商品を梱包した段ボール箱の外観画像と、その外観画像内での判定対象の領域とを対応付けて機械学習したモデルであり、外観画像から判定対象の領域を抽出するためのモデルである。領域抽出モデル２４２としては、例えばＳＳＤ（Single Shot Multibox Detector）等の物体検出ニューラルネットワークを適用することができる。 Figure 6 shows an example of the determination DB 24. In the example of Figure 6, the determination DB 24 includes an area extraction model 242, a similar data extraction model 244, and a teacher data table 246. The area extraction model 242 is a model trained by machine learning that associates an appearance image of a cardboard box in which a product is packed with an area to be determined within the appearance image, and is a model for extracting the area to be determined from the appearance image. As the area extraction model 242, for example, an object detection neural network such as SSD (Single Shot Multibox Detector) can be applied.

類似データ抽出モデル２４４は、教師データテーブル２４６に記憶された教師データから、判定対象の商品についての外観画像及び外部情報と類似する教師データを抽出するためのモデルであり、例えば、ＶＡＥ（Variational Auto-Encoder）等を適用することができる。教師データテーブル２４６には、過去に出荷可否を判定済みの商品についての外観画像及び外部情報が教師データとして複数記憶されている。また、教師データテーブル２４６には、各教師データに対応付けて、その教師データが示す商品についての出荷可否の判定結果が記憶されている。さらに、教師データテーブル２４６には、その教師データが示す商品を梱包した段ボール箱の中身を示す情報、すなわち商品の状態を示す情報が対応付けて記憶されている。図６の例では、中身を示す情報として、段ボール箱の中身の商品を撮影した中身画像が記憶されている。 The similar data extraction model 244 is a model for extracting teacher data similar to the appearance image and external information of the product to be judged from the teacher data stored in the teacher data table 246, and for example, a variational auto-encoder (VAE) or the like can be applied. The teacher data table 246 stores multiple appearance images and external information of products whose shipping suitability has been judged in the past as teacher data. The teacher data table 246 also stores the judgment result of shipping suitability for the product indicated by the teacher data in association with each teacher data. Furthermore, the teacher data table 246 stores information indicating the contents of the cardboard box in which the product indicated by the teacher data is packed, that is, information indicating the state of the product, in association with the information. In the example of FIG. 6, an image of the contents of the product in the cardboard box is stored as the information indicating the contents.

領域抽出モデル２４２及び類似データ抽出モデル２４４の各々は、出荷可否を判定済みの商品を梱包した段ボール箱の破損状態の種類毎に機械学習された複数のモデルを含むことができる。又は、領域抽出モデル２４２及び類似データ抽出モデル２４４の各々は、複数種類の破損状態を示す外観画像を用いて機械学習された１つのモデルとすることができる。 Each of the area extraction model 242 and the similar data extraction model 244 may include multiple models trained by machine learning for each type of damage state of a cardboard box in which a product whose shippability has been determined is packed. Alternatively, each of the area extraction model 242 and the similar data extraction model 244 may be a single model trained by machine learning using exterior images showing multiple types of damage states.

ここで、段ボール箱の破損状態には複数の種類があり、例えば、胴膨れ、切り欠き部分の開き、ショートフラップに伴う皺、汚れの付着、擦れ、フラップの剥がれ、破れ、濡れ、平面部の内側への折れ、角部の折れ、角部の潰れ等がある。段ボール箱の破損には、これらの種類の破損が複合的に生じる場合があり、そのような場合には、複数種類の破損状態を示す外観画像を用いて機械学習された１つのモデルを用いた場合の方が、精度良く破損の有無に基づく出荷可否を判定することができる。また、モデルが１つの場合には、モデル構成を簡素化できる。一方、特定の種類の破損状態に基づく出荷可否を判定したい場合には、その特定の種類の破損状態の教師データを用いて機械学習されたモデルを用いた方が、精度良く破損の有無に基づく出荷可否を判定することができる。 Here, there are multiple types of damage to cardboard boxes, such as bulging, opening of cutouts, wrinkles due to short flaps, dirt, rubbing, peeling of flaps, tears, wetting, inward folding of flat surfaces, folding of corners, crushed corners, etc. Damage to cardboard boxes may occur in a combination of these types of damage, and in such cases, the use of a single model trained by machine learning using exterior images showing multiple types of damage can more accurately determine whether or not a product can be shipped based on the presence or absence of damage. In addition, when there is only one model, the model configuration can be simplified. On the other hand, when it is desired to determine whether or not a product can be shipped based on a specific type of damage, the use of a model trained by machine learning using training data for that specific type of damage can more accurately determine whether or not a product can be shipped based on the presence or absence of damage.

判定部１４は、具体的には、領域抽出モデル２４２を用いて、判定対象の商品の外観画像から、段ボール箱の破損の有無を判定する領域を抽出する。判定部１４は、領域を抽出すると、例えば図７に示すような領域確認画面４２を拠点端末３０に表示し、領域の修正を受け付ける。図７の例では、領域確認画面４２には、外観画像４２２と、抽出した領域を示す枠４２４と、領域を確定し判定を開始する際に選択される判定ボタン４２６とが含まれる。拠点の作業担当者は、領域を修正する場合、枠４２４を操作して所定の領域を指定し、判定ボタン４２６を選択する。 Specifically, the determination unit 14 uses the area extraction model 242 to extract an area from the appearance image of the product to be determined, for determining whether or not the cardboard box is damaged. When the determination unit 14 extracts the area, it displays an area confirmation screen 42, such as that shown in FIG. 7, on the base terminal 30 and accepts corrections to the area. In the example of FIG. 7, the area confirmation screen 42 includes an appearance image 422, a frame 424 indicating the extracted area, and a judgment button 426 that is selected when confirming the area and starting the judgment. When correcting the area, the worker at the base operates the frame 424 to specify a specific area and selects the judgment button 426.

判定部１４は、判定対象の領域が確定された外観画像及び外部情報と、教師データテーブル２４６に記憶された教師データの各々との類似度を、類似データ抽出モデル２４４を用いて算出する。判定部１４は、判定対象の商品についての外観画像及び外部情報との類似度が高い順に所定個の教師データを抽出する。判定部１４は、教師データテーブル２４６において、抽出された教師データに対応付けて記憶されている判定結果を用いて、判定対象の商品の出荷可否を判定する。より具体的には、判定部１４は、抽出した所定個の教師データに対応する判定結果の各々を集計したスコアが所定の判定基準以上か否かに基づいて、判定対象の商品の出荷可否を判定する。 The determination unit 14 calculates the similarity between the appearance image and external information in which the area to be determined is determined, and each piece of teacher data stored in the teacher data table 246, using the similar data extraction model 244. The determination unit 14 extracts a predetermined number of teacher data in descending order of similarity with the appearance image and external information of the product to be determined. The determination unit 14 uses the determination results stored in the teacher data table 246 in association with the extracted teacher data to determine whether the product to be determined can be shipped. More specifically, the determination unit 14 determines whether the product to be determined can be shipped, based on whether the score obtained by aggregating each of the determination results corresponding to the predetermined number of extracted teacher data is equal to or greater than a predetermined determination criterion.

例えば、判定部１４は、所定個の判定結果における出荷可能又は出荷不可の割合をスコアとすることができる。例えば、出荷可能の割合が３／５以上という判定基準の場合において、５個の判定結果が抽出されている場合、判定部１４は、出荷可能の判定結果が３個以上であれば、判定対象の商品は出荷可能と判定する。また、例えば、判定部１４は、各判定結果に、類似度が高いほど高くなる重みを付与し、出荷可能又は出荷不可の判定結果の重みの和をスコアとしてもよい。 For example, the determination unit 14 can use the ratio of shippable or non-shippable products in a given number of determination results as the score. For example, in the case of a determination criterion that the ratio of shippable products is 3/5 or more, if five determination results are extracted, the determination unit 14 determines that the product being determined is shippable if there are three or more shippable determination results. Also, for example, the determination unit 14 may assign a weight to each determination result that increases with the degree of similarity, and use the sum of the weights of the shippable or non-shippable determination results as the score.

また、判定部１４は、判定対象の商品の外部情報に応じて、判定基準を設定してもよい。例えば、判定部１４は、判定対象の商品の販売形態がケース売りの場合よりバラ売りの場合の方が、判定基準を緩和するように設定することができる。また、例えば、判定部１４は、出荷先が卸売業者か小売業者かに応じて判定基準を異ならせてもよい。 The determination unit 14 may also set the determination criteria according to external information about the product being evaluated. For example, the determination unit 14 may set the determination criteria to be more lenient when the product being evaluated is sold individually than when it is sold in a case. For example, the determination unit 14 may also set different determination criteria depending on whether the shipping destination is a wholesaler or a retailer.

また、判定部１４は、判定対象の商品についての外観画像から検出される破損個所の数値情報をさらに用いて、判定対象の商品の出荷可否を判定してもよい。例えば、判定部１４は、外観画像の判定対象の領域に対する画像処理により、破損個所の面積、長さ、角度等の数値情報を検出し、それらの数値情報に基づいて、破損の程度を推定する。そして、判定部１４は、例えば、上記の類似データの判定結果に基づく判定結果が出荷可能で、破損の程度が小の場合に、最終的な判定結果として、出荷可能と判定することができる。なお、最終的な判定のための、類似データの判定結果と、数値情報に基づく判定との組み合わせ方は適宜設定可能である。また、この組み合わせ方も、外部情報に応じて異ならせてもよい。 The determination unit 14 may further use numerical information of the damaged area detected from the appearance image of the product to be determined to determine whether the product to be determined can be shipped. For example, the determination unit 14 detects numerical information such as the area, length, and angle of the damaged area by image processing of the area to be determined in the appearance image, and estimates the degree of damage based on the numerical information. Then, for example, when the determination result based on the above-mentioned similar data determination result indicates that the product can be shipped and the degree of damage is small, the determination unit 14 can determine that the product can be shipped as a final determination result. Note that the method of combining the similar data determination result and the determination based on the numerical information for the final determination can be set as appropriate. Furthermore, this combination method may also be varied depending on external information.

判定部１４は、判定対象の商品の出荷可否を判定すると、例えば図８に示すような判定結果画面４４を拠点端末３０に表示する。図８の例では、判定結果画面４４には、判定対象の商品の外観画像４２２と、判定対象の領域を示す枠４２４と、類似データの情報が表示される類似データ表示領域４４２と、判定結果表示領域４４４と、異議ボタン４４６とが含まれる。類似データ表示領域４４２には、判定対象の商品の外観画像及び外部情報と類似する所定個の教師データの外観画像のサムネイル画像と、その教師データに対応付けられている判定結果とが表示される。また、各教師データに対応付けて詳細ボタンが設けられており、詳細ボタンが選択されると、教師データに含まれる外部情報、及び教師データに対応付けられている中身画像が表示される（図示省略）。この外部情報及び中身画像を表示することで、判定結果に対する理由付けを提示し、判定結果に対する納得性を高めることができる。 When the judgment unit 14 judges whether the product to be judged can be shipped, it displays a judgment result screen 44, for example, as shown in FIG. 8, on the base terminal 30. In the example of FIG. 8, the judgment result screen 44 includes an appearance image 422 of the product to be judged, a frame 424 indicating the area of the product to be judged, a similar data display area 442 in which information on similar data is displayed, a judgment result display area 444, and an objection button 446. The similar data display area 442 displays thumbnail images of appearance images of a predetermined number of teacher data similar to the appearance image of the product to be judged and the external information, and the judgment result associated with the teacher data. In addition, a details button is provided in association with each teacher data, and when the details button is selected, the external information included in the teacher data and the content image associated with the teacher data are displayed (not shown). By displaying this external information and content image, the reason for the judgment result can be presented, and the persuasiveness of the judgment result can be increased.

異議ボタン４４６は、判定結果に異議がある場合に、拠点の作業担当者により選択される。異議ボタン４４６が選択された場合には、拠点端末３０から情報処理装置１０へ、判定結果に異議があることを示す異議情報が送信される。 The objection button 446 is selected by the worker at the base when there is an objection to the judgment result. When the objection button 446 is selected, objection information indicating that there is an objection to the judgment result is transmitted from the base terminal 30 to the information processing device 10.

判定部１４は、判定対象の商品についての外観画像、基本情報、外部情報、及び判定結果を作成部１６へ受け渡す。 The determination unit 14 passes the appearance image, basic information, external information, and determination results for the product to be determined to the creation unit 16.

作成部１６は、拠点端末３０から異議情報が送信された場合、異議情報を取得する。そして、作成部１６は、判定部１４から受け渡された判定対象の商品についての外観画像、基本情報、外部情報、及び判定結果と、取得した異議情報とを、例えば図９に示すような判定履歴ＤＢ２６に判定履歴として記憶する。 When objection information is sent from the base terminal 30, the creation unit 16 acquires the objection information. Then, the creation unit 16 stores the appearance image, basic information, external information, and judgment result of the product to be judged passed from the judgment unit 14, as well as the acquired objection information, as judgment history in the judgment history DB 26 as shown in FIG. 9, for example.

また、作成部１６は、判定部１４から受け渡された判定結果が出荷不可の場合、その判定結果と共に受け渡された基本情報に含まれる商品の識別情報（例えば、商品コード、製造工場、及び製造ロット）に基づいて、流通過程をトレースしたトレース情報を作成する。具体的には、作成部１６は、判定履歴ＤＢ２６から、商品の識別情報をキーに該当の判定履歴を検索し、各拠点における判定履歴の各々を記録したトレース情報を作成する。例えば、本実施形態では、小売業者、すなわち拠点端末３０Ｃから送信された外観画像及び基本情報が示す商品についての出荷可否の判定が出荷不可であったとする。この場合、作成部１６は、小売業者における判定履歴、小売業者の前段階の卸売業者における判定履歴、及びその卸売業者の前段階の出荷元における判定履歴を含むトレース情報を作成し、出力する。このトレース情報により、同様の流通過程を辿る他の商品の検品の強化や、破損品の回収等の対応を迅速に行うことができる。 In addition, when the judgment result delivered from the judgment unit 14 is "unshippable," the creation unit 16 creates trace information that traces the distribution process based on the product identification information (e.g., product code, manufacturing plant, and manufacturing lot) included in the basic information delivered together with the judgment result. Specifically, the creation unit 16 searches the judgment history DB 26 for the corresponding judgment history using the product identification information as a key, and creates trace information that records each of the judgment histories at each base. For example, in this embodiment, it is assumed that the judgment on whether or not the product indicated by the appearance image and basic information sent from the retailer, i.e., the base terminal 30C, is shipped is "unshippable." In this case, the creation unit 16 creates and outputs trace information that includes the judgment history at the retailer, the judgment history at the wholesaler preceding the retailer, and the judgment history at the shipper preceding the wholesaler. This trace information allows for quick response, such as strengthening inspection of other products that follow a similar distribution process and recalling damaged products.

また、作成部１６は、所定のタイミングで、判定履歴ＤＢ２６に記憶された判定履歴のうち、異議情報がある判定履歴を集計し、異議の発生頻度が所定値以上の拠点及び商品の少なくとも一方を特定する。作成部１６は、特定した商品及び拠点の情報、その商品及び拠点に関連する判定履歴等を含む異議発生状況レポートを作成し、出力する。この異議発生レポートにより、異議の多い拠点の作業担当者に対する聞き取りを行ったり、作業担当者へ判定の適正化を促したり等の対応をとることができる。 The creation unit 16 also compiles, at a predetermined timing, the judgment histories stored in the judgment history DB 26 that contain objection information, and identifies at least one of the locations and products for which the frequency of objections is equal to or exceeds a predetermined value. The creation unit 16 creates and outputs an objection occurrence status report that includes information on the identified products and locations, the judgment histories related to the products and locations, and the like. This objection occurrence report makes it possible to take action such as interviewing the workers at the locations where there are many objections, or encouraging the workers to make more appropriate judgments.

また、作成部１６は、特定した、異議の発生頻度が所定値以上の拠点及び商品の少なくとも一方に関連する教師データに対応付けられた判定結果を更新する。例えば、作成部１６は、特定した商品について、出荷可能の判定結果に対する異議の発生頻度が所定値以上の場合、教師データのうち、その商品についての少なくとも一部の教師データに対応付けられた判定結果を出荷不可に変更する。また、例えば、作成部１６は、特定した拠点について、出荷不可の判定結果に対する異議の発生頻度が所定値以上の場合、教師データのうち、外部情報に該当の拠点を含む教師データの少なくとも一部に対応付けられた判定結果を出荷可能に変更する。 The creation unit 16 also updates the judgment result associated with the teacher data related to at least one of the identified base and product for which the frequency of objections is equal to or greater than a predetermined value. For example, when the frequency of objections to a judgment result of "shippable" for the identified product is equal to or greater than a predetermined value, the creation unit 16 changes the judgment result associated with at least a portion of the teacher data for the product to "unshippable." Also, for example, when the frequency of objections to a judgment result of "unshippable" for the identified base is equal to or greater than a predetermined value, the creation unit 16 changes the judgment result associated with at least a portion of the teacher data for the product, which includes the base in the external information, to "shippable."

また、作成部１６は、所定のタイミングで、判定履歴ＤＢ２６に記憶された判定履歴を判定結果に基づいて集計し、出荷可能又は出荷不可の頻度が所定値以上の商品及び拠点の少なくとも一方を特定する。作成部１６は、特定した商品及び拠点の情報、その商品及び拠点に関連する判定履歴等を含む判定結果レポートを作成し、出力する。この判定結果レポートにより、出荷不可と判定される頻度が所定値以上の商品について、段ボール箱の強化、流通過程の見直し等の対応を行うことができる。また、商品ロス及び作業負荷の観点から、該当の商品についての教師データに対応付けられた判定結果を一括で出荷可能に更新する等の対応を検討することができる。また、出荷可能と判定される頻度が所定値以上の商品については、段ボール箱の軽量薄肉化等の検討により、環境負荷への配慮を図ることができる。 The creation unit 16 also compiles the judgment history stored in the judgment history DB 26 at a predetermined timing based on the judgment results, and identifies at least one of the products and bases for which the frequency of being judged as shippable or unshippable is equal to or greater than a predetermined value. The creation unit 16 creates and outputs a judgment result report that includes information on the identified products and bases, and judgment history related to the products and bases. This judgment result report makes it possible to take measures such as strengthening the cardboard boxes and reviewing the distribution process for products for which the frequency of being judged as unshippable is equal to or greater than a predetermined value. In addition, from the perspective of product loss and workload, it is possible to consider measures such as updating the judgment results associated with the teacher data for the relevant products to shippable all at once. In addition, for products for which the frequency of being judged as shippable is equal to or greater than a predetermined value, consideration can be given to environmental impact by considering measures such as making the cardboard boxes lighter and thinner.

また、この判定結果レポートにより、出荷不可と判定される頻度が所定値以上の拠点について、その拠点の倉庫での商品の保管環境の見直しや、その拠点までの輸送経路の見直し等の対応を行うことができる。なお、作成部１６は、拠点の倉庫への入庫時における段ボール箱の外観画像と、出庫時の外観画像とを取得しておき、両者を比較することで、拠点の倉庫で破損が生じたのか、拠点までの輸送経路で破損が生じたのかを判定するようにしてもよい。この場合、入出庫時の外観画像も判定履歴として判定履歴ＤＢ２６に記憶しておけばよい。 Furthermore, for bases where the frequency of being determined to be unshippable is equal to or greater than a predetermined value, this determination result report can be used to review the storage environment of the products at the base's warehouse, review the transportation route to the base, and take other measures. The creation unit 16 may obtain an external image of the cardboard box when it enters the base's warehouse and an external image when it leaves the warehouse, and compare the two to determine whether the damage occurred at the base's warehouse or on the transportation route to the base. In this case, the external image at the time of entry and exit may also be stored in the determination history DB 26 as a determination history.

情報処理装置１０は、例えば図１０に示すコンピュータ５０で実現することができる。コンピュータ５０は、ＣＰＵ（Central Processing Unit）５１と、一時記憶領域としてのメモリ５２と、不揮発性の記憶部５３とを備える。また、コンピュータ５０は、入力部、表示部等の入出力装置５４と、記憶媒体５９に対するデータの読み込み及び書き込みを制御するＲ／Ｗ（Read/Write）部５５とを備える。また、コンピュータ５０は、インターネット等のネットワークに接続される通信Ｉ／Ｆ（Interface）５６を備える。ＣＰＵ５１、メモリ５２、記憶部５３、入出力装置５４、Ｒ／Ｗ部５５、及び通信Ｉ／Ｆ５６は、バス５７を介して互いに接続される。 The information processing device 10 can be realized, for example, by a computer 50 shown in FIG. 10. The computer 50 includes a CPU (Central Processing Unit) 51, a memory 52 as a temporary storage area, and a non-volatile storage unit 53. The computer 50 also includes an input/output device 54 such as an input unit and a display unit, and an R/W (Read/Write) unit 55 that controls the reading and writing of data from and to a storage medium 59. The computer 50 also includes a communication I/F (Interface) 56 that is connected to a network such as the Internet. The CPU 51, memory 52, storage unit 53, input/output device 54, R/W unit 55, and communication I/F 56 are connected to one another via a bus 57.

記憶部５３は、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、フラッシュメモリ等によって実現できる。記憶媒体としての記憶部５３には、コンピュータ５０を、情報処理装置１０として機能させるための情報処理プログラム６０が記憶される。情報処理プログラム６０は、取得プロセス６２と、判定プロセス６４と、作成プロセス６６とを有する。また、記憶部５３は、外部情報ＤＢ２２、判定用ＤＢ２４、及び判定履歴ＤＢ２６の各々を構成する情報が記憶される情報記憶領域７０を有する。 The storage unit 53 can be realized by a hard disk drive (HDD), a solid state drive (SSD), a flash memory, or the like. The storage unit 53 as a storage medium stores an information processing program 60 for causing the computer 50 to function as the information processing device 10. The information processing program 60 has an acquisition process 62, a judgment process 64, and a creation process 66. The storage unit 53 also has an information storage area 70 in which information constituting each of the external information DB 22, the judgment DB 24, and the judgment history DB 26 is stored.

ＣＰＵ５１は、情報処理プログラム６０を記憶部５３から読み出してメモリ５２に展開し、情報処理プログラム６０が有するプロセスを順次実行する。ＣＰＵ５１は、取得プロセス６２を実行することで、図３に示す取得部１２として動作する。また、ＣＰＵ５１は、判定プロセス６４を実行することで、図３に示す判定部１４として動作する。また、ＣＰＵ５１は、作成プロセス６６を実行することで、図３に示す作成部１６として動作する。また、ＣＰＵ５１は、情報記憶領域７０から情報を読み出して、外部情報ＤＢ２２、判定用ＤＢ２４、及び判定履歴ＤＢ２６の各々をメモリ５２に展開する。これにより、情報処理プログラム６０を実行したコンピュータ５０が、情報処理装置１０として機能することになる。なお、プログラムを実行するＣＰＵ５１はハードウェアである。 The CPU 51 reads out the information processing program 60 from the storage unit 53, expands it in the memory 52, and sequentially executes the processes of the information processing program 60. The CPU 51 operates as the acquisition unit 12 shown in FIG. 3 by executing the acquisition process 62. The CPU 51 also operates as the judgment unit 14 shown in FIG. 3 by executing the judgment process 64. The CPU 51 also operates as the creation unit 16 shown in FIG. 3 by executing the creation process 66. The CPU 51 also reads out information from the information storage area 70, and expands each of the external information DB 22, the judgment DB 24, and the judgment history DB 26 in the memory 52. In this way, the computer 50 that has executed the information processing program 60 functions as the information processing device 10. The CPU 51 that executes the program is hardware.

なお、情報処理プログラム６０により実現される機能は、例えば半導体集積回路、より詳しくはＡＳＩＣ（Application Specific Integrated Circuit）等で実現することも可能である。 The functions realized by the information processing program 60 can also be realized, for example, by a semiconductor integrated circuit, more specifically, an ASIC (Application Specific Integrated Circuit).

次に、第１実施形態に係る情報処理システム１００の作用について説明する。拠点端末３０において、情報処理システム１００により提供されるアプリケーションが起動され、出荷可否の判定が指示されると、情報処理装置１０において、図１１に示す判定処理が実行される。また、情報処理装置１０は、所定のタイミングで、図１２に示す異議集計処理、及び図１３に示す判定集計処理を実行する。なお、判定処理、異議集計処理、及び判定集計処理は、開示の技術の情報処理方法の一例である。以下、判定処理、異議集計処理、及び判定集計処理の各々について詳述する。 Next, the operation of the information processing system 100 according to the first embodiment will be described. When an application provided by the information processing system 100 is launched in the base terminal 30 and an instruction is given to determine whether or not to ship, the information processing device 10 executes the determination process shown in FIG. 11. Furthermore, the information processing device 10 executes the objection counting process shown in FIG. 12 and the determination counting process shown in FIG. 13 at a predetermined timing. Note that the determination process, objection counting process, and determination counting process are examples of the information processing method of the disclosed technology. Each of the determination process, objection counting process, and determination counting process will be described in detail below.

まず、図１１に示す判定処理について説明する。 First, we will explain the determination process shown in Figure 11.

ステップＳ１１で、取得部１２が、例えば図４に示すような撮影画面４０を、出荷可否の判定を指示した拠点端末３０に表示する。そして、取得部１２が、拠点の作業担当者により撮影画面４０を介して撮影及び入力された段ボール箱の外観画像及び商品の基本情報を取得する。 In step S11, the acquisition unit 12 displays, for example, a photographing screen 40 as shown in FIG. 4 on the base terminal 30 that has been instructed to determine whether or not to ship the product. The acquisition unit 12 then acquires an external image of the cardboard box and basic product information that have been photographed and entered via the photographing screen 40 by the worker at the base.

次に、ステップＳ１２で、取得部１２が、取得した基本情報に基づいて、外部情報ＤＢ２２等から、取得した外観画像に対応する外部情報を取得する。取得部１２は、取得した外観画像、基本情報、及び外部情報を判定部１４へ受け渡す。 Next, in step S12, the acquisition unit 12 acquires external information corresponding to the acquired appearance image from the external information DB 22 or the like based on the acquired basic information. The acquisition unit 12 passes the acquired appearance image, basic information, and external information to the determination unit 14.

次に、ステップＳ１３で、判定部１４が、領域抽出モデル２４２を用いて、判定対象の商品の外観画像から、段ボール箱の破損の有無を判定する領域を抽出する。そして、判定部１４は、例えば図７に示すような領域確認画面４２を拠点端末３０に表示し、領域の修正を受け付け、領域を確定する。 Next, in step S13, the determination unit 14 uses the area extraction model 242 to extract an area for determining whether or not the cardboard box is damaged from the external image of the product to be determined. Then, the determination unit 14 displays an area confirmation screen 42, such as that shown in FIG. 7, on the base terminal 30, accepts corrections to the area, and confirms the area.

次に、ステップＳ１４で、判定部１４が、判定対象の領域が確定された外観画像及び外部情報と、教師データテーブル２４６に記憶された教師データの各々との類似度を、類似データ抽出モデル２４４を用いて算出する。そして、判定部１４が、判定対象の商品についての外観画像及び外部情報との類似度が高い順に所定個の教師データを抽出する。 Next, in step S14, the determination unit 14 calculates the similarity between the appearance image and external information in which the area to be determined is determined, and each piece of teacher data stored in the teacher data table 246, using the similar data extraction model 244. Then, the determination unit 14 extracts a predetermined number of teacher data in descending order of similarity with the appearance image and external information of the product to be determined.

次に、ステップＳ１５で、判定部１４が、判定対象の商品の外部情報に応じて、判定基準を設定する。そして、判定部１４が、抽出した所定個の教師データに対応する判定結果の各々を教師データテーブル２４６から取得し、教師データに対応する判定結果の各々を集計したスコアが所定の判定基準以上か否かに基づいて、判定対象の商品の出荷可否を判定する。 Next, in step S15, the judgment unit 14 sets judgment criteria according to external information on the product to be judged. Then, the judgment unit 14 acquires each of the judgment results corresponding to the predetermined number of extracted teacher data from the teacher data table 246, and judges whether or not the product to be judged can be shipped based on whether or not the score obtained by tallying each of the judgment results corresponding to the teacher data is equal to or greater than the predetermined judgment criteria.

次に、ステップＳ１６で、判定部１４が、例えば図８に示すような判定結果画面４４を拠点端末３０に表示する。また、判定部１４が、判定対象の商品についての外観画像、基本情報、外部情報、及び判定結果を作成部１６へ受け渡す。そして、作成部１６が、判定対象の商品についての外観画像、基本情報、外部情報、及び判定結果を、例えば図９に示すような判定履歴ＤＢ２６に判定履歴として記憶する。 Next, in step S16, the judgment unit 14 displays a judgment result screen 44, for example as shown in FIG. 8, on the base terminal 30. The judgment unit 14 also passes the appearance image, basic information, external information, and judgment result of the product to be judged to the creation unit 16. The creation unit 16 then stores the appearance image, basic information, external information, and judgment result of the product to be judged as judgment history in the judgment history DB 26, for example as shown in FIG. 9.

次に、ステップＳ１７で、作成部１６が、判定対象の商品についての出荷可否の判定結果が出荷不可か否かを判定する。出荷不可の場合には処理はステップＳ１８へ移行し、出荷可能の場合には、処理はステップＳ１９へ移行する。 Next, in step S17, the creation unit 16 determines whether the judgment result of the shipping feasibility of the product being judged is whether or not the product cannot be shipped. If the product cannot be shipped, the process proceeds to step S18, and if the product can be shipped, the process proceeds to step S19.

ステップＳ１８では、作成部１６が、判定結果と共に受け渡された基本情報に含まれる商品の識別情報（例えば、商品コード、製造工場、及び製造ロット）に基づいて、流通過程をトレースしたトレース情報を作成し、出力する。 In step S18, the creation unit 16 creates and outputs tracing information that traces the distribution process based on the product identification information (e.g., product code, manufacturing plant, and manufacturing lot) contained in the basic information handed over together with the judgment result.

次に、ステップＳ１９で、作成部１６が、判定結果画面４４において異議ボタン４４６が選択されることにより拠点端末３０から送信される異議情報を受け付けたか否かを判定する。異議情報を受け付けた場合には、処理はステップＳ２０へ移行し、受け付けていない場合には、判定処理は終了する。 Next, in step S19, the creation unit 16 determines whether or not it has accepted the objection information sent from the base terminal 30 by selecting the objection button 446 on the judgment result screen 44. If it has accepted the objection information, the process proceeds to step S20, and if it has not accepted the objection information, the judgment process ends.

ステップＳ２０では、作成部１６が、上記ステップＳ１６で判定履歴ＤＢ２６に記憶した判定履歴に、異議情報があることを示す情報を追加して記憶し、判定処理は終了する。 In step S20, the creation unit 16 adds and stores information indicating that there is objection information to the judgment history stored in the judgment history DB 26 in step S16 above, and the judgment process ends.

次に、図１２に示す異議集計処理について説明する。 Next, we will explain the objection counting process shown in Figure 12.

ステップＳ２１で、作成部１６が、判定履歴ＤＢ２６に記憶された判定履歴のうち、異議情報がある判定履歴を集計し、異議の発生頻度が所定値以上の拠点及び商品の少なくとも一方を特定する。 In step S21, the creation unit 16 compiles the judgment histories that contain objection information from among the judgment histories stored in the judgment history DB 26, and identifies at least one of the locations and products for which the frequency of objections is equal to or greater than a predetermined value.

次に、ステップＳ２２で、作成部１６が、特定した商品及び拠点の情報、その商品及び拠点に関連する判定履歴等を含む異議発生状況レポートを作成し、出力する。 Next, in step S22, the creation unit 16 creates and outputs a report on the occurrence of objections, including information on the identified product and base, and the judgment history related to the product and base.

次に、ステップＳ２３で、作成部１６が、特定した、異議の発生頻度が所定値以上の拠点及び商品の少なくとも一方に関連する教師データに対応付けられた判定結果を、元の判定結果とは逆の判定結果に更新し、異議集計処理は終了する。 Next, in step S23, the creation unit 16 updates the judgment result associated with the identified teacher data related to at least one of the bases and products for which the frequency of objections is equal to or greater than a predetermined value to a judgment result opposite to the original judgment result, and the objection counting process ends.

次に、図１３に示す判定集計処理について説明する。 Next, we will explain the judgment aggregation process shown in Figure 13.

ステップＳ３１で、作成部１６が、判定履歴ＤＢ２６に記憶された判定履歴を判定結果に基づいて集計し、出荷可能又は出荷不可の頻度が所定値以上の商品及び拠点の少なくとも一方を特定する。 In step S31, the creation unit 16 compiles the judgment history stored in the judgment history DB 26 based on the judgment results, and identifies at least one of the products and bases for which the frequency of shipment possible or non-shipment is equal to or greater than a predetermined value.

次に、ステップＳ３２で、作成部１６が、特定した商品及び拠点の情報、その商品及び拠点に関連する判定履歴等を含む判定結果レポートを作成し、出力し、判定集計処理は終了する。 Next, in step S32, the creation unit 16 creates and outputs an assessment result report that includes information on the identified product and base, and the assessment history related to the product and base, and the assessment aggregation process ends.

以上説明したように、第１実施形態に係る情報処理システムによれば、情報処理装置が、出荷可否の判定対象の商品を梱包した段ボール箱の外観画像と、判定対象の商品情報及び流通情報の少なくとも一方を含む外部情報とを取得する。また、情報処理装置には、出荷可否を判定済みの商品についての外観画像及び外部情報からなる教師データと、段ボール箱の破損状態に応じた商品の出荷可否の判定結果との対応付けを機械学習したモデルが記憶されている。そして、情報処理装置は、モデルと、取得された判定対象の商品についての外観画像及び外部情報とに基づいて、判定対象の商品の出荷可否を判定する。これにより、段ボール箱で梱包された商品の出荷可否を、各種条件を考慮した共通認識の判定基準で判定することができる。 As described above, according to the information processing system of the first embodiment, the information processing device acquires an external image of a cardboard box in which a product to be judged for its shippability is packed, and external information including at least one of product information and distribution information of the product to be judged. The information processing device also stores a model that has been machine-learned to associate training data consisting of external images and external information about products whose shippability has already been judged, with the judgment result of whether the product can be shipped according to the damage state of the cardboard box. The information processing device then judges whether the product to be judged can be shipped, based on the model and the acquired external image and external information about the product to be judged. This makes it possible to judge whether a product packed in a cardboard box can be shipped based on commonly recognized judgment criteria that take into account various conditions.

なお、上記第１実施形態では、各拠点で取得される外部情報を用いて出荷可否を判定する場合について説明したが、これに限定されない。例えば、自拠点について取得される外部情報と、流通過程における自拠点よりも前段階の拠点の各々で取得された外部情報も用いて出荷可否を判定してもよい。この場合、各拠点における出荷可否を判定する際に、取得した基本情報に含まれる商品の識別情報をキーに判定履歴ＤＢ２６を検索し、前段階の各々における判定履歴に含まれる外部情報を取得し、自拠点の外部情報と合わせればよい。また、モデルの機械学習時も同様に、各教師データに、前段階の拠点の外部情報も持たせるようにすればよい。これにより、流通過程の状況をより反映した判定結果を得ることができる。 In the first embodiment, the case where the shipping possibility is determined using external information acquired at each base has been described, but the present invention is not limited to this. For example, the shipping possibility may be determined using external information acquired about the own base and external information acquired at each base at a stage earlier than the own base in the distribution process. In this case, when determining the shipping possibility at each base, the judgment history DB26 is searched using the product identification information included in the acquired basic information as a key, and the external information included in the judgment history at each previous stage is acquired and combined with the external information of the own base. Similarly, when machine learning a model, each training data may also have external information of the base at the previous stage. This makes it possible to obtain a judgment result that better reflects the situation in the distribution process.

また、上記第１実施形態では、出荷可否の判定時において、段ボール箱に破損が生じているか否かを判定する場合を想定しているが、これに限定されない。例えば、時系列に取得された教師データと判定結果との対応付けを機械学習したモデルを用いて予測される、所定時間後の、判定対象の商品を梱包した段ボール箱の破損状態に基づいて、判定対象の商品の出荷可否を判定してもよい。この場合、出荷時には破損が生じていなくても、例えば、輸送時、出荷先の倉庫での保管時、消費者による持ち帰り時等に破損が生じるおそれがあり、安全性に問題があるとして、出荷不可と判定することができる。 In addition, in the first embodiment described above, it is assumed that a determination is made as to whether or not the cardboard box is damaged when determining whether or not the product can be shipped, but this is not limiting. For example, the shippability of the product to be determined may be determined based on the state of damage to the cardboard box in which the product to be determined is packed after a predetermined time, which is predicted using a machine learning model that associates training data acquired in a time series with the determination results. In this case, even if there is no damage at the time of shipment, there is a risk that damage may occur during transportation, storage at the destination warehouse, or when the consumer takes the product home, and it can be determined that the product cannot be shipped due to a safety issue.

また、上記第１実施形態において、判定対象の商品を出荷不可と判定し、かつ判定対象の商品についての外観画像及び外部情報に基づいて得られる判定値が、安全性に関する特定の基準値を上回る場合、安全性に関するアラートを発信するようにしてもよい。判定値としては、例えば、判定対象の商品についての外観画像及び外部情報と、判定結果が出荷不可の教師データとの類似度等とすることができる。また、上記のように、所定時間後の破損状態を予測する場合、予測される破損状態に応じた判定値を算出するようにしてもよい。アラートは、判定結果と共に該当の拠点端末へ送信され、例えば、図１４の破線部に示すように、警告文等で表示することができる。 In addition, in the first embodiment, if the product being assessed is assessed as unshippable and the assessment value obtained based on the appearance image and external information about the product being assessed exceeds a specific safety standard value, a safety alert may be sent. The assessment value may be, for example, the similarity between the appearance image and external information about the product being assessed and the training data whose assessment result is unshippable. In addition, as described above, when predicting the state of damage after a predetermined time, a assessment value according to the predicted state of damage may be calculated. The alert is sent to the relevant base terminal together with the assessment result, and may be displayed, for example, as a warning message, as shown in the dashed line portion of FIG. 14.

また、上記第１実施形態では、段ボール箱の判定対象箇所を撮影した外観画像を用いる場合について説明したが、撮影範囲は、これに限定されない。例えば、図１５に示すように、トラックに積載された段ボール箱を一括で撮影した外観画像を用いて、例えばパレット単位で出荷可否の判定を行うようにしてもよい。これにより、出荷可否判定のための撮影や基本情報の入力等の作業負荷を軽減することができる。 In the above first embodiment, an external image of the part of the cardboard box to be judged is used, but the range of the image is not limited to this. For example, as shown in FIG. 15, an external image of cardboard boxes loaded on a truck may be taken all at once to judge whether the boxes can be shipped, for example, on a pallet-by-pallet basis. This reduces the workload of taking pictures to judge whether the boxes can be shipped and inputting basic information.

また、上記のような場合において、判定対象の商品の外観画像から認識される段ボール箱の背面に存在する段ボール箱で梱包された商品の出荷可否を判定するようにしてもよい。この場合、教師データと、背面に存在する段ボール箱の破損状態に基づく判定結果とを対応付けて機械学習したモデルを用いて、背面に存在する段ボール箱で梱包された商品の出荷可否を判定すればよい。 In the above case, the shippability of the product packed in the cardboard box on the back side of the cardboard box recognized from the external image of the product to be judged may be determined. In this case, the shippability of the product packed in the cardboard box on the back side may be determined using a machine-learned model that associates the training data with the judgment result based on the damage state of the cardboard box on the back side.

＜第２実施形態＞
次に、第２実施形態について説明する。なお、第２実施形態に係る情報処理システムにおいて、第１実施形態に係る情報処理システム１００と同様の構成については、同一符号を付して詳細な説明を省略する。 Second Embodiment
Next, a second embodiment will be described. In the information processing system according to the second embodiment, the same components as those in the information processing system 100 according to the first embodiment will be denoted by the same reference numerals and detailed description thereof will be omitted.

図２に示すように、第２実施形態に係る情報処理システム２００は、情報処理装置２１０と、拠点端末３０Ａ、３０Ｂ、３０Ｃとを含む。 As shown in FIG. 2, the information processing system 200 according to the second embodiment includes an information processing device 210 and base terminals 30A, 30B, and 30C.

情報処理装置２１０は、機能的には、図１６に示すように、第１実施形態に係る情報処理装置１０の機能構成に加え、テスト処理部２１８を含む。第２実施形態に係る情報処理装置２１０では、運用モードとテストモードとが選択可能である。運用モードが選択された場合には、第１実施形態に係る情報処理装置１０と同様に、取得部１２、判定部１４、及び作成部１６が機能して、判定対象の商品についての出荷可否が判定される。テストモードが選択された場合には、テスト処理部２１８が機能して、テスト対象者に対するテストが実施される。 Functionally, as shown in FIG. 16, the information processing device 210 includes a test processing unit 218 in addition to the functional configuration of the information processing device 10 according to the first embodiment. In the information processing device 210 according to the second embodiment, an operation mode and a test mode can be selected. When the operation mode is selected, the acquisition unit 12, the determination unit 14, and the creation unit 16 function to determine whether or not the product to be determined can be shipped, as in the information processing device 10 according to the first embodiment. When the test mode is selected, the test processing unit 218 functions to conduct a test on the test subject.

テスト処理部２１８は、段ボール箱の外観画像について、テスト用の外観画像を提示し、テスト対象者から、テスト用の外観画像に対する出荷可否の判定を受け付け、テスト対象者による判定の正否を提示する。 The test processing unit 218 presents a test appearance image of the cardboard box, receives a judgment from the test subject as to whether the test appearance image is suitable for shipment, and presents the correctness or incorrectness of the judgment made by the test subject.

具体的には、テスト処理部２１８は、判定用ＤＢ２４の教師データテーブル２４６に記憶された教師データから１つの教師データを選択する。選択の方法は、ランダムでもよいし、予め教師データに破損の種類を示す情報を対応付けておき、指定した破損の種類の教師データを選択するようにしてもよい。テスト処理部２１８は、テスト対象者が利用する拠点端末３０に、例えば図１７に示すような問題画面４６を表示する。図１７の例では、問題画面４６には、選択された教師データに含まれる外観画像４６２、外観画像４６６に設定されている判定領域を示す枠４６４、及び選択された教師データに含まれる外部情報が表示される。また、問題画面４６には、テスト対象者が解答を選択するための解答ボタン４６８が含まれる。テスト対象者が、出荷可能又は出荷不可に対応する解答ボタン４６８を選択することにより、拠点端末３０から情報処理装置２１０へ、テスト対象者による解答が送信される。 Specifically, the test processing unit 218 selects one piece of teacher data from the teacher data stored in the teacher data table 246 of the judgment DB 24. The selection method may be random, or information indicating the type of damage may be associated with the teacher data in advance, and teacher data of the specified type of damage may be selected. The test processing unit 218 displays a question screen 46, for example, as shown in FIG. 17, on the base terminal 30 used by the test subject. In the example of FIG. 17, the question screen 46 displays an appearance image 462 included in the selected teacher data, a frame 464 indicating a judgment area set in the appearance image 466, and external information included in the selected teacher data. The question screen 46 also includes an answer button 468 for the test subject to select an answer. When the test subject selects the answer button 468 corresponding to "shippable" or "unshippable," the answer by the test subject is transmitted from the base terminal 30 to the information processing device 210.

テスト処理部２１８は、拠点端末３０から解答を取得すると、教師データテーブル２４６から、選択した教師データに対応付けて記憶されている判定結果を取得する。そして、テスト処理部２１８は、例えば図１８に示すような解答画面４８を拠点端末３０に表示する。図１８の例では、解答画面４８には、問題画面４６で表示された外観画像４６２及び枠４６４と、答え合わせの情報４８２とが表示される。答え合わせの情報４８２は、テスト対象者により選択された解答が含まれると共に、教師データに対応する判定結果が正解として含まれる。 When the test processing unit 218 obtains the answer from the base terminal 30, it obtains the judgment result stored in association with the selected teacher data from the teacher data table 246. The test processing unit 218 then displays an answer screen 48, for example as shown in FIG. 18, on the base terminal 30. In the example of FIG. 18, the answer screen 48 displays the exterior image 462 and frame 464 displayed on the question screen 46, and answer checking information 482. The answer checking information 482 includes the answer selected by the test subject, and also includes the judgment result corresponding to the teacher data as the correct answer.

また、解答画面４８には、次の問題を表示するための次ボタン４８４と、テスト結果を表示するための結果表示ボタン４８６とが含まれる。テスト処理部２１８は、予め設定された数の問題のうち、未実施の問題が存在する場合には、次ボタン４８４をアクティブに、結果表示ボタン４８６を非アクティブに表示する。また、テスト処理部２１８は、予め設定された数の問題の実施が全て終了した場合には、次ボタン４８４を非アクティブに、結果表示ボタン４８６をアクティブに表示する。 The answer screen 48 also includes a next button 484 for displaying the next question, and a display result button 486 for displaying the test results. If there are any questions that have not been performed among the preset number of questions, the test processing unit 218 displays the next button 484 as active and the display result button 486 as inactive. Furthermore, if the performance of all the preset number of questions has been completed, the test processing unit 218 displays the next button 484 as inactive and the display result button 486 as active.

テスト対象者により、次ボタン４８４が選択されると、テスト処理部２１８は、次の問題のための教師データを選択し、再度、問題画面４６を表示する。テスト対象者により、結果表示ボタン４８６が選択されると、テスト処理部２１８は、テスト結果を拠点端末３０に表示する。テスト結果には、各問題に対するテスト対象者の解答及び正解、正解率、正解率に基づく合否判定結果等を含めることができる。また、テスト結果には、再度テストを受けるように促すメッセージや、上司への報告を促すメッセージ等を含めてもよい。 When the test subject selects the Next button 484, the test processing unit 218 selects the teacher data for the next question and displays the question screen 46 again. When the test subject selects the Display Results button 486, the test processing unit 218 displays the test results on the base terminal 30. The test results may include the test subject's answers to each question, correct answers, accuracy rate, pass/fail judgment results based on the accuracy rate, etc. The test results may also include messages encouraging the test subject to take the test again, or messages encouraging the test subject to report to a superior, etc.

情報処理装置２１０は、例えば図１０に示すコンピュータ５０で実現することができる。コンピュータ５０の記憶部５３には、コンピュータ５０を、情報処理装置２１０として機能させるための情報処理プログラム２６０が記憶される。情報処理プログラム２６０は、取得プロセス６２と、判定プロセス６４と、作成プロセス６６と、テスト処理プロセス２６８とを有する。また、記憶部５３は、外部情報ＤＢ２２、判定用ＤＢ２４、及び判定履歴ＤＢ２６の各々を構成する情報が記憶される情報記憶領域７０を有する。 The information processing device 210 can be realized, for example, by a computer 50 shown in FIG. 10. An information processing program 260 for causing the computer 50 to function as the information processing device 210 is stored in the storage unit 53 of the computer 50. The information processing program 260 has an acquisition process 62, a judgment process 64, a creation process 66, and a test processing process 268. The storage unit 53 also has an information storage area 70 in which information constituting each of the external information DB 22, the judgment DB 24, and the judgment history DB 26 is stored.

ＣＰＵ５１は、情報処理プログラム２６０を記憶部５３から読み出してメモリ５２に展開し、情報処理プログラム２６０が有するプロセスを順次実行する。ＣＰＵ５１は、テスト処理プロセス２６８を実行することで、図１６に示すテスト処理部２１８として動作する。他のプロセスについては、第１実施形態に係る情報処理プログラム６０と同様である。これにより、情報処理プログラム２６０を実行したコンピュータ５０が、情報処理装置２１０として機能することになる。 The CPU 51 reads the information processing program 260 from the storage unit 53, expands it in the memory 52, and sequentially executes the processes contained in the information processing program 260. The CPU 51 operates as the test processing unit 218 shown in FIG. 16 by executing the test processing process 268. The other processes are similar to those of the information processing program 60 according to the first embodiment. As a result, the computer 50 that has executed the information processing program 260 functions as the information processing device 210.

なお、情報処理プログラム２６０により実現される機能は、例えば半導体集積回路、より詳しくはＡＳＩＣ等で実現することも可能である。 The functions realized by the information processing program 260 can also be realized, for example, by a semiconductor integrated circuit, more specifically, an ASIC, etc.

次に、第２実施形態に係る情報処理システム１００の作用について説明する。拠点端末３０において、情報処理システム１００により提供されるアプリケーションが起動され、テストモードが選択されると、情報処理装置２１０において、図１９に示すテストモード処理が実行される。 Next, the operation of the information processing system 100 according to the second embodiment will be described. When an application provided by the information processing system 100 is started in the base terminal 30 and the test mode is selected, the test mode process shown in FIG. 19 is executed in the information processing device 210.

ステップＳ２１１で、テスト処理部２１８が、判定用ＤＢ２４の教師データテーブル２４６に記憶された教師データから１つの教師データを選択する。そして、テスト処理部２１８が、テスト対象者が利用する拠点端末３０に、例えば図１７に示すような問題画面４６を表示する。 In step S211, the test processing unit 218 selects one piece of teacher data from the teacher data stored in the teacher data table 246 of the judgment DB 24. Then, the test processing unit 218 displays a question screen 46, for example, as shown in FIG. 17, on the base terminal 30 used by the test subject.

次に、ステップＳ２１２で、問題画面４６において、テスト対象者が出荷可能又は出荷不可に対応する解答ボタン４６８を選択することにより、拠点端末３０から情報処理装置２１０へ送信されたテスト対象者による解答を、テスト処理部２１８が取得する。 Next, in step S212, the test subject selects the answer button 468 corresponding to "shippable" or "unshippable" on the question screen 46, and the test processing unit 218 acquires the answer by the test subject that was sent from the base terminal 30 to the information processing device 210.

次に、ステップＳ２１３で、テスト処理部２１８が、教師データテーブル２４６から、選択した教師データに対応付けて記憶されている判定結果を取得する。そして、テスト処理部２１８が、例えば図１８に示すような解答画面４８を拠点端末３０に表示する。 Next, in step S213, the test processing unit 218 retrieves the judgment results stored in association with the selected teacher data from the teacher data table 246. The test processing unit 218 then displays an answer screen 48, such as that shown in FIG. 18, on the base terminal 30.

次に、ステップＳ２１４で、テスト処理部２１８が、予め設定された数の問題の実施が全問終了したか否かを判定する。全問終了した場合には、テスト処理部２１８が、解答画面４８において、次ボタン４８４を非アクティブに、結果表示ボタン４８６をアクティブに表示し、結果表示ボタン４８６が選択されると、処理はステップＳ２１５へ移行する。一方、未実施の問題が存在する場合には、テスト処理部２１８が、解答画面４８において、次ボタン４８４をアクティブに、結果表示ボタン４８６を非アクティブに表示し、次ボタン４８４が選択されると、処理はステップＳ２１１へ戻る。 Next, in step S214, the test processing unit 218 determines whether or not all of the preset number of questions have been administered. If all questions have been administered, the test processing unit 218 displays the Next button 484 inactive and the Display Results button 486 active on the answer screen 48, and when the Display Results button 486 is selected, the process proceeds to step S215. On the other hand, if there are questions that have not yet been administered, the test processing unit 218 displays the Next button 484 active and the Display Results button 486 inactive on the answer screen 48, and when the Next button 484 is selected, the process returns to step S211.

ステップＳ２１５では、テスト処理部２１８が、各問題に対するテスト対象者の解答及び正解、正解率、正解率に基づく合否判定結果、各種メッセージ等を含むテスト結果を拠点端末３０に表示し、テストモード処理は終了する。 In step S215, the test processing unit 218 displays the test results on the base terminal 30, including the test subject's answers to each question, the correct answers, the accuracy rate, the pass/fail judgment result based on the accuracy rate, various messages, etc., and the test mode processing ends.

以上説明したように、第２実施形態に係る情報処理システムによれば、情報処理装置が、段ボール箱の外観画像について、テスト用の外観画像を提示し、テスト対象者から、テスト用の外観画像に対する出荷可否の判定を受け付ける。そして、情報処理装置は、テスト対象者による判定の正否を提示する。これにより、作業対象者に対して、判定基準の共通認識を持たせることができる。 As described above, according to the information processing system of the second embodiment, the information processing device presents a test appearance image of a cardboard box and receives a judgment on the suitability of the test appearance image from the test subject. The information processing device then presents the test subject's judgment as to whether the test image is acceptable for shipment. This allows the workers to have a common understanding of the judgment criteria.

テストモードは、例えば、作業担当者による出荷可否の判定が困難な場合に、情報処理システムによる判定を利用するような運用の場合において、アプリケーションによらずに作業担当者が判定する場合の判定基準の共通認識に対する教育ツールとして有用である。特に、作業担当者の経験が少ない場合、文化的背景や使用言語の違いが存在したとしても、共通の判定基準を認識させることができる。 The test mode is useful as an educational tool for achieving a common understanding of the judgment criteria when workers make judgments independently of applications, for example in cases where it is difficult for workers to judge whether or not a product can be shipped, and the judgment is made by an information processing system. In particular, when workers have little experience, it is possible to help them understand the common judgment criteria, even if there are differences in cultural background or language used.

また、テストモードを消費者向けにインターネット等で公開し、統一した判定基準を示すことで、安全性の担保した適切な判定基準を啓蒙することができる。これにより、商品の不要な廃棄の削減を図ることができる。 In addition, by making the test mode available to consumers on the Internet and showing them standardized evaluation criteria, it is possible to raise awareness of appropriate evaluation criteria that ensure safety. This will help reduce unnecessary product waste.

なお、上記第２実施形態では、教師データを問題に利用する場合について説明したが、これに限定されない。例えば、テスト問題用の段ボール箱の外観画像及び外部情報を外部から取得して問題として提示してもよい。この場合、第１実施形態と同様に、モデルを用いて、取得した外観画像及び外部情報に対する出荷可否の判定を行い、その判定結果を問題に対する正解とすればよい。 In the above second embodiment, a case where training data is used for questions is described, but the present invention is not limited to this. For example, an external image and external information of a cardboard box for a test question may be acquired from outside and presented as a question. In this case, similar to the first embodiment, a model is used to determine whether the acquired external image and external information are eligible for shipping, and the result of this determination is regarded as the correct answer to the question.

また、上記各実施形態では、情報処理プログラムが記憶部に予め記憶（インストール）されている態様を説明したが、これに限定されない。開示の技術に係るプログラムは、ＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭ、ＵＳＢメモリ等の記憶媒体に記憶された形態で提供することも可能である。 In addition, in each of the above embodiments, the information processing program is described as being pre-stored (installed) in the storage unit, but this is not limiting. The program according to the disclosed technology can also be provided in a form stored in a storage medium such as a CD-ROM, DVD-ROM, or USB memory.

以上の各実施形態に関し、さらに以下の付記を開示する。 The following notes are further provided with respect to each of the above embodiments.

（付記１）
出荷可否の判定対象の商品を梱包した段ボール箱の外観画像と、前記判定対象の商品に関する情報及び前記判定対象の商品の流通に関する情報の少なくとも一方を含む外部情報とを取得し、
出荷可否を判定済みの商品についての前記外観画像及び前記外部情報と、段ボール箱の破損状態に応じた商品の出荷可否の判定結果との対応付けを機械学習したモデルと、取得された前記判定対象の商品についての前記外観画像及び前記外部情報とに基づいて、前記判定対象の商品の出荷可否を判定する
ことを含む処理をコンピュータに実行させるための情報処理プログラム。 (Appendix 1)
Acquire an external image of a cardboard box in which a product to be judged as to whether it can be shipped is packed, and external information including at least one of information on the product to be judged and information on distribution of the product to be judged;
An information processing program for causing a computer to execute a process including determining whether or not a product is shippable based on a machine-learned model that associates the appearance image and the external information of a product whose shippable status has already been determined with a determination result of whether or not the product is shippable based on the damage state of the cardboard box, and based on the appearance image and the external information obtained for the product to be determined.

（付記２）
前記商品に関する情報は、前記商品の販売形態の情報を含み、
前記流通に関する情報は、流通過程を特定する情報、倉庫における保管条件の情報、輸送条件に関する情報、及び流通時の環境情報の少なくとも１つを含む
付記１に記載の情報処理プログラム。 (Appendix 2)
The information about the product includes information about the sales format of the product,
The information processing program according to claim 1, wherein the information relating to distribution includes at least one of information specifying the distribution process, information on storage conditions in a warehouse, information on transportation conditions, and environmental information during distribution.

（付記３）
流通過程に複数の拠点が含まれる場合、前記流通過程の所定の拠点、及び前記所定の拠点の前段階の拠点の各々における前記外観画像及び前記外部情報に基づいて、前記所定の拠点における前記判定対象の商品の出荷可否を判定する付記１又は付記２に記載の情報処理プログラム。 (Appendix 3)
An information processing program as described in Appendix 1 or Appendix 2, which, when a distribution process includes multiple locations, determines whether or not the product to be judged can be shipped at a specified location based on the appearance image and the external information at each of a specified location in the distribution process and a location preceding the specified location.

（付記４）
前記判定対象の商品の前記外観画像との類似度が高い順に上位所定個の前記出荷可否を判定済みの商品の前記外観画像を提示すると共に、提示した前記外観画像に対応する前記判定結果の各々を集計したスコアが所定の基準以上か否かに基づいて、前記判定対象の商品の出荷可否を判定する付記１～付記３のいずれか１項に記載の情報処理プログラム。 (Appendix 4)
An information processing program as described in any one of Supplementary Note 1 to Supplementary Note 3, which presents a top predetermined number of appearance images of products whose shippability has been determined in order of the degree of similarity with the appearance image of the product to be judged, and determines whether the product to be judged can be shipped or not based on whether the score obtained by aggregating each of the judgment results corresponding to the presented appearance images is equal to or above a predetermined standard.

（付記５）
前記判定対象の商品の前記外部情報に応じて、前記所定の基準を設定する付記４に記載の情報処理プログラム。 (Appendix 5)
The information processing program according to claim 4, which sets the predetermined criteria according to the external information of the product to be evaluated.

（付記６）
前記判定対象の商品が梱包された段ボール箱のまま販売される場合より、前記商品がバラ売りされる場合の方が、前記所定の基準を緩和するように設定する付記５に記載の情報処理プログラム。 (Appendix 6)
An information processing program as described in Appendix 5, which sets the specified criteria to be more relaxed when the product being evaluated is sold loose than when the product is sold in the cardboard box in which it is packed.

（付記７）
前記出荷可否を判定済みの商品の前記外観画像に、前記出荷可否を判定済みの商品の中身の状態を示す情報を対応付けて記憶しておき、前記上位所定個の前記出荷可否を判定済みの商品の前記外観画像を提示する際に、対応する前記中身の状態を示す情報を提示する付記４～付記６のいずれか１項に記載の情報処理プログラム。 (Appendix 7)
An information processing program as described in any one of Appendix 4 to Appendix 6, which stores information indicating the state of the contents of the products whose shipping eligibility has been determined in association with the appearance images of the products whose shipping eligibility has been determined, and when presenting the appearance images of the top predetermined number of products whose shipping eligibility has been determined, presents the corresponding information indicating the state of the contents.

（付記８）
前記モデルは、前記出荷可否を判定済みの商品を梱包した段ボール箱の破損状態の種類毎に機械学習された複数のモデルを含むか、又は、複数種類の前記破損状態を示す前記外観画像を用いて機械学習された１つのモデルである付記１～付記７のいずれか１項記載の情報処理プログラム。 (Appendix 8)
The information processing program according to any one of appendices 1 to 7, wherein the model includes a plurality of models trained by machine learning for each type of damage state of the cardboard box in which the product for which the shipment suitability has been determined is packed, or a single model trained by machine learning using the appearance images showing a plurality of types of the damage state.

（付記９）
前記判定対象の商品の出荷可否についての判定結果に対する異議を受け付け、異議の発生頻度が所定値以上の拠点及び商品の少なくとも一方を特定する付記１～付記８のいずれか１項に記載の情報処理プログラム。 (Appendix 9)
An information processing program described in any one of appendices 1 to 8, which accepts objections to a judgment result regarding whether the product to be judged can be shipped or not, and identifies at least one of a location and a product where the frequency of objections is greater than or equal to a predetermined value.

（付記１０）
特定した前記異議の発生頻度が所定値以上の拠点及び商品の少なくとも一方に関連する、前記出荷可否を判定済みの商品についての前記外観画像及び前記外部情報に対応付けられた判定結果を更新する付記９に記載の情報処理プログラム。 (Appendix 10)
An information processing program as described in Appendix 9, which updates the judgment results associated with the appearance image and the external information for a product whose suitability for shipping has been determined and which is associated with at least one of the identified location and product where the frequency of occurrence of objections is greater than a predetermined value.

（付記１１）
時系列に取得された前記出荷可否を判定済みの商品についての前記外観画像及び前記外部情報と、前記出荷可否の判定結果との対応付けを機械学習したモデルを用いて予測される、所定時間後の前記判定対象の商品を梱包した段ボール箱の破損状態に基づいて、前記判定対象の商品の出荷可否を判定する付記１～付記１０のいずれか１項に記載の情報処理プログラム。 (Appendix 11)
An information processing program as described in any one of Appendix 1 to Appendix 10, which determines whether or not a product to be judged can be shipped based on the state of damage to a cardboard box in which the product to be judged is packed after a predetermined time, which is predicted using a machine learning model that associates the appearance images and external information of the product whose shipping eligibility has been determined, which are acquired in chronological order, with the judgment result of whether or not the product can be shipped.

（付記１２）
流通過程の各拠点において判定された前記判定対象の商品の出荷可否の判定結果を前記判定対象の商品についての前記外部情報と対応付けて記憶し、出荷可能又は出荷不可と判定される頻度が所定値以上の商品及び前記拠点の少なくとも一方を特定する付記１～付記１１のいずれか１項に記載の情報処理プログラム。 (Appendix 12)
An information processing program as described in any one of appendices 1 to 11, which stores the results of a judgment as to whether the product to be judged can be shipped, made at each location in the distribution process, in correspondence with the external information about the product to be judged, and identifies at least one of the products and the locations that are judged as shippable or unshippable with a frequency equal to or greater than a predetermined value.

（付記１３）
前記判定対象の商品を出荷不可と判定し、かつ前記判定対象の商品についての前記外観画像及び前記外部情報に基づいて得られる判定値が、安全性に関する特定の基準値を上回る場合、安全性に関するアラートを発信する付記１～付記１２のいずれか１項に記載の情報処理プログラム。 (Appendix 13)
The information processing program according to any one of claims 1 to 12, which judges the product to be judged as unshippable and issues a safety alert if a judgment value obtained based on the appearance image and the external information about the product to be judged exceeds a specific safety standard value.

（付記１４）
段ボール箱の外観画像について、テスト用の外観画像を提示し、
テスト対象者から、前記テスト用の外観画像に対する出荷可否の判定を受け付け、
前記テスト対象者による判定の正否を提示する
付記１～付記１３のいずれか１項に記載の情報処理プログラム。 (Appendix 14)
A test image of the appearance of a cardboard box was presented.
accepting a decision on whether or not the test product can be shipped based on the appearance image for the test from the test subject;
The information processing program according to any one of claims 1 to 13, further comprising: presenting whether the test subject's judgment is correct or not.

（付記１５）
前記判定対象の商品についての前記外観画像の取得時に、前記判定対象の商品の識別情報を取得し、
出荷できないとの判定がなされた商品の流通過程を、流通過程の各拠点において取得された前記識別情報に基づいてトレースする
付記１～付記１４のいずれか１項に記載の情報処理プログラム。 (Appendix 15)
When acquiring the appearance image of the product to be evaluated, acquiring identification information of the product to be evaluated;
The information processing program according to any one of claims 1 to 14, wherein the distribution process of a product determined to be unshippable is traced based on the identification information acquired at each location in the distribution process.

（付記１６）
前記判定対象の商品についての前記外観画像から検出される破損個所の数値情報をさらに用いて、前記判定対象の商品の出荷可否を判定する付記１～付記１５のいずれか１項に記載の情報処理プログラム。 (Appendix 16)
An information processing program described in any one of appendices 1 to 15, which further uses numerical information of damaged areas detected from the appearance image of the product to be evaluated to determine whether the product to be evaluated can be shipped.

（付記１７）
前記出荷可否を判定済みの商品についての前記外観画像から認識される段ボール箱の背面に存在する段ボール箱の破損状態をさらに前記判定結果と対応付けて機械学習したモデルを用いて、前記判定対象の商品の前記外観画像から認識される段ボール箱の背面に存在する段ボール箱で梱包された商品の出荷可否を判定する付記１～付記１６のいずれか１項に記載の情報処理プログラム。 (Appendix 17)
An information processing program as described in any one of Appendix 1 to Appendix 16, which determines whether a product packaged in a cardboard box that is recognized from the appearance image of the product to be determined can be shipped or not, using a machine-learned model that further associates a damage state of a cardboard box that is recognized from the appearance image of the product to be determined with the determination result.

（付記１８）
前記判定対象の商品についての前記外観画像を、流通過程の各拠点への入庫時及び出庫時の各々について取得し、前記判定対象の商品を出荷できないと判定された拠点について、前記入庫時の前記外観画像と、前記出庫時の前記外観画像とを比較して、前記拠点で前記段ボール箱に破損が生じたか否かを判定する付記１～付記１７のいずれか１項に記載の情報処理プログラム。 (Appendix 18)
An information processing program described in any one of Appendix 1 to Appendix 17, which obtains the appearance image of the product to be judged at each time of entry and exit from each location in the distribution process, and for a location where it has been determined that the product to be judged cannot be shipped, compares the appearance image at the time of entry with the appearance image at the time of exit to determine whether or not damage has occurred to the cardboard box at the location.

（付記１９）
出荷可否の判定対象の商品を梱包した段ボール箱の外観画像と、前記判定対象の商品に関する情報及び前記判定対象の商品の流通に関する情報の少なくとも一方を含む外部情報とを取得する取得部と、
出荷可否を判定済みの商品についての前記外観画像及び前記外部情報と、段ボール箱の破損状態に応じた商品の出荷可否の判定結果との対応付けを機械学習したモデルと、取得された前記判定対象の商品についての前記外観画像及び前記外部情報とに基づいて、前記判定対象の商品の出荷可否を判定する判定部と、
を含む情報処理装置。 (Appendix 19)
an acquisition unit that acquires an external image of a cardboard box in which a product to be judged as to whether it can be shipped is packed, and external information including at least one of information on the product to be judged and information on distribution of the product to be judged;
a determination unit that determines whether the product is shippable or not based on a machine learning model that associates the appearance image and the external information of a product whose shippable or not has been determined with a determination result of the shippable or not of the product according to a damage state of the cardboard box, and the appearance image and the external information obtained about the product to be determined;
An information processing device comprising:

（付記２０）
出荷可否の判定対象の商品を梱包した段ボール箱の外観画像と、前記判定対象の商品に関する情報及び前記判定対象の商品の流通に関する情報の少なくとも一方を含む外部情報とを取得し、
出荷可否を判定済みの商品についての前記外観画像及び前記外部情報と、段ボール箱の破損状態に応じた商品の出荷可否の判定結果との対応付けを機械学習したモデルと、取得された前記判定対象の商品についての前記外観画像及び前記外部情報とに基づいて、前記判定対象の商品の出荷可否を判定する
ことを含む処理をコンピュータが実行する情報処理方法。 (Appendix 20)
Acquire an external image of a cardboard box in which a product to be judged as to whether it can be shipped is packed, and external information including at least one of information on the product to be judged and information on distribution of the product to be judged;
An information processing method in which a computer executes a process including determining whether a product is shippable or not based on a machine-learned model that associates the appearance image and the external information of a product whose shippable or not has already been determined with a determination result of the shippable or not of the product based on the damage state of the cardboard box, and based on the acquired appearance image and the external information of the product to be determined.

１００、２００ 情報処理システム
１０、２１０ 情報処理装置
１２ 取得部
１４ 判定部
１６ 作成部
２１８ テスト処理部
２２ 外部情報ＤＢ
２２２ 商品情報テーブル
２２４ 拠点情報テーブル
２２６ 輸送情報テーブル
２４ 判定用ＤＢ
２４２ 領域抽出モデル
２４４ 類似データ抽出モデル
２４６ 教師データテーブル
２６ 判定履歴ＤＢ
３０ 拠点端末
４０ 撮影画面
４２ 領域確認画面
４４ 判定結果画面
４６ 問題画面
４８ 解答画面
５０ コンピュータ
５１ ＣＰＵ
５２ メモリ
５３ 記憶部
５９ 記憶媒体
６０、２６０ 情報処理プログラム 100, 200 Information processing system 10, 210 Information processing device 12 Acquisition unit 14 Determination unit 16 Creation unit 218 Test processing unit 22 External information DB
222 Product information table 224 Base information table 226 Transportation information table 24 Determination DB
242 Area extraction model 244 Similar data extraction model 246 Teacher data table 26 Judgment history DB
30 Base terminal 40 Photography screen 42 Area confirmation screen 44 Judgment result screen 46 Question screen 48 Answer screen 50 Computer 51 CPU
52 Memory 53 Storage unit 59 Storage medium 60, 260 Information processing program

Claims (15)

出荷可否の判定対象の商品を梱包した段ボール箱の外観画像と、前記判定対象の商品に関する情報及び前記判定対象の商品の流通に関する情報の少なくとも一方を含む外部情報とを取得し、
出荷可否を判定済みの商品についての前記外観画像及び前記外部情報と、段ボール箱の破損状態に応じた商品の出荷可否の判定結果との対応付けを機械学習したモデルと、取得された前記判定対象の商品についての前記外観画像及び前記外部情報とに基づいて、前記判定対象の商品の出荷可否を判定する
ことを含む処理をコンピュータに実行させるための情報処理プログラム。 Acquire an external image of a cardboard box in which a product to be judged as to whether it can be shipped is packed, and external information including at least one of information on the product to be judged and information on distribution of the product to be judged;
An information processing program for causing a computer to execute a process including determining whether or not a product is shippable based on a machine-learned model that associates the appearance image and the external information of a product whose shippable status has already been determined with a determination result of whether or not the product is shippable based on the damage state of the cardboard box, and based on the appearance image and the external information obtained for the product to be determined. 前記商品に関する情報は、前記商品の販売形態の情報を含み、
前記流通に関する情報は、流通過程を特定する情報、倉庫における保管条件の情報、輸送条件に関する情報、及び流通時の環境情報の少なくとも１つを含む
請求項１に記載の情報処理プログラム。 The information about the product includes information about the sales format of the product,
The information processing program according to claim 1 , wherein the information relating to distribution includes at least one of information specifying a distribution process, information on storage conditions in a warehouse, information on transportation conditions, and environmental information during distribution. 流通過程に複数の拠点が含まれる場合、前記流通過程の所定の拠点、及び前記所定の拠点の前段階の拠点の各々における前記外観画像及び前記外部情報に基づいて、前記所定の拠点における前記判定対象の商品の出荷可否を判定する請求項１又は請求項２に記載の情報処理プログラム。 The information processing program according to claim 1 or 2, which, when a distribution process includes multiple bases, determines whether the product to be determined can be shipped at a specific base based on the appearance image and the external information at each of a specific base in the distribution process and a base preceding the specific base. 前記判定対象の商品の前記外観画像との類似度が高い順に上位所定個の前記出荷可否を判定済みの商品の前記外観画像を提示すると共に、提示した前記外観画像に対応する前記判定結果の各々を集計したスコアが所定の基準以上か否かに基づいて、前記判定対象の商品の出荷可否を判定する請求項１～請求項３のいずれか１項に記載の情報処理プログラム。 The information processing program according to any one of claims 1 to 3 presents a top predetermined number of exterior images of products for which the shippability has been determined in order of the degree of similarity with the exterior image of the product to be determined, and determines whether the product to be determined can be shipped based on whether a score obtained by tallying up each of the determination results corresponding to the presented exterior images is equal to or exceeds a predetermined standard. 前記判定対象の商品の前記外部情報に応じて、前記所定の基準を設定する請求項４に記載の情報処理プログラム。 The information processing program according to claim 4, wherein the predetermined criteria are set according to the external information of the product to be evaluated. 前記判定対象の商品が梱包された段ボール箱のまま販売される場合より、前記商品がバラ売りされる場合の方が、前記所定の基準を緩和するように設定する請求項５に記載の情報処理プログラム。 The information processing program according to claim 5, wherein the predetermined criteria are set to be more lenient when the product to be evaluated is sold loose than when the product is sold in the cardboard box in which it is packed. 前記モデルは、前記出荷可否を判定済みの商品を梱包した段ボール箱の破損状態の種類毎に機械学習された複数のモデルを含むか、又は、複数種類の前記破損状態を示す前記外観画像を用いて機械学習された１つのモデルである請求項１～請求項６のいずれか１項記載の情報処理プログラム。 The information processing program according to any one of claims 1 to 6, wherein the model includes a plurality of models trained by machine learning for each type of damage state of the cardboard box in which the product for which the shipping admissibility has been determined is packed, or a single model trained by machine learning using the exterior images showing a plurality of types of the damage state. 前記判定対象の商品の出荷可否についての判定結果に対する異議を受け付け、異議の発生頻度が所定値以上の拠点及び商品の少なくとも一方を特定する請求項１～請求項７のいずれか１項に記載の情報処理プログラム。 The information processing program according to any one of claims 1 to 7, which accepts objections to a judgment result regarding the suitability of shipment of the product to be judged, and identifies at least one of a base and a product for which the frequency of objections is equal to or greater than a predetermined value. 特定した前記異議の発生頻度が所定値以上の拠点及び商品の少なくとも一方に関連する、前記出荷可否を判定済みの商品についての前記外観画像及び前記外部情報に対応付けられた判定結果を更新する請求項８に記載の情報処理プログラム。 The information processing program according to claim 8, which updates the appearance image and the judgment result associated with the external information for the product whose shipping suitability has been judged and which is related to at least one of the identified base and product where the frequency of occurrence of the objection is equal to or greater than a predetermined value. 流通過程の各拠点において判定された前記判定対象の商品の出荷可否の判定結果を前記判定対象の商品についての前記外部情報と対応付けて記憶し、出荷可能又は出荷不可と判定される頻度が所定値以上の商品及び前記拠点の少なくとも一方を特定する請求項１～請求項９のいずれか１項に記載の情報処理プログラム。 The information processing program according to any one of claims 1 to 9, which stores the results of the judgments on whether the product is shippable or not, made at each base in the distribution process, in association with the external information on the product, and identifies at least one of the products and the bases that are judged as shippable or unshippable with a frequency equal to or greater than a predetermined value. 前記判定対象の商品を出荷不可と判定し、かつ前記判定対象の商品についての前記外観画像及び前記外部情報に基づいて得られる判定値が、安全性に関する特定の基準値を上回る場合、安全性に関するアラートを発信する請求項１～請求項１０のいずれか１項に記載の情報処理プログラム。 The information processing program according to any one of claims 1 to 10, which judges the product to be judged as unshippable and issues a safety alert if the judgment value obtained based on the external image and the external information about the product to be judged exceeds a specific safety standard value. 段ボール箱の外観画像について、テスト用の外観画像を提示し、
テスト対象者から、前記テスト用の外観画像に対する出荷可否の判定を受け付け、
前記テスト対象者による判定の正否を提示する
請求項１～請求項１１のいずれか１項に記載の情報処理プログラム。 A test image of the appearance of a cardboard box was presented.
accepting a decision on whether or not the test product can be shipped based on the appearance image for the test from the test subject;
The information processing program according to any one of claims 1 to 11, further comprising: displaying whether the test subject's judgment is correct or not. 前記判定対象の商品についての前記外観画像の取得時に、前記判定対象の商品の識別情報を取得し、
出荷できないとの判定がなされた商品の流通過程を、流通過程の各拠点において取得された前記識別情報に基づいてトレースする
請求項１～請求項１２のいずれか１項に記載の情報処理プログラム。 When acquiring the appearance image of the product to be evaluated, acquiring identification information of the product to be evaluated;
The information processing program according to any one of claims 1 to 12, further comprising tracing a distribution process of a product determined to be unshippable based on the identification information acquired at each location in the distribution process. 出荷可否の判定対象の商品を梱包した段ボール箱の外観画像と、前記判定対象の商品に関する情報及び前記判定対象の商品の流通に関する情報の少なくとも一方を含む外部情報とを取得する取得部と、
出荷可否を判定済みの商品についての前記外観画像及び前記外部情報と、段ボール箱の破損状態に応じた商品の出荷可否の判定結果との対応付けを機械学習したモデルと、取得された前記判定対象の商品についての前記外観画像及び前記外部情報とに基づいて、前記判定対象の商品の出荷可否を判定する判定部と、
を含む情報処理装置。 an acquisition unit that acquires an external image of a cardboard box in which a product to be judged as to whether it can be shipped is packed, and external information including at least one of information on the product to be judged and information on distribution of the product to be judged;
a determination unit that determines whether the product is shippable or not based on a machine learning model that associates the appearance image and the external information of a product whose shippable or not has been determined with a determination result of the shippable or not of the product according to a damage state of the cardboard box, and the appearance image and the external information obtained about the product to be determined;
An information processing device comprising: 出荷可否の判定対象の商品を梱包した段ボール箱の外観画像と、前記判定対象の商品に関する情報及び前記判定対象の商品の流通に関する情報の少なくとも一方を含む外部情報とを取得し、
出荷可否を判定済みの商品についての前記外観画像及び前記外部情報と、段ボール箱の破損状態に応じた商品の出荷可否の判定結果との対応付けを機械学習したモデルと、取得された前記判定対象の商品についての前記外観画像及び前記外部情報とに基づいて、前記判定対象の商品の出荷可否を判定する
ことを含む処理をコンピュータが実行する情報処理方法。 Acquire an external image of a cardboard box in which a product to be judged as to whether it can be shipped is packed, and external information including at least one of information on the product to be judged and information on distribution of the product to be judged;
An information processing method in which a computer executes a process including determining whether a product is shippable or not based on a machine-learned model that associates the appearance image and the external information of a product whose shippable or not has been determined with a determination result of the shippable or not of the product based on the damage state of the cardboard box, and based on the acquired appearance image and the external information of the product to be determined.