JP2022023401A

JP2022023401A - Period estimation device, period estimation method, and program

Info

Publication number: JP2022023401A
Application number: JP2020126328A
Authority: JP
Inventors: 隆嗣小島; Takashi Kojima
Original assignee: Yokohama Rubber Co Ltd
Current assignee: Yokohama Rubber Co Ltd
Priority date: 2020-07-27
Filing date: 2020-07-27
Publication date: 2022-02-08

Abstract

To provide a period estimation device, a period estimation method, and a program capable of estimating a usable period of consumables.SOLUTION: In an information processing device, an image acquisition unit 32 acquires a plurality of images showing changes in consumables in a predetermined period. A wear degree estimation unit 34 estimates a wear degree of the consumables based on the images of the consumables (tire or the like) acquired by the image acquisition unit 32. A period estimation unit 36 estimates a usable period of the consumables based on output when a plurality of wear degrees based on the acquired plurality of images are input to a second machine learning model 42.SELECTED DRAWING: Figure 6

Description

本発明は期間推定装置、期間推定方法、及びプログラムに関する。 The present invention relates to a period estimation device, a period estimation method, and a program.

下記特許文献１には、畳み込みニューラルネットワークを用いてタイヤの画像からタイヤの摩耗状態を認識できる認識方法及び認識装置が記載されている。 The following Patent Document 1 describes a recognition method and a recognition device capable of recognizing a tire wear state from a tire image using a convolutional neural network.

特開２０１９－３５６２６号公報Japanese Unexamined Patent Publication No. 2019-35626

特許文献１に記載の技術では、消耗品としてのタイヤの摩耗状態を認識できるものの、タイヤが後どれだけの期間で使用可能かを示す使用可能期間については推定することができない。消耗品の摩耗状態から当該消耗品の使用可能期間を推定することは、当該消耗品の専門知識を持たない一般のユーザにとって困難である。 Although the technique described in Patent Document 1 can recognize the wear state of a tire as a consumable item, it cannot estimate the usable period indicating how long the tire can be used. It is difficult for a general user who does not have the specialized knowledge of the consumable to estimate the usable period of the consumable from the worn state of the consumable.

本発明は上記実情に鑑みてなされたものであって、その目的は、消耗品の使用可能期間を推定できる期間推定装置、期間推定方法、及びプログラムを提供することにある。 The present invention has been made in view of the above circumstances, and an object of the present invention is to provide a period estimation device, a period estimation method, and a program capable of estimating the usable period of consumables.

上記課題を解決するために、本発明に係る期間推定装置は、所定期間における消耗品の変化を示す複数画像を取得する取得手段と、前記取得手段によって取得された前記複数画像に基づく複数の消耗度を学習済の機械学習モデルに入力した際の出力に基づいて、前記消耗品の使用可能期間を推定する期間推定手段と、を含む。 In order to solve the above problems, the period estimation device according to the present invention has an acquisition means for acquiring a plurality of images showing changes in consumables in a predetermined period, and a plurality of consumptions based on the plurality of images acquired by the acquisition means. It includes a period estimation means for estimating the usable period of the consumable based on the output when the degree is input to the trained machine learning model.

また、本発明の一態様では、前記取得手段は、所定の場所に設けられた撮影手段によって前記消耗品が撮影された撮影画像、又は前記撮影画像に基づいて生成された画像を前記複数画像として取得する。 Further, in one aspect of the present invention, the acquisition means uses a photographed image in which the consumables are photographed by a photographing means provided at a predetermined place, or an image generated based on the photographed image as the plurality of images. get.

また、本発明の一態様では、前記取得手段によって取得された前記複数画像をそれぞれ第１機械学習モデルに入力した際の出力に基づいて、前記所定期間における前記消耗品の複数の消耗度を推定する消耗度推定手段をさらに含み、前記期間推定手段は、前記消耗度推定手段によって推定された前記複数の消耗度を前記学習済みの機械学習モデルである第２機械学習モデルに入力した際の出力に基づいて、前記消耗品の前記使用可能期間を推定する。 Further, in one aspect of the present invention, the degree of consumption of the consumables in the predetermined period is estimated based on the output when the plurality of images acquired by the acquisition means are input to the first machine learning model. Further including the consumption degree estimation means, the period estimation means outputs when the plurality of consumption degrees estimated by the consumption degree estimation means are input to the second machine learning model which is the trained machine learning model. Based on, the usable period of the consumable is estimated.

また、本発明の一態様では、前記第１機械学習モデルは、前記消耗品の画像と、前記消耗品の消耗度とからなる第１訓練データによって学習される機械学習モデルであり、前記第２機械学習モデルは、前記所定期間における前記消耗品の複数の消耗度と、前記使用可能期間とからなる第２訓練データによって学習される機械学習モデルである。 Further, in one aspect of the present invention, the first machine learning model is a machine learning model learned by first training data including an image of the consumable and the degree of wear of the consumable, and is the second. The machine learning model is a machine learning model learned by a second training data including a plurality of consumption degrees of the consumables in the predetermined period and the usable period.

また、本発明の一態様では、前記複数画像の各々は、前記消耗品において使用に応じてすり減る摩耗面を示し、消耗度推定手段は、前記消耗度として、前記摩耗面における摩耗度を推定し、前記期間推定手段は、前記消耗度推定手段によって推定された複数の前記摩耗度を前記第２機械学習モデルに入力した際の出力に基づいて、前記消耗品の前記使用可能期間を推定する。 Further, in one aspect of the present invention, each of the plurality of images shows a wear surface that is worn away with use in the consumables, and the wear degree estimation means estimates the wear degree on the wear surface as the wear degree. The period estimation means estimates the usable period of the consumable item based on the output when the plurality of wear degrees estimated by the wear degree estimation means are input to the second machine learning model.

また、本発明の一態様では、前記摩耗面はタイヤのトレッド面であり、消耗度推定手段は、前記摩耗度として、前記トレッド面における溝の深さを推定し、前記期間推定手段は、前記消耗度推定手段によって推定された複数の前記溝の深さを示す情報を前記第２機械学習モデルに入力した際の出力に基づいて、前記タイヤの前記使用可能期間を推定する。 Further, in one aspect of the present invention, the wear surface is the tread surface of the tire, the wear degree estimation means estimates the depth of the groove on the tread surface as the wear degree, and the period estimation means is the period estimation means. The usable period of the tire is estimated based on the output when the information indicating the depth of the plurality of grooves estimated by the wear degree estimating means is input to the second machine learning model.

また、本発明の一態様では、前記所定期間は、１年間以上の期間である。 Further, in one aspect of the present invention, the predetermined period is a period of one year or more.

また、本発明の一態様では、前記期間推定手段によって推定された前記使用可能期間に基づいて、前記消耗品の使用期限を出力する出力手段を更に含む。 Further, one aspect of the present invention further includes an output means for outputting the expiration date of the consumable based on the usable period estimated by the period estimation means.

また、本発明に係る期間推定方法は、所定期間における消耗品の変化を示す複数画像を取得するステップと、前記取得ステップにおいて取得された前記複数画像に基づく複数の消耗度を学習済の機械学習モデルに入力した際の出力に基づいて、前記消耗品の使用可能期間を推定するステップと、を含む。 Further, the period estimation method according to the present invention is a machine learning in which a step of acquiring a plurality of images showing changes in consumables in a predetermined period and a plurality of consumption degrees based on the plurality of images acquired in the acquisition step have been learned. Includes a step of estimating the useful life of the consumables based on the output when input to the model.

また、本発明に係るプログラムは、所定期間における消耗品の変化を示す複数画像を取得する取得手順、及び、前記取得手順によって取得された前記複数画像に基づく複数の消耗度を学習済の機械学習モデルに入力した際の出力に基づいて、前記消耗品の使用可能期間を推定する推定手順をコンピュータに実行させる。 Further, the program according to the present invention is a machine learning in which an acquisition procedure for acquiring a plurality of images showing changes in consumables in a predetermined period and a plurality of consumption degrees based on the plurality of images acquired by the acquisition procedure have been learned. Have the computer perform an estimation procedure to estimate the usable life of the consumables based on the output when input to the model.

本発明の実施形態の一例に係る情報処理装置の構成の一例を示す図である。It is a figure which shows an example of the structure of the information processing apparatus which concerns on an example of embodiment of this invention. 車両の左側面を模式的に示す図である。It is a figure which shows schematically the left side surface of a vehicle. 車両の上面を模式的に示す図である。It is a figure which shows the upper surface of a vehicle schematically. 側面画像の一例を示す図である。It is a figure which shows an example of the side image. 摩耗面画像の一例を示す図である。It is a figure which shows an example of the wear surface image. 摩耗面画像の他の一例を示す図である。It is a figure which shows another example of the wear surface image. 情報処理装置の機能の一例を示す機能ブロック図である。It is a functional block diagram which shows an example of the function of an information processing apparatus. 使用期限の表示例を示す図である。It is a figure which shows the display example of the expiration date. 使用期限の他の表示例を示す図である。It is a figure which shows the other display example of the expiration date. 時系列データの一例を示す図である。It is a figure which shows an example of time series data. 第２機械学習モデルの機械学習に用いられる第２訓練データの一例を示す図である。It is a figure which shows an example of the 2nd training data used for the machine learning of the 2nd machine learning model. 消耗度に関する収録データの一例を示す図である。It is a figure which shows an example of the recorded data about the degree of wear. 情報処理装置で実行される推定処理の流れの一例を示すフロー図である。It is a flow diagram which shows an example of the flow of the estimation processing executed by an information processing apparatus. 消耗度に関する収録データの他の一例を示す図である。It is a figure which shows another example of the recorded data about the degree of wear.

以下、本開示の実施形態について図面を参照しながら説明する。本実施形態では、消耗品の変化を示す複数画像に基づく複数情報を機械学習モデルに入力することにより、その消耗品の使用可能期間が推定される。以下では、消耗品が車両に装着されるタイヤである場合の例を説明するが、消耗品はタイヤに限らず、使用により表面の状態が変化（摩耗）するものであってもよい。消耗品は、使用による消耗の度合いが外部から観察できるものであればよい。 Hereinafter, embodiments of the present disclosure will be described with reference to the drawings. In the present embodiment, the usable period of the consumable is estimated by inputting a plurality of information based on a plurality of images showing changes in the consumable into the machine learning model. Hereinafter, an example in which the consumable is a tire mounted on a vehicle will be described, but the consumable is not limited to the tire, and the surface condition may be changed (weared) by use. The consumables may be any consumables as long as the degree of wear due to use can be observed from the outside.

［１．ハードウェア構成］
図１は、本発明の実施形態の一例に係る情報処理装置（期間推定装置）１０の構成を示す図である。本実施形態に係る情報処理装置１０は、パーソナルコンピュータなどのコンピュータであり、図１に示すように、プロセッサ１２、記憶部１４、通信部１６、表示部１８、操作部２０、第１撮影部２２ａ、及び、第２撮影部２２ｂを含んでいる。なお、情報処理装置１０は、ＤＶＤ－ＲＯＭやＢｌｕ－ｒａｙ（登録商標）ディスクなどの光ディスクを読み取る光ディスクドライブ、ＵＳＢ（Universal Serial Bus）ポートなどを含んでいてもよい。 [1. Hardware configuration]
FIG. 1 is a diagram showing a configuration of an information processing device (period estimation device) 10 according to an example of the embodiment of the present invention. The information processing device 10 according to the present embodiment is a computer such as a personal computer, and as shown in FIG. 1, a processor 12, a storage unit 14, a communication unit 16, a display unit 18, an operation unit 20, and a first photographing unit 22a. And, the second photographing unit 22b is included. The information processing device 10 may include an optical disk drive for reading an optical disk such as a DVD-ROM or a Blu-ray (registered trademark) disk, a USB (Universal Serial Bus) port, or the like.

プロセッサ１２は、例えば情報処理装置１０にインストールされるプログラムに従って動作するＣＰＵなどのプログラム制御デバイスである。記憶部１４は、ＲＯＭやＲＡＭなどの記憶素子やハードディスクドライブなどである。記憶部１４には、プロセッサ１２によって実行されるプログラムなどが記憶される。通信部１６は、例えば、ネットワークボードなどの通信インタフェースである。表示部１８は、液晶ディスプレイなどの表示デバイスであって、プロセッサ１２の指示に従って各種の画像を表示する。操作部２０は、キーボードやマウスなどといったユーザインタフェースであって、ユーザの操作入力を受け付けて、その内容を示す信号をプロセッサ１２に出力する。 The processor 12 is a program control device such as a CPU that operates according to a program installed in the information processing apparatus 10, for example. The storage unit 14 is a storage element such as a ROM or RAM, a hard disk drive, or the like. The storage unit 14 stores a program or the like executed by the processor 12. The communication unit 16 is a communication interface such as a network board. The display unit 18 is a display device such as a liquid crystal display, and displays various images according to the instructions of the processor 12. The operation unit 20 is a user interface such as a keyboard or a mouse, receives an operation input of the user, and outputs a signal indicating the contents to the processor 12.

第１撮影部２２ａ及び第２撮影部２２ｂは撮影デバイスであり、撮影によって生成される画像をプロセッサ１２に出力する。第１撮影部２２ａは、デジタルカメラなどとしてよい。第２撮影部２２ｂは、三次元画像が撮影可能なステレオカメラや、奥行き画像が撮影可能なデプスカメラとすることが望ましい。この場合、第２撮影部２２ｂは、撮影によって生成される三次元画像や奥行き画像をプロセッサ１２に出力する。 The first photographing unit 22a and the second photographing unit 22b are photographing devices, and output the image generated by the photographing to the processor 12. The first photographing unit 22a may be a digital camera or the like. It is desirable that the second photographing unit 22b be a stereo camera capable of capturing a three-dimensional image or a depth camera capable of capturing a depth image. In this case, the second photographing unit 22b outputs the three-dimensional image or the depth image generated by the photographing to the processor 12.

図２は、車両９０の左側面を模式的に示す図である。図３は、車両９０の上面を模式的に示す図である。車両９０は消耗品であるタイヤを装着し、所定の場所（駐車場など）に駐車される。図２及び図３に示すように、第１撮影部２２ａ及び第２撮影部２２ｂは、車両９０が駐車される所定の場所（駐車場など）に配置される。第１撮影部２２ａは、車両９０の左後輪９２の左側面が撮影可能な位置に配置され、第２撮影部２２ｂは、車両９０の左後輪９２のトレッド面が撮影可能な位置に配置される。 FIG. 2 is a diagram schematically showing the left side surface of the vehicle 90. FIG. 3 is a diagram schematically showing the upper surface of the vehicle 90. The vehicle 90 is fitted with tires, which are consumables, and is parked in a predetermined place (parking lot, etc.). As shown in FIGS. 2 and 3, the first photographing unit 22a and the second photographing unit 22b are arranged at a predetermined place (parking lot or the like) where the vehicle 90 is parked. The first photographing unit 22a is arranged at a position where the left side surface of the left rear wheel 92 of the vehicle 90 can be photographed, and the second photographing unit 22b is arranged at a position where the tread surface of the left rear wheel 92 of the vehicle 90 can be photographed. Will be done.

図４は、第１撮影部２２ａによって撮影される、タイヤの左側面が写る画像である側面画像１１０の一例を示す図である。図４に示すように、側面画像１１０には、タイヤの側面（ショルダー部）に刻印された複数の側面スリップサイン９４が写っている。図４に示すように、複数の側面スリップサイン９４は、タイヤの側面にタイヤの外周に沿って等間隔に刻印されている。一般的には、側面スリップサイン９４は、タイヤの側面にタイヤの外周に沿って等間隔に４～９個刻印されている。図４に示すタイヤには、側面スリップサイン９４が６個刻印されている。 FIG. 4 is a diagram showing an example of a side image 110, which is an image of the left side surface of the tire, taken by the first photographing unit 22a. As shown in FIG. 4, the side image 110 shows a plurality of side slip signs 94 engraved on the side surface (shoulder portion) of the tire. As shown in FIG. 4, a plurality of side slip signs 94 are imprinted on the side surface of the tire at equal intervals along the outer circumference of the tire. Generally, 4 to 9 side slip signs 94 are engraved on the side surface of the tire along the outer circumference of the tire at equal intervals. The tire shown in FIG. 4 is engraved with six side slip signs 94.

図５Ａ及び図５Ｂは、第２撮影部２２ｂによって撮影される、タイヤのトレッド面が写る画像であるトレッド面画像１２０の一例を示す図である。図５Ａ及び図５Ｂに示すように、トレッド面画像１２０にはトレッド面に形成された溝である主溝９６が写っており、その主溝９６の内側に、トレッド面スリップサイン９８が写っている。なお、トレッド面画像１２０には、トレッドパターンの周期構造が写っていてもよい。図５Ａ及び図５Ｂに示すトレッド面画像１２０では、トレッドパターンの記載は省略されている。 5A and 5B are diagrams showing an example of a tread surface image 120, which is an image showing the tread surface of a tire, taken by the second photographing unit 22b. As shown in FIGS. 5A and 5B, the tread surface image 120 shows the main groove 96 which is a groove formed on the tread surface, and the tread surface slip sign 98 is shown inside the main groove 96. .. The tread surface image 120 may show the periodic structure of the tread pattern. In the tread surface image 120 shown in FIGS. 5A and 5B, the description of the tread pattern is omitted.

図５Ｂに示すトレッド面画像１２０は、図５Ａに示したトレッド面画像１２０が撮影された日の後日に撮影されたものである。図５Ｂに示すトレッド面画像１２０では、使用限界に達したタイヤのトレッド面が写っている。ここでのタイヤは、トレッド面が摩耗することにより主溝９６の深さが減少し、主溝９６とトレッド面スリップサイン９８との境界が曖昧になっている。車両９０に装着されているタイヤがこのような状態になる前に、新しいタイヤに交換しておくことが望ましい。 The tread surface image 120 shown in FIG. 5B was taken the day after the day when the tread surface image 120 shown in FIG. 5A was taken. In the tread surface image 120 shown in FIG. 5B, the tread surface of the tire that has reached the usage limit is shown. In the tire here, the depth of the main groove 96 is reduced due to the wear of the tread surface, and the boundary between the main groove 96 and the tread surface slip sign 98 is ambiguous. Before the tire mounted on the vehicle 90 becomes such a state, it is desirable to replace it with a new tire.

車両９０の使用者（個人の持ち主や管理者など）がタイヤの消耗量（トレッド面の摩耗量）から交換時期を判断する場合、主溝９６の深さを計測することが一般的である。しかし、ノギス等を用いて手作業で主溝９６の深さを計測するのは手間がかかるため、車両９０の使用者が実際にタイヤの消耗量を確認する機会は少ない。このため、車両９０の使用者が、近日中にタイヤが使用限界に達することや、すでに使用限界に達したことを把握しない場合がある。 When the user of the vehicle 90 (individual owner, manager, etc.) determines the replacement time from the tire wear amount (tread surface wear amount), it is common to measure the depth of the main groove 96. However, since it is troublesome to manually measure the depth of the main groove 96 using a caliper or the like, there are few opportunities for the user of the vehicle 90 to actually check the tire wear amount. Therefore, the user of the vehicle 90 may not know that the tire has reached the usage limit in the near future or has already reached the usage limit.

また、タイヤに限らず、消耗品が使用限界に達する前に、事前に消耗品の使用期限を使用者に出力することが望まれる場合がある。この点、情報処理装置１０は、後に詳述するように、タイヤなどの消耗品の使用可能期間を推定し、その使用期限を表示部１８や他の情報処理装置（例えば、スマートフォンなどの携帯端末）の表示部などに出力する。これによれば、消耗品の使用者は、消耗品の新規購入や補充、次回の交換時期の判断に関し、有用な情報を把握できる。 Further, not limited to tires, it may be desired to output the expiration date of consumables to the user in advance before the consumables reach the usage limit. In this regard, as will be described in detail later, the information processing apparatus 10 estimates the usable period of consumables such as tires, and indicates the expiration date of the expiration date of the display unit 18 or another information processing apparatus (for example, a mobile terminal such as a smartphone). ) Is output to the display. According to this, the user of the consumable can grasp useful information regarding the new purchase or replenishment of the consumable and the determination of the next replacement time.

［２．機能ブロック］
情報処理装置１０は、消耗品（タイヤなど）の使用可能期間を推定する。本実施形態では、第２撮影部２２ｂによって撮影された複数画像に基づいて、左後輪９２のタイヤの使用可能期間が推定され、そのタイヤの使用期限が出力される。また、複数画像から消耗品の使用期間が推定されるまでに、学習済の２つの機械学習モデル（図６に示す第１機械学習モデル４０及び第２機械学習モデル４２）が用いられる。以下、情報処理装置１０による消耗品の使用可能期間の推定について説明する。 [2. Function block]
The information processing device 10 estimates the usable period of consumables (tires, etc.). In the present embodiment, the usable period of the tire of the left rear wheel 92 is estimated based on a plurality of images taken by the second photographing unit 22b, and the expiration date of the tire is output. Further, two machine learning models (first machine learning model 40 and second machine learning model 42 shown in FIG. 6) that have been trained are used until the usage period of the consumable is estimated from the plurality of images. Hereinafter, the estimation of the usable period of the consumables by the information processing apparatus 10 will be described.

図６は、情報処理装置１０で実装される機能の一例を示す機能ブロック図である。なお、情報処理装置１０において、図６に示す機能のすべてが実装されなくてもよく、図６に示す機能以外の機能が実装されていてもよい。 FIG. 6 is a functional block diagram showing an example of the functions implemented in the information processing apparatus 10. It should be noted that the information processing apparatus 10 may not be equipped with all of the functions shown in FIG. 6, and may be equipped with functions other than the functions shown in FIG.

図６に示すように、情報処理装置１０は、機能的には、データ記憶部３０と、画像取得部３２と、消耗度推定部３４と、期間推定部３６と、使用期限出力部３８と第１機械学習モデル４０と、第２機械学習モデル４２とを含む。データ記憶部３０は、記憶部１４を主として実装される。画像取得部３２、消耗度推定部３４、期間推定部３６、及び、使用期限出力部３８は、プロセッサ１２を主として実装される。第１及び第２の学習モデル４０，４２は、プロセッサ１２及び記憶部１４を主として実装される。 As shown in FIG. 6, functionally, the information processing apparatus 10 includes a data storage unit 30, an image acquisition unit 32, a consumption degree estimation unit 34, a period estimation unit 36, an expiration date output unit 38, and a third. One machine learning model 40 and a second machine learning model 42 are included. The data storage unit 30 mainly implements the storage unit 14. The image acquisition unit 32, the consumption degree estimation unit 34, the period estimation unit 36, and the expiration date output unit 38 are mainly mounted with the processor 12. The first and second learning models 40 and 42 mainly implement the processor 12 and the storage unit 14.

［２－１．使用期限出力部］
使用期限出力部３８は、後に詳述する期間推定部３６により推定された使用可能期間に基づいて、消耗品（タイヤなど）の使用期限を出力する。本実施形態では、使用期限出力部３８は、消耗品の使用期限を、表示部１８、又は、通信部１６などを介して他の情報処理装置の表示部に出力する。 [2-1. Expiration date output section]
The expiration date output unit 38 outputs the expiration date of consumables (tires, etc.) based on the usable period estimated by the period estimation unit 36, which will be described in detail later. In the present embodiment, the expiration date output unit 38 outputs the expiration date of the consumable to the display unit of another information processing device via the display unit 18, the communication unit 16, or the like.

図７Ａは、使用期限の表示例を示す図である。図７Ａの画像１３０Ａに示されるように、使用期限出力部３８は、後述する期間推定部３６により推定された使用可能期間の日数を出力してよい。また、使用期限出力部３８は、使用可能期間の日数に限らず、時分秒を示す数値や月数、年数などを表示部１８などに出力してもよい。 FIG. 7A is a diagram showing a display example of the expiration date. As shown in the image 130A of FIG. 7A, the expiration date output unit 38 may output the number of days of the usable period estimated by the period estimation unit 36 described later. Further, the expiration date output unit 38 is not limited to the number of days in the usable period, and may output a numerical value indicating hours, minutes, seconds, the number of months, the number of years, and the like to the display unit 18 and the like.

図７Ｂは、使用期限の他の表示例を示す図である。図７Ｂの画像１３０Ｂに示されるように、使用期限出力部３８は、後述する期間推定部３６により推定された使用可能期間に基づく期限の日付を出力してもよい。この場合、使用期限出力部３８は、期間推定部３６により推定された使用可能期間を現在の日付に加えた日付を、消耗品の使用可能期限として出力してよい。 FIG. 7B is a diagram showing another display example of the expiration date. As shown in the image 130B of FIG. 7B, the expiration date output unit 38 may output the expiration date based on the usable period estimated by the period estimation unit 36 described later. In this case, the expiration date output unit 38 may output the date obtained by adding the usable period estimated by the period estimation unit 36 to the current date as the usable expiration date of the consumable.

［２－２．データ記憶部］
図６に示すように、データ記憶部３０は、消耗度推定部３４により推定される消耗度の時系列データＤ１を記憶する。他にも例えば、データ記憶部３０は、第１撮影部２２ａ及び第２撮影部２２ｂが撮影した画像データや、後述する第２機械学習モデル４２の機械学習に用いられる第２訓練データ、当該第２訓練データを生成するための消耗度に関する収録データなど、種々のデータを記憶してもよい。時系列データＤ１については、後に詳述する。 [2-2. Data storage]
As shown in FIG. 6, the data storage unit 30 stores the time-series data D1 of the degree of wear estimated by the wear degree estimation unit 34. In addition, for example, the data storage unit 30 includes image data captured by the first imaging unit 22a and the second imaging unit 22b, second training data used for machine learning of the second machine learning model 42 described later, and the second training data. 2 Various data such as recorded data regarding the degree of wear for generating training data may be stored. The time series data D1 will be described in detail later.

［２－３．画像取得部］
画像取得部３２は、所定期間（例えば、３ヶ月間）における消耗品（タイヤなど）の変化を示す複数画像を、後に詳述する消耗度推定部３４に入力する画像として取得する。画像取得部３２は、例えば、所定の場所に設けられた撮影手段によって、所定期間において定期的に撮影された撮影画像、又は、その撮影画像に基づいて生成された画像を複数画像として取得してよい。 [2-3. Image acquisition section]
The image acquisition unit 32 acquires a plurality of images showing changes in consumables (tires, etc.) during a predetermined period (for example, 3 months) as images to be input to the wear degree estimation unit 34, which will be described in detail later. The image acquisition unit 32 acquires, for example, a photographed image periodically photographed in a predetermined period by a photographing means provided at a predetermined place, or an image generated based on the photographed image as a plurality of images. good.

消耗品の変化を示す複数画像の各々は、例えば、その消耗品において使用に応じてすり減る摩耗面を示す。他にも例えば、複数画像の各々は、使用によって消費されるインクなどの残量を示すものであってもよい。 Each of the plurality of images showing the change of the consumable shows, for example, the wear surface of the consumable that wears out with use. In addition, for example, each of the plurality of images may indicate the remaining amount of ink or the like consumed by use.

本実施形態では、画像取得部３２は、所定期間（例えば、３ヶ月間）において、駐車場に配置された第２撮影部２２ｂによって定期的に（例えば、１週間ごとに）撮影されたトレッド面画像１２０に基づいて生成された画像を、当該所定期間における変化を示す複数画像として取得する。なお、画像取得部３２は、第２撮影部２２ｂによって撮影されたトレッド面画像１２０そのものや、第２撮影部２２ｂによって撮影された後に記憶部１４に記憶されている画像を、上記複数画像として取得してもよい。 In the present embodiment, the image acquisition unit 32 is a tread surface that is periodically (for example, weekly) photographed by the second photographing unit 22b arranged in the parking lot during a predetermined period (for example, for 3 months). The image generated based on the image 120 is acquired as a plurality of images showing changes in the predetermined period. The image acquisition unit 32 acquires the tread surface image 120 itself captured by the second imaging unit 22b and the image stored in the storage unit 14 after being captured by the second imaging unit 22b as the plurality of images. You may.

「トレッド面画像１２０に基づいて生成された画像」とは、トレッド面画像１２０に所与の画像加工処理（例えば、トリミング処理や拡大／縮小処理、エッジ抽出処理）が施されることにより生成された画像である。本実施形態では、画像取得部３２は、トレッド面画像１２０において、トレッド面スリップサイン９８が含まれる領域である着目領域１２２（図５Ａ、図５Ｂを参照）でトリミングされた画像を、上記複数画像として取得する。 The "image generated based on the tread surface image 120" is generated by performing a given image processing process (for example, trimming process, enlargement / reduction process, edge extraction process) on the tread surface image 120. It is an image. In the present embodiment, the image acquisition unit 32 captures the image trimmed in the region of interest 122 (see FIGS. 5A and 5B), which is the region including the tread surface slip sign 98 in the tread surface image 120, into the plurality of images. Get as.

トレッド面画像１２０における着目領域１２２は、第２撮影部２２ｂが当該トレッド面画像１２０を撮影したのと同じタイミングで第１撮影部２２ａによって撮影された側面画像１１０（図４を参照）に基づいて特定されてよい。先述したように、側面画像１１０にはタイヤの側面スリップサイン９４が写っている。タイヤでは、側面スリップサイン９４の位置と、トレッド面スリップサイン９８との位置とが１対１で対応付けられている。このため、トレッド面画像１２０内における着目領域１２２の位置は、側面画像１１０における側面スリップサイン９４の位置に基づいて特定できる。トレッド面画像１２０内における着目領域１２２の位置は、例えば、側面画像１１０における左後輪９２の中心を通る基準線（図４の例では、右方向の線）と当該中心と側面スリップサイン９４とを結ぶ線とのなす角度ａに基づいて特定できる。 The region of interest 122 in the tread surface image 120 is based on the side image 110 (see FIG. 4) captured by the first imaging unit 22a at the same timing as the second imaging unit 22b imaged the tread surface image 120. May be identified. As described above, the side image 110 shows the side slip sign 94 of the tire. In the tire, the position of the side slip sign 94 and the position of the tread surface slip sign 98 are associated with each other on a one-to-one basis. Therefore, the position of the region of interest 122 in the tread surface image 120 can be specified based on the position of the side slip sign 94 in the side image 110. The positions of the region of interest 122 in the tread surface image 120 are, for example, a reference line (a line in the right direction in the example of FIG. 4) passing through the center of the left rear wheel 92 in the side image 110, the center, and the side slip sign 94. It can be specified based on the angle a formed by the line connecting the tires.

なお、定期的に撮影される複数のトレッド面画像１２０には、その期間（例えば、１週間）から少しずれたタイミングに撮影されたものが含まれてもよい。そのように撮影された複数のトレッド面画像１２０も、所定期間（例えば、３ヶ月間）におけるタイヤの変化を示す複数画像と呼ぶことができる。また、定期的に撮影を行う複数のタイミングのうち、第２撮影部２２ｂが配置される場所に車両９０が存在しないなどの理由により、撮影が行われないタイミングが生じても構わない。 The plurality of tread surface images 120 taken periodically may include those taken at a timing slightly deviated from the period (for example, one week). The plurality of tread surface images 120 taken in this way can also be referred to as a plurality of images showing changes in the tire during a predetermined period (for example, 3 months). Further, among a plurality of timings in which shooting is performed periodically, there may be a timing in which shooting is not performed because the vehicle 90 does not exist at the place where the second shooting unit 22b is arranged.

［２－４．消耗度推定部（第１機械学習モデル）］
消耗度推定部３４は、画像取得部３２によって取得された消耗品（タイヤなど）の画像に基づいて、当該消耗品の消耗度を推定する。より具体的には、消耗度推定部３４は、画像取得部３２によって取得された、所定期間（例えば、３ヶ月間）における消耗品の変化を示す複数画像をそれぞれ第１機械学習モデル４０に入力した際の出力に基づいて、当該所定期間における消耗品の複数の消耗度を推定する。 [2-4. Degree of wear estimation unit (1st machine learning model)]
The wear degree estimation unit 34 estimates the wear degree of the consumable item based on the image of the consumable item (tire, etc.) acquired by the image acquisition unit 32. More specifically, the consumption degree estimation unit 34 inputs to the first machine learning model 40 a plurality of images showing changes in consumables during a predetermined period (for example, 3 months) acquired by the image acquisition unit 32. Based on the output at that time, the degree of consumption of multiple consumables in the predetermined period is estimated.

「消耗度」とは、消耗品の消耗度合いを示す指標値である。本実施形態のように消耗品が使用により表面の状態が摩耗するものである場合、消耗度は「摩耗度」と言い換えることができる。消耗品がタイヤである場合、タイヤの消耗度（摩耗度）は、トレッド面における主溝９６の溝深さ（残溝量）を示すデータであってもよい。なお、消耗度は、消耗品が使用されていない状態からの消耗量を示す指標値であってもよい。 The "consumable degree" is an index value indicating the degree of consumption of consumables. When the surface condition of the consumable is worn by use as in the present embodiment, the degree of wear can be rephrased as "the degree of wear". When the consumable item is a tire, the degree of wear (wear degree) of the tire may be data indicating the groove depth (remaining groove amount) of the main groove 96 on the tread surface. The degree of consumption may be an index value indicating the amount of consumption from the state where the consumables are not used.

第１機械学習モデル４０は、アダブースト、ランダムフォレスト、ニューラルネットワーク、サポートベクタマシン（ＳＶＭ）、最近傍識別器などの機械学習が実装された機械学習モデルである。 The first machine learning model 40 is a machine learning model in which machine learning such as AdaBoost, Random Forest, Neural Network, Support Vector Machine (SVM), and Nearest Neighbor Discriminator is implemented.

第１機械学習モデル４０は、消耗品の画像と、当該消耗品の消耗度（教師データ）とからなる訓練データ（以下では、後述する第２訓練データと区別するために、第１訓練データとも呼ぶ）によって学習される機械学習モデルである。第１機械学習モデル４０は、例えば、消耗品の画像の入力により、当該消耗品の消耗度を示すデータを出力する回帰モデルである。 The first machine learning model 40 includes training data (hereinafter, in order to distinguish from the second training data described later, the first training data) including images of consumables and the degree of consumption (teacher data) of the consumables. It is a machine learning model learned by (call). The first machine learning model 40 is a regression model that outputs data indicating the degree of consumption of the consumables, for example, by inputting an image of the consumables.

第１訓練データは、消耗品の摩耗面を示す画像（例えば、タイヤのトレッド面を示すトレッド面画像１２０と）と、当該摩耗面の摩耗度とからなる。そのような第１訓練データによって学習される第１機械学習モデル４０は、消耗品の摩耗面を示す画像の入力により、当該消耗品の摩耗度を示すデータを出力する回帰モデルになる。この場合、消耗度推定部３４は、第１機械学習モデル４０に摩耗面を示す画像を入力した際の出力に基づいて、消耗度として、消耗品の摩耗面における摩耗度を推定する。 The first training data includes an image showing a worn surface of a consumable item (for example, a tread surface image 120 showing a tread surface of a tire) and a degree of wear of the worn surface. The first machine learning model 40 learned from such first training data is a regression model that outputs data indicating the degree of wear of the consumables by inputting an image showing the wear surface of the consumables. In this case, the wear degree estimation unit 34 estimates the wear degree on the wear surface of the consumable as the wear degree based on the output when the image showing the wear surface is input to the first machine learning model 40.

本実施形態では、第１訓練データは、トレッド面画像１２０に基づいて生成された画像と、当該トレッド面画像１２０に示されるタイヤにおいて予めノギスなどにより計測された主溝９６の溝深さを示す数値などのデータとからなる。このため、本実施形態では、第１機械学習モデル４０は、トレッド面画像１２０の入力により、主溝９６の溝深さを示すデータを出力する回帰モデルになる。このため、本実施形態では、消耗度推定部３４は、トレッド面画像１２０に基づいて生成された画像を第１機械学習モデル４０に入力した際の出力に基づいて、タイヤの消耗度（摩耗度）として、トレッド面における主溝９６の深さを推定する。 In the present embodiment, the first training data shows the image generated based on the tread surface image 120 and the groove depth of the main groove 96 previously measured by a nogis or the like in the tire shown in the tread surface image 120. It consists of data such as numerical values. Therefore, in the present embodiment, the first machine learning model 40 is a regression model that outputs data indicating the groove depth of the main groove 96 by inputting the tread surface image 120. Therefore, in the present embodiment, the wear degree estimation unit 34 uses the tire wear degree (wear degree) based on the output when the image generated based on the tread surface image 120 is input to the first machine learning model 40. ), The depth of the main groove 96 on the tread surface is estimated.

本実施形態では、トレッド面画像１２０において、トレッド面スリップサイン９８の含む着目領域１２２においてトリミングされた画像を第１機械学習モデル４０へ入力することにより、タイヤの消耗度（摩耗度）の推定が行われる。トレッド面スリップサイン９８はタイヤの種類によらず存在し、また、タイヤの種類の違いによるトレッド面スリップサイン９８近辺の画像特徴の差異よりも、タイヤの摩耗度の違いによるトレッド面スリップサイン９８近辺の画像特徴の差異の方が顕著であると考えられる。このため、着目領域１２２においてトリミングされた画像を第１機械学習モデル４０への入力に用いることにより、学習に用いられるデータ量が少なくても、様々な種類のタイヤの消耗度を的確に推定できるようになる。 In the present embodiment, in the tread surface image 120, the tire wear degree (wear degree) is estimated by inputting the trimmed image in the region of interest 122 including the tread surface slip sign 98 into the first machine learning model 40. Will be done. The tread surface slip sign 98 exists regardless of the type of tire, and the vicinity of the tread surface slip sign 98 due to the difference in tire wear degree rather than the difference in image features near the tread surface slip sign 98 due to the difference in tire type. It is considered that the difference in the image features of is more remarkable. Therefore, by using the image trimmed in the region of interest 122 for input to the first machine learning model 40, it is possible to accurately estimate the degree of wear of various types of tires even if the amount of data used for learning is small. It will be like.

なお、図示は省略するが、情報処理装置１０は、第２撮影部２２ｂや操作部２０などを介して第１訓練データを生成する第１の訓練データ生成手段や、当該第１訓練データを用いて第１機械学習モデル４０の学習を実行する第１学習手段を有してもよい。この場合、第１学習手段は、例えば、第１訓練データに含まれる消耗品の画像を第１機械学習モデル４０に入力した際の出力と、当該訓練データに含まれる消耗度との差を特定し、その特定した差に基づいて第１訓練データのパラメータを更新してもよい。 Although not shown, the information processing apparatus 10 uses the first training data generation means for generating the first training data via the second photographing unit 22b, the operation unit 20, and the like, and the first training data. The first learning means for executing the training of the first machine learning model 40 may be provided. In this case, the first learning means specifies, for example, the difference between the output when the image of the consumables included in the first training data is input to the first machine learning model 40 and the degree of consumption included in the training data. Then, the parameters of the first training data may be updated based on the specified difference.

［２－５．時系列データ］
消耗度推定部３４は、以上のように推定した消耗度の時系列データを、データ記憶部３０に記憶させる。データ記憶部３０において、所定期間（例えば、３ヶ月間）における複数の消耗度として、消耗度推定部３４により推定された所定数（例えば、１５個）の消耗度が時系列データＤ１として蓄積される。 [2-5. Data in chronological order]
The consumption degree estimation unit 34 stores the time-series data of the consumption degree estimated as described above in the data storage unit 30. In the data storage unit 30, a predetermined number (for example, 15) of consumption degrees estimated by the consumption degree estimation unit 34 are accumulated as time-series data D1 as a plurality of consumption degrees in a predetermined period (for example, 3 months). To.

図８は、データ記憶部３０に記憶される時系列データＤ１の一例を示す図である。図８に示すように、時系列データＤ１は、消耗度（例えば、主溝９６の溝深さを）示す値からなる一次元配列である。図８に示す例では、「２．５」が、消耗度推定部３４により直近に推定された消耗度の値であり、「２．６」が、その１つ前のタイミングにおいて推定された消耗度の値であり、「２．７」が、更にその１つ前のタイミングにおいて推定された消耗度の値である。 FIG. 8 is a diagram showing an example of time-series data D1 stored in the data storage unit 30. As shown in FIG. 8, the time-series data D1 is a one-dimensional array consisting of values indicating the degree of wear (for example, the groove depth of the main groove 96). In the example shown in FIG. 8, "2.5" is the value of the degree of wear estimated most recently by the degree of wear estimation unit 34, and "2.6" is the value of the degree of wear estimated at the timing immediately before that. It is the value of the degree, and "2.7" is the value of the degree of wear estimated at the timing immediately before that.

時系列データＤ１に蓄積される消耗度のデータ数（一次元配列の要素数）は、上記所定期間に応じて定められる数であってよい。例えば、消耗度推定部３４により７日間（１週間）ごとに消耗度が推定され、時系列データＤ１に蓄積される消耗度のデータ数を１５とした場合、時系列データＤ１には、９９日間分（７日＊１４週＋１日（＊は乗算演算子）、すなわち約３ヶ月分）の消耗度を示すデータが蓄積されることになる。 The number of consumption degree data (the number of elements in the one-dimensional array) accumulated in the time-series data D1 may be a number determined according to the predetermined period. For example, assuming that the consumption degree is estimated by the consumption degree estimation unit 34 every 7 days (1 week) and the number of consumption degree data stored in the time series data D1 is 15, the time series data D1 has 99 days. Data indicating the degree of consumption of minutes (7 days * 14 weeks + 1 day (* is a multiplication operator), that is, about 3 months) will be accumulated.

先述したように、定期的に撮影される複数のトレッド面画像１２０には、その期間（例えば、１週間）から少しずれたタイミングに撮影されたものがあってもよい。時系列データＤ１には、定期的な期間から少しずれたタイミングにおける消耗度が含まれてもよい。 As described above, the plurality of tread surface images 120 taken periodically may be taken at a timing slightly deviated from that period (for example, one week). The time-series data D1 may include the degree of wear at a timing slightly deviated from the periodic period.

また、定期的に撮影を行う複数のタイミングのうち、車両９０が存在しないなどの理由により撮影が行われないタイミングが生じた場合、時系列データＤ１には、そのタイミングの前後において推定された消耗度の値に基づいて補完された消耗度の値（例えば、前回と同じ値や前後の値の平均値など）が含まれてもよい。この場合、情報処理装置１０は、データ記憶部３０に記憶されている時系列データＤ１に基づいて、当該時系列データＤ１に消耗度の値を補完する手段を有してもよい。 In addition, when there is a timing in which shooting is not performed due to reasons such as the absence of the vehicle 90 among a plurality of timings in which shooting is performed periodically, the time-series data D1 contains the estimated consumption before and after that timing. The value of the degree of wear complemented based on the value of the degree (for example, the same value as the previous time or the average value of the values before and after) may be included. In this case, the information processing apparatus 10 may have means for supplementing the time-series data D1 with the value of the degree of wear based on the time-series data D1 stored in the data storage unit 30.

［２－６．期間推定部（第２機械学習モデル）］
期間推定部３６は、画像取得部３２によって取得された、所定期間（例えば、３ヶ月間）における消耗品（タイヤなど）の変化を示す複数画像に基づく複数の消耗度を学習済の第２機械学習モデル４２に入力した際の出力に基づいて、当該消耗品の使用可能期間を推定する。より具体的には、期間推定部３６は、消耗度推定部３４によって推定された複数の消耗度を第２機械学習モデル４２に入力した際の出力に基づいて、当該消耗品の使用可能期間を推定する。 [2-6. Period estimation unit (second machine learning model)]
The period estimation unit 36 is a second machine that has learned a plurality of consumption degrees based on a plurality of images that show changes in consumables (tires, etc.) during a predetermined period (for example, 3 months) acquired by the image acquisition unit 32. The usable period of the consumable is estimated based on the output when input to the learning model 42. More specifically, the period estimation unit 36 determines the usable period of the consumable item based on the output when a plurality of consumption degrees estimated by the consumption degree estimation unit 34 are input to the second machine learning model 42. presume.

本実施形態では、期間推定部３６は、消耗度推定部３４によって推定された複数の摩耗度を第２機械学習モデル４２に入力した際の出力に基づいて、消耗品の使用可能期間を推定する。本実施形態では、消耗品はタイヤであり、期間推定部３６は、消耗度推定部３４によって推定された主溝９６の溝深さを第２機械学習モデル４２に入力した際の出力に基づいて、タイヤの使用可能期間を推定する。期間推定部３６は、データ記憶部３０に記憶される時系列データＤ１を第２機械学習モデル４２に入力した際の出力に基づいて、消耗品であるタイヤの使用可能期間を推定する。 In the present embodiment, the period estimation unit 36 estimates the usable period of the consumables based on the output when a plurality of wear degrees estimated by the wear degree estimation unit 34 are input to the second machine learning model 42. .. In the present embodiment, the consumable item is a tire, and the period estimation unit 36 is based on the output when the groove depth of the main groove 96 estimated by the wear degree estimation unit 34 is input to the second machine learning model 42. , Estimate the usable period of the tire. The period estimation unit 36 estimates the usable period of the tire, which is a consumable item, based on the output when the time series data D1 stored in the data storage unit 30 is input to the second machine learning model 42.

第２機械学習モデル４２は、第１機械学習モデル４０と同様に、所与の機械学習が実装された機械学習モデルである。第２機械学習モデル４２には、例えば、ディープニューラルネットワーク（ＤＮＮ）が機械学習として実装されてよい。 The second machine learning model 42 is a machine learning model in which a given machine learning is implemented, similarly to the first machine learning model 40. For example, a deep neural network (DNN) may be implemented as machine learning in the second machine learning model 42.

第２機械学習モデル４２は、所定期間（例えば、３ヶ月間）における消耗品（タイヤなど）の複数の消耗度と、その消耗品について予め測定された使用可能期間（教師データ）とからなる第２訓練データによって学習される機械学習モデルである。第２機械学習モデル４２は、複数の消耗度の入力により、消耗品の使用可能期間を示すデータを出力する回帰モデルである。 The second machine learning model 42 includes a plurality of consumption degrees of consumables (tires, etc.) in a predetermined period (for example, 3 months) and a usable period (teacher data) measured in advance for the consumables. 2 It is a machine learning model learned by training data. The second machine learning model 42 is a regression model that outputs data indicating the usable period of consumables by inputting a plurality of consumables.

図９は、第２機械学習モデル４２の機械学習に用いられる第２訓練データの一例を示す図である。図９に示すように、第２訓練データは、例えば、所定期間における複数の消耗度と、使用可能期限とからなる複数の組み合わせを蓄積したデータである。 FIG. 9 is a diagram showing an example of the second training data used for machine learning of the second machine learning model 42. As shown in FIG. 9, the second training data is, for example, data in which a plurality of combinations including a plurality of consumption degrees in a predetermined period and an expiration date are accumulated.

図９に示す第２訓練データでは、「６．４、６．３、６．１、５．９、５．８」の順に推定された消耗度について、「５．８」が推定された時点における消耗品の使用可能期間が「３５０」日であることを示している。また、図９に示す第２訓練データでは、「６．３、６．１、５．９、５．８、５．７」の順に推定された消耗度について、「５．７」が推定された時点における消耗品の使用可能期間が「３３０」日であることを示している。 In the second training data shown in FIG. 9, the time point at which "5.8" was estimated for the degree of wear estimated in the order of "6.4, 6.3, 6.1, 5.9, 5.8". It shows that the usable period of the consumables in the above is "350" days. Further, in the second training data shown in FIG. 9, "5.7" is estimated for the degree of wear estimated in the order of "6.3, 6.1, 5.9, 5.8, 5.7". It shows that the usable period of the consumables at that time is "330" days.

図１０は、第２訓練データの作成方法について説明するための図であり、車両９０に装着されたタイヤが使用限界まで使用された場合の消耗度（摩耗度）に関する収録データの一例を示す。図１０に示す収録データは、例えば、第２訓練データの作成に協力する車両９０の使用者である複数のトライアルユーザのうちの１人により収録されてよい。 FIG. 10 is a diagram for explaining a method of creating the second training data, and shows an example of recorded data regarding the degree of wear (wear degree) when the tire mounted on the vehicle 90 is used up to the usage limit. The recorded data shown in FIG. 10 may be recorded by, for example, one of a plurality of trial users who are users of the vehicle 90 who cooperate in creating the second training data.

図１０に示す例では、横軸が時間経過を示し、縦軸がタイヤの消耗度（摩耗度）である主溝９６の溝深さを示す。また、図１０に示した収録データでは、２０１７年１月初旬から定期的に（例えば、１週間ごとに）溝深さの計測が行われており、時間経過に応じて溝深さが低くなっている、すなわち、使用に応じてタイヤのトレッド面が徐々に摩耗している様子を示している。また、図１０に示した収録データでは、２０２０年３月中旬に、タイヤの溝深さが規定値以下（２．０ｍｍ以下）となっており、使用期限に達したことを示している。 In the example shown in FIG. 10, the horizontal axis indicates the passage of time, and the vertical axis indicates the groove depth of the main groove 96, which is the degree of wear (wear degree) of the tire. Further, in the recorded data shown in FIG. 10, the groove depth is measured regularly (for example, every week) from the beginning of January 2017, and the groove depth becomes lower with the passage of time. That is, it shows that the tread surface of the tire is gradually worn with use. Further, the recorded data shown in FIG. 10 shows that the groove depth of the tire became the specified value or less (2.0 mm or less) in the middle of March 2020, indicating that the expiration date was reached.

第２訓練データは、例えば、以下のようにして作成できる。まず、図１０に示す収録データにおいて、タイヤの溝深さの初回の計測タイミング（２０１７年１月初旬）から所定期間（例えば、３ヶ月間）が経過するまでの期間Ｍ１において計測された、複数の（例えば、１５個の）溝深さを取得し、さらに、当該期間Ｍ１の末日（２０１７年３月末）から使用期限（２０２０年３月中旬）に達するまでの期間を使用可能期間として取得する。そして、このように取得した複数の溝深さと使用可能期間との組み合わせのデータを第２訓練データに追加する。換言すると、取得した複数の溝深さと使用可能期間との組み合わせが第２訓練データに含まれる複数の組み合わせのうちの１つになるように、第２訓練データを更新する。 The second training data can be created, for example, as follows. First, in the recorded data shown in FIG. 10, a plurality of tires measured in the period M1 from the initial measurement timing of the tire groove depth (early January 2017) to the elapse of a predetermined period (for example, 3 months). (For example, 15 groove depths) are acquired, and the period from the last day of the period M1 (end of March 2017) to the expiration date (mid-March 2020) is acquired as the usable period. .. Then, the data of the combination of the plurality of groove depths acquired in this way and the usable period is added to the second training data. In other words, the second training data is updated so that the combination of the acquired plurality of groove depths and the usable period becomes one of the plurality of combinations included in the second training data.

その次に、期間Ｍ１から１つの収録周期（例えば、１週間）で後日にずれた所定期間である期間Ｍ２において、同様に複数の溝深さと、期間Ｍ２の末日からの使用可能期間を取得し、取得した複数の溝深さと使用可能期間との組み合わせを、第２訓練データに追加する。さらに、期間Ｍ２から１つの収録周期分で後日にずれた所定期間である期間Ｍ３においても、同様に、複数の溝深さと使用可能期間を取得し、第２訓練データに含ませる。 Next, in the period M2, which is a predetermined period deviated from the period M1 by one recording cycle (for example, one week) at a later date, similarly, a plurality of groove depths and a usable period from the last day of the period M2 are acquired. , The combination of the acquired multiple groove depths and the usable period is added to the second training data. Further, even in the period M3, which is a predetermined period deviated from the period M2 by one recording cycle at a later date, a plurality of groove depths and usable periods are similarly acquired and included in the second training data.

以上の処理を繰り返すことにより、タイヤの消耗（摩耗）について収録された１つの収録データから、教師データとなる複数の組み合わせを取得し、第２訓練データに追加することが可能である。さらに、トライアルユーザとして、複数の車両９０の使用者から複数の収録データを取得することで、第２訓練データに多くの教師データを蓄積することが可能である。 By repeating the above processing, it is possible to acquire a plurality of combinations to be teacher data from one recorded data recorded for tire wear (wear) and add it to the second training data. Further, as a trial user, by acquiring a plurality of recorded data from users of a plurality of vehicles 90, it is possible to accumulate a large amount of teacher data in the second training data.

また、このように多くの教師データを含む第２訓練データを用いて第２機械学習モデル４２が機械学習されることにより、期間推定部３６は、当該第２機械学習モデル４２を用いて、タイヤの使用可能期間として、尤度の高い使用可能期間を推定することができる。 Further, by machine learning the second machine learning model 42 using the second training data including a large amount of teacher data in this way, the period estimation unit 36 uses the second machine learning model 42 to perform tires. As the usable period of, it is possible to estimate the usable period with high probability.

なお、図示は省略するが、情報処理装置１０は、第２訓練データを生成する第２の訓練データ生成手段や、当該第２訓練データを用いて第２機械学習モデル４２の学習を実行する学習手段を有してもよい。この場合、情報処理装置１０は、期間推定部３６により定期的に推定され、データ記憶部３０に記憶された複数の過去の消耗度に基づいて、図１０に示した収録データを生成する手段を有してもよく、第２の訓練データ生成手段は、当該生成された収録データに基づいて第２訓練データを生成してもよい。 Although not shown, the information processing apparatus 10 uses the second training data generation means for generating the second training data and the learning to execute the learning of the second machine learning model 42 using the second training data. You may have the means. In this case, the information processing apparatus 10 periodically estimates by the period estimation unit 36, and is a means for generating the recorded data shown in FIG. 10 based on a plurality of past consumption degrees stored in the data storage unit 30. The second training data generation means may generate the second training data based on the generated recorded data.

［３．フローチャート］
図１１は、情報処理装置１０で実行される推定処理の流れの一例を示すフロー図である。図１１で示す推定処理は、定期的に（例えば、１週間ごとに）実行される。 [3. flowchart]
FIG. 11 is a flow chart showing an example of the flow of estimation processing executed by the information processing apparatus 10. The estimation process shown in FIG. 11 is executed periodically (for example, weekly).

まず、画像取得部３２は、消耗品の画像として、消耗品の消耗度合が観察できる画像を取得する（ステップＳ１０１）。消耗品が使用に応じて摩耗する摩耗面を有する場合、画像取得部３２は、摩耗面を示した画像を取得してよい。また、消耗品がタイヤである場合、画像取得部３２は、図５Ａ，Ｂに例示したトレッド面画像１２０を取得してよい。本実施形態では、画像取得部３２は、トレッド面画像１２０において、トレッド面スリップサイン９８を含む領域である着目領域１２２でトリミングした画像を取得する。 First, the image acquisition unit 32 acquires an image in which the degree of consumption of the consumable can be observed as an image of the consumable (step S101). If the consumable has a wear surface that wears with use, the image acquisition unit 32 may acquire an image showing the wear surface. Further, when the consumable item is a tire, the image acquisition unit 32 may acquire the tread surface image 120 exemplified in FIGS. 5A and 5B. In the present embodiment, the image acquisition unit 32 acquires an image trimmed in the region of interest 122, which is a region including the tread surface slip sign 98, in the tread surface image 120.

次に、消耗度推定部３４は、ステップＳ１０１で取得した消耗品の画像を第１機械学習モデル４０に入力し、その際の当該第１機械学習モデル４０からの出力に基づいて、消耗品の消耗度を推定する（ステップＳ１０２）。本実施形態では、消耗度推定部３４は、タイヤの消耗度（摩耗度）として、主溝９６の溝深さを推定する。 Next, the consumption degree estimation unit 34 inputs the image of the consumables acquired in step S101 into the first machine learning model 40, and based on the output from the first machine learning model 40 at that time, the consumables The degree of wear is estimated (step S102). In the present embodiment, the wear degree estimation unit 34 estimates the groove depth of the main groove 96 as the wear degree (wear degree) of the tire.

また、消耗度推定部３４は、ステップＳ１０２で推定した消耗度を、データ記憶部３０に記憶される時系列データＤ１に記録する（ステップＳ１０３）。時系列データには、所定期間（例えば、３ヶ月間）分のデータとして、所定数（例えば、１５個）の消耗度のデータ（本実施形態では、主溝９６の溝深さを示す数値データ）が記録される（図８を参照）。 Further, the wear degree estimation unit 34 records the wear degree estimated in step S102 in the time series data D1 stored in the data storage unit 30 (step S103). The time-series data includes data on the degree of consumption of a predetermined number (for example, 15 pieces) as data for a predetermined period (for example, 3 months) (in the present embodiment, numerical data indicating the groove depth of the main groove 96). ) Is recorded (see FIG. 8).

次に、期間推定部３６は、データ記憶部３０に記憶される時系列データＤ１を第２機械学習モデル４２に入力し、その際の当該第２機械学習モデル４２からの出力に基づいて、消耗品の使用可能期間を推定する（ステップＳ１０４）。 Next, the period estimation unit 36 inputs the time-series data D1 stored in the data storage unit 30 into the second machine learning model 42, and is consumed based on the output from the second machine learning model 42 at that time. The usable period of the product is estimated (step S104).

最後に、使用期限出力部３８が、ステップＳ１０４で推定された使用可能期間に基づいて、消耗品の使用期限を、表示部１８、又は、他の情報処理装置の表示部に出力し（ステップＳ１０５）、処理が終了される。使用期限出力部３８は、消耗品の使用期限を示す画像として、例えば、図７Ａのように使用可能期間の日数を示す画像１３０Ａを出力してもよいし、図７Ｂのように使用期限の日付を示す画像１３０Ｂを出力してもよい。 Finally, the expiration date output unit 38 outputs the expiration date of the consumable to the display unit 18 or the display unit of another information processing device based on the usable period estimated in step S104 (step S105). ), The process is completed. The expiration date output unit 38 may output, for example, an image 130A showing the number of days of the usable period as shown in FIG. 7A as an image showing the expiration date of the consumable, or the expiration date as shown in FIG. 7B. The image 130B showing the above may be output.

なお、ステップＳ１０３において、時系列データＤ１に記録される消耗度のデータ数が所定数（例えば、１５）に達していない場合（時系列データＤ１への記録が開始された時点から所定期間（例えば、３ヶ月間）が経過していない場合）、情報処理装置１０のプロセッサ１２は、ステップＳ１０４，Ｓ１０５の処理を実行しなくてもよい。また、時系列データＤ１の消耗度のデータ数が所定数に達していない場合、期間推定部３６は、消耗度のデータ数が所定数になるように時系列データＤ１を補完し、これを第２機械学習モデル４２に入力することによって消耗品の暫定的な使用可能期間を推定してもよい。 In step S103, when the number of consumption degree data recorded in the time series data D1 has not reached a predetermined number (for example, 15) (for example, a predetermined period from the time when recording in the time series data D1 is started (for example). (3 months) has not passed), the processor 12 of the information processing apparatus 10 does not have to execute the processes of steps S104 and S105. Further, when the number of data of the degree of consumption of the time-series data D1 has not reached a predetermined number, the period estimation unit 36 complements the time-series data D1 so that the number of data of the degree of consumption becomes a predetermined number, and uses this as the first. 2 The provisional usable period of consumables may be estimated by inputting into the machine learning model 42.

［４．まとめ］
以上より、本実施形態では、画像取得部３２が所定期間（例えば、３ヶ月間）における消耗品（タイヤなど）の変化を示す複数画像として、第２撮影部２２ｂによって撮影されたトレッド面画像１２０における着目領域１２２を示す画像を取得する。消耗度推定部３４は、これら複数画像を第１機械学習モデル４０にそれぞれ入力することにより、複数の消耗度を推定する。そして、期間推定部３６は、推定された複数の消耗度を第２機械学習モデルに入力した際の出力に基づいて、消耗品の使用可能期間を推定する。このようにすることで、情報処理装置１０は、消耗品の使用可能期間を推定できる。また、使用期限出力部３８が表示部１８等に消耗品の使用期限を出力することで、消耗品の使用者は、消耗品の購入などの判断に有用な情報を把握できる。 [4. summary]
Based on the above, in the present embodiment, the tread surface image 120 captured by the second imaging unit 22b as a plurality of images showing changes in consumables (tires, etc.) in a predetermined period (for example, 3 months) by the image acquisition unit 32. The image showing the area of interest 122 in the above is acquired. The wear degree estimation unit 34 estimates a plurality of wear degrees by inputting these plurality of images into the first machine learning model 40, respectively. Then, the period estimation unit 36 estimates the usable period of the consumables based on the output when the estimated plurality of consumption degrees are input to the second machine learning model. By doing so, the information processing apparatus 10 can estimate the usable period of the consumables. Further, by outputting the expiration date of the consumable to the display unit 18 or the like by the expiration date output unit 38, the user of the consumable can grasp information useful for determining the purchase of the consumable or the like.

なお、以上の説明では、車両９０が備える左後輪９２のタイヤの使用可能期間を推定したが、車両９０が備える左後輪９２のタイヤ以外のタイヤについても、同様の方法により使用可能期間を推定することが可能である。タイヤの例では、車両９０に装着される複数のタイヤの全てを同時期に交換する場合が多い。このため、車両９０に装着される複数のタイヤの全てで使用可能期間の推定を行わなくてもよく、１つのタイヤで使用可能期間が推定できればよい場合が多い。 In the above description, the usable period of the tire of the left rear wheel 92 included in the vehicle 90 is estimated, but the usable period of the tire other than the tire of the left rear wheel 92 included in the vehicle 90 is also estimated by the same method. It is possible to estimate. In the tire example, all of the plurality of tires mounted on the vehicle 90 are often replaced at the same time. Therefore, it is not necessary to estimate the usable period for all of the plurality of tires mounted on the vehicle 90, and it is often sufficient if the usable period can be estimated with one tire.

［５．変形例］
本発明は、以上の実施形態に限定されるものではない。 [5. Modification example]
The present invention is not limited to the above embodiments.

例えば、本実施形態では、所定期間が３ヶ月である場合として、時系列データＤ１に３ヶ月分の消耗度のデータが記録され、第２機械学習モデル４２は、３ヶ月分の消耗度のデータからなる第２訓練データによって機械学習される場合について説明した。これに限らず、所定期間は、１年間以上の期間であってもよい。 For example, in the present embodiment, assuming that the predetermined period is 3 months, the data of the degree of wear for 3 months is recorded in the time series data D1, and the data of the degree of wear for 3 months is recorded in the second machine learning model 42. The case of machine learning by the second training data consisting of is described. Not limited to this, the predetermined period may be a period of one year or more.

例えば、時系列データＤ１には、１年間分の消耗度のデータが記録されてよく、第２機械学習モデル４２は、１年間分の消耗度のデータからなる第２訓練データによって機械学習されてもよい。この場合、第２機械学習モデル４２には、１年間分の消耗度のデータが記録された時系列データＤ１が入力されることになる。 For example, the time-series data D1 may record data on the degree of wear for one year, and the second machine learning model 42 is machine-learned by the second training data including the data on the degree of wear for one year. May be good. In this case, the time-series data D1 in which the data of the degree of wear for one year is recorded is input to the second machine learning model 42.

図１２は、車両９０に装着されたタイヤが使用限界まで使用された場合の消耗度に関する収録データの他の一例を示す。図１２の例では、図１０の例と同様に、横軸が時間経過を示し、縦軸がタイヤの消耗度（摩耗度）である主溝９６の溝深さを示す。 FIG. 12 shows another example of recorded data regarding the degree of wear when the tire mounted on the vehicle 90 is used to the limit of use. In the example of FIG. 12, similarly to the example of FIG. 10, the horizontal axis indicates the passage of time, and the vertical axis indicates the groove depth of the main groove 96, which is the degree of wear (wear degree) of the tire.

図１２に示す例では、一点鎖線で囲われた領域に示されるように、１年間の期間Ｍ４のうち、２０１９年３月の初旬から中旬にかけて、タイヤの溝深さに著しい減少がみられる。つまり、２０１９年３月の期間では、車両９０の使用頻度が高くなっている。 In the example shown in FIG. 12, as shown in the region surrounded by the alternate long and short dash line, a significant decrease in the groove depth of the tire is observed from the beginning to the middle of March 2019 in the one-year period M4. That is, during the period of March 2019, the frequency of use of the vehicle 90 is high.

車両９０の使用者の状況に応じて、図１２に示したように３月中に車両９０の使用頻度が高くなる場合もあれば、３月以外の時期に車両９０の使用頻度が高くなる場合もある。また、１年間における１つの時期に限らず、複数の時期で車両９０の使用頻度が高くなる場合もあれば、複数の月で連続して車両９０の使用頻度が高くなる場合もある。 Depending on the situation of the user of the vehicle 90, the frequency of use of the vehicle 90 may increase during March as shown in FIG. 12, or the frequency of use of the vehicle 90 may increase during a period other than March. There is also. Further, the frequency of use of the vehicle 90 may be high not only at one time in one year but also at a plurality of times, and the frequency of use of the vehicle 90 may be high continuously in a plurality of months.

そこで、所定期間を１年間以上とし、期間推定部３６は、１年間以上の所定期間における消耗品（タイヤなど）の変化を示す複数画像に基づく複数の消耗度（つまり、１年間以上の消耗度が記録された時系列データＤ１）を第２機械学習モデル４２に入力した際の出力に基づいて、当該消耗品の使用可能期間を推定してもよい。このようにすることで、消耗品の１年間における時期ごとに変化する使用頻度に基づいて、使用可能期限を推定できる。例えば、消耗品の消耗が大きくなる時期が到来した場合、これからさらに消耗品が大きく消耗するであろうことを踏まえたうえで、消耗品の使用可能期間を推定できるようになる。 Therefore, the predetermined period is set to one year or more, and the period estimation unit 36 has a plurality of consumption degrees based on a plurality of images showing changes in consumables (tires, etc.) during the predetermined period of one year or more (that is, a consumption degree of one year or more). The usable period of the consumable item may be estimated based on the output when the time-series data D1) in which the above is recorded is input to the second machine learning model 42. By doing so, the expiration date of the consumable can be estimated based on the frequency of use of the consumable that changes from time to time in one year. For example, when the time comes when the consumption of consumables becomes large, the usable period of the consumables can be estimated based on the fact that the consumables will be consumed further from now on.

なお、所定期間は１年間に限らず、１年以上の複数年間（例えば、２年間や３年間など）でもよい。また、実施形態では、消耗品の画像が取得される期間として、第２撮影部２２ｂによってトレッド面画像１２０が撮影される期間を１週間としたが、当該期間は１週間でなくても構わない。 The predetermined period is not limited to one year, and may be a plurality of years (for example, two years or three years) of one year or more. Further, in the embodiment, as the period for acquiring the image of the consumable, the period during which the tread surface image 120 is photographed by the second photographing unit 22b is set to one week, but the period may not be one week. ..

また、実施形態では、消耗品がタイヤである場合の例を説明したが、消耗品は、使用に応じて表面が摩耗するもの、例えば、玄関の靴底であってもよいし、鉄道の線路やパンタグラフなどであってもよい。また、消耗品は、使用による消耗の度合いが外部から観察できるものであればよく、例えば、インクの残量が外部から確認できるマーカーなどであってもよい。これらの消耗品の使用可能期間の推定に関しても、本発明は適用可能である。 Further, in the embodiment, an example in which the consumable is a tire has been described, but the consumable may be a consumable whose surface wears with use, for example, a sole of a front door, or a railroad track. Or pantograph. Further, the consumables may be any as long as the degree of consumption due to use can be observed from the outside, and may be, for example, a marker that allows the remaining amount of ink to be confirmed from the outside. The present invention is also applicable to the estimation of the usable period of these consumables.

１０情報処理装置、１２プロセッサ、１４記憶部、１６通信部、１８表示部、２０操作部、２２ａ第１撮影部、２２ｂ第２撮影部、３０データ記憶部、Ｄ１時系列データ、３２画像取得部、３４消耗度推定部、３６期間推定部、３８使用期限出力部、４０第１機械学習モデル、４２第２機械学習モデル、９０車両、９２左後輪、９４側面スリップサイン、９６主溝、９８トレッド面スリップサイン、１１０側面画像、１２０トレッド面画像、１２２着目領域、１３０Ａ，１３０Ｂ画像。

10 Information processing device, 12 Processor, 14 Storage unit, 16 Communication unit, 18 Display unit, 20 Operation unit, 22a 1st imaging unit, 22b 2nd imaging unit, 30 Data storage unit, D1 Time series data, 32 Image acquisition unit , 34 Consumability estimation unit, 36 Period estimation unit, 38 Expiration date output unit, 40 1st machine learning model, 42 2nd machine learning model, 90 vehicle, 92 left rear wheel, 94 side slip sign, 96 main groove, 98 Tread surface slip sign, 110 side image, 120 tread surface image, 122 area of interest, 130A, 130B image.

Claims

所定期間における消耗品の変化を示す複数画像を取得する取得手段と、
前記取得手段によって取得された前記複数画像に基づく複数の消耗度を学習済の機械学習モデルに入力した際の出力に基づいて、前記消耗品の使用可能期間を推定する期間推定手段と、を含む
期間推定装置。 An acquisition means for acquiring multiple images showing changes in consumables over a predetermined period, and
A period estimation means for estimating the usable period of the consumable based on the output when a plurality of consumption degrees based on the plurality of images acquired by the acquisition means are input to the trained machine learning model. Period estimation device.

前記取得手段は、所定の場所に設けられた撮影手段によって前記消耗品が撮影された撮影画像、又は前記撮影画像に基づいて生成された画像を前記複数画像として取得する
請求項１に記載の期間推定装置。 The period according to claim 1, wherein the acquisition means acquires a photographed image in which the consumables are photographed by a photographing means provided at a predetermined place, or an image generated based on the photographed image as the plurality of images. Estimator.

前記取得手段によって取得された前記複数画像をそれぞれ第１機械学習モデルに入力した際の出力に基づいて、前記所定期間における前記消耗品の複数の消耗度を推定する消耗度推定手段をさらに含み、
前記期間推定手段は、前記消耗度推定手段によって推定された前記複数の消耗度を前記学習済みの機械学習モデルである第２機械学習モデルに入力した際の出力に基づいて、前記消耗品の前記使用可能期間を推定する
請求項１又は２に記載の期間推定装置。 Further including a consumption degree estimation means for estimating a plurality of consumption degrees of the consumables in the predetermined period based on the output when the plurality of images acquired by the acquisition means are input to the first machine learning model, respectively.
The period estimation means is based on the output when the plurality of consumption degrees estimated by the consumption degree estimation means are input to the second machine learning model which is the trained machine learning model. The period estimation device according to claim 1 or 2, which estimates the usable period.

前記第１機械学習モデルは、前記消耗品の画像と、前記消耗品の消耗度とからなる第１訓練データによって学習される機械学習モデルであり、
前記第２機械学習モデルは、前記所定期間における前記消耗品の複数の消耗度と、前記使用可能期間とからなる第２訓練データによって学習される機械学習モデルである
請求項３に記載の期間推定装置。 The first machine learning model is a machine learning model learned by a first training data including an image of the consumable and the degree of wear of the consumable.
The period estimation according to claim 3, wherein the second machine learning model is a machine learning model learned by a second training data including a plurality of consumption degrees of the consumables in the predetermined period and the usable period. Device.

前記複数画像の各々は、前記消耗品において使用に応じてすり減る摩耗面を示し、
消耗度推定手段は、前記消耗度として、前記摩耗面における摩耗度を推定し、
前記期間推定手段は、前記消耗度推定手段によって推定された複数の前記摩耗度を前記第２機械学習モデルに入力した際の出力に基づいて、前記消耗品の前記使用可能期間を推定する
請求項３又は４に記載の期間推定装置。 Each of the plurality of images shows a wear surface that wears out with use in the consumables.
The wear degree estimation means estimates the wear degree on the wear surface as the wear degree, and determines the wear degree.
A claim that the period estimation means estimates the usable period of the consumable based on the output when a plurality of the wear degrees estimated by the wear degree estimation means are input to the second machine learning model. The period estimation device according to 3 or 4.

前記摩耗面はタイヤのトレッド面であり、
消耗度推定手段は、前記摩耗度として、前記トレッド面における溝の深さを推定し、
前記期間推定手段は、前記消耗度推定手段によって推定された複数の前記溝の深さを示す情報を前記第２機械学習モデルに入力した際の出力に基づいて、前記タイヤの前記使用可能期間を推定する
請求項５に記載の期間推定装置。 The worn surface is the tread surface of the tire.
The wear degree estimating means estimates the depth of the groove on the tread surface as the wear degree, and determines the depth of the groove.
The period estimation means determines the usable period of the tire based on the output when the information indicating the depth of the plurality of grooves estimated by the wear degree estimation means is input to the second machine learning model. Estimating The period estimation device according to claim 5.

前記所定期間は、１年間以上の期間である
請求項１乃至６のいずれかに記載の期間推定装置。 The period estimation device according to any one of claims 1 to 6, wherein the predetermined period is a period of one year or more.

前記期間推定手段によって推定された前記使用可能期間に基づいて、前記消耗品の使用期限を出力する出力手段を更に含む
請求項１乃至７のいずれかに記載の期間推定装置。 The period estimation device according to any one of claims 1 to 7, further comprising an output means for outputting the expiration date of the consumable based on the usable period estimated by the period estimation means.

所定期間における消耗品の変化を示す複数画像を取得するステップと、
前記取得ステップにおいて取得された前記複数画像に基づく複数の消耗度を学習済の機械学習モデルに入力した際の出力に基づいて、前記消耗品の使用可能期間を推定するステップと、を含む
期間推定方法。 Steps to acquire multiple images showing changes in consumables over a given period,
Period estimation including a step of estimating the usable period of the consumable based on the output when a plurality of consumption degrees based on the plurality of images acquired in the acquisition step are input to the trained machine learning model. Method.

所定期間における消耗品の変化を示す複数画像を取得する取得手順、及び、
前記取得手順によって取得された前記複数画像に基づく複数の消耗度を学習済の機械学習モデルに入力した際の出力に基づいて、前記消耗品の使用可能期間を推定する推定手順
をコンピュータに実行させるプログラム。

Acquisition procedure to acquire multiple images showing changes in consumables over a predetermined period, and
Have the computer execute an estimation procedure for estimating the usable period of the consumables based on the output when the plurality of consumption degrees based on the plurality of images acquired by the acquisition procedure are input to the trained machine learning model. program.