JP7515189B2 - System and method for determining tire tread wear using deep artificial neural network - Google Patents
System and method for determining tire tread wear using deep artificial neural network Download PDFInfo
- Publication number
- JP7515189B2 JP7515189B2 JP2022097465A JP2022097465A JP7515189B2 JP 7515189 B2 JP7515189 B2 JP 7515189B2 JP 2022097465 A JP2022097465 A JP 2022097465A JP 2022097465 A JP2022097465 A JP 2022097465A JP 7515189 B2 JP7515189 B2 JP 7515189B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- tire
- wear
- probability
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000013528 artificial neural network Methods 0.000 title claims description 44
- 238000000034 method Methods 0.000 title claims description 11
- 238000003709 image segmentation Methods 0.000 claims description 29
- 238000000605 extraction Methods 0.000 claims description 26
- 230000004913 activation Effects 0.000 claims description 13
- 238000004364 calculation method Methods 0.000 claims description 12
- 238000013527 convolutional neural network Methods 0.000 claims description 10
- 239000000284 extract Substances 0.000 claims description 7
- 238000012549 training Methods 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 6
- 230000008901 benefit Effects 0.000 description 4
- 238000005259 measurement Methods 0.000 description 3
- 238000007781 pre-processing Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000000691 measurement method Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
Images
Landscapes
- Tires In General (AREA)
Description
本発明は,タイヤトレッド面摩耗判断システム及び方法に関し,特に,単一画像のみで深層人工ニューラルネットワークを用いてタイヤトレッド面の摩耗状態を自動的に判断するシステム及び方法に関する。 The present invention relates to a system and method for determining tire tread wear, and in particular to a system and method for automatically determining the wear state of a tire tread surface using a deep artificial neural network with only a single image.
市内の乗用車及び貨物車に装着されるタイヤは,走行距離に比例してトレッド面が摩耗及び侵食する。よって,安全な走行のためには,一定レベル以上の摩耗が進んだタイヤは交換しなければならない。 The tread surfaces of tires installed on passenger cars and freight vehicles in the city wear and erode in proportion to the distance traveled. Therefore, to ensure safe driving, tires that have worn beyond a certain level must be replaced.
図1は,摩耗限界線と呼ばれる摩耗度測定用構造を示す。図1を参照すると,各車両のタイヤメーカーは,タイヤトレッド面の摩耗状態の客観的な判断のために,摩耗限界線2と呼ばれる摩耗度測定用構造をタイヤトレッド面に形成して生産している。しかし,専門的な知識のない一般消費者は,このような摩耗限界線2を活用しておらず,肉眼上で自動車のタイヤ摩耗状態を自ら判断するのに困難を経験している。このため,タイヤの交換時期が遅れる或いは交換が不要な状況で交換が必要であるか否かを調べるために,自動車整備所及びタイヤ交換店を不必要に訪れる状況が発生する。 Figure 1 shows a structure for measuring wear called a wear limit line. Referring to Figure 1, tire manufacturers for each vehicle produce tires with a structure for measuring wear called a wear limit line 2 formed on the tire tread surface in order to objectively judge the wear state of the tire tread surface. However, ordinary consumers without specialized knowledge do not utilize such wear limit line 2 and experience difficulties in judging the wear state of their automobile tires with the naked eye. This leads to situations where the timing of tire replacement is delayed or where unnecessary visits to automobile repair shops and tire replacement shops are made to check whether replacement is necessary or not when replacement is not necessary.
これに関連して,タイヤトレッド溝の深さを一々測定する必要がないように,特許文献1は,タイヤ摩耗度測定方法及びその装置を開示している。前記特許文献1は,タイヤ摩耗度測定装置がタイヤに対する動画画像を受信すると,これに基づいて3次元形状の画像を生成し,3次元形成の画像内トレッド領域の深さに基づいてタイヤトレッドの摩耗度を測定できるようにする。
In this regard,
また,タイヤが過度に摩耗したことを自動的に警告することができるように,特許文献2は,タイヤ摩耗判断装置及び方法を開示している。前記特許文献2は,別途のセンサ部が算出した車両の制動距離に基づいてタイヤの摩耗度合いを判断できるようにする。 Also, in order to automatically warn of excessive tire wear, Patent Document 2 discloses a tire wear determination device and method. Patent Document 2 makes it possible to determine the degree of tire wear based on the vehicle braking distance calculated by a separate sensor unit.
このように従来の場合,タイヤの摩耗度合いを自動的に判断する先行技術が多数提案されているが,タイヤトレッド面の摩耗状態測定のために動画を撮影して分析する複雑な作業が必要であり,別途のセンサが要求されるので,限界が存在する。そこで,本発明は,科学技術情報通信部の2020年人工知能オンライン競進大会優秀成果企業事業化支援を通じて導出されたものである(課題番号:A0712-20-1015)。 As such, many prior art methods have been proposed to automatically determine the degree of tire wear. However, they have limitations because they require the complicated task of taking and analyzing video to measure the wear condition of the tire tread surface, and they also require separate sensors. Therefore, the present invention was derived through the Ministry of Science and ICT's 2020 Artificial Intelligence Online Competition Outstanding Companies Commercialization Support (Project Number: A0712-20-1015).
本発明の目的は,単一画像のみを活用してタイヤ摩耗度を判断し,アルゴリズム演算に必要な計算量を減らすことにある。 The objective of this invention is to determine the degree of tire wear using only a single image, thereby reducing the amount of calculation required for algorithmic operations.
本発明の他の目的は,別途のセンサなしでユーザのモバイルデバイス及び一般撮影装置を用いて,簡単にタイヤトレッド面の摩耗状態を測定できるようにすることにある。 Another object of the present invention is to enable a user to easily measure the wear condition of a tire tread surface using a mobile device and a general imaging device without a separate sensor.
上記の目的を達成するために,本発明は,タイヤトレッド面の画像を受信する画像受信部と,前記画像受信部が受信した画像からタイヤ部分と背景部分が分割された画像を生成する画像分割部と,学習された深層人工ニューラルネットワークを用いて,前記画像分割部が生成した画像上のタイヤトレッド面の摩耗度を普通,交換,又は危険のいずれかとして出力する出力部と,を含むことを一特徴とする。 To achieve the above object, the present invention is characterized by including an image receiving unit that receives an image of a tire tread surface, an image segmentation unit that generates an image in which a tire portion and a background portion are separated from the image received by the image receiving unit, and an output unit that uses a trained deep artificial neural network to output the degree of wear of the tire tread surface on the image generated by the image segmentation unit as either normal, replacement, or dangerous.
好ましくは,前記画像分割部は,前記画像受信部が受信した画像の各ピクセルがタイヤに該当する確率を抽出する確率抽出モジュールを含むことができる。 Preferably, the image segmentation unit may include a probability extraction module that extracts the probability that each pixel of the image received by the image receiving unit corresponds to a tire.
好ましくは,前記画像分割部は,前記確率抽出モジュールが抽出した確率を,前記画像受信部が受信した画像に対応するピクセル別に乗じる確率乗算モジュールをさらに含むことができる。 Preferably, the image segmentation unit may further include a probability multiplication module that multiplies the probability extracted by the probability extraction module by each pixel corresponding to the image received by the image receiving unit.
好ましくは,トレッド面の状態及びトレッド間の陰影情報に基づくタイヤ摩耗度に応じて普通,交換,又は危険のいずれかとしてラベル付けされた画像で深層人工ニューラルネットワークを学習させる学習部をさらに含むことができる。 Preferably, the system may further include a learning unit that trains the deep artificial neural network with images labeled as either normal, replacement, or danger depending on the degree of tire wear based on the condition of the tread surface and the shading information between the treads.
好ましくは,前記学習部は,単一画像で深層人工ニューラルネットワークを学習し,前記出力部は,単一画像でタイヤトレッド面の摩耗度を出力して,演算量を最小化することができる。 Preferably, the learning unit can train the deep artificial neural network using a single image, and the output unit can output the degree of wear of the tire tread surface using a single image, thereby minimizing the amount of calculations.
好ましくは,タイヤトレッド面の画像を撮影して前記画像受信部に伝送する画像撮影部をさらに含むことができる。 Preferably, the system may further include an image capturing unit that captures an image of the tire tread surface and transmits it to the image receiving unit.
好ましくは,前記出力部の出力値を表示するディスプレイ部をさらに含むことができる。 Preferably, the device may further include a display unit that displays the output value of the output unit.
また,本発明は,タイヤトレッド面の画像を受信する画像受信段階と,前記画像受信段階で受信した画像からタイヤ部分と背景部分を分割する画像分割段階と,トレッド面の状態及びトレッド間の陰影情報に基づくタイヤの摩耗度に応じて普通,交換,又は危険のいずれかとしてラベル付けされた画像で深層人工ニューラルネットワークを学習させる学習段階と,学習された深層人工ニューラルネットワークを用いて,前記画像分割段階で生成した画像上のタイヤトレッド面の摩耗度を普通,交換,又は危険のいずれかとして出力する出力段階と,を含むことを他の特徴とする。 The present invention is also characterized in that it includes an image receiving step of receiving an image of a tire tread surface, an image segmentation step of segmenting the image received in the image receiving step into a tire portion and a background portion, a learning step of training a deep artificial neural network with an image labeled as either normal, replacement, or danger according to the degree of tire wear based on the state of the tread surface and shading information between the treads, and an output step of outputting the degree of tire tread wear on the image generated in the image segmentation step as either normal, replacement, or danger using the trained deep artificial neural network.
好ましくは,前記画像分割段階は,前記画像受信段階で受信した画像の各ピクセルがタイヤに該当する確率を抽出する確率抽出段階を含むことができる。 Preferably, the image segmentation step may include a probability extraction step of extracting the probability that each pixel of the image received in the image receiving step corresponds to a tire.
好ましくは,前記画像分割段階は,前記確率抽出段階で抽出した確率を前記画像受信段階が受信した画像に対応するピクセル別に乗じる確率乗算段階を含むことができる。 Preferably, the image segmentation step may include a probability multiplication step in which the probability extracted in the probability extraction step is multiplied by each pixel corresponding to the image received in the image receiving step.
本発明によれば,人工ニューラルネットワークモデルを用いてタイヤトレッド面の摩耗度を測定する画像分割部と出力部が単一画像のみを活用してタイヤ摩耗度を判断することができるという利点がある。 The present invention has the advantage that the image segmentation unit and output unit, which use an artificial neural network model to measure the degree of wear on the tire tread surface, can determine the degree of tire wear using only a single image.
また,本発明は,ユーザのカメラを用いて別途のセンサなしでトレッド面の摩耗状態を測定することができるという利点がある。 Another advantage of the present invention is that it allows the wear condition of the tread surface to be measured using the user's camera without the need for a separate sensor.
以下,添付図面を参照して本発明を詳細に説明する。ただし,本発明が例示的な実施形態によって制限又は限定されるものではない。各図面に提示された同一の参照符号は,実質的に同じ機能を行う部材を示す。 The present invention will now be described in detail with reference to the accompanying drawings. However, the present invention is not limited or restricted by the exemplary embodiments. The same reference numerals in the drawings indicate components that perform substantially the same functions.
本発明の目的及び効果は,下記の説明によって自然に理解されるか或いはより明らかにされることができるが,下記の記載のみに本発明の目的及び効果が制限されるものではない。また,本発明を説明するにあたり,本発明による公知の技術についての具体的な説明が,本発明の要旨を不要に不明確にするおそれがあると判断された場合には,その詳細な説明を省略する。 The objectives and effects of the present invention will be naturally understood or will become clearer from the following description, but the objectives and effects of the present invention are not limited to the following description alone. Furthermore, in explaining the present invention, if it is determined that a specific description of known technology related to the present invention may unnecessarily make the gist of the present invention unclear, the detailed description will be omitted.
図2は,本発明の実施形態によるタイヤトレッド面摩耗判断システム1の構成図を示す。図2を参照すると,タイヤトレッド面摩耗判断システム1は,ユーザ端末10とサーバ30を含むことができる。タイヤトレッド面摩耗判断システム1は,画像撮影部100,画像受信部200,画像分割部300,出力部400,ディスプレイ部500,及び情報記憶部700を含むことができる。
Figure 2 shows a configuration diagram of a tire tread
タイヤトレッド面摩耗判断システム1は,一般の運転者が所持しているユーザ端末10で撮影された単一画像4のみでタイヤトレッド面の摩耗状態を判断することができる。タイヤトレッド面摩耗判断システム1は,大量のタイヤトレッド面画像,及び当該画像から判断された交換の必要如何を深層人工ニューラルネットワークモデルに注入して学習させることができる。タイヤトレッド面摩耗判断システム1は,単一画像4のトレッド面状態及びトレッド間の陰影情報に基づいて摩耗度を判断することができる。
The tire tread
タイヤトレッド面摩耗判断システム1は,タイヤ交換店の職員が交換店を訪れた顧客車両のタイヤトレッド面の摩耗度を簡便に判断し,顧客に案内する用途としても用いることができる。
The tire tread
タイヤトレッド面摩耗判断システム1は,摩耗度分析が遠隔で行われ得るので,API形態で供給できる。
The tire tread
ユーザ端末10は,携帯が可能であり,ネットワークを介してデータを送受信することができる端末であって,スマートフォン,ノートブックなどを含む。このとき,ユーザ端末10は,本発明の実施形態によるタイヤ摩耗度を出力するためのソフトウェアなどがインストールされた端末であってもよい。ユーザ端末10は,サーバ30と無線又は有線ネットワークで接続されることができる。
The
サーバ30は,深層人工ニューラルネットワークの学習のために大量の演算が可能なように構成されることができる。サーバ30は,ユーザ端末10と有線又は無線ネットワークで接続されることができる。
The
画像撮影部100は,タイヤトレッド面の画像を撮影して画像受信部200に伝送することができる。画像撮影部100は,ユーザ端末10に備えられていてもよく,第3の装置であってもよい。画像撮影部100は,撮影された画像を画像受信部200に伝送することができる。画像撮影部100は,画像受信部200と無線又は有線ネットワークで接続されることができる。画像撮影部100は,無線で画像受信部200と接続されたとき,CDMA(Code Division Multiple Access),WCDMA(登録商標)(Wideband CDMA),LTE(Long Term Evolution),又はWiFiなどの広義の移動通信網を使用することができる。
The
ディスプレイ部500は,出力部400の出力値を表示することができる。ディスプレイ部500は,ユーザ端末10に備えられていてもよく,第3の装置であってもよい。ディスプレイ部500は,ユーザ又は運転者が撮影した画像と共に,タイヤトレッド面の摩耗度を表示することができる。
The
情報記憶部700は,学習部600で使用されるラベル付き画像を記憶することができる。情報記憶部700は,ユーザ又は運転者がタイヤトレッド面の摩耗度を測定するために撮影した画像を記憶することができる。情報記憶部700は,ユーザ又は運転者が撮影した画像を深層人工ニューラルネットワークの学習に使用されるようにすることができる。情報記憶部700は,以前に測定したタイヤトレッド面の摩耗度出力値を記憶することができる。
The
画像受信部200は,タイヤトレッド面の画像を受信することができる。画像受信部200は,画像撮影部100又は一般デジタルカメラで撮影した画像を受信することができる。画像受信部200は,第3の装置と有線又は無線ネットワークで接続され,第3の装置が撮影又は保存した画像を受信することができる。画像受信部200は,タイヤトレッド面の画像を受信して画像分割部300に伝達することができる。
The
画像受信部200は,受信した画像を前処理することができる。画像受信部200は,受信した画像のピクセル値を正規化する方式の前処理を行うことができる。画像受信部200は,受信した画像のピクセル値が0~255の間である場合,ピクセル値を-1~1の間に前処理(スケーリング)することができる。画像受信部200は,深層人工ニューラルネットワークに入力されるように,受信した画像のサイズと解像度を調整する前処理を行うことができる。
The
画像分割部300は,画像受信部200が受信した画像からタイヤ部分と背景部分が分割された画像を生成することができる。画像分割部300は,背景領域に対する画像情報を減らして,出力部400で深層人工ニューラルネットワークがタイヤトレッド面に集中して演算するようにすることができる。画像分割部300は,タイヤ部分が分割された画像を生成し,背景部位に少なく影響されるようにすることができる。したがって,画像分割部300は,出力部400からタイヤトレッド面の摩耗度が高精度で出力されるようにすることができる。
The
図5は,本発明の実施形態による深層人工ニューラルネットワーク構造を示す。図5を参照すると,画像分割部300は確率抽出モジュール310及び確率乗算モジュール330を含むことができる。
FIG. 5 illustrates a deep artificial neural network structure according to an embodiment of the present invention. Referring to FIG. 5, the
確率抽出モジュール310は,画像受信部200が受信した画像の各ピクセルがタイヤに該当する確率を抽出することができる。確率抽出モジュール310は,セグメンテーションモデル(segmentation model)を用いてピクセルレベルで各ピクセルがタイヤに該当するのか背景に該当するのかに対する確率(Tread Probability Mask)を抽出することができる。確率抽出モジュール310は,確率を求める基準がユーザによって設定されない。すなわち,確率抽出モジュール310は,確率を求める基準が深層人工ニューラルネットワークを介した学習によって設定される。
The
確率抽出モジュール310は,特定のピクセルがタイヤに該当する確率を0~1の間の値に抽出することができる。確率抽出モジュール310が確率を高く抽出した場合,当該ピクセルはタイヤの一部である確率が高いものと判断することができる。
The
確率抽出モジュール310が抽出した確率が一定の基準値以上となる場合,該当ピクセルはタイヤの一部としてみなすことができる。確率抽出モジュール310は,ユーザによって前記基準値が設定されることができる。また,確率抽出モジュール310は,深層人工ニューラルネットワークの学習を介して前記基準値が設定されることもできる。一実施形態として,確率抽出モジュール310で抽出した確率が0.5以上であるとき,当該ピクセルはタイヤの一部として見なすことができる。
When the probability extracted by the
確率乗算モジュール330は,確率抽出モジュールが抽出した確率を,画像受信部200が受信した画像に対応するピクセル別に乗じることができる。確率乗算モジュール330は,ピクセル別にタイヤに該当する確率を既存の画像のピクセル値に乗じて,タイヤと関係のない背景部分の情報を希釈することができる。確率乗算モジュール330は,抽出された確率を入力された画像に対応するピクセル別に乗じて,背景領域に対する情報が希釈され,タイヤトレッド面に関する情報が強調された画像を生成することができる。
The
確率乗算モジュール330は,CNNベースの深層人工ニューラルネットワークで生成されるモデルであるActivation Map301にTread Probability Mask303を乗じたMultiplied Activation Map305を生成することができる。確率乗算モジュール330は,Multiplied Activation Map305を出力部400に入力することができる。
The
Multiplied Activation Map305は,タイヤ部分と背景部分が分割された画像である。Multiplied Activation Map305は,出力部400がタイヤトレッド面の摩耗度を出力するとき,背景部位に少なく影響されるようにすることができる。
The multi -
出力部400は,学習した深層人工ニューラルネットワークを用いて,画像分割部300が生成した画像上のタイヤトレッド面の摩耗度を普通,交換,又は危険のいずれかとして出力することができる。出力部400は,画像分割部300が生成した画像を学習された深層人工ニューラルネットワークに入力して画像内のピクセルを分析する方式でタイヤトレッド面の摩耗状態を測定することができる。
The
出力部400は,深層人工ニューラルネットワークモデルとして,人工ニューラルネットワークベースのニューラルネットワークアルゴリズム(DNN,CNN)を使用することができる。深層人工ニューラルネットワークモデルとしてCNN(Convolutional Neural Network)を使用する場合,最小限の前処理だけでも人工ニューラルネットワークを使用することができる。CNN(畳み込みニューラルネットワーク)は,1つ又は複数の合成積層とその上に配置された一般的な人工ニューラルネットワーク層で構成されており,重みと統合層をさらに活用する。CNN(Convolutional Neural Network)は,従来の人工ニューラルネットワーク技法よりも容易に訓練され,少ない数のパラメータを使用するという利点がある。
The
出力部400が出力する値から,運転者はタイヤ交換の必要性を判断することができる。出力部400が出力する値が「普通」の場合には,交換の必要性が低いことを意味し,「交換」の場合には,交換の必要性があることを意味し,「危険」の場合には,直ちに交換の必要性があることを意味する。
The driver can determine the need for tire replacement from the value output by the
学習部600は,トレッド面の状態及びトレッド間の陰影情報に基づくタイヤ摩耗度に応じて普通,交換,又は危険のいずれかとしてラベル付けされた画像で深層人工ニューラルネットワークを学習させることができる。学習部600で使用される画像は,10年以上タイヤ摩耗度を評価してきた3人以上のタイヤ専門家アノテーショングループを構成して投票(majority voting)方式で普通,交換,又は危険のいずれか一つに区分してラベル付けされたものであり得る。
The
学習部600は,学習させる深層人工ニューラルネットワークの入力値として,タイヤ部分と背景部分が分割された画像を使用することができる。学習部600は,画像分割部300を経た画像を入力値として使用することができる。学習部600は,タイヤ部分が強調された画像を用いて学習の正確度と精密度を高めることができる。
The
学習部600は,単一画像で深層人工ニューラルネットワークを学習し,出力部400は,単一画像でタイヤトレッド面の摩耗度を出力することにより,タイヤトレッド面摩耗判断システム1の演算量を最小化することができる。単一画像4は,アルゴリズム演算において,動画や複数の画像よりも必要な計算量が少ないという利点がある。
The
本実施形態によれば,ユーザ又は運転者は,単一画像4のみで簡単にタイヤトレッド面の摩耗度を測定することができる。ユーザ又は運転者は,スマートフォンで撮影した単一画像4のみで,タイヤトレッド面の摩耗状態に応じて交換必要如何を普通,交換,又は危険の3段階として確認することができるので,タイヤの交換有無を確認するためにカーセンターを訪問しなくてもよい。
According to this embodiment, a user or driver can easily measure the degree of wear of the tire tread surface with only a
図3は,本発明の実施形態によるアルゴリズム演算がユーザ端末10で行われるタイヤトレッド面摩耗判断システム1の構成図を示す。図3を参照すると,ユーザ端末10は,画像撮影部100,画像受信部200,画像分割部300,出力部400,及びディスプレイ部500を含むことができる。サーバ30は,学習部600及び情報記憶部700を含むことができる。本実施形態によれば,タイヤトレッド面摩耗判断システム1は,サーバ30に含まれた学習部600で深層人工ニューラルネットワークを学習させる。タイヤトレッド面摩耗判断システム1は,サーバ30に含まれた学習部600から出力部400へ,学習された深層人工ニューラルネットワークを伝送する。タイヤトレッド面摩耗判断システム1は,ユーザ端末10に含まれた画像分割部300と出力部400からタイヤトレッド面の摩耗度を出力する。
Figure 3 shows a configuration diagram of a tire tread
図4は,本発明の実施形態によるアルゴリズム演算がサーバ30で行われるタイヤトレッド面摩耗判断システムの構成図を示す。図4を参照して説明すると,ユーザ端末10は,画像撮影部100,画像受信部200,及びディスプレイ部500を含むことができる。サーバ30は,画像分割部300,出力部400,学習部600,及び情報記憶部700を含むことができる。本実施形態によれば,タイヤトレッド面摩耗判断システム1は,サーバ30に含まれた学習部600で深層人工ニューラルネットワークを学習させる。タイヤトレッド面摩耗判断システム1は,ユーザ端末10に含まれた画像受信部200から,サーバ30に含まれた画像分割部300へ画像を伝送する。タイヤトレッド面摩耗判断システム1は,サーバ30に含まれた画像分割部300と出力部400からタイヤトレッド面の摩耗度を出力する。
Figure 4 shows a configuration diagram of a tire tread wear determination system in which an algorithm calculation according to an embodiment of the present invention is performed in a
本発明の他の実施形態として,タイヤトレッド面摩耗判断方法は,画像受信段階,画像分割段階,学習段階,及び出力段階を含むことができる。 In another embodiment of the present invention, the tire tread surface wear determination method can include an image receiving step, an image segmentation step, a learning step, and an output step.
画像受信段階は,タイヤトレッド面の画像を受信することができる。画像受信段階は,上述した画像受信部200で行われる動作を意味する。
The image receiving step can receive an image of the tire tread surface. The image receiving step refers to the operation performed by the
画像分割段階は,画像受信段階で受信した画像からタイヤ部分と背景部分を分割することができる。画像分割段階は,上述した画像分割部300で行われる動作を意味する。
The image segmentation step can segment the tire portion and the background portion from the image received in the image receiving step. The image segmentation step refers to the operation performed by the
画像分割段階は,確率抽出段階及び確率乗算段階を含むことができる。 The image segmentation step can include a probability extraction step and a probability multiplication step.
確率抽出段階は,画像受信段階で受信した画像の各ピクセルがタイヤに該当する確率を抽出することができる。確率抽出段階は,上述した確率抽出モジュール310で行われる動作を意味する。
The probability extraction step can extract the probability that each pixel of the image received in the image receiving step corresponds to a tire. The probability extraction step refers to the operation performed in the
確率乗算段階は,確率抽出段階で抽出した確率を,前記画像受信段階が受信した画像に対応するピクセル別に乗じることができる。確率乗算段階は,前述の確率乗算モジュール330で行われる動作を意味する。
The probability multiplication step can multiply the probability extracted in the probability extraction step by each pixel corresponding to the image received in the image receiving step. The probability multiplication step refers to the operation performed in the
学習段階は,トレッド面の状態及びトレッド間の陰影情報に基づくタイヤ摩耗度に応じて普通,交換,又は危険のいずれかとしてラベル付けされた画像で深層人工ニューラルネットワークを学習させることができる。学習段階は,上述した学習部600で行われる動作を意味する。
The learning phase allows the deep artificial neural network to be trained with images that are labeled as either normal, replacement, or unsafe depending on the degree of tire wear based on the condition of the tread surface and the shading information between the treads. The learning phase refers to the operations performed by the
出力段階は,学習された深層人工ニューラルネットワークを用いて,前記画像分割段階で生成した画像上のタイヤトレッド面の摩耗度を普通,交換,又は危険のいずれかとして出力することができる。出力段階は,上述した出力部400で行われる動作を意味する。
The output step can use the trained deep artificial neural network to output the degree of wear of the tire tread surface on the image generated in the image segmentation step as either normal, replacement, or danger. The output step refers to the operation performed by the
タイヤトレッド面摩耗判断システム1は,ユーザ端末10に記憶されて実行されることができる。タイヤトレッド面摩耗判断システム1は,アプリケーションの形態でユーザ端末10に記憶されることができる。
The tire tread surface
ユーザ又は運転者は,車両管理アプリケーションを実行して,アプリケーションに含まれたタイヤトレッド面摩耗判断システム1を実行させることができる。運転者は,アプリケーションで撮影部をタッチしてタイヤ部分を撮影することができる。アプリケーションでは,摩耗状態判断の正確度を高めるために例示写真を提示することができる。
The user or driver can execute a vehicle management application to execute the tire tread
ユーザ又は運転者が撮影した単一画像4を画像受信部200が受信し,出力部400が摩耗状態を出力する。アプリケーションは,最終的な測定値に応じてタイヤ交換の必要性を普通,交換,又は危険のいずれかとしてユーザ端末10に表示することができる。
The
本発明の実施形態による車両管理アプリケーションを用いると,単一画像4からの摩耗度測定を介して,車両に取り付けられる別途のセンサなしで,一般の運転者が保有しているモバイルデバイスのカメラ装置を利用して,運転者が直接トレッドの厚さを測定することなくタイヤの摩耗度をリアルタイムで確認することができる。
By using a vehicle management application according to an embodiment of the present invention, tire wear can be checked in real time without the driver having to measure the tread thickness directly by using the camera device of a mobile device carried by an ordinary driver, without the need for a separate sensor attached to the vehicle, through wear measurement from a
以上,代表的な実施形態を介して本発明を詳細に説明したが,本発明の属する技術分野における通常の知識を有する者は,上述した実施形態に対して,本発明の範疇から逸脱することなく様々な変形が可能であることを理解するだろう。したがって,本発明の権利範囲は,説明した実施形態に限定されてはならず,後述する特許請求の範囲だけでなく,特許請求の範囲と均等概念から導出される全ての変更又は変形形態によって定められなければならない。 Although the present invention has been described in detail above through a representative embodiment, a person having ordinary knowledge in the technical field to which the present invention pertains will understand that various modifications to the above-described embodiment are possible without departing from the scope of the present invention. Therefore, the scope of the present invention should not be limited to the described embodiment, but should be determined not only by the claims described below, but also by all modifications or variations derived from the claims and their equivalent concepts.
1 タイヤトレッド面摩耗判断システム
2 摩耗限界線
4 単一画像
10 ユーザ端末
30 サーバ
100 画像撮影部
200 画像受信部
300 画像分割部
301 Activation Map
303 Tread Probability Mask
305 Mutiplied Activation Map
310 確率抽出モジュール
330 確率乗算モジュール
400 出力部
500 ディスプレイ部
600 学習部
700 情報記憶部
303 Tread Probability Mask
305 Multiplied Activation Map
310
Claims (6)
タイヤトレッド面の画像を受信する画像受信部と,
前記画像受信部が受信した画像からタイヤ部分と背景部分が分割された画像を生成する画像分割部と,
学習された深層人工ニューラルネットワークを用いて,前記画像分割部が生成した画像上のタイヤトレッド面の摩耗度を普通,交換,又は危険のいずれかとして出力する出力部と,を含み,
前記画像分割部は,前記画像受信部が受信した画像の各ピクセルがタイヤに該当する確率を抽出する確率抽出モジュールを含み,前記確率抽出モジュールが抽出した確率が一定の基準値以上となる場合,該当ピクセルをタイヤの一部としてみなし,トレッドプロバビリティマスク(Tread Probability Mask)を抽出すると共に,前記画像受信部が受信した画像からCNNベースの深層人工ニューラルネットワークで生成されるモデルであるアクティベーションマップ(Activation Map)に前記トレッドプロバビリティマスク(Tread Probability Mask)を乗じてタイヤ部分と背景部分を分割したマルティプライドアクティベーションマップ(Multiplied Activation Map)を生成する確率乗算モジュールを含み,前記確率乗算モジュールは前記マルティプライドアクティベーションマップ(Multiplied Activation Map)を前記出力部に入力することを特徴とするタイヤトレッド面摩耗判断システム。 A tire tread wear judgment system using a deep neural network,
An image receiving unit that receives an image of a tire tread surface;
an image segmentation unit that generates an image in which a tire portion and a background portion are segmented from the image received by the image receiving unit;
and an output unit that outputs the degree of wear of the tire tread surface on the image generated by the image segmentation unit as either normal, replacement, or danger using a trained deep artificial neural network;
The image segmentation unit includes a probability extraction module that extracts a probability that each pixel of the image received by the image receiving unit corresponds to a tire, and if the probability extracted by the probability extraction module is equal to or greater than a certain reference value, the corresponding pixel is regarded as part of the tire and a tread probability mask is extracted, and a probability multiplication module that multiplies an activation map, which is a model generated by a CNN-based deep artificial neural network from the image received by the image receiving unit , by the tread probability mask to generate a multiplied activation map that divides a tire portion and a background portion, and the probability multiplication module inputs the multiplied activation map to the output unit .
単一画像で深層人工ニューラルネットワークを学習し,
前記出力部は,
単一画像でタイヤトレッド面の摩耗度を出力して,
演算量を最小化することを特徴とする請求項2記載のタイヤトレッド面摩耗判断システム。 The learning unit includes:
Train a deep artificial neural network with a single image,
The output unit includes:
Output the degree of wear on the tire tread surface in a single image.
3. The tire tread wear determination system according to claim 2 , wherein the amount of calculation is minimized.
タイヤトレッド面の画像を受信する画像受信段階と,
前記画像受信段階で受信した画像からタイヤ部分と背景部分を分割する画像分割段階と,
トレッド面の状態に基づくタイヤの摩耗度に応じて普通,交換,又は危険のいずれかとしてラベル付けされた画像で深層人工ニューラルネットワークを学習させる学習段階と,
学習された深層人工ニューラルネットワークを用いて,前記画像分割段階で生成した画像上のタイヤトレッド面の摩耗度を出力部より普通,交換,又は危険のいずれかとして出力する出力段階と,を含み,
前記画像分割段階は,前記画像受信段階で画像受信部が受信した画像の各ピクセルがタイヤに該当する確率を抽出する確率抽出段階を含み,前記確率抽出段階で抽出した確率が一定の基準値以上となる場合,該当ピクセルをタイヤの一部としてみなし,トレッドプロバビリティマスク(Tread Probability Mask)を抽出すると共に,前記画像受信部が受信した画像からCNNベースの深層人工ニューラルネットワークで生成されるモデルであるアクティベーションマップ(Activation Map)に前記トレッドプロバビリティマスク(Tread Probability Mask)を乗じてタイヤ部分と背景部分を分割したマルティプライドアクティベーションマップ(Multiplied Activation Map)を生成して,前記マルティプライドアクティベーションマップ(Multiplied Activation Map)を前記出力部に入力する確率乗算段階とを含むことを特徴とするタイヤトレッド面摩耗判断方法。 A method for determining tire tread wear using a deep neural network, comprising:
an image receiving step of receiving an image of a tire tread surface;
an image segmentation step of segmenting a tire portion and a background portion from the image received in the image receiving step;
a training phase in which a deep artificial neural network is trained on images that are labeled as either normal, replacement, or unsafe depending on the degree of wear of the tire based on the condition of the tread surface;
and an output step of outputting the degree of wear of the tire tread surface on the image generated in the image segmentation step as either normal, replacement, or danger from an output unit using the trained deep artificial neural network;
the image segmentation step includes a probability extraction step of extracting a probability that each pixel of the image received by the image receiving unit in the image receiving step corresponds to a tire, and if the probability extracted in the probability extraction step is equal to or greater than a certain reference value, the corresponding pixel is regarded as part of the tire and a tread probability mask is extracted, and a probability multiplication step of multiplying an activation map, which is a model generated by a CNN-based deep artificial neural network from the image received by the image receiving unit, by the tread probability mask to generate a multiplied activation map that divides a tire portion and a background portion, and inputting the multiplied activation map to the output unit.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022097465A JP7515189B2 (en) | 2022-06-16 | 2022-06-16 | System and method for determining tire tread wear using deep artificial neural network |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022097465A JP7515189B2 (en) | 2022-06-16 | 2022-06-16 | System and method for determining tire tread wear using deep artificial neural network |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2023183769A JP2023183769A (en) | 2023-12-28 |
JP7515189B2 true JP7515189B2 (en) | 2024-07-12 |
Family
ID=89333931
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022097465A Active JP7515189B2 (en) | 2022-06-16 | 2022-06-16 | System and method for determining tire tread wear using deep artificial neural network |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7515189B2 (en) |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2019035626A (en) | 2017-08-10 | 2019-03-07 | 株式会社ブリヂストン | Recognition method of tire image and recognition device of tire image |
JP2019125204A (en) | 2018-01-17 | 2019-07-25 | 株式会社東芝 | Target recognition device, target recognition method, program and convolution neural network |
WO2019146466A1 (en) | 2018-01-25 | 2019-08-01 | 株式会社リクルート | Information processing device, moving-image retrieval method, generation method, and program |
JP2021105559A (en) | 2019-12-26 | 2021-07-26 | 横浜ゴム株式会社 | Tire wear degree determination device, tire wear degree determination method and program |
JP2021152826A (en) | 2020-03-25 | 2021-09-30 | 株式会社デンソー | Information processing device, subject classification method, and subject classification program |
JP2021533029A (en) | 2018-08-06 | 2021-12-02 | ブリヂストン ヨーロッパ エヌブイ/エスエイBridgestone Europe Nv/Sa | Tread wear monitoring system and method |
JP7020581B1 (en) | 2021-10-06 | 2022-02-16 | 住友ゴム工業株式会社 | How to estimate the condition of the tire |
JP2022029137A (en) | 2020-08-04 | 2022-02-17 | 国立大学法人東京工業大学 | Method and system for determining grade of screen part of electronic apparatus |
JP2022521836A (en) | 2019-04-01 | 2022-04-12 | ブリヂストン アメリカズ タイヤ オペレーションズ、 エルエルシー | Systems and methods for vehicle tire performance modeling and feedback |
-
2022
- 2022-06-16 JP JP2022097465A patent/JP7515189B2/en active Active
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2019035626A (en) | 2017-08-10 | 2019-03-07 | 株式会社ブリヂストン | Recognition method of tire image and recognition device of tire image |
JP2019125204A (en) | 2018-01-17 | 2019-07-25 | 株式会社東芝 | Target recognition device, target recognition method, program and convolution neural network |
WO2019146466A1 (en) | 2018-01-25 | 2019-08-01 | 株式会社リクルート | Information processing device, moving-image retrieval method, generation method, and program |
JP2021533029A (en) | 2018-08-06 | 2021-12-02 | ブリヂストン ヨーロッパ エヌブイ/エスエイBridgestone Europe Nv/Sa | Tread wear monitoring system and method |
JP2022521836A (en) | 2019-04-01 | 2022-04-12 | ブリヂストン アメリカズ タイヤ オペレーションズ、 エルエルシー | Systems and methods for vehicle tire performance modeling and feedback |
JP2021105559A (en) | 2019-12-26 | 2021-07-26 | 横浜ゴム株式会社 | Tire wear degree determination device, tire wear degree determination method and program |
JP2021152826A (en) | 2020-03-25 | 2021-09-30 | 株式会社デンソー | Information processing device, subject classification method, and subject classification program |
JP2022029137A (en) | 2020-08-04 | 2022-02-17 | 国立大学法人東京工業大学 | Method and system for determining grade of screen part of electronic apparatus |
JP7020581B1 (en) | 2021-10-06 | 2022-02-16 | 住友ゴム工業株式会社 | How to estimate the condition of the tire |
Also Published As
Publication number | Publication date |
---|---|
JP2023183769A (en) | 2023-12-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR102418446B1 (en) | Picture-based vehicle damage assessment method and apparatus, and electronic device | |
JP7110414B2 (en) | Image-based vehicle damage determination method, apparatus, and electronic device | |
CN112912920B (en) | Point cloud data conversion method and system for 2D convolutional neural network | |
JP6349814B2 (en) | Road surface state measuring method, road surface deterioration point identifying method, information processing apparatus, and program | |
KR101896406B1 (en) | Road crack detection apparatus of pixel unit and method thereof, and computer program for executing the same | |
KR20190069457A (en) | IMAGE BASED VEHICLES LOSS EVALUATION METHOD, DEVICE AND SYSTEM, | |
US10552982B2 (en) | Method for automatically establishing extrinsic parameters of a camera of a vehicle | |
JP6398979B2 (en) | Video processing apparatus, video processing method, and video processing program | |
CN110103953A (en) | For assisting method, equipment, medium and the system of the Driving control of vehicle | |
CN108389392A (en) | A kind of traffic accident responsibility identification system based on machine learning | |
Siegel et al. | Automotive diagnostics as a service: An artificially intelligent mobile application for tire condition assessment | |
US20220194434A1 (en) | Apparatus for controlling autonomous, system having the same, and method thereof | |
CN116964588A (en) | Target detection method, target detection model training method and device | |
JP7515189B2 (en) | System and method for determining tire tread wear using deep artificial neural network | |
US20210056346A1 (en) | Annotation assisting method, annotation assisting device, and recording medium having annotation assisting program recorded thereon | |
US20230419469A1 (en) | Tire tread wear determination system and method using deep artificial neural network | |
KR102425320B1 (en) | Tire tread wear determination system and method using deep artificial neural network | |
EP4296089A1 (en) | Tire tread wear determination system and method using deep artificial neural network | |
CN114882552A (en) | Method for checking wearing state of person mask in operation vehicle based on deep learning | |
US20210390847A1 (en) | Driving assistance device and method, and storage medium in which program is stored | |
WO2024142700A1 (en) | Tire outer-damage monitoring device, and tire outer-damage monitoring method | |
CN111382678B (en) | Tourist bus passenger flow statistical algorithm based on improved CNN network | |
Anamika et al. | Deep Digital Image Correlation Based Strain Monitoring Inside Car Tire Using A Single Wireless Camera | |
Mahesh et al. | Formulation of Pattern Recognition Framework-Analysis and Detection of Tyre Cracks Utilizing Integrated Texture Features and Ensemble Learning Methods | |
WO2024142678A1 (en) | Tire wear monitoring device and tire wear monitoring method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220616 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230329 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230620 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20231004 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20231215 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240319 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240403 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240529 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240625 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7515189 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |