JP7515189B2

JP7515189B2 - System and method for determining tire tread wear using deep artificial neural network

Info

Publication number: JP7515189B2
Application number: JP2022097465A
Authority: JP
Inventors: チョ，ジェヨン; キム，ボソン
Original assignee: オートペディアカンパニーリミテッド
Priority date: 2022-06-16
Filing date: 2022-06-16
Publication date: 2024-07-12
Anticipated expiration: 2042-06-16
Also published as: JP2023183769A

Description

本発明は，タイヤトレッド面摩耗判断システム及び方法に関し，特に，単一画像のみで深層人工ニューラルネットワークを用いてタイヤトレッド面の摩耗状態を自動的に判断するシステム及び方法に関する。 The present invention relates to a system and method for determining tire tread wear, and in particular to a system and method for automatically determining the wear state of a tire tread surface using a deep artificial neural network with only a single image.

市内の乗用車及び貨物車に装着されるタイヤは，走行距離に比例してトレッド面が摩耗及び侵食する。よって，安全な走行のためには，一定レベル以上の摩耗が進んだタイヤは交換しなければならない。 The tread surfaces of tires installed on passenger cars and freight vehicles in the city wear and erode in proportion to the distance traveled. Therefore, to ensure safe driving, tires that have worn beyond a certain level must be replaced.

図１は，摩耗限界線と呼ばれる摩耗度測定用構造を示す。図１を参照すると，各車両のタイヤメーカーは，タイヤトレッド面の摩耗状態の客観的な判断のために，摩耗限界線２と呼ばれる摩耗度測定用構造をタイヤトレッド面に形成して生産している。しかし，専門的な知識のない一般消費者は，このような摩耗限界線２を活用しておらず，肉眼上で自動車のタイヤ摩耗状態を自ら判断するのに困難を経験している。このため，タイヤの交換時期が遅れる或いは交換が不要な状況で交換が必要であるか否かを調べるために，自動車整備所及びタイヤ交換店を不必要に訪れる状況が発生する。 Figure 1 shows a structure for measuring wear called a wear limit line. Referring to Figure 1, tire manufacturers for each vehicle produce tires with a structure for measuring wear called a wear limit line 2 formed on the tire tread surface in order to objectively judge the wear state of the tire tread surface. However, ordinary consumers without specialized knowledge do not utilize such wear limit line 2 and experience difficulties in judging the wear state of their automobile tires with the naked eye. This leads to situations where the timing of tire replacement is delayed or where unnecessary visits to automobile repair shops and tire replacement shops are made to check whether replacement is necessary or not when replacement is not necessary.

これに関連して，タイヤトレッド溝の深さを一々測定する必要がないように，特許文献１は，タイヤ摩耗度測定方法及びその装置を開示している。前記特許文献１は，タイヤ摩耗度測定装置がタイヤに対する動画画像を受信すると，これに基づいて３次元形状の画像を生成し，３次元形成の画像内トレッド領域の深さに基づいてタイヤトレッドの摩耗度を測定できるようにする。 In this regard, Patent Document 1 discloses a tire wear measurement method and device so that there is no need to measure the depth of the tire tread grooves each time. In Patent Document 1, when the tire wear measurement device receives a video image of the tire, it generates a three-dimensional shape image based on the video image, and makes it possible to measure the wear of the tire tread based on the depth of the tread area in the three-dimensional image.

また，タイヤが過度に摩耗したことを自動的に警告することができるように，特許文献２は，タイヤ摩耗判断装置及び方法を開示している。前記特許文献２は，別途のセンサ部が算出した車両の制動距離に基づいてタイヤの摩耗度合いを判断できるようにする。 Also, in order to automatically warn of excessive tire wear, Patent Document 2 discloses a tire wear determination device and method. Patent Document 2 makes it possible to determine the degree of tire wear based on the vehicle braking distance calculated by a separate sensor unit.

このように従来の場合，タイヤの摩耗度合いを自動的に判断する先行技術が多数提案されているが，タイヤトレッド面の摩耗状態測定のために動画を撮影して分析する複雑な作業が必要であり，別途のセンサが要求されるので，限界が存在する。そこで，本発明は，科学技術情報通信部の２０２０年人工知能オンライン競進大会優秀成果企業事業化支援を通じて導出されたものである（課題番号：Ａ０７１２－２０－１０１５）。 As such, many prior art methods have been proposed to automatically determine the degree of tire wear. However, they have limitations because they require the complicated task of taking and analyzing video to measure the wear condition of the tire tread surface, and they also require separate sensors. Therefore, the present invention was derived through the Ministry of Science and ICT's 2020 Artificial Intelligence Online Competition Outstanding Companies Commercialization Support (Project Number: A0712-20-1015).

韓国登録特許第１０－１５３４２５９号Korean Patent No. 10-1534259 韓国登録特許第１０－１４６９５６３号Korean Patent No. 10-1469563

本発明の目的は，単一画像のみを活用してタイヤ摩耗度を判断し，アルゴリズム演算に必要な計算量を減らすことにある。 The objective of this invention is to determine the degree of tire wear using only a single image, thereby reducing the amount of calculation required for algorithmic operations.

本発明の他の目的は，別途のセンサなしでユーザのモバイルデバイス及び一般撮影装置を用いて，簡単にタイヤトレッド面の摩耗状態を測定できるようにすることにある。 Another object of the present invention is to enable a user to easily measure the wear condition of a tire tread surface using a mobile device and a general imaging device without a separate sensor.

上記の目的を達成するために，本発明は，タイヤトレッド面の画像を受信する画像受信部と，前記画像受信部が受信した画像からタイヤ部分と背景部分が分割された画像を生成する画像分割部と，学習された深層人工ニューラルネットワークを用いて，前記画像分割部が生成した画像上のタイヤトレッド面の摩耗度を普通，交換，又は危険のいずれかとして出力する出力部と，を含むことを一特徴とする。 To achieve the above object, the present invention is characterized by including an image receiving unit that receives an image of a tire tread surface, an image segmentation unit that generates an image in which a tire portion and a background portion are separated from the image received by the image receiving unit, and an output unit that uses a trained deep artificial neural network to output the degree of wear of the tire tread surface on the image generated by the image segmentation unit as either normal, replacement, or dangerous.

好ましくは，前記画像分割部は，前記画像受信部が受信した画像の各ピクセルがタイヤに該当する確率を抽出する確率抽出モジュールを含むことができる。 Preferably, the image segmentation unit may include a probability extraction module that extracts the probability that each pixel of the image received by the image receiving unit corresponds to a tire.

好ましくは，前記画像分割部は，前記確率抽出モジュールが抽出した確率を，前記画像受信部が受信した画像に対応するピクセル別に乗じる確率乗算モジュールをさらに含むことができる。 Preferably, the image segmentation unit may further include a probability multiplication module that multiplies the probability extracted by the probability extraction module by each pixel corresponding to the image received by the image receiving unit.

好ましくは，トレッド面の状態及びトレッド間の陰影情報に基づくタイヤ摩耗度に応じて普通，交換，又は危険のいずれかとしてラベル付けされた画像で深層人工ニューラルネットワークを学習させる学習部をさらに含むことができる。 Preferably, the system may further include a learning unit that trains the deep artificial neural network with images labeled as either normal, replacement, or danger depending on the degree of tire wear based on the condition of the tread surface and the shading information between the treads.

好ましくは，前記学習部は，単一画像で深層人工ニューラルネットワークを学習し，前記出力部は，単一画像でタイヤトレッド面の摩耗度を出力して，演算量を最小化することができる。 Preferably, the learning unit can train the deep artificial neural network using a single image, and the output unit can output the degree of wear of the tire tread surface using a single image, thereby minimizing the amount of calculations.

好ましくは，タイヤトレッド面の画像を撮影して前記画像受信部に伝送する画像撮影部をさらに含むことができる。 Preferably, the system may further include an image capturing unit that captures an image of the tire tread surface and transmits it to the image receiving unit.

好ましくは，前記出力部の出力値を表示するディスプレイ部をさらに含むことができる。 Preferably, the device may further include a display unit that displays the output value of the output unit.

また，本発明は，タイヤトレッド面の画像を受信する画像受信段階と，前記画像受信段階で受信した画像からタイヤ部分と背景部分を分割する画像分割段階と，トレッド面の状態及びトレッド間の陰影情報に基づくタイヤの摩耗度に応じて普通，交換，又は危険のいずれかとしてラベル付けされた画像で深層人工ニューラルネットワークを学習させる学習段階と，学習された深層人工ニューラルネットワークを用いて，前記画像分割段階で生成した画像上のタイヤトレッド面の摩耗度を普通，交換，又は危険のいずれかとして出力する出力段階と，を含むことを他の特徴とする。 The present invention is also characterized in that it includes an image receiving step of receiving an image of a tire tread surface, an image segmentation step of segmenting the image received in the image receiving step into a tire portion and a background portion, a learning step of training a deep artificial neural network with an image labeled as either normal, replacement, or danger according to the degree of tire wear based on the state of the tread surface and shading information between the treads, and an output step of outputting the degree of tire tread wear on the image generated in the image segmentation step as either normal, replacement, or danger using the trained deep artificial neural network.

好ましくは，前記画像分割段階は，前記画像受信段階で受信した画像の各ピクセルがタイヤに該当する確率を抽出する確率抽出段階を含むことができる。 Preferably, the image segmentation step may include a probability extraction step of extracting the probability that each pixel of the image received in the image receiving step corresponds to a tire.

好ましくは，前記画像分割段階は，前記確率抽出段階で抽出した確率を前記画像受信段階が受信した画像に対応するピクセル別に乗じる確率乗算段階を含むことができる。 Preferably, the image segmentation step may include a probability multiplication step in which the probability extracted in the probability extraction step is multiplied by each pixel corresponding to the image received in the image receiving step.

本発明によれば，人工ニューラルネットワークモデルを用いてタイヤトレッド面の摩耗度を測定する画像分割部と出力部が単一画像のみを活用してタイヤ摩耗度を判断することができるという利点がある。 The present invention has the advantage that the image segmentation unit and output unit, which use an artificial neural network model to measure the degree of wear on the tire tread surface, can determine the degree of tire wear using only a single image.

また，本発明は，ユーザのカメラを用いて別途のセンサなしでトレッド面の摩耗状態を測定することができるという利点がある。 Another advantage of the present invention is that it allows the wear condition of the tread surface to be measured using the user's camera without the need for a separate sensor.

摩耗限界線と呼ばれる摩耗度測定用の構造を示す。A structure for measuring wear level, called the wear limit line, is shown. 本発明の実施形態によるタイヤトレッド面摩耗判断システムの構成図を示す。1 shows a configuration diagram of a tire tread surface wear determination system according to an embodiment of the present invention. 本発明の実施形態によるアルゴリズム演算がユーザ端末で行われるタイヤトレッド面摩耗判断システムの構成図を示す。FIG. 1 shows a configuration diagram of a tire tread wear determination system in which algorithm calculations according to an embodiment of the present invention are performed on a user terminal. 本発明の実施形態によるアルゴリズム演算がサーバで行われるタイヤトレッド面摩耗判断システムの構成図を示す。1 shows a configuration diagram of a tire tread surface wear determination system in which algorithm calculations are performed on a server according to an embodiment of the present invention. 本発明の実施形態による深層人工ニューラルネットワーク構造を示す。1 illustrates a deep artificial neural network structure according to an embodiment of the present invention.

以下，添付図面を参照して本発明を詳細に説明する。ただし，本発明が例示的な実施形態によって制限又は限定されるものではない。各図面に提示された同一の参照符号は，実質的に同じ機能を行う部材を示す。 The present invention will now be described in detail with reference to the accompanying drawings. However, the present invention is not limited or restricted by the exemplary embodiments. The same reference numerals in the drawings indicate components that perform substantially the same functions.

本発明の目的及び効果は，下記の説明によって自然に理解されるか或いはより明らかにされることができるが，下記の記載のみに本発明の目的及び効果が制限されるものではない。また，本発明を説明するにあたり，本発明による公知の技術についての具体的な説明が，本発明の要旨を不要に不明確にするおそれがあると判断された場合には，その詳細な説明を省略する。 The objectives and effects of the present invention will be naturally understood or will become clearer from the following description, but the objectives and effects of the present invention are not limited to the following description alone. Furthermore, in explaining the present invention, if it is determined that a specific description of known technology related to the present invention may unnecessarily make the gist of the present invention unclear, the detailed description will be omitted.

図２は，本発明の実施形態によるタイヤトレッド面摩耗判断システム１の構成図を示す。図２を参照すると，タイヤトレッド面摩耗判断システム１は，ユーザ端末１０とサーバ３０を含むことができる。タイヤトレッド面摩耗判断システム１は，画像撮影部１００，画像受信部２００，画像分割部３００，出力部４００，ディスプレイ部５００，及び情報記憶部７００を含むことができる。 Figure 2 shows a configuration diagram of a tire tread wear determination system 1 according to an embodiment of the present invention. Referring to Figure 2, the tire tread wear determination system 1 may include a user terminal 10 and a server 30. The tire tread wear determination system 1 may include an image capturing unit 100, an image receiving unit 200, an image dividing unit 300, an output unit 400, a display unit 500, and an information storage unit 700.

タイヤトレッド面摩耗判断システム１は，一般の運転者が所持しているユーザ端末１０で撮影された単一画像４のみでタイヤトレッド面の摩耗状態を判断することができる。タイヤトレッド面摩耗判断システム１は，大量のタイヤトレッド面画像，及び当該画像から判断された交換の必要如何を深層人工ニューラルネットワークモデルに注入して学習させることができる。タイヤトレッド面摩耗判断システム１は，単一画像４のトレッド面状態及びトレッド間の陰影情報に基づいて摩耗度を判断することができる。 The tire tread wear judgment system 1 can judge the wear state of the tire tread surface using only a single image 4 taken by a user terminal 10 carried by an ordinary driver. The tire tread wear judgment system 1 can input a large number of tire tread surface images and the necessity of replacement judged from the images into a deep artificial neural network model for learning. The tire tread wear judgment system 1 can judge the degree of wear based on the tread surface condition of the single image 4 and the shading information between the treads.

タイヤトレッド面摩耗判断システム１は，タイヤ交換店の職員が交換店を訪れた顧客車両のタイヤトレッド面の摩耗度を簡便に判断し，顧客に案内する用途としても用いることができる。 The tire tread wear judgment system 1 can also be used by tire shop staff to easily judge the degree of wear on the tire tread of a customer's vehicle visiting the tire shop and provide guidance to the customer.

タイヤトレッド面摩耗判断システム１は，摩耗度分析が遠隔で行われ得るので，ＡＰＩ形態で供給できる。 The tire tread wear assessment system 1 can be supplied in API form, since wear analysis can be performed remotely.

ユーザ端末１０は，携帯が可能であり，ネットワークを介してデータを送受信することができる端末であって，スマートフォン，ノートブックなどを含む。このとき，ユーザ端末１０は，本発明の実施形態によるタイヤ摩耗度を出力するためのソフトウェアなどがインストールされた端末であってもよい。ユーザ端末１０は，サーバ３０と無線又は有線ネットワークで接続されることができる。 The user terminal 10 is a portable terminal capable of transmitting and receiving data via a network, and includes a smartphone, a notebook, and the like. In this case, the user terminal 10 may be a terminal in which software for outputting the degree of tire wear according to an embodiment of the present invention is installed. The user terminal 10 may be connected to the server 30 via a wireless or wired network.

サーバ３０は，深層人工ニューラルネットワークの学習のために大量の演算が可能なように構成されることができる。サーバ３０は，ユーザ端末１０と有線又は無線ネットワークで接続されることができる。 The server 30 can be configured to perform large amounts of calculations for training the deep artificial neural network. The server 30 can be connected to the user terminal 10 via a wired or wireless network.

画像撮影部１００は，タイヤトレッド面の画像を撮影して画像受信部２００に伝送することができる。画像撮影部１００は，ユーザ端末１０に備えられていてもよく，第３の装置であってもよい。画像撮影部１００は，撮影された画像を画像受信部２００に伝送することができる。画像撮影部１００は，画像受信部２００と無線又は有線ネットワークで接続されることができる。画像撮影部１００は，無線で画像受信部２００と接続されたとき，ＣＤＭＡ(Code Division Multiple Access)，ＷＣＤＭＡ（登録商標）（Wideband CDMA），ＬＴＥ（Long Term Evolution），又はＷｉＦｉなどの広義の移動通信網を使用することができる。 The image capturing unit 100 can capture an image of the tire tread surface and transmit it to the image receiving unit 200. The image capturing unit 100 can be provided in the user terminal 10 or a third device. The image capturing unit 100 can transmit the captured image to the image receiving unit 200. The image capturing unit 100 can be connected to the image receiving unit 200 via a wireless or wired network. When the image capturing unit 100 is connected to the image receiving unit 200 wirelessly, it can use a broad mobile communication network such as CDMA (Code Division Multiple Access), WCDMA (registered trademark) (Wideband CDMA), LTE (Long Term Evolution), or WiFi.

ディスプレイ部５００は，出力部４００の出力値を表示することができる。ディスプレイ部５００は，ユーザ端末１０に備えられていてもよく，第３の装置であってもよい。ディスプレイ部５００は，ユーザ又は運転者が撮影した画像と共に，タイヤトレッド面の摩耗度を表示することができる。 The display unit 500 can display the output value of the output unit 400. The display unit 500 may be provided in the user terminal 10 or may be a third device. The display unit 500 can display the degree of wear of the tire tread surface together with an image taken by the user or driver.

情報記憶部７００は，学習部６００で使用されるラベル付き画像を記憶することができる。情報記憶部７００は，ユーザ又は運転者がタイヤトレッド面の摩耗度を測定するために撮影した画像を記憶することができる。情報記憶部７００は，ユーザ又は運転者が撮影した画像を深層人工ニューラルネットワークの学習に使用されるようにすることができる。情報記憶部７００は，以前に測定したタイヤトレッド面の摩耗度出力値を記憶することができる。 The information storage unit 700 can store labeled images used by the learning unit 600. The information storage unit 700 can store images taken by a user or driver to measure the degree of wear of a tire tread surface. The information storage unit 700 can cause the images taken by a user or driver to be used for learning the deep artificial neural network. The information storage unit 700 can store previously measured tire tread surface wear output values.

画像受信部２００は，タイヤトレッド面の画像を受信することができる。画像受信部２００は，画像撮影部１００又は一般デジタルカメラで撮影した画像を受信することができる。画像受信部２００は，第３の装置と有線又は無線ネットワークで接続され，第３の装置が撮影又は保存した画像を受信することができる。画像受信部２００は，タイヤトレッド面の画像を受信して画像分割部３００に伝達することができる。 The image receiving unit 200 can receive an image of the tire tread surface. The image receiving unit 200 can receive an image taken by the image capturing unit 100 or a general digital camera. The image receiving unit 200 is connected to a third device via a wired or wireless network and can receive an image captured or stored by the third device. The image receiving unit 200 can receive an image of the tire tread surface and transmit it to the image dividing unit 300.

画像受信部２００は，受信した画像を前処理することができる。画像受信部２００は，受信した画像のピクセル値を正規化する方式の前処理を行うことができる。画像受信部２００は，受信した画像のピクセル値が０～２５５の間である場合，ピクセル値を－１～１の間に前処理（スケーリング）することができる。画像受信部２００は，深層人工ニューラルネットワークに入力されるように，受信した画像のサイズと解像度を調整する前処理を行うことができる。 The image receiving unit 200 can pre-process the received image. The image receiving unit 200 can perform pre-processing by normalizing pixel values of the received image. If the pixel values of the received image are between 0 and 255, the image receiving unit 200 can pre-process (scale) the pixel values to between -1 and 1. The image receiving unit 200 can perform pre-processing to adjust the size and resolution of the received image so that it can be input to a deep artificial neural network.

画像分割部３００は，画像受信部２００が受信した画像からタイヤ部分と背景部分が分割された画像を生成することができる。画像分割部３００は，背景領域に対する画像情報を減らして，出力部４００で深層人工ニューラルネットワークがタイヤトレッド面に集中して演算するようにすることができる。画像分割部３００は，タイヤ部分が分割された画像を生成し，背景部位に少なく影響されるようにすることができる。したがって，画像分割部３００は，出力部４００からタイヤトレッド面の摩耗度が高精度で出力されるようにすることができる。 The image segmentation unit 300 can generate an image in which the tire portion and the background portion are separated from the image received by the image receiving unit 200. The image segmentation unit 300 can reduce image information for the background region so that the deep artificial neural network in the output unit 400 can focus its calculations on the tire tread surface. The image segmentation unit 300 can generate an image in which the tire portion is separated so that it is less affected by the background portion. Therefore, the image segmentation unit 300 can enable the wear degree of the tire tread surface to be output with high accuracy from the output unit 400.

図５は，本発明の実施形態による深層人工ニューラルネットワーク構造を示す。図５を参照すると，画像分割部３００は確率抽出モジュール３１０及び確率乗算モジュール３３０を含むことができる。 FIG. 5 illustrates a deep artificial neural network structure according to an embodiment of the present invention. Referring to FIG. 5, the image segmentation unit 300 may include a probability extraction module 310 and a probability multiplication module 330.

確率抽出モジュール３１０は，画像受信部２００が受信した画像の各ピクセルがタイヤに該当する確率を抽出することができる。確率抽出モジュール３１０は，セグメンテーションモデル（segmentation model）を用いてピクセルレベルで各ピクセルがタイヤに該当するのか背景に該当するのかに対する確率（Tread Probability Mask）を抽出することができる。確率抽出モジュール３１０は，確率を求める基準がユーザによって設定されない。すなわち，確率抽出モジュール３１０は，確率を求める基準が深層人工ニューラルネットワークを介した学習によって設定される。 The probability extraction module 310 can extract the probability that each pixel of the image received by the image receiving unit 200 corresponds to a tire. The probability extraction module 310 can extract the probability (Tread Probability Mask) of whether each pixel corresponds to a tire or the background at the pixel level using a segmentation model. In the probability extraction module 310, the criteria for determining the probability are not set by the user. In other words, in the probability extraction module 310, the criteria for determining the probability are set by learning via a deep artificial neural network.

確率抽出モジュール３１０は，特定のピクセルがタイヤに該当する確率を０～１の間の値に抽出することができる。確率抽出モジュール３１０が確率を高く抽出した場合，当該ピクセルはタイヤの一部である確率が高いものと判断することができる。 The probability extraction module 310 can extract the probability that a particular pixel corresponds to a tire to a value between 0 and 1. If the probability extraction module 310 extracts a high probability, it can be determined that the pixel is highly likely to be part of a tire.

確率抽出モジュール３１０が抽出した確率が一定の基準値以上となる場合，該当ピクセルはタイヤの一部としてみなすことができる。確率抽出モジュール３１０は，ユーザによって前記基準値が設定されることができる。また，確率抽出モジュール３１０は，深層人工ニューラルネットワークの学習を介して前記基準値が設定されることもできる。一実施形態として，確率抽出モジュール３１０で抽出した確率が０．５以上であるとき，当該ピクセルはタイヤの一部として見なすことができる。 When the probability extracted by the probability extraction module 310 is equal to or greater than a certain reference value, the pixel can be considered as part of a tire. The reference value can be set by a user in the probability extraction module 310. The reference value can also be set in the probability extraction module 310 through learning of a deep artificial neural network. In one embodiment, when the probability extracted by the probability extraction module 310 is equal to or greater than 0.5, the pixel can be considered as part of a tire.

確率乗算モジュール３３０は，確率抽出モジュールが抽出した確率を，画像受信部２００が受信した画像に対応するピクセル別に乗じることができる。確率乗算モジュール３３０は，ピクセル別にタイヤに該当する確率を既存の画像のピクセル値に乗じて，タイヤと関係のない背景部分の情報を希釈することができる。確率乗算モジュール３３０は，抽出された確率を入力された画像に対応するピクセル別に乗じて，背景領域に対する情報が希釈され，タイヤトレッド面に関する情報が強調された画像を生成することができる。 The probability multiplication module 330 can multiply the probability extracted by the probability extraction module by each pixel corresponding to the image received by the image receiving unit 200. The probability multiplication module 330 can dilute information of background parts unrelated to tires by multiplying the pixel value of an existing image by the probability that each pixel corresponds to a tire. The probability multiplication module 330 can multiply the extracted probability by each pixel corresponding to an input image to generate an image in which information about the background area is diluted and information about the tire tread surface is emphasized.

確率乗算モジュール３３０は，ＣＮＮベースの深層人工ニューラルネットワークで生成されるモデルであるActivation Map３０１にTread Probability Mask３０３を乗じたMultiplied Activation Map３０５を生成することができる。確率乗算モジュール３３０は，Multiplied Activation Map３０５を出力部４００に入力することができる。 The probability multiplication module 330 can generate a multi- tipped activation map 305 by multiplying an activation map 301, which is a model generated by a CNN-based deep artificial neural network, by a tread probability mask 303. The probability multiplication module 330 can input the multi -tipped activation map 305 to an output unit 400.

Multiplied Activation Map３０５は，タイヤ部分と背景部分が分割された画像である。Multiplied Activation Map３０５は，出力部４００がタイヤトレッド面の摩耗度を出力するとき，背景部位に少なく影響されるようにすることができる。 The multi -tiplied activation map 305 is an image in which a tire portion and a background portion are divided. The multi- tiplied activation map 305 enables the output unit 400 to output the degree of wear of the tire tread surface without being influenced by the background portion.

出力部４００は，学習した深層人工ニューラルネットワークを用いて，画像分割部３００が生成した画像上のタイヤトレッド面の摩耗度を普通，交換，又は危険のいずれかとして出力することができる。出力部４００は，画像分割部３００が生成した画像を学習された深層人工ニューラルネットワークに入力して画像内のピクセルを分析する方式でタイヤトレッド面の摩耗状態を測定することができる。 The output unit 400 can use the trained deep artificial neural network to output the degree of wear of the tire tread surface on the image generated by the image segmentation unit 300 as either normal, replacement, or dangerous. The output unit 400 can measure the wear state of the tire tread surface by inputting the image generated by the image segmentation unit 300 to the trained deep artificial neural network and analyzing the pixels in the image.

出力部４００は，深層人工ニューラルネットワークモデルとして，人工ニューラルネットワークベースのニューラルネットワークアルゴリズム（ＤＮＮ，ＣＮＮ）を使用することができる。深層人工ニューラルネットワークモデルとしてＣＮＮ（Convolutional Neural Network）を使用する場合，最小限の前処理だけでも人工ニューラルネットワークを使用することができる。ＣＮＮ（畳み込みニューラルネットワーク）は，１つ又は複数の合成積層とその上に配置された一般的な人工ニューラルネットワーク層で構成されており，重みと統合層をさらに活用する。ＣＮＮ（Convolutional Neural Network）は，従来の人工ニューラルネットワーク技法よりも容易に訓練され，少ない数のパラメータを使用するという利点がある。 The output unit 400 can use an artificial neural network-based neural network algorithm (DNN, CNN) as a deep artificial neural network model. When using a CNN (Convolutional Neural Network) as a deep artificial neural network model, the artificial neural network can be used with only minimal preprocessing. A CNN (Convolutional Neural Network) consists of one or more synthetic stacks and a general artificial neural network layer placed on top of it, further utilizing weight and integration layers. A CNN (Convolutional Neural Network) has the advantage of being easier to train and using a smaller number of parameters than traditional artificial neural network techniques.

出力部４００が出力する値から，運転者はタイヤ交換の必要性を判断することができる。出力部４００が出力する値が「普通」の場合には，交換の必要性が低いことを意味し，「交換」の場合には，交換の必要性があることを意味し，「危険」の場合には，直ちに交換の必要性があることを意味する。 The driver can determine the need for tire replacement from the value output by the output unit 400. When the value output by the output unit 400 is "normal," it means that there is little need for replacement, when it is "replacement," it means that there is a need for replacement, and when it is "dangerous," it means that there is an immediate need for replacement.

学習部６００は，トレッド面の状態及びトレッド間の陰影情報に基づくタイヤ摩耗度に応じて普通，交換，又は危険のいずれかとしてラベル付けされた画像で深層人工ニューラルネットワークを学習させることができる。学習部６００で使用される画像は，１０年以上タイヤ摩耗度を評価してきた３人以上のタイヤ専門家アノテーショングループを構成して投票（majority voting）方式で普通，交換，又は危険のいずれか一つに区分してラベル付けされたものであり得る。 The learning unit 600 can train the deep artificial neural network with images labeled as normal, replacement, or danger depending on the degree of tire wear based on the condition of the tread surface and the shading information between the treads. The images used in the learning unit 600 can be classified and labeled as normal, replacement, or danger using a majority voting method by forming an annotation group of three or more tire experts who have been evaluating tire wear for more than 10 years.

学習部６００は，学習させる深層人工ニューラルネットワークの入力値として，タイヤ部分と背景部分が分割された画像を使用することができる。学習部６００は，画像分割部３００を経た画像を入力値として使用することができる。学習部６００は，タイヤ部分が強調された画像を用いて学習の正確度と精密度を高めることができる。 The learning unit 600 can use an image in which the tire portion and the background portion are separated as input values for the deep artificial neural network to be trained. The learning unit 600 can use an image that has been processed by the image segmentation unit 300 as input values. The learning unit 600 can improve the accuracy and precision of learning by using an image in which the tire portion is emphasized.

学習部６００は，単一画像で深層人工ニューラルネットワークを学習し，出力部４００は，単一画像でタイヤトレッド面の摩耗度を出力することにより，タイヤトレッド面摩耗判断システム１の演算量を最小化することができる。単一画像４は，アルゴリズム演算において，動画や複数の画像よりも必要な計算量が少ないという利点がある。 The learning unit 600 learns the deep artificial neural network using a single image, and the output unit 400 outputs the degree of wear of the tire tread surface using a single image, thereby minimizing the amount of calculations required by the tire tread surface wear determination system 1. A single image 4 has the advantage that it requires less calculations in algorithm calculations than a video or multiple images.

本実施形態によれば，ユーザ又は運転者は，単一画像４のみで簡単にタイヤトレッド面の摩耗度を測定することができる。ユーザ又は運転者は，スマートフォンで撮影した単一画像４のみで，タイヤトレッド面の摩耗状態に応じて交換必要如何を普通，交換，又は危険の３段階として確認することができるので，タイヤの交換有無を確認するためにカーセンターを訪問しなくてもよい。 According to this embodiment, a user or driver can easily measure the degree of wear of the tire tread surface with only a single image 4. With only a single image 4 taken with a smartphone, a user or driver can check the necessity of tire replacement as one of three levels, normal, replacement, or danger, depending on the wear state of the tire tread surface, so there is no need to visit a car center to check whether or not a tire needs to be replaced.

図３は，本発明の実施形態によるアルゴリズム演算がユーザ端末１０で行われるタイヤトレッド面摩耗判断システム１の構成図を示す。図３を参照すると，ユーザ端末１０は，画像撮影部１００，画像受信部２００，画像分割部３００，出力部４００，及びディスプレイ部５００を含むことができる。サーバ３０は，学習部６００及び情報記憶部７００を含むことができる。本実施形態によれば，タイヤトレッド面摩耗判断システム１は，サーバ３０に含まれた学習部６００で深層人工ニューラルネットワークを学習させる。タイヤトレッド面摩耗判断システム１は，サーバ３０に含まれた学習部６００から出力部４００へ，学習された深層人工ニューラルネットワークを伝送する。タイヤトレッド面摩耗判断システム１は，ユーザ端末１０に含まれた画像分割部３００と出力部４００からタイヤトレッド面の摩耗度を出力する。 Figure 3 shows a configuration diagram of a tire tread wear determination system 1 in which an algorithm calculation according to an embodiment of the present invention is performed in a user terminal 10. Referring to Figure 3, the user terminal 10 may include an image capturing unit 100, an image receiving unit 200, an image dividing unit 300, an output unit 400, and a display unit 500. The server 30 may include a learning unit 600 and an information storage unit 700. According to this embodiment, the tire tread wear determination system 1 trains a deep artificial neural network in the learning unit 600 included in the server 30. The tire tread wear determination system 1 transmits the trained deep artificial neural network from the learning unit 600 included in the server 30 to the output unit 400. The tire tread wear determination system 1 outputs the degree of wear of the tire tread surface from the image dividing unit 300 and the output unit 400 included in the user terminal 10.

図４は，本発明の実施形態によるアルゴリズム演算がサーバ３０で行われるタイヤトレッド面摩耗判断システムの構成図を示す。図４を参照して説明すると，ユーザ端末１０は，画像撮影部１００，画像受信部２００，及びディスプレイ部５００を含むことができる。サーバ３０は，画像分割部３００，出力部４００，学習部６００，及び情報記憶部７００を含むことができる。本実施形態によれば，タイヤトレッド面摩耗判断システム１は，サーバ３０に含まれた学習部６００で深層人工ニューラルネットワークを学習させる。タイヤトレッド面摩耗判断システム１は，ユーザ端末１０に含まれた画像受信部２００から，サーバ３０に含まれた画像分割部３００へ画像を伝送する。タイヤトレッド面摩耗判断システム１は，サーバ３０に含まれた画像分割部３００と出力部４００からタイヤトレッド面の摩耗度を出力する。 Figure 4 shows a configuration diagram of a tire tread wear determination system in which an algorithm calculation according to an embodiment of the present invention is performed in a server 30. Referring to Figure 4, the user terminal 10 can include an image capturing unit 100, an image receiving unit 200, and a display unit 500. The server 30 can include an image dividing unit 300, an output unit 400, a learning unit 600, and an information storage unit 700. According to this embodiment, the tire tread wear determination system 1 trains a deep artificial neural network in the learning unit 600 included in the server 30. The tire tread wear determination system 1 transmits an image from the image receiving unit 200 included in the user terminal 10 to the image dividing unit 300 included in the server 30. The tire tread wear determination system 1 outputs the degree of wear of the tire tread surface from the image dividing unit 300 and the output unit 400 included in the server 30.

本発明の他の実施形態として，タイヤトレッド面摩耗判断方法は，画像受信段階，画像分割段階，学習段階，及び出力段階を含むことができる。 In another embodiment of the present invention, the tire tread surface wear determination method can include an image receiving step, an image segmentation step, a learning step, and an output step.

画像受信段階は，タイヤトレッド面の画像を受信することができる。画像受信段階は，上述した画像受信部２００で行われる動作を意味する。 The image receiving step can receive an image of the tire tread surface. The image receiving step refers to the operation performed by the image receiving unit 200 described above.

画像分割段階は，画像受信段階で受信した画像からタイヤ部分と背景部分を分割することができる。画像分割段階は，上述した画像分割部３００で行われる動作を意味する。 The image segmentation step can segment the tire portion and the background portion from the image received in the image receiving step. The image segmentation step refers to the operation performed by the image segmentation unit 300 described above.

画像分割段階は，確率抽出段階及び確率乗算段階を含むことができる。 The image segmentation step can include a probability extraction step and a probability multiplication step.

確率抽出段階は，画像受信段階で受信した画像の各ピクセルがタイヤに該当する確率を抽出することができる。確率抽出段階は，上述した確率抽出モジュール３１０で行われる動作を意味する。 The probability extraction step can extract the probability that each pixel of the image received in the image receiving step corresponds to a tire. The probability extraction step refers to the operation performed in the probability extraction module 310 described above.

確率乗算段階は，確率抽出段階で抽出した確率を，前記画像受信段階が受信した画像に対応するピクセル別に乗じることができる。確率乗算段階は，前述の確率乗算モジュール３３０で行われる動作を意味する。 The probability multiplication step can multiply the probability extracted in the probability extraction step by each pixel corresponding to the image received in the image receiving step. The probability multiplication step refers to the operation performed in the probability multiplication module 330 described above.

学習段階は，トレッド面の状態及びトレッド間の陰影情報に基づくタイヤ摩耗度に応じて普通，交換，又は危険のいずれかとしてラベル付けされた画像で深層人工ニューラルネットワークを学習させることができる。学習段階は，上述した学習部６００で行われる動作を意味する。 The learning phase allows the deep artificial neural network to be trained with images that are labeled as either normal, replacement, or unsafe depending on the degree of tire wear based on the condition of the tread surface and the shading information between the treads. The learning phase refers to the operations performed by the learning unit 600 described above.

出力段階は，学習された深層人工ニューラルネットワークを用いて，前記画像分割段階で生成した画像上のタイヤトレッド面の摩耗度を普通，交換，又は危険のいずれかとして出力することができる。出力段階は，上述した出力部４００で行われる動作を意味する。 The output step can use the trained deep artificial neural network to output the degree of wear of the tire tread surface on the image generated in the image segmentation step as either normal, replacement, or danger. The output step refers to the operation performed by the output unit 400 described above.

タイヤトレッド面摩耗判断システム１は，ユーザ端末１０に記憶されて実行されることができる。タイヤトレッド面摩耗判断システム１は，アプリケーションの形態でユーザ端末１０に記憶されることができる。 The tire tread surface wear judgment system 1 can be stored and executed in a user terminal 10. The tire tread surface wear judgment system 1 can be stored in the user terminal 10 in the form of an application.

ユーザ又は運転者は，車両管理アプリケーションを実行して，アプリケーションに含まれたタイヤトレッド面摩耗判断システム１を実行させることができる。運転者は，アプリケーションで撮影部をタッチしてタイヤ部分を撮影することができる。アプリケーションでは，摩耗状態判断の正確度を高めるために例示写真を提示することができる。 The user or driver can execute a vehicle management application to execute the tire tread wear assessment system 1 included in the application. The driver can touch the image capture section in the application to take a picture of the tire. The application can provide example photos to improve the accuracy of the wear state assessment.

ユーザ又は運転者が撮影した単一画像４を画像受信部２００が受信し，出力部４００が摩耗状態を出力する。アプリケーションは，最終的な測定値に応じてタイヤ交換の必要性を普通，交換，又は危険のいずれかとしてユーザ端末１０に表示することができる。 The image receiving unit 200 receives a single image 4 taken by a user or driver, and the output unit 400 outputs the wear condition. Depending on the final measurement value, the application can display on the user terminal 10 the need for tire replacement as either normal, replacement, or danger.

本発明の実施形態による車両管理アプリケーションを用いると，単一画像４からの摩耗度測定を介して，車両に取り付けられる別途のセンサなしで，一般の運転者が保有しているモバイルデバイスのカメラ装置を利用して，運転者が直接トレッドの厚さを測定することなくタイヤの摩耗度をリアルタイムで確認することができる。 By using a vehicle management application according to an embodiment of the present invention, tire wear can be checked in real time without the driver having to measure the tread thickness directly by using the camera device of a mobile device carried by an ordinary driver, without the need for a separate sensor attached to the vehicle, through wear measurement from a single image 4.

以上，代表的な実施形態を介して本発明を詳細に説明したが，本発明の属する技術分野における通常の知識を有する者は，上述した実施形態に対して，本発明の範疇から逸脱することなく様々な変形が可能であることを理解するだろう。したがって，本発明の権利範囲は，説明した実施形態に限定されてはならず，後述する特許請求の範囲だけでなく，特許請求の範囲と均等概念から導出される全ての変更又は変形形態によって定められなければならない。 Although the present invention has been described in detail above through a representative embodiment, a person having ordinary knowledge in the technical field to which the present invention pertains will understand that various modifications to the above-described embodiment are possible without departing from the scope of the present invention. Therefore, the scope of the present invention should not be limited to the described embodiment, but should be determined not only by the claims described below, but also by all modifications or variations derived from the claims and their equivalent concepts.

１タイヤトレッド面摩耗判断システム
２摩耗限界線
４単一画像
１０ユーザ端末
３０サーバ
１００画像撮影部
２００画像受信部
３００画像分割部
３０１ Activation Map
３０３ Tread Probability Mask
３０５ Mutiplied Activation Map
３１０確率抽出モジュール
３３０確率乗算モジュール
４００出力部
５００ディスプレイ部
６００学習部
７００情報記憶部 Reference Signs List 1 Tire tread surface wear judgment system 2 Wear limit line 4 Single image 10 User terminal 30 Server 100 Image capture unit 200 Image receiving unit 300 Image division unit 301 Activation Map
303 Tread Probability Mask
305 Multiplied Activation Map
310 Probability extraction module 330 Probability multiplication module 400 Output section 500 Display section 600 Learning section 700 Information storage section

Claims

深層ニューラルネットワークを用いたタイヤトレッド面摩耗判断システムであって，
タイヤトレッド面の画像を受信する画像受信部と，
前記画像受信部が受信した画像からタイヤ部分と背景部分が分割された画像を生成する画像分割部と，
学習された深層人工ニューラルネットワークを用いて，前記画像分割部が生成した画像上のタイヤトレッド面の摩耗度を普通，交換，又は危険のいずれかとして出力する出力部と，を含み，
前記画像分割部は，前記画像受信部が受信した画像の各ピクセルがタイヤに該当する確率を抽出する確率抽出モジュールを含み，前記確率抽出モジュールが抽出した確率が一定の基準値以上となる場合，該当ピクセルをタイヤの一部としてみなし，トレッドプロバビリティマスク（Tread Probability Mask）を抽出すると共に，前記画像受信部が受信した画像からＣＮＮベースの深層人工ニューラルネットワークで生成されるモデルであるアクティベーションマップ（Activation Map）に前記トレッドプロバビリティマスク（Tread Probability Mask）を乗じてタイヤ部分と背景部分を分割したマルティプライドアクティベーションマップ（Multiplied Activation Map）を生成する確率乗算モジュールを含み，前記確率乗算モジュールは前記マルティプライドアクティベーションマップ（Multiplied Activation Map）を前記出力部に入力することを特徴とするタイヤトレッド面摩耗判断システム。 A tire tread wear judgment system using a deep neural network,
An image receiving unit that receives an image of a tire tread surface;
an image segmentation unit that generates an image in which a tire portion and a background portion are segmented from the image received by the image receiving unit;
and an output unit that outputs the degree of wear of the tire tread surface on the image generated by the image segmentation unit as either normal, replacement, or danger using a trained deep artificial neural network;
The image segmentation unit includes a probability extraction module that extracts a probability that each pixel of the image received by the image receiving unit corresponds to a tire, and if the probability extracted by the probability extraction module is equal to or greater than a certain reference value, the corresponding pixel is regarded as part of the tire and a tread probability mask is extracted, and a probability multiplication module that multiplies an activation map, which is a model generated by a CNN-based deep artificial neural network from the image received by the image receiving unit , by the tread probability mask to generate a multiplied activation map that divides a tire portion and a background portion, and the probability multiplication module inputs the multiplied activation map to the output unit .

トレッド面の状態に基づくタイヤ摩耗度に応じて普通，交換，又は危険のいずれかとしてラベル付けされた画像で深層人工ニューラルネットワークを学習させる学習部をさらに含む請求項１記載のタイヤトレッド面摩耗判断システム。 The tire tread wear judgment system of claim 1 further includes a learning unit that trains the deep artificial neural network with images labeled as normal, replacement, or danger depending on the degree of tire wear based on the condition of the tread surface.

前記学習部は，
単一画像で深層人工ニューラルネットワークを学習し，
前記出力部は，
単一画像でタイヤトレッド面の摩耗度を出力して，
演算量を最小化することを特徴とする請求項２記載のタイヤトレッド面摩耗判断システム。 The learning unit includes:
Train a deep artificial neural network with a single image,
The output unit includes:
Output the degree of wear on the tire tread surface in a single image.
3. The tire tread wear determination system according to claim 2 , wherein the amount of calculation is minimized.

タイヤトレッド面の画像を撮影して前記画像受信部に伝送する画像撮影部をさらに含むことを特徴とする請求項１記載のタイヤトレッド面摩耗判断システム。 The tire tread surface wear judgment system according to claim 1, further comprising an image capturing unit that captures an image of the tire tread surface and transmits it to the image receiving unit.

前記出力部の出力値を表示するディスプレイ部をさらに含むことを特徴とする請求項１記載のタイヤトレッド面摩耗判断システム。 The tire tread surface wear judgment system according to claim 1, further comprising a display unit that displays the output value of the output unit.

深層ニューラルネットワークを用いたタイヤトレッド面摩耗判断方法であって，
タイヤトレッド面の画像を受信する画像受信段階と，
前記画像受信段階で受信した画像からタイヤ部分と背景部分を分割する画像分割段階と，
トレッド面の状態に基づくタイヤの摩耗度に応じて普通，交換，又は危険のいずれかとしてラベル付けされた画像で深層人工ニューラルネットワークを学習させる学習段階と，
学習された深層人工ニューラルネットワークを用いて，前記画像分割段階で生成した画像上のタイヤトレッド面の摩耗度を出力部より普通，交換，又は危険のいずれかとして出力する出力段階と，を含み，
前記画像分割段階は，前記画像受信段階で画像受信部が受信した画像の各ピクセルがタイヤに該当する確率を抽出する確率抽出段階を含み，前記確率抽出段階で抽出した確率が一定の基準値以上となる場合，該当ピクセルをタイヤの一部としてみなし，トレッドプロバビリティマスク（Tread Probability Mask）を抽出すると共に，前記画像受信部が受信した画像からＣＮＮベースの深層人工ニューラルネットワークで生成されるモデルであるアクティベーションマップ（Activation Map）に前記トレッドプロバビリティマスク（Tread Probability Mask）を乗じてタイヤ部分と背景部分を分割したマルティプライドアクティベーションマップ（Multiplied Activation Map）を生成して，前記マルティプライドアクティベーションマップ（Multiplied Activation Map）を前記出力部に入力する確率乗算段階とを含むことを特徴とするタイヤトレッド面摩耗判断方法。 A method for determining tire tread wear using a deep neural network, comprising:
an image receiving step of receiving an image of a tire tread surface;
an image segmentation step of segmenting a tire portion and a background portion from the image received in the image receiving step;
a training phase in which a deep artificial neural network is trained on images that are labeled as either normal, replacement, or unsafe depending on the degree of wear of the tire based on the condition of the tread surface;
and an output step of outputting the degree of wear of the tire tread surface on the image generated in the image segmentation step as either normal, replacement, or danger from an output unit using the trained deep artificial neural network;
the image segmentation step includes a probability extraction step of extracting a probability that each pixel of the image received by the image receiving unit in the image receiving step corresponds to a tire, and if the probability extracted in the probability extraction step is equal to or greater than a certain reference value, the corresponding pixel is regarded as part of the tire and a tread probability mask is extracted, and a probability multiplication step of multiplying an activation map, which is a model generated by a CNN-based deep artificial neural network from the image received by the image receiving unit, by the tread probability mask to generate a multiplied activation map that divides a tire portion and a background portion, and inputting the multiplied activation map to the output unit.