KR102653768B1 - Tire life prediction method and system using tire life prediction model - Google Patents
Tire life prediction method and system using tire life prediction model Download PDFInfo
- Publication number
- KR102653768B1 KR102653768B1 KR1020220068835A KR20220068835A KR102653768B1 KR 102653768 B1 KR102653768 B1 KR 102653768B1 KR 1020220068835 A KR1020220068835 A KR 1020220068835A KR 20220068835 A KR20220068835 A KR 20220068835A KR 102653768 B1 KR102653768 B1 KR 102653768B1
- Authority
- KR
- South Korea
- Prior art keywords
- tire
- life prediction
- image
- deep learning
- tire life
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 71
- 238000013136 deep learning model Methods 0.000 claims abstract description 49
- 238000001514 detection method Methods 0.000 claims abstract description 25
- 238000010586 diagram Methods 0.000 description 18
- 238000012545 processing Methods 0.000 description 12
- 238000012937 correction Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 7
- 238000013135 deep learning Methods 0.000 description 5
- 238000013473 artificial intelligence Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 238000012423 maintenance Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 206010039203 Road traffic accident Diseases 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013145 classification model Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 239000000446 fuel Substances 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01M—TESTING STATIC OR DYNAMIC BALANCE OF MACHINES OR STRUCTURES; TESTING OF STRUCTURES OR APPARATUS, NOT OTHERWISE PROVIDED FOR
- G01M17/00—Testing of vehicles
- G01M17/007—Wheeled or endless-tracked vehicles
- G01M17/02—Tyres
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
타이어 수명 예측 모델을 이용한 타이어 수명 예측 방법 및 시스템이 개시된다. 일 실시예에 따른 타이어 수명 예측 시스템에 의해 수행되는 타이어 수명 예측 방법은, 타이어 수명 예측을 위한 어느 하나의 방법을 선택하는 단계; 상기 선택된 어느 하나의 방법에 따라 타이어 수명 예측 모델에 타이어 이미지를 입력받는 단계; 및 상기 타이어 수명 예측 모델을 이용하여 상기 입력받은 타이어 이미지에 대해 타이어 수명을 예측하는 단계를 포함하고, 상기 타이어 수명 예측 모델은, 객체 검출을 위한 딥러닝 모델과 깊이 추정을 위한 딥러닝 모델로 구성되어 타이어를 포함하는 학습 이미지 셋으로부터 타이어를 검출하고, 상기 검출된 타이어의 마모도 추정을 통해 타이어의 홈 깊이가 산출되도록 학습된 것일 수 있다. A tire life prediction method and system using a tire life prediction model are disclosed. A tire life prediction method performed by a tire life prediction system according to an embodiment includes selecting a method for predicting tire life; Receiving a tire image into a tire life prediction model according to any one of the selected methods; and predicting tire life for the input tire image using the tire life prediction model, wherein the tire life prediction model consists of a deep learning model for object detection and a deep learning model for depth estimation. It may be learned to detect a tire from a learning image set including a tire, and calculate the groove depth of the tire by estimating the wear of the detected tire.
Description
아래의 설명은 타이어 수명을 예측하는 기술에 관한 것이다.The explanation below is about technology for predicting tire life.
근래 자동차의 보급이 폭발적으로 늘어난 가운데, 차량 운행의 안전과 관련된 다양한 소모품의 주기적인 교체, 관리가 요구되고 있으며, 이를 간과함에 따른 사고도 적지않게 발생하고 있다.As the spread of automobiles has increased explosively in recent years, periodic replacement and management of various consumables related to the safety of vehicle operation are required, and a significant number of accidents are occurring due to overlooking this.
차량의 주요 관리 대상 중 하나로 도로를 주행하는 차량이 도로면과 접촉되는 타이어를 들 수 있으며, 고속으로 주행하는 차량에서 마모된 타이어의 손상은 대형 교통사고로 이어질 가능성이 크므로 타이어의 상태 확인 및 관리의 중요성은 매우 크다.One of the main maintenance items for vehicles is the tires that come into contact with the road surface when driving on the road. Damage to worn tires in vehicles traveling at high speeds is likely to lead to a major traffic accident, so check the condition of the tires and The importance of management is very great.
하지만, 타이어는 비교적 교체주기가 길어 운전자가 이를 상시 인지할 수 없을 뿐 아니라, 타이어에 대한 기본 지식이 없는 상태에서 관심있게 살펴보지 않으면 이상 여부를 쉽게 판별할 수 없다.However, tires have a relatively long replacement cycle, so not only are drivers unable to always be aware of this, but it is also difficult to easily determine if something is wrong unless you look closely and have no basic knowledge about tires.
통상적으로 타이어에는 제동력 및 구동력 향상 등을 위한 홈인 트레드가 형성되어 있으며 주행 중 도로 표면과의 마찰력이 상시 발생하므로 주행 거리가 증가함에 따른 표면 마모로 홈의 깊이가 줄어들게 된다. 이에 홈의 깊이를 통해 타이어 교체 여부를 판단하게 되며 이를 더욱 쉽게 인지시키기 위해 종래의 타이어 측면에 마모 판단의 기준이 되는 표식을 형성하기도 한다.Typically, tires are formed with treads, which are grooves to improve braking and driving force. Since frictional force with the road surface is constantly generated while driving, the depth of the grooves decreases due to surface wear as the driving distance increases. Accordingly, it is determined whether or not the tire should be replaced based on the depth of the groove, and to make this easier to recognize, a mark is formed on the side of a conventional tire that serves as a standard for judging wear.
그러나 타이어에 대한 지식이 부족한 운전자가 타이어의 마모 상태 및 교체시기를 직접 판단하기에는 여전히 어려움이 있으며, 안전운행을 위한 타이어의 중요성을 인식하지 못하는 운전자도 다수인 실정이다.However, it is still difficult for drivers who lack knowledge about tires to directly determine the wear condition of tires and when to replace them, and many drivers do not recognize the importance of tires for safe driving.
특히, 타이어의 마모는 안전뿐만 아니라 차량의 연비 저하 등 경제적 손실을 초래할 수 있으며, 운전자의 전문지식 부족은 정비사를 통한 다소 자의적인 판단으로 인한 과잉정비 문제를 비롯한 시간, 경제적 손실로 이어지는 경우가 많았다.In particular, tire wear can cause not only safety but also economic losses such as reduced fuel efficiency of the vehicle, and the driver's lack of expert knowledge often leads to time and economic losses, including excessive maintenance problems due to somewhat arbitrary judgments made by the mechanic. .
타이어 수명 예측 모델을 이용하여 타이어 수명을 예측하는 방법 및 시스템을 제공할 수 있다. A method and system for predicting tire life can be provided using a tire life prediction model.
타이어 이미지를 이용하는 방법 또는 타이어 이미지와 동전을 이용하여 타이어 수명을 예측하는 방법 및 시스템을 제공할 수 있다. A method and system for predicting tire life using a tire image or a tire image and a coin can be provided.
타이어 수명 예측 시스템에 의해 수행되는 타이어 수명 예측 방법은, 타이어 수명 예측을 위한 어느 하나의 방법을 선택하는 단계; 상기 선택된 어느 하나의 방법에 따라 타이어 수명 예측 모델에 타이어 이미지를 입력받는 단계; 및 상기 타이어 수명 예측 모델을 이용하여 상기 입력받은 타이어 이미지에 대해 타이어 수명을 예측하는 단계를 포함하고, 상기 타이어 수명 예측 모델은, 객체 검출을 위한 딥러닝 모델과 깊이 추정을 위한 딥러닝 모델로 구성되어 타이어를 포함하는 학습 이미지 셋으로부터 타이어를 검출하고, 상기 검출된 타이어의 마모도 추정을 통해 타이어의 홈 깊이가 산출되도록 학습된 것일 수 있다. A tire life prediction method performed by a tire life prediction system includes selecting a method for predicting tire life; Receiving a tire image into a tire life prediction model according to any one of the selected methods; and predicting tire life for the input tire image using the tire life prediction model, wherein the tire life prediction model consists of a deep learning model for object detection and a deep learning model for depth estimation. It may be learned to detect a tire from a learning image set including a tire, and calculate the groove depth of the tire by estimating the wear of the detected tire.
상기 타이어 수명 예측 모델은, 전자 기기의 촬영 어플리케이션을 이용하여 촬영된 타이어를 포함하는 이미지 데이터를 수집하고, 상기 수집된 타이어를 포함하는 이미지 데이터로부터 상기 객체 검출을 위한 딥러닝 모델을 이용하여 객체로서 타이어를 검출하고, 상기 검출된 타이어의 각도, 위치, 밝기를 포함하는 객체 조정 정보를 보정하고, 상기 깊이 추정을 위한 딥러닝 모델을 이용하여 상기 객체 조정 정보가 보정된 타이어의 마모도를 추정하고, 상기 추정된 타이어의 마모도를 기반으로 타이어의 홈 깊이를 산출하도록 학습될 수 있다. The tire life prediction model collects image data including tires photographed using a photography application of an electronic device, and uses a deep learning model for detecting the object from the collected image data including the tire as an object. Detecting a tire, correcting object adjustment information including the angle, position, and brightness of the detected tire, and using a deep learning model for depth estimation to estimate the degree of wear of the tire for which the object adjustment information has been corrected, It can be learned to calculate the groove depth of the tire based on the estimated tire wear.
상기 객체 검출을 위한 딥러닝 모델은, U-Net를 기반으로 구성되고, 상기 수집된 이미지 데이터에 대해 타이어 객체를 정답지로 만들기 위한 어노테이션 작업이 수행됨에 따라, 상기 어노테이션 작업이 수행된 이미지 데이터를 통해 객체 검출을 위한 U-Net 기반의 딥러닝 모델이 학습될 수 있다. The deep learning model for object detection is constructed based on U-Net, and as annotation work to make the tire object the correct answer is performed on the collected image data, the annotation work is performed through the image data. A U-Net-based deep learning model for object detection can be learned.
상기 어노테이션 작업은, 상기 수집된 이미지 데이터에서 타이어 객체와 배경을 분리할 수 있다. The annotation task can separate tire objects and backgrounds from the collected image data.
상기 어노테이션 작업은, Grab-Cut 알고리즘 사용하여 타이어의 위치를 다각형 형태의 박스로 표시하고, 상기 표시된 다각형 형태의 박스에 기초하여 객체 부분과 배경 부분의 정보를 제공할 수 있다. The annotation task displays the location of the tire as a polygon-shaped box using the Grab-Cut algorithm, and provides information on the object portion and background portion based on the displayed polygon-shaped box.
상기 깊이 추정을 위한 딥러닝 모델은, 상기 객체 조정 정보가 보정된 타이어를 포함하는 타이어 데이터를 이용하여 학습된 것일 수 있다. The deep learning model for depth estimation may be learned using tire data including tires for which the object adjustment information has been corrected.
상기 깊이 추정을 위한 딥러닝 모델은, 상기 객체 조정 정보가 보정된 타이어를 포함하는 타이어 데이터에 포함된 타이어의 홈 깊이 정보에 따라 데이터를 분리하여 클래스를 형성함에 따라 타이어 이미지 또는 새로운 타이어 이미지에 대해 클래스 분류를 수행하고, 상기 수행된 클래스 분류에 따라 해당되는 클래스의 깊이 정보를 사용할 수 있다. The deep learning model for depth estimation separates data to form classes according to the groove depth information of the tire included in the tire data including the tire for which the object adjustment information has been corrected, so that the tire image or new tire image is Class classification may be performed, and depth information of the corresponding class may be used according to the performed class classification.
상기 깊이 추정을 위한 딥러닝 모델은, 타이어 이미지와 상기 클래스의 깊이 정보와의 차이를 이용하는 보간법을 사용하여 타이어 이미지에 포함된 실제 타이어의 홈 깊이를 추정할 수 있다. The deep learning model for depth estimation can estimate the groove depth of the actual tire included in the tire image using an interpolation method that uses the difference between the tire image and the depth information of the class.
상기 선택하는 단계는, 타이어 이미지를 이용하는 방법 또는 타이어 이미지와 동전을 이용하는 방법 중 어느 하나의 방법을 선택하는 단계를 포함할 수 있다. The selecting step may include selecting one of a method using a tire image or a method using a tire image and a coin.
상기 선택하는 단계는, 전자 기기에서 타이어 수명 예측 서비스를 제공하는 어플리케이션을 이용하여 촬영된 타이어 이미지에 동전이 포함된 것으로 판단됨에 따라 타이어 이미지와 동전을 이용하는 방법을 선택하는 단계를 포함할 수 있다. The selecting step may include selecting a method of using the tire image and the coin as it is determined that the tire image captured using an application that provides a tire life prediction service on an electronic device includes a coin.
상기 타이어 이미지를 입력받는 단계는, 전자 기기를 이용하여 타이어 이미지를 촬영하도록 가이드라인을 제시하고, 상기 제시된 가이드라인에 따라 촬영된 타이어 이미지를 입력받는 단계를 포함할 수 있다. The step of receiving the tire image may include presenting a guideline for capturing a tire image using an electronic device and receiving a tire image captured according to the presented guideline.
상기 타이어 수명을 예측하는 단계는, 전자 기기에 상기 타이어 이미지에 대한 잔량 데이터와 교체 시기를 제공하는 단계를 포함할 수 있다. Predicting the tire life may include providing remaining amount data and replacement time for the tire image to an electronic device.
타이어 수명 예측 시스템은, 타이어 수명 예측을 위한 어느 하나의 방법을 선택하는 선택부; 상기 선택된 어느 하나의 방법에 따라 타이어 수명 예측 모델에 타이어 이미지를 입력받는 데이터 입력부; 및 상기 타이어 수명 예측 모델을 이용하여 상기 입력받은 타이어 이미지에 대해 타이어 수명을 예측하는 수명 예측부를 포함하고, 상기 타이어 수명 예측 모델은, 객체 검출을 위한 딥러닝 모델과 깊이 추정을 위한 딥러닝 모델로 구성되어 타이어를 포함하는 학습 이미지 셋으로부터 타이어를 검출하고, 상기 검출된 타이어의 마모도 추정을 통해 타이어의 홈 깊이가 산출되도록 학습된 것일 수 있다. The tire life prediction system includes a selection unit for selecting a method for predicting tire life; a data input unit that receives a tire image into a tire life prediction model according to any one of the selected methods; and a life prediction unit that predicts tire life for the input tire image using the tire life prediction model, wherein the tire life prediction model is divided into a deep learning model for object detection and a deep learning model for depth estimation. It may be learned to detect a tire from a training image set including a tire, and calculate the groove depth of the tire by estimating the wear of the detected tire.
딥러닝 기반의 타이어 수명 예측 모델을 이용하여 추정된 마모도를 기반으로 타이어 수명을 예측함으로써 보다 정확하게 교체 시기를 제공할 수 있다. By using a deep learning-based tire life prediction model to predict tire life based on estimated wear, a more accurate replacement time can be provided.
타이어 이미지에 대한 잔량 데이터와 교체 시기를 제공하여 미연에 사고를 방지할 수 있다. Accidents can be prevented in advance by providing remaining tire data and replacement timing for tire images.
도 1은 일 실시예에 따른 타이어 수명 예측 시스템의 구성을 설명하기 위한 블록도이다.
도 2는 일 실시예에 따른 타이어 수명 예측 시스템에서 타이어 수명 예측 방법을 설명하기 위한 흐름도이다.
도 3은 일 실시예에 있어서, 타이어 수명 예측 동작을 설명하기 위한 도면이다.
도 4는 일 실시예에 있어서, 타이어 수명 예측을 위한 어느 하나의 방법을 선택하는 예이다.
도 5는 일 실시예에 있어서, 수명 예측 유저 인터페이스의 예이다.
도 6은 일 실시예에 있어서, 타이어 이미지를 수집 및 저장하는 동작을 설명하기 위한 도면이다.
도 7 은 일 실시예에 있어서, 객체 검출을 위한 딥러닝 모델을 이용하여 객체를 검출하는 동작을 설명하기 위한 도면이다.
도 8은 일 실시예에 있어서, 보정 알고리즘을 이용한 데이터 셋을 확정하는 동작을 설명하기 위한 도면이다.
도 9는 일 실시예에 있어서, 홈 깊이 추정을 위한 딥러닝 모델을 이용하여 타이어의 홈 깊이를 추정하는 동작을 설명하기로 한다.
도 10은 일 실시예에 있어서, U-Net을 설명하기 위한 도면이다.
도 11은 일 실시예에 있어서, 어노테이션 동작을 설명하기 위한 도면이다.
도 12는 일 실시예에 있어서, Grab-Cut 알고리즘을 설명하기 위한 도면이다.
도 13 내지 도 15는 일 실시예에 있어서, 홈 깊이 추정 동작을 설명하기 위한 도면이다. Figure 1 is a block diagram for explaining the configuration of a tire life prediction system according to an embodiment.
FIG. 2 is a flowchart illustrating a method for predicting tire life in a tire life prediction system according to an embodiment.
Figure 3 is a diagram for explaining a tire life prediction operation in one embodiment.
Figure 4 is an example of selecting one method for predicting tire life in one embodiment.
5 is an example of a lifespan prediction user interface, according to one embodiment.
FIG. 6 is a diagram for explaining an operation of collecting and storing a tire image, according to an embodiment.
FIG. 7 is a diagram for explaining an operation of detecting an object using a deep learning model for object detection, according to an embodiment.
Figure 8 is a diagram for explaining the operation of confirming a data set using a correction algorithm, according to one embodiment.
FIG. 9 illustrates an operation of estimating the groove depth of a tire using a deep learning model for estimating groove depth, according to an embodiment.
Figure 10 is a diagram for explaining U-Net, in one embodiment.
Figure 11 is a diagram for explaining an annotation operation, according to one embodiment.
Figure 12 is a diagram for explaining the Grab-Cut algorithm in one embodiment.
13 to 15 are diagrams for explaining a groove depth estimation operation, according to an embodiment.
이하, 실시예를 첨부한 도면을 참조하여 상세히 설명한다.Hereinafter, embodiments will be described in detail with reference to the accompanying drawings.
도 1은 일 실시예에 따른 타이어 수명 예측 시스템의 구성을 설명하기 위한 블록도이고, 도 2는 일 실시예에 따른 타이어 수명 예측 시스템에서 타이어 수명 예측 방법을 설명하기 위한 흐름도이다.FIG. 1 is a block diagram illustrating the configuration of a tire life prediction system according to an embodiment, and FIG. 2 is a flowchart illustrating a tire life prediction method in the tire life prediction system according to an embodiment.
타이어 수명 예측 시스템(100)의 프로세서는 선택부(110), 데이터 입력부(120) 및 수명 예측부(130)를 포함할 수 있다. 이러한 프로세서의 구성요소들은 타이어 수명 예측 시스템에 저장된 프로그램 코드가 제공하는 제어 명령에 따라 프로세서에 의해 수행되는 서로 다른 기능들(different functions)의 표현들일 수 있다. 프로세서 및 프로세서의 구성요소들은 도 2의 타이어 수명 예측 방법이 포함하는 단계들(210 내지 230)을 수행하도록 타이어 수명 예측 시스템을 제어할 수 있다. 이때, 프로세서 및 프로세서의 구성요소들은 메모리가 포함하는 운영체제의 코드와 적어도 하나의 프로그램의 코드에 따른 명령(instruction)을 실행하도록 구현될 수 있다. The processor of the tire
프로세서는 타이어 수명 예측 방법을 위한 프로그램의 파일에 저장된 프로그램 코드를 메모리에 로딩할 수 있다. 예를 들면, 타이어 수명 예측 시스템에서 프로그램이 실행되면, 프로세서는 운영체제의 제어에 따라 프로그램의 파일로부터 프로그램 코드를 메모리에 로딩하도록 타이어 수명 예측 시스템을 제어할 수 있다. 이때 선택부(110), 데이터 입력부(120) 및 수명 예측부(130) 각각은 메모리에 로딩된 프로그램 코드 중 대응하는 부분의 명령을 실행하여 이후 단계들(210 내지 230)을 실행하기 위한 프로세서의 서로 다른 기능적 표현들일 수 있다.The processor may load the program code stored in the file of the program for the tire life prediction method into memory. For example, when a program is executed in a tire life prediction system, the processor may control the tire life prediction system to load program code from a program file into memory under the control of the operating system. At this time, each of the
단계(210)에서 선택부(110)는 타이어 수명 예측을 위한 어느 하나의 방법을 선택할 수 있다. 선택부(110)는 타이어 이미지를 이용하는 방법 또는 타이어 이미지와 동전을 이용하는 방법을 선택할 수 있다. 타이어 이미지와 동전을 이용하는 방법이란, 타이어에 끼어있는 동전의 깊이 정보를 부가 정보로 이용하는 방법이다. 예를 들면, 사용자에 의하여 어느 하나의 방법이 선택될 수 있다. 또는, 선택부(110)는 타이어 이미지에 동전의 유무를 판단하여 어느 하나의 방법을 설명할 수 있다. 선택부(110)는 전자 기기에서 타이어 수명 예측 서비스를 제공하는 어플리케이션을 이용하여 촬영된 타이어 이미지에 동전이 포함된 것으로 판단됨에 따라 타이어 이미지와 동전을 이용하는 방법을 선택할 수 있다. 선택부(110)는 타이어 이미지에 동전에 포함되어 있을 경우, 타이어 이미지와 동전을 이용하는 방법을 선택할 수 있고, 타이어 이미지에 동전이 포함되어 있지 않을 경우, 타이어 이미지를 이용하는 방법을 선택할 수 있다. 이하에서는, 타이어 이미지에 동전이 끼어있거나 끼어있지 않은 경우, 모두 타이어 이미지라고 기재하기로 한다. In step 210, the
단계(220)에서 데이터 입력부(120)는 선택된 어느 하나의 방법에 따라 타이어 수명 예측 모델에 타이어 이미지를 입력받을 수 있다. 데이터 입력부(120)는 전자 기기를 이용하여 타이어 이미지를 촬영하도록 가이드라인을 제시하고, 제시된 가이드라인에 따라 촬영된 타이어 이미지를 입력받을 수 있다. In step 220, the
단계(230)에서 수명 예측부(130)는 타이어 수명 예측 모델을 이용하여 입력받은 타이어 이미지에 대해 추정된 마모도를 기반으로 대한 타이어 수명을 예측할 수 있다. 수명 예측부(130)는 전자 기기에 타이어 이미지에 대한 잔량 데이터와 교체 시기를 제공할 수 있다. In step 230, the
도 3은 일 실시예에 있어서, 타이어 수명 예측 동작을 설명하기 위한 도면이다.Figure 3 is a diagram for explaining a tire life prediction operation in one embodiment.
타이어 수명 예측 시스템은 타이어 이미지를 수집할 수 있다(310). 전자 기기의 촬영 어플리케이션을 이용하여 타이어 이미지가 수집될 수 있고, 수집된 타이어 이미지가 데이터베이스에 저장될 수 있다. 일례로, 전자 기기에 타이어 수명 예측 서비스를 제공하는 어플리케이션이 실행될 수 있다. 전자 기기에 실행된 타이어 수명 예측 서비스를 제공하는 어플리케이션에 타이어 이미지를 촬영하기 위한 촬영 기능이 제공될 수 있다. 이때, 촬영 기능은 타이어 수명 예측 서비스를 제공하는 어플리케이션 자체에서 제공되는 카메라 서비스일 수 있고, 타이어 수명 예측 서비스를 제공하는 어플리케이션에 연동된 별도의 카메라 서비스일 수 있다. 어플리케이션 자체에서 제공되는 카메라 서비스를 통해 타이어 이미지가 촬영될 수 있고, 별도의 카메라 서비스를 이용하여 타이어 이미지가 촬영될 수 있다. 또는, 전자 기기 또는 별도의 카메라 서비스를 이용하여 촬영된 이미지가 타이어 수명 예측 서비스를 제공하는 어플리케이션에 업로드될 수 있다. The tire life prediction system may collect tire images (310). Tire images may be collected using a photography application on an electronic device, and the collected tire images may be stored in a database. For example, an application that provides a tire life prediction service may be run on an electronic device. An application that provides a tire life prediction service running on an electronic device may be provided with a photographing function for photographing a tire image. At this time, the shooting function may be a camera service provided by the application itself that provides the tire life prediction service, or it may be a separate camera service linked to the application that provides the tire life prediction service. Tire images can be captured using a camera service provided by the application itself, or tire images can be captured using a separate camera service. Alternatively, images captured using an electronic device or a separate camera service may be uploaded to an application that provides a tire life prediction service.
도 6을 참고하면, 타이어 이미지를 수집 및 저장하는 동작을 설명하기 위한 도면이다. 타이어 수명 예측 시스템은 전자 기기(예를 들면, 스마트 폰)를 이용하여 타이어 이미지 또는 동전이 포함된 타이어 이미지를 수집할 수 있다. 타이어 수명 예측 시스템은 수집된 타이어 이미지의 일관성을 유지하기 위하여 가이드라인을 제공할 수 있고, 제공된 가이드라인에 따라 타이어 이미지를 수집할 수 있다. 타이어 수명 예측 시스템은 가이드라인에 따른 이미지를 통해 이미지 촬영 안내를 제공할 수 있다. 예를 들면, 전자 기기에 전자 기기에서 실행되는 타이어 수명 예측 서비스를 제공하는 어플리케이션을 통해 타이어가 촬영될 수 있고, 촬영된 이미지 형태의 데이터가 수집될 수 있다. 이때, 촬영 시에 특정 범위 내에서 타이어가 포함되도록 가이드라인이 제공될 수 있고, 제공된 가이드라인에 따라 특정 범위 내에 타이어가 포함된 것이 인식될 경우, 촬영이 이루어질 수 있다. 만약, 특정 범위를 벗어나 타이어가 인식될 경우, 타이어를 특정 범위 내로 이동시키도록 가이드라인이 제시될 수 있다. 또는, 촬영을 위해 인식된 타이어의 초점이 맞지 않을 경우, 또는, 타이어의 전체가 아닌 일부만이 포함되어 있을 경우, 재인식시키도록 가이드라인이 제시될 수 있다. Referring to FIG. 6, it is a diagram to explain the operation of collecting and storing tire images. The tire life prediction system can collect tire images or tire images containing coins using an electronic device (e.g., a smart phone). The tire life prediction system can provide guidelines to maintain consistency of collected tire images, and can collect tire images according to the provided guidelines. The tire life prediction system can provide image taking guidance through images according to guidelines. For example, a tire may be photographed through an application that provides a tire life prediction service running on an electronic device, and data in the form of a photographed image may be collected. At this time, guidelines may be provided so that tires are included within a specific range when filming, and if it is recognized that tires are included within a specific range according to the provided guidelines, filming can be performed. If a tire is recognized as being outside a specific range, guidelines may be presented to move the tire within the specific range. Alternatively, if the tire recognized for filming is out of focus or includes only a portion of the tire rather than the entire tire, a guideline may be presented to re-recognize the tire.
또한, 타이어 수명 예측 시스템은 전자 기기의 어플리케이션을 통해 촬영된 이미지 형태의 데이터를 수집하고, 수집된 이미지 형태의 데이터를 데이터베이스에 저장할 수 있도록 통신을 구성할 수 있다. 타이어 수명 예측 시스템은 REST API를 활용한 FTP 서버 통신 기능을 구현할 수 있다. Additionally, the tire life prediction system can collect data in the form of images captured through an application on an electronic device and configure communication so that the collected data in the form of images can be stored in a database. The tire life prediction system can implement FTP server communication function using REST API.
실시예에서는 타이어 수명을 예측함에 있어서, 이미지를 이용한 타이어 수명 예측 방법과 이미지와 동전을 이용한 타이어 이미지 수명 예측 방법에 대하여 설명하기로 한다. 이때, 동전은 타이어의 홈의 깊이를 추정하기 위하여 사용되는 수단일 수 있다. 도 4를 참고하면, 타이어 수명 예측을 위한 어느 하나의 방법을 선택하는 예이다. 제1 방법은 전자 기기의 카메라, 영상처리, 딥러닝 기술이 이용되는 방법이고, 제2 방법은 전자 기기의 카메라, 동전, 영상처리, 딥러닝 기술이 이용되는 방법이다. In the embodiment, in predicting tire life, a method for predicting tire life using images and a method for predicting tire image life using images and coins will be described. At this time, the coin may be a means used to estimate the depth of the groove of the tire. Referring to Figure 4, this is an example of selecting one method for predicting tire life. The first method uses cameras, image processing, and deep learning technology in electronic devices, and the second method uses cameras, coins, image processing, and deep learning technology in electronic devices.
타이어 수명 예측 시스템은 동전을 포함하는 타이어 이미지 또는 타이어 이미지를 수집할 수 있다. 이때, 동전을 포함하는 타이어 이미지일 경우, 동전 정보를 기준으로 타이어에 동전이 끼어있는 정도를 통해 깊이 정보가 추정될 수 있다. 예를 들면, 100원짜리 동전일 경우, 100원짜리 동전의 크기에 기초하여 타이어에 동전이 끼어있는 정도를 통해 깊이 정보가 추정될 수 있다. 이러한 깊이 정보는 사전에 동전 별로 저장된 깊이 값과 비교하여 타이어 이미지의 깊이 정보가 추정될 수 있다. 깊이 정보는 추후에 마모도 추정에 부가적으로 사용될 수 있다. 이에, 타이어 수명 예측 모델을 이용하여 타이어 이미지로부터 마모도를 추정한 결과와 추가적으로 동전을 이용하여 추정된 깊이 정보를 함께 고려하여 타이어 수명이 고려될 수 있다. 또한, 동전을 포함하는 이미지 또는 타이어 이미지는 학습 데이터 셋으로 이용될 수 있다. The tire life prediction system may collect tire images or tire images containing coins. At this time, in the case of a tire image including a coin, depth information can be estimated through the degree to which the coin is stuck in the tire based on the coin information. For example, in the case of a 100 won coin, depth information can be estimated through the degree to which the coin is stuck in the tire based on the size of the 100 won coin. This depth information can be compared with the depth value previously stored for each coin to estimate the depth information of the tire image. Depth information can be additionally used to estimate wear at a later date. Accordingly, the tire lifespan can be considered by considering the results of estimating the degree of wear from the tire image using a tire life prediction model and additionally the depth information estimated using the coin. Additionally, images containing coins or tire images can be used as a learning data set.
타이어 수명 예측 시스템은 객체 검출을 위한 딥러닝 모델을 이용하여 객체로서 타이어를 인식할 수 있다(320). 타이어 수명 예측 시스템은 객체 검출을 위한 딥러닝 모델을 이용하여 수집된 타이어 이미지 내에서 타이어를 인식하고 배경을 제거할 수 있다. 타이어 수명 예측 시스템은 U-Net 기반의 객체 검출을 위한 딥러닝 모델을 이용하여 객체로서 타이어를 검출할 수 있다. 이때, 어노테이션 작업(Annotation)이 필요하다. The tire life prediction system can recognize tires as objects using a deep learning model for object detection (320). The tire life prediction system can recognize tires and remove the background from collected tire images using a deep learning model for object detection. The tire life prediction system can detect tires as objects using a deep learning model for object detection based on U-Net. At this time, annotation work is required.
객체 검출 작업을 통해 이미지 내에서 타이어 객체를 분리할 수 있다. 객체 검출 작업으로 분리해낸 타이어 이미지 데이터를 깊이 추정을 위한 딥러닝 모델의 입력으로 사용하여 보다 정확한 깊이 추정이 가능하도록 한다. 이미지의 배경이 변화되어도(다른 배경에서 촬영이 진행되어도), 모델의 성능을 강건하게 이끌어 낼 수 있다.Object detection tasks can be used to separate tire objects within an image. Tire image data separated through object detection work is used as input to a deep learning model for depth estimation, enabling more accurate depth estimation. Even if the background of the image changes (even if shooting is performed against a different background), the model's performance can be robustly achieved.
도 7을 참고하면, 객체 검출을 위한 딥러닝 모델을 이용하여 객체를 검출하는 동작을 설명하기 위한 도면이다. 타이어 수명 예측 시스템은 수집된 이미지 데이터에 대해 타이어 객체를 정답지로 만드는 어노테이션 작업을 수행할 수 있다. 어노테이션 작업은 시간과 인력이 많이 소요되는 작업이다. 이에, 타이어 수명 예측 시스템은 반자동 학습 알고리즘(예를 들면, Grab-Cut)을 이용하여 어노테이션 작업을 수행할 수 있다. 예를 들면, Grab-Cut 코드를 구현하고, 표준 레이블링 양식에 맞도록 수정하여 타이어 객체에 대한 어노테이션 작업이 수행될 수 있다. 타이어 수명 예측 시스템은 수집된 이미지 데이터를 객체 검출을 위한 딥러닝 모델에 입력받을 수 있다. 이때, 어노테이션 작업이 수행된 이미지 작업이 객체 검출을 위한 딥러닝 모델에 입력될 수 있다. 타이어 수명 예측 시스템은 객체 검출을 위한 딥러닝 모델을 이용하여 수집된 이미지 데이터를 학습시킬 수 있다. 이때, 객체 검출을 위한 딥러닝 모델은 U-Net 기반으로 구성된 것일 수 있다. U-Net 기반의 딥러닝 모델 구현이 완료됨에 따라 주기적으로 학습 데이터 셋을 업데이트하며 학습이 수행되도록 구성될 수 있다. 이러한 모델 학습은 수집된 이미지 데이터가 증가될수록 성능이 향상될 수 있다. 타이어 수명 예측 시스템은 U-Net 기반의 딥러닝 모델을 이용하여 수집된 이미지 데이터로부터 객체를 검출함에 따라 배경으로부터 타이어를 분리할 수 있다.Referring to FIG. 7, it is a diagram to explain the operation of detecting an object using a deep learning model for object detection. The tire life prediction system can perform annotation work on collected image data to create tire objects as correct answers. Annotation work is a task that requires a lot of time and manpower. Accordingly, the tire life prediction system can perform annotation work using a semi-automatic learning algorithm (eg, Grab-Cut). For example, annotation work on tire objects can be performed by implementing Grab-Cut code and modifying it to fit the standard labeling format. The tire life prediction system can input collected image data into a deep learning model for object detection. At this time, the image work on which the annotation work has been performed can be input to a deep learning model for object detection. The tire life prediction system can learn collected image data using a deep learning model for object detection. At this time, the deep learning model for object detection may be constructed based on U-Net. As the U-Net-based deep learning model implementation is completed, the learning data set can be periodically updated and learning can be configured to be performed. The performance of this model learning can improve as the collected image data increases. The tire life prediction system can separate tires from the background by detecting objects from collected image data using a U-Net-based deep learning model.
보다 상세하게는, 도 10을 참고하면, U-Net을 설명하기 위한 도면이다. U-Net이란 이미지 분할을 목적으로 제안된 엔드-투-엔드(End-to-End) 방식의 완전 연결 네트워크(Fully-Convolutional Network)이다. U-Net는 이미지의 전반적인 특징을 추출하는 인코더 구조와 세부적인 특징 추출하는 디코더 구조가 U자 모양의 대칭 구조로 이루어져있다. U-Net에서 수축 단계(Contracting Path)는 입력 이미지의 전반적인 특징(context feature)를 이해하며, 타이어의 전반적인 모양새로 패턴을 학습할 수 있다. U-Net에서 확장 단계(Expanding Path)는 입력 이미지의 세밀한 특성을 이해(Localization)하며, 타이어의 세부적인 흠이나 마모로 인한 세밀한 변화를 이해한다. In more detail, referring to FIG. 10, it is a diagram for explaining U-Net. U-Net is an end-to-end fully connected network proposed for image segmentation. U-Net has an encoder structure that extracts the overall features of the image and a decoder structure that extracts detailed features in a U-shaped symmetrical structure. In U-Net, the contracting path understands the overall features (context features) of the input image and can learn patterns from the overall shape of the tire. In U-Net, the Expanding Path understands the detailed characteristics of the input image (localization) and understands detailed changes due to detailed flaws or wear of the tire.
타이어 수명 예측 시스템은 보정 알고리즘을 이용하여 객체로서 검출된 타이어의 각도, 위치, 밝기 등의 객체 조정 정보를 조정할 수 있다(330). 타이어 수명 예측 시스템은 이미지를 분석하여 홈 깊이를 추정하는 성능을 높일 수 있다. 도 8을 참고하면, 보정 알고리즘을 이용한 데이터 셋을 확정하는 동작을 설명하기 위한 도면이다. 타이어 수명 예측 시스템에서 가이드라인이 제공되더라도 이미지의 기울기, 명암, 각도에서 미세한 차이가 발생할 수 있다. 이와 같은 차이는 깊이 추정에 영향을 미칠 수 있다. 타이어 수명 예측 시스템은 객체 검출 이후, 검출된 객체의 특성과 깊이 탐지 모델의 특성을 고려한 보정 알고리즘을 선정할 수 있다. 타이어 수명 예측 시스템은 보정 알고리즘을 통해 검출된 객체의 형태를 조정하여 깊이 추정 모델의 입력으로 사용할 수 있다. 예를 들면, 타이어 수명 예측 시스템은 기울기, 명함, 채도 등의 차이가 존재하는 데이터에 대하여 보정 알고리즘을 이용하여 보정 작업을 수행할 수 있다. 타이어 수명 예측 시스템은 보정 작업을 수행함에 따라 학습에 적합한 표준 데이터를 확정할 수 있다. The tire life prediction system can adjust object adjustment information such as the angle, position, and brightness of a tire detected as an object using a correction algorithm (330). Tire life prediction systems can improve the performance of estimating groove depth by analyzing images. Referring to FIG. 8, it is a diagram to explain the operation of confirming a data set using a correction algorithm. Even if guidelines are provided in the tire life prediction system, subtle differences may occur in the tilt, brightness, and angle of the image. These differences can affect depth estimates. After detecting an object, the tire life prediction system can select a correction algorithm that takes into account the characteristics of the detected object and the characteristics of the depth detection model. The tire life prediction system can adjust the shape of the detected object through a correction algorithm and use it as an input to the depth estimation model. For example, a tire life prediction system can perform corrections using a correction algorithm on data with differences in slope, business card, and saturation. As the tire life prediction system performs calibration, it can determine standard data suitable for learning.
도 11을 참고하면, 어노테이션 동작을 설명하기 위한 도면이다. 딥러닝 학습은 데이터와 데이터에 대한 정답지(label)이 존재해야 한다. 어노테이션이란 객체 검출 작업에서 정답지를 만들기 위해 이미지 내에서 객체와 배경을 분리하는 작업을 의미한다. 실시예에서는 LabelMe를 사용하여 어노테이션 작업이 수행될 수 있다. 또한, LabelMe를 사용하여 어노테이션 작업이 수행된 후, 수작업으로 어노테이션 작업이 다시 수행될 수도 있다. LabelMe에 이미지를 불러올 수 있다. LabelMe에 표시된 이미지에서 검출하고자 하는 객체의 윤곽선이 다각형 모양으로 추출될 수 있다고, 추출된 다각형 모양으로 객체(타이어)가 분리될 수 있다. 수작업으로 어노테이션을 수행할 경우, 어노테이션 수행에 소요되는 시간과 인력이 매우 크며, 어노테이션을 수행하는 개인 별로 상이한 기준을 가질 수 있다는 문제가 상존한다. 이에, 수작업의 비율을 낮추거나 없앰으로써 어노테이션 수행에 소요되는 시간을 감소시키고, 동일한 기준으로 이미지에서 객체를 추출할 수 있다. Referring to FIG. 11, it is a diagram for explaining annotation operation. Deep learning requires data and labels for the data. Annotation refers to the task of separating objects and backgrounds within an image to create an answer sheet in object detection tasks. In embodiments, annotation work may be performed using LabelMe. Additionally, after the annotation work is performed using LabelMe, the annotation work can be performed again manually. You can load images into LabelMe. The outline of the object to be detected in the image displayed in LabelMe can be extracted in a polygon shape, and the object (tire) can be separated by the extracted polygon shape. When annotations are performed manually, the time and manpower required to perform the annotations are very large, and there is the constant problem that each individual performing the annotations may have different standards. Accordingly, by lowering or eliminating the rate of manual work, the time required to perform annotation can be reduced, and objects can be extracted from images using the same standard.
도 12를 참고하면, Grab-Cut 알고리즘을 설명하기 위한 도면이다. 실시예에서는 어노테이션 기법 중 인력을 줄여줄 수 있는 Grab-Cut 알고리즘을 사용하여 보다 쉽고 빠르게 어노테이션 작업을 수행하는 동작에 대하여 설명하기로 한다. Grab-Cut 알고리즘은 두 가지 단계로 이루어질 수 있다. 제1 단계는 객체의 위치를 사각형 형태로 제공할 수 있다. 제2 단계는 객체 부분과 배경 부분의 정보를 제공하고 업데이트할 수 있다.Referring to FIG. 12, it is a diagram to explain the Grab-Cut algorithm. In the embodiment, the operation of performing annotation work more easily and quickly using the Grab-Cut algorithm, which can reduce manpower among annotation techniques, will be described. The Grab-Cut algorithm can be accomplished in two steps. The first step may provide the location of the object in a rectangular form. The second step may provide and update information of the object part and background part.
타이어 수명 예측 시스템은 깊이 추정을 위한 딥러닝 모델을 이용하여 검출된 타이어의 마모도를 추정할 수 있다. 타이어 수명 예측 시스템은 추정된 마모도를 기반으로 타이어의 홈 깊이를 산출할 수 있다(340). 예를 들면, 깊이 추정을 위한 딥러닝 모델은 사전에 학습 데이터셋을 이용하여 타이어의 홈 깊이를 추정하도록 학습된 것일 수 있다. 학습 데이터셋은 타이어의 홈 깊이 데이터를 포함하는 이미지일 수 있다. 여기서 깊이 추정이란 목적 객체인 타이어의 마모 정보에 따른 타이어의 홈 깊이를 측정하는 작업을 의미한다. 타이어 이미지 데이터를 그대로 사용할 경우, 정확한 깊이 추정이 어려울 수 있다. 다시 말해서, 깊이 추정을 위한 딥러닝 모델에 배경이 포함된 이미지의 경우, 딥러닝 학습 과정에서 배경 정보가 해석되는 문제가 발생될 수 있다. 이에, 배경이 제거된 타이어 이미지가 깊이 추정을 위한 딥러닝 모델에 입력될 수 있다. The tire life prediction system can estimate the wear of the detected tire using a deep learning model for depth estimation. The tire life prediction system can calculate the groove depth of the tire based on the estimated wear level (340). For example, a deep learning model for depth estimation may have been previously trained to estimate the groove depth of a tire using a learning dataset. The learning dataset may be an image containing tire groove depth data. Here, depth estimation refers to the task of measuring the groove depth of a tire according to the wear information of the tire, which is the target object. If tire image data is used as is, accurate depth estimation may be difficult. In other words, in the case of images that include a background in a deep learning model for depth estimation, problems may arise in interpreting the background information during the deep learning learning process. Accordingly, a tire image with the background removed can be input to a deep learning model for depth estimation.
도 9를 참고하면, 홈 깊이 추정을 위한 딥러닝 모델을 이용하여 타이어의 홈 깊이를 추정하는 동작을 설명하기로 한다. 타이어 수명 예측 시스템은 수집되는 이미지 데이터들의 특성을 분석한 후 분류 모델과 보간 모델을 선정할 수 있다. Referring to FIG. 9, the operation of estimating the groove depth of a tire using a deep learning model for estimating groove depth will be described. The tire life prediction system can select a classification model and an interpolation model after analyzing the characteristics of collected image data.
수집된 이미지 데이터들은 타이어의 홈 깊이 정보를 가지고 있다. 타이어 수명 예측 시스템은 수집된 이미지들에 대하여 홈 깊이에 따라 데이터를 분리하여 클래스(Class)를 형성할 수 있다. 타이어 수명 예측 시스템은 새롭게 수집된 타이어 이미지에 대해 클래스 분류를 수행하고, 해당 클래스의 깊이 정보를 사용할 수 있다. 타이어 수명 예측 시스템은 수집된 이미지들에 대한 클래스를 분류함에 따라 클래스에 대한 유사도를 측정할 수 있다. The collected image data contains tire groove depth information. The tire life prediction system can form classes by separating data from collected images according to groove depth. The tire life prediction system can perform class classification on newly collected tire images and use the depth information of the class. The tire life prediction system can measure class similarity by classifying the collected images.
이때, 분류된 클래스의 깊이 정보와 실제 타이어의 홈 깊이 정보가 다를 수 있다. 타이어 수명 예측 시스템은 보간법을 사용하여 실제 타이어의 홈 깊이를 추정할 수 있다. At this time, the depth information of the classified class and the groove depth information of the actual tire may be different. Tire life prediction systems can use interpolation to estimate the actual tire groove depth.
보다 상세하게는, 도 13을 참고하면, 타이어 수명 예측 시스템은 분류와 보간을 포함하는 2단계로 구성된 깊이 추정을 수행할 수 있다. 깊이 추정을 위해 사용할 수 있는 방법은 크게 2가지가 존재한다. 회귀(Regreesion)는 이미지를 분석하여 예상되는 깊이를 바로 예측하는 방법이다. 분류(Classification)는 학습에 사용된 데이터 중 가장 비슷한 이미지를 찾아내 해당 이미지로 분류하는 방법이다. 일반적으로 대부분의 딥러닝 모델이 예측보다 분류에 대해 성능이 더 좋다. 이에, 타이어 수명 예측 시스템은 분류를 이용한 깊이 추정을 수행할 수 있다. 분류를 이용한 깊이 추정은 보간 작업이 추가적으로 요구된다. 분류는 이미지를 기 데이터 중에서 가장 유사도가 높은 클래스로 분류하는 작업이다. 보간(Interpolation)은 이미지와 클래스가 일치할 수 없기 때문에 이미지와 레이블 사이의 차이에 기반하여 타이어 깊이를 추정하는 작업이다. More specifically, referring to FIG. 13, the tire life prediction system can perform depth estimation consisting of two steps including classification and interpolation. There are two main methods that can be used for depth estimation. Regression is a method of directly predicting the expected depth by analyzing the image. Classification is a method of finding the most similar image among the data used for learning and classifying it as that image. In general, most deep learning models perform better for classification than prediction. Accordingly, the tire life prediction system can perform depth estimation using classification. Depth estimation using classification requires additional interpolation work. Classification is the task of classifying images into the class with the highest similarity among existing data. Interpolation is the task of estimating tire depth based on the difference between the image and the label because the image and class cannot match.
도 14를 참고하면, 분류 동작을 설명하기 위한 것이다. 예를 들면, 복수 회(7회)의 마모 실험이 수행될 수 있고, 그에 따라 8개의 클래스가 존재할 수 있다(마모 실험을 거치지 않은 타이어 포함). 실시예에서는 새로운 타이어 이미지가 입력되었을 때 기 수집된 데이터 클래스 중 하나로 분류하는 작업을 통해 해당 클래스의 타이어 홈 깊이를 사용할 수 있다. 추후, 데이터셋이 확장됨에 따라 더 많은 클래스가 생성되게 되고 모델의 성능도 더욱 향상될 수 있다. Referring to Figure 14, this is for explaining the classification operation. For example, multiple wear tests (seven times) may be performed, and thus eight classes may exist (including tires that have not been subjected to wear tests). In an embodiment, when a new tire image is input, the tire groove depth of that class can be used by classifying it into one of the previously collected data classes. In the future, as the dataset expands, more classes will be created and model performance may further improve.
도 15를 참고하면, 보간 동작을 설명하기 위한 도면이다. 보간은 알려진 두 데이터를 이용하여 부족한 데이터를 구하는 방법이다. 타이어 이미지와 클래스 이미지의 차이를 이용하여 중간 지점의 데이터가 도출될 수 있다. 분류된 클래스의 홈 깊이와 실제 타이어의 홈 깊이가 같다고 할 수 없다. 이에, 보간을 통해 보다 정확하게 타이어의 홈 깊이가 추정될 수 있다. 보간 기법으로 선형 보간법, 이중 선형 보간법, 포물선 보간법, 다항식 보간법, 스플라인 보간법 등이 적용될 수 있다. Referring to FIG. 15, it is a diagram for explaining the interpolation operation. Interpolation is a method of finding missing data using two known data. Intermediate data can be derived using the difference between the tire image and the class image. It cannot be said that the groove depth of the classified class is the same as the groove depth of the actual tire. Accordingly, the groove depth of the tire can be estimated more accurately through interpolation. As interpolation techniques, linear interpolation, bilinear interpolation, parabolic interpolation, polynomial interpolation, spline interpolation, etc. can be applied.
도 5는 일 실시예에 있어서, 수명 예측 유저 인터페이스의 예이다. 5 is an example of a lifespan prediction user interface, according to one embodiment.
타이어 수명 예측 시스템은 전자 기기(510)에 타이어 이미지에 대한 잔량 데이터와 교체 시기를 제공할 수 있다. 전자 기기(510)는 컴퓨터 장치로 구현되는 고정형 단말이거나 이동형 단말일 수 있다. 전자 기기(510)의 예를 들면, 스마트폰(smart phone), 휴대폰, 내비게이션, 컴퓨터, 노트북, 디지털방송용 단말, PDA(Personal Digital Assistants), PMP(Portable Multimedia Player), 태블릿 PC 등이 있다. The tire life prediction system can provide the
전자 기기(510)에 타이어 이미지에 대한 잔량 데이터와 교체 시기를 포함하는 안내 정보(520)가 표시될 수 있다. 예를 들면, '잔량 30% 6개월 후 교체하세요'와 같은 메시지가 표시될 수 있다. 현재 시점을 기준으로 6개월 동안 기 설정된 시간/날짜마다(주기적으로/비주기적으로) 교체 안내 메시지가 제공될 수 있다. 예를 들면, 매달 1일마다 '6개월 내에 타이어를 교체하세요'와 같이 메시지가 표시될 수 있다. 이때, 사용자에 의하여 타이어 이미지가 추가로 업로드될 경우, 추가로 업로드된 타이어 이미지에 대한 타이어 수명 예측이 업데이트됨으로써 잔량 데이터와 교체 시기가 변경될 수 있다.
타이어 수명 예측 시스템은 타이어 수명 예측 서비스를 통해 데이터 셋 구축을 위한 유저 인터페이스(530), 타이어 수명 예측을 위한 유저 인터페이스(540), 사용자의 운전 패턴 분석을 위한 유저 인터페이스(550) 및 타이어 매장 연계 유저 인터페이스(560)를 제공할 수 있다. The tire life prediction system includes a
타이어 수명 예측 시스템은 전자 기기(510)의 카메라를 활용하여 인공지능 알고리즘을 위한 학습 데이터를 구축하기 위한 유저 인터페이스(530)를 제공할 수 있다. 사용자로부터 유저 인터페이스(530)가 선택됨에 따라 카메라를 기능이 활성화됨에 따라 촬영 준비가 셋팅될 수 있다. 카메라 기능을 통해 타이어를 포함하는 이미지가 촬영될 수 있다. 인공지능 알고리즘을 위한 학습 데이터셋이 구축될 수 있다. 예를 들면, 사용자로부터 차량에 존재하는 4개의 타이어가 촬영될 수 있다. 이때, 4개의 타이어가 모두 촬영된 타이어 이미지가 수집될 수 있고, 수집된 4개의 타이어 이미지에 대해 각각 마모도가 추정될 수 있다. 이 중에서 마모도가 가장 심한 타이어를 기준으로 예측된 타이어 수명에 따라 안내 정보(510)가 생성될 수 있다. 또는, 4개의 타이어 이미지에 대해 각각 추정된 마모도의 평균을 계산하여 예측된 타이어 수명에 따라 안내 정보(510)가 생성될 수 있다. 또는, 각각의 타이어 수명에 따라 복수 개의 안내 정보(510)가 생성될 수 있다. 다른 예로서, 사용자로부터 차량에 존재하는 4개의 타이어 하나의 타이어가 촬영될 수 있고, 촬영된 적어도 하나의 타이어 이미지에 대해 타이어 수명이 예측되어 안내 정보(510)가 생성될 수 있다. The tire life prediction system may utilize the camera of the
타이어 수명 예측을 위한 유저 인터페이스(540)가 선택됨에 따라 사용자로부터 촬영된 이미지가 서버로 전송된 후, 인공지능 예측 결과를 받을 수 있다. 사용자로부터 타이어 수명 예측 결과를 원하는 시기에 타이어 수명 예측을 위한 유저 인터페이스(540)가 선택될 수 있다. As the
사용자의 운전 패턴 분석을 위한 유저 인터페이스(550)가 선택됨에 따라 사용자의 운전 정보가 입력될 수 있다. 사용자로부터 사용자의 거주지 정보, 사용자의 회사 위치 정보, 운전하는 시간대, 총 운전 시간, 주행하는 도로 정보, 주행하는 차량 정보, 타이어 정보, 타이어를 사용한 기간 등 사용자의 운전 정보가 입력될 수 있다. 사용자의 운전 패턴을 위한 유저 인터페이스(550)는 추가적인 기능 확보를 위한 메뉴 버튼일 수 있다. As the
타이어 매장 연계 유저 인터페이스(560)를 통해 사용자의 타이어의 교체 시기에 대응하여 타이어 매장이 제공될 수 있다. 사용자의 타이어 교체 시기와 사용자의 운전 정보를 매칭됨에 따라 타이어 매장에서 사용자에게 타이어 정보, 타이어 가격 등이 제시될 수 있다. 이에, 사용자는 원하는 타이어 매장을 선택하여 예약을 통해 타이어 매장에 방문하여 타이어를 교체할 수 있게 된다. A tire store may be provided in response to the user's tire replacement time through the tire store
이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.The device described above may be implemented with hardware components, software components, and/or a combination of hardware components and software components. For example, devices and components described in embodiments may include, for example, a processor, a controller, an arithmetic logic unit (ALU), a digital signal processor, a microcomputer, a field programmable gate array (FPGA), etc. , may be implemented using one or more general-purpose or special-purpose computers, such as a programmable logic unit (PLU), a microprocessor, or any other device capable of executing and responding to instructions. A processing device may execute an operating system (OS) and one or more software applications that run on the operating system. Additionally, a processing device may access, store, manipulate, process, and generate data in response to the execution of software. For ease of understanding, a single processing device may be described as being used; however, those skilled in the art will understand that a processing device includes multiple processing elements and/or multiple types of processing elements. It can be seen that it may include. For example, a processing device may include a plurality of processors or one processor and one controller. Additionally, other processing configurations, such as parallel processors, are possible.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치에 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.Software may include a computer program, code, instructions, or a combination of one or more of these, which may configure a processing unit to operate as desired, or may be processed independently or collectively. You can command the device. Software and/or data may be used on any type of machine, component, physical device, virtual equipment, computer storage medium or device to be interpreted by or to provide instructions or data to a processing device. It can be embodied in . Software may be distributed over networked computer systems and stored or executed in a distributed manner. Software and data may be stored on one or more computer-readable recording media.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. The method according to the embodiment may be implemented in the form of program instructions that can be executed through various computer means and recorded on a computer-readable medium. The computer-readable medium may include program instructions, data files, data structures, etc., singly or in combination. Program instructions recorded on the medium may be specially designed and configured for the embodiment or may be known and available to those skilled in the art of computer software. Examples of computer-readable recording media include magnetic media such as hard disks, floppy disks, and magnetic tapes, optical media such as CD-ROMs and DVDs, and magnetic media such as floptical disks. -Includes optical media (magneto-optical media) and hardware devices specifically configured to store and execute program instructions, such as ROM, RAM, flash memory, etc. Examples of program instructions include machine language code, such as that produced by a compiler, as well as high-level language code that can be executed by a computer using an interpreter, etc.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.As described above, although the embodiments have been described with limited examples and drawings, various modifications and variations can be made by those skilled in the art from the above description. For example, the described techniques are performed in a different order than the described method, and/or components of the described system, structure, device, circuit, etc. are combined or combined in a different form than the described method, or other components are used. Alternatively, appropriate results may be achieved even if substituted or substituted by an equivalent.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.Therefore, other implementations, other embodiments, and equivalents of the claims also fall within the scope of the claims described below.
Claims (13)
타이어 수명 예측을 위한 어느 하나의 방법을 선택하는 단계;
상기 선택된 어느 하나의 방법에 따라 타이어 수명 예측 모델에 타이어 이미지를 입력받는 단계; 및
상기 타이어 수명 예측 모델을 이용하여 상기 입력받은 타이어 이미지에 대해 타이어 수명을 예측하는 단계
를 포함하고,
상기 타이어 수명 예측 모델은, 객체 검출을 위한 딥러닝 모델과 깊이 추정을 위한 딥러닝 모델로 구성되어 타이어를 포함하는 학습 이미지 셋으로부터 타이어를 검출하고, 상기 검출된 타이어의 마모도 추정을 통해 타이어의 홈 깊이가 산출되도록 학습된 것으로, 전자 기기의 촬영 어플리케이션을 이용하여 촬영된 타이어를 포함하는 이미지 데이터를 수집하고, 상기 수집된 타이어를 포함하는 이미지 데이터로부터 상기 객체 검출을 위한 딥러닝 모델을 이용하여 객체로서 타이어를 검출하고, 상기 검출된 타이어의 각도, 위치, 밝기를 포함하는 객체 조정 정보를 보정하고, 상기 깊이 추정을 위한 딥러닝 모델을 이용하여 상기 객체 조정 정보가 보정된 타이어의 마모도를 추정하고, 상기 추정된 타이어의 마모도를 기반으로 타이어의 홈 깊이를 산출하도록 학습된 것이고,
상기 객체 검출을 위한 딥러닝 모델은, U-Net를 기반으로 구성되고,
상기 수집된 이미지 데이터에 대해 타이어 객체를 정답지로 만들기 위한 어노테이션 작업이 수행됨에 따라, 상기 어노테이션 작업이 수행된 이미지 데이터를 통해 객체 검출을 위한 U-Net 기반의 딥러닝 모델이 학습되는
타이어 수명 예측 방법.In a tire life prediction method performed by a tire life prediction system,
selecting a method for predicting tire life;
Receiving a tire image into a tire life prediction model according to any one of the selected methods; and
Predicting tire life for the input tire image using the tire life prediction model
Including,
The tire life prediction model consists of a deep learning model for object detection and a deep learning model for depth estimation, detects tires from a learning image set including tires, and estimates the wear of the detected tires to determine the tire grooves. It is learned to calculate the depth, and collects image data including tires photographed using a photography application of an electronic device, and detects the object using a deep learning model for detecting the object from the collected image data including the tire. Detects a tire, corrects object adjustment information including the angle, position, and brightness of the detected tire, and estimates the degree of wear of the tire for which the object adjustment information has been corrected using a deep learning model for depth estimation. , learned to calculate the groove depth of the tire based on the estimated tire wear,
The deep learning model for object detection is constructed based on U-Net,
As annotation work is performed on the collected image data to make the tire object the correct answer, a U-Net-based deep learning model for object detection is learned through the image data on which the annotation work was performed.
How to predict tire life.
상기 어노테이션 작업은,
상기 수집된 이미지 데이터에서 타이어 객체와 배경을 분리하는 것을 특징으로 하는 타이어 수명 예측 방법.According to paragraph 1,
The annotation task is,
A tire life prediction method characterized by separating tire objects and background from the collected image data.
상기 어노테이션 작업은,
Grab-Cut 알고리즘 사용하여 타이어의 위치를 다각형 형태의 박스로 표시하고, 상기 표시된 다각형 형태의 박스에 기초하여 객체 부분과 배경 부분의 정보를 제공하는
것을 특징으로 하는 타이어 수명 예측 방법.According to clause 4,
The annotation task is,
Using the Grab-Cut algorithm, the location of the tire is displayed as a polygon-shaped box, and information on the object part and background part is provided based on the displayed polygon-shaped box.
A tire life prediction method characterized by:
상기 깊이 추정을 위한 딥러닝 모델은,
상기 객체 조정 정보가 보정된 타이어를 포함하는 타이어 데이터를 이용하여 학습된 것을 특징으로 하는 타이어 수명 예측 방법.According to paragraph 1,
The deep learning model for depth estimation is,
A tire life prediction method, wherein the object adjustment information is learned using tire data including a corrected tire.
상기 깊이 추정을 위한 딥러닝 모델은,
상기 객체 조정 정보가 보정된 타이어를 포함하는 타이어 데이터에 포함된 타이어의 홈 깊이 정보에 따라 데이터를 분리하여 클래스를 형성함에 따라 타이어 이미지 또는 새로운 타이어 이미지에 대해 클래스 분류를 수행하고, 상기 수행된 클래스 분류에 따라 해당되는 클래스의 깊이 정보를 사용하는
것을 특징으로 하는 타이어 수명 예측 방법.According to clause 6,
The deep learning model for depth estimation is,
Class classification is performed on the tire image or a new tire image as the object adjustment information separates the data to form a class according to the groove depth information of the tire included in the tire data including the corrected tire, and the performed class Depending on the classification, the depth information of the corresponding class is used
A tire life prediction method characterized by:
상기 깊이 추정을 위한 딥러닝 모델은,
타이어 이미지와 클래스의 깊이 정보와의 차이를 이용하는 보간법을 사용하여 타이어 이미지에 포함된 실제 타이어의 홈 깊이를 추정하는
것을 특징으로 하는 타이어 수명 예측 방법.In clause 7,
The deep learning model for depth estimation is,
Estimating the groove depth of the actual tire included in the tire image using an interpolation method that uses the difference between the tire image and the depth information of the class.
A tire life prediction method characterized by:
상기 선택하는 단계는,
타이어 이미지를 이용하는 방법 또는 타이어 이미지와 동전을 이용하는 방법 중 어느 하나의 방법을 선택하는 단계
를 포함하는 타이어 수명 예측 방법. According to paragraph 1,
The selection step is,
Step of selecting either a method using a tire image or a method using a tire image and coins.
Tire life prediction method including.
타이어 수명 예측을 위한 어느 하나의 방법을 선택하는 단계;
상기 선택된 어느 하나의 방법에 따라 타이어 수명 예측 모델에 타이어 이미지를 입력받는 단계; 및
상기 타이어 수명 예측 모델을 이용하여 상기 입력받은 타이어 이미지에 대해 타이어 수명을 예측하는 단계
를 포함하고,
상기 타이어 수명 예측 모델은, 객체 검출을 위한 딥러닝 모델과 깊이 추정을 위한 딥러닝 모델로 구성되어 타이어를 포함하는 학습 이미지 셋으로부터 타이어를 검출하고, 상기 검출된 타이어의 마모도 추정을 통해 타이어의 홈 깊이가 산출되도록 학습된 것이고,
상기 선택하는 단계는,
타이어 이미지를 이용하는 방법 또는 타이어 이미지와 동전을 이용하는 방법 중 어느 하나의 방법을 선택하고, 전자 기기에서 타이어 수명 예측 서비스를 제공하는 어플리케이션을 이용하여 촬영된 타이어 이미지에 동전이 포함된 것으로 판단됨에 따라 타이어 이미지와 동전을 이용하는 방법을 선택하는 단계
를 포함하는 타이어 수명 예측 방법. In a tire life prediction method performed by a tire life prediction system,
selecting a method for predicting tire life;
Receiving a tire image into a tire life prediction model according to any one of the selected methods; and
Predicting tire life for the input tire image using the tire life prediction model
Including,
The tire life prediction model consists of a deep learning model for object detection and a deep learning model for depth estimation, detects tires from a learning image set including tires, and estimates the wear of the detected tires to determine the grooves of the tire. It is learned to calculate depth,
The selection step is,
Select either a method using a tire image or a method using a tire image and a coin, and if it is determined that the tire image captured using an application that provides a tire life prediction service on an electronic device contains a coin, the tire Steps to choose how to use images and coins
Tire life prediction method including.
상기 타이어 이미지를 입력받는 단계는,
전자 기기를 이용하여 타이어 이미지를 촬영하도록 가이드라인을 제시하고, 상기 제시된 가이드라인에 따라 촬영된 타이어 이미지를 입력받는 단계
를 포함하는 타이어 수명 예측 방법. According to claim 1 or 10,
The step of receiving the tire image is,
A step of presenting guidelines for taking tire images using an electronic device and receiving tire images taken according to the guidelines presented above.
Tire life prediction method including.
상기 타이어 수명을 예측하는 단계는,
전자 기기에 상기 타이어 이미지에 대한 잔량 데이터와 교체 시기를 제공하는 단계
를 포함하는 타이어 수명 예측 방법. According to claim 1 or 10,
The step of predicting the tire life is,
Providing remaining amount data and replacement time for the tire image to an electronic device.
Tire life prediction method including.
타이어 수명 예측을 위한 어느 하나의 방법을 선택하는 선택부;
상기 선택된 어느 하나의 방법에 따라 타이어 수명 예측 모델에 타이어 이미지를 입력받는 데이터 입력부; 및
상기 타이어 수명 예측 모델을 이용하여 상기 입력받은 타이어 이미지에 대해 대한 타이어 수명을 예측하는 수명 예측부
를 포함하고,
상기 타이어 수명 예측 모델은, 객체 검출을 위한 딥러닝 모델과 깊이 추정을 위한 딥러닝 모델로 구성되어 타이어를 포함하는 학습 이미지 셋으로부터 타이어를 검출하고, 상기 검출된 타이어의 마모도 추정을 통해 타이어의 홈 깊이가 산출되도록 학습된 것으로, 전자 기기의 촬영 어플리케이션을 이용하여 촬영된 타이어를 포함하는 이미지 데이터를 수집하고, 상기 수집된 타이어를 포함하는 이미지 데이터로부터 상기 객체 검출을 위한 딥러닝 모델을 이용하여 객체로서 타이어를 검출하고, 상기 검출된 타이어의 각도, 위치, 밝기를 포함하는 객체 조정 정보를 보정하고, 상기 깊이 추정을 위한 딥러닝 모델을 이용하여 상기 객체 조정 정보가 보정된 타이어의 마모도를 추정하고, 상기 추정된 타이어의 마모도를 기반으로 타이어의 홈 깊이를 산출하도록 학습된 것이고,
상기 객체 검출을 위한 딥러닝 모델은, U-Net를 기반으로 구성되고,
상기 수집된 이미지 데이터에 대해 타이어 객체를 정답지로 만들기 위한 어노테이션 작업이 수행됨에 따라, 상기 어노테이션 작업이 수행된 이미지 데이터를 통해 객체 검출을 위한 U-Net 기반의 딥러닝 모델이 학습되는
타이어 수명 예측 시스템.In the tire life prediction system,
a selection unit for selecting a method for predicting tire life;
a data input unit that receives a tire image into a tire life prediction model according to any one of the selected methods; and
A life prediction unit that predicts the tire life for the input tire image using the tire life prediction model.
Including,
The tire life prediction model consists of a deep learning model for object detection and a deep learning model for depth estimation, detects tires from a learning image set including tires, and estimates the wear of the detected tires to determine the tire grooves. It is learned to calculate the depth, and collects image data including tires photographed using a photography application of an electronic device, and detects the object using a deep learning model for detecting the object from the collected image data including the tire. Detects a tire, corrects object adjustment information including the angle, position, and brightness of the detected tire, and estimates the degree of wear of the tire for which the object adjustment information has been corrected using a deep learning model for depth estimation. , learned to calculate the groove depth of the tire based on the estimated tire wear,
The deep learning model for object detection is constructed based on U-Net,
As annotation work is performed on the collected image data to make the tire object the correct answer, a U-Net-based deep learning model for object detection is learned through the image data on which the annotation work was performed.
Tire life prediction system.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020220068835A KR102653768B1 (en) | 2022-06-07 | 2022-06-07 | Tire life prediction method and system using tire life prediction model |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020220068835A KR102653768B1 (en) | 2022-06-07 | 2022-06-07 | Tire life prediction method and system using tire life prediction model |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20230168414A KR20230168414A (en) | 2023-12-14 |
| KR102653768B1 true KR102653768B1 (en) | 2024-04-03 |
Family
ID=89167182
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020220068835A KR102653768B1 (en) | 2022-06-07 | 2022-06-07 | Tire life prediction method and system using tire life prediction model |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102653768B1 (en) |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101905127B1 (en) * | 2017-01-19 | 2018-10-05 | 주식회사 인더핸즈 | 3d modeling based tire inspection system |
-
2022
- 2022-06-07 KR KR1020220068835A patent/KR102653768B1/en active IP Right Grant
Also Published As
| Publication number | Publication date |
|---|---|
| KR20230168414A (en) | 2023-12-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9471982B2 (en) | Information processing apparatus and information processing method for associating an image with related information | |
| CN112529026A (en) | Method for providing AI model, AI platform, computing device and storage medium | |
| CN110348463B (en) | Method and device for identifying vehicle | |
| CN112200131A (en) | Vision-based vehicle collision detection method, intelligent terminal and storage medium | |
| EP4036792A1 (en) | Method and device for classifying pixels of an image | |
| KR102403169B1 (en) | Method for providing guide through image analysis, and computer program recorded on record-medium for executing method therefor | |
| CN115701864A (en) | Neural network training method, target detection method, device, medium, and product | |
| JP2015103188A (en) | Image analysis device, image analysis method, and image analysis program | |
| KR102653768B1 (en) | Tire life prediction method and system using tire life prediction model | |
| CN112966687B (en) | Image segmentation model training method and device and communication equipment | |
| CN111461026A (en) | Vehicle posture recognition method, and method and device for detecting vehicle state in parking lot | |
| CN112785595A (en) | Target attribute detection, neural network training and intelligent driving method and device | |
| EP4105893A1 (en) | Dynamic artifical intelligence camera model update | |
| JP2021033494A (en) | Annotation support method, annotation support device, and annotation support program | |
| CN113807315B (en) | Method, device, equipment and medium for constructing object recognition model to be recognized | |
| CN112784817B (en) | Method, device and equipment for detecting lane where vehicle is located and storage medium | |
| CN112446428A (en) | Image data processing method and device | |
| KR20230168415A (en) | Tire store linkage method and system based on tire life prediction model | |
| CN112818174A (en) | Video annotation method and device, computer equipment and storage medium | |
| KR102546193B1 (en) | Method for learning data classification using color information, and computer program recorded on record-medium for executing method thereof | |
| KR102546198B1 (en) | Method for learning data classification based physical factor, and computer program recorded on record-medium for executing method thereof | |
| US20230030987A1 (en) | Image classification method and apparatus, and method and apparatus for improving training of an image classifier | |
| CN111739322A (en) | Data processing method and device | |
| KR102431425B1 (en) | Scene classification method for mobile robot and object classification method | |
| KR102395393B1 (en) | Method for providing guide through sensing environment analysis, and computer program recorded on record-medium for executing method therefor |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right |