KR102425320B1 - Tire tread wear determination system and method using deep artificial neural network - Google Patents

Tire tread wear determination system and method using deep artificial neural network Download PDF

Info

Publication number
KR102425320B1
KR102425320B1 KR1020210095054A KR20210095054A KR102425320B1 KR 102425320 B1 KR102425320 B1 KR 102425320B1 KR 1020210095054 A KR1020210095054 A KR 1020210095054A KR 20210095054 A KR20210095054 A KR 20210095054A KR 102425320 B1 KR102425320 B1 KR 102425320B1
Authority
KR
South Korea
Prior art keywords
image
tread surface
unit
tire
tire tread
Prior art date
Application number
KR1020210095054A
Other languages
Korean (ko)
Other versions
KR20220097152A (en
Inventor
조재영
김보성
Original Assignee
주식회사 오토피디아
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 오토피디아 filed Critical 주식회사 오토피디아
Publication of KR20220097152A publication Critical patent/KR20220097152A/en
Application granted granted Critical
Publication of KR102425320B1 publication Critical patent/KR102425320B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01M—TESTING STATIC OR DYNAMIC BALANCE OF MACHINES OR STRUCTURES; TESTING OF STRUCTURES OR APPARATUS, NOT OTHERWISE PROVIDED FOR
    • G01M17/00—Testing of vehicles
    • G01M17/007—Wheeled or endless-tracked vehicles
    • G01M17/02—Tyres
    • G01M17/022—Tyres the tyre co-operating with rotatable rolls
    • G01M17/024—Tyres the tyre co-operating with rotatable rolls combined with tyre surface correcting or marking means
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01M—TESTING STATIC OR DYNAMIC BALANCE OF MACHINES OR STRUCTURES; TESTING OF STRUCTURES OR APPARATUS, NOT OTHERWISE PROVIDED FOR
    • G01M17/00—Testing of vehicles
    • G01M17/007—Wheeled or endless-tracked vehicles
    • G01M17/02—Tyres
    • G01M17/027—Tyres using light, e.g. infrared, ultraviolet or holographic techniques
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8803—Visual inspection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2223/00—Investigating materials by wave or particle radiation
    • G01N2223/60—Specific applications or type of materials
    • G01N2223/627—Specific applications or type of materials tyres
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2291/00—Indexing codes associated with group G01N29/00
    • G01N2291/26—Scanned objects
    • G01N2291/269—Various geometry objects
    • G01N2291/2692—Tyres

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Image Analysis (AREA)
  • Tyre Moulding (AREA)

Abstract

본 발명은, 타이어 트레드면의 이미지를 수신하는 이미지 수신부; 상기 이미지 수신부가 수신한 이미지로부터 타이어 부분과 배경 부분이 분할된 이미지를 생성하는 이미지 분할부; 학습된 심층 인공신경망을 이용하여 상기 이미지 분할부가 생성한 이미지상의 타이어 트레드면의 마모도를 보통, 교체, 또는 위험 중 어느 하나로 출력하는 출력부;를 포함하는 것을 일 특징으로 한다.The present invention provides an image receiving unit for receiving an image of a tire tread surface; an image dividing unit generating an image in which a tire part and a background part are divided from the image received by the image receiving unit; and an output unit that outputs the wear level of the tire tread surface on the image generated by the image division unit using the learned deep artificial neural network as either normal, replacement, or risk.

Description

심층 인공신경망을 이용한 타이어 트레드면 마모 판단 시스템 및 방법{TIRE TREAD WEAR DETERMINATION SYSTEM AND METHOD USING DEEP ARTIFICIAL NEURAL NETWORK}TIRE TREAD WEAR DETERMINATION SYSTEM AND METHOD USING DEEP ARTIFICIAL NEURAL NETWORK

본 발명은 타이어 트레드면 마모 판단 시스템 및 방법에 관한 것으로서, 특히 단일 이미지만으로 심층 인공신경망을 이용하여 타이어 트레드면의 마모상태를 자동으로 판단하는 시스템 및 방법에 관한 것이다.The present invention relates to a tire tread surface wear determination system and method, and more particularly, to a system and method for automatically determining a tire tread surface wear state using a deep artificial neural network using only a single image.

시중의 승용차 및 화물차에 장착되는 타이어는 주행거리와 비례하여 트레드면이 마모 및 침식되며 이 때문에 일정 수준 이상의 마모가 진행된 타이어는 교체해야 안전한 주행이 가능하다. Tires installed in commercial passenger cars and trucks wear and corrode tread in proportion to the mileage, and for this reason, tires that have worn out over a certain level must be replaced to ensure safe driving.

도 1은 마모 한계선이라 불리는 마모도 측정용 구조를 나타낸다. 도 1을 참조하면, 각 차량의 타이어 제조사들은 타이어 트레드면의 마모상태의 객관적인 판단을 위해 마모 한계선(2)이라 불리는 마모도 측정용 구조를 타이어 트레드면에 포함시켜 생산하고 있다. 하지만 전문적인 지식이 없는 일반 소비자들은 이러한 마모 한계선(2)의 활용을 못 하고 있으며, 육안상으로 자차의 타이어 마모상태를 스스로 판단하는 데 어려움을 겪고 있다. 이 때문에 타이어 교체 시기가 늦춰지거나 교체가 필요하지 않은 상황에서 교체 필요 여부를 알아보기 위해 정비소 및 타이어 교환점을 불필요하게 방문하는 상황이 발생한다. 1 shows a structure for measuring wear, called a wear limit line. Referring to FIG. 1 , tire manufacturers of each vehicle are producing a tire tread surface including a wear measurement structure called a wear limit line 2 in order to objectively determine the wear state of the tire tread surface. However, general consumers without professional knowledge are unable to utilize this wear limit line (2), and have difficulty in judging the wear condition of their own vehicle's tires with the naked eye. For this reason, the timing of tire replacement is delayed or unnecessary visits to repair shops and tire exchange shops to check whether replacement is necessary in a situation where replacement is not necessary occur.

이와 관련하여, 타이어 트레드 홈의 깊이를 일일이 측정할 필요 없도록 제10-1534259호는 타이어 마모도 측정 방법 및 그 장치를 개시한다. 상기의 선행특허문헌은 타이어 마모도 측정장치가 타이어에 대한 동영상 이미지를 수신하면, 이를 기초로 3차원 형상의 이미지를 생성하고, 3차원 형성의 이미지 내 트레드 영역의 깊이를 기초로 타이어 트레드의 마모도를 측정할 수 있도록 한다.In this regard, No. 10-1534259 discloses a method and apparatus for measuring tire wear so that it is not necessary to measure the depth of the tire tread grooves one by one. In the above-mentioned prior patent document, when the tire wear measurement device receives a moving image of the tire, it generates a three-dimensional image based on it, and measures the wear of the tire tread based on the depth of the tread area in the three-dimensional image. make it possible to measure

또한, 타이어가 과하다게 마모되었음을 자동으로 경고할 수 있도록 제10-1469563호는 타이어 마모 판단 장치 및 방법을 개시한다. 상기의 선행특허문헌은 별도 센서부가 산출한 차량의 제동거리를 기초로 타이어의 마모 정도를 판단할 수 있도록 한다.In addition, No. 10-1469563 discloses an apparatus and method for determining tire wear so as to automatically warn that the tire is excessively worn. The above-mentioned prior patent document allows the degree of wear of the tire to be determined based on the braking distance of the vehicle calculated by the separate sensor unit.

이와 같이 종래의 경우, 타이어의 마모 정도를 자동으로 판단하는 선행문헌이 다수 제안되고 있으나, 타이어 트레드면의 마모상태 측정을 위해 동영상을 촬영하고 분석하는 복잡한 작업이 필요하고 별도의 센서가 요구되는바 한계점이 존재한다. 이에 본 명세서는 과학기술정보통신부의 2020년 인공지능 온라인 경진대회 우수 성과 기업 사업화 지원을 통해 도출된 것이다. (과제번호:A0712-20-1015)As described above, in the conventional case, a number of prior literatures for automatically determining the degree of wear of a tire have been proposed. However, in order to measure the wear state of the tire tread surface, a complicated operation of shooting and analyzing a video is required, and a separate sensor is required. Limitations exist. Therefore, this specification was derived through the support of the Ministry of Science and Technology Information and Communication's 2020 artificial intelligence online competition excellent results and commercialization support. (task number: A0712-20-1015)

한국등록특허 제10-1534259호Korean Patent No. 10-1534259 한국등록특허 제10-1469563호Korean Patent No. 10-1469563

본 발명은 단일 이미지만을 활용해 타이어 마모도를 판단하여 알고리즘 연산에 필요한 계산량을 줄이는 것을 일 목적으로 한다. An object of the present invention is to reduce the amount of calculation required for algorithm calculation by determining the tire wear level using only a single image.

또한, 본 발명은 별도의 센서 없이 사용자의 모바일 디바이스 및 일반 촬영장치를 이용하여 간편히 타이어 트레드면의 마모상태를 측정할 수 있도록 하는 것을 다른 목적으로 한다. Another object of the present invention is to enable the user's mobile device and a general photographing apparatus to easily measure the wear state of the tire tread surface without a separate sensor.

상기 목적을 달성하기 위하여 본 발명은, 타이어 트레드면의 이미지를 수신하는 이미지 수신부; 상기 이미지 수신부가 수신한 이미지로부터 타이어 부분과 배경 부분이 분할된 이미지를 생성하는 이미지 분할부; 학습된 심층 인공신경망을 이용하여 상기 이미지 분할부가 생성한 이미지상의 타이어 트레드면의 마모도를 보통, 교체, 또는 위험 중 어느 하나로 출력하는 출력부;를 포함하는 것을 일 특징으로 한다.In order to achieve the above object, the present invention provides an image receiving unit for receiving an image of a tire tread surface; an image dividing unit generating an image in which a tire part and a background part are divided from the image received by the image receiving unit; and an output unit that outputs the wear level of the tire tread surface on the image generated by the image division unit using the learned deep artificial neural network as either normal, replacement, or risk.

바람직하게, 상기 이미지 분할부는, 상기 이미지 수신부가 수신한 이미지의 각 픽셀이 타이어에 해당할 확률을 출력하는 확률 추출 모듈을 포함할 수 있다.Preferably, the image division unit may include a probability extraction module for outputting a probability that each pixel of the image received by the image receiving unit corresponds to a tire.

바람직하게, 상기 이미지 분할부는, 상기 확률 추출 모듈이 출력한 확률을 상기 이미지 수신부가 수신한 이미지에 대응되는 픽셀별로 곱하는 확률 곱셈 모듈을 더 포함할 수 있다. Preferably, the image division unit may further include a probability multiplication module that multiplies the probability output by the probability extraction module for each pixel corresponding to the image received by the image receiving unit.

바람직하게, 트레드면의 상태 및 트레드 사이의 음영 정보를 기준으로 한 타이어 마모도에 따라 보통, 교체, 또는 위험 중 어느 하나로 라벨링된 이미지로 심층 인공신경망을 학습시키는 학습부;를 더 포함할 수 있다.Preferably, a learning unit for learning the deep artificial neural network with an image labeled as any one of normal, replacement, or risk according to the tire wear level based on the state of the tread surface and the shading information between the treads; may further include.

바람직하게, 상기 학습부는, 단일 이미지로 심층 인공신경망을 학습하고, 상기 출력부는, 단일 이미지로 타이어 트레드면의 마모도를 출력하여, 연산량을 최소화할 수 있다.Preferably, the learning unit learns the deep artificial neural network with a single image, and the output unit outputs the wear level of the tire tread surface as a single image, thereby minimizing the amount of computation.

바람직하게, 타이어 트레드면의 이미지를 촬영하여 상기 이미지 수신부에 전송하는 이미지 촬영부;를 더 포함할 수 있다. Preferably, the method may further include an image capturing unit that captures an image of the tire tread surface and transmits the image to the image receiving unit.

바람직하게, 상기 출력부의 출력값을 표시하는 디스플레이부;를 더 포함할 수 있다.Preferably, the display unit for displaying the output value of the output unit; may further include.

또한 본 발명은, 타이어 트레드면의 이미지를 수신하는 이미지 수신단계; 상기 이미지 수신단계에서 수신한 이미지에서 타이어 부분과 배경 부분을 분할하는 이미지 분할단계; 트레드면의 상태 및 트레드 사이의 음영 정보를 기준으로 한 타이어 마모도에 따라 보통, 교체, 또는 위험 중 어느 하나로 라벨링된 이미지로 심층 인공신경망을 학습시키는 학습단계; 및 학습된 심층 인공신경망을 이용하여 상기 이미지 분할단계에서 생성한 이미지상의 타이어 트레드면의 마모도를 보통, 교체, 또는 위험 중 어느 하나로 출력하는 출력단계;를 포함하는 것을 다른 특징으로 한다.The present invention also provides an image receiving step of receiving an image of a tire tread surface; an image dividing step of dividing a tire part and a background part in the image received in the image receiving step; A learning step of training the deep artificial neural network with images labeled as either normal, replacement, or risk according to the tire wear level based on the condition of the tread surface and the shade information between the treads; and an output step of outputting the wear level of the tire tread surface on the image generated in the image segmentation step as normal, replacement, or risk by using the learned deep artificial neural network.

바람직하게, 상기 이미지 분할단계는, 상기 이미지 수신단계에서 수신한 이미지의 각 픽셀이 타이어에 해당할 확률을 출력하는 확률 추출 단계를 포함할 수 있다. Preferably, the image segmentation step may include a probability extraction step of outputting a probability that each pixel of the image received in the image receiving step corresponds to a tire.

바람직하게, 상기 이미지 분할단계는, 상기 확률 추출 단계에서 출력한 확률을 상기 이미지 수신단계가 수신한 이미지에 대응되는 픽셀별로 곱하는 확률 곱셈 단계를 포함할 수 있다.Preferably, the image segmentation step may include a probability multiplication step of multiplying the probability output in the probability extraction step for each pixel corresponding to the image received by the image receiving step.

본 발명에 따르면, 인공신경망 모델을 이용하여 타이어 트레드면의 마모도를 측정하는 이미지 분할부와 출력부가 단일 이미지만을 활용해 타이어 마모도를 판단할 수 있다는 이점이 있다. According to the present invention, there is an advantage that the image division unit and the output unit that measure the wear level of the tire tread surface using the artificial neural network model can determine the tire wear level using only a single image.

또한 본 발명은, 사용자의 카메라를 이용하여 별도의 센서 없이 트레드면의 마모상태를 측정할 수 있다는 이점이 있다. In addition, the present invention has the advantage of being able to measure the wear state of the tread surface without a separate sensor using the user's camera.

도 1은 마모 한계선이라 불리는 마모도 측정용 구조를 나타낸다.
도 2는 본 발명의 실시예에 따른 타이어 트레드면 마모 판단 시스템의 구성도를 나타낸다.
도 3은 본 발명의 실시예에 따른 알고리즘 연산이 사용자 단말기에서 이루어지는 타이어 트레드면 마모 판단 시스템의 구성도를 나타낸다.
도 4는 본 발명의 실시예에 따른 알고리즘 연산이 서버에서 이루어지는 타이어 트레드면 마모 판단 시스템의 구성도를 나타낸다.
도 5는 본 발명의 실시예에 따른 심층 인공신경망 구조를 나타낸다.
도 6는 본 발명의 실시예에 따른 차량 관리 어플리케이션의 타이어 트레드 마모 판단 수행화면을 나타낸다.1 shows a structure for measuring wear, called a wear limit line.
2 is a block diagram of a tire tread surface wear determination system according to an embodiment of the present invention.
3 is a block diagram of a tire tread surface wear determination system in which an algorithm operation is performed in a user terminal according to an embodiment of the present invention.
4 is a block diagram of a tire tread surface wear determination system in which an algorithm operation is performed in a server according to an embodiment of the present invention.
5 shows the structure of a deep artificial neural network according to an embodiment of the present invention.
6 illustrates a screen for determining tire tread wear of a vehicle management application according to an embodiment of the present invention.

이하, 첨부된 도면들에 기재된 내용들을 참조하여 본 발명을 상세히 설명한다. 다만, 본 발명이 예시적 실시 예들에 의해 제한되거나 한정되는 것은 아니다. 각 도면에 제시된 동일 참조부호는 실질적으로 동일한 기능을 수행하는 부재를 나타낸다.Hereinafter, the present invention will be described in detail with reference to the contents described in the accompanying drawings. However, the present invention is not limited or limited by the exemplary embodiments. The same reference numerals in each drawing indicate members that perform substantially the same functions.

본 발명의 목적 및 효과는 하기의 설명에 의해서 자연스럽게 이해되거나 보다 분명해 질 수 있으며, 하기의 기재만으로 본 발명의 목적 및 효과가 제한되는 것은 아니다. 또한, 본 발명을 설명함에 있어서 본 발명과 관련된 공지 기술에 대한 구체적인 설명이, 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략하기로 한다.Objects and effects of the present invention can be naturally understood or made clearer by the following description, and the objects and effects of the present invention are not limited only by the following description. In addition, in the description of the present invention, if it is determined that the detailed description of the known technology related to the present invention may unnecessarily obscure the gist of the present invention, the detailed description thereof will be omitted.

도 2는 본 발명의 실시예에 따른 타이어 트레드면 마모 판단 시스템(1)의 구성도를 나타낸다. 도 2를 참조하면, 타이어 트레드면 마모 판단 시스템(1)은 사용자 단말기(10) 및 서버(30)를 포함할 수 있다. 타이어 트레드면 마모 판단 시스템(1)은 이미지 촬영부(100), 이미지 수신부(200), 이미지 분할부(300), 출력부(400), 디스플레이부(500), 및 정보저장부(700)를 포함할 수 있다.2 is a block diagram of a tire tread surface wear determination system 1 according to an embodiment of the present invention. Referring to FIG. 2 , the tire tread surface wear determination system 1 may include a user terminal 10 and a server 30 . The tire tread surface wear determination system 1 includes an image capturing unit 100 , an image receiving unit 200 , an image dividing unit 300 , an output unit 400 , a display unit 500 , and an information storage unit 700 . may include

타이어 트레드면 마모 판단 시스템(1)은 일반 운전자들이 소지하고 있는 사용자 단말기(10)로 촬영된 단일 이미지(4)만으로 타이어 트레드면의 마모상태를 판단할 수 있다. 타이어 트레드면 마모 판단 시스템(1)은 대량의 타이어 트레드면 이미지와 해당 이미지상으로 판단된 교체 필요 여부를 심층 인공신경망 모델에 주입하여 학습시킬 수 있다. 타이어 트레드면 마모 판단 시스템(1)은 단일 이미지(4)의 트레드면 상태 및 트레드 사이의 음영 정보를 바탕으로 마모도를 판단할 수 있다.The tire tread surface wear determination system 1 may determine the wear state of the tire tread surface only with a single image 4 captured by the user terminal 10 possessed by general drivers. The tire tread surface wear determination system 1 may learn by injecting a large amount of tire tread surface images and the need for replacement determined based on the images into the deep artificial neural network model. The tire tread surface wear determination system 1 may determine the wear level based on the tread surface condition of the single image 4 and shadow information between the treads.

타이어 트레드면 마모 판단 시스템(1)은 타이어 교환점 직원이 교환점을 방문한 고객 차량의 타이어 트레드면의 마모도를 간편하게 판단하고 고객에게 안내하는 용도로도 사용될 수 있다.The tire tread surface wear determination system 1 may also be used for the purpose of guiding the customer by simply determining the wear level of the tire tread surface of the customer vehicle where the tire exchange shop employee has visited the exchange shop.

타이어 트레드면 마모 판단 시스템(1)은 마모도 분석이 원격에서 이루어질 수 있으므로 API 형태로 공급될 수 있다.The tire tread surface wear determination system 1 may be supplied in the form of an API since wear analysis can be performed remotely.

사용자 단말기(10)는 휴대가 가능하며, 네트워크를 통해 데이터를 송수신할 수 있는 단말기로서, 스마트폰, 노트북 등을 포함한다. 이때, 사용자 단말기(10)는 본 발명의 실시예에 따른 타이어 마모도를 출력하기 위한 소프트웨어 등이 설치된 단말기이다. 사용자 단말기(10)는 서버(30)와 무선 또는 유선 네트워크로 연결될 수 있다. The user terminal 10 is a portable terminal capable of transmitting and receiving data through a network, and includes a smart phone, a notebook computer, and the like. In this case, the user terminal 10 is a terminal in which software for outputting a tire wear level according to an embodiment of the present invention is installed. The user terminal 10 may be connected to the server 30 through a wireless or wired network.

서버(30)는 심층 인공신경망의 학습을 위해 대량의 연산이 가능하도록 구성될 수 있다. 서버(30)는 사용자 단말기(10)와 유선 또는 무선 네트워크로 연결될 수 있다.The server 30 may be configured to enable a large amount of computation for learning of the deep artificial neural network. The server 30 may be connected to the user terminal 10 through a wired or wireless network.

이미지 촬영부(100)는 타이어 트레드면의 이미지를 촬영하여 이미지 수신부(200)에 전송할 수 있다. 이미지 촬영부(100)는 사용자 단말기(10)에 구비되어 있거나 제3의 장치일 수 있다. 이미지 촬영부(100)는 촬영된 이미지를 이미지 수신부(200)에 전송할 수 있다. 이미지 촬영부(100)는 이미지 수신부(200)와 무선 또는 유선 네트워크로 연결될 수 있다. 이미지 촬영부(100)는 무선으로 이미지 수신부(200)와 연결시 CDMA(Code Division Multiple Access), WCDMA(Wideband CDMA), LTE(Long Term Evolution) 또는 WiFi 등의 광의의 이동통신망을 사용할 수 있다.The image capturing unit 100 may capture an image of the tire tread surface and transmit it to the image receiving unit 200 . The image capturing unit 100 may be provided in the user terminal 10 or may be a third device. The image capturing unit 100 may transmit the captured image to the image receiving unit 200 . The image capturing unit 100 may be connected to the image receiving unit 200 through a wireless or wired network. The image capturing unit 100 may use a broad mobile communication network such as CDMA (Code Division Multiple Access), WCDMA (Wideband CDMA), LTE (Long Term Evolution) or WiFi when wirelessly connected to the image receiving unit 200 .

디스플레이부(500)는 출력부(400)의 출력값을 표시할 수 있다. 디스플레이부(500)는 사용자 단말기(10)에 구비되어 있거나 제3의 장치일 수 있다. 디스플레이부(500)는 사용자 또는 운전자가 촬영한 이미지와 함께 타이어 트레드면의 마모도를 보통, 교체, 또는 위험 중 어느 하나로 표시할 수 있다. The display unit 500 may display an output value of the output unit 400 . The display unit 500 may be provided in the user terminal 10 or may be a third device. The display unit 500 may display the wear level of the tire tread surface together with the image captured by the user or the driver as either normal, replacement, or dangerous.

정보저장부(700)는 학습부(600)에서 사용되는 라벨링된 이미지를 저장할 수 있다. 정보저장부(700)는 사용자 또는 운전자가 타이어 트레드면의 마모도를 측정하기 위해 촬영한 이미지를 저장할 수 있다. 정보저장부(700)는 사용자 또는 운전자가 촬영한 이미지를 심층 인공신경망을 학습하는 데 사용되도록 할 수 있다. 정보저장부(700)는 이전에 측정한 타이어 트레드면의 마모도 출력값을 저장할 수 있다. The information storage unit 700 may store a labeled image used in the learning unit 600 . The information storage unit 700 may store an image captured by a user or a driver to measure a wear level of a tire tread surface. The information storage unit 700 may allow an image captured by a user or driver to be used to learn a deep artificial neural network. The information storage unit 700 may store an output value of the previously measured wear level of the tread surface of the tire.

이미지 수신부(200)는 타이어 트레드면의 이미지를 수신할 수 있다. 이미지 수신부(200)는 이미지 촬영부(100) 또는 일반 디지털카메라에서 촬영한 이미지를 수신할 수 있다. 이미지 수신부(200)는 제3의 장치와 유선 또는 무선 네트워크로 연결되어 제3의 장치가 촬영 또는 저장한 이미지를 수신할 수 있다. 이미지 수신부(200)는 타이어 트레드면의 이미지를 수신받아 이미지 분할부(300)에 전달할 수 있다. The image receiver 200 may receive an image of a tire tread surface. The image receiving unit 200 may receive an image captured by the image capturing unit 100 or a general digital camera. The image receiver 200 may be connected to a third device through a wired or wireless network to receive an image photographed or stored by the third device. The image receiving unit 200 may receive the image of the tire tread surface and transmit it to the image dividing unit 300 .

이미지 수신부(200)는 수신받은 이미지를 전처리할 수 있다. 이미지 수신부(200)는 수신받은 이미지의 픽셀값을 정규화하는 방식의 전처리를 수행할 수 있다. 본 실시예로, 이미지 수신부(200)는 수신받은 이미지의 픽셀값이 0~255 사이인 경우, 픽셀값을 -1~1 사이로 전처리(스케일링)할 수 있다. 이미지 수신부(200)는 심층 인공신경망에 입력되도록 수신받은 이미지의 사이즈와 해상도를 조정하는 전처리를 할 수 있다. The image receiver 200 may pre-process the received image. The image receiving unit 200 may perform pre-processing in a manner of normalizing pixel values of the received image. In the present embodiment, when the pixel value of the received image is between 0 and 255, the image receiver 200 may pre-process (scale) the pixel value to be between -1 and 1. The image receiving unit 200 may perform pre-processing of adjusting the size and resolution of the received image to be input to the deep artificial neural network.

이미지 분할부(300)는 이미지 수신부(200)가 수신한 이미지로부터 타이어 부분과 배경 부분이 분할된 이미지를 생성할 수 있다. 이미지 분할부(300)는 배경 영역에 대한 이미지 정보를 줄여서 출력부(400)에서 심층 인공신경망이 타이어 트레드면에 집중하여 연산하도록 할 수 있다. 이미지 분할부(300)는 타이어 부분이 분할된 이미지를 생성하여 배경 부위에 영향을 덜 받게 할 수 있다. 따라서, 이미지 분할부(300)는 출력부(400)에서 타이어 트레드면의 마모도를 정확히 도출하게 할 수 있다. The image dividing unit 300 may generate an image in which a tire part and a background part are divided from the image received by the image receiving unit 200 . The image segmentation unit 300 may reduce image information on the background region so that the deep artificial neural network operates on the tire tread surface in the output unit 400 . The image dividing unit 300 may generate an image in which the tire part is divided to be less affected by the background part. Accordingly, the image division unit 300 may accurately derive the wear level of the tire tread surface from the output unit 400 .

도 5는 본 발명의 실시예에 따른 심층 인공신경망 구조를 나타낸다. 도 5를 참조하면, 이미지 분할부(300)는 확률 추출 모듈(310) 및 확률 곱셈 모듈(330)을 포함할 수 있다. 5 shows the structure of a deep artificial neural network according to an embodiment of the present invention. Referring to FIG. 5 , the image division unit 300 may include a probability extraction module 310 and a probability multiplication module 330 .

확률 추출 모듈(310)은 이미지 수신부(200)가 수신한 이미지의 각 픽셀이 타이어에 해당할 확률을 출력할 수 있다. 확률 추출 모듈(310)은 segmentation medel을 이용하여 픽셀 레벨로 각 픽셀이 타이어에 해당하는지 배경에 해당하는지에 대한 확률(Tread Probability Mask)을 출력할 수 있다. 확률 추출 모듈(310)은 확률을 구하는 기준이 사용자에 의해 설정되지 않는다. 즉, 확률 추출 모듈(310)은 확률을 구하는 기준이 심층 인공신경망을 통한 학습에 의해 설정된다. The probability extraction module 310 may output a probability that each pixel of the image received by the image receiver 200 corresponds to a tire. The probability extraction module 310 may output a probability (Tread Probability Mask) of whether each pixel corresponds to a tire or a background at a pixel level using the segmentation medel. In the probability extraction module 310, the criterion for calculating the probability is not set by the user. That is, in the probability extraction module 310, the criterion for obtaining the probability is set by learning through the deep artificial neural network.

확률 추출 모듈(310)은 특정 픽셀이 타이어에 해당할 확률을 0에서 1 사이의 값으로 출력할 수 있다. 확률 추출 모듈(310)이 확률을 높게 출력한 경우 해당 픽셀은 타이어 일부일 확률이 높은 것으로 볼 수 있다. The probability extraction module 310 may output a probability that a specific pixel corresponds to a tire as a value between 0 and 1. When the probability extraction module 310 outputs a high probability, the pixel may be regarded as having a high probability of being a part of the tire.

확률 추출 모듈(310)이 출력한 확률이 일정한 기준치 이상이 되는 경우 해당 픽셀은 타이어 일부로 볼 수 있다. 확률 추출 모듈(310)은 사용자에 의해 상기 기준치가 설정될 수 있다. 또한, 확률 추출 모듈(310)은 심층 인공신경망의 학습을 통해 상기 기준치가 설정될 수도 있다. 본 실시예로, 확률 추출 모듈(310)이 출력한 확률이 0.5 이상일 때 해당 픽셀은 타이어 일부로 볼 수 있다.When the probability output by the probability extraction module 310 is equal to or greater than a certain reference value, the corresponding pixel may be regarded as a part of the tire. The probability extraction module 310 may set the reference value by a user. In addition, the probability extraction module 310 may set the reference value through learning of the deep artificial neural network. In this embodiment, when the probability output by the probability extraction module 310 is 0.5 or more, the pixel may be regarded as a part of the tire.

확률 곱셈 모듈(330)은 확률 추출 모듈이 출력한 확률을 이미지 수신부(200)가 수신한 이미지에 대응되는 픽셀별로 곱할 수 있다. 확률 곱셈 모듈(330)은 픽셀별로 타이어에 해당하는 확률을 기존의 이미지의 픽셀값에 곱하여 타이어와 관계없는 배경 부분의 정보를 희석할 수 있다. 확률 곱셈 모듈(330)은 출력된 확률을 입력된 이미지에 대응되는 픽셀별로 곱하여, 배경 영역에 대한 정보가 줄고 타이어 트레드면에 대한 정보가 강조된 이미지를 생성할 수 있다.The probability multiplication module 330 may multiply the probability output by the probability extraction module for each pixel corresponding to the image received by the image receiver 200 . The probability multiplication module 330 may dilute information on the background part irrelevant to the tire by multiplying the pixel value of the existing image by the probability corresponding to the tire for each pixel. The probability multiplication module 330 may generate an image in which information on a background area is reduced and information on a tire tread surface is emphasized by multiplying the output probability by pixels corresponding to the input image.

본 실시예로, 확률 곱셈 모듈(330)은 CNN 기반의 심층 인공신경망에서 생성되는 모델인 Activation Map(301)에 Tread Probability Mask(303)를 곱한 Mutiplied Activation Map(305)를 생성할 수 있다. 확률 곱셈 모듈(330)은 Mutiplied Activation Map(305)을 출력부(400)에 입력할 수 있다. In this embodiment, the probability multiplication module 330 may generate a Mutiplied Activation Map 305 obtained by multiplying an Activation Map 301, which is a model generated in a CNN-based deep artificial neural network, by a Tread Probability Mask 303. The probability multiplication module 330 may input the Mutiplied Activation Map 305 to the output unit 400 .

Mutiplied Activation Map(305)은 타이어 부분과 배경 부분이 분할된 이미지이다. Mutiplied Activation Map(305)는 출력부(400)가 타이어 트레드면의 마모도를 출력할 때, 배경 부위에 영향을 적게 받도록 할 수 있다.The Mutiplied Activation Map 305 is an image in which a tire part and a background part are divided. The Mutiplied Activation Map 305 may allow the output unit 400 to be less influenced by the background area when outputting the wear level of the tire tread surface.

출력부(400)는 학습된 심층 인공신경망을 이용하여 이미지 분할부(300)가 생성한 이미지상의 타이어 트레드면의 마모도를 보통, 교체, 또는 위험 중 어느 하나로 출력할 수 있다. 출력부(400)는 이미지 분할부(300)가 생성한 이미지를 학습된 심층 인공신경망에 입력하여 이미지 내 픽셀을 분석하는 방식으로 타이어 트레드면의 마모상태를 측정할 수 있다. The output unit 400 may output the wear level of the tire tread surface on the image generated by the image division unit 300 using the learned deep artificial neural network as either normal, replacement, or risk. The output unit 400 may measure the wear state of the tire tread surface by inputting the image generated by the image division unit 300 into the learned deep artificial neural network and analyzing the pixels in the image.

출력부(400)는 심층 인공신경망 모델로 인공신경망 기반의 뉴럴 네트워크 알고리즘(DNN, CNN)을 이용할 수 있다. 심층 인공신경망 모델로 CNN(Convolutional Neural Network)을 사용하는 경우 최소한으로 전처리만으로도 인공신경망을 사용할 수 있다. CNN(Convolutional Neural Network)은 하나 또는 여러 개의 합성곱 계층과 그 위에 올려진 일반적인 인공신경망 계층들로 이루어져 있으며, 가중치와 통합 계층들을 추가로 활용한다. CNN(Convolutional Neural Network)은 기존의 인공신경망 기법들보다 쉽게 훈련되는 편이고 적은 수의 매개변수를 사용한다는 이점이 있다.The output unit 400 may use an artificial neural network-based neural network algorithm (DNN, CNN) as a deep artificial neural network model. When using a Convolutional Neural Network (CNN) as a deep artificial neural network model, an artificial neural network can be used with minimal preprocessing. A CNN (Convolutional Neural Network) consists of one or several convolutional layers and general artificial neural network layers on top of it, and additionally utilizes weights and integration layers. Convolutional Neural Network (CNN) has the advantage of being easier to train than existing artificial neural network techniques and using a small number of parameters.

출력부(400)가 출력하는 값으로 운전자는 타이어 교체의 필요성을 판단할 수 있다. 출력부(400)가 출력하는 값이 ‘보통’인 경우에는 교체의 필요성이 낮음을 의미하고, ‘교체’의 경우에는 교체 필요성이 있음을 의미하며, ‘위험’의 경우에는 즉시 교체 필요성이 있음을 의미한다. With the value output by the output unit 400 , the driver may determine the need for tire replacement. When the value output by the output unit 400 is 'normal', it means that the need for replacement is low, in the case of 'replacement', it means that there is a need for replacement, and in the case of 'danger', there is a need for immediate replacement means

학습부(600)는 트레드면의 상태 및 트레드 사이의 음영 정보를 기준으로 한 타이어 마모도에 따라 보통, 교체, 또는 위험 중 어느 하나로 라벨링된 이미지로 심층 인공신경망을 학습시킬 수 있다. 학습부(600)에서 사용되는 이미지는 10년 이상 타이어 마모도를 평가해온 세 명 이상의 타이어 전문가 어노테이션 그룹을 구성하여 투표(majority voting) 방식으로 보통, 교체, 또는 위험 중 어느 하나로 구분하여 라벨링된 것일 수 있다. The learning unit 600 may train the deep artificial neural network with an image labeled as either normal, replacement, or dangerous according to the tire wear level based on the state of the tread surface and the shade information between the treads. The image used in the learning unit 600 may be labeled as either normal, replacement, or risk in a voting (majority voting) method by forming an annotation group of three or more tire experts who have evaluated tire wear for more than 10 years. have.

학습부(600)는 학습시킬 심층 인공신경망의 입력값으로 타이어 부분과 배경 부분이 분할된 이미지를 사용할 수 있다. 학습부(600)는 이미지 분할부(300)를 거친 이미지를 입력값으로 사용할 수 있다. 학습부(600)는 타이어 부분이 강조된 이미지를 사용하여 학습의 정확도와 정밀도를 높일 수 있다. The learning unit 600 may use an image in which a tire part and a background part are divided as an input value of the deep artificial neural network to be learned. The learning unit 600 may use the image passed through the image division unit 300 as an input value. The learning unit 600 may increase the accuracy and precision of learning by using the image in which the tire part is emphasized.

학습부(600)는 단일 이미지로 심층 인공신경망을 학습하고, 출력부(400)는 단일 이미지로 타이어 트레드면의 마모도를 출력하여, 타이어 트레드면 마모 판단 시스템(1)의 연산량을 최소화할 수 있다. 단일 이미지(4)는 알고리즘 연산에 있어서, 동영상이나 복수의 이미지보다 필요한 계산량이 적다는 이점이 있다. The learning unit 600 learns the deep artificial neural network with a single image, and the output unit 400 outputs the wear level of the tire tread surface as a single image, thereby minimizing the amount of computation of the tire tread surface wear determination system 1 . . The single image 4 has an advantage in that the amount of computation required for algorithm operation is smaller than that of a moving image or a plurality of images.

본 실시예에 따르면 사용자 또는 운전자는 단일 이미지(4)만으로 간단히 타이어 트레드면의 마모도를 측정할 수 있다. 사용자 또는 운전자는 스마트폰으로 촬영한 단일 이미지(4)만으로 타이어 트레드면의 마모상태에 따라 교체 필요 여부를 보통, 교체, 또는 위험 3단계로 확인할 수 있어 타이어 교체 여부를 확인하기 위해 카센터를 방문하지 않아도 된다.According to this embodiment, a user or a driver can simply measure the wear level of the tire tread surface using only a single image 4 . The user or driver can check whether replacement is necessary according to the wear condition of the tire tread surface in three levels, normal, replacement, or dangerous, with only a single image (4) taken with a smartphone, you don't have to

도 3은 본 발명의 실시예에 따른 알고리즘 연산이 사용자 단말기(10)에서 이루어지는 타이어 트레드면 마모 판단 시스템(1)의 구성도를 나타낸다. 도 3을 참조하면, 사용자 단말기(10)는 이미지 촬영부(100), 이미지 수신부(200), 이미지 분할부(300), 출력부(400), 및 디스플레이부(500) 포함할 수 있다. 서버(30)는 학습부(600) 및 정보저장부(700)를 포함할 수 있다. 본 실시예에 따르면, 타이어 트레드면 마모 판단 시스템(1)은 서버(30)에 포함된 학습부(600)에서 심층 인공신경망을 학습시킨다. 타이어 트레드면 마모 판단 시스템(1)은 서버(30)에 포함된 학습부(600)에서 출력부(400)로 학습된 심층 인공신경망을 전송한다. 타이어 트레드면 마모 판단 시스템(1)은 사용자 단말기(10)에 포함된 이미지 분할부(300)와 출력부(400)에서 타이어 트레드면의 마모도를 출력한다.3 is a block diagram of a tire tread surface wear determination system 1 in which an algorithm operation is performed in the user terminal 10 according to an embodiment of the present invention. Referring to FIG. 3 , the user terminal 10 may include an image capturing unit 100 , an image receiving unit 200 , an image dividing unit 300 , an output unit 400 , and a display unit 500 . The server 30 may include a learning unit 600 and an information storage unit 700 . According to this embodiment, the tire tread surface wear determination system 1 trains the deep artificial neural network in the learning unit 600 included in the server 30 . The tire tread surface wear determination system 1 transmits the learned deep artificial neural network from the learning unit 600 included in the server 30 to the output unit 400 . The tire tread surface wear determination system 1 outputs the wear level of the tire tread surface from the image division unit 300 and the output unit 400 included in the user terminal 10 .

도 4는 본 발명의 실시예에 따른 알고리즘 연산이 서버(30)에서 이루어지는 타이어 트레드면 마모 판단 시스템의 구성도를 나타낸다. 도 4를 참조하면, 사용자 단말기(10)는 이미지 촬영부(100), 이미지 수신부(200), 및 디스플레이부(500)를 포함할 수 있다. 서버(30)는 이미지 분할부(300), 출력부(400), 학습부(600), 및 정보저장부(700)를 포함할 수 있다. 본 실시예에 따르면, 타이어 트레드면 마모 판단 시스템(1)은 서버(30)에 포함된 학습부(600)에서 심층 인공신경망을 학습시킨다. 타이어 트레드면 마모 판단 시스템(1)은 사용자 단말기(10)에 포함된 이미지 수신부(200)에서 서버(30)에 포함된 이미지 분할부(300)로 이미지를 전송한다. 타이어 트레드면 마모 판단 시스템(1)은 서버(30)에 포함된 이미지 분할부(300)와 출력부(400)에서 타이어 트레드면의 마모도를 출력한다. 4 is a block diagram of a tire tread surface wear determination system in which an algorithm operation is performed by the server 30 according to an embodiment of the present invention. Referring to FIG. 4 , the user terminal 10 may include an image capturing unit 100 , an image receiving unit 200 , and a display unit 500 . The server 30 may include an image division unit 300 , an output unit 400 , a learning unit 600 , and an information storage unit 700 . According to this embodiment, the tire tread surface wear determination system 1 trains the deep artificial neural network in the learning unit 600 included in the server 30 . The tire tread surface wear determination system 1 transmits an image from the image receiving unit 200 included in the user terminal 10 to the image dividing unit 300 included in the server 30 . The tire tread surface wear determination system 1 outputs the wear level of the tire tread surface from the image division unit 300 and the output unit 400 included in the server 30 .

본 발명의 다른 실시예로, 타이어 트레드면 마모 판단 방법은 이미지 수신단계, 이미지 분할단계, 학습단계, 및 출력단계를 포함할 수 있다.In another embodiment of the present invention, the method for determining tire tread surface wear may include an image receiving step, an image dividing step, a learning step, and an output step.

이미지 수신단계는 타이어 트레드면의 이미지를 수신할 수 있다. 이미지 수신단계는 전술한 이미지 수신부(200)에서 수행되는 동작을 의미한다.The image receiving step may receive an image of the tire tread surface. The image receiving step refers to an operation performed by the above-described image receiving unit 200 .

이미지 분할단계는 이미지 수신단계에서 수신한 이미지에서 타이어 부분과 배경 부분을 분할할 수 있다. 이미지 분할 단계는 전술한 이미지 분할부(300)에서 수행되는 동작을 의미한다.The image dividing step may divide the tire part and the background part from the image received in the image receiving step. The image segmentation step refers to an operation performed by the image segmentation unit 300 described above.

이미지 분할단계는 확률 추출 단계 및 확률 곱셈 단계를 포함할 수 있다.The image segmentation step may include a probability extraction step and a probability multiplication step.

확률 추출 단계는 이미지 수신단계에서 수신한 이미지의 각 픽셀이 타이어에 해당할 확률을 출력할 수 있다. 확률 추출 단계는 전술한 확률 추출 모듈(310)에서 수행되는 동작을 의미한다.The probability extraction step may output a probability that each pixel of the image received in the image reception step corresponds to a tire. The probability extraction step refers to an operation performed by the above-described probability extraction module 310 .

확률 곱셈 단계는 확률 추출 단계에서 출력한 확률을 상기 이미지 수신단계가 수신한 이미지에 대응되는 픽셀별로 곱할 수 있다. 확률 곱셈 단계는 전술한 확률 곱셈 모듈(330)에서 수행되는 동작을 의미한다.In the probability multiplication step, the probability output in the probability extraction step may be multiplied for each pixel corresponding to the image received by the image receiving step. The probability multiplication step refers to an operation performed by the above-described probability multiplication module 330 .

학습단계는 트레드면의 상태 및 트레드 사이의 음영 정보를 기준으로 한 타이어 마모도에 따라 보통, 교체, 또는 위험 중 어느 하나로 라벨링된 이미지로 심층 인공신경망을 학습시킬 수 있다. 학습단계는 전술한 학습부(600)에서 수행되는 동작을 의미한다.In the learning step, the deep artificial neural network can be trained with images labeled as either normal, replacement, or risk according to the tire wear level based on the condition of the tread surface and the shade information between the treads. The learning step refers to an operation performed by the above-described learning unit 600 .

출력단계는 학습된 심층 인공신경망을 이용하여 상기 이미지 분할단계에서 생성한 이미지상의 타이어 트레드면의 마모도를 보통, 교체, 또는 위험 중 어느 하나로 출력할 수 있다. 출력단계는 전술한 출력부(400)에서 수행되는 동작을 의미한다.The output step may use the learned deep artificial neural network to output the wear level of the tire tread surface on the image generated in the image segmentation step as either normal, replacement, or risk. The output step refers to an operation performed by the above-described output unit 400 .

도 6는 본 발명의 실시예에 따른 차량 관리 어플리케이션의 타이어 트레드 마모 판단 수행화면을 나타낸다. 도 6를 참조하면, 타이어 트레드면 마모 판단 시스템(1)은 사용자 단말기(10)에 저장되어 실행될 수 있다. 타이어 트레드면 마모 판단 시스템(1)은 어플리케이션의 형태로 사용자 단말기(10)에 저장될 수 있다. 6 illustrates a screen for determining tire tread wear of a vehicle management application according to an embodiment of the present invention. Referring to FIG. 6 , the tire tread surface wear determination system 1 may be stored and executed in the user terminal 10 . The tire tread surface wear determination system 1 may be stored in the user terminal 10 in the form of an application.

사용자 또는 운전자는 차량 관리 어플리케이션을 실행하여 어플리케이션에 포함된 타이어 트레드면 마모 판단 시스템(1)을 실행시킬 수 있다. 운전자는 어플리케이션에서 촬영 부분을 터치하여 타이어 부분을 촬영할 수 있다. 어플리케이션에서는 마모상태 판단의 정확도를 높이기 위해 예시 사진을 제시할 수 있다. The user or the driver may execute the vehicle management application to execute the tire tread surface wear determination system 1 included in the application. The driver may photograph the tire portion by touching the photographing portion in the application. In the application, an example photo may be presented to increase the accuracy of the determination of the wear state.

사용자 또는 운전자가 촬영한 단일 이미지(4)를 이미지 수신부(200)가 수신하고 출력부(400)가 마모상태를 출력한다. 어플리케이션은 최종적인 측정값에 따라 타이어 교체 필요성을 보통, 교체, 또는 위험 중 어느 하나로 사용자 단말기(10)에 디스플레이할 수 있다. The image receiving unit 200 receives the single image 4 taken by the user or the driver, and the output unit 400 outputs the wear state. The application may display the need for tire replacement on the user terminal 10 as either normal, replacement, or critical according to the final measured value.

본 발명의 실시예에 따른 차량 관리 어플리케이션을 이용하면 단일 이미지(4)로부터의 마모도 측정을 통해 차량에 부착하는 별도 센서 없이 일반 운전자들이 보유하고 있는 모바일 디바이스의 카메라 장치를 활용하여 운전자가 직접 트레드 두께를 측정할 필요 없이 타이어의 마모도를 실시간으로 확인할 수 있다.By using the vehicle management application according to the embodiment of the present invention, the driver can directly control the tread thickness by using the camera device of the mobile device possessed by ordinary drivers without a separate sensor attached to the vehicle by measuring the wear level from a single image 4 . It is possible to check the wear level of the tire in real time without the need to measure the tire.

이상에서 대표적인 실시예를 통하여 본 발명을 상세하게 설명하였으나, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 상술한 실시예에 대하여 본 발명의 범주에서 벗어나지 않는 한도 내에서 다양한 변형이 가능함을 이해할 것이다. 그러므로 본 발명의 권리 범위는 설명한 실시예에 국한되어 정해져서는 안 되며, 후술하는 특허청구범위뿐만 아니라 특허청구범위와 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태에 의하여 정해져야 한다. Although the present invention has been described in detail through representative embodiments above, those of ordinary skill in the art to which the present invention pertains will understand that various modifications are possible without departing from the scope of the present invention with respect to the above-described embodiments. will be. Therefore, the scope of the present invention should not be limited to the described embodiments and should be defined by all changes or modifications derived from the claims and equivalent concepts as well as the claims to be described later.

1 : 타이어 트레드면 마모 판단 시스템
2 : 마모 한계선
4 : 단일 이미지
10 : 사용자 단말기
30 : 서버
100 : 이미지 촬영부
200 : 이미지 수신부
300 : 이미지 분할부
301 : Activation Map
303 : Tread Probability Mask
305 : Mutiplied Activation Map
310 : 확률 추출 모듈
330 : 확률 곱셈 모듈
400 : 출력부
500 : 디스플레이부
600 : 학습부
700 : 정보저장부1: Tire tread surface wear judgment system
2: wear limit line
4: single image
10: user terminal
30 : Server
100: image recording unit
200: image receiving unit
300: image division
301 : Activation Map
303 : Tread Probability Mask
305 : Mutiplied Activation Map
310: probability extraction module
330: probability multiplication module
400: output unit
500: display unit
600: study
700: information storage unit

Claims (10)

심층 인공신경망을 이용한 타이어 트레드면 마모 판단 시스템에 있어서,
타이어 트레드면의 이미지를 수신하는 이미지 수신부;
상기 이미지 수신부가 수신한 이미지로부터 타이어 부분과 배경 부분이 분할된 이미지를 생성하는 이미지 분할부;
학습된 심층 인공신경망을 이용하여 상기 이미지 분할부가 생성한 이미지상의 타이어 트레드면의 마모도를 보통, 교체, 또는 위험 중 어느 하나로 출력하는 출력부;를 포함하고,
상기 이미지 분할부는,
상기 이미지 수신부가 수신한 이미지의 각 픽셀이 타이어에 해당할 확률을 추출하는 확률 추출 모듈을 포함하는 것을 특징으로 하는 타이어 트레드면 마모 판단 시스템.
In the tire tread surface wear determination system using a deep artificial neural network,
an image receiving unit for receiving an image of a tire tread surface;
an image dividing unit generating an image in which a tire part and a background part are divided from the image received by the image receiving unit;
An output unit for outputting the wear level of the tire tread surface on the image generated by the image division unit using the learned deep artificial neural network as either normal, replacement, or risk;
The image division unit,
and a probability extraction module for extracting a probability that each pixel of the image received by the image receiving unit corresponds to a tire.
 삭제delete 제 1 항에 있어서,
상기 이미지 분할부는,
상기 확률 추출 모듈이 출력한 확률을 상기 이미지 수신부가 수신한 이미지에 대응되는 픽셀별로 곱하는 확률 곱셈 모듈을 더 포함하는 것을 특징으로 하는 타이어 트레드면 마모 판단 시스템.
The method of claim 1,
The image division unit,
and a probability multiplication module for multiplying the probability output by the probability extraction module for each pixel corresponding to the image received by the image receiving unit.
 제 1 항에 있어서,
트레드면의 상태 및 트레드 사이의 음영 정보를 기준으로 한 타이어 마모도에 따라 보통, 교체, 또는 위험 중 어느 하나로 라벨링된 이미지로 심층 인공신경망을 학습시키는 학습부;를 더 포함하는 타이어 트레드면 마모 판단 시스템.
The method of claim 1,
Tire tread surface wear determination system further comprising; a learning unit that trains a deep artificial neural network with images labeled as either normal, replacement, or risk according to the tire wear level based on the condition of the tread surface and the shading information between the treads .
 제 4 항에 있어서,
상기 학습부는,
단일 이미지로 심층 인공신경망을 학습하고,
상기 출력부는,
단일 이미지로 타이어 트레드면의 마모도를 출력하여,
연산량을 최소화하는 것을 특징으로 하는 타이어 트레드면 마모 판단 시스템.
5. The method of claim 4,
The learning unit,
Learning a deep artificial neural network with a single image,
the output unit,
By printing the wear level of the tire tread surface as a single image,
Tire tread surface wear determination system, characterized in that the calculation amount is minimized.
 제 1 항에 있어서,
타이어 트레드면의 이미지를 촬영하여 상기 이미지 수신부에 전송하는 이미지 촬영부;를 더 포함하는 타이어 트레드면 마모 판단 시스템.
The method of claim 1,
The tire tread surface wear determination system further comprising a; an image photographing unit that captures an image of the tire tread surface and transmits the image to the image receiving unit.
 제 1 항에 있어서,
상기 출력부의 출력값을 표시하는 디스플레이부;를 더 포함하는 타이어 트레드면 마모 판단 시스템.
The method of claim 1,
Tire tread surface wear determination system further comprising; a display unit for displaying the output value of the output unit.
 심층 인공신경망을 이용한 타이어 트레드면 마모 판단 방법에 있어서,
타이어 트레드면의 이미지를 수신하는 이미지 수신단계;
상기 이미지 수신단계에서 수신한 이미지에서 타이어 부분과 배경 부분을 분할하는 이미지 분할단계;
트레드면의 상태 및 트레드 사이의 음영 정보를 기준으로 한 타이어 마모도에 따라 보통, 교체, 또는 위험 중 어느 하나로 라벨링된 이미지로 심층 인공신경망을 학습시키는 학습단계; 및
학습된 심층 인공신경망을 이용하여 상기 이미지 분할단계에서 생성한 이미지상의 타이어 트레드면의 마모도를 보통, 교체, 또는 위험 중 어느 하나로 출력하는 출력단계;를 포함하고,
상기 이미지 분할단계는,
상기 이미지 수신단계에서 수신한 이미지의 각 픽셀이 타이어에 해당할 확률을 추출하는 확률 추출 단계를 포함하는 것을 특징으로 하는 타이어 트레드면 마모 판단 방법.
In the method for determining tire tread surface wear using a deep artificial neural network,
an image receiving step of receiving an image of a tire tread surface;
an image dividing step of dividing a tire part and a background part in the image received in the image receiving step;
A learning step of training the deep artificial neural network with images labeled as either normal, replacement, or risk according to the tire wear level based on the condition of the tread surface and the shading information between the treads; and
An output step of outputting the wear level of the tire tread surface on the image generated in the image segmentation step using the learned deep artificial neural network as either normal, replacement, or risk;
The image segmentation step is
and a probability extraction step of extracting a probability that each pixel of the image received in the image receiving step corresponds to a tire.
 삭제delete 제 8 항에 있어서,
상기 이미지 분할단계는,
상기 확률 추출 단계에서 출력한 확률을 상기 이미지 수신단계가 수신한 이미지에 대응되는 픽셀별로 곱하는 확률 곱셈 단계를 포함하는 것을 특징으로 하는 타이어 트레드면 마모 판단 방법.9. The method of claim 8,
The image segmentation step is
and a probability multiplication step of multiplying the probability output in the probability extraction step for each pixel corresponding to the image received in the image receiving step.
KR1020210095054A 2020-12-30 2021-07-20 Tire tread wear determination system and method using deep artificial neural network KR102425320B1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20200187687 2020-12-30
KR1020200187687 2020-12-30

Publications (2)

Publication Number Publication Date
KR20220097152A KR20220097152A (en) 2022-07-07
KR102425320B1 true KR102425320B1 (en) 2022-07-27

Family

ID=82397606

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210095054A KR102425320B1 (en) 2020-12-30 2021-07-20 Tire tread wear determination system and method using deep artificial neural network

Country Status (1)

Country Link
KR (1) KR102425320B1 (en)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101556354B1 (en) 2015-03-02 2015-10-01 주식회사 다인 Method for providing tire defect information using a portable terminal
JP2019035626A (en) * 2017-08-10 2019-03-07 株式会社ブリヂストン Recognition method of tire image and recognition device of tire image
KR101977291B1 (en) * 2017-09-28 2019-05-10 넥센타이어 주식회사 Tire abrasion mesuring apparatus, method and computer redable recording medium

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120002720A (en) * 2010-07-01 2012-01-09 넥센타이어 주식회사 Method for predicting tire performance using neural network
KR101469563B1 (en) 2013-08-21 2014-12-15 현대오트론 주식회사 Apparatus and method for detecting wear of tire
KR101534259B1 (en) 2015-01-29 2015-07-06 주식회사 다인 Method of measuring tread abrasion of tire and apparatus thereof
KR20200115704A (en) * 2019-03-08 2020-10-08 한국전자통신연구원 Apparatus and method for image recongnition

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101556354B1 (en) 2015-03-02 2015-10-01 주식회사 다인 Method for providing tire defect information using a portable terminal
JP2019035626A (en) * 2017-08-10 2019-03-07 株式会社ブリヂストン Recognition method of tire image and recognition device of tire image
KR101977291B1 (en) * 2017-09-28 2019-05-10 넥센타이어 주식회사 Tire abrasion mesuring apparatus, method and computer redable recording medium

Also Published As

Publication number Publication date
KR20220097152A (en) 2022-07-07

Similar Documents

Publication Publication Date Title
US10943126B2 (en) Method and apparatus for processing video stream
KR102418446B1 (en) Picture-based vehicle damage assessment method and apparatus, and electronic device
EP3520045B1 (en) Image-based vehicle loss assessment method, apparatus, and system, and electronic device
CN109241842B (en) Fatigue driving detection method, device, computer equipment and storage medium
KR20190060817A (en) Image based vehicle damage determination method and apparatus, and electronic device
US10902288B2 (en) Training set sufficiency for image analysis
EP2959454B1 (en) Method, system and software module for foreground extraction
CN108805016B (en) Head and shoulder area detection method and device
CN110569864A (en) vehicle loss image generation method and device based on GAN network
CN110532746B (en) Face checking method, device, server and readable storage medium
US8644625B2 (en) Object detection device, method and program
JP2021111273A (en) Learning model generation method, program and information processor
CN112381092B (en) Tracking method, tracking device and computer readable storage medium
CN110807409A (en) Crowd density detection model training method and crowd density detection method
CN112926461A (en) Neural network training and driving control method and device
CN116964588A (en) Target detection method, target detection model training method and device
CN108154199B (en) High-precision rapid single-class target detection method based on deep learning
JP2020166315A (en) Learning data generation method, training method, prediction model and computer program
KR102425320B1 (en) Tire tread wear determination system and method using deep artificial neural network
US20210056346A1 (en) Annotation assisting method, annotation assisting device, and recording medium having annotation assisting program recorded thereon
CN110135517B (en) Method and device for obtaining vehicle similarity
US20230419469A1 (en) Tire tread wear determination system and method using deep artificial neural network
EP4296089A1 (en) Tire tread wear determination system and method using deep artificial neural network
JP7515189B2 (en) System and method for determining tire tread wear using deep artificial neural network
CN114612979B (en) Living body detection method and device, electronic equipment and storage medium

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right