KR102325577B1 - Undercarriage photographing and image processing system and method - Google Patents

Undercarriage photographing and image processing system and method Download PDF

Info

Publication number
KR102325577B1
KR102325577B1 KR1020200103309A KR20200103309A KR102325577B1 KR 102325577 B1 KR102325577 B1 KR 102325577B1 KR 1020200103309 A KR1020200103309 A KR 1020200103309A KR 20200103309 A KR20200103309 A KR 20200103309A KR 102325577 B1 KR102325577 B1 KR 102325577B1
Authority
KR
South Korea
Prior art keywords
vehicle
image
image processing
patch
under
Prior art date
Application number
KR1020200103309A
Other languages
Korean (ko)
Inventor
이창근
Original Assignee
(주)넥스트랩
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)넥스트랩 filed Critical (주)넥스트랩
Priority to KR1020200103309A priority Critical patent/KR102325577B1/en
Application granted granted Critical
Publication of KR102325577B1 publication Critical patent/KR102325577B1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00—Details of cameras or camera bodies; Accessories therefor
    • G03B17/02—Bodies
    • G03B17/04—Bodies collapsible, foldable or extensible, e.g. book type
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • H04N5/2254—
    • H04N5/2256—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Quality & Reliability (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Signal Processing (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

A vehicle underside photographing and image processing system according to an embodiment of the present invention includes a photographing device part that includes a camera for photographing the underside of a vehicle, a camera guide for fixing the camera, and a reflector that is installed obliquely while facing the camera based on the camera guide; and an image processing part that performs image processing on the moving image of the underside of the vehicle photographed by the camera to extract images of a region of interest (ROI) corresponding to the region of the reflector from the moving image, and processes the extracted images of the region of interest to generate a vehicle underside image.

Description

차량 하부 촬영 및 영상 처리 시스템과 그 방법{UNDERCARRIAGE PHOTOGRAPHING AND IMAGE PROCESSING SYSTEM AND METHOD}UNDERCARRIAGE PHOTOGRAPHING AND IMAGE PROCESSING SYSTEM AND METHOD

본 발명의 실시예들은 리프트 장치와 같은 특별한 장비 없이도 장소에 상관없이 휴대하고 다니면서 차량 하부를 촬영하여 손상되거나 녹슨 부위를 탐지할 수 있는 차량 하부 촬영 및 영상 처리 시스템과 그 방법에 관한 것이다.Embodiments of the present invention relate to an under-vehicle imaging and image processing system and method capable of detecting a damaged or rusted part by photographing the underside of a vehicle while carrying it regardless of a location without special equipment such as a lift device.

일반적으로 차량의 하부를 확인하기 위해서는 차량용 리프트가 설치된 자동차 정비소를 이용하여 차량의 하부를 확인하거나, 사용자가 직접 차량의 하부로 들어가서 차량의 하부를 확인하는 방법이 보편적으로 사용되는데, 이와 같은 방법들은 사용자가 차량의 하부를 용이하게 확인할 수 없는 불편함이 있다.In general, in order to check the underside of the vehicle, a method of checking the underside of the vehicle using an auto repair shop where a vehicle lift is installed or a user directly entering the underside of the vehicle to check the underside of the vehicle is commonly used. There is an inconvenience in that the user cannot easily check the lower part of the vehicle.

따라서, 상기와 같은 불편을 해소하기 위하여 라이트와 거울을 구비한 휴대용 차량 하부 확인 장치가 제안된 바 있다. 그러나 상기와 같이 거울과 라이트를 이용한 차량 하부 확인 장치는 거울을 이용하여 차량의 하부를 확인하는 방법이기 때문에 차량 하부를 자세히 볼 수 없는 문제점이 있다.Therefore, in order to solve the above inconvenience, a portable vehicle underside checking device having a light and a mirror has been proposed. However, since the apparatus for checking the underside of the vehicle using a mirror and a light as described above is a method of checking the underside of the vehicle using a mirror, there is a problem that the underside of the vehicle cannot be viewed in detail.

한편, 최근에는 차량 하부 확인 장치는 차량 하부의 이상 상태를 확인하는 용도뿐만 아니라, 국가의 중요한 행사 및 주요 시설물들을 보호하는 목적으로 차량을 이용한 테러를 방지하기 위하여, 차량 하부에 장착된 폭탄물을 미리 확인하여 제거하기 위한 용도로 사용되는 경우도 있다.On the other hand, recently, in order to prevent terrorism using a vehicle for the purpose of not only checking the abnormal condition of the underside of the vehicle, but also protecting important events and major facilities of the country, the device for checking the underside of the vehicle detects the explosives mounted on the underside of the vehicle. In some cases, it is used for the purpose of checking in advance and removing it.

상기와 같이 차량 하부의 이상 상태 등을 확인하기 위하여, 거울을 이용한 차량 하부 확인 장치를 사용할 경우에는, 차량 하부를 자세히 볼 수 없는 문제점이 있기 때문에 이를 해결하기 위하여 카메라와 모니터를 구비한 휴대용 차량 하부 확인 장치가 개발되어 왔다.In order to check the abnormal state of the underside of the vehicle as described above, when the undercarriage checking device using a mirror is used, there is a problem that the underside of the vehicle cannot be seen in detail. Verification devices have been developed.

이와 같이 카메라와 모니터를 구비한 차량 하부 확인 장치는 사용자가 용이하게 들거나 운반을 할 수 없을 뿐더러, 차량의 하부 깊숙한 곳을 검사하기 위해선 차량의 하부 깊숙이 차량 하부 확인 장치의 카메라를 이동시켜서 넣어야 하는데, 이럴 경우 사용자는 허리를 굽히거나 좀더 낮은 자세를 유지해야만 차량 하부 확인 장치를 차량 하부 깊숙이 넣을 수 있는 문제점이 있으며, 사용자가 차량 하부 확인 장치를 필요에 따라서 들고 다닐 때에 간편하게 휴대하여 가지고 다닐 수 없는 문제점이 있다.As such, the user cannot easily lift or transport the undercarriage checking device having a camera and monitor, and in order to inspect the deep underside of the vehicle, the camera of the undercarriage checking device must be moved and put into the deep underside of the vehicle. In this case, there is a problem that the user has to bend the waist or maintain a lower posture to insert the vehicle undercarriage confirmation device deep into the underside of the vehicle, and the user cannot conveniently carry the undercarriage confirmation device when carrying it as needed. There is this.

관련 선행기술로는 대한민국 등록특허공보 제10-0771656호(발명의 명칭: 휴대용 차량하부 확인장치, 등록일자: 2007.10.24.)가 있다.As a related prior art, there is Republic of Korea Patent Publication No. 10-0771656 (Title of the invention: portable vehicle underside check device, registration date: 2007.10.24.).

본 발명의 일 실시예는 리프트 장치와 같은 특별한 장비 없이도 장소에 상관없이 휴대하고 다니면서 차량 하부를 촬영하여 이상 상태 여부를 확인할 수 있는 차량 하부 촬영 및 영상 처리 시스템과 그 방법을 제공한다.An embodiment of the present invention provides a system and method for photographing and image processing under a vehicle capable of photographing the underside of a vehicle and checking whether there is an abnormal state while carrying it regardless of a location without special equipment such as a lift device.

본 발명이 해결하고자 하는 과제는 이상에서 언급한 과제(들)로 제한되지 않으며, 언급되지 않은 또 다른 과제(들)은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.The problem to be solved by the present invention is not limited to the problem(s) mentioned above, and another problem(s) not mentioned will be clearly understood by those skilled in the art from the following description.

본 발명의 일 실시예에 따른 차량 하부 촬영 및 영상 처리 시스템은 차량 하부를 촬영하기 위한 카메라, 상기 카메라를 고정하기 위한 카메라 가이드, 및 상기 카메라 가이드를 기준으로 상기 카메라와 마주보면서 경사지게 설치되는 반사경을 포함하는 촬영 기구부; 및 상기 카메라에 의해 촬영된 상기 차량 하부에 관한 동영상을 영상 처리하여 상기 동영상으로부터 상기 반사경의 영역에 대응되는 관심 영역(ROI)의 이미지들을 추출하고, 상기 추출된 관심 영역의 이미지들을 가공하여 하나의 차량 하부 이미지를 생성하는 영상 처리부를 포함한다.The under-vehicle photographing and image processing system according to an embodiment of the present invention includes a camera for photographing the underside of the vehicle, a camera guide for fixing the camera, and a reflector that is installed obliquely while facing the camera based on the camera guide a photographing mechanism including; and image processing the video of the underside of the vehicle captured by the camera to extract images of a region of interest (ROI) corresponding to the region of the reflector from the video, and process the extracted images of the region of interest to create one and an image processing unit that generates an image under the vehicle.

상기 촬영 기구부는 상기 차량 하부의 촬영 시 상기 차량 하부의 어두운 부분을 밝히면서 상기 카메라의 셔터 스피드를 확보하기 위한 밝기를 유지하기 위한 LED 조명을 더 포함할 수 있다.The photographing mechanism unit may further include an LED light for maintaining brightness for securing a shutter speed of the camera while illuminating a dark portion of the lower portion of the vehicle when photographing the underside of the vehicle.

상기 촬영 기구부는 상기 차량 하부의 촬영을 위해 차량이 이동하여 상기 반사경의 영역으로 들어오는 제1 지점과 빠져나가는 제2 지점을 인식하기 위한 센서부를 더 포함하고, 상기 카메라는 상기 제1 지점에서 상기 차량 하부에 관한 동영상의 촬영을 시작하고, 상기 제2 지점에서 상기 동영상의 촬영을 중지할 수 있다.The photographing mechanism unit further includes a sensor unit for recognizing a first point entering and a second point exiting the area of the reflector by moving the vehicle for photographing the underside of the vehicle, and the camera moves the vehicle from the first point to the vehicle. It is possible to start shooting a moving picture of the lower part, and to stop shooting the moving picture at the second point.

상기 카메라 가이드는 휴대성을 위해 상기 반사경을 포함하는 본체 프레임에 대해 회동하여 접히거나 펴지는 구조를 가지며, 펴지는 경우에는 일정 각도를 유지하도록 멈춤 장치를 구비할 수 있다.The camera guide has a structure that is folded or unfolded by rotating with respect to the body frame including the reflector for portability, and may include a stopping device to maintain a predetermined angle when unfolded.

상기 영상 처리부는 상기 차량 하부에 관한 동영상의 영상 처리를 통해 차량의 속도를 획득하고, 상기 획득된 속도를 반영하여 상기 관심 영역의 이미지들에 관한 유효 프레임들을 추출하고 상기 추출된 프레임들을 합성하여 상기 관심 영역의 이미지들을 연결시킴으로써 상기 차량 하부 이미지를 생성할 수 있다.The image processing unit acquires the speed of the vehicle through image processing of the moving image of the underside of the vehicle, extracts valid frames related to the images of the region of interest by reflecting the obtained speed, and synthesizes the extracted frames, By concatenating the images of the region of interest, the under-vehicle image may be generated.

상기 영상 처리부는 상기 관심 영역의 이미지들에 관한 유효 프레임들에 대하여 이미지 스티칭 알고리즘(image stitching algorithm)을 적용하여 상기 차량 하부 이미지를 생성할 수 있다.The image processing unit may generate the under-vehicle image by applying an image stitching algorithm to valid frames related to the images of the ROI.

상기 영상 처리부는 상기 관심 영역의 이미지들에 관한 유효 프레임들을 픽셀 길이에 따라 이어 붙이는 방법으로 상기 차량 하부 이미지를 생성할 수 있다.The image processing unit may generate the under-vehicle image by concatenating valid frames related to the images of the ROI according to a pixel length.

상기 손상 탐지부는 상기 차량 하부 이미지에 대하여 손상 특성이 저하되지 않도록 미리 정해진 크기로 분할하여 패치 이미지들을 생성하고, 상기 생성된 패치 이미지들을 모두 모아서 4차원의 텐서(Tensor)로 만든 다음, CNN(Convolutional Neural Network) 알고리즘을 이용하여 상기 패치 이미지들 중 손상 부위를 포함하는 패치 이미지(손상 패치)를 구분할 수 있다.The damage detection unit generates patch images by dividing the image under the vehicle into predetermined sizes so as not to deteriorate the damage characteristics, collects all the generated patch images to form a four-dimensional tensor, and then CNN (Convolutional A patch image (damaged patch) including a damaged part among the patch images may be distinguished by using a Neural Network) algorithm.

본 발명의 일 실시예에 따른 차량 하부 촬영 및 영상 처리 시스템은 상기 차량 하부 이미지에 대하여 데이터 기반의 딥러닝 알고리즘을 이용하여 손상되거나 녹슨 부위를 탐지하는 손상 탐지부를 더 포함하고, 상기 손상 탐지부는 상기 패치 이미지들 각각의 분할 경계선에 손상 부위가 걸쳐서 인식률이 떨어지는 것을 방지할 수 있도록, 상기 패치 이미지들을 분할할 때 상기 미리 정해진 크기보다 5~15% 더 크게 잘라서 이웃하는 다른 패치 이미지들과 중첩되게 분할할 수 있다.The under-vehicle imaging and image processing system according to an embodiment of the present invention further includes a damage detection unit for detecting a damaged or rusted part using a data-based deep learning algorithm for the under-vehicle image, wherein the damage detection unit is the When dividing the patch images, the patch images are cut 5 to 15% larger than the predetermined size and overlapped with other neighboring patch images so as to prevent the recognition rate from falling because the damaged area is spread over the division boundary of each patch image. can do.

상기 손상 탐지부는 특정 패치 이미지가 상기 손상 패치로 인식된 경우, 상기 특정 패치 이미지의 컨피던스 값 및 상기 특정 패치 이미지와 인접하고 있는 다른 패치 이미지들의 손상 패치 여부의 결과에 기초하여, 상기 차량 하부 이미지에서 최종 손상 위치와 종류를 판단할 수 있다.When the specific patch image is recognized as the damaged patch, the damage detection unit is based on the confidence value of the specific patch image and the results of whether other patch images adjacent to the specific patch image are damaged in the image under the vehicle. Final damage location and type can be determined.

상기 손상 탐지부는 상기 손상 패치에 라벨링 작업을 하여 정상 패치(손상 부위를 포함하지 않는 패치 이미지)와 손상 패치를 구분하는 라벨링 작업부; 상기 정상 패치와 상기 손상 패치의 이미지 비율을 1:1로 준비하고 이 중에서 훈련 데이터와 유효 데이터의 이미지 비율을 8:2로 나눈 다음 학습을 수행하여 학습 이미지를 생성하는 학습 이미지 생성부; 및 상기 생성된 학습 이미지에 기반하여 상기 CNN 알고리즘을 수행함으로써, 상기 차량 하부 이미지로부터 손상되거나 녹슨 부위를 탐지하기 위한 딥러닝 학습을 수행하는 딥러닝 학습부를 포함할 수 있다.The damage detection unit includes a labeling operation unit for labeling the damaged patch to distinguish a normal patch (a patch image that does not include a damaged area) and a damaged patch; a training image generator for preparing a 1:1 image ratio of the normal patch and the damaged patch, dividing the image ratio of training data and valid data by 8:2, and then performing learning to generate a training image; And by performing the CNN algorithm based on the generated learning image, it may include a deep learning learning unit for performing deep learning learning to detect a damaged or rusted part from the image under the vehicle.

본 발명의 일 실시예에 따른 차량 하부 촬영 및 영상 처리 방법은 상기 촬영 기구부가 상기 차량 하부에 관한 동영상을 촬영하는 단계; 상기 영상 처리부가 상기 차량 하부에 관한 동영상을 영상 처리하여 상기 동영상으로부터 상기 반사경의 영역에 대응되는 관심 영역(ROI)의 이미지들을 추출하는 단계; 및 상기 영상 처리부가 상기 추출된 관심 영역의 이미지들을 가공하여 하나의 차량 하부 이미지를 생성하는 단계를 포함한다.In accordance with an embodiment of the present invention, there is provided a method for photographing and processing an image under a vehicle, the method comprising: photographing, by the photographing mechanism, a moving picture of the underside of the vehicle; extracting, by the image processing unit, images of a region of interest (ROI) corresponding to the region of the reflector from the moving image by image processing the moving image of the underside of the vehicle; and generating, by the image processing unit, one under-vehicle image by processing the extracted images of the region of interest.

기타 실시예들의 구체적인 사항들은 상세한 설명 및 첨부 도면들에 포함되어 있다.The details of other embodiments are included in the detailed description and accompanying drawings.

차량 하부 상태를 확인하기 위해서는 그동안 리프트 장치와 같은 특별한 장치가 있어야만 상세한 촬영이 가능했지만, 본 발명의 일 실시예에 따르면 휴대가 가능한 장치를 이용하여 장소에 상관없이 쉽게 차량 하부를 촬영하고 이를 분석하여 이상 상태 여부를 확인할 수 있으며, 이를 통해 다양한 차량 관련 서비스에서 활용이 가능할 것으로 기대된다.In order to check the underside of the vehicle, detailed photography has been possible only with a special device such as a lift device. It is possible to check whether there is an abnormal state, and it is expected that it can be used in various vehicle-related services.

도 1은 본 발명의 일 실시예에 따른 차량 하부 촬영 및 영상 처리 시스템의 개념도이다.
도 2는 본 발명의 일 실시예에 따른 차량 하부 촬영 및 영상 처리 시스템의 구성 및 작용 효과를 설명하기 위해 도시한 블록도이다.
도 3은 도 2의 촬영 기구부의 상세 구성을 설명하기 위해 도시한 측면도이다.
도 4는 도 2의 촬영 기구부의 상세 구성을 설명하기 위해 도시한 평면도이다.
도 5는 본 발명의 일 실시예에 따라 차량 하부에 관한 동영상을 영상 처리하여 관심 영역(ROI)의 이미지 연결을 통해 하나의 차량 하부 이미지를 생성하는 일례를 보여주기 위해 도시한 도면이다.
도 6은 본 발명의 일 실시예에 따라 탐지된 손상 부위 및 녹슨 부위를 보여주기 위해 도시한 예시도이다.
도 7은 본 발명의 일 실시예에 따라 딥러닝 알고리즘을 통해 손상 부위를 탐지하기 위하여 차량 하부 이미지를 패치 이미지들로 분할하는 일례를 보여주기 위해 도시한 도면이다.
도 8 내지 도 10은 본 발명의 일 실시예에 있어서 패치 이미지들을 이용하여 손상 여부를 탐지하기 위한 딥러닝 학습의 프로세스를 설명하기 위해 도시한 도면이다.
도 11 및 도 12는 본 발명의 일 실시예에 따른 차량 하부 촬영 및 영상 처리 방법을 설명하기 위해 도시한 흐름도이다.1 is a conceptual diagram of an under-vehicle photographing and image processing system according to an embodiment of the present invention.
2 is a block diagram illustrating the configuration and effects of an under-vehicle photographing and image processing system according to an embodiment of the present invention.
3 is a side view illustrating the detailed configuration of the photographing mechanism of FIG. 2 .
4 is a plan view illustrating a detailed configuration of the photographing mechanism of FIG. 2 .
5 is a diagram illustrating an example of generating a single undercarriage image through image processing of a region of interest (ROI) by image processing a moving image of the underside of a vehicle according to an embodiment of the present invention.
6 is an exemplary view showing a damaged area and a rusted area detected according to an embodiment of the present invention.
7 is a diagram illustrating an example of dividing an undercarriage image into patch images in order to detect a damaged part through a deep learning algorithm according to an embodiment of the present invention.
8 to 10 are diagrams illustrating a process of deep learning learning for detecting damage using patch images in an embodiment of the present invention.
11 and 12 are flowcharts illustrating a method for photographing under a vehicle and processing an image according to an embodiment of the present invention.

본 발명의 이점 및/또는 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나, 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성요소를 지칭한다.Advantages and/or features of the present invention, and methods of achieving them, will become apparent with reference to the embodiments described below in detail in conjunction with the accompanying drawings. However, the present invention is not limited to the embodiments disclosed below, but will be implemented in various different forms, and only these embodiments allow the disclosure of the present invention to be complete, and common knowledge in the art to which the present invention pertains It is provided to fully inform those who have the scope of the invention, and the present invention is only defined by the scope of the claims. Like reference numerals refer to like elements throughout.

또한, 이하 실시되는 본 발명의 바람직한 실시예는 본 발명을 이루는 기술적 구성요소를 효율적으로 설명하기 위해 각각의 시스템 기능구성에 기 구비되어 있거나, 또는 본 발명이 속하는 기술분야에서 통상적으로 구비되는 시스템 기능 구성은 가능한 생략하고, 본 발명을 위해 추가적으로 구비되어야 하는 기능 구성을 위주로 설명한다. 만약 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자라면, 하기에 도시하지 않고 생략된 기능 구성 중에서 종래에 기 사용되고 있는 구성요소의 기능을 용이하게 이해할 수 있을 것이며, 또한 상기와 같이 생략된 구성 요소와 본 발명을 위해 추가된 구성 요소 사이의 관계도 명백하게 이해할 수 있을 것이다.In addition, the preferred embodiment of the present invention to be implemented below is already provided in each system functional configuration in order to efficiently describe the technical components constituting the present invention, or system functions normally provided in the technical field to which the present invention belongs The configuration is omitted as much as possible, and the functional configuration to be additionally provided for the present invention will be mainly described. If a person of ordinary skill in the art to which the present invention pertains, it will be possible to easily understand the functions of the conventionally used components among the functions omitted not shown below, and the components omitted as described above. Relationships between elements and components added for purposes of the present invention will also be clearly understood.

또한, 이하의 설명에 있어서, 신호 또는 정보의 "전송", "통신", "송신", "수신" 기타 이와 유사한 의미의 용어는 일 구성요소에서 다른 구성요소로 신호 또는 정보가 직접 전달되는 것뿐만이 아니라 다른 구성요소를 거쳐 전달되는 것도 포함한다. 특히 신호 또는 정보를 일 구성요소로 "전송" 또는 "송신"한다는 것은 그 신호 또는 정보의 최종 목적지를 지시하는 것이고 직접적인 목적지를 의미하는 것이 아니다. 이는 신호 또는 정보의 "수신"에 있어서도 동일하다.In addition, in the following description, the term "transmission", "communication", "transmission", "reception" and other similar meanings of signals or information means that signals or information are directly transmitted from one component to another. as well as passing through other components. In particular, "transmitting" or "transmitting" a signal or information to a component indicates the final destination of the signal or information and does not imply a direct destination. The same is true for "reception" of signals or information.

이하에서는 첨부된 도면을 참조하여 본 발명의 실시예들을 상세히 설명하기로 한다.Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings.

도 1은 본 발명의 일 실시예에 따른 차량 하부 촬영 및 영상 처리 시스템의 개념도이다.1 is a conceptual diagram of an under-vehicle photographing and image processing system according to an embodiment of the present invention.

도 1을 참조하면, 본 발명의 일 실시예에 따른 차량 하부 촬영 및 영상 처리 시스템은 카메라를 통해 반사경에 비친 차량 하부 및 그 주변부를 촬영하여 상기 차량 하부에 관한 동영상을 출력하고, 상기 출력된 동영상으로부터 상기 주변부를 제거하여 상기 반사경에 비친 차량 하부의 영역(반사경의 영역)을 나타내는 관심 영역(ROI)의 이미지들을 추출할 수 있다.Referring to FIG. 1 , the under-vehicle photographing and image processing system according to an embodiment of the present invention captures the underside of a vehicle and its periphery reflected in a reflector through a camera, and outputs a video about the underside of the vehicle, and the output video Images of a region of interest (ROI) representing a region under the vehicle (region of the reflector) reflected on the reflector may be extracted by removing the periphery from the .

본 발명의 일 실시예에 따른 차량 하부 촬영 및 영상 처리 시스템은 상기 추출된 관심 영역의 이미지를 합성하여 이어 붙이는 가공 작업을 통해 하나의 차량 하부 이미지를 생성할 수 있다. 여기서, 상기 차량 하부 이미지는 상기 차량 하부의 외관 모습을 온전히 나타내는 하나의 이미지를 가리킨다.The under-vehicle imaging and image processing system according to an embodiment of the present invention may generate one under-vehicle image by synthesizing and attaching the extracted images of the ROI. Here, the under-vehicle image refers to one image completely representing the exterior appearance of the underside of the vehicle.

본 발명의 일 실시예에 따른 차량 하부 촬영 및 영상 처리 시스템은 상기 차량 하부 이미지에 대하여 데이터 기반의 딥러닝 알고리즘, 예를 들면 손상 부위의 위치와 종류를 판단할 수 있도록 이미지 분류를 위해 뛰어난 성능을 발휘하는 것으로 검증된 CNN(Convolutional Neural Network) 알고리즘을 이용하여 상기 차량 하부의 손상되거나 녹슨 부위를 탐지할 수 있다.Under the vehicle imaging and image processing system according to an embodiment of the present invention is a data-based deep learning algorithm for the image under the vehicle, for example, excellent performance for image classification so as to determine the location and type of the damaged part. It is possible to detect damaged or rusted parts of the underside of the vehicle using a Convolutional Neural Network (CNN) algorithm that has been proven to be effective.

이를 위해, 도 2에 도시된 바와 같이, 본 발명의 일 실시예에 따른 차량 하부 촬영 및 영상 처리 시스템(100)은 촬영 기구부(210), 영상 처리부(220), 손상 탐지부(230), 및 제어부(240)를 포함하여 구성될 수 있다. 참고로, 도 2는 본 발명의 일 실시예에 따른 차량 하부 촬영 및 영상 처리 시스템(100)의 구성 및 작용 효과를 설명하기 위해 도시한 블록도이다.To this end, as shown in FIG. 2 , the under-vehicle imaging and image processing system 100 according to an embodiment of the present invention includes a photographing mechanism unit 210 , an image processing unit 220 , a damage detection unit 230 , and It may be configured to include a control unit 240 . For reference, FIG. 2 is a block diagram illustrating the configuration and effects of the under-vehicle photographing and image processing system 100 according to an embodiment of the present invention.

상기 촬영 기구부(210)는 차량 하부를 확인할 수 있도록 하기 위해 그 외관 모습을 촬영하기 위한 장치로서, 리프트 장치와 같은 특별한 장치가 없이도 장소에 상관없이 쉽게 촬영을 가능하게 하는 장치를 말한다.The photographing mechanism unit 210 is a device for photographing the external appearance of the vehicle in order to check the underside of the vehicle, and refers to a device that enables easy photographing regardless of a location without a special device such as a lift device.

상기 촬영 기구부(210)는 촬영을 시작하기 전에 차량 앞부분의 바닥면에 설치될 수 있다. 상기 촬영 기구부(210)는 차량이 일정한 속도로 저속으로 이동하게 되면(예: D모드 저속 이동), 촬영을 시작하여 상기 차량 하부에 관한 동영상을 생성할 수 있다.The photographing mechanism unit 210 may be installed on the floor surface of the front part of the vehicle before starting the photographing. When the vehicle moves at a low speed at a constant speed (eg, D-mode low speed movement), the photographing mechanism unit 210 may start photographing and generate a moving picture of the underside of the vehicle.

이를 위해, 상기 촬영 기구부(210)는 도 3 및 도 4에 도시된 바와 같이 카메라(310), 카메라 가이드(320), 반사경(330), LED 조명(340), 센서부(350), 및 컨트롤러(360)를 포함하여 구성될 수 있다. 참고로, 도 3은 도 2의 촬영 기구부(210)의 상세 구성을 설명하기 위해 도시한 측면도이고, 도 4는 도 2의 촬영 기구부(210)의 상세 구성을 설명하기 위해 도시한 평면도이다.To this end, the photographing mechanism unit 210 includes a camera 310 , a camera guide 320 , a reflector 330 , an LED light 340 , a sensor unit 350 , and a controller as shown in FIGS. 3 and 4 . 360 may be included. For reference, FIG. 3 is a side view illustrating the detailed configuration of the photographing mechanism unit 210 of FIG. 2 , and FIG. 4 is a plan view illustrating the detailed configuration of the photographing mechanism unit 210 of FIG. 2 .

상기 카메라(310)는 상기 차량 하부를 촬영하여 상기 차량 하부에 관한 동영상을 생성하기 위한 장치로서, 상기 카메라 가이드(320)의 일측 끝부분에 고정 설치되거나 탈부착 가능하게 설치될 수 있다. 이때, 상기 카메라(310)는 상기 카메라 가이드(320)의 일측 끝부분에 고정 설치되는 경우에는 상기 촬영 기구부(210)를 위한 전용 카메라로 구현될 수 있다.The camera 310 is a device for generating a moving picture of the underside of the vehicle by photographing the underside of the vehicle, and may be fixedly installed or detachably installed at one end of the camera guide 320 . In this case, when the camera 310 is fixed to one end of the camera guide 320 , it may be implemented as a dedicated camera for the photographing mechanism unit 210 .

예컨대, 상기 전용 카메라는 상기 컨트롤러(360)와 연결 가능한 카메라로서 상기 반사경(330)의 영역, 다시 말해 상기 반사경(330)에 의해 비친 상기 차량 하부의 외관 영역의 90% 이상을 90FPS(Frame Per Second)로 촬영할 수 있으면서 왜곡을 최소화할 수 있는 카메라로 구현될 수 있다.For example, the dedicated camera is a camera connectable to the controller 360 and covers 90% or more of the area of the reflector 330 , that is, the exterior area of the lower part of the vehicle reflected by the reflector 330 at 90 FPS (Frame Per Second). ) and can be implemented as a camera that can minimize distortion while taking pictures.

또 달리, 상기 카메라(310)는 상기 카메라 가이드(320)의 일측 끝부분에 탈부착 설치되는 경우에는 스마트폰 등과 같은 휴대 단말기에 구비된 카메라로 구현될 수도 있다. 이러한 경우, 상기 컨트롤러(360)의 기능을 상기 휴대 단말기로 대체할 수 있기 때문에 상기 촬영 기구부(210)에는 상기 컨트롤러(360)가 구비되지 않을 수도 있다.Alternatively, when the camera 310 is detachably installed at one end of the camera guide 320, it may be implemented as a camera provided in a portable terminal such as a smartphone. In this case, since the function of the controller 360 can be replaced with the portable terminal, the controller 360 may not be provided in the photographing mechanism unit 210 .

상기 카메라 가이드(320)는 그 일측 끝부분에 상기 카메라를 고정하거나 탈부착 설치할 수 있는 고정부재를 구비할 수 있다. 상기 카메라 가이드(320)는 휴대성을 위해 쉽게 안쪽으로 접을 수 있는 구조로 제작될 수 있다. 또한, 상기 카메라 가이드(320)는 도 6과 같이 각도 A(평면상의 각도)를 유지할 수 있는 멈춤 장치를 구비할 수 있다.The camera guide 320 may be provided with a fixing member that can be fixed or detachably installed at one end of the camera. The camera guide 320 may be manufactured in a structure that can be easily folded inward for portability. Also, the camera guide 320 may include a stopping device capable of maintaining an angle A (a plane angle) as shown in FIG. 6 .

즉, 상기 카메라 가이드(320)는 휴대성을 위해 상기 반사경(330), 상기 LED 조명(340), 상기 센서부(350), 및 상기 컨트롤러(360) 등으로 구성된 본체 프레임에 대해 회동하여 접히거나 펴지는 구조를 가지며, 펴지는 경우에는 일정 각도를 유지하도록 상기 멈춤 장치를 구비할 수 있다.That is, the camera guide 320 is rotated or folded with respect to the body frame composed of the reflector 330 , the LED light 340 , the sensor unit 350 , and the controller 360 for portability. It has an unfolding structure, and when unfolded, the stopping device may be provided to maintain a predetermined angle.

상기 반사경(330)은 상기 카메라(310)가 상기 반사경(330)에 비친 차량 하부의 외관 모습을 촬영할 수 있도록 매개체 역할을 수행할 수 있다. 참고로, 상기 반사경(330)에 비친 영역의 이미지를 본 실시예에서는 관심 영역(ROI)의 이미지로 지칭할 수 있다.The reflector 330 may serve as a medium so that the camera 310 may photograph an exterior appearance of the underside of the vehicle reflected on the reflector 330 . For reference, the image of the region reflected by the reflector 330 may be referred to as an image of the region of interest (ROI) in the present embodiment.

이를 위해, 상기 반사경(330)은 상기 카메라 가이드(320)를 기준으로 상기 카메라(310)와 마주보면서 경사지게 설치될 수 있다(도 4의 측면도 참조). 이때, 상기 반사경(330)은 상기 차량 하부의 촬영이 제대로 이루어질 수 있도록 소정의 경사각을 이루며 설치될 수 있다. 여기서, 상기 경사각은 여러 번의 반복 실험을 통해 가장 적당한 경험치로 정해지는 것이 바람직하다.To this end, the reflector 330 may be installed to be inclined while facing the camera 310 with respect to the camera guide 320 (refer to the side view of FIG. 4 ). In this case, the reflector 330 may be installed at a predetermined inclination angle to properly photograph the underside of the vehicle. Here, the inclination angle is preferably determined as the most appropriate experience value through several repeated experiments.

상기 LED 조명(340)은 상기 차량 하부의 촬영 시 상기 차량 하부의 어두운 부분을 밝히면서 상기 카메라(310)의 셔터 스피드를 충분히 확보하기 위한 밝기를 유지하기 위한 장치이다.The LED light 340 is a device for maintaining brightness to sufficiently secure a shutter speed of the camera 310 while illuminating a dark part of the underside of the vehicle when photographing the underside of the vehicle.

상기 센서부(350)는 상기 차량 하부의 촬영을 위해 차량이 이동하여 상기 반사경의 영역으로 들어오는 제1 지점과 빠져나가는 제2 지점을 인식하기 위한 장치이다.The sensor unit 350 is a device for recognizing a first point entering the area of the reflector and a second point exiting the area of the reflector by moving the vehicle for photographing the underside of the vehicle.

상기 센서부(350)는 상기 차량의 방향으로 경사지게 설치될 수 있다. 즉, 상기 센서부(350)는 약간 차량 안쪽으로 비스듬히 설치될 수 있으며, 이를 통해 조금 더 빠른 시점에 상기 제1 지점 및 상기 제2 지점을 인식할 수 있도록 한다.The sensor unit 350 may be installed to be inclined in the direction of the vehicle. That is, the sensor unit 350 may be installed at an angle to the inside of the vehicle, so that the first point and the second point can be recognized at a slightly earlier time.

이와 같이, 상기 센서부(350)는 상기 카메라(310)의 촬영 시작 시점과 촬영 중지 시점을 자동으로 컨트롤할 수 있다. 이에 따라, 상기 카메라(310)는 상기 제1 지점에서 상기 차량 하부에 관한 동영상의 촬영을 시작하고, 상기 제2 지점에서 상기 동영상의 촬영을 중지할 수 있다.In this way, the sensor unit 350 may automatically control the starting point of the camera 310 and the stopping point of the photographing. Accordingly, the camera 310 may start recording the video on the underside of the vehicle at the first point and stop recording the video at the second point.

상기 컨트롤러(360)는 라즈베리파이와 같은 무선 네트워크를 기본으로 내장할 수 있으며, 상기 카메라(310)와 연동하여 720P 60FPS 이상의 동영상을 촬영하도록 제어할 수 있다. 또한, 상기 컨트롤러(360)는 상기 무선 네트워크를 통해 스마트폰 등의 휴대 단말기와 통신을 가능하도록 제어할 수 있다.The controller 360 may basically have a built-in wireless network such as a Raspberry Pi, and may control to shoot a video of 720P 60FPS or higher in conjunction with the camera 310 . Also, the controller 360 may control to enable communication with a mobile terminal such as a smart phone through the wireless network.

한편, 상기 영상 처리부(220)는 도 5의 i)에 도시된 바와 같이, 상기 카메라(310)에 의해 촬영된 상기 차량 하부에 관한 동영상을 영상 처리하여 상기 동영상으로부터 상기 반사경(330)의 영역에 대응되는 관심 영역(ROI)의 이미지들을 추출할 수 있다. 그리고, 상기 영상 처리부(220)는 도 5의 ii)에 도시된 바와 같이, 상기 추출된 관심 영역의 이미지들을 가공하여 하나의 차량 하부 이미지를 생성할 수 있다.On the other hand, as shown in i) of FIG. 5 , the image processing unit 220 image-processes the video of the underside of the vehicle photographed by the camera 310 and places it in the region of the reflector 330 from the video. Images of the corresponding region of interest (ROI) may be extracted. Also, as shown in ii) of FIG. 5 , the image processing unit 220 may process the extracted images of the ROI to generate one under-vehicle image.

이때, 상기 영상 처리부(220)는 상기 차량 하부에 관한 동영상의 영상 처리를 통해 차량의 속도를 획득하거나 측정할 수 있다. 참고로, 상기 영상 처리를 통해 차량의 속도를 측정하는 방법은 이미 널리 알려진 주지관용의 공지기술에 해당하므로 이에 대한 상세한 설명은 생략하기로 한다.In this case, the image processing unit 220 may obtain or measure the speed of the vehicle through image processing of the moving image related to the underside of the vehicle. For reference, since the method of measuring the speed of a vehicle through the image processing corresponds to a well-known, well-known technique, a detailed description thereof will be omitted.

상기 영상 처리부(220)는 상기 획득(또는 측정)된 속도를 반영하여 상기 관심 영역의 이미지들에 관한 유효 프레임들을 추출하고, 상기 추출된 프레임들을 합성하여 상기 관심 영역의 이미지들을 연결시킴으로써 상기 차량 하부 이미지를 생성할 수 있다.The image processing unit 220 reflects the acquired (or measured) speed to extract valid frames related to the images of the region of interest, synthesize the extracted frames, and connect the images of the region of interest under the vehicle. You can create an image.

이때, 상기 영상 처리부(220)는 상기 관심 영역의 이미지들에 관한 유효 프레임들에 대하여 이미지 스티칭 알고리즘(image stitching algorithm)을 적용하여 상기 차량 하부 이미지를 생성할 수 있다. 상기 이미지 스티칭 알고리즘은 일반적으로 스마트폰에서 파노라마 모드로 촬영 시 적용되는 공개된 알고리즘으로서, OpenCV와 같은 오픈 소스 기반의 영상 처리 라이브러리에서 전용 함수를 제공한다.In this case, the image processing unit 220 may generate the under-vehicle image by applying an image stitching algorithm to valid frames related to the images of the ROI. The image stitching algorithm is an open algorithm that is generally applied when shooting in panorama mode on a smartphone, and an open source-based image processing library such as OpenCV provides a dedicated function.

다른 실시예로서, 상기 영상 처리부(220)는 상기 관심 영역의 이미지들에 관한 유효 프레임들을 픽셀 길이에 따라 이어 붙이는 방법으로 상기 차량 하부 이미지를 생성할 수 있다.As another embodiment, the image processing unit 220 may generate the under-vehicle image by concatenating valid frames related to the images of the ROI according to a pixel length.

상기 손상 탐지부(230)는 도 6에 도시된 바와 같이, 상기 생성된 차량 하부 이미지에 대하여 데이터 기반의 딥러닝 알고리즘(deep learning algorithm)을 이용하여 손상되거나 녹슨 부위를 탐지할 수 있다.As shown in FIG. 6 , the damage detection unit 230 may detect a damaged or rusted part by using a data-based deep learning algorithm with respect to the generated undercarriage image.

구체적으로, 상기 손상 탐지부(230)는 도 7에 도시된 바와 같이, 상기 차량 하부 이미지에 대하여 미리 정해진 크기(CNN 네트워크에 리사이즈 없이 바로 Input으로 들어갈 수 있는 크기로서, 예를 들면 224*224)로 분할하여 패치 이미지(710)들을 생성할 수 있다. 여기서, 상기 패치 이미지들의 크기는 상기 차량 하부 이미지를 분할할 때 손상 특성이 저하되지 않도록 미리 정해지는 것이 바람직하다.Specifically, as shown in FIG. 7 , the damage detection unit 230 has a predetermined size for the image under the vehicle (a size that can be directly entered into the input without resizing in the CNN network, for example, 224 * 224) It is possible to generate patch images 710 by dividing by . Here, it is preferable that the size of the patch images is predetermined so that damage characteristics are not deteriorated when the image under the vehicle is divided.

상기 손상 탐지부(230)는 상기 생성된 패치 이미지들을 모두 모아서 4차원의 텐서(Tensor)로 만든 다음, CNN(Convolutional Neural Network) 알고리즘을 이용하여, 상기 패치 이미지(710)들 중 손상 부위를 포함하는 패치 이미지(710)(손상 패치)를 구분할 수 있다.The damage detection unit 230 collects all the generated patch images to make a four-dimensional tensor, and then uses a Convolutional Neural Network (CNN) algorithm to include a damaged portion among the patch images 710 . The patch image 710 (damaged patch) can be distinguished.

이때, 상기 손상 탐지부(230)는 상기 패치 이미지(710)들 각각의 분할 경계선에 손상 부위가 걸쳐서 인식률이 떨어지는 것을 방지할 수 있도록, 상기 패치 이미지(710)들을 분할할 때 상기 미리 정해진 크기보다 5~15% 더 크게 잘라서 이웃하는 다른 패치 이미지(710)들과 중첩되게 분할할 수 있다.At this time, the damage detection unit 230 divides the patch images 710 to be larger than the predetermined size so as to prevent the damaged area from falling over the dividing boundary of each of the patch images 710 . It can be divided to overlap with other neighboring patch images 710 by cropping it 5 to 15% larger.

다시 말해, 상기 손상 탐지부(230)는 상기 패치 이미지(710)들을 분할할 때 상기 분할 경계선 부분의 중첩 부분(720)을 포함하여, 인접하는 다른 패치 이미지(710)들과 중첩되게 분할할 수 있으며, 이때 상기 미리 정해진 크기보다 10% 더 크게 자르는 것이 바람직하다.In other words, when dividing the patch images 710 , the damage detection unit 230 may include an overlapping portion 720 of the division boundary line portion to overlap other adjacent patch images 710 . In this case, it is preferable to cut 10% larger than the predetermined size.

상기 손상 탐지부(230)는 특정 패치 이미지(710)가 상기 손상 패치로 인식된 경우, 상기 특정 패치 이미지(710)의 컨피던스(confidence) 값 및 상기 특정 패치 이미지(710)와 인접하고 있는 다른 패치 이미지(710)들의 손상 패치 여부의 결과에 기초하여, 상기 차량 하부 이미지에서 최종 손상 위치와 종류를 판단할 수 있다.When the damage detection unit 230 recognizes the specific patch image 710 as the damaged patch, the confidence value of the specific patch image 710 and other patches adjacent to the specific patch image 710 Based on the result of whether the images 710 are damaged or not, the final damage location and type in the image under the vehicle may be determined.

위에서 설명한 패치 이미지(710)를 이용한 손상 여부를 탐지하기 위한 딥러닝 학습은 다음과 같은 상기 손상 탐지부(230)의 구성요소들에 의한 프로세스를 통해 이루어질 수 있다. 상기 손상 탐지부(230)는 도면에는 도시되지 않았지만 라벨링 작업부, 학습 이미지 생성부, 및 딥러닝 학습부의 구성요소들을 포함할 수 있다.Deep learning learning for detecting damage using the patch image 710 described above may be performed through a process by the components of the damage detection unit 230 as follows. Although not shown in the figure, the damage detection unit 230 may include components of a labeling work unit, a learning image generation unit, and a deep learning learning unit.

상기 라벨링 작업부는 도 8에 도시된 바와 같이, 상기 손상 패치(820)에 라벨링 작업을 하여 정상 패치(손상 부위를 포함하지 않는 패치 이미지)(810)와 손상 패치(820)를 구분할 수 있다. 다시 말해, 상기 라벨링 작업부는 손상 부위 라벨링 정보를 상기 패치 이미지에 반영하여 정상 패치(810)와 손상 패치(820)를 구분할 수 있다.As shown in FIG. 8 , the labeling unit may perform a labeling operation on the damaged patch 820 to distinguish a normal patch (a patch image that does not include a damaged part) 810 and a damaged patch 820 . In other words, the labeling unit may distinguish the damaged patch 820 from the normal patch 810 by reflecting the damaged area labeling information on the patch image.

상기 학습 이미지 생성부는 도 9에 도시된 바와 같이, 상기 정상 패치(810)와 상기 손상 패치(820)의 이미지 비율을 1:1로 준비하고 이 중에서 훈련 데이터와 유효 데이터의 이미지 비율을 8:2로 나눈 다음 학습을 수행하여 학습 이미지를 생성할 수 있다.As shown in FIG. 9, the training image generator prepares the image ratio of the normal patch 810 and the damaged patch 820 at 1:1, and sets the image ratio of the training data and the valid data to 8:2. After dividing by , training can be performed to generate a training image.

상기 딥러닝 학습부는 도 10에 도시된 바와 같이, 상기 생성된 학습 이미지에 기반하여 상기 CNN 알고리즘을 수행함으로써, 상기 차량 하부 이미지로부터 손상되거나 녹슨 부위를 탐지하기 위한 딥러닝 학습을 수행할 수 있다. 이때, 상기 딥러닝 학습부는 CNN 네트워크의 크기를 쉽게 조절 가능한 최신 EfficientNet을 이용할 수 있다.As shown in FIG. 10 , the deep learning learning unit may perform deep learning learning for detecting a damaged or rusted part from the image under the vehicle by performing the CNN algorithm based on the generated learning image. In this case, the deep learning learning unit may use the latest EfficientNet that can easily adjust the size of the CNN network.

상기 제어부(240)는 본 발명의 일 실시예에 따른 차량 하부 촬영 및 영상 처리 시스템(100), 즉 상기 촬영 기구부(210), 상기 영상 처리부(220), 상기 손상 탐지부(230) 등의 동작을 전반적으로 제어할 수 있다.The control unit 240 operates the under-vehicle photographing and image processing system 100 according to an embodiment of the present invention, that is, the photographing mechanism unit 210 , the image processing unit 220 , the damage detection unit 230 , and the like. can be controlled in general.

이상에서 설명된 장치는 하드웨어 구성 요소, 소프트웨어 구성 요소, 및/또는 하드웨어 구성 요소 및 소프트웨어 구성 요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성 요소는, 예를 들어, 프로세서, 컨트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPA(field programmable array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 컨트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.The device described above may be implemented as a hardware component, a software component, and/or a combination of the hardware component and the software component. For example, devices and components described in the embodiments may include, for example, a processor, a controller, an arithmetic logic unit (ALU), a digital signal processor, a microcomputer, a field programmable array (FPA), It may be implemented using one or more general purpose or special purpose computers, such as a programmable logic unit (PLU), microprocessor, or any other device capable of executing and responding to instructions. The processing device may execute an operating system (OS) and one or more software applications running on the operating system. The processing device may also access, store, manipulate, process, and generate data in response to execution of the software. For convenience of understanding, although one processing device is sometimes described as being used, one of ordinary skill in the art will recognize that the processing device includes a plurality of processing elements and/or a plurality of types of processing elements. It can be seen that can include For example, the processing device may include a plurality of processors or one processor and one controller. Other processing configurations are also possible, such as parallel processors.

소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.Software may comprise a computer program, code, instructions, or a combination of one or more thereof, which configures a processing device to operate as desired or is independently or collectively processed You can command the device. The software and/or data may be any kind of machine, component, physical device, virtual equipment, computer storage medium or device, to be interpreted by or to provide instructions or data to the processing device. , or may be permanently or temporarily embody in a transmitted signal wave. The software may be distributed over networked computer systems, and stored or executed in a distributed manner. Software and data may be stored in one or more computer-readable recording media.

도 11은 본 발명의 일 실시예에 따른 차량 하부 촬영 및 영상 처리 방법을 설명하기 위해 도시한 흐름도이다.11 is a flowchart illustrating a method for photographing under a vehicle and processing an image according to an embodiment of the present invention.

여기서 설명하는 방법은 본 발명의 하나의 실시예에 불과하며, 그 이외에 필요에 따라 다양한 단계들이 아래와 같이 부가될 수 있고, 하기의 단계들도 순서를 변경하여 실시될 수 있으므로, 본 발명이 하기에 설명하는 각 단계 및 그 순서에 한정되는 것은 아니다. 이는 이하의 다른 실시예들에서도 마찬가지로 동일하게 적용될 수 있다.The method described here is only one embodiment of the present invention, and in addition, various steps may be added as follows, and the following steps may also be performed by changing the order, so that the present invention is described below. It is not limited to each step described and the order thereof. This can be equally applied to other embodiments below.

도 2 및 도 11을 참조하면, 단계(1110)에서 사용자는 차량 하부를 촬영하기 위한 장치인 촬영 기구부(210)를 차량 전방 바닥면에 배치할 수 있다.2 and 11 , in step 1110 , the user may arrange the photographing mechanism unit 210 , which is a device for photographing the underside of the vehicle, on the floor surface in front of the vehicle.

다음으로, 단계(1120)에서 상기 차량 하부 촬영 및 영상 처리 시스템(100)의 촬영 기구부(210)는 차량의 이동 시 상기 차량 하부에 관한 동영상을 촬영할 수 있다. 이때, 상기 차량은 드라이브(D) 모드로 저속 이동할 수 있으며, 바람직하게는 등속 운동하며 이동할 수 있다.Next, in step 1120 , the photographing mechanism unit 210 of the under-vehicle photographing and image processing system 100 may photograph a video regarding the underside of the vehicle when the vehicle moves. At this time, the vehicle may move at a low speed in the drive (D) mode, and preferably move at a constant speed.

다음으로, 단계(1130)에서 상기 차량 하부 촬영 및 영상 처리 시스템(100)의 영상 처리부(220)는 상기 차량 하부에 관한 동영상을 영상 처리하여 상기 동영상으로부터 상기 반사경의 영역에 대응되는 관심 영역(ROI)의 이미지들을 추출할 수 있다.Next, in step 1130 , the image processing unit 220 of the under-vehicle imaging and image processing system 100 image-processes the video of the underside of the vehicle, and from the video, the region of interest (ROI) corresponding to the region of the reflector. ) can be extracted.

다음으로, 단계(1140)에서 상기 차량 하부 촬영 및 영상 처리 시스템(100)의 영상 처리부(220)는 상기 추출된 관심 영역의 이미지들을 가공하여 하나의 차량 하부 이미지를 생성할 수 있다.Next, in operation 1140 , the image processing unit 220 of the under-vehicle imaging and image processing system 100 may process the extracted images of the ROI to generate one under-vehicle image.

다음으로, 단계(1150)에서 상기 차량 하부 촬영 및 영상 처리 시스템(100)의 손상 탐지부(230)는 상기 차량 하부 이미지에 대하여 데이터 기반의 딥러닝 알고리즘을 이용하여 손상되거나 녹슨 부위를 탐지할 수 있다. 이에 대해서는 도 12를 참조하여 자세히 설명하기로 한다.Next, in step 1150, the damage detection unit 230 of the under-vehicle imaging and image processing system 100 may detect a damaged or rusted part using a data-based deep learning algorithm for the under-vehicle image. have. This will be described in detail with reference to FIG. 12 .

도 12는 본 발명의 일 실시예에 따라 차량 하부 이미지에 대하여 손상되거나 녹슨 부위를 탐지하는 과정을 설명하기 위해 도시한 흐름도이다.12 is a flowchart illustrating a process of detecting a damaged or rusted part in an image under a vehicle according to an embodiment of the present invention.

도 2 및 도 12를 참조하면, 단계(1210)에서 상기 차량 하부 촬영 및 영상 처리 시스템(100)의 손상 탐지부(230)는 상기 차량 하부 이미지에 대하여 손상 특성이 저하되지 않도록 미리 정해진 크기로 분할하여 패치 이미지들을 생성할 수 있다.2 and 12 , in step 1210 , the damage detection unit 230 of the under-vehicle imaging and image processing system 100 divides the under-vehicle image into predetermined sizes so that damage characteristics are not deteriorated. to create patch images.

다음으로, 단계(1220)에서 상기 차량 하부 촬영 및 영상 처리 시스템(100)의 손상 탐지부(230)는 상기 생성된 패치 이미지들을 모두 모아서 4차원의 텐서(Tensor)로 만들 수 있다.Next, in step 1220 , the damage detector 230 of the under-vehicle imaging and image processing system 100 may collect all of the generated patch images to form a four-dimensional tensor.

다음으로, 단계(1230)에서 상기 차량 하부 촬영 및 영상 처리 시스템(100)의 손상 탐지부(230)는 CNN(Convolutional Neural Network) 알고리즘을 이용하여 상기 패치 이미지들 중 손상 부위를 포함하는 패치 이미지(손상 패치)를 구분할 수 있다.Next, in step 1230, the damage detection unit 230 of the under-vehicle imaging and image processing system 100 uses a CNN (Convolutional Neural Network) algorithm to use a patch image including a damaged part among the patch images ( damaged patches) can be distinguished.

다음으로, 단계(1240)에서 상기 차량 하부 촬영 및 영상 처리 시스템(100)의 손상 탐지부(230)는 상기 손상 패치를 통해 손상 부위의 위치 및 손상 종류를 판단할 수 있다.Next, in step 1240 , the damage detection unit 230 of the under-vehicle imaging and image processing system 100 may determine the location and type of damage through the damage patch.

실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CDROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.The method according to the embodiment may be implemented in the form of program instructions that can be executed through various computer means and recorded in a computer-readable medium. The computer-readable medium may include program instructions, data files, data structures, etc. alone or in combination. The program instructions recorded on the medium may be specially designed and configured for the embodiment, or may be known and available to those skilled in the art of computer software. Examples of the computer-readable recording medium include magnetic media such as hard disks, floppy disks and magnetic tapes, optical media such as CDROMs and DVDs, and magneto-optical disks such as floppy disks. hardware devices specially configured to store and execute program instructions, such as magneto-optical media, and ROM, RAM, flash memory, and the like. Examples of program instructions include not only machine language codes such as those generated by a compiler, but also high-level language codes that can be executed by a computer using an interpreter or the like. The hardware devices described above may be configured to operate as one or more software modules to perform the operations of the embodiments, and vice versa.

이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.As described above, although the embodiments have been described with reference to the limited embodiments and drawings, various modifications and variations are possible by those skilled in the art from the above description. For example, the described techniques are performed in a different order than the described method, and/or the described components of the system, structure, apparatus, circuit, etc. are combined or combined in a different form than the described method, or other components Or substituted or substituted by equivalents may achieve an appropriate result.

그러므로, 다른 구현들, 다른 실시예들 및 청구범위와 균등한 것들도 후술하는 청구범위의 범위에 속한다.Therefore, other implementations, other embodiments, and equivalents to the claims are also within the scope of the following claims.

100: 차량 하부 촬영 및 영상 처리 시스템
210: 촬영 기구부
220: 영상 처리부
230: 손상 탐지부
240: 제어부
310: 카메라
320: 카메라 가이드
330: 반사경
340: LED 조명
350: 센서부
360: 컨트롤러100: Under vehicle shooting and image processing system
210: photographing mechanism unit
220: image processing unit
230: damage detection unit
240: control unit
310: camera
320: camera guide
330: reflector
340: LED light
350: sensor unit
360: controller

Claims (12)

차량 하부를 촬영하기 위한 카메라, 상기 카메라를 고정하기 위한 카메라 가이드, 및 상기 카메라 가이드를 기준으로 상기 카메라와 마주보면서 경사지게 설치되는 반사경을 포함하는 촬영 기구부;
상기 카메라에 의해 촬영된 상기 차량 하부에 관한 동영상을 영상 처리하여 상기 동영상으로부터 상기 반사경의 영역에 대응되는 관심 영역(ROI)의 이미지들을 추출하고, 상기 추출된 관심 영역의 이미지들을 가공하여 하나의 차량 하부 이미지를 생성하는 영상 처리부; 및
상기 차량 하부 이미지에 대하여 데이터 기반의 딥러닝 알고리즘을 이용하여 손상되거나 녹슨 부위를 탐지하는 손상 탐지부;를 포함하고,
상기 손상 탐지부는
상기 차량 하부 이미지에 대하여 손상 특성이 저하되지 않도록 미리 정해진 크기로 분할하여 패치 이미지들을 생성하고, 상기 생성된 패치 이미지들을 모두 모아서 4차원의 텐서(Tensor)로 만든 다음, CNN(Convolutional Neural Network) 알고리즘을 이용하여 상기 패치 이미지들 중 손상 부위를 포함하는 패치 이미지(손상 패치)를 구분하는 것을 특징으로 하는 차량 하부 촬영 및 영상 처리 시스템.
a camera for photographing the underside of the vehicle, a camera guide for fixing the camera, and a photographing mechanism unit including a reflector that is installed to face the camera and inclinedly based on the camera guide;
By processing the video of the underside of the vehicle captured by the camera, images of a region of interest (ROI) corresponding to the region of the reflector are extracted from the video, and images of the extracted region of interest are processed to form one vehicle. an image processing unit generating a lower image; and
A damage detection unit that detects a damaged or rusted part using a data-based deep learning algorithm for the image under the vehicle;
The damage detection unit
Patch images are generated by dividing the image under the vehicle into a predetermined size so as not to deteriorate the damage characteristic, and the generated patch images are collected to form a four-dimensional tensor, and then a Convolutional Neural Network (CNN) algorithm The under-vehicle imaging and image processing system, characterized in that by using a patch image (damaged patch) including a damaged part among the patch images is distinguished.
 제1항에 있어서,
상기 촬영 기구부는
상기 차량 하부의 촬영 시 상기 차량 하부의 어두운 부분을 밝히면서 상기 카메라의 셔터 스피드를 확보하기 위한 밝기를 유지하기 위한 LED 조명
을 더 포함하는 것을 특징으로 하는 차량 하부 촬영 및 영상 처리 시스템.
According to claim 1,
The photographing mechanism
LED lighting for maintaining the brightness to secure the shutter speed of the camera while illuminating the dark part of the underside of the vehicle when photographing the underside of the vehicle
Under vehicle imaging and image processing system, characterized in that it further comprises.
 제1항에 있어서,
상기 촬영 기구부는
상기 차량 하부의 촬영을 위해 차량이 이동하여 상기 반사경의 영역으로 들어오는 제1 지점과 빠져나가는 제2 지점을 인식하기 위한 센서부
를 더 포함하고,
상기 카메라는
상기 제1 지점에서 상기 차량 하부에 관한 동영상의 촬영을 시작하고, 상기 제2 지점에서 상기 동영상의 촬영을 중지하는 것을 특징으로 하는 차량 하부 촬영 및 영상 처리 시스템.
According to claim 1,
The photographing mechanism
A sensor unit for recognizing a first point entering and a second point exiting the area of the reflector by moving the vehicle for photographing the underside of the vehicle
further comprising,
the camera is
The under-vehicle photographing and image processing system of claim 1, wherein the recording of the video on the underside of the vehicle is started at the first point, and the recording of the video is stopped at the second point.
 제1항에 있어서,
상기 카메라 가이드는
휴대성을 위해 상기 반사경을 포함하는 본체 프레임에 대해 회동하여 접히거나 펴지는 구조를 가지며, 펴지는 경우에는 일정 각도를 유지하도록 멈춤 장치를 구비하는 것을 특징으로 하는 차량 하부 촬영 및 영상 처리 시스템.
According to claim 1,
the camera guide
Under-vehicle imaging and image processing system, characterized in that it has a structure to be folded or unfolded by rotating with respect to the body frame including the reflector for portability, and comprising a stopping device to maintain a certain angle when unfolded.
 제1항에 있어서,
상기 영상 처리부는
상기 차량 하부에 관한 동영상의 영상 처리를 통해 차량의 속도를 획득하고, 상기 획득된 속도를 반영하여 상기 관심 영역의 이미지들에 관한 유효 프레임들을 추출하고 상기 추출된 프레임들을 합성하여 상기 관심 영역의 이미지들을 연결시킴으로써 상기 차량 하부 이미지를 생성하는 것을 특징으로 하는 차량 하부 촬영 및 영상 처리 시스템.
According to claim 1,
The image processing unit
Acquire the speed of the vehicle through image processing of the moving picture related to the underside of the vehicle, extract effective frames for the images of the region of interest by reflecting the obtained speed, and synthesize the extracted frames to obtain the image of the region of interest The under-vehicle imaging and image processing system, characterized in that generating the under-vehicle image by connecting them.
 제1항에 있어서,
상기 영상 처리부는
상기 관심 영역의 이미지들에 관한 유효 프레임들에 대하여 이미지 스티칭 알고리즘(image stitching algorithm)을 적용하여 상기 차량 하부 이미지를 생성하는 것을 특징으로 하는 차량 하부 촬영 및 영상 처리 시스템.
According to claim 1,
The image processing unit
and generating the under-vehicle image by applying an image stitching algorithm to valid frames related to the images of the region of interest.
 제1항에 있어서,
상기 영상 처리부는
상기 관심 영역의 이미지들에 관한 유효 프레임들을 픽셀 길이에 따라 이어 붙이는 방법으로 상기 차량 하부 이미지를 생성하는 것을 특징으로 하는 차량 하부 촬영 및 영상 처리 시스템.
According to claim 1,
The image processing unit
and generating the under-vehicle image by concatenating valid frames related to the images of the region of interest according to a pixel length.
 삭제delete 제1항에 있어서,
상기 손상 탐지부는
상기 패치 이미지들 각각의 분할 경계선에 손상 부위가 걸쳐서 인식률이 떨어지는 것을 방지할 수 있도록, 상기 패치 이미지들을 분할할 때 상기 미리 정해진 크기보다 5~15% 더 크게 잘라서 이웃하는 다른 패치 이미지들과 중첩되게 분할하는 것을 특징으로 하는 차량 하부 촬영 및 영상 처리 시스템.
According to claim 1,
The damage detection unit
In order to prevent a decrease in the recognition rate due to the damage part being spread over the division boundary of each of the patch images, the patch images are cut 5 to 15% larger than the predetermined size and overlapped with other neighboring patch images when dividing the patch images. A vehicle undercarriage imaging and image processing system, characterized in that it is divided.
 제1항에 있어서,
상기 손상 탐지부는
특정 패치 이미지가 상기 손상 패치로 인식된 경우, 상기 특정 패치 이미지의 컨피던스 값 및 상기 특정 패치 이미지와 인접하고 있는 다른 패치 이미지들의 손상 패치 여부의 결과에 기초하여, 상기 차량 하부 이미지에서 최종 손상 위치와 종류를 판단하는 것을 특징으로 하는 차량 하부 촬영 및 영상 처리 시스템.
According to claim 1,
The damage detection unit
When the specific patch image is recognized as the damaged patch, the final damage location and Vehicle underbody imaging and image processing system, characterized in that for determining the type.
 제1항에 있어서,
상기 손상 탐지부는
상기 손상 패치에 라벨링 작업을 하여 정상 패치(손상 부위를 포함하지 않는 패치 이미지)와 손상 패치를 구분하는 라벨링 작업부;
상기 정상 패치와 상기 손상 패치의 이미지 비율을 1:1로 준비하고 이 중에서 훈련 데이터와 유효 데이터의 이미지 비율을 8:2로 나눈 다음 학습을 수행하여 학습 이미지를 생성하는 학습 이미지 생성부; 및
상기 생성된 학습 이미지에 기반하여 상기 CNN 알고리즘을 수행함으로써, 상기 차량 하부 이미지로부터 손상되거나 녹슨 부위를 탐지하기 위한 딥러닝 학습을 수행하는 딥러닝 학습부
를 포함하는 것을 특징으로 하는 차량 하부 촬영 및 영상 처리 시스템.
According to claim 1,
The damage detection unit
a labeling operation unit for labeling the damaged patch to distinguish between a normal patch (a patch image that does not include a damaged area) and a damaged patch;
a training image generator for preparing a 1:1 image ratio of the normal patch and the damaged patch, dividing the image ratio of training data and valid data by 8:2, and then performing learning to generate a training image; and
A deep learning learning unit that performs deep learning learning to detect a damaged or rusted part from the image under the vehicle by performing the CNN algorithm based on the generated learning image
Under the vehicle imaging and image processing system, characterized in that it comprises a.
 차량 하부를 촬영하기 위한 카메라, 상기 카메라를 고정하기 위한 카메라 가이드, 및 상기 카메라 가이드를 기준으로 상기 카메라와 마주보면서 경사지게 설치되는 반사경을 포함하는 촬영 기구부, 영상 처리부 및 손상 탐지부를 포함하는 차량 하부 촬영 및 영상 처리 시스템을 이용한 차량 하부 촬영 및 영상 처리 방법에 있어서,
상기 촬영 기구부가 상기 차량 하부에 관한 동영상을 촬영하는 단계;
상기 영상 처리부가 상기 차량 하부에 관한 동영상을 영상 처리하여 상기 동영상으로부터 상기 반사경의 영역에 대응되는 관심 영역(ROI)의 이미지들을 추출하는 단계;
상기 영상 처리부가 상기 추출된 관심 영역의 이미지들을 가공하여 하나의 차량 하부 이미지를 생성하는 단계; 및
상기 손상 탐지부가 상기 차량 하부 이미지에 대하여 데이터 기반의 딥러닝 알고리즘을 이용하여 손상되거나 녹슨 부위를 탐지하는 단계;를 포함하고,
상기 손상 탐지부는
상기 차량 하부 이미지에 대하여 손상 특성이 저하되지 않도록 미리 정해진 크기로 분할하여 패치 이미지들을 생성하고, 상기 생성된 패치 이미지들을 모두 모아서 4차원의 텐서(Tensor)로 만든 다음, CNN(Convolutional Neural Network) 알고리즘을 이용하여 상기 패치 이미지들 중 손상 부위를 포함하는 패치 이미지(손상 패치)를 구분하는 것을 특징으로 하는 차량 하부 촬영 및 영상 처리 방법.Under the vehicle including a camera for photographing the underside of the vehicle, a camera guide for fixing the camera, and a photographing mechanism unit including a reflector installed to face the camera and inclinedly based on the camera guide, an image processing unit and a damage detection unit And in the vehicle underbody shooting and image processing method using the image processing system,
photographing, by the photographing mechanism unit, a moving picture of the underside of the vehicle;
extracting, by the image processing unit, images of a region of interest (ROI) corresponding to the region of the reflector from the moving image by image processing the moving image of the underside of the vehicle;
generating, by the image processing unit, one under-vehicle image by processing the extracted images of the region of interest; and
Detecting, by the damage detection unit, a damaged or rusted part using a data-based deep learning algorithm with respect to the image under the vehicle;
The damage detection unit
Patch images are generated by dividing the image under the vehicle into a predetermined size so as not to deteriorate the damage characteristic, and the generated patch images are collected to form a four-dimensional tensor, and then a Convolutional Neural Network (CNN) algorithm The under-vehicle photographing and image processing method, characterized in that by using a patch image (damaged patch) including a damaged part from among the patch images is distinguished.
KR1020200103309A 2020-08-18 2020-08-18 Undercarriage photographing and image processing system and method KR102325577B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200103309A KR102325577B1 (en) 2020-08-18 2020-08-18 Undercarriage photographing and image processing system and method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200103309A KR102325577B1 (en) 2020-08-18 2020-08-18 Undercarriage photographing and image processing system and method

Publications (1)

Publication Number Publication Date
KR102325577B1 true KR102325577B1 (en) 2021-11-12

Family

ID=78497449

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200103309A KR102325577B1 (en) 2020-08-18 2020-08-18 Undercarriage photographing and image processing system and method

Country Status (1)

Country Link
KR (1) KR102325577B1 (en)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110043048A (en) * 2009-10-20 2011-04-27 (주)아이비코리아이엔지 Apparatus for taking bottom image of vehicle
KR20150015603A (en) * 2013-07-31 2015-02-11 삼성전자주식회사 Portable foldable holder
KR20190093746A (en) * 2018-01-10 2019-08-12 한국과학기술원 Method and Server Apparatus for Delivering Content Based on Content-aware Using Neural Network
KR20200093859A (en) * 2019-01-29 2020-08-06 올어스 주식회사 Movable and foldable camera fixing apparatus

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110043048A (en) * 2009-10-20 2011-04-27 (주)아이비코리아이엔지 Apparatus for taking bottom image of vehicle
KR20150015603A (en) * 2013-07-31 2015-02-11 삼성전자주식회사 Portable foldable holder
KR20190093746A (en) * 2018-01-10 2019-08-12 한국과학기술원 Method and Server Apparatus for Delivering Content Based on Content-aware Using Neural Network
KR20200093859A (en) * 2019-01-29 2020-08-06 올어스 주식회사 Movable and foldable camera fixing apparatus

Similar Documents

Publication Publication Date Title
US8593534B2 (en) Auto-triggered camera self-timer based on recognition of subject's presence in scene
US11132771B2 (en) Bright spot removal using a neural network
US8994847B2 (en) Digital camera and image capturing method
US8284257B2 (en) Image pick-up apparatus and tracking method therefor
US8155397B2 (en) Face tracking in a camera processor
US8908078B2 (en) Network camera system and control method therefor in which, when a photo-taking condition changes, a user can readily recognize an area where the condition change is occurring
KR20170134256A (en) Method and apparatus for correcting face shape
US7133069B2 (en) System and method to increase effective dynamic range of image sensors
EP2993894B1 (en) Image capturing method and electronic apparatus
US20160180169A1 (en) Iris recognition device, iris recognition system including the same and method of operating the iris recognition system
CN107395957B (en) Photographing method and device, storage medium and electronic equipment
US20090174805A1 (en) Digital camera focusing using stored object recognition
KR101530255B1 (en) Cctv system having auto tracking function of moving target
JP2002006426A (en) Method for automatically capturing plural images
US20070116364A1 (en) Apparatus and method for feature recognition
KR20110069027A (en) System and method for detecting a camera
CN109714533B (en) Electronic device
KR101850534B1 (en) System and method for picture taking using IR camera and maker and application therefor
KR102155895B1 (en) Device and method to receive image by tracking object
KR20160050755A (en) Electronic Device and Method for Recognizing Iris by the same
KR20120118144A (en) Apparatus and method for capturing subject in photographing device
KR20200102961A (en) Method and system for diagnosing lesion using deep learning
KR102325577B1 (en) Undercarriage photographing and image processing system and method
JP5605565B2 (en) Object identification device and object identification method
JP2005020205A (en) Picture photographing device

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant