KR100422627B1 - Calibration method of active safety system using Camera, and error detection method of the system - Google Patents

Abstract

본 발명은 카메라를 이용한 능동형 안전장치의 감도교정 및 고장진단 방법을 제공하기 위한 것으로, 상기 감도교정 방법은, 차량에 장착된 카메라의 촬영각도 범위에 상기 차량의 특정부가 포함되도록 카메라의 장착위치를 설정하고, 마이크로프로세서에 상기 카메라의 장착위치와 상기 특정부간 대응관계를 설정하는 단계와; 상기 장착된 카메라에 의해 획득된 영상이 인가되면, 마이크로프로세서가 상기 영상을 검색하여 상기 특정부의 영상이 상기 설정된 대응관계에 부합되도록 카메라의 감도교정을 수행하는 단계를 포함하여 이루어져, 도로상의 기준선이 없을 때에도 짧은 시간내 감도교정이 가능하며 더불어 고장진단 방법을 통해 주행중인 차량에서도 본넷 등을 기준으로 능동형 안전장치의 고장판단을 수행할 수 있게 된다.The present invention is to provide a method for calibration and failure diagnosis of the active safety device using a camera, the sensitivity calibration method, the mounting position of the camera so that the specific portion of the vehicle is included in the shooting angle range of the camera mounted on the vehicle. Setting a correspondence relationship between the mounting position of the camera and the specific unit in a microprocessor; When the image obtained by the mounted camera is applied, the microprocessor searches for the image, and performing a sensitivity calibration of the camera so that the image of the specific portion conforms to the set correspondence, the reference line on the road Sensitivity calibration can be performed within a short time even when it is not available, and fault diagnosis method enables active safety devices to be diagnosed on the basis of the bonnet.

Description

카메라를 이용한 능동형 안전장치의 감도교정 및 고장진단 방법 {Calibration method of active safety system using Camera, and error detection method of the system}Calibration method of active safety system using Camera, and error detection method of the system

본 발명은 카메라를 이용한 능동형 안전장치의 감도교정 및 고장진단 방법에 관한 것으로, 보다 상세하게는 차량에 장착되는 능동형 안전장치에서 카메라의 촬영각도내에 차량의 일부를 포함시켜 감도교정 및 고장진단을 용이하게 하기 위한 카메라를 이용한 능동형 안전장치의 감도교정 및 고장진단 방법에 관한 것이다.The present invention relates to a method for calibration and fault diagnosis of an active safety device using a camera, and more particularly, to include a part of a vehicle within a shooting angle of a camera in an active safety device mounted on a vehicle to facilitate sensitivity calibration and fault diagnosis. The present invention relates to a sensitivity calibration and a failure diagnosis method of an active safety device using a camera.

일반적으로 자동차는 운전자의 임의적인 조작에 반응하여 진행방향을 조향한다. 이는 운전자가 차량을 능동적으로 지배하는 상태를 예정한 것인데, 주행중인차량의 경우 주행조건이나 주행환경에 대한 운전자의 인지와 반응에는 어느 정도의 한계가 있다.In general, the vehicle steer the driving direction in response to the driver's arbitrary operation. This means that the driver intends to actively dominate the vehicle. In the case of a driving vehicle, there is a limit to the driver's perception and response to the driving conditions or the driving environment.

그리고 사람에 의한 주행환경 판단의 결과는 진행방향 조향에 직접적인 영향을 미치게 된다. 따라서 오판정이 이루어지게 되면 차량 탑승자가 위험에 노출될 수 있고, 경우에 따라서는 대물이나 대인적 피해를 유발할 수도 있다.And the result of the judgment of the driving environment by the person has a direct influence on the steering direction. Therefore, when the misjudgment is made, the vehicle occupant may be exposed to danger, and in some cases, may cause an object or human injury.

예를 들어, 차량이 시야가 어둡거나 좁은 경우 또는 주변환경이 산만한 경우에는 운전자의 주의력이 분산될 수 있다. 또한, 고속주행중이거나 자동차 전용도로 등과 같이 주변환경이 단조로울 경우에는 운전자의 움직임이 단순화되어 집중력이 저하될 수도 있다.For example, the driver's attention may be distracted when the vehicle has a dark or narrow field of view or a distracting environment. In addition, when the surrounding environment is monotonous, such as during a high-speed driving or a motorway, the driver's movement may be simplified to reduce concentration.

이처럼 주행하는 차량과 주변환경간의 관계에 따라 운전자의 오판으로 인한 사고 가능성을 보상하기 위하여 능동형 안전장치 등이 제안되고 있다.As such, active safety devices have been proposed to compensate for the possibility of an accident due to a driver's misjudgment according to the relationship between the vehicle and the surrounding environment.

능동형 안전장치는 운전자의 판단에 더하여 주행환경을 모델링하고 사고 가능성을 예측함으로써 운전자를 각성시키거나 운전자의 의지와는 무관하게 능동적인 조향조작이나 가감속을 수행하는 시스템이다. 즉, 능동형 안전장치는 사고의 위험을 미리 예측하여 적절한 조치를 취함으로써 운전자를 위기에서 벗어나게 한다. 이러한 능동형 안전장치는 마이크로프로세서를 이용하여 차량 주행을 자동화시킨 지능형 자동주행 시스템 등에 적용된다.Active safety devices are systems that awaken the driver by modeling the driving environment and predicting the possibility of an accident in addition to the driver's judgment, or perform active steering or acceleration / deceleration regardless of the driver's intention. In other words, the active safety device predicts the risk of an accident and takes appropriate measures to get the driver out of crisis. Such active safety devices are applied to intelligent autonomous driving systems that automate vehicle driving using a microprocessor.

한편, 능동형 안전장치는 주행환경을 감지하고 스스로 위험을 예측하여야 하기 때문에 이러한 기능을 수행하기 위한 일련의 시스템이 구성되어야 한다. 주행환경의 감지는 다양한 방식으로 이루어진다. 카메라를 이용한 영상획득이 그 일예이다.Active safety devices, on the other hand, must detect a driving environment and predict risks on their own, so a series of systems must be constructed to perform these functions. Detection of the driving environment takes place in a variety of ways. Image acquisition using a camera is an example.

카메라를 이용한 능동형 안전장치에서는 카메라가 도로상의 지물이 포함된 영상을 주기적으로 또는 연속적으로 촬영하고 마이크로프로세서가 영상에 포함된 지물(선행차량 포함)을 모델링기법으로 포착하여 그 지물과 차량의 진행방향/속도간에 관계를 분석하여 위험상황을 예측하고 능동적으로 적절한 조치를 취하게 된다. 따라서 차선 및 선행차량 검출이 가능하게 되고 차선이탈경보와 차간거리 경보를 실시할 수 있게 된다.In an active safety device using a camera, the camera periodically or continuously captures an image containing a feature on the road, and the microprocessor captures an object (including a preceding vehicle) included in the image by using a modeling technique, and the direction of the feature and the vehicle is moved. Analyze the relationship between speed and speed to predict risk and take appropriate action. Therefore, it becomes possible to detect lanes and preceding vehicles, and to perform lane departure warning and inter-vehicle distance warning.

그런데 마이크로프로세서는 촬영영상에 근거하여 지물을 포착하게 때문에 카메라의 촬영영상은 시스템의 안정성과 신뢰성에 지대한 영향을 미치게 된다. 그래서 카메라의 촬영영상에 대한 감도교정(Calibration)을 수행하여 획득된 영상으로부터 도출된 지물판정의 신뢰성을 확보하게 된다.However, because the microprocessor captures the object based on the captured image, the captured image of the camera has a great influence on the stability and reliability of the system. Therefore, it is possible to secure the reliability of the object determination derived from the image obtained by performing the calibration of the camera image.

즉, 카메라를 이용한 능동형 안전장치의 감도교정은 기준이 되는 도로에서 일정한 간격으로 배치된 선을 기준으로 수행된다. 이때 카메라는 룸미러 부근에 장착되어 전방 도로상황을 투영하게 되며, 감도교정 기법은 한 장의 영상이나 2장 이상의 영상 또는 영상 시퀀스에서 카메라의 파라미터를 추출하여 카메라 공간적인 위치를 알아낸다.That is, sensitivity calibration of an active safety device using a camera is performed based on lines arranged at regular intervals on the reference road. At this time, the camera is mounted near the room mirror to project the forward road situation, and the sensitivity calibration method detects the spatial position of the camera by extracting the camera parameters from one image, two or more images or image sequences.

그래서 규격화된 도로를 촬영하여 포착된 기준점 또는 기준선들의 영상을 분석함으로써 감도교정을 수행한다. 예를 들면, 2m 간격으로 차선에 직교하는 기준선이 포함된 도로를 촬영하여 카메라의 감도교정을 수행할 수 있다.Therefore, sensitivity calibration is performed by analyzing the image of the reference point or reference lines captured by photographing the standardized road. For example, sensitivity calibration of the camera may be performed by photographing a road including a reference line orthogonal to the lane at 2m intervals.

그러나 이러한 감도교정 기술은 반드시 규격화된 시험용 도로를 필요로 하는문제점이 있다. 이에 부수하여 시험용 도로의 이동성이 낮기 때문에 시험대상 차량을 해당 장소까지 운반하는데 따르는 불편함이 있었다.However, this sensitivity calibration technique requires a standardized test road. As a result, the mobility of the test vehicle to the place was inconvenient due to the low mobility of the test road.

더불어 시험용 도로에서도 차량이 움직이는 동안에는 촬영영상내 기준점이 유동하게 되기 때문에 영상을 근거로 카메라의 고장이나 지물 판단로직의 오류 등을 진단하기가 어려운 문제점이 있다. 즉, 오판정을 유발시킨 직접 원인을 특정하기 위해서는 시험의 변인통제가 이루어져야 하는데, 이동중인 차량에서 촬영된 영상에서는 촬영영상의 해석기준인 도로 기준선의 투영영상이 유동하게 됨으로써 독립변인의 조정으로 종속변인을 효율적으로 조정할 수 없어 감도교정이나 고장진단의 신뢰성과 안정성이 확보되지 않는 문제점이 있었던 것이다.In addition, since the reference point in the photographed image flows while the vehicle is moving on the test road, it is difficult to diagnose a fault of the camera or an error of the judgment logic based on the image. In other words, in order to specify the direct cause that caused the misjudgment, the test variable control should be performed. In the image captured from the moving vehicle, the projection image of the road baseline, which is the interpretation standard of the captured image, is flowed, and the dependent variable is adjusted by the adjustment of the independent variable. There was a problem that the reliability and stability of sensitivity calibration or failure diagnosis could not be secured because it could not be adjusted efficiently.

본 발명은 상기와 같은 종래의 문제점을 해소하기 위해 창출된 것으로, 본 발명의 목적은 차량에 장착되는 능동형 안전장치에서 카메라의 촬영각도내에 차량일부를 포함시켜 감도교정을 용이하게 한 카메라를 이용한 능동형 안전장치의 감도교정방법과, 차량에 장착되는 능동형 안전장치에서 카메라의 촬영각도내에 차량의 일부를 포함시켜 감도교정을 용이하게 하기 위한 카메라를 이용한 능동형 안전장치의 감도교정 방법과, 운용되는 능동형 안전장치에서 차량에 장착되는 능동형 안전장치에서 카메라의 촬영각도내에 차량의 일부를 포함시켜 고장진단을 용이하게 한 고장진단 방법을 제공하는 데 있다..The present invention was created to solve the above-mentioned conventional problems, and an object of the present invention is an active type using a camera that facilitates sensitivity correction by including a part of a vehicle within a shooting angle of a camera in an active safety device mounted on a vehicle. Sensitivity calibration method of safety device, active safety device mounted on a vehicle, sensitivity calibration method of active safety device using camera for facilitating sensitivity calibration by including part of the vehicle within the camera's shooting angle and active safety An active safety device mounted on a vehicle in a device includes a part of the vehicle within a photographing angle of a camera to provide a troubleshooting method that facilitates the failure diagnosis.

상기 목적을 달성하기 위한 본 발명의 카메라를 이용한 능동형 안전장치의 감도교정방법은, 차량에 장착된 카메라의 촬영각도 범위에 상기 차량의 특정부가포함되도록 카메라의 장착위치를 설정하고, 마이크로프로세서에 상기 카메라의 장착위치와 상기 특정부간 대응관계를 설정하는 단계와; 상기 장착된 카메라에 의해 획득된 영상이 인가되면, 마이크로프로세서가 상기 영상을 검색하여 상기 특정부의 영상이 상기 설정된 대응관계에 부합되도록 카메라의 감도교정을 수행하는 단계를 포함하는 것을 그 특징으로 한다.Sensitivity calibration method of an active safety device using a camera of the present invention for achieving the above object, the mounting position of the camera is set so that the specific portion of the vehicle is included in the shooting angle range of the camera mounted on the vehicle, and the microprocessor Setting a correspondence relationship between a mounting position of the camera and the specific unit; And when the image acquired by the mounted camera is applied, performing a sensitivity calibration of the camera such that the microprocessor searches the image to match the image of the specific part with the set correspondence.

상기 목적을 달성하기 위한 본 발명의 카메라를 이용한 능동형 안전장치의 고장진단 방법은, 차량에 장착된 카메라의 촬영각도 범위에 상기 차량의 특정부가 포함되도록 카메라의 장착위치를 설정하고, 마이크로프로세서에 상기 카메라의 장착위치와 상기 특정부간 대응관계의 임계변위 범위를 설정하는 단계와; 상기 장착된 카메라에 의해 획득된 영상이 인가되면, 마이크로프로세서가 상기 영상을 검색하여 상기 특정부와 카메라간 상대변량이 상기 설정된 대응관계의 임계변위 범위내에 속하는지 여부를 확인하고, 상기 상대변량이 상기 임계변위 범위를 초과할 때에는 고장판정하여 상기 판정결과를 운용자에게 통지하는 단계를 포함하는 것을 그 특징으로 한다.In the fault diagnosis method of the active safety device using the camera of the present invention for achieving the above object, the mounting position of the camera is set so that the specific portion of the vehicle is included in the shooting angle range of the camera mounted on the vehicle, and the microprocessor Setting a threshold displacement range of the correspondence relationship between the mounting position of the camera and the specific portion; When the image acquired by the mounted camera is applied, the microprocessor searches the image to determine whether the relative variation between the specific unit and the camera falls within the threshold displacement range of the set correspondence relationship, and the relative variation When the threshold displacement range is exceeded, characterized in that it comprises a step of notifying the operator of the determination result by the failure determination.

도1에는 본 발명이 적용되는 카메라를 이용한 능동형 안전장치의 적용예시도이고,Figure 1 is an application example of an active safety device using a camera to which the present invention is applied,

도2는 본 발명의 실시예에 따른 카메라를 이용한 능동형 안전장치의 감도교정방법의 순서도이고,2 is a flow chart of a sensitivity calibration method of an active safety device using a camera according to an embodiment of the present invention,

도3은 본 발명의 다른 실시예에 따른 고장진단 방법의 순서도이다.3 is a flowchart of a failure diagnosis method according to another exemplary embodiment of the present invention.

이하, 첨부도면을 참조하여 본 발명에 따른 바람직한 실시예를 설명한다.Hereinafter, exemplary embodiments of the present invention will be described with reference to the accompanying drawings.

도1에는 본 발명이 적용되는 카메라를 이용한 능동형 안전장치의 적용예시도이고, 도2는 본 발명의 실시예에 따른 카메라를 이용한 능동형 안전장치의 감도교정방법의 순서도이며, 도3은 본 발명의 다른 실시예에 따른 고장진단 방법의 순서도이다.Figure 1 is an application example of an active safety device using a camera to which the present invention is applied, Figure 2 is a flow chart of a sensitivity calibration method of an active safety device using a camera according to an embodiment of the present invention, Figure 3 is A flowchart of a fault diagnosis method according to another embodiment.

도1에 도시된 바와 같이 본 발명은 차량에 장착된 능동형 안전장치에 적용될 수 있다. 능동형 안전장치는 카메라를 이용하여 영상을 획득하고 그 영상으로 주행방향의 지물을 인지하게 된다. 이때 카메라는 필요에 따라 주행방향 뿐만 아니라 후방이나 측방의 영상을 획득할 수도 있다.As shown in FIG. 1, the present invention can be applied to an active safety device mounted on a vehicle. The active safety device acquires an image using a camera and recognizes the object in the driving direction with the image. At this time, the camera may acquire the image of the rear or side as well as the driving direction as needed.

그래서 영상신호는 카메라로부터 마이크로프로세서로 인가된다. 마이크로프로세서는 미리 설정되어 있는 로직을 이용하여 영상으로부터 특정의 지물을 인식하고 해당 지물이 위험상황을 초래할 것으로 예측되는 경우에 경보신호를 발하게 된다.Thus, the video signal is applied from the camera to the microprocessor. The microprocessor recognizes a certain object from the image using preset logic and emits an alarm signal when the object is predicted to cause a dangerous situation.

이러한 기능을 수행하기 위한 카메라는 화소에 따른 디지털 신호를 처리하는 CCD(Charge-Coupled Device) 카메라로 구현될 수 있다. 그리고 마이크로프로세서는 VCU(Video Control Unit)로 구현된다. 더불어 마이크로프로세서는 능동형 안전기능을 수행하게 되는데, 이를 달성하기 위하여 CCD 카메라의 영상신호를 인가받아 도로지물을 감지하여 위험상황을 판단하고 그 결과에 따라 ECU(Electronic Control Unit)이나 TCU(Transmission Control Unit)을 제어하게 된다. ECU와 TCU로 전달된 신호는 엔진과 변속기의 작동상태를 가변시켜 차량의 속도를 조절하며, 경우에 따라서는 조향장치를 능동적으로 조작하여 차량의 진행방향을 제어할 수도 있다.The camera for performing such a function may be implemented as a charge-coupled device (CCD) camera that processes digital signals according to pixels. The microprocessor is implemented as a video control unit (VCU). In addition, the microprocessor performs an active safety function. In order to achieve this, the microprocessor detects a road object by receiving an image signal from a CCD camera to determine a dangerous situation, and accordingly, the ECU (Electronic Control Unit) or TCU (Transmission Control Unit) is used. Will be controlled. The signals transmitted to the ECU and the TCU change the operating speed of the engine and the transmission to control the speed of the vehicle. In some cases, the steering device may be actively operated to control the direction of movement of the vehicle.

한편, 능동형 안전장치를 차량에 장착하려면 카메라의 설치위치를 일정하게 조정하여야 한다. 이때 차량의 기종마다 카메라의 설치위치는 달라질 수 있으며 동일 기종내에서도 각 차량마다 얼마간의 편차가 있을 수 있기 때문에 카메라의 장착 후 감도교정(Calibration)을 수행하게 된다.On the other hand, in order to mount the active safety device in the vehicle, the installation position of the camera must be constantly adjusted. At this time, the installation position of the camera may be different for each vehicle type and there may be some deviation for each vehicle even within the same model, so that the calibration is performed after the camera is mounted.

그리고 감도교정되어 운용되는 카메라일지라도 차량의 운행 등에 따른 외부적인 충격이나 불특정한 원인으로 감도교정치가 어긋나는 경우가 있다. 감도교정의 재차 실시여부를 판정하기 위해서는 감도의 어긋남 정도에 대한 판정로직이 필요하다. 그래서 마이크로프로세서는 고장진단로직을 구비하여 감도교정치가 임계치를 벗어나는지 여부를 감시하고 필요시 고장판정을 수행하게 된다.In addition, even if the camera is operated by sensitivity calibration, the sensitivity calibration value may be shifted due to an external shock or an unspecified cause due to the driving of the vehicle. In order to determine whether the sensitivity calibration is performed again, a judgment logic for the degree of deviation of the sensitivity is required. Thus, the microprocessor has a fault diagnosis logic that monitors whether the sensitivity calibration value is out of the threshold and performs fault determination if necessary.

그러면 카메라 위치와 각도를 독립변인으로 하여 영상내 본넷의 위치가 종속변인으로써 대응되어 가변되므로 감도교정에 소요되는 시간이 단축될 수 있다. 특히, 종래 도로상에 설치된 기준선을 이용한 감도교정의 경우와는 달리, 차량이 얼마간 유동하는 경우에도 카메라와 기준선인 본넷간의 상대적 위치는 가변되지 않기 때문에 감도교정 시간을 단축시키기에 효과적이다.Then, since the position of the bonnet in the image is changed as a dependent variable by using the camera position and angle as independent variables, the time required for sensitivity calibration can be shortened. In particular, unlike the case of the sensitivity calibration using the reference line installed on the conventional road, even if the vehicle flows for some time, the relative position between the camera and the bonnet, which is the reference line, is not changed, which is effective for shortening the sensitivity calibration time.

우선, 도2를 참조하여 능동형 안전장치의 감도교정방법을 설명하기로 한다.First, a sensitivity calibration method of an active safety device will be described with reference to FIG. 2.

본 실시예에서 카메라에 포착되는 특정부는 본넷으로 하며, 카메라는 CCD 카메라를 적용하고 마이크로프로세서는 VCU를 적용한다. CCD 카메라는 능동형 안전장치의 운용목적에 따라 전방이외의 영상을 포착할 수도 있는데, 이 경우에는 마이크로프로세서도 해당 영상을 해석하기 위한 로직을 구비하여야 할 것이다.In this embodiment, the specific portion captured by the camera is a bonnet, the camera applies a CCD camera and the microprocessor applies a VCU. CCD cameras can also capture images other than the front, depending on the purpose of the active safety device, in which case the microprocessor must also have logic to interpret the images.

그리고 능동형 안전장치가 장착될 차종에 따라 CCD 카메라의 설치위치를 각각 설정한다. CCD 카메라의 설치위치를 차종별로 각각 설정하는 것은 차종마다 본넷의 형상이 다르기 때문이다(S210).Then, the installation position of the CCD camera is set according to the type of vehicle to which the active safety device is to be mounted. Setting the installation position of each CCD camera for each vehicle type is because the shape of the bonnet is different for each vehicle type (S210).

통상의 조건에서 능동형 안전장치는 공장, 정비소, 또는 연구소에서 설치하게 되므로 차종에 따른 CCD 카메라 설치위치는 운용지침 등으로 제시될 수 있을 것이다. CCD 카메라의 설치조건은 위치에 더하여 각도를 포함하므로 최적장착위치에서 CCD 카메라에 포착되는 본넷의 형상 또는 상대위치를 지정해야만 한다. 이처럼 본넷영상에 의거하여 판단되는 본넷과 CCD 카메라간의 상대위치를 대응관계라 칭하기로 한다. 대응관계는 CCD 카메라의 위치와 더불어 필수적으로 지정되어야할 사항이다(S220).Under normal conditions, active safety devices will be installed in factories, workshops, or laboratories, so the CCD camera installation location according to the vehicle model can be presented as an operating guide. Since the installation conditions of the CCD camera include the angle in addition to the position, it is necessary to specify the shape or relative position of the bonnet captured by the CCD camera at the optimum mounting position. As described above, the relative position between the bonnet and the CCD camera determined based on the bonnet image will be referred to as a correspondence relationship. Correspondence relationship is a matter that must be specified with the position of the CCD camera (S220).

CCD 카메라의 장착위치와 대응관계가 설정되면, 생산공정의 작업자 또는 정비자(이하, 작업자)는 능동형 안전장치의 장착시 지침에 지시된 위치에 CCD 카메라를 설치한다(S230).When the correspondence relationship with the mounting position of the CCD camera is set, the worker or maintenance worker (hereinafter, the worker) of the production process installs the CCD camera at the position indicated in the instructions when mounting the active safety device (S230).

카메라를 설치한 후 작업자는 카메라의 감도교정을 아래와 같이 수행한다.After the camera is installed, the operator performs the calibration of the camera as follows.

감도교정시 카메라에 포착된 디지털 영상신호가 마이크로프로세서로 인가된다(S240).When the sensitivity is corrected, the digital video signal captured by the camera is applied to the microprocessor (S240).

마이크로프로세서는 영상신호를 입력받게 되는데, 작업자는 적절한 장비를 이용하여 마이크로프로세서로 입력되는 영상을 볼 수 있다. 그래서 작업자는 본넷 영상이 대응관계에 부합되는지 여부를 판정하게 된다. 예를 들면, 본넷의 선단 또는 본넷의 특정 지점을 연결하는 직선과 카메라상의 기준선간 일치 여부로 대응관계에 대한 판정을 수행할 수 있다(S250).The microprocessor receives an image signal, and an operator can view an image input to the microprocessor using an appropriate device. Thus, the worker decides whether the bonnet image corresponds to the correspondence relationship. For example, the determination of the correspondence relationship may be performed based on whether a straight line connecting the tip of the bonnet or a specific point of the bonnet coincides with the reference line on the camera (S250).

단계 S250에서 설정된 대응관계에 부합되지 않은 것으로 판단되는 경우에는 카메라의 촬영각도를 적정하게 변경함으로써 감도교정을 수행하게 된다. 이때 1회의 각도변경으로 감도교정이 정밀하게 이루어지지 않은 경우에는 단계 S240으로 복귀하여 감도교정을 반복한다. 그래서 감도교정이 적정한 것으로 판단되면 이를 종료한다(S260).If it is determined that the correspondence relationship set in step S250 does not match, sensitivity correction is performed by appropriately changing the photographing angle of the camera. At this time, if the sensitivity calibration is not made precisely by one angle change, the process returns to step S240 and the sensitivity calibration is repeated. Therefore, if it is determined that the sensitivity calibration is appropriate (S260).

단계 S260에서 감도교정시 적용될 수 있는 본넷 선단까지의 거리(Z)는 다음의 수학식 1과 같이 산출될 수 있다.In step S260, the distance Z to the tip of the bonnet that may be applied at the time of sensitivity calibration may be calculated as in Equation 1 below.

단, Z: 카메라에서 본넷 선단까지의 거리Z: Distance from camera to bonnet tip

H: 카메라와 본넷 선단간의 높이차H: Height difference between camera and bonnet tip

F: 렌즈의 초점거리F: Focal Length of the Lens

b: CCD 셀의 세로길이b: length of CCD cell

α: 전체 세로 비율분중 지평선 픽셀의 비율α is the ratio of horizon pixels to the total aspect ratio

β: 전체 가로 비율분중 본넷 픽셀의 비율β: ratio of bonnet pixels to total aspect ratio

상기 수학식 1은 영상으로부터 특정물을 해석하는 모델링 기법에 적용되어 CCD 카메라의 영상에서 카메라와 본넷 선단까지의 거리(Z)가 산출되도록 한다. 그래서 산출된 거리 Z가 설정된 기준거리와 다른 경우에 이 수치들을 서로 일치시키기 위한 감도교정이 수행된다. 이때 기준거리는 능동형 안전장치의 설계시 각 차종마다 실험적으로 최적의 수치를 산출하여 적용하게 된다.Equation 1 is applied to a modeling technique for analyzing a specific object from an image to calculate a distance Z between the camera and the tip of the bonnet in the image of the CCD camera. Thus, if the calculated distance Z is different from the set reference distance, sensitivity calibration is performed to match these values with each other. At this time, the reference distance is applied to calculate the optimum value experimentally for each type of vehicle in the design of the active safety device.

이상으로 감도교정 방법을 설명하였으며, 이하에서는 도3을 참조하여 위와 같은 감도교정 방법 또는 기타의 감도교정 방법이 적용되어 설치된 CCD 카메라를 운용하는 과정에서 고장진단을 수행하는 방법을 설명한다.The sensitivity calibration method has been described above. Hereinafter, a method of performing fault diagnosis in the process of operating a CCD camera to which the above-described sensitivity calibration method or other sensitivity calibration method is applied will be described with reference to FIG. 3.

도3에 따르면, 능동형 안전장치의 작동상태를 진단하여 고장판정을 수행하기 위한 고장진단 방법은 카메라에 포착되는 차량의 특정부를 본넷으로 하고, 임계변위 범위에 대한 판정을 수행하기 위하여 카메라의 투영상에 기준선을 포함시키고 상기 기준선과 본넷간의 차이가 설정된 편차범위내에 있는지 여부를 판단하여 이로써 고장판정이 이루어지도록 한다.According to Fig. 3, the fault diagnosis method for diagnosing the operating state of the active safety device and performing the fault determination includes a specific part of the vehicle captured by the camera as a bonnet, and a projection image of the camera to perform the determination of the critical displacement range. Include the baseline in the and determine whether the difference between the baseline and the bonnet is within the set deviation range, thereby making the failure determination.

즉, 적정한 방식으로 CCD 카메라의 설치위치를 결정하고, 그 위치에 설치된 카메라에 의해 포착되는 영상내에서 본넷 영상의 임계변위를 설정한다. 이때 포착된 영상에 있어서, 카메라상 기준선과 본넷 영상의 선단간 이격거리를 상대변량이라 하고 이 상대변량의 절대값의 최대치를 임계변위라 칭한다(SS310~S320).That is, the installation position of the CCD camera is determined in an appropriate manner, and the critical displacement of the bonnet image is set in the image captured by the camera installed at the position. At this time, in the captured image, the distance between the reference line on the camera and the tip of the bonnet image is referred to as a relative variable and the maximum value of the absolute value of the relative variable is referred to as a critical displacement (SS310 to S320).

단계 S320에서 설정되는 임계변위값은 마이크로프로세서가 참조할 수 있도록 비활성 메모리 등에 저장되어야 한다. 그러면 장착된 CCD 카메라를 이용한 능동형 안전장치를 작동시킬 수 있다.The threshold displacement value set in step S320 must be stored in an inactive memory or the like for the microprocessor to refer to. The active safety device using the mounted CCD camera can then be activated.

능동형 안전장치가 작동되어 CCD 카메라의 영상신호가 입력되면, 마이크로프로세서는 디지털 영상신호에 따라 영상을 분석하여 단계 S320에서 특정된 차량의 특정부를 식별하게 된다. 즉, 차종별로 설정되는 차량의 본넷 영상을 식별하게 되며, 바람직하게는 본넷의 선단부나 본넷중 카메라에 포착되는 범위내에 있는 특정의 2개 지점간을 연결하는 직선을 식별하여 상기 본넷 영상을 특정하게 된다(S330).When the active safety device is activated and the image signal of the CCD camera is input, the microprocessor analyzes the image according to the digital image signal to identify the specific part of the vehicle specified in step S320. That is, the bonnet image of the vehicle set for each vehicle type is identified. Preferably, the bonnet image is identified by identifying a straight line connecting the tip of the bonnet or two specific points within the range captured by the camera. (S330).

단계 S330에서 본넷 영상이 식별되면, 마이크로프로세서는 그 본넷 영상과 카메라상의 기준선이 일치되는지 여부를 판정하게 된다. 그런데 두개의 직선간의일치 여부는 엄정하게 판단되지 않아도 충분하기 때문에 그 어긋남의 정도가 일정한 범위내에 있는 경우에는 서로 일치된 것처럼 취급할 수 있다. 따라서 바람직하게는 카메라에 포착된 영상에서 카메라상 기준선과 본넷 선단간의 차이인 상대변랑이 단계 S320에서 설정된 임계변위 범위내에 있는지 여부를 판단하여 능동형 안전장치의 고장여부를 판정할 수 있게 된다(S340).If the bonnet image is identified in step S330, the microprocessor determines whether the bonnet image matches the baseline on the camera. However, whether or not the two straight lines coincide is sufficient, if not strictly determined, can be treated as if they coincide with each other when the degree of deviation is within a certain range. Therefore, in the image captured by the camera, it is possible to determine whether a failure of the active safety device is determined by determining whether the relative fluctuation, which is the difference between the reference line on the camera and the tip of the bonnet, is within the threshold displacement range set in step S320 (S340). .

그리고 단계 S340에서 측정된 상대변량이 임계변위 범위내에 있는 것으로 확인되면, 마이크로프로세서는 단계 S330으로 복귀하여 연속적으로 또는 주기적으로 입력되는 영상을 바탕으로 해당 안전장치의 고장여부를 지속적으로 진단하게 된다.When it is confirmed that the relative variable measured in step S340 is within the critical displacement range, the microprocessor returns to step S330 and continuously diagnoses whether the corresponding safety device has failed based on images continuously or periodically input.

그래서 단계 S340에서 상대변량이 임계변위 범위를 벗어난 것으로 판단되면, 마이크로프로세서는 안전장치의 고장으로 판정하고 설정된 로직에 따라 적절한 조치를 취하게 된다. 예를 들어, 안전장치의 고장판정시 마이크로프로세서는 해당 안전장치의 운용자(운전자)에게 이를 통지하여 주의를 유발시키거나 ECU 또는 TCU를 제어하여 감속을 유도하는 등의 능동적인 조작을 수행할 수 있다(S350).Thus, if it is determined in step S340 that the relative variable is out of the critical displacement range, the microprocessor determines that the safety device has failed and takes appropriate measures according to the set logic. For example, when determining the failure of a safety device, the microprocessor may notify the operator (operator) of the safety device to trigger an caution or control the ECU or the TCU to perform an active operation such as deceleration. (S350).

이상 설명한 본 발명의 카메라를 이용한 능동형 안전장치의 감도교정 방법에 따르면, 카메라와 본넷의 위치간의 관계에 따른 감도교정을 실시함으로써 감도교정에 소요되는 시간이 단축될 수 있다. 특히, 종래 도로상에 설치된 기준선을 이용한 감도교정의 경우와는 달리, 차량이 얼마간 유동하는 경우에도 카메라와 기준선인 본넷간의 상대적 위치는 가변되지 않기 때문에 감도교정 시간을 단축시킬 수 있는 효과가 있다.According to the sensitivity calibration method of the active safety device using the camera of the present invention described above, the time required for the sensitivity calibration can be shortened by performing the sensitivity calibration according to the relationship between the camera and the position of the bonnet. In particular, unlike the case of the sensitivity calibration using the reference line installed on the conventional road, even if the vehicle flows for some time, since the relative position between the camera and the bonnet, which is the reference line, is not changed, the sensitivity calibration time can be shortened.

더불어 본 발명의 고장진단 방법을 적용하게 되면, 도로상의 기준선이 부재한 경우에도 카메라의 설치위치나 카메라의 촬영각도 등의 변화량이 일정한 임계치를 초과하는지 여부에 따라 고장판단을 용이하게 수행할 수 있는 장점이 있다.In addition, if the failure diagnosis method of the present invention is applied, even in the absence of a reference line on the road, failure determination can be easily performed according to whether the amount of change in the installation position of the camera or the shooting angle of the camera exceeds a predetermined threshold. There is an advantage.

또한 본 발명의 고장진단 방법에 따르면, 주행중인 차량에서도 카메라에 의해 획득된 영상신호에 포함된 본넷의 위치를 기준으로 고장판단을 수행할 수 있게 되는 효과가 있다.In addition, according to the fault diagnosis method of the present invention, there is an effect that it is possible to perform the fault determination on the basis of the position of the bonnet included in the video signal obtained by the camera even in the driving vehicle.

이상에서 본 발명의 바람직한 실시예를 설명하였으나, 본 발명은 다양한 변화와 변경 및 균등물을 사용할 수 있다. 본 발명은 상기 실시예를 적절히 변형하여 동일하게 응용할 수 있음이 명확하다. 따라서 상기 기재 내용은 하기 특허청구범위를 한정하는 것이 아니다.Although the preferred embodiment of the present invention has been described above, the present invention may use various changes, modifications, and equivalents. It is clear that the present invention can be applied in the same manner by appropriately modifying the above embodiments. Therefore, the above description does not limit the scope of the following claims.

Claims (7)

차량에 장착된 카메라의 촬영각도 범위에 상기 차량의 본넷 선단이 포함되도록 카메라를 장착하는 단계;Mounting the camera such that the bonnet tip of the vehicle is included in a shooting angle range of the camera mounted on the vehicle; 상기 장착된 카메라에 의해 획득된 영상을 기초로 마이크로프로세서가 상기 영상을 처리하여 카메라에서 본넷 선단까지의 거리를 산출하는 단계;Calculating a distance from the camera to the tip of the bonnet by processing the image based on the image acquired by the mounted camera; 상기 산출된 거리가 설정된 값을 만족하는지 판단하는 단계;Determining whether the calculated distance satisfies a set value; 상기 특정부의 영상을 기초로 산출된 거리가 상기 설정된 값을 만족하도록 상기 카메라를 조정하는 단계를 포함하되,And adjusting the camera so that the distance calculated based on the image of the specific unit satisfies the set value. 상기 카메라에서 본넷 선단까지의 거리를 산출하는 단계는 다음의 수학식에 의하는 것을 특징으로 하는 능동형 안전장치의 감도교정 방법.Computing the distance from the camera to the tip of the bonnet is a sensitivity calibration method of the active safety device, characterized in that by the following equation. 여기서,here, Z: 카메라에서 본넷 선단까지의 거리Z: Distance from camera to bonnet tip H: 카메라와 본넷 선단간의 높이차H: Height difference between camera and bonnet tip F: 렌즈의 초점거리F: Focal Length of the Lens b: CCD 셀의 세로길이b: length of CCD cell α: 전체 세로 비율분중 지평선 픽셀의 비율α is the ratio of horizon pixels to the total aspect ratio β: 전체 가로 비율분중 본넷 픽셀의 비율β: ratio of bonnet pixels to total aspect ratio 삭제delete 삭제delete 삭제delete 삭제delete 삭제delete 삭제delete