KR101704201B1 - Panorama view variable system and method for controlling the same - Google Patents

Abstract

본 발명은 합류하고자 하는 도로의 형태를 분석하고, 분석된 도로의 형태에 따라 카메라부의 좌표계를 회전시켜 파노라마 영상이 디스플레이되는 관점을 가변할 수 있는 파노라마 뷰 가변 시스템 및 이의 제어방법을 제공하는 것을 목적으로 한다. 이를 위해 본 발명은 차량에 적어도 하나 설치되어, 임의의 좌표계를 기준으로 차량의 후방 영상을 촬영하는 카메라부; 상기 차량의 조향정보를 검출하는 조향정보 검출부; 상기 조향정보 검출부로부터 임의의 조향정보가 검출되면, 상기 검출된 조향정보와 상기 카메라부가 촬영한 후방 영상으로부터 상기 차량이 주행중인 주행도로와 합류하고자 하는 합류도로의 도로형태를 분석하여 상기 주행도로와 합류도로 간의 기울기 또는 각도 중 어느 하나의 값을 출력하고, 상기 출력된 값에 따라 상기 후방 영상의 좌표계를 회전시켜 시점을 변환한 합류도로의 후방 영상이 출력되도록 재설정하여, 상기 카메라부가 촬영한 후방 영상이 출력되도록 하는 제어모듈; 및 상기 제어모듈에서 출력되는 후방 영상을 임의의 화면 상에 디스플레이하는 디스플레이부를 포함하여 구성한다. 따라서 본 발명은 합류하고자 하는 도로의 형태를 분석하고, 분석된 도로의 형태에 따라 카메라부의 좌표계를 회전시켜 파노라마 영상이 디스플레이되는 관점을 가변할 수 있는 장점이 있다.The present invention provides a panorama view variable system that analyzes the shape of a road to be joined and rotates the coordinate system of the camera unit according to the analyzed road shape to change the view point of the panorama image and a control method thereof . To this end, the present invention provides a camera system comprising at least one camera unit for photographing a rearward image of a vehicle on the basis of an arbitrary coordinate system; A steering information detecting unit for detecting steering information of the vehicle; The control unit analyzes the road shape of the confluence road to which the vehicle is traveling while joining the traveling road from the detected steering information and the rear image photographed by the camera unit, The angle of inclination or angle between the confluent roads is output, and the coordinate system of the rear image is rotated according to the output value to reset the rear image of the convergent road whose viewpoints are converted, A control module for outputting an image; And a display unit for displaying a rear image outputted from the control module on an arbitrary screen. Therefore, the present invention is advantageous in that it can analyze the shape of the road to be joined and change the viewpoint of the panorama image displayed by rotating the coordinate system of the camera unit according to the analyzed road shape.

Description

파노라마 뷰 가변 시스템 및 이의 제어방법{PANORAMA VIEW VARIABLE SYSTEM AND METHOD FOR CONTROLLING THE SAME}[0001] PANORAMA VIEW VARIABLE SYSTEM AND METHOD FOR CONTROLLING THE SAME [0002]

본 발명은 파노라마 뷰 가변 시스템 및 이의 제어방법에 관한 발명으로서, 더욱 상세하게는 합류하고자 하는 도로의 형태를 분석하고, 분석된 도로의 형태에 따라 카메라부의 좌표계를 회전시켜 파노라마 영상이 디스플레이되는 관점을 가변할 수 있는 파노라마 뷰 가변 시스템 및 이의 제어방법에 관한 것이다.
The present invention relates to a panorama view variable system and a control method thereof, and more particularly, to a panorama view variable system and a method of controlling the panorama view variable system, And more particularly, to a panorama view variable system and a control method thereof.

주행 중 운전자가 볼 수 없는 사각지대는 운전자의 안전을 위협하는 큰 위험요소이며, 차량을 운전하는 운전자는 대체로 전방만을 주시하고 있기 때문에 차량의 후방에는 주의를 기울이기가 어렵다.A blind spot, which the driver can not see during driving, is a major threat to the safety of the driver, and it is difficult to pay attention to the rear of the vehicle because the driver who drives the vehicle generally only looks ahead.

이러한 위험요소를 제거하기 위해 차량에는 다양한 사각지대 제거장치가 개발되어 왔다.To eliminate these hazards, various blind spot removal devices have been developed in vehicles.

예컨대, 사이드미러에서 볼 수 없는 사각지대를 제거하기 위해서 보조거울을 일체화시키거나, 적외선 센서로 후방의 물체를 감지하고 경보를 통해 운전자에게 위험을 알려주는 장치들이 개발되어 실제 차량에 사용되고 있으며, 최근에는 차량의 후방의 영상을 운전자의 디스플레이에 출력하여 사각지대를 줄여주는 기술까지 등장하고 있는 실정이다.For example, devices have been developed to integrate auxiliary mirrors to remove blind spots that can not be seen from the side mirrors, to detect rear objects with an infrared sensor, and to inform the driver of the danger through alarms. There is a technology for reducing the blind spot by outputting the image of the rear of the vehicle to the driver's display.

그러나, 사이드 보조 거울의 경우에는 추가적으로 장착되는 볼록 거울을 통해 좌/우측 후방의 왜곡된 영상을 운전자가 보게 되는데, 운전자와 거리가 먼 우측의 경우는 물체의 존재 여부만이 어렴풋이 감지될 뿐이다.However, in the case of the side auxiliary mirror, the driver views the distorted image in the left / right rear via the additional convex mirror. In the case of the right side far from the driver, only the presence or absence of the object is dimly detected.

또한, 적외선 센서를 이용하여 사각지대의 물체를 감지하는 것은 사각지대에 들어온 물체들을 보여주는 것이 아니라, 단지 센서의 영역 안에 물체의 존재 여부를 감별해 줄 뿐이다.In addition, using an infrared sensor to detect an object in a blind spot does not show objects entering a blind spot, but merely discriminates the presence of an object in the area of the sensor.

실제로 이러한 문제로 인해 매년 많은 운전자가 차선 변경시 후방에서 접근하는 차량의 존재를 인지하지 못해 크고 작은 교통사고로 인명피해를 입고 있다.In fact, due to these problems, many drivers do not recognize the existence of vehicles approaching from the rear when changing lanes, and they are injured by large and small traffic accidents.

한편, 후방의 감시 카메라의 경우 후방을 그대로 운전자에게 보여주는 효율적인 사각지대 제거 방법이기는 하지만 그 범위가 후방에 제한되어 있고, 측방의 문제는 해결하지 못한다.On the other hand, in the case of the rear surveillance camera, it is an efficient method of removing the dead zone, which shows the rear of the camera to the driver as it is, but the range is restricted to the rear side, and the side problem can not be solved.

즉, 근본적으로 운전자가 가지는 사각지대의 일부만을 제거한다는 단점을 가지며, 특히, 카메라가 가지는 광각 또는 파노라마 영상이 디스플레이될 수 있는 한정된 영역에 의해 측방에 존재하는 물체가 보이지 않는 경우가 생길 수 있는 문제점이 있다.That is, it has a disadvantage in that only a part of a blind spot of a driver is fundamentally removed, and in particular, there is a problem that a side image can not be seen due to a limited area in which a wide angle or a panoramic image of a camera can be displayed .

상기와 같은 단점들은 합류도로로 진입할 시에, 사고의 위험성을 더욱 증대시키며, 따라서, 차량의 도로 합류상황에서도 후방은 물론, 측방까지 모니터링할 수 있는 기술의 개발이 요구된다.
Such disadvantages further increase the risk of accidents when entering a confluent road, and therefore, it is required to develop a technique capable of monitoring the vehicle as well as the rear side even in the road joining situation of the vehicle.

한국 등록특허번호 제10-1093316호(2011.12.06.)Korean Registered Patent No. 10-1093316 (December 6, 2011)

이러한 문제점을 해결하기 위하여, 본 발명은 합류하고자 하는 도로의 형태를 분석하고, 분석된 도로의 형태에 따라 카메라부의 좌표계를 회전시켜 파노라마 영상이 디스플레이되는 관점을 가변할 수 있는 파노라마 뷰 가변 시스템 및 이의 제어방법을 제공하는 것을 목적으로 한다.
In order to solve the above problems, the present invention provides a panorama view variable system that analyzes the shape of a road to be joined and can vary the viewpoint of displaying the panorama image by rotating the coordinate system of the camera unit according to the shape of the analyzed road, And to provide a control method.

상기한 목적을 달성하기 위하여 본 발명은 차량에 적어도 하나 설치되어, 임의의 좌표계를 기준으로 차량의 후방 영상을 촬영하는 카메라부; 상기 차량의 조향정보를 검출하는 조향정보 검출부; 상기 조향정보 검출부로부터 임의의 조향정보가 검출되면, 상기 검출된 조향정보와 상기 카메라부가 촬영한 후방 영상으로부터 상기 차량이 주행중인 주행도로와 합류하고자 하는 합류도로의 도로형태를 분석하여 상기 주행도로와 합류도로 간의 기울기 또는 각도 중 어느 하나의 값을 출력하고, 상기 출력된 값에 따라 상기 후방 영상의 좌표계를 회전시켜 시점을 변환한 합류도로의 후방 영상이 출력되도록 재설정하여, 상기 카메라부가 촬영한 후방 영상이 출력되도록 하는 제어모듈; 및 상기 제어모듈에서 출력되는 후방 영상을 임의의 화면 상에 디스플레이하는 디스플레이부를 포함하여 구성한다.According to an aspect of the present invention, there is provided a camera system comprising: a camera unit installed at a vehicle and capturing a rear image of the vehicle based on an arbitrary coordinate system; A steering information detecting unit for detecting steering information of the vehicle; The control unit analyzes the road shape of the confluence road to which the vehicle is traveling while joining the traveling road from the detected steering information and the rear image photographed by the camera unit, The angle of inclination or angle between the confluent roads is output, and the coordinate system of the rear image is rotated according to the output value to reset the rear image of the convergent road whose viewpoints are converted, A control module for outputting an image; And a display unit for displaying a rear image outputted from the control module on an arbitrary screen.

또한, 본 발명에 따른 상기 조향정보 검출부는 차량의 조향각에 대한 정보를 검출하는 ECU, TCU, 휠 센서, 스티어링 각도센서, 방향지시등 동작센서 중 적어도 어느 하나인 것을 특징으로 한다.The steering information detecting unit may be at least one of an ECU, TCU, a wheel sensor, a steering angle sensor, and a turn signal sensor for detecting information about a steering angle of a vehicle.

또한, 본 발명에 따른 상기 제어모듈은 임의의 조향정보가 검출되면, 상기 검출된 조향정보와 상기 카메라부가 촬영한 후방 영상으로부터 상기 주행도로와 합류도로의 도로형태를 분석하여 상기 주행도로와 합류도로 간의 기울기 또는 각도 중 어느 하나의 값을 출력하는 도로 분석부; 상기 도로 분석부에서 출력된 값에 따라 상기 후방 영상의 좌표계를 회전시켜 시점을 변환한 합류도로의 후방 영상이 출력되도록 재설정하는 좌표 설정부; 상기 좌표 설정부에서 재설정된 좌표계로 촬영된 카메라부의 후방 영상을 미리 저장된 이미지 프로세싱 프로그램을 통해 분석하여 차량 후방의 배경요소와 위험요소의 특징점을 검출하는 영상 분석부; 및 상기 영상 분석부에서 분석된 영상을 미리 저장된 영상 정합 프로그램을 통해 정합하여, 상기 배경요소와 위험요소가 매칭된 파노라마 영상이 상기 디스플레이부에 출력되도록 하는 영상 정합부로 구성한 것을 특징으로 한다.In the control module according to the present invention, when arbitrary steering information is detected, the control module analyzes the road shape of the traveling road and the confluent road from the detected steering information and the rear image photographed by the camera section, A road analysis unit for outputting a value of any one of an inclination or an angle of a road; A coordinate setting unit configured to rotate the coordinate system of the rear image according to the value output from the road analysis unit to reset the rear image of the junction road converted from the viewpoint to output; An image analyzer for analyzing a rear image of a camera unit photographed in a coordinate system reset by the coordinate setting unit through a pre-stored image processing program to detect a background component of a vehicle and a feature point of a dangerous component; And an image matching unit for matching the image analyzed by the image analyzing unit with a previously stored image matching program and outputting the panoramic image matched with the background element and the dangerous element to the display unit.

또한, 본 발명에 따른 상기 디스플레이부는 차량내에 설치된 룸미러 또는 내비게이션인 것을 특징으로 한다.Further, the display unit according to the present invention is characterized by being a room mirror or a navigation unit installed in a vehicle.

또한, 본 발명은 GPS(Global Positioning System)를 통해 차량의 위치를 검출하여 분석하고, 상기 분석된 위치의 도로정보를 상기 제어모듈로 제공하는 위치 검출부를 더 포함하는 것을 특징으로 한다.The present invention further includes a position detector for detecting and analyzing the position of the vehicle through a GPS (Global Positioning System) and providing the road information of the analyzed position to the control module.

또한, 본 발명은 파노라마 뷰 가변 시스템의 제어방법으로서, a) 카메라부가 미리 설정된 좌표계로 차량의 후방 영상을 촬영하고, 제어모듈이 상기 촬영된 영상을 분석 및 정합하여 디스플레이부로 출력하는 단계; b) 조향정보 검출부가 차량의 조향정보를 검출하고, 상기 조향정보가 검출되면, 상기 제어모듈이 상기 검출된 조향정보와 상기 a)단계에서 촬영된 후방 영상으로부터 도로형태를 분석하여 주행도로와 합류도로 간의 기울기 또는 각도 중 어느 하나의 값을 출력하는 단계; c) 상기 제어모듈이 b)단계에서 출력된 값에 따라 상기 후방 영상의 좌표계를 회전시켜 재설정하는 단계; 및 d) 상기 제어모듈이 c)단계를 통해 재설정된 좌표계로 촬영된 카메라부의 영상을 분석하여 정합하고, 상기 정합된 영상을 디스플레이부로 출력하는 단계를 포함하여 구성한다.According to another aspect of the present invention, there is provided a control method of a panorama view variable system, comprising the steps of: a) capturing a rear image of a vehicle with a predetermined coordinate system of a camera section; analyzing and matching the captured image with a control module; b) the steering information detecting unit detects the steering information of the vehicle, and when the steering information is detected, the control module analyzes road shape from the detected steering information and the rear image photographed in step a) Outputting a value of either a slope or an angle between roads; c) the control module rotates and re-sets the coordinate system of the rear image according to the value output in step b); And d) analyzing and matching the image of the camera section photographed in the coordinate system reset by the control module in step c), and outputting the matched image to the display section.

또한, 본 발명은 상기 b)단계에서 상기 조향정보가 미검출되면, 상기 a)단계를 다시 수행하는 것을 특징으로 한다.Further, according to the present invention, if the steering information is not detected in the step b), the step a) is performed again.

또한, 본 발명에 따른 상기 b)단계는 상기 조향정보가 검출되면, 위치 검출부가 GPS(Global Positioning System)를 통해 차량의 위치를 검출하여 분석하고, 상기 분석된 위치의 도로정보를 상기 제어모듈로 제공하여 상기 검출된 조향정보와 함께 입력되도록 하는 것을 특징으로 한다.
In the step b) according to the present invention, when the steering information is detected, the position detector detects and analyzes the position of the vehicle through a GPS (Global Positioning System), and transmits the analyzed road information to the control module And inputs the detected steering information together with the detected steering information.

본 발명에 따른 파노라마 뷰 가변 시스템 및 이의 제어방법은 합류하고자 하는 도로의 형태를 분석하고, 분석된 도로의 형태에 따라 카메라부의 좌표계를 회전시켜 파노라마 영상이 디스플레이되는 관점을 가변할 수 있는 장점이 있다.The panorama view variable system and its control method according to the present invention have an advantage of analyzing the shape of a road to be joined and changing the viewpoint of displaying the panorama image by rotating the coordinate system of the camera unit according to the shape of the analyzed road .

또한, 본 발명은 파노라마 영상이 디스플레이되는 관점을 가변함에 따라 사이드 미러 또는 카메라부를 통해 볼 수 없던 합류도로와의 사각지대를 자유롭게 모니터링 할 수 있는 장점이 있다.In addition, the present invention is advantageous in that a blind spot with a confluent road, which can not be seen through a side mirror or a camera, can be freely monitored by changing the viewpoint of displaying the panoramic image.

또한, 본 발명은 카메라부의 최대 광각과 좌표계 변환을 활용하여 합류도로의 파노라마 영상을 디스플레이함으로써, 합류도로의 진입로에서도 합류도로에서 주행하고 있는듯한 효과를 제공하며, 이에 따라 합류도로의 교통상황을 보다 신속하고 정확히 파악할 수 있는 장점이 있다.
Further, according to the present invention, the panoramic image of the confluence road is displayed by utilizing the maximum wide angle and the coordinate system transformation of the camera unit, thereby providing an effect that the road is running on the confluence road at the entrance road of the confluence road, There is an advantage of being able to grasp quickly and accurately.

도 1 은 본 발명에 따른 파노라마 뷰 가변 시스템의 구성을 개략적으로 나타낸 블록도.
도 2 는 도 1에 따른 제어모듈의 구성을 나타낸 블록도.
도 3 은 본 발명에 따른 파노라마 뷰 가변 시스템에서 좌표계 변환의 실시예를 나타낸 도면.
도 4 는 본 발명에 따른 파노라마 뷰 가변 시스템의 제어방법을 나타낸 흐름도.1 is a block diagram schematically illustrating the configuration of a panoramic view variable system according to the present invention;
2 is a block diagram showing a configuration of a control module according to FIG.
3 shows an embodiment of a coordinate system transformation in a panoramic view variable system according to the invention;
4 is a flowchart illustrating a method of controlling a panoramic view variable system according to the present invention.

이하, 첨부된 도면을 참조하여 본 발명에 따른 파노라마 뷰 가변 시스템 및 이의 제어방법의 바람직한 실시예를 상세하게 설명한다.
Hereinafter, preferred embodiments of a panoramic view variable system and a control method thereof according to the present invention will be described in detail with reference to the accompanying drawings.

(파노라마 뷰 가변 시스템)(Panorama view variable system)

도 1은 본 발명에 따른 파노라마 뷰 가변 시스템의 구성을 개략적으로 나타낸 블록도이고, 도 2는 도 1에 따른 제어모듈의 구성을 나타낸 블록도이며, 도 3은 본 발명에 따른 파노라마 뷰 가변 시스템에서 좌표계 변환의 실시예를 나타낸 도면이다. FIG. 1 is a block diagram schematically showing a configuration of a panoramic view variable system according to the present invention, FIG. 2 is a block diagram showing the configuration of a control module according to FIG. 1, FIG. 3 is a block diagram of a panoramic view variable system Fig. 6 is a diagram showing an embodiment of coordinate system conversion. Fig.

도 1 내지 도 3에 도시된 바와 같이, 본 발명에 따른 파노라마 뷰 가변 시스템(100)은 카메라부(110), 조향정보 검출부(120), 제어모듈(130) 및 디스플레이부(140)를 포함하여 구성된다.1 to 3, a panoramic view variable system 100 according to the present invention includes a camera unit 110, a steering information detection unit 120, a control module 130, and a display unit 140 .

상기 카메라부(110)는 차량의 후면 및 측면에 적어도 하나로 설치되어, 임의의 좌표계(A)를 기준으로 차량의 후방 영상을 촬영하는 것으로, 본 발명의 실시예에 따르면, 제1 카메라(111), 제2 카메라(112), 제3 카메라(113) 및 제4 카메라(114)로 구성되고, 바람직하게는 차체의 좌/우측 사이드 미러, 후방, 상측 중앙에 각각 설치되어 차량 후방을 촬영한다.The camera 110 is installed on at least one of a rear surface and a side surface of the vehicle so as to photograph a rear image of the vehicle on the basis of an arbitrary coordinate system A. According to the embodiment of the present invention, A second camera 112, a third camera 113 and a fourth camera 114, and is preferably installed at the left and right side mirrors of the vehicle body, rear and upper center, respectively, and photographs the rear of the vehicle.

상기 제1 카메라(111)는 차량의 우측 사이드 미러에 차량의 종방향 축과 미리 설정된 각도를 형성하여 설치되고, 광각 특성에 따라 차량의 우측 사각지대 및 후방을 촬영하여 출력한다.The first camera 111 is installed on the right side mirror of the vehicle at a predetermined angle with the longitudinal axis of the vehicle, and photographs and outputs the right and left sides of the vehicle according to the wide angle characteristics.

상기 제2 카메라(112)는 차량의 좌측 사이드 미러에 차량의 종방향 축과 미리 설정된 각도를 형성하여 설치되고, 광각 특성에 따라 차량의 좌측 사각지대 및 후방을 촬영하여 출력한다.The second camera 112 is installed on the left side mirror of the vehicle at a predetermined angle with the longitudinal axis of the vehicle, and photographs and outputs the left and right blind spots of the vehicle according to the wide angle characteristics.

상기 제3 카메라(113)는 차체 상측 중앙의 샤크 안테나 위치에 미리 설정된 각도를 형성하여 설치되고, 광각 특성에 따라 후방을 촬영하여 출력한다. The third camera 113 is installed at a predetermined angular position of the shark antenna at the center of the upper side of the vehicle body, and photographs the rear side according to the wide angle characteristic.

상기 제4 카메라(114)는 차량 후방에 배치된 엠블럼, 번호판, 윈도우 글래스 등에 미리 설정된 각도를 형성하여 설치되고, 광각 특성에 따라 후방을 촬영하여 출력한다.The fourth camera 114 is installed at an angle preset in an emblem, a license plate, a window glass, and the like disposed behind the vehicle, and photographs and outputs the rear according to the wide angle characteristics.

상술한 바와 같이, 상기 카메라부(110)의 설치위치를 구체적으로 설명하였으나, 이러한 설치위치는 본 발명의 실시예에 한정되지 않고, 차체의 좌/우측 휀더, 좌/우측 후미등 등 다양하게 변경될 수 있다.As described above, the mounting position of the camera unit 110 has been described in detail. However, the mounting position is not limited to the embodiment of the present invention, but may be variously changed, such as the left / right fender of the vehicle body, .

또한, 상기 카메라부(110)의 제1 내지 제4 카메라(111 내지 114)는 CMOS형 카메라 또는 CCD 카메라가 바람직하나, 이에 한정되지 않고, 스피드돔 카메라, 핀홀 카메라, 팬틸트줌 카메라 등이 사용될 수도 있으며, 이는 해당관련분야의 통상지식을 가진 당업자가 다양하게 변경설계할 수 있음은 물론이다.The first to fourth cameras 111 to 114 of the camera unit 110 are preferably CMOS cameras or CCD cameras. However, the present invention is not limited thereto. For example, a speed dome camera, a pinhole camera, a pan / tilt zoom camera, It is to be understood that various changes and modifications may be made by those skilled in the art without departing from the scope of the present invention.

나아가, 상기 카메라부(110)는 야간에도 촬영이 가능하도록 적외선 카메라가 부가적으로 구비될 수도 있다.Furthermore, the camera unit 110 may additionally include an infrared camera so that the camera unit 110 can be photographed at night.

상기 좌표계(A)는 카메라부(110)의 촬영영역 검출 기준 값을 제공하는 것으로, 차량의 중심을 종단축과 횡단축으로 설정하여, 상기 카메라부(110)의 후방 영상이 주행도로(L1)와 평행으로 일치되도록 하는 기준 촬영 시점을 제공한다.The coordinate system A provides an imaging area detection reference value of the camera unit 110. The center of the vehicle is set as a longitudinal axis and a transverse axis so that a rear image of the camera unit 110 is displayed on the road L1. So as to be in parallel with each other.

상기 좌표계(A)의 움직임에 의해 상기 카메라부(110)의 촬영 시점이 달라질 수 있으며, 이에 따라 상기 카메라부(110)의 광각에 따른 최대촬영 가능영역(S) 내에서 상기 카메라부(110)의 다양한 시점 변환이 이루어질 수 있다.The photographing time point of the camera unit 110 can be changed by the movement of the coordinate system A so that the camera unit 110 can be photographed in the maximum photographable area S corresponding to the wide angle of the camera unit 110. [ Various point-of-view conversion can be performed.

상기 광각에 따른 최대촬영 가능영역(S)은 도 3과 같이, S로 도시하였으나, 카메라의 종류에 따라 다양한 광각이 이루어질 수 있는 만큼, 이에 한정되지 않으며, 상기 제1 내지 제4 카메라(111 내지 114)의 설치 위치에 따라서도 자유롭게 변경될 수 있다.As shown in FIG. 3, the maximum photographable area S according to the wide angle is represented by S, but it is not limited to this, as the wide angle can be varied according to the type of the camera. 114).

본 발명의 바람직한 실시예에서는, 합류도로(L2)를 최대한 넓은 범위로 촬영할 수 있도록 설치하는 것이 바람직할 것이다.In the preferred embodiment of the present invention, it is preferable to install the merging road L2 such that the merging road L2 can be photographed in the widest possible range.

여기서, 본 발명에 따른 상기 주행도로(L1)는 차량의 운행이 진행중인 도로를 의미하며, 상기 합류도로(L2)는 주행도로(L1)에서 운행되고 있는 차량이 진입로를 통해 새로이 합류하고자 하는 도로를 의미하는 것임을 미리 언급하는 바이다.Here, the traveling road L1 according to the present invention means a road in which the vehicle is in operation, and the confluent road L2 is a road on which the vehicle traveling on the traveling road L1 is to be newly joined via the entrance road I will mention in advance that it means.

상기 조향정보 검출부(120)는 차량이 직선 주행 위치에서 핸들을 꺾은 각(이하, 조향각이라 함) 또는 차량의 전진에 있어서, 진행방향을 바꾸어 조준하고자 하는 방향에 대한 정보를 검출하는 것으로, ECU, TCU 등의 제어장치가 될 수 있으나, 이에 한정되지 않고, 휠 센서, 스티어링 각도센서, 방향지시등 동작센서 등 다양한 조향감지 센서가 될수도 있다.The steering information detecting unit 120 detects information about a direction in which a vehicle attempts to steer by changing the traveling direction at an angle (hereinafter, referred to as a steering angle) at which the steering wheel is bent at a straight traveling position, TCU, and the like. However, the present invention is not limited thereto, and may be various steering sensors such as a wheel sensor, a steering angle sensor, and a turn signal light sensor.

상기 제어모듈(130)은 조향정보 검출부(120)로부터 임의의 조향정보가 검출되면, 상기 검출된 조향정보와 상기 카메라부(110)가 촬영한 후방 영상으로부터 차량이 주행중인 주행도로(L1)와 차량이 합류하고자 하는 합류도로(L2)의 도로형태를 분석하여 상기 주행도로(L1)와 합류도로(L2) 간의 기울기 또는 각도 중 어느 하나의 값을 출력하고, 상기 출력된 값에 따라 상기 후방 영상의 좌표계(A)를 회전시켜 시점을 변환한 합류도로(L2)의 후방 영상이 출력되도록 재설정하여, 상기 카메라부(110)가 촬영한 후방 영상이 출력되도록 하는 것으로, 도로 분석부(131), 좌표 설정부(132), 영상 분석부(133) 및 영상 정합부(134)를 포함하여 구성된다.When any steering information is detected from the steering information detector 120, the control module 130 determines whether the vehicle is traveling through the driving road L1 and / or the driving road from the detected steering information and the rear image photographed by the camera 110 The vehicle control system according to any one of claims 1 to 3, further comprising: a controller for outputting a value of a slope or an angle between the traveling road (L1) and the confluence road (L2) And the rear image of the merged road L2 converted from the viewpoint is outputted so that the rear image photographed by the camera unit 110 is outputted. The road analysis unit 131, A coordinate setting unit 132, an image analysis unit 133, and an image matching unit 134. [

상기 도로 분석부(131)는 임의의 조향정보가 검출되면, 상기 카메라부(110)가 촬영한 후방 영상과 상기 검출된 조향정보로부터 상기 주행도로(L1)와 합류도로(L2)의 도로형태를 분석하여 상기 주행도로(L1)와 합류도로(L2) 간의 기울기 또는 각도 중 어느 하나의 값을 출력하는 것으로, 바람직하게는 별도의 이미지 프로세싱 프로그램을 적용한 분석기능을 수행한다.The road analysis unit 131 detects road shapes of the driving road L1 and the confluence road L2 from the rear image photographed by the camera unit 110 and the detected steering information, And outputs a value of a slope or an angle between the running road L1 and the confluent road L2, and preferably performs an analysis function using a separate image processing program.

예컨대, 상기 도로 분석부(131)는 이미지 프로세싱 프로그램을 적용하여 상기 카메라부(110)의 다수 카메라 즉, 제1 내지 제4 카메라(111 내지 114)가 일정 촬영영역으로 촬영하는 다수개의 영상을 검출하고, 상기 함께 검출된 조향정보에 따라 다수개의 영상 중 조향범위에 적합한 카메라의 영상만을 추출하여 비교 분석할 수 있다.For example, the road analysis unit 131 may detect a plurality of images taken by a plurality of cameras of the camera unit 110, that is, the first to fourth cameras 111 to 114, And extracts only the image of the camera suitable for the steering range from among a plurality of images according to the detected steering information.

본 발명의 도 3에 도시된 실시예를 참조하여 더 구체적으로 설명하면, 차량이 운행되고 있는 주행도로(L1)에 따라 촬영을 실시하는 제1 내지 제4 카메라(111 내지 114)에 있어서, 상기 조향정보 중 조향각에 대한 정보가 도면과 같이 '우측'으로 검출되면, 좌측의 촬영영역을 갖는 제2 카메라(112)와 제3 카메라(113) 및 제4 카메라(114)의 영상이 추출되는 것이 바람직하다.More specifically, referring to the embodiment shown in FIG. 3 of the present invention, in the first to fourth cameras 111 to 114 that photograph according to the running road L1 on which the vehicle is running, When the steering angle information of the steering information is detected as 'right' as shown in the drawing, the images of the second camera 112, the third camera 113 and the fourth camera 114 having the left photographing region are extracted desirable.

상기 추출된 제2 카메라(112)와 제3 카메라(113) 및 제4 카메라(114)의 영상은 상기 이미지 프로세싱 프로그램에 의해 관심있는 적어도 두 개의 이미지가 서로 비교 분석되고, 백터로 정의된 화소들의 이동 변위와 각도 변위 등을 통해 유사도를 검출하여 물체를 인식하거나, 물체의 경계선 또는 윤곽선 등의 에지나 물체의 윤곽에 근사하는 선분, 곡선 등을 구하여 이용하기도 하고, 이미지 내에 존재하는 모서리점, 불변인 점, 또는 회전변환이나 크기 변화 등에 대하여 불변인 특징점을 이용한 인식을 수행할 수도 있으며, 이미지에 포함된 물체의 특징점을 추출하여 인식을 수행할 수도 있다.The extracted images of the second camera 112, the third camera 113 and the fourth camera 114 are compared and analyzed by at least two images of interest by the image processing program, It is also possible to detect an object by detecting similarity through moving displacement and angular displacement, or to obtain an edge such as a boundary line or an outline of an object or a line segment or a curve that approximates an outline of an object, Or a feature point that is unchangeable with respect to a rotation transformation, a size change, or the like, or may perform recognition by extracting feature points of an object included in the image.

여기서, 대상이 되는 상기 물체는 도로의 가장자리 또는 도로의 중앙선, 바깥선 등의 차선인 것이 바람직하다.Here, it is preferable that the object to be the object is a lane such as the edge of the road or the center line and the outer line of the road.

즉, 상기 도로 분석부(131)는 이러한 이미지 프로세싱 프로그램을 통해 상기 주행도로(L1)와 합류도로(L2)가 좌/우 합류도로인지, 아니면 직선도로인지 등의 도로의 종류를 분석할 수 있으며, 이와 동시에, 상기 주행도로(L1)와 합류도로(L2) 의 외형을 분석하여 도로 간의 기울기 또는 각도 등의 값을 연산하여 출력할 수 있다.That is, the road analysis unit 131 can analyze the types of roads such as whether the traveling road L1 and the confluence road L2 are left / right confluence roads or straight roads through the image processing program At the same time, the external shape of the traveling road L1 and the confluence road L2 can be analyzed to calculate and output values such as a slope or an angle between the roads.

이는 단위 카메라를 유닛 카메라로 묶어 이미지를 분석하는 스테레오 매칭 프로그램을 통해 수행될 수도 있으며, 상기 이미지 프로세싱 프로그램 및 스테레오 매칭 프로그램은 통상적으로 게재된 일반적인 공지기술로서, 해당관련분야의 전문지식을 가진 당업자가 다양하게 취급할 수 있음은 물론이다.The image processing program and the stereo matching program may be performed by a general person skilled in the art having a knowledge in the related field. It can be handled variously.

나아가, 본 발명의 실시예에 따르면, 상기 파노라마 뷰 가변 시스템(100)은 차량의 위치를 검출하여 임의의 위치정보를 제공하는 위치 검출부(150)를 더 포함하여 구성할 수 있다.Further, according to an embodiment of the present invention, the panoramic view variable system 100 may further include a position detector 150 for detecting the position of the vehicle and providing arbitrary position information.

이러한 상기 위치 검출부(150)는 GPS(Global Positioning System)를 통해 차량의 위치를 검출하여 분석하고, 상기 분석된 위치의 도로정보를 상기 제어모듈(130)의 도로 분석부(131)로 제공하는 기능을 수행한다.The position detecting unit 150 detects and analyzes the position of the vehicle through a GPS (Global Positioning System), and provides the road information of the analyzed position to the road analysis unit 131 of the control module 130 .

즉, 상기 도로 분석부(131)는 위치 검출부(150)로부터 제공되는 도로정보를 입력받아 더욱 정확한 도로의 특징점을 분석할 수 있게 된다.That is, the road analysis unit 131 receives the road information provided from the position detection unit 150 and can analyze more accurate feature points of the road.

상기 좌표 설정부(132)는 카메라부(110)가 촬영한 후방 영상의 좌표계(A)를 조정하여 설정하는 것으로, 본 발명의 실시예에 따르면, 상기 도로 분석부(131)에서 출력된 도로 간의 기울기 또는 각도 중 어느 하나의 값으로 상기 후방 영상의 좌표계(A)를 회전시켜 상기 합류도로(L2)와 평행을 이루도록 재설정하는 기능을 수행한다.The coordinate setting unit 132 adjusts and sets the coordinate system A of the rear image photographed by the camera unit 110. According to the embodiment of the present invention, And the coordinate system A of the rear image is rotated to have a slope or an angle so as to be in parallel with the confluent road L2.

다시 말해, 상기 좌표 설정부(132)는 후방 영상의 좌표계(A)를 회전시켜 재설정하고, 상기 카메라부(110)가 촬영한 후방 영상을 재설정된 좌표계(A')로 변환하여 출력한다.In other words, the coordinate setting unit 132 rotates and resets the coordinate system A of the rear image, and converts the rear image photographed by the camera unit 110 into the reset coordinate system A '.

상기 좌표계(A)를 이동시켜 촬영 시점이 변환되도록 제어하는 기술은 통상적으로 게재된 일반적인 공지의 기술로서, 본 발명의 기술적 범위 내에서 다양한 변경설계가 가능하다.Techniques for moving the coordinate system A and controlling the photographing time to be converted are generally known publicly known techniques, and various modifications can be designed within the technical scope of the present invention.

상기 영상 분석부(133)는 좌표 설정부(132)에서 재설정된 좌표계(A')로 촬영된 카메라부(110)의 후방 영상을 미리 저장된 이미지 프로세싱 프로그램을 통해 분석하는 것으로, 상기 합류도로(L2)의 후방 영상 이미지의 픽셀을 분석하여, 대상 배경요소 및 위험요소의 특징점을 검출하는 기능을 수행한다.The image analysis unit 133 analyzes the rear image of the camera unit 110 photographed in the coordinate system A 'reset by the coordinate setting unit 132 through a pre-stored image processing program, ), And performs a function of detecting a target background element and a feature point of a dangerous element.

여기서, 상기 배경요소 및 위험요소는 후방의 도로배경이나 후방에서 주행하는 차량 등 다양한 물체가 될 수 있다.Here, the background element and the dangerous element may be various objects such as a back road background or a vehicle running from behind.

이러한 상기 영상 분석부(133)는 전술한 이미지 프로세싱 프로그램을 적용하여 분석할 수 있으며, 이는 상기 도로 분석부(131)의 이미지 프로세싱 프로그램에 대한 설명을 참조하기로 한다.The image analysis unit 133 may analyze the image by applying the image processing program described above, which will be described with reference to the description of the image processing program of the road analysis unit 131.

상기 영상 정합부(134)는 영상 분석부(133)에서 분석된 영상을 미리 저장된 영상 정합 프로그램을 통해 정합하여, 상기 배경요소와 위험요소가 매칭된 파노라마 영상이 상기 디스플레이부(140)에 출력되도록 하는 것으로서, 상기 영상 분석부(133)에서 분석한 합류도로(L2)의 후방 영상들로부터 왜곡 보정을 위한 파라미터 추출과 영상 간의 호모그래피 등을 계산한 후 각 후방 영상들의 정합(합성)을 수행한다.The image matching unit 134 adjusts the images analyzed by the image analyzing unit 133 to match the background elements and the dangerous elements to the panoramic image through the image matching program, The parameter extraction for distortion correction and the homography between images are calculated from the backward images of the confluent road L2 analyzed by the image analysis unit 133 and the matching (synthesis) of the respective rear images is performed .

더 상세하게 설명하자면, 상기 제1 내지 제4 카메라(111 내지 114)가 재설정된 좌표계(A')로 촬영한 후방 영상들을 상기 영상 분석부(133)를 거쳐 각각 수신하고, 상기 수신된 후방 영상에 대하여 상기 왜곡 보정 파라미터 및 인접 영상 간의 호모그래피 등을 이용하여 각 후방 영상의 매핑을 통한 영상 정합을 수행하여 정합 영상을 생성한다.More specifically, the first to fourth cameras 111 to 114 respectively receive the rear images photographed in the coordinate system A 'via the image analysis unit 133, and the received rear images Using the distortion correction parameter and the homography between the adjacent images, to thereby generate a matching image.

즉, 상기 영상 정합부(134)는 재설정되는 좌표계(A')에 따라 새로운 파노라마 영상을 생성하게 되고, 이는 곧 합류도로(L2)의 후방을 나타내는 파노라마 영상인 것이다.That is, the image matching unit 134 generates a new panorama image according to the coordinate system A 'to be reset, which is a panorama image showing the rear of the confluence road L2.

상기 영상 정합 프로그램은 일반적인 공지의 기술로서, 다양한 공지의 영상 정합 프로그램을 사용해도 무방하다.The image matching program is a generally known technique, and various known image matching programs may be used.

상기 디스플레이부(140)는 상기 제어모듈(130)에 의해 정합된 영상이 임의의 화면에 출력되도록 하는 것으로, 상기 제어모듈(130)의 영상 정합부(134)를 통해 생성된 정합 영상(파노라마 영상)을 사용자가 시각적으로 볼 수 있도록 디스플레이하여 상기 합류도로(L2)의 후방 교통상황을 파악할 수 있도록 한다.The display unit 140 displays the images matched by the control module 130 on an arbitrary screen and displays the matched image generated through the image matching unit 134 of the control module 130 ) Can be visually displayed so that the user can grasp the back traffic situation of the confluent road (L2).

이러한 상기 디스플레이부(140)는 차량내에 설치된 룸미러 또는 내비게이션 등이 바람직하나, 이에 한정되지는 않는다.
The display unit 140 may be a room mirror or a navigation system installed in a vehicle, but is not limited thereto.

(파노라마 뷰 가변 시스템의 제어방법)(Control method of panorama view variable system)

도 4는 본 발명에 따른 파노라마 뷰 가변 시스템의 제어방법을 나타낸 흐름도이다.4 is a flowchart illustrating a method of controlling a panoramic view variable system according to the present invention.

도 4에 도시한 바와 같이, 본 발명에 따른 파노라마 뷰 가변 시스템(100)의 제어방법은 주행도로 디스플레이 단계(S100), 조향정보 검출단계(S200), 도로형태 분석단계(S300), 좌표계 재설정단계(S400) 및 합류도로 디스플레이 단계(S500)를 포함하여 구성된다.4, the control method of the panorama view variable system 100 according to the present invention includes a driving road display step S100, a steering information detection step S200, a road shape analysis step S300, (S400) and a confluence road display step (S500).

먼저, 상기 S100단계의 주행도로 디스플레이 단계에서는, 카메라부(110)의 제1 내지 제4 카메라(111 내지 114)가 미리 설정된 좌표계(A)로 차량의 후방 영상을 촬영하고, 제어모듈(130)의 영상 분석부(133)와 영상 정합부(134)가 상기 촬영된 영상을 분석 및 정합하여 디스플레이부(140)로 출력한다.First, in step S100, the first to fourth cameras 111 to 114 of the camera unit 110 photograph a rear image of the vehicle in a preset coordinate system A, The image analysis unit 133 and the image matching unit 134 analyze and match the photographed image and output the same to the display unit 140.

상기 디스플레이부(140)에는 도 1 내지 도 3의 상기 파노라마 뷰 가변 시스템(100)에서 설명한 이미지 프로세싱 프로그램 및 영상 정합 프로그램을 통해 분석, 정합되어 주행도로(L1)의 후방을 나타내는 파노라마 영상이 출력되는 것이 바람직하다.The display unit 140 is analyzed and matched through the image processing program and the image matching program described in the panorama view variable system 100 of FIGS. 1 to 3 to output a panorama image representing the rear of the driving road L1 .

상기 S200단계의 조향정보 검출단계에서는, 상기 S100단계가 진행되고 있는 상황에서, ECU, TCU, 휠 센서, 스티어링 각도센서, 방향지시등 동작센서 등의 조향정보 검출부(120)가 상기 주행도로(L1)에 있는 차량이 조향하고자 하는 조향정보를 검출하고, 상기 조향정보가 검출되면, 후술되는 S300단계로 진행된다.The steering information detecting unit 120 such as the ECU, the TCU, the wheel sensor, the steering angle sensor, the turn signal light sensor, and the like may be provided on the driving road L1 in step S100, The steering angle of the vehicle is detected, and if the steering angle is detected, the process proceeds to step S300.

여기서, 상기 제어방법은 S200단계에서 상기 조향정보가 미검출되면, 상기 카메라부(110)가 미리 설정된 좌표계(A)로 차량의 후방 영상을 촬영하고, 상기 제어모듈(130)이 촬영된 영상을 분석 및 정합하여 상기 디스플레이부(140)로 출력하는 상기 S100단계를 다시 수행하도록 할 수 있다.Here, if the steering information is not detected in step S200, the control unit 130 photographs the backward image of the vehicle in a preset coordinate system A, and the control module 130 detects the captured image Analysis and matching and outputting to the display unit 140 may be performed again.

나아가, 상기 S200단계에서는 위치 검출부(150)가 GPS(Global Positioning System)를 통해 차량의 위치를 검출하여 분석하고, 상기 분석된 위치의 도로정보를 상기 제어모듈(130)로 제공하도록 구성할 수 있다.Further, in step S200, the position detector 150 may detect and analyze the position of the vehicle through a GPS (Global Positioning System), and provide the road information of the analyzed position to the control module 130 .

상기 S300단계의 도로형태 분석단계에서는, 상기 제어모듈(130)의 도로 분석부(131)가 S100단계에서 촬영된 후방 영상과 상기 S200단계에서 검출된 조향정보로부터 주행도로(L1)와 합류도로(L2)의 도로형태를 분석한다.In step S300, the road analysis unit 131 of the control module 130 determines whether or not the road L1 and the confluence road are identical to each other based on the backward image captured in step S100 and the steering information detected in step S200. L2) is analyzed.

이때, 상기 도로 분석부(131)는 촬영된 후방 영상 및 상기 검출된 조향정보는 물론, 상기 위치 검출부(150)로부터 제공되는 도로정보를 함께 입력받아 도로의 특징점을 더욱 정확히 분석할 수 있다.At this time, the road analysis unit 131 receives both the photographed backward image and the detected steering information, as well as the road information provided from the position detector 150, to more accurately analyze the feature points of the road.

여기서, 상기 도로 분석부(131)는 미리 저장된 이미지 프로세싱 프로그램을 통해 상기 주행도로(L1)와 합류도로(L2)가 좌/우 합류도로인지, 아니면 직선도로인지 등의 도로의 종류를 분석하며, 이와 동시에, 상기 주행도로(L1)와 합류도로(L2)가 이루는 외형을 분석하여 상기 주행도로(L1)와 합류도로(L2) 간의 기울기 또는 각도 등의 값을 연산하여 출력한다.The road analysis unit 131 analyzes the types of roads such as whether the traveling road L1 and the confluence road L2 are left / right confluence roads or straight roads through a previously stored image processing program, At the same time, the outer shape of the traveling road L1 and the joining road L2 is analyzed to calculate and output values such as a slope or an angle between the running road L1 and the joining road L2.

상기 S400단계의 좌표계 재설정단계에서는, 상기 제어모듈(130)의 좌표 설정부(132)가 상기 S300단계에서 출력된 값에 따라 상기 카메라부(110)에서 촬영한 후방 영상의 좌표계(A)를 회전시켜 재설정한다.In step S400, the coordinate setting unit 132 of the control module 130 rotates the coordinate system A of the rear image photographed by the camera unit 110 according to the value output in step S300 Reset.

좀 더 구체적으로는, 상기 S300단계를 통해 출력된 기울기 또는 각도 등의 값을 입력받아 상기 주행도로(L1)를 기준으로 설정된 좌표계(A)가 합류도로(L2)와 평행을 이루도록 상기 입력된 값만큼 상기 좌표계(A)를 회전시켜 재설정한다.More specifically, when the input value (x, y) of the coordinate system (A) is set to be parallel to the confluent road (L2), the coordinate system (A) By rotating the coordinate system (A).

나아가, 상기 재설정된 좌표계(A')에 따라 후방 영상을 촬영하는 상기 카메라부(110)의 시점 또한 변환되도록 한다.Further, the viewpoint of the camera unit 110, which captures a backward image according to the reset coordinate system A ', is also changed.

즉, 상기 후방 영상의 좌표계(A)를 회전시켜 시점을 변환한 합류도로(L2)의 후방 영상이 출력되도록 재설정하여, 상기 카메라부(110)가 촬영한 후방 영상이 출력되도록 한다.That is, the coordinate system A of the rear image is rotated to reset the rear image of the convergence road L2 converted from the viewpoint, so that the rear image captured by the camera unit 110 is output.

상기 S500단계의 합류도로 디스플레이 단계에서는, 상기 S400단계를 통해 재설정된 좌표계(A')로 출력되는 카메라부(110)의 후방 영상을 분석하여 정합하고, 상기 정합된 영상을 디스플레이부(140)로 출력한다.In the merging road display step of S500, the rear image of the camera unit 110 output to the coordinate system A 'reset through the step S400 is analyzed and matched, and the matched image is displayed on the display unit 140 Output.

상기 디스플레이부(140)에는 상기 S100단계의 방법과 동일한 이미지 프로세싱 프로그램 및 영상 정합 프로그램을 통해 분석, 정합되어 합류도로(L2)의 후방을 나타내는 파노라마 영상이 출력되는 것이 바람직하다.The display unit 140 is analyzed and matched through the same image processing program and image matching program as the method of step S100 to output a panorama image showing the rear of the confluence road L2.

따라서, 본 발명은 합류하고자 하는 도로의 형태를 분석하고, 분석된 도로의 형태에 따라 카메라부의 좌표계를 회전시켜 파노라마 영상이 디스플레이되는 관점을 가변할 수 있게 된다.Therefore, the present invention analyzes the shape of a road to be joined, and rotates the coordinate system of the camera unit according to the shape of the analyzed road, thereby changing the viewpoint of displaying the panorama image.

또한, 본 발명은 파노라마 영상이 디스플레이되는 관점을 가변함에 따라 사이드 미러 또는 카메라부를 통해 볼 수 없던 합류도로와의 사각지대를 자유롭게 모니터링 할 수 있는 장점이 있다.In addition, the present invention is advantageous in that a blind spot with a confluent road, which can not be seen through a side mirror or a camera, can be freely monitored by changing the viewpoint of displaying the panoramic image.

나아가, 카메라부의 최대 광각과 좌표계 변환을 활용하여 합류도로의 파노라마 영상을 디스플레이함으로써, 합류도로의 진입로에서도 합류도로에서 주행하고 있는듯한 효과를 제공하며, 이에 따라 합류도로의 교통상황을 보다 신속하고 정확히 파악할 수 있다.
Further, by displaying the panoramic image of the confluence road by utilizing the maximum wide angle of the camera unit and the coordinate system conversion, it is possible to provide the effect that the entrances to the confluence road are running on the confluence road, .

상기와 같이, 본 발명의 바람직한 실시 예를 참조하여 설명하였지만 해당 기술 분야의 숙련된 당업자라면 하기의 특허청구범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it will be understood by those skilled in the art that various changes and modifications may be made without departing from the spirit and scope of the invention as defined in the appended claims. It can be understood that

또한, 본 발명의 실시예를 설명하는 과정에서 도면에 도시된 선들의 두께나 구성요소의 크기 등은 설명의 명료성과 편의상 과장되게 도시되어 있을 수 있으며, 상술된 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례에 따라 달라질 수 있으므로, 이러한 용어들에 대한 해석은 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
In the course of the description of the embodiments of the present invention, the thicknesses of the lines and the sizes of the components shown in the drawings may be exaggerated for clarity and convenience of explanation, , Which may vary depending on the intentions or customs of the user, the operator, and the interpretation of such terms should be based on the contents throughout this specification.

100 : 파노라마 뷰 가변 시스템 110 : 카메라부
120 : 조향정보 검출부 130 : 제어모듈
131 : 도로 분석부 132 : 좌표 설정부
133 : 영상 분석부 134 : 영상 정합부
140 : 디스플레이부 150 : 위치 검출부
A : 좌표계 A' : 재설정 좌표계
L1 : 주행도로 L2 : 합류도로100: Panoramic view variable system 110:
120: Steering information detection unit 130: Control module
131: road analysis unit 132: coordinate setting unit
133: Image analysis unit 134: Image registration unit
140: display unit 150: position detector
A: Coordinate system A ': Reset coordinate system
L1: running road L2: joining road

Claims (8)

차량에 적어도 하나 설치되어, 임의의 좌표계(A)를 기준으로 차량의 후방 영상을 촬영하는 카메라부(110);
상기 차량의 조향정보를 검출하는 조향정보 검출부(120);
상기 조향정보 검출부(120)로부터 조향정보가 검출되면, 상기 카메라부(110)가 촬영한 후방 영상으로부터 차량이 주행중인 주행도로(L1)와 합류하고자 하는 합류도로(L2) 정보를 검출하고, 상기 검출된 주행도로(L1)와 합류도로(L2)를 분석하여 상기 주행도로(L1)와 합류도로(L2) 사이의 기울기 또는 각도 정보를 산출하며, 상기 산출된 기울기 또는 각도 정보와 상기 검출된 조향정보를 상기 카메라부(110)가 촬영한 후방 영상의 좌표계(A)에 반영하여 회전시킨 시점 변환된 재설정 좌표계(A')로 변환하여 상기 합류도로(L2)가 디스플레이되도록 제어하는 제어모듈(130); 및
상기 제어모듈(130)에서 출력되는 후방 영상을 차량에 설치된 룸미러 또는 내비게이션 화면상에 디스플레이하는 디스플레이부(140)를 포함하는 파노라마 뷰 가변 시스템.
A camera unit (110) installed at least on the vehicle and photographing a rearward image of the vehicle on the basis of an arbitrary coordinate system (A);
A steering information detecting unit (120) for detecting steering information of the vehicle;
When the steering information is detected from the steering information detecting unit 120, information on a confluent road L2 to which the vehicle travels and a joining road L2 to which the vehicle is traveling are detected from a rear image photographed by the camera unit 110, And calculates the inclination or angle information between the traveling road (L1) and the confluent road (L2) by analyzing the detected traveling road (L1) and the joining road (L2) The control module 130 controls the display of the convergence road L2 by converting the information into the coordinate system A 'of the backward image captured by the camera unit 110 and rotating the reflected coordinate system A'); And
And a display unit (140) for displaying the rear image outputted from the control module (130) on a room mirror or a navigation screen installed in the vehicle.
제 1 항에 있어서,
상기 조향정보 검출부(120)는 차량의 조향각에 대한 정보를 검출하는 ECU, TCU, 휠 센서, 스티어링 각도센서, 방향지시등 동작센서 중 적어도 어느 하나인 것을 특징으로 하는 파노라마 뷰 가변 시스템.
The method according to claim 1,
Wherein the steering information detecting unit (120) is at least one of an ECU, TCU, wheel sensor, steering angle sensor, and turn signal light sensor for detecting information on the steering angle of the vehicle.
제 1 항에 있어서,
상기 제어모듈(130)은 임의의 조향정보가 검출되면, 상기 카메라부(110)가 촬영한 후방 영상으로부터 상기 주행도로(L1)와 합류도로(L2)의 도로형태를 분석하여 상기 주행도로(L1)와 합류도로(L2) 간의 기울기 또는 각도 중 어느 하나의 값을 출력하는 도로 분석부(131);
상기 도로 분석부(131)에서 출력된 값에 따라 상기 후방 영상의 좌표계(A)를 회전시켜 시점을 변환한 상기 합류도로(L2)의 후방 영상이 출력되도록 재설정하는 좌표 설정부(132);
상기 좌표 설정부(132)에서 재설정된 좌표계(A')로 촬영된 카메라부(110)의 후방 영상을 미리 저장된 이미지 프로세싱 프로그램을 통해 분석하여 차량 후방의 배경요소와 위험요소의 특징점을 검출하는 영상 분석부(133); 및
상기 영상 분석부(133)에서 분석된 영상을 미리 저장된 영상 정합 프로그램을 통해 정합하여, 상기 배경요소와 위험요소가 매칭된 파노라마 영상이 상기 디스플레이부(140)에 출력되도록 하는 영상 정합부(134)로 구성한 것을 특징으로 하는 파노라마 뷰 가변 시스템.
The method according to claim 1,
The control module 130 analyzes road shapes of the traveling road L1 and the confluence road L2 from the rear image photographed by the camera unit 110 to detect the traveling road L1 ) And a confluence road (L2);
A coordinate setting unit 132 for resetting the rear image of the junction road L2 converted from the viewpoint by rotating the coordinate system A of the rear image according to the value output from the road analysis unit 131;
The rear image of the camera unit 110 photographed in the coordinate system A 'reset by the coordinate setting unit 132 is analyzed through a pre-stored image processing program to detect a background component behind the vehicle and a feature point An analysis unit 133; And
An image matching unit 134 for matching the analyzed image by the image analyzing unit 133 through a pre-stored image matching program and outputting the panoramic image matched with the background element to the display unit 140, Wherein the panorama view variable system comprises:
삭제delete 제 1 항 내지 제 3 항 중 어느 한 항에 있어서,
상기 시스템은 GPS(Global Positioning System)를 통해 차량의 위치를 검출하여 분석하고, 상기 분석된 위치의 도로정보를 상기 제어모듈(130)로 제공하는 위치 검출부(150)를 더 포함하는 것을 특징으로 하는 파노라마 뷰 가변 시스템.
4. The method according to any one of claims 1 to 3,
The system may further include a position detector 150 for detecting and analyzing the position of the vehicle through a GPS (Global Positioning System) and providing the analyzed road information to the control module 130 Panoramic view variable system.
파노라마 뷰 가변 시스템의 제어방법으로서,
a) 카메라부(110)가 미리 설정된 좌표계(A)로 차량의 후방 영상을 촬영하고, 제어모듈(130)이 상기 촬영된 영상을 분석 및 정합하여 디스플레이부(140)로 출력하는 단계;
b) 조향정보 검출부(120)가 차량의 조향정보를 검출하면, 상기 제어모듈(130)이 카메라부(110)가 촬영한 후방 영상을 분석하여 차량이 주행중인 주행도로(L1)와 합류하고자 하는 합류도로(L2) 정보를 검출하고, 상기 검출된 주행도로(L1)와 합류도로(L2)를 분석하여 상기 주행도로(L1)와 합류도로(L2) 사이의 기울기 또는 각도 정보를 산출하는 단계;
c) 상기 제어모듈(130)이 상기 산출된 기울기 또는 각도 정보와 상기 검출된 조향정보를 상기 카메라부(110)가 촬영한 후방 영상의 좌표계(A)에 반영하여 회전시킨 시점 변환된 재설정 좌표계(A')로 변환하는 단계; 및
d) 상기 제어모듈(130)이 촬영된 카메라부(110)의 영상을 c)단계에서 재설정된 좌표계(A')로 정합하여 상기 합류도로(L2)가 차량에 설치된 룸미러 또는 내비게이션으로 이루어진 디스플레이부(140)를 통해 출력하는 단계를 포함하는 파노라마 뷰 가변 시스템의 제어방법.
A method of controlling a panoramic view variable system,
a) the camera unit 110 photographs the backward image of the vehicle in a predetermined coordinate system A, the control module 130 analyzes and matches the photographed image and outputs the image to the display unit 140;
b) When the steering information detecting unit 120 detects the steering information of the vehicle, the control module 130 analyzes the rear image photographed by the camera unit 110 to determine whether the vehicle wishes to join the running road L1, Calculating slope or angle information between the traveling road (L1) and the confluent road (L2) by detecting the confluent road (L2) information and analyzing the detected traveling road (L1) and the confluent road (L2);
c) The control module 130 reflects the calculated tilt or angle information and the detected steering information on the coordinate system A of the rear image photographed by the camera unit 110, A '); And
d) The control module 130 adjusts the image of the photographed camera unit 110 to the coordinate system A 'reset in the step c), so that the confluence road L2 is displayed on the display made up of the room mirror or the navigation installed on the vehicle (140). ≪ RTI ID = 0.0 > [0002] < / RTI >
제 6 항에 있어서,
상기 b)단계에서 상기 조향정보가 미검출되면, 상기 a)단계를 다시 수행하는 것을 특징으로 하는 파노라마 뷰 가변 시스템의 제어방법.
The method according to claim 6,
Wherein if the steering information is not detected in the step b), the step a) is performed again.
제 6 항에 있어서,
상기 b)단계는 상기 조향정보가 검출되면, 위치 검출부(150)가 GPS(Global Positioning System)를 통해 차량의 위치를 검출하여 분석하고, 상기 분석된 위치의 도로정보를 상기 제어모듈(130)로 제공하여 상기 검출된 조향정보와 함께 입력되도록 하는 것을 특징으로 하는 파노라마 뷰 가변 시스템의 제어방법.The method according to claim 6,
In the step b), when the steering information is detected, the position detector 150 detects and analyzes the position of the vehicle through a GPS (Global Positioning System), and transmits the analyzed road information to the control module 130 And to input the detected steering information together with the detected steering information.

Images