KR20230040150A

KR20230040150A - Autonomous vehicle

Info

Publication number: KR20230040150A
Application number: KR1020210123402A
Authority: KR
Inventors: 김배훈
Original assignee: 김배훈
Priority date: 2021-09-15
Filing date: 2021-09-15
Publication date: 2023-03-22

Abstract

The present invention relates to a vehicle for autonomous driving, where a plurality of camera groups are mounted in an integrated frame to be attached to and detached from a vehicle and easily align shafts between cameras. The vehicle for autonomous driving comprises: a frame structure provided to be attached to and detached from at least a portion of the vehicle; one or more camera groups installed in at least a portion of the frame structure; and a processor connected to the camera groups through electric wiring to control capturing of the camera groups.

Description

자율 주행용 차량{AUTONOMOUS VEHICLE}Autonomous vehicles {AUTONOMOUS VEHICLE}

본 발명은 자율 주행용 차량에 관한 것으로서, 복수의 카메라군을 일체형의 프레임에 탑재함으로써, 차량에 착탈이 가능하고 카메라들 간의 축 정렬이 용이한 자율 주행용 차량에 관한 것이다.The present invention relates to a vehicle for autonomous driving, in which a plurality of camera groups are mounted on an integrated frame, so that they can be attached to and detached from the vehicle and the axes of the cameras can be easily aligned.

자율 주행 차량의 주행 시 차량을 둘러싼 주행 환경 파악은 특히 중요한 역할이다. 그리고 시각 정보의 처리는 주행 환경 파악에 가장 큰 비중을 차지하는 과정이다.When driving an autonomous vehicle, understanding the driving environment surrounding the vehicle plays a particularly important role. Also, the processing of visual information is the process that accounts for the most weight in understanding the driving environment.

자율 주행 차량은 시각 정보에서 객체를 탐지하고, 이를 토대로 차량의 이동 경로를 계획하고, 차량을 구동하여 움직인다.An autonomous vehicle detects an object from visual information, plans the vehicle's movement path based on this, and drives the vehicle to move.

자율 주행 차량 분야의 객체 인식은 타 분야 객체 인식과 달리 다양하고 이질적인 센서를 동시에 활용하는데, 이는 어느 한 센서의 정보만으로는 만족할 만한 객체 인식이 이루어지지 않기 때문이다.Unlike object recognition in other fields, object recognition in the autonomous vehicle field utilizes various and heterogeneous sensors at the same time, because satisfactory object recognition is not achieved with information from only one sensor.

자율 주행 차량의 시각 정보를 수집하는 센서로 라이다, 레이더 및 카메라가 있다.Sensors that collect visual information from autonomous vehicles include lidar, radar, and cameras.

라이다와 레이더는 모두 전자기적 파동을 외부로 송신하여 물체에 의해 산란한 신호를 수집한다.Both lidar and radar transmit electromagnetic waves outward and collect signals scattered by objects.

라이다는 3차원 정보를 가공해 제공하기 때문에 자율 주행 차량에 사용하기 적합하지만 속도를 직접 측정할 수 없고, 악천후 강한 햇빛 등의 열악한 환경에서 원거리 인식 능력 저하의 우려가 있다.LiDAR processes and provides 3D information, so it is suitable for use in autonomous vehicles, but it cannot directly measure speed, and there is a concern that long-distance recognition ability may deteriorate in harsh environments such as bad weather and strong sunlight.

레이더는 외부와의 거리와 속도를 직접 감지할 수 있고, 라이더보다 원거리 인식이 가능하지만, 분해능이 떨어지고 대상물이 사람이나 차량일 경우에 부적합한 문제가 있다.Radar can directly detect the distance and speed to the outside and can recognize a distance from the lidar, but has poor resolution and is not suitable when the target is a person or a vehicle.

이 외에 최근 자동차 주차 시 인접 차량과 근접하는 경우 경고음을 내는 센서로 많이 사용하는 초음파 센서가 있다. 초음파 센서는 기계적인 음파를 발생하고 주변 물체와의 반사를 측정하여 거리를 계산한다. 악천후에도 오류없이 작동하며, 심지어 센서가 먼지에 덮이는 악조건에서도 잘 작동하지만, 아직 자율 주행 차량에 보편적으로 채택되지는 않고 있다.In addition, there is an ultrasonic sensor that is widely used as a sensor that emits a warning sound when a vehicle approaches an adjacent vehicle during parking. Ultrasonic sensors calculate distance by generating mechanical sound waves and measuring reflections from nearby objects. It works flawlessly in bad weather and even works well in adverse conditions where the sensors are covered in dust, but it is not yet universally adopted for self-driving vehicles.

자율 주행 차량에서 시각 정보를 수집하는 대표적인 센서는 카메라다. 카메라는 풍부한 정보를 수집할 수 있지만, 객체를 인식하려면 여러 연산이 필요하다. A typical sensor that collects visual information in an autonomous vehicle is a camera. Cameras can collect a wealth of information, but recognizing objects requires multiple computations.

자율 주행 차량은 객체를 인식할 뿐만 아니라 객체가 멀리 또는 가깝게 있는지를 판별하여 가까운 물체에 더 집중해야 자율 주행의 정확성과 안정성을 보장할 수 있다.Autonomous vehicles not only recognize objects, but also determine whether an object is far or near, and focus more on nearby objects to ensure the accuracy and stability of autonomous driving.

이에 자율 주행 차량은 카메라를 이용해서도 외부 객체를 인식하고, 넓은 화각으로 사각지대 거의 없이 차량 주변 영상을 제공할 수 있으며, 차량으로부터 여러 거리 범위에 존재하는 객체와의 거리 정보 획득이 가능한 새로운 기술이 필요하다. 또한, 자율 주행 차량에 복수의 카메라 및 주변장치를 탑재하는 방식에 있어서도 새로운 구조가 요구된다.Accordingly, autonomous vehicles can recognize external objects even using cameras, provide images around the vehicle with a wide angle of view with almost no blind spots, and obtain distance information from objects in various distance ranges from the vehicle. need this In addition, a new structure is required for a method of mounting a plurality of cameras and peripheral devices in an autonomous vehicle.

(특허문헌 0001) 대한민국 등록특허 제10-2249769호(Patent Document 0001) Republic of Korea Patent Registration No. 10-2249769

(특허문헌 0002) 대한민국 등록특허 제10-2022773호(Patent Document 0002) Republic of Korea Patent Registration No. 10-2022773

본 발명은 종래의 문제를 해결하기 위해 안출한 것으로서, 본 발명은 복수의 카메라군을 일체형의 프레임에 탑재함으로써, 차량에 착탈이 가능하고 카메라들 간의 축 정렬이 용이한 자율 주행용 차량을 제공하는데 그 목적이 있다.The present invention has been made to solve the conventional problems, and the present invention provides an autonomous vehicle that is detachable from the vehicle and easy to align the axis between the cameras by mounting a plurality of camera groups on an integral frame. It has a purpose.

본 발명의 실시예에 따른 자율 주행용 차량은 차량의 적어도 일부에 착탈 가능하게 구비된 프레임 구조체; 상기 프레임 구조체의 적어도 일부에 설치되는 하나 이상의 카메라군; 및 상기 카메라군에 전기적 배선을 통해 연결되어, 상기 카메라군의 영상 촬영을 제어하는 프로세서를 포함할 수 있다.An autonomous vehicle according to an embodiment of the present invention includes a frame structure detachably provided on at least a portion of the vehicle; one or more camera groups installed on at least a part of the frame structure; and a processor connected to the camera group through an electrical wire and controlling image capturing of the camera group.

상기와 같은 본 발명의 실시예에 따른 자율 주행용 차량은 복수의 카메라군을 일체형의 프레임에 탑재함으로써, 차량에 착탈이 가능하고 카메라들 간의 축 정렬이 용이하다.As described above, the self-driving vehicle according to the embodiment of the present invention mounts a plurality of camera groups on an integral frame, so that it can be attached to and detached from the vehicle and axis alignment between the cameras is easy.

도 1은 본 발명의 실시예에 따른 자율 주행용 차량의 근접 거리 측정 장치의 구성을 도시하는 블록도이다.
도 2는 본 발명의 자율 주행용 차량의 근접 거리 측정 장치의 구성을 개략적으로 도시한 도면이다.
도 3은 본 발명의 실시예에 따른 자율 주행 차량용 근접 거리 측정 장치가 근접 물체까지의 거리를 산출하는 일 예를 도시하는 도면이다.
도 4는 본 발명의 실시 예에 따른 메인 카메라 및 보조 카메라의 다른 구성의 일 예를 도시하는 도면이다.
도 5는 본 발명의 실시 예에 따른 메인 카메라 및 보조 카메라의 다른 구성의 일 예를 도시하는 도면이다.
도 6은 본 발명의 실시 예에 따른 자율 주행용 차량의 근접 거리 측정 방법을 설명하기 위한 순서도이다.
도 7은 본 발명의 다른 실시예에 따른 자율 주행용 차량에 탑재되는 카메라군의 일 실시예를 도시한다.
도 8은 본 발명의 실시예에 의한 자율 주행용 차량에서 거리 측정이 가능한 근접 거리 범위 및 단거리 범위를 도시하는 일 예이다.
도 9는 본 발명의 실시예에 의한 자율 주행용 차량에서 거리 측정이 가능한 중거리 범위를 도시하는 일 예이다.
도 10은 본 발명의 실시예에 의한 자율 주행용 차량에서 거리 측정이 가능한 장거리 범위를 도시하는 일 예이다.
도 11은 본 발명의 실시예에 의한 자율 주행용 차량에서 거리 측정이 가능한 여러 범위를 도시하는 일 예이다.
도 12는 본 발명의 실시 예에 따른 자율 주행용 차량에 탑재된 복수의 카메라군의 일 예를 도시한다.
도 13은 본 발명의 실시 예에 따른 자율 주행용 차량에 탑재된 복수의 카메라군의 일 예를 도시한다.
도 14는 본 발명의 실시예에 따른 자율 주행용 차량의 카메라군을 실장하는 일체형 프레임의 일 예를 도시하는 도면이다.
도 15는 본 발명의 실시예에 따른 일체형 프레임 내에 탑재되는 카메라군 및 주변장치의 일 예를 도시하는 도면이다.
도 16은 본 발명의 실시예에 따른 일체형 프레임 내에 탑재되는 카메라군 및 프로세서의 배선의 일 예를 도시하는 도면이다.1 is a block diagram showing the configuration of an apparatus for measuring proximity distance of an autonomous vehicle according to an embodiment of the present invention.
2 is a diagram schematically illustrating the configuration of an apparatus for measuring proximity distance of an autonomous vehicle according to the present invention.
3 is a diagram illustrating an example in which a proximity distance measuring device for an autonomous vehicle according to an embodiment of the present invention calculates a distance to a nearby object.
4 is a diagram illustrating an example of another configuration of a main camera and an auxiliary camera according to an embodiment of the present invention.
5 is a diagram illustrating an example of another configuration of a main camera and an auxiliary camera according to an embodiment of the present invention.
6 is a flowchart illustrating a method for measuring a proximity distance of an autonomous vehicle according to an embodiment of the present invention.
7 illustrates an example of a camera group mounted on an autonomous vehicle according to another embodiment of the present invention.
8 is an example illustrating a short-distance range and a short-distance range in which a distance can be measured in an autonomous vehicle according to an embodiment of the present invention.
9 is an example illustrating a mid-distance range in which a distance can be measured in an autonomous vehicle according to an embodiment of the present invention.
10 is an example illustrating a long-distance range in which a distance can be measured in an autonomous vehicle according to an embodiment of the present invention.
11 is an example illustrating various ranges in which a distance can be measured in an autonomous vehicle according to an embodiment of the present invention.
12 illustrates an example of a plurality of camera groups mounted on an autonomous vehicle according to an embodiment of the present invention.
13 illustrates an example of a plurality of camera groups mounted on an autonomous vehicle according to an embodiment of the present invention.
14 is a diagram illustrating an example of an integrated frame mounting a camera group of an autonomous driving vehicle according to an embodiment of the present invention.
15 is a diagram illustrating an example of a camera group and peripheral devices mounted in an integrated frame according to an embodiment of the present invention.
16 is a diagram illustrating an example of wiring of a camera group and a processor mounted in an integrated frame according to an embodiment of the present invention.

이하에서 본 발명의 기술적 사상을 명확화하기 위하여 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 상세하게 설명하도록 한다. 본 발명을 설명함에 있어서, 관련된 공지 기능 또는 구성요소에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략할 것이다. 도면들 중 실질적으로 동일한 기능구성을 갖는 구성요소들에 대하여는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 참조번호들 및 부호들을 부여하였다. 설명의 편의를 위하여 필요한 경우에는 장치와 방법을 함께 서술하도록 한다.Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings in order to clarify the technical spirit of the present invention. In describing the present invention, if it is determined that a detailed description of a related known function or component may unnecessarily obscure the subject matter of the present invention, the detailed description will be omitted. Elements having substantially the same functional configuration in the drawings are assigned the same reference numerals and reference numerals as much as possible, even though they are displayed on different drawings. For convenience of description, the device and method are described together if necessary.

도 1은 본 발명의 실시예에 따른 자율 주행용 차량의 근접 거리 측정 장치의 구성을 도시하는 블록도이다.1 is a block diagram showing the configuration of an apparatus for measuring proximity distance of an autonomous vehicle according to an embodiment of the present invention.

도 1에 도시된 바와 같이, 본 발명의 실시예에 따른 자율 주행용 차량의 근접 거리 측정 장치는 메인 카메라(100), 보조 카메라(200) 및 프로세서(300)를 포함한다.As shown in FIG. 1 , an apparatus for measuring a proximity distance of an autonomous vehicle according to an embodiment of the present invention includes a main camera 100 , an auxiliary camera 200 and a processor 300 .

메인 카메라(100)는 차량의 자율 주행을 위해 외부 영상을 촬영하고, 촬영된 영상 데이터를 프로세서(300)로 전송한다. 보조 카메라(200)는 메인 카메라(100)와 한 쌍으로 구비되어 보조 이미지를 획득하면 프로세서(300)로 전송한다. 메인 카메라(100) 및 보조 카메라(200)의 구동에 대해서는 이하에서 상세히 설명하기로 한다.The main camera 100 captures an external image for autonomous driving of the vehicle and transmits the captured image data to the processor 300 . The auxiliary camera 200 is provided as a pair with the main camera 100 and transmits the acquired auxiliary image to the processor 300 . Driving of the main camera 100 and the auxiliary camera 200 will be described in detail below.

본 발명의 실시예에서 메인 카메라(100) 및 보조 카메라(200)는 차량의 내부에 설치하는 것보다 화각을 좁혀 영상 데이터를 처리하는 부하를 줄이기 위해 차량의 외부에 설치하기로 하지만, 경우에 따라서는 차량의 내부에 설치할 수도 있으며 설치 위치에 대해서는 한정하지 않는다.In the embodiment of the present invention, the main camera 100 and the auxiliary camera 200 are installed outside the vehicle to reduce the load of processing image data by narrowing the angle of view rather than inside the vehicle, but in some cases may be installed inside the vehicle, and the installation location is not limited.

프로세서(300)는 자율 주행용 차량의 근접 거리 측정 장치의 전반적인 동작을 제어한다. 특히, 프로세서(300)는 자율 주행용 차량의 주행 속도를 감지하고, 감지된 주행 속도에 따라 근접 거리 측정 장치를 주행 모드 및 근접 모드로 실행시킬 수 있다. The processor 300 controls the overall operation of the proximity distance measuring device of the autonomous vehicle. In particular, the processor 300 may detect the driving speed of the autonomous driving vehicle and execute the proximity distance measuring device in the driving mode and the proximity mode according to the detected driving speed.

일 실시예로, 프로세서(300)는 자율 주행용 차량이 미리 설정된 소정의 속도 범위 이상으로 주행하는 것으로 감지되면 주행 모드를 실행하고, 자율 주행용 차량이 미리 설정된 소정의 속도 범위 이하로 주행하는 것으로 감지되면 근접 모드를 실행한다.In one embodiment, the processor 300 executes a driving mode when it is detected that the self-driving vehicle is traveling above a predetermined speed range, and the autonomous vehicle is traveling below a predetermined speed range. When detected, it activates proximity mode.

주행 모드는 자율 주행 차량에 탑재되는 일반적인 렌즈 카메라를 통해 주변 영상을 촬영하며 촬영된 영상을 프로세서(300)로 전송하여 소정 속도 이상으로 주행중인 차량을 제어하는 데에 활용하는 실행을 의미한다. 이때 이용되는 카메라를 본 발명에서는 메인 카메라(100)로 설정할 수 있다.The driving mode refers to an execution in which a surrounding image is captured through a general lens camera mounted on the self-driving vehicle and the captured image is transmitted to the processor 300 to be used to control the vehicle traveling at a predetermined speed or higher. The camera used at this time may be set as the main camera 100 in the present invention.

근접 모드는 자율 주행 차량이 미리 설정된 소정 범위의 속도 이하로 주행하는 것으로 감지되면, 메인 카메라(100)와 한 쌍으로 구비된 보조 카메라(200)를 함께 동작시켜 메인 카메라(100)와 보조 카메라(200)로 획득한 이미지들을 이용하여 차량에 근접한 물체와 차량 간의 근접 거리를 측정하여 프로세서(300)로 측정된 거리 정보를 전송하는 실행을 의미한다. In the proximity mode, when it is detected that the self-driving vehicle is traveling at a speed less than a predetermined range, the main camera 100 and the auxiliary camera 200 provided as a pair are operated together so that the main camera 100 and the auxiliary camera ( 200) to measure the proximity distance between an object close to the vehicle and the vehicle using the acquired images, and transmits the measured distance information to the processor 300.

자율 주행 차량이 기 설정된 속도 범위 이하로 주행하는 경우는 예를 들면, 주차중인 상태, 감속 중인 상태, 급 정거 중인 상태 등일 수 있다. 이에 주차 중이라면 인접한 측벽과 차량 간의 근접 거리를 정밀하게 측정하고, 급 정거 중이거나 감속 중인 상태에서는 근접한 물체와 차량 간의 근접 거리를 정밀하게 측정하여 측정된 거리 정보를 기반으로 차량을 제어하여 충돌을 방지하고 자율 주행의 안전성과 정확성을 높일 수 있을 것이다.When the autonomous vehicle travels below a preset speed range, it may be, for example, in a parked state, in a deceleration state, in a sudden stop state, and the like. Therefore, when parking, the proximity distance between the adjacent sidewall and the vehicle is precisely measured, and during a sudden stop or deceleration, the proximity distance between a nearby object and the vehicle is precisely measured, and the vehicle is controlled based on the measured distance information to prevent collisions. and improve the safety and accuracy of autonomous driving.

도 2는 본 발명의 자율 주행용 차량의 근접 거리 측정 장치의 구성을 개략적으로 도시한 도면이다.2 is a diagram schematically illustrating the configuration of an apparatus for measuring proximity distance of an autonomous vehicle according to the present invention.

도 2를 참조하면, 메인 카메라(100)는 자율 주행용 자동차의 카메라에 주로 채용되는 볼록렌즈(110)로 구성되고, 볼록렌즈(110)를 실장하는 메인 밀폐 하우징(110)을 구비한다. 메인 카메라(100)는 근접 물체에 대한 메인 이미지를 획득할 수 있다.Referring to FIG. 2 , the main camera 100 is composed of a convex lens 110, which is mainly used in a camera for autonomous vehicles, and includes a main sealed housing 110 mounting the convex lens 110. The main camera 100 may obtain a main image of a nearby object.

보조 카메라(200)는 핀홀 카메라로 구비될 수 있고, 메인 카메라(100)와 한 쌍으로 구비되어 보조 이미지를 획득한다. 보조 카메라(200) 전방에 대응하는 위치에 핀홀(201), 핀홀(201)의 전방에 대응하는 일부에 개폐 가능한 광투과부(202), 프로세서(300)의 제어에 의해 광투과부(202)의 개폐를 조절함으로써 핀홀을 외부로부터 개폐하는 핀홀 개폐 밸브(204)로 구성되고, 이들을 실장하는 보조 밀폐 하우징(205)을 구비한다. The auxiliary camera 200 may be provided as a pinhole camera, and is provided as a pair with the main camera 100 to acquire auxiliary images. A pinhole 201 at a position corresponding to the front of the auxiliary camera 200, a light-transmitting part 202 capable of being opened and closed at a part corresponding to the front of the pinhole 201, and opening and closing of the light-transmitting part 202 under the control of the processor 300 It consists of a pinhole opening and closing valve 204 that opens and closes the pinhole from the outside by adjusting, and is provided with a secondary sealing housing 205 for mounting them.

핀홀 카메라는 작은 구멍인 핀홀(pinhole)을 통해 빛을 통과시켜 이미지 센서에 의해 피사체 정보를 감지하여 영상 신호로 변환함으로써 촬영하는 카메라이다. 핀홀 카메라는 바늘구멍에서도 영상을 명확하게 확인할 수 있고, 초소형으로 설치장소에 구애받지 않고 설치 가능한 장점이 있다.A pinhole camera is a camera that transmits light through a pinhole, which is a small hole, detects subject information by an image sensor, and converts it into an image signal to take pictures. The pinhole camera has the advantage of being able to clearly check the image even in the hole of a needle, and being ultra-small, it can be installed regardless of the installation location.

핀홀 카메라는 렌즈를 사용하는 카메라와 달라서 근접 거리에서 원거리까지 모두 초점이 잘 맞는 특징이 있지만, 홀(hole)을 통하여 들어오는 빛의 양이 적기 때문에 장시간의 노출을 필요로 하며, 움직이는 물체의 촬영에는 적합하지 않기 때문에 보조 카메라로 채용된다.A pinhole camera is different from a camera that uses a lens, so it has a feature that focuses well from close to far distances, but requires a long exposure because the amount of light entering through the hole is small, and it is difficult to shoot moving objects. Since it is not suitable, it is employed as a secondary camera.

보조 카메라(200)는 메인 카메라(100)와 전방이 동일한 방향을 향하도록 구비될 수 있다. 그리고, 한 쌍의 메인 카메라(100) 및 보조 카메라(200)는 차량의 여러 부분에 구비될 수 있으며, 프로세서(300)는 각 쌍의 카메라들과 연결되어 공유될 수 있다.The auxiliary camera 200 may be provided so that the front side of the main camera 100 faces the same direction. Also, the pair of main cameras 100 and auxiliary cameras 200 may be provided in various parts of the vehicle, and the processor 300 may be connected to and shared with each pair of cameras.

구체적으로, 프로세서(300)는 자율 주행용 차량의 주행 속도가 제1 속도 범위 이상으로 감지된 경우에는 주행 모드를 실행한다. 주행 모드는 전술했듯이 일반적으로 자율 주행 차량에 탑재된 보통의 카메라를 통해 영상을 획득하여 프로세서(300)로 전송하는 실행을 의미한다.Specifically, the processor 300 executes the driving mode when the driving speed of the autonomous vehicle is detected to be higher than the first speed range. As described above, the driving mode generally refers to an execution of acquiring an image through a normal camera installed in an autonomous vehicle and transmitting the image to the processor 300 .

그리고, 프로세서(300)는 자율 주행용 차량의 주행 속도가 미리 설정된 제2 속도 범위 이하로 감지되는 경우, 근접 모드를 실행하여 메인 카메라(100) 및 보조 카메라(200)를 함께 동작시켜 메인 카메라(100)로부터 메인 이미지를 획득하고, 보조 카메라(200)로부터 보조 이미지를 획득할 수 있다. 여기서, 제1 속도 범위와 제2 속도 범위는 설계자의 설정에 따라 동일한 수치로 설정될 수도 있고, 서로 상이한 수치로 설정될 수도 있다.Further, the processor 300 executes the proximity mode to operate the main camera 100 and the auxiliary camera 200 together when the driving speed of the self-driving vehicle is detected to be less than or equal to the second preset speed range, so that the main camera ( A main image may be acquired from the camera 100 and a secondary image may be acquired from the auxiliary camera 200 . Here, the first speed range and the second speed range may be set to the same value or different values according to a designer's setting.

프로세서(300)는 근접 모드 실행 시, 핀홀 밸브 오픈 신호를 핀홀 개폐 밸브(204)로 전송하여 광투과부(202)를 오픈시켜, 보조 카메라(200)를 통해 근접 물체에 대한 보조 이미지를 획득할 수 있다.When the proximity mode is executed, the processor 300 transmits a pinhole valve open signal to the pinhole opening/closing valve 204 to open the light transmission unit 202 and acquires an auxiliary image of a nearby object through the auxiliary camera 200. there is.

일 실시예로, 프로세서(300)는 메인 이미지와 보조 이미지의 각각에서 근접 물체를 검출하고, 검출된 근접 물체의 좌표를 포함하는 검출 영역 정보를 산출할 수 있다.As an embodiment, the processor 300 may detect a nearby object in each of the main image and the auxiliary image, and calculate detection area information including coordinates of the detected nearby object.

이미지에서 근접 물체를 검출하기 위해 공지의 기술을 이용할 수 있다. 예를 들어, 프로세서(300)는 물체의 외형에 기반한 패턴 인식을 이용하여 근접 물체를 검출한다. 다양한 물체 외형의 학습 영상 집합에 대한 패턴 인식으로 물체 패턴을 학습하고 학습된 모델을 이용하여 근접 물체를 검출할 수 있으며, 예를 들어, 선형판별식 해석, 인공신경망, 아다부스트, Haar 특징 필터, 서포트 벡터 머신 등의 방법이 사용될 수 있다. 그러나, 프로세서(300)는 이러한 물체 검출 방식에 한정되지 않고 공지된 다양한 방식과 알고리즘을 이용하여 메인 이미지와 보조 이미지에서 근접 물체를 인식하고 검출할 수 있다.Known techniques can be used to detect proximate objects in an image. For example, the processor 300 detects a nearby object using pattern recognition based on an object's appearance. Pattern recognition for a set of learning images of various object shapes can learn object patterns and detect nearby objects using the learned model. For example, linear discriminant analysis, artificial neural network, Adaboost, Haar feature filter, Methods such as support vector machines may be used. However, the processor 300 is not limited to this object detection method and may recognize and detect a nearby object in the main image and the auxiliary image using various known methods and algorithms.

프로세서(300)는 메인 이미지와 보조 이미지의 각각에서 매칭 포인트를 검출한다. 본 발명의 일 실시예에서 매칭 포인트는 메인 이미지와 보조 이미지에 기초하여 촬영 대상이 된 근접 물체까지의 거리를 산출할 때 기준이 되는 특징점 또는 특징 영역으로서, 메인 이미지와 보조 이미지의 각각에서 동일한 특징점을 각각 검출한다.The processor 300 detects matching points in each of the main image and the auxiliary image. In one embodiment of the present invention, the matching point is a feature point or feature area that is a standard when calculating the distance to a nearby object to be photographed based on the main image and the auxiliary image, and is the same feature point in each of the main image and the auxiliary image. detect each.

일 실시예로, 근접 물체가 차량으로 분석된 경우 프로세서(300)는 메인 이미지와 보조 이미지의 각각에서 검출한 차량의 특정 부품을 임의의 특징점으로 선정하여 이를 매칭 포인트로서 검출할 수 있다. As an embodiment, when a nearby object is analyzed as a vehicle, the processor 300 selects a specific part of the vehicle detected in each of the main image and the auxiliary image as an arbitrary feature point and detects it as a matching point.

예를 들어, 근접한 차량의 두 헤드 라이트 사이의 중심점을 매칭 포인트로서 설정하며, 이 경우 각 이미지에서 두 헤드라이트의 무게중심을 계산하여 매칭 포인트를 검출할 수 있다. 무게 중심 계산은 일반적인 2차원 형상 면적이나 픽셀 영역에서 무게 중심점을 계산하는 공지의 알고리즘을 이용하여 계산할 수 있다.For example, a center point between two headlights of an adjacent vehicle is set as a matching point, and in this case, the matching point can be detected by calculating the center of gravity of the two headlights in each image. The center of gravity calculation can be calculated using a known algorithm for calculating a center of gravity in a general 2D shape area or pixel area.

프로세서(300)는 메인 이미지와 보조 이미지에서 각각 검출된 매칭 포인트에 기초하여 카메라(100, 200)에서부터 근접 물체까지의 거리를 산출한다. 일 실시예에서 프로세서(300)는 메인 이미지와 보조 이미지를 정합하여 근접 물체까지의 거리를 측정할 수 있다.The processor 300 calculates a distance from the cameras 100 and 200 to a nearby object based on matching points detected in the main image and the auxiliary image, respectively. In one embodiment, the processor 300 may measure the distance to a nearby object by matching the main image and the auxiliary image.

도 3은 본 발명의 실시예에 따른 자율 주행 차량용 근접 거리 측정 장치가 근접 물체까지의 거리를 산출하는 일 예를 도시하는 도면이다.3 is a diagram illustrating an example in which a proximity distance measuring device for an autonomous vehicle according to an embodiment of the present invention calculates a distance to a nearby object.

도 3을 참조하면, 메인 카메라(100)와 보조 카메라(200)가 각각 동일한 시야각으로 각 카메라의 정면을 바라보도록 설치되어 전방의 근접 물체(S)를 촬영한다. 이때 두 카메라(100, 200)는 소정 거리(D)만큼 이격 거리를 갖는다. Referring to FIG. 3 , the main camera 100 and the auxiliary camera 200 are installed to look at the front of each camera at the same viewing angle, and photograph a nearby object S in front. At this time, the two cameras 100 and 200 are separated by a predetermined distance D.

일 실시예로, 근접 물체(S)가 소정 위치에 있을 경우, 메인 카메라(100)가 촬영한 메인 이미지에서 근접 물체(S)의 매칭 포인트와 메인 이미지의 중심 사이의 각도가 제1 각도(θ1)로 측정되고, 보조 카메라(200)가 촬영한 보조 이미지에서는 근접 물체(S)의 매칭 포인트와 보조 이미지의 중심 사이의 각도는 제2 각도(θ2)로 측정된다. In one embodiment, when the nearby object S is at a predetermined position, the angle between the matching point of the nearby object S and the center of the main image in the main image captured by the main camera 100 is the first angle θ1 ), and in the auxiliary image taken by the auxiliary camera 200, the angle between the matching point of the nearby object S and the center of the auxiliary image is measured as the second angle θ2.

따라서, 프로세서(300)는 각 이미지에서 제1 각도 (θ1)와 제2 각도(θ2)를 각각 산출하고 이 각도 및 카메라 사이의 거리(D)에 기초하여 카메라(100, 200)가 탑재된 차량으로부터 근접 물체(S)까지의 거리를 계산할 수 있다.Therefore, the processor 300 calculates the first angle θ1 and the second angle θ2 in each image, and calculates the vehicle on which the cameras 100 and 200 are mounted based on the angle and the distance D between the cameras. It is possible to calculate the distance from to the nearby object (S).

도 4 및 도 5는 본 발명의 실시 예에 따른 메인 카메라 및 보조 카메라의 다른 구성의 일 예를 도시하는 도면이다.4 and 5 are diagrams illustrating an example of another configuration of a main camera and an auxiliary camera according to an embodiment of the present invention.

도 4를 참조하면, 보조 카메라(200)는 메인 카메라(100)와 전방이 동일한 방향을 향하도록 배치될 수 있으며, 메인 카메라(100)의 인접한 영역에 복수 개 구비될 수 있다. Referring to FIG. 4 , the auxiliary camera 200 may be disposed so that the front side of the main camera 100 faces the same direction, and may be provided in plurality in an area adjacent to the main camera 100 .

도 4는 복수 개의 보조 카메라(210 ~ 240)가 메인 카메라(100)를 중심으로 일 직선으로 구비된 예를 도시하고, 도 5는 복수 개의 보조 카메라(210 ~ 270)가 메인 카메라(100)를 360도 방향으로 에워싸고 있는 구성을 도시한다.FIG. 4 shows an example in which the plurality of auxiliary cameras 210 to 240 are provided in a straight line with the main camera 100 as the center, and FIG. It shows a configuration enveloping in a 360-degree direction.

이러한 구성을 기반으로, 프로세서(300)는 하나의 메인 카메라(100)에 대응하는 각 보조 카메라(210 ~ 270)를 한 쌍씩 이용하여 산출된 근접 물체까지의 거리들에 대해 평균값을 산출하고, 산출된 평균값을 차량으로부터 근접 물체(S)까지의 거리로 최종 결정할 수 있다.Based on this configuration, the processor 300 calculates an average value for distances to nearby objects calculated by using a pair of each of the auxiliary cameras 210 to 270 corresponding to one main camera 100, and calculates an average value. The obtained average value may be finally determined as the distance from the vehicle to the nearby object S.

이에, 차량에 탑재된 카메라로부터 근접 물체까지 측정한 거리에 대한 오차율을 줄일 수 있다. 이와 같이 본 발명은 자율 주행용 차량에서 고가의 장비를 사용하지 않으면서도, 근접 물체에 대해 충분한 신뢰성을 갖는 정보를 실시간으로 획득할 수 있다.Accordingly, an error rate for a distance measured from a camera mounted on a vehicle to a nearby object may be reduced. As described above, according to the present invention, it is possible to obtain information with sufficient reliability on a nearby object in real time without using expensive equipment in an autonomous vehicle.

다른 실시예로서, 프로세서(300)는 메인 카메라(100)에 대응하는 복수 개의 각 보조 카메라(210 ~ 270)를 한 쌍씩 이용하여 산출된 근접 물체까지의 거리들을 이용하여 근접 물체의 길이, 폭 그리고 높이를 산출할 수 있고, 산출된 근접 물체의 길이, 폭 및 높이를 기반으로 부피를 산출할 수 있다. 근접 물체까지의 거리 산출 이전에, 근접 물체의 외형에 기반한 패턴 인식을 이용하여 근접 물체를 검출하는 방식에 대해서는 앞서 전술한 바 있다. As another embodiment, the processor 300 may determine the length, width, and length of a nearby object by using distances to a nearby object calculated using a pair of each of the plurality of sub-cameras 210 to 270 corresponding to the main camera 100. The height can be calculated, and the volume can be calculated based on the calculated length, width and height of the nearby object. Prior to calculating the distance to the nearby object, the method of detecting the nearby object using pattern recognition based on the appearance of the nearby object has been described above.

이와 같이 본 발명은 메인 카메라(100)에 대응하는 복수 개의 각 보조 카메라(210 ~ 270)를 한 쌍씩 이용하여 근접 물체의 부피까지 산출함으로써, 주행 환경 인지에 정확성을 높이고, 자율 주행의 안정성을 더욱 높일 수 있다.In this way, the present invention increases the accuracy of driving environment recognition and further improves the stability of autonomous driving by calculating the volume of a nearby object by using a pair of each of the plurality of auxiliary cameras 210 to 270 corresponding to the main camera 100. can be raised

도 6은 본 발명의 실시 예에 따른 자율 주행용 차량의 근접 거리 측정 방법을 설명하기 위한 순서도이다.6 is a flowchart illustrating a method for measuring a proximity distance of an autonomous vehicle according to an embodiment of the present invention.

도 6을 참조하면, 자율 주행용 차량의 속도를 감지하고(S100), 상기 감지된 속도를 미리 설정된 소정의 속도 범위(제1 속도 범위)와 비교하여(S110), 감지된 속도가 제1 속도 범위 이상인 경우에는 주행이 종료될 때까지 주행 모드를 실행한다(S120). 주행 모드를 실행하면서도 차량의 속도가 제1 속도 범위 미만으로 감지되는 경우에는 S140 단계로 전환한다.Referring to FIG. 6, the speed of the autonomous driving vehicle is detected (S100), the detected speed is compared with a predetermined speed range (first speed range) set in advance (S110), and the detected speed is the first speed. If it exceeds the range, the driving mode is executed until the driving ends (S120). When the speed of the vehicle is detected to be less than the first speed range while the driving mode is executed, the process is switched to step S140.

S110 단계에서 차량의 감지된 속도가 제1 속도 범위 미만인 경우, 미리 설정된 제2 속도 범위 이하인지 비교하여(S140), 감지된 속도가 제2 속도 범위 이하인 경우에는 근접 모드를 실행한다(S150). 이에, 메인 카메라 및 보조 카메라를 함께 동작 시키고(S160), 메인 카메라로부터 메인 이미지를 획득하고, 상기 보조 카메라로부터 보조 이미지를 획득하여(S170), 차량으로부터 근접 물체까지의 거리를 산출한다(S180).In step S110, if the sensed speed of the vehicle is less than the first speed range, it is compared whether it is equal to or less than the preset second speed range (S140), and if the sensed speed is equal to or less than the second speed range, the proximity mode is executed (S150). Accordingly, the main camera and the auxiliary camera are operated together (S160), the main image is obtained from the main camera, and the auxiliary image is obtained from the auxiliary camera (S170), and the distance from the vehicle to the nearby object is calculated (S180). .

구체적으로, 메인 이미지와 보조 이미지의 각각에서 매칭 포인트를 검출한다. 상기 매칭 포인트는 메인 이미지와 보조 이미지에 기초하여 촬영 대상이 된 근접 물체까지의 거리를 산출할 때 기준이 되는 특징점 또는 특징 영역으로서, 메인 이미지와 보조 이미지의 각각에서 동일한 특징점을 각각 검출한다.Specifically, matching points are detected in each of the main image and the auxiliary image. The matching point is a feature point or feature region that is a standard when calculating a distance to a nearby object to be photographed based on the main image and the auxiliary image, and the same feature point is detected in each of the main image and the auxiliary image.

일 예로, 근접 물체가 차량으로 분석된 경우 메인 이미지와 보조 이미지의 각각에서 검출한 차량의 특정 부품을 임의의 특징점으로 선정하여 이를 매칭 포인트로서 검출할 수 있다. 이에, 메인 이미지와 보조 이미지에서 각각 검출된 매칭 포인트에 기초하여 카메라들에서부터 근접 물체까지의 거리를 산출한다. 일 실시예에서 메인 이미지와 보조 이미지를 정합하여 근접 물체까지의 거리를 측정할 수 있다.For example, when a nearby object is analyzed as a vehicle, a specific part of the vehicle detected in each of the main image and the auxiliary image may be selected as an arbitrary feature point and detected as a matching point. Accordingly, the distances from the cameras to nearby objects are calculated based on the matching points detected in the main image and the auxiliary image, respectively. In one embodiment, the distance to a nearby object may be measured by matching the main image and the auxiliary image.

이와 같이 산출된 근접 물체까지의 거리 정보를 기반으로 주행이 종료될 때까지 자율 주행 차량의 주행을 제어한다(S190). 주행이 종료되기 전까지는 계속 주행 속도를 감지하면서, 주행 속도가 변하는 경우 주행 모드로 변경될 수도 있고, 실시간 주행 속도에 따라 근접 모드를 유지할 수도 있다.Based on the calculated distance information to the nearby object, driving of the autonomous vehicle is controlled until the driving ends (S190). While continuously detecting the driving speed until the driving ends, the driving mode may be changed to a driving mode when the driving speed changes, or the proximity mode may be maintained according to the real-time driving speed.

이와 같은 본 발명의 실시예에 따른 자율 주행용 차량의 근접 거리 측정 장치는 차량의 주행 속도에 따라 주행 모드 또는 근접 모드를 실행하여, 근접 모드에서는 주차나 급정거 시 근접한 물체와 차량 간의 거리를 근접 거리에서도 정밀하게 측정하고, 이를 기반으로 차량의 자율 주행을 안전하게 제어할 수 있다.The apparatus for measuring the proximity distance of an autonomous vehicle according to an embodiment of the present invention executes a driving mode or a proximity mode according to the driving speed of the vehicle, and in the proximity mode, the distance between a nearby object and the vehicle during parking or sudden stop is measured as the proximity distance. It can be precisely measured and based on this, the autonomous driving of the vehicle can be safely controlled.

아울러, 차량이 움직이면서 측정되는 라이다의 데이터는 상대 속도에 따른 오차와 차량의 흔들림으로 발생하는 오차가 발생하기 때문에 정밀도가 떨어지는 반면, 본 발명은 2차원 영상을 획득하여, 정적인 상태(촬영된 영상)에서의 2차원 영상으로부터 3차원의 상대 좌표를 대응시킬 수 있기 때문에 정밀도를 높일 수 있다.In addition, while the LIDAR data measured while the vehicle is moving has low precision due to errors due to relative speed and errors caused by shaking of the vehicle, the present invention acquires a two-dimensional image and Since 3D relative coordinates can be matched from 2D images in images), precision can be increased.

도 7은 본 발명의 다른 실시예에 따른 자율 주행용 차량의 일 실시예를 도시한다. 도 7을 참조하면, 본 발명의 다른 실시예에 따른 자율 주행용 차량은 차량의 외곽 둘레를 따라 구비되는 전방 좌측 카메라군(10), 전방 중심 카메라군(20), 전방 우측 카메라군(30), 우측 사이드 카메라군(40), 좌측 사이드 카메라군(50), 후방 중심 카메라군(60), 및 프로세서(300)를 포함한다. 7 illustrates an embodiment of an autonomous vehicle according to another embodiment of the present invention. Referring to FIG. 7 , an autonomous vehicle according to another embodiment of the present invention includes a front left camera group 10, a front center camera group 20, and a front right camera group 30 provided along the outer circumference of the vehicle. , a right side camera group 40, a left side camera group 50, a rear center camera group 60, and a processor 300.

각 카메라군(10~60)는 전술한 메인 카메라(100)와 보조 카메라(200)가 한 쌍으로 구성된 적어도 하나의 카메라 모듈로 구성될 수 있다. 각 카메라군(10~60)는 프로세서(300)에 의해 동작이 제어될 수 있다.Each of the camera groups 10 to 60 may include at least one camera module including a pair of the main camera 100 and the auxiliary camera 200 described above. Operations of each camera group 10 to 60 may be controlled by the processor 300 .

메인 카메라(100)는 자율 주행 차량이 일반적으로 이용하는 렌즈 카메라로서, 평상시에는 카메라 전방의 영상을 촬영하고 촬영된 영상을 프로세서(300)로 전송함으로써 뷰어 역할을 한다. 이와 달리, 메인 카메라(100)가 프로세서(300)에 의해 차량 근처의 객체와의 거리 산출을 위해 선택되었을 때는, 한 쌍의 조합으로 함께 선택된 보조 카메라(200)와 구동되어 객체와의 거리를 산출하는데 이용된다. The main camera 100 is a lens camera generally used by autonomous vehicles, and functions as a viewer by taking an image in front of the camera and transmitting the captured image to the processor 300 at normal times. In contrast, when the main camera 100 is selected by the processor 300 to calculate the distance to an object near the vehicle, it is driven with the auxiliary camera 200 selected together in a pair combination to calculate the distance to the object. used to do

일 실시예로, 메인 카메라(100)의 화각은 45도 정도로 설정되고, 카메라의 화각을 조정하는 방법은 기술분야에서 통상적으로 알려진 기술을 이용할 수 있다. In one embodiment, the angle of view of the main camera 100 is set to about 45 degrees, and a method commonly known in the art may be used as a method for adjusting the angle of view of the camera.

보조 카메라(200)는 전술한 실시예와 동일하게 핀홀 카메라로 구비되고, 프로세서(300)가 핀홀 밸브 오픈 신호를 핀홀 개폐 밸브(204)로 전송하여 광투과부(202)를 오픈시킴으로써 촬영이 가능하다. 일 실시예로, 보조 카메라(200)의 화각은 45도 정도로 설정된다.The auxiliary camera 200 is provided as a pinhole camera in the same manner as in the above-described embodiment, and the processor 300 transmits a pinhole valve open signal to the pinhole opening/closing valve 204 to open the light transmission unit 202, thereby enabling photographing. . In one embodiment, the angle of view of the auxiliary camera 200 is set to about 45 degrees.

구체적으로, 전방 좌측 카메라군(10)은 전술한 메인 카메라(101~103)와 보조 카메라(201~203)가 한 쌍으로 구성된 카메라 모듈을 복수 개 포함하고, 일 실시예로 제1 카메라 모듈(101, 201), 제2 카메라 모듈(102, 202) 및 제3 카메라 모듈(103, 203)이 차량의 전방 좌측 모서리에 구비될 수 있다.Specifically, the front left camera group 10 includes a plurality of camera modules composed of a pair of the above-described main cameras 101 to 103 and auxiliary cameras 201 to 203, and in one embodiment, the first camera module ( 101 and 201), the second camera module 102 and 202, and the third camera module 103 and 203 may be provided at the front left corner of the vehicle.

전방 중심 카메라군(20)은 메인 카메라(104)와 보조 카메라(204)가 한 쌍으로 구성된 제4 카메라 모듈(104, 204)을 한 개 포함하여 차량의 전방 중심에 구비될 수 있다.The front center camera group 20 includes one fourth camera module 104, 204 composed of a pair of a main camera 104 and an auxiliary camera 204, and may be provided at the front center of the vehicle.

전방 우측 카메라군(30)은 메인 카메라(105~107)와 보조 카메라(205~207)가 한 쌍으로 구성된 카메라 모듈을 복수 개 포함하고 일 실시예로, 제5 카메라 모듈(105, 205), 제6 카메라 모듈(106, 206) 및 제7 카메라 모듈(107, 207)이 차량의 전방 우측 모서리에 구비될 수 있다.The front right camera group 30 includes a plurality of camera modules composed of a pair of main cameras 105 to 107 and auxiliary cameras 205 to 207, and in one embodiment, the fifth camera modules 105 and 205, The sixth camera modules 106 and 206 and the seventh camera modules 107 and 207 may be provided at the right front corner of the vehicle.

우측 사이드 카메라군(40)은 메인 카메라(108, 109)와 보조 카메라(208, 209)가 한 쌍으로 구비된 카메라 모듈을 복수 개 포함하고 일 실시예로, 제8 카메라 모듈(108, 208) 및 제9 카메라 모듈(109, 209)이 차량의 우측 중심 사이드에 구비될 수 있다.The right side camera group 40 includes a plurality of camera modules provided with a pair of main cameras 108 and 109 and auxiliary cameras 208 and 209, and in one embodiment, the eighth camera modules 108 and 208 And a ninth camera module (109, 209) may be provided on the right center side of the vehicle.

좌측 사이드 카메라군(50)은 메인 카메라(111, 112)와 보조 카메라(211, 212)가 한 쌍으로 구비된 카메라 모듈을 복수 개 포함하고 일 실시예로, 제10 카메라 모듈(111, 211) 및 제11 카메라 모듈(112, 212)이 차량의 좌측 중심 사이드에 구비될 수 있다.The left side camera group 50 includes a plurality of camera modules provided with a pair of main cameras 111 and 112 and auxiliary cameras 211 and 212, and in one embodiment, the tenth camera modules 111 and 211 And an eleventh camera module (112, 212) may be provided on the left center side of the vehicle.

후방 중심 카메라군(60)은 메인 카메라(113)와 보조 카메라(213)가 한 쌍으로 구성된 제12 카메라 모듈(113, 213)을 한 개 포함하여 차량의 후방 중심에 구비될 수 있다.The rear center camera group 60 includes one twelfth camera module 113 and 213 composed of a pair of a main camera 113 and an auxiliary camera 213 and may be provided at the rear center of the vehicle.

이와 같이 구성된 자율 주행용 차량의 카메라군을 통해 본 발명의 자율 주행용 차량은 도 11에 도시된 바와 같이 근접 거리 범위(A), 단거리 범위(B), 중거리 범위(C), 장거리 범위(D) 내에 존재하는 객체와 차량 간의 거리를 산출하기 위한 정보를 획득할 수 있다.Through the camera group of the self-driving vehicle configured as described above, the self-driving vehicle of the present invention has a short range (A), a short range (B), a medium range (C), and a long range (D) as shown in FIG. ) Information for calculating a distance between an object existing in the vehicle and the vehicle may be obtained.

즉, 프로세서(300)는 복수의 카메라 모듈 중에서 메인 카메라와 보조 카메라를 측정하고자 하는 거리 범위에 따라 선택적으로 조합하여 한 쌍으로 구동 시킴으로써, 상기 선택된 두 카메라 사이의 이격 거리에 따라 결정되는 측정 가능 거리범위에 존재하는 객체와 차량 간의 거리 정보를 획득할 수 있다.That is, the processor 300 selectively combines a main camera and an auxiliary camera from among a plurality of camera modules according to a distance range to be measured and drives them as a pair, so that the measurable distance determined according to the separation distance between the selected two cameras. Distance information between an object existing in the range and the vehicle may be obtained.

일 실시예로, 프로세서(300)는 제1 카메라 모듈부터 제12 카메라 모듈 각각에 대해 한 쌍의 메인 카메라(100) 및 보조 카메라(200)에 기초하여 근접 거리 범위(A)에 존재하는 객체와 차량간의 거리를 산출할 수 있다. 여기서, 두 대의 카메라를 이용하여 객체까지의 거리를 산출하는 방법에 대해서는 도 3을 참조하여 설명한 바 있으므로, 상세한 설명은 생략하기로 한다.In one embodiment, the processor 300 is based on a pair of main camera 100 and auxiliary camera 200 for each of the first camera module to the twelfth camera module, the object existing in the proximity range (A) and The distance between vehicles can be calculated. Here, since a method of calculating the distance to an object using two cameras has been described with reference to FIG. 3, a detailed description thereof will be omitted.

도 8은 본 발명의 실시예에 의한 자율 주행용 차량에서 거리 측정이 가능한 근접 거리 범위 및 단거리 범위를 도시하는 일 예이다. 8 is an example illustrating a short-distance range and a short-distance range in which a distance can be measured in an autonomous vehicle according to an embodiment of the present invention.

도 8에 도시된 근접 거리 범위(A)에 존재하는 객체와 차량 간의 거리 정보 획득을 위해 프로세서(300)는 하나의 카메라 모듈을 구성하는 한 쌍의 메인 카메라(100) 및 보조 카메라(200)를 함께 동작 시킨다. 하나의 카메라 모듈을 구성하는 한 쌍의 메인 카메라(100) 및 보조 카메라(200)의 화각이 겹치는 부분이 근접 거리 범위가 될 수 있다. To acquire distance information between an object and a vehicle existing in the proximity range A shown in FIG. 8, the processor 300 uses a pair of main camera 100 and auxiliary camera 200 constituting one camera module. work together A part where the angles of view of the pair of main cameras 100 and the auxiliary camera 200 constituting one camera module overlap may be a close distance range.

여기서, 하나의 카메라 모듈을 구성하는 한 쌍의 메인 카메라(100) 및 보조 카메라(200)의 겹치는 화각을 제1 화각으로 설명하기로 하고, 제1 화각은 45도 정도 된다. 하나의 카메라 모듈을 구성하는 한 쌍의 메인 카메라(100)와 보조 카메라(200) 사이의 거리(D)를 제1 이격 거리(L1)로 설명하기로 한다.Here, the overlapping angle of view of the pair of main cameras 100 and the auxiliary camera 200 constituting one camera module will be described as a first angle of view, and the first angle of view is about 45 degrees. The distance D between the pair of main cameras 100 and the auxiliary camera 200 constituting one camera module will be described as a first separation distance L1.

전방 좌측 카메라군(10)에서 근접 거리 범위(A)에 존재하는 객체와의 거리 정보 획득을 위해 제1 카메라 모듈(101, 201), 제2 카메라 모듈(102, 202) 및 제3 카메라 모듈(103, 203) 각각을 모두 동작시키면, 근접 거리 범위(A)에 대응하는 135도 화각의 전방에 대한 커버가 가능하다.In order to obtain distance information with an object existing in the proximity range (A) in the front left camera group 10, the first camera modules 101 and 201, the second camera modules 102 and 202, and the third camera module ( When both 103 and 203) are operated, it is possible to cover the front with a 135-degree field of view corresponding to the close distance range (A).

아울러, 프로세서(300)는 제1 카메라 모듈(101, 201), 제2 카메라 모듈(102, 202) 및 제3 카메라 모듈(103, 203)을 통해 파노라마 촬영을 할 수 있다. 일 실시예로, 프로세서(300)는 제1 메인 카메라(101), 제2 메인 카메라(102) 및 제3 메인 카메라(103)를 통해 촬영한 영상들을 연결하되, 카메라들의 겹치는 화각에 의해 영상에서 겹치는 부분을 소프트웨어 프로그램을 이용하여 삭제 처리함으로써, 파노라마 영상을 획득할 수 있다. In addition, the processor 300 may take a panoramic photograph through the first camera modules 101 and 201 , the second camera modules 102 and 202 , and the third camera modules 103 and 203 . In one embodiment, the processor 300 connects the images taken through the first main camera 101, the second main camera 102, and the third main camera 103, but the overlapping angles of view of the cameras in the image. A panoramic image may be obtained by deleting the overlapping portion using a software program.

전방 우측 카메라군(30)도 마찬가지로 제5 카메라 모듈(105, 205), 제6 카메라 모듈(106, 206) 및 제7 카메라 모듈(107, 207) 각각을 모두 동작시키면, 근접 거리 범위(A)에 대응하는 135도 화각의 전방에 대한 커버가 가능하다. Similarly, in the front right camera group 30, when all of the fifth camera modules 105 and 205, the sixth camera modules 106 and 206, and the seventh camera modules 107 and 207 are operated, the proximity range (A) It is possible to cover the front of the 135 degree angle of view corresponding to .

마찬가지로, 프로세서(300)는 제5 카메라 모듈(105, 205), 제6 카메라 모듈(106, 206) 및 제7 카메라 모듈(107, 207)을 통해 파노라마 촬영을 할 수 있다.Similarly, the processor 300 may take a panoramic photograph through the fifth camera modules 105 and 205 , the sixth camera modules 106 and 206 , and the seventh camera modules 107 and 207 .

도 8에 도시된 단거리 범위(B)에 존재하는 객체와 차량 간의 거리 정보 획득을 위해 프로세서(300)는 제2 이격 거리(L2)로 이격된 두 개의 카메라 모듈 중 일측의 카메라 모듈에서는 메인 카메라를 구동 시키고, 타측의 카메라 모듈에서는 보조 카메라를 구동 시킴으로써, 단거리 범위(B)에 존재하는 객체와의 거리 정보를 획득할 수 있다.In order to obtain distance information between an object and a vehicle existing in the short range B shown in FIG. 8, the processor 300 uses a main camera in one of the two camera modules spaced apart by the second separation distance L2. It is possible to obtain distance information with an object existing in the short distance range (B) by driving and driving an auxiliary camera in the camera module on the other side.

여기서, 인접한 두 개의 카메라 모듈은 제3 카메라 모듈(103, 203) 및 제4 카메라 모듈(104, 204)과 같이 제2 이격 거리(L2)로 이격된 두 개의 카메라 모듈을 의미한다. 제4 카메라 모듈(104, 204)과 제5 카메라 모듈(105, 205)도 제2 이격 거리(L2)로 이격되어 있다.Here, the two adjacent camera modules refer to two camera modules spaced apart by a second separation distance L2, such as the third camera modules 103 and 203 and the fourth camera modules 104 and 204. The fourth camera modules 104 and 204 and the fifth camera modules 105 and 205 are also spaced apart by a second separation distance L2.

구체적으로, 제2 이격 거리(L2)로 이격된 두 개의 카메라 모듈 중 일측 카메라 모듈의 메인 카메라와 타측 카메라 모듈의 보조 카메라를 구동 시켜 이들의 화각이 겹치는 영역을 기반으로 단거리 범위(B)에 존재하는 객체와의 거리 정보를 획득할 수 있다.Specifically, among the two camera modules spaced apart by the second separation distance (L2), the main camera of one camera module and the auxiliary camera of the other camera module are driven, and their angles of view are in the short range (B) based on the overlapping area. It is possible to obtain distance information with an object.

제2 이격 거리(L2)는 전술한 제1 이격 거리(L1) 보다 길고 이에, 제1 이격 거리(L1)에 따라 결정된 근접 거리 범위(A) 보다 제2 이격 거리(L2)에 따라 결정된 단거리 범위(B)가 차량으로부터의 거리가 더 길다.The second separation distance L2 is longer than the above-described first separation distance L1, and therefore, a shorter distance range determined according to the second separation distance L2 than the proximity distance range A determined according to the first separation distance L1. (B) has a longer distance from the vehicle.

도 9는 본 발명의 실시예에 의한 자율 주행용 차량에서 거리 측정이 가능한 중거리 범위를 도시하는 일 예이다. 도 9에 도시된 중거리 범위(C)에 존재하는 객체와 차량 간의 거리 정보 획득을 위해 프로세서(300)는 제3 이격 거리(L3)만큼 이격된 두 개의 카메라 모듈 중 일측의 카메라 모듈에서는 메인 카메라를 구동 시키고, 타측의 카메라 모듈에서는 보조 카메라를 구동 시킴으로써, 중거리 범위(C)에 존재하는 객체와의 거리 정보를 획득할 수 있다.9 is an example illustrating a mid-distance range in which a distance can be measured in an autonomous vehicle according to an embodiment of the present invention. In order to obtain distance information between an object and a vehicle existing in the mid-range range C shown in FIG. 9, the processor 300 uses a main camera in one of the two camera modules spaced apart by the third separation distance L3. It is possible to obtain distance information with an object existing in the middle distance range (C) by driving and driving an auxiliary camera in the camera module on the other side.

여기서, 제3 이격 거리(L3)로 이격된 두 개의 카메라 모듈은 제1 카메라 모듈(101, 201) 및 제10 카메라 모듈(111, 211)과 같이 제3 이격 거리(L3)만큼 이격 구비된 두 개의 카메라 모듈을 의미한다. 마찬가지로, 제7 카메라 모듈(107, 207) 및 제8 카메라 모듈(108, 208)이 제3 이격 거리(L3)만큼 이격되어 있다.Here, the two camera modules spaced apart by the third distance L3 are two spaced apart by the third distance L3, such as the first camera modules 101 and 201 and the tenth camera modules 111 and 211. It means two camera modules. Similarly, the seventh camera modules 107 and 207 and the eighth camera modules 108 and 208 are spaced apart by a third separation distance L3.

구체적으로, 제3 이격 거리(L3)로 이격된 두 개의 카메라 모듈 중 일측 카메라 모듈의 메인 카메라와 타측 카메라 모듈의 보조 카메라를 구동 시켜 이들의 화각이 겹치는 영역을 기반으로 중거리 범위(C)에 존재하는 객체와의 거리 정보를 획득할 수 있다.Specifically, among the two camera modules spaced apart by the third separation distance (L3), the main camera of one camera module and the auxiliary camera of the other camera module are driven, and their angles of view exist in the middle range (C) based on the overlapping area It is possible to obtain distance information with an object.

제3 이격 거리(L3)는 전술한 제2 이격 거리(L2)보다 길고 이에, 제2 이격 거리(L2)에 따라 결정된 단거리 범위(B)보다 제3 이격 거리(L3)에 따라 결정된 중거리 범위(C)가 차량으로부터의 거리가 더 길다.The third separation distance (L3) is longer than the aforementioned second separation distance (L2), and therefore, the middle distance range (( C) has a longer distance from the vehicle.

도 10은 본 발명의 실시예에 의한 자율 주행용 차량에서 거리 측정이 가능한 장거리 범위를 도시하는 일 예이다. 도 10에 도시된 장거리 범위(D)에 존재하는 객체와 차량 간의 거리 정보 획득을 위해 프로세서(300)는 제4 이격 거리(L4)만큼 이격된 두 개의 카메라 모듈 중 일측의 카메라 모듈에서는 메인 카메라를 구동시키고, 타측의 카메라 모듈에서는 보조 카메라를 구동 시킴으로써, 장거리 범위(D)에 존재하는 객체와의 거리 정보를 획득할 수 있다.10 is an example illustrating a long-distance range in which a distance can be measured in an autonomous vehicle according to an embodiment of the present invention. To acquire distance information between an object and a vehicle existing in the long distance range D shown in FIG. 10, the processor 300 uses a main camera in one of the two camera modules spaced apart by the fourth separation distance L4. It is possible to obtain distance information with an object existing in the long-distance range (D) by driving and driving an auxiliary camera in the camera module on the other side.

여기서, 제4 이격 거리(L4)만큼 이격된 두 개의 카메라 모듈은 제3 카메라 모듈(103, 203) 및 제5 카메라 모듈(105, 205)과 같이 제4 이격 거리(L4)로 이격 구비된 두 개의 카메라 모듈을 의미한다.Here, the two camera modules spaced apart by the fourth separation distance L4 are provided with the third camera modules 103 and 203 and the fifth camera modules 105 and 205 spaced apart by the fourth separation distance L4. It means two camera modules.

구체적으로, 제4 이격 거리(L4)로 이격된 두 개의 카메라 모듈 중 일측 카메라 모듈의 메인 카메라와 타측 카메라 모듈의 보조 카메라를 구동 시켜 이들의 화각이 겹치는 영역을 기반으로 장거리 범위(D)에 존재하는 객체와 차량 간의 거리 정보를 획득할 수 있다.Specifically, by driving the main camera of one camera module and the auxiliary camera of the other camera module among the two camera modules spaced apart by the fourth separation distance (L4), their angles of view are overlapped. Exists in the long range (D) It is possible to obtain distance information between a target object and a vehicle.

제4 이격 거리(L4)는 전술한 제3 이격 거리(L3)보다 길고 이에, 제3 이격 거리(L3)에 따라 결정된 중거리 범위(C)보다 제4 이격 거리(L4)에 따라 결정된 장거리 범위(D)가 차량으로부터의 거리가 더 길다.The fourth separation distance (L4) is longer than the aforementioned third separation distance (L3), and therefore, the long distance range ( D) has a longer distance from the vehicle.

본 발명의 자율 주행용 차량의 카메라군은 설계자의 설계에 따라 단거리 범위(B)로서 차량으로부터 0.02 ~ 3m 커버가 가능하고, 중거리 범위(C)로서 차량으로부터 2 ~ 40m 커버가 가능하며, 장거리 범위(D)로서 차량으로부터 30 ~ 100m 정도 커버가 가능할 수 있으며, 이는 일 예 일뿐 각 카메라군이 커버할 수 있는 거리는 설계에 따라 달라질 수 있다.According to the design of the autonomous vehicle, the camera group of the present invention can cover 0.02 ~ 3m from the vehicle as a short range (B), cover 2 ~ 40m from the vehicle as a medium range (C), and long range As (D), it may be possible to cover about 30 to 100 m from the vehicle, and this is just an example, and the distance that each camera group can cover may vary depending on the design.

프로세서(300)는 전술한 방법으로 획득된 차량 주변의 객체와의 거리 정보를 기반으로 자율 주행용 차량을 제어할 수 있다.The processor 300 may control the self-driving vehicle based on distance information with objects around the vehicle obtained in the above-described method.

이와 같이, 본 발명의 실시예에 따른 자율 주행용 차량 카메라군은 차량의 둘레를 따라 구비된 복수의 카메라들을 측정하고자 하는 거리 범위에 따라 선택적으로 조합하여 한 쌍으로 구동 시킴으로써, 선택된 두 카메라 사이의 이격 거리에 따라 결정되는 측정 가능 거리범위에 존재하는 객체와 차량 간의 거리 정보를 획득할 수 있다.In this way, the vehicle camera group for autonomous driving according to an embodiment of the present invention selectively combines a plurality of cameras provided along the circumference of the vehicle according to the distance range to be measured and drives them as a pair, thereby detecting the distance between the two selected cameras. Distance information between an object existing in a measurable distance range determined according to the separation distance and the vehicle may be obtained.

이에 의해, 본 발명의 실시예에 의한 자율 주행용 차량의 카메라군을 통해 차량으로부터 근접 거리, 단거리, 중거리 및 장거리 범위까지 서로 다른 거리 범위에 있는 객체들까지의 거리 정보를 간단하게 획득하여 제공함으로써, 안전한 주행을 보장하고 사고를 예방할 수 있다.Accordingly, by simply acquiring and providing distance information from the vehicle to objects in different distance ranges from the vehicle to near, short, medium, and long distances through the camera group of the autonomous vehicle according to an embodiment of the present invention. , can ensure safe driving and prevent accidents.

도 12 및 도 13은 본 발명의 실시 예에 따른 자율 주행용 차량에 탑재된 복수의 카메라군의 일 예를 도시한다.12 and 13 illustrate an example of a plurality of camera groups mounted on an autonomous vehicle according to an embodiment of the present invention.

앞서, 도 7 내지 도 11을 참조하여 설명한 자율 주행 차량은 차량 주변에 대한 뷰어 기능과 차량으로부터 객체와의 거리를 측정하기 위해 이용하는 카메라 모듈을 총 12개 탑재하고 있다.The self-driving vehicle described above with reference to FIGS. 7 to 11 is equipped with a total of 12 camera modules used to measure a viewer function around the vehicle and a distance from the vehicle to an object.

이와 달리, 도 12에 도시된 자율 주행용 차량은 전방 좌측 카메라군이 4개의 카메라 모듈을 포함하고, 전방 중심 카메라군이 3개의 카메라 모듈을 포함하며, 전방 우측 카메라군이 4개의 카메라 모듈을 포함하고, 우측 사이드 카메라군이 4개의 카메라 모듈을 포함하며, 좌측 사이드 카메라군이 4개의 카메라 모듈을 포함하고, 후방 중심 카메라군이 1개의 카메라 모듈을 포함하여, 총 20개의 카메라 모듈을 탑재하고 있다.12, the front left camera group includes 4 camera modules, the front center camera group includes 3 camera modules, and the front right camera group includes 4 camera modules. The right side camera group includes 4 camera modules, the left side camera group includes 4 camera modules, and the rear center camera group includes 1 camera module, for a total of 20 camera modules. .

여기서, 각 카메라의 화각은 30도 정도로 설정될 수 있다. 이에, 전방 좌측 카메라군은 120도 화각의 뷰어를 구현할 수 있고, 전방 중심 카메라군은 90도 화각의 뷰어를 구현할 수 있으며, 전방 우측 카메라군에 의해 120도 화각의 뷰어를 구현할 수 있고, 마찬가지로 좌측 및 우측 사이드 카메라군에 의해 도 11에 도시된 실시예의 카메라 모듈들 보다 더 넓은 각도의 뷰어, 총 120도 화각의 뷰어를 구현할 수 있다.Here, the angle of view of each camera may be set to about 30 degrees. Accordingly, the front left camera group can implement a viewer with a 120-degree view angle, the front center camera group can implement a viewer with a 90-degree view angle, and the front right camera group can implement a viewer with a 120-degree view angle. And a viewer with a wider angle than the camera modules of the embodiment shown in FIG. 11, a viewer with a total view angle of 120 degrees can be implemented by the right side camera group.

따라서, 도 11에 도시된 자율 주행 차량의 실시예보다 도 12에 도시된 실시예의 자율 주행용 차량은 차량 주변에 대해 더 넓은 범위의 화각을 구현할 수 있고, 이에 따라 더 넓은 범위의 화각에서 차량 주변의 객체를 검출할 수 있고, 상기 객체와의 거리 정보를 획득할 수 있으며, 사각지대를 최소화할 수 있다. Therefore, the self-driving vehicle of the embodiment shown in FIG. 12 can implement a wider range of view angles around the vehicle than the autonomous vehicle embodiment shown in FIG. An object of can be detected, distance information to the object can be obtained, and blind spots can be minimized.

도 13에 도시된 자율 주행용 차량은 전방 좌측 카메라군이 4개의 카메라 모듈을 포함하고, 전방 중심 카메라군이 3개의 카메라 모듈을 포함하며, 전방 우측 카메라군이 4개의 카메라 모듈을 포함하고, 우측 사이드 카메라군이 5개의 카메라 모듈을 포함하며, 좌측 사이드 카메라군이 5개의 카메라 모듈을 포함하고, 후방 중심 카메라군이 1개의 카메라 모듈을 포함하여, 총 22개의 카메라 모듈을 탑재하고 있다.In the autonomous vehicle shown in FIG. 13, the front left camera group includes 4 camera modules, the front center camera group includes 3 camera modules, the front right camera group includes 4 camera modules, and the right front camera group includes 4 camera modules. The side camera group includes 5 camera modules, the left side camera group includes 5 camera modules, and the rear center camera group includes 1 camera module, for a total of 22 camera modules.

여기서, 각 카메라의 화각은 30도 정도로 설정될 수 있다. 이에, 전방 좌측 카메라군에 의해 120도 화각의 뷰어를 구현할 수 있고, 전방 중심 카메라군은 90도 화각의 뷰어를 구현할 수 있으며, 전방 우측 카메라군에 의해 120도 화각의 뷰어를 구현할 수 있고, 마찬가지로 좌측 및 우측 사이드 카메라군에 의해 총 150도 화각의 뷰어를 구현할 수 있다.Here, the angle of view of each camera may be set to about 30 degrees. Accordingly, a viewer with a 120 degree angle of view can be implemented by the front left camera group, a viewer with a 90 degree angle of view can be implemented by the front center camera group, and a viewer with a 120 degree angle of view can be implemented by the front right camera group. A viewer with a total angle of view of 150 degrees can be realized by the left and right side camera groups.

따라서, 도 12에 도시된 자율 주행 차량의 실시예보다 도 13에 도시된 실시예의 자율 주행용 차량은 차량 주변으로 더 넓은 범위의 화각을 구현할 수 있고, 이에 따라 더 넓은 범위의 화각에서 객체를 검출하고 객체와의 거리 정보를 획득할 수 있으며, 사각지대 거의 없는 뷰어를 구현할 수 있다.Therefore, the self-driving vehicle of the embodiment shown in FIG. 13 can implement a wider range of view angles around the vehicle than the autonomous vehicle embodiment shown in FIG. and obtain distance information with the object, and realize a viewer with almost no blind spots.

도 14 내지 도 16은 본 발명의 실시예에 따른 자율 주행용 차량의 카메라군을 실장하는 프레임 구조체의 일 예를 도시하는 도면이다.14 to 16 are diagrams illustrating an example of a frame structure mounting a camera group of an autonomous driving vehicle according to an embodiment of the present invention.

자율 주행용 차량의 카메라군을 실장하는 프레임 구조체(70)는 차량의 적어도 일부에 착탈 가능하게 장착할 수 있도록 프레임의 형태로 구성된다. 일 실시예로, 차량의 적어도 일부의 둘레의 형태와 동일한 형태로 구비될 수 있고, 도 14에서는 차량의 전방과 좌우측 일부의 둘레를 따라 'ㄷ'자 형태로 구비된 일 예를 도시한다.The frame structure 70 for mounting the camera group of the autonomous driving vehicle is configured in the form of a frame so that it can be detachably mounted on at least a part of the vehicle. In one embodiment, it may be provided in the same shape as the shape of the circumference of at least a part of the vehicle, and FIG. 14 shows an example provided in a 'c' shape along the circumference of the front and left and right parts of the vehicle.

도시되지 않았지만, 프레임 구조체(70)를 차량에 착탈 가능하게 장착되도록 하는 장착 수단을 더 포함하여 구성될 수 있고, 장착 수단은 나사, 클립, 장착용 자석 등과 같이 다양한 실시예 중 어느 하나로 구성될 수 있다.Although not shown, the frame structure 70 may be configured to further include mounting means for detachably mounting the frame structure 70 to the vehicle, and the mounting means may be configured with any one of various embodiments such as screws, clips, mounting magnets, and the like. there is.

프레임 구조체(70)의 성분은 차체의 물질과 동일한 물질로 구비될 수 있고, 일 예로 철강, 알루미늄 합금, 탄소강화소재 등으로 구성될 수 있다.Components of the frame structure 70 may be made of the same material as that of the vehicle body, and may be made of, for example, steel, aluminum alloy, carbon-reinforced material, or the like.

전술한 자율 주행용 차량의 외곽 둘레를 따라 구비되는 전방 좌측 카메라군(10), 전방 중심 카메라군(20), 전방 우측 카메라군(30), 우측 사이드 카메라군(40) 및 좌측 사이드 카메라군(50)가 프레임 구조체(70)의 내부에 구비될 수 있고, 각 카메라군을 구성하는 카메라 모듈들의 렌즈 부분에 대응하는 일부는 노출될 수 있다.The front left camera group 10, the front center camera group 20, the front right camera group 30, the right side camera group 40, and the left side camera group ( 50) may be provided inside the frame structure 70, and a portion corresponding to a lens portion of camera modules constituting each camera group may be exposed.

각 카메라군(10~50)은 도 1을 참조하여 설명한 바와 같이 메인 카메라(100)와 보조 카메라(200)가 한 쌍으로 구성된 적어도 하나의 카메라 모듈로 구성될 수 있다.As described with reference to FIG. 1 , each camera group 10 to 50 may include at least one camera module including a pair of a main camera 100 and a sub camera 200 .

여기서, 전방 좌측 카메라군(10)은 차량의 전방 좌측에 수평방향으로 순서대로 배치된 제1 카메라 모듈(101, 201) 제2 카메라 모듈(102, 202) 및 제3 카메라 모듈(103, 203)을 포함하고, 전방 중심 카메라군(20)은 차량의 전방 중심에 제4 카메라 모듈(104, 204)을 포함하며, 전방 우측 카메라군(30)은 차량의 전방 우측 모서리에 순서대로 배치된 제5 카메라 모듈(105, 205) 제6 카메라 모듈(106, 206) 및 제7 카메라 모듈(107, 207)을 포함하며, 우측 사이드 카메라군(40)은 차량의 우측 중심 사이드에 수평방향으로 배치된 제8 카메라 모듈(108, 208) 및 제9 카메라 모듈(109, 209)을 포함하며, 좌측 사이드 카메라군은 차량의 좌측 중심 사이드에 수평방향으로 배치된 제10 카메라 모듈(110, 210) 및 제11 카메라 모듈(111, 211)을 포함하며, 후방 중심 카메라군(50)은 차량의 후방 중심에 제12 카메라 모듈(112, 212)을 포함하여 총 12개의 카메라 모듈을 구비할 수 있다.Here, the front left camera group 10 includes the first camera modules 101 and 201, the second camera modules 102 and 202, and the third camera modules 103 and 203 arranged in order in the horizontal direction on the front left side of the vehicle. , the front center camera group 20 includes the fourth camera modules 104 and 204 at the front center of the vehicle, and the front right camera group 30 includes the fifth camera module 30 arranged in order at the front right corner of the vehicle. The camera modules 105 and 205 include the sixth camera modules 106 and 206 and the seventh camera modules 107 and 207, and the right side camera group 40 is disposed horizontally on the right center side of the vehicle. It includes eight camera modules (108, 208) and a ninth camera module (109, 209), and the left side camera group includes a tenth camera module (110, 210) and an eleventh camera module (110, 210) horizontally disposed on the left center side of the vehicle. It includes the camera modules 111 and 211, and the rear center camera group 50 may include a total of 12 camera modules including the twelfth camera modules 112 and 212 at the rear center of the vehicle.

메인 카메라(100)는 자율 주행용 자동차의 카메라에 주로 채용되는 렌즈(110)로 구성되고, 렌즈(110)를 실장하는 메인 밀폐 하우징(110)을 구비한다. 메인 카메라(100)는 근접 물체에 대한 메인 이미지를 획득할 수 있다.The main camera 100 is composed of a lens 110 mainly used in a camera for autonomous vehicles, and has a main sealed housing 110 mounting the lens 110 thereon. The main camera 100 may obtain a main image of a nearby object.

보조 카메라(200)는 핀홀 카메라로 구비될 수 있고, 메인 카메라(100)와 한 쌍으로 구비되어 보조 이미지를 획득한다. 보조 카메라(200) 전방에 대응하는 위치에 핀홀(201), 핀홀(201)의 전방에 대응하는 일부에 개폐 가능한 광투과부(202), 프로세서(300)의 제어에 의해 광투과부(202)의 개폐를 조절함으로써 핀홀을 외부로부터 개폐하는 핀홀 개폐 밸브(204)로 구성되고, 이들을 실장하는 보조 밀폐 하우징(205)을 구비한다.The auxiliary camera 200 may be provided as a pinhole camera, and is provided as a pair with the main camera 100 to acquire auxiliary images. A pinhole 201 at a position corresponding to the front of the auxiliary camera 200, a light-transmitting part 202 capable of being opened and closed at a part corresponding to the front of the pinhole 201, and opening and closing of the light-transmitting part 202 under the control of the processor 300 It consists of a pinhole opening and closing valve 204 that opens and closes the pinhole from the outside by adjusting, and is provided with a secondary sealing housing 205 for mounting them.

프로세서(300)는 상기 복수의 카메라 모듈 중에서 메인 카메라와 보조 카메라를 측정하고자 하는 거리 범위에 따라 선택적으로 조합하여 한 쌍으로 구동 시킴으로써, 상기 선택된 두 카메라 사이의 이격 거리에 따라 결정되는 측정 가능 거리범위에 존재하는 객체와 상기 차량 간의 거리 정보를 획득할 수 있다. 이에 대해서는 도 11 내지 도 13을 참조한 설명을 참고하기로 한다.The processor 300 selectively combines a main camera and an auxiliary camera from among the plurality of camera modules according to a distance range to be measured and drives them as a pair, so that the measurable distance range determined according to the separation distance between the selected two cameras. Distance information between an object existing in and the vehicle may be obtained. For this, reference will be made to the description with reference to FIGS. 11 to 13 .

프레임 구조체(70)는 전술한 'ㄷ'자 형태의 프레임 구조체(70)와 다른 구조의 실시예로 'ㅁ'자 형태로 구비되면, 전방 좌측 카메라군(10), 전방 중심 카메라군(20), 전방 우측 카메라군(30), 우측 사이드 카메라군(40) 및 좌측 사이드 카메라군(50)와 더불어 후방 중심 카메라군(60)까지 일체형 프레임에 실장할 수 있다.The frame structure 70 is an embodiment of a structure different from the above-described 'C'-shaped frame structure 70, and if provided in a 'C' shape, the front left camera group 10 and the front center camera group 20 , The front right camera group 30, the right side camera group 40, and the left side camera group 50, as well as the rear center camera group 60 can be mounted on an integrated frame.

아울러, 프레임 구조체(70)의 각 변은 차량의 크기에 따라 일체형 프레임의 크기를 조절하여 차량에 장착할 수 있는 슬라이드 구조로 구비되거나, 신축이 가능한 링크 연결 구조로 구비될 수 있다. 한편, 프레임 구조체(70)를 구현하는 일 예는 상기한 슬라이드식이나 링크 구조에 한정되지 않고, 다양한 다른 실시예로 구현되는 것도 가능하다.In addition, each side of the frame structure 70 may be provided as a slide structure that can be mounted on a vehicle by adjusting the size of the integral frame according to the size of the vehicle, or may be provided as a link connection structure that can be stretched. On the other hand, an example of implementing the frame structure 70 is not limited to the above-described slide type or link structure, and may be implemented in various other embodiments.

이와 같은 본 발명의 실시예에 의한 프레임 구조체는 차량에 착탈이 용이하고, 복수의 카메라들 간 축 정렬의 신뢰도를 높일 수 있다.The frame structure according to the embodiment of the present invention can be easily attached to and detached from a vehicle, and reliability of axis alignment between a plurality of cameras can be increased.

도 15를 참조하면, 자율 주행용 차량의 카메라군을 실장하는 프레임 구조체(70)는 내부에 각 카메라를 클리닝하기 위해 이용되는 에어 펌프(81), 에어 탱크(82) 및 용제액을 구비하는 용제부(83)를 탑재할 수 있고, 일체형 프레임(70) 내부에 탑재되는 각 구성에 전원을 공급하는 파워부(84)를 더 탑재할 수 있다.Referring to FIG. 15, a frame structure 70 for mounting a camera group of an autonomous driving vehicle has an air pump 81 used to clean each camera therein, an air tank 82, and a solvent having a solvent solution. The unit 83 may be mounted, and a power unit 84 for supplying power to each component mounted inside the integrated frame 70 may be further mounted.

일 실시예로, 각 카메라를 클리닝하기 위해 에어 펌프(81)에서 압축 공기를 생성하고, 생성된 압축 공기를 에어 탱크(82)에 저장하며, 에어 탱크(82)로부터 말단이 카메라 전면을 향한 노즐과 연결된 공기 파이프를 통해 압축 공기가 전달될 수 있다. 이때, 공기 파이프에 연결된 에어 밸브가 프로세서(300)에 의해 제어되어 에어 탱크(82)와 노즐 간의 압축 공기의 이동이 결정된다. 노즐로부터 분사되는 압축 공기에 의해 카메라 전면의 이물질이 블래스팅되어 클리닝을 실행할 수 있다. 이때, 용제부(83)에 구비된 용제액을 클리닝 실행시 이용할 수 있다.In one embodiment, compressed air is generated in an air pump 81 to clean each camera, the generated compressed air is stored in an air tank 82, and a nozzle with an end facing the front of the camera from the air tank 82 Compressed air may be delivered through an air pipe connected to the At this time, the air valve connected to the air pipe is controlled by the processor 300 to determine the movement of the compressed air between the air tank 82 and the nozzle. Compressed air sprayed from the nozzle blasts foreign substances on the front of the camera to perform cleaning. At this time, the solvent solution provided in the solvent unit 83 may be used during cleaning.

도 16은 자율 주행용 차량의 카메라군을 실장하는 프레임 구조체(70)에 실장된 전방 좌측 카메라군(10), 전방 중심 카메라군(20), 전방 우측 카메라군(30), 우측 사이드 카메라군(40), 좌측 사이드 카메라군(50) 및 후방 중심 카메라군(60)가 하나의 프로세서(300)에 연결되는 전기적 배선의 일 예를 도시한다. 16 shows a front left camera group 10, a front center camera group 20, a front right camera group 30, and a right side camera group ( 40) shows an example of electrical wiring in which the left side camera group 50 and the rear center camera group 60 are connected to one processor 300.

본 발명에 따른 방법 및 장치는 하나 이상의 프로세서로 하여금 앞서 설명한 기능들과 프로세서를 수행하도록 하는 명령에 의하여 구동될 수 있다. Methods and apparatus according to the present invention may be driven by instructions that cause one or more processors to perform the functions and processors described above.

예를 들어 그러한 명령으로는, 예컨대 JavaScript나 ECMAScript 명령 등의 스크립트 명령과 같은 해석되는 명령이나 실행 가능한 코드 혹은 컴퓨터로 판독 가능한 매체에 저장되는 기타의 명령이 포함될 수 있다. 나아가 본 발명에 따른 장치는 서버 팜(Server Farm)과 같이 네트워크에 걸쳐서 분산형으로 구현될 수 있으며, 혹은 단일의 컴퓨터 장치에서 구현될 수도 있다.For example, such instructions may include interpreted instructions, such as script instructions such as JavaScript or ECMAScript instructions, or executable code or other instructions stored on a computer readable medium. Furthermore, the device according to the present invention may be implemented in a distributed manner over a network, such as a server farm, or may be implemented in a single computer device.

비록 본 명세서와 도면에서는 예시적인 장치 구성을 기술하고 있지만, 본 명세서에서 설명하는 기능적인 동작과 주제의 구현물들은 다른 유형의 디지털 전자 회로로 구현되거나, 본 명세서에서 개시하는 구조 및 그 구조적인 등가물들을 포함하는 컴퓨터 소프트웨어, 펌웨어 혹은 하드웨어로 구현되거나, 이들 중 하나 이상의 결합으로 구현 가능하다. 본 명세서에서 설명하는 주제의 구현물들은 하나 이상의 컴퓨터 프로그램 제품, 다시 말해 본 발명에 따른 장치의 동작을 제어하기 위하여 혹은 이것에 의한 실행을 위하여 유형의 프로그램 저장매체 상에 인코딩된 컴퓨터 프로그램 명령에 관한 하나 이상의 모듈로서 구현될 수 있다. 컴퓨터로 판독 가능한 매체는 기계로 판독 가능한 저장 장치, 기계로 판독 가능한 저장 기판, 메모리 장치, 기계로 판독 가능한 전파형 신호에 영향을 미치는 물질의 조성물 혹은 이들 중 하나 이상의 조합일 수 있다.Although this specification and figures describe exemplary device configurations, implementations of the subject matter and functional operations described herein may be implemented in other types of digital electronic circuitry, or may be implemented in other types of digital electronic circuitry, or may include the structures disclosed herein and their structural equivalents. It may be implemented as computer software, firmware, or hardware, or a combination of one or more of them. Implementations of the subject matter described herein relate to one or more computer program products, that is to say computer program instructions encoded on a tangible program storage medium for execution by or for controlling the operation of an apparatus according to the present invention. It can be implemented as more than one module. A computer readable medium may be a machine readable storage device, a machine readable storage substrate, a memory device, a composition of matter that affects a machine readable propagating signal, or a combination of one or more of these.

본 명세서에서 설명한 주제의 구현물은 예컨대 데이터 서버와 같은 백엔드 컴포넌트를 포함하거나, 예컨대 어플리케이션 서버와 같은 미들웨어 컴포넌트를 포함하거나, 예컨대 사용자가 본 명세서에서 설명한 주제의 구현물과 상호 작용할 수 있는 웹 브라우저나 그래픽 유저 인터페이스를 갖는 클라이언트 컴퓨터와 같은 프론트엔드 컴포넌트 혹은 그러한 백엔드, 미들웨어 혹은 프론트엔드 컴포넌트의 하나 이상의 모든 조합을 포함하는 연산 시스템에서 구현될 수 있다. 시스템의 컴포넌트는 예컨대 통신 네트워크와 같은 디지털 데이터 통신의 어떠한 형태나 매체에 의해서도 상호 접속 가능하다.Implementations of the subject matter described herein may include back-end components, such as, for example, data servers, or may include middleware components, such as, for example, application servers, or may include, for example, web browsers or graphical users through which users may interact with implementations of the subject matter described herein. It may be implemented in a computing system that includes a front-end component such as a client computer having an interface or any combination of one or more of such back-ends, middleware or front-end components. The components of the system are interconnectable by any form or medium of digital data communication, such as, for example, a communication network.

본 명세서는 다수의 특정한 구현물의 세부사항들을 포함하지만, 이들은 어떠한 발명이나 청구 가능한 것의 범위에 대해서도 제한적인 것으로서 이해되어서는 안되며, 오히려 특정한 발명의 특정한 실시형태에 특유할 수 있는 특징들에 대한 설명으로서 이해되어야 한다. 개별적인 실시형태의 문맥에서 본 명세서에 기술된 특정한 특징들은 단일 실시형태에서 조합하여 구현될 수도 있다. 반대로, 단일 실시형태의 문맥에서 기술한 다양한 특징들 역시 개별적으로 혹은 어떠한 적절한 하위 조합으로도 복수의 실시형태에서 구현 가능하다. 나아가, 특징들이 특정한 조합으로 동작하고 초기에 그와 같이 청구된 바와 같이 묘사될 수 있지만, 청구된 조합으로부터의 하나 이상의 특징들은 일부 경우에 그 조합으로부터 배제될 수 있으며, 그 청구된 조합은 하위 조합이나 하위 조합의 변형물로 변경될 수 있다.Although this specification contains many specific implementation details, they should not be construed as limiting on the scope of any invention or what is claimed, but rather as a description of features that may be unique to a particular embodiment of a particular invention. It should be understood. Certain features that are described in this specification in the context of separate embodiments may also be implemented in combination in a single embodiment. Conversely, various features that are described in the context of a single embodiment can also be implemented in multiple embodiments individually or in any suitable subcombination. Further, while features may operate in particular combinations and be initially depicted as such claimed, one or more features from a claimed combination may in some cases be excluded from that combination, and the claimed combination is a subcombination. or sub-combination variations.

마찬가지로, 특정한 순서로 도면에서 동작들을 묘사하고 있지만, 이는 바람직한 결과를 얻기 위하여 도시된 그 특정한 순서나 순차적인 순서대로 그러한 동작들을 수행하여야 한다거나 모든 도시된 동작들이 수행되어야 하는 것으로 이해되어서는 안 된다. 특정한 경우, 멀티태스킹과 병렬 프로세싱이 유리할 수 있다. 또한, 상술한 실시형태의 다양한 시스템 컴포넌트의 분리는 그러한 분리를 모든 실시형태에서 요구하는 것으로 이해되어서는 안되며, 설명한 프로그램 컴포넌트와 시스템들은 일반적으로 단일의 소프트웨어 제품으로 함께 통합되거나 다중 소프트웨어 제품에 패키징될 수 있다는 점을 이해하여야 한다.Similarly, while actions are depicted in the drawings in a particular order, it should not be construed as requiring that those actions be performed in the specific order shown or in the sequential order, or that all depicted actions must be performed to obtain desired results. In certain cases, multitasking and parallel processing can be advantageous. Further, the separation of various system components in the embodiments described above should not be understood as requiring such separation in all embodiments, and the program components and systems described may generally be integrated together into a single software product or packaged into multiple software products. You have to understand that you can.

본 명세서에서 설명한 주제의 특정한 실시형태를 설명하였다. 기타의 실시형태들은 이하의 청구항의 범위 내에 속한다. 예컨대, 청구항에서 인용된 동작들은 상이한 순서로 수행되면서도 여전히 바람직한 결과를 성취할 수 있다. 일 예로서, 첨부도면에 도시한 프로세스는 바람직한 결과를 얻기 위하여 반드시 그 특정한 도시된 순서나 순차적인 순서를 요구하지 않는다. 특정한 구현 예에서, 멀티태스킹과 병렬 프로세싱이 유리할 수 있다.Specific embodiments of the subject matter described herein have been described. Other embodiments are within the scope of the following claims. For example, the actions recited in the claims can be performed in a different order and still achieve desirable results. As an example, the processes depicted in the accompanying drawings do not necessarily require the specific depicted order or sequential order in order to obtain desirable results. In certain implementations, multitasking and parallel processing may be advantageous.

본 기술한 설명은 본 발명의 최상의 모드를 제시하고 있으며, 본 발명을 설명하기 위하여, 그리고 당업자가 본 발명을 제작 및 이용할 수 있도록 하기 위한 예를 제공하고 있다. 이렇게 작성된 명세서는 그 제시된 구체적인 용어에 본 발명을 제한하는 것이 아니다. 따라서, 상술한 예를 참조하여 본 발명을 상세하게 설명하였지만, 당업자라면 본 발명의 범위를 벗어나지 않으면서도 본 예들에 대한 개조, 변경 및 변형을 가할 수 있다.The present description presents the best mode of the invention and provides examples to illustrate the invention and to enable those skilled in the art to make and use the invention. The specification thus prepared does not limit the invention to the specific terms presented. Therefore, although the present invention has been described in detail with reference to the above-described examples, those skilled in the art may make alterations, changes, and modifications to the present examples without departing from the scope of the present invention.

따라서 본 발명의 범위는 설명된 실시 예에 의하여 정할 것이 아니고 특허청구범위에 의해 정하여져야 한다.Therefore, the scope of the present invention should not be determined by the described embodiments, but by the claims.

100: 메인 카메라
200: 보조 카메라
300: 프로세서100: main camera
200: auxiliary camera
300: processor

Claims

차량의 적어도 일부에 착탈 가능하게 구비된 프레임 구조체;
상기 프레임 구조체의 적어도 일부에 설치되는 하나 이상의 카메라군; 및
상기 카메라군에 전기적 배선을 통해 연결되어, 상기 카메라군의 영상 촬영을 제어하는 프로세서를 포함하여 구성되는 것을 특징으로 하는 자율 주행 차량.A frame structure detachably provided to at least a portion of the vehicle;
one or more camera groups installed on at least a part of the frame structure; and
The self-driving vehicle characterized in that it is configured to include a processor connected to the camera group through electrical wiring and controlling image capture of the camera group.

제 1 항에 있어서,
상기 프레임 구조체는,
상기 차량의 크기에 따라 상기 프레임 구조체의 길이를 조절하여 장착 가능 하도록 슬라이드 구조 또는 신축이 가능한 링크 연결 구조로 구비되는 것을 특징으로 하는 자율 주행 차량.According to claim 1,
The frame structure,
An autonomous vehicle characterized in that it is provided with a slide structure or an extensible link connection structure so that the length of the frame structure can be adjusted and mounted according to the size of the vehicle.

제 1 항에 있어서,
상기 프레임 구조체는,
상기 카메라군을 클리닝하기 위해 이용되는 에어 펌프, 에어 탱크, 용제부 및 상기 프레임 구조체에 설치되는 각 구성에 전원을 공급하는 파워부를 더 탑재하는 것을 특징으로 하는 자율 주행 차량.According to claim 1,
The frame structure,
An air pump used to clean the camera group, an air tank, a solvent unit, and a power unit for supplying power to each component installed in the frame structure are further mounted.

제 3 항에 있어서,
상기 프로세서는,
상기 에어 펌프를 통해 압축 공기를 생성하고, 상기 생성된 압축 공기를 상기 에어 탱크에 저장하며, 상기 에어 탱크로부터 말단이 카메라 전면을 향한 노즐과 연결된 공기 파이프를 통해 상기 압축 공기가 전달함으로써,
상기 노즐로부터 분사되는 압축 공기에 의해 카메라 전면의 이물질을 블래스팅시켜 클리닝을 실행하는 것을 특징으로 하는 자율 주행 차량.According to claim 3,
the processor,
Generating compressed air through the air pump, storing the generated compressed air in the air tank, and delivering the compressed air from the air tank through an air pipe connected to a nozzle with an end facing the front of the camera,
The self-driving vehicle characterized in that cleaning is performed by blasting foreign substances on the front of the camera with compressed air sprayed from the nozzle.

제 1 항에 있어서,
상기 카메라군은,
상기 프레임 구조체의 둘레를 따라 탑재된 전방 좌측 카메라군, 전방 중심 카메라군, 전방 우측 카메라군, 우측 사이드 카메라군, 좌측 사이드 카메라군 및 후방 중심 카메라군을 포함하고,
상기 각 카메라군은 메인 카메라와 보조 카메라가 한 쌍으로 구성된 적어도 하나의 카메라 모듈로 구성되는 것을 특징으로 하는 자율 주행 차량.According to claim 1,
The camera group,
A front left camera group, a front center camera group, a front right camera group, a right side camera group, a left side camera group, and a rear center camera group mounted along the periphery of the frame structure;
The self-driving vehicle, characterized in that each camera group is composed of at least one camera module consisting of a pair of a main camera and an auxiliary camera.

제 5 항에 있어서,
상기 전방 좌측 카메라군은 상기 차량의 전방 좌측에 수평방향으로 배치된 제1 카메라 모듈 제2 카메라 모듈 및 제3 카메라 모듈을 포함하고,
상기 전방 중심 카메라군은 상기 차량의 전방 중심에 제4 카메라 모듈을 포함하며,
상기 전방 우측 카메라군은 상기 차량의 전방 우측 모서리에 수평방향으로 배치된 제5 카메라 모듈, 제6 카메라 모듈 및 제7 카메라 모듈을 포함하며,
상기 우측 사이드 카메라군은 상기 차량의 우측 중심 사이드에 수평방향으로 배치된 제8 카메라 모듈 및 제9 카메라 모듈을 포함하며,
상기 좌측 사이드 카메라군은 상기 차량의 좌측 중심 사이드에 수평방향으로 배치된 제10 카메라 모듈 및 제11 카메라 모듈을 포함하며,
상기 후방 중심 카메라군은 상기 차량의 후방 중심에 제12 카메라 모듈을 포함하는 것을 특징으로 하는 자율 주행 차량.According to claim 5,
The front left camera group includes a first camera module, a second camera module, and a third camera module disposed horizontally on the front left side of the vehicle,
The front center camera group includes a fourth camera module at the front center of the vehicle,
The front right camera group includes a fifth camera module, a sixth camera module, and a seventh camera module disposed horizontally at the front right corner of the vehicle,
The right side camera group includes an eighth camera module and a ninth camera module disposed horizontally on the right center side of the vehicle,
The left side camera group includes a 10th camera module and an 11th camera module horizontally arranged on the left center side of the vehicle,
The self-driving vehicle, characterized in that the rear center camera group includes a twelfth camera module at the rear center of the vehicle.

제 5 항에 있어서,
상기 프로세서는,
상기 복수의 카메라 모듈 중에서 상기 메인 카메라와 상기 보조 카메라를 측정하고자 하는 거리 범위에 따라 선택적으로 조합하여 한 쌍으로 구동 시킴으로써, 상기 선택된 두 카메라 사이의 이격 거리에 따라 결정되는 측정 가능 거리범위에 존재하는 객체와 상기 차량 간의 거리 정보를 획득하는 것을 특징으로 하는 자율 주행 차량.According to claim 5,
the processor,
Among the plurality of camera modules, by selectively combining the main camera and the auxiliary camera according to the distance range to be measured and driving them as a pair, existing in the measurable distance range determined according to the separation distance between the selected two cameras An autonomous vehicle characterized in that obtaining distance information between an object and the vehicle.

제 5 항에 있어서,
상기 메인 카메라는 렌즈 카메라로 구비되고,
상기 메인 카메라를 통해 촬영된 영상 데이터를 가공하여 가공된 데이터를 상기 프로세서로 전송하는 이미지 프로세싱 유닛; 및
상기 메인 카메라를 밀폐하는 메인 밀폐 하우징;을 더 포함하는 것을 특징으로 하는 자율 주행 차량.According to claim 5,
The main camera is provided as a lens camera,
an image processing unit processing image data taken by the main camera and transmitting the processed data to the processor; and
The self-driving vehicle further comprising a main sealing housing for sealing the main camera.

제 5 항에 있어서,
상기 보조 카메라는 전방에 핀홀이 형성된 핀홀 카메라로 구비되고,
상기 핀홀을 밀폐하고, 상기 핀홀의 전방에 대응하는 일부에 개폐 가능한 광투과부를 포함하는 보조 밀폐 하우징; 및
상기 프로세서의 제어에 의해 상기 광투과부의 개폐를 조절함으로써, 상기 핀홀을 개폐하는 핀홀 개폐 밸브;를 더 포함하는 것을 특징으로 하는 자율 주행 차량.
According to claim 5,
The auxiliary camera is provided as a pinhole camera with a pinhole formed in the front,
a secondary sealing housing that seals the pinhole and includes an openable and openable light transmission part at a portion corresponding to the front of the pinhole; and
The autonomous vehicle may further include a pinhole opening/closing valve configured to open/close the pinhole by controlling opening/closing of the light transmission part under the control of the processor.