KR20180085532A - A camera system for ADAS, system and method for collision avoidance - Google Patents
A camera system for ADAS, system and method for collision avoidance Download PDFInfo
- Publication number
- KR20180085532A KR20180085532A KR1020170009176A KR20170009176A KR20180085532A KR 20180085532 A KR20180085532 A KR 20180085532A KR 1020170009176 A KR1020170009176 A KR 1020170009176A KR 20170009176 A KR20170009176 A KR 20170009176A KR 20180085532 A KR20180085532 A KR 20180085532A
- Authority
- KR
- South Korea
- Prior art keywords
- vehicle
- voltage
- camera system
- collision
- data
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 56
- 102100034112 Alkyldihydroxyacetonephosphate synthase, peroxisomal Human genes 0.000 title claims 2
- 101000799143 Homo sapiens Alkyldihydroxyacetonephosphate synthase, peroxisomal Proteins 0.000 title claims 2
- 238000000848 angular dependent Auger electron spectroscopy Methods 0.000 title claims 2
- 230000015654 memory Effects 0.000 claims description 69
- 238000004891 communication Methods 0.000 claims description 32
- 230000006870 function Effects 0.000 claims description 27
- 230000008859 change Effects 0.000 claims description 16
- 238000012545 processing Methods 0.000 claims description 15
- 230000003044 adaptive effect Effects 0.000 claims description 11
- 238000001514 detection method Methods 0.000 claims description 11
- 230000000116 mitigating effect Effects 0.000 claims description 6
- 230000002265 prevention Effects 0.000 abstract description 4
- 230000001276 controlling effect Effects 0.000 description 16
- 239000000725 suspension Substances 0.000 description 16
- 230000008569 process Effects 0.000 description 12
- 238000010586 diagram Methods 0.000 description 10
- MTLMVEWEYZFYTH-UHFFFAOYSA-N 1,3,5-trichloro-2-phenylbenzene Chemical compound ClC1=CC(Cl)=CC(Cl)=C1C1=CC=CC=C1 MTLMVEWEYZFYTH-UHFFFAOYSA-N 0.000 description 7
- 230000001133 acceleration Effects 0.000 description 7
- 238000003860 storage Methods 0.000 description 5
- 230000000875 corresponding effect Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 238000002372 labelling Methods 0.000 description 4
- 238000012544 monitoring process Methods 0.000 description 4
- VTLYHLREPCPDKX-UHFFFAOYSA-N 1,2-dichloro-3-(2,3-dichlorophenyl)benzene Chemical compound ClC1=CC=CC(C=2C(=C(Cl)C=CC=2)Cl)=C1Cl VTLYHLREPCPDKX-UHFFFAOYSA-N 0.000 description 3
- 230000003466 anti-cipated effect Effects 0.000 description 3
- 230000006399 behavior Effects 0.000 description 3
- 238000005452 bending Methods 0.000 description 3
- 230000002093 peripheral effect Effects 0.000 description 3
- 241001465754 Metazoa Species 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 230000008878 coupling Effects 0.000 description 2
- 238000010168 coupling process Methods 0.000 description 2
- 238000005859 coupling reaction Methods 0.000 description 2
- 238000013016 damping Methods 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 239000000835 fiber Substances 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 239000000758 substrate Substances 0.000 description 2
- 108091033322 FsrA Proteins 0.000 description 1
- 239000006096 absorbing agent Substances 0.000 description 1
- 230000004308 accommodation Effects 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- QVGXLLKOCUKJST-UHFFFAOYSA-N atomic oxygen Chemical compound [O] QVGXLLKOCUKJST-UHFFFAOYSA-N 0.000 description 1
- 230000004397 blinking Effects 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 239000000428 dust Substances 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 229910052760 oxygen Inorganic materials 0.000 description 1
- 239000001301 oxygen Substances 0.000 description 1
- 230000010363 phase shift Effects 0.000 description 1
- 230000035939 shock Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- H04N5/2251—
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W10/00—Conjoint control of vehicle sub-units of different type or different function
- B60W10/20—Conjoint control of vehicle sub-units of different type or different function including control of steering systems
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
- B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
- B60W30/09—Taking automatic action to avoid collision, e.g. braking and steering
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/10—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to vehicle motion
- B60W40/105—Speed
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
- G02B7/003—Alignment of optical elements
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
- G02B7/02—Mountings, adjusting means, or light-tight connections, for optical elements for lenses
- G02B7/021—Mountings, adjusting means, or light-tight connections, for optical elements for lenses for more than one lens
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/50—Constructional details
- H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
-
- H04N5/2254—
-
- H04N5/2257—
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
- B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
- B60W2420/403—Image sensing, e.g. optical camera
-
- B60W2420/42—
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Transportation (AREA)
- Mechanical Engineering (AREA)
- Automation & Control Theory (AREA)
- General Physics & Mathematics (AREA)
- Optics & Photonics (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Mathematical Physics (AREA)
- Combustion & Propulsion (AREA)
- Chemical & Material Sciences (AREA)
- Traffic Control Systems (AREA)
Abstract
Description
본 발명은 ADAS를 위한 카메라 시스템과, 충돌 방지 시스템 및 방법에 관한 것으로, 주변차량과의 충돌위험을 판단하여 충돌위험이 있는 타겟 차량을 검출하고, 자차량의 속도 및 조향을 제어하여 타겟 차량과의 충돌 회피할 수 있는 ADAS를 위한 카메라 시스템과, 충돌 방지 시스템 및 방법에 관한 것이다.The present invention relates to a camera system for an ADAS and a collision avoidance system and method. The collision avoidance system detects a collision risk with a neighboring vehicle to detect a collision risked target vehicle, controls the speed and steering of the collision target, And more particularly, to a camera system and an anti-collision system and method for an ADAS capable of collision avoidance.
ADAS(Advanced Driving Assistance System)란 운전자를 운전을 보조하기 위한 첨단 운전자 보조 시스템으로서, 전방의 상황을 센싱하고, 센싱된 결과에 기초하여 상황을 판단하고, 상황 판단에 기초하여 차량의 거동을 제어하는 것으로 구성된다. 예를 들어, ADAS 센서 장치는 전방의 차량을 감지하고, 차선을 인식한다. 이후 목표 차선이나 목표 속도 및 전방의 타겟이 판단되면, 차량의 ESC(Electrical Stability Control), EMS(Engine Management System), MDPS(Motor Driven Power Steering) 등이 제어된다. 대표적으로, ADAS는 자동 주차 시스템, 저속 시내 주행 보조 시스템, 사각 지대 경고 시스템 등으로 구현될 수 있다. ADAS에서 전방의 상황을 센싱하기 위한 센서 장치는 GPS 센서, 레이저 스캐너, 전방 레이더, Lidar 등인데 가장 대표적인 것은 차량의 전방을 촬영하기 위한 전방 카메라이다.Advanced Driver Assistance System (ADAS) is a state-of-the-art driver assistance system that assists the driver in driving. It senses the situation ahead, determines the situation based on the sensed result, and controls the behavior of the vehicle . For example, the ADAS sensor device senses the vehicle ahead and recognizes the lane. When the target lane, the target speed and the target in the forward direction are determined, the ESC (Electrical Stability Control), EMS (Engine Management System), MDPS (Motor Driven Power Steering) and the like of the vehicle are controlled. Typically, the ADAS can be implemented with an automatic parking system, a low-speed in-the-street driving assistance system, and a blind zone warning system. The sensor devices for sensing the situation ahead of the ADAS are GPS sensors, laser scanners, front radar, and Lidar. The most representative ones are front cameras for photographing the front of the vehicle.
운전 보조를 넘어 자율주행을 위해서는 자차량과 주변차량들 과의 충돌 회피가 보장되어야 한다. 기존의 긴급제동 시스템은 전방의 충돌 위험 요소들과 자차량의 상대속도, 상대가속도를 계산하여 충돌 시점을 확인하고, 자차량의 제동 제어하여 충돌을 회피할 수 있다. 그러나, 전방 차량과의 충돌 회피를 위해서 종방향(가속 또는 감속) 제어만을 수행하고 있어, 위험 상황의 발생 시 전방 차량과의 충돌 회피에 한계가 있다.For autonomous driving beyond driving assistance, collision avoidance between the vehicle and the surrounding vehicles must be ensured. In the existing emergency braking system, the collision risk factors, the relative speed of the vehicle, and the relative acceleration are calculated to check the collision point, and the collision can be avoided by controlling the braking of the vehicle. However, only vertical direction (acceleration or deceleration) control is performed for avoiding collision with the preceding vehicle, and there is a limit to collision avoidance with the preceding vehicle in the event of a dangerous situation.
본 발명은 ADAS를 위한 전방 카메라 시스템에서 이용될 수 있는 전압 로직, 메모리 로직을 제공하는 것을 그 목적으로 한다.The present invention aims at providing voltage logic, memory logic that can be used in a front camera system for ADAS.
또한, 본 발명은 ADAS를 위한 전방 카메라 시스템에서 렌즈 배럴 및 렌즈 홀더를 결합시킬 수 있는 방식을 제공하는 것을 그 목적으로 한다.It is also an object of the present invention to provide a method of combining a lens barrel and a lens holder in a front camera system for ADAS.
또한, 본 발명은 자차량의 조향을 제어하여 타겟 차량과의 충돌을 회피할 수 있는 충돌 방지 시스템 및 방법을 제공하는 것을 그 목적으로 한다.It is another object of the present invention to provide an anti-collision system and method that can control the steering of a vehicle to avoid collision with a target vehicle.
또한, 본 발명은 자차량의 속도를 제어하여 타겟 차량과의 충돌을 회피할 수 있는 충돌 방지 시스템 및 방법을 제공하는 것을 그 목적으로 한다.It is another object of the present invention to provide an anti-collision system and method capable of controlling collision with a target vehicle by controlling the speed of the vehicle.
또한, 본 발명은 옆 차로 차량의 차로 변경 시 자차량의 속도, 제동 및 조향 중 하나 이상을 제어하여 옆 차로에서 끼어드는 차량과 자차량과의 충돌을 회피할 수 있는 충돌 방지 시스템 및 방법을 제공하는 것을 그 목적으로 한다.Further, the present invention provides a collision avoidance system and method capable of avoiding a collision between a vehicle and a vehicle, which is interrupted by a side lane by controlling at least one of speed, braking and steering of the vehicle when the vehicle is changed to a side vehicle The purpose of that is to do.
본 발명의 실시 예에 따른 차량용 카메라 시스템은, 차량의 전방을 촬영하기 위한 렌즈 (10)와, 상기 렌즈를 내부 공간에 수용하기 위한 렌즈 배럴 (15)과, 상기 렌즈 배럴과 결합하는 렌즈 홀더 (20)와, 상기 렌즈가 촬영한 이미지를 센싱하기 위한 이미지 센서 (31)와, 상기 이미지 센서로부터 이미지 데이터를 수신하여 프로세싱하기 위한 이미지 프로세서(41)와, 상기 이미지 프로세서와 통신하여 상기 이미지 프로세서가 프로세싱한 데이터를 수신하는 카메라 MCU(42)를 포함한다.A camera system for a vehicle according to an embodiment of the present invention includes a
또한, 상기 차량용 카메라 시스템은, 이그니션 전압(510)을 수신하여 적어도 하나의 전압을 출력하는 제 1 컨버터부(521)와, 상기 제 1 컨버터부(521)에서 출력되는 전압을 수신하여 적어도 하나의 전압을 출력하는 레귤레이터부(523)을 더 포함한다.The vehicle camera system further includes a first converter unit 521 receiving the
또한, 상기 카메라 MCU(42)는 동작 전원으로서 상기 제 1 컨버터부(521)로부터 제 1 전압(511)을 수신한다. 상기 이미지 프로세서(41)는 동작 전원으로서 상기 제 1 컨버터부(521)로부터 제 1 전압(511)를 수신한다.In addition, the
또한, 상기 제 1 컨버터부(521)로부터 출력되는 상기 제 1 전압(511)은 3.3 V이다.Also, the first voltage 511 output from the first converter unit 521 is 3.3V.
또한, 상기 이미지 프로세서(41)는 상기 제 1 컨버터부(521)로부터 제 2 전압(512)를 수신한다. 상기 이미지 센서(31)는 상기 레귤레이터부(523)로부터 제 5 전압(515)를 수신한다. 상기 제 2 전압(512) 및 상기 제 5 전압(515)은 서로 동일하다.In addition, the
또한, 상기 제 2 전압 및 상기 제 5 전압(515)는 1.8 V이다.Also, the second voltage and the fifth voltage 515 are 1.8V.
또한, 상기 이미지 센서(31)는 코어 전원으로서 상기 레귤레이터부(523)로부터 제 6 전압(516)을 수신하고, 상기 제 6 전압(516)은 2.8 V이다.Also, the
또한, 상기 제 1 컨버터부(521)는 적어도 하나의 DC-DC 컨버터를 포함하도록 구성된다. 상기 레귤레이터부(523)는 적어도 하나의 LDO(Low Drop Out)을 포함하도록 구성된다.Also, the first converter section 521 is configured to include at least one DC-DC converter. The regulator unit 523 is configured to include at least one LDO (Low Drop Out).
또한, 상기 카메라 MCU(42)는 제 1 메모리(531)와 통신한다.In addition, the
또한, 상기 이미지 프로세서(41)는 제 2 메모리(532) 및 제 3 메모리(533) 와 통신한다.In addition, the
또한, 상기 제 2 메모리(532)는 상기 차량용 카메라 시스템이 지원하는 ADAS 기능의 개수에 따라서 용량이 결정된다.The capacity of the
또한, 상기 카메라 시스템은, RBDPS(Road Boundary Departure Prevention Systems), CACC(Cooperative Adaptive Cruise Control Systems), Vehicle/roadway warning systems, PAPS(Partially Automated Parking Systems), PALS(Partially Automated Lane Change Systems), C-FVBWS(Cooperative Forward Vehicle Emergency Brake Warning Systems), LDWS(Lane Departure Warning Systems), PDCMS(Pedestrian Detection and Collision Mitigation Systems), CSWS(Curve Speed Warning Systems), LKAS(Lane Keeping Assistance Systems), ACC(Adaptive Cruise Control systems), FVCWS(Forward Vehicle Collision Warning Systems), MALSO(Manoeuvring Aids for Low Speed Operation systems), LCDAS(Lane Change Decision Aid Systems), LSF(Low Speed Following systems), FSRA(Full Speed Range Adaptive cruise control systems), FVCMS(Forward Vehicle Collision Mitigation Systems), ERBA(Extended Range Backing Aids systems), CIWS(Cooperative Intersection Signal Information and Violation Warning Systems), TIWS(Traffic Impediment Warning Systems) 중 적어도 하나의 기능을 구현하기 위해서 사용된다.In addition, the camera system may be implemented in various types of vehicles such as Road Boundary Departure Prevention Systems (RBDPS), Cooperative Adaptive Cruise Control Systems (CACC), Vehicle / roadway warning systems, Partially Automated Parking Systems (PAPS), Partially Automated Lane Change Systems (PALS) Cooperative Forward Vehicle Emergency Brake Warning Systems (FVBWS), Pedestrian Detection and Collision Mitigation Systems (PDCMS), Curve Speed Warning Systems (CSWS), Lane Keeping Assistance Systems (LKAS), Adaptive Cruise Control systems, Forward Vehicle Collision Warning Systems (FVCWS), Maneuvering Aids for Low Speed Operation systems (LCDS), Low Speed Following systems (LSF), Full Speed Range Adaptive cruise control systems (FSRA) , Forward Vehicle Collision Mitigation Systems (FVCMS), Extended Range Backing Aids Systems (ERBA), Cooperative Intersection Signal Information and Violation Warning Systems (CIWS), Traffic Impediment Warning Systems ). ≪ / RTI >
본 발명의 실시 예에 따른 충돌 방지 시스템은, 자차량의 전방, 후방, 좌측 및 우측방의 영상 데이터를 생성하는 카메라 시스템과, 상기 자차량의 전방, 후방, 좌측 및 우측방의 물체에 대한 레이더 데이터를 생성하는 레이더 시스템과, 상기 영상 데이터 및 상기 레이더 데이터를 분석하여 주변 차량들 중에서 타겟 차량을 검출하고, 상기 자차량과 상기 타겟 차량과의 충돌이 판단되는 경우 상기 자차량의 속도, 제동, 조향 중 적어도 하나를 제어하여 ECU(electronic control unit)를 포함한다.A collision avoidance system according to an embodiment of the present invention includes a camera system for generating image data of the front, rear, left, and right rooms of the subject vehicle, and a camera system for generating radar data for the objects in the front, rear, left, And detecting the target vehicle from nearby vehicles by analyzing the image data and the radar data, and when a collision between the subject vehicle and the target vehicle is determined, the speed, braking, and steering of the subject vehicle And at least one electronic control unit (ECU).
상기 ECU는, 상기 자차량과 상기 타겟 차량과의 충돌이 판단되는 경우, 상기 자차량에 배치된 차량 자세 제어 컨트롤러, 조향 컨트롤러, 엔진 제어 컨트롤러, 서스펜션 컨트롤러 및 브레이크 컨트롤러 중 적어도 하나에 제어신호를 전송한다.Wherein the ECU transmits a control signal to at least one of a vehicle attitude control controller, a steering controller, an engine control controller, a suspension controller, and a brake controller disposed in the child vehicle when a collision between the child vehicle and the target vehicle is determined do.
상기 ECU는 전방의 타겟 차량과의 충돌이 예상되는 경우, 옆 차로에서 주행 중인 차량과의 충돌 위험이 없는 경우에 상기 조향 컨트롤러를 제어하여 상기 자차량의 주행 방향을 변경시키거나, 또는 상기 옆 차로에서 주행 중인 차량과의 충돌 위험이 있는 경우에 상기 엔진 제어 컨트롤러 및 브레이크 컨트롤러를 제어한다.The ECU may control the steering controller to change the traveling direction of the sub-vehicle when there is no risk of collision with the vehicle in the next lane, when the collision with the target vehicle ahead is anticipated, And controls the engine control controller and the brake controller when there is a risk of collision with a running vehicle.
상기 ECU는 옆 차로에서 끼어드는 타겟 차량과의 충돌이 예상되는 경우, 상기 조향 컨트롤러를 제어하여 상기 자차량의 주행 방향을 변경시키거나, 또는 상기 엔진 제어 컨트롤러 및 브레이크 컨트롤러를 제어하여 상기 자차량의 속도를 제어한다.The ECU controls the steering controller to change the running direction of the subject vehicle or to control the engine control controller and the brake controller to control the steering of the subject vehicle when the collision with the target vehicle is predicted, Control the speed.
본 발명의 실시 예에 따른 충돌 방지 방법은, 자차량의 전방, 후방, 좌측 및 우측방의 영상 데이터를 생성하고, 상기 자차량의 전방, 후방, 좌측 및 우측방의 물체에 대한 레이더 데이터를 생성하는 단계와, 상기 영상 데이터 및 상기 레이더 데이터를 분석하여 주변 차량들 중에서 타겟 차량을 검출하는 단계와, 상기 자차량과 상기 타겟 차량과의 충돌이 판단하는 단계와, 충돌이 판단되는 경우 상기 자차량의 속도, 제동, 조향 중 적어도 하나를 제어 단계를 포함한다.The collision avoidance method according to an embodiment of the present invention includes generating image data of the front, rear, left, and right rooms of the subject vehicle, and generating radar data for objects of the front, rear, left, and right rooms of the subject vehicle Determining a collision between the subject vehicle and the target vehicle by analyzing the image data and the radar data to detect a target vehicle among nearby vehicles, , Braking, and / or steering.
또한, 옆 차로에서 주행 중인 차량과의 충돌 위험이 없는 경우에 조향을 제어하여 상기 자차량의 주행 방향을 변경시키거나, 또는 상기 옆 차로에서 주행 중인 차량과의 충돌 위험이 있는 경우에 상기 자차량의 속도를 제어한다.Further, in the case where there is no risk of collision with the vehicle running in the side lane, the steering is controlled to change the traveling direction of the vehicle, or when there is a risk of collision with the vehicle running in the side lane, Lt; / RTI >
또한, 옆 차로에서 끼어드는 타겟 차량과의 충돌이 예상되는 경우, 조향을 제어하여 상기 자차량의 주행 방향을 변경시키거나, 또는 상기 자차량의 속도를 제어한다.Further, when a collision with a target vehicle that is interfering in a side lane is expected, the steering is controlled to change the traveling direction of the child vehicle or to control the velocity of the child vehicle.
본 발명에 따르면, ADAS를 위한 전방 카메라 시스템에서 이용될 수 있는 전압 로직 및 메모리 로직이 구현될 수 있다.According to the present invention, voltage logic and memory logic that can be used in a front camera system for ADAS can be implemented.
또한, 본 발명에 따르면, ADAS를 위한 전방 카메라 시스템에서 렌즈 배럴 및 렌즈 홀더를 결합시킬 수 있는 방식이 제공될 수 있다.Furthermore, according to the present invention, a method can be provided that can combine the lens barrel and the lens holder in a front camera system for ADAS.
또한, 본 발명에 따르면 자차량의 조향을 제어하여 타겟 차량과의 충돌을 회피할 수 있다. In addition, according to the present invention, it is possible to avoid the collision with the target vehicle by controlling the steering of the vehicle.
또한, 본 발명에 따르면 자차량의 속도를 제어하여 타겟 차량과의 충돌을 회피할 수 있다.Further, according to the present invention, it is possible to avoid the collision with the target vehicle by controlling the speed of the subject vehicle.
또한, 본 발명에 따르면 옆 차로 차량의 차로 변경 시 자차량의 속도, 제동 및 조향 중 하나 이상을 제어하여 옆 차로에서 끼어드는 차량과 자차량과의 충돌을 회피할 수 있다.Further, according to the present invention, it is possible to avoid at least one of speed, braking, and steering of the subject vehicle when the vehicle is changed to a vehicle by a side lane, thereby avoiding collision between the vehicle and the vehicle.
도 1은 본 발명의 일 실시예에 따른 카메라 시스템을 개략적으로 나타내는 분해 사시도이다.
도 2는 본 발명에 따른 카메라 시스템이 자동차에 장착되는 것을 도시하는 도면이다.
도 3은 본 발명에 따른 카메라 시스템이 장착되는 자동차의 구성요소를 도시하는 도면이다.
도 4a는 본 발명에 따른 카메라 시스템의 구성요소를 나타내는 도면이다.
도 4b는 본 발명에 따른 카메라 시스템의 구성요소를 나타내는 도면이다.
도 5는 본 발명에 따른 렌즈 배럴 및 렌즈 홀더의 결합관계를 설명하기 위한 분해 사시도이다.
도 6은 본 발명의 실시 예에 따른 충돌 방지 시스템을 나타내는 도면이다.
도 7은 충돌위험이 있는 타겟 차량을 검출하는 방법을 나타내는 도면이다.
도 8은 자차량의 속도 및 조향을 제어하여 타겟 차량과의 충돌을 회피하는 방법을 나타내는 도면이다.
도 9는 본 발명의 실시 예에 따른 충돌 회피 방법을 나타내는 도면이다.1 is an exploded perspective view schematically showing a camera system according to an embodiment of the present invention.
2 is a view showing a camera system according to the present invention mounted on an automobile.
Fig. 3 is a view showing the components of the automobile in which the camera system according to the present invention is mounted.
4A is a view showing the components of a camera system according to the present invention.
4B is a block diagram illustrating components of a camera system according to the present invention.
5 is an exploded perspective view for explaining a coupling relationship between the lens barrel and the lens holder according to the present invention.
Figure 6 is a diagram illustrating an anti-collision system in accordance with an embodiment of the present invention.
7 is a diagram showing a method for detecting a target vehicle with a risk of collision.
8 is a diagram showing a method for controlling the speed and steering of the subject vehicle to avoid a collision with the target vehicle.
9 is a view showing a collision avoiding method according to an embodiment of the present invention.
이하, 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다.Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings, which will be readily apparent to those skilled in the art to which the present invention pertains. The present invention may be embodied in many different forms and is not limited to the embodiments described herein.
본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 동일 또는 유사한 구성요소에 대해서는 동일한 참조 부호를 붙이도록 한다.In order to clearly illustrate the present invention, parts not related to the description are omitted, and the same or similar components are denoted by the same reference numerals throughout the specification.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.Throughout the specification, when a part is referred to as being "connected" to another part, it includes not only "directly connected" but also "electrically connected" with another part in between . Also, when an element is referred to as "comprising ", it means that it can include other elements as well, without departing from the other elements unless specifically stated otherwise.
어느 부분이 다른 부분의 "위에" 있다고 언급하는 경우, 이는 바로 다른 부분의 위에 있을 수 있거나 그 사이에 다른 부분이 수반될 수 있다. 대조적으로 어느 부분이 다른 부분의 "바로 위에" 있다고 언급하는 경우, 그 사이에 다른 부분이 수반되지 않는다.If any part is referred to as being "on" another part, it may be directly on the other part or may be accompanied by another part therebetween. In contrast, when a section is referred to as being "directly above" another section, no other section is involved.
제1, 제2 및 제3 등의 용어들은 다양한 부분, 성분, 영역, 층 및/또는 섹션들을 설명하기 위해 사용되나 이들에 한정되지 않는다. 이들 용어들은 어느 부분, 성분, 영역, 층 또는 섹션을 다른 부분, 성분, 영역, 층 또는 섹션과 구별하기 위해서만 사용된다. 따라서, 이하에서 서술하는 제1 부분, 성분, 영역, 층 또는 섹션은 본 발명의 범위를 벗어나지 않는 범위 내에서 제2 부분, 성분, 영역, 층 또는 섹션으로 언급될 수 있다.The terms first, second and third, etc. are used to describe various portions, components, regions, layers and / or sections, but are not limited thereto. These terms are only used to distinguish any moiety, element, region, layer or section from another moiety, moiety, region, layer or section. Thus, a first portion, component, region, layer or section described below may be referred to as a second portion, component, region, layer or section without departing from the scope of the present invention.
여기서 사용되는 전문 용어는 단지 특정 실시예를 언급하기 위한 것이며, 본 발명을 한정하는 것을 의도하지 않는다. 여기서 사용되는 단수 형태들은 문구들이 이와 명백히 반대의 의미를 나타내지 않는 한 복수 형태들도 포함한다. 명세서에서 사용되는 "포함하는"의 의미는 특정 특성, 영역, 정수, 단계, 동작, 요소 및/또는 성분을 구체화하며, 다른 특성, 영역, 정수, 단계, 동작, 요소 및/또는 성분의 존재나 부가를 제외시키는 것은 아니다.The terminology used herein is for the purpose of describing particular embodiments only and is not intended to limit the invention. The singular forms as used herein include plural forms as long as the phrases do not expressly express the opposite meaning thereto. Means that a particular feature, region, integer, step, operation, element and / or component is specified and that the presence or absence of other features, regions, integers, steps, operations, elements, and / It does not exclude addition.
"아래", "위" 등의 상대적인 공간을 나타내는 용어는 도면에서 도시된 한 부분의 다른 부분에 대한 관계를 보다 쉽게 설명하기 위해 사용될 수 있다. 이러한 용어들은 도면에서 의도한 의미와 함께 사용 중인 장치의 다른 의미나 동작을 포함하도록 의도된다. 예를 들면, 도면 중의 장치를 뒤집으면, 다른 부분들의 "아래"에 있는 것으로 설명된 어느 부분들은 다른 부분들의 "위"에 있는 것으로 설명된다. 따라서 "아래"라는 예시적인 용어는 위와 아래 방향을 전부 포함한다. 장치는 90˚ 회전 또는 다른 각도로 회전할 수 있고, 상대적인 공간을 나타내는 용어도 이에 따라서 해석된다.Terms indicating relative space such as "below "," above ", and the like may be used to more easily describe the relationship to other portions of a portion shown in the figures. These terms are intended to include other meanings or acts of the apparatus in use, as well as intended meanings in the drawings. For example, when inverting a device in the figures, certain portions that are described as being "below" other portions are described as being "above " other portions. Thus, an exemplary term "below" includes both up and down directions. The device can be rotated by 90 degrees or rotated at different angles, and terms indicating relative space are interpreted accordingly.
다르게 정의하지는 않았지만, 여기에 사용되는 기술용어 및 과학용어를 포함하는 모든 용어들은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 일반적으로 이해하는 의미와 동일한 의미를 가진다. 보통 사용되는 사전에 정의된 용어들은 관련 기술문헌과 현재 개시된 내용에 부합하는 의미를 가지는 것으로 추가 해석되고, 정의되지 않는 한 이상적이거나 매우 공식적인 의미로 해석되지 않는다.Unless otherwise defined, all terms including technical and scientific terms used herein have the same meaning as commonly understood by one of ordinary skill in the art to which this invention belongs. Commonly used predefined terms are further interpreted as having a meaning consistent with the relevant technical literature and the present disclosure, and are not to be construed as ideal or very formal meanings unless defined otherwise.
이하, 첨부한 도면을 참조하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다.Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings so that those skilled in the art can easily carry out the present invention. The present invention may, however, be embodied in many different forms and should not be construed as limited to the embodiments set forth herein.
도 1은 본 발명의 일 실시예에 따른 카메라 시스템을 개략적으로 나타내는 분해 사시도이다.1 is an exploded perspective view schematically showing a camera system according to an embodiment of the present invention.
도 1을 참조하면, 카메라 시스템(1)은 렌즈(10), 렌즈(10)가 설치되는 렌즈 홀더(20), 렌즈 홀더(20)에 결합되어 렌즈(10)에서 촬영한 피사체의 이미지를 센싱하는 이미지 센서(31)를 포함한다. 이미지 센서(31)는 이미지 PCB(30) 상에 배치되며, 픽셀로 구성된 이미지 어레이 센서를 포함한다. 예를 들면, 이미지 센서(31)는 CMOS 포토센서 어레이 또는 CCD 포토 센서 어레이를 포함한다. 이러한 이미지 센서(31)는 렌즈(10)와 평행하도록 배치된다. 또한, 렌즈(10)와 렌즈 홀더(20)는 Active Alignment 방식으로 서로 결합될 수 있다.1, the
또한, 카메라 시스템(1)은 메인 PCB(40)을 포함하며 메인 PCB(40) 상에는 이미지 프로세서(41)와 카메라 MCU(micro control unit)(42)가 배치된다. 이미지 프로세서(41)는 이미지 센서(31)로부터 이미지 데이터를 수신하며 이를 위해 이미지 프로세서(41)와 이미지 센서(31)는 커넥터(미도시)를 통해 연결될 수 있다. 예를 들어 커넥터는 카메라 시스템의 내부 공간 활용을 극대화 시키기 위해 FPCB(flexible PCB)로 제작될 수 있다. 이러한 커넥터를 통해서는 전기적 신호, 전원, 제어 신호 등이 송수신될 수 있다. 이미지 프로세서(41)와 이미지 센서(31) 사이의 통신 방식은 예를 들어 I2C일 수 있다.The
카메라 MCU(42)와 이미지 프로세서(41)는 서로 통신하며, 통신 방식은 예를 들어 UART(universal asynchronous receiver/transmitter) 또는 SPI(serial peripheral interface) 일 수 있다. 카메라 MCU(42)는 이미지 프로세서(41)가 프로세싱한 이미지 데이터를 수신하며, 그 이미지 데이터를 자동차 내의 ECU(electrical control unit)(미도시)에게 전달할 수 있다.The
카메라 MCU(42) 및 자동차의 ECU 사이의 통신 방식은 예를 들어 Chassis CAN(controller area network)일 수 있다. 또한, 카메라 MCU(42)는 이미지 프로세서(41)가 프로세싱한 데이터를 수신하며 그 데이터는 예를 들어, 전방의 차량에 대한 데이터, 전방의 차선에 대한 데이터, 전방의 사이클리스트에 대한 데이터, 교통 표지판에 대한 데이터, 액티브 하이빔 컨트롤(AHBC)에 대한 데이터, 휠 디텍션(wheel detection)에 대한 데이터(예컨대, 카메라 FOV 안으로 들어오는 Close Cut-in 차량에 대해서 차량 바퀴 인식을 통해 보다 빠르게 차량을 인식하기 위한 데이터), 교통 신호등에 대한 데이터, 로드 마킹(예컨대, 도로 위의 화살표)에 대한 데이터, VD at any angle에 대한 데이터(전방 차량의 전 주행 방향 또는 각도에 대해 차량을 인식하기 위한 데이터), 로드 프로파일(예컨대, 전방 도로 형상(굴곡, 과속 방지턱 또는 호올(hole))을 인식하여 서스펜션 제어를 통해 승차감을 향상시키기 위한 데이터)에 대한 데이터, 시맨틱 프리 스페이스(예컨대, 바운더리 라벨링)에 대한 데이터, 일반적 물체(측면 차량 등)에 대한 데이터, 어드밴스트 패쓰 플래닝(advanced path planning)에 대한 데이터(예를 들어, 차선이 없거나 오염된 도로에서도 주변 환경을 통한 Deep Learning으로 차량 주행 예상 경로를 예측하기 위한 데이터), 오도메트리(odometry)에 대한 데이터(예컨대, 주행 도로 랜드 마크를 인식하여 GPS의 인식 정보와 융합시키기 위한 데이터) 등을 포함한다.The communication scheme between the
또한, 카메라 시스템(1)은 하우징(50)을 포함하며 하우징(50)은 상부 하우징(52) 및 하부 하우징(54)를 포함한다. 구체적으로 상부 하우징(52)와 하부 하우징(54)이 결합된 하우징(50)의 내부에는 소정의 수용 공간이 형성되며, 이 수용 공간에 렌즈(10), 렌즈 홀더(20), 이미지 PCB(30) 및 메인 PCB(40)이 수용된다.The
이러한 카메라 시스템(1)을 제조하는 경우에, 렌즈(10)를 렌즈 홀더(20)에 설치한 후 렌즈 홀더(20)를 이미지 PCB(30)에 결합시킬 수 있다. 예를 들어 렌즈 홀더(20) 및 이미지 PCB(30)는 스크류(23)를 통해 결합될 수 있다.In manufacturing such a
다음으로, 렌즈 홀더(20)와 이미지 PCB(30)가 결합된 상태에서 상부 하우징(52)이 결합될 수 있다. 이 때 상부 하우징(52) 및 렌즈 홀더(20)는 스크류(25)에 의해 결합될 수 있다.Next, the
한편, 사용되는 렌즈(10)의 개수는 카메라 시스템(10)의 종류, 이미지 센서의 픽셀 수, 또는 카메라 시스템(10)이 구현하는 기능의 요구사항에 따라서 변경될 수 있다. 예를 들어 1개의 렌즈(10)가 사용되는 경우 그 렌즈는 예컨대, 1.3 MP이 요구되는 경우 52deg이거나 예컨대, 1.7 MP이 요구되는 경우 100deg일 수 있다. 또는 2개의 렌즈(10)가 사용될 수도 있다. 또는 3개의 렌즈(10)가 사용되는 경우 3개의 이미저 센서(31)이 요구되며 그 렌즈는 각각 28 deg, 52 deg, 150 deg 이거나 50 deg, 100 deg, 150 deg일 수 있다.On the other hand, the number of
이와 같은 카메라 시스템(10)의 종류는 카메라 시스템(10)이 지원하는 ADAS 기능의 개수 또는 종류에 따라서 결정된다. 예컨대, ADAS 기능 중 일부만 지원하는 경우(이미지 프로세서(41)가 처리하는 데이터가 전방의 차량에 대한 데이터, 전방의 차선에 대한 데이터, 전방의 사이클리스트에 대한 데이터, 교통 표지판에 대한 데이터, 액티브 하이빔 컨트롤(AHBC)에 대한 데이터, 휠 디텍션(wheel detection)에 대한 데이터(예컨대, 카메라 FOV 안으로 들어오는 Close Cut-in 차량에 대해서 차량 바퀴 인식을 통해 보다 빠르게 차량을 인식하기 위한 데이터), 교통 신호등에 대한 데이터, 로드 마킹(예컨대, 도로 위의 화살표)에 대한 데이터인 경우에는 단일의 렌즈가 사용될 수 있고, 더 많은 기능을 지원하는 경우(이미지 프로세서(41)가 처리하는 데이터가 전술한 예에 추가적으로, VD at any angle에 대한 데이터(전방 차량의 전 주행 방향 또는 각도에 대해 차량을 인식하기 위한 데이터), 로드 프로파일(예컨대, 전방 도로 형상(굴곡, 과속 방지턱 또는 호올(hole))을 인식하여 서스펜션 제어를 통해 승차감을 향상시키기 위한 데이터)에 대한 데이터, 시맨틱 프리 스페이스(예컨대, 바운더리 라벨링)에 대한 데이터, 일반적 물체(측면 차량 등)에 대한 데이터, 어드밴스트 패쓰 플래닝(advanced path planning)에 대한 데이터(예를 들어, 차선이 없거나 오염된 도로에서도 주변 환경을 통한 Deep Learning으로 차량 주행 예상 경로를 예측하기 위한 데이터), 오도메트리(odometry)에 대한 데이터(예컨대, 주행 도로 랜드 마크를 인식하여 GPS의 인식 정보와 융합시키기 위한 데이터)인 경우에는 3개의 렌즈가 사용될 수 있다.The type of the
도 2는 본 발명에 따른 카메라 시스템(1)이 자동차에 장착되는 것을 도시하는 도면이다.2 is a view showing that the
도 2에 도시된 바와 같이, 카메라 시스템(1)은 차량 내에서 전면 유리(220) 아래의 차량 내부에 장착될 수 있고 룸미러(210)의 인근에 장착될 수 있다. 이에 따라서 카메라 시스템(1)의 자동차의 전방의 시야를 촬영하는데 이용되고, 전방의 시야 내에 존재하는 물체를 인식하는데 사용된다. 또한, 비가 오는 상황 또는 먼지가 존재하는 상황에 대비하여, 카메라 시스템(1)은 전면 유리(220)의 바깥에서 구동되는 와이퍼(wiper)에 의해 클리닝(cleaning)되는 영역에 대응하여 차량 내부에 장착되는 것이 바람직하다. 한편, 카메라 시스템(1)이 장착되는 위치는 이에 한정되는 것이 아니다. 카메라 시스템(1)은 차량의 전방, 측방, 후방을 촬영하기 위해 다른 위치에 설치될 수도 있다.As shown in FIG. 2, the
한편, 물체의 거리나 속도, 각도를 측정하기 위해 전자기파를 사용하는 센서 장치인 Radar 장치(미도시)는 대표적으로 자동차의 전면 그릴에 위치하여 자동차의 전방 아래부분까지도 커버할 수 있도록 할 수 있다. Radar 장치를 전면 그릴에 두는 이유는, 즉 차량의 외부에 두는 이유는, 다시 말하면, 차량의 전면 유리(220)를 통과하여 송수신하지 않도록 하는 이유는 전자기파의 특성상 유리를 통과하는 경우의 감도 감소 때문이다. 본 발명에 따르면, Radar 장치는 차량의 내부에 위치하면서, 구체적으로는, 차량의 내부 공간에서 전면 유리(220)의 아래에 위치하면서도 전자기파가 전면 유리를 통과하지 않게 할 수 있다. 이를 위해 Radar 장치는 전면 유리(220)의 상단에 마련된 개구(opening)을 통해 전자기파를 송수신하도록 구성된다. 또한, Radar 장치를 위한 개구에 대응하는 위치에 커버가 배치된다. 이러한 커버는 개구로 인한 손실(예컨대, 공기의 유입 등)을 막기 위한 것이다. 또한, 커버는 Radar 장치가 사용하는 주파수의 전자기파에 대해서 관통이 용이한 재료로 제조되는 것이 바람직하다. 결과적으로 Radar 장치는 차량의 내부에 위치하지만 전면 유리(220)에 구비된 개구를 통해 전자기파를 송수신하고, 개구로 인한 손실을 막기 위해 개구에 대응하여 커버가 구비되며, 전자기파는 커버를 통해 송수신된다. 이러한 Radar 장치는 빔 에이밍(beam aiming), 빔 셀렉션(beam selection), 디지털 빔 포밍(beam forming), 디지털 빔 스티어링(beam steering)을 이용할 수 있다. 또한, Radar 장치는 어레이 안테나 또는 위상 정렬 어레이 안테나를 포함할 수 있다.On the other hand, a radar device (not shown), which is a sensor device using electromagnetic waves to measure the distance, velocity, and angle of an object, is typically located on the front grill of a vehicle so as to cover the front lower portion of the vehicle. The reason for placing the radar device on the front grill, that is, the reason for placing the radar device on the outside of the vehicle, that is, the reason for not transmitting and receiving through the windshield 220 of the vehicle is that, due to the characteristics of electromagnetic waves, to be. According to the present invention, the radar device can be located inside the vehicle, specifically, under the windshield 220 in the interior space of the vehicle, while preventing electromagnetic waves from passing through the windshield. To this end, the radar device is configured to transmit and receive electromagnetic waves through an opening provided at the top of the windshield 220. A cover is also disposed at a position corresponding to the opening for the radar device. This cover is intended to prevent loss due to the opening (e.g., air inflow, etc.). Further, it is preferable that the cover is made of a material which can easily penetrate the electromagnetic wave of the frequency used by the radar device. As a result, the radar device is located inside the vehicle, but transmits and receives electromagnetic waves through the openings provided in the windshield 220, and covers are provided corresponding to the openings to prevent loss due to the openings, and the electromagnetic waves are transmitted and received through the cover . Such a Radar apparatus can utilize beam aiming, beam selection, digital beam forming, and digital beam steering. The radar device may also include an array antenna or a phase-aligned array antenna.
전술한 카메라 시스템(1) 및 Radar 장치(미도시)는 전방의 물체를 감지하는 성능을 개선하기 위해서 서로 연동할 수 있다. 예를 들어 이미지 프로세서(41)와 Radar 프로세서(미도시)는 서로 연동하여 전방의 관심있는 물체를 확대하거나 초점을 포커싱할 수 있다. 이와 같이 Radar 및 전방 카메라가 서로 연동하는 경우라면, 이미지 센서(31) 및 Radar 장치는 동일한 기판(예를 들면, 이미지 PCB(30)) 상에 배치될 수 있다.The
또한, 카메라 시스템(1)이나 Radar 장치(미도시)와 같이 전방의 시야에 있는 물체를 감지하기 위한 장치 또는 시스템은, 적응형 크루즈 컨트롤(ACC)와 같은 ADAS 기술을 위해 사용될 수 있다. 또한, 전방의 잠재적인 위험 상황을 인지하기 위해서 사용될 수도 있고 예를 들어, 전방의 다른 자동차, 전방의 사람, 전방의 동물을 인지하는데 사용될 수 있다.In addition, an apparatus or system for sensing an object in a forward view, such as a
또한, 카메라 시스템(1)이나 Radar 장치(미도시)와 같이 전방의 시야에 있는 물체를 감지하기 위한 장치 또는 시스템은, 긴급제동 시스템과 같은 ADAS 기술을 위해 사용될 수 있다. 또한, 전방의 잠재적인 위험 상황을 인지하기 위해서 사용될 수도 있고 예를 들어, 전방의 다른 자동차, 전방의 사람, 전방의 동물을 인지하는데 사용될 수 있다.In addition, an apparatus or system for detecting an object in a forward view, such as a
또한, 카메라 시스템(1)이나 Radar 장치(미도시)와 같이 전방의 시야에 있는 물체를 감지하기 위한 장치 또는 시스템은, 차선 이탈 경고 시스템(lane departure warning system), 물체 감지 시스템(object detection system), 교통 표지판 인식 시스템(traffic sign recognition system), 차선 유지 보조 시스템(lane keeping assistance system), 차선 변경 보조 시스템(lane change assistance system), 사각지대 경보 시스템(blind spot warning system), 자동 헤드램프 제어 시스템(automatic headlamp control system), 충돌 회피 시스템(collision avoidance system), 긴급제동 시스템(Autonomous Emergency Braking System) 등에 사용될 수 있다.In addition, an apparatus or system for detecting an object in a forward view, such as a
도 3은 본 발명에 따른 카메라 시스템(1)이 장착되는 자동차의 구성요소를 도시하는 도면이다.Fig. 3 is a diagram showing the components of the automobile in which the
자동차의 구성요소는 MCU 레벨, ECU 레벨, 컨트롤러 레벨로 구별할 수 있다.The components of an automobile can be distinguished by MCU level, ECU level, and controller level.
MCU 레벨에는 카메라 MCU(42)를 포함하여 Lidar MCU(311), Radar MCU(312), GPS MCU(313), 네비게이션 MCU(314), V2X MCU(315) 등이 있다. MCU 레벨에 속하는 MCU들은 자신과 연결된 센싱 장치 또는 센싱 장치에 연결된 장치(예컨대, 프로세서)를 제어하고, 이들 센싱 장치 또는 센싱 장치에 연결된 장치로부터 데이터를 수신한다.At the MCU level, there are a
카메라 MCU(42)에 대하여 예를 들면, 렌즈(10)을 통해 촬영한 피사체의 이미지를 이미지 센서(31)가 센싱하고, 이미지 프로세서(41)가 이미지 센서(31)로부터 그 데이터를 수신하여 프로세싱하며, 카메라 MCU(42)는 이미지 프로세서(41)로부터 그 데이터를 수신한다. 카메라 MCU(42)는 이미지 센서(31), 이미지 프로세서(41)을 제어하고 이러한 제어는 예를 들면, 전원 공급 제어, 리셋 제어, 클럭(CLK) 제어, 데이터 통신 제어, 전원 제어, 메모리 제어 등을 포함한다. 한편, 이미지 프로세서(41)는 이미지 센서(31)가 센싱하여 출력한 데이터를 프로세싱할 수 있고, 이러한 프로세싱은 센싱한 전방의 물체를 확대하거나 전체 시야 영역 중에서 물체의 영역에 포커스를 맞추는 것을 포함한다.The
Lidar MCU(311)에 대하여 예를 들면, Lidar MCU(311)는 센서인 Lidar 장치와 연결된다. Lidar 장치는 레이저 송신 모듈, 레이저 검출 모듈, 신호 수집 및 처리 모듈, 데이터 송수신 모듈로 구성될 수 있고, 레이저의 광원은 250 nm 내지 11 μm 의 파장 영역에서 파장을 가지거나 파장 가변이 가능한 레이저 광원들이 사용된다. 또한 Lidar 장치는 신호의 변조 방식에 따라서, TOF(time of flight) 방식과 phase shift 방식으로 구분된다. Lidar MCU(311)는 Lidar 장치 및 Lidar 장치에 연결된 다른 장치(예컨대, Lidar 센싱 출력을 프로세싱하는 Lidar프로세서(미도시))를 제어한다. 이러한 제어는 예를 들면 전원 공급 제어, 리셋 제어, 클럭(CLK) 제어, 데이터 통신 제어, 메모리 제어 등을 포함한다. 한편, Lidar 장치는 자동차의 전방 영역을 센싱하기 위해 사용된다. 이러한 Lidar 장치는 자동차의 내부 전면, 구체적으로는 전면 유리(220) 아래에 위치하여 전면 유리를 통해서 laser 광원을 송수신한다.With respect to the
Radar MCU(312)에 대하여 예를 들면, Radar MCU(312)는 센서인 Radar 장치와 연결된다. Radar 장치는 물체의 거리나 속도, 각도를 측정하기 위해 전자기파를 사용하는 센서 장치이다. Radar 장치를 이용하면 주파수 변조 반송파(FMCW, Frequency Modulation Carrier Wave) 또는 펄스 반송파(Pulse Carrier) 방식을 이용하여 수평각도 30도 범위에서 150m 전방까지의 물체를 감지할 수 있다. Radar MCU(312)는 Radar 장치 및 Radar 장치에 연결된 다른 장치(예컨대, Radar 센싱 출력을 프로세싱하는 Radar 프로세서(미도시))를 제어한다. 이러한 제어는 예를 들면 전원 공급 제어, 리셋 제어, 클럭(CLK) 제어, 데이터 통신 제어, 메모리 제어 등을 포함한다. 한편, Radar 장치는 대표적으로 77GHz 대역 레이더 또는 적합한 다른 대역을 사용하며, 자동차의 전방 영역을 센싱한다. Radar 장치로부터 획득한 정보는 적응형 크루즈 컨트롤(ACC) 및 주변차량과의 충돌 회피와 같은 ADAS 기술을 위해 사용될 수 있다. 한편, Radar 프로세서는 Radar 장치가 센싱하여 출력한 데이터를 프로세싱할 수 있고, 이러한 프로세싱은 센싱한 전방의 물체를 확대하거나 전체 시야 영역 중에서 물체의 영역에 포커스를 맞추는 것을 포함한다.For the
GPS MCU(313)에 대하여 예를 들면, GPS MCU(313)는 센서인 GPS 장치와 연결된다. GPS 장치는 위성과의 통신을 이용해 자동차의 위치, 속도 및 시간 측정을 할 수 있는 장치이다. 구체적으로 GPS 장치는 위성으로부터 발사되는 전파의 지연시간을 계측하고 궤도로부터의 거리에서 현재의 위치를 구하는 장치이다. GPS MCU(313)는 GPS 장치 및 GPS 장치에 연결된 다른 장치(예컨대, GPS 센싱 출력을 프로세싱하는 GPS 프로세서(미도시))를 제어한다. 이러한 제어는 예를 들면 전원 공급 제어, 리셋 제어, 클럭(CLK) 제어, 데이터 통신 제어, 메모리 제어 등을 포함한다.With respect to the
네비게이션 MCU(314)에 대하여 예를 들면, 네비게이션 MCU(314)는 센서인 네비게이션 장치와 연결된다. 네비게이션 장치는 자동차 실내의 전면부에 설치되는 디스플레이 장치를 통해 맵(map) 정보를 표시하는 장치이다. 구체적으로 map 정보는 메모리 장치에 저장되며 GPS 장치를 통해 계측한 자동차의 현재 위치를 map 데이터에 표시한다. 네비게이션 MCU(314)는 네비게이션 장치 및 네비게이션 장치에 연결된 다른 장치(예컨대, 네비게이션 센싱 출력을 프로세싱하는 네비게이션 프로세서(미도시))를 제어한다. 이러한 제어는 예를 들면 전원 공급 제어, 리셋 제어, 클럭(CLK) 제어, 데이터 통신 제어, 메모리 제어 등을 포함한다.With respect to the
V2X MCU(315)에 대하여 예를 들면, V2X MCU(315)는 센서인 V2X 장치와 연결된다. 구체적으로 V2X 장치는 자동차 간 통신(V2V), 자동차 대 인프라 통신(V2I), 자동차 대 모바일 통신(V2N)을 수행하는 장치이다. V2X MCU(315)는 V2X 장치 및 V2X 장치에 연결된 다른 장치(예컨대, V2X 센싱 출력을 프로세싱하는 V2X 프로세서(미도시))를 제어한다. 이러한 제어는 예를 들면 전원 공급 제어, 리셋 제어, 클럭(CLK) 제어, 데이터 통신 제어, 메모리 제어 등을 포함한다.With respect to the
ECU 레벨에 속하는 ECU(electrical control unit)(320)는 자동차에서 사용되는 다수의 전자 장치들을 통합적으로 제어하는 장치이다. 예를 들어, ECU(320)는 MCU 레벨에 속하는 MCU들 및 컨트롤러 레벨에 속하는 컨트롤러들 모두를 제어할 수 있다. ECU(320)는 MCU들로부터 센싱 데이터를 수신하여 상황에 맞도록 컨트롤러를 제어하는 제어 명령을 생성하여 컨트롤러들에게 제어 명령을 전송한다. 한편, 본 명세서에서는 설명의 편의를 위해 MCU 레벨 보다 상위의 레벨로서 ECU 레벨을 설명하고 있으나, MCU 레벨에 속하는 MCU들 중의 하나의 MCU가 ECU로서 역할을 수행할 수도 있고, 두 개의 MCU가 결합하여 ECU로서 역할을 수행할 수도 있다.An ECU (electrical control unit) 320 belonging to the ECU level is an apparatus for integrally controlling a plurality of electronic devices used in an automobile. For example, the
컨트롤러 레벨에는 운전자 경고 컨트롤로(331), 헤드 램프 컨트롤러(332), 차량 자세 제어 컨트롤러(333), 조향 컨트롤러(334), 엔진 제어 컨트롤러(335), 서스펜션 컨트롤러(336), 브레이크 컨트롤러(337) 등이 있다. 상기 컨트롤러들 각각은 ECU(320) 또는 MCU 레벨의 MCU들로부터 수신한 제어 명령에 기초하여 자동차의 구성 부품들을 제어한다.The controller level includes a
운전자 경고 컨트롤러(331)에 대하여 예를 들면, 운전자 경고 컨트롤러(331)는 운전자에게 특정한 위험 상황을 경고하기 위해 오디오 방식, 비디오 방식 또는 햅틱 방식의 경고 신호를 발생시킨다. 예를 들어, 경고음을 출력하기 위해 운전자 경고 컨트롤러(331)는 자동차의 사운드 시스템을 이용해 경고음을 출력할 수 있다. 또는, 경고 메시지를 디스플레이 하기 위해 운전자 경고 컨트롤러(331)는 HUD 디스플레이 또는 사이드 미러 디스플레이를 통해 경고 메시지를 출력할 수 있다. 또는, 경고 진동을 발생시키기 위해 운전자 경고 컨트롤러(331)는 핸들에 장착된 진동모터를 동작시킬 수 있다.With respect to the
헤드 램프 컨트롤러(332)에 대하여 예를 들면, 헤드 램프 컨트롤러(332)는 자동차의 전방에 위치하여 야간에 자동차의 전방에 대해 운전자의 시야를 확보해주는 헤드 램프를 제어한다. 예를 들면, 헤드 램프 컨트롤러(332)는 상향등 제어, 하향등 제어, 좌우 보조등 제어, 적응형 헤드 램프 제어 등을 수행한다.With respect to the
차량 자세 제어 컨트롤러(333)에 대하여 예를 들면, 차량 자세 제어 컨트롤러(333)는 VDC(vehicle dynamic control) 또는 ESP(electrical stability control) 등으로 지칭되며, 운전자의 긴급한 핸들 조작이나 노면의 상태 등으로 인해서 자동차의 거동이 급격히 불안정해지는 경우에 전자적 장비가 개입이 자동차의 거동을 바로잡는 제어를 수행한다. 예를 들어, 휠 스피드 센서, 조향각 센서, 요 레이트(yaw rate) 센서, 실린더 압력 센서 등의 센서들이 스티어링 휠 조작을 센싱해 스티어링 휠과 바퀴의 진행방향이 어긋나는 경우에, 차량 자세 제어 컨트롤러(333)는 브레이크 잠김 방지 기능(ABS) 등을 이용해 각 바퀴의 제동력을 분산하는 제어를 수행한다.With respect to the vehicle
조향 컨트롤러(334)에 대하여 예를 들면, 조향 컨트롤러(334)는 스티어링 휠을 구동시키는 전동식 파워스티어링 시스템(MPDS)에 대한 제어를 수행한다. 예를 들어, 자동차가 충돌이 예상되는 경우에 조향 컨트롤러(334)는 충돌을 회피하거나 피해를 최소화할 수 있는 방향으로 자동차의 조향을 제어할 수 있다.With respect to the
엔진 제어 컨트롤러(335)에 대하여 예를 들면, 엔진 제어 컨트롤러(335)는 산소 센서, 공기량 센서, 매니폴드 절대압 센서로부터의 데이터를 ECU(32)가 수신하면, 그 제어 명령에 따라서 인젝터, 스로틀, 스파크 플러그 등의 구성을 제어하는 역할을 수행한다.For example, the
서스펜션 컨트롤러(336)에 대하여 예를 들면, 서스펜션 컨트롤러(336)은 모터 기반의 능동 서스펜션 제어를 수행하는 장치이다. 구체적으로 서스펜션 컨트롤러(336)는 쇽업 쇼버의 감쇠력을 가변적으로 제어해 일반 주행시는 부드러운 승차감을 주도록 하고, 고속 주행 및 자세 변화시에는 딱딱한 승차감을 주도록 하여 승차감 및 주행 안정성을 확보하게 한다. 또한, 서스펜션 컨트롤러(336)는 감쇠력 제어 외에도, 차고 제어, 자세 제어 등을 수행할 수도 있다.With respect to the
브레이크 컨트롤러(337)에 대하여 예를 들면, 브레이크 컨트롤러(337)는 자동차의 브레이크의 동작 여부를 제어하고 브레이크의 압력을 제어한다. 예를 들어, 전방 충돌이 예상되는 경우에 운전자가 브레이크를 동작시켰는지 여부와 무관하게 브레이크 컨트롤러(337)는 ECU(320)의 제어 명령에 따라서 자동적으로 긴급 브레이크를 작동시키도록 제어한다.With respect to the
한편, 본 도면을 이용하여 상술한 바에 따르면 MCU, ECU 및 컨트롤러가 각각 독립적인 구성요소로 설명하였으나, 반드시 이에 한정되는 것이 아님을 이해하여야 한다. 2개 이상의 MCU들은 1개의 MCU로 통합될 수 있고, 2개 이상의 MCU들은 서로 연동할 수 있고, 2개 이상의 MCU들 및 ECU는 하나의 장치로 통합될 수 있고, 2개 이상의 컨트롤러들은 1개의 컨트롤러로 통합될 수 있고, 2개 이상의 컨트롤러들은 서로 연동할 수 있고, 2개 이상의 컨트롤러들 및 ECU는 하나의 장치로 통합될 수 있다.Although the MCU, the ECU and the controller are described as independent components according to the above description using the drawings, it should be understood that they are not necessarily limited thereto. Two or more MCUs can be integrated into one MCU, two or more MCUs can cooperate with each other, two or more MCUs and ECUs can be integrated into one device, two or more MCUs can be integrated into one MCU, , Two or more controllers can be interlocked with each other, and two or more controllers and ECUs can be integrated into one apparatus.
예를 들면, Radar 프로세서는 Radar 장치의 출력을 프로세싱하고, 이미지 프로세서(41)는 이미지 센서(31)의 출력을 프로세싱 하는데, Radar 장치의 출력 및 이미지 센서(31)의 출력은 하나의 프로세서(Radar 프로세서, 이미지 프로세서(41), 통합된 프로세서, 또는 ECU(320))에 의해 연동될 수 있다. 예를 들면, Radar 장치가 센싱하여 출력한 데이터를 Radar 프로세서가 프로세싱하고, 그 프로세싱 결과로 도출된 전방의 물체에 대한 정보에 기초하여, 이미지 프로세서(41)는 이미지 센서(31)가 센싱하여 출력한 데이터를 확대하거나 포커스를 맞추는 프로세싱을 수행할 수 있다. 반대로, 이미지 센서(31)가 센싱하여 출력한 데이터를 이미지 프로세서(41)가 프로세싱하고, 그 프로세싱 결과로 도출된 전방의 물체에 대한 정보에 기초하여, Radar 프로세서는 Radar 장치가 센싱하여 출력한 데이터를 확대하거나 포커스를 맞추는 프로세싱을 수행할 수 있다. 이를 위해 Radar MCU는 Radar 장치에 대해 빔 에이밍(beam aiming) 또는 빔 셀렉션(beam selection)을 수행하도록 제어할 수 있다. 또는 Radar 프로세서는 배열 안테나 또는 위상 배열 안테나 시스템에서의 디지털 빔 포밍(beam forming)을 수행하거나 디지털 빔 스티어링(beam steering)을 수행할 수 있다. 이와 같이 Radar 및 전방 카메라가 서로 연동하는 경우라면, 이미지 센서(31) 및 Radar 장치는 동일한 기판(예를 들면, 이미지 PCB(30)) 상에 배치될 수 있다.For example, the Radar processor processes the output of the Radar device, the
도 4a는 본 발명에 따른 카메라 시스템(1)의 구성요소를 나타내는 도면이다.4A is a diagram showing the components of the
도 4a를 참조하면, 카메라 시스템(1)은 렌즈(10), 이미지 센서(31), 이미지 프로세서(41) 및 카메라 MCU(42)를 포함한다.4A, the
또한, 카메라 시스템(1)은 이그니션 전압(410)을 수신하여 제1전압(411), 제2전압(412) 및 제3전압(413)으로 변환하는 제1컨버터부(421), 제3전압(413)을 수신하여 2개의 제4전압(414)으로 변환하는 제2컨버터부(422), 제1전압(411)을 수신하여 제5전압(415) 및 제6전압(416)으로 변환하는 레귤레이터부(423)를 포함한다. 제1컨버터부(421)는 도 4a에 도시된 바와 같이 1개의 3ch DC-DC 컨버로 구성될 수 있으나, 이에 한정되지 않고 1ch DC-DC 컨버터 및 2ch DC-DC 컨버터로 구성될 수 있고 또는 3개의 1ch DC-DC 컨버터로 구성될 수 있다. 레귤레이터부(423)는 도 4a에 도시된 바와 같이 2ch LDO(Low Drop Out)로 구성될 수 있으나, 이에 한정되지 않고 2개의 1ch LDO로 구성될 수 있다. 레귤레이터부(423)를 LDO로 구현하는 이유는 이미지 센서(31)에서 요구되는 전류 레벨이 크지 않기 때문이다. The
이그니션 전압(410)은 드라이버가 수동으로 키를 돌려 차량의 시동을 걸거나 버튼식으로 차량의 시동을 걸 때 발생하는 전압으로서 일반적으로 14V일 수 있다. 제 1 전압(411)은 제1컨버터부(421)가 이그니션 전압(410)을 수신하여 변환하는 전압으로서 3.3V일 수 있다. 제1전압(411)은 카메라 MCU(42)에 입력되어 카메라 MCU(42)의 동작 전원으로 이용될 수 있다. 또한, 제1전압(411)은 감시 모듈(441) 및 제1메모리(431)의 동작 전원으로 이용될 수 있다. 또한, 제1전압(411)은 이미지 프로세서(41)의 동작 전원으로 이용될 수 있다. 카메라 MCU(42) 및 이미지 프로세서(41)에 동일한 동작 전원인 제1전압(411)이 인가되는 이유는 두 개의 통신 컴포넌트 간의 통신 레벨(IO 전압)을 맞추기 위해서이다. 제2전압(412)은 제1컨버터부(421)가 이그니션 전압(410)을 수신하여 변환하는 전압으로서 1.8V일 수 있다. 한편, 후술하는 바와 같이 이미지 센서(31)에는 제5전압(예컨대, 1.8V)가 인가되는데, 이 전압은 제2전압과 동일하다. 이미지 프로세서(41)에 인가되는 제2전압(412) 및 이미지 센서(31)에 인가되는 제5전압(215)가 서로 동일한 이유는 이미지 프로세서(41) 및 이미지 센서(31) 사이의 통신 레벨(IO 전압)을 맞추기 위해서이다. 제3전압(413)은 제1컨버터부(421)가 이그니션 전압(410)을 수신하여 변환하는 전압으로서 5V일 수 있다. 제3전압(413)은 제2컨버터부(422)로 인가되고 제2컨버터부(422)는 제4전압(414)을 출력할 수 있다. 제4전압(414)는 이미지 프로세서(41)에 인가되어 이미지 프로세서(41)의 코어 전원으로서 동작한다. 예를 들어, 제4전압(414)는 1.2V일 수 있다. 한편, 제1컨버터부(421)가 제4전압(414)를 직접 출력하는 것이 가능함에도 불구하고, 제1컨버터부(421)가 제3전압(413)을 출력하고 그 제3전압(413)을 수신한 제2컨버터부(422)가 제4전압(414)를 출력하는 이유는, 이미지 프로세서(41)가 요구하는 허용 전류를 만족시키기 위해서이다. 이에 더하여, 그 이유는 제3전압(413)은 다른 컴포넌트(예컨대, HS-CAN TRx 등)에서 동작 전원으로 사용하게 하기 위해서이다.The
한편, 제1전압(411)은 레귤레이터부(423)로 인가되고 레귤레이터부(423)는 제5전압(415) 및 제6전압(416)을 출력한다. 제5전압(415)은 1.8V일 수 있고, 제6전압(416)은 2.8V일 수 있다. 제5전압(415)은 이미지 센서(31)로 인가되어 이미지 프로세서(41)와의 통신 레벨을 맞추기 위한 용도로 동작한다. 제6전압(416)은 이미지 센서(31)로 인가되어 이미지 센서(31)의 코어 전원으로서 동작한다. 결국 카메라 MCU(42)와 이미지 프로세서(41)은 제1전압(411)으로 통신 레벨 맞추고, 이미지 프로세서(41)와 이미지 센서(31)는 제 2 전압(412) 및 제 2 전압과 동일한 제 5 전압(415)으로 통신 레벨을 맞추게 된다.The
또한, 카메라 시스템(1)은 제1전압(411)을 수신하고 카메라 MCU(42)에 연결되는 제1메모리(431), 이미지 프로세서(41)에 연결되는 제2메모리(432), 이미지 프로세서(41)에 연결되는 제3메모리(433), 이미지 프로세서(41)에 연결되는 제4메모리(434)를 포함한다. 제1메모리(431)는 EEPROM일 수 있고, 제2메모리(432)는 LPDDR2일 수 있고, 제3메모리(433)는 LPDDR2일 수 있고, 제4메모리(434)는 Flash 메모리일 수 있다. 제1메모리(431)는 카메라 MCU(42)에 연결되고 MCU 로직 데이터(컨트롤러를 제어하는 알고리즘), MCU 베이직 소프트웨어(이미지 프로세서(41), 이미지 센서(31) 등을 구동시키기 위한 스타트업 알고리즘 등)를 저장한다. 제2메모리(432)는 이미지 프로세서(41)에 연결되고 이미지 프로세서(41)의 명령에 따라서, 제4메모리(434)에 저장되는 기능 구현 알고리즘을 실행하는 역할을 수행한다. 제3메모리(433)는 이미지 프로세서(41)에 연결되고 이미지 프로세서(41)의 명령에 따라서, 제4메모리(434)에 저장되는 기능 구현 알고리즘을 실행하는 역할을 수행한다. 제4메모리(434)는 이미지 프로세서(41)에 연결되고 이미지 프로세서(31)에서 기능을 구현하는 알고리즘 데이터(예컨대, LD, PD, VD, TSR 등)를 저장한다. 한편, 제2메모리(432) 및 제3메모리(433)는 카메라 시스템(1)이 지원하는 기능의 개수에 따라서 그 용량이 결정될 수 있다. 예컨대, 기능 중 일부만 지원하는 경우(이미지 프로세서(41)가 처리하는 데이터가 전방의 차량에 대한 데이터, 전방의 차선에 대한 데이터, 전방의 사이클리스트에 대한 데이터, 교통 표지판에 대한 데이터, 액티브 하이빔 컨트롤(AHBC)에 대한 데이터, 휠 디텍션(wheel detection)에 대한 데이터(예컨대, 카메라 FOV 안으로 들어오는 Close Cut-in 차량에 대해서 차량 바퀴 인식을 통해 보다 빠르게 차량을 인식하기 위한 데이터), 교통 신호등에 대한 데이터, 로드 마킹(예컨대, 도로 위의 화살표)에 대한 데이터인 경우)에는 제2메모리(432) 및 제3메모리(433)는 각각 128MB일 수 있으며, 더 많은 기능을 지원하는 경우(이미지 프로세서(41)가 처리하는 데이터가 전술한 예에 추가적으로, VD at any angle에 대한 데이터(전방 차량의 전 주행 방향 또는 각도에 대해 차량을 인식하기 위한 데이터), 로드 프로파일(예컨대, 전방 도로 형상(굴곡, 과속 방지턱 또는 호올(hole))을 인식하여 서스펜션 제어를 통해 승차감을 향상시키기 위한 데이터)에 대한 데이터, 시맨틱 프리 스페이스(예컨대, 바운더리 라벨링)에 대한 데이터, 일반적 물체(측면 차량 등)에 대한 데이터, 어드밴스트 패쓰 플래닝(advanced path planning)에 대한 데이터(예를 들어, 차선이 없거나 오염된 도로에서도 주변 환경을 통한 Deep Learning으로 차량 주행 예상 경로를 예측하기 위한 데이터), 오도메트리(odometry)에 대한 데이터(예컨대, 주행 도로 랜드 마크를 인식하여 GPS의 인식 정보와 융합시키기 위한 데이터인 경우)에는 제2메모리(432) 및 제3메모리(433)은 각각 256MB일 수 있다. 또한, 제2메모리(432) 및 제3메모리(33)는 렌즈(10)의 개수에 따라서 1개의 메모리로 통합될 수도 있다. 1개의 렌즈(10)만을 사용하는 경우에는 제2메모리(432) 및 제3메모리(433)의 총 2개의 메모리(예컨대, 2 X 218MB)가 사용될 수 있고, 2개의 렌즈(10)를 사용하는 경우에는 2개의 메모리를 사용하는 경우보다 용량이 더 큰 1개의 메모리(예컨대, 1 X 512MB)가 사용될 수 있다. 또한, 3개의 렌즈(10)가 사용되는 경우에는 용량이 큰 2개의 메모리(예컨대, 2 X 512MB)가 사용될 수 있다. 즉, 제2메모리(432) 및 제3메모리(433)는 렌즈의 개수에 따라서 그 개수 및 용량이 변경될 수 있다.The
또한, 카메라 시스템(1)은 카메라 MCU(42)에 연결되는 감시 모듈(441), 카메라 MCU(42)에 연결되어 샤시 CAN 통신을 수행하는 고속-캔 송수신기(HS-CAN_TRx)(442), 카메라 MCU(42)에 연결되어 로컬 CAN 통신을 수행하는 고속-캔 송수신기(443), 카메라 MCU(42)에 연결되어 와이퍼 동작 입력을 수신하는 외부 입력기(444), 카메라 MCU(42)에 연결되어 온오프 스위칭 입력을 수신하는 외부 입력기(445), 카메라 MCU(42)에 연결되어 LED 신호를 출력하는 외부 출력기(446)를 포함한다. 카메라 MCU(42)가 와이퍼 동작 입력을 수신하는 이유는, 와이퍼 ON 신호가 수신되는 경우는 비가 오는 상황으로써 카메라 시스템(1)을 통한 전방의 인식이 열화되기 때문에 카메라 MCU(42)의 동작을 Off 시키거나 또는 카메라 MCU(42)의 특정 기능을 Off 시킬 필요가 있기 때문이다. The
도 4b는 본 발명에 따른 카메라 시스템(1)의 구성요소를 나타내는 도면이다.4B is a diagram showing the components of the
도 4b를 참조하면, 카메라 시스템(1)은 렌즈(10), 이미지 센서(31), 이미지 프로세서(41) 및 카메라 MCU(42)를 포함한다. 4B, the
또한, 카메라 시스템(1)은 이그니션 전압(510)을 수신하여 제1전압(511), 제2전압(512), 제3전압(513) 및 제 4전압(514)으로 변환하는 제1컨버터부(421), 제1전압(511)을 수신하여 제5전압(515), 제6전압(516) 및 제7전압(517)으로 변환하는 레귤레이터부(523)를 포함한다. 제1컨버터부(521)는 도 4b에 도시된 바와 같이 1개의 4ch DC-DC 컨버터로 구성될 수 있으나, 이에 한정되지 않고 1ch DC-DC 컨버터 및 3ch DC-DC 컨버터로 구성될 수 있고 또는 2개의 2ch DC-DC 컨버터로 구성될 수 있고 또는 4개의 1ch DC-DC 컨버터로 구성될 수 있다. 또는 제1컨버터부(521)는 4ch PMIC(Power Management Integrated Circuit)로 구성될 수 있다. PMIC를 이용하는 경우 다수의 buck regulator를 실장하고 있고, boost regulator를 실장하고 있어 USB 기능을 지원할 수도 있고, 전원 설정을 위한 I2C 기능도 제공할 수 있는 장점이 있다. 레귤레이터부(523)는 도 4b에 도시된 바와 같이 3ch LDO(Low Drop Out)로 구성될 수 있으나, 이에 한정되지 않고 3개의 1ch LDO로 구성될 수 있다. 레귤레이터부(523)를 LDO로 구현하는 이유는 이미지 센서(31)에서 요구되는 전류 레벨이 크지 않기 때문이다. The
이그니션 전압(510)은 드라이버가 수동으로 키를 돌려 차량의 시동을 걸거나 버튼식으로 차량의 시동을 걸 때 발생하는 전압으로서 일반적으로 14V일 수 있다. 제 1 전압(511)은 제1컨버터부(521)가 이그니션 전압(510)을 수신하여 변환하는 전압으로서 3.3V일 수 있다. 제1전압(511)은 카메라 MCU(42)에 입력되어 카메라 MCU(42)의 동작 전원으로 이용될 수 있다. 또한, 제1전압(511)은 감시 모듈(541) 및 제1메모리(531)의 동작 전원으로 이용될 수 있다. 또한, 제1전압(511)은 이미지 프로세서(41)의 동작 전원으로 이용될 수 있다. 카메라 MCU(42) 및 이미지 프로세서(41)에 동일한 동작 전원인 제1전압(511)이 인가되는 이유는 두 개의 통신 컴포넌트 간의 통신 레벨(IO 전압)을 맞추기 위해서이다. 제2전압(512)은 제1컨버터부(521)가 이그니션 전압(510)을 수신하여 변환하는 전압으로서 1.8V일 수 있다. 한편, 후술하는 바와 같이 이미지 센서(31)에는 제5전압(515)(예컨대, 1.8V)가 인가되는데, 이 전압은 제2전압(512)과 동일하다. 이미지 프로세서(41)에 인가되는 제2전압(512) 및 이미지 센서(31)에 인가되는 제5전압(515)가 서로 동일한 이유는 이미지 프로세서(41) 및 이미지 센서(31) 사이의 통신 레벨(IO 전압)을 맞추기 위해서이다. 제3전압(513)은 제1컨버터부(521)가 이그니션 전압(510)을 수신하여 변환 및 출력하는 전압으로서 5V일 수 있다. 제3전압(513)은 카메라 MCU(42)가 통신을 위해 이용하는 컴포넌트들(예컨대, S-CAN 통신 모듈, C-CAN 통신 모듈, High Side Driver)의 구동 전원으로 이용될 수 있다. 제4전압(514)은 제1컨버터부(521)가 이그니션 전압(510)을 수신하여 변환 및 출력하는 전압으로서 2.8V 일 수 있다. 제4전압(514)은 컨버터를 통해 1.1V로 변환되어 이미지 프로세서(41)에 인가될 수 있다. 1.1V 전압은 이미지 프로세서(41)의 코어 전원로서 동작한다. 한편, 제1컨버터부(521)가 이미지 프로세서의 코어 전원(1.1V)을 직접 출력하는 것이 가능함에도 불구하고, 별도의 컨버터를 통해 제4전압(514)(2.8V)을 코어 전원(1.1V)로 하강시키는 이유는, 이미지 프로세서(41)가 요구하는 허용 전류를 만족시키기 위해서이다. The
한편, 제1전압(511)은 레귤레이터부(523)로 인가되고 레귤레이터부(523)는 제5전압(515), 제6전압(516) 및 제7전압(517)을 출력한다. 제5전압(515)은 1.8V일 수 있고, 제6전압(516)은 2.8V일 수 있고, 제7전압(517)은 1.2V일 수 있다. 제5전압(515)은 이미지 센서(31)로 인가되어 이미지 프로세서(41)와의 통신 레벨을 맞추기 위한 용도로 동작한다. 제6전압(516)은 이미지 센서(31)로 인가되어 이미지 센서(31)의 코어 전원으로서 동작한다. 결국 카메라 MCU(42)와 이미지 프로세서(41)은 제1전압(511)으로 통신 레벨 맞추고, 이미지 프로세서(41)와 이미지 센서(31)는 제 2 전압(512) 및 제 2 전압과 동일한 제 5 전압(515)으로 통신 레벨을 맞추게 된다.The first voltage 511 is applied to the regulator 523 and the regulator 523 outputs the fifth voltage 515, the sixth voltage 516, and the seventh voltage 517. The fifth voltage 515 may be 1.8V, the sixth voltage 516 may be 2.8V, and the seventh voltage 517 may be 1.2V. The fifth voltage 515 is applied to the
또한, 카메라 시스템(1)은 제1전압(511)을 수신하고 카메라 MCU(42)에 연결되는 제1메모리(531), 이미지 프로세서(41)에 연결되는 제2메모리(532), 이미지 프로세서(41)에 연결되는 제3메모리(533)를 포함한다. 제1메모리(531)는 EEPROM일 수 있고, 제2메모리(532)는 LPDDR4일 수 있고, 제3메모리(533)는 Flash 메모리일 수 있다. 제1메모리(531)는 카메라 MCU(42)에 연결되고 MCU 로직 데이터(컨트롤러를 제어하는 알고리즘), MCU 베이직 소프트웨어(이미지 프로세서(41), 이미지 센서(31) 등을 구동시키기 위한 스타트업 알고리즘 등)를 저장한다. 제2메모리(532)는 이미지 프로세서(41)에 연결되고 이미지 프로세서(41)의 명령에 따라서, 제3메모리(533)에 저장되는 기능 구현 알고리즘을 실행하는 역할을 수행한다. 제3메모리(533)는 이미지 프로세서(41)에 연결되고 이미지 프로세서(41)에서 기능을 구현하는 알고리즘 데이터(예컨대, LD, PD, VD, TSR 등)를 저장한다. 한편, 제2메모리(532)는 카메라 시스템(1)이 지원하는 기능의 개수에 따라서 그 용량이 결정될 수 있다. 예컨대, 기능 중 일부만 지원하는 경우(이미지 프로세서(41)가 처리하는 데이터가 전방의 차량에 대한 데이터, 전방의 차선에 대한 데이터, 전방의 사이클리스트에 대한 데이터, 교통 표지판에 대한 데이터, 액티브 하이빔 컨트롤(AHBC)에 대한 데이터, 휠 디텍션(wheel detection)에 대한 데이터(예컨대, 카메라 FOV 안으로 들어오는 Close Cut-in 차량에 대해서 차량 바퀴 인식을 통해 보다 빠르게 차량을 인식하기 위한 데이터), 교통 신호등에 대한 데이터, 로드 마킹(예컨대, 도로 위의 화살표)에 대한 데이터인 경우)에는 제2메모리(532)는 128MB일 수 있으며, 더 많은 기능을 지원하는 경우(이미지 프로세서(41)가 처리하는 데이터가 전술한 예에 추가적으로, VD at any angle에 대한 데이터(전방 차량의 전 주행 방향 또는 각도에 대해 차량을 인식하기 위한 데이터), 로드 프로파일(예컨대, 전방 도로 형상(굴곡, 과속 방지턱 또는 호올(hole))을 인식하여 서스펜션 제어를 통해 승차감을 향상시키기 위한 데이터)에 대한 데이터, 시맨틱 프리 스페이스(예컨대, 바운더리 라벨링)에 대한 데이터, 일반적 물체(측면 차량 등)에 대한 데이터, 어드밴스트 패쓰 플래닝(advanced path planning)에 대한 데이터(예를 들어, 차선이 없거나 오염된 도로에서도 주변 환경을 통한 Deep Learning으로 차량 주행 예상 경로를 예측하기 위한 데이터), 오도메트리(odometry)에 대한 데이터(예컨대, 주행 도로 랜드 마크를 인식하여 GPS의 인식 정보와 융합시키기 위한 데이터인 경우)에는 제2메모리(532)는 256MB일 수 있다.The
또한, 카메라 시스템(1)은 카메라 MCU(42)에 연결되는 감시 모듈(541), 카메라 MCU(42)에 연결되어 샤시 CAN 통신을 수행하는 고속-캔 송수신기(HS-CAN_TRx)(542), 카메라 MCU(42)에 연결되어 로컬 CAN 통신을 수행하는 고속-캔 송수신기(543), 카메라 MCU(42)에 연결되어 LED 신호를 출력하는 High Side Driver(544), 카메라 MCU(42)에 연결되어 온오프 스위칭 입력을 수신하는 외부 입력기(545)를 포함한다. 또한, 카메라 MCU(42)에 연결되어 와이어 입력을 수신하는 외부 입력 수신기(미도시)를 포함할 수 있는데 카메라 MCU(42)가 와이퍼 동작 입력을 수신하는 이유는, 와이퍼 ON 신호가 수신되는 경우는 비가 오는 상황으로써 카메라 시스템(1)을 통한 전방의 인식이 열화되기 때문에 카메라 MCU(42)의 동작을 Off 시키거나 또는 카메라 MCU(42)의 특정 기능을 Off 시킬 필요가 있기 때문이다.The
전술한 카메라 시스템(1)은 RBDPS(Road Boundary Departure Prevention Systems), CACC(Cooperative Adaptive Cruise Control Systems), Vehicle/roadway warning systems, PAPS(Partially Automated Parking Systems), PALS(Partially Automated Lane Change Systems), C-FVBWS(Cooperative Forward Vehicle Emergency Brake Warning Systems), LDWS(Lane Departure Warning Systems), PDCMS(Pedestrian Detection and Collision Mitigation Systems), CSWS(Curve Speed Warning Systems), LKAS(Lane Keeping Assistance Systems), ACC(Adaptive Cruise Control systems), FVCWS(Forward Vehicle Collision Warning Systems), MALSO(Manoeuvring Aids for Low Speed Operation systems), LCDAS(Lane Change Decision Aid Systems), LSF(Low Speed Following systems), FSRA(Full Speed Range Adaptive cruise control systems), FVCMS(Forward Vehicle Collision Mitigation Systems), ERBA(Extended Range Backing Aids systems), CIWS(Cooperative Intersection Signal Information and Violation Warning Systems), TIWS(Traffic Impediment Warning Systems) 중 적어도 하나의 기능을 구현하기 위해서 사용될 수 있다.The
도 5는 본 발명에 따른 렌즈 배럴 및 렌즈 홀더의 결합관계를 설명하기 위한 분해 사시도이다.5 is an exploded perspective view for explaining a coupling relationship between the lens barrel and the lens holder according to the present invention.
본 발명에 따른 렌즈(10)는 렌즈 배럴(15)에 삽입되고, 렌즈 배럴(15)은 플랜지(15-1)를 포함한다. 렌즈(10) 및 플랜지(15-1)를 포함하는 렌즈 배럴(15)의 몸통이 렌즈 홀더(20)에 삽입되는 방식으로 렌즈 배럴(15) 및 렌즈 홀더(20)가 서로 결합된다. 또한, 렌즈 배럴(15) 및 렌즈 홀더(20)는 Active alignment 방식으로 서로 결합된다.The
도 6은 본 발명의 실시 예에 따른 충돌 방지 시스템을 나타내는 도면이다.Figure 6 is a diagram illustrating an anti-collision system in accordance with an embodiment of the present invention.
도 6을 참조하면, 본 발명의 실시 예에 따른 충돌 방지 시스템은 카메라 시스템(1), 레이더 시스템(2), ECU(320), 차량 자세 제어 컨트롤러(333), 조향 컨트롤러(334), 엔진 제어 컨트롤러(335), 서스펜션 컨트롤러(336) 및 브레이크 컨트롤러(337)를 포함한다. 상기 컨트롤러들(333, 334, 335, 336, 337) 각각은 ECU(320)로부터 수신한 제어 명령에 기초하여 자동차의 구성 부품들을 제어한다.6, the anti-collision system according to the embodiment of the present invention includes a
카메라 시스템(1)은 하나 이상의 카메라, 이미지 프로세서(41) 및 카메라 MCU(42)를 포함한다. 이러한, 카메라 시스템(1)은 자차량의 전방, 후방, 좌측방 및 우측방의 영상 데이터를 생성하고, 생성된 영상 데이터를 ECU(320)로 전송한다.The
레이더 시스템(2)은 하나 이상의 레이더 및 Radar MCU(312)를 포함한다. 이러한, 레이더 시스템(2)은 전방, 후방, 좌측방 및 우측방으로 전파를 방사한 후, 반사파를 수신하여 수평각도 30도 범위에서 150m 전방, 후방, 좌측방 우측방에 위치하는 물체를 검출한다. 여기서, 레이더 시스템(2)은 주파수 변조 반송파(FMCW, Frequency Modulation Carrier Wave) 또는 펄스 반송파(Pulse Carrier)을 이용하여 물체를 검출하며, 물체 검출 결과를 포함하는 레이더 데이터를 ECU(320)로 전송한다.The
ECU(320)는 카메라 시스템(1)에서 입력된 영상 데이터 및 레이더 시스템(2)에서 입력된 레이더 데이터에 기초하여 주변차량들 중에서 타겟 차량을 검출하고, 자차량과 타겟 차량과의 충돌 위험을 판단한다. 여기서, 카메라 시스템(10)에서 ECU(320)로 전송되는 영상 데이터는 차선 인식 정보, 전방차량 인식 정보, 후방차량 인식 정보, 좌측방 차량 인식정보, 우측방 차량 인식정보를 포함한다. 그리고, 레이더 시스템(2)에서 ECU(320)로 전송되는 레이더 데이터는 전방차량 인식 정보, 후방차량 인식 정보, 좌측방 차량 인식정보, 우측방 차량 인식정보를 포함한다.The
자차량과 타겟 차량 간의 충돌 위험이 판단되는 경우에 충돌이 회피되도록 차량 자세 제어 컨트롤러(333), 조향 컨트롤러(334), 엔진 제어 컨트롤러(335), 서스펜션 컨트롤러(336) 및 브레이크 컨트롤러(337)에 제어신호를 전송한다. 이를 통해서, 자차량의 자세, 속도 및 조향을 제어하여 타겟 차량과 자차량을 충돌을 회피한다.The
조향 컨트롤러(334), 엔진 제어 컨트롤러(335), 브레이크 컨트롤러(337)를 제어하여 타겟 차량과의 충돌 회피할 수 있다. 자차량의 급격한 속도 변화 또는 조향 변화로 인해서 승차감이 떨어지고 운전자의 자세 불안으로 인한 사고 방지를 위해서 차량 자세 제어 컨트롤러(333) 및 서스펜션 컨트롤러(336)를 함께 제어하여 충돌 회피와 함께 주행 안정성을 확보한다.It is possible to avoid the collision with the target vehicle by controlling the
도 7은 충돌위험이 있는 타겟 차량을 검출하는 방법을 나타내는 도면이다.7 is a diagram showing a method for detecting a target vehicle with a risk of collision.
도 7을 참조하면, ECU(320)는 카메라 시스템(1)에서 입력된 영상 데이터 및 레이더 시스템(2)에서 입력된 레이더 데이터의 신호를 보정(lateral offset, angle, 타켓 횡속도)한다.Referring to FIG. 7, the
ECU(320)는 주변차량들 중에서 자차량(A)과 오버랩되는 부분이 일정 값 이상인 차량을 타겟 차량(B)으로 검출한다. 예로서, 자차량(A)과 오버랩되는 부분이 50% 이상인 차량을 타겟 차량(B)으로 검출할 수 있다.The
또한, ECU(320)는 자차량(A)의 진행각도(angle)과 주변차량의 진행각도의 차이가 일정 값 이하인 차량을 타겟 차량(B)으로 검출한다. 예로서, 자차량(A)과 주변차량의 각도 차이가 0~30%인 경우에, 이를 타겟 차량(B)으로 검출할 수 있다. 여기서, 정지 상태 또는 주행 상태를 구분하지 않고, 자차량(A)과 일정 값 이상 오버랩되거나 또는 자차량과(A)의 각도 차이가 일정 값 이하인 주변차량(또는 물체)을 타겟 차량(B)으로 검출한다.The
위의 설명에서는 타겟 차량(B)을 검출하는 것을 설명하였지만, 차량뿐만 아니라 보행자 또는 물체와의 충돌까지 회피할 수 있어야 함으로 타겟 물체(타겟 차량을 포함)을 검출하고, 타겟 물체와의 충돌을 회피하도록 자차량(A)을 제어한다. 즉, 자차량(A)의 주행 방향의 경로에서 물체(차량 및 보행자를 포함)가 검출된 경우에 이를 타겟 물체로 검출한다. 여기서, 자차량(A)의 주행 경로는 차선에 기초하여 설정할 수 있으며, 차선이 없는 도로에서는 가상의 차선을 생성하고, 주변 차량의 위치 및 가상의 차선에 기초하여 주행 경로에서 타겟 물체를 검출할 수 있다. 특히, 주행 경로 상에서 존재하지 않던 물체가 끼어드는 경우에, 이 물체를 타겟 물체(타겟 차량)으로 검출한다.In the above description, the detection of the target vehicle B has been described. However, it is necessary to detect the target object (including the target vehicle) by avoiding the collision with the pedestrian or the object as well as the vehicle, The vehicle A is controlled. That is, when an object (including a vehicle and a pedestrian) is detected on the path in the running direction of the subject vehicle A, it is detected as a target object. Here, the traveling path of the child vehicle A can be set based on the lane, and a virtual lane is generated on the road without the lane, and the target object is detected on the traveling path based on the position of the surrounding vehicle and the virtual lane . Particularly, when an object that does not exist on the traveling route is caught, this object is detected as a target object (target vehicle).
도 8은 자차량의 속도 및 조향을 제어하여 타겟 차량과의 충돌을 회피하는 방법을 나타내는 도면이다.8 is a diagram showing a method for controlling the speed and steering of the subject vehicle to avoid a collision with the target vehicle.
도 8을 참조하면, 하기의 수학식 1에 기재된 바와 같이 자차량과 타겟 차량의 횡방향 오프셋(lateral offset)에 기초하여 충돌 위험도를 산출한다.Referring to FIG. 8, the collision risk is calculated based on the lateral offset of the subject vehicle and the target vehicle, as shown in Equation (1) below.
동 제어: 횡방향 offset(TTC, Vlat) < XControl: lateral offset (TTC, Vlat) <X
감속 + 회피 제어: X1 < 횡방향 offset(TTC, Vlat) < X2Deceleration + avoidance control: X1 <lateral offset (TTC, Vlat) <X2
제어 불필요: 횡방향 offset(TTC, Vlat) > X3No control required: Lateral offset (TTC, Vlat)> X3
ECU(320)는 충돌 각도(heading angle) 및 횡방향 오프셋(lateral offset)을 산출한 후, 업데이트한다. 그리고, 차선의 곡률(curvature)과 곡률 변화(Curvature derivative)는 기존 값을 유지시킨다.The
ECU(320)는 자차량과 타겟 차량의 충돌 위험도가 기 설정된 기준 값을 초과하는 경우에, 예상 충돌 각도(HA: heading angle)를 감안하여 회피 경로를 생성하고 자차량의 속도 및 조향을 제어한다. 이때, 3차원 차선 기반 모델에 기초하여 조향 회피 경로를 생성할 수 있다.When the risk of collision between the subject vehicle and the target vehicle exceeds a preset reference value, the
3차원 차선 기반 모델 Y = C0l+C1lX+C2lX2+C3lX33D lane-based model Y = C0l + C1lX + C2lX2 + C3lX3
C0l은 Lateral Offset(Lane Mark Position)을 의미하고, C1l은 Line Heading Angle(Lane Mark Heading Angle)을 의미하고, 2C2l은 Line Curvature(Lane Mark Model A)을 의미하고, 6C3l은 Line Curvature Derivative(Lane Mark Model d(A))을 의미한다.C0l means Lane Mark Position, C1l means Line Heading Angle (Lane Mark Heading Angle), 2C2l means Line Curvature (Lane Mark Model A), 6C3l means Line Curvature Derivative Model d (A).
조향 제어 충돌 회피Avoid steering control collision
조향 제어를 통해 충돌을 회피하는 경우, ECU(320)는 조향 컨트롤러(334)로 제어신호를 전송하여, 자차량(A)의 조향을 제어한다. 여기서, 타겟 차량(B)과 충돌 회피를 위해서 자차량(A)의 조향을 제어하는 경우에 후방에서 접근하는 주변차량과의 충돌이 발생할 수 있다. 본 발명에서는 조향 회피의 제어의 수행 이전에, 후방에서 접근하는 차량 및 좌측 또는 우측 차선에서 주행 중인 차량과의 충돌 위험을 판단한다.In case of avoiding collision through steering control, the
후방에서 주행 중인 차량과의 충돌 위험이 없고, 좌측 차선 또는 우측 차선에서 주행하는 차량이 없거나 또는 충돌 위험이 없는 경우에 타겟 차량(B)과의 충돌이 회피되도록 자차량(A)의 조향을 제어한다.The steering of the subject vehicle A is controlled so as to avoid a collision with the target vehicle B in the case where there is no risk of collision with the vehicle running in the rear and there is no vehicle running in the left lane or the right lane, do.
또한, ECU(320)는 전방의 타겟 차량(B)과의 충돌이 예상되는 경우에, 자차량(A)의 속도 감속만으로는 충돌을 회피할 수 있다고 판단되면 자차량(A)의 조향을 제어하여 타겟 차량(B)과의 충돌을 회피할 수 있다.The
속도 제어 충돌 회피Avoid speed control collision
속도 제어를 통해 충돌을 회피하는 경우, ECU(320)는 엔진 제어 컨트롤러(335) 및 브레이크 컨트롤러(337)로 제어신호를 전송하여, 자차량(A)의 속도를 감속 시킨다. 여기서, ECU(320)는 전방의 타겟 차량(B)과의 충돌이 예상되는 경우에, 조향 회피를 수행 시 좌측 또는 우측 차로에서 주행중인 차량과의 충돌 위험을 판단한다. 조향 회피 시 좌측 또는 우측 차로에서 주행중인 차량과의 충돌이 판단되면 자차량(A)을 감속시켜 타겟 차량(B)과의 충돌을 회피한다.The
또한, ECU(320)는 전방의 타겟 차량(B)과의 충돌이 예상되는 경우에, 자차량(A)의 속도의 감속에 의해서 충돌을 회피할 수 있다고 판단되면 자차량(A)을 감속시켜 타겟 차량(B)과의 충돌을 회피할 수 있다.When the collision with the target vehicle B ahead is anticipated, the
옆 차로 차량의 차로 변경 시 충돌 회피Avoid collision when changing from car to car by side car
옆 차로에서 주행 중인 차량이 자차량의 주행 경로로 진입(끼어들기) 시 충돌을 방지하는 방법을 설명하기로 한다.A method of preventing collision when a vehicle traveling in a side lane enters (travels into) the traveling path of the vehicle will be described.
일 예로서, 카메라 시스템(1)에서 옆 차로에서 주행 중인 차량들을 촬영한 영상 데이터를 ECU(320)에서 분석하여, 옆 차로에서 주행 중인 차량들의 차로 변경의지를 감지한다. 주변 차량들의 방향 지시등(깜박이)을 검출하여 옆 차로에서 주행 중인 차량이 자차량(A)의 주행 경로로 진입(끼어들기)하는 것을 검출할 수 있다.As an example, the image data obtained by photographing the vehicles traveling in the side lane in the
다른 예로서, 카메라 시스템(1)에서 옆 차로에서 주행 중인 차량들을 촬영한 영상 데이터를 ECU(320)에서 분석하여, 옆 차로에서 주행 중인 차량들의 차로 변경의지를 감지한다. 주변 차량들의 타이어의 방향을 검출하여 옆 차로에서 주행 중인 차량이 자차량(A)의 주행 경로로 진입(끼어들기)하는 것을 검출할 수 있다.As another example, the image data obtained by photographing the vehicles traveling in the side lane in the
또 다른 예로서, 카메라 시스템(1)에서 옆 차로에서 주행 중인 차량들을 촬영한 영상 데이터 및 레이더 시스템(2)에서 옆 차로에서 주행 중인 차량들을 검출한 레이더 데이터를 ECU(320)에서 분석한다. 이를 통해서, 옆 차로에서 주행 중인 차량들의 차로 변경의지를 감지한다. 주변 차량들의 횡 가속도 및 방향을 검출하여 옆 차로에서 주행 중인 차량이 자차량(A)의 주행 경로로 진입(끼어들기)하는 것을 검출할 수 있다.As another example, the
옆 차로의 차량이 자차량(A)의 주행 경로로 진입(끼어들기)하는 경우, 교차로에서 좌회전 시 우측 차로의 차량이 끼어는 경우, 교차로에서 우회전 시 좌측 차로의 차량이 끼어드는 경우에 상기 표 1에 기재된 바와 같이, ECU(320)는 자차량(A)의 제어 모드를 결정한다. ECU(320는 가속, 감속, 제동 및 조향 제어 모드 중 하나 또는 2개 이상을 제어모드를 결합하여 자차량(A)과 주변차량과의 충돌을 회피 시킬 수 있다. 예로서, 자차량(A)을 가속, 감속, 제동 시키거나, 또는 조향 제어를 수행하여 충돌을 회피할 수 있다. 여기서, 자차량(A)의 가속과 조향 제어를 함께 수행할 수 있고, 자차량(A)의 가속과 조향 제어를 함께 수행할 수 있고, 자차량(A)의 제동과 조향 제어를 함께 수행할 수 있다.In the case where the vehicle from the side car enters (interrupts) the traveling path of the child car A, the vehicle from the right side lane is interrupted when turning left at the intersection, The
도 9는 본 발명의 실시 예에 따른 충돌 회피 방법을 나타내는 도면이다.9 is a view showing a collision avoiding method according to an embodiment of the present invention.
도 9를 참조하면, 카메라 시스템(1)에서 생성된 영상 데이터 및 레이더 시스템(2)에서 생성된 레이더 데이터를 ECU(320)가 수신한다(S10).Referring to FIG. 9, the
이어서, ECU(320)는 영상 데이터 및 레이더 데이터의 신호를 보정한다. 즉, 센서 신호를 보정한다(S20).Subsequently, the
이어서, ECU(320)는 영상 데이터 및 레이더 데이터에 기초하여 주변 차량들 중에서 타겟 차량을 검출한다(S30). 여기서, ECU(320)는 주변차량들 중에서 자차량(A)과 오버랩되는 부분이 일정 값 이상인 차량을 타겟 차량(B)으로 검출한다. 예로서, 자차량(A)과 오버랩되는 부분이 50% 이상인 차량을 타겟 차량(B)으로 검출할 수 있다. 또한, ECU(320)는 자차량(A)의 진행각도(angle)과 주변차량의 진행각도의 차이가 일정 값 이하인 차량을 타겟 차량(B)으로 검출한다. 예로서, 자차량(A)과 주변차량의 각도 차이가 0~30%인 경우에, 이를 타겟 차량(B)으로 검출할 수 있다. 주변차량의 정지 상태 또는 주행 상태를 구분하지 않고, 자차량(A)과 일정 값 이상 오버랩되거나 또는 자차량과(A)의 각도 차이가 일정 값 이하인 주변차량(또는 물체)을 타겟 차량(B)으로 검출한다.Subsequently, the
이어서, ECU(320)는 자차량과 타겟 차량의 횡방향 오프셋(lateral offset)에 기초하여, 자차량과 타겟 차량과의 충돌 위험도를 판단한다(S40).Subsequently, the
이어서, ECU(320)는 자차량과 타겟 차량과의 충돌이 판단되는 경우, 자차량의 제어 모드를 결정하고, 결정된 제어 모드에 따라서 차량 자세 제어 컨트롤러(333), 조향 컨트롤러(334), 엔진 제어 컨트롤러(335), 서스펜션 컨트롤러(336) 및 브레이크 컨트롤러(337)에 제어신호를 전송한다. 이를 통해서, 자차량의 자세, 속도 및 조향을 제어하여 타겟 차량과 자차량을 충돌을 회피한다.When the collision between the host vehicle and the target vehicle is determined, the
여기서, 자차량의 조향을 제어하여 타겟 차량과의 충돌을 회피할 수 있다. 또한, 자차량의 속도를 제어하여 타겟 차량과의 충돌을 회피할 수 있다. 또한, 옆 차로 차량의 차로 변경 시 자차량의 속도, 제동 및 조향 중 하나 이상을 제어하여 옆 차로에서 끼어드는 차량과 자차량과의 충돌을 회피할 수 있다.Here, the steering of the subject vehicle can be controlled to avoid collision with the target vehicle. In addition, it is possible to avoid collision with the target vehicle by controlling the speed of the subject vehicle. In addition, when the vehicle is changed to a vehicle by a side lane, it is possible to control at least one of speed, braking, and steering of the lane of the vehicle to avoid collision between the lane and the vehicle.
하나 이상의 예시적인 실시예에서, 설명한 기능들은 하드웨어, 소프트웨어, 펌웨어, 또는 이들의 임의의 조합으로 구현될 수 있다. 소프트웨어로 구현된다면, 이 기능들은 컴퓨터 판독 가능 매체 상에 하나 이상의 명령 또는 코드로서 저장 또는 전송될 수 있다. 컴퓨터 판독 가능 매체는 한 장소에서 다른 장소로 컴퓨터 프로그램의 전달을 용이하게 하는 임의의 매체를 포함하는 통신 매체 및 컴퓨터 저장 매체를 모두 포함한다. 저장 매체는 컴퓨터에 의해 액세스 가능한 임의의 이용 가능한 매체일 수 있다. 한정이 아닌 예시로, 이러한 컴퓨터 판독 가능 매체는 RAM, ROM, EEPROM, CD-ROM이나 다른 광 디스크 저장소, 자기 디스크 저장소 또는 다른 자기 저장 디바이스, 또는 명령이나 데이터 구조의 형태로 원하는 프로그램코드를 전달 또는 저장하는데 사용될 수 있으며 컴퓨터에 의해 액세스 가능한 임의의 다른 매체를 포함할 수 있다. 또한, 임의의 접속이 컴퓨터 판독 가능 매체로 적절히 지칭된다. 예를 들어, 소프트웨어가 동축 케이블, 광섬유 케이블, 꼬임 쌍선, 디지털 가입자 회선(DSL), 또는 적외선, 라디오 및 초고주파와 같은 무선 기술을 이용하여 웹사이트, 서버 또는 다른 원격 소스로부터 전송된다면, 동축 케이블, 광섬유 케이블, 꼬임 쌍선, DSL, 또는 적외선, 라디오 및 초고주파와 같은 무선 기술들이 매체의 정의에 포함된다. 여기서 사용된 것과 같은 디스크(disk 및 disc)는 콤팩트 디스크(CD), 레이저 디스크, 광 디스크, 디지털 다목적 디스크(DVD), 플로피디스크 및 블루레이 디스크를 포함하며, 디스크(disk)들은 보통 데이터를 자기적으로 재생하는 반면, 디스크(disc)들은 데이터를 레이저에 의해 광학적으로 재생한다. 상기의 조합들 또한 컴퓨터 판독 가능 매체의 범위 내에 포함되어야 한다.In one or more exemplary embodiments, the functions described may be implemented in hardware, software, firmware, or any combination thereof. If implemented in software, these functions may be stored or transmitted as one or more instructions or code on a computer readable medium. Computer-readable media includes both communication media and computer storage media including any medium that facilitates transfer of a computer program from one place to another. The storage medium may be any available media that is accessible by a computer. By way of example, and not limitation, such computer-readable media can comprise any computer-readable medium, such as RAM, ROM, EEPROM, CD-ROM or other optical disk storage, magnetic disk storage or other magnetic storage devices, And any other medium that can be used to store and be accessed by a computer. Also, any connection is properly referred to as a computer-readable medium. For example, if the software is transmitted from a web site, server, or other remote source using a wireless technology such as coaxial cable, fiber optic cable, twisted pair cable, digital subscriber line (DSL), or infrared, radio and ultra high frequency, Wireless technologies such as fiber optic cable, twisted pair, DSL, or infrared, radio and microwave are included in the definition of media. Disks and discs as used herein include compact discs (CDs), laser discs, optical discs, digital versatile discs (DVD), floppy discs and Blu-ray discs, While discs reproduce data optically by means of a laser. Combinations of the above should also be included within the scope of computer readable media.
실시예들이 프로그램 코드나 코드 세그먼트들로 구현될 때, 코드 세그먼트는 프로시저, 함수, 서브프로그램, 프로그램, 루틴, 서브루틴, 모듈, 소프트웨어 패키지, 클래스, 또는 명령들, 데이터 구조들, 또는 프로그램 명령문들의 임의의 조합을 나타낼 수 있는 것으로 인식해야 한다. 코드 세그먼트는 정보, 데이터, 인수(argument), 파라미터 또는 메모리 콘텐츠를 전달 및/또는 수신함으로써 다른 코드 세그먼트 또는 하드웨어 회로에 연결될 수 있다. 정보, 인수, 파라미터, 데이터 등은 메모리 공유, 메시지 전달, 토큰 전달, 네트워크 송신 등을 포함하는 임의의 적당한 수단을 이용하여 전달, 발송 또는 전송될 수 있다. 추가로, 어떤 측면들에서 방법 또는 알고리즘의 단계들 및/또는 동작들은 컴퓨터 프로그램 물건으로 통합될 수 있는 기계 판독 가능 매체 및/또는 컴퓨터 판독 가능 매체 상에 코드들 및/또는 명령들 중 하나 또는 이들의 임의의 조합이나 세트로서 상주할 수 있다.When embodiments are implemented as program code or code segments, the code segments may be stored as a procedure, a function, a subprogram, a program, a routine, a subroutine, a module, a software package, a class, As well as any combination thereof. A code segment may be coupled to another code segment or hardware circuit by conveying and / or receiving information, data, arguments, parameters or memory contents. Information, arguments, parameters, data, etc. may be communicated, sent, or transmitted using any suitable means including memory sharing, message passing, token passing, Additionally, in some aspects, steps and / or operations of a method or algorithm may be performed on one or more of the codes and / or instructions on a machine readable medium and / or computer readable medium that may be integrated into a computer program product As a combination or set of < / RTI >
소프트웨어에서 구현에서, 여기서 설명한 기술들은 여기서 설명한 기능들을 수행하는 모듈들(예를 들어, 프로시저, 함수 등)로 구현될 수 있다. 소프트웨어 코드들은 메모리 유닛들에 저장될 수 있으며 프로세서들에 의해 실행될 수 있다. 메모리 유닛은 프로세서 내에 구현될 수도 있고 프로세서 외부에 구현될 수 있으며, 이 경우 메모리 유닛은 공지된 바와 같이 다양한 수단에 의해 프로세서에 통신 가능하게 연결될 수 있다.In an implementation in software, the techniques described herein may be implemented with modules (e.g., procedures, functions, and so on) that perform the functions described herein. The software codes may be stored in memory units and executed by processors. The memory unit may be implemented within the processor and external to the processor, in which case the memory unit may be communicatively coupled to the processor by various means as is known.
하드웨어 구현에서, 처리 유닛들은 하나 이상의 주문형 집적 회로(ASIC), 디지털 신호 프로세서(DSP), 디지털 신호 처리 디바이스(DSPD), 프로그래밍 가능 로직 디바이스(PLD), 현장 프로그래밍 가능 게이트 어레이(FPGA), 프로세서, 제어기, 마이크로컨트롤러, 마이크로프로세서, 여기서 설명한 기능들을 수행하도록 설계된 다른 전자 유닛들, 또는 이들의 조합 내에 구현될 수 있다.In a hardware implementation, the processing units may be implemented as one or more application specific integrated circuits (ASICs), digital signal processors (DSPs), digital signal processing devices (DSPDs), programmable logic devices (PLDs), field programmable gate arrays Controllers, microcontrollers, microprocessors, other electronic units designed to perform the functions described herein, or a combination thereof.
상술한 것은 하나 이상의 실시예의 실례를 포함한다. 물론, 상술한 실시예들을 설명할 목적으로 컴포넌트들 또는 방법들의 가능한 모든 조합을 기술할 수 있는 것이 아니라, 당업자들은 다양한 실시예의 많은 추가 조합 및 치환이 가능함을 인식할 수 있다. 따라서 설명한 실시예들은 첨부된 청구범위의 진의 및 범위 내에 있는 모든 대안, 변형 및 개조를 포함하는 것이다. 더욱이, 상세한 설명 또는 청구범위에서 "포함한다"라는 용어가 사용되는 범위에 대해, 이러한 용어는 "구성되는"이라는 용어가 청구범위에서 과도적인 단어로 사용될 때 해석되는 것과 같이 "구성되는"과 비슷한 식으로 포함되는 것이다.What has been described above includes examples of one or more embodiments. It is, of course, not possible to describe all possible combinations of components or methods for purposes of describing the embodiments described, but one of ordinary skill in the art may recognize that many further combinations and permutations of various embodiments are possible. Accordingly, the described embodiments are intended to embrace all such alterations, modifications and variations that fall within the spirit and scope of the appended claims. Furthermore, to the extent that the term "comprises" is used in the detailed description or the claims, such terms are intended to be inclusive in a manner similar to "consisting" .
여기서 사용된 바와 같이, "추론하다" 또는 "추론"이라는 용어는 일반적으로 이벤트 및/또는 데이터에 의해 포착되는 한 세트의 관측으로부터 시스템, 환경 및/또는 사용자의 상태에 관해 판단하거나 추론하는 프로세스를 말한다. 추론은 특정 상황이나 동작을 식별하는데 이용될 수 있고, 또는 예를 들어 상태들에 대한 확률 분포를 생성할 수 있다. 추론은 확률적일 수 있는데, 즉 데이터 및 이벤트들의 고찰에 기초한 해당 상태들에 대한 확률 분포의 계산일 수 있다. 추론은 또한 한 세트의 이벤트들 및/또는 데이터로부터 상위 레벨 이벤트들을 구성하는데 이용되는 기술들을 말할 수도 있다. 이러한 추론은 한 세트의 관측된 이벤트들 및/또는 저장된 이벤트 데이터로부터의 새로운 이벤트들 또는 동작들, 이벤트들이 시간상 밀접하게 상관되는지 여부, 그리고 이벤트들과 데이터가 하나 또는 여러 이벤트 및 데이터 소스들로부터 나오는지를 추정하게 한다.As used herein, the term " infer "or" inference "generally refers to a process of determining or inferring a state of a system, environment, and / or user from a set of observations captured by events and / It says. The inference may be used to identify a particular situation or action, or may generate a probability distribution for, for example, states. The inference can be probabilistic, that is, it can be a computation of a probability distribution for corresponding states based on consideration of data and events. Inference may also refer to techniques used to construct higher level events from a set of events and / or data. This inference may be based on a set of observed events and / or new events or operations from stored event data, whether the events are closely correlated in time, and whether events and data are coming from one or more events and data sources .
더욱이, 본 출원에서 사용된 바와 같이, "컴포넌트", "모듈", "시스템" 등의 용어는 이에 한정되는 것은 아니지만, 하드웨어, 펌웨어, 하드웨어와 소프트웨어의 조합, 소프트웨어 또는 실행중인 소프트웨어와 같은 컴퓨터 관련 엔티티를 포함하는 것이다. 예를 들어, 컴포넌트는 이에 한정되는 것은 아니지만, 프로세서상에서 실행하는 프로세스, 프로세서, 객체, 실행 가능한 실행 스레드, 프로그램 및/또는 컴퓨터일 수도 있다. 예시로, 연산 디바이스 상에서 구동하는 애플리케이션과 연산 디바이스 모두 컴포넌트일 수 있다. 하나 이상의 컴포넌트가 프로세스 및/또는 실행 스레드 내에 상주할 수 있으며, 컴포넌트가 하나의 컴퓨터에 집중될 수도 있고 그리고/또는 2개 이상의 컴퓨터 사이에 분산될 수도 있다. 또한, 이들 컴포넌트는 각종 데이터 구조를 저장한 각종 컴퓨터 판독 가능 매체로부터 실행될 수 있다. 컴포넌트들은 하나 이상의 데이터 패킷(예를 들어, 로컬 시스템, 분산 시스템의 다른 컴포넌트와 그리고/또는 신호에 의해 다른 시스템들과 인터넷과 같은 네트워크를 거쳐 상호 작용하는 어떤 컴포넌트로부터의 데이터)을 갖는 신호에 따르는 등 로컬 및/또는 원격 프로세스에 의해 통신할 수 있다.Furthermore, as used in this application, the terms "component," "module," "system," and the like are intended to encompass all types of computer- Entity. For example, a component may be, but is not limited to, a process running on a processor, a processor, an object, an executable execution thread, a program, and / or a computer. By way of illustration, both the application running on the computing device and the computing device can be components. One or more components may reside within a process and / or thread of execution, and the components may be centralized on one computer and / or distributed between two or more computers. These components may also be executed from various computer readable media having various data structures stored thereon. The components may be associated with a signal having one or more data packets (e.g., data from a local system, data from another component of the distributed system and / or signals from other components interacting with other systems via a network such as the Internet) Lt; RTI ID = 0.0 > and / or < / RTI > remote processes.
1: 카메라 시스템
2: 레이더 시스템
320: ECU
333: 차량 자세 제어 컨트롤러
334: 조향 컨트롤러
335: 엔진 제어 컨트롤러
336: 서스펜션 컨트롤러
337: 브레이크 컨트롤러1: Camera system
2: Radar system
320: ECU
333: Vehicle attitude control controller
334: Steering controller
335: Engine control controller
336: Suspension controller
337: Brake controller
Claims (15)
차량의 전방을 촬영하기 위한 렌즈 (10);
상기 렌즈를 내부 공간에 수용하기 위한 렌즈 배럴 (15);
상기 렌즈 배럴과 결합하는 렌즈 홀더 (20);
상기 렌즈가 촬영한 이미지를 센싱하기 위한 이미지 센서 (31);
상기 이미지 센서로부터 이미지 데이터를 수신하여 프로세싱하기 위한 이미지 프로세서(41); 및
상기 이미지 프로세서와 통신하여 상기 이미지 프로세서가 프로세싱한 데이터를 수신하는 카메라 MCU(42)를 포함하는,
차량용 카메라 시스템.1. A camera system for a vehicle,
A lens 10 for photographing the front of the vehicle;
A lens barrel 15 for accommodating the lens in an inner space;
A lens holder 20 coupled to the lens barrel;
An image sensor (31) for sensing an image taken by the lens;
An image processor (41) for receiving and processing image data from the image sensor; And
And a camera MCU (42) in communication with the image processor to receive data processed by the image processor.
Car camera system.
이그니션 전압(510)을 수신하여 적어도 하나의 전압을 출력하는 제 1 컨버터부(521); 및
상기 제 1 컨버터부(521)에서 출력되는 전압을 수신하여 적어도 하나의 전압을 출력하는 레귤레이터부(523)을 더 포함하는,
차량용 카메라 시스템.The vehicle camera system according to claim 1, wherein the vehicle camera system comprises:
A first converter section (521) receiving the ignition voltage (510) and outputting at least one voltage; And
Further comprising a regulator unit (523) receiving the voltage output from the first converter unit (521) and outputting at least one voltage,
Car camera system.
상기 카메라 MCU(42)는 동작 전원으로서 상기 제 1 컨버터부(521)로부터 제 1 전압(511)을 수신하고,
상기 이미지 프로세서(41)는 동작 전원으로서 상기 제 1 컨버터부(521)로부터 제 1 전압(511)를 수신하는,
차량용 카메라 시스템.3. The method of claim 2,
The camera MCU 42 receives the first voltage 511 from the first converter unit 521 as operating power,
The image processor 41 receives the first voltage 511 from the first converter unit 521 as operating power,
Car camera system.
상기 제 1 컨버터부(521)로부터 출력되는 상기 제 1 전압(511)은 3.3 V인,
차량용 카메라 시스템.The method of claim 3,
The first voltage 511 output from the first converter unit 521 is 3.3 V,
Car camera system.
상기 이미지 프로세서(41)는 상기 제 1 컨버터부(521)로부터 제 2 전압(512)를 수신하고,
상기 이미지 센서(31)는 상기 레귤레이터부(523)로부터 제 5 전압(515)를 수신하고,
상기 제 2 전압(512) 및 상기 제 5 전압(515)는 서로 동일한,
차량용 카메라 시스템.The method of claim 3,
The image processor 41 receives the second voltage 512 from the first converter unit 521,
The image sensor 31 receives the fifth voltage 515 from the regulator unit 523,
The second voltage 512 and the fifth voltage 515 are equal to each other,
Car camera system.
상기 제 2 전압 및 상기 제 5 전압(515)는 1.8 V인,
차량용 카메라 시스템.6. The method of claim 5,
Wherein the second voltage and the fifth voltage (515) are 1.8 V,
Car camera system.
상기 이미지 센서(31)는 코어 전원으로서 상기 레귤레이터부(523)로부터 제 6 전압(516)을 수신하고,
상기 제 6 전압(516)은 2.8 V인,
차량용 카메라 시스템.The method of claim 3, wherein
The image sensor 31 receives a sixth voltage 516 from the regulator unit 523 as a core power supply,
The sixth voltage 516 is 2.8 V,
Car camera system.
상기 제 1 컨버터부(521)는 적어도 하나의 DC-DC 컨버터를 포함하도록 구성되고,
상기 레귤레이터부(523)는 적어도 하나의 LDO(Low Drop Out)을 포함하도록 구성되는,
차량용 카메라 시스템.The method of claim 3,
The first converter unit 521 is configured to include at least one DC-DC converter,
The regulator portion 523 is configured to include at least one Low Drop Out (LDO)
Car camera system.
상기 카메라 MCU(42)는 제 1 메모리(531)와 통신하는,
차량용 카메라 시스템.The method according to claim 1,
The camera MCU 42 is connected to the first memory 531,
Car camera system.
상기 이미지 프로세서(41)는 제 2 메모리(532) 및 제 3 메모리(533) 와 통신하는,
차량용 카메라 시스템.10. The method of claim 9,
The image processor 41 communicates with a second memory 532 and a third memory 533,
Car camera system.
상기 제 2 메모리(532)는 상기 차량용 카메라 시스템이 지원하는 ADAS 기능의 개수에 따라서 용량이 결정되는,
차량용 카메라 시스템.11. The method of claim 10,
The second memory (532) is adapted to determine the capacity according to the number of ADAS functions supported by the vehicle camera system.
Car camera system.
상기 카메라 시스템은,
RBDPS(Road Boundary Departure Prevention Systems), CACC(Cooperative Adaptive Cruise Control Systems), Vehicle/roadway warning systems, PAPS(Partially Automated Parking Systems), PALS(Partially Automated Lane Change Systems), C-FVBWS(Cooperative Forward Vehicle Emergency Brake Warning Systems), LDWS(Lane Departure Warning Systems), PDCMS(Pedestrian Detection and Collision Mitigation Systems), CSWS(Curve Speed Warning Systems), LKAS(Lane Keeping Assistance Systems), ACC(Adaptive Cruise Control systems), FVCWS(Forward Vehicle Collision Warning Systems), MALSO(Manoeuvring Aids for Low Speed Operation systems), LCDAS(Lane Change Decision Aid Systems), LSF(Low Speed Following systems), FSRA(Full Speed Range Adaptive cruise control systems), FVCMS(Forward Vehicle Collision Mitigation Systems), ERBA(Extended Range Backing Aids systems), CIWS(Cooperative Intersection Signal Information and Violation Warning Systems), TIWS(Traffic Impediment Warning Systems) 중 적어도 하나의 기능을 구현하기 위해서 사용되는,
차량용 카메라 시스템.The method according to claim 1,
The camera system comprises:
(RBDPS), Cooperative Adaptive Cruise Control Systems (CACC), Vehicle / roadway warning systems, Partially Automated Parking Systems (PAPS), Partially Automated Lane Change Systems (PALS), Cooperative Forward Vehicle Emergency Brake Lane Departure Warning Systems (LDWS), Pedestrian Detection and Collision Mitigation Systems (PDCMS), Curve Speed Warning Systems (CSWS), Lane Keeping Assistance Systems (LKAS), Adaptive Cruise Control systems (ACC) Collision Warning Systems), MALSO (Maneuvering Aids for Low Speed Operation systems), LCDAS (Lane Change Decision Aid Systems), LSF (Low Speed Following systems), FSRA (Full Speed Range Adaptive cruise control systems), Forward Vehicle Collision Mitigation Systems), Extended Range Backing Aids Systems (ERBA), Cooperative Intersection Signal Information and Violation Warning Systems (CIWS), and Traffic Impediment Warning Systems (TIWS). Used to preface,
Car camera system.
상기 영상 데이터 및 상기 레이더 데이터를 분석하여 주변 차량들 중에서 타겟 차량을 검출하는 단계;
상기 자차량과 상기 타겟 차량과의 충돌이 판단하는 단계; 및
충돌이 판단되는 경우 상기 자차량의 속도, 제동, 조향 중 적어도 하나를 제어 단계;를 포함하는 충돌 방지 방법.Generating image data of front, rear, left, and right rooms of the subject vehicle, and generating radar data of objects of the front, rear, left, and right rooms of the subject vehicle;
Analyzing the image data and the radar data to detect a target vehicle among nearby vehicles;
Determining a collision between the subject vehicle and the target vehicle; And
And controlling at least one of speed, braking, and steering of the subject vehicle when a collision is determined.
옆 차로에서 주행 중인 차량과의 충돌 위험이 없는 경우에 조향을 제어하여 상기 자차량의 주행 방향을 변경시키거나, 또는
상기 옆 차로에서 주행 중인 차량과의 충돌 위험이 있는 경우에 상기 자차량의 속도를 제어하는 충돌 방지 방법.14. The method of claim 13,
The steering direction is changed to change the running direction of the subject vehicle when there is no risk of collision with the vehicle running in the side lane, or
Wherein the speed of the subject vehicle is controlled when there is a risk of collision with the vehicle running in the side lane.
옆 차로에서 끼어드는 타겟 차량과의 충돌이 예상되는 경우,
조향을 제어하여 상기 자차량의 주행 방향을 변경시키거나, 또는
상기 자차량의 속도를 제어하는 충돌 방지 방법.14. The method of claim 13,
If you are expecting a collision with a target vehicle in a side lane,
The steering direction is controlled to change the running direction of the subject vehicle, or
And controlling the speed of the subject vehicle.
Priority Applications (7)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020170009176A KR102669526B1 (en) | 2017-01-19 | 2017-01-19 | A camera system for ADAS, system and method for collision avoidance |
| PCT/KR2018/000826 WO2018135869A1 (en) | 2017-01-19 | 2018-01-18 | Camera system for intelligent driver assistance system, and driver assistance system and method |
| US16/218,170 US10569771B2 (en) | 2017-01-19 | 2018-12-12 | Camera system for intelligent driver assistance system, and driver assistance system and method |
| US16/512,887 US11208098B2 (en) | 2017-01-19 | 2019-07-16 | Camera system for intelligent driver assistance system, and driver assistance system and method |
| US16/730,353 US11491974B2 (en) | 2017-01-19 | 2019-12-30 | Camera system for intelligent driver assistance system, and driver assistance system and method |
| US17/158,330 US11767012B2 (en) | 2017-01-19 | 2021-01-26 | Camera system for intelligent driver assistance system, and driver assistance system and method |
| US17/518,997 US11803026B2 (en) | 2017-01-19 | 2021-11-04 | Camera system for intelligent driver assistance system, and driver assistance system and method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020170009176A KR102669526B1 (en) | 2017-01-19 | 2017-01-19 | A camera system for ADAS, system and method for collision avoidance |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20180085532A true KR20180085532A (en) | 2018-07-27 |
| KR102669526B1 KR102669526B1 (en) | 2024-05-27 |
Family
ID=63078503
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020170009176A KR102669526B1 (en) | 2017-01-19 | 2017-01-19 | A camera system for ADAS, system and method for collision avoidance |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102669526B1 (en) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20200040178A (en) * | 2019-05-23 | 2020-04-17 | 주식회사 만도 | Apparatus and Method for Rear Collision Avoiding, and Vehicle Control Apparatus with the same |
| CN112249010A (en) * | 2020-11-03 | 2021-01-22 | 浙江大华汽车技术有限公司 | Method and apparatus for controlling automatic emergency braking of vehicle and storage medium |
| US10906559B1 (en) | 2020-01-06 | 2021-02-02 | Mando Corporation | Apparatus for assisting driving of a vehicle and method thereof |
| CN113212427A (en) * | 2020-02-03 | 2021-08-06 | 通用汽车环球科技运作有限责任公司 | Intelligent vehicle with advanced vehicle camera system for underbody hazard and foreign object detection |
| KR20230011774A (en) | 2021-07-14 | 2023-01-25 | 현대모비스 주식회사 | Method and system for data recording of vehicle |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20020015135A (en) | 2000-08-21 | 2002-02-27 | 이계안 | System for alarming crash a cross roads |
| KR20120016430A (en) * | 2010-08-16 | 2012-02-24 | 삼성전기주식회사 | Camera for automobile |
| KR20120055824A (en) * | 2010-11-24 | 2012-06-01 | 현대자동차일본기술연구소 | Image acquiring method of vehicle camera system |
| KR20130037971A (en) * | 2011-10-07 | 2013-04-17 | 엘지이노텍 주식회사 | A camera module for self diagnosis |
| KR20150140927A (en) * | 2014-06-09 | 2015-12-17 | 엘지이노텍 주식회사 | Camera module and vehicle components including the module |
| KR20160135427A (en) * | 2015-05-18 | 2016-11-28 | 주식회사 만도 | Safety apparatus and safety method for risk of collision |
-
2017
- 2017-01-19 KR KR1020170009176A patent/KR102669526B1/en active IP Right Grant
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20020015135A (en) | 2000-08-21 | 2002-02-27 | 이계안 | System for alarming crash a cross roads |
| KR20120016430A (en) * | 2010-08-16 | 2012-02-24 | 삼성전기주식회사 | Camera for automobile |
| KR20120055824A (en) * | 2010-11-24 | 2012-06-01 | 현대자동차일본기술연구소 | Image acquiring method of vehicle camera system |
| KR20130037971A (en) * | 2011-10-07 | 2013-04-17 | 엘지이노텍 주식회사 | A camera module for self diagnosis |
| KR20150140927A (en) * | 2014-06-09 | 2015-12-17 | 엘지이노텍 주식회사 | Camera module and vehicle components including the module |
| KR20160135427A (en) * | 2015-05-18 | 2016-11-28 | 주식회사 만도 | Safety apparatus and safety method for risk of collision |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20200040178A (en) * | 2019-05-23 | 2020-04-17 | 주식회사 만도 | Apparatus and Method for Rear Collision Avoiding, and Vehicle Control Apparatus with the same |
| US10906559B1 (en) | 2020-01-06 | 2021-02-02 | Mando Corporation | Apparatus for assisting driving of a vehicle and method thereof |
| US11479269B2 (en) | 2020-01-06 | 2022-10-25 | Hl Klemove Corp. | Apparatus for assisting driving of a vehicle and method thereof |
| CN113212427A (en) * | 2020-02-03 | 2021-08-06 | 通用汽车环球科技运作有限责任公司 | Intelligent vehicle with advanced vehicle camera system for underbody hazard and foreign object detection |
| CN112249010A (en) * | 2020-11-03 | 2021-01-22 | 浙江大华汽车技术有限公司 | Method and apparatus for controlling automatic emergency braking of vehicle and storage medium |
| KR20230011774A (en) | 2021-07-14 | 2023-01-25 | 현대모비스 주식회사 | Method and system for data recording of vehicle |
Also Published As
| Publication number | Publication date |
|---|---|
| KR102669526B1 (en) | 2024-05-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11491974B2 (en) | Camera system for intelligent driver assistance system, and driver assistance system and method | |
| US11767012B2 (en) | Camera system for intelligent driver assistance system, and driver assistance system and method | |
| KR101915167B1 (en) | Automatically parking system and automatically parking method | |
| US9099006B2 (en) | Context-aware threat response arbitration | |
| CN113060141B (en) | Advanced driver assistance system, vehicle having the same, and method of controlling the vehicle | |
| US20210323574A1 (en) | Advanced driver assistance system, vehicle having the same and method for controlling the vehicle | |
| KR102669526B1 (en) | A camera system for ADAS, system and method for collision avoidance | |
| KR20200047886A (en) | Driver assistance system and control method for the same | |
| CN113246993A (en) | Driving support system | |
| KR102666315B1 (en) | A camera system for ADAS, System and Method for Intersection Collision prevention | |
| KR102669183B1 (en) | A camera system for ADAS, And Apparatus and Method for controlling vehicle | |
| KR20180085530A (en) | A camera system for ADAS, system and method for intersection collision avoidance | |
| KR20180085550A (en) | A camera system for ADAS | |
| KR102670773B1 (en) | A camera system for ADAS and driving Assistance System by using the same | |
| US20230294682A1 (en) | Driver assistance system and vehicle including the same | |
| KR20180085548A (en) | A camera system for ADAS and driving Assistance System by using the same | |
| KR20180085529A (en) | A camera system for ADAS, System and Method for Autonomous Emergency Braking | |
| KR102670844B1 (en) | A camera system for ADAS and driving Assistance System by using the same | |
| KR102682056B1 (en) | A camera system for ADAS and driving Assistance System by using the same | |
| KR20180085551A (en) | A camera system for ADAS and driving Assistance System by using the same | |
| KR102686601B1 (en) | A camera system for ADAS | |
| US20230347884A1 (en) | Vehicle, method for vehicle, and system for vehicle | |
| KR20180085549A (en) | A camera system for ADAS | |
| KR20230141993A (en) | Driving assistance control apparatus and driver assistance control method of vehicle | |
| KR20230158694A (en) | Advanced Driver Assistance System, and Vehicle having the same |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |