KR20200084470A - 차량용 지능형 사이드 뷰 카메라 시스템 - Google Patents
차량용 지능형 사이드 뷰 카메라 시스템 Download PDFInfo
- Publication number
- KR20200084470A KR20200084470A KR1020180171166A KR20180171166A KR20200084470A KR 20200084470 A KR20200084470 A KR 20200084470A KR 1020180171166 A KR1020180171166 A KR 1020180171166A KR 20180171166 A KR20180171166 A KR 20180171166A KR 20200084470 A KR20200084470 A KR 20200084470A
- Authority
- KR
- South Korea
- Prior art keywords
- image
- vehicle
- unit
- image acquisition
- camera system
- Prior art date
Links
- 238000012545 processing Methods 0.000 claims abstract description 62
- 238000000034 method Methods 0.000 claims abstract description 20
- 238000012937 correction Methods 0.000 claims abstract description 17
- 230000006872 improvement Effects 0.000 claims abstract description 8
- 238000001514 detection method Methods 0.000 claims abstract description 7
- 230000008569 process Effects 0.000 claims abstract description 6
- 230000006870 function Effects 0.000 claims description 4
- 238000010191 image analysis Methods 0.000 claims description 3
- 230000009467 reduction Effects 0.000 claims description 2
- 230000003287 optical effect Effects 0.000 abstract description 2
- 238000005516 engineering process Methods 0.000 description 5
- 238000005286 illumination Methods 0.000 description 4
- 238000009434 installation Methods 0.000 description 3
- 238000013461 design Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 239000011521 glass Substances 0.000 description 2
- 238000007792 addition Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000000446 fuel Substances 0.000 description 1
- 230000003760 hair shine Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/08—Interaction between the driver and the control system
- B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
-
- H04N5/217—
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
- B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/20—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/08—Interaction between the driver and the control system
- B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
- B60W2050/146—Display means
Landscapes
- Engineering & Computer Science (AREA)
- Mechanical Engineering (AREA)
- Transportation (AREA)
- Automation & Control Theory (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Signal Processing (AREA)
- Chemical & Material Sciences (AREA)
- Combustion & Propulsion (AREA)
- Human Computer Interaction (AREA)
- Studio Devices (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
차량용 지능형 사이드 뷰 카메라 시스템을 개시한다. 차량용 지능형 사이드 뷰 카메라 시스템은 실시간 고속 영상 처리 및 초저조도 고해상도 영상 획득을 지원하고 차량 좌측에 설치되어 차량의 좌측 후방 영상을 획득하는 좌측 영상 획득부와, 실시간 고속 영상 처리 및 초저조도 고해상도 영상 획득을 지원하고 차량 우측에 설치되어 차량의 우측 후방 영상을 획득하는 우측 영상 획득부와, 차량의 좌측 후방 영상 및 우측 후방 영상의 초저조도 환경 영상 노이즈 제거 및 렌즈 왜곡 보정을 수행하는 영상 인식 및 처리부와, 역광 조건 검출 시 광대역 역광 보정을 제어하고, 조명 또는 기후 조건에 따라 화질 개선을 제어하고, 차량 주변 감지에 따른 이벤트 신호를 생성하는 제어부와, 상기 제어부의 제어에 따라 이벤트 신호에 기초하여 이벤트 발생을 처리하는 이벤트 처리부 및 상기 영상 인식 및 처리부에서 출력되는 좌측 영상 및 우측 영상을 표시하는 디스플레이부를 포함할 수 있다.
Description
본 발명은 차량의 사이드 미러를 대체할 수 있는 차량용 사이드 뷰 카메라 시스템에 관한 것으로, 4차 산업 혁명의 핵심기술인 자율주행 자동차에도 적용될 수 있는 지능형 사이드 뷰 카메라 시스템에 관한 것이다.
차량의 양 측면에는 차량의 측면 후방을 운전자가 인식할 수 있도록 사이드 뷰 미러가 장착되어 있다.
사이드 뷰 미러는 사각 지역이 존재할 수 있는 문제점이 있고, 운전자에게 더 나은 시야 제공 목적과 다양한 장점을 갖는 카메라 및 영상 표시 장치로 대체될 것으로 전망된다.
카메라 및 영상 표시 장치로 구성되는 차량용 사이드 뷰 시스템은 운전자에게 더 나은 시야 제공으로 안전을 확보하여 사고를 예방하는데 목적이 있으며, 추가적으로 에너지 절감 효과를 동시에 제공하고, ADAS(Advanced Driver Assistance system)에 필요한 카메라 시스템으로 활용될 수 있다.
선행기술1 내지 선행기술 5는 카메라 및 영상 표시 장치를 이용하여 사각지대 정보를 제공하거나 기존의 사이드 뷰 미러를 대체할 수 있는 다양한 기술들을 제시한다.
그러나, 선행기술1 내지 선행기술 5에 개시된 장치 및 방법은 단순히 기존의 사이드 뷰 미러를 대체하기 위한 기술을 제시할 뿐, 4차 산업 혁명의 핵심기술인 자율주행 자동차 내지 스마트카에 적용될 수 있는 지능형 시스템이나 편의성을 제공하지 못하며 다양한 주행 환경에 지능적, 적응적으로 동작하기 위한 구성을 제시하지 못하고 있다.
본 발명의 실시예들은 종래기술들의 문제점을 극복하고, 4차 산업 혁명의 핵심기술인 자율주행 자동차 내지 스마트카에 적용될 수 있는 지능형 시스템이나 편의성을 제공하는 것을 목적으로 한다.
본 발명의 실시예들은 고화질 실시간 고속 영상 처리를 지원하고, 초저조도 환경에서도 우수한 영상품질을 제공할 수 있는 지능형 사이드 뷰 카메라 시스템을 제공하는 것을 목적으로 한다.
또한, 본 발명의 실시예들은 다양한 주행 환경에 지능적, 적응적으로 동작할 수 있는 지능형 사이드 뷰 카메라 시스템을 제공하고자 한다.
또한, 본 발명의 실시예들은 시야각 확대에 따른 왜곡 보정, 광대역 역광 보정 및 화질 개선을 통해 국제 표준에서 제시하는 기준을 만족하는 실시간 영상 처리가 가능한 지능형 사이드 뷰 카메라 시스템을 제공하고자 한다.
또한, 본 발명의 실시예들은 카메라 영상을 이용하여 주변 차량 및 물체를 자동으로 감지하고 사용자에게 적절한 알림을 제공할 수 있는 지능형 사이드 뷰 카메라 시스템을 제공하고자 한다.
본 발명의 기타 해결하고자 하는 과제 및 구체적인 목적들은 발명을 실시하기 위한 구체적인 내용을 통해 더욱 상세히 설명하기로 한다.
일 실시예에 따른 차량용 지능형 사이드 뷰 카메라 시스템은 실시간 고속 영상 처리 및 초저조도 고해상도 영상 획득을 지원하고 차량 좌측에 설치되어 차량의 좌측 후방 영상을 획득하는 좌측 영상 획득부와, 실시간 고속 영상 처리 및 초저조도 고해상도 영상 획득을 지원하고 차량 우측에 설치되어 차량의 우측 후방 영상을 획득하는 우측 영상 획득부와, 차량의 좌측 후방 영상 및 우측 후방 영상의 초저조도 환경 영상 노이즈 제거 및 렌즈 왜곡 보정을 수행하는 영상 인식 및 처리부와, 역광 조건 검출 시 광대역 역광 보정을 제어하고, 조명 또는 기후 조건에 따라 화질 개선을 제어하고, 차량 주변 감지에 따른 이벤트 신호를 생성하는 제어부와, 상기 제어부의 제어에 따라 이벤트 신호에 기초하여 이벤트 발생을 처리하는 이벤트 처리부 및 상기 영상 인식 및 처리부에서 출력되는 좌측 영상 및 우측 영상을 표시하는 디스플레이부를 포함한다.
본 발명의 실시예에 따르면, 종래기술들의 문제점을 극복하고, 4차 산업 혁명의 핵심기술인 자율주행 자동차 내지 스마트카에 적용될 수 있는 지능형 시스템이나 편의성을 제공하는 할 수 있다.
본 발명의 실시예에 따르면, 고화질 실시간 고속 영상 처리를 지원하고, 초저조도 환경에서도 우수한 영상품질을 제공할 수 있는 지능형 사이드 뷰 카메라 시스템을 제공할 수 있다.
또한, 본 발명의 실시예에 따르면, 다양한 주행 환경에 지능적, 적응적으로 동작할 수 있는 지능형 사이드 뷰 카메라 시스템을 제공할 수 있다.
또한, 본 발명의 실시예에 따르면, 시야각 확대에 따른 왜곡 보정, 광대역 역광 보정 및 화질 개선을 통해 국제 표준에서 제시하는 기준을 만족하는 실시간 영상 처리가 가능한 지능형 사이드 뷰 카메라 시스템을 제공할 수 있다.
또한, 본 발명의 실시예에 따르면, 카메라 영상을 이용하여 주변 차량 및 물체를 자동으로 감지하고 사용자에게 적절한 알림을 제공할 수 있는 지능형 사이드 뷰 카메라 시스템을 제공할 수 있다.
도 1은 본 발명의 실시예에 따른 차량용 지능형 사이드 뷰 카메라 시스템의 구성을 나타내는 도면이다.
도 2는 일 실시예에 따른 사이드 뷰 카메라 시스템이 차량 내부에 설치된 예를 나타내는 예시도이다.
도 3은 일 실시예에 따른 사이드 뷰 카메라 시스템의 설치예를 차량 외부에서 설명하기 위한 예시도이다.
도 4 및 도 5는 일 실시예에 따른 사이드 뷰 프레임의 구성을 설명하기 위한 예시도이다.
도 2는 일 실시예에 따른 사이드 뷰 카메라 시스템이 차량 내부에 설치된 예를 나타내는 예시도이다.
도 3은 일 실시예에 따른 사이드 뷰 카메라 시스템의 설치예를 차량 외부에서 설명하기 위한 예시도이다.
도 4 및 도 5는 일 실시예에 따른 사이드 뷰 프레임의 구성을 설명하기 위한 예시도이다.
이하 첨부 도면들 및 첨부 도면들에 기재된 내용들을 참조하여 본 발명의 실시예를 상세하게 설명하지만, 본 발명이 실시예에 의해 제한되거나 한정되는 것은 아니다.
본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소, 단계, 동작 및/또는 소자는 하나 이상의 다른 구성요소, 단계, 동작 및/또는 소자의 존재 또는 추가를 배제하지 않는다.
본 명세서에서 사용되는 "실시예", "예", "측면", "예시" 등은 기술된 임의의 양상(aspect) 또는 설계가 다른 양상 또는 설계들보다 양호하다거나, 이점이 있는 것으로 해석되어야 하는 것은 아니다.
또한, '또는' 이라는 용어는 배타적 논리합 'exclusive or' 이기보다는 포함적인 논리합 'inclusive or' 를 의미한다. 즉, 달리 언급되지 않는 한 또는 문맥으로부터 명확하지 않는 한, 'x가 a 또는 b를 이용한다' 라는 표현은 포함적인 자연 순열들(natural inclusive permutations) 중 어느 하나를 의미한다.
또한, 본 명세서 및 청구항들에서 사용되는 단수 표현("a" 또는 "an")은, 달리 언급하지 않는 한 또는 단수 형태에 관한 것이라고 문맥으로부터 명확하지 않는 한, 일반적으로 "하나 이상"을 의미하는 것으로 해석되어야 한다.
또한, 본 명세서 및 청구항들에서 사용되는 제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.
한편, 본 발명을 설명함에 있어서, 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는, 그 상세한 설명을 생략할 것이다. 그리고, 본 명세서에서 사용되는 용어(terminology)들은 본 발명의 실시예를 적절히 표현하기 위해 사용된 용어들로서, 이는 사용자, 운용자의 의도 또는 본 발명이 속하는 분야의 관례 등에 따라 달라질 수 있다. 따라서, 본 용어들에 대한 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
도 1은 본 발명의 실시예에 따른 차량용 지능형 사이드 뷰 카메라 시스템의 구성을 나타내는 도면이다.
도 1을 참조하면, 실시예에 따른 차량용 지능형 사이드 뷰 카메라 시스템(100)은 좌측 영상 획득부(10), 우측 영상 획득부(20), 영상 인식 및 처리부(110), 제어부(120), 이벤트 처리부(130) 및 디스플레이부(140)를 포함하다. 차량용 지능형 사이드 뷰 카메라 시스템(100)은 저장부(150) 및 센서부(160)을 더 포함할 수 있다.
좌측 영상 획득부(10)는 실시간 고속 영상 처리 및 초저조도 고해상도 영상 획득을 지원하고 차량 좌측에 설치되어 차량의 좌측 후방 영상을 획득한다.
우측 영상 획득부(20)는 실시간 고속 영상 처리 및 초저조도 고해상도 영상 획득을 지원하고 차량 우측에 설치되어 차량의 우측 후방 영상을 획득한다.
좌측 영상 획득부(10) 및 우측 영상 획득부(20)는 실시간 고속 영상 처리 및 초저조도 고해상도 영상을 획득하기 위한 이미지 센서를 포함할 수 있다.
이미지 센서는 예를 들어, FHD 급(1080 픽셀)의 고해상도를 지원하고 초단 60 프레임 이상을 지원할 수 있는 사양이 적용될 수 있다.
이미지 센서의 시야각은 예를 들어, 60도 이상의 광각을 지원할 수 있는 사양이 적용될 수 있다.
이미지 센서는 예를 들어, 측면 당 30~80도의 넓은 시야각을 지원할 수 도 있다.
이미지 센서의 시야각이 넓은 경우 주행 중 차량의 측면 및 후면 관찰이 더욱 용이하며, 좌측과 우측 영상을 출력하는 디스플레이 모니터 2대를 모두 운전자와 가까운 위치에 설치함으로써, 운전자는 좌측과 우측의 영상을 이질 감 없이 관찰할 수 도 있다.
좌측 영상 획득부(10) 및 우측 영상 획득부(20)는 각각 주행 시 차량 외부로 돌출되어 있는 사이드 뷰 프레임(1, 2)에 내장될 수 있다.
이때, 사이드 뷰 프레임(1, 2)은 기존의 사이드 뷰 미러와는 달리 주차 중에는 차량 내부로 삽입되고, 시동이 걸림과 동시에 외부로 돌출되는 구조로 설계될 수 도 있다.
여기서, 사이드 뷰 프레임(1, 2)은 주행중 돌출된 상태에서도 기존의 사이드 뷰 미러에 비해 매우 적은 면적을 차지하기 때문에, 공기역학적으로도 고속 주행에서 연비 상승의 효과가 있고, 바람을 가르는 소음이 제거되어 풍절음이 크게 감소될 수 있다.
영상 인식 및 처리부(110)는 차량의 좌측 후방 영상 및 우측 후방 영상의 초저조도 환경 영상 노이즈 제거 및 렌즈 왜곡 보정을 수행한다.
영상 인식 및 처리부(110)는 초저조도 이미지 센서의 주파수 특성 모델링 및 색 보정, 초저조도 이미지 센서 영상의 노이즈 모델링 및 디노이징, 컬러 콘트라스트 기법 등을 적용하여 디스플레이되는 이미지의 성능을 개선할 수 있다.
영상 인식 및 처리부(110)는 시간 영역에서의 필터링 기법과 공간 영역에서의 필터링 방법을 복합적으로 적용하여 디스플레이되는 이미지의 성능을 개선할 수 있다.
영상 인식 및 처리부(110)는 영상 획득부에 광 시야각의 렌즈가 적용된 경우 광 시야각의 렌즈 사용에 따른 이미지 왜곡을 보정하여 디스플레이부로 출력할 수 있다.
영상 인식 및 처리부(110)는 소프트웨어 보정 기술을 적용하여 촬영 이미지를 정상 이미지로 보정할 수 있다. 영상 인식 및 처리부(110)는 렌즈의 방사형 왜곡을 보정 할 때 왜곡이 있는 이미지와 정상적인 이미지를 비교하여 왜곡계수를 확인하고 왜곡의 반대되는 왜곡을 대입하여 보정하는 방법과 3점의 공간적 위치를 확인하여 왜곡률을 확인하고 확인된 왜곡률을 반대로 왜곡된 이미지에 적용하여 이미지를 보정하는 소프트웨어 기술을 이용할 수 있다.
영상 인식 및 처리부(110)는 주변 차량의 빛 반사, 역광 상황 등에 의하여 밝은 부분의 영상과 어두운 부분의 영상이 동시에 입력될 때, 모든 부분의 영상을 깨끗하게 처리하기 위해서 광대역 역광 보정 알고리즘을 적용하여 역광 조건 관측 및 이미지 개선을 위한 광대역 역광 보정을 수행할 수 있다.
영상 인식 및 처리부(110)는 헤드라이트 등 밝은 빛이 카메라에 직접 비추어지면 빛 번짐이 발생하며 빛 번짐을 최소화하기 위해서는 센서의 셔터 속도를 조정하는데 빛 번짐을 최소화 하도록 셔터 속도를 제어하면 광원의 주변 시야가 확보되지 않는 문제가 발생하기 때문에 적절한 밝기를 유지하면서 빛번짐을 최소화하기 위한 셔터 속도 제어를 주간과 야간 상황을 모두 고려해서 적용할 수 있다.
영상 인식 및 처리부(110)는 제어부(120)를 통해 안개 상황, 눈이 오는 상황, 비가 오는 상황에 대한 정보가 입력되면, 선명한 영상을 확보하기 위한 방법으로, AE 알고리즘의 최적화, 감마보정기법 등을 적용하여 화질 개선을 수행할 수 있다.
한편, 영상 인식 및 처리부(110)는 좌측 영상 획득부(10) 및 우측 영상 획득부(20)에 초저조도 환경에서 고해상도 영상을 획득할 수 없는 낮은 사양의 이미지 센서가 장착된 경우, 차량에 설치된 다른 이미지 센서(예들 들어, 고 사양의 전/후방 주시 블랙박스 이미지 센서)에서 획득되는 영상으로부터 특성 정보를 수신하고, 수신된 특성 정보를 참조하여 화질 개선을 수행할 수 도 있다.
또한, 실시간 고속 영상 처리 및 초저조도 고해상도 영상을 획득하기 위한 이미지 센서는 고가의 장비이기 때문에, 좌측 영상 획득부(10) 및 우측 영상 획득부(20) 중 어느 하나에만 장착 될 수 도 있다.
예를 들어, 좌측 영상 획득부(10)에 실시간 고속 영상 처리 및 초저조도 고해상도 영상을 획득하기 위한 이미지 센서가 장착되고, 우측 영상 획득부(20)에는 초저조도 환경에서 고해상도 영상을 획득할 수 없는 낮은 사양의 이미지 센서가 장착될 수 있다.
이러한 경우 영상 인식 및 처리부(110)는 좌측 영상 획득부(10)에서 획득된 영상을 기준으로 주파수 특성, 모델링 및 색 보정, 노이즈 제거 특성 등을 참조하여 우측 영상 획득부(20)에서 획득된 영상의 화질 개선 조도 개선 등을 수행할 수 있다.
제어부(120)는 역광 조건 검출 시 광대역 역광 보정을 제어하고, 조명 또는 기후 조건에 따라 화질 개선을 제어하고, 차량 주변 감지에 따른 이벤트 신호를 생성한다.
제어부(120)는 영상 인식 및 처리부(110)에서 출력되는 영상에서 역광 조건이 검출되는 경우 역광 보정을 수행하도록 영상 인식 및 처리부(110)를 제어할 수 있고, 조명 또는 기후 조건에 따라 화질 개선이 필요한 상황인지를 모니터링하여 영상 인식 및 처리부(110)를 제어할 수 있다.
제어부(120)는 영상 인식 및 처리부(110)에서 출력되는 영상을 분석하여 차량을 감지하고 차량의 속도와 거리를 계산하여 상태에 따라서 알림을 출력하도록 이벤트 처리부(130)를 제어할 수 있다.
제어부(120)는 지능형 동작을 제공하기 위해, 시스템 장착 후 초기 캘리브레이션 동작 시 좌/우 영상 획득 장치와 좌/우 디스플레이 또는 디스플레이의 좌/우 영역을 매칭하는 동작을 수행 할 수 있다.
또한, 제어부(120)는 방향 지시 등의 점등 상태가 좌/우 영상을 통해 검출되는 경우 화소 정보, 밝기 정보, 점멸 주기 정보 등을 저장함으로써 차량의 ECU 등으로부터 별도의 정보가 제공되지 않는 경우에도 영상을 통해 방향 지시등의 점등 상태를 확인할 수 있다. 이를 통해 제어부(120)는 방향 지시등이 점등되는 상황을 감지하고 점등 상황에 따라 디스플레이에 표시되는 화면 종류를 제어하거나 이미지 센서의 조향 각도를 제어하거나, 사이드 뷰 프레임의 슬라이딩을 조정할 수 도 있다.
또한, 제어부(120)는 영상 분석을 통해 핸들 조향각을 검출할 수 있고, 검출된 핸들 조향각에 따라 뷰 중심을 이동하거나 특정 방향으로 조정하는 기능을 제공할 수 있다.
또한, 제어부(120)는 주차 모드에서 이미지 센서의 뷰 중심을 아래 방향으로 조정하여 주차 모드를 지원할 수 도 있다.
또한, 제어부(120)는 영상 분석을 통해 후행 차량의 속도 및 차량과의 거리를 산출하고, 이에 기초하여 이미지 센서의 줌 인(Zoom in) 및 줌 아웃(Zoom out)을 조정할 수 도 있다.
이벤트 처리부(130)는 제어부(120)의 제어에 따라 이벤트 신호에 기초하여 이벤트 발생을 처리한다.
이벤트 처리부(130)는 발생된 이벤트를 디스플레이부(140)에 표시하거나 소리 알림 등을 출력할 수 있다.
디스플레이부(140)는 단일 화면으로 영역을 나누어 좌측 영상과 우측 영상을 표시하거나, 2개의 디스플레이(141, 143)를 포함하여 구성될 수 있다.
저장부(150)는 좌측 영상 획득부(10), 우측 영상 획득부(20) 및 영상 인식 및 처리부(110) 각각의 출력 영상을 저장할 수 있다.
저장부(150)에 저장된 좌측 영상 획득부(10), 우측 영상 획득부(20) 및 영상 인식 및 처리부(110) 각각의 출력 영상은 원격지의 서버로 전송될 수 있고, 원격지의 서버로 전송된 영상들은 보다 고 성능의 영상 개선 알고리즘을 통해 영상 인식 및 처리부(110)의 영상 개선 알고리즘 개발에 이용될 수 있다.
이때, 저장부(150)에 저장된 좌측 영상 획득부(10), 우측 영상 획득부(20) 및 영상 인식 및 처리부(110) 각각의 출력 영상 자체는 용량이 커서 서버로 직접 전송되기 어려울 수 있다. 따라서, 제어부(120)는 저장부(150)에 저정된 좌측 영상 획득부(10), 우측 영상 획득부(20) 및 영상 인식 및 처리부(110) 각각의 출력 영상들 각각의 차이 영상, 특성 차이 정보, 화소 차이 정보 만을 서버로 전송할 수 도 있다.
센서부(160)는 주행 환경을 감지하는 센서들을 포함할 수 있다.
예를 들어, 센서부(160)는 충격 감지 센서, 차속 감지 센서, 온도 센서, 레인(rain) 감지 센서, 운전자 시선 감지 센서 중 적어도 어느 하나를 포함할 수 있다.
제어부(120) 센서부(160)를 통해 입력되는 정보에 기초하여 주행 환경에 따른 지능형 사이드 뷰 카메라 시스템 동작을 제어할 수 있다.
예를 들어, 운전자 시선 감지 센서를 통해 사용자의 시선이 디스플레이부(140)로 향하는 경우 화질 개선된 영상을 제공하거나 후행 차량과의 거리 정보를 표시하거나 화면 상의 표시되는 후행 차량의 엣지 부분을 강조하여 표시하도록 영상 인식 및 처리부(110)를 제어할 수 있다.
따라서, 제어부(120)는 사용자의 시선에 기초하여 디스플레이부(140)에 출력되는 영상을 제어할 수 있다.
도 2는 일 실시예에 따른 사이드 뷰 카메라 시스템이 차량 내부에 설치된 예를 나타내는 예시도이다.
도 2를 참조하면, 운전자를 기준으로 차량의 좌측에 좌측 영상 획득부(10)와 디스플레이1(141, 좌측 디스플레이)이 구비된 예를 나타낸다.
도 2에서 사이드 뷰 프레임(1)은 좌측 도어(13) 부근에 설치되어 있음을 나타낸다.
한편, 제어부(120)는 운전자 시선 감지 센서를 통해 사용자의 시선이 전방을 주시하지 않고 좌측 디스플레이(141)에도 고정되지 않는 경우 미러를 통해 운전석 측방 또는 전방의 윈드 실드 글라스(11, 12)에 표시하는 헤드 업 디스플레이 시스템(HUD)을 구동할 수 도 있다.
헤드 업 디스플레이 시스템(HUD)을 구현하는 경우 운전자의 측방 또는 전면 윈드실드 글라스(11, 12)에 측후 방의 차량 주행 모습이 표시됨으로써, 운전자의 시선을 전방을 향한 채로 측후방을 감시할 수 있어 더욱더 안전한 운전을 지원할 수 있다.
도 3은 일 실시예에 따른 사이드 뷰 카메라 시스템의 설치예를 차량 외부에서 설명하기 위한 예시도이다.
도 3을 참조하면, 좌측 영상 획득부(10) 및 우측 영상 획득부(20)가 설치되어 있는 각각의 사이드 뷰 프레임들(1, 2)의 설치 위치는 기존의 사이드 미러가 설치되었던 위치에 설치될 수 도 있고, 슬라이딩 경로(301, 302)를 통해 사용자가 위치를 조정할 수 있도록 설정될 수 있다.
또한, 특정 이벤트 발생 시 자동으로 슬라이딩 경로를 따 전후로 슬라이딩 되도록 설정될 수 있다.
예를 들어, 슬라이딩 되는 특정 이벤트는 네비게이션이 동작하고 있는 경우 네이게이션 장치로부터 특정 경로 전환 발생 시(비보호 좌회전 진입, 좁은길에서 대로변으로 우회전 진입 등)에만 정보를 수신하고, 위치 정보를 통해 우회전 또는 좌회전 해야하는 경우로 각 방향에 해당하는 방향 지시 등이 온(On) 되면 앞 방향으로 슬라이딩 되고, 이미지 센서의 각도는 최대 허용 범위까지 방향 지시등의 반대 방향으로 시야각을 조정하도록 설정될 수 있다. 다시 말해, 우회전 하여 대로변에 진입해야 하는 경우 우측 지시등이 켜지면 좌측 영상 획득부(10)의 이미지 센서의 각도는 좌측으로 시야각을 넓히고 사이드 뷰 프레임(1)이 슬라이딩 경로(301)를 따라 차량 전방으로 슬라이딩 될 수 있다. 이를 통해 운전자는 보다 안전하게 시각적으로 차량의 존재를 확인할 수 있다.
도 4 및 도 5는 일 실시예에 따른 사이드 뷰 프레임의 구성을 설명하기 위한 예시도이다.
도 4 및 도 5를 참조하면, 좌측 및 우측 사이드 뷰 프레임은 내부에 공기가 통하는 공기 유로(510)가 형성되어 있고, 공기 유로의 출구 측에는 카메라의 렌즈 방향(401)으로 공기의 흐름이 집중될 수 있도록 가이드부(410)가 형성되어 있을 수 있다.
이와 같이 사이드 뷰 카메라 하우징에 공기가 이동할 수 있는 유로가 형성되어 있고 유로의 출구가 카메라를 향하도록 형성되어 있는 경우, 비나 눈이 내릴 때 카메라 주변의 바람에 의해 카메라 렌즈의 물기가 자동으로 제거될 수 있다.
이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPA(field programmable array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.
Claims (4)
- 실시간 고속 영상 처리 및 초저조도 고해상도 영상 획득을 지원하고 차량 좌측에 설치되어 차량의 좌측 후방 영상을 획득하는 좌측 영상 획득부;
실시간 고속 영상 처리 및 초저조도 고해상도 영상 획득을 지원하고 차량 우측에 설치되어 차량의 우측 후방 영상을 획득하는 우측 영상 획득부;
차량의 좌측 후방 영상 및 우측 후방 영상의 초저조도 환경 영상 노이즈 제거 및 렌즈 왜곡 보정을 수행하는 영상 인식 및 처리부;
역광 조건 검출 시 광대역 역광 보정을 제어하고, 조명 또는 기후 조건에 따라 화질 개선을 제어하고, 차량 주변 감지에 따른 이벤트 신호를 생성하는 제어부;
상기 제어부의 제어에 따라 이벤트 신호에 기초하여 이벤트 발생을 처리하는 이벤트 처리부; 및
상기 영상 인식 및 처리부에서 출력되는 좌측 영상 및 우측 영상을 표시하는 디스플레이부를 포함하는
차량용 지능형 사이드 뷰 카메라 시스템. - 제1항에 있어서,
운전자의 시선을 추적하는 시선 감지 센서를 포함하는 센서부를 더 포함하고, 상기 제어부는 사용자의 시선에 기초하여 상기 디스플레이부에 출력되는 영상을 제어하는
차량용 지능형 사이드 뷰 카메라 시스템. - 제1항에 있어서,
상기 좌측 영상 획득부 및 우측 영상 획득부는 각각 좌측 및 우측 사이드 뷰 프레임에 설치되고, 내부에 공기가 통하는 공기 유로가 형성되어 있고, 상기 공기 유로의 출구에는 카메라 렌즈 방향으로 공기의 흐름을 집중시키는 가이드부가 형성되어 있는
차량용 지능형 사이드 뷰 카메라 시스템. - 제1항에 있어서,
상기 제어부는 영상 분석을 통해 차량을 감지하고 차량의 속도와 거리를 계산하여 상기 이벤트 처리부를 제어하는 기능, 방향 지시 등의 점등 상태에 기초하여 디스플레이에 표시되는 화면 종류를 제어하는 기능, 핸들 조향각을 검출하여 조향각에 따른 이미지 센서의 조향 각도를 제어하는 기능 중 적어도 어느 하나를 제공하는
차량용 지능형 사이드 뷰 카메라 시스템.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020180171166A KR20200084470A (ko) | 2018-12-27 | 2018-12-27 | 차량용 지능형 사이드 뷰 카메라 시스템 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020180171166A KR20200084470A (ko) | 2018-12-27 | 2018-12-27 | 차량용 지능형 사이드 뷰 카메라 시스템 |
Publications (1)
Publication Number | Publication Date |
---|---|
KR20200084470A true KR20200084470A (ko) | 2020-07-13 |
Family
ID=71570820
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020180171166A KR20200084470A (ko) | 2018-12-27 | 2018-12-27 | 차량용 지능형 사이드 뷰 카메라 시스템 |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR20200084470A (ko) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20230000482A (ko) * | 2021-06-23 | 2023-01-03 | 한국자동차연구원 | 디지털 사이드 미러 제어 시스템 및 방법 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100650126B1 (ko) | 2005-08-25 | 2006-11-27 | 주식회사 현대오토넷 | 디지털 카메라를 이용한 사이드 미러장치 |
KR101353541B1 (ko) | 2012-04-17 | 2014-01-23 | 주식회사 에스엘 서봉 | 사각지대 정보 제공장치 및 정보 제공방법 |
KR101449160B1 (ko) | 2012-12-12 | 2014-10-08 | 현대자동차주식회사 | 차량의 사각지대 정보 제공 장치 및 방법 |
KR101486670B1 (ko) | 2013-11-18 | 2015-01-29 | 임정민 | 디지털 카메라 사이드 미러 |
KR101828154B1 (ko) | 2016-06-16 | 2018-02-09 | 박권식 | 차량의 카메라식 사이드 미러 |
-
2018
- 2018-12-27 KR KR1020180171166A patent/KR20200084470A/ko unknown
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100650126B1 (ko) | 2005-08-25 | 2006-11-27 | 주식회사 현대오토넷 | 디지털 카메라를 이용한 사이드 미러장치 |
KR101353541B1 (ko) | 2012-04-17 | 2014-01-23 | 주식회사 에스엘 서봉 | 사각지대 정보 제공장치 및 정보 제공방법 |
KR101449160B1 (ko) | 2012-12-12 | 2014-10-08 | 현대자동차주식회사 | 차량의 사각지대 정보 제공 장치 및 방법 |
KR101486670B1 (ko) | 2013-11-18 | 2015-01-29 | 임정민 | 디지털 카메라 사이드 미러 |
KR101828154B1 (ko) | 2016-06-16 | 2018-02-09 | 박권식 | 차량의 카메라식 사이드 미러 |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20230000482A (ko) * | 2021-06-23 | 2023-01-03 | 한국자동차연구원 | 디지털 사이드 미러 제어 시스템 및 방법 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11040660B2 (en) | Monitor display system and display method of the same | |
US10377212B2 (en) | Dynamic anti-glare system for a windshield of a vehicle | |
KR101683509B1 (ko) | 헤드램프 눈부심 방지 장치 및 이를 이용한 눈부심 방지 방법 | |
US20160185219A1 (en) | Vehicle-mounted display control device | |
US10445594B2 (en) | Onboard display system | |
KR20170115544A (ko) | 환경적 장면 조건 검출 | |
WO2015118806A1 (ja) | 画像解析装置、および画像解析方法 | |
JP2007142624A (ja) | 車両搭載撮像装置 | |
JP2000019259A (ja) | 環境認識装置 | |
JP6232691B2 (ja) | 車両用表示制御装置、車両用表示装置及び車両用表示制御方法 | |
CN107493408A (zh) | 日光眩光减弱*** | |
KR101660806B1 (ko) | 차량의 측후방 시야 확보를 위한 시스템 | |
FR2993509A1 (fr) | Dispositif electronique de protection contre l'eblouissement d'un pilote ou d'un conducteur. | |
KR20160048826A (ko) | 이미지들을 디스플레이하기 위한 차량의 백미러 조립체 | |
JP2000207563A (ja) | 画像認識装置 | |
TWI749030B (zh) | 駕駛輔助系統及駕駛輔助方法 | |
WO2017219728A1 (en) | Vehicle visor and system, vehicle and light blocking and display method | |
KR20150079004A (ko) | 차량용 표시 장치 및 그 제어 방법 | |
US20170171444A1 (en) | Imaging setting changing apparatus, imaging system, and imaging setting changing method | |
US20180053058A1 (en) | Display apparatus | |
US20200169671A1 (en) | Method and apparatus for object detection in camera blind zones | |
JP5470716B2 (ja) | 車両用画像表示システム及び画像表示装置並びに画像の強調方法 | |
KR20200084470A (ko) | 차량용 지능형 사이드 뷰 카메라 시스템 | |
JP2009035162A (ja) | 後方視認装置 | |
US20230182654A1 (en) | Vehicle and control method thereof |