KR20180085718A - 차량의 차량 주변환경 내 가림 영역 산출 방법 및 장치 - Google Patents

차량의 차량 주변환경 내 가림 영역 산출 방법 및 장치 Download PDF

Info

Publication number
KR20180085718A
KR20180085718A KR1020187011681A KR20187011681A KR20180085718A KR 20180085718 A KR20180085718 A KR 20180085718A KR 1020187011681 A KR1020187011681 A KR 1020187011681A KR 20187011681 A KR20187011681 A KR 20187011681A KR 20180085718 A KR20180085718 A KR 20180085718A
Authority
KR
South Korea
Prior art keywords
vehicle
obstacle
areas
processing unit
data processing
Prior art date
Application number
KR1020187011681A
Other languages
English (en)
Other versions
KR102580476B1 (ko
Inventor
마르쿠스 프리베
펠릭스 뢰어
Original Assignee
콘티 테믹 마이크로일렉트로닉 게엠베하
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 콘티 테믹 마이크로일렉트로닉 게엠베하 filed Critical 콘티 테믹 마이크로일렉트로닉 게엠베하
Publication of KR20180085718A publication Critical patent/KR20180085718A/ko
Application granted granted Critical
Publication of KR102580476B1 publication Critical patent/KR102580476B1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B60R21/013—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over
    • B60R21/0134—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over responsive to imminent contact with an obstacle, e.g. using radar systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/188—Capturing isolated or intermittent images triggered by the occurrence of a predetermined event, e.g. an object reaching a predetermined position
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8093—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for obstacle warning

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Signal Processing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Traffic Control Systems (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)

Abstract

차량의 차량 주변환경을 센서 방식으로 감지하는 주변환경 센서(2) 및 주변환경 센서(2)의 센서 데이터를 차량의 차량 주변환경 내 장애물(H)을 인식하기 위해 평가하는 데이터 처리 유닛(4)을 포함하는 차량용 운전자 보조 시스템으로, 인식된 장애물(H)에 의존하여 차량의 차량 주변환경 내 가림 영역들(VB)이 산출되고, 가림 영역들은 장애물(H)에 의해 가려지고 운전자 보조 시스템(1)의 광학 주변환경 센서들(2)의 관측범위(FOV)를 제한하는 것인, 운전자 보조 시스템(1).

Description

차량의 차량 주변환경 내 가림 영역 산출 방법 및 장치
본 발명은 차량의 차량 주변환경 내 가림 영역들을 산출하기 위한 방법 및 장치에 관한 것으로, 더욱 상세하게는 운전자 보조 시스템의 광학 주변환경 센서의 관측 범위를 제한하는 가림 영역들이 산출되는 운전자 보조 시스템에 관한 것이다.
차량에는 차량의 운전자가 주행 방향 전환을 할 때 운전자를 지원하는 운전자 보조 시스템이 점점 더 많이 장착되고 있다. 이와 같은 운전자 보조 시스템은 표시 유닛을 제공하고, 이러한 표시 유닛은 운전자에게 차량의 차량 주변환경을 시각적으로 표시한다. 차량 주변환경의 카메라 영상들을 생성하는 차량 카메라는 이러한 영상 또는 영상 데이터를 데이터 처리 유닛에 전송하고, 데이터 처리 유닛은 이 영상 데이터를 소정의 영사면에 영사하여, 영상 데이터가 운전자에게 화면으로 표시되게 한다. 차량 카메라 또는 광학 센서 유닛 외에, 운전자 보조 시스템은 예컨대 초음파 센서와 같은 추가 주변환경 센서를 더 제공한다.
종래의 운전자 보조 시스템에서는, 차량 주변환경 내 장애물 발생 시, 예컨대 차량 근방에 주차한 다른 차량들이 있는 경우, 차량 주변환경 영상의 표시에서 영상 왜곡 문제가 있을 수 있다. 이러한 영상 왜곡은 운전자 보조 시스템의 광학적 주변환경 센서의 관측범위를 제한하는 가림 영역들로 인하여 발생한다.
그러므로 본 발명의 과제는 차량의 차량 주변환경 내 이와 같은 가림 영역들을 산출하기 위한 방법 및 장치를 제공하는 것이다.
이 과제는 본 발명에 따라 제1항에 기재된 특징들을 포함하는 장치에 의하여 해결된다.
따라서 본 발명은 차량의 차량 주변환경을 센서 방식으로 감지하는 주변환경 센서 및 차량의 차량 주변환경 내 장애물 인식을 위해 주변환경 센서의 센서 데이터를 평가하는 데이터 처리 유닛을 포함하는 차량용 운전자 보조 시스템을 제공하며, 인식된 장애물에 의존하여 차량의 차량 주변환경 내 가림 영역들이 산출되고, 이러한 가림 영역들은 장애물에 의해 가려져 운전자 보조 시스템의 광학적 주변환경 센서의 관측범위를 제한하는 영역들이다.
인식된 장애물로 인하여 발생하는 가림 영역들의 산출은 바람직하게는 해당 장애물이 운전자 보조 시스템의 광학적 주변환경 센서에 대해 가지는 상대적 위치에 의존하고 및/또는 해당 장애물의 범위 또는 크기에 의존하여 수행된다.
본 발명에 따른 운전자 보조 시스템의 가능한 일 실시예에서, 데이터 처리 유닛은 광학적 주변환경 센서, 특히 차량 카메라로부터 발생하는 영상 센서 데이터를, 산출된 가림 영역들에서 준비한다(preparation).
본 발명에 따른 운전자 보조 시스템의 가능한 일 실시예에서, 산출된 가림 영역들은 데이터 처리 유닛에 의하여 준비되되, 영상 센서 데이터가 필터를 통해 필터링되면서 그러하다.
본 발명에 따른 운전자 보조 시스템의 다른 가능한 실시예에서, 데이터 처리 유닛은 인식된 장애물로 인하여 발생하는 가림 영역들을 텍스처면으로 덮는다.
본 발명에 따른 운전자 보조 시스템의 다른 가능한 실시예에서, 데이터 처리 유닛은 인식된 장애물로 인하여 발생하는 가림 영역들을 추가적으로 영상 표현을 위해 사용되는 영사면에 의존하여, 특히 정적인 2차원 바닥면에 의존하여 또는 3차원 키형(key shaped) 영사면에 의존하여 계산한다.
본 발명에 따른 운전자 보조 시스템의 다른 가능한 실시예에서, 제어 회로가 구비되고, 제어 회로는 인식된 장애물로 인하여 발생하는 가림 영역들에 의존하여 광학적 주변환경 센서들을 제어하고, 특히 운전자 보조 시스템의 차량 카메라들을 제어한다.
본 발명에 따른 운전자 보조 시스템의 가능한 일 실시예에서, 제어 회로는 산출된 가림 영역들에 의존하여 운전자 보조 시스템의 서로 다른 광학적 주변환경 센서들 간에 전환한다.
본 발명에 따른 운전자 보조 시스템의 다른 가능한 실시예에서, 광학적 주변환경 센서들은 차량 카메라들, 특히 피시아이(fisheye) 카메라들을 포함하고, 이러한 카메라들은 각각 소정의 시야를 포함한다.
본 발명에 따른 운전자 보조 시스템의 다른 가능한 실시예에서, 데이터 처리 유닛은 인식된 장애물로 인하여 발생하는 가림 영역들을 관련 광학 주변환경 센서들의 시야에 의존하여 계산한다.
본 발명에 따른 운전자 보조 시스템의 다른 가능한 실시예에서, 데이터 처리 유닛은 인식된 장애물로 인하여 발생하는 가림 영역들을 인식된 장애물과 차량 간의 상대 속도에 의존하여 계산한다.
또한, 본 발명은 제9항에 기재된 특징들을 포함하는 가림 영역들 산출 방법을 더 제공한다.
본 발명은 차량의 차량 주변환경 내 가림 영역들의 산출을 위한 방법을 제공하되:
차량의 차량 주변환경 내 장애물을 인식하기 위해 차량의 주변환경 센서들로부터 생성되는 센서 데이터를 평가하는 단계 및
인식된 장애물에 의존하여, 장애물에 가려져 차량의 광학적 주변환경 센서들의 관측범위를 제한하는 가림 영역들을 계산하는 단계를 포함하는 방법을 제공한다.
본 발명에 따른 방법의 가능한 일 실시예에서, 광학 주변환경 센서들로부터 발생하는 영상 센서 데이터는 준비되고, 특히 필터링된다.
본 발명에 따른 방법의 다른 가능한 실시예에서, 인식된 장애물로 인하여 발생하는 가림 영역들은 텍스처면으로 덮인다.
본 발명에 따른 방법의 다른 가능한 실시예에서, 인식된 장애물로 인하여 발생하는 가림 영역들은 영상 표현을 위해 사용되는 2차원 또는 3차원의 영사면에 의존하여 계산된다.
본 발명에 따른 방법의 다른 가능한 실시예에서, 산출된 가림 영역들에 의존하여 광학 주변환경 센서들, 특히 차량 카메라들이 제어된다.
본 발명에 따른 방법의 다른 가능한 실시예에서, 산출된 가림 영역들에 의존하여 서로 다른 광학 주변환경 센서들, 특히 차량 카메라들 간에 전환이 이루어진다.
본 발명에 따른 방법의 다른 가능한 실시예에서, 인식된 장애물로 인하여 발생하는 가림 영역들은 관련 광학 주변환경 센서들의 소정의 시야에 의존하여 계산된다.
본 발명에 따른 방법의 다른 가능한 실시예에서, 인식된 장애물로 인하여 발생하는 가림 영역들은 인식된 장애물과 차량 간의 상대 속도에 의존하여 계산된다.
이하, 본 발명에 따른 운전자 보조 시스템 및 본 발명에 따른 가림 영역들의 산출을 위한 방법의 가능한 실시예들은 첨부 도면을 참조하여 더 상세히 설명된다.
도면은 다음과 같다:
도 1 본 발명에 따른 운전자 보조 시스템의 일 실시예를 나타내는 개략도;
도 2 본 발명에 따른 운전자 보조 시스템의 일 실시예를 나타내는 블록 회로도;
도 3 본 발명에 따른 운전자 보조 시스템의 기능 원리를 설명하는 개략도;
도 4 본 발명에 따른 차량의 차량 주변환경 내 가림 영역들의 산출을 위한 방법의 일 실시예를 나타내는 흐름도;
도 5 본 발명에 따른 방법의 다른 실시예를 나타내는 다른 흐름도.
도 1은 본 발명에 따른 운전자 보조 시스템을 제공하는 차량(F)을 개략적으로 도시한다. 도시된 실시예에서 차량(F)의 차체의 서로 다른 측면에 광학 주변환경 센서들이 설치되어 있고, 이러한 센서들은 차량(F)의 차량 주변환경(FU)을 센서 방식으로 감지한다. 광학 주변환경 센서는 예컨대 차량 주변환경의 차량 영상을 제공하는 차량 카메라를 가리킬 수 있다. 도 1에 도시되 실시예에서, 차량(F)의 운전자 보조 시스템(1)은 4개의 차량 카메라(2-1, 2-2, 2-3, 2-4)를 구비한다. 제1 차량 카메라(2-1)는 차량(F)의 차체의 전면측에 설치되고, 시야 또는 관측 범위(FOV1)를 가지며, 이는 도 1에 도시된 바와 같다. 또한, 차량(F)의 차체에서 좌, 우측에 각각 하나의 차량 카메라가 위치하며, 이러한 차량 카메라는 차량(F)의 측면적인 차량 주변환경을 광학적으로 감지한다. 차량(F)의 좌측에 설치된 차량 카메라(2-2)는 시야 또는 관측 범위(FOV2)를 포함한다. 우측의 차량 카메라(2-3)는 차량(F)으로부터 우측에 위치한 차량 주변환경(FU) 일부를 감지하고 도 1에 도시된 바와 같은 관측 범위(FOV3)를 포함한다. 또한, 차량(F)의 뒷쪽 또는 후면측에는 관측 범위(FOV4)를 가지는 차량 카메라(2-4)가 구비된다. 가능한 일 실시예에서, 4개의 광학 주변환경 센서들(2-1 내지 2-4)은 170°를 초과하는 비교적 넓은 관측 범위(FOV)를 가지는 피시아이 카메라들일 수 있다. 도 1에서 알 수 있는 바와 같이, 운전자 보조 시스템(1)의 서로 다른 차량 카메라들(2-i)의 관측 범위들 또는 시야들(FOV)(Field of View)은 중첩될 수 있다. 서로 다른 차량 카메라들(2-i)은 신호선들(3-1, 3-2, 3-3, 3-4), 예컨대 신호선 버스 또는 차량 버스를 통하여 운전자 보조 시스템(1)의 데이터 처리 유닛(4)과 연결된다. 신호선들(3-i)을 통해 센서 데이터, 특히 카메라 영상들은 데이터 처리 유닛(4)에 전송된다. 데이터 처리 유닛(4)은 주변환경 센서들, 특히 도 1에 도시된 광학 주변환경 센서들 또는 차량 카메라들(2-i)의 센서 데이터를 평가하여 차량(F)의 차량 주변환경 내 장애물(H)을 인식한다. 이를 위해 데이터 처리 유닛(4)은 센서 데이터에 관한 데이터 평가를 수행하는 프로세서를 구비한다. 센서 데이터는 바람직하게는 실시간으로 처리된다. 광학 주변환경 센서들(2-i) 외에 운전자 보조 시스템(1)은 추가 주변환경 센서들, 예컨대 초음파 센서들을 구비할 수 있다. 이러한 추가 주변환경 센서들도 마찬가지로 센서 데이터를 제공하며, 이러한 센서 데이터는 차량(F)의 차량 주변환경 내 장애물(H)을 인식하기 위해 데이터 처리 유닛(4)에 의해 평가될 수 있다. 도 1에 도시된 예에서 차량(F)의 차량 주변환경 내에 2개의 장애물(H1, H2), 예컨대 벽 또는 건물이 위치한다. 도 1에 도시된 예에서, 장애물(H1)은 전방 차량 카메라(2-1)의 관측 범위(FOV1) 내에 위치한다. 제2 장애물(H2)은 일부는 전방 차량 카메라(2-1)의 관측 범위 내에, 일부는 좌측 차량 카메라(2-2)의 관측 범위 내에 위치한다. 획득되는 센서 데이터에 기초하여, 차량 주변환경 내 장애물(H1, H2)이 인식된다. 센서 데이터는 한편으로 도 1에 도시된 차량 카메라들(2-i)로부터 발생하고 및/또는 운전자 보조 시스템(1)의 추가 주변환경 센서들로부터 발생할 수 있다. 이때 각각의 장애물(H-i)의 크기 또는 범위가 산출된다. 이러한 크기 또는 윤곽에 의존하여, 데이터 처리 유닛(4)에 의해 가림 영역들(VB)이 계산되고, 이러한 가림 영역들은 장애물(H)에 의해 각각 가려져 광학 주변환경 센서, 예컨대 운전자 보조 시스템(1)의 차량 카메라(2-i)의 관측 범위를 제한한다. 도 1에 도시된 예에서, 장애물(H1)의 윤곽 꼭지점(extreme contour point)(P1)에 접하는 광선은 전방 차량 카메라(2-1)의 관측 범위(FOV1)를 제한하는 가림 영역(VB1)을 정의한다. 동일한 방식으로, 장애물(H2)의 윤곽 꼭지점(P2)을 통과하는 광선은 가림 영역(VB2)을 정의한다. 이러한 제2 가림 영역(VB2)은 한편으로 점(P2)을 통과하는 광선에 의해 한정되고, 다른 한편으로 전방 차량 카메라(2-1)의 시야(FOV1)의 외곽선에 의해 한정된다. 또한, 장애물(H2)에 의해 추가 가림 영역(VB3)이 발생하며, 이러한 추가 가림 영역은 좌측의 차량 카메라(2-2)의 관측 범위(FOV2)를 제한한다.
가능한 일 실시예에서, 운전자 보조 시스템(1)의 데이터 처리 유닛(4)은 광학 주변환경 센서들(2-i)로부터 발생하는 영상 센서 데이터 또는 카메라 영상을 산출되는 가림 영역들(VB)에서 준비한다. 다른 가능한 실시예에서, 인식된 장애물(H)로 인하여 발생하는 가림 영역들(VB)은 텍스처면 또는 텍스쳐로 덮인다.
운전자 보조 시스템(1)은 차량(F)의 차량 주변환경을 차량(F)의 운전자에게 표시할 수 있는 표시부 또는 디스플레이를 구비한다. 이를 위해 카메라 영상들은 2차원 기본면에 또는 키형의 3차원 영사면에 영사된다. 가능한 일 실시예에서, 데이터 처리 유닛(4)은 인식된 장애물(H)로 인하여 발생하는 가림 영역들(VB)을 영상 표현을 위해 사용되는 영사면에 의존하여 계산한다.
도 2는 본 발명에 따른 운전자 보조 시스템(1)의 일 실시예를 나타내는 블록 회로도이다. 데이터 처리 유닛(4)은 차량(F)의 차량 주변환경 내 장애물을 인식하기 위해 주변환경 센서들로부터 획득되는 센서 데이터를 평가한다. 가능한 일 실시예에서, 주변환경 센서들은 광학 주변환경 센서들(2-i) 외에 추가 주변환경 센서들을 포함하고, 이러한 추가 주변환경 센서들을 이용하여 차량(F)의 차량 주변환경(FU) 내 장애물(H)의 인식을 위해 센서 데이터가 데이터 처리 유닛(4)에 의해 평가된다. 도 2에 도시된 블록 회로도에서, 추가 주변환경 센서(5)가 예시적으로 도시되어 있으며, 추가 주변환경 센서는 차량(F)의 차량 주변환경(FU) 내 장애물(H)을 인식하기 위한 센서 데이터를 제공한다. 또한, 도 2에 도시된 실시예에서, 운전자 보조 시스템(1)은 제어 회로(6)를 포함하고, 제어 회로는 산출된 가림 영역들(VB)에 의존하여 광학 주변환경 센서들, 특히 도 2에 도시된 차량 카메라들(2-1 내지 2-4)을 제어한다. 가능한 일 실시예에서, 제어 유닛(6)은 산출된 가림 영역들(VB)에 의존하여 차량 카메라들(2-i)로부터 생성되는 영상 데이터 스트림 간에 전환한다. 바람직하게는, 영상 센서 데이터 또는 카메라 영상들은 데이터 처리 유닛(4)으로 연결되고, 이러한 영상들은 가급적 작은 또는 근소한 가림 영역들(VB)을 포함한다. 도 1에 도시된 예에서, 일반적으로, 전방 우측 영역은 전방의 전방 카메라(2-1)에 의해 센서 방식으로 영상이 감지되고, 이에 상응하는 영상 데이터는 데이터 처리 유닛(4)에 전송된다. 장애물(H1) 및 이로 인하여 발생하는 가림 영역(VB1)의 인식 시, 운전자 보조 시스템(1)의 제어 유닛(6)은 우측 차량 카메라(2-3)의 영상 데이터로 전환할 수 있는데, 장애물(H1)은 우측 차량 카메라(2-3)의 관측 범위(FOV3) 내에 가림 영역(VB)을 발생시키지 않기 때문이다. 따라서, 도 1에 도시된 시나리오에서 우측 차량 카메라(2-3)는 전방 차량 카메라(2-1) 보다 양질의 영상 데이터를 제공하고, 전방 차량 카메라의 시야(FOV1) 내에 장애물(H1)이 위치하고, 이 위치에 가림 영역(VB1)이 발생한다. 가능한 일 실시예에서, 가림 영역들(VB)의 계산 시, 데이터 처리 유닛(4)은 관련 광학 주변환경 센서들 또는 차량 카메라들(2-i)의 소정의 시야(FOV)를 고려한다. 가능한 일 실시예에서, 차량 카메라들(2-i)의 시야 또는 화각은 구성 메모리에 저장되고, 이러한 구성 메모리에 데이터 처리 유닛(4)의 프로세서가 접근하여, 판독된 시야에 의존하여 가림 영역들(VB)을 계산한다.
도 3은 본 발명에 따른 운전자 보조 시스템(1)의 기능 원리를 설명하기 위한 다른 교통 시나리오를 도시한다. 도 3에 도시된 교통 상황에서 차량(F)은 속도(VF)로 도로에서 이동 중이고, 이때 이 도로 위에 다른 차량이 이 차량(F)에 맞은편에서 오고 있다. 이때 다른 차량은 장애물(H1)을 나타낸다. 도로 옆에 오른쪽으로 장애물(H2)이 위치하고, 예컨대 차량(F)의 전방 차량 카메라(2)의 시야(FOV) 내에 위치한다. 장애물(H2)에 의하여 차량 카메라(2)의 시야(FOV) 내에 가림 영역(VB2)이 발생하고, 가림 영역(VB2)은 차량(F)의 주행 속도(VF)에 의존하여 달라진다. 예컨대 건물과 같이 고정적인 장애물(H2)과 다르게, 다른 장애물(H1), 즉 맞은편에서 오는 차량은 차량(F)에 대해 상대적으로 이동 중이다. 차량(H1)은 전방 차량 카메라(2)의 시야(FOV) 내에 가림 영역(VB1)을 숨기는데, 가림 영역(VB1)은 차량(F)과 차량(H1) 사이의 상대 속도에 의존한다. 가능한 일 실시예에서, 운전자 보조 시스템(1)의 데이터 처리 유닛(4)은 인식된 장애물(H1, H2)에 의해 발생하는 가림 영역들(VB1, VB2)을 인식된 장애물과 차량(F) 간의 상대 속도에 의존하여 계산한다. 예컨대 장애물(H2)과 같은 고정적인 장애물이 있을 때, 기초가 되는 상대 속도는 차량(F)의 고유 속도(VF)이다. 예컨대 맞은편에서 오는 차량과 같은 이동하는 장애물(H1)에서, 양쪽 차량 간의 상대 속도는 우선 센서 데이터를 기반으로 산출되고, 이후 가림 영역(VB)은 산출된 상대 속도에 의존하여 데이터 처리 유닛(4)에 의해 계산된다. 가능한 일 실시예에서, 데이터 처리 유닛(4)은 각각의 가림 영역(VB2)의 면적을 대략적으로 계산한다. 예컨대 맞은편에 오는 장애물(H1)의 양쪽의 외곽 꼭지점들(P1A, P1B)이 서로 멀리 이격되어 있으면, 이를 통해 가려지는 영역(VB1)의 면적은 양쪽의 외곽 꼭지점들(P1A, P1B) 간의 간격이 짧을 때보다 현저히 더 크다. 맞은편에서 오는 차량(H1)이 예컨대 화물차이면, 이를 통해 가려지는 영역(VB1)은 맞은편에서 오는 차량이 승용차인 경우에 비해 현저히 더 크다. 관련 카메라(2)의 시야(FOV) 내에서 가림 영역(VB)의 면적이 클수록, 해당 차량 카메라로부터 제공되는 차량 영상의 화질 저하는 점점 더 심해진다. 가능한 일 실시예에서, 운전자 보조 시스템(1)의 제어 유닛(6)은 서로 다른 카메라들로부터 제공되는 서로 다른 카메라 영상 스트림의 전환 또는 가중에 의해, 관련 카메라의 시야(FOV) 내에 존재하는 가림 영역들(VB)의 크기 또는 비율을 고려한다. 도 3에 따른 교통 시나리오에 도시된 바와 같이, 예컨대 가림 영역들의 합(VB)(VB1 + VB2)의 비율이 제1 전방 차량 카메라(2-1)의 카메라 영상들에서 거의 50%이면, 특정한 임계값부터는 가급적 차량(F)의 다른 차량 카메라들로부터 제공되는 카메라 영상들로 전환된다.
도 4는 차량(F)의 차량 주변환경 내 가림 영역들(VB)을 산출하기 위한 본 발명에 따른 방법의 일 실시예를 나타내는 흐름도를 도시한다.
제1 단계(S1)에서 차량(F)의 주변환경 센서들에 의해 생성되는 센서 데이터는 차량(F)의 차량 주변환경 내 장애물(H)을 인식하기 위해 평가된다. 이는 예컨대 운전자 보조 시스템(1)의 데이터 처리 유닛(4)의 프로세서 또는 마이크로프로세서에 의하여 수행된다.
제2 단계(S2)에서 인식된 장애물(H)에 의존하여 가림 영역들(VB) 또는 가림 면적이 계산된다. 이러한 가림 영역들(VB)은 차량 주변환경(FU) 내 장애물(H)에 의하여 발생하고 운전자 보조 시스템(1)의 광학 주변환경 센서들의 시야(FOV)를 제한한다.
도 5는 본 발명에 따른 방법의 다른 실시예를 도시한다. 가능한 일 실시예에서, 가림 영역들(VB)의 산출 후, 광학 주변환경 센서들로부터 발생하는 영상 센서 데이터는 데이터 처리 유닛(4) 또는 기타 유닛에 의하여 준비되고, 이러한 데이터 내에 산출된 가림 영역들(VB)이 존재한다. 관련 광학 주변환경 센서들 또는 차량 카메라들의 영상 센서 데이터는 필터링될 수 있으며, 이러한 차량 카메라들의 시야 또는 관측 범위 내에 가림 영역들(VB)이 위치한다. 대안적으로, 산출된 가림 영역들은 카메라 영상들 내에서 텍스처면으로 덮일 수 있다.
다른 가능한 실시예에서, 단계(S3)에서는, 단계(S2)에서 산출되거나 계산된 가림 영역들(VB)에 의존하여 광학 주변환경 센서들의 제어, 예컨대 서로 다른 주변환경 센서들 간의 전환이 수행된다. 이때 차량 카메라의 전체 시야(FOV)에서 산출된 가림 영역들(VB)의 크기 또는 그 비율은 함께 고려될 수 있다.
가능한 일 실시예에서, 단계(S2)에서 인식된 장애물(H)로 인하여 발생하는 가림 영역(VB)은 관련 광학 주변환경 센서(2-i)의 사전 구성된 시야에 의존하여 계산된다. 또한, 단계(S3)에서 가림 영역들(VB)의 계산은 추가적으로 인식된 장애물(H)과 차량(F) 간의 상대 속도에 의존하여 수행될 수 있다.
본 발명에 따른 운전자 보조 시스템(1)은 임의 차량용으로, 특히 도로주행 차량(on-road vehicle)용으로 사용될 수 있다.
가능한 일 실시예에서, 본 발명에 따른 방법에 의하여 산출되는 가림 영역들(VB)은 운전자 보조 시스템(1)의 추가 기능을 위해 평가된다. 예컨대, 가능한 일 적용예에서, 차량 카메라들(2-i)의 시야(FOV)에서 가림 영역들(VB)의 비율로부터 주행 도로의 교통량이 추론될 수 있다. 예컨대 차량(F)이 3차선 고속도로의 중간 차선에서 주행하고 있을 시, 교통량이 많을 때 차량 카메라(2)의 시야(FOV)에서 상당 비율은 이 고속 도로에서 동일한 방향으로 주행하는 다른 차량들에 의해 가려진다. 도로의 교통량이 높을 수록, 교통 정체 발생 확률이 큰데, 특히 도로 위 차량 사고로 인한 병목 현상 발생 시 그러하다. 따라서, 카메라(2)의 시야(FOV) 내에서 가림면적(VB)의 비율은 관련 주행 도로의 일시적인 교통량의 척도를 나타낸다. 가능한 일 실시예에서, 이러한 교통량 척도는 운전자 보조 시스템(1)의 추가 기능을 위해 평가될 수 있다.

Claims (15)

  1. 차량(F)용 운전자 보조 시스템(1)으로:
    -상기 차량(F)의 차량 주변환경을 센서 방식으로 감지하는 주변환경 센서들(2); 및
    -상기 차량(F)의 차량 주변환경 내 장애물(H)을 인식하기 위해 상기 주변환경 센서들(2; 5)의 센서 데이터를 평가하는 데이터 처리 유닛(4)을 포함하며,
    -인식된 장애물(H)에 의존하여 상기 차량(F)의 차량 주변환경 내 가림 영역들(VB)이 산출되고, 상기 가림 영역들은 상기 장애물(H)에 의해 가려지고, 상기 운전자 보조 시스템(1)의 광학 주변환경 센서들(2)의 관측 범위(FOV)를 제한하는 것인, 차량(F)용 운전자 보조 시스템(1).
  2. 제1항에 있어서, 상기 데이터 처리 유닛(4)은 광학 주변환경 센서들(2)로부터 발생하는 영상 센서 데이터를 상기 산출된 가림 영역들(VB)에서 준비하고, 특히 필터링하는 것을 특징으로 하는 운전자 보조 시스템.
  3. 제1항에 있어서, 상기 데이터 처리 유닛(4)은 인식된 장애물(H)로부터 발생하는 가림 영역들(VB)을 텍스처면으로 덮는 것을 특징으로 하는 운전자 보조 시스템.
  4. 제1항 내지 제3항 중 어느 한 항에 있어서, 상기 데이터 처리 유닛(4)은 상기 인식된 장애물(H)로 인하여 발생하는 가림 영역들(VB)을 영상 표현을 위해 사용되는 영사면에 의존하여 계산하는 것을 특징으로 하는 운전자 보조 시스템.
  5. 제1항 내지 제4항 중 어느 한 항에 있어서, 상기 인식된 장애물(H)로 인하여 발생하는 가림 영역들(VB)에 의존하여 광학 주변환경 센서들(2)을 제어하고, 특히 서로 다른 광학 주변환경 센서들(2) 간에 전환하는 제어 유닛(6)이 구비되는 것을 특징으로 하는 운전자 보조 시스템.
  6. 제1항 내지 제5항 중 어느 한 항에 있어서, 상기 광학 주변환경 센서들(2)은 각각 하나의 소정 시야(FOV)를 갖는 차량 카메라들, 특히 피시아이 카메라들을 포함하는 것을 특징으로 하는 운전자 보조 시스템.
  7. 제6항에 있어서, 상기 데이터 처리 유닛(4)은 상기 인식된 장애물(H)로 인하여 발생하는 가림 영역들(VB)을 관련 광학 주변환경 센서들(2)의 시야(FOV)에 의존하여 계산하는 것을 특징으로 하는 운전자 보조 시스템.
  8. 제1항 내지 제7항 중 어느 한 항에 있어서, 상기 데이터 처리 유닛(4)은 상기 인식된 장애물(H)로 인하여 발생하는 가림 영역들(VB)을 상기 인식된 장애물(H)과 상기 차량(F) 간의 상대 속도에 의존하여 계산하는 것을 특징으로 하는 운전자 보조 시스템.
  9. 차량(F)의 차량 주변환경 내 가림 영역들(VB)을 산출하기 위한 방법으로:
    (a)상기 차량(F)의 차량 주변환경 내 장애물(H)을 인식하기 위해 상기 차량(F)의 주변환경 센서들로부터 생성되는 센서 데이터를 평가하는 단계(S1); 및
    (b)상기 인식된 장애물(H)에 의존하여, 상기 인식된 장애물(H)에 의해 가려지고 상기 차량(F)의 광학 주변환경 센서들의 관측 범위(FOV)를 제한하는 가림 영역들(VB)을 계산하는 단계(S2)를 포함하는 방법.
  10. 제9항에 있어서, 상기 차량(F)의 광학 주변환경 센서들(2)로부터 발생하는 센서 데이터는 상기 계산된 가림 영역들에서 준비되고, 특히 필터링되는 것을 특징으로 하는 방법.
  11. 제9항에 있어서, 상기 인식된 장애물(H)로 인하여 발생하는 가림 영역들(VB)은 텍스처면으로 덮이는 것을 특징으로 하는 방법.
  12. 제9항 내지 제11항 중 어느 한 항에 있어서, 상기 인식된 장애물(H)로 인하여 발생하는 가림 영역들(VB)은 영상 표현을 위해 사용되는 영사면에 의존하여 계산되는 것을 특징으로 하는 방법.
  13. 제9항 내지 제12항 중 어느 한 항에 있어서, 상기 인식된 장애물(H)로 인하여 발생하는 가림 영역들(VB)에 의존하여 상기 차량(F)의 광학 주변환경 센서들(2)이 제어되고, 특히 서로 다른 광학 주변환경 센서들(2) 간에 전환되는 것을 특징으로 하는 방법.
  14. 제9항 내지 제13항 중 어느 한 항에 있어서, 상기 인식된 장애물(H)로 인하여 발생하는 가림 영역들(VB)은 관련 광학 주변환경 센서들(2)의 소정 시야(FOV)에 의존하여 계산되는 것을 특징으로 하는 방법.
  15. 제9항 내지 제14항 중 어느 한 항에 있어서, 상기 인식된 장애물(H)로 인하여 발생하는 가림 영역들(VB)은 상기 인식된 장애물(H)과 상기 차량(F) 간의 상대 속도에 의존하여 계산되는 것을 특징으로 하는 방법.
KR1020187011681A 2015-11-24 2016-10-24 차량의 차량 주변환경 내 가림 영역 산출 방법 및 장치 KR102580476B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE102015223176.3 2015-11-24
DE102015223176.3A DE102015223176A1 (de) 2015-11-24 2015-11-24 Verfahren und Vorrichtung zur Ermittlung von Verdeckungsbereichen in der Fahrzeugumgebung eines Fahrzeuges
PCT/DE2016/200489 WO2017088863A1 (de) 2015-11-24 2016-10-24 Verfahren und vorrichtung zur ermittlung von verdeckungsbereichen in der fahrzeugumgebung eines fahrzeuges

Publications (2)

Publication Number Publication Date
KR20180085718A true KR20180085718A (ko) 2018-07-27
KR102580476B1 KR102580476B1 (ko) 2023-09-20

Family

ID=57345631

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020187011681A KR102580476B1 (ko) 2015-11-24 2016-10-24 차량의 차량 주변환경 내 가림 영역 산출 방법 및 장치

Country Status (6)

Country Link
US (1) US10477102B2 (ko)
EP (1) EP3381185A1 (ko)
JP (1) JP6990175B2 (ko)
KR (1) KR102580476B1 (ko)
DE (2) DE102015223176A1 (ko)
WO (1) WO2017088863A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102343062B1 (ko) * 2021-08-05 2021-12-27 주식회사 인피닉 높이 차이를 가지는 센서들을 위한 제어 방법 및 이를 실행하기 위하여 기록매체에 기록된 컴퓨터 프로그램

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016046642A (ja) * 2014-08-21 2016-04-04 キヤノン株式会社 情報処理システム、情報処理方法及びプログラム
JP2017114155A (ja) * 2015-12-21 2017-06-29 三菱自動車工業株式会社 運転支援装置
US10726278B2 (en) * 2016-09-30 2020-07-28 Samsung Electronics Co., Ltd. Method, device and system for providing notification information
DE102017122261A1 (de) * 2017-09-26 2019-03-28 Valeo Schalter Und Sensoren Gmbh Verfahren zum Überwachen eines Umgebungsbereiches eines Kraftfahrzeugs sowie Kamerasystem
DE102018203590A1 (de) 2018-03-09 2019-09-12 Conti Temic Microelectronic Gmbh Surroundview-System mit angepasster Projektionsfläche
DE102018108751B4 (de) * 2018-04-12 2023-05-04 Motherson Innovations Company Limited Verfahren, System und Vorrichtung zum Erhalten von 3D-Information von Objekten
DE102018127468A1 (de) * 2018-11-05 2020-05-07 Valeo Schalter Und Sensoren Gmbh Verfahren zum Aktualisieren einer digitalen Umgebungskarte, elektronische Recheneinrichtung, Computerprogrammprodukt, Fahrerassistenzsystem, Kraftfahrzeug und Umgebungskartenaktualisierungssystem
DE102018220113A1 (de) * 2018-11-23 2020-05-28 Zf Friedrichshafen Ag Vorrichtung und Verfahren zum Erkennen einer Sensorblockade eines Umgebungssensors
US20210109523A1 (en) * 2019-10-10 2021-04-15 Waymo Llc Sensor field of view in a self-driving vehicle
CN110867083B (zh) * 2019-11-20 2021-06-01 浙江宇视科技有限公司 车辆监控方法、装置、服务器和机器可读存储介质
DE102021002295B3 (de) 2021-04-30 2022-09-22 Mercedes-Benz Group AG Verfahren zur Ermittlung und Ausgabe einer an eine Fahrsituation angepassten Fahrgeschwindigkeit
DE102021003870B4 (de) 2021-07-27 2023-05-04 Mercedes-Benz Group AG Verfahren zur Überprüfung einer vorgegebenen Geschwindigkeitsbegrenzung für Fahrzeuge auf einer Fahrbahn und Verfahren zur Unterstützung eines Fahrers

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009070243A (ja) * 2007-09-14 2009-04-02 Denso Corp 車両用視界支援システム、及び、情報配信装置
JP2009081666A (ja) * 2007-09-26 2009-04-16 Nissan Motor Co Ltd 車両用周辺監視装置および映像表示方法
JP2011134237A (ja) * 2009-12-25 2011-07-07 Toshiba Alpine Automotive Technology Corp 車両用画像表示装置及び車両用画像表示方法
US20140347469A1 (en) * 2013-05-23 2014-11-27 GM Global Technology Operations LLC Enhanced perspective view generation in a front curb viewing system

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2612921C (en) * 2005-07-26 2016-08-30 Timothy D. Barfoot Traffic management system for a passageway environment
DE102006052779A1 (de) 2006-11-09 2008-05-15 Bayerische Motoren Werke Ag Verfahren zur Erzeugung eines Gesamtbilds der Umgebung eines Kraftfahrzeugs
US9760092B2 (en) * 2012-03-16 2017-09-12 Waymo Llc Actively modifying a field of view of an autonomous vehicle in view of constraints
US9523984B1 (en) * 2013-07-12 2016-12-20 Google Inc. Methods and systems for determining instructions for pulling over an autonomous vehicle
DE102013019145B4 (de) * 2013-11-15 2016-12-22 Audi Ag Verfahren zum Betrieb eines Kraftfahrzeugs mit Umfeldsensoren und Kraftfahrzeug
DE102014208664A1 (de) * 2014-05-08 2015-11-12 Conti Temic Microelectronic Gmbh Verfahren und vorrichtung zum verzerrungsfreien anzeigen einer fahrzeugumgebung eines fahrzeuges
US10331142B2 (en) * 2016-09-18 2019-06-25 Eyedog Israel Ltd. Monitoring of vehicle passing maneuver
DE102017210081B4 (de) * 2017-06-14 2019-10-17 Elektrobit Automotive Gmbh Verfahren und Vorrichtung zum Bestimmen von nicht zu befahrenden Bereichen
US10466707B2 (en) * 2017-12-22 2019-11-05 X Development Llc Planning robot stopping points to avoid collisions

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009070243A (ja) * 2007-09-14 2009-04-02 Denso Corp 車両用視界支援システム、及び、情報配信装置
JP2009081666A (ja) * 2007-09-26 2009-04-16 Nissan Motor Co Ltd 車両用周辺監視装置および映像表示方法
JP2011134237A (ja) * 2009-12-25 2011-07-07 Toshiba Alpine Automotive Technology Corp 車両用画像表示装置及び車両用画像表示方法
US20140347469A1 (en) * 2013-05-23 2014-11-27 GM Global Technology Operations LLC Enhanced perspective view generation in a front curb viewing system

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102343062B1 (ko) * 2021-08-05 2021-12-27 주식회사 인피닉 높이 차이를 가지는 센서들을 위한 제어 방법 및 이를 실행하기 위하여 기록매체에 기록된 컴퓨터 프로그램

Also Published As

Publication number Publication date
EP3381185A1 (de) 2018-10-03
US10477102B2 (en) 2019-11-12
US20180316850A1 (en) 2018-11-01
WO2017088863A1 (de) 2017-06-01
DE112016004040A5 (de) 2018-06-28
DE102015223176A1 (de) 2017-05-24
JP6990175B2 (ja) 2022-01-12
JP2018537329A (ja) 2018-12-20
KR102580476B1 (ko) 2023-09-20

Similar Documents

Publication Publication Date Title
KR20180085718A (ko) 차량의 차량 주변환경 내 가림 영역 산출 방법 및 장치
US10163016B2 (en) Parking space detection method and device
US10311618B2 (en) Virtual viewpoint position control device and virtual viewpoint position control method
US9886636B2 (en) Enhanced top-down view generation in a front curb viewing system
US8872919B2 (en) Vehicle surrounding monitoring device
US9834143B2 (en) Enhanced perspective view generation in a front curb viewing system
US10810446B2 (en) Parking space line detection method and device
US8953014B2 (en) Rear-view multi-functional camera system with three-dimensional data analysis features
US8461976B2 (en) On-vehicle device and recognition support system
US8044781B2 (en) System and method for displaying a 3D vehicle surrounding with adjustable point of view including a distance sensor
US20140347485A1 (en) Enhanced front curb viewing system
US20150070158A1 (en) Alert display device and alert display method
US20150293534A1 (en) Vehicle control system and method
US20110228980A1 (en) Control apparatus and vehicle surrounding monitoring apparatus
US10919450B2 (en) Image display device
US10866416B2 (en) Display control device and display control method
US10846833B2 (en) System and method for visibility enhancement
US20190135169A1 (en) Vehicle communication system using projected light
KR102130059B1 (ko) 디지털 백미러 제어 유닛 및 방법
KR20180065527A (ko) 차량 후측방 경고 장치 및 이를 이용한 경고 방법
JP4986070B2 (ja) 車両用周囲監視装置
EP3938245B1 (en) Driver assistance method and apparatus
KR101816157B1 (ko) 헤드업 디스플레이를 이용한 차량 충돌 방지 장치 및 방법
JP2021170166A (ja) 画像処理装置、撮像装置、画像処理方法およびプログラム
WO2017068700A1 (ja) 駐車スペース検出方法および装置

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right