KR20200126365A - 조정된 투영면을 포함하는 서라운드뷰 시스템 - Google Patents

조정된 투영면을 포함하는 서라운드뷰 시스템 Download PDF

Info

Publication number
KR20200126365A
KR20200126365A KR1020207023212A KR20207023212A KR20200126365A KR 20200126365 A KR20200126365 A KR 20200126365A KR 1020207023212 A KR1020207023212 A KR 1020207023212A KR 20207023212 A KR20207023212 A KR 20207023212A KR 20200126365 A KR20200126365 A KR 20200126365A
Authority
KR
South Korea
Prior art keywords
environmental data
surround view
projection surface
view system
evaluation unit
Prior art date
Application number
KR1020207023212A
Other languages
English (en)
Inventor
마르틴 뷔르커
하를로테 글로거
안드레아스 파나코스
프랑크 키트만
Original Assignee
콘티 테믹 마이크로일렉트로닉 게엠베하
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 콘티 테믹 마이크로일렉트로닉 게엠베하 filed Critical 콘티 테믹 마이크로일렉트로닉 게엠베하
Publication of KR20200126365A publication Critical patent/KR20200126365A/ko

Links

Images

Classifications

    • G06K9/00805—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06K9/00201—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Traffic Control Systems (AREA)
  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Devices For Indicating Variable Information By Combining Individual Elements (AREA)
  • Image Analysis (AREA)

Abstract

- 조정된 투영면을 포함하는 서라운드뷰 시스템
본 발명은 차량(2)용 서라운드뷰 시스템(1)에 관한 것이다. 서라운드뷰 시스템(1)은 감지 유닛(20) 및 평가 유닛(10)을 포함한다. 감지 유닛(20)은 환경 데이터를 감지하도록 구성된다. 평가 유닛(10)은 감지된 환경 데이터에서 물체(3)를 인식하고 물체의 3D 형상을 결정하도록 구성된다. 평가 유닛(10)은 결정된 3D 형상을 감지된 환경 데이터를 위한 서라운드뷰 시스템(1)의 투영면(15)에 부가하여, 조정된 투영면(16)이 생성되게 하도록 더 구성된다. 평가 유닛(10)은 조정된 투영면(16) 상에 환경 데이터를 투영하도록 구성된다.

Description

조정된 투영면을 포함하는 서라운드뷰 시스템
본 발명은 차량용 서라운드뷰 시스템, 이러한 서라운드뷰 시스템을 포함하는 차량, 서라운드뷰 시스템의 투영면을 조정하기 위한 방법, 프로그램 요소 및 컴퓨터 판독 가능 매체에 관한 것이다.
주행 방향 조절의 수행 시 운전자를 지원하는 운전자 보조 시스템이 장착된 차량이 증가하고 있다. 일부 운전자 보조 시스템은 차량의 운전자에게 차량 주변을 표시할 수 있는 서라운드뷰 시스템을 포함한다. 이와 같은 서라운드뷰 시스템은 하나 이상의 차량 카메라를 포함하는데, 차량 카메라는 차량 주변에 관한 실제 영상들을 감지한 후 서라운드뷰 시스템의 데이터 처리 유닛을 통해 차량 주변에 대한 주변 영상으로 병합한다. 이후, 이러한 차량 주변의 영상은 운전자에게 표시 유닛상에 표시된다.
이를 위해 서라운드뷰 시스템의 카메라에 의해 수득되는 차량 주변의 실제 영상들은 우선 투영면 또는 차량 주변에 관한 가상의 환경 모델의 투영점들 상에 투영될 수 있다. 이후, 이와 같이 생성되어 조합되는 차량 주변의 서라운드뷰 영상은 가상 카메라의 원근법으로부터 추론될 수 있고, 이는 다시 표시 유닛상에서 서라운드뷰 영상으로 표시될 수 있다. 표시되는 서라운드뷰 영상을 계산하기 위한 가상 카메라의 위치는 변경될 수 있어서, 필요에 따라 또는 주행 상황에 따라 운전자에게 차량 주변에 관한 상이한 재현물이 표시될 수 있다. 실제 영상들을 투영하고, 조합된 서라운드뷰 영상을 생성하기 위해 3차원 환경 모델을 선택하는 것은 표시되는 영상의 품질을 위해 중요하다.
본 발명의 과제는 영상 데이터의 투영을 개선하는 것이다.
이러한 과제는 독립 청구항들의 주제에 의하여 해결된다. 실시 형태들 및 발전 형태들은 종속항들, 상세한 설명 및 도면들로부터 추론될 수 있다.
본 발명의 제1 양태는 차량용 서라운드뷰 시스템에 관한 것이다. 서라운드뷰 시스템은 감지 유닛 및 평가 유닛을 포함한다. 감지 유닛은 환경 데이터를 감지하도록 구성된다. 평가 유닛은 감지된 환경 데이터에서 물체를 인식하고 이 물체의 3D 형상을 결정하도록 구성된다. 평가 유닛은 감지된 환경 데이터를 위한 서라운드뷰 시스템의 투영면에 이러한 결정된 3D 형상을 부가하여, 조정된 투명면이 생성되게 하도록 더 구성된다. 평가 유닛은 환경 데이터를 조정된 투영면 상에 투영하도록 구성된다.
바꾸어 말하면, 인식되는 물체의 3D 형상은 서라운드뷰 시스템의 투영면에 부가될 수 있어서, 차량에 관한 개선된 가상의 환경 모델이 수득된다. 이때 감지 유닛은 차량에 관한 환경 데이터를 감지할 수 있다. 이러한 환경 데이터는 평가 유닛에 의해 처리될 수 있어서, 평가 유닛은 예컨대 환경 데이터에서 물체를 인식한다. 또한, 평가 유닛은 직접적으로 환경 데이터를 계산하거나 평가함으로써 또는 간접적으로 인식된 물체를 소정의 물체들과 비교함으로써 이러한 인식된 물체의 3D 형상을 결정하도록 구성될 수 있다. 예컨대, 차량이 인식될 수 있고, 데이터베이스로부터 차량의 통상적 3D 형상이 사용될 수 있다. 이후, 인식된 물체에 대해 결정된 3D 형상은 서라운드뷰 시스템의 투영면에 부가될 수 있다. 이를 통해, 감지된 환경 데이터는 가급적 정교화되어, 왜곡 없이 조정된 투영면 상에 투영된 후, 예컨대 모니터 또는 디스플레이상에서 운전자에게 표시될 수 있다. 이러한 왜곡은 특히, 특정한 시야각 또는 원근법 하에 환경 데이터가 수집되고 이를 운전자에게 재현하기 위해 이러한 원근법을 가상 원근법으로 변경할 시 발생할 수 있다. 바꾸어 말하면, 운전자에게 재현하기 위한 가상 카메라가 실제 카메라와 상이한 위치에 있을 때를 의미한다. 예컨대 4대의 카메라에 의해 환경 데이터가 생성될 수 있고, 평가 유닛에 의해 서라운드뷰 영상이 생성되며(예컨대 4개의 개별 영상이 조합됨), 이러한 영상은 차량에 대한 (위에서 내려다보는) 가상의 탑뷰를 재현한다. 이러한 탑뷰는, 평가 유닛에 의해 수득되는데, 이러한 평가 유닛이 실제로 감지되는 환경 데이터에 기초하여 차량에 관한 가상의 원근법을 생성함으로써 그러하다. 이러한 변환 시, 특히 예컨대 다른 차량, 기둥 또는 화분과 같이 돌출된 물체는 환경 데이터의 생성 시 각각의 원근법에 의해 이후에 운전자에게 표시되는 변경된 가상의 원근법에서 왜곡을 야기할 수 있다.
투영면(투영면의 기본형 또는 초기형)은 다양한 형태를 포함할 수 있고, 예컨대 보울 형, 컵 형 또는 평면을 포함할 수 있으나 각각의 다른 임의 형태를 포함할 수 있다. 또한, 차량의 가상의 환경 모델로서 투영면은 감지된 환경 데이터의 표상을 위해 역할할 수 있다.
본 발명의 일 실시 형태에 따르면, 감지 유닛은 카메라이다.
대안적 또는 부가적으로, 감지 유닛은 복수의 카메라(스테레오 카메라)를 포함할 수 있고 및/또는 예컨대 레이더(radar) 센서, 라이다(lidar) 센서 또는 초음파 센서 또는 레이저 스캐너와 같은 심도 정보 산출용 센서를 포함할 수 있다. 또한, 감지 유닛은 전술한 센서들의 조합도 포함할 수 있다. 심도 정보에 의해, 인식된 물체의 3D 형상은 직접적으로 평가 유닛에 의해 결정될 수 있다.
본 발명의 일 실시 형태에 따르면, 인식된 물체의 3D 형상은 사전에 정해지고, 평가 유닛에 의해 인식된 물체와 일치한다.
바꾸어 말하면, 인식된 물체의 3D 형상은 데이터베이스 또는 테이블과의 비교를 통해 결정될 수 있다. 평가 유닛은 감지된 환경 데이터에서 물체를 인식할 수 있고, 이 물체를 데이터베이스 또는 테이블과 비교하여, 인식된 물체의 3D 형상을 결정할 수 있다. 예컨대, 데이터베이스에는 차량, 기둥 또는 화분의 통상적 3D 형상이 저장될 수 있고, 물체가 평가 유닛에 의해 인식되면, 이에 상응하는 소정의 3D 형상이 데이터베이스 또는 테이블로부터 추출되어 투영면에 부가될 수 있다. 따라서 감지 유닛에서 3D 인식 및 추가적 센서는 생략될 수 있고, 평가 유닛에서 계산 시간이 절감될 수 있는데, 물체의 구체적인 3D 형상이 결정될 필요 없이 3D 형상이 이미 존재하여 이러한 3D 형상이 선택되어 투영면에 부가될 수 있기 때문이다.
본 발명의 다른 실시 형태에 따르면, 평가 유닛은 인식된 물체의3D 형상을 감지 유닛의 감지된 환경 데이터로부터 결정하도록 구성된다.
인식된 물체의 3D 형상은 감지 유닛에 의해 결정될 수 있거나 평가 유닛에 의해 계산될 수 있다. 예컨대, 감지 유닛은 심도 결정을 위한 추가적 센서들(예: 레이다, 초음파 또는 라이다 또는 레이저)을 포함할 수 있고, 이러한 센서들은 3D 형상을 결정하도록 구성된다. 대안적 또는 부가적으로, 평가 유닛은 3D 형상을 계산하거나 결정할 수 있어서, 예컨대 2대의 서로 다른 카메라로부터 물체의 환경 데이터가 다양한 시야각 또는 원근법으로 제공될 시, 인식된 물체의 3D 형상은 스테레오스코피를 이용하여 계산되거나 결정될 수 있다.
본 발명의 일 실시 형태에 따르면, 평가 유닛은 환경 데이터에서 물체에 의해 가려지는 영역을 조정된 투영면 상에 환경 데이터의 투영 시 소정의 색상 또는 패턴에 의해 충전하도록 구성된다.
인식된 물체의 3D 형상을 투영면에 부가함으로써, 투영면에는 물체에 의해 가려져 환경 데이터가 제공되지 않는 영역이 생성될 수 있다. 바꾸어 말하면, 감지 유닛은 물체를 전방위로 볼 수 없다. 이러한 가려지는 영역은 예컨대 소정의 색상 또는 소정의 패턴으로 충전될 수 있고, 예컨대 검은색으로 충전될 수 있다. 바꾸어 말하면, 가려진 영역은 투영 시 소정의 환경 데이터에 의해 충전될 수 있다.
본 발명의 다른 실시 형태에 따르면, 평가 유닛은 환경 데이터에서 물체에 의해 가려지는 영역을 조정된 투영면 상에 환경 데이터의 투영 시 주위의 환경 데이터의 보간에 의해 충전하도록 구성된다.
가려진 영역이 소정의 색상에 의해 충전되는 것 외에, 가려진 영역의 환경 데이터는 보간을 이용하여서도 충전될 수 있어서, 가려진 영역에 인접하는 영역들의 환경 데이터들 간에 보간이 수행되어 가려진 영역에 관한 환경 데이터가 생성된다.
본 발명의 일 실시 형태에 따르면, 평가 유닛은 환경 데이터에서 물체에 의해 가려지는 영역을 조정된 투영면 상에 환경 데이터의 투영 시 이러한 물체의 전면측의 환경 데이터를 미러링함으로써 충전하도록 구성된다.
또한, 가려진 영역은 물체의 전면측의 환경 데이터에 의해 미러링될 수 있는데, 이러한 전면측은 감지 유닛에 의해 감지된 물체의 측면이다. 예컨대, 물체가 기둥이면, 이러한 기둥은 통상적으로 전면 및 후면이 동일하게 형성되어, 전면측의 영상 데이터는 기둥의 후면측에도 투영될 수 있다.
대안적 또는 부가적으로, 가려진 영역을 위한 환경 데이터를 생성하기 위해 전술한 공정들이 조합될 수 있다.
본 발명의 다른 실시 형태에 따르면, 평가 유닛은 환경 데이터에서 물체에 의해 가려진 영역을 투영면으로부터 제거하도록 구성된다.
생성되거나 사전에 정해진 환경 데이터를 이용하여 투영면을 충전하는 것 외에, 가려진 영역은 투영면으로부터 제거될 수 있다. 가려진 영역을 위해, 명시적인 환경 데이터가 존재하지 않으므로, 이 영역에 관한 명시적 판단을 할 수 없다. 이점에 기초하여, 투영면은 이러한 투영면이 환경 데이터가 존재하는 영역들만을 포함하도록 조정될 수 있다.
본 발명의 다른 양태는 이상 및 이하에 설명되는 서라운드뷰 시스템을 포함하는 차량에 관한 것이다.
차량은 예컨대 자동차, 버스 또는 화물차와 같은 육상용 차량 또는 레일 차량, 선박, 헬리콥터 또는 항공기와 같은 항공용 차량 또는 예컨대 자전거를 가리킨다.
본 발명의 다른 양태는 서라운드뷰 시스템의 투영면을 조정하기 위한 방법에 관한 것이다. 이 방법은 다음의 단계를 포함한다:
- 감지 유닛에 의해 환경 데이터를 감지하는 단계;
- 감지된 환경 데이터에서 물체를 인식하는 단계;
- 인식된 물체의 3D 형상을 결정하는 단계;
- 감지된 환경 데이터를 위한 서라운드뷰 시스템의 투영면에 이러한 결정된 3D 형상을 부가하는 단계; 및
- 조정된 투영면 상에 환경 데이터를 투영하는 단계.
방법의 단계들은 다른 순서로 또는 동시에 수행될 수 있음을 언급해둔다. 또한, 개별 단계들 사이에 더 긴 시간이 소요될 수 있다.
본 발명의 다른 양태는 서라운드뷰 시스템의 평가 유닛에서 실행될 때 평가 유닛에게 이상 및 이하에 설명되는 방법을 수행하도록 지시하는 프로그램 요소에 관한 것이다.
본 발명의 다른 양태는 프로그램 요소가 저장되는 컴퓨터 판독 가능 매체에 관한 것으로, 이러한 프로그램 요소는 서라운드뷰 시스템의 평가 유닛에서 실행될 때 평가 유닛에게 이상 및 이하에 설명되는 방법을 수행하도록 지시한다.
본 발명의 다른 특징들, 이점들 및 적용 가능성들은 실시예들 및 도면들에 관한 이하의 상세한 설명으로부터 수득된다.
도면들은 개략적이며 축척에 맞지 않다. 도면에 관한 이하의 상세한 설명에서 동일한 참조번호가 제공되면, 이는 동일하거나 유사한 요소를 나타낸다.
도 1은 본 발명의 일 실시 형태에 따르는 서라운드뷰 시스템의 블록 회로도이다.
도 2는 서라운드뷰 시스템을 위한 투영면의 기본형에 대한 등각도이다.
도 3은 서라운드뷰 시스템을 위한 투영면의 기본형에 대한 측면도이다.
도 4는 본 발명의 일 실시 형태에 따르는 서라운드뷰 시스템을 위한 조정된 투영면의 측면도이다.
도 5는 본 발명의 일 실시 형태에 따르는 서라운드뷰 시스템을 포함하는 차량 도면이다.
도 6은 본 발명의 일 실시 형태에 따르는 서라운드뷰 시스템의 투영면을 조정하기 위한 방법에 관한 흐름도이다.
도 1은 본 발명의 일 실시 형태에 따르는 차량용 서라운드뷰 시스템(1)의 블록 회로도를 도시한다. 서라운드뷰 시스템(1)은 감지 유닛(20) 및 평가 유닛(10)을 포함한다. 감지 유닛(20)은 차량의 환경 데이터를 감지할 수 있다. 예컨대, 감지 유닛(20)은 하나 이상의 카메라를 포함할 수 있다. 대안적 또는 부가적으로, 감지 유닛(20)은 라이다 센서, 레이더 센서, 초음파 센서, 레이저 스캐너 또는 이들의 조합을 포함할 수 있다. 특히, 감지 유닛(20)에 의해 차량 주변의 물체가 감지될 수 있다. 평가 유닛(10)은 감지 유닛(20)에 의해 감지되는 환경 데이터를 서라운드뷰 영상으로 병합하고 차량의 운전자를 위해 예컨대 표시 유닛 상에 재현할 수 있다. 운전자에게 서라운드뷰 영상을 재현하기 위해, 감지된 환경 데이터는 투영면 상에 투영될 수 있다. 투영면은 통상적으로 보울 또는 컵의 형상을 포함할 수 있고, 즉 차량과의 직접적 근방 영역들은 편평할 수 있고, 원방 영역들은 위쪽으로 아치형으로 형성될 수 있다. 투영면은 차량에 관한 가상의 환경 모델로서 이해할 수 있다. 투영면은 특히, 서라운드뷰 영상이 감지 유닛의 원근법과 상이한 원근법으로 운전자에게 재현될 때 중요할 수 있다. 또한, 평가 유닛(10)은 감지 유닛(20)의 환경 데이터에서 물체를 인식하고 물체의 3D 형상을 결정할 수 있다. 인식된 물체의 3D 형상은, 예컨대 스테레오카메라가 물체를 위한 심도 정보를 제공하거나 예컨대 감지 유닛(20)이 심도 결정을 위한 센서(예: 레이다 센서, 초음파 센서 또는 라이다 센서 또는 레이저 스캐너)를 포함함으로써, 예컨대 환경 데이터로부터 결정될 수 있다. 대안적 또는 부가적으로, 물체의 3D 형상은 소정의 물체와 비교를 통해서도 결정될 수 있는데, 예컨대 평가 유닛(10)은 환경 데이터에서 차량을 인식할 수 있고, 데이터베이스에는 이 차량에 대한 소정의 통상적 3D 형상이 저장될 수 있다. 이러한 소정의 3D 형상은 이후에 평가 유닛(10)에 의해 사용될 수 있다. 또한, 평가 유닛(10)은 인식된 물체(들)에 대해 결정된 3D 형상을 투영면에 부가할 수 있어서, 조정된 투영면이 생성된다. 바꾸어 말하면, 투영면은 인식된 물체만큼 확장될 수 있어서, 조정된 투영면은 현실에 대한 보다 양호한 표상을 재현한다. 이를 통해, 감지된 환경 데이터의 투영이 개선될 수 있어서, 원근법의 변경 시 재현물에서 왜곡이 방지될 수 있다. 또한, 평가 유닛(10)은 환경 데이터를 차량의 운전자에게 표시하기 위해 이러한 환경 데이터를 조정된 투영면 상에 투영할 수 있다.
도 2 및 도 3은 차량(2)용 서라운드뷰 시스템을 위한 투영면(15)을 도시한다. 이 투영면(15)은 한편으로 등각도(도 2), 다른 한편으로 측면도(도 3)로 도시되어 있다. 투영면(15)의 중앙에는 서라운드뷰 시스템을 포함하는 차량(2)이 각각 위치한다. 투영면(15)은 보울 또는 컵 형상에 상응하는 형상을 포함한다. 이때 차량의 근방 영역은 편평하고, 가장자리 영역들은 위쪽 및 바깥쪽으로 가며 아치형을 형성하며, 투영면의 둘레는 높이가 증가할수록 지속적으로 증가한다. 투영면의 이러한 형상에 의해, 제1 접근법에서 서라운드뷰 시스템을 위한 환경 데이터의 양호한 표상이 보장될 수 있다. 그러나, 실제로 차량의 근방에 위치한 돌출된 물체를 이러한 투영면(15) 상에 투영 시 재현물에서 왜곡을 야기할 수 있다. 특히, 재현물의 원근법이 실제 감지되는 환경 데이터에 비해 가상으로 변경될 시 그러하다.
도 4는 인식된 물체(3)의 3D 형상을 투영면(15)에 부가하는 도면을 도시한다. 도 4의 좌측에 차량(2) 및 서라운드뷰 시스템의 투영면(15)이 도시되어 있다. 또한, 도 4의 좌측에 다른 물체(3), 본원에서 다른 차량이 위치한다. 이러한 다른 물체(3)는 서라운드뷰 시스템에 의해 인식될 수 있고, 인식된 물체의 3D 형상은 서라운드뷰 시스템에 의해 결정될 수 있으며, 예컨대 직접적으로 센서들을 통해 또는 간접적으로 특정한 물체들에 대한 소정의 3D 형상 및 데이터베이스와 비교를 통해 결정될 수 있다. 도 4의 우측에서는, 인식된 물체의 3D 형상이 투영면(15)에 부가됨으로써, 조정된 투영면(16)이 생성된다. 따라서 감지된 환경 데이터는 실제와 가깝게 투영면 상에 투영될 수 있다. 인식된 물체의 3D 형상이 투영면(15)에 부가됨으로써, 조정된 투영면(16)에는 가려진 영역이 존재할 수 있는데, 물체 자체가 이러한 영역을 가리기 때문에 이러한 영역에 대해 명시적인 환경 데이터가 존재하지 않는다. 이러한 가려진 영역은 조정된 투영면(16)에서 다양한 방식으로 처리될 수 있다. 이는 예컨대 소정의 색상 또는 소정의 패턴으로 충전될 수 있고, 예컨대 검은색으로 충전될 수 있다. 또한, 이러한 가려진 영역은 주위의 환경 데이터의 보간에 의해 충전될 수 있다. 또한, 인식된 물체의 전면측은 이 물체의 후면측(가려진 영역)에도 투영될 수 있다. 대안적 또는 부가적으로, 인식된 물체가 투영면에 부가될 수 있을 뿐만 아니라 인식된 물체에 의해 가려진 영역은 투영면으로부터 제거될 수 있어서, 완전하게 조정되는 투영면(16)을 위해 환경 데이터가 존재한다.
도 5는 이상 및 이하에 설명되는 서라운드뷰 시스템(1)을 포함하는 차량(2)을 도시한다. 차량(2)의 운전자를 위해, 설명된 서라운드뷰 시스템에 의해 감지된 환경 데이터의 모상이 개선될 수 있고, 재현물의 원근법은 운전자 요구에 따라 변경되거나 조정될 수 있다. 조정된 투영면을 사용함으로써 돌출된 물체에 의한 왜곡이 감소되거나 방지될 수 있다.
도 6은 서라운드뷰 시스템을 위한 투영면을 조정하기 위한 방법에 관한 흐름도를 도시한다. S1 단계에서 환경 데이터는 감지 유닛에 의해 감지된다. S2 단계에서는, 이러한 환경 데이터에서 물체가 인식될 수 있다. S3 단계에서는, S2 단계에서 인식된 물체의 3D 형상이 결정된다. 물체의 3D 형상은 직접적으로 감지 유닛에 의해 인식될 수 있거나 평가 유닛에 의해 계산될 수 있거나 평가유닛이 소정의 3D 형상을 이용하여 감지된 환경 데이터에 기초하여 적합한 형상을 선택할 수 있다. S4 단계에서 물체의 결정된 3D 형상은 서라운드뷰 시스템의 투영면에 부가된다. S5 단계에서, 감지 유닛의 환경 데이터는 조정된 투영면 상에 투영된다.

Claims (12)

  1. 차량(2)용 서라운드뷰 시스템(1)으로:
    - 감지 유닛(20); 및
    - 평가 유닛(10)을 포함하고,
    상기 감지 유닛(20)은 환경 데이터를 감지하도록 구성되고,
    상기 평가 유닛(10)은 상기 감지된 환경 데이터에서 물체(3)를 인식하고 물체의 3D 형상을 결정하도록 구성되고,
    상기 평가 유닛(10)은 상기 결정된 3D 형상을 상기 감지된 환경 데이터를 위한 상기 서라운드뷰 시스템(1)의 투영면(15)에 부가하여, 조정된 투영면(16)이 생성되게 하도록 더 구성되고, 그리고
    상기 평가 유닛(10)은 상기 환경 데이터를 상기 조정된 투영면(16) 상에 투영하도록 구성되는 것인, 서라운드뷰 시스템(1).
  2. 제1항에 있어서,
    상기 감지 유닛(20)은 카메라인 것인, 서라운드뷰 시스템(1).
  3. 제1항 및 제 2항에 있어서,
    상기 인식된 물체(3)의 상기 3D 형상은 사전에 정해지고, 상기 평가 유닛(10)에 의해 인식된 상기 물체(3)와 일치하는 것인, 서라운드뷰 시스템(1).
  4. 제1항 및 제2항에 있어서,
    상기 평가 유닛(10)은 상기 감지 유닛(20)의 상기 감지된 환경 데이터로부터 상기 인식된 물체(3)의 상기 3D 형상을 결정하도록 구성되는 것인, 서라운드뷰 시스템(1).
  5. 제1항 내지 제 4 항 중 어느 한 항에 있어서,
    상기 평가 유닛(10)은 상기 환경 데이터에서 상기 물체(3)에 의해 가려지는 영역을 상기 조정된 투영면(16) 상에 상기 환경 데이터의 투영 시 소정의 색상으로 충전하도록 구성되는 것인, 서라운드뷰 시스템(1).
  6. 제1항 내지 제4항 중 어느 한 항에 있어서,
    상기 평가 유닛(10)은 상기 환경 데이터에서 상기 물체(3)에 의해 가려지는 영역을 상기 상기 조정된 투영면(16) 상에 상기 환경 데이터의 투영 시 주위의 환경 데이터의 보간에 의해 충전하도록 구성되는 것인, 서라운드뷰 시스템(1).
  7. 제 1 항 내지 제 6 항 중 어느 한 항에 있어서,
    상기 평가 유닛(10)은, 상기 환경 데이터에서 상기 물체(3)에 의해 가려지는 상기 영역을 상기 조정된 투영면(16) 상에 상기 환경 데이터의 투영 시 상기 물체(3)의 전면측의 환경 데이터를 미러링함으로써 충전하도록 구성되는 것인, 서라운드뷰 시스템(1).
  8. 제1항 내지 제4항 중 어느 한 항에 있어서,
    상기 평가 유닛(10)은 상기 환경 데이터에서 상기 물체(3)에 의해 가려지는 상기 영역을 상기 투영면(15)으로부터 제거하도록 구성되는 것인, 서라운드뷰 시스템(1).
  9. 제1항 내지 제8항 중 어느 한 항에 따르는 서라운드뷰 시스템(1)을 포함하는 차량(2).
  10. 서라운드뷰 시스템의 투영면을 조정하기 위한 방법으로:
    - 감지 유닛에 의해 환경 데이터를 감지하는 단계(S1);
    - 상기 감지되는 환경 데이터에서 물체를 인식하는 단계(S2);
    - 상기 인식된 물체의 3D 형상을 결정하는 단계(S3);
    - 상기 감지되는 환경 데이터를 위한 상기 서라운드뷰 시스템의 투영면에 상기 결정된 3D 형상을 부가하는 단계(S4); 및
    - 조정된 투영면 상에 상기 환경 데이터를 투영하는 단계(S5)를 포함하는 방법.
  11. 서라운드뷰 시스템의 평가 유닛에서 실행될 때, 상기 서라운드뷰 시스템에게 제10항에 따른 방법을 수행하도록 지시하는 프로그램 요소.
  12. 제11항에 따르는 프로그램 요소가 저장되는 컴퓨터 판독 가능 매체.
KR1020207023212A 2018-03-09 2019-02-26 조정된 투영면을 포함하는 서라운드뷰 시스템 KR20200126365A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE102018203590.3A DE102018203590A1 (de) 2018-03-09 2018-03-09 Surroundview-System mit angepasster Projektionsfläche
DE102018203590.3 2018-03-09
PCT/DE2019/200018 WO2019170202A1 (de) 2018-03-09 2019-02-26 Surroundview-system mit angepasster projektionsfläche

Publications (1)

Publication Number Publication Date
KR20200126365A true KR20200126365A (ko) 2020-11-06

Family

ID=65717688

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020207023212A KR20200126365A (ko) 2018-03-09 2019-02-26 조정된 투영면을 포함하는 서라운드뷰 시스템

Country Status (7)

Country Link
US (1) US11410430B2 (ko)
EP (1) EP3762857A1 (ko)
JP (1) JP7295123B2 (ko)
KR (1) KR20200126365A (ko)
CN (1) CN111819571A (ko)
DE (1) DE102018203590A1 (ko)
WO (1) WO2019170202A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102583959B1 (ko) * 2022-09-02 2023-09-27 주식회사 리트빅 3d 뷰 시점에 따른 경계선 합성영역 제어를 통한 3d svm 영상 왜곡보정 방법

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020241954A1 (ko) * 2019-05-31 2020-12-03 엘지전자 주식회사 차량용 전자 장치 및 차량용 전자 장치의 동작 방법
EP4129539A4 (en) * 2020-03-25 2024-04-24 Mitsubishi Materials Corporation SURFACE COATED CUTTING TOOL
CN111862210B (zh) * 2020-06-29 2023-05-12 辽宁石油化工大学 一种基于环视相机的目标物检测定位方法及装置
EP4310768B1 (en) * 2022-07-18 2024-06-12 Harman International Industries, Incorporated Driver assistance system
DE102022125774A1 (de) * 2022-10-06 2024-04-11 Connaught Electronics Ltd. Anzeigen von Bilddaten in einem Fahrzeug mit sich verändernder Projektionsfläche
CN116363631B (zh) * 2023-05-19 2023-09-05 小米汽车科技有限公司 三维目标检测方法、装置及车辆

Family Cites Families (46)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5644689A (en) * 1992-01-13 1997-07-01 Hitachi, Ltd. Arbitrary viewpoint three-dimensional imaging method using compressed voxel data constructed by a directed search of voxel data representing an image of an object and an arbitrary viewpoint
JP4195966B2 (ja) 2002-03-05 2008-12-17 パナソニック株式会社 画像表示制御装置
JP3871614B2 (ja) 2002-06-12 2007-01-24 松下電器産業株式会社 運転支援装置
JP2004240480A (ja) 2003-02-03 2004-08-26 Matsushita Electric Ind Co Ltd 運転支援装置
FR2853121B1 (fr) * 2003-03-25 2006-12-15 Imra Europe Sa Dispositif de surveillance des alentours d'un vehicule
CN101142814A (zh) * 2005-03-15 2008-03-12 欧姆龙株式会社 图像处理装置及方法、程序、以及记录介质
JP4180065B2 (ja) * 2005-05-13 2008-11-12 株式会社スクウェア・エニックス 画像生成方法、画像生成装置、および画像生成プログラム
JP4642723B2 (ja) 2006-09-26 2011-03-02 クラリオン株式会社 画像生成装置および画像生成方法
CN101246545B (zh) * 2008-02-22 2010-07-07 华南师范大学 一种光学遥感图像去云的泊松方法
DE102008060684B4 (de) * 2008-03-28 2019-05-23 Volkswagen Ag Verfahren und Vorrichtung zum automatischen Einparken eines Kraftfahrzeugs
EP2285109B1 (en) 2008-05-29 2018-11-28 Fujitsu Limited Vehicle image processor, and vehicle image processing system
KR101468267B1 (ko) 2008-10-02 2014-12-15 프라운호퍼-게젤샤프트 추르 푀르데룽 데어 안제반텐 포르슝 에 파우 중간 뷰 합성 및 멀티-뷰 데이터 신호 추출
JP5165631B2 (ja) * 2009-04-14 2013-03-21 現代自動車株式会社 車両周囲画像表示システム
JP5223811B2 (ja) 2009-08-06 2013-06-26 株式会社日本自動車部品総合研究所 画像補正装置、画像補正方法、及びそれらに用いられる変換マップ作成方法
JP5682284B2 (ja) 2010-12-16 2015-03-11 株式会社島津製作所 Ｘ線撮影装置
JP2012244600A (ja) 2011-05-24 2012-12-10 Fujitsu Ten Ltd 画像表示システム、画像処理装置、及び、画像表示方法
WO2013016409A1 (en) 2011-07-26 2013-01-31 Magna Electronics Inc. Vision system for vehicle
DE102011084554A1 (de) * 2011-10-14 2013-04-18 Robert Bosch Gmbh Verfahren zur Darstellung eines Fahrzeugumfeldes
DE102012018325A1 (de) * 2012-09-15 2014-03-20 DSP-Weuffen GmbH Verfahren und Vorrichtung für ein bildgebendes Fahrerassistenzsystem mit adaptiver Umsichtdarstellung
US9225942B2 (en) 2012-10-11 2015-12-29 GM Global Technology Operations LLC Imaging surface modeling for camera modeling and virtual view synthesis
US20140114534A1 (en) 2012-10-19 2014-04-24 GM Global Technology Operations LLC Dynamic rearview mirror display features
US8892358B2 (en) * 2013-03-14 2014-11-18 Robert Bosch Gmbh System and method for distortion correction in three-dimensional environment visualization
US9886636B2 (en) 2013-05-23 2018-02-06 GM Global Technology Operations LLC Enhanced top-down view generation in a front curb viewing system
US9834143B2 (en) 2013-05-23 2017-12-05 GM Global Technology Operations LLC Enhanced perspective view generation in a front curb viewing system
US20150042799A1 (en) 2013-08-07 2015-02-12 GM Global Technology Operations LLC Object highlighting and sensing in vehicle image display systems
US9013286B2 (en) * 2013-09-23 2015-04-21 Volkswagen Ag Driver assistance system for displaying surroundings of a vehicle
TWI528325B (zh) 2013-10-18 2016-04-01 財團法人資訊工業策進會 影像處理方法及應用影像處理方法之系統
CN105765966B (zh) 2013-12-19 2020-07-10 英特尔公司 碗形成像***
KR20150076759A (ko) * 2013-12-27 2015-07-07 주식회사 만도 차량용 카메라의 제어 장치 및 방법
DE102014000495A1 (de) * 2014-01-14 2014-08-14 Daimler Ag Vorrichtung und Verfahren zur Projektion von Informationen in emer Fahrzeugumgebung und Fahrzeug
DE102014208664A1 (de) 2014-05-08 2015-11-12 Conti Temic Microelectronic Gmbh Verfahren und vorrichtung zum verzerrungsfreien anzeigen einer fahrzeugumgebung eines fahrzeuges
US10442355B2 (en) 2014-09-17 2019-10-15 Intel Corporation Object visualization in bowl-shaped imaging systems
US9437001B2 (en) 2014-09-18 2016-09-06 Intel Corporation Tracking objects in bowl-shaped imaging systems
DE102015202863A1 (de) * 2015-02-17 2016-08-18 Conti Temic Microelectronic Gmbh Verfahren und Vorrichtung zum verzerrungsfreien Anzeigen einer Fahrzeugumgebung eines Fahrzeuges
DE102015206477A1 (de) 2015-04-10 2016-10-13 Robert Bosch Gmbh Verfahren zur Darstellung einer Fahrzeugumgebung eines Fahrzeuges
DE102015208343B4 (de) 2015-05-06 2023-09-07 Robert Bosch Gmbh Verfahren zum Erzeugen eines Gesamtbildes einer Fahrzeugumgebung eines Fahrzeuges und entsprechende Vorrichtung
DE102015214611A1 (de) 2015-07-31 2017-02-02 Conti Temic Microelectronic Gmbh Verfahren und Vorrichtung zum Anzeigen einer Umgebungsszene eines Fahrzeuggespanns
DE102015223176A1 (de) 2015-11-24 2017-05-24 Conti Temic Microelectronic Gmbh Verfahren und Vorrichtung zur Ermittlung von Verdeckungsbereichen in der Fahrzeugumgebung eines Fahrzeuges
DE102016211227A1 (de) 2016-06-23 2017-12-28 Conti Temic Microelectronic Gmbh Verfahren und Fahrzeugsteuersystem zum Erzeugen von Abbildungen eines Umfeldmodells und entsprechendes Fahrzeug
DE102016211453A1 (de) 2016-06-27 2017-12-28 Conti Temic Microelectronic Gmbh Verfahren und Fahrzeugsteuersystem zum Erzeugen von Abbildungen eines Umfeldmodells und entsprechendes Fahrzeug
JP6611353B2 (ja) * 2016-08-01 2019-11-27 クラリオン株式会社 画像処理装置、外界認識装置
JP6659495B2 (ja) 2016-08-19 2020-03-04 株式会社東芝 撮像装置および送信方法
DE102016220651A1 (de) 2016-10-20 2018-04-26 Conti Temic Microelectronic Gmbh Verfahren und Vorrichtung zur Erzeugung einer Fahrzeugumgebungsansicht bei einem Fahrzeug
DE102016223391A1 (de) 2016-11-25 2018-05-30 Conti Temic Microelectronic Gmbh Verfahren und vorrichtung zum erzeugen einer fahrzeugumgebungsansicht bei einem fahrzeug
DE102016225066A1 (de) 2016-12-15 2018-06-21 Conti Temic Microelectronic Gmbh Rundumsichtsystem für ein Fahrzeug
DE102017206175A1 (de) 2017-04-11 2018-10-11 Conti Temic Microelectronic Gmbh Surround-View-System für ein Fahrzeug

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102583959B1 (ko) * 2022-09-02 2023-09-27 주식회사 리트빅 3d 뷰 시점에 따른 경계선 합성영역 제어를 통한 3d svm 영상 왜곡보정 방법

Also Published As

Publication number Publication date
WO2019170202A1 (de) 2019-09-12
DE102018203590A1 (de) 2019-09-12
JP7295123B2 (ja) 2023-06-20
EP3762857A1 (de) 2021-01-13
JP2021516390A (ja) 2021-07-01
US20210004614A1 (en) 2021-01-07
CN111819571A (zh) 2020-10-23
US11410430B2 (en) 2022-08-09

Similar Documents

Publication Publication Date Title
KR20200126365A (ko) 조정된 투영면을 포함하는 서라운드뷰 시스템
US10620000B2 (en) Calibration apparatus, calibration method, and calibration program
CN104883554B (zh) 通过虚拟***器群集显示直播视频的方法和***
KR102490272B1 (ko) 차량의 주변 영역을 표시하기 위한 방법
US8446268B2 (en) System for displaying views of vehicle and its surroundings
JP5341789B2 (ja) パラメータ取得装置、パラメータ取得システム、パラメータ取得方法、及び、プログラム
EP2348279B1 (en) Road measurement device and method for measuring road
JP4893212B2 (ja) 周辺監視装置
JP5516998B2 (ja) 画像生成装置
GB2548718A (en) Virtual overlay system and method for occluded objects
JP6958163B2 (ja) 表示制御装置
KR20170118077A (ko) 차량 주변을 왜곡 없이 보여주는 방법 및 장치
CN114423646A (zh) 基于传感器融合的感知增强环绕视图
JP2021013072A (ja) 画像処理装置および画像処理方法
JP2010081245A (ja) 車両用表示装置および表示方法
JPWO2006075536A1 (ja) 車両前方画像表示装置及び方法
CN109997149A (zh) 信息处理设备、成像设备、设备控制***、移动体、信息处理方法和信息处理程序
JP2019054439A (ja) 画像処理装置
JP2005269010A (ja) 画像生成装置、画像生成プログラム、及び画像生成方法
JP2020127171A (ja) 周辺監視装置
JP6855254B2 (ja) 画像処理装置、画像処理システム、及び、画像処理方法
JPWO2019170202A5 (ko)
JP4398216B2 (ja) 情報表示装置および情報表示方法
JP4574157B2 (ja) 情報表示装置および情報表示方法
JP6481596B2 (ja) 車両用ヘッドアップディスプレイの評価支援装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
N231 Notification of change of applicant