KR102504579B1 - 차량 혼합 현실의 조건부 가용성 - Google Patents
차량 혼합 현실의 조건부 가용성 Download PDFInfo
- Publication number
- KR102504579B1 KR102504579B1 KR1020217005744A KR20217005744A KR102504579B1 KR 102504579 B1 KR102504579 B1 KR 102504579B1 KR 1020217005744 A KR1020217005744 A KR 1020217005744A KR 20217005744 A KR20217005744 A KR 20217005744A KR 102504579 B1 KR102504579 B1 KR 102504579B1
- Authority
- KR
- South Korea
- Prior art keywords
- vehicle
- preceding vehicle
- following vehicle
- following
- image
- Prior art date
Links
- 238000000034 method Methods 0.000 claims abstract description 52
- 238000001514 detection method Methods 0.000 claims abstract description 13
- 230000009471 action Effects 0.000 claims description 14
- 238000002156 mixing Methods 0.000 claims description 10
- 230000004044 response Effects 0.000 abstract description 3
- 230000006870 function Effects 0.000 description 38
- 230000008569 process Effects 0.000 description 29
- 238000004891 communication Methods 0.000 description 19
- BQCADISMDOOEFD-UHFFFAOYSA-N Silver Chemical compound [Ag] BQCADISMDOOEFD-UHFFFAOYSA-N 0.000 description 12
- 229910052709 silver Inorganic materials 0.000 description 12
- 239000004332 silver Substances 0.000 description 12
- 238000010586 diagram Methods 0.000 description 7
- 230000003213 activating effect Effects 0.000 description 6
- 230000003416 augmentation Effects 0.000 description 5
- 230000001413 cellular effect Effects 0.000 description 5
- 238000012545 processing Methods 0.000 description 5
- 230000001133 acceleration Effects 0.000 description 4
- 230000003190 augmentative effect Effects 0.000 description 4
- 101001093748 Homo sapiens Phosphatidylinositol N-acetylglucosaminyltransferase subunit P Proteins 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 206010049976 Impatience Diseases 0.000 description 2
- 208000034188 Stiff person spectrum disease Diseases 0.000 description 2
- 229920010524 Syndiotactic polystyrene Polymers 0.000 description 2
- 230000004913 activation Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 208000012112 ischiocoxopodopatellar syndrome Diseases 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000002490 spark plasma sintering Methods 0.000 description 2
- 241001465754 Metazoa Species 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 230000010267 cellular communication Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000009849 deactivation Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 231100001261 hazardous Toxicity 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/60—Editing figures and text; Combining figures or text
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
- B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
- B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
- B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
- B60R1/24—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view in front of the vehicle
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/22—Platooning, i.e. convoy of communicating vehicles
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
- B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
- B60R2300/303—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/70—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by an event-triggered choice to display a specific image among a selection of captured images
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
- B60R2300/802—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring and displaying vehicle exterior blind spot views
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Mechanical Engineering (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Traffic Control Systems (AREA)
- Image Processing (AREA)
Abstract
앞선 차량 및 뒤따르는 차량을 포함하는 혼합 현실 장면을 제공하는 방법, 장치, 및 컴퓨터 판독 가능 매체가 제시된다. 시스템은 병합된 이미지를 생성하기 위해 ⒜ 앞선 차량에 탑재된 카메라에 의해 캡처된 이미지와 ⒝ 뒤따르는 차량에 탑재된 카메라에 의해 캡처된 이미지를 병합하는 것의 결과인 일련의 혼합 현실 이미지를 뒤따르는 차량의 운전자에게 제시한다. 시스템은 앞선 차량과 뒤따르는 차량 사이의 물체의 감지를 포함할 수 있는 하나 이상의 감지된 조건에 응답하여 일련의 혼합 현실 이미지의 혼합 현실 내용을 중단하거나 줄일 수 있다.
Description
본 개시의 측면은 혼합 현실에 관한 것이고 보다 구체적으로는 차량의 운전자에게 "시스루(see-through)" 기능을 제공하는 것에 관한 것이다. 앞선 차량이 뒤따르는 차량보다 앞서있는 시나리오에서, 앞선 차량은 종종 뒤따르는 차량의 운전자의 시야를 가릴 수 있다. 이것은 안전하지 않은 상태로 이어질 수 있다. 이러한 문제를 방지하기 위한 효과적인 해결책으로서 혼합 현실이 제안되었고, 이는 앞선 차량을 통과하여 볼 수 있고 앞선 차량에 의해 가려진 물체를 보이게 하는 능력을 시뮬레이션하는 시야를 뒤따르는 차량의 운전자에게 제공한다. 그러나, 이러한 시스루 기능을 안전하고 효과적인 방식으로 제공함에 있어서는 많은 문제가 발생한다.
앞선 차량 및 뒤따르는 차량을 포함하는 혼합 현실 장면을 제공하기 위한 특정한 실시예가 설명된다. 하나의 실시예에서, 시스템은 뒤따르는 차량의 운전자에게 일련의 혼합 현실 이미지를 제시할 수 있고, 일련의 혼합 현실 이미지 중 적어도 하나의 이미지는 ⒜ 앞선 차량에 탑재된 카메라에 의해 캡처된 이미지와 ⒝ 뒤따르는 차량에 탑재된 카메라에 의해 캡처된 이미지를 병합하여 병합된 이미지를 생성한 결과이다. 병합은 뒤따르는 차량에 탑재된 카메라에 의해 캡처된 이미지의 가려진 부분을 덜 강조하는(de-emphasize) 것 - 가려진 부분은 앞선 차량에 의한 가려짐(occlusion)에 대응함 - 과, 앞선 차량에 탑재된 카메라에 의해 캡처된 이미지의 가려지지 않은 부분을 강조하는 것을 포함할 수 있다. 하나 이상의 감지된 조건에 응답하여, 시스템은 뒤따르는 차량의 운전자에게 제시되는 일련의 혼합 현실 이미지의 혼합 현실 내용을 중단하거나 줄일 수 있다. 특히, 하나 이상의 감지된 조건은 앞선 차량과 뒤따르는 차량 사이의 물체의 감지를 포함할 수 있고, 병합된 이미지에서, 물체의 뷰는 뒤따르는 차량에 탑재된 카메라에 의해 캡처된 이미지의 가려진 부분을 덜 강조하고 앞선 차량에 탑재된 카메라에 의해 캡처된 이미지의 가려지지 않은 부분을 강조한 결과로서 잠재적으로 마스킹된다.
하나의 실시예에서, 뒤따르는 차량에 탑재된 카메라에 의해 캡처된 이미지의 가려진 부분을 덜 강조하는 것과 앞선 차량에 의해 캡처된 이미지의 가려지지 않은 부분을 강조하는 것은 뒤따르는 차량에 탑재된 카메라에 의해 캡처된 이미지와 앞선 차량에 탑재된 카메라에 의해 캡처된 이미지를 블렌딩하는 것을 포함할 수 있다.
다른 실시예에서, 뒤따르는 차량에 탑재된 카메라에 의해 캡처된 이미지의 가려진 부분을 덜 강조하는 것과 앞선 차량에 의해 캡처된 이미지의 가려지지 않은 부분을 강조하는 것은 뒤따르는 차량에 탑재된 카메라에 의해 캡처된 이미지의 가려진 부분을 앞선 차량에 의해 캡처된 이미지의 가려지지 않은 부분으로 대체하는 것을 포함할 수 있다.
일련의 혼합 현실 이미지의 혼합 현실 내용을 줄이는 것은 뒤따르는 차량에 탑재된 카메라에 의해 캡처된 이미지의 가려진 부분을 강조하는 것과 앞선 차량에 탑재된 카메라에 의해 캡처된 이미지의 가려지지 않은 부분을 덜 강조하는 것을 포함할 수 있다.
또한, 하나 이상의 감지된 조건은 앞선 차량과 관련된 제동 조건의 감지를 더 포함할 수 있다. 하나 이상의 감지된 조건은 뒤따르는 차량에 의해 수행되는 적어도 하나의 관련 조치(maneuver)의 감지를 더 포함할 수 있다. 적어도 하나의 관련 조치는 추월 조치, 우회전, 보행자 무단횡단 이벤트, 또는 예상치 못한 앞선 차량 정지로부터 선택될 수 있다. 하나 이상의 감지된 조건은 앞선 차량에 탑재된 카메라 및 뒤따르는 차량에 탑재된 카메라와 관련된 부적절한 카메라 정렬의 감지를 더 포함할 수 있다. 하나 이상의 감지된 조건은 앞선 차량 후보가 뒤따르는 차량 앞에 위치하지 않는다는 결정을 더 포함할 수 있다. 마지막으로, 하나 이상의 감지된 조건은 시스루 기능을 지원하기 위한 카메라가 장착된 차량이 근처에서 발견되지 않는다는 결정을 더 포함할 수 있다.
다양한 실시예에 따르면, 일련의 혼합 현실 이미지의 혼합 현실 내용을 중단하는 것 또는 줄이는 것은 병합된 이미지에서 앞선 차량과 뒤따르는 차량 사이의 물체의 표현을 제시하는 것을 포함한다. 앞선 차량과 뒤따르는 차량 사이의 물체의 표현은 ⑴ 앞선 차량과 뒤따르는 차량 사이의 물체를 포함하는 병합된 이미지에서 영역을 정의하는 것과 ⑵ 정의된 영역에서, 앞선 차량에 의해 캡처된 이미지의 가려지지 않은 부분 대신에 앞선 차량과 뒤따르는 차량 사이의 물체의 표현을 제시하는 것에 의해 제시될 수 있다. 하나의 실시예에서, 앞선 차량과 뒤따르는 차량 사이의 물체를 포함하는 병합된 이미지에서의 영역은 앞선 차량과 뒤따르는 차량 사이의 물체의 윤곽을 따르도록 정의된다. 다른 실시예에서, 앞선 차량과 뒤따르는 차량 사이의 물체를 포함하는 병합된 이미지에서의 영역은 경계 박스로서 정의된다. 예컨대, 경계 박스는 직사각형 모양을 가질 수 있다.
본 개시의 측면이 예로서 도시된다. 첨부된 도면에서, 유사한 참조 번호는 유사한 요소를 나타낸다.
도 1은 앞선 차량을 통과하여 볼 수 있는 능력을 시뮬레이션하는 뒤따르는 차량의 운전자에게 제시된 혼합 현실 이미지를 도시한다.
도 2는 본 발명의 실시예에 따른, 앞선 차량 및 뒤따르는 차량을 포함하는 시스루 혼합 현실을 구현하기 위해 사용되는 하드웨어 구성요소의 개요를 제시한다.
도 3은 본 발명의 실시예에 따른, 앞선 차량 및 뒤따르는 차량을 포함하는 시스루 혼합 현실을 생성하기 위한 전체 프로세스에서의 스텝을 나타내는 흐름도이다.
도 4a는 앞선 차량을 통과하여 보기 위해 혼합 현실 시야에서 사용되는 잘못된 카메라 정렬이 물리적 세계를 잘못 표현할 수 있는 시나리오를 도시한다.
도 4b는 도 4a에 나타낸 혼합 현실 장면이 캡처되어 제시된 후의 실제 세계의 도로 장면 순간의 이미지이다.
도 5는 물리적 세계의 다른 잘못된 표현에서 앞선 차량과 뒤따르는 차량 사이에 물리적으로 위치한 물체가 앞선 차량을 통과하여 보기 위해 혼합 현실 시야에서 마스킹될 수 있는 시나리오를 도시한다.
도 6은 실시예에 따른, 뒤따르는 차량의 운전자에게 표시하기 위한 시스루 혼합 현실 기능을 자동으로 활성화 및 비활성화하기 위한 프로세스를 도시하는 흐름도이다.
도 7a, 도 7b, 및 도 7c는 특정한 실시예에 따른, 시스루 기능을 지원하기 위한 좋은 카메라 정렬 및 나쁜 카메라 정렬의 다양한 시나리오를 도시한다.
도 8a, 도 8b, 도 8c, 및 도 8d는 본 개시의 실시예에 따른, 앞선 차량을 통과하여 보이는 혼합 현실 시야에서 그러한 물체(들)를 보이게 하기 위한 앞선 차량과 뒤따르는 차량 사이에 위치하는 물체(들)의 표현을 도시한다.
도 9는 실시예에 따라 구현될 수 있는 전자 제어 유닛(ECU)의 예의 내부 구성요소의 블록도이다.
도 1은 앞선 차량을 통과하여 볼 수 있는 능력을 시뮬레이션하는 뒤따르는 차량의 운전자에게 제시된 혼합 현실 이미지를 도시한다.
도 2는 본 발명의 실시예에 따른, 앞선 차량 및 뒤따르는 차량을 포함하는 시스루 혼합 현실을 구현하기 위해 사용되는 하드웨어 구성요소의 개요를 제시한다.
도 3은 본 발명의 실시예에 따른, 앞선 차량 및 뒤따르는 차량을 포함하는 시스루 혼합 현실을 생성하기 위한 전체 프로세스에서의 스텝을 나타내는 흐름도이다.
도 4a는 앞선 차량을 통과하여 보기 위해 혼합 현실 시야에서 사용되는 잘못된 카메라 정렬이 물리적 세계를 잘못 표현할 수 있는 시나리오를 도시한다.
도 4b는 도 4a에 나타낸 혼합 현실 장면이 캡처되어 제시된 후의 실제 세계의 도로 장면 순간의 이미지이다.
도 5는 물리적 세계의 다른 잘못된 표현에서 앞선 차량과 뒤따르는 차량 사이에 물리적으로 위치한 물체가 앞선 차량을 통과하여 보기 위해 혼합 현실 시야에서 마스킹될 수 있는 시나리오를 도시한다.
도 6은 실시예에 따른, 뒤따르는 차량의 운전자에게 표시하기 위한 시스루 혼합 현실 기능을 자동으로 활성화 및 비활성화하기 위한 프로세스를 도시하는 흐름도이다.
도 7a, 도 7b, 및 도 7c는 특정한 실시예에 따른, 시스루 기능을 지원하기 위한 좋은 카메라 정렬 및 나쁜 카메라 정렬의 다양한 시나리오를 도시한다.
도 8a, 도 8b, 도 8c, 및 도 8d는 본 개시의 실시예에 따른, 앞선 차량을 통과하여 보이는 혼합 현실 시야에서 그러한 물체(들)를 보이게 하기 위한 앞선 차량과 뒤따르는 차량 사이에 위치하는 물체(들)의 표현을 도시한다.
도 9는 실시예에 따라 구현될 수 있는 전자 제어 유닛(ECU)의 예의 내부 구성요소의 블록도이다.
이하, 본 명세서의 일부를 형성하는 첨부된 도면에 관하여 여러 예시적인 실시예가 설명될 것이다. 본 개시의 하나 이상의 측면이 구현될 수 있는 특정한 실시예가 아래에 설명되지만, 다른 실시예가 사용될 수 있고 본 개시의 범위 또는 첨부된 청구범위의 정신을 벗어나지 않고서 다양한 수정이 이루어질 수 있다.
도 1은 앞선 차량을 통과하여 볼 수 있는 능력을 시뮬레이션하는 뒤따르는 차량의 운전자에게 제시된 혼합 현실 이미지를 도시한다. 여기서, 앞선 차량(102)은 횡단보도에 정지된다. 도 1은 앞선 차량(102) 바로 뒤에 위치하고 동일한 방향으로 배향되는 뒤따르는 차량(도시하지 않음)의 운전자의 관점으로부터의 시야를 나타낸다. 보행자(104)는 횡단보도를 건너고 있다. 그러나, 특정한 시나리오에서, 뒤따르는 차량의 운전자는 보행자(104)가 앞선 차량(102)에 의해 가려져서, 즉 시야로부터 차단되기 때문에 그들을 볼 수 없다. 이것은 잠재적으로 안전하지 않은 운전 상태를 야기한다. 예컨대, 뒤따르는 차량의 운전자가 보행자(104)가 횡단보도를 건너고 있는 것을 인식하지 못하고 참을성이 없어지면, 뒤따르는 차량의 운전자는 앞선 차량 주변에서 운전하려고 시도할 수 있고, 이는 보행자(104)와 충돌할 가능성이 있는 상황으로 이어질 수 있다. 도 1은 보행자가 시야로부터 가려지는 상황을 나타내지만, 다른 차량, 동물, 또는 다른 움직이거나 정지한 물체도 앞선 차량으로 인해 시야로부터 가려질 수 있다. 뒤따르는 차량의 시야를 가로막는 앞선 차량에 의해 초래되는 안전하지 않은 상황은 반드시 횡단보도에만 국한되지 않고 주차장, 교차로, 도로 등과 같은 다른 위치에서 발생할 수 있다.
이러한 시나리오 및 유사한 시나리오를 해결하기 위해, 앞선 차량을 "통과하여 보기" 위해 뒤따르는 차량의 운전자에게 혼합 현실 이미지(106)가 제시될 수 있다. 혼합 현실 이미지(106)는 뒤따르는 차량의 대시보드에 장착되고, 뒤따르는 차량의 앞유리에 통합되고, 뒤따르는 차량의 "헤드업" 디스플레이로서 구현되는 등의 디스플레이에 제시될 수 있다. 예컨대, 디스플레이는 액정 디스플레이(LCD), 머리 착용 디스플레이(HMD), 또는 다른 증강 현실(AR) 디스플레이일 수 있다. 혼합 현실 이미지(106)는 단일 이미지, 예컨대, 정지 화면으로서, 또는 뒤따르는 차량의 운전자에게 제시되는 비디오 스트림을 구성하는 일련의 혼합 현실 이미지의 일부로서 제시될 수 있다. 다양한 실시예에서, 혼합 현실 이미지의 생성 및 제시는 최소한의 시간 지연과 연관되어 있으므로, 비디오 스트림은 라이브 비디오 스트림으로 간주될 수 있고 뒤따르는 차량의 운전자에 의해 운전 중에 효과적인 시각 보조장치로서 사용될 수 있다.
혼합 현실 이미지(106)는 앞선 차량에 탑재된 카메라로부터 캡처된 이미지와 뒤따르는 차량에 탑재된 카메라로부터 캡처된 이미지를 병합하여 병합된 이미지를 형성함으로써 생성될 수 있다. 다양한 실시예에서, 혼합 현실 이미지(106)는 시스루 영역(108)을 포함할 수 있다. 시스루 영역(108) 외부에서는, 혼합 현실 이미지(106)는 단지 뒤따르는 차량에 탑재된 카메라에 의해 캡처된 이미지와 동일할 수 있다. 시스루 영역(108) 내에서는, 혼합 현실 이미지(106)는 뒤따르는 차량에 탑재된 카메라에 의해 캡처된 이미지의 가려진 부분을 강조하고 앞선 차량에 의해 캡처된 이미지의 가려지지 않은 부분을 덜 강조함으로써 형성될 수 있다. 뒤따르는 차량에 탑재된 카메라에 의해 캡처된 이미지의 가려진 부분은 앞선 차량에 의한 가려짐에 대응하는 이미지의 부분일 수 있다. 예컨대, 가려진 부분은 앞선 차량에 의해 점유되는 이미지에서의 영역(또는 그러한 영역의 일부)으로서 정의될 수 있다.
덜 강조하는 것 및 강조하는 것은 상이한 방식으로 수행될 수 있다. 도 1에 나타낸 실시예에서, 덜 강조하는 것 및 강조하는 것은 뒤따르는 차량에 탑재된 카메라에 의해 캡처된 이미지와 앞선 차량에 탑재된 카메라에 의해 캡처된 이미지를 블렌딩함으로써 달성된다. 이러한 이미지 블렌딩은 다양한 디지털 합성 기술을 사용하여 수행될 수 있다. 하나의 예로서, 알파 블렌딩을 사용하는 디지털 합성이 구현될 수 있다. 이미지의 상이한 부분은 상이한 가중치를 사용하여 결합될 수 있다. 또한, 결합을 위해 그라디언트가 사용될 수 있다. 예컨대, 도 1에서, 이미지의 중앙 영역은 제 1 블렌딩 팩터(예컨대, "alpha_1"로 지칭되는 상수)와 연관될 수 있고, 이미지의 외부 경계에 있는 영역은 제 2 블렌딩 팩터(예컨대, "alpha_2"로 지칭되는 상수)와 연관될 수 있다. 하나의 예로서, 블렌딩 팩터는 이미지의 중앙 영역과 외부 경계에 있는 영역 사이에서 alpha_1로부터 alpha_2까지 선형적으로 증가할 수 있다. 다른 실시예에서, 덜 강조하는 것 및 강조하는 것은 단지 뒤따르는 차량에 탑재된 카메라에 의해 캡처된 이미지의 가려진 부분을 앞선 차량에 탑재된 카메라에 의해 캡처된 이미지의 가려지지 않은 부분으로 대체하여 병합된 이미지의 시스루 영역(108)을 형성함으로써 달성된다.
도 2는 본 발명의 실시예에 따른, 앞선 차량 및 뒤따르는 차량을 포함하는 시스루 혼합 현실을 구현하기 위해 사용되는 다양한 하드웨어 구성요소의 개요를 제시한다. 여기서, 앞선 차량(202) 및 뒤따르는 차량(222)이 나타내어진다. 앞선 차량(202)은 모두가 차량 데이터 버스(210)에 연결된 하나 이상의 카메라(204), 비디오 전자 제어 유닛(ECU)(206), 및 텔레매틱스 및 글로벌 포지셔닝 시스템(GPS) ECU(208)를 포함하는 다양한 디바이스가 장착될 수 있다. 뒤따르는 차량(222)은 모두가 차량 데이터 버스(234)에 연결된 하나 이상의 카메라(224), 라이다(Light Detection and Ranging, LIDAR) 및/또는 레이더(Radio Detection and Ranging, RADAR) 감지기(226), 디스플레이(228), 비디오 ECU(230), 및 텔레매틱스 및 GPS ECU(232)를 포함하는 다양한 디바이스가 장착될 수 있다. 비디오 ECU(206) 또는 텔레매틱스 및 GPS ECU(208)와 같은 ECU는 여기서 설명되는 특정한 작업을 수행하기 위한 프로그램된 명령어를 수행하기 위한 코드를 실행하는 하나 이상의 프로세서를 포함할 수 있다. ECU는 다양한 기능을 지원하기 위해 비디오, 통신, 포지셔닝(예컨대, GPS) 구성요소와 같은 하드웨어 구성요소를 통합할 수도 있다. 예시적인 ECU에 관한 더 자세한 사항은 본 개시의 이후의 부분에서 논의되는 도 8에서 제공된다.
앞선 차량(202) 및 뒤따르는 차량(222)에 탑재된 이들 구성요소는 함께 동작하여 데이터를 통신하고 뒤따르는 차량(202)의 운전자에게 제시되는 혼합 현실 장면, 예컨대, "시스루" 비디오 스트림을 구성할 수 있다. 앞선 차량(202)에 탑재된 카메라(204)는 뒤따르는 차량(222)의 운전자에게 "시스루" 시야를 제공할 수 있어서, 그렇지 않으면 시야로부터 가려질 차량 앞의 물체가 보이게 될 수 있다. 앞선 차량(202)에서, 카메라(204)로부터의 미처리(raw) 이미지는 차량 데이터 버스(210)를 통해 비디오 ECU(206)에 전달될 수 있다. 여기서, 비디오 ECU(206)는 적절한 카메라 시야를 선택하거나 여러 카메라(204)의 시야를 함께 연결하여, 앞선 차량(202)에 의해 제공된 이미지를 형성할 수 있다. 나타낸 바와 같이, 비디오 ECU(206)는 차량 데이터 버스(210)에서 별도의 디바이스로서 구현된다. 그러나, 대안적인 실시예에서, 비디오 ECU(206)는 하나 이상의 카메라(204)의 일부이거나 텔레매틱스 및 GPS ECU(208)에 통합될 수 있다. 도 2에 나타낸 구성요소에 대해 다른 대안적인 구현도 가능하다.
앞선 차량(202)과 뒤따르는 차량(222) 사이의 연결은 앞선 차량(202)에 탑재된 텔레매틱스 및 GPS ECU(208)와 뒤따르는 차량(222)에 탑재된 텔레매틱스 및 GPS ECU(232)에 의해 제공될 수 있다. 예컨대, 앞선 차량(202)에 의해 제공된 이미지는 텔레매틱스 및 GPU ECU(208, 232) 사이에 확립된 차량 대 차량(V2V) 통신 링크를 통해 전달될 수 있다. WLAN V2V(DSRC), 셀룰러 V2V, Li-Fi 등과 같은 상이한 유형의 V2V 링크가 확립될 수 있다. 또한, 앞선 차량(202)과 뒤따르는 차량(222) 사이의 연결은 반드시 V2V 통신으로 제한되는 것은 아니다. 대안적으로 또는 추가적으로, 두 차량 사이의 연결은 차량 대 네트워크(V2N) 통신을 사용하여, 예컨대, 중간 노드를 통해 데이터를 전달하여 확립될 수 있다.
뒤따르는 차량(222)에서, 유사한 구성요소(예컨대, 하나 이상의 카메라(224), 비디오 ECU(230), 텔레매틱스 및 GPS ECU(232) 등)와 LIDAR 및/또는 RADAR 감지기(226) 및 디스플레이(228)를 포함하는 추가 구성요소가 배치될 수 있다. 뒤따르는 차량(222)에 탑재된 LIDAR 및/또는 RADAR 감지기(226)는 뒤따르는 차량(222)에 대한 앞선 차량(202)의 위치의 정확한 결정을 가능하게 한다. 상대적 위치 결정은 여러 방식에서 유용할 수 있다. 예컨대, 앞선 차량(202)의 정확한 상대 위치는 앞선 차량이 V2V 통신을 확립할 올바른 상대인 것을 확인하기 위해 사용될 수 있다. 앞선 차량(202)의 정확한 상대 위치는 적절한 상황에서 "시스루" 기능을 활성화 및 비활성화하기 위해 사용될 수도 있을 뿐만 아니라, 시스루 비디오 스트림을 형성하기 위해 두 차량으로부터의 이미지가 중첩되는 방식을 제어하기 위해 사용될 수도 있다. 뒤따르는 차량(222)에 탑재된 비디오 ECU(230)는 앞선 차량(202)으로부터의 이미지와 뒤따르는 차량(222)으로부터의 이미지의 병합을 수행하여, 시스루 비디오 스트림을 생성할 수 있다. 마지막으로, 시스루 비디오 스트림은 디스플레이(228)에서 뒤따르는 차량의 운전자에게 제시된다.
도 3은 본 발명의 실시예에 따른, 앞선 차량 및 뒤따르는 차량을 포함하는 시스루 혼합 현실을 생성하기 위한 전체 프로세스에서의 스텝을 나타내는 흐름도이다. 여기서, 프로세스(300)는 스텝 302 내지 스텝 310을 포함한다. 스텝 302에서, 앞선 차량은 카메라 가용성 브로드캐스트를 수행한다. 이것은 앞선 차량이 "시스루" 기능을 지원하기 위해 이용할 수 있는 카메라를 소유하고 있는 것을 알리는 브로드캐스트일 수 있다. 브로드캐스트 메시지의 내용은 시간, GPS 위치, 속도, 이동 방향, 차량의 물리적 치수(예컨대, 길이, 너비, 높이), 카메라 정보(예컨대, X, Y, X 장착 위치, 방향, 및 시야 정보) 등을 포함할 수 있다. 브로드캐스트는 WLAN(DSRC), 셀룰러, Li-Fi, 또는 다른 V2V 통신 채널과 같은 하나 이상의 링크를 사용하여 브로드캐스트 통신의 범위 내에 있는 다른 차량에 송신될 것이다. 대안적으로 또는 추가적으로, 앞선 차량은 4G 또는 5G 셀룰러 네트워크 연결과 같은 무선 링크를 사용하여 레지스트리, 예컨대, 클라우드 서버에 위에 나열된 것과 같은 데이터를 포함하는 카메라 가용성을 등록할 수 있다. 레지스트리는 차량 위치 및 카메라 가용성 정보를 집계하여, 직접 V2V 통신 범위에 있지 않은 차량과 같은 다른 차량에 의해 데이터가 검색되게 할 것이다. 스텝 302는 앞선 차량에 탑재된 ECU, 예컨대, 비디오 ECU 및/또는 텔레매틱스 및 GPS ECU에 의해 수행될 수 있다.
스텝 304에서, 뒤따르는 차량은 앞선 차량의 카메라 가용성을 감지할 수 있다. 예컨대, 뒤따르는 차량은 "시스루" 기능을 지원하기 위해 이용할 수 있는 모든 근처의 차량 카메라 시스템에 대해, 이용할 수 있는 데이터 소스, 예컨대, 레지스트리를 폴링할 수 있다. 이는 뒤따르는 차량의 현재 GPS 좌표에 기초하여 클라우드로부터 수신된 목록이거나, 뒤따르는 차량에 의해 자신의 브로드캐스트가 수신된 근처의 차량의 컴파일된 목록일 수 있다. 앞서 언급한 바와 같이, 이러한 브로드캐스트는 DSRC, 셀룰러, Li-Fi, 또는 다른 V2V 통신 채널과 같은 링크를 통해 수신될 수 있다. 다음으로, 뒤따르는 차량은 자신의 GPS 위치 및 방향을 카메라 가용성을 나타낸 근처의 차량의 GPS 위치 및 방향과 비교할 수 있다. 나침반 방향, 상대 방위, 및 거리와 같은 측정치의 차이를 계산함으로써, 이용할 수 있는 카메라를 갖는 근처의 차량의 목록이 잠재적으로 뒤따르는 차량 앞에 있을 수 있는 카메라를 갖는 후보 차량의 보다 제한된 목록으로 필터링될 수 있다. 다음으로, 뒤따르는 차량에 탑재된 LIDAR 및/또는 RADAR 감지기로부터의 판독치를 사용하여 앞선 차량이라고 가정된 차량이 실제로 뒤따르는 차량 바로 앞에 있는 것을 선택하고 확인할 수 있다. 예컨대, 이용할 수 있는 카메라를 갖는 후보 차량이 100미터 떨어져 있고 20mph로 이동하고 있지만, 뒤따르는 차량의 LIDAR 및/또는 RADAR 감지기가 뒤따르는 차량 앞에 있는 차량이 실제로 50미터 떨어져 있고 30mph로 이동하고 있는 것을 나타내는 경우, 후보 차량은 잠재적인 앞선 차량으로서 거부될 수 있다. 다른 실시예에서, 선택을 검증하기 위해 후보 차량의 번호판 번호가 뒤따르는 차량 앞에 있는 차량의 번호판과 비교될 수 있다. 스텝 304는 뒤따르는 차량에 탑재된 ECU, 예컨대, 비디오 ECU 및/또는 텔레매틱스 및 GPS ECU에 의해 수행될 수 있다.
스텝 306에서, 뒤따르는 차량은 앞선 차량의 비디오 스트림의 송신을 요청할 수 있고, 앞선 차량은 요청된 비디오 스트림을 송신할 수 있다. 뒤따르는 차량이 실제로 이용할 수 있는 카메라를 갖는 앞선 차량을 뒤따르고 있다고 결정하면, 뒤따르는 차량은 앞선 차량의 비디오 스트림에 대한 요청을 보낼 수 있다. 하나의 실시예에서, 뒤따르는 차량은 V2V 기반의 비디오 요청을 앞선 차량에 직접 보낸다. 이는 뒤따르는 차량의 텔레매틱스 및 GPS ECU로부터 앞선 차량의 텔레매틱스 및 GPS ECU에 보내어진 요청일 수 있다. 다른 실시예에서, 뒤따르는 차량은 클라우드 기반의 비디오 요청을 레지스트리, 예컨대, 서버에 보낸다. IP 주소와 같은 비디오 스트림 요청 방법에 관한 데이터는 앞선 차량의 GPS 기록과 함께 클라우드에 저장될 수 있다. 다음으로, 뒤따르는 차량은 뒤따르는 거리, 방향, 원하는 카메라 시야, 선호하는 통신 프로토콜, 신호 강도에 따른 협상된 비디오 품질 등과 같은 비디오 요청에 대한 상황 정보를 앞선 차량에 제공할 수 있다. 이에 응답하여, 앞선 차량은 요청된 비디오 스트림을 뒤따르는 차량에 송신할 수 있다. 앞선 차량은 뒤따르는 차량에 보내어지는 비디오 스트림을 커스터마이즈하기 위해, 뒤따르는 차량에 의해 제공된 상황 정보에 기초하여 그렇게 할 수 있다. 앞선 차량은 이용할 수 있는 통신 대역폭 및 신호 강도와 같은 요인에 기초하여 송신을 위한 비디오 품질 및 압축률을 조정할 수도 있다. 또한, 앞선 차량은 뒤따르는 차량의 뒤따르는 거리와 같은 정보에 기초하여, 뒤따르는 차량의 요구에 더 잘 부합하도록 비디오 스트림 시야를 (예컨대, 여러 대의 카메라를 사용하여) 확장하거나 크롭할 수 있다. 예컨대, 뒤따르는 차량이 매우 가까우면, 앞선 차량은 사각지대를 없애기 위해 더 넓은 시야를 필요로 할 수 있다. 따라서, 앞선 차량은 여러 전방 및 측면 카메라로부터의 시야를 결합하여 뒤따르는 차량을 위한 커스터마이즈된 비디오 스트림을 생성하기로 결정할 수 있다. 다른 예로서, 관심 영역이 전방 방향의 좁은 시야일 뿐이도록, 뒤따르는 차량이 상대적으로 먼 경우, 앞선 차량은 뒤따르는 차량의 요구를 수용하기 위해, 더 높은 해상도 또는 비트 레이트로 더 좁은 시야의 비디오 스트림을 제공함으로써 응답할 수 있다. 이러한 방식으로, 앞선 차량은 뒤따르는 차량에 대한 적절한 비디오 스트림을 제공함으로써 요청에 응답할 수 있다. 뒤따르는 차량은 앞선 차량의 비디오 스트림을 수신할 수 있다. 앞선 차량의 비디오 스트림을 요청하고 비디오 스트림을 수신하는 것과 같은 스텝 306의 특정한 부분은 뒤따르는 차량에 탑재된 ECU, 예컨대, 비디오 ECU 및/또는 텔레매틱스 및 GPS ECU에 의해 수행될 수 있다. 요청에 응답하고, 앞선 차량의 비디오 스트림을 생성하고, 앞선 차량의 비디오 스트림을 보내는 것과 같은 스텝 306의 다른 부분은 앞선 차량에 탑재된 ECU, 예컨대, 비디오 ECU 및/또는 텔레매틱스 및 GPS ECU에 의해 수행될 수 있다.
스텝 308에서, 앞선 차량 및 뒤따르는 차량의 비디오 스트림이 병합되어 "시스루" 비디오 스트림을 형성한다. 앞선 차량의 비디오 스트림에서의 각 이미지는 뒤따르는 차량의 비디오 스트림으로부터의 대응하는 이미지에 오버레이되어, 앞선 차량과 뒤따르는 차량에서 보이는 현실을 혼합하는 "시스루" 비디오 스트림을 형성하는 일련의 병합된 이미지를 생성할 수 있다. 앞서 논의된 바와 같이, 디지털 합성과 같은 이미지를 블렌딩하기 위한 기술도 특정한 실시예에서 사용될 수 있다. 앞선 차량으로부터의 제 1 이미지와 뒤따르는 차량으로부터의 제 2 이미지의 병합 또는 연결은 특징이 적절하게 정렬될 수 있도록 제 1 및 제 2 이미지를 적절하게 이동하는 것, 크기를 조정하는 것, 및/또는 왜곡하는 것을 포함할 수 있다. 이 프로세스는 알려진 앞선 차량 및 뒤따르는 차량의 카메라 정보, 두 차량에 대한 알려진 GPS 정보, 및 앞선 차량의 위치에 관한 뒤따르는 차량의 LIDAR 및/또는 RADAR 정보와 같은 차량 및 카메라 위치와 방향 정보를 고려할 수 있다. 스텝 308은 뒤따르는 차량에 탑재된 ECU, 예컨대, 비디오 ECU 및/또는 텔레매틱스 및 GPS ECU에 의해 수행될 수 있다.
스텝 310에서, "시스루" 비디오 스트림이 뒤따르는 차량의 운전자에게 표시된다. 결과적인 혼합 현실 비디오 스트림은 뒤따르는 차량의 운전자의 관점과 일치하는 시야를 제공한다. 병합된 비디오 스트림은 LCD, HUD, 또는 다른 증강 현실(AR) 디스플레이와 같은 사용자 인터페이스에서 뒤따르는 차량의 운전자에게 표시될 수 있다. 혼합 현실 시야의 묘사는 상이한 방식으로 구현될 수 있다. 하나의 예에서, 앞선 차량은 뒤따르는 차량의 운전자에게 제시된 혼합 현실 장면으로부터 완전히 "사라질" 수 있다. 다른 예에서, 앞선 차량은 뒤따르는 차량의 운전자에게 제시된 혼합 현실 장면에서 부분적으로 투명한 물체로서 나타날 수 있다. 다른 예에서, 앞선 차량은 뒤따르는 차량의 운전자에게 제시된 혼합 현실 장면에서 윤곽으로서만 나타날 수 있다. 또 다른 예에서, 동적 비디오 시점 전환을 사용하여, 혼합 현실 장면은 앞선 차량을 "줌 인(zoom in)"하거나 앞선 차량을 "통과하여 날아가는" 것처럼 보일 수 있고, 이는 보는 사람(뒤따르는 차량의 운전자)에게 뒤따르는 차량의 관점으로부터 앞선 차량의 관점으로 관점이 이동한 느낌을 준다. 스텝 310은 뒤따르는 차량에 탑재된 ECU, 예컨대, 비디오 ECU 및/또는 텔레매틱스 및 GPS ECU에 의해 수행될 수 있다.
도 4a는 앞선 차량을 통과하여 보기 위해 혼합 현실 시야에서 사용되는 나쁜 카메라 정렬이 실제 세계를 잘못 표현할 수 있는 시나리오를 도시한다. 도 4a는 뒤따르는 차량의 관점으로부터 본 혼합 현실 장면을 제시한다. 장면에서, 앞선 차량(402)이 교차로에서 좌회전을 하고 있다. 두 사람의 보행자가 앞선 차량(402) 앞의 교차로의 코너의 제 1 위치(404)에 서 있다. 앞선 차량(402)의 회전 조치으로 인해, 앞선 차량에 탑재된 카메라와 뒤따르는 차량에 탑재된 카메라가 극단적으로 정렬에서 벗어났다. 따라서, 앞선 차량의 카메라로부터 촬영된 이미지는 뒤따르는 차량의 카메라로부터의 대응하는 이미지와 적절히 병합 또는 연결될 수 없다. 앞선 차량과 뒤따르는 차량에 탑재된 카메라로부터의 이미지의 강제 병합은 혼합 현실 장면 내의 위치(406)에 있는 동일한 보행자의 사본, 즉, "이중 이미지"를 묘사하는 병합된 이미지를 초래할 수 있다. 병합된 이미지는 실제 세계에 실제로 존재하는 것(즉, 두 사람의 보행자)보다 더 많은 보행자(즉, 네 사람의 보행자)를 보여주기 때문에, 현실의 잘못된 표현이다.
다른 예로서, 동일한 오정렬 문제는 도 4a의 병합된 이미지가 실제 세계 도로 장면에서의 관련 차량을 보이지 않게 하고 잘못 배치하게 하여, 뒤따르는 운전자에게 잠재적인 안전 위험을 생성한다. 여기서, 병합된 이미지의 위치(408)에 은색 자동차의 고스트 이미지가 나타난다. 은색 자동차는 실제로 위치(408)가 아닌 실제 세계에 존재한다. 대신, 은색 자동차는 실제로 앞선 차량 앞에 위치하지만 도 4a에서 앞선 차량에 의해 시야로부터 가려진다. 사실, 은색 자동차는 앞선 차량을 마주보고 있고 좌회전을 시도하고 있다. 그러나, 앞선 차량에 탑재된 카메라와 뒤따르는 차량에 탑재된 카메라 사이의 오정렬 때문에, "시스루" 혼합 현실 장면의 병합된 이미지는 위치(408)에서 은색 자동차의 고스트 이미지를 생성한다. 첫째, 고스트 이미지는 은색 자동차를 잘못된 위치, 즉, 위치(408)에 제시하는데, 왜냐하면 카메라의 오정렬의 심각성이 합병 전에 두 카메라로부터의 이미지를 적절하게 이동하는 것을 불가능하게 하기 때문이다. 적절한 정렬이 없는 강제 병합은 은색 자동차의 고스트 이미지가 장면 내의 잘못된 위치에 나타나게 한다. 둘째, 은색 자동차를 포함하는 앞선 차량에 의해 캡처된 이미지의 부분은 이 경우에는 앞선 차량에 의해 점유된 이미지의 부분인 "시스루" 영역 밖에 있기 때문에 병합 알고리즘이 덜 강조하였으므로 고스트 이미지는 희미하게 보인다. 따라서, 은색 자동차의 희미하고 잘못 배치된 고스트 이미지가 위치(408)에 나타난다. 이는 뒤따르는 차량의 운전자에게 제시되어서는 안 되는 현실의 잘못된 표현이다.
도 4b는 도 4a에 나타낸 혼합 현실 장면이 캡처되고 제시된 후의 실제 세계 도로 장면 순간의 이미지이다. 도 4b에서 볼 수 있듯이, 은색 자동차는 실제로 앞선 차량을 마주보고 있고 좌회전을 시도하고 있다. 도 4b는 은색 자동차가 실제 세계에서 위치(410)에 있는 것을 나타낸다. 이는 도 4a에 나타낸 혼합 현실 장면이 은색 자동차의 존재와 위치를 모두 잘못 표현하였음을 분명히 보여준다 - 실제로 도 4a에 의해 묘사된 장면의 위치(408)에는 자동차가 존재하지 않았다. 따라서, 도 4a에 나타낸 혼합 현실 장면을 뒤따르는 차량의 운전자에게 제시하면 방지되어야 할 위험한 잘못된 표현이 생성된다.
도 5는 앞선 차량과 뒤따르는 차량 사이에 물리적으로 위치한 물체가 물리적 세계의 다른 잘못된 표현에서 앞선 차량을 통과하여 보기 위해 혼합 현실 시야에서 마스킹될 수 있는 시나리오를 도시한다. 도 5는 뒤따르는 차량의 관점으로부터 본 혼합 현실 장면을 제시한다. 장면에서, 앞선 차량(502)은 가시적인 윤곽(녹색)에 의해 표현된다. 그러나, 시스루 기능이 활성화되기 때문에, 앞선 차량은 앞선 차량의 앞쪽에 있는 트롤리 카(504)와 같은 물체를 나타내기 위해 장면으로부터 "사라졌다". 트롤리 카(504)의 이미지는 앞선 차량(502)에 탑재된 카메라에 의해 캡처되고 뒤따르는 차량에 의해 캡처된 이미지와 병합된다. 여기서, 보행자(506)는 앞선 차량(502)과 뒤따르는 차량 사이에 물리적으로 위치한다. 그러나, 도 5에 나타낸 바와 같이, 뒤따르는 차량의 운전자에게 제시된 병합된 이미지는 앞선 차량(502)을 "지우는" 과정에서 보행자(506)도 효과적으로 "지운다". 이는 ⑴ 뒤따르는 차량의 카메라에 의해 캡처된 이미지의 부분이 덜 강조되고, ⑵ 앞선 차량(502)의 카메라에 의해 캡처된 이미지의 대응하는 부분이 강조되고, ⑶ 이미지의 두 부분이 오버레이되는, 병합 과정의 결과로서 발생할 수 있다. 도 5에 나타낸 병합된 이미지에 의존하여, 뒤따르는 차량의 운전자는 앞선 차량(502)과 뒤따르는 차량 사이에 아무것도 없다고 잘못 판단할 수 있다. 정지할 이유가 없는 경우, 뒤따르는 차량의 운전자는 앞으로 이동하여 보행자(506)와 충돌할 수 있다. 따라서, 병합된 이미지는 현실에 대한 또 다른 위험한 잘못된 표현을 생성한다.
도 6은 실시예에 따른, 뒤따르는 차량의 운전자에게 표시하기 위한 "시스루" 혼합 현실 기능을 자동으로 활성화 및 비활성화하기 위한 프로세스(600)를 예시하는 흐름도이다. 앞서 설명한 바와 같이, 뒤따르는 차량의 운전자의 안전을 향상시키기 위해 시스루 기능이 유익할 수 있는 특정한 상황이 있다. 그러나, "시스루" 기능이 현실을 잘못 표현하고 실제로 위험해질 수 있는 상황도 있다. 따라서, 프로세스(600)에 제시된 것과 같은 기술은, 특정한 조건의 감지에 기초하여, 자동으로, 뒤따르는 차량의 운전자에게 유익할 때 시스루 기능을 활성화하거나 유익하지 않을 때 기능을 비활성화할 수 있다.
스텝 602에서, "시스루" 기능 제공을 지원하기 위해 근처의 카메라를 이용할 수 있는지 여부를 결정하기 위한 검사가 수행된다. 앞서 논의한 바와 같이, 이는 ⑴ 시스루 기능을 지원하기 위해 이용할 수 있는 카메라(들)를 갖는 것을 알리는 브로드캐스트 메시지를 앞선 차량으로부터 직접 수신하는 것 및/또는 ⑵ 이러한 기능을 지원하기 위한 카메라(들)를 갖는 근처의 차량의 레지스트리로부터, 예컨대, 클라우드 서버로부터 기록의 목록을 수신하는 것을 포함하는 다양한 방식으로 뒤따르는 차량에 의해 수행될 수 있다. 카메라 가용성 메시지 또는 기록은 앞선 차량 후보가 뒤따르는 차량에 대한 적절한 앞선 차량임을 확인하는 데 유용한 데이터뿐만 아니라 시스루 기능이 활성화되어야 하는지 비활성화되어야 하는지 여부를 결정하는 데 유용한 데이터도 포함할 수 있다. 이러한 데이터는, 예컨대, 이하를 포함할 수 있다.
시스루 기능을 지원하는 카메라가 장착된 차량이 근처에서 발견되지 않으면, 프로세스(600)는 스텝 614로 진행하여 기능을 자동으로 비활성화한다. 그렇지 않으면, 프로세스(600)는 후속 확인 스텝으로 진행한다.
스텝 604에서, 앞선 차량 후보의 위치 및 방향이 앞선 차량이 실제로 뒤따르는 차량 바로 앞의 차량임을 나타내는지 여부를 결정하기 위해 검사가 수행된다. 하나의 예로서, 검사는, 앞선 차량 후보가 뒤따르는 차량 앞에 있다는 신뢰의 수준을 얻기 위해 허용할 수 있는 공차 한계 내에서, (예컨대, GPS 판독치로부터의) 뒤따르는 차량으로부터 앞선 차량 후보까지의 상대적 방위가 (예컨대, 마찬가지로 GPS 판독치로부터의) 뒤따르는 차량의 이동의 방향과 일치하는지 여부를 평가하는 것을 포함할 수 있다. 다른 예로서, 검사는 앞선 차량 후보가 뒤따르는 차량에 탑재된 전방 센서(예컨대, LIDAR, RADAR, 및/또는 카메라(들))에 의해 감지되는지 여부를 결정하는 것을 포함할 수 있다. 다른 예로서, 검사는 GPS 위치로부터 계산된 앞선 차량 후보와 뒤따르는 차량 사이의 거리를 뒤따르는 차량에 탑재된 전방 센서(예컨대, LIDAR, RADAR, 및/또는 카메라(들))로부터 계산된 앞선 차량 후보와 뒤따르는 차량 사이의 거리와 비교하는 것을 포함할 수 있다. 비교는 이러한 거리 사이의 차이가 허용할 수 있는 공차 한계 내에 있는지 여부를 평가할 수 있다. 다른 예로서, 검사는 앞선 차량 후보에 의해 보고된 속도를 뒤따르는 차량에 탑재된 전방 센서를 사용하여 감지된 앞선 차량 후보의 속도와 비교하는 것을 포함할 수 있고, 비교는 이러한 속도 사이의 차이가 허용할 수 있는 공차 한계 내에 있는지 여부를 평가할 수 있다. 또 다른 예로서, 검사는 앞선 차량 후보와 뒤따르는 차량이 시간 경과에 따른 GPS 추적에 기초하여 결정된 동일한 도로의 차선에서 이동하고 있는지 여부를 평가하는 것을 포함할 수 있다. 스텝 604의 결과로서, 앞선 차량 후보의 위치 및 방향이 앞선 차량 후보가 뒤따르는 차량 바로 앞의 차량이 아니라는 것을 나타내면, 프로세스(600)는 스텝 614로 진행하여 자동으로 시스로 기능을 비활성화한다. 그렇지 않으면, 프로세스(600)는 후속 검사 스텝으로 진행한다.
스텝 606에서, 앞선 차량에 탑재된 카메라(들)와 뒤따르는 차량에 탑재된 카메라(들)가 정렬되어 있는지 여부를 결정하기 위해 검사가 수행된다. 여기서, 적절한 정렬을 위해서 카메라가 정확히 동일한 방향을 가리키거나 두 차량이 완벽하게 정렬되어야 할 필요는 없다. 오히려, 정렬된다는 것은 카메라가 위치, 각도, 및 시야의 관점에서 허용할 수 있는 상대 방향의 범위 내에 있다는 것을 의미할 수 있다. 이러한 맥락에서의 카메라의 적절한 정렬은 이후에 논의되는 도 7a, 도 7b, 및 도 7c와 관련하여 더 자세히 설명된다. 예컨대, 스텝 606에서, 뒤따르는 차량은 ⑴ (예컨대, GPS 판독치로부터의) 차량 방향 및 상대적 방위, ⑵ (예컨대, LIDAR 및/또는 RADAR와 같은 전방 센서에 의해 측정된) 앞선 차량 거리, 및 ⑶ (예컨대, 앞선 차량으로부터 또는 클라우드 기반의 서버와 같은 레지스트리로부터 V2V 브로드캐스트에 의해 제공된) 카메라 정보와 같은 정보를 사용하여, 시스루 기능을 지원하기 위해, 차량의 위치와 그 차량의 카메라의 각 시야의 중첩을 고려하여, 앞선 차량 및 뒤따르는 차량의 카메라가 정렬되었는지 여부를 결정한다. 또한, 뒤따르는 차량도, 앞선 차량 및 뒤따르는 차량의 각 카메라가 정렬에서 벗어나기 직전인지 여부를 보다 신속하게 예측하기 위해, 앞선 차량의 조향각에 액세스할 수 있다. 이는 시스템이 시스루 기능을 더 빠르게 활성화 또는 비활성화하게 할 수 있다. 스텝 606의 결과로서, 카메라 정렬이 부적절하거나 부적절해지려고 하는 경우, 프로세스(600)는 스텝 614로 진행하여 자동으로 시스루 기능을 비활성화한다. 그렇지 않으면, 프로세스(600)는 후속 검사 스텝으로 진행한다.
스텝 608에서, 다양한 관련 차량 조치가 감지된다. 시스루 기능은 이러한 특정한 차량 조치에 유용할 수 있다. 따라서, 아래에 제공된 포괄적이지 않은 목록에서 확인되는 관련 조치 중 하나가 감지되면, 시스템은 시스루 기능을 활성화하기 위해 프로세스를 진행시킬 수 있다.
ECU와 같은 장비 및 카메라, LIDAR, 및/또는 RADAR와 같은 센서를 사용하여 뒤따르는 차량에 의해 다양한 관련 차량 조치가 감지될 수 있다. 컴퓨터 비전/머신 러닝 기술도 채용될 수 있다. 다른 실시예에서, 차량은 조치(예컨대, 추월 등)을 수행하려는 의도에 대해 운전자로부터 입력을 수신할 수 있다. 스텝 608의 결과로서, 관련 차량 조치가 감지되지 않으면, 프로세스(600)는 스텝 614로 진행하여 자동으로 투시 기능을 비활성화한다. 그렇지 않으면, 프로세스(600)는 후속 검사 스텝으로 진행한다.
스텝 610에서, 물체가 앞선 차량과 뒤따르는 차량 사이에 왔는지 여부를 결정하기 위해 검사가 수행된다. 이러한 물체는 시스루 기능에 의해 잠재적으로 마스킹될 수 있으므로 앞서 도 5와 관련하여 도시 및 논의된(또한 도 8a 내지 도 8d와 관련하여 논의된) 것처럼 위험한 상태를 생성할 수 있다. 시스루 기능은 앞선 차량과 뒤따르는 차량 사이에 위치하는 물체, 예컨대, 보행자를 "지움"으로써 이러한 상황에서 현실을 잘못 표현할 수 있다. 따라서, 뒤따르는 차량은, 예컨대, 카메라(들), LIDAR, 및/또는 RADAR 감지기와 같은 센서를 사용함으로써 앞선 차량과 뒤따르는 차량 사이의 공간을 모니터링할 수 있다. 물체가 감지되거나 새로운 물체가 차량 사이의 공간으로 이동한 경우, 프로세스는 스텝 614로 진행하여 안전을 개선하기 위해 시스루 기능을 자동으로 비활성화한다. 그렇지 않으면, 프로세스(600)는 후속 검사 스텝으로 진행한다.
스텝 612에서, 앞선 차량이 제동하고 있는지를 결정하기 위해 검사가 수행된다. 도 5와 관련하여 앞서 논의된 바와 같이, 시스루 기능은 앞선 차량 앞의 장면의 시야를 제공하기 위해 앞선 차량을 "지울" 수도 있다. 그러나, 앞선 차량이 제동하고 있는 경우에 그렇게 하는 것은 안전하지 않을 수 있다. 이러한 시나리오에서, 뒤따르는 차량의 운전자는 앞선 차량이 제동하고 있다는 사실을 경고받아야 한다. 앞선 차량을 "지우는" 것은 안전하지 않을 수 있다. 시스루 혼합 현실 이미지(예컨대, 도 5)에 의존하여, 뒤따르는 차량의 운전자는 앞선 차량의 제동등이 활성화되는 것 또는 앞선 차량의 이미지가 빠르게 가까워지는 것과 같은 앞선 차량이 제동하고 있음을 나타내는 시각적 단서를 빼앗길 수 있다. 따라서, 앞선 차량이 제동하고 있는 경우, 시스루 기능을 비활성화하는 것이 더 안전할 수 있다. 다양한 실시예에 따르면, 앞선 차량이 빠르게 제동하고 있는지 여부를 결정하는 다양한 방법이 있을 수 있고, 이는 개별적으로 또는 결합하여 사용될 수 있다.
스텝 612의 결과로서, 앞선 차량이 제동하고 있는 것으로 결정되면, 프로세스는 스텝 614로 진행하여 자동으로 시스루 기능을 비활성화한다. 그렇지 않으면, 프로세스(600)는 스텝 616으로 진행하여 시스루 기능을 자동으로 활성화한다.
도 6에 명시적으로 나타내지는 않았지만, 프로세스(600)는 나열된 조건을 반복적으로 검사하여 시스루 기능을 자동으로 활성화 또는 비활성화하기 위해 루프에서 동작될 수 있다. 예컨대, 기존 스텝 614에서, 프로세스(600)는 스텝 602로 돌아가서 조건을 검사하기 위한 다양한 스텝을 반복할 수 있다. 유사하게, 기존의 스텝 616에서, 프로세스(600)는 스텝 602로 돌아가서 조건을 검사하기 위한 다양한 스텝을 반복할 수 있다. 프로세스(600)는 이러한 방식으로 루프에서 반복적으로 수행될 수 있다. 프로세스(600)에서의 위에서 설명된 스텝은 적어도 하나의 실시 예에 따라, 뒤따르는 차량에 탑재된 장비에 의해 수행될 수 있다. 예컨대, 스텝 602 내지 스텝 616은 뒤따르는 차량에 탑재된 ECU, 예컨대, 비디오 ECU 및/또는 텔레매틱스 및 GPS ECU에 의해 수행될 수 있다.
용어 "활성화" 및 "비활성화"는 여기서 넓은 의미로 사용된다. 예컨대, 시스루 기능을 비활성화하는 것은 앞선 차량과 뒤따르는 차량에 의해 캡처된 이미지의 병합을 중단하여, 뒤따르는 차량에 의해 캡처된 이미지만 제시하는 것을 포함할 수 있다. 대안적으로, 시스루 기능을 비활성화하는 것은 제시된 이미지의 혼합 현실 내용을 줄이는 것을 포함할 수 있다. 제시된 이미지는, 앞선 차량에 의해 캡처된 이미지에 의한 기여를 덜 강조하여, 여전히 병합될 수 있다. 예컨대, 앞선 차량의 카메라로부터의 이미지의 부분이 덜 강조될 수 있고, 뒤따르는 차량의 카메라로부터의 이미지의 부분이 강조될 수 있고, 두 이미지 부분이 블렌딩되어 병합된 이미지를 생성할 수 있다. 이러한 병합된 이미지(들)의 제시는 시스루 기능을 "비활성화"하는 것을 구성할 수 있는데, 왜냐하면 앞선 차량 앞의 시야가 덜 강조되었기 때문이다. 유사하게, 시스루 기능을 활성화하는 것은 뒤따르는 차량이 보는 시야의 부분이 앞선 차량이 보는 시야의 부분으로 완전히 대체되는 병합된 이미지를 제시하는 것을 포함할 수 있다. 대안적으로, 시스루 기능을 활성화하는 것은 앞선 차량에 의해 캡처된 이미지의 기여를 강조하기 위해 제시된 이미지의 혼합 현실 내용을 증폭하는 것을 포함할 수 있다. 예컨대, 앞선 차량의 카메라로부터의 이미지의 부분이 강조될 수 있고, 뒤따르는 차량의 카메라로부터의 이미지의 부분이 덜 강조될 수 있고, 두 이미지 부분이 블렌딩되어 병합된 이미지를 생성할 수 있다. 이러한 병합된 이미지(들)의 제시는 시스루 기능을 "활성화"하는 것을 구성할 수 있는데, 왜냐하면 앞선 차량 앞의 시야가 강조되었기 때문이다.
도 7a, 도 7b, 및 도 7c는 특정한 실시예에 따른, 시스루 기능을 지원하기 위한 좋은 카메라 정렬 및 나쁜 카메라 정렬의 다양한 시나리오를 도시한다. 앞서 논의한 바와 같이, 앞선 차량에 탑재된 카메라(들)와 뒤따르는 차량에 탑재된 카메라(들)의 적절한 정렬은 시스루 기능을 활성화 또는 비활성화하는 데 사용되는 조건일 수 있다. 적절한 정렬은 반드시 카메라가 정확히 동일한 방향을 가리켜야 하는 것은 아니다. 오히려, 정렬된다는 것은 카메라가 그 위치, 각도, 및 시야의 관점에서 허용할 수 있는 상대 방향의 범위 내에 있다는 것을 의미할 수 있다. 적어도 하나의 실시예에 따르면, 뒤따르는 차량의 관점으로부터, 앞선 차량의 존재에 의해 정의된 가려짐(occlusion)의 화각이 앞선 차량의 카메라의 화각과 완전히 중첩될 때, 적절한 카메라 정렬이 달성될 수 있다. 이러한 조건은 병합된 이미지에서 완전한 병합 영역이 형성되게 한다. 예를 통한 추가 설명이 아래에 제공된다.
도 7a는 하나의 실시예에 따른, 좋은 카메라 정렬의 예를 나타낸다. 뒤따르는 차량의 관점으로부터, 가려짐의 화각(702)이 앞선 차량에 의해 가려지는 각도 범위로서 정의된다. 앞선 차량에 탑재된 카메라의 화각(704) 및 뒤따르는 차량에 탑재된 카메라의 화각(706)도 나타내어진다. 여기서, 가려짐의 화각(702)은 앞선 차량의 카메라의 화각(704)과 완전히 중첩된다. 따라서, 완전히 병합된 영역으로 혼합 현실 이미지가 구성될 수 있다. 다시 말해서, 뒤따르는 차량의 카메라에 의해 캡처된 이미지의 가려진 부분은 앞선 차량의 카메라에 의해 캡처된 이미지의 가려지지 않은 부분과 완전히 중첩될 수 있다(그리고 잠재적으로 대체될 수 있다). 따라서, 본 실시예에 따라, 시스루 기능을 지원하기 위한 적절한 카메라 정렬이 달성된다.
도 7b는 하나의 실시예에 따른, 좋은 카메라 정렬의 다른 예를 나타낸다. 여기서는, 도 7a와 달리, 앞선 차량은 뒤따르는 차량의 바로 앞에 있지 않다. 대신, 앞선 차량은 뒤따르는 차량에 대해 약간 오프셋된다. 그럼에도 불구하고, 이러한 오프셋 위치에도 불구하고, 가려짐의 화각(702)은 앞선 차량의 카메라의 화각(704)과 완전히 중첩된다. 혼합 현실 이미지는 완전히 병합된 영역으로 구성될 수 있다. 따라서, 본 실시예에 따라, 시스루 기능을 지원하기 위한 적절한 카메라 정렬이 달성된다.
도 7b는 하나의 실시예에 따른, 나쁜 카메라 정렬의 예를 나타낸다. 여기서, 앞선 차량은 가려짐 화각(702)이 앞선 차량의 카메라의 화각(704)과 더 이상 완전히 중첩되지 않도록 상당한 선회 조치를 실행하였다. 혼합 현실 이미지가 구성되려면, 불완전한 병합 영역을 갖게 될 것이다. 다시 말해서, 뒤따르는 차량의 카메라에 의해 캡처된 이미지의 가려진 부분은 앞선 차량의 카메라에 의해 캡처된 이미지의 가려지지 않은 부분과 완전히 중첩되지 않을 수 있다(따라서 완전히 대체될 수 없다). 따라서, 카메라 정렬은 본 실시예에 따른 시스루 기능을 지원할 수 없다.
도 8a, 도 8b, 도 8c, 및 도 8d는 본 개시의 실시예에 따른, 앞선 차량을 통과하여 보는 혼합 현실 시야에서 그러한 물체(들)를 보이게 하기 위한, 앞선 차량과 뒤따르는 차량 사이에 위치한 물체(들)의 제시를 도시한다. 도 8a는 혼합 현실 시야가 제시되기 전의 실제 세계 도로 장면의 이미지를 나타낸다. 이미지는 뒤따르는 차량에 탑재된 카메라에 의해 캡처될 수 있다. 도 8a에서, 앞선 차량(802)이 나타내어진다. 또한, 앞선 차량(802)과 뒤따르는 차량 사이에 위치한 물체(들)(804)도 나타내어진다. 예컨대, 물체(들)(804)는 앞선 차량(802)과 뒤따르는 차량 사이를 걷는 성인 및 어린이와 같은 보행자일 수 있다. 도 8a에서, 물체(들)(804)는, 예컨대, 단색 모양의 표현으로서 나타내어진다. 대안적으로, 물체(들)(804)는 물체(들)(804)의 실제 이미지로서 나타내어질 수도 있다. 즉, 물체(들)(802)의 이미지는 뒤따르는 차량에 탑재된 카메라에 의해 캡처된 물체(들)(804)의 시각적 세부사항을 나타낼 수 있다.
도 8b는 앞선 차량(802)과 뒤따르는 차량 사이에 위치한 물체(들)(804)의 시야를 가릴 수 있는 혼합 현실 이미지를 나타내고, 여기서 혼합 현실 이미지는 도 8a에 나타낸 실제 세계의 이미지에 기초한다. 여기서, 혼합 현실 이미지는 뒤따르는 차량의 운전자가 앞선 차량(802)을 통과하여 보게 하도록 "시스루" 기능을 제공하도록 의도되는 것이다. 앞서 논의한 바와 같이, 이것은 뒤따르는 차량에 의해 캡처된 이미지를 앞선 차량(802)에 의해 캡처된 이미지와 병합함으로써 달성될 수 있다. 보다 구체적으로, 뒤따르는 차량에 탑재된 카메라에 의해 캡처된 이미지의 가려진 부분은 앞선 차량(802)에 탑재된 카메라에 의해 캡처된 이미지의 가려지지 않은 부분과 병합된다. 하나의 실시예에서, 이는 제 1 경계 박스(806)를 사용하여 달성된다. 경계 박스(806) 내에, 앞선 차량에 의해 캡처된 이미지의 부분이 나타내어지고, 뒤따르는 차량의 관점으로부터는 앞선 차량(802)에 의해 가려졌을 앞선 차량(802) 앞의 장면을 드러낸다. 경계 박스(806) 밖에서는, 뒤따르는 차량에 의해 캡처된 이미지의 부분이 나타내어진다.
도 8b에 나타낸 결과적인 혼합 현실 이미지는 시스루 기능을 제공하지만, 물체(들)(804)는 "지워질" 수 있고, 이는 안전하지 않은 상태를 생성할 수 있다. 도 8b에 나타낸 바와 같이, 혼합 현실 이미지는 부분적으로 "지워진" 물체(들)(804)를 갖는다. 그러나, 경계 박스(806)의 크기 및 이미지에 나타나는 물체(들)(804)의 크기에 따라서는, 혼합 현실 이미지가 물체(들)(804)를 완전히 "지우는" 것이 가능하다. 이 "지우는" 효과는 안전하지 않을 수 있는데, 왜냐하면 뒤따르는 차량의 운전자는 제시되고 있는 혼합 현실 이미지에 의존하여 물체(들)(804)가 존재하지 않는다고, 즉, 뒤따르는 차량과 앞선 차량(802) 사이에 아무것도 없다고 잘못 가정할 수 있기 때문이다. 따라서, 뒤따르는 차량의 운전자는 안전거리를 유지하지 못하고 뒤따르는 차량이 물체(들)(804)(예컨대, 앞선 차량(802)과 뒤따르는 차량 사이에 위치한 보행자)를 충돌하게 할 수도 있다.
도 8c는 "시스루" 기능을 제공하는 혼합 현실 이미지뿐만 아니라, 뒤따르는 차량과 앞선 차량(802) 사이에 위치한 물체(들)(804)의 표현도 나타낸다. 앞서 논의한 바와 같이, 병합된 이미지는 앞선 차량(802)에 의해 캡처된 이미지의 가려지지 않은 부분이 제시되는 제 1 경계 박스(806)를 포함하므로, 앞선 차량(802)을 통과하여 볼 수 있는 능력을 제공한다. 또한, 물체(들)(804)도 감지되고 그 표현이 제시된다. 물체(들)(804)의 감지는 다양한 방식으로 구현될 수 있다. 앞서 언급한 바와 같이, 뒤따르는 차량에는 LIDAR 및 RADAR 센서(예컨대, 도 2의 LIDAR 및 RADAR 센서(226))와 같은 다양한 센서뿐만 아니라, 카메라(들)(예컨대, 도 2의 카메라(224))가 장착될 수 있다. 이러한 센서 및 카메라는 뒤따르는 차량과 앞선 차량(802) 사이에 위치한 물체(들)(804)의 존재를 감지하기 위해 사용될 수 있다. 뒤따르는 차량에 탑재된 컴퓨팅 리소스(예컨대, 도 2의 비디오 ECU(230), 후술하는 도 9의 처리 유닛(910) 등)는 센서 및 이미지 정보를 처리하여 물체(들)(804)를 검출하기 위해 활용될 수 있다. 다양한 실시예에서, 물체 감지는 센서 데이터, 이미지 데이터, 및/또는 센서 데이터와 이미지 데이터의 조합을 사용하여 수행된다.
그리고, 물체(들)(804)의 표현이 혼합 현실 이미지에 제시된다. 이것은 뒤따르는 차량과 앞선 차량(802) 사이의 물체(들)(804)를 포함하는 병합된 이미지에서 영역을 정의함으로써 달성될 수 있다. 정의된 영역에서, 앞선 차량(802)에 의해 캡처된 이미지의 가려진 부분 대신에 물체(들)(804)의 표현이 제시된다. 도 8c에 나타낸 실시예에서, 정의된 영역은 물체(들)(804)의 윤곽을 따른다. 또한, 이 실시예에서, 물체(들)(804)의 윤곽을 따르는 단색 모양은 물체(들)(804)의 표현으로서 사용된다. 그러나, 앞서 언급한 바와 같이, 물체(들)(804)의 실제 이미지도 표현으로서 사용될 수 있다.
하나의 구현에서, 물체(들)(804)의 표현의 제시를 트리거하는 로직은 이하와 같을 수 있다. 뒤따르는 차량과 앞선 차량(802) 사이의 물체(들)(804)가 감지되면, 물체(들)(804)를 포함하는 정의된 영역이 제 1 경계 박스(806)와 비교된다. 정의된 영역과 제 1 경계 박스(806) 사이에 중첩이 있는 경우, 중첩 영역에 대한 시스루 기능이 오프로 전환된다. 프로세스는 물체(들)(804)를 포함하는 정의된 영역을 피하기 위해 단순히 시스루 윈도우의 모양을 변경하는 것으로서 구상될 수 있다. 다시 말해서, 앞선 차량(802)의 시야가 제시되는 시스루 윈도우의 모양은 물체(들)(804)를 포함하는 정의된 영역을 포함하지 않는 제 1 경계 박스(806)의 부분으로서 정의될 수 있다. 따라서, 혼합 현실 이미지는 ⑴ 시스루 기능, 예컨대, 앞선 차량(802) 앞의 장면의 시야를 제시하는 제 1 경계 박스(806) 및 ⑵ 뒤따르는 차량과 앞선 차량(802) 사이에 위치한 물체(들)(804)의 표현을 모두 제공한다.
도 8d는 "시스루" 기능뿐만 아니라 뒤따르는 차량과 앞선 차량(802) 사이에 위치하는 물체(들)(804)의 표현도 제공하지만 더 간단한 구현을 갖는 혼합 현실 이미지도 나타낸다. 다시, 뒤따르는 차량과 앞선 차량(802) 사이의 물체(들)(804)를 포함하는 영역이 정의된다. 그러나, 이 경우, 정의된 영역은 물체(들)(804)의 윤곽을 따르지 않는다. 대신, 정의된 영역은 구현하기 더 쉬운 하나 이상의 2차 경계 박스(808)로서 구현된다. 도 8d에 나타낸 특정한 실시예에서, 각각의 2차 경계 박스(808)는 직사각형 모양을 갖는다. 물체(들)(804)의 표현은 2차 경계 박스(808) 내에 제시된다. 따라서, 시스루 윈도우는 제 1 경계 윈도우(806)에서 2차 경계 윈도우(808)를 뺀 모양일 수 있다. 적어도 하나의 실시예에 따르면, 이 시스루 윈도우 내에서, 병합된 이미지는 앞선 차량(802)에 의해 캡처된 이미지의 부분을 제시한다. 이 시스루 윈도우 밖에서, 병합된 이미지는 뒤따르는 차량에 의해 캡처된 이미지의 부분을 제시한다.
도 9는 실시예에 따라 구현될 수 있는 전자 제어 유닛(ECU)의 예의 내부 구성요소의 블록도이다. 예컨대, ECU(900)는 앞서 논의한 텔레매틱스 및 GPS ECU 또는 비디오 ECU의 구현을 표현할 수 있다. 도 9는 다양한 구성요소의 일반화된 도시를 제공하기 위한 것일 뿐이고, 이들 중 일부 또는 전부가 적절하게 활용될 수 있다는 것에 유의해야 한다. 일부 사례에서, 도 9에 의해 도시된 구성요소는 단일 물리적 디바이스에 국한될 수 있고 또한/또는 상이한 물리적 위치에 배치될 수 있는 다양한 네트워크 디바이스 사이에 분산될 수 있는 것을 알 수 있다.
ECU(900)는 버스(905)를 통해 전기적으로 결합될 수 있는(또는 적절하게 통신할 수 있는) 하드웨어 요소를 포함하는 것으로 나타내어진다. 하드웨어 요소는 하나 이상의 범용 프로세서, (디지털 신호 처리(DSP) 칩, 그래픽 가속 프로세서, 특정 용도용 집적 회로(ASIC), 및/또는 기타와 같은) 하나 이상의 특수 목적 프로세서, 및/또는 다른 처리 구조 또는 수단을 제한 없이 포함할 수 있는 처리 유닛(들)(910)을 포함할 수 있다. 도 8에 나타낸 바와 같이, 일부 실시예는 원하는 기능에 따라 별도의 DSP(920)를 가질 수 있다. 디바이스(900)는 차량 내 터치 스크린, 터치 패드, 마이크, 버튼(들), 다이얼(들), 스위치(들), 및/또는 기타를 제한 없이 제어할 수 있는 하나 이상의 입력 디바이스 컨트롤러(970)와, 디스플레이, 발광 다이오드(LED), 스피커, 및/또는 기타를 제한 없이 제어할 수 있는 하나 이상의 출력 디바이스 컨트롤러(915)도 포함할 수 있다.
ECU(900)는 모뎀, 네트워크 카드, 적외선 통신 디바이스, 무선 통신 디바이스, 및/또는 (블루투스 디바이스, IEEE 802.11 디바이스, IEEE 802.16.4 디바이스, WiFi 디바이스, WiMax 디바이스, 4G, 5G를 포함하는 셀룰러 통신 시설 등과 같은) 칩셋, 및/또는 기타를 제한 없이 포함할 수 있는 무선 통신 인터페이스(930)도 포함할 수 있다. 무선 통신 인터페이스(930)는 데이터가 네트워크, 무선 액세스 포인트, 다른 컴퓨터 시스템, 및/또는 여기에 설명된 임의의 다른 전자 디바이스와 교환되게 할 수 있다. 통신은 무선 신호(934)를 송신 및/또는 수신하는 하나 이상의 무선 통신 안테나(들)(932)를 통해 수행될 수 있다.
원하는 기능에 따라, 무선 통신 인터페이스(930)는 기지국(예컨대, 셀룰러 네트워크의 기지국) 및/또는 액세스 포인트(들)와 통신하기 위한 별도의 트랜시버를 포함할 수 있다. 이러한 상이한 데이터 네트워크는 다양한 네트워크 유형을 포함할 수 있다. 또한, WWAN(Wireless Wide Area Network)은 CDMA(Code Division Multiple Access) 네트워크, TDMA(Time Division Multiple Access) 네트워크, FDMA(Frequency Division Multiple Access) 네트워크, OFDMA(Orthogonal Frequency Division Multiple Access) 네트워크, WiMax(IEEE 802.16) 등일 수 있다. CDMA 네트워크는 cdma2000, W-CDMA(Wideband-CDMA) 등과 같은 하나 이상의 무선 액세스 기술(RAT)을 구현할 수 있다. Cdma2000은 IS-95, IS-2000, 및/또는 IS-856 표준을 포함한다. TDMA 네트워크는 GSM(Global System for Mobile Communications), D-AMPS(Digital Advanced Mobile Phone System), 또는 다른 RAT를 구현할 수 있다. OFDMA 네트워크는 4G 및 5G 기술을 포함하는 LTE, LTE Advanced 등을 채용할 수 있다.
ECU(900)는 센서 컨트롤러(들)(940)를 더 포함할 수 있다. 이러한 컨트롤러는 하나 이상의 가속도계(들), 자이로스코프(들), 카메라(들), 자력계(들), 고도계(들), 마이크(들), 근접 센서(들), 광 센서(들) 등을 제한 없이 제어할 수 있다.
ECU(900)의 실시예는 SPS 안테나(982)를 사용하여 하나 이상의 SPS 위성으로부터 신호(984)를 수신할 수 있는 위성 위치확인 시스템(SPS) 수신기(980)도 포함할 수 있다. SPS 수신기(980)는 GNSS(Global Navigation Satellite System)(예컨대, GPS(Global Positioning System)), Galileo, Glonass, Compass, 일본의 QZSS(Quasi-Zenith Satellite System), 인도의 IRNSS(Indian Regional Navigational Satellite System), 중국의 Beidou, 및/또는 기타와 같은 SPS 시스템의 위성으로부터 종래의 기술을 사용하여 디바이스의 위치를 추출할 수 있다. 또한, SPS 수신기(1780)는 하나 이상의 글로벌 및/또는 지역 내비게이션 위성 시스템과 연관되거나 하나 이상의 글로벌 및/또는 지역 내비게이션 위성 시스템과 함께 사용하도록 활성화될 수 있는 다양한 증강 시스템(예컨대, SBAS(Satellite Based Augmentation System))에서 사용될 수있다. 제한이 아닌 예로서, SBAS는, 예컨대, WAAS(Wide Area Augmentation System), EGNOS(European Geostationary Navigation Overlay Service), MSAS(Multi-functional Satellite Augmentation System), GAGAN(GPS Aided Geo Augmented Navigation 또는 GPS and Geo Augmented Navigation System), 및/또는 기타와 같은 무결성 정보, 미분 보정 등을 제공하는 증강 시스템(들)을 포함할 수 있다. 따라서, 여기서 사용되는 SPS는 하나 이상의 글로벌 및/또는 지역 내비게이션 위성 시스템 및/또는 증강 시스템의 임의의 조합을 포함할 수 있고, SPS 신호는 SPS, 유사 SPS, 및/또는 그러한 하나 이상의 SPS와 연관된 다른 신호를 포함할 수 있다.
ECU(900)는 메모리(960)를 더 포함하고 또한/또는 메모리(960)와 통신할 수 있다. 메모리(960)는 로컬 및/또는 네트워크 액세스 가능 스토리지, 디스크 드라이브, 드라이브 어레이, 광학 저장 디바이스, RAM(random access memory)과 같은 솔리드 스테이트 저장 디바이스, 및/또는 프로그램 가능하고, 재생갱신 가능하고, 또한/또는 기타가 가능한 ROM(read-only memory)을 제한 없이 포함할 수 있다. 이러한 저장 디바이스는 다양한 파일 시스템, 데이터베이스 구조, 및/또는 기타를 제한 없이 포함하는 임의의 적절한 데이터 저장소를 구현하도록 구성될 수 있다.
디바이스(900)의 메모리(960)는, 여기에 설명된 바와 같이, 다양한 실시예에 의해 제공되는 컴퓨터 프로그램을 포함할 수 있고, 또한/또는 다른 실시예에 의해 제공되는 방법을 구현하고 또한/또는 다른 실시예에 의해 제공되는 시스템을 구성하도록 설계될 수 있는, 하나 이상의 애플리케이션 프로그램과 같은, 운영 체제, 디바이스 드라이버, 실행 가능한 라이브러리, 및/또는 컴퓨터 판독 가능 매체에 내장된 다른 코드를 포함하는 소프트웨어 요소(도시하지 않음)도 포함할 수 있다. 그리고, 측면에서, 그러한 코드 및/또는 명령어는 설명된 방법에 따라 하나 이상의 동작을 수행하도록 범용 컴퓨터(또는 다른 디바이스)를 구성 및/또는 적응시키는 데 사용될 수 있다.
특정한 요건에 따라 실질적인 변경이 이루어질 수 있음은 당업자에게 명백할 것이다. 예컨대, 커스터마이즈된 하드웨어가 사용될 수도 있고, 또한/또는 특정한 요소가 하드웨어, (애플릿 등과 같은 휴대용 소프트웨어를 포함하는) 소프트웨어, 또는 둘 모두에서 구현될 수 있다. 또한, 네트워크 입력/출력 디바이스와 같은 다른 컴퓨팅 디바이스에 대한 연결이 채용될 수 있다.
첨부된 도면을 참조하면, 메모리를 포함할 수 있는 구성요소는 비 일시적 머신 판독 가능 매체를 포함할 수 있다. 여기서 사용되는 "머신 판독 가능 매체" 및 "컴퓨터 판독 가능 매체"라는 용어는 머신이 특정한 방식으로 동작하게 하는 데이터를 제공하는 데 참여하는 임의의 저장 매체를 지칭한다. 위에 제공된 실시예에서, 다양한 머신 판독 가능 매체는 실행을 위해 처리 유닛 및/또는 다른 디바이스(들)에 명령어/코드를 제공하는 데 관련될 수 있다. 추가적으로 또는 대안적으로, 머신 판독 가능 매체는 그러한 명령어/코드를 저장 및/또는 운반하기 위해 사용될 수 있다. 많은 구현에서, 컴퓨터 판독 가능 매체는 물리적 및/또는 유형의 저장 매체이다. 이러한 매체는 비 휘발성 매체 및 휘발성 매체를 포함하지만 이에 제한되지 않는 많은 형태를 취할 수 있다. 컴퓨터 판독 가능 매체의 일반적인 형태는, 예컨대, 자기 및/또는 광학 매체, 펀치카드, 페이퍼테이프, 구멍의 패턴을 갖는 임의의 다른 물리적 매체, RAM, PROM, EPROM, FLASH-EPROM, 임의의 다른 메모리 칩 또는 카트리지, 또는 컴퓨터가 명령어 및/또는 코드를 읽을 수 있는 임의의 다른 매체를 포함한다.
여기서 논의된 방법, 시스템, 및 디바이스는 예이다. 다양한 실시예는 적절하게 다양한 절차 또는 구성요소를 생략, 대체, 또는 추가할 수 있다. 예컨대, 특정한 실시예와 관련하여 설명된 특징은 다양한 다른 실시예에서 결합될 수 있다. 실시예의 상이한 측면 및 요소는 유사한 방식으로 결합될 수 있다. 여기에 제공된 도면의 다양한 구성요소는 하드웨어 및/또는 소프트웨어로 구현될 수 있다. 또한, 기술은 발전하므로, 많은 요소는 본 개시의 범위를 이러한 특정한 예로 제한하지 않는 예이다.
여러 실시예를 설명하였지만, 본 개시의 정신을 벗어나지 않고서 다양한 수정, 대안적인 구성, 및 등가물이 사용될 수 있다. 예컨대, 위의 요소는 단지 더 큰 시스템의 구성요소일 뿐일 수 있고, 다른 규칙이 본 발명의 적용보다 우선하거나 그렇지 않으면 본 발명의 적용을 수정할 수 있다. 또한, 위의 요소가 고려되기 전, 중, 또는 후에 여러 스텝이 수행될 수 있다. 따라서, 위의 설명은 본 개시의 범위를 제한하지 않는다.
Claims (20)
- 앞선 차량 및 뒤따르는 차량을 포함하는 혼합 현실 장면을 제공하는 방법으로서,
상기 뒤따르는 차량의 운전자에게 일련의 혼합 현실 이미지를 제시하는 단계 - 상기 일련의 혼합 현실 이미지 중 적어도 하나의 이미지는, 병합된 이미지를 생성하기 위해 ⒜ 상기 앞선 차량에 탑재된 카메라에 의해 캡처된 이미지와 ⒝ 상기 뒤따르는 차량에 탑재된 카메라에 의해 캡처된 이미지를 병합하는 것의 결과이고, 상기 병합하는 것은 상기 뒤따르는 차량에 탑재된 카메라에 의해 캡처된 이미지의 가려진 부분을 덜 강조하는(de-emphasize) 것 - 상기 가려진 부분은 상기 앞선 차량에 의한 가려짐(occlusion)에 대응함 - 과, 상기 앞선 차량에 탑재된 카메라에 의해 캡처된 이미지의 가려지지 않은 부분을 강조하는 것을 포함함 - 와,
하나 이상의 감지된 조건에 응답하여, 상기 뒤따르는 차량의 상기 운전자에게 제시되는 상기 일련의 혼합 현실 이미지의 혼합 현실 내용을 줄이거나, 또는 상기 뒤따르는 차량에 탑재된 카메라에 의해 캡처된 이미지만을 제시하기 위해 상기 병합된 이미지의 생성을 중단하는 단계
를 포함하고,
상기 하나 이상의 감지된 조건은 상기 앞선 차량과 상기 뒤따르는 차량 사이의 물체의 감지를 포함하고,
상기 병합된 이미지에서, 상기 물체의 뷰(view)는 상기 뒤따르는 차량에 탑재된 카메라에 의해 캡처된 이미지의 상기 가려진 부분을 덜 강조하고 상기 앞선 차량에 탑재된 카메라에 의해 캡처된 이미지의 상기 가려지지 않은 부분을 강조한 결과로서 적어도 부분적으로 마스킹되는
방법.
- 제 1 항에 있어서,
상기 뒤따르는 차량에 탑재된 카메라에 의해 캡처된 이미지의 상기 가려진 부분을 덜 강조하는 것과 상기 앞선 차량에 의해 캡처된 이미지의 상기 가려지지 않은 부분을 강조하는 것은 상기 뒤따르는 차량에 탑재된 카메라에 의해 캡처된 이미지와 상기 앞선 차량에 탑재된 카메라에 의해 캡처된 이미지를 블렌딩하는 것을 포함하는
방법.
- 제 1 항에 있어서,
상기 뒤따르는 차량에 탑재된 카메라에 의해 캡처된 이미지의 상기 가려진 부분을 덜 강조하는 것과 상기 앞선 차량에 의해 캡처된 이미지의 상기 가려지지 않은 부분을 강조하는 것은 상기 뒤따르는 차량에 탑재된 카메라에 의해 캡처된 이미지의 상기 가려진 부분을 상기 앞선 차량에 의해 캡처된 이미지의 상기 가려지지 않은 부분으로 대체하는 것을 포함하는
방법.
- 제 1 항에 있어서,
상기 일련의 혼합 현실 이미지의 상기 혼합 현실 내용을 줄이는 것은 상기 뒤따르는 차량에 탑재된 카메라에 의해 캡처된 이미지의 상기 가려진 부분을 강조하는 것과 상기 앞선 차량에 탑재된 카메라에 의해 캡처된 이미지의 상기 가려지지 않은 부분을 덜 강조하는 것을 포함하는
방법.
- 제 1 항에 있어서,
상기 하나 이상의 감지된 조건은 상기 앞선 차량과 관련된 제동 조건의 감지를 더 포함하는
방법.
- 제 1 항에 있어서,
상기 하나 이상의 감지된 조건은 상기 뒤따르는 차량에 의해 수행되는 적어도 하나의 관련 조치의 감지를 더 포함하고,
상기 적어도 하나의 관련 조치는 추월 조치, 우회전, 보행자 무단횡단 이벤트, 또는 예상치 못한 앞선 차량 정지로부터 선택되는
방법.
- 제 1 항에 있어서,
상기 하나 이상의 감지된 조건은 상기 앞선 차량에 탑재된 카메라와 상기 뒤따르는 차량에 탑재된 카메라 사이의 카메라 오정렬의 감지를 더 포함하는
방법.
- 제 1 항에 있어서,
상기 하나 이상의 감지된 조건은 앞선 차량 후보가 상기 뒤따르는 차량 앞에 위치하지 않는다는 결정을 더 포함하는
방법.
- 제 1 항에 있어서,
상기 일련의 혼합 현실 이미지의 혼합 현실 내용을 중단하거나 줄이는 단계는 상기 병합된 이미지에서 상기 앞선 차량과 상기 뒤따르는 차량 사이의 상기 물체의 표현을 제시하는 것을 포함하는
방법.
- 제 9 항에 있어서,
상기 앞선 차량과 상기 뒤따르는 차량 사이의 상기 물체의 상기 표현은,
상기 앞선 차량과 상기 뒤따르는 차량 사이의 상기 물체를 포함하는 상기 병합된 이미지에서 영역을 정의하는 것과,
상기 정의된 영역에서, 상기 앞선 차량에 의해 캡처된 이미지의 상기 가려지지 않은 부분 대신에 상기 앞선 차량과 상기 뒤따르는 차량 사이의 상기 물체의 상기 표현을 제시하는 것
에 의해 제시되는
방법.
- 앞선 차량 및 뒤따르는 차량을 포함하는 혼합 현실 장면을 제공하는 장치로서,
전자 제어 유닛(ECU)과,
디스플레이
를 포함하고,
상기 ECU는,
상기 뒤따르는 차량의 운전자에게 제시하기 위한 일련의 혼합 현실 이미지를 생성하는 것 - 상기 ECU는 병합된 이미지를 생성하기 위해 ⒜ 상기 앞선 차량에 탑재된 카메라에 의해 캡처된 이미지와 ⒝ 상기 뒤따르는 차량에 탑재된 카메라에 의해 캡처된 이미지를 병합하는 것에 의해 상기 일련의 혼합 현실 이미지 중 적어도 하나의 이미지를 생성하도록 구성되고, 상기 병합하는 것은 상기 뒤따르는 차량에 탑재된 카메라에 의해 캡처된 이미지의 가려진 부분을 덜 강조하는(de-emphasize) 것 - 상기 가려진 부분은 상기 앞선 차량에 의한 가려짐(occlusion)에 대응함 - 과, 상기 앞선 차량에 탑재된 카메라에 의해 캡처된 이미지의 가려지지 않은 부분을 강조하는 것을 포함함 - 과,
하나 이상의 감지된 조건에 응답하여, 상기 뒤따르는 차량의 상기 운전자에게 제시되는 상기 일련의 혼합 현실 이미지의 혼합 현실 내용을 줄이거나, 또는 상기 뒤따르는 차량에 탑재된 카메라에 의해 캡처된 이미지만을 제시하기 위해 상기 병합된 이미지의 생성을 중단하는 것
을 행하도록 구성되고,
상기 하나 이상의 감지된 조건은 상기 앞선 차량과 상기 뒤따르는 차량 사이의 물체의 감지를 포함하고,
상기 병합된 이미지에서, 상기 물체의 뷰(view)는 상기 뒤따르는 차량에 탑재된 카메라에 의해 캡처된 이미지의 상기 가려진 부분을 덜 강조하고 상기 앞선 차량에 탑재된 카메라에 의해 캡처된 이미지의 상기 가려지지 않은 부분을 강조한 결과로서 적어도 부분적으로 마스킹되고,
상기 디스플레이는 상기 뒤따르는 차량의 상기 운전자에게 상기 일련의 혼합 현실 이미지를 제시하도록 구성되는
장치.
- 제 11 항에 있어서,
상기 ECU는 상기 뒤따르는 차량에 탑재된 카메라에 의해 캡처된 이미지와 상기 앞선 차량에 탑재된 카메라에 의해 캡처된 이미지를 블렌딩함으로써 상기 뒤따르는 차량에 탑재된 카메라에 의해 캡처된 이미지의 상기 가려진 부분을 덜 강조하고 상기 앞선 차량에 의해 캡처된 이미지의 상기 가려지지 않은 부분을 강조하도록 구성되는
장치.
- 제 11 항에 있어서,
상기 ECU는 상기 뒤따르는 차량에 탑재된 카메라에 의해 캡처된 이미지의 상기 가려진 부분을 상기 앞선 차량에 의해 캡처된 이미지의 상기 가려지지 않은 부분으로 대체함으로써 상기 뒤따르는 차량에 탑재된 카메라에 의해 캡처된 이미지의 상기 가려진 부분을 덜 강조하고 상기 앞선 차량에 의해 캡처된 이미지의 상기 가려지지 않은 부분을 강조하도록 구성되는
장치.
- 제 11 항에 있어서,
상기 ECU는 상기 뒤따르는 차량에 탑재된 카메라에 의해 캡처된 이미지의 상기 가려진 부분을 강조하고 상기 앞선 차량에 탑재된 카메라에 의해 캡처된 이미지의 상기 가려지지 않은 부분을 덜 강조함으로써 상기 일련의 혼합 현실 이미지의 상기 혼합 현실 내용을 줄이도록 구성되는
장치.
- 제 11 항에 있어서,
상기 하나 이상의 감지된 조건은 상기 앞선 차량과 관련된 제동 조건의 감지를 더 포함하는
장치.
- 제 11 항에 있어서,
상기 하나 이상의 감지된 조건은 상기 뒤따르는 차량에 의해 수행되는 적어도 하나의 관련 조치의 감지를 더 포함하는
장치.
- 제 11 항에 있어서,
상기 하나 이상의 감지된 조건은 상기 앞선 차량에 탑재된 카메라와 상기 뒤따르는 차량에 탑재된 카메라 사이의 카메라 오정렬의 감지를 더 포함하는
장치.
- 제 11 항에 있어서,
상기 ECU는 상기 병합된 이미지에서 상기 앞선 차량과 상기 뒤따르는 차량 사이의 상기 물체의 표현을 제시함으로써 상기 일련의 혼합 현실 이미지의 혼합 현실 내용을 중단하거나 줄이도록 구성되는
장치.
- 제 18 항에 있어서,
상기 앞선 차량과 상기 뒤따르는 차량 사이의 상기 물체의 상기 표현은,
상기 앞선 차량과 상기 뒤따르는 차량 사이의 상기 물체를 포함하는 상기 병합된 이미지에서 영역을 정의하는 것과,
상기 정의된 영역에서, 상기 앞선 차량에 의해 캡처된 이미지의 상기 가려지지 않은 부분 대신에 상기 앞선 차량과 상기 뒤따르는 차량 사이의 상기 물체의 상기 표현을 제시하는 것
에 의해 제시되는
장치.
- 명령어를 포함하는 컴퓨터 판독 가능 저장 매체로서,
상기 명령어는, 컴퓨터의 하나 이상의 프로세서에 의해 실행되면, 상기 하나 이상의 프로세서가,
일련의 혼합 현실 이미지가 뒤따르는 차량의 운전자에게 제시되게 하고 - 상기 일련의 혼합 현실 이미지 중 적어도 하나의 이미지는, 병합된 이미지를 생성하기 위해 ⒜ 앞선 차량에 탑재된 카메라에 의해 캡처된 이미지와 ⒝ 상기 뒤따르는 차량에 탑재된 카메라에 의해 캡처된 이미지를 병합하는 것의 결과이고, 상기 병합하는 것은 상기 뒤따르는 차량에 탑재된 카메라에 의해 캡처된 이미지의 가려진 부분을 덜 강조하는(de-emphasize) 것 - 상기 가려진 부분은 상기 앞선 차량에 의한 가려짐(occlusion)에 대응함 - 과, 상기 앞선 차량에 탑재된 카메라에 의해 캡처된 이미지의 가려지지 않은 부분을 강조하는 것을 포함함 - ,
하나 이상의 감지된 조건에 응답하여, 상기 뒤따르는 차량의 상기 운전자에게 제시되는 상기 일련의 혼합 현실 이미지의 혼합 현실 내용을 줄이거나, 또는 상기 뒤따르는 차량에 탑재된 카메라에 의해 캡처된 이미지만을 제시하기 위해 상기 병합된 이미지의 생성을 중단하게 하되,
상기 하나 이상의 감지된 조건은 상기 앞선 차량과 상기 뒤따르는 차량 사이의 물체의 감지를 포함하고,
상기 병합된 이미지에서, 상기 물체의 뷰(view)는 상기 뒤따르는 차량에 탑재된 카메라에 의해 캡처된 이미지의 상기 가려진 부분을 덜 강조하고 상기 앞선 차량에 탑재된 카메라에 의해 캡처된 이미지의 상기 가려지지 않은 부분을 강조한 결과로서 적어도 부분적으로 마스킹되는
컴퓨터 판독 가능 저장 매체.
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US16/118,018 | 2018-08-30 | ||
| US16/118,018 US10607416B2 (en) | 2018-08-30 | 2018-08-30 | Conditional availability of vehicular mixed-reality |
| PCT/EP2019/071060 WO2020043436A1 (en) | 2018-08-30 | 2019-08-06 | Conditional availability of vehicular mixed-reality |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20210038633A KR20210038633A (ko) | 2021-04-07 |
| KR102504579B1 true KR102504579B1 (ko) | 2023-02-27 |
Family
ID=67667814
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020217005744A KR102504579B1 (ko) | 2018-08-30 | 2019-08-06 | 차량 혼합 현실의 조건부 가용성 |
Country Status (6)
| Country | Link |
|---|---|
| US (1) | US10607416B2 (ko) |
| EP (1) | EP3844721B1 (ko) |
| JP (1) | JP7229336B2 (ko) |
| KR (1) | KR102504579B1 (ko) |
| CN (1) | CN112930555B (ko) |
| WO (1) | WO2020043436A1 (ko) |
Families Citing this family (25)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020014683A1 (en) * | 2018-07-13 | 2020-01-16 | Kache.AI | Systems and methods for autonomous object detection and vehicle following |
| US10901416B2 (en) * | 2018-07-19 | 2021-01-26 | Honda Motor Co., Ltd. | Scene creation system for autonomous vehicles and methods thereof |
| DE102018128634A1 (de) * | 2018-11-15 | 2020-05-20 | Valeo Schalter Und Sensoren Gmbh | Verfahren zum Bereitstellen einer visuellen Information über zumindest einen Teil einer Umgebung, Computerprogrammprodukt, mobiles Kommunikationsgerät und Kommunikationssystem |
| US10836313B2 (en) | 2018-11-28 | 2020-11-17 | Valeo Comfort And Driving Assistance | Mixed reality view for enhancing pedestrian safety |
| WO2020159247A1 (ko) | 2019-01-31 | 2020-08-06 | 엘지전자 주식회사 | 영상 출력 장치 |
| US11257363B2 (en) * | 2019-01-31 | 2022-02-22 | Toyota Jidosha Kabushiki Kaisha | XR-based slot reservation system for connected vehicles traveling through intersections |
| US11182972B2 (en) * | 2019-02-12 | 2021-11-23 | Qualcomm Incorporated | Virtual teleportation in fixed environments |
| US10719076B1 (en) * | 2019-02-25 | 2020-07-21 | Rockwell Collins, Inc. | Lead and follower aircraft navigation system |
| US11113969B2 (en) * | 2019-03-07 | 2021-09-07 | Toyota Jidosha Kabushiki Kaisha | Data-to-camera (D2C) based filters for improved object detection in images based on vehicle-to-everything communication |
| US20220052871A1 (en) * | 2019-03-13 | 2022-02-17 | Nec Corporation | Vehicle control system, vehicle control method, and non-transitory computer-readable medium in which vehicle control program is stored |
| US11226624B2 (en) * | 2019-04-11 | 2022-01-18 | Motorola Solutions, Inc. | System and method for enabling a 360-degree threat detection sensor system to monitor an area of interest surrounding a vehicle |
| US11216987B2 (en) * | 2019-06-17 | 2022-01-04 | Toyota Research Institute, Inc. | Systems and methods for associating LiDAR points with objects |
| US11210946B2 (en) * | 2019-07-15 | 2021-12-28 | Verizon Patent And Licensing Inc. | Content sharing between vehicles based on a peer-to-peer connection |
| EP3809359A1 (en) * | 2019-10-14 | 2021-04-21 | Ningbo Geely Automobile Research & Development Co. Ltd. | Vehicle driving challenge system and corresponding method |
| WO2021141873A1 (en) * | 2020-01-06 | 2021-07-15 | Gentex Corporation | Dynamic imaging system |
| US11623653B2 (en) * | 2020-01-23 | 2023-04-11 | Toyota Motor Engineering & Manufacturing North America, Inc. | Augmented reality assisted traffic infrastructure visualization |
| US20210311183A1 (en) * | 2020-04-01 | 2021-10-07 | Qualcomm Incorporated | Vehicle request for sensor data with sensor data filtering condition |
| DE102021212088B4 (de) * | 2020-11-06 | 2022-12-15 | Robert Bosch Gesellschaft mit beschränkter Haftung | Rückfahrkamerasystem für ein anhängerkupplungssystem und verfahren zum erzeugen einer darstellung in heckrichtung eines fahrzeuges |
| DE102021212050A1 (de) * | 2020-11-06 | 2022-05-12 | Robert Bosch Gesellschaft mit beschränkter Haftung | Kamerasystem für ein Anhängerkupplungssystem |
| US11700357B2 (en) * | 2021-02-03 | 2023-07-11 | Toyota Motor Engineering & Manufacturing North America, Inc. | Connected camera system for vehicles |
| DE102021105051A1 (de) | 2021-03-03 | 2022-09-08 | Connaught Electronics Ltd. | Verfahren zum Erzeugen zumindest einer Warninformation für einen Nutzer eines Kraftfahrzeugs mittels eines Assistenzsystems, Computerprogrammprodukt, computerlesbares Speichermedium sowie Assistenzsystem |
| KR102494479B1 (ko) * | 2021-04-13 | 2023-02-06 | 주식회사 덱시브 | 드론을 이용한 측위 공간정보 데이터를 활용한 증강현실 오클루젼 생성시스템 |
| US11783708B2 (en) * | 2021-05-10 | 2023-10-10 | Ford Global Technologies, Llc | User-tailored roadway complexity awareness |
| US20230114506A1 (en) * | 2021-10-12 | 2023-04-13 | At&T Intellectual Property I, L.P. | System for on-demand diminished reality replacements for crowd viewing |
| WO2023063578A1 (en) * | 2021-10-13 | 2023-04-20 | Samsung Electronics Co., Ltd. | A method and system for generating mixed reality environment for indicating navigation events |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000214256A (ja) | 1999-01-28 | 2000-08-04 | Mazda Motor Corp | 車両の表示装置 |
| JP2006178673A (ja) | 2004-12-21 | 2006-07-06 | Nissan Motor Co Ltd | 走行支援装置 |
| US20100253539A1 (en) * | 2009-04-02 | 2010-10-07 | Gm Global Technology Operations, Inc. | Vehicle-to-vehicle communicator on full-windshield head-up display |
| JP2012048293A (ja) * | 2010-08-24 | 2012-03-08 | Mitsubishi Electric Corp | 運転支援装置 |
| JP2012169826A (ja) | 2011-02-14 | 2012-09-06 | Fujitsu Ten Ltd | 画像処理装置、画像表示システム及び画像処理方法 |
| US20140063064A1 (en) * | 2012-08-31 | 2014-03-06 | Samsung Electronics Co., Ltd. | Information providing method and information providing vehicle therefor |
| JP6279768B2 (ja) | 2014-12-25 | 2018-02-14 | マクセル株式会社 | 車両用情報表示装置 |
Family Cites Families (33)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004351977A (ja) | 2003-05-27 | 2004-12-16 | Matsushita Electric Ind Co Ltd | 車外映像表示装置 |
| JP4752486B2 (ja) | 2005-12-15 | 2011-08-17 | 株式会社日立製作所 | 撮像装置、映像信号の選択装置、運転支援装置、自動車 |
| JP4702348B2 (ja) | 2007-10-09 | 2011-06-15 | 株式会社エクォス・リサーチ | 車載画像表示装置 |
| US9043483B2 (en) | 2008-03-17 | 2015-05-26 | International Business Machines Corporation | View selection in a vehicle-to-vehicle network |
| US8947219B2 (en) * | 2011-04-22 | 2015-02-03 | Honda Motors Co., Ltd. | Warning system with heads up display |
| US8744666B2 (en) | 2011-07-06 | 2014-06-03 | Peloton Technology, Inc. | Systems and methods for semi-autonomous vehicular convoys |
| WO2013086249A2 (en) * | 2011-12-09 | 2013-06-13 | Magna Electronics, Inc. | Vehicle vision system with customized display |
| US8412413B1 (en) * | 2011-12-21 | 2013-04-02 | Delphi Technologies, Inc. | Vehicle windshield display with obstruction detection |
| DE102012003776B3 (de) | 2012-02-25 | 2013-07-25 | Volkswagen Ag | Verfahren zum Identifizieren eines Fahrzeugs bei einer Fahrzeug-zu-Fahrzeug-Kommunikation |
| CA2907452A1 (en) | 2013-03-15 | 2014-09-18 | Peloton Technology Inc. | Vehicle platooning systems and methods |
| JP2014206888A (ja) | 2013-04-15 | 2014-10-30 | 本田技研工業株式会社 | 車両の運転支援装置 |
| US9280202B2 (en) * | 2013-05-10 | 2016-03-08 | Magna Electronics Inc. | Vehicle vision system |
| US9403482B2 (en) | 2013-11-22 | 2016-08-02 | At&T Intellectual Property I, L.P. | Enhanced view for connected cars |
| CN107077810A (zh) * | 2014-07-24 | 2017-08-18 | 柯蒂斯·M·布鲁巴克 | 用于在移动广告、媒体及通信平台上产生群聚效应的***、方法和设备 |
| JP6387744B2 (ja) | 2014-08-28 | 2018-09-12 | 株式会社デンソー | 車載器及び運転支援システム |
| GB2532464B (en) * | 2014-11-19 | 2020-09-02 | Bae Systems Plc | Apparatus and method for selectively displaying an operational environment |
| US9713956B2 (en) * | 2015-03-05 | 2017-07-25 | Honda Motor Co., Ltd. | Vehicle-to-vehicle communication system providing a spatiotemporal look ahead and method thereof |
| US9832429B2 (en) | 2015-03-17 | 2017-11-28 | Continental Automotive Systems, Inc. | Shared vehicle camera |
| GB2538502B (en) * | 2015-05-18 | 2018-04-04 | Roadmetric Ltd | Detection and documentation of tailgating and speeding violations |
| US9942522B2 (en) * | 2015-08-19 | 2018-04-10 | Faraday&Future Inc. | In-vehicle camera system |
| KR20170065738A (ko) * | 2015-12-03 | 2017-06-14 | 현대오트론 주식회사 | 헤드업 디스플레이 제어 장치 및 방법 |
| US9975487B2 (en) * | 2016-02-03 | 2018-05-22 | GM Global Technology Operations LLC | Rear vision system for a vehicle and method of using the same |
| AT518667B1 (de) * | 2016-06-29 | 2017-12-15 | Peterseil Thomas | Fahrsicherheits-Trainingsanordnung |
| US9858817B1 (en) * | 2016-10-04 | 2018-01-02 | International Busines Machines Corporation | Method and system to allow drivers or driverless vehicles to see what is on the other side of an obstruction that they are driving near, using direct vehicle-to-vehicle sharing of environment data |
| KR102366723B1 (ko) | 2016-10-11 | 2022-02-23 | 삼성전자주식회사 | 운송 수단으로 시야 확보 영상을 제공하는 방법, 이를 위한 전자 장치 및 컴퓨터 판독 가능한 기록 매체 |
| DE102017100004A1 (de) | 2017-01-02 | 2018-07-05 | Connaught Electronics Ltd. | Verfahren zum Bereitstellen von zumindest einer Information aus einem Umgebungsbereich eines Kraftfahrzeugs, Anzeigesystem für ein Kraftfahrzeug, Fahrerassistenzsystem für ein Kraftfahrzeug sowie Kraftfahrzeug |
| US10332292B1 (en) | 2017-01-17 | 2019-06-25 | Zoox, Inc. | Vision augmentation for supplementing a person's view |
| US20180236939A1 (en) * | 2017-02-22 | 2018-08-23 | Kevin Anthony Smith | Method, System, and Device for a Forward Vehicular Vision System |
| JP6599386B2 (ja) | 2017-03-01 | 2019-10-30 | ソフトバンク株式会社 | 表示装置及び移動体 |
| JP6861375B2 (ja) * | 2017-06-30 | 2021-04-21 | パナソニックＩｐマネジメント株式会社 | 表示システム、情報提示システム、表示システムの制御方法、プログラム、及び移動体 |
| KR101979276B1 (ko) * | 2017-08-09 | 2019-05-16 | 엘지전자 주식회사 | 차량용 사용자 인터페이스 장치 및 차량 |
| US10349011B2 (en) * | 2017-08-14 | 2019-07-09 | GM Global Technology Operations LLC | System and method for improved obstacle awareness in using a V2X communications system |
| GB2566523B (en) * | 2017-09-18 | 2020-02-26 | Jaguar Land Rover Ltd | System and method for vehicle convoys |
-
2018
- 2018-08-30 US US16/118,018 patent/US10607416B2/en active Active
-
2019
- 2019-08-06 CN CN201980069514.3A patent/CN112930555B/zh active Active
- 2019-08-06 KR KR1020217005744A patent/KR102504579B1/ko active IP Right Grant
- 2019-08-06 EP EP19755840.6A patent/EP3844721B1/en active Active
- 2019-08-06 JP JP2021510946A patent/JP7229336B2/ja active Active
- 2019-08-06 WO PCT/EP2019/071060 patent/WO2020043436A1/en unknown
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000214256A (ja) | 1999-01-28 | 2000-08-04 | Mazda Motor Corp | 車両の表示装置 |
| JP2006178673A (ja) | 2004-12-21 | 2006-07-06 | Nissan Motor Co Ltd | 走行支援装置 |
| US20100253539A1 (en) * | 2009-04-02 | 2010-10-07 | Gm Global Technology Operations, Inc. | Vehicle-to-vehicle communicator on full-windshield head-up display |
| JP2012048293A (ja) * | 2010-08-24 | 2012-03-08 | Mitsubishi Electric Corp | 運転支援装置 |
| JP2012169826A (ja) | 2011-02-14 | 2012-09-06 | Fujitsu Ten Ltd | 画像処理装置、画像表示システム及び画像処理方法 |
| US20140063064A1 (en) * | 2012-08-31 | 2014-03-06 | Samsung Electronics Co., Ltd. | Information providing method and information providing vehicle therefor |
| JP6279768B2 (ja) | 2014-12-25 | 2018-02-14 | マクセル株式会社 | 車両用情報表示装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20210038633A (ko) | 2021-04-07 |
| CN112930555B (zh) | 2024-06-28 |
| JP2021535507A (ja) | 2021-12-16 |
| US10607416B2 (en) | 2020-03-31 |
| WO2020043436A1 (en) | 2020-03-05 |
| EP3844721B1 (en) | 2024-03-20 |
| CN112930555A (zh) | 2021-06-08 |
| US20200074735A1 (en) | 2020-03-05 |
| JP7229336B2 (ja) | 2023-02-27 |
| EP3844721A1 (en) | 2021-07-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102504579B1 (ko) | 차량 혼합 현실의 조건부 가용성 | |
| US10836313B2 (en) | Mixed reality view for enhancing pedestrian safety | |
| US10248196B2 (en) | System for occlusion adjustment for in-vehicle augmented reality systems | |
| US10453344B2 (en) | Information processing apparatus and non-transitory recording medium | |
| US9195894B2 (en) | Vehicle and mobile device traffic hazard warning techniques | |
| US20200086789A1 (en) | Mixed reality left turn assistance to promote traffic efficiency and enhanced safety | |
| US11996018B2 (en) | Display control device and display control program product | |
| US11198398B2 (en) | Display control device for vehicle, display control method for vehicle, and storage medium | |
| JP2020097399A (ja) | 表示制御装置および表示制御プログラム | |
| US10922976B2 (en) | Display control device configured to control projection device, display control method for controlling projection device, and vehicle | |
| US20220058998A1 (en) | Display control device and non-transitory computer-readable storage medium for display control on head-up display | |
| WO2017104209A1 (ja) | 運転支援装置 | |
| US20220093020A1 (en) | Display control device and non-transitory computer readable storage medium for display control by head-up display | |
| JP2020032866A (ja) | 車両用仮想現実提供装置、方法、及びコンピュータ・プログラム | |
| KR20190078664A (ko) | 컨텐츠를 표시하기 위한 장치 및 방법 | |
| US11536583B2 (en) | Information display device, control method, and storage medium | |
| JP7416114B2 (ja) | 表示制御装置および表示制御プログラム | |
| JP2020086884A (ja) | 区画線推定装置、表示制御装置、方法、及びコンピュータ・プログラム | |
| JP2019074862A (ja) | 推奨運転出力装置、推奨運転出力システム、及び推奨運転出力方法 | |
| JP2020118545A (ja) | 表示制御装置及び表示制御プログラム | |
| JP2020154468A (ja) | 運転支援装置、方法、及びコンピュータ・プログラム | |
| JP2019077302A (ja) | 表示制御装置、表示システム及び表示制御方法 | |
| JP7159851B2 (ja) | 運転支援装置、車両、情報提供装置、運転支援システム、及び運転支援方法 | |
| WO2021015090A1 (ja) | 制御装置 | |
| JP2020086882A (ja) | 表示制御装置、方法、及びコンピュータ・プログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |