KR102561976B1 - 전환 가능한 바퀴 뷰 미러 - Google Patents

전환 가능한 바퀴 뷰 미러 Download PDF

Info

Publication number
KR102561976B1
KR102561976B1 KR1020210161010A KR20210161010A KR102561976B1 KR 102561976 B1 KR102561976 B1 KR 102561976B1 KR 1020210161010 A KR1020210161010 A KR 1020210161010A KR 20210161010 A KR20210161010 A KR 20210161010A KR 102561976 B1 KR102561976 B1 KR 102561976B1
Authority
KR
South Korea
Prior art keywords
vehicle
reflective surface
wheel
view
image sensor
Prior art date
Application number
KR1020210161010A
Other languages
English (en)
Other versions
KR20230043022A (ko
Inventor
니주무드힌 무하씬
자예쉬 드위베디
유 쾅 로우
Original Assignee
모셔널 에이디 엘엘씨
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 모셔널 에이디 엘엘씨 filed Critical 모셔널 에이디 엘엘씨
Publication of KR20230043022A publication Critical patent/KR20230043022A/ko
Application granted granted Critical
Publication of KR102561976B1 publication Critical patent/KR102561976B1/ko

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/147—Details of sensors, e.g. sensor lenses
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/002—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles specially adapted for covering the peripheral part of the vehicle, e.g. for viewing tyres, bumpers or the like
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/095—Predicting travel path or likelihood of collision
    • B60W30/0956—Predicting travel path or likelihood of collision the prediction being responsive to traffic or environmental parameters
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/095—Predicting travel path or likelihood of collision
    • B60W30/0953—Predicting travel path or likelihood of collision the prediction being responsive to vehicle dynamic parameters
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/18—Propelling the vehicle
    • B60W30/18009—Propelling the vehicle related to particular drive situations
    • B60W30/18054—Propelling the vehicle related to particular drive situations at stand still, e.g. engine in idling state
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/10—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to vehicle motion
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B60W60/0015—Planning or execution of driving tasks specially adapted for safety
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/005—Handover processes
    • B60W60/0051—Handover processes from occupants to vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/005—Handover processes
    • B60W60/0053—Handover processes from vehicle to occupant
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/165—Anti-collision systems for passive traffic, e.g. including static obstacles, trees
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001—Details of the control system
    • B60W2050/0002—Automatic control, details of type of controller or control system architecture
    • B60W2050/0004—In digital systems, e.g. discrete-time systems involving sampling
    • B60W2050/0005—Processor details or data handling, e.g. memory registers or chip architecture
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0062—Adapting control system settings
    • B60W2050/007—Switching between manual and automatic parameter input, and vice versa
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B60W2420/42—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2422/00—Indexing codes relating to the special location or mounting of sensors
    • B60W2422/70—Indexing codes relating to the special location or mounting of sensors on the wheel or the tire
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/09—Taking automatic action to avoid collision, e.g. braking and steering
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B60W60/0015—Planning or execution of driving tasks specially adapted for safety
    • B60W60/0017—Planning or execution of driving tasks specially adapted for safety of other traffic participants

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Automation & Control Theory (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Theoretical Computer Science (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Vascular Medicine (AREA)
  • Health & Medical Sciences (AREA)
  • Traffic Control Systems (AREA)

Abstract

예를 들어, 장애물들에 대해 검사하기 위해 차량의 하나 이상의 바퀴의 뷰들을 선택적으로 제공할 수 있는 전환 가능한 바퀴 뷰 미러들을 위한 시스템들이 제공된다. 전환 가능한 바퀴 뷰 미러를 위한 시스템은 차량에 결합된 이미지 센서, 반사 표면 및 액추에이터를 포함할 수 있다. 이미지 센서는 이미지 센서의 시야 내의 이미지를 캡처할 수 있다. 반사 표면은 제1 위치와 제2 위치 사이에서 반사 표면을 이동시키는 액추에이터에 결합될 수 있다. 제1 위치에서, 차량의 바퀴의 적어도 일 부분의 뷰가 반사 표면 내에서 보이고, 반사 표면이 이미지 센서의 시야 내에 적어도 부분적으로 배치된다. 방법들 및 컴퓨터 프로그램 제품들이 또한 제공된다.

Description

전환 가능한 바퀴 뷰 미러{SWITCHABLE WHEEL VIEW MIRRORS}
자율 주행 시스템들을 갖춘 차량들이 점점 보편화되고 있다. 그러한 차량들은 종종 그의 운행을 용이하게 하기 위해 프로세싱되는 데이터를 제공하는 복수의 센서들을 사용한다. 복수의 센서들은 일반적으로 차량 주위, 예를 들어, 차량의 전방, 후방, 우측 및 좌측의 환경에 기초하여 데이터를 제공하도록 구성될 수 있다. 그럼에도, 자동차 아래에 있는, 예를 들어, 차량의 바퀴들 주위에 있는 대상체들의 검출은 어렵고 복잡할 수 있다.
도 1은 자율 주행 시스템(autonomous system)의 하나 이상의 컴포넌트를 포함하는 차량이 구현될 수 있는 예시적인 환경이다.
도 2는 자율 주행 시스템을 포함하는 차량의 하나 이상의 시스템의 다이어그램이다.
도 3은 도 1 및 도 2의 하나 이상의 디바이스 및/또는 하나 이상의 시스템의 컴포넌트들의 다이어그램이다.
도 4는 자율 주행 시스템의 특정 컴포넌트들의 다이어그램이다.
도 5는 전환 가능한 바퀴 뷰 미러들을 포함하는 차량의 하나 이상의 시스템의 다이어그램이다.
도 6a는 제1 위치에 있는 그의 반사 표면과 함께 예시된 전환 가능한 바퀴 뷰 미러 어셈블리의 일 실시예의 다이어그램이다.
도 6b는 제2 위치에 있는 그의 반사 표면과 함께 예시된 도 6a의 전환 가능한 바퀴 뷰 미러 어셈블리의 다이어그램이다.
도 7a는 제1 위치에 있는 그 상의 반사 표면과 함께 예시된 전환 가능한 바퀴 뷰 미러 어셈블리를 포함하는 차량의 전면 부분의 측면도이다.
도 7b는 제2 위치에 있는 그의 반사 표면과 함께 예시된 전환 가능한 바퀴 뷰 미러 어셈블리를 포함하는 도 7a의 차량의 전면 부분의 측면도이다.
도 8a는 전환 가능한 타이어 뷰 미러 어셈블리들을 포함하는 차량의 컴포넌트들의 평면도 다이어그램이다.
도 8b는 전환 가능한 타이어 뷰 미러 어셈블리들을 포함하는 도 8a의 차량의 컴포넌트들의 평면도 다이어그램이다.
도 8c는 전환 가능한 타이어 뷰 미러 어셈블리들을 포함하는 도 8a의 차량의 컴포넌트들의 측면도 다이어그램이다.
도 9a는 전환 가능한 바퀴 뷰 미러 어셈블리들을 포함하는 차량 상의 전방 카메라의 이미지 센서로 캡처된 예시적인 이미지이다.
도 9b는 차량의 바퀴들의 반사된 뷰를 포함하는 전개된 위치에 있는 전환 가능한 바퀴 뷰 미러 어셈블리들과 함께 예시된 도 9a의 차량의 전방 카메라의 이미지 센서로 캡처된 예시적인 이미지이다.
도 9c는 차량의 바퀴들 중 하나의 바퀴 전방에 위치된 대상체의 반사된 뷰를 포함하는 전개된 위치에 있는 전환 가능한 바퀴 뷰 미러 어셈블리들과 함께 예시된 도 9a의 차량의 전방 카메라의 이미지 센서로 캡처된 예시적인 이미지이다.
도 10은 전환 가능한 바퀴 뷰 미러들을 위한 프로세스의 일 실시예의 플로차트이다.
도 11은 전환 가능한 바퀴 뷰 미러들을 위한 프로세스의 다른 실시예의 플로차트이다.
이하의 설명에서는, 설명 목적으로 본 개시에 대한 완전한 이해를 제공하기 위해 다수의 특정 세부 사항들이 제시된다. 그렇지만, 본 개시에 의해 기술되는 실시예들이 이러한 특정 세부 사항들이 없더라도 실시될 수 있음이 명백할 것이다. 일부 경우에, 본 개시의 양태들을 불필요하게 모호하게 하는 것을 피하기 위해 잘 알려진 구조들 및 디바이스들은 블록 다이어그램 형태로 예시되어 있다.
시스템들, 디바이스들, 모듈들, 명령어 블록들, 데이터 요소들 등을 나타내는 것들과 같은, 개략적인 요소들의 특정 배열들 또는 순서들이 설명의 편의를 위해 도면들에 예시되어 있다. 그렇지만, 본 기술 분야의 통상의 기술자라면 도면들에서의 개략적인 요소들의 특정 순서 또는 배열이, 그러한 것으로 명시적으로 기술되지 않는 한, 프로세스들의 특정 프로세싱 순서 또는 시퀀스, 또는 프로세스들의 분리가 필요하다는 것을 암시하는 것으로 의미되지 않음을 이해할 것이다. 게다가, 도면에 개략적인 요소를 포함시키는 것은, 그러한 것으로 명시적으로 기술되지 않는 한 일부 실시예들에서, 그러한 요소가 모든 실시예들에서 필요하다는 것 또는 그러한 요소에 의해 표현되는 특징들이 다른 요소들에 포함되지 않을 수 있거나 다른 요소들과 결합되지 않을 수 있다는 것을 암시하는 것으로 의미되지 않는다.
게다가, 2 개 이상의 다른 개략적인 요소 사이의 연결, 관계 또는 연관을 예시하기 위해 실선 또는 파선 또는 화살표와 같은 연결 요소들이 도면들에서 사용되는 경우에, 임의의 그러한 연결 요소들의 부재는 연결, 관계 또는 연관이 존재할 수 없음을 암시하는 것으로 의미되지 않는다. 환언하면, 본 개시를 모호하게 하지 않기 위해 요소들 사이의 일부 연결들, 관계들 또는 연관들이 도면들에 예시되어 있지 않다. 추가적으로, 예시의 편의를 위해, 요소들 사이의 다수의 연결들, 관계들 또는 연관들을 나타내기 위해 단일의 연결 요소가 사용될 수 있다. 예를 들어, 연결 요소가 신호들, 데이터 또는 명령어들(예를 들면, "소프트웨어 명령어들")의 통신을 나타내는 경우에, 본 기술 분야의 통상의 기술자라면 그러한 요소가, 통신을 수행하기 위해 필요하게 될 수 있는, 하나 또는 다수의 신호 경로(예를 들면, 버스)를 나타낼 수 있다는 것을 이해할 것이다.
제1, 제2, 제3 등의 용어들이 다양한 컴포넌트들을 기술하는 데 사용되지만, 이러한 요소들이 이러한 용어들에 의해 제한되어서는 안된다. 제1, 제2, 제3 등의 용어들은 하나의 요소를 다른 요소와 구별하는 데만 사용된다. 예를 들어, 기술된 실시예들의 범위를 벗어나지 않으면서, 제1 접촉은 제2 접촉이라고 지칭될 수 있고, 유사하게 제2 접촉은 제1 접촉이라고 지칭될 수 있다. 제1 접촉과 제2 접촉은 둘 모두 접촉이지만, 동일한 접촉은 아니다.
본원에서의 다양한 기술된 실시예들에 대한 설명에서 사용되는 전문용어는 특정 실시예들을 기술하기 위해서만 포함되어 있으며, 제한하는 것으로 의도되지 않는다. 다양한 기술된 실시예들에 대한 설명 및 첨부된 청구항들에서 사용되는 바와 같이, 단수 형태들("a", "an" 및 "the")은 복수 형태들도 포함하는 것으로 의도되고, 문맥이 달리 명확히 나타내지 않는 한, "하나 이상" 또는 "적어도 하나"와 상호 교환 가능하게 사용될 수 있다. "및/또는"이라는 용어가, 본원에서 사용되는 바와 같이, 연관된 열거된 항목들 중 하나 이상의 항목의 임의의 및 모든 가능한 조합들을 지칭하고 포괄한다는 것이 또한 이해될 것이다. "포함한다(includes)", 포함하는(including), 포함한다(comprises)" 및/또는 "포함하는(comprising)"이라는 용어들이, 본 설명에서 사용될 때, 언급된 특징들, 정수들, 단계들, 동작들, 요소들, 및/또는 컴포넌트들의 존재를 명시하지만, 하나 이상의 다른 특징, 정수, 단계, 동작, 요소, 컴포넌트, 및/또는 이들의 그룹들의 존재 또는 추가를 배제하지 않는다는 것이 추가로 이해될 것이다.
본원에서 사용되는 바와 같이, "통신" 및 "통신하다"라는 용어들은 정보(또는, 예를 들어, 데이터, 신호들, 메시지들, 명령어들, 커맨드들 등에 의해 표현되는 정보)의 수신, 접수, 송신, 전달, 제공 등 중 적어도 하나를 지칭한다. 하나의 유닛(예를 들면, 디바이스, 시스템, 디바이스 또는 시스템의 컴포넌트, 이들의 조합들 등)이 다른 유닛과 통신한다는 것은 하나의 유닛이 직접 또는 간접적으로 다른 유닛으로부터 정보를 수신하고/하거나 다른 유닛으로 정보를 전송(예를 들면, 송신)할 수 있음을 의미한다. 이것은 본질적으로 유선 및/또는 무선인 직접 또는 간접 연결을 지칭할 수 있다. 추가적으로, 송신되는 정보가 제1 유닛과 제2 유닛 사이에서 수정, 프로세싱, 중계 및/또는 라우팅될 수 있을지라도 2 개의 유닛은 서로 통신하고 있을 수 있다. 예를 들어, 제1 유닛이 정보를 수동적으로 수신하고 정보를 제2 유닛으로 능동적으로 송신하지 않을지라도 제1 유닛은 제2 유닛과 통신하고 있을 수 있다. 다른 예로서, 적어도 하나의 중간 유닛(예를 들면, 제1 유닛과 제2 유닛 사이에 위치하는 제3 유닛)이 제1 유닛으로부터 수신되는 정보를 프로세싱하고 프로세싱된 정보를 제2 유닛으로 송신하는 경우 제1 유닛은 제2 유닛과 통신하고 있을 수 있다. 일부 실시예들에서, 메시지는 데이터를 포함하는 네트워크 패킷(예를 들면, 데이터 패킷 등)을 지칭할 수 있다.
본원에서 사용되는 바와 같이, "~ 경우"라는 용어는, 선택적으로, 문맥에 따라 "~할 때", 또는 "~시에" 또는 "~라고 결정하는 것에 응답하여", "~을 검출하는 것에 응답하여" 등을 의미하는 것으로 해석된다. 유사하게, 문구 "~라고 결정되는 경우" 또는 "[언급된 조건 또는 이벤트]가 검출되는 경우"는, 선택적으로, 문맥에 따라, "~라고 결정할 시에", "~라고 결정하는 것에 응답하여", "[언급된 조건 또는 이벤트]를 검출할 시에", "[언급된 조건 또는 이벤트]를 검출하는 것에 응답하여" 등을 의미하는 것으로 해석된다. 또한, 본원에서 사용되는 바와 같이, "갖는다"(has, have), "갖는(having)" 등의 용어들은 개방형(open-ended) 용어들인 것으로 의도된다. 게다가, 문구 "~에 기초하여"는, 달리 명시적으로 언급되지 않는 한, "~에 적어도 부분적으로 기초하여"를 의미하는 것으로 의도된다.
그 예가 첨부 도면들에 예시되어 있는 실시예들에 대해 이제 상세하게 언급될 것이다. 이하의 상세한 설명에서, 다양한 기술된 실시예들에 대한 완전한 이해를 제공하기 위해 수많은 특정 세부 사항들이 기재된다. 그렇지만, 다양한 기술된 실시예들이 이러한 특정 세부 사항들이 없더라도 실시될 수 있다는 것이 본 기술 분야의 통상의 기술자에게 명백할 것이다. 다른 경우에, 실시예들의 양태들을 불필요하게 모호하게 하지 않기 위해 잘 알려진 방법들, 절차들, 컴포넌트들, 회로들, 및 네트워크들은 상세하게 기술되지 않았다.
전환 가능한 바퀴 뷰 미러들의 소개
일부 양태들 및/또는 실시예들에서, 본원에 기술된 시스템들, 방법들 및 컴퓨터 프로그램 제품들은 전환 가능한 바퀴 뷰 미러들을 포함 및 구현한다. 전환 가능한 바퀴 뷰 미러들은, 예를 들어, 대상체들 또는 장애물들에 대해 바퀴들을 모니터링하기 위해, 차량의 바퀴들 주위의 영역들의 뷰들을 제공하기 위해 차량 상의 카메라들과 함께 사용될 수 있다. 전환 가능한 바퀴 뷰 미러들은 완전 자율 주행, 고도 자율 주행 또는 반자율 주행 운전 또는 운행을 가능하게 하는 자율 주행 시스템들을 포함하는 차량들 상에 포함될 수 있다. 전환 가능한 바퀴 뷰 미러들은, 비자율 주행 차량들 또는 자율 주행 시스템들을 포함하지 않는 차량들을 포함하여, 다른 유형들의 차량들 상에도 포함될 수 있다.
일부 실시예들에서, 전환 가능한 바퀴 뷰 미러들을 포함하는 시스템들은 이미지를 캡처하기 위한 이미지 센서 및 하나 이상의 전환 가능한 바퀴 뷰 미러 어셈블리를 포함할 수 있다. 이미지 센서는 차량 상에 위치된 카메라의 컴포넌트일 수 있다. 일부 실시예들에서, 카메라는 광각 카메라일 수 있다. 일부 실시예들에서, 이미지 센서 및/또는 카메라는 차량으로부터의 일반적으로 전방 뷰 또는 일반적으로 후방 뷰를 캡처하도록 위치된다. 하나 이상의 전환 가능한 바퀴 뷰 미러 어셈블리는 반사 표면을 일반적으로 이미지 센서의 시야 밖에 있는 위치로부터 일반적으로 이미지 센서의 시야 내에 있는 위치로 이동시키도록 구성될 수 있다. 반사 표면은, 일반적으로 이미지 센서의 시야 내에 위치될 때, 차량의 바퀴의 적어도 일 부분의 반사된 뷰가 이미지 센서의 시야 내에서 보이도록 위치될 수 있어, 이미지 센서가 바퀴의 적어도 일 부분을 포함하는 이미지를 캡처할 수 있게 한다. 바퀴에 근접하여 위치된 임의의 대상체들(예를 들면, 차량의 움직임 동안 바퀴에 부딪힐 수 있는 대상체들)이 있는지 여부를 결정하기 위해 이미지가 이어서 분석될 수 있다. 일부 실시예들에서, 대상체들이 검출되는 경우, 예를 들어, 대상체가 제거될 때까지 차량의 움직임이 금지될 수 있다. 일부 실시예들에서, 대상체들이 검출되지 않는 경우, 차량의 움직임이 허용된다. 이러한 방식으로, 전환 가능한 바퀴 뷰 미러들을 사용하여, 일반적으로 그렇지 않았으면 차량들의 바퀴들의 이미지들을 캡처할 수 없을 차량 상에 위치된 카메라들의 이미지 센서들(예를 들면, 전방 또는 후방 카메라들의 이미지 센서들)을 사용하여 차량의 바퀴들 주위에 위치된 대상체들이 검사될 수 있다.
예로서, 차량의 하나 이상의 바퀴의 적어도 일 부분의 뷰를 제공하기 위한 시스템은 이미지 센서, 반사 표면, 및 액추에이터를 포함할 수 있다. 이미지 센서는 차량에 결합될 수 있고, 이미지 센서는 이미지 센서의 시야 내의 이미지를 캡처하도록 구성될 수 있다. 반사 표면은 액추에이터에 결합될 수 있다. 액추에이터는 차량에 결합될 수 있다. 액추에이터는 제1 위치와 제2 위치 사이에서 반사 표면을 이동시키도록 구성될 수 있다. 제1 위치에서, 차량의 바퀴의 적어도 일 부분의 뷰가 반사 표면 내에서 보이고, 반사 표면이 이미지 센서의 시야 내에 적어도 부분적으로 배치된다. 따라서, 제1 위치는 반사 표면의 전개된 위치로 간주될 수 있다. 액추에이터는 반사 표면을 제2 위치로 이동시키도록 더 구성될 수 있다. 제2 위치에서, 반사 표면은 실질적으로 차량의 차체 패널 내에 위치될 수 있고/있거나 반사 표면은 이미지 센서의 시야 내에서 실질적으로 보이지 않을 수 있다.
전환 가능한 바퀴 뷰 미러들을 사용하는 다른 예로서, 차량의 바퀴의 적어도 일 부분을 선택적으로 보기 위한 방법은 반사 표면을 제2 위치로부터 제1 위치로 이동시키는 단계를 포함할 수 있다. 제1 위치에서, 반사 표면은 차량의 바퀴의 적어도 일 부분의 반사된 뷰가 차량에 결합된 이미지 센서의 시야 내의 반사 표면 상에서 보이도록, 이미지 센서의 시야 내에 위치할 수 있다. 이 방법은 이미지 센서로 이미지를 캡처하는 단계를 또한 포함할 수 있다. 이 방법은 차량의 바퀴에 대한 대상체의 위치 및 대상체의 대상체 유형을 결정하기 위해 이미지를 분석하는 단계를 추가적으로 포함할 수 있다. 이 방법은 대상체의 유형 및 차량의 바퀴에 대한 대상체의 위치에 기초하여 차량의 움직임이 허용되는지 여부를 결정하는 단계를 또한 포함할 수 있다. 일부 실시예들에서, 이 방법은 비일시적 저장 매체에 명령어들로서 저장될 수 있다. 명령어들은 프로세서로 하여금 이 방법을 실행하게 하도록 구성될 수 있다.
그에 따라, 전환 가능한 바퀴 뷰 미러들은 장애물들에 대해 차량들의 바퀴들을 모니터링하기 위해 차량 상의 전방 카메라, 후방 카메라 또는 다른 카메라들과 연관된 이미지 센서들과 조합하여 차량에서 사용될 수 있다. 예를 들어, 운전하기 전에, 차량에 결합된 반사 표면은 차량의 전방 광각 카메라의 시야 내로 이동되고 카메라의 이미지 내에서 바퀴의 뷰가 보이도록 위치할 수 있다. 차량의 움직임을 가능하게 하기 전에 장애물들에 대해 검사하기 위해 이미지가 분석될 수 있다. 반사 표면들은 앞바퀴들 및/또는 뒷바퀴들의 뷰들을 제공하기 위해 상이한 위치들에서 차량 상에 위치될 수 있다.
전환 가능한 바퀴 뷰 미러들은 "전환 가능"이라고 지칭될 수 있는데, 그 이유는, 일부 실시예들에서, 이들이 적어도 2 개의 위치 사이에서 선택적으로 이동하도록 구성된 반사 표면들을 포함하기 때문이다. 2 개의 위치는, 일부 실시예들에서, (1) 전개된 위치, 연장된 위치, 또는 일반적으로 또는 실질적으로 이미지 센서의 시야 내에 반사 표면을 다른 방식으로 위치시키는 위치, 및 (2) 은폐된 위치, 숨겨진 위치, 후퇴된 위치, 또는 일반적으로 또는 실질적으로 이미지 센서의 시야 밖에 반사 표면을 다른 방식으로 위치시키는 위치일 수 있다.
본원에 기술된 시스템들, 방법들 및 컴퓨터 프로그램 제품들의 구현들에 의해, 전환 가능한 바퀴 뷰 미러들에 대한 기술들은 이하의 장점들 중 하나 이상을 제공할 수 있다. 전환 가능한 바퀴 뷰 미러들은 차량의 바퀴들 주위에 위치된 대상체들이 검출될 수 있게 할 수 있다. 유리하게는, 전환 가능한 바퀴 뷰 미러들은 바퀴들 주위에 위치한 대상체들을 검출하기 위한 추가적인 또는 전용의 센서들을 포함할 필요 없이 그러한 검출을 가능하게 할 수 있다. 오히려, 다른 목 적들을 위해 차량 상에 이미 포함될 수 있는 이미지 센서(예를 들면, 전방 또는 후방 카메라들)의 시야에 반사 표면을 선택적으로 위치시키는 것에 의해, 그러한 이미지 센서는 반사 표면들 상의 바퀴들 주위의 영역의 반사된 이미지를 캡처할 수 있다.
이것 자체가 여러 이유들로 유리할 수 있다. 첫째, 이는, 예를 들어, 차량이 움직이게 될 때 바퀴들에 근접하여 위치된 대상체들이 바퀴들과 접촉될(예를 들면, 바퀴들에 의해 치이게 될) 가능성을 방지하거나 감소시키는 것에 의해 차량 안전을 개선시킬 수 있다. 이러한 맥락에서 차량 안전은 차량을 제어하거나 운전하기 위한 자율 주행 시스템들을 포함하는 차량들과 특히 관련될 수 있다. 일부 실시예들에서, 그러한 시스템들은 차량이 인간 운전자 없이 작동될 수 있게 한다. 인간 운전자가 없는 경우, 운전을 시작하기 전에 차량의 바퀴들 주위를 검사할 수 있는 사람이 없을 수 있다. 그에 따라, 자율 주행 시스템이 운전 이전에 차량의 바퀴들 주위의 영역을 검사 또는 모니터링하여, 인명, 재산 또는 차량 자체에 대한 피해를 야기할 수 있는, 사고들을 피하는 것이 유리할 것이다. 그에 따라, 전환 가능한 바퀴 뷰 미러들은 차량 안전을 개선시킬 수 있다.
둘째, 기존의 이미지 센서들이 사용될 수 있기 때문에, 차량은 물론 그의 컴포넌트 시스템들의 전체적인 복잡도가 감소될 수 있다. 예를 들어, 전용 바퀴 모니터링 센서들이 필요하지 않기 때문에 보다 적은 수의 전체 센서들이 포함될 필요가 있다. 이것은 유리하게도, 여전히 원하는 성능을 제공하면서도, 차량과 연관된 전체 비용을 감소시킬 수 있다. 복잡도의 감소는 차량의 유지 관리를 용이하게 하거나 단순화하는 것으로 더 확장될 수 있다. 예를 들어, 보다 적은 수의 센서들이 포함될 필요가 있기 때문에, 센서들과 연관된 유지 관리 비용이 또한 감소될 수 있다.
추가적으로, 바퀴 모니터링과 연관된 데이터를 프로세싱하는 데 필요한 프로세싱 능력 또는 부하가 감소될 수 있다. 예를 들어, 전용 센서들이 바퀴들을 모니터링하는 데 사용되는 경우, 각각의 바퀴는 적어도 하나의 센서에 의해 모니터링될 수 있으며, 각각의 센서는 바퀴 장애물들이 존재하는지 여부를 결정하기 위해 프로세싱될 필요가 있을 데이터를 생성할 것이다. 이것은 전방 및/또는 후방 카메라들에 의해 수집되는 데이터를 프로세싱하는 데 이미 필요하게 될 프로세싱 이외의 것이다. 전환 가능한 바퀴 뷰 미러들에 의해, 전용 센서들이 생략될 수 있고, 이미 프로세싱되었을 가능성이 있는 전방 및/또는 후방 카메라들로부터의 데이터를 프로세싱하는 것에 의해 바퀴 모니터링이 달성될 수 있다. 따라서, 이는 바퀴 모니터링에 필요한 프로세싱 능력 또는 부하의 상당한 감소를 결과할 수 있다.
그에 따라, 본원에 기술된 바와 같은 전환 가능한 바퀴 뷰 미러들을 포함하는 일부 실시예들은, 장점들 중에서도, 차량 안전을 개선시키면서도, 비용 감소, 복잡도 감소 및/또는 프로세싱 부하 감소를 결과할 수 있다. 전환 가능한 바퀴 뷰 미러들은 유리하게도 자율 주행 시스템들을 포함하는 차량들에 대해 사용될 수 있고 또한 자율 주행 시스템들을 포함하지 않는 차량들에서 유용하고 유리하다.
자율 주행 시스템들을 포함하는 차량들의 일반적 개관
이제 도 1을 참조하면, 자율 주행 시스템들을 포함하는 차량들은 물론 그렇지 않은 차량들이 작동되는 예시적인 환경(100)이 예시되어 있다. 예시된 바와 같이, 환경(100)은 차량들(102a 내지 102n), 대상체들(104a 내지 104n), 루트들(106a 내지 106n), 영역(108), 차량 대 인프라스트럭처(vehicle-to-infrastructure, V2I) 디바이스(110), 네트워크(112), 원격 자율 주행 차량(AV) 시스템(114), 플릿 관리 시스템(fleet management system)(116), 및 V2I 시스템(118)을 포함한다. 차량들(102a 내지 102n), 차량 대 인프라스트럭처(V2I) 디바이스(110), 네트워크(112), 자율 주행 차량(AV) 시스템(114), 플릿 관리 시스템(116), 및 V2I 시스템(118)은 유선 연결들, 무선 연결들, 또는 유선 또는 무선 연결들의 조합을 통해 상호연결한다(예를 들면, 통신 등을 위해 연결을 확립한다). 일부 실시예들에서, 대상체들(104a 내지 104n)은 유선 연결들, 무선 연결들 또는 유선 또는 무선 연결들의 조합을 통해 차량들(102a 내지 102n), 차량 대 인프라스트럭처(V2I) 디바이스(110), 네트워크(112), 자율 주행 차량(AV) 시스템(114), 플릿 관리 시스템(116), 및 V2I 시스템(118) 중 적어도 하나와 상호연결한다.
차량들(102a 내지 102n)(개별적으로 차량(102)이라고 지칭되고 집합적으로 차량들(102)이라고 지칭됨)은 상품 및/또는 사람을 운송하도록 구성된 적어도 하나의 디바이스를 포함한다. 일부 실시예들에서, 차량들(102)은 네트워크(112)를 통해 V2I 디바이스(110), 원격 AV 시스템(114), 플릿 관리 시스템(116), 및/또는 V2I 시스템(118)과 통신하도록 구성된다. 일부 실시예들에서, 차량들(102)은 자동차들, 버스들, 트럭들, 기차들 등을 포함한다. 일부 실시예들에서, 차량들(102)은 본원에 기술된 차량들(200)(도 2 참조)과 동일하거나 유사하다. 일부 실시예들에서, 일단의 차량들(200) 중의 차량(200)은 자율 주행 플릿 관리자와 연관된다. 일부 실시예들에서, 차량들(102)은, 본원에 기술된 바와 같이, 각자의 루트들(106a 내지 106n)(개별적으로 루트(106)라고 지칭되고 집합적으로 루트들(106)이라고 지칭됨)을 따라 주행한다. 일부 실시예들에서, 하나 이상의 차량(102)은 자율 주행 시스템(예를 들면, 자율 주행 시스템(202)과 동일하거나 유사한 자율 주행 시스템)을 포함한다.
대상체들(104a 내지 104n)(개별적으로 대상체(104)라고 지칭되고 집합적으로 대상체들(104)이라고 지칭됨)은, 예를 들어, 적어도 하나의 차량, 적어도 하나의 보행자, 적어도 하나의 자전거 타는 사람, 적어도 하나의 구조물(예를 들면, 건물, 표지판, 소화전(fire hydrant) 등) 등을 포함한다. 각각의 대상체(104)는 정지해 있거나(예를 들면, 일정 시간 기간 동안 고정 위치에 위치하거나) 이동하고 있다(예를 들면, 속도를 가지며 적어도 하나의 궤적과 연관되어 있다). 일부 실시예들에서, 대상체들(104)은 영역(108) 내의 대응하는 위치들과 연관되어 있다.
루트들(106a 내지 106n)(개별적으로 루트(106)라고 지칭되고 집합적으로 루트들(106)이라고 지칭됨)은 각각 AV가 운행할 수 있는 상태들을 연결하는 행동들의 시퀀스(궤적이라고도 함)와 연관된다(예를 들면, 이를 규정한다). 각각의 루트(106)는 초기 상태(예를 들면, 제1 시공간적 위치, 속도 등에 대응하는 상태) 및 최종 목표 상태(예를 들면, 제1 시공간적 위치와 상이한 제2 시공간적 위치에 대응하는 상태) 또는 목표 영역(예를 들면, 허용 가능한 상태들(예를 들면, 종료 상태들(terminal states))의 부분 공간(subspace))에서 시작된다. 일부 실시예들에서, 제1 상태는 개인 또는 개인들이 AV에 의해 픽업(pick-up)되어야 하는 위치를 포함하고 제2 상태 또는 영역은 AV에 의해 픽업된 개인 또는 개인들이 하차(drop-off)해야 하는 위치 또는 위치들을 포함한다. 일부 실시예들에서, 루트들(106)은 복수의 허용 가능한 상태 시퀀스들(예를 들면, 복수의 시공간적 위치 시퀀스들)을 포함하며, 복수의 상태 시퀀스들은 복수의 궤적들과 연관된다(예를 들면, 이를 정의한다). 일 예에서, 루트들(106)은, 도로 교차로들에서의 회전 방향들을 지시하는 일련의 연결된 도로들과 같은, 상위 레벨 행동들 또는 부정확한 상태 위치들만을 포함한다. 추가적으로 또는 대안적으로, 루트들(106)은, 예를 들어, 특정 목표 차선들 또는 차선 영역들 내에서의 정확한 위치들 및 해당 위치들에서의 목표 속력과 같은, 보다 정확한 행동들 또는 상태들을 포함할 수 있다. 일 예에서, 루트들(106)은 중간 목표들에 도달하기 위해 제한된 룩어헤드 호라이즌(lookahead horizon)을 갖는 적어도 하나의 상위 레벨 행동 시퀀스를 따른 복수의 정확한 상태 시퀀스들을 포함하며, 여기서 제한된 호라이즌 상태 시퀀스들의 연속적인 반복들의 조합은 누적되어 복수의 궤적들에 대응하며 이 복수의 궤적들은 집합적으로 최종 목표 상태 또는 영역에서 종료하는 상위 레벨 루트를 형성한다.
영역(108)은 차량들(102)이 운행할 수 있는 물리적 영역(예를 들면, 지리적 영역)을 포함한다. 일 예에서, 영역(108)은 적어도 하나의 주(state)(예를 들면, 국가, 지방, 국가에 포함된 복수의 주들의 개개의 주 등), 주의 적어도 하나의 부분, 적어도 하나의 도시, 도시의 적어도 하나의 부분 등을 포함한다. 일부 실시예들에서, 영역(108)은 간선 도로, 주간 간선 도로, 공원 도로, 도시 거리 등과 같은 적어도 하나의 명명된 주요 도로(thoroughfare)(본원에서 "도로"라고 지칭됨)를 포함한다. 추가적으로 또는 대안적으로, 일부 예들에서, 영역(108)은 진입로, 주차장의 섹션, 공터 및/또는 미개발 부지의 섹션, 비포장 경로 등과 같은 적어도 하나의 명명되지 않은 도로를 포함한다. 일부 실시예들에서, 도로는 적어도 하나의 차선(예를 들면, 차량(102)에 의해 횡단될 수 있는 도로의 일 부분)을 포함한다. 일 예에서, 도로는 적어도 하나의 차선 마킹과 연관된(예를 들면, 이에 기초하여 식별되는) 적어도 하나의 차선을 포함한다.
차량 대 인프라스트럭처(V2I) 디바이스(110)(때때로 차량 대 인프라스트럭처(V2X) 디바이스라고 지칭됨)는 차량들(102) 및/또는 V2I 인프라스트럭처 시스템(118)과 통신하도록 구성된 적어도 하나의 디바이스를 포함한다. 일부 실시예들에서, V2I 디바이스(110)는 네트워크(112)를 통해 차량들(102), 원격 AV 시스템(114), 플릿 관리 시스템(116), 및/또는 V2I 시스템(118)과 통신하도록 구성된다. 일부 실시예들에서, V2I 디바이스(110)는 RFID(radio frequency identification) 디바이스, 사이니지(signage), 카메라(예를 들면, 2차원(2D) 및/또는 3차원(3D) 카메라), 차선 마커, 가로등, 주차 미터기 등을 포함한다. 일부 실시예들에서, V2I 디바이스(110)는 차량들(102)과 직접 통신하도록 구성된다. 추가적으로 또는 대안적으로, 일부 실시예들에서, V2I 디바이스(110)는 V2I 시스템(118)을 통해 차량들(102), 원격 AV 시스템(114), 및/또는 플릿 관리 시스템(116)과 통신하도록 구성된다. 일부 실시예들에서, V2I 디바이스(110)는 네트워크(112)를 통해 V2I 시스템(118)과 통신하도록 구성된다.
네트워크(112)는 하나 이상의 유선 및/또는 무선 네트워크를 포함한다. 일 예에서, 네트워크(112)는 셀룰러 네트워크(예를 들면, LTE(long term evolution) 네트워크, 3G(third generation) 네트워크, 4G(fourth generation) 네트워크, 5G(fifth generation) 네트워크, CDMA(code division multiple access) 네트워크 등), PLMN(public land mobile network), LAN(local area network), WAN(wide area network), MAN(metropolitan area network), 전화 네트워크(예를 들면, PSTN(public switched telephone network)), 사설 네트워크, 애드혹 네트워크, 인트라넷, 인터넷, 광섬유 기반 네트워크, 클라우드 컴퓨팅 네트워크 등, 이러한 네트워크들의 일부 또는 전부의 조합 등을 포함한다.
원격 AV 시스템(114)은 네트워크(112)를 통해 차량들(102), V2I 디바이스(110), 네트워크(112), 원격 AV 시스템(114), 플릿 관리 시스템(116), 및/또는 V2I 시스템(118)과 통신하도록 구성된 적어도 하나의 디바이스를 포함한다. 일 예에서, 원격 AV 시스템(114)은 서버, 서버들의 그룹, 및/또는 다른 유사한 디바이스들을 포함한다. 일부 실시예들에서, 원격 AV 시스템(114)은 플릿 관리 시스템(116)과 동일 위치에 배치된다(co-located). 일부 실시예들에서, 원격 AV 시스템(114)은 자율 주행 시스템, 자율 주행 차량 컴퓨터, 자율 주행 차량 컴퓨터에 의해 구현되는 소프트웨어 등을 포함한, 차량의 컴포넌트들의 일부 또는 전부의 설치에 관여된다. 일부 실시예들에서, 원격 AV 시스템(114)은 차량의 수명 동안 그러한 컴포넌트들 및/또는 소프트웨어를 유지 관리(예를 들면, 업데이트 및/또는 교체)한다.
플릿 관리 시스템(116)은 차량들(102), V2I 디바이스(110), 원격 AV 시스템(114), 및/또는 V2I 인프라스트럭처 시스템(118)과 통신하도록 구성된 적어도 하나의 디바이스를 포함한다. 일 예에서, 플릿 관리 시스템(116)은 서버, 서버들의 그룹, 및/또는 다른 유사한 디바이스들을 포함한다. 일부 실시예들에서, 플릿 관리 시스템(116)은 라이드 셰어링(ridesharing) 회사(예를 들면, 다수의 차량들(예를 들면, 자율 주행 시스템들을 포함하는 차량들 및/또는 자율 주행 시스템들을 포함하지 않는 차량들)의 작동을 제어하는 조직 등)와 연관된다.
일부 실시예들에서, V2I 시스템(118)은 네트워크(112)를 통해 차량들(102), V2I 디바이스(110), 원격 AV 시스템(114), 및/또는 플릿 관리 시스템(116)과 통신하도록 구성된 적어도 하나의 디바이스를 포함한다. 일부 예들에서, V2I 시스템(118)은 네트워크(112)와 상이한 연결을 통해 V2I 디바이스(110)와 통신하도록 구성된다. 일부 실시예들에서, V2I 시스템(118)은 서버, 서버들의 그룹, 및/또는 다른 유사한 디바이스들을 포함한다. 일부 실시예들에서, V2I 시스템(118)은 지자체 또는 사설 기관(예를 들면, V2I 디바이스(110) 등을 유지 관리하는 사설 기관)과 연관된다.
도 1에 예시된 요소들의 수 및 배열은 예로서 제공된다. 도 1에 예시된 것보다, 추가적인 요소들, 더 적은 요소들, 상이한 요소들 및/또는 상이하게 배열된 요소들이 있을 수 있다. 추가적으로 또는 대안적으로, 환경(100)의 적어도 하나의 요소는 도 1의 적어도 하나의 상이한 요소에 의해 수행되는 것으로 기술된 하나 이상의 기능을 수행할 수 있다. 추가적으로 또는 대안적으로, 환경(100)의 적어도 하나의 요소 세트는 환경(100)의 적어도 하나의 상이한 요소 세트에 의해 수행되는 것으로 기술된 하나 이상의 기능을 수행할 수 있다.
이제 도 2를 참조하면, 차량(200)은 자율 주행 시스템(202), 파워트레인 제어 시스템(204), 조향 제어 시스템(206), 및 브레이크 시스템(208)을 포함한다. 일부 실시예들에서, 차량(200)은 차량(102)(도 1 참조)과 동일하거나 유사하다. 일부 실시예들에서, 차량(102)은 자율 주행 능력을 가질 수 있다(예를 들면, 완전 자율 주행 차량들(예를 들면, 인간 개입에 의존하지 않는 차량들), 고도 자율 주행 차량들(예를 들면, 특정 상황들에서 인간 개입에 의존하지 않는 차량들) 등을, 제한 없이, 포함한, 차량(200)이 인간 개입 없이 부분적으로 또는 완전히 작동될 수 있게 하는 적어도 하나의 기능, 특징, 디바이스 등을 구현할 수 있다). 완전 자율 주행 차량들 및 고도 자율 주행 차량들에 대한 상세한 설명에 대해서는, 그 전체가 참고로 포함되는, SAE International's standard J3016: Taxonomy and Definitions for Terms Related to On-Road Motor Vehicle Automated Driving Systems를 참조할 수 있다. 일부 실시예들에서, 차량(200)은 자율 주행 플릿 관리자 및/또는 라이드 셰어링 회사와 연관된다.
자율 주행 시스템(202)은 카메라들(202a), LiDAR 센서들(202b), 레이더 센서들(202c), 및 마이크로폰들(202d)과 같은 하나 이상의 디바이스를 포함하는 센서 스위트(sensor suite)를 포함한다. 일부 실시예들에서, 자율 주행 시스템(202)은 보다 많거나 보다 적은 디바이스들 및/또는 상이한 디바이스들(예를 들면, 초음파 센서들, 관성 센서들, GPS 수신기들(아래에서 논의됨), 차량(200)이 주행한 거리의 표시와 연관된 데이터를 생성하는 주행 거리 측정 센서들 등)을 포함할 수 있다. 일부 실시예들에서, 자율 주행 시스템(202)은 자율 주행 시스템(202)에 포함된 하나 이상의 디바이스를 사용하여 본원에서 기술되는 환경(100)과 연관된 데이터를 생성한다. 자율 주행 시스템(202)의 하나 이상의 디바이스에 의해 생성되는 데이터는 차량(200)이 위치하는 환경(예를 들면, 환경(100))을 관측하기 위해 본원에 기술된 하나 이상의 시스템에 의해 사용될 수 있다. 일부 실시예들에서, 자율 주행 시스템(202)은 통신 디바이스(202e), 자율 주행 차량 컴퓨터(202f), 및 드라이브 바이 와이어(drive-by-wire, DBW) 시스템(202h)을 포함한다.
카메라들(202a)은 버스(예를 들면, 도 3의 버스(302)와 동일하거나 유사한 버스)를 통해 통신 디바이스(202e), 자율 주행 차량 컴퓨터(202f) 및/또는 안전 제어기(202g)와 통신하도록 구성된 적어도 하나의 디바이스를 포함한다. 카메라들(202a)은 물리적 대상체들(예를 들면, 자동차들, 버스들, 연석들, 사람들 등)을 포함하는 이미지들을 캡처하기 위한 적어도 하나의 카메라(예를 들면, CCD(charge-coupled device)와 같은 광 센서를 사용하는 디지털 카메라, 열 카메라, 적외선(IR) 카메라, 이벤트 카메라 등)를 포함한다. 일부 실시예들에서, 카메라(202a)는 카메라 데이터를 출력으로서 생성한다. 일부 예들에서, 카메라(202a)는 이미지와 연관된 이미지 데이터를 포함하는 카메라 데이터를 생성한다. 이 예에서, 이미지 데이터는 이미지에 대응하는 적어도 하나의 파라미터(예를 들면, 노출, 밝기 등과 같은 이미지 특성들, 이미지 타임스탬프 등)를 명시할 수 있다. 그러한 예에서, 이미지는 한 형식(예를 들면, RAW, JPEG, PNG 등)으로 되어 있을 수 있다. 일부 실시예들에서, 카메라(202a)는 입체시(stereopsis)(스테레오 비전(stereo vision))를 위해 이미지들을 캡처하도록 차량 상에 구성된(예를 들면, 차량 상에 위치된) 복수의 독립적인 카메라들을 포함한다. 일부 예들에서, 카메라(202a)는 복수의 카메라들을 포함하고, 이 복수의 카메라들은 이미지 데이터를 생성하고 이미지 데이터를 자율 주행 차량 컴퓨터(202f) 및/또는 플릿 관리 시스템(예를 들면, 도 1의 플릿 관리 시스템(116)과 동일하거나 유사한 플릿 관리 시스템)으로 전송한다. 그러한 예에서, 자율 주행 차량 컴퓨터(202f)는 적어도 2 개의 카메라로부터의 이미지 데이터에 기초하여 복수의 카메라들 중 적어도 2 개의 카메라의 시야 내의 하나 이상의 대상체까지의 깊이를 결정한다. 일부 실시예들에서, 카메라들(202a)은 카메라들(202a)로부터 일정 거리(예를 들면, 최대 100 미터, 최대 1 킬로미터 등) 내의 대상체들의 이미지들을 캡처하도록 구성된다. 그에 따라, 카메라들(202a)은 카메라들(202a)로부터 하나 이상의 거리에 있는 대상체들을 인지하도록 최적화된 센서들 및 렌즈들과 같은 특징부들을 포함한다.
일 실시예에서, 카메라(202a)는 시각적 내비게이션 정보를 제공하는 하나 이상의 교통 신호등, 거리 표지판 및/또는 다른 물리적 대상체와 연관된 하나 이상의 이미지를 캡처하도록 구성된 적어도 하나의 카메라를 포함한다. 일부 실시예들에서, 카메라(202a)는 하나 이상의 이미지와 연관된 교통 신호등 데이터를 생성한다. 일부 예들에서, 카메라(202a)는 한 형식(예를 들면, RAW, JPEG, PNG 등)을 포함하는 하나 이상의 이미지와 연관된 TLD 데이터를 생성한다. 일부 실시예들에서, TLD 데이터를 생성하는 카메라(202a)는, 카메라(202a)가 가능한 한 많은 물리적 대상체들에 관한 이미지들을 생성하기 위해 넓은 시야를 갖는 하나 이상의 카메라(예를 들면, 광각 렌즈, 어안 렌즈, 대략 120도 이상의 시야각을 갖는 렌즈 등)를 포함할 수 있다는 점에서, 카메라들을 포함하는 본원에 기술된 다른 시스템들과 상이하다.
LiDAR(Laser Detection and Ranging) 센서들(202b)은 버스(예를 들면, 도 3의 버스(302)와 동일하거나 유사한 버스)를 통해 통신 디바이스(202e), 자율 주행 차량 컴퓨터(202f), 및/또는 안전 제어기(202g)와 통신하도록 구성된 적어도 하나의 디바이스를 포함한다. LiDAR 센서들(202b)은 광 방출기(예를 들면, 레이저 송신기)로부터 광을 송신하도록 구성된 시스템을 포함한다. LiDAR 센서들(202b)에 의해 방출되는 광은 가시 스펙트럼 밖에 있는 광(예를 들면, 적외선 광 등)을 포함한다. 일부 실시예들에서, 작동 동안, LiDAR 센서들(202b)에 의해 방출되는 광은 물리적 대상체(예를 들면, 차량)와 조우하고 LiDAR 센서들(202b)로 다시 반사된다. 일부 실시예들에서, LiDAR 센서들(202b)에 의해 방출되는 광은 광이 조우하는 물리적 대상체들을 투과하지 않는다. LiDAR 센서들(202b)은 광 방출기로부터 방출된 광이 물리적 대상체와 조우한 후에 그 광을 검출하는 적어도 하나의 광 검출기를 또한 포함한다. 일부 실시예들에서, LiDAR 센서들(202b)과 연관된 적어도 하나의 데이터 프로세싱 시스템은 LiDAR 센서들(202b)의 시야에 포함된 대상체들을 나타내는 이미지(예를 들면, 포인트 클라우드, 결합된 포인트 클라우드(combined point cloud) 등)를 생성한다. 일부 예들에서, LiDAR 센서(202b)와 연관된 적어도 하나의 데이터 프로세싱 시스템은 물리적 대상체의 경계들, 물리적 대상체의 표면들(예를 들면, 표면들의 토폴로지) 등을 나타내는 이미지를 생성한다. 그러한 예에서, 이미지는 LiDAR 센서들(202b)의 시야 내의 물리적 대상체들의 경계들을 결정하는 데 사용된다.
레이더(radar, Radio Detection and Ranging) 센서들(202c)은 버스(예를 들면, 도 3의 버스(302)와 동일하거나 유사한 버스)를 통해 통신 디바이스(202e), 자율 주행 차량 컴퓨터(202f) 및/또는 안전 제어기(202g)와 통신하도록 구성된 적어도 하나의 디바이스를 포함한다. 레이더 센서들(202c)은 전파들을 (펄스형으로 또는 연속적으로) 송신하도록 구성된 시스템을 포함한다. 레이더 센서들(202c)에 의해 송신되는 전파들은 미리 결정된 스펙트럼 내에 있는 전파들을 포함한다. 일부 실시예들에서, 작동 동안, 레이더 센서들(202c)에 의해 송신되는 전파들은 물리적 대상체와 조우하고 레이더 센서들(202c)로 다시 반사된다. 일부 실시예들에서, 레이더 센서들(202c)에 의해 전송되는 전파들이 일부 대상체들에 의해 반사되지 않는다. 일부 실시예들에서, 레이더 센서들(202c)과 연관된 적어도 하나의 데이터 프로세싱 시스템은 레이더 센서들(202c)의 시야에 포함된 대상체들을 나타내는 신호들을 생성한다. 예를 들어, 레이더 센서(202c)와 연관된 적어도 하나의 데이터 프로세싱 시스템은 물리적 대상체의 경계들, 물리적 대상체의 표면들(예를 들면, 표면들의 토폴로지) 등을 나타내는 이미지를 생성한다. 일부 예들에서, 이미지는 레이더 센서들(202c)의 시야 내의 물리적 대상체들의 경계들을 결정하는 데 사용된다.
마이크로폰들(202d)은 버스(예를 들면, 도 3의 버스(302)와 동일하거나 유사한 버스)를 통해 통신 디바이스(202e), 자율 주행 차량 컴퓨터(202f) 및/또는 안전 제어기(202g)와 통신하도록 구성된 적어도 하나의 디바이스를 포함한다. 마이크로폰들(202d)은 오디오 신호들을 캡처하고 오디오 신호들과 연관된(예를 들면, 이를 나타내는) 데이터를 생성하는 하나 이상의 마이크로폰(예를 들면, 어레이 마이크로폰, 외부 마이크로폰 등)을 포함한다. 일부 예들에서, 마이크로폰들(202d)은 트랜스듀서 디바이스들 및/또는 유사 디바이스들을 포함한다. 일부 실시예들에서, 본원에 기술된 하나 이상의 시스템은 마이크로폰들(202d)에 의해 생성되는 데이터를 수신하고 데이터와 연관된 오디오 신호들에 기초하여 차량(200)을 기준으로 한 대상체의 위치(예를 들면, 거리 등)를 결정할 수 있다.
통신 디바이스(202e)는 카메라들(202a), LiDAR 센서들(202b), 레이더 센서들(202c), 마이크로폰들(202d), 자율 주행 차량 컴퓨터(202f), 안전 제어기(202g), 및/또는 DBW 시스템(202h)과 통신하도록 구성된 적어도 하나의 디바이스를 포함한다. 예를 들어, 통신 디바이스(202e)는 도 3의 통신 인터페이스(314)와 동일하거나 유사한 디바이스를 포함할 수 있다. 일부 실시예들에서, 통신 디바이스(202e)는 차량 대 차량(vehicle-to-vehicle, V2V) 통신 디바이스(예를 들면, 차량들 간의 데이터의 무선 통신을 가능하게 하는 디바이스)를 포함한다.
자율 주행 차량 컴퓨터(202f)는 카메라들(202a), LiDAR 센서들(202b), 레이더 센서들(202c), 마이크로폰들(202d), 통신 디바이스(202e), 안전 제어기(202g), 및/또는 DBW 시스템(202h)과 통신하도록 구성된 적어도 하나의 디바이스를 포함한다. 일부 예들에서, 자율 주행 차량 컴퓨터(202f)는 클라이언트 디바이스, 모바일 디바이스(예를 들면, 셀룰러 전화, 태블릿 등), 서버(예를 들면, 하나 이상의 중앙 프로세싱 유닛, 그래픽 프로세싱 유닛 등을 포함하는 컴퓨팅 디바이스) 등과 같은 디바이스를 포함한다. 일부 실시예들에서, 자율 주행 차량 컴퓨터(202f)는 본원에 기술된 자율 주행 차량 컴퓨터(400)와 동일하거나 유사하다. 추가적으로 또는 대안적으로, 일부 실시예들에서, 자율 주행 차량 컴퓨터(202f)는 자율 주행 차량 시스템(예를 들면, 도 1의 원격 AV 시스템(114)과 동일하거나 유사한 자율 주행 차량 시스템), 플릿 관리 시스템(예를 들면, 도 1의 플릿 관리 시스템(116)과 동일하거나 유사한 플릿 관리 시스템), V2I 디바이스(예를 들면, 도 1의 V2I 디바이스(110)와 동일하거나 유사한 V2I 디바이스), 및/또는 V2I 시스템(예를 들면, 도 1의 V2I 시스템(118)과 동일하거나 유사한 V2I 시스템)과 통신하도록 구성된다.
안전 제어기(202g)는 카메라들(202a), LiDAR 센서들(202b), 레이더 센서들(202c), 마이크로폰들(202d), 통신 디바이스(202e), 자율 주행 차량 컴퓨터(202f), 및/또는 DBW 시스템(202h)과 통신하도록 구성된 적어도 하나의 디바이스를 포함한다. 일부 예들에서, 안전 제어기(202g)는 차량(200)의 하나 이상의 디바이스(예를 들면, 파워트레인 제어 시스템(204), 조향 제어 시스템(206), 브레이크 시스템(208) 등)를 작동시키기 위한 제어 신호들을 생성 및/또는 송신하도록 구성된 하나 이상의 제어기(전기 제어기, 전기기계 제어기 등)를 포함한다. 일부 실시예들에서, 안전 제어기(202g)는 자율 주행 차량 컴퓨터(202f)에 의해 생성 및/또는 송신되는 제어 신호들보다 우선하는(예를 들면, 이를 무시하는) 제어 신호들을 생성하도록 구성된다.
DBW 시스템(202h)은 통신 디바이스(202e) 및/또는 자율 주행 차량 컴퓨터(202f)와 통신하도록 구성된 적어도 하나의 디바이스를 포함한다. 일부 예들에서, DBW 시스템(202h)은 차량(200)의 하나 이상의 디바이스(예를 들면, 파워트레인 제어 시스템(204), 조향 제어 시스템(206), 브레이크 시스템(208) 등)를 작동시키기 위한 제어 신호들을 생성 및/또는 송신하도록 구성된 하나 이상의 제어기(예를 들면, 전기 제어기, 전기기계 제어기 등)를 포함한다. 추가적으로 또는 대안적으로, DBW 시스템(202h)의 하나 이상의 제어기는 차량(200)의 적어도 하나의 상이한 디바이스(예를 들면, 방향 지시등, 헤드라이트, 도어록, 윈도실드 와이퍼 등)를 작동시키기 위한 제어 신호들을 생성 및/또는 송신하도록 구성된다.
파워트레인 제어 시스템(204)은 DBW 시스템(202h)과 통신하도록 구성된 적어도 하나의 디바이스를 포함한다. 일부 예들에서, 파워트레인 제어 시스템(204)은 적어도 하나의 제어기, 액추에이터 등을 포함한다. 일부 실시예들에서, 파워트레인 제어 시스템(204)은 DBW 시스템(202h)으로부터 제어 신호들을 수신하고, 파워트레인 제어 시스템(204)은 차량(200)이 전진하는 것을 시작하게 하고, 전진하는 것을 중지하게 하며, 후진하는 것을 시작하게 하고, 후진하는 것을 중지하게 하며, 한 방향으로 가속하게 하고, 한 방향으로 감속하게 하며, 좌회전을 수행하게 하고, 우회전을 수행하게 하는 등을 한다. 일 예에서, 파워트레인 제어 시스템(204)은 차량의 모터에 제공되는 에너지(예를 들면, 연료, 전기 등)가 증가하게 하거나, 동일하게 유지되게 하거나, 또는 감소하게 하여, 이에 의해 차량(200)의 적어도 하나의 바퀴가 회전하거나 회전하지 않게 한다.
조향 제어 시스템(206)은 차량(200)의 하나 이상의 바퀴를 회전시키도록 구성된 적어도 하나의 디바이스를 포함한다. 일부 예들에서, 조향 제어 시스템(206)은 적어도 하나의 제어기, 액추에이터 등을 포함한다. 일부 실시예들에서, 조향 제어 시스템(206)은 차량(200)이 좌측 또는 우측으로 방향 전환하게 하기 위해 차량(200)의 전면 2 개의 바퀴 및/또는 후면 2 개의 바퀴가 좌측 또는 우측으로 회전하게 한다.
브레이크 시스템(208)은 차량(200)이 속력을 감소시키게 하고/하거나 정지해 있는 채로 유지하게 하기 위해 하나 이상의 브레이크를 작동시키도록 구성된 적어도 하나의 디바이스를 포함한다. 일부 예들에서, 브레이크 시스템(208)은 차량(200)의 대응하는 로터(rotor)에서 차량(200)의 하나 이상의 바퀴와 연관된 하나 이상의 캘리퍼(caliper)가 닫히게 하도록 구성되는 적어도 하나의 제어기 및/또는 액추에이터를 포함한다. 추가적으로 또는 대안적으로, 일부 예들에서, 브레이크 시스템(208)은 자동 긴급 제동(automatic emergency braking, AEB) 시스템, 회생 제동 시스템 등을 포함한다.
일부 실시예들에서, 차량(200)은 차량(200)의 상태 또는 조건의 속성들을 측정 또는 추론하는 적어도 하나의 플랫폼 센서(명시적으로 예시되지 않음)를 포함한다. 일부 예들에서, 차량(200)은 GPS(global positioning system) 수신기, IMU(inertial measurement unit), 휠 속력 센서, 휠 브레이크 압력 센서, 휠 토크 센서, 엔진 토크 센서, 조향각 센서 등과 같은 플랫폼 센서들을 포함한다.
이제 도 3을 참조하면, 디바이스(300)의 개략 다이어그램이 예시되어 있다. 예시된 바와 같이, 디바이스(300)는 프로세서(304), 메모리(306), 저장 컴포넌트(308), 입력 인터페이스(310), 출력 인터페이스(312), 통신 인터페이스(314), 및 버스(302)를 포함한다. 일부 실시예들에서, 디바이스(300)는 차량들(102)의 적어도 하나의 디바이스(예를 들면, 차량들(102)의 시스템의 적어도 하나의 디바이스), 차량(200)의 적어도 하나의 디바이스(예를 들면, 차량(200)의 시스템의 적어도 하나의 디바이스), 아래에서 기술되는 도 5의 차량(500)의 적어도 하나의 디바이스(예를 들면, 차량(500)의 시스템의 적어도 하나의 디바이스), 본 출원 전체에 걸쳐 기술된 바와 같은 다른 차량들의 적어도 하나의 디바이스, 및/또는 네트워크(112)의 하나 이상의 디바이스(예를 들면, 네트워크(112)의 시스템의 하나 이상의 디바이스)에 대응한다. 일부 실시예들에서, 차량들(102)의 하나 이상의 디바이스(예를 들면, 차량들(102)의 시스템의 하나 이상의 디바이스), 차량(200)의 하나 이상의 디바이스(예를 들면, 차량(200)의 시스템의 적어도 하나의 디바이스), 아래에서 기술되는 도 5의 차량(500)의 적어도 하나의 디바이스(예를 들면, 차량(500)의 시스템의 적어도 하나의 디바이스), 본 출원 전체에 걸쳐 기술된 바와 같은 다른 차량들의 적어도 하나의 디바이스, 및/또는 네트워크(112)의 하나 이상의 디바이스(예를 들면, 네트워크(112)의 시스템의 하나 이상의 디바이스)는 적어도 하나의 디바이스(300) 및/또는 디바이스(300)의 적어도 하나의 컴포넌트를 포함한다. 도 3에 도시된 바와 같이, 디바이스(300)는 버스(302), 프로세서(304), 메모리(306), 저장 컴포넌트(308), 입력 인터페이스(310), 출력 인터페이스(312), 및 통신 인터페이스(314)를 포함한다.
버스(302)는 디바이스(300)의 컴포넌트들 간의 통신을 가능하게 하는 컴포넌트를 포함한다. 일부 실시예들에서, 프로세서(304)는 하드웨어, 소프트웨어, 또는 하드웨어와 소프트웨어의 조합으로 구현된다. 일부 예들에서, 프로세서(304)는 적어도 하나의 기능을 수행하도록 프로그래밍될 수 있는, 프로세서(예를 들면, 중앙 프로세싱 유닛(CPU), 그래픽 프로세싱 유닛(GPU), 가속 프로세싱 유닛(APU) 등), 마이크로폰, 디지털 신호 프로세서(DSP), 및/또는 임의의 프로세싱 컴포넌트(예를 들면, FPGA(field-programmable gate array), ASIC(application specific integrated circuit) 등)를 포함한다. 메모리(306)는 프로세서(304)가 사용할 데이터 및/또는 명령어들을 저장한, 랜덤 액세스 메모리(RAM), 판독 전용 메모리(ROM), 및/또는 다른 유형의 동적 및/또는 정적 저장 디바이스(예를 들면, 플래시 메모리, 자기 메모리, 광학 메모리 등)를 포함한다.
저장 컴포넌트(308)는 디바이스(300)의 작동 및 사용에 관련된 데이터 및/또는 소프트웨어를 저장한다. 일부 예들에서, 저장 컴포넌트(308)는 하드 디스크(예를 들면, 자기 디스크, 광학 디스크, 광자기 디스크, 솔리드 스테이트 디스크 등), CD(compact disc), DVD(digital versatile disc), 플로피 디스크, 카트리지, 자기 테이프, CD-ROM, RAM, PROM, EPROM, FLASH-EPROM, NV-RAM 및/또는 다른 유형의 컴퓨터 판독 가능 매체를, 대응하는 드라이브와 함께, 포함한다.
입력 인터페이스(310)는 디바이스(300)가, 예컨대, 사용자 입력(예를 들면, 터치스크린 디스플레이, 키보드, 키패드, 마우스, 버튼, 스위치, 마이크로폰, 카메라 등)을 통해, 정보를 수신할 수 있게 하는 컴포넌트를 포함한다. 추가적으로 또는 대안적으로, 일부 실시예들에서, 입력 인터페이스(310)는 정보를 감지하는 센서(예를 들면, GPS(global positioning system) 수신기, 가속도계, 자이로스코프, 액추에이터 등)를 포함한다. 출력 인터페이스(312)는 디바이스(300)로부터의 출력 정보를 제공하는 컴포넌트(예를 들면, 디스플레이, 스피커, 하나 이상의 발광 다이오드(LED) 등)를 포함한다.
일부 실시예들에서, 통신 인터페이스(314)는 디바이스(300)가 유선 연결, 무선 연결, 또는 유선 연결과 무선 연결의 조합을 통해 다른 디바이스들과 통신할 수 있게 하는 트랜시버 유사 컴포넌트(예를 들면, 트랜시버, 개별 수신기 및 송신기 등)를 포함한다. 일부 예들에서, 통신 인터페이스(314)는 디바이스(300)가 다른 디바이스로부터 정보를 수신하고/하거나 다른 디바이스에 정보를 제공할 수 있게 한다. 일부 예들에서, 통신 인터페이스(314)는 이더넷 인터페이스, 광학 인터페이스, 동축 인터페이스, 적외선 인터페이스, RF(radio frequency) 인터페이스, USB(universal serial bus) 인터페이스, Wi-Fi® 인터페이스, 셀룰러 네트워크 인터페이스 등을 포함한다.
일부 실시예들에서, 디바이스(300)는 본원에 기술된 하나 이상의 프로세스를 수행한다. 디바이스(300)는 프로세서(304)가, 메모리(305) 및/또는 저장 컴포넌트(308)와 같은, 컴퓨터 판독 가능 매체에 의해 저장된 소프트웨어 명령어들을 실행하는 것에 기초하여 이러한 프로세스들을 수행한다. 컴퓨터 판독 가능 매체(예를 들면, 비일시적 컴퓨터 판독 가능 매체)는 본원에서 비일시적 메모리 디바이스로서 정의된다. 비일시적 메모리 디바이스는 단일의 물리 저장 디바이스 내부에 위치한 메모리 공간 또는 다수의 물리 저장 디바이스들에 걸쳐 분산된 메모리 공간을 포함한다.
일부 실시예들에서, 소프트웨어 명령어들은 통신 인터페이스(314)를 통해 다른 컴퓨터 판독 가능 매체로부터 또는 다른 디바이스로부터 메모리(306) 및/또는 저장 컴포넌트(308)로 판독된다. 실행될 때, 메모리(306) 및/또는 저장 컴포넌트(308)에 저장된 소프트웨어 명령어들은 프로세서(304)로 하여금 본원에 기술된 하나 이상의 프로세스를 수행하게 한다. 추가적으로 또는 대안적으로, 고정 배선(hardwired) 회로는 본원에 기술된 하나 이상의 프로세스를 수행하기 위해 소프트웨어 명령어들 대신에 또는 소프트웨어 명령어들과 결합하여 사용된다. 따라서, 본원에 기술된 실시예들은, 달리 명시적으로 언급되지 않는 한, 하드웨어 회로와 소프트웨어의 임의의 특정 조합으로 제한되지 않는다.
메모리(306) 및/또는 저장 컴포넌트(308)는 데이터 스토리지 또는 적어도 하나의 데이터 구조(예를 들면, 데이터베이스 등)를 포함한다. 디바이스(300)는 데이터 스토리지 또는 메모리(306) 또는 저장 컴포넌트(308) 내의 적어도 하나의 데이터 구조로부터 정보를 수신하는 것, 그에 정보를 저장하는 것, 그에게로 정보를 통신하는 것, 또는 그에 저장된 정보를 검색하는 것을 할 수 있다. 일부 예들에서, 정보는 네트워크 데이터, 입력 데이터, 출력 데이터, 또는 이들의 임의의 조합을 포함한다.
일부 실시예들에서, 디바이스(300)는 메모리(306)에 그리고/또는 다른 디바이스(예를 들면, 디바이스(300)와 동일하거나 유사한 다른 디바이스)의 메모리에 저장된 소프트웨어 명령어들을 실행하도록 구성된다. 본원에서 사용되는 바와 같이, "모듈"이라는 용어는, 프로세서(304)에 의해 그리고/또는 다른 디바이스(예를 들면, 디바이스(300)와 동일하거나 유사한 다른 디바이스)의 프로세서에 의해 실행될 때, 디바이스(300)(예를 들면, 디바이스(300)의 적어도 하나의 컴포넌트)로 하여금 본원에 기술된 하나 이상의 프로세스를 수행하게 하는 메모리(306)에 그리고/또는 다른 디바이스의 메모리에 저장된 적어도 하나의 명령어를 지칭한다. 일부 실시예들에서, 모듈은 소프트웨어, 펌웨어, 하드웨어 등으로 구현된다.
도 3에 예시된 컴포넌트들의 수 및 배열은 예로서 제공된다. 일부 실시예들에서, 디바이스(300)는 도 3에 예시된 것보다, 추가적인 컴포넌트들, 더 적은 컴포넌트들, 상이한 컴포넌트들, 또는 상이하게 배열된 컴포넌트들을 포함할 수 있다. 추가적으로 또는 대안적으로, 디바이스(300)의 컴포넌트 세트(예를 들면, 하나 이상의 컴포넌트)는 디바이스(300)의 다른 컴포넌트 또는 다른 컴포넌트 세트에 의해 수행되는 것으로 기술된 하나 이상의 기능을 수행할 수 있다.
이제 도 4를 참조하면, 자율 주행 차량 컴퓨터(400)(때때로 "AV 스택"이라고 지칭됨)의 예시적인 블록 다이어그램이 예시되어 있다. 예시된 바와 같이, 자율 주행 차량 컴퓨터(400)는 인지 시스템(402)(때때로 인지 모듈이라고 지칭됨), 계획 시스템(404)(때때로 계획 모듈이라고 지칭됨), 로컬화 시스템(406)(때때로 로컬화 모듈이라고 지칭됨), 제어 시스템(408)(때때로 제어 모듈이라고 지칭됨) 및 데이터베이스(410)를 포함한다. 일부 실시예들에서, 인지 시스템(402), 계획 시스템(404), 로컬화 시스템(406), 제어 시스템(408) 및 데이터베이스(410)는 차량의 자율 주행 내비게이션 시스템(예를 들면, 차량(200)의 자율 주행 차량 컴퓨터(202f))에 포함되고/되거나 구현된다. 추가적으로 또는 대안적으로, 일부 실시예들에서, 인지 시스템(402), 계획 시스템(404), 로컬화 시스템(406), 제어 시스템(408), 및 데이터베이스(410)는 하나 이상의 독립형 시스템(예를 들면, 자율 주행 차량 컴퓨터(400) 등과 동일하거나 유사한 하나 이상의 시스템)에 포함된다. 일부 예들에서, 인지 시스템(402), 계획 시스템(404), 로컬화 시스템(406), 제어 시스템(408), 및 데이터베이스(410)는 본원에 기술된 바와 같이 차량 및/또는 적어도 하나의 원격 시스템에 위치하는 하나 이상의 독립형 시스템에 포함된다. 일부 실시예들에서, 자율 주행 차량 컴퓨터(400)에 포함된 시스템들 중 일부 및/또는 전부는 소프트웨어(예를 들면, 메모리에 저장된 소프트웨어 명령어들), 컴퓨터 하드웨어(예를 들면, 마이크로프로세서, 마이크로컨트롤러, ASIC(application-specific integrated circuit), FPGA(Field Programmable Gate Array) 등), 또는 컴퓨터 소프트웨어와 컴퓨터 하드웨어의 조합으로 구현된다. 일부 실시예들에서, 자율 주행 차량 컴퓨터(400)가 원격 시스템(예를 들면, 원격 AV 시스템(114)과 동일하거나 유사한 자율 주행 차량 시스템, 플릿 관리 시스템(116)과 동일하거나 유사한 플릿 관리 시스템, V2I 시스템(118)과 동일하거나 유사한 V2I 시스템 등)과 통신하도록 구성된다는 것이 또한 이해될 것이다.
일부 실시예들에서, 인지 시스템(402)은 환경에서의 적어도 하나의 물리적 대상체와 연관된 데이터(예를 들면, 적어도 하나의 물리적 대상체를 검출하기 위해 인지 시스템(402)에 의해 사용되는 데이터)를 수신하고 적어도 하나의 물리적 대상체를 분류한다. 일부 예들에서, 인지 시스템(402)은 적어도 하나의 카메라(예를 들면, 카메라들(202a))에 의해 캡처되는 이미지 데이터를 수신하고, 이미지는 적어도 하나의 카메라의 시야 내의 하나 이상의 물리적 대상체와 연관되어 있다(예를 들면, 이를 표현한다). 그러한 예에서, 인지 시스템(402)은 물리적 대상체들(예를 들면, 자전거들, 차량들, 교통 표지판들, 보행자들 등)의 하나 이상의 그룹화에 기초하여 적어도 하나의 물리적 대상체를 분류한다. 일부 실시예들에서, 인지 시스템(402)이 물리적 대상체들을 분류하는 것에 기초하여 인지 시스템(402)은 물리적 대상체들의 분류와 연관된 데이터를 계획 시스템(404)으로 송신한다.
일부 실시예들에서, 계획 시스템(404)은 목적지와 연관된 데이터를 수신하고 차량(예를 들면, 차량들(102))이 목적지를 향해 주행할 수 있는 적어도 하나의 루트(예를 들면, 루트들(106))와 연관된 데이터를 생성한다. 일부 실시예들에서, 계획 시스템(404)은 인지 시스템(402)으로부터의 데이터(예를 들면, 위에서 기술된, 물리적 대상체들의 분류와 연관된 데이터)를 주기적으로 또는 연속적으로 수신하고, 계획 시스템(404)은 인지 시스템(402)에 의해 생성되는 데이터에 기초하여 적어도 하나의 궤적을 업데이트하거나 적어도 하나의 상이한 궤적을 생성한다. 일부 실시예들에서, 계획 시스템(404)은 로컬화 시스템(406)으로부터 차량(예를 들면, 차량들(102))의 업데이트된 위치와 연관된 데이터를 수신하고, 계획 시스템(404)은 로컬화 시스템(406)에 의해 생성되는 데이터에 기초하여 적어도 하나의 궤적을 업데이트하거나 적어도 하나의 상이한 궤적을 생성한다.
일부 실시예들에서, 로컬화 시스템(406)은 한 영역에서의 차량(예를 들면, 차량들(102))의 한 위치와 연관된(예를 들면, 이를 나타내는) 데이터를 수신한다. 일부 예들에서, 로컬화 시스템(406)은 적어도 하나의 LiDAR 센서(예를 들면, LiDAR 센서들(202b))에 의해 생성되는 적어도 하나의 포인트 클라우드와 연관된 LiDAR 데이터를 수신한다. 특정 예들에서, 로컬화 시스템(406)은 다수의 LiDAR 센서들로부터의 적어도 하나의 포인트 클라우드와 연관된 데이터를 수신하고 로컬화 시스템(406)은 포인트 클라우드들 각각에 기초하여 결합된 포인트 클라우드를 생성한다. 이러한 예들에서, 로컬화 시스템(406)은 적어도 하나의 포인트 클라우드 또는 결합된 포인트 클라우드를 데이터베이스(410)에 저장되어 있는 해당 영역의 2차원(2D) 및/또는 3차원(3D) 맵과 비교한다. 로컬화 시스템(406)이 적어도 하나의 포인트 클라우드 또는 결합된 포인트 클라우드를 맵과 비교하는 것에 기초하여 로컬화 시스템(406)은 이어서 해당 영역에서의 차량의 위치를 결정한다. 일부 실시예들에서, 맵은 차량의 운행 이전에 생성되는 해당 영역의 결합된 포인트 클라우드를 포함한다. 일부 실시예들에서, 맵은, 제한 없이, 도로 기하학적 특성들의 고정밀 맵, 도로 네트워크 연결 특성들을 기술하는 맵, 도로 물리적 특성들(예컨대, 교통 속력, 교통량, 차량 교통 차선과 자전거 타는 사람 교통 차선의 수, 차선 폭, 차선 교통 방향, 또는 차선 마커 유형 및 위치, 또는 이들의 조합)을 기술하는 맵, 및 도로 특징물, 예컨대, 횡단보도, 교통 표지판 또는 다양한 유형의 다른 주행 신호들의 공간적 위치들을 기술하는 맵을 포함한다. 일부 실시예들에서, 맵은 인지 시스템에 의해 수신되는 데이터에 기초하여 실시간으로 생성된다.
다른 예에서, 로컬화 시스템(406)은 GPS(global positioning system) 수신기에 의해 생성되는 GNSS(Global Navigation Satellite System) 데이터를 수신한다. 일부 예들에서, 로컬화 시스템(406)은 해당 영역 내에서의 차량의 위치와 연관된 GNSS 데이터를 수신하고 로컬화 시스템(406)은 해당 영역 내에서의 차량의 위도 및 경도를 결정한다. 그러한 예에서, 로컬화 시스템(406)은 차량의 위도 및 경도에 기초하여 해당 영역에서의 차량의 위치를 결정한다. 일부 실시예들에서, 로컬화 시스템(406)은 차량의 위치와 연관된 데이터를 생성한다. 일부 예들에서, 로컬화 시스템(406)이 차량의 위치를 결정하는 것에 기초하여 로컬화 시스템(406)은 차량의 위치와 연관된 데이터를 생성한다. 그러한 예에서, 차량의 위치와 연관된 데이터는 차량의 위치에 대응하는 하나 이상의 시맨틱 특성과 연관된 데이터를 포함한다.
일부 실시예들에서, 제어 시스템(408)은 계획 시스템(404)으로부터 적어도 하나의 궤적과 연관된 데이터를 수신하고 제어 시스템(408)은 차량의 작동을 제어한다. 일부 예들에서, 제어 시스템(408)은 계획 시스템(404)으로부터 적어도 하나의 궤적과 연관된 데이터를 수신하고, 제어 시스템(408)은 파워트레인 제어 시스템(예를 들면, DBW 시스템(202h), 파워트레인 제어 시스템(204) 등), 조향 제어 시스템(예를 들면, 조향 제어 시스템(206)) 및/또는 브레이크 시스템(예를 들면, 브레이크 시스템(208))이 작동하게 하는 제어 신호들을 생성하여 송신하는 것에 의해 차량의 작동을 제어한다. 궤적이 좌회전을 포함하는 예에서, 제어 시스템(408)은 조향 제어 시스템(206)으로 하여금 차량(200)의 조향각을 조정하게 함으로써 차량(200)이 좌회전하게 하는 제어 신호를 송신한다. 추가적으로 또는 대안적으로, 제어 시스템(408)은 차량(200)의 다른 디바이스들(예를 들면, 헤드라이트, 방향 지시등, 도어록, 윈도실드 와이퍼 등)로 하여금 상태들을 변경하게 하는 제어 신호들을 생성하여 송신한다.
일부 실시예들에서, 인지 시스템(402), 계획 시스템(404), 로컬화 시스템(406), 및/또는 제어 시스템(408)은 적어도 하나의 머신 러닝 모델(예를 들면, 적어도 하나의 다층 퍼셉트론(MLP), 적어도 하나의 콘볼루션 신경 네트워크(CNN), 적어도 하나의 순환 신경 네트워크(RNN), 적어도 하나의 오토인코더, 적어도 하나의 트랜스포머(transformer) 등)을 구현한다. 일부 예들에서, 인지 시스템(402), 계획 시스템(404), 로컬화 시스템(406), 및/또는 제어 시스템(408)은 단독으로 또는 위에서 언급된 시스템들 중 하나 이상과 조합하여 적어도 하나의 머신 러닝 모델을 구현한다. 일부 예에서, 인지 시스템(402), 계획 시스템(404), 로컬화 시스템(406), 및/또는 제어 시스템(408)은 파이프라인(예를 들면, 환경에 위치한 하나 이상의 대상체를 식별하기 위한 파이프라인 등)의 일부로서 적어도 하나의 머신 러닝 모델을 구현한다.
데이터베이스(410)는 인지 시스템(402), 계획 시스템(404), 로컬화 시스템(406) 및/또는 제어 시스템(408)으로 송신되며, 이들로부터 수신되고/되거나 이들에 의해 업데이트되는 데이터를 저장한다. 일부 예들에서, 데이터베이스(410)는 작동에 관련된 데이터 및/또는 소프트웨어를 저장하고 자율 주행 차량 컴퓨터(400)의 적어도 하나의 시스템을 사용하는 저장 컴포넌트(예를 들면, 도 3의 저장 컴포넌트(308)와 동일하거나 유사한 저장 컴포넌트)를 포함한다. 일부 실시예들에서, 데이터베이스(410)는 적어도 하나의 영역의 2D 및/또는 3D 맵과 연관된 데이터를 저장한다. 일부 예들에서, 데이터베이스(410)는 도시의 일 부분, 다수의 도시들의 다수의 부분들, 다수의 도시들, 카운티, 주, 국가(State)(예를 들면, 나라(country)) 등의 2D 및/또는 3D 맵과 연관된 데이터를 저장한다. 그러한 예에서, 차량(예를 들면, 차량들(102) 및/또는 차량(200)과 동일하거나 유사한 차량)은 하나 이상의 운전 가능한 영역(예를 들면, 단일 차선 도로, 다중 차선 도로, 간선도로, 시골 길(back road), 오프로드 트레일 등)을 따라 운전할 수 있고, 적어도 하나의 LiDAR 센서(예를 들면, LiDAR 센서들(202b)과 동일하거나 유사한 LiDAR 센서)로 하여금 적어도 하나의 LiDAR 센서의 시야에 포함된 대상체들을 나타내는 이미지와 연관된 데이터를 생성하게 할 수 있다.
일부 실시예들에서, 데이터베이스(410)는 복수의 디바이스들에 걸쳐 구현된다. 일부 예들에서, 데이터베이스(410)는 차량(예를 들면, 차량들(102) 및/또는 차량(200)과 동일하거나 유사한 차량), 자율 주행 차량 시스템(예를 들면, 원격 AV 시스템(114)과 동일하거나 유사한 자율 주행 차량 시스템), 플릿 관리 시스템(예를 들면, 도 1의 플릿 관리 시스템(116)과 동일하거나 유사한 플릿 관리 시스템), V2I 시스템(예를 들면, 도 1의 V2I 시스템(118)과 동일하거나 유사한 V2I 시스템) 등에 포함될 수 있다.
전환 가능한 바퀴 뷰 미러들
차량 주위의 대상체들을 검출하는 것은 부상 및 피해의 가능성을 감소시키며, 이에 의해 차량 안전을 개선시킬 수 있다. 그렇지만, 자동차 주위의 대상체들을 효과적으로 검출하는 것은 어려울 수 있다. 대상체들을 검출하기 위해 차량 주위에 많은 센서들이 배치될 수 있지만, 점점 더 많은 센서들을 사용하는 것은 엔지니어링 복잡도, 재료 비용 및 제조 비용을 증가시킬 수 있다.
본원에 기술된 바와 같이, 전환 가능한 바퀴 뷰 미러들은 하나 이상의 이미지 센서의 시야를 보강하기 위해 차량들에 사용될 수 있다. 예를 들어, 전환 가능한 바퀴 뷰 미러는 일반적으로 그렇지 않았으면 바퀴의 이미지들을 캡처할 수 없을 이미지 센서에 차량의 바퀴의 뷰들을 제공할 수 있다(예를 들면, 선택적으로 제공할 수 있다). 그에 따라, 전환 가능한 바퀴 뷰 미러들은 바퀴 모니터링 기능성을 제공하기 위해 차량 상의 카메라들 및 이미지 센서들과 함께 사용될 수 있다.
본원에 기술된 전환 가능한 바퀴 뷰 미러들은 차량의 바퀴들을 모니터링하기 위한 효율적인 해결책을 제공할 수 있다. 예를 들어, 일부 경우에, (광각 카메라들일 수 있는) 전면 및 후면 카메라들은 차량의 움직임을 허용하기 전에 타이어 근처의 대상체들을 검출하도록 각각의 바퀴의 각자의 뷰들을 제공하기 위해 카메라들의 시야의 일부를 편향시키도록 위치된 반사 표면들을 포함하는 전환 가능한 바퀴 뷰 미러들을 통합하는 것에 의해 각각의 타이어의 전면 및 후면을 보는 데 사용될 수 있다.
도 5는 차량(500)의 하나 이상의 시스템의 다이어그램이다. 차량(500)은, 일부 경우에, 도 1의 차량들(102) 또는 도 2의 차량(200) 중 임의의 것과 동일하거나 유사할 수 있다. 예시된 실시예에 도시된 바와 같이, 차량(500)은, 컴포넌트들 및 시스템들 중에서도, 복수의 전환 가능한 바퀴 뷰 미러 어셈블리들(506)을 포함한다. 아래에서 보다 상세히 기술될 것인 바와 같이, 도 5은 물론 도 6a 내지 도 11을 계속 참조하면, 전환 가능한 바퀴 뷰 미러 어셈블리들(506)은 차량(500)의 바퀴들(508) 주위의 영역 또는 그에 근접한 영역의 모니터링을 가능하게 하도록 구성될 수 있다.
도 5에 도시된 바와 같이, 차량(500)은 자율 주행 시스템(502), 파워트레인 제어 시스템, 및 브레이크 시스템(505)을 포함한다. 일부 경우에, 차량(500)은 자율 주행 능력(예를 들면, 완전 자율 주행 차량들(예를 들면, 인간 개입에 의존하지 않는 차량들), 고도 자율 주행 차량들(예를 들면, 특정 상황들에서 인간 개입에 의존하지 않는 차량들) 등을, 제한 없이, 포함한, 차량(500)이 인간 개입 없이 부분적으로 또는 완전히 작동될 수 있게 하는 적어도 하나의 기능, 특징, 디바이스 등을 구현하는 능력)을 가질 수 있다.
예시된 실시예에서, 자율 주행 시스템(502)은 (예시된 전면 카메라(502af) 및 후면 카메라(502ar)와 같은) 카메라들(502a), 자율 주행 차량 컴퓨터(502b), 안전 제어기(502c), 및 드라이브 바이 와이어 시스템(502d)을 포함한다. 일부 경우에, 자율 주행 시스템(502)은 자율 주행 시스템(202)과 동일하거나 유사할 수 있다. 일부 경우에, 카메라들(502a), 자율 주행 차량 컴퓨터(502b), 안전 제어기(502c) 및 드라이브 바이 와이어 시스템(502d)은, 제각기, 카메라들(202a), 자율 주행 차량 컴퓨터(202f), 안전 제어기(202g), 및 DBW 시스템(202h)과 동일하거나 유사할 수 있다.
(예시된 전면 카메라(502af) 및 후면 카메라(502ar)와 같은) 카메라들(502a) 각각은 버스(예를 들면, 도 3의 버스(302)와 동일하거나 유사한 버스)를 통해 자율 주행 시스템(502)의 다른 컴포넌트들 또는 차량(500)의 다른 시스템들 또는 컴포넌트들과 통신하도록 구성된 적어도 하나의 디바이스를 포함할 수 있다. 카메라들(502a)은 물리적 대상체들(예를 들면, 자동차들, 버스들, 연석들, 사람들 등)을 포함하는 이미지들을 캡처하기 위한 적어도 하나의 카메라(예를 들면, CCD(charge-coupled device)와 같은 광 센서를 사용하는 디지털 카메라, 열 카메라, 적외선(IR) 카메라, 이벤트 카메라 등)를 포함한다. 일부 경우에, 카메라들(502a)은 카메라 데이터를 출력으로서 생성한다. 카메라 데이터는 각각의 카메라(502a)와 연관된 이미지 센서에 의해 캡처될 수 있다. 일부 예들에서, 카메라들(502a)은 이미지와 연관된 이미지 데이터를 포함하는 카메라 데이터를 생성한다. 이 예에서, 이미지 데이터는 이미지에 대응하는 적어도 하나의 파라미터(예를 들면, 노출, 밝기 등과 같은 이미지 특성들, 이미지 타임스탬프 등)를 명시할 수 있다. 그러한 예에서, 이미지는 한 형식(예를 들면, RAW, JPEG, PNG 등)으로 되어 있을 수 있다.
도시된 실시예에서, 카메라들(502a)은 전면 카메라(502af) 및 후면 카메라(502ar)를 포함한다. 일부 경우에, 이러한 카메라들(502a) 중 하나 이상이 생략될 수 있다. 예를 들어, 일부 경우에, 차량(500)은 전면 카메라(502af)를 포함하지만 후면 카메라(502ar)를 포함하지 않는다. 전면 카메라(502af)는 전면 카메라(502af)의 이미지 센서가 (예를 들면, 자동차의 시점에서) 일반적으로 전방 뷰를 캡처할 수 있게 하는 위치에서 차량(500) 상에 위치된다. 전면 카메라(502af)의 이미지 센서는 전방 뷰가 캡처될 수 있는 시야(전면 카메라(502af)와 연관된 렌즈 또는 렌즈 시스템으로부터 적어도 부분적으로 도출될 수 있음)를 갖는다. 일부 경우에, 전면 카메라(502af)는 넓은 시야(예를 들면, 광각 렌즈, 어안 렌즈, 대략 120도, 150도, 180도, 190도, 200도, 210도, 220도 또는 그 이상 등 또는 이들 초과의 시야각을 갖는 렌즈)를 포함할 수 있다.
도 5에 도시된 바와 같이, 일부 경우에, 전면 카메라(502af)는 차량(500)의 전면에 위치된다. 예를 들어, 전면 카메라(502af)는, 일부 경우에, 차량(500)의 전면 범퍼, 전면 그릴, 전면 하부 구조, 또는 다른 전면 영역 상에 또는 그 내에 위치될 수 있다.
후면 카메라(502ar)는 후면 카메라(502ar)의 이미지 센서가 (예를 들면, 자동차의 시점에서) 일반적으로 후방 뷰를 캡처할 수 있게 하는 위치에서 차량(500) 상에 위치된다. 후면 카메라(502ar)의 이미지 센서는 후방 뷰가 캡처될 수 있는 시야(카메라(502ar)와 연관된 렌즈 또는 렌즈 시스템으로부터 적어도 부분적으로 도출될 수 있음)를 갖는다. 일부 경우에, 후면 카메라(502ar)는 넓은 시야(예를 들면, 광각 렌즈, 어안 렌즈, 대략 120도, 150도, 180도, 190도, 200도, 210도, 220도 또는 그 이상 등 또는 이들 초과의 시야각을 갖는 렌즈)를 포함할 수 있다. 도 5에 도시된 바와 같이, 일부 경우에, 후면 카메라(502ar)는 차량(500)의 후면에 위치된다. 예를 들어, 후면 카메라(502ar)는, 일부 경우에, 차량(500)의 후면 범퍼, 후면 패널, 후면 하부 구조, 또는 다른 후면 영역 상에 또는 그 내에 위치될 수 있다.
자율 주행 차량 컴퓨터(502b)는 카메라들(502a), 안전 제어기(502c), 및/또는 DBW 시스템(502h)은 물론 전환 가능한 바퀴 뷰 미러 어셈블리들(506)과 같은 다른 컴포넌트들과 통신하도록 구성된 적어도 하나의 디바이스를 포함할 수 있다. 일부 경우에, 자율 주행 차량 컴퓨터(502b)는 위에서 기술된 자율 주행 차량 컴퓨터(400)와 동일하거나 유사하다. 추가적으로 또는 대안적으로, 일부 경우에, 자율 주행 차량 컴퓨터(502b)는 자율 주행 차량 시스템(예를 들면, 도 1의 원격 AV 시스템(114)과 동일하거나 유사한 자율 주행 차량 시스템), 플릿 관리 시스템(예를 들면, 도 1의 플릿 관리 시스템(116)과 동일하거나 유사한 플릿 관리 시스템), V2I 디바이스(예를 들면, 도 1의 V2I 디바이스(110)와 동일하거나 유사한 V2I 디바이스), 및/또는 V2I 시스템(예를 들면, 도 1의 V2I 시스템(118)과 동일하거나 유사한 V2I 시스템)과 통신하도록 구성된다. 일부 경우에, 자율 주행 차량 컴퓨터(502b)는 본원에 기술된 전환 가능한 바퀴 뷰 미러들과 연관된 방법들(예를 들면, 그 중에서도, 제각기, 도 10 및 도 11의 루틴들(1000, 1100))을 구현하기 위해 전환 가능한 바퀴 뷰 미러 어셈블리들(506)의 기능성을 제어하고/하거나 전면 및/또는 후면 카메라들(502af, 502ar)로부터 데이터를 수신 및/또는 이미지화하도록 구성될 수 있다.
안전 제어기(502c)는 카메라들(502a), 자율 주행 차량 컴퓨터(502b), 및/또는 DBW 시스템(502d)은 물론 전환 가능한 바퀴 뷰 미러 어셈블리들(506)과 같은 다른 컴포넌트들과 통신하도록 구성된 적어도 하나의 디바이스를 포함한다. 일부 예들에서, 안전 제어기(202c)는 차량(500)의 하나 이상의 디바이스(예를 들면, 파워트레인 제어 시스템(504), 브레이크 시스템(505) 등)를 작동시키기 위한 제어 신호들을 생성 및/또는 송신하도록 구성된 하나 이상의 프로세서 또는 제어기(전기 제어기, 전기기계 제어기 등)를 포함한다. 일부 경우에, 안전 제어기(502c)는 자율 주행 차량 컴퓨터(502b)에 의해 생성 및/또는 송신되는 제어 신호들보다 우선하는(예를 들면, 이를 무시하는) 제어 신호들을 생성하도록 구성된다. 일부 경우에, 안전 제어기(502c)는 본원에 기술된 전환 가능한 바퀴 뷰 미러들과 연관된 방법들(예를 들면, 그 중에서도, 제각기, 도 10 및 도 11의 루틴들(1000, 1100))을 구현하기 위해 전환 가능한 바퀴 뷰 미러 어셈블리들(506)의 기능성을 제어하고/하거나 전면 및/또는 후면 카메라들(502af, 502ar)로부터 데이터를 수신 및/또는 이미지화하도록 구성될 수 있다.
DBW 시스템(502d)은 자율 주행 차량 컴퓨터(502b)와 통신하도록 구성된 적어도 하나의 디바이스를 포함한다. 일부 예들에서, DBW 시스템(502d)은 차량(500)의 하나 이상의 디바이스(예를 들면, 파워트레인 제어 시스템(504), 브레이크 시스템(505) 등)를 작동시키기 위한 제어 신호들을 생성 및/또는 송신하도록 구성된 하나 이상의 제어기(예를 들면, 전기 제어기, 전기기계 제어기 등)를 포함한다. 일부 경우에, DBW 시스템(502d)은 본원에 기술된 전환 가능한 바퀴 뷰 미러들과 연관된 방법들(예를 들면, 그 중에서도, 제각기, 도 10 및 도 11의 루틴들(1000, 1100))에서의 하나 이상의 단계를 제어할 수 있고/있거나 구현하는 데 사용될 수 있다. 예를 들어, 대상체가 차량(500)의 바퀴들(508) 중 하나에 근접해 있는 경우에, DBW 시스템(502d)은 차량(500)의 움직임 또는 이동을 방지, 금지 또는 제한하는 제어 신호들을 생성하고/하거나 파워트레인 제어 시스템(504) 및/또는 브레이크 시스템(505)으로 송신할 수 있다. 유사하게, 차량(500)의 이동에 대한 문제를 야기할 어떤 대상체도 바퀴들(508) 중 하나에 근접하여 검출되지 않는 경우에, DBW 시스템(502d)은 차량(500)의 움직임 또는 이동을 가능하게 하거나 허용하는 제어 신호들을 생성하고/하거나 파워트레인 제어 시스템(504) 및/또는 브레이크 시스템(505)으로 송신할 수 있다.
파워트레인 제어 시스템(504)은 DBW 시스템(502d)과 통신하도록 구성된 적어도 하나의 디바이스를 포함한다. 파워 트레인 제어 시스템(504)은 위에서 기술된 파워트레인 제어 시스템(204)과 동일하거나 유사할 수 있다. 브레이크 시스템(505)은 차량(500)이 속력을 감소시키게 하고/하거나 정지해 있는 채로 유지하게 하기 위해 하나 이상의 브레이크를 작동시키도록 구성된 적어도 하나의 디바이스를 포함한다.
도 5를 계속 참조하면, 차량(500)은 복수의 전환 가능한 바퀴 뷰 미러 어셈블리들(506)을 포함한다. 예시된 예에서, 차량(500)은 8 개의 전환 가능한 바퀴 뷰 미러 어셈블리(506fdf, 506fdr, 506fpf, 506fpr, 506rdf, 506rdr, 506rpf, 506rpr)(집합적으로 전환 가능한 바퀴 뷰 미러들(506)이라고 지칭되고 개별적으로는 506xxx라고 지칭되며, 여기서 첫 번째 문자는 어셈블리가 차량의 전면(f) 또는 후면(r)에 있는지를 나타내고; 두 번째 문자는 어셈블리가 차량의 운전석(d) 측 또는 조수석(p) 측에 있는지를 나타내며; 세 번째 문자는 어셈블리가 차량의 앞바퀴(f) 또는 뒷바퀴(r)의 뷰를 제공하는지 여부를 나타냄)를 포함한다. 다른 경우에 다른 수의 전환 가능한 바퀴 뷰 미러 어셈블리들(506)이 사용될 수 있다. 전환 가능한 바퀴 뷰 미러 어셈블리들(506) 각각은 차량(500)의 바퀴들(508) 중 하나의 바퀴의 반사된 뷰를 제공하도록 구성된다. 예시된 실시예에서, 차량(500)은 4 개의 바퀴(508df, 508pf, 508dr, 508pr)(집합적으로 바퀴들(508)이라고 지칭되고 개별적으로는 508xx라고 지칭되며, 여기서 첫 번째 문자는 바퀴가 차량의 전면(f) 또는 후면(r)에 있는지를 나타내고, 두 번째 문자는 바퀴가 차량의 운전석(d) 측 또는 조수석(p) 측에 있는지를 나타냄)를 포함한다.
그에 따라, 예시된 실시예에서, (1) 전환 가능한 바퀴 뷰 미러 어셈블리(506fdf)는 차량의 전면 운전석 측에 위치되고 전면 운전석 측 바퀴(508df)의 뷰를 제공하며; (2) 전환 가능한 바퀴 뷰 미러 어셈블리(506fdr)는 차량의 전면 운전석 측에 위치되고 후면 운전석 측 바퀴(508dr)의 뷰를 제공하며; (3) 전환 가능한 바퀴 뷰 미러 어셈블리(506fpf)는 차량의 전면 조수석 측에 위치되고 전면 조수석 측 바퀴(508pf)의 뷰를 제공하며; (4) 전환 가능한 바퀴 뷰 미러 어셈블리(506fpr)는 차량의 전면 조수석 측에 위치되고 후면 조수석 측 바퀴(508pr)의 뷰를 제공하며; (5) 전환 가능한 바퀴 뷰 미러 어셈블리(506rdf)는 차량의 후면 운전석 측에 위치되고 전면 운전석 측 바퀴(508df)의 뷰를 제공하며; (6) 전환 가능한 바퀴 뷰 미러 어셈블리(506rdr)는 차량의 후면 운전석 측에 위치되고 후면 운전석 측 바퀴(508dr)의 뷰를 제공하며; (7) 전환 가능한 바퀴 뷰 미러 어셈블리(506rpf)는 차량의 후면 조수석 측에 위치되고 전면 조수석 측 바퀴(508pf)의 뷰를 제공하며; (8) 전환 가능한 바퀴 뷰 미러 어셈블리(506rpr)는 차량의 후면 조수석 측에 위치되고 후면 조수석 측 바퀴(508pr)의 뷰를 제공한다.
일부 경우에, 차량(500)의 전면에 있는 전환 가능한 바퀴 뷰 미러 어셈블리들(506)(예를 들면, 전환 가능한 바퀴 뷰 미러 어셈블리들(506fdf, 506fdr, 506fpf, 506fpr))은 각각 전면 카메라(502af)의 이미지 센서의 시야 내에서 보이는 바퀴들(508)(예를 들면, 바퀴들(508df, 508dr, 508pf, 508pr)) 중 대응하는 바퀴의 반사된 뷰를 제공하도록 구성된다. 일부 경우에, 차량(500)의 전면에 있는 전환 가능한 바퀴 뷰 미러 어셈블리들(506)은 각각 전면 부분(예를 들면, 차량(500)의 전방에 있는 위치로부터 차량(500)의 전면을 향해 뒤돌아볼 때 보이는 바퀴들(508)의 일 부분)의 반사된 뷰를 제공하도록 구성된다.
일부 경우에, 차량(500)의 후면에 있는 전환 가능한 바퀴 뷰 미러 어셈블리들(506)(예를 들면, 전환 가능한 바퀴 뷰 미러 어셈블리들(506rdf, 506rdr, 506rpf, 506rpr))은 각각 전면 카메라(502af)의 이미지 센서의 시야 내에서 보이는 바퀴들(508)(예를 들면, 바퀴들(508df, 508dr, 508pf, 508pr)) 중 대응하는 바퀴의 반사된 뷰를 제공하도록 구성된다. 일부 경우에, 차량(500)의 후면에 있는 전환 가능한 바퀴 뷰 미러 어셈블리들(506)은 각각 후면 부분(예를 들면, 차량(500)의 후방에 있는 위치로부터 차량(500)의 후면을 향해 뒤돌아볼 때 보이는 바퀴들(508)의 일 부분)의 반사된 뷰를 제공하도록 구성된다.
일부 경우에, 전환 가능한 바퀴 뷰 미러 어셈블리들(506)은 적어도 2 개의 위치 사이에서 선택적으로 이동하도록 구성된다. 2 개의 위치는 전개된 위치, 연장된 위치, 또는 일반적으로 또는 실질적으로 이미지 센서의 시야 내에 반사 표면을 다른 방식으로 위치시키는 위치일 수 있는 제1 위치를 포함할 수 있다. 2 개의 위치는 은폐된 위치, 숨겨진 위치, 후퇴된 위치, 또는 일반적으로 또는 실질적으로 이미지 센서의 시야 밖에 반사 표면을 다른 방식으로 위치시키는 위치일 수 있는 제2 위치를 또한 포함할 수 있다. 이러한 위치들은 도 6a, 도 6b, 도 7a 및 도 7b를 참조하여 아래에서 더 상세히 설명될 것이다.
도 6a 및 도 6b는 전환 가능한 바퀴 뷰 미러 어셈블리(600)의 일 실시예의 다이어그램들이다. 전환 가능한 바퀴 뷰 미러 어셈블리(600)는, 위에서 기술된 전환 가능한 바퀴 뷰 미러 어셈블리들(506) 중 임의의 것을 포함하여, 본원에 기술된 전환 가능한 바퀴 뷰 미러 어셈블리들 중 임의의 것과 동일하거나 유사할 수 있다. 도 6a 및 도 6b에 도시된 바와 같이, 전환 가능한 바퀴 뷰 미러 어셈블리(600)는 액추에이터(602) 및 반사 표면(604)을 포함한다. 액추에이터(602)는 반사 표면(604)에 결합될 수 있다. 액추에이터(602)는 차량, 예를 들어, 차체(606)에 더 결합될 수 있다. 액추에이터(602)는 적어도 제1 위치와 제2 위치 사이에서 반사 표면(604)을 이동시키도록 더 구성될 수 있다.
도 6a에서, 전환 가능한 바퀴 뷰 미러 어셈블리(600)는 제1 위치에 예시되어 있고, 여기서 반사 표면(604)은 일반적으로, 실질적으로, 또는 전체적으로 차체(606)의 외부에 위치된다(예를 들면, 아래에서 기술되는 도 7a 참조). 그러한 위치에서, 반사 표면(604)은 일반적으로, 실질적으로, 또는 전체적으로 차량의 대응하는 이미지 센서 또는 카메라의 시야 내에서 보이도록 위치될 수 있다. 그에 따라, 제1 위치는 전개된 위치 또는 연장된 위치로 간주될 수 있다.
도 6b에서, 전환 가능한 바퀴 뷰 미러 어셈블리(600)는 제2 위치에 예시되어 있고, 여기서 반사 표면(604)은 일반적으로, 실질적으로, 또는 전체적으로 차체(606)의 일 부분 내에 위치된다(예를 들면, 아래에서 기술되는 도 7b 참조). 그러한 위치에서, 반사 표면(604)은 일반적으로, 실질적으로, 또는 전체적으로 차량의 대응하는 이미지 센서 또는 카메라의 시야 내에서 보이지 않도록 위치될 수 있다. 그에 따라, 제2 위치는 은폐된 위치, 숨겨진 위치, 후퇴된 위치로 간주될 수 있다.
액추에이터(602)는, 선형 액추에이터, 모터(예를 들면, 스테퍼 모터) 등과 같은, 제1 위치와 제2 위치 사이에서 반사 표면(604)을 이동시키도록 구성된 임의의 디바이스를 포함할 수 있다. 액추에이터(602)는 제1 위치와 제2 위치 사이에서 반사 표면(604)을 이동시키기 위해 반사 표면(604)에 대해 다양한 움직임들을 부여하도록 구성될 수 있다. 예를 들어, 액추에이터(602)는 제1 위치와 제2 위치 사이에서 반사 표면(604)을 이동시키기 위해 병진, 회전, 또는 병진 또는 회전의 조합을 야기하도록 구성될 수 있다. 일부 경우에, 액추에이터(602)는 제1 위치와 제2 위치 사이에서 이동하도록 직선 축을 따라 반사 표면(604)을 이동시키도록(예를 들면, 반사 표면(604)을 연장 및/또는 후퇴시키도록) 구성된 선형 액추에이터를 포함한다. 일부 경우에, 액추에이터(602)는 반사 표면(604)이 제1 위치와 제2 위치 사이에서 이동하도록 축을 중심으로 피벗팅(pivot)하게 하거나 힌징(hinge)하게 하도록 구성된 모터 또는 다른 회전 액추에이터를 포함한다. 다른 실시예들 및 기계적 구조들이 가능하다.
반사 표면(604)은 미러 또는 미러링된 표면(mirrored surface)을 포함할 수 있다. 다른 반사 표면들(604)(예를 들면, 반사성이지만 미러링된 표면을 제공하지 않음)이 또한 사용될 수 있다. 일부 경우에, 반사 표면(604)은 사용 중이 아닐 때 먼지 축적 및 손상을 최소화하기 위해 케이스에 인클로징되거나 커버에 의해 보호될 수 있다. 일부 경우에, 전환 가능한 바퀴 뷰 미러 어셈블리(600)는 제2 위치에서 반사 표면(604)을 인클로징하여 보호하는 도어 또는 커버를 포함할 수 있다. 도어 또는 커버는 반사 표면(604)이 이를 통해 이동하여 제1 위치에 도달할 수 있게 하기 위해 개방될 수 있다.
일부 경우에, 조명을 제공하기 위해 하나 이상의 라이트가 전환 가능한 미러 뷰 어셈블리 상에, 그에 근접하여, 또는 그 주위에 위치될 수 있다. 일부 경우에, 하나 이상의 라이트는 발광 다이오드들(LED들)을 포함하지만, 다른 형태들의 라이트들이 또한 사용될 수 있다.
차체(606)는, 일부 경우에, 액추에이터(602)를 하우징하고 제2 위치에서 반사 표면(604)을 인클로징하거나 부분적으로 인클로징하도록 구성될 수 있다. 일부 경우에, 차체(606)는 전환 가능한 바퀴 뷰 미러 어셈블리(600)를 수용하도록 구성된 리세스를 포함한다. 일부 경우에, 차체(606)는 전환 가능한 바퀴 뷰 미러 어셈블리(600)를 수용하도록 구성된 개구부, 구멍 또는 애퍼처를 포함한다. 일부 경우에, 차체(606)는 차체 패널, 범퍼 등을 포함한다.
도 7a 및 도 7b는 전환 가능한 바퀴 뷰 미러 어셈블리(700)를 포함하는 차량의 전면 부분의 측면도들이다. 전환 가능한 바퀴 뷰 미러 어셈블리(700)는, 위에서 기술된 전환 가능한 바퀴 뷰 미러 어셈블리들(506, 600) 중 임의의 것을 포함하여, 본원에 기술된 전환 가능한 바퀴 뷰 미러 어셈블리들 중 임의의 것과 동일하거나 유사할 수 있다. 도 7a 및 도 7b에서, 전환 가능한 바퀴 뷰 미러 어셈블리(700)는, 액추에이터(602) 및 반사 표면(604)과 동일하거나 유사할 수 있는, 액추에이터(702) 및 반사 표면(704)을 포함한다. 액추에이터(702)는 반사 표면(704) 및 차체(706)에 결합될 수 있다. 액추에이터(702)는 도 7a 및 도 7b에, 제각기, 도시된 바와 같이, 적어도 제1 위치와 제2 위치 사이에서 반사 표면(704)을 이동시키도록 더 구성될 수 있다. 도 7a 및 도 7b에서, 파선들은 차체(706) 내부에 위치된 특징부들을 예시하는 데 사용되는 반면, 실선들은 차체(706) 외부에 위치된 특징부들을 예시하는 데 사용된다.
도 7a에서, 전환 가능한 바퀴 뷰 미러 어셈블리(700)는 제1 위치에 예시되어 있고, 여기서 반사 표면(704)은 (반사 표면(704)의 실선 표현에 의해 예시된 바와 같이) 일반적으로, 실질적으로, 또는 전체적으로 차체(706)의 외부에 위치된다. 그러한 위치에서, 반사 표면(704)은 일반적으로, 실질적으로, 또는 전체적으로 차량의 대응하는 이미지 센서 또는 카메라(701)의 시야 내에서 보이도록 위치될 수 있다. 이 위치에서, 반사 표면(704)은 카메라(701)의 이미지 센서에 의해 보이는 차량의 바퀴의 반사 뷰를 제공할 수 있다.
도 7b에서, 전환 가능한 바퀴 뷰 미러 어셈블리(700)는 제2 위치에 예시되어 있고, 여기서 반사 표면(704)은 (반사 표면(704)의 파선 표현에 의해 예시된 바와 같이) 일반적으로, 실질적으로, 또는 전체적으로 차체(706)의 일 부분 내에 위치된다. 그러한 위치에서, 반사 표면(704)은 일반적으로, 실질적으로, 또는 전체적으로 차량의 대응하는 이미지 센서 또는 카메라(701)의 시야 내에서 보이지 않도록 위치될 수 있다. 이것은 차량의 이동 동안의 반사 표면(704)의 위치일 수 있다. 제2 위치에서 차체(706) 내에 반사 표면(704)을 위치시키는 것은 반사 표면을 손상으로부터 보호하고 카메라(701)의 이미지 센서의 시야로부터 반사 표면(704)을 제거할 수 있다.
도 8a는 전환 가능한 타이어 뷰 미러 어셈블리들을 포함하는 차량의 컴포넌트들의 평면도 다이어그램이다. 도 8a의 다이어그램은 카메라(801), 반사 표면들(806df, 806pf), 및 바퀴들(808df, 808pf, 808dr, 808pr)의 예시적인 상대 위치들을 예시한다. 도 8a에서, 차량(예를 들면, 차량의 차체)의 다른 컴포넌트들는 명확성을 위해 생략되어 있다.
카메라(801)는 전면 카메라(502af) 또는 카메라들(202a)과 동일하거나 유사할 수 있다. 예시된 실시예에서, 카메라(801)는 차량의 전면 영역에 대응하는 위치에 도시되어 있다. 예를 들어, 카메라(801)는 차량의 범퍼 또는 다른 전면 영역 상에 또는 그 내에 위치될 수 있다. 카메라(801)는 이미지 센서를 포함할 수 있다. 카메라(801)와 이미지 센서는 각도 α에 의해 예시된 바와 같은 시야를 갖는다. 일부 경우에, 각도 α는 대략 120도, 150도, 180도, 190도, 200도, 210도, 220도 또는 그 이상 등 또는 이들 초과일 수 있다. 예시된 실시예에서, 각도 α는 약 200도이다. 일부 경우에, 카메라(801)는 광각 카메라일 수 있다.
도시된 바와 같이, 반사 표면들(806df, 806pf)은 반사 표면들(806df, 806pf)이 카메라(801)의 시야(각도 α에 의해 표현됨) 내에 위치한 위치에 위치할(예를 들면, 위치로 이동될) 수 있다. 반사 표면들(806df, 806pf)은 따라서 반사 시야각 β1과 연관될 수 있으며, 반사 시야각 β1은, 도시된 바와 같이, 앞바퀴들(808df, 808pf)이 그 내에 위치하여 바퀴들(808df, 808pf)(예를 들면, 그의 반사들)이 각도 α에 의해 표현되는 바와 같은 카메라(801)의 시야로 볼 수 있도록 위치된다. 일부 경우에, 반사 시야각 β1은, 예를 들어, 대략 5도, 10도, 15도, 20도, 25도, 30도 또는 그 이상 또는 이들 초과일 수 있다. 반사 시야각 β1은 반사 표면들(806df, 806pf)의 길이 L1은 물론 반사 표면들(806df, 806pf)과 카메라(801)의 상대 위치와 연관될 수 있다. 일부 경우에, 길이 L1은 대략 200 mm, 220 mm, 240 mm, 280 mm, 300 mm, 320 mm, 340 mm, 360 mm, 380 mm, 또는 400 mm일 수 있다. 일부 경우에, 길이 L1은 열거된 값들보다 짧거나 길 수 있다.
계속해서 도 8a를 참조하고 도 8b를 참조하면, 뒷바퀴들(808dr, 808pr)을 보기 위한 반사 시야각 β2를 제공하기 위한 반사 표면들(806dr, 806pr)의 예시적인 상대 위치들이 예시되어 있다. 일부 경우에, 반사 시야각 β2는, 예를 들어, 대략 5도, 10도, 15도, 20도, 25도, 30도 또는 그 이상 또는 이들 초과일 수 있다. 반사 시야각 β2는 반사 표면들(806dr, 806pr)의 길이 L2는 물론 반사 표면들(806dr, 806pr)과 카메라(801)의 상대 위치와 연관될 수 있다. 일부 경우에, 길이 L2는 대략 5 mm, 10 mm, 15 mm, 16 mm, 20 mm, 25 mm, 30 mm, 35 mm, 45 mm, 또는 60 mm일 수 있다. 일부 경우에, 길이 L2는 열거된 값들보다 짧거나 길 수 있다. 예시된 구성에서, (뒷바퀴들(808dr, 808pr)을 보는 것과 연관된) 반사 표면들(806dr, 806pr)의 길이 L2는 (뒷바퀴들(808df, 808pf)을 보는 것과 연관된) 반사 표면들(806df, 806pf)의 길이 L1보다 짧을 수 있는데, 그 이유는 반사 표면들(806dr, 806pr)이 반사 표면들(806df, 806pf)보다 카메라(801)에 더 가깝게 위치되기 때문이다.
도 8c는 전환 가능한 타이어 뷰 미러 어셈블리들을 포함하는 도 8a의 차량의 컴포넌트들의 측면도 다이어그램이다. 이 뷰 예에서, 앞바퀴들 및 뒷바퀴들(808f, 808r)의 최소 및 전체 커버리지와 연관된 시야각들(φ1, φ2, φ3, φ4)이 예시되어 있다.
도 8a 내지 도 8c에 예시된 구성 및 각도들은 예로서 제공되며 제한하는 것으로 해석되어서는 안된다. 오히려, 카메라(801) 및 반사 표면들(806)은 카메라(801)의 시야 내에서 차량의 대응하는 바퀴들(808)의 반사 뷰들을 제공할 수 있도록 크기가 정해지고/지거나 위치될 수 있다. 이는 차량의 치수, 카메라(801)의 위치, 및 반사 표면들(806)의 위치들에 의존할 수 있다.
도 9a는 전환 가능한 바퀴 뷰 미러 어셈블리들을 포함하는 차량 상의 전방 카메라의 이미지 센서로 캡처된 예시적인 이미지(900a)이다. 이미지(900a)는, 예를 들어, 도 5의 전면 카메라(502af)로 캡처될 수 있는 이미지를 나타낸다. 이는 차량의 시점에서의 전방 뷰를 보여준다. 이미지(900a)는 제2 위치에 있는 전환 가능한 바퀴 뷰 미러 어셈블리들로 캡처되며, 여기서 전환 가능한 바퀴 뷰 미러 어셈블리들의 반사 표면은 일반적으로 또는 실질적으로 이미지 센서의 시야 내에 위치하지 않는다. 그에 따라, 전환 가능한 바퀴 뷰 미러 어셈블리들의 반사 표면이 이미지(900a)에서 보이지 않는다.
도 9b는 차량의 바퀴들의 반사된 뷰를 포함하는 전개된 위치에 있는 전환 가능한 바퀴 뷰 미러 어셈블리들과 함께 예시된 도 9a의 차량의 전방 카메라의 이미지 센서로 캡처된 예시적인 이미지(900b)이다. 도시된 바와 같이, 반사 표면들(906)(906d는 운전석 측 반사 표면에 대한 것이고 906p는 조수석 측 반사 표면에 대한 것임)이 이제 이미지(900b) 내에서 보인다. 반사 표면들(906)은, 반사 표면들(604, 704, 806)을 포함한, 본원에 기술된 반사 표면들 중 임의의 것과 동일하거나 유사할 수 있다. 이러한 이유는 반사 표면들(906)이 일반적으로 숨겨져 있는 제2 위치(예를 들면, 도 6b 및 도 7b 참조)로부터 이미지 센서의 시야 내에서 적어도 부분적으로 보이는 제1 위치(예를 들면, 도 6a 및 도 7a 참조)로 이동되었고 따라서 이미지(900b)에 나타나기 때문일 수 있다. 게다가, 도 9b는 반사 표면들(906)이 바퀴(908)(908d는 운전석 측 바퀴에 대한 것이고 908p는 조수석 측 바퀴에 대한 것임)의 반사된 뷰가 이미지(900b) 내의 반사 표면(906) 상에서 보이도록 배치되는 것을 예시한다. 이것은 전방 카메라를 사용하여 바퀴들(908) 주위의 영역을 모니터링하는 것을 가능하게 할 수 있다.
도 9c는 차량의 바퀴들(908) 중 하나의 바퀴 전방에 위치된 대상체(910)의 반사된 뷰를 포함하는 전개된 위치에 있는 전환 가능한 바퀴 뷰 미러 어셈블리들과 함께 예시된 도 9a의 차량의 전방 카메라의 이미지 센서로 캡처된 예시적인 이미지이다.
도 9b 및 도 9c는 차량의 앞바퀴들 또는 뒷바퀴들의 전면 부분들의 반사된 뷰들을 제공하도록 구성된 전환 가능한 바퀴 뷰 미러 어셈블리들을 나타낼 수 있다. 일부 경우에, 앞바퀴들의 전면 부분들의 반사된 뷰들을 제공하도록 구성된 전환 가능한 바퀴 뷰 미러 어셈블리들은 이미지들(900b, 900c) 상에서 뒷바퀴들의 전면 부분들의 반사된 뷰들을 제공하도록 구성된 전환 가능한 바퀴 뷰 미러 어셈블리들과 상이한 위치에 나타날 수 있다. 다른 경우에, 앞바퀴들의 전면 부분들의 반사된 뷰들을 제공하도록 구성된 전환 가능한 바퀴 뷰 미러 어셈블리들 및 뒷바퀴들의 전면 부분들의 반사된 뷰들을 제공하도록 구성된 전환 가능한 바퀴 뷰 미러 어셈블리들은 이미지들(900b, 900c)에서 동일한 위치에 나타날 수 있다.
도 9a 내지 도 9c는 또한 전방 카메라로부터의 예를 제시한다. 유사한 이미지들이 후방 카메라로부터 생성될 수 있다. 그러한 경우에, 전환 가능한 바퀴 뷰 미러 어셈블리들은 차량의 앞바퀴들 또는 뒷바퀴들의 후면 부분들의 반사된 뷰들을 제공하도록 구성될 수 있다. 일부 경우에, 뒷바퀴들의 전면 부분들의 반사된 뷰들을 제공하도록 구성된 전환 가능한 바퀴 뷰 미러 어셈블리들은 이미지들(900b, 900c) 상에서 뒷바퀴들의 후면 부분들의 반사된 뷰들을 제공하도록 구성된 전환 가능한 바퀴 뷰 미러 어셈블리들과 상이한 위치에 나타날 수 있다. 다른 경우에, 앞바퀴들의 후면 부분들의 반사된 뷰들을 제공하도록 구성된 전환 가능한 바퀴 뷰 미러 어셈블리들 및 뒷바퀴들의 후면 부분들의 반사된 뷰들을 제공하도록 구성된 전환 가능한 바퀴 뷰 미러 어셈블리들은 이미지들(900b, 900c)에서 동일한 위치에 나타날 수 있다.
도 10은 전환 가능한 바퀴 뷰 미러들을 제어하기 위한 루틴(1000)의 일 실시예의 플로차트이다. 일부 경우에, 루틴(1000)은 자율 주행 시스템(202)(예를 들면, 자율 주행 차량 컴퓨터(202f) 또는 안전 제어기(202g)), 자율 주행 차량 컴퓨터(400), 자율 주행 시스템(502)(예를 들면, 자율 주행 차량 컴퓨터(502b) 또는 안전 제어기(502c))과 연관된 프로세서, 또는 다른 프로세서들 또는 컴포넌트들에 의해 구현되거나 실행될 수 있다. 일부 경우에, 프로세서는 루틴(1000)을 구현하기 위해 비일시적 컴퓨터 판독 가능 매체에 저장된 명령어들을 실행할 수 있다. 단순함을 위해, 루틴(1000)은 일반적으로 자율 주행 차량 컴퓨터(502b)에 의해 구현되는 것으로 기술될 것이지만, 예를 들어, 안전 제어기(506c)와 같은, 자율 주행 시스템(502)의 컴포넌트들의 임의의 조합이 루틴(1000)을 구현하는 데 사용될 수 있음이 이해될 것이다.
블록(1002)에서, 자율 주행 차량 컴퓨터(502b)는 반사 표면이 제2 위치로부터 제1 위치로 이동하게 하고, 여기서, 제1 위치에서, 반사 표면은 차량의 바퀴의 적어도 일 부분의 반사된 뷰가 차량에 결합된 이미지 센서의 시야 내의 반사 표면 상에서 보이도록, 이미지 센서의 시야 내에 위치한다. 위에서 기술된 바와 같이, 자율 주행 차량 컴퓨터(502b)는 액추에이터로 하여금 반사 표면을 이동시키게 하는 명령어를 액추에이터로 전송할 수 있다.
블록(1004)에서, 자율 주행 차량 컴퓨터(502b)는 이미지 센서로 이미지를 캡처하게 한다. 이미지는 반사 표면이 이미지 내에서 보이고 차량의 바퀴의 반사된 뷰를 제공하는 도 9b 또는 도 9c에 도시된 것과 유사한 이미지일 수 있다.
블록(1006)에서, 자율 주행 차량 컴퓨터(502b)는 차량의 바퀴에 대한 대상체의 위치를 결정하기 위해 이미지를 분석한다. 일부 경우에, 블록(1006)은 대상체가 이미지에 존재하는지 여부를 결정하는 것을 포함할 수 있다. 만약 그렇다면, 자율 주행 차량 컴퓨터(502b)는 바퀴에 대한 대상체의 위치를 결정할 수 있다.
일부 경우에, 루틴(1000)은 대상체의 대상체 유형을 결정하기 위해 이미지를 분석하는 단계를 더 포함한다. 이는, 대상체의 크기, 대상체가 바퀴에 부딪힐 경우 손상될 것인지 여부, 대상체가 차량에 손상을 입힐지 여부 등의 결정과 같은, 대상체의 특성 분석을 포함할 수 있다. 특정 경우에, 자율 주행 차량 컴퓨터는 이미지에서 대상체들을 식별 및 분류하기 위해 하나 이상의 트레이닝된 신경 네트워크를 사용할 수 있다.
블록(1008)에서, 자율 주행 차량 컴퓨터(502b)는 차량의 바퀴에 대한 대상체의 위치에 기초하여 차량의 움직임이 허용되는지 여부를 결정한다. 예를 들어, (예를 들면, 도 9c에 도시된 바와 같이) 대상체가 바퀴 전방에 위치함으로써 차량이 움직이면 대상체가 부딪힐 것인 경우, 자율 주행 차량 컴퓨터(502b)는 대상체가 제거될 때까지 차량의 움직임을 금지할 수 있다. 반대로, (예를 들면, 도 9b에 도시된 바와 같이) 어떠한 대상체도 발견되지 않는 경우, 자율 주행 차량 컴퓨터(502b)는 차량이 이동하도록 허용할 수 있다.
일부 경우에, 자율 주행 차량 컴퓨터(502b)는 대상체 유형에 기초하여 차량의 움직임을 허용할지 여부를 결정할 수 있다. 이는, 대상체의 크기, 대상체가 바퀴에 부딪힐 경우 손상될 것인지 여부, 대상체가 차량에 손상을 입힐지 여부 등의 결정과 같은, 대상체들을 식별 및 분류하는 것을 포함할 수 있다.
루틴(1000)에서 보다 적거나 보다 많거나 상이한 블록들이 사용될 수 있다. 추가적으로, 블록들은 동시에 수행되거나 재정렬될 수 있다. 예를 들어, 일부 경우에, 루틴(1000)은, 차량의 움직임이 허용된다고 결정하는 것에 기초하여, 반사 표면이 제1 위치로부터 제2 위치로 이동하게 하는 단계를 더 포함할 수 있다. 예를 들어, 반사 표면은 도 7a에 예시된 위치로부터 도 7b에 예시된 위치로 이동될 수 있다. 제2 위치에서, 반사 표면이 실질적으로 차량의 차체 패널 내에 위치하는 것 또는 반사 표면이 이미지 센서의 시야 내에서 보이지 않는 것 중 적어도 하나일 수 있다. 게다가, 일부 경우에, 차량의 움직임이 허용된다고 결정하는 것에 적어도 부분적으로 기초하여, 자율 주행 차량 컴퓨터(502b)는 차량의 움직임을 허용하거나 야기할 수 있다. 차량의 움직임을 야기하는 것은 차량의 완전 자율 주행 움직임, 차량의 반자율 주행 움직임 또는 차량의 인간 조작 움직임(예를 들면, 비자율 주행 움직임) 중 하나를 포함할 수 있다.
일부 경우에, 차량의 움직임이 허용되지 않는다고 결정하는 것에 적어도 부분적으로 기초하여, 자율 주행 차량 컴퓨터(502b)는 차량이 정지 상태를 유지하게 할 수 있다. 일부 경우에, 차량의 움직임이 허용되지 않는다고 결정하는 것에 적어도 부분적으로 기초하여, 자율 주행 차량 컴퓨터(502b)는 바퀴가 대상체에 의해 방해된다는 경고를 제공한다.
일부 경우에, 자율 주행 차량 컴퓨터(502b)는 차량 상의 전방 카메라와 함께 사용하도록 구성된 전환 가능한 타이어 뷰 미러들을 사용하여 앞바퀴들 또는 뒷바퀴들의 전면 부분들을 모니터링할 수 있다. 추가적으로 또는 대안적으로, 자율 주행 차량 컴퓨터(502b)는 차량 상의 후방 카메라와 함께 사용하도록 구성된 전환 가능한 타이어 뷰 미러들을 사용하여 앞바퀴들 또는 뒷바퀴들의 후면 부분들을 모니터링할 수 있다.
도 11은 전환 가능한 바퀴 뷰 미러들을 제어하기 위한 루틴(1100)의 다른 실시예의 플로차트이다. 일부 경우에, 루틴(1100)은 자율 주행 시스템(202)(예를 들면, 자율 주행 차량 컴퓨터(202f) 또는 안전 제어기(202g)), 자율 주행 차량 컴퓨터(400), 자율 주행 시스템(502)(예를 들면, 자율 주행 차량 컴퓨터(502b) 또는 안전 제어기(502c))과 연관된 프로세서, 또는 다른 프로세서들 또는 컴포넌트들에 의해 구현되거나 실행될 수 있다. 일부 경우에, 프로세서는 루틴(1100)을 구현하기 위해 비일시적 컴퓨터 판독 가능 매체에 저장된 명령어들을 실행할 수 있다. 단순함을 위해, 루틴(1100)은 일반적으로 자율 주행 차량 컴퓨터(502b)에 의해 구현되는 것으로 기술될 것이지만, 예를 들어, 안전 제어기(502c)와 같은, 자율 주행 시스템(502)의 컴포넌트들의 임의의 조합이 루틴(1100)을 구현하는 데 사용될 수 있음이 이해될 것이다.
루틴(1100)은, 예를 들어, 차량의 이동을 허용하기 전에 수행될 수 있는 일련의 검사들을 포함할 수 있다. 블록(1102)에서, 차량의 엔진이 켜진다. 블록(1104)에서, 자율 주행 차량 컴퓨터(502b)는 앞바퀴들을 모니터링하기 위한 전환 가능한 바퀴 뷰 미러들(전환 가능한 타이어 뷰 미러들(STVM들)이라고도 지칭됨)을 관여시키는(예를 들면, 연장된, 전개된 또는 제1 위치로 이동시키는) 반면, 뒷바퀴들을 모니터링하기 위한 STVM들은 관여 해제된 상태로(예를 들면, 후퇴된, 은폐된, 숨겨진 또는 제2 위치에) 유지된다. 자율 주행 차량 컴퓨터(502b)는 이미지들을 캡처하고, 임의의 대상체들이 앞바퀴들을 방해하는지 여부를 결정하기 위해 이미지들을 분석한다. 만약 그렇다면, 블록(1106)에서, 자율 주행 차량 컴퓨터(502b)는 장애물이 제거될 때까지 차량이 정지 상태로 유지되게 한다(움직임이 허용되지 않음).
만약 그렇지 않다면, 블록(1108)에서, 자율 주행 차량 컴퓨터(502b)는 앞바퀴들을 모니터링하기 위한 STVM들을 관여 해제시키는(예를 들면, 이들을 후퇴된, 은폐된, 숨겨진 또는 제2 위치에 위치시키는) 반면, 뒷바퀴들을 모니터링하기 위한 STVM들은 관여된다(예를 들면, 연장된, 전개된 또는 제1 위치로 이동됨). 자율 주행 차량 컴퓨터(502b)는 이미지들을 캡처하게 하고, 임의의 대상체들이 뒷바퀴들을 방해하는지 여부를 결정하기 위해 이미지들을 분석한다. 만약 그렇다면, 블록(1110)에서, 자율 주행 차량 컴퓨터(502b)는 장애물이 제거될 때까지 차량이 정지 상태로 유지되게 한다(움직임이 허용되지 않음).
만약 그렇지 않다면, 블록(1112)에서, 자율 주행 차량 컴퓨터(502b)는 앞바퀴들 및 뒷바퀴들을 모니터링하기 위한 STVM들 둘 모두를 관여 해제시킨다. 자율 주행 차량 컴퓨터(502b)는 이어서 이미지들을 캡처하고, 방해를 야기할 임의의 대상체들이 차량 주위에 위치되는지 여부를 결정하기 위해 이미지들을 분석한다. 만약 그렇다면, 블록(1116)에서, 장애물이 제거될 때까지 차량은 정지 상태로 유지된다(움직임이 허용되지 않음). 만약 그렇지 않다면, 블록(1118)에서, 차량은 이동하도록 허용된다.
전술한 설명에서, 본 개시의 양태들 및 실시예들은 구현마다 달라질 수 있는 다수의 특정 세부 사항들을 참조하여 기술되었다. 그에 따라, 설명 및 도면들은 제한적인 의미가 아니라 예시적인 의미로 간주되어야 한다. 본 발명의 범위의 유일한 독점적인 지표, 및 출원인이 본 발명의 범위이도록 의도한 것은, 본 출원에서 특정 형태로 나오는 일련의 청구항들의 문언적 등가 범위이며, 임의의 후속 보정을 포함한다. 그러한 청구항들에 포함된 용어들에 대한 본원에서 명시적으로 기재된 임의의 정의들은 청구항들에서 사용되는 그러한 용어들의 의미를 결정한다. 추가적으로, 전술한 설명 및 이하의 청구항들에서 "더 포함하는"이라는 용어가 사용될 때, 이 문구에 뒤따르는 것은 추가적인 단계 또는 엔티티, 또는 이전에 언급된 단계 또는 엔티티의 서브단계/서브엔티티일 수 있다.

Claims (20)

  1. 방법에 있어서,
    적어도 하나의 프로세서를 사용하여, 이미지 센서의 측방향에 위치한 제1 반사 표면이 제2 위치로부터 제1 위치로 이동하게 하는 단계 - 상기 이미지 센서는 차량에 결합되고 상기 차량의 전방 또는 후방의 장면을 캡처할 수 있고, 상기 제1 위치에서, 상기 제1 반사 표면은 상기 차량의 제1 바퀴의 적어도 일 부분의 반사된 뷰가 상기 이미지 센서의 시야 내의 상기 제1 반사 표면 상에서 보이도록, 상기 이미지 센서의 시야 내에 위치함 -;
    상기 이미지 센서로 제1 이미지를 캡처하는 단계;
    상기 차량의 제1 바퀴에 대한 제1 대상체의 위치를 결정하기 위해 상기 제1 이미지를 분석하는 단계; 및
    상기 차량의 제1 바퀴에 대한 상기 제1 대상체의 위치에 기초하여 상기 차량의 움직임이 허용되는지 여부를 결정하는 단계
    를 포함하는, 방법.
  2. 제1항에 있어서,
    상기 제1 대상체의 대상체 유형을 결정하기 위해 상기 제1 이미지를 분석하는 단계를 더 포함하며,
    상기 차량의 움직임이 허용되는지 여부를 결정하는 단계는 또한 상기 대상체 유형에 기초하는, 방법.
  3. 제1항에 있어서,
    상기 차량의 움직임이 허용된다고 결정하는 것에 적어도 부분적으로 기초하여:
    상기 제1 반사 표면이 상기 제1 위치로부터 상기 제2 위치로 이동하게 하는 단계, 및
    상기 차량의 움직임을 가능하게 하는 단계
    를 더 포함하는, 방법.
  4. 제3항에 있어서, 상기 차량의 움직임을 가능하게 하는 단계는:
    상기 차량의 완전 자율 주행 움직임;
    상기 차량의 반자율 주행 움직임; 또는
    상기 차량의 인간 조작 움직임
    중 적어도 하나를 가능하게 하는 단계를 포함하는, 방법.
  5. 제3항에 있어서, 상기 제2 위치에서, 상기 제1 반사 표면이 실질적으로 상기 차량의 차체 패널 내에 위치하는 것 또는 상기 제1 반사 표면이 상기 이미지 센서의 시야 내에서 보이지 않는 것 중 적어도 하나인, 방법.
  6. 제1항에 있어서, 상기 차량의 움직임이 허용되지 않는다고 결정하는 것에 적어도 부분적으로 기초하여, 상기 차량이 정지 상태를 유지하게 하는 단계를 더 포함하는, 방법.
  7. 제6항에 있어서, 상기 차량의 움직임이 허용되지 않는다고 결정하는 것에 적어도 부분적으로 기초하여, 상기 제1 바퀴가 상기 제1 대상체에 의해 방해된다는 경고를 제공하는 단계를 더 포함하는, 방법.
  8. 제1항에 있어서, 상기 제1 바퀴는 상기 차량의 앞바퀴 또는 뒷바퀴 중 하나를 포함하고, 상기 방법은:
    제2 반사 표면이 제4 위치로부터 제3 위치로 이동하게 하는 단계 - 상기 제3 위치에서, 상기 제2 반사 표면은 상기 차량의 제2 바퀴의 적어도 일 부분의 반사된 뷰가 상기 차량에 결합된 상기 이미지 센서의 시야 내의 상기 제2 반사 표면 상에서 보이도록, 상기 이미지 센서의 시야 내에 위치하고, 상기 제2 바퀴는 상기 차량의 앞바퀴 또는 뒷바퀴 중 다른 하나를 포함함 -;
    상기 이미지 센서로 제2 이미지를 캡처하는 단계;
    상기 차량의 제2 바퀴에 대한 제2 대상체의 제2 위치를 결정하기 위해 상기 제2 이미지를 분석하는 단계; 및
    상기 차량의 제2 바퀴에 대한 상기 제2 대상체의 제2 위치에 기초하여 상기 차량의 움직임이 허용되는지 여부를 결정하는 단계
    를 더 포함하는, 방법.
  9. 제8항에 있어서,
    상기 차량의 제2 바퀴에 대한 상기 제2 대상체의 제2 위치에 기초하여 상기 차량의 움직임이 허용된다고 결정하는 것에 적어도 부분적으로 기초해, 상기 제2 반사 표면이 상기 제3 위치로부터 상기 제4 위치로 이동하게 하는 단계를 더 포함하며,
    상기 제4 위치에서, 상기 제2 반사 표면이 실질적으로 상기 차량의 차체 패널 내에 위치하는 것 또는 상기 제2 반사 표면이 상기 이미지 센서의 시야 내에서 보이지 않는 것 중 적어도 하나인, 방법.
  10. 제9항에 있어서, 상기 차량의 움직임을 가능하게 하는 단계를 더 포함하는, 방법.
  11. 제9항에 있어서,
    상기 이미지 센서로 제3 이미지를 캡처하는 단계;
    상기 차량에 대한 제3 대상체의 제3 위치를 결정하기 위해 상기 제3 이미지를 분석하는 단계; 및
    상기 차량에 대한 상기 제3 대상체의 제3 위치에 기초하여 상기 차량의 움직임이 허용되는지 여부를 결정하는 단계
    를 더 포함하는, 방법.
  12. 제11항에 있어서, 상기 차량의 움직임이 허용된다고 결정하는 것에 적어도 부분적으로 기초하여, 상기 차량의 움직임을 가능하게 하는 단계를 더 포함하는, 방법.
  13. 제12항에 있어서, 상기 차량의 움직임이 허용되지 않는다고 결정하는 것에 적어도 부분적으로 기초하여, 상기 차량이 정지 상태를 유지하게 하는 단계를 더 포함하는, 방법.
  14. 시스템에 있어서,
    적어도 하나의 프로세서, 및
    명령어들을 저장한 적어도 하나의 비일시적 저장 매체
    를 포함하며, 상기 명령어들은, 상기 적어도 하나의 프로세서에 의해 실행될 때, 상기 적어도 하나의 프로세서로 하여금:
    이미지 센서의 측방향에 위치한 반사 표면이 제2 위치로부터 제1 위치로 이동하게 하고 - 상기 이미지 센서는 차량에 결합되고 상기 차량의 전방 또는 후방의 장면을 캡처할 수 있고, 상기 제1 위치에서, 상기 반사 표면은 상기 차량의 바퀴의 적어도 일 부분의 반사된 뷰가 상기 이미지 센서의 시야 내의 상기 반사 표면 상에서 보이도록, 상기 이미지 센서의 시야 내에 위치함 -;
    상기 이미지 센서로 이미지를 캡처하게 하며;
    상기 차량의 바퀴에 대한 대상체의 위치를 결정하기 위해 상기 이미지를 분석하게 하고;
    상기 차량의 바퀴에 대한 상기 대상체의 위치에 기초하여 상기 차량의 움직임이 허용되는지 여부를 결정하게 하는, 시스템.
  15. 제14항에 있어서, 상기 명령어들은 또한 상기 적어도 하나의 프로세서로 하여금:
    상기 대상체의 대상체 유형을 결정하기 위해 상기 이미지를 분석하게 하며,
    상기 차량의 움직임이 허용되는지 여부를 결정하는 것은 또한 상기 대상체 유형에 기초하는, 시스템.
  16. 제14항에 있어서, 상기 명령어들은 또한 상기 적어도 하나의 프로세서로 하여금, 상기 차량의 움직임이 허용된다고 결정하는 것에 적어도 부분적으로 기초하여:
    상기 반사 표면이 상기 제1 위치로부터 상기 제2 위치로 이동하게 하고,
    상기 차량의 움직임을 야기하게 하는, 시스템.
  17. 제14항에 있어서, 상기 명령어들은 또한 상기 적어도 하나의 프로세서로 하여금, 상기 차량의 움직임이 허용되지 않는다고 결정하는 것에 적어도 부분적으로 기초하여, 상기 차량이 정지 상태를 유지하게 하는, 시스템.
  18. 명령어들을 저장한 적어도 하나의 비일시적 저장 매체에 있어서, 상기 명령어들은, 적어도 하나의 프로세서에 의해 실행될 때, 상기 적어도 하나의 프로세서로 하여금:
    이미지 센서의 측방향에 위치한 반사 표면이 제2 위치로부터 제1 위치로 이동하게 하고 - 상기 이미지 센서는 차량에 결합되고 상기 차량의 전방 또는 후방의 장면을 캡처할 수 있고, 상기 제1 위치에서, 상기 반사 표면은 상기 차량의 바퀴의 적어도 일 부분의 반사된 뷰가 상기 이미지 센서의 시야 내의 상기 반사 표면 상에서 보이도록, 상기 이미지 센서의 시야 내에 위치함 -;
    상기 이미지 센서로 이미지를 캡처하게 하며;
    상기 차량의 바퀴에 대한 대상체의 위치를 결정하기 위해 상기 이미지를 분석하게 하고;
    상기 차량의 바퀴에 대한 상기 대상체의 위치에 기초하여 상기 차량의 움직임이 허용되는지 여부를 결정하게 하는, 적어도 하나의 비일시적 저장 매체.
  19. 제18항에 있어서, 상기 명령어들은 또한 상기 적어도 하나의 프로세서로 하여금:
    상기 대상체의 대상체 유형을 결정하기 위해 상기 이미지를 분석하게 하며,
    상기 차량의 움직임이 허용되는지 여부를 결정하는 것은 또한 상기 대상체 유형에 기초하는, 적어도 하나의 비일시적 저장 매체.
  20. 제18항에 있어서, 상기 명령어들은 또한 상기 적어도 하나의 프로세서로 하여금, 상기 차량의 움직임이 허용된다고 결정하는 것에 적어도 부분적으로 기초하여:
    상기 반사 표면이 상기 제1 위치로부터 상기 제2 위치로 이동하게 하고,
    상기 차량의 움직임을 야기하게 하는, 적어도 하나의 비일시적 저장 매체.
KR1020210161010A 2021-09-22 2021-11-22 전환 가능한 바퀴 뷰 미러 KR102561976B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US17/448,447 2021-09-22
US17/448,447 US20230087119A1 (en) 2021-09-22 2021-09-22 Switchable wheel view mirrors

Publications (2)

Publication Number Publication Date
KR20230043022A KR20230043022A (ko) 2023-03-30
KR102561976B1 true KR102561976B1 (ko) 2023-08-01

Family

ID=78828397

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210161010A KR102561976B1 (ko) 2021-09-22 2021-11-22 전환 가능한 바퀴 뷰 미러

Country Status (5)

Country Link
US (1) US20230087119A1 (ko)
KR (1) KR102561976B1 (ko)
CN (1) CN115933626A (ko)
DE (1) DE102021132843A1 (ko)
GB (1) GB2611113B (ko)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008074139A (ja) * 2006-09-19 2008-04-03 Fujitsu General Ltd 車載用監視カメラ
JP2014016962A (ja) * 2012-07-11 2014-01-30 Resonant Systems Inc 車両周辺監視システム
JP2014216925A (ja) * 2013-04-26 2014-11-17 いすゞ自動車株式会社 車両周辺画像生成装置
JP2020175786A (ja) * 2019-04-18 2020-10-29 株式会社デンソー 車両誤発進抑制装置

Family Cites Families (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AT400989B (de) * 1992-12-21 1996-05-28 Vae Ag Einrichtung zum erkennen unzulässig erwärmter bauteile bzw. stellen an bewegten objekten
DE60303269T2 (de) * 2002-12-20 2006-11-09 Murakami Corp. Aussenspiegel
JP2004312638A (ja) * 2003-04-10 2004-11-04 Mitsubishi Electric Corp 障害物検知装置
US6861972B2 (en) * 2003-07-28 2005-03-01 Ellistar Sensor Systems, Inc. Object detection apparatus and method
US7132653B2 (en) * 2004-01-07 2006-11-07 Robert Carl Faubion Apparatus for visual comparison of infrared images
US7241037B2 (en) * 2005-03-23 2007-07-10 K.W. Muth Company Signaling assembly
FR2885860B1 (fr) * 2005-05-20 2007-08-17 Valeo Vision Sa Dispositif de detection d'obstacles comportant un systeme d'imagerie pour vehicule automobile
CN102414047B (zh) * 2009-06-09 2014-07-30 本田技研工业株式会社 车辆的前侧方视觉辨认装置
JP5500369B2 (ja) * 2009-08-03 2014-05-21 アイシン精機株式会社 車両周辺画像生成装置
DE102010025719A1 (de) * 2010-06-30 2012-05-16 Wabco Gmbh Vorrichtung und Verfahren zur Ausgabe eines Signals bei gefährlichem Untergrund unter einem Fahrzeug
JP5459560B2 (ja) * 2011-06-27 2014-04-02 アイシン精機株式会社 周辺監視装置
JP2013110571A (ja) * 2011-11-21 2013-06-06 Sony Corp 撮像システムおよび撮像装置
US9902340B2 (en) * 2011-12-29 2018-02-27 Intel Corporation Systems, methods, and apparatus for enhancing a camera field of view in a vehicle
US9041552B2 (en) * 2012-01-10 2015-05-26 Xiao Lin Yu Automobile blind spot detection system and method
US9409574B2 (en) * 2012-11-27 2016-08-09 Nissan Motor Co., Ltd. Vehicle acceleration suppression device and vehicle acceleration suppression method
JP6026948B2 (ja) * 2013-04-30 2016-11-16 株式会社デンソー 障害物検出装置
ES2561133B1 (es) * 2014-07-24 2016-12-01 Alejandro Rodriguez Barros Retrovisor exterior multifunción con dispositivo emisor laser incorporado
KR101622622B1 (ko) * 2014-10-13 2016-05-31 엘지전자 주식회사 차량 하부 이미지 제공 장치 및 이를 구비한 차량
US9834141B2 (en) * 2014-10-28 2017-12-05 Nissan North America, Inc. Vehicle object detection system
US9599706B2 (en) * 2015-04-06 2017-03-21 GM Global Technology Operations LLC Fusion method for cross traffic application using radars and camera
CN108602466B (zh) * 2016-01-29 2023-04-25 法拉第未来公司 用于跟踪运动对象以避免干扰车门操作的***及方法
US10496890B2 (en) * 2016-10-28 2019-12-03 International Business Machines Corporation Vehicular collaboration for vehicular blind spot detection
US10007262B1 (en) * 2016-12-28 2018-06-26 Robert Bosch Gmbh System for monitoring underneath an autonomous vehicle
US10491793B2 (en) * 2017-04-19 2019-11-26 Ford Global Technologies, Llc Shielded camera monitoring of wheels from vehicle underside using reflectors
DE102017111932A1 (de) * 2017-05-31 2018-12-06 Valeo Schalter Und Sensoren Gmbh Verfahren zum Betreiben einer Ultraschallsensorvorrichtung für ein Kraftfahrzeug zum Überwachen eines Bodenbereichs unterhalb des Kraftfahrzeugs, Ultraschallsensorvorrichtung, Fahrerassistenzsystem sowie Kraftfahrzeug
JP6960389B2 (ja) * 2018-12-04 2021-11-05 本田技研工業株式会社 検出装置および車両
JP7280006B2 (ja) * 2019-08-06 2023-05-23 アルパイン株式会社 画像処理装置、画像処理方法および画像処理プログラム
KR20210050925A (ko) * 2019-10-29 2021-05-10 엘지전자 주식회사 차량 충돌 회피 장치 및 방법
US11544936B2 (en) * 2019-12-20 2023-01-03 Zoox, Inc. In-path obstacle detection and avoidance system
JP2022014975A (ja) * 2020-07-08 2022-01-21 トヨタ自動車株式会社 車両周辺監視装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008074139A (ja) * 2006-09-19 2008-04-03 Fujitsu General Ltd 車載用監視カメラ
JP2014016962A (ja) * 2012-07-11 2014-01-30 Resonant Systems Inc 車両周辺監視システム
JP2014216925A (ja) * 2013-04-26 2014-11-17 いすゞ自動車株式会社 車両周辺画像生成装置
JP2020175786A (ja) * 2019-04-18 2020-10-29 株式会社デンソー 車両誤発進抑制装置

Also Published As

Publication number Publication date
US20230087119A1 (en) 2023-03-23
DE102021132843A1 (de) 2023-06-22
GB2611113A (en) 2023-03-29
KR20230043022A (ko) 2023-03-30
CN115933626A (zh) 2023-04-07
GB202115807D0 (en) 2021-12-15
GB2611113B (en) 2024-03-27

Similar Documents

Publication Publication Date Title
US11527085B1 (en) Multi-modal segmentation network for enhanced semantic labeling in mapping
KR20230120974A (ko) 레이더를 사용하여 로컬화 및 차선 검출을 위한 연석 기반의 특징 추출
KR102669530B1 (ko) 전환 가능한 바퀴 뷰 미러
WO2023250290A1 (en) Post drop-off passenger assistance
KR102561976B1 (ko) 전환 가능한 바퀴 뷰 미러
US20230209253A1 (en) Autonomous vehicle with microphone safety
US20240123996A1 (en) Methods and systems for traffic light labelling via motion inference
US20240038065A1 (en) Managing traffic light detections
US20230303124A1 (en) Predicting and controlling object crossings on vehicle routes
US20240123914A1 (en) Vehicle sensor lens hood
US20230373529A1 (en) Safety filter for machine learning planners
US20230403471A1 (en) Multiple position rolling shutter imaging device
US20230236313A1 (en) Thermal sensor data vehicle perception
US20230227032A1 (en) Vehicle Dynamics Classification for Collision and Loss of Control Detection
US20230219595A1 (en) GOAL DETERMINATION USING AN EYE TRACKER DEVICE AND LiDAR POINT CLOUD DATA
WO2024081585A1 (en) Vehicle sensor lens hood
WO2024081246A1 (en) Aggregation of data representing geographical areas
WO2024081214A1 (en) Graph exploration forward search
WO2024081593A1 (en) Methods and systems for traffic light labelling via motion inference
WO2024035575A1 (en) Discriminator network for detecting out of operational design domain scenarios
CN116483062A (zh) 用于运载工具的方法、***以及存储介质
KR20220156736A (ko) 종속 가능성 구조체로의 다중 타겟 추적
GB2616684A (en) Light-based object localization
KR20230074396A (ko) 가상 에이전트들의 모션 예측
WO2024030531A1 (en) Pulsed-light optical imaging systems for autonomous vehicles

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant