CN112722070A - 用于人类驾驶员基于手离合和手势的功能选择的基于光学器件的检测 - Google Patents
用于人类驾驶员基于手离合和手势的功能选择的基于光学器件的检测 Download PDFInfo
- Publication number
- CN112722070A CN112722070A CN202011091393.3A CN202011091393A CN112722070A CN 112722070 A CN112722070 A CN 112722070A CN 202011091393 A CN202011091393 A CN 202011091393A CN 112722070 A CN112722070 A CN 112722070A
- Authority
- CN
- China
- Prior art keywords
- steering
- human
- driver
- autonomous
- interface
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 28
- 238000000034 method Methods 0.000 claims abstract description 25
- 230000003287 optical effect Effects 0.000 claims description 114
- 230000033001 locomotion Effects 0.000 claims description 23
- 230000008859 change Effects 0.000 claims description 12
- 230000003993 interaction Effects 0.000 claims description 9
- 238000010191 image analysis Methods 0.000 claims description 6
- 238000003384 imaging method Methods 0.000 description 20
- 238000013528 artificial neural network Methods 0.000 description 16
- 230000000007 visual effect Effects 0.000 description 8
- 230000006870 function Effects 0.000 description 6
- 210000003127 knee Anatomy 0.000 description 5
- 238000006243 chemical reaction Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 4
- 230000007246 mechanism Effects 0.000 description 4
- 238000012544 monitoring process Methods 0.000 description 4
- 230000004044 response Effects 0.000 description 4
- 210000000245 forearm Anatomy 0.000 description 3
- 239000007789 gas Substances 0.000 description 3
- 210000000689 upper leg Anatomy 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 230000009471 action Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 244000309466 calf Species 0.000 description 2
- 238000002485 combustion reaction Methods 0.000 description 2
- 230000001276 controlling effect Effects 0.000 description 2
- 238000007405 data analysis Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 239000007788 liquid Substances 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 241000203475 Neopanax arboreus Species 0.000 description 1
- 208000003443 Unconsciousness Diseases 0.000 description 1
- 230000002730 additional effect Effects 0.000 description 1
- 239000010426 asphalt Substances 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 235000013361 beverage Nutrition 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000013016 damping Methods 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 238000003066 decision tree Methods 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 239000000446 fuel Substances 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 210000003739 neck Anatomy 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000012913 prioritisation Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 210000002832 shoulder Anatomy 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 230000007306 turnover Effects 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
- B62D—MOTOR VEHICLES; TRAILERS
- B62D15/00—Steering not otherwise provided for
- B62D15/02—Steering position indicators ; Steering position determination; Steering aids
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W60/00—Drive control systems specially adapted for autonomous road vehicles
- B60W60/005—Handover processes
- B60W60/0053—Handover processes from vehicle to occupant
- B60W60/0055—Handover processes from vehicle to occupant only part of driving tasks shifted to occupants
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
- B62D—MOTOR VEHICLES; TRAILERS
- B62D1/00—Steering controls, i.e. means for initiating a change of direction of the vehicle
- B62D1/02—Steering controls, i.e. means for initiating a change of direction of the vehicle vehicle-mounted
- B62D1/04—Hand wheels
- B62D1/046—Adaptations on rotatable parts of the steering wheel for accommodation of switches
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
- B60W40/09—Driving style or behaviour
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W60/00—Drive control systems specially adapted for autonomous road vehicles
- B60W60/001—Planning or execution of driving tasks
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
- B62D—MOTOR VEHICLES; TRAILERS
- B62D1/00—Steering controls, i.e. means for initiating a change of direction of the vehicle
- B62D1/02—Steering controls, i.e. means for initiating a change of direction of the vehicle vehicle-mounted
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
- B62D—MOTOR VEHICLES; TRAILERS
- B62D1/00—Steering controls, i.e. means for initiating a change of direction of the vehicle
- B62D1/02—Steering controls, i.e. means for initiating a change of direction of the vehicle vehicle-mounted
- B62D1/04—Hand wheels
- B62D1/06—Rims, e.g. with heating means; Rim covers
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
- B62D—MOTOR VEHICLES; TRAILERS
- B62D1/00—Steering controls, i.e. means for initiating a change of direction of the vehicle
- B62D1/02—Steering controls, i.e. means for initiating a change of direction of the vehicle vehicle-mounted
- B62D1/16—Steering columns
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
- B62D—MOTOR VEHICLES; TRAILERS
- B62D1/00—Steering controls, i.e. means for initiating a change of direction of the vehicle
- B62D1/24—Steering controls, i.e. means for initiating a change of direction of the vehicle not vehicle-mounted
- B62D1/28—Steering controls, i.e. means for initiating a change of direction of the vehicle not vehicle-mounted non-mechanical, e.g. following a line or other known markers
- B62D1/286—Systems for interrupting non-mechanical steering due to driver intervention
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
- B62D—MOTOR VEHICLES; TRAILERS
- B62D15/00—Steering not otherwise provided for
- B62D15/02—Steering position indicators ; Steering position determination; Steering aids
- B62D15/025—Active steering aids, e.g. helping the driver by actively influencing the steering system after environment evaluation
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
- B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
- B60W2420/403—Image sensing, e.g. optical camera
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2510/00—Input parameters relating to a particular sub-units
- B60W2510/20—Steering systems
- B60W2510/202—Steering torque
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2540/00—Input parameters relating to occupants
- B60W2540/223—Posture, e.g. hand, foot, or seat position, turned or inclined
Landscapes
- Engineering & Computer Science (AREA)
- Transportation (AREA)
- Mechanical Engineering (AREA)
- Chemical & Material Sciences (AREA)
- Combustion & Propulsion (AREA)
- Automation & Control Theory (AREA)
- Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Human Computer Interaction (AREA)
- User Interface Of Digital Computer (AREA)
- Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及用于人类驾驶员基于手离合和手势的功能选择的基于光学器件的检测并且可以包括用于感测自主转向***中的驾驶员干预的方法或产品。
Description
相关申请的交叉引用
本申请要求2019年10月14日提交的美国临时申请序列号62/914,650的权益。
技术领域
本公开总体上涉及的领域包括转向***。
背景技术
运载工具通常包括转向***。用于解释驾驶员的意图的基于相机的手检测连同转向***或其他监视***中的其他传感器的普及是已知的。已知的可以安装在转向轮上的电容性条可以给出一些改进的能力,但是它们也可以取决于物理触摸,并且使用相同的设备难以解释驾驶员的意图。纯粹基于触摸者扭矩来解释驾驶员的意图不提供必要的输入来以可靠的方式初始化或准备好自主驾驶辅助***。
发明内容
多个说明性变型可以包括用于感测自主转向***中的驾驶员干预的方法或产品。
根据后文中提供的详细描述,本发明范围内的其他示例性变型将变得显而易见。应当理解的是,详细描述和特定示例虽然公开了本发明的变型,但是仅仅想用作说明的目的,而不旨在限制本发明的范围。
附图说明
根据详细描述和附图将变得更全面地理解本发明范围内的变型的选择示例,其中:
图1描绘了说明性变型,其中表示描绘与自主转向***的转向界面交互的人类驾驶员的相机图像或光学传感器数据的图像正由人类附肢跟踪模块分析和标记。在该说明性变型中,人类附加跟踪模块利用来自至少一个光学传感器的数据或来自至少一个相机的图像来根据多个变型、至少基于人类驾驶员的手位置或手姿势特性中的至少一个来确定人类驾驶员希望控制转向界面。
图2描绘了说明性变型,其中表示描绘与自主转向***的转向界面交互的人类驾驶员的相机图像或光学传感器数据的图像正由人类附肢跟踪模块分析和标记。在该说明性变型中,人类附肢跟踪模块利用来自至少一个光学传感器的数据或来自至少一个相机的图像来根据多个变型、至少基于人类驾驶员的手位置或手姿势特性中的至少一个来确定人类驾驶员希望交出对转向界面的控制。
图3A是根据多个变型的转向轮上的驾驶员的手的图示,其中多个手指围绕转向轮卷曲和/或抓握转向轮。
图3B示出了根据多个变型的在被定位成观察转向轮的正面200的光学传感器的视场中的例如如图3A中所示出的驾驶员的手。
图3C示出了根据多个变型的在被定位成观察转向轮的侧边缘的光学传感器的视场中的例如如图3A中所示出的驾驶员的手。
图4A是根据多个变型的被定位成观察转向轮的正面的光学传感器的视场中的驾驶员的手的图示,其中驾驶员正做出手势,所述手势通过轻拂驾驶员的手的多个手指来指示驾驶员要向运载工具自主驾驶***移交转向控制的意图,其中多个手指延伸并且不围绕转向轮卷曲或抓握转向轮。
图4B示出了根据多个变型的在被定位成观察转向轮的正面的光学传感器的视场中的例如如图4A中所示出的驾驶员的手。
图4C是根据多个变型的被定位成观察转向轮的侧边缘的光学传感器的视场中的驾驶员的手的图示,其中驾驶员正做出手势,所述手势通过轻拂驾驶员的多个手指来指示驾驶员要向运载工具自主驾驶***移交转向控制的意图,其中多个手指延伸并且不围绕转向轮卷曲或抓握转向轮。
图4D示出了根据多个变型的光学传感器可以在光学传感器的视场中对驾驶员的手产生的数据,所述光学传感器被定位成观察转向轮的侧边缘,其中驾驶员正做出手势,所述手势通过轻拂驾驶员的多个手指来指示驾驶员要向运载工具自主驾驶***移交转向控制的意图,其中多个手指延伸并且不围绕转向轮卷曲或抓握转向轮。
图4E是根据多个变型的通过从转向轮转向轮完全移除驾驶员的手来指示驾驶员要向运载工具自主驾驶***移交转向控制的意图的驾驶员的图示。
图5A示出了根据多个变型的在定位成观察转向轮的侧边缘的光学传感器的视场中的驾驶员的手,其中驾驶员的手的多个手指围绕转向轮卷曲,从而指示驾驶员要接管对运载工具的转向***的控制的意图。
图5B示出了光学传感器可以在光学传感器的视场中对驾驶员的手产生的数据,所述光学传感器被定位成观察转向轮的侧边缘,其中驾驶员的手的多个手指围绕转向轮卷曲,从而指示驾驶员要接管对运载工具的转向***的控制的意图。
图6A示出了根据多个变型的在被定位成观察转向轮的侧边缘的光学传感器的视场中的驾驶员的手,其中驾驶员的手中的每个的多个手指围绕转向轮卷曲,从而指示驾驶员要接管对运载工具的转向***的控制的意图。
图6B示出了根据多个变型的光学传感器可以在光学传感器的视场中对驾驶员的手产生的数据,所述光学传感器被定位成观察转向轮的侧边缘,其中驾驶员的手中的每个的多个手指围绕转向轮卷曲,从而指示驾驶员要接管对运载工具的转向***的控制的意图。
图7示出了被定位成观察转向轮的正面的光学传感器的视场,并且示出了驾驶员已经将他的手进行放置的检测区域,从而指示驾驶员要对运载工具的转向***进行控制的意图。
图8示出了根据多个变型的光学传感器的视场。
具体实施方式
变型的以下描述在本质上仅仅是说明性的,并且决不意图限制本发明的范围、其应用或使用。
在多个说明性变型中,用于货物或乘客的运载工具可以由从马达导出的机动动力被向前驾驶,该马达将储存能量源转换成用于运载工具的驱动力,所述马达诸如但不限于内燃发动机、电池动力发动机、燃料电池动力发动机,或用于为乘客或货物运载工具提供机动驱动动力的任何其他已知的马达。由马达存储的能量的转换产生的驱动力可以从马达传达到运载工具将沿着其行进的驾驶介质,所述驾驶介质诸如但不限于大片陆地、道路、水路、航路或已知运载工具要行进通过空间的任何其他介质。驱动力从马达到驾驶介质的传达可以经由驱动机动运载工具移动的任何装置发生,诸如但不限于车轮、胎面、脚轮、滚子、螺旋桨、气体推进器、液体推进器或离子驱动推进器,或任何其他已知的驱动机动运载工具移动的装置。
如本文中所使用的,“轮”或“轮子”,即使当被描述性形容词修饰(诸如但不限于在“可转向车轮”、“可转向轮”、“车轮”或“驱动轮”的叙述中)时,也可以指代传统车轮和轮胎布置,但也可以指代对传统车轮和轮胎布置的任何修改,诸如但不限于无框磁悬浮轮胎、球轮胎或任何其他已知的机动移动的装置,诸如但不限于胎面、脚轮、滚子、螺旋桨或气体推进器、液体推进器或离子驱动推进器。
如本文中所使用的,“道路”即使在被描述性形容词修饰时也可以指代传统的驾驶表面道路,诸如但不限于混凝土或沥青道路,但也可以指代用于货物或乘客的运载工具可以沿着或通过其行进的任何驾驶表面或介质,通常诸如但不限于水、冰、雪、泥土、泥浆、空气或其他气体或空间。
如本文中所使用的,“附肢”即使在被描述性形容词修饰时也可以指代手、手指、前臂、肘部和臂、肩部、颈部、头部、大腿、膝盖、小腿、脚、脚趾或任何其他身体部位。
如本文中所使用的,“观测区域”可以指代至少一个传感器或相机被配置成从其收集数据的点、区或区域。作为非限制性示例,如果相机通常被引导以收集手轮的图像,则“观测区域”可以指代手轮,但是也可以指代在图像中捕获的任何点。作为另一个非限制性示例,如果传感器被配置为在传感器的点处或在远离传感器的点处收集数据,则从其收集数据的点可以被称为“观测区域”。如本文中所使用的,“观测区域”还可以指代至少一个模块被配置为分析的图像的区,或至少一个模块被配置为分析的从传感器收集的数据的集合。为此,如本文中所使用的,“观测”可以指代对相机或传感器在传感器的点处或在远离传感器的点处收集数据的能力的使用。
如本文中所使用的,“姿态”即使在被描述性形容词修饰时也可以指代人类驾驶员的至少一个附肢的姿势或位置。
在多个说明性变型中,运载工具可以具有转向***,该转向***允许驾驶员改变运载工具的方向或将其从其可以在其中行进的路径转向。该转向***可以与诸如一对驱动车轮之类的驱动机动运载工具移动的源结合操作。作为非限制性示例,运载工具可以配备有内燃发动机,该内燃发动机机械地驱动一对后车轮以沿着道路向前推进运载工具。在这样的示例中,运载工具可以附加地配备有一组可转向的前车轮,其可以由转向***经由转向界面操纵,该转向***诸如但不限于在运载工具沿道路行进时使运载工具向左和向右转向的手轮。在这样的示例中,被驱动后车轮用作驱动机动运载工具移动的装置,并且如由转向界面操纵的可转向的前车轮对用作转向***。重要的是,这不是通过其将运载工具在本公开中被设想为被驾驶或转向的唯一装置。实际上,在多个说明性变型中,前车轮可以是驱动车轮以及可转向车轮。类似地,驱动机动运载工具移动的装置不需要具有与转向装置相同的类型。也就是说,如果驱动机动运载工具移动的装置包括车轮,则转向装置不需要也包括车轮。为此,作为非限制性示例,设想的是,雪地机动车可以由朝向运载工具后部的一组胎面驱动,并且由一组朝向运载工具前部的可转向的滑雪板转向。附加地,设想的是,驱动机动运载工具移动的装置(诸如但不限于驱动车轮)以及转向装置(诸如但不限于可转向车轮)可以在处于操作中时改变功能或在功能上游移。作为非限制性示例,包括在运载工具后部附近的一对驱动车轮并且还包括在运载工具前部附近的一对可转向车轮的运载工具可以改变驾驶模式并且开始利用每个可用的车轮,包括前转向车轮,作为驱动车轮,同时仍然维持可转向的前车轮的可转向性质和转向功能。类似地预期的是,在一些情况下,驱动车轮可以间歇地或可选地用作可转向车轮。
在多个说明性变型中,运载工具转向***也可以是自主的,因为运载工具可以将其自身朝向已经被传达给它的预定位置转向,而没有来自驾驶员的辅助或干预。运载工具可具有障碍物规避***,其允许运载工具感测其路径中的物体并规避它们。在一些情况下,运载工具的人类驾驶员可能希望辅助运载工具来规避物体或改变运载工具的行驶方向。在这种情况下,驾驶员可以控制至少一个驾驶员侧转向***控制件或至少一个转向界面并且辅助自主转向***。当驾驶员移动以将至少一个人类驾驶员附肢放置在转向界面上时,包括至少一个光学传感器或相机的光学感测***或成像***可以收集要由人类附肢跟踪模块分析的图像或光学数据,以便确定人类驾驶员是否意图强征(commandeer)来自自主转向***的转向或驾驶任务。如果单独的人类附肢跟踪模块不能确定人类驾驶员的意图,则人类附肢跟踪模块可将分析的图像或光学数据与来自传感器的传感器数据关联,所述传感器嵌入或相关联于人类驾驶员表现为尝试从光学传感器或图像数据的分析强征的任何转向界面。在一些这样的情况下,来自嵌入或关联于人类驾驶员表现为尝试强征的任何转向界面的传感器的传感器数据可以包括传感器数据,诸如但不限于来自嵌入在转向界面中的压力传感器的压力数据、来自嵌入在转向界面中的触摸传感器的触摸数据、来自相关联于转向界面的任何扭矩传感器的扭矩数据,所述传感器诸如但不限于嵌入或相关联于用于手轮的转向柱的扭矩传感器、相关联于转向界面的位置传感器(诸如但不限于嵌入或相关联于手轮的转向柱的位置传感器),或已知用于提供关于由人类用户对转向界面的操纵的有用数据的任何其他传感器。
在多个说明性变型中,包括至少一个光学传感器或相机的光学感测***或成像***可以定位在运载工具舱室内的人类驾驶员的上方或后方。在一些情况下,光学感测***或成像***可以被定位在人类驾驶员的多侧中的一个处或在运载工具舱室的顶板上的人类驾驶员的前面,只要用于光学感测***或成像***的观测区域仍然被适当地配置为观测通过人类驾驶员做出的人类附肢姿态或通过人类驾驶员做出的与转向界面的交互。在一些情况下,光学感测***或成像***不需要立即聚焦在相关联的观测区域上,而是可以通过使用至少一个反射镜而间接聚焦。作为非限制性示例,光学感测***或成像***可以定位在运载工具舱室后部附近并且瞄准定位在运载工具的顶板上的反射镜。在这种情况下,反射镜可以像这样定位,以允许光学感测***或成像***适当地观测相关联的观测区域。
在多个说明性变型中,为了促进协作转向***,自主转向***的传感器可以被配置为将转向输入检测和识别为驾驶员输入。驾驶员输入的准确识别可以包括使用神经网络进行图像分析以识别和跟踪人类驾驶员附肢移动、位置、姿势和姿态,如本文中所公开的,结合使用更简单的感测方法,诸如检测转向界面上的人类驾驶员抓握或转向界面上的人驾驶员发起的力、操纵或触摸,其中使用嵌入在转向界面中或间接与转向界面相关联的专用传感器。将图像分析与来自前述更简单的感测方法的数据进行关联产生了一种有利地增强的确定人类驾驶员意图的方法,以用于准确地解释自主转向***内的人类驾驶员输入。
在多个说明性变型中,任何自主转向模块的逻辑可以响应于自主输入以及驾驶员输入。人类驾驶员输入可以与人类驾驶员意图相关联。在一些情况下,如果人类驾驶员意图达到特定阈值,则完全转向控制可以被让给人类驾驶员。在一些情况下,如果转向***或在转向***上的某个其他***确定驾驶员输入不应当被给予先例或判决(所述先例或判决是人类驾驶员意图是低的或不存在的),则完全转向控制可以仅被保留给自主输入。作为非限制性示例,在由自主转向模块确定人类驾驶员非常可能已经意外地与转向界面交互或无意地做出识别的姿态的情况下,自主输入可以被给予对转向***的唯一控制,以排除人类驾驶员输入。
在多个示例性变型中,运载工具可以包括转向***,该转向***包括转向界面和一组可转向车轮。转向***可以是电动转向类型,其中物理联动装置将操纵界面的操纵机械地传达到可转向车轮。转向***可以是按线转向(steer-by-wire)类型,其中物理机构不将转向界面的操纵机械地传达到可转向车轮,并且其中转向界面的操纵经由电子设备的通信来影响可转向车轮的相关联操纵,所述电子设备诸如但不限于传感器、收发器和电子激励的致动器。在这样的***中,转向界面操纵***可以包括用于在操纵的转向干预是机械可操纵转向界面(诸如但不限于手轮)的情况下产生至少视觉转向反馈的致动器或电磁铁等。在具有数字转向界面的转向***中,转向界面操纵***可包括用于确定如何更新显示在用于数字转向界面的任何数字显示器上的任何数字数据的任何逻辑模块。因此,如果驾驶员期望在自动转向中协作或干预,则当尝试强征转向界面时驾驶员可以不太缺乏定向力(less disoriented),因为转向界面已经以与运载工具的实际转向策略相称的方式被自主地操纵。
在多个说明性变型中,运载工具包括电子动力转向***。在这种情况下,转向界面机械地与用于根据转向比转向运载工具的任何机构互通信。因此,如果包括电子动力转向***的运载工具包括允许驾驶员协作或干预的半自主转向或完全自主转向,则转向***可以在驾驶员通过其可以转向运载工具的任何界面上传达来自转向的视觉反馈。作为非限制性示例,当参与完全自主转向时,运载工具可以结合自主转向***转动运载工具的可转向车轮来自动旋转运载工具的手轮,使得非干预的或非协作的驾驶员可以将运载工具的手轮的自动转动与运载工具的可转向车轮的转动相关联,以及由直觉知道、推测或估计自主转向***的转向命令。因此,如果驾驶员期望在自动转向中协作或干预,则当尝试强征看起来与运载工具的可转向车轮不相关联或未对准的转向界面时,驾驶员可以不太缺乏定向力。
在多个说明性变型中,转向比被定义为描述转向界面的影响与转向设备的影响之间的关系的比。作为非限制性示例,船的转向比可以被定义为关于船的船舵响应于船长的轮的旋转而转动的距离的比。作为另一非限制性示例,飞行器的转向比可以被定义为关于飞行器的副翼响应于飞行员对控制轮的转动而升高或降低的距离的比。作为又一非限制性示例,轮式运载工具的转向比可以被定义为关于运载工具的可转向车轮响应于手轮的转动而转动的距离的比。
在多个说明性变型中,任何转向界面的任何自主操纵可以由自主转向***控制,以便使驾驶和乘车体验在去往或来自(to or from)自主驾驶、协作驾驶或完全驾驶员控制的驾驶模式的任何转变期间对驾驶员而言更舒适和直观。在这样的说明性变型中,转向界面的自主操纵可以充当视觉转向反馈,其允许驾驶员由直觉知道或推测转向命令(其被传达给自主转向***并且由自主转向***解释),以及那些命令如何经由转向界面的并发的、相关联的、自主操纵而影响运载工具的转向。为了进一步促进驾驶员的直观驾驶和乘车体验,自主转向命令可以由影响转向界面的自主操纵的***以旨在对于人类驾驶员特别顺从、称心或人类工程学的方式来解释。作为非限制性示例,阻尼因子可以被应用于任何原始转向界面命令,以便当和驾驶员对转向界面的操纵停止时减慢转向界面的任何操纵,以及以便经由转向界面操纵设备来控制由转向***施加到转向界面的位置和力的调整的定时,使得转向界面的操纵与运载工具的运动同步。以这种方式,如果由自主转向***提供给转向界面的视觉转向反馈看起来不那么急动、机械呆板(robotic)或非人类,则驾驶员可以更有可能顺着在自主转向运载工具中找到舒适性,并且因此尤其是在尝试强征转向界面时对任何人类观测者而言较不令人不安。
在多个说明性变型中,如果运载工具包括按线转向转向***,则可能需要针对驾驶员模拟来自转向的视觉反馈,以便为驾驶员递送直观的、半自主的转向体验。如果包括按线转向的转向***的运载工具包括允许驾驶员协作或干预的半自主转向或完全自主转向,则转向***可以模拟来自驾驶员可通过其转向运载工具的任何界面上的转向的反馈。作为非限制性示例,当参与完全自主转向时,运载工具可以结合自主转向***转动运载工具的可转向车轮来自动旋转运载工具的手轮,使得非干预的或非协作的驾驶员可以将运载工具的手轮的自动转动与运载工具的可转向车轮的转动相关联,以及由直觉知道、推测或估计转向比。因此,如果驾驶员期望在自动转向中协助或干预,则当尝试强征看起来与运载工具的可转向车轮不相关联或未对准的转向界面时,驾驶员可以不太缺乏定向力。此概念可以通过人类附肢跟踪模块被考虑到人类驾驶员意图的任何确定中。
在多个说明性变型中,自主转向***可以包括至少一个转向界面、能够感测或捕获光学数据的至少一个传感器或相机,以及用于根据任何原始或经处理的感测或收集的光学数据确定人类驾驶员是否希望控制至少一个转向界面的至少一个逻辑模块。这样的数据可以包括诸如但不限于人类附肢移动速率、移动速度、移动方向、移动加速度、附肢位置、附肢姿势、附肢形状或关于附肢外观、移动或位置的任何其他数据之类的数据。在一些这样的情况下,可以通过使用诸如本地或云数据库的神经网络或数据库来将任何跟踪的人类附肢识别和分类为特别的人类附肢(诸如但不限于手、膝盖、手指、肘部或任何其他人类附肢)。任何这样的识别和分类可与任何附肢外观、移动或位置数据关联,以提供由相机或传感器收集的数据的准确上下文。为由任何这样相机或传感器收集的数据提供上下文或分析的任何逻辑模块可以被称为人类附肢跟踪模块。
在多个说明性变型中,为了促进协作转向***,自主转向***的传感器可以被配置为将转向输入检测和识别为驾驶员输入。在一些情况下,人类驾驶员输入的检测可以使得自主转向***将所有驾驶任务交给人类驾驶员,所述任务诸如但不限于加速、制动和转向。在一些情况下,自主转向***可以仅响应于人类驾驶员输入而交出一个或多个但不是所有驾驶任务。在一些情况下,人类驾驶员输入的检测可使得转向界面调整其位置或取向。作为非限制性示例,在至少一个转向界面包括手轮的情况下,手轮可以自动地调整其叠缩或倾斜配置,以便在检测到人类驾驶员输入时对于人类驾驶员而言更好相处。还设想的是,关于自主转向***的控制或控制的让与的任何改变可以伴随着对其他运载工具***(诸如但不限于发动机控制***、制动***或驱动链***)中的控制或另外的控制的让与的改变。
在多个说明性变型中,自主运载工具可以包括至少一个人类附肢跟踪模块,以用于根据任何原始或处理的感测或收集的光学数据确定人类驾驶员是否希望控制转向界面。在一些这样的情况下,逻辑模块可以确定至少一个人类驾驶员手位置或手姿态特性,并且根据此确定人类驾驶员是否意图控制转向界面。在一些这样的说明性变型中,任何处理的光学数据可以连同关于施加到转向界面的压力、来自转向界面的电容性触摸数据、转向界面扭矩数据、转向界面位置数据、转向界面移动数据或关于转向界面的移动或位置的任何其他数据的任何可用数据一起被处理或与之关联。
在多个说明性变型中,神经网络可以用于学习和构建指示驾驶员意图的人类驾驶员附肢位置或姿势的库。在这样的情况下,神经网络可以被派给图像分析的任务,所述图像分析具有识别和标记图像内的至少一个人类手的目的。类似地,神经网络还可以被派给对所识别和标记的人类手的姿势进行分类、以及确定人类手相对于转向界面的位置的任务。这样的神经网络可以通过收集许多不同的人类驾驶员的数千个图像以及手动标记每个图像中的每个人类驾驶员的手来进行训练。标记的图像然后可以被用于训练神经网络以识别任何人类驾驶员的手以及识别任何人类驾驶员的手相对于转向界面的姿势和位置。与这样的神经网络通信的任何***或模块可以监视来自图像分析的标识、分类和确定,并且可以使用操作逻辑来确定驾驶员意图并将驾驶员意图传达给自主驾驶***。类似地,神经网络本身可以被训练以进行该通信。作为非限制性示例,两个手或一个手上的所有五个手指的轻拂可以是将被识别为表示人类驾驶员要将转向的任务交给自主转向***的意图的姿态。在这样的非限制性示例中,训练的神经网络可以用于识别在一组收集的光学数据内的该特别手势以及其他手势,并且经由逻辑模块向自主转向***传达以下内容:人类驾驶员想要交出转向***的任务,以便只执行对自主转向***的转向。在接收到这样的通信时,自主转向***可以只坚持转向运载工具的任务的控制。还设想,神经网络可以被训练以识别和跟踪任何其他人类驾驶员附肢(诸如但不限于膝盖、肘部或前臂)的位置和姿势。在多个变型中,转向***可以与扭矩数据组合以进一步改进手离合(on-off)检测的可靠性。手的位置可以与转向***或其他监视***中的其他传感器一起使用,以理解驾驶员意图并且在与转向界面的物理接触(诸如转向轮闭合)之前准备好制定动作自主驾驶辅助***(ADAS)功能,以减少延迟。手检测与其他驾驶员监视技术的传感器融合也可以被用于理解驾驶员意图以辅助更好地启动ADAS功能。基于它们关于驾驶界面(诸如转向轮)的位置添加手检测,以及由于她与其他物理转向传感器和驾驶员监视***将其融合将为驾驶员意图提供好得多的代理。这样的***还在与转向轮的物理接触之前提供早期指示。当前,驾驶员或演示记录你需要采取诸如按压图形用户界面上的按钮或物理按钮的附加动作以便在自驾驶运载工具中启动自主模式。这不是非常直观的,并且在运载工具变得自主时导致在驾驶员将手从转向轮脱离的时间之间的等待时间。多个变化和姿态可以非常类似或相同于驾驶员将手从转向界面脱离,并且在多个变型中,***可以使用该姿态的发生来进入自主模式。
在多个变型中,为了解释驾驶员的意图,可以跟踪驾驶员的手关于转向界面(诸如转向轮)的位置。转向界面的区域也将由类似的预训练的神经网络检测,并且区域将随倾斜和叠缩转向***一起移动。如果驾驶员的手针对特别的时间量处于区域中和/或具有特别姿态,则可以将其解释为驾驶员意图接管或交出包括转向***的运载工具的控制。该信号可以是利用如扭矩的物理传感器进行传感器融合的,以预先准备好驾驶员接管,其中将消除扭矩块,以允许向驾驶员的平滑接管。通过基于驾驶员相对于转向轮的位置来识别驾驶员意图,可以通过基于驾驶员意图解释预处理某些功能来通过ADAS功能实现更快的反应。
在多个说明性变型中,人类附肢跟踪模块可能能够分析光学数据以确定人类驾驶员希望通过使用人类驾驶员的身体的一些其他延伸(诸如但不限于膝盖或大腿)来控制转向界面。在一些这样的情况下,人类附肢跟踪模块可以包括已被训练以跟踪人类驾驶员的至少一个附肢的姿势或位置或能够被训练以跟踪人类驾驶员的至少一个附肢的姿势或位置的神经网络。这样的人类附肢跟踪模块可以被配置为跟踪人类驾驶员相对于运载工具的舱室内的特别观测区域的至少一个附肢。作为非限制性示例,可以关于手轮的中心或相对于手轮上的车标来跟踪人类驾驶员的至少一个附肢的姿势和位置。以这种方式,人类附肢跟踪模块可以被配置成确定人类驾驶员中的至少一个被跟踪的附肢已经改变位置并且跨过手轮的中心。人类附肢跟踪***可以将人类驾驶员的这种附肢运动识别为对人类附肢跟踪模块的有意姿态,其应当被解释为人类驾驶员对自主转向***的请求,以自主地执行某一动作,诸如但不限于自主地改变车道。在一些这样情况下,如果手轮或车标在手轮上的中心的叠缩、倾斜或位置被移动或调整,则出于图像或数据收集和分析的目的,由至少一个光学传感器或相机使用的观察区域也可以与手轮一起移动。在适当的情况下,对任何此类传感器或相机调整视角或聚焦以便支持经调整的观察区域的必要性或合意性可由人类附肢跟踪模块传达到用于调整此类相机或传感器的任何适当的机构、***或模块。
在多个说明性变型中,人类驾驶员附肢速率和移动方向可由人类附肢跟踪模块来跟踪。在一些这样的说明性变型中,人类附肢跟踪模块的跟踪方法中的至少一个可以包括跟踪算法,所述跟踪算法考虑到了部分地或完全地覆盖所跟踪的附肢的物品,诸如但不限于手套、手表、裤子、鞋或任何其他服装、配件、工具,或可完全或部分地遮掩人类附肢的光学感测或成像***的完整视图的对象。
在多个说明性变型中,光学感测或成像***,诸如但不限于相机***、红外感测或成像***、声音感测或成像***、激光感测或成像***或任何其他光学感测或成像***可被用于跟踪人类驾驶员的附肢中的至少一个,诸如但不限于手、前臂、肘部、手臂、肩部、颈部、头部、大腿、膝盖、小腿、脚或任何其他身体部位。成像处理算法可被用于从所收集的任何图像或光学数据中移除噪声,所述噪声诸如但不限于照明差异、着色差异或可影响人类附肢跟踪模块识别、分类或跟踪人类附肢的能力的任何其他图像噪声。
在多个说明性变型中,当运载工具自主转向时,驾驶员可以尝试通过与至少一个转向界面进行交互来在转向运载工具中协作或介入。在一些这样的情况下,在至少基于如本文所公开的图像或光学数据分析确定驾驶员意图时,转向***可以允许驾驶员在转向运载工具中临时干预或协作。可以基于由人类附肢跟踪模块结合与至少一个转向界面相关的其他传感器的确定来允许此临时干预,即,驾驶员仅意图暂时干预转向任务。在这种情况下,自主转向***也可以计算运载工具行进方向或路径的改变,并且可以随着驾驶员干预而连续地计算新的运载工具行进方向或路径,使得如果驾驶员停止介入,则运载工具可以根据新的行进方向或路径中的一个开始自主转向。
在多个说明性变型中,手轮充当转向界面,所述转向界面用于包括可转向车轮的运载工具的自主转向***。在一些这样的变型中,如果驾驶员在转向中介入或协作,随着自主转向***同时继续使运载工具转向,用于与转动运载工具的可转向车轮的自主转向***协同自动地旋转运载工具的手轮的任何机构可以要求驾驶员利用其或针对其施加转向努力。在一些情况下,自主转向***可以协商驾驶员输入和自主转向输入以确定净转向输入并且利用净转向输入作为用于可转向车轮的任何转动的控制信号和用于转向界面的相关联力反馈,所述转动诸如但不限于手轮的自动转动。作为非限制性示例,如果驾驶员在运载工具处于自主转向模式时开始松散地抓握运载工具的手轮,则自主转向***可以继续自主地转向运载工具并且可以通过将手轮向右旋转来指示其意图向驾驶员右方转向,连同将运载工具的可转向车轮转动向右,然而当驾驶员仍然在手轮上具有松散的抓握,驾驶员可以感测由自主***向右转动的这种尝试,并且可以通过在增加转动量之前更紧密地抓握手轮来选择进行干预。在一些这样的情况下,如果驾驶员尝试使手轮停止向右转动,则自主转向***可以通过将驾驶员意图(所述驾驶员意图是通过分析在运载工具舱室内捕获的与驾驶员在手轮上的抓握有关的图像数据或光学数据确定的)与可用于确定驾驶员意图的其他传感器数据(诸如但不限于来自嵌入在手轮中的任何压力传感器的压力数据,或来自于在与手轮相关联的转向柱中训练的、与其相关联的或嵌入在其中的扭矩传感器或任何种类的任何类似嵌入的或相关联的触摸传感器)进行关联来感测数据并从其中确定驾驶员意图。作为非限制性示例,在一些这样的情况下,自主***可以极大地减少但不消除其作为自主转向***的组件施加到手轮的力的量,从而使得驾驶员容易强征运载工具,而不给予驾驶员自主转向***已经完全将控制交给驾驶员的印象。以这种方式,驾驶员可以确保自主转向***仍然尝试控制运载工具并且在驾驶员松开手轮之后将返回到控制运载工具。作为另一非限制性示例,在一些这样的情况下,自主***可以完全消除其作为自主转向***的组件施加到手轮的力的量,从而使得驾驶员容易强征运载工具并且另外向驾驶员指示自主转向***已经完全将控制交给驾驶员。在一些这样的情况下,可以由此通过音频或视觉警告来通知驾驶员自主转向***被禁用并且不再尝试控制运载工具。此外,在这种情况下,驾驶员因此可以被通知在驾驶员松开手轮之后转向***不会返回到控制运载工具,除非自主转向被重新启用。在一些这样的情况下,重新启用自主转向或驾驶可以通过使用人类驾驶员的所识别的附肢运动或姿势来完成。例如,在一些这样的情况下,人类驾驶员可以利用识别的手势,例如但不限于姿态,其中人类驾驶员的至少一只手的每个手指已经从卷曲或紧握姿势轻拂到完全延伸位置。这种五指轻拂可以由人类附肢跟踪***跟踪,并且可以被训练的神经网络识别,以及与其他传感器数据关联,以确定驾驶员对重新启用自主驾驶或从该手势转向的意图。
在多个示例性变型中,如果运载工具自主转向并且没有驾驶员干预或协作,而驾驶员在转向中尝试干预或协作,则转向***可以确定驾驶员意图是低的或不存在的,转向***可以忽略由驾驶员对转向的任何无意识输入并且在忽略无意识的驾驶员输入的情况下替代地将运载工具转向。作为非限制性示例,在按线转向***的情况下,在运载工具传感器和***或通知运载工具的任何其他***出于安全原因确定转向操纵是强制的情况下,运载工具可以忽略任何无意识的驾驶员输入并且自主地执行转向操纵,而不考虑任何无意识的驾驶员输入。
在多个说明性变型中,人类附肢跟踪***可将至少一个置信度水平分配给所跟踪的附肢。该置信度水平可以与人类附肢跟踪***关于所跟踪的附肢正在执行或已经执行所识别的姿态的置信度有关。在这样的情况下,仅当针对特定附肢的该特定姿态的置信度水平超过某个阈值水平时,姿态才可以注册。诸如但不限于与转向界面相关的传感器数据或来自嵌入在转向界面中的传感器的传感器数据的其他传感器数据可以与由人类附肢跟踪***分析的图像或光学数据进行关联,并且进一步通知至少一个置信度水平。作为非限制性示例,可能是仅在该姿态中的置信度超过90 %的情况下才识别到车道改变姿态的情况。在这些情况下,一些附肢移动高度类似于跨手轮中心的手刷(hand-swipe-across-center-of-the-handwheel)车道改变姿态,但其不是由人类驾驶员作出以指示对改变车道的期望,所述姿态诸如当人类驾驶员达到跨其自己身体以从中央控制台抓取饮料但是不打算做出车道改变手势。在一些情况下,可以同时跟踪多于一个人类附肢。在一些这样的情况下,当跟踪多于一个人类附肢并且由人类附肢跟踪模块确定已经做出了冲突姿态或具有冲突置信度水平的相同姿态时,转向***或人类附肢跟踪***可使用优先级排序算法或决策树来确定将哪个姿态计数为输入(如果有的话)以及以何种次序对姿态输入进行寻址。
在多个说明性变型中,转向界面可以包括操纵杆、轨迹球、滑块、节流阀(throttle)、按钮、拨动开关、杆、触摸屏、鼠标或任何其他已知的用户输入手段。在驾驶员输入经由产生用于机械驾驶的视觉或力反馈的不明显机会的驾驶员界面的情况下,这诸如但不限于涉及作为驾驶员输入的主要手段的鼠标或触摸屏的改变,自动转向***可以经由视觉提示(诸如但不限于显示器上的闪光或动画)、音频提示(诸如但不限于点击、蜂鸣(beep)或指导性语音记录、生成的语音或实况语音)或触觉提示(诸如但不限于屏幕的振动)或者可以向驾驶员指示驾驶员输入(其可以与自主输入同时)如何正与转向***相对、协同、集成或处理的任何其他提示来指示对驾驶员输入的反作用力(reactance)。
现在参考图1,在其中自主转向***101在第一自主路径103上转向运载工具102的说明性变型。在此说明性变型中,人类附肢跟踪模块115可以分析和标记由嵌入在后视镜105中的光学感测***或成像***104收集的图像或光学数据116。光学感测***或成像***104可以经由定位在人类驾驶员107后面的镜(未示出)连续地捕获观察区域106的图像或光学数据116。当人类驾驶员107尝试通过接合转向界面108来在转向运载工具102中进行干预时。光学感测***或成像***104可通过捕获人类驾驶员107的手109、110的图像或光学数据116而在人类驾驶员107的干预下捕获此尝试的图像或光学数据116。人类附肢跟踪模块115可以分析图像或光学数据116以用于相对于转向界面108可识别的位置或姿势以及可识别的附肢。在此示例性变型中,人类附肢跟踪模块115已经识别了人类驾驶员107的手109、110,并且已经用标记111、112标记了它们并且分配了它们姿态置信度评级113、114,这是通过将图像或光学数据116与关于在利用人手经由手轮来转向运载工具的上下文中可识别的人类手势的图像或光学数据的神经网络117的知识进行关联来完成的。人类附肢跟踪模块115可以将这些姿态置信度评级113、114与从触摸或压力传感器121、122收集的触摸或压力数据118、119进行关联,所述传感器121、122嵌入在转向界面108中以用于在以这种方式接合转向界面108的同时确定人类驾驶员107的意图120的目的。在此说明性变型中,人类附肢跟踪模块115可以通过将姿态置信度评级113、114与来自触摸或压力传感器121、122的触摸或压力数据118、119进行关联来确定关于人类驾驶员107的意图120是要在转向中进行干预。此意图120可以由人类附肢跟踪模块115传达给自主转向***101,所述自主转向***101然后可以将转向运载工具的控制交给人类驾驶员107。然后,人类驾驶员107可以经由转向界面108手动地转向运载工具102,而不受自主转向***101的影响。
现在参考图2,在其中人类驾驶员207首先手动地转向包括自主转向***201的运载工具202的说明性变型。在此说明性变型中,人类附肢跟踪模块215可以分析和标记由嵌入在后视镜205中的光学感测***或成像***204收集的图像或光学数据216。光学感测***或成像***204可以经由定位在人类驾驶员207后面的镜(未示出)连续地捕获观察区域206的图像或光学数据216。人类驾驶员207可以通过在转向界面208上释放其抓握而开始脱离转向界面208。光学感测***或成像***204可以通过捕获人类驾驶员207的手209、210的图像或光学数据216来捕获由人类驾驶员207的这种脱离的图像或光学数据216。人类附肢跟踪模块215可以分析图像或光学数据216以用于相对于转向界面208可识别的位置或姿势以及可识别的附肢。在此示例性变型中,人类附肢跟踪模块215已经识别了人类驾驶员207的手209、210,并且已经用标记211、212标记了它们并且分配了它们姿态置信度评级213、214,这是通过将图像或光学数据216与关于在利用人手经由手轮来转向运载工具的上下文中可识别的人类手势的图像或光学数据的神经网络217的知识进行关联来完成的。人类附肢跟踪模块215可以将这些姿态置信度评级213、214与从触摸或压力传感器221、222收集的触摸或压力数据218、219进行关联,所述传感器221、222嵌入在转向界面208中以用于在以这种方式脱离转向界面208的同时确定人类驾驶员207的意图220的目的。在此说明性变型中,人类附肢跟踪模块215可以通过将姿态置信度评级213、214与来自触摸或压力传感器221、222的触摸或压力数据218、219进行关联来确定关于人类驾驶员207的意图220是脱离转向界面208并且将转向运载工具202的任务交给自主转向***201。此意图220可以由人类附肢跟踪模块215传达给自主转向***201,自主转向***201然后可以对转向运载工具207的任务做出排他性控制。自主转向***201然后可以开始沿自主路径203自主地转向运载工具202,并且排除被确定为无意识的人类驾驶员207的任何转向输入。
图3A是根据多个变型的转向轮108上的驾驶员的手110的图示,其中多个手指123围绕转向轮108卷曲和/或抓握转向轮108。
图3B示出了根据多个变型的被定位成观察转向轮的正面200的光学传感器的视场中的例如如图3A中所示的驾驶员的手110。
图3C示出了根据多个变型的被定位成观察转向轮108的侧边缘201的光学传感器的视场中的例如如图3A中所示的驾驶员的手110。
图4A是根据多个变型的被定位成观察转向轮108的正面200的光学传感器的视场中的驾驶员的手110的图示,其中所述驾驶员正在做出手势,所述手势通过轻拂所述驾驶员的手的多个手指123来指示驾驶员的要转向控制移交(turnover)给运载工具自主驾驶***的意图,其中所述多个手指延伸并且不围绕所述转向轮卷曲或抓握转向轮。
图4B示出了根据多个变型的在被定位成观察转向轮的正面的光学传感器的视场中的例如如图4A中所示的驾驶员的手110。
图4C是根据多个变型的被定位成观察转向轮108的侧边缘201的光学传感器的视场中的驾驶员的手110的图示,其中驾驶员正做出手势,所述手势通过轻拂驾驶员的多个手指123来指示驾驶员的要向运载工具自主驾驶***移交转向控制的意图,其中所述多个手指延伸并且不围绕转向轮108卷曲或抓握转向轮108。
图4D示出了根据多个变型的光学传感器可以在光学传感器的视场中对驾驶员的手110产生的数据,所述光学传感器被定位成观察转向轮的侧边缘,其中驾驶员正做出手势,所述手势通过轻拂驾驶员的多个手指123来指示驾驶员要向运载工具自主驾驶***移交转向控制的意图,其中多个手指延伸并且不围绕转向轮卷曲或抓握转向轮。
图4E是根据多个变型的通过从转向轮转向轮108完全移除驾驶员的手来指示驾驶员要向运载工具自主驾驶***移交转向控制的意图的驾驶员的图示。
图5A示出了根据多个变型的在定位成观察转向轮108的侧边缘201的光学传感器的视场中的驾驶员的手110,其中驾驶员的手110的多个手指123围绕转向轮卷曲,从而指示驾驶员要接管对运载工具的转向***的控制的意图。
图5B示出了光学传感器可以在光学传感器的视场中对驾驶员的手110产生的数据,所述光学传感器被定位成观察转向轮的侧边缘,其中驾驶员的手110的多个手指123围绕转向轮卷曲,从而指示驾驶员要接管对运载工具的转向***的控制的意图。
图6A示出了根据多个变型的在被定位成观察转向轮108的侧边缘201的光学传感器的视场中的驾驶员的手109、110,其中驾驶员的手109、110中的每个的多个手指123围绕转向轮108卷曲,从而指示驾驶员要接管对运载工具的转向***的控制的意图。
图6B示出了光学传感器可以在光学传感器的视场中对驾驶员的手109、110产生的数据,所述光学传感器被定位成观察转向轮的侧边缘,其中驾驶员的手109、110中的每个的多个手指123围绕转向轮卷曲,从而指示驾驶员要接管对运载工具的转向***的控制的意图。
图7示出了被定位成观察转向轮108的正面200的光学传感器的视场,并且示出了驾驶员已经将他的手所放置的检测区域210,其中放置手指示驾驶员要对运载工具的转向***进行控制的意图。如图7中所示,对象识别软件可以被用于确定在预定水平的可接受度/置信度内(例如,在驾驶员的手109、110处于检测区域210内的99%置信度水平内)。如图7和图8中所示,检测区域210可以是大致椭圆形的,但是也可以是圆形、方形、矩形,菱形,或者将会足够大使得放置在转向界面上的驾驶员的手中的至少一个手的预定部分或足够部分将和检测区域210在一起从而指示驾驶员要控制运载工具的转向***的意图的任何其他形状。
图8示出了根据多个变型的被定位成观察转向轮的正面的光学传感器的视场,并且示出了驾驶员已经将他的手移动到外部指示驾驶员要将运载工具的转向***的控制交给自主驾驶***的意图的检测区域。如图8中所示,对象识别软件可以被用于确定在预定水平的可接受度/置信度内(例如,在99%的置信度水平内),所述置信度水平指示驾驶员的手109、110中的每个的预定部分或足够的部分在检测区域210外部,从而指示驾驶员要将运载工具的转向***的控制交给自主驾驶***的意图。
在多个示例性变型中,任何数量的模块可以组合在一起或分解成更小的模块。
变型的以下描述仅说明被认为在本发明的范围内的组件、元件、动作、产品和方法,并且不以任何方式通过特定公开或未明确阐述的内容来限制这样的范围。如本文中所描述的组件、元件、动作、产品和方法可以不同于本文明确描述的那样被组合和重新布置,并且仍然被认为在本发明的范围内。
变型1可以包括一种产品,所述产品包括:自主转向***,其包括转向界面并且被构造和布置成同时接受和解释由人类驾驶员经由至少一个转向界面输入的人类驾驶员转向命令和由自主转向***输入的自主转向命令,其中所述自主转向***能够在至少第一转向模式和第二转向模式之间切换,所述第一转向模式是其中所述转向只基于由所述自主转向***产生的自主转向命令而发生的转向模式,并且所述第二转向模式是其中转向只基于由人类驾驶员经由对所述至少一个转向界面的操纵产生的人类驾驶员转向命令而发生的转向模式,其中所述产品还包括至少一个相机或光学传感器,所述至少一个相机或光学传感器被配置成跟踪人类附肢的位置或姿势中的至少一个,并且其中所述自主转向***被配置成至少基于所述至少一个人类附肢的所跟踪的位置或姿势在转向模式之间切换。
变型2可包括变型1或3-11中任一项的产品,其中所述自主转向***还能够切换到第三转向模式,其中所述至少一个转向界面由所述人类驾驶员和所述自主转向***两者操纵。
变型3可包括变型1-2或4-11中任一项的产品,其中所述至少一个相机或光学传感器包括立体相机布置。
变型4可包括变型1-3或5-11中任一项的产品,其中所述产品其中所述至少一个相机或光学传感器被配置成跟踪所述至少一个人类附肢的移动速度。
变型5可包括变型1-4或6-11中任一项的产品,其中所述至少一个相机或光学传感器被配置成跟踪所述至少一个人类附肢与所述至少一个转向界面的接近度。
变型6可包括变型1-5或7-11中任一项的产品,其中所述产品还包括用于感测由所述人类驾驶员输入到所述转向界面的扭矩的至少一个扭矩传感器。
变型7可包括变型6的产品,其中所述扭矩输入是在转向柱上感测的扭矩。
变型8可包括变型1-7或9-11中任一项的产品,其中所述产品还包括至少一个压力传感器,所述至少一个压力传感器耦合到所述转向界面,以用于感测由所述人类驾驶员施加到所述转向界面的压力。
变型9可包括变型1-8或10中任一项的产品,其中所述产品还包括耦合到所述转向界面的至少一个电容性触摸传感器,以用于感测当所述人类驾驶员触摸所述转向界面时在所述电容性触摸传感器处施加的电容上的改变。
变型10可包括变型1-9中任一项的产品,其中用于跟踪所述至少一个人类附肢的所述位置或姿势的所述至少一个光学传感器或相机的所述配置包括至少一个相机,所述至少一个相机被定位成捕获在转向轮上或所述转向轮附近的所述人类驾驶员的手中的至少一只手的图像。
变型11可包括变型10的产品,其中至少基于所述至少一个人类附肢的所述跟踪的位置或姿势在转向模式之间切换的所述自主转向的所述配置包括使用图像分析***来确定所述人类驾驶员的所述至少一只手的每个手指已经从卷曲或紧握姿势轻拂到完全伸展位置,并且其中所述自主转向***被配置成至少基于此确定改变转向模式。
变型12可以包括一种方法,所述方法包括:使用至少一个相机或光学传感器来跟踪人类驾驶员的至少一个附肢的位置或姿势中的至少一个;通过将所述人类驾驶员的所述至少一个附肢的所述位置或姿势中的所述至少一个与从至少一个转向界面或从被配置成感测由所述人类驾驶员与所述至少一个转向界面的交互的至少一个传感器中收集的数据进行关联来产生关联数据;以及至少基于所述关联数据改变自主转向***的转向模式。
变型13可包括变型12或14-17中任一项的方法,其中所述至少一个相机或光学传感器包括立体相机布置。
变型14可包括变型12-13或15-17中任一项的方法,其中由所述人类驾驶员从至少一个转向界面或从被配置成感测与所述至少一个转向界面的交互的至少一个传感器中收集的所述数据包括来自嵌入在所述至少一个转向界面中的至少一个电容性触摸传感器的数据。
变型15可包括变型12-14或16-17中任一项的方法,其中由所述人类驾驶员从至少一个转向界面或从被配置成感测与所述至少一个转向界面的交互的至少一个传感器中收集的所述数据包括用于感测由所述人类驾驶员输入到所述转向界面的扭矩的至少一个扭矩传感器。
变型16可包括变型15的方法,其中所述扭矩输入是在转向柱上感测的扭矩。
变型17可包括变型12-16中任一项的方法,其中由所述人类驾驶员从至少一个转向界面或从被配置成感测与所述至少一个转向界面的交互的至少一个传感器中收集的所述数据包括耦合到所述转向界面的至少一个压力传感器,以用于感测由所述人类驾驶员施加到所述转向界面的压力。
变型18可以包括一种产品,所述产品包括:用于运载工具的自主转向***的至少一个转向界面;至少一个光学传感器或相机,所述至少一个光学传感器或相机用于跟踪至少一个人类驾驶员附肢的姿势或位置中的至少一个;以及,除了嵌入在所述转向界面中的光学传感器以外的至少一个传感器。
变型19可包括变型18或20中任一项的产品,其中除了光学传感器以外的所述至少一个传感器是电容性触摸传感器。
变型20可包括变型18-19中任一项的产品,其中除了光学传感器以外的所述至少一个传感器是压力传感器。
变型21可以包括一种产品,所述产品包括:自主转向***,所述自主转向***包括转向界面并且被构造和布置成同时接受和解释由人类驾驶员经由至少一个转向界面输入的人类驾驶员转向命令和由自主转向***输入的自主转向命令,其中所述自主转向***能够在至少第一转向模式和第二转向模式之间切换,所述第一转向模式是其中所述转向只基于由所述自主转向***产生的自主转向命令而发生的转向模式,并且所述第二转向模式是其中转向只基于由人类驾驶员经由对所述至少一个转向界面的操纵产生的人类驾驶员转向命令而发生的转向模式,其中所述产品还包括至少一个相机或光学传感器,所述至少一个相机或光学传感器被配置成跟踪人类附肢的位置或姿势中的至少一个,并且其中所述自主转向***被配置成至少基于所述至少一个人类附肢的所跟踪的位置或姿势在转向模式之间切换,其中所述至少一个相机或光学传感器被定位成观察所述转向界面的正面,并且其中所述自主驾驶***能够利用所述至少一个相机或光学传感器识别检测区域,并且确定所述人类附肢的预定部分是否已经被放置在所述检测区域中,并且如果是这样则切换到所述第二模式,并且其中自主驾驶***能够确定所述人类附肢的预定部分是否已经放置在所述检测区域外部,并且如果是这样则切换到所述第一模式。
变型22可包括变型21中阐述的产品,其中所述人类附肢包括人手。
变型23可以包括一种方法,所述方法包括:提供自主转向***,所述自主转向***包括转向界面并且被构造和布置成同时接受和解释由人类驾驶员经由至少一个转向界面输入的人类驾驶员转向命令和由自主转向***输入的自主转向命令,其中所述自主转向***能够在至少第一转向模式和第二转向模式之间切换,所述第一转向模式是其中所述转向只基于由所述自主转向***产生的自主转向命令而发生的转向模式,并且所述第二转向模式是其中转向只基于由人类驾驶员经由对所述至少一个转向界面的操纵产生的人类驾驶员转向命令而发生的转向模式,其中所述产品还包括至少一个相机或光学传感器,所述至少一个相机或光学传感器被配置成跟踪人类附肢的位置或姿势中的至少一个,并且其中所述自主转向***被配置成至少基于所述至少一个人类附肢的所跟踪的位置或姿势在转向模式之间切换,其中所述至少一个相机或光学传感器被定位成观察所述转向界面的正面,并且其中所述自主驾驶***能够利用所述至少一个相机或光学传感器识别检测区域,并且确定所述人类附肢的预定部分是否已经被放置在所述检测区域中,并且如果是这样则切换到所述第二模式,并且确定所述人类附肢的预定部分是否已经放置在所述检测区域外部,并且如果是这样则切换到所述第一模式。
变型24可包括变型23中阐述的方法,其中所述人类附肢包括人手。
本发明的范围内的选择变型的以上描述在本质上仅仅是说明性的,并且因此其变体或变型不被认为脱离了本发明的精神和范围。
Claims (24)
1.一种产品,包括:
自主转向***,其包括转向界面并且被构造和布置成同时接受和解释由人类驾驶员经由至少一个转向界面输入的人类驾驶员转向命令和由自主转向***输入的自主转向命令,其中所述自主转向***能够在至少第一转向模式和第二转向模式之间切换,所述第一转向模式是其中所述转向只基于由所述自主转向***产生的自主转向命令而发生的转向模式,并且所述第二转向模式是其中转向只基于由人类驾驶员经由对所述至少一个转向界面的操纵产生的人类驾驶员转向命令而发生的转向模式,其中所述产品还包括至少一个相机或光学传感器,所述至少一个相机或光学传感器被配置成跟踪人类附肢的位置或姿势中的至少一个,并且其中所述自主转向***被配置成至少基于所述至少一个人类附肢的所跟踪的位置或姿势在转向模式之间切换。
2.根据权利要求1所述的产品,其中所述自主转向***还能够切换到第三转向模式,其中所述至少一个转向界面由所述人类驾驶员和所述自主转向***两者操纵。
3.根据权利要求2所述的产品,其中所述至少一个相机或光学传感器包括立体相机布置。
4.根据权利要求2所述的产品,其中所述产品其中所述至少一个相机或光学传感器被配置成跟踪所述至少一个人类附肢的移动速度。
5.根据权利要求2所述的产品,其中所述至少一个相机或光学传感器被配置成跟踪所述至少一个人类附肢与所述至少一个转向界面的接近度。
6.根据权利要求2所述的产品,其中所述产品还包括用于感测由所述人类驾驶员输入到所述转向界面的扭矩的至少一个扭矩传感器。
7.根据权利要求6所述的产品,其中所述扭矩输入是在转向柱上感测的扭矩。
8.根据权利要求2所述的产品,其中所述产品还包括至少一个压力传感器,所述至少一个压力传感器耦合到所述转向界面,以用于感测由所述人类驾驶员施加到所述转向界面的压力。
9.根据权利要求2所述的产品,其中所述产品还包括耦合到所述转向界面的至少一个电容性触摸传感器,以用于感测当所述人类驾驶员触摸所述转向界面时在所述电容性触摸传感器处施加的电容上的改变。
10.根据权利要求2所述的产品,其中用于跟踪所述至少一个人类附肢的所述位置或姿势的所述至少一个光学传感器或相机的所述配置包括至少一个相机,所述至少一个相机被定位成捕获在转向轮上或所述转向轮附近的所述人类驾驶员的手中的至少一只手的图像。
11.根据权利要求10所述的产品,其中至少基于所述至少一个人类附肢的所述跟踪的位置或姿势在转向模式之间切换的所述自主转向的所述配置包括使用图像分析***来确定所述人类驾驶员的所述至少一只手的每个手指已经从卷曲或紧握姿势轻拂到完全伸展位置,并且其中所述自主转向***被配置成至少基于此确定改变转向模式。
12.一种方法,包括:
使用至少一个相机或光学传感器来跟踪人类驾驶员的至少一个附肢的位置或姿势中的至少一个;
通过将所述人类驾驶员的所述至少一个附肢的所述位置或姿势中的所述至少一个与从至少一个转向界面或从被配置成感测由所述人类驾驶员与所述至少一个转向界面的交互的至少一个传感器中收集的数据进行关联来产生关联数据;以及
至少基于所述关联数据改变自主转向***的转向模式。
13.根据权利要求12所述的方法,其中所述至少一个相机或光学传感器包括立体相机布置。
14.根据权利要求12所述的方法,其中由所述人类驾驶员从至少一个转向界面或从被配置成感测与所述至少一个转向界面的交互的至少一个传感器中收集的所述数据包括来自嵌入在所述至少一个转向界面中的至少一个电容性触摸传感器的数据。
15.根据权利要求12所述的方法,其中由所述人类驾驶员从至少一个转向界面或从被配置成感测与所述至少一个转向界面的交互的至少一个传感器中收集的所述数据包括用于感测由所述人类驾驶员输入到所述转向界面的扭矩的至少一个扭矩传感器。
16.根据权利要求15所述的方法,其中所述扭矩输入是在转向柱上感测的扭矩。
17.根据权利要求12所述的方法,其中由所述人类驾驶员从至少一个转向界面或从被配置成感测与所述至少一个转向界面的交互的至少一个传感器中收集的所述数据包括耦合到所述转向界面的至少一个压力传感器,以用于感测由所述人类驾驶员施加到所述转向界面的压力。
18.一种产品,包括用于运载工具的自主转向***的至少一个转向界面;
至少一个光学传感器或相机,所述至少一个光学传感器或相机用于跟踪至少一个人类驾驶员附肢的姿势或位置中的至少一个;以及,
除了嵌入在所述转向界面中的光学传感器以外的至少一个传感器。
19.根据权利要求18所述的产品,其中除了光学传感器以外的所述至少一个传感器是电容性触摸传感器。
20.根据权利要求18所述的产品,其中除了光学传感器以外的所述至少一个传感器是压力传感器。
21.一种产品,包括:
自主转向***,所述自主转向***包括转向界面并且被构造和布置成同时接受和解释由人类驾驶员经由至少一个转向界面输入的人类驾驶员转向命令和由自主转向***输入的自主转向命令,其中所述自主转向***能够在至少第一转向模式和第二转向模式之间切换,所述第一转向模式是其中所述转向只基于由所述自主转向***产生的自主转向命令而发生的转向模式,并且所述第二转向模式是其中转向只基于由人类驾驶员经由对所述至少一个转向界面的操纵产生的人类驾驶员转向命令而发生的转向模式,其中所述产品还包括至少一个相机或光学传感器,所述至少一个相机或光学传感器被配置成跟踪人类附肢的位置或姿势中的至少一个,并且其中所述自主转向***被配置成至少基于所述至少一个人类附肢的所跟踪的位置或姿势在转向模式之间切换,其中所述至少一个相机或光学传感器被定位成观察所述转向界面的正面,并且其中所述自主驾驶***能够利用所述至少一个相机或光学传感器识别检测区域,并且确定所述人类附肢的预定部分是否已经被放置在所述检测区域中,并且如果是这样则切换到所述第二模式,并且其中自主驾驶***能够确定所述人类附肢的预定部分是否已经放置在所述检测区域外部,并且如果是这样则切换到所述第一模式。
22.根据权利要求21所述的产品,其中所述人类附肢包括人手。
23.一种方法,包括:
提供自主转向***,所述自主转向***包括转向界面并且被构造和布置成同时接受和解释由人类驾驶员经由至少一个转向界面输入的人类驾驶员转向命令和由自主转向***输入的自主转向命令,其中所述自主转向***能够在至少第一转向模式和第二转向模式之间切换,所述第一转向模式是其中所述转向只基于由所述自主转向***产生的自主转向命令而发生的转向模式,并且所述第二转向模式是其中转向只基于由人类驾驶员经由对所述至少一个转向界面的操纵产生的人类驾驶员转向命令而发生的转向模式,其中所述产品还包括至少一个相机或光学传感器,所述至少一个相机或光学传感器被配置成跟踪人类附肢的位置或姿势中的至少一个,并且其中所述自主转向***被配置成至少基于所述至少一个人类附肢的所跟踪的位置或姿势在转向模式之间切换,其中所述至少一个相机或光学传感器被定位成观察所述转向界面的正面,并且其中所述自主驾驶***能够利用所述至少一个相机或光学传感器识别检测区域,并且确定所述人类附肢的预定部分是否已经被放置在所述检测区域中,并且如果是这样则切换到所述第二模式,并且确定所述人类附肢的预定部分是否已经放置在所述检测区域外部,并且如果是这样则切换到所述第一模式。
24.根据权利要求21所述的方法,其中所述人类附肢包括人手。
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201962914650P | 2019-10-14 | 2019-10-14 | |
US62/914650 | 2019-10-14 | ||
US17/066983 | 2020-10-09 | ||
US17/066,983 US11608088B2 (en) | 2019-10-14 | 2020-10-09 | Optics based detection of hands on-off and hand gesture based function selection for human driver |
Publications (1)
Publication Number | Publication Date |
---|---|
CN112722070A true CN112722070A (zh) | 2021-04-30 |
Family
ID=75382513
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011091393.3A Pending CN112722070A (zh) | 2019-10-14 | 2020-10-13 | 用于人类驾驶员基于手离合和手势的功能选择的基于光学器件的检测 |
Country Status (2)
Country | Link |
---|---|
US (1) | US11608088B2 (zh) |
CN (1) | CN112722070A (zh) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102552261B1 (ko) * | 2019-04-29 | 2023-07-05 | 엘지전자 주식회사 | 전자 장치 및 전자 장치의 동작 방법 |
KR20210070117A (ko) * | 2019-12-04 | 2021-06-14 | 현대자동차주식회사 | 모션 인식 기반 핸즈 온 판단 장치, 그를 포함한 시스템 및 그 차량 제어 방법 |
JP7351276B2 (ja) * | 2020-09-15 | 2023-09-27 | トヨタ自動車株式会社 | 表示制御装置、表示制御方法及び表示制御システム |
DE102021203818A1 (de) * | 2021-04-16 | 2022-10-20 | Volkswagen Aktiengesellschaft | Verfahren zum Wechsel zwischen einer manuellen und einer autonomen Fahrt und Fahrzeug |
US11702138B2 (en) * | 2021-05-24 | 2023-07-18 | Toyota Research Institute, Inc. | Method for lateral control assistance to enable one-handed driving of a vehicle |
CN114132344A (zh) * | 2021-12-21 | 2022-03-04 | 阿波罗智联(北京)科技有限公司 | 一种自动驾驶车辆的决策方法、装置、设备及存储介质 |
WO2023133185A1 (en) * | 2022-01-07 | 2023-07-13 | Locomation, Inc. | Multi-factor transition into or out of autonomy |
Citations (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20110134025A (ko) * | 2010-06-08 | 2011-12-14 | 현대모비스 주식회사 | 목표 주차 공간 설정을 위한 hmi를 개선한 주차 보조 시스템 및 방법 |
DE102011111897A1 (de) * | 2011-08-30 | 2013-02-28 | Gm Global Technology Operations, Llc | Kraftfahrzeug, insbesondere Personenkraftwagen und Verfahren zur Steuerung eines Kraftfahrzeugs, insbesondere eines Personenkraftwagens |
JP2015098218A (ja) * | 2013-11-18 | 2015-05-28 | みこらった株式会社 | 自動運転車 |
JP2015182624A (ja) * | 2014-03-25 | 2015-10-22 | 日産自動車株式会社 | 情報表示装置 |
DE102014107194A1 (de) * | 2014-05-22 | 2015-11-26 | Robert Bosch Automotive Steering Gmbh | Verfahren zum Betreiben eines Lenksystems |
US20170344838A1 (en) * | 2016-05-27 | 2017-11-30 | Toyota Jidosha Kabushiki Kaisha | Hierarchical Context-Aware Extremity Detection |
DE102016210452A1 (de) * | 2016-06-13 | 2017-12-14 | Conti Temic Microelectronic Gmbh | Verfahren und Vorrichtung für ein Fahrzeug mit Notfallassistenzeinheit |
US20170368936A1 (en) * | 2016-06-28 | 2017-12-28 | Panasonic Intellectual Property Management Co., Ltd. | Driving assistance apparatus and driving assistance method |
JP2018039364A (ja) * | 2016-09-07 | 2018-03-15 | 株式会社東海理化電機製作所 | 車両用操舵切替装置 |
CN107953891A (zh) * | 2016-10-17 | 2018-04-24 | 操纵技术Ip控股公司 | 用于自动驾驶切换控制的传感器融合 |
US20180194349A1 (en) * | 2017-01-06 | 2018-07-12 | Toyota Research Institute, Inc. | Systems and methods for dynamically adjusting a vehicle trajectory according to deviations of a driver from expected inputs |
US20180326992A1 (en) * | 2017-05-09 | 2018-11-15 | Omron Corporation | Driver monitoring apparatus and driver monitoring method |
US20190073546A1 (en) * | 2017-09-05 | 2019-03-07 | Omron Corporation | Driver state recognition apparatus, driver state recognition system, and driver state recognition method |
DE102017217820A1 (de) * | 2017-10-06 | 2019-04-11 | Zf Friedrichshafen Ag | Lenkvorrichtung für ein Fahrzeug |
CN109606457A (zh) * | 2018-11-30 | 2019-04-12 | 江苏大学 | 一种转向柱管和转向***及车辆 |
DE112017005199T5 (de) * | 2016-10-14 | 2019-07-04 | Omron Corporation | Fahrmodus-umschaltsteuerung, verfahren und programm |
US20190300013A1 (en) * | 2018-03-29 | 2019-10-03 | Subaru Corporation | Vehicle driving assist system |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
ITTO20110795A1 (it) * | 2011-09-07 | 2013-03-08 | Cnh Italia Spa | Veicolo sterzabile |
US10363958B2 (en) * | 2016-07-26 | 2019-07-30 | Steering Solutions Ip Holding Corporation | Electric power steering mode determination and transitioning |
US10081387B2 (en) * | 2017-02-07 | 2018-09-25 | Ford Global Technologies, Llc | Non-autonomous steering modes |
US10377409B2 (en) * | 2017-08-17 | 2019-08-13 | Ford Global Technologies, Llc | Enhanced vehicle steering |
-
2020
- 2020-10-09 US US17/066,983 patent/US11608088B2/en active Active
- 2020-10-13 CN CN202011091393.3A patent/CN112722070A/zh active Pending
Patent Citations (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20110134025A (ko) * | 2010-06-08 | 2011-12-14 | 현대모비스 주식회사 | 목표 주차 공간 설정을 위한 hmi를 개선한 주차 보조 시스템 및 방법 |
DE102011111897A1 (de) * | 2011-08-30 | 2013-02-28 | Gm Global Technology Operations, Llc | Kraftfahrzeug, insbesondere Personenkraftwagen und Verfahren zur Steuerung eines Kraftfahrzeugs, insbesondere eines Personenkraftwagens |
JP2015098218A (ja) * | 2013-11-18 | 2015-05-28 | みこらった株式会社 | 自動運転車 |
JP2015182624A (ja) * | 2014-03-25 | 2015-10-22 | 日産自動車株式会社 | 情報表示装置 |
DE102014107194A1 (de) * | 2014-05-22 | 2015-11-26 | Robert Bosch Automotive Steering Gmbh | Verfahren zum Betreiben eines Lenksystems |
US20170344838A1 (en) * | 2016-05-27 | 2017-11-30 | Toyota Jidosha Kabushiki Kaisha | Hierarchical Context-Aware Extremity Detection |
DE102016210452A1 (de) * | 2016-06-13 | 2017-12-14 | Conti Temic Microelectronic Gmbh | Verfahren und Vorrichtung für ein Fahrzeug mit Notfallassistenzeinheit |
US20170368936A1 (en) * | 2016-06-28 | 2017-12-28 | Panasonic Intellectual Property Management Co., Ltd. | Driving assistance apparatus and driving assistance method |
JP2018039364A (ja) * | 2016-09-07 | 2018-03-15 | 株式会社東海理化電機製作所 | 車両用操舵切替装置 |
DE112017005199T5 (de) * | 2016-10-14 | 2019-07-04 | Omron Corporation | Fahrmodus-umschaltsteuerung, verfahren und programm |
CN107953891A (zh) * | 2016-10-17 | 2018-04-24 | 操纵技术Ip控股公司 | 用于自动驾驶切换控制的传感器融合 |
US20180194349A1 (en) * | 2017-01-06 | 2018-07-12 | Toyota Research Institute, Inc. | Systems and methods for dynamically adjusting a vehicle trajectory according to deviations of a driver from expected inputs |
US20180326992A1 (en) * | 2017-05-09 | 2018-11-15 | Omron Corporation | Driver monitoring apparatus and driver monitoring method |
US20190073546A1 (en) * | 2017-09-05 | 2019-03-07 | Omron Corporation | Driver state recognition apparatus, driver state recognition system, and driver state recognition method |
DE102017217820A1 (de) * | 2017-10-06 | 2019-04-11 | Zf Friedrichshafen Ag | Lenkvorrichtung für ein Fahrzeug |
US20190300013A1 (en) * | 2018-03-29 | 2019-10-03 | Subaru Corporation | Vehicle driving assist system |
CN109606457A (zh) * | 2018-11-30 | 2019-04-12 | 江苏大学 | 一种转向柱管和转向***及车辆 |
Non-Patent Citations (1)
Title |
---|
黄海来;: "新型智能消防小车的研究与实现", 华东交通大学学报, no. 03, 13 June 2018 (2018-06-13), pages 131 - 137 * |
Also Published As
Publication number | Publication date |
---|---|
US11608088B2 (en) | 2023-03-21 |
US20210107527A1 (en) | 2021-04-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11608088B2 (en) | Optics based detection of hands on-off and hand gesture based function selection for human driver | |
US9031729B2 (en) | Method and system for controlling a vehicle | |
JP7005933B2 (ja) | 運転者監視装置、及び運転者監視方法 | |
EP2559016B1 (en) | Video based intelligent vehicle control system | |
CN105593104B (zh) | 用于当自动驾驶仪被激活时使用机动车辆中的通信终端的方法和机动车辆 | |
US9126619B2 (en) | Vehicle operation device | |
Zhou et al. | Use of human gestures for controlling a mobile robot via adaptive cmac network and fuzzy logic controller | |
US20210024097A1 (en) | Vehicle controller and control method | |
CN102695037B (zh) | 一种车载多视点摄像头画面的切换和表示方法 | |
US20130107027A1 (en) | Control and monitoring device for vehicle | |
US9731715B2 (en) | Semi-automatic method for assisting with parking a motor vehicle and associated device | |
CN113460037A (zh) | 驻车辅助*** | |
US11485378B2 (en) | Vehicle control system | |
JP7121714B2 (ja) | 車両制御システム | |
JP2019209917A (ja) | 車両制御装置、車両制御方法、及びプログラム | |
US20200269833A1 (en) | Parking Control Method and Parking Control Device | |
Petit et al. | An integrated framework for humanoid embodiment with a BCI | |
KR20110134025A (ko) | 목표 주차 공간 설정을 위한 hmi를 개선한 주차 보조 시스템 및 방법 | |
CN114746325A (zh) | 使用移动终端设备利用车辆执行遥控泊车操纵的方法和*** | |
JPWO2016163035A1 (ja) | 移動筐体制御インタフェース | |
GB2606120A (en) | Vehicle controller and control method | |
US11400953B2 (en) | Method and product for alerting or refocusing an inattentive driver | |
Zhou et al. | Safety driving assistance system design in intelligent vehicles | |
Jung et al. | System configuration of intelligent parking assistant system | |
KR102272765B1 (ko) | 차량 및 그 제어방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |