CN110850975B - 具有手掌辨识的电子***、车辆及其操作方法 - Google Patents

具有手掌辨识的电子***、车辆及其操作方法 Download PDF

Info

Publication number
CN110850975B
CN110850975B CN201911070431.4A CN201911070431A CN110850975B CN 110850975 B CN110850975 B CN 110850975B CN 201911070431 A CN201911070431 A CN 201911070431A CN 110850975 B CN110850975 B CN 110850975B
Authority
CN
China
Prior art keywords
palm
display device
processing unit
vehicle
driver
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911070431.4A
Other languages
English (en)
Other versions
CN110850975A (zh
Inventor
江昱嫺
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mindtronic Ai Co ltd
Yizhi Artificial Intelligence Technology Suzhou Co ltd
Original Assignee
Yizhi Artificial Intelligence Technology Suzhou Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yizhi Artificial Intelligence Technology Suzhou Co ltd filed Critical Yizhi Artificial Intelligence Technology Suzhou Co ltd
Priority to US16/677,608 priority Critical patent/US10895980B2/en
Publication of CN110850975A publication Critical patent/CN110850975A/zh
Application granted granted Critical
Publication of CN110850975B publication Critical patent/CN110850975B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • G06V40/11—Hand-related biometrics; Hand pose recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/12—Fingerprints or palmprints
    • G06V40/1347—Preprocessing; Feature extraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/12—Fingerprints or palmprints
    • G06V40/1365—Matching; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/368—Image reproducers using viewer tracking for two or more viewers

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Signal Processing (AREA)
  • User Interface Of Digital Computer (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)

Abstract

本揭露提供一种操作一电子***的方法。此方法包含以下动作。由一影像撷取单元撷取复数个影像。由一感测单元在一感测范围内侦测一物体。当此物体在感测单元的感测范围内被侦测到时，由一处理单元从撷取的影像中识别一手掌特征。由处理单元因应于手掌特征触发一应用程序。

Description

具有手掌辨识的电子***、车辆及其操作方法
技术领域
本揭露是关于一种具有手掌辨识的电子***、操作具有手掌辨识的电子***的方法、以及具有手掌辨识的车辆。
背景技术
在车辆中，车用娱乐***系内嵌在车框，位于驾驶人与乘客之间的中间部分。在操作车用娱乐***时，驾驶人和乘客需要伸长手臂以碰触车用娱乐***的按钮、控制面板或触控屏幕。除此之外，当驾驶人操作车用娱乐***时，驾驶人的视线绘离开路面以查看车用娱乐***，这种的分心行为使得驾驶人和乘客处于发生车祸的高危险的状态。因此，有必要提供一种方便的和更安全的车用娱乐***。
发明内容
依据本揭露的一方面，提供一种操作一电子***的方法。此方法包含以下动作。由一影像撷取单元撷取复数个影像。由一感测单元在一感测范围内侦测一物体。当此物体在感测单元的感测范围内被侦测到时，由一处理单元从撷取的影像中识别一手掌特征。由处理单元因应于手掌特征触发一应用程序。
依据本揭露的一方面，提供一种电子***。电子***包括一影像撷取单元、一感测单元及一处理单元。影像撷取单元用以撷取复数个影像。感测单元用以在一感测范围内侦测一物体。处理单元用以感测单元的感测范围内侦测到物体时，从撷取的影像中识别一手掌特征，因应于手掌特征触发一应用程序。
依据本揭露的又一方面，提供一种车辆。此车辆包括一车用娱乐***。车用娱乐***包括一影像撷取单元、一感测单元、一显示设备及一处理单元。影像撷取单元用以撷取复数个影像。感测单元用以在一感测范围内侦测一物体。处理单元用以感测单元的感测范围内侦测到物体时，从撷取的影像中识别一手掌特征，因应于手掌特征在一显示设备上显示一应用程序。
附图说明
图1绘示依据本揭露一实作的一电子***的方块图。
图2绘示依据本揭露一实作的车辆前部的内装的示意图。
图3绘示依据本揭露一实施例的操作一电子***的方法的流程图。
图4绘示依据本揭露一实作的包含手掌特征的撷取影像的示意图。
图5A绘示说明依据手掌识别操作车用娱乐***的一实作的示意图。
图5B绘示说明依据手掌识别操作车用娱乐***的另一实作的示意图。
图6A-6D绘示依据本揭露一实作的显示设备的多个位置的示意图。
图7绘示因应于手掌识别操作车用娱乐***的一实作的示意图。
具体实施方式
以下描述包含关于本揭露的示范性实作的具体信息。本揭露中的附图以及附上的详细描述仅应用于是示范性的实作。然而，本揭露不仅限于这些示范性的实作。本领域技术人员会想到本揭露的其他变形和实作。除非另有说明，附图中相同或对应的组件可以由相同或对应的附图标记所指示。此外，本揭露中的附图和说明通常不是按照比例绘制的，并且不意图按照实际的相对尺寸。
图1绘示依据本揭露一实作的一电子***100的方块图。电子***100包含一影像撷取单元114、一感测单元116及一处理单元118。影像撷取单元114用以撷取一用户的影像。在一实作中，影像撷取单元114可包括但不限于一或多个摄影机或任何可撷取影像的装置。影像撷取单元114可以是具有一深度传感器的一深度感测摄影机。摄影机可以是彩色(RGB)摄影机或者红外线(IR)摄影机。在一些实施例中，影像撷取单元114更包含一光源(例如，红外线发光二极管或一可见光照明装置)以能实时分析用户的手或手掌。藉由光源以及高动态范围成像，手掌识别可适应于较暗的环境。
感测单元116用以在一感测范围内侦测一物体。在一实作中，感测单元116为一接近度传感器。在另一实作中，感测单元可用一具有一深度传感器的一深度感测摄影机来实现。
处理单元118耦接至影像撷取单元114、显示设备112及感测单元116。处理单元118可处理输入信号、数据及指令。在一实施例中，处理单元118可可以是一硬件模块，此硬件模块包含一或多个中央处理器单元(CPU)、微处理器、特殊应用集成电路(ASIC)或上述的组合，且不限于此。在一实施例中，处理器单元130为一车辆电子控制单元(ECU)的一功能模块。处理单元118可执行图像识别、图像处理以生成影像。在一实施例中，处理单元118用以识别撷取的影像并对撷取的影像执行手掌辨识。在一些实施例中，处理单元118更执行脸部识别、声音识别、语音识别、自然语言处理(Natural Language Processing)及/或其他生物识别。在一些实施例中，处理单元118更提供驾驶人监视功能，例如驾驶人的注视区域优先级的确定(gaze zone prioritization)、疲劳识别、注意力不集中的识别及分心识别。
可选的，电子***100更包含一显示设备112，其耦接至处理单元118，用以显示影像及应用程序。在一实施例中，电子***100更包含一机械结构，用以控制该显示设备112的一移动操作。
在一实作中，电子***100为一车用娱乐***。在另一实作中，电子***100为车辆的一中控台。在其他实作中，电子***100可以是任何设置在车辆内的电子装置。图2绘示依据本揭露一实作的车辆前部的内装的示意图200。如图2所示，一驾驶人座210位于车辆的左侧，而一前方乘客座位220位于车辆的右侧。然而，驾驶人的座位位置并不限制于左侧，可依据道路通行方向(靠左行驶或靠右行驶)而设置。车辆仪表板120设置于驾驶人座位210的正前方。仪表板120可包括但不限于在中央区块显示目前车速的一车速表、在车速表左边显示车辆引擎转速的一转速表及在车速表右方显示车辆行驶过的距离的一里程表。在一实作中，仪表板120是包含数字显示面板的一数字仪表板。
在一实施例中，车用娱乐***110位于如图2所示的车辆前部的内装的中间区域，也就是设置于一车辆的一驾驶座与一前方乘客座之间，以使驾驶人和乘客能共同控制车用娱乐***110。在一些实施例中，车用娱乐***110位于后座的中间区域以使后座的乘客们都能共同控制车用娱乐***110。
如前面描述过的，车用娱乐***110包含一显示设备112、一影像撷取单元114、一感测单元116及一处理单元(未绘示)。在此实作中，显示设备112用以显示应用程序。影像撷取单元114设置在显示设备112上以撷取乘客或驾驶人的影像。在其他实作中，影像撷取单元114并不一定要设置在显示设备112上，但设置在车辆内。感测单元116设置在显示设备112上。在一实施例中，处理单元118为一车辆电子控制单元(ECU)的一功能模块。在一些其他实施例中，处理单元118将硬件控制器整合到车辆中，以控制仪表板、车用娱乐***、平视显示器(HUD)、后视镜等。
图3绘示依据本揭露一实施例的操作一电子***110(如，车用娱乐***)的方法的流程图。此方法包括以下动作。在动作310中，影像撷取单元114撷取影像。
在动作320中，感测单元116在一感测范围内侦测一物体。举例来说，一接近度传感器侦测附近物体的存在。当在一特定范围内侦测到附近的物体时，开始执行手掌识别。换句话说，当在显示设备附近没有侦测到手的存在时，不会执行手掌识别。在此情况下，当未侦测到手的存在时，车用娱乐***110可保持在待机模式而因此可节省能源消耗。
在动作330中，执行手掌辨识。也就是说，处理单元118从撷取的影像中识别一手掌特征。举例来说，用户可预先注册手掌的图像。具体地，处理单元118记录并存储与一注册用户相关联的手掌图像的手掌特征。在一实施例中，手掌特征可包括但不预定一掌纹、指纹、手的型态、手的尺寸、手掌的尺寸、手指尺寸、手势、手掌手势、手指手势、一手掌特性或上述多个的组合。当开始手掌识别时，处理单元118根据例如手指、手掌和/或手的一个或多个部分的位置、型态、手势来识别手掌特征。在一实施例中，手掌识别包括识别一手势、手掌手势和/或手指手势。举例来说，手势可以包括但不限于向上拉、向下推、招呼手势、抓握、挥手、指向一方向。手掌手势可包括但不限于手掌合拢手部以形成拳头、张开的手以及其他手掌形成的姿势和手势。手指手势可包括但不限于竖起大拇指比赞、大拇指朝下、数字手势和其他通过移动或折迭每个手指的手势。手掌特性是属于左手或右手。可由手掌影像中依据各种手或手掌的特征识别手掌特性。
在一实施例中，当识别出手掌特征时，此方法更包括以下动作。首先，处理单元118决定撷取影像中的一边界框以追踪手掌。如图4所示，标记包含手掌区域Cp的一边界框Bp。接下来，将手掌区域Cp从图片中裁切以执行进一步地识别。选择性地可藉由影像信号处理(image signal processing)程序校正手掌区域为较佳的方位(例如手指朝上的正向的手掌)。在此之后，手掌特征(如掌纹)被从手掌区域中识别出来。最后，识别出的手掌特征用于手掌识别。此外，处理单元将识别出的手掌特征与注册的手掌影像比较，并在识别结果相符时辨识出注册的用户。
在动作340中，处理单元118因应于识别的手掌特征触发一应用程序。在一实施例中，每一用户可预先设定一默认应用程序，并在识别出掌纹之后，处理单元118更依据掌纹识别一用户身分并提供对应的应用程序。对应的应用程序可以是对每一个用户个人化的应用程序或功能。在一些实施例中，应用程序被显示在一显示设备上。举例来说，当识别出一驾驶人的手掌时，在显示设备112上显示一导航地图，而在识别出一乘客的手掌时，在显示设备112上触发及/或显示一音乐播放应用程序。进一步地，可依据识别的掌纹触发及/或显示个人化内容(例如个人化的音乐或影片播放列表、背景设定、主题设定、或个人化的桌面应用程序等)。
图5A绘示说明依据手掌识别操作车用娱乐***110的一实作的示意图。如图5A所示，车用娱乐***110依据用户的掌纹454在显示设备上显示一个人化内容562，如个人化播放列表。应当注意的是，图5A所示的掌纹454仅为说明用的，然而在实行手掌识别的实际情况中，为了要撷取掌纹，手掌必须要面向影像撷取单元。
在另一实施例中，用户可预先设定一或多个手掌手势以表示不同的应用程序，且当辨识出一特定手掌手势时，处理单元118据以在显示设备112上显示一应用程序。举例来说，当辨识出一紧闭的拳头时，在显示设备上显示一导航地图，而当辨识出一胜利(V字)手势时，在显示设备上显示一音乐播放应用程序。也就是说，多个(静态或动态的)手势可被预先设定以快开启多种应用程序(如导航地图、音乐播放应用、影片播放应用、电话列表等)。
此外，用户也可藉由不同手势控制车用娱乐***110。用户可使用手势、手掌手势及/或手指手势以操作车用娱乐***，例如在多个应用程序之间切换、选择及/或执行一功能。举例来说，用户可发出一向右/左滑动的手势以使应用程序的列表向右/左卷动，以执行或选择左/右方的应用程序。在另一例中，用户可竖起大拇指比赞以进入应用程序的下一阶层的选单。
图5B绘示说明依据手掌识别操作车用娱乐***110的另一实作的示意图。在此实施例中，车用娱乐***110依据手掌手势452在显示设备上显示一内容560。具体地说，手掌手势452为一向右滑动的手势，而据此显示的应用程序列表向右卷动。
基于上述内容，用户可不须碰触到车用娱乐***110的显示设备112而远程地操作车用娱乐***110。由于可减少碰触装置的实际接触，对于驾驶人来说在驾驶过程中操作***是比较安全的。在一些实施例中，虽然车用娱乐***110正由一左方座位的用户操作，影像撷取单元114保持监测右方座位用户，而因此右方座位的用户也可同时操作车用娱乐***。因此，驾驶人和乘客皆可轻易地控制车用娱乐***而不需要将车用娱乐***110换手操作。
在一些实施例中，显示设备112是可移动的。详细地说，可依据用户地操作调整显示设备112的位置及方向以移动到朝向驾驶人或朝向乘客。
由于传统的中控台或车用娱乐***被固定在车框上，乘客或驾驶人可能需要将身体倾向前或伸长手臂以构到控制面板或屏幕。相对地，本揭露的显示设备112可被移动到接近乘客的位置和接近驾驶人的位置使得乘客或驾驶人可清楚地看见显示内容。在有必要实际接触以操作装置的另一例中，显示设备112可被移动到对于驾驶人或乘客来说一触手可及的位置，以在不需要向前倾或伸长手臂到控制面板或屏幕的情况下操作***。除此之外，显示设备112可被移动到仪表板附近的一位置、或驾驶人的前方，这些位置是当驾驶人的视线在道路上时的驾驶人的周边视觉之处。因此，车用娱乐***110被设计为对于驾驶人和乘客更能方便地操作。并且，对于驾驶人来说在驾驶时将分心程度维持在最低程度是较安全的。
图6A-6D绘示依据本揭露一实作的显示设备112的多个位置的示意图。在此实作中，用来控制显示设备的移动操作的机械结构是一移动支架。然而，本揭露不限于此。机械结构可使用任何种类的组件或结构来调整显示设备的方向并移动显示设备的位置。如图6A所示，一开始，显示设备112位于位置P0，即是由一移动支架(未绘示)内嵌在车框630内。举例来说，在开启车用娱乐***110之后，如图6B所示，显示设备112藉由伸长支架b1移动到前方的位置P1。在一实作中，车用娱乐***110系在一感测范围内侦测到一手或手掌时被开启。在另一实作中，车用娱乐***110系藉由侦测到一使者做出一向上拉的手势而被开启。
之后，显示设备112移动到用户触手可及的位置。举例来说，如图6C所示，车用娱乐***110旋转支架b1以将显示设备112移动到左边座位用户(如驾驶人)的前方的位置P2A以及朝向左边座位用户(如驾驶人)的方向。或者，如图6D所示，车用娱乐***110旋转支架b1以将显示设备112移动到右边座位用户(如乘客)的前方的位置P2B以及朝向右边座位用户(如乘客)的方向。
显示设备112可依据手掌辨识移动到左侧供左边用户使用或者移动到右侧供右边用户使用。图7绘示因应于手掌识别操作车用娱乐***的一实作的示意图。在一实施例中，处理单元116更基于影像撷取单元114撷取的影像取得识别手掌的一手掌位置，并因应于手掌位置决定显示设备的目标位置。举例来说，当处理单元116判断辨识的手掌位于左边座位附近(如452)时，显示设备112移动到左边座位用户触手可及的位置(如P2A)。同样的，当处理单元116判断辨识的手掌位于右边座位附近(如454)时，显示设备112移动到右边座位用户触手可及的位置(如P2B)。
在另一实施例中，处理单元依据手掌特性决定显示设备的移动操作。由于车用娱乐***110位于左边座位用户的右侧，对于左边座位用户来说，使用右手来操作车用娱乐***110是比较自然的；且因此当处理单元116识别出属于右手的手掌特性时(如442)，则显示设备112移动到左边座位用户触手可及的位置(如P2A)。同样的，当处理单元116识别出属于左手的手掌特性时(如444)，则显示设备112移动到右边座位用户触手可及的位置(如P2B)。此外，在判断手掌特性是属于右手或左手之后，可针对左边座位用户或右边座位用户显示不同的应用程序。
在一些实施例中，虽然显示设备112的位置位于左边座位用户附近，影像撷取单元114持续监测右边座位用户，且因此右边座位用户也可在同一时间不碰触车用娱乐***110而操作车用娱乐***110。
在一些其他实施例中，依据用户做出的手掌手势决定显示设备112的移动操作。举例来说，用户可做出挥动手掌的手掌手势(如向左、向右、向上、向下、向前、向后或上述多个的组合)，而处理单元118依据手掌手势决定显示设备112的移动操作，并据以控制显示设备112的移动。具体地，用户可使用手掌手势以移动、倾斜及/或旋转显示设备112，藉此调整显示设备112到理想的位置及/或理想的方向。
在一些实施例中，当驾驶人正在操作车用娱乐***110时，处理单元118执行驾驶人监测功能，例如，驾驶人的注视区域优先级的确定、疲劳识别、注意力不集中的识别及分心识别。举例来说，影像撷取单元114持续撷取驾驶人的影像，处理单元118藉由追踪驾驶人的眼睛的注视、眨眼、头部姿势或其他脸部特征监测驾驶人的状态。驾驶人的状态更用来决定驾驶人的分心水平、反应时间及疲劳程度。驾驶人的状态可例如包含是否睡着、及是否专心在路面上。在一实作中，当处理单元116判断驾驶人是分心或者疲劳(如分心水平大于一临界值时)的时候，显示设备112在屏幕上显示一警告标志。在另一实作中，当处理单元116判断驾驶人是分心或者疲劳的时候，则关闭车用娱乐***110的显示设备112。在其他实作中，虽然在显示设备112执行并显示的是同一应用程序，当驾驶人正在操作车用娱乐***110时，在屏幕上的一部份显示了驾驶相关信息。因此，驾驶人可在驾驶时仍可安全的和车用娱乐***110互动。
综上所述，本揭露提供多种不同的电子***及操作电子***的方法。上面所示或所描述的实作仅为例子。虽然在前面的描述中已经描述了本揭露的许多特征和优点，包含了本揭露的结构和功能的细节，但本揭露仅是说明性的，并且可在本揭露的原理内及包含权利要求所使用的用以的最广一般含义的全部范围内，对细节上作改变，包含各组件的形状、尺寸、和布置。

Claims (18)

1.一种操作一电子***的方法，其特征在于，包括：
由一影像撷取单元撷取复数个影像；
由一感测单元在一感测范围内侦测一物体；
当该物体在该感测单元的该感测范围内被侦测到时，由一处理单元从撷取的该复数个影像中识别一手掌特征；
由该处理单元因应于手掌特征触发一应用程序，其中该手掌特征包含一手掌手势；
由该处理单元依据该手掌手势的一方向信息决定一显示设备的一移动操作；以及
由该处理单元依据该移动操作移动该显示设备到一理想位置及一理想方向。
2.如权利要求1所述的方法，其中该手掌特征包含一掌纹，且从撷取的该复数个影像中识别该手掌特征的步骤更包括：
由该处理单元决定一边界框，其中该边界框包含一手掌区域；及
由该处理单元从该边界框中识别该掌纹。
3.如权利要求1所述的方法，其中该手掌特征包含一掌纹，且该方法更包括：由该处理单元依据该掌纹识别一用户身分；
其中触发的该应用程序系对应于该用户身分。
4.如权利要求1所述的方法，其中该手掌特征包含一手掌特性，且该方法更包括：
由该处理单元判断该手掌特性是属于右手或左手；
其中当该手掌特性属于右手时，执行一第一应用程序；且当该手掌特性属于左手时，执行一第二应用程序。
5.如权利要求4所述的方法，更包括：
由该处理单元依据该手掌特性而决定该显示设备的该移动操作；
其中当该手掌特性属于右手时，该显示设备移动到一第一方向及一第一位置；且当该手掌特性属于左手时，该显示设备移动到一第二方向及一第二位置。
6.如权利要求5所述的方法，其中该电子***设置于一车辆的一驾驶座与一前方乘客座之间，该第一位置位于该车辆的一左边座位的前方，且该第二位置位于该车辆的一右边座位的前方。
7.如权利要求3所述的方法，其中触发的该应用程序为一个人化的桌面应用程序。
8.一电子***，其特征在于，包括：
一影像撷取单元，用以撷取复数个影像；
一感测单元用以在一感测范围内侦测一物体；
一显示设备；
一机械结构，用以控制该显示设备的一移动操作；及
一处理单元用以执行：
当该物体在该感测单元的该感测范围内被侦测到时，从撷取的该复数个影像中识别一手掌特征；
因应于手掌特征触发一应用程序，其中该手掌特征包含一手掌手势；
依据该手掌手势的一方向信息决定该显示设备的一移动操作；以及
依据该移动操作移动该显示设备到一理想位置及一理想方向。
9.如权利要求8所述的电子***，其中该手掌特征包含一掌纹，且识别该手掌特征时，该处理单元更用以执行：
决定一边界框，其中该边界框包含一手掌区域；及
从该边界框中识别该掌纹。
10.如权利要求8所述的电子***，其中该手掌特征包含一掌纹，且该处理单元更用以执行：
依据该掌纹识别一用户身分；
其中触发的该应用程序系对应于该用户身分。
11.如权利要求8所述的电子***，其中该手掌特征包含一手掌特性，且该处理单元更用以执行：
判断该手掌特性是属于右手或左手；
其中当该手掌特性属于右手时，执行一第一应用程序；且当该手掌特性属于左手时，执行一第二应用程序。
12.如权利要求11所述的电子***，其中该处理单元更用以执行：
依据该手掌特性而决定该显示设备的该移动操作；
其中当该手掌特性属于右手时，该显示设备移动到一第一方向及一第一位置；且当该手掌特性属于左手时，该显示设备移动到一第二方向及一第二位置。
13.如权利要求12所述的电子***，其中该电子***设置于一车辆的一驾驶座与一前方乘客座之间，该第一位置位于该车辆的一左边座位的前方，且该第二位置位于该车辆的一右边座位的前方。
14.如权利要求8所述的电子***，其中触发的该应用程序为一个人化的桌面应用程序。
15.一车辆，其特征在于，包括：
一车用娱乐***，包含：
一影像撷取单元，用以撷取复数个影像；
一感测单元用以在一感测范围内侦测一物体；
一显示设备；
一机械结构，用以控制该显示设备的一移动操作；及
一处理单元用以执行：
当该物体在该感测单元的该感测范围内被侦测到时，从撷取的该复数个影像中识别一手掌特征；
因应于手掌特征在该显示设备上显示一应用程序，其中该手掌特征包含一手掌手势；
依据该手掌手势的一方向信息决定该显示设备的一移动操作；以及
依据该移动操作移动该显示设备到一理想位置及一理想方向。
16.如权利要求15所述的车辆，其中该处理单元更用以执行：
监视该车辆中的一驾驶人的一状态；
依据该驾驶人的该状态判断该驾驶人的一分心水平；及
当该分心水平超过一临界值时，关闭该车用娱乐***。
17.如权利要求15所述的车辆，其中该处理单元更用以执行：
依据该手掌特征识别一用户身分；
当该用户身分对应于一驾驶人时，提供一第一内容；及
当该用户身分对应于一乘客时，提供一第二内容。
18.如权利要求15所述的车辆，
其中该显示设备系移动到一驾驶人座位的前方的一第一方向及一第一位置，或移动到一乘客座位的前方的一第二方向及一第二位置。
CN201911070431.4A 2018-11-08 2019-11-05 具有手掌辨识的电子***、车辆及其操作方法 Active CN110850975B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US16/677,608 US10895980B2 (en) 2018-11-08 2019-11-07 Electronic system with palm recognition, vehicle and method for operating the same

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201862757744P 2018-11-08 2018-11-08
US62/757,744 2018-11-08

Publications (2)

Publication Number Publication Date
CN110850975A CN110850975A (zh) 2020-02-28
CN110850975B true CN110850975B (zh) 2024-03-19

Family

ID=69598314

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911070431.4A Active CN110850975B (zh) 2018-11-08 2019-11-05 具有手掌辨识的电子***、车辆及其操作方法

Country Status (2)

Country Link
US (1) US10895980B2 (zh)
CN (1) CN110850975B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11520409B2 (en) * 2019-04-11 2022-12-06 Samsung Electronics Co., Ltd. Head mounted display device and operating method thereof

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003252127A (ja) * 2001-12-28 2003-09-10 Pioneer Electronic Corp 駆動制御装置および駆動制御方法
US20100014711A1 (en) * 2008-07-16 2010-01-21 Volkswagen Group Of America, Inc. Method for controlling an illumination in a vehicle interior in dependence on a head pose detected with a 3D sensor
JP5916566B2 (ja) * 2012-08-29 2016-05-11 アルパイン株式会社 情報システム
KR20130088104A (ko) * 2013-04-09 2013-08-07 삼성전자주식회사 비접촉 방식의 인터페이스를 제공하기 위한 휴대 장치 및 방법
DE112014004212T5 (de) * 2013-09-12 2016-05-25 Mitsubishi Electric Corporation Vorrichtung und Verfahren, Programm und Speichermedium zur Gestenbedienung
US10303865B2 (en) * 2016-08-31 2019-05-28 Redrock Biometrics, Inc. Blue/violet light touchless palm print identification

Also Published As

Publication number Publication date
CN110850975A (zh) 2020-02-28
US20200150861A1 (en) 2020-05-14
US10895980B2 (en) 2021-01-19

Similar Documents

Publication Publication Date Title
US11726577B2 (en) Systems and methods for triggering actions based on touch-free gesture detection
US11124118B2 (en) Vehicular display system with user input display
CN110045825B (zh) 用于车辆交互控制的手势识别***
JP2021166058A (ja) 車両の中で触覚フィードバックを用いるジェスチャー・ベースの入力システム
US9720498B2 (en) Controlling a vehicle
CN109863466B (zh) 组合式眼睛和手势跟踪
US20160132126A1 (en) System for information transmission in a motor vehicle
US9446712B2 (en) Motor vehicle comprising an electronic rear-view mirror
KR20150054042A (ko) 차량 및 그 제어방법
CN113994312A (zh) 通过手势识别和控制设备运行移动终端的方法、手势识别和控制设备、机动车及可佩戴在头上的输出装置
CN110869882B (zh) 用于运行用于机动车的显示设备的方法以及机动车
CN106325493A (zh) 车辆及其控制方法
US11595878B2 (en) Systems, devices, and methods for controlling operation of wearable displays during vehicle operation
KR20180091732A (ko) 사용자 인터페이스, 운송 수단 및 사용자 구별을 위한 방법
CN110850975B (zh) 具有手掌辨识的电子***、车辆及其操作方法
US20230049900A1 (en) Displaced haptic feedback
JP5136948B2 (ja) 車両用操作装置
JP2017197015A (ja) 車載用情報処理システム
CN116501167A (zh) 一种基于手势操作的车内交互***及车辆
US20200218347A1 (en) Control system, vehicle and method for controlling multiple facilities
US11853469B2 (en) Optimize power consumption of display and projection devices by tracing passenger's trajectory in car cabin
WO2017175666A1 (ja) 車載用情報処理システム
US20230249552A1 (en) Control apparatus
CN111241973A (zh) 控制多个设备的方法、控制***及车辆
JP2022030157A (ja) 表示制御装置および表示制御方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20220616

Address after: 7 / F, 218, section 6, rosford Road, Wenshan District, Taipei, Taiwan, China

Applicant after: MINDTRONIC AI Co.,Ltd.

Applicant after: Yizhi artificial intelligence technology (Suzhou) Co.,Ltd.

Address before: 7 / F, 218, section 6, rosford Road, Wenshan District, Taipei, Taiwan, China

Applicant before: MINDTRONIC AI Co.,Ltd.

GR01 Patent grant
GR01 Patent grant