CN103842941B - 响应于所感测出的乘客比划动作而执行交通工具娱乐***的控制 - Google Patents

响应于所感测出的乘客比划动作而执行交通工具娱乐***的控制 Download PDF

Info

Publication number
CN103842941B
CN103842941B CN201280043859.XA CN201280043859A CN103842941B CN 103842941 B CN103842941 B CN 103842941B CN 201280043859 A CN201280043859 A CN 201280043859A CN 103842941 B CN103842941 B CN 103842941B
Authority
CN
China
Prior art keywords
action
passenger
camera
gesticulate
processor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201280043859.XA
Other languages
English (en)
Other versions
CN103842941A (zh
Inventor
克里斯托弗·K·蒙德拉贡
布雷特·布利切尔
威廉·W·艾伦
戴维·赖克特
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Thales Avionics Inc
Original Assignee
Thales Avionics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Thales Avionics Inc filed Critical Thales Avionics Inc
Publication of CN103842941A publication Critical patent/CN103842941A/zh
Application granted granted Critical
Publication of CN103842941B publication Critical patent/CN103842941B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60NSEATS SPECIALLY ADAPTED FOR VEHICLES; VEHICLE PASSENGER ACCOMMODATION NOT OTHERWISE PROVIDED FOR
    • B60N2/00Seats specially adapted for vehicles; Arrangement or mounting of seats in vehicles
    • B60N2/002Seats provided with an occupancy detection means mounted therein or thereon
    • B60N2/0021Seats provided with an occupancy detection means mounted therein or thereon characterised by the type of sensor or measurement
    • B60N2/0024Seats provided with an occupancy detection means mounted therein or thereon characterised by the type of sensor or measurement for identifying, categorising or investigation of the occupant or object on the seat
    • B60N2/0027Seats provided with an occupancy detection means mounted therein or thereon characterised by the type of sensor or measurement for identifying, categorising or investigation of the occupant or object on the seat for detecting the position of the occupant or of occupant's body part
    • B60N2/0028Seats provided with an occupancy detection means mounted therein or thereon characterised by the type of sensor or measurement for identifying, categorising or investigation of the occupant or object on the seat for detecting the position of the occupant or of occupant's body part of a body part, e.g. of an arm or a leg
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64DEQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENT OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
    • B64D47/00Equipment not otherwise provided for
    • B64D47/08Arrangements of cameras
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1601Constructional details related to the housing of computer displays, e.g. of CRT monitors, of flat displays
    • G06F1/1605Multimedia displays, e.g. with integrated or attached speakers, cameras, microphones
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/1633Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1686Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being an integrated camera
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60NSEATS SPECIALLY ADAPTED FOR VEHICLES; VEHICLE PASSENGER ACCOMMODATION NOT OTHERWISE PROVIDED FOR
    • B60N2/00Seats specially adapted for vehicles; Arrangement or mounting of seats in vehicles
    • B60N2/002Seats provided with an occupancy detection means mounted therein or thereon
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60NSEATS SPECIALLY ADAPTED FOR VEHICLES; VEHICLE PASSENGER ACCOMMODATION NOT OTHERWISE PROVIDED FOR
    • B60N2210/00Sensor types, e.g. for passenger detection systems or for controlling seats
    • B60N2210/10Field detection presence sensors
    • B60N2210/16Electromagnetic waves
    • B60N2210/22Optical; Photoelectric; Lidar [Light Detection and Ranging]
    • B60N2210/24Cameras
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64DEQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENT OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
    • B64D11/00Passenger or crew accommodation; Flight-deck installations not otherwise provided for
    • B64D11/0015Arrangements for entertainment or communications, e.g. radio, television
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/04Changes in size, position or resolution of an image
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/14Solving problems related to the presentation of information to be displayed
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00Aspects of interface with display user

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Multimedia (AREA)
  • Optics & Photonics (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

一种交通工具娱乐***,响应于该交通工具的一乘客的比划动作而被控制。该交通工具娱乐***包括一显示装置,至少一个比划动作控制相机,以及一处理器。该比划动作控制相机产生一相机讯号响应于由一位在该至少一个比划动作控制相机的一视野中的至少一个物体所反射出的光。该处理器分析该相机讯号以识别一乘客移动该至少一项物体所作出的一比划动作,以及响应于该经识别出的比划动作而控制该交通工具娱乐***的至少一个操作。

Description

响应于所感测出的乘客比划动作而执行交通工具娱乐***的 控制
相关申请案的交互参照
本申请案主张2011年9月9日的美国专利临时申请案号61/532,875的优先权,其全文内容为经结合而作为参考。
技术领域
本发明为相关于一种电子娱乐***,特别是一种控制娱乐***的人机接口。
背景技术
本节所述的处理方式为可被施行,但并非必定为先前已经被想出或实施的处理方式。因此,若非经本文所指出,本节中所包含的该些处理方式并不应被认定为先前技术,且不应被承认为先前技术。
自1995年起,自动化比划动作(gesture)辨识即成为大量研究的主题。手势辨识的一个目的乃是为了对机器的控制,如Freeman等人在案名为“手部比划动作的机器控制***”的美国专利第5594469号中所述。Freeman等人所使用的处理方式为藉由一空中的手部比划动作使一显示在屏幕上的手部图标(icon)为在一显示在屏幕上的机器控制图标的上部而动作。该手部图标移动该机器控制图示而作动机器的控制。
在案名为“手部比划动作的控制***”的Freeman的美国专利第6002908号中,系使用一相机而光学感测一手部比划动作,并依据该手部的水平与垂直位置、该手部的长度与宽度、以及该手部的指向,而转换成一数字表示。
在案名为“复数相机的控制***”的Hildreth等人的美国专利第7058204号中,描述一种多相机的技术,藉此使一人员能够藉由一手指的指示动作而控制一画面。
比划动作的辨识相对于各种实体接口具有其优势,该各种实体接口包含像是:触控屏幕显示器、切换开关、鼠标装置、数字键盘(keypad)以及键盘,以控制电子***。实体接口需置于一人员方便触及的位置。当要将实体接口用于一公共环境时,该***会产生卫生学方面的问题,而可能变成不干净或对使用者缺乏吸引力。此外,实体接口易受损耗,以致减少其使用寿命并增加维修成本。尤有甚者,有可能由于对实体接口的破坏而造成误用以及损害。
发明内容
本发明在此所揭示的各种实施例系为一交通工具娱乐***,其为响应于一由交通工具的旅客所为的比划动作而受控。
在一实施例中,该交通工具娱乐***包括一显示装置、至少一个比划动作控制相机,以及一处理器。该比划动作控制相机系响应于由一位在该至少一个比划动作控制相机的一视野中的至少一个物体所反射出的光,而产生一相机讯号。该处理器为分析该相机讯号以识别一乘客所移动该至少一个物体所做出的比划动作,并响应于该经识别出的比划动作而控制该交通工具娱乐***的至少一个操作。
进一步的实施例系针对一些操作以及方法,其用于识别由各种比划动作所触发的不同的命令与比划动作,以控制该交通工具娱乐***及/或一交通工具内的其它所定义的构件/***。该交通工具娱乐***可补偿乱流、或其它因交通工具的加速而对该旅客移动该物体所产生的一比划动作的影响。
其它进一步的实施例系关于响应于一识别出的该乘客的敏捷度(alertnesslevel),而控制该交通工具娱乐***及/或一交通工具内的其它所定义的构件/***。
其它进一步的实施例系针对关于一成对的比划动作控制相机,以形成一较窄的视野,在该视野中该比划动作可被较准确地识别,而忽略该视野之外所发生的动作。
附图说明
图式系经提供以进一步理解本发明,且经并列于本文并构成本发明的一部分,以描绘出本发明的特定数个非限制实施例。在图式中:
图1显示一交通工具娱乐***的智能型视讯显示单元,该智能型视讯显示单元具有根据本发明的某些实施例而设置的一比划动作辨识接口。
图2显示图1的该智能型视讯显示单元的一部分放大图,该智能型视讯显示单元具有根据本发明的某些实施例而设置的二个比划动作控制相机。
图3显示一交通工具娱乐***的另一个智能型视讯显示单元,根据本发明的某些实施例,该智能型视讯显示单元具有一比划动作辨识接口,连接于该智能型视讯显示单元,但与该智能型视讯显示单元分别封装。
图4系显示图1的该智能型视讯显示单元所包括的构件的方块图,根据本发明的部分实施例,该些构件经设置而进行操作。
图5系显示根据本发明的某些实施例而设置的一成对的比划动作控制相机的方块图,该成对的比划动作控制相机朝向彼此倾斜而提供一经缩窄的重迭视野,该重迭视野定义一乘客的比划动作空间。
图6系显示根据本发明的某些实施例而设置的一成对的比划动作控制相机的方块图,该成对的比划动作控制相机为近接地相距且相互向外倾斜,以提供一经缩窄的重迭视野,该重迭视野定义一乘客的比划动作空间。
图7系显示根据本发明的某些实施例而设置的一成对的比划动作控制相机的方块图,该成对的比划动作控制相机具有一受限制的对焦深度,以提供一乘客的比划动作空间。
图8系显示根据本发明的某些实施例而设置的一整合于一飞行器娱乐***的智能型视讯显示单元的方块图,该智能型视讯显示单元为控制多种致动器、与一空服员通讯接口通讯、且控制一媒体服务器。
图9至图13为由一交通工具娱乐***所执行的方法与操作的流程图。
具体实施方式
下列实施方式的说明揭示本发明的非限制性范例实施例。本发明能以多种形式而实施,而不应被诠释为仅限于在此所阐述的实施例。
本发明的多个实施例为源于:在使用为椅背式视讯显示单元的一部分的触控屏幕接口,会有不易于控制机上娱乐(In-Flight Entertainment,IFE)***的现今状况。当触控屏幕为设置于头等舱或商务舱的椅背内时,该触控屏幕接口会距离相面对的乘客太远而不便触及。此外,设置于经济舱椅背的触控屏幕接口,在乘客座椅后仰时也不便触及。
为解决该些以及其它问题,本发明的多个实施例为相关于提供一种交通工具娱乐***,其为非限制的参照便利性而在此称该***为一智能型视讯显示单元(Smart VideoDisplay Unit,SVDU)。该智能型视讯显示单元系经组构而由坐在靠近该智能型视讯显示单元的人员所执行的比划动作而予以控制。该智能型视讯显示单元更可经组构而响应于感应中的所定义比划动作,而控制该飞行器内的其它所定义的构件/***。图1显示一智能型视讯显示单元100,具有一比划动作辨识接口,包括一对比划动作控制相机102与104,并系根据本发明的某些实施例而设置。图1显示图1的该智能型视讯显示单元100的一部分的一放大视图。
该相机102与104以及相关的电路能够感测并识别使用下列范例而做出的比划动作:例如,一根或多根手指、一只或多只手、一只或多只手臂、一脸部、一只或多只眼睛、嘴型、头或肢体的运动,并可利用一经识别的比划动作而在一命令数据库中选择,以控制该智能型视讯显示单元100及/或该飞行器内的其它所定义的构件/***。该智能型视讯显示单元100的进一步操作描述于后。
虽然本文的该些实施例系主要描述于该机上娱乐***的内容,本发明并不限于该内容。反之,该些实施例可应用于其它类型的比划动作控制***,例如,可用于列车、汽车、巴士、家庭、邮轮、商用/军用运输机或其它环境中。另外,虽然多个实施例系描述使用二个相机102与104,本发明并不限于此。某些实施例可使用任何数量的相机。因此,例如图1所示的该相机102与104的其中一个可被移除或以一光源取代之。该光源可为一红外线光源,从而照明一面对该智能型视讯显示单元100的乘客,而不会对该乘客的双眼直射刺眼的可见光。
该一个或多个的相机可置于图1中所示位置之外的其它位置,例如该智能型视讯显示单元100的该机壳的一较上方部位或作为一单独的装置而放置,以检视一面对该智能型视讯显示单元100而坐的乘客的肢体。例如,图3显示一飞行器娱乐***的另一个智能型视讯显示单元200。该飞行器娱乐***具有一比划动作辨识接口,包括一单独的比划动作相机102与一红外线光源350,与该智能型视讯显示单元200相连接但为分别封装。
交通工具娱乐***与智能型视讯显示单元的范例
图8系一智能型视讯显示单元100的一方块图,该智能型视讯显示单元100为整合于一飞行器娱乐***800内并经设置而能够使一乘客使用比划动作控制多种致动器、与一空服员通讯面板通讯、以及控制一媒体服务器830。图3系一范例构件的方块图,根据部分实施例,该构件可包括于图1、图2及图3中的该智能型视讯显示单元100或另一个交通工具娱乐***中。
参照图8,虽然为简单起见仅绘示一个智能型视讯显示单元100与多个受控的致动器,应理解的是该飞行器娱乐***800中可包括任何数量的智能型视讯显示单元100以及受控的致动器。例如,可设置数个该智能型视讯显示单元100为椅背显示器,每个智能型视讯显示单元100整合于成排排列的数个乘客座椅中的不同座椅,而该数个智能型视讯显示单元100可各自被安排为面对坐在相邻排的不同乘客。
该智能型视讯显示单元100系通过一数据网络(例如,有线(例如以太)网络及/或无线局域网络)而通讯连接于一媒体服务器830、一空服员通讯面板812、以及各种致动器,该各种致动器可包括:一拉窗致动器802、一座椅后仰致动器804、一座椅按摩致动器806、一脚歇板致动器808以及一头顶灯控制器810。该媒体服务器830包含视讯及/或音频媒体(例如影片、电视节目、音乐、有声书、游戏等),可随选(on-demand)而传至一特定的智能型视讯显示单元100及/或对于数个智能型视讯显示单元100广播。该空服员通讯面板812可为一计算机接口,能接收由该智能型视讯显示单元100所传送的旅客讯息,并可对于一特定智能型视讯显示单元100传送讯息及/或对数个智能型视讯显示单元100广播讯息。
该拉窗(window shade)致动器802系经设置以开启及关闭(例如,调升或调降)一相邻于面向该智能型视讯显示单元100的该旅客座椅(例如,相邻于一飞行器内的一排座椅中的靠窗座椅)的一拉窗。该座椅后仰致动器804系经设置而调节一面向该智能型视讯显示单元100的乘客座椅的一后仰角度(例如,电动式后仰)。该座椅按摩致动器806内置于面对该智能型视讯显示单元100的该乘客座椅而对一坐下的乘客提供按摩动作。该脚歇板致动器808系经设置而移动连接于面对该智能型视讯显示单元100的该乘客座椅的一脚歇板。该头顶灯控制器810系经设置而控制面对该智能型视讯显示单元100的该乘客座椅的头顶灯(例如,一个或更多照明装置)的亮度。
参照图4,一范例智能型视讯显示单元100包括一处理器300、具有功能模块312的一个或多个内存装置310、该比划动作控制相机102与104、一显示装置320(例如一液晶显示器,其可包括一感应式触控接口(touch-sensitive interface))、一音频界面340、及/或可由一乘客(使用者)操控的一实体接口342(例如,切换开关、控制转轮、按钮、数字键盘、键盘等)而控制该智能型视讯显示单元100以及该飞行器或其它交通工具内的定义的构件/***。
该处理器300包括一个或多个数据处理电路,例如一个一般用途及/或特定用途处理器(例如、微处理器及/或数字讯号处理器)。该处理器300可包括,例如一一般目的的处理器,其经运作而管理并控制该智能型视讯显示单元100,以及一数字讯号处理器,其经运作而识别一个或更多个相机的该视讯讯号中所指出的比划动作。该处理器300系经组构而执行来自该内存装置310中的功能模块312的计算机程序指示,该内存装置在下列描述为一计算机可读取媒体,执行本说明书对于一个或多个实施例所述的部分或全部的方法与操作。
该处理器300可通过该网络接口330而接收音乐、视讯、游戏、数据以及应用程序,该处理器300处理上述项目以在该显示装置320上显示上述项目,及/或通过该音频接口340而输出为音频至例如一设于该乘客座椅的扶手上的耳机孔。该音乐、视讯、音乐、数据及应用程序可自一连接该媒体服务器830的网络而被接收,该媒体服务器830系经设置而响应于该处理器300所识别的该旅客通过定义比划动作而产生的随选需求。
该内存装置310可包含一定义比划动作与相关命令的数据库314。该多个比划动作可藉由一乘客移动一个单一物体或复数个物体(例如,手指、手、手臂、眼睛、嘴形等)所能够形成的形状而定义。该相机102与104响应于至少一个比划动作控制相机的视野中的至少一个物体所反射出的光,而产生一相机讯号。该处理器300可追踪该相机102与104的该相机讯号所指出的该至少一个物体的动作。
图9显示该处理器300使用该比划动作数据库314而识别比划动作的可执行的方法与操作的流程图。该处理器300追踪(方块900)该相机102与104所观测的一个或多个物体的动作。该处理器300尝试向该比划动作数据库314中的一个或多个不同的比划动作匹配(方块902)该追踪到的动作,而识别一对应的命令。当匹配识别出一符合该比划动作数据库314中的其中一个比划动作时,即识别(方块904)出该比划动作数据库314中的相关命令。该经识别的命令则会被执行(方块906)而控制该智能型视讯显示单元100及/或该飞行器内的其它所定义的构件/***。
虽然该比划动作控制相机102在图4中系显示为内置于该智能型视讯显示单元100,该相机102亦可单独装设而通讯连接于该智能型视讯显示单元100。一单独装设的比划动作控制相机102可包括一内部辅助处理器400,经设置而预分析该视讯讯号,举例而言识别该视讯讯号内的物体,以产生物***置信息供予该主处理器300可用于识别一旅客所做出的比划动作。该辅助处理器可另外经设置而追踪该视讯讯号内的一个或多个定义的物体,以产生该主要处理器300可用于识别一乘客所做出的比划动作的物体运动信息。该辅助处理器400可因此执行图9-13中所描述的一个以上的操作,而自该主要处理器300卸载至少部分该比划动作辨识的处理负担。
虽然描述多个实施例的内容系使用一对相机,但亦可使用单一相机或两个以上的相机。
控制操作以及相关比划动作的范例:
可经设计处理器300而识别的多个比划动作包括但不限于:一个或多个手指或手部在该显示装置320上所指的一位置、一个或多个手指或手部相对该显示装置320所做的定义角度的滑动运动、位于该智能型视讯显示单元100前方的二个或多个手指之间或一双手之间的距离变动、以及/或位于该智能型视讯显示单元100前方的二个或多个手指或手部的转动。
例如,该处理器300可藉由操作缩小及/或压缩显示在该显示装置320上的一个或多个项目,而响应于一手指捏合(例如,藉由一单指的弯曲及/或二或多个手指之间距离的缩减)的感测。该处理器300可藉由操作放大及/或解压缩显示在该显示装置320上的一个或多个项目,而响应于一手指伸展(例如,藉由一单指的伸直及/或二或多个手指之间距离的增加)的感测。感测一手部系为张开,可使该处理器300开启一选单项目(例如,显示相关于该选单项目的低一层的子选单项目),而感测一手部系为握紧,可使该处理器300关闭一选单项目(例如,显示包括有相关于该选单项目的一项目的较高一层选单)。
该处理器300还可采用脸部辨识运算而识别并响应于该乘客的脸部表情、单或双眼的动作、及/或嘴型(例如,感测嘴唇移动、识别唇部动作所形成的语词等)。
该处理器300可将多种其它命令与定义的比划动作相关联,并选择性地执行而控制该飞行器内的该智能型视讯显示单元100及其它定义的构件/***,该多种命令可包括但不限于下列命令:
1、在显示的选单项目之中进行选择;
2、在显示的影片或其它媒体节目中进行选择;
3、在应用程序中进行选择;
4、控制音频音量;
5、控制自该媒体服务器830对该智能型视讯显示单元100所串流的一选择的影片或其它媒体的播放、暂停、快转/倒转;
6、控制该智能型视讯显示单元100所执行的一游戏或其它应用程序;
7、控制座椅致动器功能(例如,座椅后仰角度、按摩致动器、脚歇板位置等);
8、控制拉窗的位置(例如开启/关闭拉窗);
9、控制该座椅的头顶灯;
10、控制乘客服务功能;
11、触发对空服员的请求/反应通讯;
12、感测沿一个以上轴线的物体动作,并将感测到的该动作作为一个控制输入项,而提供予藉由该处理器300及/或该交通工具内的另一个处理器所执行的一应用程序。
在某些实施例中,一乘客可藉由以一定义的方向,相对于该智能型视讯显示单元100滑动一手或手指,而以一对应的方向卷动一显示的选单项目清单。该乘客可藉由将一手指指向该显示装置320上的选单项目中的一个特定选单项目的对应位置,而选择该特定的显示的选单项目。该处理器300可移动显示在该显示装置320上的一光标,该光标会追踪该乘客所指的位置,并在该光标于一选单项目或其它可选择的对象上停驻一阈值的时间,或该乘客对该项目/对象执行一定义的比划动作时,得以选择该项目/对象。该乘客可从而藉由移动一手指而驾驭该光标到该想要的选单项目,然后藉由在该想要的选单项目上停驻至少一阈值的时间,或藉由移动该手指在该选单项目上画出一钩型标记、圆圈或其它定义的形状,而选择该想要的选单项目。
在某些实施例中,该处理器300系经设置以藉由观测一乘客的手、手臂、眼睛、嘴型或其它肢体动作,而识别一乘客的一活动程度或敏捷度。该处理器300可利用脸部辨识运算感测脸部表情,而判断该乘客的敏捷度及/或情绪。
图10及图11显示范例方法与操作的流程图,该方法与操作可被执行以判断一乘客的清醒度,及控制该智能型视讯显示单元100及/或一飞行工具或其它交通工具内的定义构件/***的多种操作。
参照图4及图10,该处理器300能够藉由追踪该乘客肢体的至少一部位的动作而识别(方块1000)该乘客的一清醒度。例如,该处理器可判断(方块1002)一乘客维持阖眼及/或维持手部/手臂/头部相对无运动至少一阈值的时间。对应于该判断,该处理器300能够在该乘客为睡眠中/休息中时,实行适当的睡眠操作。
该处理器300可替一朝向该显示装置320的乘客座椅关闭及/或调暗(方块1004)该头顶灯(图8中的810),而能够延长该头顶灯的寿命并避免打扰该睡眠中/休息中的乘客及/或邻座的乘客。该处理器300可附加地或另外地通过该空服员通讯面板812或其它通讯终端而通知(方块1006)一空服员该乘客正在睡眠/休息中。该处理300可附加地或另外地控制(方块1008)操作该拉窗致动器(图8中的802)关闭邻近该乘客座位的一拉窗,以助该乘客的睡眠/休息。
该处理器300藉由追踪该乘客肢体的至少一部位的动作,持续监控并识别(方块1010)该乘客的一清醒度。当该头顶灯在该睡眠操作前为开启时,对应于后续判断(方块1012)至少一阈值的动作,该处理器300可调亮(方块1014)该头顶灯(图8中的810)。该处理器300可附加地或另外地通过该空服员通讯面板812或其它通讯终端而通知(方块1016)一空服员该乘客为清醒/活动中。当该拉窗在该睡眠操作前为开启时,该处理300可附加地或另外地控制(方块1018)操作该拉窗致动器(图8中的802),将该拉窗开启更多。
参照图4及图11,在某些实施例中,该处理器300能够藉由追踪该乘客肢体的至少一部位的动作而识别(方块1100)该乘客的一清醒度。例如,该处理器可判断(方块1102)一乘客维持阖眼及/或维持手部/手臂/头部相对无运动至少一阈值的时间。对应于该判断,该处理器300能够在该乘客为睡眠中/休息中时,实行图11中的该另外或附加的适当操作。
该处理器300可关闭及/或调暗(方块1104)该显示装置320的背光,而能够延长该显示装置320的寿命并避免打扰该睡眠中/休息中的乘客及/或邻座的乘客。该处理器300可附加地或另外地暂停通过该显示装置320播放的一串流视讯,藉此能够避免该正在睡眠/休息中的乘客错过观赏该串流视讯的剩余部分,并避免打扰该正在睡眠/休息中的乘客及/或邻座的乘客。
该处理器300藉由追踪该乘客肢体的至少一部位的动作,持续监控并识别(方块1108)该乘客的一清醒度。对应于后续判断(方块1110)至少一阈值的动作,该处理器300可调亮(方块1112)该显示装置320的背光。该处理器300可附加地或另外地自先前暂停处继续播放通过该显示装置320播放的该串流视讯(自方块1106)。
相机操作的范例:
在某些实施例中,该相机会使用可见光谱的频率而感测物体,而该另一个相机104则会使用红外线光谱的频率感测对象。该处理器300将来自该可视相机102与红外线相机104的影像予以重迭,以产生一物体的三维图谱。
例如,该红外线相机104可包括一红外线发射器,朝向该乘客发出经调变的红外线光,而该处理器300可使用时差测距(time-of-flight)技术或结构光源(Structured-light)技术而判断与一物体的距离。
该时差测距技术依据已知的光速,藉由测量该相机与该相机视野内的物体之间的一光讯号的来回时差,而分辨距离。在一实施例中,该光源350a可经脉冲而照明该相机的视野,而藉由来自经照明的物体所反射的时差测距,指出与该些物体的距离。在另一实施例中,一窄带光源(例如,雷射)可经控制而逐点地扫描(例如:光栅扫描)该相机的视野,以感测每一个点的距离。
该结构光源技术会对该相机的视野投射一已知图案画素(例如,格点或水平/垂直横条),并观测该经反射的图案,而自该光源350a以外的视角识别出噪声。与该些物体的距离及该些物体的表面几何,可响应于自该反射图案中所观测到的噪声而被判断。
该处理器300可使用物体辨识运算,识别出该可视光相机102所看到的该些物体而识别出该坐着的乘客的手指、手部、脸部特征以及肢体。可藉由连结该些经识别的物体与该些经识别的物体的范围而产生该经识别物体的一三维图谱。该处理器300然后则可追踪特定多个物体的动作,例如:手指、手部以及/或脸部特征的动作。
因为一乘客在操作该智能型视讯显示单元100时系为坐着,对该处理器300而言可为特别有利,该处理器300可经设置以识别并追踪该乘客的肢体与该智能型视讯显示单元100之间的一相对较小的比划动作控制空间中的该些手指以及手部的细微动作,以及识别并追踪该乘客的定义的脸部特征的动作(例如,眼睛及/或嘴型的动作)。
再者,因为该乘客系为坐着,该处理器300可校准该处理器的运动感测操作,而取得该乘客的肢体与该智能型视讯显示单元100之间的一相对定义较佳的比划动作控制空间。据此,该处理器300响应于一乘客的入坐而可藉由执行一起始校准而识别与该人员的肢体(背景)的距离,并识别在该前景中的该些物体,例如该些手指/手部/手臂以及/或脸部的相对尺寸及距离。因为该座椅可后仰而更改该人员与该智能型视讯显示单元100的相对位置与角度,该处理器300可进一步经设置而在该人员的肢体(背景)向后/向前移动时进行感测,并藉由重复该校准而进行反应。在该人员坐着的位置改变时重复该校准能够改进该处理器300对该乘客的比划动作的感测准确度。
为促动该红外线相机104的操作,该智能型视讯显示单元100包括一个以上的红外线光源350a、b,经设置以照明该乘客比划动作控制空间而使该红外线相机104得以在一预期的照明状况范围而感测一乘客所实行的比划动作,举例而言,在夜间航班期间,一飞行器的座舱被调暗,并可按希望将头顶灯或其它可视光线调至最小以避免滋扰其它乘客的近乎完全黑暗的状况。可包括一环境照明传感器360,以在因低环境照明而需要该红外线照明时,触发该处理器300或其它电路切换该红外线光源350的开与关状态,及/或控制该红外线光源350对该环境照明传感器360所感测的环境照明亮度进行反应。
针对乱流影响而对乘客比划动作的补偿:
在一飞行器或其它交通工具的环境中,该乘客可能会经历振动或其它乱流,而造成手部伸展的移动相对地难以控制。在一飞行器经历乱流时,举例而言,一乘客可能无法稳定地指向该显示装置320上乘客所想要使该处理器300选择而操作的一选单项目,而且对该乘客而言,以所预期的方式准确地形成一控制比划动作运动(例如,水平滑动的运动)以控制该智能型视讯显示单元100,可能一样地困难。因此乱流可能会造成摇晃或其它不希望的人员手部、手臂等部位的动作,而会造成该处理器300误解该乘客所尝试做出的比划动作,从而对该智能型视讯显示单元100及/或该飞行器内的其它构件/***触发不想要的变动操作。
依据本发明的部分实施例,该智能型视讯显示单元100包括一加速度传感器370,感测该智能型视讯显示单元100的加速而输出一加速度讯号。该加速度传感器370可包括一单一加速计或数个加速计,经安排而测量相对于数条正交轴线的平移及/或转动加速。
该处理器300系经设置而补偿由该相机102与104所感测到的,形成一比划动作的运动形状,以减少或消除感测到的加速度对该感测到的比划动作的影响。在图12中描述的一个实施例中,该处理器300系经设置而响应于该加速度讯号在一定义期间的整合,而产生(方块1200)一速度补偿向量,并从该相机讯号中所识别出的该至少一个物体的同期地感测到的运动减去(方块1202)该速度补偿向量。
例如,当该处理器300识别出一手部运动主要系水平但亦包括一垂直的分量时,在该加速讯号指出该智能型视讯显示单元100(因此也包括该乘客)正经历垂直加速,而其具有造成手部的该垂直分量的一强度,则该处理器300可忽略该垂直分量。
该处理器300从而可使用该加速讯号而替一乘客的手指不稳进行补偿,该补偿系藉由,例如自该感测到的手指速度减去该速度补偿向量,而输出该显示装置320上的一相对稳定的位置,该位置系该使用者尝试使用手指而指定。相似地,该处理器300可藉由自观测到的该乘客手部的该运动减去该速度补偿向量而输出一比划动作形状更准确地对应于该乘客想作出的比划动作,而正确地解读该乘客的一比划动作。
在图13的实施例中,该处理器300可响应于指出至少一阈值的加速的该加速讯号,而识别出(方块1300)乱流的遭遇,并可增加(方块1302)该乘客所需移动一个以上物体而形成一该处理器300可识别的比划动作的距离。因此,若在该飞行器未遭遇乱流时,可藉由通过一条以上路径移动一物体经过一第一距离而形成一比划动作,以触发对该比划动作数据库314中的一比划动作进行匹配,则在该飞行器遭遇乱流时,将需要通过相似的一条以上路径移动该物体但经过一较远的距离才能形成该同一比划动作。在飞行器遭遇乱流时要求该乘客使用较大的运动,可在形成一比划动作时,减少乱流导致的该乘客手部或其它物体的摇晃的影响。
例如,没有乱流时一乘客可使用具有一第一半径的一圆圈比划动作而触发该比划动作数据库314匹配出一比划动作。相对地,有乱流时该乘客需要增加该圆圈的该半径至少一定义的距离,以触发该比划动作数据库314匹配出同一比划动作。
这些实施例中的一个或多个可在该乘客与该智能型视讯显示单元100遭遇乱流或其它加速源时,能够对该智能型视讯显示单元100进行更准确的基于比划动作的控制。
控制该乘客的比划动作控制空间
当该智能型视讯显示单元100使用在一飞行器环境中并安装在面向人员的椅背时,该人员实际上被限制在该人员的身体与该智能型视讯显示单元100之间的一相对狭窄的空间而作出控制比划动作。据此,藉由设置该智能型视讯显示单元100以忽略在该空间之外所产生的动作可提供特定的优势,以避免将下列动作误解为一有效的乘客比划动作指令:邻座乘客的动作、目标乘客背后的乘客、服务邻座乘客的一空服员及/或沿着邻近走道或横跨邻近排走动的乘客的动作。
相距分离的比划动作控制相机为朝向彼此而倾斜
图5显示该相机102与104的一方块图,该相机102与104以一横跨于该智能型视讯显示单元100的一正面的距离400而相距分离。该相机102与104系分别以角度402与404朝向彼此而倾斜,提供缩窄的重迭视野,分别为403与405。该处理器300系经连接以接收来自该相机102与104的影像,且系经设置以识别由一乘客在一比划动作控制空间410内所形成的控制比划动作,该比划动作控制空间410系位于该乘客与该智能型视讯显示单元100之间,并系由该相机102与104的经缩窄的重迭视野所定义。当执行操作与方法识别潜在的控制比划动作时,该处理器300可忽略仅在该相机102与104的其中一个视野内而非两者的重迭视野内所发生的动作。
因此,举例而言,当坐在该智能型视讯显示单元100前方的一第一乘客移动单手或双手而通过该智能型视讯显示单元100前方的比划动作控制空间410而做出一比划动作时,该相机102与104两者皆会观测该比划动作,而该处理器300会做出反应:测量该物体的深度、识别该物体、识别该物体的动作所形成的一比划动作。当该比划动作符合于该处理器300的已知的其中一个预定义的比划动作时,该处理器300会选择一对应的命令,并实行该命令以控制该智能型视讯显示单元100及/或该飞行器内的其它定义的构件/***。
相对地,当坐在该比划动作控制空间410左方的一第二乘客伸手拿取一桌板上的一饮料或作出另一个运动时,该相机104会观测该运动而同时该相对倾斜的相机102则不会观测该动作。因为仅有该相机104观测到该运动,则该处理器300会忽略该运动,而不尝试匹配该动作与该些预定义的比划动作。相似地,当一乘客沿着贴近该比划动作空间410的一走道走动时,该相机102会观测该运动而同时该相对倾斜的相机104则不会观测该运动,而该处理器300则会反应以忽略该运动。
该相机102与104之间的距离400系经选择以控制该比划动作控制空间410的大小为适于由坐在该智能型视讯显示单元100前方的一乘客所使用(例如,当该乘客系坐在与该智能型视讯显示单元100相距2至10英呎的距离)。该距离400系进一步经选择而限制该比划动作控制空间410的大小,以避免过度重迭于其它用于控制邻座的智能型视讯显示单元100的比划动作控制空间,并忽略沿着任何邻近的走道所产生的动作。因为该相机102与104系为朝向彼此而倾斜,该距离400可将该相机102与104定位于接近该智能型视讯显示单元100的相对两侧,然而该相机102与104仍可使用其它距离而相距,并对应调整该倾斜角度402与404而对于该比划动作控制空间410提供一希望大小。
相互向外倾斜的比划动作控制相机
图6显示该对相机102与104的一方块图,该成对的相机以一横跨于该智能型视讯显示单元100的一正面的距离500而彼此近接地相距。该相机102与104系分别以角度502与504而相互向外倾斜,提供经缩窄的重迭视野,分别为503与505。该处理器300系经连接以接收来自该相机102与104的影像,且系经设置以识别由一乘客在一比划动作控制空间510内所形成的控制比划动作,该比划动作控制空间510系位于该乘客与该智能型视讯显示单元100之间,并系由该相机102与104的经缩窄的重迭视野所定义。当执行操作与方法识别潜在的控制比划动作时,该处理器300可忽略仅在该相机102与104的其中一个视野内而非两者的重迭视野内所发生的动作。
该相机102与104之间的距离500系经选择以控制该比划动作控制空间510的大小为适于由坐在该智能型视讯显示单元100前方的一乘客所使用,同时亦限制该比划动作控制空间510的大小,以避免过度重迭于其它用于控制邻座的智能型视讯显示单元100的比划动作控制空间,并忽略沿着任何邻近的走道所产生的动作。因为该相机102与104系为相互向外而倾斜,该距离500应为较小,且远小于图5中朝向彼此倾斜的该相机102与104之间的距离300。举例而言,该距离500可将该相机102与104定位于彼此紧邻,或使该相机102与104相距于4英吋以内。该相机102与104之间可使用其它距离而相距,并对应调整该倾斜角度502与504而对于该比划动作控制空间510提供一希望大小。
因此,举例而言,当坐在该智能型视讯显示单元100前方的一第一乘客移动单手或双手而通过该智能型视讯显示单元100前方的比划动作控制空间510而做出一比划动作时,该相机102与104两者皆会观测该比划动作,而该处理器300会做出反应分析该比划动作。当该比划动作符合于该处理器300的已知的其中一个预定义的比划动作时,该处理器300会选择一对应的命令,并实行该命令以控制该智能型视讯显示单元100。
相对地,当坐在该比划动作控制空间510左方的一第二乘客伸手拿取一桌板上的一饮料或作出另一个运动时,该相机104会观测该运动而同时该相对倾斜的相机102则不会观测该运动。因为仅有该相机104观测到该运动,则该处理器300会忽略该运动,而不尝试匹配该运动与该些预定义的比划动作。相似地,当一乘客沿着贴近该比划动作空间510的一走道走动时,该相机102会观测该运动而同时该相对倾斜的相机104则不会观测该运动,而该处理器300则会反应以忽略该运动。
该处理器300亦会识别并操作而忽略该乘客的其它部位可能会在该乘客坐着时进入该相机102与104的视野的动作,例如该乘客的腹部、胸部以及膝部。
控制该控制相机的对焦深度
图7显示一成对的该比划动作控制相机102与104的方块图,该相机102与104系沿着该智能型视讯显示单元100的正面而组构,以提供部分重迭的视野,分别为603与605。该相机102与104的该焦点600的范围/深度系经控制而提供一乘客的比划动作控制空间610的一所要的大小。该处理器300可使用藉由该红外线相机104通过红外线摄影而取得的范围信息,而追踪位于该相机102与104的一阈值的距离之内的物体(前景物体),同时忽略该阈值距离之外的物体(背景物体)。
在另一实施例中,该焦点600的深度可藉由使用该相机102与104上的一个以上的镜头而控制,或使用限制一物体可被置于多远的距离,而该距离同时系以该相机102与104所输出的视讯影像的一锐利度阈值而定义(例如,物体边缘具有一阈值的锐利度、边缘不可模糊多于一定义的像素数量等)的其它技术而控制。
该处理器300系经连接而自该相机102与104接收视讯影像,并经组构而识别位于该比划动作控制空间610内的一乘客所做出的控制比划动作。该比划动作控制空间610系藉由该些重迭视野603与605所定义,并更由该相机102与104的焦点600的限制范围/深度内的焦点内物体的一范围所定义。在执行操作与方法以识别潜在控制比划动作时,该处理器300可忽略仅在该相机102与104中的其中一个而非两者的视野中所发生的动作,并更可忽略虽然位于该相机102与104两者的视野中,但与该相机102与104相距超越一阈值距离的物体动作。
因此,举例而言,当一坐在该智能型视讯显示单元100前方的第一乘客,藉由移动单手或双手通过该智能型视讯显示单元100前方的该比划动作控制空间610而做出一比划动作时,该相机102与104两者皆会观测该比划动作,该处理器300会判断做出该比划动作的物体是位于该焦点600的深度范围(例如,使用范围信息及/或锐利度的一阈值),而该处理器300则反应以分析该比划动作。当该比划动作符合该些预定义的比划动作其中一个,该处理器300会选择一对应的命令,实行该命令而控制智能型视讯显示单元100。
相对地,当一坐在该第一乘客后方的第二乘客横跨该相机102与104的视野而朝向/远离该走道移动时,该相机102与104两者皆会观测该运动。然而,该处理器300会判断该第二乘客系位于该焦点600的范围/深度之外,并反应以忽略该运动而不尝试向该些预定义的比划动作匹配该运动。相似地,当一乘客沿着邻近任一端的走道而走动且位于该相机102与104两者的视野中时,该处理器300会判断该乘客系位于该焦点600的范围/深度之外,并反应以忽略该运动。
其它定义及实施例
在上述本发明的多个实施例中,应理解的是本文所使用的术语系仅用于描述特定实施例,而非作为限制本发明的用途。若无另外定义,本文所使用的所有术语(包括技术性与科学性术语)皆具有本发明所属技术领域具有通常知识者所一般理解的相同意义。进一步应理解者,如一般使用的辞典中所定义的术语,应被解读为具有与其在本文语境及相关领域的意义一致的意义,而非以一典型化或过度正式的意义而在本文被解读。
当一组件被描述为“连接”、“耦合”、“响应于”其它节点,或相似的其它描述者,该组件为能够直接连接、耦合、响应于该其它组件或可存在中介的组件。相对地,当一组件被描述为“直接地连接”、“直接地耦合”、“直接地响应于”其它组件,或相似的其它描述者,则不存在中介的组件。相同的编号,一律表示相同的组件。此外,本文所使用“连接”、“耦合”、“响应于”或相似的其它描述者,可包括无线的连接、耦合或回应于。如本文所使用,单数型态“一”、“一个”以及“该”系包括复数形态,除非在文中另有明确说明。习知的功能或构造可能不会被详述,以利维持本文精简及/或清晰。所述“及/或”则包括该一或多个相关表列项目的任何以及所有组合。
如本文所使用“包含”、“包括”、“具有”或相似的其它描述者,系为开放性的,并包括一或多个所表述的特征、整体、组件、步骤、构件或功能,但并不排除加入或存在一或多个特征、整体、组件、步骤、构件或功能或其组合。
本文所述范例实施例参照于计算机实施的方法、装置(***及/或装置)及/或计算机程序产品的方块图及/或流程图。应理解的是,方块图及/或流程图中的方块以及方块图及/或流程图中的方块组合,可藉由计算机程序指令而实施,并以一个以上的计算机执行。该些计算机程序指令可提供予以一一般用途计算机电路、特殊用途计算机电路及/或其它可编程的数据处理电路的一处理器,而产生一机器,以使该些指令,通过该计算机的处理器及/或其它可编程数据处理装置而执行,转换并控制晶体管,储存数值于内存位置,以及其它此类电路中的硬件以实施该方块图及/或流程图中的方块所指定的该功能/动作,并从而建立技术(功能性)及/或结构用于实施该方块图及/或流程图中的方块所指定的该功能/动作。
该些计算机程序指令亦可被储存在一实体计算机可读取媒体,该媒体可操控一计算机或其它可编程数据处理装置以特定方式运作,已使储存在该计算机可读取媒体中的指令产生一制造物品包括实施该方块图及/或流程图中的方块所指定的该功能/动作的指令。
一实体、非瞬时的计算机可读取媒体可包括一电子、磁性、光学、电磁或半导体数据储存***、设备或装置。计算机可读取媒体的更具体范例可包括下列:一可携式计算机磁盘、一随机存取内存(RAM)回路、一只读存储器(ROM)回路、一可擦除只读存储器(EPROM或闪存)回路、一可携式只读光盘、以及一可携式数字视讯光盘只读存储器(DVD/BlueRay)。
该些计算机程序指令亦可被加载至一计算机及/或其它可编程数据处理设备,以使系列操作步骤执行于该计算机及/或其它可编程设备上,以产生一以计算机实施的方法,以使在该计算机或其它可编程设备上执行的该指令提供用于实施在方块图及/或流程图方块或方块中所指定的功能/运作的步骤。据此,本发明的实施例可在一处理器上例如一数字讯号处理器所执行的硬件及/或软件(包括韧体、常驻软件、微代码等)中实施,该硬件及/或软件可统称为“回路”、“一模块”或其它名称。
应注意的是,在部分另外的实施例中,该方块中所注明的该功能/动作的发生,可不同于该流程图中所注明的顺序。举例而言,连续显示的两个方块可实际上系实质同时地执行,或该些方块有时可以相反顺序而执行,视所包含的功能性/运作而定。此外,该流程图及/或方块图的一给定的方块的功能可被分割为复数个方块以及/或者,该多个流程图及/或多个方块图的两个以上方块的功能性可至少部分地整合。最后,其它方块可加入/***于所显示的多个方块之间。此外,虽然部分图标在通讯路径尚包括有箭头以显示通讯的一主要方向,应理解的是该通讯可以与该些描述箭头相反的方向而发生。
本文搭配上述说明与该些图示,揭示了多个实施例。应理解的是,巨细靡遗地描述该些实施例的组合及次组合将会流于赘述而混淆。缘此,本文包括该些图示,应被解读为用于构成一完整书面说明,说明多个实施例的多种范例组合与次组合,以及进行与使用该些组合的方式与方法,并应支持所有该种组合或次组合的请求项。
该些实施例可进行多种变动及修改,而不会实质地偏离本发明的原则。所有此类变动及修改在此皆预期被包括在本发明的范围中。

Claims (17)

1.一种交通工具娱乐***,其特征在于,包含:
一显示装置,
至少一个比划动作控制相机,经组构而产生一相机讯号,该相机讯号系响应于由一位在该至少一个比划动作控制相机的一视野中的至少一个物体所反射出的光,以及
一处理器,经组构而分析该相机讯号,以识别一乘客移动该至少一项物体所作出的一比划动作,以及响应于该经识别出的比划动作而控制该交通工具娱乐***的至少一个操作,
该处理器经设置为:
经由执行一初始校正而响应于该乘客为已入座于面对该显示装置的一座椅的一标示,以识别出相距于一人体的一距离,以及识别出在该人体与该比划动作控制相机之间的前景空间中的至少一对象的位置,以及
判断出何时该人体在保持坐着时为远离或朝向该比划动作控制相机而移动至少一阈值距离,并藉由执行一校正而回应于该判断结果以识别出与该人体的一距离,以及识别出在该人体与该比划动作控制相机之间的前景空间中的至少一个对象的位置。
2.如权利要求1所述的交通工具娱乐***,
还包含一比划动作数据库,该比划动作数据库为识别出数个不同的比划动作以及相关的命令,以及
其特征在于,该处理器系经组构为:
追踪该至少一个物体的动作;
将该经追踪出的动作匹配至该比划动作数据库中的该数个不同比划动作的其中一个;
识别出相关于该所匹配出的比划动作的命令;以及
执行该相关的命令,以控制该交通工具娱乐***的一操作。
3.如权利要求2所述的交通工具娱乐***,其特征在于,该处理器系经组构而存取该比划动作数据库,以识别并接续执行下列命中的其中一个而控制该交通工具娱乐***:
选择显示在该显示装置上的数个选单项目标记中的其中一个,使多个子选单项目的标记显示在该显示装置上;
选择显示在该显示装置上的数个影片标记中的其中一个,以在该显示装置上起始一相关影片的播放;
选择显示在该显示装置上的数个应用程序标记中的其中一个,以藉由该处理器起始的一相关应用程序的执行;
通过该交通工具娱乐***的一音频接口而控制音频音量;
控制该显示装置上的影片的播放、暂停、快转及/或倒转;以及/或
控制正由该处理器所执行的一游戏的操作。
4.如权利要求2所述的交通工具娱乐***,其特征在于,该处理器系经组构而存取该比划动作数据库,以识别并接续执行下列命令的其中一个:
控制一后仰致动器,以调节一面朝该显示装置的乘客座椅的一后仰角度;
控制内置于该乘客座椅的一按摩致动器;以及/或
控制一脚歇板致动器,以调节该乘客座椅的一脚歇板的一位置。
5.如权利要求2所述的交通工具娱乐***,其特征在于,该处理器系经组构而存取该比划动作数据库以识别并接续执行下列命令的其中一个:
控制一拉窗致动器的操作,以开启及关闭邻近于面向该显示装置的一乘客座椅的一拉窗;
控制该乘客座椅的头顶灯;
控制一飞行器内的乘客服务功能;以及/或
控制对于一飞行器的一空服员通讯面板及/或终端的请求及/或响应的通讯。
6.如权利要求2所述的该交通工具娱乐***,其特征在于,该处理器系经组构而存取该比划动作数据库,并藉由下列方式而识别数个不同的比划动作及相关指令:
判断一乘客的手指及/或手部在该显示装置上所指的一位置;
区别在对该显示装置所做的滑动运动之间该乘客的手指及/或手部的不同的定义角度;
识别出在该显示装置前方的二个以上手指之间或双手之间的距离的变动;以及/或
识别出在该显示装置前方的二个以上手指的旋转或手部的旋转。
7.如权利要求1所述的交通工具娱乐***,其特征在于,该处理器系经组构为:
以一经定义的方向而卷动显示在该显示装置上的一选单项目的清单,该卷动系回应于追踪一手部或手指以一对应的方向而对该显示装置滑动的动作;以及
选择该显示的选单项目中的其中一个,该选择系响应于侦测一手指指向于该显示装置上显示有选单项目的一位置。
8.如权利要求1所述的该交通工具娱乐***,其特征在于,该处理器系经组构为:
藉由追踪该乘客肢体的至少一部位的动作,而识别该乘客的一敏捷度;
当所追踪者小于一阈值的动作,则执行下列指令的其中一个作为响应而控制该交通工具娱乐***:
关闭及/或调暗面对该显示装置的一乘客座椅的头顶灯;
通知一空服员该乘客正在睡眠中;以及/或
控制一拉窗制动器的操作,以关上邻近该乘客座椅的一拉窗;以及
当所追踪者超过一阈值的动作则执行下列指令的其中一个作为响应而控制该交通工具娱乐***:
增加该头顶灯的亮度;
通知一空服员该乘客已清醒;以及/或
控制一拉窗制动器的操作,以打开该拉窗。
9.如权利要求1所述的该交通工具娱乐***,其特征在于,该处理器系经组构为:
藉由追踪该乘客肢体的至少一部位的动作,而识别该乘客的一敏捷度;
藉当所追踪者小于一阈值的动作,则执行下列指令的其中一个作为响应而控制该交通工具娱乐***:
关闭及/或调暗该显示装置的背光;及
暂停播放通过该显示装置而串流的一视讯;以及
当所追踪者超过一阈值的动作,则执行下列指令的其中一个作为响应而控制该交通工具娱乐***:
增加该显示装置的背光亮度;及
从一先前暂停位置,持续播放通过该显示装置而串流的一视讯。
10.如权利要求1所述的该交通工具娱乐***,其特征在于:
该至少一个比划动作控制相机包含一成对的比划动作控制相机,该成对的比划动作控制相机为相互间隔分离且经导引而在该显示装置的前方提供一经缩窄的重迭视野,以感测该乘客所移动的至少一项对象;
该比划动作控制相机的每一个均包括至少一镜头,该镜头经组构而将对焦的深度限制为自该比划动作控制相机的一定义距离,以建立一乘客比划动作控制空间,而在当识别该乘客所做的动作时,在该空间中的对象动作会由该处理器所感测,而在该空间以外的对象动作则不会由该处理器感测。
11.一种交通工具娱乐***,其特征在于,包含:
一显示装置,
至少一个比划动作控制相机,经组构而产生一相机讯号,该相机讯号响应于由一位在该至少一个比划动作控制相机的一视野中的至少一个物体所反射出的光,
一加速传感器,该加速传感器为输出一加速讯号,该加速讯号为标示该交通工具娱乐***的一加速程度;以及
一处理器,经组构而分析该至少一个比划动作控制相机个别产生的该相机讯号,以识别一乘客移动该至少一项物体所作出的一比划动作,以及响应于该经识别出的比划动作而控制该交通工具娱乐***的至少一个操作,
该处理器还进一步经组构响应于表示出具有至少一加速阈值的该加速讯号以识别出遭遇乱流,以及响应于为识别出有该遭遇乱流时,增加该乘客所需要移动的至少一个对象的移动距离以产生该处理器所识别的一比划动作而使用该加速讯号,以在识别该乘客所做的比划动作时,对于该乘客所移动的该至少一个物体至少部分地补偿该加速的影响。
12.如权利要求11所述的该交通工具娱乐***,其特征在于,该处理器还经组构为:
响应于在一定义期间的该加速讯号的整合而产生一速度补偿矢量;以及
将该相机讯号中所识别出的至少一个对象的一同期运动减去该速度补偿。
13.一种交通工具娱乐***,其特征在于,包含:
一显示装置,
至少一比划动作控制相机包含一成对的比划动作控制相机,经组构而个别产生一相机讯号,该相机讯号系响应于由一位在该至少一个比划动作控制相机的一视野中的至少一个物体所反射出的光,该成对的比划动作控制相机为相互间隔分离且朝向彼此而倾斜,以在该显示装置的前方提供一经缩窄的重迭视野,以在识别该乘客所做的一比划动作时,感测该乘客所移动的至少一项对象;以及
一处理器,经组构而分析该成对的比划动作控制相机个别产生的该相机讯号,以识别一乘客移动该至少一项物体所作出的一比划动作,以及响应于该经识别出的比划动作而控制该交通工具娱乐***的至少一个操作,
该处理器还进一步经组构而在识别该乘客所做的该比划动作时,忽略仅出现于该成对比划动作控制相机中的其中一个而非出现于该成对的比划动作控制相机的两者的视野的动作。
14.如权利要求13所述的该交通工具娱乐***,其特征在于:
该成对的比划动作控制相机系横跨包围该显示装置侧边表面一机壳的一面而相互水平间隔分离,且为设置于该显示装置的垂直中央线的等距离相反两侧。
15.一种交通工具娱乐***,其特征在于,包含:
一显示装置,
至少一个比划动作控制相机,该至少一个比划动作控制相机包含一成对的比划动作控制相机,经组构而产生一相机讯号,该相机讯号系响应于由一位在该至少一个比划动作控制相机的一视野中的至少一个物体所反射出的光,该成对的比划动作控制相机为相互间隔分离且相互向外倾斜,以在该显示装置的前方提供一经缩窄的重迭视野,以在识别该乘客所做的一比划动作时,感测该乘客所移动的至少一项对象;以及
一处理器,经组构而分析该成对的比划动作控制相机个别产生的该相机讯号,以识别一乘客移动该至少一项物体所作出的一比划动作,以及响应于该经识别出的比划动作而控制该交通工具娱乐***的至少一个操作,
该处理器进一步经组构而在识别该乘客所做的一比划动作时,忽略仅出现于该成对比划动作控制相机中的其中一个的视野的动作。
16.如权利要求15所述的该交通工具娱乐***,其特征在于:
该成对的比划动作控制相机系相互间隔分离小于4英吋,且为设置于该显示装置的垂直中央线的等距离相反两侧。
17.一种交通工具娱乐***,其特征在于,包含:
一显示装置,
至少一个比划动作控制相机,该至少一个比划动作控制相机包含一成对的比划动作控制相机,经组构而个别产生一相机讯号,该相机讯号系响应于由一位在该至少一个比划动作控制相机的一视野中的至少一个物体所反射出的光,该成对的比划动作控制相机为相互间隔分离;以及
一处理器,经组构而分析该成对的比划动作控制相机个别产生的该相机讯号,以识别一乘客移动该至少一项物体所作出的一比划动作,以及响应于该经识别出的比划动作而控制该交通工具娱乐***的至少一个操作,
该处理器进一步经组构而判断在该至少一项对象与该一成对的比划动作控制相机之间的距离,以在识别该乘客所做的一比划动作时,忽略仅出现于该一对比划动作控制相机中的其中一个而非出现于该成对的比划动作控制相机的两者的视野的动作,并在识别该乘客所做的一比划动作时,进一步忽略超越该比划动作控制相机的一阈值距离的对象动作,即使该对象动作位于该两个比划动作控制相机的该视野中。
CN201280043859.XA 2011-09-09 2012-09-06 响应于所感测出的乘客比划动作而执行交通工具娱乐***的控制 Active CN103842941B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201161532875P 2011-09-09 2011-09-09
US61/532,875 2011-09-09
PCT/US2012/053934 WO2013036621A1 (en) 2011-09-09 2012-09-06 Controlling vehicle entertainment systems responsive to sensed passenger gestures

Publications (2)

Publication Number Publication Date
CN103842941A CN103842941A (zh) 2014-06-04
CN103842941B true CN103842941B (zh) 2016-12-07

Family

ID=47829382

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201280043910.7A Active CN103782255B (zh) 2011-09-09 2012-09-06 交通工具娱乐***的眼动追踪控制
CN201280043859.XA Active CN103842941B (zh) 2011-09-09 2012-09-06 响应于所感测出的乘客比划动作而执行交通工具娱乐***的控制

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201280043910.7A Active CN103782255B (zh) 2011-09-09 2012-09-06 交通工具娱乐***的眼动追踪控制

Country Status (3)

Country Link
US (2) US9037354B2 (zh)
CN (2) CN103782255B (zh)
WO (2) WO2013036632A1 (zh)

Families Citing this family (140)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8121361B2 (en) 2006-05-19 2012-02-21 The Queen's Medical Center Motion tracking system for real time adaptive imaging and spectroscopy
US10146320B2 (en) * 2007-10-29 2018-12-04 The Boeing Company Aircraft having gesture-based control for an onboard passenger service unit
US9606209B2 (en) 2011-08-26 2017-03-28 Kineticor, Inc. Methods, systems, and devices for intra-scan motion correction
US8892792B2 (en) * 2011-09-12 2014-11-18 Intheairnet, Llc Distributed media system
WO2013058985A1 (en) 2011-10-17 2013-04-25 Kimmel Zebadiah M Method and apparatus for detecting deterioration of health status
US9817017B2 (en) 2011-10-17 2017-11-14 Atlas5D, Inc. Method and apparatus for monitoring individuals while protecting their privacy
US9341464B2 (en) 2011-10-17 2016-05-17 Atlas5D, Inc. Method and apparatus for sizing and fitting an individual for apparel, accessories, or prosthetics
US9628843B2 (en) * 2011-11-21 2017-04-18 Microsoft Technology Licensing, Llc Methods for controlling electronic devices using gestures
DE102012000201A1 (de) * 2012-01-09 2013-07-11 Daimler Ag Verfahren und Vorrichtung zum Bedienen von auf einer Anzeigeeinheit eines Fahrzeugs angezeigten Funktionen unter Verwendung von im dreidimensionalen Raum ausgeführten Gesten sowie betreffendes Computerprogrammprodukt
DE102012000274A1 (de) 2012-01-10 2013-07-11 Daimler Ag Verfahren und Vorrichtung zum Bedienen von Funktionen in einem Fahrzeug unter Verwendung von im dreidimensionalen Raum ausgeführten Gesten sowie betreffendes Computerprogrammprodukt
DE102012000263A1 (de) * 2012-01-10 2013-07-11 Daimler Ag Verfahren und Vorrichtung zum Bedienen von Funktionen in einem Fahrzeug unter Verwendung von im dreidimensionalen Raum ausgeführten Gesten sowie betreffendes Computerprogrammprodukt
US20150253428A1 (en) 2013-03-15 2015-09-10 Leap Motion, Inc. Determining positional information for an object in space
US11493998B2 (en) * 2012-01-17 2022-11-08 Ultrahaptics IP Two Limited Systems and methods for machine control
US9223404B1 (en) * 2012-01-27 2015-12-29 Amazon Technologies, Inc. Separating foreground and background objects in captured images
DE102012203457A1 (de) * 2012-03-05 2013-09-05 E.G.O. Elektro-Gerätebau GmbH Kamera-Modul zur Bediengestenerkennung und Haushaltsgerät
HK1160574A2 (en) * 2012-04-13 2012-07-13 King Hei Francis Kwong Secure electronic payment system and process
DE102012216193B4 (de) * 2012-09-12 2020-07-30 Continental Automotive Gmbh Verfahren und Vorrichtung zur Bedienung einer Kraftfahrzeugkomponente mittels Gesten
US9165535B2 (en) * 2012-09-27 2015-10-20 Google Inc. System and method for determining a zoom factor of content displayed on a display device
US9007301B1 (en) * 2012-10-11 2015-04-14 Google Inc. User interface
EP2728893B1 (en) * 2012-11-05 2020-04-22 Accenture Global Services Limited Controlling a data stream
US9626072B2 (en) 2012-11-07 2017-04-18 Honda Motor Co., Ltd. Eye gaze control system
JP6007377B2 (ja) * 2012-11-14 2016-10-12 ピーアンドダブリューソリューションズ株式会社 座席レイアウト表示装置、方法及びプログラム
TWI542970B (zh) * 2012-11-22 2016-07-21 鴻海精密工業股份有限公司 顯示器螢幕角度調整系統及方法
KR20140073730A (ko) * 2012-12-06 2014-06-17 엘지전자 주식회사 이동 단말기 및 이동 단말기 제어방법
US9717461B2 (en) 2013-01-24 2017-08-01 Kineticor, Inc. Systems, devices, and methods for tracking and compensating for patient motion during a medical imaging scan
US9305365B2 (en) 2013-01-24 2016-04-05 Kineticor, Inc. Systems, devices, and methods for tracking moving targets
US10327708B2 (en) 2013-01-24 2019-06-25 Kineticor, Inc. Systems, devices, and methods for tracking and compensating for patient motion during a medical imaging scan
US10222766B2 (en) 2013-01-31 2019-03-05 Bombardier Inc. System and method of operation of the system incorporating a graphical user interface on a mobile computing device for a member of a flight crew in a vehicle cabin
US9205914B1 (en) 2013-01-31 2015-12-08 Bombardier Inc. Distributed architecture for a system and a method of operation of the system incorporating a graphical user interface controlling functions in a vehicle cabin
US11021269B2 (en) 2013-01-31 2021-06-01 Bombardier Inc. System and method for representing a location of a fault in an aircraft cabin
US10452243B2 (en) 2013-01-31 2019-10-22 Bombardier Inc. System and method of operation of the system incorporating a graphical user interface in a side ledge of a vehicle cabin
US9650141B2 (en) 2013-01-31 2017-05-16 Bombardier Inc. System and a method of operation of the system incorporating a graphical user interface in a bulkhead of a vehicle cabin
US20140218528A1 (en) * 2013-02-01 2014-08-07 Honda Motor Co., Ltd. Three-Dimensional Sound Human Machine Interface, Navigation, And Warning Systems In A Vehicle
CN105392423B (zh) 2013-02-01 2018-08-17 凯内蒂科尔股份有限公司 生物医学成像中的实时适应性运动补偿的运动追踪***
US9785228B2 (en) * 2013-02-11 2017-10-10 Microsoft Technology Licensing, Llc Detecting natural user-input engagement
GB2511868B (en) 2013-03-15 2020-07-15 Tobii Ab Eye/gaze tracker and method of tracking the position of an eye and/or a gaze point of a subject
JP6207238B2 (ja) * 2013-05-31 2017-10-04 富士通テン株式会社 車両用装置、通信システム、及び、アプリケーションの実行方法
WO2014201347A1 (en) 2013-06-14 2014-12-18 Intercontinental Great Brands Llc Interactive video games
US10137363B2 (en) 2013-06-20 2018-11-27 Uday Parshionikar Gesture based user interfaces, apparatuses and control systems
US20150015478A1 (en) * 2013-07-11 2015-01-15 Samsung Display Co., Ltd. Ir emissive display facilitating remote eye tracking
US20160162039A1 (en) * 2013-07-21 2016-06-09 Pointgrab Ltd. Method and system for touchless activation of a device
KR102087967B1 (ko) 2013-07-30 2020-04-16 삼성디스플레이 주식회사 액정 표시 장치 및 그 구동 방법
US10345903B2 (en) * 2013-07-30 2019-07-09 Microsoft Technology Licensing, Llc Feedback for optic positioning in display devices
US10089786B2 (en) 2013-08-19 2018-10-02 Qualcomm Incorporated Automatic customization of graphical user interface for optical see-through head mounted display with user interaction tracking
EP2857276B1 (en) * 2013-08-20 2018-12-12 Harman International Industries, Incorporated Driver assistance system
TWI505135B (zh) * 2013-08-20 2015-10-21 Utechzone Co Ltd 顯示畫面的控制系統、輸入裝置及控制方法
US9807196B2 (en) 2013-09-17 2017-10-31 Toyota Motor Sales, U.S.A. Automated social network interaction system for a vehicle
US20150081133A1 (en) * 2013-09-17 2015-03-19 Toyota Motor Sales, U.S.A., Inc. Gesture-based system enabling children to control some vehicle functions in a vehicle
US9760698B2 (en) 2013-09-17 2017-09-12 Toyota Motor Sales, U.S.A., Inc. Integrated wearable article for interactive vehicle control system
US9400564B2 (en) 2013-09-17 2016-07-26 Toyota Motor Engineering & Manufacturing North America, Inc. Interactive vehicle window display system with a safe driving reminder system
US9902266B2 (en) 2013-09-17 2018-02-27 Toyota Motor Engineering & Manufacturing North America, Inc. Interactive vehicle window display system with personal convenience reminders
US9658688B2 (en) * 2013-10-15 2017-05-23 Microsoft Technology Licensing, Llc Automatic view adjustment
DE102013222645A1 (de) * 2013-11-07 2015-05-07 Robert Bosch Gmbh Erkennungssystem in einem Fahrzeug zur Erfassung der Sprachaktivität eines Fahrzeuginsassen
US9430046B2 (en) 2014-01-16 2016-08-30 Denso International America, Inc. Gesture based image capturing system for vehicle
US9558787B2 (en) 2014-01-29 2017-01-31 Google Inc. Media application backgrounding
US10004462B2 (en) 2014-03-24 2018-06-26 Kineticor, Inc. Systems, methods, and devices for removing prospective motion correction from medical imaging scans
US9524142B2 (en) * 2014-03-25 2016-12-20 Honeywell International Inc. System and method for providing, gesture control of audio information
US9342797B2 (en) 2014-04-03 2016-05-17 Honda Motor Co., Ltd. Systems and methods for the detection of implicit gestures
US10409382B2 (en) 2014-04-03 2019-09-10 Honda Motor Co., Ltd. Smart tutorial for gesture control system
US10466657B2 (en) 2014-04-03 2019-11-05 Honda Motor Co., Ltd. Systems and methods for global adaptation of an implicit gesture control system
US10936050B2 (en) 2014-06-16 2021-03-02 Honda Motor Co., Ltd. Systems and methods for user indication recognition
CN104111730B (zh) * 2014-07-07 2017-11-07 联想(北京)有限公司 一种控制方法及电子设备
RU2017105422A (ru) * 2014-07-22 2018-08-26 Навди Инк. Компактная система индикации на лобовом стекле
EP3188660A4 (en) 2014-07-23 2018-05-16 Kineticor, Inc. Systems, devices, and methods for tracking and compensating for patient motion during a medical imaging scan
US11256792B2 (en) 2014-08-28 2022-02-22 Facetec, Inc. Method and apparatus for creation and use of digital identification
US10614204B2 (en) 2014-08-28 2020-04-07 Facetec, Inc. Facial recognition authentication system including path parameters
CA3186147A1 (en) 2014-08-28 2016-02-28 Kevin Alan Tussy Facial recognition authentication system including path parameters
US10698995B2 (en) 2014-08-28 2020-06-30 Facetec, Inc. Method to verify identity using a previously collected biometric image/data
US10915618B2 (en) 2014-08-28 2021-02-09 Facetec, Inc. Method to add remotely collected biometric images / templates to a database record of personal information
US10803160B2 (en) 2014-08-28 2020-10-13 Facetec, Inc. Method to verify and identify blockchain with user question data
JP6507532B2 (ja) * 2014-09-05 2019-05-08 オムロンヘルスケア株式会社 動作情報測定装置、ゲーム制御プログラム、動作情報測定プログラム
US9946339B2 (en) * 2014-10-08 2018-04-17 Microsoft Technology Licensing, Llc Gaze tracking through eyewear
JP6330611B2 (ja) * 2014-10-09 2018-05-30 トヨタ車体株式会社 ウィンドウ表示装置
US10156906B2 (en) 2014-10-13 2018-12-18 Honda Motor Co., Ltd. Systems and methods for distinguishing gestures
US20160117081A1 (en) * 2014-10-27 2016-04-28 Thales Avionics, Inc. Controlling entertainment system using combination of inputs from proximity sensor and touch sensor of remote controller
DE102014118387A1 (de) * 2014-12-12 2016-06-16 Valeo Schalter Und Sensoren Gmbh Erfassungsvorrichtung zum Erkennen einer Geste und/oder einer Blickrichtung eines Insassen eines Kraftfahrzeugs durch synchrone Ansteuerung von Leuchteinheiten, Bedienanordnung, Kraftfahrzeug sowie Verfahren
JP6514889B2 (ja) * 2014-12-19 2019-05-15 任天堂株式会社 情報処理装置、情報処理プログラム、情報処理システム、および情報処理方法
US9563270B2 (en) * 2014-12-26 2017-02-07 Microsoft Technology Licensing, Llc Head-based targeting with pitch amplification
JP2016151798A (ja) * 2015-02-16 2016-08-22 ソニー株式会社 情報処理装置および方法、並びにプログラム
US10013756B2 (en) 2015-03-13 2018-07-03 Atlas5D, Inc. Methods and systems for measuring use of an assistive device for ambulation
US10425459B2 (en) 2015-03-27 2019-09-24 Intel Corporation Technologies for a seamless data streaming experience
US9788118B2 (en) 2015-03-27 2017-10-10 Thales Avionics, Inc. Spatial systems including eye tracking capabilities and related methods
WO2016162822A1 (en) * 2015-04-08 2016-10-13 Controlrad Systems Inc. Devices and methods for monitoring gaze
US10156908B2 (en) * 2015-04-15 2018-12-18 Sony Interactive Entertainment Inc. Pinch and hold gesture navigation on a head-mounted display
US9852355B2 (en) * 2015-04-21 2017-12-26 Thales Avionics, Inc. Facial analysis for vehicle entertainment system metrics
CN104950902B (zh) * 2015-06-10 2017-09-22 杨珊珊 多旋翼飞行器的控制方法及多旋翼飞行器
CN106331464B (zh) 2015-06-30 2019-10-15 北京智谷睿拓技术服务有限公司 拍摄控制方法、拍摄控制装置及用户设备
CN106293046B (zh) * 2015-06-30 2020-03-17 北京智谷睿拓技术服务有限公司 信息处理方法、信息处理装置及用户设备
CN106293045B (zh) * 2015-06-30 2019-09-10 北京智谷睿拓技术服务有限公司 显示控制方法、显示控制装置及用户设备
US9943247B2 (en) 2015-07-28 2018-04-17 The University Of Hawai'i Systems, devices, and methods for detecting false movements for motion correction during a medical imaging scan
US20170053175A1 (en) * 2015-08-17 2017-02-23 Facetec, Inc. System and method for validating three-dimensional objects
CN105078404B (zh) * 2015-09-02 2017-05-10 北京津发科技股份有限公司 基于激光算法的全自动眼动追踪测距定标仪及其使用方法
EP3380007A4 (en) 2015-11-23 2019-09-04 Kineticor, Inc. SYSTEMS, DEVICES, AND METHODS FOR MONITORING AND COMPENSATING A MOVEMENT OF A PATIENT DURING MEDICAL IMAGING SCAN
CN105677089A (zh) * 2015-12-31 2016-06-15 京东方科技集团股份有限公司 一种触控显示器、触控显示装置及其亮度调节方法
US11188143B2 (en) * 2016-01-04 2021-11-30 Microsoft Technology Licensing, Llc Three-dimensional object tracking to augment display area
US10712816B2 (en) * 2016-01-04 2020-07-14 Harman International Industries, Incorporated Off-axis gaze tracking in in-vehicle computing systems
US9864559B2 (en) * 2016-03-29 2018-01-09 Panasonic Avionics Corporation Virtual window display system
EP3229475A1 (en) * 2016-04-04 2017-10-11 Nigel Greig Ife system
USD987653S1 (en) 2016-04-26 2023-05-30 Facetec, Inc. Display screen or portion thereof with graphical user interface
KR101852675B1 (ko) 2016-05-25 2018-06-04 연세대학교 산학협력단 차량의 장치들을 제어하기 위한 장치 및 방법
JP6443393B2 (ja) * 2016-06-01 2018-12-26 トヨタ自動車株式会社 行動認識装置,学習装置,並びに方法およびプログラム
CN205657058U (zh) * 2016-06-03 2016-10-19 京东方科技集团股份有限公司 显示基板、显示面板
US10742878B2 (en) * 2016-06-21 2020-08-11 Symbol Technologies, Llc Stereo camera device with improved depth resolution
US11017901B2 (en) 2016-08-02 2021-05-25 Atlas5D, Inc. Systems and methods to identify persons and/or identify and quantify pain, fatigue, mood, and intent with protection of privacy
CN106200679B (zh) * 2016-09-21 2019-01-29 中国人民解放军国防科学技术大学 基于多模态自然交互的单操作员多无人机混合主动控制方法
CN106598218B (zh) * 2016-11-09 2019-07-02 广州酷狗计算机科技有限公司 一种音频播放的控制方法和装置
US10757451B2 (en) * 2017-02-16 2020-08-25 Thales Avionics, Inc. User centric service and content curation through in-flight entertainment system
DE102017103825B4 (de) 2017-02-24 2021-08-05 Dr. Schneider Kunststoffwerke Gmbh Vorrichtung zum Steuern eines Luftausströmers
JP6949135B6 (ja) 2017-03-24 2021-11-24 サフラン パッセンジャー イノベーションズ, エルエルシー 固定された画面を備える旋回内部表示ユニット
US20180335776A1 (en) * 2017-05-16 2018-11-22 GM Global Technology Operations LLC Systems and methods for selecting driving modes in autonomous vehicles
WO2018237172A1 (en) * 2017-06-21 2018-12-27 Quantum Interface, Llc SYSTEMS, APPARATUSES, INTERFACES AND METHODS FOR VIRTUAL CONTROL CONSTRUCTIONS, OCULAR MOTION OBJECT CONTROL DEVICES, AND VIRTUAL TRAINING
DE102017216837A1 (de) 2017-09-22 2019-03-28 Audi Ag Gestik- und Mimiksteuerung für ein Fahrzeug
DE102017009353A1 (de) * 2017-10-09 2019-04-11 Daimler Ag Varfahran zur Ansteuerung von Fahrzeugfunktion
CN108090446A (zh) * 2017-12-18 2018-05-29 大陆汽车投资(上海)有限公司 基于人脸识别的车辆智能响应方法
KR102041965B1 (ko) * 2017-12-26 2019-11-27 엘지전자 주식회사 차량에 구비된 디스플레이 장치
CN108062533A (zh) * 2017-12-28 2018-05-22 北京达佳互联信息技术有限公司 用户肢体动作的解析方法、***及移动终端
JP7155242B2 (ja) * 2018-03-14 2022-10-18 マクセル株式会社 携帯情報端末
US10449895B2 (en) * 2018-03-20 2019-10-22 Rockwell Collins, Inc. Object tracking illumination system
CN108694383B (zh) * 2018-05-14 2024-07-12 京东方科技集团股份有限公司 一种手势识别装置及其控制方法、显示装置
JP7146466B2 (ja) * 2018-06-12 2022-10-04 矢崎総業株式会社 車両制御システム
DE102018214976A1 (de) * 2018-09-04 2020-03-05 Robert Bosch Gmbh Verfahren zur Steuerung einer Multimedia-Einrichtung sowie Computerprogramm und Einrichtung dazu
DE102018133175A1 (de) * 2018-12-20 2020-06-25 Airbus Operations Gmbh Überwachungssystem für ein Flugzeug zur Kontrolle des sicheren Ladens von tragbaren elektrischen Geräten
US11287140B2 (en) 2019-01-04 2022-03-29 Whirlpool Corporation Cooking appliance with an imaging device
US11022322B2 (en) 2019-01-04 2021-06-01 Whirlpool Corporation Cooking appliance with an imaging device
CN111746796B (zh) * 2019-03-29 2024-04-26 B/E航空公司 提供用于交通工具乘客的姿态参考的装置和方法
US10948986B2 (en) 2019-04-09 2021-03-16 Fotonation Limited System for performing eye detection and/or tracking
US11046327B2 (en) 2019-04-09 2021-06-29 Fotonation Limited System for performing eye detection and/or tracking
US11365007B2 (en) * 2019-10-24 2022-06-21 Panasonic Avionics Corporation Systems and methods for providing a wake-up user interface for a night mode on transportation vehicles
US11615542B2 (en) * 2019-11-14 2023-03-28 Panasonic Avionics Corporation Automatic perspective correction for in-flight entertainment (IFE) monitors
US11729432B2 (en) * 2019-11-19 2023-08-15 Thales Avionics, Inc. Inflight entertainment system using video object recognition to monitor seat areas and generate flight crew notifications
US11254316B2 (en) * 2020-01-24 2022-02-22 Ford Global Technologies, Llc Driver distraction detection
US11144129B2 (en) * 2020-03-04 2021-10-12 Panasonic Avionics Corporation Depth sensing infrared input device and associated methods thereof
DE102020106021A1 (de) 2020-03-05 2021-09-09 Gestigon Gmbh Verfahren und system zum betreiben eines auswahlmenüs einer grafischen benutzeroberfläche basierend auf dem erfassen einer rotierenden freiraumgeste
EP4137914A4 (en) * 2020-04-30 2023-05-24 Huawei Technologies Co., Ltd. METHOD AND APPARATUS FOR IN-AIR GESTURE-BASED CONTROL, AND SYSTEM
US11617941B2 (en) * 2020-09-01 2023-04-04 GM Global Technology Operations LLC Environment interactive system providing augmented reality for in-vehicle infotainment and entertainment
US11509833B2 (en) 2021-03-04 2022-11-22 Ford Global Technologies, Llc Illumination control for vehicle sensors
US11907433B2 (en) * 2021-06-21 2024-02-20 Goodrich Corporation Gesture-based systems and methods for aircraft cabin light control
WO2023172253A1 (en) * 2022-03-08 2023-09-14 Viasat, Inc. Use of sensed passenger parameters for management and control of media in a transport craft
US20240085986A1 (en) * 2022-09-09 2024-03-14 Goodrich Lighting Systems, Inc. Gesture controlled interface for in-flight users
EP4336317A1 (en) * 2022-09-09 2024-03-13 Goodrich Lighting Systems, Inc. Gesture controlled interface for in-flight users

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102112945A (zh) * 2008-06-18 2011-06-29 奥布隆工业有限公司 用于交通工具接口的基于姿态的控制***

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5594469A (en) 1995-02-21 1997-01-14 Mitsubishi Electric Information Technology Center America Inc. Hand gesture machine control system
US5701058A (en) 1996-01-04 1997-12-23 Honeywell Inc. Method of semiautomatic ambient light sensor calibration in an automatic control system
US6373961B1 (en) 1996-03-26 2002-04-16 Eye Control Technologies, Inc. Eye controllable screen pointer
US6002808A (en) 1996-07-26 1999-12-14 Mitsubishi Electric Information Technology Center America, Inc. Hand gesture control system
US6152563A (en) * 1998-02-20 2000-11-28 Hutchinson; Thomas E. Eye gaze direction tracker
US7050606B2 (en) * 1999-08-10 2006-05-23 Cybernet Systems Corporation Tracking and gesture recognition system particularly suited to vehicular control applications
US7058204B2 (en) 2000-10-03 2006-06-06 Gesturetek, Inc. Multiple camera control system
US20030112508A1 (en) 2001-08-17 2003-06-19 Byoungyi Yoon Method and system for controlling space magnification for stereoscopic images
US7176899B2 (en) 2002-01-31 2007-02-13 Kabushiki Kaisha Tokai-Rika-Denki-Seisakusho Display screen operation device
SE524003C2 (sv) * 2002-11-21 2004-06-15 Tobii Technology Ab Förfarande och anläggning för att detektera och följa ett öga samt dess blickvinkel
EP1517549A3 (en) * 2003-08-27 2005-04-20 Matsushita Electric Industrial Co., Ltd. Video displaying system
US20080129707A1 (en) 2004-07-27 2008-06-05 Pryor Timothy R Method and apparatus employing multi-functional controls and displays
CH697450B1 (de) * 2004-11-11 2008-10-31 Hts High Technology Systems Ag Beleuchtungssteuerung.
US7608807B2 (en) * 2005-05-05 2009-10-27 Leviton Manufacturing Co., Inc. Closed loop daylight harvesting light control system having auto-calibration
US20070268246A1 (en) 2006-05-17 2007-11-22 Edward Craig Hyatt Electronic equipment with screen pan and zoom functions using motion
US7777718B2 (en) * 2006-12-06 2010-08-17 The Boeing Company Flight portal
WO2008078253A2 (en) * 2006-12-22 2008-07-03 Koninklijke Philips Electronics N.V. Device for controlling light sources
JP5228439B2 (ja) 2007-10-22 2013-07-03 三菱電機株式会社 操作入力装置
US20090109036A1 (en) * 2007-10-29 2009-04-30 The Boeing Company System and Method for Alternative Communication
US7878586B2 (en) * 2007-10-29 2011-02-01 The Boeing Company System and method for an anticipatory passenger cabin
EP2107446A1 (en) * 2008-04-04 2009-10-07 ETH Zurich System and a method for tracking input devices on LC-displays
GB2459707B (en) * 2008-05-01 2010-08-11 Sony Computer Entertainment Inc Media recorder, audio visual entertainment system and method
US7810926B2 (en) 2009-02-15 2010-10-12 International Business Machines Corporation Lateral gaze angle estimation using relative eye separation
WO2010141403A1 (en) 2009-06-01 2010-12-09 Dynavox Systems, Llc Separately portable device for implementing eye gaze control of a speech generation device
US9551590B2 (en) * 2009-08-28 2017-01-24 Robert Bosch Gmbh Gesture-based information and command entry for motor vehicle
US8547327B2 (en) 2009-10-07 2013-10-01 Qualcomm Incorporated Proximity object tracker
US20110099588A1 (en) 2009-10-23 2011-04-28 Commonwealth Intellectual Property Holdings, Inc. Systems and methods for in-flight resource management
US20110148930A1 (en) * 2009-12-18 2011-06-23 International Business Machines Corporation Automatic adjustment of a display parameter based on viewer distance

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102112945A (zh) * 2008-06-18 2011-06-29 奥布隆工业有限公司 用于交通工具接口的基于姿态的控制***

Also Published As

Publication number Publication date
US20130066526A1 (en) 2013-03-14
CN103842941A (zh) 2014-06-04
CN103782255A (zh) 2014-05-07
US20130063340A1 (en) 2013-03-14
US9037354B2 (en) 2015-05-19
WO2013036632A1 (en) 2013-03-14
WO2013036621A1 (en) 2013-03-14
CN103782255B (zh) 2016-09-28
US8928585B2 (en) 2015-01-06

Similar Documents

Publication Publication Date Title
CN103842941B (zh) 响应于所感测出的乘客比划动作而执行交通工具娱乐***的控制
CN103823556B (zh) 用于被凝视物品的信息显示的凝视交互
US12032803B2 (en) Devices, methods, and graphical user interfaces for interacting with three-dimensional environments
EP3140719B1 (en) Systems and methods for biomechanically-based eye signals for interacting with real and virtual objects
WO2022067083A2 (en) Devices, methods, and graphical user interfaces for interacting with three-dimensional environments
US20180129283A1 (en) Method for controlling device on the basis of eyeball motion, and device therefor
IL266888B2 (en) Virtual user input controls in a mixed reality environment
US9342610B2 (en) Portals: registered objects as virtualized, personalized displays
WO2021021328A2 (en) Predictive virtual training systems, apparatuses, interfaces, and methods for implementing same
CN111819522A (zh) 用于混合现实显示器中的虚拟内容的遮挡光标
US9035876B2 (en) Three-dimensional user interface session control
US20140237432A1 (en) Gesture-based user-interface with user-feedback
JP2014504413A (ja) 理解および意図に基づく拡張現実表示用コンテンツ
CN108604117A (zh) 基于运动的接口***和装置以及使用可定向激活属性或者属性控制对象制成和使用它们的方法
KR101606431B1 (ko) 상호작용 시스템 및 방법
US20240103712A1 (en) Devices, Methods, and Graphical User Interfaces For Interacting with Three-Dimensional Environments
US20230130770A1 (en) Method and a system for interacting with physical devices via an artificial-reality device
Clarke Dynamic motion coupling of body movement for input control

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant