CN105892691A - 代步工具的控制方法和控制装置、代步工具*** - Google Patents

代步工具的控制方法和控制装置、代步工具*** Download PDF

Info

Publication number
CN105892691A
CN105892691A CN201610398690.XA CN201610398690A CN105892691A CN 105892691 A CN105892691 A CN 105892691A CN 201610398690 A CN201610398690 A CN 201610398690A CN 105892691 A CN105892691 A CN 105892691A
Authority
CN
China
Prior art keywords
walking
replacing tool
action
eye
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201610398690.XA
Other languages
English (en)
Inventor
张忆非
袁佐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BOE Technology Group Co Ltd
Original Assignee
BOE Technology Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BOE Technology Group Co Ltd filed Critical BOE Technology Group Co Ltd
Priority to CN201610398690.XA priority Critical patent/CN105892691A/zh
Publication of CN105892691A publication Critical patent/CN105892691A/zh
Priority to PCT/CN2017/079448 priority patent/WO2017211114A1/en
Priority to US15/563,081 priority patent/US20190083335A1/en
Priority to JP2017550131A priority patent/JP2019530479A/ja
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18Eye characteristics, e.g. of the iris
    • G06V40/193Preprocessing; Feature extraction
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61GTRANSPORT, PERSONAL CONVEYANCES, OR ACCOMMODATION SPECIALLY ADAPTED FOR PATIENTS OR DISABLED PERSONS; OPERATING TABLES OR CHAIRS; CHAIRS FOR DENTISTRY; FUNERAL DEVICES
    • A61G5/00Chairs or personal conveyances specially adapted for patients or disabled persons, e.g. wheelchairs
    • A61G5/04Chairs or personal conveyances specially adapted for patients or disabled persons, e.g. wheelchairs motor-driven
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61GTRANSPORT, PERSONAL CONVEYANCES, OR ACCOMMODATION SPECIALLY ADAPTED FOR PATIENTS OR DISABLED PERSONS; OPERATING TABLES OR CHAIRS; CHAIRS FOR DENTISTRY; FUNERAL DEVICES
    • A61G5/00Chairs or personal conveyances specially adapted for patients or disabled persons, e.g. wheelchairs
    • A61G5/10Parts, details or accessories
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61GTRANSPORT, PERSONAL CONVEYANCES, OR ACCOMMODATION SPECIALLY ADAPTED FOR PATIENTS OR DISABLED PERSONS; OPERATING TABLES OR CHAIRS; CHAIRS FOR DENTISTRY; FUNERAL DEVICES
    • A61G5/00Chairs or personal conveyances specially adapted for patients or disabled persons, e.g. wheelchairs
    • A61G5/10Parts, details or accessories
    • A61G5/1051Arrangements for steering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61GTRANSPORT, PERSONAL CONVEYANCES, OR ACCOMMODATION SPECIALLY ADAPTED FOR PATIENTS OR DISABLED PERSONS; OPERATING TABLES OR CHAIRS; CHAIRS FOR DENTISTRY; FUNERAL DEVICES
    • A61G2203/00General characteristics of devices
    • A61G2203/10General characteristics of devices characterised by specific control means, e.g. for adjustment or steering
    • A61G2203/18General characteristics of devices characterised by specific control means, e.g. for adjustment or steering by patient's head, eyes, facial muscles or voice
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61GTRANSPORT, PERSONAL CONVEYANCES, OR ACCOMMODATION SPECIALLY ADAPTED FOR PATIENTS OR DISABLED PERSONS; OPERATING TABLES OR CHAIRS; CHAIRS FOR DENTISTRY; FUNERAL DEVICES
    • A61G2203/00General characteristics of devices
    • A61G2203/10General characteristics of devices characterised by specific control means, e.g. for adjustment or steering
    • A61G2203/20Displays or monitors
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61GTRANSPORT, PERSONAL CONVEYANCES, OR ACCOMMODATION SPECIALLY ADAPTED FOR PATIENTS OR DISABLED PERSONS; OPERATING TABLES OR CHAIRS; CHAIRS FOR DENTISTRY; FUNERAL DEVICES
    • A61G2203/00General characteristics of devices
    • A61G2203/30General characteristics of devices characterised by sensor means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01Indexing scheme relating to G06F3/01
    • G06F2203/011Emotion or mood input determined on the basis of sensed human body parameters such as pulse, heart rate or beat, temperature of skin, facial expressions, iris, voice pitch, brain activity patterns

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Ophthalmology & Optometry (AREA)
  • Multimedia (AREA)
  • Electric Propulsion And Braking For Vehicles (AREA)
  • Auxiliary Drives, Propulsion Controls, And Safety Devices (AREA)
  • Position Input By Displaying (AREA)
  • User Interface Of Digital Computer (AREA)
  • Rehabilitation Tools (AREA)

Abstract

本发明公开了一种代步工具控制方法和控制装置、代步工具***,涉及控制领域,能够无需使用腿、臂或手等身体部位的动作即可对代步工具进行操作,解决了现有代步工具对于肢体不便人士操作困难的问题。本发明的方法包括:代步工具控制装置,包括:摄像头,用于拍摄使用者的眼部图像;图像处理单元,与所述摄像头相连,用于接收所述摄像头拍摄的眼部图像,并从中识别出使用者的眼部动作;控制单元,用于根据识别出的所述眼部动作生成对应的用于控制代步工具运动的动作指令。

Description

代步工具的控制方法和控制装置、代步工具***
技术领域
本发明涉及控制领域,尤其涉及一种代步工具控制方法和控制装置、代步工具***。
背景技术
现有的轮椅,用户通常需要用手或脚推动,或者采用电力驱动并通过按压按键的方法来进行控制,这对于肢体不便的人士而言比较困难,例如渐冻症患者,既无法使用手脚,也无法发声,根本无法使用现有轮椅。因此,目前急需一种无需使用腿、臂或手等身体部位的动作即可进行操作的轮椅。
发明内容
本发明提供一种代步工具控制方法和控制装置、代步工具***,无需使用腿、臂或手等身体部位的动作即可进行操作,解决了现有代步工具对于肢体不便人士操作困难的问题。
为达到上述目的,本发明的实施例采用如下技术方案:
本发明的实施例提供一种代步工具控制装置,包括:摄像头,用于拍摄使用者的眼部图像;图像处理单元,与所述摄像头相连,用于接收所述摄像头拍摄的眼部图像,并从中识别出使用者的眼部动作;控制单元,用于根据识别出的所述眼部动作生成对应的用于控制代步工具运动的动作指令。
可选地,还包括:眼镜,所述摄像头集成在所述眼镜上。
优选地,所述摄像头集成在所述眼镜的镜片上。
可选地,所述图像处理单元包括:坐标确定子单元,用于利用人眼的眼白、虹膜和瞳孔之间的灰度值差异,从所述摄像头拍摄的眼部图像中识别出瞳孔并确定瞳孔坐标;动作确定子单元,用于将所述瞳孔坐标与各预设样片中的瞳孔坐标进行一一比对,判断所述瞳孔坐标与所述预设样片中的瞳孔坐标的差值是否在预设范围内,如果在预设范围内,则确定使用者做出了预设样片中的眼部动作,所述预设样片为预先拍摄的使用者的眼部动作图像。
可选地,所述的代步工具控制装置,还包括:动作准备单元,与所述图像处理单元相连,用于在所述图像处理单元识别出使用者的眼部动作,且通过所述图像处理单元接收使用者输入的本次眼控开始指令之后,判断代步工具的当前状态是否处于预设的动作准备状态,并在判断结果为否时,生成动作准备指令,所述动作准备指令用于指示所述代步工具从当前状态调整为动作准备状态,代步工具处于所述动作准备状态时,适合执行所述眼部动作对应的动作指令。
可选地,所述代步工具控制装置,还包括:提示单元,用于在所述图像处理单元识别出使用者的眼部动作之后,提示使用者是否执行所述眼部动作对应的动作指令;发送单元,用于在接收使用者的确认执行指令后,将所述动作指令发送至代步工具的电机驱动器。
可选地,所述代步工具控制装置,还包括:动作结束单元,用于接收使用者输入的本次眼控结束指令,并根据所述本次眼控结束指令生成用于指示所述代步工具停止并关闭所述发送单元的动作结束指令。
可选地,所述使用者的眼部动作包括:眨眼和向左、向右、向上、向下看。
可选地,所述代步工具控制装置,还包括:通信模块,用于将所述摄像头拍摄的眼部图像发送给所述图像处理单元。
本发明的实施例还提供一种代步工具***,包括:代步工具和任一项所述的代步工具控制装置,所述代步工具包括全方位轮、驱动所述全方位轮的驱动电机以及控制所述驱动电机的电机驱动器;所述代步工具控制装置的动作指令输出端与所述电机驱动器相连。
优选地,所述全方位轮为麦克纳姆轮。
进一步地,所述代步工具***还包括:停止按钮,用于接收输入的强行停止指令;安全控制板,与所述停止按钮和所述电机驱动器相连,用于在接收到所述强行停止指令时,向所述电机驱动器发送关闭所述驱动电机的指令。所述停止按钮可以设置在代步工具上,例如轮椅的扶手或者靠背上,也可以设置在其它方便操作的地方,本实施例不做限定。
本发明的实施例提供一种代步工具控制方法,包括:拍摄使用者的眼部图像;通过图像处理,从拍摄的眼部图像中识别出使用者的眼部动作;根据识别出的所述眼部动作生成对应的用于控制代步工具运动的动作指令。
可选地,所述通过图像处理,从拍摄的眼部图像中识别出使用者的眼部动作之后,所述根据识别出的所述眼部动作生成对应的用于控制代步工具运动的动作指令之前,还包括:接收使用者输入的本次眼控开始指令,并判断代步工具的当前状态是否处于预设的动作准备状态,并在判断结果为否时,生成动作准备指令,所述动作准备指令用于指示所述代步工具从当前状态调整为动作准备状态,代步工具处于所述动作准备状态时,适合执行所述眼部动作对应的动作指令。
可选地,所述根据识别出的所述眼部动作生成对应的用于控制代步工具运动的动作指令之后,还包括:提示使用者是否执行所述眼部动作对应的动作指令;待接收到使用者输入的确认执行指令后,将所述动作指令发送至代步工具的电机驱动器。
可选地,所述接收使用者的确认执行指令后,将所述动作指令发送至代步工具的电机驱动器之后,还包括:接收使用者输入的本次眼控结束指令,并根据所述本次眼控结束指令生成用于指示所述代步工具停止并停止向所述代步工具发送动作指令的动作结束指令。
本发明提供一种代步工具控制方法和控制装置、代步工具***,所述代步工具控制装置包括:摄像头、图像处理单元和控制单元,通过摄像头拍摄使用者的眼部图像,图像处理单元接收摄像头拍摄的眼部图像并从中识别出使用者的眼部动作,然后由控制单元根据识别出的眼部动作生成对应的用于控制代步工具运动的动作指令,可以由眼部动作控制操作代步工具,无需使用腿、臂或手等身体部位的动作,解决了现有代步工具对于肢体不便人士操作困难的问题。所述代步工具可以是轮椅等。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其它的附图。
图1为本发明实施例一提供的一种代步工具控制装置的结构框图;
图2为本发明实施例一中眼镜结构示意图;
图3为本发明实施例一中第一种实施方式提供的代步工具控制装置结构框图;
图4为本发明实施例一中预先拍摄的使用者直视前方时的眼部动作示意图;
图5为本发明实施例一中预先拍摄的使用者向左看的预设样片;
图6为本发明实施例一中第二种实施方式提供的代步工具控制装置结构框图;
图7为本发明实施例一中第三种实施方式提供的代步工具控制装置结构框图;
图8为本发明实施例一中第四种实施方式提供的代步工具控制装置结构框图;
图9为本发明实施例一中提供的一种代步工具***的结构框图;
图10为本发明实施例二中提供的一种轮椅***的结构示意图;
图11为本发明实施例二中提供的轮椅***的硬件连接示意图;
图12为本发明实施例二中提供的轮椅***的工作流程图;
图13为本发明实施例二中轮椅实现主要移动时各麦克纳姆轮配合运动的示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例,都属于本发明保护的范围。
实施例一
本发明的实施例提供一种代步工具控制装置,如图1所示,该代步工具控制装置包括:摄像头11,用于拍摄使用者的眼部图像;图像处理单元12,与摄像头11相连,用于接收摄像头11拍摄的眼部图像,并从中识别出使用者的眼部动作;控制单元13,用于根据识别出的眼部动作生成对应的用于控制代步工具运动的动作指令。
本实施例提供的代步工具控制装置,可以预设一些眼部动作并建立眼部动作与对代步工具操作的对应关系并存储,示例性地,以轮椅为例可以如下表所示:预设的使用者的眼部动作可以包括:眨眼和向左、向右、向上、向下看,并且,向左看对应的轮椅操作为轮椅左转,向右看对应的轮椅操作为轮椅右转,向上看对应轮椅前进,向下看对应轮椅后退,眨眼一次表示指令确认,连续眨眼两次表示轮椅停止,连续眨眼三次表示开始启动本次眼控操作等等。可以理解的是,使用者的眼部动作具体包括哪些眼部动作以及眼部动作与轮椅操作动作的对应关系不做具体限定,实际运用时可以根据实际情况进行设置。另外,可以在出厂前预设,也可以在使用时由用户进行自定义。本实施例所述代步工具不限于轮椅,还可以是平衡车、电动独轮车等。
眼睛动作 轮椅操作
向左看 左转
向右看 左转
向上看 前进
向下看 后退
眨眼1次 确认
眨眼2次 停止
眨眼3次 启动
以轮椅为例,上述控制装置具体工作时,使用摄像头11拍摄使用者的眼部图像,摄像头11拍摄的眼部图像通过有线或无线的方式传输给图像处理单元12,图像处理单元12通过图像处理从中识别出使用者的眼部动作,然后由控制单元13通过查询预设的眼部动作与轮椅操作动作的对应关系表,由此生成使轮椅产生对应动作的动作指令。例如,通过图像处理识别出使用者的眼部动作为向左看,则控制单元13生成指示轮椅左转的动作指令并传递给轮椅的动力机构,以实现轮椅的左转操作。
通过本实施例提供的代步工具控制装置,可以实现由眼部动作控制操作代步工具,无需使用腿、臂或手等身体部位的动作,解决了现有代步工具对于肢体不便人士操作困难的问题。
如图2所示,上述代步工具控制装置还可还包括:眼镜,上述的摄像头11集成在眼镜上,一方面便于使用者佩戴,另一方面还可以遮挡使用者对代步工具操作时的眼部动作,避免引起他人的好奇心及关注。一种优选实施方式如图2所示,将摄像头11集成在眼镜的镜片上,同时在眼镜上摄像头11旁边的位置集成通信模块(例如蓝牙无线模块111)以及电源模块(例如电池131),电源模块为摄像头11和通信模块提供电力,摄像头11拍摄的眼部图像通过通信模块发送给图像处理单元12。
如图3所示,在本实施例的第一种实施方式中,上述的图像处理单元12包括:坐标确定子单元121,用于利用人眼的眼白、虹膜和瞳孔之间的灰度值差异,从摄像头11拍摄的眼部图像中识别出瞳孔并确定瞳孔坐标;动作确定子单元122,用于将瞳孔坐标与各预设样片中的瞳孔坐标进行一一比对,判断瞳孔坐标与预设样片中的瞳孔坐标的差值是否在预设范围内,如果在预设范围内,则确定使用者做出了预设样片中的眼部动作,预设样片为预先拍摄的使用者的眼部动作图像。
通过图像处理识别出瞳孔并确定瞳孔坐标,对本领域的技术人员而言,一般比较容易实现,下面仅示例性地简单叙述:步骤一、摄像头11所拍摄的眼部图像主要是人眼的眼白、虹膜、瞳孔等部分,利用三者之间灰度值差异,实现瞳孔定位。为此,可以先利用最大类间方差法对图片进行分割,实现二值化,确定虹膜外边缘,随后,用灰度投影方法确定虹膜中心坐标,最后利用基于圆的霍夫变换以及最小二乘法确认瞳孔中心位置(确定出瞳孔坐标);步骤二、将步骤一确定出的瞳孔坐标与各预设样片中的瞳孔坐标进行一一比对,预设样片为使用者在首次使用时的调试阶段预先拍摄的眼部动作图像。
例如,如图4所示,为预先拍摄的使用者直视前方时的眼部动作,规定此时瞳孔坐标为坐标原点;图5为预先拍摄的使用者向左看的预设样片。当眼球向左转动,即向左看时,瞳孔相对位置由中心原点向左侧偏移,同理,当向右、上、下转动时,瞳孔位置也发生相应偏移,瞳孔颜色相对较深,步骤一中可以通过图像分析的方法准确识别出瞳孔在整个眼球中的位置。步骤二中将步骤一确定出的瞳孔坐标与预设样片一一比对,其中如果将步骤一确定出的瞳孔坐标与图5所示向左看的预设样片比对时,步骤一确定出的瞳孔坐标在图5中虚线所示的范围内,即认为步骤一确定出的瞳孔坐标与预设样片中的瞳孔坐标的差值在预设范围内,则使用者的眼部动作确定为向左看。
如图6所示,在本实施例的第二种实施方式中,所述代步工具控制装置,还包括动作准备单元14,与图像处理单元12相连,用于在图像处理单元12识别出使用者的眼部动作且通过图像处理单元12接收使用者输入的本次眼控开始指令之后,判断代步工具的当前状态是否处于预设的动作准备状态,并在判断结果为否时,生成动作准备指令,所述动作准备指令用于指示所述代步工具从当前状态调整为动作准备状态,代步工具处于动作准备状态时,适合执行上述眼部动作对应的动作指令。
对代步工具进行眼部动作所代表的操作动作前,需要确认代步工具的当前状态如何,是否适合进行该操作动作,如果不适合,需要现将代步工具当前状态进行调整,使之处于能够安全地进行该操作动作的动作准备状态,避免出现安全事故。动作准备状态预先设置,依据要执行的动作指令而不同。例如,以轮椅为例,如果轮椅当前处于较高速度的前进状态,操作者通过眼部动作指示轮椅左转,这时提示操作者“本次眼控是否开始?”,待操作者通过眼部动作(例如眨眼一次)输入本次眼控开始指令,通过摄像头11拍摄、图像处理单元12图像处理后,动作准备单元14接收到使用者输入的本次眼控开始指令,判断轮椅的当前状态速度过高,不适宜进行左转(即判断轮椅当前未处于动作准备状态),此时生成动作准备指令,动作准备指令指示轮椅降低速度或停止运动,为执行眼部动作所代表的轮椅左转指令做准备,避免高速左转引发事故。代步工具可实时反馈或记录前一动作执行结果,获得代步工具的当前状态,动作准备单元14如果判断代步工具的当前状态适合进行眼部动作所对应的动作指令,这时可不生成动作准备指令,直接进行下一步操作。代步工具的当前状态包括但不限于代步工具目前的行驶速度、前进方向以及代步工具各轮子的角度等。
如图7所示,在本实施例的第三种实施方式中,在上一实施方式的基础上还进一步包括:提示单元15,用于在图像处理单元12识别出使用者的眼部动作之后,提示使用者是否执行眼部动作对应的动作指令;发送单元16,用于在接收使用者的确认执行指令后,将动作指令发送至代步工具的电机驱动器。提示单元15可以采用语音、画面等提示方式,通过提示单元15进行提示,发送单元16接收到使用者的确认执行指令后,再将动作指令发送的方式,实现动作指令在发送前均可撤回,可以避免误操作,提高安全性。
如图8所示,在本实施例的第四种实施方式中,在上一实施方式的基础上还进一步包括:动作结束单元17,用于接收使用者输入的本次眼控结束指令,并根据本次眼控结束指令生成用于指示代步工具停止并关闭发送单元16的动作结束指令。在使用者输入本次眼控结束指令后,动作结束单元17指示代步工具停止并关闭发送单元16,可以防止误操作。
上述的本次眼控开始指令、确认执行指令以及本次眼控结束指令均可以通摄像头拍摄使用者的眼部图像,经图像处理单元进行图像识别而获得。
通过本实施例提供的代步工具控制装置,可以实现由眼部动作控制操作轮椅等代步工具,无需使用腿、臂或手等身体部位的动作,解决了现有代步工具对于肢体不便人士操作困难的问题;同时安全性有保证,并可防止误操作。
本发明的实施例还提供一种代步工具***,该代步工具***包括:代步工具和上述任一项所述的代步工具控制装置,代步工具以轮椅为例,如图9所示,轮椅20包括全方位轮23、驱动全方位轮23的驱动电机22以及控制驱动电机22的电机驱动器21;控制装置10的动作指令输出端与电机驱动器21相连,此处的相连控制装置10与电机驱动器21之间可以通信,包括有线和无线方式,例如无线方式可以通过无线适配器实现。本实施例提供的轮椅等代步工具***,可以实现眼部动作控制,无需使用腿、臂或手等身体部位的动作,解决了现有轮椅对于肢体不便人士操作困难的问题。
进一步地,上述代步工具还可包括:停止按钮,用于接收输入的强行停止指令;安全控制板,与停止按钮和电机驱动器21相连,用于在接收到强行停止指令时,向电机驱动器21发送关闭驱动电机的指令。乘坐者一般为肢体不便人士,如果出现意外情况需要停止代步工具,通过眼部动作操作比较慢,这时可以由看护者按下停止按钮进行紧急制动。
实施例二
本发明的实施例还提供一种代步工具控制方法,包括:步骤一、拍摄使用者的眼部图像;步骤二、通过图像处理,从拍摄的眼部图像中识别出使用者的眼部动作;步骤三、根据识别出的所述眼部动作生成对应的用于控制代步工具运动的动作指令。
本实施例提供的代步工具控制方法,拍摄眼部图像,然后通过图像处理从图像中识别出使用者的眼部动作并转化控制代步工具运动的动作指令,可以实现用眼部动作来控制操作代步工具,无需使用腿、臂或手等身体部位的动作,解决了现有轮椅对于肢体不便人士操作困难的问题。
进一步地,上述步骤三之前,还包括:接收使用者输入的本次眼控开始指令,并在接收本次眼控开始指令之后,判断代步工具的当前状态是否处于预设的动作准备状态,并在判断结果为否时,生成动作准备指令,所述动作准备指令用于指示代步工具从当前状态调整为动作准备状态,代步工具处于动作准备状态时,适合执行眼部动作对应的动作指令。动作准备指令指示代步工具降低速度或停止运动,为执行眼部动作所代表的代步工具左转指令做准备,避免高速左转引发事故。
步骤三之后,还可包括:步骤四、提示使用者是否执行眼部动作对应的动作指令;待接收到使用者输入的确认执行指令后,将动作指令发送至代步工具的电机驱动器。待使用者确认后,再将动作指令发送,在动作指令发送前均可撤回动作指令,可以避免误操作,提高安全性。
本实施例提供的代步工具控制方法还包括:步骤五、接收使用者输入的本次眼控结束指令,并根据所述本次眼控结束指令生成用于指示代步工具停止并停止向代步工具发送动作指令的动作结束指令。
为了本领域技术人员更好的理解本发明实施例提供的代步工具及其控制方法,下面通过具体的实施例对本发明提供的方案进行详细说明。
如图10和图11所示,本发明实施例提供一种轮椅***,轮椅***由眼镜18和轮椅组成,眼镜上集成了摄像头11和蓝牙无线模块111以及电池131,可实时拍摄并发送眼部图像,轮椅包括座椅24,安装在座椅24底部的全方位轮23(一般为四个)以及轮毂电机221、电机驱动器21,还包括设置在座椅24上的处理器19、存储器(图中未示出)和蓝牙无线模块111-2、语音提示模块151、电源模块以及空气开关等。轮椅可实时接收眼部图像并通过图像分析算法识别出眼部动作,同时处理器19根据眼部动作发出对应指令,控制全方位轮23转动调整方向,以及控制轮椅前、后移动以及其它动作。本领域技术人员可以理解的是,处理器19通过执行设定好的软件程序,可以实现实施例一中图像处理单元12、控制单元13、动作准备单元14和动作结束单元17的功能,以及发送单元部分16的部分功能。
示例性地,本实施例眼控轮椅根据眼部动作和轮椅操作的对应关系如实施例一中表1所示,表,眼睛向左、右、上、下看分别对应轮椅左、右、前、后移动,眨眼1、2、3次分别对应确定、停止、启动,支持自定义设置。
如此,如图12所示,本实施例轮椅***工作原理如下:用户佩戴集成了摄像头11的眼镜,启动后,摄像头11以每秒10次的速度(该速度可以人为设定)实时拍摄眼部图像,并通过蓝牙无线方式将图像发送到轮椅上的处理器19,处理器19实时处理图像并识别出眼部动作。用户控制轮椅前,需要连续眨眼3次以获取控制权限。当用户转动眼睛向左、或向右、或向上、或向下看1次时,***结合眼动识别结果和操作对应表,以语音方式给出是否向左、或向右、或向前、或向后移动的提示,用户再眨眼一次,进行确认,然后轮椅开始执行识别眼部动作对应的操作。持续直至用户需要停止时,连续眨眼两次即可该结束对轮椅的控制过程。
需要注意的是,针对同一动作指令,各全方位轮23最后的动作并不相同。
本实施例中的全方位轮23优选麦克纳姆轮(Mecanum轮)。麦克纳姆轮,又称万向轮,该轮在传统车轮的基础上,在轮缘上再沿与轴成α角(一般为45°)方向分布着许多可自由旋转的小辊子(即辊轮),这样在车轮(即中心轮)滚动时,小辊子就会产生侧向运动,通过轮椅的4个麦克纳姆轮的相互配合,使得***能够实现平面内的全方位移动,除此以外该轮组成的***具有承载能力强、结构简洁、运动控制灵活、通过性好等优点,适合在轮椅上安装。
如图13所示,以麦克纳姆轮为例,示出配备麦克纳姆轮的轮椅实现主要移动时,各轮配合运动的情况:前进时,各轮(轮椅的四个麦克纳姆轮)均向前转动;后退时,各轮均向后转动;右行时,前左轮和后右轮向前转动,同时前右轮和后左轮向后转动;左行时,前左轮和后右轮向后转动,同时前右轮和后左轮向前转动;顺时针转动时,前左轮和后左轮向前转动,同时前右轮和后右轮向后转动;逆时针转动时,前左轮和后左轮向后转动,同时前右轮和后右轮向前转动;向右前方行进时,前左轮和后右轮向前转动,同时前右轮和后左轮不转动;向左前方行进时,前右轮和后左轮向前转动,同时前左轮和后右轮不转动。上述各轮的向前、向后转动情况均指对应麦克纳姆轮的中心轮转动方向。
麦克纳姆轮的辊轮可各自独立的进行转动,在麦克纳姆轮转动时,合速度为垂直于辊子方向,并可将其分解为前进、横行两个方向。下面以右行运动为例进行简单介绍,图13右行图中轮子旁边的箭头方向分别代表各麦克纳姆轮转动方向(更具体为麦克纳姆轮的中心轮转动方向),对各轮按前进和横行两个方向为基础做速度分解,可以发现,前进方向的速度被抵消,仅剩横向(右侧)速度,因此,该车体可以实现向右侧的运动。这是本领域的公知常识,不再一一详述。
本实施例提供的轮椅通过监测和识别眼部动作(包括眨眼和眼球移动),实现对轮椅的控制;轮椅采用了全方位轮,通过特定的眼球动作,通过各个轮之间的运动配合,实现轮椅在转弯半径为零的情况下,实现对轮椅运动方向的控制,具体控制原理为:利用拍摄建立的样本(即预设样片)与用户实时眼部运动做比对,通过对比瞳孔中心坐标变化,语音提示用户是否会采取该动作,用户确认后,再由处理器发出指令,经由电机驱动器,分别控制各电机运动,从而控制各全方位轮相互配合,实现眼部动作所对应的动作操作。本实施例中,眼球的左、右、上、下转动可分别对应轮椅的左、右、前、后移动,同时为避免眼球无意转动的干扰,还通过眨眼来确认有效动作。
在本发明实施例中,各步骤的序号并不能用于限定各步骤的先后顺序,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,对各步骤的先后变化也在本发明的保护范围之内。
本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于设备实施例而言,由于其基本相似于方法实施例,所以描述得比较简单,相关之处参见方法实施例的部分说明即可。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的程序可存储于一计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory,ROM)或随机存储记忆体(Random Access Memory,RAM)等。
以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到的变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应该以权利要求的保护范围为准。

Claims (16)

1.一种代步工具控制装置,其特征在于,包括:
摄像头,用于拍摄使用者的眼部图像;
图像处理单元,与所述摄像头相连,用于接收所述摄像头拍摄的眼部图像,并从中识别出使用者的眼部动作;
控制单元,与所述图像处理单元相连,用于根据识别出的所述眼部动作生成对应的用于控制代步工具运动的动作指令。
2.根据权利要求1所述的代步工具控制装置,其特征在于,还包括:眼镜,所述摄像头集成在所述眼镜上。
3.根据权利要求2所述的代步工具控制装置,其特征在于,所述摄像头集成在所述眼镜的镜片上。
4.根据权利要求1所述的代步工具控制装置,其特征在于,所述图像处理单元包括:
坐标确定子单元,用于利用人眼的眼白、虹膜和瞳孔之间的灰度值差异,从所述摄像头拍摄的眼部图像中识别出瞳孔并确定瞳孔坐标;
动作确定子单元,用于将所述瞳孔坐标与各预设样片中的瞳孔坐标进行一一比对,判断所述瞳孔坐标与所述预设样片中的瞳孔坐标的差值是否在预设范围内,如果在预设范围内,则确定使用者做出了预设样片中的眼部动作,所述预设样片为预先拍摄的使用者的眼部动作图像。
5.根据权利要求1-4任一项所述的代步工具控制装置,其特征在于,还包括:
动作准备单元,与所述图像处理单元相连,用于在所述图像处理单元识别出使用者的眼部动作,且通过所述图像处理单元接收使用者输入的本次眼控开始指令之后,判断代步工具的当前状态是否处于预设的动作准备状态,并在判断结果为否时,生成动作准备指令,所述动作准备指令用于指示所述代步工具从当前状态调整为动作准备状态,代步工具处于所述动作准备状态时,适合执行所述眼部动作对应的动作指令。
6.根据权利要求1-4任一项所述的代步工具控制装置,其特征在于,还包括:
提示单元,用于在所述图像处理单元识别出使用者的眼部动作之后,提示使用者是否执行所述眼部动作对应的动作指令;
发送单元,用于在接收使用者的确认执行指令后,将所述动作指令发送至代步工具的电机驱动器。
7.根据权利要求6所述的代步工具控制装置,其特征在于,还包括:
动作结束单元,用于接收使用者输入的本次眼控结束指令,并根据所述本次眼控结束指令生成用于指示所述代步工具停止并关闭所述发送单元的动作结束指令。
8.根据权利要求1所述的代步工具控制装置,其特征在于,所述使用者的眼部动作包括:眨眼和向左、向右、向上、向下看。
9.根据权利要求1所述的代步工具控制装置,其特征在于,还包括:通信模块,用于将所述摄像头拍摄的眼部图像发送给所述图像处理单元。
10.一种代步工具***,其特征在于,包括:代步工具和权利要求1-9任一项所述的代步工具控制装置,所述代步工具包括全方位轮、驱动所述全方位轮的驱动电机以及控制所述驱动电机的电机驱动器;
所述代步工具控制装置的动作指令输出端与所述电机驱动器相连。
11.根据权利要求10所述的代步工具***,其特征在于,所述全方位轮为麦克纳姆轮。
12.根据权利要求10或11所述的代步工具***,其特征在于,还包括:
停止按钮,用于接收输入的强行停止指令;
安全控制板,与所述停止按钮和所述电机驱动器相连,用于在接收到所述强行停止指令时,向所述电机驱动器发送关闭所述驱动电机的指令。
13.一种代步工具控制方法,其特征在于,包括:
拍摄使用者的眼部图像;
通过图像处理,从拍摄的眼部图像中识别出使用者的眼部动作;
根据识别出的所述眼部动作生成对应的用于控制代步工具运动的动作指令。
14.根据权利要求13所述的控制方法,其特征在于,所述通过图像处理,从拍摄的眼部图像中识别出使用者的眼部动作之后,所述根据识别出的所述眼部动作生成对应的用于控制代步工具运动的动作指令之前,还包括:
接收使用者输入的本次眼控开始指令,并在接收所述本次眼控开始指令之后,判断代步工具的当前状态是否处于预设的动作准备状态,并在判断结果为否时,生成动作准备指令,所述动作准备指令用于指示所述代步工具从当前状态调整为动作准备状态,代步工具处于所述动作准备状态时,适合执行所述眼部动作对应的动作指令。
15.根据权利要求13或14所述的控制方法,其特征在于,所述根据识别出的所述眼部动作生成对应的用于控制代步工具运动的动作指令之后,还包括:
提示使用者是否执行所述眼部动作对应的动作指令;
待接收到使用者输入的确认执行指令后,将所述动作指令发送至代步工具的电机驱动器。
16.根据权利要求15所述的控制方法,其特征在于,所述接收使用者的确认执行指令后,将所述动作指令发送至代步工具的电机驱动器之后,还包括:
接收使用者输入的本次眼控结束指令,并根据所述本次眼控结束指令生成用于指示所述代步工具停止并停止向所述代步工具发送动作指令的动作结束指令。
CN201610398690.XA 2016-06-07 2016-06-07 代步工具的控制方法和控制装置、代步工具*** Pending CN105892691A (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201610398690.XA CN105892691A (zh) 2016-06-07 2016-06-07 代步工具的控制方法和控制装置、代步工具***
PCT/CN2017/079448 WO2017211114A1 (en) 2016-06-07 2017-04-05 Travel tool control method, device and system
US15/563,081 US20190083335A1 (en) 2016-06-07 2017-04-05 Travel tool control method, device and system
JP2017550131A JP2019530479A (ja) 2016-06-07 2017-04-05 移動補助具制御方法、機器及びシステム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610398690.XA CN105892691A (zh) 2016-06-07 2016-06-07 代步工具的控制方法和控制装置、代步工具***

Publications (1)

Publication Number Publication Date
CN105892691A true CN105892691A (zh) 2016-08-24

Family

ID=56711579

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610398690.XA Pending CN105892691A (zh) 2016-06-07 2016-06-07 代步工具的控制方法和控制装置、代步工具***

Country Status (4)

Country Link
US (1) US20190083335A1 (zh)
JP (1) JP2019530479A (zh)
CN (1) CN105892691A (zh)
WO (1) WO2017211114A1 (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106774841A (zh) * 2016-11-23 2017-05-31 上海擎感智能科技有限公司 智能眼镜及其唤醒方法、唤醒装置
CN107007407A (zh) * 2017-04-12 2017-08-04 华南理工大学 基于眼电的轮椅控制***
WO2017211114A1 (en) * 2016-06-07 2017-12-14 Boe Technology Group Co., Ltd. Travel tool control method, device and system
CN108189787A (zh) * 2017-12-12 2018-06-22 北京汽车集团有限公司 控制车辆座椅的方法和装置、存储介质和车辆
CN108652851A (zh) * 2018-01-19 2018-10-16 西安电子科技大学 基于视觉定位技术的眼控轮椅控制方法
CN113520740A (zh) * 2020-04-13 2021-10-22 广东博方众济医疗科技有限公司 轮椅床的控制方法、装置、电子设备及存储介质
WO2022076745A1 (en) * 2020-10-07 2022-04-14 Beavers Jay Curtis Systems, methods, and techniques for eye gaze control of seat and bed positioning

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112513886B (zh) * 2018-08-03 2024-03-22 索尼公司 信息处理方法、信息处理装置和信息处理程序
JP7293039B2 (ja) * 2019-08-16 2023-06-19 キヤノン株式会社 撮像装置およびその制御方法
US10860098B1 (en) 2019-12-30 2020-12-08 Hulu, LLC Gesture-based eye tracking
JP2022171084A (ja) * 2021-04-30 2022-11-11 キヤノン株式会社 撮像装置及びその制御方法、並びにプログラム

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101344919A (zh) * 2008-08-05 2009-01-14 华南理工大学 视线跟踪方法及应用该方法的残疾人辅助***
CN102749991A (zh) * 2012-04-12 2012-10-24 广东百泰科技有限公司 一种适用于人机交互的非接触式自由空间视线跟踪方法
CN102811308A (zh) * 2011-05-31 2012-12-05 德尔福电子(苏州)有限公司 一种车载眼动控制***
CN103838378A (zh) * 2014-03-13 2014-06-04 广东石油化工学院 一种基于瞳孔识别定位的头戴式眼睛操控***
CN104850228A (zh) * 2015-05-14 2015-08-19 上海交通大学 基于移动终端的锁定眼球的注视区域的方法

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4207959A (en) * 1978-06-02 1980-06-17 New York University Wheelchair mounted control apparatus
US6842692B2 (en) * 2002-07-02 2005-01-11 The United States Of America As Represented By The Department Of Veterans Affairs Computer-controlled power wheelchair navigation system
US6842670B2 (en) * 2003-05-02 2005-01-11 Chung Shan Institute Of Science And Technology Eye-tracking driving system
CN100373397C (zh) * 2006-07-11 2008-03-05 电子科技大学 一种虹膜图像预处理方法
US7970179B2 (en) * 2006-09-25 2011-06-28 Identix Incorporated Iris data extraction
KR20120029228A (ko) * 2010-09-16 2012-03-26 엘지전자 주식회사 투명 디스플레이 장치 및 객체 정보 제공 방법
US9135508B2 (en) * 2011-12-20 2015-09-15 Microsoft Technology Licensing, Llc. Enhanced user eye gaze estimation
TW201344502A (zh) * 2012-04-20 2013-11-01 Utechzone Co Ltd 耳戴式眼控裝置
TWI471808B (zh) * 2012-07-20 2015-02-01 Pixart Imaging Inc 瞳孔偵測裝置
US20150139486A1 (en) * 2013-11-21 2015-05-21 Ziad Ali Hassan Darawi Electronic eyeglasses and method of manufacture thereto
US10921896B2 (en) * 2015-03-16 2021-02-16 Facebook Technologies, Llc Device interaction in augmented reality
CN204863717U (zh) * 2015-06-03 2015-12-16 西安电子科技大学 一种利用眼球追踪控制的轮椅
CN205721637U (zh) * 2016-06-07 2016-11-23 京东方科技集团股份有限公司 代步工具***
CN105892691A (zh) * 2016-06-07 2016-08-24 京东方科技集团股份有限公司 代步工具的控制方法和控制装置、代步工具***

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101344919A (zh) * 2008-08-05 2009-01-14 华南理工大学 视线跟踪方法及应用该方法的残疾人辅助***
CN102811308A (zh) * 2011-05-31 2012-12-05 德尔福电子(苏州)有限公司 一种车载眼动控制***
CN102749991A (zh) * 2012-04-12 2012-10-24 广东百泰科技有限公司 一种适用于人机交互的非接触式自由空间视线跟踪方法
CN103838378A (zh) * 2014-03-13 2014-06-04 广东石油化工学院 一种基于瞳孔识别定位的头戴式眼睛操控***
CN104850228A (zh) * 2015-05-14 2015-08-19 上海交通大学 基于移动终端的锁定眼球的注视区域的方法

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017211114A1 (en) * 2016-06-07 2017-12-14 Boe Technology Group Co., Ltd. Travel tool control method, device and system
CN106774841A (zh) * 2016-11-23 2017-05-31 上海擎感智能科技有限公司 智能眼镜及其唤醒方法、唤醒装置
CN106774841B (zh) * 2016-11-23 2020-12-18 上海擎感智能科技有限公司 智能眼镜及其唤醒方法、唤醒装置
CN107007407A (zh) * 2017-04-12 2017-08-04 华南理工大学 基于眼电的轮椅控制***
CN107007407B (zh) * 2017-04-12 2018-09-18 华南理工大学 基于眼电的轮椅控制***
CN108189787A (zh) * 2017-12-12 2018-06-22 北京汽车集团有限公司 控制车辆座椅的方法和装置、存储介质和车辆
CN108189787B (zh) * 2017-12-12 2020-04-28 北京汽车集团有限公司 控制车辆座椅的方法和装置、存储介质和车辆
CN108652851A (zh) * 2018-01-19 2018-10-16 西安电子科技大学 基于视觉定位技术的眼控轮椅控制方法
CN108652851B (zh) * 2018-01-19 2023-06-30 西安电子科技大学 基于视觉定位技术的眼控轮椅控制方法
CN113520740A (zh) * 2020-04-13 2021-10-22 广东博方众济医疗科技有限公司 轮椅床的控制方法、装置、电子设备及存储介质
WO2022076745A1 (en) * 2020-10-07 2022-04-14 Beavers Jay Curtis Systems, methods, and techniques for eye gaze control of seat and bed positioning

Also Published As

Publication number Publication date
US20190083335A1 (en) 2019-03-21
JP2019530479A (ja) 2019-10-24
WO2017211114A1 (en) 2017-12-14

Similar Documents

Publication Publication Date Title
CN105892691A (zh) 代步工具的控制方法和控制装置、代步工具***
JP7005933B2 (ja) 運転者監視装置、及び運転者監視方法
CN106663377B (zh) 驾驶员的驾驶不能状态检测装置
CN206610016U (zh) 一种汽车智能抬头显示器
WO2016199379A1 (ja) 車両制御装置、車両制御方法および車両制御プログラム
CN205721637U (zh) 代步工具***
CN109623835B (zh) 基于多模态信息融合的轮椅机械手***
CN109571513B (zh) 一种沉浸式移动抓取服务机器人***
CN204863717U (zh) 一种利用眼球追踪控制的轮椅
CN104382710B (zh) 一种智能轮椅床***的床椅自动对接方法
CN104176063A (zh) 根据人体生物特征设置汽车***
CN107775641A (zh) 代驾机器人
KR102358568B1 (ko) 장애인 전동휠체어용 멀티 기능 모듈 시스템 및 이를 포함하는 장애인 전동휠체어
CN110825216A (zh) 一种驾驶员驾驶时人机交互的方法和***
KR20200009986A (ko) 차량용 로봇 및 상기 로봇의 제어 방법
JP2010029459A (ja) 運転者注意力回復装置
CN109366461A (zh) 无人驾驶汽车
CN109754785A (zh) 一种智能学习轮椅及其语音学习方法
CN103948476A (zh) 具有多自由度调节重心功能的两轮轮椅
KR20170015774A (ko) 센서 기반의 안전 주행을 위한 전동휠체어 제어 방법 및 시스템
JP6847272B2 (ja) 1人乗り電動車両走行制御装置、1人乗り電動車両走行制御システム及び1人乗り電動車両
CN110420097A (zh) 一种电动轮椅的微动控制***
CN207979891U (zh) 载人智能机器人
CN114701503A (zh) 车辆驾驶人员驾驶行为调整方法、装置、设备及存储介质
JP2018151937A (ja) 制御プログラム及び移動体

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20160824