CN111476135B - 运用穿戴式电子设备的人体异常活动识别*** - Google Patents

运用穿戴式电子设备的人体异常活动识别*** Download PDF

Info

Publication number
CN111476135B
CN111476135B CN202010245269.1A CN202010245269A CN111476135B CN 111476135 B CN111476135 B CN 111476135B CN 202010245269 A CN202010245269 A CN 202010245269A CN 111476135 B CN111476135 B CN 111476135B
Authority
CN
China
Prior art keywords
data
wearable electronic
unit
identification data
recognition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010245269.1A
Other languages
English (en)
Other versions
CN111476135A (zh
Inventor
陈庆瀚
林闵莹
姜博识
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wangjie Intelligent Perception Co ltd
Original Assignee
Wangjie Intelligent Perception Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wangjie Intelligent Perception Co ltd filed Critical Wangjie Intelligent Perception Co ltd
Priority to CN202010245269.1A priority Critical patent/CN111476135B/zh
Publication of CN111476135A publication Critical patent/CN111476135A/zh
Application granted granted Critical
Publication of CN111476135B publication Critical patent/CN111476135B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1116—Determining posture transitions
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1121—Determining geometric values, e.g. centre of rotation or angular range of movement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6802—Sensor mounted on worn items
    • A61B5/681—Wristwatch-type devices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Veterinary Medicine (AREA)
  • Molecular Biology (AREA)
  • Public Health (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Theoretical Computer Science (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • General Physics & Mathematics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Dentistry (AREA)
  • Human Computer Interaction (AREA)
  • Physiology (AREA)
  • General Engineering & Computer Science (AREA)
  • Geometry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明主要提出一种人体异常活动识别***，其包括：一第一穿戴式电子设备、多个第二穿戴式电子设备、至少一摄像模块、以及一人体异常活动判断模块；本发明的人体异常活动识别***适于应用在各种工作环境的中，用于供一使用者(例如：操作人员或工作人员)使用，进以依据标准作业程序(SOP)文件、操作手册、及/或作业安全规范文件监测并判断所述使用者是否发生或做出异常人体活动，通过此种方式同时达到减少操作(工作)人员的操作错误率、有效提升工作效率、及促进生产力的多种目的。

Description

运用穿戴式电子设备的人体异常活动识别***
技术领域：
本发明是涉及穿戴式电子设备的应用技术领域，尤指一种运用穿戴式电子设备的人体异常活动识别***。
背景技术：
已知，公司的新进人员必须在经过制式的训练并通过考核后才能够执行技术性的工作。在指导、训练新进人员的过程中，资深人员除了会提供标准作业程序(SOP)文件及/或操作手册的纸本和电子文件给新进人员的外，其同时也会依据制式的教学手册所记载的教学步骤和方式给予新进人员相关指导和训练。之后，新进人员便可参考标准作业程序文件及操作手册不断按部就班地进行重复练习，直至完成熟稔工作程序与机器操作方式。
然而，对于已经熟读标准作业程序文件和操作手册且已经熟稔工作程序与机器操作方式的工作人员而言，实际的工作环境所潜藏的不可预期的突发状况和危险因子仍旧会造成工作人员的操作失误或失当，严重者还可能会导致发生工安意外。有鉴于此，人因工程于是被研究、提出进而应用在管理工作人员、机器和环境的相互作用及合理结合，从而提高生产效率。可惜的是，目前人因工程的应用有其限制，导致无法适用于各种工作环境。举例而言，在设计生产机具时，机械工程师必须基于人因工程而将生产机具设计成一个人机***(Human-Machine System)，使得所述生产机具的操作人员可以在有效减少错误发生的情况下提升工作效率以及生产力。然而，就现实的情况而言，并不是每一台生产机具、工具、工作站、工作方法、或工作有关的硬设备都能够被设计成人机***。
由上述说明可知，实有必要重新设计开发有别于公知的人机***、人机设备、或人机工作的一新式***，令此新式***能够适于应用在各种工作环境的中，进而同时达到减少操作(工作)人员的操作错误率、有效提升工作效率、及促进生产力的多种目的。有鉴于此，本案的发明人是极力加以研究发明，而终于研发完成本发明的一种运用穿戴式电子设备的人体异常活动识别***。
发明内容：
本发明的主要目的在于提供一种运用穿戴式电子设备的人体异常活动识别***，其包括：一第一穿戴式电子设备、多个第二穿戴式电子设备、至少一摄像模块、以及一人体异常活动判断模块。本发明的人体异常活动识别***适于应用在各种工作环境的中，用于供一使用者(例如：操作人员或工作人员)使用，进以依据标准作业程序(SOP)文件、操作手册、及/或作业安全规范文件监测并判断所述使用者是否发生或做出异常人体活动，藉此方式同时达到减少操作(工作)人员的操作错误率、有效提升工作效率、及促进生产力的多种目的。
在应用本发明的人体异常活动识别***1的情况下，后端的管理者便能实时监看操作人员的联机操作动作，确保操作人员是在依据标准作业程序文件及/或操作手册的有关规定的情况下执行其责任工作。同时，由于本发明的人体异常活动识别***1具有姿势(动作)预估的功能，因此可以预测操作人员之下一步动作是否正确。若操作人员的下一步动作被预测为异常人体动作，则后端的管理者会会收到警示信息，进而早一步地修正操作人员的动作，达到有效预防因操作错误而导致的职业伤害的发生。
为达成上述目的，本发明提出所述人体异常活动识别***的一实施例，其包括：
一第一穿戴式电子设备，用以配戴于一使用者的头部，且具有用以对至少一物件和一工作环境进行一第一图像撷取的一摄像单元以及用以对所述使用者的头部进行一头部运动侦测的一头部运动侦测单元，进而输出一第一物件识别数据、一第一情境识别数据以及一头部行为识别数据；
多个第二穿戴式电子设备，用以穿戴于所述使用者的腕部，且其具有用以对所述使用者的腕部进行一腕部运动侦测的一腕部运动侦测单元，进而输出一腕部行为识别数据；
至少一摄像模块，用以对所述使用者、所述至少一物件和所述工作环境进行一第二图像撷取，进而输出一第二物件识别数据与一第二情境识别数据，且所述摄像模块具有一姿势预估单元，用以依据所述第二图像撷取所获得的一使用者身体姿势而进而一姿势预估以产生一姿势预估数据；以及
一人体异常活动判断模块，耦接所述第一穿戴式电子设备、所述多个第二穿戴式电子设备、与所述摄像模块，且其具有：
一数据融合单元，用以接收所述第一穿戴式电子设备所传送的所述第一物件识别数据、所述第一情境识别数据和所述头部行为识别数据以及所述第二穿戴式电子设备所传送的所述腕部行为识别数据，且所述数据融合单元同时接收所述摄像模块所传送的所述第二物件识别数据、所述第二情境识别数据和所述姿势预估数据，进而对所述第一物件识别数据、所述第一情境识别数据、所述头部行为识别数据、所述腕部行为识别数据、所述第二物件识别数据、所述第二情境识别数据、与所述姿势预估数据进行一数据融合处理；以及
一决策单元，耦接所述数据融合单元，用以依据所述数据融合单元所传送的一融合数据以及至少一参考数据而判断所述使用者是否发生一人体异常活动事件。
于前述本发明的人体异常活动识别***的实施例中，所述第一穿戴式电子设备可为下列任一者：一混合实境(MR)头盔或智能型眼镜。
于前述本发明的人体异常活动识别***的实施例中，所述第二穿戴式电子设备可为下列任一者：智能型手环或智能型手表。
于前述本发明的人体异常活动识别***的实施例中，所述人体异常活动判断模块更具有用以储存所述参考数据的一数据库，且所述参考数据报含：标准作业程序文件、操作手册、以及作业安全规范文件。
于前述本发明的人体异常活动识别***的实施例中，所述头部运动侦测单元和所述腕部运动侦测单元皆为一惯性传感器(Inertial sensor)。
于前述本发明的人体异常活动识别***的实施例中，所述人体异常活动判断模块为一数据处理设备，且所述数据处理设备可为下列任一者：中央控制***、工业计算机、服务器计算机、桌上型计算机、笔记本电脑、平板计算机、或智能型手机。
于前述本发明的人体异常活动识别***的实施例中，所述头部运动侦测包含头部转动角度侦测、头部转动次数侦测、头部倾斜角度侦测、和头部位置侦测。
于前述本发明的人体异常活动识别***的实施例中，所述腕部运动侦测包含腕部转动角度侦测、腕部转动次数侦测、腕部倾斜角度侦测、和腕部倾斜角度侦测。
在一可行实施例中，本发明的人体异常活动识别***更包括一第三穿戴式电子设备，其耦接所述人体异常活动判断模块，且用以配戴于所述使用者的手部，并具有：
一手部运动侦测单元，用以对所述使用者的手部进行一手部运动侦测；以及
一手部行为识别单元，用以依据所述手部运动侦测所获得的一手部运动数据而进行一手部行为识别处理，以产生一手部行为识别数据传送至所述人体异常活动判断模块。
于前述本发明的人体异常活动识别***的实施例中，所述手部运动侦测包含握拳侦测、开掌侦测、手指动作侦测、手部位置侦测、手部转动角度侦测、手部转动次数侦测、手部倾斜角度侦测、和手部倾斜角度侦测。
于前述本发明的人体异常活动识别***的实施例中，所述人体异常活动判断模块更包括：一数据同步单元，耦接所述第一穿戴式电子设备、所述多个第二穿戴式电子设备、所述摄像模块、以及所述第三穿戴式电子设备，用以令所述第一穿戴式电子设备、所述多个第二穿戴式电子设备、所述摄像模块、以及所述第三穿戴式电子设备同步传送所述第一物件识别数据、所述第一情境识别数据、所述头部行为识别数据、所述腕部行为识别数据、所述第二物件识别数据、所述第二情境识别数据、所述姿势预估数据、以及所述手部行为识别数据至所述数据融合单元。
附图说明：
图1显示本发明的一种运用穿戴式电子设备的人体异常活动识别***的第一立体图；
图2显示本发明的人体异常活动识别***的第一穿戴式电子设备和人体异常活动判断模块的功能方块图；
图3显示本发明的人体异常活动识别***的第二穿戴式电子设备、摄像模块和人体异常活动判断模块的功能方块图；
图4显示本发明的人体异常活动识别***的第二立体图；
图5显示所述第二穿戴式电子设备的另一实施态样的立体图；
图6显示本发明的人体异常活动识别***的第三立体图；以及
图7显示本发明的人体异常活动识别***的第三穿戴式电子设备与人体异常活动判断模块的功能方块图。
附图标记：
1 人体异常活动识别***
11 第一穿戴式电子设备
111摄像单元
112头部运动侦测单元
HOR第一物件识别单元
HIS第一情境识别单元
HHO头部行为识别单元
12第二穿戴式电子设备
121腕部运动侦测单元
WGAR腕部行为识别单元
13摄像模块
FRO第二物件识别单元
FIS第二情境识别单元
FPE姿势预估单元
14人体异常活动判断模块
140数据同步单元
141数据融合单元
142决策单元
15第三穿戴式电子设备
151手部运动侦测单元
HGAR手部行为识别单元
2使用者
具体实施方式：
为了能够更清楚地描述本发明所提出的一种运用穿戴式电子设备的人体异常活动识别***，以下将配合附图，详尽说明本发明的较佳实施例。
图1显示本发明的一种运用穿戴式电子设备的人体异常活动识别***的第一立体图。本发明提出一种人体异常活动识别***1，其包含多种不同类型的穿戴式电子设备。特别地，本发明的人体异常活动识别***1适于应用在各种工作环境的中，用于供一使用者2(例如：操作人员或工作人员)使用，进以依据标准作业程序(SOP)文件、操作手册、及/或作业安全规范文件监测并判断所述使用者2是否发生或做出异常人体活动，藉此方式同时达到减少操作(工作)人员的操作错误率、有效提升工作效率、及促进生产力的多种目的。
如图1所示，本发明的人体异常活动识别***1主要包括：一第一穿戴式电子设备11、多个第二穿戴式电子设备12、至少一摄像模块13、以及一人体异常活动判断模块14。进一步地，图2显示所述第一穿戴式电子设备11和所述人体异常活动判断模块14的功能方块图，且图3显示所述第二穿戴式电子设备12、所述摄像模块13和所述人体异常活动判断模块14的功能方块图。由图1与图2可知，所述第一穿戴式电子设备11可以是一混合实境(Mixedreality,MR)头盔，用以配戴于所述使用者2的头部，且其具有：一摄像单元111、一头部运动侦测单元112、一第一物件识别单元HOR、一第一情境识别单元HIS、以及一头部行为识别单元HHO。
承上述说明，所述摄像单元111基于使用者2的一第一人称视角而对至少一物件和一工作环境进行一第一图像撷取。于此，必须加以说明的是，所述物件指的是所述使用者2在执行一特定工作的时所需要使用到的工具、零件、材料、器材、机具、或设备等物品，而工作环境则可能是办公室、无尘室、或产线等区域。另一方面，所述头部运动侦测单元112为一惯性传感器(Inertial sensor)，用以对所述使用者2的头部进行一头部运动侦测，其中所述头部运动侦测包括：头部转动角度侦测、头部转动次数侦测、头部倾斜角度侦测、和头部位置侦测。更详细地说明，所述第一物件识别单元HOR用以依据所述第一图像撷取所获得的一第一物件数据而进行一第一物件识别处理以产生一第一物件识别数据。并且，所述第一情境识别单元HIS用以依据所述第一图像撷取所获得的一第一工作环境数据而进行一第一情境识别处理以产生一第一情境识别数据。再者，所述头部行为识别单元HHO用以依据所述运动侦测所获得的一头部运动数据而进行一头部行为识别处理以产生一第一情境识别数据。
补充说明的是，所述第一穿戴式电子设备11(例如:MR头盔)通常具有一微处理器。因此，在可行的实施例中，所述第一物件识别单元HOR、所述第一情境识别单元HIS和所述头部行为识别单元HHO是能够通过函式库、变量或操作数的形式而被编辑为至少一应用程序，进而被创建在所述第一穿戴式电子设备11的所述微处理器的中。值得说明的是，虽然图1绘示所述第一穿戴式电子设备11为一个MR头盔，但是并非以此限制所述第一穿戴式电子设备11的可实施态样。图4显示本发明的运用穿戴式电子设备的人体异常活动识别***的第二立体图。于图4的中，所述第一穿戴式电子设备11即以智能型眼镜的形式作为另一实施态样。
继续地参阅图1与图3。所述多个第二穿戴式电子设备12用以穿戴于所述使用者2的腕部，且其是例如为一智慧手环的惯性传感器(Inertial sensor)。依据本发明的设计，所述第二穿戴式电子设备12具有一腕部运动侦测单元121和一腕部行为识别单元WGAR，其中所述腕部运动侦测单元121用以对所述使用者2的腕部进行一腕部运动侦测，且所述腕部运动侦测包括腕部转动角度侦测、腕部转动次数侦测、腕部倾斜角度侦测、和腕部倾斜角度侦测。另一方面，所述腕部行为识别单元WGAR用以依据所述腕部运动侦测所获得的一腕部运动数据而进行一腕部行为识别处理，最终产生一腕部行为识别数据。值得说明的是，虽然图1绘示所述第二穿戴式电子设备12为一智能手环，但是并非以此限制所述第二穿戴式电子设备12的可实施态样。图5显示本发明的人体异常活动识别***的第二穿戴式电子设备的另一实施态样的立体图。于图5的中，所述第二穿戴式电子设备12即以智能型手表的形式作为另一实施态样。
同样地，所述第二穿戴式电子设备12(例如:智能手环)通常具有一微处理器。因此，在可行的实施例中，所述腕部行为识别单元WGAR是以函式库、变量或操作数的形式而被编辑为至少一应用程序，进而被创建在所述第二穿戴式电子设备12的所述微处理器的中。如图1与图3所示，所述摄像模块13用以对所述使用者2、所述至少一物件和所述工作环境进行一第二图像撷取。简单地说，摄像模块13用以同时摄录所述使用者2所述至少一物件和所述工作环境的实时图像。依据本发明的设计，所述摄像模块13具有一第二物件识别单元FRO、一第二情境识别单元FIS、与一姿势预估单元FPE。其中，所述第二物件识别单元FOR用以依据所述第二图像撷取所获得的一第二物件数据而进行一第二物件识别处理以产生所述第二物件识别数据。并且，所述第二情境识别单元FIS用以依据所述第二图像撷取所获得的一第二工作环境数据而进行一第二情境识别处理以产生所述第二情境识别数据。特别地，所述姿势预估单元FPE用以依据所述第二图像撷取所获得的一使用者身体姿势而进而一姿势预估以产生一姿势预估数据。
补充说明的是，所述摄像模块13(例如:数字相机或智能型手机)通常具有一微处理器。因此，在可行的实施例中，所述第二物件识别单元FOR、所述第二情境识别单元FIS和所述姿势预估单元FPE是以函式库、变量或操作数的形式而被编辑为至少一应用程序，进而被创建在所述摄像模块13的所述微处理器的中。更详细地说明，所述人体异常活动判断模块14是通过无线连接的方式连接所述第一穿戴式电子设备11、所述多个第二穿戴式电子设备12、以及所述摄像模块13进行数据传输，且其具有：一数据同步单元140、一数据融合单元141、与一决策单元142。依据本发明的设计，所述数据同步单元140耦接所述第一穿戴式电子设备11、所述多个第二穿戴式电子设备12、以及所述摄像模块13，用以令所述第一穿戴式电子设备11、所述多个第二穿戴式电子设备12、以及所述摄像模块13同步地将所述第一物件识别数据、所述第一情境识别数据、所述头部行为识别数据、所述腕部行为识别数据、所述第二物件识别数据、所述第二情境识别数据、以及所述姿势预估数据传送至所述数据融合单元141。
承上述说明，所述数据融合单元141用以进而对所述第一物件识别数据、所述第一情境识别数据、所述头部行为识别数据、所述腕部行为识别数据、所述第二物件识别数据、所述第二情境识别数据、与所述姿势预估数据进行一数据融合处理。并且，所述决策单元142耦接所述数据融合单元141，用以依据所述数据融合单元141所传送的一融合数据以及至少一参考数据而判断所述使用者2是否发生一人体异常活动事件。补充说明的是，所述人体异常活动判断模块14为一数据处理设备。例如，图1显示所述人体异常活动判断模块14为一笔记本电脑。因此，人体异常活动判断模块14具有一储存单元，用以储存所述参考数据，且所述参考数据报含：标准作业程序文件、操作手册、以及作业安全规范文件(Safetycode)。另一方面，在可行的实施例中，所述数据融合单元141和所述决策单元142是以函式库、变量或操作数的形式而被编辑为至少一应用程序，进而被创建在所述人体异常活动判断模块14的一处理器的中。然而，应可知道的是，所述人体异常活动判断模块14的可行实施例并不仅限于笔记本电脑，其也可以是其它类型的数据处理设备，例如：中央控制***、工业计算机、服务器计算机、桌上型计算机、平板计算机、或智能型手机。
图6显示本发明的运用穿戴式电子设备的人体异常活动识别***的第三立体图。比较图1与图6可知，在可行的实施例中，本发明的人体异常活动识别***1可进一步包含一第三穿戴式电子设备15，其用以配戴于所述使用者2的手部且通过无线连接获有线连接的方式耦接所述人体异常活动判断模块14。
图7显示第三穿戴式电子设备15与人体异常活动判断模块14的功能方块图。依据本发明的设计，所述第三穿戴式电子设备15为一智能手套，且其具有一手部运动侦测单元151和一手部行为识别单元HGAR。其中，所述手部运动侦测单元151用以对所述使用者2的手部进行一手部运动侦测，且所述手部行为识别单元HGAR用以依据所述手部运动侦测所获得的一手部运动数据而进行一手部行为识别处理，以产生一手部行为识别数据传送至所述人体异常活动判断模块14。
承上述说明，所述手部运动侦测包含握拳侦测、开掌侦测、手指动作侦测、手部位置侦测、手部转动角度侦测、手部转动次数侦测、手部倾斜角度侦测、和手部倾斜角度侦测。并且，可以推知的是，人体异常活动判断模块14的数据同步单元140同时耦接所述第一穿戴式电子设备11、所述多个第二穿戴式电子设备12、所述摄像模块13、以及所述第三穿戴式电子设备15，用以令所述第一穿戴式电子设备11、所述多个第二穿戴式电子设备12、所述摄像模块13、以及所述第三穿戴式电子设备15同步地将所述第一物件识别数据、所述第一情境识别数据、所述头部行为识别数据、所述腕部行为识别数据、所述第二物件识别数据、所述第二情境识别数据、所述姿势预估数据、以及所述手部行为识别数据传送至所述数据融合单元141。
如此，上述是已完整且清楚地说明本发明的一种运用穿戴式电子设备的人体异常活动识别***；并且，通过上述可得知本发明是具有下列的优点：
(1)本发明以一第一穿戴式电子设备11、多个第二穿戴式电子设备12、至少一摄像模块13、以及一人体异常活动判断模块14组成一人体异常活动识别***1。本发明的人体异常活动识别***1适于应用在各种工作环境的中，用于供一使用者2(例如：操作人员或工作人员)使用，进以依据标准作业程序(SOP)文件、操作手册、及/或作业安全规范文件监测并判断所述使用者2是否发生或做出异常人体活动，藉此方式同时达到减少操作(工作)人员的操作错误率、有效提升工作效率、及促进生产力的多种目的。
(2)在应用本发明的人体异常活动识别***1的情况下，后端的管理者便能实时监看操作人员的联机操作动作，确保操作人员是在依据标准作业程序文件及/或操作手册的有关规定的情况下执行其责任工作。同时，由于本发明的人体异常活动识别***1具有姿势(动作)预估的功能，因此可以预测操作人员之下一步动作是否正确。若操作人员的下一步动作被预测为异常人体动作，则后端的管理者会会收到警示信息，进而早一步地修正操作人员的动作，达到有效预防因操作错误而导致的职业伤害的发生。
必须加以强调的是，上述的详细说明是针对本发明可行实施例的具体说明，惟所述实施例并非用以限制本发明的专利范围，凡未脱离本发明技艺精神所为的等效实施或变更，均应包含于本案的专利范围中。

Claims (10)

1.一种人体异常活动识别***，其特征在于，包括：
一第一穿戴式电子设备，用以配戴于一使用者的头部，且具有用以对至少一物件和一工作环境进行一第一图像撷取的一摄像单元以及用以对所述使用者的头部进行一头部运动侦测的一头部运动侦测单元，进而输出一第一物件识别数据、一第一情境识别数据以及一头部行为识别数据；
多个第二穿戴式电子设备，用以穿戴于所述使用者的腕部，且其具有用以对所述使用者的腕部进行一腕部运动侦测的一腕部运动侦测单元，进而输出一腕部行为识别数据；
至少一摄像模块，用以对所述使用者、所述至少一物件和所述工作环境进行一第二图像撷取，进而输出一第二物件识别数据与一第二情境识别数据，且所述摄像模块具有一姿势预估单元，用以依据所述第二图像撷取所获得的一使用者身体姿势而进而一姿势预估以产生一姿势预估数据；以及
一人体异常活动判断模块，耦接所述第一穿戴式电子设备、所述多个第二穿戴式电子设备、与所述摄像模块，且其具有：
一数据融合单元，用以接收所述第一穿戴式电子设备所传送的所述第一物件识别数据、所述第一情境识别数据和所述头部行为识别数据以及所述第二穿戴式电子设备所传送的所述腕部行为识别数据，且所述数据融合单元同时接收所述摄像模块所传送的所述第二物件识别数据、所述第二情境识别数据和所述姿势预估数据，进而对所述第一物件识别数据、所述第一情境识别数据、所述头部行为识别数据、所述腕部行为识别数据、所述第二物件识别数据、所述第二情境识别数据、与所述姿势预估数据进行一数据融合处理；以及
一决策单元，耦接所述数据融合单元，用以依据所述数据融合单元所传送的一融合数据以及至少一参考数据而判断所述使用者是否发生一人体异常活动事件。
2.根据权利要求1所述的人体异常活动识别***，其特征在于，所述人体异常活动判断模块为一数据处理设备，且所述数据融合单元和所述决策单元是以函式库、变量或操作数的形式而被编辑为至少一应用程序，进而被创建在所述数据处理设备的一处理器的中。
3.根据权利要求1所述的人体异常活动识别***，其特征在于，所述人体异常活动判断模块更具有用以储存所述参考数据的一储存单元，且所述参考数据报含：标准作业程序文件、操作手册、以及作业安全规范文件。
4.根据权利要求1所述的人体异常活动识别***，其特征在于，所述第一穿戴式电子设备更具有：
一第一物件识别单元，用以依据所述第一图像撷取所获得的一第一物件数据而进行一第一物件识别处理以产生所述第一物件识别数据；
一第一情境识别单元，用以依据所述第一图像撷取所获得的一第一工作环境数据而进行一第一情境识别处理以产生所述第一情境识别数据；及
一头部行为识别单元，用以依据所述运动侦测所获得的一头部运动数据而进行一头部行为识别处理以产生所述第一情境识别数据。
5.根据权利要求1所述的人体异常活动识别***，其特征在于，所述第二穿戴式电子设备更具有：
一腕部行为识别单元，用以依据所述腕部运动侦测所获得的一腕部运动数据而进行一腕部行为识别处理以产生所述腕部行为识别数据。
6.根据权利要求4所述的人体异常活动识别***，其特征在于，所述第一物件识别单元、所述第一情境识别单元和所述头部行为识别单元是以函式库、变量或操作数的形式而被编辑为至少一应用程序，进而被创建在所述第一穿戴式电子设备的一微处理器的中。
7.根据权利要求4所述的人体异常活动识别***，其特征在于，所述摄像模块更具有：
一第二物件识别单元，用以依据所述第二图像撷取所获得的一第二物件数据而进行一第二物件识别处理以产生所述第二物件识别数据；及
一第二情境识别单元，用以依据所述第二图像撷取所获得的一第二工作环境数据而进行一第二情境识别处理以产生所述第二情境识别数据。
8.根据权利要求7所述的人体异常活动识别***，其特征在于，所述第二物件识别单元、所述第二情境识别单元和所述姿势预估单元是以函式库、变量或操作数的形式而被编辑为至少一应用程序，进而被创建在所述摄像模块的一微处理器中。
9.根据权利要求1所述的人体异常活动识别***，其特征在于，更包括一第三穿戴式电子设备，耦接所述人体异常活动判断模块，且用以配戴于所述使用者的手部，并具有：
一手部运动侦测单元，用以对所述使用者的手部进行一手部运动侦测；以及
一手部行为识别单元，用以依据所述手部运动侦测所获得的一手部运动数据而进行一手部行为识别处理，以产生一手部行为识别数据传送至所述人体异常活动判断模块。
10.根据权利要求9所述的人体异常活动识别***，其特征在于，所述人体异常活动判断模块更包括：
一数据同步单元，耦接所述第一穿戴式电子设备、所述多个第二穿戴式电子设备、所述摄像模块、以及所述第三穿戴式电子设备，用以令所述第一穿戴式电子设备、所述多个第二穿戴式电子设备、所述摄像模块、以及所述第三穿戴式电子设备同步地将所述第一物件识别数据、所述第一情境识别数据、所述头部行为识别数据、所述腕部行为识别数据、所述第二物件识别数据、所述第二情境识别数据、所述姿势预估数据、以及所述手部行为识别数据传送至所述数据融合单元。
CN202010245269.1A 2020-03-31 2020-03-31 运用穿戴式电子设备的人体异常活动识别*** Active CN111476135B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010245269.1A CN111476135B (zh) 2020-03-31 2020-03-31 运用穿戴式电子设备的人体异常活动识别***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010245269.1A CN111476135B (zh) 2020-03-31 2020-03-31 运用穿戴式电子设备的人体异常活动识别***

Publications (2)

Publication Number Publication Date
CN111476135A CN111476135A (zh) 2020-07-31
CN111476135B true CN111476135B (zh) 2023-07-14

Family

ID=71749363

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010245269.1A Active CN111476135B (zh) 2020-03-31 2020-03-31 运用穿戴式电子设备的人体异常活动识别***

Country Status (1)

Country Link
CN (1) CN111476135B (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107390865A (zh) * 2017-06-28 2017-11-24 国网上海市电力公司 一种适用于可穿戴巡检***的智能头盔
KR101831968B1 (ko) * 2016-12-14 2018-04-04 우성배 자세 교정 웨어러블 이어폰 장치

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7558622B2 (en) * 2006-05-24 2009-07-07 Bao Tran Mesh network stroke monitoring appliance

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101831968B1 (ko) * 2016-12-14 2018-04-04 우성배 자세 교정 웨어러블 이어폰 장치
CN107390865A (zh) * 2017-06-28 2017-11-24 国网上海市电力公司 一种适用于可穿戴巡检***的智能头盔

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于环境传感器和穿戴式传感器的行为异常检测;李艳飞等;《轻工机械》;20160803(第04期);全文 *

Also Published As

Publication number Publication date
CN111476135A (zh) 2020-07-31

Similar Documents

Publication Publication Date Title
EP1709519B1 (en) A virtual control panel
Baroroh et al. Systematic literature review on augmented reality in smart manufacturing: Collaboration between human and computational intelligence
US11724388B2 (en) Robot controller and display device using augmented reality and mixed reality
JP6386786B2 (ja) 複合システムの構成要素上で実行されるタスクをサポートするユーザの追跡
KR101636360B1 (ko) 가상 현실을 이용한 가상 정비 훈련 시스템
US11291387B2 (en) System for recognizing abnormal activity of human body using wearable electronic device and mixed reality technology
Ma et al. A framework for interactive work design based on motion tracking, simulation, and analysis
US20160174897A1 (en) Sensor Embedded Wearable Technology Glove
EP3224681B1 (en) System for virtual commissioning
JP2020177680A (ja) 作業分析装置、作業分析方法、及びプログラム
Villani et al. Smartwatch-enhanced interaction with an advanced troubleshooting system for industrial machines
TWM598447U (zh) 運用穿戴式電子裝置之人體異常活動識別系統
CN111476135B (zh) 运用穿戴式电子设备的人体异常活动识别***
WO2021195916A1 (zh) 动态手部仿真方法、装置和***
Rupprecht et al. Virtual reality meets smartwatch: Intuitive, natural, and multi-modal interaction
TWI725803B (zh) 運用穿戴式電子裝置之人體異常活動識別系統
Ma et al. A framework for interactive work design based on digital work analysis and simulation
CN114842146A (zh) 一种民航发动机维修手册与工卡建模方法及可存储介质
US11254005B2 (en) Robot control device
Wang et al. Multi-channel augmented reality interactive framework design for ship outfitting guidance
CN113270006B (zh) 基于HoloLens的印刷机操作培训***及方法
US20230286159A1 (en) Remote control system
Witt et al. Towards implicit interaction by using wearable interaction device sensors for more than one task
US20240220015A1 (en) Head-mounted display, unlocking method and non-transitory computer readable storage medium thereof
CN117506883A (zh) 一种用于远程机器人编程和部署的混合现实***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20221010

Address after: 6 / F, No. 9, Section 1, Zhongxiao East Road, Zhongzheng District, Taibei City, Taiwan, China

Applicant after: Wangjie intelligent perception Co.,Ltd.

Address before: 5 / F 12 / F, 130, Section 2, Zhongxiao East Road, Zhongzheng District, Taipei, Taiwan, China

Applicant before: Lin Minying

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant