CN117555141A - 智能vr眼镜*** - Google Patents

智能vr眼镜*** Download PDF

Info

Publication number
CN117555141A
CN117555141A CN202311257185.XA CN202311257185A CN117555141A CN 117555141 A CN117555141 A CN 117555141A CN 202311257185 A CN202311257185 A CN 202311257185A CN 117555141 A CN117555141 A CN 117555141A
Authority
CN
China
Prior art keywords
deflection
image data
positioning
target
staff
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311257185.XA
Other languages
English (en)
Inventor
李芃
王�华
单晓伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Metallurgica Bresciana Maanshan Special Cables Co ltd
Original Assignee
Metallurgica Bresciana Maanshan Special Cables Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Metallurgica Bresciana Maanshan Special Cables Co ltd filed Critical Metallurgica Bresciana Maanshan Special Cables Co ltd
Priority to CN202311257185.XA priority Critical patent/CN117555141A/zh
Publication of CN117555141A publication Critical patent/CN117555141A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C1/00—Registering, indicating or recording the time of events or elapsed time, e.g. time-recorders for work people
    • G07C1/10—Registering, indicating or recording the time of events or elapsed time, e.g. time-recorders for work people together with the recording, indicating or registering of other data, e.g. of signs of identity
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C1/00—Registering, indicating or recording the time of events or elapsed time, e.g. time-recorders for work people
    • G07C1/20—Checking timed patrols, e.g. of watchman
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/18—Status alarms
    • G08B21/24—Reminder alarms, e.g. anti-loss alarms
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B3/00—Audible signalling systems; Audible personal calling systems
    • G08B3/10—Audible signalling systems; Audible personal calling systems using electric transmission; using electromagnetic transmission
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0141—Head-up displays characterised by optical features characterised by the informative content of the display
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0181—Adaptation to the pilot/driver
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A30/00—Adapting or protecting infrastructure or their operation
    • Y02A30/60—Planning or developing urban green infrastructure

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Optics & Photonics (AREA)
  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • Electromagnetism (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了智能VR眼镜***，涉及VR眼镜巡检技术领域，本发明通过设置轨道巡检模块对夜晚佩戴VR眼镜巡检城市轨道的工作人员的VR眼镜前方的实时的现实环境的图像进行采集，目标识别模块基于异常目标识别模型对城市轨道内静态的异常目标进行识别，目标定位单元对工作人员视野的偏向角度、偏向位移进行获取并确定其在水平和竖直方向上的偏转方向，目标定位单元生成对应的引导视频引导工作人员进行视角回溯，引导工作人员快速找到被识别出的异常目标，避免了在夜间可视条件差且经过长时间的巡检下工作人员对于一些静态的异常目标无法第一时间观察到导致无法快速找到异常目标情况的发生，提高了巡检的质量和效率。

Description

智能VR眼镜***
技术领域
本发明涉及VR眼镜巡检技术领域，具体涉及智能VR眼镜***。
背景技术
随着城市轨道交通网络增长迅速，大量轨道交通基础设施相继进入养护期，线路安全和监测面临压力逐渐增大。保证轨道交通的安全运行是最重要的事，目前轨道交通运维方式还是以巡检为主，这也是确保轨道交通安全运行最基础、最关键的方式。而传统的轨道巡检方式是“人+轨道车”的集合模式，随着VR技术的发展，VR技术也应用在轨道巡检中，工作人员通过佩戴VR眼镜，由VR眼镜辅助工作人员进行轨道巡检，
然而，夜间巡检的可视条件差，外加工作人员长时间的巡检下对于一些静态的异常目标无法第一时间观察到，VR眼镜捕捉画面并对其识别分析出异常目标时由于工作人员在巡检的过程中一边行走一边四处查看，所以导致VR眼镜在识别异常目标向工作人员发出提示时，工作人员已经离开了异常目标所在位置，此时工作人员得到提示再回去寻找无法快速的找到异常目标；
为了解决上述问题，本发明提出了一种解决方案。
发明内容
本发明的目的在于提供智能VR眼镜***，解决现有技术中由于夜间巡检的可视条件差外加工作人员长时间的巡检下对于一些静态的异常目标无法第一时间观察到，VR眼镜捕捉画面并对其识别分析出异常目标时由于工作人员在巡检的过程中一边行走一边四处查看，所以导致VR眼镜在识别异常目标向工作人员发出提示时，工作人员视角已经离开了发现异常目标所在位置，此时工作人员得到提示再寻找无法快速的找到异常目标的问题；
本发明的目的可以通过以下技术方案实现：
智能VR眼镜***，其特征在于：
轨道巡检模块，用于对夜晚佩戴VR眼镜巡检城市轨道的工作人员的VR眼镜前方的实时的现实环境的图像进行采集，所述轨道巡检模块包括若干个巡检单元，一个所述巡检单元对应一个夜晚佩戴VR眼镜巡视城市轨道的工作人员；
所述巡检单元对当前时刻对应夜晚佩戴VR眼镜巡视城市轨道的工作人员的VR眼镜前方的现实环境的图像进行采集获取当前时刻该工作人员的巡视图像数据并记录该巡视图像数据的采集时刻，所述巡视单元依据当前该工作人员的巡视图像数据和其对应的采集时刻生成当前时刻该工作人员的巡视记录数据；
目标识别模块，对工作人员的巡视图像数据中出现的静态的异常目标进行识别，所述目标识别模块中存储有异常目标识别模型，所述异常目标识别模型是用来对图像进行异常目标识别并将识别出的异常目标采用语义分割标注法对构成其的所有像素点采用同一种颜色进行标示；
所述目标识别模块将接收到的当前时刻该工作人员的巡视记录数据内携带的该工作人员的巡视图像数据输入到异常目标识别模型中，若当前时刻该工作人员的巡视图像数据中不存在异常目标，则将当前时刻该工作人员的巡视记录数据进行临时存储；反之，所述目标识别模块依据当前时刻该工作人员的巡视记录数据生成该工作人员的异常目标特征数据并生成目标告警指令；
定位引导模块，用于对工作人员进行异常目标定位引导，所述定位引导模块包括目标定位单元和目标引导单元，所述目标定位单元接收到传输的目标告警指令后采用语音播报的形式提示该工作人员发现异常目标并记录语音播报对应的时刻，所述目标定位单元按照一定的生成规则生成该工作人员基于当前位置的异常目标定位数据；
所述目标引导单元依据接收到的该工作人员基于当前位置的一场目标定位数据按照一定的引导步骤引导该工作人员快速找到被识别出的异常目标。
进一步的，所述生成的该工作人员异常目标特征数据中携带的该工作人员的巡视图像数据中构成异常目标的所有像素点已经被异常目标识别模型采用同一种颜色进行标示了。
进一步的，所述目标定位单元生成该工作人员基于当前位置的异常目标定位数据的具体生成规则如下：
S11：所述目标定位单元将该工作人员异常目标特征数据中携带的巡视图像数据采集时刻，标定为定位起始时刻，标记为A1，将语音播报对应的时刻标定为定位终止时刻，标记B1；
S12：获取该工作人员从定位起始时刻A1到定位终止时刻B1内的所有巡视图像数据，并按照获取到的每个巡视图像数据对应的采集时刻距离当前时刻的远近顺序，从远到近依次将所有的巡视图像数据标记为C1、C2、...、Cc，c≥1；
S13：按照一定的获取规则获取巡视图像数据C1的第一定位偏向区域和巡视图像数据C2的第二定位偏向区域，具有如下：
S131：遍历巡视图像数据C1和C2中的所有像素点，获取巡视图像数据C1中的所有偏向特征区域D1、D2、...、Dd，获取巡视图像数据C2中的所有偏向特征区域E1、E2、...、Ed，这里需要说明的是偏向特征区域内不包含构成异常目标的像素点；
所述偏向特征区域D1、D2、...、Dd和偏向特征区域E1、E2、...、Ed一一对应，即巡视图像数据C1中的偏向特征区域中的任意一个像素点在巡视图像数据C2的对应偏向特征区域内都存在唯一一个像素点和其RGB值相同；
S132：获取巡视图像数据C1中的偏向特征区域D1、D2、...、Dd中像素点数量最多的偏向特征区域，将其重新标定为第一定位偏向区域，将第一定位偏向区域在巡视图像数据C2中对应的偏向特征区域，重新标定为第二定位偏向区域；
S14：按照一定的生成步骤生成基于巡视图像数据C1和C2的偏向引导数据；
S15：按照S12到S14分别计算获取基于巡视图像C1和C2、C2和C3、...、Cc-1和Cc的偏向引导数据并依据其生成该工作人员基于当前位置的异常目标定位数据。
进一步的，所述S14生成基于巡视图像数据C1和C2的偏向引导数据的具体生成规则如下：
S141：以巡视图像数据C1的左下角为坐标原点建立以像素为单位的xa-ya直角坐标系，横坐标xa与纵坐标ya分别是在其图像数组中所在的行数和列数；
以巡视图像数据C2的左下角为坐标原点建立以像素为单位的xb-yb直角坐标系，横坐标xb与纵坐标yb分别是在其图像数组中所在的行数和列数；
S142：在xa-ya直角坐标系中，随机获取构成第一定位偏向区域中一个像素点的坐标标记为F1(xa1,ya1)，在xb-yb直角坐标系中获取第二定位偏向区域中与该像素点对应的像素点的坐标标记为G1(xb1,yb1)；
S143：创建基于巡视图像数据C1和C2的空的偏向字典J1；
若xa1≥xb1且ya1≥yb1，则分别将键值对“Horizontal”：“Left”和“vertical”：“down”添加入J1中，此时J1＝{“Horizontal”：
“Left”，“vertical”：“down”}；
若xa1≥xb1且ya1<yb1，则分别将键值对“Horizontal”：“Left”和“vertical”：“up”添加入J1中，此时J1＝{“Horizontal”：
“Left”，“vertical”：“up”}；
若xa1<xb1且ya1≥yb1，则分别将键值对“Horizontal”：“Right”和“vertical”：“down”添加入J1中，此时J1＝{“Horizontal”：
“Right”，“vertical”：“down”}；
若xa1<xb1且ya1<yb1，则分别将键值对“Horizontal”：
“Right”和“vertical”：“up”添加入J1中，此时J1＝{“Horizontal”：“Right”，“vertical”：“up”}，所述J1中的键Horizontal对应的值用以表征第一定位偏向区域中像素点F1偏转到第二定位偏向区域中像素点G1在水平方向上的偏转方向，所述J1中的键vertical对应的值用以表征第一定位偏向区域中像素点F1偏转到第二定位偏向区域中像素点G1在竖直方向上的偏转方向，所述“Left”和“Right”分别指代的是在水平方向上的向左偏转和向右偏转，所述“down”和“up”分别指代的是在竖直方向上向下偏转和向上偏转；
S144：利用公式计算获取第一定位偏向区域中像素点F1偏转到第二定位偏向区域中像素点G1的偏向位移H1，利用公式计算获取第一定位偏向区域中像素点F1偏转到第二定位偏向区域中像素点G1的偏向角度I1，所述(x1,y1)为巡视图像数据C1的中心点坐标；
所述目标定位单元依据偏向位移H1、偏向角度I1和偏向字典J1生成基于巡视图像数据C1和C2的偏向引导数据。
进一步的，所述目标引导单元引导该工作人员快速找到被识别出的异常目标的具体引导步骤如下：
S21：获取接收到的该工作人员基于当前位置异常目标定位数据中携带的基于Cc-1和Cc偏向引导数据中的偏向位移、偏向角度和偏向字典，分别标记为K1、L1和M1；
S22：若偏向字典M1中键“Horizontal”和“vertical”对应的值分别为“Left”和“down”则依据偏向位移K1和偏向角度L1生成水平方向上向右，竖直方向上向上偏转L1度，头部移动K1距离的语音播报音频，将该语音播放音频输入到并将其转换为基于Cc-1和Cc偏向引导数据的引导视频显示在该工作人员佩戴的VR眼镜的显示屏幕上用以引导该工作人员水平方向上向右，竖直方向上向上偏转L1度，头部移动K1距离；
当检测到该工作人员完成水平方向上向右，竖直方向上向上偏转L1度，头部移动K1距离的动作后，再次转换生成基于Cc-2和Cc-1偏向引导数据的引导视频引导该工作人员完成下一个动作，此时所述下一个动作对应的是基于Cc-2和Cc-1偏向引导数据的引导视频；
S23按照S21到S221依次转换生成基于Cc-1和Cc、Cc-2和Cc-1、...、C1和C2偏向引导数据的引导视频并引导该工作人员依次完成Cc-1和Cc、Cc-2和Cc-1、...、C1和C2对应的动作，当完成C1和C2偏向引导数据的引导视频后将接收到的该工作人员异常目标特征数据中携带的巡视图像数据显示在该工作人员佩戴的VR眼镜的显示屏幕上，显示时间为P1，便于该工作人员快速找到被识别出的异常目标，所述P1为预设显示时长。
本发明的有益效果：
本发明通过设置轨道巡检模块对夜晚佩戴VR眼镜巡检城市轨道的工作人员的VR眼镜前方的实时的现实环境的图像进行采集，目标识别模块基于异常目标识别模型对城市轨道内静态的异常目标进行识别，目标定位单元基于识别出静态异常目标时刻和发出告警指令时的时刻基于工作人员当前所处位置依据VR眼睛在该时间段内采集的巡检图像数据对工作人员视野的偏向角度、偏向位移进行获取并确定其在水平和竖直方向上的偏转方向，目标定位单元生成对应的引导视频引导工作人员进行视角回溯，引导工作人员快速找到被识别出的异常目标，避免了在夜间可视条件差且经过长时间的巡检下工作人员对于一些静态的异常目标无法第一时间观察到导致无法快速找到异常目标情况的发生，提高了巡检的质量和效率。
附图说明
下面结合附图对本发明作进一步的说明。
图1是本发明的***框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
如图1所示，智能VR眼镜***，包括轨道巡检模块、目标识别模块和定位引导模块；
所述轨道巡检模块，用于对夜晚佩戴VR眼镜巡检城市轨道的工作人员的VR眼镜前方的实时的现实环境的图像进行采集，所述轨道巡检模块包括若干个巡检单元，一个所述巡检单元对应一个夜晚佩戴VR眼镜巡视城市轨道的工作人员；
所述巡检单元对当前时刻对应夜晚佩戴VR眼镜巡视城市轨道的工作人员的VR眼镜前方的现实环境的图像进行采集获取当前时刻该工作人员的巡视图像数据并记录该巡视图像数据的采集时刻，所述巡视单元依据当前该工作人员的巡视图像数据和其对应的采集时刻生成当前时刻该工作人员的巡视记录数据，所述巡检单元将当前时刻该工作人员的巡视记录数据传输到目标识别模块；
所述目标识别模块，对工作人员的巡视图像数据中出现的静态的异常目标进行识别；所述目标识别模块中存储有异常目标识别模型，所述异常目标识别模型是用来对图像进行异常目标识别并将识别出的异常目标采用语义分割标注法对构成其的所有像素点采用同一种颜色进行标示；
所述城市轨道巡检中的异常目标包括轨道的缺陷、轨道上的垃圾，在本实施例中，所述城市轨道巡检中可以被识别出的异常目标包括轨道的裂缝、磨损、脱落、轨道上的碎石和落叶；
所述目标识别模块接收到巡检单元传输的当前时刻该工作人员的巡视记录数据后将其内携带的当前时刻该工作人员的巡视图像数据输入到异常目标识别模型中，若当前时刻该工作人员的巡视图像数据中不存在异常目标，则将当前时刻该工作人员的巡视记录数据进行临时存储；
反之，所述目标识别模块依据当前时刻该工作人员的巡视记录数据生成该工作人员的异常目标特征数据并生成目标告警指令，这里需要说明的是，该工作人员异常目标特征数据中携带的该工作人员的巡视图像数据中构成异常目标的所有像素点已经被异常目标识别模型采用同一种颜色进行标示了，所述目标识别模块将该工作人员的异常目标特征数据和目标告警指令一起传输到定位引导模块；
所述定位引导模块，对工作人员进行异常目标定位引导，所述定位引导模块包括目标定位单元和目标引导单元；
所述定位引导模块接收到目标识别模块传输的目标告警指令和该工作人员的异常目标特征数据后将其传输到目标定位单元，所述目标定位单元接收到定位引导模块传输的目标告警指令后采用语音播报的形式提示该工作人员发现异常目标并记录语音播报对应的时刻；
所述目标定位单元按照一定的生成规则生成该工作人员基于当前位置的异常目标定位数据，具体如下：
S11：所述目标定位单元将该工作人员异常目标特征数据中携带的巡视图像数据采集时刻，标定为定位起始时刻，标记为A1，将语音播报对应的时刻标定为定位终止时刻，标记B1；
S12：获取该工作人员从定位起始时刻A1到定位终止时刻B1内的所有巡视图像数据，并按照获取到的每个巡视图像数据对应的采集时刻距离当前时刻的远近顺序，从远到近依次将所有的巡视图像数据标记为C1、C2、...、Cc，c≥1，所述巡视图像数据C1对应的是定位起始时刻A1，所述巡视图像数据Cc对应的是定位终止时刻B1；
S13：按照一定的获取规则获取巡视图像数据C1的第一定位偏向区域和巡视图像数据C2的第二定位偏向区域，具有如下：
S131：遍历巡视图像数据C1和C2中的所有像素点，获取巡视图像数据C1中的所有偏向特征区域D1、D2、...、Dd，获取巡视图像数据C2中的所有偏向特征区域E1、E2、...、Ed，这里需要说明的是偏向特征区域内不包含构成异常目标的像素点；
所述偏向特征区域D1、D2、...、Dd和偏向特征区域E1、E2、...、Ed一一对应，即巡视图像数据C1中的偏向特征区域中的任意一个像素点在巡视图像数据C2的对应偏向特征区域内都存在唯一一个像素点和其RGB值相同；
这里需要说明的是，一个所述巡视图像数据C1中的偏向特征区域中包含的像素点的总量和巡视图像数据C2中对应的偏向特征区域内包含的像素点的总量相同；
S132：获取巡视图像数据C1中的偏向特征区域D1、D2、...、Dd中像素点数量最多的偏向特征区域，将其重新标定为第一定位偏向区域，将第一定位偏向区域在巡视图像数据C2中对应的偏向特征区域，重新标定为第二定位偏向区域；
S14：按照一定的生成步骤生成基于巡视图像数据C1和C2的偏向引导数据，具体如下：
S141：以巡视图像数据C1的左下角为坐标原点建立以像素为单位的xa-ya直角坐标系，横坐标xa与纵坐标ya分别是在其图像数组中所在的行数和列数；
以巡视图像数据C2的左下角为坐标原点建立以像素为单位的xb-yb直角坐标系，横坐标xb与纵坐标yb分别是在其图像数组中所在的行数和列数；
S142：在xa-ya直角坐标系中，随机获取构成第一定位偏向区域中一个像素点的坐标标记为F1(xa1,ya1)，在xb-yb直角坐标系中获取第二定位偏向区域中与该像素点对应的像素点的坐标标记为G1(xb1,yb1)；
S143：创建基于巡视图像数据C1和C2的空的偏向字典J1；
若xa1≥xb1且ya1≥yb1，则分别将键值对“Horizontal”：“Left”和“vertical”：“down”添加入J1中，此时J1＝{“Horizontal”：
“Left”，“vertical”：“down”}；
若xa1≥xb1且ya1<yb1，则分别将键值对“Horizontal”：“Left”和“vertical”：“up”添加入J1中，此时J1＝{“Horizontal”：
“Left”，“vertical”：“up”}；
若xa1<xb1且ya1≥yb1，则分别将键值对“Horizontal”：“Right”和“vertical”：“down”添加入J1中，此时J1＝{“Horizontal”：“Right”，“vertical”：“down”}；
若xa1<xb1且ya1<yb1，则分别将键值对“Horizontal”：“Right”和“vertical”：“up”添加入J1中，此时J1＝{“Horizontal”：“Right”，“vertical”：“up”}，所述J1中的键Horizontal对应的值用以表征第一定位偏向区域中像素点F1偏转到第二定位偏向区域中像素点G1在水平方向上的偏转方向，所述J1中的键vertical对应的值用以表征第一定位偏向区域中像素点F1偏转到第二定位偏向区域中像素点G1在竖直方向上的偏转方向，所述“Left”和“Right”分别指代的是在水平方向上的向左偏转和向右偏转，所述“down”和“up”分别指代的是在竖直方向上向下偏转和向上偏转；
S144：利用公式计算获取第一定位偏向区域中像素点F1偏转到第二定位偏向区域中像素点G1的偏向位移H1，利用公式计算获取第一定位偏向区域中像素点F1偏转到第二定位偏向区域中像素点G1的偏向角度I1，所述(x1,y1)为巡视图像数据C1的中心点坐标；
所述目标定位单元依据偏向位移H1、偏向角度I1和偏向字典J1生成基于巡视图像数据C1和C2的偏向引导数据；
S15：按照S12到S14分别计算获取基于巡视图像C1和C2、C2和C3、...、Cc-1和Cc的偏向引导数据并依据其生成该工作人员基于当前位置的异常目标定位数据；
所述目标定位单元将该工作人员基于当前位置的异常目标定位数据传输到目标引导单元；
所述目标引导单元接收到目标定位单元传输的该工作人员基于当前位置的异常目标定位数据后按照一定的引导生成步骤生成该工作人员，具体如下：
S21：获取接收到的该工作人员基于当前位置异常目标定位数据中携带的基于Cc-1和Cc偏向引导数据中的偏向位移、偏向角度和偏向字典，分别标记为K1、L1和M1；
S22：若偏向字典M1中键“Horizontal”和“vertical”对应的值分别为“Left”和“down”则依据偏向位移K1和偏向角度L1生成水平方向上向右，竖直方向上向上偏转L1度，头部移动K1距离的语音播报音频，将该语音播放音频输入到并将其转换为基于Cc-1和Cc偏向引导数据的引导视频显示在该工作人员佩戴的VR眼镜的显示屏幕上用以引导该工作人员水平方向上向右，竖直方向上向上偏转L1度，头部移动K1距离；
当检测到该工作人员完成水平方向上向右，竖直方向上向上偏转L1度，头部移动K1距离的动作后，再次转换生成基于Cc-2和Cc-1偏向引导数据的引导视频引导该工作人员完成下一个动作，此时所述下一个动作对应的是基于Cc-2和Cc-1偏向引导数据的引导视频；
S23按照S21到S221依次转换生成基于Cc-1和Cc、Cc-2和Cc-1、...、C1和C2偏向引导数据的引导视频并引导该工作人员依次完成Cc-1和Cc、Cc-2和Cc-1、...、C1和C2对应的动作，当完成C1和C2偏向引导数据的引导视频后将接收到的该工作人员异常目标特征数据中携带的巡视图像数据显示在该工作人员佩戴的VR眼镜的显示屏幕上，显示时间为P1，便于该工作人员快速找到被识别出的异常目标，所述P1为预设显示时长；
在说明书的描述中，参考术语“一个实施例”、“示例”、“具体示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
以上内容仅仅是对本发明所作的举例和说明，所属本技术领域的技术人员对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，只要不偏离发明或者超越本权利要求书所定义的范围，均应属于本发明的保护范围。
以上对本发明的一个实施例进行了详细说明，但所述内容仅为本发明的较佳实施例，不能被认为用于限定本发明的实施范围。凡依本发明申请范围所作的均等变化与改进等，均应仍归属于本发明的专利涵盖范围之内。

Claims (5)

1.智能VR眼镜***，其特征在于，包括：
轨道巡检模块，用于对夜晚佩戴VR眼镜巡检城市轨道的工作人员的VR眼镜前方的实时的现实环境的图像进行采集，所述轨道巡检模块包括若干个巡检单元，一个所述巡检单元对应一个夜晚佩戴VR眼镜巡视城市轨道的工作人员；
所述巡检单元对当前时刻对应夜晚佩戴VR眼镜巡视城市轨道的工作人员的VR眼镜前方的现实环境的图像进行采集获取当前时刻该工作人员的巡视图像数据并记录该巡视图像数据的采集时刻，所述巡视单元依据当前该工作人员的巡视图像数据和其对应的采集时刻生成当前时刻该工作人员的巡视记录数据；
目标识别模块，对工作人员的巡视图像数据中出现的静态的异常目标进行识别，所述目标识别模块中存储有异常目标识别模型，所述异常目标识别模型是用来对图像进行异常目标识别并将识别出的异常目标采用语义分割标注法对构成其的所有像素点采用同一种颜色进行标示；
所述目标识别模块将接收到的当前时刻该工作人员的巡视记录数据内携带的该工作人员的巡视图像数据输入到异常目标识别模型中，若当前时刻该工作人员的巡视图像数据中不存在异常目标，则将当前时刻该工作人员的巡视记录数据进行临时存储；反之，所述目标识别模块依据当前时刻该工作人员的巡视记录数据生成该工作人员的异常目标特征数据并生成目标告警指令；
定位引导模块，用于对工作人员进行异常目标定位引导，所述定位引导模块包括目标定位单元和目标引导单元，所述目标定位单元接收到传输的目标告警指令后采用语音播报的形式提示该工作人员发现异常目标并记录语音播报对应的时刻，所述目标定位单元按照一定的生成规则生成该工作人员基于当前位置的异常目标定位数据；
所述目标引导单元依据接收到的该工作人员基于当前位置的异常目标定位数据按照一定的引导步骤引导该工作人员快速找到被识别出的异常目标。
2.根据权利要求1所述的智能VR眼镜***，其特征在于，所述生成的该工作人员异常目标特征数据中携带的该工作人员的巡视图像数据中构成异常目标的所有像素点已经被异常目标识别模型采用同一种颜色进行标示了。
3.根据权利要求1所述的智能VR眼镜***，其特征在于，所述目标定位单元生成该工作人员基于当前位置的异常目标定位数据的具体生成规则如下：
S11：所述目标定位单元将该工作人员异常目标特征数据中携带的巡视图像数据采集时刻，标定为定位起始时刻，标记为A1，将语音播报对应的时刻标定为定位终止时刻，标记B1；
S12：获取该工作人员从定位起始时刻A1到定位终止时刻B1内的所有巡视图像数据，并按照获取到的每个巡视图像数据对应的采集时刻距离当前时刻的远近顺序，从远到近依次将所有的巡视图像数据标记为C1、C2、...、Cc，c≥1；
S13：按照一定的获取规则获取巡视图像数据C1的第一定位偏向区域和巡视图像数据C2的第二定位偏向区域，具有如下：
S131：遍历巡视图像数据C1和C2中的所有像素点，获取巡视图像数据C1中的所有偏向特征区域D1、D2、...、Dd，获取巡视图像数据C2中的所有偏向特征区域E1、E2、...、Ed，这里需要说明的是偏向特征区域内不包含构成异常目标的像素点；
所述偏向特征区域D1、D2、...、Dd和偏向特征区域E1、E2、...、Ed一一对应，即巡视图像数据C1中的偏向特征区域中的任意一个像素点在巡视图像数据C2的对应偏向特征区域内都存在唯一一个像素点和其RGB值相同；
S132：获取巡视图像数据C1中的偏向特征区域D1、D2、...、Dd中像素点数量最多的偏向特征区域，将其重新标定为第一定位偏向区域，将第一定位偏向区域在巡视图像数据C2中对应的偏向特征区域，重新标定为第二定位偏向区域；
S14：按照一定的生成步骤生成基于巡视图像数据C1和C2的偏向引导数据；
S15：按照S12到S14分别计算获取基于巡视图像C1和C2、C2和C3、...、Cc-1和Cc的偏向引导数据并依据其生成该工作人员基于当前位置的异常目标定位数据。
4.根据权利要求3所述的智能VR眼镜***，其特征在于，所述S14生成基于巡视图像数据C1和C2的偏向引导数据的具体生成规则如下：
S141：以巡视图像数据C1的左下角为坐标原点建立以像素为单位的xa-ya直角坐标系，横坐标xa与纵坐标ya分别是在其图像数组中所在的行数和列数；
以巡视图像数据C2的左下角为坐标原点建立以像素为单位的xb-yb直角坐标系，横坐标xb与纵坐标yb分别是在其图像数组中所在的行数和列数；
S142：在xa-ya直角坐标系中，随机获取构成第一定位偏向区域中一个像素点的坐标标记为F1(xa1,ya1)，在xb-yb直角坐标系中获取第二定位偏向区域中与该像素点对应的像素点的坐标标记为G1(xb1,yb1)；
S143：创建基于巡视图像数据C1和C2的空的偏向字典J1；
若xa1≥xb1且ya1≥yb1，则分别将键值对“Horizontal”：“Left”和“vertical”：“down”添加入J1中，此时J1＝{“Horizontal”：“Left”，“vertical”：“down”}；
若xa1≥xb1且ya1<yb1，则分别将键值对“Horizontal”：“Left”和“vertical”：“up”添加入J1中，此时J1＝{“Horizontal”：“Left”，“vertical”：“up”}；
若xa1<xb1且ya1≥yb1，则分别将键值对“Horizontal”：“Right”和“vertical”：“down”添加入J1中，此时J1＝{“Horizontal”：“Right”，“vertical”：“down”}；
若xa1<xb1且ya1<yb1，则分别将键值对“Horizontal”：“Right”和“vertical”：“up”添加入J1中，此时J1＝{“Horizontal”：“Right”，“vertical”：“up”}，所述J1中的键Horizontal对应的值用以表征第一定位偏向区域中像素点F1偏转到第二定位偏向区域中像素点G1在水平方向上的偏转方向，所述J1中的键vertical对应的值用以表征第一定位偏向区域中像素点F1偏转到第二定位偏向区域中像素点G1在竖直方向上的偏转方向，所述“Left”和“Right”分别指代的是在水平方向上的向左偏转和向右偏转，所述“down”和“up”分别指代的是在竖直方向上向下偏转和向上偏转；
S144：利用公式计算获取第一定位偏向区域中像素点F1偏转到第二定位偏向区域中像素点G1的偏向位移H1，利用公式计算获取第一定位偏向区域中像素点F1偏转到第二定位偏向区域中像素点G1的偏向角度I1，所述(x1,y1)为巡视图像数据C1的中心点坐标；
所述目标定位单元依据偏向位移H1、偏向角度I1和偏向字典J1生成基于巡视图像数据C1和C2的偏向引导数据。
5.根据权利要求4所述的智能VR眼镜***，其特征在于，所述目标引导单元引导该工作人员快速找到被识别出的异常目标的具体引导步骤如下：
S21：获取接收到的该工作人员基于当前位置异常目标定位数据中携带的基于Cc-1和Cc偏向引导数据中的偏向位移、偏向角度和偏向字典，分别标记为K1、L1和M1；
S22：若偏向字典M1中键“Horizontal”和“vertical”对应的值分别为“Left”和“down”则依据偏向位移K1和偏向角度L1生成水平方向上向右，竖直方向上向上偏转L1度，头部移动K1距离的语音播报音频，将该语音播放音频输入到并将其转换为基于Cc-1和Cc偏向引导数据的引导视频显示在该工作人员佩戴的VR眼镜的显示屏幕上用以引导该工作人员水平方向上向右，竖直方向上向上偏转L1度，头部移动K1距离；
当检测到该工作人员完成水平方向上向右，竖直方向上向上偏转L1度，头部移动K1距离的动作后，再次转换生成基于Cc-2和Cc-1偏向引导数据的引导视频引导该工作人员完成下一个动作，此时所述下一个动作对应的是基于Cc-2和Cc-1偏向引导数据的引导视频；
S23按照S21到S221依次转换生成基于Cc-1和Cc、Cc-2和Cc-1、...、C1和C2偏向引导数据的引导视频并引导该工作人员依次完成Cc-1和Cc、Cc-2和Cc-1、...、C1和C2对应的动作，当完成C1和C2偏向引导数据的引导视频后将接收到的该工作人员异常目标特征数据中携带的巡视图像数据显示在该工作人员佩戴的VR眼镜的显示屏幕上，显示时间为P1，便于该工作人员快速找到被识别出的异常目标，所述P1为预设显示时长。
CN202311257185.XA 2023-09-27 2023-09-27 智能vr眼镜*** Pending CN117555141A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311257185.XA CN117555141A (zh) 2023-09-27 2023-09-27 智能vr眼镜***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311257185.XA CN117555141A (zh) 2023-09-27 2023-09-27 智能vr眼镜***

Publications (1)

Publication Number Publication Date
CN117555141A true CN117555141A (zh) 2024-02-13

Family

ID=89817414

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311257185.XA Pending CN117555141A (zh) 2023-09-27 2023-09-27 智能vr眼镜***

Country Status (1)

Country Link
CN (1) CN117555141A (zh)

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109658397A (zh) * 2018-12-12 2019-04-19 广州地铁集团有限公司 一种轨道巡检方法及***
US20190191805A1 (en) * 2017-12-22 2019-06-27 State Grid Hunan Electric Power Company Limited Wearable equipment for substation maintenance mobile inspection and application method thereof
CN110297498A (zh) * 2019-06-13 2019-10-01 暨南大学 一种基于无线充电无人机的轨道巡检方法及***
CN211787224U (zh) * 2020-04-26 2020-10-27 深圳市阡丘越科技有限公司 一种轨道交通巡检设备
CN113726606A (zh) * 2021-08-30 2021-11-30 杭州申昊科技股份有限公司 异常检测方法及装置、电子设备、存储介质
CN114582039A (zh) * 2022-03-18 2022-06-03 广东电网有限责任公司 一种智能巡检***、方法、电子设备及存储介质
US20220201985A1 (en) * 2020-12-28 2022-06-30 Zhejiang University Patrol helmet and method for livestock and poultry farms
CN114863489A (zh) * 2022-07-05 2022-08-05 河北工业大学 基于虚拟现实的可移动式智慧工地辅助巡检方法和***
CN115600124A (zh) * 2022-09-07 2023-01-13 昆明地铁运营有限公司（Cn） 地铁隧道巡检***及巡检方法
CN116384963A (zh) * 2023-03-20 2023-07-04 国家能源集团海控新能源有限公司大广坝水电厂 一种基于ar设备的设备巡检指导方法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190191805A1 (en) * 2017-12-22 2019-06-27 State Grid Hunan Electric Power Company Limited Wearable equipment for substation maintenance mobile inspection and application method thereof
CN109658397A (zh) * 2018-12-12 2019-04-19 广州地铁集团有限公司 一种轨道巡检方法及***
CN110297498A (zh) * 2019-06-13 2019-10-01 暨南大学 一种基于无线充电无人机的轨道巡检方法及***
CN211787224U (zh) * 2020-04-26 2020-10-27 深圳市阡丘越科技有限公司 一种轨道交通巡检设备
US20220201985A1 (en) * 2020-12-28 2022-06-30 Zhejiang University Patrol helmet and method for livestock and poultry farms
CN113726606A (zh) * 2021-08-30 2021-11-30 杭州申昊科技股份有限公司 异常检测方法及装置、电子设备、存储介质
CN114582039A (zh) * 2022-03-18 2022-06-03 广东电网有限责任公司 一种智能巡检***、方法、电子设备及存储介质
CN114863489A (zh) * 2022-07-05 2022-08-05 河北工业大学 基于虚拟现实的可移动式智慧工地辅助巡检方法和***
CN115600124A (zh) * 2022-09-07 2023-01-13 昆明地铁运营有限公司（Cn） 地铁隧道巡检***及巡检方法
CN116384963A (zh) * 2023-03-20 2023-07-04 国家能源集团海控新能源有限公司大广坝水电厂 一种基于ar设备的设备巡检指导方法

Similar Documents

Publication Publication Date Title
CN110826538B (zh) 一种用于电力营业厅的异常离岗识别***
CN110738127B (zh) 基于无监督深度学习神经网络算法的安全帽识别方法
CN108491758B (zh) 一种轨道检测方法及机器人
CN103413395B (zh) 烟气智能检测预警方法及装置
CN103279949B (zh) 基于自定位机器人的多相机参数自动标定***运行方法
CN110363742B (zh) 一种基于cnn和图像处理的转辙机缺口检测方法
CN111144262A (zh) 一种基于监控视频的工序异常检测方法
CN113947731B (zh) 一种基于接触网安全巡检的异物识别方法及***
CN104966304A (zh) 基于卡尔曼滤波与非参数背景模型的多目标检测跟踪方法
US11927944B2 (en) Method and system for connected advanced flare analytics
CN102759347A (zh) 一种高铁接触网在线巡检装置、巡检方法以及其构成的高铁接触网检测***
CN112960014B (zh) 基于人工智能的轨道交通运行安全在线实时监测预警管理云平台
CN113807240A (zh) 基于非配合式人脸识别的变电站人员着装智能监控方法
CN110096945B (zh) 基于机器学习的室内监控视频关键帧实时提取方法
CN113011252B (zh) 轨道异物侵限检测***及方法
CN114565845A (zh) 一种地下隧道智能巡检***
CN113450471A (zh) 一种生产园区智能巡检***
CN115311740A (zh) 一种电网基建现场人体异常行为识别方法及***
CN113487821A (zh) 基于机器视觉的电力设备异物入侵识别***及方法
CN112508911A (zh) 基于巡检机器人的轨交接触网悬挂支撑部件裂纹检测***及其检测方法
CN116824726A (zh) 一种校园环境智能巡检方法及***
CN117555141A (zh) 智能vr眼镜***
CN113487166A (zh) 一种基于卷积神经网络的化纤飘丝质量检测方法及***
CN116152945A (zh) 一种基于ar技术的矿下巡检***及方法
CN114724091A (zh) 一种输电线路导线异物识别方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination