CN115310880B - 一种用于库存盘亏情况的ar交互方法及*** - Google Patents
一种用于库存盘亏情况的ar交互方法及*** Download PDFInfo
- Publication number
- CN115310880B CN115310880B CN202211238368.2A CN202211238368A CN115310880B CN 115310880 B CN115310880 B CN 115310880B CN 202211238368 A CN202211238368 A CN 202211238368A CN 115310880 B CN115310880 B CN 115310880B
- Authority
- CN
- China
- Prior art keywords
- head
- fluctuation range
- normal
- abnormal
- value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 67
- 230000003993 interaction Effects 0.000 title claims abstract description 55
- 230000002159 abnormal effect Effects 0.000 claims abstract description 65
- 239000013598 vector Substances 0.000 claims abstract description 32
- 230000006870 function Effects 0.000 claims description 21
- 230000006735 deficit Effects 0.000 claims description 19
- 230000007812 deficiency Effects 0.000 claims description 14
- 238000012549 training Methods 0.000 claims description 12
- 206010061619 Deformity Diseases 0.000 claims description 11
- 238000004590 computer program Methods 0.000 claims description 6
- 238000005070 sampling Methods 0.000 claims description 6
- 230000008569 process Effects 0.000 abstract description 21
- 239000000463 material Substances 0.000 abstract description 2
- 239000011521 glass Substances 0.000 description 14
- 230000008859 change Effects 0.000 description 9
- 230000001133 acceleration Effects 0.000 description 7
- 230000007547 defect Effects 0.000 description 7
- 238000004364 calculation method Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 230000006399 behavior Effects 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 239000000203 mixture Substances 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 238000006073 displacement reaction Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000003213 activating effect Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 229910001220 stainless steel Inorganic materials 0.000 description 1
- 239000010935 stainless steel Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
- G06Q10/06395—Quality analysis or management
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
- G06Q10/06393—Score-carding, benchmarking or key performance indicator [KPI] analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/08—Logistics, e.g. warehousing, loading or distribution; Inventory or stock management
- G06Q10/087—Inventory or stock management, e.g. order filling, procurement or balancing against orders
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
Landscapes
- Business, Economics & Management (AREA)
- Human Resources & Organizations (AREA)
- Engineering & Computer Science (AREA)
- Economics (AREA)
- Strategic Management (AREA)
- Development Economics (AREA)
- Entrepreneurship & Innovation (AREA)
- Educational Administration (AREA)
- Operations Research (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Quality & Reliability (AREA)
- Tourism & Hospitality (AREA)
- Physics & Mathematics (AREA)
- General Business, Economics & Management (AREA)
- Marketing (AREA)
- Game Theory and Decision Science (AREA)
- Accounting & Taxation (AREA)
- Finance (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明涉及物资管理技术领域，具体涉及一种用于库存盘亏情况的AR交互方法及***，该方法获取抬头盘亏事件的定位误差序列、显示对象的数量序列、定位误差序列的体验质量系数、数量序列的定位性能指标和盘亏对象的语义描述子，组成状态特征向量；根据状态特征向量对多个抬头盘亏事件进行聚类，得到正常簇和异常簇；计算每个抬头盘亏事件的隶属度以获取显示对象的正常数量波动范围和异常数量波动范围；基于正常簇对GRU预测网络进行训练以得到显示对象的预测数量，结合预测数量、正常数量波动范围和异常数量波动范围确认显示对象的显示策略，在定位不可靠的情况下帮助使用者确定盘亏对象的位置和数量，减少AR交互过程中的不良体验。
Description
技术领域
本发明涉及物资管理技术领域，具体涉及一种用于库存盘亏情况的AR交互方法及***。
背景技术
目前AR眼镜常用于工业中的库存盘点，但在针对高度较高、网格较密集的盘点任务中，由于AR眼镜定位技术主要以主动式ToF或结构光为主、基于关键点和IMU的视觉里程计为辅，因此针对观测较高较远的场景时会出现以下问题：货架过高，超过AR眼镜主动测量距离从而导致定位误差较大；由于照明设施导致逆光，视觉里程计暂时失效，只能依赖IMU进行积分，上述问题对库存AR眼镜的定位性能会造成误差。
由于过多的信息呈现会反复遮挡，过少的信息会让使用者难以确定盘亏对象的位置，因此针对库存盘亏的应用，需要对AR眼镜的定位状态进行实时监测，从而确定呈现多少信息以辅助人进行具***置的判别。目前的库存盘亏的应用中，使用者自行调整信息呈现的多少，可以在一定程度上缓解“摸黑”找位置的情况，但在正常的盘亏工作中又会因信息呈现冗杂而影响体验。
发明内容
为了解决上述技术问题，本发明的目的在于提供一种用于库存盘亏情况的AR交互方法及***，所采用的技术方案具体如下：
第一方面，本发明实施例中提供了一种用于库存盘亏情况的AR交互方法，该方法包括以下步骤：
在抬头盘亏事件的抬头交互时间内，基于设定的采样频率得到定位误差序列和显示对象的数量序列，分别计算定位误差序列的体验质量系数和数量序列的定位性能指标，并根据货物名称标签获取盘亏对象的语义描述子；将定位误差序列、数量序列、体验质量系数、定位性能指标和语义描述子组成抬头盘亏事件的状态特征向量；
获取多个抬头盘亏事件的状态特征向量，根据状态特征向量计算任意两个抬头盘亏事件的整体状态差异指标，基于整体状态差异指标对抬头盘亏事件进行聚类，得到两个簇，分别为正常簇和异常簇；分别计算每个抬头盘亏事件与其所属簇中其他抬头盘亏事件的显示对象的数量相似性，基于数量相似性得到每个抬头盘亏事件的隶属度；基于簇中每个抬头盘亏事件的隶属度分别获取显示对象的正常数量波动范围和异常数量波动范围；
利用正常簇中的抬头盘亏事件的数量序列对GRU预测网络进行训练；利用训练好的GRU预测网络获取未来抬头交互时间内的显示对象的预测数量，结合预测数量、正常数量波动范围和异常数量波动范围确认显示对象的显示策略。
进一步的，所述体验质量系数的获取方法，包括：
获取定位误差序列的中值和平均值，计算中值与平均值的差值，利用ReLU函数获取差值的取值，将取值与设定常数之和的倒数作为体验质量系数。
进一步的，所述定位性能指标的获取方法，包括：
获取数量序列的最大数量、数量中值和平均数量，分别计算最大数量和数量中值的第一数量差值、数量中值和平均数量的第二数量差值的绝对值，以第一数量差值与预设值的和为分母、第二数量差值的绝对值为分子得到对应的第一比值，将第一比值与体验质量系数的乘积作为定位性能指标。
进一步的，所述根据状态特征向量计算任意两个抬头盘亏事件的整体状态差异指标的方法，包括：
利用L1函数计算两个抬头盘亏事件对应状态特征向量中定位性能指标的平均绝对误差，并利用
函数计算这两个抬头盘亏事件对应状态特征向量中定位误差序列的相似度，以相似度和预设值的和为分母、平均绝对误差为分子得到对应的第二比值，将第二比值作为整体状态差异指标。
进一步的，所述数量相似性的获取方法，包括：
基于状态特征向量，分别获取两个抬头盘亏事件对应数量序列的极差值，利用L1函数计算极差值的平均绝对误差值，计算这两个抬头盘亏事件之间对应数量序列的相似距离；以平均绝对误差值为分母、相似距离为分子得到对应的第三比值；
计算这两个抬头盘亏事件对应语义描述子的余弦距离，将第三比值与余弦距离的乘积的相反数作为这两个抬头盘亏事件的数量相似性。
进一步的，所述基于数量相似性得到每个抬头盘亏事件的隶属度的方法，包括：
将当前抬头盘亏事件与其所属簇中每个其他抬头盘亏事件之间的数量相似性相加得到当前抬头盘亏事件的隶属度。
进一步的，所述正常数量波动范围的获取方法，包括：
在正常簇中基于隶属度从大到小的顺序选取隶属度的TOP-5所对应的抬头盘亏事件，获取这些抬头盘亏事件对应数量序列中的最大值和最小值，构成正常数量波动范围。
进一步的，所述异常数量波动范围的获取方法，包括：
在异常簇中基于隶属度从小到大的顺序选取隶属度的TOP-5所对应的抬头盘亏事件，获取这些抬头盘亏事件对应数量序列中的最大值和最小值，构成异常数量波动范围。
进一步的，所述结合预测数量、正常数量波动范围和异常数量波动范围确认显示对象的显示策略的方法，包括：
在正常数量波动范围与异常数量波动范围不存在交集的情况下：当预测数量大于正常数量波动范围的上限时，将显示对象的数量调整为正常数量波动范围的上限所对应的数值；当预测数量小于正常数量波动范围的下限时，将显示对象的数量调整为正常数量波动范围的下限所对应的数值；当预测数量处于正常数量波动范围时，将显示对象的数量调整为预测数量；
在正常数量波动范围与异常数量波动范围存在交集的情况下：当正常数量波动范围处于异常数量波动范围内且预测数量大于异常数量波动范围的上限时，将显示对象的数量调整为异常数量波动范围的上限所对应的数值；当正常数量波动范围的上限大于异常数量波动范围的上限且预测数量处于正常数量波动范围内时，将显示对象的数量调整为异常数量波动范围的上限所对应的数值；当正常数量波动范围的下限大于异常数量波动范围的下限且预测数量处于正常数量波动范围内时，将显示对象的数量调整为异常数量波动范围的下限所对应的数值。
第二方面，本发明实施例还提供了一种用于库存盘亏情况的AR交互***，包括存储器、处理器以及存储在所述存储器中并在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述任意一项所述方法的步骤。
本发明实施例至少具有如下有益效果：本方案根据抬头盘亏事件的抬头交互时间内定位误差、显示对象的数量以及盘亏对象的语义描述子，得到对应抬头盘亏事件的状态特征向量，基于状态特征向量将多个抬头盘亏事件进行聚类，得到正常簇和异常簇，基于同一簇中的抬头盘亏事件的状态特征向量的差异计算每个抬头盘亏事件的隶属度，基于隶属度获取显示对象的正常数量波动范围和异常数量波动范围，同时利用正常簇中显示对象的数量训练GRU预测网络，提高GRU预测网络的训练效果，使得GRU预测网络得到的预测数量更加准确，结合预测数量、正常数量波动范围和异常数量波动范围对显示对象的显示策略进行调整，能够明显提高抬头盘亏交互的状态，以在定位不可靠的情况下帮助AR眼镜使用者确定盘亏对象的位置和数量，并减少交互过程中出现难以估算位置、反复等待定位收敛以及定位收敛失效而重新抬头查看等不良体验。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案和优点，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。
图1为本发明一个实施例提供的一种用于库存盘亏情况的AR交互方法的步骤流程图。
具体实施方式
为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本发明提出的一种用于库存盘亏情况的AR交互方法及***，其具体实施方式、结构、特征及其功效，详细说明如下。在下述说明中，不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外，一或多个实施例中的特定特征、结构或特点可由任何合适形式组合。
除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。
本发明实施例所针对的具体场景为：本方案以Hololens为实际的AR体验装备针对明显的抬头盘亏交互进行优化，从而在定位不可靠的情况下增多显示的邻域内容，帮助使用者确定盘亏对象的位置和数量，避免交互过程中出现难以估算位置、反复等待定位收敛、定位收敛失效而重新抬头查看等不良体验。
下面结合附图具体的说明本发明所提供的一种用于库存盘亏情况的AR交互方法及***的具体方案。
请参阅图1，其示出了本发明一个实施例提供的一种用于库存盘亏情况的AR交互方法的步骤流程图，该方法包括以下步骤：
步骤S001，在抬头盘亏事件的抬头交互时间内，基于设定的采样频率得到定位误差序列和显示对象的数量序列，分别计算定位误差序列的体验质量系数和数量序列的定位性能指标，并根据货物名称标签获取盘亏对象的语义描述子；将定位误差序列、数量序列、体验质量系数、定位性能指标和语义描述子组成抬头盘亏事件的状态特征向量。
具体的，由于抬头后很容易导致现有AR技术的相机位姿估计方法失效，而鉴于扩展卡尔曼滤波等惯导算法和视觉里程计算法的输出差异会因此变大，因此在实际体验中会产生较为明显的相机位置估计值的直线漂移和抖动，而相机的旋转参数不会发生较大变化，则设定一个抬头事件触发阈值，即当人的头部相较于水平地面出现了大于15°的向上俯仰角，且超过1s时，视为出现了抬头盘亏事件。
由于抬头盘亏后的定位状态随时可能发生变化，尤其是光照较差或面向的货架表面不锈钢的情况，因此会出现定位误差过大而失效的情况，从而导致抬头盘亏的体验中AR叠加信息和实际观测信息之间的位置会产生一定误差。因此对相对的水平位移进行评估，确定的定位误差体验质量系数。
当出现了抬头盘亏事件后，根据定位位置计算抬头后AR眼镜的线加速度，用于表征人带着AR眼镜的行走特征，并将线加速度作为对应定位位置的定位误差。由于线加速度不会很大，但抬头后约束AR眼镜位置的特征较少，因此在不断的定位修正时，会产生虚假的较大线加速度，则在抬头盘亏事件的抬头交互时间内，设置采样频率为1S，一秒得到一个定位误差，进而基于设定的采样频率得到定位误差序列T。
基于抬头交互时间内的定位误差变化确定定位误差的体验质量系数H：获取定位误差序列的中值和平均值，计算中值与平均值的差值，利用ReLU函数获取差值的取值，将取值与设定常数之和的倒数作为体验质量系数。
作为一个示例，体验质量系数
的计算公式为：
其中，
为均值函数；
为中值函数；
为激活函数，当中括号里的数值小于0时，则取值为0，反之，取值为中括号里的原值；1为设定常数。
在抬头盘亏过程中，显示对象的多少会辅助或影响使用者对盘亏对象的位置判断，然而在抬头交互时间内对显示对象的数量大小的采样频率同样为1S，在使用者转头查看的过程中，基于使用者的画面统计显示对象的数量，进而在抬头盘亏事件的抬头交互时间内得到显示对象的数量序列N。
结合定位误差的体验质量系数H和显示对象的数量序列N来分析抬头盘亏事件的定位性能K：获取数量序列的最大数量、数量中值和平均数量，分别计算最大数量和数量中值的第一数量差值、数量中值和平均数量的第二数量差值的绝对值，以第一数量差值与预设值的和为分母、第二数量差值的绝对值为分子得到对应的比值，将比值与体验质量系数的乘积作为定位性能指标。
作为一个示例，定位性能指标K的计算公式为：
其中，
为数量序列N中的最大数量；
为数量序列N中的数量中值；
为数量序列N中的平均数量；1为预设值。
利用数量序列N中的最大数量的数量中值来表示使用时的显示对象的数量是否和历史使用时的数量发生较大的变化；定位误差越适宜，说明抬头盘亏事件的交互过程越稳定，体验质量系数H越大，对应定位性能指标K越大；数量中值分别与最大数量、平均数量的差值越小，则认为抬头盘亏事件的交互过程的定位性能越大。
需要说明的是，对于显示对象的数量采集过程，本方案暂不介入控制显示对象的数量，因此显示对象的实际数量由使用者自行增减，如何控制目标对象的周围显示对象的数量的增减，是AR体验中较为基础的技术手段，是多样且简单的，本发明不再赘述。
由于基于盘亏对象的货物名称标签可以查看盘亏对象的存放环境，因此基于盘亏对象的货物名称标签能够查看周围是否出现典型的盘亏对象。利用抬头盘亏事件的抬头交互时间内出现的盘亏对象的货物名称标签，体现抬头盘亏事件的交互过程中盘亏对象的语义上下文，从而能够显著分辨出一些周边对象对盘亏对象的位置参考的信息。
首先基于盘亏对象的库存货物名称标签进行分词，构建词袋模型，然后抬头盘亏事件的抬头交互时间内出现的盘亏对应的货物名称标签进行词统计，在统计过程中，每秒添加一次画面中已显示的盘亏对象的货物名称标签，直到使用者低头结束盘亏交互；基于词袋模型的统计词频后，会得到抬头盘亏事件的抬头交互时间内的所有词的词频，除此之外，还需要对常见词汇和领域重复出现的词汇进行排除；最后基于词频利用TF-IDF算法进行特征值的计算，得到抬头盘亏事件的抬头交互时间内盘亏对象的语义描述子m，TF-IDF算法为公知技术，本方案不再赘述。
需要说明的是，添加盘亏对象的货物名称标签是无需有序的，只需要分析其出现的频率，对其进行词频统计。
将一个抬头盘亏事件的抬头交互时间内的定位误差序列T、数量序列N、体验质量系数H、定位性能指标K和语义描述子m组成抬头盘亏事件的状态特征向量{T,N,H,K,m}。
步骤S002，获取多个抬头盘亏事件的状态特征向量，根据状态特征向量计算任意两个抬头盘亏事件的整体状态差异指标，基于整体状态差异指标对抬头盘亏事件进行聚类，得到两个簇，分别为正常簇和异常簇；分别计算每个抬头盘亏事件与其所属簇中其他抬头盘亏事件的显示对象的数量相似性，基于数量相似性得到每个抬头盘亏事件的隶属度；基于簇中每个抬头盘亏事件的隶属度分别获取显示对象的正常数量波动范围和异常数量波动范围。
具体的，利用步骤S001的方法获取多个抬头盘亏事件的状态特征向量，基于状态特征向量对每个抬头盘亏事件进行状态检测：根据状态特征向量计算任意两个抬头盘亏事件的整体状态差异指标，基于整体状态差异指标对抬头盘亏事件进行聚类，得到两个簇，分别为正常簇和异常簇。
作为一个示例，分别计算两个抬头盘亏事件对应状态特征向量中定位性能指标的差值平方和定位误差序列的相似距离，利用常数对相似距离进行优化，以优化后的相似距离为分母、差值平方为分子得到对应比值，将比值的相反数代入以常数e为底的指数函数得到整体状态差异指标；将整体状态差异指标作为差异距离，基于差异距离，利用高斯混合模型GMM对抬头盘亏事件进行聚类，即设定两个质心，根据质心对应的集群进行聚类，距离集群对应的高斯中心越近，越有可能属于该集群，进而得到两个簇，其中簇形成差异的原因主要是因为查看场景的物理条件和AR眼镜的定位性能，因此将两个簇分为一个正常簇和一个异常簇；计算每个簇中对应抬头盘亏事件的显示对象的数量序列的均值，将均值最大的簇作为异常簇。
需要说明的是，使用高斯混合模型GMM的原因是：由于每个抬头盘亏事件的状态特征向量主要是人为行为产生的，因此会有较多的重复性和模式性，则可以假设数据点是高斯分布的，在高维的空间分布中，使用高斯混合模型GMM进行期望最大化聚类的过程可以更准确区分两个类间的边界。
其中，整体状态差异指标R的计算公式为：
其中，
为抬头盘亏事件A和抬头盘亏事件B之间的整体状态差异指标；
为抬头盘亏事件A的定位性能指标；
为抬头盘亏事件B的定位性能指标；
为抬头盘亏事件A的定位误差序列；
为抬头盘亏事件B的定位误差序列；
为相似函数；
为平均绝对误差函数。
对各个簇内的状态变化进行分析，以确定显示对象的数量变化临界条件，具体分析如下：
（1）基于状态特征向量，分别获取两个抬头盘亏事件对应数量序列的极差值，利用L1函数计算极差值的平均绝对误差值，计算这两个抬头盘亏事件之间对应数量序列的相似距离；以平均绝对误差值为分母、相似距离为分子得到对应的比值；计算这两个抬头盘亏事件对应语义描述子的余弦距离，将比值与余弦距离的乘积的相反数作为这两个抬头盘亏事件的数量相似性。
作为一个示例，数量相似性的计算公式为：
其中，
为同一个簇中抬头盘亏事件C和抬头盘亏事件D的数量相似性；
为以常数e为底的指数函数；
为抬头盘亏事件C和抬头盘亏事件D对应数量序列N的相似距离；
为极差值函数；
为平均绝对误差函数；
为余弦相似度函数；
为抬头盘亏事件C的语义描述子；
为抬头盘亏事件D的语义描述子。
利用两个抬头盘亏事件的数量序列的相似距离
和平均绝对误差值
表征数量序列之间的差异，差异越小，对应数量相似性越大；两个抬头盘亏事件的语义描述子越相似，对应余弦距离越小，数量相似性越大。
（2）将当前抬头盘亏事件与其所属簇中每个其他抬头盘亏事件之间的数量相似性相加得到当前抬头盘亏事件的隶属度，进而能够得到每个抬头盘亏事件的隶属度。
由于抬头盘亏事件的交互过程中的行为各异，最终显示对象数量的变化会与预期的参考波动有明显差异，并且这种差异每次盘亏过程中可能都不一样，因此，根据多次正常反应过程中的显示对象数量变化，确定波动范围。
由于抬头盘亏事件的交互过程之中的行为各异，最终的显示对象的数量变化会与预期的参考波动有明显差异，并且这种差异在每次抬头盘亏事件中可能都不一样，因此基于簇中每个抬头盘亏事件的隶属度分别获取显示对象的正常数量波动范围和异常数量波动范围：在正常簇中基于隶属度从大到小的顺序选取隶属度的TOP-5所对应的抬头盘亏事件，获取这些抬头盘亏事件对应数量序列中的最大值和最小值，构成正常数量波动范围；在异常簇中基于隶属度从小到大的顺序选取隶属度的TOP-5所对应的抬头盘亏事件，获取这些抬头盘亏事件对应数量序列中的最大值和最小值，构成异常数量波动范围。
需要说明的是，在正常簇中选择隶属度的TOP-5的原因是这样确定的显示对象的数量更能够代表大多较好的情况，从而确定抬头盘亏事件的交互过程中的显示对象的适宜数量范围；根据异常簇获取显示对象的异常数量波动范围是为了确定抬头盘亏事件的交互过程中显示对象的限制，当超过了该限制时，则需要通过其他方式进行盘亏，或提醒从另一个查看角度进行盘亏。
步骤S003，利用正常簇中的抬头盘亏事件的数量序列对GRU预测网络进行训练；利用训练好的GRU预测网络获取未来抬头交互时间内的显示对象的预测数量，结合预测数量、正常数量波动范围和异常数量波动范围确认显示对象的显示策略。
具体的，将正常簇中的每个抬头盘亏事件的数量序列作为训练样本，分别将每个训练样本对应的数量序列打上标签，然后输入到GRU预测网络中，对应的，将训练样本向未来移动10个检测次数，即提前10秒，本方案中移动10个检测次数，实施者可根据实际的性能表现和需求移动时间；将训练样本的隶属度作为权重进行损失函数的构建，则损失函数
，其中，
为第i个训练样本的均方误差损失MSE，
为第i个训练样本的隶属度。
需要说明的是，GRU预测网络的训练过程是公知技术，本方案不再详细赘述；训练GRU预测网络的目的是，通过神经网络的预测以实时获取抬头盘亏事件的交互过程中显示对象的预测数量，进而能够及时发现显示对象的数量波动异常情况，以采取相应措施进行显示对象的数量的控制。
训练完GRU预测网络后，将其应用在实际中时，根据训练好的GRU预测网络输出未来抬头交互时间内对应时刻的现实对象的预测数量，将预测数量与正常数量波动范围以及异常数量波动范围进行比较，以给予AR眼镜相应的显示策略。
在正常数量波动范围与异常数量波动范围不存在交集的情况下：当预测数量大于正常数量波动范围的上限时，将显示对象的数量调整为正常数量波动范围的上限所对应的数值，这是抬头盘亏事件的交互过程中较为常见的一种，对于误差较大的，可以基于先前的经验来控制显示对象的数量，以减少人为干扰；当预测数量小于正常数量波动范围的下限时，将显示对象的数量调整为正常数量波动范围的下限所对应的数值，并提醒使用者显示对象的数量过少，可能是定位失效的问题，持续跟踪其变化，直到达到正常数量波动范围的下限后消除提示，然后继续按照预测数量来处理；当预测数量处于正常数量波动范围时，将显示对象的数量调整为预测数量。
在正常数量波动范围与异常数量波动范围存在交集的情况下：当正常数量波动范围处于异常数量波动范围内且预测数量大于异常数量波动范围的上限时，将显示对象的数量调整为异常数量波动范围的上限所对应的数值，并提醒使用者及时调整观察位置，避免AR叠加显示的误差出现歧义；当正常数量波动范围的上限大于异常数量波动范围的上限且预测数量处于正常数量波动范围内时，将显示对象的数量调整为异常数量波动范围的上限所对应的数值，并提醒使用者重新调整位置；当正常数量波动范围的下限大于异常数量波动范围的下限且预测数量处于正常数量波动范围内时，将显示对象的数量调整为异常数量波动范围的下限所对应的数值，并提醒使用者显示对象的数量过少，但定位失效的问题可能不再能够缓解，此时持续跟踪其变化，直到达到异常数量波动范围的下限后消除提示，使用者可以尝试重新盘亏和定位。
综上所述，本发明实施例在抬头盘亏事件的抬头交互时间内，获取定位误差序列、显示对象的数量序列，定位误差序列的体验质量系数、数量序列的定位性能指标和盘亏对象的语义描述子，组成状态特征向量；获取多个抬头盘亏事件的状态特征向量，根据状态特征向量对抬头盘亏事件进行聚类，得到正常簇和异常簇；分别计算每个抬头盘亏事件与其所属簇中其他抬头盘亏事件的显示对象的数量相似性得到每个抬头盘亏事件的隶属度；基于隶属度分别获取显示对象的正常数量波动范围和异常数量波动范围；利用正常簇中的数量序列对GRU预测网络进行训练，以得到未来抬头交互时间内的显示对象的预测数量，结合预测数量、正常数量波动范围和异常数量波动范围确认显示对象的显示策略，以在定位不可靠的情况下帮助AR眼镜使用者确定盘亏对象的位置和数量，减少AR交互过程中的不良体验。
基于与上述方法相同的发明构思，本发明实施例还提供了一种用于库存盘亏情况的AR交互***，包括存储器、处理器以及存储在所述存储器中并在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述一种用于库存盘亏情况的AR交互方法中任意一项所述方法的步骤。
需要说明的是：上述本发明实施例先后顺序仅仅为了描述，不代表实施例的优劣。且上述对本说明书特定实施例进行了描述。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (8)
1.一种用于库存盘亏情况的AR交互方法，其特征在于，该方法包括以下步骤：
在抬头盘亏事件的抬头交互时间内，基于设定的采样频率得到定位误差序列和显示对象的数量序列，分别计算定位误差序列的体验质量系数和数量序列的定位性能指标，并根据货物名称标签获取盘亏对象的语义描述子；将定位误差序列、数量序列、体验质量系数、定位性能指标和语义描述子组成抬头盘亏事件的状态特征向量；
获取多个抬头盘亏事件的状态特征向量，根据状态特征向量计算任意两个抬头盘亏事件的整体状态差异指标，基于整体状态差异指标对抬头盘亏事件进行聚类，得到两个簇，分别为正常簇和异常簇；分别计算每个抬头盘亏事件与其所属簇中其他抬头盘亏事件的显示对象的数量相似性，基于数量相似性得到每个抬头盘亏事件的隶属度；基于簇中每个抬头盘亏事件的隶属度分别获取显示对象的正常数量波动范围和异常数量波动范围；
利用正常簇中的抬头盘亏事件的数量序列对GRU预测网络进行训练；利用训练好的GRU预测网络获取未来抬头交互时间内的显示对象的预测数量，结合预测数量、正常数量波动范围和异常数量波动范围确认显示对象的显示策略；
所述体验质量系数的获取方法，包括：
获取定位误差序列的中值和平均值，计算中值与平均值的差值，利用ReLU函数获取差值的取值，将取值与设定常数之和的倒数作为体验质量系数；
所述定位性能指标的获取方法，包括：
获取数量序列的最大数量、数量中值和平均数量，分别计算最大数量和数量中值的第一数量差值、数量中值和平均数量的第二数量差值的绝对值，以第一数量差值与预设值的和为分母、第二数量差值的绝对值为分子得到对应的第一比值，将第一比值与体验质量系数的乘积作为定位性能指标。
2.如权利要求1所述的一种用于库存盘亏情况的AR交互方法，其特征在于，所述根据状态特征向量计算任意两个抬头盘亏事件的整体状态差异指标的方法，包括：
利用L1函数计算两个抬头盘亏事件对应状态特征向量中定位性能指标的平均绝对误差，并利用
函数计算这两个抬头盘亏事件对应状态特征向量中定位误差序列的相似度，以相似度和预设值的和为分母、平均绝对误差为分子得到对应的第二比值，将第二比值作为整体状态差异指标。
3.如权利要求1所述的一种用于库存盘亏情况的AR交互方法，其特征在于，所述数量相似性的获取方法，包括：
基于状态特征向量，分别获取两个抬头盘亏事件对应数量序列的极差值，利用L1函数计算极差值的平均绝对误差值，计算这两个抬头盘亏事件之间对应数量序列的相似距离；以平均绝对误差值为分母、相似距离为分子得到对应的第三比值；
计算这两个抬头盘亏事件对应语义描述子的余弦距离，将第三比值与余弦距离的乘积的相反数作为这两个抬头盘亏事件的数量相似性。
4.如权利要求1所述的一种用于库存盘亏情况的AR交互方法，其特征在于，所述基于数量相似性得到每个抬头盘亏事件的隶属度的方法，包括：
将当前抬头盘亏事件与其所属簇中每个其他抬头盘亏事件之间的数量相似性相加得到当前抬头盘亏事件的隶属度。
5.如权利要求1所述的一种用于库存盘亏情况的AR交互方法，其特征在于，所述正常数量波动范围的获取方法，包括：
在正常簇中基于隶属度从大到小的顺序选取隶属度的TOP-5所对应的抬头盘亏事件，获取这些抬头盘亏事件对应数量序列中的最大值和最小值，构成正常数量波动范围。
6.如权利要求1所述的一种用于库存盘亏情况的AR交互方法，其特征在于，所述异常数量波动范围的获取方法，包括：
在异常簇中基于隶属度从小到大的顺序选取隶属度的TOP-5所对应的抬头盘亏事件，获取这些抬头盘亏事件对应数量序列中的最大值和最小值，构成异常数量波动范围。
7.如权利要求1所述的一种用于库存盘亏情况的AR交互方法，其特征在于，所述结合预测数量、正常数量波动范围和异常数量波动范围确认显示对象的显示策略的方法，包括：
在正常数量波动范围与异常数量波动范围不存在交集的情况下：当预测数量大于正常数量波动范围的上限时，将显示对象的数量调整为正常数量波动范围的上限所对应的数值；当预测数量小于正常数量波动范围的下限时，将显示对象的数量调整为正常数量波动范围的下限所对应的数值；当预测数量处于正常数量波动范围时，将显示对象的数量调整为预测数量；
在正常数量波动范围与异常数量波动范围存在交集的情况下：当正常数量波动范围处于异常数量波动范围内且预测数量大于异常数量波动范围的上限时，将显示对象的数量调整为异常数量波动范围的上限所对应的数值；当正常数量波动范围的上限大于异常数量波动范围的上限且预测数量处于正常数量波动范围内时，将显示对象的数量调整为异常数量波动范围的上限所对应的数值；当正常数量波动范围的下限大于异常数量波动范围的下限且预测数量处于正常数量波动范围内时，将显示对象的数量调整为异常数量波动范围的下限所对应的数值。
8.一种用于库存盘亏情况的AR交互***，包括存储器、处理器以及存储在所述存储器中并在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1-7任意一项所述一种用于库存盘亏情况的AR交互方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211238368.2A CN115310880B (zh) | 2022-10-11 | 2022-10-11 | 一种用于库存盘亏情况的ar交互方法及*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211238368.2A CN115310880B (zh) | 2022-10-11 | 2022-10-11 | 一种用于库存盘亏情况的ar交互方法及*** |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115310880A CN115310880A (zh) | 2022-11-08 |
| CN115310880B true CN115310880B (zh) | 2022-12-20 |
Family
ID=83868409
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211238368.2A Active CN115310880B (zh) | 2022-10-11 | 2022-10-11 | 一种用于库存盘亏情况的ar交互方法及*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115310880B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115713625A (zh) * | 2022-11-18 | 2023-02-24 | 盐城众拓视觉创意有限公司 | 一种教学实录视频与课件背景的快速结合成片方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2011043108A1 (ja) * | 2009-10-09 | 2011-04-14 | 株式会社日立製作所 | 設備状態監視方法、監視システム及び監視プログラム |
| CN113902334A (zh) * | 2021-10-28 | 2022-01-07 | 上海众源网络有限公司 | 一种事件异常波动检测方法、***、电子设备及存储介质 |
| WO2022057260A1 (zh) * | 2020-09-15 | 2022-03-24 | 浙江大学 | 一种工业控制***通信网络异常分类方法 |
| CN114803763A (zh) * | 2022-06-30 | 2022-07-29 | 锐创软件技术(启东)有限公司 | 基于神经网络的变速货梯异常检测方法 |
| CN115097526A (zh) * | 2022-08-22 | 2022-09-23 | 江苏益捷思信息科技有限公司 | 地震采集资料质量评价方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10261851B2 (en) * | 2015-01-23 | 2019-04-16 | Lightbend, Inc. | Anomaly detection using circumstance-specific detectors |
-
2022
- 2022-10-11 CN CN202211238368.2A patent/CN115310880B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2011043108A1 (ja) * | 2009-10-09 | 2011-04-14 | 株式会社日立製作所 | 設備状態監視方法、監視システム及び監視プログラム |
| WO2022057260A1 (zh) * | 2020-09-15 | 2022-03-24 | 浙江大学 | 一种工业控制***通信网络异常分类方法 |
| CN113902334A (zh) * | 2021-10-28 | 2022-01-07 | 上海众源网络有限公司 | 一种事件异常波动检测方法、***、电子设备及存储介质 |
| CN114803763A (zh) * | 2022-06-30 | 2022-07-29 | 锐创软件技术(启东)有限公司 | 基于神经网络的变速货梯异常检测方法 |
| CN115097526A (zh) * | 2022-08-22 | 2022-09-23 | 江苏益捷思信息科技有限公司 | 地震采集资料质量评价方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115310880A (zh) | 2022-11-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20180342067A1 (en) | Moving object tracking system and moving object tracking method | |
| CN108416258B (zh) | 一种基于人体部位模型的多人体跟踪方法 | |
| US9092660B2 (en) | Face image registration device and method | |
| CN112836640B (zh) | 一种单摄像头多目标行人跟踪方法 | |
| CN115310880B (zh) | 一种用于库存盘亏情况的ar交互方法及*** | |
| EP2418588A1 (en) | Visual localization method | |
| CN114972418A (zh) | 基于核自适应滤波与yolox检测结合的机动多目标跟踪方法 | |
| CN110349188B (zh) | 基于tsk模糊模型的多目标跟踪方法、装置及存储介质 | |
| CN110569706A (zh) | 一种基于时间和空间网络的深度集成目标跟踪算法 | |
| CN113112151A (zh) | 基于多维感知和企业数据量化的智慧风控评估方法与*** | |
| CN115359366A (zh) | 基于参数优化的遥感图像目标检测方法 | |
| CN112651321A (zh) | 档案处理方法、装置及服务器 | |
| CN110660084A (zh) | 一种多目标跟踪的方法及装置 | |
| CN113205108A (zh) | 一种基于YOLOv4的多目标车辆检测跟踪方法 | |
| CN116510272A (zh) | 一种基于标记分布学习的体能赛事动作质量评估方法 | |
| CN111860097A (zh) | 一种基于模糊理论的异常行为检测方法 | |
| US20230177881A1 (en) | Automatic body movement recognition and association system including smoothing, segmentation, similarity, pooling, and dynamic modeling | |
| CN116071570A (zh) | 一种室内场景下的3d目标检测方法 | |
| US20240160196A1 (en) | Hybrid model creation method, hybrid model creation device, and recording medium | |
| CN115063443A (zh) | 一种实时多目标跟踪方法及*** | |
| Lanes et al. | An analysis of the impact of diversity on stacking supervised classifiers | |
| CN113158816A (zh) | 面向室外场景物体的视觉里程计二次曲面路标构建方法 | |
| CN113836980A (zh) | 人脸识别方法、电子设备以及存储介质 | |
| CN115830413A (zh) | 一种图像特征库的更新方法、校验方法及相关设备 | |
| KR101068937B1 (ko) | 기능성 게임의 개인화된 학습경로 생성방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |