CN111814815B - 一种基于轻量级神经网络的眼镜放置状态的智能判别方法 - Google Patents
一种基于轻量级神经网络的眼镜放置状态的智能判别方法 Download PDFInfo
- Publication number
- CN111814815B CN111814815B CN201910290874.8A CN201910290874A CN111814815B CN 111814815 B CN111814815 B CN 111814815B CN 201910290874 A CN201910290874 A CN 201910290874A CN 111814815 B CN111814815 B CN 111814815B
- Authority
- CN
- China
- Prior art keywords
- glasses
- neural network
- placement
- placement state
- lightweight neural
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computational Linguistics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Evolutionary Biology (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Eyeglasses (AREA)
- Image Analysis (AREA)
Abstract
本发明公开一种基于轻量级神经网络的眼镜放置状态的智能判别方法,该方法通过神经网络提取图像特征技术,将用户放置在自助验光设备上的眼镜放置状态进行自动分类判别,若放置位置不正确,则提示错误类型重新放置,若放置正确,则进行后面的焦度流程,从而实现无工作人员参与的用户自助验光。
Description
技术领域
本发明涉及神经网络的图像处理应用领域,具体是一种基于轻量级神经网络的眼镜放置状态的智能判别方法。
背景技术
近年来,中国宏观经济稳定发展,伴随高近视率的刚性需求,中国眼镜零售市场也稳步增长。随着居民可支配收入逐年提高,人民生活水平、消费能力不断提高,消费者有能力购买多副眼镜以满足不同场合的佩戴需求,选择超轻新材质的镜架,抗辐射、抗疲劳等多功能的镜片,这些都刺激了眼镜零售市场的快速增长。据Euromonitor研究报告,中国眼镜零售市场规模从2006年的208.20亿元增长到2015年的673.94亿元,年均复合增长率达13.94%。
近年来,我国网络购物环境日趋完善,国内电子网络购物呈现高速发展的态势。与传统线下渠道相比,网络销售眼镜具有如下优势:一是眼镜款式多,解决实体店因面积、库存压力不能尽显产品样式的问题;二是直接接触广大终端客户,可广泛、清晰、深入传递品牌与产品信息。
但由于网络销售眼镜无法提供验光服务,网络销售隐形眼镜受到了严格的控制,目前线上眼镜零售是以太阳镜为主,网络销售眼镜占中国眼镜零售市场比例仍然不高。但是,目前互联网电商采用网上展示,线下体验店配镜,网上预约,上门配镜等等各种手段,正在不断弥补网络销售眼镜的劣势。因此,眼镜虚拟试戴设备和自助验光设备的结合应运而生,可以方便用户快速复制自己的眼镜参数,帮助用户方便的更换心仪的眼镜。自助验光设备存在一个凹槽,用户把眼镜放入之后,使用摄像头拍摄放置区域,通过智能判别方法判断是否正确放置,在确认放置正确后会有一个自动夹片把眼镜夹住,在这个过程中,如果操作不当会损坏眼镜。自助验光设备是用户根据屏幕提示自助操作,但是可能存在用户理解偏差或者忽略屏幕提示等多种情况,导致眼镜被错误的放置到验光槽,使眼镜损坏,造成损失。
发明内容
为解决用户使用自助验光设备时容易将眼镜位置放置错误,直接导致眼镜损坏的问题,本发明提供一种基于轻量级神经网络的眼镜放置状态的智能判别方法。
为实现上述目的,本发明采用下述技术方案:
一种基于轻量级神经网络的眼镜放置状态的智能判别方法,包括以下步骤:
步骤一,通过用户行为分析并进行去耦合分类,将眼镜的放置状态分为八类,其中正确一类,异常七类;
步骤二,采集各类眼镜分别构造的各类放置状态的图片素材,构造出适合训练轻量级神经网络参数的训练集;
步骤三,选择适合在移动端使用的轻量级神经网络,并使用步骤二获得的训练集进行训练;
步骤四,将步骤三获得的神经网络进行移动端参数转换,集成到自动识别程序;
步骤五,通过实际测量和数据分析,设置正确放置状态的置信度阈值为85%,设置其他放置状态的置信度阈值为30%;
步骤六,拍摄一张眼镜放置区域图片,使用自动识别程序进行图片特征的提取和类别置信度的计算,再与预设的置信度阈值对比,并将结果返回给移动端,根据结果进行后续操作流程。
进一步地,步骤一中眼镜的放置状态分为:拍摄镜头被遮挡、未放置眼镜、眼镜被手或者其他物体覆盖遮挡、眼镜未放入凹槽中、眼镜被折叠之后放到凹槽一侧、眼镜腿与正确放置的方向相反、眼镜偏离中心轴和眼镜正确放置。
进一步地,步骤三中使用的轻量级神经网络采用MobileNet网络结构。
进一步地,步骤三中使用交叉熵损失函数进行训练,从而得到一个眼镜放置判别的自动分类器。
进一步地,步骤三中轻量级神经网络输出的是每个类别的可能性,通过SoftMax函数处理之后,每个类别可能的范围是0%-100%,即为置信度,其中置信度最高的类别作为眼镜放置判别结果。
进一步地,步骤四中神经网络参数转换成可在自助验光设备上运行的格式,通过整合,实现自助验光设备的自动分类。
进一步地,步骤五中通过不同环境下做实际场景测试,将分类不好的图片放到训练集,做优化训练,持续迭代,优化效果,并且在测试过程中做数据分析,找到可接受的置信度阈值;对于置信度最高的类别,置信度范围在12.5%-100%之间,在综合分析后,设置正确放置状态的置信度阈值为85%,若正确分类的概率超过85%,则认为是正确;设置其他放置状态的置信度阈值为30%,使得放置异常的交叉情况混合输出。
进一步地,在完成测试投入使用之后,定期分析采集的数据,对实际使用场景持续跟踪分析误分类情况,从而持续优化。
有益效果:
1.本发明通过神经网络提取图像特征技术,将用户放置在自助验光设备上的眼镜放置状态进行自动分类判别,若放置位置不正确,则提示错误类型重新放置,若放置正确,则进行后面的焦度流程,从而实现无工作人员参与的用户自助验光。
2.本发明可以自动分析用户在使用过程中眼镜放置的状态,工作人员不需要出现在设备现场,只需要处理设备上传的少量异常情况。
3.在整个流程中,只需要拍摄一张图片就可以判断,这个过程只需要不到1秒的时间,速度极快。
附图说明
图1为本发明眼镜放置状态的智能判别流程图。
具体实施方式
下面结合附图和实施例对本发明进一步说明。
如图1所示,本发明提出一种基于轻量级神经网络的眼镜放置状态的智能判别方法,包括以下步骤:
步骤一,根据自助验光设备的特点设置摄像头位置、内置灯光亮度、凹槽形状颜色,以拍摄到眼镜区域的最有效信息。通过用户行为分析,确定可能产生的方式,并进行去耦合分类,最终确定分类方式如下:
C1={拍摄镜头被遮挡(CamareCover)};
C2={未放置眼镜(NoGlass)};
C3={眼镜被手或者其他物体覆盖遮挡(GlassCover)};
C4={眼镜没有放入到凹槽中(NotIn)};
C5={眼镜被折叠之后放到凹槽一侧(OneSize)};
C6={眼镜腿正确放置的方向相反(Back)};
C7={眼镜偏离中心轴(Offset)};
C8={眼镜正确放置(Right)}。
其中只有眼镜正确放置时才允许验光操作开始进行,眼镜错误放置时会根据用户当前放置状态,在屏幕提醒用户相应的改正方法。
步骤二,按照步骤一的分类方式,针对不同环境,用多种类别眼镜分别构造多种类别放置状态,采集2-3万张原始图片,构造出适合训练轻量级神经网络参数的训练集。
步骤三,根据自助验光设备的特点,出于速度和精确度两方面的考虑,选择适合在移动端使用的轻量级神经网络MobileNet网络结构,并用步骤二获得的训练集,使用交叉熵损失函数进行训练,从而得到一个眼镜放置判别的自动分类器。轻量级神经网络输出的是每个类别的可能性,通过SoftMax函数处理之后,每个类别可能的范围是0%-100%,称之为置信度。置信度最高的类别作为眼镜放置判别结果。
步骤四,将步骤三得到的轻量级神经网络做参数转换,转换成在自助验光设备上可以运行的格式,通过整合,集成到自动识别程序,实现自助验光设备的自动分类。
步骤五,在步骤四集成完毕后放置到不同环境下做实际场景测试,将分类不好的图片放到训练集,做优化训练,持续迭代,优化效果。并且在测试过程中做数据分析,找到可接受的置信度阈值,从而达到更好的效果。对于置信度最高的类别,置信度范围在12.5%-100%之间,在综合分析后,设置正确放置状态的置信度阈值为85%,只有正确分类的概率超过85%才认为是正确。设置其他放置状态的置信度阈值为30%,使得放置异常的交叉情况可以混合输出提示,提高用户体验。
步骤六,在放置完眼镜,准备关仓门时,会拍摄一张放置的图像,用此自动识别程序进行图片特征的提取和类别置信度的计算,再与预设的置信度阈值对比,然后将结果返回给移动端,根据结果进行后面的操作流程。
步骤七,在完成测试投入使用之后,依然可以定期分析摄像头采集的数据,对实际使用场景持续分析,做更细致的分析,从而持续优化,增强智能判别效果。
对本发明保护范围的限制,所属领域技术人员应该明白,在本发明的技术方案的基础上,本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。
Claims (7)
1.一种基于轻量级神经网络的眼镜放置状态的智能判别方法,其特征在于,包括以下步骤:
步骤一,通过用户行为分析并进行去耦合分类,将眼镜的放置状态分为八类,其中正确一类,异常七类,
所述眼镜的放置状态分为:拍摄镜头被遮挡、未放置眼镜、眼镜被手或者其他物体覆盖遮挡、眼镜未放入凹槽中、眼镜被折叠之后放到凹槽一侧、眼镜腿与正确放置的方向相反、眼镜偏离中心轴和眼镜正确放置;
步骤二,采集各类眼镜分别构造的各类放置状态的图片素材,构造出适合训练轻量级神经网络参数的训练集;
步骤三,选择适合在移动端使用的轻量级神经网络,并使用步骤二获得的训练集进行训练;
步骤四,将步骤三获得的神经网络进行移动端参数转换,集成到自动识别程序;
步骤五,通过实际测量和数据分析,设置正确放置状态的置信度阈值为85%,设置其他放置状态的置信度阈值为30%;
步骤六,拍摄一张眼镜放置区域图片,使用自动识别程序进行图片特征的提取和类别置信度的计算,再与预设的置信度阈值对比,并将结果返回给移动端,根据结果进行后续操作流程。
2.根据权利要求1所述的基于轻量级神经网络的眼镜放置状态的智能判别方法,其特征在于,所述步骤三中使用的轻量级神经网络采用MobileNet网络结构。
3.根据权利要求1所述的基于轻量级神经网络的眼镜放置状态的智能判别方法,其特征在于,所述步骤三中使用交叉熵损失函数进行训练,从而得到一个眼镜放置判别的自动分类器。
4.根据权利要求1所述的基于轻量级神经网络的眼镜放置状态的智能判别方法,其特征在于,所述步骤三中轻量级神经网络输出的是每个类别的可能性,通过SoftMax函数处理之后,每个类别可能的范围是0%-100%,即为置信度,其中置信度最高的类别作为眼镜放置判别结果。
5.根据权利要求1所述的基于轻量级神经网络的眼镜放置状态的智能判别方法,其特征在于,所述步骤四中神经网络参数转换成可在自助验光设备上运行的格式,通过整合,实现自助验光设备的自动分类。
6.根据权利要求1所述的基于轻量级神经网络的眼镜放置状态的智能判别方法,其特征在于,所述步骤五中通过不同环境下做实际场景测试,将分类不好的图片放到训练集,做优化训练,持续迭代,优化效果,并且在测试过程中做数据分析,找到可接受的置信度阈值;对于置信度最高的类别,置信度范围在12.5%-100%之间,在综合分析后,设置正确放置状态的置信度阈值为85%,若正确分类的概率超过85%,则认为是正确;设置其他放置状态的置信度阈值为30%,使得放置异常的交叉情况混合输出。
7.根据权利要求1所述的基于轻量级神经网络的眼镜放置状态的智能判别方法,其特征在于,在完成测试投入使用之后,定期分析采集的数据,对实际使用场景持续跟踪分析误分类情况,从而持续优化。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910290874.8A CN111814815B (zh) | 2019-04-11 | 2019-04-11 | 一种基于轻量级神经网络的眼镜放置状态的智能判别方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910290874.8A CN111814815B (zh) | 2019-04-11 | 2019-04-11 | 一种基于轻量级神经网络的眼镜放置状态的智能判别方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111814815A CN111814815A (zh) | 2020-10-23 |
CN111814815B true CN111814815B (zh) | 2023-08-22 |
Family
ID=72843807
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910290874.8A Active CN111814815B (zh) | 2019-04-11 | 2019-04-11 | 一种基于轻量级神经网络的眼镜放置状态的智能判别方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111814815B (zh) |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1648629A (zh) * | 2004-01-28 | 2005-08-03 | 株式会社拓普康 | 检镜仪 |
CN105816147A (zh) * | 2016-03-24 | 2016-08-03 | 北京酷配科技有限公司 | 一种在线验光***及方法 |
CN106407911A (zh) * | 2016-08-31 | 2017-02-15 | 乐视控股(北京)有限公司 | 基于图像的眼镜识别方法及装置 |
CN107665336A (zh) * | 2017-09-20 | 2018-02-06 | 厦门理工学院 | 智能冰箱中基于Faster‑RCNN的多目标检测方法 |
CN107808120A (zh) * | 2017-09-30 | 2018-03-16 | 平安科技(深圳)有限公司 | 眼镜定位方法、装置及存储介质 |
CN108416440A (zh) * | 2018-03-20 | 2018-08-17 | 上海未来伙伴机器人有限公司 | 一种神经网络的训练方法、物体识别方法及装置 |
CN208602385U (zh) * | 2018-04-27 | 2019-03-15 | 牛刚毅 | 一种移动验光车 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11074495B2 (en) * | 2013-02-28 | 2021-07-27 | Z Advanced Computing, Inc. (Zac) | System and method for extremely efficient image and pattern recognition and artificial intelligence platform |
-
2019
- 2019-04-11 CN CN201910290874.8A patent/CN111814815B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1648629A (zh) * | 2004-01-28 | 2005-08-03 | 株式会社拓普康 | 检镜仪 |
CN105816147A (zh) * | 2016-03-24 | 2016-08-03 | 北京酷配科技有限公司 | 一种在线验光***及方法 |
CN106407911A (zh) * | 2016-08-31 | 2017-02-15 | 乐视控股(北京)有限公司 | 基于图像的眼镜识别方法及装置 |
CN107665336A (zh) * | 2017-09-20 | 2018-02-06 | 厦门理工学院 | 智能冰箱中基于Faster‑RCNN的多目标检测方法 |
CN107808120A (zh) * | 2017-09-30 | 2018-03-16 | 平安科技(深圳)有限公司 | 眼镜定位方法、装置及存储介质 |
CN108416440A (zh) * | 2018-03-20 | 2018-08-17 | 上海未来伙伴机器人有限公司 | 一种神经网络的训练方法、物体识别方法及装置 |
CN208602385U (zh) * | 2018-04-27 | 2019-03-15 | 牛刚毅 | 一种移动验光车 |
Non-Patent Citations (1)
Title |
---|
面向移动端的轻量级卷积神经网络分类算法研究;马帅;《中国优秀硕士学位论文全文数据库 (信息科技辑)》(第12期);I138-1691 * |
Also Published As
Publication number | Publication date |
---|---|
CN111814815A (zh) | 2020-10-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Zhang et al. | Hierarchical feature fusion with mixed convolution attention for single image dehazing | |
CN110458077B (zh) | 一种车辆颜色识别方法及*** | |
US20170169501A1 (en) | Method and system for evaluating fitness between wearer and eyeglasses | |
CN110458025B (zh) | 一种基于双目摄像头的目标识别与定位方法 | |
CN106056064A (zh) | 一种人脸识别方法及人脸识别装置 | |
CN107341688A (zh) | 一种客户体验的采集方法及*** | |
CN104915684B (zh) | 一种基于鲁棒多平面支持向量机的图像识别方法及装置 | |
CN111008971B (zh) | 一种合影图像的美学质量评价方法及实时拍摄指导*** | |
CN105357519B (zh) | 基于自相似度特征的无参考立体图像质量客观评价方法 | |
CN111666845B (zh) | 基于关键帧采样的小样本深度学习多模态手语识别方法 | |
CN112307886A (zh) | 行人重识别方法和装置 | |
CN112116582A (zh) | 一种库存或陈列场景下的条烟检测识别方法 | |
CN111239999B (zh) | 一种基于显微镜的光学数据处理方法、装置及存储介质 | |
CN111444973A (zh) | 一种无人零售购物台商品检测方法 | |
CN112801859A (zh) | 一种具有美妆指导功能的化妆镜*** | |
CN113724302B (zh) | 一种个性化眼镜定制方法及定制*** | |
CN116385430A (zh) | 一种机器视觉瑕疵检测方法、装置、介质及设备 | |
CN116757986A (zh) | 一种红外与可见光图像融合方法及装置 | |
CN110543813A (zh) | 一种基于场景的人脸画像、目光计数方法及*** | |
CN105701486A (zh) | 一种在摄像机内实现人脸信息分析及提取的方法 | |
CN111814815B (zh) | 一种基于轻量级神经网络的眼镜放置状态的智能判别方法 | |
Yan et al. | Depth-only object tracking | |
CN112822393B (zh) | 图像处理方法、装置及电子设备 | |
CN115908886A (zh) | 图像分类方法、图像处理设备及存储装置 | |
Cao et al. | Automatic image cropping via the novel saliency detection algorithm |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
TA01 | Transfer of patent application right |
Effective date of registration: 20230104 Address after: 310012 Room 301-1, Building 7, Xixi Century Center, Xihu District, Hangzhou, Zhejiang Applicant after: Zhejiang Kuaiqi Holding Co.,Ltd. Address before: Room e0907, 388 Ruoshui Road, Suzhou Industrial Park, 215000 Applicant before: SUZHOU GONGQIQI INTELLIGENT TECHNOLOGY CO.,LTD. |
|
TA01 | Transfer of patent application right | ||
GR01 | Patent grant | ||
GR01 | Patent grant |