发明内容
为解决快消企业产品数据难统计,数据质量差的问题,本发明提供一种应用于快消行业的产品数据处理方法及***,通过AI能力识别图像信息,将图片信息结合代码运算统计得到产品数据。
本发明第一方面提供一种应用于快消行业的产品数据处理方法,包括:
获取含目标产品的图像数据,并对所述图像数据进行质量检测,以清洗质量不合格的图像数据;
根据图像识别模型对质量合格的图像数据进行处理,识别出所述图像数据中的目标产品名称、目标产品数量及目标产品坐标;
根据所述目标产品名称及目标产品坐标判断目标产品位置是否满足产品合理摆放的条件;其中,所述产品合理摆放的条件包括:目标产品摆放的层数满足预设层数及目标产品摆放位置的预设范围内是否存在的竞品;
将目标产品名称、目标产品数量、目标产品坐标及判断结果存储于数据库,并生成报表。
进一步地,所述根据所述目标产品名称、目标产品数量及目标产品坐标判断目标产品位置是否满足产品合理摆放的条件,包括:
根据竞品坐标与目标产品坐标计算得的竞品与目标产品之间的距离;
判断所述距离是否小于目标产品的宽度的两倍值;
若是,则预设范围内存在的竞品;
若否,则预设范围内不存在的竞品。
进一步地,所述根据所述目标产品名称、目标产品数量及目标产品坐标判断目标产品位置是否满足产品合理摆放的条件,包括:
遍历所有的目标产品,判断目标产品所在层数是否为第二层或第三层;
若是,则目标产品摆放的层数满足预设层数;
若否,则目标产品摆放的层数不满足预设层数。
进一步地,所述根据图像识别模型对质量合格的图像数据进行处理之前,还包括:建立图像识别模型;具体地:
获取含目标产品的若干图像数据,并对所述图像数据中的目标产品名称、目标产品数量及目标产品坐标进行人工标注;
将人工标注得到的若干图像数据通过全连接神经网络进行推理模型训练,并计算损失函数值;
通过调整模型训练的参数,使得所述损失函数值小于预设数,完成图像识别模型训练。
进一步地,所述损失函数值通过以下公式计算:
其中,Loss为损失函数值,n为图像数据总数,i为第i个图像数据,yi为标注图像名称和坐标,xi为标注图像的像素值,w和b均为模型训练学习参数。
进一步地,所述对所述图像数据进行质量检测,以清洗质量不合格的图像数据,包括:
计算所述图像数据的峰值信噪比,将所述峰值信噪比作为图像数据的质量的标准;
将所述峰值信噪比低于100的图像数据作为质量不合格的图像数据。
进一步地,所述峰值信噪比,通过以下公式计算:
其中,PSNR为图像数据的峰值信噪比,MAX为固定值,取255, MSE为图像数据的像素的均方差;
其中,所述MSE通过以下公式计算:
其中,MSE为图像数据的像素的均方差,M为图像的宽度,N 为图像的长度,f(x,y)为像素值,f-1(x,y)为像素点的均值,x为像素点的横坐标,y为像素点的纵坐标。
本发明第二方面提供一种应用于快消行业的产品数据处理***,包括:
图像数据筛选模块,用于获取含目标产品的图像数据,并对所述图像数据进行质量检测,以清洗质量不合格的图像数据;
图像数据识别模块,用于根据图像识别模型对质量合格的图像数据进行处理,识别出所述图像数据中的目标产品名称、目标产品数量及目标产品坐标;
产品判断模块,用于根据所述目标产品名称及目标产品坐标判断目标产品位置是否满足产品合理摆放的条件;其中,所述产品合理摆放的条件包括:目标产品摆放的层数满足预设层数及目标产品摆放位置的预设范围内是否存在的竞品;
数据存储模块,用于将目标产品名称、目标产品数量、目标产品坐标及判断结果存储于数据库,并生成报表。
本发明第三方面提供一种电子装置,包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序,所述处理器执行所述计算机程序时实现如上述第一方面中任意一项所述的应用于快消行业的产品数据处理方法。
本发明第四方面提供一种计算机可读存储介质,所述计算机可读存储介质包括存储的计算机程序,其中,在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行如上述第一方面中任意一项所述的应用于快消行业的产品数据处理方法。
与现有技术相比,本发明实施例的有益效果在于:
本发明提供一种应用于快消行业的产品数据处理方法及***,其中方法包括:获取含目标产品的图像数据,并对所述图像数据进行质量检测,以清洗质量不合格的图像数据;根据图像识别模型对质量合格的图像数据进行处理,识别出所述图像数据中的目标产品名称、目标产品数量及目标产品坐标;根据所述目标产品名称及目标产品坐标判断目标产品位置是否满足产品合理摆放的条件;其中,所述产品合理摆放的条件包括:目标产品摆放的层数满足预设层数及目标产品摆放位置的预设范围内是否存在的竞品;将目标产品名称、目标产品数量、目标产品坐标及判断结果存储于数据库,并生成报表。本发明相比于现有产品数据处理方法,提出使用图像识别技术解析图片数据,并通过动态执行计算规则达到动态统计数据的目的,百万级的产品图片数据一天就能统计完成,效率提升90%。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
应当理解,文中所使用的步骤编号仅是为了方便描述,不对作为对步骤执行先后顺序的限定。
应当理解,在本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样,除非上下文清楚地指明其它情况,否则单数形式的“一”、“一个”及“该”意在包括复数形式。
术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在,但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合,并且包括这些组合。
第一方面。
请参阅图1-3,本发明实施例提供一种应用于快消行业的产品数据处理方法,包括:
S10、获取含目标产品的图像数据,并对所述图像数据进行质量检测,以清洗质量不合格的图像数据。
S20、根据图像识别模型对质量合格的图像数据进行处理,识别出所述图像数据中的目标产品名称、目标产品数量及目标产品坐标。
S30、根据所述目标产品名称及目标产品坐标判断目标产品位置是否满足产品合理摆放的条件;其中,所述产品合理摆放的条件包括:目标产品摆放的层数满足预设层数及目标产品摆放位置的预设范围内是否存在的竞品。
S40、将目标产品名称、目标产品数量、目标产品坐标及判断结果存储于数据库,并生成报表。
进一步地,所述步骤S30包括:
S311、根据竞品坐标与目标产品坐标计算得的竞品与目标产品之间的距离。
S312、判断所述距离是否小于目标产品的宽度的两倍值。
S313、若是,则预设范围内存在的竞品。
S314、若否,则预设范围内不存在的竞品。
进一步地,所述步骤S30还包括:
S321、遍历所有的目标产品,判断目标产品所在层数是否为第二层或第三层。
S322、若是,则目标产品摆放的层数满足预设层数。
S323、若否,则目标产品摆放的层数不满足预设层数。
进一步地,所述步骤S20之前还包括:
获取含目标产品的若干图像数据,并对所述图像数据中的目标产品名称、目标产品数量及目标产品坐标进行人工标注;
将人工标注得到的若干图像数据通过全连接神经网络进行推理模型训练,并计算损失函数值;
通过调整模型训练的参数,使得所述损失函数值小于预设数,完成图像识别模型训练。
优选地,所述损失函数值通过以下公式计算:
其中,Loss为损失函数值,n为图像数据总数,i为第i个图像数据,yi为标注图像名称和坐标,xi为标注图像的像素值,w和b均为模型训练学习参数。
进一步地,所述步骤S10包括:
计算所述图像数据的峰值信噪比,将所述峰值信噪比作为图像数据的质量的标准;
将所述峰值信噪比低于100的图像数据作为质量不合格的图像数据。
优选地,所述峰值信噪比,通过以下公式计算:
其中,PSNR为图像数据的峰值信噪比,MAX为固定值,取255, MSE为图像数据的像素的均方差;
其中,所述MSE通过以下公式计算:
其中,MSE为图像数据的像素的均方差,M为图像的宽度,N 为图像的长度,f(x,y)为像素值,f-1(x,y)为像素点的均值,x为像素点的横坐标,y为像素点的纵坐标。
本发明相比于现有产品数据处理方法,提出使用图像识别技术解析图片数据,并通过动态执行计算规则达到动态统计数据的目的,百万级的产品图片数据一天就能统计完成,效率提升90%。
请参阅图4-7,本发明另一实施例提供一种应用于快消行业的产品数据处理方法,包括:
(1)获取产品图片资源。
(2)通过图片质量检测能力判断图片是否真实有效。
(3)通过图像识别能力得到图片的产品数据。
(4)获取产品计算规则。
(5)将步骤(3)得到的产品数据,通过步骤(4)得到的计算规则通过编译执行得到计算后的产品铺货数据。
具体地:
(1)后台服务通过从数据库查询产品图片数据(图片有效访问地址url)。
(2)将步骤(1)得到的数据,调用图片质量检测服务(具有图片质量检测能力,能判断图片质量是否合格)。对于质量不合格的图片丢弃,保留质量合格的图片。在本实施方式中图片质量检测服务基于模糊程度来判断,模糊图像丢失细节梯度平缓,可以计算PSNR(峰值信噪比)来判断其质量,PSNR值越大,代表图片失真越少,图片质量越高,反之为低质量图片。图片的PSNR(峰值信噪比)计算公式如下:
其中MAX为255,MSE是像素的均方误差,像素的均方误差计算公式如下
其中M为图片的宽度,N为图片的长度,f(x,y)为像素值,f1(x,y) 为像素点的均值。
在本实施方式中峰值信噪比阈值为100,峰值信噪比小于100则认为图片质量不合格,反之认为合格。
(3)根据步骤(2)处理后合格的图片数据调用图像识别服务(具有识别产品能力,预测出图片中产品名称,数量,坐标以及所在层数) 后可获得产品的名称,数量和坐标。本实施方式中图像识别服务是通过商品预测模型预测中图片中商品的名称,坐标和所在层数,然后遍历求和统计数量。商品建模方式为,先采集包含产品的图片集,人工标注图片得到图片中的产品名称,数量和坐标信息。然后使用全连接神经网络(DNN)技术进行推理模型训练,训练目的是推理模型的输出和真实户数的输出“一样”。通过损失函数Loss反馈出模型推测效果,当Loss值最小时,模型推理效果最好。损失函数Loss公式如下。
其中n为图片总数,yi为标注图片名称和坐标,xi为标注图片像素值,w和b为模型训练学习参数。通过调整模型训练学习参数,使 Loss值最小,此时模型就训练完成了。
(4)从数据库查询出产品计算规则(JavaScript代码)。本实施方式中的计算规则包含了产品数量统计,是否相邻竞品以及产品是否摆放合适位置,合计三种计算规则。
产品数量统计是根据产品名称分别统计每个产品的总数,计算产品总数公式如下:
f=∑num;
其中num代表的对应产品的数量。
是否相邻竞品计算规则是遍历所有产品的坐标信息,根据坐标距离计算公司,判断产品和竞品的距离是否小于2倍的产品宽度,小于则认为存在相邻竞品,否则认为不存在。坐标距离计算公司如下:
f=|l1-l2|;
其中l1为产品x轴坐标位置,l2为竞品x轴坐标位置。
是否摆放合适位置计算规则是遍历所有产品判断产品所在层数是否为第二或第三层,如果产品所在层数为第二层或第三层可认为产品摆放在合适位置,否则认为未摆放在合适位置。
(5)在服务中加载步骤(4)得到的产品计算规则(JavaScript 代码),传入步骤(3)得到的产品名称,数量,坐标以及所在层数信息,执行JavaScript代码,将执行后的结果数据(产品数量,是否摆放合适位置,是否存在竞品,竞品数量)保存到数据库,用于页面以报表方式展示。
本发明与现有技术相比,具有如下优点和有益效果:
1、计算规则动态加载编译执行,更加灵活;
2、产品图片数据来源于业务员实时提交,数据当天统计,报表当天输出,相比于委托给第三方人工统计更加高效;
3、通过图像质量检测能力去检验图片,产品数据更加真实;
4、相比于现有产品数据处理方法,提出使用图像识别技术解析图片数据,并通过动态执行计算规则达到动态统计数据的目的,百万级的产品图片数据一天就能统计完成,效率提升90%。
第二方面。
请参阅图8,本发明一实施例提供一种应用于快消行业的产品数据处理***,包括:
图像数据筛选模块100,用于获取含目标产品的图像数据,并对所述图像数据进行质量检测,以清洗质量不合格的图像数据。
图像数据识别模块200,用于根据图像识别模型对质量合格的图像数据进行处理,识别出所述图像数据中的目标产品名称、目标产品数量及目标产品坐标。
产品判断模块300,用于根据所述目标产品名称及目标产品坐标判断目标产品位置是否满足产品合理摆放的条件;其中,所述产品合理摆放的条件包括:目标产品摆放的层数满足预设层数及目标产品摆放位置的预设范围内是否存在的竞品。
数据存储模块400,用于将目标产品名称、目标产品数量、目标产品坐标及判断结果存储于数据库,并生成报表。
进一步地,所述产品判断模块300,还用于:
根据竞品坐标与目标产品坐标计算得的竞品与目标产品之间的距离。
判断所述距离是否小于目标产品的宽度的两倍值。
若是,则预设范围内存在的竞品。
若否,则预设范围内不存在的竞品。
进一步地,所述产品判断模块300,还用于:
遍历所有的目标产品,判断目标产品所在层数是否为第二层或第三层。
若是,则目标产品摆放的层数满足预设层数。
若否,则目标产品摆放的层数不满足预设层数。
进一步地,所述***还包括:图像识别模型建立模块,用于:
获取含目标产品的若干图像数据,并对所述图像数据中的目标产品名称、目标产品数量及目标产品坐标进行人工标注;
将人工标注得到的若干图像数据通过全连接神经网络进行推理模型训练,并计算损失函数值;
通过调整模型训练的参数,使得所述损失函数值小于预设数,完成图像识别模型训练。
优选地,所述损失函数值通过以下公式计算:
其中,Loss为损失函数值,n为图像数据总数,i为第i个图像数据,yi为标注图像名称和坐标,xi为标注图像的像素值,w和b均为模型训练学习参数。
进一步地,所述图像数据筛选模块100,还用于:
计算所述图像数据的峰值信噪比,将所述峰值信噪比作为图像数据的质量的标准;
将所述峰值信噪比低于100的图像数据作为质量不合格的图像数据。
优选地,所述峰值信噪比,通过以下公式计算:
其中,PSNR为图像数据的峰值信噪比,MAX为固定值,取255, MSE为图像数据的像素的均方差;
其中,所述MSE通过以下公式计算:
其中,MSE为图像数据的像素的均方差,M为图像的宽度,N 为图像的长度,f(x,y)为像素值,f-1(x,y)为像素点的均值,x为像素点的横坐标,y为像素点的纵坐标。
本发明提供的一种应用于快消行业的产品数据处理***使用图像识别技术解析图片数据,并通过动态执行计算规则达到动态统计数据的目的,百万级的产品图片数据一天就能统计完成,效率提升90%。
第三方面。
本发明提供了一种电子设备,该电子设备包括:
处理器、存储器和总线;
所述总线,用于连接所述处理器和所述存储器;
所述存储器,用于存储操作指令;
所述处理器,用于通过调用所述操作指令,可执行指令使处理器执行如本申请的第一方面所示的一种应用于快消行业的产品数据处理方法对应的操作。
在一个可选实施例中提供了一种电子设备,如图9所示,图9所示的电子设备5000包括:处理器5001和存储器5003。其中,处理器5001和存储器5003相连,如通过总线5002相连。可选地,电子设备5000还可以包括收发器5004。需要说明的是,实际应用中收发器5004不限于一个,该电子设备5000的结构并不构成对本申请实施例的限定。
处理器5001可以是CPU,通用处理器,DSP,ASIC,FPGA或者其他可编程逻辑器件、晶体管逻辑器件、硬件部件或者其任意组合。其可以实现或执行结合本申请公开内容所描述的各种示例性的逻辑方框,模块和电路。处理器5001也可以是实现计算功能的组合,例如包含一个或多个微处理器组合,DSP和微处理器的组合等。
总线5002可包括一通路,在上述组件之间传送信息。总线5002 可以是PCI总线或EISA总线等。总线5002可以分为地址总线、数据总线、控制总线等。为便于表示,图9中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。
存储器5003可以是ROM或可存储静态信息和指令的其他类型的静态存储设备,RAM或者可存储信息和指令的其他类型的动态存储设备,也可以是EEPROM、CD-ROM或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质,但不限于此。
存储器5003用于存储执行本申请方案的应用程序代码,并由处理器5001来控制执行。处理器5001用于执行存储器5003中存储的应用程序代码,以实现前述任一方法实施例所示的内容。
其中,电子设备包括但不限于:移动电话、笔记本电脑、数字广播接收器、PDA(个人数字助理)、PAD(平板电脑)、PMP(便携式多媒体播放器)、车载终端(例如车载导航终端)等等的移动终端以及诸如数字TV、台式计算机等等的固定终端。
第四方面。
本发明提供了一种计算机可读存储介质,计算机可读存储介质上存储有计算机程序,该程序被处理器执行时实现本申请第一方面所示的一种应用于快消行业的产品数据处理方法。
本申请的又一实施例提供了一种计算机可读存储介质,该计算机可读存储介质上存储有计算机程序,当其在计算机上运行时,使得计算机可以执行前述方法实施例中相应内容。