CN110909743B - 图书盘点方法及图书盘点*** - Google Patents

图书盘点方法及图书盘点*** Download PDF

Info

Publication number
CN110909743B
CN110909743B CN201911163170.0A CN201911163170A CN110909743B CN 110909743 B CN110909743 B CN 110909743B CN 201911163170 A CN201911163170 A CN 201911163170A CN 110909743 B CN110909743 B CN 110909743B
Authority
CN
China
Prior art keywords
book
image
neural network
convolutional neural
name
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911163170.0A
Other languages
English (en)
Other versions
CN110909743A (zh
Inventor
章志亮
曹仁杰
李钢
顾明良
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Zhongqi Zhiyuan Digital Information Technology Co ltd
Original Assignee
Beijing Zhongqi Zhiyuan Digital Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Zhongqi Zhiyuan Digital Information Technology Co ltd filed Critical Beijing Zhongqi Zhiyuan Digital Information Technology Co ltd
Priority to CN201911163170.0A priority Critical patent/CN110909743B/zh
Publication of CN110909743A publication Critical patent/CN110909743A/zh
Application granted granted Critical
Publication of CN110909743B publication Critical patent/CN110909743B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition
    • G06V30/14Image acquisition
    • G06V30/148Segmentation of character regions
    • G06V30/153Segmentation of character regions using recognition of characters or words
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5846Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using extracted text
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/44Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02PCLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Library & Information Science (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种图书盘点方法及图书盘点***。该方法包括如下步骤:获得单本仅包含单个字符的图书图像;逐个将每本图书图像分别输入到第一预先训练的卷积神经网络进行文字识别;将第一预先训练的卷积神经网络输出的每个文字识别结果依次输入到书名库,确认每本图书是否得到书名;如果得到书名,则将该本图书的书名保存至盘点表;如果未得到书名,则将该本图书的图像输入到第二预先训练的卷积神经网络进行图像识别;将第二预先训练的卷积神经网络输出的图像识别结果输入到书名库,确认某本图书是否得到书名;得到书名后,将书名保存至盘点表;否则,进入待标记数据区;根据盘点表保存的图书的书名和定价,统计图书库存。

Description

图书盘点方法及图书盘点***
技术领域
本发明涉及一种基于图像识别的图书盘点方法,同时也涉及采用该方法的图书盘点***,属于图书盘点技术领域。
背景技术
长期以来,图书实体门店和仓库的盘点工作颇为繁琐,存在耗时长、人力物力投入成本高、盘点影响营业等现实问题。现有的图书盘点方案主要有以下两种:
第一种图书盘点方案:如图1所示,使用激光条码扫描枪或RF(射频)设备逐本扫描图书封底上的一维条码,再人工逐本处理,并将扫描数据输入到计算机***。目前这种图书盘点方案是极大多数用户使用的方式。该图书盘点方案耗时长、劳动强度高、盘点成本较高,并且需要全部或部分图书实体门店停业进行图书盘点。
第二种图书盘点方案:预先将每一本图书上贴电子标签,随后上架,盘点时采用RFID阅读器采集图书盘点数据,再输入计算机***。该图书盘点方案虽然比第一种图书盘点方案在贴码后处理速度和数据的采集上有较大的优势,但经济成本过高,在书业中少有用户使用。并且,由于电子标签识别率的问题,也无法保证盘点的准确率,同时还增加了退货时去除电子标签处理的工作量。
发明内容
针对现有技术的不足,本发明所要解决的首要技术问题在于提供一种基于图像识别的图书盘点方法。
本发明所要解决的另一技术问题在于提供一种采用上述方法的图书盘点***。
为了实现上述目的,本发明采用下述的技术方案:
根据本发明实施例的第一方面,提供一种图书盘点方法,包括如下步骤:
步骤S1:获得单本仅包含单个字符的图书图像;
步骤S2:逐个将每本单个字符的图书图像分别输入到第一预先训练的卷积神经网络进行文字识别;
步骤S3:将所述第一预先训练的卷积神经网络输出的每个文字识别结果依次输入到书名库,确认每本图书是否可以得到书名;
步骤S4:如果某本图书得到书名,则将该本图书的书名保存至盘点表;
步骤S5:如果某本图书未得到书名,则将该本图书的图像输入到第二预先训练的卷积神经网络进行图像识别;
步骤S6:将所述第二预先训练的卷积神经网络输出的图像识别结果输入到书名库,确认未得到书名的某本图书是否得到书名;
步骤S7:如果所述步骤S6中的某本图书得到书名,则将书名和定价保存至盘点表;否则,进入待标记数据区;
步骤S8:根据所述盘点表保存的图书的书名和定价,统计图书库存。
其中较优地,在获得单本仅包含单个字符的图书图像前,获取某格书架的图书书脊图像进行预处理。
其中较优地,对所采集的图书书脊图像进行预处理,包括如下子步骤:
步骤10:对所述图书书脊图像进行图像切分,得到单本图书图像;
步骤11:对所述单本图书图像进行字体切分,得到单本仅包含单个字符的图书图像。
其中较优地,获得所述单本图书图像的过程包括如下子步骤:
步骤S100:从所述图书书脊图像中获得有效书脊图像;
步骤101:对所述有效书脊图像进行切分,得到单本图书图像。
其中较优地,获得所述单本图书图像的过程包括如下子步骤:
步骤S1010:将所述有效书脊图像转换成灰度图像;
步骤S1011:对所述灰度图像进行滤波处理;
步骤S1012:从所述灰度图像中提取所述单本图书图像的边缘点集合;
步骤S1013:将所述单本图书图像的边缘点集合进行线性化处理,得到所述单本图书图像的有效边缘线,以切分出所述单本图书图像。
其中较优地,所述第一预先训练的卷积神经网络通过如下子步骤训练得到:
步骤S20:建立所述第一卷积神经网络;
步骤S21:对所述第一卷积神经网络进行训练,得到第一卷积神经网络模型数据。
其中较优地,所述第二预先训练的卷积神经网络通过如下子步骤训练得到:
步骤S60:建立所述第二卷积神经网络;
步骤S61:对所述第二卷积神经网络进行训练,得到第二卷积神经网络模型数据。
其中较优地,所述第一卷积神经网络和所述第二卷积神经网络均依次包括一个输入层、N个交替设置的卷积层和池化层、一个全连接层和输出层,N为正整数;
通过设置每个所述卷积层的过滤参数及每个所述池化层的池化长度,以得到相应的卷积神经网络模型数据。
根据本发明实施例的第二方面,提供一种图书盘点***,包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述处理器执行所述程序时实现如下步骤:
步骤S1:获得单本仅包含单个字符的图书图像;
步骤S2:逐个将每本单个字符的图书图像分别输入到第一预先训练的卷积神经网络进行文字识别;
步骤S3:将所述第一预先训练的卷积神经网络输出的每个文字识别结果依次输入到书名库,确认每本图书是否可以得到书名;
步骤S4:如果某本图书得到书名,则将该本图书的书名保存至盘点表;
步骤S5:如果某本图书未得到书名,则将该本图书的图像输入到第二预先训练的卷积神经网络进行图像识别;
步骤S6:将所述第二预先训练的卷积神经网络输出的图像识别结果输入到书名库,确认未得到书名的某本图书是否得到书名;
步骤S7:如果所述步骤S6中的某本图书得到书名,则将书名和定价保存至盘点表;否则,进入待标记数据区;
步骤S8:根据所述盘点表保存的图书的书名和定价,统计图书库存。
根据本发明实施例的第三方面,提供一种机器可读介质,其上存储有计算机程序,该程序被处理器执行时实现如下步骤:
步骤S1:获得单本仅包含单个字符的图书图像;
步骤S2:逐个将每本单个字符的图书图像分别输入到第一预先训练的卷积神经网络进行文字识别;
步骤S3:将所述第一预先训练的卷积神经网络输出的每个文字识别结果依次输入到书名库,确认每本图书是否可以得到书名;
步骤S4:如果某本图书得到书名,则将该本图书的书名保存至盘点表;
步骤S5:如果某本图书未得到书名,则将该本图书的图像输入到第二预先训练的卷积神经网络进行图像识别;
步骤S6:将所述第二预先训练的卷积神经网络输出的图像识别结果输入到书名库,确认未得到书名的某本图书是否得到书名;
步骤S7:如果所述步骤S6中的某本图书得到书名,则将书名和定价保存至盘点表;否则,进入待标记数据区;
步骤S8:根据所述盘点表保存的图书的书名和定价,统计图书库存。
本发明所提供的图书盘点方法通过将采集的某格书架上的图书摆放图像进行预处理,形成单本图书的图像,然后对单本图书的图像进行文字切分,形成单字;然后利用相应的卷积神经网络对文字进行识别、对单本书的图像进行图像识别;再用数据库相关技术,使文字识别的书名信息,保持在准确的应用层级。通过上述方法,可以有效解决书店盘点、货架管理上的应用痛点,大大提高盘点效率,并降低盘点成本。
附图说明
图1为现有图书盘点采用的设备示意图;
图2为本发明所提供的图书盘点方法中,采集的图书书脊图像示意图;
图3为本发明所提供的图书盘点方法中,从采集的图书书脊图像中切分出的有效书脊图像的示意图;
图4为本发明所提供的图书盘点方法中,对有效书脊图像进行切分得到的单本图书图像的示意图;
图5为本发明所提供的图书盘点方法的流程示意图;
图6为本发明所提供的图书盘点***的结构示意图。
具体实施方式
下面结合附图和具体实施例对本发明的技术内容做进一步的详细说明。
本发明所提供的图书盘点方法是基于人工智能视觉识别技术实现快速图书盘点的方法,用于在实体书店卖场、图书仓库对书架和货位上摆放的图书实现快速盘点。如图2所示,该图书盘点方法包括如下子步骤:
步骤S1:获得单本仅包含单个字符的图书图像。
在获得单本仅包含单个字符的图书图像前,获取某格书架的图书书脊图像进行预处理。
如图3所示,通过手机、相机、高清摄像头或其他专用图像采集设备,对某格书架上陈列的图书书脊进行拍照,以采集图书的书脊图像,并对所采集的图书的书脊图像进行预处理,得到单本仅包含单个字符的图书图像;其中,对所采集的图书的书脊图像进行预处理,包括如下子步骤:
步骤S10:对所采集的图书的书脊图像进行图像切分,得到单本图书图像。
由于所采集的图书的书脊图像包含某格书架上陈列的所有图书,如果要对每种图书的数量进行统计,需要先从所采集的图书的书脊图像中获得单本图书图像;获得单本图书图像包括如下子步骤:
步骤S100:从所采集的图书的书脊图像中获得有效书脊图像。
由于数据采集的随机性,所采集的图书的书脊图像并不是所有画面都是有效数据,因此需要将所采集的图书的书脊图像中所包含的有效图像切分出来。
从所采集的图书的书脊图像中得到有效图像的过程为:将所采集的图书的书脊图像进行复制,得到两份相同的图书的书脊图像;利用颜色空间转换函数,将其中一个图书的书脊图转换成灰度图像,在该灰度图像中,由于背景具有相同的灰度值,即背景的灰度变化率比较平稳,图书部分因有文字或彩色小图片,使得图书部分的灰度值不断变化,即图书部分的灰度值变化率较大;那么,对图书的书脊灰度图像进行横向扫描,根据背景的灰度变化率与图书部分的灰度变化率之间的界限,从图书的书脊灰度图像中提取有效图像的顶点坐标,及得到有效图像四个顶点的坐标(左上、左下、右上和右下);如图4所示,根据有效图像的顶点坐标,从另一个图书的书脊图中切分出有效书脊图像。
步骤101:对有效书脊图像进行切分,得到单本图书图像。
根据步骤S100得到的有效书脊图像得到单本图书图像,包括如下子步骤。
步骤S1010:将有效书脊图像转换成灰度图像。
利用颜色空间转换函数,有效书脊图像转换成灰度图像。
步骤S1011:对灰度图像进行滤波处理。
将有效书脊图像转换成的灰度图像根据如下二维高斯函数,实现对每个图像区域y轴方向上的点的加强。
其中,e代表自然常数e为底的指数函数,σ代表标准差,x代表整个有效书脊图像x轴上的值,y=代表整个有效书脊图像y轴上的值;利用二维高斯函数的标准差在x和y方向上分别有一个标准差,根据实际所需有效书脊图像的灰度图像的灰度值加强程度,设置每个划分的图像区域所有像素在x和y方向的不同值,使得每个划分的图像区域x或y方向像素相应增加或减少,以实现加强有效书脊图像Y方向的影响。
步骤S1012:从经滤波处理后的灰度图像中提取单本图书图像的边缘点集合。
通过设置边缘提取函数的边缘高值和低值的范围,提取单本图书图像的边缘点集合,以突出单本图书图像中的局部边缘。
步骤S1013:将单本图书图像的边缘点集合进行线性化处理,得到单本图书图像有效边缘线,以切分出单本图书图像。
由于噪声和模糊的存在,提取的单本图书图像的边缘点集合所形成的边界,可能会变宽或在某点处发生间断。因此,需要使用线性算法将单本图书图像的边缘点集合中剔除某些边缘点或填补边缘间断点,并将这些边缘点连接成完整的线,得到单本图书图像有效边缘线。具体的说,将单本图书图像的边缘点集合进行线性化的过程为:建立直角坐标系,将单本图书图像的边缘点集合,从第一个边缘点开始,将每个边缘点的坐标逐个带入到直角坐标系中,得到斜率,将位于斜率所在线以外的边缘点剔除,并填补边缘间断点,以得到单本图书图像有效边缘线。如图5所示,根据单本图书图像有效边缘线,切分出单本图书图像。
步骤11:对单本图书图像进行字体切分,得到单本仅包含单个字符的图书图像。
由于每本图书的设计风格不同,图书的厚薄不同等特点,需要对步骤S10得到的单本图书图像进行预处理后,再进行字体切分,得到单本仅包含单个字符的图书图像。
具体的说,如果单本图书图像中的图书为薄本图书,为了避免因该薄本图书书脊的厚度较薄而影响到字体的识别,需要横向放大单本图书图像中所有像素,以实现放大整个单本图书图像。如果单本图书图像中的字体为双排字体,并且字体与字体之间可能是分开的,也可能是紧密成一列,提取出每个字体在单本图书图像中的坐标,生成中间文件,该中间文件包括单列字体和双列字体,将双列字体根据左排与右排字体之间像素值没有变化这一原则切割成单列字体。将得到的单本图书图像中的单列字体采用水平投影的方法,找出每个字体的起止位置,以便于根据每个字体的起止位置且切分出单本仅包含单个字符的图书图像。
步骤S2:逐个将每本单个字符的图书图像分别输入到第一预先训练的卷积神经网络进行文字识别。
通过将每本单个字符的图书图像分别输入到第一预先训练的卷积神经网络中,可以实现从每本单个字符的图书图像中在字库数据集中出现概率最高的文字识别出来,即将书名中所涉及的文字出现在字库数据集中概率最高的文字识别出来。由于每本图书的书脊上一般印有该图书的名称、作者和出版社,因此,在本发明中所提到的书名主要指每本图书的名称、作者和出版社。通过第一预先训练的卷积神经网络可以将印在每本图书书脊上的名称、作者和出版社所涉及的文字出现在字库数据集中概率最高的文字识别出来。
其中,字库数据集的形成过程为:根据现有书名文件的内容(现有书名库中已有的字符),生成涉及编码的标签文件,即得到字库文件;在标签文件中,每个字符对应于一个编码,根据标签文件中的编码去字库中找出对应的文字,并将该文字转换成文字图像,得到字库图像文件,将字库图像文件中的每个文字对应的图像进行旋转、加噪音等处理生成字库数据集。例如,以一个文字为例,该文字具有多种字体,那么每种字体对应于一个文字图像,即每个文字具有多个文字图像,将该文字的每个文字图像分别,进行旋转、加噪音等处理生成该文字的数据集。因此,所生成的字库数据集为现有书名库中已有的字符的文字图像经处理后的集合。
第一预先训练的卷积神经网络通过如下子步骤训练得到:
步骤S20:建立第一卷积神经网络。
该步骤中,建立的第一卷积神经网络,依次包括一个输入层、N个交替设置的卷积层和池化层、一个全连接层和输出层,N为正整数。其中,根据所需的神经网络模型数据,设置卷积层和池化层的数量。例如,如图所示,作为本发明的一个具体实施例,在该实施例所提供的第一卷积神经网络中包含2个交替设置的卷积层和池化层,即该第一卷积神经网络依次包括输入层、卷积层、池化层、卷积层、池化层、全连接层和输出层。
步骤S21:对建立的第一卷积神经网络进行训练,得到第一卷积神经网络模型数据。
将训练数据集和测试数据集分别输入到所建立的第一卷积神经网络中,经过多次训练,得到所需的第一卷积神经网络模型数据。在对第一卷积神经网络进行训练的过程中,通过设置每个卷积层的过滤参数,设置每个池化层的池化长度,实现得到较为理想的第一卷积神经网络模型数据。其中,训练数据集和测试数据从字库数据集获得,具体的说,根据所得到的字库图像文件的大小,选取训练数据集和测试数据的比例。例如,将80%的字库数据集作为训练数据集,将20%的字库数据集作为测试数据集。
步骤S3:将第一预先训练的卷积神经网络输出的每个文字识别结果依次输入到书名库,确认每本图书是否得到书名。
第一预先训练的卷积神经网络输出的每个文字识别结果指的是,通过第一预先训练的卷积神经网络将印在每本图书书脊上的名称、作者和出版社所涉及的文字出现在字库数据集中概率最高的文字识别出来。将所识别出的每本图书的第一个文字带入到书名库,以找出所有包含该文字的书名,从所识别的每本图书的第二个文字开始,按照下一个文字带入到上一个文字所找出的包含上一个文字的书名中,实现进一步缩小所找出的书名范围,实现最终得到每本图书的书名。得到的每本图书的书名包括该本图书的名称、作者及出版社。根据得到的每本图书的书名还可以从书名库中找出该本图书的定价,以便于后续盘点图书库存。
步骤S4:如果某本图书得到书名,则将该本图书的书名保存至盘点表。
如果根据步骤S3的方法可以得到某本图书的书名,则将该图书的书名及根据书名在书名库中找出的定价分别保存至盘点表中。
步骤S5:如果某本图书未得到书名,则将该本图书的图像输入到第二预先训练的卷积神经网络进行图像识别;
如果根据步骤S3的方法得不到某本图书的书名,则将该本图书的图像输入到第二预先训练的卷积神经网络进行图像识别。
步骤S6:将第二预先训练的卷积神经网络输出的图像识别结果输入到书名库,确认未得到书名的某本图书是否得到书名。
通过将步骤S10得到的单本图书图像分别输入到第二预先训练的卷积神经网络中,确认是否可以从图像数据集中找到单本图书图像,进而从图像数据集确认每本图书的书名和定价信息。
其中,图像数据集的形成过程为:将步骤S10得到的单本图书图像分别进行标注,所标注的内容为每本图书的书号和书名。所有进行标注后的图书图像组成图像数据集。
第二预先训练的卷积神经网络通过如下子步骤训练得到:
步骤S60:建立第二卷积神经网络。
该步骤中,建立的第二卷积神经网络,依次包括一个输入层、N个交替设置的卷积层和池化层、一个全连接层和输出层,N为正整数。其中,根据所需的神经网络模型数据,设置卷积层和池化层的数量。
步骤S61:对建立的第二卷积神经网络进行训练,得到第二卷积神经网络模型数据。
将训练图像数据集和测试图像数据集分别输入到所建立的第二卷积神经网络中,经过多次训练,得到所需的第二卷积神经网络模型数据。在对第二卷积神经网络进行训练的过程中,同样通过设置每个卷积层的过滤参数,设置每个池化层的池化长度,实现得到较为理想的第二卷积神经网络模型数据。其中,训练图像数据集和测试图像数据从图像数据集获得,具体的说,根据所得到的字库图像文件的大小,选取训练图像数据集和测试图像数据的比例。例如,将70%的图像数据集作为训练图像数据集,将30%的图像数据集作为测试图像数据集。
步骤S7:如果步骤S6中的某本图书可以得到书名,则将书名和定价保存至盘点表;否则,进入待标记数据区。
如果根据步骤S6的方法可以得到某本图书的书名,则将该图书的书名及根据书名在书名库中找出的定价分别保存至盘点表中。
如果某本图书通过采用第二卷积神经网络进行图像比对后,依然无法得到该本图书的书名,则可以将该图书进入待标记数据区,以通过人工的方式对将待标记数据区中的图书的图像分别进行标记后并入到图像数据集,从而便于下一次再遇到相同的图书图像时,可以根据最新的图像数据集,得到某本图书的书名。
步骤S8:根据盘点表保存的图书的书名和定价,统计图书库存。
根据盘点表保存的图书的书名和每本图书的定价,可以统计出每种书的数量,并根据每种图书的定价,得到图书的库存。其中,每种图书指的是图书的名称、作者和出版社相同。
本发明所提供的图书盘点方法通过将采集的某格书架上的图书摆放图像进行预处理,形成单本图书的图像,然后对单本图书的图像进行文字切分,形成单字;然后利用相应的卷积神经网络对文字进行识别、对单本书的图像进行图像识别;再用数据库相关技术,使文字识别的书名信息,保持在准确的应用层级。通过上述方法,可以有效解决书店盘点、货架管理上的应用痛点,大大提高盘点效率,并降低盘点成本。
如图6所示,本发明实施例还提供一种图书盘点***,包括:存储器61以及处理器62,存储器61存储有计算机控制程序,在该计算机控制程序被处理器62执行时,实现本发明所提供的图书盘点方法的步骤(如上所述的步骤S1~8)。此外,本发明实施例还提供一种机器可读介质,存储有计算机控制程序,该计算机控制程序被处理器执行时实现本发明所提供的图书盘点方法的步骤(如上所述的步骤S1~S8)。
本领域普通技术人员可以理解,上文中所公开方法中的全部或某些步骤、***、装置中的功能模块/单元可以被实施为软件、固件、硬件及其适当的组合。在硬件实施方式中,在以上描述中提及的功能模块/单元之间的划分不一定对应于物理组件的划分;例如,一个物理组件可以具有多个功能,或者一个功能或步骤可以由若干物理组件合作执行。某些组件或所有组件可以被实施为由处理器,如数字信号处理器或微处理器执行的软件,或者被实施为硬件,或者被实施为集成电路,如专用集成电路。这样的软件可以分布在机器可读介质(比如,计算机可读介质)上,计算机可读介质可以包括计算机存储介质(或非暂时性介质)和通信介质(或暂时性介质)。如本领域普通技术人员公知的,术语计算机存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、程序模块或其他数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字多功能盘(DVD)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。此外,本领域普通技术人员公知的是,通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据,并且可包括任何信息递送介质。
以上对本发明所提供的图书盘点方法及图书盘点***进行了详细的说明。对本领域的一般技术人员而言,在不背离本发明实质内容的前提下对它所做的任何显而易见的改动,都将属于本发明专利权的保护范围。

Claims (10)

1.一种图书盘点方法,其特征在于包括如下步骤:
步骤S1:获得单本仅包含单个字符的图书图像;
在获得单本仅包含单个字符的图书图像前,获取某格书架的图书书脊图像进行预处理;
其中,步骤S1具体包括:
步骤10:对所述图书书脊图像进行图像切分,得到单本图书图像;
步骤11:根据每个字体的起止位置对所述单本图书图像进行字体切分,得到单本仅包含单个字符的图书图像;
步骤S2:逐个将每本单个字符的图书图像分别输入到第一预先训练的卷积神经网络进行文字识别;
步骤S3:将所述第一预先训练的卷积神经网络输出的每个文字识别结果依次输入到书名库,确认每本图书是否可以得到书名;
步骤S4:如果某本图书得到书名,则将该本图书的书名保存至盘点表;
步骤S5:如果某本图书未得到书名,则将该本图书的图像输入到第二预先训练的卷积神经网络进行图像识别;
步骤S6:将所述第二预先训练的卷积神经网络输出的图像识别结果输入到书名库,确认未得到书名的某本图书是否得到书名;
步骤S7:如果所述步骤S6中的某本图书得到书名,则将书名和定价保存至盘点表;否则,进入待标记数据区;
步骤S8:根据所述盘点表保存的图书的书名和定价,统计图书库存。
2.如权利要求1所述的图书盘点方法,其特征在于在所述步骤11中,若单本图书图像中的图书为薄本图书,为了避免因该薄本图书书脊的厚度较薄而影响到字体的识别,则横向放大单本图书图像中所有像素。
3.如权利要求1所述的图书盘点方法,其特征在于在所述步骤S11中,若单本图书图像中的字体为双排字体,则提取出每个字体在单本图书图像中的坐标,生成中间文件,所述中间文件包括单列字体和双列字体,将双列字体根据左排与右排字体之间像素值没有变化的原则切割成单列字体,将得到的单本图书图像中的单列字体采用水平投影的方法,找出每个字体的起止位置,用于根据所述每个字体的起止位置切分出所述单本仅包含单个字符的图书图像。
4.如权利要求1所述的图书盘点方法,其特征在于获得所述单本图书图像的过程包括如下子步骤:
步骤S100:从所述图书书脊图像中获得有效书脊图像;
步骤101:对所述有效书脊图像进行切分,得到单本图书图像。
5.如权利要求4所述的图书盘点方法,其特征在于获得所述单本图书图像的过程包括如下子步骤:
步骤S1010:将所述有效书脊图像转换成灰度图像;
步骤S1011:对所述灰度图像进行滤波处理;
步骤S1012:从所述灰度图像中提取所述单本图书图像的边缘点集合;
步骤S1013:将所述单本图书图像的边缘点集合进行线性化处理,得到所述单本图书图像的有效边缘线,以切分出所述单本图书图像。
6.如权利要求1所述的图书盘点方法,其特征在于所述第一预先训练的卷积神经网络通过如下子步骤训练得到:
步骤S20:建立所述第一卷积神经网络;
步骤S21:对所述第一卷积神经网络进行训练,得到第一卷积神经网络模型数据。
7.如权利要求1所述的图书盘点方法,其特征在于所述第二预先训练的卷积神经网络通过如下子步骤训练得到:
步骤S60:建立所述第二卷积神经网络;
步骤S61:对所述第二卷积神经网络进行训练,得到第二卷积神经网络模型数据。
8.如权利要求1所述的图书盘点方法,其特征在于:
所述第一卷积神经网络和所述第二卷积神经网络均依次包括一个输入层、N个交替设置的卷积层和池化层、一个全连接层和输出层,N为正整数;
通过设置每个所述卷积层的过滤参数及每个所述池化层的池化长度,以得到相应的卷积神经网络模型数据。
9.一种图书盘点***,包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,其特征在于:所述处理器执行所述程序时实现如下步骤:
步骤S1:获得单本仅包含单个字符的图书图像;
步骤S2:逐个将每本单个字符的图书图像分别输入到第一预先训练的卷积神经网络进行文字识别;
步骤S3:将所述第一预先训练的卷积神经网络输出的每个文字识别结果依次输入到书名库,确认每本图书是否可以得到书名;
步骤S4:如果某本图书得到书名,则将该本图书的书名保存至盘点表;
步骤S5:如果某本图书未得到书名,则将该本图书的图像输入到第二预先训练的卷积神经网络进行图像识别;
步骤S6:将所述第二预先训练的卷积神经网络输出的图像识别结果输入到书名库,确认未得到书名的某本图书是否得到书名;
步骤S7:如果所述步骤S6中的某本图书得到书名,则将书名和定价保存至盘点表;否则,进入待标记数据区;
步骤S8:根据所述盘点表保存的图书的书名和定价,统计图书库存。
10.一种机器可读介质,其上存储有计算机程序,其特征在于该程序被处理器执行时实现如下步骤:
步骤S1:获得单本仅包含单个字符的图书图像;
步骤S2:逐个将每本单个字符的图书图像分别输入到第一预先训练的卷积神经网络进行文字识别;
步骤S3:将所述第一预先训练的卷积神经网络输出的每个文字识别结果依次输入到书名库,确认每本图书是否可以得到书名;
步骤S4:如果某本图书得到书名,则将该本图书的书名保存至盘点表;
步骤S5:如果某本图书未得到书名,则将该本图书的图像输入到第二预先训练的卷积神经网络进行图像识别;
步骤S6:将所述第二预先训练的卷积神经网络输出的图像识别结果输入到书名库,确认未得到书名的某本图书是否得到书名;
步骤S7:如果所述步骤S6中的某本图书得到书名,则将书名和定价保存至盘点表;否则,进入待标记数据区;
步骤S8:根据所述盘点表保存的图书的书名和定价,统计图书库存。
CN201911163170.0A 2019-11-25 2019-11-25 图书盘点方法及图书盘点*** Active CN110909743B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911163170.0A CN110909743B (zh) 2019-11-25 2019-11-25 图书盘点方法及图书盘点***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911163170.0A CN110909743B (zh) 2019-11-25 2019-11-25 图书盘点方法及图书盘点***

Publications (2)

Publication Number Publication Date
CN110909743A CN110909743A (zh) 2020-03-24
CN110909743B true CN110909743B (zh) 2023-08-11

Family

ID=69819034

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911163170.0A Active CN110909743B (zh) 2019-11-25 2019-11-25 图书盘点方法及图书盘点***

Country Status (1)

Country Link
CN (1) CN110909743B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111797939A (zh) * 2020-07-20 2020-10-20 天津中德应用技术大学 基于小波分析的无人图书馆深度学习智能识别***与方法
CN111898555B (zh) * 2020-07-31 2023-05-19 上海交通大学 基于图像与文本的图书盘点识别方法、装置、设备及***
CN112395939A (zh) * 2020-09-07 2021-02-23 江苏感创电子科技股份有限公司 一种图书盘点方法及***
CN113569871A (zh) * 2021-08-03 2021-10-29 内蒙古工业大学 一种基于深度学习的图书馆自动盘书方法及***

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012208591A (ja) * 2011-03-29 2012-10-25 Visual Japan Inc 書籍の在庫確認システム
CN106611174A (zh) * 2016-12-29 2017-05-03 成都数联铭品科技有限公司 一种非常见字体的ocr识别方法
CN109241374A (zh) * 2018-06-07 2019-01-18 广东数相智能科技有限公司 一种图书信息库更新方法及图书馆书籍定位方法
CN109800749A (zh) * 2019-01-17 2019-05-24 湖南师范大学 一种文字识别方法及装置
CN110321894A (zh) * 2019-04-23 2019-10-11 浙江工业大学 一种基于深度学习ocr的图书馆图书快速定位方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015192246A1 (en) * 2014-06-19 2015-12-23 Bitlit Media Inc Method and system for identifying books on a bookshelf

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012208591A (ja) * 2011-03-29 2012-10-25 Visual Japan Inc 書籍の在庫確認システム
CN106611174A (zh) * 2016-12-29 2017-05-03 成都数联铭品科技有限公司 一种非常见字体的ocr识别方法
CN109241374A (zh) * 2018-06-07 2019-01-18 广东数相智能科技有限公司 一种图书信息库更新方法及图书馆书籍定位方法
CN109800749A (zh) * 2019-01-17 2019-05-24 湖南师范大学 一种文字识别方法及装置
CN110321894A (zh) * 2019-04-23 2019-10-11 浙江工业大学 一种基于深度学习ocr的图书馆图书快速定位方法

Also Published As

Publication number Publication date
CN110909743A (zh) 2020-03-24

Similar Documents

Publication Publication Date Title
CN110909743B (zh) 图书盘点方法及图书盘点***
CN111476227B (zh) 基于ocr的目标字段识别方法、装置及存储介质
CN108229303B (zh) 检测识别和检测识别网络的训练方法及装置、设备、介质
CN111898411B (zh) 文本图像标注***、方法、计算机设备和存储介质
CN110503100B (zh) 一种医疗单据识别方法、装置、计算机装置及计算机可读存储介质
CN107545391A (zh) 一种基于图像识别的物流单据智能分析与自动存储方法
CN106599940B (zh) 图片文字的识别方法及装置
CN110807454B (zh) 基于图像分割的文字定位方法、装置、设备及存储介质
CN113705554A (zh) 图像识别模型的训练方法、装置、设备及存储介质
CN112699775A (zh) 基于深度学习的证件识别方法、装置、设备及存储介质
CN113221632A (zh) 文档图片识别方法、装置以及计算机设备
CN111444795A (zh) 票据数据识别方法、电子设备、存储介质及装置
CN114092938B (zh) 图像的识别处理方法、装置、电子设备及存储介质
CN113283355A (zh) 一种表格图像的识别方法、装置、计算机设备及存储介质
CN107403179B (zh) 一种物品包装信息的注册方法及装置
CN104809099A (zh) 文档文件生成装置及文档文件生成方法
CN111598076B (zh) 一种标签图像中日期检测处理方法及装置
CN112801232A (zh) 一种应用于处方录入的扫描识别方法及***
CN113901933A (zh) 基于人工智能的电子***信息抽取方法、装置及设备
CN113592720B (zh) 图像的缩放处理方法、装置、设备、存储介质
CN114529933A (zh) 一种合同数据差异性的比对方法、装置、设备和介质
CN113780116A (zh) ***分类方法、装置、计算机设备和存储介质
CN115731554A (zh) 快件面单识别方法、装置、计算机设备及存储介质
CN111079749B (zh) 一种带姿态校正的端到端商品价签文字识别方法和***
CN112308057A (zh) 一种基于文字位置信息的ocr优化方法及***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant