CN110135889A - 智能推荐书单的方法、服务器及存储介质 - Google Patents

智能推荐书单的方法、服务器及存储介质 Download PDF

Info

Publication number
CN110135889A
CN110135889A CN201910298660.5A CN201910298660A CN110135889A CN 110135889 A CN110135889 A CN 110135889A CN 201910298660 A CN201910298660 A CN 201910298660A CN 110135889 A CN110135889 A CN 110135889A
Authority
CN
China
Prior art keywords
facial image
default label
verifying
training
image sample
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910298660.5A
Other languages
English (en)
Inventor
韩冰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
OneConnect Smart Technology Co Ltd
Original Assignee
OneConnect Smart Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by OneConnect Smart Technology Co Ltd filed Critical OneConnect Smart Technology Co Ltd
Priority to CN201910298660.5A priority Critical patent/CN110135889A/zh
Publication of CN110135889A publication Critical patent/CN110135889A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K17/00—Methods or arrangements for effecting co-operative working between equipments covered by two or more of main groups G06K1/00 - G06K15/00, e.g. automatic card files incorporating conveying and reading operations
    • G06K17/0022—Methods or arrangements for effecting co-operative working between equipments covered by two or more of main groups G06K1/00 - G06K15/00, e.g. automatic card files incorporating conveying and reading operations arrangements or provisious for transferring data to distant stations, e.g. from a sensing device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0281—Customer communication at a business location, e.g. providing product or service information, consulting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Multimedia (AREA)
  • Strategic Management (AREA)
  • Human Computer Interaction (AREA)
  • Marketing (AREA)
  • Economics (AREA)
  • General Business, Economics & Management (AREA)
  • Finance (AREA)
  • Tourism & Hospitality (AREA)
  • Development Economics (AREA)
  • Accounting & Taxation (AREA)
  • Game Theory and Decision Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Primary Health Care (AREA)
  • Human Resources & Organizations (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种智能推荐书单的方法，应用于服务器，该方法通过获取人脸图像，对人脸图像进行预处理后，按照预先确定的特征向量提取算法提取人脸图像的特征向量。之后，利用预先训练的第一识别模型，输入特征向量识别出人脸图像的第一预设标签，获取各书籍对应的预设信息作为各书籍的第二预设标签。从多个第二预设标签中匹配出与第一预设标签相似度值大于或等于第一预设阈值的第一预设数量的第二预设标签，形成推荐书单。根据匹配出的第二预设标签确定推荐书单，并生成与推荐书单对应的二维码并反馈给所述用户终端。本发明能够更加人性化并且有针对性地给用户推荐合适的书籍，提高用户的体验感。

Description

智能推荐书单的方法、服务器及存储介质
技术领域
本发明涉及人脸识别技术领域，尤其涉及一种智能推荐书单的方法、服务器及存储介质。
背景技术
目前大型图书馆常常配备导航***，通过输入书目名称检索书目信息，导航***就会提供书本的余量、位置、最近借阅次数等信息，帮助用户寻找书本，但是无法更人性化地给不同的用户推荐合适的书籍。图书馆的书本推荐通常也只是简单地推荐热门书籍或者经典书籍，没有针对性，推荐的效果并不能令人满意。
因此，如何更加人性化并且有针对性地给用户推荐合适的书籍，已经成为一个亟待解决的技术问题。
发明内容
本发明的主要目的在于提供一种智能推荐书单的方法、服务器及存储介质。
为实现上述目的，本发明提供的一种智能推荐书单的方法，应用于服务器，该方法包括：
获取步骤：获取用户终端采集的人脸图像，对所述人脸图像进行预处理；
提取步骤：利用预设的特征向量提取算法从所述预处理后的人脸图像中提取特征向量；
识别步骤：将所述特征向量输入预先训练的与第一预设标签(例如用户的年龄、性别及性格特征)对应的第一识别模型，识别出所述人脸图像的第一预设标签；
建立步骤：获取各书籍对应的预设信息作为各书籍的第二预设标签(例如各书籍历史借阅用户的年龄分布、性别、借阅时长、性格特征)；
对比步骤：从多个所述第二预设标签中匹配出与所述第一预设标签相似度值大于或等于第一预设阈值的第一预设数量的第二预设标签；及
生成步骤：根据所述匹配出的第一预设数量的第二预设标签确定推荐书单，生成与所述推荐书单对应的二维码并反馈给所述用户终端。
优选地，所述第一预设标签对应的第一识别模型的训练过程包括：
获取第二预设数量的人脸图像样本，为每一张人脸图像样本分配一个唯一的第一预设标签；
将所述人脸图像样本按照第一预设比例分成第一训练集和第一验证集，所述第一训练集中的人脸图像样本数量大于所述第一验证集中的人脸图像样本数量；
按照所述预先确定的特征向量提取算法，提取出所述第一训练集和第一验证集中每张人脸图像样本的特征向量；
将所述第一训练集中的人脸图像样本输入所述支持向量机进行训练，每隔预设周期使用所述第一验证集对所述支持向量机进行验证，利用所述第一验证集中各张人脸图像样本的特征向量和对应的第一预设标签对该第一识别模型的准确率进行验证；及
当验证的准确率大于第二预设阈值时，结束训练，得到所述第一识别模型。
优选地，所述特征向量提取算法包括：
将所述人脸图像输入预先训练的与所述人脸图像的面部图像区域对应的第二识别模型，识别出所述人脸图像的面部图像区域；
将每个所述面部图像区域切分为第二预设数量的图像单元，利用预先确定的计算规则计算得出所述图像单元中每个像素点的梯度模及梯度方向；
根据所述计算出的梯度模及梯度方向建立每个所述图像单元的梯度直方图；及
将各所述梯度直方图按照对应图像单元在所述面部图像区域的位置组成每张人脸图像的特征向量。
优选地，所述第二预设类型识别模型为卷积神经网络模型，所述卷积神经网络模型的训练过程如下：
获取第三预设数量的人脸图像样本，每张人脸图像样本中标注有面部图像区域；
将所述人脸图像样本按照第二预设比例分成第二训练集和第二验证集，所述第二训练集中的图像样本数量大于所述第二验证集中的图像样本数量；
将所述第二训练集中的人脸图像样本输入所述卷积神经网络模型进行训练，每隔预设周期使用所述第二验证集对所述卷积神经网络模型进行验证，利用所述第二验证集中各张人脸图像和对应的面部图像区域对该第二识别模型的准确率进行验证；及
当验证的准确率大于第三预设阈值时，结束训练，得到所述第二识别模型。
优选地，所述预先确定的计算规则包括：
其中，Gx(x，y)和Gy(x，y)分别表示当前像素点(x，y)处的水平方向和垂直方向的梯度值，和θ(x，y)分别表示当前像素点(x，y)处的梯度模和方向。
优选地，在所述对比步骤之前，该方法还包括以下步骤：
建立所述第二预设标签与书籍类别之间的映射关系。
为实现上述目的，本发明还进一步提供一种服务器，所述服务器包括存储器和处理器，所述存储器上存储有智能推荐书单程序，所述智能推荐书单程序被所述处理器执行时实现如下步骤：
获取步骤：获取用户终端采集的人脸图像，对所述人脸图像进行预处理；
提取步骤：利用预设的特征向量提取算法从所述预处理后的人脸图像中提取特征向量；
识别步骤：将所述特征向量输入预先训练的与第一预设标签(例如用户的年龄、性别及性格特征)对应的第一识别模型，识别出所述人脸图像的第一预设标签；
建立步骤：获取各书籍对应的预设信息作为各书籍的第二预设标签(例如各书籍历史借阅用户的年龄分布、性别、借阅时长、性格特征)；
对比步骤：从多个所述第二预设标签中匹配出与所述第一预设标签相似度值大于或等于第一预设阈值的第一预设数量的第二预设标签；及
生成步骤：根据所述匹配出的第一预设数量的第二预设标签确定推荐书单，生成与所述推荐书单对应的二维码并反馈给所述用户终端。
优选地，所述第一预设标签对应的第一识别模型的训练过程包括：
获取第二预设数量的人脸图像样本，为每一张人脸图像样本分配一个唯一的第一预设标签；
将所述人脸图像样本按照第一预设比例分成第一训练集和第一验证集，所述第一训练集中的人脸图像样本数量大于所述第一验证集中的人脸图像样本数量；
按照所述预先确定的特征向量提取算法，提取出所述第一训练集和第一验证集中每张人脸图像样本的特征向量；
将所述第一训练集中的人脸图像样本输入所述支持向量机进行训练，每隔预设周期使用所述第一验证集对所述支持向量机进行验证，利用所述第一验证集中各张人脸图像样本的特征向量和对应的第一预设标签对该第一识别模型的准确率进行验证；及
当验证的准确率大于第二预设阈值时，结束训练，得到所述第一识别模型。
优选地，所述特征向量提取算法包括：
将所述人脸图像输入预先训练的与所述人脸图像的面部图像区域对应的第二识别模型，识别出所述人脸图像的面部图像区域；
将每个所述面部图像区域切分为第二预设数量的图像单元，利用预先确定的计算规则计算得出所述图像单元中每个像素点的梯度模及梯度方向；
根据所述计算出的梯度模及梯度方向建立每个所述图像单元的梯度直方图；及
将各所述梯度直方图按照对应图像单元在所述面部图像区域的位置组成每张人脸图像的特征向量。
为实现上述目的，本发明进一步提供一种计算机可读存储介质，所述计算机可读存储介质上存储有智能推荐书单程序，所述智能推荐书单程序可被一个或者多个处理器执行，以实现如上述的智能推荐书单方法的步骤。
本发明提出的智能推荐书单的方法、服务器及存储介质，通过人脸识别技术识别出当前用户的第一预设标签，并利用大数据方法分析图书馆书籍历史借阅信息生成各书籍的第二预设标签，根据当前用户的第一预设标签与各书籍的第二预设标签的匹配结果生成推荐书单，并生成与推荐书单对应的二维码展示给用户。相比较现有传统的书籍推荐方式，本发明提供的方法能够根据用户属性及历史借阅信息有针对性地向用户推荐书籍，提升书籍推荐的有效性及用户体验。
附图说明
图1为本发明服务器较佳实施例的应用环境图；
图2为图1中智能推荐书单程序较佳实施例的程序模块示意图；
图3为本发明***检验方法较佳实施例的流程示意图。
本发明目的的实现、功能特点及优点将结合实施例，参附图做进一步说明。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
需要说明的是，在本发明中涉及“第一”、“第二”等的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。另外，各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本发明要求的保护范围之内。
本发明提供一种服务器1。参照图1所示，服务器1通过人脸识别技术识别出当前用户的第一预设标签，并利用大数据方法分析图书馆书籍历史借阅信息生成各书籍的第二预设标签，根据当前用户的第一预设标签与各书籍的第二预设标签的匹配结果生成推荐书单，并生成与推荐书单对应的二维码展示给用户。相比较现有传统的书籍推荐方式，本发明提供的方法能够根据用户属性及历史借阅信息有针对性地向用户推荐书籍，提升书籍推荐的有效性及用户体验。
所述服务器1可以是机架式服务器、刀片式服务器、塔式服务器或机柜式服务器等的一种或几种。该服务器包括，但不仅限于，存储器11、处理器12及网络接口13。
其中，存储器11至少包括一种类型的可读存储介质，所述可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、磁性存储器、磁盘、光盘等。存储器11在一些实施例中可以是服务器的内部存储单元，例如该服务器的硬盘。存储器11在另一些实施例中也可以是服务器1的外部存储设备，例如该服务器1上配备的插接式硬盘，智能存储卡(Smart Media Card，SMC)，安全数字(Secure Digital，SD)卡，闪存卡(Flash Card)等。
进一步地，存储器11还可以既包括服务器1的内部存储单元也包括外部存储设备。存储器11不仅可以用于存储安装于服务器1的应用软件及各类数据，例如智能推荐书单程序10的代码等，还可以用于暂时地存储已经输出或者将要输出的数据。
处理器12在一些实施例中可以是一中央处理器(Central Processing Unit，CPU)、控制器、微控制器、微处理器或其他数据处理芯片，用于运行存储器11中存储的程序代码或处理数据，例如执行智能推荐书单程序10等。
网络接口13可选的可以包括标准的有线接口、无线接口(如WI-FI接口)，通常用于在该服务器1与其他电子设备之间建立通信连接。
用户终端14可以是摄像头，或其他具有获取人脸图像功能且可以通过网络15与服务器进行通信的终端装置。
网络15可以为互联网、云网络、无线保真(Wi-Fi)网络、个人网(PAN)、局域网(LAN)和/或城域网(MAN)。网络环境中的各种设备可以被配置为根据各种有线和无线通信协议连接到通信网络。这样的有线和无线通信协议的例子可以包括但不限于以下中的至少一个：传输控制协议和互联网协议(TCP/IP)、用户数据报协议(UDP)、超文本传输协议(HTTP)、文件传输协议(FTP)、ZigBee、EDGE、IEEE 802.11、光保真(Li-Fi)、802.16、IEEE 802.11s、IEEE 802.11g、多跳通信、无线接入点(AP)、设备对设备通信、蜂窝通信协议和/或蓝牙(BlueTooth)通信协议或其组合。
可选地，该服务器1还可以包括用户接口，用户接口可包括显示器(Display)、输入单元比如键盘(Keyboard)，可选的用户接口还可以包括标准的有线接口、无线接口。可选地，在一些实施例中，显示器可以是LED显示器、液晶显示器、触控式液晶显示器以及OLED(Organic Light-Emitting Diode，有机发光二极管)触摸器等。其中，显示器也可以称为显示屏或显示单元，用于显示在服务器1中处理的信息以及用于显示可视化的用户界面。
图1仅示出了具有组件11-15以及智能推荐书单程序10的服务器1，本领域技术人员可以理解的是，图1示出的结构并不构成对服务器1的限定，可以包括比图示更少或者更多的部件，或者组合某些部件，或者不同的部件布置。
在一实施例中，图1的智能推荐书单程序10被处理器12执行时，实现以下步骤：
获取步骤：获取用户终端采集的人脸图像，对所述人脸图像进行预处理；
提取步骤：利用预设的特征向量提取算法从所述预处理后的人脸图像中提取特征向量；
识别步骤：将所述特征向量输入预先训练的与第一预设标签(例如用户的年龄、性别及性格特征)对应的第一识别模型，识别出所述人脸图像的第一预设标签；
建立步骤：获取各书籍对应的预设信息作为各书籍的第二预设标签(例如各书籍历史借阅用户的年龄分布、性别、借阅时长、性格特征)；
对比步骤：从多个所述第二预设标签中匹配出与所述第一预设标签相似度值大于或等于第一预设阈值的第一预设数量的第二预设标签；及
生成步骤：根据所述匹配出的第一预设数量的第二预设标签确定推荐书单，生成与所述推荐书单对应的二维码并反馈给所述用户终端。
进一步地，在所述对比步骤之前，该方法还包括以下步骤：
建立所述第二预设标签与书籍类别之间的映射关系。
关于上述步骤的详细介绍，请参照下述图2关于智能推荐书单程序10实施例的程序模块示意图及图3关于智能推荐书单方法实施例的方法流程示意图的说明。
参照图2所示，为图1中智能推荐书单程序10实施例的程序模块示意图。智能推荐书单程序10被分割为多个模块，该多个模块存储于存储器11中，并由处理器12执行，以完成本发明。本发明所称的模块是指能够完成特定功能的一系列计算机程序指令段。
在本实施例中，所述智能推荐书单程序10包括获取模块110、提取模块120、识别模块130、建立模块140、对比模块150及生成模块160。
获取模块110，用于获取用户终端14(例如摄像头)采集的人脸图像，并对所述人脸图像进行预处理。
人脸图像的预处理是为了避免背景对投影图像的影响，消除背景噪声，以减少在后面特征提取时造成的误差。本实施例中首先采用3×3中值滤波来去除输入原图像中的点噪声，其次采用自适应阈值方法(LAT)来获得边缘二值图像，以简化算法及减少运算量。图像边缘提取的算法有很多，常用的有拉普拉斯算子、Robison算子、Prewitt算子和Sobel算子，本实施例中采用的是四方向的Sobel算子。以下是Sobel算子采用的3×3模板，其中矩阵中数字代表像素的灰度值，范围在0～255之间，则四方向的Sobel算子Z0，Z1，Z2，Z3分别为:
经过低通滤波后，LAT算法如下：
这里g(x，y)代表输入图像的低通滤波器，Zk(x，y)代表Sobel算子的4个输出，低通滤波器如下所示：
此时，可以判断：经过
如果LAT(x,y)>1，则g(x,y)为边界点，I(x,y)＝1；
如果LAT(x,y)<1，则g(x,y)为非边界点，(x,y)＝0；
这样可得到图像的二值边缘图像I(x,y)。即图像的背景灰度值即为0(黑色)，而人脸轮廓及干扰景物边界的灰度值则为255(白色)。
提取模块120，用于提取所述人脸图像的特征向量，按照预先确定的特征向量提取算法，提取人脸图像的特征向量。
在本实施例中，所述特征向量提取算法包括：
预先训练与所述人脸图像的面部图像区域对应的第二识别模型，所述第二识别模型为卷积神经网络模型(Convolutional Neural Network，CNN)；
获取第四预设数量(例如10万)的人脸图像样本，每张人脸图像样本中标注有面部图像区域；
将所述人脸图像样本按照第二预设比例(例如5:1)分成第二训练集和第二验证集，所述第二训练集中的人脸图像样本数量大于所述第二验证集中的人脸图像样本数量；
将所述第二训练集中的人脸图像样本输入所述卷积神经网络模型进行训练，每隔预设周期(例如每进行1000次迭代)使用所述第二验证集对所述卷积神经网络模型进行验证，利用所述第二验证集中各张人脸图像样本和对应的面部图像区域对该第二识别模型的准确率进行验证；
当验证的准确率大于第三预设阈值(例如85％)时，结束训练，得到所述第二识别模型，输入所述人脸图像输入所述第二识别模型识别出所述人脸图像样本的面部图像区域；及
当验证的准确率小于第三预设阈值(例如85％)时，则增加所述人脸图像样本的数量，并基于增加的人脸图像样本重新执行上述步骤。
将每个所述面部图像区域切分为第二预设数量(例如16)的图像单元，利用预先确定的计算规则计算得出所述图像单元中每个像素点的梯度模及梯度方向；
根据所述计算出的梯度模及梯度方向建立每个所述图像单元的梯度直方图；及
将各所述梯度直方图按照对应图像单元在所述面部图像区域的位置进行串联，以组成每张人脸图像样本的特征向量，例如方向梯度直方图(Histogram of OrientedGradient，HOG)特征向量。
其中，所述预先确定的计算规则包括：
其中，Gx(x，y)和Gy(x，y)分别表示当前像素点(x，y)处的水平方向和垂直方向的梯度值，和θ(x，y)分别表示当前像素点(x，y)处的梯度模和方向。
识别模块130，用于识别与人脸图像对应的第一预设标签(包括但不仅限于用户的年龄、性别及性格特征，例如“年龄：10-15岁”；“性别：女”；“性格：外向”)。利用预先训练的与所述第一预设标签对应的第一识别模型，输入所述特征向量即可识别出与所述人脸图像对应的第一预设标签。
在本实施例中，所述第一识别模型为支持向量机(Support Vector Machine，SVM，是常见的一种判别方法，在机器学习领域，是一个有监督的学习模型，通常用来进行模式识别、分类以及回归分析)，所述第一预设标签对应的第一识别模型的训练过程包括：
获取第二预设数量(例如10万)的人脸图像样本，为每一张人脸图像样本分配一个唯一的第一预设标签；
将所述人脸图像样本按照第一预设比例(例如4:1)分成第一训练集和第一训练集，所述第一训练集中的图像样本数量大于所述第一训练集中的图像样本数量；
按照所述预先确定的特征向量提取算法，提取出所第一训练集和第一验证集中每张人脸图像样本的特征向量，例如方向梯度直方图(Histogram of Oriented Gradient，HOG)特征向量；
将所述训练集中的图像样本输入所述支持向量机进行训练，每隔预设周期(例如每进行1000次迭代)使用所述验证集对所述支持向量机进行验证，利用验证集中各张人脸图像样本的特征向量和对应的第一预设标签对该第一识别模型的准确率进行验证；
当验证的准确率大于第二预设阈值(例如95％)时，结束训练，得到所述第一识别模型；及
当验证的准确率小于第二预设阈值(例如95％)时，则增加所述人脸图像样本的数量，并基于增加的人脸图像样本重新执行上述步骤。
建立模块140，用于获取各书籍对应的预设信息作为各书籍的第二预设标签。
在本实施例中，所述预设信息包括存储在图书馆信息***中的每本书籍的历史借阅用户的年龄分布、性别、借阅时长、性格特征(例如外向、内向)。此外，所述第二预设标签还可以包括书籍的固有属性，如书本的类型、长度、出版年限等。图书的第二预设标签信息随着图书馆的运作定期或实时更新。
进一步地，所述建立模块140还包括：建立所述第二预设标签与书籍类别之间的映射关系。
将不同书籍进行归类，例如科技类、生活类等不同类别。用户在查询自己所喜欢的书籍之前可以先选择书籍的类别，进一步缩小选择范围，提高***的推荐精准度。
对比模块150，用于从多个第二预设标签中匹配出与第一预设标签相似度值大于或等于第一预设阈值(例如85％)的第一预设数量(例如5本)的第二预设标签。
生成模块160，用于生成与推荐书单对应的二维码并展示给用户终端14。
根据所述匹配出的第二预设标签确定推荐书单，并生成与所述推荐书单对应的二维码。其中，二维码能够获得书籍的全部相关信息，包括书本的作者、出版时间、简单介绍、前几章的试读、他人的评价、最近借阅频次，也会显示书籍的余量、位置信息，并且根据用户的当前位置生成路线图指引用户前往书籍所在的位置。
此外，本发明还提供一种智能推荐书单的方法。参照图3所示，为本发明智能推荐书单的方法的实施例的方法流程示意图。服务器1的处理器12执行存储器11中存储的智能推荐书单程序10时实现智能推荐书单的方法的如下步骤：
步骤S110，获取用户终端14(例如摄像头)采集的人脸图像，并对所述人脸图像进行预处理。
人脸图像的预处理是为了避免背景对投影图像的影响，消除背景噪声，以减少在后面特征提取时造成的误差。本实施例中首先采用3×3中值滤波来去除输入原图像中的点噪声，其次采用自适应阈值方法(LAT)来获得边缘二值图像，以简化算法及减少运算量。图像边缘提取的算法有很多，常用的有拉普拉斯算子、Robison算子、Prewitt算子和Sobel算子，本实施例中采用的是四方向的Sobel算子。以下是Sobel算子采用的3×3模板，其中矩阵中数字代表像素的灰度值，范围在0～255之间，则四方向的Sobel算子Z0，Z1，Z2，Z3分别为:
经过低通滤波后，LAT算法如下：
这里g(x，y)代表输入图像的低通滤波器，Zk(x，y)代表Sobel算子的4个输出，低通滤波器如下所示：
此时，可以判断：经过
如果LAT(x,y)>1，则g(x,y)为边界点，I(x,y)＝1；
如果LAT(x,y)<1，则g(x,y)为非边界点，(x,y)＝0；
这样可得到图像的二值边缘图像I(x,y)。即图像的背景灰度值即为0(黑色)，而人脸轮廓及干扰景物边界的灰度值则为255(白色)。
步骤S120，预先训练与所述人脸图像的面部图像区域对应的第二识别模型，所述第二识别模型为卷积神经网络模型(Convolutional Neural Network，CNN)；
获取第四预设数量(例如10万)的人脸图像样本，每张人脸图像样本中标注有面部图像区域；
将所述人脸图像样本按照第二预设比例(例如5:1)分成第二训练集和第二验证集，所述第二训练集中的人脸图像样本数量大于所述第二验证集中的人脸图像样本数量；
将所述第二训练集中的人脸图像样本输入所述卷积神经网络模型进行训练，每隔预设周期(例如每进行1000次迭代)使用所述第二验证集对所述卷积神经网络模型进行验证，利用所述第二验证集中各张人脸图像样本和对应的面部图像区域对该第二识别模型的准确率进行验证；
当验证的准确率大于第三预设阈值(例如85％)时，结束训练，得到所述第二识别模型，输入所述人脸图像输入所述第二识别模型识别出所述人脸图像样本的面部图像区域；及
当验证的准确率小于第三预设阈值(例如85％)时，则增加所述人脸图像样本的数量，并基于增加的人脸图像样本重新执行上述步骤。
将每个所述面部图像区域切分为第二预设数量(例如16)的图像单元，利用预先确定的计算规则计算得出所述图像单元中每个像素点的梯度模及梯度方向；
根据所述计算出的梯度模及梯度方向建立每个所述图像单元的梯度直方图；及
将各所述梯度直方图按照对应图像单元在所述面部图像区域的位置进行串联，以组成每张人脸图像样本的特征向量，例如方向梯度直方图(Histogram of OrientedGradient，HOG)特征向量。
其中，所述预先确定的计算规则包括：
其中，Gx(x，y)和Gy(x，y)分别表示当前像素点(x，y)处的水平方向和垂直方向的梯度值，和θ(x，y)分别表示当前像素点(x，y)处的梯度模和方向。
步骤S130，用于识别与人脸图像对应的第一预设标签(包括但不仅限于用户的年龄、性别及性格特征，例如“年龄：10-15岁”；“性别：女”；“性格：外向”)。利用预先训练的与所述第一预设标签对应的第一识别模型，输入所述特征向量即可识别出与所述人脸图像对应的第一预设标签。
在本实施例中，所述第一识别模型为支持向量机(Support Vector Machine，SVM，是常见的一种判别方法，在机器学习领域，是一个有监督的学习模型，通常用来进行模式识别、分类以及回归分析)，所述第一预设标签对应的第一识别模型的训练过程包括：
获取第二预设数量(例如10万)的人脸图像样本，为每一张人脸图像样本分配一个唯一的第一预设标签；
将所述人脸图像样本按照第一预设比例(例如4:1)分成第一训练集和第一训练集，所述第一训练集中的图像样本数量大于所述第一训练集中的图像样本数量；
按照所述预先确定的特征向量提取算法，提取出所述第一训练集和第一验证集中每张人脸图像样本的特征向量，例如方向梯度直方图(Histogram of Oriented Gradient，HOG)特征向量；
将所述训练集中的图像样本输入所述支持向量机进行训练，每隔预设周期(例如每进行1000次迭代)使用所述验证集对所述支持向量机进行验证，利用验证集中各张人脸图像样本的特征向量和对应的第一预设标签对该第一识别模型的准确率进行验证；
当验证的准确率大于第二预设阈值(例如95％)时，结束训练，得到所述第一识别模型；及
当验证的准确率小于第二预设阈值(例如95％)时，则增加所述人脸图像样本的数量，并基于增加的人脸图像样本重新执行上述步骤。
步骤S140，用于获取各书籍对应的预设信息作为各书籍的第二预设标签。
在本实施例中，所述预设信息包括存储在图书馆信息***中的每本书籍的历史借阅用户的年龄分布、性别、借阅时长、性格特征(例如外向、内向)。此外，所述第二预设标签还可以包括书籍的固有属性，如书本的类型、长度、出版年限等。图书的第二预设标签信息随着图书馆的运作定期或实时更新。
进一步地，该方法还包括：建立所述第二预设标签与书籍类别之间的映射关系。
将不同书籍进行归类，例如科技类、生活类等不同类别。用户在查询自己所喜欢的书籍之前可以先选择书籍的类别，进一步缩小选择范围，提高***的推荐精准度。
步骤S150，从多个第二预设标签中匹配出与第一预设标签相似度值大于或等于第一预设阈值(例如85％)的第一预设数量(例如5本)的第二预设标签。
步骤S160，生成与推荐书单对应的二维码并展示给用户终端14。
根据所述匹配出的第二预设标签确定推荐书单，并生成与所述推荐书单对应的二维码。其中，二维码能够获得书籍的全部相关信息，包括书本的作者、出版时间、简单介绍、前几章的试读、他人的评价、最近借阅频次，也会显示书籍的余量、位置信息，并且根据用户的当前位置生成路线图指引用户前往书籍所在的位置。
例如，在实际应用当中，用户首先在图书馆的电脑摄像头前进行人脸识别(或是通过手机登录电子图书馆，利用手机摄像头进行人脸识别)得到用户的第一预设标签(例如“年龄：10-15岁”；“性别：女”；“性格：外向”)，随后在电脑页面上输入自己喜欢的书籍类别，***从多个第二预设标签中匹配出与第一预设标签相似度值较高的5个第二预设标签形成推荐书单，并生成与推荐书单对应的二维码展示给用户，用户通过扫码得到推荐书单。
此外，本发明实施例还提出一种计算机可读存储介质，计算机可读存储介质可以是硬盘、多媒体卡、SD卡、闪存卡、SMC、只读存储器(ROM)、可擦除可编程只读存储器(EPROM)、便携式紧致盘只读存储器(CD-ROM)、USB存储器等中的任意一种或者几种的任意组合。计算机可读存储介质中包括智能推荐书单程序10，本发明之计算机可读存储介质的具体实施方式与上述智能推荐书单方法以及服务器的具体实施方式大致相同，在此不再赘述。
需要说明的是，上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。并且本文中的术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、装置、物品或者方法不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、装置、物品或者方法所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、装置、物品或者方法中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种智能推荐书单的方法，应用于服务器，其特征在于，该方法包括：
获取步骤：获取用户终端采集的人脸图像，对所述人脸图像进行预处理；
提取步骤：利用预设的特征向量提取算法从所述预处理后的人脸图像中提取特征向量；
识别步骤：将所述特征向量输入预先训练的与第一预设标签对应的第一识别模型，识别出所述人脸图像的第一预设标签；
建立步骤：获取各书籍对应的预设信息作为各书籍的第二预设标签；
对比步骤：从多个所述第二预设标签中匹配出与所述第一预设标签相似度值大于或等于第一预设阈值的第一预设数量的第二预设标签；及
生成步骤：根据所述匹配出的第一预设数量的第二预设标签确定推荐书单，生成与所述推荐书单对应的二维码并反馈给所述用户终端。
2.如权利要求1所述的智能推荐书单的方法，其特征在于，所述第一识别模型为支持向量机，所述第一预设标签对应的第一识别模型的训练过程包括：
获取第二预设数量的人脸图像样本，为每一张人脸图像样本分配一个唯一的第一预设标签；
将所述人脸图像样本按照第一预设比例分成第一训练集和第一验证集，所述第一训练集中的人脸图像样本数量大于所述第一验证集中的人脸图像样本数量；
按照所述预先确定的特征向量提取算法，提取出所述第一训练集和第一验证集中每张人脸图像样本的特征向量；
将所述第一训练集中的人脸图像样本输入所述支持向量机进行训练，每隔预设周期使用所述第一验证集对所述支持向量机进行验证，利用所述第一验证集中各张人脸图像样本的特征向量和对应的第一预设标签对该第一识别模型的准确率进行验证；及
当验证的准确率大于第二预设阈值时，结束训练，得到所述第一识别模型。
3.如权利要求2所述的智能推荐书单的方法，其特征在于，所述特征向量提取算法包括：
将所述人脸图像输入预先训练的与所述人脸图像的面部图像区域对应的第二识别模型，识别出所述人脸图像的面部图像区域；
将每个所述面部图像区域切分为第二预设数量的图像单元，利用预先确定的计算规则计算得出所述图像单元中每个像素点的梯度模及梯度方向；
根据所述计算出的梯度模及梯度方向建立每个所述图像单元的梯度直方图；及
将各所述梯度直方图按照对应图像单元在所述面部图像区域的位置组成每张人脸图像的特征向量。
4.如权利要求1-3中任一项所述的智能推荐书单的方法，其特征在于，所述第二预设类型识别模型为卷积神经网络模型，所述卷积神经网络模型的训练过程如下：
获取第三预设数量的人脸图像样本，每张人脸图像样本中标注有面部图像区域；
将所述人脸图像样本按照第二预设比例分成第二训练集和第二验证集，所述第二训练集中的图像样本数量大于所述第二验证集中的图像样本数量；
将所述第二训练集中的人脸图像样本输入所述卷积神经网络模型进行训练，每隔预设周期使用所述第二验证集对所述卷积神经网络模型进行验证，利用所述第二验证集中各张人脸图像和对应的面部图像区域对该第二识别模型的准确率进行验证；及
当验证的准确率大于第三预设阈值时，结束训练，得到所述第二识别模型。
5.如权利要求3所述的智能推荐书单的方法，其特征在于，所述预先确定的计算规则包括：
其中，Gx(x，y)和Gy(x，y)分别表示当前像素点(x，y)处的水平方向和垂直方向的梯度值，和θ(x，y)分别表示当前像素点(x，y)处的梯度模和方向。
6.如权利要求1所述的智能推荐书单的方法，其特征在于，在所述对比步骤之前，该方法还包括以下步骤：
建立所述第二预设标签与书籍类别之间的映射关系。
7.一种服务器，其特征在于，所述服务器包括存储器和处理器，所述存储器上存储有智能推荐书单程序，所述智能推荐书单程序被所述处理器执行时实现如下步骤：
获取步骤：获取用户终端采集的人脸图像，对所述人脸图像进行预处理；
提取步骤：利用预设的特征向量提取算法从所述预处理后的人脸图像中提取特征向量；
识别步骤：将所述特征向量输入预先训练的与第一预设标签对应的第一识别模型，识别出所述人脸图像的第一预设标签；
建立步骤：获取各书籍对应的预设信息作为各书籍的第二预设标签；
对比步骤：从多个所述第二预设标签中匹配出与所述第一预设标签相似度值大于或等于第一预设阈值的第一预设数量的第二预设标签；及
生成步骤：根据所述匹配出的第一预设数量的第二预设标签确定推荐书单，生成与所述推荐书单对应的二维码并反馈给所述用户终端。
8.如权利要求7所述的服务器，其特征在于，所述第一识别模型为支持向量机，所述第一预设标签对应的第一识别模型的训练过程包括：
获取第二预设数量的人脸图像样本，为每一张人脸图像样本分配一个唯一的第一预设标签；
将所述人脸图像样本按照第一预设比例分成第一训练集和第一验证集，所述第一训练集中的人脸图像样本数量大于所述第一验证集中的人脸图像样本数量；
按照所述预先确定的特征向量提取算法，提取出所述第一训练集和第一验证集中每张人脸图像样本的特征向量；
将所述第一训练集中的人脸图像样本输入所述支持向量机进行训练，每隔预设周期使用所述第一验证集对所述支持向量机进行验证，利用所述第一验证集中各张人脸图像样本的特征向量和对应的第一预设标签对该第一识别模型的准确率进行验证；及
当验证的准确率大于第二预设阈值时，结束训练，得到所述第一识别模型。
9.如权利要求8所述的服务器，其特征在于，所述特征向量提取算法包括：
将所述人脸图像输入预先训练的与所述人脸图像的面部图像区域对应的第二识别模型，识别出所述人脸图像的面部图像区域；
将每个所述面部图像区域切分为第二预设数量的图像单元，利用预先确定的计算规则计算得出所述图像单元中每个像素点的梯度模及梯度方向；
根据所述计算出的梯度模及梯度方向建立每个所述图像单元的梯度直方图；及
将各所述梯度直方图按照对应图像单元在所述面部图像区域的位置组成每张人脸图像的特征向量。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有智能推荐书单程序，所述智能推荐书单程序可被一个或者多个处理器执行，以实现如权利要求1-6中任一项所述的智能推荐书单方法的步骤。
CN201910298660.5A 2019-04-15 2019-04-15 智能推荐书单的方法、服务器及存储介质 Pending CN110135889A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910298660.5A CN110135889A (zh) 2019-04-15 2019-04-15 智能推荐书单的方法、服务器及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910298660.5A CN110135889A (zh) 2019-04-15 2019-04-15 智能推荐书单的方法、服务器及存储介质

Publications (1)

Publication Number Publication Date
CN110135889A true CN110135889A (zh) 2019-08-16

Family

ID=67569934

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910298660.5A Pending CN110135889A (zh) 2019-04-15 2019-04-15 智能推荐书单的方法、服务器及存储介质

Country Status (1)

Country Link
CN (1) CN110135889A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110990670A (zh) * 2019-10-30 2020-04-10 华东师范大学 一种成长激励型图书推荐方法及推荐***
CN112035738A (zh) * 2020-08-14 2020-12-04 北京奇艺世纪科技有限公司 一种电子书单推荐方法及装置、电子设备
CN112150194A (zh) * 2020-09-14 2020-12-29 卖点国际展示(深圳)有限公司 一种营销分析方法、***及存储介质
CN112307530A (zh) * 2020-09-22 2021-02-02 郑州轻工业大学 基于大数据的儿童读物类书籍装帧设计方法及装置
CN112464093A (zh) * 2020-11-30 2021-03-09 江苏商贸职业学院 一种面向读者的智能寻书机器人及电子设备

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105760547A (zh) * 2016-03-16 2016-07-13 中山大学 一种基于用户聚类的图书推荐方法及***
CN106407418A (zh) * 2016-09-23 2017-02-15 Tcl集团股份有限公司 一种基于人脸识别的个性化视频推荐方法及推荐***
CN107977633A (zh) * 2017-12-06 2018-05-01 平安科技（深圳）有限公司 人脸图像的年龄识别方法、装置及存储介质
CN108595628A (zh) * 2018-04-24 2018-09-28 百度在线网络技术（北京）有限公司 用于推送信息的方法和装置
CN108763897A (zh) * 2018-05-22 2018-11-06 平安科技（深圳）有限公司 身份合法性的校验方法、终端设备及介质
CN109299709A (zh) * 2018-12-04 2019-02-01 中山大学 基于人脸识别的数据推荐方法、装置、服务器端及客户端
CN109558535A (zh) * 2018-11-05 2019-04-02 重庆中科云丛科技有限公司 基于人脸识别的个性化推送物品的方法及***

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105760547A (zh) * 2016-03-16 2016-07-13 中山大学 一种基于用户聚类的图书推荐方法及***
CN106407418A (zh) * 2016-09-23 2017-02-15 Tcl集团股份有限公司 一种基于人脸识别的个性化视频推荐方法及推荐***
CN107977633A (zh) * 2017-12-06 2018-05-01 平安科技（深圳）有限公司 人脸图像的年龄识别方法、装置及存储介质
CN108595628A (zh) * 2018-04-24 2018-09-28 百度在线网络技术（北京）有限公司 用于推送信息的方法和装置
CN108763897A (zh) * 2018-05-22 2018-11-06 平安科技（深圳）有限公司 身份合法性的校验方法、终端设备及介质
CN109558535A (zh) * 2018-11-05 2019-04-02 重庆中科云丛科技有限公司 基于人脸识别的个性化推送物品的方法及***
CN109299709A (zh) * 2018-12-04 2019-02-01 中山大学 基于人脸识别的数据推荐方法、装置、服务器端及客户端

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110990670A (zh) * 2019-10-30 2020-04-10 华东师范大学 一种成长激励型图书推荐方法及推荐***
CN110990670B (zh) * 2019-10-30 2023-11-10 华东师范大学 一种成长激励型图书推荐方法及推荐***
CN112035738A (zh) * 2020-08-14 2020-12-04 北京奇艺世纪科技有限公司 一种电子书单推荐方法及装置、电子设备
CN112035738B (zh) * 2020-08-14 2023-09-26 北京奇艺世纪科技有限公司 一种电子书单推荐方法及装置、电子设备
CN112150194A (zh) * 2020-09-14 2020-12-29 卖点国际展示(深圳)有限公司 一种营销分析方法、***及存储介质
CN112307530A (zh) * 2020-09-22 2021-02-02 郑州轻工业大学 基于大数据的儿童读物类书籍装帧设计方法及装置
CN112307530B (zh) * 2020-09-22 2024-02-02 郑州轻工业大学 基于大数据的儿童读物类书籍装帧设计方法及装置
CN112464093A (zh) * 2020-11-30 2021-03-09 江苏商贸职业学院 一种面向读者的智能寻书机器人及电子设备
CN112464093B (zh) * 2020-11-30 2023-04-18 江苏商贸职业学院 一种面向读者的智能寻书机器人及电子设备

Similar Documents

Publication Publication Date Title
CN110135889A (zh) 智能推荐书单的方法、服务器及存储介质
CN112232293B (zh) 图像处理模型训练、图像处理方法及相关设备
US9436883B2 (en) Collaborative text detection and recognition
CN110033018B (zh) 图形相似度判断方法、装置及计算机可读存储介质
CN109657694A (zh) 图片自动分类方法、装置及计算机可读存储介质
CN110009556A (zh) 图像背景虚化方法、装置、存储介质及电子设备
CN110506276A (zh) 使用环境传感器数据的高效的图像分析
CN113705554A (zh) 图像识别模型的训练方法、装置、设备及存储介质
CN112396049A (zh) 文本纠错方法、装置、计算机设备及存储介质
CN113704531A (zh) 图像处理方法、装置、电子设备及计算机可读存储介质
CN111666873A (zh) 一种基于多任务深度学习网络的训练方法、识别方法及***
CN110008997A (zh) 图像纹理相似度识别方法、装置及计算机可读存储介质
CN110135421A (zh) 车牌识别方法、装置、计算机设备及计算机可读存储介质
CN113939791A (zh) 图像标注方法、装置、设备及介质
CN109300041A (zh) 理财策略推荐方法、电子装置及可读存储介质
CN108268641A (zh) ***信息识别方法及***信息识别装置、设备和存储介质
CN108932533A (zh) 识别模型构建方法及装置、字符识别方法及装置
He et al. Aggregating local context for accurate scene text detection
CN114581710A (zh) 图像识别方法、装置、设备、可读存储介质及程序产品
CN112613508A (zh) 一种物体识别方法、装置及设备
CN117726884B (zh) 对象类别识别模型的训练方法、对象类别识别方法及装置
US20210357682A1 (en) Artificial intelligence driven image retrieval
CN116958729A (zh) 对象分类模型的训练、对象分类方法、装置及存储介质
CN113838076A (zh) 目标图像中的对象轮廓的标注方法及装置、存储介质
CN113886578B (zh) 一种表单分类方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination