CN112106040A - 事件预测装置、预测模型生成装置以及事件预测用程序 - Google Patents

事件预测装置、预测模型生成装置以及事件预测用程序 Download PDF

Info

Publication number
CN112106040A
CN112106040A CN201980029244.3A CN201980029244A CN112106040A CN 112106040 A CN112106040 A CN 112106040A CN 201980029244 A CN201980029244 A CN 201980029244A CN 112106040 A CN112106040 A CN 112106040A
Authority
CN
China
Prior art keywords
text
texts
prediction
unit
word
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980029244.3A
Other languages
English (en)
Inventor
丰柴博义
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Frontero Corp
Fronteo Inc
Original Assignee
Frontero Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Frontero Corp filed Critical Frontero Corp
Publication of CN112106040A publication Critical patent/CN112106040A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35Clustering; Classification
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/04Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33Querying
    • G06F16/3331Query processing
    • G06F16/334Query execution
    • G06F16/3346Query execution using probabilistic model
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33Querying
    • G06F16/3331Query processing
    • G06F16/334Query execution
    • G06F16/3347Query execution using vector based model
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10Complex mathematical operations
    • G06F17/16Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10Complex mathematical operations
    • G06F17/18Complex mathematical operations for evaluating statistical data, e.g. average values, frequency distributions, probability functions, regression analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/22Matching criteria, e.g. proximity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/20Natural language analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/20Natural language analysis
    • G06F40/205Parsing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/20Natural language analysis
    • G06F40/279Recognition of textual entities
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00Computing arrangements based on specific mathematical models
    • G06N7/01Probabilistic graphical models, e.g. probabilistic networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Business, Economics & Management (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Analysis (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Computing Systems (AREA)
  • Economics (AREA)
  • Strategic Management (AREA)
  • Human Resources & Organizations (AREA)
  • General Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Operations Research (AREA)
  • Probability & Statistics with Applications (AREA)
  • Algebra (AREA)
  • Game Theory and Decision Science (AREA)
  • General Business, Economics & Management (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Marketing (AREA)
  • Quality & Reliability (AREA)
  • Development Economics (AREA)
  • Tourism & Hospitality (AREA)

Abstract

本发明具备:输入m个文本作为学习用数据的学习用数据输入部(10),从m个文本中提取n个单词并计算出反映m个文本和n个单词之间的关联度的相似度指标值的相似度指标值计算部(100),生成用于根据针对一个文本由n个相似度指标值构成的文本指标值组将m个文本分类为多个事件的分类模型的分类模型生成部(14),以及事件预测部(21),其将相似度指标值计算部(100)根据预测用数据输入部(20)所输入的文本而计算出的相似度指标值应用于分类模型中,由此根据作为预测对象的文本预测多个事件中的任一个;并且,本发明使用表示哪个单词对哪个文本具有何等程度的贡献的相似度指标值来生成高精度的分类模型。

Description

事件预测装置、预测模型生成装置以及事件预测用程序
技术领域
本发明涉及事件预测装置、预测模型生成装置以及事件预测用程序,尤其涉及根据包含多个单词的文本的内容来预测特定事件的技术、以及生成使用于该预测的预测模型的技术。
背景技术
目前,使用人工智能(AI)来预测特定事件的技术正被广泛使用。作为人工智能之一,存在有机器学习。机器学习是试图通过计算机实现与人类进行的学习同样的功能的技术,大致分为监督学习、无监督学习以及强化学习这三种。最广泛普及的监督学习是指:准备带正确解答的多个学习数据,使用其进行学习,由此生成分类模型,基于生成的分类模型对预测对象的数据进行分类。
使用什么作为学习数据是多种多样的,但一直以来已知有使用文档数据作为学习数据来进行机器学习的***(例如,参照专利文献1、2)。
在专利文献1中,公开了一种能够从文本数据中容易地发现符合使用者意图的规则性的文本数据分析装置。在该专利文献1所记载的文本数据分析装置中,具备存储对文本进行分类的类别的文本类别存储部、将在作为对象的领域中表示重要概念的单词的集合存储为概念定义词典的概念定义词典存储部、以及进行文本的分析的文本分析部。文本分析部通过语素分析而从文本生成单词序列,并从得到的单词序列中提取文本的特征,生成表示文本的特征和与其对应的类别的事例,并使用生成的事例进行归纳学习,从而生成判断规则并存储至规则存储部。
专利文献2中公开了:通过根据正解数据进行机器学习从而对文档进行分类的文档分类装置。在该专利文献2所记载的文档分类装置中,根据机器学习的方式选择作为用于从正解数据作成新事例的基础的正解事例,根据规定的规则,从被选择的正解事例作成新的正解事例,并追加至全部或一部分机器学习用的正解事例中而作成机器学习用的正解数据。
专利文献1:日本专利特开2002-149675号公报
专利文献2:日本专利特开2004-287776号公报
发明内容
在通过机器学习进行事件预测的情况下,为了提高预测的精度,提高通过学习生成的分类模型的精度是不可或缺的。关于这一点,在专利文献2所记载的文档分类装置中,通过从已有的用于机器学习的正解事例作成新事例,能够增加事例的变化(variation)而提高机器学习的精度。
但是,仅通过增加事例的数量,对于生成的分类模型的精度提高存在极限。这是因为新作成的事例不一定全都适合用作学习数据。此外,还因为即使适合的事例的数量增加了,如果生成分类模型的算法没有被充分改良,则也无法期待生成高精度的分类模型。
例如,如上述专利文献1那样,在根据通过语素分析而从文本获取的单词序列来提取文本的特征的方式中,仅是通过在文本内包含怎样的单词来生成特征数据,充分提高基于这样的特征数据而生成的分类模型的精度是困难的。这是因为:对于存在同一单词被包含在多个文本内的可能性,作为特征数据未被充分评价哪个单词对哪个文本做出了何种程度的贡献,或者哪个文本对哪个单词做出了何种程度的贡献。
本发明是为了解决上述问题而完成的,其目的在于:在以包含多个单词的文本作为对象通过机器学习进行事件的预测的情况下,能够提高通过学习生成的分类模型的精度,并使预测的精度提高。
为了解决上述问题,在本发明的事件预测装置中,对m个文本进行分析并从该m个文本中提取n个单词,并且,通过使m个文本分别按照规定的规则在q个维度上向量化而计算出由q个轴分量构成的m个文本向量,并通过使n个单词分别按照规定的规则在q个维度上向量化而计算出由q个轴分量构成的n个单词向量,进而,通过分别获取m个文本向量与n个单词向量的内积,从而计算出反映m个文本和n个单词之间的关联度的m×n个相似度指标值。然后,生成用于根据针对一个文本由n个相似度指标值构成的文本指标值组将m个文本分类为多个事件的分类模型。在根据作为预测对象的文本预测事件时,输入一个以上的文本作为预测用数据,将通过对该输入的预测用数据执行单词提取、文本向量计算、单词向量计算以及指标值计算的各处理而得到的相似度指标值应用于分类模型,由此根据预测对象数据来预测多个事件中的任一个。
(发明效果)
根据如上构成的本发明,通过计算从文本算出的文本向量与从文本内包含的单词算出的单词向量的内积,从而计算出反映文本和单词之间的关联度的相似度指标值,因此,能够以内积值的形式得到哪个单词对哪个文本具有何等程度的贡献、或者哪个文本对哪个单词具有何等程度的贡献这一情况。而且,由于是使用具有这样的性质的相似度指标值生成分类模型,因此,能够在一并考虑m个文本和n个单词的贡献度的基础上,将文本适当地分类为多个事件中的任一个。因此,根据本发明,在将文本作为对象通过机器学习进行事件的预测的情况下,能够提高通过学习生成的分类模型的精度,并提高根据文本预测事件的精度。
附图说明
图1是表示本实施方式的事件预测装置的功能结构例的框图。
图2是表示本实施方式的事件预测装置的动作例的流程图。
图3是表示本实施方式的事件预测装置的其他功能结构例的框图。
(符号说明)
10…学习用数据输入部
11…单词提取部
12…向量计算部
12A…文本向量计算部
12B…单词向量计算部
13…指标值计算部
14、14’…分类模型生成部
20…预测用数据输入部
21…事件预测部
22…报酬决定部
30…分类模型存储部
100…相似度指标值计算部
具体实施方式
以下,根据附图对本发明的一实施方式进行说明。图1是表示本实施方式的事件预测装置的功能结构例的框图。本实施方式的事件预测装置构成为其功能结构包括学习用数据输入部10、单词提取部11、向量计算部12、指标值计算部13、分类模型生成部14、预测用数据输入部20以及事件预测部21。向量计算部12具备文本向量计算部12A和单词向量计算部12B,作为更加具体的功能结构。另外,本实施方式的事件预测装置具备分类模型存储部30作为存储介质。
此外,以下为了方便说明,将由单词提取部11、向量计算部12以及指标值计算部13构成的部分称为相似度指标值计算部100。相似度指标值计算部100是输入文本相关的文本数据、计算并输出相似度指标值的单元,其中,相似度指标值反映文本与文本中所包含的单词之间的关联度。此外,本实施方式的事件预测装置是下述装置:即,利用由相似度指标值计算部100计算的相似度指标值,从文本的内容预测特定的事件(预测符合多个事件中的哪一个)。此外,由学习用数据输入部10、相似度指标值计算部100以及分类模型生成部14构成本发明的预测模型生成装置。
上述各功能块10~14、20~21可以由硬件、DSP(Digital Signal Processor:数字信号处理器)和软件中的任一种构成。例如,当由软件构成时,上述各功能块10~14、20~21实际上构成为包括计算机的CPU(中央处理器)、RAM(随机存取存储器)、ROM(只读存储器)等,并且通过运行存储于RAM或ROM、硬盘或半导体存储器等记录介质中的程序而实现。
学习用数据输入部10将与多个事件中的哪个事件符合为已知的m个(m为2以上的任意整数)文本相关的文本数据作为学习用数据而输入。其中,多个事件可以是两个,也可以是三个以上。例如,可设为表示与一个事情相关的发生可能性的有无的两个事件,如发生特定的故障或症状的可能性等。或者,也能够设定成性质互不相同的两个以上事件的组合,如人的性格类型和兴趣品味等的组合。此外,此处举例的事件仅为一例,本发明并不限定于此。
输入的文本数据优选为记述有与想要预测的多个事件相关的文本的数据。例如,在以构建用于预测***故障的发生可能性有无的预测模型为目的而输入学习用数据的情况下,存在输入与记述了***的监视或检查结果的报告相关的文本数据这样的情况。
但是,在以预测人的性格类型和兴趣品味等为目的的情况下,即使是被认为与想要预测的多个事件看似无关的文本,也可能存在通过以下所述的分析而发现文本与事件的关联性的可能性。因此,并非必须仅将人们所判断出的与想要预测的多个事件相关的文本作为学习用数据。也就是说,根据想要预测的多个事件的内容,不仅仅是记述有与该多个事件明显相关联的文本的数据,也可以将记述有被认为与该多个事件看似无关的文本的数据包含在内而作为学习用数据进行输入。
此外,通过学习用数据输入部10输入的文本,即作为后述的分析对象的文本既可以由一个句子(由句号划分的单位)构成,也可以由多个句子构成。由多个句子构成的文本也可以是包含于一个文档内的一部分或全部文本。在将包含于一个文档内的一部分文本用作学习用数据的情况下,学习用数据输入部10在设定了将文档中哪一部分的文本用作学习用数据的状态下,输入文本数据(严格来说是输入文档数据并将该文档中的设定部分作为文本数据而使用)。例如,考虑设定为在存在多个记载项目的文档中,将与特定的记载项目相关的文本作为学习用数据而使用。设定的记载项目可以是一个,也可以是多个。
单词提取部11分析由学习用数据输入部10输入的m个文本,并从该m个文本中提取n(n是2以上的任意整数)个单词。作为文本的分析方法,例如能够使用公知的语素分析。在此,单词提取部11可以提取通过语素分析而被划分的所有词类的语素作为单词,也可以仅提取特定词类的语素作为单词。
此外,在m个文本中有时包含有多个相同的单词。该情况下,单词提取部11不提取多个相同的单词,而仅提取一个。即,单词提取部11所提取的n个单词是指n种单词。在此,单词提取部11也可以计测从m个文本提取相同单词的频率,并从出现频率高的一方提取n个(n种)单词、或者出现频率为阈值以上的n个(n种)单词。
向量计算部12从m个文本和n个单词计算出m个文本向量和n个单词向量。在此,文本向量计算部12A通过对被单词提取部11作为分析对象的m个文本分别按照规定的规则在q个维度上进行向量化,从而计算出由q个(q为2以上的任意整数)轴分量构成的m个文本向量。此外,单词向量计算部12B通过对被单词提取部11提取出的n个单词分别按照规定的规则在q个维度上进行向量化,从而计算出由q个轴分量构成的n个单词向量。
在本实施方式中,作为一例而如下述那样计算文本向量和单词向量。现在,考虑由m个文本和n个单词构成的集合S=<d∈D,w∈W>。在此,对各文本di(i=1、2、……、m)和各单词wj(j=1、2、……、n)分别关联文本向量di→和单词向量wj→(以下设定为:符号“→”是指向量)。然后,对任意单词wj和任意文本di计算出下式(1)所示的概率P(wj|di)。
【数式1】
Figure BDA0002750929370000061
另外,该概率P(wj|di)例如是能够依照论文“‘Distributed Representations ofSentences and Documents’by Quoc Le and Tomas Mikolov,Google Inc,Proceedingsof the 31st International Conference on Machine Learning Held in Bejing,Chinaon 22-24June 2014(“句子和文档的分布式表示”,Quoc Le、Tomas Mikolov,2014年6月22日至24日于中国北京举行的第31届机器学习国际会议论文集)”中公开的概率p而计算出的值,其中,该论文中记载了通过段落向量对文本、文档进行评价的内容。在该论文中,刊登了例如当存在“the”、“cat”、“sat”这三个单词时,将“on”作为第四个单词加以预测,并公开了其预测概率p的计算式。该论文中所记载的概率p(wt|wt-k、……、wt+k)是从多个单词wt-k、……、wt+k预测另外一个单词wt时的正解概率。
相对于此,本实施方式中使用的式(1)所示的概率P(wj|di)表示从m个文本中的一个文本di预测n个单词中的一个单词wj的正解概率。所谓从一个文本di预测一个单词wj,具体而言是指在出现某个文本di时预测其中包含单词wj的可能性。
在式(1)中,使用以e为底数且以单词向量w→与文本向量d→的内积值为指数的指数函数值。然后,计算出根据作为预测对象的文本di和单词wj的组合而算出的指数函数值与根据文本di和n个单词Wk(k=1、2、……、n)的各组合而算出的n个指数函数值的合计值的比率,作为从一个文本di预测一个单词wj的正解概率。
在此,单词向量wj→与文本向量di→的内积值也可以说是将单词向量wj→投影至文本向量di→的方向时的标量值、即单词向量wj→所具有的文本向量di→的方向上的分量值。可以认为这表示单词wj对文本di的贡献程度。因此,使用利用上述内积计算出的指数函数值求取下述比率、即针对一个单词wj计算出的指数函数值与针对n个单词Wk(k=1、2、……、n)计算出的指数函数值的合计的比率,相当于求取从一个文本di预测n个单词中的一个单词wj的正解概率。
另外,由于di和wj是对称的,因此式(1)也可以计算从n个单词中的一个单词wj预测m个文本中的一个文本di的概率P(di|wj)。从一个单词wj预测一个文本di是指:在出现某一个单词wj时,预测该单词包含于文本di中的可能性。在此,文本向量di→与单词向量wj→的内积值也可以说是将文本向量di→投影至单词向量wj→的方向时的标量值、即文本向量di→所具有的单词向量wj的方向上的分量值。可以认为这表示文本di对单词wj的贡献程度。
另外,虽然在此示出了使用以单词向量w→与文本向量d→的内积值作为指数的指数函数值的计算例,但是并非必须要使用指数函数值。只要是利用了单词向量w→与文本向量d→的内积值的计算式即可,例如,也可以利用内积值本身的比率求取概率。
接下来,向量计算部12如下式(2)所示计算出使值L最大化这样的文本向量di→和单词向量wj→,其中,值L是将利用上式(1)计算出的概率P(wj|di)针对所有集合S合计后的值。即,文本向量计算部12A和单词向量计算部12B针对m个文本和n个单词的所有组合计算出通过上式(1)算出的概率P(wj|di),并将它们的合计值作为目标变量L,计算出使该目标变量L最大化的文本向量di→和单词向量wj→。
【数式2】
Figure BDA0002750929370000081
使针对m个文本和n个单词的所有组合计算出的概率P(wj|di)的合计值L最大化是指:使从某一个文本di(i=1、2、……、m)预测出某一个单词wj(j=1、2、……、n)的正解概率最大化。即,可以说向量计算部12计算出该正解概率最大化的文本向量di→和单词向量wj→。
在此,在本实施方式中如上所述,向量计算部12通过使m个文本di分别在q个维度上向量化而计算出由q个轴分量构成的m个文本向量di→,并且通过使n个单词分别在q个维度上向量化而计算出由q个轴分量构成的n个单词向量wj→。这相当于将q个轴向设为可变并计算出使上述目标变量L最大化的文本向量di→和单词向量wj→。
指标值计算部13通过分别获取由向量计算部12算出的m个文本向量di→与n个单词向量wj→的内积,从而计算出反映了m个文本di和n个单词wj之间的关联度的m×n个相似度指标值。在本实施方式中,指标值计算部13如下式(3)所示获取以m个文本向量di→的各q个轴分量(d11~dmq)作为各元素的文本矩阵D与以n个单词向量wj→的各q个轴分量(w11~wnq)作为各元素的词矩阵W之积,从而计算出以m×n个相似度指标值作为各元素的指标值矩阵DW。在此,Wt是词矩阵的转置矩阵。
【数式3】
Figure BDA0002750929370000091
可以说,以这种方式计算出的指标值矩阵DW的各元素表示了哪个单词对哪个文本有何等程度的贡献。例如,第一行第二列的元素dw12是表示单词w2对文本d1有何种程度的贡献的值。由此,指标值矩阵DW的各行能够用作评价文本的相似度的行,各列能够用作评价单词的相似度的列。
分类模型生成部14使用指标值计算部13计算出的m×n个相似度指标值生成分类模型,其中,该分类模型用于根据针对一个文本di(i=1、2、……、m)由n个相似度指标值dwj(j=1、2、……、n)构成的文本指标值组,将m个文本di分类为多个事件。例如,在生成分类为第一至第三这三个事件的分类模型的情况下,分类模型生成部14生成如下的分类模型:即,将根据已知符合第一事件的文本而算出的文本指标值组分类为“第一事件”,将根据已知符合第二事件的文本而算出的文本指标值组分类为“第二事件”,将根据已知符合第三事件的文本而算出的文本指标值组分类为“第三事件”这样的分类模型。然后,分类模型生成部14将生成的分类模型存储于分类模型存储部30中。
在此,所谓的文本指标值组在例如第一个文本d1的情况下,相当于指标值矩阵DW的第一行中包含的n个相似度指标值dw11~dw1n。同样地,在第二个文本d2的情况下,相当于指标值矩阵DW的第二行中包含的n个相似度指标值dw21~dw2n。以下,直到第m个文本dm相关的文本指标值组(n个相似度指标值dwm1~dwmn)为止都是同样的。
分类模型生成部14例如对各文本di的文本指标值组分别算出特征量,并根据该计算出的特征量的值优化利用马尔科夫链蒙特卡罗法的多组分离,由此生成用于将各文本di分类为多个事件的分类模型。在此,分类模型生成部14生成的分类模型,是将文本指标值组作为输入、将想要预测的多个事件中的任一个作为解而输出的学习模型。或者,也可以设为将符合想要预测的多个事件的每一个的可能性作为概率输出的学习模型。学习模型的形态可以是任意形态。
例如,分类模型生成部14生成的分类模型的形态可以是回归模型(以线性回归、逻辑回归、支持向量机等为基础的学习模型)、树模型(以决策树、回归树、随机森林、梯度提升树等为基础的学习模型)、神经网络模型(以感知器、卷积神经网络、递归型神经网络、残差网络、RBF网络、随机性神经网络、脉冲神经网络、复数神经网络等为基础的学习模型)、贝叶斯模型(以贝叶斯推断等为基础的学习模型)、聚类模型(以k近邻算法、层次聚类、非层次聚类、主题模型等为基础的学习模型)等中的任意一个。此外,此处列举的分类模型仅为一例,本发明并不限定于此。
预测用数据输入部20将作为预测对象的一个以上文本相关的文本数据作为预测用数据进行输入。预测用数据输入部20输入的文本数据是与符合多个事件中的哪一个为未知的文本相关的文本数据。与学习用数据输入部10输入的文本数据同样地,预测用数据输入部20输入的文本数据既可以是记述有与想要预测的多个事件相关的文本的数据,也可以是记述有被认为与想要预测的多个事件看似无关的文本的数据。
预测用数据输入部20输入的文本数据的数量(文本的数量)m’也可以不一定要与学习用数据输入部10输入的文本的数量(m个)相同。预测用数据输入部20输入的文本数据可以是一个,也可以是多个。但是,对于预测用数据输入部20输入的文本也计算出相似度指标值。由于相似度指标值表示哪个单词对哪个文本具有何种程度的贡献、或哪个文本对哪个单词具有何种程度的贡献,因此,优选对于预测用数据输入部20输入的文本也设为多个。
事件预测部21将通过对预测用数据输入部20输入的预测用数据执行相似度指标值计算部100的单词提取部11、向量计算部12以及指标值计算部13的处理而得到的相似度指标值应用于由分类模型生成部14生成的分类模型(被存储于分类模型存储部30的分类模型),从而根据预测对象数据预测多个事件中的任一个。
例如,在通过预测用数据输入部20输入了m’个文本数据作为预测用数据的情况下,事件预测部21对该m’个文本数据执行相似度指标值计算部100的处理,由此得到m’个文本指标值组。事件预测部21通过将由相似度指标值计算部100计算出的m’个文本指标值组逐个作为输入数据提供给分类模型,由此对m’个文本的每一个预测符合多个事件中的哪一个。
在此,优选单词提取部11从m’个预测用数据中提取与从m个学习用数据提取出的n个单词相同的单词。这是因为:从预测用数据中提取的n个单词所构成的文本指标值组以与从学习用数据中提取出的n个单词所构成的文本指标值组相同的单词为元素,因此相对于被存储在分类模型存储部30中的分类模型的拟合优度变高。但是,提取与学习时同样的n个单词不是预测时必须的。这是因为:在利用与学习时不同的单词的组合而生成预测用文本指标值组的情况下,虽然相对于分类模型的拟合优度变低,但是拟合优度低这一情况本身也能够作为评价的一个元素来预测符合事件的可能性。
图2是表示如上构成的本实施方式的事件预测装置的动作例的流程图。图2中(a)示出了生成分类模型的学习时的动作例,图2中(b)示出了使用生成的分类模型进行事件预测的预测时的动作例。
在图2中(a)所示的学习时的情况下,首先,学习用数据输入部10将与符合多个事件中的哪一个为已知的m个文本相关的文本数据作为学习用数据而输入(步骤S1)。单词提取部11对学习用数据输入部10所输入的m个文本进行分析,并从该m个文本中提取n个单词(步骤S2)。
接下来,向量计算部12根据学习用数据输入部10所输入的m个文本和单词提取部11所提取的n个单词,计算m个文本向量di→和n个单词向量wj→(步骤S3)。然后,指标值计算部13通过分别获取m个文本向量di→与n个单词向量wj→的内积,从而计算出反映了m个文本di和n个单词wj之间的关联度的m×n个相似度指标值(将m×n个相似度指标值作为各元素的指标值矩阵DW)(步骤S4)。
进而,分类模型生成部14使用指标值计算部13计算出的m×n个相似度指标值生成分类模型,并将生成的分类模型存储于分类模型存储部30,其中,该分类模型用于根据针对一个文本di由n个相似度指标值dwj构成的文本指标值组,将m个文本di分类为多个事件(步骤S5)。通过以上处理,学习时的动作结束。
在图2中(b)所示的预测时的情况下,首先,预测用数据输入部20将与符合多个事件中的哪一个为未知的一个以上文本相关的文本数据作为预测用数据而输入(步骤S11)。事件预测部21将预测用数据输入部20所输入的预测用数据提供给相似度指标值计算部100,指示其进行相似度指标值的计算。
根据该指示,单词提取部11对预测用数据输入部20所输入的m’个文本进行分析,并从该m’个文本中提取n个单词(与从学习用数据中提取出的单词相同的单词)(步骤S12)。此外,并不限于m’个文本中包含所有n个单词。m’个文本中不存在的单词成为Null值。
接下来,向量计算部12根据预测用数据输入部20所输入的m’个文本和单词提取部11所提取的n个单词,计算出m’个文本向量di→和n个单词向量wj→(步骤S13)。
然后,指标值计算部13通过分别获取m’个文本向量di→与n个单词向量wj→的内积,从而计算出反映了m’个文本di和n个单词wj之间的关联度的m’×n个相似度指标值(将m’×n个相似度指标值作为各元素的指标值矩阵DW)(步骤S14)。指标值计算部13将计算出的m’×n个相似度指标值提供给事件预测部21。
事件预测部21根据相似度指标值计算部100所提供的m’×n个相似度指标值,将m’个文本指标值组分别应用于被存储在分类模型存储部30中的分类模型,由此对m’个文本的每一个预测符合多个事件中的哪一个(步骤S15)。由此,预测时的动作结束。
如以上所详细说明,在本实施方式中,通过计算根据文本算出的文本向量与根据文本内包含的单词算出的单词向量的内积,从而计算出反映文本和单词之间的关联度的相似度指标值,并使用该相似度指标值生成分类模型,因此,使用表示哪个单词对哪个文本具有何等程度的贡献、或哪个文本对哪个单词具有何等程度的贡献的相似度指标值来生成分类模型。因而,能够在一并考虑m个文本和n个单词的贡献度的基础上,将文本分类为多个事件中的任一个。因此,根据本实施方式,在将文本作为对象通过机器学习进行事件的预测的情况下,能够提高通过学习生成的分类模型的精度,从而提高根据文本预测事件的精度。
此外,在上述实施方式中,对于应用了将与符合多个事件中的哪一个为已知的文本相关的文本数据用作学习用数据的监督学习的例子进行了说明,但也可以将其与强化学习相组合。图3是表示追加了强化学习的机制的另一实施方式所涉及的事件预测装置的功能结构例的框图。
如图3所示,另一实施方式所涉及的事件预测装置在图1所示构成的基础上进一步具备报酬决定部22。此外,另一实施方式所涉及的事件预测装置具备分类模型生成部14’来代替图1所示的分类模型生成部14。
报酬决定部22根据相对于事件预测部21所预测的事件的实际事件,决定提供给分类模型生成部14’的报酬。例如,报酬决定部22在事件预测部21所预测的事件与实际事件一致时决定提供正的报酬,在不一致时决定不提供报酬或提供负的报酬。预测出的事件与实际的事件是否一致的判定能够通过各种方法实施。
例如,在作为多个事件而预测用户的兴趣品味的情况下,向用户出示与预测出的兴趣品味匹配的信息,当用户对该信息发起动作时,能够判定预测出的事件与实际的事件一致。作为具体的例子,将与预测出的兴趣品味匹配的商品或服务的广告信息显示于用户阅览的网页上,当用户发起点击该广告信息并阅览详细信息、或购买该广告信息中刊登的商品或服务等动作时,判定为预测出的事件与实际的事件一致。
此外,在针对某个***预测发生特定故障的可能性的情况下,根据记录有***的监视历史的历史数据,监视是否实际发生了特定的故障,当从历史数据中检测到实际发生了预测出的故障时,能够判定为预测出的事件与实际的事件一致。同样地,在针对多个用户预测发生特定症状的可能性等的情况下,根据用户的看诊历史等历史数据,监视是否实际发病了特定的症状,当从历史数据中检测到实际发病了预测出的症状时,能够判定为预测出的事件与实际的事件一致。
分类模型生成部14’与图1所示的分类模型生成部14同样地,基于由学习用数据输入部10输入的学习用数据而生成分类模型,并存储至分类模型存储部30。除此之外,分类模型生成部14’根据报酬决定部22所决定的报酬,改变被存储于分类模型存储部30中的分类模型。如此,通过对监督学习的机制追加强化学习的机制而生成分类模型,能够进一步提高分类模型的精度。
此外,上述实施方式均仅表示实施本发明时的具体化的一例,不能据此限定性地解释本发明的技术范围。即,本发明能够在不脱离其主旨或其主要特征的情况以各种方式实施。

Claims (10)

1.一种事件预测装置,其特征在于,具备:
单词提取部,该单词提取部对m(m为2以上的任意整数)个文本进行分析并从该m个文本中提取n(n为2以上的任意整数)个单词;
文本向量计算部,该文本向量计算部通过使所述m个文本分别按照规定的规则在q(q为2以上的任意整数)个维度上向量化,从而计算出由q个轴分量构成的m个文本向量;
单词向量计算部,该单词向量计算部通过使所述n个单词分别按照规定的规则在q个维度上向量化,从而计算出由q个轴分量构成的n个单词向量;
指标值计算部,该指标值计算部通过分别获取所述m个文本向量与所述n个单词向量的内积,从而计算出反映所述m个文本和所述n个单词之间的关联度的m×n个相似度指标值;
分类模型生成部,该分类模型生成部使用所述指标值计算部计算出的所述m×n个相似度指标值生成分类模型,其中,所述分类模型用于根据针对一个文本由n个相似度指标值构成的文本指标值组,将所述m个文本分类为多个事件;
预测用数据输入部,该预测用数据输入部将作为预测对象的一个以上文本作为预测用数据而输入;以及
事件预测部,该事件预测部将通过对所述预测用数据输入部输入的所述预测用数据执行所述单词提取部、所述文本向量计算部、所述单词向量计算部以及所述指标值计算部的处理而得到的相似度指标值应用于由所述分类模型生成部生成的分类模型,由此根据所述预测对象数据来预测所述多个事件中的任一个。
2.如权利要求1所述的事件预测装置,其特征在于,
所述文本向量计算部和所述单词向量计算部对于所述m个文本和所述n个单词的全部组合计算出从所述n个单词中的一个单词预测所述m个文本中的一个文本的概率、或者从所述m个文本中的一个文本预测所述n个单词中的一个单词的概率,并将该概率的合计值作为目标变量,计算出使该目标变量最大化的文本向量和单词向量。
3.如权利要求1或2所述的事件预测装置,其特征在于,
所述指标值计算部通过获取以所述m个文本向量的各q个轴分量作为各元素的文本矩阵与以所述n个单词向量的各q个轴分量作为各元素的词矩阵之积,从而计算出以m×n个所述相似度指标值作为各元素的指标值矩阵。
4.如权利要求1至3中任一项所述的事件预测装置,其特征在于,
所述事件预测装置进一步具备学习用数据输入部,该学习用数据输入部将符合所述多个事件中的哪一个为已知的所述m个文本作为学习用数据而输入;
以被所述学习用数据输入部作为所述学习用数据而输入的所述m个文本为对象,执行所述单词提取部、所述文本向量计算部、所述单词向量计算部、所述指标值计算部以及所述分类模型生成部的处理。
5.如权利要求1至4中任一项所述的事件预测装置,其特征在于,
所述事件预测装置进一步具备报酬决定部,该报酬决定部根据相对于所述事件预测部预测出的事件的实际事件,决定提供给所述分类模型生成部的报酬;
所述分类模型生成部根据所述报酬决定部所决定的报酬改变所述分类模型。
6.一种预测模型生成装置,其特征在于,具备:
单词提取部,该单词提取部对m(m为2以上的任意整数)个文本进行分析并从该m个文本中提取n(n为2以上的任意整数)个单词;
文本向量计算部,该文本向量计算部通过使所述m个文本分别按照规定的规则在q(q为2以上的任意整数)个维度上向量化,从而计算出由q个轴分量构成的m个文本向量;
单词向量计算部,该单词向量计算部通过使所述n个单词分别按照规定的规则在q个维度上向量化,从而计算出由q个轴分量构成的n个单词向量;
指标值计算部,该指标值计算部通过分别获取所述m个文本向量与所述n个单词向量的内积,从而计算出反映所述m个文本和所述n个单词之间的关联度的m×n个相似度指标值;以及
分类模型生成部,该分类模型生成部使用所述指标值计算部计算出的所述m×n个相似度指标值生成分类模型,作为用于根据所述文本预测事件的预测模型,其中,所述分类模型用于根据针对一个文本由n个相似度指标值构成的文本指标值组,将所述m个文本分类为多个事件。
7.如权利要求6所述的预测模型生成装置,其特征在于,
所述文本向量计算部和所述单词向量计算部对于所述m个文本和所述n个单词的全部组合计算出从所述n个单词中的一个单词预测所述m个文本中的一个文本的概率、或者从所述m个文本中的一个文本预测所述n个单词中的一个单词的概率,并将该概率的合计值作为目标变量,计算出使该目标变量最大化的文本向量和单词向量。
8.如权利要求6或7所述的预测模型生成装置,其特征在于,
所述指标值计算部通过获取以所述m个文本向量的各q个轴分量作为各元素的文本矩阵与以所述n个单词向量的各q个轴分量作为各元素的词矩阵之积,从而计算出以m×n个所述相似度指标值作为各元素的指标值矩阵。
9.一种事件预测用程序,其特征在于,
用于使计算机作为单词提取部单元、向量计算单元、指标值计算单元以及分类模型生成单元发挥作用,其中,
单词提取部单元对m(m为2以上的任意整数)个文本进行分析并从该m个文本中提取n(n为2以上的任意整数)个单词;
向量计算单元通过使所述m个文本分别按照规定的规则在q(q为2以上的任意整数)个维度上向量化,并且将所述n个单词分别按照规定的规则在q个维度上向量化,从而计算出由q个轴分量构成的m个文本向量以及由q个轴分量构成的n个单词向量;
指标值计算单元通过分别获取所述m个文本向量与所述n个单词向量的内积,从而计算出反映所述m个文本和所述n个单词之间的关联度的m×n个相似度指标值;
分类模型生成单元使用所述指标值计算单元计算出的所述m×n个相似度指标值生成分类模型,作为用于根据所述文本预测事件的预测模型,其中,所述分类模型用于根据针对一个文本由n个相似度指标值构成的文本指标值组,将所述m个文本分类为多个事件。
10.如权利要求9所述的事件预测用程序,其特征在于,
用于使计算机进一步作为预测用数据输入单元以及事件预测单元发挥作用,其中,
预测用数据输入单元将作为预测对象的一个以上文本或一个以上单词作为预测用数据而输入;
事件预测单元将通过对所述预测用数据输入单元输入的所述预测用数据执行所述单词提取单元、所述文本向量计算单元、所述单词向量计算单元以及所述指标值计算单元的处理而得到的相似度指标值应用于由所述分类模型生成单元生成的所述分类模型,由此根据所述预测对象数据来预测所述多个事件中的任一个。
CN201980029244.3A 2018-05-02 2019-04-23 事件预测装置、预测模型生成装置以及事件预测用程序 Pending CN112106040A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018088829A JP6915809B2 (ja) 2018-05-02 2018-05-02 事象予測装置、予測モデル生成装置および事象予測用プログラム
JP2018-088829 2018-05-02
PCT/JP2019/017193 WO2019212006A1 (ja) 2018-05-02 2019-04-23 事象予測装置、予測モデル生成装置および事象予測用プログラム

Publications (1)

Publication Number Publication Date
CN112106040A true CN112106040A (zh) 2020-12-18

Family

ID=68386981

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980029244.3A Pending CN112106040A (zh) 2018-05-02 2019-04-23 事件预测装置、预测模型生成装置以及事件预测用程序

Country Status (6)

Country Link
US (1) US20210042586A1 (zh)
EP (1) EP3779728A4 (zh)
JP (2) JP6915809B2 (zh)
KR (1) KR102315984B1 (zh)
CN (1) CN112106040A (zh)
WO (1) WO2019212006A1 (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11544564B2 (en) * 2018-02-23 2023-01-03 Intel Corporation Method, device and system to generate a Bayesian inference with a spiking neural network
US11354501B2 (en) * 2019-08-02 2022-06-07 Spectacles LLC Definition retrieval and display
US11861463B2 (en) * 2019-09-06 2024-01-02 International Business Machines Corporation Identifying related messages in a natural language interaction
US11443112B2 (en) * 2019-09-06 2022-09-13 International Business Machines Corporation Outcome of a natural language interaction
US11574128B2 (en) 2020-06-09 2023-02-07 Optum Services (Ireland) Limited Method, apparatus and computer program product for generating multi-paradigm feature representations
KR102370729B1 (ko) 2021-06-03 2022-03-07 최연 문장 작성 시스템
US11698934B2 (en) 2021-09-03 2023-07-11 Optum, Inc. Graph-embedding-based paragraph vector machine learning models
CN115048486B (zh) * 2022-05-24 2024-05-31 支付宝(杭州)信息技术有限公司 事件抽取方法、装置、计算机程序产品、存储介质及设备

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002149675A (ja) * 2000-11-15 2002-05-24 Toshiba Corp テキストデータ分析装置とその方法、およびそのためのプログラムとそれを記録した記録媒体
JP2004287776A (ja) * 2003-03-20 2004-10-14 Fujitsu Ltd 文書分類方法、文書分類装置、および文書分類プログラム
JP2005208782A (ja) * 2004-01-21 2005-08-04 Fuji Xerox Co Ltd 自然言語処理システム及び自然言語処理方法、並びにコンピュータ・プログラム
CN107145560A (zh) * 2017-05-02 2017-09-08 北京邮电大学 一种文本分类方法及装置
US20170351913A1 (en) * 2016-06-07 2017-12-07 The Neat Company, Inc. d/b/a Neatreceipts, Inc. Document Field Detection And Parsing
JP2018032213A (ja) * 2016-08-24 2018-03-01 シャープ株式会社 情報処理装置、情報処理システム、情報処理方法及びプログラム

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000020494A (ja) 1998-07-07 2000-01-21 Nippon Telegr & Teleph Corp <Ntt> マルチエージェントモデルを用いて経験強化型強化学習法と環境同定型強化学習法を統合する分散強化学習法
JP2004326465A (ja) 2003-04-24 2004-11-18 Matsushita Electric Ind Co Ltd 文書分類用の学習装置、及びこれを用いた文書分類方法並びに文書分類装置
WO2017199445A1 (ja) * 2016-05-20 2017-11-23 株式会社Ubic データ分析システム、その制御方法、プログラム、及び、記録媒体
WO2017218699A1 (en) * 2016-06-17 2017-12-21 Graham Leslie Fyffe System and methods for intrinsic reward reinforcement learning

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002149675A (ja) * 2000-11-15 2002-05-24 Toshiba Corp テキストデータ分析装置とその方法、およびそのためのプログラムとそれを記録した記録媒体
JP2004287776A (ja) * 2003-03-20 2004-10-14 Fujitsu Ltd 文書分類方法、文書分類装置、および文書分類プログラム
JP2005208782A (ja) * 2004-01-21 2005-08-04 Fuji Xerox Co Ltd 自然言語処理システム及び自然言語処理方法、並びにコンピュータ・プログラム
US20170351913A1 (en) * 2016-06-07 2017-12-07 The Neat Company, Inc. d/b/a Neatreceipts, Inc. Document Field Detection And Parsing
JP2018032213A (ja) * 2016-08-24 2018-03-01 シャープ株式会社 情報処理装置、情報処理システム、情報処理方法及びプログラム
CN107145560A (zh) * 2017-05-02 2017-09-08 北京邮电大学 一种文本分类方法及装置

Also Published As

Publication number Publication date
JP6962532B1 (ja) 2021-11-05
EP3779728A1 (en) 2021-02-17
KR20200128584A (ko) 2020-11-13
EP3779728A4 (en) 2021-03-31
KR102315984B1 (ko) 2021-10-20
JP2021182398A (ja) 2021-11-25
JP2019194808A (ja) 2019-11-07
WO2019212006A1 (ja) 2019-11-07
JP6915809B2 (ja) 2021-08-04
US20210042586A1 (en) 2021-02-11

Similar Documents

Publication Publication Date Title
CN112106040A (zh) 事件预测装置、预测模型生成装置以及事件预测用程序
Daud et al. Using machine learning techniques for rising star prediction in co-author network
KR102280664B1 (ko) 위험 행동 예측 장치, 예측 모델 생성 장치 및 위험 행동 예측용 프로그램
Haddi et al. The role of text pre-processing in sentiment analysis
CN107357793B (zh) 信息推荐方法和装置
CN109299228B (zh) 计算机执行的文本风险预测方法及装置
US20150095017A1 (en) System and method for learning word embeddings using neural language models
Molino et al. Cota: Improving the speed and accuracy of customer support through ranking and deep networks
Baron Influence of data discretization on efficiency of Bayesian classifier for authorship attribution
Chandra et al. Semantic Analysis of Sentiments through Web-Mined Twitter Corpus.
CN114077661A (zh) 信息处理装置、信息处理方法和计算机可读介质
Vu et al. dpUGC: Learn Differentially Private Representation for User Generated Contents (Best Paper Award, Third Place, Shared)
CN111859940A (zh) 一种关键词提取方法、装置、电子设备及存储介质
CN114492669B (zh) 关键词推荐模型训练方法、推荐方法和装置、设备、介质
US20220366295A1 (en) Pre-search content recommendations
Eyraud et al. TAYSIR Competition: Transformer+\textscrnn: Algorithms to Yield Simple and Interpretable Representations
Jabreel et al. Target-dependent Sentiment Analysis of Tweets using a Bi-directional Gated Recurrent Unit.
Tallón-Ballesteros et al. Merging subsets of attributes to improve a hybrid consistency-based filter: a case of study in product unit neural networks
Pandiaraj et al. A Comparative Study on Emotion AI using Machine Learning and Deep Learning Models
Trivedi et al. Analysing user sentiment of Indian movie reviews: A probabilistic committee selection model
Sridhar et al. Content based news recommendation engine using hybrid bilstm-ann feature modelling
Priya et al. Data analytics: feature extraction for application with small sample in classification algorithms
Baddur et al. A novel approach for sentiment analysis using deep recurrent networks and sequence modeling
JP2016207171A (ja) パラメータ推定方法、評価値推定方法、装置、及びプログラム
Nabizadeh et al. Target-aware prediction of tool usage in sequential repair tasks

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20201218