CN114401419B - 基于视频的内容生成方法、装置、电子设备及存储介质 - Google Patents

基于视频的内容生成方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN114401419B
CN114401419B CN202111616214.8A CN202111616214A CN114401419B CN 114401419 B CN114401419 B CN 114401419B CN 202111616214 A CN202111616214 A CN 202111616214A CN 114401419 B CN114401419 B CN 114401419B
Authority
CN
China
Prior art keywords
picture
text information
text
key
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111616214.8A
Other languages
English (en)
Other versions
CN114401419A (zh
Inventor
黄焱晖
卞东海
蔡远俊
彭卫华
徐伟建
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN202111616214.8A priority Critical patent/CN114401419B/zh
Publication of CN114401419A publication Critical patent/CN114401419A/zh
Application granted granted Critical
Publication of CN114401419B publication Critical patent/CN114401419B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234336Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by media transcoding, e.g. video is transformed into a slideshow of still pictures or audio is converted into text
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/20Natural language analysis
    • G06F40/279Recognition of textual entities
    • G06F40/289Phrasal analysis, e.g. finite state techniques or chunking
    • G06F40/295Named entity recognition
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23418Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440236Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by media transcoding, e.g. video is transformed into a slideshow of still pictures, audio is converted into text
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81Monomedia components thereof
    • H04N21/8146Monomedia components thereof involving graphical data, e.g. 3D object, 2D graphics

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Graphics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本公开公开了基于视频的内容生成方法,涉及图像处理技术领域,尤其涉及自然语言处理、图像识别、光学字符识别等领域。具体实现方案为:将视频进行切帧处理,获取视频中包含的图片序列后,可以根据图片序序列,确定视频中包含的关键图片及文本信息,之后,可以将各个图片中包含的文本信息进行融合,以生成文本内容,然后,可以将关键图片***文本内容中,以生成与视频对应的目标内容。由此,通过将视频内容,转化为图文内容,不仅丰富了内容素材,提高了视频内容的可读性,而且为节省用户阅读素材的时间提供了条件。

Description

基于视频的内容生成方法、装置、电子设备及存储介质
技术领域
本公开涉及图像处理技术领域,尤其涉及自然语言处理、图像识别、光学字符识别等领域,具体涉及基于视频的内容生成方法、装置及电子设备。
背景技术
在互联网中,存在着大量的视频素材,但是视频素材的阅读会耗费大量的时间。因此,如何基于视频生成可快速阅读的内容是亟需解决的问题。
发明内容
本公开提供了一种基于视频的内容生成方法和装置。
根据本公开的一方面,提供了一种基于视频的内容生成方法,包括:
将视频进行切帧处理,以获取所述视频中包含的图片序列;
对所述图片序列中的每个所述图片进行文字识别,以确定每个所述图片中包含的文本信息及所述文本信息在所述图片中的位置;
根据每个所述图片中包含的文本信息和/或所述文本信息在所述图片中的位置,确定所述视频中包含的关键图片;
根据所述图片序列中包含的图片的顺序,将各个所述图片中包含的文本信息进行融合,以生成文本内容;
根据所述关键图片中包含的文本信息在所述文本内容中的位置,将所述关键图片***所述文本内容中,以生成与所述视频对应的目标内容。
根据本公开的另一方面,提供了一种基于视频的内容生成装置,包括:
切帧模块,用于将视频进行切帧处理,以获取所述视频中包含的图片序列;
识别模块,用于对所述图片序列中的每个所述图片进行文字识别,以确定每个所述图片中包含的文本信息及所述文本信息在所述图片中的位置;
确定模块,用于根据每个所述图片中包含的文本信息和/或所述文本信息在所述图片中的位置,确定所述视频中包含的关键图片;
生成模块,用于根据所述图片序列中包含的图片的顺序,将各个所述图片中包含的文本信息进行融合,以生成文本内容;
所述生成模块,还用于根据所述关键图片中包含的文本信息在所述文本内容中的位置,将所述关键图片***所述文本内容中,以生成与所述视频对应的目标内容。
根据本公开的另一方面,提供了一种电子设备,包括:
至少一个处理器;以及
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行上述实施例所述的方法。
根据本公开的另一方面,提供了一种存储有计算机指令的非瞬时计算机可读存储介质,其中,所述计算机指令用于使所述计算机执行根据上述实施例所述的方法。
根据本公开的另一方面,提供了一种计算机程序产品,包括计算机程序,所述计算机程序在被处理器执行时实现上述实施例所述方法的步骤。
应当理解,本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征,也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图用于更好地理解本方案,不构成对本公开的限定。其中:
图1为本公开实施例提供的一种基于视频的内容生成方法的流程示意图;
图2为本公开实施例提供的另一种基于视频的内容生成方法的流程示意图;
图3为本公开实施例提供的另一种基于视频的内容生成方法的流程示意图;
图4为本公开实施例提供的另一种基于视频的内容生成装置的过程示意图;
图5为本公开实施例提供的另一种基于视频的内容生成装置的流程示意图;
图6是用来实现本公开实施例的基于视频的内容生成方法的电子设备的框图。
具体实施方式
以下结合附图对本公开的示范性实施例做出说明,其中包括本公开实施例的各种细节以助于理解,应当将它们认为仅仅是示范性的。因此,本领域普通技术人员应当认识到,可以对这里描述的实施例做出各种改变和修改,而不会背离本公开的范围和精神。同样,为了清楚和简明,以下的描述中省略了对公知功能和结构的描述。
NLP(Natural Language Processing,自然语言处理)是计算机科学领域与人工智能领域中的一个重要方向,NLP研究的内容包括但不限于如下分支领域:文本分类、信息抽取、自动摘要、智能问答、话题推荐、机器翻译、主题词识别、知识库构建、深度文本表示、命名实体识别、文本生成、文本分析(词法、句法、语法等)、语音识别与合成等。
图像识别,是指利用计算机对图像进行处理、分析和理解,以识别各种不同模式的目标和对象的技术,是应用深度学习算法的一种实践应用。现阶段图像识别技术一般分为人脸识别与商品识别,人脸识别主要运用在安全检查、身份核验与移动支付中;商品识别主要运用在商品流通过程中,特别是无人货架、智能零售柜等无人零售领域。
OCR(Optical Character Recognition,光学字符识别)是指电子设备 (例如扫描仪或数码相机)检查纸上打印的字符,通过检测暗、亮的模式确定其形状,然后用字符识别方法将形状翻译成计算机文字的过程;即,针对印刷体字符,采用光学的方式将纸质文档中的文字转换成为黑白点阵的图像文件,并通过识别软件将图像中的文字转换成文本格式,供文字处理软件进一步编辑加工的技术。如何除错或利用辅助信息提高识别正确率,是OCR最重要的课题,ICR(Intelligent Character Recognition)的名词也因此而产生。衡量一个OCR***性能好坏的主要指标有:拒识率、误识率、识别速度、用户界面的友好性,产品的稳定性,易用性及可行性等。
下面参考附图,对本公开实施例的基于视频的内容生成方法、装置、电子设备和存储介质进行详细说明。
图1为本公开实施例提供的一种基于视频的内容生成方法的流程示意图。
如图1所示,该方法包括:
步骤101,将视频进行切帧处理,以获取视频中包含的图片序列。
其中,图片序列可以包含多张按时间顺序排列的图片,本公开对此不作限制。
本公开中,用户可以上传视频对应的URL,服务端在获取视频URL 后,即可基于视频URL获取到视频。或者,用户还可以直接将视频上传到服务端。本公开对此不作限制。服务端在获取到视频后,即可利用任意视频处理软件,对视频进行切帧处理。
可以理解的是,服务端对视频进行切帧处理后,即可获取视频对应的多张图片,然后,可以将多张图片按照在视频中的时间顺序进行保存,或者可以按照多张图片按照在视频中的时间顺序对图片进行编号后再保存,从而即可确定视频对应的一个图片序列。
本公开中,可以一秒内切两帧视频中的图像,从而在保证获取的图片序列,能够包含视频中所有的内容信息的同时,降低图片序列的冗余。
步骤102,对图片序列中的每个图片进行文字识别,以确定每个图片中包含的文本信息及文本信息在图片中的位置。
本公开中,可以利用OCR识别技术,识别出图片中的文字信息,及文字信息在图片中的位置。
其中,每个图片中包含的文本信息可以包含字幕、弹幕以及与视频内容类型相关的信息,比如视频对应的栏目名称等类型的文本信息,本公开对此不作限制。
可以理解的是,通常在视频图像中,字幕、弹幕及栏目名称在视频中的位置不同,一般情况下,字幕在视频图像的下方位置,栏目名称在视频图像的左上角位置,弹幕在视频图像的上半部分。由此,可以通过文本信息所在的位置,确定文本信息的类型。
步骤103,根据每个图片中包含的文本信息和/或文本信息在图片中的位置,确定视频中包含的关键图片。
本公开中,关键图片可以为对理解视频的内容有重要作用的图片,比如,用户关注的内容所在的图片,或者内容情节有变化的图片。一般情况下,当内容情节发生变化时,弹幕文本信息会随之变化。因此,可以根据图片中是否出现弹幕文本信息,确定是否为关键图片。从而,可以有效地确定关键图片,进而可以提高关键图片所包含的信息量。
本公开中,可以将相邻的图片中包含的弹幕文本信息进行对比,在弹幕文本信息发生变化时,可以确定此弹幕文本信息对应的图片为关键图片。
可选的,可以在任一图片中包含的文本信息在图片中的预设位置的情况下,确定任一图片为关键图片。
比如,在某一图片的弹幕位置出现弹幕文本信息,且其前一张图片未包含弹幕文本信息,或者该图片为图片序列中的第一张图片时,可以确定该图片为关键图片。
可选的,在多个相邻的图片中包含的弹幕文本信息相同的情况下,可以确定多个相邻的图片中的任一图片为关键图片。
步骤104,根据图片序列中包含的图片的顺序,将各个图片中包含的文本信息进行融合,以生成文本内容。
本公开中,服务端在获取每张图片对应的文本信息后,可以按照文本信息对应的图片顺序,将字幕文本信息进行拼接,以生成视频对应的文本内容。
可选的,还可以将每相邻的两个字幕文本信息输入预设的网络模型,以根据网络模型的输出,确定字幕两个文本信息间的标点符号的类型。然后基于每相邻的两个字幕文本信息间的标点符号的类型,将各个图片中包含的字幕文本信息进行融合,以生成文本内容。
其中,网络模型可以为知识和语义信息融合模型(Enhanced Representationthrough Knowledge Integration,ERNIE)等任一自然语言处理模型。可以通过标注了标点符号的视频字幕文本数据集,对模型进行训练,以获取用于预测相邻字幕文本间的标点符号的网络模型。
本公开中,基于预设的网络模型,确定两个字幕文本信息间的标点符号的类型后,可以按照字幕文本信息对应的图片的顺序,将各图片中的字幕文本信息进行拼接。在拼接的过程中,如果相邻两个字幕文本信息之间存在标点符号,可以将标点符号***到两字字幕文本信息之间,从而提高了文本内容的可读性。
步骤105,根据关键图片中包含的文本信息在文本内容中的位置,将关键图片***文本内容中,以生成与视频对应的目标内容。
本公开中,首先可以确定每张关键图片中的字幕文本信息在文本内容中的位置,然后,可以将关键图片,***到其所包含的字幕文本信息所在位置之后,从而即可生成与视频对应的图文内容。其中,图文内容即为视频对应的目标内容。
本公开中,在关键图片前后,内容情节可能发生变化,因此,可以根据关键图片将文本内容进行分段,以增加文本内容的可读性。
可选的,可以根据关键图片将文本内容进行分段,并将关键图片***到相应的分段位置中,以生成视频对应的目标内容。
比如,首先确定关键图片中包含的字幕文本信息在文本内容的位置,之后,可以在此位置前进行分段,然后,可以将关键图片***到所对应字幕文本信息位置的后面。由此,可以实现对文本内容进行合理的分段,从而有利于增加文本内容的可读性。
可选的,在关键图片中不包含字幕信息时,可以根据图片序列中关键图片所对应的顺序,将关键图片***文本内容中,以生成与视频对应的目标内容。比如,某一关键图片中不包含字幕信息,可以确定图片序列中此关键图片的前一张图片,所包含的字幕文本信息在文本内容中的位置,然后,可以在此位置之后进行分段,并将此关键图片***到此分段位置。
可选的,还可以按照图片序列中包含的图片的顺序,将各字幕文本信息及关键图片进行融合,以生成文本内容。
比如,可以按照各条字幕文本信息对应的图片的顺序,及各关键图片的顺序,将字幕文本信息和关键图片进行拼接,以生成目标内容。此外,当任一关键图片中包含字幕文本信息,此字幕文本信息对应的图片的顺序即为对应关键图片的顺序,此时可以将关键图片放在字幕文本信息之后。
本公开中,将视频进行切帧处理,以获取视频中包含的图片序列后,可以对图片序列中的每个图片进行文字识别,以确定每个图片中包含的文本信息及文本信息在图片中的位置,之后,可以根据每个图片中包含的文本信息和/或文本信息在图片中的位置,确定视频中包含的关键图片,然后,再根据图片序列中包含的图片的顺序,将各个图片中包含的文本信息进行融合,以生成文本内容,并根据关键图片中包含的文本信息在文本内容中的位置,将关键图片***文本内容中,以生成与视频对应的目标内容。由此,通过将视频内容,转化为图文内容,不仅丰富了内容素材,提高了视频内容的可读性,而且为节省用户阅读素材的时间提供了条件。
图2为本公开实施例提供的一种基于视频的内容生成方法的流程示意图。
如图2所示,该方法包括:
步骤201,将视频进行切帧处理,以获取视频中包含的图片序列。
步骤202,对图片序列中的每个图片进行文字识别,以确定每个图片中包含的文本信息及文本信息在图片中的位置。
步骤203,根据每个图片中包含的文本信息和/或文本信息在图片中的位置,确定视频中包含的关键图片。
本公开中,步骤201-步骤203的具体实现过程,可参见上述实施例的详细描述,在此不再赘述。
步骤204,对关键图片进行人脸识别,以确定关键图片中是否存在人脸区域及人脸区域的清晰度。
本公开中,关键图片中可能存在包含人脸的图片,当包含人脸的图片清晰度低时,对图文内容的可读性影响较大。因此,可以删除包含人脸的清晰度较低的关键图片,以保证图文内容的可读性。
本公开中,可以基于人脸识别技术,对关键图片进行人脸识别,以确定关键图片中是否存在人脸区域及人脸区域的清晰度。
步骤205,在关键图片中未包含人脸区域的情况下,保留关键图片。
本公开中,在对关键图片进行人脸识别后,可以将未包含人脸区域的关键图片进行保留,以保证关键图片的丰富性。
步骤206,在关键图片中包含人脸区域、且人脸区域的清晰度大于或等于阈值的情况下,保留关键图片。
其中,阈值可以根据对图片清晰度的要求,预先设置在***中。
本公开中,当关键图片中包含人脸区域时,可以将此人脸区域的清晰度与预设的阈值进行比较,在清晰度大于等于阈值的情况下,可以保留关键图片。由此,可以保证图文内容中关键图片的清晰度,从而提高了图文内容的可读性。
步骤207,在关键图片中包含人脸区域、且人脸区域的清晰度小于阈值的情况下,丢弃关键图片。
本公开中,当关键图片中包含人脸区域时,可以将此人脸区域的清晰度与预设的阈值进行比较,在清晰度小于阈值的情况下,可以丢弃关键图片。由此,可以保证图文内容中关键图片的清晰度,从而提高了图文内容的可读性。
需要说明的是,在实际使用时,上述步骤205-207可以并行执行,或者也可以按其它顺序执行,比如先执行206和207,再执行205等等,本公开对此不做限定。
步骤208,根据图片序列中包含的图片的顺序,将各个图片中包含的文本信息进行融合,以生成文本内容。
步骤209,根据关键图片中包含的文本信息在文本内容中的位置,将关键图片***文本内容中,以生成与视频对应的目标内容。
本公开中,步骤208-步骤209的具体实现过程,可参见上述实施例的详细描述,在此不再赘述。
本公开中,在确定关键图片后,可以对图片进行人脸识别,以确定关键图片中是否存在人脸区域及人脸区域的清晰度。在关键图片中未包含人脸区域的情况下,保留关键图片。在关键图片中包含人脸区域、且人脸区域的清晰度大于或等于阈值的情况下,保留关键图片。在关键图片中包含人脸区域、且人脸区域的清晰度小于阈值的情况下,丢弃关键图片。由此,可以保证图文内容中关键图片的清晰度,从而提高了图文内容的可读性。
图3为本公开实施例提供的一种基于视频的内容生成方法的流程示意图。
如图3所示,该方法包括:
步骤301,将视频进行切帧处理,以获取视频中包含的图片序列。
步骤302,对图片序列中的每个图片进行文字识别,以确定每个图片中包含的文本信息及文本信息在图片中的位置。
本公开中,步骤301-步骤302的具体实现过程,可参见上述实施例的详细描述,在此不再赘述。
步骤303,将每个图片中包含的文本信息进行去重处理,以获取待融合的文本信息。
本公开中,相邻图片中的字幕文本信息可能存在重复的现象,因此可以对字幕文本信息进行去重,以保证文本内容的可读性。
本公开中,可以对相邻的两个文本信息计算编辑距离,在编辑距离小于等于2时,可以确定的两个文本信息相同,然后可以删除两个文本信息中任一文本信息。
步骤304,确定每相邻的两个文本信息间的语义关联度。
可以理解的是,每个标点符号对应的使用语境不同,标点符号前和标点符号后的语义的关联程度也不同。比如,句号一般表示一句话已结束,接下来为新一句话的开始,因此,句号前后两个句子的语义上关联程度较低。逗号一般表示一个短的停顿,但逗号前后两个句子的语义存在较大联系。因此,可以根据相邻的两个文本信息间的语义关联度,确定对应的标点符号的类型。
本公开中,可以基于语义分析技术,确定相邻的两个字幕文本信息间的语义关联度。
步骤305,根据语义关联度及两个文本信息对应的两个图片间的时间间隔,确定每相邻的两个文本信息间的标点符号的类型。
本公开中,在图片序列中,每个图片都对应一个切帧时间,因此,可以根据两个文本信息对应的图片的切帧时间,确定两个文本信息之间时间间隔。
此外,在图片序列中,可能存在不包含字幕信息的图片,因此,相邻两个字幕文本信息之间的时间间隔可能不同。不同的时间间隔,其语义转变程度可能不同。比如,当两个字幕文本信息之间的时间间隔较长时,可以认为语义存在较大转变,当两个字幕文本信息之间的时间间隔较短时,可以认为语义转变较小。当语义转变较大时,两个字幕文本信息之间可以存在一个较长的停顿,当语义转变较小,两个字幕文本信息之间可以存在一个较短的停顿。因此,可以根据两个字幕文本信息之间的时间间隔,确定每相邻的两个文本信息间的标点符号的类型。
比如,当两个字幕文本信息之间的时间间隔为3秒以上时,可以在两个字幕文本信息之间添加句号,当两个字幕文本信息之间的时间间隔为 0-1秒时,可以不添加标点符号,当两个字幕文本信息之间的时间间隔为 1-3秒时,可以添加逗号。
本公开中,可以根据两个字幕文本信息之间的语义关联度,确定标点符号的类型。比如,两个字幕文本信息之间的语义关联度较低时,可以确定对应的标点符号为句号。或者,两个字幕文本信息之间的语义关联度较低,且前一句语义为疑问语境时,可以确定对应的标点符号为问号。
步骤306,基于每相邻的两个文本信息间的标点符号的类型,将各个图片中包含的文本信息进行融合,以生成文本内容。
本公开中,可以按照字幕文本信息对应的图片的顺序,将各图片中的字幕文本信息进行拼接。在拼接的过程中,如果相邻两个字幕文本信息之间存在标点符号,可以将标点符号***到两字字幕文本信息之间。从而有利于提高对文本内容分句的合理性,进而提高了文本内容的可读性。
本公开中,当两文本信息之间只存在基于语义关联度确定的标点符号,或者根据时间间隔确定的标点符号时,可以直接将此标点符号确定为两个文本信息之间标点符号。当两文本信息之间同时存在根据语义关联度确定的标点符号,和根据时间间隔确定的标点符号时,可以确定根据时间间隔确定的标点符号,为两文本信息之间的标点符号。
步骤307,根据图片序列中包含的图片的顺序,将各个图片中包含的文本信息进行融合,以生成文本内容。
步骤308,根据关键图片中包含的文本信息在文本内容中的位置,将关键图片***文本内容中,以生成与视频对应的目标内容。
本公开中,步骤307-步骤308的具体实现过程,可参见上述实施例的详细描述,在此不再赘述。
本公开中,在确定每个图片中包含的文本信息及文本信息在图片中的位置后,可以将每个图片中包含的文本信息进行去重处理,以获取待融合的文本信息,之后,确定每相邻的两个文本信息间的语义关联度,并根据语义关联度及两个文本信息对应的两个图片间的时间间隔,确定每相邻的两个文本信息间的标点符号的类型,然后,再基于每相邻的两个文本信息间的标点符号的类型,将各个图片中包含的文本信息进行融合,以生成文本内容。由此,有利于提高对文本内容分句的合理性,进而提高了文本内容的可读性。
为了便于理解,下面结合图4,对本公开中的基于视频的内容生成方法的过程进行说明。图4为本公开实施例提供的一种基于视频的内容生成方法的过程示意图。如图4所示,在将视频进行切帧处理,以获取视频中包含的图片序列后,可以对图片序列中的每个图片进行文字识别,以确定每个图片中包含的文本信息及文本信息在图片中的位置。之后,可以根据每个图片中包含的文本信息,确定字幕列表,并可以利用自然语言处理技术,对相邻两个字幕进行语义判别,以确定相邻两字幕之间的标点符号。或者,还可以根据相邻两字幕之间的编辑距离,对字幕列表进行去重处理,以确定视频对应的文本内容。在确定文本内容的同时,还可以根据每个图片中包含的文本信息和/或文本信息在图片中的位置,确定视频中包含的关键图片,并可以对关键图片进行人脸识别,从而可以基于人脸区域的清晰度,去除包含人脸区域的清晰度较低的关键图片。在确定关键图片和文本内容之后,可以根据各关键图片及文本内容中各字幕文本信息所对应图片的顺序,将关键图片及文本内容中各字幕文本信息进行融合,以生成与视频对应的目标内容。由此,在实现基于视频生成图文内容的同时,提高了图文内容的可读性。
为了实现上述实施例,本公开实施例还提出一种基于视频的内容生成装置。图5为本公开实施例提供的一种基于视频的内容生成装置的结构示意图。
如图5所示,该基于视频的内容生成装置500包括:切帧模块510、识别模块520、确定模块530、生成模块540。
切帧模块510,用于将视频进行切帧处理,以获取所述视频中包含的图片序列;
识别模块520,用于对所述图片序列中的每个所述图片进行文字识别,以确定每个所述图片中包含的文本信息及所述文本信息在所述图片中的位置;
确定模块530,用于根据每个所述图片中包含的文本信息和/或所述文本信息在所述图片中的位置,确定所述视频中包含的关键图片;
生成模块540,用于根据所述图片序列中包含的图片的顺序,将各个所述图片中包含的文本信息进行融合,以生成文本内容;
所述生成模块540,还用于根据所述关键图片中包含的文本信息在所述文本内容中的位置,将所述关键图片***所述文本内容中,以生成与所述视频对应的目标内容。
在本公开实施例一种可能的实现方式中,上述确定模块530,具体用于:
在多个相邻的图片中包含的文本信息相同的情况下,确定所述多个相邻的图片中的任一图片为关键图片;
或者,在任一图片中包含的文本信息在所述图片中的预设位置的情况下,确定所述任一图片为关键图片。
在本公开实施例一种可能的实现方式中,上述识别模块520,还用于:
对所述关键图片进行人脸识别,以确定所述关键图片中是否存在人脸区域及所述人脸区域的清晰度;
在所述关键图片中未包含人脸区域的情况下,保留所述关键图片;
在所述关键图片中包含人脸区域、且所述人脸区域的清晰度大于或等于阈值的情况下,保留所述关键图片;
在所述关键图片中包含人脸区域、且所述人脸区域的清晰度小于所述阈值的情况下,丢弃所述关键图片。
在本公开实施例一种可能的实现方式中,上述生成模块540,还用于:
将每个所述图片中包含的文本信息进行去重处理,以获取待融合的文本信息。
在本公开实施例一种可能的实现方式中,上述生成模块540,具体用于:
将每相邻的两个文本信息输入预设的网络模型,以根据所述网络模型的输出,确定所述两个文本信息间的标点符号的类型;
基于每相邻的两个文本信息间的标点符号的类型,将各个所述图片中包含的文本信息进行融合,以生成所述文本内容。
在本公开实施例一种可能的实现方式中,上述生成模块540,具体用于:
确定每相邻的两个文本信息间的语义关联度;
根据所述语义关联度及所述两个文本信息对应的两个图片间的时间间隔,确定每相邻的两个文本信息间的标点符号的类型;
基于每相邻的两个文本信息间的标点符号的类型,将各个所述图片中包含的文本信息进行融合,以生成所述文本内容。
需要说明的是,前述基于视频的内容生成方法实施例的解释说明,也适用于该实施例的装置,故在此不再赘述。
本公开中,将视频进行切帧处理,以获取视频中包含的图片序列后,可以对图片序列中的每个图片进行文字识别,以确定每个图片中包含的文本信息及文本信息在图片中的位置,之后,可以根据每个图片中包含的文本信息和/或文本信息在图片中的位置,确定视频中包含的关键图片,然后,再根据图片序列中包含的图片的顺序,将各个图片中包含的文本信息进行融合,以生成文本内容,并根据关键图片中包含的文本信息在文本内容中的位置,将关键图片***文本内容中,以生成与视频对应的目标内容。由此,通过将视频内容,转化为图文内容,不仅丰富了内容素材,提高了视频内容的可读性,而且为节省用户阅读素材的时间提供了条件。
根据本公开的实施例,本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。
图6示出了可以用来实施本公开的实施例的示例电子设备600的示意性框图。电子设备旨在表示各种形式的数字计算机,诸如,膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置,诸如,个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例,并且不意在限制本文中描述的和/或者要求的本公开的实现。
如图6所示,设备600包括计算单元601,其可以根据存储在ROM (Read-OnlyMemory,只读存储器)602中的计算机程序或者从存储单元 608加载到RAM(Random AccessMemory,随机访问/存取存储器)603 中的计算机程序,来执行各种适当的动作和处理。在RAM 603中,还可存储设备600操作所需的各种程序和数据。计算单元601、ROM 602以及 RAM603通过总线604彼此相连。I/O(Input/Output,输入/输出)接口605 也连接至总线604。
设备600中的多个部件连接至I/O接口605,包括:输入单元606,例如键盘、鼠标等;输出单元607,例如各种类型的显示器、扬声器等;存储单元608,例如磁盘、光盘等;以及通信单元609,例如网卡、调制解调器、无线通信收发机等。通信单元609允许设备600通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
计算单元601可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元601的一些示例包括但不限于CPU(Central Processing Unit,中央处理单元)、GPU(Graphic Processing Units,图形处理单元)、各种专用的AI(Artificial Intelligence,人工智能)计算芯片、各种运行机器学习模型算法的计算单元、DSP(Digital SignalProcessor,数字信号处理器)、以及任何适当的处理器、控制器、微控制器等。计算单元601执行上文所描述的各个方法和处理,例如基于视频的内容生成方法。例如,在一些实施例中,对基于视频的内容生成方法可被实现为计算机软件程序,其被有形地包含于机器可读介质,例如存储单元608。在一些实施例中,计算机程序的部分或者全部可以经由ROM 602和/或通信单元609而被载入和/ 或安装到设备600上。当计算机程序加载到RAM 603并由计算单元601 执行时,可以执行上文描述的基于视频的内容生成方法的一个或多个步骤。备选地,在其他实施例中,计算单元601可以通过其他任何适当的方式(例如,借助于固件)而被配置为执行基于视频的内容生成方法。
本文中以上描述的***和技术的各种实施方式可以在数字电子电路***、集成电路***、FPGA(Field Programmable Gate Array,现场可编程门阵列)、ASIC(Application-Specific Integrated Circuit,专用集成电路)、 ASSP(Application Specific StandardProduct,专用标准产品)、SOC(System On Chip,芯片上***的***)、CPLD(ComplexProgrammable Logic Device,复杂可编程逻辑设备)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括:实施在一个或者多个计算机程序中,该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程***上执行和/或解释,该可编程处理器可以是专用或者通用可编程处理器,可以从存储***、至少一个输入装置、和至少一个输出装置接收数据和指令,并且将数据和指令传输至该存储***、该至少一个输入装置、和该至少一个输出装置。
用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器,使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行,作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本公开的上下文中,机器可读介质可以是有形的介质,其可以包含或存储以供指令执行***、装置或设备使用或与指令执行***、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体***、装置或设备,或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、RAM、ROM、EPROM(Electrically Programmable Read-Only-Memory,可擦除可编程只读存储器)或快闪存储器、光纤、 CD-ROM(Compact Disc Read-Only Memory,便捷式紧凑盘只读存储器)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互,可以在计算机上实施此处描述的***和技术,该计算机具有:用于向用户显示信息的显示装置(例如,CRT(Cathode-Ray Tube,阴极射线管)或者LCD(Liquid Crystal Display,液晶显示器)监视器);以及键盘和指向装置(例如,鼠标或者轨迹球),用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互;例如,提供给用户的反馈可以是任何形式的传感反馈 (例如,视觉反馈、听觉反馈、或者触觉反馈);并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的***和技术实施在包括后台部件的计算***(例如,作为数据服务器)、或者包括中间件部件的计算***(例如,应用服务器)、或者包括前端部件的计算***(例如,具有图形用户界面或者网络浏览器的用户计算机,用户可以通过该图形用户界面或者该网络浏览器来与此处描述的***和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算***中。可以通过任何形式或者介质的数字数据通信(例如,通信网络)来将***的部件相互连接。通信网络的示例包括:LAN(LocalArea Network,局域网)、WAN(Wide Area Network,广域网)、互联网和区块链网络。
计算机***可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器,又称为云计算服务器或云主机,是云计算服务体系中的一项主机产品,以解决了传统物理主机与VPS服务(VirtualPrivate Server,虚拟专用服务器)中,存在的管理难度大,业务扩展性弱的缺陷。服务器也可以为分布式***的服务器,或者是结合了区块链的服务器。
根据本公开的实施例,本公开还提供了一种计算机程序产品,当计算机程序产品中的指令处理器执行时,执行本公开上述实施例提出的基于视频的内容生成方法。
应该理解,可以使用上面所示的各种形式的流程,重新排序、增加或删除步骤。例如,本公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行,只要能够实现本公开公开的技术方案所期望的结果,本文在此不进行限制。
上述具体实施方式,并不构成对本公开保护范围的限制。本领域技术人员应该明白的是,根据设计要求和其他因素,可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等,均应包含在本公开保护范围之内。

Claims (12)

1.一种基于视频的内容生成方法,包括:
将视频进行切帧处理,以获取所述视频中包含的图片序列;
对所述图片序列中的每个所述图片进行文字识别,以确定每个所述图片中包含的文本信息及所述文本信息在所述图片中的位置;
根据每个所述图片中包含的文本信息和/或所述文本信息在所述图片中的位置,确定所述视频中包含的关键图片;
根据所述图片序列中包含的图片的顺序,将各个所述图片中包含的文本信息进行融合,以生成文本内容;
根据所述关键图片中包含的文本信息在所述文本内容中的位置,将所述关键图片***所述文本内容中,以生成与所述视频对应的目标内容;
所述将各个所述图片中包含的文本信息进行融合,以生成文本内容,包括:
确定每相邻的两个文本信息间的语义关联度;
根据所述语义关联度及所述两个文本信息对应的两个图片间的时间间隔,确定每相邻的两个文本信息间的标点符号的类型;
当所述两个文本之间同时存在根据语义关联度确定的标点符号和根据两个图片的时间间隔确定的标点符号时,将所述根据两个图片的时间间隔确定的标点符号确定为所述两个文本之间的标点符号;
基于每相邻的两个文本信息间的标点符号的类型,将各个所述图片中包含的文本信息进行融合,以生成所述文本内容。
2.如权利要求1所述的方法,其中,所述根据每个所述图片中包含的文本信息和/或所述文本信息在所述图片中的位置,确定所述视频中包含的关键图片,包括:
在多个相邻的图片中包含的文本信息相同的情况下,确定所述多个相邻的图片中的任一图片为关键图片;
或者,在任一图片中包含的文本信息在所述图片中的预设位置的情况下,确定所述任一图片为关键图片。
3.如权利要求2所述的方法,其中,在所述确定所述视频中包含的关键图片之后,还包括:
对所述关键图片进行人脸识别,以确定所述关键图片中是否存在人脸区域及所述人脸区域的清晰度;
在所述关键图片中未包含人脸区域的情况下,保留所述关键图片;
在所述关键图片中包含人脸区域、且所述人脸区域的清晰度大于或等于阈值的情况下,保留所述关键图片;
在所述关键图片中包含人脸区域、且所述人脸区域的清晰度小于所述阈值的情况下,丢弃所述关键图片。
4.如权利要求1所述的方法,其中,在所述将各个所述图片中包含的文本信息进行融合,以生成文本内容之前,还包括:
将每个所述图片中包含的文本信息进行去重处理,以获取待融合的文本信息。
5.如权利要求1-4任一所述的方法,其中,所述将各个所述图片中包含的文本信息进行融合,以生成文本内容,包括:
将每相邻的两个文本信息输入预设的网络模型,以根据所述网络模型的输出,确定所述两个文本信息间的标点符号的类型;
基于每相邻的两个文本信息间的标点符号的类型,将各个所述图片中包含的文本信息进行融合,以生成所述文本内容。
6.一种基于视频的内容生成装置,包括:
切帧模块,用于将视频进行切帧处理,以获取所述视频中包含的图片序列;
识别模块,用于对所述图片序列中的每个所述图片进行文字识别,以确定每个所述图片中包含的文本信息及所述文本信息在所述图片中的位置;
确定模块,用于根据每个所述图片中包含的文本信息和/或所述文本信息在所述图片中的位置,确定所述视频中包含的关键图片;
生成模块,用于根据所述图片序列中包含的图片的顺序,将各个所述图片中包含的文本信息进行融合,以生成文本内容;
所述生成模块,还用于根据所述关键图片中包含的文本信息在所述文本内容中的位置,将所述关键图片***所述文本内容中,以生成与所述视频对应的目标内容;
所述生成模块,具体用于:
确定每相邻的两个文本信息间的语义关联度;
根据所述语义关联度及所述两个文本信息对应的两个图片间的时间间隔,确定每相邻的两个文本信息间的标点符号的类型;
当所述两个文本之间同时存在根据语义关联度确定的标点符号和根据两个图片的时间间隔确定的标点符号时,将所述根据两个图片的时间间隔确定的标点符号确定为所述两个文本之间的标点符号;
基于每相邻的两个文本信息间的标点符号的类型,将各个所述图片中包含的文本信息进行融合,以生成所述文本内容。
7.如权利要求6所述的装置,其中,所述确定模块,具体用于:
在多个相邻的图片中包含的文本信息相同的情况下,确定所述多个相邻的图片中的任一图片为关键图片;
或者,在任一图片中包含的文本信息在所述图片中的预设位置的情况下,确定所述任一图片为关键图片。
8.如权利要求7所述的装置,其中,所述识别模块,还用于:
对所述关键图片进行人脸识别,以确定所述关键图片中是否存在人脸区域及所述人脸区域的清晰度;
在所述关键图片中未包含人脸区域的情况下,保留所述关键图片;
在所述关键图片中包含人脸区域、且所述人脸区域的清晰度大于或等于阈值的情况下,保留所述关键图片;
在所述关键图片中包含人脸区域、且所述人脸区域的清晰度小于所述阈值的情况下,丢弃所述关键图片。
9.如权利要求6所述的装置,其中,所述生成模块,还用于:
将每个所述图片中包含的文本信息进行去重处理,以获取待融合的文本信息。
10.如权利要求6-9任一所述的装置,其中,所述生成模块,具体用于:
将每相邻的两个文本信息输入预设的网络模型,以根据所述网络模型的输出,确定所述两个文本信息间的标点符号的类型;
基于每相邻的两个文本信息间的标点符号的类型,将各个所述图片中包含的文本信息进行融合,以生成所述文本内容。
11.一种电子设备,包括:
至少一个处理器;以及
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行权利要求1-5中任一项所述的方法。
12.一种存储有计算机指令的非瞬时计算机可读存储介质,其中,所述计算机指令用于使所述计算机执行根据权利要求1-5中任一项所述的方法。
CN202111616214.8A 2021-12-27 2021-12-27 基于视频的内容生成方法、装置、电子设备及存储介质 Active CN114401419B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111616214.8A CN114401419B (zh) 2021-12-27 2021-12-27 基于视频的内容生成方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111616214.8A CN114401419B (zh) 2021-12-27 2021-12-27 基于视频的内容生成方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN114401419A CN114401419A (zh) 2022-04-26
CN114401419B true CN114401419B (zh) 2023-03-24

Family

ID=81227814

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111616214.8A Active CN114401419B (zh) 2021-12-27 2021-12-27 基于视频的内容生成方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN114401419B (zh)

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20010056901A (ko) * 1999-12-17 2001-07-04 구자홍 디지털 방송 수신기의 화면 문서 인식방법
CN111343496A (zh) * 2020-02-21 2020-06-26 北京字节跳动网络技术有限公司 一种视频处理方法及装置
CN112738554B (zh) * 2020-12-22 2022-12-13 北京百度网讯科技有限公司 视频的处理方法、装置和电子设备
CN112287916B (zh) * 2020-12-28 2021-04-30 平安国际智慧城市科技股份有限公司 视频图文课件文本提取方法、装置、设备及介质
CN112733545A (zh) * 2020-12-28 2021-04-30 中电金信软件有限公司 文本分块方法、装置、计算机设备和存储介质

Also Published As

Publication number Publication date
CN114401419A (zh) 2022-04-26

Similar Documents

Publication Publication Date Title
CN113807098B (zh) 模型训练方法和装置、电子设备以及存储介质
EP3709212A1 (en) Image processing method and device for processing image, server and storage medium
CN112396049A (zh) 文本纠错方法、装置、计算机设备及存储介质
CN112541359B (zh) 文档内容识别方法、装置、电子设备及介质
CN112559800A (zh) 用于处理视频的方法、装置、电子设备、介质和产品
CN114861677B (zh) 信息抽取方法、装置、电子设备以及存储介质
CN113642584A (zh) 文字识别方法、装置、设备、存储介质和智能词典笔
CN115982376A (zh) 基于文本、多模数据和知识训练模型的方法和装置
CN115098729A (zh) 视频处理方法、样本生成方法、模型训练方法及装置
CN115017898A (zh) 敏感文本的识别方法、装置、电子设备及存储介质
CN113361462B (zh) 视频处理和字幕检测模型的方法及装置
US10261987B1 (en) Pre-processing E-book in scanned format
CN114401419B (zh) 基于视频的内容生成方法、装置、电子设备及存储介质
CN114880498B (zh) 事件信息展示方法及装置、设备和介质
CN114820885B (zh) 图像编辑方法及其模型训练方法、装置、设备和介质
CN114880520B (zh) 视频标题生成方法、装置、电子设备和介质
CN115238078A (zh) 一种网页信息抽取方法、装置、设备及存储介质
CN113791860B (zh) 一种信息转换方法、装置和存储介质
CN106959945B (zh) 基于人工智能的为新闻生成短标题的方法和装置
CN113033333B (zh) 实体词识别方法、装置、电子设备和存储介质
CN115130437A (zh) 一种文档智能填写方法、装置及存储介质
CN114996494A (zh) 图像处理方法、装置、电子设备及存储介质
US11132500B2 (en) Annotation task instruction generation
CN113221566A (zh) 实体关系抽取方法、装置、电子设备和存储介质
CN114417871B (zh) 模型训练及命名实体识别方法、装置、电子设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant