CN109101495A - 一种基于图像识别和知识图谱的时尚领域文本生成方法 - Google Patents

一种基于图像识别和知识图谱的时尚领域文本生成方法 Download PDF

Info

Publication number
CN109101495A
CN109101495A CN201810982554.4A CN201810982554A CN109101495A CN 109101495 A CN109101495 A CN 109101495A CN 201810982554 A CN201810982554 A CN 201810982554A CN 109101495 A CN109101495 A CN 109101495A
Authority
CN
China
Prior art keywords
fashion
knowledge mapping
information
world
document creation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810982554.4A
Other languages
English (en)
Inventor
黄佳威
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Bao Zun Agel Ecommerce Ltd
Original Assignee
Shanghai Bao Zun Agel Ecommerce Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Bao Zun Agel Ecommerce Ltd filed Critical Shanghai Bao Zun Agel Ecommerce Ltd
Priority to CN201810982554.4A priority Critical patent/CN109101495A/zh
Publication of CN109101495A publication Critical patent/CN109101495A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/258—Heading extraction; Automatic titling; Numbering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/10—Text processing
    • G06F40/189—Automatic justification

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Character Discrimination (AREA)

Abstract

本发明涉及一种基于图像识别和知识图谱的时尚领域文本生成方法，步骤S1、采用深度学习的方法，对基本的图片视频数据进行基础信息的提取，并对针对所有的时尚的基础信息进行分解和整理，训练深度学习的算法，对图像基础信息进行提取；步骤S2、预先准备时尚领域的知识图谱，对市面上的流行元素进行定义，将基础信息和流行信息相关联；步骤S3、将上述的基本信息和推理的高阶抽象标签作为搜索关键字，在已有的时尚领域专业文章库中搜索相似文本，按照相似度排序，生成摘要文字。其优点表现在：能够解决在时尚领域中需要撰写大量和图片文字相关性非常大的领域专业文稿的问题，提供时尚编辑文字素材，以激发时尚编辑的灵感，提高时尚撰稿效率。

Description

一种基于图像识别和知识图谱的时尚领域文本生成方法
技术领域
本发明涉及互联网大数据领域，时尚领域，计算机技术领域，具体地说，是一种基于图像识别和知识图谱的时尚领域文本生成方法。
背景技术
文本自动生成是自然语言处理领域的一个重要研究方向，实现文本自动生成也是人工智能走向成熟的一个重要标志。
当前文本自动生成的方式主要集中在两种方面：
第一种是基于全文搜索领域往往采用互联网公开数据，通过搜索引擎查询出若干篇与主题相近和相似的文章，通过一定的算法进行摘要选取，最终生成一篇可被理解的文章。
这种方法需要大量开源的相似文章，并且无法对图片等信息进行文本生成。
第二种是基于深度学习的文本自动生成工具，采用类似s2s或者neuraltalk一类算法，对关键字或者图片进行扩充，从而产生一篇可被理解的文章。
这种技术的难点在于深度学习的训练复杂，推广难度大，生成文字简单，并且对未知图像准确率依旧是一个挑战。
另外，在时尚领域中需要撰写大量的图片和文字，时尚领域的变化往往先于所有领域，所谓浪尖潮人，所以导致时尚领域的文字信息存在诸多难点。
1、每天都在产生大量时尚信息；
2、时尚信息的主体风格和内在信息存在非常大的变化。
3、数据类型十分复杂，从文字到图像到视频都是处理的目标数据。
针对以上几个难点，当前的方法都无法很好得适用于这些情况。传统的信息检索的方式能够快速适应变化，但是对多媒体信息却缺乏处理能力；深度学习的方法可以处理多种媒体信息，但是需要大量的标注数据，而标注需要大量人工信息，往往无法很好地做到适应潮流。
中国专利文献CN201410032479.7，申请日20140123，专利名称为：对文本进行自动注音处理及显示的方法和装置，公开了一种对文本进行自动注音处理及显示的方法和装置，其中，对文本进行自动注音处理的方法包括：基于隐码模型将源语言的文本转换为目标语言的注音文本；获得需求用户的标识信息；接收当前用户通过客户端发送的当前文本需求信息，根据标识信息确定当前用户为需求用户，根据当前文本需求信息向客户端发送对应的注音文本，以用于向当前用户进行展现。
上述专利文献对文本进行自动注音处理的方法可以根据外文源语言文本自动生成易理解的或易发音的中文注音文本，并主动将中文注音文本提供给需求用户，便于需求用户轻松的学习外文源语言歌曲的发音，用户体验度高，并且成本低。但是关于一种解决在时尚领域中需要撰写大量和图片文字相关性非常大的领域专业文稿的问题，提供时尚编辑文字素材，提高时尚撰稿效率的技术方案则未进行相应的公开。
综上所述，需要一种解决在时尚领域中需要撰写大量和图片文字相关性非常大的领域专业文稿的问题，提供时尚编辑文字素材，提高时尚撰稿效率的文本生成方法，而关于这种文本生成方法目前还未见报道。
发明内容
本发明的目的是针对现有技术中的不足，提供一种解决在时尚领域中需要撰写大量和图片文字相关性非常大的领域专业文稿的问题，提供时尚编辑文字素材，提高时尚撰稿效率的文本生成方法。
为实现上述目的，本发明采取的技术方案是：
一种基于图像识别和知识图谱的时尚领域文本生成方法，所述方法包括以下步骤：
步骤S1、采用深度学习的方法，对基本的图片视频数据进行基础信息的提取，并对针对所有的时尚的基础信息进行分解和整理，训练深度学习的算法，对图像基础信息进行提取；
步骤S2、预先准备时尚领域的知识图谱，对市面上的流行元素进行定义，将基础信息和流行信息相关联；
步骤S3、将步骤S1和步骤S2中获取的基本信息和推理的高阶抽象标签作为搜索关键字，在已有的时尚领域专业文章库中搜索相似文本，按照相似度排序，生成摘要文字。
作为一种优选的技术方案，所述方法采用时尚领域的知识图谱的形式来提供标签中的逻辑关系的存储和表示。
作为一种优选的技术方案，所述方法采用算法和数据结构所形成的方式来提供标签中的逻辑关系的存储和表示。
作为一种优选的技术方案，所述方法采用深度学习配合逻辑推断的方式扩充时尚领域图像中包含的标签信息的***设计架构。
作为一种优选的技术方案，所述方法采用时尚领域图片标签算法和时尚标签库配合，达到标签多样性的设计架构。
作为一种优选的技术方案，所述步骤S1中的提取对象是时尚领域的基础信息是变化比较慢的，并且有多媒体的特征。
作为一种优选的技术方案，所步骤S2中产生基于基本元素的高阶抽象元素，由此产生高阶抽象标签。
本发明优点在于：
1、本发明的一种基于图像识别和知识图谱的时尚领域文本生成方法，能够解决在时尚领域中需要撰写大量和图片文字相关性非常大的领域专业文稿的问题，提供时尚编辑文字素材，以激发时尚编辑的灵感，提高时尚撰稿效率。
2、降低深度学习的学习成本，提高模型的可用性。
3、提供快速变化的时尚信息的更新。
4、人工维护的知识库能够提供更多的领域知识，避免信息过时和不准确的情况。
附图说明
附图1是本发明的一种基于图像识别和知识图谱的时尚领域文本生成方法的流程示意图。
具体实施方式
下面结合附图对本发明提供的具体实施方式作详细说明。
请参照图1，图1是本发明的一种基于图像识别和知识图谱的时尚领域文本生成方法的流程示意图。一种基于图像识别和知识图谱的时尚领域文本生成方法，所述方法包括以下步骤：
步骤S1、采用深度学习的方法，对基本的图片视频数据进行基础信息的提取，并对针对所有的时尚的基础信息进行分解和整理，训练深度学习的算法，对图像基础信息进行提取，比如说图像的主体、材料、纹理、质地等信息，比如说图中的主体是一条“裙子”，裙子的材料是“丝绸”，裙子的颜色是“蓝色”和“红色”的，裙子的质地是“顺滑”的等基础信息。
步骤S2、预先准备时尚领域的知识图谱，对市面上的流行元素进行定义，将基础信息和流行信息相关联，比如：“连衣裙”和“蕾丝”可以产生“复古”；“蓝色”和“红色”可以产生“撞色”；“短裙”和“板鞋”可以推出“街头”。由此产生高阶抽象标签。
步骤S3、将步骤S1和步骤S2中获取的基本信息和推理的高阶抽象标签作为搜索关键字，在已有的时尚领域专业文章库中搜索相似文本，按照相似度排序，生成摘要文字。
该实施例需要说明的是：
该实例中采用时尚领域的知识图谱的形式来提供标签中的逻辑关系，但不仅限于该方式实现标签间的逻辑关系的存储和表示，其他算法和数据结构所形成的技术方案也应涵盖在该发明构思下。
该实例中采用深度学习配合逻辑推断的方式扩充时尚领域图像中包含的标签信息的***设计架构，但不限于上述实例中的特定组合。其他时尚领域图片标签算法和时尚标签库配合，以达到标签多样性为目的的设计架构都应涵盖在本发明的构思之下。
本发明的一种基于图像识别和知识图谱的时尚领域文本生成方法，能够解决在时尚领域中需要撰写大量和图片文字相关性非常大的领域专业文稿的问题，提供时尚编辑文字素材，以激发时尚编辑的灵感，提高时尚撰稿效率；降低深度学习的学习成本，提高模型的可用性；提供快速变化的时尚信息的更新；人工维护的知识库能够提供更多的领域知识，避免信息过时和不准确的情况。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员，在不脱离本发明方法的前提下，还可以做出若干改进和补充，这些改进和补充也应视为本发明的保护范围。

Claims (7)

1.一种基于图像识别和知识图谱的时尚领域文本生成方法，其特征在于，所述方法包括以下步骤：
步骤S1、采用深度学习的方法，对基本的图片视频数据进行基础信息的提取，并对针对所有的时尚的基础信息进行分解和整理，训练深度学习的算法，对图像基础信息进行提取；
步骤S2、预先准备时尚领域的知识图谱，对市面上的流行元素进行定义，将基础信息和流行信息相关联；
步骤S3、将步骤S1和步骤S2中获取的基本信息和推理的高阶抽象标签作为搜索关键字，在已有的时尚领域专业文章库中搜索相似文本，按照相似度排序，生成摘要文字。
2.根据权利要求1所述的基于图像识别和知识图谱的时尚领域文本生成方法，其特征在于，所述方法采用时尚领域的知识图谱的形式来提供标签中的逻辑关系的存储和表示。
3.根据权利要求1所述的基于图像识别和知识图谱的时尚领域文本生成方法，其特征在于，所述方法采用算法和数据结构所形成的方式来提供标签中的逻辑关系的存储和表示。
4.根据权利要求1所述的基于图像识别和知识图谱的时尚领域文本生成方法，其特征在于，所述方法采用深度学习配合逻辑推断的方式扩充时尚领域图像中包含的标签信息的***设计架构。
5.根据权利要求1所述的基于图像识别和知识图谱的时尚领域文本生成方法，其特征在于，所述方法采用时尚领域图片标签算法和时尚标签库配合，达到标签多样性的设计架构。
6.根据权利要求1所述的基于图像识别和知识图谱的时尚领域文本生成方法，其特征在于，所述步骤S1中的提取对象是时尚领域的基础信息是变化比较慢的，并且有多媒体的特征。
7.根据权利要求1所述的基于图像识别和知识图谱的时尚领域文本生成方法，其特征在于，步骤S2中产生基于基本元素的高阶抽象元素，由此产生高阶抽象标签。
CN201810982554.4A 2018-08-27 2018-08-27 一种基于图像识别和知识图谱的时尚领域文本生成方法 Pending CN109101495A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810982554.4A CN109101495A (zh) 2018-08-27 2018-08-27 一种基于图像识别和知识图谱的时尚领域文本生成方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810982554.4A CN109101495A (zh) 2018-08-27 2018-08-27 一种基于图像识别和知识图谱的时尚领域文本生成方法

Publications (1)

Publication Number Publication Date
CN109101495A true CN109101495A (zh) 2018-12-28

Family

ID=64851372

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810982554.4A Pending CN109101495A (zh) 2018-08-27 2018-08-27 一种基于图像识别和知识图谱的时尚领域文本生成方法

Country Status (1)

Country Link
CN (1) CN109101495A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109961091A (zh) * 2019-03-01 2019-07-02 杭州叙简科技股份有限公司 一种自学习的事故文字标签与摘要生成***及其方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0751469A1 (en) * 1995-06-28 1997-01-02 Xerox Corporation Automatic method of extracting summarization using feature probabilities
CN106095762A (zh) * 2016-02-05 2016-11-09 中科鼎富（北京）科技发展有限公司 一种基于本体模型库的新闻推荐方法及装置
CN106204165A (zh) * 2016-08-11 2016-12-07 广州出益信息科技有限公司 一种广告投放方法及装置
CN107908671A (zh) * 2017-10-25 2018-04-13 南京擎盾信息科技有限公司 基于法律数据的知识图谱构建方法及***
CN108038096A (zh) * 2017-11-10 2018-05-15 平安科技（深圳）有限公司 知识库文档快速检索方法、应用服务器计算机可读存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0751469A1 (en) * 1995-06-28 1997-01-02 Xerox Corporation Automatic method of extracting summarization using feature probabilities
CN106095762A (zh) * 2016-02-05 2016-11-09 中科鼎富（北京）科技发展有限公司 一种基于本体模型库的新闻推荐方法及装置
CN106204165A (zh) * 2016-08-11 2016-12-07 广州出益信息科技有限公司 一种广告投放方法及装置
CN107908671A (zh) * 2017-10-25 2018-04-13 南京擎盾信息科技有限公司 基于法律数据的知识图谱构建方法及***
CN108038096A (zh) * 2017-11-10 2018-05-15 平安科技（深圳）有限公司 知识库文档快速检索方法、应用服务器计算机可读存储介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109961091A (zh) * 2019-03-01 2019-07-02 杭州叙简科技股份有限公司 一种自学习的事故文字标签与摘要生成***及其方法

Similar Documents

Publication Publication Date Title
Zhang et al. Rich visual knowledge-based augmentation network for visual question answering
CN112087656B (zh) 在线笔记生成方法、装置及电子设备
Zheng et al. Recent advances of deep learning for sign language recognition
CN102855317B (zh) 一种基于演示视频的多模式索引方法及***
TWI312945B (en) Method and apparatus for multimedia data management
CN107679070B (zh) 一种智能阅读推荐方法与装置、电子设备
CN111524045A (zh) 一种听写方法及装置
CN109343768A (zh) 显示方法及***、计算机***及计算机可读存储介质
CN111985184A (zh) 基于ai视觉下的书写字体临摹辅助方法、***、装置
CN113535915A (zh) 用于扩充数据集的方法
CN112328773A (zh) 基于知识图谱的问答实现方法和***
CN109492112A (zh) 一种基于知识图谱的计算机辅助写作科普文章的方法
Lu et al. Image captioning on fine art paintings via virtual paintings
TW200425063A (en) Recognition method to integrate speech input and handwritten input, and system thereof
CN109101495A (zh) 一种基于图像识别和知识图谱的时尚领域文本生成方法
CN110458751B (zh) 一种基于粤剧图片的面部替换方法、设备及介质
Goel et al. Real-time sign language to text and speech translation and hand gesture recognition using the LSTM model
Kapitanov et al. Slovo: Russian Sign Language Dataset
CN111552830A (zh) 一种用户自选乐谱练习方法和***
Nagai On the improvement of recognizing single-line strings of Japanese historical cursive
JP2018066800A (ja) 日本語音声認識モデル学習装置及びプログラム
CN110059179A (zh) 一种基于深度学习的歌曲文本命名实体识别方法
CN109473007A (zh) 一种音素结合声旁的英语自然拼读教学方法及***
Shi et al. Searching for fingerspelled content in American Sign Language
CN114090777A (zh) 文本数据处理方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20181228

RJ01 Rejection of invention patent application after publication