CN110211236A - 一种基于智能音箱的虚拟人物自定义实现方法 - Google Patents

一种基于智能音箱的虚拟人物自定义实现方法 Download PDF

Info

Publication number
CN110211236A
CN110211236A CN201910305562.XA CN201910305562A CN110211236A CN 110211236 A CN110211236 A CN 110211236A CN 201910305562 A CN201910305562 A CN 201910305562A CN 110211236 A CN110211236 A CN 110211236A
Authority
CN
China
Prior art keywords
image
parameter
virtual portrait
sound box
intelligent sound
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910305562.XA
Other languages
English (en)
Inventor
陈亮
张斌
梁嘉豪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Obersi Intelligent Technology Co Ltd
Original Assignee
Shenzhen Obersi Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Obersi Intelligent Technology Co Ltd filed Critical Shenzhen Obersi Intelligent Technology Co Ltd
Priority to CN201910305562.XA priority Critical patent/CN110211236A/zh
Publication of CN110211236A publication Critical patent/CN110211236A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Geometry (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明公开了一种基于智能音箱的虚拟人物自定义实现方法中,该方法包括:通过智能音箱的摄像头采集用户的人体3D模型和人体图像;通过所述人体3D模型和人体图像获取人体特征信息;将所述人体特征信息录入虚拟人物形象模型框架,创建出与用户人物形象相匹配的虚拟人物形象;所述虚拟人物形象通过智能音箱的显示设备进行显示。本发明的有益效果是能够采集用户的身体数据,及时将用户的肢体信息自定义设置为虚拟角色的体型数据,提高了用户的体验度和依赖性,便于用户方便使用。

Description

一种基于智能音箱的虚拟人物自定义实现方法
技术领域
本发明涉及智能音箱技术领域,尤其涉及一种基于智能音箱的虚拟人物自 定义实现方法。
背景技术
机器人作为与人类的交互工具,使用的场合越来越多,例如一些老人、小 孩较孤独时,就可以与机器人交互,包括对话、娱乐等。而为了让机器人与人 类交互时更加拟人化,发明人研究出一种虚拟机器人的显示设备和成像***, 能够形成3D的动画形象,虚拟机器人的主机接受人类的指令例如语音等与人类 进行交互,然后虚拟的3D动画形象会根据主机的指令进行声音和动作的回复, 这样就可以让机器人更加拟人化,不仅在声音、表情上能够与人类交互,而且 还可以在动作等上与人类交互,大大提高了交互的体验感。
然而,目前市场上的智能音箱还未设置有带有虚拟人物且能够根据用户自 定义虚拟人物角色的显示及实现。
发明内容
本发明实施例提供一种基于智能音箱的虚拟人物自定义实现方法,用于解 决带有虚拟人物且能够根据用户身体信息自定义虚拟人物角色在智能音箱的显 示及实现。
本发明实施例提供一种基于智能音箱的虚拟人物自定义实现方法,该方法包括:通过智能音箱设置虚拟人物的人物形象;
所述虚拟人物的人物形象通过智能音箱的显示单元进行显示;
其中,所述人物形象包括头部形象,服装形象,体型形象,人物场景形象等至 少一种。
在本发明的基于智能音箱的虚拟人物自定义实现方法中,所述人物形象参数包括头部形象参数,服装形象参数,体型形象参数,人物形象场景参数等至少一 种。
在本发明的基于智能音箱的虚拟人物自定义实现方法中,所述头部形象的 设置方法包括:
建立所述虚拟人物头部形象的基本模型;
通过设置头部形象的头部形象参数对虚拟人物头部形象进行基本模型变换得到所述虚拟人物头部形象的变更模型;
通过所述智能音箱显示虚拟人物头部形象的变更模型。
在本发明的基于智能音箱的虚拟人物自定义实现方法中,所述头部形象参 数包括脸型参数,五官参数,肤色参数的至少一种。
在本发明的基于智能音箱的虚拟人物自定义实现方法中,所述服装形象的 设置方法包括:
获取虚拟人物的体型模型数据;
通过设置虚拟人物的服装形象参数结合体型模型数据得到变更后的虚拟人物服装形象;
通过智能音箱显示变更后的虚拟人物服装形象。
在本发明的基于智能音箱的虚拟人物自定义实现方法中,所述服装形象参 数包括虚拟人物服装造型参数,服装颜色参数的至少一种。
在本发明的基于智能音箱的虚拟人物自定义实现方法中,所述体型形象的 设置方法包括:
获取现有虚拟人物的第一体型形象的第一体型形象参数和第一服装形象参数;通过设置第二体型形象参数改变现有虚拟人物的第一体型形象参数;
通过改变后的虚拟人物的第二体型形象参数调整第一服装形象参数,将第一服装形象参数改变为匹配虚拟人物的第二体型形象参数的第二服装形象参数;
通过第二体型形象参数和第二服装形象参数获得第二体型形象;
通过智能音箱显示所述虚拟人物的第二体型形象。
在本发明的基于智能音箱的虚拟人物自定义实现方法中,所述体型形象参 数包括人物性别参数,人物年龄参数,人物身高参数,人物胖瘦参数,人种参 数等至少一种。
在本发明的基于智能音箱的虚拟人物自定义实现方法中,根据体型形象参 数进行所述虚拟人物的服装形象参数对应服装尺寸大小的实时调整。
在本发明的基于智能音箱的虚拟人物自定义实现方法中,所述人物场景形 象设置方法包括:根据不同的人物场景设置模式设置人物场景形象。
本发明的有益效果是能够根据用户的自定义,及时将用户的自定义设置为 虚拟角色的体型数据,脸型数据或服装数据,提高了用户的体验度和依赖性, 便于用户方便使用。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施 例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述 中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付 出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种基于智能音箱的虚拟人物自定义实现方法 的流程框图;
图2是本发明实施例提供的一种基于智能音箱的虚拟人物自定义实现方法 的所述头部形象的设置方法的流程框图;
图3是本发明实施例提供的一种基于智能音箱的虚拟人物自定义实现方法 的所述服装形象的设置方法的流程框图;
图4是本发明实施例提供的一种基于智能音箱的虚拟人物自定义实现方法 的所述体型形象的设置方法的流程框图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案,下面将结合本发明实施 例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所 描述的实施例仅仅是本发明一部分的实施例,而不是全部的实施例。基于本发 明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所 有其他实施例,都应当属于本发明保护的范围。
以下分别进行详细说明。
本发明的说明书和权利要求书及所述附图中的术语“第一”、“第二”、“第 三”和“第四”等是用于区别不同对象,而不是用于描述特定顺序。此外,术 语“包括”和“具有”以及它们任何变形,意图在于覆盖不排他的包含。例如 包含了一系列步骤或单元的过程、方法、***、产品或设备没有限定于已列出 的步骤或单元,而是可选地还包括没有列出的步骤或单元,或可选地还包括对 于这些过程、方法、产品或设备固有的其它步骤或单元。
在本文中提及“实施例”意味着,结合实施例描述的特定特征、结构或特性可 以包含在本发明的至少一个实施例中。在说明书中的各个位置出现该短语并不 一定均是指相同的实施例,也不是与其它实施例互斥的独立的或备选的实施例。 本领域技术人员显式地和隐式地理解的是,本文所描述的实施例可以与其它实 施例相结合。
请参阅图1是本发明实施例提供了一种基于智能音箱的虚拟人物自定义实 现方法,该方法包括:
通过智能音箱设置虚拟人物的人物形象;
所述虚拟人物的人物形象通过智能音箱的显示单元进行显示;
其中,所述人物形象包括头部形象,服装形象,体型形象,人物场景形象等至 少一种。
在本发明的基于智能音箱的虚拟人物自定义实现方法中,所述人物形象参数包括头部形象参数,服装形象参数,体型形象参数,人物形象场景参数等至少一 种。
如图2所示,在本发明的基于智能音箱的虚拟人物自定义实现方法中,所 述头部形象的设置方法包括:
建立所述虚拟人物头部形象的基本模型;
通过设置头部形象的头部形象参数对虚拟人物头部形象进行基本模型变换得到所述虚拟人物头部形象的变更模型;
通过所述智能音箱显示虚拟人物头部形象的变更模型。
在本发明的基于智能音箱的虚拟人物自定义实现方法中,所述头部形象参 数包括脸型参数,五官参数,肤色参数的至少一种。
如图3所示,在本发明的基于智能音箱的虚拟人物自定义实现方法中,所 述服装形象的设置方法包括:
获取虚拟人物的体型模型数据;
通过设置虚拟人物的服装形象参数结合体型模型数据得到变更后的虚拟人物服装形象;
通过智能音箱显示变更后的虚拟人物服装形象。
在本发明的基于智能音箱的虚拟人物自定义实现方法中,所述服装形象参 数包括虚拟人物服装造型参数,服装颜色参数的至少一种。
如图4所示,在本发明的基于智能音箱的虚拟人物自定义实现方法中,所 述体型形象的设置方法包括:
获取现有虚拟人物的第一体型形象的第一体型形象参数和第一服装形象参数;通过设置第二体型形象参数改变现有虚拟人物的第一体型形象参数;
通过改变后的虚拟人物的第二体型形象参数调整第一服装形象参数,将第一服装形象参数改变为匹配虚拟人物的第二体型形象参数的第二服装形象参数;
通过第二体型形象参数和第二服装形象参数获得第二体型形象;
通过智能音箱显示所述虚拟人物的第二体型形象。
在本发明的基于智能音箱的虚拟人物自定义实现方法中,所述体型形象参 数包括人物性别参数,人物年龄参数,人物身高参数,人物胖瘦参数,人种参 数等至少一种。
在本发明的基于智能音箱的虚拟人物自定义实现方法中,根据体型形象参 数进行所述虚拟人物的服装形象参数对应服装尺寸大小的实时调整。
在本发明的基于智能音箱的虚拟人物自定义实现方法中,所述人物场景形 象设置方法包括:根据不同的人物场景设置模式设置人物场景形象。
进一步的,本发明所采用的语音识别的技术,通过语音识别***可以根据 对输入语音的限制加以分类。主要包括以下三种:
一是从说话者与识别***的相关性考虑
可以将识别***分为3类:(1)特定人语音识别***:仅考虑对于专人的话音进 行识别;(2)非特定人语音***:识别的语音与人无关,通常要用大量不同人的 语音数据库对识别***进行学习;(3)多人的识别***:通常能识别一组人的语 音,或者成为特定组语音识别***,该***仅要求对要识别的那组人的语音进 行训练。
二是从说话的方式考虑
也可以将识别***分为3类:(1)孤立词语音识别***:孤立词识别***要求输 入每个词后要停顿;(2)连接词语音识别***:连接词输入***要求对每个词都 清楚发音,一些连音现象开始出现;(3)连续语音识别***:连续语音输入是自 然流利的连续语音输入,大量连音和变音会出现。
三是从识别***的词汇量大小考虑
也可以将识别***分为3类:(1)小词汇量语音识别***。通常包括几十个词的 语音识别***。(2)中等词汇量的语音识别***。通常包括几百个词到上千个词 的识别***。(3)大词汇量语音识别***。通常包括几千到几万个词的语音识别 ***。随着计算机与数字信号处理器运算能力以及识别***精度的提高,识别 ***根据词汇量大小进行分类也不断进行变化。目前是中等词汇量的识别*** 到将来可能就是小词汇量的语音识别***。这些不同的限制也确定了语音识别 ***的困难度。
本发明的有益效果是能够根据用户的自定义,及时将用户的自定义设置为 虚拟角色的体型数据,脸型数据或服装数据,提高了用户的体验度和依赖性, 便于用户方便使用。
需要说明的是,对于前述的各方法实施例,为了简单描述,故将其都表述 为一系列的动作组合,但是本领域技术人员应该知悉,本发明并不受所描述的 动作顺序的限制,因为依据本发明,某些步骤可以采用其他顺序或者同时进行。 其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施 例,所涉及的动作和模块并不一定是本发明所必须的。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详 述的部分,可以参见其他实施例的相关描述。
在本发明所提供的几个实施例中,应该理解到,所揭露的装置,可通过其 它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如上述单 元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例 如多个单元或组件可以结合或者可以集成到另一个***,或一些特征可以忽略, 或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可 以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性或其它的 形式。
上述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为 单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者 也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部 单元来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中, 也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元 中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的 形式实现。
以上对本发明实施例进行了详细介绍,本文中应用了具体个例对本发明的 原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方 法及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思想,在 具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理 解为对本发明的限制。

Claims (10)

1.一种基于智能音箱的虚拟人物自定义实现方法,其特征在于,该方法包括:
通过智能音箱设置虚拟人物的人物形象;
所述虚拟人物的人物形象通过智能音箱的显示单元进行显示;
其中,所述人物形象包括头部形象,服装形象,体型形象,人物场景形象等至少一种。
2.根据权利要求1所述的基于智能音箱的虚拟人物自定义实现方法,其特征在于,所述人物形象参数包括头部形象参数,服装形象参数,体型形象参数,人物形象场景参数等至少一种。
3.根据权利要求2所述的基于智能音箱的虚拟人物自定义实现方法,其特征在于,所述头部形象的设置方法包括:
建立所述虚拟人物头部形象的基本模型;
通过设置头部形象的头部形象参数对虚拟人物头部形象进行基本模型变换得到所述虚拟人物头部形象的变更模型;
通过所述智能音箱显示虚拟人物头部形象的变更模型。
4.根据权利要求3所述的基于智能音箱的虚拟人物自定义实现方法,其特征在于,所述头部形象参数包括脸型参数,五官参数,肤色参数的至少一种。
5.根据权利要求2所述的基于智能音箱的虚拟人物自定义实现方法,其特征在于,所述服装形象的设置方法包括:
获取虚拟人物的体型模型数据;
通过设置虚拟人物的服装形象参数结合体型模型数据得到变更后的虚拟人物服装形象;
通过智能音箱显示变更后的虚拟人物服装形象。
6.根据权利要求5所述的基于智能音箱的虚拟人物自定义实现方法,其特征在于,所述服装形象参数包括虚拟人物服装造型参数,服装颜色参数的至少一种。
7.根据权利要求2所述的基于智能音箱的虚拟人物自定义实现方法,其特征在于,所述体型形象的设置方法包括:
获取现有虚拟人物的第一体型形象的第一体型形象参数和第一服装形象参数;通过设置第二体型形象参数改变现有虚拟人物的第一体型形象参数;
通过改变后的虚拟人物的第二体型形象参数调整第一服装形象参数,将第一服装形象参数改变为匹配虚拟人物的第二体型形象参数的第二服装形象参数;通过第二体型形象参数和第二服装形象参数获得第二体型形象;
通过智能音箱显示所述虚拟人物的第二体型形象。
8.根据权利要求7所述的基于智能音箱的虚拟人物自定义实现方法,其特征在于,所述体型形象参数包括人物性别参数,人物年龄参数,人物身高参数,人物胖瘦参数,人种参数等至少一种。
9.根据权利要求7所述的基于智能音箱的虚拟人物自定义实现方法,其特征在于,根据体型形象参数进行所述虚拟人物的服装形象参数对应服装尺寸大小的实时调整。
10.根据权利要求2所述的基于智能音箱的虚拟人物自定义实现方法,其特征在于,所述人物场景形象设置方法包括:根据不同的人物场景设置模式设置人物场景形象。
CN201910305562.XA 2019-04-16 2019-04-16 一种基于智能音箱的虚拟人物自定义实现方法 Pending CN110211236A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910305562.XA CN110211236A (zh) 2019-04-16 2019-04-16 一种基于智能音箱的虚拟人物自定义实现方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910305562.XA CN110211236A (zh) 2019-04-16 2019-04-16 一种基于智能音箱的虚拟人物自定义实现方法

Publications (1)

Publication Number Publication Date
CN110211236A true CN110211236A (zh) 2019-09-06

Family

ID=67786100

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910305562.XA Pending CN110211236A (zh) 2019-04-16 2019-04-16 一种基于智能音箱的虚拟人物自定义实现方法

Country Status (1)

Country Link
CN (1) CN110211236A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110675491A (zh) * 2019-09-29 2020-01-10 深圳欧博思智能科技有限公司 一种基于虚拟人物形象设定的实现方法及智能终端
CN110868654A (zh) * 2019-09-29 2020-03-06 深圳欧博思智能科技有限公司 一种带有虚拟人物的智能设备
CN112799575A (zh) * 2021-01-20 2021-05-14 深圳市金大智能创新科技有限公司 一种基于智能音箱的语音交互方法、智能音箱及智能终端

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017029279A2 (en) * 2015-08-17 2017-02-23 Lego A/S Method of creating a virtual game environment and interactive game system employing the method
CN106502388A (zh) * 2016-09-26 2017-03-15 惠州Tcl移动通信有限公司 一种互动式运动方法及头戴式智能设备
CN107213642A (zh) * 2017-05-12 2017-09-29 北京小米移动软件有限公司 虚拟人物外观改变方法及装置
CN108345385A (zh) * 2018-02-08 2018-07-31 必革发明(深圳)科技有限公司 虚拟陪跑人物建立与交互的方法及装置
CN109358923A (zh) * 2018-08-29 2019-02-19 华为技术有限公司 一种虚拟机器人形象的呈现方法及装置
CN109472851A (zh) * 2017-09-06 2019-03-15 蒋铁骐 3d人体虚拟形象的构成方法及使用

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017029279A2 (en) * 2015-08-17 2017-02-23 Lego A/S Method of creating a virtual game environment and interactive game system employing the method
CN106502388A (zh) * 2016-09-26 2017-03-15 惠州Tcl移动通信有限公司 一种互动式运动方法及头戴式智能设备
CN107213642A (zh) * 2017-05-12 2017-09-29 北京小米移动软件有限公司 虚拟人物外观改变方法及装置
CN109472851A (zh) * 2017-09-06 2019-03-15 蒋铁骐 3d人体虚拟形象的构成方法及使用
CN108345385A (zh) * 2018-02-08 2018-07-31 必革发明(深圳)科技有限公司 虚拟陪跑人物建立与交互的方法及装置
CN109358923A (zh) * 2018-08-29 2019-02-19 华为技术有限公司 一种虚拟机器人形象的呈现方法及装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110675491A (zh) * 2019-09-29 2020-01-10 深圳欧博思智能科技有限公司 一种基于虚拟人物形象设定的实现方法及智能终端
CN110868654A (zh) * 2019-09-29 2020-03-06 深圳欧博思智能科技有限公司 一种带有虚拟人物的智能设备
CN112799575A (zh) * 2021-01-20 2021-05-14 深圳市金大智能创新科技有限公司 一种基于智能音箱的语音交互方法、智能音箱及智能终端

Similar Documents

Publication Publication Date Title
Wu et al. Multimodal large language models: A survey
CN105551071B (zh) 一种文本语音驱动的人脸动画生成方法及***
CN104985599B (zh) 基于人工智能的智能机器人控制方法、***及智能机器人
CN110211236A (zh) 一种基于智能音箱的虚拟人物自定义实现方法
CN106454481B (zh) 一种移动终端直播互动的方法及装置
CN107507612A (zh) 一种声纹识别方法及装置
CN109844854A (zh) 单词流注释
CN110413841A (zh) 多态交互方法、装置、***、电子设备及存储介质
Verma et al. Gesture recognition using kinect for sign language translation
CN108985257A (zh) 用于生成信息的方法和装置
EP4154093B1 (en) Speech-driven gesture synthesis
CN108942919A (zh) 一种基于虚拟人的交互方法及***
Alameda-Pineda et al. RAVEL: An annotated corpus for training robots with audiovisual abilities
CN111383642B (zh) 基于神经网络的语音应答方法、存储介质以终端设备
CN108681390A (zh) 信息交互方法和装置、存储介质及电子装置
CN109409255A (zh) 一种手语场景生成方法及装置
CN115049016B (zh) 基于情绪识别的模型驱动方法及设备
CN110210449A (zh) 一种用于虚拟现实交友的人脸识别***及方法
CN108052250A (zh) 基于多模态交互的虚拟偶像演绎数据处理方法及***
CN109032328A (zh) 一种基于虚拟人的交互方法及***
CN110298326A (zh) 一种图像处理方法及装置、存储介质与终端
CN108388889A (zh) 用于分析人脸图像的方法和装置
CN109343695A (zh) 基于虚拟人行为标准的交互方法及***
Zlatintsi et al. Multimodal signal processing and learning aspects of human-robot interaction for an assistive bathing robot
CN108614987A (zh) 数据处理的方法、装置和机器人

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB03 Change of inventor or designer information

Inventor after: Wang Maolin

Inventor after: Zhang Bin

Inventor before: Chen Liang

Inventor before: Zhang Bin

Inventor before: Liang Jiahao

CB03 Change of inventor or designer information
RJ01 Rejection of invention patent application after publication

Application publication date: 20190906

RJ01 Rejection of invention patent application after publication