CN110362204A - 信息提示方法、装置、存储介质及增强现实设备 - Google Patents
信息提示方法、装置、存储介质及增强现实设备 Download PDFInfo
- Publication number
- CN110362204A CN110362204A CN201910625843.3A CN201910625843A CN110362204A CN 110362204 A CN110362204 A CN 110362204A CN 201910625843 A CN201910625843 A CN 201910625843A CN 110362204 A CN110362204 A CN 110362204A
- Authority
- CN
- China
- Prior art keywords
- text information
- information
- target
- voice signal
- song
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000003190 augmentative effect Effects 0.000 title claims abstract description 76
- 238000000034 method Methods 0.000 title claims abstract description 44
- 238000004590 computer program Methods 0.000 claims description 6
- 239000000284 extract Substances 0.000 claims description 4
- 238000010586 diagram Methods 0.000 description 19
- 238000012545 processing Methods 0.000 description 16
- 230000003287 optical effect Effects 0.000 description 13
- 239000011521 glass Substances 0.000 description 10
- 230000002093 peripheral effect Effects 0.000 description 9
- 238000004891 communication Methods 0.000 description 5
- 210000001747 pupil Anatomy 0.000 description 5
- 230000001755 vocal effect Effects 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 4
- 230000008859 change Effects 0.000 description 4
- 230000006870 function Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000006399 behavior Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000007499 fusion processing Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000008092 positive effect Effects 0.000 description 1
- 238000011946 reduction process Methods 0.000 description 1
- 239000011347 resin Substances 0.000 description 1
- 229920005989 resin Polymers 0.000 description 1
- 230000029058 respiratory gaseous exchange Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/60—Information retrieval; Database structures therefor; File system structures therefor of audio data
- G06F16/68—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/683—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
- G06F16/685—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using automatically derived transcript of audio data, e.g. lyrics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/26—Speech to text systems
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
- G10L21/0208—Noise filtering
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- General Engineering & Computer Science (AREA)
- Acoustics & Sound (AREA)
- Computational Linguistics (AREA)
- General Physics & Mathematics (AREA)
- Library & Information Science (AREA)
- Artificial Intelligence (AREA)
- General Health & Medical Sciences (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Quality & Reliability (AREA)
- Signal Processing (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本申请实施例公开了一种信息提示方法、装置、存储介质及增强现实设备，其中，方法应用于增强现实设备，包括：获取目标对象的语音信号；对所述语音信号进行识别和匹配，确定与所述语音信号相匹配的目标曲目；将所述目标曲目的第一文本信息进行增强现实显示。本申请实施例通过采用上述技术方案，可在用户双手被占用或者未携带移动终端等情况下，直观的看到提示的歌词，解决了唱歌忘词的问题，提高了用户的唱歌积极性。
Description
技术领域
本申请实施例涉及增强现实设备技术领域，尤其涉及一种信息提示方法、装置、存储介质及增强现实设备。
背景技术
目前，诸如手机或者平板电脑等的移动终端一般均配置有音频播放工具，音频播放工具可以搜索歌词，服务器将搜索到的一个版本的歌词推荐给音频播放工具，音频播放工具在播放该歌曲时，将显示该服务器推荐版本的歌词。
但是，当用户处于行走状态、双手占用无法使用移动终端或者移动终端未携带时，用户无法搜索歌词，或者无法将歌词进行显示并提示。
发明内容
本申请实施例提供一种信息提示方法、装置、存储介质及增强现实设备，提高了歌词的提示便利性。
第一方面，本申请实施例提供了一种信息提示方法，应用于增强现实设备，包括：
获取目标对象的语音信号；
对所述语音信号进行识别和匹配，确定与所述语音信号相匹配的目标曲目；
将所述目标曲目的第一文本信息进行增强现实显示。
第二方面，本申请实施例提供了一种信息提示装置，包括：
信号获取模块，用于获取目标对象的语音信号；
目标曲目确定模块，用于对所述语音信号进行识别和匹配，确定与所述语音信号相匹配的目标曲目；
信息显示模块，用于将所述目标曲目的第一文本信息进行增强现实显示。
第三方面，本申请实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本申请实施例所述的信息提示方法。
第四方面，本申请实施例提供了一种增强现实设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如本申请实施例所述的信息提示方法。
本申请实施例中提供的技术方案，采集用户语音信号，当用户语音信号与目标曲目的文本信息相匹配时，将目标曲目的文本信息通过增强现实的方式显示在用户的视线范围内，实现对用户进行信息提示。通过采用上述方案，使得用户在双手被占用或者未携带移动终端等情况下，直观的看到提示的歌词，解决了唱歌忘词的问题，提高了用户的唱歌积极性。
附图说明
图1A是本申请实施例提供的一种增强现实眼镜101的结构示意图；
图1B是本申请实施例提供的增强现实眼镜的侧边框及内部部件剖视结构示意图；
图2为本申请实施例提供的一种信息提示方法流程示意图；
图3为本申请实施例提供的另一种信息提示方法的流程示意图；
图4为本申请实施例提供的另一种信息提示方法的流程示意图；
图5为本申请实施例提供的一种人眼中形成的增强现实图像的示意图；
图6为本申请实施例提供的一种信息提示方法的流程示意图；
图7为本申请实施例提供的另一种人眼中形成的增强现实图像的示意图；
图8为本申请实施例提供的一种增强现实设备的结构示意图；
图9为本申请实施例提供的一种增强现实设备的结构示意图。
具体实施方式
下面结合附图并通过具体实施方式来进一步说明本申请的技术方案。可以理解的是，此处所描述的具体实施例仅仅用于解释本申请，而非对本申请的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本申请相关的部分而非全部结构。
在更加详细地讨论示例性实施例之前应当提到的是，一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各步骤描述成顺序的处理，但是其中的许多步骤可以被并行地、并发地或者同时实施。此外，各步骤的顺序可以被重新安排。当其操作完成时所述处理可以被终止，但是还可以具有未包括在附图中的附加步骤。所述处理可以对应于方法、函数、规程、子例程、子程序等等。
本申请提供的增强现实设备包括但不限于增强现实眼镜、具有增强现实功能的手机、平板电脑等电子设备。以头戴增强现实设备(增强现实眼镜)为例，示例性的，参见图1A，图1A是本申请实施例提供的一种增强现实眼镜101的结构示意图，其中，增强现实眼镜101包括镜架104、左眼镜片、右眼镜片，分别设置在左眼镜片、右眼镜片上的左眼衍射整合器102、右眼衍射整合器103、处理单元105、现实信息采集器107、操作部件106，其中，左眼衍射整合器102和右眼衍射整合器103均为具有表面浮雕衍射光栅的紫外光固话/热固化树脂层构成，用于将虚拟图像反射入人眼。增强现实眼镜101还包括微显示器，微显示器可以是设置在镜腿上，用于输出虚拟图像，可以是与处理单元105电连接。现实信息采集器107、操作部件106分别与处理单元105电连接连接，其中，操作部件106可用于接收用户对增强现实眼镜101的输入操作，并将输入操作发送至处理单元105，操作部件106可以是由一个或多个按键组成。处理单元105用于接受操作部件106传输的操作指令，还用于控制现实信息采集器107获取现实信息，处理单元105还可以是通过无线传输等方式与其他设备108无线连接，其他设备108可以是但不限于手机、平板电脑等的移动设备，还可以是计算机、服务器等设备。
示例性的，参见图1B，图1B是本申请实施例提供的增强现实眼镜的侧边框及内部部件剖视结构示意图。图1B中，虚线表示由微显示器109发射的虚拟光信号，透过镜片的实线为现实光信号，虚拟光信号和现实光信号同时摄入目标瞳孔，在目标瞳孔中形成增强现实图像。其中，现实光信号为携带现实物体信息的光信息后，虚拟光信号为电信号转换得到的，携带虚拟图像信息的光信号，目标瞳孔可以是佩戴或者使用增强现实设备的用户的瞳孔。
可选的，增强现实眼镜还可以包括语音采集器和语音播放器，语音采集器与处理单元105电连接，用于采集语音信号，发送至处理单元105进行语音信号处理；语音播放器与处理单元105电连接，用于播放语音信号。语音采集器和语音播放器可以是设置在增强现实眼镜的镜框或者镜腿上，示例性的，语音播放器可以是设置在镜腿末端，靠近耳朵处，语音采集器可以是设置在靠近嘴部的镜框上，便于采集清晰的语音信息。
图2为本申请实施例提供的一种信息提示方法的流程示意图，该方法可以由信息提示装置执行，其中该装置可由软件和/或硬件实现，一般可集成在增强现实设备中。如图2所示，该方法包括：
步骤201、获取目标对象的语音信号。
步骤202、对所述语音信号进行识别和匹配，确定与所述语音信号相匹配的目标曲目。
步骤203、将所述目标曲目的第一文本信息进行增强现实显示。
本实施例中，通过增强现实设备的语音采集器采集目标对象的语音信号。可选的，获取目标对象的语音信号包括：基于增强现实设备的语音采集器采集环境中的初始语音信号，基于目标对象的声纹特征判断初始语音信号中是否存在目标对象的语音信号，若存在，则根据目标对象的声纹特征在初始语音信号中提取目标对象的语音信号。具体的，可以是基于目标对象的声纹特征与采集的初始语音信号的声纹信息进行匹配，当匹配成功时，确定存在目标对象的语音信号，提取初始语音信号中与目标对象的声纹特征相匹配的语音信号，得到目标对象的语音信号。示例性的，在基于增强现实设备的语音采集器采集环境中的初始语音信号之后，对采集的初始语音信号进行降噪处理，减少初始语音信号中的环境噪声，降低环境噪声对声纹特征匹配的影响。
识别目标对象的语音信号，确定目标对象是否在唱歌，若是，则确定语音信号相匹配的目标曲目，若否，则继续采集目标对象的语音信号。其中，可以是基于语音信号的声调变化确定目标对象是否在唱歌，具体的，可以是采集目标对象历史的正常语音信号，提取语调特征，生成目标对象的正常语调，确定目标对象的语音信号的语调信息，将该语调信息与正常语调比对，当相似度大于或等于预设值时，确定目标对象处于正常说话状态，当相似度小于预设值时，确定目标对象处于唱歌状态。
可选的，若在获取目标对象的语音信号之前或之后，接收到用户输入的信息提示指令时，直接执行步骤202，确定语音信号对应的目标曲目，无需确定目标对象是否在唱歌。其中，信息提示指令可以是用户基于操作部件106输入，示例性的，当检测到操作部件106中的预设按键被按压时，确定接收到信息提示指令，预设按键可以是预设的一个按键或者两个或两个以上按键的组合。
可选的，对所述语音信号进行识别和匹配，确定与所述语音信号相匹配的目标曲目，包括：将所述语音信号转换为第二文本信息；将所述第二文本信息在预设曲目库中进行匹配，得到至少一个候选曲目，其中，所述预设曲目库中包括至少一个曲目和所述曲目的第一文本信息；根据所述至少一个候选曲目确定所述目标曲目。预设曲目库中存储有多个曲目和每个曲目的第一文本信息，其中，第一文本信息为歌词文本信息。当第二文本信息与预设曲目库中各曲目的第一文本信息进行比对，确定匹配相似度，当匹配相似度大于或等于预设相似值时，确定匹配成功，将匹配成功的曲目确定为候选曲目，其中，预设相似值可以是90％或者95％。候选曲目可以是多个，当候选曲目为两个或两个以上时，可以是将匹配相似度最大的候选曲目确定为目标曲目。当候选曲目的匹配相似度相同时，可随机选择任一候选曲目确定为目标曲目。需要说明的是，目标曲目可以但不限于歌曲、戏曲、歌谣等。
可选的，当预设曲目库中无法得到与语音信号相匹配的目标曲目时，可以是基于无线通信方式(例如蓝牙或者近距离无线通信技术)将语音信号发送至与增强现实设备关联的移动终端，控制移动终端对语音信号进行网络匹配，确定与语音信号相匹配的目标曲目，并接收移动终端反馈的目标曲目的第一文本信息。相应的，基于移动终端发送的目标曲目和对应的第一文本信息更新预设曲目库。
将所述目标曲目的第一文本信息进行增强现实显示，包括：基于所述第一文本信息生成虚拟图像；将所述虚拟图像进行增强现实显示。本实施例中，可以是将第一文本信息现实在预设位置，将第一文本信息添加在虚拟图像的预设位置，将虚拟图像转换为虚拟光信号，将虚拟光信号射入目标对象的瞳孔，虚拟光信号和透过透镜射入的现实光信号在人眼中形成增强现实图像，使得目标对象在视线范围内看到第一文本信息。其中预设位置可以是视线习惯停留区域，视线习惯停留区域可以是根据用户视线停留时长确定，例如，视线习惯停留区域可以是视线范围的中心区域，便于用户快速方便的阅读信息。
在上述实施例的基础上，预设位置可以是增强现实图像中的平坦区域，平坦区域的各像素点的像素值相同或在预设范围内微小变化，包括少量或者不包括图像内容和纹理，示例性的，不包含文字的盒子表面、未放置东西的桌子表面、墙面以及没有图案的衣服表面等均属于平坦区域，将增强现实图像中的平坦区域确定为预设位置，相应的，在当前虚拟图像与该平坦区域对应的位置添加第一文本信息，生成新的虚拟图像。本实施例中，通过将第一文本信息显示在增强现实图像中的平坦区域，避免第一文本信息显示时对增强现实图像内容的遮挡，同时提高第一文本信息显示的清晰度，便于目标对象对第一文本信息的浏览。
本实施例中，增强现实图像可以是通过采集摄像头现实图像，并确定当前虚拟图像，将现实图像与当前虚拟图像进行融合得到增强现实图像。
在上述实施例的基础上，还可以将现实图像中的平坦区域确定为预设区域，减少现实图像与当前虚拟图像的融合过程。
在一些实施例中，采集目标对象的语音信号，根据目标对象的语音信号确定目标对象唱歌时，通过语音信号的识别和匹配确定语音信号对应的目标曲目，将目标曲目的第一文本信息(歌词文本信息)通过增强现实的方式进行提示。
本申请实施例中提供的信息提示方法，采集用户语音信号，当用户语音信号与目标曲目的文本信息相匹配时，将目标曲目的文本信息通过增强现实的方式显示在用户的视线范围内，实现对用户进行信息提示。通过采用上述方案，使得用户在双手被占用或者未携带移动终端等情况下，直观的看到提示的歌词，解决了唱歌忘词的问题，提高了用户的唱歌积极性。
图3为本申请实施例提供的另一种信息提示方法的流程示意图，本实施例是上述实施例的一个可选方案，相应的，如图3所示，本实施例的方法包括如下步骤：
步骤301、获取目标对象的语音信号，将所述语音信号转换为第二文本信息。
步骤302、将所述第二文本信息与所述各曲目的第一文本信息进行匹配，确定相似度，将相似度大于预设值的曲目确定为候选曲目。
步骤303、提取所述语音信号的音调信息，将所述音调信息与所述至少一个候选曲目的音调信息进行匹配，将匹配成功的候选曲目确定为所述目标曲目。
步骤304、将所述目标曲目的第一文本信息进行增强现实显示。
其中，由于同一曲目存在多个版本，各版本的第一文本信息相同或相似。当存在上述情况时，通过文本匹配后可得到两个或以上的候选曲目。本实施例中，通过音调信息匹配在多个候选曲目中确定目标曲目，提高曲目匹配的准确性。具体的，对语音信号进行音调匹配可以是在候选曲目的第一文本信息中确定与语音信号相匹配的目标文本信息，其中，目标文本信息为候选曲目的第一文本信息与语音信号的第二文本信息匹配度最高的文本信息，示例性的，目标文本信息可以是第一文本信息中的连续的一行或多行歌词；将语音信号的音调信息与目标文本信息的音调信息进行匹配，确定匹配值；将匹配值最高的候选曲目确定为目标曲目。
需要说明的是，当步骤302确定的候选曲目数量为1时，将该候选曲目确定为目标曲目，可省略执行步骤303，直接执行步骤304。
本申请实施例中提供的信息提示方法，在文本信息匹配的基础上，基于音调信息在多个候选曲目中确定目标曲目，以提高目标曲目的确定精度，向用户显示准确的文本信息。
图4为本申请实施例提供的另一种信息提示方法的流程示意图，本实施例是上述实施例的一个可选方案，相应的，如图4所示，本实施例的方法包括如下步骤：
步骤401、获取目标对象的语音信号，将所述语音信号转换为第二文本信息。
步骤402、将所述第二文本信息与所述各曲目的第一文本信息进行匹配，确定相似度，将相似度大于预设值的曲目确定为候选曲目。
步骤403、提取所述语音信号的音调信息，将所述音调信息与所述至少一个候选曲目的音调信息进行匹配，将匹配成功的候选曲目确定为所述目标曲目。
步骤404、确定所述目标曲目的第一文本信息中与所述第二文本信息相匹配的目标文本信息。
步骤405、调节所述目标文本信息的颜色和/或尺寸，其中，调节后的目标文本信息相对于所述第一文本信息。
步骤406、基于调节后的第一文本信息生成虚拟图像，将所述虚拟图像进行增强现实显示。
本实施例中，将目标曲目的第一文本信息进行显示过程中，将与第二文本信息相匹配的目标文本信息进行突出显示，便于用户直观获知语音信号对应的文本信息，示例性的，语音信号对应的目标文本信息为“小燕子穿花衣”，则将目标曲目中的“小燕子穿花衣”进行突出显示，以提示用户，便于用户准确获知后续的提示信息。
本实施例中，对目标文本信息进行突出显示可以是改变目标文本信息的字体颜色，例如，目标文本信息的颜色可以是与第一文本信息中其他信息的颜色不相同，例如，第一文本信息中其他信息的字体颜色可以是黑色，目标文本信息的字体颜色可以是黄色或红色等，需要说明的是，目标文本信息的字体颜色与其他文本信息的字体颜色进行区分即可，不做具体限定。可选的，在确定目标文本信息的字体颜色还可以是根据目标文本信息所在位置的背景颜色确定，使得目标文本信息的字体在目标文本信息所在位置的背景中突出显示，示例性的，若目标文本信息所在位置的背景颜色的黑色，则目标文本信息的字体颜色可以是白色等。
本实施例中，对目标文本信息进行突出显示可以是改变目标文本信息的字体尺寸，例如，将目标文本信息设置为预设尺寸，其中，目标文本信息的文本尺寸大于第一文本信息中其他信息的字体尺寸，便于用户直观的获知语音信号对应的文本信息。
在上述实施例的基础上，可以是同时调节目标文本信息的字体颜色和尺寸，以使的目标文本信息突出显示在用户的视线范围内。示例性的，参见图5，图5是本申请实施例提供的一种人眼中形成的增强现实图像的示意图，图5中包括现实物体反射光线进行人眼形成的人像，以及虚拟图像的光线射入人眼形成的第一文本信息，根据图5可知，当前的语音信号对应的文本信息为“小燕子穿花衣”，清晰直观。
本申请实施例中提供的信息提示方法，在第一文本信息的显示过程中，将语音信号对应的目标文本信息在第一文本信息中进行突出显示，用于用户直观的确定语音信号对应的文本信息，提高了提示的准确性和直观性。
图6为本申请实施例提供的另一种信息提示的流程示意图，本实施例是上述实施例的一个可选方案，相应的，如图6所示，本实施例的方法包括如下步骤：
步骤601、获取目标对象的语音信号，将所述语音信号转换为第二文本信息。
步骤602、将所述第二文本信息与所述各曲目的第一文本信息进行匹配，确定相似度，将相似度大于预设值的曲目确定为候选曲目。
步骤603、提取所述语音信号的音调信息，将所述音调信息与所述至少一个候选曲目的音调信息进行匹配，将匹配成功的候选曲目确定为所述目标曲目。
步骤604、确定所述目标曲目的第一文本信息中包含所述第二文本信息的局部文本信息，其中，所述局部文本信息包括与所述第二文本信息相匹配的目标文本信息和所述目标文本信息后的N行文本信息，所述N为大于或等于1的正整数。
步骤605、根据所述局部文本信息生成虚拟图像，将所述虚拟图像进行增强现实显示。
本实施例中，由于第一文本信息一般总文字量较大，为了避免第一文本信息全部展示时对现实物体的遮挡，将第一文本信息中与语音信号对应的局部文本信息进行显示，并根据实时采集的语音信号对显示的局部文本信息进行更新，在不影响用户视线的基础上，对用户进行目标曲目的文本信息提示。
其中，进行显示的局部文本信息包括第二文本信息相匹配的目标文本信息和所述目标文本信息后的N行文本信息，示例性的，当第二文本信息对应的目标文本信息为“小燕子穿花衣”时，局部文本信息包括该目标文本信息以及目标文本信息的后一行文本信息，例如“小燕子穿花衣，年年春天来这里”。可选的，通过调节目标文本信息的字体颜色或者尺寸，使得目标文本信息突出显示，便于用户观看。
需要说明的是，局部文本信息中包括的目标文本信息后的N行文本信息，N可以是根据显示信息位置的面积确定，当显示信息位置的面积越大，N可以越大，反之，当当显示信息位置的面积越小，N越小，其中，N的最小值为1。
示例性的，参见图7，图7为本申请实施例提供的另一种人眼中形成的增强现实图像的示意图，图7中包括现实物体反射光线进行人眼形成的人像，以及虚拟图像的光线射入人眼形成的局部文本信息，根据图7可知，当前的语音信号对应的文本信息为“小燕子穿花衣”，清晰直观。
本申请实施例中提供的信息提示方法，在第一文本信息的显示过程中，截取第一文本信息中与语音信号相匹配的局部文本信息进行增强现实显示，避免第一文本信息中文字量过多时，对用户视线的遮挡，将语音信号对应的目标文本信息及目标文本信息后的N行文本信息进行显示，便于用户直观获知当前哼唱的歌词以及以一句歌词，对用户进行信息提示。
图8为本申请实施例提供的一种信息提示装置的结构框图，该装置可由软件和/或硬件实现，一般集成在增强现实设备中，可通过执行增强现实设备的信息提示方法来歌词进行提示。如图8所示，该装置包括：信号获取模块801、目标曲目确定模块802和信息显示模块803。
信号获取模块801，用于获取目标对象的语音信号；
目标曲目确定模块802，用于对所述语音信号进行识别和匹配，确定与所述语音信号相匹配的目标曲目；
信息显示模块803，用于将所述目标曲目的第一文本信息进行增强现实显示。
本申请实施例中提供的信息提示装置，采集用户语音信号，当用户语音信号与目标曲目的文本信息相匹配时，将目标曲目的文本信息通过增强现实的方式显示在用户的视线范围内，实现对用户进行信息提示。通过采用上述方案，使得用户在双手被占用或者未携带移动终端等情况下，直观的看到提示的歌词，解决了唱歌忘词的问题，提高了用户的唱歌积极性。
在上述实施例的基础上，目标曲目确定模块802包括：
信号转换单元，用于将所述语音信号转换为第二文本信息；
候选曲目确定单元，用于将所述第二文本信息在预设曲目库中进行匹配，得到至少一个候选曲目，其中，所述预设曲目库中包括至少一个曲目和所述曲目的第一文本信息；
目标曲目确定单元，用于根据所述至少一个候选曲目确定所述目标曲目。
在上述实施例的基础上，候选曲目确定单元用于：
将所述第二文本信息与所述各曲目的第一文本信息进行匹配，确定相似度；
将相似度大于预设值的曲目确定为候选曲目。
在上述实施例的基础上，目标曲目确定单元用于：
提取所述语音信号的音调信息；
将所述音调信息与所述至少一个候选曲目的音调信息进行匹配，将匹配成功的候选曲目确定为所述目标曲目。
在上述实施例的基础上，信息显示模块803包括：
虚拟图像生成单元，用于基于所述第一文本信息生成虚拟图像；
信息显示单元，用于将所述虚拟图像进行增强现实显示。
在上述实施例的基础上，虚拟图像生成单元用于：
确定所述第一文本信息中与所述第二文本信息相匹配的目标文本信息；
调节所述目标文本信息的颜色和/或尺寸，其中，调节后的目标文本信息相对于所述第一文本信息；
基于调节后的第一文本信息生成虚拟图像。
在上述实施例的基础上，虚拟图像生成单元还用于：
确定所述第一文本信息中包含所述第二文本信息的局部文本信息，其中，所述局部文本信息包括与所述第二文本信息相匹配的目标文本信息和所述目标文本信息后的N行文本信息，所述N为大于或等于1的正整数；
根据所述局部文本信息生成虚拟图像。
本申请实施例还提供一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行信息提示方法，该方法包括：
获取目标对象的语音信号；
对所述语音信号进行识别和匹配，确定与所述语音信号相匹配的目标曲目；
将所述目标曲目的第一文本信息进行增强现实显示。
存储介质——任何的各种类型的存储器设备或存储设备。术语“存储介质”旨在包括：安装介质，例如CD-ROM、软盘或磁带装置；计算机***存储器或随机存取存储器，诸如DRAM、DDRRAM、SRAM、EDORAM，兰巴斯(Rambus)RAM等；非易失性存储器，诸如闪存、磁介质(例如硬盘或光存储)；寄存器或其它相似类型的存储器元件等。存储介质可以还包括其它类型的存储器或其组合。另外，存储介质可以位于程序在其中被执行的第一计算机***中，或者可以位于不同的第二计算机***中，第二计算机***通过网络(诸如因特网)连接到第一计算机***。第二计算机***可以提供程序指令给第一计算机用于执行。术语“存储介质”可以包括可以驻留在不同位置中(例如在通过网络连接的不同计算机***中)的两个或更多存储介质。存储介质可以存储可由一个或多个处理器执行的程序指令(例如具体实现为计算机程序)。
当然，本申请实施例所提供的一种包含计算机可执行指令的存储介质，其计算机可执行指令不限于如上所述的信息提示操作，还可以执行本申请任意实施例所提供的信息提示方法中的相关操作。
图9为本申请实施例提供的一种增强现实设备的结构示意图。该增强现实设备可以包括：壳体(图中未示出)、存储器901、中央处理器(central processing unit，CPU)902(又称处理器，以下简称CPU)、电路板(图中未示出)和电源电路(图中未示出)。所述电路板安置在所述壳体围成的空间内部；所述CPU902和所述存储器901设置在所述电路板上；所述电源电路，用于为所述增强现实设备的各个电路或器件供电；所述存储器901，用于存储可执行程序代码；所述CPU902通过读取所述存储器901中存储的可执行程序代码来运行与所述可执行程序代码对应的计算机程序，以实现以下步骤：
获取目标对象的语音信号；
对所述语音信号进行识别和匹配，确定与所述语音信号相匹配的目标曲目；
将所述目标曲目的第一文本信息进行增强现实显示。
所述增强现实设备还包括：外设接口903、RF(Radio Frequency，射频)电路905、音频电路906、扬声器911、电源管理芯片908、输入/输出(I/O)子***909、其他输入/控制设备910、触摸屏912、其他输入/控制设备910以及外部端口904，这些部件通过一个或多个通信总线或信号线907来通信。
应该理解的是，图示增强现实设备900仅仅是增强现实设备的一个范例，并且增强现实设备900可以具有比图中所示出的更多的或者更少的部件，可以组合两个或更多的部件，或者可以具有不同的部件配置。图中所示出的各种部件可以在包括一个或多个信号处理和/或专用集成电路在内的硬件、软件、或硬件和软件的组合中实现。
下面就本实施例提供的用于对信息提示操作的增强现实设备进行详细的描述，该增强现实设备以手机为例。
存储器901，所述存储器901可以被CPU902、外设接口903等访问，所述存储器901可以包括高速随机存取存储器，还可以包括非易失性存储器，例如一个或多个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
外设接口903，所述外设接口903可以将设备的输入和输出外设连接到CPU902和存储器901。
I/O子***909，所述I/O子***909可以将设备上的输入输出外设，例如触摸屏912和其他输入/控制设备910，连接到外设接口903。I/O子***909可以包括显示控制器9091和用于控制其他输入/控制设备910的一个或多个输入控制器9092。其中，一个或多个输入控制器9092从其他输入/控制设备910接收电信号或者向其他输入/控制设备910发送电信号，其他输入/控制设备910可以包括物理按钮(按压按钮、摇臂按钮等)、拨号盘、滑动开关、操纵杆、点击滚轮。值得说明的是，输入控制器9092可以与以下任一个连接：键盘、红外端口、USB接口以及诸如鼠标的指示设备。
触摸屏912，所述触摸屏912是用户增强现实设备与用户之间的输入接口和输出接口，将可视输出显示给用户，可视输出可以包括图形、文本、图标、视频等。
I/O子***909中的显示控制器9091从触摸屏912接收电信号或者向触摸屏912发送电信号。触摸屏912检测触摸屏上的接触，显示控制器9091将检测到的接触转换为与显示在触摸屏912上的用户界面对象的交互，即实现人机交互，显示在触摸屏912上的用户界面对象可以是运行游戏的图标、联网到相应网络的图标等。值得说明的是，设备还可以包括光鼠，光鼠是不显示可视输出的触摸敏感表面，或者是由触摸屏形成的触摸敏感表面的延伸。
RF电路905，主要用于建立手机与无线网络(即网络侧)的通信，实现手机与无线网络的数据接收和发送。例如收发短信息、电子邮件等。具体地，RF电路905接收并发送RF信号，RF信号也称为电磁信号，RF电路905将电信号转换为电磁信号或将电磁信号转换为电信号，并且通过该电磁信号与通信网络以及其他设备进行通信。RF电路905可以包括用于执行这些功能的已知电路，其包括但不限于天线***、RF收发机、一个或多个放大器、调谐器、一个或多个振荡器、数字信号处理器、CODEC(COder-DECoder，编译码器)芯片组、用户标识模块(Subscriber Identity Module，SIM)等等。
音频电路906，主要用于从外设接口903接收音频数据，将该音频数据转换为电信号，并且将该电信号发送给扬声器911。
扬声器911，用于将手机通过RF电路905从无线网络接收的语音信号，还原为声音并向用户播放该声音。
电源管理芯片908，用于为CPU902、I/O子***及外设接口所连接的硬件进行供电及电源管理。
上述实施例中提供的信息提示装置、存储介质及增强现实设备可执行本申请任意实施例所提供的信息提示方法，具备执行该方法相应的功能模块和有益效果。未在上述实施例中详尽描述的技术细节，可参见本申请任意实施例所提供的信息提示方法。
注意，上述仅为本申请的较佳实施例及所运用技术原理。本领域技术人员会理解，本申请不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本申请的保护范围。因此，虽然通过以上实施例对本申请进行了较为详细的说明，但是本申请不仅仅限于以上实施例，在不脱离本申请构思的情况下，还可以包括更多其他等效实施例，而本申请的范围由所附的权利要求范围决定。
Claims (10)
1.一种信息提示方法，应用于增强现实设备，其特征在于，包括：
获取目标对象的语音信号；
对所述语音信号进行识别和匹配，确定与所述语音信号相匹配的目标曲目；
将所述目标曲目的第一文本信息进行增强现实显示。
2.根据权利要求1所述的方法，其特征在于，对所述语音信号进行识别和匹配，确定与所述语音信号相匹配的目标曲目，包括：
将所述语音信号转换为第二文本信息；
将所述第二文本信息在预设曲目库中进行匹配，得到至少一个候选曲目，其中，所述预设曲目库中包括至少一个曲目和所述曲目的第一文本信息；
根据所述至少一个候选曲目确定所述目标曲目。
3.根据权利要求2所述的方法，其特征在于，将所述第二文本信息在预设曲目库中进行匹配，得到至少一个候选曲目，包括：
将所述第二文本信息与所述各曲目的第一文本信息进行匹配，确定相似度；
将相似度大于预设值的曲目确定为候选曲目。
4.根据权利要求2所述的方法，其特征在于，根据所述至少一个候选曲目确定所述目标曲目，包括：
提取所述语音信号的音调信息；
将所述音调信息与所述至少一个候选曲目的音调信息进行匹配，将匹配成功的候选曲目确定为所述目标曲目。
5.根据权利要求1所述的方法，其特征在于，将所述目标曲目的第一文本信息进行增强现实显示，包括：
基于所述第一文本信息生成虚拟图像；
将所述虚拟图像进行增强现实显示。
6.根据权利要求5所述的方法，其特征在于，基于所述第一文本信息生成虚拟图像，包括：
确定所述第一文本信息中与所述第二文本信息相匹配的目标文本信息；
调节所述目标文本信息的颜色和/或尺寸，其中，调节后的目标文本信息相对于所述第一文本信息；
基于调节后的第一文本信息生成虚拟图像。
7.根据权利要求5所述的方法，其特征在于，基于所述第一文本信息生成虚拟图像，包括：
确定所述第一文本信息中包含所述第二文本信息的局部文本信息，其中，所述局部文本信息包括与所述第二文本信息相匹配的目标文本信息和所述目标文本信息后的N行文本信息，所述N为大于或等于1的正整数；
根据所述局部文本信息生成虚拟图像。
8.一种信息提示装置，其特征在于，包括：
信号获取模块，用于获取目标对象的语音信号；
目标曲目确定模块，用于对所述语音信号进行识别和匹配，确定与所述语音信号相匹配的目标曲目；
信息显示模块，用于将所述目标曲目的第一文本信息进行增强现实显示。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-7中任一所述的信息提示方法。
10.一种增强现实设备，其特征在于，包括存储器，处理器及存储在存储器上并可在处理器运行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1-7任一所述的信息提示方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910625843.3A CN110362204A (zh) | 2019-07-11 | 2019-07-11 | 信息提示方法、装置、存储介质及增强现实设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910625843.3A CN110362204A (zh) | 2019-07-11 | 2019-07-11 | 信息提示方法、装置、存储介质及增强现实设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110362204A true CN110362204A (zh) | 2019-10-22 |
Family
ID=68219146
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910625843.3A Pending CN110362204A (zh) | 2019-07-11 | 2019-07-11 | 信息提示方法、装置、存储介质及增强现实设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110362204A (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111385645A (zh) * | 2020-05-30 | 2020-07-07 | 耿奎 | 一种基于语音识别的视频文件截取方法 |
| WO2021143574A1 (zh) * | 2020-01-16 | 2021-07-22 | Oppo广东移动通信有限公司 | 增强现实眼镜、基于增强现实眼镜的ktv实现方法与介质 |
| CN113257246A (zh) * | 2021-04-19 | 2021-08-13 | 歌尔股份有限公司 | 提示方法、装置、设备、***及存储介质 |
| CN113889114A (zh) * | 2020-07-01 | 2022-01-04 | 阿里巴巴集团控股有限公司 | 数据处理方法、装置、电子设备及存储介质 |
| CN114690891A (zh) * | 2020-12-31 | 2022-07-01 | Oppo广东移动通信有限公司 | 一种内容显示方法、装置及计算机可读存储介质 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102348014A (zh) * | 2010-07-22 | 2012-02-08 | 三星电子株式会社 | 用于使用声音提供增强现实服务的装置和方法 |
| CN105096937A (zh) * | 2015-05-26 | 2015-11-25 | 努比亚技术有限公司 | 语音数据处理方法及终端 |
| CN105677711A (zh) * | 2015-12-28 | 2016-06-15 | 小米科技有限责任公司 | 信息显示方法和装置 |
| CN106023983A (zh) * | 2016-04-27 | 2016-10-12 | 广东欧珀移动通信有限公司 | 基于虚拟现实vr场景的多用户语音交互方法以及装置 |
| CN106205569A (zh) * | 2016-07-14 | 2016-12-07 | 谢剑 | 一种乐谱的展现方法 |
| US20180067717A1 (en) * | 2016-09-02 | 2018-03-08 | Allomind, Inc. | Voice-driven interface to control multi-layered content in a head mounted display |
| CN107948623A (zh) * | 2017-11-16 | 2018-04-20 | 湖南海翼电子商务股份有限公司 | 投影仪及其音乐关联信息显示方法 |
| CN108804070A (zh) * | 2018-05-30 | 2018-11-13 | Oppo广东移动通信有限公司 | 音乐播放方法、装置、存储介质及电子设备 |
| CN109241329A (zh) * | 2018-08-03 | 2019-01-18 | 百度在线网络技术（北京）有限公司 | 用于ar场景的音乐检索方法、装置、设备及存储介质 |
-
2019
- 2019-07-11 CN CN201910625843.3A patent/CN110362204A/zh active Pending
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102348014A (zh) * | 2010-07-22 | 2012-02-08 | 三星电子株式会社 | 用于使用声音提供增强现实服务的装置和方法 |
| CN105096937A (zh) * | 2015-05-26 | 2015-11-25 | 努比亚技术有限公司 | 语音数据处理方法及终端 |
| CN105677711A (zh) * | 2015-12-28 | 2016-06-15 | 小米科技有限责任公司 | 信息显示方法和装置 |
| CN106023983A (zh) * | 2016-04-27 | 2016-10-12 | 广东欧珀移动通信有限公司 | 基于虚拟现实vr场景的多用户语音交互方法以及装置 |
| CN106205569A (zh) * | 2016-07-14 | 2016-12-07 | 谢剑 | 一种乐谱的展现方法 |
| US20180067717A1 (en) * | 2016-09-02 | 2018-03-08 | Allomind, Inc. | Voice-driven interface to control multi-layered content in a head mounted display |
| CN107948623A (zh) * | 2017-11-16 | 2018-04-20 | 湖南海翼电子商务股份有限公司 | 投影仪及其音乐关联信息显示方法 |
| CN108804070A (zh) * | 2018-05-30 | 2018-11-13 | Oppo广东移动通信有限公司 | 音乐播放方法、装置、存储介质及电子设备 |
| CN109241329A (zh) * | 2018-08-03 | 2019-01-18 | 百度在线网络技术（北京）有限公司 | 用于ar场景的音乐检索方法、装置、设备及存储介质 |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2021143574A1 (zh) * | 2020-01-16 | 2021-07-22 | Oppo广东移动通信有限公司 | 增强现实眼镜、基于增强现实眼镜的ktv实现方法与介质 |
| CN111385645A (zh) * | 2020-05-30 | 2020-07-07 | 耿奎 | 一种基于语音识别的视频文件截取方法 |
| CN113889114A (zh) * | 2020-07-01 | 2022-01-04 | 阿里巴巴集团控股有限公司 | 数据处理方法、装置、电子设备及存储介质 |
| CN114690891A (zh) * | 2020-12-31 | 2022-07-01 | Oppo广东移动通信有限公司 | 一种内容显示方法、装置及计算机可读存储介质 |
| CN113257246A (zh) * | 2021-04-19 | 2021-08-13 | 歌尔股份有限公司 | 提示方法、装置、设备、***及存储介质 |
| CN113257246B (zh) * | 2021-04-19 | 2023-03-14 | 歌尔股份有限公司 | 提示方法、装置、设备、***及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110362204A (zh) | 信息提示方法、装置、存储介质及增强现实设备 | |
| CN110556127B (zh) | 语音识别结果的检测方法、装置、设备及介质 | |
| CN109348135A (zh) | 拍照方法、装置、存储介质及终端设备 | |
| CN109657236B (zh) | 引导信息获取方法、装置、电子装置及存储介质 | |
| CN108270794B (zh) | 内容发布方法、装置及可读介质 | |
| KR101987748B1 (ko) | 이모티콘 서비스 시스템 및 그의 이모티콘 서비스 제공 방법 | |
| CN112148404B (zh) | 头像生成方法、装置、设备以及存储介质 | |
| CN108829751A (zh) | 生成歌词、显示歌词的方法、装置、电子设备及存储介质 | |
| CN110412765A (zh) | 增强现实图像拍摄方法、装置、存储介质及增强现实设备 | |
| CN112632445A (zh) | 网页播放方法、装置、设备及存储介质 | |
| KR20190134975A (ko) | 인공지능 시스템의 앱들 또는 스킬들의 리스트를 표시하는 증강 현실 장치 및 동작 방법 | |
| US20230033535A1 (en) | Glasses, recommended cosmetics presentation control system, and recommended cosmetics presentation control method | |
| CN108920070A (zh) | 基于异形显示屏的分屏方法、装置、存储介质及移动终端 | |
| CN108922562A (zh) | 演唱评价结果显示方法及装置 | |
| CN107479694A (zh) | 一种视力保护方法、装置、存储介质及移动终端 | |
| CN110909184B (zh) | 多媒体资源显示方法、装置、设备及介质 | |
| CN113220590A (zh) | 语音交互应用的自动化测试方法、装置、设备及介质 | |
| CN110333785A (zh) | 信息处理方法、装置、存储介质及增强现实设备 | |
| KR102379753B1 (ko) | 발화를 이용하여 결제를 수행하는 전자 장치 및 방법 | |
| CN108491780A (zh) | 图像美化处理方法、装置、存储介质及终端设备 | |
| CN108763441B (zh) | 生成歌词、显示歌词的方法、装置、电子设备及存储介质 | |
| CN110349271A (zh) | 透镜颜色调节方法、装置、存储介质及增强现实设备 | |
| CN109189978A (zh) | 基于语音消息进行音频搜索的方法、装置及存储介质 | |
| CN111341317B (zh) | 唤醒音频数据的评价方法、装置、电子设备及介质 | |
| CN109561291A (zh) | 色温补偿方法、装置、存储介质及移动终端 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20191022 |