CN114550430A - 基于ar技术的文字提醒方法和装置 - Google Patents

基于ar技术的文字提醒方法和装置 Download PDF

Info

Publication number
CN114550430A
CN114550430A CN202210447780.9A CN202210447780A CN114550430A CN 114550430 A CN114550430 A CN 114550430A CN 202210447780 A CN202210447780 A CN 202210447780A CN 114550430 A CN114550430 A CN 114550430A
Authority
CN
China
Prior art keywords
information
keywords
keyword
audio information
text
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210447780.9A
Other languages
English (en)
Inventor
王心曌
吴斐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing LLvision Technology Co ltd
Original Assignee
Beijing LLvision Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing LLvision Technology Co ltd filed Critical Beijing LLvision Technology Co ltd
Priority to CN202210447780.9A priority Critical patent/CN114550430A/zh
Publication of CN114550430A publication Critical patent/CN114550430A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/18—Status alarms
    • G08B21/24—Reminder alarms, e.g. anti-loss alarms
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B7/00—Signalling systems according to more than one of groups G08B3/00 - G08B6/00; Personal calling systems according to more than one of groups G08B3/00 - G08B6/00
    • G08B7/06—Signalling systems according to more than one of groups G08B3/00 - G08B6/00; Personal calling systems according to more than one of groups G08B3/00 - G08B6/00 using electric transmission, e.g. involving audible and visible signalling through the use of sound and light sources
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/26—Speech to text systems

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Emergency Management (AREA)
  • Computational Linguistics (AREA)
  • Business, Economics & Management (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Optics & Photonics (AREA)
  • Telephone Function (AREA)

Abstract

本发明提供一种基于AR技术的文字提醒方法和装置。其中，该方法包括：通过麦克风采集音频信息；对所采集的音频信息进行语音识别，得到所述音频信息中语音信息对应的文字信息；基于预先设置的关键词，对所得到的文字信息进行关键词识别；通过头戴式AR设备的显示屏显示所述文字信息，其中，所述关键词的显示形式与其他非所述关键词的文字的显示形式不同。本发明可以将语音对应的文字直接显示在头戴式AR设备的显示屏上，使听障人士在与他人沟通时，不需要再将目光专注于手机上，不会影响用户的其他活动，可以在嘈杂的环境中分辨出语音和环境音，并且可以使用户快速关注到头戴式AR设备显示屏上显示的信息中的关键信息。

Description

基于AR技术的文字提醒方法和装置
技术领域
本发明涉及增强现实（Augmented Reality，简称 AR）技术领域，尤其涉及一种基于AR技术的文字提醒方法和装置。
背景技术
目前，听障人士在与他人进行沟通时，经常使用带有语音转文字功能的App的手机，手机的这个功能可以将实时的将语音转换成对应的文字，满足听障人士日常交流的需要。
然而，通过手机带有的App将语音转换为文字，需要用户始终将目光专注于手机上，查看手机上转换的文字内容，无法同时看到说话人的表情和周围环境的情况等，从而影响用户的其他活动。在嘈杂环境中，同时存在语音和环境音，语音识别转换得到的文字内容会比较杂乱，在浏览这些内容时，很难第一时间注意到关键信息。
发明内容
本发明提供一种基于AR技术的文字提醒方法和装置，用以解决现有技术通过手机带有的App将语音转换为文字，需要用户始终将目光专注于手机上，影响用户的其他活动，以及在嘈杂环境中很难第一时间注意到关键信息的缺陷，可以将语音对应的文字直接显示在头戴式AR设备的显示屏上，使听障人士在与他人沟通时，不需要再将目光专注于手机上，不会影响用户的其他活动，可以在嘈杂的环境中分辨出语音和环境音，并且可以使用户快速关注到头戴式AR设备显示屏上显示的信息中的关键信息。
第一方面，本发明提供一种基于AR技术的文字提醒方法，包括：
通过麦克风采集音频信息；
对所采集的音频信息进行语音识别，得到所述音频信息中语音信息对应的文字信息；
基于预先设置的关键词，对所得到的文字信息进行关键词识别；
通过头戴式AR设备的显示屏显示所述文字信息，其中，所述关键词的显示形式与其他非所述关键词的文字的显示形式不同。
根据本发明提供的一种基于AR技术的文字提醒方法，所述基于预先设置的关键词，对所得到的文字信息进行关键词识别，包括：
将所得到的文字信息与预先设置的关键词进行匹配，判断所述文字信息是否为所述关键词；
若所述文字信息不为所述关键词，确定以第一显示形式显示所述文字信息；
若所述文字信息为所述关键词，确定以第二显示形式显示所述文字信息。
根据本发明提供的一种基于AR技术的文字提醒方法，所述基于预先设置的关键词，对所得到的文字信息进行关键词识别，包括：
通过所述头戴式AR设备基于预先设置的关键词，对所得到的文字信息进行关键词识别；
还包括：
通过所述头戴式AR设备与智能设备连接，接收通过所述智能设备设置的关键词；
对所接收到的关键词进行存储，或者以所接收到的关键词对已存储的关键词进行更新，得到所述预先设置的关键词。
根据本发明提供的一种基于AR技术的文字提醒方法，所述对所采集的音频信息进行语音识别，得到所述音频信息中语音信息对应的文字信息，包括：
通过所述头戴式AR设备对所采集的音频信息进行语音识别，得到所述音频信息中语音信息对应的文字信息；或者，
通过所述智能设备对所采集的音频信息进行语音识别，得到所述音频信息中语音信息对应的文字信息。
根据本发明提供的一种基于AR技术的文字提醒方法，所述通过麦克风采集音频信息，包括：
通过所述头戴式AR设备设置的麦克风采集音频信息；或者，
通过所述智能设备设置的麦克风采集音频信息。
根据本发明提供的一种基于AR技术的文字提醒方法，所述通过麦克风采集音频信息，包括：
通过与所述头戴式AR设备连接的智能设备设置的麦克风采集音频信息；
所述对所采集的音频信息进行语音识别，得到所述音频信息中语音信息对应的文字信息，包括：
通过所述智能设备对所采集的音频信息进行语音识别，得到所述音频信息中语音信息对应的文字信息；
所述基于预先设置的关键词，对所得到的文字信息进行关键词识别，包括：
通过所述智能设备基于预先设置的关键词，对所得到的文字信息进行关键词识别；
还包括：
通过所述智能设备设置关键词；
对所设置的关键词进行存储，或者以所设置的关键词对已存储的关键词进行更新，得到预先设置的关键词。
根据本发明提供的一种基于AR技术的文字提醒方法，还包括：
在通过所述头戴式AR设备的显示屏显示所述关键词的同时，通过所述头戴式AR设备设置的振动马达产生振动。
第二方面，本发明还提供一种基于AR技术的文字提醒装置，包括：
音频采集模块，用于通过麦克风采集音频信息；
语音识别模块，用于对所采集的音频信息进行语音识别，得到所述音频信息中语音信息对应的文字信息；
关键词识别模块，用于基于预先设置的关键词，对所得到的文字信息进行关键词识别；
文字显示模块，设置于头戴式AR设备，用于通过所述头戴式AR设备的显示屏显示所述文字信息，其中，所述关键词的显示形式与其他非所述关键词的文字的显示形式不同。
第三方面，本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述基于AR技术的文字提醒方法的步骤。
第四方面，发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述基于AR技术的文字提醒方法的步骤。
第五方面，发明还提供一种计算机程序产品，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述基于AR技术的文字提醒方法的步骤。
本发明提供的基于AR技术的文字提醒方法和装置，通过麦克风采集音频信息，对所采集的音频信息进行语音识别，得到音频信息中语音信息对应的文字信息，通过头戴式AR设备显示语音识别得到的文字信息，可以将语音对应的文字直接显示在头戴式AR设备的显示屏上，使听障人士在与他人沟通时，不需要再将目光专注于手机上，可以同时看到说话人的表情和周围环境的情况等，不会影响用户的其他活动；通过基于预先设置的关键词，对所得到的文字信息进行关键词识别，使关键词的显示形式与其他非关键词的文字的显示形式不同，可以在嘈杂的环境中分辨出语音和环境音，并且可以使用户快速关注到头戴式AR设备显示屏上显示的信息中的关键信息。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明提供的基于AR技术的文字提醒方法的流程示意图；
图2是本发明提供的基于AR技术的文字提醒方法一实施例的流程示意图；
图3是本发明提供的基于AR技术的文字提醒方法另一实施例的流程示意图；
图4是本发明提供的基于AR技术的文字提醒方法又一实施例的流程示意图；
图5是本发明提供的基于AR技术的文字提醒方法一应用场景的流程示意图；
图6是本发明提供的基于AR技术的文字提醒装置的组成结构示意图；
图7是本发明提供的电子设备的组成结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
下面结合图1-图5描述本发明的基于AR技术的文字提醒方法。
请参阅图1，图1是本发明提供的基于AR技术的文字提醒方法的流程示意图，图1所示的基于AR技术的文字提醒方法可以由基于AR技术的文字提醒装置执行，如图1所示，该基于AR技术的文字提醒方法至少包括：
101，通过麦克风采集音频信息。
在本发明实施例中，可以通过在头戴式AR设备设置麦克风，采集音频信息，本发明实施例对头戴式AR设备的类型以及在头戴式AR设备设置的麦克风的类型不作限定，例如，头戴式AR设备可以为AR头盔、AR眼镜等，在头戴式AR设备设置的麦克风可以为体积较小的驻极体麦克风等；或者也可以通过设置有麦克风的智能设备，采集音频信息，本发明实施例对智能设备的类型不作限定，例如，智能设备可以为智能手机、平板型计算机、智能手表等可穿戴式智能设备。
在本发明实施例中，可以在头戴式AR设备设置开关，通过头戴式AR设备设置的开关启动麦克风，开始采集周围环境的音频信息；或者，也可以在智能设备设置应用程序（Application，简称App），通过开启智能设备设置的App启动麦克风，开始采集周围环境的音频信息。本发明实施例对启动麦克风采集周围环境的音频信息的实现方式不作限定。
102，对所采集的音频信息进行语音识别，得到音频信息中语音信息对应的文字信息。
在本发明实施例中，在通过麦克风采集音频信息之后，可以对所采集的音频信息进行语音识别，得到音频信息中语音信息对应的文字信息，本发明实施例对音频信息进行语音识别的实现方式不作限定，例如，可以通过高斯混合模型-隐马尔可夫模型（GaussionMixture Model-Hidden Markov Model，简称GMM-HMM）、长短期记忆网络（Long Short-TermMemory，简称 LSTM）、Transformer模型等对音频信息进行语音识别。
在本发明实施例中，在通过麦克风采集音频信息之后，还可以对麦克风所采集的音频信息进行滤波、A/D变换，预加重（Preemphasis)和端点检测等预处理，本发明实施例对音频信息进行预处理的实现方法不作限定。例如，可以通过滤波电路对采集到的音频信息进行滤波，以抑制音频信息中的干扰，可以通过A/D变换电路将滤波后的模拟音频信息转换为数字音频信息，可以通过预加重电路对A/D变换后的数字音频信息中的高频部分进行补偿，可以通过端点检测电路确定出补偿后的音频信息中语音信息的起点和终点。
103，基于预先设置的关键词，对所得到的文字信息进行关键词识别。
在本发明实施例中，预先设置的关键词可以根据具体的应用场景确定，本发明实施例对此不作限定，例如，在点名的应用场景中，预先设置的关键词可以为用户的姓名，在排队叫号的应用场景中，预先设置的关键词可以为用户排队的序号。本发明实施例对关键词的设置方式不作限定，例如，可以通过与头戴式AR设备连接的智能设备输入关键词，或者也可以采用头戴式AR设备或者智能设备中已存储的关键词。
在本发明实施例中，在对采集的音频信息进行语音识别得到对应的文字信息之后，还可以根据预先设置的关键词对语音识别得到的文字信息进行关键词识别，以根据关键词识别的结果，在语音识别得到的文字信息为预先设置的关键词和不为预先设置的关键词时分别进行不同的处理。本发明实施例对文字信息进行关键词识别的实现方式不作限定，例如，可以将所得到的文字信息与预先设置的关键词进行匹配，判断文字信息是否为所述关键词，若文字信息不为关键词，确定以第一显示形式显示文字信息，若文字信息为关键词，确定以第二显示形式显示文字信息。
104，通过头戴式AR设备的显示屏显示文字信息，其中，关键词的显示形式与其他非关键词的文字的显示形式不同。
在本发明实施例中，在根据预先设置的关键词对语音识别得到的文字信息进行关键词识别之后，可以通过头戴式AR设备的显示屏显示语音识别得到的文字信息，头戴式AR设备的显示屏对于关键词和非关键词的文字信息可以采用不同的显示形式，本发明实施例对关键词和非关键词的文字信息在头戴式AR设备的显示屏的显示形式不作限定，例如，对于非关键词的文字信息，头戴式AR设备的显示屏可以以正常的白色或者黑色字体显示对应的文字，对于关键词，头戴式AR设备的显示屏可以以黄色等高亮颜色的字体显示对应的文字。
可选地，对于关键词，头戴式AR设备的显示屏不仅可以通过文字颜色的变换进行提示，还可以使关键词在头戴式AR设备的显示屏上进行动效显示。可选地，头戴式AR设备还可以设有振动马达，在通过头戴式AR设备的显示屏显示关键词的同时，还可以通过振动马达产生振动，以增强提示的效果。
本发明实施例提供的基于AR技术的文字提醒方法，通过麦克风采集音频信息，对所采集的音频信息进行语音识别，得到音频信息中语音信息对应的文字信息，通过头戴式AR设备显示语音识别得到的文字信息，可以将语音对应的文字直接显示在头戴式AR设备的显示屏上，使听障人士在与他人沟通时，不需要再将目光专注于手机上，可以同时看到说话人的表情和周围环境的情况等，不会影响用户的其他活动；通过基于预先设置的关键词，对所得到的文字信息进行关键词识别，使关键词的显示形式与其他非关键词的文字的显示形式不同，可以在嘈杂的环境中分辨出语音和环境音，并且可以使用户快速关注到头戴式AR设备显示屏上显示的信息中的关键信息。
请参阅图2，图2是本发明提供的基于AR技术的文字提醒方法一实施例的流程示意图，如图2所示，该基于AR技术的文字提醒方法至少包括：
201，通过头戴式AR设备设置的麦克风采集音频信息。
202，通过头戴式AR设备对所采集的音频信息进行语音识别，得到音频信息中语音信息对应的文字信息。
203，通过头戴式AR设备基于预先设置的关键词，对所得到的文字信息进行关键词识别。
204，通过头戴式AR设备的显示屏显示文字信息，其中，关键词的显示形式与其他非关键词的文字的显示形式不同。
在本实施例中，音频信息的采集、对音频信息的语音识别、对语音识别得到的文字信息的关键词识别以及对语音识别得到的文字信息的显示，均由头戴式AR设备完成。其中，关于音频信息的采集、对音频信息的语音识别、对语音识别得到的文字信息的关键词识别以及对语音识别得到的文字信息的说明，可以参见图1中关于101、102、103和104的说明，故此处不再复述。
在本实施例中，可以通过头戴式AR设备与智能设备连接，接收用户通过智能设备设置的关键词，若此时头戴式AR设备未存储有关键词，可以对所接收到的关键词进行存储，完成对关键词的设置，得到预先设置的关键词，若此时头戴式AR设备已存储有关键词，可以以所接收到的关键词对已存储的关键词进行更新，完成对关键词的设置，得到预先设置的关键词。本发明实施例对头戴式AR设备与智能设备的连接方式不作限定，例如，头戴式AR设备与智能设备可以通过数据线连接、蓝牙连接或者wifi连接。
本发明实施例对用户通过智能设备设置的关键词的实现方式不作限定，例如，用户可以通过智能手机的虚拟键盘输入关键词，或者用户也可以通过智能手机的扫描功能识别关键词，或者用户还可以通过智能腕带的手势识别功能识别关键词，或者用户还可以通过智能腕带在头戴式AR设备的虚拟键盘输入关键词。
请参阅图3，图3是本发明提供的基于AR技术的文字提醒方法另一实施例的流程示意图，如图3所示，该基于AR技术的文字提醒方法至少包括：
301，通过智能设备设置的麦克风采集音频信息。
302，通过智能设备对所采集的音频信息进行语音识别，得到音频信息中语音信息对应的文字信息。
303，通过头戴式AR设备基于预先设置的关键词，对所得到的文字信息进行关键词识别。
304，通过头戴式AR设备的显示屏显示文字信息，其中，关键词的显示形式与其他非关键词的文字的显示形式不同。
在本实施例中，音频信息的采集和对音频信息的语音识别是由智能设备完成，对语音识别得到的文字信息的关键词识别以及对语音识别得到的文字信息的显示是由头戴式AR设备完成。其中，关于音频信息的采集、对音频信息的语音识别、对语音识别得到的文字信息的关键词识别以及对语音识别得到的文字信息的说明，可以参见图1中关于101、102、103和104的说明，故此处不再复述。
在本实施例中，可以通过头戴式AR设备与智能设备连接，接收智能设备语音识别得到的文字信息，对接收到的文字信息进行关键词识别。头戴式AR设备还可以接收用户通过智能设备设置的关键词，若此时头戴式AR设备未存储有关键词，可以对所接收到的关键词进行存储，完成对关键词的设置，得到预先设置的关键词，若此时头戴式AR设备已存储有关键词，可以以所接收到的关键词对已存储的关键词进行更新，完成对关键词的设置，得到预先设置的关键词。本发明实施例对头戴式AR设备与智能设备的连接方式不作限定，例如，头戴式AR设备与智能设备可以通过数据线连接、蓝牙连接或者wifi连接。
请参阅图4，图4是本发明提供的基于AR技术的文字提醒方法又一实施例的流程示意图，如图4所示，该基于AR技术的文字提醒方法至少包括：
401，通过与头戴式AR设备连接的智能设备设置的麦克风采集音频信息。
402，通过智能设备对所采集的音频信息进行语音识别，得到音频信息中语音信息对应的文字信息。
403，通过智能设备基于预先设置的关键词，对所得到的文字信息进行关键词识别。
404，通过头戴式AR设备的显示屏显示文字信息，其中，关键词的显示形式与其他非关键词的文字的显示形式不同。
在本实施例中，音频信息的采集、对音频信息的语音识别和对语音识别得到的文字信息的关键词识别是由智能设备完成，对语音识别得到的文字信息的显示是由头戴式AR设备完成。其中，关于音频信息的采集、对音频信息的语音识别、对语音识别得到的文字信息的关键词识别以及对语音识别得到的文字信息的说明，可以参见图1中关于101、102、103和104的说明，故此处不再复述。
在本实施例中，可以通过智能设备与头戴式AR设备连接，将语音识别得到的文字信息和关键词识别的结果发送或者传输到头戴式AR设备，由头戴式AR设备根据关键词识别的结果对语音识别得到的文字信息进行显示。用户可以通过智能设备设置关键词，若此时智能设备未存储有关键词，可以对所设置的关键词进行存储，完成对关键词的设置，得到预先设置的关键词，若此时智能设备已存储有关键词，可以以所设置的关键词对已存储的关键词进行更新，完成对关键词的设置，得到预先设置的关键词。本发明实施例对头戴式AR设备与智能设备的连接方式不作限定，例如，头戴式AR设备与智能设备可以通过数据线连接、蓝牙连接或者wifi连接。
请参阅图5，图5是本发明提供的基于AR技术的文字提醒方法一应用场景的流程示意图，如图5所示，将手机与AR眼镜通过数据线或者蓝牙连接，开启手机上的App，启动手机上的麦克风开始采集周围环境的音频信息，并通过手机设置关键词，由手机对麦克风采集的音频信息进行语音识别，得到音频信息中语音信息对应的文字信息，并根据设置关键词对语音识别得到的文字信息进行关键词识别，判断语音识别得到的文字信息是否为关键词，若语音识别得到的文字信息不为关键词，确定以第一显示形式显示文字信息，若语音识别得到的文字信息为关键词，确定以第二显示形式显示文字信息，将语音识别得到的文字信息和文字信息的显示形式发送至AR眼镜，通过AR眼镜的显示屏以白色字体显示非关键词的文字，以黄色字体显示关键词。
下面对本发明提供的基于AR技术的文字提醒装置进行描述，下文描述的基于AR技术的文字提醒装置与上文描述的基于AR技术的文字提醒方法可相互对应参照。
请参阅图6，图6是本发明提供的基于AR技术的文字提醒装置的组成结构示意图，图6所示的基于AR技术的文字提醒装置可用来执行图1的基于AR技术的文字提醒方法，如图6所示，该基于AR技术的文字提醒装置至少包括：
音频采集模块610，用于通过麦克风采集音频信息。
语音识别模块620，用于对所采集的音频信息进行语音识别，得到音频信息中语音信息对应的文字信息。
关键词识别模块630，用于基于预先设置的关键词，对所得到的文字信息进行关键词识别。
文字显示模块640，设置于头戴式AR设备，用于通过头戴式AR设备的显示屏显示文字信息，其中，关键词的显示形式与其他非关键词的文字的显示形式不同。
可选地，关键词识别模块630，包括：
判断单元，用于将所得到的文字信息与预先设置的关键词进行匹配，判断文字信息是否为关键词。
第一处理单元，用于根据判断单元的判断结果，若文字信息不为关键词，确定以第一显示形式显示文字信息。
第二处理单元，用于根据判断单元的判断结果，若文字信息为关键词，确定以第二显示形式显示文字信息。
可选地，关键词识别模块630设置于头戴式AR设备，用于基于预先设置的关键词，对所得到的文字信息进行关键词识别。
该基于AR技术的文字提醒装置还包括：
通信模块，用于头戴式AR设备与智能设备连接，接收通过智能设备设置的关键词。
存储模块，用于对所接收到的关键词进行存储，或者以所接收到的关键词对已存储的关键词进行更新，得到预先设置的关键词。
可选地，语音识别模块620设置于头戴式AR设备，用于对所采集的音频信息进行语音识别，得到音频信息中语音信息对应的文字信息；或者，
语音识别模块620设置于智能设备，用于对所采集的音频信息进行语音识别，得到音频信息中语音信息对应的文字信息。
可选地，音频采集模块610设置于头戴式AR设备，用于通过头戴式AR设备设置的麦克风采集音频信息；或者，
音频采集模块610设置于智能设备，用于通过智能设备设置的麦克风采集音频信息。
可选地，音频采集模块610设置于与头戴式AR设备连接的智能设备，用于通过智能设备设置的麦克风采集音频信息。
语音识别模块620设置于智能设备，用于对所采集的音频信息进行语音识别，得到音频信息中语音信息对应的文字信息。
关键词识别模块630设置于智能设备，用于基于预先设置的关键词，对所得到的文字信息进行关键词识别。
该基于AR技术的文字提醒装置还包括：
输入模块，用于智能设备设置关键词。
存储模块，用于对所设置的关键词进行存储，或者以所设置的关键词对已存储的关键词进行更新，得到预先设置的关键词。
可选地，该基于AR技术的文字提醒装置还包括：
振动模块，用于在通过头戴式AR设备的显示屏显示关键词的同时，通过头戴式AR设备设置的振动马达产生产生振动。
图7示例了一种电子设备的实体结构示意图，如图7所示，该电子设备可以包括：处理器(processor)710、通信接口(CommunicationsInterface)720、存储器(memory)730和通信总线740，其中，处理器710，通信接口720，存储器730通过通信总线740完成相互间的通信。处理器710可以调用存储器730中的逻辑指令，以执行基于AR技术的文字提醒方法，该方法包括：
通过麦克风采集音频信息；
对所采集的音频信息进行语音识别，得到所述音频信息中语音信息对应的文字信息；
基于预先设置的关键词，对所得到的文字信息进行关键词识别；
通过头戴式AR设备的显示屏显示所述文字信息，其中，所述关键词的显示形式与其他非所述关键词的文字的显示形式不同。
此外，上述的存储器730中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（ROM，Read-OnlyMemory）、随机存取存储器（RAM，RandomAccessMemory）、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各实施例所提供的基于AR技术的文字提醒方法，该方法包括：
通过麦克风采集音频信息；
对所采集的音频信息进行语音识别，得到所述音频信息中语音信息对应的文字信息；
基于预先设置的关键词，对所得到的文字信息进行关键词识别；
通过头戴式AR设备的显示屏显示所述文字信息，其中，所述关键词的显示形式与其他非所述关键词的文字的显示形式不同。
又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各实施例提供的基于AR技术的文字提醒方法，该方法包括：
通过麦克风采集音频信息；
对所采集的音频信息进行语音识别，得到所述音频信息中语音信息对应的文字信息；
基于预先设置的关键词，对所得到的文字信息进行关键词识别；
通过头戴式AR设备的显示屏显示所述文字信息，其中，所述关键词的显示形式与其他非所述关键词的文字的显示形式不同。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种基于AR技术的文字提醒方法，其特征在于，包括：
通过麦克风采集音频信息；
对所采集的音频信息进行语音识别，得到所述音频信息中语音信息对应的文字信息；
基于预先设置的关键词，对所得到的文字信息进行关键词识别；
通过头戴式AR设备的显示屏显示所述文字信息，其中，所述关键词的显示形式与其他非所述关键词的文字的显示形式不同。
2.根据权利要求1所述的基于AR技术的文字提醒方法，其特征在于，所述基于预先设置的关键词，对所得到的文字信息进行关键词识别，包括：
将所得到的文字信息与预先设置的关键词进行匹配，判断所述文字信息是否为所述关键词；
若所述文字信息不为所述关键词，确定以第一显示形式显示所述文字信息；
若所述文字信息为所述关键词，确定以第二显示形式显示所述文字信息。
3.根据权利要求1或2所述的基于AR技术的文字提醒方法，其特征在于，所述基于预先设置的关键词，对所得到的文字信息进行关键词识别，包括：
通过所述头戴式AR设备基于预先设置的关键词，对所得到的文字信息进行关键词识别；
还包括：
通过所述头戴式AR设备与智能设备连接，接收通过所述智能设备设置的关键词；
对所接收到的关键词进行存储，或者以所接收到的关键词对已存储的关键词进行更新，得到所述预先设置的关键词。
4.根据权利要求3所述的基于AR技术的文字提醒方法，其特征在于，所述对所采集的音频信息进行语音识别，得到所述音频信息中语音信息对应的文字信息，包括：
通过所述头戴式AR设备对所采集的音频信息进行语音识别，得到所述音频信息中语音信息对应的文字信息；或者，
通过所述智能设备对所采集的音频信息进行语音识别，得到所述音频信息中语音信息对应的文字信息。
5.根据权利要求4所述的基于AR技术的文字提醒方法，其特征在于，所述通过麦克风采集音频信息，包括：
通过所述头戴式AR设备设置的麦克风采集音频信息；或者，
通过所述智能设备设置的麦克风采集音频信息。
6.根据权利要求1或2所述的基于AR技术的文字提醒方法，其特征在于，所述通过麦克风采集音频信息，包括：
通过与所述头戴式AR设备连接的智能设备设置的麦克风采集音频信息；
所述对所采集的音频信息进行语音识别，得到所述音频信息中语音信息对应的文字信息，包括：
通过所述智能设备对所采集的音频信息进行语音识别，得到所述音频信息中语音信息对应的文字信息；
所述基于预先设置的关键词，对所得到的文字信息进行关键词识别，包括：
通过所述智能设备基于预先设置的关键词，对所得到的文字信息进行关键词识别；
还包括：
通过所述智能设备设置关键词；
对所设置的关键词进行存储，或者以所设置的关键词对已存储的关键词进行更新，得到预先设置的关键词。
7.根据权利要求1所述的基于AR技术的文字提醒方法，其特征在于，还包括：
在通过所述头戴式AR设备的显示屏显示所述关键词的同时，通过所述头戴式AR设备设置的振动马达产生振动。
8.一种基于AR技术的文字提醒装置，其特征在于，包括：
音频采集模块，用于通过麦克风采集音频信息；
语音识别模块，用于对所采集的音频信息进行语音识别，得到所述音频信息中语音信息对应的文字信息；
关键词识别模块，用于基于预先设置的关键词，对所得到的文字信息进行关键词识别；
文字显示模块，设置于头戴式AR设备，用于通过所述头戴式AR设备的显示屏显示所述文字信息，其中，所述关键词的显示形式与其他非所述关键词的文字的显示形式不同。
9.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至7任一项所述基于AR技术的文字提醒方法的步骤。
10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述基于AR技术的文字提醒方法的步骤。
CN202210447780.9A 2022-04-27 2022-04-27 基于ar技术的文字提醒方法和装置 Pending CN114550430A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210447780.9A CN114550430A (zh) 2022-04-27 2022-04-27 基于ar技术的文字提醒方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210447780.9A CN114550430A (zh) 2022-04-27 2022-04-27 基于ar技术的文字提醒方法和装置

Publications (1)

Publication Number Publication Date
CN114550430A true CN114550430A (zh) 2022-05-27

Family

ID=81667451

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210447780.9A Pending CN114550430A (zh) 2022-04-27 2022-04-27 基于ar技术的文字提醒方法和装置

Country Status (1)

Country Link
CN (1) CN114550430A (zh)

Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103869471A (zh) * 2014-01-09 2014-06-18 盈诺飞微电子(上海)有限公司 头戴式语音识别投影装置及***
CN104951435A (zh) * 2015-07-28 2015-09-30 陈包容 聊天过程中智能显示关键词的方法及装置
US20170243520A1 (en) * 2014-11-12 2017-08-24 Fujitsu Limited Wearable device, display control method, and computer-readable recording medium
CN107995101A (zh) * 2017-11-30 2018-05-04 上海掌门科技有限公司 一种用于将语音消息转为文本信息的方法与设备
CN108762494A (zh) * 2018-05-16 2018-11-06 北京小米移动软件有限公司 显示信息的方法、装置及存储介质
CN108962254A (zh) * 2018-06-11 2018-12-07 北京佳珥医学科技有限公司 用于辅助听障人士的方法、装置和***及增强现实眼镜
CN109032545A (zh) * 2018-06-11 2018-12-18 北京佳珥医学科技有限公司 用于提供声源信息的方法和装置及增强现实眼镜
US20190068529A1 (en) * 2017-08-31 2019-02-28 Daqri, Llc Directional augmented reality system
CN110146988A (zh) * 2019-05-15 2019-08-20 东北大学 一种头戴式增强现实眼镜***及其实现方法
CN110730939A (zh) * 2017-11-29 2020-01-24 深圳市柔宇科技有限公司 用于头戴式显示器上的信息提示方法、装置和设备
CN111358066A (zh) * 2020-03-10 2020-07-03 中国人民解放军陆军军医大学第一附属医院 基于语音识别的防护服
CN111526247A (zh) * 2020-04-16 2020-08-11 广州三星通信技术研究有限公司 显示语音文本的方法及装置
CN111751995A (zh) * 2020-06-11 2020-10-09 重庆工业职业技术学院 一种声音视觉化的单目头戴式ar眼镜装置及其实现方法
CN212781941U (zh) * 2020-08-28 2021-03-23 国网河南省电力公司检修公司 一种变电站运维作业的ar辅助***
CN113345440A (zh) * 2021-06-08 2021-09-03 北京有竹居网络技术有限公司 一种信号处理方法、装置和设备以及一种增强现实ar***
CN113763940A (zh) * 2021-08-11 2021-12-07 北京乐驾科技有限公司 一种用于ar眼镜的语音信息处理方法及***

Patent Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103869471A (zh) * 2014-01-09 2014-06-18 盈诺飞微电子(上海)有限公司 头戴式语音识别投影装置及***
US20170243520A1 (en) * 2014-11-12 2017-08-24 Fujitsu Limited Wearable device, display control method, and computer-readable recording medium
CN104951435A (zh) * 2015-07-28 2015-09-30 陈包容 聊天过程中智能显示关键词的方法及装置
US20190068529A1 (en) * 2017-08-31 2019-02-28 Daqri, Llc Directional augmented reality system
CN110730939A (zh) * 2017-11-29 2020-01-24 深圳市柔宇科技有限公司 用于头戴式显示器上的信息提示方法、装置和设备
CN107995101A (zh) * 2017-11-30 2018-05-04 上海掌门科技有限公司 一种用于将语音消息转为文本信息的方法与设备
CN108762494A (zh) * 2018-05-16 2018-11-06 北京小米移动软件有限公司 显示信息的方法、装置及存储介质
CN108962254A (zh) * 2018-06-11 2018-12-07 北京佳珥医学科技有限公司 用于辅助听障人士的方法、装置和***及增强现实眼镜
CN109032545A (zh) * 2018-06-11 2018-12-18 北京佳珥医学科技有限公司 用于提供声源信息的方法和装置及增强现实眼镜
CN110146988A (zh) * 2019-05-15 2019-08-20 东北大学 一种头戴式增强现实眼镜***及其实现方法
CN111358066A (zh) * 2020-03-10 2020-07-03 中国人民解放军陆军军医大学第一附属医院 基于语音识别的防护服
CN111526247A (zh) * 2020-04-16 2020-08-11 广州三星通信技术研究有限公司 显示语音文本的方法及装置
CN111751995A (zh) * 2020-06-11 2020-10-09 重庆工业职业技术学院 一种声音视觉化的单目头戴式ar眼镜装置及其实现方法
CN212781941U (zh) * 2020-08-28 2021-03-23 国网河南省电力公司检修公司 一种变电站运维作业的ar辅助***
CN113345440A (zh) * 2021-06-08 2021-09-03 北京有竹居网络技术有限公司 一种信号处理方法、装置和设备以及一种增强现实ar***
CN113763940A (zh) * 2021-08-11 2021-12-07 北京乐驾科技有限公司 一种用于ar眼镜的语音信息处理方法及***

Similar Documents

Publication Publication Date Title
JP6392374B2 (ja) ヘッドマウントディスプレイシステム及びヘッドマウントディスプレイ装置の操作方法
JP6400445B2 (ja) 会話分析装置、会話分析システム、会話分析方法及び会話分析プログラム
CN105957514A (zh) 一种便携式聋哑人交流设备
WO2021184837A1 (zh) 诈骗电话的识别方法、装置、存储介质及终端
WO2018186416A1 (ja) 翻訳処理方法、翻訳処理プログラム、及び、記録媒体
WO2016203805A1 (ja) 情報処理装置、情報処理システム、情報処理方法及びプログラム
CN108766416B (zh) 语音识别方法及相关产品
CN112860877A (zh) 客服作业处理方法、装置、电子设备及存储介质
CN111063355A (zh) 会议记录的生成方法及记录终端
CN113033245A (zh) 一种功能调节方法、装置、存储介质及电子设备
CN112420049A (zh) 数据处理方法、装置及存储介质
CN109361804B (zh) 来电处理方法及移动终端
CN114550430A (zh) 基于ar技术的文字提醒方法和装置
CN111046223A (zh) 一种视觉障碍者语音辅助方法、终端、服务器及***
CN111970295B (zh) 基于多终端的通话事务管理方法及装置
CN114844985A (zh) 数据质检方法、装置、设备及存储介质
CN115101053A (zh) 基于情绪识别的对话处理方法、装置、终端及存储介质
CN115019788A (zh) 语音交互方法、***、终端设备及存储介质
CN114049875A (zh) 一种tts播报方法、装置、设备以及存储介质
JP2007122561A (ja) 携帯端末装置および似顔絵データ提供システム
CN112487164A (zh) 一种人工智能交互方法
CN115064036A (zh) 基于ar技术的危险预警方法和装置
CN113448535B (zh) 一种终端屏幕内容的阅读方法、装置、电子设备及介质
CN109379499A (zh) 一种语音呼叫方法及装置
CN112840307B (zh) 语句处理方法及相关装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20220527

RJ01 Rejection of invention patent application after publication