CN107832309A - 一种语言翻译的方法、装置、可穿戴设备及存储介质 - Google Patents

一种语言翻译的方法、装置、可穿戴设备及存储介质 Download PDF

Info

Publication number
CN107832309A
CN107832309A CN201710969926.5A CN201710969926A CN107832309A CN 107832309 A CN107832309 A CN 107832309A CN 201710969926 A CN201710969926 A CN 201710969926A CN 107832309 A CN107832309 A CN 107832309A
Authority
CN
China
Prior art keywords
translated
wearable device
language
original
audio
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710969926.5A
Other languages
English (en)
Other versions
CN107832309B (zh
Inventor
金志江
周卫国
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Genius Technology Co Ltd
Original Assignee
Guangdong Genius Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Genius Technology Co Ltd filed Critical Guangdong Genius Technology Co Ltd
Priority to CN201710969926.5A priority Critical patent/CN107832309B/zh
Publication of CN107832309A publication Critical patent/CN107832309A/zh
Application granted granted Critical
Publication of CN107832309B publication Critical patent/CN107832309B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/40Processing or translation of natural language
    • G06F40/58Use of machine translation, e.g. for multi-lingual retrieval, for server-side translation for client devices or for real-time translation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00Arrangements for monitoring or testing data switching networks
    • H04L43/08Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • H04L43/0852Delays
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00Arrangements for monitoring or testing data switching networks
    • H04L43/16Threshold monitoring
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/06Protocols specially adapted for file transfer, e.g. file transfer protocol [FTP]

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Environmental & Geological Engineering (AREA)
  • Machine Translation (AREA)

Abstract

本发明公开了一种语言翻译的方法、装置、可穿戴设备及存储介质。所述方法包括:获取待翻译对象并确定可穿戴设备的目标语言和网络延迟时间,待翻译对象包括待翻译音频和/或包含待翻译文字的待翻译图片;如果网络延迟时间小于第一时间阈值,则将待翻译对象和目标语言发送给服务器,以使服务器根据目标语言对待翻译对象进行翻译,并获取服务器生成的目标翻译结果;将目标翻译结果按照设定方式展示给用户。利用该方法,提高了可穿戴设备的专用性,所述可穿戴设备仅用于处理待翻译图片和待翻译音频,降低了运算的复杂度,并且降低了对可穿戴设备的要求,从而减少了可穿戴设备的重量和体积,在佩戴的过程中更具便捷性。

Description

一种语言翻译的方法、装置、可穿戴设备及存储介质
技术领域
本发明实施例涉及增强现实技术领域,尤其涉及一种语言翻译的方法、装置、可穿戴设备及存储介质。
背景技术
1947年,美国数学家、工程师沃伦·韦弗与英国物理学家、工程师安德鲁·布思提出了以机器进行翻译(简称“机译”)的设想,机译从此步入历史舞台,并走过了一条曲折而漫长的发展道路。机译是涉及语言学、数学、计算机科学和人工智能等多种学科和技术的综合性课题,被列为21世纪世界十大科技难题。随着互联网的普遍应用,使在线翻译成了当今机译的重头戏。
目前的翻译设备,如翻译机,至少需要设置有显示屏和键盘等才能实现其自身的翻译功能,导致翻译设备普遍存在重量和体积较大,便捷性较差,用户体验不佳的问题。
发明内容
本发明提供的一种语言翻译的方法、装置、可穿戴设备及存储介质,旨在解决现有翻译设备便携性差的技术问题。
第一方面,本发明实施例提供了一种语言翻译的方法,包括:
获取待翻译对象并确定可穿戴设备的目标语言和网络延迟时间,所述待翻译对象包括待翻译音频和/或包含待翻译文字的待翻译图片;
如果所述网络延迟时间小于第一时间阈值,则将所述待翻译对象和所述目标语言发送给服务器,以使所述服务器根据所述目标语言对所述待翻译对象进行翻译,并获取所述服务器生成的目标翻译结果;
将所述目标翻译结果按照设定方式展示给用户。
第二方面,本发明实施例还提供了一种语言翻译的装置,包括:
信息获取模块,用于获取待翻译对象并确定可穿戴设备的目标语言和网络延迟时间,所述待翻译对象包括待翻译音频和/或包含待翻译文字的待翻译图片;
第一结果获取模块,用于在所述网络延迟时间小于第一时间阈值时,将所述待翻译对象和所述目标语言发送给服务器,以使所述服务器根据所述目标语言对所述待翻译对象进行翻译,并获取所述服务器生成的目标翻译结果;
结果展示装置,用于将所述目标翻译结果按照设定方式展示给用户。
第三方面,本发明实施例还提供了一种可穿戴设备,包括:摄像头、麦克风和接近传感器,还包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序;
所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如本发明实施例中任一项所述的语言翻译的方法。
第四方面,本发明实施例还提供了一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现如本发明实施例中任一项所述的语言翻译的方法。
本发明实施例提供了一种语言翻译的方法、装置、可穿戴设备及存储介质,首先获取待翻译对象并确定可穿戴设备的目标语言和网络延迟时间,所述待翻译对象包括待翻译音频和/或包含待翻译文字的待翻译图片;然后在所述网络延迟时间小于第一时间阈值时,将所述待翻译对象和所述目标语言发送给服务器,以使所述服务器根据所述目标语言对所述待翻译对象进行翻译,并获取所述服务器生成的目标翻译结果;最后将所述目标翻译结果按照设定方式展示给用户。利用上述技术方案,提高了可穿戴设备的专用性,所述可穿戴设备仅用于处理待翻译图片和待翻译音频,降低了运算的复杂度,并且降低了对可穿戴设备的要求,从而减少了可穿戴设备的重量和体积,在佩戴的过程中更具便捷性。
附图说明
图1是本发明实施例一中的一种语言翻译的方法的流程图;
图2是本发明实施例二中的一种语言翻译的方法的流程图;
图3是本发明实施例三中的一种语言翻译的装置的结构示意图;
图4是本发明实施例四中的一种可穿戴设备的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是,此处所描述的具体实施例仅仅用于解释本发明,而非对本发明的限定。另外还需要说明的是,为了便于描述,附图中仅示出了与本发明相关的部分而非全部结构。
在更加详细地讨论示例性实施例之前应当提到的是,一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各项操作(或步骤)描述成顺序的处理,但是其中的许多操作可以被并行地、并发地或者同时实施。此外,各项操作的顺序可以被重新安排。当其操作完成时所述处理可以被终止,但是还可以具有未包括在附图中的附加步骤。所述处理可以对应于方法、函数、规程、子例程、子程序等等。
实施例一
图1为本发明实施例一提供的一种语言翻译的方法的流程图,本实施例可适用于待翻译对象进行翻译的情况,该方法可以由本发明实施例提供的语言翻译的装置来执行,其中,该装置可以由软件和/或硬件实现,并一般可以集成在电子设备中,典型的,集成在本发明提供的一种可穿戴设备中。
如图1所述,本发明实施例一提供的一种语言翻译的方法,包括如下步骤:
S110、获取待翻译对象并确定可穿戴设备的目标语言和网络延迟时间,所述待翻译对象包括待翻译音频和/或包含待翻译文字的待翻译图片。
在本实施例中,待翻译对象可以理解为进行了预先处理的想要进行翻译的信息。具体可以为想要进行翻译的音频信息和/或包含想要进行翻译的文字信息的图片。其中待翻译对象可以通过音频和/或图片获取设备来获取。
在获取待翻译对象之后,需要进一步确定想要将待翻译对象翻译成的目标语言。其中,目标语言可以理解为翻译之后的语言。明显的,所述待翻译对象可以为除目标语言外的任意语言。举例来说,目标语言为中文,则获取所有非汉语的音频信息和包含非中文的待翻译图片。
进一步的,目标语言的确定可以根据监测到的用户特征信息确定。具体的,可以启动可穿戴设备中的信息采集装置,如:摄像头、麦克风和/或位移传感器,以获取用户的手势信息、音频信息和/或位移信息等用户特征信息,来确定目标语言。举例来说,可以启动可穿戴设备的麦克风监测用户的音频信息,如:“目标语言为中文”的音频信息,以确定目标语言。
具体的,网络延迟时间用于判定可穿戴设备当前的网络状况,根据确定的网络状况选用不同的翻译策略。明显的,当网络延迟小于第一时间阈值时,所述可穿戴设备可以理解为处于优质网络状态;当网络延迟大于第二时间阈值时,所述可穿戴设备可以理解为处于离线状态;否则,所述可穿戴设备可以理解为处于较差网络状态。
S120、如果所述网络延迟时间小于第一时间阈值,则将所述待翻译对象和所述目标语言发送给服务器,以使所述服务器根据所述目标语言对所述待翻译对象进行翻译,并获取所述服务器生成的目标翻译结果。
在本实施例中,服务器根据所述目标语言对所述待翻译对象进行翻译可以理解为服务器基于目标语言将待翻译对象进行识别和翻译。目标翻译结果可以理解为翻译之后的结果数据。
可以理解的是,当网络延迟时间小于第一时间阈值时,所述可穿戴设备可以理解为处于优质网络状态,可以将大量的数据发送至服务器进行处理。因此,可穿戴设备可以将所述待翻译对象和目标语言发送至服务器,使服务器进行相应的识别及翻译,以确定目标翻译结果。可穿戴设备仅需获取服务器处理后的目标翻译结果即可。明显的,这样设置的好处在于,大大提高了翻译的速度与精度。
举例来说,如果待翻译对象为待翻译图片时,服务器可以基于目标语言对所述待翻译图片进行光学字符识别(Optical Character Recognition,OCR),将图片上的文字内容直接转换成可编辑文本,并基于服务器端的数据库对所述可编辑文本进行翻译,以得到目标翻译结果;如果待翻译对象为待翻译音频时,服务器可以基于目标语言对待翻译音频进行识别,识别出文字信息,并对其进行翻译,以得到目标翻译结果。服务器得到目标翻译结果之后,将目标结果反馈至可穿戴设备。
可以理解的是,当网络状态良好时,可穿戴设备可以将获得的原始待翻译对象直接传送至服务器进行翻译处理。相应的,所述服务器进行原始待翻译对象的预处理、识别及翻译,以得到目标翻译结果。
S130、将所述目标翻译结果按照设定方式展示给用户。
在本实施例中,在获得到目标翻译结果之后,可以将目标翻译结果以可见或可听的方式展示给用户,以让用户获得到翻译的结果。其中设定的方式可以是***默认的也可以是用户可以设置的。
本发明实施例提供的一种语言翻译的方法,首先获取待翻译对象并确定可穿戴设备的目标语言和网络延迟时间,所述待翻译对象包括待翻译音频和/或包含待翻译文字的待翻译图片;然后在所述网络延迟时间小于第一时间阈值时,将所述待翻译对象和所述目标语言发送给服务器,以使所述服务器根据所述目标语言对所述待翻译对象进行翻译,并获取所述服务器生成的目标翻译结果;最终将所述目标翻译结果按照设定方式展示给用户。利用上述方法,提高了可穿戴设备的专用性,所述可穿戴设备仅用于处理待翻译图片和待翻译音频,降低了运算的复杂度,并且降低了对可穿戴设备的要求,从而减少了可穿戴设备的重量和体积,在佩戴的过程中更具便捷性。
在上述各技术方案的基础上,在获取待翻译对象并确定可穿戴设备的目标语言和网络延迟时间之前,还优化增加了:获取可穿戴设备中接近传感器的接近距离值;如果所述接近距离值小于预设距离值,则确定所述可穿戴设备处于穿戴状态。
在本实施例中,接近传感器可以理解为确定可穿戴设备与用户间距离关系的传感器。当用户与可穿戴设备距离较近时,接近传感器测得的接近距离值较小。当测得的接近距离值小于预设距离值时,可以判定可穿戴设备处于穿戴状态。其中,穿戴状态可以理解为佩戴状态。
可选的,可以在确定可穿戴设备处于何种状态后,再进行翻译。具体的,可以当可穿戴设备处于穿戴状态时,开始获取待翻译对象并确定可穿戴设备的目标语言和网络延迟时间。
在上述各技术方案的基础上,将所述目标翻译结果按照设定方式展示给用户,具体优化为:将所述目标翻译结果以文字形式和/或音频形式展示给用户,所述设定方式基于用户的操作指令确定。
在本实施例中,操作指令可以理解为指示目标结果展现形式的操作命令。举例来说,可以为声音指令和动作指令等。
待翻译对象信息包括待翻译音频和/或包含待翻译文字的待翻译图片。相应的,目标翻译结果可以以文字形式和/或音频形式展示给用户。举例来说,当待翻译对象为待翻译音频时,目标翻译结果可以为音频形式,也可以为文字形式展示。当待翻译对象为待翻译图片时,目标翻译结果可以为音频形式,也可以为文字形式。其中,以何种形式展示可以为***默认形式,也可以基于用户的操作指令。当目标结果的展现形式为***默认形式时,可以默认设置:当待翻译对象为待翻译音频时,目标翻译结果以音频形式展示给用户;当待翻译对象为待翻译图片时,目标翻译结果以文字形式展示给用户。当目标结果的展现形式基于用户的操作指令进行确定时,具体的确定方法同目标语言确定时采用的方法。
举例来说,当目标翻译结果以音频形式展示给用户时,可以将翻译后的文字信息通过文本转语音(Text To Speech,TTS)合成语音进行展示。
具体的,当目标翻译结果以文字形式展示给用户时,可以将目标结果显示在可穿戴设备的显示器上。举例来说,当可穿戴设备为眼镜时,可以将显示器设置在眼镜的镜片上,或在镜片区域内设置一长方形的显示器。显示器可以使用KOPIN的WVGA0.32OLED显示模组,使用LCOS或者DLP投影。
当目标翻译结果以音频形式展示给用户时,可以将目标结果通过耳挂处的外置扬声器、骨传导器、有线耳机或无线耳机展示给用户。
可选的,当待翻译对象包括了待翻译音频和待翻译图片时,可穿戴设备可以同时对两者进行处理,并将待翻译音频和待翻译图片对应的目标翻译结果同时展示给用户;也可以在中心控制模块中设置展示顺序,譬如,可以先进行音频形式的目标翻译结果的展示。
具体的,当目标翻译结果中包含了由待翻译音频翻译后以文字形式展示的第一文字信息和由待翻译图片翻译后以文字形式展示的第二文字信息时,将所述第一文字信息和第二文字信息均进行展示,可以将所述第一文字信息和所述第二文字信息展示在视野范围内的不同区域中;也可以在所述第一文字信息和所述第二文字信息间加入预设数量的空格或换行以示区分。其中,具体区域的设置可以为***默认的设置,也可以接收用户的操作指令设置。举例来说,***默认设置可以为待翻译图片转换得到的文字信息显示在视野的左侧区域,将待翻译音频转换得到的文字信息显示在视野的右侧区域。
当目标翻译结果中包含了由待翻译音频翻译后以音频形式展示的第一音频信息和由待翻译图片翻译后以音频形式展示的第二音频信息时,可以按照***默认的顺序播放,也可以接收用户的操作指令设置播放顺序。举例来说,***默认的顺序可以为先播放由待翻译音频翻译生成的第一音频信息,再播放由待翻译图片翻译生成的第二音频信息。
实施例二
图2为本发明实施例二提供的一种语言翻译的方法的流程图,本实施例在上述各实施例的基础上进行优化。在本实施例中,该方法优化增加了:如果所述网络延迟时间大于所述第一时间阈值且小于第二时间阈值,则截取所述待翻译对象中包含文字和/或语音的待翻译子对象,将所述待翻译子对象和所述目标语言发送给服务器,以使服务器根据所述目标语言对所述待翻译子对象进行翻译,并获取所述服务器生成的目标翻译结果;如果所述网络延迟时间大于第二时间阈值,则通过所述可穿戴设备的中心控制模块根据所述目标语言对所述待翻译对象进行翻译,生成相应的目标翻译结果。
进一步的,本实施例中,在获取待翻译对象并确定可穿戴设备的目标语言和网络延迟时间之前,还优化增加了:获取原始待翻译对象,并将所述原始待翻译对象进行预处理,以确定待翻译对象,所述原始待翻译对象包括原始待翻译图片和/或原始待翻译音频。
如图2所示,本发明实施例二提供的一种语言翻译的方法,包括如下步骤:
S210、获取原始待翻译对象,并将所述原始待翻译对象进行预处理,以确定待翻译对象,所述原始待翻译对象包括原始待翻译图片和/或原始待翻译音频。
在本实施例中,原始待翻译对象可以理解为通过图像或音频采集装置采集到的原始信息。具体可以为,原始待翻译图片和/或原始待翻译音频。预处理可以理解为对原始待翻译对象进行预先的处理,以获得可以直接进行识别翻译的待翻译对象。
S220、获取待翻译对象并确定可穿戴设备的目标语言和网络延迟时间,所述待翻译对象包括待翻译音频和/或包含待翻译文字的待翻译图片。
S230、判断网络延迟时间是否小于第一时间阈值,若是,则执行S240;若否,则执行S250。
在本实施例中,判断网络延迟时间,即判定当前可穿戴设备的网络状况。如果网络延迟时间小于第一时间阈值,则网络状况良好。即,当前可穿戴设备处于优质网络状态,则执行S240;否则,执行S250。
S240、将所述待翻译对象和所述目标语言发送给服务器,以使所述服务器根据所述目标语言对所述待翻译对象进行翻译,并获取所述服务器生成的目标翻译结果,执行S280。
在本实施例中,网络状况良好时,则使服务器完成翻译工作,生成目标翻译结果。否则,继续判断当前的网络状况是处于离线状态还是处于较差网络状态,即执行S250。
具体的,中心控制模块还可以包括无线传输装置,用于连接服务器,以获得更强的图像或音频处理能力。
S250、判断网络延迟时间是否大于第二时间阈值,若是,则执行S260;若否,则执行S270。
其中,第二时间阈值大于第一时间阈值。在本实施例中,判断网络延迟时间是否大于第二时间阈值,即判断可穿戴设备当前网络是否处于离线状态。当网络延迟时间大于第二时间阈值时,则由可穿戴设备本地进行识别翻译工作。即,执行S260。否则,说明可穿戴设备当前处于较差网络状况,则执行S270。
S260、通过所述可穿戴设备的中心控制模块根据所述目标语言对所述待翻译对象进行翻译,生成相应的目标翻译结果,执行S280。
在本实施例中,当处于离线状态时,由本地进行待翻译对象的识别翻译。具体的,是由可穿戴设备的中心控制模块进行翻译,并生成相应的目标翻译结果。举例来说,当待翻译对象为待翻译图片时,进行本地OCR识别,OCR识别之后进行文字的翻译,以生成目标翻译结果。
S270、截取所述待翻译对象中包含文字和/或语音的待翻译子对象,将所述待翻译子对象和所述目标语言发送给服务器,以使服务器根据所述目标语言对所述待翻译子对象进行翻译,并获取所述服务器生成的目标翻译结果。
在本实施例中,子对象可以理解为组成待翻译对象的子区域。具体的,一个待翻译对象可以由多个子对象构成。其中,子对象有包含文字和/或语音的子对象(即为待翻译子对象),也有不包含文字和/或语音的子对象。服务器根据所述目标语言对所述待翻译子对象进行翻译可以理解为服务器基于目标语言将待翻译子对象进行识别和翻译。
当网络状况较差时,可以在本地,即在可穿戴设备上截取有用的子对象区域,即包含文字和/或语音的待翻译子对象。举例来说,可以去除连续无文字区域,以截取包含文字的待翻译子对象;也可以去除连续无语音的区域,以截取包含语音的待翻译子对象。这样设置的好处在于,有效减少了传输数据所需的带宽,降低了对网络带宽的要求。
可以理解的是,在截取的过程中,可以保留包含文字和/语音的待翻译子对象的位置信息,以在翻译之后结合所述位置信息将目标翻译子对象放置在待翻译子对象原先所处的位置上。也可以不进行位置信息的存储,在翻译之后在每个目标翻译子对象后添加空格或换行,以防止将翻译后的结果数据混淆。其中,目标翻译子对象为待翻译子对象翻译之后的目标子对象。
S280、将所述目标翻译结果按照设定方式展示给用户。
本发明实施例二提供的一种语言翻译的方法,优化增加了如果所述网络延迟时间大于所述第一时间阈值且小于第二时间阈值,则截取所述待翻译对象中包含文字和/或语音的待翻译子对象,将所述待翻译子对象和所述目标语言发送给服务器,以使服务器根据所述目标语言对所述待翻译子对象进行翻译,并获取所述服务器生成的目标翻译结果;如果所述网络延迟时间大于第二时间阈值,则通过所述可穿戴设备的中心控制模块根据所述目标语言对所述待翻译对象进行翻译,生成相应的目标翻译结果;还优化增加了在获取待翻译对象并确定可穿戴设备的目标语言和网络延迟时间之前,还优化增加了:获取原始待翻译对象,并将所述原始待翻译对象进行预处理,以确定待翻译对象,所述原始待翻译对象包括原始待翻译图片和/或原始待翻译音频。利用该方法,能够在降低翻译过程中运算的复杂度、减少可穿戴设备的重量和体积的前提下,充分利用网络资源,以实现更加快速、优质的翻译。并且在对待翻译对象进行了相应的预处理,能够有效地减少数据带宽,降低翻译过程中对中心控制模块的处理能力的要求,有效地增强了用户体验。
在上述各技术方案的基础上,将获取原始待翻译对象,并将所述原始待翻译对象进行预处理,以确定待翻译对象,具体优化为:获取摄像头拍摄的当前图片,如果所述当前图片的图像稳定系数大于设定的稳定系数阈值,则将所述当前图片确定为原始待翻译图片,对所述原始待翻译图片进行图片预处理,以确定待翻译图片,所述图片预处理包括锐化、增强对比度、灰度化和二值化。
在本实施例中,图像稳定系数可以理解为摄像头拍摄的当前图片的稳定时间。稳定系数阈值可以理解为判定当前图片稳定的时间阈值。当小于所述稳定系数时,说明当前图片并未处于稳定状态,不对当前图片进行翻译。图片预处理可以理解为对图片的预处理操作。具体的,预处理可以包括画面去抖动、边缘增强、锐化、增强对比度、灰度化和二值化。
其中,将图片进行灰度化、二值化后在进行识别,能够有效减少数据带宽,降低对中心控制模块的处理能力及网络带宽的要求。
举例来说,当摄像头开启之后,获取当前图片,抽值进行图像差异的比较,以获得图片稳定系数。如果所述稳定系数大于设定的稳定系数阈值,说明用户想要对该稳定图片进行翻译,则可以对该稳定图片进行翻译。如果所述稳定系数不大于设定的稳定系数阈值,则继续获取稳定系数。获取稳定系数的好处在于,不用对捕获的所有图片进行翻译,有效降低了运算量,降低了功耗。
在上述各技术方案的基础上,所述可穿戴设备具有单摄像头拍摄模式和双摄像头拍摄模式;如果在单摄像头拍摄模式下监测到所述原始待翻译图片中存在至少一个与其他原始待翻译文字区域边缘重叠且原始待翻译文字信息无法确定的原始待翻译文字区域,则开启所述可穿戴设备的双摄像头拍摄模式,以通过双摄像头获取图片。
在本实施例中,单摄像头拍摄模式可以理解为开启一个摄像头进行拍摄。双摄像头拍摄模式可以理解为开启两个摄像头进行拍摄。原始待翻译文字区域可以理解为包含原始待翻译文字的区域。
具体的,可以通过摄像头获取原始待翻译图片,其中,摄像头个数可以为1-3个,在使用的过程中可以仅使用位于可穿戴设备中间部位的摄像头也可以使用位于可穿戴设备两侧的摄像头。举例来说,当可穿戴设备为眼镜时,中间部位的摄像头可以设置在眼镜两镜片中间镜框处。可穿戴设备两侧的摄像头可以设置在眼镜镜片外边缘任意位置处,且所述摄像头呈对称放置。
在本实施例中,优选采用单摄像头进行翻译,以降低功耗,提高运算量。当监测到至少有一个原始待翻译文字区域与其余原始待翻译文字区域边缘重叠,并且含有不能识别的原始待翻译文字信息时,开启双摄像头拍摄模式,获取图片中的景深信息,以更好地对待翻译对象进行翻译。其中,可以利用边缘提取算法或重叠物质识别算法对图片信息进行分析,以确定是否原始待翻译文字区域间有边缘重叠。相应的,如果开启双摄像头拍摄模式,则相应的图片预处理还包括:去除背景、获取景深和主体画质增强。
在上述各技术方案的基础上,将获取原始待翻译对象,并将所述原始待翻译对象进行预处理,以生成待翻译对象,具体优化为:通过麦克风获取原始待翻译音频,对所述原始待翻译音频进行音频预处理,以确定待翻译音频信息,所述音频预处理包括多麦克风去噪和音频定向增强。
在本实施例中,音频预处理可以理解为对音频的预处理操作。具体的,可以包括多麦克风去噪和音频的定向增强。其中,多麦克风去噪可以理解为将主麦克风的音频信息减去其余麦克风的音频信息,以实现去噪。音频定向增强可以理解为将某一方向的音频频谱增强。举例来说,将主麦克风的音频频谱减去其他麦克风的音频频谱,并对相减后的频谱进行放大。
所述主麦克风可以为位于可穿戴设备中间部位的麦克风,其中主麦克风可以临近中间部位摄像头放置。举例来说,当可穿戴设备为眼镜时,主麦克风可以设置在眼镜中间镜框处,其余麦克风,即从麦克风,可以设置在眼镜两侧镜脚上的任意位置,呈对称设置。
在本实施例中,可穿戴设备的摄像头或麦克风将用户的视野与听觉保持同步获取,对视野内的文字信息和周围的音频信息进行识别翻译,并根据设定,将识别出的文字信息和音频信息翻译成目标翻译结果展示给用户。
实施例三
图3所示为本发明实施例三提供的一种语言翻译的装置的结构示意图,本实施例可适用于待翻译对象进行翻译的情况,其中,该装置可以由软件和/或硬件实现,并一般可以集成在电子设备中,典型的,集成在本发明提供的一种可穿戴设备中。如图3所示,所述语言翻译的装置包括:信息获取模块310、第一结果获取模块320和结果展示装置330,其中:
信息获取模块310,用于获取待翻译对象并确定可穿戴设备的目标语言和网络延迟时间,所述待翻译对象包括待翻译音频和/或包含待翻译文字的待翻译图片;
第一结果获取模块320,用于在所述网络延迟时间小于第一时间阈值时,将所述待翻译对象和所述目标语言发送给服务器,以使所述服务器根据所述目标语言对所述待翻译对象进行翻译,并获取所述服务器生成的目标翻译结果;
结果展示装置330,用于将所述目标翻译结果按照设定方式展示给用户。
在本实施例中,该语言翻译的装置首先通过信息获取模块310获取待翻译对象并确定可穿戴设备的目标语言和网络延迟时间,所述待翻译对象包括待翻译音频和/或包含待翻译文字的待翻译图片;然后通过第一结果获取模块320在所述网络延迟时间小于第一时间阈值时,将所述待翻译对象和所述目标语言发送给服务器,以使所述服务器根据所述目标语言对所述待翻译对象进行翻译,并获取所述服务器生成的目标翻译结果;最后通过结果展示装置330将所述目标翻译结果按照设定方式展示给用户。
本实施例提供了一种语言翻译的装置,通过信息获取模块获得待翻译对象、目标语言和网络延迟时间信息、第一结果获取模块确定目标翻译结果和结果展示装置将目标翻译结果展示给用户。利用上述装置,提高了可穿戴设备的专用性,所述可穿戴设备仅用于处理待翻译图片和待翻译音频,降低了运算的复杂度,并且降低了对可穿戴设备的要求,从而减少了可穿戴设备的重量和体积,在佩戴的过程中更具便捷性。
在上述技术方案的基础上,所述语言翻译的装置还包括:
第二结果获取模块,用于在所述网络延迟时间大于所述第一时间阈值且小于第二时间阈值时,截取所述待翻译对象中包含文字和/或语音的待翻译子对象,将所述待翻译子对象和所述目标语言发送给服务器,以使服务器根据所述目标语言对所述待翻译子对象进行翻译,并获取所述服务器生成的目标翻译结果。
第三结果获取模块,用于在所述网络延迟时间大于第二时间阈值时,通过所述可穿戴设备的中心控制模块根据所述目标语言对所述待翻译对象进行翻译,生成相应的目标翻译结果。
在上述技术方案的基础上,所述语言翻译的装置还包括:
原始信息获取模块,用于获取原始待翻译对象,并将所述原始待翻译对象进行预处理,以确定待翻译对象,所述原始待翻译对象包括原始待翻译图片和/或原始待翻译音频。
在上述技术方案的基础上,原始信息获取模块进一步可具体用于:获取摄像头拍摄的当前图片,如果所述当前图片的图像稳定系数大于设定的稳定系数阈值,则将所述当前图片确定为原始待翻译图片,对所述原始待翻译图片进行图片预处理,以确定待翻译图片,所述图片预处理包括锐化、增强对比度、灰度化和二值化。
在上述技术方案的基础上,所述可穿戴设备具有单摄像头拍摄模式和双摄像头拍摄模式;
如果在单摄像头拍摄模式下监测到所述原始待翻译图片中存在至少一个与其他原始待翻译文字区域边缘重叠且原始待翻译文字信息无法确定的原始待翻译文字区域,则开启所述可穿戴设备的双摄像头拍摄模式,以通过双摄像头获取图片。
在上述技术方案的基础上,原始信息获取模块进一步可具体用于:通过麦克风获取原始待翻译音频,对所述原始待翻译音频进行音频预处理,以确定待翻译音频信息,所述音频预处理包括多麦克风去噪和音频定向增强。
在上述技术方案的基础上,所述语言翻译的装置还包括:
穿戴状态确定模块,用于获取可穿戴设备中接近传感器的接近距离值;如果所述接近距离值小于预设距离值,则确定所述可穿戴设备处于穿戴状态。
在上述技术方案的基础上,结果展示装置330进一步可具体用于:将所述目标翻译结果以文字形式和/或音频形式展示给用户,所述设定方式基于用户的操作指令确定。
上述产品可执行本发明任意实施例所提供的方法,具备执行方法相应的功能模块和有益效果。
实施例四
图4为本发明实施例四提供的一种可穿戴设备的结构示意图。如图4所示,该可穿戴设备包括:摄像头450、麦克风460和接近传感器470,还包括:一个或多个处理器410,图4中以一个处理器410为例;
存储装置420,用于存储一个或多个程序;
所述一个或多个程序被所述一个或多个处理器410执行,使得所述一个或多个处理器410实现如本发明实施例中任一项所述的语言翻译的方法。
所述可穿戴设备还可以包括:输入装置430和输出装置440。
所述可穿戴设备中的处理器410、存储装置420、输入装置430和输出装置440可以通过总线或者其他方式连接,图4中以通过总线连接为例。
可以理解的是,所述可穿戴设备可以是眼镜或头盔。
存储装置420作为一种非暂态计算机可读存储介质,可用于存储软件程序、计算机可执行程序以及模块,如本申请实施例中的语言翻译的方法对应的程序指令/模块。处理器410通过运行存储在存储装置420中的软件程序、指令以及模块,从而执行服务器的各种功能应用以及数据处理,即实现上述方法实施例的语言翻译的方法。
存储装置420可以包括存储程序区和存储数据区,其中,存储程序区可存储操作***、至少一个功能所需要的应用程序;存储数据区可存储根据电子设备的使用所创建的数据等。此外,存储装置420可以包括高速随机存取存储器,还可以包括非暂态性存储器,例如至少一个磁盘存储器件、闪存器件、或其他非暂态性固态存储器件。在一些实施例中,存储装置420可选包括相对于处理器410远程设置的存储装置,这些远程存储装置可以通过网络连接至可穿戴设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
输入装置430可用于接收输入的数字或字符信息,以及产生与电子设备的用户设置以及功能控制有关的键信号输入。输出装置440可包括显示屏等显示设备。
本发明实施例还提供一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时用于执行一种语言翻译的方法,该方法包括:获取待翻译对象并确定可穿戴设备的目标语言和网络延迟时间,所述待翻译对象包括待翻译音频和/或包含待翻译文字的待翻译图片;如果所述网络延迟时间小于第一时间阈值,则将所述待翻译对象和所述目标语言发送给服务器,以使所述服务器根据所述目标语言对所述待翻译对象进行翻译,并获取所述服务器生成的目标翻译结果;将所述目标翻译结果按照设定方式展示给用户。
可选的,该程序被处理器执行时还可以用于执行本发明任意实施例所提供的一种语言翻译的方法的技术方案。
通过以上关于实施方式的描述,所属领域的技术人员可以清楚地了解到,本发明可借助软件及必需的通用硬件来实现,当然也可以通过硬件实现,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在计算机可读存储介质中,如计算机的软盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(RandomAccess Memory,RAM)、闪存(FLASH)、硬盘或光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述的方法。
注意,上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解,本发明不限于这里所述的特定实施例,对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此,虽然通过以上实施例对本发明进行了较为详细的说明,但是本发明不仅仅限于以上实施例,在不脱离本发明构思的情况下,还可以包括更多其他等效实施例,而本发明的范围由所附的权利要求范围决定。

Claims (11)

1.一种语言翻译的方法,其特征在于,包括:
获取待翻译对象并确定可穿戴设备的目标语言和网络延迟时间,所述待翻译对象包括待翻译音频和/或包含待翻译文字的待翻译图片;
如果所述网络延迟时间小于第一时间阈值,则将所述待翻译对象和所述目标语言发送给服务器,以使所述服务器根据所述目标语言对所述待翻译对象进行翻译,并获取所述服务器生成的目标翻译结果;
将所述目标翻译结果按照设定方式展示给用户。
2.根据权利要求1所述的方法,其特征在于,还包括:
如果所述网络延迟时间大于所述第一时间阈值且小于第二时间阈值,则截取所述待翻译对象中包含文字和/或语音的待翻译子对象,将所述待翻译子对象和所述目标语言发送给服务器,以使服务器根据所述目标语言对所述待翻译子对象进行翻译,并获取所述服务器生成的目标翻译结果;
如果所述网络延迟时间大于第二时间阈值,则通过所述可穿戴设备的中心控制模块根据所述目标语言对所述待翻译对象进行翻译,生成相应的目标翻译结果。
3.根据权利要求1所述的方法,其特征在于,在获取待翻译对象并确定可穿戴设备的目标语言和网络延迟时间之前,还包括:
获取原始待翻译对象,并将所述原始待翻译对象进行预处理,以确定待翻译对象,所述原始待翻译对象包括原始待翻译图片和/或原始待翻译音频。
4.根据权利要求3所述的方法,其特征在于,所述获取原始待翻译对象,并将所述原始待翻译对象进行预处理,以确定待翻译对象,包括:
获取摄像头拍摄的当前图片,如果所述当前图片的图像稳定系数大于设定的稳定系数阈值,则将所述当前图片确定为原始待翻译图片,对所述原始待翻译图片进行图片预处理,以确定待翻译图片,所述图片预处理包括锐化、增强对比度、灰度化和二值化。
5.根据权利要求4所述的方法,其特征在于,所述可穿戴设备具有单摄像头拍摄模式和双摄像头拍摄模式;
如果在单摄像头拍摄模式下监测到所述原始待翻译图片中存在至少一个与其他原始待翻译文字区域边缘重叠且原始待翻译文字信息无法确定的原始待翻译文字区域,则开启所述可穿戴设备的双摄像头拍摄模式,以通过双摄像头获取图片。
6.根据权利要求3所述的方法,其特征在于,所述获取原始待翻译对象,并将所述原始待翻译对象进行预处理,以生成待翻译对象,包括:
通过麦克风获取原始待翻译音频,对所述原始待翻译音频进行音频预处理,以确定待翻译音频信息,所述音频预处理包括多麦克风去噪和音频定向增强。
7.根据权利要求1所述的方法,其特征在于,在获取待翻译对象并确定可穿戴设备的目标语言和网络延迟时间之前,还包括:
获取可穿戴设备中接近传感器的接近距离值;
如果所述接近距离值小于预设距离值,则确定所述可穿戴设备处于穿戴状态。
8.根据权利要求1所述的方法,其特征在于,所述将所述目标翻译结果按照设定方式展示给用户,包括:
将所述目标翻译结果以文字形式和/或音频形式展示给用户,所述设定方式基于用户的操作指令确定。
9.一种语言翻译的装置,其特征在于,包括:
信息获取模块,用于获取待翻译对象并确定可穿戴设备的目标语言和网络延迟时间,所述待翻译对象包括待翻译音频和/或包含待翻译文字的待翻译图片;
第一结果获取模块,用于在所述网络延迟时间小于第一时间阈值时,将所述待翻译对象和所述目标语言发送给服务器,以使所述服务器根据所述目标语言对所述待翻译对象进行翻译,并获取所述服务器生成的目标翻译结果;
结果展示装置,用于将所述目标翻译结果按照设定方式展示给用户。
10.一种可穿戴设备,包括:摄像头、麦克风和接近传感器,其特征在于,还包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序;
所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如权利要求1-8中任一项所述的语言翻译的方法。
11.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现如权利要求1-8中任一项所述的语言翻译的方法。
CN201710969926.5A 2017-10-18 2017-10-18 一种语言翻译的方法、装置、可穿戴设备及存储介质 Active CN107832309B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710969926.5A CN107832309B (zh) 2017-10-18 2017-10-18 一种语言翻译的方法、装置、可穿戴设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710969926.5A CN107832309B (zh) 2017-10-18 2017-10-18 一种语言翻译的方法、装置、可穿戴设备及存储介质

Publications (2)

Publication Number Publication Date
CN107832309A true CN107832309A (zh) 2018-03-23
CN107832309B CN107832309B (zh) 2021-10-01

Family

ID=61648286

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710969926.5A Active CN107832309B (zh) 2017-10-18 2017-10-18 一种语言翻译的方法、装置、可穿戴设备及存储介质

Country Status (1)

Country Link
CN (1) CN107832309B (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108923810A (zh) * 2018-06-15 2018-11-30 Oppo广东移动通信有限公司 翻译方法及相关设备
CN109151789A (zh) * 2018-09-30 2019-01-04 Oppo广东移动通信有限公司 翻译方法、装置、***以及蓝牙耳机
CN109241900A (zh) * 2018-08-30 2019-01-18 Oppo广东移动通信有限公司 穿戴式设备的控制方法、装置、存储介质及穿戴式设备
CN109255130A (zh) * 2018-07-17 2019-01-22 北京赛思美科技术有限公司 一种基于人工智能的语言翻译和学习的方法、***和设备
CN109800652A (zh) * 2018-12-20 2019-05-24 武汉璞华大数据技术有限公司 文字翻译方法及装置
CN111738023A (zh) * 2020-06-24 2020-10-02 宋万利 一种图文音频自动翻译方法及其***
CN111862940A (zh) * 2020-07-15 2020-10-30 百度在线网络技术(北京)有限公司 基于耳机实现的翻译方法、装置、***、设备和存储介质
CN111931521A (zh) * 2019-04-24 2020-11-13 奇酷互联网络科技(深圳)有限公司 语音翻译方法、可穿戴设备、终端设备及存储介质
CN112329485A (zh) * 2020-11-23 2021-02-05 深圳云译科技有限公司 翻译方法、装置、***及存储介质
CN112669812A (zh) * 2019-09-30 2021-04-16 梅州市青塘实业有限公司 一种耳机及其翻译方法和装置
WO2021189652A1 (zh) * 2020-03-27 2021-09-30 深圳光启超材料技术有限公司 语言输出方法、头戴设备、存储介质及电子设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103941870A (zh) * 2014-04-21 2014-07-23 百度在线网络技术(北京)有限公司 头戴式显示设备
CN104517107A (zh) * 2014-12-22 2015-04-15 央视国际网络无锡有限公司 基于可穿戴设备的实时翻译图片文字的方法
CN104572635A (zh) * 2015-01-20 2015-04-29 郑州市中业科技有限公司 可穿戴翻译装置及其控制方法
CN106534282A (zh) * 2016-10-26 2017-03-22 努比亚技术有限公司 一种移动终端上传文件的方法和装置
EP3200437A2 (en) * 2016-01-28 2017-08-02 Mitel Networks Corporation Method and system for providing caller information

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103941870A (zh) * 2014-04-21 2014-07-23 百度在线网络技术(北京)有限公司 头戴式显示设备
CN104517107A (zh) * 2014-12-22 2015-04-15 央视国际网络无锡有限公司 基于可穿戴设备的实时翻译图片文字的方法
CN104572635A (zh) * 2015-01-20 2015-04-29 郑州市中业科技有限公司 可穿戴翻译装置及其控制方法
EP3200437A2 (en) * 2016-01-28 2017-08-02 Mitel Networks Corporation Method and system for providing caller information
CN106534282A (zh) * 2016-10-26 2017-03-22 努比亚技术有限公司 一种移动终端上传文件的方法和装置

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108923810A (zh) * 2018-06-15 2018-11-30 Oppo广东移动通信有限公司 翻译方法及相关设备
CN109255130A (zh) * 2018-07-17 2019-01-22 北京赛思美科技术有限公司 一种基于人工智能的语言翻译和学习的方法、***和设备
CN109241900A (zh) * 2018-08-30 2019-01-18 Oppo广东移动通信有限公司 穿戴式设备的控制方法、装置、存储介质及穿戴式设备
CN109151789A (zh) * 2018-09-30 2019-01-04 Oppo广东移动通信有限公司 翻译方法、装置、***以及蓝牙耳机
CN109151789B (zh) * 2018-09-30 2021-08-17 Oppo广东移动通信有限公司 翻译方法、装置、***以及蓝牙耳机
CN109800652A (zh) * 2018-12-20 2019-05-24 武汉璞华大数据技术有限公司 文字翻译方法及装置
CN111931521A (zh) * 2019-04-24 2020-11-13 奇酷互联网络科技(深圳)有限公司 语音翻译方法、可穿戴设备、终端设备及存储介质
CN112669812A (zh) * 2019-09-30 2021-04-16 梅州市青塘实业有限公司 一种耳机及其翻译方法和装置
WO2021189652A1 (zh) * 2020-03-27 2021-09-30 深圳光启超材料技术有限公司 语言输出方法、头戴设备、存储介质及电子设备
CN111738023A (zh) * 2020-06-24 2020-10-02 宋万利 一种图文音频自动翻译方法及其***
CN111862940A (zh) * 2020-07-15 2020-10-30 百度在线网络技术(北京)有限公司 基于耳机实现的翻译方法、装置、***、设备和存储介质
CN112329485A (zh) * 2020-11-23 2021-02-05 深圳云译科技有限公司 翻译方法、装置、***及存储介质

Also Published As

Publication number Publication date
CN107832309B (zh) 2021-10-01

Similar Documents

Publication Publication Date Title
CN107832309A (zh) 一种语言翻译的方法、装置、可穿戴设备及存储介质
CN108012081B (zh) 智能美颜方法、装置、终端和计算机可读存储介质
CN108919958A (zh) 一种图像传输方法、装置、终端设备及存储介质
US20210319809A1 (en) Method, system, medium, and smart device for cutting video using video content
CN108076290B (zh) 一种图像处理方法及移动终端
CN113538273B (zh) 图像处理方法及图像处理装置
CN108965981B (zh) 视频播放方法、装置、存储介质及电子设备
CN108181992A (zh) 基于手势的语音唤醒方法、装置、设备及计算机可读介质
US10255487B2 (en) Emotion estimation apparatus using facial images of target individual, emotion estimation method, and non-transitory computer readable medium
CN108154140A (zh) 基于唇语的语音唤醒方法、装置、设备及计算机可读介质
CN110322760B (zh) 语音数据生成方法、装置、终端及存储介质
CN109271018A (zh) 基于虚拟人行为标准的交互方法及***
CN110427930A (zh) 多媒体数据处理方法及装置、电子设备和可读存储介质
CN109285178A (zh) 图像分割方法、装置及存储介质
CN112669197A (zh) 图像处理方法、装置、移动终端及存储介质
CN111242273B (zh) 一种神经网络模型训练方法及电子设备
CN111080747B (zh) 一种人脸图像处理方法及电子设备
CN117351115A (zh) 图像生成模型的训练方法、图像生成方法、装置及设备
CN113689530A (zh) 一种驱动数字人的方法、装置及电子设备
CN113255396A (zh) 图像处理模型的训练方法及装置、图像处理方法及装置
CN110378318A (zh) 文字识别方法、装置、计算机设备及存储介质
CN112149599B (zh) 表情追踪方法、装置、存储介质和电子设备
CN111488147A (zh) 一种智能布局方法及装置
CN117689752A (zh) 文学作品插图生成方法、装置、设备及存储介质
CN113222841A (zh) 一种图像处理方法、装置、设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant