CN105786804B - 一种翻译方法及移动终端 - Google Patents

一种翻译方法及移动终端 Download PDF

Info

Publication number
CN105786804B
CN105786804B CN201610109745.0A CN201610109745A CN105786804B CN 105786804 B CN105786804 B CN 105786804B CN 201610109745 A CN201610109745 A CN 201610109745A CN 105786804 B CN105786804 B CN 105786804B
Authority
CN
China
Prior art keywords
content
translated
visual focus
mobile terminal
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610109745.0A
Other languages
English (en)
Other versions
CN105786804A (zh
Inventor
张恒莉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NANJING WEIWO SOFTWARE TECHNOLOGY Co.,Ltd.
Original Assignee
Vivo Mobile Communication Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Vivo Mobile Communication Co Ltd filed Critical Vivo Mobile Communication Co Ltd
Priority to CN201610109745.0A priority Critical patent/CN105786804B/zh
Publication of CN105786804A publication Critical patent/CN105786804A/zh
Application granted granted Critical
Publication of CN105786804B publication Critical patent/CN105786804B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/40Processing or translation of natural language
    • G06F40/58Use of machine translation, e.g. for multi-lingual retrieval, for server-side translation for client devices or for real-time translation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Artificial Intelligence (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Machine Translation (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明实施例公开了一种翻译方法,该翻译方法包括:获取移动终端用户的视觉焦点移动信息和视觉焦点在显示屏上的停留时间,根据所述视觉焦点移动信息和视觉焦点在显示屏上的停留时间,确定待翻译内容,对所述待翻译内容进行翻译,得到翻译信息,显示所述翻译信息。本发明还公开了一种相应的移动终端。本发明实施例公开的翻译方法,能够实现根据移动终端用户的视觉焦点的移动即可确定待翻译内容并显示待翻译内容的翻译信息,不需要用户退出当前阅读界面查询生词的翻译信息,不影响用户阅读的连贯性,提升了用户的阅读体验。

Description

一种翻译方法及移动终端
技术领域
本发明涉及移动通信技术领域,尤其涉及一种翻译方法及移动终端。
背景技术
随着移动通信技术的迅速发展,便携式移动终端的一个重要用途是作为阅读的工具,无论阅读电子书或浏览网页、新闻等,都是人们生活中不可或缺的一部分。
用户在阅读电子书或浏览网页、新闻时,经常会遇到不认识的词语或句子,涉及外语、地方语、专业词汇、较深奥的用语或新的网络用语等。这时,用户需要将不认识的词语或句子复制到剪贴板,退出当前阅读页面,然后将剪贴板中的内容粘贴到浏览器或词库里的搜索框中来查询陌生的词汇或短语的意思,搜索出释义后再返回原来的阅读页面继续阅读。上述查询生词的翻译信息的过程耗时较长且操作繁琐,影响了用户阅读的连贯性。
发明内容
本发明实施例提供一种翻译方法及移动终端,以解决现有的查询生词的翻译信息的过程耗时长、操作繁琐,影响用户阅读的连贯性的问题。
一方面,本发明实施例提供一种翻译方法,应用于具有显示屏和前置摄像头的移动终端,所述翻译方法包括:
获取移动终端用户的视觉焦点移动信息和视觉焦点在显示屏上的停留时间;
根据所述视觉焦点移动信息和视觉焦点在显示屏上的停留时间,确定待翻译内容;
对所述待翻译内容进行翻译,得到翻译信息;
显示所述翻译信息。
另一方面,本发明实施例还提供了一种移动终端,包括显示屏和前置摄像头,所述移动终端还包括:
眼球追踪传感器,用于获取移动终端用户的视觉焦点移动信息和视觉焦点在显示屏上的停留时间;
确定模块,用于根据所述眼球追踪传感器获取的所述视觉焦点移动信息和视觉焦点在显示屏上的停留时间,确定待翻译内容;
翻译模块,用于对所述确定模块确定的待翻译内容进行翻译,得到翻译信息;
显示模块,用于显示所述翻译模块得到的翻译信息。
本发明实施例提供的翻译方法,通过获取移动终端用户的视觉焦点移动信息和视觉焦点在显示屏上的停留时间,根据所述视觉焦点移动信息和视觉焦点在显示屏上的停留时间,确定待翻译内容,对所述待翻译内容进行翻译,得到翻译信息,显示所述翻译信息,实现了根据移动终端用户的视觉焦点的移动即可确定待翻译内容并显示待翻译内容的翻译信息,不需要用户退出当前阅读界面查询生词的翻译信息,不影响用户阅读的连贯性,提升了用户的阅读体验。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对本发明实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例的附图,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明翻译方法的第一实施例的流程图;
图2是本发明翻译方法的第二实施例的流程图;
图3是本发明翻译方法的第二实施例的根据所述视觉焦点移动信息,确定第一文字内容的流程图;
图4是本发明翻译方法的第二实施例的对所述待翻译内容进行翻译,得到翻译信息的流程图;
图5是本发明移动终端的第二实施例的结构框图之一;
图6是本发明移动终端的第二实施例的结构框图之二;
图7是本发明移动终端的第二实施例的结构框图之三;
图8是本发明移动终端的第二实施例的结构框图;
图9是本发明移动终端的第三实施例的结构框图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
第一实施例
如图1所示,是本发明翻译方法的第一实施例的流程图。该翻译方法应用于具有显示屏和前置摄像头的移动终端,该翻译方法包括:
步骤101,获取移动终端用户的视觉焦点移动信息和视觉焦点在显示屏上的停留时间。
在本发明实施例中,视觉焦点为用户注视移动终端的显示屏时,以用户的眼球为中心点延伸出的视轴线与显示屏所在平面的交点。其中,视觉焦点的移动信息可以包括视觉焦点的移动范围等信息,该移动范围可以是视觉焦点视线停留的交点本身或由视线扫视若干交点合围成的区域,而视觉焦点在显示屏上的停留时间可以包括视觉焦点停留在某交点的时间或视觉焦点扫视某区域所停留的时间。
本发明实施例中,获取用户的视觉焦点可以采用以下方式:
根据用户面部的几个特定的关键点,通过面部识别技术锁定获取用户在显示屏上的视觉焦点的眼眶区域,并通过匹配预设的瞳孔形状和眼球形状进一步锁定用户的瞳孔区域和眼球区域。随后获取用户此时的瞳孔中心位置和眼球中心位置的三维坐标,并比较上述两个三维坐标。移动终端通过比较获取瞳孔中心位置相对于眼球中心位置的偏移量,从而计算出用户的视线方向。移动终端采集包括该视线方向的眼球特征数据,并依照下述方法将该眼球特征数据转换成相应的视觉焦点的定位数据。
本发明实施例中,视觉焦点可以看成是以眼球为中心的视轴线与显示屏所在平面的交点。实际上,由于存在视线方向,眼睛的瞳孔中心与视觉焦点位于显示屏上的坐标存在一一对应的关系。在第一次进行眼球对焦之前,***显示出位于显示屏上四边的四个中点位置以及显示屏的中心点位置,并要求用户分别注视上述5个点。移动终端分别捕捉到当用户分别注视上述5点时用户的眼球特征数据;上述操作即定义了5个用于参考的基准点(四条边的中心位置,以及显示屏的中心点位置),并可以采用上述5个基准点来划分用户眼球的视线方向所对应的显示屏上的视觉焦点坐标的位置范围。当移动终端将读取到的眼球特征数据转换成视觉焦点的定位数据以定位所需要的视觉焦点时,可以参照上述5个基准点,在一定的范围内对实时视觉焦点进行定位。移动终端将该视觉焦点的定位数据处理成触屏的视觉焦点。
本发明实施例中,获取视觉焦点所利用的眼球追踪传感器,可以是红外前置摄像头加红外光发射管,还可以用普通前置摄像头实现。由于人的角膜具有反射功能,因此近红外光源发出的红外线能够在用户的角膜上形成高亮度的反射。当眼球开始转动时,反射点也随之而动。
步骤102,根据所述视觉焦点移动信息和视觉焦点在显示屏上的停留时间,确定待翻译内容。
本发明实施例中,待翻译内容包括可编辑的文本信息,也包括不可编辑的文字信息,如图片中的文字等。
本发明实施例中,当用户在阅读过程中,对于认识的词句会一看而过,而对于不认识的词句,其视线会习惯性地在陌生词句中发生停顿或来回反复看几遍,所以可根据所述视觉焦点移动信息和视觉焦点在显示屏上的停留时间来确定待翻译内容。
本发明实施例中,当步骤101无法获取移动终端用户的视觉焦点移动信息和视觉焦点在显示屏上的停留时间时,通过语音识别获取移动终端用户的语音信息。
本发明实施例中,可使用麦克风采集语音数据,以识别用户口头输入内容。使用麦克风采集语音数据时,前置摄像头可不必常开,以达到省电的目的;另外,当若光线不好或者用户不想用前置摄像头进行视觉焦点的追踪,也可以关闭前置摄像头,全程用语音识别。
此时,当用户看到不认识或不理解的词,读出相关内容,***识别到读出的内容,即启动翻译功能。
如看到文档中有“喜大普奔”,不知其意思,只要念出“喜大普奔是什么意思”或“喜大普奔的意思”即可,此时移动终端会通过语音识别获取移动终端用户的语音信息。
则步骤102具体为:将所述语音信息转换为第二文字内容;将所述第二文字内容确定为待翻译内容。
本发明实施例中,当通过语音识别获取到“喜大普奔是什么意思”或“喜大普奔的意思”的语音信息,则将其中的关键词“喜大普奔”转换为第二文字内容,然后将第二文字内容,例如“喜大普奔”确定为待翻译内容。
本发明实施例中,当步骤101无法获取移动终端用户的视觉焦点移动信息和视觉焦点在显示屏上的停留时间时,还可通过所述前置摄像头进行唇语识别获取移动终端用户的唇语信息。
本发明实施例中,可通过前置摄像头获取用户的唇型数据,进而通过唇语识别获取相应的唇语信息。如身处嘈杂环境或公共场合,不方便语音信息的获取时,就可以通过前置摄像头进行口语识别。
具体地,用户看到不认识或不理解的词,念出相关内容,不必发出声音,前置摄像头便获取唇型数据,通过唇语识别获取到相应的唇语信息。如,用户可对着前置摄像头做出“喜大普奔是什么意思”或“喜大普奔的意思”的口型。使用前置摄像头采集唇部数据,则可保证在嘈杂环境的正常采集。语音信息和唇型信息的获取也可以同时进行,以确保识别的成功率和准确率。
此外,由于前置摄像头比较耗电,所以当需要翻译的内容不是很多,前置摄像头可不必常开,此时可以通过在显示屏界面上添加虚拟按键或定义相应的物理按键作为控制前置摄像头的开关,当需要使用时,点击按键开启前置摄像头,不用时点击按键关闭即可。虚拟按键还可显示出前置摄像头的工作状态,以使用户轻易区分出前置摄像头当前的工作状态。
则步骤102具体为:将所述唇语信息转换为第三文字内容;将所述第三文字内容确定为待翻译内容。
本发明实施例中,当通过唇语识别获取到“喜大普奔是什么意思”或“喜大普奔的意思”的唇语信息,则将其中的关键词“喜大普奔”转换为第三文字内容,然后将第三文字内容,例如“喜大普奔”确定为待翻译内容。
本发明实施例中,当无法获取移动终端用户的视觉焦点移动信息和视觉焦点在显示屏上的停留时间时,可通过语音识别获取移动终端用户的语音信息,然后进一步地将所述语音信息转换为第二文字内容,并将所述第二文字内容确定为待翻译内容,实现了在无法使用眼球追踪技术的时候通过语音技术得到待翻译内容;当无法获取移动终端用户的视觉焦点移动信息和视觉焦点在显示屏上的停留时间时,通过所述前置摄像头进行唇语识别获取移动终端用户的唇语信息,然后将所述唇语信息转换为第三文字内容,并将所述第三文字内容确定为待翻译内容,实现了在不方便使用语音的时候,也可通过用户的口型得到待翻译内容,提高了翻译的有效性。
步骤103,对所述待翻译内容进行翻译,得到翻译信息。
本发明实施例中,可直接在网络上搜索翻译信息,也可从一预设的词库中获取该翻译信息。其中,对待翻译内容的翻译,可以是从一种语言信息到另一种语言信息,如将英文信息翻译为中文信息;也可以是以同种语言所作的释义,如网络语言的翻译或文言文的翻译等。
步骤104,显示所述翻译信息。
本步骤中,可将翻译信息显示于靠近待翻译内容的位置,例如待翻译内容中最后一个字符的右下角的位置,以便于用户识别;也可将翻译信息显示在显示屏上的其他区域,还可以是由用户设定的区域。
本发明实施例提供的翻译方法,通过获取移动终端用户的视觉焦点移动信息和视觉焦点在显示屏上的停留时间,根据所述视觉焦点移动信息和视觉焦点在显示屏上的停留时间,确定待翻译内容,对所述待翻译内容进行翻译,得到翻译信息,显示所述翻译信息,实现了根据移动终端用户的视觉焦点的移动即可确定待翻译内容并显示待翻译内容的翻译信息,不需要用户退出当前阅读界面查询生词的翻译信息,不影响用户阅读的连贯性,提升了用户的阅读体验。
第二实施例
如图2所示,是本发明翻译方法的第二实施例的流程图。该翻译方法应用于具有显示屏和前置摄像头的移动终端,该翻译方法包括:
步骤201,获取移动终端用户的视觉焦点移动信息和视觉焦点在显示屏上的停留时间。
在本发明实施例中,视觉焦点为用户注视移动终端的显示屏时,以用户的眼球为中心点延伸出的视轴线与显示屏所在平面的交点。其中,视觉焦点的移动信息可以包括视觉焦点的移动范围等信息,该移动范围可以是视觉焦点视线停留的交点本身或由视线扫视若干交点合围成的区域,而视觉焦点在显示屏上的停留时间可以包括视觉焦点停留在某交点的时间或视觉焦点扫视某区域所停留的时间。本发明实施例中获取移动终端用户的视觉焦点移动信息和视觉焦点在显示屏上的停留时间的方法和第一实施例相同,在此不再赘述。
步骤202,根据所述视觉焦点移动信息,确定第一文字内容。
本步骤中,确定第一文字内容可以是字、词、句、段等。当用户在阅读时遇到不认识的词句,其视线会习惯性地在陌生词句中发生停顿。其中,除了可以通过根据视觉焦点移动的区域确定第一文字内容,也可通过视觉焦点的停留点来确定第一文字内容,该停留点与周边文字具有预设的关联。如,当该停留点处于某单词中时,以该单词作为第一文字内容;当该停留点处于两个单词中间时,以该两单词所组成的词组作为第一文字内容;当该停留点处于某个句子的句首时,以该句子作为第一文字内容。
步骤203,判断移动终端用户的视觉焦点在所述第一文字内容上停留的时间是否超过预设第一时间阈值,若是,则执行步骤204,若否则结束。
本步骤中,当第一文字内容确定后,进一步判断移动终端用户的视觉焦点在所述第一文字内容上停留的时间是否超过预设第一时间阈值。其中,该第一时间阈值可由预先采集的用户阅读普通文字时的速度情况得到,也可以是用户设定或其他方法设定。
步骤204,当判断结果为是时,将所述第一文字内容用下划线标注,并在所述待翻译内容的最后一个字符的右下角显示结束标识。
本步骤中,将所述第一文字内容用下划线标注,并在所述待翻译内容的最后一个字符的右下角显示结束标识,以上句1为例:1.The best preparation●for tomorrow isdoing your best today.在上述句子中,所述第一内容为单词preparation,在preparation用下划线标注,并在最后一个字符n的右下角显示结束标识,例如上述句子中的实心小圆点“●”。
此外,为增加辨识度,该下划线和结束标识的颜色用户均可自定义设置,例如可设置为红色或绿色等其他颜色。
步骤205,判断移动终端用户的视觉焦点在所述结束标识上停留的时间是否超过预设第二时间阈值,若是,则执行步骤206,若否则结束。
本步骤中,当结束标识生成后,需要获取视觉焦点在结束标识,如该圆点上停留的时间,以比对该时间是否超过预设第二时间阈值。如,第二时间阈值可以是0.5s,该用户可通过注视该圆点0.5s来确定进行下一步。
本发明实施例中,当移动终端用户的视觉焦点在所述结束标识上停留的时间超过预设第二时间阈值后,才将第一文字内容确定为待翻译内容,通过结束标识进一步确认用户所需要翻译的内容,适用于用户反复看某一词句,只是认为该词句很重要而不是不认识该词句的情况,从而避免了翻译的误触发,提高了确定待翻译内容过程的准确性。
步骤206,当判断结果为是时,将所述第一文字内容确定为待翻译内容。
本发明实施例中,当用户注视该结束标识的时间超过第二时间阈值,也即用户进一步确认了待翻译内容,下达了翻译指令,此时,将第一文字内容确定为待翻译内容。
步骤207,对所述待翻译内容进行翻译,得到翻译信息。
本发明实施例中,可直接在网络上搜索翻译信息,也可从一预设的词库中获取该翻译信息。其中,对待翻译内容的翻译,可以是从一种语言信息到另一种语言信息,如将英文信息翻译为中文信息;也可以是以同种语言所作的释义,如网络语言的翻译或文言文的翻译等。
步骤208,显示所述翻译信息。
本步骤中,可将翻译信息显示于靠近待翻译内容的位置,例如待翻译内容中最后一个字符的右下角的位置,以便于用户识别;也将翻译信息显示于显示屏上的其他区域,还可以是由用户设定的区域。
步骤209,检测移动终端用户的视觉焦点在显示屏上的位置变化信息。
本发明实施例中,当用户继续阅读后面的文字,会将视线从待翻译内容的相应区域中移开;当用户仍处于阅读待翻译内容或翻译信息的状态,则视线会停留在相应区域。因此可以利用用户的这一阅读习惯判断是否消除所述下划线、结束标识和翻译信息的显示。
步骤210,当所述位置变化信息为超出所述视觉焦点移动区域时,消除所述下划线、结束标识和翻译信息的显示。
本步骤中,当步骤209所检测到的用户视觉焦点的位置变化信息已超出所述视觉焦点移动区域时,可判断出用户已经开始阅读后面的文字,此时消除所述下划线、结束标识和翻译信息的显示。
本发明实施例中,也可以在翻译信息的周边设置取消标记,通过单击该标记即可消除显示,还可以通过语音或其他方法消除显示。通过检测移动终端用户的视觉焦点在显示屏上的位置变化信息,当所述位置变化信息为超出所述视觉焦点移动区域时,消除所述下划线、结束标识和翻译信息的显示,实现了自动消除用户已阅读完毕的翻译信息,释放阅读版面。
优选的,如图3所示,步骤202具体包括:
步骤2021,根据所述视觉焦点移动信息,确定视觉焦点移动区域和视觉焦点在所述移动区域中的来回移动次数。
本发明实施例中,当用户在阅读时遇到不认识的词句,其视线会习惯性地在陌生词句来回看以分析其内涵,根据这一阅读特点则可获取陌生词句的位置。此时,根据视觉焦点的切换,确定视觉焦点移动区域,一个字或一个词或一个短语;同时获取视觉焦点在所述移动区域中的来回移动次数。
步骤2022,判断所述来回移动次数是否超过预设次数阈值,若是,则执行步骤2023,若否则结束。
本步骤中,判断步骤2021所获取的来回移动次数是否超过预设次数阈值,该预设次数阈值可由预先采集的用户阅读普通文字时的扫视情况得到,也可以是用户设定或其他方法设定。
步骤2023,当判断结果为是时,将所述视觉焦点移动区域中的文字内容确定为第一文字内容。
本步骤中,当步骤2022判断出步骤2021所获取的来回移动次数超过预设次数阈值,则将视觉焦点移动区域中的文字内容确定为第一文字内容。
例如,通过视觉焦点的定位,发现以下三个句子中,句1里面只在单词“preparation”扫视,句2在“put off”扫视,句3在整个句子上扫视,当其来回移动次数超过预设次数阈值,则定义句1中的单词“preparation”为第一文字内容,定义句2中的短语“putoff”为第一文字内容,而定义句3中的整个句子为第一文字内容。
1.The best preparation for tomorrow is doing your best today.
2.Never put off what you can do today until tomorrow.
3.Action speak louder than words.
优选的,如图4所示,步骤207具体包括:
步骤2071,判断预设的词库中是否存在所述待翻译内容,若是,则执行步骤2072,若否,则执行步骤2073。
本发明实施例中,为便于查找待翻译内容的翻译信息,可以在本地设置一个词库,当确定待翻译内容后,便可判断该预设的词库中是否存在该待翻译内容。该词库可分为中文和英文两部分,还可动态更新其内容。
步骤2072,当所述词库中存在所述待翻译内容时,在所述词库中搜索得到所述待翻译内容的翻译信息。
步骤2073,当所述词库中不存在所述待翻译内容时,通过联网搜索得到所述待翻译内容的翻译信息。
本步骤中,当所述词库中不存在所述待翻译内容时,可以到百度百科、网络词汇或经典词汇大全上自动进行搜索。
步骤2074,获取所述词库中的词汇分类信息。
本步骤中,搜索到翻译信息后,还可以进一步将搜索到的内容按照词库的词汇分类信息添加到词库。
本发明实施例中,为便于快速查找,该词库还可根据词性,如动词、名词或副词等对词汇进行分类。进一步的,名词还可以根据建筑类、瓜果类、人名类等分类。
步骤2075,根据所述词汇分类信息和待翻译内容,确定所述待翻译内容所对应的分类名称。
本步骤中,在获取到词汇分类信息后,将待翻译内容与词汇分类信息进行匹配,找到待翻译内容所对应的分类名称。
步骤2076,将所述待翻译内容按照所述分类名称存储至所述词库中。
本步骤,在确定待翻译内容多对应的分类名称后,按照该分类名称将所述待翻译内容存储至所述词库中。
其中,所述词库按照预设周期通过联网搜索自动分类存储所搜索到的新的词汇信息;另外,所述词库按照预设周期将使用频率低于预设频率阈值的词汇信息自动删除。通过可自动更新的词库的设置,一方面满足了用户不必联网也可使用翻译功能的要求,另一方面由于词库可自动联网添加词汇的同时,也可删减使用率低的词汇,可以保证不占用过多空间。
具体地,若判断到哪些词或短语,用户很生疏,而词库中又没有的,则自动将该词语或短语,从网络中自动同步到词库里,例如可以默认到百度百科、网络词汇或经典词汇大全上自动搜索;若判断哪些词或短语用户已经很熟了,移动终端会自动从词库中将其删除,以减少占用的内置空间。如此一来,既减少搜索花费的时间,也不用每次都联网,节省流量。
自动删除词汇信息的方法可以是:文字信息每获取注释信息一次,其使用频率加1,移动终端定期自动统计文字信息的使用频率,若某些文字信息的使用频率远低于其它文字信息,或压根没用过,则自动将其删除。而当检索网络新词时,如下所示,将文字信息和其对应的注释信息一起自动同步到词库中:
稀饭——喜欢;
斑竹、或板猪——版主;
腐竹——服主;
群猪——群主等;
喜大普奔——喜闻乐见、大快人心、普天同庆、奔走相告这四个成语的缩略法;
人艰不拆——人生已经如此艰难,就不要拆穿了吧。
本发明实施例提供的翻译方法,通过判断移动终端用户的视觉焦点在所述第一文字内容上停留的时间是否超过预设第一时间阈值,然后判断移动终端用户的视觉焦点在所述结束标识上停留的时间是否超过预设第二时间阈值以确定第一文字内容是否为待翻译内容,避免了翻译的误触发,提高了确定待翻译内容过程的准确性。通过判断视觉焦点在视觉焦点移动区域来回移动次数是否超过预设次数阈值来确定是否将移动区域中的文字作为第一文字内容;通过可自动更新的词库的设置,一方面满足了用户不必联网也可使用翻译功能的要求,另一方面由于词库可自动联网添加词汇的同时,也可删减使用率低的词汇,可以保证不占用过多空间;通过检测移动终端用户的视觉焦点在显示屏上的位置变化信息,当所述位置变化信息为超出所述视觉焦点移动区域时,消除所述下划线、结束标识和翻译信息的显示,实现了自动消除用户已阅读完毕的翻译信息,释放阅读版面,提高了用户体验。
上文对本发明移动终端的显示方法的实施例作了详细介绍。下面将相应于上述方法的装置(即移动终端)作进一步阐述。其中,移动终端可以是手机、平板电脑、MP3或MP4等。
第三实施例
如图5所示,为本发明移动终端的第一实施例的结构框图之一。该移动终端500包括前置摄像头和显示屏(图中未画出),该移动终端500还包括眼球追踪传感器501、确定模块502、翻译模块503和显示模块504,其中,眼球追踪传感器501与确定模块502相连接,确定模块502与翻译模块503相连接,翻译模块503与显示模块504相连接。
本发明实施例中,眼球追踪传感器501用于通过前置摄像头获取移动终端用户的视觉焦点移动信息和视觉焦点在显示屏上的停留时间。
在本发明实施例中,视觉焦点为用户注视移动终端的显示屏时,以用户的眼球为中心点延伸出的视轴线与显示屏所在平面的交点。其中,视觉焦点的移动信息可以包括视觉焦点的移动范围等信息,该移动范围可以是视觉焦点视线停留的交点本身或由视线扫视若干交点合围成的区域,而视觉焦点在显示屏上的停留时间可以包括视觉焦点停留在某交点的时间或视觉焦点扫视某区域所停留的时间。本发明实施例中,获取视觉焦点所利用的眼球追踪传感器501,可以是红外前置摄像头加红外光发射管,还可以用普通前置摄像头实现。由于人的角膜具有反射功能,因此近红外光源发出的红外线能够在用户的角膜上形成高亮度的反射。当眼球开始转动时,反射点也随之而动。
本发明实施例中,确定模块502用于根据所述眼球追踪传感器501获取的所述视觉焦点移动信息和视觉焦点在显示屏上的停留时间,确定待翻译内容。
本发明实施例中,待翻译内容包括可编辑的文本信息,也包括不可编辑的文字信息,如图片中的文字等。
本发明实施例中,翻译模块503用于对所述确定模块502确定的待翻译内容进行翻译,得到翻译信息。
本发明实施例中,该翻译模块503可直接在网络上搜索翻译信息,也可从一预设的词库中获取该翻译信息。其中,对待翻译内容的翻译,可以是从一种语言信息到另一种语言信息,如将英文信息翻译为中文信息;也可以是以同种语言所作的释义,如网络语言的翻译或文言文的翻译等。
本发明实施例中,显示模块504,用于显示所述翻译模块503得到的翻译信息。
本发明实施例中,显示模块504可将翻译信息显示于靠近待翻译内容的位置,例如待翻译内容中最后一个字符的右下角的位置,以便于用户识别;也可以是显示屏上的其他区域,还可以是由用户设定的区域。
如图6所示,在图5的基础上,移动终端500还包括语音识别模块505和唇语识别模块506。
本发明实施例中,语音识别模块505,用于当无法获取移动终端用户的视觉焦点移动信息和视觉焦点在显示屏上的停留时间时,通过语音识别获取移动终端用户的语音信息。
本发明实施例中,唇语识别模块506,用于当无法获取移动终端用户的视觉焦点移动信息和视觉焦点在显示屏上的停留时间时,通过所述前置摄像头进行唇语识别获取移动终端用户的唇语信息。
所述确定模块502具体包括:第一转换单元5021、第三确定单元5022、第二转换单元5023和第四确定单元5024。
其中,第一转换单元5021,用于将所述语音识别模块505获取的所述语音信息转换为第二文字内容。
第三确定单元5022,用于将所述第一转换单元5021得到的所述第二文字内容确定为待翻译内容。
第二转换单元5023,用于将所述唇语识别模块506获取的所述唇语信息转换为第三文字内容。
第四确定单元5024,用于将所述第二转换单元5023得到的所述第三文字内容确定为待翻译内容。
如图7所示,在图5的基础上,所述确定模块502具体包括:
第一确定单元5025,用于根据所述眼球追踪传感器501获取的所述视觉焦点移动信息,确定第一文字内容。
第一判断单元5026,用于判断移动终端用户的视觉焦点在所述第一文字内容上停留的时间是否超过预设第一时间阈值。
标注单元5027,用于当所述第一判断单元5026判断的结果为是时,将所述第一文字内容用下划线标注,并在所述待翻译内容的最后一个字符的右下角显示结束标识。
第二判断单元5028,用于判断移动终端用户的视觉焦点在所述标注单元得到的所述结束标识上停留的时间是否超过预设第二时间阈值。
第二确定单元5029,用于当所述第二判断单元5028判断的结果为是时,将所述第一文字内容确定为待翻译内容。
优选的,所述第一确定单元5025具体包括:
第一确定子单元50251,用于根据所述眼球追踪传感器501获取的所述视觉焦点移动信息,确定视觉焦点移动区域和视觉焦点在所述移动区域中的来回移动次数。
判断子单元50252,用于判断所述第一确定子单元50251确定的所述来回移动次数是否超过预设次数阈值。
第二确定子单元50253,用于当所述判断子单元50252判断的结果为是时,将所述视觉焦点移动区域中的文字内容确定为第一文字内容。
优选的,所述移动终端500还包括:
检测模块507,用于检测移动终端用户的视觉焦点在显示屏上的位置变化信息;
消除模块508,用于当所述检测模块507检测到所述位置变化信息为超出所述视觉焦点移动区域时,消除所述下划线、结束标识和翻译信息的显示。
优选的,所述翻译模块503具体包括:
第三判断单元5031,用于判断预设的词库中是否存在所述待翻译内容。
第一翻译单元5032,用于当所述第三判断单元5031判断出所述词库中存在所述待翻译内容时,在所述词库中搜索得到所述待翻译内容的翻译信息。
第二翻译单元5033,用于当所述第三判断单元5031判断出所述词库中不存在所述待翻译内容时,通过联网搜索得到所述待翻译内容的翻译信息;
获取单元5034,用于获取所述词库中的词汇分类信息;
分类名称确定单元5035,用于根据所述词汇分类信息和待翻译内容,确定所述待翻译内容所对应的分类名称;
存储单元5036,用于将所述待翻译内容按照所述分类名称存储至所述词库中。
其中,所述词库按照预设周期通过联网搜索自动分类存储所搜索到的新的词汇信息。所述词库按照预设周期将使用频率低于预设频率阈值的词汇信息自动删除。
本发明实施例提供的移动终端500,通过眼球追踪传感器501获取移动终端用户的视觉焦点移动信息和视觉焦点在显示屏上的停留时间,确定模块502根据所述眼球追踪传感器501获取的所述视觉焦点移动信息和视觉焦点在显示屏上的停留时间,确定待翻译内容,翻译模块503对所述确定模块确定的待翻译内容进行翻译,得到翻译信息,显示模块504显示所述翻译模块503得到的翻译信息,实现了根据移动终端用户的视觉焦点的移动即可确定待翻译内容并显示待翻译内容的翻译信息,不需要用户退出当前阅读界面查询生词的翻译信息,不影响用户阅读的连贯性,提升了用户的阅读体验。还通过可自动更新的词库的设置,一方面满足了用户不必联网也可使用翻译功能的要求,另一方面由于词库可自动联网添加词汇的同时,也可删减使用率低的词汇,可以保证不占用过多空间;通过检测移动终端用户的视觉焦点在显示屏上的位置变化信息,当所述位置变化信息为超出所述视觉焦点移动区域时,消除所述下划线、结束标识和翻译信息的显示,实现了自动消除用户已阅读完毕的翻译信息,释放阅读版面,提高了用户体验。
第四实施例
图8是本发明移动终端的第二实施例的结构框图。图8所示的移动终端800包括:至少一个处理器801、存储器802、至少一个网络接口804、用户接口803和其他组件806,其他组件806包括眼球追踪传感器和前置摄像头。移动终端800中的各个组件通过总线***805耦合在一起。可理解,总线***805用于实现这些组件之间的连接通信。总线***805除包括数据总线之外,还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见,在图8中将各种总线都标为总线***805。
其中,用户接口803可以包括显示器、键盘或者点击设备(例如,鼠标,轨迹球(trackball)、触感板或者触摸屏等。
可以理解,本发明实施例中的存储器802可以是易失性存储器或非易失性存储器,或可包括易失性和非易失性存储器两者。其中,非易失性存储器可以是只读存储器(Read-OnlyMemory,ROM)、可编程只读存储器(ProgrammableROM,PROM)、可擦除可编程只读存储器(ErasablePROM,EPROM)、电可擦除可编程只读存储器(ElectricallyEPROM,EEPROM)或闪存。易失性存储器可以是随机存取存储器(RandomAccessMemory,RAM),其用作外部高速缓存。通过示例性但不是限制性说明,许多形式的RAM可用,例如静态随机存取存储器(StaticRAM,SRAM)、动态随机存取存储器(DynamicRAM,DRAM)、同步动态随机存取存储器(SynchronousDRAM,SDRAM)、双倍数据速率同步动态随机存取存储器(DoubleDataRateSDRAM,DDRSDRAM)、增强型同步动态随机存取存储器(Enhanced SDRAM,ESDRAM)、同步连接动态随机存取存储器(SynchlinkDRAM,SLDRAM)和直接内存总线随机存取存储器(DirectRambusRAM,DRRAM)。本发明实施例描述的***和方法的存储器802旨在包括但不限于这些和任意其它适合类型的存储器。
在一些实施方式中,存储器802存储了如下的元素,可执行模块或者数据结构,或者他们的子集,或者他们的扩展集:操作***8021和应用程序8022。
其中,操作***8021,包含各种***程序,例如框架层、核心库层、驱动层等,用于实现各种基础业务以及处理基于硬件的任务。应用程序8022,包含各种应用程序,例如媒体播放器(MediaPlayer)、浏览器(Browser)等,用于实现各种应用业务。实现本发明实施例方法的程序可以包含在应用程序8022中。
在本发明实施例中,通过调用存储器802存储的程序或指令,具体的,可以是应用程序8022中存储的程序或指令,眼球追踪传感器用于获取移动终端用户的视觉焦点移动信息和视觉焦点在显示屏上的停留时间;处理器801用于根据所述视觉焦点移动信息和视觉焦点在显示屏上的停留时间,确定待翻译内容;处理器801还用于对所述待翻译内容进行翻译,得到翻译信息;处理器801还用于控制用户接口803中的显示器显示所述翻译信息。
上述本发明实施例揭示的方法可以应用于处理器801中,或者由处理器801实现。处理器801可能是一种集成电路芯片,具有信号的处理能力。在实现过程中,上述方法的各步骤可以通过处理器801中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器801可以是通用处理器、数字信号处理器(DigitalSignalProcessor,DSP)、专用集成电路(ApplicationSpecific IntegratedCircuit,ASIC)、现成可编程门阵列(FieldProgrammableGateArray,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成,或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器,闪存、只读存储器,可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器802,处理器801读取存储器802中的信息,结合其硬件完成上述方法的步骤。
可以理解的是,本发明实施例描述的这些实施例可以用硬件、软件、固件、中间件、微码或其组合来实现。对于硬件实现,处理单元可以实现在一个或多个专用集成电路(ApplicationSpecificIntegratedCircuits,ASIC)、数字信号处理器(DigitalSignalProcessing,DSP)、数字信号处理设备(DSPDevice,DSPD)、可编程逻辑设备(ProgrammableLogicDevice,PLD)、现场可编程门阵列(Field-ProgrammableGateArray,FPGA)、通用处理器、控制器、微控制器、微处理器、用于执行本申请所述功能的其它电子单元或其组合中。
对于软件实现,可通过执行本发明实施例所述功能的模块(例如过程、函数等)来实现本发明实施例所述的技术。软件代码可存储在存储器中并通过处理器执行。存储器可以在处理器中或在处理器外部实现。
可选地,处理器801还用于:根据所述视觉焦点移动信息,确定第一文字内容;判断移动终端用户的视觉焦点在所述第一文字内容上停留的时间是否超过预设第一时间阈值;当判断结果为是时,将所述第一文字内容用下划线标注,并在所述待翻译内容的最后一个字符的右下角显示结束标识;判断移动终端用户的视觉焦点在所述结束标识上停留的时间是否超过预设第二时间阈值;当判断结果为是时,将所述第一文字内容确定为待翻译内容。
可选地,处理器801还用于:根据所述视觉焦点移动信息,确定视觉焦点移动区域和视觉焦点在所述移动区域中的来回移动次数;判断所述来回移动次数是否超过预设次数阈值;当判断结果为是时,将所述视觉焦点移动区域中的文字内容确定为第一文字内容。
可选地,处理器801还用于:当无法获取移动终端用户的视觉焦点移动信息和视觉焦点在显示屏上的停留时间时,通过语音识别获取移动终端用户的语音信息。
可选地,处理器801还用于:将所述语音信息转换为第二文字内容;将所述第二文字内容确定为待翻译内容。
可选地,处理器801还用于:当无法获取移动终端用户的视觉焦点移动信息和视觉焦点在显示屏上的停留时间时,通过所述前置摄像头进行唇语识别获取移动终端用户的唇语信息。
可选地,处理器801还用于:将所述唇语信息转换为第三文字内容;将所述第三文字内容确定为待翻译内容。
可选地,眼球追踪传感器还用于检测移动终端用户的视觉焦点在显示屏上的位置变化信息;当所述位置变化信息为超出所述视觉焦点移动区域时,处理器801还用于控制用户接口803中的显示器消除所述下划线、结束标识和翻译信息的显示。
可选地,处理器801还用于:判断预设的词库中是否存在所述待翻译内容;当所述词库中存在所述待翻译内容时,在所述词库中搜索得到所述待翻译内容的翻译信息。
可选地,处理器801还用于:当所述词库中不存在所述待翻译内容时,通过联网搜索得到所述待翻译内容的翻译信息;获取所述词库中的词汇分类信息;根据所述词汇分类信息和待翻译内容,确定所述待翻译内容所对应的分类名称;将所述待翻译内容按照所述分类名称存储至所述词库中。
本发明实施例中,所述词库按照预设周期通过联网搜索自动分类存储所搜索到的新的词汇信息。所述词库按照预设周期将使用频率低于预设频率阈值的词汇信息自动删除。
移动终端800能够实现前述实施例中移动终端实现的各个过程,为避免重复,这里不再赘述。
本发明实施例提供的移动终端800,通过眼球追踪传感器获取移动终端用户的视觉焦点移动信息和视觉焦点在显示屏上的停留时间,处理器801根据所述眼球追踪传感器获取的所述视觉焦点移动信息和视觉焦点在显示屏上的停留时间,确定待翻译内容,并对所述确定模块确定的待翻译内容进行翻译,得到翻译信息,最后处理器801控制用户接口803中的显示器显示所述翻译信息,实现了根据移动终端用户的视觉焦点的移动即可确定待翻译内容并显示待翻译内容的翻译信息,不需要用户退出当前阅读界面查询生词的翻译信息,不影响用户阅读的连贯性,提升了用户的阅读体验。还通过可自动更新的词库的设置,一方面满足了用户不必联网也可使用翻译功能的要求,另一方面由于词库可自动联网添加词汇的同时,也可删减使用率低的词汇,可以保证不占用过多空间;通过检测移动终端用户的视觉焦点在显示屏上的位置变化信息,当所述位置变化信息为超出所述视觉焦点移动区域时,消除所述下划线、结束标识和翻译信息的显示,实现了自动消除用户已阅读完毕的翻译信息,释放阅读版面,提高了用户体验。
第五实施例
图9是本发明移动终端的第三实施例的结构框图。具体地,图9中的移动终端900可以为手机、平板电脑、个人数字助理(PersonalDigital Assistant,PDA)、或车载电脑等。
图9中的移动终端900包括射频(RadioFrequency,RF)电路910、存储器920、输入单元930、显示单元940、其他组件950、处理器960、音频电路970、WiFi(WirelessFidelity)模块980和电源990,其中,其他组件950包括眼球追踪传感器和前置摄像头。
其中,输入单元930可用于接收用户输入的数字或字符信息,以及产生与移动终端900的用户设置以及功能控制有关的信号输入。具体地,本发明实施例中,该输入单元930可以包括触控面板931。触控面板931,也称为触摸屏,可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触控面板931上的操作),并根据预先设定的程式驱动相应的连接装置。可选的,触控面板931可包括触摸检测装置和触摸控制器两个部分。其中,触摸检测装置检测用户的触摸方位,并检测触摸操作带来的信号,将信号传送给触摸控制器;触摸控制器从触摸检测装置上接收触摸信息,并将它转换成触点坐标,再送给该处理器960,并能接收处理器960发来的命令并加以执行。此外,可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触控面板931。除了触控面板931,输入单元930还可以包括其他输入设备932,其他输入设备932可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆等中的一种或多种。
其中,显示单元940可用于显示由用户输入的信息或提供给用户的信息以及移动终端900的各种菜单界面。显示单元940可包括显示面板941,可选的,可以采用LCD或有机发光二极管(OrganicLight-EmittingDiode,OLED)等形式来配置显示面板941。
应注意,触控面板931可以覆盖显示面板941,形成触摸显示屏,当该触摸显示屏检测到在其上或附近的触摸操作后,传送给处理器960以确定触摸事件的类型,随后处理器960根据触摸事件的类型在触摸显示屏上提供相应的视觉输出。
触摸显示屏包括应用程序界面显示区及常用控件显示区。该应用程序界面显示区及该常用控件显示区的排列方式并不限定,可以为上下排列、左右排列等可以区分两个显示区的排列方式。该应用程序界面显示区可以用于显示应用程序的界面。每一个界面可以包含至少一个应用程序的图标和/或widget桌面控件等界面元素。该应用程序界面显示区也可以为不包含任何内容的空界面。该常用控件显示区用于显示使用率较高的控件,例如,设置按钮、界面编号、滚动条、电话本图标等应用程序图标等。
其中处理器960是移动终端900的控制中心,利用各种接口和线路连接整个手机的各个部分,通过运行或执行存储在第一存储器921内的软件程序和/或模块,以及调用存储在第二存储器922内的数据,执行移动终端900的各种功能和处理数据,从而对移动终端900进行整体监控。可选的,处理器960可包括一个或多个处理单元。
在本发明实施例中,通过调用存储该第一存储器921内的软件程序和/或模块和/或该第二存储器922内的数据,眼球追踪传感器用于获取移动终端用户的视觉焦点移动信息和视觉焦点在显示屏上的停留时间;处理器960用于根据所述视觉焦点移动信息和视觉焦点在显示屏上的停留时间,确定待翻译内容;处理器960还用于对所述待翻译内容进行翻译,得到翻译信息;处理器960还用于控制显示单元940显示所述翻译信息。
可选地,处理器960还用于:根据所述视觉焦点移动信息,确定视觉焦点移动区域和视觉焦点在所述移动区域中的来回移动次数;判断所述来回移动次数是否超过预设次数阈值;当判断结果为是时,将所述视觉焦点移动区域中的文字内容确定为第一文字内容。
可选地,处理器960还用于:当无法获取移动终端用户的视觉焦点移动信息和视觉焦点在显示屏上的停留时间时,通过语音识别获取移动终端用户的语音信息。
可选地,处理器960还用于:将所述语音信息转换为第二文字内容;将所述第二文字内容确定为待翻译内容。
可选地,处理器960还用于:当无法获取移动终端用户的视觉焦点移动信息和视觉焦点在显示屏上的停留时间时,通过所述前置摄像头进行唇语识别获取移动终端用户的唇语信息。
可选地,处理器960还用于:将所述唇语信息转换为第三文字内容;将所述第三文字内容确定为待翻译内容。
可选地,眼球追踪传感器还用于检测移动终端用户的视觉焦点在显示屏上的位置变化信息;当所述位置变化信息为超出所述视觉焦点移动区域时,处理器960还用于控制显示单元940消除所述下划线、结束标识和翻译信息的显示。
可选地,处理器960还用于:判断预设的词库中是否存在所述待翻译内容;当所述词库中存在所述待翻译内容时,在所述词库中搜索得到所述待翻译内容的翻译信息。
可选地,处理器960还用于:当所述词库中不存在所述待翻译内容时,通过联网搜索得到所述待翻译内容的翻译信息;获取所述词库中的词汇分类信息;根据所述词汇分类信息和待翻译内容,确定所述待翻译内容所对应的分类名称;将所述待翻译内容按照所述分类名称存储至所述词库中。
本发明实施例中,所述词库按照预设周期通过联网搜索自动分类存储所搜索到的新的词汇信息。所述词库按照预设周期将使用频率低于预设频率阈值的词汇信息自动删除。
移动终端900能够实现前述实施例中移动终端实现的各个过程,为避免重复,这里不再赘述。
本发明实施例提供的移动终端900,通过眼球追踪传感器获取移动终端用户的视觉焦点移动信息和视觉焦点在显示屏上的停留时间,处理器960根据所述眼球追踪传感器获取的所述视觉焦点移动信息和视觉焦点在显示屏上的停留时间,确定待翻译内容,并对所述确定模块确定的待翻译内容进行翻译,得到翻译信息,最后处理器960控制显示单元940显示所述翻译信息,实现了根据移动终端用户的视觉焦点的移动即可确定待翻译内容并显示待翻译内容的翻译信息,不需要用户退出当前阅读界面查询生词的翻译信息,不影响用户阅读的连贯性,提升了用户的阅读体验。还通过可自动更新的词库的设置,一方面满足了用户不必联网也可使用翻译功能的要求,另一方面由于词库可自动联网添加词汇的同时,也可删减使用率低的词汇,可以保证不占用过多空间;通过检测移动终端用户的视觉焦点在显示屏上的位置变化信息,当所述位置变化信息为超出所述视觉焦点移动区域时,消除所述下划线、结束标识和翻译信息的显示,实现了自动消除用户已阅读完毕的翻译信息,释放阅读版面,提高了用户体验。
本领域普通技术人员可以意识到,结合本发明实施例中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的***、装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本申请所提供的实施例中,应该理解到,所揭露的装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个***,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应以权利要求的保护范围为准。

Claims (12)

1.一种翻译方法,应用于具有显示屏和前置摄像头的移动终端,其特征在于,所述翻译方法包括:
获取移动终端用户的视觉焦点移动信息和视觉焦点在显示屏上的停留时间;
根据所述视觉焦点移动信息和视觉焦点在显示屏上的停留时间,确定待翻译内容;
对所述待翻译内容进行翻译,得到翻译信息;
显示所述翻译信息;
其中,所述根据所述视觉焦点移动信息和视觉焦点在显示屏上的停留时间,确定待翻译内容的步骤,包括:
根据所述视觉焦点移动信息,确定第一文字内容;
判断移动终端用户的视觉焦点在所述第一文字内容上停留的时间是否超过预设第一时间阈值;
当判断结果为是时,将所述第一文字内容用下划线标注,并在所述待翻译内容的最后一个字符的右下角显示结束标识;
判断移动终端用户的视觉焦点在所述结束标识上停留的时间是否超过预设第二时间阈值;
当判断结果为是时,将所述第一文字内容确定为待翻译内容;
所述根据所述视觉焦点移动信息,确定第一文字内容的步骤,包括:
根据所述视觉焦点移动信息,确定视觉焦点移动区域和视觉焦点在所述移动区域中的来回移动次数;
判断所述来回移动次数是否超过预设次数阈值;
当判断结果为是时,将所述视觉焦点移动区域中的文字内容确定为第一文字内容;
当无法获取移动终端用户的视觉焦点移动信息和视觉焦点在显示屏上的停留时间时,通过语音识别获取移动终端用户的语音信息来确定待翻译内容,具体为:
将所述语音信息转换为第二文字内容;
将所述第二文字内容确定为待翻译内容;
当无法获取移动终端用户的视觉焦点移动信息和视觉焦点在显示屏上的停留时间时,通过所述前置摄像头进行唇语识别获取移动终端用户的唇语信息来确定待翻译内容,具体为:
将所述唇语信息转换为第三文字内容;
将所述第三文字内容确定为待翻译内容。
2.根据权利要求1所述的方法,其特征在于,
所述显示所述翻译信息的步骤之后,进一步包括:
检测移动终端用户的视觉焦点在显示屏上的位置变化信息;
当所述位置变化信息为超出所述视觉焦点移动区域时,消除所述下划线、结束标识和翻译信息的显示。
3.根据权利要求1所述的方法,其特征在于,
所述对所述待翻译内容进行翻译,得到翻译信息的步骤,包括:
判断预设的词库中是否存在所述待翻译内容;
当所述词库中存在所述待翻译内容时,在所述词库中搜索得到所述待翻译内容的翻译信息。
4.根据权利要求3所述的方法,其特征在于,
所述对所述待翻译内容进行翻译,得到翻译信息的步骤,包括:
当所述词库中不存在所述待翻译内容时,通过联网搜索得到所述待翻译内容的翻译信息;
获取所述词库中的词汇分类信息;
根据所述词汇分类信息和待翻译内容,确定所述待翻译内容所对应的分类名称;
将所述待翻译内容按照所述分类名称存储至所述词库中。
5.根据权利要求3所述的方法,其特征在于,
所述词库按照预设周期通过联网搜索自动分类存储所搜索到的新的词汇信息。
6.根据权利要求3所述的方法,其特征在于,
所述词库按照预设周期将使用频率低于预设频率阈值的词汇信息自动删除。
7.一种移动终端,包括显示屏和前置摄像头,其特征在于,所述移动终端还包括:
眼球追踪传感器,用于获取移动终端用户的视觉焦点移动信息和视觉焦点在显示屏上的停留时间;
确定模块,用于根据所述眼球追踪传感器获取的所述视觉焦点移动信息和视觉焦点在显示屏上的停留时间,确定待翻译内容;
翻译模块,用于对所述确定模块确定的待翻译内容进行翻译,得到翻译信息;
显示模块,用于显示所述翻译模块得到的翻译信息;
其中,所述确定模块包括:
第一确定单元,用于根据所述眼球追踪传感器获取的所述视觉焦点移动信息,确定第一文字内容;
第一判断单元,用于判断移动终端用户的视觉焦点在所述第一文字内容上停留的时间是否超过预设第一时间阈值;
标注单元,用于当所述第一判断单元判断的结果为是时,将所述第一文字内容用下划线标注,并在所述待翻译内容的最后一个字符的右下角显示结束标识;
第二判断单元,用于判断移动终端用户的视觉焦点在所述标注单元得到的所述结束标识上停留的时间是否超过预设第二时间阈值;
第二确定单元,用于当所述第二判断单元判断的结果为是时,将所述第一文字内容确定为待翻译内容;
所述第一确定单元包括:
第一确定子单元,用于根据所述眼球追踪传感器获取的所述视觉焦点移动信息,确定视觉焦点移动区域和视觉焦点在所述移动区域中的来回移动次数;
判断子单元,用于判断所述第一确定子单元确定的所述来回移动次数是否超过预设次数阈值;
第二确定子单元,用于当所述判断子单元判断的结果为是时,将所述视觉焦点移动区域中的文字内容确定为第一文字内容;
所述移动终端还包括:
语音识别模块,用于当无法获取移动终端用户的视觉焦点移动信息和视觉焦点在显示屏上的停留时间时,通过语音识别获取移动终端用户的语音信息;
则所述确定模块还包括:
第一转换单元,用于将所述语音识别模块获取的所述语音信息转换为第二文字内容;
第三确定单元,用于将所述第一转换单元得到的所述第二文字内容确定为待翻译内容;
所述移动终端还包括:
唇语识别模块,用于当无法获取移动终端用户的视觉焦点移动信息和视觉焦点在显示屏上的停留时间时,通过所述前置摄像头进行唇语识别获取移动终端用户的唇语信息;
则所述确定模块还包括:
第二转换单元,用于将所述唇语识别模块获取的所述唇语信息转换为第三文字内容;
第四确定单元,用于将所述第二转换单元得到的所述第三文字内容确定为待翻译内容。
8.根据权利要求7所述的移动终端,其特征在于,
所述移动终端还包括:
检测模块,用于检测移动终端用户的视觉焦点在显示屏上的位置变化信息;
消除模块,用于当所述检测模块检测到所述位置变化信息为超出所述视觉焦点移动区域时,消除所述下划线、结束标识和翻译信息的显示。
9.根据权利要求7所述的移动终端,其特征在于,
所述翻译模块包括:
第三判断单元,用于判断预设的词库中是否存在所述待翻译内容;
第一翻译单元,用于当所述第三判断单元判断出所述词库中存在所述待翻译内容时,在所述词库中搜索得到所述待翻译内容的翻译信息。
10.根据权利要求9所述的移动终端,其特征在于,
所述翻译模块还包括:
第二翻译单元,用于当所述第三判断单元判断出所述词库中不存在所述待翻译内容时,通过联网搜索得到所述待翻译内容的翻译信息;
获取单元,用于获取所述词库中的词汇分类信息;
分类名称确定单元,用于根据所述词汇分类信息和待翻译内容,确定所述待翻译内容所对应的分类名称;
存储单元,用于将所述待翻译内容按照所述分类名称存储至所述词库中。
11.根据权利要求9所述的移动终端,其特征在于,
所述词库按照预设周期通过联网搜索自动分类存储所搜索到的新的词汇信息。
12.根据权利要求9所述的移动终端,其特征在于,
所述词库按照预设周期将使用频率低于预设频率阈值的词汇信息自动删除。
CN201610109745.0A 2016-02-26 2016-02-26 一种翻译方法及移动终端 Active CN105786804B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610109745.0A CN105786804B (zh) 2016-02-26 2016-02-26 一种翻译方法及移动终端

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610109745.0A CN105786804B (zh) 2016-02-26 2016-02-26 一种翻译方法及移动终端

Publications (2)

Publication Number Publication Date
CN105786804A CN105786804A (zh) 2016-07-20
CN105786804B true CN105786804B (zh) 2018-10-19

Family

ID=56402925

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610109745.0A Active CN105786804B (zh) 2016-02-26 2016-02-26 一种翻译方法及移动终端

Country Status (1)

Country Link
CN (1) CN105786804B (zh)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106250374B (zh) * 2016-08-05 2021-05-18 Tcl科技集团股份有限公司 一种取词翻译方法及***
CN106776585A (zh) * 2016-11-29 2017-05-31 维沃移动通信有限公司 即时翻译方法及移动终端
CN106599888A (zh) * 2016-12-13 2017-04-26 广东小天才科技有限公司 一种翻译方法、装置及移动终端
CN108604128B (zh) * 2016-12-16 2021-03-30 华为技术有限公司 一种处理方法及移动设备
CN109145310B (zh) * 2017-06-19 2022-09-23 北京搜狗科技发展有限公司 一种搜索方法、装置和设备
CN109977423B (zh) * 2017-12-27 2023-05-23 珠海金山办公软件有限公司 一种生词处理方法、装置、电子设备和可读存储介质
CN108733214A (zh) * 2018-05-15 2018-11-02 宇龙计算机通信科技(深圳)有限公司 阅读器控制方法、装置、阅读器及计算机可读存储介质
CN108959273B (zh) * 2018-06-15 2022-07-08 Oppo广东移动通信有限公司 翻译方法、电子装置及存储介质
CN109151176A (zh) * 2018-07-25 2019-01-04 维沃移动通信有限公司 一种信息获取方法及终端
CN109710954A (zh) * 2018-12-29 2019-05-03 Tcl移动通信科技(宁波)有限公司 一种英语翻译方法、存储介质及移动终端
CN111081092B (zh) * 2019-06-09 2022-03-25 广东小天才科技有限公司 一种学习内容输出方法及学习设备
CN110825226A (zh) * 2019-10-30 2020-02-21 维沃移动通信有限公司 消息查看方法及终端
CN111680503A (zh) * 2020-06-08 2020-09-18 腾讯科技(深圳)有限公司 文本处理方法、装置、设备及计算机可读存储介质
CN114237468B (zh) * 2021-12-08 2024-01-16 文思海辉智科科技有限公司 文字图片的翻译方法、装置、电子设备及可读存储介质
CN114911560A (zh) * 2022-05-18 2022-08-16 深圳市易孔立出软件开发有限公司 一种语言切换方法、装置、设备及介质

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103294194B (zh) * 2013-04-28 2016-12-28 小米科技有限责任公司 一种基于眼球跟踪的翻译方法及***
CN104751152B (zh) * 2013-12-30 2019-03-15 腾讯科技(深圳)有限公司 一种翻译方法及装置
CN104636326A (zh) * 2014-12-30 2015-05-20 小米科技有限责任公司 一种文字信息的翻译方法及装置
CN104571528B (zh) * 2015-01-27 2017-09-05 王露 一种基于眼球追踪实现眼球控制智能终端的设备及方法

Also Published As

Publication number Publication date
CN105786804A (zh) 2016-07-20

Similar Documents

Publication Publication Date Title
CN105786804B (zh) 一种翻译方法及移动终端
US11880545B2 (en) Dynamic eye-gaze dwell times
US10652706B1 (en) Entity disambiguation in a mobile environment
US7548859B2 (en) Method and system for assisting users in interacting with multi-modal dialog systems
US5781179A (en) Multimodal information inputting method and apparatus for embodying the same
US7961903B2 (en) Handwriting style data input via keys
US8150699B2 (en) Systems and methods of a structured grammar for a speech recognition command system
CN108700996B (zh) 用于多输入管理的***和方法
US20030016252A1 (en) Method and system for implicitly resolving pointing ambiguities in human-computer interaction (HCI)
CN110517685B (zh) 语音识别方法、装置、电子设备及存储介质
CN106201177B (zh) 一种操作执行方法及移动终端
US20110201387A1 (en) Real-time typing assistance
US20100105364A1 (en) Mobile terminal and control method thereof
CN104090652A (zh) 一种语音输入方法和装置
JPH07334625A (ja) 文字列入力装置
KR20130001261A (ko) 이동 전화의 터치 스크린과 함께 사용하기 위한 다중 모드 문자 입력 시스템
CN104464720A (zh) 以语音识别来选择控制客体的装置及方法
CN104111728B (zh) 基于操作手势的语音指令输入方法及电子设备
US11237691B2 (en) Intelligent response using eye gaze
CN109144376A (zh) 一种便捷操作方法和终端
CN112631437A (zh) 信息推荐方法、装置及电子设备
CN107797676B (zh) 一种单字输入方法及装置
CN115033153B (zh) 应用程序推荐方法及电子设备
WO2008096934A1 (en) Prediction-based word inputting method
CN108268143B (zh) 用于输入中文字符的键盘及其设置方法和输入方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20201030

Address after: 210000 Five Floors of Building B, 25 Andmen Street, Yuhuatai District, Nanjing City, Jiangsu Province

Patentee after: NANJING WEIWO SOFTWARE TECHNOLOGY Co.,Ltd.

Address before: 283 No. 523000 Guangdong province Dongguan city Changan town usha BBK Avenue

Patentee before: VIVO MOBILE COMMUNICATION Co.,Ltd.

TR01 Transfer of patent right