CN108604128A - 一种处理方法及移动设备 - Google Patents
一种处理方法及移动设备 Download PDFInfo
- Publication number
- CN108604128A CN108604128A CN201780009378.XA CN201780009378A CN108604128A CN 108604128 A CN108604128 A CN 108604128A CN 201780009378 A CN201780009378 A CN 201780009378A CN 108604128 A CN108604128 A CN 108604128A
- Authority
- CN
- China
- Prior art keywords
- quadrangle
- image
- mobile device
- text
- contour line
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/40—Processing or translation of natural language
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Artificial Intelligence (AREA)
- Human Computer Interaction (AREA)
- User Interface Of Digital Computer (AREA)
- Studio Devices (AREA)
Abstract
本文提供一种处理方法及移动设备,涉及通信技术领域,可准确便捷的定位拍摄画面中的目标内容。该方法包括:在移动设备的预览框内显示预览帧,该预览帧包括至少两个四边形;确定用户的视线焦点停留在第一四边形内的时长大于预设时长;在预览帧内突出显示该第一四边形的轮廓线;检测到第一拍照指令后,对第一四边形的轮廓线所包围的第一图像执行预设处理后,输出经过所述预设处理的第一图像;该预设处理包括:对第一图像执行四边形校正;或者,对第一图像中的文字执行OCR。
Description
本申请要求于2016年12月16日提交中国专利局、申请号为201611169528.7、发明名称为“一种处理的方法和设备”的中国专利申请的优先权,其全部内容通过引用结合在本申请中。
本发明实施例涉及通信技术领域,尤其涉及一种处理方法及移动设备。
目前,许多智能终端都具有文档校正和文档翻译等功能,其中,文档校正功能可以为用户快速定位拍摄画面中的目标内容(例如,名片、书籍以及广告牌等),而文档翻译功能可以为用户翻译拍摄画面中目标内容上的文字。
在实现上述文档校正和文档翻译等功能时,均需要对拍摄画面中的目标内容进行定位。一般,智能终端首先会从拍摄画面中确定一个或多个候选四边形,进而,在上述候选四边形中将靠近拍摄画面中心、面积较大、且形状更接近矩形的候选四边形作为目标四边形,从而将目标四边形中的画面内容作为目标内容。
但是,上述目标内容的定位方法需要用户手动调整拍摄画面,尤其是在拍摄画面中包含多个候选四边形时,如果用户对智能终端不进行左右或前后移动、缩放拍摄画面等操作对拍摄画面进行校准,则智能终端定位的目标内容很可能不是用户想要的内容,即无法准确便捷的定位拍摄画面中的目标内容内容。
发明内容
本发明的实施例提供一种处理方法及移动设备,可准确便捷的定位拍摄画面中的目标内容内容。
为达到上述目的,本发明的实施例采用如下技术方案:
第一方面提供了一种处理方法,包括:在移动设备的预览框内显示预览帧,该预览帧包括至少两个四边形;确定用户的视线焦点停留在第一四边形(该第一四边形为该至少两个四边形中的一个)内的时长大于预设时长;在该预览帧内突出显示该第一四边形的轮廓线;检测到第一拍照指令后,对该第一四边形的轮廓线所包围的第一图像执行预设处理后,输出经过所述预设处理的第一图像;该预设处理包括:对该第一图像执行四边形校正;或者,对该第一图像中的文字执行OCR。
可以看出,在本发明实施例提供的处理方法中,移动设备通过检测用户的视线焦点确定出用户视线在预览帧内的哪个四边形内停留的时间较长,由于视线停留时长较长的四边形内的图像通常为用户需要的目标内容,那么,移动设备将该四边形的边缘线突出显示出来,从而向用户提示已经为用户确
定该四边形内的第一图像为目标内容,后续,移动设备在检测到拍照指令后,可直接输出经过预设处理后的上述第一图像。这样,无需用户手动调整预览帧的画面,移动设备便可以准确便捷的为用户定位预览帧中的目标内容。
在一种可能的实现方式中,在预览框内突出显示第一四边形的轮廓线之后,还包括:确定用户的视线焦点停留在第二四边形内的时长大于该预设时长,该第二四边形为该至少两个四边形中除该第一四边形外的任一个四边形;在预览框内正常显示第一四边形的轮廓线;在该预览框内突出显示该第二四边形的轮廓线。也就是说,当用户视线发生变化时,移动设备可进一步为用户显示变化后的视线焦点所在的第二四边形的轮廓线。
在一种可能的实现方式中,在该预览框内突出显示该第二四边形的轮廓线之后,还包括:检测到第二拍照指令后,对该第二四边形的轮廓线所包围的第二图像执行该预设处理后,输出经过所述预设处理的第二图像。
在一种可能的实现方式中,在移动设备的预览框内显示预览之后,还包括:在该预览帧中显示默认四边形的轮廓线,该默认四边形为该至少两个四边形中面积最大的四边形。也就是说,在检测用户的视线焦点之前,移动设备可以先将面积最大的四边形作为默认四边形,并将该默认四边形的轮廓线所包围的图像作为目标内容提示给用户。
在一种可能的实现方式中,在移动设备的预览框内显示预览帧之前,还包括:对该预览帧内的画面内容执行四边形检测,保存检测到的至少两个四边形的顶点坐标。
在一种可能的实现方式中,确定用户的视线焦点停留在第一四边形内的时长大于预设时长,包括:检测该视线焦点在该预览帧内的焦点位置;确定该焦点位置位于预览帧的第一四边形内的时长大于该预设时长。
在一种可能的实现方式中,对该第一图像中的文字执行OCR,包括:将该第一图像中的文字翻译为预设语言的文字,并将该第一图像中的文字替换为翻译后该预设语言的文字;或者,将该第一图像中的文字翻译为预设语言的文字,并将翻译后该预设语言的文字添加到该第一图像中,从而实现文档翻译功能。
在一种可能的实现方式中,该预设处理还包括:对该第一图像执行裁剪操作。
第二方面提供了一种处理方法,包括:对待显示预览帧执行四边形检测,保存检测到的至少两个四边形的顶点坐标;在该移动设备的预览框中显示该预览帧;确定视线焦点位于该至少两个四边形中的第一四边形内超过预设时长,在该预览框中呈现该第一四边形的轮廓线;检测到用于拍照的指令;对该预览帧中该第一四边形的轮廓线包围的第一图像执行预设处理后,输出经过所述预设处理的第一图像,该经过所述预设处理的第一图像中包括该第一四边形的轮廓线包围的第一内容,该预设处理包括以下至少一种:四边形校正;对第一图像中的文字执行光学字符识别,将识别出的文字翻译为预设语言的文字,并将识别出的文字替换为该预设语言的文字;对该第一图像中的
文字执行光学字符识别,将识别出的文字翻译为预设语言的文字,并将该预设语言的文字添加到识别出的文字的旁边。
在一种可能的实现方式中,该方法还包括:确定视线焦点位于该至少两个四边形中的第二四边形内超过预设时长,在该预览框中呈现该第二四边形的轮廓线;检测到用于拍照的指令;对该预览帧中该第二四边形的轮廓线包围的第二图像执行该预设处理后,输出经过所述预设处理的第二图像,该经过所述预设处理的第二图像中包括该第二四边形的轮廓线包围的第二内容。
第三方面,提供一种处理方法,包括:对待显示预览帧执行四边形检测,保存检测到的至少两个四边形的顶点坐标;在该移动设备的预览框中显示该预览帧,该预览帧中呈现该至少两个四边形中的第一四边形的轮廓线;确定视线焦点位于该至少两个四边形中的第二四边形内超过预设时长,在该预览框中呈现该第二四边形的轮廓线,隐藏该第一四边形的轮廓线,该第二四边形为该至少两个四边形中除该第一四边形外的任一个;检测到用于拍照的指令;对该预览帧中该第二四边形的轮廓线包围的第二图像执行预设处理后,输出经过所述预设处理的第二图像,该经过所述预设处理的第二图像中包括该第二四边形的轮廓线包围的第二内容,该预设处理包括以下至少一种:四边形校正;对第二图像中的文字执行光学字符识别,将识别出的文字翻译为预设语言的文字,并将识别出的文字替换为该预设语言的文字;对该第二图像中的文字执行光学字符识别,将识别出的文字翻译为预设语言的文字,并将该预设语言的文字添加到识别出的文字的旁边。
第四方面提供了一种处理方法,包括:在该移动设备的预览框内显示预览帧,该预览帧包括至少两个四边形;检测到作用于第一四边形的操作,该第一四边形为该至少两个四边形中的一个;响应于该操作,对该第一四边形的轮廓线所包围的第一图像执行预设处理后,输出经过所述预设处理的第一图像;该预设处理包括:对该第一图像执行四边形校正;或者,对该第一图像中的文字执行光学字符识别。应理解:该操作包括但不限于点击,双击,轻按,长按或重按。
在一种可能的实现方式中,对该第一图像中的文字执行光学字符识别,包括:将该第一图像中的文字翻译为预设语言的文字,并将该第一图像中的文字替换为翻译后的该预设语言的文字;或者,将该第一图像中的文字翻译为预设语言的文字,并将翻译后的该预设语言的文字添加到该第一图像中。
在一种可能的实现方式中,该预设处理还包括:对该第一图像执行裁剪操作。
第五方面提供了一种处理方法,包括:在该移动设备的预览框内显示预览帧,该预览帧包括至少两个四边形;检测到作用于第一四边形的第一操作,该第一四边形为该至少两个四边形中的一个;响应于该第一操作,突出显示该第一四边形的轮廓线;检测到作用于拍照键的第二操作;响应于该第二操作,对该第一四边形的轮廓线所包围的第一图像执行预设处理后,输出经过所述预设处理的第一图像;该预设处理包括:对该第一图像执行四边形校正;
或者,对该第一图像中的文字执行光学字符识别。应理解:该第一操作与该第二操作可以相同,也可以不同,此处并不做限定。该第一操作包括但不限于:点击,双击,轻按,长按或重按。该第二操作包括但不限于:点击,轻按,长按或重按。
在一种可能的实现方式中,该预设处理还包括:对该第一图像执行裁剪操作。
第六方面提供了一种移动设备,包括:显示单元,用于在该移动设备的预览框内显示预览帧,该预览帧包括至少两个四边形;确定单元,用于确定用户的视线焦点停留在第一四边形内的时长大于预设时长,该第一四边形为该至少两个四边形中的一个;该显示单元,还用于在该预览框内突出显示该第一四边形的轮廓线;处理单元,用于检测到第一拍照指令后,对该第一四边形的轮廓线所包围的第一图像执行预设处理后,输出经过所述预设处理的第一图像;该预设处理包括:对该第一图像执行四边形校正;或者,对该第一图像中的文字执行光学字符识别。
在一种可能的实现方式中,还用于确定用户的视线焦点停留在第二四边形内的时长大于该预设时长,该第二四边形为该至少两个四边形中除该第一四边形外的任一个四边形;该显示单元,还用于在该预览框内正常显示该第一四边形的轮廓线;在该预览框内突出显示该第二四边形的轮廓线。
在一种可能的实现方式中,该处理单元,还用于检测到第二拍照指令后,对该第二四边形的轮廓线所包围的第二图像执行该预设处理后,输出经过所述预设处理的第二图像。
在一种可能的实现方式中,该显示单元,还用于在该预览帧中突出显示默认四边形的轮廓线,该默认四边形为该至少两个四边形中面积最大的四边形。
在一种可能的实现方式中,移动设备还包括:检测单元,用于对该预览帧执行四边形检测,保存检测到的至少两个四边形的顶点坐标。
在一种可能的实现方式中,该确定单元,具体用于检测该视线焦点在该预览帧内的焦点位置;确定该焦点位于该第一四边形内的时长大于该预设时长。
在一种可能的实现方式中,该处理单元,具体用于将该第一图像中的文字翻译为预设语言的文字,并将该第一图像中的文字替换为翻译后该预设语言的文字;或者,将该第一图像中的文字翻译为预设语言的文字,并将翻译后该预设语言的文字添加到该第一图像中。
第七方面提供了一种移动设备,包括:检测单元,用于对待显示预览帧执行四边形检测,保存检测到的至少两个四边形的顶点坐标;显示单元,用于在所述移动设备的预览框中显示所述预览帧;确定单元,用于确定视线焦点位于所述至少两个四边形中的第一四边形内超过预设时长,在所述预览框中呈现所述第一四边形的轮廓线;检测单元,用于检测到用于拍照的指令;处理单元,用于对所述预览帧中所述第一四边形的轮廓线包围的第一图像执
行预设处理后,输出经过所述预设处理的第一图像,所述经过所述预设处理的第一图像中包括所述第一四边形的轮廓线包围的第一内容,所述预设处理包括以下至少一种:四边形校正;对第一图像中的文字执行光学字符识别,将识别出的文字翻译为预设语言的文字,并将识别出的文字替换为所述预设语言的文字;对所述第一图像中的文字执行光学字符识别,将识别出的文字翻译为预设语言的文字,并将所述预设语言的文字添加到识别出的文字的旁边。
第八方面提供了一种移动设备,包括:检测单元,用于对待显示预览帧执行四边形检测,保存检测到的至少两个四边形的顶点坐标;显示单元,用于在所述移动设备的预览框中显示所述预览帧,所述预览帧中呈现所述至少两个四边形中的第一四边形的轮廓线;确定单元,用于确定视线焦点位于所述至少两个四边形中的第二四边形内超过预设时长,在所述预览框中呈现所述第二四边形的轮廓线,隐藏所述第一四边形的轮廓线,所述第二四边形为所述至少两个四边形中除所述第一四边形外的任一个;检测单元,还用于检测到用于拍照的指令;处理单元,用于对所述预览帧中所述第二四边形的轮廓线包围的第二图像执行预设处理后,输出经过所述预设处理的第二图像,所述经过所述预设处理的第二图像中包括所述第二四边形的轮廓线包围的第二内容,所述预设处理包括以下至少一种:四边形校正;对第二图像中的文字执行光学字符识别,将识别出的文字翻译为预设语言的文字,并将识别出的文字替换为所述预设语言的文字;对所述第二图像中的文字执行光学字符识别,将识别出的文字翻译为预设语言的文字,并将所述预设语言的文字添加到识别出的文字的旁边。
第九方面提供了一种移动设备,包括:显示单元,用于在所述移动设备的预览框内显示预览帧,所述预览帧包括至少两个四边形;检测单元,用于检测到作用于第一四边形的操作,所述第一四边形为所述至少两个四边形中的一个;处理单元,用于响应于所述操作,对所述第一四边形的轮廓线所包围的第一图像执行预设处理后,输出经过所述预设处理的第一图像;所述预设处理包括:对所述第一图像执行四边形校正;或者,对所述第一图像中的文字执行光学字符识别。
第十方面提供了一种移动设备,包括:显示单元,用于在所述移动设备的预览框内显示预览帧,所述预览帧包括至少两个四边形;检测单元,用于检测到作用于第一四边形的第一操作,所述第一四边形为所述至少两个四边形中的一个;显示单元,还用于响应于所述第一操作,突出显示所述第一四边形的轮廓线;检测单元,还用于检测到作用于拍照键的第二操作;处理单元,用于响应于所述第二操作,对所述第一四边形的轮廓线所包围的第一图像执行预设处理后,输出经过所述预设处理的第一图像;所述预设处理包括:对所述第一图像执行四边形校正;或者,对所述第一图像中的文字执行光学字符识别。
第十一方面提供了一种移动设备,包括:处理器、存储器、总线和通信
接口;该存储器用于存储计算机执行指令,该处理器与该存储器通过该总线连接,当该移动设备运行时,该处理器执行该存储器存储的该计算机执行指令,以使该移动设备执行上述任意一项处理方法。
第十二方面提供了一种计算机可读存储介质,用于储存为上述移动设备所用的计算机软件指令,其包含用于执行上述方面为该移动设备所设计的程序。
第十三方面提供了一种计算机程序,该计算机程序包括指令,当该计算机程序被计算机执行时,使得计算机可以执行上述任一项的处理方法。
上述移动设备的名字对设备或功能模块本身不构成限定,在实际实现中,这些设备或功能模块可以以其他名称出现。只要各个设备或功能模块的功能和本发明类似,属于本发明权利要求及其等同技术的范围之内。
另外,第二方面至第十三方面中任一种设计方式所带来的技术效果可参见第一方面中不同设计方式所带来的技术效果,此处不再赘述。
本申请的这些方面或其他方面在以下实施例的描述中会更加简明易懂。
图1为本发明实施例提供的预览帧的应用场景示意图;
图2为本发明实施例提供的内置摄像头的应用场景示意图;
图3为本发明实施例提供的一种移动设备的结构示意图一;
图4为本发明实施例提供的一种处理方法的应用场景示意图一;
图5为本发明实施例提供的一种处理方法的流程示意图一;
图6为本发明实施例提供的处理方法的应用场景示意图二;
图7为本发明实施例提供的处理方法的应用场景示意图三;
图8为本发明实施例提供的处理方法的应用场景示意图四;
图9为本发明实施例提供的处理方法的应用场景示意图五;
图10为本发明实施例提供的处理方法的应用场景示意图六;
图11为本发明实施例提供的处理方法的应用场景示意图七;
图12为本发明实施例提供的处理方法的应用场景示意图八;
图13为本发明实施例提供的一种处理方法的流程示意图二;
图14为本发明实施例提供的处理方法的应用场景示意图九;
图15为本发明实施例提供的一种处理方法的流程示意图三;
图16为本发明实施例提供的处理方法的应用场景示意图十;
图17为本发明实施例提供的处理方法的应用场景示意图十一;
图18为本发明实施例提供的处理方法的应用场景示意图十二;
图19为本发明实施例提供的一种处理方法的流程示意图四;
图20为本发明实施例提供的处理方法的应用场景示意图十三;
图21为本发明实施例提供的处理方法的应用场景示意图十四;
图22为本发明实施例提供的处理方法的应用场景示意图十五;
图23为本发明实施例提供的处理方法的应用场景示意图十六;
图24为本发明实施例提供的一种移动设备的结构示意图二;
图25为本发明实施例提供的一种移动设备的结构示意图三。
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行详细地描述。
另外,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明实施例的描述中,除非另有说明,“多个”的含义是两个或两个以上。
本文中术语“和/或”,仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。另外,本文中字符“/”,一般表示前后关联对象是一种“或”的关系。
为了方便理解本发明实施例,首先在此介绍本发明实施例描述中会引入的几个术语:
预览帧,是指在移动设备在拍摄过程中通过摄像头捕捉到的一个最小单位的单幅拍摄画面,该拍摄画面可以显示在移动设备的显示界面中,例如,以手机作为上述移动设备举例说明,用户触发手机内的相机应用后,如图1所示,可以在手机的显示界面内显示一个预览框12,进而,手机将摄像头捕捉到的拍摄画面实时的显示在该预览框12内,此时,该预览框12内的每一幅拍摄画面可作为一个预览帧11。当然,上述移动设备还可以为可穿戴眼镜,可穿戴头盔等增强现实(Augmented Reality,AR)设备或便携式设备(例如,手机),本发明实施例对此不作任何限制。
移动设备的内置摄像头13,是指用户观看移动设备的显示屏时,与用户视线相对的摄像头,内置摄像头13在工作时一般可以拍摄到用户的眼球状态,例如,手机的前置摄像头(如图2中的(a)所示),或者,在可穿戴眼镜(如图2中的(b)所示)或可穿戴头盔内设置的摄像头,内置摄像头13具体可以为红外摄像头、R(red,红)G(green,绿)B(blue,蓝)摄像头等,本发明实施例对此不作任何限制。
移动设备的外置摄像头,是指用户观看移动设备的显示屏时,在背离显示屏的一侧设置的摄像头,例如,手机的后置摄像头或者在可穿戴眼镜或可穿戴头盔外设置的摄像头,外置摄像头具体可以为RGB摄像头、Mono(黑白)摄像头、或深度摄像头等,本发明实施例对此不作任何限制。
本发明的实施例提供一种处理方法,该方法可应用于任意头戴式电子设备,例如,增强现实(Augmented Reality,AR)眼镜、虚拟现实(Virtual Reality,VR)头盔等,也可应用于任意手持式电子设备,例如,手机、平板电脑、笔记本电脑、超级移动个人计算机(Ultra-mobile Personal Computer,UMPC)、上网本、个人数字助理(Personal Digital Assistant,PDA)等,本发明实施例
对此不作任何限制。
该移动设备的结构示意图如图3所示。移动设备300包括:通信接口320、存储器330、输入单元340、显示单元350、内置摄像头13、外置摄像头14、音频电路370以及处理器380等部件。应理解:图3中示出的移动设备300的结构并不构成对移动设备的限定,移动设备可以包括比图示更多或更少的部件,或者组合某些部件,或者其他不同的部件。
下面结合图3对移动设备300的各个构成部件进行具体的介绍:
通信接口320,用于收发信息或通话过程中,信号的接收和发送。通常,通信接口包括但不限于天线、至少一个放大器、收发信机、耦合器、低噪声放大器(low noise amplifier,LNA)、双工器等。
存储器330可用于存储软件程序以及模块,处理器380通过运行存储在存储器330的软件程序以及模块,从而执行移动设备300的各种功能应用以及数据处理。存储器330可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作***、至少一个功能所需的应用程序(比如相机功能、图像播放功能等)等;存储数据区可存储根据移动设备300的使用所创建的数据(比如音频数据、图像数据、电话本等)等。
输入单元340可用于接收输入的数字或字符信息,以及产生与移动设备300的用户设置以及功能控制有关的键信号输入。具体地,输入单元340可包括触摸屏341以及其他输入设备342。触摸屏341,也称为触控面板,可检测用户在其上或附近的触摸操作,并根据预先设定的程式驱动相应的连接装置。除了触摸屏341,输入单元340还可以包括其他输入设备342。具体地,其他输入设备342可以包括但不限于物理键盘、功能键(比如音量控制按键、电源开关按键等)、轨迹球、鼠标、操作杆等中的一种或多种。
显示单元350可用于显示由用户输入的信息或提供给用户的信息以及移动设备300的各种菜单。显示单元350可包括显示面板351。进一步的,当触摸屏341检测到在其上或附近的触摸操作后,可传送给处理器380以确定触摸事件的类型,随后处理器380根据触摸事件的类型在显示面板351上提供相应的视觉输出。
音频电路370、扬声器371、麦克风372可提供用户与移动设备300之间的音频接口。音频电路370可将接收到的音频数据转换后的电信号,传输到扬声器371,由扬声器371转换为声音信号输出;另一方面,麦克风372将检测到的声音信号转换为电信号,由音频电路370接收后转换为音频数据,再将音频数据输出至通信接口320以发送给比如另一移动设备,或者将音频数据输出至存储器330以便进一步处理。
处理器380是移动设备300的控制中心,利用各种接口和线路连接整个移动设备的各个部分,通过运行或执行存储在存储器330内的软件程序和/或模块,以及调用存储在存储器330内的数据,执行移动设备300的各种功能和处理数据,从而对移动设备300进行整体监控。可选的,处理器380可包括一个或多个处理单元。
移动设备300还可以包括至少一个内置摄像头13和至少一个外置摄像头14。内置摄像头13或外置摄像头14可以将捕捉到的预览帧发送给处理器380,由处理器380对预览帧进行图像处理后,将处理后的图像发送至显示单元350进行显示。
具体的,在本发明实施例提供的处理方法中,如图4所示,当用户触发移动设备(图4中以头戴式电子设备为例)内的目标内容定位功能时,例如,用户设置了文档校正功能或文档翻译功能等,处理器380可调用外置摄像头14获取当前的预览帧11,并在显示单元350内显示该预览帧11,进而,处理器380可调用存储器330中预置的四边形检测算法,获取该预览帧11内至少两个四边形的顶点坐标,例如,图4中四边形A的顶点坐标、四边形B的顶点坐标、四边形C的顶点坐标以及四边形D的顶点坐标。
此时,处理器380可调用内置摄像头13检测用户视线,确定用户的视线焦点在预览帧11内停留的时长以及停留的位置,如果用户的视线焦点在四边形B内停留的时长大于预设时长,则如图4所示,处理器380通过显示单元350在预览帧11内突出显示四边形B的轮廓线,即处理器380将四边形B的轮廓线所包围的第一图像作为该预览帧11中的目标内容。
那么,如果处理器380检测到第一拍照指令,则处理器380对上述第一图像执行预设处理,并在显示单元350内输出预设处理后的第一图像。
其中,如果上述第一拍照指令是用户启动文档校正功能时触发的,则上述预设处理具体可以为:对第一图像执行四边形校正,例如,对第一图像进行倾斜校正;如果上述第一拍照指令是用户启动文档翻译功能时触发的,则上述预设处理具体可以为:对第一图像中的文字执行光学字符识别(Optical Character Recognition,OCR),例如,将第一图像中的汉字翻译为英文。
可以看出,在本发明实施例提供的处理方法中,移动设备通过检测用户的视线焦点确定出用户视线在预览帧内的哪个四边形内停留的时间较长,由于视线停留时长较长的四边形内的图像通常为用户需要的目标内容,那么,移动设备将该四边形的边缘线突出显示,从而向用户提示已经为用户确定该四边形内的第一图像为目标内容,后续,移动设备在检测到拍照指令后,可直接输出经过预设处理的上述第一图像。这样,无需用户手动调整预览帧的画面,移动设备便可以准确便捷的为用户定位预览帧中的目标内容,并且,移动设备只需对预览帧中第一图像进行上述预设处理,避免了对第一图像外的无效数据的处理,从而提高图像处理效率。
需要说明的是,上述处理方法除了可以应用在上述文档校正和文档翻译等应用场景中,还可以应用于各类基于目标内容定位的应用场景,例如,名片识别、银行卡识别、身份证识别等,本发明实施例对此不作任何限制。
应理解:尽管如图3中未示出,但移动设备300中还可以包括电源、重力传感器(gravity sensor)、光传感器、陀螺仪、气压计、湿度计、温度计、红外线传感器、无线保真(wireless fidelity,Wi-Fi)模块或蓝牙模块等,在此不再赘述。
以下,将结合具体实施例详细阐述本发明实施例提供的一种处理方法,如图5所示,该方法包括:
401、移动设备对预览帧内的内容执行四边形检测操作。
402、移动设备保存检测到的至少两个四边形中每个四边形的顶点坐标。
当用户开启文档校正或文档识别等需要定位目标内容的功能时,移动设备可调用外置摄像头进入预览状态,此时,移动设备将外置摄像头捕捉到的画面以预览帧的形式显示在移动设备的显示界面内。
具体的,在步骤401中,移动设备对预览帧内的画面内容执行四边形检测操作,从而确定出预览帧内包含的一个或多个四边形。
示例性的,首先可以对预览帧内的画面进行边缘检测,进而提取出预览帧内包含的直线线条,最终,可根据预先设置的四边形检测算法,例如,基于开源计算机视觉库(Open Source Computer Vision Library,OpenCV)的矩形识别算法等,确定由这些直线线条组成的一个或多个四边形。
当然,由于预览帧内的四边形可能有很多个,而面积或周长过小的四边形内的画面内容一般可能不是用户需要的目标内容,因此,在执行四边形检测操作时还可以根据四边形的大小进行筛选,将面积或周长小于预设值的四边形丢弃,避免这些面积或周长较小的四边形干扰后续的图像处理过程。另外,还可以对预览帧内的画面内容进行噪声过滤等操作,以提高四边形检测操作的准确率。
在步骤402中,移动设备保存检测到的至少两个四边形中每个四边形的顶点坐标,从而确定出预览帧内已检测出的每个四边形的位置。
如图6所示,移动设备将预览帧显示在显示单元的预览框11中,假设预览框11内的拍摄画面为一张A4纸,那么,通过四边形检测操作,可以确定出该预览帧内包括5个四边形,即A4纸的边缘形成的四边形1,以及A4纸内包含的四边形2-四边形5,那么,移动设备可以通过执行四边形检测,将检测出的这5个四边形中每个四边形的顶点坐标,从而确定出这5个四边形在预览帧11中的位置。
403(可选的)、移动设备在预览帧中突出显示默认四边形的轮廓线;该默认四边形为上述至少两个四边形中面积最大的四边形。
可选的,在步骤403中,移动设备可以从上述检测出的至少两个四边形中,确定出面积最大的四边形,并将该四边形作为默认四边形,在预览帧中突出显示默认四边形的轮廓线。
其中,突出显示是指使用不同颜色或不同粗细的线条突出显示文本或图像的功能;突出显示与正常显示相比,用户通过肉眼观察可以明显的区分出来。
如图7所示,在四边形1-四边形5中,面积最大的四边形为四边形1,即A4纸的边缘形成的四边形,那么,移动设备可以将四边形1的轮廓线进行高亮显示(图7中以加粗显示作为高亮显示进行示意),从而提示用户当前预览帧内面积最大的四边形为四边形1,四边形1的轮廓线包围的内容为当前移
动设备默认的等待预设处理的图像。
其中,显示默认四边形的轮廓线的方法可以有多种,上述实施例中以高亮显示为例,还使用虚线等方式显示,本发明实施例对此不作任何限制。
404、移动设备根据每个四边形的顶点坐标,检测用户的视线焦点在预览帧内的焦点位置。
405、若确定视线焦点停留在第一四边形内的时长大于预设时长,则移动设备在预览帧内突出显示第一四边形的轮廓线,第一四边形为至少两个四边形中的一个。
在步骤404和405中,移动设备可以通过调用内置摄像头,捕捉用户眼球的运动状态,进而利用眼球追踪技术检测用户的视线焦点在预览帧内的位置,即焦点位置。
示例性的,通过内置摄像头可以捕捉到用户和眼球和眼球周边的图像,进而,移动设备可以根据眼球和眼球周边的特征变化进行跟踪,以确定用户的视线焦点位置;或者,移动设备可以根据虹膜角度变化进行跟踪,以确定用户的视线焦点位置,又或者,移动设备还可以主动投射红外线等光束到虹膜后提取特征信息进行跟踪,以确定用户的视线焦点位置。
在一种可能的设计方法中,移动设备确定焦点位置或焦点位置发生变化后,可以并行地启动两条线程,一条线程用于根据上述每个四边形的顶点坐标,确定当前的焦点位置具***于哪个四边形内,另一条线程可用于记录用户的视线焦点在该焦点位置停留的时长。
由于用户的视线焦点在一定时间内可能会有微小的变动,因此,可以当视线焦点落入以该焦点位置为中心,半径为R(R为预设值)的区域内时,均可认为用户的视线焦点停留在上述焦点位置。
那么,如果移动设备确定出该焦点位置位于第一四边形(该第一四边形为至少两个四边形中的一个)内,且用户的视线焦点在该焦点位置停留的时长大于预设时长(例如,2秒),则说明用户当前的注意力集中在了第一四边形内,此时,触发移动设备在预览帧内显示该第一四边形的轮廓线,以提示用户当前移动设备为用户确定的目前文档为第一四边形的轮廓线所包围的第一图像。
在另一种可能的设计方法中,移动设备确定焦点位置后,可以先根据上述每个四边形的顶点坐标确定该焦点位置具***于哪个四边形内,例如,位于第一四边形内,进而,确定用户的视线焦点在该第一四边形内停留的时长是否大于预设时长。
或者,移动设备确定焦点位置后,可以先确定用户的视线焦点在该焦点位置停留的时长是否大于预设时长,如果大于预设时长,则进一步根据上述每个四边形的顶点坐标确定该焦点位置具***于哪个四边形内。
如图8所示,移动设备通过调用内置摄像头,检测到用户的视线焦点在预览帧内的焦点位置为点A。那么,移动设备可以上述每个四边形的顶点坐标,确定点A位于四边形2内,此时,如果用户的视线焦点在该焦点位置停
留的时长大于2秒,则移动设备在预览帧内高亮显示四边形2的轮廓线(图8中以加粗显示作为高亮显示进行示意),即提示用户当前移动设备为用户确定的目前文档为四边形2的轮廓线所包围的图像。
此时,移动设备还可以正常显示步骤403中已显示的默认四边形(即四边形1)的轮廓线。
当然,如图9所示,如果检测到用户的视线焦点在预览帧内的焦点位置为点B,由于点B不在四边形2-四边形5内,而是位于四边形1内,此时,移动设备继续显示步骤403中已突出显示的四边形1的轮廓线。
406、检测到第一拍照指令后,移动设备对第一四边形的轮廓线所包围的第一图像执行预设处理后,输出经过所述预设处理的第一图像。
综上,本文所涉及的“输出经过所述预设处理的第一图像”可以理解为用户点击拍照键后获得的图像,经过所述预设处理的第一图像保存在移动设备的存储器中。例如,该经过所述预设处理的第一图像如图11所示,应理解:该经过所述预设处理的第一图像可以包括如图9中四边形2内的全部内容或部分内容;或者,该经过所述预设处理的第一图像可以除了包括如图9中四边形2内的全部内容或部分内容以外,还包括如图9中四边形1内的部分内容;或者,该经过所述预设处理的第一图像可以除了包括如图9中四边形2内的全部内容或部分内容以外,还可以包括其他内容。
在步骤406中,如果用户确定第一四边形为目标内容,则可触发移动设备生成第一拍照指令,例如,如图10所示,用户点击移动设备显示界面内的拍照按钮后,移动设备生成第一拍照指令。进一步地,生成第一拍照指令后,移动设备对第一四边形的轮廓线所包围的第一图像进行拍照,并对拍照得到的第一图像执行预设处理。
仍以图10所示的预览帧11为例,如果用户开启文档校正功能后触发移动设备的拍照按钮,此时,移动设备响应该操作后生成第一拍照指令,进而,根据该第一拍照指令对四边形2的轮廓线所包围的第一图像拍照,并对得到的第一图像执行四边形校正,例如,对第一图像进行倾斜校正,如图11所示,得到倾斜校正后的第一图像,然后为用户在移动设备内显示经过倾斜校正后的第一图像,即完成文档校正功能。
又或者,如果用户开启文档翻译功能后触发移动设备的拍照按钮,此时,移动设备响应该操作后生成第一拍照指令,进而,根据该第一拍照指令对四边形2的轮廓线所包围的第一图像拍照,与上述方法不同的是,此时的预设处理为:对第一图像中的文字执行OCR。
具体的,在执行OCR时,首先可以通过预设的字符识别算法识别第一图像内的文字,得到移动设备可识别的计算机文字,进一步地,可以通过预设的翻译软件或程序将该计算机文字翻译为预设语言的文字,例如,将第一图像内的中文翻译为英文,后续,如图12中的(a)所示,可以直接在第一图像中使用翻译后的英文替换翻译前的中文,或者,如图12中的(b)所示,也可以在第一图像中将翻译后的英文添加到第一图像中,例如,将翻译后的
英文添加到翻译前的中文旁边,以完成文档翻译功能。
可以看出,在执行上述文档翻译功能时,仅需要对第一四边形内的文字进行文字识别和翻译,可以有效的避免第一四边形外部区域中无用数据的干扰,从而可以提升文字识别和翻译的速度和准确性。
进一步地,上述预设处理还可以包括对第一图像执行裁剪操作等,本发明实施例对此不作任何限制。另外,在执行上述文档翻译功能之前,还可以对第一图像执行四边形校正,从而提高后续文字识别和翻译的准确率。
进一步地,在执行上述步骤404之后,如果移动设备检测到用户的视线焦点位置发生变化,则移动设备可以执行下述步骤501-504。
示例性的,移动设备可以周期性的确定用户的视线焦点位置,当连续两次确定的焦点位置之间的距离大于预设距离时(该预设距离大于上述半径R),可确定用户的视线焦点位置发生变化,此时移动设备可执行下述步骤501-504;当连续两次确定的焦点位置之间的距离小于或等于上述预设距离时,可确定用户的视线焦点位置未发生变化,此时移动设备可继续执行上述步骤405-406。
具体的,如图13所示,步骤501-504包括:
501、移动设备确定用户视线停留在第二四边形内的时长大于预设时长,第二四边形为至少两个四边形中除第一四边形外的任一个四边形。
示例性的,与步骤405类似的,当用户的视线焦点位置发生变化后,移动设备可以根据上述每个四边形的顶点坐标,确定新的焦点位置位于第二四边形内。例如,如图14中的(a)所示,新的焦点位置C位于四边形5内,进而,移动设备可以确定用户的视线焦点在该四边形5内停留的时长是否大于预设时长,如果大于预设时长,则继续执行下述步骤502-204。
502、移动设备在预览帧内正常显示第一四边形的轮廓线。
503、移动设备在预览帧内突出显示第二四边形的轮廓线。
与步骤405不同的是,在步骤502-203中,由于步骤405中移动设备已经在预览帧内突出显示了第一四边形的轮廓线,而此时用户的视线焦点位置发生了变化,新的焦点位置位于第二四边形内,因此,移动设备可以在预览帧内正常显示第一四边形的轮廓线,即取消或隐藏步骤405中已经突出显示的第一四边形的轮廓线,恢复预览帧内第一四边形的原始显示方式;并且,在预览帧内突出显示第二四边形的轮廓线,从而提示用户当前移动设备为用户确定的目前文档为第二四边形的轮廓线所包围的图像。
当然,移动设备也可以先执行步骤503,再执行步骤502,或者,移动设备也可以同时执行步骤502和步骤503,本发明实施例对此不作任何限制。
示例性的,仍如图14中的(a)所示,当前的新的焦点位置位C点,移动设备确定C点位于四边形5内,且视线焦点在四边形5内停留的时长大于预设时长,那么,移动设备可以在预览帧11内取消或隐藏已突出显示的四边形2的轮廓线(即正常显示四边形2的轮廓线),同时,高亮显示四边形5的轮廓线(图14中中的(a)以加粗显示作为高亮显示进行示意),即提示用户当前移动设备为用户确定的目前文档为四边形5的轮廓线所包围的图像。
作为一种可能的设计,当移动设备确定C点位于四边形5内,且视线焦点在四边形5内停留的时长大于预设时长时,移动设备也可以在预览帧11内仅显示四边形5中的内容,如图14中的(b),以提示用户当前移动设备为用户确定的目前文档为四边形5的轮廓线所包围的图像。此时,四边形5的轮廓线所包围的图像可以占满整个预览帧11,也可以位于预览帧11内的某个区域;四边形5的轮廓线可以突出显示,也可以正常显示,本发明实施例对此不作任何限制。
504、检测到第二拍照指令后,移动设备对第二四边形的轮廓线所包围的第二图像执行预设处理后,输出经过所述预设处理的第二图像。
综上,本文所涉及的“输出经过所述预设处理的第二图像”可以理解为用户点击拍照键后获得的图像,该经过所述预设处理的第一图像保存在手机的存储器中。应理解:该经过所述预设处理的第二图像可以包括如图14中四边形5内的全部内容或部分内容;或者,该经过所述预设处理的第二图像可以除了包括如图14中四边形5内的全部内容或部分内容以外,还包括如图14中四边形1内的部分内容;或者,该经过所述预设处理的第二图像可以除了包括如图14中四边形5内的全部内容或部分内容以外,还可以包括其他内容。
与步骤406类似的,如果用户确定第二四边形为目标内容,则可触发移动设备生成第二拍照指令。进一步地,生成第二拍照指令后,触发移动设备对第二四边形的轮廓线所包围的第二图像进行拍照,并对拍照得到的第二图像执行预设处理。
其中,具体的预设处理方法可参见步骤406中的相关描述,故此处不再赘述。
在另一种可能的设计方法中,如图15所示,本发明实施例还提供一种处理方法,包括:
601、移动设备在其预览框内显示预览帧,该预览帧包括至少两个四边形。
与步骤401类似的,当用户开启文档校正或文档识别等需要定位目标内容的功能时,移动设备可调用外置摄像头进入预览状态,此时,移动设备将外置摄像头捕捉到的画面以预览帧的形式显示在移动设备的显示界面内。
具体的,移动设备可以对预览帧内的画面内容执行四边形检测,并保存检测到的至少两个四边形中每个四边形的顶点坐标,从而确定出预览帧内包含的一个或多个四边形。
示例性的,如图16所示,移动设备通过执行四边形检测,可以确定出该预览帧11内包括四边形1-四边形5,此时,移动设备在预览帧中突出显示四边形1-四边形5中的每个四边形,即提醒用户在当前的预览帧为用户检测到四边形1-四边形5。应理解:作为备选或替换,移动设备通过执行四边形检测后确定出该预览帧11内包括四边形1-四边形5,移动设备也可以在预览帧中正常显示四边形1-四边形5。
602、移动设备检测到作用于第一四边形的操作,该第一四边形为至少两个四边形中的一个。
603、响应于操作,移动设备对第一四边形的轮廓线所包围的第一图像执行预设处理后,输出经过所述预设处理的第一图像。
进而,在步骤602-603中,用户可以点击预览帧内显示的任意一个四边形,例如,如图17所示,用户点击四边形2内的任意位置,此时,移动设备可检测到用户作用于四边形2的点击操作,触发移动设备对第一四边形的轮廓线所包围的第一图像执行预设处理,并输出经过预设处理的第一图像。
综上,本文所涉及的“输出经过所述预设处理的第一图像”可以理解为用户点击拍照键后获得的图像,该经过所述预设处理的第一图像保存在手机的存储器中。例如,该经过所述预设处理的第一图像如图18所示,应理解:该经过所述预设处理的第一图像可以包括如图17中四边形2内的全部内容或部分内容;或者,该经过所述预设处理的第一图像可以除了包括如图17中四边形2内的全部内容或部分内容以外,还包括如图17中四边形1内的部分内容;或者,该经过所述预设处理的第一图像可以除了包括如图17中四边形2内的全部内容或部分内容以外,还可以包括其他内容。
示例性的,上述预设处理包括:对第一图像执行四边形校正;或者,对第一图像中的文字执行光学字符识别。其中,具体的预设处理方法可参见步骤406中的相关描述,故此处不再赘述。
在另一种可能的设计方法中,如图19所示,本发明实施例还提供一种处理方法,包括:
701、移动设备在其预览框内显示预览帧,该预览帧包括至少两个四边形。
与步骤401类似的,当用户开启文档校正或文档识别等需要定位目标内容的功能时,移动设备可调用外置摄像头进入预览状态,此时,移动设备可以对预览帧内的画面内容执行四边形检测,确定出预览帧内包含的一个或多个四边形,并在其预览框内显示该预览帧。
702、移动设备检测到作用于第一四边形的第一操作,第一四边形为至少两个四边形中的一个。
703、响应于第一操作,移动设备突出显示第一四边形的轮廓线。
在步骤702-703中,用户可以点击预览帧内显示的任意一个四边形,例如,如图20所示,用户点击四边形2内的任意位置,此时,如图20所示,移动设备可检测到用户作用于四边形2的点击操作,触发移动设备将四边形2的轮廓线进行高亮显示(图21中以加粗显示作为高亮显示进行示意),从而提示用户当前移动设备为用户确定的目前文档为四边形2的轮廓线所包围的图像。
704、移动设备检测到作用于拍照键的第二操作。
705、响应于第二操作,移动设备对第一四边形的轮廓线所包围的第一图像执行预设处理后,输出经过所述预设处理的第一图像。
其中,上述拍照键可以为显示界面内用于触发拍照的虚拟按钮,也可以为移动设备上用于触发拍照的实体按键,本发明实施例对此不作任何限制。
在步骤704-705中,如果用户确定第一四边形为目标内容,如图22所示,
则可触发移动设备上的拍照键,即第二操作,进而,移动设备响应于第二操作,对第一四边形的轮廓线所包围的第一图像进行拍照,对拍照得到的第一图像执行预设处理后,输出经过所述预设处理的第一图像。
综上,本文所涉及的“输出经过所述预设处理的第一图像”可以理解为用户点击拍照键后获得的图像,该经过所述预设处理的第一图像保存在手机的存储器中。例如,该经过所述预设处理的第一图像如图23所示,应理解:该经过所述预设处理的第一图像可以包括如图22中四边形2内的全部内容或部分内容;或者,该经过所述预设处理的第一图像可以除了包括如图22中四边形2内的全部内容或部分内容以外,还包括如图22中四边形1内的部分内容;或者,该经过所述预设处理的第一图像可以除了包括如图22中四边形2内的全部内容或部分内容以外,还可以包括其他内容。
示例性的,上述预设处理包括:对第一图像执行四边形校正;或者,对第一图像中的文字执行光学字符识别。其中,具体的预设处理方法可参见步骤406中的相关描述,故此处不再赘述。
可以理解的是,上述移动设备等为了实现上述功能,其包含了执行各个功能相应的硬件结构和/或软件模块。本领域技术人员应该很容易意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,本发明实施例能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明实施例的范围。
本发明实施例可以根据上述方法示例对移动设备等进行功能模块的划分,例如,可以对应各个功能划分各个功能模块,也可以将两个或两个以上的功能集成在一个处理模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。需要说明的是,本发明实施例中对模块的划分是示意性的,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式。
在采用对应各个功能划分各个功能模块的情况下,图24示出了上述实施例中所涉及的移动设备的一种可能的结构示意图。
该移动设备包括:检测单元1101,显示单元1102,确定单元1103和处理单元1104。检测单元1101用于支持移动设备执行图4中的过程401-402,或者,图15中的过程602,或者,图18中的过程702、704;显示单元1102用于支持移动设备执行图4中的过程403、405,或者,图10中的过程502-503,或者,图15中的过程601,或者,图18中的过程701、703;确定单元1103用于支持移动设备执行图4中的过程404,或者,图10中的过程501;处理单元1104用于支持移动设备执行图4中的406,或者,图10中的过程504,或者,图15中的过程603,或者,图18中的过程705。其中,上述方法实施例涉及的各步骤的所有相关内容均可以援引到对应功能模块的功能描述,在此不再赘述。
在采用集成的单元的情况下,图25示出了上述实施例中所涉及的移动设备的一种可能的结构示意图。该移动设备包括:处理模块1302和通信模块1303。处理模块1302用于对移动设备的动作进行控制管理,例如,处理模块1302用于支持移动设备执行图5中的过程401-406,或者,图13中的过程501-504,或者,图15中的过程601-603,或者,图19中的过程701-705,和/或用于本文所描述的技术的其它过程。通信模块1303用于支持移动设备与其他网络实体的通信。移动设备还可以包括存储模块1301,用于存储移动设备的程序代码和数据。
其中,处理模块1302可以是处理器或控制器,例如可以是中央处理器(Central Processing Unit,CPU),通用处理器,数字信号处理器(Digital Signal Processor,DSP),专用集成电路(Application-Specific Integrated Circuit,ASIC),现场可编程门阵列(Field Programmable Gate Array,FPGA)或者其他可编程逻辑器件、晶体管逻辑器件、硬件部件或者其任意组合。其可以实现或执行结合本发明实施例公开内容所描述的各种示例性的逻辑方框,模块和电路。所述处理器也可以是实现计算功能的组合,例如包含一个或多个微处理器组合,DSP和微处理器的组合等等。通信模块1303可以是收发器、收发电路(例如,RF电路)或通信接口等。存储模块1301可以是存储器。
当处理模块1302为处理器,通信模块1303为通信接口,存储模块1301为存储器时,本发明实施例所涉及的移动设备的具体硬件结构可以为图3所示的移动设备300。
进一步地,本发明实施例还提供一种计算机程序,该计算机程序包括指令,当该计算机程序被计算机执行时,可以使得计算机可以执行上述步骤401-406,或者,步骤501-504,或者,步骤601-603,或者,步骤701-705中相关的处理方法。
进一步地,本发明实施例还提供一种计算机可读存储介质,用于储存为上述移动设备所用的计算机软件指令,其包含用于执行为上述移动设备所设计的任意程序。
通过以上的实施方式的描述,所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将装置的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。上述描述的***,装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本申请所提供的几个实施例中,应该理解到,所揭露的***,装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述模块或单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个***,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间
接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)或处理器执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:快闪存储器、移动硬盘、只读存储器、随机存取存储器、磁碟或者光盘等各种可以存储程序代码的介质。
在上述实施例中,可以全部或部分的通过软件,硬件,固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式出现。所以计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时,全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。该可用介质可以是磁性介质,(例如,软盘,硬盘、磁带)、光介质(例如,DVD)或者半导体介质(例如固态硬盘Solid State Disk(SSD))。
以上所述,仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何在本申请揭露的技术范围内的变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以所述权利要求的保护范围为准。
Claims (22)
- 一种处理方法,所述方法应用于移动设备,其特征在于,包括:在所述移动设备的预览框内显示预览帧,所述预览帧包括至少两个四边形;确定用户的视线焦点停留在第一四边形内的时长大于预设时长,所述第一四边形为所述至少两个四边形中的一个;在所述预览框内突出显示所述第一四边形的轮廓线;检测到第一拍照指令后,对所述第一四边形的轮廓线所包围的第一图像执行预设处理后,输出经过所述预设处理的第一图像;所述预设处理包括:对所述第一图像执行四边形校正;或者,对所述第一图像中的文字执行光学字符识别。
- 根据权利要求1所述的方法,其特征在于,在所述预览框内突出显示所述第一四边形的轮廓线之后,还包括:确定用户的视线焦点停留在第二四边形内的时长大于所述预设时长,所述第二四边形为所述至少两个四边形中除所述第一四边形外的任一个四边形;在所述预览框内正常显示所述第一四边形的轮廓线;在所述预览框内突出显示所述第二四边形的轮廓线。
- 根据权利要求2所述的方法,其特征在于,在所述预览框帧内突出显示所述第二四边形的轮廓线之后,还包括:检测到第二拍照指令后,对所述第二四边形的轮廓线所包围的第二图像执行所述预设处理后,输出经过所述预设处理的第二图像。
- 根据权利要求1-3中任一项所述的方法,其特征在于,在所述移动设备的预览框内显示预览帧之后,还包括:在所述预览框内突出显示默认四边形的轮廓线,所述默认四边形为所述至少两个四边形中面积最大的四边形。
- 根据权利要求1-4中任一项所述的方法,其特征在于,在所述移动设备的预览框内显示预览帧之前,还包括:对所述预览帧执行四边形检测,保存检测到的至少两个四边形的顶点坐标。
- 根据权利要求1-5中任一项所述的方法,其特征在于,确定用户的视线焦点停留在第一四边形内的时长大于预设时长,包括:检测所述视线焦点在所述预览帧内的焦点位置;确定所述焦点位置位于所述预览帧的第一四边形内的时长大于所述预设时长。
- 根据权利要求1-6中任一项所述的方法,其特征在于,对所述第一图像中的文字执行光学字符识别,包括:将所述第一图像中的文字翻译为预设语言的文字,并将所述第一图像中的文字替换为翻译后的所述预设语言的文字;或者,将所述第一图像中的文字翻译为预设语言的文字,并将翻译后的所述预设语言的文字添加到所述第一图像中。
- 根据权利要求1-7中任一项所述的方法,其特征在于,所述预设处理 还包括:对所述第一图像执行裁剪操作。
- 一种处理方法,所述方法应用于移动设备,其特征在于,包括:对待显示预览帧执行四边形检测,保存检测到的至少两个四边形的顶点坐标;在所述移动设备的预览框中显示所述预览帧;确定视线焦点位于所述至少两个四边形中的第一四边形内超过预设时长,在所述预览框中呈现所述第一四边形的轮廓线;检测到用于拍照的指令;对所述预览帧中所述第一四边形的轮廓线包围的第一图像执行预设处理后,输出经过所述预设处理的第一图像,所述经过所述预设处理的第一图像中包括所述第一四边形的轮廓线包围的第一内容,所述预设处理包括以下至少一种:四边形校正;对第一图像中的文字执行光学字符识别,将识别出的文字翻译为预设语言的文字,并将识别出的文字替换为所述预设语言的文字;对所述第一图像中的文字执行光学字符识别,将识别出的文字翻译为预设语言的文字,并将所述预设语言的文字添加到识别出的文字的旁边。
- 一种处理方法,所述方法应用于移动设备,其特征在于,包括:对待显示预览帧执行四边形检测,保存检测到的至少两个四边形的顶点坐标;在所述移动设备的预览框中显示所述预览帧,所述预览帧中呈现所述至少两个四边形中的第一四边形的轮廓线;确定视线焦点位于所述至少两个四边形中的第二四边形内超过预设时长,在所述预览框中呈现所述第二四边形的轮廓线,隐藏所述第一四边形的轮廓线,所述第二四边形为所述至少两个四边形中除所述第一四边形外的任一个;检测到用于拍照的指令;对所述预览帧中所述第二四边形的轮廓线包围的第二图像执行预设处理后,输出经过所述预设处理的第二图像,所述经过所述预设处理的第二图像中包括所述第二四边形的轮廓线包围的第二内容,所述预设处理包括以下至少一种:四边形校正;对第二图像中的文字执行光学字符识别,将识别出的文字翻译为预设语言的文字,并将识别出的文字替换为所述预设语言的文字;对所述第二图像中的文字执行光学字符识别,将识别出的文字翻译为预设语言的文字,并将所述预设语言的文字添加到识别出的文字的旁边。
- 一种处理方法,所述方法应用于移动设备,其特征在于,包括:在所述移动设备的预览框内显示预览帧,所述预览帧包括至少两个四边形;检测到作用于第一四边形的操作,所述第一四边形为所述至少两个四边形中的一个;响应于所述操作,对所述第一四边形的轮廓线所包围的第一图像执行预设处理后,输出经过所述预设处理的第一图像;所述预设处理包括:对所述第一图像执行四边形校正;或者,对所述第一图像中的文字执行光学字符识别。
- 一种处理方法,所述方法应用于移动设备,其特征在于,包括:在所述移动设备的预览框内显示预览帧,所述预览帧包括至少两个四边形;检测到作用于第一四边形的第一操作,所述第一四边形为所述至少两个四边形中的一个;响应于所述第一操作,突出显示所述第一四边形的轮廓线;检测到作用于拍照键的第二操作;响应于所述第二操作,对所述第一四边形的轮廓线所包围的第一图像执行预设处理后,输出经过所述预设处理的第一图像;所述预设处理包括:对所述第一图像执行四边形校正;或者,对所述第一图像中的文字执行光学字符识别。
- 一种移动设备,其特征在于,包括:显示单元,用于在所述移动设备的预览框内显示预览帧,所述预览帧包括至少两个四边形;确定单元,用于确定用户的视线焦点停留在第一四边形内的时长大于预设时长,所述第一四边形为所述至少两个四边形中的一个;所述显示单元,还用于在所述预览框内突出显示所述第一四边形的轮廓线;处理单元,用于检测到第一拍照指令后,对所述第一四边形的轮廓线所包围的第一图像执行预设处理后,输出经过所述预设处理的第一图像;所述预设处理包括:对所述第一图像执行四边形校正;或者,对所述第一图像中的文字执行光学字符识别。
- 根据权利要求13所述的移动设备,其特征在于,所述确定单元,还用于确定用户的视线焦点停留在第二四边形内的时长大于所述预设时长,所述第二四边形为所述至少两个四边形中除所述第一四边形外的任一个四边形;所述显示单元,还用于在所述预览框内正常显示所述第一四边形的轮廓线;在所述预览框内突出显示所述第二四边形的轮廓线。
- 根据权利要求14所述的移动设备,其特征在于,所述处理单元,还用于检测到第二拍照指令后,对所述第二四边形的轮廓线所包围的第二图像执行所述预设处理后,输出经过所述预设处理的第二图像。
- 根据权利要求13-15中任一项所述的移动设备,其特征在于,所述显示单元,还用于在所述预览框内突出显示默认四边形的轮廓线,所述默认四边形为所述至少两个四边形中面积最大的四边形。
- 根据权利要求13-16中任一项所述的移动设备,其特征在于,所述移动设备还包括:检测单元,用于对所述预览帧执行四边形检测,保存检测到的至少两个四边形的顶点坐标。
- 根据权利要求13-17中任一项所述的移动设备,其特征在于,所述确定单元,具体用于检测所述用户的视线焦点在所述预览帧内的焦点位置;确定所述焦点位置位于所述预览帧的第一四边形内的时长大于所述预设时长。
- 根据权利要求13-18中任一项所述的移动设备,其特征在于,所述处理单元,具体用于将所述第一图像中的文字翻译为预设语言的文字,并将所述第一图像中的文字替换为翻译后的所述预设语言的文字;或者,将所述第一图像中的文字翻译为预设语言的文字,并将翻译后的所述预设语言的文字添加到所述第一图像中。
- 根据权利要求13-19中任一项所述的移动设备,其特征在于,所述处理单元,具体用于将所述第一图像中的文字翻译为预设语言的文字,并将所述第一图像中的文字替换为翻译后所述预设语言的文字;或者,将所述第一图像中的文字翻译为预设语言的文字,并将翻译后所述预设语言的文字添加到所述第一图像中。
- 一种移动设备,其特征在于,包括:一个或多个处理器、存储器、总线***、以及一个或多个程序,所述处理器和所述存储器通过所述总线***相连;其中,所述一个或多个程序被存储在所述存储器中,所述一个或多个程序包括指令,所述指令当被所述移动设备执行时使所述移动设备执行如权利要求1-12中任一项所述的处理方法。
- 一种计算机可读存储介质,其特征在于,所述计算机可读存储介质包括指令,当所述指令被移动设备执行时使所述移动设备执行如权利要求1-12中任一项所述的处理方法。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201611169528 | 2016-12-16 | ||
CN2016111695287 | 2016-12-16 | ||
PCT/CN2017/072496 WO2018107566A1 (zh) | 2016-12-16 | 2017-01-24 | 一种处理方法及移动设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108604128A true CN108604128A (zh) | 2018-09-28 |
CN108604128B CN108604128B (zh) | 2021-03-30 |
Family
ID=62557699
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201780009378.XA Active CN108604128B (zh) | 2016-12-16 | 2017-01-24 | 一种处理方法及移动设备 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN108604128B (zh) |
WO (1) | WO2018107566A1 (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109495687A (zh) * | 2018-12-21 | 2019-03-19 | 努比亚技术有限公司 | 拍照方法、装置、终端及存储介质 |
WO2021175125A1 (en) * | 2020-03-06 | 2021-09-10 | Guangdong Oppo Mobile Telecommunications Corp., Ltd. | System and method for automatically adjusting focus of a camera |
WO2023097791A1 (zh) * | 2021-11-30 | 2023-06-08 | 歌尔股份有限公司 | 一种ar设备的拍照方法及其ar设备 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101667251A (zh) * | 2008-09-05 | 2010-03-10 | 三星电子株式会社 | 具备辅助定位功能的ocr识别方法和装置 |
CN102144201A (zh) * | 2008-09-03 | 2011-08-03 | 皇家飞利浦电子股份有限公司 | 在用户与交互式显示***之间执行基于目光的交互的方法 |
CN104395857A (zh) * | 2012-05-09 | 2015-03-04 | 英特尔公司 | 显示器的部分的基于眼球追踪的选择性强调 |
CN105407306A (zh) * | 2014-09-05 | 2016-03-16 | 三星电子株式会社 | 图像处理方法和图像处理装置 |
CN105474136A (zh) * | 2013-09-02 | 2016-04-06 | 索尼公司 | 信息处理设备、信息处理方法和程序 |
CN105786804A (zh) * | 2016-02-26 | 2016-07-20 | 维沃移动通信有限公司 | 一种翻译方法及移动终端 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101620595A (zh) * | 2009-08-11 | 2010-01-06 | 上海合合信息科技发展有限公司 | 电子设备的文本翻译方法及*** |
US20120194418A1 (en) * | 2010-02-28 | 2012-08-02 | Osterhout Group, Inc. | Ar glasses with user action control and event input based control of eyepiece application |
CN103488630B (zh) * | 2013-09-29 | 2016-06-08 | 小米科技有限责任公司 | 一种图像的处理方法、装置及终端 |
CN105739691A (zh) * | 2016-01-26 | 2016-07-06 | 宋宏 | 一种虚拟体验式电子说明书*** |
-
2017
- 2017-01-24 WO PCT/CN2017/072496 patent/WO2018107566A1/zh active Application Filing
- 2017-01-24 CN CN201780009378.XA patent/CN108604128B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102144201A (zh) * | 2008-09-03 | 2011-08-03 | 皇家飞利浦电子股份有限公司 | 在用户与交互式显示***之间执行基于目光的交互的方法 |
CN101667251A (zh) * | 2008-09-05 | 2010-03-10 | 三星电子株式会社 | 具备辅助定位功能的ocr识别方法和装置 |
CN104395857A (zh) * | 2012-05-09 | 2015-03-04 | 英特尔公司 | 显示器的部分的基于眼球追踪的选择性强调 |
CN105474136A (zh) * | 2013-09-02 | 2016-04-06 | 索尼公司 | 信息处理设备、信息处理方法和程序 |
CN105407306A (zh) * | 2014-09-05 | 2016-03-16 | 三星电子株式会社 | 图像处理方法和图像处理装置 |
CN105786804A (zh) * | 2016-02-26 | 2016-07-20 | 维沃移动通信有限公司 | 一种翻译方法及移动终端 |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109495687A (zh) * | 2018-12-21 | 2019-03-19 | 努比亚技术有限公司 | 拍照方法、装置、终端及存储介质 |
WO2021175125A1 (en) * | 2020-03-06 | 2021-09-10 | Guangdong Oppo Mobile Telecommunications Corp., Ltd. | System and method for automatically adjusting focus of a camera |
WO2023097791A1 (zh) * | 2021-11-30 | 2023-06-08 | 歌尔股份有限公司 | 一种ar设备的拍照方法及其ar设备 |
Also Published As
Publication number | Publication date |
---|---|
WO2018107566A1 (zh) | 2018-06-21 |
CN108604128B (zh) | 2021-03-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10871798B2 (en) | Electronic device and image capture method thereof | |
US10948949B2 (en) | Electronic apparatus having a hole area within screen and control method thereof | |
US11604574B2 (en) | Electronic device and method for electronic device displaying image | |
US11442580B2 (en) | Screen configuration method, electronic device, and storage medium | |
US10715761B2 (en) | Method for providing video content and electronic device for supporting the same | |
KR102593824B1 (ko) | 카메라를 제어하기 위한 방법 및 그 전자 장치 | |
JP7110412B2 (ja) | 生体検出方法及び装置、電子機器並びに記憶媒体 | |
KR102488563B1 (ko) | 차등적 뷰티효과 처리 장치 및 방법 | |
US10003785B2 (en) | Method and apparatus for generating images | |
US11782514B2 (en) | Wearable device and control method thereof, gesture recognition method, and control system | |
US9898090B2 (en) | Apparatus, method and recording medium for controlling user interface using input image | |
EP3467629A2 (en) | User interface provision method and electronic device for supporting same | |
US10585498B2 (en) | Apparatus and method for identifying object | |
KR102559407B1 (ko) | 영상을 표시하기 위한 전자 장치 및 컴퓨터 판독 가능한 기록 매체 | |
CN108604128A (zh) | 一种处理方法及移动设备 | |
CN112000571A (zh) | 一种测试方法、装置和用于测试的装置 | |
US11327538B2 (en) | Electronic apparatus having a hole area within screen and control method thereof | |
KR20190063803A (ko) | 오브젝트 이미지 합성 방법 및 장치 | |
US20150205372A1 (en) | Method and apparatus for providing input interface for mobile terminal | |
US10114479B2 (en) | Electronic device and method for controlling display | |
KR20150087664A (ko) | 비 접촉식 입력 인터페이스 구현 방법 및 그 장치 | |
CN115840506A (zh) | 基于可穿戴设备的数据交互方法、装置、设备及介质 | |
CN115033658A (zh) | 信息搜索方法、装置、设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |