CN105393244B - 信息处理装置 - Google Patents

信息处理装置 Download PDF

Info

Publication number
CN105393244B
CN105393244B CN201480029905.XA CN201480029905A CN105393244B CN 105393244 B CN105393244 B CN 105393244B CN 201480029905 A CN201480029905 A CN 201480029905A CN 105393244 B CN105393244 B CN 105393244B
Authority
CN
China
Prior art keywords
image
translation
character string
mentioned
display control
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201480029905.XA
Other languages
English (en)
Other versions
CN105393244A (zh
Inventor
大塚健文
长泽忠郎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sharp Corp
Original Assignee
Sharp Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sharp Corp filed Critical Sharp Corp
Priority to CN201810842033.9A priority Critical patent/CN109101467A/zh
Priority to CN201810438693.0A priority patent/CN108829644A/zh
Publication of CN105393244A publication Critical patent/CN105393244A/zh
Application granted granted Critical
Publication of CN105393244B publication Critical patent/CN105393244B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/60Editing figures and text; Combining figures or text
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/10Text processing
    • G06F40/103Formatting, i.e. changing of presentation of documents
    • G06F40/109Font handling; Temporal or kinetic typography
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/40Processing or translation of natural language
    • G06F40/58Use of machine translation, e.g. for multi-lingual retrieval, for server-side translation for client devices or for real-time translation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Machine Translation (AREA)
  • User Interface Of Digital Computer (AREA)
  • Document Processing Apparatus (AREA)

Abstract

即使在显示拍摄的图像中包含的字符串的翻译后,也能确认翻译后的字符串。字符串装饰显示控制部(12)将示出拍摄的图像的字符串的部分装饰后显示,翻译图像生成部(13)生成表示将上述字符串翻译成另一种语言的结果的翻译图像,翻译显示控制部(16)根据用户的输入转换上述翻译图像的显示和非显示。

Description

信息处理装置
技术领域
本发明涉及信息处理装置和控制程序。
背景技术
以往提出有各种通过OCR(Optical Character Recognition:光学字符识别)从拍摄的图像提取字符串,并显示翻译的结果的技术。例如,在专利文献1中提出一种图像处理装置,该图像处理装置具备:字符识别单元,其从图像对存在字符的字符区域进行字符识别,生成字符码;检测单元,其检测上述图像的特征变化少的区域;以及配置单元,其在上述检测出的区域配置从上述字符码得到的数据。
现有技术文献
专利文献
专利文献1:日本公开专利公报“特开2013-122747号公报(2013年6月20日公开)”
专利文献2:日本公开专利公报“特开2011-134144号公报(2011年7月7日公开)”
专利文献3:日本公开专利公报“特开2001-319240号公报(2001年11月16日公开)”
专利文献4:日本公开专利公报“特开平11-53365号公报(1999年2月26日公开)”
专利文献5:日本公开专利公报“特开平9-179867号公报(1997年7月11日公开)”
发明内容
发明要解决的问题
然而,上述以往技术存在以下问题:由于使翻译后的字符串重叠地显示在拍摄的图像的翻译前的字符串存在的区域,因此显示拍摄到的图像中包含的字符串的翻译后,不能容易地确认哪个字符串是已翻译的字符串。
本发明是鉴于上述问题而完成的,其目的在于提供即使显示拍摄的图像中包含的字符串的翻译后,也能容易地确认哪个字符串已被翻译。
用于解决问题的方案
本发明的一方式的信息处理装置具备:字符串装饰显示控制单元,其使对示出拍摄的图像中包含的字符串的部分进行装饰后的图像显示;翻译图像生成单元,其生成翻译图像,上述翻译图像是表示将上述字符串翻译成另一种语言的结果的图像;以及翻译显示控制单元,其使得以由上述字符串装饰显示控制单元装饰后的图像的示出上述字符串的部分被完全隐藏的方式重叠地显示与该字符串对应的上述翻译图像,上述翻译显示控制单元在使转换按钮显示并由用户按下该转换按钮的情况下,转换上述翻译图像的显示和非显示,上述字符串装饰显示控制单元在上述用户输入前和上述翻译显示控制单元不显示上述翻译图像的情况下显示上述装饰后的图像,上述字符串装饰显示控制单元使对示出上述图像中包含的字符串的部分添加下划线后的图像显示。
发明效果
根据本发明的一方式,能得到即使显示拍摄的图像中包含的字符串的翻译后,也能容易地确认哪个字符串已被翻译的效果。
附图说明
图1是本发明的实施方式1的功能框图。
图2是表示本发明的实施方式1的信息处理装置的显示图像的转换的图。
图3表示本发明的实施方式1的信息处理装置的翻译图像的显示方面的处理的流程的流程图。
图4是本发明的实施方式2的功能框图。
图5是表示本发明的实施方式2的信息处理装置的显示图像的转换的图。
图6是表示本发明的实施方式2的信息处理装置的翻译图像的显示方面的处理的流程的流程图。
具体实施方式
〔实施方式1〕
以下,基于图1~图3说明本发明的实施方式。
〔1.信息处理装置1的构成〕
首先,基于图1说明信息处理装置1的概略构成,基于图2适当地说明信息处理装置1的具体的显示图像的例子。图1表示本实施方式的信息处理装置1的概略构成。另外,图2是表示信息处理装置1的显示图像的转换的图。
如图1所示,信息处理装置1包括控制部10、拍摄部20、显示部30以及输入部40。信息处理装置1例如是便携电话、智能手机、PDA(Personal Data Assistant:个人数字助理)、PC(Personal Computer:个人计算机)等。
拍摄部20提供用于对拍摄对象进行拍摄而取得图像的照相机功能。拍摄部20例如能由光学***和拍摄元件(CCD(Charge Coupled Devices:电荷耦合器件)、CMOS(Complementary Metal-Oxide-Semiconductor:互补金属氧化物半导体)等)实现。
显示部30从控制部10接收显示图像的信息,并将其显示在显示画面上。显示部30是具备LCD(Liquid Crystal Display:液晶显示器)、EL(Electroluminescence:电致发光)显示器等显示元件和基于接收到的图像数据驱动显示元件的驱动电路的构成。
输入部40接受来自用户的输入,并将输入的信息输出给控制部10。输入部40包括使用静电感应式、电阻膜式、光学式等变换方式的触摸面板。另外,输入部40只要是能选择在显示部30显示的显示图像的坐标或显示的项目的界面即可,可以包括按钮、键盘、鼠标等。
如图1所示,控制部10包含OCR部11、字符串装饰显示控制部12、翻译图像生成部13、翻译部14、图像保持部15以及翻译显示控制部16。OCR部11通过光学字符识别来确定(提取)输入的图像中包含的字符串。而且,OCR部11确定字符识别信息,将该字符识别信息输出给字符串装饰显示控制部12,上述字符识别信息包含表示提取的字符串的部分的坐标和该字符串。另外,在OCR部11不能确定字符识别信息的情况下,即,在不能提取输入的图像中的字符串和字符串的坐标的情况下,不能确定示出字符串的部分,即将字符串的提取失败的信息通知给字符串装饰显示控制部12。另外,OCR部11可以使用通信网络上的服务器。
字符串装饰显示控制部12将由拍摄部20拍摄而输入的图像(以下,表示为输入图像)输出给OCR部11,取得输入图像的字符识别信息。在取得字符识别信息并且不显示翻译图像的情况下,字符串装饰显示控制部12基于该字符识别信息对示出输入图像中包含的字符串的部分添加下划线来进行装饰,使显示部30显示将示出字符串的部分装饰后的图像。另外,字符串装饰显示控制部12将字符识别信息输出给翻译图像生成部13。另一方面,在从OCR部11接收了输入图像中不包含示出字符串的部分的通知的情况下,字符串装饰显示控制部12使显示部30显示输入图像。例如,如图2的(A)所示,在OCR部11不能确定示出输入图像中的字符串的部分的情况下,输入图像直接作为图像D1显示在显示部30上。
另外,图2的(C)表示OCR部11能确定示出输入图像中的字符串的部分的情况下的显示部30上的显示图像。在该情况下,对示出输入图像中包含的字符串“You have twopens.”的部分添加下划线。由此,容易辨别输入图像的任一部分是否示出字符串。另外,在使用作为装饰的下划线的情况下,输入图像被示出字符串的部分的装饰隐藏的部分较少,因此由于装饰输入图像引起的能看到的信息的减少较小。
翻译图像生成部13在输入字符识别信息的情况下,将该字符识别信息表示的字符串输出给翻译部14,取得翻译成另一种语言的结果。在翻译图像生成部13取得在将字符识别信息表示的字符串翻译成另一种语言的结果的情况下,生成作为表示该翻译的结果的图像的翻译图像,将该翻译图像保持于图像保持部15。另外,翻译图像生成部13通知翻译显示控制部16已经生成翻译图像并且将字符识别信息中包含的字符串的坐标输入到翻译显示控制部16。此外,翻译图像是基于字符识别信息的图像,因此与示出字符串的输入图像的一部分区域对应。
翻译部14在输入的字符串是能翻译的字符串的情况下,将其翻译成预先指定的另一种语言,并将翻译的结果输出给翻译图像生成部13。翻译部14包括翻译引擎。另外,翻译部14可以使用通信网络上的服务器。
图像保持部15保持翻译图像生成部13生成的翻译图像。图像保持部15可以是设定于构成控制部10的一部分的RAM(Random Access Memory:随机存取存储器)的区域。
翻译显示控制部16接收翻译图像生成部13已生成翻译图像的通知,使保持于图像保持部15的翻译图像重叠显示于示出装饰过的图像的字符串的部分,并且显示转换按钮UI1。另外,在从输入部40接收用户的手指100接触与转换按钮UI1对应的坐标等而按下(选择)转换按钮UI1的通知的情况下,翻译显示控制部16转换翻译图像的显示和非显示。
例如,图2的(B)表示使保持于图像保持部15的翻译图像T1重叠显示于显示部30中显示的示出图像D2的字符串的部分,并且显示转换按钮UI1的信息处理装置1。在该状态下用户的手指100接触转换按钮UI1的情况下,如图2的(C)所示,不显示翻译图像T1,而是显示对示出字符串的部分添加下划线的图像D2。另外,在该状态下,在用户的手指100接触转换按钮UI1的情况下,如图2的(B)所示再次显示翻译图像T1。
〔2.信息处理装置1的翻译图像的显示方面的处理的流程〕
下面基于图3说明信息处理装置1的翻译图像的显示方面的处理的流程。图3是表示信息处理装置1的翻译图像的显示方面的处理的流程的流程图。
首先,字符串装饰显示控制部12取得由拍摄部20拍摄的图像(S1)。接着,字符串装饰显示控制部12将取得的图像(输入图像)输出给OCR部11。输入了图像的OCR部11提取输入图像中包含的字符串和字符串的坐标(S2)。
OCR部11判断提取字符串和字符串的坐标是否成功(S3)。在提取字符串和字符串的坐标失败的情况下(在S3中为“否”),OCR部11通知字符串装饰显示控制部12提取字符串失败。接收该通知的字符串装饰显示控制部12使显示部30显示输入图像(S13)。
另一方面,在提取字符串和字符串的坐标成功的情况下(在S3中为“是”),将该要旨通知给翻译图像生成部13。接收该通知的字符串装饰显示控制部12使显示部30显示输入图像(S4),另外,将字符识别信息输出给翻译图像生成部13。
输入了字符识别信息的翻译图像生成部13将该字符识别信息表示的字符串输出给翻译部14。输入了字符串的翻译部14将该字符串翻译成预先指定的另一种语言(S5),并将翻译的结果输出给翻译图像生成部13。
输入了翻译的结果的翻译图像生成部13生成作为表示该翻译的结果的图像的翻译图像,并将该翻译图像保持于图像保持部15(S6)。然后,翻译图像生成部13通知翻译显示控制部16已生成翻译图像并且将字符识别信息中包含的字符串的坐标输入到翻译显示控制部16。
接收了由翻译图像生成部13生成翻译图像的通知的翻译显示控制部16使得转换按钮UI1(S7)显示。然后,翻译显示控制部16基于输入到翻译图像生成部13的字符串的坐标,使保持于图像保持部15的翻译图像重叠显示在显示部30中显示的示出输入图像的字符串的部分(S8)。在该时点,显示重叠于示出字符串的部分而显示翻译图像的输入图像。
接着,翻译显示控制部16确认来自输入部40的通知,判断是否按下了转换按钮UI1(S9)。在没有按下转换按钮UI1的情况下(在S9中为“否”),再次判断是否按下转换按钮UI1(S9)。
另一方面,在按下转换按钮的情况下(在S9中为“是”),翻译显示控制部16不显示翻译图像(S10),通知字符串装饰显示控制部12已按下转换按钮。接收了已按下转换按钮的通知的字符串装饰显示控制部12基于字符识别信息对示出显示的输入图像的字符串的部分添加下划线来进行装饰(S11)。在该时点,显示对示出字符串的部分添加了下划线的装饰后的输入图像。
在该状态下,翻译显示控制部16确认来自输入部40的通知,判断是否按下转换按钮UI1(S12)。在没有按下转换按钮UI1的情况下(在S12中为“否”),再次判断是否按下转换按钮UI1(S12)。
另一方面,在按下了转换按钮的情况下(在S12中为“是”),翻译显示控制部16使翻译图像重叠显示于示出字符串的部分(S8)。在该时点,字符串装饰显示控制部12可以解除对示出字符串的部分的装饰。
根据上述处理,在拍摄的图像(输入图像)中,在示出该拍摄的图像中包含的字符串的部分重叠显示与上述字符串对应的翻译图像的状态下,能转换:不显示该翻译图像而显示将示出上述拍摄的图像中包含的字符串的部分装饰后的图像;和显示该翻译图像。由此,即使显示用户拍摄的图像中包含的字符串的翻译后,也能容易地确认哪个字符串已被翻译。
〔变形例〕
在上述实施方式中,信息处理装置1可以构成为,作为用于转换翻译图像的显示和非显示的操作,进行所谓的滑动操作、使信息处理装置1摇摆、使信息处理装置1旋转等操作来代替按下转换按钮。另外,在上述实施方式中,信息处理装置1可以构成为,作为装饰示出输入图像中包含的字符串的部分的方法,使用进行标记显示、用框线包围等方法。
另外,在上述实施方式中,信息处理装置1可以构成为,对拍摄部20拍摄的图像进行加工,将加工后的图像输入到字符串装饰显示控制部12。
〔实施方式2〕
以下基于图4~图6说明本发明的另一实施方式。此外,为了说明方便,对具有与上述实施方式中说明的构件相同的功能的构件附上相同的附图标记,省略其说明。
〔1.信息处理装置2的构成〕
对于信息处理装置2的概略构成,一边基于图4说明信息处理装置1的概略构成,一边基于图5适当说明信息处理装置2的具体的动作例。图4表示本实施方式的信息处理装置2的概略构成。另外,图6是表示信息处理装置2的显示图像的转换的图。
本实施方式的信息处理装置2与信息处理装置1的差别在于信息处理装置2具备代替控制部10的控制部110这一点。另外,控制部110与控制部10的差别在于信息处理装置2不具备图像保持部15,另外,具备代替字符串装饰显示控制部12、翻译图像生成部13、翻译显示控制部16的字符串装饰显示控制部112、翻译图像生成部113、翻译显示控制部116,而且还具备选择单词判断部17这一点。
字符串装饰显示控制部112与字符串装饰显示控制部12在对从OCR部11取得的字符识别信息,按每个单词进行处理,并将字符识别信息输出给选择单词判断部17这一点不同。具体地说,字符串装饰显示控制部112在从拍摄部取得图5的(A)的图像D3的情况下,如图5的(B)所示,使显示部30显示分别对单词的显示W1~W5添加下划线来进行装饰的图像D4。另外,字符串装饰显示控制部112将按每个单词的字符识别信息输出给选择单词判断部17。
翻译图像生成部113从翻译显示控制部116接收字符识别信息的输入。接收了字符识别信息的输入的翻译图像生成部113将该字符识别信息中包含的单词输出给翻译部14并取得翻译的结果,生成翻译图像。生成了翻译图像的翻译图像生成部113将该翻译图像输出给翻译显示控制部116。
翻译显示控制部116从选择单词判断部17接收字符识别信息的输入。接收了字符识别信息的输入后向翻译图像生成部113输入该字符识别信息,从翻译图像生成部113取得翻译图像。取得翻译图像的翻译显示控制部116基于字符识别信息而与对应于翻译图像的单词的坐标重叠地显示该翻译图像。具体地说,在图5的(B)所示的状态下翻译显示控制部116接收与单词的显示W2对应的字符识别信息的输入的情况下,翻译显示控制部116如图5的(D)所示将翻译图像T2重叠显示在单词的显示W2上。另外,在已选择显示的翻译图像的情况下,翻译显示控制部116不显示该翻译图像。
选择单词判断部17接收来自字符串装饰显示控制部112的字符识别信息的输入。在用户向输入部40的输入是按下与翻译图像对应的单词的坐标等选择单词的显示或者翻译图像的显示的操作的情况下,接收了字符识别信息的输入的选择单词判断部17将与已选择的单词的显示对应的字符识别信息输出给翻译显示控制部116。
〔2.信息处理装置2的翻译图像的显示方面的处理的流程〕
下面基于图6说明信息处理装置2的翻译图像的显示方面的处理的流程。图3是表示信息处理装置1的翻译图像的显示方面的处理的流程的流程图。此外,S1~S3和S13的处理与信息处理装置1相同,因此省略说明。
在OCR部11提取字符串成功的情况下(在S3中为“是”),接收了该要旨的通知的翻译图像生成部13使显示部30显示对取得的字符识别信息按每个单词添加下划线来进行装饰的输入图像(S101)。然后,字符串装饰显示控制部112将每个单词的字符识别信息输入到选择单词判断部17。
接收了每个单词的字符识别信息的输入的选择单词判断部17判断用户向输入部40的输入是否为按下单词的显示的操作(S102)。在用户向输入部40的输入不是按下单词的显示的操作的情况下(在S102中为“否”),选择单词判断部17再次判断用户向输入部40的输入是否为按下了单词的显示的操作(S102)。
另一方面,用户向输入部40的输入是按下单词的显示的操作的情况下(在S102中为“是”),将与已选择的单词的显示对应的字符识别信息输入到翻译显示控制部116。接收了字符识别信息的输入后向翻译图像生成部113输入该字符识别信息。翻译图像生成部113将该字符识别信息中包含的单词输入到翻译部14,在翻译部14翻译该单词(S103)。
取得翻译的结果的翻译图像生成部113将该翻译的结果变换成翻译图像(S104),并将该翻译图像输出给翻译显示控制部116。取得翻译图像的翻译显示控制部116基于字符识别信息而与对应于翻译图像的单词的坐标重叠地显示该翻译图像(S105)。
接着,选择单词判断部17判断用户向输入部40的输入是否为按下与翻译图像对应的单词的坐标的操作,即,是否为按下翻译图像的显示的操作(S106)。在用户向输入部40的输入不是按下了翻译图像的显示的操作的情况下(在S106中为“否”),翻译显示控制部116再次判断用户向输入部40的输入是否为按下翻译图像的显示的操作(S106)。
另一方面,在用户向输入部40的输入是按下翻译图像的显示的操作的情况下(在S106中为“是”),将与该翻译图像对应的字符识别信息通知给翻译显示控制部116。接收了字符识别信息的通知的翻译显示控制部116不显示与该字符识别信息对应的翻译显示(S107)。接着,再次执行从S102起的处理。
根据上述处理,在用户选择的单词的显示上重叠显示与该单词对应的翻译图像。由此,对于用户希望翻译的单词,能显示翻译图像。
〔3.信息处理装置2的翻译图像的显示方面的操作的一例〕
基于图5说明信息处理装置2的翻译图像的显示方面的操作的一例。图5的(A)是表示OCR部11没有识别出输入图像中包含的字符串的情况下的信息处理装置2的图。在该情况下,输入图像作为图像D3直接进行显示。
图5的(B)是表示OCR部11识别出输入图像中包含的字符串的情况下的信息处理装置2的图。在该情况下,显示按每个构成输入图像中包含的字符串“Could you please rentthem”的单词的显示W1~W5添加下划线来装饰的图像D4。
图5的(C)是表示在图5的(B)所示的状态下用户的手指100按下示出单词“you”的单词的显示W2的时点的信息处理装置2的图。在该时点,信息处理装置2执行上述S103~S105中所示的处理。
图5的(D)是表示如图5的(C)所示按下单词的显示W2而执行上述S103~S105的情况下的信息处理装置2的图。在该情况下,表示作为将单词“you”翻译成另一种语言的结果的“あなた”的翻译图像T2重叠显示在对应的单词的显示W2上。另外,在该状态下,在用户的手指100按下翻译图像T2的情况下,不显示翻译图像T2,如图5的(B)所示成为能确认单词的显示W2的状态。如上所述用户使用本实施方式的信息处理装置2,对构成拍摄的图像中包含的字符串的单词能确认翻译的结果,另外,能确认翻译的单词。
〔变形例〕
在上述实施方式2中,信息处理装置2可以构成为S103~S107的处理按每个单词独立地执行。即,信息处理装置2可以构成为在图5的(B)所示的状态下,根据用户的输入,对于单词的显示W1~W5分别独立地显示翻译图像,或者不显示翻译图像。
另外,在上述实施方式2中,信息处理装置2可以构成为在图6的α示出的位置进行以下处理:显示选择对按下的单词执行的处理的菜单。根据菜单能选择的处理例如能列举翻译显示的处理、检索指定的词典软件的处理、在因特网中检索的处理等。根据上述构成,用户能选择对拍摄的图像中包含的字符串执行的处理。
另外,在上述实施方式2中,信息处理装置2可以构成为进行翻译包含单词的句子的处理来代替S103的处理。
另外,在上述各实施方式中,翻译图像可以是半透明的,上述翻译图像的显示和非显示可以通过变更翻译图像的透明度来进行。
〔实施方式3〕
信息处理装置1的控制模块(特别是控制部10)可以由形成于集成电路(IC芯片)等的逻辑电路(硬件)实现,也可以使用CPU(Central Processing Unit:中央处理单元)由软件来实现。
在后者的情况下,信息处理装置1具备:作为实现各功能的软件的执行程序的命令的CPU;将上述程序和各种数据能读取地记录在计算机(或者CPU)中的ROM(Read OnlyMemory:只读存储器)或存储装置(将其称为“记录介质”);以及展开上述程序的RAM(RandomAccess Memory:随机存取存储器)等。并且,通过使计算机(或CPU)从上述记录介质读取并执行上述程序,从而达成本发明的目的。作为上述记录介质,能使用“非暂时性有形介质”,例如,磁带、磁盘、卡、半导体存储器、可编程逻辑电路等。另外,上述程序可以经由能传送该程序的任意的传送介质(通信网络、广播波等)提供给上述计算机。此外,在本发明中,上述程序代码也能以在电子传送中具体化的、载波上承载的数据信号的形式实现。
〔总结〕
本发明的方式1的信息处理装置(1)具备:字符串装饰显示控制单元(字符串装饰显示控制部12),其使对示出拍摄的图像中包含的字符串的部分进行装饰后的图像显示;翻译图像生成单元(翻译图像生成部13),其生成翻译图像,上述翻译图像是表示将上述字符串翻译成另一种语言的结果的图像;以及翻译显示控制单元(翻译显示控制部16),其使得在拍摄的图像或者由上述字符串装饰显示控制单元装饰后的图像的示出上述字符串的部分重叠地显示与该字符串对应的上述翻译图像,上述翻译显示控制单元根据用户的输入,转换上述翻译图像的显示和非显示,上述字符串装饰显示控制单元在上述翻译显示控制单元不显示上述翻译图像的情况下显示上述装饰后的图像。
根据上述构成,对于拍摄的图像,在示出该拍摄的图像中包含的字符串的部分重叠显示与上述字符串对应的翻译图像的状态下,能转换:不显示该翻译图像而显示将示出上述拍摄的图像中包含的字符串的部分装饰后的图像;和显示该翻译图像。由此,即使在显示用户拍摄的图像中包含的字符串的翻译后,也能容易地确认哪个字符串已被翻译。
本发明的本发明的方式2的信息处理装置可以是,在上述方式1中,上述字符串装饰显示控制单元按上述字符串中包含的每个单词对示出上述拍摄的图像中包含的字符串的部分进行装饰。
根据上述构成,对示出拍摄的图像中包含的字符串的部分按每个单词进行装饰。由此,能使用户理解:用户能按每个单词进行选择。
本发明的方式3的信息处理装置可以是,在上述方式2中,上述翻译图像生成单元按每个上述单词生成作为表示翻译成另一种语言的结果的图像的翻译图像,上述信息处理装置还具备选择单词判断单元,上述选择单词判断单元判断是否根据用户的输入已选择任一个上述单词,上述翻译显示控制单元使得在与上述选择单词判断单元判断为已被选择的装饰后的上述单词对应的图像上重叠地显示与该单词对应的上述翻译图像。
根据上述构成,在与用户选择的装饰后的上述单词对应的图像上重叠显示与该单词对应的翻译图像。由此,对于用户希望翻译的单词,能显示翻译图像。
本发明的方式4的信息处理装置可以是,在上述方式1至3中,上述字符串装饰显示控制单元使对示出上述拍摄的图像中的字符串的部分添加下划线后的图像显示。
根据上述构成,对示出拍摄的图像中包含的字符串的部分添加下划线。由此,容易辨别拍摄的图像的任一部分是否示出字符串。另外,由于拍摄的图像由示出字符串的部分的装饰隐藏的部分较少,因此由于装饰拍摄的图像引起的能看到的信息的减少较小。
本发明的各方式的信息处理装置可以由计算机实现,在该情况下,使计算机作为上述信息处理装置具备的各单元工作,由此在计算机中实现上述信息处理装置的信息处理装置的控制程序和对其进行记录的计算机能读取的记录介质也纳入本发明的范畴中。
本发明不限定于上述各实施方式,能在权利要求示出的范围内进行各种变更,将在不同的实施方式中分别公开的技术手段适当组合而得到的实施方式也包含在本发明的技术范围中。而且,通过将各实施方式中分别公开的技术手段组合,能形成新的技术特征。
工业上的可利用性
本发明能应用于与照相机等拍摄装置连接的便携电话、智能手机、PDA、PC。
附图标记说明
1 信息处理装置
12、112 字符串装饰显示控制部(字符串装饰显示控制单元)
13、113 翻译图像生成部(翻译图像生成单元)
16、116 翻译显示控制部(翻译显示控制单元)
17 选择单词判断部(选择单词判断单元)

Claims (3)

1.一种信息处理装置,其特征在于,具备:
字符串装饰显示控制单元,其使对示出拍摄的图像中包含的字符串的部分进行装饰后的图像显示;
翻译图像生成单元,其生成翻译图像,上述翻译图像是表示将上述字符串翻译成另一种语言的结果的图像;以及
翻译显示控制单元,其使得以由上述字符串装饰显示控制单元装饰后的图像的示出上述字符串的部分被完全隐藏的方式重叠地显示与该字符串对应的上述翻译图像,
上述翻译显示控制单元在使转换按钮显示并由用户按下该转换按钮的情况下,转换上述翻译图像的显示和非显示,
上述字符串装饰显示控制单元在上述用户按下前和上述翻译显示控制单元不显示上述翻译图像的情况下显示上述装饰后的图像,
上述字符串装饰显示控制单元使对示出上述图像中包含的字符串的部分添加下划线后的图像显示。
2.根据权利要求1所述的信息处理装置,其特征在于,
上述字符串装饰显示控制单元按上述字符串中包含的每个单词进行装饰。
3.根据权利要求2所述的信息处理装置,其特征在于,
还具备选择单词判断单元,上述选择单词判断单元判断是否根据用户的输入已选择任一个上述单词,
上述翻译图像生成单元按每个上述单词生成作为表示翻译成另一种语言的结果的图像的翻译图像,
上述翻译显示控制单元使得在与上述选择单词判断单元判断为已被选择的装饰后的上述单词对应的图像上重叠地显示与该单词对应的上述翻译图像。
CN201480029905.XA 2013-09-27 2014-08-19 信息处理装置 Expired - Fee Related CN105393244B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201810842033.9A CN109101467A (zh) 2013-09-27 2014-08-19 信息处理装置、记录介质以及信息处理装置的动作方法
CN201810438693.0A CN108829644A (zh) 2013-09-27 2014-08-19 信息处理装置、记录介质以及显示翻译结果的方法

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2013-202482 2013-09-27
JP2013202482A JP2015069365A (ja) 2013-09-27 2013-09-27 情報処理装置、および制御プログラム
PCT/JP2014/071647 WO2015045676A1 (ja) 2013-09-27 2014-08-19 情報処理装置、および制御プログラム

Related Child Applications (2)

Application Number Title Priority Date Filing Date
CN201810438693.0A Division CN108829644A (zh) 2013-09-27 2014-08-19 信息处理装置、记录介质以及显示翻译结果的方法
CN201810842033.9A Division CN109101467A (zh) 2013-09-27 2014-08-19 信息处理装置、记录介质以及信息处理装置的动作方法

Publications (2)

Publication Number Publication Date
CN105393244A CN105393244A (zh) 2016-03-09
CN105393244B true CN105393244B (zh) 2019-10-15

Family

ID=52742830

Family Applications (3)

Application Number Title Priority Date Filing Date
CN201810438693.0A Pending CN108829644A (zh) 2013-09-27 2014-08-19 信息处理装置、记录介质以及显示翻译结果的方法
CN201810842033.9A Pending CN109101467A (zh) 2013-09-27 2014-08-19 信息处理装置、记录介质以及信息处理装置的动作方法
CN201480029905.XA Expired - Fee Related CN105393244B (zh) 2013-09-27 2014-08-19 信息处理装置

Family Applications Before (2)

Application Number Title Priority Date Filing Date
CN201810438693.0A Pending CN108829644A (zh) 2013-09-27 2014-08-19 信息处理装置、记录介质以及显示翻译结果的方法
CN201810842033.9A Pending CN109101467A (zh) 2013-09-27 2014-08-19 信息处理装置、记录介质以及信息处理装置的动作方法

Country Status (4)

Country Link
US (3) US10068359B2 (zh)
JP (1) JP2015069365A (zh)
CN (3) CN108829644A (zh)
WO (1) WO2015045676A1 (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6647149B2 (ja) * 2016-06-15 2020-02-14 株式会社Nttドコモ 情報表示装置
JP7016612B2 (ja) * 2017-02-10 2022-02-07 株式会社東芝 画像処理装置及びプログラム
CN108509117A (zh) * 2017-02-27 2018-09-07 腾讯科技(深圳)有限公司 数据显示方法及装置
CN108255555B (zh) * 2017-12-26 2019-08-13 平安科技(深圳)有限公司 一种***语言切换方法及终端设备
US10327098B1 (en) * 2018-04-30 2019-06-18 Paypal, Inc. Locations platform for managing and providing of user experiences
KR102206486B1 (ko) * 2018-06-29 2021-01-25 네이버 주식회사 입력 어플리케이션을 이용한 번역 서비스 제공 방법 및 이를 이용하는 단말장치
CN111045578A (zh) * 2018-10-12 2020-04-21 阿里巴巴集团控股有限公司 显示控制方法、显示控制装置、终端设备和电子设备
CN112085090B (zh) * 2020-09-07 2024-07-09 百度在线网络技术(北京)有限公司 翻译方法、装置以及电子设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1758671A (zh) * 2004-10-09 2006-04-12 乐金电子(中国)研究开发中心有限公司 具有把拍摄文字转换为语音功能的移动通信终端及其方法
CN101137983A (zh) * 2005-01-10 2008-03-05 梅林格有限公司 嵌入式翻译增强的搜索
CN102866991A (zh) * 2007-03-22 2013-01-09 索尼爱立信移动通讯股份有限公司 图像中的文本的翻译和显示

Family Cites Families (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH039472A (ja) * 1989-06-06 1991-01-17 Nec Corp 原文イメージ保存装置
JP2862626B2 (ja) 1990-03-22 1999-03-03 株式会社東芝 電子辞書及び情報検索方法
CA2078423C (en) * 1991-11-19 1997-01-14 Per-Kristian Halvorsen Method and apparatus for supplementing significant portions of a document selected without document image decoding with retrieved information
JPH09179867A (ja) 1995-12-25 1997-07-11 Sharp Corp 文書情報処理装置
JPH1153365A (ja) 1997-08-07 1999-02-26 Matsushita Electric Ind Co Ltd 情報付加機能付機械翻訳装置
JP4150842B2 (ja) 2000-05-09 2008-09-17 コニカミノルタビジネステクノロジーズ株式会社 画像認識装置、画像認識方法および画像認識プログラムを記録したコンピュータ読取可能な記録媒体
US6993473B2 (en) * 2001-08-31 2006-01-31 Equality Translation Services Productivity tool for language translators
US20030125927A1 (en) * 2001-12-28 2003-07-03 Microsoft Corporation Method and system for translating instant messages
US20030200078A1 (en) * 2002-04-19 2003-10-23 Huitao Luo System and method for language translation of character strings occurring in captured image data
JP4038771B2 (ja) * 2003-10-28 2008-01-30 ソニー株式会社 携帯型情報端末装置および情報処理方法、記録媒体、並びにプログラム
JP4428266B2 (ja) * 2005-03-22 2010-03-10 富士ゼロックス株式会社 翻訳装置およびプログラム
US20070216712A1 (en) * 2006-03-20 2007-09-20 John Louch Image transformation based on underlying data
JP2008054236A (ja) * 2006-08-28 2008-03-06 Nikon Corp 撮像装置
US7801721B2 (en) * 2006-10-02 2010-09-21 Google Inc. Displaying original text in a user interface with translated text
US7983897B2 (en) * 2007-02-14 2011-07-19 Google Inc. Machine translation feedback
CN101339617A (zh) * 2007-07-06 2009-01-07 上海思必得通讯技术有限公司 手机拍照翻译装置
US20100204979A1 (en) * 2009-02-06 2010-08-12 Inventec Corporation System and method for magnifiedly displaying real-time translated word
JP4759638B2 (ja) 2009-12-25 2011-08-31 株式会社スクウェア・エニックス リアルタイムなカメラ辞書
US9053098B2 (en) * 2010-01-14 2015-06-09 Abbyy Development Llc Insertion of translation in displayed text consisting of grammatical variations pertaining to gender, number and tense
CN102959537B (zh) * 2010-06-25 2015-07-22 乐天株式会社 机器翻译***及机器翻译方法
US8626236B2 (en) * 2010-10-08 2014-01-07 Blackberry Limited System and method for displaying text in augmented reality
US8635059B2 (en) * 2010-11-15 2014-01-21 Google Inc. Providing alternative translations
JP5631362B2 (ja) 2011-08-08 2014-11-26 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム
JP5972578B2 (ja) * 2012-01-16 2016-08-17 シャープ株式会社 画像処理装置、画像形成装置、プログラム、記録媒体
KR20140030361A (ko) * 2012-08-27 2014-03-12 삼성전자주식회사 휴대단말기의 문자 인식장치 및 방법
US9519641B2 (en) * 2012-09-18 2016-12-13 Abbyy Development Llc Photography recognition translation
US9087046B2 (en) * 2012-09-18 2015-07-21 Abbyy Development Llc Swiping action for displaying a translation of a textual image
US9025877B2 (en) * 2013-01-04 2015-05-05 Ricoh Company, Ltd. Local scale, rotation and position invariant word detection for optical character recognition
JP6317772B2 (ja) * 2013-03-15 2018-04-25 トランスレート アブロード,インコーポレイテッド 外国語の文字セットおよびそれらの翻訳を資源に制約のあるモバイル機器上にリアルタイムで表示するためのシステムおよび方法
US9239833B2 (en) * 2013-11-08 2016-01-19 Google Inc. Presenting translations of text depicted in images
US9547644B2 (en) * 2013-11-08 2017-01-17 Google Inc. Presenting translations of text depicted in images
JP6328409B2 (ja) * 2013-11-28 2018-05-23 シャープ株式会社 翻訳装置
US10534528B2 (en) * 2013-12-31 2020-01-14 Barnes & Noble College Booksellers, Llc Digital flash card techniques
WO2015164823A1 (en) * 2014-04-25 2015-10-29 Fisher Timothy Isaac Messaging with drawn graphic input

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1758671A (zh) * 2004-10-09 2006-04-12 乐金电子(中国)研究开发中心有限公司 具有把拍摄文字转换为语音功能的移动通信终端及其方法
CN101137983A (zh) * 2005-01-10 2008-03-05 梅林格有限公司 嵌入式翻译增强的搜索
CN102866991A (zh) * 2007-03-22 2013-01-09 索尼爱立信移动通讯股份有限公司 图像中的文本的翻译和显示

Also Published As

Publication number Publication date
US20160117854A1 (en) 2016-04-28
WO2015045676A1 (ja) 2015-04-02
CN108829644A (zh) 2018-11-16
US20180276868A1 (en) 2018-09-27
US20180322677A1 (en) 2018-11-08
JP2015069365A (ja) 2015-04-13
CN105393244A (zh) 2016-03-09
US10573046B2 (en) 2020-02-25
CN109101467A (zh) 2018-12-28
US10068359B2 (en) 2018-09-04

Similar Documents

Publication Publication Date Title
CN105393244B (zh) 信息处理装置
US11574115B2 (en) Method of processing analog data and electronic device thereof
US20180164963A1 (en) Mobile terminal and method for controlling the same
EP3416038B1 (en) Method and apparatus for providing user interface
EP2306270B1 (en) Character input method and system
US20170041549A1 (en) Mobile terminal and method for controlling the same
CN103270483B (zh) 具有手势识别单元的***
CN106484266A (zh) 一种文本处理方法及装置
WO2015030461A1 (en) User device and method for creating handwriting content
US20160203194A1 (en) User terminal for displaying image and image display method thereof
TW201331824A (zh) 顯示控制設備,顯示控制方法,及程式
CN109074224A (zh) 用于在字符串中***字符的方法以及相应的数字设备
EP3133801B1 (en) Mobile terminal and method of controling the same
CN107077296A (zh) 用户终端设备和用于控制用户终端设备的方法
US20150370786A1 (en) Device and method for automatic translation
JP6477585B2 (ja) 画像処理装置及び画像処理システム
CN109844712A (zh) 字符输入装置
US20130298028A1 (en) Multifunctional input device
JP2017200119A5 (zh)
EP3660635A1 (en) Integration of smart tags into handwriting input
KR101483611B1 (ko) 이미지에서 객체를 추출하기 위한 방법 및 단말기
JP2010244211A (ja) 情報入力装置および情報入力方法
TWI633463B (zh) 文字輸入法
JP6822261B2 (ja) 情報処理装置、プログラムおよび情報処理方法
CN113206922A (zh) ***及图像形成***

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20191015

CF01 Termination of patent right due to non-payment of annual fee