JP6317772B2 - 外国語の文字セットおよびそれらの翻訳を資源に制約のあるモバイル機器上にリアルタイムで表示するためのシステムおよび方法 - Google Patents
外国語の文字セットおよびそれらの翻訳を資源に制約のあるモバイル機器上にリアルタイムで表示するためのシステムおよび方法 Download PDFInfo
- Publication number
- JP6317772B2 JP6317772B2 JP2015562415A JP2015562415A JP6317772B2 JP 6317772 B2 JP6317772 B2 JP 6317772B2 JP 2015562415 A JP2015562415 A JP 2015562415A JP 2015562415 A JP2015562415 A JP 2015562415A JP 6317772 B2 JP6317772 B2 JP 6317772B2
- Authority
- JP
- Japan
- Prior art keywords
- frame
- text
- language
- translated
- translation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 383
- 238000013519 translation Methods 0.000 title claims description 167
- 230000014616 translation Effects 0.000 title description 158
- 238000012545 processing Methods 0.000 claims description 106
- 230000015654 memory Effects 0.000 claims description 23
- 230000003190 augmentative effect Effects 0.000 claims description 9
- 238000007781 pre-processing Methods 0.000 claims description 6
- 230000008569 process Effects 0.000 description 331
- 239000002243 precursor Substances 0.000 description 24
- 238000010586 diagram Methods 0.000 description 16
- 238000012015 optical character recognition Methods 0.000 description 15
- 239000013598 vector Substances 0.000 description 14
- 238000004422 calculation algorithm Methods 0.000 description 11
- 238000004458 analytical method Methods 0.000 description 10
- 230000033001 locomotion Effects 0.000 description 8
- 238000006243 chemical reaction Methods 0.000 description 6
- 238000000605 extraction Methods 0.000 description 5
- 238000010606 normalization Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 230000009467 reduction Effects 0.000 description 4
- 230000009466 transformation Effects 0.000 description 4
- 238000005286 illumination Methods 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 239000011521 glass Substances 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000004888 barrier function Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000007620 mathematical function Methods 0.000 description 1
- 230000001404 mediated effect Effects 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000011946 reduction process Methods 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 238000010079 rubber tapping Methods 0.000 description 1
- 230000000153 supplemental effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/40—Processing or translation of natural language
- G06F40/58—Use of machine translation, e.g. for multi-lingual retrieval, for server-side translation for client devices or for real-time translation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/263—Language identification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/40—Processing or translation of natural language
- G06F40/51—Translation evaluation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/40—Processing or translation of natural language
- G06F40/53—Processing of non-Latin text
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/28—Quantising the image, e.g. histogram thresholding for discrimination between background and foreground patterns
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
- G09G5/22—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of characters or indicia using display control signals derived from coded signals representing the characters or indicia, e.g. with a character-code memory
- G09G5/24—Generation of individual character patterns
- G09G5/246—Generation of individual character patterns of ideographic or arabic-like characters
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/28—Character recognition specially adapted to the type of the alphabet, e.g. Latin alphabet
- G06V30/287—Character recognition specially adapted to the type of the alphabet, e.g. Latin alphabet of Kanji, Hiragana or Katakana characters
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Artificial Intelligence (AREA)
- Multimedia (AREA)
- Computer Hardware Design (AREA)
- Machine Translation (AREA)
- Character Input (AREA)
- Character Discrimination (AREA)
- User Interface Of Digital Computer (AREA)
Description
本出願は、非仮出願であり、2013年3月15日に出願された「Recognition System」という名称の米国仮出願第61/791,584号からの優先権を主張し、その全体が参照により本明細書に組み込まれる。
本特許に関連した文書の開示の一部は、著作権保護の対象となる材料を含む。本特許関連文書は、所有者のトレードドレスであるか、またはトレードドレスになり得る内容を示し、かつ/または記述し得る。著作権およびトレードドレスの所有者は、特許開示が、米国特許商標局の特許ファイルまたはレコード内に出現するとおり、あらゆる人による複製に異議はないが、それ以外ではその如何に係わらず全ての著作権およびトレードドレス権を留保する。
本発明は、一般に、アジア文字セットを翻訳するためのシステムおよび方法に関する。より詳細には、本発明は、資源に制約のあるモバイル機器上でのアジア文字セットの画像処理および認識の後に、アジア文字セットおよびそれらの翻訳をリアルタイムで表示するためのシステムおよび方法に関する。本発明は、その国の現地語で書かれたテキストを読んで理解することが困難な外国内の旅行者を支援するために使用され得る。より一般的には、本発明は、任意の2言語間の翻訳にも適用可能である。
本明細書では、用語「第1の言語」は、本発明の一実施形態を使用して、モバイルカメラ装置によって翻訳される言語を指す。翻訳される第1の言語の単語または複数の単語は、翻訳が生じ得る前に、モバイルカメラ装置のターゲットボックス内に焦点が合って現れる必要がある。
図は本発明の実施形態のためのプロセス例を提供するのに過ぎない。アルゴリズム例は、第1の言語が中国語で、英語への翻訳である場合に有用な翻訳プロセスを対象とするが、本発明人は、任意の2言語間での両方向への翻訳を予期する。図1Aおよび図1Bは、本発明の一実施形態に従い、第1の言語の単一行を第2の言語に翻訳するために、ビデオモードで実行するアルゴリズムまたはプロセスの流れ図150を示す。図1Aで、プロセス150はステップ100から始まる。プロセス150はビデオモードで実行する。プロセスが終了するたびに、プロセスはトップに戻って、新しいフレームをビデオから捕捉して、再度プロセスを実行する。このプロセスは、認識された処理文字列(process string)を作成して、対応する翻訳がモバイルカメラ装置のディスプレイ画面上に現れる。ステップ102で、本発明のモバイルカメラ装置のディスプレイ上の画像に焦点が合っているかを判断するために、プロセスによって判断が実行される。プロセスは、ユーザー装置上のカメラがオートフォーカス機能を操作するのを可能にする。カメラが焦点を合わせている間、プロセスは、カメラが焦点合わせを終了するまで、いかなる処理も行うことなく、ステップ102を繰り返してチェックする。次いで、プロセスはステップ104に進んで、処理を行う。カメラは、時々、既に焦点が合っていると考え得るため、焦点を合わせようとすることなく、ぼやけた画像を処理する。その結果、プロセスは、ユーザーがそれに再度焦点を合わせるようにさせるための、タップしてフォーカス(tap−to−focus)機能を提供する。ステップ104で、プロセスは、ユーザーが、翻訳するためにテキストの単一行またはテキストの複数行を選択しているかを判断する。ユーザーが複数行を選択している場合には、プロセスはステップ106に進み、そこで、図3で説明する複数行翻訳プロセスが呼ばれ;そうでない場合、プロセスは単一行翻訳に進む。
本発明は、トラッキングおよびサブサンプリングされた画像処理を使用する、複数行テキスト翻訳プロセスを提供する。複数行テキスト認識処理は、フレームを処理するために、単一行テキスト認識処理よりも多くのコンピュータ使用を必要とする。リアルタイムのユーザーエクスペリエンスを提供するために、言語翻訳がテキスト上に拡張現実画像として重ね合わされ、トラッキング方法が、テキストの移動を検出するために使用される。トラッキングは、2つの目的を果たす:1つは、カメラが同じテキストに焦点を合わせているかどうかを確認する。画像文字処理は、2つの連続した動かない画像が捕捉される場合に限り行われる。トラッキングのもう1つの目的は、テキストの移動方向を取得して、テキスト位置がそれに応じて調整できるようにすることである。リアルタイムトラッキングのために、処理がトラッキングを行う前に、画像をサブサンプリングする。トラッキングは、xおよびy移動をもつベクトルを取得するために、現在のフレームおよび以前のフレームについて実行される。ユーザーは、通常、平坦な領域上のテキストに焦点を合わせるので、処理は、ベクトルが一貫性があって小さいかどうかを確認することにより、ユーザーがスマートフォンをしっかりと保持しているかを判断する。ベクトルが一貫性があって小さい場合、文字認識が、捕捉されたビデオフレームを使用するか、または画面上のテキスト位置を調整することにより、実行できる。
図8は、中華料理メニューの一例を示す。ラベル802で囲まれているのは、英語への翻訳を必要とする4行の中国語文字である。ラベル804で囲まれているのは、英語への翻訳を必要とする単一行の中国語文字である。
日本語には3つの異なる書記体系(平仮名、片仮名、および漢字)があるという事実のために、(へ−ヘ)、(ロ−口)など、これらの体系にわたる2、3の文字が文字レベルで区別するのが困難であり得る。従って、プロセスは、それらを区別するためにコンテキスト情報を使用する。プロセスは、より高い精度を達成するために、言語モデルおよびいくつかの発見的規則を利用する。プロセスは、最も可能性の高い文字列を評価するために、文字の形状類似性情報を翻訳スコアと一緒に組み合わせることもできる。
本発明は、ハードウェアおよび/またはソフトウェアで実装され得る。例えば、ネットワークインタフェースなどの、システムの多くの構成要素は、本発明を曖昧にしないために、示されていない。しかし、当業者は、システムは、必ずこれらの構成要素を含むことを理解するであろう。ユーザー装置は、メモリに結合された少なくとも1つのプロセッサを含むハードウェアである。プロセッサは、1つ以上のプロセッサ(例えば、マイクロプロセッサ)を表し得、メモリは、ハードウェアの主記憶装置、ならびに任意の補足レベルのメモリ、例えば、キャッシュメモリ、不揮発性またはバックアップメモリ(例えば、プログラム可能またはフラッシュメモリ)、読取り専用メモリなど、を含むランダムアクセスメモリ(RAM)装置を表し得る。加えて、メモリは、ハードウェア内のどこにでも、例えば、プロセッサ内の任意のキャッシュメモリに、物理的に配置されたメモリ記憶、ならびに、例えば、大容量記憶装置上に格納されるような、仮想メモリとして使用される任意の記憶容量、を含むと考えられ得る。
Claims (1)
- ビデオカメラ、プロセッサ、メモリおよびディスプレイを含むモバイル機器を使用して、ビデオフィードをリアルタイム拡張現実で、第1の言語から第2の言語に翻訳するための方法であって、前記方法が、
(a)前記ビデオカメラを使用して、翻訳する必要のある前記第1の言語の1つ以上の語の前記ビデオフィードからフレームをリアルタイムで捕捉して、捕捉されたフレームを生成するステップと、
(b)前記捕捉されたフレームを画像処理境界ボックスの内部に適合するように切り取って、切り取られたフレームを生成するステップと、
(c)前記切り取られたフレームを前処理して、前処理されたフレームを生成するステップと、
(d)前記前処理されたフレームに関して文字セグメント認識を実行して、複数の文字セグメントを生成するステップと、
(e)前記文字セグメントに関して文字マージを実行して、複数のマージされた文字セグメントを生成するステップと、
(f)前記マージされた文字セグメントに関して文字認識を実行して、複数の認識された文字を有する認識されたフレームを生成するステップと、
(g)前記第1の言語の前記認識された文字の前記第2の言語の1つ以上の語への翻訳を生成するために、前記認識されたフレームを翻訳エンジンで処理して翻訳されたフレームを生成し、同時に、各翻訳されたフレームに対して、前記認識された文字がどのようにうまく翻訳されているかを表す翻訳品質も計算するステップと、
(h)前記翻訳されたフレームを、現在の翻訳されたフレームとして前記メモリに格納するステップであって、以前の翻訳されたフレームおよび以前の翻訳品質も前記メモリに格納される、前記翻訳されたフレームを、現在の翻訳されたフレームとして前記メモリに格納することステップと、
(i)前記境界ボックスが、前記現在の翻訳されたフレームおよび前記以前の翻訳されたフレームに対して、同じ文字セット上に継続してあることを、前記現在の翻訳されたフレームと前記以前の翻訳されたフレームとの間で重複している類似した文字の割合を判断することにより確認するステップであって、より高い割合は、前記境界ボックスが、前記現在の翻訳されたフレームおよび前記以前の翻訳されたフレームに対して前記同じ文字セット上に継続してあることを示す、前記境界ボックスが、前記現在の翻訳されたフレームおよび前記以前の翻訳されたフレームに対して、同じ文字セット上に継続してあることを確認するステップと、
(j)前記現在の翻訳されたフレームに対して前記翻訳エンジンによって判断された前記翻訳品質を、前記以前の翻訳されたフレームに対する前記以前の翻訳品質と比較するステップと、
(k)前記メモリから削除すべき、前記以前の翻訳されたフレームおよび前記現在の翻訳されたフレームのうちの1つを、より低い翻訳品質を有するフレームに基づき選択するステップと、
(l)前記以前の翻訳されたフレームおよび前記現在の翻訳されたフレームから最適な翻訳されたフレームを表示するステップであって、前記最適な翻訳されたフレームがより高い翻訳品質を有し、前記第2の言語の前記語が、前記モバイル機器の前記ディスプレイ上に拡張現実で、翻訳されている前記第1の言語の前記語の上に重ねられているか、またはその隣にある、前記以前の翻訳されたフレームおよび前記現在の翻訳されたフレームから最適な翻訳されたフレームを表示するステップと
を含む、方法。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201361791584P | 2013-03-15 | 2013-03-15 | |
US61/791,584 | 2013-03-15 | ||
PCT/IB2014/001371 WO2014162211A2 (en) | 2013-03-15 | 2014-03-12 | Systems and methods for displaying foreign character sets and their translations in real time on resource-constrained mobile devices |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2016519797A JP2016519797A (ja) | 2016-07-07 |
JP2016519797A5 JP2016519797A5 (ja) | 2017-04-20 |
JP6317772B2 true JP6317772B2 (ja) | 2018-04-25 |
Family
ID=50944135
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015562415A Active JP6317772B2 (ja) | 2013-03-15 | 2014-03-12 | 外国語の文字セットおよびそれらの翻訳を資源に制約のあるモバイル機器上にリアルタイムで表示するためのシステムおよび方法 |
Country Status (4)
Country | Link |
---|---|
US (2) | US8761513B1 (ja) |
JP (1) | JP6317772B2 (ja) |
CA (1) | CA2906399A1 (ja) |
WO (1) | WO2014162211A2 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11501504B2 (en) | 2018-12-20 | 2022-11-15 | Samsung Electronics Co., Ltd. | Method and apparatus for augmented reality |
Families Citing this family (56)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
USD762674S1 (en) * | 2012-11-15 | 2016-08-02 | Lg Electronics Inc. | Display of a mobile phone with transitional graphical user interface |
US9037450B2 (en) * | 2012-12-14 | 2015-05-19 | Microsoft Technology Licensing, Llc | Text overlay techniques in realtime translation |
US9256798B2 (en) * | 2013-01-31 | 2016-02-09 | Aurasma Limited | Document alteration based on native text analysis and OCR |
JP2015069365A (ja) * | 2013-09-27 | 2015-04-13 | シャープ株式会社 | 情報処理装置、および制御プログラム |
KR102135358B1 (ko) * | 2013-11-05 | 2020-07-17 | 엘지전자 주식회사 | 이동 단말기 및 이의 제어방법 |
US10147212B2 (en) | 2014-08-29 | 2018-12-04 | Carrier Corporation | Method to create display screens for a controller used in a building automation system |
US9507775B1 (en) | 2014-10-17 | 2016-11-29 | James E. Niles | System for automatically changing language of a traveler's temporary habitation by referencing a personal electronic device of the traveler |
US9690781B1 (en) | 2014-10-17 | 2017-06-27 | James E. Niles | System for automatically changing language of an interactive informational display for a user by referencing a personal electronic device of the user |
USD771666S1 (en) * | 2014-12-09 | 2016-11-15 | Jpmorgan Chase Bank, N.A. | Display screen or portion thereof with a graphical user interface |
KR20160071144A (ko) * | 2014-12-11 | 2016-06-21 | 엘지전자 주식회사 | 이동단말기 및 그 제어 방법 |
US9836456B2 (en) | 2015-01-12 | 2017-12-05 | Google Llc | Techniques for providing user image capture feedback for improved machine language translation |
USD749115S1 (en) * | 2015-02-20 | 2016-02-09 | Translate Abroad, Inc. | Mobile device with graphical user interface |
USD816679S1 (en) * | 2015-02-27 | 2018-05-01 | Oracle International Corporation | Display screen or portion thereof with animated graphical user interface |
USD818471S1 (en) * | 2015-02-27 | 2018-05-22 | Oracle International Corporation | Display screen or portion thereof with animated graphical user interface |
US9483465B2 (en) * | 2015-03-06 | 2016-11-01 | Ricoh Company, Ltd. | Language translation for multi-function peripherals |
US10963651B2 (en) | 2015-06-05 | 2021-03-30 | International Business Machines Corporation | Reformatting of context sensitive data |
US10095034B1 (en) | 2015-07-23 | 2018-10-09 | Snap Inc. | Eyewear with integrated heads-up display |
KR20170014589A (ko) * | 2015-07-30 | 2017-02-08 | 삼성전자주식회사 | 번역 서비스를 제공하는 사용자 단말 장치 및 그 제어 방법 |
CN105159893A (zh) * | 2015-08-31 | 2015-12-16 | 小米科技有限责任公司 | 字符串保存方法及装置 |
US10354340B2 (en) * | 2015-10-13 | 2019-07-16 | Dell Products L.P. | Workflow to amplify content over a plurality of social media platforms in different regions |
US10102202B2 (en) | 2015-12-17 | 2018-10-16 | Mastercard International Incorporated | Systems and methods for independent computer platform language conversion services |
US10579741B2 (en) * | 2016-08-17 | 2020-03-03 | International Business Machines Corporation | Proactive input selection for improved machine translation |
US10311330B2 (en) | 2016-08-17 | 2019-06-04 | International Business Machines Corporation | Proactive input selection for improved image analysis and/or processing workflows |
KR102257181B1 (ko) * | 2016-09-13 | 2021-05-27 | 매직 립, 인코포레이티드 | 감각 안경류 |
US10235362B1 (en) * | 2016-09-28 | 2019-03-19 | Amazon Technologies, Inc. | Continuous translation refinement with automated delivery of re-translated content |
US10275459B1 (en) | 2016-09-28 | 2019-04-30 | Amazon Technologies, Inc. | Source language content scoring for localizability |
US10261995B1 (en) | 2016-09-28 | 2019-04-16 | Amazon Technologies, Inc. | Semantic and natural language processing for content categorization and routing |
US10089523B2 (en) | 2016-10-05 | 2018-10-02 | Intuit Inc. | Automating creation of accurate OCR training data using specialized UI application |
EP3333688B1 (en) * | 2016-12-08 | 2020-09-02 | LG Electronics Inc. | Mobile terminal and method for controlling the same |
KR102637338B1 (ko) | 2017-01-26 | 2024-02-16 | 삼성전자주식회사 | 번역 보정 방법 및 장치와 번역 시스템 |
JP6408055B2 (ja) | 2017-03-22 | 2018-10-17 | 株式会社東芝 | 情報処理装置、方法及びプログラム |
JP6448696B2 (ja) | 2017-03-22 | 2019-01-09 | 株式会社東芝 | 情報処理装置、方法及びプログラム |
CN107451127B (zh) * | 2017-07-04 | 2020-11-06 | 广东小天才科技有限公司 | 一种基于图像的单词翻译方法及***、移动设备 |
US10089305B1 (en) * | 2017-07-12 | 2018-10-02 | Global Tel*Link Corporation | Bidirectional call translation in controlled environment |
USD916098S1 (en) * | 2017-09-18 | 2021-04-13 | Huawei Technologies Co., Ltd. | Display screen or portion thereof with graphical user interface |
KR102446387B1 (ko) | 2017-11-29 | 2022-09-22 | 삼성전자주식회사 | 전자 장치 및 그의 텍스트 제공 방법 |
US10990755B2 (en) * | 2017-12-21 | 2021-04-27 | International Business Machines Corporation | Altering text of an image in augmented or virtual reality |
USD890774S1 (en) * | 2018-02-22 | 2020-07-21 | Samsung Electronics Co., Ltd. | Display screen or portion thereof with transitional graphical user interface |
KR102598104B1 (ko) | 2018-02-23 | 2023-11-06 | 삼성전자주식회사 | 외부 전자 장치로부터 텍스트 정보를 수신하는 시간 동안에 발생된 움직임을 보상하여 이미지에 포함된 객체 위에 텍스트 정보를 표시하는 방법 및 그 전자 장치 |
CN108920469A (zh) * | 2018-06-12 | 2018-11-30 | 深圳市合言信息科技有限公司 | 一种提高多语言互译准确度的方法 |
US10834455B2 (en) | 2018-06-27 | 2020-11-10 | At&T Intellectual Property I, L.P. | Integrating real-time text with video services |
CN109034145B (zh) * | 2018-07-06 | 2021-11-09 | 西安电子科技大学 | 基于OpenCV的银行***识别方法 |
US10346549B1 (en) * | 2018-08-28 | 2019-07-09 | Read TwoGether Ltd. | Single-line display of composite-text |
US10817677B2 (en) * | 2018-08-28 | 2020-10-27 | Read Twogether Ltd | Single-line display of composite-text |
EP3660733B1 (en) * | 2018-11-30 | 2023-06-28 | Tata Consultancy Services Limited | Method and system for information extraction from document images using conversational interface and database querying |
CN111800671B (zh) * | 2019-04-08 | 2022-08-12 | 百度时代网络技术(北京)有限公司 | 用于对齐段落和视频的方法和装置 |
CN110276349B (zh) * | 2019-06-24 | 2023-08-18 | 腾讯科技(深圳)有限公司 | 视频处理方法、装置、电子设备及存储介质 |
US11373048B2 (en) | 2019-09-11 | 2022-06-28 | International Business Machines Corporation | Translation of multi-format embedded files |
US11093691B1 (en) * | 2020-02-14 | 2021-08-17 | Capital One Services, Llc | System and method for establishing an interactive communication session |
US11494567B2 (en) * | 2020-03-03 | 2022-11-08 | Dell Products L.P. | Content adaptation techniques for localization of content presentation |
US11443122B2 (en) * | 2020-03-03 | 2022-09-13 | Dell Products L.P. | Image analysis-based adaptation techniques for localization of content presentation |
CN113392847B (zh) * | 2021-06-17 | 2023-12-05 | 拉萨搻若文化艺术产业开发有限公司 | 一种藏汉英三语ocr手持扫描翻译装置及翻译方法 |
CN118230203A (zh) * | 2021-09-08 | 2024-06-21 | 荣耀终端有限公司 | Ar翻译的处理方法及电子设备 |
KR102575743B1 (ko) * | 2021-10-14 | 2023-09-06 | 네이버 주식회사 | 이미지 번역 방법 및 시스템 |
US11961317B2 (en) * | 2021-11-24 | 2024-04-16 | Oracle Financial Services Software Limited | Extracting textual information from image documents |
WO2023218217A1 (en) * | 2022-05-13 | 2023-11-16 | Innopeak Technology, Inc. | Text rendering on mobile devices |
Family Cites Families (59)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH09128397A (ja) | 1995-11-06 | 1997-05-16 | Sharp Corp | 通訳機 |
US5782640A (en) * | 1996-05-03 | 1998-07-21 | Sandlin; Brad A. | Language translation note pad |
JP4128275B2 (ja) * | 1998-07-06 | 2008-07-30 | オリンパス株式会社 | 翻訳機能付カメラ |
JP2000207487A (ja) * | 1999-01-20 | 2000-07-28 | Sony Corp | 情報処理装置および方法、並びに提供媒体 |
USD453766S1 (en) | 1999-03-02 | 2002-02-19 | Transaction Technology, Inc. | Icon for a personal computer |
JP2001056446A (ja) * | 1999-08-18 | 2001-02-27 | Sharp Corp | ヘッドマウントディスプレイ装置 |
US7046848B1 (en) * | 2001-08-22 | 2006-05-16 | Olcott Peter L | Method and system for recognizing machine generated character glyphs and icons in graphic images |
JP4000844B2 (ja) * | 2001-12-11 | 2007-10-31 | 日本電気株式会社 | コンテンツ配信システム、コンテンツ配信システムの配信サーバ及び表示端末、コンテンツ配信プログラム |
USD486499S1 (en) | 2002-03-01 | 2004-02-10 | Coato Workshop, Inc. | Selection screen display for motor vehicle |
US20030202683A1 (en) * | 2002-04-30 | 2003-10-30 | Yue Ma | Vehicle navigation system that automatically translates roadside signs and objects |
USD479531S1 (en) | 2002-05-21 | 2003-09-09 | Sanyo Electric Co., Ltd. | Menu display for a mobile phone |
US20050010392A1 (en) * | 2003-07-10 | 2005-01-13 | International Business Machines Corporation | Traditional Chinese / simplified Chinese character translator |
US7310605B2 (en) * | 2003-11-25 | 2007-12-18 | International Business Machines Corporation | Method and apparatus to transliterate text using a portable device |
USD541291S1 (en) | 2004-03-19 | 2007-04-24 | Google Inc. | Graphic user interface for a display screen |
USD533561S1 (en) | 2004-03-26 | 2006-12-12 | Google, Inc. | Graphical user interface |
USD523440S1 (en) | 2004-06-23 | 2006-06-20 | Dellco Partnership | Menu screen for a cellularly communicative electronic device |
JP5150035B2 (ja) * | 2004-09-16 | 2013-02-20 | Necカシオモバイルコミュニケーションズ株式会社 | 携帯端末、情報処理方法及び情報処理プログラム |
JP2006146454A (ja) * | 2004-11-18 | 2006-06-08 | Sony Corp | 情報変換装置および情報変換方法 |
JP2006302091A (ja) * | 2005-04-22 | 2006-11-02 | Konica Minolta Photo Imaging Inc | 翻訳装置及びそのプログラム |
USD553140S1 (en) | 2005-05-05 | 2007-10-16 | Espeed Inc. | User interface for an electronic trading system for a computer screen |
US20070050183A1 (en) | 2005-08-26 | 2007-03-01 | Garmin Ltd. A Cayman Islands Corporation | Navigation device with integrated multi-language dictionary and translator |
US7992085B2 (en) * | 2005-09-26 | 2011-08-02 | Microsoft Corporation | Lightweight reference user interface |
US8175388B1 (en) * | 2009-01-30 | 2012-05-08 | Adobe Systems Incorporated | Recognizing text at multiple orientations |
US9262403B2 (en) | 2009-03-02 | 2016-02-16 | Sdl Plc | Dynamic generation of auto-suggest dictionary for natural language translation |
US20100331043A1 (en) * | 2009-06-23 | 2010-12-30 | K-Nfb Reading Technology, Inc. | Document and image processing |
US20110090253A1 (en) * | 2009-10-19 | 2011-04-21 | Quest Visual, Inc. | Augmented reality language translation system and method |
US8515185B2 (en) * | 2009-11-25 | 2013-08-20 | Google Inc. | On-screen guideline-based selective text recognition |
JP4759638B2 (ja) * | 2009-12-25 | 2011-08-31 | 株式会社スクウェア・エニックス | リアルタイムなカメラ辞書 |
US20120330643A1 (en) * | 2010-06-04 | 2012-12-27 | John Frei | System and method for translation |
US8775156B2 (en) | 2010-08-05 | 2014-07-08 | Google Inc. | Translating languages in response to device motion |
USD680109S1 (en) | 2010-09-01 | 2013-04-16 | Apple Inc. | Electronic device with graphical user interface |
EP2646932A4 (en) | 2010-12-02 | 2017-04-19 | Accessible Publishing Systems Pty Ltd | Text conversion and representation system |
USD678894S1 (en) | 2010-12-16 | 2013-03-26 | Cisco Technology, Inc. | Display screen with graphical user interface |
USD682854S1 (en) | 2010-12-16 | 2013-05-21 | Cisco Technology, Inc. | Display screen for graphical user interface |
US8738355B2 (en) | 2011-01-06 | 2014-05-27 | Qualcomm Incorporated | Methods and apparatuses for providing predictive translation information services to mobile stations |
US8484218B2 (en) | 2011-04-21 | 2013-07-09 | Google Inc. | Translating keywords from a source language to a target language |
US20120323707A1 (en) | 2011-06-14 | 2012-12-20 | Urban Translations, LLC. | Multi-Language Electronic Menu System and Method |
US8812294B2 (en) | 2011-06-21 | 2014-08-19 | Apple Inc. | Translating phrases from one language into another using an order-based set of declarative rules |
US8842909B2 (en) * | 2011-06-30 | 2014-09-23 | Qualcomm Incorporated | Efficient blending methods for AR applications |
US20130030789A1 (en) | 2011-07-29 | 2013-01-31 | Reginald Dalce | Universal Language Translator |
US8706472B2 (en) | 2011-08-11 | 2014-04-22 | Apple Inc. | Method for disambiguating multiple readings in language conversion |
USD687846S1 (en) | 2011-08-31 | 2013-08-13 | Samsung Electronics Co., Ltd. | Display screen or portion thereof with generated image |
US9229929B2 (en) | 2011-09-13 | 2016-01-05 | Monk Akarshala Inc. | Modular translation of learning applications in a modular learning system |
US9251144B2 (en) * | 2011-10-19 | 2016-02-02 | Microsoft Technology Licensing, Llc | Translating language characters in media content |
EP2587389A1 (en) | 2011-10-28 | 2013-05-01 | Alcatel Lucent | A system and method for generating translated touristic information |
USD697077S1 (en) | 2011-11-29 | 2014-01-07 | Microsoft Corporation | Display screen with graphical user interface |
USD697078S1 (en) | 2011-12-01 | 2014-01-07 | Google Inc. | Portion of a display panel with graphical user interface |
USD694258S1 (en) | 2012-01-06 | 2013-11-26 | Samsung Electronics Co., Ltd. | Display screen or portion thereof with generated image |
USD681657S1 (en) | 2012-01-20 | 2013-05-07 | Huawei Device Co., Ltd. | Display screen with graphical user interface |
US8903708B2 (en) | 2012-02-10 | 2014-12-02 | Microsoft Corporation | Analyzing restaurant menus in view of consumer preferences |
US8838459B2 (en) | 2012-02-29 | 2014-09-16 | Google Inc. | Virtual participant-based real-time translation and transcription system for audio and video teleconferences |
EP2637128B1 (en) | 2012-03-06 | 2018-01-17 | beyo GmbH | Multimodal text input by a keyboard/camera text input module replacing a conventional keyboard text input module on a mobile device |
WO2013134090A1 (en) | 2012-03-07 | 2013-09-12 | Ortsbo Inc. | Method for providing translations to an e-reader and system thereof |
US9129591B2 (en) | 2012-03-08 | 2015-09-08 | Google Inc. | Recognizing speech in multiple languages |
US8862456B2 (en) | 2012-03-23 | 2014-10-14 | Avaya Inc. | System and method for automatic language translation for applications |
US9519640B2 (en) | 2012-05-04 | 2016-12-13 | Microsoft Technology Licensing, Llc | Intelligent translations in personal see through display |
JP5653392B2 (ja) | 2012-06-29 | 2015-01-14 | 株式会社東芝 | 音声翻訳装置、方法およびプログラム |
WO2014001937A1 (en) | 2012-06-30 | 2014-01-03 | Geller Gidi | Mobile tourism services translation |
USD706803S1 (en) | 2014-03-12 | 2014-06-10 | Translate Abroad Inc. | Smartphone with graphical user interface for a text selection box |
-
2014
- 2014-03-12 US US14/207,155 patent/US8761513B1/en not_active Expired - Fee Related
- 2014-03-12 WO PCT/IB2014/001371 patent/WO2014162211A2/en active Application Filing
- 2014-03-12 JP JP2015562415A patent/JP6317772B2/ja active Active
- 2014-03-12 CA CA2906399A patent/CA2906399A1/en not_active Abandoned
-
2015
- 2015-09-15 US US14/855,082 patent/US9275046B2/en not_active Expired - Fee Related
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11501504B2 (en) | 2018-12-20 | 2022-11-15 | Samsung Electronics Co., Ltd. | Method and apparatus for augmented reality |
Also Published As
Publication number | Publication date |
---|---|
WO2014162211A2 (en) | 2014-10-09 |
WO2014162211A3 (en) | 2015-07-16 |
US8761513B1 (en) | 2014-06-24 |
CA2906399A1 (en) | 2014-10-09 |
JP2016519797A (ja) | 2016-07-07 |
US20160004692A1 (en) | 2016-01-07 |
US9275046B2 (en) | 2016-03-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6317772B2 (ja) | 外国語の文字セットおよびそれらの翻訳を資源に制約のあるモバイル機器上にリアルタイムで表示するためのシステムおよび方法 | |
US8965129B2 (en) | Systems and methods for determining and displaying multi-line foreign language translations in real time on mobile devices | |
CN107656922B (zh) | 一种翻译方法、装置、终端及存储介质 | |
Arai et al. | Method for real time text extraction of digital manga comic | |
CN107273895B (zh) | 用于头戴式智能设备的视频流实时文本识别及翻译的方法 | |
Ramiah et al. | Detecting text based image with optical character recognition for English translation and speech using Android | |
Ponsard et al. | An ocr-enabled digital comic books viewer | |
WO2017197593A1 (en) | Apparatus, method and computer program product for recovering editable slide | |
CN112001394A (zh) | 基于ai视觉下的听写交互方法、***、装置 | |
JP7389824B2 (ja) | オブジェクト識別方法と装置、電子機器及び記憶媒体 | |
Pu et al. | Framework based on mobile augmented reality for translating food menu in Thai language to Malay language | |
Elanwar et al. | Extracting text from scanned Arabic books: a large-scale benchmark dataset and a fine-tuned Faster-R-CNN model | |
Sandnes | Lost in OCR-Translation: pixel-based text reflow to the rescue: magnification of archival raster image documents in the browser without horizontal scrolling | |
Hsueh | Interactive text recognition and translation on a mobile device | |
KR20220005243A (ko) | 수기로 작성된 스캔본 전자파일의 인식과 공유 방법 및 그 장치 | |
CN111832551A (zh) | 文本图像处理方法、装置、电子扫描设备和存储介质 | |
KR20060065197A (ko) | 휴대형 카메라로 획득한 문자영상의 문자영역선택을 통한문자인식 장치 및 그 방법 | |
Baloun et al. | ChronSeg: Novel Dataset for Segmentation of Handwritten Historical Chronicles. | |
Dhir | Video Text extraction and recognition: A survey | |
Bhaskar et al. | Implementing optical character recognition on the android operating system for business cards | |
Viatchaninov et al. | CalliScan: On-device privacy-preserving image-based handwritten text recognition with visual hints | |
CN115004261A (zh) | 文本行检测 | |
Zheng et al. | Chinese/English mixed character segmentation as semantic segmentation | |
KR20200058026A (ko) | 증강 현실을 이용한 한자 공부를 위한 전자 장치의 동작 방법 | |
Henke | Building and improving an OCR classifier for Republican Chinese newspaper text |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170313 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170313 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180306 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180330 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6317772 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |