JP2016502218A5 - - Google Patents
Download PDFInfo
- Publication number
- JP2016502218A5 JP2016502218A5 JP2015551677A JP2015551677A JP2016502218A5 JP 2016502218 A5 JP2016502218 A5 JP 2016502218A5 JP 2015551677 A JP2015551677 A JP 2015551677A JP 2015551677 A JP2015551677 A JP 2015551677A JP 2016502218 A5 JP2016502218 A5 JP 2016502218A5
- Authority
- JP
- Japan
- Prior art keywords
- text block
- subsequent image
- image frame
- text
- reference frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003384 imaging method Methods 0.000 claims 2
- 230000003287 optical Effects 0.000 claims 2
- 230000003190 augmentative Effects 0.000 claims 1
- 230000000875 corresponding Effects 0.000 claims 1
Claims (15)
- 移動局(MS)上のテキスト認識および追跡のための方法であって、
第1のテキストブロックを位置特定して認識するために、前記MS上のカメラによってキャプチャされた画像フレーム上で光学式文字認識(OCR)を実行することによって第1の参照フレームを取得するステップと、
選択された後続の画像フレームと関連付けられたパラメータに基づいて、後続の画像フレームのセットから後続の画像フレームを選択するステップと、
第2のテキストブロックを認識するために、前記選択された後続の画像フレーム上でOCRを実行することによって第2の参照フレームを取得するステップと、
前記第1のテキストブロックと前記第2のテキストブロックとの間の幾何学的関係を判断するステップであって、前記幾何学的関係は、前記第2の参照フレーム内の前記第1のテキストブロックの位置と、前記第2の参照フレームと関連付けられたカメラ姿勢とに少なくとも部分的に基づいて判断される、ステップと
を含む、方法。 - 前記第1のテキストブロックと前記第2のテキストブロックとの間の前記幾何学的関係に基づいて前記第1のテキストブロックと前記第2のテキストブロックとを連続的にアセンブルするステップをさらに含む、請求項1に記載の方法。
- 前記第1のテキストブロックと前記第2のテキストブロックとの間の前記幾何学的関係が、前記第1のテキストブロックおよび前記第2のテキストブロックが現れる媒体と関連付けられた基準系に少なくとも部分的に基づく、請求項2に記載の方法。
- 前記アセンブルされた一連の第1および第2のテキストブロックを入力としてテキスト音声アプリケーションに与えるステップをさらに含む、請求項2に記載の方法。
- 前記後続の画像フレームを選択するステップが、
後続の画像フレームの前記セットに対するカメラ姿勢を計算するステップであって、各カメラ姿勢が別個の後続の画像フレームと関連付けられ、前記関連付けられた後続の画像フレームを前記第1の参照フレームと整合させることに少なくとも部分的に基づいて判断される、計算するステップと、
後続の画像フレームの前記セット内の対応する画像フレームと関連付けられたパラメータを、前記計算されたカメラ姿勢に少なくとも部分的に基づいて判断するステップと
をさらに含む、請求項1に記載の方法。 - 前記整合させることが、効率的2次最小化(ESM)を使用して実行され、かつ、
前記ESMが、前記関連付けられた後続の画像フレームのより低い分解能バージョン上で動作する、請求項5に記載の方法。 - 後続の画像フレームの前記セットに対するカメラ姿勢を計算するステップが、
前記第1の参照フレーム内の複数の特徴点を識別することによって取得された画像パッチを含む追跡ターゲットを生成するステップと、
前記第1の参照フレームと前記後続の画像フレームとの間の画像パッチの対応に基づいて、前記セット内の後続の画像フレーム内で前記追跡ターゲットのロケーションを判断するステップと、
前記後続の画像フレーム内の前記追跡ターゲットの前記ロケーションに少なくとも部分的に基づいて前記後続の画像フレームと関連付けられたカメラ姿勢を計算するステップと
をさらに含む、請求項5に記載の方法。 - 前記特徴点が、前記第1の参照フレーム内の自然特徴に基づくか、または、
個別の特徴点が重みを割り当てられ、かつ、前記第1のテキストブロックの上の特徴点が、前記第1の参照フレーム内の他の場所に位置する特徴点に対してより大きい重みを割り当てられる、請求項7に記載の方法。 - 前記追跡ターゲットの生成が、前記関連付けられた後続の画像フレームを前記第1の参照フレームと整合させることと実質的に並列して実行される、請求項7に記載の方法。
- 前記第1の参照フレームおよび後続の画像フレームの前記セットがマーカーレスである、請求項1に記載の方法。
- 前記パラメータが、
前記選択された後続の画像フレームと前記第1の参照フレームとの間のオーバーラップ領域のパーセンテージか、
前記選択された後続の画像フレーム内で可視の前記第1のテキストブロックの割合であって、前記第1のテキストブロックの全領域に対する前記選択された後続の画像フレーム内の前記第1のテキストブロックの可視の部分を含む領域の比として決定される、割合か、
前記第1の参照フレームに対する前記選択された後続の画像フレームの回転の大きさか、または
前記第1の参照フレームに対する前記選択された後続の画像フレームの並進の大きさ
のうちの少なくとも1つを含む、請求項1に記載の方法。 - 前記カメラ姿勢が6自由度(6-DoF)で判断され、前記カメラが前記第1のテキストブロックおよび前記第2のテキストブロックを含む平坦な媒体に対してフロントパラレルである、請求項1に記載の方法。
- 前記方法が、拡張現実(AR)アプリケーションによって起動され、
仮想オブジェクトが、前記第1のテキストブロックおよび前記第2のテキストブロックの上に前記ARアプリケーションによって配置され、かつ、
前記仮想オブジェクトが、前記第1のテキストブロックおよび前記第2のテキストブロックから翻訳されたテキストを含み、前記翻訳されたテキストが、前記第1のテキストブロックおよび前記第2のテキストブロックを表現するために使用された言語と異なる言語におけるものである、請求項1に記載の方法。 - 一連の画像フレームをキャプチャするための撮像手段と、
第1のテキストブロックを位置特定して認識するために、前記一連の画像フレーム内の画像フレーム上で光学式文字認識(OCR)を実行することによって第1の参照フレームを取得するための手段と、
選択された後続の画像フレームと関連付けられたパラメータに基づいて、前記一連の画像フレームから後続の画像フレームを選択するための手段と、
第2のテキストブロックを認識するために、前記選択された後続の画像フレーム上でOCRを実行することによって第2の参照フレームを取得するための手段と、
前記第1のテキストブロックと前記第2のテキストブロックとの間の幾何学的関係を判断するための手段であって、前記幾何学的関係は、前記第2の参照フレーム内の前記第1のテキストブロックの位置と、前記第2の参照フレームと関連付けられた前記撮像手段の姿勢とに少なくとも部分的に基づいて判断される、手段と
を含む、装置。 - プロセッサによって実行されると請求項1乃至13のいずれか1項に記載の方法を実行する命令を含む非一時的コンピュータ可読記録媒体。
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201361749248P | 2013-01-04 | 2013-01-04 | |
US61/749,248 | 2013-01-04 | ||
US14/021,337 US20140192210A1 (en) | 2013-01-04 | 2013-09-09 | Mobile device based text detection and tracking |
US14/021,337 | 2013-09-09 | ||
PCT/US2013/071518 WO2014107246A1 (en) | 2013-01-04 | 2013-11-22 | Mobile device based text detection and tracking |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2016502218A JP2016502218A (ja) | 2016-01-21 |
JP2016502218A5 true JP2016502218A5 (ja) | 2016-12-28 |
JP6338595B2 JP6338595B2 (ja) | 2018-06-06 |
Family
ID=51060682
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015551677A Expired - Fee Related JP6338595B2 (ja) | 2013-01-04 | 2013-11-22 | モバイルデバイスベースのテキスト検出および追跡 |
Country Status (6)
Country | Link |
---|---|
US (1) | US20140192210A1 (ja) |
EP (1) | EP2941736B1 (ja) |
JP (1) | JP6338595B2 (ja) |
KR (1) | KR20150104126A (ja) |
CN (1) | CN104885098B (ja) |
WO (1) | WO2014107246A1 (ja) |
Families Citing this family (31)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109194849B (zh) * | 2013-06-13 | 2021-01-15 | 核心光电有限公司 | 双孔径变焦数字摄影机 |
US10474921B2 (en) * | 2013-06-14 | 2019-11-12 | Qualcomm Incorporated | Tracker assisted image capture |
US9710440B2 (en) * | 2013-08-21 | 2017-07-18 | Microsoft Technology Licensing, Llc | Presenting fixed format documents in reflowed format |
US20150123966A1 (en) * | 2013-10-03 | 2015-05-07 | Compedia - Software And Hardware Development Limited | Interactive augmented virtual reality and perceptual computing platform |
US9565370B2 (en) * | 2014-05-30 | 2017-02-07 | Apple Inc. | System and method for assisting in computer interpretation of surfaces carrying symbols or characters |
US9449239B2 (en) | 2014-05-30 | 2016-09-20 | Apple Inc. | Credit card auto-fill |
US20160092747A1 (en) * | 2014-09-29 | 2016-03-31 | Qualcomm Incorporated | Devices and methods for facilitating digital imagery encoding based on detection of text and computer generated graphics |
JP2016111633A (ja) * | 2014-12-09 | 2016-06-20 | キヤノン株式会社 | 回路情報に従って論理回路を構成可能な回路を持つデバイスと、複数の制御手段とを有する情報処理システム |
US9613273B2 (en) * | 2015-05-19 | 2017-04-04 | Toyota Motor Engineering & Manufacturing North America, Inc. | Apparatus and method for object tracking |
US10108856B2 (en) | 2016-05-13 | 2018-10-23 | Abbyy Development Llc | Data entry from series of images of a patterned document |
RU2613849C1 (ru) | 2016-05-13 | 2017-03-21 | Общество с ограниченной ответственностью "Аби Девелопмент" | Оптическое распознавание символов серии изображений |
RU2619712C1 (ru) * | 2016-05-13 | 2017-05-17 | Общество с ограниченной ответственностью "Аби Девелопмент" | Оптическое распознавание символов серии изображений |
US10701261B2 (en) * | 2016-08-01 | 2020-06-30 | International Business Machines Corporation | Method, system and computer program product for selective image capture |
GB2557237B (en) * | 2016-12-01 | 2022-05-11 | Crane Payment Innovations Ltd | Method and apparatus for money item processing |
CN108629843B (zh) * | 2017-03-24 | 2021-07-13 | 成都理想境界科技有限公司 | 一种实现增强现实的方法及设备 |
WO2018235219A1 (ja) * | 2017-06-22 | 2018-12-27 | 日本電気株式会社 | 自己位置推定方法、自己位置推定装置および自己位置推定プログラム |
WO2019009916A1 (en) | 2017-07-07 | 2019-01-10 | Hewlett-Packard Development Company, L.P. | ALIGNMENTS OF IMAGES THROUGH OPTICAL RECOGNITION OF CHARACTERS |
KR102402148B1 (ko) | 2017-08-22 | 2022-05-26 | 삼성전자주식회사 | 전자 장치 및 그의 문자 인식 방법 |
RU2657181C1 (ru) | 2017-09-01 | 2018-06-08 | Общество с ограниченной ответственностью "Аби Продакшн" | Способ улучшения качества распознавания отдельного кадра |
CN107679135A (zh) * | 2017-09-22 | 2018-02-09 | 深圳市易图资讯股份有限公司 | 面向网络文本大数据的话题检测与跟踪方法、装置 |
RU2673015C1 (ru) | 2017-12-22 | 2018-11-21 | Общество с ограниченной ответственностью "Аби Продакшн" | Способы и системы оптического распознавания символов серии изображений |
US10699145B1 (en) * | 2018-11-14 | 2020-06-30 | Omniscience Corp. | Systems and methods for augmented reality assisted form data capture |
CN109917644B (zh) | 2018-12-26 | 2022-06-14 | 达闼科技(北京)有限公司 | 一种提高视觉惯导***鲁棒性的方法、装置和机器人设备 |
KR20190103085A (ko) * | 2019-08-15 | 2019-09-04 | 엘지전자 주식회사 | 지능형 진단 디바이스 |
US11200441B2 (en) | 2020-05-01 | 2021-12-14 | UiPath, Inc. | Text detection, caret tracking, and active element detection |
US11080548B1 (en) | 2020-05-01 | 2021-08-03 | UiPath, Inc. | Text detection, caret tracking, and active element detection |
US11461164B2 (en) | 2020-05-01 | 2022-10-04 | UiPath, Inc. | Screen response validation of robot execution for robotic process automation |
CN111931571B (zh) * | 2020-07-07 | 2022-05-17 | 华中科技大学 | 基于在线增强检测的视频文字目标追踪方法与电子设备 |
TR202101347A1 (tr) * | 2021-01-28 | 2022-08-22 | Univ Yildiz Teknik | Bir sesli okuma cihazı. |
CN115797815B (zh) * | 2021-09-08 | 2023-12-15 | 荣耀终端有限公司 | Ar翻译的处理方法及电子设备 |
US12008829B2 (en) * | 2022-02-16 | 2024-06-11 | Vastec, Inc. | System and method for improved OCR efficacy through image segmentation |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6137491A (en) * | 1998-06-05 | 2000-10-24 | Microsoft Corporation | Method and apparatus for reconstructing geometry using geometrically constrained structure from motion with points on planes |
SE519405C2 (sv) * | 2000-07-19 | 2003-02-25 | Jacob Weitman | Tillämpningar för en avancerad digitalkamera som tolkar den tagna bilden utifrån dess informationsinnehåll, såsom att överföra bilden, beordra en tjänst, styra ett flöde mm |
JP2003331217A (ja) * | 2002-03-08 | 2003-11-21 | Nec Corp | 文字入力装置、文字入力方法及び文字入力プログラム |
US7659915B2 (en) * | 2004-04-02 | 2010-02-09 | K-Nfb Reading Technology, Inc. | Portable reading device with mode processing |
US8107721B2 (en) * | 2008-05-29 | 2012-01-31 | Mitsubishi Electric Research Laboratories, Inc. | Method and system for determining poses of semi-specular objects |
FR2947657B1 (fr) * | 2009-07-06 | 2016-05-27 | Valeo Vision | Procede de detection d'un obstacle pour vehicule automobile |
US20110090253A1 (en) * | 2009-10-19 | 2011-04-21 | Quest Visual, Inc. | Augmented reality language translation system and method |
US20120092329A1 (en) * | 2010-10-13 | 2012-04-19 | Qualcomm Incorporated | Text-based 3d augmented reality |
JP6061502B2 (ja) * | 2012-06-04 | 2017-01-18 | キヤノン株式会社 | 画像処理装置、画像処理方法及びプログラム |
-
2013
- 2013-09-09 US US14/021,337 patent/US20140192210A1/en not_active Abandoned
- 2013-11-22 KR KR1020157020751A patent/KR20150104126A/ko not_active Application Discontinuation
- 2013-11-22 WO PCT/US2013/071518 patent/WO2014107246A1/en active Application Filing
- 2013-11-22 CN CN201380069165.8A patent/CN104885098B/zh not_active Expired - Fee Related
- 2013-11-22 JP JP2015551677A patent/JP6338595B2/ja not_active Expired - Fee Related
- 2013-11-22 EP EP13811282.6A patent/EP2941736B1/en not_active Not-in-force
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2016502218A5 (ja) | ||
AU2015402322B2 (en) | System and method for virtual clothes fitting based on video augmented reality in mobile phone | |
US10535160B2 (en) | Markerless augmented reality (AR) system | |
US9710698B2 (en) | Method, apparatus and computer program product for human-face features extraction | |
EP3008695B1 (en) | Robust tracking using point and line features | |
JP6338595B2 (ja) | モバイルデバイスベースのテキスト検出および追跡 | |
US20200134377A1 (en) | Logo detection | |
JP6456347B2 (ja) | 平面固有の特徴のターゲットのinsitu生成 | |
RU2016101616A (ru) | Вычислительное устройство, способ и вычислительная система | |
WO2017204171A3 (en) | Information processing apparatus, image generation method, control method, and program | |
JP2016522485A5 (ja) | ||
JP2013218597A5 (ja) | ||
JP2016522889A5 (ja) | ||
US10122912B2 (en) | Device and method for detecting regions in an image | |
JP2017016663A (ja) | 画像合成方法及び装置 | |
US20140286535A1 (en) | Methods and Apparatuses for Gesture Recognition | |
US10762713B2 (en) | Method for developing augmented reality experiences in low computer power systems and devices | |
JP5656768B2 (ja) | 画像特徴量抽出装置およびそのプログラム | |
JP2019204518A (ja) | 人物追跡方法、装置、機器及び記憶媒体 | |
GB2543123A (en) | Identifying shapes in an image by comparing Bézier curves | |
US20160110909A1 (en) | Method and apparatus for creating texture map and method of creating database | |
KR20160146567A (ko) | 가변적으로 빠르게 움직이는 객체를 검출하는 방법 및 장치 | |
KR101586071B1 (ko) | 마커리스 증강현실 서비스 제공 장치 및 이를 위한 촬영 위치 추정 방법 | |
JP2018519733A5 (ja) | ||
JP2008040913A5 (ja) |