JP5752200B2 - 取り込まれたレンダリングテキストに基づくコンテキスト動的広告 - Google Patents
取り込まれたレンダリングテキストに基づくコンテキスト動的広告 Download PDFInfo
- Publication number
- JP5752200B2 JP5752200B2 JP2013191813A JP2013191813A JP5752200B2 JP 5752200 B2 JP5752200 B2 JP 5752200B2 JP 2013191813 A JP2013191813 A JP 2013191813A JP 2013191813 A JP2013191813 A JP 2013191813A JP 5752200 B2 JP5752200 B2 JP 5752200B2
- Authority
- JP
- Japan
- Prior art keywords
- document
- user
- text
- captured
- electronic version
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000009877 rendering Methods 0.000 title claims description 22
- 238000000034 method Methods 0.000 claims description 140
- 230000009471 action Effects 0.000 claims description 138
- 230000004044 response Effects 0.000 claims description 47
- 238000012015 optical character recognition Methods 0.000 claims description 45
- 238000004458 analytical method Methods 0.000 claims description 28
- 230000015654 memory Effects 0.000 claims description 11
- 230000008569 process Effects 0.000 description 73
- 230000006870 function Effects 0.000 description 46
- 230000003287 optical effect Effects 0.000 description 37
- 239000000463 material Substances 0.000 description 30
- 239000012634 fragment Substances 0.000 description 27
- 238000012545 processing Methods 0.000 description 23
- 230000003993 interaction Effects 0.000 description 22
- 230000008901 benefit Effects 0.000 description 19
- 230000006399 behavior Effects 0.000 description 18
- 239000000047 product Substances 0.000 description 18
- 238000003860 storage Methods 0.000 description 18
- 230000000694 effects Effects 0.000 description 17
- 238000010586 diagram Methods 0.000 description 13
- 238000004891 communication Methods 0.000 description 11
- 238000009826 distribution Methods 0.000 description 11
- 230000010354 integration Effects 0.000 description 11
- 238000007639 printing Methods 0.000 description 11
- 241000699666 Mus <mouse, genus> Species 0.000 description 9
- 238000005516 engineering process Methods 0.000 description 9
- 238000013481 data capture Methods 0.000 description 8
- 230000000007 visual effect Effects 0.000 description 8
- 230000037406 food intake Effects 0.000 description 6
- 241000282326 Felis catus Species 0.000 description 5
- 239000000872 buffer Substances 0.000 description 5
- 230000008859 change Effects 0.000 description 5
- 230000002093 peripheral effect Effects 0.000 description 5
- 238000012552 review Methods 0.000 description 5
- 238000013519 translation Methods 0.000 description 5
- 230000014616 translation Effects 0.000 description 5
- 238000012384 transportation and delivery Methods 0.000 description 5
- 230000001960 triggered effect Effects 0.000 description 5
- 239000000284 extract Substances 0.000 description 4
- 230000008520 organization Effects 0.000 description 4
- 230000002829 reductive effect Effects 0.000 description 4
- 230000000153 supplemental effect Effects 0.000 description 4
- 241000282324 Felis Species 0.000 description 3
- 238000013475 authorization Methods 0.000 description 3
- 238000010276 construction Methods 0.000 description 3
- 230000014509 gene expression Effects 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 230000000977 initiatory effect Effects 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000003825 pressing Methods 0.000 description 3
- 230000001915 proofreading effect Effects 0.000 description 3
- 230000003068 static effect Effects 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 241000283323 Delphinapterus leucas Species 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 235000021152 breakfast Nutrition 0.000 description 2
- 230000001413 cellular effect Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 239000003795 chemical substances by application Substances 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 229910003460 diamond Inorganic materials 0.000 description 2
- 239000010432 diamond Substances 0.000 description 2
- 230000002452 interceptive effect Effects 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 230000002441 reversible effect Effects 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 230000001755 vocal effect Effects 0.000 description 2
- 241000699670 Mus sp. Species 0.000 description 1
- 241000921645 Ranunculus auricomus Species 0.000 description 1
- 238000007792 addition Methods 0.000 description 1
- 230000002730 additional effect Effects 0.000 description 1
- 230000001174 ascending effect Effects 0.000 description 1
- 238000003149 assay kit Methods 0.000 description 1
- 238000012550 audit Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 235000015496 breakfast cereal Nutrition 0.000 description 1
- 235000021162 brunch Nutrition 0.000 description 1
- 239000006227 byproduct Substances 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000004883 computer application Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 238000000151 deposition Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000005315 distribution function Methods 0.000 description 1
- 239000012776 electronic material Substances 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 238000007511 glassblowing Methods 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000010348 incorporation Methods 0.000 description 1
- 238000012905 input function Methods 0.000 description 1
- 238000003780 insertion Methods 0.000 description 1
- 230000037431 insertion Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000012804 iterative process Methods 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000003032 molecular docking Methods 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000036961 partial effect Effects 0.000 description 1
- 229920001690 polydopamine Polymers 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 238000004321 preservation Methods 0.000 description 1
- 230000035755 proliferation Effects 0.000 description 1
- 239000012925 reference material Substances 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000035807 sensation Effects 0.000 description 1
- 230000005236 sound signal Effects 0.000 description 1
- 239000012536 storage buffer Substances 0.000 description 1
- 230000005481 string theory Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000026676 system process Effects 0.000 description 1
- 230000009897 systematic effect Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 238000013518 transcription Methods 0.000 description 1
- 230000035897 transcription Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/02—Marketing; Price estimation or determination; Fundraising
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/279—Recognition of textual entities
Landscapes
- Business, Economics & Management (AREA)
- Strategic Management (AREA)
- Engineering & Computer Science (AREA)
- Accounting & Taxation (AREA)
- Development Economics (AREA)
- Finance (AREA)
- Economics (AREA)
- Game Theory and Decision Science (AREA)
- Entrepreneurship & Innovation (AREA)
- Marketing (AREA)
- Physics & Mathematics (AREA)
- General Business, Economics & Management (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Information Transfer Between Computers (AREA)
Description
本出願は、その全体が引用により本明細書に組み込まれる「TRIGGERING ACTIONS IN RESPONSE TO OPTICALLY OR ACOUSTICALLY CAPTURING KEYWORDS FROM A RENDERED DOCUMENT(レンダリング文書から光学的又は音響的にキーワードを取り込むことに応答したトリガ動作)」という名称で2005年4月1日に出願された米国特許出願第11/097,103号の一部継続出願である。
本出願は、その全体が引用により本明細書に組み込まれる「CONTEXTUAL DYNAMIC ADVERTISING BASED UPON CAPTURED RENDERED TEXT(取り込まれたレンダリングテキストに基づくコンテキスト動的広告)」という名称で2006年6月6日に出願された米国仮特許出願第60/811,623号に対する優先権を主張する。
本出願は、以下の米国特許出願に関連し、これらの各々は全体が引用により本明細書に組み込まれる:
2004年12月3日に出願された米国特許出願第11/004,637号、
「METHODS AND SYSTEMS FOR INITIATING APPLICATION PROCESSES BY DATA CAPTURE FROM RENDERED DOCUMENTS(レンダリング文書からのデータ取り込みによってアプリケーションプロセスを開始するための方法及びシステム)」という名称で2005年4月1日に出願された米国特許出願第11/097,961号、
「DETERMINING ACTIONS INVOLVING CAPTURED INFORMATION AND ELECTRONIC CONTENT ASSOCIATED WITH RENDERED DOCUMENTS(レンダリング文書に関連付けられた取り込み情報及び電子コンテンツを包含する動作の決定)」という名称で2005年4月1日に出願された米国特許出願第11/097,093号、
「CONTENT ACCESS WITH HANDHELD DOCUMENT DATA CAPTURE DEVICES(ハンドヘルド文書データ取り込みデバイスによるコンテンツアクセス)」という名称で2005年4月1日に出願された米国特許出願第11/098,038号、
「SEARCH ENGINES AND SYSTEMS WITH HANDHELD DOCUMENT DATA CAPTURE DEVICES(ハンドヘルド文書データ取り込みデバイスを備えたサーチエンジン及びシステム)」という名称で2005年4月1日に出願された米国特許出願第11/098,014号、
「SEARCHING AND ACCESSING DOCUMENTS ON PRIVATE NETWORKS FOR USE WITH CAPTURES FROM RENDERED DOCUMENTS(レンダリング文書からの取り込みに使用されるプライベートネットワーク上の文書のサーチ及びアクセス)」という名称で2005年4月1日に出願された米国特許出願第11/098,043号、
「INFORMATION GATHERING SYSTEM AND METHOD(情報収集システム及び方法)」という名称で2005年4月1日に出願された米国特許出願第11/097,981号、
「DOCUMENT ENHANCEMENT SYSTEM AND METHOD(文書拡張システム及び方法)」という名称で2005年4月1日に出願された米国特許出願第11/097,089号、
「PUBLISHING TECHNIQUES FOR ADDING VALUE TO A RENDERED DOCUMENT(レンダリング文書に値を付加するための発行技術)」という名称で2005年4月1日に出願された米国特許出願第11/097,835号、
「ARCHIVE OF TEXT CAPTURES FROM RENDERED DOCUMENTS(レンダリング文書からのテキスト取り込みのアーカイブ)」という名称で2005年4月1日に出願された米国特許出願第11/098,016号、
「ADDING INFORMATION OR FUNCTIONALITY TO A RENDERED DOCUMENT VIA ASSOCIATION WITH AN ELECTRONIC COUNTERPART(対応電子文書との関連付けを介したレンダリング文書への情報又は機能の付加)」という名称で2005年4月1日に出願された米国特許出願第11/097,828号、
「AGGREGATE ANALYSIS OF TEXT CAPTURES PERFORMED BY MULTIPLE USERS FROM RENDERED DOCUMENTS(レンダリング文書から複数のユーザによって行われるテキスト取り込みのアグリゲート解析)」という名称で2005年4月1日に出願された米国特許出願第11/097,833号、
「ESTABLISHING AN INTERACTIVE ENVIRONMENT FOR RENDERED DOCUMENTS(レンダリング文書のためのインタラクティブ環境の設定)」という名称で2005年4月1日に出願された米国特許出願第11/097,836号、
「DATA CAPTURE FROM RENDERED DOCUMENTS USING HANDHELD DEVICE(ハンドヘルドデバイスを使用したレンダリング文書からのデータ取り込み)」という名称で2005年4月1日に出願された米国特許出願第11/098,042号、
「CAPTURING TEXT FROM RENDERED DOCUMENTS USING SUPPLEMENTAL INFORMATION(補足情報を使用したレンダリング文書からのテキストの取り込み)」という名称で2005年4月1日に出願された米国特許出願第11/096,704号、
「PROCESSING TECHNIQUES FOR VISUAL CAPTURE DATA FROM A RENDERED DOCUMENT(レンダリング文書からの視覚的な取り込みデータのための処理技術)」という名称で2005年4月19日に出願された米国特許出願第11/110,353号、
「PROCESSING TECHNIQUES FOR TEXT CAPTURE FROM A RENDERED DOCUMENT(レンダリング文書からのテキスト取り込みのための処理技術)」という名称で2005年5月17日に出願された米国特許出願第11/131,945号、
「AUTOMATIC MODIFICATION OF WEB PAGES(ウェブページの自動修正)」という名称で2005年7月19日に出願された米国特許出願第11/185,908号、
「SCANNER HAVING CONNECTED AND UNCONNECTED OPERATIONAL BEHAVIORS(接続及び未接続オペレーション行動を有するスキャナ)」という名称で2005年8月18日に出願された米国特許出願第11/208,408号、
「LOCATING ELECTRONIC INSTANCES OF DOCUMENTS BASED ON RENDERED INSTANCES, DOCUMENT FRAGMENT DIGEST GENERATION, AND DIGEST BASED DOCUMENT FRAGMENT DETERMINATION(レンダーインスタンス、文書フラグメントダイジェスト生成、及びダイジェストベース文書フラグメント決定に基づく文書の電子インスタンスの位置付け)」という名称で2005年8月18日に出願された米国特許出願第11/208,457号、
「METHODS, SYSTEMS AND COMPUTER PROGRAM PRODUCTS FOR DATA GATHERING IN A DIGITAL AND HARD COPY DOCUMENT ENVIRONMENT(デジタル及びハードコピー文書環境におけるデータ収集のための方法、システム、及びコンピュータプログラム製品)」という名称で2005年8月18日に出願された米国特許出願第11/208,458号、
「APPLYING SCANNED INFORMATION TO IDENTIFY CONTENT(コンテンツを識別するためのスキャン情報の適用)」という名称で2005年8月18日に出願された米国特許出願第11/208,461号、
「A PORTABLE SCANNING DEVICE(ポータブルスキャンデバイス)」という名称で2005年8月23日に出願された米国特許出願第11/209,333号、
「A METHOD AND SYSTEM FOR CHARACTER RECOGNITION(文字認識のための方法及びシステム)」という名称で2005年8月23日に出願された米国特許出願第11/210,260号、
「SECURE DATA GATHERING FROM RENDERED DOCUMENTS(レンダリング文書からの安全なデータ収集)」という名称で2005年9月27日に出願された米国特許出願第11/236,440号、
「HANDHELD DEVICE FOR CAPTURING TEXT FROM BOTH A DOCUMENT PRINTED ON PAPER AND A DOCUMENT DISPLAYED ON A DYNAMIC DISPLAY DEVICE(紙に印刷された文書及び動的ディスプレイデバイスに表示された文書の両方からテキストを取り込むためのハンドヘルドデバイス)」という名称で2005年9月27日に出願された米国特許出願第11/236,330号、
「ASSOCIATION OF A PORTABLE SCANNER WITH INPUT/OUTPUT AND STORAGE DEVICES(ポータブルスキャナと入力/出力及び記憶装置との関連付け)」という名称で2006年2月28日に出願された米国特許出願第11/365,983号、
「PORTABLE SCANNING AND MEMORY DEVICE(ポータブルスキャン及びメモリデバイス)」という名称で2006年5月11日に出願された米国特許出願第11/432,731号、
「A SYSTEM AND METHOD FOR CHARACTER RECOGNITION(文字認識のためのシステム及び方法)」という名称で2005年4月1日に出願された国際特許出願第PCT/US05/11533号、
「SCANNING APPARATUS AND RELATED TECHNIQUES(スキャン装置及び関連技術)」という名称で2005年4月6日に出願された国際特許出願第PCT/US05/13586号、
「ADDING VALUE TO A RENDERED DOCUMENT(レンダリング文書への値の付加)」という名称で2005年4月12日に出願された国際特許出願第PCT/US05/12510号。
2004年4月1日に出願された米国出願第60/559,226号、2004年4月1日に出願された出願第60/558,893号、2004年4月1日に出願された出願第60/558,968号、2004年4月1日に出願された出願第60/558,867号、2004年4月1日に出願された出願第60/559,278号、2004年4月1日に出願された出願第60/559,279号、2004年4月1日に出願された出願第60/559,265号、2004年4月1日に出願された出願第60/559,277号、2004年4月1日に出願された出願第60/558,969号、2004年4月1日に出願された出願第60/558,892号、2004年4月1日に出願された出願第60/558,760号、2004年4月1日に出願された出願第60/558,717号、2004年4月1日に出願された出願第60/558,499号、2004年4月1日に出願された出願第60/558,370号、2004年4月1日に出願された出願第60/558,789号、2004年4月1日に出願された出願第60/558,791号、2004年4月1日に出願された出願第60/558,527号、2004年4月2日に出願された出願第60/559,125号、2004年4月2日に出願された出願第60/558,909号、2004年4月2日に出願された出願第60/559,033号、2004年4月2日に出願された出願第60/559,127号、2004年4月2日に出願された出願第60/559,087号、2004年4月2日に出願された出願第60/559,131号、2004年4月6日に出願された出願第60/559,766号、2004年4月12日に出願された出願第60/561,768号、2004年4月19日に出願された出願第60/563,520号、2004年4月19日に出願された出願第60/563,485号、2004年4月23日に出願された出願第60/564,688号、2004年4月23日に出願された出願第60/564,846号、2004年4月30日に出願された出願第60/566,667号、2004年5月14日に出願された出願第60/571,381号、2004年5月14日に出願された出願第60/571,560号、2004年5月17日に出願された出願第60/571,715号、2004年7月19日に出願された出願第60/589,203号、2004年7月19日に出願された出願第60/589,201号、2004年7月19日に出願された出願第60/589,202号、2004年8月2日に出願された出願第60/598,821号、2004年8月18日に出願された出願第60/602,956号、2004年8月18日に出願された出願第60/602,925号、2004年8月18日に出願された出願第60/602,947号、2004年8月18日に出願された出願第60/602,897号、2004年8月18日に出願された出願第60/602,896号、2004年8月18日に出願された出願第60/602,930号、2004年8月18日に出願された出願第60/602,898号、2004年8月19日に出願された出願第60/603,466号、2004年8月19日に出願された出願第60/603,082号、2004年8月19日に出願された出願第60/603,081号、2004年8月20日に出願された出願第60/603,498号、2004年8月20日に出願された出願第60/603,358号、2004年8月23日に出願された出願第60/604,103号、2004年8月23日に出願された出願第60/604,098号、2004年8月23日に出願された出願第60/604,100号、2004年8月23日に出願された出願第60/604,102号、2004年8月27日に出願された出願第60/605,229号、2004年8月27日に出願された出願第60/605,105号、2004年9月27日に出願された出願第60/613,243号、2004年9月27日に出願された出願第60/613,628号、2004年9月27日に出願された出願第60/613,632号、2004年9月27日に出願された出願第60/613,589号、2004年9月27日に出願された出願第60/613,242号、2004年9月27日に出願された出願第60/613,602号、2004年9月27日に出願された出願第60/613,340号、2004年9月27日に出願された出願第60/613,634号、2004年9月27日に出願された出願第60/613,461号、2004年9月27日に出願された出願第60/613,455号、2004年9月27日に出願された出願第60/613,460号、2004年9月27日に出願された出願第60/613,400号、2004年9月27日に出願された出願第60/613,456号、2004年9月27日に出願された出願第60/613,341号、2004年9月27日に出願された出願第60/613,361号、2004年9月27日に出願された出願第60/613,454号、2004年9月27日に出願された出願第60/613,339号、2004年9月27日に出願された出願第60/613,633号、2004年10月1日に出願された出願第60/615,378号、2004年10月1日に出願された出願第60/615,112号、2004年10月1日に出願された出願第60/615,538号、2004年10月7日に出願された出願第60/617,122号、2004年10月28日に出願された出願第60/622,906号、2004年12月6日に出願された出願第60/633,452号、2004年12月6日に出願された出願第60/633,678号、2004年12月6日に出願された出願第60/633,486号、2004年12月6日に出願された出願第60/633,453号、2004年12月9日に出願された出願第60/634,627号、2004年12月9日に出願された出願第60/634,739号、2005年1月26日に出願された出願第60/647,684号、2005年1月31日に出願された出願第60/648,746号、2005年2月15日に出願された出願第60/653,372号、2005年2月16日に出願された出願第60/653,663号、2005年2月16日に出願された出願第60/653,669号、2005年2月16日に出願された出願第60/653,899号、2005年2月16日に出願された出願第60/653,679号、2005年2月16日に出願された出願第60/653,847号、2005年2月17日に出願された出願第60/654,379号、2005年2月18日に出願された出願第60/654,368号、2005年2月18日に出願された出願第60/654,326号、2005年2月18日に出願された出願第60/654,196号、2005年2月22日に出願された出願第60/655,279号、2005年2月22日に出願された出願第60/655,280号、2005年2月22日に出願された出願第60/655,987号、2005年2月22日に出願された出願第60/655,697号、2005年2月22日に出願された出願第60/655,281号、2005年2月28日に出願された出願第60/657,309号、2006年7月24日に出願された出願第60/833,131号、2006年9月8日に出願された出願第60/843,362号、2006年9月15日に出願された出願第60/844,894号、2006年9月15日に出願された出願第60/844,893号、2006年9月18日に出願された出願第60/845,604号、及び2007年4月5日に出願された出願第60/910,438号。
記載の技術は、レンダリング文書との対話の分野を対象とし、更に具体的にはレンダリング文書から取り込まれた情報に応答して動作することを対象とする。
レンダリング文書から光学的又は音響的にキーワードを取り込むことに応答して、或いは取り込まれたキーワードに基づいて文書を識別することに応答して、広告などの動作をトリガするためのソフトウェア及び/又はハードウェアシステムについて説明する(「システム」)。本明細書で使用されるキーワードとは、1つ又はそれ以上のワード、アイコン、記号、又は画像を意味する。本出願では用語「ワード」及び「複数形のワード」が使用されることが多いが、幾つかの実施形態では、アイコン、記号、又は画像を用いることができる。本明細書で使用されるキーワードはまた、1つ又はそれ以上の隣接する記号から構成されるフレーズを指す。本明細書で使用されるキーワードは、レンダリング文書で扱われたトピック又はサブジェクトに関するワード、或いは取り込みに応答して識別されたレンダリング文書の一部分を含む。
1.システムの性質
対応電子文書を有するあらゆる紙文書に対して、対応電子文書を識別できる情報の離散的な量が紙文書において存在する。幾つかの実施形態では、システムは、例えばハンドヘルドスキャナを用いて紙文書から取り込まれたテキストのサンプルを使用し、文書の対応電子文書を識別して位置特定する。ほとんどの場合、機能によって必要とされるテキストの量は極めて小さく、文書からのテキストの数ワードが、紙文書に対する識別子として及びその対応電子文書へのリンクとして機能できることが多い。更に、本システムは、その数ワードを使用して、文書だけでなく文書内のロケーションも識別することができる。
本システムが、紙文書におけるテキストの一部を設定された特定のデジタルエンティティに関連付けると、システムは、その関連付けに膨大な量の機能性を構築することができる。
本システムの一般的な使用は、光学スキャナを使用して紙文書からテキストをスキャンすることから始まるが、他のタイプの文書からの他の取り込み方法も等しく適用可能である点に留意することは重要である。従って、システムは、レンダリング文書からテキストをスキャン又は取り込むものとして説明された場合があり、ここでこれらの用語は以下のように定義される。
このセクションでは、紙/デジタル統合のためのシステムを構成するデバイス、プロセス、及びシステムの幾つかを説明する。種々の実施形態では、システムは、基本機能を提供するこの基礎コア上に様々なサービス及びアプリケーションを構築する。
図1は、コアシステムの1つの実施形態における情報の流れを示すデータフロー図である。他の実施形態は、本明細書で示される段階又は要素の全てを使用しない場合があるが、より多くを使用するものもある。
図2は、一般的な動作環境の状況におけるシステムの一般的な実装に含まれるコンポーネントのコンポーネント図である。図示のように、動作環境は、1つ又はそれ以上の光学スキャン取り込み装置202又は音声取り込み装置204を含む。幾つかの実施形態では、同じデバイスが両方の機能を実行する。各取り込み装置は、直接配線又は無線接続のいずれかを使用して、或いは有線又は無線接続を使用して通信できるネットワーク220を介してコンピュータ212及び移動局216(例えば、携帯電話又はPDA)などのシステムの他の部分と通信することができ、ネットワーク220には通常、無線基地局214を含む。幾つかの実施形態では、取り込み装置は、移動局に統合され、任意選択的には、音声通信及び画像撮像用のデバイスで使用される音声及び/又は光コンポーネントの一部を共有する。
上述のように、取り込み装置は、レンダリング文書から画像データを取り込む光学スキャナを使用して、或いは、テキストのユーザ音読を取り込む音声記録デバイス或いは他の方法を使用して、テキストを取り込むことができる。取り込み装置の幾つかの実施形態はまた、バーコードなどの機械可読コードを含む画像、グラフィカル記号、及びアイコン、その他を取り込むことができる。デバイスは極めて単純にでき、システム内の他の場所に常駐する他の機能に応じた変換器、幾つかの記憶装置、及びデータインターフェース程度のものからなることができ、或いは、更にフル装備のデバイスとすることができる。例証として、このセクションでは、光学スキャナの周辺をベースとし、且つ妥当な数の機能を備えたデバイスについて説明する。
紙−デジタル統合がより一般的になるにつれて、この統合を更に良く利用するように、或いはより効果的に実装できるようにするために変更することができる既存の技術の多くの態様が存在する。このセクションでは、これらの問題の一部を明らかにする。
文書コーパス、更にワールドワイドウェブのような大きなコーパスをサーチすることは、キーボードを使用してサーチエンジンに送られるサーチクエリーを構成する通常のユーザにとって一般的なことになってきた。このセクション及び次のセクションでは、レンダリング文書からの取り込みによって発生したクエリーの構成、及びこのようなクエリーを処理するサーチエンジンの両方の態様を説明する。
説明されたシステムの使用は、通常、上記のセクション1.2で言及されたものを含む幾つかの方法のいずれかを使用して、レンダリング文書から数ワードが取り込まれることで始まる。入力がテキストに変換するために何らかの解釈を必要とする場合、例えば、OCR又は音声入力の場合、文書コーパスを使用して認識プロセスを拡張できるように、システム内にエンドツーエンドフィードバックが存在することができる。エンドツーエンドフィードバックは、認識又は解釈の近似を行い、1つ又はそれ以上の候補一致文書のセットを識別し、次に候補文書における可能性のある一致からの情報を使用して認識又は解釈を更に改良又は限定することによって適用することができる。候補文書は、その考えられる関連性に応じて(例えば、これらの文書をスキャンした他のユーザの数、又はインターネット上のこれらの人気に基づいて)重み付けすることができ、これらの重みは、この反復認識プロセスにおいて適用することができる。
数語のワードの相対位置が既知である場合に、数ワードに基づくサーチクエリーの選択力が大幅に強化されるので、コーパスにおけるテキストのロケーションをシステムが識別するのに取り込む必要のあるテキストはほんのわずかの量に過ぎない。通常、入力テキストは、ショートフレーズなどの連続したワードのシーケンスとなる。
フレーズの由来する文書の位置を特定することに加えて、システムは、その文書におけるロケーションを識別し、この知識に基づいて動作を行うことができる。
本システムはまた、レンダリング文書における透かし又は他の特別なマーキングなどを使用して、文書及びロケーションを発見する他の方法を用いることができる。
取り込まれたテキストに加えて、他の要素(すなわち、ユーザアイデンティティ、プロフィール、及びコンテキストについての情報)は、取り込み時刻、ユーザのアイデンティティ、及び地理的ロケーション、ユーザの習慣及び最近のアクティビティについての知識など、サーチクエリーの一部を形成することができる。
サーチクエリーは、使用される特定の取り込み方法で発生する可能性のあるエラーのタイプを考慮して構成することができる。この1つの実施例は、特定の文字の認識における疑わしいエラーの表示であり、この場合、サーチエンジンが、これらの文字をワイルドカードとして処理するか、或いはこれらに低い優先順位を割り当てることができる。
取り込み装置が、データ取り込み時にサーチエンジン又はコーパスと通信できないことがある。この理由のため、デバイスのオフライン使用に有用な情報を事前にデバイスに、或いはデバイスが通信できる何らかのエンティティにダウンロードすることができる。場合によっては、コーパスに関連付けられたインデックスの全て又はかなりの部分をダウンロードすることができる。このトピックについては、セクション15.3で更に検討する。
クエリーを伝達すること又は結果を受け取ることに関連する遅延又はコストが発生する可能性が高い場合、この事前にロードされた情報は、ローカルデバイスのパフォーマンスを向上させ、通信コストを低減し、更に有用且つタイムリーなユーザフィードバックを提供することができる。
パフォーマンス上の理由から、単一の取り込みに応答して複数のクエリーを順次的又は並行して開始することができる。単一の取り込みに応答して、例えば新しいワードが取り込みに追加されたとき、或いは並行して複数のサーチエンジンに問い合わせするために幾つかのクエリーを送信することができる。
従来のオンラインクエリーを扱うサーチエンジンは、レンダリング文書から生じたクエリーも扱うことが望ましい場合が多い。従来のサーチエンジンは、説明されたシステムと共に使用するのにより好適にするために幾つかの方法で強化又は修正することができる。
多くの場合、紙由来又は従来のクエリーを使用して同じインデックスをサーチすることができるが、インデックスは、現在のシステムにおいて様々な方法で使用するために強化することができる。
紙ベースのサーチの場合の助けとなるインデックスに追加のフィールドを付加することができる。
第1の実施例は、紙形式で文書が存在していること又は配布されていることが既知であるのを示すフィールドである。システムは、クエリーが紙から生じている場合には、このような文書に対し高い優先順位を与えることができる。
この実施例では、紙文書の人気度に関する(及び、任意選択的に、これらの文書内のサブ領域に関する)統計的データ(例えば、スキャンアクティビティの量、発行者又は他のソースによって提供される発行部数など)は、これらの文書に高い優先順位を与えること、対応デジタル文書(例えば、ブラウザベースのクエリー又はウェブサーチに対する)の優先順位を引き上げることなどのために使用される。
別の重要な実施例は、文書の特定のレンダリングのレイアウトについての情報の記録とすることができる。
最後に、テキストの特定の部分が市場に出される品目に言及していること、又はあるパラグラフがプログラムコードを包含することなど、ソースマークアップから推定できるが紙文書では明らかではない意味情報をインデックスに記録することもできる。
インデックスの性質を修正できる第2の要因は、使用される可能性が高い取り込みのタイプについての知識である。光学スキャンによって開始されるサーチは、インデックスがOCRプロセスにおいて混同し易い文字を考慮に入れる場合、或いは文書内に使用されたフォントの何らかの知識を含む場合に有利とすることができる。同様に、クエリーが音声認識により提供される場合には、類似の発音音素に基づくインデックスを遙かに効率的にサーチすることができる。説明されたモデルにおけるインデックスの使用に影響を与える可能性のある付加的な要因は、認識プロセス中の反復フィードバックの重要性である。テキストが取り込まれるときにサーチエンジンがインデックスからのフィードバックを提供できる場合、サーチエンジンは、取り込みの精度を大幅に高めることができる。
インデックスがセクション9で説明したオフセットベース/自己相関OCR法を用いてサーチされる可能性が高い場合、幾つかの実施形態では、システムは、インデックス内に適切なオフセット又は署名情報を記憶する。
最後に、説明されたシステムでは、多くのインデックスに対してサーチを行うことが一般的とすることができる。インデックスは、企業ネットワークの複数の機械上で保持することができる。取り込み装置、或いは取り込み装置の近くにある機械に部分的なインデックスをダウンロードすることができる。特定の関心、習慣、又は許可を持つユーザ又はユーザのグループに対し、別個のインデックスを作成することができる。インデックスは、ファイルシステムごと、ディレクトリごと、ユーザのハードディスク上のファイルごとにでも存在することができる。インデックスは、ユーザ及びシステムによって発行され利用される。従って、配布、更新、併合、及び分割を効率的に行い得るインデックスを構成することが重要となる。
4.2.1.紙からの取り込みであることの認知
サーチエンジンは、サーチクエリーが紙文書由来のものであることを認識したときに異なる動作をとることができる。エンジンは、例えばある取り込み方法において現われる可能性の高いエラーのタイプに対してより耐性のある手法でクエリーを扱うことができる。
以下のセクション13では、取り込まれたテキスト自体の外部にあるが文書の識別において有意な助けとなり得る様々な異なる要因について説明する。これらは、最近のスキャンの履歴、特定のユーザの長期的読書習慣、ユーザの地理的ロケーション、及びユーザの特定の電子文書の最近の使用などの事柄を含む。このような要因は、本明細書では「コンテキスト」と呼ばれる。
サーチプロセスへの重要な入力は、ユーザのコミュニティが文書のレンダリングバージョンとどのように対話しているか、例えばどの文書が誰によって最も広く読まれているかに関する広範なコンテキストである。最も頻繁にリンクされたページ、或いは過去のサーチ結果から最も頻繁に選択されたページを返すウェブサーチに関する類似性が存在する。このトピックについての更なる検討は、セクション13.4及び14.2を参照されたい。
説明されたシステムは、文書全体についての情報だけでなく、個々のワードに至るまで文書のサブ領域についての情報も提供し使用することができる。多くの既存のサーチエンジンは、単に、特定のクエリーに関連性のある文書又はファイルの位置を特定することに的が絞られている。細粒度がより高いものに作用し且つ文書内のロケーションを識別することができるサーチエンジンは、説明されたシステムに対し有意な利益を提供するであろう。
サーチエンジンは、現在保持している追加情報の一部を使用して返された結果に影響を及ぼすことができる。
取り込み−サーチ−取り出しプロセスを行うことに加えて、説明されたシステムはまた、追加の機能を文書、詳細には文書内のテキストの特定のロケーション又はセグメントと関連付ける。この追加の機能は、限定ではないが、その対応電子文書と関連付けられることによってレンダリング文書と関連付けられることが多い。一実施例として、ウェブページにおけるハイパーリンクは、そのウェブページのプリントアウトがスキャンされたときに同じ機能を有することができる。場合によっては、この機能は、電子文書では定義されないが、他の場所で記憶又は生成される。
マークアップの一手法は、文書に対する「オーバーレイ」としてみなすものであり、文書又は文書の一部分についての更なる情報を提供し、これら関連する動作を指定することができる。マークアップは、人間可読のコンテンツを含むことができるが、多くの場合、ユーザに不可視のもの、及び/又は機械用途を意図したものである。実施例としては、ユーザがレンダリング文書の特定のエリアからテキストを取り込んだときに付近のディスプレイ上にポップアップメニューで表示されるオプション、及び特定のフレーズの発音を示すオーディオサンプルが挙げられる。
どの文書も複数のオーバーレイを同時に有することができ、これらは、様々なロケーションをソースとすることができる。マークアップデータは、文書の作者によって、或いはユーザによって、もしくは他の何らかの当事者によって作成又は供給することができる。
ユーザはまた、マークアップデータをインストールするか、或いはマークアップデータの特定のソースに加入し、これによって特定の取り込みに対するシステム応答を個人化することができる。
文書における幾つかの要素は、特定の文書におけるロケーション以外の固有の特徴に基づいて特定の「マークアップ」又は関連する機能を有することができる。実施例としては、純粋にスキャンされることを目的として文書内に印刷される特別なマーク、並びにユーザを関心のある組織についての更なる情報にリンク可能なロゴ及び商標が含まれる。同じことが、テキストにおける「キーワード」又は「キーフレーズ」にも当てはまる。組織は、関連付けられる、又は関連付けられることを望む特定のフレーズを登録し、当該フレーズがスキャンされた場所であればどこでも利用可能な特手のマークアップをそのフレーズに添付することができる。
5.3.1.マルチメディアを含むユーザコメント及び注釈
注釈は、文書に関連付けることができる別のタイプの電子情報である。例えばユーザは、後で音声注釈として取り出すために特定の文書についてのユーザの見解の音声ファイルを添付することができる。マルチメディア注釈の別の実施例として、ユーザは、文書内で言及された場所の写真を添付することができる。ユーザは、一般に、文書に対する注釈を提供するが、システムは、他のソースからの注釈を関連付けることができる(例えば、ワークグループ内の他のユーザが注釈を共有することができる)。
ユーザソースのマークアップの重要な実施例は、校正、編集又はレビュープロセスの一部としての紙文書の注釈である。
前述のように、マークアップデータは、多くの場合、文書の他の読者などのサードパーティによって供給することができる。特定の作業関するコミュニティ管理情報、ボランティア貢献による翻訳及び説明のような、オンラインディスカッション及びレビューは好適な実施例である。
本システムの複数のユーザか又は全てのユーザが文書から取り込まれたデータを解析することによって、コミュニティのアクティビティ及び関心事項に基づいてマークアップを生成することができる。実施例として、実際に、「この本を楽しんだ人は....も楽しんだ」とユーザに示すマークアップ又は注釈を作成するオンラインブックストアとすることができる。マークアップは、匿名性が低いものとすることができ、ユーザの連絡先リストのうちの誰がこの文書を最近読んだかをユーザに示すことができる。データストリーム解析の他の実施例は、セクション14に含まれる。
マークアップは、多くの場合、企業データベースからの入力、公衆インターネットからの情報、或いはローカルオペレーティングシステムによって収集された統計などの外部事象及びデータソースに基づくことになる。
多くの場合、ユーザのアイデンティティは既知となる。場合によっては、これは、例えば取り込み装置のシリアルナンバーによってのみユーザが識別される「匿名アイデンティティ」となる。しかしながら、一般的には、システムがユーザの遙かに詳細な知識を有しており、システムを個人化するため、及びユーザの名前でアクティビティ及び取引を実行できるようにするために用いることができると予想される。
システムが実行できる最も単純で最も有用な機能の1つは、ユーザが取り込んだテキスト、見つかったあらゆる文書の詳細、その文書内のロケーション、及び結果として取られるあらゆる動作を含む、当該取り込みに関するあらゆる追加情報のユーザについての記録を維持することである。
ユーザには、ユーザが読んで取り込んだ全てのものの記録である「ライフライブラリ」を提示することができる。これは、単に個人の関心を目的としたものとすることができるが、例えば、ユーザの次回の論文の参考文献のための資料を収集している研究者によってライブラリ内で使用することができる。
ユーザの過去の取り込みの記録は、システムにとっても有用である。システムオペレーションの多くの態様は、ユーザの読書習慣及び履歴を知ることによって強化することができる。最も単純な実施例では、ユーザによって行われたいずれのスキャンもユーザが最近スキャンした文書から生じたものである可能性が高く、特に、前回のスキャンがここ数分以内であった場合には、同じ文書からのものである可能性が極めて高い。同様に、文書が最初から最後の順序で読まれている可能性が高い。従って、英語文書では、より後でのスキャンは文書中のかなり下の方で起こる可能性も高い。このような要因は、システムが曖昧な場合に取り込みのロケーションを確立するのを助けることができ、取り込む必要のあるテキストの量を低減することもできる。
取り込みプロセスは、一般に、ある種のデバイス、通常は光学スキャナ又はボイスレコーダから始まるので、このデバイスは、ユーザを識別してある特定の動作を許可するキーとして使用することができる。
デバイスは、携帯電話に内蔵するか、或いは他の何らかの方法で携帯電話アカウントに関連付けることができる。例えば、スキャナは、アカウントに関連付けられたSIMカードをスキャナに挿入することによって、携帯電話アカウントに関連付けることができる。同様に、デバイスは、クレジットカード又は他の支払いカードに埋め込むことができ、或いはこのようなカードが接続される機能を有することができる。従ってデバイスは、支払いトークンとして使用することができ、レンダリング文書からの取り込みによって金融取引を開始することができる。
スキャナはまた、特定のユーザ又はアカウントに関連する何らかのトークン、記号、又はテキストをスキャンするプロセスを介して、当該ユーザ又はアカウントに関連付けることができる。更にスキャナは、例えばユーザの指紋をスキャンすることによってバイオメトリック識別に使用することができる。音声ベースの取り込み装置の場合、システムは、ユーザの声紋を一致させることによって、又はユーザに特定のパスワード又はフレーズを話すよう要求することによってユーザを識別することができる。
取り込み装置を用いて、ユーザを識別及び認証し、ユーザに代わって取引を開始する場合、デバイスとシステムの他の部分との間の通信がセキュアであることが重要である。また、別のデバイスがスキャナになりすますような状況、及びデバイスと他のコンポーネントとの間の通信が傍受されるいわゆる「中間者」攻撃に対して防御することが重要である。
説明されたシステムの利点は、システムの利点の多くを得るために、文書を作成、印刷、又は発行する従来のプロセスを変更する必要がない点である。しかしながら、文書の作成者又は発行者(以下、単に「発行者」と称する)は、説明されたシステムをサポートするための機能性の作成を望む可能性があるという理由がある。
本システムによって、印刷文書は、関連する電子プレゼンスを有することが可能になる。従来は、発行者が、更なるデジタル情報、チュートリアルムービー及び他のマルチメディアデータ、サンプルコードもしくは文書、或いは更なる関連資料を包含するCD−ROMを本と共に出荷することが多かった。更に、一部の発行者は、このような資料だけでなく、正誤表、追加コメント、更新された関連資料、参考文献及び関連データの更なるソース、並びに他の言語への翻訳といった発行後に更新できる情報を提供する特定の発行物に関連付けられたウェブサイトを保持する。オンラインフォーラムによって、読者は、発行物についてのコメントを寄稿することが可能になる。
一部の発行者は、新しい関連事項を通知して欲しい場合、或いは本の新版が発行されたときに読者が購読できるメーリングリストを有することができる。説明されたシステムでは、ユーザは、場合によっては発行者が何らかのこのような機能を提供することを検討する前であっても、特定の文書又は文書の一部への関心を容易に登録することができる。読者の関心は発行者に提供され、更新、更なる情報、新版、又は既存の本に関心があることが分かったトピックに関する全く新しい発行物を提供する時期及び場所についての決定に影響を及ぼす場合がある。
システムの多くの態様は、単に文書内に既に存在しているテキストの使用を介して可能になる。しかしながら、システムと共に使用できるという知識において文書が作成される場合、追加の情報を特別なマークの形式で印刷することにより追加の機能性を付加することができ、これを利用してテキスト又は要求される動作をより密接に識別するか、或いはシステムとの文書の対話を強化することができる。最も単純で最も重要な実施例は、文書がシステムを介して明確にアクセス可能であることの読者への表示である。例えば、特別なアイコンを用いて、文書が関連するオンラインディスカッションフォーラムを有することを示すことができる。
印刷文書の所有又はこれへのアクセスにより、ユーザに対し一定の特権、例えば文書の電子コピー又は追加資料へのアクセスが与えられることになる場合が幾つかある。説明されたシステムを使用すると、このような特権は、単にユーザが文書からテキストの一部を取り込んだ又は特別に印刷された記号をスキャンした結果として付与することができる。ユーザが文書全体を所有していたことをシステムが確認する必要がある場合、システムは、特定のページからの特定の項目又はフレーズ、例えば「46ページの2行目」をスキャンするようユーザに促すことができる。
印刷文書が追加の資料及び機能性に対するゲートウェイである場合、このような機能へのアクセスも期限付きとすることができる。有効期限後、ユーザは、再度この記事にアクセスするためには手数料を支払うか、或いは文書のより新しい版を取得することが要求される場合がある。勿論、紙文書は依然として使用可能であるが、その強化された電子機能性の一部を失うことになる。例えば、電子資料へのアクセスに対して手数料を受け取ること、或いは適宜新しい版を購入するようユーザに要求することで発行者に収益があるので、或いは、未だ流通している印刷文書の旧版に関連する不利益があるので、これは望ましいとすることができる。クーポンは、有効期限を持つことができる商業文書のタイプの実施例である。
セクション10.5では、著者への報酬及び広告の価格設定に影響を与える、システムの統計の使用について議論する。
説明されたシステムの重要な態様は、文書のレンダリングコピーにアクセスできるユーザにその文書の電子版へのアクセスができるようにする機能である。場合によっては、文書は、ユーザがアクセスできるパブリックネットワーク又はプライベートネットワーク上で自由に利用可能である。システムは、取り込まれたテキストを使用して、文書を識別し、位置特定し、及び取り出し、場合によってはこれをユーザの画面に表示するか、或いはユーザの電子メールの受信トレイに預ける。
文書へのアクセスは、指定されたユーザ又は特定の条件を満たすユーザに制限することができ、或いは、例えばユーザがセキュアネットワークに接続されている場合のようなある一定の環境においてのみ利用可能とすることができる。セクション6は、ユーザ及びスキャナのクレデンシャルを確立することができる方法の幾つかについて説明している。
一般公衆には自由に利用可能でない文書は、多くの場合発行者又は著作権所有者への報酬として、手数料を支払うことによってアクセス可能にすることができる。システムは、支払い機能を直接的に実装することができ、或いはセクション6.2で説明したものを含む、ユーザに関連する他の支払い方法を利用することができる。
電子文書は、一時的なものである場合が多く、レンダリング文書のデジタルソース版は、現在は利用可能であるが、将来はアクセスできない可能性がある。システムは、ユーザが要求しなかった場合でも、ユーザに代わって既存の版を取り出して記憶することができ、従って、ユーザが将来要求した場合にその可用性を保証する。また、これにより、例えば将来の取り込みを識別するプロセスの一部としてサーチするためにシステムを利用することができるようになる。
場合によっては、別のアカウント又は購読とのユーザの既存の関連付けに基づき、支払いを放棄、削減、或いは返済することができる。新聞の印刷版の購読者には、例えば、電子版を取り出す権限を自動的に与えることができる。
紙文書からテキストを取り込み、電子オリジナルを識別し、そのオリジナル又は取り込みに関連する当該オリジナルの一部を印刷するプロセスは、多くの利点により、従来の写真複写に対する代替形態を形成する。すなわち、
・紙文書は、最終プリントアウトと同じロケーションにある必要はなく、いずれの場合でも同時に存在する必要はない
・写真複写プロセスによって文書、特に古く脆弱な貴重な文書に生じる磨耗及び損傷を回避することができる
・通常、コピーの品質が遙かに高い
・どの文書又は文書の一部が最も頻繁にコピーされるかついての記録を保持することができる
・プロセスの一部として著作権所有者に支払いを行うことができる
・許可されないコピーは禁止することができる
歴史的又は他の特定の意義を有する法律上の証書又は文書の場合のように、文書が特に貴重である場合、通常は、多くの場合何年にもわたってこれらの文書のコピーで作業することができ、オリジナルは安全なロケーションに保管している。
従来、光学式文字認識(OCR)技術は、例えば、ページ全体を取り込むフラットベッドスキャナからの大量のテキストを含む画像に的を絞ってきた。OCR技術は多くの場合、有用なテキストを生成するためにユーザによる相当なトレーニング及び補正を必要とする。OCR技術は、OCRを行う機械に相当な処理能力を要求することが多く、多くのシステムが辞書を使用する場合、これらは一般に、事実上無限の語彙で動作することが予想される。
説明されたシステムと共に使用するスキャンデバイスは、多くの場合、小型で、ポータブルで、低電力になる。スキャンデバイスは、一度に数ワードしか取り込むことができず、幾つかの実装では、一度に文字全体を取り込まず、テキストを通る水平スライスを取り込み、多くのこのようなスライスをまとめて、テキストを推測できる認識可能な信号を形成する。スキャンデバイスはまた、極めて限定された処理能力又は記憶装置を有することができるが、幾つかの実施形態では、OCRプロセス自体の全てを実行することができ、多くの実施形態は、場合によっては後で取り込まれた信号をテキストに変換するためにより強力なデバイスへの接続に依存することになる。最後に、スキャンデバイスは、ユーザ対話のために極めて限定された機能を有することがあり、そのため、ユーザ入力のどのような要求も後に延期し、或いは現在一般的であるよりも高い程度まで「最良推定」モードで動作することを必要とすることがある。
説明されたシステム内のOCRの主な新しい特徴は、一般に他の場所に存在しデジタル形式で取り出し得るテキストの画像を調べることである。従って、テキストの正確な転写は、OCRエンジンから常に要求される訳ではない。OCRシステムは、場合によっては確率加重を含む実施可能な一致のセット又はマトリックスを出力することができ、これらを使用してデジタルオリジナルをサーチすることができる。
認識を実行するデバイスが処理の時点で文書インデックスと接触できる場合、OCRプロセスは、進行するときに文書コーパスのコンテンツにより通知することができ、場合によってはかなり優れた認識精度を提供することができる。
システムが、印刷に使用されたフォント書体、又はページのレイアウト、或いはどのセクションがイタリック体になっているかなど、文書の起こり得る印刷レンダリングの態様の知識を有する場合には、このことは認識プロセスの助けとなることができる(セクション4.1.1)。
文書コーパスにおける候補ソーステキストが識別されると、そのフォント又はレンダリングは、認識を助けるためにデバイスにダウンロードすることができる。
テキストフラグメントのコンポーネント文字は、文書署名として使用できるテキストのフラグメントを表す最も評価された方法とすることができるが、デジタル文書及び/又はデータベースにおいてテキストフラグメントの位置を特定しようとする際、或いはテキストフラグメントの表示を曖昧除去して可読形式にする際に、テキストフラグメントの実際のテキストを使用する必要がないテキストの他の表示は、十分に良好に作用することができる。テキストフラグメントの他の表示は、実際のテキストの表示が無いという利点を提供することができる。例えば、テキストフラグメントの光学式文字認識は、フラグメント全体について光学式文字認識を用いることなくテキストフラグメントをサーチ及び/又は再作成するのに使用できる取り込まれたテキストフラグメントの他の表示とは異なり、多くの場合エラーを生じやすい。このような方法は、現在のシステムと共に使用する幾つかのデバイスにとってより好適とすることができる。
従来のテンプレートマッチングOCRは、スキャンされた画像を文字画像のライブラリと比較する。本質的には、アルファベットは各フォントで記憶され、新しくスキャンされた画像は、この記憶画像と比較されて一致する文字を見つける。プロセスは、一般に、正しいフォントが識別されるまで初期遅延を有する。ほとんどの文書が全体を通じて同じフォントを使用するので、その後のOCRプロセスは比較的迅速である。従って、後続の画像は、最近識別されたフォントライブラリとの比較することによってテキストに変換することができる。
サーチプロセスで使用するのに好適な形式に画像を機械転写できない場合、ユーザが後で使用するために、実施可能なマニュアル転写のため、或いは異なるリソースがシステムに利用可能になる後日処理するために画像自体を保存することができる。
本システムによって実施可能になる動作の多くは、何らかの商取引を生じることになる。語句「P−コマース」とは、本明細書ではシステムを介して紙から開始される商業活動を記述するのに使用される。
ユーザが文書からテキストを取り込むときには、ユーザに対して紙又は電子形式のいずれかで購入するよう当該文書を提供することができる。また、ユーザに対して紙文書に引用又は言及されたもの、又は同様の対象に関するもの、或いは同じ著者によるものなど、関連文書を提供することができる。
テキストの取り込みは、様々な方法で他の商業活動にリンクさせることができる。取り込まれたテキストは、品目を販売するよう明確に設計されたカタログ内に存在することができ、この場合、テキストは、品目の購入にかなり直接的に関連付けられることになる(セクション18.2)。テキストはまた、広告の一部とすることができ、この場合、広告されている品目の販売が引き続いて発生することができる。
品目又はそのパッケージ上にテキスト又は記号が実際に印刷されている場合がある。実施例としては、電子機器の一部の後面又は下面のラベルに見られることが多いシリアルナンバー又は製造IDである。システムは、当該テキストを取り込むことによって同じ品目の1つ又はそれ以上を購入する従来の方法をユーザに提供することができる。また、マニュアル、サポート又は修理サービスも提供することができる。
広告からのテキストの直接取り込みに加えて、システムは、レンダリング文書において必ずしも明確ではないが、人々が読んでいるものに基づいた新しい種類の広告を可能にする。
従来の紙の発行物において、広告は、一般に新聞記事のテキストに対して大量のスペースを費やし、限定された数の広告を特定の記事の周りに配置することができる。説明されたシステムでは、広告は個々のワード又はフレーズに関連付けることができ、ユーザが当該テキストを取り込み、場合によっては過去のスキャンの履歴を考慮することによって示した特定の関心に従って選択することができる。
システムは、ユーザ自身の使用に対するユーザのコンテキストの他の態様について大量の情報を収集することができ(セクション13)、ユーザの地理的ロケーションの推定値は良い実施例である。このようなデータを使用して、システムのユーザに提示される広告を調整することができる。
本システムは、広告主及びマーケティング担当者への報酬の幾つかの新しいモデルを可能にする。広告を含む印刷文書の発行者は、これらの文書から発生した購入から幾らかの収入を受け取ることができる。これは、元の印刷形式で広告が存在しているか否かに関わらず当てはまり、発行者、広告主、又はあるサードパーティのいずれかによって電子的に追加することができ、このような広告のソースは、ユーザが加入することができるものである。
システムによって生成された統計の解析は、発行物のある特定の部分の人気を示すことができる(セクション14.2)。例えば新聞では、特定のページ又は記事を読者が見るのに費やす時間量、或いは特定のコラムニストの人気を示すことができる。状況によっては、書かれたワード又は配布されたコピー数など、より従来的な評価指標ではなく、読者のアクティビティに基づく報酬を著者又は発行者が受け取ることが適切とすることができる。著作物がある主題について頻繁に読まれた権威のあるものになった著者は、その本が同じ数のコピーを販売したがめったに開かれない著者とは将来の契約において異なると考えることができる(セクション7.6を参照)。
文書における広告についての決定は、読者層についての統計に基づくことができる。最も人気のあるコラムニストの周りの広告スペースは、割増料金で販売することができる。広告主は、文書が発行された後しばらくして、文書がどのように受け取られたかについての知識に基づいて請求され、又は報酬が支払われることができる。
セクション6.1及び16.1で説明された「ライフライブラリ」又はスキャン履歴は、ユーザの関心及び習慣についての極めて価値のある情報のソースとすることができる。適切な承諾及びプライバシー問題に従って、このようなデータは、ユーザへの商品又はサービスの提供を通知することができる。匿名形式でも、収集された統計は極めて有用なものとすることができる。
商取引のための広告及び他の機会は、テキスト取り込み時に即座にユーザに提示されない場合がある。例えば、小説の続編を購入する機会は、ユーザが小説を読んでいる時点では利用可能になることはできないが、システムは、続編が発行されたときにその機会をユーザに提示することができる。
最新オペレーティングシステム(OS)及び他のソフトウェアパッケージは、説明されたシステムでの使用に有利に利用することができる多くの特徴を有し、また、この使用に対してより良好なプラットフォームを提供するために種々の方法で修正することができる。
取り込み装置の適用性は単一のソフトウェアアプリケーションを超えて拡張されているので、ペン型スキャナのような取り込み装置の使用が益々一般的になると、マウス及びプリンタに対してサポートが提供されるのとほぼ同じように、取り込み装置のサポートをオペレーティングシステムに組み込むことが望ましいものとなる。同じことは、システムのオペレーションの他の態様に対しても当てはまる。幾つかの実施例を以下で検討する。幾つかの実施形態では、説明されたシステム全体或いはそのコアがOSによって提供される。幾つかの実施形態では、システムのサポートは、システムの態様を直接的に実装するものを含む、他のソフトウェアパッケージによって使用できるアプリケーションプログラミングインターフェース(API)によって提供される。
レンダリング文書からテキストを取り込む方法のほとんどは、ソースデータ(通常はスキャンされた画像又は何らかの話し言葉)をシステムで使用するのに好適なテキストとして解釈するために何らかの認識ソフトウェアを必要とする。過去においてOCRの使用は通常、アプリケーションの狭い範囲に限られていたので、OSによっては音声又は手書き文字認識のサポートを含むが、OSがOCRのサポートを含むことはあまり一般的ではない。
光学スキャン又は他の取り込みが生じてOSに提示されると、他のサブシステムが取り込みの所有権を請求しない場合にはデフォルト動作を取らせることができる。デフォルト動作の実施例は、ユーザに代替の選択肢を提示すること、又は取り込まれたテキストをOSの組み込みサーチ機能に実行依頼することである。
レンダリング文書のデジタルソースが見つかった場合、OSは、その特定の文書又はその分類の文書がスキャンされたときにとることになる標準的な動作を有することができる。アプリケーション及び他のサブシステムは、ある一定のファイルタイプを扱うこれらの機能を適用することによる通知と同様にして、取り込みの特定のタイプの可能性のあるハンドラとしてOSに登録することができる。
セクション12.1.3では、特に光学スキャンの場合における「ジェスチャー」の使用が検討されており、ここで、ハンドヘルドスキャナによって行われる特定の移動が、テキスト領域の始まりと終わりをマーキングするなどの標準的動作を表すことができる。
同様に、テキスト又は他の記号のあるアイテムは、スキャン時に標準動作を引き起こすようにすることができ、OSは、これらの選択を可能にすることができる。一実施例には、何らかの文書においてテキスト「[印刷]」をスキャンすることにより、OSが当該文書のコピーを取り出して印刷することが挙げられる。OSはまた、このような動作を登録して特定のスキャンと関連付ける手法を提供することができる。
ほとんどのソフトウェアアプリケーションは、OSによって提供される標準的なグラフィカルユーザインターフェースコンポーネントに実質的に基づいている。
システムの一般的な使用は、ユーザが紙文書のあるエリアをスキャンすること、並びにシステムが、表示又は編集できるソフトウェアパッケージにおいて対応電子文書を開き、そのパッケージにスキャンされたテキストまでスクロールさせて強調表示させることとすることができる(セクション12.2.1)。電子文書を見つけて開くこのプロセスの第1パートは通常OSによって提供され、ソフトウェアパッケージの間で標準である。しかしながら、文書内でテキストの特定の部分の位置を特定し、パッケージにこの部分までスクロールさせて強調表示させる第2パートは、未だ標準化されておらず、各パッケージ毎に異なるよう実装されることが多い。この機能の標準APIの可用性は、システムのこの態様のオペレーションを大幅に向上させることができる。
テキストの一部分が文書内で位置付けられると、システムは、そのテキストに様々なオペレーションの実行を望むことができる。一実施例として、システムは、周囲のテキストを要求することができ、これによりユーザの数ワードの取り込みで、これらを含むセンテンス又はパラグラフ全体にシステムがアクセスする結果をもたらすことができる。この場合も同様に、この機能は、テキストを扱うソフトウェアのあらゆる部分に実装されるのではなく、OSが有効に提供することができる。
システムによって可能になるオペレーションの幾つかは、ユーザフィードバックを要求することになり、これは、データを扱うアプリケーションのコンテキスト内で最適に要求することができる。幾つかの実施形態では、システムは、あるテキスト上でマウスボタンを右クリックすることに従来関連付けられたアプリケーションのポップアップメニューを使用する。システムは、このようなメニューに追加のオプションを挿入して、これらを紙文書のスキャンなどの動作の結果として表示させる。
今日の次第にネットワーク化されてきた世界では、個々の機械で利用可能な機能性の大部分はまた、ネットワーク上でアクセスすることができ、説明されたシステムに関連する機能も例外ではない。一実施例として、オフィス環境では、ユーザが受け取る多くの紙文書は、同じ企業ネットワーク上の他のユーザの機械が印刷していた可能性がある。1つのコンピュータ上のシステムは、取り込みに応答して、適切な許可制御に従い当該取り込みに対応することができる文書について他の機械に問い合わせすることができる。
紙文書とデジタル文書の統合における重要な要因は、両者間の移行についてできる限り多くの情報を維持することである。幾つかの実施形態では、OSは、ある文書がいつ誰によって印刷されたかの単純な記録を保持する。幾つかの実施形態では、OSは、システムと共に使用するのにより好適な1つ又はそれ以上の更なる動作をとる。実施例には以下のものが挙げられる。
・文書が印刷されるソースについての情報と共にあらゆる印刷文書のデジタルレンダリング版を保存すること。
・将来のスキャン解釈を助けることができる印刷された版についての有用な情報のサブセット(例えば、使用されたフォント及び改行が行われる場所)を保存すること。
・あらゆる印刷されたコピーに関連するソース文書の版を保存すること。
・印刷時に自動的に文書のインデックスを作成し、将来のサーチのためにその結果を記憶すること。
OSは、特定の重要性を有するフォルダ又はファイルのあるカテゴリーを維持する場合が多い。ユーザの文書は、規定又は設計により、例えば「マイドキュメント」フォルダ内で見つけることができる。標準ファイルオープニングダイアログは、最近開いた文書のリストを自動的に含むことができる。
システムの重要な態様は、通常セクション5で検討された「マークアップ」概念を使用して提供されるので、複数のアプリケーション並びにOS自体にアクセス可能であるようにしてOSによって提供されるこうしたマークアップのサポートを有することが有利であるのは明らかである。更に、マークアップのレイヤは、制御下での文書の固有の知識及び提供できる機能に基づいてOSによって提供される。
ある形式の「デジタル著作権管理」、すなわち特定のユーザ、ソフトウェアエンティティ、又は機械に付与される権利に従って特定のデータの使用を制御する機能をサポートするオペレーティングシステムの数が益々増えてきている。これは、例えば特定の文書の許可されていないコピー又は配布を禁止することができる。
本システムのユーザインターフェースは、取り込み装置が比較的ダムでありケーブルによってPCに接続されている場合には完全にPC上に存在し、或いは、取り込み装置が高性能であり且つそれぞれが有意な処理能力を有する場合には、完全に装置上に存在することができる。場合によっては、何らかの機能は各コンポーネントに存在する。システムの機能の一部又は全てはまた、携帯電話又はPDAなどの他のデバイス上に実装することができる。
全ての取り込み装置、特に光学スキャナの場合には、ユーザの注意は一般的に、スキャン時のデバイス及び紙にある。よって、スキャンプロセスの一部として必要とされる何らかの入力及びフィードバックは、ユーザの注意が他の場所(例えばコンピュータの画面上)にあることを必要以上に要求されないことが極めて望ましい。
ハンドヘルドスキャナは、特定の状況についてのフィードバックをユーザに提供する様々な方法を有することができる。最も明確なタイプは、スキャナがインジケータライト又はフルディスプレイまで組み込む直接目に見えるもの、及びスキャナがビープ音、クリック音、又は他の音を出すことができる聴覚的なものである。重要な代替形態は、スキャナが振動し、ブザー音を出し、或いはユーザのタッチ感覚を刺激することができる触覚フィードバック、及び光のカラースポットから何かを紙に投影させることによってステータスを高性能ディスプレイに示す投影フィードバックを含む。
・スキャンプロセスでのフィードバック−速すぎる速度で、大きすぎる角度で、或いは特定のライン上での高すぎる又は低すぎるドリフトでのユーザスキャン。
・十分なコンテンツ−存在する場合に一致を見つけるのを極めて確実にするよう十分にスキャンされた−分離オペレーションに重要。
・既知のコンテキスト−位置が特定されたテキストのソース。
・既知の固有コンテキスト−位置が特定されたテキストの1つの固有ソース。
・コンテンツの可用性−コンテンツがユーザに自由に利用可能であるか又は費用がかかるかの表示。
デバイスは、基本テキスト取り込みに加えて入力を可能にする様々な方法をユーザに提供することができる。デバイスが、キーボード及びマウスなどの入力オプションを有するホスト機械と密接に関連している場合でも、例えば、スキャナの操作とマウスの使用をユーザが切り替えるために混乱を生じさせる可能性がある。
紙全体にスキャナを動かす主な理由は、テキストを取り込むためであるが、幾つかの動きをデバイスによって検出し、これを用いて他のユーザの意図を示すことができる。このような動きは、本明細書では「ジェスチャー」と称する。
システムの多くの態様は、スキャナなどのシステムのコンポーネントとホストラップトップとの間、或いは企業データベース及びインターネットサーチに対する接続形式での外部とのいずれかのネットワーク接続性に依存することができる。この接続性は、必ずしも存在するとは限らないが、システムの一部又は全てが「オフライン」であるとみなすことができる場合もあることになる。システムがこれらの状況で継続して有効に機能できることが望ましい。
スキャナは、ユーザとのより詳細な対話を含むシステムの機能の多くを実行するために、PC、PDA、電話、又はデジタルカメラなどの他の何らかのデバイスと通信することが多い。
ホストデバイスは、取り込みを受け取ると様々な動作を開始することができる。位置特定後にシステムによって実行される可能なアクティビティの未完リスト並びに取り込み及びその文書内のロケーションに関連する対応電子文書は以下の通りである。
・取り込みの詳細は、ユーザの履歴内に記憶することができる。(セクション6.1)
・文書は、ローカルストレージ又はリモートロケーションから取り出すことができる。(セクション8)
・オペレーティングシステムのメタデータ及び文書に関連する他の記録を更新することができる。(セクション11.1)
・文書に関連するマークアップを調べて、次の関連オペレーションを決定することができる。(セクション5)
・文章上でソフトウェアアプリケーションの編集、ビュー、又はオペレーションを開始することができる。アプリケーションの選択は、ソース文書、又はスキャンのコンテンツ、或いは取り込みの他の何らかの態様に依存することができる。(セクション11.2.2、11.2.3)
・アプリケーションは、取り込みロケーションへのスクロール、取り込みロケーションの強調表示、取り込みロケーションへの挿入ポイントの移動、或いは取り込みロケーションの表示を行うことができる。(セクション11.3)
・取り込まれたテキストの正確な範囲は、例えば取り込まれたテキストの周りのワード全体、センテンス、又はパラグラフを選択するよう修正することができる。(セクション11.3.2)
・ユーザには、取り込みテキストをクリップボードにコピーする、或いは取り込みテキストに対し他の標準的なオペレーティングシステム又はアプリケーション特有のオペレーションを実行するためのオプションを与えることができる。
・注釈は、文書又は取り込まれたテキストに関連付けることができる。これら注釈は、即時ユーザ入力から生じることができ、或いは、例えば光学スキャンに関連する音声注釈の場合に早期に取り込まれたものとすることができる。(セクション19.4)
・マークアップを調べて、ユーザが選択する更なる可能なオペレーションのセットを求めることができる。
システムによってとられる適切な動作は明らかな場合もあるが、ユーザによって行われる選択を必要とする場合もある。これを行うための1つの良い手法は、「ポップアップメニュー」の使用によるものであり、又は、コンテンツが画面上にも表示される場合は、コンテンツ付近に現われるいわゆる「コンテキストメニュー」を使用する。(セクション11.3.3を参照)。幾つかの実施形態では、スキャナデバイスが、紙文書の上にポップアップメニューを投影する。ユーザは、キーボード及びマウスなどの従来の方法を使用して、或いは取り込み装置上の制御機構(セクション12.1.2)の使用、ジェスチャー(12.1.3)、或いはスキャナを使用してコンピュータディスプレイと対話することによって(セクション12.2.4)、こうしたメニューから選択することができる。幾つかの実施形態では、取り込みの結果として現われることができるポップアップメニューは、ユーザが応答しない場合、例えばユーザがメニューを無視し別の取り込みを行った場合に行われる動作を表すデフォルト項目を含む。
ユーザがテキストの取り込みを開始すると、最初に、一致する可能性のある幾つかの文書又は他のテキストロケーションが存在することになる。より多くのテキストが取り込まれ、他の要因が考慮されるときには(セクション13)、候補ロケーションの数は、実際のロケーションが識別されるまで低減され、曖昧性を更に除去するには、ユーザ入力なしでは不可能である。幾つかの実施形態では、システムは、例えばリスト、サムネイル画像又はテキストセグメント形式で見つけられた文書又はロケーションのリアルタイム表示を提供し、取り込みが継続するにつれて当該表示内の要素の数を低減するようにする。幾つかの実施形態では、システムは、全ての候補文書のサムネイルを表示し、ここでサムネイルのサイズ又は位置は、正確に一致する確率に依存する。
一部の光学スキャナは、画面並びに紙上に表示されたテキストを取り込むことができる。従って、レンダリング文書という用語は、本明細書では、紙への印刷がレンダリングの唯一の形式ではないこと、及びシステムが使用するテキスト又は記号の取り込みは、そのテキストが電子ディスプレイ上に表示されたときと同等の価値があるものとすることができることを示すのに使用される。
説明されたシステムの重要な態様は、使用中の文書の識別を助けるため、テキストの文字列を単に取り込む以外に他の要因を使用することである。適度な量のテキストの取り込みは、文書を一意的に識別できることが多いが、多くの場合、識別するのは少数の候補文書になる。1つの解決策は、スキャンされる文書を確認するようユーザに促すことであるが、好ましい代替形態は、他の要因を利用して可能性を自動的に狭めることである。このような補足情報は、取り込む必要のあるテキストの量を劇的に低減でし、及び/又は対応電子文書内のロケーションを識別できる信頼性及び速度を向上させることができる。この追加の資料は、「コンテキスト」と呼ばれ、セクション4.2.2.で簡単に説明した。ここで更に深く検討する。
恐らくは、このような情報の最も重要な実施例は、ユーザの取り込み履歴である。
有用なコンテキストの別の実施例は、ユーザの地理的ロケーションである。パリにいるユーザは、例えば、「Seattle Times」よりも「Le Monde」を読んでいる可能性が遙かに高い。従って、文書の印刷版のタイミング、サイズ、及び地理的配布が重要とすることができ、システムのオペレーションからある程度推測することができる。
より従来の手段によりサーチ又は取り出されたものを含む電子文書のユーザの最近の使用はまた、有用な指標となり得る。
・どの文書が最近印刷されたか?
・どの文書が、企業ファイルサーバ上で最近修正されたか?
・どの文書が、最近電子メールで送られたか?
セクション14は、紙ベースのサーチから結果として得られるデータストリームの解析を対象として含むが、他の読者に対する文書の人気、その人気のタイミング、及び最も頻繁にスキャンされた文書の部分についての統計は全て、サーチプロセスにおいて有益となり得る追加要因の実施例である点に留意されたい。システムは、紙の世界にGoogleタイプのページランキングの可能性をもたらす。
システムの使用は、副次的な結果として極めて貴重なデータストリームを発生する。このストリームは、ユーザが何時何を読んでいるかについての記録であり、多くの場合、ユーザが読んだ中で特に貴重であると考えたものの記録である。このようなデータは、紙文書に対してこれまでは利用可能でなかった。
いずれかの所与のユーザがどの文書を読んでいるかをシステムが知っている場合、システムは、いずれかの所与の文書を読んでいるのが誰であるかを推測することができる。これにより、組織全体を通じた文書の追跡が可能になり、例えば、誰がいつこれを読んでいるか、どれくらい広く配布されているか、配布するのにどれくらい時間がかかったか、及び他の者が期限切れのコピーから未だ作業している間に誰が現在の版を見ているかについて解析できるようになる。
ユーザが自分にとって特に関心のあるテキスト又は他のデータを取り込む状況では、システムは、幾つかの文書及びこれらの文書の特定のサブ領域の人気を推測することができる。これは、システム自体に対し価値のある入力(セクション4.2.2)及び、著者、発行者、及び広告主にとって重要な情報ソース(セクション7.6、セクション10.5)を形成する。このデータは、例えば、レンダリング文書から生じるクエリーのサーチ結果のランク付けを支援するため、及び/又はウェブブラウザに打ち込まれた従来のクエリーのランク付けを支援するために、サーチエンジン及びサーチインデックスに統合される場合に有用である。
ユーザが何を読んでいるかについての知識によって、システムは、ユーザの関心及びアクティビティの極めて詳細なモデルを作成可能になる。これは、抽象的統計ベースにおいて有用とすることができ−すなわち、「この新聞を購入するユーザの35%はその著者の最新本を読む」−しかしながら、以下に説明されるような個々のユーザとの他の対話も可能にすることができる。
1つの実施例は、1人のユーザを関連する関心を有する他者に接続することである。これらは、ユーザにとって既知の人とすることができる。システムは、大学の教授に、「XYZ大学のあなたの同僚もこの論文を読んだばかりであることを知っていますか?」と尋ねることができる。システムは、ユーザに「ジェーンエアを読んでいるあなたの近所の人とリンクすることを望みますか?」と尋ねることができる。このようなリンクは、現実の世界又はオンラインのいずれかでブッククラブ及び同様の社会組織を自動形成するための基礎となることができる。
セクション10.6は、本システムとのユーザの対話に基づいて個々のユーザに製品及びサービスを提供するという概念について既に言及した。例えば、現在のオンライン書籍販売業者は、ユーザの書籍販売業者と前回の対話に基づいてユーザに推薦することが多い。このような推薦は、これらが実際の本との対話に基づいたものである場合により有用となる。
本システムが、文書を発行する人々、これらを通じて広告する人々、及び紙から開始される他の販売に影響を与える可能性のある方法の幾つかについて説明してきた(セクション10)。一部の商業活動は、紙文書との直接対話を全く持たない場合があるが、これらによって影響を受ける可能性はある。例えば、あるコミュニティの人々が新聞の金融欄よりもスポーツ欄を読むことにより多くの時間を費やすという知識は、ヘルスクラブを設立しようとする人にとって関心のあるものとすることができる。
どの文書のどの部分を誰がいつどこで読んでいるかなど、検討された統計に加えて、文書の位置が特定されているかどうかに関わらず、取り込まれたテキストの実際のコンテンツを調べることは関心の対象となることができる。
本システムと共に使用する取り込み装置は、文書のレンダリング版からテキストを取り込む手法を必要とするに過ぎない。上述(セクション1.2)のように、この取り込みは、文書の一部の写真を撮ること、又は携帯電話のキーパッドに数ワードを打ち込むことを含む、様々な方法を介して実現することができる。この取り込みは、一度にテキストの1行又は2行を記録できる小型ハンドヘルド光学スキャナ、或いはユーザが文書からテキストを読み込むボイスレコーダのような音声取り込み装置を使用して実現することができる。使用されるデバイスは、例えば音声注釈も記録できる光学スキャナなど、これらの組合せとすることができ、取り込み機能は、携帯電話、PDA、デジタルカメラ、又はポータブル音楽プレーヤーなどの他の何らかのデバイスに組み込むことができる。
このようなデバイスのための場合によっては有利で付加的な入力及び出力機能の多くは、セクション12.1で説明した。これらは、入力としてボタン、スクロールホイール、及びタッチパッドを、更に出力としてディスプレイ、インジケータライト、音声及び触覚変換器を含む。デバイスは、これらの多くを組み込むことがあり、極めて少ない場合もある。取り込み装置は、例えば無線リンクを使用して既にこれらの機能を有している別のデバイスと通信できる場合もあり(セクション15.6)、取り込み機能をこのような他のデバイスに組み込むこともある(セクション15.7)。
幾つかの実施形態では、デバイスは、システム自体の大部分を実装する。しかしながら、幾つかの実施形態では、デバイスは、PC又は他のコンピューティングデバイスと、及び通信機能を使用してより広範な世界と通信することが多い。
セクション3.5及び12.1.4では、分離オペレーションのトピックを取り上げた。取り込み装置がシステムの全機能の限定されたサブセットを有し、更にシステムの他の部分と通信していないときには、依然としてデバイスは有用とすることはできるが、場合によっては利用可能な機能性が低減されることになる。最も単純なレベルでは、デバイスは、取り込まれる生画像又は音声データを記録することができ、これを後で処理することができる。しかしながら、ユーザの利益のために、可能であれば、取り込まれたデータが進行中のタスクにとって十分であるかどうか、認識できるか或いは認識可能であう可能性があるかどうか、及びデータのソースを識別できるか又は後で識別可能になる可能性があるかどうかについてのフィードバックを与えることが重要とすることができる。次にユーザは、この取り込み動作に価値があるかどうかを認知することになる。上記の全てが未知である場合でも、少なくともユーザが後でこれらを参照できるように生データを記憶することができる。例えばスキャンがOCRプロセスによって認識できない場合、スキャンの画像をユーザに提示することができる。
シンプルスキャナは、テキスト行の長さに沿って移動するときにページから画素を読み取ることができるスキャンヘッドを有する。シンプルスキャナは、ページに沿った動きを検出し、この動きについての幾つかの情報と共に画素を記録することができる。シンプルスキャナはまたクロックを有し、これによって各スキャンにタイムスタンプすることができる。クロックは、シンプルスキャナが接続性を有するときにホストデバイスと同期する。クロックは、実際の時刻を表すことはできないが、クロックから相対時間を求めることができ、これによりホストは、スキャンの実際の時間、或いは最悪の場合でもスキャン間の経過時間を導出することができる。
スーパースキャナもまた、そのフルオペレーションのための接続性に依存するが、オフラインの間に取り込まれたデータについてより適切に判断するのを助けることができる相当な量のオンボード記憶装置及び処理能力を有する。
次に、光学スキャナデバイスで特に望ましいとすることができる特徴の幾つかを検討する。
依然として紙に人気がある理由の1つは、例えばコンピュータが実用的でないか又は不便である幅広い状況において使い易いためである。従って、紙とのユーザの対話のかなりの部分を取り込むことを意図したデバイスは、同様に使用が好都合でなくてはならない。これは、過去のスキャナではなかったことであり、最も小さなハンドヘルドデバイスでも幾分扱い難かった。ページと接触するよう設計されたハンドヘルドデバイスは、紙に対して正確な角度で保持し、スキャンされるテキストの長さに沿って極めて注意深く動かさなくてはならない。これは、オフィスデスクでビジネスレポートをスキャンする場合には許容できるが、列車を待つ間に小説からフレーズをスキャンする場合には非実用的とすることができる。紙からある距離で動作するカメラタイプの光学機器に基づくスキャナは、幾つかの状況で同様に有用とすることができる。
セクション6で説明されたように、取り込み装置は、セキュアな取引、購入、及び様々な他のオペレーションに対する識別及び承認の重要な部分を形成することができる。従って、取り込み装置は、このような役割に必要な回路及びソフトウェアに加えて、スマートカードリーダー、RFID、又はPINを打ち込むためのキーパッドのような、よりセキュアにすることができる種々のハードウェア機能を組み込むことができる。
幾つかの実施形態では、デバイスは、それ自体又はその機能を向上させるために他の近隣のデバイスとの関連付けを形成することができる。幾つかの実施形態では、例えばデバイスは、近隣のPC又は電話のディスプレイを使用して、そのオペレーションについてのより詳細なフィードバックを提供するか、或いはそのネットワーク接続性を使用する。他方、デバイスは、他のデバイスによって実行されるオペレーションを認証するために、セキュリティ及び識別デバイスとしての役割を果たすことができる。或いは、デバイスは単に、そのデバイスへの周辺機器として機能するように関連付けを形成することができる。
幾つかの実施形態では、取り込み装置の機能は、既に使用されている他のデバイスと統合される。統合デバイスは、電源、データ取り込み及び記憶機能、並びにネットワークインターフェースを共有可能にすることができる。このような統合は、コスト低減のため、或いは他の場合に利用可能でない機能を可能にするために単に便宜上行うことができる。
・マウス、スタイラス、USB「ウェブカム」カメラ、Bluetooth(商標)ヘッドセット、又はリモコン装置などの既存の周辺機器:
・PDA、MP3プレーヤー、ボイスレコーダ、デジタルカメラ、又は携帯電話などの別の処理/記憶装置:
・時計、宝石、ペン、車のキーホルダなど、単に便宜上持ち運ぶことの多い他のアイテム:
統合の利点の一実施例として、取り込み装置としての修正された携帯電話の使用を考察する。
このセクションは、システム及びシステムに組み込まれるアプリケーションの例示的な使用をリストする。このリストは、純粋に例証のためのものであり、網羅的な意味ではないものとする。
16.1.ライフライブラリ
ライフライブラリ(セクション6.1.1も参照)は、加入者が保存したいあらゆる重要な文書のデジタルアーカイブであり、システムのサービスセットの実施形態である。重要な本、雑誌記事、新聞切り抜きなどは全て、ライフライブラリ内にデジタル形式で保存することができる。更に、加入者の注釈、コメント、及びメモを文書と共に保存することができる。ライフライブラリは、インターネット及びワールドワイドウェブを介してアクセスすることができる。
ライフライブラリの概念のバリエーション又は拡張は、「ライフセーバ」であり、システムは、ユーザによって取り込まれたテキストを使用してユーザの他の動作について更に推測する。特定のレストランからのメニュー、特定の劇場公演からのプログラム、特定の鉄道駅の時刻表、又は地方の新聞からの記事をスキャンすることによって、システムは、ユーザのロケーション及び社会活動について推測できるようになり、例えば、ウェブサイトのように社会活動の自動ダイアリーを構成することができる。ユーザは、ダイアリーを編集及び修正し、写真などの付加的な資料を追加し、更に、勿論、スキャンされた項目を再度見ることができる。
説明されたシステムによってサポートされるポータブルスキャナは、学術的設定において多くの有力な用途がある。ポータブルスキャナは、生徒/教師の対話を向上させ、学習経験を高めることができる。他の使用の中で、生徒らは、生徒固有のニーズに合うように学習材料に注釈を付けることができ、教師は、学業成績をモニタすることができ、教師は、生徒の課題に引用されたソース資料を自動的に検証することができる。
本などの紙文書との子供の対話は、当該システムの実施形態の特定のセットを用いる読み書き能力習得システムによってモニタされる。子供は、読み書き能力習得システムの他の要素と通信するポータブルスキャナを使用する。ポータブルスキャナに加えて、読み書き能力習得システムは、ディスプレイ及びスピーカを有するコンピュータと、コンピュータがアクセス可能なデータベースとを含む。スキャナは、コンピュータに結合されている(ハードワイヤード、短距離RFなど)。子供が本の中の知らないワードを調べるときに、子供は、そのワードをスキャナでスキャンする。1つの実施形態では、読み書き能力習得システムは、スキャンされたテキストをそのデータベース内のリソースと比較して、そのワードを識別する。データベースは、辞書、シソーラス、及び/又はマルチメディアファイル(例えば、音声、グラフィクスなど)を含む。ワードが識別された後、システムは、コンピュータスピーカを使用して、そのワードと定義を子供に音読する。別の実施形態では、ワードとその定義が、読み書き能力習得システムによってコンピュータのモニタ上に表示される。スキャンされたワードについてのマルチメディアファイルはまた、コンピュータのモニタ及びスピーカを通じて再生することができる。例えば、「Goldilocks and the Three Bears」を読んでいる子供が「bear」というワードをスキャンした場合、システムは、「bear」というワードを音読し、コンピュータのモニタ上に熊についてのショートビデオを再生することができる。このようにして、子供は、書いたワードの発音を学び、マルチメディア表現を介してそのワードの意味を視覚的に教わる。
幾つかの実施形態では、システムは、個人辞書をコンパイルする。読者が、新しい、興味のある、又は特に有用もしくは問題となるワードを調べる場合、読者は、このワードを(その定義と共に)コンピュータファイルに保存する。このコンピュータファイルは、読者の個人化された辞書になる。この辞書は、一般に、通常の辞書よりも小さなサイズであるので、移動局又は関連デバイスにダウンロードすることができ、従って、システムに即座にアクセスできない場合でも利用可能とすることができる。幾つかの実施形態では、個人用辞書エントリは、適切なワードの発音を支援するための音声ファイルと、ワードがスキャンされた紙文書を識別する情報とを含む。
譜表上の音符の配列は、テキストの1行における文字の配列に類似している。本システムにおいてテキストを取り込むための上述の同じスキャンデバイスを用いて、音符を取り込むことができ、既知の音楽作品のデータベースに対するサーチを構成する類似のプロセスによって、取り込みが行われた作品が識別可能になり、次いで、取り出し、再生、又は何らかの更なる動作のベースとなることができる。
教師は、生徒の紙文書からテキストをスキャンしてスキャンされたテキストをシステムに提出することによって、盗用を検出又はソースを検証するためにシステムを使用することができる。例えば、生徒の紙文書における引用が、生徒が挙げたソースからのものであることを検証したい教師は、引用の部分をスキャンし、システムによって識別された文書のタイトルと生徒が挙げた文書のタイトルとを比較することができる。同様に、システムは、生徒の元の作品として提出された課題からのテキストのスキャンを使用して、テキストが代わりにコピーされたものであるかどうかを明らかにすることができる。
幾つかの実施形態では、学術的教科書からテキストを取り込むことは、生徒又は職員を、より詳細な説明、更なる演習、資料に関する生徒と職員の討議、関係のある過去の試験問題の例、主題に関する更なる読み込み、主題に関する講義の記録などとリンクする(セクション7.1を参照)。
幾つかの実施形態では、システムは、外国語を教えるために使用される。例えば、スペイン語のワードをスキャンすると、英語でのその定義と共に、そのワードをスペイン語で音読される。
特定のトピックを調査しているユーザは、印刷物及び画面上の両方で全ての種類の資料に遭遇する可能性があり、ユーザは、ある個人用アーカイブにおいてそのトピックに関連するものとして記録することを望む場合がある。システムにより、資料のいずれの部分における短いフレーズをスキャンした結果としてこのプロセスを自動的に行うことが可能となり、また、この主題に関する発行物に掲載するのに好適な参考文献を作成することができる。
明らかに、商業活動は、本明細書で記載されたほとんどどのプロセスから説明することができるが、ここでは幾つかの明白な収益の流れに重点を置く。
従来のインターネットサーチエンジンは通常、電子文書の無料サーチを提供しており、また、インデックス内にこれらのコンテンツを含むことに対してコンテンツプロバイダに課金していない。幾つかの実施形態では、システムは、システムのオペレーション及び使用に関してユーザへの課金及び/又はサーチエンジン及び/又はコンテンツプロバイダへの支払いを可能にする。
消費者は、ポータブルスキャナを使用して紙のカタログから買い物をすることができる。加入者は、カタログから情報をスキャンして、該カタログを識別する。この情報は、カタログからのテキスト、バーコード、又はカタログの別の識別子である。加入者は、購入したい製品を識別する情報をスキャンする。カタログの宛名ラベルは、カタログベンダーに対して顧客を識別する顧客識別番号を包含できる。この場合、加入者はまた、この顧客識別番号をスキャンすることができる。システムは、加入者とベンダーとの間の仲介者としての役割を果たし、顧客の選択及び顧客識別番号をベンダーに提供することによってカタログ購入を容易にする。
消費者は、紙クーポンをスキャンし、後で取り出して使用するために、スキャナ内、又はコンピュータなどの遠隔デバイス内にクーポンの電子コピーを保存する。電子記憶装置の利点は、消費者が紙クーポンを持ち歩く負担から解放される点である。更なる利点は、電子クーポンがあらゆるロケーションから取り出すことができることである。幾つかの実施形態では、システムは、クーポンの有効期限を追跡し、まもなく期限切れとなるクーポンについて消費者に通知し、及び/又は期限切れのクーポンを記憶装置から削除することができる。クーポンの発行者にとっての利点は、誰がクーポンを使おうとしているか、及びいつどこでクーポンが取り込まれて使用されたかに関してより多くのフィードバックを受け取る可能性があることである。。
19.1.形式
システムは、紙形式に対応する電子文書を自動的にポピュレートするために使用できる。ユーザは、紙形式を一意的に識別する何らかのテキスト又はバーコードをスキャンする。スキャナは、フォームのアイデンティティ及びユーザを識別する情報を近くのコンピュータに通信する。近くのコンピュータは、インターネット接続を有する。近くのコンピュータは、フォームの第1データベースと、スキャナのユーザに関する情報を有する第2データベース(サービスプロバイダの加入者情報データベースなど)にアクセスすることができる。近くのコンピュータは、第1データベースから紙形式の電子版にアクセスし、第2データベースから取得されたユーザの情報からフォームのフィールドを自動的にポピュレートする。次いで、近くのコンピュータは、完成したフォームを指定受信者に電子メールで送信する。或いは、コンピュータは、完成したフォームを近くのプリンタで印刷することができる。
システムは、紙文書から電子アドレス帳又は他の連絡先リストを自動的にポピュレートするのに使用できる。例えば、新しい知人の名刺を受け取ったときに、ユーザは、ユーザの携帯電話を用いて名刺の画像を取り込むことができる。システムは、名刺の電子コピーの位置を特定し、これを用いて、新しい知人の連絡先情報によって携帯電話のオンボードアドレス帳を更新することができる。電子コピーは、新しい知人についての情報を名刺に詰め込むよりも多く含めることができる。更に、オンボードアドレス帳はまた、電子コピーへのリンクを記憶することができ、これによって、電子コピーに対するどのような変更も携帯電話のアドレス帳において自動的に更新されることになる。この実施例では、名刺は、電子コピーの存在を示す記号又はテキストを任意選択的に含む。電子コピーが存在しない場合、携帯電話は、OCR及び標準的な名刺フォーマットの知識を使用して、新しい知人についてアドレス帳のエントリに記入することができる。記号は、画像から直接的に情報を抽出するプロセスを支援することができる。例えば、名刺の電話番号の隣りにある電話アイコンを認識し、電話番号の所在地を特定することができる。
本システムは、校正及び編集プロセスを拡張することができる。システムが編集プロセスを拡張することができる1つの方法は、紙文書との編集者の対話をその対応電子文書にリンク付けすることに基づく。編集者が紙文書を読み込み、文書の種々の部分をスキャンすると、システムは、紙文書の対応電子文書に対して適切な注釈又は編集を行うことになる。例えば、編集者がテキストの一部分をスキャンし、スキャナを用いて「新しいパラグラフ」の制御ジェスチャーを行った場合、スキャナと通信するコンピュータは、文書の電子コピー内のスキャンされたテキストのロケーションにおいて「新しいパラグラフ」改行を挿入する。
ユーザは、文書からテキストの一部分をスキャンし、次いでスキャンされたテキストに関連する音声記録を行うことによって、その文書に音声注釈を付けることができる。幾つかの実施形態では、スキャナは、ユーザの口頭注釈を記録するためのマイクロフォンを有する。口頭注釈が記録された後、システムは、テキストがスキャンされた文書を識別し、文書内でスキャンされたテキストの位置を特定し、更にそのポイントに音声注釈を添付する。幾つかの実施形態では、システムは、音声をテキストに変換して、テキストコメントとして注釈を添付する。
説明されたシステムを用いて、電子ヘルプメニューによって紙文書を拡張することができる。幾つかの実施形態では、紙文書に関連するマークアップレイヤは、文書についてのヘルプメニュー情報を包含する。例えば、ユーザが文書の特定の部分からテキストをスキャンすると、システムは、文書に関連するマークアップをチェックし、ユーザにヘルプメニューを提示する。ヘルプメニューは、スキャナのディスプレイ上、又は関連する近くのディスプレイ上に提示される。
状況によっては、テレビ、コンピュータモニタ、又は他の同様のディスプレイから情報をスキャンできるようにすることが有利である。幾つかの実施形態では、ポータブルスキャナを用いて、コンピュータモニタ及びテレビからの情報をスキャンする。幾つかの実施形態では、ポータブル光学スキャナは、照射センサを有し、ラスタ化、画面ブランキング、その他のような従来の陰極線管(CRT)ディスプレイ技術と連動するよう最適化される。
ディスプレイの直接スキャンの1つの用途は、セクション15.6で説明されたデバイスの関連付けである。例えば、幾つかの実施形態では、公衆ブースが、そのモニタ上に動的セッションIDを表示する。ブースは、インターネット又は企業イントラネットなどの通信ネットワークに接続されている。セッションIDは、定期的に代わるが、しかしながら、少なくともブースを使用して全ユーザに対して新しいセッションIDが表示されるようにされる度に変わる。ブースを使用するために、加入者は、ブースに表示されたセッションIDをスキャンし、セッションIDをスキャンすることによって、ユーザは、印刷された文書のスキャンから又はブース画面自体から生じたコンテンツを配信するためにユーザのスキャナにブースを一時的に関連付けたいことをシステムに通知する。スキャナは、スキャナを認証するセッションID及び他の情報(シリアルナンバー、アカウント番号、又は他の識別情報など)を直接的にシステムに伝達することができる。例えば、スキャナは、ユーザの携帯電話(Bluetooth(商標)を介してユーザのスキャナとペアにされた)を介してセッション開始メッセージを送信することによって、システムと直接通信することができる(ここでの「直接」とは、ブースを介してメッセージをわたすことがないことを意味する)。或いは、スキャナは、セッション開始情報をブースに転送する(恐らくは、Bluetooth(商標)などの短距離RFを介して)ことによって、ブースとの無線リンクを確立して、ブースの通信リンクを使用することができ、これに応答して、ブースは、インターネット接続を介してセッション開始情報をシステムに送信する。
レンダリング文書から光学的又は音響的にキーワードを取り込むことに応答して、或いは取り込まれたキーワードに基づいて文書を識別することに応答して広告などの動作をトリガするためのソフトウェア及び/又はハードウェアシステムについて説明する(「システム」)。場合によっては、システムは、キーワードに対する広告を提示し、注釈を表示し、或いは動作を修正又は適用する。本明細書で使用されるキーワードとは、1つ又はそれ以上のワード、アイコン、記号、又は画像を意味する。本出願では用語「ワード」及び「複数のワード」が使用されることが多いが、幾つかの実施形態ではアイコン、記号、又は画像を用いることができる。本明細書で使用されるキーワードはまた、1つ又はそれ以上の隣接する記号から構成されるフレーズを指す。本明細書で使用されるキーワードは、取り込みに応答して識別されレンダリング文書又はレンダリング文書の一部分と共に検討されるトピック又は主題に関連するワードを含む。キーワードは、正規表現アルゴリズム又は画像処理によって認識可能なオブジェクトのクラスを任意選択的に含むことができる。オブジェクトのこのようなクラスは、電子メールアドレス、郵送先住所、電話番号、URL、ハイパーリンク、並びにコンテンツ、引用、商標、ロゴ、正式名称、時刻、日付などへの他のポインタを含むことができる。
・このワード/フレーズを話す
・これを別の言語に翻訳する(及び話す、表示する、又は印刷する)
・ヘルプ機能
・これについて詳細に知る
・この写真を表示する
・ブックマークする
・下線を引く
・抜粋する(コピーする)
・マイカレンダーに追加する
・マイ連絡先リストに追加する
・これを購入する
・電子メールで受け取る
・マイアーカイブに保存する
・音声注釈を追加する
・いずれかの関連音声注釈を再生する
・関連付けられたコンテンツを表示する
・関係のあるコンテンツを表示する
・コンテンツのインデックス又はテーブルにおいてこの主題を見つける
・このトピックに関心があることをメモする
・このウェブサイトに行く
・これに関する情報を受け取る
・完成したこのフォームを自分宛に送る
・自分用のこのフォームを終了する
・私の情報と共にこのフォームを提出する
・ウェブ上でこれをサーチする
・この文書を印刷する
・この文書を自分のコンピュータ画面又は関連するディスプレイ上にアップする
・自分のディスプレイに文書内のこのワード/フレーズの出現を全て表示する
・他のコンテキストで使用されたときにこのワード/フレーズをサーチして表示する
・この項目を選択する(例えば、複数の選択)
・注記のリニアファイルに抜粋する
・他者がこの文書/ページ/行/フレーズについて記述又は口述したことを表示する
・この電話番号に電話する
・この文書がオンラインで利用可能になったときに通知してもらう
・利用可能になった場合/タイミングについての情報を受け取る
・電子メールをこの人/会社/アドレスに送る
・このコンテキスト/賞/オファーの勝者である場合に通知をもらう
・このイベント、賞/抽選会/宝くじに登録する
・この一節を読んだことを記録する
・この声明/契約/条項に同意することを記録する
・このトピックに関する新しい情報が利用可能になったときに通知をもらう
・自分についてのトピックを見る
・この文書が変わったタイミング/場合に通知をもらう
上述のシステムは、種々の手法で容易に改案又は拡張できる点は当業者であれば理解されるであろう。例えば、本システムは、広範なハードウェア、文書、動作タイプ、並びに記憶及び処理方式に関連して使用することができる。前述の説明は、種々の実施形態について言及しているが、本発明の範囲は、添付の請求項及び請求項に記載される要素によってのみ定められる。
Claims (26)
- 方法であって、
キーワードサーバにおいて、レンダリング文書から光学的又は音響的に取り込まれた1つ又はそれ以上のワードのシーケンスを受け取る段階と、
前記取り込まれた1つ又はそれ以上のワードのシーケンスに基づいて前記レンダリング文書の電子版を前記キーワードサーバを用いて識別する段階と、
前記レンダリング文書の識別された電子版のコンテンツに基づいて、広告メッセージを前記キーワードサーバを用いて選択する段階と、
前記レンダリング文書の電子版に関連付けられているキーワードを識別する段階と、
前記取り込まれた1つ又はそれ以上のワードのシーケンスが前記レンダリング文書の電子版において前記レンダリング文書の電子版に関連付けられているキーワードの近くに位置しているか否かを判定する段階と、
前記取り込まれた1つ又はそれ以上のワードのシーケンスが前記レンダリング文書の電子版において前記レンダリング文書の電子版に関連付けられているキーワードの近くに位置していると判定されたことに応じて、(i)前記取り込まれた1つ又はそれ以上のワードのシーケンス及び(ii)前記レンダリング文書の電子版に関連付けられているキーワードに関連する広告メッセージを選択する段階と、
前記取り込まれた1つ又はそれ以上のワードのシーケンスが前記レンダリング文書の電子版において前記レンダリング文書の電子版に関連付けられているキーワードの近くに位置していないと判定されたことに応じて、前記取り込まれた1つ又はそれ以上のワードのシーケンスに関連する広告メッセージを選択する段階と、
前記選択された広告メッセージを提供する段階を含む方法。 - 前記レンダリング文書が、サードパーティによってスポンサーされる、
ことを特徴とする請求項1に記載の方法。 - 前記選択された広告メッセージを提供する段階が、前記レンダリング文書の電子版のコピー内に選択された前記広告メッセージを提供する段階を含む、
請求項1に記載の方法。 - 前記広告メッセージを選択する段階が、前記レンダリング文書のタイプに基づいて、前記広告メッセージを選択する段階を含む、
請求項1に記載の方法。 - 前記広告メッセージを選択する段階が、前記レンダリング文書のソースに基づいて、前記広告メッセージを選択する段階を含む、
請求項1に記載の方法。 - 前記広告メッセージを選択する段階が、ユーザの属性に基づいて、前記広告メッセージを選択する段階を含む、
請求項1に記載の方法。 - 前記広告メッセージを選択する段階が、ユーザのアイデンティティに基づいて、前記広告メッセージを選択する段階を含む、
請求項1に記載の方法。 - 前記広告メッセージを選択する段階が、ユーザのロケーションに基づいて、前記広告メッセージを選択する段階を含む、
請求項1に記載の方法。 - 前記広告メッセージを選択する段階が、ユーザグループのメンバーシップに基づいて、前記広告メッセージを選択する段階を含む、
請求項1に記載の方法。 - 前記広告メッセージが、前記レンダリング文書が作成された後に、前記レンダリング文書の識別された電子版に関連付けられる、
請求項1に記載の方法。 - 前記広告メッセージが、前記レンダリング文書がレンダリングされた後に、前記識別された電子版に関連付けられる、
請求項1に記載の方法。 - 方法は、さらに、
動作と、前記レンダリング文書の識別された電子版を関連付ける段階を含む、
請求項1に記載の方法。 - 前記広告メッセージを選択する段階が、
ワード頻度解析、逆文書頻度解析、語彙及び意味解析、又は文書要約技術の一又は二以上を使用して前記レンダリング文書の識別された電子版のコンテンツを解析し、前記レンダリング文書の電子版に関連付けられているキーワードを識別する段階を含む、
請求項1に記載の方法。 - システムであって、
レンダリング文書からの取り込まれたテキストのシーケンスを受け取るよう構成されている受信コンポーネントと、
前記取り込まれたテキストのシーケンスを包含する前記レンダリング文書の電子版を識別するよう構成されている識別コンポーネントと、
前記電子版のコンテンツ解析に基づいて、複数のキーワードを生成するよう構成されているコンテンツ解析コンポーネントと、
前記複数のキーワードに基づいて広告を選択するよう構成されている選択コンポーネントと、
を含み、
前記選択は、
前記取り込まれたテキストのシーケンスが前記電子版において前記生成された複数のキーワードの少なくとも一つの近くに位置しているか否かを判定し、
前記取り込まれたテキストのシーケンスが前記電子版において前記生成された複数のキーワードの少なくとも一つの近くに位置していると判定されたことに応じて、(i)前記取り込まれたテキストのシーケンス及び(ii)前記生成された複数のキーワードの少なくとも一つに関連する特定の広告メッセージを選択し、
前記取り込まれたテキストのシーケンスが前記電子版において前記生成された複数のキーワードの少なくとも一つの近くに位置していないと判定されたことに応じて、前記取り込まれたテキストのシーケンスに関連する特定の広告メッセージを選択する、
ことによって選択がなされる、システム。 - 前記識別された電子版の前記コンテンツ解析が、ワード頻度解析、逆文書頻度解析、語彙及び意味解析、又は文書要約技術の1つ又はそれ以上を含む、
請求項14に記載のシステム。 - 前記識別された電子版の前記コンテンツ解析が、前記レンダリング文書のタイプ、前記レンダリング文書のソース、又は前記レンダリング文書内の前記取り込まれたテキストの位置の一又は二以上の解析を含む、
請求項14に記載のシステム。 - 前記識別された電子版の前記コンテンツ解析が、ユーザのアイデンティティ、ユーザのロケーション、又は前記取り込まれたテキストのシーケンスを取り込んだユーザのユーザグループのメンバーシップの一又は二以上の解析を含む、
請求項14に記載のシステム。 - 前記コンテンツ解析コンポーネントが、
前記複数のキーワードを生成するよう構成されているキーワード生成コンポーネントを更に含む、
ことを特徴とする請求項16に記載のシステム。 - レンダリング文書の電子版を広告に関連付けするデータ構造であって、前記レンダリング文書及び広告の電子版を含むデータ構造とキーワードサーバによって実行可能な命令とを集合的に包含する1つ又はそれ以上のコンピュータメモリであって、
前記キーワードサーバによって実行される命令は、
前記電子版が取り込まれたテキストシーケンスを包含するという判定に基づいて前記電子版を選択し、
前記広告は、少なくとも、
前記電子版に関連付けされているキーワードを識別し、
前記取り込まれたテキストシーケンスが前記電子版において前記電子版に関連付けされているキーワードの近くに位置しているか否かを判定し、
前記取り込まれたテキストシーケンスが前記電子版において前記電子版に関連付けされているキーワードの近くに位置していると判定されたことに応じて、(i)前記取り込まれたテキストシーケンス及び(ii)前記電子版に関連付けされているキーワードに関連する特定の広告メッセージを選択し、
前記取り込まれたテキストシーケンスが前記電子版において前記電子版に関連付けされているキーワードの近くに位置していないと判定されたことに応じて、前記取り込まれたテキストシーケンスに関連する特定の広告メッセージを選択する、
ことによって選択がなされる、一又はそれ以上のコンピュータメモリ。 - 方法であって、
キーワードサーバにおいて、レンダリング文書からテキストのシーケンスを示すデータを受け取る段階と、
前記受け取られたデータを解析して、前記レンダリング文書に対する対応電子文書を前記キーワードサーバを用いて識別する段階と、
前記対応電子文書の解析から生成される複数のキーワードに基づいて、1つ又はそれ以上の広告と前記対応電子文書を前記キーワードサーバを用いて関連付ける段階と、
前記関連付けられた広告の1つ又はそれ以上のうちの少なくとも一つの関連付けされた広告を前記キーワードサーバを用いて提供する段階と、
を含み、
当該提供は、
前記テキストのシーケンスが前記対応電子文書において前記生成された複数のキーワードの少なくとも一つの近くに位置しているか否かを判定し、
前記テキストのシーケンスが前記対応電子文書において前記生成された複数のキーワードの少なくとも一つの近くに位置していると判定されたことに応じて、(i)前記テキストのシーケンス及び(ii)前記生成された複数のキーワードの少なくとも一つに関連する特定の広告を少なくとも一つの関連付けされた広告として選択し、
前記テキストのシーケンスが前記対応電子文書において前記生成された複数のキーワードの少なくとも一つの近くに位置していないと判定されたことに応じて、前記テキストのシーケンスに関連する特定の広告を少なくとも一つの関連付けされた広告として選択する、
ことによって提供がなされる、方法。 - 前記少なくとも一つの関連付けされた広告を提供する段階が、前記レンダリング文書に関するコンテキスト情報にさらに基づいて前記少なくとも一つの関連付けされた広告を選択する段階を含む、
ことを特徴とする請求項20に記載の方法。 - 前記少なくとも一つの関連付けされた広告を提供する段階が、ユーザに関するコンテキスト情報にさらに基づいて、少なくとも一つの記関連付けられた広告を選択する段階を含む、
請求項20に記載の方法。 - 前記1つ又はそれ以上の広告を関連付ける段階が、前記対応電子文書のコンテンツを表す複数のキーワードを決定し、前記1つ又はそれ以上の広告と前記複数のキーワードを関連付ける段階を含む、
請求項20に記載の方法。 - 前記少なくとも一つの関連付けされた広告を提供する段階が、前記対応電子文書内に広告を提供する段階を含む、
請求項20に記載の方法。 - 前記少なくとも一つの関連付けされた広告を提供する段階が、広告をディスプレイデバイスで提供する段階を含む、
請求項20に記載の方法。 - 受け取られた前記データは、画像を含み、当該受け取られたデータを解析することは、
前記画像に対して光学式文字認識を行い、テキストのシーケンスを取得する段階を含む、
請求項20に記載の方法。
Applications Claiming Priority (14)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US81162306P | 2006-06-06 | 2006-06-06 | |
US60/811,623 | 2006-06-06 | ||
US83313106P | 2006-07-24 | 2006-07-24 | |
US60/833,131 | 2006-07-24 | ||
US84336206P | 2006-09-08 | 2006-09-08 | |
US60/843,362 | 2006-09-08 | ||
US84489406P | 2006-09-15 | 2006-09-15 | |
US84489306P | 2006-09-15 | 2006-09-15 | |
US60/844,894 | 2006-09-15 | ||
US60/844,893 | 2006-09-15 | ||
US84560406P | 2006-09-18 | 2006-09-18 | |
US60/845,604 | 2006-09-18 | ||
US91043807P | 2007-04-05 | 2007-04-05 | |
US60/910,438 | 2007-04-05 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009513598A Division JP2009540404A (ja) | 2006-06-06 | 2007-06-06 | 取り込まれたレンダリングテキストに基づくコンテキスト動的広告 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2014041620A JP2014041620A (ja) | 2014-03-06 |
JP5752200B2 true JP5752200B2 (ja) | 2015-07-22 |
Family
ID=38434718
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009513598A Pending JP2009540404A (ja) | 2006-06-06 | 2007-06-06 | 取り込まれたレンダリングテキストに基づくコンテキスト動的広告 |
JP2013191813A Active JP5752200B2 (ja) | 2006-06-06 | 2013-09-17 | 取り込まれたレンダリングテキストに基づくコンテキスト動的広告 |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009513598A Pending JP2009540404A (ja) | 2006-06-06 | 2007-06-06 | 取り込まれたレンダリングテキストに基づくコンテキスト動的広告 |
Country Status (3)
Country | Link |
---|---|
EP (1) | EP2036017A1 (ja) |
JP (2) | JP2009540404A (ja) |
WO (1) | WO2007141020A1 (ja) |
Families Citing this family (40)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7966078B2 (en) | 1999-02-01 | 2011-06-21 | Steven Hoffberg | Network media appliance system and method |
US8442331B2 (en) | 2004-02-15 | 2013-05-14 | Google Inc. | Capturing text from rendered documents using supplemental information |
US7707039B2 (en) | 2004-02-15 | 2010-04-27 | Exbiblio B.V. | Automatic modification of web pages |
US10635723B2 (en) | 2004-02-15 | 2020-04-28 | Google Llc | Search engines and systems with handheld document data capture devices |
US7812860B2 (en) | 2004-04-01 | 2010-10-12 | Exbiblio B.V. | Handheld device for capturing text from both a document printed on paper and a document displayed on a dynamic display device |
US8799303B2 (en) | 2004-02-15 | 2014-08-05 | Google Inc. | Establishing an interactive environment for rendered documents |
US20060041484A1 (en) | 2004-04-01 | 2006-02-23 | King Martin T | Methods and systems for initiating application processes by data capture from rendered documents |
US20080313172A1 (en) | 2004-12-03 | 2008-12-18 | King Martin T | Determining actions involving captured information and electronic content associated with rendered documents |
US9143638B2 (en) | 2004-04-01 | 2015-09-22 | Google Inc. | Data capture from rendered documents using handheld device |
US8081849B2 (en) | 2004-12-03 | 2011-12-20 | Google Inc. | Portable scanning and memory device |
US8793162B2 (en) | 2004-04-01 | 2014-07-29 | Google Inc. | Adding information or functionality to a rendered document via association with an electronic counterpart |
US8621349B2 (en) | 2004-04-01 | 2013-12-31 | Google Inc. | Publishing techniques for adding value to a rendered document |
US20070300142A1 (en) | 2005-04-01 | 2007-12-27 | King Martin T | Contextual dynamic advertising based upon captured rendered text |
US7990556B2 (en) | 2004-12-03 | 2011-08-02 | Google Inc. | Association of a portable scanner with input/output and storage devices |
US20060081714A1 (en) | 2004-08-23 | 2006-04-20 | King Martin T | Portable scanning device |
US20060098900A1 (en) | 2004-09-27 | 2006-05-11 | King Martin T | Secure data gathering from rendered documents |
US8146156B2 (en) | 2004-04-01 | 2012-03-27 | Google Inc. | Archive of text captures from rendered documents |
US9116890B2 (en) | 2004-04-01 | 2015-08-25 | Google Inc. | Triggering actions in response to optically or acoustically capturing keywords from a rendered document |
US7894670B2 (en) | 2004-04-01 | 2011-02-22 | Exbiblio B.V. | Triggering actions in response to optically or acoustically capturing keywords from a rendered document |
US8713418B2 (en) | 2004-04-12 | 2014-04-29 | Google Inc. | Adding value to a rendered document |
US9460346B2 (en) | 2004-04-19 | 2016-10-04 | Google Inc. | Handheld device for capturing text from both a document printed on paper and a document displayed on a dynamic display device |
US8874504B2 (en) | 2004-12-03 | 2014-10-28 | Google Inc. | Processing techniques for visual capture data from a rendered document |
US8620083B2 (en) | 2004-12-03 | 2013-12-31 | Google Inc. | Method and system for character recognition |
US8489624B2 (en) | 2004-05-17 | 2013-07-16 | Google, Inc. | Processing techniques for text capture from a rendered document |
US8346620B2 (en) | 2004-07-19 | 2013-01-01 | Google Inc. | Automatic modification of web pages |
EP2036017A1 (en) * | 2006-06-06 | 2009-03-18 | Exbiblio B.V. | Contextual dynamic advertising based upon captured rendered text |
EP2067119A2 (en) | 2006-09-08 | 2009-06-10 | Exbiblio B.V. | Optical scanners, such as hand-held optical scanners |
JP2010506222A (ja) * | 2006-10-17 | 2010-02-25 | シルバーブルック リサーチ ピーティワイ リミテッド | コンピュータシステムから広告を送付する方法 |
US10867123B2 (en) | 2009-11-09 | 2020-12-15 | Microsoft Technology Licensing, Llc | Social browsing |
WO2010096192A1 (en) | 2009-02-18 | 2010-08-26 | Exbiblio B.V. | Interacting with rendered documents using a multi-function mobile device, such as a mobile phone |
US8447066B2 (en) | 2009-03-12 | 2013-05-21 | Google Inc. | Performing actions based on capturing information from rendered documents, such as documents under copyright |
EP2406767A4 (en) | 2009-03-12 | 2016-03-16 | Google Inc | AUTOMATIC CONTENT SUPPLY ASSOCIATED WITH CAPTURED INFORMATION, TYPE INFORMATION CAPTURED IN REAL TIME |
US9081799B2 (en) | 2009-12-04 | 2015-07-14 | Google Inc. | Using gestalt information to identify locations in printed information |
US9323784B2 (en) | 2009-12-09 | 2016-04-26 | Google Inc. | Image search using text-based elements within the contents of images |
KR102068604B1 (ko) * | 2012-08-28 | 2020-01-22 | 삼성전자 주식회사 | 휴대단말기의 문자 인식장치 및 방법 |
US9697541B1 (en) * | 2013-09-12 | 2017-07-04 | Isaac S. Daniel | System and method of controlling multimedia display for a game of chance |
JP6880556B2 (ja) * | 2016-03-10 | 2021-06-02 | 凸版印刷株式会社 | 情報提示装置、情報提示方法、情報提示システム、およびプログラム |
US10409903B2 (en) | 2016-05-31 | 2019-09-10 | Microsoft Technology Licensing, Llc | Unknown word predictor and content-integrated translator |
US20180088752A1 (en) * | 2016-09-28 | 2018-03-29 | Button Inc. | Mobile web browser providing contextual actions based on web page content |
CN116089669B (zh) * | 2023-03-09 | 2023-10-03 | 数影星球(杭州)科技有限公司 | 一种基于浏览器的网站上传拦截方式与*** |
Family Cites Families (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6804659B1 (en) * | 2000-01-14 | 2004-10-12 | Ricoh Company Ltd. | Content based web advertising |
JP2001297248A (ja) * | 2000-04-12 | 2001-10-26 | Planet Computer:Kk | 広告入り電子文書の配信システム |
JP2004505563A (ja) * | 2000-07-27 | 2004-02-19 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | ビデオ強調用のトランスクリプト・トリガー情報 |
JP2002117049A (ja) * | 2000-10-05 | 2002-04-19 | Fuji Xerox Co Ltd | ウェブページ生成システム及びウェブページ生成方法 |
US7136814B1 (en) * | 2000-11-03 | 2006-11-14 | The Procter & Gamble Company | Syntax-driven, operator assisted voice recognition system and methods |
JP2002269253A (ja) * | 2001-03-13 | 2002-09-20 | Ricoh Co Ltd | 電子文書変換サービスシステムおよび電子文書変換サービスシステムの課金方法 |
GB2378775A (en) * | 2001-05-03 | 2003-02-19 | Connextra Ltd | Provision of Secondary Information based on Context of Primary Information |
US20060069616A1 (en) | 2004-09-30 | 2006-03-30 | David Bau | Determining advertisements using user behavior information such as past navigation information |
KR100447526B1 (ko) | 2003-03-18 | 2004-09-08 | 엔에이치엔(주) | 인터넷 사용자의 접속 의도 판단 방법 및 이를 이용한인터넷 상의 광고 방법과 그 시스템 |
US7707039B2 (en) * | 2004-02-15 | 2010-04-27 | Exbiblio B.V. | Automatic modification of web pages |
JP2005242711A (ja) * | 2004-02-26 | 2005-09-08 | Value Commerce Co Ltd | 広告配信管理ネットワークシステム |
JP5102614B2 (ja) * | 2004-04-19 | 2012-12-19 | グーグル インコーポレイテッド | レンダリングされた文書からの視覚的取得データに対する処理技術 |
US7752200B2 (en) * | 2004-08-09 | 2010-07-06 | Amazon Technologies, Inc. | Method and system for identifying keywords for use in placing keyword-targeted advertisements |
US8489583B2 (en) * | 2004-10-01 | 2013-07-16 | Ricoh Company, Ltd. | Techniques for retrieving documents using an image capture device |
EP2036017A1 (en) * | 2006-06-06 | 2009-03-18 | Exbiblio B.V. | Contextual dynamic advertising based upon captured rendered text |
-
2007
- 2007-06-06 EP EP07725886A patent/EP2036017A1/en not_active Withdrawn
- 2007-06-06 WO PCT/EP2007/005038 patent/WO2007141020A1/en active Application Filing
- 2007-06-06 JP JP2009513598A patent/JP2009540404A/ja active Pending
-
2013
- 2013-09-17 JP JP2013191813A patent/JP5752200B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
WO2007141020A1 (en) | 2007-12-13 |
JP2014041620A (ja) | 2014-03-06 |
EP2036017A1 (en) | 2009-03-18 |
JP2009540404A (ja) | 2009-11-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5752200B2 (ja) | 取り込まれたレンダリングテキストに基づくコンテキスト動的広告 | |
US10318995B2 (en) | Contextual dynamic advertising based upon captured rendered text | |
US10275455B2 (en) | Triggering actions in response to optically or acoustically capturing keywords from a rendered document | |
KR101212929B1 (ko) | 렌더링된 문서로부터의 보안 데이터 수집 | |
US8781228B2 (en) | Triggering actions in response to optically or acoustically capturing keywords from a rendered document | |
US7596269B2 (en) | Triggering actions in response to optically or acoustically capturing keywords from a rendered document | |
US9268852B2 (en) | Search engines and systems with handheld document data capture devices | |
US8346620B2 (en) | Automatic modification of web pages | |
US8903759B2 (en) | Determining actions involving captured information and electronic content associated with rendered documents | |
US8489624B2 (en) | Processing techniques for text capture from a rendered document | |
US20100278453A1 (en) | Capture and display of annotations in paper and electronic documents | |
JP2010511921A (ja) | ポータブルデバイス用の紹介報奨システム | |
US20060104515A1 (en) | Automatic modification of WEB pages | |
US20110153653A1 (en) | Image search using text-based elements within the contents of images | |
EP1771784A2 (en) | Triggering actions in response to optically or acoustically capturing keywords from a rendered document |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20140829 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140908 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20141208 |
|
A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20141211 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150306 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20150422 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20150519 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5752200 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |