JP7270876B2 - プログラム - Google Patents
プログラム Download PDFInfo
- Publication number
- JP7270876B2 JP7270876B2 JP2018216910A JP2018216910A JP7270876B2 JP 7270876 B2 JP7270876 B2 JP 7270876B2 JP 2018216910 A JP2018216910 A JP 2018216910A JP 2018216910 A JP2018216910 A JP 2018216910A JP 7270876 B2 JP7270876 B2 JP 7270876B2
- Authority
- JP
- Japan
- Prior art keywords
- information
- web browser
- unit
- character recognition
- pen
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Character Discrimination (AREA)
- User Interface Of Digital Computer (AREA)
Description
しかし、従来のJavaScriptのAPIを用いた取得方法は、取得できる情報がウェブブラウザの種類によってばらつきがあり、一貫性のある手書き情報が取得できない。
また非特許文献1によれば、手書き情報を処理する一例として、手書き情報を、ウェブブラウザから、JAVA(登録商標)アプレットなどウェブブラウザ上にホストされたプログラムに送信し、ウェブブラウザ上のプログラムで文字認識を行い、ウェブブラウザに返却することで、文字列を取得する方法が提案されている。
しかし、従来のウェブブラウザ上のプログラムで文字認識を行う方法は、JAVAアプレットやActiveX(登録商標)やAdobeFlash(登録商標)などで作成されたプログラムをウェブブラウザごとにインストールする必要があり、またプログラムをウェブブラウザ上でホストするためのプラグイン技術自体が、ウェブブラウザの種類によって対応していない、または開発が終了しているか、終了予定であるといった問題があり、ユーザーが容易に利用できない状態である。
本発明の目的は、ウェブブラウザから手書き情報または任意の情報を取得し、また手書き情報を文字認識するための、ウェブブラウザの種類に依存しない高機能な方法を提供することである。
プログラム部が、ウェブブラウザ部に対してメッセージフックを行い、ウェブブラウザ部上で入力された入力手段の情報、またはウェブブラウザ部の任意の情報、またはその他の任意の情報を取得し、取得した情報を、プログラム部がウェブブラウザ部に送信することで、ウェブブラウザの種類によらず、一貫性のある手書き情報、またはウェブブラウザ部の任意の情報、またはその他の任意の情報を、ウェブブラウザ部に提供できる。
また、得られた手書き情報を、ウェブブラウザ部がプログラム部に送信し、プログラム部が備える文字認識部が、手書き情報を元に文字認識を行い、文字認識結果をウェブブラウザ部に送信することによって、ウェブブラウザの種類によらず、文字認識を行い、文字認識結果をウェブブラウザ部に提供できる。
また、端末101は、CPU102とメモリ103と画面104と記憶装置105を備え、さらに必要であればネットワークインターフェース106を備える。
また、端末101は、メモリ103上にループバックインターフェース107を配置する。
また、端末101が備える画面104はタッチパネルであり、スタイラスペン、またはタッチ操作、またはその他の任意の手書き入力手段を受け付ける。
また、端末101は、メモリ103上にウェブブラウザ部113とプログラム部119を配置する。
ループバックインターフェース107に設定されるローカルループバックアドレスは、端末自身を表す、127.0.0.0から127.255.255.255の範囲の任意のIPv4のIPアドレス、または0:0:0:0:0:0:0:1のIPv6のIPアドレスでありうる。
また、入力手段111がスタイラスペンの場合、入力手段111および画面104はデジタイザーの機能を備えうる。
入力手段111および画面104が備えるデジタイザーの機能は、画面104が、画面104と入力手段111の入力部位が接触している状態を入力として検知し、さらに画面104が、画面104と入力手段111の入力部位が接触せず、少し離れた状態(以降、この状態を「ホバー」と呼称する)を入力として検知することが出来る。
また、ウェブブラウザ部113は、記憶装置105またはネットワークインターフェース106を使用して、任意のファイルシステムまたはウェブサーバーから、HTMLコンテンツを取得し、ウェブブラウザ部113上にHTMLコンテンツ部114として構築する。
また、HTMLコンテンツ部114はページ要素115と組込ウェブサーバー通信部117を備える。
また、ページ要素115は手書き入力112を受信して、手書き情報116を生成し、手書き情報116を組込ウェブサーバー通信部117に送信することが出来る。
また、ページ要素115は、要素内に任意の画像情報を描画可能である場合、手書き情報116が保持する一連の入力情報を筆跡として描画しても良い。
また、手書き情報116は、手書き入力112の位置情報、または手書き入力112のその他の任意の情報を含みうる。
また、組込ウェブサーバー通信部117は、ページ要素115から取得した手書き情報116、または手書き情報116を文字認識する命令、またはその他の任意の情報を、ローカルループバック接続118を介して、組込ウェブサーバー部121に送信することができる。
また、組込ウェブサーバー通信部117は、組込ウェブサーバー部121から、文字認識結果の文字列を受信し、ページ要素115に文字認識結果124として設定することができる。
また、ローカルループバック接続118は、組込ウェブサーバー通信部117から、組込ウェブサーバー部121によって待ち受けしているループバックインターフェース107上の所定のポートに接続し、通信を確立する。
また、ローカルループバック接続118の行う通信は、組込ウェブサーバー通信部117がリクエストを組込ウェブサーバー部121に送信し、組込ウェブサーバー部121がレスポンスを組込ウェブサーバー通信部117に返信する、いわゆるプル型通信か、または確立された通信によって組込ウェブサーバー通信部117から組込ウェブサーバー部121に送信するのみでなく、組込ウェブサーバー部121から組込ウェブサーバー通信部117に送信する、いわゆるプッシュ型通信でありうる。
ローカルループバック接続118のプロトコルがHTTP、またはHTTPSなどプッシュ型通信をサポートしない場合、Cometなど疑似的にプッシュ型通信を行う実装をしてもよい。
また、ローカルループバック接続118がSSL/TLSを使用して暗号化通信を行う場合、暗号化通信に使用される公開鍵証明書は、自己署名証明書、または第三者が署名した証明書でありうる。
公開鍵証明書が第三者が署名した証明書の場合、証明書はSNIまたはSANsのワイルドカードの機能を備える証明書でありうる。
当業者は組込ウェブサーバー部121にワイルドカードの機能を備える証明書を設置し、ドメインまたはサブドメインのAレコードにローカルループバックアドレスを設定し、組込ウェブサーバー通信部117がローカルループバック接続118を行う際に、ローカルループバックアドレスを設定したドメインまたはサブドメインを通して接続するよう構成することで、ウェブブラウザに信頼される証明書を、ウェブブラウザ部113に提示できる。
また、プログラム部119は、ウェブブラウザ部113と同じ端末上で実行される。
また、プログラム部119は、OSが備えるネイティブAPIを呼び出す機能を備えうる。
プログラム部119が呼び出すネイティブAPIは、ウェブブラウザが備えるJavaScriptからアクセスできないOSの任意の機能にアクセスする機能や、端末に接続された任意の機器にアクセスする機能を備える。
また、プログラム部119は、ひとつまたは複数の任意のモジュールまたはアプリケーションでありうる。
また、プログラム部119は、記憶装置105に保存され、端末101によって、メモリ103に配置される。
また、プログラム部119は、インタープリタ型言語、またはコンパイラ型言語、またはその他の任意のプログラミング言語により作成される。
また、プログラム部119は、任意のプログラムにホストされる、または任意のランタイムによって解釈される、またはプログラム部119自体が含む命令による実行、またはその他の任意の実行方法によって実行される。
また、プログラム部119は、OS起動時のスタートアップによる起動、またはユーザーの操作を要因とする起動、またはその他のプログラムの処理を要因とする起動、またはその他の任意の要因によって、起動される。
また、プログラム部119は、文字認識部120と、組込ウェブサーバー部121を備え、さらに入力手段111がスタイラスペンである場合はペン認識部122を備える。
また、組込ウェブサーバー部121は、ローカルループバック接続118がHTTPまたはHTTPSである場合、Cross-Origin Resource Sharingを実装して他ドメインとの通信を許可する。
また、組込ウェブサーバー部121は、任意の制御フローに基づき、組込ウェブサーバー通信部117、または文字認識部120、またはペン認識部122のいずれかと通信し、任意の情報を送受信することができる。
また、組込ウェブサーバー部121は、組込ウェブサーバー通信部117から受信した手書き情報116を、蓄積することができる。
また、手書き情報116が手書き入力112の一連の入力情報の配列の場合、文字認識部120の認識機能はオンライン手書き文字認識でありうる。
また、手書き情報116が手書き入力112の筆跡を記録した画像情報の場合、文字認識部120の認識機能はオフライン手書き文字認識でありうる。
また、文字認識部120の認識機能は、文字認識部120に備えられた認識機能、またはサードパーティ製のアプリケーションから提供される認識機能、またはOSが備えるAPIから提供される認識機能、またはその他の任意の認識機能でありうる。
また、文字認識部120は、文字認識結果を組込ウェブサーバー部121に送信し、組込ウェブサーバー部121は受信した文字認識結果を、ローカルループバック接続118を介して組込ウェブサーバー通信部117に送信することができる。
さらに必要な場合、ペン認識部122は、メッセージフック123によって挿入された処理によって、ウェブブラウザ部113が備えるJavaScriptのAPIから取得出来ない任意の情報を、ウェブブラウザ部113から取得してもよい。
また、ペン認識部122は、入力手段111のホバー状態を検知できる。
また、ペン認識部122は、取得した情報を組込ウェブサーバー部121に送信し、組込ウェブサーバー部121は受信した情報を、ローカルループバック接続118を介して組込ウェブサーバー通信部117に送信することができる。
メッセージフック123の機能を備えるOSは、Windows(登録商標)、MacOS(登録商標)、Linux(登録商標)、iOS(登録商標)、Android(登録商標)、その他、グローバルフック、システムフック、動的バインド、イベントのディスパッチなど、メッセージフックと呼べるような機能をサポートしているOSでありうる。
また、ペン詳細情報402が含む情報は、手書き入力112の位置情報、または入力手段111の種類、または入力手段111の画面接触部位、または入力手段111が備えるスイッチの状態、または入力手段111の任意の情報、または手書き入力112の任意の情報を含む。
また、ペン詳細情報402の送信方法は、ソケット、または名前付きパイプ、またはメモリ共有、またはウィンドウメッセージ送信、または任意のプロセス間通信でありうる。
また、JavaScriptペン情報405に含まれるタッチ情報は、手書き入力112の位置情報、または入力手段111の種類、または入力手段111の画面接触部位、または入力手段111が備えるスイッチの状態、または入力手段111の任意の情報、または手書き入力112の任意の情報を含むことができる。
判定条件タッチがペン範囲内の場合503が成立する場合、手書き情報作成504を行い、タッチ位置情報502を元に、手書き情報116を作成する。
判定条件ペン部位が消しゴムを表す場合603が成立する場合、削除処理604を行い、タッチ位置情報502の直下に存在する手書き情報116を削除する。
判定条件ペンが認識範囲外の場合702が成立する場合、組込ウェブサーバー通信部117は、文字認識指示703を組込ウェブサーバー部121に送信する。
また、組込ウェブサーバー部121は、受信した手書き情報を一時的に蓄積してもよい。
判定条件文字認識トリガーが発動した場合804が成立する場合、組込ウェブサーバー通信部117は、文字認識指示805を組込ウェブサーバー部121に送信する。
また、文字認識部120が文字認識を実行する際の認識機能は、文字認識部120に備えられた認識機能、またはサードパーティ製のアプリケーションから提供される認識機能、またはOSが備えるAPIから提供される認識機能、またはその他の任意の認識機能でありうる。
また、文字認識部120は、文字認識結果送信808を実行し、変換した文字列を文字認識結果として、組込ウェブサーバー部121に送信する。
102 CPU
103 メモリ
104 画面
105 記憶装置
106 ネットワークインターフェース
107 ループバックインターフェース
111 入力手段
112 手書き入力
113 ウェブブラウザ部
114 HTMLコンテンツ部
115 ページ要素
116 手書き情報
117 組込ウェブサーバー通信部
118 ローカルループバック接続
119 プログラム部
120 文字認識部
121 組込ウェブサーバー部
122 ペン認識部
123 メッセージフック
124 文字認識結果
201 工程ローカルループバック接続を待ち受け
202 工程ウェブブラウザ部と通信を確立
203 工程手書き情報を受信
204 工程文字認識
205 工程ウェブブラウザ部に文字認識結果を送信
301 工程ローカルループバック接続を待ち受け
302 工程ウェブブラウザ部と通信を確立
303 工程メッセージフックによりウェブブラウザ部に処理挿入
304 工程挿入した処理により情報受信
305 工程ウェブブラウザ部に情報送信
400 ペン情報取得
401 メッセージフック指示
402 ペン詳細情報
403 ペン詳細情報
404 ペン詳細情報
405 JavaScriptペン情報
501 ペン位置情報
502 タッチ位置情報
503 判定条件タッチがペン範囲内の場合
504 手書き情報作成
601 ペン部位情報
603 判定条件ペン部位が消しゴムを表す場合
604 削除処理
701 ペンホバー情報
702 判定条件ペンが認識範囲外の場合
703 文字認識指示
704 文字認識トリガー発動
801 手書き情報取得
802 手書き情報送信
803 手書き情報送信
804 判定条件文字認識トリガーが発動した場合
805 文字認識指示
806 文字認識指示
807 文字認識処理
808 文字認識結果送信
809 文字認識結果送信
810 文字認識結果設定
Claims (1)
- 端末が、CPUと、メモリと、画面と、記憶装置と、ループバックインターフェースと、ウェブブラウザ部を備え、前記画面がタッチ入力を入力手段として受け付け、前記タッチ入力によって、前記ウェブブラウザ部が手書き情報を作成し、前記端末によって実行されるプログラムであって、前記プログラムは前記ウェブブラウザ部と別のプロセスで実行され、前記ループバックインターフェース上の所定のポートでローカルループバック接続を待ち受けする工程と、前記プログラムと同じ前記端末上で実行される前記ウェブブラウザ部と前記ローカルループバック接続によって通信を確立する工程と、前記ウェブブラウザ部が前記ローカルループバック接続を通して送信した前記手書き情報を受信する工程と、前記プログラムが前記ウェブブラウザ部にメッセージフックを行い処理を挿入する工程と、前記メッセージフックが前記ウェブブラウザ部に挿入する処理により、前記ウェブブラウザ部が前記プログラムに送信した任意の情報を受信する工程と、前記プログラムが受信した前記手書き情報および前記任意の情報を元に文字認識し、文字認識結果を作成する工程と、前記プログラムが前記ローカルループバック接続を通して前記ウェブブラウザ部に前記文字認識結果を送信する工程を、前記端末に実行させることを特徴とする、プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018216910A JP7270876B2 (ja) | 2018-11-19 | 2018-11-19 | プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018216910A JP7270876B2 (ja) | 2018-11-19 | 2018-11-19 | プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020086679A JP2020086679A (ja) | 2020-06-04 |
JP7270876B2 true JP7270876B2 (ja) | 2023-05-11 |
Family
ID=70908089
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018216910A Active JP7270876B2 (ja) | 2018-11-19 | 2018-11-19 | プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7270876B2 (ja) |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008186160A (ja) | 2007-01-29 | 2008-08-14 | Fuji Xerox Co Ltd | 文書表示装置およびプログラム |
JP2011209858A (ja) | 2010-03-29 | 2011-10-20 | Sharp Corp | 複合機、複合機制御システム、プログラムおよび記録媒体 |
JP2014110061A (ja) | 2014-01-09 | 2014-06-12 | Toshiba Corp | システムおよびデータ提供方法並びに電子機器 |
JP2014535110A (ja) | 2011-10-25 | 2014-12-25 | グーグル・インコーポレーテッド | ジェスチャベースの検索 |
JP2015518607A (ja) | 2012-04-10 | 2015-07-02 | スポティファイ アーベー | ウェブページを通してローカルアプリケーションを制御するシステム及び方法 |
US20170142111A1 (en) | 2015-11-17 | 2017-05-18 | Avaya Inc. | Accessing local information based on a browser session |
-
2018
- 2018-11-19 JP JP2018216910A patent/JP7270876B2/ja active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008186160A (ja) | 2007-01-29 | 2008-08-14 | Fuji Xerox Co Ltd | 文書表示装置およびプログラム |
JP2011209858A (ja) | 2010-03-29 | 2011-10-20 | Sharp Corp | 複合機、複合機制御システム、プログラムおよび記録媒体 |
JP2014535110A (ja) | 2011-10-25 | 2014-12-25 | グーグル・インコーポレーテッド | ジェスチャベースの検索 |
JP2015518607A (ja) | 2012-04-10 | 2015-07-02 | スポティファイ アーベー | ウェブページを通してローカルアプリケーションを制御するシステム及び方法 |
JP2014110061A (ja) | 2014-01-09 | 2014-06-12 | Toshiba Corp | システムおよびデータ提供方法並びに電子機器 |
US20170142111A1 (en) | 2015-11-17 | 2017-05-18 | Avaya Inc. | Accessing local information based on a browser session |
Also Published As
Publication number | Publication date |
---|---|
JP2020086679A (ja) | 2020-06-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5982586B2 (ja) | ハイブリッドアプリケーションのためのリソース呼び出し | |
KR102220127B1 (ko) | 커스터마이징된 소프트웨어 개발 키트(sdk) 생성을 위한 방법 및 장치 | |
US9961129B2 (en) | Business transaction correlation with client request monitoring data | |
US20240037208A1 (en) | Determining authentication sub-flow and client authentication based on tests transmitted to server-side software | |
US9535567B1 (en) | Method for interception and blocking of mouse move and resize events on mobile device | |
CN105472694B (zh) | 通过扫描二维码接入WiFi的方法、装置、终端及存储介质 | |
RU2754720C1 (ru) | Способ и устройство для отображения интерфейса | |
WO2018108041A1 (zh) | 一种远程调试方法及装置、计算机存储介质 | |
US20230136034A1 (en) | Systems for Platform-Independent Application Publishing to a Web Container | |
JP2015534691A (ja) | コンピューティング・デバイスについてのセキュアな識別およびセキュアな識別方法 | |
EP2928143A1 (en) | Page operation processing method, device and terminal | |
CN103365840A (zh) | 一种基于web的截图方法和装置 | |
CN110224896B (zh) | 一种网络性能数据采集方法、装置及存储介质 | |
US10341346B2 (en) | Information processing method, information processing apparatus, and storage medium | |
US10506400B2 (en) | Data download method and apparatus | |
JP2015524967A (ja) | 端末間でソフトウェアを共有する方法、装置、及びシステム | |
CN108600377B (zh) | 一种文件下载的暂停方法、装置、终端和存储介质 | |
US10574773B2 (en) | Method, device, terminal, server and storage medium of processing network request and response | |
WO2016029639A1 (zh) | 在线资源下载推送至移动终端的方法和装置 | |
CN113709243B (zh) | 设备远程控制方法及装置、电子设备和存储介质 | |
JP2016018233A (ja) | スクリプトのキャッシュ方法及びそれを適用した情報処理装置 | |
CN112154417A (zh) | 经由仿真网络通信信道在应用的单机版本和基于Web的版本之间共享代码库 | |
JP7270876B2 (ja) | プログラム | |
US11334240B2 (en) | Method, device, electronic device, and storage medium for sending and receiving message | |
CN114979730A (zh) | 传屏交互方法、装置、计算机设备和存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20211102 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220825 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220928 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20221111 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230118 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230307 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230312 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7270876 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |