JP2001155139A - カメラ付きペン型入力装置用記憶媒体 - Google Patents
カメラ付きペン型入力装置用記憶媒体Info
- Publication number
- JP2001155139A JP2001155139A JP34029399A JP34029399A JP2001155139A JP 2001155139 A JP2001155139 A JP 2001155139A JP 34029399 A JP34029399 A JP 34029399A JP 34029399 A JP34029399 A JP 34029399A JP 2001155139 A JP2001155139 A JP 2001155139A
- Authority
- JP
- Japan
- Prior art keywords
- image
- pen
- target
- camera
- processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Image Input (AREA)
Abstract
(57)【要約】
【課題】カメラ付きペン型入力装置の装置構成を工夫し
て使い勝手を向上させるとともに、それを用いたユーザ
インタフェースを提供する。 【解決手段】カメラ付きペン型入力装置を、横長・縦長
いずれの対象の指示にも適するように構成するととも
に、対象と処理内容を同時に指定するための手段を設け
る。また、利用者が誤った方法で対象を指示したことを
検出し、それに応じて正しい対象指示方法を教示するた
めの手段を設ける。
て使い勝手を向上させるとともに、それを用いたユーザ
インタフェースを提供する。 【解決手段】カメラ付きペン型入力装置を、横長・縦長
いずれの対象の指示にも適するように構成するととも
に、対象と処理内容を同時に指定するための手段を設け
る。また、利用者が誤った方法で対象を指示したことを
検出し、それに応じて正しい対象指示方法を教示するた
めの手段を設ける。
Description
【0001】
【発明の属する技術分野】本発明は、利用者が情報処理
装置の機能を簡単に呼び出すためのユーザインタフェー
ス手法および装置を実現するものである。特に、手持ち
可能な画像入力装置を用いた情報処理装置における、手
持ち画像入力装置の構成、および手持ち画像入力装置を
使用する際の利用者の特性を登録する方法に関する。
装置の機能を簡単に呼び出すためのユーザインタフェー
ス手法および装置を実現するものである。特に、手持ち
可能な画像入力装置を用いた情報処理装置における、手
持ち画像入力装置の構成、および手持ち画像入力装置を
使用する際の利用者の特性を登録する方法に関する。
【0002】
【従来の技術】カメラ付きペン型入力装置に関わる従来
の技術として、ACM PRESS発行,HUMANFACTORS IN COMPU
TING SYSTEMS、CHI 95 CONFERENCE COMPANION 、256
頁から257頁に記載のMEMO−PENがある。ME
MO−PENとは、小型カメラをペンの軸に埋め込み、
ペン先ごしにペン先の近傍を連続撮影することで、筆跡
を記録するものである。MEMO−PENのカメラが撮
影する範囲は、筆跡の方向が判別するために必要なごく
狭い領域に限られている。
の技術として、ACM PRESS発行,HUMANFACTORS IN COMPU
TING SYSTEMS、CHI 95 CONFERENCE COMPANION 、256
頁から257頁に記載のMEMO−PENがある。ME
MO−PENとは、小型カメラをペンの軸に埋め込み、
ペン先ごしにペン先の近傍を連続撮影することで、筆跡
を記録するものである。MEMO−PENのカメラが撮
影する範囲は、筆跡の方向が判別するために必要なごく
狭い領域に限られている。
【0003】MEMO−PENでは、ペン軸にカメラが
埋め込まれているため、利用者が手で持つ場所よりも先
端の近くに光学系を配置しないと、利用者の手によって
カメラの視野を妨げられてしまう。このため、視野角が
広い光学系を用いたとしても、光学系を対象物(紙)か
ら離せる距離に限度があるため、カメラの視野を広く取
れないという問題がある。また、利用者が自然にペンを
保持した状態では、ペン軸が垂直から大きく傾くのが普
通であるため、ペン軸に埋め込まれたカメラで撮影され
た画像は、対象を斜めから見たものになってしまう。
埋め込まれているため、利用者が手で持つ場所よりも先
端の近くに光学系を配置しないと、利用者の手によって
カメラの視野を妨げられてしまう。このため、視野角が
広い光学系を用いたとしても、光学系を対象物(紙)か
ら離せる距離に限度があるため、カメラの視野を広く取
れないという問題がある。また、利用者が自然にペンを
保持した状態では、ペン軸が垂直から大きく傾くのが普
通であるため、ペン軸に埋め込まれたカメラで撮影され
た画像は、対象を斜めから見たものになってしまう。
【0004】MEMO−PENの機能は、利用者がME
MO−PENで書いた筆跡を記録しておき、後に何らか
の情報処理装置の助けをかりて、筆跡を再生したり、文
字認識したりすることである。すなわち、筆跡データを
収集している最中、換言すれば利用者がMEMO−PE
Nを利用している最中には、このカメラ付きペン型入力
装置を用いて、情報処理装置の機能を呼び出すといった
ユーザインタフェースが実行されることはない。したが
って、入力中の処理対象(筆跡)に対して適用する処理
の種類を、ペンによって指定したりすることはない。さ
らに、MEMO−PENの場合は、ペン先と筆跡の位置
は常に一致しているため、入力対象(筆跡)とペン先の
位置関係を調整したりする必要はない。
MO−PENで書いた筆跡を記録しておき、後に何らか
の情報処理装置の助けをかりて、筆跡を再生したり、文
字認識したりすることである。すなわち、筆跡データを
収集している最中、換言すれば利用者がMEMO−PE
Nを利用している最中には、このカメラ付きペン型入力
装置を用いて、情報処理装置の機能を呼び出すといった
ユーザインタフェースが実行されることはない。したが
って、入力中の処理対象(筆跡)に対して適用する処理
の種類を、ペンによって指定したりすることはない。さ
らに、MEMO−PENの場合は、ペン先と筆跡の位置
は常に一致しているため、入力対象(筆跡)とペン先の
位置関係を調整したりする必要はない。
【0005】また、カメラ付きペン型入力装置に関わる
従来の技術として、ACM PRESS発行,HUMAN FACTORS IN C
OMPUTING SYSTEMS、CHI 97 CONFERENCE PROCEEDINGS 、
327頁から334頁に記載のPaperLink というシステム
がある。PaperLink では、利用者が処理対象を入力する
ための装置として、小型カメラを装着したペン型の入力
装置を用いる。小型カメラは、利用者が自然にペンを保
持した状態で、真上から対象(紙面)を見下ろすような
位置に設置されている。カメラの視野は、ペン先付近の
数cm四方を撮影できるように設定されている。撮影され
たペン先付近の画像は、情報処理装置に入力され、その
内容に応じて色々な処理が実行される。入力した対象が
既知のものであれば、それに応じた所定の処理が実行さ
れる。例えば、所定のファイルを開いて利用者に提示し
たり、所定のプログラムが実行を開始したりする。ま
た、入力した対象が未知のものであれば、一時的に保存
され、後に実行されるコマンドへの引数として使用され
たりする。
従来の技術として、ACM PRESS発行,HUMAN FACTORS IN C
OMPUTING SYSTEMS、CHI 97 CONFERENCE PROCEEDINGS 、
327頁から334頁に記載のPaperLink というシステム
がある。PaperLink では、利用者が処理対象を入力する
ための装置として、小型カメラを装着したペン型の入力
装置を用いる。小型カメラは、利用者が自然にペンを保
持した状態で、真上から対象(紙面)を見下ろすような
位置に設置されている。カメラの視野は、ペン先付近の
数cm四方を撮影できるように設定されている。撮影され
たペン先付近の画像は、情報処理装置に入力され、その
内容に応じて色々な処理が実行される。入力した対象が
既知のものであれば、それに応じた所定の処理が実行さ
れる。例えば、所定のファイルを開いて利用者に提示し
たり、所定のプログラムが実行を開始したりする。ま
た、入力した対象が未知のものであれば、一時的に保存
され、後に実行されるコマンドへの引数として使用され
たりする。
【0006】また、PaperLink では、撮影画像と、それ
に応じた所定の処理を対応付ける方法として、すでに印
刷された紙の、印刷の一部をカメラで撮影することで画
像を取り込み、この画像に対し処理を指定する方法を取
る。
に応じた所定の処理を対応付ける方法として、すでに印
刷された紙の、印刷の一部をカメラで撮影することで画
像を取り込み、この画像に対し処理を指定する方法を取
る。
【0007】また、画像を読み込んで、この画像に対応
付けた処理を実行するシステムとして、バーコードシス
テムがあげられる。
付けた処理を実行するシステムとして、バーコードシス
テムがあげられる。
【0008】
【発明が解決しようとする課題】本発明が解決しようと
する課題は、小型カメラをペン状のものに装着し、画像
を用いて対象を入力する装置において、使い勝手を低下
させる事柄である。
する課題は、小型カメラをペン状のものに装着し、画像
を用いて対象を入力する装置において、使い勝手を低下
させる事柄である。
【0009】MEMO−PENにおいて本発明で解決し
ようとする課題は、光学系まで含めたカメラがペン軸に
組み込まれているために、カメラに広い視野を持たせる
ことが困難であるという点である。
ようとする課題は、光学系まで含めたカメラがペン軸に
組み込まれているために、カメラに広い視野を持たせる
ことが困難であるという点である。
【0010】また、上述のPaperLink に関しては、まず
ペン軸とカメラの中心軸が同一平面上になるように配置
されているため、自然な操作で縦長のパターンを指し示
すことができないという問題がある。
ペン軸とカメラの中心軸が同一平面上になるように配置
されているため、自然な操作で縦長のパターンを指し示
すことができないという問題がある。
【0011】さらにPaperLink の入力装置では、対象を
指し示す方法が一種類しかないため、処理対象と処理の
種類を同時に指定できない。
指し示す方法が一種類しかないため、処理対象と処理の
種類を同時に指定できない。
【0012】またPaperLink のように、ペン先をカメラ
が上から見下ろすような構成では、利用者が指示対象と
ペン先を重ねてしまうと、ペン先によって指示対象が隠
されてしまい、正しく入力できないという状態になる。
が上から見下ろすような構成では、利用者が指示対象と
ペン先を重ねてしまうと、ペン先によって指示対象が隠
されてしまい、正しく入力できないという状態になる。
【0013】また、上記のようにペン先と指定対象を重
ねられないことから、対象の指示方法に利用者の好みを
反映させる必要が生じる。すなわち、カメラ付きペン型
入力装置においては、指示対象の位置とペン先の位置と
の間の関係は、利用者の指示方法の好みによって色々と
変わりうる。例えば横長の対象を利用者が指示する場
合、ある利用者は真中付近を指示するであろうし、別な
利用者は右下を指示するかも知れない。また、対象を指
し示す際のペンの傾きなども、利用者ごとに異なるであ
ろう。
ねられないことから、対象の指示方法に利用者の好みを
反映させる必要が生じる。すなわち、カメラ付きペン型
入力装置においては、指示対象の位置とペン先の位置と
の間の関係は、利用者の指示方法の好みによって色々と
変わりうる。例えば横長の対象を利用者が指示する場
合、ある利用者は真中付近を指示するであろうし、別な
利用者は右下を指示するかも知れない。また、対象を指
し示す際のペンの傾きなども、利用者ごとに異なるであ
ろう。
【0014】PaperLink では、すでに印刷された紙の、
印刷の一部をカメラで撮影することで画像を取り込み、
この画像に処理を対応付ける方法を取るが、画像を印刷
してカメラで撮影するまでは、画像に対する処理を指定
できない。
印刷の一部をカメラで撮影することで画像を取り込み、
この画像に処理を対応付ける方法を取るが、画像を印刷
してカメラで撮影するまでは、画像に対する処理を指定
できない。
【0015】また、バーコードシステムでは、画像をバ
ーコードリーダで読み取る必要が有り、人が印刷を見た
だけでは、何が印刷されているのかがわからない。ま
た、所定の規格によるサイズ,色,模様のみしか許して
いない。
ーコードリーダで読み取る必要が有り、人が印刷を見た
だけでは、何が印刷されているのかがわからない。ま
た、所定の規格によるサイズ,色,模様のみしか許して
いない。
【0016】
【課題を解決するための手段】上記の課題を解決するた
め、本発明では、次のような手段を設ける。
め、本発明では、次のような手段を設ける。
【0017】印刷前の文字または画像と、その文字・画
像を指示した際の処理とを割り当て指定する手段と、そ
の指定内容を保持する、画像−処理保持手段と、紙を印
刷する際に、画像−処理保持手段を、PaperLink 用の辞
書に変換する紙画像−処理割当指定手段を設ける。
像を指示した際の処理とを割り当て指定する手段と、そ
の指定内容を保持する、画像−処理保持手段と、紙を印
刷する際に、画像−処理保持手段を、PaperLink 用の辞
書に変換する紙画像−処理割当指定手段を設ける。
【0018】バーコードシステムでも、印刷前にバーコ
ード画像とそれに対する処理を指定した後に、バーコー
ドを印刷するが、バーコードは、所定の規格によるサイ
ズ,色,模様のみしか許していない一方で、PaperLink
にはこうした規格はないため、画像−処理保持手段を、
PaperLink 用の辞書に変換する紙画像−処理割当指定手
段には、次のような手段を設ける。
ード画像とそれに対する処理を指定した後に、バーコー
ドを印刷するが、バーコードは、所定の規格によるサイ
ズ,色,模様のみしか許していない一方で、PaperLink
にはこうした規格はないため、画像−処理保持手段を、
PaperLink 用の辞書に変換する紙画像−処理割当指定手
段には、次のような手段を設ける。
【0019】すなわち、画像がカメラで撮影される範囲
よりも大きい場合には、画像の一部のみを撮影した画像
に対して処理を指定することとし、印刷画像のどの位置
を撮影するかを示す情報を付加して印刷する手段、また
は、警告を発する手段を設ける。または、画像の一部を
撮影するのみで、どの画像を撮影したかを調べる手段を
設ける。あるいは、印刷サイズや色を考慮して、印刷前
の画像から紙画像を撮影した画像を作成する手段を設け
る。
よりも大きい場合には、画像の一部のみを撮影した画像
に対して処理を指定することとし、印刷画像のどの位置
を撮影するかを示す情報を付加して印刷する手段、また
は、警告を発する手段を設ける。または、画像の一部を
撮影するのみで、どの画像を撮影したかを調べる手段を
設ける。あるいは、印刷サイズや色を考慮して、印刷前
の画像から紙画像を撮影した画像を作成する手段を設け
る。
【0020】
【発明の実施の形態】図1は、本発明を実施するための
ハードウェア構成の一例である。利用者は、小型のカメ
ラ101を装着したペン型の入力装置を用いて、情報処
理装置102にデータを入力したり、情報処理装置10
2のコマンドを実行させたりできる。このようなカメラ
付きペン型入力装置を、以下の説明ではビデオペン10
3と呼ぶ。利用者がビデオペン103で何かを指示する
と、ビデオペン103の先端に取り付けられているスイ
ッチ、すなわちペン先スイッチ104がONの状態にな
る。情報処理装置102は、ペン先スイッチ104がO
Nになったことを検出すると、ビデオペン103のカメ
ラ101から画像を取り込み、その内容に応じて様々な
処理を実行する。例えば、画像から文書中の行を抜き出
し、それを文字認識しと辞書プログラムに渡し、結果を
ディスプレイ105に表示したりする。
ハードウェア構成の一例である。利用者は、小型のカメ
ラ101を装着したペン型の入力装置を用いて、情報処
理装置102にデータを入力したり、情報処理装置10
2のコマンドを実行させたりできる。このようなカメラ
付きペン型入力装置を、以下の説明ではビデオペン10
3と呼ぶ。利用者がビデオペン103で何かを指示する
と、ビデオペン103の先端に取り付けられているスイ
ッチ、すなわちペン先スイッチ104がONの状態にな
る。情報処理装置102は、ペン先スイッチ104がO
Nになったことを検出すると、ビデオペン103のカメ
ラ101から画像を取り込み、その内容に応じて様々な
処理を実行する。例えば、画像から文書中の行を抜き出
し、それを文字認識しと辞書プログラムに渡し、結果を
ディスプレイ105に表示したりする。
【0021】図2は、ビデオペン103の構造の一例を
示したものである。ペン軸201は、利用者が手で持つ
ための部分であり、その先端にペン先スイッチ104が
取り付けられている。ペン先スイッチ104の先端は例
えば棒状になっており、利用者がビデオペン103で対
象を指し示すと、その棒がペン軸201に押し込まれ、
電気的な接点をONにするようになっている。ペン軸2
01には、ビデオペン103先端部付近を撮影できるよ
うに、カメラ101が取り付けられる。カメラ101
は、カメラ保持部品202によって、ペン軸201に取
り付けられる。カメラ101は、利用者がペンを持つ要
領でビデオペン103を保持した時に、なるべく先端付
近を垂直に見下ろせるような位置に取り付けてある。カ
メラ101としては、市販されている小型ビデオカメラ
を用いることができる。4分の1インチの撮像素子を用
いた小型ビデオカメラは、断面は直径1cm以下の円形
で、長さは数cm程度である。また、ペン軸201は、通
常のペンと同様に、直径が1cm程度の断面が円の棒状の
ものである。
示したものである。ペン軸201は、利用者が手で持つ
ための部分であり、その先端にペン先スイッチ104が
取り付けられている。ペン先スイッチ104の先端は例
えば棒状になっており、利用者がビデオペン103で対
象を指し示すと、その棒がペン軸201に押し込まれ、
電気的な接点をONにするようになっている。ペン軸2
01には、ビデオペン103先端部付近を撮影できるよ
うに、カメラ101が取り付けられる。カメラ101
は、カメラ保持部品202によって、ペン軸201に取
り付けられる。カメラ101は、利用者がペンを持つ要
領でビデオペン103を保持した時に、なるべく先端付
近を垂直に見下ろせるような位置に取り付けてある。カ
メラ101としては、市販されている小型ビデオカメラ
を用いることができる。4分の1インチの撮像素子を用
いた小型ビデオカメラは、断面は直径1cm以下の円形
で、長さは数cm程度である。また、ペン軸201は、通
常のペンと同様に、直径が1cm程度の断面が円の棒状の
ものである。
【0022】図3は、図2に示したビデオペン103を
利用者が保持している時と同じ状態に立て、真上から見
下ろした場合を示している。この場合、カメラ101は
鉛直方向に配置されるので、断面形状と同じく円のよう
に見える。ここで注意すべき点は、ペン軸201とカメ
ラ101が同一平面状には配置されていないことであ
る。カメラ101は、ペン軸201が載っている平面よ
りも、左側上方にずらして設置されている。これは、ビ
デオペン103で縦書きの文書中の行を指し示す際に、
ペン軸201によって対象行が隠されてしまうのを防ぐ
ための配慮である。
利用者が保持している時と同じ状態に立て、真上から見
下ろした場合を示している。この場合、カメラ101は
鉛直方向に配置されるので、断面形状と同じく円のよう
に見える。ここで注意すべき点は、ペン軸201とカメ
ラ101が同一平面状には配置されていないことであ
る。カメラ101は、ペン軸201が載っている平面よ
りも、左側上方にずらして設置されている。これは、ビ
デオペン103で縦書きの文書中の行を指し示す際に、
ペン軸201によって対象行が隠されてしまうのを防ぐ
ための配慮である。
【0023】図4は、図2に示したビデオペン103
で、横書き文書中の行を撮影した画像の例である。ビデ
オペン103のペン先401は、画像の中心より、若干
右下に写っている。また、中央部には、利用者が指示し
た対象パターン402が撮影されている。
で、横書き文書中の行を撮影した画像の例である。ビデ
オペン103のペン先401は、画像の中心より、若干
右下に写っている。また、中央部には、利用者が指示し
た対象パターン402が撮影されている。
【0024】また、図5は、同じく図2に示したビデオ
ペン103で、縦書き文書中の行を撮影した画像の例で
ある。ビデオペン103のペン先401は、図4の場合
と同じ所に写っている。これは、カメラ101とペン軸
201の位置関係が固定されているために当然のことで
ある。図5では、対象パターン501は、画像中心に上
下に写っている。この際、カメラ101がペン軸201
よりも左側にずらして設置されているため、ペン軸20
1が邪魔をして縦書き文書中の対象パターン501を隠
してしまうことはない。
ペン103で、縦書き文書中の行を撮影した画像の例で
ある。ビデオペン103のペン先401は、図4の場合
と同じ所に写っている。これは、カメラ101とペン軸
201の位置関係が固定されているために当然のことで
ある。図5では、対象パターン501は、画像中心に上
下に写っている。この際、カメラ101がペン軸201
よりも左側にずらして設置されているため、ペン軸20
1が邪魔をして縦書き文書中の対象パターン501を隠
してしまうことはない。
【0025】図6は、左利き用のビデオペン103を構
成する際のカメラ101の設置方法を、図3と同様に示
した物である。図3に示したビデオペン103では、右
手で操作することを前提にし、縦長の対象を右手で右側
から指し示すことを想定しているが、左手で左側から縦
長の対象を指示するためには、カメラ101をペン軸2
01よりも右側にずらして設置するようにすれば良い。
これにより、縦長の対象をビデオペン103で左側から
指示する場合でも、ペン軸201によって対象が隠され
てしまうことを防げる。
成する際のカメラ101の設置方法を、図3と同様に示
した物である。図3に示したビデオペン103では、右
手で操作することを前提にし、縦長の対象を右手で右側
から指し示すことを想定しているが、左手で左側から縦
長の対象を指示するためには、カメラ101をペン軸2
01よりも右側にずらして設置するようにすれば良い。
これにより、縦長の対象をビデオペン103で左側から
指示する場合でも、ペン軸201によって対象が隠され
てしまうことを防げる。
【0026】図7は、カメラ101をペン軸201の中
心平面からどれだけずらせば良いかを示している。縦長
の対象をペン軸201で隠さないためには、カメラ10
1で撮影される部分のペン軸201の太さ701の半分
以上ずらす必要がある。だたし、ペン先401の形状に
よっては、上記のずれ方よりも小さくても十分である。
例えばカメラ101の画像に入る範囲のペン先401
が、図8のような形状であった場合、ずれ方は0以上で
あればよい。したがって、カメラのずれ方は、カメラの
画像に入る範囲のペン軸201で、ペン軸201の中心
線よりも指示対象側に出ている部分の幅より大きくなる
ように調整すればよい。
心平面からどれだけずらせば良いかを示している。縦長
の対象をペン軸201で隠さないためには、カメラ10
1で撮影される部分のペン軸201の太さ701の半分
以上ずらす必要がある。だたし、ペン先401の形状に
よっては、上記のずれ方よりも小さくても十分である。
例えばカメラ101の画像に入る範囲のペン先401
が、図8のような形状であった場合、ずれ方は0以上で
あればよい。したがって、カメラのずれ方は、カメラの
画像に入る範囲のペン軸201で、ペン軸201の中心
線よりも指示対象側に出ている部分の幅より大きくなる
ように調整すればよい。
【0027】図9は、ビデオペン103の構造のもう一
つの例である。ペン軸201の部分は図2に示したもの
と同じであるが、カメラ101を取り付ける方法が異な
っている。
つの例である。ペン軸201の部分は図2に示したもの
と同じであるが、カメラ101を取り付ける方法が異な
っている。
【0028】図10は、図9に示したビデオペン103
を利用者が保持している時と同じ状態に立て、真上から
見下ろした場合を示している。この場合は、図3の場合
と異なり、カメラ101はペン軸201と同一平面上に
配置されている。したがって、横長の対象を指示するた
めには問題はないが、縦長の対象、例えば縦書き文章の
行などを指し示すと、ペン軸が邪魔になってしまう。
を利用者が保持している時と同じ状態に立て、真上から
見下ろした場合を示している。この場合は、図3の場合
と異なり、カメラ101はペン軸201と同一平面上に
配置されている。したがって、横長の対象を指示するた
めには問題はないが、縦長の対象、例えば縦書き文章の
行などを指し示すと、ペン軸が邪魔になってしまう。
【0029】これを解決するために、図9に示すビデオ
ペン103では、カメラ101がペン軸201に対して
90度回転しながら左側にずれるようになっている。図
11は、カメラ101が回転して左側にずれた状態を上
から見下ろしている所である。カメラ保持部品202
が、途中から折れ曲がり、カメラ101を90度回転さ
せるとともに、左側に振り出すような構造になってい
る。この状態では、縦長の対象を指す場合に、ペン軸2
01が対象を隠してしまうことはない。
ペン103では、カメラ101がペン軸201に対して
90度回転しながら左側にずれるようになっている。図
11は、カメラ101が回転して左側にずれた状態を上
から見下ろしている所である。カメラ保持部品202
が、途中から折れ曲がり、カメラ101を90度回転さ
せるとともに、左側に振り出すような構造になってい
る。この状態では、縦長の対象を指す場合に、ペン軸2
01が対象を隠してしまうことはない。
【0030】図12は、カメラ101が回転されておら
ず、図10の状態にあるときに横長の対象を撮影した画
像の一例である。ペン先401が写り込む位置が、画像
中央の少し下である以外は、図4の場合とほとんど変化
はない。すなわち、横長の対象を指し示す際には、図2
に示したビデオペン103と、図9に示したビデオペン
103では、横長の対象を指し示す際にはほとんど差が
ないと言える。
ず、図10の状態にあるときに横長の対象を撮影した画
像の一例である。ペン先401が写り込む位置が、画像
中央の少し下である以外は、図4の場合とほとんど変化
はない。すなわち、横長の対象を指し示す際には、図2
に示したビデオペン103と、図9に示したビデオペン
103では、横長の対象を指し示す際にはほとんど差が
ないと言える。
【0031】一方図13は、カメラ101が図11のよ
うになっている状態で、縦長の対象を指し示した際の画
像の一例である。この場合、カメラ101が90度回転
しているため、ペン先401は、画像中心の左下側に写
り込む。また、縦長の対象は、画像の横方向に長くなる
ように写り込む。市販のビデオカメラで撮影された画像
は、一般的に横長であるから、この図9に示したビデオ
ペン103の構成では、縦長の対象を指示する際にも、
撮像素子の画素を有効に使えるという利点がある。
うになっている状態で、縦長の対象を指し示した際の画
像の一例である。この場合、カメラ101が90度回転
しているため、ペン先401は、画像中心の左下側に写
り込む。また、縦長の対象は、画像の横方向に長くなる
ように写り込む。市販のビデオカメラで撮影された画像
は、一般的に横長であるから、この図9に示したビデオ
ペン103の構成では、縦長の対象を指示する際にも、
撮像素子の画素を有効に使えるという利点がある。
【0032】すなわち、図2に示したビデオペン103
で縦長の対象を指示した際は、図4に示すように画像の
短辺の中に収まる対象しか入力できないが、図9に示す
ビデオペン103では、図13のように画像の長辺に収
まる対象まで入力することができる。
で縦長の対象を指示した際は、図4に示すように画像の
短辺の中に収まる対象しか入力できないが、図9に示す
ビデオペン103では、図13のように画像の長辺に収
まる対象まで入力することができる。
【0033】ただし、図9に示すビデオペン103で
は、縦長の対象を指す場合と、横長の対象を指す場合
で、利用者がカメラ101の配置を切り替えなくてはな
らないという欠点はある。したがって、カメラ101の
解像度および撮影範囲が十分に大きい時は、図2の構成
を用い、そうでない場合に図9の構成を用いることが望
ましい。
は、縦長の対象を指す場合と、横長の対象を指す場合
で、利用者がカメラ101の配置を切り替えなくてはな
らないという欠点はある。したがって、カメラ101の
解像度および撮影範囲が十分に大きい時は、図2の構成
を用い、そうでない場合に図9の構成を用いることが望
ましい。
【0034】なお、図9に示すビデオペン103の構成
では、カメラ101を右側にも振り出せるようにしてお
けば、縦長の対象を左側から指し示す場合にも対処でき
るようになるという利点もある。
では、カメラ101を右側にも振り出せるようにしてお
けば、縦長の対象を左側から指し示す場合にも対処でき
るようになるという利点もある。
【0035】また、図9に示すビデオペン103では、
情報処理装置102の対象が横長なのか縦長なのかを判
定するために、ビデオペン103のカメラ101が、ど
こに設定されているかを読み取る必要が生じる。これ
は、カメラ保持部品202の状態を電気的に読み込める
ようにしても良いし、撮影された画像から判定するよう
にしても良い。すなわち、ペン先401が画像のどこに
写り込んでいるかを調べれば、カメラ101がどこにあ
るかを特定することができる。ペン先401が、図12
のように画像の中央下側に写り込んでいれば、横長の対
象を撮影している場合である。また、ペン先401が、
図13のように画像の左下側に写り込んでいれば、縦長
の対象を右側から指し示している場合である。同様に、
ペン先401が画像の右下側に写り込んでいれば、縦長の
対象を左側から指し示している場合である。
情報処理装置102の対象が横長なのか縦長なのかを判
定するために、ビデオペン103のカメラ101が、ど
こに設定されているかを読み取る必要が生じる。これ
は、カメラ保持部品202の状態を電気的に読み込める
ようにしても良いし、撮影された画像から判定するよう
にしても良い。すなわち、ペン先401が画像のどこに
写り込んでいるかを調べれば、カメラ101がどこにあ
るかを特定することができる。ペン先401が、図12
のように画像の中央下側に写り込んでいれば、横長の対
象を撮影している場合である。また、ペン先401が、
図13のように画像の左下側に写り込んでいれば、縦長
の対象を右側から指し示している場合である。同様に、
ペン先401が画像の右下側に写り込んでいれば、縦長の
対象を左側から指し示している場合である。
【0036】ビデオペン103のペン軸201の部分
に、指示された対象に適用する処理の種類を指定するた
めの処理指定装置1401を設ける。この処理指定装置
1401は、例えば多色ボールペンでペンの色を切り替える
ための仕掛けのようなものである。図14に、処理指定
装置1401の一例を示す。利用者は、起動したい処理
に対応した色を、ペン軸201の上端にある回転部分1
402を回すことで選択する。すると、選ばれた色に対
応する芯がペン先401から出てくる。
に、指示された対象に適用する処理の種類を指定するた
めの処理指定装置1401を設ける。この処理指定装置
1401は、例えば多色ボールペンでペンの色を切り替える
ための仕掛けのようなものである。図14に、処理指定
装置1401の一例を示す。利用者は、起動したい処理
に対応した色を、ペン軸201の上端にある回転部分1
402を回すことで選択する。すると、選ばれた色に対
応する芯がペン先401から出てくる。
【0037】利用者は、あらかじめ処理指定装置140
1により、所定の処理を設定しておけば、処理対象指定
と同時にその処理を起動することができるようになる。
処理指定装置1401は、ペン先401の形状または色
を変更するものであってもよい。ペン先401は対象を
指し示すための部分であるため、利用者は指示対象を視
界に捉えながら、処理の種類に対応するペン先401の
形状または色をも同時に見ることができる。
1により、所定の処理を設定しておけば、処理対象指定
と同時にその処理を起動することができるようになる。
処理指定装置1401は、ペン先401の形状または色
を変更するものであってもよい。ペン先401は対象を
指し示すための部分であるため、利用者は指示対象を視
界に捉えながら、処理の種類に対応するペン先401の
形状または色をも同時に見ることができる。
【0038】処理指定装置の状態、すなわちどの芯が選
ばれているかを読み取るためには、例えば電気的な接点
を用いる構成が考えられる。この場合は例えば、ペン先
スイッチ401がONになった時点で、処理指定装置1
401の状態を読み出すようにすればよい。
ばれているかを読み取るためには、例えば電気的な接点
を用いる構成が考えられる。この場合は例えば、ペン先
スイッチ401がONになった時点で、処理指定装置1
401の状態を読み出すようにすればよい。
【0039】また、ペン先401はカメラ101の視野
中にも入っているので、カメラ101からの画像を処理す
る際に、特別な電気的な信号を用いなくても、画像処理
により処理の種類を特定することも可能である。ペン先
401とカメラ101の位置関係は既知であるので、カ
メラ101からの入力画像中のどこにペン先401、特
に芯があるかはあらかじめ計算しておける。画像処理の
過程で、その位置にある色を調べれば、現在選択されて
いる処理の種類を容易に判別することが可能となる。
中にも入っているので、カメラ101からの画像を処理す
る際に、特別な電気的な信号を用いなくても、画像処理
により処理の種類を特定することも可能である。ペン先
401とカメラ101の位置関係は既知であるので、カ
メラ101からの入力画像中のどこにペン先401、特
に芯があるかはあらかじめ計算しておける。画像処理の
過程で、その位置にある色を調べれば、現在選択されて
いる処理の種類を容易に判別することが可能となる。
【0040】本発明によるユーザインタフェース手法に
おいては、利用者はビデオペン103を用いて画像により
処理対象を情報処理装置102に入力する。したがって
利用者は、処理対象を正しく入力するためには、ビデオ
ペン103により正しい対象指定の方法を習得している
必要がある。すなわち、ビデオペン103のペン先40
1で、対象を覆い隠してしまってはいけないし、ペン先
401と対象が離れすぎてもいけない。
おいては、利用者はビデオペン103を用いて画像により
処理対象を情報処理装置102に入力する。したがって
利用者は、処理対象を正しく入力するためには、ビデオ
ペン103により正しい対象指定の方法を習得している
必要がある。すなわち、ビデオペン103のペン先40
1で、対象を覆い隠してしまってはいけないし、ペン先
401と対象が離れすぎてもいけない。
【0041】ところが、ビデオペン103を初めて使う
利用者は、図15のように対象の上にペン先401を重
ねてしまいがちである。この状態は、ペン入力コンピュ
ータのように指示する対象がシステムによる表示物であ
り、ペンで指示したディスプレイ上の座標を入力する手
段を備えている場合には問題ない。しかし、本発明によ
るユーザインタフェース手法のように、ペン先401の
付近を上から撮影した画像から指示対象を抽出する場合
には、指示対象がペン先401で隠されてしまうことは
大きな問題である。
利用者は、図15のように対象の上にペン先401を重
ねてしまいがちである。この状態は、ペン入力コンピュ
ータのように指示する対象がシステムによる表示物であ
り、ペンで指示したディスプレイ上の座標を入力する手
段を備えている場合には問題ない。しかし、本発明によ
るユーザインタフェース手法のように、ペン先401の
付近を上から撮影した画像から指示対象を抽出する場合
には、指示対象がペン先401で隠されてしまうことは
大きな問題である。
【0042】上記のように、利用者が対象の上にペン先
401を重ねてしまった場合に対処するため、そのよう
な状態が起こったことを検出し、利用者に正しい指示方
法を教示する指し方教示手段が必要となる。
401を重ねてしまった場合に対処するため、そのよう
な状態が起こったことを検出し、利用者に正しい指示方
法を教示する指し方教示手段が必要となる。
【0043】ペン先401と指示対象が重なったこと
は、次のようにして検出できる。すなわち、対象として
抽出された領域と、ペン先401が写っているはずの領
域を比較し、両者が重なり部分を持てば、利用者が対象
とペン先401を重ねてしまったと判定すれば良い。図
16は、対象として抽出された領域1601と、ペン先
401が写り込んだもの1602が重なりあっている場
合の一例である。ちなみに、ペン先401が写り込む領
域は、ペン軸201とカメラ101の位置関係が既知で
あるため、あらかじめ求めて置くことができる。上記の
ような方法で、利用者が対象の上にペン先401を重ね
てしまったことを検出したら、本ユーザインタフェース
手法では、対象の正しい指示方法を利用者に教示するた
めの教示画面を表示する。また、連続して所定の回数、
例えば3回対象抽出に失敗した場合は、指し方教示画面
を表示するようにしても良い。
は、次のようにして検出できる。すなわち、対象として
抽出された領域と、ペン先401が写っているはずの領
域を比較し、両者が重なり部分を持てば、利用者が対象
とペン先401を重ねてしまったと判定すれば良い。図
16は、対象として抽出された領域1601と、ペン先
401が写り込んだもの1602が重なりあっている場
合の一例である。ちなみに、ペン先401が写り込む領
域は、ペン軸201とカメラ101の位置関係が既知で
あるため、あらかじめ求めて置くことができる。上記の
ような方法で、利用者が対象の上にペン先401を重ね
てしまったことを検出したら、本ユーザインタフェース
手法では、対象の正しい指示方法を利用者に教示するた
めの教示画面を表示する。また、連続して所定の回数、
例えば3回対象抽出に失敗した場合は、指し方教示画面
を表示するようにしても良い。
【0044】図17は、上記の教示画面の一例であり、
情報処理装置102のディスプレイ105に表示され
る。指し方教示画面は、利用者に、指し示したい対象を
ペン先401で隠さず、横長の対象の場合は数mm下側
を、縦長の対象の場合は数mm右横を指すように教示して
いる。
情報処理装置102のディスプレイ105に表示され
る。指し方教示画面は、利用者に、指し示したい対象を
ペン先401で隠さず、横長の対象の場合は数mm下側
を、縦長の対象の場合は数mm右横を指すように教示して
いる。
【0045】また、指し方教示画面には、後に説明する
指差補正手段を呼び出すための指差補正ボタン1701
が付いている。
指差補正手段を呼び出すための指差補正ボタン1701
が付いている。
【0046】利用者がビデオペン103で対象を指示す
る場合、その指し示し方には人によって色々な違いがあ
る。例えば横長の対象を指示する場合、対象の中心の下
側を指す利用者もいるであろうし、対象の右下を指す利
用者もいるであろう。また、対象に対するペンの角度
も、利用者によって異なる。例えば横長の対象を指示す
る場合、対象の真下から指す利用者もいるであろうし、
対象の右下から指す利用者もいるであろう。さらに、指
示対象からペン先401までの距離も、利用者によって
異なるであろう。例えば横長の対象を指示する場合、対
象の下側すれすれを指す利用者もいるであろうし、対象
の下側1cm程度の場所を指す利用者もいるであろう。
る場合、その指し示し方には人によって色々な違いがあ
る。例えば横長の対象を指示する場合、対象の中心の下
側を指す利用者もいるであろうし、対象の右下を指す利
用者もいるであろう。また、対象に対するペンの角度
も、利用者によって異なる。例えば横長の対象を指示す
る場合、対象の真下から指す利用者もいるであろうし、
対象の右下から指す利用者もいるであろう。さらに、指
示対象からペン先401までの距離も、利用者によって
異なるであろう。例えば横長の対象を指示する場合、対
象の下側すれすれを指す利用者もいるであろうし、対象
の下側1cm程度の場所を指す利用者もいるであろう。
【0047】上で述べたような、利用者による対象の指
し方の違いは、利用者が指示した対象を抽出する際のパ
ラメータに反映させなければならない。また、場合によ
っては、ビデオペン103のペン軸201とカメラ10
1の位置関係を調整する必要もあるかも知れない。そこ
で、本発明によるユーザインタフェース手法では、利用
者による指し方の違い(ここでは「指差」と呼ぶことに
する)を、あらかじめ登録するための手段を提供する。
この手段を、指差補正手段と呼ぶことにする。指差補正
手段は、本発明によるユーザインタフェース手法を初め
て起動する場合や、既に述べた指差補正ボタン1701
を押した時などに呼び出される。
し方の違いは、利用者が指示した対象を抽出する際のパ
ラメータに反映させなければならない。また、場合によ
っては、ビデオペン103のペン軸201とカメラ10
1の位置関係を調整する必要もあるかも知れない。そこ
で、本発明によるユーザインタフェース手法では、利用
者による指し方の違い(ここでは「指差」と呼ぶことに
する)を、あらかじめ登録するための手段を提供する。
この手段を、指差補正手段と呼ぶことにする。指差補正
手段は、本発明によるユーザインタフェース手法を初め
て起動する場合や、既に述べた指差補正ボタン1701
を押した時などに呼び出される。
【0048】利用者は、指差補正手段を使って、例えば
次のようにして利用者の好みを登録できる。利用者が指
差補正手段を起動すると、ディスプレイ105に図18
に示すようなメッセージが表示される。利用者はこのメ
ッセージに従い、図19に示すような指差補正シート上
の対象をビデオペン103で指示する。指差補正シート
は、単なる紙に横長の対象が印刷されているものであ
る。その対象、標準パターン1901の形状と大きさ
は、あらかじめ情報処理装置102に登録されている。
次のようにして利用者の好みを登録できる。利用者が指
差補正手段を起動すると、ディスプレイ105に図18
に示すようなメッセージが表示される。利用者はこのメ
ッセージに従い、図19に示すような指差補正シート上
の対象をビデオペン103で指示する。指差補正シート
は、単なる紙に横長の対象が印刷されているものであ
る。その対象、標準パターン1901の形状と大きさ
は、あらかじめ情報処理装置102に登録されている。
【0049】利用者が標準パターン1901をビデオペ
ン103で指示すると、入力画像として例えば図20が
得られる。情報処理装置102は、この画像を画像処理
することで、利用者が対象に対してどの辺りをペン先4
01で指示したか、指示した際のペン軸201の角度は
どれくらいのか、といった情報を読み取る。このように
して読み取られた利用者の対象指定に関する好みは、情
報処理装置102が入力画像から処理対象を抽出する際
の参考値として用いられる。
ン103で指示すると、入力画像として例えば図20が
得られる。情報処理装置102は、この画像を画像処理
することで、利用者が対象に対してどの辺りをペン先4
01で指示したか、指示した際のペン軸201の角度は
どれくらいのか、といった情報を読み取る。このように
して読み取られた利用者の対象指定に関する好みは、情
報処理装置102が入力画像から処理対象を抽出する際
の参考値として用いられる。
【0050】本実施例では、対象と利用者が指した位置
の間の距離(対象最小距離)と、ビデオペン103の傾
き(標準傾き)を、利用者の好みとして登録するものと
する。それぞれの求め方については、後に情報処理装置
102の対象抽出部について述べる際に詳しく説明す
る。
の間の距離(対象最小距離)と、ビデオペン103の傾
き(標準傾き)を、利用者の好みとして登録するものと
する。それぞれの求め方については、後に情報処理装置
102の対象抽出部について述べる際に詳しく説明す
る。
【0051】図21は、本発明を実施するための全体構
成の一例で、情報処理装置102の内構成を具体的に図
示したものである。以下で、それぞれの構成要素の動作
を説明する。
成の一例で、情報処理装置102の内構成を具体的に図
示したものである。以下で、それぞれの構成要素の動作
を説明する。
【0052】(1)ビデオペンインタフェース2101 利用者がビデオペン103で、入力したい対象を指示す
ると、ビデオペン103先端に取り付けられたペン先スイ
ッチ104がONになる。ビデオペンインタフェース2
101は、ペン先スイッチ104がONになったことを
検出すると、カメラ101からの画像を1フレーム取り
込んで、二値化部2102に渡す。二値化部2102に
渡される画像は、例えば横320ドット,縦240ドッ
ト,一画素あたり24ビットの色数をもつカラー画像で
ある。
ると、ビデオペン103先端に取り付けられたペン先スイ
ッチ104がONになる。ビデオペンインタフェース2
101は、ペン先スイッチ104がONになったことを
検出すると、カメラ101からの画像を1フレーム取り
込んで、二値化部2102に渡す。二値化部2102に
渡される画像は、例えば横320ドット,縦240ドッ
ト,一画素あたり24ビットの色数をもつカラー画像で
ある。
【0053】また、ビデオペンインタフェース2101
は、ビデオペン103に付けられた処理指定装置140
1の状態を読み込み、処理指定バッファ2103に書き
込む。処理指定バッファ2103に書き込まれるデータ
は、例えば処理指定装置1401で選ばれている芯の番号で
ある。ただし、番号が0である場合は、処理が何も指定
されていない状態であるとする。
は、ビデオペン103に付けられた処理指定装置140
1の状態を読み込み、処理指定バッファ2103に書き
込む。処理指定バッファ2103に書き込まれるデータ
は、例えば処理指定装置1401で選ばれている芯の番号で
ある。ただし、番号が0である場合は、処理が何も指定
されていない状態であるとする。
【0054】(2)二値化部2102 二値化部2102は、入力された画像を二値画像に変換
し、その結果である二値画像を対象抽出部2104に渡
す。図22は、二値化部2102から対象抽出部210
4に渡される二値画像の一例である。
し、その結果である二値画像を対象抽出部2104に渡
す。図22は、二値化部2102から対象抽出部210
4に渡される二値画像の一例である。
【0055】なお、処理指定装置1401の状態を電気
的な接点によって読み出せない構成になっている場合
は、入力画像の二値化に先立ち、芯が写っている領域の
色を調べ、それにより何色の芯が選ばれているかを判定
し、処理指定バッファ2103に選ばれていた芯の番号
を書き込む。
的な接点によって読み出せない構成になっている場合
は、入力画像の二値化に先立ち、芯が写っている領域の
色を調べ、それにより何色の芯が選ばれているかを判定
し、処理指定バッファ2103に選ばれていた芯の番号
を書き込む。
【0056】(3)対象抽出部2104 対象抽出部2104は、二値化部2102から渡された
二値画像から、処理対象を抽出する部分である。渡され
た二値画像には、対象以外に色々なものが写り込んでい
る。例えば、ペン先401も写り込んでいるし、対象の
近くに書かれていたものも写り込んでいるであろう。対
象抽出部2104の役割は、渡された二値画像から対象
だけを抜き出し、その画像を傾き補正部2105に渡す
ことである。
二値画像から、処理対象を抽出する部分である。渡され
た二値画像には、対象以外に色々なものが写り込んでい
る。例えば、ペン先401も写り込んでいるし、対象の
近くに書かれていたものも写り込んでいるであろう。対
象抽出部2104の役割は、渡された二値画像から対象
だけを抜き出し、その画像を傾き補正部2105に渡す
ことである。
【0057】利用者が対象を指し示す際の好みは、指差
補正バッファ2112に格納されている。指差補正バッ
ファ2112の内容は、例えば図23に示すような値の
組、すなわち対象最小距離2301と標準傾き2302
の組である。対象最小距離2301は、利用者が標準パ
ターン1901を指示した際に、ペン先401を対象か
らどれくらい離したかを基準にして求められる。対象最
小距離2301は、例えば図24中の線分Dの長さ(ド
ット数)と定めることができる。また、標準傾き230
2は、利用者がどれだけビデオペン103を傾けている
かを表す値であり、例えば図24中の傾きAの大きさと
定めることができる。対象最小距離2301の初期値は
例えば20、標準傾き2302の初期値は例えば0であ
る。図24の場合、対象最小距離2301は18ドッ
ト、標準傾き2302は32度である。
補正バッファ2112に格納されている。指差補正バッ
ファ2112の内容は、例えば図23に示すような値の
組、すなわち対象最小距離2301と標準傾き2302
の組である。対象最小距離2301は、利用者が標準パ
ターン1901を指示した際に、ペン先401を対象か
らどれくらい離したかを基準にして求められる。対象最
小距離2301は、例えば図24中の線分Dの長さ(ド
ット数)と定めることができる。また、標準傾き230
2は、利用者がどれだけビデオペン103を傾けている
かを表す値であり、例えば図24中の傾きAの大きさと
定めることができる。対象最小距離2301の初期値は
例えば20、標準傾き2302の初期値は例えば0であ
る。図24の場合、対象最小距離2301は18ドッ
ト、標準傾き2302は32度である。
【0058】対象抽出部2104が二値画像から対象を
抽出する処理は、図25を用いて説明する。なお、以下
の説明では、画像中の座標系は左上が原点である。ま
た、説明に出てくる定数は、CAMXが画像中でのペン
先401のX座標、CAMYは同じくY座標、Dは対象
最小距離2301である。CAMX,CAMYは、ペン
軸201とカメラ101の位置関係が既知であるため、
あらかじめ求めておける値であり、Dは上述のように指
差補正バッファ2112から読み出せる値である。
抽出する処理は、図25を用いて説明する。なお、以下
の説明では、画像中の座標系は左上が原点である。ま
た、説明に出てくる定数は、CAMXが画像中でのペン
先401のX座標、CAMYは同じくY座標、Dは対象
最小距離2301である。CAMX,CAMYは、ペン
軸201とカメラ101の位置関係が既知であるため、
あらかじめ求めておける値であり、Dは上述のように指
差補正バッファ2112から読み出せる値である。
【0059】まず対象抽出部2104は、ペン先401
の座標(CAMX,CAMY)からDだけ上の点S(C
AMX,CAMY−D)から、上に向かって対象の画素
を探して行く。すなわち、図25の中の線分Lに沿っ
て、対象の画素を探して行く。この段階で、対象に属す
ると思われる画素が一つも見つからなければ、対象抽出
は失敗である。ここで見つかった対象の画素は、対象領
域として記憶される。
の座標(CAMX,CAMY)からDだけ上の点S(C
AMX,CAMY−D)から、上に向かって対象の画素
を探して行く。すなわち、図25の中の線分Lに沿っ
て、対象の画素を探して行く。この段階で、対象に属す
ると思われる画素が一つも見つからなければ、対象抽出
は失敗である。ここで見つかった対象の画素は、対象領
域として記憶される。
【0060】次に対象抽出部2104は、対象領域の近
傍を調べ、対象領域から所定の距離以内にある画素を新
たに対象領域に取り込んで行く。所定の距離とは例えば
10ドットである。この処理に伴い、対象領域は徐々に
拡張されて行く。対象抽出部2104は、それ以上取り
込める画素がなくなった時点で、この拡張処理を終え
る。この拡張処理が終わった時点で、対象領域として記
憶されていた画素の集まりを、利用者が指示した対象で
あると判定する。
傍を調べ、対象領域から所定の距離以内にある画素を新
たに対象領域に取り込んで行く。所定の距離とは例えば
10ドットである。この処理に伴い、対象領域は徐々に
拡張されて行く。対象抽出部2104は、それ以上取り
込める画素がなくなった時点で、この拡張処理を終え
る。この拡張処理が終わった時点で、対象領域として記
憶されていた画素の集まりを、利用者が指示した対象で
あると判定する。
【0061】対象抽出部2104が対象を抽出し終えた
時点で、抽出された対象領域と、ペン先401が映り込
んでいる領域を比較し、両者が重なり部分を持つ場合
は、利用者が対象とペン先401を重ねてしまったもの
と判定できる。例えば、図16のような場合である。し
たがってこのような場合は、利用者に指し方教示画面を
提示し、正しい対象指定方法を教示する。また、対象抽
出に連続して失敗した場合にも、利用者に指し方教示画
面を提示し、正しい対象指定方法を教示する。
時点で、抽出された対象領域と、ペン先401が映り込
んでいる領域を比較し、両者が重なり部分を持つ場合
は、利用者が対象とペン先401を重ねてしまったもの
と判定できる。例えば、図16のような場合である。し
たがってこのような場合は、利用者に指し方教示画面を
提示し、正しい対象指定方法を教示する。また、対象抽
出に連続して失敗した場合にも、利用者に指し方教示画
面を提示し、正しい対象指定方法を教示する。
【0062】例えば、図22に示した二値画像に上記の
方法を適用すると、図26のようなパターンが対象とし
て抽出される。この抽出結果の画像は、傾き補正部21
05に渡される。
方法を適用すると、図26のようなパターンが対象とし
て抽出される。この抽出結果の画像は、傾き補正部21
05に渡される。
【0063】(4)傾き補正部2105 傾き補正部2105は、対象抽出部2104から渡され
た対象の画像から、対象の傾きを計算し、それを補正す
るためのものである。
た対象の画像から、対象の傾きを計算し、それを補正す
るためのものである。
【0064】まず傾き補正部2105は、受け取った対
象の主軸の傾きを計算する。図27中の角度Rが主軸の
傾きであり、この例の場合は−28度である。これは、
カメラ101で撮影された画像中での対象の傾きであ
る。
象の主軸の傾きを計算する。図27中の角度Rが主軸の
傾きであり、この例の場合は−28度である。これは、
カメラ101で撮影された画像中での対象の傾きであ
る。
【0065】次に傾き補正部2105は、上で計算した
主軸の傾きと、指差補正バッファ2112中の標準傾き
の値を元に、対象が書かれていた紙に対する対象の傾き
を計算する。この傾きのことを、以下の説明では実傾き
と呼ぶことにする。具体的には、画像中での対象の傾き
と、標準傾きの値を足しあわせたものが、実傾きとな
る。本実施例の場合は、画像中での対象の傾きが−28
度で標準傾きは32度であるから、そこから求められる
実傾きの値は4度である。
主軸の傾きと、指差補正バッファ2112中の標準傾き
の値を元に、対象が書かれていた紙に対する対象の傾き
を計算する。この傾きのことを、以下の説明では実傾き
と呼ぶことにする。具体的には、画像中での対象の傾き
と、標準傾きの値を足しあわせたものが、実傾きとな
る。本実施例の場合は、画像中での対象の傾きが−28
度で標準傾きは32度であるから、そこから求められる
実傾きの値は4度である。
【0066】実傾きが0に近い範囲、例えば−45度か
ら45度の間にある場合は、傾き補正部2105は対象
が横長であったものと判定し、画像中での主軸の傾きが
0になるように、対象の画像を回転させる。したがって
先に上げた例の場合は、画像を−28度だけ回転させる
ことになる。回転された後の対象の画像を図28に示
す。逆に、実傾きが上記以外であった場合は、傾き補正
部2105は対象が縦長であったものと判定し、画像中
での主軸の傾きが90度になるように、対象の画像を回
転させる。
ら45度の間にある場合は、傾き補正部2105は対象
が横長であったものと判定し、画像中での主軸の傾きが
0になるように、対象の画像を回転させる。したがって
先に上げた例の場合は、画像を−28度だけ回転させる
ことになる。回転された後の対象の画像を図28に示
す。逆に、実傾きが上記以外であった場合は、傾き補正
部2105は対象が縦長であったものと判定し、画像中
での主軸の傾きが90度になるように、対象の画像を回
転させる。
【0067】傾き補正部2105は、以上の処理が終わ
り、傾きが補正された対象の画像を、特徴抽出部210
6に渡す。また、傾きが補正された対象の画像を、対象
保持部に格納する。対象保持部に、画像を保持する場
合、既に保持されていた画像があれば、それは破棄され
る。
り、傾きが補正された対象の画像を、特徴抽出部210
6に渡す。また、傾きが補正された対象の画像を、対象
保持部に格納する。対象保持部に、画像を保持する場
合、既に保持されていた画像があれば、それは破棄され
る。
【0068】(5)特徴抽出部2106 特徴抽出部2106は、傾き補正部2105から送られ
てきた対象の画像から、特徴量を抽出するためのもので
ある。特徴量とは、例えば対象が含む画素数,外挿矩形
の大きさ,重心位置、などである。それらの特徴量は、
後に対象を識別するために使用される。特徴量の一例
を、図29に示す。対象画素数PIX−NUM,対象外
挿幅BOX−WIDTH,対象外挿高さBOX−HEI
GHT,重心X座標COG−X,重心Y座標COG−Y
などが特徴量を構成している。それらの値はいずれも整
数値である。
てきた対象の画像から、特徴量を抽出するためのもので
ある。特徴量とは、例えば対象が含む画素数,外挿矩形
の大きさ,重心位置、などである。それらの特徴量は、
後に対象を識別するために使用される。特徴量の一例
を、図29に示す。対象画素数PIX−NUM,対象外
挿幅BOX−WIDTH,対象外挿高さBOX−HEI
GHT,重心X座標COG−X,重心Y座標COG−Y
などが特徴量を構成している。それらの値はいずれも整
数値である。
【0069】特徴抽出部2106により抽出された特徴
量は、対象認識部2107に渡される。
量は、対象認識部2107に渡される。
【0070】(6)対象認識部2107 対象認識部2107は、特徴抽出部2106から渡され
た特徴量を使って、現在処理中の対象が既に登録されて
いるものか否かを判定する部分である。
た特徴量を使って、現在処理中の対象が既に登録されて
いるものか否かを判定する部分である。
【0071】対象認識部2107は、パターン辞書21
13に登録されている複数の特徴量と、特徴抽出部21
06から渡された特徴量を比較し、近い特徴量があるか
どうかを調べる。パターン辞書2113は、図30に示
すように、それに含まれる項目数を保持する辞書項目数
領域と、0個以上のパターン辞書項目からなる。さらに
パターン辞書項目は、特徴量を保持する特徴量領域と、
対象識別番号領域からなる。本実施例では、対象識別番
号領域に格納される対象識別番号として、自然数値
(1,2,3,…)を用いるものとする。
13に登録されている複数の特徴量と、特徴抽出部21
06から渡された特徴量を比較し、近い特徴量があるか
どうかを調べる。パターン辞書2113は、図30に示
すように、それに含まれる項目数を保持する辞書項目数
領域と、0個以上のパターン辞書項目からなる。さらに
パターン辞書項目は、特徴量を保持する特徴量領域と、
対象識別番号領域からなる。本実施例では、対象識別番
号領域に格納される対象識別番号として、自然数値
(1,2,3,…)を用いるものとする。
【0072】対象認識部2107は、パターン辞書21
13から、入力の特徴量と近い特徴量を持つパターン辞
書項目を探し出し、その項目の対象識別番号領域に格納
されていた対象識別番号を動作実行部2108に渡す。
入力の特徴量と近い特徴量を持つ登録パターンが見つか
らなかった時は、対象認識部2107は対象識別番号と
して−1を動作実行部2108に渡す。
13から、入力の特徴量と近い特徴量を持つパターン辞
書項目を探し出し、その項目の対象識別番号領域に格納
されていた対象識別番号を動作実行部2108に渡す。
入力の特徴量と近い特徴量を持つ登録パターンが見つか
らなかった時は、対象認識部2107は対象識別番号と
して−1を動作実行部2108に渡す。
【0073】(7)動作実行部 動作実行部2108は、対象認識部2107から渡され
た対象識別番号に基づき、所定の処理を実行する部分で
ある。以下で、その処理内容を説明する。
た対象識別番号に基づき、所定の処理を実行する部分で
ある。以下で、その処理内容を説明する。
【0074】対象識別番号が−1であった場合、すなわ
ち入力対象が、既に登録されたパターンではなかった場
合、動作実行部2108は、対象保持部に格納されてい
る対象画像を読み出し、それをパターンバッファ210
9に格納する。この際、パターンバッフア2109に既
に格納されていた画像があれば、新たに格納される画像
はその右側に追加されるものとする。パターンバッファ
2109に蓄積された対象パターンは、後の処理で使用
されるまで保持される。
ち入力対象が、既に登録されたパターンではなかった場
合、動作実行部2108は、対象保持部に格納されてい
る対象画像を読み出し、それをパターンバッファ210
9に格納する。この際、パターンバッフア2109に既
に格納されていた画像があれば、新たに格納される画像
はその右側に追加されるものとする。パターンバッファ
2109に蓄積された対象パターンは、後の処理で使用
されるまで保持される。
【0075】また、対象識別番号が−1であった場合、
すなわち入力対象が、既に登録されたパターンではなか
った場合、動作実行部2108は、処理指定バッファに
保持されている芯の番号を読み出す。芯の番号が0であ
った場合は何もしないが、芯の番号が0でなかった場合
は、その番号に対応する動作を実行する。芯の番号と動
作は、処理テーブルによって対応付けられている。
すなわち入力対象が、既に登録されたパターンではなか
った場合、動作実行部2108は、処理指定バッファに
保持されている芯の番号を読み出す。芯の番号が0であ
った場合は何もしないが、芯の番号が0でなかった場合
は、その番号に対応する動作を実行する。芯の番号と動
作は、処理テーブルによって対応付けられている。
【0076】処理テーブルは、図31に示すように、そ
れに含まれる項目数を保持する処理項目数領域と、0個
以上の処理指定項目からなる。処理指定項目は、芯の番
号を保持する状態領域と、その番号が設定されている時
に実行すべき動作を保持する処理指定領域からなる。動
作実行部2108は、処理指定バッファに格納されてい
る芯の番号が0でない場合、処理テーブルを使って、そ
の番号に対応する処理を調べ、それを実行する。
れに含まれる項目数を保持する処理項目数領域と、0個
以上の処理指定項目からなる。処理指定項目は、芯の番
号を保持する状態領域と、その番号が設定されている時
に実行すべき動作を保持する処理指定領域からなる。動
作実行部2108は、処理指定バッファに格納されてい
る芯の番号が0でない場合、処理テーブルを使って、そ
の番号に対応する処理を調べ、それを実行する。
【0077】一方、対象認識部2107から渡された対
象識別番号が−1で無かった場合、すなわち入力パター
ンが既に登録されているパターンであった場合、動作実
行部2108は、その対象識別番号にどのような動作が
対応付けられているかを動作テーブルを使って調べ、そ
の動作を実行する。
象識別番号が−1で無かった場合、すなわち入力パター
ンが既に登録されているパターンであった場合、動作実
行部2108は、その対象識別番号にどのような動作が
対応付けられているかを動作テーブルを使って調べ、そ
の動作を実行する。
【0078】動作テーブルは、図32に示すように、そ
れに含まれる項目数を保持する動作項目数領域と、0個
以上の動作指定項目からなる。動作指定項目は、対象識
別番号を保持する対象番号領域と、その対象が検出され
た時に実行すべき動作を保持する動作領域からなる。
れに含まれる項目数を保持する動作項目数領域と、0個
以上の動作指定項目からなる。動作指定項目は、対象識
別番号を保持する対象番号領域と、その対象が検出され
た時に実行すべき動作を保持する動作領域からなる。
【0079】動作実行部2108は、対象認識部210
7から与えられた対象識別番号と同じ番号を持つ動作指
定項目が動作テーブル中にあるか調べ、あればその動作
指定項目の動作領域を読み出して実行する。
7から与えられた対象識別番号と同じ番号を持つ動作指
定項目が動作テーブル中にあるか調べ、あればその動作
指定項目の動作領域を読み出して実行する。
【0080】動作実行部2108が実行できる動作に
は、例えばOPEN動作がある。動作実行部2108が
実行すべき動作がOPENであった場合、動作実行部2
108はまず、パターンバッファ2109に格納されて
いるパターンを、ある決められた名前のパターン画像フ
ァイル(例えば“patterns.bmp”など)に格納する。次
に、動作名OPENに続いて格納されているファイル名
またはプログラム名を参照し、そのファイルを開いたり
プログラムを起動したりする。
は、例えばOPEN動作がある。動作実行部2108が
実行すべき動作がOPENであった場合、動作実行部2
108はまず、パターンバッファ2109に格納されて
いるパターンを、ある決められた名前のパターン画像フ
ァイル(例えば“patterns.bmp”など)に格納する。次
に、動作名OPENに続いて格納されているファイル名
またはプログラム名を参照し、そのファイルを開いたり
プログラムを起動したりする。
【0081】動作実行部2108により起動されたプロ
グラムは、パターン画像ファイルを読み込んで、任意の
処理に利用することができる。例えば、パターン画像フ
ァイルに格納されている画像を、文字列とみなして文字
認識を試みたりできる。また、動作実行部2108によ
り起動されたプログラムは、情報処理装置102の任意
の機能を利用できる。例えば、情報処理装置102に組
み込まれている百科事典プログラムの機能を呼び出した
り、地図プログラムの機能を呼び出したりできる。
グラムは、パターン画像ファイルを読み込んで、任意の
処理に利用することができる。例えば、パターン画像フ
ァイルに格納されている画像を、文字列とみなして文字
認識を試みたりできる。また、動作実行部2108によ
り起動されたプログラムは、情報処理装置102の任意
の機能を利用できる。例えば、情報処理装置102に組
み込まれている百科事典プログラムの機能を呼び出した
り、地図プログラムの機能を呼び出したりできる。
【0082】上記を組み合わせれば、動作実行部210
8から起動されるプログラムとして、パターンバッファ
2109の内容を文字認識し、それを百科事典プログラ
ムに渡して調べた意味を表示させる、といったようなプ
ログラムを実現することができる。
8から起動されるプログラムとして、パターンバッファ
2109の内容を文字認識し、それを百科事典プログラ
ムに渡して調べた意味を表示させる、といったようなプ
ログラムを実現することができる。
【0083】図33は、本発明を実施するための情報処
理装置102のディスプレイ105に表示される画面の
一例である。利用者がビデオペン103で入力した画像
は、処理過程表示領域に表示される。処理過程表示領域
には、入力された画像を処理して行く過程も表示され
る。処理過程表示領域の右側は、システムメッセージ領
域である。ここには、情報処理装置102から利用者へ
のメッセージが表示される。画面の下側には、パターン
バッファ領域がある。パターンバッファ領域には、利用
者がビデオペン103で指し示した処理対象で、情報処
理装置102が一時的に保存しているものが表示され
る。
理装置102のディスプレイ105に表示される画面の
一例である。利用者がビデオペン103で入力した画像
は、処理過程表示領域に表示される。処理過程表示領域
には、入力された画像を処理して行く過程も表示され
る。処理過程表示領域の右側は、システムメッセージ領
域である。ここには、情報処理装置102から利用者へ
のメッセージが表示される。画面の下側には、パターン
バッファ領域がある。パターンバッファ領域には、利用
者がビデオペン103で指し示した処理対象で、情報処
理装置102が一時的に保存しているものが表示され
る。
【0084】図34は、印刷前に、画像と処理とを対応
付ける装置実施例のシステム構成図である。
付ける装置実施例のシステム構成図である。
【0085】文書作成手段1は、ワープロプログラム,
作図プログラム、あるいは、ホームページ作成プログラ
ムであり、文書作成モードにおいて、ユーザと対話的に
文書を作成する。例えば、これらのプログラムは、記憶
媒体(CDなど)に記憶されたり、装置に組み込まれて
用いられる。
作図プログラム、あるいは、ホームページ作成プログラ
ムであり、文書作成モードにおいて、ユーザと対話的に
文書を作成する。例えば、これらのプログラムは、記憶
媒体(CDなど)に記憶されたり、装置に組み込まれて
用いられる。
【0086】対象−処理割当指定手段2は、文書参照モ
ードで、前記文書作成手段1により作成した文書を参照
したとき、文書の一部の領域をマウスなどの入力手段7
で指し示すと、所定の処理を行うように、対象と処理を
指定し、対象−処理割当情報保持手段3に登録する。た
とえば、文書作成手段1がホームページ作成プログラム
である場合には、文書の一部の文字列や画像(=対象)
を指示すると、他のホームページの表示を行う(=処
理)ように、HTML文書を作成して、ファイルとして
対象−処理割当情報保持手段3に保存する。
ードで、前記文書作成手段1により作成した文書を参照
したとき、文書の一部の領域をマウスなどの入力手段7
で指し示すと、所定の処理を行うように、対象と処理を
指定し、対象−処理割当情報保持手段3に登録する。た
とえば、文書作成手段1がホームページ作成プログラム
である場合には、文書の一部の文字列や画像(=対象)
を指示すると、他のホームページの表示を行う(=処
理)ように、HTML文書を作成して、ファイルとして
対象−処理割当情報保持手段3に保存する。
【0087】紙メディア作成手段4は、ユーザがモニタ
ー6に表示されている“紙作成”ボタンを指示する等の
紙メディア作成コマンドを受け、紙画像−処理割当指定
手段5にメッセージを発行し、折り返し、返信メッセー
ジを受けて、返信メッセージにより文書に情報を付加す
る場合は、文書画面表示には表示されていなかった画像
を付加して、文書をプリンタ8で印刷する。
ー6に表示されている“紙作成”ボタンを指示する等の
紙メディア作成コマンドを受け、紙画像−処理割当指定
手段5にメッセージを発行し、折り返し、返信メッセー
ジを受けて、返信メッセージにより文書に情報を付加す
る場合は、文書画面表示には表示されていなかった画像
を付加して、文書をプリンタ8で印刷する。
【0088】紙画像−処理割当指定手段5は紙メディア
作成手段4よりメッセージを受けると、対象−処理割当
情報保持手段3の内容を読み出したものを、対象を印刷
画像に展開してPaperLink2110 内のパターン辞書211
3に登録し、処理の内容を処理テーブル2114,動作
テーブル2115に登録する。
作成手段4よりメッセージを受けると、対象−処理割当
情報保持手段3の内容を読み出したものを、対象を印刷
画像に展開してPaperLink2110 内のパターン辞書211
3に登録し、処理の内容を処理テーブル2114,動作
テーブル2115に登録する。
【0089】紙画像−処理割当指定手段5は、(1)対象
−処理割当情報保持手段3で処理が割り当てられている
対象を印刷、(2)印刷した対象部分の画像をカメラ付ペ
ン9で撮影して画像を取り込む、という(1)(2)の操作
をすることなしにPaperLink2110内のパターン辞書21
13に登録すべき画像データを作成する。そのために
は、(a)元の文書から、文書をプリンタ8で印刷した
ものの対象の領域部分の印刷画像への変換を行う対象−
画像変換関数、(b)印刷画像から、カメラで撮影して
読み込む画像への変換を行う印刷画像−撮影画像変換関
数をあらかじめ保持しておき、対象を(a)(b)にて
変換した画像を得て、PaperLink2110 内のパターン辞書
2113に登録する。もちろん、(a)(b)の2つの
関数を実施するのと等価な1つあるいは3つ以上の変換
関数を用いてかまわない。たとえば、サイズ,色,歪
み,コントラストなど、サイズ変換関数,色変換関数,
歪み変換関数,コントラスト変換関数を保持しておき、
用いる。
−処理割当情報保持手段3で処理が割り当てられている
対象を印刷、(2)印刷した対象部分の画像をカメラ付ペ
ン9で撮影して画像を取り込む、という(1)(2)の操作
をすることなしにPaperLink2110内のパターン辞書21
13に登録すべき画像データを作成する。そのために
は、(a)元の文書から、文書をプリンタ8で印刷した
ものの対象の領域部分の印刷画像への変換を行う対象−
画像変換関数、(b)印刷画像から、カメラで撮影して
読み込む画像への変換を行う印刷画像−撮影画像変換関
数をあらかじめ保持しておき、対象を(a)(b)にて
変換した画像を得て、PaperLink2110 内のパターン辞書
2113に登録する。もちろん、(a)(b)の2つの
関数を実施するのと等価な1つあるいは3つ以上の変換
関数を用いてかまわない。たとえば、サイズ,色,歪
み,コントラストなど、サイズ変換関数,色変換関数,
歪み変換関数,コントラスト変換関数を保持しておき、
用いる。
【0090】この変換関数の設定の仕方は、以下の様に
行うと簡単に設定できる。
行うと簡単に設定できる。
【0091】変換関数設定手段10を設け、対象と、対
象を印刷してカメラ付ペン9で撮影した画像の例を得
て、サイズ,色,歪み,コントラストに関して、差分を
計測し、1次変換等により、おのおのの変換関数を得
て、これらの変換関数を組み合わせた関数を得る。変換
関数は、個人や、使用環境により異なるため、個人補正
情報として、個人補正情報保持手段11に蓄え、この情
報にしたがって画像の変換を行うと良い。
象を印刷してカメラ付ペン9で撮影した画像の例を得
て、サイズ,色,歪み,コントラストに関して、差分を
計測し、1次変換等により、おのおのの変換関数を得
て、これらの変換関数を組み合わせた関数を得る。変換
関数は、個人や、使用環境により異なるため、個人補正
情報として、個人補正情報保持手段11に蓄え、この情
報にしたがって画像の変換を行うと良い。
【0092】紙画像−処理割当指定手段5にこうした変
換関数を保持するのと同様の効果を出すためには、カメ
ラ付ペン9で撮影した画像に対して、変換関数により変
換する画像変換手段12を設ける。変換関数は、個人
や、使用環境により異なるため、個人補正情報として、
個人補正情報保持手段11′に蓄え、この情報にしたが
って画像の変換を行うと良い。
換関数を保持するのと同様の効果を出すためには、カメ
ラ付ペン9で撮影した画像に対して、変換関数により変
換する画像変換手段12を設ける。変換関数は、個人
や、使用環境により異なるため、個人補正情報として、
個人補正情報保持手段11′に蓄え、この情報にしたが
って画像の変換を行うと良い。
【0093】歪みの補正手法および、変換関数算出手法
に関しては、特開平11−306341号,特開平11−316108
号,特開平11−316835号に詳しく開示されている。
に関しては、特開平11−306341号,特開平11−316108
号,特開平11−316835号に詳しく開示されている。
【0094】また、対象を印刷したものが、カメラで撮
影可能な範囲よりも大きい場合は、1部分のみを撮影す
るものとするか、どの部分を撮影しても、対象を特定で
きるようにする。また、警告を発し、ユーザに知らせ
る。
影可能な範囲よりも大きい場合は、1部分のみを撮影す
るものとするか、どの部分を撮影しても、対象を特定で
きるようにする。また、警告を発し、ユーザに知らせ
る。
【0095】1部分のみを撮影するものとする場合は、
対象の画像の最も下辺の中央が、画像撮影範囲の最も下
辺の中央となるようにするなど、画像撮影範囲をどこと
するか定めておく。このとき、元の文書をモニター6で
表示したときには表示に無い、目安となるしるしを印刷
画像に印刷すると良い。たとえば、図36(1)のよう
に、対象画像c1と対象文字列M1に、処理が割り当て
てある場合に、カメラで撮影できる斜線部分より大きい
対象画像c1については、(2)のように表示画面上に
は無い範囲を示す太線を印刷したり、(3)のように、
ペン押下位置を示す印を印刷する。これらは、対象がカ
メラ撮影範囲に収まっている場合でもユーザーに処理割
当があることを知らせる効果がある。また、(1)で
は、太線の色は白など任意とする。また、この表示状態
にあった、カメラ画像からマッチングする範囲を切り出
す処理を行うようにすると良い。
対象の画像の最も下辺の中央が、画像撮影範囲の最も下
辺の中央となるようにするなど、画像撮影範囲をどこと
するか定めておく。このとき、元の文書をモニター6で
表示したときには表示に無い、目安となるしるしを印刷
画像に印刷すると良い。たとえば、図36(1)のよう
に、対象画像c1と対象文字列M1に、処理が割り当て
てある場合に、カメラで撮影できる斜線部分より大きい
対象画像c1については、(2)のように表示画面上に
は無い範囲を示す太線を印刷したり、(3)のように、
ペン押下位置を示す印を印刷する。これらは、対象がカ
メラ撮影範囲に収まっている場合でもユーザーに処理割
当があることを知らせる効果がある。また、(1)で
は、太線の色は白など任意とする。また、この表示状態
にあった、カメラ画像からマッチングする範囲を切り出
す処理を行うようにすると良い。
【0096】どの部分をカメラで撮影しても、対象を特
定できるようにする場合は、画像の1部分を指定するこ
とで、対象となっている画像のどれであるかを検索す
る、テンプレートマッチング手段をPaperLink2110 に設
けることで解決できる。テンプレートマッチングとは、
テンプレートとする部分画像が、全体画像のどの部分に
相当するかを探す手法であるが、ここでは、処理が割り
当てられている対象の全体画像が複数個あるのに対し、
テンプレートマッチングを行いおのおのの全体が像に対
し一致度を得て、一致度が最も高いものを、指示したも
のとする。あるいは、一致度が高いものを候補として画
面に表示し、ユーザに選択させても良い。これにより、
図38(1)(2)のように、(1)の画像G1をマウ
スで示してクリックするなど指示すると、(2)のよう
に表示を行うよう、対象−処理割当情報保持手段3に情
報が保持されており、画像G1を印刷したものがカメラ
で撮影しうる範囲よりも大きい場合でも、(5)(6)
のように、画像G1内のどの部分をカメラで撮影して
も、画像G1を指示したことがわかり、割り当ててある
処理を実施することができる。
定できるようにする場合は、画像の1部分を指定するこ
とで、対象となっている画像のどれであるかを検索す
る、テンプレートマッチング手段をPaperLink2110 に設
けることで解決できる。テンプレートマッチングとは、
テンプレートとする部分画像が、全体画像のどの部分に
相当するかを探す手法であるが、ここでは、処理が割り
当てられている対象の全体画像が複数個あるのに対し、
テンプレートマッチングを行いおのおのの全体が像に対
し一致度を得て、一致度が最も高いものを、指示したも
のとする。あるいは、一致度が高いものを候補として画
面に表示し、ユーザに選択させても良い。これにより、
図38(1)(2)のように、(1)の画像G1をマウ
スで示してクリックするなど指示すると、(2)のよう
に表示を行うよう、対象−処理割当情報保持手段3に情
報が保持されており、画像G1を印刷したものがカメラ
で撮影しうる範囲よりも大きい場合でも、(5)(6)
のように、画像G1内のどの部分をカメラで撮影して
も、画像G1を指示したことがわかり、割り当ててある
処理を実施することができる。
【0097】テンプレートマッチング手段については、
特開平11−283032号,特開平11−282960号等に詳しく開
示されている。
特開平11−283032号,特開平11−282960号等に詳しく開
示されている。
【0098】また、対象が文字列である場合、文字認識
手段と、文字列の1部を検索キーとして入力すると、所
定の文字列の中から、検索キーの文字列をもつものを選
び出す文字列検索手段を設けることで、同様の機能を持
たせることができる。これにより、図38(1)(2)
のように、と(1)の文字列text1をマウスで示してク
リックするなど指示すると、(2)のように表示を行う
よう、対象−処理割当情報保持手段3に情報が保持され
ており、文字列text1を印刷したものがカメラで撮影し
うる範囲よりも大きい場合でも、(3)(4)のよう
に、文字列text1のどの部分をカメラで撮影しても、文
字列text1を指示したことがわかり、割り当ててある処
理を実施することができる。
手段と、文字列の1部を検索キーとして入力すると、所
定の文字列の中から、検索キーの文字列をもつものを選
び出す文字列検索手段を設けることで、同様の機能を持
たせることができる。これにより、図38(1)(2)
のように、と(1)の文字列text1をマウスで示してク
リックするなど指示すると、(2)のように表示を行う
よう、対象−処理割当情報保持手段3に情報が保持され
ており、文字列text1を印刷したものがカメラで撮影し
うる範囲よりも大きい場合でも、(3)(4)のよう
に、文字列text1のどの部分をカメラで撮影しても、文
字列text1を指示したことがわかり、割り当ててある処
理を実施することができる。
【0099】文字列検索手段については、特開平8−194
718号,特開平7−129601号等に詳しく開示されている。
718号,特開平7−129601号等に詳しく開示されている。
【0100】プリンタ8で印刷した文書をカメラ付ペン
9で指示すると、PaperLink2110 により画像−処理指定
手段2で処理が対応ついている部分については、所定の
処理が実行される。
9で指示すると、PaperLink2110 により画像−処理指定
手段2で処理が対応ついている部分については、所定の
処理が実行される。
【0101】モニター6と入力装置7は、ユーザーが出
来上がりを確認しながら、文書作成手段1や画像−処理
指定手段2と対話できるようにするためにある。
来上がりを確認しながら、文書作成手段1や画像−処理
指定手段2と対話できるようにするためにある。
【0102】図34に示した実施例以外に、文書作成手
段1と対象−処理割当指定手段2と対象−処理割当情報
保持手段3を設けずに、対象−処理割当情報保持手段3
の保持してある情報を読み込む手段を設けることによっ
ても良い。
段1と対象−処理割当指定手段2と対象−処理割当情報
保持手段3を設けずに、対象−処理割当情報保持手段3
の保持してある情報を読み込む手段を設けることによっ
ても良い。
【0103】図35は、図34に示した実施例の動作手
順を示している。P1では、紙メディア作成モードか、
終了か、そうでないかを判定する。
順を示している。P1では、紙メディア作成モードか、
終了か、そうでないかを判定する。
【0104】P1でそうでない場合は、P2にて文書作
成手段1により、文書作成を行う。また、P3にて領域
−処理割当指定手段2により、領域−処理割当指定を行
い、領域−処理割当指定の内容を領域−処理割当情報保
持手段3に登録する。P2とP3は、どちらか一方でも
良いし、順序も逆でも良く、領域−処理割当情報保持手
段3に登録することが目的のこの処理は、別の装置で行
っても良い。
成手段1により、文書作成を行う。また、P3にて領域
−処理割当指定手段2により、領域−処理割当指定を行
い、領域−処理割当指定の内容を領域−処理割当情報保
持手段3に登録する。P2とP3は、どちらか一方でも
良いし、順序も逆でも良く、領域−処理割当情報保持手
段3に登録することが目的のこの処理は、別の装置で行
っても良い。
【0105】P1で紙メディア作成モードのときは、P
4〜P6を実施する。すなわち、P4にて、紙メディア
作成手段4により紙メディア作成を行い、P5にて、紙
画像−処理割当指定手段5により紙画像−処理割当指定
を行い、P6にて印刷する。
4〜P6を実施する。すなわち、P4にて、紙メディア
作成手段4により紙メディア作成を行い、P5にて、紙
画像−処理割当指定手段5により紙画像−処理割当指定
を行い、P6にて印刷する。
【0106】P1で終了のときは、処理を終了する。
【0107】図36と図37は、紙画像−処理割当指定
手段5と紙メディア作成手段4の動作結果の1例であ
る。処理が対応付けられている画像部分がわかりやすい
ように、表示画像図36(1)には含まれていない、図3
6(2)撮影画像領域を示す太線による矩形を印刷する。
この場合、紙画像−処理割当指定手段5は、PaperLink2
110内のパターン辞書2113に登録する際に、太線に
よる矩形のついた画像を登録する。
手段5と紙メディア作成手段4の動作結果の1例であ
る。処理が対応付けられている画像部分がわかりやすい
ように、表示画像図36(1)には含まれていない、図3
6(2)撮影画像領域を示す太線による矩形を印刷する。
この場合、紙画像−処理割当指定手段5は、PaperLink2
110内のパターン辞書2113に登録する際に、太線に
よる矩形のついた画像を登録する。
【0108】あるいは、図36(3)ペン指示目安位置
を印刷する。この場合、紙画像−処理割当指定手段5
は、PaperLink2110 内のパターン辞書2113に登録す
る際に、ペン指示目安位置から、カメラで撮影できる部
分の画像を登録する。
を印刷する。この場合、紙画像−処理割当指定手段5
は、PaperLink2110 内のパターン辞書2113に登録す
る際に、ペン指示目安位置から、カメラで撮影できる部
分の画像を登録する。
【0109】あるいは、図37のようにまだ登録されて
いない画像を生成して、表示画像図37(1)には含ま
れていない、図37(2)撮影画像領域を示す画像を印
刷する。この場合、紙画像−処理割当指定手段5は、Pa
perLink2110 内のパターン辞書2113に登録する際
に、生成した画像を登録する。
いない画像を生成して、表示画像図37(1)には含ま
れていない、図37(2)撮影画像領域を示す画像を印
刷する。この場合、紙画像−処理割当指定手段5は、Pa
perLink2110 内のパターン辞書2113に登録する際
に、生成した画像を登録する。
【0110】これらの場合には、どの方式によるものか
に従い、PaperLink2110 内の各手段を最適化すると良
い。
に従い、PaperLink2110 内の各手段を最適化すると良
い。
【0111】図37(1)に示すように、警告メッセー
ジを表示することで、ユーザに警告することができる。
ジを表示することで、ユーザに警告することができる。
【0112】図39は、印刷画像をカメラで撮影した結
果、歪んだ画像を取り込んだ例である。変換関数設定手
段10または、画像変換手段12を設けることにより、
(1)のように画像とカメラが正対するように画像を撮影
して(2)のような画像を取り込むのと同様に、(3)
のように画像を撮影して、(4)や(5)のような画像
を取り込むことでも、所定の処理を実施することができ
る。
果、歪んだ画像を取り込んだ例である。変換関数設定手
段10または、画像変換手段12を設けることにより、
(1)のように画像とカメラが正対するように画像を撮影
して(2)のような画像を取り込むのと同様に、(3)
のように画像を撮影して、(4)や(5)のような画像
を取り込むことでも、所定の処理を実施することができ
る。
【0113】また、図40のように、カメラから撮影し
た画像G0に対して、元の対象物がG1〜G3のどれな
のかをユーザーに示してもらうことにより、変換関数設
定手段10または、画像変換手段12は、変換関数を設
定して、個人補正情報保持手段11または個人補正情報
保持手段11′に保持することにより、画像を認識する
性能を向上できる。
た画像G0に対して、元の対象物がG1〜G3のどれな
のかをユーザーに示してもらうことにより、変換関数設
定手段10または、画像変換手段12は、変換関数を設
定して、個人補正情報保持手段11または個人補正情報
保持手段11′に保持することにより、画像を認識する
性能を向上できる。
【0114】
【発明の効果】本発明によれば、自然な操作で対象を入
力できる。また、利用者の操作数を大幅に減らせるとい
う利点がある。さらに、利用者が誤った対象指定方法を
繰り返して混乱してしまうことを防げる。
力できる。また、利用者の操作数を大幅に減らせるとい
う利点がある。さらに、利用者が誤った対象指定方法を
繰り返して混乱してしまうことを防げる。
【図1】全体構成図である。
【図2】ビデオペンの構成図である。
【図3】上の構成図のビデオペンを上から見た図であ
る。
る。
【図4】上の構成図のビデオペンで横書き文書中の行を
撮影した画像の一例である。
撮影した画像の一例である。
【図5】上の構成図のビデオペンで縦書き文書中の行を
撮影した画像の一例である。
撮影した画像の一例である。
【図6】左利用のビデオペンの構成を、上から見た図で
ある。
ある。
【図7】カメラをずらす量を定量的に説明する図であ
る。
る。
【図8】カメラをずらす量が極端に少なくて済むペン先
形状の例である。
形状の例である。
【図9】ビデオペンの構成図である。
【図10】上の構成図のビデオペンを上から見た図(横
書き用の設定)である。
書き用の設定)である。
【図11】上の構成図のビデオペンを上から見た図(縦
書き用の設定)である。
書き用の設定)である。
【図12】横書き用の設定で、横長の対象を撮影した画
像の一例である。
像の一例である。
【図13】縦書き用の設定で、縦長の対象を撮影した画
像の一例である。
像の一例である。
【図14】処理指定装置の概観である。
【図15】誤った対象指示の一例である。
【図16】対象抽出後にペン先と対象が重なっているこ
とを検出した例である。
とを検出した例である。
【図17】指し方教示画面の一例である。
【図18】指差補正手段が表示するメッセージの一例で
ある。
ある。
【図19】指差補正のために用いるシートの一例であ
る。
る。
【図20】指差補正のために標準パターンを撮影した画
像の一例である。
像の一例である。
【図21】情報処理装置の内部構成である。
【図22】二値画像の一例横長の対象を入力した場合の
例である。
例である。
【図23】指差補正のための値の組みである。
【図24】指差補正データを説明する図である。
【図25】対象抽出を説明する図である。
【図26】抽出された対象の画像の一例である。
【図27】傾き補正を説明する図である。
【図28】傾き補正後の対象の画像の一例である。
【図29】特徴量の例である。
【図30】パターン辞書の構造の一例を示す図である。
【図31】処理テーブルの構造の一例を示す図である。
【図32】動作テーブルの構造の一例を示す図である。
【図33】情報処理装置の表示画面の一例である。
【図34】実施例の構成図である。
【図35】実施例の動作フローである。
【図36】実施例の表示画面と印刷結果の例である。
【図37】実施例の表示画面と印刷結果の例である。
【図38】実施例の表示画面と印刷結果の例である。
【図39】カメラと撮影画像の例である。
【図40】実施例の表示画面の例である。
101…カメラ、102…情報処理装置、103…ビデ
オペン、104…ペン先スイッチ、105…ディスプレ
イ。
オペン、104…ペン先スイッチ、105…ディスプレ
イ。
───────────────────────────────────────────────────── フロントページの続き (72)発明者 葛貫 壮四郎 茨城県日立市大みか町七丁目1番1号 株 式会社日立製作所日立研究所内 Fターム(参考) 5B047 AA01 BA03 BC21 5B068 AA05 BD02 BD18 CC19
Claims (7)
- 【請求項1】印刷前の文字または画像と、前記文字また
は画像を指示した際の処理とを割り当てる手段と、前記
割り当て内容を保持する、文字または画像−処理割り当
て情報保持手段と、文字または画像−処理割り当て情報
保持手段に保持した文字または画像−処理割り当て情報
を、カメラ付きペン型入力装置用の辞書に変換する紙画
像−処理割当指定手段を設けたプログラムが記憶された
記憶媒体。 - 【請求項2】請求項1の範囲において、紙画像−処理割
当指定手段は、画像がカメラで撮影される範囲よりも大
きい場合には、画像の一部のみを撮影した画像に対して
処理を指定する手段を設ける。 - 【請求項3】請求項1の範囲において、紙画像−処理割
当指定手段は、画像がカメラで撮影される範囲よりも大
きい場合には、警告する手段を設ける。 - 【請求項4】請求項2の範囲において、画像の一部のみ
を撮影した画像に対して処理を指定することとした場合
は、印刷画像のどの位置を撮影するかを示す情報を付加
して印刷する手段を設ける。 - 【請求項5】請求項1の範囲において、画像の一部を撮
影するのみで、どの画像を撮影したかを調べる手段を設
ける。 - 【請求項6】請求項1の範囲において、印刷サイズや色
や歪みを考慮して、印刷前の画像から紙画像を撮影した
画像を作成する手段を設ける。 - 【請求項7】印刷前の文字または画像と、前記文字また
は画像を指示した際の処理とを割り当てた情報を読み込
む、文字または画像−処理割り当て情報読み込み手段
と、前記文字または画像−処理割り当て情報読み込み手
段より読み込んだ文字または画像−処理割り当て情報
を、カメラ付きペン型入力装置用の辞書に変換する紙画
像−処理割当指定手段を設けたプログラムが記憶された
記憶媒体。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP34029399A JP2001155139A (ja) | 1999-11-30 | 1999-11-30 | カメラ付きペン型入力装置用記憶媒体 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP34029399A JP2001155139A (ja) | 1999-11-30 | 1999-11-30 | カメラ付きペン型入力装置用記憶媒体 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2001155139A true JP2001155139A (ja) | 2001-06-08 |
Family
ID=18335570
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP34029399A Pending JP2001155139A (ja) | 1999-11-30 | 1999-11-30 | カメラ付きペン型入力装置用記憶媒体 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2001155139A (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100655804B1 (ko) * | 2002-03-06 | 2006-12-11 | 주식회사 파이온테크놀러지 | 영상카메라를 이용한 컴퓨터용 좌표 입력장치 |
JP2007519989A (ja) * | 2003-12-18 | 2007-07-19 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | 装置の制御のための方法及びシステム |
JP2017529594A (ja) * | 2014-08-12 | 2017-10-05 | マイクロソフト テクノロジー ライセンシング,エルエルシー | 色制御を用いるスタイル |
-
1999
- 1999-11-30 JP JP34029399A patent/JP2001155139A/ja active Pending
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100655804B1 (ko) * | 2002-03-06 | 2006-12-11 | 주식회사 파이온테크놀러지 | 영상카메라를 이용한 컴퓨터용 좌표 입력장치 |
JP2007519989A (ja) * | 2003-12-18 | 2007-07-19 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | 装置の制御のための方法及びシステム |
US7869618B2 (en) | 2003-12-18 | 2011-01-11 | Koninklijke Philips Electronics N.V. | Method and system for control of a device |
JP2017529594A (ja) * | 2014-08-12 | 2017-10-05 | マイクロソフト テクノロジー ライセンシング,エルエルシー | 色制御を用いるスタイル |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3462986B2 (ja) | カメラ付きペン型入力装置 | |
KR101292925B1 (ko) | 촬상 대상물, 화상 처리 프로그램을 저장한 컴퓨터로 읽을 수 있는 기록 매체 및 화상 처리 방법 | |
GB2378073A (en) | Paper document to computer interface. | |
JP4594952B2 (ja) | 文字認識装置及び文字認識方法 | |
US11823497B2 (en) | Image processing system and an image processing method | |
WO2001003416A1 (fr) | Dispositif et procede d'elimination de bordure, et dispositif de creation | |
JPH03214378A (ja) | 文字認識装置 | |
JP2017199288A (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP2001155139A (ja) | カメラ付きペン型入力装置用記憶媒体 | |
JP4474231B2 (ja) | 文書リンク情報取得システム | |
JPH11219409A (ja) | 文書読取装置 | |
JP2000187705A (ja) | 文書読取装置および方法および記憶媒体 | |
JPH0744650A (ja) | 情報認識装置 | |
JPH11305910A (ja) | メニュー選択方法及び装置 | |
JP3186712B2 (ja) | 文書読取装置 | |
JP2010191907A (ja) | 文字入力装置および文字入力方法 | |
JP2893781B2 (ja) | 文字認識装置 | |
JPH02193278A (ja) | 画像処理装置 | |
JP3412998B2 (ja) | 画像処理装置及びその方法 | |
JP3781810B2 (ja) | 走査面の記号注釈領域のセグメント化方法 | |
KR20090077507A (ko) | 2차원 코드가 삽입된 마우스 패드 및 동작방법 | |
JPH06195519A (ja) | 文字認識装置および文字認識方法 | |
CN111722813A (zh) | 信息处理装置、记录媒体及信息处理方法 | |
JPH01292586A (ja) | 文字認識支援装置 | |
JP2004213088A (ja) | 描画入力装置、カード発行システム、描画入力方法、及びカード発行方法 |