JP3340208B2

JP3340208B2 - マルチメディア情報収集装置

Info

Publication number: JP3340208B2
Application number: JP25697593A
Authority: JP
Inventors: 勝之大橋
Original assignee: Fujitsu Ltd
Current assignee: Fujitsu Ltd
Priority date: 1993-10-14
Filing date: 1993-10-14
Publication date: 2002-11-05
Anticipated expiration: 2017-11-05
Also published as: JPH07110822A

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、マルチメディア情報を
コンピュータに入力するマルチメディア情報収集装置に
関し、特に、情報収集時に複数のメディアの情報間の関
連性を判定して記憶することにより、その後ユーザに推
定リンク情報を提示できるようにするマルチメディア情
報収集装置に関する。

【０００２】

【従来の技術】近年、マルチメディア情報機器が普及
し、収集した情報を電子化してコンピュータ等の情報機
器に取り込んで保存しておき、後ほどこの保存した情報
をマルチメディア文書として利用する機会が増えてきて
いる。

【０００３】図１７は従来のマルチメディア情報収集装
置の説明図である。図１７において、３はメモリ回路、
４はデータ記憶回路、２１はＣＰＵ、２２はシステムバ
ス、１０１はＣＣＤカメラ等の撮像装置、１０２は画像
信号処理回路、１１１はマイクロフォン、１１３はスピ
ーカ、１１２は音声信号処理回路、１２２は手書き入力
用デジタイザ１２１とＬＣＤ（液晶表示）等の平面型表
示回路５ａが一体化された入力表示一体型タブレット、
１２３は手書き入力を行うためのスタイラスペンであ
る。そして、ＣＰＵ２１は、システムバス２２でメモリ
回路３、データ記憶回路４、画像信号処理回路１０２、
音声信号処理回路１１２、入力表示一体型タブレット１
２２の手書き入力用デジタイザ１２１及び平面型表示回
路５ａとそれぞれ接続されている。

【０００４】従来写真撮影、録音、ライティング（手書
き）等のマルチメディアの情報収集を行う場合は、ま
ず、ＣＰＵ２１が予めメモリ回路３内に記憶されたプロ
グラムに従って、入力表示一体型タブレット１２２に写
真撮影、録音、ライティング（手書き）等の動作メニュ
ーの表示を行う。次に、ユーザは入力表示一体型タブレ
ット１２２上でスタイラスペン１２３を操作して動作メ
ニューの選択を行う。

【０００５】そして、ユーザがライティングメニューを
選択した場合は、スタイラスペン１２３を用いて入力表
示一体型タブレット１２２上に手書き入力を行う。これ
によりＣＰＵ２１は手書き入力用デジタイザ１２１から
その入力座標を読み取って、平面型表示回路５ａ上の対
応する位置に筆跡を表示すると共に、手書き入力された
データをデータ記憶回路４に保存する。

【０００６】ユーザが写真撮影メニューを選択した場合
は、撮像装置１０１により撮影された映像が画像信号処
理回路１０２においてデジタル信号に変換され、ＣＰＵ
２１が画像信号処理回路１０２からデジタル信号を読み
出してデータ記憶回路４に保存する。

【０００７】ユーザが録音メニューを選択した場合は、
マイクロフォン１１１から入力された音声が音声信号処
理回路１１２によりデジタル信号に変換され、ＣＰＵ２
１が音声信号処理回路１１２からデジタル信号を読み出
してデータ記憶装置４に保存する。

【０００８】上記従来のマルチメディア情報収集装置に
おいて、ユーザは、収集した情報を利用しやすくするた
め手書き入力、写真撮影、録音等の複数の関連性のある
情報間に関連性を設けること、すなわちリンクを張る操
作は、複数の情報を取り込んだ時点で行っていた。例え
ば手書き入力と写真画像とにリンクを張る場合、手書き
入力画面の一部に写真画像を張り付けるか、又は手書き
入力画面に関連する写真画像があることを示すアイコン
を設ける等の操作をスタイラスペン１２３で行ってい
た。このように、情報を取り込んだ時点で複数の情報間
にリンクを張り、取り込んだ情報を構造化していた。そ
して、このユーザが指示したリンク情報即ち構造化情報
は、取り込んだ各メディアの情報と共にデータ記憶回路
４に保存していた。

【０００９】

【発明が解決しようとする課題】上記のような従来のも
のにおいては次のような課題があった。収集した関連性
がある情報間にリンクを張ることは、収集した情報を利
用する段階において非常に便利であるが、情報の収集時
点でリンクを張る操作を行わなければならず、情報収集
時のユーザの負担が増加していた。特に一時的な情報を
収集する場合にはリンクを張るための操作で情報収集の
タイミングを逃がすことがあった。

【００１０】また、複数の情報収集後にそれぞれの情報
を読み出してリンクを張る操作を行う場合は、収集した
情報内容を忘れることがあり、うまくリンクを張れない
ことがあった。

【００１１】本発明は、このような従来の課題を解決
し、ＣＰＵが情報収集時のユーザオペレーション（操
作）から取り込んだ複数の情報間の関連性を推定し、自
動的に取り込んだ複数の情報間にリンクを張ることによ
り情報収集時のユーザ負担を軽減することを目的とす
る。

【００１２】

【課題を解決するための手段】前記目的を達成するため
本発明は次のように構成した。図１は本発明の原理説明
図であり、図１において、マルチメディア情報収集装置
をメモリ回路３と、データ記憶回路４と、表示回路５
と、関連性判定ルール記憶回路６と、情報収集操作状況
保持回路７と、推定リンク情報記憶回路８と、複数の異
なるメディアの情報入力手段であるメディアＡ情報入力
回路１１とメディアＢ情報入力回路１２とメディアＣ情
報入力回路１３と、ＣＰＵ２１とをシステムバス２２で
結合するように構成する。

【００１３】関連性判定ルール記憶回路６は、各メディ
ア間の関連性を判定するためのルールを予め記憶させて
おくものであり、例えば、メディアＣ情報入力回路１３
のデータ入力操作中にメディアＡ情報入力回路１１又は
メディアＢ情報入力回路１２のデータ入力操作を行った
場合、その時のメディアＣ情報入力回路１３のデータと
メディアＡ情報入力回路１１又はメディアＢ情報入力回
路１２のデータとは関連性があるというルールを記憶す
る。

【００１４】情報収集操作状況保持回路７は、ユーザが
行った情報収集時のユーザオペレーション状況を保持す
るものである。推定リンク情報記憶回路８は、情報収集
時のユーザオペレーション状況から複数のメディア情報
入力回路のデータ間に関連性があると推定された場合
に、その関連性を推定リンク情報として記憶するもので
ある。

【００１５】

【作用】情報収集は、複数のメディアのデータを収集す
る手段であるメディアＡ情報入力回路１１、メディアＢ
情報入力回路１２、メディアＣ情報入力回路１３により
デジタル化された各メディアからのデータをデータ記憶
回路４に記憶する。このときＣＰＵ２１は予め関連性判
定ルール記憶回路６内に記憶されている関連性判定ルー
ルに従って、情報収集操作状況保持回路７内に保持され
た情報収集時のユーザオペレーション状況を参照する。
これにより、ＣＰＵ２１は収集した複数のメディアのデ
ータ間の関連性を推定して、関連性があると推定される
場合は、推定リンク情報を推定リンク情報記憶回路８に
記憶する。

【００１６】後に、ユーザが収集した情報を参照する時
に、ＣＰＵ２１はユーザが指定した情報をデータ記憶回
路４から読み出して表示回路５に表示すると共に、推定
リンク情報記憶回路８内の推定リンク情報を調べて、ユ
ーザが指定した情報に関連する情報がある場合には、そ
の旨をユーザに表示するようにする。

【００１７】このため、ユーザは情報収集時に、収集し
た複数のメディアの情報間にリンクを張る操作を行わな
くとも、後で推定リンク情報により情報を効率良く参照
することができる。

【００１８】

【実施例】以下本発明の実施例を図２〜図１６にもとづ
き説明する。図２は本発明の一実施例構成図、図３は図
２をさらに具体化した構成図、図４〜図９は本発明の一
実施例の動作説明図、図１０〜図１６は本発明の一実施
例の処理フローチャートを示す。

【００１９】図２、図３において、３はメモリ回路、４
はデータ記憶回路、４ａはハードディスク、５ａは平面
型表示回路、６は関連性判定ルール記憶回路、７は情報
収集操作状況保持回路、８は推定リンク情報記憶回路、
２１はＣＰＵ、２２はシステムバス、１０１は撮像装
置、１０１ａはＣＣＤカメラ、１０２は画像信号処理回
路、１０２ａは画像Ａ／Ｄ変換回路、１１１はマイクロ
フォン、１１２は音声信号処理回路、１１２ａは音声Ａ
／Ｄ変換回路、１１２ｂは音声Ｄ／Ａ変換回路、１２１
は座標入力装置である手書き入力用デジタイザ、１２２
は入力表示一体型タブレット、１２３はスタイラスペン
を示す。なお、図２、図３において同一のものは同一符
号で示してある。

【００２０】図２におけるマルチメディア情報収集装置
は、撮像装置１０１からの信号処理を行う画像信号処理
回路１０２と、マイクロフォン１１１とスピーカ１１３
とが接続された音声信号処理回路１１２と、手書き入力
用デジタイザ１２１と平面型表示回路５ａを一体にした
入力表示一体型タブレット１２２と、ＣＰＵ２１と、メ
モリ回路３と、データ記憶回路４と、関連性判定ルール
記憶回路６と、情報収集操作状況保持回路７と、推定リ
ンク情報記憶回路８とをシステムバス２２で結合されて
いる。

【００２１】関連性判定ルール記憶回路６は、撮像装置
１０１、マイクロフォン１１１、手書き入力用デジタイ
ザ１２１等で収集したマルチメディアのデータ間の関連
性を推定するために予め関連性判定ルールを記憶させて
おくものである。例えば、手書き入力シートを開いてい
る最中に撮影した画像データ又は録音した音声データ
は、その手書き入力シート上の手書き入力データと関連
性があるという判定ルールを記憶する。

【００２２】情報収集操作状況保持回路７は、ユーザが
行った情報収集時のユーザオペレーション状況を保持す
る回路である。推定リンク情報記憶回路８は、収集した
マルチメディアの情報間に関連性があると推定された場
合に、関連性を推定リンク情報として記憶する回路であ
る。

【００２３】次に図２のマルチメディア情報収集動作に
ついて説明する。撮像装置１０１で撮影した画像を画像
信号処理回路１０２でデジタル化してデータ記憶回路４
に記憶し、マイクロフォン１１１で入力した音声を音声
信号処理回路１１２でデジタル化してデータ記憶回路４
に記憶し、又、手書き入力用スタイラスペン１２３によ
る手書き入力用デジタイザ１２１のデータをデータ記憶
回路４に記憶する。これらの情報収集時にＣＰＵ２１が
予め関連性判定ルール記憶回路６内に記憶された関連性
ルールを用いて、情報収集操作状況保持回路７に保持さ
れた情報収集時のユーザオペレーション状況から収集し
たデータ間の関連性を推定して、その結果を推定リンク
情報記憶回路８に記憶する。

【００２４】後に、ユーザが収集した情報を参照する時
に、ＣＰＵ２１はユーザが指定した情報をデータ記憶回
路４から読み出して入力表示一体型タブレット１２２の
平面型表示回路５ａに表示する。このとき、音声情報で
ある場合は音声信号処理回路１１２でアナログ信号に変
換した音声をスピーカ１１３で再生する。また、ＣＰＵ
２１は推定リンク情報記憶回路８内の推定リンク情報を
調べ、ユーザが参照した情報に関する推定リンク情報が
ある場合には、このことを例えば平面型表示回路５ａの
画面の一部等に表示してユーザに提示する。ユーザはこ
の表示された推定リンク情報から、スタイラスペン１２
３等の操作により情報間のリンクを確定させた後、デー
タ記憶回路４にこの確定リンク情報を記憶する。

【００２５】次に、図３に示す一実施例の具体的構成図
について説明する。図３において、ＣＣＤカメラ１０１
ａはＮＴＳＣビデオ信号を出力するものであり図２の撮
像装置１０１に対応するもの、画像Ａ／Ｄ変換回路１０
２ａはアナログビデオ信号をデジタル信号に変換するも
のであり図２の画像信号処理回路１０２に対応するも
の、ハードディスク４ａは図２のデータ記憶回路４に対
応するものであり、さらに音声Ａ／Ｄ変換回路１１２ａ
と音声Ｄ／Ａ変換回路１１２ｂとは図２の音声信号処理
回路１１２に対応するものである。

【００２６】入力表示一体型タブレット１２２は座標入
力装置である手書き入力用デジタイザ１２１と平面型表
示回路５ａが一体化されたものであり、スタイラスペン
１２３を用いて手書き入力を行うと、手書き入力用デジ
タイザ１２１からその入力座標を読み取って、平面型表
示回路５ａ上の対応する位置に筆跡と表示するものであ
る。

【００２７】関連性判定ルール記憶回路６には「手書き
入力シートを開いている最中に撮影した画像データ及び
録音した音声データは、その手書き入力シート上の手書
き入力データと関連性がある」というルールが予め記憶
されているものである。

【００２８】情報収集操作状況保持回路７は、ユーザが
行った情報収集時のユーザオペレーション状況を保持す
るものである。推定リンク情報記憶回路８は、収集した
画像データ、音声データおよび手書き入力データ間に関
連性があると推定された場合に、関連性を推定リンク情
報として記憶するものである。

【００２９】ＣＰＵ２１は、システムバス２２で画像Ａ
／Ｄ変換回路１０２ａ、音声Ａ／Ｄ変換回路１１２ａ、
音声Ｄ／Ａ変換回路１１２ｂ、入力表示一体型タブレッ
ト１２２、メモリ回路３、ハードディスク４ａ、関連性
判定ルール記憶回路６、情報収集操作状況保持回路７、
推定リンク情報記憶回路８と接続されている。

【００３０】以下、図３のマルチメディア情報収集装置
の動作を図４〜図９のサービス画面の流れに従って説明
する。図中Ａ〜Ｖは、入力表示一体型タブレット１２２
の表示画面及びその表示内容を示す。

【００３１】図４（ａ）で、まずＣＰＵ２１は予めメモ
リ回路３内に記憶されたプログラムに従って、入力表示
一体型タブレット１２２の平面型表示回路５ａの画面Ａ
上に「写真」Ｂ、「録音」Ｃ、「手書」Ｄの動作メニュ
ーを表示する。ユーザがスタイラスペン１２３で「手
書」Ｄをタッチして手書きメニューを選んだ場合は図４
（ｂ）の表示に変る。

【００３２】図４（ｂ）では、ＣＰＵ２１は、手書き入
力シートＦを表示して、手書き入力中であるユーザオペ
レーション状況を情報収集操作状況保持回路７に登録す
る。なお、手書き入力シートＦは矢印Ｅ₁又はＥ₂をス
タイラスペン１２３でタッチして前頁又は次頁に移すこ
とができる。また、この画面では「手書」Ｄのメニュー
は消去するようにしたが、例えば白黒の反転表示とする
こともできる。

【００３３】図４（ｃ）で、ユーザがスタイラスペン１
２３で手書き入力すると、ＣＰＵ２１は入力表示一体型
タブレット１２２内の手書き入力用デジタイザ１２１か
ら座標を読み取って、平面型表示回路５ａ上の対応する
位置に筆跡を表示すると共に、手書き入力されたデータ
をハードディスク４ａに記憶する。このときＣＰＵ２１
は情報収集操作状況保持回路７からユーザオペレーショ
ン状況を読み出して、関連性判定ルール記憶回路６内の
ルールに従って関連性を推定する。この場合は手書き入
力データと写真画像又は音声データとは関連性がなく推
定リンク情報記憶回路８には何も記憶しない。

【００３４】図５（ｄ）でユーザが手書き入力中にスタ
イラスペン１２３で「写真」Ｂをタッチして写真メニュ
ーを選ぶと、ＣＰＵ２１は図５（ｅ）の表示をする。図
５（ｅ）では、写真撮影用ウインドウＧを平面型表示回
路５ａの画面Ａに表示する。この時、ＣＣＤカメラ１０
１ａで撮影された画像信号は画像Ａ／Ｄ変換回路１０２
ａでデジタルデータに変換され、ＣＰＵ２１は画像Ａ／
Ｄ変換回路１０２ａからデータを読み出して平面型表示
回路５ａの写真撮影用ウインドウＧに表示すると共に、
写真撮影中であるユーザオペレーション状況を情報収集
操作状況保持回路７に登録する。ここで、ユーザがスタ
イラスペン１２３で「撮影」Ｈをタッチして撮影ボタン
を押すと、ＣＰＵ２１は画像Ａ／Ｄ変換回路１０２ａか
ら読み出した画像データをハードディスク４ａに記憶す
る。また、ＣＰＵ２１は情報収集操作状況保持回路７か
らユーザオペレーション状況を読み出して、関連性判定
ルール記憶回路６内のルールに従って関連性を推定す
る。この場合は、「手書き入力シートを開いている最中
に撮影した画像データ及び録音した音声データは、その
手書き入力シート上の手書き入力データと関連性があ
る」というルールに該当するため、ＣＰＵ２１は入力表
示一体型タブレット１２２に表示中の手書き入力用シー
トＦ上の手書きデータと撮影した画像データ間に関連性
があることを推定リンク情報記憶回路８に記憶する。そ
して、ＣＰＵ２１は写真撮影が終了したことを情報収集
操作状況保持回路７に登録して、写真撮影用ウインドウ
Ｇを閉じる。なお、図５（ｅ）の場合、「写真」Ｂのメ
ニュー表示を白黒の反転表示としたが、例えば図４
（ｂ）の「手書」Ｄのメニューのようにメニュー表示を
消去するようにすることもできる。

【００３５】図６（ｆ）のように、手書きシートＦが表
示中にスタイラスペン１２３で「録音」Ｃをタッチして
録音メニューを選ぶと、ＣＰＵ２１は図６（ｇ）の表示
をする。

【００３６】図６（ｇ）では、ＣＰＵ２１が録音用ウイ
ンドウＩを平面型表示回路５ａの画面Ａ上に表示すると
共に、録音中であるユーザオペレーション状況を情報収
集操作状況保持回路７に登録する。ここで、ユーザがス
タイラスペン１２３で「開始」Ｊをタッチし開始ボタン
を押すと、マイクロフォン１１１に入力された音声信号
は音声Ａ／Ｄ変換回路１１２ａでデジタルデータに変換
され、ＣＰＵ２１は音声Ａ／Ｄ変換回路１１２ａからデ
ータを読み出してハードディスク４ａに記憶する。

【００３７】そして、ユーザがスタイラスペン１２３で
「開始」Ｊを再度タッチして停止ボタンを押すと、ＣＰ
Ｕ２１は音声Ａ／Ｄ変換回路１１２ａからのデータの読
み出しを停止すると共に、情報収集操作状況保持回路７
からユーザオペレーション状況を読み出して、関連性判
定ルール記憶回路６内のルールに従って関連性を推定す
る。この場合は「手書き入力シートを開いている最中に
撮影した画像データ及び録音した音声データは、その手
書き入力シート上の手書き入力データと関連性がある」
というルールに該当するため、ＣＰＵ２１は表示一体型
タブレット１２２に表示中の手書き入力用シートＦ上の
手書きデータと録音した音声データ間に関連性があるこ
とを推定リンク情報記憶回路８に記憶する。

【００３８】その後、ＣＰＵ２１は情報収集操作状況保
持回路７に録音終了を登録して録音用ウインドウＩを閉
じる。次に、ユーザが収集した情報を参照する場合の説
明をする。

【００３９】図７（ｈ）のように、後でユーザがスタイ
ラスペン１２３を操作して収集した手書き入力シートＦ
の表示を指定すると、ＣＰＵ２１は手書き入力シートＦ
をハードディスク４ａから読み出して表示すると共に、
推定リンク情報記憶回路８内のリンク情報を調べる。ユ
ーザはスタイラスペンで矢印Ｅ₁又はＥ₂をタッチして
手書き入力シートＦをサーチする。

【００４０】ユーザが指定した手書き入力シートに推定
リンク情報がある場合は、図７（ｉ）の表示をする。図
７（ｉ）では、表示された手書き入力シートＦに関連す
る推定リンク情報Ｋである撮影した写真の画像情報と録
音した音声情報があることをユーザに表示する。

【００４１】図７（ｊ）でユーザがスタイラスペン１２
３で「写真」Ｌをタッチして、推定リンク情報Ｋの画像
を選ぶと、ＣＰＵ２１は図８（ｋ）の表示をする。図８
（ｋ）では、写真撮影した画像をその日付、時間と共に
画像データウインドウ上に表示する。ユーザがスタイラ
スペン１２３でリンク実行である「はい」Ｏをタッチす
ると、ＣＰＵ２１は図８（ｌ）の表示をする。画像デー
タウインドウ上の上下の矢印Ｑ₁、Ｑ₂は写真撮影した
画像が複数ある場合にスタイラスペン１２３でこれをタ
ッチして所定の画像のサーチを行うことができる。

【００４２】図８（ｌ）で、ＣＰＵ２１は平面型表示回
路５ａの表示中の手書きシートＦのページに画像情報の
アイコンである「写真」Ｒを張り付け、ハードディスク
４ａ内に確定したリンク情報を保存する。そしてＣＰＵ
２１はこの図８（ｌ）の画面を一時表示した後次の図９
（ｍ）の画面を表示する。

【００４３】図９（ｍ）は、表示された手書き入力シー
トＦに関連する推定リンク情報Ｋである録音した音声情
報があることをユーザに指示する。ユーザがスタイラス
ペン１２３で「音声」Ｍをタッチして、推定リンク情報
Ｋの音声を選ぶと、ＣＰＵ２１は図９（ｎ）の音声デー
タを表示する。

【００４４】図９（ｎ）では、推定リンク情報Ｋで指定
した音声データとして録音した日付と時間を表示する。
ユーザがスタイラスペン１２３で音声データウインドウ
上の「再生」Ｓをタッチしてこの音声データの再生ボタ
ンを押すと、ＣＰＵ２１は音声データを音声Ｄ／Ａ変換
回路１１２ｂに送り、スピーカ１１３で音声を再生す
る。また、ユーザがスタイラスペン１２３で音声データ
ウインドウ上の「名前」Ｔをタッチして名前ボタンを押
すと、ユーザは手書き文字認識によってこの音声データ
に名前を付けることができる。さらに、ユーザがスタイ
ラスペン１２３でリンク実行である「はい」Ｏを選択す
ると、ＣＰＵ２１は図９（ｏ）の表示をする。なお、音
声データウインドウ上の上下の矢印Ｑ₁、Ｑ₂は録音し
た音声データが複数ある場合にスタイラスペン１２３で
これをタッチして所定の音声データをサーチすることが
できる。

【００４５】図９（ｏ）では、ＣＰＵ２１は平面型表示
回路５ａに表示中の手書きシートＦのページに音声情報
のアイコンである「音声」Ｖを張り付け、ハードディス
ク４ａ内に確定したリンク情報を保存する。

【００４６】なお、図７（ｊ）、図９（ｍ）で、ＣＰＵ
２１がユーザの指定した情報に関連する推定リンク情報
Ｋがある旨をユーザに提示した後、ユーザがスタイラス
ペン１２３で「無視」Ｎを選択した場合は、ＣＰＵ２１
は推定リンク情報記憶回路８内からユーザに提示した推
定リンク情報Ｋを消去する。

【００４７】また、画像と音声のアイコンである「写
真」Ｒと「音声」Ｖの表示位置はユーザがスタイラスペ
ン１２３を操作して変更することができる。さらに、こ
の確定したリンク情報をユーザが参照する場合は、スタ
イラスペン１２３で「写真」Ｒか「音声」Ｖのアイコン
をタッチして行う。

【００４８】次に、図１０〜図１６により本発明の一実
施例の動作をフローチャートで説明する。図中、Ｓ１〜
Ｓ４９はそれぞれ処理ステップを示す。図１０は図５
（ｄ）の写真メニューを選ぶ時の処理に対応している。

【００４９】ユーザが手書き入力中に「写真」Ｂをスタ
イラスペン１２３でタッチして写真メニューを選ぶとこ
の処理が開始する。まず、ＣＰＵ２１は情報収集操作状
況保持回路７に写真撮影中であるというユーザオペレー
ション状況を記録する（Ｓ１）。

【００５０】そしてＣＰＵ２１は写真撮影用ウインドウ
Ｇを表示する（Ｓ２）。ついで、ＣＰＵ２１は画像Ａ／
Ｄ変換回路１０２ａからデータを読み出して写真撮影用
ウインドウＧ上にモニター画面の表示を開始して（Ｓ
３）この処理を終了する。

【００５１】図１１は、図５（ｅ）の撮影ボタンを押し
た時の処理に対応している。写真撮影用ウインドウＧ上
の「撮影」Ｈをスタイラスペン１２３でタッチして撮影
ボタンを押すとこの処理が開始する。

【００５２】まず、ＣＰＵ２１は前記ステップ（Ｓ３）
のモニター画面の表示を停止する（Ｓ４）。ついで、Ｃ
ＰＵは前記表示を停止したモニター画面の写真データを
ハードディスク４ａに記憶する（Ｓ５）。

【００５３】次に、ＣＰＵ２１は情報収集操作状況保持
回路７から各メディアであるＣＣＤカメラ１０１ａ、マ
イクロフォン１１１、手書き入力用デジタイザ１２１の
情報収集状態であるユーザオペレーション状況を読み出
す（Ｓ６）。

【００５４】ついで、ＣＰＵ２１は関連性ルール判定回
路６から判定ルールを読み出す（Ｓ７）。次に、ＣＰＵ
２１は前記読み出した関連性ルール判定回路６の判定ル
ールと前記情報収集操作状況保持回路７のユーザオペレ
ーション状況から、関連性を判定してメモリ回路３に記
憶する（Ｓ８）。

【００５５】ついで、ＣＰＵ２１はメモリ回路３を調
べ、関連性が記憶されている場合（Ｓ９）は、その関連
性情報を推定リンク情報として推定リンク情報記憶回路
８に記憶し（Ｓ１０）、メモリ回路３に関連性が記憶さ
れていない場合は推定リンク情報記憶回路８には何も記
憶しない。

【００５６】次に、ＣＰＵ２１は情報収集操作状況保持
回路７に写真撮影が終了したことを記録する（Ｓ１
１）。その後、ＣＰＵ２１は写真撮影用ウインドウＧを
消去して（Ｓ１２）撮影ボタンを押した時の処理を終了
する。

【００５７】図１２は、前記ステップ（Ｓ８）の関連性
判定処理の一例である撮影した写真の関連性判定処理を
示す。まず、撮影ボタンが押されてこの関連性判定処理
が開始すると、ＣＰＵ２１は情報収集操作状況保持回路
７からユーザオペレーション状況を読み出して、手書き
入力シートＦの記入面は開かれているかどうかを判断す
る（Ｓ１３）。

【００５８】前記手書き入力シートＦの記入面が開かれ
ている場合は、関連性ルール判定回路６からの判定ルー
ルに該当するため、現在開いている手書き入力シートＦ
面上の手書きメモと撮影した写真画像とは関連性がある
ことになる。

【００５９】ＣＰＵ２１はこの関連性情報をメモリ回路
３に記憶する（Ｓ１４）。前記手書き入力シートＦの記
入面が開かれていない場合は、前記関連性はないためメ
モリ回路３には何も記憶しない。

【００６０】その後、ＣＰＵ２１は次の関連性判定処理
を行うかまたは次の関連性判定処理がない場合は処理を
終了する（Ｓ１５）。図１３は、図６（ｆ）の録音メニ
ューを選ぶ時の処理に対応している。

【００６１】ユーザが手書き入力中に「録音」Ｃをスタ
イラスペン１２３でタッチして録音メニューを選ぶとこ
の処理が開始する。まず、ＣＰＵ２１は情報収集操作状
況保持回路７に録音中であるというユーザオペレーショ
ン状況を記録する（Ｓ１６）。

【００６２】そして、ＣＰＵ２１は録音用ウインドウＩ
を表示する（Ｓ１７）。ついで、ＣＰＵ２１は録音用ウ
インドウＩ上に録音レベルメータの表示を開始（Ｓ１
８）してこの処理を終了する。

【００６３】図１４は、図６（ｇ）の録音ボタンを押し
た時の処理に対応している。録音用ウインドウＩ上の
「開始」Ｊをユーザがスタイラスペン１２３でタッチし
て録音ボタンを押すとこの処理が開始する。

【００６４】マイクロフォン１１１で入力された音声信
号は音声Ａ／Ｄ変換回路１１２ａでデジタルデータに変
換され、ＣＰＵ２１はこの音声Ａ／Ｄ変換回路１１２ａ
からデジタル音声データを読み出してハードディスク４
ａに記憶する（Ｓ１９）。

【００６５】ユーザがスタイラスペン１２３で「開始」
Ｊを再度タッチして録音停止ボタンを押すまでＣＰＵ２
１は前記音声Ａ／Ｄ変換回路１１２ａからの音声データ
をハードディスク４ａに記憶し、録音停止ボタンを押す
とＣＰＵ２１は前記音声Ａ／Ｄ変換回路１１２ａからの
音声データをハードディスク４ａに記憶することを停止
する（Ｓ２０）。

【００６６】次に、ＣＰＵ２１は情報収集操作状況保持
回路７から各メディアであるＣＣＤカメラ１０１ａ、マ
イクロフォン１１１、手書き入力用デジタイザ１２１の
情報収集状態であるユーザオペレーション状況を読み出
す（Ｓ２１）。

【００６７】ついで、ＣＰＵ２１は関連性ルール判定回
路６から判定ルールを読み出す（Ｓ２２）。次に、ＣＰ
Ｕ２１は前記読み出した関連性判定回路６の判定ルール
と前記情報収集操作状況保持回路７のユーザオペレーシ
ョン状況から、関連性を判定してメモリ回路３に記憶す
る（Ｓ２３）。

【００６８】ついで、ＣＰＵ２１はメモリ回路３を調
べ、関連性が記憶されている場合（Ｓ２４）は、その関
連性情報を推定リンク情報として推定リンク情報記憶回
路８に記憶し（Ｓ２５）、メモリ回路３に関連性が記憶
されていない場合は推定リンク情報記憶回路８には何も
記憶しない。

【００６９】次に、ＣＰＵ２１は情報収集操作状況保持
回路７に録音が終了したことを記録する（Ｓ２６）。そ
の後、ＣＰＵ２１は録音用ウインドウＩを消去して（Ｓ
２７）録音ボタンを押した時の処理を終了する。

【００７０】図１５は、前記ステップ（Ｓ２３）の関連
性判定処理の一例である録音した音声の関連性判定処理
を示す。まず、録音停止ボタンが押されてこの関連性処
理が開始すると、ＣＰＵ２１は情報収集操作状況保持回
路７からユーザオペレーション状況を読み出して、手書
き入力シートＦの記入面は開かれているかどうかを判断
する（Ｓ２８）。

【００７１】前記手書き入力シートＦの記入面が開かれ
ている場合は、関連性ルール判定回路６からの判定ルー
ルに該当するため、現在開いている手書き入力シートＦ
面上の手書きメモと録音した音声とは関連性があること
になる。ＣＰＵ２１はこの関連性情報をメモリ回路３に
記憶する（Ｓ２９）。前記手書き入力シートＦの記入面
が開かれていない場合は、前記関連性はないためメモリ
回路３には何も記憶しない。

【００７２】その後、ＣＰＵ２１は次の関連性判定処理
を行うかまたは次の関連性判定処理がない場合は処理を
終了（Ｓ３０）。次に、図１６によりユーザが収集した
情報を参照する場合のフローチャートを説明する。

【００７３】図１６は、図７（ｉ）〜図９（ｏ）の収集
した情報を参照する場合における手書きページの表示処
理に対応している。ユーザがスタイラスペン１２３を操
作して例えば図４（ａ）の動作メニュー画面から手書き
を選択して図４（ｂ）の手書き入力シートＦを表示し、
次にユーザが手書き入力シートＦ上の矢印Ｅ₁又はＥ₂
で前に収集した手書き入力シートＦの表示を指定するこ
とでこの処理が開始する。

【００７４】まず、ＣＰＵ２１はユーザが指定した手書
きページデータをハードディスク４ａから読み出して
（Ｓ３１）手書き入力シートＦ上に前記読み出した手書
きページデータを表示する（Ｓ３２）。

【００７５】次に、ＣＰＵ２１は推定リンク情報記憶回
路８から推定リンク情報を読み出す（Ｓ３３）。ＣＰＵ
２１は前記読み出した推定リンク情報に前記手書きペー
ジデータと関連するデータがあるかどうかを判断する
（Ｓ３４）。

【００７６】前記手書きページデータと関連するデータ
がある場合ＣＰＵ２１は図７（ｉ）のようなメッセージ
を表示する（Ｓ３５）。ついで、ユーザが図７（ｊ）の
ようにスタイラスペン１２３で「写真」Ｌをタッチして
写真のリンク処理を選択する（Ｓ３６）とＣＰＵ２１は
ハードディスク４ａから推定リンク情報である写真デー
タを読み出して図８（ｋ）のように写真用リンク処理ウ
インドウに表示する（Ｓ３９）。

【００７７】次に、ユーザが前記写真用リンク処理ウイ
ンドウ上でリンク実行を行うかどうか指示する（Ｓ４
０）。ユーザがリンク実行を指示すると、ＣＰＵ２１は
この手書きページデータと写真データの推定リンク情報
を確定リンク情報としてハードディスク４ａに記憶する
（Ｓ４１）。

【００７８】ついで、ＣＰＵ２１は図８（ｌ）のように
手書きシートＦの手書きページに写真アイコンを表示す
る（Ｓ４２）。次に前記ステップ（Ｓ４２）で写真アイ
コン表示をした場合又は、ステップ（Ｓ４０）でリンク
実行を行わない場合、ＣＰＵ２１は推定リンク情報記憶
回路８内からこの手書きページデータと写真データの推
定リンク情報を削除する（Ｓ４３）。

【００７９】さらにＣＰＵ２１は推定リンク情報記憶回
路８にこの手書きページと関連する情報がまだあるかど
うかを調べる（Ｓ４９）。前記関連する情報がまだある
場合は、ステップ（Ｓ３５）に戻り、図８（ｍ）のよう
なメッセージを表示する（Ｓ３５）。

【００８０】次に、ユーザが図９（ｍ）のようにスタイ
ラスペン１２３で「音声」Ｍをタッチして音声のリンク
処理を選択する（Ｓ３７）とＣＰＵ２１はハードディス
ク４ａから推定リンク情報である音声データを読み出し
て図９（ｎ）のように音声用リンク処理ウインドウに表
示する（Ｓ４４）。

【００８１】次に、ユーザが前記音声用リンク処理ウイ
ンドウ上でリンク実行を行うかどうかを指示する（Ｓ４
５）。ここでユーザがリンク実行を指示すると、ＣＰＵ
２１はこの手書きデータと音声データのリンク情報を確
定リンク情報としてハードディスク４ａに記憶する（Ｓ
４６）。

【００８２】ついで、ＣＰＵ２１は図９（ｏ）のように
手書きシートＦの手書きページに音声アイコンを表示す
る（Ｓ４７）。次に、前記ステップ（Ｓ４７）で音声ア
イコン表示をした場合又はステップ（Ｓ４５）でリンク
実行を行わない場合、ＣＰＵ２１は推定リンク情報記憶
回路８内からこの手書きページデータと音声データの推
定リンク情報を削除して（Ｓ４８）次のステップ（Ｓ４
９）に進む。

【００８３】ステップ（Ｓ４９）でＣＰＵ２１はさらに
推定リンク情報記憶回路８にこの手書きページと関連す
る情報がまだあるかどうかを調べる。そして関連する情
報がない場合はこの処理を終了する。

【００８４】また、前記ステップ（Ｓ３４）で手書きペ
ージデータと関連するデータがない場合又は、ユーザが
ステップ（Ｓ３６）とステップ（Ｓ３７）とで写真およ
び音声のリンク処理を行わないでＣＰＵが推定リンク情
報記憶回路８内の推定リンク情報を削除（Ｓ３８）した
場合はこの処理を終了する。

【００８５】以上、本発明の一実施例について述べた
が、本発明は収集する情報は前記メディアに限らず例え
ばキーボード入力、通信データ入力等を設けることがで
き、また、関連性判定ルールは前記ルールに限定される
ものではなくユーザが適宜設けることができる。

【００８６】

【発明の効果】本発明によれば、ＣＰＵが情報収集時の
ユーザオペレーションから、取り込んだ複数のメディア
の情報間の関連性を推定し、自動的に取り込んだ複数の
メディアの情報間にリンクを張り、情報の構造化を行う
ことができるため、情報収集時のユーザの負担を軽減す
ることができる。

【００８７】また、後ほど収集した情報を利用する場
合、本装置が推定した取り込んだ複数のメディアの情報
間の推定リンク情報により情報を効率よく利用すること
ができる。

【図面の簡単な説明】

【図１】本発明の原理説明図である。

【図２】本発明の一実施例構成図である。

【図３】本発明の一実施例の具体的構成図である。

【図４】本発明の一実施例の動作説明図（その１）であ
る。

【図５】本発明の一実施例の動作説明図（その２）であ
る。

【図６】本発明の一実施例の動作説明図（その３）であ
る。

【図７】本発明の一実施例の動作説明図（その４）であ
る。

【図８】本発明の一実施例の動作説明図（その５）であ
る。

【図９】本発明の一実施例の動作説明図（その６）であ
る。

【図１０】本発明の一実施例における写真メニューが選
ばれた時の処理フローチャートである。

【図１１】本発明の一実施例における撮影ボタンが押さ
れた時の処理フローチャートである。

【図１２】本発明の一実施例における撮影した写真の関
連性判定処理フローチャートである。

【図１３】本発明の一実施例における録音メニューが選
ばれた時の処理フローチャートである。

【図１４】本発明の一実施例における録音ボタンが押さ
れた時の処理フローチャートである。

【図１５】本発明の一実施例における録音した音声の関
連性判定処理フローチャートである。

【図１６】本発明の一実施例における手書きページの表
示処理フローチャートである。

【図１７】従来例の説明図である。

【符号の説明】

３メモリ回路４データ記憶回路５表示回路６関連性判定ルール記憶回路７情報収集操作状況保持回路８推定リンク情報記憶回路１１メディアＡ情報入力回路１２メディアＢ情報入力回路１３メディアＣ情報入力回路２１ＣＰＵ２２システムバス

フロントページの続き (58)調査した分野(Int.Cl.⁷，ＤＢ名) G06F 17/30 G06F 12/00 ＪＩＣＳＴファイル（ＪＯＩＳ)

Claims

(57)【特許請求の範囲】

【請求項１】複数のメディアのデータを収集する情報
入力手段と、収集したデータを記憶するデータ記憶手段とを備えたマ
ルチメディア情報収集装置において、データ収集時のユーザオペレーションを記憶する情報収
集操作状況保持手段（７）と、前記ユーザオペレーションから複数のメディアのデータ
間の関連性を推定するルールを保持する関連性判定手段
（６）と、前記複数のメディアのデータ間の関連性を前記ルールに
もとづき推定した結果を記憶する推定リンク情報記憶手
段（８）とを具備することを特徴とするマルチメディア
情報収集装置。
【請求項２】平面型表示回路（５ａ）と手書き入力を
行う座標入力装置（１２１）とを一体化した入力表示一
体型タブレット（１２２）と、撮像装置（１０１）と、前記撮像装置で撮像した画像信号をデジタル信号に変換
する画像信号処理回路（１０２）と、前記座標入力装置及び前記撮像装置からの入力データを
記憶するデータ記憶回路（４）とを備えたマルチメディ
ア情報収集装置において、前記入力データ時のユーザオペレーションを記憶する情
報収集操作状況保持回路（７）と、前記ユーザオペレーションから前記座標入力装置と前記
撮像装置からの入力データ間の関連性を推定するルール
を保持する関連性判定手段（６）と、前記座標入力装置と前記撮像装置の入力データ間の関連
性を前記ルールにもとづき推定した結果を記憶する推定
リンク情報記憶回路（８）とを具備することを特徴とす
るマルチメディア情報収集装置。
【請求項３】平面型表示回路（５ａ）と手書き入力を
行う座標入力装置（１２１）とを一体化した入力表示一
体型タブレット（１２２）と、撮像装置（１０１）と、前記撮像装置で撮像した画像信号をデジタル信号に変換
する画像信号処理回路（１０２）と、音声を入力するマイクロフォン（１１１）と、前記マイクロフォンの音声信号をデジタル信号に変換す
る音声信号処理回路（１１２）と、前記座標入力装置、前記撮像装置及び前記マイクロフォ
ンからの入力データを記憶するデータ記憶回路（４）を
備えたマルチメディア情報収集装置において、前記入力データ時のユーザオペレーションを記憶する情
報収集操作状況保持回路（７）と、前記ユーザオペレーションから前記座標入力装置、前記
撮像装置及び前記マイクロフォンからの入力データ間の
関連性を推定するルールを保持する関連性判定手段
（６）と、前記座標入力装置、前記撮像装置及び前記マイクロフォ
ンからの入力データ間の関連性を前記ルールにもとづき
推定した結果を記憶する推定リンク情報記憶回路（８）
とを具備することを特徴とするマルチメディア情報収集
装置。