JPH05303619A - 電子スクラップブック - Google Patents

Abstract

(57)【要約】 【目的】 本発明は、紙上の文字列・図・写真を電子的
に取り込み、取り込んだデータの一部または全てを記録
し、編集と再利用することを目的とする。 【構成】 入力手段（２０）で電子的に取り込んだイメ
ージデータを文字・図・写真等に領域分離手段（２１）
で領域分離する。文字列の領域は、文字認識手段（２
２）でコードに変換し、訂正手段（２３）で誤認識され
たコードを修正する。編集手段（２４）で一部あるいは
全てについて再利用と編集を行ったのち、保存手段（２
５）で文字列の部分についてはコードを記録し、その他
の部分についてはイメージデータを記録する。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】 本発明は、文字・図・写真を含
む文書画像を、電子化したイメージデータとして取り込
み、文字の領域は文字認識処理を行い、図と写真の領域
は２値化処理をした後に、編集を行うことによって、デ
ータベース作成と表示を行う電子スクラップブックに関
する。

【０００２】

【従来の技術】従来より、印刷された１つあるいは複数
の書類の必要な部分をはさみ等で切取り、それを糊等で
貼り付けて保存するスクラップブックがある。また、手
書きまたは印刷された書類を電子化したイメージデータ
として記録する光ファイリングシステムが開発されてい
る。

【０００３】

【発明が解決しようとする課題】ところで、従来のスク
ラップブックでは、切り貼りに手間がかかるうえ、スク
ラップするデータの文章の一部を変更したり、同じデー
タをもう一度別のスクラップデータとして切り貼りする
ことができなかった。

【０００４】また、光ファイリングシステムでは、編集
するイメージデータの文章を変更することはできなかっ
た。

【０００５】そこで本発明は、イメージデータを電子的
に処理することによって、スクラップの手間を少なくし
て、さらに同じデータの複数回数の利用を可能にする。
また、文字領域のデータは文字認識処理により、文字を
コード化することによって、文字データの変更を可能に
するものである。

【０００６】

【課題を解決するための手段】手書きまたは印刷された
文字・図・写真を含むイメージデータを入力する画像入
力手段と、前記画像入力手段で入力されたイメージデー
タを文字領域と図領域と写真領域に領域分離する領域分
離手段と、前記領域分離手段で文字領域に分離されたイ
メージデータを特定の文字と認識する文字認識手段と、
前記認識手段で誤認識された文字を訂正する訂正手段
と、前記訂正手段で訂正した文字のデータと図と写真の
イメージデータの一部あるいは全てを編集する編集手段
を備えていることを特徴とする電子スクラップブック。

【０００７】

【実施例】

（実施例１）以下、本発明の一実施例を添付図面を用い
て説明する。図１は、本発明の電子スクラップブックの
ブロック構成図である。各処理を制御するＣＰＵ１０
と、文字・図・写真を含む文書画像を画素毎のイメージ
データに変換して入力する画像入力手段である画像入力
モジュール２０と、画像入力モジュール２０の制御下で
動作するイメージスキャナ等の画像入力装置５０と、イ
メージを文字領域と写真領域と図領域に領域分離する領
域分離手段である領域分離モジュール２１と、イメージ
データを特定の文字と認識する文字認識手段である文字
認識モジュール２２と、誤認識された文字を訂正する訂
正手段である訂正モジュール２３と、文字列を編集する
編集モジュール２４と、データの保存を行う保存モジュ
ール２５と各処理モジュールが動作を行う際に一時的に
使用するＲＡＭ３０と、外部の装置とデータのやり取り
を行う通信装置４０と、各処理モジュールが動作するの
に必要な情報と処理済みのデータを記録するハードディ
スク、光磁気ディスク、フロッピーディスク、磁気テー
プ、ＩＣメモリカード等の外部記憶装置５１と、イメー
ジデータまたは認識後の文字データの表示及び指示入力
兼用のタブレット装置５２（後述）を備えている。図２
は、タブレット装置５２の概略図である。ＣＲＴ装置と
同様に、タブレット入力端子５２０２からの電気信号に
よってイメージデータを表示兼指示入力画面５２０１に
表示する（図２（ａ））。さらに、専用の電子ペン５２
０４で表示兼指示入力画面をなぞると、電子ペンの軌跡
を電気信号に変えて出力端子５２０３から外部出力する
（図２（ｂ））。

【０００８】次に、本実施例の処理内容について図３を
用いて説明する。本実施例の電子スクラップブックの処
理は、画像入力モジュールによる処理対象のイメージデ
ータを取り込みを行うイメージデータ入力処理２０００
と、領域分離モジュールによる取り込んだイメージデー
タを文字領域と写真領域と図領域に分離する領域分離処
理２１００と、文字領域の文字切り出しと文字認識を行
う文字認識モジュールによるイメージデータの文字認識
処理２２００と、訂正モジュールによる文字認識で誤認
識したデータの訂正訂正処理２３００と、訂正が終了し
た文字データの配置変更及び文字変更と写真領域と図領
域の配置変更を行う編集モジュールによる編集処理２４
００と、領域分離後のイメージデータ及び編集されたデ
ータの保存を行う保存モジュールによる保存処理２５０
０から構成されている。

【０００９】まず、イメージデータ入力処理２０００に
ついて説明する。イメージデータ入力処理は、オペレー
タによる画像入力装置５０を用いた読み込みによって行
われる。具体的には、オペレータがＣＰＵ１０の制御下
で画像入力モジュール２０を起動させ、手書き文書ある
いは雑誌等の印刷物を画像入力装置５０を使用して２値
のイメージデータとして読み取る。

【００１０】次に、領域分離処理２１００について図４
と図５を用いて説明する。図４は、領域分離の様子を表
した模式図である。領域分離モジュールは、図４（ａ）
のイメージデータを、図４（ｂ）のように文字領域と図
領域と写真領域に分離する。領域分離を行うと、１つの
イメージデータは文字・図・写真といった複数のイメー
ジデータに分離され、各々のイメージデータには、いず
れの領域かを示す領域分離フラグが付加される。なお、
領域分離終了後は、文字列・図・写真の各々の領域を色
や種類の異なる線で囲むと、正確に領域分離が終了した
かが一目でわかる。

【００１１】領域分離処理は、イメージデータを入力し
た後、ＣＰＵ１０が入力モジュールから領域分離モジュ
ール２１に処理を移すことで行われる。領域分離は、Ｃ
ＰＵの制御下で、オペレータが電子ペン５２０４でタブ
レット装置５２の表示兼指示入力画面５２０１に領域分
離の境界を書き込むことによって、領域分離モジュール
に領域分割の情報を伝える。図５は、領域分離処理の動
作例である。表示兼指示入力画面５２０１にイメージデ
ータを表示させ（図５（ａ））、文字の領域を電子ペン
５２０４で囲み（図５（ｂ））、電子ペン５２０４を用
いて、囲った領域が文字列であることをメニュー２１０
１から選択する（図５（ｃ））。図や写真を囲んだ場合
には、メニューから図や写真を選択する。

【００１２】次に、文字認識処理２２００について説明
する。文字認識処理は、ＣＰＵ１０の制御下で文字認識
モジュール２２を起動し、文字列を１字毎に切り出した
のち、１つの文字毎に特徴量を抽出して外部記憶装置５
１に記録してある特徴量と比較し、最も特徴量が類似し
ている文字を選択することで行う。文字認識の手法とし
ては、パターンの全体的な観測により入力パターンと記
憶装置に記録してある参照パターンを照合し、両者の類
似性から認識文字を決定するパターンマッチング法を用
いることができる。あるいは、パターンの局所的な観測
とこれに基づく判定を積み重ねて、部分から全体を判断
する構造解析法等を用いても実現できる。パターンの観
測手段には、何を用いてもよい。

【００１３】また、文字認識では、記憶装置に記録され
ている辞書と最も特徴量が似ているものを１位の認識結
果とし、２番目に特徴量が似ているものを２位、以下同
様に３位・・・ｎ位の認識結果とする。認識された文字
は、例えばＪＩＳコードなどにコード化され、認識結果
として外部記憶装置５１に記録される。文字認識が終了
すると、表示兼指示入力画面５２０１に１位の認識結果
が表示される。

【００１４】次に、訂正処理２３００について図６を用
いて説明する。訂正処理は、ＣＰＵ１０の制御下で訂正
モジュール２３を起動させ、オペレータの文字認識処理
２３００の認識結果の確認後に訂正指示入力によって行
う。訂正処理では、文字認識処理が終了した認識結果を
表示兼指示入力画面５２０１に表示し（２３０１）、オ
ペレータが、表示された全ての文字列が正しく認識され
ているかを確認する。そして、誤認識された文字を発見
して、電子ペン５２０４で表示兼指示入力画面５２０１
上の誤認識された文字を指すと（２３０２）、文字認識
の際に２位、３位・・・ｎ位となった認識結果を表示す
る（２３０３）。オペレータは、表示されて認識結果の
中に正しい文字が存在するか否かを確認する（２３０
４）。正しい文字が存在する場合は、その文字を電子ペ
ンで選択する（２３０５）と目的の文字に修正される
（２３１２）。ｎ位までの認識結果に正しい文字が含ま
れていなかった場合には、”手書き入力”を選択する
（２３０６）と手書きの文字入力画面となる（２３０
７）ので、電子ペンで文字を書き込み、この文字を認識
させる（２３０８）。オペレータは、正しく入力できた
か否かを確認し（２３０９）、正しく入力できたとき
は、”決定”を選択する（２３１０）と文字が入れ替わ
り処理が終了する（２３１２）。認識結果が目的の文字
でないときには、”クリヤ”を選択してもう一度手書き
入力を行う（２３１１）。

【００１５】図７に実際の訂正処理中の表示例を示す。
図７は、訂正処理を行っているときの表示兼指示入力画
面５２０１である。図７（ａ）は、文字認識処理の処理
結果を表示している。図７（ａ）では、”し”が”ま”
に誤認識されているので、図７（ｂ）のように電子ペン
５２０４で誤認識されている”ま”を指示すると、図７
（ｃ）のようにメニューが開く。このメニューには、２
位からｎ位までの認識結果と”手書き入力”が表示され
る。図７（ｃ）のように正しい文字がメニューに含まれ
ているときは、電子ペンによって、その文字もしくはそ
の文字が表示されている番号を指示すると、図７（ｄ）
のように誤認識された文字と入れ替わり訂正が終了す
る。図７（ｃ）のメニューにおいて正しい文字が含まれ
ていない場合には、”手書き入力”を電子ペンで指示す
ると図７（ｅ）のように手書き文字認識のメニューが開
く。このメニューには、手書き文字用の枠があるので、
この枠内に正しい文字を電子ペンで書き込み、”認識”
を指示して書き込んだ枠内の文字を文字認識させる。正
しく文字認識できた場合は、”決定”を電子ペンで指示
すると図７（ｄ）のように訂正処理が終了する。誤って
文字認識した場合は、”クリヤ”を選択して、もう一度
手書き入力を行う。

【００１６】手書き文字認識には、概略的な解を求めて
からそれに修正を加えて徐々に真の解を求める弛緩法マ
ッチングを用いた、山本和彦：”弛緩整合法による手書
き教育漢字認識”、信学論（Ｄ）、ｖｏｌ．Ｊ６５−
Ｄ、ｐｐ．３５１−３５８（１９８２）、あるいは、も
ともと音声認識用として開発されたＤＰマッチング（迫
江博昭、千葉成美：”動的計画法を利用した時間正規化
にもとずく連続単語認識”、日本音響学会誌、ｖｏｌ．
２７、ｐｐ．４８３−４９０（１９７１））を文字認識
に応用した手法、あるいは、ニューラルネットを応用し
た、今井勝次、郷原一寿、内川嘉樹：”３層ＢＰモデル
を用いたノイズのある原画像に対する手書き文字認
識”、信学論（Ｄ−ＩＩ）、ｖｏｌ．Ｊ７５−Ｄ−Ｉ
Ｉ、ｐｐ．３１４−３２３（１９９２）などをあげるこ
とができるが、どのような手法を用いてもよい。

【００１７】手書き入力した訂正文字の認識を正確に行
わせるために、入力をアルファベットやカタカナに限定
することによって認識させる文字種類を少なくしてもよ
い。このとき、現在日本語ワードプロセッサに使用され
ている平仮名漢字変換等の手法を用いると所望の漢字を
得ることができる。また、文字認識処理において、１位
の認識結果のみを用いるｎ＝１の場合には、訂正方法は
常に手書き文字認識となる。

【００１８】誤認識訂正処理には手書き文字認識を用い
たが、タブレットにキーボードを表示させ、電子ペンで
訂正文字を選択してもよい。このとき、タブレットにす
べての漢字を表示させることはできないので、入力をア
ルファベットやカタカナに限定し、仮名漢字変換を用い
て漢字を得る。

【００１９】次に、編集処理２４００について図８を用
いて説明する。編集処理では、領域分離処理で分離され
た文字列・図・写真の配置の変更と文字列の変更をおこ
なう。まず、配置の変更について説明する。図８（ａ）
は、タブレット装置５２の表示兼指示入力画面５２０１
に表示された認識済みの文字と写真の例である。各々の
領域を囲む線は、領域分離処理で作成された境界線であ
る。電子ペン５２０４で変更したい領域を囲む線上を指
すと、その領域が移動可能になるので、電子ペンで領域
を囲む線を移動させ、領域を目的の場所に移す（図８
（ｂ））。移動させた結果２つの領域が重なる場合は、
最後に移動させた領域を優先して表示させる。また、同
様のことを別の領域についても行う（図８（ｃ））。次
に、文字列の変更について説明する。文字列を変更した
いときは、文字の部分を電子ペンで指定して消したり、
訂正の手段と同様に電子ペンでタブレット上に文字を書
いて文字認識させることにより、文字を消去したり、新
たに加えることができる。このように、文字認識を行っ
て文字をコード化するので、文字データを変更して、新
たな文章を作成することが可能である。編集処理を終了
すると、編集したデータが外部記憶装置５１に記録され
る。

【００２０】次に、保存処理２５００について説明す
る。保存処理では、領域分離後のイメージデータ及び編
集処理で編集したデータを外部記憶装置５１に保存す
る。領域分離後の保存処理では、オペレータが保存処理
を指示したときに、文字領域と写真領域と図領域のイメ
ージデータを保存する。編集終了後の保存では、文字領
域のデータは文字認識処理と訂正処理によってコード化
されたデータを保存し、写真領域と図領域はイメージデ
ータを保存する。イメージデータは、ファクシミリの符
号化方式であるＭＲ符号化、ＭＭＲ符号化、あるいは、
エントロピー符号化などを用いてデータ圧縮したものを
保存してもよい。また、領域分離後のデータは、編集終
了後と比較して必要度が少ないので、領域分離後のデー
タを保存するときには、オペレータが指示をすることに
よって保存する。

【００２１】次に、本発明の電子スクラップブックの外
観図を図９を用いて説明する。スキャナ６１は画像入力
装置５０に相当する。プリンタ出力端子６２と画像入力
端子６３と通信端子６４は通信装置４０の制御下で動作
する。プリンタ出力端子６１はプリンタなどの印刷装置
と接続して編集結果を紙に印刷する。画像入力端子６２
は、イメージスキャナ等と接続して、電子スクラップブ
ック搭載のイメージスキャナ６１では読み込めない大き
いイメージデータ等を読み込むことができるほか、イメ
ージデータを記録してある外部記憶装置に接続してイメ
ージデータの読み込みも行う。通信端子６４は、コンピ
ュータやワードプロセッサなどにつなげてデータの転送
を行う。

【００２２】本実施例では、編集処理は一つのイメージ
データ内での編集を説明したが、複数のイメージデータ
を読み込んでタブレット装置に表示させ、表示させたイ
メージデータ間の移動をおこなえば、複数のイメージデ
ータの情報を自由に編集できる。このとき、外部記憶装
置装置５０から処理済みのデータを読み込めば、過去の
データとの編集ができる。また、通信端子６４を用いて
他の装置から処理済みのデータを読み込み、それを編集
することも可能である。さらに、通信端子６４を用いて
本発明の電子スクラップブックに記録してあるデータを
コンピュータ、ワードプロセッサに出力して、そのデー
タをオペレータが作成するデータの一部として利用する
ことができる。

【００２３】本実施例では、各処理は、専用のモジュー
ルを用いて行ったが、各処理をＲＯＭを用いて行わせる
ほか、処理用のＲＡＭを用意して外部記憶装置から動作
内容をＲＡＭに読み込ませて処理を行わせてもよい。

【００２４】（実施例２）実施例１において、領域分離
処理を自動で行う場合について図１０を用いて説明す
る。領域分離処理は、イメージデータを入力した後、Ｃ
ＰＵ１０が入力モジュールから領域分離モジュール２１
に処理を移すことで行われる。領域分離の手段として
は、例えば、秋山照雄、”周辺分布、線密度、外接矩形
特徴を用いた文書画像からの領域抽出”、ＮＴＴ研究実
用化報告、Ｖｏｌ．３７、Ｎｏ．８、ｐｐ．４０９−４
１６（１９８８）等を利用することができる。図１０
は、この自動領域分離手法の流れ図である。入力された
イメージデータの１文字外接矩形を生成し（２１０
３）、 ａ）同一の大きさの外接矩形の出現頻度が高くかつ外接
矩形が小さい場合には（２１０４）、文字列であると判
定する（２１０５）。

【００２５】文字列であると判定されなかった場合に
は、１外接矩形中の線密度を測定し（２１０６）、 ｂ）外接矩形の縦横比が異常でかつ線密度が小さい場合
は（２１０７）、罫線である（２１０８） ｃ）外接矩形が大でかつ線密度が大の場合は（２１０
９、２１１０）、図表である（２１１１） ｄ）外接矩形が大でかつ線密度が小の場合は（２１０
９、２１１０）、見出しである（２１１２）といった判
断をくりかえして、イメージデータの領域を分離する。

【００２６】領域分離処理は、自動領域分離処理と手動
領域分離処理の２つのモードを用意しておき、オペレー
タが選択できるようにしてもよい。

【００２７】（実施例３）実施例１または２において、
タブレット装置ではなく、ＣＲＴとキーボードとマウス
を用いる場合について図１０を用いて説明する。

【００２８】図１０では、図１のブロック構成図のタブ
レット装置５２をＣＲＴ装置５３と指示入力装置５４
（キーボード、マウス）に置き換えている。タブレット
装置５２の表示はＣＲＴ装置５３の表示で行う。実施例
１において、電子ペンで行っていた操作はマウスもしく
はキーボードを使用して行う。メニュー２２０１・２３
０１・２３０２の選択は、マウスのクリックを押したと
き有効にする。

【００２９】訂正処理は、手書き文字認識のみでなく、
キーボードからの打ち込み入力も行えるようにする。こ
のとき、漢字を得たいときは、仮名漢字変換を用いれば
よい。編集処理においても、変更したい文字は、手書き
文字認識のみでなく、キーボードからの打ち込みを行え
るようにする。

【００３０】

【発明の効果】以上のように本発明によれば、文字領域
のイメージデータを文字コードとして取り扱うので、文
字領域のデータ変更ができ、文字領域の一部分を他の文
章に貼り付けることも可能である。また、コード化した
文字データからキーワードを抜き出すことによって、編
集したイメージデータのデータベースの自動作成がで
き、このキーワードを用いてイメージデータの検索がで
きる。文字領域のデータがコード化されているので、翻
訳器に直接データを送ることができる。このとき、別の
言葉に翻訳された文章を、再び本発明の電子スクラップ
ブックに取り込んで、図と写真のデータを併せれば、文
章のみ別の言葉に変更されたデータを作ることができ
る。

【００３１】文字領域は、コードのみを記録するので、
全てのデータをイメージデータとして記録するときと比
較してデータ量を削減できる。したがって、外部記憶装
置の小型化ができるほか、データの転送を高速に行うこ
とができる。

【図面の簡単な説明】

【図１】 本実施例のブロック構成図。

【図２】 タブレットの概略図。

【図３】 本実施例の処理のフローチャート。

【図４】 領域分離処理の説明図。

【図５】 手動の領域分離処理の説明図。

【図６】 訂正処理のフローチャート。

【図７】 訂正処理の説明図。

【図８】 編集処理の説明図。

【図９】 電子スクラップブックの外観図。

【図１０】 自動の領域分離処理のフローチャート。

【図１１】 電子スクラップブックのブロック構成図。

【符号の説明】

１０ ＣＰＵ ２０ 画像入力モジュール ２１ 領域分離モジュール ２２ 文字認識モジュール ２３ 訂正モジュール ２４ 編集モジュール ２５ 保存モジュール ３０ ＲＡＭ装置 ４０ 通信装置 ５０ 画像入力装置 ５１ 外部記憶装置 ５２ タブレット装置 ５３ ＣＲＴ装置 ５４ 指示入力装置（キーボード、マウス） ６０ 電子スクラップブック ６１ イメージスキャナ ６２ プリンタ出力端子 ６３ 画像入力端子 ６４ 通信端子 ６５ プリンタ ６６ イメージスキャナ ６７ コンピュータ・ワードプロセッサ等 ２０００ 画像入力処理 ２１００ 領域分離処理 ２１０１ 領域分離のメニュー ２２００ 文字認識処理 ２３００ 訂正処理 ２３１３ 訂正処理のメニュー ２３１４ 手書き入力のメニュー ２４００ 編集処理 ２５００ 保存処理 ５２０１ 表示兼指示入力画面 ５２０２ タブレット入力端子 ５２０３ タブレット出力端子 ５２０４ 電子ペン

Claims (4)

【特許請求の範囲】
1. 【請求項１】 文字・図・写真を含む文書画像を画素毎
   のイメージデータに変換して入力する画像入力手段と、 前記画像入力手段で入力されたイメージデータを文字領
   域と図領域と写真領域に領域分離する領域分離手段と、 前記領域分離手段で文字領域に分離されたイメージデー
   タの文字を切り出し特定の文字と認識する文字認識手段
   と、 前記文字認識手段で誤認識された文字を訂正する訂正手
   段と、 前記訂正手段で訂正した文字のデータと図と写真のイメ
   ージデータを表示装置と指示入力装置を使用してオペレ
   ータの指示により編集する編集手段と，前記領域分離で
   領域分離されたデータ及び前記編集手段で編集したデー
   タを保存する保存手段を備えていることを特徴とする電
   子スクラップブック。
2. 【請求項２】 前記領域分離手段において、表示装置と
   指示入力装置を使用して、領域分離をオペレータの指示
   により行うことを特徴とする請求項１記載の電子スクラ
   ップブック。
3. 【請求項３】 前記領域分離手段において、前記イメー
   ジデータから特徴抽出することにより、領域分離を自動
   的に行うことを特徴とする請求項１記載の電子スクラッ
   プブック。
4. 【請求項４】 前記訂正手段において、訂正にオペレー
   タによる手書き訂正を備えていることを特徴とする請求
   項１記載の電子スクラップブック。