JPH03122773A

JPH03122773A - 画像形成装置

Info

Publication number: JPH03122773A
Application number: JP1258899A
Authority: JP
Inventors: Junichi Ota; 太田　準一
Original assignee: Ricoh Co Ltd
Current assignee: Ricoh Co Ltd
Priority date: 1989-10-05
Filing date: 1989-10-05
Publication date: 1991-05-24
Anticipated expiration: 2014-08-03
Also published as: JP2930612B2; US5111514A

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】〔産業上の利用分野〕本発明は、デジタル複写機、ファクシミリ、ワードプロ
セッサなどの画像形成装置に係り、特に文字情報の切り
出し１文字認識１図形認識に特徴のある画像形成装置に
関する。

〔従来の技術〕

従来のデジタル複写機には画像を認識する機能が無かっ
たので、手書きを含む罫線等の線画と文章が書かれた原
稿から、手書きの線を奇麗に（直線は直線らしく、円は
円らしく）書き直したいと言った場合、手書きの下書き
原稿を基に定規を使って原稿を書き直さなければならな
かった。

また、ワードプロセッサで、キーボードから再入力して
、あるいは漢字のＯＣＲ（光学的文字認識）装置を用い
て、原稿を作成し直す方法が知られている。

〔発明が解決しようとする課題〕

上記従来技術においては、原稿作成に要する時間がかか
り、また奇麗な原稿が作成できなかった。

また、キーボードで再入力する方法は時間と労力がかか
り、また漢字ＯＣＲは現状では未だ認識率が余り良くな
いので訂正処理が厄介となるという問題があった。

本発明の目的は、手書き原稿を自動的に修正して出力す
ることができる画像形成装置を提供することにある。

〔課題を解決するための手段〕

上記目的は、原稿を光学的に読み取り、それを光電変換
して２値の画像データを得る原稿読み取り手段と、原稿
読み取り手段により得られた２値の画像データを保持す
る第一の記憶手段と、第一の記憶手段中の文字画像を１
文字ずつ切り出し、文字画像の大きさ２分布から文字列
を抽出する文字列抽出手段と、文字列抽出手段で抽出し
た文字情報から、文字の大きさや間隔が揃い、また文字
列が水平または垂直方向の近い方に整列するように、文
字画像を拡大、縮小、移動する文字整列手段と、出力画
像を保持する第二の記憶手段と、第二の記憶手段に書き
込まれた出力画像を転写紙に像形成して出力する出力手
段とを備えることにより達成される。

〔作用〕

手書きの文章原稿中の手書き文字を整列したり、大きさ
を揃えたりすることにより、見栄えのよい原稿に変換し
てから出力する。

〔実施例〕

以下、本発明の実施例を図面を参照して説明する。

第１図は本発明による画像形成装置の一実施例の第１の
実施例の制御ブロック図であって、■は原稿読み取り手
段、２は第一の記憶手段、３は輪郭追跡手段、４は文字
／図形判別手段、５は文字列抽出手段、６は文字整列手
段、７はベクトル化手段、８はベクトル修正手段、９は
画像合成手段、１０は第二の記憶手段、１１は出力手段
である。

第２図は文字／図形混在原稿の説明図であって、このよ
うな原稿を図示しないデジタル複写機の原稿設置台にセ
ットしてコピー開始ボタンを押すと、原稿読み取り手段
１は原稿を光学的に読み取り、２値のデジタルデータに
変換した後、第一の記憶手段２中に入力画像データとし
て格納する。次に輪郭線追跡手段３により、第一の記憶
手段２中の入力画像データ中の連結している黒画素集合
の輪郭を追跡し、その輪郭の主走査方向、副走査方向の
最小値と長さを求める。これが黒画素集合を囲む最小の
長方形となる。その次に文字／図形判別手段４により、
その長方形の大きさから入力画像データ中の黒画素集合
が文字画像なのか、あるいは図形画像なのかを判定する
。文字画像の場合は、文字列抽出手段５により、その最
小の長方形の分布から文字列を推定し、平均文字幅、高
さ９間隔を算出した後、文字整列手段６により、文字幅
高さ１間隔が均一になるように、各文字画像の拡大・縮
小率、移動量を計算する。

また、図形の場合はベクトル化手段７により、その線画
像とベクトルで近似した後、ベクトル修正手段８により
、ベクトルの方向と予め設定された整列方向（例えば水
平・垂直方向）との角度誤差の小さい方向に修正する。

画像合成手段９は、ベクトル修正手段８で修正したベク
トルデータを第二の記憶手段１０中に作画すると共に、
文字整列手段６で算出した各文字画像の拡大・縮小率、
移動量を基に、文字画像データを第二の記憶手段１０中
に書き込む。最後に出力手段１１は、第二の記憶手段１
０中の出力画像データを読み出して転写紙に作像し、排
出する。

第３図は、画像処理結果の説明図であって、以上の処理
により、この図に示すような出力結果が得られる。

なお、第２図、第３図中の長方形枠は、文字画像の大き
さ１位置が分かり易いように付加したものである。

ここで、現在メモリ装置がコスト高であるため、第一の
記憶手段２と第二の記憶手段１０とを同一のメモリ装置
により構成することも可能である。

また本発明の機能を実行するに当たり、予め実行領域を
タブレットやマーカ等で指定することにより、原稿中の
一部だけを処理することも可能となる。あるいは文字／
図形判別手段で判別した文字画像を整列処理し、図形画
像はそのまま合成して出力するとか、文字画像だけを出
力するとかといったモードも設定可能である。

次に、第１図に示す各手段における動作を個別に説明す
る。

（１）輪郭線追跡方法まず、入力画像をラスク走査し、追跡を開始する黒画素
を捜す。次にその追跡開始画素から外側の輪郭線の場合
には反時計回りに、内側の輪郭線の場合には時計回りに
輪郭画素を追跡し、再び追跡開始画素に戻ったら、１つ
の黒画素集合の輪郭線追跡が終了したことになる。

以上の処理を、まだ追跡が終了していない輪郭画素が無
くなるまで繰り返す。

第４図、第５図は輪郭線追跡方法の説明図であって、第
４図は１つの黒画素集合の輪郭線を追跡した例で、輪郭
線の方向としては第５図に示すような０〜７の方向とし
たものである。

まず、第４図のようにラスク走査３０し、追跡開始画素
を捜す。追跡開始画素が（ｉ＋１．ｊ）の位置に見つか
り、ラスク走査時の１つ前の画素が白画素なので外側輪
郭線と判断して、この位置より反時計回りに追跡を開始
する。次に、第５図中耕号４の方向から反時計回りに近
傍画素を調べ、最初に見つかった黒画素の方向を輪郭線
の方向とする。その次に、追跡中心画素をその黒画素に
移動し、（前回の輪郭線の方向−２）の方向から反時計
回りに近傍画素を調べ、これを追跡開始画素にたどり着
くまで繰り返す。この結果、第４図の矢印群３１で示す
ような輪郭線の追跡が行えた。

第６図は輪郭データの説明図で、上記追跡結果のうち、
外側の輪郭線追跡の場合だけを輪郭データとして記憶手
段に格納する。輪郭データは第６図に示すように、輪郭
座標の最小値と最大値をとって、開始位置く最小値）と
長さく最大値−最小値）で構成されている。第６図の１
行目に示したものは第４図に示す輪郭線追跡結果である
。

（２）文字／図形判定方法輪郭線追跡の結果として得られた輪郭データのうち、Ｘ
方向（主走査方向）、Ｙ方向（副走査方向）の大きさ（
第６図参照）により、その輪郭線の内側の画像がノイズ
なのか、文字なのか、或いは図形なのかを判定する。

第７図は文字／図形判定方法の処理フローチャートであ
って、予めノイズ画像の大きさの上限、文字画像の大き
さの上限を決めておき、それぞれＬｌ、Ｌ２とすると、
同図のフローに示すように、長さＸ、Ｙが共にＬｌより
小さい場合（７−１でＹＥＳ）をノイズ画像、長さＸ、
Ｙが共にＬｌより太きく　　（７−１でＮｏ）、Ｌ２よ
り小さい場合（７−２でＹＥＳ）を文字画像、それ以外
（７−２でＮｏ）を図形画像と判定する。

第８図は輪郭データの内容の説明図であって、画像判定
データはこの判定結果をコード化して、同図のデータエ
リアに示すように第６図の輪郭データの順番に登録する
。

ここで、上記のＬＬ、Ｌ２は変倍率に応じて変化させな
いと、変倍読み取り時の正確な画像判定ができないので
、Ｌ１’＝ＬＩＸＲＬ２’＝Ｌ２ＸＲ（Ｒは変倍率）という計算を行い、判定時にＬｌ、Ｌ２の代わりにＬｌ
’、Ｌ２’を用いる。

（３）文字列抽出方法第９図、第１０図は文字列抽出方法の説明図であって、
文字列の推定方法としては、例えば第９図に示すように
、ある文字画像の外枠矩形の中心を原点とし、その原点
とその近傍の文字画像の外枠矩形中心との距離を求め、
その距離の短い方向を文字列の方向と仮定し、原点を移
動する（第９図■）。

次に、この原点とその近傍の文字画像の外枠矩形中心と
の距離を求め、その距離の短い方向に原点を移動する（
第９図■）。

以上の処理を文字の中心間の距離の差が予め設定したし
きい値より大きくなった場合、または文字列の方向が変
化した場合に文字列の終わりと判断する。その結果、第
１０図の例のように文字列を抽出できる。さらに１つの
文字列中の文字の高さ３幅２間隔の平均値を求め、文字
列中の文字配列が整うように、各文字画像の縦倍率、横
倍率。

移動量を算出する。このとき、文字幅が狭い文字（例え
ば数字の１）や、文字高さが低い文字（例えば記号の−
）、縦横共に小さい文字（例えばカナの小文字）は平均
値の算出に含めない。

（４）文字整列方法第１１図は文字整列結果の説明図であって、上記のよう
に文字列抽出手段５で算出した各文字画像の縦、横の変
倍率、移動量を基に、各文字画像を整列する。

第１０図に示すような文字列を整列し直した結果を第１
１図に示す。このように、手書きの文字原稿でも文字の
大きさや間隔を揃えることにより、見栄えのよい原稿に
変換することができる。

（５）ベクトル化方法第１２図はベクトル化方法の説明図であって、２値の線
図形画像のベクトル化の方法としては、例えば電子通信
学会論文誌１９８５年４月Ｖｏｌ。

Ｊ６８−Ｄ　　Ｎｏ、４　（Ｐ、８４５〜８５２）や、
特開昭６２−２８６１７７号公報に記載されているよう
な、線図形画像の両側の輪郭線を追跡しつつその中心線
を求め、これを折れ線ベクトルとして近似表現する方法
がある。第１２図の（ａｌから（ｂｌへの変換がベクト
ル化の例である。

（６）ベクトル修正方法第１２図の（ｂｌから（Ｃ）への変換例に示すように、
角度の差または距離の差が小さいベクトルを１つのベク
トルに統合することにより、手書きによる線の振れを吸
収して直線に変換することができる。

（７）文字整列時のエラー処理第１３図は文字整列時の説明図であって、同図（ａ）に
示すように、整列処理により配置し直した文字画像が図
形画像に重なった場合は、同図（ｂｌに示すように、文
字間隔を小さくして並び変えるか、あるいは同図（Ｃ１
に示すように、重なった文字を次の行の先頭に移動し、
次の行を１文字ずつ右にずらすことにより対処できる。

文字画像が印字領域外に移動された場合も同じ処理で対
処可能である。

（８）画像圧縮現段階ではメモリ装置がコスト高であるため、少ないメ
モリで本発明の機能を実現することが望ましい。

そこで、まず、その１番目の方法としては、原稿読み取
りの際、縮小して入力し、処理後、拡大して出力する方
法がある。この方法だと入力から出力までの間の処理に
おける演算回数も減るので、処理時間も短くなるが、文
字画像の品質が劣化するという問題がある。

また、２番目の方法として、原稿を読み取った後、入力
画像データを圧縮し、処理後に復元してから出力する方
法がある。圧縮、復元の方法としては、ファクシミリ等
で使用されているＭＨ法などでも可能であるが、黒画素
の情報のみが必要ということから、黒画素のラン・レン
グスを用いて圧縮、復元する例を説明する。

第１４図は黒画素のデータ構造の説明図であって、副走
査方向（Ｙ方向）位置、主走査方向（Ｘ方向）開始位置
、走査方向終了位置のデータからなり、ラスク走査順に
データが登録されている。

入力画像が圧縮されたデータ構造となっているため、上
記の輪郭線追跡方法は使用できず、以下のような方法と
なる。

第１５図は圧縮画像の輪郭線追跡の説明図であって、 ■、圧縮された画像データを副走査方向に順に調べて、
まだ追跡していない黒画素開始点を捜す。

■、その開始点からＹの正方向く副走査のライン数が増
加する方向）に、まだ追跡していない黒画素開始点を捜
す。

■、■で同じ副走査列の前の黒画素列の黒画素終了点の
方が、次の副走査列の黒画素開始点より近（にある場合
は、同じ副走査列の前の黒画素列の黒画素終了点に進み
、今度はその点からＹの負方向に黒画素終了点を捜す。

■、まだ追跡していない黒画素開始点が見つからなかっ
た場合は、その黒画素列の黒画素終了点に進み、そこか
ら今度はＹの負方向に黒画素終了点を捜す。

■、■又は■で同じ副走査列の次の黒画素列の黒画素開
始点の方が、次の副走査列の黒画素終了点より近くにあ
る場合は、同じ副走査列の次の黒画素列の黒画素開始点
に進み、今度はその点からＹの正方向に黒画素開始点を
捜す。

■、上記■〜■を繰り返し、■の追跡開始点に戻ったら
、１つの輪郭ループの追跡が終了したことになる。再び
■に戻って次の追跡開始点を捜す。

■、上記■〜■を繰り返し、まだ追跡していない再画素
開始点がなくなったら、処理を終了する。

この方法は前記の輪郭線追跡方法に比べ、黒画素の開始
点と終了点のみを調べるので処理時間が速く、また第１
４図に示すデータ構造に黒画素のランの識別フラグを設
け、１つの輪郭ループの追跡毎に画像判定を行って判定
結果の識別コードを上記識別フラグに記入することによ
り、出力画像用のメモリが不要になると共に、隣接画像
の分離が正確にできる。

また、文字画像の移動、変倍は、まず１つの文字画検分
のラン・レングスデータを抽出した後、移動ｉ１　（ｘ
ｍ、ｙｍ）　、変倍率（ｘ　ｒ、　　ｙ　ｒ）、文字画
像の外接矩形枠の左上位置（ｘ　ｃ　ｓ、　　ｙ　ｃｓ
）、枠の大きさ（ｚＣｌ、ｙｃｉり、黒ランの開始位置
（ｘｓ、ｙｓ）　、長さ（ｘＡ）とすると、移動・変倍
後の黒ランの開始位置（ｘｓ’、ｙｓ′）、長さ（ｘＡ
’）は、ｘｓ’＝　（ｘｓ−ｘｃｓ）Ｘｘｒ＋　（ｘｃｓ＋ｘｍ
）ｙｓ’＝　（ｙｓ−ｙｃｓ）Ｘｘｒ＋　（ｙｃｓ十ｙｍ
）ｘ＃’＝ｘ　ｉ！　Ｘｘｒの式より求めることができる。

第１６図は画像形成装置の制御概念図、第１７図は手書
き原稿の説明図であって、第１７図に示すような原稿（
第１６図の符号２０）をデジタル複写機の原稿設置台に
セットし、本発明の機能のモードと直線を整列する方向
（例えば水平、垂直の４方向）の選択を行った後、コピ
ー開始ボタンを押すと、原稿読み取り手段１は原稿を光
学的に読み取り、２値のデジタルデータに変換した後、
第一の記憶手段２中に入力画像データ２ａとして格納す
る。次に輪郭線追跡手段３により、第一の記憶手段２中
の入力画像データ２ａを読み出して、連結している黒画
素集合の輪郭を追跡し、その輪郭の主走査方向、副走査
方向の最小値と長さを求め、それを輪郭データ２ｂとし
て第一の記憶手段２に格納する。入力画像データ２ａ全
部について輪郭線追跡が終了したら、画像判定手段１２
により輪郭データ２ｂを読み出して、輪郭の大きさによ
り入力画像データ２ａ中の黒画素集合がノイズ画像なの
か、文字画像なのか、あるいは図形画像なのかを判定し
、その判定結果を画像判定データ２ｃとして第一の記憶
手段２に格納する。その次にベクトル化手段７により画
像判定データ２ｃを読み出して図形画像を抽出し、それ
をベクトル化して、その結果をベクトルデータ２ｄとし
て格納する。その後、図形認識手段１３はベクトルデー
タ２ｄを読み出して、直線１円等の図形要素として認識
し、かつ図形要素間の接続関係をも認識して、それらの
認識結果を図形要素データ２ｅとして格納する。

図形修正手段１４は、コピー開始時に設定された直線の
整列方向の情報を基に、図形要素データ２ｅを読み出し
て、直線要素の方向が設定された整列方向との角度誤差
の小さい方向に、図形要素間の接続関係を保持したまま
修正し、その修正後の図形要素データ２ｆを第一の記憶
手段２に格納する。

作画手段１５は、修正後の図形要素データ２ｆと、画像
判定手段１２により文字と判定された画像を第二の記憶
手段１０中に出力画像データ１０ａとして格納する。最
後に出力手段１１は第二の記憶手段１０中の出力画像デ
ータ１０ａを読み出して転写紙２工に作像し、排出する
。

第１８図は画像処理結果の説明図であって、以上により
第１８図に示すような出力結果が得られる。

第１９図は部分的な画像処理の説明図であって、本発明
の機能を実行するに当たり、予め実行領域を指定するこ
とにより、第１９図に示すような部分的な処理も可能に
なる。この方法だと全体を処理する場合に比べ、処理速
度は速くなる。

第２０図は直線の整列方向指定の画像処理の説明図であ
って、第２０図（ａ）に示すように、直線の整列方向を
任意に指定すると、同図（ｂ）に示すような入力原稿か
ら、同図（Ｃ）に示すような出力結果が得られる。

第２１図は手書き原稿の説明図、第２２図は画像処理の
途中結果の説明図、第２３図は画像処理結果の説明図、
第２４図は部分的な画像処理の説明図であって、この原
稿の場合、前述と同様にして、図形要素データ２ｅを読
み出して、直線要素の方向が設定された整列方向との角
度誤差の小さい方向に、図形要素間の接続関係を保持し
たまま修正した後（この処理による途中結果が第２２図
に示されている）、それらの修正後の図形要素データの
うち、ある図形要素の端点が他の要素とある定められた
しきい値内で１接近している場合、端点をその図形要素
まで延長して修正し、その修正後のデータを第一の記憶
手段２に格納する。

作画手段１５は、修正後の図形要素データ２ｆと、画像
判定手段１２により文字と判定された画像を第二の記憶
手段１０中に出力画像データ１０ａとして格納する。最
後に出力手段１１は第二の記憶手段１０中の出力画像デ
ータ１０ａを読み出して転写紙２１に作像し、排出する
。

以上により第２３図に示すような出力結果が得られる。

また、本発明の機能を実行するに当たり、予め実行領域
を指定することより、第２４図に示すような部分的な処
理も可能になる。

第２４図のように、−点鎖線等の実線以外の線種では、
本発明による処理を実行すると実線に変換されてしまう
。しかもこのような部分的な処理の場合は、全体を処理
する場合に比べ処理速度は速くなる。

第２５図は手書き原稿の説明図、第２６図は画像処理の
途中結果の説明図、第２７図は画像処理結果の説明図、
第２８図は部分的な画像処理の説明図であって、前述と
同様にして図形要素データ２ｅを読み出して、直線要素
の方向が設定された整列方向との角度誤差の小さい方向
に、図形要素間の接続関係を保持したまま修正した後（
この処理による途中結果が第２６図に示されている）、
それらの修正後の図形要素データのうち、３つ以上の直
線要素がほぼ平行で、それらの間隔がある定められたし
きい値内であれば、それらの間隔の平均値で等間隔とな
るように、図形要素の接続関係を保持したまま直線要素
を修正し、その修正後のデータを第一の記憶手段２に格
納する。

作画手段１５は、修正後の図形要素データ２ｆと、画像
判定手段１２により文字と判定された画像を第二の記憶
手段１０中に出力画像データ１０ａとして格納する。最
後に出力手段１．１は第二の記憶手段１０中の出力画像
データ１０ａを読み出して転写紙２１に作像し、排出す
る。

以上により第２７図に示すような出力結果が得られる。

平行線の等間隔処理についてさらに詳しく説明する。第
２６図に示すように、直線要素を整列した後、直線Ｌ　
Ｉｌ”　Ｌ　ｒ　ｓがほぼ平行で、その間隔Ｙ。

〜Ｙ７がほぼ等しく、またＬｚ　＋　”　Ｌ　ｚ　２が
ほぼ平行で、その間隔ＸＩとＸｌがほぼ等しい場合、Ｙ
１〜Ｙ７がそれらの平均値と等しくなるように直線り、
□〜Ｌｌｌ＋を平行移動させ、またＸｌとＸｌがそれら
の平均値と等しくなるように、直線Ｌ　ｚ□とＬ２３を
平行移動させる。

その結果、第２７図に示すようにＬ＋２〜Ｌ’ｓがり、
２′〜ＬＩ８′に修正されてその間隔Ｙ＋　　’〜Ｙ７
は全て等しくなり、Ｌ２□〜ＬＺ３がＬ２□′〜Ｌ２１
に修正されて、その間隔ＸＩ　　’とＸｌ　　’は等し
くなる。

また、本発明の機能を実行するに当たり、予め実行領域
を指定することより、第２８図に示すような部分的な処
理も可能になる。

第２９図は本発明による画像形成装置の第２の実施例の
制御ブロック図、第３０図は手書き原稿の説明図、第３
１図は画像処理結果の説明図であって、第２９図におい
て、３０は文字列方向変換手段である。

本実施例も前述と同様にして、原稿を図示しないデジタ
ル複写機の原稿設置台にセットしてコピー開始ボタンを
押すと、原稿読み取り手段１は原稿を光学的に読み取り
、２値のデジタルデータに変換した後、第一の記憶手段
２中に入力画像データとして格納する。次に輪郭線追跡
手段３により、第一の記憶手段２中の入力画像データ中
の連結している黒画素集合の輪郭を追跡し、その輪郭の
主走査方向、副走査方向の最小値と長さを求める。

これが黒画素集合を囲む最小の長方形となる。その次に
文字／図形判別手段４により、その長方形の大きさから
入力画像データ中の黒画素集合が文字画像なのか、ある
いは図形画像なのかを判定する。文字画像の場合は、文
字列抽出手段５により、その最小の長方形の分布から文
字列を推定した後、文字列方向変換手段３０により、文
字列方向が縦の場合には横、横の場合には縦になるよう
に、各文字画像の回転角度と移動量を決める。

画像合成手段９は、ベクトル修正手段８で修正したベク
トルデータを第二の記憶手段１０中に作画すると共に、
文字列方向変換手段３０で決定した各文字画像の回転角
度と移動量を基に、文字画像データを第二の記憶手段Ｉ
Ｏ中に書き込む。最後に出力手段１１は、第二の記憶手
段１０中の出力画像データを読み出して転写紙に作像し
、排出する。

以上の処理により、第３１図に示すような出力結果が得
られる。

各手段における制御方法は前述の通りであるが、以下に
ついて述べておく。

（１）文字列抽出方法第３２図は文字列抽出方法の説明図であって、文字列の
推定方法としては、例えばこの図に示すように、ある文
字画像の外枠矩形の中心を原点とし、その原点とその近
傍の文字画像の外枠矩形中心との距離を求め、その距離
の短い方向を文字列の方向と仮定し、原点を移動する（
第３２図■）。

次に、この原点とその近傍の文字画像の外枠矩形中心と
の距離を求め、その距離の短い方向に原点を移動する（
第３２図■）。

以上の処理を文字の中心間の距離の差が予め設定したし
きい値より大きくなった場合、または文字列の方向が変
化した場合に文字列の終わりと判断する。

第３３図、第３４図は文字列抽出結果の説明図であって
、第３３図の例のように、文字列を抽出できる。さらに
１つの文字列中の各文字の高さ。

幅１間隔の平均値を求め、文字列方向変換のだめの各文
字画像の回転方向、移動量を算出する。このとき小さい
文字（例えばカナの小文字）は第３３図の１０１１から
第３４図の１１１１への変換の例のように、回転後の移
動量が他と異なり、この例のように、横書きから縦書き
への変換の場合は、下揃えから上揃えとなる。句読点の
場合も同様に、上揃えとなる（第３３図の１１０７から
第３４図の１１０７、第３３図の１０１３から第３４図
の１１１３への変換）。

また、記号のカッコ（第３３図の１０１４．１０１８）
は回転処理を行わないので、横書きで幅の狭い文字また
は縦書きで高さの低い文字については、その文字がカッ
コかどうかを認識する手段が必要になる。簡単なシステ
ム構成にするには、この処理をオペレータに委ね、オペ
レータが回転処理しない部分を領域指定するといった方
法も可能である。

（２）文字列方向変換方法上記のように文字列抽出手段５で算出した各文字画像の
回転角度、移動量を基に、各文字画像を再配置する。第
３３図に示すような文字列を再配置した結果を第３４図
に示す。このように、文章原稿中の各文字画像を回転、
移動することにより、文字列方向を変換することができ
る。

（３）画像圧縮第３５図は文字画像の回転処理の説明図であって、画像
圧縮については前述した通りであるが、文字画像の回転
処理は、例えば３５図のように、まず１つの文字画検分
のラン・レングスデータを抽出し、それを副走査方向の
ラン・レングスデータに変換することにより行える。文
字画像の移動処理は、回転処理後の文字画像のラン・レ
ングスデータのＹ方向位置、Ｘ方向開始位置、Ｘ方向終
了位置に移動量を加算すればよい。

（４）その他この方法によれば、例えば新聞のように縦書きの段組み
のある原稿中のある記事を領域指定して入力すると、そ
の原稿から文字列を切り出し、再配置することにより、
横書きの段組み無しの原稿を作成することも可能である
。

第３６図は本発明による画像形成装置の第３の実施例の
制御ブロック図、第３７図は被合成原稿の説明図、第３
８図は合成原稿の説明図、第３９図は画像処理結果の説
明図であって、第３６図において、４０は領域抽出手段
、４１は文字切り出し手段、４２は文字配置手段である
。

被合成原稿に合成原稿を重ね合わせる処理について以下
説明する。

このような原稿を図示しないデジタル複写機の原稿設置
台にセットしてコピー開始ボタンを押すと、原稿読み取
り手段１は原稿を光学的に読み取り、２値のデジタルデ
ータに変換した後、第一の記憶手段２中に入力画像デー
タとして格納する。

原稿の読み取りは２枚−度に行っても、２回の読み取り
に分けてもよい。

被合成原稿の場合は、文字切り出し手段４Ｉにより、第
一の記憶手段２中の被合成原稿画像データ中の連結して
いる黒画素集合の輪郭を追跡し、その輪郭の主走査方向
、副走査方向の最小値と長さを求める。これが黒画素集
合を囲む最小の長方形となる。漢字等のように１文字が
複数の黒画素集合で構成される場合は、近傍にある黒画
素集合を１つの文字画像とみなす。

次に、文字列抽出手段５により、その各文字画像の分布
から文字列方向（縦書きか横書きか）を推定し、平均文
字幅、高さ２間隔を算出する。

合成原稿の場合は、領域抽出手段４０により、第一の記
憶手段２中の合成原稿画像データ中の連結している黒画
素集合の輪郭を追跡し、その輪郭の主走査方向、副走査
方向の最小値と長さを求めた後、これらの黒画素集合を
囲む最小の長方形を含む最小の長方形を算出する。これ
が合成画像領域となる。

次に、文字配置手段４２は、前記の文字列情報、合成画
像領域情報から、合成画像領域内にある文字画像を抽出
し、その文字画像が合成画像領域外に位置するように各
文字画像を配置し直すための移動量を算出する。

画像合成手段９は、文字配置手段４２で算出した各文字
画像の移動量も基に、文字画像データを第二の記憶手段
１０中に書き込むと共に、領域抽出手段４０で算出した
合成画像領域内にある合成画像を第二の記憶手段１０中
に書き込む。最後に出力手段１１は第二の記憶手段１０
中の出力画像データを読み出して転写紙に作像し、排出
する。

以上により、第３９図に示すような出力結果が得られる
。

ここで、現在メモリ装置がコスト高であるため、第一の
記憶手段２と第二の記憶手段１０とを同一のメモリ装置
により構成し、被合成原稿画像中の合成画像領域内の各
文字画像を移動した後、合成原稿画像から合成領域内に
ある画像を切り出して、被合成原稿画像中にコピーする
ようにすることも可能である。

また、前記の説明では合成画像領域を合成原稿中より自
動的に抽出したが、予め合成領域をタブレットやマーカ
等で指定することにより、より正確に速く処理すること
も可能となる。

あるいは、被合成原稿と合成原稿の両方に合成領域を指
定することより、任意領域から任意領域へ、しかも丁度
はめ込むように合成処理を行うことも可能となる。

この場合、被合成原稿画像中の合成画像領域が予め分か
つているので、被合成原稿画像を入力した後、文字配置
処理までを行い、合成原稿画像を読み取り後、直ぐに被
原稿画像中の合成画像領域に入れることにより、記憶手
段の容量を１ペ一ジ分にすることが可能になる。

前記の説明では合成画像として２値画像を例に挙げたが
、領域指定手段を用いることにより多値画像の合成処理
も容易に可能となる。

次に、前述した以外の各手段による作用を説明する。

（１）文字切り出し法第４０図、第４１図は文字切り出し方法の説明図であっ
て、輪郭追跡処理で抽出した輪郭データは、例えば第４
０図のように、漢字等では１文字中に複数存在する。こ
の複数の輪郭データから１つの文字画像を抽出するには
、まず、ある輪郭データの近傍に他の輪郭データがある
かどうかを調べ、それらの距離が予め設定されたしきい
値より短い場合、１つに統合していく。この処理を順次
繰り返すことにより、第４１図に示すように、文字画像
を切り出すことができる。

（２）文字列抽出方法第４２図、第４３図は文字列抽出方法の説明図であって
、文字列の推定方法としては、例えば第４２図に示すよ
うに、ある文字画像の外枠矩形の中心を原点とし、その
原点とその近傍の文字画像の外枠矩形中心との距離を求
め、その距離の短い方向を文字列の方向と仮定し、原点
を移動する（第４２図■）。

次に、この原点とその近傍の文字画像の外゛枠矩形中心
との距離を求め、その距離の短い方向に原点を移動する
（第４２図■）。

以上の処理を文字の中心間の距離の差が予め設定したし
きい値より大きくなった場合、または文字列の方向が変
化した場合に、文字列の終わりと判断する。

その結果、第４２図の例のように文字列を抽出できる。

さらに１つの文字列中の文字の高さ１幅。

間隔の平均値を求めると共に、文字列の間隔（行間隔）
の平均値をも算出し、再配置処理における文字画像の移
動量の計算に用いる。

（３）文字配置方法第４４図は文字配置方法の説明図であって、上記のよう
に、文字列抽出手段５で算出した各文字画像の平均高さ
２幅１間隔２文字列の間隔を用いて、合成領域内にある
各文字画像を再配置する際の移動量を算出する。

文字配置の方法は、第４４図の例に示すように、合成領
域内にある文字画像（第４４図の１１０３〜１１０５．
１１０８〜ｌ　１１０）を、その順番（１１０１〜１１
１０）が変わらないように移動する（第４４図の左側か
ら右側への変換処理）。

このように文章原稿中の文章が丁度合成画像を避けるよ
うに配置することにより、合成領域部分の文字が消され
たりすることがなく、２つの原稿を合成することができ
る。

（４）合成領域抽出方法第４５図は合成領域抽出方法の説明図であって、合成原
稿中の合成画像領域を自動的に抽出する方法としては、
例えば第４５図に示すように、まず原稿中の黒画素集合
の輪郭を追跡して、黒画素集合を囲む最小の長方形（第
４５図左側の点線で記された部分）を得る。。

次に、これらの長方形を全て包含する最小の長方形を算
出して、これを合成領域とする（第４５図の右側）。ま
た他の方法として、合成原稿画像中の黒画素のヒストグ
ラムを水平、垂直方向に算出し、黒画素の個数が予め設
定されたしきい値より大きい部分を全て包括するような
最小の長方形を求めることによっても可能である。

合成原稿画像が多値画像の場合は、予め背景濃度と画像
濃度とのしきい値濃度を設定しておき、そのしきい値濃
度より濃い部分を黒画素、低い部分を白画素として、前
記の何れかの方法により合成画像領域を抽出することが
できる。

（５）文字配置時の文字あふれ処理第４６図は文字あふれ処理の説明図であって、文字配置
処理において、配置処理後に文字画像がページからはみ
出した場合（第４６図左側）、そのはみ出した文字画像
を次のページの先頭に配置する（第４６図の右側）。配
置する位置は、１ページ目の文字列開始位置に揃える。

第４７図は本発明による画像形成装置の第４の実施例の
制御ブロック図、第４８図は原稿の説明図、第４９図、
第５０図は画像処理結果の説明図であって、第４７図に
おいて、５０は領域切り出し手段である。

以下、制御動作を説明する。

第４８図に示すような原稿を図示しないデジタル複写機
の原稿設置台にセットしてコピー開始ボタンを押すと、
原稿読み取り手段１は原稿を光学的に読み取り、２値の
デジタルデータに変換した後、第一の記憶手段２中に入
力画像データとして格納する。

次に、領域切り出し手段５０は、第一の記憶手段２中の
原稿画像データ中の連結している黒画素集合の輪郭を追
跡し、その輪郭の主走査方向、副走査方向の最小値と長
さを求める。これが黒画素集合を囲む最小の長方形とな
る。その次にこの長方形の大きさからその黒画素集合が
文字または文字の一部なのか、図形の一部なのかを判定
し、図形の場合はその図形領域を抜き出して第二の記憶
手段１０中に書き込み、出力手段１１により転写紙に作
像し、排出することにより第５０図に示すような出力結
果が得られる。

第一の記憶手段２中に残った文字画像については、まず
文字切り出し手段４１により黒画素集合を囲む最小の長
方形情報から各文字画像を切り出す。漢字等のように１
文字が複数の黒画素集合で構成される場合は、近傍にあ
る黒画素集合を１つの文字画像とみなす。

次に、文字列抽出手段５により、その各文字画像の分布
から文字列方面（縦書きか横書きか）を推定し、平均文
字幅、高さ２間隔を算出する。

文字配置手段４２は、前記の文字列情報から領域切り出
し手段５０で抜き取った領域内に文字列を延長するよう
に、各文字画像を配置し直すための移動量を算出した後
、その文字画像データを第二の記憶手段１０中に書き込
む。最後に出力手段１１は第二の記憶手段１０中の出力
画像データを読み出して転写紙に作像し、排出する。

以上により、第４９図に示すような出力結果が得られる
。

ここで、現在メモリ装置がコスト高であるため、第一の
記憶手段２と第二の記憶手段１０とを同一のメモリ装置
により構成し、まず原稿画像中の抜き取り画像を第一の
記憶手段２から読み出して出力後、第一の記憶手段２中
の抜き取り領域内の画像を消去した後、文字画像切り出
し処理から文字配置処理までを第一の記憶手段中で行っ
た後、出力するようにすることも可能である。

また、前記の説明では合成画像領域を合成原稿中より自
動的に抽出したが、予め合成領域をタブレットやマーカ
等で指定することにより、より正確に速（処理すること
も可能となる。

次に、前述した以外の各手段による作用を述べる。

（１）文字配置方法第５１図は文字配置方法の説明図であって、文字列抽出
手段５で算出した各文字画像の平均高さ。

幅９間隔２文字列の間隔を用いて、画像を抜き取った領
域内に文字画像を再配置する際の移動量を算出する。

文字配置の方法は、第５１図の例に示すように、領域外
にある文字画像を、その順番（第５１図１１０１〜１１
１０）が変化しないように移動する（第５１図の左側か
ら右側への変換）。

このように、原稿中の指定領域内の画像を抜き取った後
、その空白となった領域に文章構造を変化させないよう
に、文字を再配置することにより、原稿のレイアウトを
変更することができる。

（２）領域自動抽出方法第５２図は領域自動抽出方法の説明図であって、原稿中
の図形画像領域を自動的に抽出する方法としては、例え
ば第５２図に示すように、まず原稿中の黒画素集合の輪
郭を追跡して、黒画素集合を囲む最小の長方形を得た後
、前記の文字／図形判定方法により図形の輪郭長方形を
抽出する（第５２図左側の点線で記された部分）。

次にこれらの長方形を全て包含する最小の長方形を算出
して、これを図形画像領域とする（第５２図右側）。

（３）出力処理第５３図は出力処理の説明図であって、前記の領域抜き
取り画像と文字配置処理後の画像を合わせて１ペ一ジ分
の画像に収める場合（第５３図左側）、１ページ内に配
置して出力できるようにすることも可能である（第５３
図右側）。これにより転写紙の無駄を少なくできる。

〔発明の効果〕

以上説明したように、本発明によれば、手書きの原稿を
見栄えのよい原稿にしたり、また元の原稿を自由にレイ
アウトしたりすることが可能な画像形成装置を提供する
ことができる。

【図面の簡単な説明】

第１図は本発明による画像形成装置の第１の実施例の制
御ブロック図、第２図は文字／図形混在原稿の説明図、
第３図は画像処理結果の説明図、第４図は１つの黒画素
集合の輪郭線を追跡した例の説明図、第５図は輪郭線の
方向の説明図、第６図は輪郭線追跡結果の説明図、第７
図は文字／図形判定方法のフローチャート、第８図は輪
郭データの内容の説明図、第９図および第１０図は文字
列抽出方法の説明図、第１１図は文字整列結果の説明図
、第１２図はベクトル化方法の説明図、第１３図は文字
整列時のエラー処理の説明図、第１４図は黒画素のデー
タ構造の説明図、第１５図は圧縮画像の輪郭線追跡の説
明図、第１６図は画像形成装置の制御概念図、第１７図
は手書き原稿の説明図、第１８図は画像処理結果の説明
図、第１９図は部分的な画像処理の説明図、第２０図は
直線の整列方向指定の画像処理の説明図、第２１図は手
書き原稿の説明図、第２２図は画像処理の途中結果の説
明図、第２３図は画像処理結果の説明図、第２４図は部
分的な画像処理の説明図、第２５図は手書き原稿の説明
図、第２６図は画像処理の途中結果の説明図、第２７図
は画像処理結果の説明図、第２８図は部分的な画像処理
の説明図、第２９図は本発明による画像形成装置の第２
の実施例の制御ブロック図、第３０図は手書き原稿の説
明図、第３１図は画像処理結果の説明図、第３２図は文
字列抽出方法の説明図、第３３図および第３４図は文字
列方向変換方法の説明図、第３５図は文字画像の回転処
理の説明図、第３６図は本発明による画像形成装置の第
３の実施例の制御ブロック図、第３７図は被合成原稿の
説明図、第３８図は合成原稿の説明図、第３９図は画像
処理結果の説明図、第４０図および第４１図は文字切り
出し方法の説明図、第４２図および第４３図は文字列抽
出方法の説明図、第４４図は文字配置方法の説明図、第
４５図は合成領域抽出方法の説明図、第４６図は文字あ
ふれ処理の説明図、第４７図は本発明による画像形成装
置の第４の実施例の制御ブロック図、第４８図は原稿の
説明図、第４９図および第５０図は画像処理結果の説明
図、第５１図は文字配置方法の説明図、第５２図は領域
自動抽出方法の説明図、第５３図は出力処理の説明図で
ある。１・・・原稿読み取り手段、２・・・第一の記憶手段、
３・・・輪郭追跡手段、４・・・文字／図形判別手段、
５・・・文字列抽出手段、６・・・文字整列手段、７・
・・ベクトル化手段、８・・・ベクトル修正手段、９・
・・画像合成手段、１０・・・第二の記憶手段、工１・
・・出力手段、３０・・・文字列方向変換手段、４０・
・・領域抽出手段、４１・・・文字切り出し手段、４２
・・・文字配置手段、５０・・・領域切り出し手段。第２図第３図第４図第６図第７図第８図第９図第１５図・・・・・・・・・・・・第６図第１７図第１８図第２１図第２２図第１９図範囲指定第２０図（ｂ）（Ｃ）第２３図第２４図に１Ｉｌｉ１指疋第２５図第２６図 ×１冷第２７図第３ｏ図第３１図範囲指定第３２図〉■ 第３５図第３７図第３８図第３９図ｒ−一一−コ／−／’−−コ派派第４５図第４６図第４８図第４９図第５０図

Claims

【特許請求の範囲】

（１）原稿を光学的に読み取り、それを光電変換して２
値の画像データを得る原稿読み取り手段と、原稿読み取
り手段により得られた２値の画像データを保持する第一
の記憶手段と、第一の記憶手段中の文字画像を１文字ず
つ切り出し、文字画像の大きさ、分布から文字列を抽出
する文字列抽出手段と、文字列抽出手段で抽出した文字
情報から、文字の大きさや間隔が揃い、また文字列が水
平または垂直方向の近い方に整列するように、文字画像
を拡大、縮小、移動する文字整列手段と、出力画像を保
持する第二の記憶手段と、第二の記憶手段に書き込まれ
た出力画像を転写紙に像形成して出力する出力手段とを
備えたことを特徴とする画像形成装置。
（２）請求項１において、原稿読み取り手段により読み
取つた画像から文字画像、図形画像を判別する文字／図
形判別手段を有し、文字画像は、文字列抽出手段、文字
整列手段による上記の処理を行い、図形画像はそのまま
、あるいは直線近似した後、その両者を合成して出力す
ることを特徴とする画像形成装置。
（３）原稿を光学的に読み取り、それを光電変換して２
値の画像データを得る原稿読み取り手段と、原稿読み取
り手段により得られた２値の画像データを保持する第一
の記憶手段と、第一の記憶手段中の文字画像を１文字ず
つ切り出し、文字画像の大きさ、分布から文字列を抽出
する文字列抽出手段と、文字列抽出手段で抽出した文字
情報から、文字列方向が縦方向の場合は、文字画像を時
計回りに９０度回転して横方向に、文字列方向が横方向
の場合には文字画像を反時計方向に９０度回転して縦方
向に変換する文字列方向変換手段と、出力画像を保持す
る第二の記憶手段と、第二の記憶手段に書き込まれた出
力画像を転写紙に像形成して出力する出力手段とを備え
たことを特徴とする画像形成装置。
（４）原稿を光学的に読み取り、それを光電変換して２
値の画像データを得る原稿読み取り手段と、原稿読み取
り手段により得られた少なくとも原稿１枚分より大きい
２値の画像データを保持する第一の記憶手段と、文字を
含む被合成原稿画像データ中から文字画像を１文字ずつ
切り出す文字切り出し手段と、文字切り出し手段で切り
出した文字画像の大きさ、分布から文字列を抽出する文
字列抽出手段と、被合成原稿画像中の、合成領域にある
文字画像を合成領域外に配置し直す文字配置手段と、２
つの原稿画像を重ね合わせる画像合成手段と、出力画像
を保持する第二の記憶手段と、第二の記憶手段に書き込
まれた出力画像を転写紙に像形成して出力する出力手段
とを備えたことを特徴とする画像形成装置。（５）原稿
を光学的に読み取り、それを光電変換して２値の画像デ
ータを得る原稿読み取り手段と、原稿読み取り手段によ
り得られた２値の画像データを保持する第一の記憶手段
と、出力画像を保持する第二の記憶手段と、入力画像デ
ータ中から画像を抜き出して第二の記憶手段中に書き込
む領域切り出し手段と、入力画像データ中から文字画像
を１文字ずつ切り出す文字切り出し手段と、文字切り出
し手段で切り出した文字画像の大きさ、分布から文字列
を抽出する文字列抽出手段と、文字列抽出手段で算出し
た文字列情報を用いて、抜き取つた画像領域内に上記切
り出した文字画像を配置し直す文字配置手段と、第二の
記憶手段に書き込まれた出力画像を転写紙に像形成して
出力する出力手段とを備えたことを特徴とする画像形成
装置。