JP5168084B2 - 画像処理装置、プログラムおよび画像処理方法 - Google Patents

Description

本発明は、画像処理装置、プログラムおよび画像処理方法に関するものである。

近年、原稿画像を読み取るスキャナ、スキャナで読み取った原稿画像を印刷する複写機、外部機器から入力された画像データを印刷するプリンタやファクシミリ装置、あるいは、これらの機能を兼ね備えたいわゆるＭＦＰ（Multi Function Peripheral）と称される複合機が用いられている。

この種の複合機にあっては、読み取ったコピーやファクシミリの原稿および外部機器から入力された画像データをＨＤＤ（Hard Disk Drive）に蓄積しておき、必要に応じて再出力や再送信することができるドキュメントボックス機能を搭載しているものがある。このようなドキュメントボックス機能によれば、作業効率を大幅に向上することができるとともに、ペーパーレスを実現することができる。

ところで、複合機のドキュメントボックス機能において原稿の校正を行なう場合には、原稿校正のためにＨＤＤ内の画像データを紙に出力し、そこに校正内容を手書きで加筆する、という手順を経ることになる。この場合、紙上で加筆した校正内容は、元の画像データに対して手作業で反映させることになる。紙に印刷された情報と電子データとして保存されている情報とでは、その使い勝手が異なるものとなっている。紙に書かれている情報は、紙と筆記用具があれば、利用場所の制限が少なく、多くの場所で参照や追加修正作業をおこなうことができる。しかし、電子データの場合は、それを扱うための電子装置が必要である。また、場合によっては電源が必要な場合もあり、使用場所が制限される場合がある。しかしながら、修正や編集という機能は優れている。ただし、使用する電子機器に精通していないと複雑な編集は難しい場合もある。

そこで、このような問題を解決するために、紙原稿への加筆内容から利用者が付加あるいは置換しようとしている情報を読み取り元の画像データに反映することで、画像データへの情報付加・置換の利便性を向上させることができるようにした技術が提案されている（例えば、特許文献１参照）。

特許文献１に記載の技術は、編集作業を容易にするために、原稿となる画像データを表示しておき、その画面にスタイラスペン等で手書き入力を行って編集作業を行うものである。より具体的には、特許文献１には、あらかじめ登録している編集記号に近いものをコマンドとして認識し、追加分を仮名漢字変換で入力可能にする技術が記載されている。このように特許文献１によれば、従来から紙原稿で用いられてきた編集記号を電子機器の表示画面を用いて作業できるようになっている。

特許第３３９８９８１号公報

しかしながら、特許文献１に記載の技術によれば、編集指示用の命令は、登録しているいくつかの命令に制限されている。また、編集対象領域を指示するにも制限がある。ここで、課題となるのは、紙原稿に加筆した内容を電子ファイル上のどの位置に反映させるかということである。例えば、原稿の文章に線が引かれている場合、それが、強調表示を意味する下線なのか、削除を意味する取消線なのかを判別する必要がある。

また、加筆された用紙サイズが、例えば製図図面やポスターなどのように、加筆情報を読み取るスキャナよりも大きい場合には、スキャナが利用できない場合がある。この場合、加筆情報を読み取る処理や、加筆された個所を元の画像データに対応させる処理が煩雑となる。

本発明は、上記に鑑みてなされたものであって、元原稿画像の校正を紙原稿上で行った場合に、紙原稿から元原稿画像に対する情報付加または削除の利便性を向上させることができる画像処理装置、プログラムおよび画像処理方法を提供することを目的とする。

本発明は、上記に鑑みてなされたものであって、本発明の画像処理装置は、座標情報と、元原稿画像の格納位置を示すリンク情報とを含む識別情報が、該元原稿画像の該座標情報に示される座標に印刷された原稿画像の、該識別情報が含まれる一部の領域を含む部分原稿画像を取得する部分原稿画像取得手段と、前記部分原稿画像に含まれる前記リンク情報に従って、前記元原稿画像を取得する元原稿画像取得手段と、前記部分原稿画像に含まれる前記座標情報に従って前記元原稿画像の座標位置を取得し、取得された該座標位置に従って該元原稿画像における該部分原稿画像に対応する座標位置を特定し、該座標位置に従い該部分原稿画像と該元原稿画像との差分を取ることにより、該元原稿画像に対して加筆された加筆情報と加筆部分を示す座標位置とを取得する加筆情報取得手段と、前記元原稿画像の画像構成を定義する画像構成ブロック及びその座標位置を取得するブロック情報取得手段と、前記加筆情報取得手段により取得した前記加筆部分の座標位置に基づいて処理対象となる前記画像構成ブロックを選択する処理対象ブロック選択手段と、選択された１つまたは複数の処理対象となる前記画像構成ブロックと前記加筆部分とのそれぞれの内容、および前記画像構成ブロックと前記加筆情報との相対的な位置に応じて処理指示を選択する処理指示選択手段と、選択された処理指示に従って前記元原稿画像を加工する画像加工手段と、を備える。

本発明のプログラムは、コンピュータを、座標情報と、元原稿画像の格納位置を示すリンク情報とを含む識別情報が、該元原稿画像の該座標情報に示される座標に印刷された原稿画像の、該識別情報が含まれる一部の領域を含む部分原稿画像を取得する部分原稿画像取得手段と、前記部分原稿画像に含まれる前記リンク情報に従って、前記元原稿画像を取得する元原稿画像取得手段と、前記部分原稿画像に含まれる前記座標情報に従って前記元原稿画像の座標位置を取得し、取得された該座標位置に従って該元原稿画像における該部分原稿画像に対応する座標位置を特定し、該座標位置に従い該部分原稿画像と該元原稿画像との差分を取ることにより、該元原稿画像に対して加筆された加筆情報と加筆部分を示す座標位置とを取得する加筆情報取得手段と、前記元原稿画像の画像構成を定義する画像構成ブロック及びその座標位置を取得するブロック情報取得手段と、前記加筆情報取得手段により取得した前記加筆部分の座標位置に基づいて処理対象となる前記画像構成ブロックを選択する処理対象ブロック選択手段と、選択された１つまたは複数の処理対象となる前記画像構成ブロックと前記加筆部分とのそれぞれの内容、および前記画像構成ブロックと前記加筆情報との相対的な位置に応じて処理指示を選択する処理指示選択手段と、選択された処理指示に従って前記元原稿画像を加工する画像加工手段と、として機能させることを特徴とする。

本発明の画像処理方法は、画像処理装置で実行される画像処理方法であって、前記画像処理装置は、制御部と記憶部を備え、前記制御部において実行される、座標情報と、元原稿画像の格納位置を示すリンク情報とを含む識別情報が、該元原稿画像の該座標情報に示される座標に印刷された原稿画像の、該識別情報が含まれる一部の領域を含む部分原稿画像を取得する部分原稿画像取得ステップと、前記部分原稿画像に含まれる前記リンク情報に従って、前記元原稿画像を取得する元原稿画像取得ステップと、前記部分原稿画像に含まれる前記座標情報に従って前記元原稿画像の座標位置を取得し、取得された該座標位置に従って該元原稿画像における該部分原稿画像に対応する座標位置を特定し、該座標位置に従い該部分原稿画像と該元原稿画像との差分を取ることにより、該元原稿画像に対して加筆された加筆情報と加筆部分を示す座標位置とを取得する加筆情報取得ステップと、前記元原稿画像の画像構成を定義する画像構成ブロック及びその座標位置を取得するブロック情報取得ステップと、前記加筆情報取得手段により取得した前記加筆部分の座標位置に基づいて処理対象となる前記画像構成ブロックを選択する処理対象ブロック選択ステップと、選択された１つまたは複数の処理対象となる前記画像構成ブロックと前記加筆部分とのそれぞれの内容、および前記画像構成ブロックと前記加筆情報との相対的な位置に応じて処理指示を選択する処理指示選択ステップと、選択された処理指示に従って前記元原稿画像を加工する画像加工ステップと、を含むことを特徴とする。

本発明によれば、元原稿画像の校正を紙原稿上で行った場合に、紙原稿のうち加筆された部分だけをデジタルカメラにより取得し、部分原稿画像と元原稿画像との差分をとることにより取得された加筆情報と当該加筆情報の原稿画像上の位置に基づいて選択された１つまたは複数の処理対象となる画像構成ブロック（文字、形態素、文、段落、図、写真など）とのそれぞれの内容、および画像構成ブロックと加筆情報との相対的な位置に応じて処理指示（「削除」、「強調表示」、「拡大」など）を選択し、選択された処理指示に従って元原稿画像を加工することにより、元原稿画像の校正を紙原稿上で行った場合に、処理対象となる画像構成ブロックと加筆情報との相対的な位置に応じて処理指示を選択することで紙原稿への加筆情報をコマンドとして利用して利用者の意図を元原稿画像に反映させることができるようになるので、紙原稿から元原稿画像に対する情報付加または削除の利便性を向上させることができる、という効果を奏する。

以下に添付図面を参照して、この発明にかかる画像処理装置、プログラムおよび画像処理方法の最良な実施の形態を詳細に説明する。

（第１の実施の形態）
第１の実施の形態を図１ないし図１１に基づいて説明する。本実施の形態は画像処理装置として、コピー機能、ファクシミリ（ＦＡＸ）機能、プリント機能、スキャナ機能および入力画像（スキャナ機能による読み取り原稿画像やプリンタあるいはＦＡＸ機能により入力された画像）を配信する機能等を複合したいわゆるＭＦＰ（Multi Function Peripheral）と称されるデジタル複合機を適用した例である。

図１は、本発明の実施の一形態にかかるデジタル複合機１０００を概略的に示す構成図である。本実施の形態にかかるデジタル複合機１０００は、後処理装置であるフィニシャ１００と画像読取装置であるスキャナ部２００と画像印刷装置であるプリンタ部３００とで構成されている。

本実施の形態にかかるデジタル複合機１０００は、操作部４００（図２参照）のアプリケーション切り替えキーにより、ドキュメントボックス機能、複写機能、プリンタ機能、およびファクシミリ機能を順次に切り替えて選択することが可能となっている。ドキュメントボックス機能の選択時にはドキュメントボックスモードとなり、複写機能の選択時には複写モードとなり、プリンタ機能の選択時にはプリンタモードとなり、ファクシミリモードの選択時にはファクシミリモードとなる。ここでは、複写モードにおける画像形成の流れを例に挙げ、図１を参照して説明する。

まず、デジタル複合機１０００のスキャナ部２００について説明する。スキャナ部２００は、概略的には、自動原稿送り装置（以後、ＡＤＦ（Auto Document Feeder）という。）１と読み取りユニット５０とで構成されている。

ＡＤＦ１の原稿台２に原稿の画像面を上にして置かれた原稿束は、操作部４００上のプリントキー（図示せず）が押下されると、一番下の原稿から給送ローラ３、給送ベルト４によってコンタクトガラス６上の所定の位置に給送される。なお、デジタル複合機１０００は、１枚の原稿をコンタクトガラス６上の所定の位置に給送完了する毎に原稿枚数をカウントアップするカウント機能を有している。

コンタクトガラス６上の所定の位置に給送された原稿は、読み取りユニット５０によって画像データを読み取られる。

ここで、読み取りユニット５０について詳述する。読み取りユニット５０は、原稿を載置するコンタクトガラス６と光学走査系で構成されている。光学走査系は、照明手段である露光ランプ５１、第１ミラー５２、レンズ５３、ＣＣＤイメージセンサ５４等で構成されている。露光ランプ５１および第１ミラー５２は、図示しない第１キャリッジ上に固定され、第２ミラー５５および第３ミラー５６は、図示しない第１キャリッジ上に固定されている。この光学走査系は、スキャナ駆動モータＭ１（図３参照）にて駆動される。本実施の読み取りユニット５０は、コンタクトガラス６上に原稿が搭載された場合に、露光ランプ５１を点灯し、走行体である第１キャリッジおよび第２キャリッジをスキャナ駆動モータＭ１により右方向に移動走査して原稿を読み取る読み取り方式と、露光ランプ５１を点灯し、第１キャリッジおよび第２キャリッジは停止した状態のまま、ＡＤＦ１によって搬送される原稿を読み取る読み取り方式が選択可能である。第１キャリッジおよび第２キャリッジをスキャナ駆動モータＭ１により右方向に移動走査して原稿を読み取る読み取り方式の場合には、原稿像を読み取るときには、光路長が変わらないように、第１キャリッジと第２キャリッジとが２対１の相対速度で副走査方向に機械的に走査される。原稿画像は、ＣＣＤイメージセンサ５４によって読み取られ、電気信号に変換されて出力される。ＣＣＤイメージセンサ５４からの出力信号は、ＡＤコンバータによりデジタルデータ（画像データ）に変換される。

デジタルデータに変換された原稿画像は、例えばプリンタ部３００に送られてプリント出力として画像の出力が行なわれる場合や、あるいは記憶装置（例えば、図２に示すＨＤＤ１１１８）に送られて記憶される場合等、種々あり、各々のスキャナ部２００の情報として使用されている。記憶装置（例えば、図２に示すＨＤＤ１１１８）に濃くされた原稿画像は、ドキュメントボックスモードにおいて、再出力などが可能になっている。このようなドキュメントボックス機能によれば、作業効率を大幅に向上することができるとともに、ペーパーレスを実現することができる。

読み取りユニット５０によって画像データの読み取りが終了した原稿は、給送ベルト４および排送ローラ５によって排出される。

さらに、原稿セット検知７にて原稿台２に次の原稿が有ることを検知した場合、前原稿と同様に、次の原稿がコンタクトガラス６上に給送される。

上述した給送ローラ３、給送ベルト４、排送ローラ５は、それぞれ搬送モータＭ２（図３参照）によって駆動される。

次に、デジタル複合機１０００のプリンタ部３００について説明する。プリンタ部３００は、概略的には、作像ステーション７０と定着ユニット１７と給紙部８０と両面給紙ユニット１１１とで構成されている。

作像ステーション７０は、電子写真方式で作像するものであり、書き込みユニット５７と感光体１５と現像ユニット１９と転写部としても機能する搬送ベルト１６とを主体として構成されている。

給紙部８０は、第１トレイ８と第２トレイ９と第３トレイ１０と第１給紙装置１１と第２給紙装置１２と第３給紙装置１３と縦搬送ユニット１４とにより構成されている。第１トレイ８、第２トレイ９、第３トレイ１０に積載された転写紙Ｐは、各々第１給紙装置１１、第２給紙装置１２、第３給紙装置１３によって給紙され、縦搬送ユニット１４によって感光体１５に当接する位置まで搬送される。

読み取りユニット５０にて読み込まれた画像データは、書き込みユニット５７から出力されるレーザビームによって感光体１５に書き込まれ、現像ユニット１９を通過することによってトナー像が形成される。書き込みユニット５７は、レーザ出力ユニット５８、結像レンズ５９、ミラー６０で構成され、レーザ出力ユニット５８の内部には、レーザ光源であるレーザダイオードおよびモータによって高速で定速回転する多角形ミラー（ポリゴンミラー）が備わっている。なお、特に図示しないが、感光体１５の一端近傍のレーザビームを照射される位置に、主走査同期信号を発生するビームセンサが配置されている。

感光体１５上のトナー像は、感光体１５の回転と等速で搬送ベルト１６によって搬送される転写紙Ｐに転写される。その後、定着ユニット１７に搬送されて画像を定着された転写紙Ｐは、排紙ユニット１８によって後処理装置であるフィニシャ１００に排出される。

後処理装置のフィニシャ１００は、排紙ユニット１８の排紙ローラ１８ａによって搬送された転写紙Ｐを、通常排紙ローラ１０２方向とステープル処理部方向へと切り替えて導くことができる。より詳細には、後処理装置であるフィニシャ１００は、切り替え板１０１を上に切り替えることにより、搬送ローラ１０３を経由して通常の排紙トレイ１０４側に転写紙Ｐを排紙することができ、切り替え板１０１を下方向に切り替えることで、搬送ローラ１０５、１０７を経由して、ステープル台１０８に転写紙Ｐを搬送することができる。

ステープル台１０８に積載された転写紙Ｐは、一枚排紙されるごとに紙揃え用のジョガー１０９によって、紙端面が揃えられ、一部のコピー完了と共にステープラ１０６によって綴じられる。ステープラ１０６で綴じられた転写紙Ｐ群は、自重によってステープル完了排紙トレイ１１０に収納される。

一方、フィニシャ１００の通常の排紙トレイ１０４は、前後に移動可能な排紙トレイである。前後に移動可能な排紙トレイ１０４は、原稿毎、あるいは、画像メモリによってソーティングされたコピー部毎に、前後に移動し、簡易的に排出されてくるコピー紙を仕分けるものである。

本実施の形態にかかるデジタル複合機１０００は、転写紙Ｐの両面に画像を作像可能である。転写紙Ｐの両面に画像を作像する場合は、各給紙トレイ８〜１０から給紙され作像された転写紙Ｐを排紙トレイ１０４側に導かないで、排紙ユニット１８の経路切り替えの為の分岐爪１１２を上側にセットすることで、一旦両面給紙ユニット１１１にストックする。その後、両面給紙ユニット１１１にストックされた転写紙Ｐは、再び感光体１５に作像されたトナー画像を転写するために、反転された状態で両面給紙ユニット１１１から再給紙され、下側にセットされた分岐爪１１２を介して排紙トレイ１０４に導かれる。このように、転写紙Ｐの両面に画像を作成する場合に両面給紙ユニット１１１は使用される。また、画像の載った転写紙Ｐの裏面に印字を行なう際にも両面給紙ユニット１１１を用いて転写紙Ｐの裏表を変えることができる。

図２は、デジタル複合機１０００のハードウェア構成を示すブロック図である。図２に示すように、このデジタル複合機１０００は、コントローラ１１０１とプリンタ部３００及びスキャナ部２００とをＰＣＩ（Peripheral Component Interconnect）バスで接続した構成となる。コントローラ１１０１は、デジタル複合機１０００全体の制御と描画、通信、操作部４００からの入力を制御するコントローラである。なお、プリンタ部３００又はスキャナ部２００には、誤差拡散やガンマ変換などの画像処理部分が含まれる。

コントローラ１１０１は、コンピュータの主要部であるＣＰＵ（Central Processing Unit）１１１１と、システムメモリ（ＭＥＭ−Ｐ）１１１２と、ノースブリッジ（ＮＢ）１１１３と、サウスブリッジ（ＳＢ）１１１４と、ＡＳＩＣ（Application Specific Integrated Circuit）１１１６と、ローカルメモリ（ＭＥＭ−Ｃ）１１１７と、ハードディスクドライブ（ＨＤＤ）１１１８とを有し、ＮＢ１１１３とＡＳＩＣ１１１６との間をＡＧＰ（Accelerated Graphics Port）バス１１１５で接続した構成となる。また、ＭＥＭ−Ｐ１１１２は、ＲＯＭ（Read Only Memory）１１１２ａと、ＲＡＭ（Random Access Memory）１１１２ｂとをさらに有する。

ＣＰＵ１１１１は、デジタル複合機１０００の全体制御を行うものであり、ＮＢ１１１３、ＭＥＭ−Ｐ１１１２およびＳＢ１１１４からなるチップセットを有し、このチップセットを介して他の機器と接続される。

ＮＢ１１１３は、ＣＰＵ１１１１とＭＥＭ−Ｐ１１１２、ＳＢ１１１４、ＡＧＰバス１１１５とを接続するためのブリッジであり、ＭＥＭ−Ｐ１１１２に対する読み書きなどを制御するメモリコントローラと、ＰＣＩマスタおよびＡＧＰターゲットとを有する。

ＭＥＭ−Ｐ１１１２は、プログラムやデータの格納用メモリ、プログラムやデータの展開用メモリ、プリンタの描画用メモリなどとして用いるシステムメモリであり、ＲＯＭ１１１２ａとＲＡＭ１１１２ｂとからなる。ＲＯＭ１１１２ａは、ＣＰＵ１１１１の動作を制御するプログラムやデータの格納用メモリとして用いる読み出し専用のメモリであり、ＲＡＭ１１１２ｂは、プログラムやデータの展開用メモリ、プリンタの描画用メモリなどとして用いる書き込みおよび読み出し可能なメモリである。

ＳＢ１１１４は、ＮＢ１１１３とＰＣＩデバイス、周辺デバイスとを接続するためのブリッジである。このＳＢ１１１４は、ＰＣＩバスを介してＮＢ１１１３と接続されており、このＰＣＩバスには、ネットワークインタフェース（Ｉ／Ｆ）部１１０４なども接続される。

ＡＳＩＣ１１１６は、画像処理用のハードウェア要素を有する画像処理用途向けのＩＣ（Integrated Circuit）であり、ＡＧＰバス１１１５、ＰＣＩバス、ＨＤＤ１１１８およびＭＥＭ−Ｃ１１１７をそれぞれ接続するブリッジの役割を有する。このＡＳＩＣ１１１６は、ＰＣＩターゲットおよびＡＧＰマスタと、ＡＳＩＣ１１１６の中核をなすアービタ（ＡＲＢ）と、ＭＥＭ−Ｃ１１１７を制御するメモリコントローラと、ハードウェアロジックなどにより画像データの回転などを行う複数のＤＭＡＣ（Direct Memory Access Controller）と、プリンタ部３００やスキャナ部２００との間でＰＣＩバスを介したデータ転送を行うＰＣＩユニットとからなる。このＡＳＩＣ１１１６には、ＰＣＩバスを介してＦＣＵ（Fax Control Unit）１１２１、ＵＳＢ（Universal Serial Bus）１１２２、ＩＥＥＥ１３９４（the Institute of Electrical and Electronics Engineers 1394）インタフェース１１２３が接続される。

ＭＥＭ−Ｃ１１１７は、コピー用画像バッファ、符号バッファとして用いるローカルメモリであり、ＨＤＤ１１１８は、画像データの蓄積、ＣＰＵ１１１１の動作を制御するプログラムの蓄積、フォントデータの蓄積、フォームの蓄積を行うためのストレージである。

ＡＧＰバス１１１５は、グラフィック処理を高速化するために提案されたグラフィックスアクセラレータカード用のバスインタフェースであり、ＭＥＭ−Ｐ１１１２に高スループットで直接アクセスすることにより、グラフィックスアクセラレータカードを高速にするものである。

次に、本実施の形態のデジタル複合機１０００のコントローラ１１０１がプログラムに従って実現する特徴的な機能であるドキュメントボックス機能の選択時における画像加工処理について説明する。

ここで、図３はドキュメントボックス機能の選択時における画像加工処理にかかる機能構成を示すブロック図、図４は画像加工処理の流れを示すフローチャートである。図３に示すように、デジタル複合機１０００は、ＣＰＵ１１１１がプログラムに従うことにより、部分原稿画像取得手段２１と、元原稿情報取得手段２２と、ブロック情報取得手段２３と、加筆情報取得手段２４と、処理対象ブロック選択手段２６と、処理指示選択手段２６と、画像加工手段２７とを実現する。

部分原稿画像取得手段２１は、ＵＳＢ１１２２に接続されているデジタルカメラ（図示せず）から、部分原稿画像を取得する（図４に示すステップＳ１）。こうして取得された部分原稿画像は、ＨＤＤ１１１８に記憶されている原稿画像の加筆修正のために用いられる。

ここで、まず、ＨＤＤ１１１８に記憶されている原稿画像の加筆修正に用いられる原稿の一例を図５に示す。図５に示すように、原稿Ａは、全体がシート状に形成されたもので、例えば、Ａ３判サイズのものが用いられている。原稿Ａには、デジタル複合機１０００のＨＤＤ１１１８に格納されている各種の原稿画像が１画面単位で各々プリンタ部３００により予め印刷されているとともに、後述するように、その印刷時にデジタル複合機１０００のＨＤＤ１１１８内の原稿画像であることを示すリンク情報と、原稿画像上の座標を示す座標情報とを含む識別情報が２次元コードＣの形態で複数個所に印刷されている。

原稿Ａに印刷されている識別情報（２次元コードＣ）について説明する。この２次元コードＣは前述したようにその原稿Ａに印刷されている原稿画像がＨＤＤ１１１８内の原稿画像であることを示すリンク情報と元原稿画像における座標位置を特定する座標情報とが含まれる。ここで、リンク情報については、複数の２次元コードは全て同一の原稿Ａを特定する情報が付与されている。一方、座標情報については、各２次元コードは原稿Ａにおける位置がそれぞれ異なるため、配置場所に応じた個別の座標情報が割り当てられている。リンク情報が表現するものとしては、例えば、文書名、ページ番号、装置名、そのＩＰアドレス等があり、「￥￥装置名（装置のＩＰアドレス）￥ドライブ名￥フォルダ名￥文書名￥ページ」のようなディレクトリ構造により、その文書（最小は、１ページ分）の格納してある個所（情報蓄積個所）を一義的に特定し得るものであれば良い。また、座標情報が表現するものとしては、例えば、元原稿画像における左上角を原点(横、縦)=(0,0)とし、1ピクセルを単位とする直行座標系により、(100,200)のようにリンク情報の座標を特定する等により、元原稿画像における座標位置を特定し得るものであれば良い。

なお、識別情報が格納されるコードシンボルとしては、１次元バーコード等であってもよいが、文書ＩＤ用として多種多様にわたる文書を分類する必要があり、１次元バーコード等では分類数が不足してしまうことを考えると、本実施の形態のように格段に容量の大きい２次元コードＣを用いることが望ましい。

また、２次元コードＣが原稿Ａに印刷される態様としては、原稿Ａの全面に散りばめて印刷されるものであっても良いし、以下に説明するように、原稿Ａの背景だけに印刷されるものであっても、原稿に印刷される文字や図形などの前景だけに印刷されるものであっても良い。

次に、識別情報を識別パターンとして、原稿の背景だけに印刷される場合について説明する。図６−１から図６−３は、原稿Ａの背景に印刷された識別パターンの例である。図６−１では、原稿の背景に２次元コードが複数印刷されている。これら２次元コードに、リンク情報と座標情報とを含む識別情報が付与されているのは、上記同様である。また、図６−２では、原稿の背景にテクスチャが印刷されており、図６−３では、原稿の背景にグラデーションが印刷されている。これらテクスチャやグラデーションには、それぞれ、所定の範囲ごとに識別情報がピクセルに埋め込まれており、識別情報には、２次元コードの場合と同様に、同一のリンク情報と個別の座標情報とが付与されている。

背景だけに識別パターンを印刷する場合には、文字と背景を区別せずに原稿の全面に識別情報を印刷する場合に比較して文字や記号をより鮮明に判読できるので、用紙内の文字や記号の可読性を高めることができる。

また、識別パターンが原稿の前景だけに印刷される場合について説明する。ここで、前景とは、原稿の背景の上に印刷される文字、記号、図形、罫線等のことである。例えば、用紙内の罫線に識別パターンを印刷することができる。前景に印刷される識別パターンにも、背景に付与される識別パターンと同様に、同一のリンク情報と原稿における文字の配置により異なる個別の座標情報とが埋め込まれている。

背景に識別パターンを印刷した場合には、加筆された文字や記号の形状や大きさ、色などが、背景に印刷された識別パターンと類似すると、文字や記号の判読が困難になる。しかし、とりわけ、用紙内の罫線だけに識別パターンを印刷した場合には、背景に識別パターンを印刷する場合に比較して文字や記号をより的確に判読できるので、用紙内の文字や記号の可読性をより一層高めることができる。

次に、加筆修正が施された原稿Ａの部分であって、デジタルカメラで撮影された部分画像の一例を図７に示す。図７に示すように、原稿Ｂは、下線Ｘと、削除の線Ｙとが加筆された原稿Ａの右下部分をデジタルカメラにより撮影された部分原稿である。また、原稿Ｂは、上述の原稿Ａに印刷されている識別情報と同じ識別情報を保持している。

元原稿情報取得手段２２は、部分原稿画像取得手段２１で取得された部分原稿画像に含まれる識別情報に付与されているリンク情報に従い、オリジナルの原稿画像（元原稿画像）をＨＤＤ１１１８から取得する（図４に示すステップＳ２）。より詳細には、元原稿情報取得手段２２は、取得した部分原稿画像の予め決められた位置に付与されている２次元コードＣをデコードすることによりリンク情報を取得し、取得したリンク情報に従ってオリジナルの原稿画像をＨＤＤ１１１８から取得する。

ブロック情報取得手段２３は、元原稿情報取得手段２２で取得されたオリジナルの原稿画像の内容を取得する（図４に示すステップＳ３）。より具体的には、元原稿情報取得手段２２で取得されたオリジナルの原稿画像の領域抽出処理を行うことにより、オリジナルの原稿画像の画像構成を定義する画像構成ブロックの階層構造を求める。ここで、画像構成ブロックとは、原稿（原稿画像）Ｄ上の文字、形態素、文、段落、図、写真などである。また、画像構成ブロックは、オリジナルの原稿画像上の座標情報がそれぞれ付与されている。領域抽出処理は、オリジナルの原稿画像に対して光学式文字認識を行うＯＣＲ処理などの各種の画像解析処理を実行して原稿画像の画像属性を表す様々な画像特性値を算出した後、算出された各種の画像特性値に基づいて画像構成ブロックの抽出を行う。図８は、図７に示すオリジナルの原稿画像における画像構成ブロックの抽出例である。なお、オリジナルの原稿画像の内容（画像構成ブロック）をメタ情報としてオリジナルの原稿画像に持たせるようにしても良い。

加筆情報取得手段２４は、部分原稿画像取得手段２１で取得された部分原稿画像と、元原稿情報取得手段２２で取得したオリジナルの原稿画像との差分をとり、この差分を加筆情報とする（図４に示すステップＳ４）。本実施の形態における加筆情報は、“○”や“×”に代表されるような図形である。詳細は後述するが、この図形は、ＨＤＤ１１１８に記憶されている原稿画像の加筆修正のためコマンドとなる。より詳細には、まず、取得した部分原稿画像の予め決められた位置に付与されている２次元コードＣをデコードすることにより元原稿画像の座標情報を取得し、取得した座標情報に従ってオリジナルの原稿画像における部分原稿画像に対応する座標位置を特定する。

処理対象ブロック選択手段２６は、加筆情報取得手段２４で取得した加筆情報の原稿画像上の座標位置に基づき、ブロック情報取得手段２３で取得した画像構成ブロックの中から処理対象となる画像構成ブロックを選択する（図４に示すステップＳ５）。

処理指示選択手段２６は、処理対象ブロック選択手段２５で選択された１つまたは複数の処理対象となる画像構成ブロックと加筆情報取得手段２４で取得した加筆情報とのそれぞれの内容、および画像構成ブロックと加筆情報との相対的な位置に応じて処理指示を選択する（図４に示すステップＳ６）。以下において、画像構成ブロックと加筆情報とのそれぞれの内容、および画像構成ブロックと加筆情報との相対的な位置に応じた処理指示の選択について例示的に説明する。
（１）処理指示選択手段２６は、加筆情報が処理対象の画像構成ブロックの領域と交差するか否かに従って処理指示を選択する。具体的には、加筆した線分、閉曲線などが画像構成ブロックと交差するか否かによって、元原稿画像上の画像構成ブロックの削除、または強調表示を行う。原稿の一部に図（画像構成ブロック）が描かれており、図部分と加筆情報が多く交わっている場合には、利用者はこの図を操作対象としたいことが予測できる。なお、画像内容解析手段２３によって該当図の範囲を求めることができるため、ユーザは対象とする図を正確に囲むように描画しなくても、対象図を正確に選択できる。また、文章中の文字列に対しても、該当する文字列を囲むことで範囲選択が可能である。
（２）処理指示選択手段２６は、加筆情報に含まれる画像の特徴情報であるサイズ（例えば、「丸」の大きさ、線の太さなどである）に従って異なる処理指示を選択する。具体的には、加筆された「丸」などの大きさに応じて、選択された画像構成ブロックの画像の強調レベルを変更する。これにより、簡易な操作によって画像構成ブロックの強調レベルを変更でき、紙原稿を電子化した際に、加筆内容に従って画像構成ブロックが強調され、元原稿画像への情報付加の利便性が向上する。
（３）処理指示選択手段２６は、加筆情報に含まれる画像の特徴情報である多重度（線分の重ね合わせ、閉曲線の重ね合わせ）に従って異なる処理指示を選択する。具体的には、画像の多重度は二重丸などである。具体的には、加筆された「丸」などの多重度（二重丸、三重丸など）に応じて、選択された画像構成ブロックの画像の強調レベルを変更する。これにより、簡易な操作によって画像構成ブロックの強調レベルを変更でき、紙原稿を電子化した際に、加筆内容に従って画像構成ブロックが強調され、元原稿画像への情報付加の利便性が向上する。
（４）処理指示選択手段２６は、処理対象の画像構成ブロックが文字、写真、または図であるか判別し、判別結果に従って異なる処理指示を選択する。例えば処理対象となる画像構成ブロック（文字、形態素、文、段落、図、写真など）に応じて、加筆された線や丸などの処理を変更することにより、図上の加筆線では線分が追加され、文字上の加筆線では削除が実行されるなどのように異なる処理指示を選択することができるので、加筆対象に従って元原稿画像への情報付加、削除の利便性が向上する。
（５）処理指示選択手段２６は、処理指示として、元原稿画像の削除、元原稿画像の表示方法の変更（フォントの拡大・縮小、強調表示）、元原稿画像の拡大・縮小、トリミングのいずれかを選択する。

画像加工手段２７は、処理指示選択手段２６で選択された処理指示に従い、リンク情報に基づいて取得したＨＤＤ１１１８内のオリジナルの原稿画像を加工し、ＨＤＤ１１１８にオリジナルとして格納する（図４に示すステップＳ７）。

ここで、処理指示選択手段２６および画像加工手段２７における処理の一例について説明する。

ここで、図７は加筆情報の一例を示す正面図、図９はその処理結果を示す正面図である。図９に示す例は、例えば、画像構成ブロックが文字行である場合において、行間の無地部分に書き込みをした場合（図７のＸ）と、文字の上に線をひいた場合（図７のＹ）とを示す。これらの場合においては、使用者の意図は異なってくる。前者は、その近傍部分を強調したり索引対象としたい場合が多いのに対して、後者は削除対象であったりする場合が多い。したがって、処理指示選択手段２６においては、加筆情報が処理対象の画像構成ブロックの領域と交差するか否かに従って処理指示を選択する。すなわち、図７のＸに示すように、加筆情報が処理対象の画像構成ブロックの領域と交差していない場合には、処理指示選択手段２６は加筆情報の近傍部分を強調する処理指示を選択し、画像加工手段２７は図９のＺに示すように画像構成ブロックをハイライト表示する。一方、図７のＹに示すように、加筆情報が処理対象の画像構成ブロックの領域と交差している場合には、処理指示選択手段２６は削除処理指示を選択し、画像加工手段２７は図９に示すように削除指示された画像構成ブロックを削除する。

すなわち、本実施の形態においては、加筆された軌跡が、原稿（原稿画像）Ａ上のどの画像構成ブロック上に位置するかを解析することで、編集対象範囲が選択できるようになっている。また、図表の周辺またはそれ自体を多く囲むことで、その図表を選択したいという意図を感じることができる。そのようなことから、手書きの加筆情報が原稿（原稿画像）Ａ上のどの画像構成ブロックを通過するかにより、加筆情報の処理方法の意図を推測することができる。

このように本実施の形態によれば、元原稿画像の校正を紙原稿上で行った場合の原稿画像と元原稿画像との差分をとることにより取得された加筆情報と当該加筆情報の原稿画像上の位置に基づいて選択された１つまたは複数の処理対象となる画像構成ブロック（文字、形態素、文、段落、図、写真など）とのそれぞれの内容、および画像構成ブロックと加筆情報との相対的な位置に応じて処理指示（「削除」、「強調表示」、「拡大」など）を選択し、選択された処理指示に従って元原稿画像を加工する。これにより、元原稿画像の校正を紙原稿上で行った場合に、処理対象となる画像構成ブロックと加筆情報との相対的な位置に応じて処理指示を選択することで紙原稿への加筆情報をコマンドとして利用して利用者の意図を元原稿画像に反映させることができるようになるので、紙原稿から元原稿画像に対する情報付加または削除の利便性を向上させることができる。

なお、本実施の形態においては、デジタル複合機１０００に備えられるＨＤＤ１１１８内のオリジナルの原稿画像を加工するようにしたが、これに限るものではなく、デジタル複合機１０００に対しネットワークＩ／Ｆ部１１０４、ＵＳＢ１１２２、ＩＥＥＥ１３９４インタフェース１１２３などを介して接続される外部機器に設けられたＨＤＤなどの記憶部内のオリジナルの原稿画像を加工することもできる。

なお、本実施の形態のデジタル複合機１０００で実行されるプログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Digital Versatile Disk）等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよい。

また、本実施の形態によるデジタル複合機１０００で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成しても良い。また、本実施の形態のデジタル複合機１０００で実行されるプログラムをインターネット等のネットワーク経由で提供または配布するように構成しても良い。

さらに、本実施の形態においては、画像処理装置としてＭＦＰと称されるデジタル複合機１０００を適用したが、これに限るものではない。例えば、画像印刷装置であるプリンタ装置１２０２および画像読取装置であるスキャナ装置１２０４をパーソナルコンピュータ１２０１にケーブル１２０３を介して接続するとともに、この画像処理装置であるパーソナルコンピュータ１２０１のＨＤＤなどの記憶装置（図示せず）に所定のプログラムをインストールし、このプログラムに従ってパーソナルコンピュータ１２０１のＣＰＵ（図示せず）を動作させることによっても、上述したような各種の作用効果と同様の作用効果を得ることができる。

（第２の実施の形態）
図１０は、第２の実施の形態にかかるデジタル複合機２０００の機能構成を示すブロック図である。第１の実施の形態にかかるデジタル複合機１０００では、図３で説明したように、デジタル複合機１０００が、ＣＰＵ１１１１がプログラムに従うことにより、部分原稿画像取得手段２１と、元原稿情報取得手段２２と、ブロック情報取得手段２３と、加筆情報取得手段２４と、処理対象ブロック選択手段２５と、処理指示選択手段２６と、画像加工手段２７とを実現していた。これに対し、本実施の形態にかかるデジタル複合機２０００は、部分原稿画像取得手段２１と、元原稿情報取得手段３１と、座標位置取得手段２３と、ブロック情報取得手段２３と、加筆情報取得手段２４と、処理対象ブロック選択手段２５と、処理指示選択手段２６と、画像加工手段２７に加えて、取得結果通知手段３２をも実現する。

なお、本実施の形態にかかるデジタル複合機２０００が、フィニッシャ１００とスキャナ部２００とプリンタ部３００とからなる構成については、第１の実施の形態で説明した図１と同様であるので、説明を省略する。また、本実施の形態にかかるデジタル複合機２０００のハードウェア構成についても、第１の実施の形態で説明した図２と同様であるので、説明を省略する。

図１０に示す機能構成のうち、部分原稿画像取得手段２１と、ブロック情報取得手段２３と、加筆情報取得手段２４と、処理対象ブロック選択手段２５と、処理指示選択手段２６と、画像加工手段２７とは、第１の実施の形態と同様であるため、説明を省略する。

元原稿情報取得手段３１は、部分原稿画像取得手段２１で取得された部分原稿画像に含まれる識別情報に付与されているリンク情報に従い、オリジナルの原稿画像（元原稿画像）をＨＤＤ１１１８から取得する（図４に示すステップＳ２）。元原稿情報取得手段３１が、２次元コードＣをデコードすることによりリンク情報を取得し、取得したリンク情報に従ってオリジナルの原稿画像をＨＤＤ１１１８から取得した場合には、取得結果通知手段３２に、取得に成功した情報を送信する。

取得結果通知手段３２は、元原稿情報取得手段３１が、オリジナルの原稿画像をＨＤＤ１１１８から取得したか否かを確認し、取得結果を通知する。より詳細には、取得取得結果通知手段３２は、元原稿情報取得手段２２から元原稿画像の取得に成功した情報を受信した場合には、例えば、操作画面に、取得成功の表示を行う。一方、元原稿情報取得手段３１から元原稿画像の取得に成功した情報を受信しなかった場合には、取得失敗の表示を行う。

このように、元原稿画像の取得結果を操作画面に通知することにより、ユーザは、ＨＤＤ１１１８に保存されているオリジナルの原稿画像の有無の確認を容易に行うことができるので、紙原稿から元原稿画像に対する情報付加または削除の利便性を向上させることができる。

本発明の実施の一形態にかかるデジタル複合機を概略的に示す構成図である。 デジタル複合機のハードウェア構成を示すブロック図である。 画像加工処理にかかる機能構成を示すブロック図である。 画像加工処理の流れを示すフローチャートである。 原稿画像の加筆修正に用いられる原稿の一例を示す正面図である。 識別情報パターンの一例を示す図である。 識別情報パターンの一例を示す図である。 識別情報パターンの一例を示す図である。 加筆された部分画像を示す図である。 画像構成ブロックの抽出例を示す模式図である。 処理結果を示す正面図である。 画像加工処理にかかる機能構成を示すブロック図である。 画像処理システムの概略構成例を示すブロック図である。

符号の説明

２１ 部分原稿画像取得手段
２２、３１ 元原稿情報取得手段
２３ ブロック情報取得手段
２４ 加筆情報取得手段
２５ 処理対象ブロック選択手段
２６ 処理指示選択手段
２７ 画像加工手段
３２ 取得結果通知手段
１００ フィニッシャ
１２０１ パーソナルコンピュータ
Ａ 原稿
Ｂ 部分原稿
Ｃ 識別情報

Claims (7)

1. 座標情報と、元原稿画像の格納位置を示すリンク情報とを含む識別情報が、該元原稿画像の該座標情報に示される座標に印刷された原稿画像の、該識別情報が含まれる一部の領域を含む部分原稿画像を取得する部分原稿画像取得手段と、
   前記部分原稿画像に含まれる前記リンク情報に従って、前記元原稿画像を取得する元原稿画像取得手段と、
   前記部分原稿画像に含まれる前記座標情報に従って前記元原稿画像の座標位置を取得し、取得された該座標位置に従って該元原稿画像における該部分原稿画像に対応する座標位置を特定し、該座標位置に従い該部分原稿画像と該元原稿画像との差分を取ることにより、該元原稿画像に対して加筆された加筆情報と加筆部分を示す座標位置とを取得する加筆情報取得手段と、
   前記元原稿画像の画像構成を定義する画像構成ブロック及びその座標位置を取得するブロック情報取得手段と、
   前記加筆情報取得手段により取得した前記加筆部分の座標位置に基づいて処理対象となる前記画像構成ブロックを選択する処理対象ブロック選択手段と、
   選択された１つまたは複数の処理対象となる前記画像構成ブロックと前記加筆部分とのそれぞれの内容、および前記画像構成ブロックと前記加筆情報との相対的な位置に応じて処理指示を選択する処理指示選択手段と、
   選択された処理指示に従って前記元原稿画像を加工する画像加工手段と、
   を備えることを特徴とする画像処理装置。
2. 前記元原稿取得手段により前記元原稿画像が取得されたか否かを判断し、その旨を通知する取得結果通知手段、
   をさらに備えたことを特徴とする請求項１に記載の画像処理装置。
3. 前記識別情報は、２次元コードであること、
   を特徴とする請求項１または２に記載の画像処理装置。
4. 前記識別情報は、前記原稿の背景に付与されている識別パターンであること、
   を特徴とする請求項１または２に記載の画像処理装置。
5. 前記識別情報は、前記原稿の前景に付与されている識別パターンであること、
   を特徴とする請求項１または２に記載の画像処理装置。
6. コンピュータを、
   座標情報と、元原稿画像の格納位置を示すリンク情報とを含む識別情報が、該元原稿画像の該座標情報に示される座標に印刷された原稿画像の、該識別情報が含まれる一部の領域を含む部分原稿画像を取得する部分原稿画像取得手段と、
   前記部分原稿画像に含まれる前記リンク情報に従って、前記元原稿画像を取得する元原稿画像取得手段と、
   前記部分原稿画像に含まれる前記座標情報に従って前記元原稿画像の座標位置を取得し、取得された該座標位置に従って該元原稿画像における該部分原稿画像に対応する座標位置を特定し、該座標位置に従い該部分原稿画像と該元原稿画像との差分を取ることにより、該元原稿画像に対して加筆された加筆情報と加筆部分を示す座標位置とを取得する加筆情報取得手段と、
   前記元原稿画像の画像構成を定義する画像構成ブロック及びその座標位置を取得するブロック情報取得手段と、
   前記加筆情報取得手段により取得した前記加筆部分の座標位置に基づいて処理対象となる前記画像構成ブロックを選択する処理対象ブロック選択手段と、
   選択された１つまたは複数の処理対象となる前記画像構成ブロックと前記加筆部分とのそれぞれの内容、および前記画像構成ブロックと前記加筆情報との相対的な位置に応じて処理指示を選択する処理指示選択手段と、
   選択された処理指示に従って前記元原稿画像を加工する画像加工手段と、
   として機能させるためのプログラム。
7. 画像処理装置で実行される画像処理方法であって、
   前記画像処理装置は、制御部と記憶部を備え、
   前記制御部において実行される、
   座標情報と、元原稿画像の格納位置を示すリンク情報とを含む識別情報が、該元原稿画像の該座標情報に示される座標に印刷された原稿画像の、該識別情報が含まれる一部の領域を含む部分原稿画像を取得する部分原稿画像取得ステップと、
   前記部分原稿画像に含まれる前記リンク情報に従って、前記元原稿画像を取得する元原稿画像取得ステップと、
   前記部分原稿画像に含まれる前記座標情報に従って前記元原稿画像の座標位置を取得し、取得された該座標位置に従って該元原稿画像における該部分原稿画像に対応する座標位置を特定し、該座標位置に従い該部分原稿画像と該元原稿画像との差分を取ることにより、該元原稿画像に対して加筆された加筆情報と加筆部分を示す座標位置とを取得する加筆情報取得ステップと、
   前記元原稿画像の画像構成を定義する画像構成ブロック及びその座標位置を取得するブロック情報取得ステップと、
   前記加筆情報取得手段により取得した前記加筆部分の座標位置に基づいて処理対象となる前記画像構成ブロックを選択する処理対象ブロック選択ステップと、
   選択された１つまたは複数の処理対象となる前記画像構成ブロックと前記加筆部分とのそれぞれの内容、および前記画像構成ブロックと前記加筆情報との相対的な位置に応じて処理指示を選択する処理指示選択ステップと、
   選択された処理指示に従って前記元原稿画像を加工する画像加工ステップと、
   を含むことを特徴とする画像処理方法。

Images