JP2021119669A - 画像処理装置 - Google Patents

Abstract

【課題】原稿から色情報を有する線で囲われた領域を抽出し、色情報と紐付けた位置情報及び前記領域に基づいて画像を生成する画像処理装置を提供する。【解決手段】画像処理装置１は、記憶部、読取部、画像抽出部、画像生成部及び操作部を備える。記憶部は、特定の色情報を記憶する。読取部は、シートを読み取り画像データを得る。画像抽出部は、画像データから特定の色情報と、第１シートから得た第１画像データにおいて特定の色情報を有する線で囲われた第２画像データと、第２シートから得た第３画像データにおいて特定の色情報を有する線で囲われた位置情報とを抽出する。画像生成部は、第２画像データ及びレイアウト位置情報に基づく第４画像データを生成する。操作部は、第１シートを読み取る第１操作を受け付けた場合、位置情報を抽出する第２操作が受け付け可能となり、第２操作を受け付けた場合、画像生成部による第４画像データを生成する。【選択図】図１

Description

本発明の実施形態は、特定の色情報を有する線により抽出する画像と合成位置の指定を行う画像処理装置および画像処理方法に関する。

従来、原稿上の一部分の画像をマーカーで囲い、画像処理装置がその原稿を読み取ることで画像を切り出して抽出する技術が知られている。

この時、マーカーの近傍に管理用の記号（例えば数字など）を記載しておくことで、抽出された画像は管理用の記号と結び付けられて管理される。

しかしながら従来の技術では、原稿上に元々形成されていた記号を管理用の記号として誤って認識してしまうおそれがあった。

特開２００８−７８７５７号公報

本発明の実施形態が解決しようとする課題は、切り出し原稿から特定の色情報を有する線で囲われた領域の画像を抽出し、特定の色情報と紐付けられたレイアウト位置情報に基づいて、抽出した画像から新たな画像を生成する画像処理装置を提供することである。

上記課題を解決するために、本実施形態の画像処理装置は、記憶部と、読取部と、抽出部と、画像生成部と、操作部を備える。

前記記憶部は特定の色情報を記憶する。前記読取部はシート上の画像を読み取り、画像データを取得する。前記抽出部は前記読取部により取得された画像データから前記特定の色情報を抽出し、前記読取部により第１のシートから取得された第１の画像データにおいて前記特定の色情報を有する線によって囲われた第２の画像データを抽出し、前記読取部により第２のシートから取得された第３の画像データにおいて前記特定の色情報を有する線によって囲われた領域の位置情報であるレイアウト位置情報を抽出する。前記画像生成部は前記第２の画像データおよび前記レイアウト位置情報に基づく第４の画像データを生成する。操作部は、前記読取部により前記第１のシート上の前記画像を読み取る第１の操作を受け付けた場合、前記抽出部により前記第２のシート上の前記レイアウト位置情報を抽出する第２の操作が受け付け可能となり、前記第２の操作を受け付けた場合、前記画像生成部による前記第４の画像データを生成する。

第１の実施形態に係る画像処理装置の構成を示すブロック図。 第１の実施形態に係る画像抽出部の構成を示すブロック図 第１の実施形態に係るコントロールパネルの表示を示す平面図。 第１の実施形態に係るコントロールパネルでの報知画面を示す平面図。 第１の実施形態に係る色登録用原稿を示す平面図。 第１の実施形態に係る色情報ＤＢに記憶された情報を示す平面図。 第１の実施形態に係る矩形化を示す平面図。 第１の実施形態に係る矩形化の変形例を示す平面図。 第１の実施形態に係る画像生成部の構成を示す平面図。 第１の実施形態に係る切り出し領域の矩形化を示す平面図。 第１の実施形態に係るレイアウト領域の矩形化を示す平面図。 第１の実施形態に係る領域情報保持部に記憶された情報を示す表。 第１の実施形態に係る切り出し領域の情報取得のフローチャート。 第１の実施形態に係るレイアウト領域の情報取得のフローチャート。 第１の実施形態に係る画像合成のフローチャート。 第２の実施形態に係る切り出し領域の情報取得のフローチャート。 第３の実施形態に係る切り出し領域の矩形化を示す平面図。 第３の実施形態に係るレイアウト領域の矩形化を示す平面図。 第３の実施形態に係る領域情報保持部に記憶された情報を示す表。 第３の実施形態に係る類似の色情報の判定方法を示す平面図

以下、発明を実施するための実施形態について、図面を参照して説明する。

（第１の実施形態）
本実施形態では画像処理装置１として、シートにトナー像を形成可能な機能を有する複合機（ＭＦＰ；Multi Function Peripheral）を例に説明する。

図１は、画像処理装置１の構成を示すブロック図である。画像処理装置１は制御部１００、読取部１２５、記憶部１３０、コントロールパネル１３５、プリンタ部１４０、定着部１４５、搬送部１５０、画像処理部１５５および通信インターフェース（Ｉ／Ｆ）部１７０を有する。画像処理装置１の各部は、バス１７５を介して接続される。

制御部１００は、ＣＰＵ（Central Processing Unit）或いはＭＰＵ（Micro Processing Unit）からなるプロセッサ１０５とメモリ１１０を有する。メモリ１１０は、例えば、半導体メモリであり、各種制御プログラムを格納するＲＯＭ１１５（Read Only Memory）と、プロセッサ１０５に一時的な作業領域を提供するＲＡＭ１２０（Random Access Memory）を有する。制御部１００は、ＲＯＭ１１５に格納された各種プログラム等に基づいて、画像処理装置１の各部を制御する。

読取部１２５は、例えば対象となるシートの画像を読み取るスキャナである。読取部１２５は、読み取った画像情報を画像データとして後述する記憶部１３０へ保存する。記憶部１３０に保存された画像データはネットワークを介して他の情報処理装置に送信されてもよい。また、記憶部１３０に保存された画像データは、後述するプリンタ部１４０によって別のシート上に画像形成されてもよい。

記憶部１３０は、読取部１２５が読み取った画像データを保存する。記憶部１３０は、例えば、ハードディスクドライブ、その他の磁気記憶装置、光学式記憶装置、若しくはフラッシュ・メモリ等の半導体記憶装置、又はこれらの任意の組み合わせであって良い。

コントロールパネル１３５は、表示部および操作部を有する。表示部は、例えば液晶ディスプレイおよび有機ＥＬ（ElectroLuminescence）ディスプレイ等である。表示部は、画像処理装置１に関する種々の情報を表示する。操作部は、ユーザの操作を受け付ける。操作部は、ユーザによって行われた操作に応じた信号を制御部１００に出力する。尚、表示部と操作部とは一体のタッチパネルとして構成されてもよい。

プリンタ部１４０は、トナーによってシートの表面上に画像を形成する。トナーは、例えば、イエロー（Ｙ）、マゼンタ（Ｍ）、シアン（Ｃ）、ブラック（Ｋ）などのトナーである。プリンタ部１４０は、帯電部、感光体ドラム、露光部、現像器、転写ローラ、転写ベルトを有する。帯電部は感光体ドラムの表面に一様に電荷を付加する。露光部は感光体ドラム上にレーザ光を照射する。これによりレーザ光が照射された部分の電荷が失われ感光体ドラム上に静電気による像（静電潜像）が形成される。トナーを保持するカートリッジから供給されたトナーは、現像器により感光体ドラムに供給され静電潜像にトナーの像を形成する。この像は転写ベルトに転写され（一次転写）、転写ローラによりシートに転写される（二次転写）。

定着部１４５は、加熱ローラと加圧ローラを備える。加熱ローラは、シートの表面側からシートに熱を加える。加圧ローラはシートの裏面側からシートに圧力を与える。定着部１４５は、この熱と圧力とによって、画像形成時にはシートに転写されたトナー像を定着させる。

搬送部１５０は、搬送路に配置される複数の搬送ローラおよびこれらのローラを駆動する搬送モータを有する。搬送部１５０は、給紙トレイから搬送路に沿ってシートを搬送し、プリンタ部１４０および定着部１４５を介して排紙トレイに排紙する。

画像処理部１５５は、画像抽出部１６０と画像生成部１６５を有する。画像処理部１５５の構成としては、前述したＣＰＵやＭＰＵなどを用いることができる。また、画像処理装置１が備える機能の一部または全部を、プロセッサ１０５としてのＡＳＩＣ（Application Specific Integrated Circuit）が実現してもよい。

画像抽出部１６０は、原稿上に形成されている特定の領域の画像データを抽出する。特定の領域の画像データは、例えば、マーカーペンやボールペンによる手書きの線（以下、手書き線）により囲われた領域の画像である。画像抽出部１６０は、領域内の画像データを抽出し、その抽出した画像データ、領域を囲う手書き線の色情報、および色情報と紐付けられた位置情報を記憶する。画像生成部１６５は、画像抽出部１６０により抽出された１または複数の画像データに基づき新しい画像データを生成する。これらの構成については後に詳述する。

通信Ｉ／Ｆ部１７０は、外部の機器と接続するインターフェースである。通信Ｉ／Ｆ部１７０は、例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標）、赤外線通信、光通信といったＩＥＥＥ８０２．１５、ＩＥＥＥ８０２．１１、ＩＥＥＥ８０２．３等の適切な無線又は有線を介してネットワーク上の外部装置と通信する。通信Ｉ／Ｆ部１７０は、更に、ＵＳＢ規格の接続端子が接続されるＵＳＢ接続部やパラレルインターフェース等を含んでもよい。制御部１００は、通信Ｉ／Ｆ部１７０を介して複合機、その他外部機器と通信する。

図２は第１の実施形態の画像処理装置１における画像抽出部１６０のブロック図である。画像抽出部１６０は、領域種別判定部２００、画像入力部２０５、色抽出部２１０、領域検出部２１５、矩形化部２２０、色除去部２２５および領域情報保持部２３０を備える。

領域種別判定部２００は、読取部１２５が読み取る原稿が、画像データを抽出するための原稿（以下、切り出し原稿２）か、画像データを生成するための位置情報を含む原稿（以下、レイアウト原稿３）かを判定する。例えば、図３に示すようにコントロールパネル１３５は「スキャン」ボタン１３５（ａ）、「レイアウト」ボタン１３５（ｂ）、「合成」ボタン１３５（ｃ）、画像１３５（ｄ）および画像１３５（ｅ）を表示する。制御部１００はコントロールパネル１３５上の「スキャン」ボタン１３５（ａ）または「レイアウト」ボタン１３５（ｂ）が押下されると読取部１２５に原稿を読み取らせる。領域種別判定部２００は、コントロールパネル１３５上の「スキャン」ボタン１３５（ａ）が押下された場合は読取部１２５が読み取る原稿が切り出し原稿２であると判定する。

図３（ａ）は読取部１２５が切り出し原稿２を読み取った後のコントロールパネル１３５を示した図である。ここで、画像１３５（ｄ）は読取部１２５が切り出し原稿２から取得した画像データである。領域種別判定部２００は、コントロールパネル１３５上の「レイアウト」ボタン１３５（ｂ）が押下された場合は読み取る原稿がレイアウト原稿３であると判定する。尚、読取部１２５が切り出し原稿２の読み取りを行う前は「レイアウト」ボタン１３５（ｂ）の色を変えて表示し、「レイアウト」ボタン１３５（ｂ）が押下されてもコントロールパネル１３５が反応しないようにすることが望ましい。「合成」ボタン１３５（ｃ）も同様に、読取部１２５が切り出し原稿２およびレイアウト原稿３の読み取りを行う前は色を変えて表示し、「合成」ボタン１３５（ｃ）が押下されてもコントロールパネル１３５が反応しないようにすることが望ましい。図３（ｂ）は読取部１２５がレイアウト原稿３を読み取った後のコントロールパネル１３５を示した図である。ここで、画像１３５（ｅ）には切り出し原稿２から取得された画像データとレイアウト原稿３から取得された画像データとに基づいて後述する画像生成部１６５が生成した新たな画像データが表示される。

尚、制御部１００は図４に示すように、「スキャン」ボタン１３５（ａ）が押下された際は読取部１２５に切り出し原稿２をセットするようにコントロールパネル１３５に表示しても良い。また、同様に制御部１００は、「レイアウト」ボタン１３５（ｂ）が押下された際はレイアウト原稿３を読取部１２５にセットするようにコントロールパネル１３５に表示しても良い。

画像入力部２０５は、読取部１２５において読み取られた画像データの情報を画像抽出部１６０の色抽出部２１０へ入力する。ここで入力された情報を基に画像抽出部１６０の各部は処理を行う。

色抽出部２１０は、各原稿に形成された色情報を検出する。色抽出部２１０は例えば色情報として原色のＲＧＢ色空間で表す情報値を取得し、この情報値に基づいて手書き線を識別する。尚、本実施形態の特定の色情報は、読取部１２５が特定の色情報を登録するための原稿（以下、色登録用原稿４）を読み込んだ際に取得した画像データから取得される。色抽出部２１０が色登録用原稿４から取得した色情報をＲＧＢ値として記憶部１３０の図示しない色情報データベース（ＤＢ）に記憶される。ここで取得された色情報は色番号または色名の少なくとも一方を付して記憶される。色抽出部２１０は切り出し原稿２およびレイアウト原稿３から取得した色情報の中から色情報ＤＢに登録されている特定の色情報を検出するとその色情報を領域情報保持部２３０に記憶する。

領域検出部２１５は、色抽出部２１０により検出された手書き線で囲まれた部分を領域として判定する。以下、切り出し原稿２上で検出された領域を切り出し領域２５０、レイアウト原稿３上で検出された領域をレイアウト領域２６０とする。

矩形化部２２０は、領域検出部２１５にて検出された領域を内包する矩形を形成する。以下、切り出し原稿２に形成された矩形を切り出し矩形２５５、レイアウト原稿３に形成された矩形をレイアウト矩形２６５とする。

色除去部２２５は、切り出し原稿２の読み取り時において、領域検出部２１５が検出した切り出し領域２５０の画像データから手書き線の除去を行い、除去後に得られた画像データを領域情報保持部２３０に記憶する。

領域情報保持部２３０は、領域種別判定部２００、矩形化部２２０、および色除去部２２５によって得られた情報を領域ごとに紐付けして記憶する。また、色抽出部２１０が取得した特定の色情報も記憶する。

図５は色登録用原稿４を示す平面図である。色登録用原稿４には、特定の色情報を登録するための手書き線が形成されている。例えば図５では特定の色情報を登録するための手書き線としてグリーン２４０ｇ、ピンク２４０ｐ、イエロー２４０ｙ、ブルー２４０ｂおよびネイビー２４０ｎの手書き線が形成されている。この色登録用原稿４を読取部１２５に読み取らせることで、色抽出部２１０は色登録用原稿４に形成された手書き線から色情報を取得し色情報ＤＢへ記憶（登録）させる。以降、この色情報を特定の色情報として処理を行う。尚、色登録用原稿４に形成される手書き線は、直線である必要はなく、曲線、文字または図形などであっても良い。以下、色登録用原稿４から取得された特定の色情報に基づいて画像処理部１５５は処理を行う。

図６は色情報ＤＢへ記憶された色情報を示す表である。色情報ＤＢは色登録用原稿４から取得された特定の色情報をＲＧＢ値として記憶する。制御部１００はこれらの情報のそれぞれに色番号を付して色情報ＤＢへ記憶させる。但し、以降の図では説明の便宜上色番号と合わせて色名も記載して説明を行う。

図７は、切り出し領域２５０を内包する切り出し矩形２５５を示した平面図である。以下、図７を用いて矩形化部２２０の処理を説明する。図７には３つの切り出し領域２５０１、２５０２および２５０３に加えそれぞれの領域を内包する切り出し矩形２５５１、２５５２および２５５３が示されている。この図７では切り出し領域２５０を実線で示し、切り出し矩形２５５を点線で示している。矩形化部２２０は各切り出し領域２５０における切り出し矩形２５５の情報を算出し、領域情報保持部２３０に記憶する。

切り出し矩形２５５の情報とは、例えば切り出し矩形２５５１の座標情報（ｘｉ１、ｙｉ１）、サイズ情報（ＸＩ１、ＹＩ１）、および領域番号（１）などである。これらの処理はレイアウト原稿３の読み取り時においてもレイアウト領域２６０に対し同様に行われる。以下この処理について説明する。

例えば切り出し領域２５０１、２５０２および２５０３はそれぞれ異なる色情報を有する手書き線によって形成された切り出し領域２５０であるとする。

まず、ｘｙ座標系に対し、切り出し領域２５０１の切り出し矩形２５５１の座標は（ｘｉ１、ｙｉ１）と表せる。ここで１は領域番号を示している。領域番号は、検出された切り出し領域２５０に対し１から順に割り振られる番号である。切り出し矩形２５５のｘ方向の大きさをＸＩ１、ｙ方向の大きさをＹＩ１とすれば切り出し矩形２５５の頂点の座標は（ｘｉ１、ｙｉ１）、（ｘｉ１＋ＸＩ１、ｙｉ１）、（ｘｉ１、ｙｉ１＋ＹＩ１）、（ｘｉ１＋ＸＩ１、ｙｉ１＋ＹＩ１）と表せる。

ここでｉ、Ｉは原稿が切り出し原稿２であることを示している。原稿がレイアウト原稿３の際はｉ、Ｉに替えてｏ、Ｏで示す。

同様に、矩形化部２２０は切り出し領域２５０２と２５０３の切り出し矩形２５５２と２５５３の座標と大きさの情報を得る。

尚、上述した切り出し矩形２５５の形成は、レイアウト原稿３における矩形化の際も同様に行う。

尚、切り出し原稿２上で同一の手書き線に囲われた切り出し領域２５０が複数ある場合、矩形化部２２０はその同一の手書き線に囲われた切り出し領域２５０を結合した後に１つの画像として領域情報保持部２３０に記憶しても良い。

例えば図７において、切り出し領域２５０１と２５０３が同一の手書き線により形成され、切り出し領域２５０２が切り出し領域２５０１と２５０３を形成する手書き線とは異なる手書き線により形成されているとする。

この場合、図８（ａ）に示すように、矩形化部２２０は、切り出し矩形２５５１の頂点（ｘｉ１、ｙｉ１＋ＹＩ１）と切り出し矩形２５５３の頂点（ｘｉ３、ｙｉ３）が一致するように切り出し矩形２５５を移動して結合する。

このようにして結合された切り出し矩形２５５に内包される画像データは１つの画像データとして扱われ、矩形化部２２０は当該画像データに対し他の切り出し領域２５０同様に矩形化を行う（図８（ｂ））。この切り出し矩形２５５の情報は領域情報保持部２３０に記憶される。

次に、画像処理部１５５を構成する画像生成部１６５について説明する。

図９は第１の実施形態における画像生成部１６５の構成を示したブロック図である。画像生成部１６５は、合成位置決定部３００、変倍率算出部３０１、変倍部３０２、合成部３０３を備える。

合成位置決定部３００は、領域情報保持部２３０に記憶された画像データを原稿上のどの位置に合成するかを決定する。例えば、領域情報保持部２３０に記憶された手書き線の情報を基に、切り出し領域２５０の座標をこの切り出し領域２５０と同じ手書き線で囲われたレイアウト領域２６０の座標を参照して決定する。例えば、ブルーの手書き線で囲われた切り出し領域２５０の座標を、ブルーの手書き線で囲われたレイアウト領域２６０の座標に一致させる。

変倍率算出部３０１は、合成対象の切り出し領域２５０の矩形サイズ（ＸＩ、ＹＩ）とその合成先のレイアウト領域２６０の矩形サイズ（ＸＯ、ＹＯ）を基に、切り出し矩形２５５がレイアウト矩形２６５に収まるように変倍率を算出する。

変倍部３０２は、変倍率算出部３０１が算出した倍率に基づいて切り出し領域２５０のサイズを変更する。

合成部３０３は、変倍部３０２でサイズ変更された切り出し領域２５０を合成位置決定部３００で決定した座標に合成する。尚、この合成により生成される画像データは、画像処理装置１での印刷、またはＰＣへのメールの送信若しくは外部からアクセス可能なサーバへの保存などにより一般的な画像ファイルと同様に利用可能な画像データとして生成される。

ここで図５、図１０および図１１を用いて画像処理部１５５の処理の例を説明する。図１０は切り出し領域２５０が形成された切り出し原稿２の平面図である。図１１はレイアウト領域２６０が形成されたレイアウト原稿３の平面図である。

図１０の切り出し原稿２は、図５で登録された特定の色情報であるブルー、ピンクおよびグリーンの手書き線によって切り出し領域２５０ｂ、２５０ｐおよび２５０ｇが形成されているとする。切り出し領域２５０ｂ、２５０ｐおよび２５０ｇについて、図７と同様に矩形化部２２０が切り出し領域２５０の矩形化を行い、領域の線を内包するように切り出し矩形２５５を形成し、更に領域番号（１）、（２）および（３）をカウントする。領域情報保持部２３０は、切り出し矩形２５５の座標、サイズ、色番号、領域番号の情報および領域内の画像データを紐付けて記憶する。

図１１のレイアウト原稿３は、図５で登録された特定の色情報であるピンク、グリーンおよびイエローの手書き線によってレイアウト領域２６０ｐ、２６０ｇおよび２６０ｙが形成されているとする。これらの領域に対し、図７の切り出し領域２５０の矩形化と同様に、矩形化部２２０はレイアウト領域２６０を内包するように矩形２６５を形成し、更に領域番号（１）、（２）および（３）をカウントする。領域情報保持部２３０は、レイアウト矩形２６５の座標、サイズ、色番号、領域番号の情報を紐付けして記憶する。

図１２は本実施形態における領域情報保持部２３０に記憶されている情報を示した表の一例である。この例では、領域種別として切り出し領域２５０であればＩ、レイアウト領域２６０であれば０と表示している。

これらの情報を基に合成位置決定部３００が合成位置を算出し、変倍率算出部３０１が変倍率を算出する。例えばピンクの手書き線によって形成されたレイアウト領域２６０ｐの座標にピンクの手書き線によって形成された切り出し領域２５０ｐの座標を合わせる。更に、この切り出し領域２５０ｐの切り出し矩形２５５ｐがレイアウト領域２６０ｐのレイアウト矩形２６５ｐに内包されるサイズになるように変倍部３０２が変倍し、合成部３０３が画像の合成を行う。

次にグリーンの手書き線によって形成されたレイアウト領域２６０ｇについても同様に処理を進めていく。このように領域情報保持部２３０に記憶されたレイアウト領域２６０ごとに、順次処理を進めていく。ここで、イエローの手書き線によって形成されたレイアウト領域２６０ｙは、これに対応する切り出し領域２５０の情報が記憶されていない。そのため画像生成部１６５は画像を合成するための処理を行わず次の領域の処理へ進む。

同様に、図１０のブルーの手書き線によって形成された切り出し領域２５０ｂは、これに対応するレイアウト領域２６０の情報が記憶されていないため画像生成部１６５は処理を行わずに次の領域に処理が進む。これらの処理を全ての領域に対して行う。

図１３は、第１の実施形態における切り出し領域２５０を記憶する処理を示すフローチャートである。尚、この処理を始める前に制御部１００は読取部１２５により色登録用原稿４を読み取り特定の色情報を色情報ＤＢへ記憶させておく。制御部１００はコントロールパネル１３５上の「スキャン」ボタン１３５（ａ）が押下されると読取部１２５による原稿の読み取りを開始する（ＡＣＴ１００）。この時、領域種別判定部２００は、「スキャン」ボタン１３５（ａ）が押下されたことにより読取部１２５が読み取る原稿の種別が切り出し原稿２であると判断する（ＡＣＴ１０１）。読取部１２５はスキャナにて切り出し原稿２を読み取り、画像データを取得する（ＡＣＴ１０２）。

次に制御部１００は色抽出部２１０により、取得された画像データ内に手書き線が含まれているか否かを検出し、手書き線が含まれていればその色情報を判定する（ＡＣＴ１０３）。手書き線が検出されると、制御部１００は領域検出部２１５により手書き線で囲われた領域を切り出し領域２５０であると判断する。（ＡＣＴ１０４）。その後、制御部１００は矩形化部２２０により、領域検出部２１５で検出された切り出し領域２５０を形成する線を内包するように切り出し矩形２５５を形成する（ＡＣＴ１０５）。制御部１００は色除去部２２５により、画像データの中から領域を形成している手書き線を除去する（ＡＣＴ１０６）。制御部１００はここまでの処理で算出された領域種別、矩形情報、色情報および画像の情報を各領域ごとに紐付けて領域情報保持部２３０に記憶する（ＡＣＴ１０７）。

その後、色抽出部２１０が他の特定の色情報を有する手書き線を検出していれば（ＡＣＴ１０８、ＹＥＳ）、制御部１００は手書き線で囲われた全ての切り出し領域２５０について領域情報が記憶されるまでＡＣＴ１０３からＡＣＴ１０７の処理を繰り返す。全ての領域２５０の領域情報が記憶された後、切り出し原稿２に他のページがある場合（ＡＣＴ１０９、ＹＥＳ）、制御部１００は全てのページにおいて前述の処理がされるようにＡＣＴ１０２からＡＣＴ１０８の処理を繰り返す。全てのページにおいて処理がされれば（ＡＣＴ１０９、ＮＯ）、制御部１００は切り出し領域２５０の情報を記憶する一連の処理を終了する。

図１４は第１の実施形態における画像処理装置１によるレイアウト領域２６０を記憶する処理を示すフローチャートである。制御部１００は、コントロールパネル１３５上の「レイアウト」ボタン１３５（ｂ）が押下されると読取部１２５による原稿の読み取りを開始する（ＡＣＴ２００）。このとき領域種別判定部２００は「レイアウト」ボタン１３５（ｂ）が押下されたことにより読取部１２５が読み取る原稿の種別がレイアウト原稿３であると判断する（ＡＣＴ２０１）。読取部１２５は、スキャナにてレイアウト原稿３を読み取り、画像データを取得する（ＡＣＴ２０２）。

次に制御部１００は色抽出部２１０により、取得された画像データ内に手書き線が含まれているか否かを検出し、手書き線が含まれていればその色情報を判定する（ＡＣＴ２０３）。手書き線が検出されると、制御部１００は領域検出部２１５により手書き線よって形成された部分をレイアウト領域２６０と判断する（ＡＣＴ２０４）。その後、制御部１００は矩形化部２２０により、領域検出部２１５で検出されたレイアウト領域２６０を形成する線を内包するようにレイアウト矩形２６５を形成する（ＡＣＴ２０５）。制御部１００はここまでの処理で算出された領域種別、矩形情報、色情報を各領域ごとに紐付けして領域情報保持部２３０に記憶する（ＡＣＴ２０６）。

色抽出部２１０が、他の特定の色情報を有する手書き線を検出していれば（ＡＣＴ２０７、ＹＥＳ）、制御部１００は全ての領域について領域情報が記憶されるまでＡＣＴ２０３からＡＣＴ２０６の処理を繰り返す。全ての領域の領域情報が記憶された後（ＡＣＴ２０７、ＮＯ）、レイアウト原稿３に他のページがある場合（ＡＣＴ２０８、ＹＥＳ）、制御部１００は全てのページにおいて前述の処理がされるようにＡＣＴ２０２からＡＣＴ２０７の処理を繰り返す。全てのページにおいて処理がされれば（ＡＣＴ２０８、ＮＯ）、制御部１００はレイアウト領域２６０の情報を記憶する一連の処理を終了する。

図１５は、第１の実施形態における画像合成の処理を示すフローチャートである。

制御部１００は、コントロールパネル１３５の「合成」ボタンが押下されると、画像生成部１６５により領域情報保持部２３０に記憶された情報に基づいて画像データの合成を開始する（ＡＣＴ３００）。合成位置決定部３００は、レイアウト領域２６０の矩形情報に基づき原稿上の合成位置の座標を決定する（ＡＣＴ３０１）。その後、制御部１００は合成部３０３により、レイアウト領域２６０の色情報と同じ色情報を持つ切り出し領域２５０の情報があるか否かを判断する（ＡＣＴ３０２）。該当する切り出し領域２５０がなければ（ＡＣＴ３０２、ＹＥＳ）、制御部１００は処理をＡＣＴ３０６に進める。該当する切り出し領域２５０がある場合（ＡＣＴ３０２、ＮＯ）、制御部１００は変倍率算出部３０１により、切り出し領域２５０がレイアウト領域２６０に内包されるように、切り出し領域２５０の倍率を算出する（ＡＣＴ３０３）。続いて、制御部１００は変倍部３０２により、変倍率算出部３０１が算出した倍率に基づいて切り出し領域２５０のサイズを変更する（ＡＣＴ３０４）。これらの処理の後、制御部１００は合成部３０３により、変倍された切り出し領域２５０を合成位置決定部３００によって算出された合成位置に合成する（ＡＣＴ３０５）。

制御部１００は、これらの処理を記憶された全てのレイアウト領域２６０ごとに行う。制御部１００は、他にも処理すべきレイアウト領域２６０があれば（ＡＣＴ３０６、ＹＥＳ）、全てのレイアウト領域２６０の処理が終了するまでＡＣＴ３０１からＡＣＴ３０５の処理を繰り返す。処理すべきレイアウト領域２６０がなくなれば（ＡＣＴ３０６、ＮＯ）、制御部１００は画像生成の一連の処理を終了する。

以上、本実施形態の画像処理装置は、色登録用原稿から特定の色情報を事前に登録しておくことで、切り出し原稿とレイアウト原稿に元々形成されていた文字、記号が手書きの線により切り出し原稿上から画像を抽出し、新たな画像を生成することが出来る。

（第２の実施形態）
次に第２の実施形態について図面を参照して説明する。画像処理装置１の構成については第１の実施形態と同じであるため同一の符号を付し、説明は省略する。

第１の実施形態では読取部１２５が色登録用原稿４を読み取ることで特定の色情報を色情報ＤＢへ記憶していたが、第２の実施形態ではレイアウト原稿３から取得した色情報を特定の色情報として扱う。つまり制御部１００がレイアウト原稿３から取得された色情報を色情報ＤＢへ記憶させることで、読取部１２５は色登録用原稿４の読み取りを行う必要がない。

図１０および図１１を参照して第２の実施形態における画像処理部１５５の処理を説明する。

図１１のレイアウト原稿３はピンク、グリーン、イエローの手書き線によって３つのレイアウト領域２６０ｐ、２６０ｇおよび２６０ｙが形成されている。これらのレイアウト領域２６０に対し、矩形化部２２０は領域の線を内包するようにレイアウト矩形２６５ｐ、２６５ｇおよび２６５ｙを形成し、更にそれぞれの領域に領域番号（１）、（２）および（３）をカウントする。また、制御部１００は色抽出部２１０に抽出された色情報にそれぞれ１〜３の色番号を付する。制御部１００はこれら色情報のＲＧＢ値と色番号を色情報ＤＢへ記憶する。その後、領域情報保持部２３０は、レイアウト矩形２６５の座標、サイズ、色番号、領域番号の情報を紐付けして記憶する。

図１０の切り出し原稿２は、ブルー、ピンク、グリーンの手書き線によって３つの切り出し領域２５０ｂ、２５０ｐおよび２５０ｇが形成されている。読取部１２５がこの切り出し原稿２を読み取る際、色抽出部２１０は先に読み取ったレイアウト原稿３の画像データから取得された色情報を基に領域を検出する。

つまり、図１０の切り出し原稿２上の３つの切り出し領域２５０ｂ、２５０ｐおよび２５０ｇを形成する手書き線のうち、ブルーの手書き線はレイアウト原稿３で検出された特定の情報として色情報ＤＢに記憶されていない。そのため、ブルーの手書き線で形成された切り出し領域２５０ｂは切り出し領域２５０として扱わず、矩形化、情報の記憶を行わない。

一方、ピンクの手書き線で形成された切り出し領域２５０ｐ、グリーンの手書き線で形成された切り出し領域２５０ｇについては矩形化が行われる。そして、それらの領域を内包するように切り出し矩形２５５を形成し、更にそれぞれの切り出し領域に領域番号（１）および（２）をカウントする。また、制御部１００はレイアウト原稿３の読み取り時と同様にピンクに１の色番号を付し、グリーンに２の色番号を付する。その後領域情報保持部２３０は、切り出し矩形２５５の座標、サイズ、色番号、領域番号の情報および領域内の画像データを記憶する。

レイアウト原稿３の読み取り時に記憶された色情報のうち、切り出し原稿２の読み取り時に検出されない色情報があった場合、制御部１００はその旨をコントロールパネル１３５への表示等により報知しても良い。

図１６は、第２の実施形態における画像処理装置１による切り出し領域２５０の記憶の処理を示すフローチャートである。尚、以下の処理を行う前に読取部１２５にてレイアウト原稿３からレイアウト領域２６０の情報を取得し、領域情報保持部２３０はその情報を記憶する。この処理は図１４と同様であるため省略する。

制御部１００は、コントロールパネル１３５上の「スキャン」ボタン１３５（ａ）を押下されると読取部１２５による原稿の読み取りを開始する（ＡＣＴ４００）。この時、制御部１００は読取部１２５に切り出し原稿２を読み取らせるようにコントロールパネル１３５に表示しても良い。この時、領域種別判定部２００は、「スキャン」ボタン１３５（ａ）が押下されたことにより読取部１２５が読み取る原稿の種別が切り出し原稿２であると判定する（ＡＣＴ４０１）。読取部１２５はスキャナにて原稿を読み取り、画像データを取得する（ＡＣＴ４０２）。

次に制御部１００は色抽出部２１０により、取得された画像データ内に手書き線が含まれているか否かを検出し、手書き線が含まれていればその色情報を判定する（ＡＣＴ４０３）。ここで、制御部１００は、レイアウト原稿３の読み取り時に検出されなかった色情報の手書き線で形成された切り出し領域２５０に対しては矩形化部２２０による矩形化を行わず領域２５０の情報を領域情報保持部２３０に記憶しない。そして制御部１００は次の切り出し領域２５０の処理に進む（ＡＣＴ４０４、ＹＥＳ）。レイアウト原稿３の読み取り時に検出された色情報が検出されれば（ＡＣＴ４０４、ＮＯ）、制御部１００は領域検出部２１５によりその手書き線で囲われた領域を切り出し領域２５０と判定する（ＡＣＴ４０５）。

その後、制御部１００は矩形化部２２０により、領域検出部２１５で検出された領域２５０を内包するように切り出し矩形２５５を形成する（ＡＣＴ４０６）。制御部１００は色除去部２２５により、画像データの中から領域２５０を形成している手書き線を除去する（ＡＣＴ４０７）。制御部１００はここまでの処理で算出された領域種別、座標、サイズ、色情報を各領域ごとに紐付けて領域情報保持部２３０に記憶する（ＡＣＴ４０８）。その後、色抽出部２１０が、他に特定の色情報を有する手書き線を検出していれば（ＡＣＴ４０９、ＹＥＳ）、制御部１００は手書き線で囲われた全ての切り出し領域２５０について領域情報が記憶されるまでＡＣＴ４０３からＡＣＴ４０８の処理を繰り返す。全ての領域２５０の領域情報が記憶された後、切り出し原稿２に他のページがある場合（ＡＣＴ４１０、ＹＥＳ）、制御部１００は全てのページにおいて前述の処理がされるようにＡＣＴ４０２からＡＣＴ４０９の処理を繰り返す。全てのページにおいて処理がされれば（ＡＣＴ４１０、ＮＯ）切り出し領域２５０を記憶する一連の処理は終了する。

領域情報保持部２３０にレイアウト領域２６０と切り出し領域２５０の情報が記憶されると、図１５で説明したように画像データの合成が行われる。

以上、本実施形態の画像処理装置は、事前に色登録用原稿の読み取りを行わなくても特定の色情報をレイアウト原稿から取得することで画像生成処理を可能にする。

（第３の実施形態）
次に第３の実施形態について図面を参照して説明する。

第３の実施形態の画像処理装置１は、切り出し原稿２で検出された手書き線が、レイアウト原稿３で検出されていない手書き線を含む場合、その手書き線をレイアウト原稿３で検出された手書き線のうち最も色情報の近い手書き線と同一のものとして処理を行う。画像処理装置１の構成については第１の実施形態と同じであるため同一の符号を付し、説明は省略する。

図６、図１７および図１８を参照して第３の実施形態における画像処理部１５５の処理を説明する。尚、これらの処理を行う前に第１の実施形態に示したように色登録用原稿４を事前に読み込ませ色情報ＤＢに特定の色情報を記憶させておく。

図１７の切り出し原稿２はピンク、グリーン、ネイビーの手書き線によって３つの領域２５０ｐ、２５０ｇおよび２５０ｎが形成されている。これらの領域２５０に対し、第２の実施形態同様に矩形化部２２０は、矩形化、領域番号（１）、（２）および（３）のカウントを行う。領域情報保持部２３０は、矩形の座標、サイズ、色番号、領域番号の情報を紐付けして記憶する。

図１８のレイアウト原稿３はピンク、グリーンおよびブルーの手書き線によって３つの領域２６０ｐ、２６０ｇおよび２６０ｙが形成されている。これらの領域を矩形化部２２０が矩形化し、領域番号（１）、（２）および（３）のカウントを行う。領域情報保持部２３０が矩形の座標、サイズ、色番号、領域番号の情報を紐付けして記憶する。

図１９は領域情報保持部２３０に記憶された切り出し領域２５０とレイアウト領域２６０の領域情報を示す表である。切り出し原稿２にはピンク、グリーンおよびネイビーの手書き線でそれぞれ領域２５０ｐ、２５０ｇおよび２５０ｎが形成されているが、これらのうち、ネイビーの色情報はレイアウト原稿３の色情報として記憶されていない。この場合、ネイビーの色情報を、レイアウト原稿３の情報として記憶されている色情報のうちネイビーに最も近い色情報と同一の色情報として扱う。

例えば、切り出し原稿２で検出された色情報とレイアウト原稿３で検出された色情報が類似であるか否かの判断は、ＲＧＢ色空間上でのＲＧＢ値に基づいたベクトルの長さにより判定する。

２つの３次元ベクトルＡ＝（Ａi，Ａｊ，Ａｋ）とＢ＝（Ｂｉ，Ｂｊ，Ｂｋ）において、ベクトルＡＢの長さ｜ＡＢ｜は以下の式で表せる。

｜ＡＢ｜＝（（Ｂｉ−Ａｉ）＾２＋（Ｂｊ−Ａｊ）＾２＋（Ｂｋ−Ａｋ）＾２）＾（１／２）
上記式を用いれば、ネイビー−ピンクのベクトルの長さが２６６、ネイビー−グリーンのベクトルの長さが２７４、ネイビー−ブルーのベクトルの長さが距離は１５５と表せる。

これによりネイビー−ブルーのベクトルの長さが最も小さい値となったため、ネイビーの色情報はブルーの色情報と類似しているものとし、図１５で説明した合成処理においてブルーの色情報として扱う。

尚、色抽出部２１０は、ベクトルの長さに閾値を設定しておきベクトルの長さが最も小さい値を取る組み合わせであっても閾値以上の値を取る場合にその色情報を類似の色情報として扱わないようにしても良い。例えば、閾値を９０と設定した場合、上記のネイビー−ブルーのベクトルの長さは閾値以上であるため、類似の色として扱わない。

尚、制御部１００による手書き線の色情報が類似か否かの判断は上記の方法に限定されるものではなく、色差やばらつきに基づいて判断しても良い。例えば、図２０に示すように横軸を（Ｒ−Ｇ）の値とし、縦軸を（Ｇ−Ｂ）の値とすることで制御部１００は２次元的に各色情報を表現して色情報の類似判断を行うことが出来る。例えばブルーはＲＧＢ値が（０，０，２５５）であるので座標２７０ｂは（０，−２５５）と表せる。同様にグリーンの座標２７０ｇは（２５５，−２５５）、ピンクの座標２７０ｐは（８０，−１０）となる。さらに、制御部１００は色情報の類似の範囲を与える閾値を設定する。この閾値は色情報ＤＢに記憶されていない色情報を特定の色情報とみなすための範囲である。図２０の点線は類似の色情報とみなす範囲を示している。ここでは閾値として各色情報の座標から±７０が設定されている。これにより、例えば（８０±７０，−１０±７０）の座標をもつ色情報はピンクの色情報として扱う。

以上のようにして切り出し領域２５０とレイアウト領域２６０を対応させて画像合成の処理を行う。

尚、上記の例では読取部１２５が、切り出し原稿２及びレイアウト原稿３より先に色登録用原稿４を読み取ることで色情報を取得していたが、読取部１２５が、切り出し原稿２より先にレイアウト原稿３を読み取って特定の色情報を取得するようにしても良い。その場合、色抽出部２１０は切り出し原稿２の読み取り時に、切り出し原稿２から取得された色情報と、レイアウト原稿３から予め色情報ＤＢに登録された色情報と、が類似であるか否かの判断を行う。

尚、上記の例では色抽出部２１０が手書き線の色情報を判定する際に色情報の類似判断を行っているが、領域情報保持部２３０に記憶された情報に基づいて切り出し領域２５０の色情報とレイアウト領域２６０の色情報を比較して類似判断しても良い。

以上、本実施形態の画像処理装置は、レイアウト原稿に形成された手書き線と類似する手書き線によって形成された切り出し原稿上の領域も、切り出し領域として認識して画像生成することを可能にする。

尚、これらの実施形態において、領域情報保持部２３０に記憶された色情報のうち、切り出し原稿２またはレイアウト原稿３のいずれか一方でしか取得されない色情報がある場合、制御部１００はその旨をユーザに報知してもよい。この報知はコントロールパネル１３５への表示などにより行われる。

尚、レイアウト原稿３および色登録用原稿４は白色の紙である必要はない。またレイアウト原稿３は予め画像が形成されたシートでもよい。

尚、本実施形態の処理の順序は効果が変わらない程度に入れ替えても良い。例えば、図１１のＡＣＴ２０７において、他の色情報がある場合それら全ての色情報ごとに領域情報を記憶してから次のページの処理を開始しているが、１つの色情報ごとに全てのページの処理を行ってから次の色情報の処理を行っても良い。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１…画像処理装置
２…切り出し原稿
３…レイアウト原稿
４…色登録用原稿
１００…制御部
１２５…読取部
１３０…記憶部
１４０…プリンタ部
１４５…定着部
１５５…画像処理部
１６０…画像抽出部
１６５…画像生成部
２１０…色抽出部
２３０…領域情報保持部

Claims (6)

1. 特定の色情報を記憶する記憶部と、
   シート上の画像を読み取り、画像データを取得する読取部と、
   前記読取部により取得された画像データから前記特定の色情報を抽出し、前記読取部により第１のシートから取得された第１の画像データにおいて前記特定の色情報を有する線によって囲われた第２の画像データを抽出し、前記読取部により第２のシートから取得された第３の画像データにおいて前記特定の色情報を有する線によって囲われた領域の位置情報であるレイアウト位置情報を抽出する、抽出部と、
   前記第２の画像データおよび前記レイアウト位置情報に基づく第４の画像データを生成する画像生成部と、
   前記読取部により前記第１のシート上の前記第1の画像データを取得する第１の操作を受け付けた場合、前記抽出部により前記第２のシート上の前記レイアウト位置情報を抽出する第２の操作が受け付け可能となり、前記第２の操作を受け付けた場合、前記画像生成部により前記第４の画像データを生成する操作部と、
   を備える、画像処理装置。
2. 前記操作部によって入力可能な前記第１の操作および前記第２の操作の情報を表示する表示部を備え、
   前記表示部は、受け付け可能な前記情報を選択的に表示する、
   請求項１に記載の画像処理装置。
3. 前記操作部によって前記第１の操作が入力された場合、前記読取部に第１のシートをセットすることを表示し、前記操作部によって前記第２の操作が入力された場合、前記読取部に第２のシートをセットすることを表示する表示部を備える
   請求項１または請求項２に記載の画像処理装置。
4. 前記取得部は、前記読取部により読み取られた第３のシートから第５の画像データを取得し、
   前記特定の色情報は、前記抽出部により前記第５の画像データから抽出される色情報である請求項１乃至３のいずれか一項に記載の画像処理装置。
5. 前記特定の色情報は、前記抽出部により前記第３の画像データから抽出される色情報である請求項１乃至３のいずれか一項に記載の画像処理装置。
6. 前記抽出部は、前記第１の画像データから抽出された色情報が、前記特定の色情報のいずれとも一致しない色情報である場合、当該一致しない色情報を前記特定の色情報の中で最も類似の色情報と同一の色情報として抽出する請求項１乃至５のいずれか一項に記載の画像処理装置。

Images