JP5062315B2 - 画像処理プログラム - Google Patents

Description

本発明は、選択領域の画像データを生成するための画像形成処理プログラムに関する。

特許文献１には、パーソナルコンピュータのモニタに表示されているウェブページから、ユーザが所望の範囲を選択（クリップ）し、選択された範囲の画像を印刷する技術が記載されている。

特開２００２−３５１６３６号公報

しかし、ウェブページの所望の範囲をクリップした場合に、ウェブページの画像を生成するためのウェブページデータの一部が取得できない場合がある。例えば、ワープロソフト、表計算ソフトなどのプラグインによって画像が表示されている場合や、スクリプト（ブラウザで様々な機能を利用するための簡易的なプログラム）を用いて画像が表示されている場合などには、これらの画像のデータが取得できない場合がある。この場合には、一部が空白状態となったクリップ画像が取得されてしまうことになる。そして特許文献１の技術では、ウェブページデータの一部が取得できない場合に対応することができない。

また、モニタに表示されている画面イメージを画像データとして保存するスクリーンショットを用いれば、ウェブページデータの一部が取得できない場合においても、一部が空白状態となったクリップ画像が取得されてしまうことはない。しかしスクリーンショットでは、取得されるクリップ画像の解像度が、モニタの解像度によって定まってしまうため、高解像度のクリップ画像を取得できるとは限らない。本明細書では、このような不便性を解消することができる技術を提供する。

請求項１に記載の画像形成処理プログラムは、ウェブページデータの提供元から提供されるウェブページデータに基づき、当該ウェブページデータが表すウェブページ画像を、表示装置の表示画面に表示可能なウェブページ表示手段が機能するコンピュータを、表示画面上の任意の領域を選択領域として選択する利用者操作を受け付ける選択受付手段と、選択領域に含まれるウェブページデータである選択領域ウェブページデータを抽出して記憶手段に記憶させる第１取得手段と、表示画面上の選択領域内のウェブページ画像をビットマップ形式の第２画像データとして記憶手段に記憶させる第２取得手段と、選択領域ウェブページデータを用いて第１画像データを生成し、該第１画像データと第２画像データとを比較し、第２画像データに対して第１画像データで表示内容が相違している画像相違領域を検出する検出手段と、画像相違領域に対応する対応画像データを生成する生成手段と、生成手段で生成した対応画像データを第１画像データ中の画像相違領域に合成する合成手段と、合成手段で合成された合成画像データを選択領域の画像データとして出力する出力手段と、して機能させることを特徴とする。

このように構成された画像処理プログラムによって、コンピュータを上記各手段として機能させれば、利用者が選択領域を選択した場合に、画像相違領域の画像データが取得できない場合においても、生成手段によって画像相違領域に対応する対応画像データを生成することができる。そして合成手段によって、対応画像データを第１画像データ中の画像相違領域に合成することができる。これにより、選択領域の画像データにおいて、一部が空白状態となってしまう事態を防止することが可能となる。

また、本願に記載の画像形成処理プログラムは、ウェブページ表示手段は、ウェブページデータに含まれている第１参照データに対応する参照画像データを記憶手段へダウンロードし、ダウンロードした参照画像データを用いてウェブページ画像を表示しており、生成手段は、ダウンロードされた参照画像データを記憶手段から読み出し、読み出された参照画像データの中から画像相違領域に対応するデータを検出し、検出された参照画像データを対応画像データとすることを特徴とする。

これにより、ウェブページ表示手段では参照できるが、画像形成制御プログラムでは参照できないような参照画像データが存在する場合においても、生成手段によって、画像相違領域に対応する参照画像データを見つけ出すことができる。そして合成手段によって、見つけ出した参照画像データを、第１画像データ中の画像相違領域に合成することができる。よって、選択領域の画像データにおいて、一部が空白状態となってしまう事態を防止することが可能となる。

また、本願に記載の画像形成処理プログラムは、生成手段は、ビットマップ形式の第２画像データから、画像相違領域に対応する領域の画像データをトリミングした第１トリミング画像データを、対応画像データとすることを特徴とする。

これにより、ウェブページデータが取得できずに画像相違領域が形成されてしまう場合においても、ビットマップ形式の第２画像データから、画像相違領域に対応する部分をトリミングし、画像相違領域に合成することができる。よって、ウェブページデータを取得できる領域については高解像度の画像を形成できると共に、ウェブページデータを取得できない部分については空白領域が形成されてしまう事態を防止することが可能となる。

また、本願に記載の画像形成処理プログラムは、ウェブページ表示手段は、ウェブページデータに含まれている第２参照データに対応する背景画像データを記憶手段へダウンロードし、ダウンロードした背景画像データを用いてウェブページ画像の背景を表示しており、生成手段は、第１取得手段が選択領域に含まれるウェブページデータのうちから第２参照データを抽出しない設定とされている場合には、ビットマップ形式の第２画像データから、背景画像データに対応する領域の画像データをトリミングした第２トリミング画像データを生成し、ダウンロードされた背景画像データと第２トリミング画像データとを比較して両データに相違がない場合には、背景画像データを対応画像データとすることを特徴とする。

第１取得手段において、背景画像データを取得しない設定とされていると、背景画像データとして設定されている画像データが取得されなくなる。また、ウェブページ上で実際には背景として使用されていない画像データが、背景画像データとして設定されている場合がある。この場合、背景として使用されていないにも関わらず、第１取得手段で取得されない画像データが存在することになる。本願の画像形成処理プログラムでは、背景画像データに設定されている画像データと第２トリミング画像データとを比較することで、背景画像データに設定されている画像データの上に、他の画像や文字列が重ねて表示されているか否かを検出することができる。そして、両データに相違がない場合には、背景画像データに設定されている画像データが、ウェブページ上で背景としては使用されていないため、対応画像データとして使用可能であると判断することができる。これにより、背景画像データとして設定されている画像データを第１取得手段で取得できない、という事態に対応できるため、出力手段から出力される画像データの一部が空白状態となってしまうことを防止できる。

また、本願に記載の画像形成処理プログラムは、コンピュータは、各種のデータを表示画面に表示する情報表示手段としてさらに機能し、出力手段は、ウェブページ画像の少なくとも一部が情報表示手段によって表示されている場合には、第２画像データを選択領域の画像データとして出力することを特徴とする。

これにより、ワープロソフト、表計算ソフトなどの情報表示手段によってウェブページの少なくとも一部が表示されている場合に、当該部分のウェブページデータを取得できない事態が発生した場合においても、ビットマップ形式の第２画像データを用いて、選択領域に対応する画像を形成することができる。よって、選択領域の画像データにおいて、一部が空白状態となってしまう事態を防止することが可能となる。

また、本願に記載の画像形成処理プログラムは、検出手段は、第１画像データおよび第２画像データに対して、一様な画素特徴をもつ複数の分割領域に分ける領域分割処理を行い、第２画像データの分割領域に対して第１画像データの分割領域で相違している領域を画像相違領域とすることを特徴とする。

これにより、第２画像データに対して第１画像データで表示内容が相違している画像相違領域を見つけ出すことが可能となる。

通信システムの構成を示すブロック図である。 印刷アプリケーションの動作フローチャート（その１）である。 印刷アプリケーションの動作フローチャート（その２）である。 印刷アプリケーションの動作フローチャート（その３）である。 印刷アプリケーションの動作フローチャート（その４）である。 印刷アプリケーションの動作フローチャート（その５）である。 印刷アプリケーションの動作フローチャート（その６）である。 ウェブページ画像データによって生成される画像の表示例である。 デフォルトクリップ画像データによって生成される画像の表示例である。 デフォルトクリップ画像データによって生成される画像の表示例である。 ユーザ設定クリップ画像データによって生成される画像の表示例である。 画像相違領域テーブルの一例である。

図１に、本願に係る実施形態として例示される通信システム１のブロック図を示す。通信システム１は、ＰＣ（Personal Computer）１０、ＭＦＰ（Multifunction Peripheral）５１、アクセスポイント６２、ウェブサーバ７１、を備える。ＭＦＰ５１は、プリンタ機能、スキャナ機能、コピー機能、ファクシミリ機能などを備える多機能周辺装置である。アクセスポイント６２は、既知の中継装置である。

ＰＣ１０とアクセスポイント６２とは、無線ＬＡＮ方式により、無線通信を行うことが可能とされている。また、ＭＦＰ５１とアクセスポイント６２とは、無線ＬＡＮ方式により、無線通信を行うことが可能とされている。また、ＰＣ１０とウェブサーバ７１とは、インターネット７０を介して通信可能に接続されている。

ＰＣ１０の構成について説明する。ＰＣ１０は、ＣＰＵ１１、記憶部１２、無線ＬＡＮ送受信部１５、無線ＬＡＮアンテナ部１６、キーボード１７、モニタ１８、マウス１９、ネットワークインターフェース２２、を主に備えている。

ＣＰＵ１１は、記憶部１２に記憶されるプログラムや、無線ＬＡＮ送受信部１５を介して送受信される各種信号などに従って、各機能の制御を行う。なお、記憶部１２は、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、フラッシュメモリ、ＨＤＤ（ハードディスク）などが組み合わされて構成されているとしてもよい。

無線ＬＡＮ送受信部１５は、無線ＬＡＮアンテナ部１６を介して無線通信を行う。そして、無線ＬＡＮ送受信部１５により、各種のデータを構成するデジタル信号が送受信される。また、ネットワークインターフェース２２は、インターネット７０を介して、ウェブサーバ７１との間で各種の通信を行う。キーボード１７は、ＰＣ１０の各機能を実行するためのキーである。モニタ１８は、ＰＣ１０の各種機能情報を表示する。マウス１９は、ユーザ操作を入力するための既知のデバイスである。

記憶部１２は、印刷アプリケーション記憶領域２３ａ、ブラウザアプリケーション記憶領域２３ｂ、保存領域２４、設定記憶領域２５、画像相違領域テーブルＴＢ１を備える。印刷アプリケーション記憶領域２３ａは、後述するデフォルトクリップ画像データＣＩ１ 、ユーザ設定クリップ画像データＣＩ２、ウインドウショット画像データＳＩ１、クリップアウトライン画像データＯＣＩ１、ショットアウトライン画像ＯＳＩ１などを記憶する領域である。ブラウザアプリケーション記憶領域２３ｂは、ブラウザアプリケーション２１ｂ用のインターネットの情報（一時ファイル）を記憶する領域である。ウェブページのデータが、ブラウザアプリケーション記憶領域２３ｂにキャッシュデータとして記憶される。これにより、最近訪ねたウェブページをもう一度開く場合には、ウェブサーバ７１から再度ダウンロードするのではなく、キャッシュデータを表示する。これによりウェブページの表示速度を高めることや、インターネット７０の渋滞を防止することができる。

保存領域２４は、加工が完了した画像データを、最終データとして記憶する領域である。保存領域２４に記憶された最終データは、ＭＦＰ５１に送信されて印刷が行なわれるなど、各種の処理が行われる。

設定記憶領域２５は、各種の設定を記憶する領域である。設定記憶領域２５には、クリップ条件、背景データ取得無効設定などが記憶される。クリップ条件は、ウェブページ画像の指定領域内の画像データを取得する際に適用される条件である。クリップ条件の一例としては、クリップ画像データとして、カラー画像データまたはモノクロ画像データの何れの画像データを取得するか、などの条件が挙げられる。また、クリップ条件は、ユーザによって予め定められてもよい。また、背景データ取得無効設定について説明する。ウェブページ画像には、後述するように、各種の表示パーツが表示される。また、表示パーツの各々に対して、背景として使用される表示パーツであるか否かを指定することができる。そして、背景データ取得無効設定を有効にする場合には、クリップ処理の実行時に、背景として指定されている表示パーツを取得しないとすることができる。

また、図１２に、画像相違領域テーブルＴＢ１の一例を示す。画像相違領域テーブルＴＢ１は、後述する画像相違領域に位置する表示パーツの情報を記憶するテーブルである。画像相違領域テーブルＴＢ１は、表示パーツ名３０１、基準座標３０２、表示パーツ幅３０３、表示パーツ高さ３０４を記憶する。表示パーツ名３０１は、画像相違領域に位置する表示パーツを識別するためのＩＤである。基準座標３０２は、表示パーツの選択領域１０２上での位置を表すための基準点である。表示パーツ幅３０３は、表示パーツの幅である。表示パーツ高さ３０４は、表示パーツの高さである。

記憶部１２は、プログラム２１を記憶する。ＣＰＵ１１は、記憶部１２内のプログラム２１に従って処理を実行する。プログラム２１は、印刷アプリケーション２１ａ、ブラウザアプリケーション２１ｂ、文章編集アプリケーション２１ｃ、表計算アプリケーション２１ｄ、オペレーティングシステム２１ｅを備えている。

印刷アプリケーション２１ａは、ＰＣ１０からＭＦＰ５１に印刷処理などを実行させるためのアプリケーションである。ブラウザアプリケーション２１ｂは、ウェブページ画像をモニタ１８に表示させるためのアプリケーションである。ＣＰＵ１１は、ブラウザアプリケーション２１ｂに従って処理を実行する。この処理では、ウェブサーバ（例えばウェブサーバ７１）からＨＴＭＬ（HyperText Markup Language）データをダウンロードし、ＨＴＭＬデータ内のデータ参照タグで参照されている参照画像データを参照先からダウンロードする。そしてＣＰＵ１１は、ダウンロードしたＨＴＭＬデータや参照画像データ等を、ブラウザアプリケーション記憶領域２３ｂへ記憶させる。またＣＰＵ１１は、ＨＴＭＬデータや参照画像データ等を用いてウェブページ画像データを作成し、作成したウェブページ画像データを元にしてウェブページ画像をモニタ１８に表示させる。文章編集アプリケーション２１ｃは、文章データや画像データを含んだデータファイルを作成、編集、保存するためのアプリケーションである。

オペレーティングシステム２１ｅは、印刷アプリケーション２１ａないし表計算アプリケーション２１ｄに共通して利用される基本的な機能を提供するプログラムである。ＣＰＵ１１は、オペレーティングシステム２１ｅに従って、印刷アプリケーション２１ａないし表計算アプリケーション２１ｄの各々の間での、画像データ等の受け渡しを管理する。これにより、ブラウザアプリケーション２１ｂと、文章編集アプリケーション２１ｃおよび表計算アプリケーション２１ｄとが協働することによって、ウェブページ画像１０１を表示することができる。

ウェブサーバ７１の構成について説明する。ウェブサーバ７１は、ＣＰＵ７２、記憶部７３、通信部７４、を主に備えている。ウェブサーバ７１は、ネットワークにおいて、クライアント装置に対し、自身の保持しているウェブページデータ（ＨＴＭＬデータや参照画像データ）や各種機能を提供する装置である。ＣＰＵ７２は、各機能の制御を行う。記憶部７３は、各種のＨＴＭＬデータや参照画像データ等を記憶する。通信部７４は、様々な情報をＰＣ１０との間で通信する。

本実施形態に係る通信システム１の動作を説明する。図８は、モニタ１８に表示されたウェブページ画像１０１の一例を示した図である。図８のウェブページ画像１０１内には、表示パーツ１１１ないし１１５が含まれている。表示パーツ１１１、１１３、１１５は文章の表示パーツである。表示パーツ１１２、１１４は図形の表示パーツである。なお、図８に示す状態のウェブページ画像１０１は、ブラウザアプリケーション２１ｂにより機能するＣＰＵ１１が、ウェブサーバ７１から受信したＨＴＭＬデータを画像データ化し、モニタ１８に表示したものである。

印刷アプリケーション２１ａが起動されると、図２のフローが開始される。Ｓ９において、ＣＰＵ１１は、モニタ１８に表示されているウェブページ画像１０１から、ユーザが選択領域１０２を選択したか否かを判断する。選択領域１０２の選択は、マウス１９などの入力装置を介して行なわれる。例として、図８に示す選択領域１０２を選択する方法を説明する。ユーザがウェブページ画像１０１上で始点Ｐ１にカーソルを移動させ、マウス１９のボタンを押下し、そのままの状態でカーソルをモニタ１８の右下方向へ移動させる。そして、ユーザが終点Ｐ２でマウス１９のボタンを離すことによって、選択領域１０２を指定することができる。選択領域１０２が選択されていない場合（Ｓ９：ＮＯ）にはＳ９へ戻って待機し、選択された場合（Ｓ９：ＹＥＳ）にはＳ１１へ進む。

Ｓ１１において、ＣＰＵ１１は、選択領域１０２内のウェブページ画像に対して、クリップ処理およびショット処理を行う。ここで、クリップ処理とは、従来の方法でクリップ画像データを取得する方法である。従来の方法としては、選択領域１０２に含まれている表示パーツの元であるＨＴＭＬデータを特定して、特定したＨＴＭＬデータを元にクリップ画像データを作成する方法や、ＡＰＩ（Application Program Interface）などを用いて、ブラウザアプリケーション２１ｂに従う処理に選択領域１０２内のクリップ画像データを作成させ、作成させたクリップ画像データを取得する方法などが考えられる。なお、取得したクリップ画像データは、印刷アプリケーション記憶領域２３ａに記憶される。選択領域１０２を用いて、クリップされる表示パーツを特定する方法は、各種の方法が存在する。例えば、選択領域１０２の境界線が表示パーツの一部に重なっていれば、当該表示パーツをクリップ対象として特定してもよい。また、選択領域１０２によって完全に囲まれた表示パーツのみを、クリップ対象として特定してもよい。

Ｓ１１のクリップ処理により、デフォルトクリップ画像データＣＩ１およびユーザ設定クリップ画像データＣＩ２が作成される。デフォルトクリップ画像データＣＩ１は、モニタ１８に写っているウェブページ画像１０１を、背景画像の有無の設定やカラー／モノクロ設定などを変更せずに、そのままクリップして生成した画像データである。すなわち、後述するショット処理と同等の条件で作成したクリップ画像である。また、ユーザ設定クリップ画像データＣＩ２は、ユーザによって設定されたクリップ条件に基づいてクリップして生成した画像データである。

また、ショット処理により、ウインドウショット画像データＳＩ１が作成される。ショット処理とは、モニタ１８に表示されているウェブページ画像１０１の元となる画像データ（ビットマップデータ）を取得する、従来からある処理である。ショット処理の例としては、オペレーティングシステム２１ｅのＡＰＩに従って、ＣＰＵ１１がモニタ１８に表示されているウェブページ画像１０１の元となる画像データを取得する処理（モニタ１８に表示されている画像全体の元となる画像データを取得し、ウェブページ画像１０１に該当する画像データだけを抽出してもよい）、もしくは、モニタ１８に画像を表示させるための画像メモリにアクセスし、画像メモリが記憶する画像データのうち、選択領域１０２で囲まれている領域内の画像の元である画像データを読み出して取得する処理が考えられる。なお、取得したウインドウショット画像データＳＩ１は、印刷アプリケーション記憶領域２３ａに記憶される。

本実施例の説明例において、図８に示す選択領域１０２が選択された場合のウインドウショット画像データＳＩ１により生成される画像を図９（Ａ）に、デフォルトクリップ画像データＣＩ１により生成される画像を図１０（Ａ）に示す。ウインドウショット画像データＳＩ１により生成される画像（図９（Ａ））では、表示パーツ１１２が表示されている。一方、デフォルトクリップ画像データＣＩ１により生成される画像（図１０（Ａ））では、表示パーツ１１２が表示されていない。ウインドウショット画像データＳＩ１は、ショット処理により、ウェブページ画像１０１の画像をビットマップ形式の画像データとして抽出するため、ウェブページ画像１０１で表示されている表示パーツが、ウインドウショット画像データＳＩ１により生成される画像で表示されないという事態は発生しない。一方、デフォルトクリップ画像データＣＩ１は、クリップ処理により、選択領域１０２に含まれている表示パーツのＨＴＭＬデータや参照画像データを抽出するため、参照画像データなどが取得出来ない場合には、表示パーツが欠けたクリップ画像が作成されてしまうことがある。その原因として、例として、以下の４つのパターンを説明する。

第１パターンは、ブラウザアプリケーション２１ｂに従ってＣＰＵ１１が画像を表示する際に、インラインアプリケーション（ウェブページを表示するために動作する、文章編集アプリケーション２１ｃや表計算アプリケーション２１ｄなどのこと）等のプラグインに従った処理によって、画像データから画像を生成している場合である。ブラウザアプリケーション２１ｂ自身による表示ではないため、印刷アプリケーション２１ａに従った処理からブラウザアプリケーション２１ｂに従った処理にアクセスしても、表示パーツの画像データが取得できない場合がある。

第２パターンは、サーバサイドスクリプトやジャバスクリプトなど、スクリプト参照形式で図表や画像が提供されている場合である。この場合には、参照タグに参照画像データのパス名やファイル名が記述されていないため、参照先（例えば、参照画像データを記憶しているサーバ装置）にアクセスしたり、ブラウザアプリケーション記憶領域２３ｂに記憶されているキャッシュデータにアクセスして、該当する画像データを取得することができるとは限らない。

第３パターンは、参照タグに参照画像データのパス名が相対パス名で記述されている場合である。この場合には、参照先の絶対パス名を特定することができないため図、表示パーツの画像データを取得できるとは限らない。

第４パターンは、背景（バックグラウンド）に指定して表示パーツが配置されている場合である。クリップ処理を行う際の背景データ取得無効設定では、背景画像に指定されている表示パーツをクリップしない、という設定にすることができる。これにより、背景画像に重なって表示されている表示パーツが見にくくなることや、クリップデータのデータ量が大きくなりすぎることなどを防止できる。しかし、表示される必要がある表示パーツが背景画像に指定されている場合には、表示すべき表示パーツがクリップされずに表示されない、という事態が発生する。

以下、表示されない表示パーツが存在する場合の対応を説明する。Ｓ１３において、ＣＰＵ１１は、インラインアプリケーションが起動しているか否かを判断する。インラインアプリケーションが起動している場合（Ｓ１３：ＹＥＳ）には、第１パターンによって、表示パーツ抜けが発生する可能性がある場合であると判断され、Ｓ１５へ進む。Ｓ１５において、ＣＰＵ１１は、ユーザ設定クリップ画像データＣＩ２により生成される画像に、ブランク領域（空白の表示領域）が存在するか否かを判断する。具体的には、印刷アプリケーション２１ａに従った処理からブラウザアプリケーション２１ｂに従った処理にアクセスしても画像データを取得できない場合には、印刷アプリケーション２１ａに従った処理にてブランク領域を発生させていると判断される。ブランク領域が存在しない場合（Ｓ１５：ＮＯ）にはＳ２３へ進む。一方、ブランク領域が存在する場合（Ｓ１５：ＹＥＳ）には、画像データ取得に失敗していると判断され、Ｓ１７へ進む。

Ｓ１７において、ＣＰＵ１１は、ウインドウショット画像データＳＩ１をユーザ設定条件にて加工する。Ｓ１９において、ＣＰＵ１１は、加工画像データを最終データとして保存領域２４へ保存する。そしてＳ５１（図３）へ進む。

またＳ１３において、インラインアプリケーションが起動していない場合（Ｓ１３：ＮＯ）には、Ｓ２３へ進む。Ｓ２３において、ＣＰＵ１１は、選択領域１０２のデフォルトクリップ画像データＣＩ１とウインドウショット画像データＳＩ１を比較する。Ｓ２３の処理を、図４のフローを用いて説明する。Ｓ１１１において、ＣＰＵ１１は、選択領域１０２のデフォルトクリップ画像データＣＩ１およびウインドウショット画像データＳＩ１に対してアウトライン加工を行い、クリップアウトライン画像データＯＣＩ１およびショットアウトライン画像データＯＳＩ１を生成する。アウトライン加工とは、ウェブページ画像１０１に表示されている各表示パーツの輪郭など特徴部分を強調した画像データを取得する処理である。なお、アウトライン加工は従来技術であるため、詳細な説明を省略する。アウトライン加工により、特徴部分が強調されるとともにデータ量が少なくなった画像データを用いて処理することができるため、画像の一致・不一致を検出しやすくなる。

Ｓ１１３において、ＣＰＵ１１は、両画像内において、ある一定サイズ以上のアウトラインを有する表示パーツを矩形抽出する。これにより、ウインドウショット画像データＳＩ１により生成される画像では、図９（Ｂ）に示すように、表示パーツ１１１ａないし１１３ａが矩形抽出される。また、デフォルトクリップ画像データＣＩ１により生成される画像では、図１０（Ｂ）に示すように、表示パーツ１１１ｂおよび１１３ｂが矩形抽出される。矩形抽出処理を行うことにより、ウインドウショット画像データＳＩ１およびデフォルトクリップ画像データＣＩ１により生成される画像を、一様な画素特徴をもつ複数の分割領域に分けることができる。

Ｓ１１５において、ＣＰＵ１１は、矩形抽出処理を行ったウインドウショット画像データＳＩ１に対して、矩形抽出処理を行ったデフォルトクリップ画像データＣＩ１で相違している領域があるか否かを判断する。そして、広範囲に渡って相違する領域を、画像相違領域として検出する。本実施例では、図１０（Ｂ）に示すように、デフォルトクリップ画像データＣＩ１により生成される画像において、画像相違領域１２１が検出される。そしてＳ２７（図２）へ進む。

Ｓ２７において、ＣＰＵ１１は、画像相違領域が検出されたか否かを判断する。検出されない場合（Ｓ２７：ＮＯ）には、Ｓ２９へ進む。Ｓ２９において、ＣＰＵ１１は、ユーザ設定クリップ画像データＣＩ２を、最終データとして保存領域２４へ保存する。そして、Ｓ５１（図３）へ進む。一方、Ｓ２７において、画像相違領域が検出された場合（Ｓ２７：ＹＥＳ）には、Ｓ３０へ進む。Ｓ３０において、ＣＰＵ１１は、検出された画像相違領域に位置する表示パーツの情報（表示パーツ名３０１、基準座標３０２、表示パーツ幅３０３、３０４表示パーツ高さ３０４）を、画像相違領域テーブルＴＢ１に記憶する。本実施例では、図１２に示すように、表示パーツ１１２の情報が、画像相違領域テーブルＴＢ１に記憶される。そしてＳ３１へ進む。

Ｓ３１において、ＣＰＵ１１は、表示パーツの補填処理を行う。Ｓ３１の処理は、第２パターン及び第３パターンによって表示パーツ抜けが発生している場合に、当該抜けている表示パーツをキャッシュデータを用いて補填する処理である。Ｓ３１の処理を、図６を用いて説明する。Ｓ２１３において、ＣＰＵ１１は、画像相違領域に該当するＨＴＭＬデータの範囲を特定する。画像相違領域のＨＴＭＬデータの検出は、例えば、前後のＨＴＭＬタグの推測検出などによって行うとしてもよい。

Ｓ２１５において、ＣＰＵ１１は、画像相違領域に対応するＨＴＭＬデータの範囲が特定できたか否かを判断する。特定できた場合（Ｓ２１５：ＹＥＳ）には、Ｓ２１９に進み、ＣＰＵ１１は、画像相違領域に対応する範囲を、検索範囲に設定する。これにより、検索するＨＴＭＬデータの範囲を絞り込むことができるため、検索速度を高めることができる。一方、特定できなかった場合（Ｓ２１５：ＮＯ）には、Ｓ２１７に進み、ＣＰＵ１１は、検索範囲をＨＴＭＬデータ全体に設定する。

Ｓ２２１において、ＣＰＵ１１は、検索範囲内でのデータ参照タグの検索が終了したか否かを判断する。検索範囲内の検索が終了した場合（Ｓ２２１：ＹＥＳ）にはフローを終了し、検索範囲内の検索が終了していない場合（Ｓ２２１：ＮＯ）にはＳ２２３へ進む。Ｓ２２３において、ＣＰＵ１１は、データ参照タグ内のパスから、ファイル名を抽出する。ファイル名を抽出する、具体的な方法を説明する。まず、ＨＴＭＬデータ内から、＜ｉｍｇ ｓｒｃ＝“○”＞のタグを検出する。＜ｉｍｇ ｓｒｃ＝“○”＞とは、＜ｉｍｇ＞タグにｓｒｃ属性を指定したものである。ｓｒｃ属性は、ブラウザアプリケーション２１ｂに従ってＣＰＵ１１が画像を表示するために必須の属性である。カッコ内の“○”部分には、データファイルの絶対ＵＲＬまたは相対ＵＲＬが記述されている。そして検出した絶対ＵＲＬまたは相対ＵＲＬについて、一番最後に登場する”スラッシュ以降を抽出する。これにより、ファイル名が抽出される。具体例として、検出したデータ参照タグが“http://aaa.com/bbb/ccc/ddd”の場合には、“ddd”をファイル名として抽出する。

Ｓ２２５において、ＣＰＵ１１は、抽出したファイル名を有する参照画像データを、ブラウザアプリケーション記憶領域２３ｂ内で検索する。Ｓ２２７において、ＣＰＵ１１は、参照画像データが検出されたか否かを判断する。検出されない場合（Ｓ２２７：ＮＯ）にはＳ２２１へ戻り、検出された場合（Ｓ２２７：ＹＥＳ）にはＳ２２９へ進む。Ｓ２２９において、ＣＰＵ１１は、検出された参照画像データのファイルヘッダ情報から、ファイル形式を判別する。これにより、ファイル名に拡張子が付いていない場合など、ファイル名からファイル形式を判別できない場合においても、ファイル形式を判別することが可能となる。Ｓ２３１において、ＣＰＵ１１は、データ参照タグによって画像の拡縮やトリミングなどの処理が指定されている場合には、検出された参照画像データに対して各種の処理を行う。

Ｓ２３３において、ＣＰＵ１１は、処理後の参照画像データが、画像相違領域に適合するか否かを判断する。当該判断は、例えば、処理後の参照画像データによって表示される表示パーツの表示パーツ幅および表示パーツ高さが、画像相違領域の幅および高さに適合するか否かによっておこなわれるとしてもよい。適合しない場合（Ｓ２３３：ＮＯ）にはＳ２２１へ戻る。一方、適合する場合（Ｓ２３３：ＹＥＳ）には、Ｓ２３５へ進む。本実施例の説明例では、処理後の参照画像データによって表示される表示パーツが、画像相違領域１２１（図１０（Ｂ））に一致する場合を説明しているため、Ｓ２３５へ進む。

Ｓ２３５において、ＣＰＵ１１は、参照画像データをデフォルトクリップ画像データＣＩ１へ合成する。本実施例では、図１０（Ｃ）に示すように、参照画像データによって表示される表示パーツ１１２ｃが、デフォルトクリップ画像データＣＩ１によって表示される画像内の画像相違領域１２１の位置に合成される。

また、Ｓ２３７において、ＣＰＵ１１は、参照画像データをユーザによって設定されたクリップ条件に基づいて加工した上で、ユーザ設定クリップ画像データＣＩ２へ合成する。そしてＳ３７（図３）へ進む。

Ｓ３７（図３）において、ＣＰＵ１１は、Ｓ３１の処理の実行後において、デフォルトクリップ画像データＣＩ１に画像相違領域が検出されるか否かを再度判断する。検出されない場合（Ｓ３７：ＮＯ）にはＳ３９へ進み、ＣＰＵ１１は、ユーザ設定クリップ画像データＣＩ２を、クリップ処理が完了した最終データとして、保存領域２４へ保存する。一方、画像相違領域が検出された場合（Ｓ３７：ＹＥＳ）には、第３パターンによりデフォルトクリップ画像データＣＩ１に表示パーツ抜けが発生している場合であると判断され、Ｓ４１へ進む。

Ｓ４１において、ＣＰＵ１１は、画像相違領域をウインドウショット画像データＳＩ１より抽出する処理を行う。Ｓ４１の処理を、図５を用いて説明する。Ｓ３１１において、ＣＰＵ１１は、ビットマップ形式のウインドウショット画像データＳＩ１から、画像相違領域に対応する領域の画像データをトリミングしたトリミング画像データを抽出する。当該トリミング処理は、画像相違領域テーブルＴＢ１のデータ（表示パーツ名３０１、基準座標３０２、表示パーツ幅３０３、表示パーツ高さ３０４）を用いて行われる。Ｓ３１３において、ＣＰＵ１１は、抽出したトリミング画像データが複数の領域に渡るトリミング画像データから構成されている場合には、個々の領域についてのトリミング画像データとしてパーツ化する。これにより、デフォルトクリップ画像データＣＩ１により生成される画像内に、複数の画像相違領域が互いに離れて存在する場合にも、各々の画像相違領域に対応したトリミング画像データを抽出することができる。そしてＳ４３（図３）へ戻る。

Ｓ４３において、ＣＰＵ１１は、トリミング画像データを、ユーザによって設定されたクリップ条件に基づいて加工する。Ｓ４５において、ＣＰＵ１１は、加工後のトリミング画像データを、ユーザ設定クリップ画像データＣＩ２へ合成する。Ｓ４６において、ＣＰＵ１１は、合成後のユーザ設定クリップ画像データＣＩ２を、クリップ処理が完了した最終データとして、保存領域２４へ保存する。

Ｓ５１において、ＣＰＵ１１は、ユーザ設定クリップ画像データＣＩ２のユーザ設定において、背景データ取得無効設定が有効とされているか否かを判断する。当該判断は、設定記憶領域２５を参照して行われる。背景データ取得無効設定が有効とされていない場合（Ｓ５１：ＮＯ）には、Ｓ５３をスキップしてＳ５５へ進む。一方、背景データ取得無効設定が有効とされている場合（Ｓ５１：ＹＥＳ）には、デフォルトクリップ画像データＣＩ１には表示パーツ抜けが発生していないが、ユーザ設定クリップ画像データＣＩ２に表示パーツ抜けが発生することがある場合（第４パターン）と判断され、Ｓ５３へ進む。

本実施例では、例として、表示パーツ１１２の画像データに対して、背景データ取得無効設定が有効とされている場合を説明する。この場合、図１１（Ａ）に示すように、ユーザ設定クリップ画像データＣＩ２により生成される画像では、表示パーツ１１２が表示されなくなる。

Ｓ５３において、ＣＰＵ１１は、背景に指定されている表示パーツの表示復帰処理を行う。Ｓ５３の処理を、図７を用いて説明する。Ｓ４１１において、ＣＰＵ１１は、選択領域１０２に該当するＨＴＭＬデータの範囲を特定する。Ｓ４１３において、ＣＰＵ１１は、選択領域１０２に対応するＨＴＭＬデータの範囲が特定できたか否かを判断する。特定できた場合（Ｓ４１３：ＹＥＳ）には、Ｓ４１７に進み、ＣＰＵ１１は、選択領域１０２に対応する範囲を、検索範囲に設定する。これにより、検索するＨＴＭＬデータの範囲を絞り込むことができるため、検索速度を高めることができる。一方、特定できなかった場合（Ｓ４１３：ＮＯ）には、Ｓ４１５に進み、ＣＰＵ１１は、検索範囲をＨＴＭＬデータ全体に設定する。

Ｓ４１９において、ＣＰＵ１１は、設定範囲より背景指定のデータ参照タグの検出が終了したか否かを判断する。設定範囲の検索が終了した場合（Ｓ４１９：ＹＥＳ）にはフローを終了し、設定範囲の検索が終了していない場合（Ｓ４１９：ＮＯ）にはＳ４２１へ進む。

Ｓ４２１において、ＣＰＵ１１は、データ参照タグ内のパスから、ファイル名を抽出する。ファイル名を抽出する具体的な方法は、前述したＳ２２３の方法と同様であるため、ここでは詳細な説明は省略する。Ｓ４２３において、ＣＰＵ１１は、抽出したファイル名を有する参照画像データを、ブラウザアプリケーション記憶領域２３ｂ内で検索する。

Ｓ４２５において、ＣＰＵ１１は、参照画像データが検出されたか否かを判断する。検出されない場合（Ｓ４２５：ＮＯ）にはＳ４１９へ戻り、検出された場合（Ｓ４２５：ＹＥＳ）にはＳ４２７へ進む。Ｓ４２７において、ＣＰＵ１１は、データ参照タグによって画像の拡縮やトリミングなどの処理が指定されている場合には、検出された参照画像データに対して各種の処理を行う。

Ｓ４２９において、ＣＰＵ１１は、処理後の参照画像データによって表示される表示パーツが、実際に背景として使用されているか否かを判断する。具体的には、参照画像データによって表示パーツがウェブページ画像１０１上に表示される際に、参照画像データによって表示される表示パーツ上に文字や他の画像などが重ねて表示されている場合には、背景として使用されていると判断される。一方、参照画像データによって表示される表示パーツ上に文字等が重ねて表示されていない場合には、単独の画像として使用されており、背景として使用されていないと判断される。

表示パーツが背景として使用されているか否かについての、具体的な判断方法を説明する。まず、ビットマップ形式のウインドウショット画像データＳＩ１（表示パーツ抜けが発生していない画像データ）と、ユーザ設定クリップ画像データＣＩ２（表示パーツ抜けが発生している画像データ)との差分領域を、ウインドウショット画像データＳＩ１からトリミングする。なお、ウインドウショット画像データＳＩ１にトリミング処理を行う具体的な方法は、前述したＳ４１の方法と同様であるため、ここでは詳細な説明は省略する。そして、ウインドウショット画像データＳＩ１からトリミングした画像と、Ｓ４２７で得られた参照画像データとを比較し、両画像に差分があるか否かを判断する。差分がある場合には、参照画像データによって表示される表示パーツ上に文字などが重ねて表示されている場合であるため、背景として使用されている場合であると判断される（Ｓ４２９：ＮＯ）。よって、Ｓ４１９へ戻る。一方、差分がない場合には、参照画像データによって表示される表示パーツ上に文字などが重ねて表示されていない場合であると判断される（Ｓ４２９：ＹＥＳ）。よって、背景として使用されていない場合であるため、参照画像データによって表示される表示パーツをデフォルトクリップ画像データＣＩ１内に合成させる必要があると判断される。よってＳ４３１へ進む。

本実施例の説明例では、図８のウェブページ画像１０１に示すように、表示パーツ１１２上には文字等の他の表示パーツは重なっていない。よって、Ｓ４２９において、表示パーツ１１２は背景として使用されていないと判断される（Ｓ４２９：ＹＥＳ）。

Ｓ４３１において、ＣＰＵ１１は、参照画像データをユーザによって設定されたクリップ条件に基づいて加工した上で、ユーザ設定クリップ画像データＣＩ２へ合成する。そしてＳ５５（図３）へ戻る。本実施形態の例では、図１１（Ｂ）に示すように、参照画像データによって表示される表示パーツ１１２ｃが、ユーザ設定クリップ画像データＣＩ２に合成される。

Ｓ５５において、ＣＰＵ１１は、保存領域２４に保存されている最終データを、無線通信にてＭＦＰ５１に送信する。ＭＦＰ５１は、ＰＣ１０から受信した最終データを、印刷用紙に印刷する。そしてフローを終了する。

以上説明したように、本実施形態に係る印刷アプリケーション２１ａによれば、画像相違領域が検出された場合においても、Ｓ３１、Ｓ４１、Ｓ５３などの各処理によって、画像相違領域に対応する画像データを生成することができる。そして、生成した画像データを、ユーザ設定クリップ画像データＣＩ２によって生成される画像中の画像相違領域に合成することができる。これにより、選択領域１０２のクリップ画像データにおいて、一部が空白状態となってしまう事態を防止することが可能となる。

以上、本発明の具体例を詳細に説明したが、これらは例示にすぎず、特許請求の範囲を限定するものではない。特許請求の範囲に記載の技術には、以上に例示した具体例を様々に変形、変更したものが含まれる。

なお、選択領域１０２の入力は、マウス１９などの入力装置を用いる形態に限られない。例えば、モニタ１８をタッチパネルとすることによって、指やペンなどで選択領域１０２を指定してもよい。また、選択領域１０２の形状は、矩形形状に限られず、例えば平行四辺形や円形であってもよい。

また、Ｓ１１３において、ある一定サイズ以上のアウトラインを有する表示パーツを矩形抽出するとしたが、この形態に限られない。ある一定サイズ以上の空白部分を矩形抽出してもよい。

Ｓ４３１において、参照画像データをユーザ設定クリップ画像データＣＩ２へ合成するとしたが、この形態に限られない。選択領域１０２に対応する参照画像データを検出し、背景画像の指定を解除するとしてもよい。これにより、第４パターンによってユーザ設定クリップ画像データＣＩ２に表示されなかった表示パーツを、表示させることが可能となる。印刷アプリケーション２１ａに従った処理において、ブラウザアプリケーション２１ｂに従った処理にアクセスしても画像データを取得できない場合にブランク領域を発生させていたが、これにだけでなく、印刷アプリケーション２１ａに従った処理からインラインアプリケーションに従った処理にアクセスできない場合にブランク領域を発生させてもよい。印刷アプリケーション２１ａに従った処理において、ブランク領域に代えて「表示できません」などの文字列が入るエラー領域を発生させるようにしてもよい。この場合、Ｓ１５ではエラー領域の存在を判断するようにしてもよい。

また、本明細書または図面に説明した技術要素は、単独であるいは各種の組合せによって技術的有用性を発揮するものであり、出願時請求項記載の組合せに限定されるものではない。また、本明細書または図面に例示した技術は複数目的を同時に達成するものであり、そのうちの一つの目的を達成すること自体で技術的有用性を持つものである。

なお、ＰＣ１０はコンピュータの一例である。ウェブサーバ７１はウェブページデータの提供元の一例である。ＨＴＭＬデータはウェブページデータの一例である。ブラウザアプリケーション２１ｂはウェブページ表示手段の一例である。印刷アプリケーション記憶領域２３ａ、ブラウザアプリケーション記憶領域２３ｂは記憶手段の一例である。デフォルトクリップ画像データＣＩ１は第１画像データの一例である。ウインドウショット画像データＳＩ１は第２画像データの一例である。文章編集アプリケーション２１ｃ、計算アプリケーション２１ｄは情報表示手段の一例である。

また、Ｓ９を実行する制御部は選択受付手段の一例である。Ｓ１１を実行する制御部は第１取得手段、第２取得手段の一例である。Ｓ２３を実行する制御部は検出手段の一例である。Ｓ３１、Ｓ４１、Ｓ１７、Ｓ２３３、Ｓ３１１を実行する制御部は生成手段の一例である。Ｓ４５、Ｓ２３７を実行する制御部は合成手段の一例である。Ｓ５５、Ｓ１９を実行する制御部は出力手段の一例である。

１：通信システム、１０：ＰＣ、１１：ＣＰＵ、１２：記憶部、１８：パネル、２１ａ：印刷アプリケーション、２１ｂ：ブラウザアプリケーション、２１ｃ：文章編集アプリケーション、２１ｄ：計算アプリケーション、５１：ＭＦＰ、７１：ウェブサーバ、ＣＩ１：デフォルトクリップ画像、ＳＩ１：ウインドウショット画像

Claims (6)

1. ウェブページデータの提供元から提供されるウェブページデータに基づき、当該ウェブページデータが表すウェブページ画像を、表示装置の表示画面に表示可能なウェブページ表示手段が機能するコンピュータを、
   前記表示画面上の任意の領域を選択領域として選択する利用者操作を受け付ける選択受付手段と、
   前記選択領域に含まれる前記ウェブページデータである選択領域ウェブページデータを抽出して記憶手段に記憶させる第１取得手段と、
   前記表示画面上の前記選択領域内の前記ウェブページ画像をビットマップ形式の第２画像データとして前記記憶手段に記憶させる第２取得手段と、
   前記選択領域ウェブページデータを用いて第１画像データを生成し、該第１画像データと前記第２画像データとを比較し、前記第２画像データに対して前記第１画像データで表示内容が相違している画像相違領域を検出する検出手段と、
   前記画像相違領域に対応する対応画像データを生成する生成手段と、
   前記生成手段で生成した前記対応画像データを前記第１画像データ中の前記画像相違領域に合成する合成手段と、
   前記合成手段で合成された合成画像データを前記選択領域の画像データとして出力する出力手段と、
   して機能させることを特徴とする画像処理プログラム。
2. 前記ウェブページ表示手段は、前記ウェブページデータに含まれている第１参照データに対応する参照画像データを前記記憶手段へダウンロードし、ダウンロードした前記参照画像データを用いて前記ウェブページ画像を表示しており、
   前記生成手段は、ダウンロードされた前記参照画像データを前記記憶手段から読み出し、
   読み出された前記参照画像データの中から前記画像相違領域に対応するデータを検出し、検出された前記参照画像データを前記対応画像データとすることを特徴とする請求項１に記載の画像処理プログラム。
3. 前記生成手段は、ビットマップ形式の前記第２画像データから、前記画像相違領域に対応する領域の画像データをトリミングした第１トリミング画像データを、前記対応画像データとすることを特徴とする請求項１に記載の画像処理プログラム。
4. 前記ウェブページ表示手段は、前記ウェブページデータに含まれている第２参照データに対応する背景画像データを前記記憶手段へダウンロードし、ダウンロードした前記背景画像データを用いて前記ウェブページ画像の背景を表示しており、
   前記生成手段は、前記第１取得手段が前記選択領域に含まれる前記ウェブページデータのうちから前記第２参照データを抽出しない設定とされている場合には、ビットマップ形式の前記第２画像データから、前記背景画像データに対応する領域の画像データをトリミングした第２トリミング画像データを生成し、ダウンロードされた前記背景画像データと前記第２トリミング画像データとを比較して両データに相違がない場合には、前記背景画像データを前記対応画像データとすることを特徴とする請求項３に記載の画像処理プログラム。
5. 前記コンピュータは、各種のデータを前記表示画面に表示する情報表示手段としてさらに機能し、
   前記出力手段は、前記ウェブページ画像の少なくとも一部が前記情報表示手段によって表示されている場合には、前記第２画像データを前記選択領域の画像データとして出力することを特徴とする請求項１ないし４の何れか１項に記載の画像処理プログラム。
6. 前記検出手段は、
   前記第１画像データおよび前記第２画像データに対して、一様な画素特徴をもつ複数の分割領域に分ける領域分割処理を行い、前記第２画像データの前記分割領域に対して前記第１画像データの前記分割領域で相違している領域を前記画像相違領域とすることを特徴とする請求項１ないし５の何れか１項に記載の画像処理プログラム。

Images