JP2004240732A - 画像合成方法、画像合成装置、画像合成プログラム及び画像記録装置 - Google Patents

Abstract

【課題】作業工数が少ない方法で、合成画像の不自然さを軽減させる。
【解決手段】画像合成手段３０は、元画像の画像データＧ１，Ｇ２を合成して合成画像の画像データＰを生成するとともに、合成端部情報を生成する。合成後処理手段４０は、画像合成手段３０により得られた合成端部情報を用いて合成画像の画像データＰへの画像変換条件を決定し、決定された画像変換条件に基づいて合成画像の画像データＰを変換して、後処理後の合成画像の画像データＰ’を生成する。例えば、合成端部情報に記された画素位置において、空間フィルタでぼかす処理を行う。
【選択図】 図３

Description

【０００１】
【発明の属する技術分野】
本発明は、画像合成方法、画像合成装置、画像合成プログラム及び画像記録装置に関し、自然な印象の合成画像を作成するための処理に関する。
【０００２】
【従来の技術】
近年、デジタルカメラやスキャナ等の普及により、デジタル画像データを扱う機会が増えている。これらの画像データは、複数の画像データの全体又は一部を合わせて１つの画像データに合成する等、加工が容易である。例えば、画像から人物等の特定部分を抜き出して背景画像に貼り付けたり、車や飛行機等のＣＧ（Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ）画像を自然画の背景画像に貼り付けたり、自然画から人物等の特定部分を抜き出して架空の室内や未来都市等のＣＧの背景画像に貼り付けたり、店舗写真の看板のデザインを変えたりすることができる。ここで、自然画とは、実在するものを撮影した画像をいう。画像の合成方法としては、画像の一部を置き換える置き換え合成や、一方の画像の一部を他方の画像に重ねる透かし合成等がある。
【０００３】
画像を合成する際には、いかに違和感なく自然な印象の画質にするかが問題となる。例えば、ある画像から人物を抜き出して、別の背景画像へ貼り付けた合成画像において、元画像の粒状特性や鮮鋭度特性を予め調整してから画像を合成する方法が提案されている（例えば、特許文献１参照。）。これにより、合成画像中の領域毎に粒状や鮮鋭度が異なることによる見た目の違和感が解消される。
【０００４】
【特許文献１】
特開平１１−２７５３４３号公報
【０００５】
【発明が解決しようとする課題】
しかしながら、特許文献１に記載の方法では、合成された境界部分に関して画像が調整されていないので、境界の不自然さが残ってしまう。また、合成前に特許文献１に記載の方法のような前処理がなされていても、適切でなかったり、不十分であったりする場合がある。また、合成前の調整には限界があり、合成した後の全体の印象に不自然さが残る場合がある。
合成後の処理として、合成の境界部にぼかし等の画像処理を手作業で行う方法が知られているが、作業工数が多くかかるという問題がある。
【０００６】
本発明は上記の従来技術における問題に鑑みてなされたものであって、作業工数が少ない方法で、合成画像の不自然さを軽減させることができる画像合成方法、画像合成装置、画像合成プログラム及び画像記録装置を提供することを課題とする。
【０００７】
【課題を解決するための手段】
上記の課題を解決するための請求項１に記載の発明は、２つ以上の画像を用いて合成画像を作成する画像合成方法において、前記２つ以上の画像が互いに接する境界に関する合成端部情報を用いて合成後の画像データへの画像変換条件を決定し、前記決定された画像変換条件に基づいて前記合成後の画像データを変換する合成後処理工程を含むことを特徴とする画像合成方法である。
【０００８】
請求項１に記載の発明によれば、合成端部情報を用いることにより、合成画像の各領域毎に適切な変換ができるので、合成画像の不自然さを軽減させることができる。特に、合成画像の境界部やその周辺に対して合成後の画像データを変換することができるので、合成画像の境界部の不自然さを軽減させることができる。したがって、極めて少ない作業工数で合成画像を自然な画像にすることができる。
【０００９】
請求項２に記載の発明は、２つ以上の画像を用いて合成画像を作成する画像合成方法において、合成後の画像データから歪み量を算出する歪み量算出工程と、前記算出された歪み量に基づいて前記合成後の画像データへの画像変換条件を決定し、前記決定された画像変換条件に基づいて前記合成後の画像データを変換する画像データ変換工程と、を含むことを特徴とする画像合成方法である。
【００１０】
請求項２に記載の発明によれば、歪み量に基づいて画像データを変換するので、必要な部分に必要な程度の処理を行うことができる。そのため、極めて少ない作業工数で合成画像の不自然さを軽減させることができる。
【００１１】
請求項３に記載の発明は、請求項２に記載の画像合成方法において、前記歪み量算出工程において、前記２つ以上の画像が互いに接する境界に関する合成端部情報を用いて歪み量を算出することを特徴とする画像合成方法である。
【００１２】
請求項３に記載の発明によれば、合成端部情報を用いて歪み量を算出するので、効率よく歪み量を算出することができる。したがって、より精度よく合成画像の不自然さを軽減させることができる。
【００１３】
請求項４に記載の発明は、請求項３に記載の画像合成方法において、前記歪み量算出工程は、多重解像度変換を含むことを特徴とする画像合成方法である。
【００１４】
請求項４に記載の発明によれば、多重解像度変換により、解像度が異なる複数の画像データを用いて、より精度よく歪み量を算出することができる。したがって、より精度よく合成画像の不自然さを軽減させることができる。
【００１５】
請求項５に記載の発明は、請求項４に記載の画像合成方法において、前記画像データ変換工程における合成後の画像データへの変換は、前記多重解像度変換後の画像データへの変換であることを特徴とする画像合成方法である。
【００１６】
請求項５に記載の発明によれば、多重解像度変換された画像データを、合成画像データの歪み量の算出に用いるとともに、歪み量に基づく画像データ変換に用いることにより、処理を効率化することができる。
【００１７】
請求項６に記載の発明は、請求項１〜５のいずれか一項に記載の画像合成方法において、合成前に少なくとも１つの画像に対して、多重解像度変換を用いた合成前処理を行う合成前処理工程を含むことを特徴とする画像合成方法である。
【００１８】
請求項６に記載の発明によれば、合成前に画像の基本特性をそろえておき、合成後に合成境界部の不自然さを修正するので、合成前と合成後の両方の処理による複合効果により、合成画像をより自然な印象にすることができる。
【００１９】
請求項７に記載の発明は、２つ以上の画像を用いて合成画像を作成する画像合成装置において、前記２つ以上の画像が互いに接する境界に関する合成端部情報を用いて合成後の画像データへの画像変換条件を決定し、前記決定された画像変換条件に基づいて前記合成後の画像データを変換する合成後処理手段を備えたことを特徴とする画像合成装置である。
【００２０】
請求項７に記載の発明によれば、合成端部情報を用いることにより、合成画像の各領域毎に適切な変換ができるので、合成画像の不自然さを軽減させることができる。特に、合成画像の境界部やその周辺に対して合成後の画像データを変換することができるので、合成画像の境界部の不自然さを軽減させることができる。したがって、極めて少ない作業工数で合成画像を自然な画像にすることができる。
【００２１】
請求項８に記載の発明は、２つ以上の画像を用いて合成画像を作成する画像合成装置において、合成後の画像データから歪み量を算出する歪み量算出手段と、前記算出された歪み量に基づいて前記合成後の画像データへの画像変換条件を決定し、前記決定された画像変換条件に基づいて前記合成後の画像データを変換する画像データ変換手段と、を備えたことを特徴とする画像合成装置である。
【００２２】
請求項８に記載の発明によれば、歪み量に基づいて画像データを変換するので、必要な部分に必要な程度の処理を行うことができる。そのため、極めて少ない作業工数で合成画像の不自然さを軽減させることができる。
【００２３】
請求項９に記載の発明は、請求項８に記載の画像合成装置において、前記歪み量算出手段は、前記２つ以上の画像が互いに接する境界に関する合成端部情報を用いて歪み量を算出することを特徴とする画像合成装置である。
【００２４】
請求項９に記載の発明によれば、合成端部情報を用いて歪み量を算出するので、効率よく歪み量を算出することができる。したがって、より精度よく合成画像の不自然さを軽減させることができる。
【００２５】
請求項１０に記載の発明は、請求項９に記載の画像合成装置において、前記歪み量算出手段は、多重解像度変換を行うことを特徴とする画像合成装置である。
【００２６】
請求項１０に記載の発明によれば、多重解像度変換により、解像度が異なる複数の画像データを用いて、より精度よく歪み量を算出することができる。したがって、より精度よく合成画像の不自然さを軽減させることができる。
【００２７】
請求項１１に記載の発明は、請求項１０に記載の画像合成装置において、前記画像データ変換手段における合成後の画像データへの変換は、前記多重解像度変換後の画像データへの変換であることを特徴とする画像合成装置である。
【００２８】
請求項１１に記載の発明によれば、多重解像度変換された画像データを、合成画像データの歪み量の算出に用いるとともに、歪み量に基づく画像データ変換に用いることにより、処理を効率化することができる。
【００２９】
請求項１２に記載の発明は、請求項７〜１１のいずれか一項に記載の画像合成装置において、合成前に少なくとも１つの画像に対して、多重解像度変換を用いた合成前処理を行う合成前処理手段を備えたことを特徴とする画像合成装置である。
【００３０】
請求項１２に記載の発明によれば、合成前に画像の基本特性をそろえておき、合成後に合成境界部の不自然さを修正するので、合成前と合成後の両方の処理による複合効果により、合成画像をより自然な印象にすることができる。
【００３１】
請求項１３に記載の発明は、２つ以上の画像を用いて合成画像を作成する処理を実行するためのコンピュータに、前記２つ以上の画像が互いに接する境界に関する合成端部情報を用いて合成後の画像データへの画像変換条件を決定し、前記決定された画像変換条件に基づいて前記合成後の画像データを変換する合成後処理機能を実現させるための画像合成プログラムである。
【００３２】
請求項１３に記載の発明によれば、合成端部情報を用いることにより、合成画像の各領域毎に適切な変換ができるので、合成画像の不自然さを軽減させることができる。特に、合成画像の境界部やその周辺に対して合成後の画像データを変換することができるので、合成画像の境界部の不自然さを軽減させることができる。したがって、極めて少ない作業工数で合成画像を自然な画像にすることができる。
【００３３】
請求項１４に記載の発明は、２つ以上の画像を用いて合成画像を作成する処理を実行するためのコンピュータに、合成後の画像データから歪み量を算出する歪み量算出機能と、前記算出された歪み量に基づいて前記合成後の画像データへの画像変換条件を決定し、前記決定された画像変換条件に基づいて前記合成後の画像データを変換する画像データ変換機能と、を実現させるための画像合成プログラムである。
【００３４】
請求項１４に記載の発明によれば、歪み量に基づいて画像データを変換するので、必要な部分に必要な程度の処理を行うことができる。そのため、極めて少ない作業工数で合成画像の不自然さを軽減させることができる。
【００３５】
請求項１５に記載の発明は、請求項１４に記載の画像合成プログラムにおいて、前記歪み量算出機能は、前記２つ以上の画像が互いに接する境界に関する合成端部情報を用いて歪み量を算出することを特徴とする画像合成プログラムである。
【００３６】
請求項１５に記載の発明によれば、合成端部情報を用いて歪み量を算出するので、効率よく歪み量を算出することができる。したがって、より精度よく合成画像の不自然さを軽減させることができる。
【００３７】
請求項１６に記載の発明は、請求項１５に記載の画像合成プログラムにおいて、前記歪み量算出機能は、多重解像度変換を含むことを特徴とする画像合成プログラムである。
【００３８】
請求項１６に記載の発明によれば、多重解像度変換により、解像度が異なる複数の画像データを用いて、より精度よく歪み量を算出することができる。したがって、より精度よく合成画像の不自然さを軽減させることができる。
【００３９】
請求項１７に記載の発明は、請求項１６に記載の画像合成プログラムにおいて、前記画像データ変換機能における合成後の画像データへの変換は、前記多重解像度変換後の画像データへの変換であることを特徴とする画像合成プログラムである。
【００４０】
請求項１７に記載の発明によれば、多重解像度変換された画像データを、合成画像データの歪み量の算出に用いるとともに、歪み量に基づく画像データ変換に用いることにより、処理を効率化することができる。
【００４１】
請求項１８に記載の発明は、請求項１３〜１７のいずれか一項に記載の画像合成プログラムにおいて、前記コンピュータに、合成前に少なくとも１つの画像に対して、多重解像度変換を用いた合成前処理を行う合成前処理機能を実現させることを特徴とする画像合成プログラムである。
【００４２】
請求項１８に記載の発明によれば、合成前に画像の基本特性をそろえておき、合成後に合成境界部の不自然さを修正するので、合成前と合成後の両方の処理による複合効果により、合成画像をより自然な印象にすることができる。
【００４３】
請求項１９に記載の発明は、２つ以上の画像を用いて合成画像を作成し、合成画像を記録媒体に記録する画像記録装置において、前記２つ以上の画像が互いに接する境界に関する合成端部情報を用いて合成後の画像データへの画像変換条件を決定し、前記決定された画像変換条件に基づいて前記合成後の画像データを変換する合成後処理手段を備えたことを特徴とする画像記録装置である。
【００４４】
請求項１９に記載の発明によれば、合成端部情報を用いることにより、合成画像の各領域毎に適切な変換ができるので、合成画像の不自然さを軽減させることができる。特に、合成画像の境界部やその周辺に対して合成後の画像データを変換することができるので、合成画像の境界部の不自然さを軽減させることができる。したがって、極めて少ない作業工数で合成画像を自然な画像にすることができる。
【００４５】
請求項２０に記載の発明は、２つ以上の画像を用いて合成画像を作成し、合成画像を記録媒体に記録する画像記録装置において、合成後の画像データから歪み量を算出する歪み量算出手段と、前記算出された歪み量に基づいて前記合成後の画像データへの画像変換条件を決定し、前記決定された画像変換条件に基づいて前記合成後の画像データを変換する画像データ変換手段と、を備えたことを特徴とする画像記録装置である。
【００４６】
請求項２０に記載の発明によれば、歪み量に基づいて画像データを変換するので、必要な部分に必要な程度の処理を行うことができる。そのため、極めて少ない作業工数で合成画像の不自然さを軽減させることができる。
【００４７】
請求項２１に記載の発明は、請求項２０に記載の画像記録装置において、前記歪み量算出手段は、前記２つ以上の画像が互いに接する境界に関する合成端部情報を用いて歪み量を算出することを特徴とする画像記録装置である。
【００４８】
請求項２１に記載の発明によれば、合成端部情報を用いて歪み量を算出するので、効率よく歪み量を算出することができる。したがって、より精度よく合成画像の不自然さを軽減させることができる。
【００４９】
請求項２２に記載の発明は、請求項２１に記載の画像記録装置において、前記歪み量算出手段は、多重解像度変換を行うことを特徴とする画像記録装置である。
【００５０】
請求項２２に記載の発明によれば、多重解像度変換により、解像度が異なる複数の画像データを用いて、より精度よく歪み量を算出することができる。したがって、より精度よく合成画像の不自然さを軽減させることができる。
【００５１】
請求項２３に記載の発明は、請求項２２に記載の画像記録装置において、前記画像データ変換手段における合成後の画像データへの変換は、前記多重解像度変換後の画像データへの変換であることを特徴とする画像記録装置である。
【００５２】
請求項２３に記載の発明によれば、多重解像度変換された画像データを、合成画像データの歪み量の算出に用いるとともに、歪み量に基づく画像データ変換に用いることにより、処理を効率化することができる。
【００５３】
請求項２４に記載の発明は、請求項１９〜２３のいずれか一項に記載の画像記録装置において、合成前に少なくとも１つの画像に対して、多重解像度変換を用いた合成前処理を行う合成前処理手段を備えたことを特徴とする画像記録装置である。
【００５４】
請求項２４に記載の発明によれば、合成前に画像の基本特性をそろえておき、合成後に合成境界部の不自然さを修正するので、合成前と合成後の両方の処理による複合効果により、合成画像をより自然な印象にすることができる。
【００５５】
【発明の実施の形態】
以下に本発明の一実施の形態につき図面を参照して説明する。
まず、図１に、本実施の形態の画像記録装置１の概観構成を示す。
図１に示すように、画像記録装置１は、操作部５、フィルムスキャナ部６、反射原稿入力部７、画像読込部８、ＣＲＴ（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ）９、プリント作成部１０、画像書込部１１、トレー１５、マガジン１６を備える。
【００５６】
次に、図２に、画像記録装置１の機能構成を示す。
図２に示すように、画像記録装置１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）２、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）３、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）４、操作部５、フィルムスキャナ部６、反射原稿入力部７、画像読込部８、ＣＲＴ９、プリント作成部１０、画像書込部１１、記憶部１２、通信部１３、画像処理部１４、を備えて構成される。
【００５７】
ＣＰＵ２は、操作部５や通信部１３から入力される信号に応答して、ＲＯＭ３、あるいは記憶部１２に記憶された各種制御プログラムを読み出してＲＡＭ４に展開し、展開された各制御プログラムとの協働によって各種処理を実行し、画像記録装置１の各部を機能させる。
【００５８】
ＲＯＭ３は、読み出し専用の半導体メモリであり、ＣＰＵ２が実行するプログラムやデータ等が記憶される。
ＲＡＭ４は、データが一時的に保存される記憶媒体であり、ＣＰＵ２が実行するためのプログラムを展開するためのプログラムエリア、操作部５や通信部１３から入力されるデータやＣＰＵ２による各種処理結果等を保存するためのデータエリア、フィルムスキャナ部６、反射原稿入力部７、画像読込部８又は通信部１３から入力される画像データを保存するための画像データエリア、等が形成される。ここで、画像データとは、画像を多数の小領域（画素）に分割して、その画素毎に各色成分の明るさ等を信号強度で表した、各画素のデータをいう。
【００５９】
操作部５は、数字キーや各種機能キーを備え、例えば、タッチパネル等で構成される。これらのキーが押下された場合には、その押下信号をＣＰＵ２に出力する。
【００６０】
フィルムスキャナ部６は、透過原稿を読み込む装置である。フィルムスキャナ部６は、ＣＰＵ２の制御に従って、アナログカメラにより撮影され、現像されたカラーネガフィルムやカラーリバーサルフィルム等から画像データを読み込む。反射原稿入力部７は、反射原稿から画像を読み込む装置である。反射原稿入力部７は、ＣＰＵ２の制御に従って、カラー写真プリントや印刷物等の反射原稿から画像データを読み込む。
【００６１】
画像読込部８には、ＰＣカード用アダプタ８ａ、フロッピー（登録商標）ディスク用アダプタ８ｂ、光ディスク用アダプタ８ｃが備えられ、ＰＣカード、フロッピーディスク、光ディスクが差し込み可能になっている。メディアはこれらに限定されず、ＭＯ（Ｍａｇｎｅｔｏ Ｏｐｔｉｃａｌ ｄｉｓｋ）やＺｉｐ（登録商標）等でもよく、対応するアダプタを備えればよい。各種メディアには、例えば、デジタルカメラで撮像した複数の画像データや画像付属データやオーダー情報（例えば、ＤＰＯＦ（Ｄｉｇｉｔａｌ Ｐｒｉｎｔ Ｏｒｄｅｒ Ｆｏｒｍａｔ）等）等が記憶されている。画像付属データとは、画像データに付属するヘッダやタグ等のデータをいう。画像読込部８は、ＣＰＵ２の制御に従って、各種メディアに記録された画像データや画像付属データ等を読み込む。
【００６２】
ＣＲＴ９は、ＣＰＵ２の制御に従って、フィルムスキャナ部６、反射原稿入力部７、画像読込部８から読み込んだ画像データや、通信部１３から受信した画像データを画面に表示する。
【００６３】
プリント作成部１０は、ＣＰＵ２の制御に従って、画像データに基づいてマガジン１６から引き出された写真用感光材料に露光し、露光された写真用感光材料を現像処理してプリントを作成する。作成されたプリントはトレー１５に排出される。プリント作成部１０は、読み込んだ画像データから画像を形成するものであればよく、例えば、インクジェット方式、電子写真方式、感熱方式、昇華方式のプリント作成装置であってもよい。
【００６４】
画像書込部１１は、フロッピーディスク用アダプタ１１ａ、ＭＯ用アダプタ１１ｂ、光ディスク用アダプタ１１ｃが備えられ、フロッピーディスク、ＭＯ、光ディスクが差し込み可能になっている。メディアはこれらに限定されず、ＰＣカードやＺｉｐ等でもよく、対応するアダプタを備えればよい。画像書込部１１は、ＣＰＵ２の制御に従って、画像データや画像付属データ等を画像記録メディアに書き込む。なお、画像読込部８と画像書込部１１が１つのアダプタで読み書き兼用になっていてもよい。
【００６５】
記憶部１２は、例えばＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）を備えて構成され、ＣＰＵ２の制御に従って、このＨＤＤ内にプログラムやデータ等を記録する。また、ＣＰＵ２からプログラムやデータの読み出し指示がなされると、その指示された情報をＨＤＤから読み出してＣＰＵ２へ出力する。
【００６６】
通信部１３は、施設内のコンピュータやインターネット等を介した遠方のコンピュータから画像データや画像付属データやプリント命令等を受信する。すなわち、画像記録装置１は、ネットワークプリンタとして機能することが可能である。また、通信部１３は、画像データや画像付属データや付帯するオーダー情報等を、施設内の別のコンピュータや他のネットワークプリンタやインターネット等を介した遠方のコンピュータ等に対して送信する。
【００６７】
画像処理部１４は、フィルムスキャナ部６、反射原稿入力部７又は画像読込部８から読み込んだ画像データや通信部１３から受信された画像データに必要に応じて適切な画像処理を行う。例えば、各入力方法に適した校正処理、グレーバランス調整、コントラスト調整、ネガ原稿の場合にはネガポジ反転処理等が行われる。画像データは、ＲＧＢカラー画像データ、モノクロ画像データ、ＹＭＣＫ４色画像データ等、何でもよい。また、階調数も任意であって、例えば、ＲＧＢカラー画像データの場合、各色８ｂｉｔ、各色１２ｂｉｔ等、任意の画像データを用いることができる。画像のフォーマット（ＪＰＥＧ，Ｔｉｆｆ，ｂｍｐ等）も何でもよい。ＪＰＥＧやＴｉｆｆ等、画像データと画像付属データがあるフォーマットの場合は、画像データと画像付属データを分離したり、画像付属データから必要な情報を取り出したりする各フォーマットに対応する処理が行われる。
【００６８】
この画像処理部１４は、ＲＯＭ３に格納された画像処理プログラムとＣＰＵ２との協働によってソフトウェア処理で実現される。本発明に係る処理の例の詳細は後述する（図３、図７、図９、図２４）。
【００６９】
また、画像処理部１４では、出力先に対応した画像処理が行われ、画像処理された画像データは、ＣＲＴ９に表示されたり、プリント作成部１０でプリントされたり、画像書込部１１で画像記録メディアに記録されたり、通信部１３から他の機器等に送信されたりする。例えば、各出力方法に適した校正処理、カラーマッチング、画素数変更処理等が行われる。画像データは、ＲＧＢカラー画像データ、モノクロ画像データ、ＹＭＣＫ４色画像データ等、何でもよい。また、階調数も任意であって、例えば、ＲＧＢカラー画像データの場合、各色８ｂｉｔ、各色１２ｂｉｔ等、任意の画像データを用いることができる。画像のフォーマット（ＪＰＥＧ，Ｔｉｆｆ，ｂｍｐ等）も何でもよい。ＪＰＥＧやＴｉｆｆ等、画像データと画像付属データがあるフォーマットの場合は、画像データと画像付属データを対応するように用い、各フォーマットに対応した処理が行われる。
【００７０】
なお、図１に示す画像記録装置１は、操作部５、ＣＲＴ９、フィルムスキャナ部６、反射原稿入力部７、画像読込部８、プリント作成部１０が、一体となっている装置の構造をとっているが、いずれか１つ以上を別体として設けてもよい。また、他のフィルムスキャナや反射原稿入力装置やプリンタ等を接続してもよい。その場合は、各装置毎の固有の処理が画像処理部１４で行われる。
【００７１】
次に、画像記録装置１の画像処理部１４で実行される画像処理について説明する。
【００７２】
［実施の形態１］
図３に、実施の形態１として画像合成処理の例を示す。図３に示す画像処理部１４０は、図２における画像記録装置１の画像処理部１４の一例である。
図３に示すように、画像処理部１４０は、入力画像変換手段２０と、画像合成手段３０と、合成後処理手段４０と、出力画像変換手段５０と、を備える。
【００７３】
入力画像変換手段２０は、フィルムスキャナ部６、反射原稿入力部７、画像読込部８又は通信部１３から入力される元画像Ｆ１を、それぞれの画像に対応する手段で変換して、元画像の画像データＧ１を生成する。同様に、元画像Ｆ２に対応する手段で変換して、元画像の画像データＧ２を生成する。元画像の画像データＧ１，Ｇ２がＲＧＢの３色であれば、それぞれに対応して以下の処理が行われる。
【００７４】
画像合成手段３０は、元画像の画像データＧ１，Ｇ２を合成して合成画像の画像データＰを生成するとともに、合成端部情報を生成する。
ここで、合成端部とは、合成画像の境界部又は境界部とその周辺をいう。例えば、図４（ａ）に示すように、背景画像に人物が合成されている場合は、図４（ｂ）に示す人物と背景の境界が合成端部である。
合成端部情報とは、合成端部の画像データ上の画素位置情報（座標）を含むものである。例えば、検出された合成端部以外の画像データを０とした画像データでもよいし、合成端部の画像データを１とし、合成端部以外の画像データを０とした２値画像データでもよい。
【００７５】
図５に、背景画像に人物を貼り付ける場合の例を示す。図５（ａ）に示すような人物が入っている元画像Ｆ１から人物を抽出し、図５（ｂ）に示す元画像Ｆ２の所定位置に、人物画像を重ねて、１枚の画像にする。
人物の抽出方法としては、例えば、予め定められた人物パターンとのマッチング等の手法による自動抽出や、ＣＲＴ９に表示された画像を見て、操作部５から指示をする、手動抽出等、種々の方法があり、限定されない。いずれかの方法により人物を抽出し（図５（ｃ））、抽出時の輪郭の情報等から、合成端部の形状（相対位置）を求める（図５（ｄ））。相対位置は、輪郭上の点Ｑからの相対座標で表す。
上記の画像合成手段３０は、合成端部情報を生成する場合の例であり、これに限定されない。
【００７６】
貼り付け位置の決定方法は、例えば、予め貼り付ける位置を定めておく自動決定や、ＣＲＴ９に表示された画像を見て、操作部５から指示をする、手動位置調整等、種々の方法があり、限定されない。いずれかの方法により貼り付け位置を決定し（図５（ｅ））、合成端部の形状と貼り付け位置より、合成端部情報を求める（図５（ｆ））。輪郭上の点Ｑからの相対座標で表されていた合成端部の形状を原点（０，０）からの座標に変換する。
【００７７】
以上のように、画像合成手段３０は、合成画像を作成する（図５（ｇ））。
合成方法としては、置き換え合成や、透かし合成等、種々の方法があるが、これらに限定されない。
また、合成後、ＣＲＴ９で仕上がりを確認してもよく、やり直しや、位置等の修正を行ってもよい。
【００７８】
合成後処理手段４０は、画像合成手段３０により得られた合成端部情報を用いて合成画像の画像データＰへの画像変換条件を決定し、決定された画像変換条件に基づいて合成画像の画像データＰを変換して、後処理後の合成画像の画像データＰ’を生成する。この変換は、合成端部及びその周辺等への部分処理や、全体をぼかす等の全体処理がある。
【００７９】
図６に、図４の合成画像における部分処理の処理領域の例を示す。図６（ａ）〜（ｄ）において、網点で示す部分に処理が実行されるものとする。図６（ａ）は人物の内部、図６（ｂ）は人物と背景の境界及びその周辺部、図６（ｃ）は背景部を示す。また、図６（ｄ）に示すように、人物の内部は鮮鋭度を上げる処理、背景部は鮮鋭度を下げる処理を実行する等、領域によって異なる部分処理を実行してもよい。
【００８０】
合成後処理手段４０における画像データ変換として、空間フィルタを用いることができる。合成端部情報に記された画素位置及びその周辺において、合成画像の画像データＰを空間フィルタでぼかす処理を行う。空間フィルタとしては、平滑化フィルタ等の当業界で知られた種々のフィルタを目的に合うように適宜使用すればよい。
【００８１】
出力画像変換手段５０は、後処理後の合成画像の画像データＰ’に対して出力先に対応した変換を行い、後処理後の合成画像Ｄ’をＣＲＴ９、プリント作成部１０、画像書込部１１又は通信部１３に出力する。
【００８２】
実施の形態１では、合成端部情報を用いることにより、合成画像の各領域毎に適切な変換ができるので、合成画像の不自然さを軽減させることができる。特に、合成画像の境界部やその周辺に対して合成後の画像データを変換することができるので、合成画像の境界部の不自然さを軽減させることができる。したがって、極めて少ない作業工数で合成画像を自然な画像にすることができる。また、部分処理であるので、画像全体の印象を保つことができ、合成画像の微修正に適している。
【００８３】
［実施の形態２］
図７に、実施の形態２として画像合成処理の例を示す。図７に示す画像処理部１４１は、図２における画像記録装置１の画像処理部１４の一例である。
図７に示すように、画像処理部１４１は、入力画像変換手段２０と、画像合成手段３０と、合成後処理手段４０と、出力画像変換手段５０と、を備える。
【００８４】
実施の形態１では、合成端部情報を用いて合成画像の画像データＰへの画像変換条件を決定したが、実施の形態２では、合成端部情報を用いずに、合成画像の画像データＰから求められた歪み情報に基づいて合成画像の画像データＰを変換する。
入力画像変換手段２０、出力画像変換手段５０については、実施の形態１と同様であるので、説明を省略する。
【００８５】
画像合成手段３０は、元画像の画像データＧ１，Ｇ２を合成して合成画像の画像データＰを生成する。実施の形態２では、画像合成手段３０は、合成端部情報を生成しないが、他の部分は実施の形態１と同様であるので、説明を省略する。
【００８６】
合成後処理手段４０は、合成画像の画像データＰから歪み量を算出し、歪み情報を生成する。そして、その歪み情報を用いて、合成画像の画像データＰへの画像変換条件を決定し、決定された画像変換条件に基づいて合成画像の画像データＰを変換し、後処理後の合成画像の画像データＰ’を生成する。
【００８７】
歪み量とは、画像の不自然さと関係したもので、画像データの変化、画像データの勾配の変化、Ｓ／Ｎ比の変化、鮮鋭度の変化等の大きさによって算出されるもの等がある。歪み量が大きいほど、画像は不自然に見える。歪み量が大きいときに不連続という言い方がされることもある。
歪み情報とは、画像データ上の画素位置情報（座標）と、その画素位置での歪み量を含むものである。
【００８８】
（合成後処理手段４０の詳細例１）
図８に、合成後処理手段４０の一例として、合成後処理手段４０の詳細例１を示す。合成後処理手段４０は、歪み量算出手段４２０と、画像データ変換手段４３０と、を備える。
【００８９】
歪み量算出手段４２０は、合成画像の画像データＰから歪み量を算出し、歪み情報を生成する。歪み量算出手段４２０として、微分フィルタを用いた例を説明する。微分フィルタとしては、ラプラシアンフィルタ等、当業界で知られた種々のフィルタを、目的に合うように適宜使用すればよい。例えば、合成画像の画像データＰを各画素位置において微分フィルタ等で変換し、勾配を求める。求めた勾配量をランク分けして、歪み量とする。例えば、勾配量ｋ未満をランク値１とし、勾配量ｋ以上をランク値２とする。ｋの値は、合成画像のサイズや、目的や用途等に応じて適宜設定する。
なお、勾配量のランク分けは２ランクだけでなく、ｎランクにランク分けすることとしてもよい。
また、勾配量をそのままランク値としても良い。
また、歪み量算出手段４２０は、微分フィルタを用いた処理に限らず、他の方法によって歪み量を算出することとしてもよい。
【００９０】
画像データ変換手段４３０は、歪み量算出手段４２０により得られた歪み情報を用いて、合成画像の画像データＰへの画像変換条件を決定し、その画像変換条件に基づいて合成画像の画像データＰを変換し、後処理後の合成画像の画像データＰ’を生成する。
ここで、合成画像の画像データＰは、歪み量に基づいて変換される。歪み量に基づく変換とは、歪み量と対応した変換条件で行われる変換をいうが、歪み量自身が変換条件であってもよい。歪み量に基づく変換は、歪み量を軽減、除去する変換だけでなく、歪み量は軽減、除去されなくても、見た目に歪み量が減ったように自然に見えるような変換でもよい。
【００９１】
画像データ変換手段４３０として、空間フィルタを用いた例を説明する。例えば、歪み情報に記された画素位置において、合成画像の画像データＰを空間フィルタでぼかす処理を行う。このとき、歪み量のランクに応じてぼかし量を決定する。例えば、５×５のフィルタでぼかす場合は、歪み量のランクに応じてフィルタ係数を変える。空間フィルタとしては、平滑化フィルタ等の当業界で知られた種々のフィルタを目的に合うように適宜使用し、ランクに応じてフィルタ係数等を変えて用いればよい。
また、画像データ変換手段４３０として、空間フィルタを用いた処理を説明したが、他の方法を用いることとしてもよい。
【００９２】
実施の形態２では、合成画像の画像データＰから歪み量を算出し、歪み量と画素位置情報を含む歪み情報に基づいて合成画像の画像データＰを変換することにより、合成画像の不自然さを精度よく軽減させることができる。
また、歪み量に基づいて画像データを変換するので、必要な部分に必要な程度の処理を行うことができる。そのため、極めて少ない作業工数で合成画像の不自然さを修正することができる。また、部分処理であるので、画像全体の印象を保つことができ、合成画像の微修正に適している。
【００９３】
［実施の形態３］
図９に、実施の形態３として画像合成処理の例を示す。図９に示す画像処理部１４２は、図２における画像記録装置１の画像処理部１４の一例である。
図９に示すように、画像処理部１４２は、入力画像変換手段２０と、画像合成手段３０と、合成後処理手段４０と、出力画像変換手段５０と、を備える。
【００９４】
実施の形態２では、合成端部情報を用いずに、合成画像の画像データＰから歪み量を算出したが、実施の形態３では、合成端部情報を用いて合成画像の画像データＰから歪み量を算出する。
入力画像変換手段２０、画像合成手段３０と、出力画像変換手段５０については、実施の形態１と同様であるので、説明を省略する。
【００９５】
合成後処理手段４０は、歪み量算出手段４２０と、画像データ変換手段４３０と、を備える。
歪み量算出手段４２０は、画像合成手段３０により得られた合成端部情報を用いて、合成画像の画像データＰから歪み量を算出し、歪み情報を生成する。例えば、合成端部以外の画像データを０とし、合成端部の画像データを歪み量に対応したランク値とした画像データとしてもよい。
画像データ変換手段４３０は、歪み情報を用いて、合成画像の画像データＰへの画像変換条件を決定し、決定された画像変換条件に基づいて合成画像の画像データＰを変換して後処理後の合成画像の画像データＰ’を生成する。
【００９６】
以下、合成後処理手段４０の例として、詳細例２〜７を説明する。なお、歪み量算出手段４２０、画像データ変換手段４３０で扱うデータは、合成画像の画像データＰに限らず、合成画像の画像データＰを変換したデータも含むこととする。
【００９７】
（合成後処理手段４０の詳細例２）
図１０に、合成後処理手段４０の詳細例２を示す。合成後処理手段４０は、輝度／色差変換手段４１０と、歪み量算出手段４２０と、画像データ変換手段４３０と、輝度／色差逆変換手段４４０と、を備える。
【００９８】
合成後処理手段４０の詳細例２では、合成画像の画像データＰを輝度データＢと色差データＣに変換後、輝度データＢを用いて歪み情報を生成し、輝度データＢに対して歪み量に基づく変換を行う。
【００９９】
まず、輝度／色差変換手段４１０について説明する。輝度／色差変換手段４１０は、合成画像の画像データＰを輝度データＢと色差データＣに変換する。合成画像の画像データＰを輝度データＢと色差データＣに変換する輝度／色差変換としては、画像データがｓＲＧＢ規格に基づくデータの場合、ＣＩＥ（Ｃｏｍｍｉｓｓｉｏｎ Ｉｎｔｅｒｎａｔｉｏｎａｌｅ ｄｅ ｌ’Ｅｃｌａｉｒａｇｅ：国際照明委員会）が１９７６年に推奨したＬ＊ａ＊ｂ＊基底やＬ＊ｕ＊ｖ＊基底等に変換する操作がある。この場合、Ｌ＊が輝度に相当する。また、ｓＲＧＢの平均値を輝度データＢとし、これに直交する２軸を色差信号とするような変換を行ってもよい。また、ｓＲＧＢからｓＹＣＣへ変換してもよい。この場合、Ｙが輝度に相当する。
【０１００】
歪み量算出手段４２０は、合成画像の輝度データＢと、画像合成手段３０により得られた合成端部情報とを用いて、歪み量を算出し、歪み情報を生成する。具体的には、合成端部情報に記された合成端部の画素位置において、合成画像の輝度データＢを微分フィルタ等で変換し、勾配を求める。扱うデータが輝度データＢであることと、合成端部情報を用いること以外は、実施の形態２における合成後処理手段４０の詳細例１と同様であるので、説明を省略する。
【０１０１】
また、歪み情報の画素位置情報としては、合成端部情報に記された合成端部の画素位置と同じでもよいし、合成端部情報に記された合成端部の画素位置のとぎれた部分をつなぐ等、輪郭の形の整形をして、画素位置を変更してもよい。
【０１０２】
画像データ変換手段４３０は、歪み量算出手段４２０により得られた歪み情報を用いて、合成画像の輝度データＢを変換し、修正後の輝度データＢ’を生成する。変換するデータが輝度データＢであること以外は、実施の形態２における合成後処理手段４０の詳細例１と同様であるので、説明を省略する。
【０１０３】
輝度／色差逆変換手段４４０は、修正後の輝度データＢ’と色差データＣに輝度／色差逆変換を施し、後処理後の合成画像の画像データＰ’を生成する。この輝度／色差逆変換は、輝度／色差変換手段４１０における輝度／色差変換の逆変換である。
【０１０４】
合成後処理手段４０の詳細例２では、合成端部情報を用いて歪み量を算出するので、効率よく歪み量を算出することができる。また、歪み量算出手段４２０及び画像データ変換手段４３０において、輝度データＢのみを扱うことにより、合成画像の修正処理を簡素化することができる。そのため、高速に処理することができ、好ましい。
【０１０５】
（合成後処理手段４０の詳細例３）
図１１に、合成後処理手段４０の詳細例３を示す。合成後処理手段４０は、輝度／色差変換手段４１０と、歪み量算出手段４２０と、画像データ変換手段４３０と、輝度／色差逆変換手段４４０と、を備える。
【０１０６】
合成後処理手段４０の詳細例２では、合成画像の画像データＰを輝度データＢと色差データＣに変換後、輝度データＢと合成端部情報を用いて歪み情報を生成し、輝度データＢに対して歪み量に基づく変換を行ったが、合成後処理手段４０の詳細例３では、輝度データＢと合成端部情報を用いて歪み情報を生成し、歪み情報を得るために生成された輝度データＢの中間データＢｔｍｐ１に対して歪み量に基づく変換を行う。
輝度／色差変換手段４１０、歪み量算出手段４２０、輝度／色差逆変換手段４４０については、合成後処理手段４０の詳細例２と同様であるので、説明を省略する。
【０１０７】
画像データ変換手段４３０は、歪み量算出手段４２０により得られた歪み情報を用いて、歪み量算出手段４２０によって歪み情報を得るために生成された中間データＢｔｍｐ１を変換し、修正後の輝度データＢ’を生成する。変換するデータが中間データＢｔｍｐ１であること以外は、合成後処理手段４０の詳細例２と同様であるので、説明を省略する。
【０１０８】
合成後処理手段４０の詳細例３では、歪み量算出手段４２０において輝度データＢを扱い、画像データ変換手段４３０において輝度データＢの中間データＢｔｍｐ１を扱うことにより、前工程の結果を用いることで、合成画像の修正処理を簡素化することができる。そのため、高速かつ効率的に処理することができ、好ましい。
【０１０９】
（合成後処理手段４０の詳細例４）
図１２に、合成後処理手段４０の詳細例４を示す。合成後処理手段４０は、輝度／色差変換手段４１０と、歪み量算出手段４２０と、画像データ変換手段４３０と、輝度／色差逆変換手段４４０と、を備える。
【０１１０】
合成後処理手段４０の詳細例４は、合成後処理手段４０の詳細例３における輝度データＢの中間データＢｔｍｐ１として、多重解像度変換の１つである直交ウェーブレット変換を施して得られた高周波数帯域成分Ｗｖ_ｎ，Ｗｈ_ｎ，Ｗｄ_ｎを用いた例である。
輝度／色差変換手段４１０、輝度／色差逆変換手段４４０については、合成後処理手段４０の詳細例２と同様であるので、説明を省略する。
【０１１１】
まず、多重解像度変換について説明する。
多重解像度変換とは、ウェーブレット変換、完全再構成フィルタバンク、ラプラシアンピラミッド等で代表される手法の総称をいい、１回の変換操作により入力信号を低周波数帯域成分信号と高周波数帯域成分信号とに分離し、得られた低周波数帯域成分信号に対して同様の操作を行い、周波数帯域が異なる複数の信号からなる多重解像度信号を得る手法である。得られた多重解像度信号を加工せずにそのまま逆多重解像度変換した場合、元の信号が再構成される（“Ｗａｖｅｌｅｔ ａｎｄ Ｆｉｌｔｅｒ Ｂａｎｋｓ”ｂｙ Ｇ． Ｓｔｒａｎｇ ＆ Ｔ． Ｎｇｕｙｅｎ， Ｗｅｌｌｅｓｌｅｙ−Ｃａｍｂｒｉｄｇｅ Ｐｒｅｓｓ（邦訳「ウェーブレット解析とフィルタバンク」， Ｇ．ストラング・Ｔ．グエン共著，培風館）参照。）。ここでは、代表的な多重解像度変換であるウェーブレット変換の概要を説明する。
【０１１２】
ウェーブレット変換とは、図１３に例示されるような有限範囲で振動するウェーブレット関数（下記式（１）参照。）を用いて、入力信号ｆ（ｘ）に対するウェーブレット変換係数＜ｆ，ψ_ａ，ｂ＞を下記式（２）で求めることにより、入力信号を下記式（３）で示されるウェーブレット関数の総和に分解する変換である。
【数１】

【数２】

【数３】

上記式（３）で、ａはウェーブレット関数のスケールを表し、ｂはウェーブレット関数の位置を示す。図１３に例示するように、スケールａの値が大きいほどウェーブレット関数ψ_ａ，ｂ（ｘ）の周波数は小さくなり、また位置ｂの値に従ってウェーブレット関数ψ_ａ，ｂ（ｘ）が振動する位置が移動する。従って上記式（３）は、入力信号ｆ（ｘ）を種々のスケールと位置を持つウェーブレット関数ψ_ａ，ｂ（ｘ）の総和に分解することを意味している。
【０１１３】
ウェーブレット変換を行う際に用いられるウェーブレット関数としては、多くのものが知られているが、画像処理分野では特に計算を高速に行うことができる直交ウェーブレット（ｏｒｔｈｏｇｏｎａｌ ｗａｖｅｌｅｔ）変換、双直交ウェーブレット（ｂｉｏｒｔｈｏｇｏｎａｌ ｗａｖｅｌｅｔ）変換が広く用いられている。
【０１１４】
以下、直交ウェーブレット変換、双直交ウェーブレット変換の概要を説明する。直交ウェーブレット変換及び双直交ウェーブレット変換のウェーブレット関数は下記式（４）のように定義される。
【数４】

ただし、ｉは自然数である。
【０１１５】
前記式（４）と前記式（１）とを比較すると、直交ウェーブレット変換、双直交ウェーブレット変換では、スケールａの値が２のｉ乗で離散的に定義され、また位置ｂの最小移動単位が２^ｉで離散的に定義されていることが判る。このｉの値はレベルと呼ばれる。
【０１１６】
また実用的にはレベルｉを有限な上限Ｎまでに制限して、入力信号を下記式（５）、式（６）、式（７）のように変換することが行われる。
【数５】

【数６】

【数７】

【０１１７】
上記式（５）の第２項は、レベル１のウェーブレット関数ψ_１，ｊ（ｘ）の総和で表せない残差の低周波数帯域成分を、レベル１のスケーリング関数φ_１，ｊ（ｘ）の総和で表したものである。スケーリング関数はウェーブレット関数に対応して適切なものを用いる。上記式（５）に示す１レベルのウェーブレット変換により入力信号ｆ（ｘ）≡Ｓ_０は、レベル１の高周波数帯域成分Ｗ_１と低周波数帯域成分Ｓ_１に信号分解されたことになる。
【０１１８】
なお、画像においては、高周波数帯域成分は、例えば、髪の毛やまつ毛のような微細な構造を表現する成分であり、低周波数帯域成分は、例えば、頬のように信号強度の変化の緩やかな構造を示す成分である。
【０１１９】
ウェーブレット関数ψ_ｉ，ｊ（ｘ）の最小移動単位単位は２^ｉなので、入力信号Ｓ_０の信号量に対して高周波数帯域成分Ｗ_１と低周波数帯域成分Ｓ_１の信号量は各々１／２となり、高周波数帯域成分Ｗ_１と低周波数帯域成分Ｓ_１の信号量の総和は、入力信号Ｓ_０の信号量と等しくなる。レベル１の低周波数帯域成分Ｓ_１は式（６）において、レベル２の高周波数帯域成分Ｗ_２と低周波数帯域成分Ｓ_２に分解され、以下同様にレベルＮ迄の変換を繰り返すことで、入力信号Ｓ_０は、式（７）に示すように各レベル１〜Ｎの高周波数帯域成分の総和とレベルＮの低周波数帯域成分の和に分解される。
【０１２０】
ここで、前記式（６）で示す１レベルのウェーブレット変換は、図１４に示すようなフィルタ処理で計算することができる。図１４において、ＬＰＦはローパスフィルタ、ＨＰＦはハイパスフィルタを示している。ローパスフィルタＬＰＦとハイパスフィルタＨＰＦのフィルタ係数は、ウェーブレット関数に応じて適切に定められる。また、２↓は、信号を１つおきに間引くダウンサンプリング処理を示す。
【０１２１】
画像信号のような２次元信号における１レベルのウェーブレット変換は、図１５に示すようなフィルタ処理で計算される。図１５に示すように、まず低周波数帯域成分Ｓ_ｎ−１をｘ方向のローパスフィルタＬＰＦｘ、ハイパスフィルタＨＰＦｘによりフィルタ処理を行い、ｘ方向にダウンサンプリング処理を行う。これにより入力信号Ｓ_ｎ−１はＳＸ_ｎとＷＸ_ｎとに分解される。このＳＸ_ｎとＷＸ_ｎに対して、それぞれｙ方向のローパスフィルタＬＰＦｙ、ハイパスフィルタＨＰＦｙによるフィルタ処理を行い、ｙ方向にダウンサンプリング処理を行う。
【０１２２】
この１レベルのウェーブレット変換により、低周波数帯域成分Ｓ_ｎ−１は３つの高周波数帯域成分Ｗｖ_ｎ，Ｗｈ_ｎ，Ｗｄ_ｎと１つの低周波数帯域成分Ｓ_ｎに分解される。１回のウェーブレット変換により生成されるＷｖ_ｎ，Ｗｈ_ｎ，Ｗｄ_ｎ，Ｓ_ｎの各々の信号量は、分解前のＳ_ｎ−１に比べて縦横ともに１／２となるので、分解後の４成分の信号量の総和は、分解前のＳ_ｎ−１の信号と等しくなる。
【０１２３】
なお、図１５において、ＬＰＦｘ，ＨＰＦｘ，２↓ｘのように添え字で示したｘはｘ方向の処理を示し、ＬＰＦｙ，ＨＰＦｙ，２↓ｙのように添え字で示したｙはｙ方向の処理を示す。
【０１２４】
図１６に、入力信号Ｓ_０が３レベルのウェーブレット変換で信号分解される過程の模式図を示す。レベル数ｉが増えるに従って、ダウンサンプリング処理により画像信号が間引かれ、分解画像が小さくなっていくことがわかる。
【０１２５】
また、図１７に示すように、分解で生成したＷｖ_ｎ，Ｗｈ_ｎ，Ｗｄ_ｎ，Ｓ_ｎにフィルタ処理で計算されるウェーブレット逆変換をほどこすことにより、分解前の信号Ｓ_ｎ−１を完全再構成できることが知られている。図１７において、ＬＰＦ’は逆変換用のローパスフィルタ、ＨＰＦ’は逆変換用のハイパスフィルタを示している。また、２↑は、信号に１つおきにゼロを挿入するアップサンプリング処理を示す。また、ＬＰＦ’ｘ，ＨＰＦ’ｘ，２↑ｘのように添え字で示したｘはｘ方向の処理を示し、ＬＰＦ’ｙ，ＨＰＦ’ｙ，２↑ｙのように添え字で示したｙはｙ方向の処理を示す。
【０１２６】
図１７に示すように、Ｓ_ｎをｙ方向にアップサンプリング処理及び逆変換用のローパスフィルタＬＰＦ’ｙによるフィルタ処理を施すことにより得られる信号と、Ｗｈ_ｎをｙ方向にアップサンプリング処理及び逆変換用のハイパスフィルタＨＰＦ’ｙによるフィルタ処理を施すことにより得られる信号とを加算してＳＸ_ｎを得る。これと同様にして、Ｗｖ_ｎとＷｄ_ｎからＷＸ_ｎを生成する。
【０１２７】
さらに、ＳＸ_ｎをｘ方向にアップサンプリング処理及び逆変換用のローパスフィルタＬＰＦ’ｘによるフィルタ処理を施すことにより得られる信号と、ＷＸ_ｎをｘ方向にアップサンプリング処理及び逆変換用のハイパスフィルタＨＰＦ’ｘによるフィルタ処理を施すことにより得られる信号とを加算することにより分解前の信号Ｓ_ｎ−１を得ることができる。
【０１２８】
この逆変換の際に用いられるフィルタ係数は、直交ウェーブレットの場合にはウェーブレット変換に用いた係数と同じ係数が使用されるが、双直交ウェーブレットの場合にはウェーブレット変換に用いた係数とは異なる係数が使用される。
【０１２９】
図１２に示すように、歪み量算出手段４２０は、直交ウェーブレット変換手段４２１と、歪みデータ抽出手段４２２と、歪み量ランク分け手段４２３と、から構成される。
直交ウェーブレット変換手段４２１は、合成画像の輝度データＢに２レベルの直交ウェーブレット変換を施す。すなわち、図１５に示すような直交ウェーブレット変換を２回繰り返すことにより、レベル１の高周波数帯域成分Ｗｖ_１，Ｗｈ_１，Ｗｄ_１と、レベル２の高周波数帯域成分Ｗｖ_２，Ｗｈ_２，Ｗｄ_２と低周波数帯域成分Ｓ_２が得られる。
【０１３０】
歪みデータ抽出手段４２２は、輝度データＢから求められた高周波数帯域成分Ｗｖ_１，Ｗｈ_１，Ｗｄ_１，Ｗｖ_２，Ｗｈ_２，Ｗｄ_２から歪みデータを抽出する。歪みデータとは、例えば、合成端部情報に記された合成端部の画素位置における高周波数帯域成分Ｗｖ_１，Ｗｈ_１，Ｗｄ_１，Ｗｖ_２，Ｗｈ_２，Ｗｄ_２の画像データ値である。
【０１３１】
歪み量ランク分け手段４２３は、この高周波数帯域成分Ｗｖ_１，Ｗｈ_１，Ｗｄ_１，Ｗｖ_２，Ｗｈ_２，Ｗｄ_２の画像データ値に応じてランク分けし、歪み量とする。なお、画像データ値をそのままランク値としてもよい。
【０１３２】
画像データ変換手段４３０は、ランク別画像データ変換手段４３１と、直交ウェーブレット逆変換手段４３２と、から構成される。
【０１３３】
ランク別画像データ変換手段４３１は、例えば、歪み情報に記された画素位置において、高周波数帯域成分Ｗｖ_１，Ｗｈ_１，Ｗｄ_１，Ｗｖ_２，Ｗｈ_２，Ｗｄ_２の画像データを減少させる処理を行う。このとき、高周波数帯域成分Ｗｖ_１，Ｗｈ_１，Ｗｄ_１，Ｗｖ_２，Ｗｈ_２，Ｗｄ_２の画像データの減少比は、歪み量のランクに応じて変える。高周波数帯域成分Ｗｖ_１，Ｗｈ_１，Ｗｄ_１，Ｗｖ_２，Ｗｈ_２，Ｗｄ_２は、それぞれ、変換後の高周波数帯域成分Ｗｖ_１’，Ｗｈ_１’，Ｗｄ_１’，Ｗｖ_２’，Ｗｈ_２’，Ｗｄ_２’に変換される。
【０１３４】
次に、直交ウェーブレット逆変換手段４３２は、前記変換後の高周波数帯域成分Ｗｖ_２’，Ｗｈ_２’，Ｗｄ_２’と低周波数帯域成分Ｓ_２に対して、図１７に示すような直交ウェーブレット逆変換を行い、低周波数帯域成分Ｓ_１’を得る。続いて、変換後の高周波数帯域成分Ｗｖ_１’，Ｗｈ_１’，Ｗｄ_１’と低周波数帯域成分Ｓ_１’に対して直交ウェーブレット逆変換を行い、修正後の輝度データＢ’を得ることができる。
【０１３５】
合成後処理手段４０の詳細例４では、直交ウェーブレット変換により得られた解像度が異なる複数の画像データを用いて、特定の位置に特定の周波数帯域への処理を行うことで、より精度よく、歪みを修正することができる。そのため、画像全体の印象を保ったまま効率的に合成端部の不自然さを軽減させるのに効果的であり、好ましい。また、直交ウェーブレット変換を用いているため、処理を高速に行うことができ、好ましい。
また、直交ウェーブレット変換された画像データを、合成画像データの歪み量の算出に用いるとともに、歪み量に基づく画像データ変換に用いることにより、処理を効率化することができる。
【０１３６】
なお、合成後処理手段４０の詳細例４において行われる直交ウェーブレット変換は双直交ウェーブレット変換でもよい。
【０１３７】
（合成後処理手段４０の詳細例５）
図１８に、合成後処理手段４０の詳細例５を示す。合成後処理手段４０は、輝度／色差変換手段４１０と、歪み量算出手段４２０と、画像データ変換手段４３０と、輝度／色差逆変換手段４４０と、を備える。
【０１３８】
合成後処理手段４０の詳細例５は、合成後処理手段４０の詳細例３における輝度データＢの中間データＢｔｍｐ１として、二項ウェーブレット変換を施して得られた高周波数帯域成分Ｗｘ_ｎ，Ｗｙ_ｎを用いた例である。
輝度／色差変換手段４１０、輝度／色差逆変換手段４４０については、合成後処理手段４０の詳細例２と同様であるので、説明を省略する。
【０１３９】
ここで、二項ウェーブレット変換について概要を説明する。二項ウェーブレット（Ｄｙａｄｉｃ Ｗａｖｅｌｅｔ）変換は、直交ウェーブレット変換や双直交ウェーブレットと比較すると、画像を間引くことがないので、より高精細に画像を処理することができる。二項ウェーブレット変換については“Ｓｉｎｇｕｌａｒｉｔｙ ｄｅｔｅｃｔｉｏｎ ａｎｄ ｐｒｏｃｅｓｓｉｎｇ ｗｉｔｈ ｗａｖｅｌｅｔｓ” ｂｙ Ｓ．Ｍａｌｌａｔ ａｎｄ Ｗ．Ｌ．Ｈｗａｎｇ， ＩＥＥＥ Ｔｒａｎｓ． Ｉｎｆｏｒｍ． Ｔｈｅｏｒｙ ３８ ６１７ （１９９２）や“Ｃｈａｒａｃｔｅｒｉｚａｔｉｏｎ ｏｆ ｓｉｇｎａｌｓ ｆｒｏｍ ｍｕｌｔｉｓｃａｌｅ ｅｄｇｅｓ” ｂｙ Ｓ．Ｍａｌｌａｔ ａｎｄ Ｓ．Ｚｈｏｎｇ， ＩＥＥＥ Ｔｒａｎｓ． Ｐａｔｔｅｒｎ Ａｎａｌ． Ｍａｃｈｉｎｅ Ｉｎｔｅｌ． １４７１０ （１９９２） や“Ａ ｗａｖｅｌｅｔ ｔｏｕｒ ｏｆ ｓｉｇｎａｌ ｐｒｏｃｅｓｓｉｎｇ ２ｅｄ” ｂｙ Ｓ．Ｍａｌｌａｔ， Ａｃａｄｅｍｉｃ Ｐｒｅｓｓに詳細な説明がある。
【０１４０】
二項ウェーブレット変換のウェーブレット関数は下記式（８）のように定義される。
【数８】

ただし、ｉは自然数である。
【０１４１】
前述した直交ウェーブレット変換や双直交ウェーブレット変換のウェーブレット関数はレベルｉにおける位置の最小移動単位が２^ｉで離散的に定義されていたのに対し、二項ウェーブレット変換のウェーブレット関数はレベルｉにかかわらず位置の最小移動単位が一定である。この相違により、二項ウェーブレット変換には下記の特徴が生じる。
【０１４２】
第一の特徴として、下記式（９）に示す１レベルの二項ウェーブレット変換で生成する、高周波数帯域成分Ｗ_ｉと低周波数帯域成分Ｓ_ｉの各々の信号量は、変換前の信号Ｓ_ｉ−１と同一である。
【数９】

【０１４３】
第二の特徴として、スケーリング関数φ_ｉ，ｊ（ｘ）とウェーブレット関数ψ_ｉ，ｊ（ｘ）の間に下記式（１０）の関係が成立する。
【数１０】

したがって、二項ウェーブレット変換で生成される高周波数帯域成分Ｗ_ｉは、低周波数帯域成分Ｓ_ｉの一回微分（勾配）を表す。
【０１４４】
第三の特徴として、ウェーブレット変換のレベルｉに応じて定められた係数γ_ｉを高周波数帯域成分に乗じたＷ_ｉ・γ_ｉ（以下、これを補正済高周波数帯域成分という。）について、入力信号の信号変化の特異性（ｓｉｎｇｕｌａｒｉｔｙ）に応じて、該変換後の補正済高周波数帯域成分Ｗ_ｉ・γ_ｉの信号強度のレベル間の関係が一定の法則に従う。すなわち、図１９の“１”や“４”に示すようななだらかな（微分可能な）信号変化に対応する補正済高周波数帯域成分Ｗ_ｉ・γ_ｉはレベル数ｉが増大するほど信号強度が増大するのに対して、図１９の“２”に示すステップ状の信号変化に対応する補正済高周波数帯域成分Ｗ_ｉ・γ_ｉはレベル数ｉに関わらず信号強度が一定となり、図１９の“３”に示すδ関数状の信号変化に対応する補正済高周波数帯域成分Ｗ_ｉ・γ_ｉはレベル数ｉが増大するほど信号強度が減少する。
【０１４５】
第四の特徴として、画像信号のような２次元信号における１レベルの二項ウェーブレット変換の方法は、前述の直交ウェーブレット変換や双直交ウェーブレット変換の方法と異なり、図２０に示すような方法で行われる。図２０に示すように、１レベルのウェーブレット変換において、低周波数帯域成分Ｓ_ｎ−１をｘ方向のローパスフィルタＬＰＦｘ及びｙ方向のローパスフィルタＬＰＦｙで処理することにより、低周波数帯域成分Ｓ_ｎが得られる。また、低周波数帯域成分Ｓ_ｎ−１をｘ方向のハイパスフィルタＨＰＦｘで処理することにより、高周波数帯域成分Ｗｘ_ｎが得られ、ｙ方向のハイパスフィルタＨＰＦｙで処理することにより、高周波数帯域成分Ｗｙ_ｎが得られる。
【０１４６】
このように、１レベルの二項ウェーブレット変換により、低周波数帯域成分Ｓ_ｎ−１は、２つの高周波数帯域成分Ｗｘ_ｎ，Ｗｙ_ｎと１つの低周波数帯域成分Ｓ_ｎに分解される。２つの高周波数帯域成分Ｗｘ_ｎ，Ｗｙ_ｎは低周波数帯域成分Ｓ_ｎの２次元における変化ベクトルＶ_ｎのｘ成分とｙ成分に相当する。変化ベクトルＶ_ｎの大きさＭ_ｎと偏角Ａ_ｎは下記式（１１）、式（１２）で与えられる。
【数１１】

【数１２】

【０１４７】
二項ウェーブレット変換で得られた２つの高周波数帯域成分Ｗｘ_ｎ，Ｗｙ_ｎと１つの低周波数帯域成分Ｓ_ｎに、図２１に示す二項ウェーブレット逆変換を施すことにより、変換前のＳ_ｎ−１を再構成することができる。すなわち、低周波数帯域成分Ｓ_ｎに対してｘ方向におけるローパスフィルタＬＰＦｘ及びｙ方向におけるローパスフィルタＬＰＦｙで処理することにより得られる信号と、高周波数帯域成分Ｗｘ_ｎに対してｘ方向における逆変換用のハイパスフィルタＨＰＦ’ｘ及びｙ方向における逆変換用のローパスフィルタＬＰＦ’ｙで処理することにより得られる信号と、高周波数帯域成分Ｗｙ_ｎに対してｘ方向における逆変換用のローパスフィルタＬＰＦ’ｘ及びｙ方向における逆変換用のハイパスフィルタＨＰＦ’ｙで処理することにより得られる信号と加算することにより分解前の信号Ｓ_ｎ−１を得ることができる。
【０１４８】
図１８に示すように、歪み量算出手段４２０は、二項ウェーブレット変換手段４２４と、歪みデータ抽出手段４２２と、歪み量ランク分け手段４２３と、から構成される。
画像データ変換手段４３０は、ランク別画像データ変換手段４３１と、二項ウェーブレット逆変換手段４３３と、から構成される。
【０１４９】
合成後処理手段４０の詳細例５は、合成後処理手段４０の詳細例４における直交ウェーブレット変換を二項ウェーブレット変換に置き換えたもので、扱うデータが、二項ウェーブレット変換を施して得られた高周波数帯域成分Ｗｘ_ｎ，Ｗｙ_ｎであること以外は、合成後処理手段４０の詳細例４と同様であるので、説明を省略する。
【０１５０】
合成後処理手段４０の詳細例５では、二項ウェーブレット変換により得られた解像度が異なる複数の画像データを用いて、特定の位置に特定の周波数帯域への処理を行うことで、より精度よく、歪みを修正することができる。そのため、より精度よく合成画像の不自然さを軽減させることができ、好ましい。また、部分処理であるから、画像全体の印象を保つことができ、合成画像の微修正に適しているとともに、極めて少ない作業工数で効率的に処理することができる。
【０１５１】
また、合成後処理手段４０の詳細例５で用いた二項ウェーブレット変換は、変換時に画像を間引くことがないので、画像を再構成するのに好ましい。そのため、画像を逆変換して戻した後の画像に、アーティファクトが出現しにくく、好ましい。
【０１５２】
（合成後処理手段４０の詳細例６）
図２２に、合成後処理手段４０の詳細例６を示す。合成後処理手段４０は、歪み量算出手段４２０と、画像データ変換手段４３０と、を備える。
【０１５３】
合成後処理手段４０の詳細例６は、合成画像の画質評価値に基づいて歪み情報を生成する場合である。ここで、画質評価値とは、階調性、鮮鋭性、粒状性等をいう。
【０１５４】
歪み量算出手段４２０として、画質評価値に基づいて、歪み情報を生成する方法を用いる。
歪み量算出手段４２０は、画質評価手段４２５と、歪み情報算出手段４２６と、から構成される。
【０１５５】
画質評価手段４２５は、合成端部情報を用いて、適宜目的に応じた画像領域において、合成画像の画像データＰから画質評価値を求める。画質評価値として、階調性については、例えば、合成画像の画像データＰのヒストグラムからコントラストを求める。また、鮮鋭性については、例えば、合成画像の画像データＰをウェーブレット変換して得られた複数の高周波数帯域成分の画像データの大きさを比較して求める。また、粒状性については、例えば、合成画像の画像データＰをウェーブレット変換して得られた複数の高周波数帯域成分の画像データの大きさを比較して求める。なお、画質評価値として階調性、鮮鋭性、粒状性等を求める際に、他の可能な方法を用いてもよい。
【０１５６】
歪み情報算出手段４２６は、画質評価手段４２５により求められた画質評価値に基づいて、歪み情報を算出する。
【０１５７】
画像データ変換手段４３０は、各画質評価値に基づく歪み情報に基づき変換を行う。例えば、階調性についていえば、階調変換等を行い、鮮鋭性、粒状性についていえば、例えば、スムージング処理や、アンシャープマスキング処理等の変換を行う。
【０１５８】
合成後処理手段４０の詳細例６では、合成画像の階調性、鮮鋭性、粒状性等の画質評価値に基づいて歪み情報を生成し、合成画像の不自然さを軽減することができ、好ましい。
【０１５９】
（合成後処理手段４０の詳細例７）
図２３に、合成後処理手段４０の詳細例７を示す。合成後処理手段４０は、輝度／色差変換手段４１０と、歪み量算出手段４２０と、画像データ変換手段４３０と、輝度／色差逆変換手段４４０と、を備える。
【０１６０】
合成後処理手段４０の詳細例７は、合成後処理手段４０の詳細例５と同様に、二項ウェーブレット変換を用いた例である。また、合成後処理手段４０の詳細例７は、合成後処理手段４０の詳細例６と同様に、画質評価値に基づいて歪み情報を生成する例であり、合成後処理手段４０の詳細例５において、歪みデータ抽出手段４２２に、粒状性評価を用いる場合の例である。
輝度／色差変換手段４１０と、輝度／色差逆変換手段４４０については、合成後処理手段４０の詳細例２と同様であるので、説明を省略する。
【０１６１】
歪み量算出手段４２０は、二項ウェーブレット変換手段４２４と、歪みデータ抽出手段４２２と、歪み量ランク分け手段４２３と、から構成される。合成後処理手段４０の詳細例７では、歪みデータ抽出手段４２２として、粒状性評価手段４２７を用いる。この例では、合成端部情報により合成画像データを複数の領域に分けて、領域毎に別の処理を行う方法を用いる。例えば、図６（ｄ）において背景と人物に領域分けして別々の処理を行う方法が挙げられる。
二項ウェーブレット変換手段４２４については、合成後処理手段４０の詳細例５と同様であるので、説明を省略する。
【０１６２】
粒状性評価手段４２７について説明する。
合成画像の輝度データＢを二項ウェーブレット変換して得られたレベル１の高周波数帯域成分Ｗｘ_１，Ｗｙ_１の画像データと、レベル２の高周波数帯域成分Ｗｘ_２，Ｗｙ_２の画像データの大きさを比較して、合成端部情報に記された領域毎の粒状性の特性値を求める。
【０１６３】
レベル１の高周波数帯域成分Ｗｘ_１，Ｗｙ_１の画像データの大きさをＡＨ１とし、レベル２の高周波数帯域成分Ｗｘ_２，Ｗｙ_２の画像データの大きさをＡＨ２とする。ＡＨ１＞ＡＨ２×α（０＜α＜１）を満たす画素を、粒状評価画素として各領域毎に抽出する。そして、領域毎に粒状評価画素におけるレベル１の高周波数帯域成分Ｗｘ_１，Ｗｙ_１の画像データの大きさＡＨ１の平均値を、粒状性評価値ＡＲｉとして求める（ｉは領域の番号）。
次に、すべての領域ｉにおける粒状性評価値ＡＲｉの平均を取り、粒状性評価平均値ＡＲａｖｇを算出する。粒状性評価値ＡＲｉの粒状性評価平均値ＡＲａｖｇに対する割合を比粒状性評価値ＲＲｉ＝ＡＲｉ／ＡＲａｖｇとして、各領域毎に求める。
なお、粒状性評価手段４２７は、この方法に限定されない。
【０１６４】
歪み量ランク分け手段４２３は、比粒状性評価値ＲＲｉに応じてランク分けして、各領域毎の歪み量とする。そして、歪み情報として、領域ｉ毎の粒状評価画素の位置と領域ｉ毎の歪み量を生成する。
【０１６５】
画像データ変換手段４３０は、ランク別画像データ変換手段４３１と、二項ウェーブレット逆変換手段４３３と、から構成される。
ランク別画像データ変換手段４３１は、歪み量のランクに応じて画像データを変換する。この例においては、領域ｉ毎の歪み量に応じて領域ｉ毎に粒状評価画素の高周波数帯域成分Ｗｘ_１，Ｗｙ_１，Ｗｘ_２，Ｗｙ_２に所定の変換を行い、各領域ｉ毎の比粒状性評価値ＲＲｉが所定の値内に入るようにする。
二項ウェーブレット逆変換手段４３３については、合成後処理手段４０の詳細例５と同様であるので、説明を省略する。
【０１６６】
合成後処理手段４０の詳細例７では、合成端部情報を利用して合成画像のデータを領域に分けて、領域毎に別の処理を行うことができるので、各領域に適した処理を行うことができる。したがって、合成画像をより自然に修正することができ、好ましい。
なお、この例では、粒状性を評価したが、鮮鋭性、階調性等、他の画質評価値に基づいて歪み量を求め、対応する画像データ変換を行ってもよい。
【０１６７】
合成後処理手段４０の詳細例４，５，７では、直交ウェーブレット変換、二項ウェーブレット変換において、レベル２までの高周波数帯域成分を用いた場合を説明したが、レベル１だけでもよいし、より多いレベルまでの高周波数帯域成分を用いて歪み量を算出することとしてもよい。例えば、ｎレベルまでの高周波数帯域成分を用いる場合、１〜ｍ（ｎ＜ｍ）レベルまでは直交エーブレット変換又は双直交ウェーブレット変換を用い、ｍ＋１〜ｎレベルに二項ウェーブレット変換を用いると、精度を大きく落とすことなく、処理速度の低下を抑えることができる。よって、精度と処理速度の両立の点で好ましい。
また、多重解像度変換での例として、ウェーブレット変換を示したが、他の多重解像度変換でもよい。また、複数の多重解像度変換の併用でもよい。
【０１６８】
［実施の形態４］
図２４に、実施の形態４として画像合成処理の例を示す。図２４に示す画像処理部１４３は、図２における画像記録装置１の画像処理部１４の一例である。
図２４に示すように、画像処理部１４３は、入力画像変換手段２０と、合成前処理手段６０と、画像合成手段３０と、合成後処理手段４０と、出力画像変換手段５０と、を備える。
【０１６９】
実施の形態４では、元画像の画像データＧ１，Ｇ２を合成する前に、元画像間の特性の違いを軽減させるための前処理を行う。
入力画像変換手段２０、合成後処理手段４０、出力画像変換手段５０については、実施の形態１と同様であるので、説明を省略する。
【０１７０】
合成前処理手段６０は、元画像の画像データＧ１，Ｇ２に、元画像間の特性の違いを軽減させるための画像処理を行い、前処理後の画像データＧ１’，Ｇ２’を生成する。ここで、特性とは、主に画質に関する特性をいい、色、階調性、鮮鋭性、粒状性等をいう。
【０１７１】
合成前処理としては、種々の処理があるが、例えば、画質評価値の違いを求め、特性を近づける処理を行う。
画質評価値として、階調性については、例えば、元画像の画像データＧ１，Ｇ２のヒストグラムからコントラストを求める。また、鮮鋭性については、例えば、元画像の画像データＧ１，Ｇ２をウェーブレット変換して得られた複数の高周波数帯域成分の画像データの大きさを比較して求める。また、粒状性については、例えば、元画像の画像データＧ１，Ｇ２をウェーブレット変換して得られた複数の高周波数帯域成分の画像データの大きさを比較して求める。なお、画質評価値として階調性、鮮鋭性、粒状性等を求める際に、他の可能な方法を用いてもよい。
【０１７２】
元画像の画像データＧ１，Ｇ２から求めた画質評価値の違いに基づいて、元画像の画像データＧ１，Ｇ２に画像処理を行う。例えば、階調性についていえば、階調変換等を行い、鮮鋭性、粒状性についていえば、例えば、スムージング処理や、アンシャープマスキング処理等の変換を行う。元画像の画像データＧ１，Ｇ２の両方に対して変換を行うこととしてもよいし、元画像の画像データＧ１，Ｇ２のうち、一方を他方に合わせるように変換を行うこととしてもよい。
【０１７３】
画像合成手段３０は、前処理後の画像データＧ１’，Ｇ２’を合成して合成画像の画像データＰを生成するとともに、合成端部情報を生成する。扱うデータが前処理後の画像データＧ１’，Ｇ２’であること以外は、実施の形態１と同様であるので、説明を省略する。
【０１７４】
（合成前処理手段６０の詳細例１）
図２５に、二項ウェーブレット変換を用いた合成前処理手段６０の例として、合成前処理手段６０の詳細例１を示す。合成前処理手段６０は、輝度／色差変換手段６１０と、二項ウェーブレット変換手段６２０と、前処理用画像データ変換手段６３０と、二項ウェーブレット逆変換手段６４０と、輝度／色差逆変換手段６５０と、を備える。
【０１７５】
輝度／色差変換手段６１０は、元画像の画像データＧ１を輝度データＶ１と色差データＵ１に変換し、元画像の画像データＧ２を輝度データＶ２と色差データＵ２に変換する。
【０１７６】
二項ウェーブレット変換手段６２０は、輝度データＶ１を二項ウェーブレット変換して、レベル１の高周波数帯域成分Ｗｘ_１１，Ｗｙ_１１と、レベル２の高周波数帯域成分Ｗｘ_２１，Ｗｙ_２１と、低周波数帯域成分Ｓ_２１を生成する。同様に、輝度データＶ２を二項ウェーブレット変換して、レベル１の高周波数帯域成分Ｗｘ_１２，Ｗｙ_１２と、レベル２の高周波数帯域成分Ｗｘ_２２，Ｗｙ_２２と、低周波数帯域成分Ｓ_２２を生成する。
【０１７７】
前処理用画像データ変換手段６３０は、高周波数帯域成分Ｗｘ_１１，Ｗｙ_１１，Ｗｘ_２１，Ｗｙ_２１と、低周波数帯域成分Ｓ_２１を変換して、高周波数帯域成分Ｗｘ_１１’，Ｗｙ_１１’，Ｗｘ_２１’，Ｗｙ_２１’と、低周波数帯域成分Ｓ_２１’を生成する。同様に、高周波数帯域成分Ｗｘ_１２，Ｗｙ_１２，Ｗｘ_２２，Ｗｙ_２２と、低周波数帯域成分Ｓ_２２を変換して、高周波数帯域成分Ｗｘ_１２’，Ｗｙ_１２’，Ｗｘ_２２’，Ｗｙ_２２’と、低周波数帯域成分Ｓ_２２’を生成する。
【０１７８】
図２６に、前処理用画像データ変換手段６３０として、粒状性に基づいて変換を行う例を示す。前処理用画像データ変換手段６３０は、粒状性評価手段６３１と、画像変換手段６３２と、から構成される。
【０１７９】
粒状性評価手段６３１は、輝度データＶ１を二項ウェーブレット変換して得られたレベル１の高周波数帯域成分Ｗｘ_１１，Ｗｙ_１１の画像データの大きさをＢＨ１とし、レベル２の高周波数帯域成分Ｗｘ_２１，Ｗｙ_２１の画像データの大きさをＢＨ２として、ＢＨ１＞ＢＨ２×β（０＜β＜１）を満たす画素を、粒状評価画素として抽出する。そして、粒状評価画素におけるレベル１の高周波数帯域成分Ｗｘ_１１，Ｗｙ_１１の画像データの大きさＢＨ１の平均値を、粒状性評価値ＢＲ１として求める。
同様に、輝度データＶ２を二項ウェーブレット変換して得られたレベル１の高周波数帯域成分Ｗｘ_１２，Ｗｙ_１２の画像データ、レベル２の高周波数帯域成分Ｗｘ_２２，Ｗｙ_２２の画像データについても処理を行い、粒状性評価値ＢＲ２を求める。
【０１８０】
次に、２つの元画像における粒状性評価値ＢＲ１，ＢＲ２の平均を取り、粒状性評価平均値ＢＲａｖｇを算出する。粒状性評価値ＢＲ１，ＢＲ２の粒状性評価平均値ＢＲａｖｇに対する割合を比粒状性評価値ＢＲＲ１＝ＢＲ１／ＢＲａｖｇ，ＢＲＲ２＝ＢＲ２／ＢＲａｖｇとして求める。
そして、粒状性評価手段６３１は、比粒状性評価値ＢＲＲ１，ＢＲＲ２に応じて、それぞれの元画像に対する画像変換条件を算出し、各画像の画像変換条件を画像変換手段６３２に送る。
なお、粒状性評価手段６３１は、この方法に限定されない。
【０１８１】
画像変換手段６３２は、粒状性評価手段６３１により求められた各画像の画像変換条件に基づいて高周波数帯域成分Ｗｘ_１１，Ｗｙ_１１，Ｗｘ_２１，Ｗｙ_２１と、低周波数帯域成分Ｓ_２１を変換して、高周波数帯域成分Ｗｘ_１１’，Ｗｙ_１１’，Ｗｘ_２１’，Ｗｙ_２１’と、低周波数帯域成分Ｓ_２１’を生成する。同様に、高周波数帯域成分Ｗｘ_１２，Ｗｙ_１２，Ｗｘ_２２，Ｗｙ_２２と、低周波数帯域成分Ｓ_２２を変換して、高周波数帯域成分Ｗｘ_１２’，Ｗｙ_１２’，Ｗｘ_２２’，Ｗｙ_２２’と、低周波数帯域成分Ｓ_２２’を生成する。この変換により、比粒状性評価値ＢＲＲ１，ＢＲＲ２が所定の値内に入るようにする。
【０１８２】
図２５に示すように、二項ウェーブレット逆変換手段６４０は、高周波数帯域成分Ｗｘ_１１’，Ｗｙ_１１’，Ｗｘ_２１’，Ｗｙ_２１’と、低周波数帯域成分Ｓ_２１’を用いて二項ウェーブレット逆変換を行い、前処理後の輝度データＶ１’を生成する。同様に、高周波数帯域成分Ｗｘ_１２’，Ｗｙ_１２’，Ｗｘ_２２’，Ｗｙ_２２’と、低周波数帯域成分Ｓ_２２’を用いて二項ウェーブレット逆変換を行い、前処理後の輝度データＶ２’を生成する。
【０１８３】
輝度／色差逆変換手段６５０は、二項ウェーブレット逆変換手段６４０において生成された前処理後の輝度データＶ１’と色差データＵ１に輝度／色差逆変換を施し、前処理後の画像データＧ１’を生成する。同様に、前処理後の輝度データＶ２’と色差データＵ２から前処理後の画像データＧ２’を生成する。この輝度／色差逆変換は、輝度／色差変換手段６１０における輝度／色差変換の逆変換である。
【０１８４】
実施の形態４では、合成前に画像の基本特性をそろえておき、合成後に合成境界部の不自然さを修正するため、合成前と合成後の両方の処理による複合効果により、合成画像をより自然な印象にすることができる。
【０１８５】
なお、実施の形態１〜４においては、２つの元画像から合成画像を作成する例を示したが、３つ以上の元画像から合成画像を作成することとしてもよい。また、合成完了後の画像に、さらに追加合成してもよい。
また、実施の形態１〜４においては、画像データのみを用いているが、必要に応じて、画像データ以外の画像付属データを用いてもよい。
【０１８６】
また、実施の形態１〜４において、画像データ変換処理は、変換する画像全体への処理でもよいし、部分処理でもよい。部分処理としては、合成端部及びその周辺だけに処理を行う方法や、合成領域に分離してそれぞれの領域に別の処理を行う方法等がある。また、画像データを輝度データと色差データに分け、輝度は部分処理し、色差は全体処理する等、部分処理と全体処理の組み合わせでもよい。また、合成画像の画像データや中間データを任意に組み合わせて用いてもよい。
【０１８７】
また、実施の形態１〜４において、変換するデータとしては、画像データや、画像データから変換された輝度データや、輝度データから変換された中間データ等の例を挙げたが、色差データや、色差データから変換された中間データ等、他のデータを目的に応じて用いればよく、限定されるものではない。
【０１８８】
また、実施の形態１〜４の各ブロックは、画像処理部の機能の理解を助けるために設けたブロックであり、必ずしも物理的に独立している必要はなく、例えば、単一のＣＰＵにおけるソフトウェア処理の種類のブロックとして実現されてもよい。
【０１８９】
【発明の効果】
上述したように、請求項１、７、１３又は１９に記載の発明によれば、合成端部情報を用いることにより、合成画像の各領域毎に適切な変換ができるので、合成画像の不自然さを軽減させることができる。特に、合成画像の境界部やその周辺に対して合成後の画像データを変換することができるので、合成画像の境界部の不自然さを軽減させることができる。したがって、極めて少ない作業工数で合成画像を自然な画像にすることができる。
【０１９０】
上述したように、請求項２、８、１４又は２０に記載の発明によれば、歪み量に基づいて画像データを変換するので、必要な部分に必要な程度の処理を行うことができる。そのため、極めて少ない作業工数で合成画像の不自然さを軽減させることができる。
【０１９１】
上述したように、請求項３、９、１５又は２１に記載の発明によれば、合成端部情報を用いて歪み量を算出するので、効率よく歪み量を算出することができる。したがって、より精度よく合成画像の不自然さを軽減させることができる。
【０１９２】
上述したように、請求項４、１０、１６又は２２に記載の発明によれば、多重解像度変換により、解像度が異なる複数の画像データを用いて、より精度よく歪み量を算出することができる。したがって、より精度よく合成画像の不自然さを軽減させることができる。
【０１９３】
上述したように、請求項５、１１、１７又は２３に記載の発明によれば、多重解像度変換された画像データを、合成画像データの歪み量の算出に用いるとともに、歪み量に基づく画像データ変換に用いることにより、処理を効率化することができる。
【０１９４】
上述したように、請求項６、１２、１８又は２４に記載の発明によれば、合成前に画像の基本特性をそろえておき、合成後に合成境界部の不自然さを修正するので、合成前と合成後の両方の処理による複合効果により、合成画像をより自然な印象にすることができる。
【図面の簡単な説明】
【図１】本実施の形態の画像記録装置の概観構成を示す図である。
【図２】画像記録装置の機能構成を示すブロック図である。
【図３】実施の形態１の画像合成処理を示す図である。
【図４】合成画像の合成端部を説明するための図である。
【図５】背景画像に人物を貼り付ける場合の例を示す図である。
【図６】図４の合成画像における部分処理の処理領域の例を示す図である。
【図７】実施の形態２の画像合成処理を示す図である。
【図８】合成後処理手段４０の詳細例１を示す図である。
【図９】実施の形態３の画像合成処理を示す図である。
【図１０】合成後処理手段４０の詳細例２を示す図である。
【図１１】合成後処理手段４０の詳細例３を示す図である。
【図１２】合成後処理手段４０の詳細例４を示す図である。
【図１３】ウェーブレット変換において用いられるウェーブレット関数を示した図である。
【図１４】直交ウェーブレット変換又は双直交ウェーブレット変換におけるフィルタ処理を示す図である。
【図１５】２次元信号における１レベルの直交ウェーブレット変換又は双直交ウェーブレット変換を示す図である。
【図１６】３レベルの直交ウェーブレット変換又は双直交ウェーブレット変換で信号分解される過程を示す模式図である。
【図１７】直交ウェーブレット変換又は双直交ウェーブレット変換で分解された信号をウェーブレット逆変換により再構成する方法を示す図である。
【図１８】合成後処理手段４０の詳細例５を示す図である。
【図１９】ウェーブレット変換される信号の特性を示す図である。
【図２０】二項ウェーブレット変換を示す図である。
【図２１】二項ウェーブレット逆変換を示す図である。
【図２２】合成後処理手段４０の詳細例６を示す図である。
【図２３】合成後処理手段４０の詳細例７を示す図である。
【図２４】実施の形態４の画像合成処理を示す図である。
【図２５】合成前処理手段６０の詳細例１を示す図である。
【図２６】前処理用画像データ変換手段６３０の例を示す図である。
【符号の説明】
１ 画像記録装置
２ ＣＰＵ
３ ＲＯＭ
４ ＲＡＭ
５ 操作部
６ フィルムスキャナ部
７ 反射原稿入力部
８ 画像読込部
９ ＣＲＴ
１０ プリント作成部
１１ 画像書込部
１２ 記憶部
１３ 通信部
１４ 画像処理部
１５ トレー
１６ マガジン
２０ 入力画像変換手段
３０ 画像合成手段
４０ 合成後処理手段
５０ 出力画像変換手段
６０ 合成前処理手段
４１０ 輝度／色差変換手段
４２０ 歪み量算出手段
４２１ 直交ウェーブレット変換手段
４２２ 歪みデータ抽出手段
４２３ 歪み量ランク分け手段
４２４ 二項ウェーブレット変換手段
４２５ 画質評価手段
４２６ 歪み情報算出手段
４２７ 粒状性評価手段
４３０ 画像データ変換手段
４３１ ランク別画像データ変換手段
４３２ 直交ウェーブレット逆変換手段
４３３ 二項ウェーブレット逆変換手段
４４０ 輝度／色差逆変換手段
６１０ 輝度／色差変換手段
６２０ 二項ウェーブレット変換手段
６３０ 前処理用画像データ変換手段
６３１ 粒状性評価手段
６３２ 画像変換手段
６４０ 二項ウェーブレット逆変換手段
６５０ 輝度／色差逆変換手段

Claims (24)

1. ２つ以上の画像を用いて合成画像を作成する画像合成方法において、
   前記２つ以上の画像が互いに接する境界に関する合成端部情報を用いて合成後の画像データへの画像変換条件を決定し、前記決定された画像変換条件に基づいて前記合成後の画像データを変換する合成後処理工程を含むことを特徴とする画像合成方法。
2. ２つ以上の画像を用いて合成画像を作成する画像合成方法において、
   合成後の画像データから歪み量を算出する歪み量算出工程と、
   前記算出された歪み量に基づいて前記合成後の画像データへの画像変換条件を決定し、前記決定された画像変換条件に基づいて前記合成後の画像データを変換する画像データ変換工程と、
   を含むことを特徴とする画像合成方法。
3. 請求項２に記載の画像合成方法において、
   前記歪み量算出工程において、前記２つ以上の画像が互いに接する境界に関する合成端部情報を用いて歪み量を算出することを特徴とする画像合成方法。
4. 請求項３に記載の画像合成方法において、
   前記歪み量算出工程は、多重解像度変換を含むことを特徴とする画像合成方法。
5. 請求項４に記載の画像合成方法において、
   前記画像データ変換工程における合成後の画像データへの変換は、前記多重解像度変換後の画像データへの変換であることを特徴とする画像合成方法。
6. 請求項１〜５のいずれか一項に記載の画像合成方法において、
   合成前に少なくとも１つの画像に対して、多重解像度変換を用いた合成前処理を行う合成前処理工程を含むことを特徴とする画像合成方法。
7. ２つ以上の画像を用いて合成画像を作成する画像合成装置において、
   前記２つ以上の画像が互いに接する境界に関する合成端部情報を用いて合成後の画像データへの画像変換条件を決定し、前記決定された画像変換条件に基づいて前記合成後の画像データを変換する合成後処理手段を備えたことを特徴とする画像合成装置。
8. ２つ以上の画像を用いて合成画像を作成する画像合成装置において、
   合成後の画像データから歪み量を算出する歪み量算出手段と、
   前記算出された歪み量に基づいて前記合成後の画像データへの画像変換条件を決定し、前記決定された画像変換条件に基づいて前記合成後の画像データを変換する画像データ変換手段と、
   を備えたことを特徴とする画像合成装置。
9. 請求項８に記載の画像合成装置において、
   前記歪み量算出手段は、前記２つ以上の画像が互いに接する境界に関する合成端部情報を用いて歪み量を算出することを特徴とする画像合成装置。
10. 請求項９に記載の画像合成装置において、
    前記歪み量算出手段は、多重解像度変換を行うことを特徴とする画像合成装置。
11. 請求項１０に記載の画像合成装置において、
    前記画像データ変換手段における合成後の画像データへの変換は、前記多重解像度変換後の画像データへの変換であることを特徴とする画像合成装置。
12. 請求項７〜１１のいずれか一項に記載の画像合成装置において、
    合成前に少なくとも１つの画像に対して、多重解像度変換を用いた合成前処理を行う合成前処理手段を備えたことを特徴とする画像合成装置。
13. ２つ以上の画像を用いて合成画像を作成する処理を実行するためのコンピュータに、
    前記２つ以上の画像が互いに接する境界に関する合成端部情報を用いて合成後の画像データへの画像変換条件を決定し、前記決定された画像変換条件に基づいて前記合成後の画像データを変換する合成後処理機能を実現させるための画像合成プログラム。
14. ２つ以上の画像を用いて合成画像を作成する処理を実行するためのコンピュータに、
    合成後の画像データから歪み量を算出する歪み量算出機能と、
    前記算出された歪み量に基づいて前記合成後の画像データへの画像変換条件を決定し、前記決定された画像変換条件に基づいて前記合成後の画像データを変換する画像データ変換機能と、
    を実現させるための画像合成プログラム。
15. 請求項１４に記載の画像合成プログラムにおいて、
    前記歪み量算出機能は、前記２つ以上の画像が互いに接する境界に関する合成端部情報を用いて歪み量を算出することを特徴とする画像合成プログラム。
16. 請求項１５に記載の画像合成プログラムにおいて、
    前記歪み量算出機能は、多重解像度変換を含むことを特徴とする画像合成プログラム。
17. 請求項１６に記載の画像合成プログラムにおいて、
    前記画像データ変換機能における合成後の画像データへの変換は、前記多重解像度変換後の画像データへの変換であることを特徴とする画像合成プログラム。
18. 請求項１３〜１７のいずれか一項に記載の画像合成プログラムにおいて、
    前記コンピュータに、
    合成前に少なくとも１つの画像に対して、多重解像度変換を用いた合成前処理を行う合成前処理機能を実現させることを特徴とする画像合成プログラム。
19. ２つ以上の画像を用いて合成画像を作成し、合成画像を記録媒体に記録する画像記録装置において、
    前記２つ以上の画像が互いに接する境界に関する合成端部情報を用いて合成後の画像データへの画像変換条件を決定し、前記決定された画像変換条件に基づいて前記合成後の画像データを変換する合成後処理手段を備えたことを特徴とする画像記録装置。
20. ２つ以上の画像を用いて合成画像を作成し、合成画像を記録媒体に記録する画像記録装置において、
    合成後の画像データから歪み量を算出する歪み量算出手段と、
    前記算出された歪み量に基づいて前記合成後の画像データへの画像変換条件を決定し、前記決定された画像変換条件に基づいて前記合成後の画像データを変換する画像データ変換手段と、
    を備えたことを特徴とする画像記録装置。
21. 請求項２０に記載の画像記録装置において、
    前記歪み量算出手段は、前記２つ以上の画像が互いに接する境界に関する合成端部情報を用いて歪み量を算出することを特徴とする画像記録装置。
22. 請求項２１に記載の画像記録装置において、
    前記歪み量算出手段は、多重解像度変換を行うことを特徴とする画像記録装置。
23. 請求項２２に記載の画像記録装置において、
    前記画像データ変換手段における合成後の画像データへの変換は、前記多重解像度変換後の画像データへの変換であることを特徴とする画像記録装置。
24. 請求項１９〜２３のいずれか一項に記載の画像記録装置において、
    合成前に少なくとも１つの画像に対して、多重解像度変換を用いた合成前処理を行う合成前処理手段を備えたことを特徴とする画像記録装置。

Images