JP5836109B2 - 画像処理装置、それを備えた撮像装置、画像処理方法、及び画像処理プログラム - Google Patents

Description

本発明は、複数の画像をタイル状に配列した画像を生成することが可能な画像処理装置、それを備えた撮像装置、画像処理方法、及び画像処理プログラムに関する。

デジタルカメラは、撮影された画像を記録媒体に記録することができる。複数の記録された画像を縮小してインデックス画像として同時に表示させることで、記録されている画像を容易に確認する手段を提供する手法が知られている（例えば特許文献１参照）。このインデックス画像は、表示するだけではなく画像ファイルとして保存することも可能である。また、複数の画像を組み合わせることで、ある一枚の画像を生成するモザイク画像を生成する技術も公開されている（例えば特許文献２参照）。

一方、デジタルカメラの中には、撮影された画像に対して従来とは異なる特殊効果画像処理を行うことで、従来にはない独特な印象を与える写真を撮影できるものがある。この特殊効果画像処理の中には、撮影された画像を分割して貼り合わせることで、そのシーンを複数の撮影により得られた複数の画像を組み合わせたかのような画像に変換する、ランダムタイルと呼ばれる処理がある。

また、デジタルカメラで静止画や動画を記録する際、画像データのサイズをより小さくするために圧縮を行うのが一般的である。このとき、人間の視覚特性を利用して、輝度成分に比べ色差成分をより高圧縮にする手法が一般に用いられている。例えば、静止画の圧縮方式として一般的なＪＰＥＧ方式では、輝度成分については全画素のデータを用い、色差成分については水平方向の１画素毎のデータを用いる、所謂ＹＣ４２２形式でサンプリングしたデータを用いて圧縮している。また、Ｈ．２６４形式等で圧縮される動画の場合、色差成分をさらに垂直方向に半分に減らした、ＹＣ４２０形式でサンプリングしてから圧縮している。これにより、自然な画質を維持しながら高圧縮を実現している。

特開平５−２６１２号公報 特開２０００−２９８７２２号公報

インデックス画像、モザイク画像、及びランダムタイルで生成されたランダムタイル画像に共通する点として、背景画像（例えば黒一面等）に対して小さな画像を貼り合わせた、タイル状の画像である点が挙げられる。

このとき、このタイル状画像をＹＣ４２２形式やＹＣ４２０形式でダウンサンプリングしたデータを、再生のために、各画素が輝度成分と色差成分とを有するＹＣ４４４形式にアップサンプリングするとき、色差成分がない画素のデータについては、隣接画素の色差成分を用いて補間する。この過程で、もとの画像に存在しなかった色が生じることがある。自然画であれば隣接画素間の相関が高いため、アップサンプリングしても元の画像に非常に近い結果が得られる。しかしながら、タイル状画像では貼り付けた画像と背景画像の相関が非常に低い場合が想定される。その場合、元の画像に存在しない色が見えてしまい、特に拡大表示や印刷を行った場合に違和感のある画像になってしまう。

本発明は、前記の事情に鑑みてなされたものであり、特にタイル状画像を生成する際に再生をしても違和感が生じにくい画像を生成することが可能な画像処理装置、それを備えた撮像装置、画像処理方法、及び画像処理プログラムを提供することを目的とする。

前記の目的を達成するために、本発明の第１の態様の画像処理装置は、背景画像データに対して、水平方向又は垂直方向の一方向に直線状の境界を有する部分画像データを貼り付けて合成画像データを生成する画像合成部と、前記合成画像データを生成する際の、前記部分画像データの境界の前記背景画像データにおける位置を決定する境界位置決定部と、前記合成画像データに対し、前記合成画像データの輝度成分のデータ数よりも前記合成画像データの色差成分のデータ数を少なくするサンプリング処理を施す画像サンプリング部と、を具備し、前記境界位置決定部は、前記画像サンプリング部によるサンプリング処理の方式に応じて、前記部分画像データを拡大又は縮小することにより前記境界の位置を補正することを特徴とする。

また、前記の目的を達成するために、本発明の第２の態様の撮像装置は、第１の態様の画像処理装置を備えることを特徴とする。

また、前記の目的を達成するために、本発明の第３の態様の画像処理方法は、画像合成部が、背景画像データに対して、水平方向又は垂直方向の一方向に直線状の境界を有する部分画像データを貼り付けて合成画像データを生成し、境界位置決定部が、前記合成画像データを生成する際の、前記部分画像データの境界の前記背景画像データにおける位置を決定し、前記境界位置決定部が、画像サンプリング部によるサンプリング処理の方式に応じて、前記部分画像データを拡大又は縮小することにより前記境界の位置を補正し、前記画像サンプリング部が、前記合成画像データに対し、前記合成画像データの輝度成分のデータ数よりも前記合成画像データの色差成分のデータ数を少なくするサンプリング処理を施す、ことを特徴とする。

また、前記の目的を達成するために、本発明の第４の態様の画像処理プログラムは、画像合成部に、背景画像データに対して、水平方向又は垂直方向の一方向に直線状の境界を有する部分画像データを貼り付けて合成画像データを生成させる手順と、境界位置決定部に、前記合成画像データを生成する際の、前記部分画像データの境界の前記背景画像データにおける位置を決定させる手順と、前記境界位置決定部に、画像サンプリング部によるサンプリング処理の方式に応じて、前記部分画像データを拡大又は縮小することにより前記境界の位置を補正させる手順と、前記画像サンプリング部に、前記合成画像データに対し、前記合成画像データの輝度成分のデータ数よりも前記合成画像データの色差成分のデータ数を少なくするサンプリング処理を施させる手順と、をコンピュータに実行させる。

本発明によれば、特にタイル状画像を生成する際に再生をしても違和感が生じにくい画像を生成することが可能な画像処理装置、それを備えた撮像装置、画像処理方法、及び画像処理プログラムを提供することができる。

本発明の一実施形態に係る画像処理装置を備えた撮像装置の一例としてのデジタルカメラの構成を示すブロック図である。 デジタルカメラのメイン動作を示すフローチャートである。 インデックス画像生成処理の詳細を示したフローチャートである。 インデックス画像生成処理における配置パターンの例を示す図である。 画像処理の詳細について示したフローチャートである。 モザイク処理の詳細を示すフローチャートである。 モザイク処理におけるコマの分割の例を示す図である。 ランダムタイル処理の詳細を示すフローチャートである。 ランダムタイル処理におけるコマの分割の例を示す図である。 ランダムタイル画像の生成例を示す図である。 画像貼り付け処理について示すフローチャートである。 画像貼り付け処理の際の貼り付け位置の座標の補正の具体例について示すフローチャートである。 ＹＣデータのダウンサンプリングについて説明するための図である。 部分画像データの貼り付け位置の座標の補正をしない場合の画像再生について示す図である。 部分画像データの貼り付け位置の座標の補正をする場合の画像再生について示す図である。

以下、図面を参照して本発明の実施形態を説明する。
図１は、本発明の一実施形態に係る画像処理装置を備えた撮像装置の一例としてのデジタルカメラの構成を示すブロック図である。図１に示すデジタルカメラ１は、レンズ交換式のデジタルカメラである。しかしながら、必ずしもレンズ交換式のデジタルカメラである必要はなく、レンズ一体式のデジタルカメラであっても良い。

図１に示すデジタルカメラ１は、交換式レンズ１００と、カメラ本体２００と、を有している。交換式レンズ１００は、カメラ本体２００に対して着脱自在に構成されている。カメラ本体２００に交換式レンズ１００が装着された場合に、交換式レンズ１００は、カメラ本体２００と通信自在に接続される。これにより、交換式レンズ１００は、カメラ本体２００の制御に従って動作可能な状態となる。

交換式レンズ１００は、レンズ１０２と、絞り１０４と、ドライバ１０６と、マイクロコンピュータ１０８と、Ｆｌａｓｈメモリ１１０と、を有している。
レンズ１０２は、図示しない被写体からの光束をカメラ本体２００内の撮像素子２０４に集光するための光学系である。このレンズ１０２は、フォーカスレンズ及びズームレンズ等の複数のレンズを有していても良い。

絞り１０４は、開閉自在に構成され、レンズ１０２を介して入射した光束の量を調整する。ドライバ１０６は、モータ等を有している。このドライバ１０６は、マイクロコンピュータ１０８の制御に従って、レンズ１０２内のフォーカスレンズやズームレンズをその光軸方向に駆動させたり、絞り１０４を開閉駆動させたりする。

マイクロコンピュータ１０８は、交換式レンズ１００がカメラ本体２００に装着された際にインターフェイス（Ｉ/Ｆ）１１２を介してカメラ本体２００内のマイクロコンピュータ２３０と通信自在に接続される。このマイクロコンピュータ１０８は、マイクロコンピュータ２３０からの制御に従ってドライバ１０６を駆動させる。また、マイクロコンピュータ１０８は、Ｆｌａｓｈメモリ１１０に記憶されている交換式レンズ１００のレンズ情報等を、Ｉ/Ｆ１１２を介してマイクロコンピュータ２３０に通信する。
Ｆｌａｓｈメモリ１１０は、レンズ１０２の収差情報等のレンズ情報や交換式レンズ１００の動作を実行するために必要なプログラム等を記憶している。

カメラ本体２００は、メカシャッタ２０２と、撮像素子２０４と、アナログ処理部２０６と、アナログ/デジタル（Ａ/Ｄ）変換部２０８と、バス２１０と、ＳＤＲＡＭ２１２と、ＡＥ処理部２１４と、ＡＦ処理部２１６と、画像処理部２１８と、表示ドライバ２２０と、表示部２２２と、画像サンプリング部２２３と、画像圧縮伸張部２２４と、メモリインターフェイス（Ｉ/Ｆ）２２６と、記録媒体２２８と、マイクロコンピュータ２３０と、操作部２３２と、Ｆｌａｓｈメモリ２３４と、を有している。

メカシャッタ２０２は、撮像素子２０４の光電変換面を遮光状態又は露出状態とするように移動自在に構成されている。このメカシャッタ２０２を移動させることにより撮像素子２０４の露光時間が調整される。

撮像素子２０４は、レンズ１０２を介して集光された被写体からの光束が結像される光電変換面を有している。光電変換面は、複数の画素が２次元状に配置されて構成されている。また、光電変換面の光入射側には、カラーフィルタが設けられている。このような撮像素子２０４は、光電変換面に結像された光束に対応した像（被写体像）を、その光量に応じた電気信号（以下、画像信号という）に変換して出力する。

ここで、撮像素子２０４は、ＣＣＤ方式やＣＭＯＳ方式等の種々の構成の撮像素子が知られている。また、カラーフィルタの色配列もベイヤ配列等の種々の配列が知られている。本実施形態は、撮像素子２０４の構成が特定の構成に限定されるものではなく、種々の構成の撮像素子を用いることが可能である。また、撮像素子２０４は、露光時間を電子的に制御する電子シャッタ機能を有していても良い。以下の説明においては撮像素子２０４が電子シャッタ機能を有しているものとする。

アナログ処理部２０６は、撮像素子２０４により得られた画像信号に対してＣＤＳ（相関二重サンプリング）処理やＡＧＣ（自動利得制御）処理等のアナログ処理を施す。Ａ/Ｄ変換部２０８は、アナログ処理部２０６においてアナログ処理された画像信号をデジタル信号（以下、画像データという）に変換する。

バス２１０は、カメラ本体２００の内部で発生した各種のデータを転送するための転送路である。ＳＤＲＡＭ２１２は、カメラ本体２００内部で発生した各種のデータを一時的に記憶するための記憶部である。このＳＤＲＡＭ２１２は、画像処理部２１８における画像処理の際のバッファメモリとしても使用される。

ＡＥ処理部２１４は、画像データを用いて被写体輝度を算出する。なお、被写体輝度は、画像データから算出するだけでなく、例えば専用の測光センサで測定するようにしても良い。ＡＦ処理部２１６は、画像データから高周波成分の信号を取り出し、取り出した高周波成分の信号を積算してＡＦ用の合焦評価値を取得する。

画像処理部２１８は、画像データに対する各種の画像処理を行う。本実施形態における画像処理部２１８は、基本画像処理部２１８１と、特殊効果画像処理部２１８２と、を有している。
基本画像処理部２１８１は、画像の表示や記録のために必要な基本的な画像処理を画像データに対して施す。この基本的な画像処理とは、例えば、オプティカルブラック減算処理、ホワイトバランス補正処理、カラーマトリクス演算処理、ガンマ変換処理、色補正処理、エッジ強調処理、ノイズ低減処理が含まれる。
オプティカルブラック減算処理は、画像データの暗電流成分（オプティカルブラック）を減算して除去する処理である。ホワイトバランス補正処理は、画像データの色バランスを補正するためのゲインを乗じる処理である。カラーマトリクス演算処理は、画像データに対してホワイトバランス補正の結果に応じたカラーマトリクス演算を行うことによって、画像データを特定の色空間上にマッピングする処理である。ガンマ変換処理は、画像データの階調特性を所定の特性に変換する処理である。色補正処理は、色再現を適切なものとするために、ＹＣ形式に変換した画像データのうちのＣデータに彩度補正係数、色相補正係数を乗じる処理である。エッジ強調処理は、画像データからバンドパスフィルタ等を用いて抽出したエッジ信号にエッジ強調係数を乗じて画像データのうちのＹデータに加算することによって、画像データにおけるエッジ（輪郭）成分を強調する処理である。ノイズ低減処理は、画像データにおけるノイズ成分を除去する処理である。
また、カラーフィルタの色配列によっては、基本画像処理としてさらに同時化処理が必要な場合もある。同時化処理は、ベイヤ配列に対応した画像データ等の、１つの画素が１つの色成分に対応している画像データを、１つの画素が複数の色成分に対応している画像データに変換する処理である。

特殊効果画像処理部２１８２は、画像に対して特殊な視覚効果を与えるための特殊効果画像処理を画像データに対して施す。この特殊効果画像処理としては、タイル状画像を生成するための画像合成処理が含まれる。ここで、タイル状画像とは、複数の部分画像を貼り合わせて構成される合成画像のことを言う。このタイル状画像の中には、例えばインデックス画像、モザイク画像、ランダムタイル画像が含まれる。
インデックス画像の生成処理は、記録媒体２２８に記録されている画像を示す部分画像（インデックス画像）を貼り合わせる処理である。モザイク画像の生成処理は、モザイク画像の生成対象の画像を複数のコマの部分画像データに分割し、分割したあるコマの部分画像データを別のコマの部分画像データに置き換えるように画像を貼り合わせる処理である。ランダムタイルの生成処理は、複数の部分画像データをランダムに貼り合わせる処理である。これらの処理の詳細については後述する。

また、特殊効果画像処理部２１８２は、境界位置決定部としての機能も有している。この機能は、部分画像データの貼り付け位置、即ち背景画像データにおける部分画像データの境界位置を決定及び補正する機能である。

表示ドライバ２２０は、画像処理部２１８で得られた画像データ又は画像圧縮伸張部２２４で伸張された画像データを映像信号に変換して表示部２２２に出力する。表示部２２２は、例えば液晶ディスプレイ（ＬＣＤ）である。この表示部２２２は、表示ドライバ２２０から入力された映像信号に基づく画像を表示する。

画像サンプリング部２２３は、画像データのデータ量を削減するために、画像圧縮伸張部２２４における圧縮処理に先立って、画像データの輝度成分（Ｙデータ）のデータ数よりも色差成分（Ｃデータ）のデータ数を少なくするサンプリング処理（ダウンサンプリング）を行う。また、画像サンプリング部２２３は、画像圧縮伸張部２２４における伸張処理によって伸張された画像データの輝度成分（Ｙデータ）のデータ数と色差成分（Ｃデータ）のデータ数とを同じにする復元処理（アップサンプリング）を行う。画像サンプリング部２２３の詳細については後述する。

画像圧縮伸張部２２４は、画像の記録時においては、画像処理部２１８における画像処理によって得られた画像データに対してＪＰＥＧ形式やＴＩＦＦ形式等の静止画圧縮処理又はＭＰＥＧ形式やＨ．２６４形式等の動画圧縮処理を施す。また、画像圧縮伸張部２２４は、画像の再生時においては、圧縮処理が施されたＹＣデータに対して伸張（デコード）処理を施す。

メモリＩ/Ｆ２２６は、マイクロコンピュータ２３０等が記録媒体２２８にアクセスするためのインターフェイスである。記録媒体２２８は、例えばカメラ本体２００に着脱自在になされたメモリカードである。この記録媒体２２８は、画像ファイル等を記録する。画像ファイルは、画像圧縮伸張部２２４によって圧縮された画像データに、ヘッダ情報が付加されたファイルである。

マイクロコンピュータ２３０は、メカシャッタ２０２、撮像素子２０４、表示ドライバ２２０といったカメラ本体２００の各部の動作を統括的に制御する。また、マイクロコンピュータ２３０は、ＡＥ処理部２１４で演算された被写体輝度を用いてＡＥ処理を行ったり、ＡＦ処理部２１６で演算されたＡＦ評価値を用いてＡＦ処理を行ったりもする。また、マイクロコンピュータ２３０は、交換式レンズ１００の装着時には、交換式レンズ１００の動作も制御する。

操作部２３２は、ユーザによって操作される各種の操作部材である。本実施形態における操作部２３２は、レリーズボタンと、動画ボタンと、メニューボタンと、再生ボタンと、インデックスボタンと、電源ボタンと、を有している。ここで、これらのボタンは、一部又は全部をタッチパネルによって操作される仮想的な操作部として構成しても良い。

レリーズボタンは、ファースト（１ｓｔ）レリーズスイッチとセカンド（２ｎｄ）レリーズスイッチの２段スイッチを有している。レリーズボタンが半押しされて、ファーストレリーズスイッチがオンされた場合に、マイクロコンピュータ２３０は、ＡＥ処理やＡＦ処理等の撮影準備処理を実行する。また、レリーズボタンが全押しされて、セカンドレリーズスイッチがオンされた場合に、マイクロコンピュータ２３０は、静止画記録処理を実行する。

動画ボタンは、マイクロコンピュータ２３０に対して動画撮影の実行を指示する。動画ボタンが押された場合、マイクロコンピュータ２３０は、動画記録処理を実行する。また、動画記録処理の実行中に動画ボタンが押された場合、マイクロコンピュータ２３０は、動画記録処理を終了する。

メニューボタンは、メニュー画面の表示を指示するための操作部である。メニュー画面上において、ユーザは、カメラ本体２００の各種の設定を変更することが可能である。本実施形態においては、例えばメニュー画面上において、画像処理モードを設定する。この画像処理モードにより、タイル状画像を生成する処理として、モザイク画像を生成するかランダムタイム画像を生成するかを設定する。

再生ボタンは、マイクロコンピュータ２３０に対して静止画ファイル又は動画ファイルの再生を指示するための操作部である。インデックスボタンは、マイクロコンピュータ２３０に対してインデックス画像の表示を指示するための操作部である。電源ボタンは、カメラ本体２００の電源のオン又はオフを指示するための操作部である。

Ｆｌａｓｈメモリ２３４は、例えばホワイトバランス補正用のホワイトバランスゲイン、カラーマトリクス演算用のカラーマトリクス係数、ガンマ変換用のガンマテーブルといった画像処理部２１８の動作に必要なパラメータ等の、カメラ本体２００の動作に必要な各種のパラメータを記憶している。また、Ｆｌａｓｈメモリ２３４は、マイクロコンピュータ２３０が実行する種々のプログラムも記憶している。

以下、図１で示したデジタルカメラの動作について説明する。図２は、図１で示したデジタルカメラのメイン動作を示すフローチャートである。図２の動作は、例えば図１に示すデジタルカメラの電源がオンされた場合に行われる。

デジタルカメラの電源オン後において、マイクロコンピュータ２３０は、初期化処理を行う（ステップＳ１０１）。初期化処理において、マイクロコンピュータ２３０は、自身が有するレジスタに設定されている記録中フラグをＯｆｆにする等の処理を行う。記録中フラグは、動画記録中であるか否かを示すフラグである。記録中フラグがＯｆｆになっている間は、動画記録中でないことを示す。一方、記録中フラグがＯｎになっている間は、動画記録中であることを示す。

次に、マイクロコンピュータ２３０は、ユーザによって操作部２３２の再生ボタンが押されたか否かを判定する（ステップＳ１０２）。ステップＳ１０２において、再生ボタンが押されたと判定した場合に、マイクロコンピュータ２３０は、再生処理を実行する（ステップＳ１０３）。
再生処理において、マイクロコンピュータ２３０は、ユーザによる画像ファイル（静止画像ファイル又は動画像ファイル）の選択を待つ。そして、画像ファイルが選択された場合に、マイクロコンピュータ２３０は、選択された画像ファイルを画像圧縮伸張部２２４によりデコードする。そして、マイクロコンピュータ２３０は、選択された画像ファイルからデコードされた画像データを画像サンプリング部２２３に入力する。画像サンプリング部２２３は、画像データをアップサンプリングし、アップサンプリングした画像データを表示ドライバ２２０に入力する。表示ドライバ２２０は、入力された画像データを映像信号に変換し、この映像信号に対応した画像を表示部２２２に表示させる。その後、ユーザによって再生終了の指示がなされた場合、例えば再生ボタンが再び押された場合に、マイクロコンピュータ２３０は、処理をステップＳ１０２に戻す。

また、ステップＳ１０２において再生ボタンが押されていないと判定した場合に、マイクロコンピュータ２３０は、インデックス画像を生成するか否かを判定する（ステップＳ１０４）。例えば、ユーザによって操作部２３２のインデックスボタンが押された場合に、マイクロコンピュータ２３０は、インデックス画像を生成すると判定する。

ステップＳ１０４において、インデックス画像を生成すると判定した場合に、マイクロコンピュータ２３０は、画像処理部２１８により、インデックス画像生成処理を行う（ステップＳ１０５）。インデックス画像生成処理の詳細については後述する。

また、ステップＳ１０４においてインデックス画像を生成しないと判定した場合に、マイクロコンピュータ２３０は、カメラ設定をするか否かを判定する（ステップＳ１０６）。例えば、ユーザによって操作部２３２のメニューボタンが押された場合に、マイクロコンピュータ２３０は、カメラ設定をすると判定する。

ステップＳ１０６において、カメラ設定をすると判定した場合に、マイクロコンピュータ２３０は、表示ドライバ２２０を制御して表示部２２２にメニュー画面を表示させた後、カメラ設定処理を実行する（ステップＳ１０７）。
カメラ設定処理において、マイクロコンピュータ２３０は、ユーザからのカメラ設定の変更の指示を待つ。そして、何らかのカメラ設定の変更の指示がなされた場合に、マイクロコンピュータ２３０は、その指示に従ってカメラ設定を変更する。このカメラ設定処理においては、例えば静止画撮影時や動画撮影時の画像の記録モードの設定、画質の設定等が変更される。また、カメラ設定処理において、特殊効果画像処理を実行するか否か、及び特殊効果画像処理を実行する際の特殊効果画像処理モードとしてモザイクモードやランダムタイルモード等の各種のモードを設定することが可能である。ここで、モザイクモードは、モザイク画像を生成する特殊効果画像処理モードである。ランダムタイルモードは、ランダムタイル画像を生成する特殊効果画像処理モードである。なお、特殊効果画像処理モードとして、モザイクモード及びランダムタイルモード以外のモードがあっても良い。

ステップＳ１０６の判定において、カメラ設定をしないと判定した場合に、マイクロコンピュータ２３０は、ユーザによって操作部２３２の動画ボタンが押されたか否かを判定する（ステップＳ１０８）。ステップＳ１０８の判定において、動画ボタンが押された場合に、マイクロコンピュータ２３０は、記録中フラグを反転させる（ステップＳ１０９）。即ち、マイクロコンピュータ２３０は、記録中フラグがＯｆｆの場合にはＯｎに、Ｏｎの場合にはＯｆｆにする。その後、マイクロコンピュータ２３０は、現在、動画記録中であるか否か、即ち記録中フラグがＯｎであるか否かを判定する（ステップＳ１１０）。

ステップＳ１１０の判定において、記録中フラグがＯｎである場合に、マイクロコンピュータ２３０は、動画ファイルを生成し、生成した動画ファイルを記録媒体２２８に記録する（ステップＳ１１１）。動画ファイルは、ヘッダ情報記録部と動画像記録部とを有する。ヘッダ情報部には、動画ファイル用のヘッダ情報を記録する。このヘッダ情報としては、ファイル名や、動画撮影時の撮影情報（ＩＳＯ感度、絞り値、撮影日時等）、動画像データを構成する複数の画像データのそれぞれの位置を特定するためのポインタ情報等を記録する。さらに、動画撮影によって得られた動画像データを示す部分画像データ（先頭のフレームのサムネイル画像データ）も記録する。また、動画像記録部には、動画像データ（動画記録用のＹＣデータ）を圧縮した状態で記録する。

ステップＳ１０８の判定において動画ボタンが押されていない場合、ステップＳ１１０の判定において記録中フラグがＯｎでない場合、ステップＳ１１１において動画ファイルを生成した後、マイクロコンピュータ２３０は、現在、動画記録中であるか否か、即ち記録中フラグがＯｎであるか否かを判定する（ステップＳ１１２）。ステップＳ１１２の判定において、記録中フラグがＯｆｆである場合に、マイクロコンピュータ２３０は、ユーザによって操作部２３２のレリーズボタンが半押しされてレリーズボタンの状態がＯｆｆ状態から１ｓｔレリーズスイッチのＯｎ状態に遷移したか否かを判定する（ステップＳ１１３）。ステップＳ１１３において、レリーズボタンの状態が１ｓｔレリーズスイッチのＯｎ状態に遷移したと判定した場合に、マイクロコンピュータ２３０は、ＡＥ処理及びＡＦ処理を行う（ステップＳ１１４）。
ＡＥ処理において、マイクロコンピュータ２３０は、ＡＥ処理部２１４によって被写体輝度を算出させる。その後、マイクロコンピュータ２３０は、ＡＥ処理部２１４によって算出された被写体輝度に応じて静止画撮影の実行時におけるＩＳＯ感度、絞り値、シャッタ速を決定する。なお、ＡＥ処理において、画像データにおける特定の部位の輝度が適正となるようにＩＳＯ感度、絞り値、シャッタ速を決定するようにしても良い。
ＡＦ処理において、マイクロコンピュータ２３０は、ＡＦ処理部２１６によって合焦評価値を取得させる。そして、マイクロコンピュータ２３０は、ＡＦ処理部２１６で取得された合焦評価値により、画像データにおけるコントラストを評価しつつ、レンズ１０２のフォーカスレンズを微少量ずつ駆動させるようにマイクロコンピュータ１０８に指示する。その後、マイクロコンピュータ２３０は、コントラストが最大となった時点でフォーカスレンズの駆動を停止させるようにマイクロコンピュータ１０８に指示する。このようなＡＦ処理は、所謂コントラスト方式のＡＦ処理である。ＡＦ処理として位相差ＡＦ処理を用いるようにしても良い。なお、ＡＦ処理において、画像データにおける特定の部位において合焦するようにフォーカスレンズを駆動させるようにしても良い。

ここで、図２の例におけるＡＥ処理及びＡＦ処理は、レリーズボタンの状態が１ｓｔレリーズスイッチのＯｎ状態に遷移したタイミングにおいて実行されるものである。即ち、レリーズボタンの状態が１ｓｔレリーズスイッチのＯｎ状態に遷移しないタイミング、例えば、レリーズボタンの状態がＯｆｆ状態のままである場合、１ｓｔレリーズスイッチのＯｎ状態のままである場合、後述する２ｎｄレリーズスイッチのＯｎ状態のままである場合等では、ＡＥ処理及びＡＦ処理は実行されない。勿論、ＡＥ処理及びＡＦ処理を実行するようにしても良い

ステップＳ１１４の後、マイクロコンピュータ２３０は、デジタルカメラの電源がオフされたか否かを判定する（ステップＳ１１５）。ステップＳ１１５において、デジタルカメラの電源がオフされていないと判定した場合に、マイクロコンピュータ２３０は、ステップＳ１０２以後の処理を実行する。一方、ステップＳ１１５において、デジタルカメラの電源がオフされたと判定した場合に、マイクロコンピュータ２３０は、図２の処理を終了させる。

また、ステップＳ１１３において、レリーズボタンの状態が１ｓｔレリーズスイッチのＯｎ状態に遷移していないと判定した場合に、マイクロコンピュータ２３０は、ユーザによって操作部２３２のレリーズボタンが全押しされてレリーズボタンの状態が２ｎｄレリーズスイッチのＯｎ状態となっているか否かを判定する（ステップＳ１１６）。

ステップＳ１１６において、レリーズボタンの状態が２ｎｄレリーズスイッチのＯｎ状態である場合に、マイクロコンピュータ２３０は、メカシャッタ２０２を用いた静止画記録処理を実行する（ステップＳ１１７）。このために、マイクロコンピュータ２３０は、ステップＳ１１４において決定したＩＳＯ感度に応じてアナログ処理部２０６におけるゲイン制御量（増幅率）を設定するとともに、ステップＳ１１４において決定した絞り値をマイクロコンピュータ１０８に送信する。その後、マイクロコンピュータ２３０は、マイクロコンピュータ１０８の制御による絞り１０４の駆動と同期して、ステップＳ１１４において決定したシャッタ速に応じてメカシャッタ２０２を動作させて撮像素子２０４の露光量を制御する。このような静止画記録処理により、画像データがＳＤＲＡＭ２１２に記憶される。

静止画記録処理を実行した後、マイクロコンピュータ２３０は、静止画記録処理によってＳＤＲＡＭ２１２に記憶された画像データに対して画像処理部２１８を用いて画像処理を施すことによって静止画像データ（静止画記録用のＹＣデータ）を生成する（ステップＳ１１８）。この際、特殊効果画像処理を施すように予め設定されている場合には、基本画像処理部２１８１による基本画像処理と特殊効果画像処理部２１８２による特殊効果画像処理の両方を画像データに対して施す。一方、特殊効果画像処理を施すように予め設定されていない場合には、基本画像処理部２１８１による基本画像処理のみを画像データに対して施す。

画像処理の後、マイクロコンピュータ２３０は、画像処理の結果としてＳＤＲＡＭ２１２に記憶された静止画像データを、設定されている静止画記録形式で静止画ファイルとして記録する処理を行う（ステップＳ１１９）。この際、例えば設定されている静止画記録形式がＪＰＥＧ形式の場合には、マイクロコンピュータ２３０は、静止画記録処理の結果としてＳＤＲＡＭ２１２に記憶された静止画像データを画像サンプリング部２２３においてダウンサンプリングした後、ダウンサンプリングされた画像データ（ＹＣデータ）を画像圧縮伸張部２２４に入力して静止画圧縮処理を実行するように画像圧縮伸張部２２４に指示する。この指示を受けて画像圧縮伸張部２２４は、予め設定された記録モードに対応するように静止画圧縮処理を行い、圧縮された静止画像データをＳＤＲＡＭ２１２に記憶させる。その後、マイクロコンピュータ２３０は、画像圧縮伸張部２２４により圧縮された静止画像データをＳＤＲＡＭ２１２から読み出し、読み出した静止画像データに所定のヘッダ情報を付加して静止画ファイルを作成し、作成した静止画ファイルを記録媒体２２８に記録する。静止画ファイルは、ヘッダ情報記録部と静止画像記録部とを有する。ヘッダ情報部には、静止画ファイル用のヘッダ情報を記録する。このヘッダ情報としては、ファイル名や、静止画撮影時の撮影情報（ＩＳＯ感度、絞り値、撮影日時等）等を記録する。さらに、静止画撮影によって得られた静止画像データを示す部分画像データ（サムネイル画像データ）も記録する。また、静止画像記録部には、静止画像データを圧縮状態で記録する。なお、前述した例では、画像処理部２１８において画像データをＹＣ形式の画像データに変換してから記録するようにしている。これに対し、例えば設定されている静止画記録形式がＴＩＦＦ形式の場合には、画像データをダウンサンプルせずに再度ＲＧＢ形式に変換し画像データを記録する。

また、ステップＳ１１６において、レリーズボタンの状態が２ｎｄレリーズスイッチのＯｎ状態でないと判定した場合に、マイクロコンピュータ２３０は、ＡＥ処理を実行する（ステップＳ１２０）。このＡＥ処理は、動画撮影又はライブビュー表示のための処理である。ＡＥ処理の後、マイクロコンピュータ２３０は、電子シャッタを用いた動画撮影又はライブビュー表示用の撮影処理を実行する（ステップＳ１２１）。この撮影処理において、マイクロコンピュータ２３０は、ＡＥ処理によって決定したシャッタ速に応じて撮像素子２０４の電子シャッタ機能を動作させて撮像素子２０４の露光量を制御する。撮影処理の後、マイクロコンピュータ２３０は、撮影処理の結果としてＳＤＲＡＭ２１２に記憶された画像データに対して、画像処理部２１８を用いて画像処理を施す（ステップＳ１２２）。画像処理の後、マイクロコンピュータ２３０は、画像処理の結果としてＳＤＲＡＭ２１２に記憶された画像データを再生するように表示ドライバ２２０に指示する。この指示を受けて表示ドライバ２２０は、ＳＤＲＡＭ２１２から画像データを読み出し、読み出した画像データを映像信号に変換して表示部２２２に出力する。表示部２２２は、この映像信号に基づいて画像を再生する（ステップＳ１２３）。このようなライブビュー表示により、ユーザは、表示部２２２を用いて構図の確認等を行うことができる。

また、ライブビュー表示の後、マイクロコンピュータ２３０は、現在、動画記録中であるか否か、即ち記録中フラグがＯｎであるか否かを判定する（ステップＳ１２４）。ステップＳ１２４において、記録中フラグがＯｆｆであると判定した場合に、マイクロコンピュータ２３０は、ステップＳ１１５の判定を行う。また、ステップＳ１２４において、記録中フラグがＯｎであると判定した場合に、マイクロコンピュータ２３０は、動画記録処理を実行する（ステップＳ１２５）。その後、マイクロコンピュータ２３０は、ステップＳ１１５の判定を行う。動画記録処理においては、ステップＳ１２２で生成された画像データを、画像サンプリング部２２３においてダウンサンプリングした後、設定されている動画記録形式にあわせてダウンサンプリングされた画像データ（ＹＣデータ）を画像圧縮伸張部２２４に入力して動画圧縮処理を実行するように画像圧縮伸張部２２４に指示する。そして、動画圧縮処理により得られた動画像データを動画像ファイルの動画像記録部に追記する。

図３は、インデックス画像生成処理の詳細を示したフローチャートである。インデックス画像生成処理において、画像処理部２１８は、現在、記録媒体２２８に記録されている画像ファイル（静止画像ファイル及び動画像ファイル）の数をカウントし、記録枚数を取得する（ステップＳ２０１）。

続いて、画像処理部２１８は、部分画像データの配置パターンを決定する（ステップＳ２０２）。
図４は、配置パターンの例を示している。図４（ａ）は、１６コマの部分画像を同時に配置する場合の例を示している。また、図４（ｂ）は、６４コマの部分画像を同時に配置する場合の例を示している。図４（ａ）及び図４（ｂ）に付されている番号は、記録媒体２２８に記録されている画像データを用いてリサイズ等により作成される部分画像の貼り付け位置（後述のｐの値に対応）を示している。ここで、図４（ａ）及び図４（ｂ）の例では、部分画像間に間隔を設けるようにしているが、この間隔は必ずしも設ける必要はない。図４で示した配置パターンは例であって、必ずしも図４で示した配置パターンとする必要はない。例えば、インデックス画像として同時に配置する部分画像のコマ数は、必ずしも１６コマ又は６４コマとしなくとも良い。

マイクロコンピュータ２３０は、例えば記録枚数に応じて配置パターンを決定する。例えば、マイクロコンピュータ２３０は、記録枚数が１６枚以下の場合に図４（ａ）の配置パターンを選択し、記録枚数が１７枚以上の場合に図４（ｂ）の配置パターンを選択する。この他、メニュー画面上でユーザが配置パターンを設定できるようにしても良い。

配置パターンを決定した後、画像処理部２１８は、マイクロコンピュータ２３０に対してバッファ領域の確保を要求する（ステップＳ２０３）。これを受けてマイクロコンピュータ２３０は、ＳＤＲＡＭ２１２にインデックス画像データを記憶しておくためのバッファ領域を確保する。バッファの確保は、例えばバッファ領域を、後述の画像貼り付けに用いる背景画像データを記憶させることで行う。背景画像データとしては、例えば単一色（例えば黒一色）の画像データや所定の絵柄の画像データ等、任意の画像データを用いることが可能である。

続いて、画像処理部２１８は、パラメータｉを初期値１に設定する（ステップＳ２０４）。また、画像処理部２１８は、パラメータｐを初期値１に設定する（ステップＳ２０５）。ｉは、部分画像データの順番を特定するためのパラメータである。一方、ｐは、部分画像の貼り付け位置を特定するためのパラメータである。

続いて、画像処理部２１８は、インデックス画像データにおける部分画像の貼り付け位置を決定する（ステップＳ２０６）。貼り付け位置は、インデックス画像データを構成する各部分画像データの境界の背景画像データ上での位置である。このステップＳ２０６において、画像処理部２１８は、インデックス画像データにおけるｐ番目の位置の左上座標と右下座標（左下座標と右上座標でも良い）を算出する。例えば、初回は、ｐ＝１であるので、図４（ａ）又は図４（ｂ）で示した１番目の位置の左上座標と右上座標を算出する。配置位置が予め定められている場合には、その定められたｐ番目の位置の左上座標と右上座標を取得すれば良い。この他、インデックス画像のサイズと、インデックス画像の水平方向及び垂直方向のそれぞれに沿って貼り付ける部分画像データの枚数と、部分画像の間隔と、からｐ番目の位置の左上座標と右上座標を算出しても良い。

ｐ番目の貼り付け位置を決定した後、画像処理部２１８は、記録媒体２２８に記録されたｉ番目の画像ファイルからインデックス画像用の画像データを読み込む（ステップＳ２０７）。画像ファイルの順番は、例えば記録時間の順とする。

ｉ番目の画像ファイルからインデックス画像用の画像データを読み込んだ後、画像処理部２１８は、特殊効果画像処理部２１８２により、画像貼り付け処理を行う（ステップＳ２０８）。画像貼り付け処理の詳細については後述する。

画像貼り付け処理の後、画像処理部２１８は、ｐに１を加える（ステップＳ２０９）。その後、画像処理部２１８は、ｐがコマ数以上であるか否かを判定する（ステップＳ２１０）。配置パターンが、図４（ａ）のパターンである場合にはｐが１６以上であるか否かを判定する。配置パターンが、図４（ｂ）のパターンである場合にはｐが６４以上であるか否かを判定する。ステップＳ２１０の判定において、ｐがコマ数未満である場合、貼り付け位置が残っていることを意味する。この場合、画像処理部２１８は、ｉに１を加える（ステップＳ２１４）。その後、画像処理部２１８は、ｉがステップＳ２０１で取得した記録枚数以下であるか否かを判定する（ステップＳ２１５）。ステップＳ２１５において、ｉが記録枚数以下でない場合には、まだ貼り付けるべき部分画像データが残っていることを意味する。この場合、画像処理部２１８は、処理をステップＳ２０６に戻して次の部分画像データの貼り付け位置を決定する。

また、ステップＳ２１０において、ｐがコマ数以上であると判定した場合に、画像処理部２１８は、画像貼り付け処理を経て生成されたインデックス画像データを出力する。これを受けてマイクロコンピュータ２３０は、画像処理部２１８によって生成されたインデックス画像データを、画像サンプリング部２２３でダウンサンプリングし、さらに画像圧縮伸張部２２４において圧縮した後、静止画像ファイルとして記録媒体２２８に記録する（ステップＳ２１１）。続いて、画像処理部２１８は、マイクロコンピュータ２３０に対してバッファ領域をクリアする旨を要求する（ステップＳ２１２）。これを受けてマイクロコンピュータ２３０は、ＳＤＲＡＭ２１２において確保したバッファ領域に記憶されているデータをクリアする。バッファのクリアは、例えばバッファ領域のデータを、後述の画像貼り付けに用いる背景画像データに置き換えることで行う。

その後、画像処理部２１８は、ｐを１に戻す（ステップＳ２１３）。そして、画像処理部２１８は、ステップＳ２１４以後の処理を行う。コマ数以上の画像ファイルが記録媒体２２８に記録されている場合には、ステップＳ２１４以後の処理により２枚目以上のインデックス画像データが生成される。

また、ステップＳ２１５において、ｉが記録枚数を超えたと判定した場合に、画像処理部２１８は、ｐが１を超えているか否かを判定する（ステップＳ２１６）。ステップＳ２１６において、ｐが１を超えていると判定した場合に、画像処理部２１８は、それまでの画像貼り付け処理を経て生成されたインデックス画像データを出力する。これを受けてマイクロコンピュータ２３０は、画像処理部２１８によって生成されたインデックス画像データを、画像サンプリング部２２３でダウンサンプリングし、さらに画像圧縮伸張部２２４において圧縮した後、静止画像ファイルとして記録媒体２２８に記録する（ステップＳ２１７）。ステップＳ２１６において、ｐが１を超えている場合とは、ステップＳ２１３においてｐが１に戻されていないことを示している。この場合には、コマ数の部分画像の貼り付けが終了しておらず、ステップＳ２１１においてインデックス画像データが記録されていない。したがって、ステップＳ２１７において、コマ数よりも少ない枚数の部分画像が貼り付けられた状態のインデックス画像データを記録する。

ステップＳ２１６においてｐが１以下であると判定した場合又はステップＳ２１７の後、画像処理部２１８は、マイクロコンピュータ２３０に対してバッファ領域を開放する旨を要求する（ステップＳ２１８）。これを受けてマイクロコンピュータ２３０は、ＳＤＲＡＭ２１２に確保していたバッファ領域を開放し、図３の処理を終了させる。

図５は、画像処理の詳細について示したフローチャートである。図５において、画像処理部２１８は、基本画像処理部２１８１により、ＯＢ減算処理を行う（ステップＳ３０１）。ＯＢ減算処理において、基本画像処理部２１８１は、入力された画像データからオプティカルブラック（ＯＢ）値を減算することで画像データにおける暗電流成分を除去する。ＯＢ減算の後、画像処理部２１８は、基本画像処理部２１８１により、ＷＢ補正処理を行う（ステップＳ３０２）。ＷＢ補正処理において、基本画像処理部２１８１は、入力された画像データの色成分毎にＷＢ（ホワイトバランス）ゲインを乗じることで画像データの色バランスを補正する。ＷＢ補正処理の後、画像処理部２１８は、基本画像処理部２１８１により、同時化処理を行う（ステップＳ３０３）。同時化処理において、基本画像処理部２１８１は、入力された画像データを、補間処理を用いて同時化する。これにより、１画素がＲＧＢのうちの１つの色成分を有している画像データを１画素がＲＧＢ３つの色成分を有する画像データに変換する。

同時化処理の後、画像処理部２１８は、基本画像処理部２１８１により、カラーマトリクス演算を行う（ステップＳ３０４）。カラーマトリクス演算において、基本画像処理部２１８１は、入力された画像データの各画素にカラーマトリクス係数を乗じることで画像データの色を変換する。カラーマトリクス演算の後、画像処理部２１８は、基本画像処理部２１８１により、ガンマ変換処理及び色補正処理を行う（ステップＳ３０５）。この際、基本画像処理部２１８１は、画像データに対し、マイクロコンピュータ２３０によって設定されたガンマテーブルを用いてガンマ変換処理を行う。さらに、基本画像処理部２１８１は、所定のマトリクス演算を行って画像データをＹＣ形式に変換する。詳細は後述するが、静止画記録時の画像処理においては、例えばＹＣ４２２形式のデータに変換する。ＹＣ４２２形式のデータとは、Ｙ：Ｃｂ：Ｃｒが４：２：２のデータのことである。また、動画記録時の画像処理においては、例えばＹＣ４２０形式のデータに変換する。ＹＣ４２０形式のデータとは、Ｙ：Ｃｂ：Ｃｒが４：１：１のデータのことである。また、色補正処理において、基本画像処理部２１８１は、ＹＣ形式に変換された画像データのうちのＣ（Ｃｂ、Ｃｒ）データに彩度補正係数、色相補正係数を乗じることで画像データの色補正を行う。

色補正処理の後、画像処理部２１８は、基本画像処理部２１８１により、エッジ強調処理を行う（ステップＳ３０６）。エッジ強調処理において、基本画像処理部２１８１は、色補正されたＹＣデータにおけるＹデータに対してバンドパスフィルタ処理を施して画像データにおけるエッジ成分を抽出し、抽出したエッジ成分にエッジ強調量に応じた係数を乗じる。そして、基本画像処理部２１８１は、係数を乗じたエッジ成分をもとのＹデータに加算することで画像データのエッジ成分を強調する。エッジ強調処理の後、画像処理部２１８は、基本画像処理部２１８１により、ノイズ低減（ＮＲ）処理を行う（ステップＳ３０７）。ノイズ低減処理において、基本画像処理部２１８１は、エッジ強調処理がされたＹデータに対してコアリング処理等を施して画像データにおけるノイズ成分を低減させる。Ｃデータに対してノイズ成分を低減させても良い。ノイズ低減処理後のデータは、記録形式がＴＩＦＦ形式の場合には所定のマトリクス演算を行って再度ＲＧＢ形式に変換する。

ノイズ低減処理の後、画像処理部２１８は、マイクロコンピュータ２３０により、特殊効果画像処理モードとしてモザイクモードが設定されているか否かを判定する（ステップＳ３０８）。前述したように、特殊効果画像処理モードをモザイクモードとする設定は、カメラ設定において行われる。

ステップＳ３０８において、特殊効果画像処理モードとしてモザイクモードが設定されていると判定した場合に、画像処理部２１８は、特殊効果画像処理部２１８２により、モザイク処理を行う（ステップＳ３０９）。その後、画像処理部２１８は、図５の処理を終了させる。ここで、モザイク処理の詳細については後述する。

ステップＳ３０８において、特殊効果画像処理モードとしてモザイクモードが設定されていないと判定した場合に、画像処理部２１８は、特殊効果画像処理モードとしてランダムタイルモードが設定されているか否かを判定する（ステップＳ３１０）。前述したように、特殊効果画像処理モードをモランダムタイルモードとする設定は、カメラ設定において行われる。

ステップＳ３１０において、特殊効果画像処理モードとしてランダムタイルモードが設定されていると判定した場合に、画像処理部２１８は、特殊効果画像処理部２１８２により、ランダムタイル処理を行う（ステップＳ３１１）。その後、画像処理部２１８は、図５の処理を終了させる。ここで、ランダムタイル処理の詳細については後述する。

また、ステップＳ３１０において、特殊効果画像処理モードとしてランダムタイルモードが設定されていないと判定した場合にも、画像処理部２１８は、図５の処理を終了させる。なお、モザイクモード及びランダムタイルモード以外の特殊効果画像処理モードが存在する場合には、各特殊効果画像処理モードについてステップＳ３０８及びＳ３１０で示した判定と同様の判定を行う。

ここで、図５の処理の順番は、一例であって適宜変更可能である。例えば、ＷＢ補正処理の前に同時化処理を行っても良い。

図６は、モザイク処理の詳細を示すフローチャートである。モザイク処理において、画像処理部２１８は、ノイズ低減処理後の画像データを、各々が１つ以上の画素を有する複数のコマの部分画像データに分割する（ステップＳ４０１）。図７は、分割の例を示している。図７は、画像データを垂直３００コマ、水平４００コマに分割した例を示している。ここで、分割数は、図７で示した例に限るものではない。また、図７の例では、各コマの間に間隔を設けるようにしている。この間隔を設けないようにしても良い。

続いて、画像処理部２１８は、それぞれのコマの平均色を算出する（ステップＳ４０２）。ＹＣ形式の場合、平均色は、各コマを構成する色差データを成分（Ｃｂ、Ｃｒ）毎に加算した結果を、各コマを構成する画素数で除算した値である。また、ＲＧＢ形式の場合、平均色は、各コマを構成する画素データを成分（Ｒ、Ｇ、Ｂ）毎に加算した結果を、各コマを構成する画素数で除算した値である。

平均色を算出した後、画像処理部２１８は、マイクロコンピュータ２３０に対してバッファ領域を確保するように要求する（ステップＳ４０３）。これを受けてマイクロコンピュータ２３０は、ＳＤＲＡＭ２１２にバッファ領域を確保する。バッファ領域の確保の手法は、インデックス画像生成処理の説明の際に述べた手法を適用できる。

続いて、画像処理部２１８は、パラメータｉを初期値１に設定する（ステップＳ４０４）。ｉは、コマの順番を特定するためのパラメータである。このｉによって貼り付け位置が特定される。貼り付け位置は、モザイク画像データを構成する各部分画像データの境界の背景画像データ上での位置である。

ｉを設定した後、画像処理部２１８は、ｉ番目のコマと置き換えるコマの部分画像データを選択する（ステップＳ４０５）。モザイク処理においては、図７に示すように、ｉ番目のコマの部分画像データを別のコマの部分画像データと置き換えることによってモザイク画像データを生成する。置き換えるコマは、例えばｉ番目のコマの平均色と最も近い平均色を有するコマとする。このような置き換えを行うことにより、置き換え前のコマが、平均して類似の色を有する別のコマと置き換わる。これにより、モザイク画像が生成される。

また、同一の画像内のコマと置き換えるのではなく、記録媒体２２８に記録されている別の画像データから平均色の近いコマを探索して置き換えるようにしても良い。

置き換えるコマの部分画像データを選択した後、画像処理部２１８は、特殊効果画像処理部２１８２により、画像貼り付け処理を行う（ステップＳ４０６）。画像貼り付け処理の詳細については後述する。

画像貼り付け処理の後、画像処理部２１８は、ｉに１を加える（ステップＳ４０７）。その後、画像処理部２１８は、ｉがコマ数（垂直のコマ数×水平のコマ数。図７の場合には１２００００コマ）以下であるか否かを判定する（ステップＳ４０８）。ステップＳ４０８において、ｉがコマ数以下である場合、置き換えるコマの部分画像データが残っていることを意味する。この場合、画像処理部２１８は、処理をステップＳ４０５に戻して次の部分画像データと置き換えるコマの部分画像データを選択する。

また、ステップＳ４０８において、ｉがコマ数を超えていると判定した場合に、画像処理部２１８は、画像貼り付け処理を経て生成されたモザイク画像データを、ノイズ低減処理後の画像データが格納されていたバッファ領域にコピー（バッファ領域の画像データを上書き）する（ステップＳ４０９）。続いて、画像処理部２１８は、マイクロコンピュータ２３０に対してバッファ領域を開放する旨を要求する（ステップＳ４１０）。これを受けてマイクロコンピュータ２３０は、ＳＤＲＡＭ２１２に確保していたバッファ領域を開放し、図６の処理を終了させる。

図８は、ランダムタイル処理の詳細を示すフローチャートである。ランダムタイル処理において、画像処理部２１８は、ノイズ低減処理後の画像データを、各々が１つ以上の画素を有する複数のコマの部分画像データに分割する（ステップＳ５０１）。図９は、分割の例を示している。図９は、画像データを垂直６コマ、水平８コマに分割した例を示している。ここで、分割数は、図９で示した例に限るものではない。また、図９の例では、各コマの間に間隔を設けないようにしている。間隔を設けるようにしても良い。

続いて、画像処理部２１８は、部分画像データのコピー順を決定する（ステップＳ５０２）。コピー順は、例えば１からコマ数までの数が格納された配列において、各要素をランダムに入れ替えることによって生成する。なお、画像データが動画像データである場合には、隣接するフレーム間での各画素のデータの差が所定量以下となるように配列順を決めるようにしても良い。

コピー順を決定した後、画像処理部２１８は、マイクロコンピュータ２３０に対してバッファ領域を確保するように要求する（ステップＳ５０３）。これを受けてマイクロコンピュータ２３０は、ＳＤＲＡＭ２１２にバッファ領域を確保する。バッファ領域の確保の手法は、インデックス画像生成処理の説明の際に述べた手法を適用できる。

続いて、画像処理部２１８は、パラメータｉを初期値１に設定する（ステップＳ５０４）。ｉは、配列のインデックスを示すパラメータである。

ｉを設定した後、画像処理部２１８は、配列におけるｉ番目の要素と同じ番号のコマの部分画像データの貼り付け位置を算出する（ステップＳ５０５）。貼り付け位置は、ランダムタイル画像データを構成する各部分画像データの境界の背景画像データ上での位置である。貼り付け位置の算出においては、配列におけるｉ番目の要素と同じ番号のコマの左上座標と右下座標とを検出し、各座標を、部分画像データのアスペクト比が変わらないように一定量だけランダムで移動させる。例えば、図９に示すように、各座標を、部分画像データの元のサイズの１０％以内のサイズでずらす。このようにして貼り付け位置を設定することにより、図１０（ａ）で示すようなランダムタイル画像が生成される。

貼り付け位置の算出後、画像処理部２１８は、特殊効果画像処理部２１８２により、画像貼り付け処理を行う（ステップＳ５０６）。画像貼り付け処理の詳細については後述する。

画像貼り付け処理の後、画像処理部２１８は、ｉに１を加える（ステップＳ５０７）。その後、画像処理部２１８は、ｉがコマ数（垂直のコマ数×水平のコマ数。図９の場合には４８コマ）以下であるか否かを判定する（ステップＳ５０８）。ステップＳ５０８において、ｉがコマ数以下である場合、貼り付けるコマの部分画像データが残っていることを意味する。この場合、画像処理部２１８は、処理をステップＳ５０５に戻して次の部分画像データの貼り付け位置を算出する。

また、ステップＳ５０８において、ｉがコマ数を超えていると判定した場合に、画像処理部２１８は、画像貼り付け処理を経て生成されたランダムタイル画像データを、ノイズ低減処理後の画像データが格納されていたバッファ領域にコピー（バッファ領域の画像データを上書き）する（ステップＳ５０９）。続いて、画像処理部２１８は、マイクロコンピュータ２３０に対してバッファ領域を開放する旨を要求する（ステップＳ５１０）。これを受けてマイクロコンピュータ２３０は、ＳＤＲＡＭ２１２に確保していたバッファ領域を開放し、図８の処理を終了させる。

ここで、図１０（ａ）の例では、貼り付ける部分画像データの形状が矩形であるが、必ずしも貼り付ける部分画像データの形状を矩形とする必要はない。例えば図１０（ｂ）に示すような四隅が面取りされたような形状の部分画像データを貼り付けるようにしても良いし、図１０（ｃ）に示すような略半円の形状の部分画像データを貼り付けるようにしても良い。このように、部分画像データは、水平方向又は垂直方向に直線状の境界を有していれば良い。なお、図１０（ｂ）に示す部分画像データや図１０（ｃ）に示す部分画像データは、分割された部分画像データ内で面取りすべき部分のデータを、背景画像データでマスクすることによって生成できる。

次に、本実施形態の画像処理方法としての画像貼り付け処理について図１１を参照して説明する。画像貼り付け処理は、インデックス画像生成処理、モザイク処理、ランダムタイル処理で共通である。画像貼り付け処理においては、ＹＣ形式にダウンサンプリングされた画像データから生成される合成画像データ（インデックス画像データ、モザイク画像データ、又はランダムタイル画像データ）が、再生時に適切にアップサンプリングされるように、部分画像データの貼り付け位置又はサイズを補正してから貼り付けを行う。

画像貼り付け処理において、特殊効果画像処理部２１８２は、コピー元の画像データとして、背景画像データにコピーする部分画像データを読み込む（ステップＳ６０１）。この部分画像データは、インデックス画像生成処理の場合には、ｉ番目の画像ファイルから読み込まれた画像データからリサイズ処理等によって生成される部分画像データである。また、モザイク処理の場合には、ｉ番目のコマと置き換えるコマの部分画像データである。さらに、ランダムタイル処理の場合には、１からコマ数までの数がランダムに格納された配列におけるｉ番目要素と同じ番号のコマの部分画像データである。

コピー元の画像データの読み込み後、特殊効果画像処理部２１８２は、コピー先の画像データをダウンサンプリングする際の形式がＹＣ４２２形式又はＹＣ４２０形式であるか否かを判定する（ステップＳ６０２）。コピー先の画像データのダウンサンプリング形式は、例えばマイクロコンピュータ２３０によって通知される。

ステップＳ６０２において、ダウンサンプリング形式がＹＣ４２２形式又はＹＣ４２０形式であると判定した場合、特殊効果画像処理部２１８２は、部分画像データの貼り付け位置又はサイズを補正することによって貼り付け位置のＸ座標（水平方向座標）を補正する（ステップＳ６０３）。この補正については後述する。

ステップＳ６０２においてダウンサンプリング形式がＹＣ４２２形式又はＹＣ４２０形式でないと判定した場合又はステップＳ６０３の後、特殊効果画像処理部２１８２は、コピー先の画像データをダウンサンプリングする際の形式がＹＣ４２０形式であるか否かを判定する（ステップＳ６０４）。

ステップＳ６０４において、ダウンサンプリング形式がＹＣ４２０形式であると判定した場合、特殊効果画像処理部２１８２は、部分画像データの貼り付け位置又はサイズを補正することによって貼り付け位置のＹ座標（垂直方向座標）を補正する（ステップＳ６０５）。この補正については後述する。

ステップＳ６０４においてダウンサンプリング形式がＹＣ４２０形式でないと判定した場合又はステップＳ６０５の後、特殊効果画像処理部２１８２は、部分画像データを、バッファ領域にコピーされている背景画像データにおける貼り付け位置の座標にコピー（合成）する（ステップＳ６０６）。その後、特殊効果画像処理部２１８２は、図１１の処理を終了させる。なお、ランダムタイル生成処理で説明したように、部分画像データを拡大又は縮小する必要がある場合には、部分画像データのリサイズを行ってからコピーする。また、部分画像データの形状を矩形以外とする場合には、不要な画素のデータをマスクしてからコピーする。

図１２を参照して貼り付け位置の座標の補正について説明する。図１２に示す数字は、画素の座標を示しており、座標（１，１）が原点座標である左上端の画素位置に対応している。さらに、図１２の黒点は、貼り付け位置の補正前の部分画像データの各画素を示している。また、図１２のハッチングを施した点は、貼り付け位置の補正のために拡張した画素を示している。
まず、座標（１，１）を左上端の画素位置と定義した場合、部分画像データの貼り付け位置のＸ座標は、左端の貼り付け位置の座標が奇数（１＋２ｉ（ｉは０以上の整数））となり、右端の貼り付け位置の座標が偶数（２ｊ（ｊは１以上の整数））となるように補正する。例えば、図１２の例では、補正前の部分画像データの左端の画素の貼り付け位置の座標が４であり、右端の画素の貼り付け位置の座標が１４である。したがって、左端の画素の貼り付け位置の座標が奇数となるように、部分画像データを左方向に１画素だけ拡大する。これにより、左端の画素の貼り付け位置の座標が３（１＋２×１）となる。図１２の例において、左端の画素の座標が５となるように部分画像データを右方向に１画素だけ縮小しても良い。また、補正前の部分画像データの左端の画素の貼り付け位置の座標が偶数であり、右端の画素の貼り付け位置の座標が奇数である場合には、部分画像データの拡大や縮小を行わずに単に貼り付け位置の座標をずらすだけで良い。

一方、部分画像データの貼り付け位置のＹ座標は、上端の貼り付け位置の座標が奇数（１＋２ｉ（ｉは０以上の整数））となり、下端の貼り付け位置の座標が偶数（２ｊ（ｊは１以上の整数））となるように補正する。例えば、図１２の例では、補正前の部分画像データの上端の画素の貼り付け位置の座標が４であり、下端の画素の貼り付け位置の座標が１４である。したがって、上端の画素の貼り付け位置の座標が奇数となるように、部分画像データを上方向に１画素だけ拡大する。これにより、上端の画素の貼り付け位置の座標が３となる。なお、図１２の例において、上端の画素の座標が５となるように部分画像データを下方向に１画素だけ縮小しても良い。また、補正前の部分画像データの上端の画素の貼り付け位置の座標が偶数であり、下端の画素の貼り付け位置の座標が奇数である場合には、部分画像データの拡大や縮小を行わずに単に貼り付け位置の座標をずらすだけで良い。

座標（１，１）を左上端の画素位置と定義した場合において、左端の画素から水平方向に２画素間隔で組を作るとする。このとき、部分画像データの左端の画素のＸ座標を奇数とし、右端の画素のＸ座標を偶数とすると、同一の部分画像データの範囲内で組を作ることが可能である。同様に、上端の画素から垂直方向に２画素間隔で組を作るとする。このとき、部分画像データの上端の画素のＹ座標を奇数とし、下端の画素のＹ座標を偶数とすると、同一の部分画像データの範囲内で組を作ることが可能である。

以下、本実施形態の効果について説明する。
効果の説明の理解を容易にするためにまず、ダウンサンプリング形式について説明する。画像データに対してマトリクス演算を施してＹＣデータを生成した場合、図１３（ａ）で示すような各画素がＹ、Ｃｂ、Ｃｒの情報を有するＹＣデータ（ＹＣ４４４形式）が得られる。ＹＣ４４４形式の場合、図１３（ａ）に示すように、Ｙデータの位置とＣｂデータ及びＣｒデータの位置とが完全に一致する。

図１３（ａ）に示すようなＹＣ４４４形式の画像データをそのまま記録媒体２２８に記録すると容量が大きくなりやすい。このため、通常は、ＹＣ形式の画像データを記録するに当たり、Ｙデータのデータ数に対してＣデータのデータ数を少なくするサンプリング処理（ダウンサンプリング）を施す。ここで、Ｙデータに対してＣデータを少なくするのは、人間の目の特性が、輝度に対する感度が高く、色差に対する感度が低い特性を有しているためである。

図１３（ｂ）及び図１３（ｃ）は、ＹＣ４２２形式である。本実施形態では、静止画記録時のダウンサンプリング形式にＹＣ４２２形式を用いる。ＹＣ４２２形式は、Ｙデータに対してＣｂデータ及びＣｒデータを半減させる形式である。ＹＣ４２２形式のダウンサンプリングでは、Ｃｂデータ及びＣｒデータの左端から２画素単位の組を作成し、各組から１つずつのＣｂデータ及びＣｒデータを生成する。

図１３（ｂ）は、各組の左側座標のＣｂデータ及びＣｒデータを残し、各組の右側座標のＣｂデータ及びＣｒデータを破棄している。この場合、Ｙデータの位置とＣｂ及びＣｒデータの位置とが一致していると考えることができる。ここで、以下の説明においては、図１３（ｂ）の形式をＹＣ４２２（一致）形式と記す。

また、図１３（ｃ）は、各組のＣｂデータ及びＣｒデータをそれぞれ平均して１つにしている。この場合、水平方向に隣接するＹデータの中心にＣｂ及びＣｒデータが位置していると考えることができる。ここで、以下の説明においては、図１３（ｃ）の形式をＹＣ４２２（中心）形式と記す。

このようなＹＣ４２２形式の画像データを再生する際には、ＹＣ４２２形式の画像データをＹＣ４４４形式の画像データに復元する必要がある。ＹＣ４２２（一致）形式を復元する場合には、ダウンサンプリングの際に組とした２画素のうちの破棄していない左側座標のＣｂデータ及びＣｒデータを右側座標にコピーする。一方、ＹＣ４２２（中心）を復元する場合には、ダウンサンプリングの際に組とした２画素に平均値をコピーする。

図１３（ｄ）及び図１３（ｅ）は、ＹＣ４２０形式である。本実施形態では、動画記録時のダウンサンプリング形式にＹＣ４２０形式を用いる。ＹＣ４２０形式は、Ｙデータに対してＣｂデータ及びＣｒデータを１／４とする形式である。ＹＣ４２０形式のダウンサンプリングでは、Ｃｂデータ及びＣｒデータの左上端から垂直方向２画素及び水平方向２画素の計４画素単位の組を作成し、各組から１つずつのＣｂデータ及びＣｒデータを生成する。

図１３（ｄ）は、各組の左上側座標のＣｂデータ及びＣｒデータを残し、残りのＣｂデータ及びＣｒデータを破棄している。この場合、Ｙデータの位置とＣｂ及びＣｒデータの位置とが一致していると考えることができる。以下の説明においては、図１３（ｄ）の形式をＹＣ４２０（一致）形式と記す。

また、図１３（ｅ）は、ＹＣ４２２（一致）と同様にして水平方向に隣接する２画素のうちの右側座標のＣｂデータ及びＣｒデータを破棄しつつ、さらに垂直方向に隣接する２画素をそれぞれ平均して１つにしている。この場合、水平方向に関してはＹデータとＣｂデータ及びＣｒデータの位置が一致し、垂直方向に関してはＹデータの中心にＣｂ及びＣｒデータが位置していると考えることができる。ここで、以下の説明においては、図１３（ｅ）の形式をＹＣ４２０（動画）形式と記す。

このようなＹＣ４２０形式の画像データを再生する際には、ＹＣ４２０形式の画像データをＹＣ４４４形式の画像データに復元する必要がある。ＹＣ４２０（一致）形式を復元する場合には、ダウンサンプリングの際に組とした４画素のうちの破棄していない左上座標のＣｂデータ及びＣｒデータをその他の３つの座標にコピーする。一方、ＹＣ４２０（動画）を復元する場合には、ダウンサンプリングの際に組とした４画素に平均値をコピーする。

図１４は、部分画像データの貼り付け位置の座標の補正をしない場合の画像再生について示す図である。ここで、図１４の例は、ＹＣ４２２（一致）形式でダウンサンプリングを行った画像データを再生する例を示している。

図１４（ａ）は、ダウンサンプリング前のＹＣ４４４形式の画像データを示している。前述したように、ＹＣ４２２（形式）のダウンサンプリングの際には、図１４（ａ）で示した画素を水平方向２画素間隔の組に分ける。このとき、貼り付け位置の補正が行われていない場合には、Ｃｂデータ及びＣｒデータの中で水平方向２画素の値が大きく異なる組が生じる可能性がある。図１４（ａ）の例では、３列目と４列目の組がこのような組に対応している。このような組は、背景画像データと部分画像データとの境界部分等の隣接する画素間の相関が無い組であり、原点座標を（１，１）とした場合に、部分画像データの左端の貼り付け位置の座標が偶数である場合又は右端の貼り付け位置が奇数である場合にこのような組が生じる。

図１４（ａ）に示す画像データを、ＹＣ４２２（一致）形式でダウンサンプリングした場合、図１４（ｂ）に示す画像データが得られる。図１４（ｂ）に示すように、Ｙデータは、図１４（ａ）と同一のデータである。一方、Ｃｂデータ及びＣｒデータは、水平方向２画素間隔の組のうち、左側座標のデータが残り、右側座標のデータが破棄される。

再生のために、図１４（ｂ）に示す画像データをＹＣ４４４形式に復元すると、図１４（ｃ）に示す画像データが得られる。ここで、図１４（ｃ）の４列目のＣｂデータ及びＣｒデータは、３列目のデータをコピーしたものであり、この３列目のデータは、図１４（ａ）の４列目のデータと大きく異なるものである。このため、図１４（ｃ）の４列目のＣｂデータ及びＣｒデータも、図１４（ａ）の４列目のＣｂデータ及びＣｒデータと大きく異なるものとなる。図１４（ａ）の４列目のＹＣデータは、ＲＧＢに変換すると黒色を示す。これに対し、図１４（ｃ）の４列目のＹＣデータは、ＲＧＢに変換すると暗い赤色を示す。このような画像データを再生すると、本来、黒色の表示がなされるべき画素で赤色の表示がなされ、ユーザに違和感を与えることになる。

図１５は、貼り付け位置の座標の補正をした場合の画像再生について示す図である。図１５の例も、ＹＣ４２２（一致）形式でダウンサンプリングを行った場合を示している。

図１５（ａ）は、ダウンサンプリング前のＹＣ４４４形式の画像データを示している。本実施形態では、原点座標を（１，１）とした場合に、部分画像データの左端の貼り付け位置の座標を奇数とし、部分画像データの右端の貼り付け位置の座標を偶数とするように貼り付け位置のＸ座標を補正している。このようにして貼り付け位置を補正することにより、同一の部分画像データ内で水平方向２画素間隔の組を作ることが可能である。同一の部分画像データ内であれば隣接する画素の相関が高いと考えられる。したがって、Ｃｂデータ及びＣｒデータの中で水平方向２画素の値が大きく異なる組が生じる可能性を低減することが可能である。

図１５（ａ）に示す画像データを、ＹＣ４２２（一致）形式でダウンサンプリングした場合、図１５（ｂ）に示す画像データが得られる。図１５（ｂ）に示すように、Ｙデータは、図１５（ａ）と同一のデータとなる。一方、Ｃｂデータ及びＣｒデータは、水平方向２画素間隔の組のうち、左側座標のデータのみが残り、右側座標のデータが破棄される。

再生のために、図１５（ｂ）に示す画像データをＹＣ４４４形式に復元すると、図１５（ｃ）に示す画像データが得られる。ここで、図１５（ｃ）の４列目のＣｂデータ及びＣｒデータは、３列目のデータをコピーしたものであり、この３列目のデータは、図１５（ａ）の４列目のデータとの相関が高いデータである。このような画像データを再生すると、黒色の表示がなされるべき画素で正しく黒色の表示がなされ、ユーザに違和感を与えることがない。

ここで、図１４及び図１５は、ＹＣ４２２（一致）形式を例にしているが、その他の形式でダウンサンプリングを行った場合にも、図１４及び図１５を参照して行った説明が適用される。例えば、ＹＣ４２０（一致）形式の場合、復元時には、組となる４画素のうちの左上端の画素のデータが、他の３画素にコピーされる。したがって、左上端の画素に対して相関が低い画素があると、その相関の低い画素のＣデータは、復元の前後での差異が大きくなる。このような画像を表示させると、ユーザに違和感を与える。また、ＹＣ４２２（中心）やＹＣ４２０（動画）形式の場合、復元時には組となる画素のデータの平均値が各組の画素にコピーされる。この場合、組となる４画素の相関が低いと、組となる全ての画素のＣデータが復元の前後での差異が大きくなる可能性がある。これに対し、本実施形態では、組となる画素の相関を高くすることが可能であるので、ダウンサンプリングの形式によらずにユーザに対して違和感のない再生を行うことが可能である。

以上説明したように、本実施形態によれば、インデックス画像データ、モザイク画像データ、ランダムタイル画像データといった、複数の部分画像データを合成して（貼り付けて）構成される合成画像データを生成する際に、部分画像データの貼り付け位置の座標又は部分画像データのサイズを補正するようにしている。これにより、同一の部分画像データ内の画素でダウンサンプリング及びアップサンプリングを行うことができる。したがって、ダウンサンプリングとアップサンプリングとの間での色差データの差異を少なくして画像再生の際の違和感を低減させることが可能である。

［変形例］
以下、本発明の変形例について説明する。
まず、前述の例では、ＹＣデータを例としているが、別の色空間のデータであっても本実施形態の手法を適用することができる。例えば、ＨＤ規格では、ＲＧＢの画像データを、輝度（Ｙ）と色差（Ｐｂ、Ｐｒ）に変換している。この場合にも、ＹＣデータと同様のダウンサンプリングが行われるので、本実施形態の技術は有効である。

また、前述した例では、原点座標に近い側の端の座標を奇数とし、原点座標に遠い側の端の座標を偶数とするように貼り付け位置の座標の補正をしている。これは、原点座標が奇数であるためである。原点座標が偶数（例えば（０，０））である場合には、原点座標に近い側の端の座標を偶数とし、原点座標に遠い側の端の座標を奇数とするように貼り付け位置の座標の補正をする。

また、前述した例は、画像データを水平方向又は垂直方向に２画素間隔の組に分けてダウンサンプリングを行う例について説明している。実際には、本実施形態の技術は、画像データを垂直方向にｍ画素（ｍは２以上の整数）間隔又は水平方向にｎ画素間隔（ｎは２以上の整数）の組に分けてダウンサンプリングを行う場合に対して適用可能である。この場合、部分画像データの貼り付け位置のＸ座標は、原点座標を（１，１）とした場合に、左端の貼り付け位置の座標が１＋ｎ×ｉ（ｉは０以上の整数））となり、右端の貼り付け位置の座標がｎ×ｊ（ｊは１以上の整数））となるように補正する。また、部分画像データの貼り付け位置のＹ座標は、原点座標を（１，１）とした場合に上端の貼り付け位置の座標が１＋ｍ×ｉ（ｉは０以上の整数））となり、下端の貼り付け位置の座標がｍ×ｊ（ｊは１以上の整数））となるように補正する。

また、前述の実施形態では、画像サンプリング部２２３を独立したブロックとして設けるようにしている。これに対し、画像サンプリング部２２３を画像処理部２１８内に設けたり、表示ドライバ２２０内に設けたりしても良い。

また、前述の実施形態では、貼り付け位置のＸ座標（水平方向）及びＹ座標（垂直方向）を補正している。これは、画素の配列方向が水平方向及び垂直方向に沿った方向であるためである。画素の配列方向が斜め方向の撮像素子２０４や表示部２２２等を用いる場合には、貼り付け位置の補正方向も画素の配列方向に沿った斜め方向とする。

さらに、上述した実施形態における画像処理装置による各処理の手法、即ち、各フローチャートに示す処理は、何れもマイクロコンピュータ２３０に実行させることができるプログラムとして記憶させておくこともできる。この他、メモリカード（ＲＯＭカード、ＲＡＭカード等）、磁気ディスク（フロッピディスク、ハードディスク等）、光ディスク（ＣＤ−ＲＯＭ、ＤＶＤ等）、半導体メモリ等の外部記憶装置の記憶媒体に格納して配布することができる。そして、マイクロコンピュータ２３０は、この外部記憶装置の記憶媒体に記憶されたプログラムを読み込み、この読み込んだプログラムによって動作が制御されることにより、上述した処理を実行することができる。

以上実施形態に基づいて本発明を説明したが、本発明は上述した実施形態に限定されるものではなく、本発明の要旨の範囲内で種々の変形や応用が可能なことは勿論である。また、前述の各動作フローチャートの説明において、便宜上「まず」、「次に」等を用いて動作を説明しているが、この順で動作を実施することが必須であることを意味するものではない。

さらに、上記した実施形態には種々の段階の発明が含まれており、開示される複数の構成要件の適当な組合せにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件からいくつかの構成要件が削除されても、上述したような課題を解決でき、上述したような効果が得られる場合には、この構成要件が削除された構成も発明として抽出され得る。

１…デジタルカメラ、１００…交換式レンズ、１０２…レンズ、１０４…絞り、１０６…ドライバ、１０８…マイクロコンピュータ、１１０…Ｆｌａｓｈメモリ、１１２…インターフェイス（Ｉ/Ｆ）、２００…カメラ本体、２０２…メカシャッタ、２０４…撮像素子、２０６…アナログ処理部、２０８…アナログ/デジタル（Ａ/Ｄ）変換部、２１０…バス、２１２…ＳＤＲＡＭ、２１４…ＡＥ処理部、２１６…ＡＦ処理部、２１８…画像処理部、２２０…表示ドライバ、２２２…表示部、２２３…画像サンプリング部、２２４…画像圧縮伸張部、２２６…メモリインターフェイス（Ｉ/Ｆ）、２２８…記録媒体、２３０…マイクロコンピュータ、２３２…操作部、２３４…Ｆｌａｓｈメモリ、２１８１…基本画像処理部、２１８２…特殊効果画像処理部

Claims (12)

1. 背景画像データに対して、水平方向又は垂直方向の一方向に直線状の境界を有する部分画像データを貼り付けて合成画像データを生成する画像合成部と、
   前記合成画像データを生成する際の、前記部分画像データの境界の前記背景画像データにおける位置を決定する境界位置決定部と、
   前記合成画像データに対し、前記合成画像データの輝度成分のデータ数よりも前記合成画像データの色差成分のデータ数を少なくするサンプリング処理を施す画像サンプリング部と、
   を具備し、
   前記境界位置決定部は、前記画像サンプリング部によるサンプリング処理の方式に応じて、前記部分画像データを拡大又は縮小することにより前記境界の位置を補正することを特徴とする画像処理装置。
2. 前記境界位置決定部は、前記合成画像データの輝度成分のデータ数よりも前記合成画像データの色差成分のデータ数を少なくするサンプリング処理が施された前記合成画像データに対し、前記合成画像データの輝度成分のデータ数と前記合成画像データの色差成分のデータ数とを同じにする復元処理を行った場合に、前記サンプリング処理の前の画像データと前記復元処理の後の画像データとの間で色差成分の差異が小さくなるように、前記境界の位置を補正することを特徴とする請求項１に記載の画像処理装置。
3. 前記境界位置決定部は、前記サンプリング処理の方式が、前記合成画像データの水平方向の色差成分を、前記合成画像データの水平方向の輝度成分のデータ数の１/ｎ（ｎは２以上の整数）に減らす方式であって、前記境界が垂直方向に沿った直線状の境界である場合に、前記部分画像データの水平方向でｎ画素間隔の組が作られるように前記境界の位置を補正することを特徴とする請求項１又は２に記載の画像処理装置。
4. 前記境界位置決定部は、前記背景画像データにおける左端原点を１とした場合に、前記部分画像データにおける左端の前記境界の位置を、１＋ｎ×ｉ（ｉは０以上の整数）の座標とするように補正することを特徴とする請求項３に記載の画像処理装置。
5. 前記境界位置決定部は、前記背景画像データにおける左端原点を１とした場合に、前記部分画像データにおける右端の前記境界の位置を、ｎ×ｊ（ｊは１以上の整数）の座標とするように補正することを特徴とする請求項３に記載の画像処理装置。
6. 前記境界位置決定部は、前記サンプリング処理の方式が、前記合成画像データの垂直方向の色差成分を、前記合成画像データの垂直方向の輝度成分のデータ数の１/ｍ（ｍは２以上の整数）に減らす方式であって、前記境界が水平方向に沿った直線状の境界である場合に、前記部分画像データの垂直方向でｍ画素間隔の組が作られるように前記境界の位置を補正することを特徴とする請求項１乃至５の何れか１項に記載の画像処理装置。
7. 前記境界位置決定部は、前記背景画像データにおける上端原点を１とした場合に、前記部分画像データにおける上端の前記境界の位置を、１＋ｍ×ｉ（ｉは０以上の整数）の座標とするように補正することを特徴とする請求項６に記載の画像処理装置。
8. 前記境界位置決定部は、前記背景画像データにおける上端原点を１とした場合に、前記部分画像データにおける下端の前記境界の位置を、ｍ×ｊ（ｊは１以上の整数）の座標とするように補正することを特徴とする請求項６に記載の画像処理装置。
9. 前記画像合成部は、複数の前記部分画像データを前記背景画像データに合成することを特徴とする請求項１乃至８の何れか１項に記載の画像処理装置。
10. 請求項１乃至９の何れか１項に記載の画像処理装置を備えた撮像装置。
11. 画像合成部が、背景画像データに対して、水平方向又は垂直方向の一方向に直線状の境界を有する部分画像データを貼り付けて合成画像データを生成し、
    境界位置決定部が、前記合成画像データを生成する際の、前記部分画像データの境界の前記背景画像データにおける位置を決定し、
    前記境界位置決定部が、画像サンプリング部によるサンプリング処理の方式に応じて、前記部分画像データを拡大又は縮小することにより前記境界の位置を補正し、
    前記画像サンプリング部が、前記合成画像データに対し、前記合成画像データの輝度成分のデータ数よりも前記合成画像データの色差成分のデータ数を少なくするサンプリング処理を施す、
    ことを特徴とする画像処理方法。
12. 画像合成部に、背景画像データに対して、水平方向又は垂直方向の一方向に直線状の境界を有する部分画像データを貼り付けて合成画像データを生成させる手順と、
    境界位置決定部に、前記合成画像データを生成する際の、前記部分画像データの境界の前記背景画像データにおける位置を決定させる手順と、
    前記境界位置決定部に、画像サンプリング部によるサンプリング処理の方式に応じて、前記部分画像データを拡大又は縮小することにより前記境界の位置を補正させる手順と、
    前記画像サンプリング部に、前記合成画像データに対し、前記合成画像データの輝度成分のデータ数よりも前記合成画像データの色差成分のデータ数を少なくするサンプリング処理を施させる手順と、
    をコンピュータに実行させる画像処理プログラム。

Images