JP6242064B2

JP6242064B2 - 画像処理装置

Info

Publication number: JP6242064B2
Application number: JP2013070597A
Authority: JP
Inventors: 友紀米本; 英池田; 啓介中薗; 上野　晃; 晃上野
Original assignee: Olympus Corp
Current assignee: Olympus Corp
Priority date: 2013-03-28
Filing date: 2013-03-28
Publication date: 2017-12-06
Anticipated expiration: 2033-03-28
Also published as: US9264609B2; JP2014195169A; US20140293090A1

Description

本発明は、画像処理装置に関する。

近年のデジタルカメラやデジタルビデオカメラなどの撮像装置では、例えば、フルハイビジョンの動画など、高精細な動画に対応するため、画像処理に要する処理時間の短縮が求められている。この要望に応える１つの方法として、例えば、特許文献１に開示された技術のように、１フレームの画像を複数のブロックに分割し、分割したブロック毎に画像処理を行う方法が提案されている（図１６参照）。

しかし、図１６（ａ）に示したように、１フレームの画像を複数のブロックに分割した場合、分割したそれぞれのブロック内では処理を行う画像データの流れが連続しているが、異なるブロックとの間では画像データの流れが連続していない（図１６（ｂ）参照）。このため、それぞれのブロックにおける画像処理では、空間フィルタ処理を行う際に、画像データの重複領域（オーバーラップ領域）である、いわゆる「糊代領域」が必要となり、画像処理装置は、画像処理を行うブロックの画像データに加えて、糊代領域の画像データも同様に取得して、ブロックの画像データと糊代領域の画像データとを併せた状態で画像処理を行うことになる。

しかし、画像処理装置においては、糊代領域の画像データの取得に要する時間が、処理時間の短縮を妨げる要因になってしまう。このため、特許文献１で開示された技術では、画像処理装置内に糊代領域の画像データを保存する糊代保存バッファを設けることによって、画像処理に用いる糊代領域の画像データを取得するために要する時間を短縮し、画像に対する処理能力の向上を実現している。

また、撮像装置では、撮影する被写体を確認するための動画を、撮像装置に搭載された表示デバイスに表示させる、いわゆる、ライブビュー機能が搭載されている。このライブビューの機能では、ライブビュー撮影によってイメージセンサから連続的に各フレームの画素信号を取り込み、画像処理装置が、表示デバイスに表示するための各フレームの画像（以下、「ライブビュー画像」という）を生成し、各フレームのライブビュー画像をフレーム毎に順次表示デバイスに表示している。

このような撮像装置では、ライブビュー機能によって各フレームのライブビュー画像を表示デバイスに表示している途中でも、静止画像を撮影することができる。このとき、撮像装置に備えたイメージセンサは、静止画像を撮影するタイミングで、ライブビュー撮影から静止画像の画素信号を取り込む静止画撮影に切り替わる。そして、画像処理装置が、静止画撮影によって取り込んだ画素信号から静止画像を生成した後に、再びライブビュー撮影に切り替わる。

このため、従来の撮像装置では、イメージセンサが静止画撮影を行っている期間、および画像処理装置が静止画像を生成する画像処理を行っている期間にライブビュー撮影を行うことができず、表示デバイスに表示しているライブビュー画像が同じ画像に固定されてしまうフリーズ状態や、ライブビュー画像が表示されずに黒表示となるブラックアウト状態になってしまう。これは、イメージセンサは、静止画撮影を行っている期間にライブビュー撮影を行うことができず、画像処理装置は、静止画像を生成する画像処理を行っている期間にライブビュー画像を生成する画像処理を行うことができないためである。

しかし、撮像装置においては、次の静止画像を撮影するタイミング、いわゆる、シャッターチャンスを逃さないために、ライブビュー画像の表示を早いタイミングで復帰（再開）させることが望ましい。そこで、特許文献１に開示された技術では、撮像装置内に複数の画像処理装置を備え、それぞれの画像処理部が異なる画像処理を行う構成が提案されている。特許文献１で開示された構成では、ライブビュー画像を生成する画像処理と、静止画像を生成する画像処理とを、異なる画像処理装置で同時に並行して行うことによって、表示デバイスの表示をフリーズ状態やブラックアウト状態から早く復帰させることができる。

また、例えば、特許文献２に開示された技術のように、静止画像を生成する画像処理を分割し、分割したそれぞれの静止画像用の画像処理を、ライブビュー画像を生成する画像処理を行っていない期間に実行する方法も提案されている。特許文献２で開示された技術では、静止画像用の画像処理とライブビュー画像を生成する画像処理とを、時分割することによって、１つの画像処理装置でも表示デバイスの表示をフリーズ状態やブラックアウト状態から早く復帰させることができる。

特開２０１０−２７８５３２号公報特開２００６−３１１３４７号公報

しかしながら、特許文献１で開示された構成では、撮像装置内に複数の画像処理装置を備えるため、撮像装置に備えた画像処理装置の分だけ回路規模が増大してしまう、という問題がある。また、特許文献１で開示された構成では、複数の画像処理装置が、同時に並行して画像処理を行うため、同時に動作している画像処理装置の分だけ消費電力が増大してしまう、という問題もある。

また、特許文献２で開示された方法では、１つの画像処理装置で、ライブビュー画像を生成する画像処理を行っていない期間に静止画像を生成する画像処理を分割して行うため、回路規模の増大を抑えることができると考えられるが、静止画像を生成する画像処理を分割する方法やその構成に関する詳細が開示されていない。特に、空間フィルタ処理を行う際に必要となる糊代領域についての開示がされておらず、単純に静止画像を生成する画像処理を分割するのみでは、分割したブロック毎に糊代領域を含めて画像データを入力する必要があるため、画像処理のスループットが低下してしまう、という問題がある。

本発明は、上記の課題認識に基づいてなされたものであり、画像処理のスループットを落とすことなく静止画像を生成すると共に、回路規模や消費電力が増大することなく静止画像を撮影した後のライブビュー画像の表示を早いタイミングで復帰させることができる画像処理装置を提供することを目的としている。

上記の課題を解決するため、本発明の画像処理装置は、複数のフレームの画像が入力され、入力されたそれぞれの前記フレームの画像を、前記フレームの画像毎に複数のブロックに分割し、該分割したブロック毎に予め定めた画像処理を行って、それぞれの前記フレームに対応した画像を生成する画像処理部と、それぞれの前記フレームの画像内で前記ブロックの領域が互いに重複している糊代領域に含まれる画像データを糊代データとして保存する際に、前記画像処理部がそれぞれの前記フレームに対応した画像を生成するための複数の画像処理のそれぞれで使用する糊代データを、それぞれの画像処理に対応する前記糊代データ毎にそれぞれ分けて保存し、前記画像処理部がそれぞれの画像処理を行う際に使用する糊代データを、前記画像処理部が行うそれぞれの画像処理の処理時間と、前記画像処理部から入力された空間フィルタ処理の状態を表す情報とに基づいて切り替える糊代制御部と、を備えることを特徴とする。

また、本発明の前記糊代制御部は、前記画像処理部がそれぞれの前記フレームの画像に対応した第１の画像を生成するための第１の画像処理で使用する第１の糊代データと、前記画像処理部がそれぞれの前記フレームの画像に対応した第２の画像を生成するための第２の画像処理で使用する第２の糊代データとをそれぞれ分けて保存し、前記画像処理部がそれぞれの画像処理を行う際に使用する糊代データを、前記第１の糊代データまたは前記第２の糊代データのいずれか一方に切り替える、ことを特徴とする。

また、本発明の前記糊代制御部は、前記第１の糊代データを保存する第１の糊代保存部と、前記第２の糊代データを保存する第２の糊代保存部と、前記糊代データの保存先を第１の糊代保存部または第２の糊代保存部のいずれか一方に切り替え、前記画像処理部に出力する前記糊代データの出力元を第１の糊代保存部または第２の糊代保存部のいずれか一方に切り替えるシーケンサと、を備え、前記シーケンサは、前記画像処理部が前記第１の画像処理を行う際に、前記糊代データの保存先および出力元を前記第１の糊代保存部に切り替え、前記画像処理部が前記第２の画像処理を行う際に、前記糊代データの保存先および出力元を前記第２の糊代保存部に切り替える、ことを特徴とする。

また、本発明の前記シーケンサは、前記画像処理部が、それぞれの前記フレームの画像に対して前記第１の画像処理を行う間隔である画像処理間隔と、１つの前記フレームの画像に対して前記第１の画像処理を行っている時間である画像処理時間とを算出する第１の処理時間算出部と、前記画像処理間隔と前記画像処理時間とに基づいて、前記画像処理部が前記第２の画像処理を行うことができる時間である画像処理時間マージンを算出し、さらに、１つの前記フレームの画像において分割された１つのブロックに対して前記第２の画像処理を行っている時間であるブロック処理時間を算出する第２の処理時間算出部と、前記画像処理時間マージンと前記ブロック処理時間とに基づいて、該画像処理時間マージン内で、前記画像処理部が少なくとも１つの前記ブロックに対して前記第２の画像処理を行うことができる前記ブロックの大きさを決定する処理ブロックサイズ決定部と、前記画像処理時間マージンと、前記ブロック処理時間と、前記画像処理部による前記第２の画像処理の状態を表す情報とに基づいて、前記糊代データの保存先および出力元を切り替える処理切り替え判定部と、を備えることを特徴とする。

また、本発明の前記糊代制御部は、前記第１の糊代データおよび前記第２の糊代データを、異なる記憶領域に分けて保存する糊代保存部と、前記糊代保存部の前記記憶領域を、前記第１の糊代データを保存する第１の記憶領域と、前記第２の糊代データを保存する第２の記憶領域とに分割し、前記画像処理部が画像処理を行う際に使用する前記糊代データの切り替えを制御するシーケンサと、を備え、前記シーケンサは、前記画像処理部が行うそれぞれの画像処理の処理時間に応じて、前記糊代保存部内の前記第１の記憶領域と前記第２の記憶領域との大きさを動的に決定し、該決定したそれぞれの記憶領域の大きさに基づいて、前記第１の記憶領域と前記第２の記憶領域とに分割し、前記画像処理部が前記第１の画像処理を行う際に、前記第１の記憶領域に保存した前記第１の糊代データを使用し、前記画像処理部が前記第２の画像処理を行う際に、前記第２の記憶領域に保存した前記第２の糊代データを使用するように、前記糊代データの切り替えを制御する、ことを特徴とする。

また、本発明の前記シーケンサは、前記画像処理部が、それぞれの前記フレームの画像に対して前記第１の画像処理を行う間隔である画像処理間隔と、１つの前記フレームの画像に対して前記第１の画像処理を行っている時間である画像処理時間とを算出する第１の処理時間算出部と、前記画像処理間隔と前記画像処理時間とに基づいて、前記画像処理部が前記第２の画像処理を行うことができる時間である画像処理時間マージンを算出し、さらに、１つの前記フレームの画像において分割された１つのブロックに対して前記第２の画像処理を行っている時間であるブロック処理時間を算出する第２の処理時間算出部と、前記画像処理時間マージンと前記ブロック処理時間とに基づいて、該画像処理時間マージン内で、前記画像処理部が少なくとも１つの前記ブロックに対して前記第２の画像処理を行うことができる前記ブロックの大きさを決定する処理ブロックサイズ決定部と、前記画像処理時間マージンと、前記ブロック処理時間と、前記画像処理部による前記第２の画像処理の状態を表す情報とに基づいて、前記画像処理部が画像処理を行う際に使用する前記糊代データの切り替えを制御する処理切り替え判定部と、前記画像処理時間マージンと、前記ブロック処理時間と、前記画像処理部による前記第２の画像処理の状態を表す情報とに基づいて、１つのフレームの画像に対する前記第２の画像処理の完了を判定する画像処理完了判定部と、前記画像処理完了判定部による前記第２の画像処理の完了の判定結果と、前記画像処理時間マージンと、前記ブロック処理時間とに基づいて、前記糊代保存部の前記記憶領域を、前記第１の記憶領域と前記第２の記憶領域とに分割する分割幅を決定する分割幅決定部と、を備えることを特徴とする。

また、本発明の前記第１の画像処理は、入力されたそれぞれの前記フレームの画像データに応じた動画像を表示装置に表示するための画像データを生成する動画表示用の画像処理であり、前記第２の画像処理は、入力された前記フレームの画像データに応じた静止画像を記録するための画像データを生成する静止画記録用の画像処理である、ことを特徴とする。

また、本発明の前記第１の画像処理および前記第２の画像処理のそれぞれは、入力されたそれぞれの前記フレームの画像データに対する空間フィルタ処理である、ことを特徴とする。

また、本発明の画像処理装置は、複数のフレームの画像が入力され、入力されたそれぞれの前記フレームの画像を、前記フレームの画像毎に複数のブロックに分割し、該分割したブロック毎に予め定めた画像処理を行って、それぞれの前記フレームに対応した画像を生成する画像処理部と、それぞれの前記フレームの画像内で前記ブロックの領域が互いに重複している糊代領域に含まれる画像データを糊代データとし、前記画像処理部がそれぞれの前記フレームに対応した画像を生成するための複数の画像処理のそれぞれで使用する糊代データを、それぞれの画像処理に対応する糊代データ毎にそれぞれ分けて保存する糊代保存部と、前記画像処理部がそれぞれの画像処理を行う際に使用する糊代データを、前記画像処理部が行うそれぞれの画像処理の処理時間と、前記画像処理部から入力された空間フィルタ処理の状態を表す情報とに基づいて切り替えるシーケンサと、を備えることを特徴とする。

また、本発明の前記糊代保存部は、前記画像処理部がそれぞれの前記フレームの画像に対応した第１の画像を生成するための第１の画像処理で使用する第１の糊代データと、前記画像処理部がそれぞれの前記フレームの画像に対応した第２の画像を生成するための第２の画像処理で使用する第２の糊代データとをそれぞれ分けて保存し、前記シーケンサは、前記画像処理部がそれぞれの画像処理を行う際に該画像処理部に出力する、前記糊代保存部に保存された糊代データを、前記第１の糊代データまたは前記第２の糊代データのいずれか一方に切り替える、ことを特徴とする。

また、本発明の前記糊代保存部は、前記第１の糊代データを保存する第１の糊代保存部と、前記第２の糊代データを保存する第２の糊代保存部と、を備え、前記シーケンサは、前記画像処理部が前記第１の画像処理を行う際に、前記糊代データの保存先および出力元を前記第１の糊代保存部に切り替え、前記画像処理部が前記第２の画像処理を行う際に、前記糊代データの保存先および出力元を前記第２の糊代保存部に切り替える、ことを特徴とする。

また、本発明の前記糊代保存部は、前記第１の糊代データおよび前記第２の糊代データを、異なる記憶領域に分けて保存し、前記シーケンサは、前記画像処理部が行うそれぞれの画像処理の処理時間に応じて、前記糊代保存部内の前記第１の糊代データを保存する第１の記憶領域と、前記第２の糊代データを保存する第２の記憶領域との大きさを動的に決定し、該決定したそれぞれの記憶領域の大きさに基づいて、前記第１の記憶領域と前記第２の記憶領域とに分割し、前記画像処理部が前記第１の画像処理を行う際に、前記第１の記憶領域に保存した前記第１の糊代データを使用し、前記画像処理部が前記第２の画像処理を行う際に、前記第２の記憶領域に保存した前記第２の糊代データを使用するように、前記糊代データの切り替えを制御する、ことを特徴とする。

本発明によれば、画像処理のスループットを落とすことなく静止画像を生成すると共に、回路規模や消費電力が増大することなく静止画像を撮影した後のライブビュー画像の表示を早いタイミングで復帰させることができるという効果が得られる。

本発明の第１の実施形態における画像処理装置の概略構成を示したブロック図である。本第１の実施形態の画像処理装置における画像データの流れを説明する図である。本第１の実施形態の画像処理装置に備えたシーケンサの概略構成を示したブロック図である。本第１の実施形態の画像処理装置に備えたシーケンサによる処理時間の算出方法を説明するタイミングチャートである。本第１の実施形態の画像処理装置に備えたシーケンサによる処理時間の算出方法を説明するタイミングチャートである。本第１の実施形態の画像処理装置に備えたシーケンサによる処理時間の算出方法を説明するタイミングチャートである。本第１の実施形態の画像処理装置に備えたシーケンサによる処理時間の算出方法を説明するタイミングチャートである。本第１の実施形態の画像処理装置が画像処理を行う動作の手順を示したフローチャートである。本第１の実施形態の画像処理装置が画像処理を行う動作の一例を説明するタイミングチャートである。本発明の第２の実施形態における画像処理装置の概略構成を示したブロック図である。本第２の実施形態の画像処理装置に備えたシーケンサが設定する糊代データの保存領域を説明する図である。本第２の実施形態の画像処理装置に備えたシーケンサが設定する糊代データの保存領域の大きさの一例を説明する図である。本第２の実施形態の画像処理装置に備えたシーケンサの概略構成を示したブロック図である。本第２の実施形態の画像処理装置に備えたシーケンサが設定する糊代データの保存領域の大きさの変形例を説明する図である。本第２の実施形態の画像処理装置が画像処理を行う動作の手順を示したフローチャートである。従来の画像処理装置におけるブロック分けの方法を説明する図である。

＜第１の実施形態＞
以下、本発明の実施形態について、図面を参照して説明する。図１は、本第１の実施形態における画像処理装置の概略構成を示したブロック図である。図１に示した画像処理装置１は、画像処理部１０と、糊代制御部２０と、を備えている。画像処理装置１は、入力された入力画像データに対して、予め定められた種々の画像処理を行い、画像処理した後の出力画像データを出力する。画像処理装置１では、１フレームの画像を複数のブロックに分割し、分割したブロック毎に画像処理を行う。なお、画像処理装置１が、ノイズ除去処理やローパスフィルタ処理などの空間フィルタ処理を行う際には、画像処理を行うブロックの画像データに加えて、空間フィルタ処理に必要な画像データの重複領域（オーバーラップ領域）である、いわゆる「糊代領域」の画像データも使用して画像処理を行う。以下の説明においては、画像処理装置１が空間フィルタ処理を行う画像処理装置であるものとして説明する。

画像処理部１０は、画像処理装置１に入力された入力画像データに対して、空間フィルタ処理を行う画像処理部である。画像処理部１０は、空間フィルタ処理を行った後の画像データを、画像処理装置１が空間フィルタ処理を行った出力画像データとして出力する。画像処理部１０による空間フィルタ処理では、入力された入力画像データと、糊代制御部２０から入力された糊代領域の画像データ（以下、「糊代データ」という）とを併せた状態でブロック毎の処理を行う。また、画像処理部１０は、空間フィルタ処理の開始および終了を表す信号や、空間フィルタ処理の状態を表す情報を、糊代制御部２０に出力する。

以下の説明においては、画像処理部１０が、ライブビュー画像などの動画像を生成するための空間フィルタ処理（以下、「ライブビュー処理」という）、および静止画像を生成するための空間フィルタ処理（以下、「静止画処理」という）を行う場合について説明する。

糊代制御部２０は、画像処理部１０が空間フィルタ処理を行う際に使用する糊代データを一時的に格納し、格納した糊代データを、画像処理部１０に出力する。糊代制御部２０は、入力選択部２１０と、２つの糊代保存部２２１および糊代保存部２２２と、出力選択部２３０と、シーケンサ２４０と、を備えている。

入力選択部２１０は、シーケンサ２４０から入力された切り替え信号に応じて、画像処理装置１に入力された入力画像データの中から、画像処理部１０が空間フィルタ処理を行う際に使用する糊代領域の画像データを糊代データとして選択し、選択した糊代データを、糊代保存部２２１または糊代保存部２２２のいずれか一方に出力する。

糊代保存部２２１および糊代保存部２２２のそれぞれは、入力選択部２１０から入力された糊代データを一時記憶（保存）する、例えば、ＳＲＡＭ（ＳｔａｔｉｃＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）などで構成された記憶部である。なお、糊代保存部２２１および糊代保存部２２２それぞれは、画像処理部１０が空間フィルタ処理を行う１つのブロックにおいて必要となる糊代データを保存することができる記憶容量を持っている。そして、糊代保存部２２１および糊代保存部２２２のそれぞれは、画像処理部１０によるライブビュー処理に使用する糊代データの保存用と、静止画処理に使用する糊代データの保存用とに、用途が分けられている。以下の説明においては、糊代保存部２２１が、ライブビュー処理に使用する糊代データの保存用に、糊代保存部２２２が、静止画処理に使用する糊代データの保存用に、それぞれの糊代保存部の用途が分けられているものとして説明する。

出力選択部２３０は、シーケンサ２４０から入力された切り替え信号に応じて、糊代保存部２２１または糊代保存部２２２の保存されている糊代データの内、画像処理部１０が空間フィルタ処理を行う際に使用するいずれか一方の糊代データを選択し、選択した糊代データを、画像処理部１０に出力する。

シーケンサ２４０は、画像処理部１０から入力された空間フィルタ処理の開始および終了を表す信号に基づいて、画像処理部１０が空間フィルタ処理を行う際の処理時間を算出する。また、シーケンサ２４０は、算出した画像処理部１０によるそれぞれの処理時間と、画像処理部１０から入力された空間フィルタ処理の状態を表す情報とに基づいて、画像処理装置１に入力された入力画像データを糊代データとして保存する糊代保存部を切り替える。なお、シーケンサ２４０の構成およびシーケンサ２４０による糊代データの保存先の糊代保存部の切り替え方法に関する詳細な説明は、後述する。

ここで、本第１の実施形態の画像処理装置１が画像処理を行う際の画像データの流れについて説明する。図２は、本第１の実施形態の画像処理装置１における画像データの流れを説明する図である。図２（ａ）には、画像処理装置１がライブビュー画像を生成する画像処理を行う際の画像データの流れを、図２（ｂ）には、画像処理装置１が静止画像を生成する画像処理を行う際の画像データの流れを、それぞれ模式的に示している。

まず、図２（ａ）を参照して、画像処理装置１がライブビュー画像を生成する画像処理を行うときの画像データの流れについて説明する。画像処理装置１がライブビュー画像を生成する画像処理を行うとき、ライブビュー撮影によってイメージセンサから取り込んだ１つのフレームの画像データが、入力画像データとしてブロック毎に画像処理部１０と糊代制御部２０とに順次入力される。そして、最初に、糊代制御部２０は、入力された入力画像データの内、画像処理部１０が最初のブロックのライブビュー処理を行う際に使用する入力画像データ、すなわち、１番目のブロックの糊代データを、糊代保存部２２１に順次保存する。

続いて、ライブビュー撮影によってイメージセンサから取り込んだ１つのフレームの最初のブロックの画像データが、入力画像データとして画像処理部１０と糊代制御部２０とに順次入力されたとき、糊代制御部２０は、糊代保存部２２１に保存している１番目のブロックの糊代データを、画像処理部１０に順次出力する。そして、画像処理部１０は、糊代制御部２０から順次入力された１番目のブロックの糊代データと、順次入力された入力画像データとに基づいて、最初のブロックの画像データに対するライブビュー処理を行い、ライブビュー処理を行った後の画像データを、１番目のブロックの出力画像データとして出力する。このとき、糊代制御部２０は、順次入力された入力画像データの内、画像処理部１０が２番目のブロックのライブビュー処理を行う際に使用する入力画像データ、すなわち、２番目のブロックの糊代データを、糊代保存部２２１に順次保存する。

続いて、ライブビュー撮影によってイメージセンサから取り込んだ１つのフレームの２番目のブロックの画像データが、入力画像データとして画像処理部１０と糊代制御部２０とに順次入力されたとき、糊代制御部２０は、糊代保存部２２１に保存している２番目のブロックの糊代データを、画像処理部１０に順次出力する。そして、画像処理部１０は、糊代制御部２０から順次入力された２番目のブロックの糊代データと、順次入力された入力画像データとに基づいて、２番目のブロックの画像データに対するライブビュー処理を行い、ライブビュー処理を行った後の画像データを、２番目のブロックの出力画像データとして出力する。このとき、糊代制御部２０は、順次入力された入力画像データの内、画像処理部１０が３番目のブロックのライブビュー処理を行う際に使用する入力画像データ、すなわち、３番目のブロックの糊代データを、糊代保存部２２１に順次保存する。

以降、同様に、糊代制御部２０は、ライブビュー撮影によってイメージセンサから取り込んだ１つのフレームのそれぞれのブロックの画像データが入力される毎に、糊代保存部２２１に保存している糊代データの画像処理部１０への出力と、画像処理部１０が空間フィルタ処理を行う際に使用する次のブロックの糊代データ（入力画像データ）の糊代保存部２２１への保存とを繰り返す。また、画像処理部１０は、ライブビュー撮影によってイメージセンサから取り込んだ１つのフレームのそれぞれのブロックの画像データが入力される毎に、糊代制御部２０から入力された今回処理するブロックの糊代データと、入力された入力画像データとに基づいた、今回処理するブロックの画像データに対するライブビュー処理と、今回処理したブロックの出力画像データの出力とを繰り返す。

このようにして、画像処理装置１がライブビュー画像を生成する画像処理を行う際には、ライブビュー撮影によってイメージセンサから取り込んだ１つのフレームの画像データに対するライブビュー処理を、ブロック毎に行う。

続いて、図２（ｂ）を参照して、画像処理装置１が静止画像を生成する画像処理を行うときの画像データの流れについて説明する。画像処理装置１が静止画像を生成する画像処理を行うとき、静止画撮影によってイメージセンサから取り込んだ１つのフレームの画像データが、入力画像データとしてブロック毎に画像処理部１０と糊代制御部２０とに順次入力される。そして、最初に、糊代制御部２０は、入力された入力画像データの内、画像処理部１０が最初のブロックの静止画処理を行う際に使用する入力画像データ、すなわち、１番目のブロックの糊代データを、糊代保存部２２２に順次保存する。

続いて、静止画撮影によってイメージセンサから取り込んだ１つのフレームの最初のブロックの画像データが、入力画像データとして画像処理部１０と糊代制御部２０とに順次入力されたとき、糊代制御部２０は、糊代保存部２２２に保存している１番目のブロックの糊代データを、画像処理部１０に順次出力する。そして、画像処理部１０は、糊代制御部２０から順次入力された１番目のブロックの糊代データと、順次入力された入力画像データとに基づいて、最初のブロックの画像データに対する静止画処理を行い、静止画処理を行った後の画像データを、１番目のブロックの出力画像データとして出力する。このとき、糊代制御部２０は、順次入力された入力画像データの内、画像処理部１０が２番目のブロックの静止画処理を行う際に使用する入力画像データ、すなわち、２番目のブロックの糊代データを、糊代保存部２２２に順次保存する。

続いて、静止画撮影によってイメージセンサから取り込んだ１つのフレームの２番目のブロックの画像データが、入力画像データとして画像処理部１０と糊代制御部２０とに順次入力されたとき、糊代制御部２０は、糊代保存部２２２に保存している２番目のブロックの糊代データを、画像処理部１０に順次出力する。そして、画像処理部１０は、糊代制御部２０から順次入力された２番目のブロックの糊代データと、順次入力された入力画像データとに基づいて、２番目のブロックの画像データに対する静止画処理を行い、静止画処理を行った後の画像データを、２番目のブロックの出力画像データとして出力する。このとき、糊代制御部２０は、順次入力された入力画像データの内、画像処理部１０が３番目のブロックの静止画処理を行う際に使用する入力画像データ、すなわち、３番目のブロックの糊代データを、糊代保存部２２２に順次保存する。

以降、同様に、糊代制御部２０は、静止画撮影によってイメージセンサから取り込んだ１つのフレームのそれぞれのブロックの画像データが入力される毎に、糊代保存部２２２に保存している糊代データの画像処理部１０への出力と、画像処理部１０が空間フィルタ処理を行う際に使用する次のブロックの糊代データ（入力画像データ）の糊代保存部２２２への保存とを繰り返す。また、画像処理部１０は、静止画撮影によってイメージセンサから取り込んだ１つのフレームのそれぞれのブロックの画像データが入力される毎に、糊代制御部２０から入力された今回処理するブロックの糊代データと、入力された入力画像データとに基づいた、今回処理するブロックの画像データに対する静止画処理と、今回処理したブロックの出力画像データの出力とを繰り返す。

このようにして、画像処理装置１が静止画像を生成する画像処理を行う際には、静止画撮影によってイメージセンサから取り込んだ１つのフレームの画像データに対する静止画処理を、ブロック毎に行う。

次に、本第１の実施形態の画像処理装置１に備えたシーケンサ２４０の構成と動作について説明する。図３は、本第１の実施形態の画像処理装置１に備えたシーケンサ２４０の概略構成を示したブロック図である。図３に示したシーケンサ２４０は、ライブビュー処理時間算出部２４１と、静止画ブロック処理時間算出部２４２と、処理ブロックサイズ決定部２４３と、処理切り替え判定部２４４と、を備えている。

ライブビュー処理時間算出部２４１は、画像処理部１０から入力された空間フィルタ処理の開始を表す信号（以下、「画像処理開始信号」という）および空間フィルタ処理の終了を表す信号（以下、「画像処理終了信号」という）に基づいて、画像処理部１０によるライブビュー画像の生成に関する処理時間を算出する。そして、ライブビュー処理時間算出部２４１は、算出したライブビュー画像の生成に関する処理時間の情報を、静止画ブロック処理時間算出部２４２に出力する。

より具体的には、ライブビュー処理時間算出部２４１は、図４（ａ）に示したように、ライブビュー撮影によってイメージセンサから取り込んだ各フレームのライブビュー処理（ＬＶ処理）の間隔（以下、「ライブビュー処理間隔」という）を、画像処理部１０から入力されたライブビュー処理の画像処理開始信号の間のサイクル数をカウントすることによって算出する。また、ライブビュー処理時間算出部２４１は、図４（ｂ）に示したように、各フレームのライブビュー処理（ＬＶ処理）に要する処理時間（以下、「ライブビュー処理時間」という）を、ライブビュー処理の画像処理開始信号からライブビュー処理の画像処理終了信号までの間のサイクル数をカウントすることによって算出する。

なお、ライブビュー処理時間算出部２４１は、ライブビュー撮影によってイメージセンサから取り込んだ各フレームに対してライブビュー処理間隔やライブビュー処理時間を算出する。つまり、ライブビュー処理時間算出部２４１は、ライブビュー撮影によってイメージセンサから１つのフレームの画像データを取り込む毎に、ライブビュー処理間隔やライブビュー処理時間の算出を繰り返す。しかし、ライブビュー処理時間算出部２４１は、算出した全てのフレームのライブビュー処理間隔やライブビュー処理時間の情報を静止画ブロック処理時間算出部２４２に出力するのではなく、現在までのそれぞれのフレームから算出したライブビュー処理間隔およびライブビュー処理時間のそれぞれの最大値または平均値を、ライブビュー処理間隔およびライブビュー処理時間の情報として静止画ブロック処理時間算出部２４２に出力する。

静止画ブロック処理時間算出部２４２は、画像処理部１０から入力された空間フィルタ処理の画像処理開始信号と、ライブビュー処理時間算出部２４１から入力されたライブビュー処理間隔およびライブビュー処理時間の情報とに基づいて、画像処理部１０による静止画像の生成に関する処理時間を算出する。そして、ライブビュー処理時間算出部２４１は、算出した静止画像の生成に関する処理時間の情報を、処理ブロックサイズ決定部２４３と処理切り替え判定部２４４とに出力する。

より具体的には、静止画ブロック処理時間算出部２４２は、ライブビュー処理時間算出部２４１から入力されたライブビュー処理間隔およびライブビュー処理時間の情報に基づいて、画像処理部１０がライブビュー処理を行っている間で静止画処理を行うことができる時間（以下、「処理時間マージン」という）を算出する。さらに具体的には、静止画ブロック処理時間算出部２４２は、図５（ａ）に示したように、ライブビュー処理間隔とライブビュー処理時間との差の時間を、処理時間マージンとして算出する。

なお、静止画撮影の後の処理時間マージンの算出において、静止画ブロック処理時間算出部２４２は、図５（ｂ）に示したように、画像処理部１０から入力された静止画処理の画像処理開始信号から、静止画撮影によってイメージセンサから静止画像のフレームを取り込んだ後の最初のライブビュー撮影でイメージセンサから取り込んだフレームのライブビュー処理を開始する画像処理開始信号までの時間を、処理時間マージンとして算出する。

また、静止画ブロック処理時間算出部２４２は、画像処理部１０が静止画処理を行う１つのブロックの大きさの情報に基づいて、例えば、ブロックに含まれる１つの入力画像データに対する静止画処理が１サイクルで完了するものと仮定して、画像処理部１０が行う１つのブロックに対する静止画処理の処理時間（以下、「ブロック処理時間」という）を算出する。なお、画像処理部１０が静止画処理を行う１つのブロックの大きさは予め定められているが、処理ブロックサイズ決定部２４３から１つのブロックの大きさを表す情報（以下、「処理ブロックサイズ」という）が入力された場合には、静止画ブロック処理時間算出部２４２は、処理ブロックサイズ決定部２４３から入力された処理ブロックサイズの情報に基づいて、同様の考え方でブロック処理時間を算出する。

そして、静止画ブロック処理時間算出部２４２は、算出した処理時間マージンおよびブロック処理時間の情報を、処理ブロックサイズ決定部２４３と処理切り替え判定部２４４とに逐次出力する。

なお、ライブビュー処理時間算出部２４１は、ライブビュー撮影によってイメージセンサから１つのフレームの画像データを取り込む毎に、ライブビュー処理間隔やライブビュー処理時間の算出を繰り返す。つまり、ライブビュー撮影によってイメージセンサから１つのフレームの画像データを取り込む毎に、ライブビュー処理間隔およびライブビュー処理時間の情報を更新する。従って、静止画ブロック処理時間算出部２４２も、ライブビュー撮影によってイメージセンサから１つのフレームの画像データを取り込む毎に、処理時間マージンおよびブロック処理時間の算出を繰り返す。

処理ブロックサイズ決定部２４３は、静止画ブロック処理時間算出部２４２から入力された処理時間マージンおよびブロック処理時間の情報に基づいて、１つの処理時間マージンの時間内に少なくとも１つのブロックの静止画処理が終了するか否かを判定する。この判定の結果、１つの処理時間マージンの時間内に少なくとも１つのブロックの静止画処理が終了しないと判定した場合には、処理ブロックサイズ決定部２４３は、１つのブロックの大きさを小さくすることによって、１つの処理時間マージンの時間内に少なくとも１つのブロックの静止画処理が終了するブロックの大きさを決定する。このとき、処理ブロックサイズ決定部２４３は、ブロックの水平方向（横方向）の入力画像データの数を変えずに、ブロックの垂直方向（縦方向）の入力画像データの数、すなわち、ブロックに含まれる入力画像データのライン数を少なくすることによって、１つのブロックの大きさを小さくするように処理ブロックサイズを決定する。そして、処理ブロックサイズ決定部２４３は、決定したブロックの大きさを表す処理ブロックサイズの情報を、静止画ブロック処理時間算出部２４２に出力する。

なお、判定の結果、１つの処理時間マージンの時間に十分余裕がある場合、すなわち、１つの処理時間マージンの時間内に必ず複数のブロックの静止画処理が終了すると判定した場合には、処理ブロックサイズ決定部２４３は、１つのブロックの大きさを大きくするように、ブロックの大きさ（処理ブロックサイズ）を決定する構成にすることもできる。このとき、処理ブロックサイズ決定部２４３は、ブロックの水平方向（横方向）の入力画像データの数を変えずに、ブロックの垂直方向（縦方向）の入力画像データの数（ライン数）を多くすることによって、１つのブロックの大きさを大きくする処理ブロックサイズを決定する。このようにして処理ブロックサイズを決定することにより、ブロックの大きさに応じて糊代保存部２２２の記憶容量を変えなくても、ブロックの大きさを変更することができる。これは、糊代制御部２０では、糊代データのみを糊代保存部２２２に保存するため、ブロックの垂直方向（縦方向）の入力画像データのライン数が変わっても、糊代保存部２２２に保存する糊代データに含まれる垂直方向（縦方向）の入力画像データの数（ライン数）は、一定のライン数であるためである。

処理切り替え判定部２４４は、静止画ブロック処理時間算出部２４２から入力された処理時間マージンおよびブロック処理時間の情報と、画像処理部１０から入力された空間フィルタ処理の状態を表す情報とに基づいて、入力された入力画像データを糊代データとして保存し、保存した糊代データを画像処理装置１に出力する糊代保存部を、糊代保存部２２１または糊代保存部２２２のいずれか一方に切り替える。

より具体的には、処理切り替え判定部２４４は、図６に示したように、処理時間マージンとブロック処理時間とを比較し、処理時間マージンの時間の方がブロック処理時間よりも長い場合には、処理時間マージンの時間内にブロックの静止画処理を行うことができると判定し、静止画処理に使用する糊代データを保存し出力する糊代保存部２２２に切り替えるための切り替え信号を出力する。これにより、画像処理部１０は、糊代制御部２０に備えた糊代保存部２２２から順次入力されたブロックの糊代データと、順次入力された入力画像データとに基づいて、ブロックの画像データに対する静止画処理を行うことができる。

また、処理切り替え判定部２４４は、空間フィルタ処理の状態を表す情報として、画像処理部１０がライブビュー処理を行うことを表すステータス信号が入力された場合には、ライブビュー処理に使用する糊代データを保存し出力する糊代保存部２２１に切り替えるための切り替え信号を出力する。これにより、画像処理部１０は、糊代制御部２０に備えた糊代保存部２２１から順次入力された糊代データと、順次入力された入力画像データとに基づいて、ライブビュー処理を行うことができる。

なお、処理切り替え判定部２４４は、画像処理部１０から１つのブロックの静止画処理が終了したことを表す割り込み信号が入力されると、静止画ブロック処理時間算出部２４２から入力された処理時間マージンからブロック処理時間を減算した時間を、新たな処理時間マージンとし、新たな処理時間マージンとブロック処理時間とを比較する。その結果、図７（ａ）に示したように、画像処理部１０がライブビュー処理を開始するまでに十分時間がある、すなわち、画像処理部１０による次のブロックの静止画処理を行うことができる時間があると判定した場合には、糊代保存部２２２に切り替えるための切り替え信号の出力を継続する。これにより、画像処理部１０は、図７（ｂ）に示したように、糊代制御部２０に備えた糊代保存部２２２から順次入力された次のブロックの糊代データと、順次入力された入力画像データとに基づいて、次のブロックの画像データに対する静止画処理を行うことができる。つまり、画像処理部１０は、２つのブロックの静止画処理を連続して行うことができる。以降、同様に、処理切り替え判定部２４４は、画像処理部１０から１つのブロックの静止画処理の終了を表す割り込み信号が入力される毎に、処理時間マージンを更新し、更新した処理時間マージンとブロック処理時間とを比較した結果が、画像処理部１０による次のブロックの静止画処理を行う時間がないと判定されるまで、ブロックの静止画処理を連続して行う。

このようにして、処理切り替え判定部２４４は、図７（ｃ）に示したように、糊代データを保存し出力する糊代保存部２２１または糊代保存部２２２のいずれか一方への切り換えを、静止画撮影によってイメージセンサから取り込んだ１つのフレームに含まれる全てのブロックに対する静止画処理が完了するまで繰り返す。つまり、処理切り替え判定部２４４は、糊代保存部２の切り換えを、画像処理部１０による静止画像の生成が完了し、画像処理部１０から静止画処理が完了したことを表す割り込み信号が入力されるまで繰り返す。その際、切り換えられた糊代保存部２２２には、前のブロックの静止画処理を行っているときに、今回処理するブロックの静止画処理に使用する糊代データがすでに保存されているため、糊代領域を含めたブロックの領域を、今回処理するブロックの領域とする必要はない。

なお、上述したように、ライブビュー処理時間算出部２４１によるライブビュー処理間隔およびライブビュー処理時間の算出と、静止画ブロック処理時間算出部２４２による処理時間マージンおよびブロック処理時間の算出とは、ライブビュー撮影によってイメージセンサから１つのフレームの画像データを取り込む毎に繰り返される。これは、それぞれのフレームのライブビュー処理時間やブロック処理時間は、画像処理装置１を搭載した撮像装置内の他の構成要素が処理する際のデータバスの混雑度によって一定の時間ではないためである。このため、図７（ｃ）にしめしたように、１つの処理時間マージンの時間内で画像処理部１０が行う静止画処理の回数、すなわち、静止画処理を行うブロック数は、それぞれの処理時間マージン毎に異なる。しかし、上述したように、処理ブロックサイズ決定部２４３によって、１つの処理時間マージンの時間内に少なくとも１つのブロックの静止画処理が終了するようにブロックの大きさを決定しているため、１つの処理時間マージンの時間内には、少なくとも１つのブロックの静止画処理が終了することになる。

このような構成によって、シーケンサ２４０は、画像処理部１０が行う空間フィルタ処理の状態に応じて、ライブビュー処理に使用する糊代データの保存用と、静止画処理に使用する糊代データの保存用とに分けられている糊代保存部２２１および糊代保存部２２２の切り換えを行う。これにより、本第１の実施形態の画像処理装置１では、静止画処理を途中で中断してライブビュー処理を行った場合でも、次のブロックの静止画処理に使用する糊代領域の糊代データがすでに保存されているため、次のブロックの糊代領域を考慮することなく、容易に続きのブロックから静止画処理を再開することができる。

次に、本第１の実施形態の画像処理装置１が画像処理を行う際の手順について説明する。図８は、本第１の実施形態の画像処理装置１が画像処理を行う動作の手順を示したフローチャートである。なお、画像処理装置１は、ライブビュー処理においても、静止画処理と同様に、ライブビュー撮影によってイメージセンサから取り込んだ１つのフレームの画像を複数のブロックに分割し、分割したそれぞれのブロック毎にライブビュー処理を行う。しかし、ライブビュー処理では、１つのフレームの画像に対するライブビュー処理を行っている途中に静止画処理を行うことはない。すなわち、画像処理装置１では、１つのフレームの画像に対するライブビュー処理が完了するまで処理を中断することはなく、１つのフレームに含まれる全てのブロックに対するライブビュー処理を行う。図８に示した画像処理装置１が画像処理を行うフローチャートの説明においては、画像処理装置１が静止画処理を行うときのみ、静止画撮影によってイメージセンサから取り込んだ１つのフレームの画像を複数のブロックに分割して処理するものとして説明する。つまり、画像処理装置１は、ライブビュー処理を行うときには、ライブビュー撮影によってイメージセンサから取り込んだ１つのフレームの画像を複数のブロックに分割せずに、１つのフレームの画像を１つのブロックとして処理するものとして説明する。

画像処理装置１を搭載した撮像装置の動作が開始されると、まず、ステップＳ１００において、画像処理部１０は、ライブビュー撮影によってイメージセンサから取り込んだ１つのフレームの画像データに対するライブビュー処理を行う。これにより、撮像装置に備えた表示装置である表示デバイスに、ライブビュー画像を表示することができる。

続いて、ステップＳ１１０において、ライブビュー処理時間算出部２４１は、ステップＳ１００において画像処理部１０が行ったライブビュー処理のライブビュー処理間隔およびライブビュー処理時間のそれぞれを算出する（図４参照）。

続いて、ステップＳ１２０において、画像処理装置１は、撮像装置において静止画撮影がされたか否かを確認する。ステップＳ１２０の確認において、静止画撮影がされていない場合（ステップＳ１２０の“ＮＯ”）には、ステップＳ１００に戻って、ライブビュー撮影によってイメージセンサから取り込んだ次の１つのフレームの画像データに対する画像処理部１０によるライブビュー処理と、ライブビュー処理時間算出部２４１によるライブビュー処理の処理時間の算出とを繰り返す。

なお、ステップＳ１００とステップＳ１１０の処理を繰り返している間、ライブビュー処理時間算出部２４１は、今までに画像処理部１０が行ったライブビュー処理のライブビュー処理間隔およびライブビュー処理時間の情報を更新する。また、静止画ブロック処理時間算出部２４２は、更新されたライブビュー処理間隔およびライブビュー処理時間の情報に基づいて処理時間マージンを算出（図５参照）して、処理時間マージンの情報を更新する。また、処理ブロックサイズ決定部２４３は、更新された処理時間マージンおよび現在のブロック処理時間の情報に基づいて、静止画処理する際の処理ブロックサイズを決定する。また、静止画ブロック処理時間算出部２４２は、更新された処理ブロックサイズに基づいてブロック処理時間を算出して、ブロック処理時間の情報を更新する。

また、ステップＳ１２０の確認において、静止画撮影がされた場合（ステップＳ１２０の“ＹＥＳ”）には、ステップＳ２００において、処理ブロックサイズ決定部２４３は、現在の処理時間マージンおよび現在のブロック処理時間の情報に基づいて、静止画処理する際の処理ブロックサイズを決定する。

続いて、ステップＳ２１０において、静止画ブロック処理時間算出部２４２は、現在の処理ブロックサイズに基づいて、ブロック処理時間を算出する。また、ステップＳ２２０において、静止画ブロック処理時間算出部２４２は、現在のライブビュー処理間隔およびライブビュー処理時間の情報に基づいて、処理時間マージンを算出（図５参照）する。

続いて、ステップＳ２３０において、処理切り替え判定部２４４は、処理時間マージンとブロック処理時間とを比較し、静止画処理を行うことができるか否かを判定する。ステップＳ２３０の判定の結果、静止画処理を行うことができない場合（ステップＳ２３０の“ＮＯ”）には、ステップＳ２４０において、画像処理部１０は、ライブビュー撮影によってイメージセンサから取り込んだ次の１つのフレームの画像データに対するライブビュー処理を行う。これにより、撮像装置に備えた表示デバイスに、次のライブビュー画像を表示することができる。そして、ステップＳ２００に戻る。

また、ステップＳ２３０の判定の結果、静止画処理を行うことがでる場合（ステップＳ２３０の“ＹＥＳ”）には、ステップＳ２５０において、処理切り替え判定部２４４は、静止画処理に使用する糊代データを保存し出力する糊代保存部２２２に切り替える。そして、画像処理部１０は、静止画撮影によってイメージセンサから取り込んだ１つのフレームの１番目のブロックの画像データに対する静止画処理を行う。

続いて、ステップＳ２６０において、処理切り替え判定部２４４は、静止画撮影によってイメージセンサから取り込んだ１つのフレームに含まれる全てのブロックの画像データに対する静止画処理が、画像処理部１０によって完了したか否かを確認する。ステップＳ２６０の確認の結果、全てのブロックに対する静止画処理が完了していない場合（ステップＳ２６０の“ＮＯ”）には、ステップＳ２２０に戻って、処理切り替え判定部２４４は、新たな処理時間マージン算出（図６および図７参照）する。そして、ステップＳ２３０における静止画処理を行うことができるか否かの判定に応じた動作を繰り返す。

また、ステップＳ２６０の確認の結果、全てのブロックに対する静止画処理が完了している場合（ステップＳ２６０の“ＹＥＳ”）には、処理切り替え判定部２４４は、ライブビュー処理に使用する糊代データを保存し出力する糊代保存部２２１に切り替える。そして、ステップＳ１００に戻って、画像処理部１０は、ライブビュー撮影によってイメージセンサから取り込んだ次の１つのフレームの画像データに対するライブビュー処理を行う。これにより、撮像装置に備えた表示デバイスに、次のライブビュー画像を表示することができる。

ここで、本第１の実施形態の画像処理装置１が画像処理を行う動作の一例について説明する。図９は、本第１の実施形態の画像処理装置１が画像処理を行う動作の一例を説明するタイミングチャートである。図９（ａ）には、画像処理装置１が画像処理を行う画像データの範囲を示し、図９（ｂ）には、従来の画像処理装置が画像処理を行う際のタイミングチャートの一例を示し、図９（ｃ）には、画像処理装置１が画像処理を行う際のタイミングチャートの一例を下段に示している。

なお、画像処理装置１は、上述したように、ライブビュー処理において、静止画処理と同様に、ライブビュー撮影によってイメージセンサから取り込んだ１つのフレームの画像を複数のブロックに分割し、分割したそれぞれのブロック毎にライブビュー処理を行う。しかし、上述したように、ライブビュー処理では、１つのフレームの画像に対するライブビュー処理を行っている途中に静止画処理を行うことはなく、すなわち、１つのフレームの画像に対するライブビュー処理が完了するまで処理を中断することはなく、１つのフレームに含まれる全てのブロックに対するライブビュー処理を行う。図９（ｂ）および図９（ｃ）に示した画像処理の動作タイミングの説明においては、図９（ａ）に示したように、ライブビュー撮影によってイメージセンサから取り込んだ１つのフレームの画像を１つのブロックとしてライブビュー処理してライブビュー画像を生成し、静止画撮影によってイメージセンサから取り込んだ１つのフレームの画像を１６個のブロックに分割して静止画処理して静止画像を生成するものとして説明する。

図９（ｂ）に示したように、従来の画像処理装置を１つ搭載した撮像装置では、静止画撮影によってイメージセンサから取り込んだ１つのフレームに含まれる全てのブロックの画像データに対する静止画処理が完了するまで、ライブビュー処理を行うことができない。このため、画像処理装置による静止画処理が完了するまで、撮像装置に備えた表示デバイスにライブビュー画像を表示させることができない。すなわち、ライブビュー画像の表示を復帰（再開）させることができない。

これに対して、画像処理装置１を搭載した撮像装置では、図９（ｃ）に示したように、静止画撮影によってイメージセンサから取り込んだ１つのフレームのそれぞれのブロックの静止画処理を、ライブビュー処理を行っていない処理時間マージンの期間中に行うことができる。これにより、画像処理装置１を搭載した撮像装置では、全てのブロックの画像データに対する静止画処理が完了していない状態であっても、撮像装置に備えた表示デバイスにライブビュー画像を表示させることができる。すなわち、ライブビュー画像の表示を早く復帰（再開）させることができる。

上記に述べたように、本第１の実施形態の画像処理装置１では、糊代保存部２２１と糊代保存部２２２とに、ライブビュー処理に使用する糊代データと、静止画処理に使用する糊代データとを分けて保存している。つまり、糊代データを保存する糊代保存部を、ライブビュー処理用と静止画処理用とで別個に設けている。そして、シーケンサ２４０は、画像処理部１０が行う空間フィルタ処理の状態に応じて、糊代保存部２２１と糊代保存部２２２との切り換えを行う。これにより、本第１の実施形態の画像処理装置１では、静止画処理におけるそれぞれのブロックの処理を、ライブビュー処理を行っていない期間、すなわち、ライブビュー処理の隙間で行うことができる。そして、本第１の実施形態の画像処理装置１では、途中のブロックまで静止画処理を終了した段階で、次のブロックの静止画処理を中断してライブビュー処理を行った場合でも、続きのブロックから静止画処理を容易に再開することができる。このことにより、本第１の実施形態の画像処理装置１を搭載した撮像装置では、ライブビュー機能によって各フレームのライブビュー画像を表示デバイスに表示している途中で静止画像を撮影した場合でも、静止画撮影後のライブビュー画像の表示を早く復帰（再開）させることができ、シャッターチャンスを逃すことなく、次の静止画像の撮影を行うことができる。

なお、本第１の実施形態の画像処理装置１では、糊代制御部２０内に糊代保存部２２１と糊代保存部２２２との２つの糊代保存部を備えた場合について説明したが、糊代制御部２０内に備える糊代保存部は、本第１の実施形態の構成のみに限定されるものではなく、糊代制御部２０内に、さらに多くの糊代保存部を備えた構成であっても、同様に考えることができる。

＜第２の実施形態＞
次に、本発明の画像処理装置の第２の実施形態について説明する。図１０は、本第２の実施形態における画像処理装置の概略構成を示したブロック図である。図１０に示した画像処理装置２は、画像処理部３０と、糊代制御部４０と、を備えている。画像処理装置２は、第１の実施形態の画像処理装置１と同様に、入力された入力画像データに対して、予め定められた種々の画像処理を行い、画像処理した後の出力画像データを出力する。また、画像処理装置２でも、第１の実施形態の画像処理装置１と同様に、１フレームの画像を複数のブロックに分割し、分割したブロック毎に画像処理を行う。そして、画像処理装置２は、第１の実施形態の画像処理装置１と同様に、ノイズ除去処理やローパスフィルタ処理などの空間フィルタ処理を行う際に、画像処理を行うブロックの画像データに加えて、空間フィルタ処理に必要な糊代領域の画像データも使用して画像処理を行う。以下の説明においても、画像処理装置２が空間フィルタ処理を行う画像処理装置であるものとして説明する。

画像処理部３０は、画像処理装置２に入力された入力画像データに対して、空間フィルタ処理を行う画像処理部である。画像処理部３０は、第１の実施形態の画像処理装置１に備えた画像処理部１０と同様に、ライブビュー画像を生成するためのライブビュー処理および静止画像を生成するための静止画処理を行い、空間フィルタ処理を行った後の画像データを、画像処理装置２が空間フィルタ処理を行った出力画像データとして出力する。画像処理部３０による空間フィルタ処理では、第１の実施形態の画像処理装置１に備えた画像処理部１０と同様に、入力された入力画像データと、糊代制御部４０から入力された糊代データとを併せた状態でブロック毎の処理を行う。ただし、画像処理部３０は、糊代制御部４０から入力された切り替え信号に応じて、ブロックの処理を行う際に入力画像データと併せて処理する糊代データを切り替える。また、画像処理部３０は、第１の実施形態の画像処理装置１に備えた画像処理部１０と同様に、空間フィルタ処理の開始および終了を表す信号（画像処理開始信号および画像処理終了信号）や、空間フィルタ処理の状態を表す情報を、糊代制御部４０に出力する。なお、以下の説明においては、画像処理部３０が、第１の実施形態の画像処理装置１に備えた画像処理部１０と同様の動作を行う場合には、その動作に関する詳細な説明は省略する。

糊代制御部４０は、第１の実施形態の画像処理装置１に備えた糊代制御部２０と同様に、画像処理部３０が空間フィルタ処理を行う際に使用する糊代データを一時的に格納し、格納した糊代データを、画像処理部３０に出力する。また、糊代制御部４０は、画像処理部３０が空間フィルタ処理に用いる糊代データを切り替えるための切り替え信号を、画像処理部３０に出力する。糊代制御部４０は、糊代保存部４１０と、シーケンサ４２０と、を備えている。

糊代保存部４１０は、画像処理装置２に入力された入力画像データの中から、画像処理部３０が空間フィルタ処理を行う際に使用する糊代領域の画像データを糊代データとして一時記憶（保存）する、例えば、ＳＲＡＭなどで構成された記憶部である。糊代保存部４１０は、画像処理部３０がライブビュー処理を行う１つのブロックにおいて必要となる糊代データと、画像処理部３０が静止画処理を行う１つのブロックにおいて必要となる糊代データとの両方を保存することができる記憶容量を持っている。そして、糊代保存部４１０の記憶領域は、画像処理部３０がライブビュー処理に使用する糊代データを保存する領域（以下、「ライブビュー表示用領域」という）と、静止画処理に使用する糊代データを保存する領域（以下、「静止画記録用領域」という）とに動的に分けられる。以下の説明においては、糊代保存部４１０内で記憶領域が分けられているそれぞれの糊代データの保存領域に符号を付与し、ライブビュー表示用領域４１１、静止画記録用領域４１２として説明する。糊代保存部４１０は、ライブビュー表示用領域４１１および静止画記録用領域４１２に保存されているそれぞれの糊代データを、画像処理部３０に出力する。

シーケンサ４２０は、画像処理部３０から入力された画像処理開始信号および画像処理終了信号に基づいて、画像処理部３０が空間フィルタ処理を行う際の処理時間を算出する。そして、シーケンサ４２０は、算出した画像処理部３０によるそれぞれの処理時間に基づいて、ライブビュー表示用領域４１１と静止画記録用領域４１２とのそれぞれの保存領域の大きさ、つまり、糊代保存部４１０の記憶容量を動的に分割するための分割幅を設定する。また、シーケンサ４２０は、算出した画像処理部３０によるそれぞれの処理時間と、空間フィルタ処理の状態を表す情報とに基づいて、画像処理装置２に入力された入力画像データを糊代データとして保存する領域（ライブビュー表示用領域４１１または静止画記録用領域４１２）を切り替える。なお、シーケンサ４２０の構成、シーケンサ４２０によるそれぞれの保存領域の大きさの決定方法、およびシーケンサ４２０による糊代データの保存先の保存領域の切り替え方法に関する詳細な説明は、後述する。

次に、本第２の実施形態の画像処理装置２が画像処理を行う際に設定する糊代保存部４１０の分割幅設定について説明する。図１１は、本第２の実施形態の画像処理装置２に備えたシーケンサ４２０が設定する糊代データの保存領域を説明する図である。図１１（ａ）には、画像処理装置２がライブビュー画像を生成する画像処理を行う場合において糊代保存部４１０を分けた一例を模式的に示し、図１１（ｂ）には、画像処理装置２がライブビュー画像を生成する画像処理と、静止画像を生成する画像処理とを行う場合において糊代保存部４１０を分けた一例を模式的に示している。

画像処理部３０がライブビュー処理のみを行う場合、シーケンサ４２０は、図１１（ａ）に示したように、糊代保存部４１０の全ての保存領域をライブビュー表示用領域４１１として割り当てるように分割幅設定を行う。これにより、糊代制御部４０は、ライブビュー撮影によってイメージセンサから取り込んだ１つのフレームの画像データを、より大きなブロックに分割した場合でも、ライブビュー処理に使用する糊代データをライブビュー表示用領域４１１に保存することができる。このことにより、画像処理部３０は、少ないブロック数でライブビュー処理を行うことができる。

また、画像処理部３０がライブビュー処理と静止画処理とを行う場合、シーケンサ４２０は、図１１（ｂ）に示したように、糊代保存部４１０の保存領域を２つに分割し、分割した一方の保存領域をライブビュー表示用領域４１１とし、他方の保存領域を静止画記録用領域４１２として割り当てるように分割幅設定を行う。これにより、糊代制御部４０は、ライブビュー撮影によってイメージセンサから取り込んだ１つのフレームの画像データに対するライブビュー処理に使用する糊代データをライブビュー表示用領域４１１に、静止画撮影によってイメージセンサから取り込んだ１つのフレームの画像データに対する静止画処理に使用する糊代データを静止画記録用領域４１２に、それぞれ保存することができる。このことにより、画像処理部３０は、静止画処理を途中で中断してライブビュー処理を行った場合でも、容易に続きのブロックから静止画処理を再開することができる。

なお、画像処理部３０が行うライブビュー処理と静止画処理との動作は、第１の実施形態の画像処理装置１における糊代保存部２２１をライブビュー表示用領域４１１に置き換え、糊代保存部２２２を静止画記録用領域４１２に置き換えて考えることができる。従って、画像処理部３０が行うライブビュー処理と静止画処理との動作に関する詳細な説明は省略する。

ここで、シーケンサ４２０が糊代保存部４１０の記憶領域を分割するライブビュー表示用領域４１１と静止画記録用領域４１２との大きさの決定方法について説明する。図１２は、本第２の実施形態の画像処理装置２に備えたシーケンサ４２０が設定する糊代データの保存領域の大きさの一例を説明する図である。なお、図１２には、糊代保存部４１０の記憶容量が４８０ｗｏｒｄである場合の一例を示している。

上述したように、シーケンサ４２０は、算出した画像処理部３０によるそれぞれの処理時間に基づいて、ライブビュー表示用領域４１１と静止画記録用領域４１２とのそれぞれの記憶容量を動的に分割する。より具体的には、シーケンサ４２０は、画像処理部３０が行ったライブビュー処理のライブビュー処理間隔およびライブビュー処理時間に基づいて、ライブビュー表示用領域４１１と静止画記録用領域４１２とのそれぞれの記憶容量を動的に分割する。

シーケンサ４２０は、算出したライブビュー処理間隔とライブビュー処理時間とを比較し、画像処理部３０が行うライブビュー処理のライブビュー処理時間が、ライブビュー処理間隔に対して十分余裕がある場合には、ライブビュー表示用領域４１１を小さくし、静止画記録用領域４１２を大きくするように分割幅を設定する。図１２（ａ）には、ライブビュー表示用領域４１１を２００ｗｏｒｄに設定し、静止画記録用領域４１２を２８０ｗｏｒｄに設定した場合の一例を示している。

また、シーケンサ４２０は、算出したライブビュー処理間隔とライブビュー処理時間とを比較し、画像処理部３０が行うライブビュー処理のライブビュー処理時間が、ライブビュー処理間隔に対して余裕がある場合には、ライブビュー表示用領域４１１と静止画記録用領域４１２とが同等の大きさになるように分割幅を設定する。図１２（ｂ）には、ライブビュー表示用領域４１１を２４０ｗｏｒｄに設定し、静止画記録用領域４１２を２４０ｗｏｒｄに設定、すなわち、糊代保存部４１０の記憶領域を２等分する設定にした場合の一例を示している。

また、シーケンサ４２０は、算出したライブビュー処理間隔とライブビュー処理時間とを比較し、画像処理部３０が行うライブビュー処理のライブビュー処理時間が、ライブビュー処理間隔に対して余裕が少ない場合には、ライブビュー表示用領域４１１を大きくし、静止画記録用領域４１２を小さくするように分割幅を設定する。図１２（ｃ）には、ライブビュー表示用領域４１１を２８０ｗｏｒｄに設定し、静止画記録用領域４１２を２００ｗｏｒｄに設定した場合の一例を示している。

このように、算出したライブビュー処理間隔とライブビュー処理時間とに基づいてシーケンサ４２０が糊代保存部４１０を分割する分割幅を設定することによって、画像処理部３０によるライブビュー処理を確実に行いながら、すなわち、撮像装置に備えた表示デバイスへのライブビュー機能によるライブビュー画像の表示を確保しながら、ライブビュー処理を行っていない期間での画像処理部３０による静止画処理を行うことができる。

なお、シーケンサ４２０によってライブビュー処理間隔に対するライブビュー処理時間の余裕を判定する方法は、例えば、予めライブビュー処理時間の閾値をいくつか決めておき、予め定めたそれぞれの閾値とライブビュー処理時間とを比較することによって判定するなどの方法が考えられる。しかし、ライブビュー処理間隔に対するライブビュー処理時間の余裕を判定する方法については、何ら限定しない。

次に、本第２の実施形態の画像処理装置２に備えたシーケンサ４２０の構成と動作について説明する。図１３は、本第２の実施形態の画像処理装置２に備えたシーケンサ４２０の概略構成を示したブロック図である。図１３に示したシーケンサ４２０は、ライブビュー処理時間算出部２４１と、静止画ブロック処理時間算出部２４２と、処理ブロックサイズ決定部２４３と、処理切り替え判定部２４４と、静止画処理完了判定部４２１と、分割幅決定部４２２と、を備えている。

なお、シーケンサ４２０は、第１の実施形態の画像処理装置１に備えた糊代制御部２０内のシーケンサ２４０に、静止画処理完了判定部４２１と分割幅決定部４２２とが追加された構成であり、その他の構成要素は、第１の実施形態のシーケンサ２４０の構成要素と同様である。ただし、静止画ブロック処理時間算出部２４２は、算出した処理時間マージンおよびブロック処理時間の情報を、処理ブロックサイズ決定部２４３と処理切り替え判定部２４４とに加えて、分割幅決定部４２２にも逐次出力する。従って、第１の実施形態の画像処理装置１のシーケンサ２４０の構成要素と同一の符号を付与し、動作に関する詳細な説明は省略する。

静止画処理完了判定部４２１は、画像処理部３０から入力された静止画処理が完了したことを表す割り込み信号に基づいて、静止画撮影によってイメージセンサから取り込んだ１つのフレームに含まれる全てのブロックに対する静止画処理が完了したか否かを判定する。そして、静止画処理完了判定部４２１は、判定した結果を表す判定信号を、分割幅決定部４２２に出力する。

分割幅決定部４２２は、静止画処理完了判定部４２１から入力された判定信号と、静止画ブロック処理時間算出部２４２から入力された処理時間マージンおよびブロック処理時間の情報に基づいて、糊代保存部４１０の記憶容量をライブビュー表示用領域４１１と静止画記録用領域４１２とに分割するための分割幅を決定する。そして、分割幅決定部４２２は、決定した分割幅の設定を、糊代保存部４１０に対して行う。

このような構成によって、シーケンサ４２０は、画像処理部３０が行う空間フィルタ処理の状態に応じて、ライブビュー処理に使用する糊代データを保存するライブビュー表示用領域４１１と、静止画処理に使用する糊代データを保存する静止画記録用領域４１２の切り換えを行う。これにより、本第２の実施形態の画像処理装置２では、第１の実施形態の画像処理装置１と同様に、静止画処理を途中で中断してライブビュー処理を行った場合でも、容易に続きのブロックから静止画処理を再開することができる。

なお、静止画処理完了判定部４２１は、画像処理部３０から入力された１つのブロックの静止画処理が終了したことを表す割り込み信号に基づいて、静止画撮影によってイメージセンサから取り込んだ１つのフレームにおける垂直方向（縦方向）のブロックに対する静止画処理が完了したか否かを判定する構成であってもよい。この場合には、例えば、図１４に示したように、静止画撮影によってイメージセンサから取り込んだ１つのフレームにおいて、水平方向（横方向）に隣接するブロックで異なる幅の静止画記録用領域４１２を分割幅決定部４２２によって設定することができる。これにより、画像処理部３０は、１つのフレームを分割したブロックの大きさをより大きくした状態で静止画処理を行うことができる。そして、画像処理部３０による静止画処理を少ないブロック数で行うことができ、より早く静止画処理を完了させることができるようになる。なお、１つのフレームにおいて垂直方向（縦方向）に隣接したブロックは、同じ幅の静止画記録用領域４１２を設定する。これは、垂直方向（縦方向）に隣接したブロックで異なる幅の静止画記録用領域４１２を設定してしまうと、ブロックの区切りの位置が異なってしまうためである。

次に、本第２の実施形態の画像処理装置２が画像処理を行う際の手順について説明する。図１５は、本第２の実施形態の画像処理装置２が画像処理を行う動作の手順を示したフローチャートである。なお、画像処理装置２は、画像処理装置１と同様に、ライブビュー処理において、静止画処理と同様に、ライブビュー撮影によってイメージセンサから取り込んだ１つのフレームの画像を複数のブロックに分割し、分割したそれぞれのブロック毎にライブビュー処理を行う。しかし、画像処理装置２も、画像処理装置１と同様に、ライブビュー処理では、１つのフレームの画像に対するライブビュー処理を行っている途中に静止画処理を行うことはなく、すなわち、１つのフレームの画像に対するライブビュー処理が完了するまで処理を中断することはなく、１つのフレームに含まれる全てのブロックに対するライブビュー処理を行う。図１５に示した画像処理装置２が画像処理を行うフローチャートの説明においては、図８に示した第１の実施形態の画像処理装置１におけるフローチャートの説明と同様に、画像処理装置２が静止画処理を行うときのみ、１つのフレームの画像を複数のブロックに分割して処理し、ライブビュー処理を行うときには、１つのフレームの画像を１つのブロックとして処理するものとして説明する。

画像処理装置２を搭載した撮像装置の動作が開始されると、まず、ステップＳ３００において、分割幅決定部４２２は、糊代保存部４１０の全ての保存領域をライブビュー表示用領域４１１として割り当てるように分割幅を決定し、決定した分割幅の設定を糊代保存部４１０に対して行う。また、処理切り替え判定部２４４は、ライブビュー表示用領域４１１の糊代データをライブビュー処理に使用することを表す切り替え信号を、画像処理部３０に出力する。

続いて、ステップＳ３１０において、画像処理部３０は、ライブビュー撮影によってイメージセンサから取り込んだ１つのフレームの画像データに対するライブビュー処理を行う。これにより、撮像装置に備えた表示デバイスに、ライブビュー画像を表示することができる。

続いて、ステップＳ３２０において、ライブビュー処理時間算出部２４１は、ステップＳ３１０において画像処理部３０が行ったライブビュー処理のライブビュー処理間隔およびライブビュー処理時間のそれぞれを算出する（図４参照）。

続いて、ステップＳ３３０において、画像処理装置２は、撮像装置において静止画撮影がされたか否かを確認する。ステップＳ３３０の確認において、静止画撮影がされていない場合（ステップＳ３３０の“ＮＯ”）には、ステップＳ３１０に戻って、ライブビュー撮影によってイメージセンサから取り込んだ次の１つのフレームの画像データに対する画像処理部３０によるライブビュー処理と、ライブビュー処理時間算出部２４１によるライブビュー処理の処理時間の算出とを繰り返す。

なお、画像処理装置２においても、ステップＳ３１０とステップＳ３２０の処理を繰り返している間の動作は、第１の実施形態の画像処理装置１と同様である。つまり、ライブビュー処理時間算出部２４１が、今までに画像処理部３０が行ったライブビュー処理のライブビュー処理間隔およびライブビュー処理時間の情報を更新し、静止画ブロック処理時間算出部２４２が、更新されたライブビュー処理間隔およびライブビュー処理時間の情報に基づいて処理時間マージンを算出（図５参照）して、処理時間マージンの情報を更新する。また、処理ブロックサイズ決定部２４３は、更新された処理時間マージンおよび現在のブロック処理時間の情報に基づいて、静止画処理する際の処理ブロックサイズを決定し、静止画ブロック処理時間算出部２４２は、更新された処理ブロックサイズに基づいてブロック処理時間を算出して、ブロック処理時間の情報を更新する。

また、ステップＳ３３０の確認において、静止画撮影がされた場合（ステップＳ３３０の“ＹＥＳ”）には、ステップＳ４００において、分割幅決定部４２２は、糊代保存部４１０の保存領域をライブビュー表示用領域４１１と静止画記録用領域４１２との２つに分割して割り当てるように分割幅を決定し、決定した分割幅の設定を糊代保存部４１０に対して行う。

続いて、ステップＳ４１０において、処理ブロックサイズ決定部２４３は、現在の処理時間マージンおよび現在のブロック処理時間の情報に基づいて、静止画処理する際の処理ブロックサイズを決定する。

続いて、ステップＳ４２０において、静止画ブロック処理時間算出部２４２は、現在の処理ブロックサイズに基づいて、ブロック処理時間を算出する。また、ステップＳ４３０において、静止画ブロック処理時間算出部２４２は、現在のライブビュー処理間隔およびライブビュー処理時間の情報に基づいて、処理時間マージンを算出（図５参照）する。

続いて、ステップＳ４４０において、処理切り替え判定部２４４は、処理時間マージンとブロック処理時間とを比較し、静止画処理を行うことができるか否かを判定する。ステップＳ４４０の判定の結果、静止画処理を行うことができない場合（ステップＳ４４０の“ＮＯ”）には、ステップＳ４５０において、処理切り替え判定部２４４は、ライブビュー表示用領域４１１の糊代データをライブビュー処理に使用することを表す切り替え信号を、画像処理部３０に出力する。そして、画像処理部３０は、糊代保存部４１０から入力された糊代データの内、ライブビュー表示用領域４１１に保存された糊代データを使用して、ライブビュー撮影によってイメージセンサから取り込んだ次の１つのフレームの画像データに対するライブビュー処理を行う。これにより、撮像装置に備えた表示デバイスに、次のライブビュー画像を表示することができる。そして、ステップＳ４１０に戻る。

また、ステップＳ４４０の判定の結果、静止画処理を行うことができる場合（ステップＳ４４０の“ＹＥＳ”）には、ステップＳ４６０において、処理切り替え判定部２４４は、静止画記録用領域４１２の糊代データを静止画処理に使用することを表す切り替え信号を、画像処理部３０に出力する。そして、画像処理部３０は、糊代保存部４１０から入力された糊代データの内、静止画記録用領域４１２に保存された糊代データを使用して、静止画撮影によってイメージセンサから取り込んだ１つのフレームの１番目のブロックの画像データに対する静止画処理を行う。

続いて、ステップＳ４７０において、処理切り替え判定部２４４は、静止画撮影によってイメージセンサから取り込んだ１つのフレームに含まれる全てのブロックの画像データに対する静止画処理が、画像処理部３０によって完了したか否かを確認する。ステップＳ４７０の確認の結果、全てのブロックに対する静止画処理が完了していない場合（ステップＳ４７０の“ＮＯ”）には、ステップＳ４３０に戻って、処理切り替え判定部２４４は、新たな処理時間マージン算出（図６および図７参照）する。そして、ステップＳ４４０における静止画処理を行うことができるか否かの判定に応じた動作を繰り返す。

また、ステップＳ４７０の確認の結果、全てのブロックに対する静止画処理が完了している場合（ステップＳ４７０の“ＹＥＳ”）には、ステップＳ３００に戻って、分割幅決定部４２２は、糊代保存部４１０の全ての保存領域をライブビュー表示用領域４１１として割り当てるように分割幅を決定し、決定した分割幅の設定を糊代保存部４１０に対して行う。また、処理切り替え判定部２４４は、ライブビュー表示用領域４１１の糊代データをライブビュー処理に使用することを表す切り替え信号を、画像処理部３０に出力する。そして、ステップＳ３１０において、画像処理部３０は、ライブビュー撮影によってイメージセンサから取り込んだ次の１つのフレームの画像データに対するライブビュー処理を行う。これにより、撮像装置に備えた表示デバイスに、次のライブビュー画像を表示することができる。

このような画像処理装置２による画像処理の動作手順によって、画像処理装置２を搭載した撮像装置では、第１の実施形態の画像処理装置１を搭載した撮像装置と同様に、静止画撮影によってイメージセンサから取り込んだ１つのフレームのそれぞれのブロックの静止画処理を、ライブビュー処理を行っていない処理時間マージンの期間中に行うことができる（図９参照）。これにより、画像処理装置２を搭載した撮像装置でも、第１の実施形態の画像処理装置１を搭載した撮像装置と同様に、全てのブロックの画像データに対する静止画処理が完了していない状態であっても、撮像装置に備えた表示デバイスへのライブビュー画像の表示を早く復帰（再開）させることができる。

上記に述べたように、本第２の実施形態の画像処理装置２では、ライブビュー処理に使用する糊代データと、静止画処理に使用する糊代データとを、ライブビュー表示用領域４１１と静止画記録用領域４１２とのそれぞれに分けて保存している。そして、シーケンサ４２０は、画像処理部３０が行う空間フィルタ処理の状態に応じて、空間フィルタ処理に使用する糊代データを、ライブビュー表示用領域４１１に保存した糊代データまたは静止画記録用領域４１２に保存した糊代データのいずれかに切り換えさせる。これにより、本第２の実施形態の画像処理装置２でも、第１の実施形態の画像処理装置１と同様に、静止画処理におけるそれぞれのブロックの処理を、ライブビュー処理を行っていない期間、すなわち、ライブビュー処理の隙間で行うことができる。そして、本第２の実施形態の画像処理装置２でも、第１の実施形態の画像処理装置１と同様に、途中のブロックまで静止画処理を終了した段階で、次のブロックの静止画処理を中断してライブビュー処理を行った場合でも、続きのブロックから静止画処理を容易に再開することができる。このことにより、本第２の実施形態の画像処理装置２を搭載した撮像装置でも、第１の実施形態の画像処理装置１を搭載した撮像装置と同様に、ライブビュー機能によって各フレームのライブビュー画像を表示デバイスに表示している途中で静止画像を撮影した場合でも、静止画撮影後のライブビュー画像の表示を早く復帰（再開）させることができ、シャッターチャンスを逃すことなく、次の静止画像の撮影を行うことができる。

また、本第２の実施形態の画像処理装置２では、糊代保存部４１０の記憶容量を動的に分割し、ライブビュー表示用領域４１１と静止画記録用領域４１２とのそれぞれの保存領域の大きさを動的に変更する。これにより、本第２の実施形態の画像処理装置２では、糊代データを保存する糊代保存部の個数を増加させることなく、糊代保存部をライブビュー処理用と静止画処理用とで別個に設けたのと同様の動作をさせることができる。

上記に述べたとおり、本発明を実施するための形態によれば、ライブビュー処理に使用する糊代データと、静止画処理に使用する糊代データとをそれぞれ分けて保存し、画像処理部による画像処理の状態に応じて、ライブビュー処理に使用する糊代データと、静止画処理に使用する糊代データとを排他的に使用するように、糊代データを切り替える。これにより、本発明を実施するための形態の画像処理装置を搭載した撮像装置では、画像処理を行う際に必要となる糊代領域のデータも使用した画像処理を行うことができ、画像処理のスループットを落とすことなく静止画像を生成することができる。

また、本発明を実施するための形態によれば、ライブビュー処理と静止画処理とを交互に行った場合でも、それぞれの処理において使用する糊代データが上書きされて消えてしまうことなく保存されるため、ライブビュー処理および静止画処理のそれぞれの処理効率を低下させることなく、処理を切り替えることができる。このため、本発明を実施するための形態の画像処理装置を搭載した撮像装置では、途中のブロックまで静止画処理を終了した段階で、次のブロックの静止画処理を中断してライブビュー処理を行った場合でも、続きのブロックから静止画処理を容易に再開することができる。これにより、本発明を実施するための形態の画像処理装置を搭載した撮像装置では、ライブビュー機能によって各フレームのライブビュー画像を表示デバイスに表示している途中で静止画像を撮影した場合でも、静止画像を撮影した後のライブビュー画像の表示を早いタイミングで復帰（再開）させることができる。このことにより、本発明を実施するための形態の画像処理装置を搭載した撮像装置では、シャッターチャンスを逃すことなく、次の静止画像の撮影を行うことができる撮像装置を実現することができる。

また、本発明を実施するための形態によれば、ライブビュー画像を生成するための画像処理と、静止画像を生成するための画像処理とを、１つの画像処理装置で行うことができる。これにより、本発明を実施するための形態の画像処理装置を搭載した撮像装置では、回路規模や消費電力が増大することなく、ライブビュー画像と静止画像とを生成することができる。

なお、本実施形態においては、画像処理装置が行う画像処理が、空間フィルタ処理である場合について説明したが、画像処理装置が行う画像処理は、本発明を実施するための形態に限定されるものではなく、糊代データを使用して行う画像処理であれば、いかなる画像処理であっても、本発明の考え方を適用することができる。

また、本実施形態においては、画像処理装置が行う画像処理が、ライブビュー処理と静止画処理である場合について説明したが、画像処理装置が行う画像処理は、本発明を実施するための形態に限定されるものではない。例えば、動画像を生成する動画処理など、画像処理装置が行うことが考えられる各種の画像処理モードと、ライブビュー処理とを組み合わせて画像処理を行う場合であってもよい。

また、本実施形態においては、シーケンサを糊代制御部内に備える構成の場合について説明したが、シーケンサを備える位置は、本発明を実施するための形態に限定されるものではない。例えば、図１に示した画像処理装置１において、シーケンサ２４０を糊代制御部２０の外に備える、つまり、画像処理装置１に、画像処理部１０と、糊代制御部２０と、シーケンサ２４０とを備える構成であってもよい。

以上、本発明の実施形態について、図面を参照して説明してきたが、具体的な構成はこの実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲においての種々の変更も含まれる。

１，２・・・画像処理装置
１０，３０・・・画像処理部
２０，４０・・・糊代制御部
２１０・・・入力選択部（糊代制御部，糊代保存部）
２２１・・・糊代保存部（糊代制御部，糊代保存部，第１の糊代保存部）
２２２・・・糊代保存部（糊代制御部，糊代保存部，第２の糊代保存部）
２３０・・・出力選択部（糊代制御部，糊代保存部）
２４０・・・シーケンサ（糊代制御部，シーケンサ）
２４１・・・ライブビュー処理時間算出部（糊代制御部，シーケンサ，第１の処理時間算出部）
２４２・・・静止画ブロック処理時間算出部（糊代制御部，シーケンサ，第２の処理時間算出部）
２４３・・・処理ブロックサイズ決定部（糊代制御部，シーケンサ，処理ブロックサイズ決定部）
２４４・・・処理切り替え判定部（糊代制御部，シーケンサ，処理切り替え判定部）
４１０・・・糊代保存部（糊代制御部，糊代保存部）
４１１・・・ライブビュー表示用領域（糊代保存部，第１の記憶領域）
４１２・・・静止画記録用領域（糊代保存部，第２の記憶領域）
４２０・・・シーケンサ（糊代制御部，シーケンサ）
４２１・・・静止画処理完了判定部（糊代制御部，シーケンサ，画像処理完了判定部）
４２２・・・分割幅決定部（糊代制御部，シーケンサ，分割幅決定部）

Claims

複数のフレームの画像が入力され、入力されたそれぞれの前記フレームの画像を、前記フレームの画像毎に複数のブロックに分割し、該分割したブロック毎に予め定めた画像処理を行って、それぞれの前記フレームに対応した画像を生成する画像処理部と、
それぞれの前記フレームの画像内で前記ブロックの領域が互いに重複している糊代領域に含まれる画像データを糊代データとして保存する際に、前記画像処理部がそれぞれの前記フレームに対応した画像を生成するための複数の画像処理のそれぞれで使用する糊代データを、それぞれの画像処理に対応する前記糊代データ毎にそれぞれ分けて保存し、前記画像処理部がそれぞれの画像処理を行う際に使用する糊代データを、前記画像処理部が行うそれぞれの画像処理の処理時間と、前記画像処理部から入力された空間フィルタ処理の状態を表す情報とに基づいて切り替える糊代制御部と、
を備えることを特徴とする画像処理装置。
前記糊代制御部は、
前記画像処理部がそれぞれの前記フレームの画像に対応した第１の画像を生成するための第１の画像処理で使用する第１の糊代データと、前記画像処理部がそれぞれの前記フレームの画像に対応した第２の画像を生成するための第２の画像処理で使用する第２の糊代データとをそれぞれ分けて保存し、前記画像処理部がそれぞれの画像処理を行う際に使用する糊代データを、前記第１の糊代データまたは前記第２の糊代データのいずれか一方に切り替える、
ことを特徴とする請求項１に記載の画像処理装置。
前記糊代制御部は、
前記第１の糊代データを保存する第１の糊代保存部と、
前記第２の糊代データを保存する第２の糊代保存部と、
前記糊代データの保存先を第１の糊代保存部または第２の糊代保存部のいずれか一方に切り替え、前記画像処理部に出力する前記糊代データの出力元を第１の糊代保存部または第２の糊代保存部のいずれか一方に切り替えるシーケンサと、
を備え、
前記シーケンサは、
前記画像処理部が前記第１の画像処理を行う際に、前記糊代データの保存先および出力元を前記第１の糊代保存部に切り替え、
前記画像処理部が前記第２の画像処理を行う際に、前記糊代データの保存先および出力元を前記第２の糊代保存部に切り替える、
ことを特徴とする請求項２に記載の画像処理装置。
前記シーケンサは、
前記画像処理部が、それぞれの前記フレームの画像に対して前記第１の画像処理を行う間隔である画像処理間隔と、１つの前記フレームの画像に対して前記第１の画像処理を行っている時間である画像処理時間とを算出する第１の処理時間算出部と、
前記画像処理間隔と前記画像処理時間とに基づいて、前記画像処理部が前記第２の画像処理を行うことができる時間である画像処理時間マージンを算出し、さらに、１つの前記フレームの画像において分割された１つのブロックに対して前記第２の画像処理を行っている時間であるブロック処理時間を算出する第２の処理時間算出部と、
前記画像処理時間マージンと前記ブロック処理時間とに基づいて、該画像処理時間マージン内で、前記画像処理部が少なくとも１つの前記ブロックに対して前記第２の画像処理を行うことができる前記ブロックの大きさを決定する処理ブロックサイズ決定部と、
前記画像処理時間マージンと、前記ブロック処理時間と、前記画像処理部による前記第２の画像処理の状態を表す情報とに基づいて、前記糊代データの保存先および出力元を切り替える処理切り替え判定部と、
を備えることを特徴とする請求項３に記載の画像処理装置。
前記糊代制御部は、
前記第１の糊代データおよび前記第２の糊代データを、異なる記憶領域に分けて保存する糊代保存部と、
前記糊代保存部の前記記憶領域を、前記第１の糊代データを保存する第１の記憶領域と、前記第２の糊代データを保存する第２の記憶領域とに分割し、前記画像処理部が画像処理を行う際に使用する前記糊代データの切り替えを制御するシーケンサと、
を備え、
前記シーケンサは、
前記画像処理部が行うそれぞれの画像処理の処理時間に応じて、前記糊代保存部内の前記第１の記憶領域と前記第２の記憶領域との大きさを動的に決定し、該決定したそれぞれの記憶領域の大きさに基づいて、前記第１の記憶領域と前記第２の記憶領域とに分割し、
前記画像処理部が前記第１の画像処理を行う際に、前記第１の記憶領域に保存した前記第１の糊代データを使用し、前記画像処理部が前記第２の画像処理を行う際に、前記第２の記憶領域に保存した前記第２の糊代データを使用するように、前記糊代データの切り替えを制御する、
ことを特徴とする請求項２に記載の画像処理装置。
前記シーケンサは、
前記画像処理部が、それぞれの前記フレームの画像に対して前記第１の画像処理を行う間隔である画像処理間隔と、１つの前記フレームの画像に対して前記第１の画像処理を行っている時間である画像処理時間とを算出する第１の処理時間算出部と、
前記画像処理間隔と前記画像処理時間とに基づいて、前記画像処理部が前記第２の画像処理を行うことができる時間である画像処理時間マージンを算出し、さらに、１つの前記フレームの画像において分割された１つのブロックに対して前記第２の画像処理を行っている時間であるブロック処理時間を算出する第２の処理時間算出部と、
前記画像処理時間マージンと前記ブロック処理時間とに基づいて、該画像処理時間マージン内で、前記画像処理部が少なくとも１つの前記ブロックに対して前記第２の画像処理を行うことができる前記ブロックの大きさを決定する処理ブロックサイズ決定部と、
前記画像処理時間マージンと、前記ブロック処理時間と、前記画像処理部による前記第２の画像処理の状態を表す情報とに基づいて、前記画像処理部が画像処理を行う際に使用する前記糊代データの切り替えを制御する処理切り替え判定部と、
前記画像処理時間マージンと、前記ブロック処理時間と、前記画像処理部による前記第２の画像処理の状態を表す情報とに基づいて、１つのフレームの画像に対する前記第２の画像処理の完了を判定する画像処理完了判定部と、
前記画像処理完了判定部による前記第２の画像処理の完了の判定結果と、前記画像処理時間マージンと、前記ブロック処理時間とに基づいて、前記糊代保存部の前記記憶領域を、前記第１の記憶領域と前記第２の記憶領域とに分割する分割幅を決定する分割幅決定部と、
を備えることを特徴とする請求項５に記載の画像処理装置。
前記第１の画像処理は、
入力されたそれぞれの前記フレームの画像データに応じた動画像を表示装置に表示するための画像データを生成する動画表示用の画像処理であり、
前記第２の画像処理は、
入力された前記フレームの画像データに応じた静止画像を記録するための画像データを生成する静止画記録用の画像処理である、
ことを特徴とする請求項２から請求項６のいずれか１の項に記載の画像処理装置。
前記第１の画像処理および前記第２の画像処理のそれぞれは、
入力されたそれぞれの前記フレームの画像データに対する空間フィルタ処理である、
ことを特徴とする請求項２から請求項７のいずれか１の項に記載の画像処理装置。
複数のフレームの画像が入力され、入力されたそれぞれの前記フレームの画像を、前記フレームの画像毎に複数のブロックに分割し、該分割したブロック毎に予め定めた画像処理を行って、それぞれの前記フレームに対応した画像を生成する画像処理部と、
それぞれの前記フレームの画像内で前記ブロックの領域が互いに重複している糊代領域に含まれる画像データを糊代データとし、前記画像処理部がそれぞれの前記フレームに対応した画像を生成するための複数の画像処理のそれぞれで使用する糊代データを、それぞれの画像処理に対応する糊代データ毎にそれぞれ分けて保存する糊代保存部と、
前記画像処理部がそれぞれの画像処理を行う際に使用する糊代データを、前記画像処理部が行うそれぞれの画像処理の処理時間と、前記画像処理部から入力された空間フィルタ処理の状態を表す情報とに基づいて切り替えるシーケンサと、
を備えることを特徴とする画像処理装置。
前記糊代保存部は、
前記画像処理部がそれぞれの前記フレームの画像に対応した第１の画像を生成するための第１の画像処理で使用する第１の糊代データと、前記画像処理部がそれぞれの前記フレームの画像に対応した第２の画像を生成するための第２の画像処理で使用する第２の糊代データとをそれぞれ分けて保存し、
前記シーケンサは、
前記画像処理部がそれぞれの画像処理を行う際に該画像処理部に出力する、前記糊代保存部に保存された糊代データを、前記第１の糊代データまたは前記第２の糊代データのいずれか一方に切り替える、
ことを特徴とする請求項９に記載の画像処理装置。
前記糊代保存部は、
前記第１の糊代データを保存する第１の糊代保存部と、
前記第２の糊代データを保存する第２の糊代保存部と、
を備え、
前記シーケンサは、
前記画像処理部が前記第１の画像処理を行う際に、前記糊代データの保存先および出力元を前記第１の糊代保存部に切り替え、
前記画像処理部が前記第２の画像処理を行う際に、前記糊代データの保存先および出力元を前記第２の糊代保存部に切り替える、
ことを特徴とする請求項１０に記載の画像処理装置。
前記シーケンサは、
前記画像処理部が、それぞれの前記フレームの画像に対して前記第１の画像処理を行う間隔である画像処理間隔と、１つの前記フレームの画像に対して前記第１の画像処理を行っている時間である画像処理時間とを算出する第１の処理時間算出部と、
前記画像処理間隔と前記画像処理時間とに基づいて、前記画像処理部が前記第２の画像処理を行うことができる時間である画像処理時間マージンを算出し、さらに、１つの前記フレームの画像において分割された１つのブロックに対して前記第２の画像処理を行っている時間であるブロック処理時間を算出する第２の処理時間算出部と、
前記画像処理時間マージンと前記ブロック処理時間とに基づいて、該画像処理時間マージン内で、前記画像処理部が少なくとも１つの前記ブロックに対して前記第２の画像処理を行うことができる前記ブロックの大きさを決定する処理ブロックサイズ決定部と、
前記画像処理時間マージンと、前記ブロック処理時間と、前記画像処理部による前記第２の画像処理の状態を表す情報とに基づいて、前記糊代データの保存先および出力元を切り替える処理切り替え判定部と、
を備えることを特徴とする請求項１１に記載の画像処理装置。
前記糊代保存部は、
前記第１の糊代データおよび前記第２の糊代データを、異なる記憶領域に分けて保存し、
前記シーケンサは、
前記画像処理部が行うそれぞれの画像処理の処理時間に応じて、前記糊代保存部内の前記第１の糊代データを保存する第１の記憶領域と、前記第２の糊代データを保存する第２の記憶領域との大きさを動的に決定し、該決定したそれぞれの記憶領域の大きさに基づいて、前記第１の記憶領域と前記第２の記憶領域とに分割し、
前記画像処理部が前記第１の画像処理を行う際に、前記第１の記憶領域に保存した前記第１の糊代データを使用し、前記画像処理部が前記第２の画像処理を行う際に、前記第２の記憶領域に保存した前記第２の糊代データを使用するように、前記糊代データの切り替えを制御する、
ことを特徴とする請求項１０に記載の画像処理装置。
前記シーケンサは、
前記画像処理部が、それぞれの前記フレームの画像に対して前記第１の画像処理を行う間隔である画像処理間隔と、１つの前記フレームの画像に対して前記第１の画像処理を行っている時間である画像処理時間とを算出する第１の処理時間算出部と、
前記画像処理間隔と前記画像処理時間とに基づいて、前記画像処理部が前記第２の画像処理を行うことができる時間である画像処理時間マージンを算出し、さらに、１つの前記フレームの画像において分割された１つのブロックに対して前記第２の画像処理を行っている時間であるブロック処理時間を算出する第２の処理時間算出部と、
前記画像処理時間マージンと前記ブロック処理時間とに基づいて、該画像処理時間マージン内で、前記画像処理部が少なくとも１つの前記ブロックに対して前記第２の画像処理を行うことができる前記ブロックの大きさを決定する処理ブロックサイズ決定部と、
前記画像処理時間マージンと、前記ブロック処理時間と、前記画像処理部による前記第２の画像処理の状態を表す情報とに基づいて、前記画像処理部が画像処理を行う際に使用する前記糊代データの切り替えを制御する処理切り替え判定部と、
前記画像処理時間マージンと、前記ブロック処理時間と、前記画像処理部による前記第２の画像処理の状態を表す情報とに基づいて、１つのフレームの画像に対する前記第２の画像処理の完了を判定する画像処理完了判定部と、
前記画像処理完了判定部による前記第２の画像処理の完了の判定結果と、前記画像処理時間マージンと、前記ブロック処理時間とに基づいて、前記糊代保存部の前記記憶領域を、前記第１の記憶領域と前記第２の記憶領域とに分割する分割幅を決定する分割幅決定部と、
を備えることを特徴とする請求項１３に記載の画像処理装置。
前記第１の画像処理は、
入力されたそれぞれの前記フレームの画像データに応じた動画像を表示装置に表示するための画像データを生成する動画表示用の画像処理であり、
前記第２の画像処理は、
入力された前記フレームの画像データに応じた静止画像を記録するための画像データを生成する静止画記録用の画像処理である、
ことを特徴とする請求項１０から請求項１４のいずれか１の項に記載の画像処理装置。
前記第１の画像処理および前記第２の画像処理のそれぞれは、
入力されたそれぞれの前記フレームの画像データに対する空間フィルタ処理である、
ことを特徴とする請求項１０から請求項１５のいずれか１の項に記載の画像処理装置。