JP6091216B2

JP6091216B2 - 画像信号処理装置およびその制御方法、並びに撮像装置

Info

Publication number: JP6091216B2
Application number: JP2013000943A
Authority: JP
Inventors: 田中　康之; 康之田中
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2013-01-08
Filing date: 2013-01-08
Publication date: 2017-03-08
Anticipated expiration: 2033-01-08
Also published as: JP2014135537A

Description

本発明は、入力画像信号を処理して表示装置に表示する場合の表示遅延時間を短縮する技術に関する。

デジタルビデオカメラやデジタルカメラ等の撮像装置は、被写体像の確認用に表示装置を備え、液晶や有機ＥＬ（エレクトロルミネッセンス）のディスプレイ（パネル）や電子ビューファインダー（ＥＶＦ）等が使用される。表示画面にはユーザが撮影する被写体像、つまり記録している画像を所定の画質でリアルタイムに表示することができる。近年、記録画像の多画素化や、画質改善処理の多機能化に伴い、信号処理に時間がかかると表示遅延が生じる。表示遅延により、パンニングやチルティング、ズーミング等のカメラ操作時にユーザに違和感を与え、構図やフォーカス状態等の確認が難しくなる場合がある。表示遅延量は撮影フレーム周波数に依存し、フレーム周波数が低い場合に表示遅延量が大きくなる。撮像装置の構成にもよるが、例えば、フレーム周波数２４Ｈｚ（ヘルツ）の場合は、６０Ｈｚの場合よりも表示遅延量が２．５倍大きくなる。

テレビジョン装置においても画質改善処理の多機能化により同様の問題がある。テレビジョン装置にゲーム機器を接続してユーザがゲーム操作を行う場合、テレビジョン装置で画質改善処理を行うと数フレーム時間の表示遅延が生じる。ユーザ操作の遅れが原因でゲーム結果が変わる場合や、ユーザに違和感を与える場合があった。そこで、表示遅延量の低減のために、画質改善処理を簡略化した低遅延用の処理を行う方法や、フレームメモリの記憶処理と読み出し処理を同時に行う制御方法が特許文献１に開示されている。

特許第４６９１１９３号公報

従来の装置では、入力画像信号を処理しつつ、表示用の画像信号を生成して表示部に出力するまでの表示遅延時間を如何にして短縮するかが課題である。従来の技術では撮像装置等への適用において、撮影中の画像を表示装置に表示する場合の表示遅延時間を短縮することが困難である。
本発明は、入力画像信号を処理しつつ、表示用の画像信号を生成して表示部に出力するまでの表示遅延時間を短縮することを目的とする。

上記課題を解決するために、本発明に係る装置は、第１画像信号を縮小して第２画像信号を生成するサイズ変更処理手段と、前記第１画像信号と前記第２画像信号に対して信号処理を行う信号処理手段と、前記信号処理手段による信号処理が行われた前記第１画像信号を記録メディアに出力する出力手段と、前記信号処理手段による信号処理が行われた前記第２画像信号に対して表示用の信号処理を行う表示用信号処理手段を備える。前記信号処理手段が１フレーム期間を複数の期間に時分割し、１フレーム期間内の異なる期間で前記第１画像信号と前記第２画像信号のそれぞれに対して信号処理を行うことで、前記出力手段が前記第１画像信号を前記記録メディアに出力する前に、前記表示用信号処理手段が前記第１画像信号から生成された前記第２画像信号に対して前記表示用の信号処理を行う。

本発明によれば、入力画像信号を処理しつつ、表示用の画像信号を生成して表示部に出力するまでの表示遅延時間を短縮することができる。

本発明の実施形態に係る画像信号処理装置の構成例を示す機能ブロック図である。比較例の構成を示す機能ブロック図である。本発明の実施形態に係る動作タイミング例を示す図である。比較例の動作タイミング例を示す図である。１個のＤＲＡＭを共用した場合の構成例を示すブロック図である。歪曲収差の補正処理を説明する図である。ノイズリダクション処理を説明する図である。時分割処理でのノイズリダクション処理を説明する図である。

以下、本発明の実施形態について詳細に説明する。本実施形態では、入力画像信号をフレーム期間ごとに処理する画像信号処理装置を撮像装置に適用した例を示す。記録画像用の信号処理回路の一部分から所定の信号（ＹＣＣ信号）を抜き出して表示用画像処理回路に出力することにより、表示遅延時間を短縮するブロック構成について、ビデオカメラを例にして説明する。

まず、本実施形態に係る信号処理装置の構成例について、図１を参照して説明する。
撮像用のセンサ１００は、ＣＣＤ（電荷結合素子）やＣＭＯＳ（相補型金属酸化膜半導体）等を用いた撮像素子である。図１では省略するが、撮像光学系を構成するレンズ群を通過する被写体光に対して、入射光量や焦点調節が行われる。センサ１００は結像された被写体像を光電変換し、内部でアナログ−デジタル変換を行い、各画素の光量に対応したデジタル画像信号を出力する。撮像素子の各画素には、Ｒ（赤）、Ｇ（緑）、Ｂ（青）の各カラーフィルタが、所定の配列、例えばベイヤー配列やハニカム配列で配置されている。これによりＲＧＢ画像信号が得られる。また、高速出力化のために、複数の画素の出力を加算して１つの出力画像を得る画素加算処理を行って、ＲＧＢ画像信号を出力する場合もある。

第１リサイズ処理部１０１は、センサ１００からの入力画像信号（ＲＧＢ画像信号）を取得して画像縮小処理を行う。縮小するサイズは、第１信号処理部１０２が処理可能な大きさであり、Ｒ（赤）、Ｇ（緑）、Ｂ（青）の色毎に重心を補正しながら縮小処理が実行される。第１信号処理部１０２は、ＲＧＢ画像信号を受信し、ＲＧＢのオフセット調整、ゲイン調整、ガンマ補正処理を行う。次に第１信号処理部１０２は、ＲＧＢ画像信号から輝度信号（Ｙ）と色差信号（Ｃｂ、Ｃｒ）へ変換し、ＹＣＣ画像信号を第１ＤＲＡＭ１０３に一旦書き込む。

第２信号処理部１０４は、第１ＤＲＡＭ１０３からＹＣＣ画像信号を読み出す。第２信号処理部１０４は、ＹＣＣ画像信号に対して、レンズの歪曲収差の補正処理や、撮像装置の防振処理等を行い、処理後のＹＣＣ画像信号を第２ＤＲＡＭ１０５に書き込む。レンズの歪曲収差の補正は、画像歪の補正処理の一例である。撮像装置の防振処理では手振れ等により生じる像ぶれの補正処理が実行される。第３信号処理部１０６は、第２ＤＲＡＭ１０５からＹＣＣ画像信号を読み出す。第３信号処理部１０６は、ＹＣＣ画像信号に対してノイズリダクション処理等を行い、処理後のＹＣＣ画像信号を第３ＤＲＡＭ１０７に書き込む。その際、第３信号処理部１０６は、ノイズリダクション機能の実現のために、後述のように、第４ＤＲＡＭ１１９を併用する。

圧縮伸長部１０８は、第３ＤＲＡＭ１０７からＹＣＣ画像信号を読み出し、記録フォーマットに合わせて圧縮符号化処理を行う。処理後の信号は記録メディア１０９に送られて記録される。外部出力部１１０は、第３ＤＲＡＭ１０７からＹＣＣ画像信号を読み出してフォーマット変換を行う。ＨＤＭＩやＳＤＩ、コンポーネントやコンポジット等の画像信号伝送フォーマットに合わせてフォーマット変換処理が実行される。ＨＤＭＩは”High-Definition Multimedia Interface”の略号であり、ＳＤＩは”Serial Digital Interface”の略号である。フォーマット変換した画像信号は撮像装置外部に出力される。

第２リサイズ処理部１１１は、入力画像信号の画サイズを表示用に変更して第５ＤＲＡＭ１１２に書き込む画サイズ変更処理を行う。本実施形態の第２リサイズ処理部１１１は、第１信号処理部１０２が出力するＹＣＣ画像に対して、表示パネルの表示サイズまで縮小する処理を行う。縮小の際、画像のエイリアシングを防止するため、画像の水平方向、垂直方向の各々において帯域制限フィルタにより、画像帯域の制御が行われる。その後、バイキュービック法等の補間手法により、画像の縮小処理が行われ、処理結果は第５ＤＲＡＭ１１２に記憶される。第４信号処理部１１３は、第５ＤＲＡＭ１１２からＹＣＣ画像信号を読み出す。第４信号処理部１１３は、例えばレンズの歪曲収差の補正処理や、撮像装置の防振処理等を行う。処理後のＹＣＣ画像信号は第６ＤＲＡＭ１１４に記憶される。第５信号処理部１１５は、第６ＤＲＡＭ１１４からＹＣＣ画像信号を読み出す。第５信号処理部１１５はノイズリダクション処理等を行い、処理後のＹＣＣ信号を第７ＤＲＡＭ１１６に書き込む。その際、第５信号処理部１１５は、ノイズリダクション機能の実現のために、第８ＤＲＡＭ１２０を併用する。

パネル用信号処理部１１７は、画サイズが表示用に変更された画像信号に対して、表示用信号処理を行う。パネル用信号処理部１１７は、第７ＤＲＡＭ１１６からパネル表示サイズのＹＣＣ画像信号を読み出し、表示パネルに合わせた色の調整処理や、解像度調整処理等を行う。パネル出力部１１８は、表示パネルの受信フォーマットに合わせてフォーマット変換を行う。フォーマット変換した画像信号は表示パネルに送信されて画面上に画像が表示される。

次に、本実施形態に対する比較例について、図２を参照して説明する。撮像用のセンサ２００の出力信号は第１リサイズ処理部２０１、第１信号処理部２０２を経て第１ＤＲＡＭ２０３に記憶される。第１リサイズ処理部２０１、第１信号処理部２０２、第２信号処理部２０４、第３信号処理部２０６は、図１の第１リサイズ処理部１０１、第１信号処理部１０２、第２信号処理部１０４、第３信号処理部１０６にそれぞれ相当する。第２ＤＲＡＭ２０５、第３ＤＲＡＭ２０７、第４ＤＲＡＭ２１９は、図１の第２ＤＲＡＭ１０５、第３ＤＲＡＭ１０７、第４ＤＲＡＭ１１９はそれぞれ相当する。第３信号処理部２０６の出力する画像信号は２つに分岐し、その一方は第３ＤＲＡＭ２０７に記憶され、他方は第２リサイズ処理部２１１に出力される。圧縮伸長部２０８、記録メディア２０９、外部出力部２１０は、図１の圧縮伸長部１０８、記録メディア１０９、外部出力部１１０にそれぞれ相当する。

第２リサイズ処理部２１１は、図１の第２リサイズ処理部１１１と同じ機能を有する。第２リサイズ処理部２１１は、圧縮伸長処理以外の全ての記録画像用処理を行った画像に対して画像縮小処理を行い、処理後の画像信号を第５ＤＲＡＭ２１６に記憶する。パネル用信号処理部２１７は、第５ＤＲＡＭ２１６からパネル表示サイズのＹＣＣ画像信号を読み出し、表示パネルに合わせた色の調整処理や、解像度調整処理等を行う。パネル出力部２１８は、表示パネルの受信フォーマットに合わせてフォーマット変換を行う。フォーマット変換した画像信号は表示パネルに送信されて画面上に画像が表示される。

次に、１個のＤＲＡＭをアドレス制御によって共用する、本実施形態の構成について説明する。図１では、説明の便宜上、複数のＤＲＡＭを個別に使用するブロック構成とした。実際には、ＤＲＡＭはＡＳＩＣ（Application Specific Integrated Circuit、特定用途向け集積回路）とはプロセスの性質が異なる集積回路であるので、１つのチップに集積せずに別チップ構成にされることも多い。ＡＳＩＣとは別チップとして使用される、１個のＤＲＡＭのアドレス制御によって、図１に示す第１ないし第８ＤＲＡＭの機能を実現できる。この構成について図５を参照して説明する。なお、図５において図１と同じ機能を持つ構成部には、図１で使用した符号と同じ符号を付することにより、それらの詳細な説明を省略する。

ＤＲＡＭ１５２はＤＲＡＭ−Ｉ／Ｆ（インターフェース）部１５１に接続されている。ＤＲＡＭ−Ｉ／Ｆ部１５１には、ＤＲＡＭ１５２にアクセスしてデータの読み書きを行う各ブロックが接続されている。図５ではスイッチ部１５０、第２リサイズ処理部１１１、信号処理ａブロック１５３、信号処理ｂブロック１５４、外部出力部１１０、圧縮伸長部１０８、パネル用信号処理部１１７、制御部１３０がＤＲＡＭ−Ｉ／Ｆ部１５１に接続されている。ＤＲＡＭ−Ｉ／Ｆ部１５１は、各ブロックから受けた書き込み要求や読み出し要求を調停し、予め決められた優先順位に従って許可を与える。許可されたブロックは、ＤＲＡＭ１５２に対して、書き込みを行う場合には、書き込みたいアドレスとデータを所定の長さ分送信する。また、許可されたブロックは、読み出しを行う場合には、読み出したいアドレスを送信し、ＤＲＡＭ１５２からＤＲＡＭ−Ｉ／Ｆ部１５１を介して所定長さ分のデータを受信する。優先順位が低く、許可を与えられなかったブロックは、優先順位が高いブロックの読み書きが終了するのを待って、順次、データを送受信することができる。

第１信号処理部１０２の出力はスイッチ部１５０に送られ、ここでは、後述するタイミングに従い、２つの経路に分かれる、第１の経路は、直接ＤＲＡＭ−Ｉ／Ｆ部１５１を介してＤＲＡＭ１５２にデータを書き込む経路である。また、第２の経路は、第２リサイズ処理部１１１により、表示パネル１４０の表示サイズに合わせて画像縮小処理を行ってから、ＤＲＡＭ−Ｉ／Ｆ部１５１を介してＤＲＡＭ１５２に書き込む経路である。スイッチ部１５０は制御部１３０により切り換えられる。

信号処理ａブロック１５３は、図１に示した第２信号処理部１０４と第４信号処理部１１３を、時分割で兼用する信号処理ブロックである。このブロックは、例えばレンズの歪曲収差の補正処理や、撮像装置の防振処理等を行う。本ブロックはＤＲＡＭ−Ｉ／Ｆ部１５１と共通の高速クロック信号（例えば１６６ＭＨｚ）で動作し、処理する画素数に応じて処理時間が変化する。以下、レンズの歪曲収差の補正処理について、図６を参照して簡単に説明する。図６（Ａ）は画像歪の無い画像の座標を例示し、図６（Ｂ）は画像歪を含んだ画像の座標を例示する。
画像歪の無い真の画像座標を（ｘｕ，ｙｕ）とし、画像歪を含んだ画像座標を（ｘｄ，ｙｄ）とする。レンズの放射方向の歪みは、下式で表わされる。

［数式１］
ｘｄ＝（１＋ｋ１×ｒ＾２＋ｋ２×ｒ＾４＋ｋ３×ｒ＾６）×ｘｕ
ｙｄ＝（１＋ｋ１×ｒ＾２＋ｋ２×ｒ＾４＋ｋ３×ｒ＾６）×ｙｕ
ｒ＾２＝ｘｕ＾２＋ｙｕ＾２ … （１）
ここで、ｋ１、ｋ２、ｋ３は歪み係数であり、レンズとズーム値から定まる。（１）式に示すｒは画像中心からの距離である。「＾」はべき乗を表わす。

図６（Ａ）に示す画像歪の無い点６０１、６０２、６０３、６０４、６０５はそれぞれ、図６（Ｂ）に示す画像歪を含む点６１１、６１２、６１３、６１４、６１５に対応している。例えば点６０１の座標での画素データを求める場合、上式で計算した点６１１の座標位置での画像データがＤＲＡＭ１５２から読み出される。同様に点６０２の座標での画像データとして、点６１２の座標位置での画像データが読み出される。こうしてＤＲＡＭ１５２から計算結果に該当する座標位置での画像データを順次に読み出していくことで、レンズ歪曲収差を補正した画像が得られる。レンズの歪曲収差の補正処理では、（ｘｕ,ｙｕ）で示す画像座標の数だけ処理すれば求まるので、処理時間は、処理する画素数にほぼ比例する。また、画像歪について樽型になる場合、図６（Ｂ）に示す画像領域は、図６（Ａ）の画像領域よりも若干大きい。このため、やや大きい画像記憶領域を用意する必要がある。
撮像装置に係る防振処理の場合には、図示しない角速度センサや画像認識処理部等により、装置の手振れ量を算出する処理が実行される。撮像画像については、手振れ量に応じた位置に従って、撮影画像領域から所定の範囲を切り出す際の抽出位置を変更する処理が行われ、像ぶれ補正が行われる。この場合、処理時間は、抽出によって生成する画像の画素数にほぼ比例する。

図５に戻って説明を続ける。信号処理ｂブロック１５４は、図１の第３信号処理部１０６と第５信号処理部１１５を、時分割で兼用する信号処理ブロックである。このブロックでは、例えばノイズリダクション処理を行う。本ブロックもＤＲＡＭ−Ｉ／Ｆ部１５１と共通の高速クロック信号で動作し、処理する画素数に応じて処理時間が変化する。図７を参照してノイズ低減処理を説明する。図７には具体例として、フレーム巡回型ノイズリダクション回路を示す。

入力端子７０１から入力されたフレーム画像信号は、第１減算部７０２と第２減算部７０３にそれぞれ送られる。第１減算部７０２のもう一方の端子には、フレームメモリ７０５から、１フレーム前の同じ位置での画素データが送られてくる。第１減算部７０２の減算結果は、ノイズ検出及び動き判定部７０４に送られる。ノイズ検出及び動き判定部７０４に入力される差分データは、画像に動きが無ければ、ゼロとなる。画像の動きが無い部分で残った残差は、センサ１００等で発生したノイズであり、ノイズ検出及び動き判定部７０４は当該ノイズ成分を第２減算部７０３に出力する。第２減算部７０３は、入力端子７０１から入力されたフレーム画像信号に対して、ノイズ成分を除去し、出力端子７０６を通じて画像信号を出力するとともに、フレームメモリ７０５にも出力する。フレームメモリ７０５は画像信号を記憶し、これは次のフレームで用いられる。ノイズ検出及び動き判定部７０４に加えられた残差が大きい場合には、画像に動きがあるため、ノイズ検出及び動き判定部７０４は出力を０に設定する。よって、入力端子７０１から入力された画像がそのまま出力されるとともに、フレームメモリ７０５に記憶される。図７の構成例は巡回型であるため、ＦＩＦＯ（ＦｉｒｓｔＩｎＦｉｒｓｔＯｕｔ）として使うフレームメモリが必要であり、処理時間は、処理する画素数にほぼ比例する。

図５の制御部１３０は、入力画像信号の同期タイミングと表示用の画像信号の同期タイミングを制御する同期制御部を備える。センサ１００の駆動周期と表示パネル１４０の駆動周期の制御と、遅延時間の制御とが、センサ１００と表示パネル１４０について各々行われる。具体的には、センサ１００と表示パネル１４０の同期信号の遅延量を計測する計測部と、センサ１００の駆動周期を基準として、表示パネル１４０の駆動周期の同期信号に係る遅延量が所定の範囲内に収まるように調節する同期制御部が設けられる。また、各回路部を制御するために、ＣＰＵ（中央演算処理装置）等の既知の制御ブロックが設けられる。この制御ブロックは、第１ないし第５信号処理部や、パネル用信号処理部１１７の設定調整等を行う。

次に、本実施形態に係る画像信号処理装置の動作について、図３の動作タイミング例を参照して説明する。
本実施形態では、センサ１００の駆動周期に対する周波数と、表示パネル１４０の駆動周期に対応する周波数が等しく２４Ｈｚで同期している場合を想定する。同期タイミングについては、図３に示すとおり、センサ同期に比べてパネル同期が遅れたタイミングで同期している。また、センサ１００の画素数を８８４７３６０ピクセル（水平方向４０９６ピクセル×垂直方向２１６０ライン）とし、表示パネル１４０の画素数を５１８４００ピクセル（水平方向９６０ピクセル×垂直方向５４０ライン）とする。信号処理ａブロックと信号処理ｂブロックは、３０Ｈｚのプログレッシブの画像を処理できる能力がある。本実施形態では、２４Ｈｚの周波数でセンサ１００を駆動しているので、各フレーム（１／２４秒）に、８８４７３６０ピクセルで、１／２４−１／３０＝１／１２０秒分の処理能力に余裕がある。図３のステップ３１０ないし３２０は処理の各過程を表している。

まず、ステップ（以下、「Ｓ」と記す）３１０において、センサ１００はＲＧＢ画像信号（水平方向４０９６ピクセル×垂直方向２１６０ライン）を出力する。Ｓ３１１において、第１リサイズ処理部１０１は、センサ１００が出力したＲＧＢ画像信号を、第１信号処理部１０２が処理可能な大きさ（水平方向２０４８ピクセル×垂直方向１０８０ライン）に縮小する。Ｓ３１２において、第１信号処理部１０２は、ＲＧＢ画像信号を輝度信号（Ｙ）と色差信号（Ｃｂ、Ｃｒ）に変換する。変換したＹＣＣ画像信号は、第１ＤＲＡＭ１０３に記憶されるとともに、第２リサイズ処理部１１１に送信される。
Ｓ３１３において、Ｓ３１２で第１ＤＲＡＭ１０３に記憶したＹＣＣ画像信号が、Ｓ３１２の処理開始時点から１フレーム期間および１／１２０秒の時間経過後に読み出され、第２信号処理部１０４が処理を行う。第２信号処理部１０４は、レンズの歪曲収差の補正処理や、撮像装置の防振処理等を行い、処理後の画像信号を第２ＤＲＡＭ１０５に書き込む。ここで、１／１２０秒分の遅延時間で処理を遅らせる理由は、後述する第４信号処理部１１３の処理を行うためである（Ｓ３１７参照）。

Ｓ３１４において、Ｓ３１３で第２ＤＲＡＭ１０５に記憶したＹＣＣ画像信号が、Ｓ３１３の処理開始時点から１フレーム期間の時間経過後に読み出され、第３信号処理部１０６が処理を行う。第３信号処理部１０６は、フレーム期間内の第１の期間にてノイズリダクション処理を行い、処理後の画像信号（第１画像信号）を第３ＤＲＡＭ１０７に書き込む。ここで、処理開始時点から約１／１２０秒の時間が経過した時点で、第３信号処理部１０６は処理を一時的に中断し、後述する第５信号処理部１１５の処理を優先させる。フレーム期間内の第２の期間では、第５信号処理部１１５が処理を行い、処理後の画像信号（第２画像信号）を第７ＤＲＡＭ１１６に書き込む。第５信号処理部１１５の処理が終了した後、第３信号処理部１０６は処理を継続する。この時分割処理の様子を、図８を参照して説明する。

図８にて点線枠内に示す構成は、フレームメモリ７０５を除いて図７と同様の機能を有する。同じ機能の部位には図７で使用した同じ符号を付すことで説明を省略する。入力端子７０１には、選択スイッチ部７１０を介して第２ＤＲＡＭ１０５または第６ＤＲＡＭ１１４からの画像信号が入力される。また、入力端子７１４には、選択スイッチ部７１１を介して第４ＤＲＡＭ１１９または第８ＤＲＡＭ１２０からの画像信号が入力される。出力端子７０６は選択スイッチ部７１２を介して第３ＤＲＡＭ１０７または第７ＤＲＡＭ１１６に接続される。また、出力端子７１５は選択スイッチ部７１３を介して第４ＤＲＡＭ１１９または第８ＤＲＡＭ１２０に接続される。選択スイッチ部７１０ないし７１３の各接点に示す「Ｌ」は本線系（外部出力および記録信号処理系）のライン選択を表し、「Ｐ」はパネル処理系（表示パネル信号処理系）のライン選択を表わす。

ノイズリダクション処理にて、第３信号処理部１０６が行う本線系の処理の場合、選択スイッチ部７１０ないし７１３はＬ側に切り換る。ノイズリダクション処理後の出力信号は選択スイッチ部７１２を通じて第３ＤＲＡＭ１０７に書き込まれる。そして、処理の開始時点から１／１２０秒の時間が経過した時点で本線系の処理は一旦中断され、選択スイッチ部７１０ないし７１３がＰ側に切り換わり、パネル処理系のノイズリダクション処理が開始する。この切り換え制御は、例えば図示しないＣＰＵの割り込みルーチンにより行われるが、タイマー切り換えでも構わない。パネル処理系の処理する画素数は少ないので、１／１２０秒以内に処理が終了する。再び、選択スイッチ部７１０ないし７１３はＬ側に切り換わり、前記した本線系の処理を中断したところから処理が続行する。尚、実際には、選択スイッチ部７１０ないし７１３による選択制御やＤＲＡＭ内のアドレス制御については、図示しないＣＰＵがＤＲＡＭにアクセスする際のアドレスを変更することにより実現できる。

図３に戻って説明を続ける。Ｓ３１５において、Ｓ３１４で第３ＤＲＡＭ１０７に記憶されたＹＣＣ画像信号（第１画像信号）が、Ｓ３１４の処理開始時点から１フレーム期間の時間経過後に読み出され、外部出力部１１０が処理を行う。外部出力部１１０は、所定の画像信号伝送フォーマットに合わせてフォーマット変換を行い、変換した画像信号を撮像装置の外部に出力する。記録処理の場合には、圧縮伸長部１０８が第３ＤＲＡＭ１０７からＹＣＣ画像信号を読み出して処理し、記録メディア１０９に画像信号を記録する。

Ｓ３１２の後、Ｓ３１６で第２リサイズ処理部１１１は画像縮小処理を行い、表示パネル１４０の表示サイズ（水平方向９６０ピクセル×垂直方向５４０ライン）まで画像を縮小する（水平方向：１５／３２、垂直方向：１／２）。Ｓ３１７において、信号処理ａブロック１５３（図５参照）を優先して使うことで、レンズの歪曲収差の補正処理や、撮像装置の防振処理等が実行される。Ｓ３１８において、信号処理ｂブロック１５４（図５参照）を優先して使うことでノイズリダクション処理が実行される。処理後のＹＣＣ画像信号（第２画像信号）は第７ＤＲＡＭ１１６に記憶される。Ｓ３１９にてパネル用信号処理部１１７は、Ｓ３１８で第７ＤＲＡＭ１１６に記憶した画像信号を読み出して、表示パネル１４０の受信フォーマットに合わせてフォーマット変換を行う。フォーマット変換した画像信号は、Ｓ３２０でパネル出力部１１８が表示パネル１４０に送信し、表示パネル１４０の画面上に画像が表示される。
本実施形態の場合、Ｓ３１０からＳ３２０の開始時点まで１フレーム期間強（ＤＬ参照）の時間で処理が行われる。

次に、図２に例示した比較例の動作について、図４の動作タイミング例を参照して説明する。Ｓ４１０ないしＳ４２０に処理の各過程を示す。Ｓ４１０でセンサ２００の信号読み出しが行われ、Ｓ４１１で第１リサイズ処理部２０１の処理、Ｓ４１２で第１信号処理部２０２の処理が行われる。Ｓ４１３ではＳ４１２の処理開始時点から１フレーム期間の時間経過後に第２信号処理部２０４の処理が行われる。さらに１フレーム期間の時間経過後に、Ｓ４１４で第３信号処理部２０６の処理が行われる。さらに１フレーム期間の時間経過後に、Ｓ４１５で外部出力部２１０の処理が行われる。Ｓ４１６で第２リサイズ処理部２１１の処理が行われる。Ｓ４１９でのパネル用信号処理部２１７の処理と、Ｓ４２０でのパネル出力部２１８の処理が同時期に実行される。

図２に示す比較例の場合、第２リサイズ処理部２１１は第３信号処理部２０６から画像信号を受信して画像縮小処理を行い（図４のＳ４１６参照）、処理後の画像信号を第５ＤＲＡＭ２１６に記憶する。このため、図４のＳ４１５の処理と同時期に、Ｓ４２０のパネル出力処理の期間があり、Ｓ４１０から３フレーム期間（ＤＬ参照）に相当する表示遅延時間が発生している。これは、フレーム周波数２４Ｈｚの場合、約１２５ミリ秒の表示遅延時間である。

以上のように、本実施形態によれば、信号処理部の時分割処理によって表示用画像信号の処理を優先させることで、撮影中の画像を表示装置に表示する場合の表示遅延時間を短縮できる。図３のＳ３１０からＳ３２０まで１フレーム期間強の表示遅延時間であり、図４に示す比較例の３フレーム期間の表示遅延時間に比べて大幅に短縮される。撮影している画像を表示装置に表示する場合の表示遅延時間を短縮することで、表示遅延によるユーザの違和感を解消できる。
また、画像信号の記録処理や出力処理を行う際、信号処理ａブロック１５３および信号処理ｂブロック１５４は１／３０秒で画像信号を処理する能力を有する。表示用画像信号のフレーム周波数に対応する１／２４秒の期間内で１／１２０秒の隙間ができる。隣接するフレームの画像信号をそれぞれ処理する期間の隙間において、表示用の画像信号に係る第４信号処理部１１３の処理を優先させることにより、処理効率が高まる。
なお、本実施形態では、撮像用センサの駆動周期と表示パネルの駆動周期を同一にしているので制御が容易になるが、各駆動周期が相違しても構わない。

１００センサ（撮像手段）
１０６第３信号処理部
１１０外部出力部
１１１第２リサイズ処理部
１１５第５信号処理部
１１７パネル用信号処理部
１１８パネル出力部
１４０表示パネル
１５２ＤＲＡＭ

Claims

第１画像信号を縮小して第２画像信号を生成するサイズ変更処理手段と、
前記第１画像信号と前記第２画像信号に対して信号処理を行う信号処理手段と、
前記信号処理手段による信号処理が行われた前記第１画像信号を記録メディアに出力する出力手段と、
前記信号処理手段による信号処理が行われた前記第２画像信号に対して表示用の信号処理を行う表示用信号処理手段を備え、
前記信号処理手段が１フレーム期間を複数の期間に時分割し、１フレーム期間内の異なる期間で前記第１画像信号と前記第２画像信号のそれぞれに対して信号処理を行うことで、前記出力手段が前記第１画像信号を前記記録メディアに出力する前に、前記表示用信号処理手段が前記第１画像信号から生成された前記第２画像信号に対して前記表示用の信号処理を行うことを特徴とする画像信号処理装置。
前記信号処理手段は、１フレーム期間において、先に前記第２画像信号に対する信号処理を行ってから、前記第１画像信号に対する信号処理を行うことを特徴とする請求項１に記載の画像信号処理装置。
前記信号処理手段は、前記第１画像信号に対する信号処理を中断して、前記第２画像信号に対する信号処理を行うことを特徴とする請求項１に記載の画像信号処理装置。
前記信号処理手段による信号処理が行われた前記第１画像信号と、前記信号処理手段による信号処理が行われた前記第２画像信号を記憶する記憶手段を有し、
前記出力手段は前記記憶手段から前記第１画像信号を読み出して前記記録メディアに出力し、
前記表示用信号処理手段は前記記憶手段から前記第２画像信号を読み出して前記表示用の信号処理を行うことを特徴とする請求項１乃至３のいずれか１項に記載の画像信号処理装置。
前記信号処理手段は、ノイズリダクション処理、画像歪の補正処理、および像ぶれの補正処理のうちの１つ以上の処理を行うことを特徴とする請求項１乃至４のいずれか１項に記載の画像信号処理装置。
撮像手段と、
前記撮像手段で生成された第１画像信号を縮小して第２画像信号を生成するサイズ変更処理手段と、
前記第１画像信号と前記第２画像信号に対して信号処理を行う信号処理手段と、
前記信号処理手段による信号処理が行われた前記第１画像信号を記録メディアに出力する出力手段と、
前記信号処理手段による信号処理が行われた前記第２画像信号に対して表示用の信号処理を行う表示用信号処理手段を備え、
前記信号処理手段が１フレーム期間を複数の期間に時分割し、１フレーム期間内の異なる期間で前記第１画像信号と前記第２画像信号のそれぞれに対して信号処理を行うことで、前記出力手段が前記第１画像信号を前記記録メディアに出力する前に、前記表示用信号処理手段が前記第１画像信号から生成された前記第２画像信号に対して前記表示用の信号処理を行うことを特徴とする撮像装置。
第１画像信号を縮小して第２画像信号を生成するサイズ変更ステップと、
前記第１画像信号と前記第２画像信号に対して信号処理を行う信号処理ステップと、
前記信号処理ステップにおいて信号処理が行われた前記第１画像信号を記録メディアに出力する出力ステップと、
前記信号処理ステップにおいて信号処理が行われた前記第２画像信号に対して表示用の信号処理を行う表示用信号処理ステップを有し、
前記信号処理ステップにおいて、１フレーム期間を複数の期間に時分割し、１フレーム期間内の異なる期間で前記第１画像信号と前記第２画像信号のそれぞれに対して信号処理を行うことで、前記第１画像信号を前記記録メディアに出力する前に、前記第１画像信号から生成された前記第２画像信号に対して前記表示用の信号処理を行うことを特徴とする画像信号処理装置の制御方法。