JP2016040902A - 撮像表示装置及びその制御方法 - Google Patents

Abstract

【課題】レンズの光学特性の変更に応じて撮像から表示までの時間遅れを変更する。
【解決手段】撮像表示装置１は、レンズユニット１０と、撮像して得た撮像信号ＤSを出力する撮像部２０と、レンズユニット１０の光学特性に応じた画像処理を施して画像信号Ｄを生成する画像信号生成部３０と、画像信号Ｄに基づいて画像を表示する表示部４０と、撮像信号ＤSのフレームの開始から画像信号Ｄのフレームの開始までの位相差を、画像処理に要する所定時間に応じて変更するように制御するタイミング制御部７０とを備える。
【選択図】図１

Description

本発明は、撮像表示装置及びその制御方法に関する。

いわゆるミラーレス一眼のデジタルカメラでは、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal-Oxide Semiconductor）イメージセンサ等のイメージセンサで撮像した画像信号に応じた画像をリアルタイムで筐体裏面に設けられた液晶パネルや筐体上部に取り付けられた電子ビューファインダー（以下、ＥＶＦ[Electronic View Finder]と称する）等に表示するいわゆるライブビュー動作により、被写体の画像を確認することができるようになっている。
しかしながら、このライブビューでは、イメージセンサで被写体を撮像してからビューファインダー等に表示されるまでに顕著な遅延が生じている。このため、動きのある被写体にカメラを向けて追従させることが困難になる。さらに、表示されている被写体の画像に基づいて静止画像の撮像を指示すると、表示されていた被写体の画像と実際に撮像される静止画の画像とにタイミングのずれが生じ、特に動きの早い被写体の場合には、意図した静止画を撮像することが困難になる。

このため、イメージセンサによる撮像からビューファインダー等の表示部による表示までの遅延を短くする技術が知られている。
例えば、特許文献１には、イメージセンサを駆動するタイミングを規定する信号と、画像信号の読み出しタイミングを規定する信号とを、一定の位相差を持たせて同期させることで、イメージセンサによる信号の出力から、当該信号に基づく画像の表示までの遅延を低減させる技術が開示されている。

特開２００７−２４３６１５号公報

ところで、撮像表示装置に用いるレンズには、大きな歪曲収差や色収差があるものもあれば、これらの収差が小さいものもある。また、ズーム機能を有するレンズでは、ズーム率が可変であるが、ズーム率に応じて歪曲収差の程度が変化することがある。さらに、ズーム率に応じて倍率色収差の程度が変化することがある。一般に、収差の程度が大きくなる程、収差を補正するための画像処理に要する時間が長くなる。
しかしながら、特許文献１に記載された撮像表示装置では、イメージセンサのフレームの開始から表示部のフレーム開始までの位相差（遅延時間）が一定となっていた。このため、従来の撮像表示装置では、想定される最大の収差を見込んで位相差を定める必要があり、イメージセンサによる信号の出力から、当該信号に基づく画像の表示までの遅延を低減するには限界があった。特に、いわゆる一眼レフデジタルカメラのようにレンズを交換が可能な撮像表示装置では、今後、発売される交換用のレンズの光学特性は未知であるので、位相差を最適に設定できないといった問題があった。

本発明は、上述した事情に鑑みてなされたものであり、レンズの光学特性が変化しても、光学特性の変化に応じて撮像から表示までの遅延を制御することを解決課題の一つとする。

以上の課題を解決するために、本発明に係る撮像表示装置の一態様は、レンズユニットを介して被写体を撮像して得た撮像信号を出力する撮像部と、前記撮像信号に少なくとも前記レンズユニットの光学特性に応じた画像処理を施して画像信号を生成する画像信号生成部と、前記画像信号生成部から出力される前記画像信号に基づいて画像を表示する表示部と、前記撮像信号のフレームの開始から前記画像信号のフレームの開始までの位相差を、前記レンズユニットの光学特性に応じて変更するように前記撮像部、前記画像処理部、及び前記表示部を制御するタイミング制御部と、を備える。

この発明によれば、レンズユニットの光学特性に応じて画像処理を実行するので、画像処理に要する時間は、レンズユニットの光学特性が変化すれば変動するところ、タイミング制御部は、撮像信号のフレームの開始から画像信号のフレームの開始までの位相差を、レンズユニットの光学特性に応じて変更するので、位相差を固定とする場合に比較して、撮像から表示までの時間遅れを短縮することが可能となる。

上述した撮像表示装置の一態様において、前記レンズユニットは、当該レンズユニットの前記光学特性に関するパラメーターを示す光学特性データを出力し、前記レンズユニットから取得した前記光学特性データに基づいて前記位相差を決定する制御部を備えることが好ましい。

この発明によれば、レンズユニットから出力される光学特性データに基づいて位相差を決定するので、レンズユニットの光学特性を位相差に反映させることができる。ここで、光学特性に関するパラメーターとは、例えば、焦点距離、絞り値、ズーム率、フォーカス値といった光学特性を直接的に示すものであってもよいし、あるいは、レンズユニットの種類を識別するための識別データのように光学特性を間接的に示すものであってもよい。さらに、光学特性に関するパラメーターは、位相差を指定するものであってもよい。

上述した撮像表示装置の一態様において、前記レンズユニットは、本体から着脱可能であり、前記光学特性データに関するパラメーターは、前記レンズユニットの種類を識別するための識別データを含み、前記画像信号生成部は、前記画像処理の一部として、前記光学特性データに応じて前記レンズユニットの収差を補正する収差補正処理を実行し、前記制御部は、前記収差補正処理に要する時間を考慮して前記位相差を決定することが好ましい。

この発明によれば、レンズユニットが交換されても、レンズユニットの種類を識別するための識別データにより、レンズユニットの収差を特定することができるので、その収差補正処理に要する時間を考慮して位相差を定めることが可能となる。このため、位相差を固定とする場合に比較して、レンズユニットの種類に応じて位相差を変更することにより、撮像から表示までの時間遅れを短縮することができる。

上述した撮像表示装置の一態様において、前記光学特性データに関するパラメーターは、ズーム率を示すズーム率データ及び焦点距離を示す焦点距離データのうち少なくとも一つを含み、前記画像信号生成部は、前記画像処理の一部として、前記光学特性データに応じて前記レンズユニットの収差を補正する収差補正処理を実行し、前記制御部は、前記収差補正処理に要する時間を考慮して前記位相差を決定することが好ましい。

この発明によれば、ズーム率、焦点距離、及び絞り値のうち少なくとも一つに応じて位相差を決定することができるので、これらの光学特性に応じて生じるレンズユニットの収差を補正する場合に、収差補正処理に要する時間が変更されても、撮像から表示までの時間遅れを適切に設定することができる。

上述した撮像表示装置の一態様において、前記タイミング制御部は、前記撮像信号のフレームの開始を規定する撮像垂直同期信号を生成した後、前記撮像垂直同期信号を前記位相差だけ遅延させて、前記画像信号のフレームの開始を規定する表示垂直同期信号を生成し、前記撮像垂直同期信号を前記撮像部に供給するとともに、前記表示垂直同期信号を前記表示部に供給することが好ましい。

この発明によれば、まず、撮像部を制御する撮像垂直同期信号を生成し、これを遅延させて、表示部を制御する表示垂直同期信号を生成する。このため、撮像部のフレーム周期に表示部のフレーム周期を合わせることができる。撮像部のフレーム周期は、画像の明るさから定まるのが通常である。よって、表示部のフレーム周期よりも撮像部のフレーム周期を優先させることにより、表示画像の品質の低下を抑えることができる。さらに、最初に表示垂直同期信号を生成し、これを遅延させて、撮像垂直同期信号を生成すると、電源を投入した直後には、撮像部が動作可能であるにも拘わらず、撮像信号を生成することができず、画像を表示させることができない。これに対して、撮像垂直同期信号→表示垂直同期信号の順に生成することにより、電源を投入した直後であっても迅速に画像を表示することが可能となる。

次に、本発明に係る撮像表示装置の制御方法は、レンズユニットを介して被写体を撮像して得た撮像信号を出力する撮像部と、前記撮像信号に少なくとも前記レンズユニットの光学特性に応じた画像処理を施して画像信号を生成する画像信号生成部と、前記画像信号生成部から出力される前記画像信号に基づいて画像を表示する表示部とを備えた撮像表示装置を制御する方法であって、前記レンズユニットの光学特性を取得し、前記撮像信号のフレームの開始から前記画像信号のフレームの開始までの位相差を、取得したレンズユニットの光学特性に応じて変更するように前記撮像部、前記画像処理部、及び前記表示部を制御することを特徴とする。

この発明によれば、レンズユニットの光学特性に応じて画像処理を実行するので、画像処理に要する時間は、レンズユニットの光学特性が変化すれば変動するところ、撮像信号のフレームの開始から画像信号のフレームの開始までの位相差を、レンズユニットの光学特性に応じて変更するので、位相差を固定とする場合に比較して、撮像から表示までの時間遅れ短縮することが可能となる。

本発明の実施形態に係る撮像表示装置１の構成を示すブロック図である。 レンズユニット１０の構成を示すブロック図である。 有効イメージセンサ領域ＡSと表示領域ＡDとの関係を説明するための説明図である。 撮像表示装置１の動作を説明するためのタイミングチャートである。 撮像表示装置１の動作を説明するためのタイミングチャートである。 表示領域ＡDを説明するための説明図である。 画像信号生成部３０の構成を示すブロック図である。 間引き処理を説明するための説明図である。 倍率色収差を説明するための説明図である。 歪曲補正処理を説明するための説明図である。 位相差テーブルＴＢＬを説明するための説明図である。 タイミング制御部の構成を示すブロック図である。 撮像表示装置１の動作を説明するためのタイミングチャートである。 変形例に係るタイミング制御部の構成を示すブロック図である。

本発明を実施するための形態について図面を参照して説明する。ただし、各図において、各部の寸法及び縮尺は、実際のものと適宜に異ならせてある。また、以下に述べる実施の形態は、本発明の好適な具体例であるから、技術的に好ましい種々の限定が付されているが、本発明の範囲は、以下の説明において特に本発明を限定する旨の記載がない限り、これらの形態に限られるものではない。

＜１．撮像表示装置の構成＞
図１は、撮像表示装置１の機能を示すブロック図である。
図１に示すように、撮像表示装置１は、被写体の像を結像させるレンズユニット１０と、被写体を撮像し、撮像して得たデータを撮像信号ＤSとして出力する撮像部２０と、撮像信号ＤSに対して画像処理を施して画像信号Ｄを生成する画像信号生成部３０と、画像信号Ｄに応じた画像を表示する表示部４０と、装置全体を制御するＣＰＵ（Central Processing Unit）５０と、撮像表示装置１の設定の変更、撮像の指示等を入力するための操作部６０と、ブートプログラムや位相差テーブルＴＢＬが記憶された不揮発性メモリ６１と、ＣＰＵ５０の作業領域として機能するＲＡＭ（Random Access Memory）６２と、静止画データを記憶するメモリカード６３と、各種のタイミング信号を生成するタイミング制御部７０とを備える。ＣＰＵ５０は、シャッター速度、逆光補正、絞り値といった撮影条件などを示すＯＳＤ画像信号Ｄosdを生成して、後述するＶＲＡＭ３４に格納する。なお、以下の説明では、撮像表示装置１からレンズユニット１０を除いた構成を本体と称する。

この撮像表示装置１は、いわゆるミラーレスデジタル一眼レフカメラであり、レンズユニット１０の交換が可能である。また、撮像表示装置１の利用者による操作部６０の操作により、撮像部２０で撮像した被写体に係る画像をほぼリアルタイムで表示部４０に表示するライブビューモードによる動作と、撮像部２０で撮像した被写体に係る画像を静止画格納用のメモリカード６３に静止画データとして格納する撮像モードによる動作と、を選択可能となっている。

図２にレンズユニット１０の詳細な構成を示す。レンズユニット１０は、撮影光学系を備える。この撮影光学系は、被写体側から像側（カメラ側）に順に、固定レンズ１１と、変倍レンズ１２と、絞り１３と、固定レンズ１４と、フォーカスレンズ１５とを備える。レンズの各々は、１枚で構成されてもよいし、あるいは複数枚で構成されてもよい。
ズーム駆動機構１２ａは変倍レンズ１２を図中矢印Ａの方向に移動させる機械的な機構であり、利用者が操作するマニュアル動作と電動動作が可能である。電動動作の場合、本体からズーム駆動機構１２ａを制御する制御信号Ｃ１が送信される。制御信号Ｃ１はインターフェース部１７を介してＣＰＵ１６に取り込まれ、ＣＰＵ１６からズーム機構１２ａに供給される。変倍レンズ１２の位置は第１エンコーダー１２ｂにより検出され、検出結果はＣＰＵ１６に供給される。変倍レンズ１２の位置に応じて焦点距離及びズーム率が定まる。
絞り駆動機構１３ａは、絞り１３を駆動する機械的な機構であり、利用者が操作するマニュアル動作と電動動作が可能である。電動動作の場合、本体から絞り駆動機構１３ａを制御する制御信号Ｃ２が送信される。制御信号Ｃ２はインターフェース部１７を介してＣＰＵ１６に取り込まれ、ＣＰＵ１６から絞り機構１３ａに供給される。絞り１３の状態は第２エンコーダー１３ｂによって検出され、検出結果はＣＰＵ１６に供給される。また，絞り１３の状態は，カメラ側からインターフェース17を通じての指示を受けて駆動用機構により絞り込み動作を行う。
フォーカス駆動機構１５ａは、フォーカスレンズ１５を図中矢印Ｂの方向に移動させる機械的な機構であり、利用者が操作するマニュアル動作と電動動作が可能である。電動動作の場合、本体からフォーカス駆動機構１５ａを制御する制御信号Ｃ３が送信される。制御信号Ｃ１はインターフェース部１７を介してＣＰＵ１６に取り込まれ、ＣＰＵ１６からフォーカス駆動機構１５ａに供給される。フォーカスレンズ１５の位置は第３エンコーダー１５ｂにより検出され、検出結果はＣＰＵ１６に供給される。また，フォーカスレンズ１５の状態は，カメラ側からインターフェース１７を通じての指示を受けてフォーカス駆動用機構１５ａによりフォーカス位置を前後に移動させる動作を行う。

フラッシュＲＯＭ１８には、レンズユニット１０の種類を識別するための識別データが記憶されている。識別データは、例えば、型番であり、これにより、レンズユニット１０の基本的な光学特性を特定することができる。このため、識別データは、レンズユニット１０の光学特性を示すパラメーターの一つである。ＣＰＵ１５は、第１エンコーダー１２ｂの出力信号に基づいて焦点距離を特定するとともに、第２エンコーダー１３ｂの出力信号に基づいて絞り値を特定し、第３エンコーダー１５ｂの出力信号に基づいてフォーカス値を特定する。このように特定された焦点距離、絞り値、及びフォーカス値はレンズユニット１０の光学特性に関するパラメーターに含まれる。また、特定された焦点距離を最小の焦点距離で除算して得られた値であるズーム率もレンズユニット１０の光学特性に関するパラメーターに含まれる。
ＣＰＵ１６は、これらのパラメーターを含む光学特性データＤocpを生成し、インターフェース部１７を介して、本体に送信する。

説明を図１に戻す。撮像部２０は、メカニカルシャッター２１と、マトリックス状に配列された受光素子（撮像素子）からの信号を線順次に走査して被写体の像に応じた撮像信号ＤSを出力するイメージセンサ２２とを備える。

次に、画像信号生成部３０は、撮像信号ＤSに基づいて画像信号Ｄ(DGA)を生成する画像処理部３１と、画像信号Ｄ(DGA)を一時的に記憶するＶＲＡＭ３２と、ＯＳＤ画像信号Ｄosdを記憶するＶＲＡＭ（ＯＳＤ）３４と、ＶＲＡＭ３２から読み出した画像信号Ｄ(DGA)とＶＲＡＭ（ＯＳＤ）３４から読み出したＯＳＤ画像信号Ｄosdとを合成して得た画像信号Ｄ(DGB)を表示部４０に出力する画像信号出力部３３とを備える。なお、以下の説明では、画像信号Ｄ(DGB)を単に画像信号Ｄと表記することがある。

次に、表示部４０は、撮像対象となる被写体を示す画像を表示して撮像表示装置１の利用者に被写体の様子を把握させるためのＥＶＦ（Electronic View Finder）であり、画像信号生成部３０が生成した画像信号Ｄに応じた画像を表示するための液晶パネル４２と、液晶パネル４２の動作を制御するＥＶＦコントローラ４１と、を備える。
液晶パネル４２には、画像信号Ｄに応じた画像を表示するための表示領域ＡDが設けられている。表示領域ＡDは、Ｘ軸方向に延在するＭ行の走査線と、Ｙ軸方向に延在するＮ列のデータ線と、走査線及びデータ線の交差に対応しても受けられるＭ行×Ｎ列の画素と、を含んで構成されている（図３（Ｃ）参照）。また、液晶パネル４２は、走査線を選択するための走査線駆動回路４２１と、データ線を駆動するためのデータ線駆動回路４２２と、表示領域ＡDに表示される画像を拡大して観察可能とするための接眼光学系（図示省略）と、を備える。

図３（Ａ）に示すように、イメージセンサ２２は、有効イメージセンサ領域ＡSにおいて、複数の受光素子がＸ軸方向（水平方向）にＱS列、Ｘ軸方向に交差するＹ軸方向（垂直方向）にＰS行（ＰSライン）となるようにマトリックス状に配列されている（ＰSびＱSは、２以上の自然数）。換言すれば、有効イメージセンサ領域ＡSには、Ｘ軸方向に配列されたＱS個の受光素子からなるラインが、Ｙ軸方向にＰS行並ぶように構成されている。各受光素子は、検出した光量に応じた画素データ信号Ｓigを生成する。
また、各受光素子に１対１に対応するように、赤色、緑色、または、青色のうちいずれか１色のカラーフィルターがベイヤー配列で設けられている。以下では、１つの受光素子と、当該１つの受光素子に対応して設けられるカラーフィルターとの組を、イメージセンサ２２の画素と称することがある。

イメージセンサ２２は、撮像表示装置１が撮像モードで動作する場合、有効イメージセンサ領域ＡSに設けられたＰS行×ＱS列の受光素子から出力される画素データ信号Ｓigの全部を静止画用撮像データとして出力することができる。そして、静止画用撮像データが出力されると、後述する画像信号生成部３０が、当該静止画用撮像データに対してフィルタ処理等の各種画像処理を施して静止画データを生成し、生成した静止画データを静止画格納用のメモリカード６３に格納する。

一方、イメージセンサ２２は、撮像表示装置１がライブビューモードで動作する場合、ＰS行×ＱS列の受光素子が出力する画素データ信号Ｓigに対して間引き処理を施すことで画素データ信号Ｓigのデータ画素数サイズを縮小して、図３（Ｂ）に示すようなＰ行×Ｑ列の画素に対応する撮像信号ＤSとして出力する（Ｐは、２≦Ｐ≦ＰSを満たす自然数。Ｑは、２≦Ｑ≦ＱSを満たす自然数）。
なお、イメージセンサ２２は、有効イメージセンサ領域ＡS以外の領域に画素を備えるものであってもよいが、本明細書では簡単のために有効イメージセンサ領域ＡSの画素についての説明は省略する。

また、図３（Ｃ）に示すように、液晶パネル４２には、表示領域ＡDにおいて、複数の画素がＸ軸方向にＮ列、Ｙ軸方向にＭ行（Ｍライン）となるようにマトリックス状に配列されている（Ｍは、２≦Ｍ≦Ｐを満たす自然数。Ｎは、２≦Ｎ≦Ｑを満たす自然数）。換言すれば、表示領域ＡDは、Ｘ軸方向に配列されたＮ個の画素からなるラインが、Ｙ軸方向にＭ行並ぶように構成されている。これらＭ行×Ｎ列の画素は、赤色を表示するための画素、緑色を表示するための画素、及び、青色を表示するための画素を含む。当該表示領域ＡDには、画像信号生成部３０が生成する画像信号Ｄに応じた画像がカラー表示される。
上述のとおり、Ｍ≦Ｐであり、Ｎ≦Ｑである。つまり、有効イメージセンサ領域ＡSに設けられた有効画素数と、表示領域ＡDに設けられた画素数は、異なる場合がある。
なお、図３（Ａ）〜（Ｃ）に示す座標系は、それぞれ、有効イメージセンサ領域ＡSに固定された座標系、撮像信号ＤSを表すための概念上の座標系、及び、表示領域ＡDに固定された座標系であり、これら３つの座標系の各軸の向きは互いに相違するものであってもよい。

上述した画像信号Ｄは、液晶パネル４２の表示領域ＡDに設けられるＭ行×Ｎ列の画素のそれぞれが表示すべきカラー画像（階調）を規定する信号である。以下では、表示領域ＡDで表示すべき画像を示す画像信号Ｄのうち、表示領域ＡDの第ｍ行のラインで表示すべき画像を示す１ライン分の画像信号Ｄを、画像信号Ｄ[m]と表記する（ｍは、１≦ｍ≦Ｍを満たす自然数）。

次に、図１に示すタイミング制御部７０は、撮像垂直同期信号ＳＶsync、撮像水平同期信号ＳＨsync、及び撮像ドットクロック信号ＳCLKを生成し、これらをイメージセンサ２２に出力するとともに、表示垂直同期信号ＤＶsync、表示水平同期信号ＤＨsync、及び表示ドットクロック信号ＤCLKを生成し、これらをＥＶＦコントローラ４１に出力する。

図４は、タイミング制御部７０が生成する、撮像垂直同期信号ＳＶsync、撮像水平同期信号ＳＨsync、及び、撮像ドットクロック信号ＳCLKを説明するためのタイミングチャートである。撮像垂直同期信号ＳＶsyncは、イメージセンサ２２の有効イメージセンサ領域ＡS全体（ＰSライン分）の受光素子から画素データ信号Ｓigを読み出すための撮像垂直走査期間Ｆs（すなわち、撮像部２０のフレーム期間）を規定する信号である。撮像水平同期信号ＳＨsyncは、有効イメージセンサ領域ＡSの１ライン分の受光素子から画素データ信号Ｓigを読み出すための撮像水平走査期間Ｈsを規定する信号である。撮像ドットクロック信号ＳCLKは、有効イメージセンサ領域ＡSの１画素分の受光素子から画素データ信号Ｓigを読み出すためのタイミングを規定する信号である。

図５は、タイミング制御部７０が生成する、表示垂直同期信号ＤＶsync、表示水平同期信号ＤＨsync、及び表示ドットクロック信号ＤCLKを説明するためのタイミングチャートである。表示垂直同期信号ＤＶsyncは、液晶パネル４２の表示領域ＡD全体（Ｍライン分）の画素で画像を表示するための表示垂直走査期間Ｆd（すなわち、表示部４０のフレーム期間）を規定する信号である。表示水平同期信号ＤＨsyncは、表示領域ＡDの１ライン分の画素で画像を表示すための表示水平走査期間Ｈdを規定する信号である。表示ドットクロック信号ＤCLKは、表示領域ＡDの各画素で画像を表示するためのタイミングを規定する信号である。

本実施形態においてイメージセンサ２２における撮像垂直走査期間Ｆsの時間長と表示部４０における表示垂直走査期間Ｆdの時間長とは等しくなるように設定される。一方、撮像水平走査期間Ｈsの時間長と表示水平走査期間Ｈdの時間長とは相違する。
なお、タイミング制御部７０は、画像信号生成部３０に対して各種のタイミング信号を出力するが、その中には、撮像垂直同期信号ＳＶsync、撮像水平同期信号ＳＨsync、撮像ドットクロック信号ＳCLK、表示垂直同期信号ＤＶsync、表示水平同期信号ＤＨsync、及び表示ドットクロック信号ＤCLKの一部または全部が含まれてもよい。

図６は、タイミング制御部７０が生成する各種信号と、液晶パネル４２の表示領域ＡDにおける画像の表示タイミングとの関係を説明するための説明図である。
この図に示すように、表示領域ＡDの有する第１行のラインから第Ｍ行のラインに至るＭ行×Ｎ列の画素は、表示垂直走査期間Ｆdのうち、垂直有効データ期間ＤＶＩにおいて、画像信号Ｄ[1]〜Ｄ[M]の示す１画面分の画像を表示する。
また、表示領域ＡDのうち第ｍ行のラインを構成するＮ個の画素は、表示水平走査期間Ｈdのうち、水平有効データ期間ＤＨＩにおいて、画像信号Ｄ[m]の示す画像を表示する。

＜２．画像処理＞
次に、図７乃至図９を参照しつつ、画像信号生成部３０の詳細と、画像処理部３１で実行される画像処理と、について説明する。

図７は、画像処理部３１の構成を示すブロック図である。
この図に示すように、画像処理部３１は、イメージセンサ２２から出力される撮像信号ＤSを一時的に格納するラインバッファ３１１と、ラインバッファ３１１に格納された撮像信号ＤSに対して補完処理を行う画素補完処理部３１２と、補完された撮像信号ＤSに対して色再現処理（３ｘ３の行列計算）を行う色再現処理部３１３と、色再現された撮像信号ＤSに対してフィルタ処理を行うフィルタ処理部３１４と、フィルタ処理された撮像信号ＤSに対してガンマ補正を施すガンマ補正部３１５と、ガンマ補正された撮像信号ＤSを一時的に格納するラインバッファ３１６と、ラインバッファ３１６に格納された撮像信号ＤSを表示領域ＡDの備える画素数の画像信号Ｄに変換するリサイズ処理を行うリサイズ処理部３１７と、を備える。

図８は、イメージセンサ２２が備える受光素子が出力する画素データ信号Ｓigと、撮像信号ＤSとの関係を説明するための説明図である。上述のとおり、撮像表示装置１が撮像モードで動作する場合、イメージセンサ１２は、図８（Ａ）に示す画素データ信号Ｓigの全部を静止画用撮像データとして出力する。一方、撮像表示装置１がライブビューモードで動作する場合、イメージセンサ１２は、画素データ信号Ｓigを間引きして、図８（Ｂ）に示す撮像信号ＤSを出力する。
図８（Ａ）において、「Ｒ」が付された四角形の各々は、赤色の画素に対応する（赤色光を検出するための）受光素子から出力される画素データ信号Ｓigを示し、「Ｇ」が付された四角形の各々は、緑色の画素の受光素子から出力される画素データ信号Ｓigを示し、「Ｂ」が付された四角形の各々は、青色の画素の受光素子から出力される画素データ信号Ｓigを示す。
また、 図８（Ｂ）において、「Ｒ」が付された四角形の各々は、表示領域ＡDの有する赤色の画素に対応する（赤色の画素で表示すべき階調を指定する）画像信号Ｄを生成するための撮像信号ＤSを示し、「Ｇ」が付された四角形の各々は、表示領域ＡDの有する緑色の画素に対応する画像信号Ｄを生成するための撮像信号ＤSを示し、「Ｂ」が付された四角形の各々は、表示領域ＡDの有する青色の画素に対応する画像信号Ｄを生成するための撮像信号ＤSを示す。
なお、本実施形態では、イメージセンサ２２の有効イメージセンサ領域ＡSおいて、赤色、緑色、及び、青色の画素がベイヤー配列されている場合を想定する。

上述のとおり、イメージセンサ２２は、ＰS行×ＱS列の受光素子が出力する画素データ信号Ｓigに対して加法平均読み出し及び間引き処理を施すことで、Ｐ行×Ｑ列の画素に対応する撮像信号ＤSを出力する。

間引き処理において、イメージセンサ２２は、Ｙ軸方向について、ＰS行の受光素子が出力する画素データ信号Ｓigを、Ｐ行の画素に対応する信号に間引きする。
具体的には、イメージセンサ２２は、ＰS行の中から読み出し対象ラインを選択し、読み出し対象ラインに位置する受光素子が出力する画素データ信号Ｓigを読み出す一方で、読み出し対象ライン以外のラインに位置する受光素子が出力する画素データ信号Ｓigを読み飛ばすことで、Ｙ軸方向の間引きを行う。

本実施形態では、イメージセンサ２２の有効イメージセンサ領域ＡSに設けられる画素の配列がベイヤー配列であるため、奇数ラインに１ラインの割合で読み出し対象ラインを定める。
画素がベイヤー配列されている場合、赤色画素及び緑色画素からなるラインと、緑色画素及び青色画素からなるラインとが、Ｙ軸方向において交互に並んでいる。このため、奇数ラインに１ラインの割合で読み出し対象ラインを定めることで、読み出し後の画素を、赤色画素及び緑色画素からなるラインと、緑色画素及び青色画素からなるラインとが、Ｙ軸方向において交互に並ぶように配列することができ、同色の画素が隣り合うことを防止することができる。
図８（Ａ）に示す例では、Ｙ軸方向において、３ラインに１ラインの割合で読み出し対象ラインを定めている。具体的には、ライン１〜９のうち、ライン１、ライン４、及び、ライン７を読み出し対象ラインとしている。この場合、図８（Ｂ）に示すように、画素データ信号ＳigをＹ軸方向に３分の１に間引いた撮像信号ＤSを得ることができる。

また、イメージセンサ２２は、Ｘ軸方向の加法平均読み出しを行い、ＱS列の受光素子が出力する画素データ信号Ｓigを、Ｑ列の画素に対応する信号（撮像信号ＤS）とする。
具体的には、イメージセンサ２２は、各読み出し対象ラインに位置するＱS個の受光素子を、所定数個の受光素子が１つの組となるようにグループ分けし、各組を構成する所定数個の受光素子が出力する画素データ信号Ｓigの示す値を加法平均することで、ＱS個の受光素子が出力する画素データ信号Ｓigを、「所定数分の１」に縮小する。また，加法平均することで，ローパスフィルターの効果が得られ，折り返しノイズの発生を抑制できる。

イメージセンサ２２の画素がベイヤー配列の場合、各ラインには２色の画素が交互に配列されているため、Ｘ軸方向に１個おきに所定数個の受光素子を１組とするグループ分けを行う。そして、各組を構成する所定数個の受光素子が出力する画素データ信号Ｓigの示す値を加法平均する。
図８（Ａ）に示す例では、Ｘ軸方向において、１個おきに３個の受光素子を１組としてグループ分けし、各組を構成する同色の３個の受光素子が出力する画素データ信号Ｓigの示す値を平均している。具体的には、例えば、ライン１及びライン７において、第１列、第３列、第５列の赤色画素を１組として、当該３個の画素に対応する３個の受光素子が出力する画素データ信号Ｓigの値を加算器Ａve1によって加法平均し、得られた平均値を第１列の赤色画素に対応する撮像信号ＤSの値として設定する。同様に、ライン１及びライン７において、第２列、第４列、第６列の緑色画素に対応する受光素子が出力する画素データ信号Ｓigの値を加算器Ａve2によって加法平均し、得られた平均値を第２列の緑色画素に対応する撮像信号ＤSの値として設定する。この場合、図８（Ｂ）に示すように、画素データ信号ＳigをＸ軸方向に３分の１に縮小した撮像信号ＤSを得ることができる。また，相加平均処理を行う事で，信号のノイズ成分も低下する。

上述のとおり、撮像信号ＤSの示す画像の画素数と、画像信号Ｄの示す画像の画素数（表示領域ＡDの画素数）とは異なる。このため、リサイズ処理部３１７では、撮像信号ＤSを、表示領域ＡDの画素数に対応した画像信号Ｄに変換するリサイズ処理を実行する。

撮像信号ＤSの示す画像は、レンズユニット１０の光学特性に起因する歪曲収差や倍率色収差といった各種の収差を有する場合がある。歪曲収差としては、具体的には、被写体を撮像した際の撮像結果を示す画像が、表示領域ＡDにおいて本来表示すべき画像に比べて画面周辺部の直線が外側に向かって膨張する樽型収差や、または、本来表示すべき画像に比べて画面周辺部の直線が内側に向かって収縮する糸巻形収差がある。
また、倍率色収差は、レンズを通って像を結んだ時、色成分毎に像高がズレ(倍率が違ってくる)る収差である。光線成分の色波長の違いとレンズの屈折率が相違に起因する。倍率色収差については、例えば図９に示すように像高が大きくなると波長の長い光ほど、拡大率が大きくなるため、画面の周辺部において色ズレが大きくなる。
このため、リサイズ処理部３１７では、リサイズ処理において、樽型収差や糸巻型収差等の歪曲収差を補正する歪曲補正処理と倍率色収差とを補正する色収差補正処理も含めて実行する。

以下、図１０を参照しつつ、リサイズ処理の中で実行される歪曲補正処理について説明する。なお、図１０では、説明を簡便化するために撮像信号ＤSの示す画像のライン数が１６ライン（Ｐ＝１６）であり、画像信号Ｄ示す画像のライン数が１２ライン（Ｍ＝１２）である場合を想定している。（実際には，DSは600ラインとか800ラインとかになる。）

図１０（Ｃ）及び（Ｄ）は、被写体を撮像した際に表示領域ＡDに表示されるべき、画像信号Ｄの示す画像を表し、図１０（Ａ）は、樽型収差が生じている場合に撮像信号ＤSの示す画像を表し、図１０（Ｂ）は、糸巻型収差が生じている場合に撮像信号ＤSの示す画像を表している。
すなわち、図１０（Ａ）は、表示領域ＡDに表示すべき画像が四角形ＳQであるのにもかかわらず、撮像信号ＤSが、樽型収差によって四角形ＳQが膨張した閉曲線ＣV1を示す場合を表す。また、図１０（Ｂ）は、表示領域ＡDに表示すべき画像が四角形ＳQであるのにもかかわらず、撮像信号ＤSが、糸巻型収差によって四角形ＳQが収縮した閉曲線ＣV2を示す場合を表す。

リサイズ処理部３１７は、図１０（Ａ）に示すような樽型収差が生じた場合、歪曲補正処理において、図１０（Ａ）に示すような閉曲線ＣV1で示される画像を、図９（Ｃ）に示すような四角形ＳQで示される画像へと補正する。同様に、リサイズ処理部３１７は、図１０（Ｂ）に示すような樽型収差が生じた場合、歪曲補正処理において、図９（Ｂ）に示すような閉曲線ＣV2で示される画像を、図１０（Ｄ）に示すような四角形ＳQで示される画像へと補正する。
これらの場合、リサイズ処理部３１７は、補正前の画像における画素と補正後の画像における画素とを対応付け、補正後の画素に対応する補正前の画素を中心画素とし、中心画素とその周辺の画素である周辺画素とを含む参照領域内の画素の各々で表示する階調に基づいて、補正後の画素の表示すべき階調を決定する。一般的にレンズの歪曲収差である樽型歪や糸巻歪は，レンズの光学中心（画面の中心）からの距離に応じて歪が大きくなる特性があるため，画面の中心からの距離に応じて歪を補正する処理を行う。その結果補正するべきデータ座標が画素のピッチよりも小さい場合は，バイリニア処理などの補完処理により値を階調の値を求める処理を行う事になる。

例えば、リサイズ処理部３１７は、図１０（Ｃ）または（Ｄ）に示す、補正後の画素ＰxS1の階調を決定する場合、図１０（Ａ）または（Ｂ）に示す、補正前の画素ＰxC1を中心画素と定める。そして、リサイズ処理部３１７は、中心画素である画素ＰxC1を含む参照領域Ａrea1内の各画素で表示すべき階調に基づいて、画素ＰxS1で表示すべき階調を定める。
同様に、リサイズ処理部３１７は、図１０（Ｃ）または（Ｄ）に示す、補正後の画素ＰxS2の階調を決定する場合、図１０（Ａ）または（Ｂ）に示す、補正前の画素ＰxC2を中心画素と定める。そして、リサイズ処理部３１７は、中心画素である画素ＰxC2を含む参照領域Ａrea2内の各画素で表示すべき階調に基づいて、画素ＰxS2で表示すべき階調を定める。

なお、図１０（Ｃ）及び（Ｄ）において濃いハッチングを付した画素は、画像信号Ｄにおける第１行、第７行、及び、第１２行に位置する補正後の画素を示し、図１０（Ａ）及び（Ｂ）において濃いハッチングを付した画素は、補正後の画素のそれぞれに対応する補正前の画素（中心画素）を示し、図１０（Ａ）及び（Ｂ）において淡いハッチングを付した画素は、中心画素のそれぞれに対応する周辺画素を示す。

図１０に示す例からも明らかなように、樽型収差が生じている場合の画像の膨張の程度は、画面のラインの位置によって変動し、垂直方向（Ｙ軸方向）の位置が端部に近づくにつれて、画像の膨張の程度は大きくなる。また、糸巻型収差が生じる場合における画像の収縮の程度は、画面のラインの位置によって変動し、垂直方向（Ｙ軸方向）の位置が端部に近づくにつれて、画像の収縮の程度は大きくなる。
よって、リサイズ処理部３１７が画像信号Ｄ[m]を生成する場合に必要となる撮像信号ＤSのライン数は、画像信号Ｄ[m]に対応するラインの位置（ｍの値）により変動する。このため、リサイズ処理部３１７がリサイズ処理に要する時間長は、ラインの位置により変動することになる。

ここで、第ｐ行のラインに対応する撮像信号ＤSを、撮像信号ＤS[p]と表す（ｐは、１≦ｐ≦Ｐを満たす自然数）。
このとき、例えば、図１０に示す例では、リサイズ処理部３１７が、第１行のラインに対応する画像信号Ｄ[1]を生成するためには、第１行〜第５行のラインに対応する撮像信号ＤS[1]〜ＤS[5]が必要となる。これに対して、リサイズ処理部３１７が、第７行のラインに対応する画像信号Ｄ[7]を生成するためには、第８行〜第１０行のラインに対応する撮像信号ＤS[8]〜ＤS[10]が必要となる。つまり、リサイズ処理部３１７が、画像信号Ｄ[1]を生成するために要する時間長は、画像信号Ｄ[7]を生成するために要する時間長よりも長くなる。

以下では、画像信号Ｄ[m]を生成するために必要となる、１または複数ラインの撮像信号ＤS[p]を、撮像信号ＤGS[m]と総称する。
例えば、図１０に示す例では、画像信号Ｄ[1]を生成するために必要となる撮像信号ＤGS[1]は、撮像信号ＤS[1]〜ＤS[5]の５ライン分の撮像信号ＤS[p]であり、画像信号Ｄ[7]を生成するために必要となる撮像信号ＤGS[7]は、撮像信号ＤS[8]〜ＤS[10]の３ライン分の撮像信号ＤS[p]であり、画像信号Ｄ[12]を生成するために必要となる撮像信号ＤGS[12]は、撮像信号ＤS[12]〜ＤS[16]の５ライン分の撮像信号ＤS[p]である。

また、色収差補正処理では、図９に示すように色（光の波長）と像高に応じて定まる倍率色収差を上述した歪曲収差と同様に、画像信号Ｄを像高と色に応じて拡大縮小することによって補正する。

リサイズ処理部３１７は、リサイズ処理が完了し、画像信号Ｄをライン毎に生成すると、生成した１ライン分の画像信号Ｄ[m]をＶＲＡＭ３２に格納する。

ところで、上述した歪曲収差補正処理は、レンズユニット１０の光学特性に応じて変化する。例えば、歪曲収差の小さいレンズユニット１０の場合には、画像信号Ｄ[1]を生成するために必要となる撮像信号ＤGS[1]は、撮像信号ＤS[1]〜ＤS[3]の３ライン分の撮像信号ＤS[p]となる一方、歪曲収差の大きいレンズユニット１０の場合には、画像信号Ｄ[1]を生成するために必要となる撮像信号ＤGS[1]は、撮像信号ＤS[1]〜ＤS[7]の７ライン分の撮像信号ＤS[p]となることもあり得る。
さらに、歪曲収差の程度は、レンズユニット１０の種類、焦点距離やズーム率、絞り値、フォーカス値になどの光学特性に関するパラメーターによって変化する（特に、レンズユニット１０の種類及び焦点距離やズーム率）。したがって、レンズユニット１０の光学特性に関するパラメーターに応じて、歪曲収差補正処理の内容を変更する必要がある。

また、色収差補正処理の内容もレンズユニット１０の光学特性に関するパラメーターに応じて変化する。倍率色収差が大きい場合には、画面の周辺部分において色ズレが大きくなる一方、倍率色収差が小さい場合には、画面の周辺部分において色ズレが小さくなる。倍率色収差の程度は、レンズユニット１０の種類、焦点距離やズーム率、絞り値、フォーカス値になどの光学特性に関するパラメーターによって変化する（特に、レンズユニット１０の種類、焦点距離やズーム率及び絞り値）。したがって、レンズユニット１０の光学特性に関するパラメーターに応じて、色収差補正処理の内容を変更する必要がある。

そこで、本実施形態において、ＣＰＵ５０は、レンズユニット１０から取得した光学特性データＤocpに基づいて、歪曲収差補正処理及び色収差補正処理の内容を指定する補正処理制御信号ＣＴＬを生成し、リサイズ処理部３１７に供給する。リサイズ処理部３１７は補正処理制御信号ＣＴＬで指定される補正処理を実行する。これにより、レンズユニット１０が交換されたり、利用者がレンズユニット１０を操作して、ズーム率、絞り値、あるいはフォーカス値が変化しても、光学特性の変更に応じて、収差補正処理の内容を変更することが可能となる。

＜３．タイミング制御＞
撮像信号ＤSが撮像部２０から出力されてから、画像信号Ｄを表示部４０に出力するまでの時間は、短い程、表示遅れが小さくなるため好ましい。一方、上述した画像処理に要する時間は、リサイズ処理部３１７で実行される歪曲収差補正処理及び色収差補正処理の内容に応じて変化する。上述したようにタイミング制御部７０は、イメージセンサ２２を制御する撮像垂直同期信号ＳＶsync、撮像水平同期信号ＳＨsync、及び、撮像ドットクロック信号ＳCLKを生成するとともに、表示部４０を制御する表示垂直同期信号ＤＶsync、表示水平同期信号ＤＨsync、及び表示ドットクロック信号ＤCLKを生成する。

ここで、撮像信号ＤSのフレームの開始は、撮像垂直同期信号ＳＶsyncによって規定され、画像信号Ｄのフレームの開始は、表示垂直同期信号ＤＶsyncによって規定される。そこで、撮像垂直同期信号ＳＶsyncと表示垂直同期信号ＤＶsyncとの位相差ＴＤをリサイズ処理部３１７で実行される歪曲収差補正処理及び色収差補正処理の内容に応じて変化させることによって、収差補正処理に要する時間を確保しつつ、表示遅れを短くすることが可能となる。

本実施形態のＣＰＵ５０は、光学特性データＤocpに基づいて上述した位相差ＴＤを特定し、タイミング制御部７０に供給する。具体的には、ＣＰＵ５０は、不揮発性メモリ６１に記憶されている位相差テーブルＴＢＬを参照して、位相差ＴＤを特定する。図１１に位相差テーブルＴＢＬの記憶内容の一例を示す。位相差テーブルＴＢＬには、上述した識別データが示すレンズユニットの種類及び焦点距離と、位相差ＴＤとが対応付けて記憶されている。この例において、レンズユニットの種類「WQA00006」及び「SSZ01234」はズームレンズであり、レンズユニットの種類「QRD0002」及び「QRD0007」は単焦点レンズである。また、ズームレンズでは、焦点距離が短くなる程、位相差ＴＤが大きくなっている。これは、広角になる程、歪曲収差が大きくなり、歪曲収差補正に要する時間が長くなるからである。
例えば、光学特性データＤocpに含まれる識別データが「WQA00006」を示し、焦点距離データの示す焦点距離が「70mm」である場合、ＣＰＵ５０は位相差ＴＤとして１０ｍｓを特定し、これをタイミング制御部７０に供給する。
上述したようにＣＰＵ５０は、光学特性データＤocpに基づいて収差補正処理の内容を指定するので、位相差ＴＤは、レンズユニット１０の光学特性に関するパラメーターの変化に追随して変更される収差補正処理に要する所定時間を考慮して、決定されることになる。

なお、位相差テーブルＴＢＬの更新については、以下の方法を採用すればよい。まず、インターネットの特定のサイトから利用者のコンピュータに位相差テーブルＴＢＬをダウンロードしてメモリカード６３に記録する。次に、このメモリカード６３を撮像表示装置１に装着し、メモリカード６３に記録されている位相差テーブルＴＢＬを不揮発性メモリ６１に転送すればよい。位相差テーブルＴＢＬを更新可能とすることにより、新たなレンズユニット１０が発売されても、これに対応した収差補正を実行するとともに、適切な位相差ＴＤを設定することが可能となる。

また、位相差テーブルＴＢＬは、レンズユニット１０の種類及び焦点距離と位相差ＴＤを対応付けるものであったが、レンズユニット１０の種類ごとに個別の位相差テーブルを用意し、各位相差テーブルにズーム率及び絞り値に対応付けて、位相差ＴＤを記憶してもよい。さらに、フォーカス値など他のパラメーターを加えて位相差ＴＤを記憶してもよい。

次に、タイミング制御部７０の具体的な構成について、図１２を参照して説明する。図１２に示すようにタイミング制御部７０は、第1タイミングジェネレータ７０Ａと第２タイミングジェネレータ７０Ｂとを備える。第1タイミングジェネレータ７０Ａは、撮像ドットクロック信号ＳCLKを発生する撮像ドットクロック信号発生部７１と、撮像ドットクロック信号ＳCLKに基づいて、撮像垂直同期信号ＳＶsync及び撮像水平同期信号ＳＨsyncを生成する撮像同期信号発生部７２を備える。

また、第２タイミングジェネレータ７０Ｂは、表示ドットクロック信号ＤCLKを発生する表示ドットクロック信号発生部７３と、表示ドットクロック信号ＤCLKに基づいて、表示垂直同期信号ＤＶsync及び表示水平同期信号ＤＨsyncを生成する表示同期信号発生部７４を備える。さらに、表示同期信号発生部７４は、表示垂直同期信号発生部７４１と表示水平同期信号発生部７４２とを備える。
表示垂直同期信号発生部７４１は、撮像垂直同期信号ＳＶsyncを位相差ＴＤだけ遅延させて表示垂直同期信号ＤＶsyncを生成する。例えば、表示垂直同期信号発生部７４１は、Ｋ個のＤフリップフロップを縦続接続し、各Ｄフリップフロップの出力信号を位相差ＴＤに応じて選択して出力する選択回路とから構成することができる。
この様にすることで，撮像垂直同期信号ＳＶsyncと表示垂直同期信号ＤＶsyncは，位相差ＴＤの時間差を保持した状態で同期化されることになる。
なお，表示水平同期信号発生部７４２は、表示垂直同期信号ＤＶsyncの立下りエッジから表示ドットクロック信号ＤCLKを所定数カウントして１つの表示水平同期パルスを生成し、これを繰り返すことにより表示水平同期信号ＤＨsyncを生成してもよい。

図１３に、位相差ＴＤがΔＴ１である場合と、位相差ＴＤがΔＴ２である場合における撮像垂直同期信号ＳＶsync、撮像信号ＤS、表示垂直同期信号ＤＶsync、及び画像信号Ｄのタイミングチャートを示す。ここで、時刻t0は、撮像信号ＤSのフレームの開始時刻であり、時刻t1は位相差ＴＤがΔＴ１である場合における画像信号Ｄのフレームの開始時刻であり、時刻t2は位相差ＴＤがΔＴ２である場合における画像信号Ｄのフレームの開始時刻である。

位相差ＴＤがΔＴ２である場合は、例えば、リサイズ処理部３１７において収差補正処理を実行しない場合である。この場合は、収差補正処理が実行されないので、ラインバッファ３１６に書き込まれた撮像信号ＤSは、直ちにリサイズ処理部３１７に読み出され、リサイズされた後、ＶＲＡＭ３２に格納される。そして、表示部４０のフレーム周期の時間長は、イメージセンサ２２のフレーム周期と同一の時間となり、且つ撮像信号ＤSが画像信号生成部３０に供給されてから、画像信号Ｄが表示部４０に出力されるまでの時間がΔＴ２となるようにＶＲＡＭ３２から画像信号Ｄが読み出される。

位相差ＴＤがΔＴ１である場合は、例えば、リサイズ処理部３１７において収差補正処理を実行する場合である。この場合は、収差補正処理を実行するために、ラインバッファ３１６に処理に必要なライン数分の撮像信号ＤSを記憶する。そして、リサイズ処理部３１７は保存された撮像信号ＤSを参照して表示用の画像信号Ｄを生成しＶＲＡＭ３２に格納する。この場合、処理対象となる画像信号Ｄのラインの位置に応じて参照すべき撮像信号ＤSのラインが異なるため、フレーム内でのラインに応じて画像信号Ｄの生成タイミングが変化する。ここで、あるラインの画像信号Ｄを生成するために参照すべき撮像信号ＤSのライン数が最も大きい場合に収差補正処理に要する時間が最大となる。その最大時間をｔmaxとすると、ΔＴ１は、ΔＴ１＝ΔＴ２＋tmaxとなる。すなわち、位相差ＴＤは、第１ラインから第Ｍラインの画像信号Ｄ[1]〜Ｄ[M]を生成する場合に、最も参照ライン数が大きいラインについての処理時間である最大時間ｔmaxを考慮して決定される。

このように本実施形態においては、レンズユニット１０の光学特性に応じて、画像処理の内容を変更し、これに伴って、撮像部２０におけるフレームの開始から表示部４０のフレームの開始までの位相差ＴＤを変更した。この結果、レンズユニット１０の光学特性が小さな収差を有する場合には、収差補正処理に要する時間が短くなるのに伴って、位相差ＴＤを小さくすることにより、撮像から表示までの時間遅れを短縮する一方、レンズユニット１０の光学特性が大きな収差を有する場合には、収差補正処理に要する時間が長くなるのに伴って、位相差ＴＤを大きくすることにより、収差補正処理の時間を確保しつつ、撮像から表示までの時間遅れを適切に制御することが可能となる。

また、交換可能なレンズユニット１０から光学特性データＤocpを本体に送信するので、新たなレンズユニット１０が発売された場合であっても、位相差テーブルＴＢＬを更新することによって、撮像から表示までの時間遅れを最短化することが可能となる。

さらに、本実施形態では、まず、撮像部２０を制御する撮像垂直同期信号ＳＶsyncを生成し、これを遅延させて、表示部４０を制御する表示垂直同期信号ＤＶsyncを生成した。このため、撮像部２０のフレーム周期の時間長に表示部４０のフレーム周期の時間長を合わせることができる。撮像部２０のフレーム周期は、イメージセンサ２２で撮像する画像の明るさに応じて定めることができる。よって、表示部４０のフレーム周期よりも撮像部２０のフレーム周期を優先させることにより、表示画像の品質の低下を抑えることができる。
さらに、最初に表示垂直同期信号ＤＶsyncを生成し、これを遅延させて、撮像垂直同期信号ＳＶsyncを生成すると、電源を投入した直後には、撮像部２０が動作可能であるにも拘わらず、撮像信号ＤSを生成することができず、画像を表示させることができない。これに対して、撮像垂直同期信号ＳＶsyncを遅延させて表示垂直同期信号ＤＶsyncを生成することにより、電源を投入した直後であっても迅速に画像を表示することが可能となる。

＜４．応用例＞
上述した実施形態では、撮像表示装置１を、ミラーレスデジタル一眼レフカメラを一例として説明したが、撮像表示装置１は各種の電子機器に応用することが可能である。
＜応用例１＞
撮像表示装置１を、レンズユニット１０の交換がないデジタルカメラに適用してもよい。この場合、焦点距離、ズーム率、絞り値、あるいはフォーカス値といったレンズユニット１０の光学特性に関するパラメーターの少なくなくとも一つに応じて収差補正の処理内容及び位相差ＴＤを決定すればよい。また、例えば、ズーム、フォーカス、絞りなどを利用者の操作によって定めるマニュアル機能を搭載しておらず、本体側からの制御によって、これを設定するデジタルカメラにおいては、これらのパラメーターが本体で取得できるのであれば、レンズユニット１０から光学特性データＤocpを送信する必要はない。

＜応用例２＞
倍率を可変できる電子双眼鏡や電子望遠鏡に撮像表示装置１を応用してもよい。この場合には、倍率（レンズの光学特性に関するパラメーター）に応じて、収差補正処理の内容を変更し、これに伴い位相差ＴＤを定めることにより、撮像から表示までの時間遅れを最短化することが可能となる。

＜応用例３＞
車両に用いられるサイドミラーやバックミラーの替りに、電子的な撮像表示システムを用いる場合、これに上述した撮像表示装置１を応用してもよい。車載用の撮像表示システムにおいては、車両が高速で移動する点を考慮する必要がある。すなわち、イメージセンサ２２で被写体を撮像してから、表示部４０で画像を表示するまでの時間遅れを短縮することが安全な運行に重要である。上述した撮像表示装置１を用いると、電子双眼鏡や電子望遠鏡と同様に、光学ズームによって変化する倍率に応じて、収差補正処理の内容を変更し、これに伴い位相差ＴＤを定めることにより、撮像から表示までの時間遅れを最短化することが可能となる。

＜５．変形例＞
以上の各形態は多様に変形され得る。具体的な変形の態様を以下に例示する。以下の例示から任意に選択された２以上の態様は、相互に矛盾しない範囲内で適宜に併合され得る。なお、以下において説明する変形例では、説明の重複を避けるため、上述した本発明の実施形態との共通点については説明を省略する。

＜変形例１＞
上述した実施形態では、撮像垂直同期信号ＳＶsyncを位相差ＴＤだけ遅延させて表示垂直同期信号ＤＶsyncを生成したが、本発明はこれに限定されるものではなく、表示垂直同期信号ＤＶsyncを位相差ＴＤ’だけ遅延させて撮像垂直同期信号ＳＶsyncを生成してもよい。この場合、画像信号Ｄのフレーム周期の時間長をＴｘとすると、ＴＤ’＝ Ｔｘ-ＴＤとなる。（ここで，ＴｘはＦdである。）
また、タイミング制御部７０は図１４に示すように構成することができる。撮像水平同期信号発生部７２２は、撮像垂直同期信号ＳＶsyncの立下りエッジから撮像ドットクロック信号ＳCLKを所定数カウントして１つの撮像水平同期パルスを生成し、これを繰り返すことにより撮像水平同期信号ＳＨsyncを生成してもよい。

＜変形例２＞
上述した実施形態及び変形例において、ＣＰＵ５０は、位相差テーブルＴＢＬを参照して位相差ＴＤを決定したが、本発明はこれに限定されるものではなく、光学特性に関するパラメーターに基づいて位相差ＴＤを決定するのであればどのような方法であってもよい。例えば、ＣＰＵ５０は、演算によって位相差ＴＤを決定してもよい。この場合には、光学特性データＤocpの識別データごとに演算式を用意し、当該演算式に光学特性に関するパラメーターを代入することによって位相差ＴＤを算出してもよい。
また、ＣＰＵ５０は、レンズユニット１０の光学特性に関するパラメーターの全てを用いて決定する必要はなく、そのうちの少なくとも一つに基づいて位相差ＴＤを決定してもよい。
さらに、レンズユニット１０のＣＰＵ１５が、位相差ＴＤを決定してもよい。この場合、ＣＰＵ１５は、光学特性に関するパラメーターの一つとして位相差ＴＤを含む光学特性データＤocpを生成し、本体に送信すればよい。

＜変形例３＞
上述した実施形態及び変形例では、表示部４０が液晶パネル４２を備える場合を例示したが、本発明はこのような態様に限定されるものではなく、ＯＬＥＤ（organic light emitting diode）パネル、プラズマ表示パネル等の表示素子を用いてもよい。

＜変形例４＞
上述した実施形態及び変形例では、画像信号生成部３０と表示部４０との間のデータ伝送をパラレルインタフェースによって行うが、低電圧差動（ＬＶＤＳ）の高速シリアルインタフェースによって行うようにしてもよい。

＜変形例５＞
上述した実施形態及び変形例では、撮像表示装置１に表示部４０が内蔵されているが、本発明はこのような態様に限定されるものではなく、表示部４０をデジタルカメラの外部に接続するファインダー（表示装置）等として構成してもよい。

１……撮像表示装置、１０……レンズユニット、２０……撮像部、２２……イメージセンサ、３０……画像信号生成部、３１……画像処理部、３２……ＶＲＡＭ、３３……画像出力部、４０……表示部、４１……ＥＶＦコントローラ、４２……液晶パネル、５０……ＣＰＵ、６０……操作部、７０……タイミング制御部、ＴＢＬ……位相差テーブル。

Claims (6)

1. レンズユニットを介して被写体を撮像して得た撮像信号を出力する撮像部と、
   前記撮像信号に少なくとも前記レンズユニットの光学特性に応じた画像処理を施して画像信号を生成する画像信号生成部と、
   前記画像信号生成部から出力される前記画像信号に基づいて画像を表示する表示部と、
   前記撮像信号のフレームの開始から前記画像信号のフレームの開始までの位相差を、前記レンズユニットの光学特性に応じて変更するように前記撮像部、前記画像処理部、及び前記表示部を制御するタイミング制御部と、
   を備えることを特徴とする撮像表示装置。
2. 前記レンズユニットは、当該レンズユニットの前記光学特性に関するパラメーターを示す光学特性データを出力し、
   前記レンズユニットから取得した前記光学特性データに基づいて前記位相差を決定する制御部を備える、
   ことを特徴とする請求項１に記載の撮像表示装置。
3. 前記レンズユニットは、本体から着脱可能であり、
   前記光学特性データに関するパラメーターは、前記レンズユニットの種類を識別するための識別データを含み、
   前記画像信号生成部は、前記画像処理の一部として、前記光学特性データに応じて前記レンズユニットの収差を補正する収差補正処理を実行し、
   前記制御部は、前記収差補正処理に要する時間を考慮して前記位相差を決定する、
   ことを特徴とする請求項２に記載の撮像表示装置。
4. 前記光学特性データに関するパラメーターは、ズーム率を示すズーム率データ、及び焦点距離を示す焦点距離データのうち少なくとも一つを含み、
   前記画像信号生成部は、前記画像処理の一部として、前記光学特性データに応じて前記レンズユニットの収差を補正する収差補正処理を実行し、
   前記制御部は、前記収差補正処理に要する時間を考慮して前記位相差を決定する、
   ことを特徴とする請求項２又は３に記載の撮像表示装置。
5. 前記タイミング制御部は、
   前記撮像信号のフレームの開始を規定する撮像垂直同期信号を生成した後、前記撮像垂直同期信号を前記位相差だけ遅延させて、前記画像信号のフレームの開始を規定する表示垂直同期信号を生成し、
   前記撮像垂直同期信号を前記撮像部に供給するとともに、前記表示垂直同期信号を前記表示部に供給する、
   ことを特徴とする請求項１乃至４のうち何れか１項に記載の撮像表示装置。
6. レンズユニットを介して被写体を撮像して得た撮像信号を出力する撮像部と、前記撮像信号に少なくとも前記レンズユニットの光学特性に応じた画像処理を施して画像信号を生成する画像信号生成部と、前記画像信号生成部から出力される前記画像信号に基づいて画像を表示する表示部とを備えた撮像表示装置の制御方法であって、
   前記レンズユニットの光学特性を取得し、
   前記撮像信号のフレームの開始から前記画像信号のフレームの開始までの位相差を、取得したレンズユニットの光学特性に応じて変更するように前記撮像部、前記画像処理部、及び前記表示部を制御する、
   ことを特徴とする撮像表示装置の制御方法。
   

Images