JP2009260916A - 撮像装置、および信号処理方法、並びにコンピュータ・プログラム - Google Patents
撮像装置、および信号処理方法、並びにコンピュータ・プログラム Download PDFInfo
- Publication number
- JP2009260916A JP2009260916A JP2008287366A JP2008287366A JP2009260916A JP 2009260916 A JP2009260916 A JP 2009260916A JP 2008287366 A JP2008287366 A JP 2008287366A JP 2008287366 A JP2008287366 A JP 2008287366A JP 2009260916 A JP2009260916 A JP 2009260916A
- Authority
- JP
- Japan
- Prior art keywords
- image
- signal processing
- live view
- output
- signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Transforming Light Signals Into Electric Signals (AREA)
Abstract
【課題】1つの信号処理チップに記録用画像とライブビュー画像を時分割で入力し、ライブビュー画像の消失及び表示遅れを低減する構成を実現する。
【解決手段】記録用画像を取得するセンサと、ライブビュー画像を取得するセンサを含む複数センサの出力を時分割で切り替えて信号処理部に出力する入力切り替え部において、記録用画像の画像フレームの水平ブランキング区間、または水平ラインデータ内にライブビュー画像の構成データを挟み込んだ出力データを生成して信号処理部に出力する。本構成により単一の信号入力部を有する汎用的な信号処理部を利用して複数のセンサ出力に対する信号処理を行うことが可能となり、またサブイメージセンサのライブビュー画像のモニタ表示の遅れや消失を低減することが可能となる。
【選択図】図10
【解決手段】記録用画像を取得するセンサと、ライブビュー画像を取得するセンサを含む複数センサの出力を時分割で切り替えて信号処理部に出力する入力切り替え部において、記録用画像の画像フレームの水平ブランキング区間、または水平ラインデータ内にライブビュー画像の構成データを挟み込んだ出力データを生成して信号処理部に出力する。本構成により単一の信号入力部を有する汎用的な信号処理部を利用して複数のセンサ出力に対する信号処理を行うことが可能となり、またサブイメージセンサのライブビュー画像のモニタ表示の遅れや消失を低減することが可能となる。
【選択図】図10
Description
本発明は、撮像装置、および信号処理方法、並びにコンピュータ・プログラムに関する。さらに詳細には、一眼レフカメラにおいて、LCDなどのモニタに画像を表示するライブビュー機能を持つ撮像装置、および信号処理方法、並びにコンピュータ・プログラムに関する。
さらに詳細には、本発明は記録用画像を取得するメインイメージセンサとライブビュー画像を取得するサブイメージセンサとを含む複数のセンサ出力を、時分割で信号処理部に出力する構成を有する撮像装置、および信号処理方法、並びにコンピュータ・プログラムに関する。
従来、カメラで被写体を観察する場合、光学式ビューファインダ(OVF:Optical View Finder)を介して観察する構成が主流であったが、昨今、イメージセンサ(撮像素子)の出力をカメラ背面などに設けたLCDなどのディスプレイに表示するライブビュー表示機能を有するカメラが増加している。光学式ビューファインダ(OVF)に対して、LCDなどのディスプレイをファインダとして利用する構成は電子式ビューファィンダ(EVF:Electeic View Finder)と呼ばれる。なお光学式ビューファインダ(OVF)と電子式ビューファィンダ(EVF)とを備えたカメラについては例えば特許文献1に記載されている。
ディスプレイをファインダとするライブビュー表示機能を有するカメラでは、ライブビュー表示のためにイメージセンサ(撮像素子)の出力信号処理が必要となる。また、撮影記録処理においてもイメージセンサ(撮像素子)の出力信号処理が必要となる。例えばイメージセンサの出力に対するホワイトバランス調整、ゲイン制御、γ補正、色補正などの様々な信号処理がICチップなどによって構成される画像信号処理回路において実行される。
表示処理を行わず、撮像素子の出力を記録処理にのみ利用する場合には、図1に示すように、イメージセンサ1の出力を1つの信号処理チップ2に出力し、信号処理チップ2の出力を記録すればよく、信号処理チップ2は記録処理に際してのみ利用されることになる。なお、イメージセンサ1と信号処理チップ2間のデータ転送には、例えば高速データ転送を実現するsubLVDS(Sub−Low Voltage Differential Signal)伝送方式が利用される。
一方、ライブビュー表示機能を有するカメラの場合、記録処理用のデータを出力するイメージセンサの他に、ライブビュー表示用のデータを出力するサブイメージセンサを設けて、それぞれのイメージセンサの出力を信号処理することが必要となる。例えば2以上の複数個(N個)のイメージセンサを有する設定とした場合、図2に示すようにイメージセンサ3−1、3−2、…、3−Nと信号処理チップ4−1、4−2、…、4−Nの1対1接続構成を複数系統(N系統)用いる設定が考えられる。しかし信号処理チップは比較的高価であり、このような構成とすることはコストアップを招く要因となる。
高価な信号処理チップの使用数を削減するための構成としては図3のような構成が考えられる。図3のように1つの信号処理チップ6に、複数のイメージセンサ5−1、5−2、…、5−Nからの入力部としてのインターフェースを設ける構成である。それぞれのイメージセンサ5−1、5−2、…、5−Nからの信号を信号処理チップ6内で切り替えて処理を実行する。しかしこのような構成とするためには、信号処理チップ6に複数の入力を実現するためのインターフェース機能や処理信号を切り替える切り替え機能を付加することが必要となり、既存のチップを利用することは出来なくなり、新たなチップの開発が必要となるという問題がある。
特開2006−267381号公報
本発明は、1つの入力信号用インターフェースを備えた既存の信号処理チップに何ら変更を加えることなく、複数のイメージセンサの出力を単独の信号処理チップで処理することを可能とするとともに、ライブビュー画像の未表示期間を短縮することを可能とした撮像装置、および信号処理方法、並びにコンピュータ・プログラムを提供することを目的とする。
本発明の第1の側面は、
記録用画像を取得するメインイメージセンサと、
ライブビュー画像を取得するサブイメージセンサと、
前記メインイメージセンサおよびサブイメージセンサを含む複数のセンサ出力を入力し、入力した複数センサ出力を時分割で切り替えて信号処理部に出力する入力切り替え部と、
前記メインイメージセンサと前記サブイメージセンサを含む複数のセンサ出力の時分割切り替え信号を前記入力切り替え部から入力し、入力信号に対する信号処理を実行する信号処理部を有し、
前記入力切り替え部は、
記録用画像の画像フレームの水平ブランキング区間、または水平ラインデータ内にライブビュー画像の構成データを挟み込んだ出力データを生成して信号処理部に出力することを特徴とする撮像装置にある。
記録用画像を取得するメインイメージセンサと、
ライブビュー画像を取得するサブイメージセンサと、
前記メインイメージセンサおよびサブイメージセンサを含む複数のセンサ出力を入力し、入力した複数センサ出力を時分割で切り替えて信号処理部に出力する入力切り替え部と、
前記メインイメージセンサと前記サブイメージセンサを含む複数のセンサ出力の時分割切り替え信号を前記入力切り替え部から入力し、入力信号に対する信号処理を実行する信号処理部を有し、
前記入力切り替え部は、
記録用画像の画像フレームの水平ブランキング区間、または水平ラインデータ内にライブビュー画像の構成データを挟み込んだ出力データを生成して信号処理部に出力することを特徴とする撮像装置にある。
さらに、本発明の撮像装置の一実施態様において、前記入力切り替え部は、記録用画像フレームを構成する水平ラインデータの同期コード、およびライブビュー画像フレームを構成する水平ラインデータの同期コード中に、記録用画像の構成ラインであるかライブビュー画像の構成ラインであるかを示す画像識別コードを設定して信号処理部に出力することを特徴とする。
さらに、本発明の撮像装置の一実施態様において、前記入力切り替え部は、記録用画像の画像フレームの水平ブランキング区間に、ライブビュー画像フレームを構成する1以上の水平ラインデータを挟み込んだ出力データを生成して信号処理部に出力することを特徴とする。
さらに、本発明の撮像装置の一実施態様において、前記入力切り替え部は、記録用画像の画像フレームの1つの水平ラインデータ中に、ライブビュー画像フレームを挟み込んだ出力データを生成して信号処理部に出力することを特徴とする。
さらに、本発明の撮像装置の一実施態様において、前記入力切り替え部は、記録用画像の画像フレームの1つの水平ラインデータ中に、ライブビュー画像フレームを構成する1以上の水平ラインデータを挟み込んだ出力データを生成して信号処理部に出力することを特徴とする。
さらに、本発明の撮像装置の一実施態様において、前記入力切り替え部は、前記記録用画像の出力チャネル数以下のチャネル数で前記ライブビュー画像を前記信号処理部に出力する構成であることを特徴とする。
さらに、本発明の撮像装置の一実施態様において、前記入力切り替え部は、前記記録用画像およびライブビュー画像を、subLVDS(Sub−Low Voltage Differential Signal)伝送方式を利用して出力する構成であることを特徴とする。
さらに、本発明の撮像装置の一実施態様において、前記入力切り替え部は、前記メインイメージセンサ出力またはサブイメージセンサ出力の少なくともいずれかをメモリに一時的に記憶し、前記メモリからセンサ出力を読み出して前記信号処理部に対して出力する処理を実行する構成であることを特徴とする。
さらに、本発明の撮像装置の一実施態様において、前記メモリは高速読み出し可能なメモリであることを特徴とする。
さらに、本発明の撮像装置の一実施態様において、前記信号処理部は、前記メインイメージセンサのセンサ出力を格納する第1バッファと、前記サブイメージセンサのセンサ出力を格納する第2バッファと、記録用画像またはライブビュー画像の生成を行う出力信号生成部を有し、前記出力信号生成部は、前記第1バッファからの読み出し信号に基づいて記録用画像を生成し、前記第2バッファからの読み出し信号に基づいてライブビュー画像の生成を行う構成である。
さらに、本発明の撮像装置の一実施態様において、前記出力信号生成部は、前記第1バッファの格納データに対する処理を行う第1出力信号生成部と、前記第2バッファの格納データに対する処理を行う第2出力信号生成部を有し、前記第1出力信号生成部による前記第1バッファからのデータ読み出し処理と、前記第2出力信号生成部による前記第2バッファからのデータ読み出し処理とを並列に実行する構成である。
さらに、本発明の撮像装置の一実施態様において、前記入力切り替え部は、前記ライブビュー画像の水平同期信号区間をスロットパルスによって区分したスロットをセンサ出力信号の転送期間単位として設定してセンサ出力信号の転送処理を行なう構成であり、前記信号処理部は、前記入力切り替え部からの入力信号の区切りを、前記スロットを単位として識別する構成である。
さらに、本発明の撮像装置の一実施態様において、前記入力切り替え部は、前記ライブビュー画像の水平同期信号区間の先頭スロットまたは先行スロットをライブビュー画像の転送スロットとし、ライブビュー画像の転送スロット以外のスロットを記録用画像の転送スロットとして設定したセンサ出力信号転送処理を行ない、前記信号処理部は、前記入力切り替え部からの入力信号を、前記スロットを単位として識別する構成である。
さらに、本発明の第2の側面は、
撮像装置のイメージセンサの出力に対する信号処理方法であり、
メインイメージセンサが、記録用画像を取得するメインイメージ取得ステップと、
サブイメージセンサが、ライブビュー画像を取得するサブイメージ取得ステップと、
入力切り替え部が、前記メインイメージセンサおよびサブイメージセンサを含む複数のセンサ出力を入力し、入力した複数センサ出力を時分割で切り替えて信号処理部に出力する入力切り替えステップと、
信号処理部が、前記メインイメージセンサと前記サブイメージセンサを含む複数のセンサ出力の時分割切り替え信号を前記入力切り替え部から入力し、入力信号に対する信号処理を実行する信号処理ステップとを有し、
前記入力切り替えステップは、
記録用画像の画像フレームの水平ブランキング区間、または水平ラインデータ内にライブビュー画像の構成データを挟み込んだ出力データを生成して信号処理部に出力するステップであることを特徴とする信号処理方法にある。
撮像装置のイメージセンサの出力に対する信号処理方法であり、
メインイメージセンサが、記録用画像を取得するメインイメージ取得ステップと、
サブイメージセンサが、ライブビュー画像を取得するサブイメージ取得ステップと、
入力切り替え部が、前記メインイメージセンサおよびサブイメージセンサを含む複数のセンサ出力を入力し、入力した複数センサ出力を時分割で切り替えて信号処理部に出力する入力切り替えステップと、
信号処理部が、前記メインイメージセンサと前記サブイメージセンサを含む複数のセンサ出力の時分割切り替え信号を前記入力切り替え部から入力し、入力信号に対する信号処理を実行する信号処理ステップとを有し、
前記入力切り替えステップは、
記録用画像の画像フレームの水平ブランキング区間、または水平ラインデータ内にライブビュー画像の構成データを挟み込んだ出力データを生成して信号処理部に出力するステップであることを特徴とする信号処理方法にある。
さらに、本発明の信号処理方法の一実施態様において、前記入力切り替えステップは、記録用画像フレームを構成する水平ラインデータの同期コード、およびライブビュー画像フレームを構成する水平ラインデータの同期コード中に、記録用画像の構成ラインであるかライブビュー画像の構成ラインであるかを示す画像識別コードを設定して信号処理部に出力するステップであることを特徴とする。
さらに、本発明の信号処理方法の一実施態様において、前記入力切り替えステップは、記録用画像の画像フレームの水平ブランキング区間に、ライブビュー画像フレームを構成する1以上の水平ラインデータを挟み込んだ出力データを生成して信号処理部に出力するステップであることを特徴とする。
さらに、本発明の信号処理方法の一実施態様において、前記入力切り替えステップは、記録用画像の画像フレームの1つの水平ラインデータ中に、ライブビュー画像フレームを挟み込んだ出力データを生成して信号処理部に出力するステップであることを特徴とする。
さらに、本発明の信号処理方法の一実施態様において、前記入力切り替えステップは、記録用画像の画像フレームの1つの水平ラインデータ中に、ライブビュー画像フレームを構成する1以上の水平ラインデータを挟み込んだ出力データを生成して信号処理部に出力するステップであることを特徴とする。
さらに、本発明の信号処理方法の一実施態様において、前記入力切り替えステップは、前記記録用画像の出力チャネル数以下のチャネル数で前記ライブビュー画像を前記信号処理部に出力するステップであることを特徴とする。
さらに、本発明の第3の側面は、
撮像装置のイメージセンサの出力に対する信号処理を実行させるコンピュータ・プログラムであり、
メインイメージセンサに、記録用画像を取得させるメインイメージ取得ステップと、
サブイメージセンサに、ライブビュー画像を取得させるサブイメージ取得ステップと、
入力切り替え部に、前記メインイメージセンサおよびサブイメージセンサを含む複数のセンサ出力を入力させ、入力した複数センサ出力を時分割で切り替えて信号処理部に出力させる入力切り替えステップと、
信号処理部に、前記メインイメージセンサと前記サブイメージセンサを含む複数のセンサ出力の時分割切り替え信号を前記入力切り替え部から入力させ、入力信号に対する信号処理を実行させる信号処理ステップとを有し、
前記入力切り替えステップは、
記録用画像の画像フレームの水平ブランキング区間、または水平ラインデータ内にライブビュー画像の構成データを挟み込んだ出力データを生成して信号処理部に出力させるステップであることを特徴とするコンピュータ・プログラムにある。
撮像装置のイメージセンサの出力に対する信号処理を実行させるコンピュータ・プログラムであり、
メインイメージセンサに、記録用画像を取得させるメインイメージ取得ステップと、
サブイメージセンサに、ライブビュー画像を取得させるサブイメージ取得ステップと、
入力切り替え部に、前記メインイメージセンサおよびサブイメージセンサを含む複数のセンサ出力を入力させ、入力した複数センサ出力を時分割で切り替えて信号処理部に出力させる入力切り替えステップと、
信号処理部に、前記メインイメージセンサと前記サブイメージセンサを含む複数のセンサ出力の時分割切り替え信号を前記入力切り替え部から入力させ、入力信号に対する信号処理を実行させる信号処理ステップとを有し、
前記入力切り替えステップは、
記録用画像の画像フレームの水平ブランキング区間、または水平ラインデータ内にライブビュー画像の構成データを挟み込んだ出力データを生成して信号処理部に出力させるステップであることを特徴とするコンピュータ・プログラムにある。
なお、本発明のプログラムは、例えば、様々なプログラム・コードを実行可能な汎用システムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体によって提供可能なプログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、コンピュータ・システム上でプログラムに応じた処理が実現される。
本発明のさらに他の目的、特徴や利点は、後述する本発明の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
本発明の一実施例の構成によれば、記録用画像を取得するメインイメージセンサと、ライブビュー画像を取得するサブイメージセンサを含む複数のセンサ出力を時分割で切り替えて信号処理部に出力する入力切り替え部を設定し、入力切り替え部において、記録用画像の画像フレームの水平ブランキング区間、または水平ラインデータ内にライブビュー画像の構成データを挟み込んだ出力データを生成して信号処理部に出力する構成とした。本構成により単一の信号入力部を有する汎用的な信号処理部を利用して複数のセンサ出力に対する信号処理を行うことが可能となり、またサブイメージセンサのライブビュー画像のモニタ表示の遅れや消失を低減することが可能となる。
以下、図面を参照しながら本発明の実施形態に係る撮像装置、および信号処理方法、並びにコンピュータ・プログラムの詳細について説明する。なお、説明は、以下の項目に従って行う。
(1)撮像装置の構成例について
(2)本発明の基本構成について
(3)本発明の具体的な実施例の構成および処理例
(4)各画像対応の独立バッファを設定した構成例
(5)画像の転送区切り情報であるスロットを利用した構成例
(1)撮像装置の構成例について
(2)本発明の基本構成について
(3)本発明の具体的な実施例の構成および処理例
(4)各画像対応の独立バッファを設定した構成例
(5)画像の転送区切り情報であるスロットを利用した構成例
[(1)撮像装置の構成例について]
まず、本発明の適用可能なカメラの一構成例について、図4、図5を参照して説明する。図4は、本発明の適用可能なカメラの一構成例である一眼レフカメラの内部構成を示す図であり、図5は、そのハードウェア構成を示す図である。
まず、本発明の適用可能なカメラの一構成例について、図4、図5を参照して説明する。図4は、本発明の適用可能なカメラの一構成例である一眼レフカメラの内部構成を示す図であり、図5は、そのハードウェア構成を示す図である。
なお、図4、図5に示すメインイメージセンサ35が、記録用の画像信号を出力するイメージセンサであり、サブイメージセンサ23が、モニタ40に対するライブビュー表示用の画像信号を出力するイメージセンサである。これらは例えばCMOS、CCDなどによって構成され、これら2つのセンサからの出力は、単一の信号処理チップ、すなわち、図5に示す信号処理部(ICチップ)77に入力されて信号処理が実行される。なおセンサと信号処理部間のデータ転送および信号処理構成については後段で詳細に説明する。
図4に示すデジタル一眼レフカメラ(以下、カメラと略記する)は、図示されない交換レンズと、カメラ本体部としてのカメラボディ10から主に構成されており、カメラボディ10の前面部に設けられたボディマウント45に、所望の交換レンズが着脱自在に装着される。
図示されない交換レンズより入射された被写体光束は、その一部がハーフミラーで構成されたメインミラー11の表面で反射され、さらにスクリーン12を介してプリズム13に入射する。プリズム13に入射された被写体光束は、プリズム13内の反射面とミラーA(以下、ミラー(A)と記す)15で反射され、複数のレンズで構成されるリレー系レンズ16を介して、更にミラーB(以下、ミラー(B)と記す)17及びミラーC(以下、ミラー(C)と記す)18で反射され、複数のレンズで構成された接眼系レンズ(ルーペ光学系)20を通って、図示されない撮影者の眼により観察される。なお、上記プリズム13、ミラー(A)15、リレー系レンズ16、ミラー(B)17及びミラー(C)18は、リレー光学系を構成している。これらリレー光学系は、スクリーン12上に結像された被写体像を、ミラー(C)18と接眼系レンズ20の間に再結像させるためのものである。
上記ミラー(B)17はハーフミラーで構成されているもので、その入射光の一部はミラー(B)17を透過し、該ミラー(B)17の後方に配置された再結合光学系の再結像系レンズ22を介してサブイメージセンサ23に導かれる。このサブイメージセンサ23は、後述する第1の撮像素子であるメインイメージセンサ35に対して第2の撮像素子を構成しているもので、スルー画としてほぼリアルタイムの動画像をモニタ40に表示するための画像信号を生成するイメージセンサである。すなわちライブビュー画像(LV画像)を生成するためのイメージセンサである。
メインミラー11を透過した被写体光束は、メインミラー11の裏面側に取り付けられたサブミラー30によって反射されて自動測距を行うためのAFユニット31に導かれる。また、上記メインミラー11は、軸11aを中心に回動可能に設けられている。被写体観察時は図示される実線位置に配置され、前述したライブビュー画像(LV画像)を生成するためのイメージセンサであるサブイメージセンサ23側に光路が設定される。
撮影の開始時は、軸11aを回動中心に上方に移動して、図示される点線位置(退避位置)に移動(UP)し、撮影が終了すると、軸11aを回動中心に下方に移動して、図示される実線位置に移動(DOWN)する。すなわち、このUP〜DOWN期間は、ライブビュー画像(LV画像)を生成するためのイメージセンサであるサブイメージセンサ23側に対する光路が遮断される。なお、サブミラー30は、メインミラー11が退避位置に移動される際に折りたたまれて、メインミラー11と共に退避位置に移動される。
撮影光軸上でメインミラー11の後方には、フォーカルプレーンシャッタ33、ローパスフィルタ34、及びイメージャプレート36に装着された第1の撮像素子としてのメインイメージセンサ35が配設されている。また、イメージャプレート36の後方には、種々の電気部品が装填された基板38が配置されている。更に、この基板38の後方には、液晶ディスプレイ等で構成された表示手段としてのモニタ40が配置されている。撮影者は、カメラボディ10の背面側に設けられたモニタ窓41を通して、モニタ40の画面に表示された画像を視認することができる。
このモニタ40には、前述したように、ライブビュー画像(LV画像)を生成するためのイメージセンサであるサブイメージセンサ23によって取得されるイメージが表示される。
図5は、本実施形態に於けるデジタル一眼レフカメラの電気系の構成を示すブロック図である。なお、このカメラのブロック図は、図4参照して説明したボディマウント45に交換レンズ80が装着された状態を示している。
図5において、制御部50は、このカメラ全体の制御を司ると共に演算を行うための制御手段であり、例えばCPU等により構成される。この制御部50には、モータ駆動回路51を介してシャッタミラー駆動モータ52が接続されると共に、シャッタ制御回路53を介してフォーカルプレーンシャッタ33が接続されている。また、上記制御部50には、AFユニット31内に設けられた測距センサ55と、被写体の明るさを測定する測光センサ56と、シャッタチャージが行われたときに切り替わるチャージカムスイッチ(SW)57と、フォーカルプレーンシャッタ33の先幕(図示せず)に取り付けられシャッタの開口部の全開状態を検出するための先幕スイッチ(SW)58と、メインイメージセンサ35を駆動するためのメインイメージセンサ駆動回路60と、サブイメージセンサ23を駆動するためのサブイメージセンサ駆動回路61と、モニタ40を駆動するためのモニタ駆動回路62と、ファインダ内表示用LCD26を駆動するためのLCD駆動回路63とが接続されている。
さらに、制御部50には、メインイメージセンサ35とサブイメージセンサ23の出力信号の処理を実行する信号処理部(ICチップ)77、信号処理部77に対してメインイメージセンサ35とサブイメージセンサ23の出力信号の入力を切り替える入力切り替え部75が接続されている。
さらに、制御部50には、操作釦65と、操作ダイヤル66と、レリーズスイッチ(SW)67と、記録メディア69と、メモリ70と、画像データメモリ71とが接続されている。操作釦65は、図示されないがメニュー釦、十字キー、OK釦等から成るもので、このカメラに種々の操作を行わせるためのものである。操作ダイヤル66は、撮影時の撮影モードを設定するための操作部材である。
レリーズスイッチ67は、撮影準備動作及び露光動作を実行させるための釦である。このレリーズスイッチ67は、第1レリーズスイッチと第2レリーズスイッチの2段式のスイッチで構成されており、図示されないレリーズ釦が半押し操作されることによって、第1レリーズスイッチがオンされて測光処理や測距処理などの撮影準備動作が実行される。また、上記レリーズ釦が全押し操作されることによって、第2レリーズスイッチがオンされて露光動作が実行される。
記録メディア69は、図示されないカメラのインターフェースを介してカメラボディ10に対し脱着可能な各種のメモリカードや外付けのハードディスクドライブ(HDD)等の記録媒体である。メモリ70は、デジタルカメラ全体の制御を行うための制御プログラムが予め記憶されているものである。また、画像データメモリ71は、画像データを一時的に保管するためのメモリである。
一方、交換レンズ80には、交換レンズ80内の各部を駆動制御するCPU等で構成された制御部81を有している。この制御部81には、モータ駆動回路82を介してフォーカスモータ83と、絞り駆動回路84を介して絞りモータ85と、フォーカスパルスカウンタ87と、ズームエンコーダ88と、メモリ90とが接続されている。
上記フォーカスモータ83は、上記カメラボディ10内の測距センサ55の測距結果に基づいて、この交換レンズ80内の図示されないフォーカスレンズを駆動するためのモータである。同様に、絞りモータ85は、上記カメラボディ10内の測光センサ56の測光結果に基づいて、この交換レンズ80内の図示されない絞りを駆動するためのモータである。フォーカスパルスカウンタ87は、上記フォーカスレンズを駆動させるにあたり、該フォーカスレンズの移動を検出して位置制御を行うためのものである。また、ズームエンコーダ88は、図示されない撮影レンズの焦点距離に応じた移動信号を検出して制御部81に出力する。更に、メモリ90は、この交換レンズ80内のレンズ情報が記憶されている。
なお、制御部81は、図示されない通信コネクタ等を介して、カメラボディ10内の制御部50と電気的に接続がなされる。そして、制御部81は、カメラボディ10の制御部50の指令に従って制御される。
図4、図5に示すメインイメージセンサ35が、記録用の画像信号を出力するイメージセンサであり、サブイメージセンサ23が、モニタ40に対するライブビュー表示用の画像信号を出力するイメージセンサである。
メインイメージセンサ35と、サブイメージセンサ23の出力は、図5に示すように入力切り替え部75に入力された後、信号処理部(ICチップ)77に入力される構成となっている。信号処理部77は、各センサの出力を入力して各種の信号処理、例えばホワイトバランス調整、ゲイン制御、γ補正、色補正などの様々な信号処理を実行する。この信号処理部77には、例えばsubLVDS(Sub−Low Voltage Differential Signal)伝送方式に基づく信号が入力される。
信号処理部(ICチップ)77は、信号の入力部を1つ備えた汎用的な信号処理用ICチップである。以下、メインイメージセンサ35、サブイメージセンサ23各センサと入力切り替え部75、信号処理部77の接続構成とデータ転送、信号処理構成について、本発明に従った実施例を説明する。
[(2)本発明の基本構成について]
まず、基本実施例の構成について、図6を参照して説明する。図6には複数のイメージセンサ101−1〜Nと、入力切り替え部102と、信号処理部(ICチップ)103を示している。複数のイメージセンサ101−1〜Nの少なくとも1つが、撮影画像の記録処理に適用するイメージを取得するセンサであり、図4,図5に示すメインイメージセンサ35に対応する。また、少なくとも1つがモニタに対してライブビューイメージを表示するためのイメージを取得するセンサであり、図4,図5に示すサブイメージセンサ23に対応する。図6では一般化して示すためにN(N≧2)として示してある。
まず、基本実施例の構成について、図6を参照して説明する。図6には複数のイメージセンサ101−1〜Nと、入力切り替え部102と、信号処理部(ICチップ)103を示している。複数のイメージセンサ101−1〜Nの少なくとも1つが、撮影画像の記録処理に適用するイメージを取得するセンサであり、図4,図5に示すメインイメージセンサ35に対応する。また、少なくとも1つがモニタに対してライブビューイメージを表示するためのイメージを取得するセンサであり、図4,図5に示すサブイメージセンサ23に対応する。図6では一般化して示すためにN(N≧2)として示してある。
本構成において、信号処理部(ICチップ)103は、信号の入力部を1つ備えた汎用的な信号処理用ICチップであり、入力する信号に対して、様々な信号処理、例えばホワイトバランス調整、ゲイン制御、γ補正、色補正などの様々な信号処理を実行する。入力切り替え部102と、信号処理部(ICチップ)103との間の信号伝送は、例えば高速データ転送を実現するsubLVDS(Sub−Low Voltage Differential Signal)伝送方式に従って実行される。例えばチャネル数を8とする。
入力切り替え部102は例えばICチップによって構成され、複数のイメージセンサ101−1〜Nからの信号を入力する複数の入力部と、信号処理部(ICチップ)103に対して選択信号を出力する1つの出力部を備えている。なお、複数のイメージセンサ101−1〜Nと、入力切り替え部102間の信号伝送は、上述の入力切り替え部102と、信号処理部(ICチップ)103との間の信号伝送と同様、高速データ転送を実現するsubLVDS(Sub−Low Voltage Differential Signal)伝送方式に従って実行される。なお、subLVDSは伝送方式の一例であり、この他の信号伝送方式を利用する構成としてもよい。
本実施例において、信号処理部(ICチップ)103は、例えば入力切り替え部102から8chのsubLVDS方式に従ったデータ入力を受けることになり、汎用的なICチップをそのまま利用することができる。
本実施例では、複数(N)入力−1出力の入力切り替え部102を、複数のイメージセンサ101−1〜Nと、信号処理部(ICチップ)103との間に設定するという簡易な構成で汎用的な信号処理部(ICチップ)103を利用可能となる。入力切り替え部102は信号処理部103のように複雑な処理を実行する必要がない回路によって構成され、比較的安価なチップとして製造可能であり、全体コストを増加させることなく、複数のイメージセンサの出力を単一の信号処理部(ICチップ)103によって処理する構成が実現される。なお、入力切り替え部102は、単純な入出力切り替え機能だけでなく、各イメージセンサ出力に対する信号処理等の回路を実装する構成としてもよい。
[(3)本発明の具体的な実施例の構成および処理例]
次に、上述の基本実施例を具体化した実施例における動作例を図7〜図9を参照して説明する。図7に示すように、メインイメージセンサ211、サブイメージセンサ212が入力切り替え部215に対して、それぞれ取得データを出力する。入力切り替え部215の出力信号制御部216は、これら2つのセンサ入力の一方を選択して信号処理部221に出力する。
次に、上述の基本実施例を具体化した実施例における動作例を図7〜図9を参照して説明する。図7に示すように、メインイメージセンサ211、サブイメージセンサ212が入力切り替え部215に対して、それぞれ取得データを出力する。入力切り替え部215の出力信号制御部216は、これら2つのセンサ入力の一方を選択して信号処理部221に出力する。
図7に示すメインイメージセンサ211は、記録画像用のイメージ出力を行うセンサであり、図4、図5において説明したメインイメージセンサ35に対応するセンサである。サブイメージセンサ212は、モニタに表示するライブビュー画像用のイメージ出力を行うセンサであり、図4、図5において説明したサブイメージセンサ23に対応するセンサである。
図7に示す構成例では、入力切り替え部215の出力信号制御部216は、サブイメージセンサ212から入力するライブビュー画像と、メインイメージセンサ211から入力する記録用画像ともに入力されたデータをフレーム毎に切り替えて信号処理部221に出力する。メインイメージセンサ211からの入力がない場合は、サブイメージセンサ212から入力するライブビュー画像を信号処理部221に出力し、メインイメージセンサ211からの入力が発生した場合は、サブイメージセンサ212から入力するライブビュー画像の出力を停止して、記録用信号であるメインイメージセンサ211からの入力を信号処理部221に優先的に出力する。
前述のように入力切り替え部102から信号処理部(ICチップ)103への信号伝送は、例えば高速データ転送を実現するsubLVDS(Sub−Low Voltage Differential Signal)伝送方式に従って実行され、この伝送路は、8chの伝送ラインを利用して行われるが、画像サイズは、メイン画像≧ライブビュー画像である。
本発明の一実施例に従った伝送処理においては、図8に示すように、メイン画像の伝送に使用するsubLVDSのチャネル数は8チャネル、ライブビュー画像の伝送に使用するsubLVDSのチャネル数は1チャネルとする。このようにライブビュー画像の伝送に使用するチャネル数を制御することで消費電力を低減することができる。例えばサブイメージセンサの出力は、メインイメージセンサの出力チャネル数以下のチャネル数で実行する。
図9に信号の入出力タイミングを説明するタイミングチャートを示す。図9には、以下の各信号の入出力および動作タイミングを左から右に時系列で示している。
(a)サブイメージセンサ出力(ライブビュー画像)
(b)メインミラーの動作(図4のメインミラー11)
(c)メインイメージセンサ出力(記録画像)
(d)入力切り替え部出力
(e)モニタ出力(ライブビュー表示)
(a)サブイメージセンサ出力(ライブビュー画像)
(b)メインミラーの動作(図4のメインミラー11)
(c)メインイメージセンサ出力(記録画像)
(d)入力切り替え部出力
(e)モニタ出力(ライブビュー表示)
(a)サブイメージセンサ出力(ライブビュー画像)は撮影処理に応じて変更される。例えば連写を行う場合、200ms間隔、すなわち5フレーム/秒でフレーム画像を入力切り替え部に出力する。図9に示す例は、60フレーム/秒で、サブイメージセンサの出力(ライブビュー画像)が入力切り替え部に入力される場合の処理例を示している。例えばサブイメージセンサの出力フレーム301aは、入力切り替え部に入力され、(d)入力切り替え部の出力301bとして信号処理部に入力され、所定の信号処理が実行された後、(e)モニタに示す出力フレーム301cとしてライブビュー表示が行われる。
しかし、撮影処理が実行されると、(b)メインミラーは、撮影タイミングの開始時点にアップ(up)動作を開始し、図4に示すメインミラー11の点線位置に移動を開始する。これにより図4に示すようにサブイメージセンサ23に対する光路が絶たれることになり、撮影が終了してミラーが復帰(down)するまで、サブイメージセンサは露光されないことになる。すなわち、図9に示すタイミングチャートの[t1]〜[t5]の期間は露光できない。
メインミラーが完全にUPした後、時間[t2]において、メインイメージセンサ(図4の例ではメインイメージセンサ35)の露光が実行される。その後、時間[t3]において、メインイメージセンサからのデータ出力が開始し、入力切り替え部に対して記録用のメイン画像が転送される。
入力切り替え部はメモリを持たないので、入力切り替え部は入力データを即座に信号処理部に出力する。図9に示す時間[t4]に出力を開始する。その後、時間[t5]までの間、入力切り替え部から信号処理部に対して、記録用画像であるメインイメージセンサの取得したイメージデータが出力される。
この期間[t4]〜[t5]は、入力切り替え部から信号処理部に対するデータ転送路は記録用画像であるメイン画像によって占有されることになる。従って、この期間中のサブイメージセンサから入力切り替え部に対する入力は、信号処理部に出力されず、この期間の画像についてのライブビュー表示は途絶えることになる。
結果として、(b)メインミラーのアップ(UP)開始時点[t1]から、入力切り替え部から信号処理部に対するメイン画像の出力が終了する時点[t5]までのライブビュー画像は、モニタに表示されないことになる。この期間は図9(e)モニタに示すライブビュー画像消失期間である。
このライブビュー画像消失期間の前半は、ミラーの動作によってサブイメージセンサの露光が行われていない部分であるが、後半部分は、サブイメージセンサの露光が行われているにもかかわらず、入力切り替え部から信号処理部に対する出力がメイン画像によって占有されていることに起因する画像消失部分となる。すなわち図9(a)に示すデータ部302a、(e)に示す302cである。
このように、複数のイメージセンサの出力を入力して、信号処理部に対して1つのセンサ出力を選択出力する入力切り替え部を設けた場合、各センサ出力をフレーム単位で時分割して選択出力すると、出力の停止された側の出力停止期間が長期化することで、例えば、上述のようにライブビュー画像の消失期間が長くなるという問題がある。すなわちサブイメージセンサの露光が行われているにもかかわらず、入力切り替え部から信号処理部に対する出力がメイン画像によって占有されているためにサブイメージセンサの取得画像が表示できなくなるという問題がある。
図10以下を参照してこの問題を解決する複数のデータ転送例、すなわち入力切り替え部と信号処理部間のデータ転送形態を工夫することで、サブイメージセンサの取得画像の消失を低減して、より多くのライブビュー画像をモニタ表示することを可能とした複数のデータ転送例について説明する。
以下、(a)〜(d)の4つの処理例について順次説明する。
(a)記録用のメイン画像の水平ブランキング区間に、ライブビュー画像のラインデータまたはフレームデータを挿入して送信する処理例(ライブビュー画像は1ch送信)
(b)記録用のメイン画像の水平ブランキング区間に、ライブビュー画像のラインデータまたはフレームデータを挿入して送信する処理例(ライブビュー画像は8ch送信)
(c)記録用のメイン画像の1ラインデータ送信期間内に、ライブビュー画像のフレームデータを挿入して送信する処理例
(d)記録用のメイン画像の1ラインデータ送信期間内に、ライブビュー画像のラインデータを挿入して送信する処理例
以下、(a)〜(d)の4つの処理例について順次説明する。
(a)記録用のメイン画像の水平ブランキング区間に、ライブビュー画像のラインデータまたはフレームデータを挿入して送信する処理例(ライブビュー画像は1ch送信)
(b)記録用のメイン画像の水平ブランキング区間に、ライブビュー画像のラインデータまたはフレームデータを挿入して送信する処理例(ライブビュー画像は8ch送信)
(c)記録用のメイン画像の1ラインデータ送信期間内に、ライブビュー画像のフレームデータを挿入して送信する処理例
(d)記録用のメイン画像の1ラインデータ送信期間内に、ライブビュー画像のラインデータを挿入して送信する処理例
なお、以下において説明する(a)〜(d)の処理例は、例えば図7に示す構成における入力切り替え部215と、信号処理部(ICチップ)221間の信号伝送処理例であり、この信号伝送は、高速データ転送を実現するsubLVDS(Sub−Low Voltage Differential Signal)伝送方式に従って実行され、メイン画像の伝送チャネル数を8とした例である。
(a)記録用のメイン画像の水平ブランキング区間に、ライブビュー画像のラインデータまたはフレームデータを挿入して送信する処理例(ライブビュー画像は1ch送信)
まず、図10を参照して、記録用のメイン画像の水平ブランキング区間に、ライブビュー画像のラインデータまたはフレームデータを挿入して送信する処理例について説明する。
まず、図10を参照して、記録用のメイン画像の水平ブランキング区間に、ライブビュー画像のラインデータまたはフレームデータを挿入して送信する処理例について説明する。
図10(a)には、例えば図7に示す構成における入力切り替え部215と、信号処理部(ICチップ)221間の信号伝送処理例として、メイン画像の送信期間においても、ライブビュー画像を可能な限り途切れなく送信する場合の理想的なデータ伝送例を示している。時間[T0]〜[T1]は、記録画像としてのメイン画像は転送されず、ライブビュー画像が問題なく転送できる。なおこの期間[T0]〜[T1]において、ライブビュー画像は、8chのsubLVDS中、1chのみを利用して転送される。なお、チャネル数を削減することで、消費電力を低減できる。
その後、時間[T1]〜[T2]の間は記録用画像であるメイン画像が、入力切り替え部と、信号処理部(ICチップ)間において、subLVDSに従ったデータ経路の8chすべてを占有して転送される。この[T1]〜[T2]間は、ライブビュー画像は転送できない状態となる。その後、時間[T2]にメイン画像の転送が終了すると、入力切り替え部と、信号処理部(ICチップ)間の信号伝送路が開放され、ライブビュー画像の転送が可能となる。
本実施例では、メイン画像の転送期間においても、ライブビュー画像を間欠的に送信する。具体的には、記録用のメイン画像の水平ブランキング区間に、ライブビュー画像のラインデータを挿入して送信する。
図10(b)に示すように、時間[T1]以降のメイン画像の転送期間において、メイン画像の1フレームを構成するラインデータ間に設定される水平ブランキング区間を利用して、ライブビュー画像のフレームデータを構成する1つ以上のラインデータを送信する。水平ブランキング区間にはデータ転送を実行しないブランク領域が設定されており、この期間を利用してライブビュー画像のフレームデータを構成する1つ以上のラインデータを送信する。なお、本処理例では、メイン画像は、subLVDSの8chを利用して送信するが、メイン画像の水平ブランキング区間において送信するライブビュー画像はsubLVDSの1chのみを利用する。
図11を参照して、入力切り替え部と、信号処理部(ICチップ)間の画像信号の伝送フォーマット例について説明する。このフォーマットは、メイン画像、ライブビュー画像ともに共通のフォーマットである。図11(a)に示すように、水平方向の1ライン分の撮像信号は、水平ブランキング、同期コード(開始)、データ、同期コード(終了)、水平ブランキングの順に並んでいる。水平ブランキングは、有効なデータの含まれない期間を示すコードである。本処理例では、このメイン画像の水平ブランキング区間に、ライブビュー画像フレームを構成するラインデータを送信する。同期コードは、1ライン分のデータの開始および終了を示すコードである。
図11(b)に示すように、水平ブランキング、同期コードおよびデータは、それぞれnビットを単位として配置される。同期コードは、データ開始部分の4つのnビットのコード(SAV(Start of Active Video)1乃至SAV4)と、データ終了部分に4つのnビットのコード(EAV(End of Active Video)1乃至EAV4)によって構成される。
図12は、同期コードのフォーマット例を示す図である。ここでは、同期コードとしてITU(International Telecommunication Union)による規格(BT.656、BT.601)に準じたコードを利用するものとし、ビット長nが12ビットの場合について説明する。なお、図12には、開始同期コード(SAV)を示しているが、終了同期コードも同様の構成を持つ。ただし、それぞれの設定ビットによって開始用の同期コードであるか終了用の同期コードであるかが区別可能な設定となっている。
同期コードは、4つの12ビットコードからなる。第1番目のコードは12ビットの全てが「1」を示す。第2番目および第3番目のコードは12ビットの全てが「0」を示す。そして、第4番目のコードには、図12に示すように、V、H、P3、P2、P1、P0の各信号が含まれる。
ビットVは、垂直方向のタイミングを示すビットであり、「0」であれば垂直ブランキング以外の有効映像領域と示し、「1」であれば垂直ブランキング期間を示す。
ビットHは、水平方向のタイミングを示すビットであり、「0」であればデータ開始の同期コードであることを示し、「1」であればデータ終了の同期コードであることを示す。
ビットP0乃至P3はプロテクションビットであり、ビットV、Hの各値に対応するCRC(Cyclic Redundancy Check)コードを保持する。
ビットVは、垂直方向のタイミングを示すビットであり、「0」であれば垂直ブランキング以外の有効映像領域と示し、「1」であれば垂直ブランキング期間を示す。
ビットHは、水平方向のタイミングを示すビットであり、「0」であればデータ開始の同期コードであることを示し、「1」であればデータ終了の同期コードであることを示す。
ビットP0乃至P3はプロテクションビットであり、ビットV、Hの各値に対応するCRC(Cyclic Redundancy Check)コードを保持する。
図12に示すように、第4番目のコードには、この他、ビットデータ領域351,352などが含まれるが、これらのビットデータ領域351,352は特に用途が限定されないビット領域である。
本処理例では、このような不使用ビット領域を、画像種別を示すビット領域として設定する。すなわち、画像識別ビットの設定領域とする。例えば、ビットデータ領域351の1ビットを用いて、
記録用のメイン画像の構成ラインデータ=[1]
ライブビュー用のサブ画像の構成ラインデータ=[0]
このような画像識別ビットを設定した同期コードを含むデータを図7に示す入力切り替え部215から信号処理部221に対して出力する。
記録用のメイン画像の構成ラインデータ=[1]
ライブビュー用のサブ画像の構成ラインデータ=[0]
このような画像識別ビットを設定した同期コードを含むデータを図7に示す入力切り替え部215から信号処理部221に対して出力する。
信号処理部221は、このビットデータ領域351の1ビット(画像識別ビット)を取得して、記録用のメイン画像の構成ラインデータであるか、ライブビュー用のサブ画像の構成ラインデータであるかを識別する。識別結果に基づいて各ラインデータをそれぞれの画像の構成ラインとして設定することで、それぞれの画像フレームを確実に再現することができる。なおこの画像識別ビットデータの設定は、例えば図7に示す入力切り替え部215の出力信号制御部において実行する。
信号処理部221は、ランダムに入力されるラインデータの同期コード中の画像識別ビット)を取得して、記録用のメイン画像の構成ラインデータであるか、ライブビュー用のサブ画像の構成ラインデータであるかを識別し、識別結果に基づいて処理内容の変更や、処理結果の出力先や格納先の変更などを実行し、記録用画像(メイン画像)、ライブビュー画像(サブ画像)を個別に生成する。
なお、図12に示すように、第4番目のコードには、ビットデータ領域351,352など複数の未使用ビットが含まれており、上記の1ビットのみを利用するのではなく、例えば2ビットを用いて、
[00]=センサ1、
[01]=センサ2、
[10]=センサ3、
[11]=センサ4、
上記のように2以上の複数のセンサからの画像フレームの構成ラインを識別可能な設定とすることが可能である。
[00]=センサ1、
[01]=センサ2、
[10]=センサ3、
[11]=センサ4、
上記のように2以上の複数のセンサからの画像フレームの構成ラインを識別可能な設定とすることが可能である。
本処理例では、図10(b)に示すように、メイン画像の転送期間において、メイン画像の1フレームを構成するラインデータ間に設定される水平ブランキング区間を利用して、ライブビュー画像のフレームデータを構成する1つ以上のラインデータを送信する構成としたので、メイン画像の転送期間中も、間欠的にライブビュー画像を信号処理部に出力することが可能となり、より多くのライブビュー画像をモニタに表示させることが可能となり、ライブビュー画像の消失期間を低減させることが可能となる。
(b)記録用のメイン画像の水平ブランキング区間に、ライブビュー画像のラインデータまたはフレームデータを挿入して送信する処理例(ライブビュー画像を8ch送信)
次に、図13を参照して、図10を参照して説明したと同様、記録用のメイン画像の水平ブランキング区間に、ライブビュー画像のラインデータまたはフレームデータを挿入して送信する処理例において、ライブビュー画像を8chのsubLVDS中の8chを利用して転送する処理例について説明する。
次に、図13を参照して、図10を参照して説明したと同様、記録用のメイン画像の水平ブランキング区間に、ライブビュー画像のラインデータまたはフレームデータを挿入して送信する処理例において、ライブビュー画像を8chのsubLVDS中の8chを利用して転送する処理例について説明する。
先に図10を参照して説明した処理例では、記録用のメイン画像の水平ブランキング区間に、ライブビュー画像のラインデータを挿入して送信する場合、メイン画像は8ch全てを利用して送信を行っていたが、ライブビュー画像は1chのみを利用して送信していた。本処理例では、図13(b)に示すように、時間[T1]以降のメイン画像の転送期間において、メイン画像の水平ブランキング区間を利用して、ライブビュー画像の1つ以上のラインデータを、メイン画像送信と同様、subLVDSの8chを利用して送信する。8chを利用して送信することで、メイン画像の1つの水平ブランキング区間に送信可能なライブビュー画像のラインデータが増加することになる。
この処理により、短時間で、ライブビュー画像の1フレーム画像データを送信することが可能となり、モニタ表示するライブビュー画像の消失や遅れを解消または低減することが可能となる。
図13(b)に示すように、時間[T0]〜[T1]は、記録画像としてのメイン画像は転送されず、ライブビュー画像が問題なく転送できる。なおこの期間[T0]〜[T1]において、ライブビュー画像は、8chのsubLVDS中、1chのみを利用して転送される。
その後、時間[T1]〜[T2]の間は記録用画像であるメイン画像が、入力切り替え部と、信号処理部(ICチップ)間において、subLVDSに従ったデータ経路の8chすべてを占有して転送される。本処理例では、この[T1]〜[T2]のメイン画像の転送期間において、メイン画像の1フレームを構成するラインデータ間に設定される水平ブランキング区間を利用して、ライブビュー画像のフレームデータを構成する1つ以上のラインデータを、subLVDSの8chを利用して送信する。この処理では、ライブビュー画像の1フレームデータを送信するのに利用するメイン画像の水平ブランキング区間数は減少し、より早くライブビュー画像を信号処理部に送信することが可能となる。
なお、本処理例においても、処理例(a)と同様、メイン画像、ライブビュー画像の各水平ラインデータ中の同期コード内に、メイン画像の構成ラインであるか、ライブビュー画像の構成ラインであるかを示す画像識別ビット情報を設定する。例えば、先に図12を参照して説明した同期コード中のビットデータ領域351の1ビットを用いて、
記録用のメイン画像の構成ラインデータ=[1]
ライブビュー用のサブ画像の構成ラインデータ=[0]
このような設定とした画像識別ビットデータを図7に示す入力切り替え部215から信号処理部221に対して出力する。
記録用のメイン画像の構成ラインデータ=[1]
ライブビュー用のサブ画像の構成ラインデータ=[0]
このような設定とした画像識別ビットデータを図7に示す入力切り替え部215から信号処理部221に対して出力する。
なお、図10〜図12を参照して説明した処理例では、ライブビュー画像は1ch送信として、図13を参照して説明した処理例では、ライブビュー画像は8ch送信とした例を説明したが、例えばライブビュー画像を4ch送信とするなど、subLVDSにおいて利用可能なチャネル数の範囲で任意に設定可能である。
(c)記録用のメイン画像の1ラインデータ送信期間内に、ライブビュー画像のフレームデータを挿入して送信する処理例
次に、図14を参照して、記録用のメイン画像の1ラインデータ送信期間内に、ライブビュー画像のフレームデータを挿入して送信する処理例について説明する。先に図10〜図13を参照して説明した処理例では、メイン画像の個々の水平ラインデータの間に発生する水平ブランキング区間にライブビュー画像のラインデータを挿入する構成としていた。以下、説明する例は、メイン画像の水平ラインの画像信号データの途中にライブビュー画像フレームを挟み込んで送信する例である。
次に、図14を参照して、記録用のメイン画像の1ラインデータ送信期間内に、ライブビュー画像のフレームデータを挿入して送信する処理例について説明する。先に図10〜図13を参照して説明した処理例では、メイン画像の個々の水平ラインデータの間に発生する水平ブランキング区間にライブビュー画像のラインデータを挿入する構成としていた。以下、説明する例は、メイン画像の水平ラインの画像信号データの途中にライブビュー画像フレームを挟み込んで送信する例である。
図13に示す時間[T0]〜[T1]は、入力切り替え部と、信号処理部(ICチップ)間において、記録画像としてのメイン画像は転送されず、ライブビュー画像が転送される。なおこの期間[T0]〜[T1]において、ライブビュー画像は、8chのsubLVDS中、1chのみを利用して転送される。
その後、時間[T1]〜[T2]の間は記録用画像であるメイン画像が、入力切り替え部と、信号処理部(ICチップ)間において、subLVDSに従ったデータ経路の8chすべてを占有して転送される。本処理例では、この[T1]〜[T2]のメイン画像の転送期間において、メイン画像の1フレームを構成する1つの水平ラインデータの転送期間内に、ライブビュー画像のフレームデータを挟み込んで送信する。
例えば、メイン画像の1つの水平ラインデータ401内に、1つのライブビュー画像フレームデータ411を挟み込んで送信する。メイン画像の1つの水平ラインデータ401はデータa,データbに分割され、その間に1つのライブビュー画像フレームデータ411が挟み込まれて送信される。このライブビュー画像フレームは、メイン画像と同様、subLVDSの8chを利用して送信する。次のライブビュー画像のフレームデータ412も異なるメイン画像のラインデータ402内に挟み込んで送信する。
具体的なデータ転送位置について図15を参照して説明する。図15は、先に図11を参照して説明した転送データの1つの水平ラインのデータフォーマットを示す図である。1ライン分の撮像信号は、水平ブランキング、同期コード(開始)、データ、同期コード(終了)、水平ブランキングの順に並んでいる。図15に示す水平ラインのデータフォーマットをメイン画像の1つのラインデータであるとする。
本処理例では、例えば図15に示すように、ライブビュー画像フレームデータ411をメイン画像のデータ部内に挿入する。入力切り替え部の出力信号制御部において、メイン画像のラインデータ内に、ライブビュー画像の1つのフレームデータを挿入して信号処理部に対して出力する。
なお、このような処理を入力切り替え部において実行するためには、画像のフレームデータを一時的に記憶するメモリが必要である。すなわち、図16に示すように、入力切り替え部215は、センサからの入力を一時的に記録するメモリ222を有し、メモリに記録されたデータを読み出して、図14、図15を参照して説明したような出力データを生成して、信号処理部221に出力する。メモリ222は高速記録読み出し可能な例えばDDRメモリである。
なお、本処理例においても、処理例(a),(b)と同様、メイン画像、ライブビュー画像の各水平ラインデータ中の同期コード内に、メイン画像の構成ラインであるか、ライブビュー画像の構成ラインであるかを示す画像識別ビット情報を設定する。例えば、先に図12を参照して説明した同期コード中のビットデータ領域351の1ビットを用いて、
記録用のメイン画像の構成ラインデータ=[1]
ライブビュー用のサブ画像の構成ラインデータ=[0]
このような設定とした画像識別ビットデータを図16に示す入力切り替え部215から信号処理部221に対して出力する。
記録用のメイン画像の構成ラインデータ=[1]
ライブビュー用のサブ画像の構成ラインデータ=[0]
このような設定とした画像識別ビットデータを図16に示す入力切り替え部215から信号処理部221に対して出力する。
本処理例(c)では、先に説明した(a),(b)の処理例のごとくメイン画像の水平ブランキング区間のみを利用する構成ではなく、水平ラインデータ内にライブビュー画像のフレームデータを埋め込んで送信するので、メイン画像の送信中であっても任意のタイミングでライブビュー画像を送信することが可能となり、ライブビュー画像のモニタ表示の消失や遅れの発生を低減または解消することが可能となる。
(d)記録用のメイン画像の1ラインデータ送信期間内に、ライブビュー画像のラインデータを挿入して送信する処理例
次に、図17を参照して、記録用のメイン画像の1ラインデータ送信期間内に、ライブビュー画像の水平ラインデータを間欠的に挿入して送信する処理例について説明する。先に図14を参照して説明した処理例(c)では、メイン画像の1ラインデータ送信期間内に、ライブビュー画像の1つのフレームデータをまとめて挿入して送信する処理例を説明したが、本処理例(d)は、フレームデータを挿入するのではなく、ライブビュー画像フレームを構成する水平ラインデータを間欠的に記録用のメイン画像の1ラインデータ送信期間内に挿入して送信する。
次に、図17を参照して、記録用のメイン画像の1ラインデータ送信期間内に、ライブビュー画像の水平ラインデータを間欠的に挿入して送信する処理例について説明する。先に図14を参照して説明した処理例(c)では、メイン画像の1ラインデータ送信期間内に、ライブビュー画像の1つのフレームデータをまとめて挿入して送信する処理例を説明したが、本処理例(d)は、フレームデータを挿入するのではなく、ライブビュー画像フレームを構成する水平ラインデータを間欠的に記録用のメイン画像の1ラインデータ送信期間内に挿入して送信する。
図17に示す時間[T0]〜[T1]は、入力切り替え部と、信号処理部(ICチップ)間において、記録画像としてのメイン画像は転送されず、ライブビュー画像が転送される。なおこの期間[T0]〜[T1]において、ライブビュー画像は、8chのsubLVDS中、1chのみを利用して転送される。
その後、時間[T1]〜[T2]の間は記録用画像であるメイン画像が、入力切り替え部と、信号処理部(ICチップ)間において、subLVDSに従ったデータ経路の8chすべてを占有して転送される。本処理例では、この[T1]〜[T2]のメイン画像の転送期間において、メイン画像の1フレームを構成する1つの水平ラインデータの転送期間内に、ライブビュー画像のフレームデータを構成する水平ラインデータを間欠的に挟み込んで送信する。
なお、このような処理を入力切り替え部において実行するためには、画像のフレームデータを一時的に記憶するメモリが必要となるが、先の処理例(c)のように1フレームデータを格納するメモリ容量は不要であり、1つのラインデータを格納する容量があればよい。すなわち、図16に示す構成において、メモリ222の容量は小さくすることができる。図16に示す入力切り替え部215は、メモリに記録された画像データを読み出して、図17を参照して説明したような出力データを生成して、信号処理部221に出力する。
なお、本処理例においても、処理例(a),(b),(c)と同様、メイン画像、ライブビュー画像の各水平ラインデータ中の同期コード内に、メイン画像の構成ラインであるか、ライブビュー画像の構成ラインであるかを示す画像識別ビット情報を設定する。例えば、先に図12を参照して説明した同期コード中のビットデータ領域351の1ビットを用いて、
記録用のメイン画像の構成ラインデータ=[1]
ライブビュー用のサブ画像の構成ラインデータ=[0]
このような設定とした画像識別ビットデータを図16に示す入力切り替え部215から信号処理部221に対して出力する。
記録用のメイン画像の構成ラインデータ=[1]
ライブビュー用のサブ画像の構成ラインデータ=[0]
このような設定とした画像識別ビットデータを図16に示す入力切り替え部215から信号処理部221に対して出力する。
本処理例(d)では、先に説明した(a),(b)の処理例のごとくメイン画像の水平ブランキング区間のみを利用する構成ではなく、水平ラインデータ内にライブビュー画像のフレームデータを埋め込んで送信するので、メイン画像の送信中であっても任意のタイミングでライブビュー画像を送信することが可能となり、ライブビュー画像のモニタ表示の消失や遅れの発生を低減または解消することが可能となる。また、上述したように先の処理例(c)のように1フレームデータを格納するメモリ容量は不要であり、1つのラインデータを格納する容量があればよい。
なお、上記実施例(a)〜(d)において、使用するsubLVDSのチャネル数は、1チャネル、8チャネルとしているが、これに限らず何チャネルでも実現可能である。例えば、システムによってライブビュー画像および記録用画像伝送時にsubLVDSを何チャネル使うかを予め決めておけば、受信側で同期コードをデコードすることで、使用チャネル数を判別することが可能であり、その後の処理に反映することができる。
[(4)各画像対応の独立バッファを設定した構成例]
上述したように、入力切り替え部は複数のセンサ出力を入力して、これらを信号処理部に出力する。具体的には、例えば、メインイメージセンサの取得した記録用画像とサブイメージセンサの取得したライブビュー画像を信号処理部に出力する。信号処理部ではこれらの画像を区別して信号処理を行うことになる。具体的には、記録用画像についてはメディアに対する記録処理のための記録信号の生成を行い、ライブビュー画像についてはLCDなどによって構成されるモニタなどに表示する表示用信号を生成する。
上述したように、入力切り替え部は複数のセンサ出力を入力して、これらを信号処理部に出力する。具体的には、例えば、メインイメージセンサの取得した記録用画像とサブイメージセンサの取得したライブビュー画像を信号処理部に出力する。信号処理部ではこれらの画像を区別して信号処理を行うことになる。具体的には、記録用画像についてはメディアに対する記録処理のための記録信号の生成を行い、ライブビュー画像についてはLCDなどによって構成されるモニタなどに表示する表示用信号を生成する。
一般的な信号処理部の構成について図18を参照して説明する。図18には、記録用画像を取得するメインイメージセンサ501、ライブビュー(LV)画像を取得するサブイメージセンサ502と、これらのセンサの取得信号を入力する入力切り替え部510、入力切り替え部510からセンサ取得情報を入力して信号処理を行う信号処理部520、信号処理部520の処理結果である記録用画像を格納する記憶部(DRAM)531、信号処理部520の処理結果であるライブビュー画像を表示する表示部(LCD)532を示している。
入力切り替え部510は、複数のイメージセンサ501,502からの信号を入力する複数の入力部と、信号処理部(ICチップ)520に対して選択信号を出力する1つの出力部を備えている。なお、入力切り替え部510と信号処理部520との間の画像信号の転送は、上述した説明に従った伝送方式によって行われるものとする。例えば高速データ転送を実現するsubLVDS(Sub−Low Voltage Differential Signal)伝送方式に従って実行される。
図18に示す例では、入力切り替え部510は信号処理部520に対して記録用画像とライブビュー画像を出力する。信号処理部520は、入力切り替え部510が出力する記録用画像とライブビュー画像を受信して信号処理を行う。
信号処理部520は、図18に示すように、入力切り替え部510が出力する記録用画像とライブビュー画像を受信する受信部521、受信部521の受信したデータを、一時的に格納するバッファ522、バッファ522から順次データを取り出して信号処理を行う出力信号生成部523、これらの各処理部における処理タイミングなどの制御処理を行う制御部527を有する。
出力信号生成部523では、記録用画像とライブビュー画像を区別して、各画像に対応した信号処理を実行する。処理結果としての記録用画像はインターフェース(IF)525を介して記録用画像を一時的に格納する記憶部(DRAM)531に出力される。また、処理結果としてのライブビュー画像はバス524、インターフェース(IF)526を介して表示部(LCD)532に出力される。
信号処理部520では、まず受信部521において、入力切り替え部510が出力する信号を受信する。受信データは、制御部527の制御の下、バッファ522に格納され、出力信号生成部523とのクロックやデータの速度の調整を行う。出力信号生成部523では各種の信号処理が行われる。すなわち、記録用画像についてはメディアに対する記録処理のための記録信号の生成を行い、ライブビュー画像についてはLCDなどによって構成されるモニタなどに表示する表示用信号を生成する。
出力信号生成部523の出力はバス524およびインターフェース(IF)525,526経由で記憶部(DRAM)531、あるいは表示部(LCD)532へ出力される。すなわち、記録用画像についてはインターフェース(IF)525経由で記憶部(DRAM)531へ出力され記録処理が行われる。ライブビュー画像についてはンターフェース(IF)526経由で表示部(LCD)532に出力される。
図18に示す信号処理部520は、1つのバッファ522に入力切り替え部510から入力する記録用画像とライブビュー画像を書き込み、出力信号生成部523がバッファ522からそれぞれの画像信号を読み出して処理を行う構成となっている。
このような構成におけるバッファ522に対するデータ書き込み(write)とデータ読み取り(read)のシーケンス例について図19を参照して説明する。
図19には、図18に示す信号処理部520の構成を用いた2つの処理例を示している。すなわち、以下の2つの処理例である。
(1)処理例1:記録用画像の読み出し(read)処理と、ライブビュー画像の読み出し(read)処理の競合が発生し、処理の破綻が発生する処理例
(2)処理例2:記録用画像の読み出し(read)処理と、ライブビュー画像の読み出し(read)処理の競合を防止して処理の破綻を回避した処理例
(1)処理例1:記録用画像の読み出し(read)処理と、ライブビュー画像の読み出し(read)処理の競合が発生し、処理の破綻が発生する処理例
(2)処理例2:記録用画像の読み出し(read)処理と、ライブビュー画像の読み出し(read)処理の競合を防止して処理の破綻を回避した処理例
各処理例について説明する。
(1)処理例1
図19上段に示す処理例1は、記録用画像の読み出し(read)処理と、ライブビュー画像の読み出し(read)処理の競合が発生し、処理の破綻が発生する処理例である。図には、以下の3つの処理についての処理シーケンスを示している。
(1a)入力切り替え部から信号処理部に対する信号入力シーケンス
(1b)バッファA面におけるデータ書き込み(write)と読み取り(read)シーケンス
(1c)バッファB面におけるデータ書き込み(write)と読み取り(read)シーケンス
(1)処理例1
図19上段に示す処理例1は、記録用画像の読み出し(read)処理と、ライブビュー画像の読み出し(read)処理の競合が発生し、処理の破綻が発生する処理例である。図には、以下の3つの処理についての処理シーケンスを示している。
(1a)入力切り替え部から信号処理部に対する信号入力シーケンス
(1b)バッファA面におけるデータ書き込み(write)と読み取り(read)シーケンス
(1c)バッファB面におけるデータ書き込み(write)と読み取り(read)シーケンス
なお、入力切り替え部510から信号処理部520に対する信号入力シーケンスは、記録用画像の水平ライン541と次の記録用画像の水平ライン542の転送の間にライブビュー画像の水平ラインが4本転送される処理例としている。
また、バッファ522はA面、B面の2面を持つ。異なる面に対するデータ書き込み(write)と読み出し(read)は並列処理が可能である。ただし、異なる面に対する並列のデータ書き込み(write)や並列のデータ読み出し(read)はできない設定である。
図19(1)に示す処理例1のシーケンスについて説明する。まず、入力切り替え部から信号処理部に転送された記録用画像の水平ライン541をバッファ522のA面に書き込む。時間t1a〜t1c間の処理である。このバッファ書き込みデータの読み出し処理は、出力信号生成部523の処理タイミングを調整して開始する。出力信号生成部523は、時間t1bからバッファ522のA面に書き込まれた記録用画像を読み出して記録用画像に対する信号処理を開始する。
その後、時間t1dにおいて、入力切り替え部510から信号処理部520に転送されたライブビュー(LV)画像の水平ライン551をバッファ522のB面に書き込む。出力信号生成部523は時間t1eにおいて、このライブビュー(LV)画像の水平ライン551をバッファ522のB面から読み出そうとする。
しかし、時間t1eにおいて、記録用画像の水平ライン541の読出しが完了していない。記録用画像の水平ライン541の読出しが完了するのは時間t1fである。このように、時間t1e〜t1fの期間[T2]は記録用画像とライブビュー画像の読み出し(read)が競合してしまう。先に説明したように、A面とB面の並列読み出し(read)は実行できないので、処理例1はライブビュー画像の水平ライン551の読出しが待たされ破綻する。
(2)処理例2
このような破綻が発生しないようタイミングの調整を行った処理例が図19の下段に示す(2)処理例2である。
処理例(2)も処理例(1)と同様、入力切り替え部510から信号処理部520に対する信号入力シーケンスは、記録用画像の水平ライン561と次の記録用画像の水平ライン562の転送の間にライブビュー画像の水平ラインが4本転送される処理例である。
このような破綻が発生しないようタイミングの調整を行った処理例が図19の下段に示す(2)処理例2である。
処理例(2)も処理例(1)と同様、入力切り替え部510から信号処理部520に対する信号入力シーケンスは、記録用画像の水平ライン561と次の記録用画像の水平ライン562の転送の間にライブビュー画像の水平ラインが4本転送される処理例である。
処理例(2)においても、まず、転送された記録用画像の水平ライン561をバッファ522のA面に書き込む。時間t2a〜t2c間の処理である。読み出し処理の開始は、出力信号生成部523の処理タイミングを調整して行う。時間t2bからバッファ522のA面に書き込まれた記録用画像が読み出されて出力信号生成部523において記録用画像に対する信号処理が開始される。
その後、時間t2dにおいて、入力切り替え部510から信号処理部520に転送されたライブビュー(LV)画像の水平ライン551をバッファ522のB面に書き込む。時間t2eにおいて、このライブビュー(LV)画像の水平ライン551をバッファ522のB面から読み出す。
本処理例2では、記録用画像の水平ライン561の転送終了(t2c)からライブビュー画像の水平ライン571転送開始(t2d)までの間が、処理例1より長い時間に設定してある。すなわち、T3>T1の期間[T3]を設定している。
この処理例2における、期間[T3]、すなわち、記録用画像の水平ライン561の転送終了(t2c)からライブビュー画像の水平ライン571転送開始(t2d)までの間の時間は、記録用画像561のバッファA面からの読み出し(read)とライブビュー画像571のバッファB面からの読み出し(read)が競合しないような時間として調整される。
このような転送タイミングの設定により、処理例1のような読み出し(read)処理の競合が防止され、処理の破綻が発生しない。しかし、処理例2では、次の記録用画像ライン562の書き込み終了時間(t2g)が処理例1における次の記録用画像ライン542の書き込み終了時間(t1g)より遅れてしまう。すなわち、時間t1g〜t2gの期間[T4]の遅延が発生することになる。この遅延は、記録用画像の1つの水平ラインごとに発生してしまい。全体としての遅延は無視できないものになる。
このように、入力切り替え部510から信号処理部520に対して2種類以上の画像を多重化して転送を行う構成では、処理破綻や処理遅延が発生する可能性がある。結果として、先に説明した転送シーケンスを適用してライブビュー画像を効率よく転送してモニタ表示の遅れや消失を防止する設定としても、図18に示すようなバッファ設定を持つ信号処理部での処理に問題が発生する場合がある。
このような問題を解決する信号処理部の構成および処理例について図20以下を参照して説明する。図20は、本発明の一実施例に係る信号処理部620の構成を示す図である。
図20には、先に説明した図18と同様、記録用画像を取得するメインイメージセンサ601、ライブビュー(LV)画像を取得するサブイメージセンサ602と、これらのセンサの取得信号を入力する入力切り替え部610、入力切り替え部610からセンサ取得情報を入力して信号処理を行う信号処理部620、信号処理部620の処理結果であるライブビュー画像を表示する表示部(LCD)632、信号処理部620の処理結果である記録用画像を一時的に格納する記憶部(DRAM)631を示している。
入力切り替え部610は、複数のイメージセンサ601,602からの信号を入力する複数の入力部と、信号処理部(ICチップ)620に対して選択信号を出力する1つの出力部を備えている。なお、入力切り替え部610と信号処理部620との間の画像信号の転送は、上述した説明に従った伝送方式によって行われるものとする。例えば高速データ転送を実現するsubLVDS(Sub−Low Voltage Differential Signal)伝送方式に従って実行される。
図20に示す例では、入力切り替え部610は信号処理部620に対して記録用画像とライブビュー画像を出力する。信号処理部620は、入力切り替え部610が出力する記録用画像とライブビュー画像を受信して信号処理を行う。
信号処理部620は、図20に示すように、入力切り替え部610が出力する記録用画像とライブビュー画像を受信する受信部621、受信部621の受信したデータを、一時的に格納する2つのバッファである第1バッファ622、第2バッファ623、第1バッファ622から順次データを取り出して信号処理を行う第1出力信号生成部624、第2バッファ623から順次データを取り出して信号処理を行う第2出力信号生成部625、これらの各処理部における処理タイミングなどの制御処理を行う制御部629を有する。
2つのバッファである第1バッファ622、第2バッファ623は、それぞれ格納対象とする画像が記録用画像、またはライブビュー画像のいずれか一方の画像として設定された特定画像専用のバッファである。
例えば、第1バッファ622が記録用画像を格納するバッファであり、第2バッファ623がライブビュー画像を格納するバッファである。受信部621は、各画像をそれぞれ区別して、各バッファ622,623にそれぞれ格納する。各バッファの後段の出力信号生成部も各画像専用の処理部として構成される。すなわち、第1バッファ622の後段にある第1出力信号生成部624は記録用画像に対する処理を行う。第2バッファ623の後段にある第2出力信号生成部625はライブビュー画像に対する処理を行う。
第1バッファ622の後段にある第1出力信号生成部624において生成された記録用画像はバス626、インターフェース(IF)627経由で記憶部(DRAM)631へ出力され記録処理が行われる。
第2バッファ623の後段にある第2出力信号生成部625において生成されたライブビュー画像はバス626、インターフェース(IF)628経由で表示部(LCD)632に出力される。
第2バッファ623の後段にある第2出力信号生成部625において生成されたライブビュー画像はバス626、インターフェース(IF)628経由で表示部(LCD)632に出力される。
このように、本発明の一実施例に係る信号処理部は、記録用画像専用の第1バッファ622と、第1出力信号生成部624、さらにライブビュー画像専用の第2バッファ623と、第2出力信号生成で625を有する。
すなわち、バッファは記録用画像用の第1バッファ622と、ライブビュー画像用の第2バッファ623の2系統を有する。各系統の第1バッファ622、第2バッファ623はそれぞれ独立に処理が可能である。すなわち並列書き込みや並列読取りが可能となる。なお、各系統の第1バッファ622、第2バッファ623の各々は先に説明した例と同様、A面、B面を持つ。すなわち同一バッファのAB面で書き込み(write)処理と読み取り(read)処理は並列に実行できる。
バッファ容量は画像サイズの違いから、記録用画像用バッファである第1バッファ622の容量を、ライブビュー画像用バッファである第2バッファ623より大きくする設定とすることが好ましい。なお、各バッファのA面、B面の各面は各画像の水平ライン分の画素数が格納できるものとする。
このような構成における各バッファ622,623に対するデータ書き込み(write)とデータ読み取り(read)のシーケンス例について図21を参照して説明する。
図21には、以下の3つの処理についての処理シーケンスを示している。
(a)入力切り替え部から信号処理部に対する信号入力シーケンス
(b)記録用画像用バッファ(第1バッファ622)におけるデータ書き込み(write)と読み取り(read)シーケンス
(c)ライブビュー画像用バッファ(第2バッファ623)におけるデータ書き込み(write)と読み取り(read)シーケンス
(a)入力切り替え部から信号処理部に対する信号入力シーケンス
(b)記録用画像用バッファ(第1バッファ622)におけるデータ書き込み(write)と読み取り(read)シーケンス
(c)ライブビュー画像用バッファ(第2バッファ623)におけるデータ書き込み(write)と読み取り(read)シーケンス
なお、入力切り替え部610から信号処理部620に対する信号入力シーケンスは、記録用画像の水平ライン641と次の記録用画像の水平ライン642の転送の間にライブビュー画像の水平ラインが4本転送される処理例としている。これは、先に図19を参照して説明したと同様の転送処理である。
また、各バッファ622,623はA面、B面の2面を持つ。異なる面に対するデータ書き込み(write)と読み出し(read)は並列処理が可能である。ただし、異なる面に対する並列のデータ書き込み(write)や並列のデータ読み出し(read)はできない設定である。
図21に示す処理例において、まず、時間taから入力切り替え部610から信号処理部620に対して転送された記録用画像の水平ライン641を記録用画像用バッファ(第1バッファ622)に書き込む。書き込みは時間tcに完了する。読み出し処理の開始は、第1出力信号生成部624の処理タイミングを調整して行う。時間tbから記録用画像用バッファ(第1バッファ622)に書き込まれた記録用画像が読み出されて第1出力信号生成部624において記録用画像に対する信号処理が開始される。
その後、時間tdにおいて、入力切り替え部610から信号処理部620に転送されたライブビュー(LV)画像の水平ライン651をライブビュー画像用バッファ(第2バッファ623)のバッファA面に書き込む。
記録用画像の水平ライン641の記録用画像用バッファ(第1バッファ622)に対する書き込み完了時間tcから、ライブビュー(LV)画像の水平ライン651のライブビュー画像用バッファ(第2バッファ623)に対する書き込み開始時間tdまでの期間T1は、先に説明した図19の(1)処理例1における時間T1と同じ期間である。
次に、時間teにおいて、第2出力信号生成部625がライブビュー(LV)画像の水平ライン651をライブビュー画像用バッファ(第2バッファ623)のバッファA面から読み出す。
本例においても先に説明した図19の(1)処理例1と同様、時間teにおいて、記録用画像の水平ライン641の読出しが完了していない。しかし、本処理例では、記録用画像用バッファ(第1バッファ622)と、ライブビュー画像用バッファ(第2バッファ623)は独立に処理が可能な構成である。すなわち、並列にデータ読み出し、書き込みが可能な設定となっている。従って、記録用画像の水平ライン641の読出しが完了していない時間teから即座に、ライブビュー画像用バッファ(第2バッファ623)からのライブビュー(LV)画像水平ライン651を読み出すことができる。
ライブビュー画像用バッファ(第2バッファ623)から読み出されたデータは、第2出力信号生成部625に入力され、第2出力信号生成部625においてライブビュー画像に対する信号処理が開始される。
その後は、ライブビュー画像用バッファ(第2バッファ623)を用いて、順次ライブビュー画像のラインデータの書き込み、読み出し処理がA面、B面交互に行われる。本処理例では、入力切り替え部610から信号処理部620に対するデータ入力速度に遅れを発生させることなく、入力速度に追随した処理が実行され表示部(LCD)632にライブビュー画像の表示が行われる。
信号処理部に対して次の記録用画像ライン642が入力され、記録用画像用バッファ(第1バッファ622)に対する書き込み(write)処理が完了する時間tgは、図19の(1)処理例1の記録用画像542のバッファに対する書き込み処理完了時間t1gと同様の時間である。すなわち、本例では、処理の破綻や遅延を発生させることなく記録用画像のバッファ書き込みや読み取り処理も実行可能となる。
このように、本実施例における信号処理部は、例えば記録用画像を取得するメインイメージセンサのセンサ出力を格納する第1バッファと、ライブビュー画像を取得するサブイメージセンサのセンサ出力を格納する第2バッファを有する。さらに、第1バッファからの読み出し信号に基づいて記録用画像を生成する第1出力信号生成部と、第2バッファからの読み出し信号に基づいてライブビュー画像の生成を行う第2出力信号生成部を有する。このような構成において、第1出力信号生成部による第1バッファからのデータ読み出し処理と、第2出力信号生成部による第2バッファからのデータ読み出し処理とを並列に実行することで、バッファ読み出しの待機が不要となり処理を迅速に実行できる。
なお、A面、B面が入れ替わっても動作は同じである。また、記録用画像、ライブビュー画像で使用する面の組合せが異なっても動作は同じである。
記録用画像用バッファ(第1バッファ622)は、図21に示す転送タイミングの場合、A面、B面の2面が必要でなく、1面だけのバッファ構成とすることも可能である。
記録用画像用バッファ(第1バッファ622)は、図21に示す転送タイミングの場合、A面、B面の2面が必要でなく、1面だけのバッファ構成とすることも可能である。
本実施例のように、各画像専用のバッファを設けることで、ライブビュー画像の転送遅延や、表示停止などの発生を減少させることができる。すなわち、転送不可となるラインデータやフレームの存在による単位時間あたりのLCD表示コマ数の減少を防ぐ事ができる。
なお、本実施例では、図20に示すように、信号処理部は、各画像に対応する2系統の回路を持つ事になるが、ライブビュー画像は記録用画像に比べ画像サイズがかなり小さいため、ライブビュー画像用回路の規模は記録用画像用回路の規模に比べ相当小さくすることが可能である。すなわちバッファと信号処理回路の回路規模は2倍とはならない。なお、回路規模は画像サイズや演算処理およびディレイラインの構成等により決定されるが、概ね、画像サイズと回路規模は比例する。
[(5)画像の転送区切り情報であるスロットを利用した構成例]
これまで説明してきたように、本発明の撮像装置は、入力切り替え部から信号処理部に対して、複数のセンサによって取得された画像が多重化されて転送される。すなわち記録用画像とライブビュー画像などの複数の異なる画像が多重化されて転送されることになる。
これまで説明してきたように、本発明の撮像装置は、入力切り替え部から信号処理部に対して、複数のセンサによって取得された画像が多重化されて転送される。すなわち記録用画像とライブビュー画像などの複数の異なる画像が多重化されて転送されることになる。
信号処理部では、これらの複数の異なる画像に対する処理を誤りなく行うことが必要となる。以下では、信号処理部から入力切り替え部に対して、画像の出力タイミングを規定する信号を出力して、入力切り替え部が、この入力信号に従って画像の転送を行うことで、信号処理部側において受信するデータの識別を行う構成例について説明する。
本実施例に係る実施例の構成について図22を参照して説明する。図22には複数のイメージセンサ701−1〜Nと、入力切り替え部702と、信号処理部(ICチップ)703を示している。複数のイメージセンサ701−1〜Nの少なくとも1つが、撮影画像の記録処理に適用するイメージである記録用画像を取得するセンサである。また、少なくとも1つがモニタに対してライブビューイメージを表示するためのイメージ、すなわちライブビユー画像を取得するセンサである。図22では一般化して示すためにN(N≧2)として示してある。
本構成において、信号処理部(ICチップ)703は、信号の入力部を1つ備えた汎用的な信号処理用ICチップであり、入力する信号に対して、様々な信号処理、例えばホワイトバランス調整、ゲイン制御、γ補正、色補正などの様々な信号処理を実行する。入力切り替え部702と、信号処理部(ICチップ)703との間の信号伝送は、例えば高速データ転送を実現するsubLVDS(Sub−Low Voltage Differential Signal)伝送方式に従って実行される。
本実施例において、入力切り替え部702から信号処理部703に対するデータ転送タイミングは、信号処理部703から入力切り替え部702に入力される同期信号およびスロットパルスによって制御される。
図22に示すように、入力切り替え部702と信号処理部703間には、入力切り替え部702から信号処理部703に対して画像を転送する画像転送チャネル720の他、信号処理部703から入力切り替え部702に入力する3つの信号ライン751〜753が設定される。すなわち、
垂直(V)同期信号供給ライン
水平(H)同期信号供給ライン
スロットパルス供給ライン753
これらの信号供給ラインである。
垂直(V)同期信号供給ライン
水平(H)同期信号供給ライン
スロットパルス供給ライン753
これらの信号供給ラインである。
このように、本実施例では、入力切り替え部702から信号処理部703に対する画像信号の転送処理に際して、3種類の同期信号、すなわちV同期信号、H同期信号、スロットパルスを用いて同期を取る。なお、図22に示す例では、これらの3種類の同期信号を信号処理部703が生成して入力切り替え部702に供給する設定として示してあるが、入力切り替え部702がこれらの同期信号を生成して信号処理部703に入力する構成としてもよい。あるいはこれらとは異なる外部の同期信号生成部が、入力切り替え部702と、信号処理部703にV同期信号、H同期信号、スロットパルスを生成して供給する構成としてもよい。すなわち、入力切り替え部702と信号処理部703とが同一の同期信号に基づいてタイミング制御を行う構成であればよい。
これらの3つの同期信号を用いた入力切り替え部702から信号処理部703に対する画像転送シーケンスについて、図23、図24を参照して説明する。
図23は、記録用画像の転送がなくライブビュー画像の転送のみが発生する場合、
図24は、記録用画像とライブビュー画像の転送を併せて行う場合、
これらの2つの場合の転送シーケンスを示している。
図23は、記録用画像の転送がなくライブビュー画像の転送のみが発生する場合、
図24は、記録用画像とライブビュー画像の転送を併せて行う場合、
これらの2つの場合の転送シーケンスを示している。
まず、図23を参照して入力切り替え部702から信号処理部703に対して記録用画像の転送がなくライブビュー画像の転送のみが発生する場合のシーケンスについて説明する。図23には、
(a)垂直(V)同期信号、
(b)水平(H)同期信号、
(c)スロットパルス信号、
(d)転送画像データ
これらのタイミングチャートを示している。図の左から右に時間(t)が経過する。
(a)垂直(V)同期信号、
(b)水平(H)同期信号、
(c)スロットパルス信号、
(d)転送画像データ
これらのタイミングチャートを示している。図の左から右に時間(t)が経過する。
(a)垂直(V)同期信号、(b)水平(H)同期信号は、ライブビュー画像の垂直同期信号と水平同期信号に対応する。(c)スロットパルス信号は、(b)水平(H)同期信号内に複数設定される。図23に示す例では、1つの水平(H)同期信号区間を4等分(第1スロット〜第4スロット)するように、スロットパルス信号が設定される。
本処理例では、第1スロットにおいて、ライブビュー画像の1水平ラインの画像信号が転送される。本処理例では、図22に示す画像転送チャネル720は、8ch−subLVDSによって構成され、8ch(0ch〜7ch)のすべてを利用してライブビュー画像の1水平ラインの画像信号が転送される。なお、図23に示すように、第1スロットの期間の全チャネルに相当するデータ量が必要とならない場合は、後半部分には画像信号が含まれない部分が発生する。図には[余り]として示している。
この図23に示す例では、(b)水平(H)同期信号の同期パルスの発生直後の第1スロットを利用してライブビュー画像の1水平ラインに相当する画像信号が転送される。図23に示すように、ライブビュー画像の1ライン目が、図に示す(b)水平(H)同期信号の最初の同期パルスの直後の第1スロットにおいて転送され、ライブビュー画像の2ライン目が、図に示す(b)水平(H)同期信号の2番目の同期パルスの直後の第1スロットにおいて転送され、ライブビュー画像の3ライン目が、図に示す(b)水平(H)同期信号の3番目の同期パルスの直後の第1スロットにおいて転送される。その後も、第1スロットにおいて、後続のライブビュー画像のライン信号が転送されることになる。
この例では、第2スロット〜第4スロットの期間は、画像転送チャネル720を介した画像転送は実行されない。
次に、図24を参照して入力切り替え部702から信号処理部703に対して記録用画像とライブビュー画像の転送を併せて行う場合のシーケンスについて説明する。図24には、図23と同様、
(a)垂直(V)同期信号、
(b)水平(H)同期信号、
(c)スロットパルス信号、
(d)転送画像データ
これらのタイミングチャートを示している。図の左から右に時間(t)が経過する。
(a)垂直(V)同期信号、
(b)水平(H)同期信号、
(c)スロットパルス信号、
(d)転送画像データ
これらのタイミングチャートを示している。図の左から右に時間(t)が経過する。
図23と同様、(a)垂直(V)同期信号、(b)水平(H)同期信号は、ライブビュー画像の垂直同期信号と水平同期信号に対応しており、(c)スロットパルス信号は、1つの水平(H)同期信号区間を4等分(第1スロット〜第4スロット)するように、設定される。
図24に示す処理例でも、図23に示す処理例と同様、第1スロットにおいて、ライブビュー画像の1水平ラインの画像信号が転送される。さらに本処理例では、第2スロット〜第4スロットが記録用画像の転送スロットとして利用される。
図22に示す画像転送チャネル720は、8ch−subLVDSによって構成され、まず、第1スロットにおいて、8ch(0ch〜7ch)のすべてを利用してライブビュー画像の1水平ラインの画像信号が転送される。次に第2スロット〜第4スロットの間では、8ch(0ch〜7ch)のすべてを利用して記録用画像の水平ラインデータが転送される。なお、図に示す例では、最初の第2スロット〜第4スロットのみでは、記録用画像の水平ラインデータの1ラインの転送が完了していない。
記録用画像の最初のラインのデータは、最初の水平(H)同期信号の同期パルス以後の第2スロット〜第4スロットと、次の2番目の水平(H)同期信号の同期パルス後に設定される第2スロットと第3スロットを利用して送信される。これらの送信の後、2番目の水平(H)同期信号の同期パルス後の第4スロットと、3番目の水平(H)同期信号の同期パルス後の第2スロット以降を利用して記録用画像の2番目のラインのデータが送信される。
このように、入力切り替え部702から信号処理部703に対して記録用画像とライブビュー画像の転送を併せて行う場合は、第1スロットは、ライブビュー画像の転送スロットとして利用し、第2スロット〜第4スロットは記録用画像の転送スロットとして利用する設定とする。
図24に示す例では、ライブビュー画像の水平ラインは1スロットで転送しているのに対し、記録用画像の水平ラインは5スロットで転送を行っている。これは各スロット長が均等として、水平ラインの画素数比が概ね、ライブビュー画像:記録用画像=1:5程度ということを示す。
なお、信号処理部側では、記録用画像のラインの区切りはH同期信号で知ることはできないので、例えば、V同期信号を基点にスロット数をカウントするといった処理を行ってライン区切りを判別する。
なお、先に、図11、図12を参照して説明した水平ライン信号の伝送データのフォーマットに含まれるデータ開始部分の同期コード(SAV:Start of Active Video)あるいはデータ終了部分の同期コード(EAV:End of Active Video)と同様、各スロットの開始部分にSAVと同様の同期コードを設定し、各スロットの終了部分にEAVと同様の同期コードを設定して送信を行なって、これらの同期コードに基づいてライン区切りの判別を行う構成としてもよい。また先に説明した例と同様、入力切り替え部においてSAVまたはEAVにどのセンサからの画像であるかの識別コードを埋め込んで、信号処理部側でこのコードに基づいて画像判別を行う構成としてもよい。
なお、スロットの同期に関してはスロットパルスを用いるが、画像信号の送受双方、すなわち、入力切り替え部702と、信号処理部703の双方においてスロットのクロック数を規定して、V同期信号やH同期信号を基準にクロック等をカウントして、スロット区間を識別する構成としてもよい。このような設定とした場合は、スロットパルスを用いないで同期をとることが可能である。
図22〜図24を参照して説明した構成、すなわち、特定のスロットをライブビュー画像の転送スロットとして設定し、残りを記録用画像の転送スロットとする構成は、定期的に転送が発生し、遅延の許容を好まないライブビュー画像を確実に優先的に転送させることを可能とするというメリットがある。
なお、どのスロットのどのチャンネルをどの画像に割り当てるかはハードウェアで固定的に決めても構わない。また、ユーザ設定によって変更可能とする構成としてもよい。例えば設定の切り替えプログラムを記録したソフトウェアを搭載することでこのようなユーザによる設定切り替え構成を実現できる。
このように本実施例の構成では、入力切り替え部はライブビュー画像の水平同期信号区間をスロットパルスによって区分したスロットをセンサ出力信号の転送期間単位として設定してセンサ出力信号の転送処理を行ない、信号処理部は入力切り替え部からの入力信号の区切りを、前記スロットを単位として識別する。
具体的な処理例としては、入力切り替え部は、ライブビュー画像の水平同期信号区間の先頭スロット、または先頭スロットを含む複数のスロットからなる先行スロットをライブビュー画像の転送スロットとし、ライブビュー画像の転送スロット以外のスロットを記録用画像の転送スロットとして設定したセンサ出力信号転送処理を行ない、信号処理部は入力切り替え部からの入力信号を、前記スロットを単位として識別する。
なお、上述の実施例では1つの水平(H)同期信号区間に4つのスロットを設定する構成として説明したが、この他の数のスロット数設定としてもよい。また、スロット長は全スロット均等でも良いし、各スロットでスロット長を最適化しても構わない。また、ライブビュー画像や記録用画像の末尾に発生する余り部分の領域を最小にするようにスロット長を設定する構成としてもよい。
以上、特定の実施例を参照しながら、本発明について詳解してきた。しかしながら、本発明の要旨を逸脱しない範囲で当業者が実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本発明の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。
また、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。例えば、プログラムは記録媒体に予め記録しておくことができる。記録媒体からコンピュータにインストールする他、LAN(Local Area Network)、インターネットといったネットワークを介してプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
以上、説明したように、本発明の一実施例構成によれば、記録用画像を取得するメインイメージセンサと、ライブビュー画像を取得するサブイメージセンサを含む複数のセンサ出力を時分割で切り替えて信号処理部に出力する入力切り替え部を設定し、入力切り替え部において、記録用画像の画像フレームの水平ブランキング区間、または水平ラインデータ内にライブビュー画像の構成データを挟み込んだ出力データを生成して信号処理部に出力する構成とした。本構成により単一の信号入力部を有する汎用的な信号処理部を利用して複数のセンサ出力に対する信号処理を行うことが可能となり、またサブイメージセンサのライブビュー画像のモニタ表示の遅れや消失を低減することが可能となる。
1 イメージセンサ
2 信号処理チップ
3 イメージセンサ
4 信号処理チップ
5 イメージセンサ
6 信号処理チップ
10 カメラボディ
11 メインミラー
12 スクリーン
13 プリズム
15 ミラーA
16 リレー系レンズ
17 ミラーB
18 ミラーC
20 接眼系レンズ
22 再結像系レンズ
23 サブイメージセンサ
28 ファインダ
30 サブミラー
31 AFユニット
33 フォーカルプレーンシャッタ
34 ローパスフィルタ
35 メインイメージセンサ
36 イメージャプレート
38 基板
40 モニタ
41 モニタ窓
45 ボディマウント
50 制御部
51 モータ駆動回路
52 シャッタミラー駆動モータ
53 シャッタ制御回路
55 測距センサ
56 測光センサ
57 チャージカムスイッチ(SW)
58 先幕スイッチ(SW)
60 イメージャ駆動回路
61 サブイメージャ駆動回路
62 モニタ駆動回路
63 LCD駆動回路
65 操作釦
66 操作ダイヤル
67 レリーズスイッチ(SW)
69 記録メディア
70 メモリ
71 画像データメモリ
73 調光ミラー駆動回路
75 入力切り替え部
77 信号処理部(ICチップ)
80 交換レンズ
81 制御部
82 モータ駆動回路
83 フォーカスモータ
84 絞り駆動回路
85 絞りモータ
87 フォーカスパルスカウンタ
88 ズームエンコーダ
90 メモリ
101 イメージセンサ
102 入力切り替え部
103 信号処理部
211,212 イメージセンサ
215 入力切り替え部
216 出力信号制御部
221 信号処理部
222 メモリ
501 メインイメージセンサ
502 サブイメージセンサ
510 入力切り替え部
520 信号処理部
521 受信部
522 バッファ
523 出力信号生成部
524 バス
525,526 インターフェース(IF)
527 制御部
531 記憶部(DRAM)
532 表示部(LCD)
601 メインイメージセンサ
602 サブイメージセンサ
610 入力切り替え部
620 信号処理部
621 受信部
622 第1バッファ
623 第2バッファ
624 第1出力信号生成部
625 第2出力信号生成部
626 バス
627,628 インターフェース(IF)
629 制御部
631 記憶部(DRAM)
632 表示部(LCD)
701−1〜N イメージセンサ
702 入力切り替え部
703 信号処理部
2 信号処理チップ
3 イメージセンサ
4 信号処理チップ
5 イメージセンサ
6 信号処理チップ
10 カメラボディ
11 メインミラー
12 スクリーン
13 プリズム
15 ミラーA
16 リレー系レンズ
17 ミラーB
18 ミラーC
20 接眼系レンズ
22 再結像系レンズ
23 サブイメージセンサ
28 ファインダ
30 サブミラー
31 AFユニット
33 フォーカルプレーンシャッタ
34 ローパスフィルタ
35 メインイメージセンサ
36 イメージャプレート
38 基板
40 モニタ
41 モニタ窓
45 ボディマウント
50 制御部
51 モータ駆動回路
52 シャッタミラー駆動モータ
53 シャッタ制御回路
55 測距センサ
56 測光センサ
57 チャージカムスイッチ(SW)
58 先幕スイッチ(SW)
60 イメージャ駆動回路
61 サブイメージャ駆動回路
62 モニタ駆動回路
63 LCD駆動回路
65 操作釦
66 操作ダイヤル
67 レリーズスイッチ(SW)
69 記録メディア
70 メモリ
71 画像データメモリ
73 調光ミラー駆動回路
75 入力切り替え部
77 信号処理部(ICチップ)
80 交換レンズ
81 制御部
82 モータ駆動回路
83 フォーカスモータ
84 絞り駆動回路
85 絞りモータ
87 フォーカスパルスカウンタ
88 ズームエンコーダ
90 メモリ
101 イメージセンサ
102 入力切り替え部
103 信号処理部
211,212 イメージセンサ
215 入力切り替え部
216 出力信号制御部
221 信号処理部
222 メモリ
501 メインイメージセンサ
502 サブイメージセンサ
510 入力切り替え部
520 信号処理部
521 受信部
522 バッファ
523 出力信号生成部
524 バス
525,526 インターフェース(IF)
527 制御部
531 記憶部(DRAM)
532 表示部(LCD)
601 メインイメージセンサ
602 サブイメージセンサ
610 入力切り替え部
620 信号処理部
621 受信部
622 第1バッファ
623 第2バッファ
624 第1出力信号生成部
625 第2出力信号生成部
626 バス
627,628 インターフェース(IF)
629 制御部
631 記憶部(DRAM)
632 表示部(LCD)
701−1〜N イメージセンサ
702 入力切り替え部
703 信号処理部
Claims (20)
- 記録用画像を取得するメインイメージセンサと、
ライブビュー画像を取得するサブイメージセンサと、
前記メインイメージセンサおよびサブイメージセンサを含む複数のセンサ出力を入力し、入力した複数センサ出力を時分割で切り替えて信号処理部に出力する入力切り替え部と、
前記メインイメージセンサと前記サブイメージセンサを含む複数のセンサ出力の時分割切り替え信号を前記入力切り替え部から入力し、入力信号に対する信号処理を実行する信号処理部を有し、
前記入力切り替え部は、
記録用画像の画像フレームの水平ブランキング区間、または水平ラインデータ内にライブビュー画像の構成データを挟み込んだ出力データを生成して信号処理部に出力することを特徴とする撮像装置。 - 前記入力切り替え部は、
記録用画像フレームを構成する水平ラインデータの同期コード、およびライブビュー画像フレームを構成する水平ラインデータの同期コード中に、記録用画像の構成ラインであるかライブビュー画像の構成ラインであるかを示す画像識別コードを設定して信号処理部に出力することを特徴とする請求項1に記載の撮像装置。 - 前記入力切り替え部は、
記録用画像の画像フレームの水平ブランキング区間に、ライブビュー画像フレームを構成する1以上の水平ラインデータを挟み込んだ出力データを生成して信号処理部に出力することを特徴とする請求項1に記載の撮像装置。 - 前記入力切り替え部は、
記録用画像の画像フレームの1つの水平ラインデータ中に、ライブビュー画像フレームを挟み込んだ出力データを生成して信号処理部に出力することを特徴とする請求項1に記載の撮像装置。 - 前記入力切り替え部は、
記録用画像の画像フレームの1つの水平ラインデータ中に、ライブビュー画像フレームを構成する1以上の水平ラインデータを挟み込んだ出力データを生成して信号処理部に出力することを特徴とする請求項1に記載の撮像装置。 - 前記入力切り替え部は、
前記記録用画像の出力チャネル数以下のチャネル数で前記ライブビュー画像を前記信号処理部に出力する構成であることを特徴とする請求項1に記載の撮像装置。 - 前記入力切り替え部は、
前記記録用画像およびライブビュー画像を、subLVDS(Sub−Low Voltage Differential Signal)伝送方式を利用して出力する構成であることを特徴とする請求項6に記載の撮像装置。 - 前記入力切り替え部は、
前記メインイメージセンサ出力またはサブイメージセンサ出力の少なくともいずれかをメモリに一時的に記憶し、前記メモリからセンサ出力を読み出して前記信号処理部に対して出力する処理を実行する構成であることを特徴とする請求項1に記載の撮像装置。 - 前記メモリは高速読み出し可能なメモリであることを特徴とする請求項8に記載の撮像装置。
- 前記信号処理部は、
前記メインイメージセンサのセンサ出力を格納する第1バッファと、
前記サブイメージセンサのセンサ出力を格納する第2バッファと、
記録用画像またはライブビュー画像の生成を行う出力信号生成部を有し、
前記出力信号生成部は、
前記第1バッファからの読み出し信号に基づいて記録用画像を生成し、前記第2バッファからの読み出し信号に基づいてライブビュー画像の生成を行う構成である請求項1に記載の撮像装置。 - 前記出力信号生成部は、
前記第1バッファの格納データに対する処理を行う第1出力信号生成部と、
前記第2バッファの格納データに対する処理を行う第2出力信号生成部を有し、
前記第1出力信号生成部による前記第1バッファからのデータ読み出し処理と、前記第2出力信号生成部による前記第2バッファからのデータ読み出し処理とを並列に実行する構成である請求項10に記載の撮像装置。 - 前記入力切り替え部は、
前記ライブビュー画像の水平同期信号区間をスロットパルスによって区分したスロットをセンサ出力信号の転送期間単位として設定してセンサ出力信号の転送処理を行なう構成であり、
前記信号処理部は、
前記入力切り替え部からの入力信号の区切りを、前記スロットを単位として識別する構成である請求項1に記載の撮像装置。 - 前記入力切り替え部は、
前記ライブビュー画像の水平同期信号区間の先頭スロットまたは先行スロットをライブビュー画像の転送スロットとし、ライブビュー画像の転送スロット以外のスロットを記録用画像の転送スロットとして設定したセンサ出力信号転送処理を行ない、
前記信号処理部は、
前記入力切り替え部からの入力信号を、前記スロットを単位として識別する構成である請求項12に記載の撮像装置。 - 撮像装置のイメージセンサの出力に対する信号処理方法であり、
メインイメージセンサが、記録用画像を取得するメインイメージ取得ステップと、
サブイメージセンサが、ライブビュー画像を取得するサブイメージ取得ステップと、
入力切り替え部が、前記メインイメージセンサおよびサブイメージセンサを含む複数のセンサ出力を入力し、入力した複数センサ出力を時分割で切り替えて信号処理部に出力する入力切り替えステップと、
信号処理部が、前記メインイメージセンサと前記サブイメージセンサを含む複数のセンサ出力の時分割切り替え信号を前記入力切り替え部から入力し、入力信号に対する信号処理を実行する信号処理ステップとを有し、
前記入力切り替えステップは、
記録用画像の画像フレームの水平ブランキング区間、または水平ラインデータ内にライブビュー画像の構成データを挟み込んだ出力データを生成して信号処理部に出力するステップであることを特徴とする信号処理方法。 - 前記入力切り替えステップは、
記録用画像フレームを構成する水平ラインデータの同期コード、およびライブビュー画像フレームを構成する水平ラインデータの同期コード中に、記録用画像の構成ラインであるかライブビュー画像の構成ラインであるかを示す画像識別コードを設定して信号処理部に出力するステップであることを特徴とする請求項14に記載の信号処理方法。 - 前記入力切り替えステップは、
記録用画像の画像フレームの水平ブランキング区間に、ライブビュー画像フレームを構成する1以上の水平ラインデータを挟み込んだ出力データを生成して信号処理部に出力するステップであることを特徴とする請求項14に記載の信号処理方法。 - 前記入力切り替えステップは、
記録用画像の画像フレームの1つの水平ラインデータ中に、ライブビュー画像フレームを挟み込んだ出力データを生成して信号処理部に出力するステップであることを特徴とする請求項14に記載の信号処理方法。 - 前記入力切り替えステップは、
記録用画像の画像フレームの1つの水平ラインデータ中に、ライブビュー画像フレームを構成する1以上の水平ラインデータを挟み込んだ出力データを生成して信号処理部に出力するステップであることを特徴とする請求項14に記載の信号処理方法。 - 前記入力切り替えステップは、
前記記録用画像の出力チャネル数以下のチャネル数で前記ライブビュー画像を前記信号処理部に出力するステップであることを特徴とする請求項14に記載の信号処理方法。 - 撮像装置のイメージセンサの出力に対する信号処理を実行させるコンピュータ・プログラムであり、
メインイメージセンサに、記録用画像を取得させるメインイメージ取得ステップと、
サブイメージセンサに、ライブビュー画像を取得させるサブイメージ取得ステップと、
入力切り替え部に、前記メインイメージセンサおよびサブイメージセンサを含む複数のセンサ出力を入力させ、入力した複数センサ出力を時分割で切り替えて信号処理部に出力させる入力切り替えステップと、
信号処理部に、前記メインイメージセンサと前記サブイメージセンサを含む複数のセンサ出力の時分割切り替え信号を前記入力切り替え部から入力させ、入力信号に対する信号処理を実行させる信号処理ステップとを有し、
前記入力切り替えステップは、
記録用画像の画像フレームの水平ブランキング区間、または水平ラインデータ内にライブビュー画像の構成データを挟み込んだ出力データを生成して信号処理部に出力させるステップであることを特徴とするコンピュータ・プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008287366A JP2009260916A (ja) | 2008-03-17 | 2008-11-10 | 撮像装置、および信号処理方法、並びにコンピュータ・プログラム |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008068492 | 2008-03-17 | ||
JP2008287366A JP2009260916A (ja) | 2008-03-17 | 2008-11-10 | 撮像装置、および信号処理方法、並びにコンピュータ・プログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2009260916A true JP2009260916A (ja) | 2009-11-05 |
Family
ID=41387709
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008287366A Pending JP2009260916A (ja) | 2008-03-17 | 2008-11-10 | 撮像装置、および信号処理方法、並びにコンピュータ・プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2009260916A (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2012100541A1 (en) * | 2011-01-25 | 2012-08-02 | Galaxycore Inc. | Method and device for data communication between two cameras |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006333369A (ja) * | 2005-05-30 | 2006-12-07 | Sony Corp | 撮像装置,撮像方法,撮像制御装置,撮像制御方法,およびプログラム |
JP2007135102A (ja) * | 2005-11-11 | 2007-05-31 | Canon Inc | 撮像装置 |
JP2007243561A (ja) * | 2006-03-08 | 2007-09-20 | Olympus Imaging Corp | 一眼レフレックスカメラ |
-
2008
- 2008-11-10 JP JP2008287366A patent/JP2009260916A/ja active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006333369A (ja) * | 2005-05-30 | 2006-12-07 | Sony Corp | 撮像装置,撮像方法,撮像制御装置,撮像制御方法,およびプログラム |
JP2007135102A (ja) * | 2005-11-11 | 2007-05-31 | Canon Inc | 撮像装置 |
JP2007243561A (ja) * | 2006-03-08 | 2007-09-20 | Olympus Imaging Corp | 一眼レフレックスカメラ |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2012100541A1 (en) * | 2011-01-25 | 2012-08-02 | Galaxycore Inc. | Method and device for data communication between two cameras |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5003543B2 (ja) | 撮像装置、および信号処理方法、並びにコンピュータ・プログラム | |
JP3197679B2 (ja) | 写真撮影システムおよび方法 | |
US7889238B2 (en) | Multicamera system, image pickup apparatus, controller, image pickup control method, image pickup apparatus control method, and image pickup method | |
JP7086571B2 (ja) | 撮像装置、レンズ装置およびこれらの制御方法 | |
JP2009130531A (ja) | 撮像装置およびその制御方法 | |
CN102045581B (zh) | 拍摄设备、图像处理方法及程序 | |
JP2010061162A (ja) | 撮像装置システム及びカメラ本体 | |
JP7195941B2 (ja) | 情報処理装置及びその制御方法並びにプログラム | |
US10171766B2 (en) | Imaging device with reduced delay in display | |
CN101729782B (zh) | 成像设备和成像方法 | |
JP2017138395A (ja) | 交換レンズおよびその通信方法、並びに、撮像装置およびその通信方法 | |
GB2522747A (en) | Image pickup apparatus capable of changing drive mode and image signal control method | |
JP2001346095A (ja) | デジタルスチルカメラ | |
JP5163434B2 (ja) | 撮像装置、および信号処理方法、並びにコンピュータ・プログラム | |
JP2009260916A (ja) | 撮像装置、および信号処理方法、並びにコンピュータ・プログラム | |
US20130058618A1 (en) | Imaging device and imaging method | |
JP7414431B2 (ja) | 撮像装置及びその制御方法及びプログラム | |
JP2006211239A (ja) | カメラシステム | |
JP6808350B2 (ja) | 撮像装置及びその制御方法、プログラム、並びに記憶媒体 | |
JP2006203679A (ja) | 撮像装置、撮像装置本体及び撮像ユニット | |
US20230343064A1 (en) | Control apparatus and control method executed by image capture system | |
JP2005086706A (ja) | 撮影装置 | |
JP4785445B2 (ja) | 撮像装置 | |
JP7449062B2 (ja) | 電子機器およびその制御方法 | |
JP2022171269A (ja) | 撮像装置およびその制御方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20111027 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20121119 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20121127 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20130319 |