JP2021034844A - Imaging device and control method of imaging device - Google Patents
Imaging device and control method of imaging device Download PDFInfo
- Publication number
- JP2021034844A JP2021034844A JP2019152244A JP2019152244A JP2021034844A JP 2021034844 A JP2021034844 A JP 2021034844A JP 2019152244 A JP2019152244 A JP 2019152244A JP 2019152244 A JP2019152244 A JP 2019152244A JP 2021034844 A JP2021034844 A JP 2021034844A
- Authority
- JP
- Japan
- Prior art keywords
- image data
- image
- processing circuit
- imaging
- processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Studio Devices (AREA)
Abstract
Description
本発明は撮像装置、および撮像装置の制御方法に関する。 The present invention relates to an image pickup apparatus and a control method for the image pickup apparatus.
特許文献1には、フロントエンジンとバックエンジンとを用いて、撮像回路で取得された画像データを処理する撮像装置が開示されている。
特許文献1に開示された撮像装置は、ライブビュー画像を表示している間、フロントエンジンとバックエンジンとを動作させる必要がある。したがって、ライブビュー画像を表示している間であっても2つのエンジンを駆動するための電力を必要とする。特許文献1に開示された撮像装置は、単一のエンジンの役割を複数のエンジンに担わせたものであり、撮像装置の動作時にこれら複数のエンジンの駆動について効率的な運用を行うことができなかった。
The image pickup apparatus disclosed in
そこで、本発明の目的は、センサーから取得した画像データを複数の画像処理回路を用いて処理する撮像装置において、撮像装置の動作に応じて各画像処理回路の動作を制御して、効率的な撮像装置の動作を実現することにある。 Therefore, an object of the present invention is to control the operation of each image processing circuit according to the operation of the image processing device in an image pickup apparatus that processes the image data acquired from the sensor by using a plurality of image processing circuits, and it is efficient. The purpose is to realize the operation of the image pickup device.
本発明の撮像装置は、撮像センサーと、前記撮像センサーから入力された画像データを処理する第1処理回路と、前記第1処理回路で処理された前記画像データを記録媒体に記録する第2処理回路と、撮像待機状態において前記第2処理回路への電力供給を制限し、前記撮像センサーから取得した画像データを前記記録媒体に記録する撮像記録処理の実行のための第1の指示が入力されたことに応じて、前記第2処理回路への電力供給の制限を解除する制御部と、を備え、前記制御部は、前記撮像動作における前記撮像センサーの露光時間が所定の閾値より長い場合に、前記露光時間が前記所定の閾値以下である場合よりも、前記第1の指示が入力されてから前記第2処理回路への電力供給までの期間が長くなるように、前記第2処理回路への電力供給を制御することを特徴とする。 The image pickup apparatus of the present invention includes an image pickup sensor, a first processing circuit that processes image data input from the image pickup sensor, and a second process that records the image data processed by the first processing circuit on a recording medium. A first instruction for executing an imaging recording process that limits the power supply to the circuit and the second processing circuit in the imaging standby state and records the image data acquired from the imaging sensor on the recording medium is input. Correspondingly, the control unit is provided with a control unit that releases the limitation of power supply to the second processing circuit, and the control unit is used when the exposure time of the image pickup sensor in the image pickup operation is longer than a predetermined threshold value. The second processing circuit is provided with a longer period from the input of the first instruction to the supply of power to the second processing circuit than when the exposure time is equal to or less than the predetermined threshold value. It is characterized by controlling the power supply of.
本発明によれば、センサーから取得した画像データを複数の画像処理回路を用いて処理する撮像装置において、撮像装置の動作に応じて各画像処理回路への電力供給を制御して、効率的な撮像装置の動作を実現することができる。 According to the present invention, in an image pickup apparatus that processes image data acquired from a sensor using a plurality of image processing circuits, it is efficient to control the power supply to each image processing circuit according to the operation of the image pickup apparatus. The operation of the image pickup device can be realized.
以下、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。 Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings.
図1(a)、(b)に本発明を適用可能な装置の一例としてのデジタルカメラ100の外観図を示す。図1(a)は、デジタルカメラ100の前面斜視図である。図1(b)は、デジタルカメラ100の背面斜視図である。
1A and 1B show external views of a
表示部101は、画像や各種情報を表示する、カメラ背面に設けられた表示部である。また、表示部101には、表示部101の表示面(操作面)に対するタッチ操作を検出することができるタッチパネル111が設けられる。タッチパネル111は、後述する操作部110に含まれる。
The
シャッターボタン102は、撮像指示を行うための操作部材である。
The
電源スイッチ103はデジタルカメラ100の電源のON及びOFFを切り替える操作部材である。電源スイッチ103は、デジタルカメラ100の電源をONにする起動指示を入力する。また、電源スイッチ103は、デジタルカメラ100の電源をOFFにする停止指示を入力する。
The
操作部110は、デジタルカメラ100が有する操作部材のすべて、もしくは一部を示す。操作部110は、タッチパネル111、メイン電子ダイヤル112、サブ電子ダイヤル113、十字キー114、およびSETボタン115を含む。また、操作部110は、動画ボタン116、AEロックボタン117、拡大ボタン118、再生ボタン119、メニューボタン120、およびモード切替スイッチ121を含む。操作部110は、シャッターボタン102、および電源スイッチ103を含んでいてもよい。操作部110に含まれる各操作部材の機能は、物理的に互いに異なるボタンにそれぞれ割り振られていてもよいし、複数の機能を1つのボタンで実行することも可能である。本実施例においては、説明のため、シャッターボタン102、および電源スイッチ103は、操作部110とは別の操作部材として扱うとする。
The operation unit 110 shows all or a part of the operation members included in the
メイン電子ダイヤル112は、操作部110に含まれる回転操作部材である。このメイン電子ダイヤル112を回すことで、シャッター速度や絞りなどの設定値の変更等が行える。サブ電子ダイヤル113は操作部110に含まれ、操作部110に含まれる回転操作部材であり、選択枠の移動や画像送りなどを行える。十字キー114は操作部110に含まれ、上、下、左、右部分をそれぞれ押し込み可能な十字キー(4方向キー)である。十字キー114の押した部分に応じた操作が可能である。SETボタン115は操作部110に含まれ、押しボタンであり、主に選択項目の決定などに用いられる。動画ボタン116は、動画撮像(記録)の開始、停止の指示に用いられる。AEロックボタン117は操作部110に含まれ、撮像待機状態で押下することにより、露出状態を固定することができる。拡大ボタン118は操作部110に含まれ、撮像モードのライブビュー表示において拡大モードのON、OFFを行うための操作ボタンである。拡大モードをONとしてからメイン電子ダイヤル112を操作することにより、LV画像の拡大、縮小を行える。再生モードにおいては再生画像を拡大し、拡大率を増加させるための拡大ボタンとして機能する。再生ボタン119は操作部110に含まれ、撮像モードと再生モードとを切り替える操作ボタンである。撮像モード中に再生ボタン119を押下することで再生モードに移行し、記録媒体200に記録された画像のうち最新の画像を表示部101に表示させることができる。メニューボタン120は、操作部110に含まれ、メニューボタン120が押されると各種の設定可能なメニュー画面が表示部101に表示される。ユーザーは、表示部101に表示されたメニュー画面と、十字キー114やSETボタン115を用いて直感的に各種設定を行うことができる。モード切替スイッチ121は各種モードを切り替えるための操作部である。
The main
通信端子104はデジタルカメラ100が着脱可能なレンズもしくはレンズを接続するためのアダプターと通信を行う為の通信端子である。接眼部11は、接眼ファインダー(覗き込み型のファインダー)の接眼部であり、ユーザーは、接眼部11を介して内部のEVF29に表示された映像を視認することができる。接眼検知部12は接眼部11に撮像者が接眼しているか否かを検知する接眼検知センサーである。
The
端子カバー13は、デジタルカメラ100を外部機器と接続するための端子(不図示)を保護するカバーである。
The
蓋14は記録媒体200を格納したスロットの蓋である。グリップ部15は、ユーザーがデジタルカメラ100を構えた際に右手で握りやすい形状とした保持部である。グリップ部15を右手の小指、薬指、中指で握ってデジタルカメラを保持した状態で、右手の人差指で操作可能な位置にシャッターボタン102、メイン電子ダイヤル112が配置されている。また、同じ状態で、右手の親指で操作可能な位置に、サブ電子ダイヤル113が配置されている。
The
図2は、本実施形態によるデジタルカメラ100の構成例を示すブロック図である。図2において、レンズユニット150は、交換可能な撮像レンズを搭載するレンズユニットである。レンズ151は通常、複数枚のレンズから構成されるが、ここでは簡略して一枚のレンズのみで示している。通信端子153はレンズユニット150がデジタルカメラ100側と通信を行う為の通信端子であり、通信端子104はデジタルカメラ100がレンズユニット150側と通信を行う為の通信端子である。レンズユニット150は、通信端子153,10を介してシステム制御部132と通信し、内部のレンズシステム制御回路154によって絞り駆動回路155を介して絞り152の制御を行う。また、レンズユニット150は、通信端子153,および通信端子104を介してシステム制御部132と通信し、内部のレンズシステム制御回路154によって、AF駆動回路156を介して、レンズ151の位置を変位させることで焦点を合わせる。
FIG. 2 is a block diagram showing a configuration example of the
シャッター105は、システム制御部132の制御でセンサー部106の露光時間を自由に制御できるフォーカルプレーンシャッターである。露光時間は、シャッター105を開けている時間に対応する。露光時間はシャッタースピードとも呼ばれる。
The
センサー部106は、光学像を電気信号に変換するCCDやCMOS素子等で構成される撮像素子と、撮像素子から出力されたアナログ信号をデジタル信号に変換して画像データを出力するA/D変換器を有する。センサー部106は、システム制御部132にデフォーカス量情報を出力する撮像面位相差センサーを有していてもよい。
The
フロントエンジン130は一つの半導体集積回路チップ(ICチップ)として構成される。フロントエンジン130は、1以上のプロセッサーまたは回路を有する。フロントエンジン130は、センサー部106から取得した画像データを処理する画像処理部131と、デジタルカメラ100全体を制御するシステム制御部132と、を有する。フロントエンジン130は、センサー部106から取得した画像データを用いて、表示部101およびEVF108の少なくとも一方にライブビュー画像を表示するように、表示部101およびEVF108を制御する表示制御処理を実行する。ここで、ライブビュー(ライブビュー機能)とは、ユーザーが撮像する対象(被写体)、画角、および撮像条件等を表示部101およびEVF108に表示された画像で確認するための機能である。ライブビュー画像は、ライブビュー機能において、表示装置に表示される画像である。
The
ライブビュー機能が有効である場合、センサー部106は連続的に画像データを取得する。フロントエンジン130は、センサー部106から入力された画像データに基づいて、表示部101およびEVF108に表示するための表示画像データを生成する。さらに、フロントエンジン130は、生成された表示画像データに基づいて画像を表示するように、表示部101およびEVF108の少なくとも一方を制御する。なお、通信部109を介して、外部の表示装置(外部装置)と接続し、外部装置への出力機能が有効である場合には、外部装置を用いてライブビュー機能を実行してもよい(ライブビュー出力処理)。この場合、メインエンジン140は、フロントエンジン130から画像データを取得して、表示画像データの生成および表示部101およびEVF108の制御を行う。
When the live view function is enabled, the
また、フロントエンジン130は、デジタルカメラ100の動作モードに応じてメインエンジン140の起動制御を実行する。フロントエンジン130は、少なくとも後述するメインエンジン140と異なる半導体集積回路である。フロントエンジン130の詳細な説明は後述する。
Further, the
システムメモリ133は、フロントエンジン130のシステム制御部132がデジタルカメラ100全体の動作を制御するためのプログラムおよびパラメーターを格納する不揮発性の記憶媒体である。ここでいう、プログラムとは、本実施形態にて後述する各種フローチャートを実行するためのプログラムのことである。システムメモリ52は、例えばフラッシュメモリが用いられるとする。
The
メモリ134は、画像処理部131が画像データを処理するにあたって処理前後の画像データを格納する記憶媒体である。例えば、メモリ134は、DRAM(Dynamic Random Access Memory)である。なお、システムメモリ133の一部に処理前後の画像データの一部を格納することも可能である。
The
メインエンジン140は、フロントエンジン130と異なる一つの半導体集積回路チップ(ICチップ)として構成される。メインエンジン140は、1以上のプロセッサーまたは回路を有する。メインエンジン140は、フロントエンジン130から取得した画像データを処理する画像処理部141と、メインエンジン140の各機能部の制御を行う制御部142と、を有する。また、メインエンジン140は、画像処理部141で処理した画像データを記録媒体200に格納する記録再生部143を有する。また、記録再生部143は、記録媒体200から画像データを読み出して、画像処理部141に出力する。再生モードで動作する場合、画像処理部141で処理された画像データは、フロントエンジン130側に出力され、表示部101に画像が表示される。また、外部出力機能が有効である場合、記録再生部143によって読み出され、画像処理部141で処理された画像データは、通信部109を介して、デジタルカメラ100の外部装置に出力される。メインエンジン140の詳細な説明は後述する。
The main engine 140 is configured as one semiconductor integrated circuit chip (IC chip) different from the
システムメモリ144は、メインエンジン140の制御部142がメインエンジン140の各機能部を制御するためのプログラムおよびパラメーターを格納する不揮発性の記憶媒体である。システムメモリ144は、例えばフラッシュメモリが用いられるとする。
The
メモリ145は、画像処理部141が画像データを処理するにあたって処理前後の画像データを格納する記憶媒体である。例えば、メモリ145は、MRAM(Magnetoresistive Random Access Memory)である。
The
電源制御部107は、電池検出回路、DC−DCコンバータ、通電するブロックを切り替えるスイッチ回路等により構成され、電源210の装着の有無、電源210の種類、電源210の電力の残量(電池残量)の検出を行う。また、電源制御部107は、その検出結果及びシステム制御部132の指示に基づいてDC−DCコンバータを制御し、必要な電力を必要な期間、フロントエンジン130、メインエンジン140を含む各部へ供給する。また、電源制御部107は、記録媒体200やレンズユニット150にも電力を供給する。電源制御部107は、センサー部106が取得した画像データに基づいて表示部101もしくはEVF108にライブビュー画像を表示し、記録媒体200への画像データの記録を行わない撮像待機状態において、メインエンジン140へ供給する電力を制限する。
The power
電源210は、アルカリ電池やリチウム電池等の一次電池やNiCd電池やNiMH電池、Li電池等の二次電池、ACアダプター等からなる。電源210は、デジタルカメラ100に対して着脱可能である。
The power supply 210 includes a primary battery such as an alkaline battery or a lithium battery, a secondary battery such as a NiCd battery, a NiMH battery, or a Li battery, an AC adapter, or the like. The power supply 210 is removable from the
EVF108は、LCDや有機EL等の表示器上に、フロントエンジン130で生成された画像を表示する。EVF108に表示された光学像は、接眼部11を介してユーザーが確認することができる。
The
通信部109は、無線または有線ケーブルによって外部装置と接続し、映像信号や音声信号の送受信を行う。例えば、通信部109は、HDMI(登録商標)の規格に準拠した形式に信号を変換して、外部装置に出力する。なお、通信部109は無線LAN(Local Area Network)やインターネットとも接続可能である。また、通信部109は、Bluetooth(登録商標)や Bluetooth Low Energyでも外部機器と通信可能である。通信部109はデジタルカメラ100が撮像した画像(ライブビュー画像を含む)や、記録媒体200に記録された画像を送信可能であり、また、外部機器から画像やその他の各種情報を受信することができる。
The
操作部110は、システム制御部132に各種の動作指示を入力するための1以上の操作部材からなる操作手段である。例えば、モード切替スイッチ121は、システム制御部132の動作モードを静止画撮像モード、動画撮像モード、再生モード等のいずれかに切り替える。静止画撮像モードに含まれるモードとして、オート撮像モード、オートシーン判別モード、マニュアルモード、絞り優先モード(Avモード)、シャッター速度優先モード(Tvモード)、プログラムAEモード(Pモード)、がある。また、撮像シーン別の撮像設定となる各種シーンモード、カスタムモード等がある。モード切替スイッチ121より、ユーザーは、これらのモードのいずれかに直接切り替えることができる。あるいは、モード切替スイッチ121で撮像モードの一覧画面に一旦切り換えた後に、表示された複数のモードのいずれかを選択し、他の操作部材を用いて切り替えるようにしてもよい。同様に、動画撮像モードにも複数のモードが含まれていてもよい。なお、撮像モードは、撮像する被写体の状態や画角の確認等の撮像準備のためのライブビュー画像を表示するライブビュー処理を実行する状態と、被写体を撮像し、得られた画像データを記録媒体200に記録する撮像記録処理を実行する状態とを含む。
The operation unit 110 is an operation means including one or more operation members for inputting various operation instructions to the
第1シャッタースイッチ102aは、デジタルカメラ100に設けられたシャッターボタン102の操作途中、いわゆる半押し(撮像準備指示)でONとなり第1シャッタースイッチ信号SW1を発生する。システム制御部132は、第1シャッタースイッチ信号SW1を受け付けたことに応じて、AF(オートフォーカス)処理、AE(自動露出)処理、AWB(オートホワイトバランス)処理、EF(フラッシュプリ発光)処理等の撮像準備動作を実行する。つまり、第1シャッタースイッチ信号SW1は、撮像準備指示である。
The first shutter switch 102a is turned on by a so-called half-press (imaging preparation instruction) during the operation of the
第2シャッタースイッチ102bは、シャッターボタン102の操作完了、いわゆる全押し(撮像指示)でONとなり、第2シャッタースイッチ信号SW2を発生する。システム制御部132は、第2シャッタースイッチ信号SW2により、センサー部106からの信号読み出しから記録媒体200に撮像された画像を画像ファイルとして書き込むまでの一連の撮像処理の動作を開始する。
The second shutter switch 102b is turned on when the operation of the
第2シャッタースイッチ信号SW2を受け付けたことに応じて、システム制御部132は、センサー部106を、画像データを生成するように制御する。さらに、第2シャッタースイッチ信号SW2を受け付けたことに応じて、システム制御部132は、メインエンジン140に供給する電力の制限を解除するように電源制御部107を制御し、メインエンジン140を起動させる。そして、メインエンジン140は、センサー部106が生成し、フロントエンジン130を介して取得した画像データを記録媒体200に記録する。つまり、第2シャッタースイッチ信号SW2は、撮像指示である。
In response to the reception of the second shutter switch signal SW2, the
記録媒体200は、撮像された画像を記録するためのメモリカード等の記録媒体であり、半導体メモリや磁気ディスク等から構成される。
The
フロントエンジン130、およびメインエンジン140の画像処理について説明する。
Image processing of the
図3は、フロントエンジン130の画像処理部131およびシステム制御部132における機能ブロックと撮像モード時のデータフローとを示す模式図である。画像処理部131、画像処理部141、および記録制御部143は、画像データを処理する処理部を有する。各処理部の実行する処理は電子回路によって実行されてもよいし、画像処理部の有するプロセッサーがプログラムを実行することによって実行されてもよい。
FIG. 3 is a schematic diagram showing functional blocks and a data flow in the imaging mode in the
シャッターボタン102から第2シャッタースイッチ信号SW2が入力されると、システム制御部132は撮像記録処理を開始する。システム制御部132は、シャッター105とセンサー部106を制御して、撮像対象となる被写体の光学像を、レンズ151を介して入力しセンサー部106上に結像させる。撮像時のレンズ151及びセンサー部106の動作は、第1シャッタースイッチ信号SW1の入力に応じて実行される撮像準備動作によってあらかじめ取得されたパラメーターに基づいて実行される。なお、第1シャッタースイッチ信号SW1の入力から第2シャッタースイッチ信号SW2の入力までの期間が短いなどにより、パラメーターの取得がなされない場合は、システムメモリ134等にあらかじめ格納されたパラメーターを利用するとする。パラメーターは、絞り、フォーカス、手ぶれ等の評価値算出結果や顔認識結果等の被写体情報に基づいて、システム制御部132によって決定される。
When the second shutter switch signal SW2 is input from the
センサー部106は、画素毎に配置される赤、緑、青(RGB)のモザイクカラーフィルターを透過した光を電気信号に変換する。撮像センサーの画素数は、例えば4K(800万画素以上)又は8K(3300万画素以上)である。4Kに対応する撮像センサーは、例えば、横3840画素×縦2160でマトリクス状に配置された画素を有する。8Kに対応する撮像センサーは、例えば、横7680画素×縦4320でマトリクス状に配置された画素を有する。図12は、センサー部106に配置されるカラーフィルターの一例を示す図であり、デジタルカメラ100が扱う画像の画素配列を表している。図12に示すように、赤(R)、緑(G)、青(B)が画素毎にモザイク状に配置されていて、2×2の4画素につき赤1画素、青1画素、緑2画素を1セットにして規則的に並べられた構造となっている。センサー部106によって変換された電気信号は、赤(R)、緑(G)、青(B)の各成分を含む。なお、緑(G)は、位置毎に異なる2種類の緑(G0、G1)の成分として扱うこともできる。このような画素の配置は、一般にベイヤー配列と呼ばれる。また、センサー部106は、4Kまたは8Kの画素からなるフレーム(画像データ)を、120フレーム毎秒で出力することができる。
The
センサー部106によって変換された電気信号は、フロントエンジン130の画像処理部131に入力される。
The electric signal converted by the
画像処理部131は、入力された画像データを処理する1以上のプロセッサーおよび回路から構成される画像処理回路である。図3に示すように、画像処理部131は、複数の機能ブロック(処理)を含む。各機能ブロック(処理)は、それぞれ個別のプログラムや電子回路で実行されてもよいし、複数の機能ブロックが1つのプログラムや電子回路で実行されてもよい。また、画像処理部131の各機能ブロックの間のデータの送受信は、各機能ブロック間で直接伝送されてもよいし、前処理の機能ブロックがメモリ134にデータを格納し、後処理の機能ブロックがメモリ134からデータを読み出すことによって行ってもよい。
The
画像処理部131は、ライブビュー画像の表示や撮像パラメーターの取得のために用いられる画像処理のパスと、撮像記録処理のために用いられる画像処理のパスとを備える。はじめに、画像処理部131のライブビュー画像の表示や撮像パラメーターの取得のために用いられる画像処理のパスにおける処理について説明する。
The
画素並替処理部301は、入力された電気信号を、2次元マトリクス状に並べ替えてRAW画像データを生成する。なお、本実施例において、RAW画像データは、センサー部106から出力されたセンサー部106の画素配置に対応して画素ごとに単色の色情報を有するいわゆるベイヤーRAW画像データを含む。また、本実施例において、RAW画像データは、センサー部106から出力されたベイヤーRAW画像データに対して、圧縮や一部のデータに対する補正を適用した画像データを含むとする。つまり、センサー部106から出力されたベイヤーRAW画像データに対して、いわゆる「現像処理」を適用していない画像データを、RAW画像データと呼称する。
The pixel
センサー補正処理部302は、RAW画像データに対して、あらかじめ取得されたセンサーの特性に基づく補正処理(センサー補正処理)を実行する。センサー補正処理は、例えば、センサー部106の光電変換素子の光電変換効率(感度)の面内ばらつきを補正する処理である。あらかじめシステムメモリ133等に格納されたセンサー部106の感度分布に基づいて、RAW画像データを補正する。また、センサー補正処理部302による補正処理は、画素の修復処理を含む。修復処理には、センサー部106における欠落画素や信頼性の低い画素の値に対し、周辺画素値を用いて修復対象の画素を補間したり、所定のオフセット値を減算したりする処理が含まれる。なお、修復処理の一部又は全部が、この時点で行われずに、後段の現像時に行われるよう変更しても良い。
The sensor
センサー補正処理が実行されたRAW画像データは、LV表示処理の実行中、縮小処理部303で処理される。また、センサー補正処理が実行されたRAW画像データは、撮像記録処理の実行中、RAWノイズ抑制処理部311で処理される。
The RAW image data for which the sensor correction processing has been executed is processed by the
縮小処理部303は、表示処理や検出処理を効率的に行う目的から、RAW画像データの解像度を縮小する。縮小処理部303は、4Kや8K等の高解像度のRAW画像データを、例えばHDサイズ(200万画素相当)にリサイズする。HDサイズは、たとえば、画素が横1920画素×縦1080画素に配置された大きさである。以降、縮小処理部303によって縮小されたRAW画像を縮小RAW画像データとする。
The
縮小処理部303で処理された縮小RAW画像データは、光学補正処理部304等で処理され、ライブビュー(LV)画像の表示に用いられる。また、検出処理部310で処理されて、露光時間(シャッタースピード)、絞り、フォーカス、手ぶれ等の評価値算出結果や顔認識結果等の被写体情報の取得に用いられる。
The reduced RAW image data processed by the
光学補正処理部304から表示処理部309の処理について、説明する。これらの一連の処理は、ライブビュー(LV)画像の表示のための処理である。
The processing of the optical
光学補正処理部304では、縮小RAW画像データに対してレンズ151等の光学特性に関連する補正処理(光学補正処理)を実行する。光学補正処理は、例えば、レンズ151の収差による周辺領域の光量低下の影響を補正する処理である。
The optical
ノイズ抑制処理部305は、縮小RAW画像データのノイズを低減する処理である。ノイズ抑制処理は、一般にノイズ除去、ノイズリダクション(Noise Reduction、NR)と呼ばれる処理である。移動平均フィルター処理やメディアンフィルター処理を実行することによって、縮小RAW画像データのノイズ成分を低減する。
The noise
LV現像処理部306は、縮小RAW画像データに対して現像処理(LV現像)を実行する。LV現像処理は、後述するRAW(高画質)現像処理よりも、処理による回路負荷および使用するメモリ134との通信帯域が低い簡易現像処理である。現像された縮小RAW画像データを、表示画像データとする。
The LV
LV補正処理部307は、表示画像データに対して、歪曲補正、拡大処理、縮小処理等の補正処理を実行する。LV補正処理部307は、ライブビュー画像を表示する表示装置の解像度等に基づいて拡大処理、縮小処理を実行する。
The LV
LV効果処理部308は、表示画像データに対して、所定の表示効果をえるためのエフェクト処理を実行する。エフェクト処理は、例えば、セピア調やモノクロへ色変換したり、モザイク状や絵画風に画像加工する処理である。
The LV
表示処理部309は、表示画像データを用いて表示部101およびEVF108に画像を表示させる表示処理を実行する。表示処理部309は、表示画像データに対する入出力補正やガンマ補正、ホワイトバランス補正等を行う。また、表示画像データに基づく画像と合わせて表示するアシスト情報を、表示画像データと組み合わせる処理を行う。アシスト情報は、メニューアイコン、撮像パラメーターを示すアイコン、および撮像条件を示すアイコンのうちいずれかを少なくとも含む。
The
撮像パラメーターを示すアイコンは、例えば、ISO感度、色温度、シャッタースピード、絞りなどのパラメーターを示すアイコンである。撮像条件を示すアイコンは、例えば、1枚撮像モード、連写モード、インターバル撮像モード等の撮像枚数を示すアイコン、フラッシュ使用可否を示すアイコン、設定された撮像モードを示すアイコンを含む。アシスト情報は、表示画像データに基づく画像の周辺領域に重畳するように合成されてもよいし、表示画像データに基づく画像の外周に沿って設けられたアイコン表示領域に表示されるように処理されてもよい。表示処理部309は、上述の処理を実行された表示画像データを表示部101またはEVF108に出力する。
The icon indicating the imaging parameter is, for example, an icon indicating parameters such as ISO sensitivity, color temperature, shutter speed, and aperture. The icon indicating the imaging condition includes, for example, an icon indicating the number of images taken such as a single image imaging mode, a continuous shooting mode, and an interval imaging mode, an icon indicating whether or not the flash can be used, and an icon indicating a set imaging mode. The assist information may be synthesized so as to be superimposed on the peripheral area of the image based on the display image data, or processed so as to be displayed in the icon display area provided along the outer circumference of the image based on the display image data. You may. The
表示部101およびEVF108は、入力された表示画像データに基づいて、画像を表示する。上述の一連の処理により、表示部101およびEVF108にライブビュー画像が表示される。
The
検出処理部310は、縮小RAW画像データに対して撮像制御のためのパラメーターを検出する処理を実行する。検出処理部310は、縮小RAW画像データから、フォーカス状態や露出状態の評価値を算出する。算出された評価値は、メモリ134に格納され、システム制御部132がメモリ134から読み出した評価値に基づいて、レンズユニット150に制御信号を出力する。例えば、システム制御部132は、露出状態の評価値に基づいて、撮像記録処理の実行時の露光時間の設定を行う。システム制御部132は、設定された露光時間で取得した画像データの平均輝度が所定値よりも低い場合、露光時間を設定された露光時間よりも長くするように露光時間を決定する。システム制御部132は、露光時間を1/2000(s)から8(s)までの間の離散的に設定された複数の値から選択するとする。また、ユーザーの設定により、例えば30(s)といった長秒露光を設定することも可能である。なお、システム制御部132は、露出状態を調整するために、レンズユニット150の絞り152の絞り量を調整する制御値を決定することもできる。
The
また、検出処理部310は、画像情報中の顔や人物等の被写体情報を検出及び認識する機能を有する。例えば、画像情報によって表される画面内における顔を検出し、有る場合は顔の位置を示す情報をメモリ134に格納する。システム制御部132は、メモリ134に格納された顔などの特徴情報に基づいて特定の人物の認証などを行う。なお、算出された評価値や検出や認識結果を示す表示用情報は表示処理部309に出力され、ライブビュー画像と共に表示されてもよい。
Further, the
次に、画像処理部131の撮像記録処理のために用いられる画像処理のパスにおける処理について説明する。
Next, the processing in the image processing path used for the image recording processing of the
RAWノイズ抑制処理部311は、センサー補正処理部302で処理されたRAW画像データのノイズを低減する処理である。RAWノイズ抑制処理部311は、ノイズ抑制処理部305と同様に、RAWノイズ抑制処理部311は、一般にノイズ除去、ノイズリダクション(Noise Reduction、NR)と呼ばれる処理を実行する。例えば、移動平均フィルター処理やメディアンフィルター処理を実行することによって、RAW画像データのノイズ成分を低減する。
The RAW noise
圧縮処理部312は、RAWノイズ抑制処理部311で処理されたRAW画像データに対して圧縮処理を適用する。RAW画像データに対して適用される圧縮処理は、従来用いられる種々の圧縮処理技術を利用可能である。圧縮処理部312は、RAW画像データを、それぞれウエーブレット変換、量子化、エントロピー符号化(差分符号化等)などの技術を用いて高能率符号化するとする。圧縮処理部312が行う高能率符号化は、非可逆符号化でも可逆符号化でも良い。本実施例では、圧縮を施しても、原画のRAW画像データの品質を大きく損なわない、高画質ファイルとして復元可能なRAWファイルを生成する符号化であるとする。圧縮されたRAW画像データは、一時的にメモリ134に格納してバッファリングされてもよい。
The
送信処理部313は、圧縮されたRAW画像データをメインエンジン140の受信処理部321に送信する。フロントエンジン130の画像処理部131とメモリ134とを用いて、一時的にバッファリングを行うことが可能となることから、後段の高画質の現像処理等を行うメインエンジン140への入力速度を調整することが可能となる。したがって、送信処理部313と受信処理部321との間の伝送レート(伝送速度)は、メインエンジン140の処理速度に合わせて、センサー部106からの画像データの読み出しのレートよりも遅くすることが可能となる。
The
メインエンジン140は、フロントエンジン130から取得したRAW画像データに対して、高画質の現像処理を実行して、記録媒体200に記録用画像データを格納する。メインエンジン140の画像処理部141は、フロントエンジン130から取得したRAW画像データを処理して記録用画像データを生成する。また、記録再生部143は、記録用画像データを記録媒体200に格納する。
The main engine 140 executes high-quality development processing on the RAW image data acquired from the
画像処理部141は、入力された画像データを処理する1以上のプロセッサーおよび回路から構成される画像処理回路である。図3に示すように、画像処理部141は、複数の機能ブロック(処理)を含む。各機能ブロック(処理)は、それぞれ個別のプログラムや電子回路で実行されてもよいし、複数の機能ブロックが1つのプログラムや電子回路で実行されてもよい。また、画像処理部141の各機能ブロックの間のデータの送受信は、各機能ブロック間で直接伝送されてもよいし、前処理の機能ブロックがメモリ145にデータを格納し、後処理の機能ブロックがメモリ145からデータを読み出すことによって行ってもよい。
The
受信処理部321は、送信処理部313から送信された圧縮されたRAW画像データを受信し、圧縮処理部312で適用された圧縮処理の逆変換を行い、圧縮された状態を伸長する。
The
RAW現像処理部322は、RAW画像データに対して現像処理を実行し、記録画像データを生成する。RAW現像処理部322は、RAW画像データに対して、デベイヤー処理(デモザイク処理)、すなわち色補間処理を施し、輝度と色差もしくは原色の信号に変換する。さらに、RAW現像処理部322は、変換された信号に含まれるノイズの除去や光学的な歪みを補正する。RAW現像処理部322が実行する現像処理は、LV現像処理部306が実行する現像処理よりも高精度の処理を行う。したがって、LV現像処理よりも必要とされる回路のリソースや消費電力が高い。
The RAW
補正処理部323は、現像処理が実行された画像データに対して、歪曲補正、拡大処理、縮小処理、ノイズ抑制処理等の補正処理を実行する。補正処理部323は、撮像記録処理を実行する場合、現像処理が実行された記録画像データに対して、歪曲補正、およびノイズ抑制処理を実行する。また、通信部109を介してライブビュー画像として外部装置に画像データを出力するライブビュー出力処理を実行する場合、歪曲補正およびノイズ抑制処理に加えて、表示装置に出力するための拡大処理、または縮小処理を実行する。
The
効果処理部324は、ライブビュー出力処理を実行する場合、画像データに対して、所定の表示効果をえるためのエフェクト処理を実行する。外部出力機能が有効である場合、効果処理部324で処理された画像データは、出力処理部327に出力される。
When executing the live view output process, the
出力処理部327は、効果処理部324から出力された画像データを、通信部109を介して外部装置に出力する。ライブビュー出力処理を実行する場合、出力処理部327は、効果処理部324から出力された画像データ(LV画像データ)に対して入出力補正やガンマ補正、ホワイトバランス補正等を行う。また、出力処理部327は、LV画像データに基づく画像と合わせて表示するアシスト情報を示すGUIを、LV画像データと組み合わせる処理を行う。アシスト情報は、表示処理部309で説明した情報と同様であるので説明を省略する。出力処理部327は、処理されたLV画像データを、通信部109を介して外部装置に出力する。
The output processing unit 327 outputs the image data output from the
また、再生出力処理を実行する場合、出力処理部327は、効果処理部324から出力された画像データ(再生画像データ)に対して入出力補正やガンマ補正、ホワイトバランス補正等を行う。さらに、再生モードにおいて表示するアシスト情報を示すGUIを、再生画像データと組み合わせる処理を行う。出力処理部327は、処理された再生画像データを、通信部109を介して外部装置に出力する。
When executing the reproduction output processing, the output processing unit 327 performs input / output correction, gamma correction, white balance correction, and the like on the image data (reproduced image data) output from the
圧縮処理部325は、記録画像データに対して圧縮処理を適用する。圧縮処理部325は、記録画像データに対して、高能率符号化(圧縮符号化)を適用して、データ量が圧縮された画像データを生成して、高画質現像済ファイルに変換する。圧縮処理として、記録画像データが静止画である場合、JPEG圧縮処理を用いる。また、記録画像データが動画である場合、動画圧縮はMPEG−2、H.264、H.265などの標準符号化技術を用いることができる。
The
記録再生部143の記録処理部326は、圧縮された記録画像データを記録媒体200に格納する。
The
上述の処理によって、撮像記録処理における一連の処理が実行される。すなわち、LV画像の表示処理に関する画像処理は、フロントエンジン130のみを用いて処理が完結する。一方で、撮像記録処理では、フロントエンジン130およびメインエンジン140の両方が用いられる。
By the above-mentioned processing, a series of processing in the imaging recording processing is executed. That is, the image processing related to the display processing of the LV image is completed by using only the
図4は、フロントエンジン130の画像処理部131およびシステム制御部132における再生モード時のデータフローを示す模式図である。
FIG. 4 is a schematic diagram showing a data flow in the reproduction mode in the
再生モードでデジタルカメラ100が動作している場合、フロントエンジン130およびメインエンジン140の両方が通常状態で動作する。通常状態は、各エンジンが画像処理を実行可能な状態である。通常状態に対して、電力が制限された状態(制限状態)は、少なくとも通常状態よりも消費電力が少ない動作状態であって、例えば、通常状態で実行可能な画像処理の一部もしくはすべてを実行することができない状態である。なお、制限状態であっても、各エンジンは、外部からエンジンの起動に関する指示を受信し、起動制御を実行可能である。すなわち、制限状態は、待機状態であるともいえる。
When the
例えば、フロントエンジン130は、通常状態において、センサー部106から入力されたRAW画像データに基づいて、表示部もしくはEVFに画像を表示する表示制御処理を実行可能である。また、フロントエンジン130は、通常状態において、センサー部106から入力されたRAW画像データを圧縮して、メインエンジン140に出力する処理を実行可能である。フロントエンジン130は、デジタルカメラ100の動作を制御するシステム制御部132を含む。したがって、デジタルカメラ100の電源がオンとなっている場合にフロントエンジン130が制限状態に移行することは、所定時間以上操作がない場合にスリープモードに移行する場合などを除いて、基本的にない。
For example, the
メインエンジン140は、通常状態において、フロントエンジン130から入力された圧縮RAW画像データを処理して、記録媒体に格納する記録制御処理を実行可能である。また、メインエンジン140は、通常状態において、記録媒体に格納された画像データを読み出して、フロントエンジン130に出力し、フロントエンジン130によって表示部もしくはEVFに画像を表示する再生表示制御処理を実行可能である。さらに、メインエンジン140は、フロントエンジン130から入力された画像データを通信部109を介して外部装置に出力する出力制御処理を実行可能である。一方で、メインエンジン140は、制限状態において、上述の記録制御処理、再生表示制御処理、および出力制御処理の少なくともいずれかを実行することができない。
In the normal state, the main engine 140 can process the compressed RAW image data input from the
はじめに、記録再生部143の読出処理部401が、記録媒体200から画像ファイルを読み出す。画像ファイルは、記録処理時と同じく、あらかじめ圧縮符号化された画像ファイルである。読み出された画像ファイルは、メインエンジン140の画像処理部141に出力される。
First, the read processing unit 401 of the recording /
伸長処理部402は、画像ファイルに対して圧縮処理の逆変換を適用して画像データを生成する伸長処理を実行する。送信処理部403は、画像データをフロントエンジン130に送信する。
The
出力処理部404は、伸長処理部402から出力された画像データを処理して表示画像データを生成し、通信部109を介して外部装置に出力する。出力処理部404は、伸長処理部402から出力された画像データに対して入出力補正やガンマ補正、ホワイトバランス補正等を行う。また、出力処理部404は、画像データに基づく画像と合わせて表示するアシスト情報を示すGUIを、画像データと組み合わせる処理を行う。出力処理部327は、サムネイル表示のためのサムネイル画像を生成することも可能である。出力処理部404は、処理された画像データを、通信部109を介して外部装置に出力する。フロントエンジン130の受信処理部411は、メインエンジン140から出力された画像データを受信する。
The output processing unit 404 processes the image data output from the
表示処理部412は、受信した画像データを処理して、表示画像データを生成し、表示画像データに基づいて表示部101もしくはEVF108に画像を表示する。
The
なお、ユーザーが操作部110を操作して、サムネイル表示を指示した場合、システム制御部132は、メインエンジン140にサムネイル表示に用いる複数の画像データを記録媒体200から読み出して、フロントエンジン130に出力するように制御する。そして、システム制御部132は、取得した複数の画像データに基づいて、サムネイル画像を生成し、一覧表示画面を生成するように表示処理部412を制御する。
When the user operates the operation unit 110 to instruct the thumbnail display, the
次に、デジタルカメラ100の全体の制御について説明する。
Next, the overall control of the
図5A、および図5Bは、デジタルカメラ100の動作制御フローを示すフローチャートである。本フローチャートは、デジタルカメラ100の電源スイッチ103がオフからオンに操作されたことに応じて開始する。図5Aおよび図5Bの参照符号A〜Dは、それぞれに記載された参照符号間を接続するための記号である。例えば、図5AのS502でYesと判定された場合には、参照符号Bを介して、図5BのS514に進む。
5A and 5B are flowcharts showing an operation control flow of the
S501で、フロントエンジン130の起動処理が実行される。電源制御部107は、電源スイッチ103から起動指示を受け付けたことに応じて、フロントエンジン130に電力を供給する。フロントエンジン130のシステム制御部132は、システムメモリ133から起動用のプログラムおよびパラメーターを読み出して、起動動作を実行する。一方で、電源制御部107は、メインエンジン140に対する電力の供給を制限する。具体的には、電源制御部107は、メインエンジン140が通常状態で動作するために必要な電力を供給しない。
In S501, the start processing of the
S502で、システム制御部132は、デジタルカメラ100の動作モードが撮像モードであるか、再生モードであるか判定する。システム制御部132は、システムメモリ133に格納された設定データを読み出して、デジタルカメラ100の動作モードを確認する。もしくは、システム制御部132は、モード切替スイッチ121が示す動作モードに基づいて、デジタルカメラ100の動作モードを確認する。撮像モードが設定されている場合(S502 Yes)は、処理はS503に進む。再生モードが設定されている場合(S502 No)は、処理はS516に進み、メインエンジン140の起動処理、および画像の再生処理を行う。
In S502, the
S503で、システム制御部132は、ライブビュー処理を実行する。ライブビュー処理は、センサー部106から取得したライブビュー画像を表示部101に表示する処理である。ライブビュー処理が実行されると、表示部もしくはEVFにセンサー部106から入力された画像データに基づく画像(ライブビュー画像)が表示される。ユーザは、表示されたライブビュー画像を確認して、撮像(記録)する画像などの撮像条件を決定する。すなわち、ライブビュー処理が実行され、SW1やSW2などの撮像の実行に関する指示が入力されるまでの間は、デジタルカメラ100は撮像待機状態にあるといえる。
In S503, the
図7は、ライブビュー処理のフローを示すフローチャートである。 FIG. 7 is a flowchart showing the flow of live view processing.
S701で、システム制御部132は、レンズ151やセンサー部106の動作を制御し、光学像を取得(撮像)して画像データを出力する。例えば、システム制御部132は、ユーザーのズームやフォーカスの指示に従って、レンズ151のフォーカス位置を制御するように、通信端子104を介して、レンズシステム制御回路154に指示を出力する。また、システム制御部132は、シャッター105およびセンサー部106を制御して、光学像をセンサー部106の撮像センサー上に結像させる。また、後述の検出処理によって得られる評価値の情報や被写体情報に基づいて、特定被写体へのフォーカス調整や追尾などの制御が行われる。
In S701, the
S702で、画像処理部131は、センサー部106から画像データを生成するための電気信号を読み出す読出処理を実行する。この時、読出し速度は、1000MP/秒であるとする。
In S702, the
S703で、画素並替処理部301は、入力された電気信号を2次元マトリクス状に並べ替えてRAW画像データを生成する。
In S703, the pixel
S704で、センサー補正処理部302は、RAW画像データに対して、あらかじめ取得されたセンサーの特性に基づく補正処理(センサー補正処理)を実行する。
In S704, the sensor
S705で、縮小処理部303は、RAW画像データに縮小処理を適用して、縮小縮小RAW画像データを生成する。
In S705, the
S706で、検出処理部310は、縮小RAW画像データに対して撮像制御のためのパラメーターを検出する処理を実行する。なお、S706の処理は、LV処理の他の処理と並行して実行されていてもよい。
In S706, the
S707で、光学補正処理部304は、縮小RAW画像データに対してレンズ151等の光学特性に関連する補正処理(光学補正処理)を実行する。
In S707, the optical
S708で、ノイズ抑制処理部305は、光学補正処理が適用された縮小RAW画像データに対して、ノイズを低減する処理を実行する。
In S708, the noise
S709で、LV現像処理部306は、ノイズ抑制処理が実行された縮小RAW画像データに対して現像処理(LV現像処理)を適用して、表示画像データを生成する。
In S709, the LV
S710で、LV補正処理部307は、表示画像データに対して、歪曲補正、拡大処理、縮小処理等の補正処理を実行する。
In S710, the LV
S711で、LV効果処理部308は、表示画像データに対して、所定の表示効果をえるためのエフェクト処理を実行する。
In S711, the LV
S712で、表示処理部309は、表示画像データを用いて表示部101およびEVF108に画像を表示させる表示処理を実行する。
In S712, the
以上で、LV処理のフローが完了する。 This completes the LV processing flow.
図5のフローチャートの説明に戻る。処理は、S504に進む。 Returning to the description of the flowchart of FIG. The process proceeds to S504.
S504で、システム制御部132は、SW1信号が入力されたか否かを判定する。すなわち、システム制御部132は、ユーザーにより、シャッターボタンの半押し動作が実行されたか否かを判定する。言い換えれば、システム制御部132は、ユーザーにより、撮像準備動作の実行指示が入力されたか否かを判定する。SW1信号が入力された(S504 Yes)場合、処理はS505に進む。SW1信号が入力されない(S504 No)場合、処理はS514に進む。
In S504, the
S505で、システム制御部132は、センサー106から得られた画像データに基づいて、露光時間T1の決定処理を実行する。検出処理部310が縮小RAW画像データを処理して露出状態を示す評価値を取得する。システム制御部132は、検出処理部から取得した露出状態を示す評価値に基づいて、撮像動作における露光時間T1を決定する。処理はS506に進む。
In S505, the
S506で、システム制御部132は、SW2信号が入力されてからメインエンジン140の起動処理を実行するタイミング(起動タイミングTa)を決定する。システム制御部132は、システムメモリ133から、レリーズタイムラグT2を示す情報と、メインエンジン140の初期化にかかる期間T3を示す情報とを取得する。レリーズタイムラグT2は、SW2信号が入力されてからセンサー部106が露光(画像データの取得)を開始するまでの期間(タイムラグ)である。メインエンジン140の初期化にかかる期間T3は、メインエンジン140を起動し、画像処理部141や記録再生部143が画像処理や記録処理などの動作を実行可能な状態になるまでの期間である。
In S506, the
システム制御部132は、露光時間T1、レリーズタイムラグT2、およびメインエンジン140の初期化にかかる期間T3に基づいて、起動タイミングTaを決定する。ここで、システム制御部132は、起動タイミングTaを下記の計算式から算出する。
Ta=T1+T3−T2
The
Ta = T1 + T3-T2
すなわち、システム制御部132は、露光時間T1が大きいほど、SW信号の入力からメインエンジン140の起動開始までの期間が長くなるように、起動タイミングTaを決定する。これにより、露光時間が所定の期間よりも長い場合に、メインエンジン140の処理が実行されないにも関わらずメインエンジン140が通常状態に移行し、電力消費が大きくなる期間を短くすることが可能となる。
That is, the
図6は、画像データの入力のタイミングおよびメインエンジン140の起動のタイミングを示すタイミングチャートである。図6(a)は、本実施例によって決定された起動タイミングTaでメインエンジン140を起動させた場合のタイミングチャートを示す。また、図6(b)は、SW2信号の入力に応じてメインエンジン140を起動させた場合の比較例におけるタイミングチャートを示す。本実施例の制御によって、決定されたタイミングでメインエンジン140を起動した場合、比較例よりもメインエンジン140の起動タイミングを遅くすることが可能となる。したがって、起動タイミングが遅れた分だけ、メインエンジン140が通常状態で動作する期間が短くなる。つまり、メインエンジン140の消費電力が高い期間が短くなり、デジタルカメラ100の消費電力を抑制することが可能となる。
FIG. 6 is a timing chart showing the timing of inputting image data and the timing of starting the main engine 140. FIG. 6A shows a timing chart when the main engine 140 is started at the start timing Ta determined by this embodiment. Further, FIG. 6B shows a timing chart in a comparative example in which the main engine 140 is started in response to the input of the SW2 signal. By the control of this embodiment, when the main engine 140 is started at a determined timing, the start timing of the main engine 140 can be delayed as compared with the comparative example. Therefore, the period during which the main engine 140 operates in the normal state is shortened by the amount of the delay in the start timing. That is, the period during which the power consumption of the main engine 140 is high is shortened, and the power consumption of the
S507で、システム制御部132は、SW2信号が入力されたか否かを判定する。すなわち、システム制御部132は、ユーザーにより、シャッターボタンの全押し動作が実行されたか否かを判定する。言い換えれば、システム制御部132は、ユーザーにより、撮像動作の実行指示が入力されたか否かを判定する。SW2信号が入力された(S507 Yes)場合、処理はS508に進む。SW2信号が入力されない(S507 No)場合、処理はS514に進む。
In S507, the
S508で、システム制御部132は、記録用の画像データを取得するためにレンズ151やセンサー部106の動作を制御する撮像制御処理を実行する。システム制御部132は、記録画像を取得するため、設定された露光時間だけ画像データを取得する露光動作の開始をセンサー部106に指示する。
In S508, the
S509で、システム制御部132は、内部のタイマのカウントを開始する。カウントされた値は、SW2信号の入力からの経過時間tを示す。
In S509, the
S510で、経過時間tが起動タイミングTa以上であるか否かを判定する。経過時間tが起動タイミングTa以上でない場合、処理はS510に戻る。経過時間tが起動タイミングTa以上である場合、処理はS511に進む。すなわち、S510で、経過時間tが起動タイミングTa以上になるまで、待機するといえる。 In S510, it is determined whether or not the elapsed time t is equal to or greater than the start timing Ta. If the elapsed time t is not equal to or greater than the start timing Ta, the process returns to S510. If the elapsed time t is equal to or greater than the start timing Ta, the process proceeds to S511. That is, in S510, it can be said to wait until the elapsed time t becomes equal to or longer than the start timing Ta.
S511で、メインエンジン140の起動処理が実行される。システム制御部132は、電源制御部107を制御して、メインエンジン140への電力供給の開始を指示する。すなわち、電源制御部107は、メインエンジン140に対して供給する電力の制限を解除する。また、システム制御部132は、メインエンジン140の制御部142に対して、メインエンジン140の起動動作を実行するように制御する。起動動作の詳細は後述する。
In S511, the start processing of the main engine 140 is executed. The
S512で、撮像記録処理が実行される。撮像記録処理は、センサー部106で取得(撮像)したRAW画像データに対して、高画質の現像処理を適用してあらかじめ定められた記録媒体に記録するまでの一連の処理である。図8は、撮像記録処理のフローを示すフローチャートである。
In S512, the imaging recording process is executed. The imaging recording process is a series of processes from applying high-quality development processing to RAW image data acquired (imaging) by the
S801で、画像処理部131は、センサー部106から画像データを生成するための電気信号を読み出す読出処理を実行する。画像処理部131は、センサー部106から1フレームの画像データを5msで読み出すとする。この時、読出し速度は、画素で示すと1500MP/秒である。
In S801, the
S802で、画素並替処理部301は、入力された電気信号を2次元マトリクス状に並べ替えてRAW画像データを生成する。
In S802, the pixel
S803で、センサー補正処理部302は、RAW画像データに対して、あらかじめ取得されたセンサーの特性に基づく補正処理(センサー補正処理)を実行する。
In S803, the sensor
S804で、RAWノイズ抑制処理部311は、センサー補正処理部302で処理されたRAW画像データにノイズを低減する処理を適応する。
In S804, the RAW noise
S805で、圧縮処理部312は、RAWノイズ抑制処理部311で処理されたRAW画像データに対して圧縮処理を適用する。圧縮処理部312は、圧縮されたRAW画像データは、一時的にメモリ134に格納してバッファリングする。
In S805, the
S806で、送信処理部313は、圧縮されたRAW画像データをメインエンジン140の受信処理部321に送信する。送信処理部313は、1フレーム当たり15msで受信処理部321へ送信するとする。つまり、フロントエンジン130がセンサー部106から1フレームを読み出す速度よりも、フロントエンジン130からメインエンジン140に1フレームを転送する速度が遅い。
In S806, the
メインエンジン140の画像処理部141が実行する画像処理(現像処理)は、フロントエンジン130が実行する画像処理よりも高精度の処理を実行する。したがって、メインエンジン140が単位時間あたりに処理可能なデータ量(フレーム数)は、フロントエンジン130よりも小さい。
The image processing (development processing) executed by the
圧縮したRAW画像データをバッファリングすることにより、フロントエンジン130からメインエンジン140への画像データの転送速度をセンサー部106からの画像データの読み出し速度よりも遅くすることが可能となる。つまり、メインエンジン140が処理可能なデータレートで、転送を行うことが可能となる。したがって、高精度の画像処理を、センサー部106の読み出し速度で実行可能な大規模な画像処理回路を実装せずに、高精度の画像処理を実行可能となる。ここで、高精度の画像処理は、色再現性や補正の精度が高い画像処理である。
By buffering the compressed RAW image data, the transfer speed of the image data from the
S807で、受信処理部321は、送信処理部313から送信された圧縮されたRAW画像データを受信する。
In S807, the
S808で、受信処理部321は、圧縮されたRAW画像データに対して圧縮処理部312で適用された圧縮処理の逆変換を行い、圧縮された状態を伸長する。
In S808, the
S809で、RAW現像処理部322は、RAW画像データに対して現像処理を実行し、記録画像データを生成する。
In S809, the RAW
S810で、補正処理部323は、記録画像データに対して、歪曲補正およびノイズ抑制処理を適用する。
In S810, the
S811で、効果処理部324は、記録画像データに対して、効果処理を実行する。効果処理の内容は、あらかじめ定められた効果を記録画像データに対して付与する処理である。効果処理は、例えば、モノクロ変換処理や各種のフィルタを適用する処理である。
In S811, the
S812で、圧縮処理部325は、記録画像データに対して圧縮処理を適用する。
In S812, the
S813で、記録再生部143の記録処理部326は、圧縮された記録画像データを記録媒体200に格納する。撮像記録処理が終了する。
In S813, the
上述のフローチャートでは、メインエンジン140は、フロントエンジン130から出力された圧縮されたRAW画像データに伸長処理と現像処理を適用した画像データを記録媒体200に記録した。メインエンジン140は、フロントエンジン130から出力された圧縮されたRAW画像データを記録媒体200に記録することも可能である。この場合、S809からS813の一連の処理は実行されない。受信処理部321が受信した圧縮されたRAW画像データを、記録再生部143が記録媒体200に記録する。
In the above flowchart, the main engine 140 records the compressed RAW image data output from the
図5のフローチャートの説明に戻る。撮像記録処理が終了したことに応じて、処理はS513に進む。 Returning to the description of the flowchart of FIG. The process proceeds to S513 according to the completion of the imaging recording process.
S513で、メインエンジン140の停止処理が実行される。システム制御部132は、メインエンジン140の制御部142に対して、メインエンジン140の停止動作を実行するように制御する。そして、システム制御部132は、電源制御部107を制御して、メインエンジン140への電力供給の停止を指示する。停止動作の詳細は後述する。
In S513, the stop processing of the main engine 140 is executed. The
S514で、システム制御部132は、デジタルカメラ100の動作の終了指示が入力されたか否かを判定する。具体的には、システム制御部132は、電源スイッチ103がオンからオフに操作されたか否かを判定する。また、所定時間操作がなかった場合に、終了指示が入力されたと判定してもよい(いわゆる、スリープ動作)。終了指示が入力された(S514 Yes)場合、処理はS515に進む。終了指示が入力されない(S514 No)場合、処理は、S502に戻る。
In S514, the
S515で、システム制御部132は、自己を含むフロントエンジン130の停止処理を実行する。また、デジタルカメラ100の他の各部に対しても停止処理を実行する。これにより、デジタルカメラ100の全体の動作は停止し、カメラ制御が終了する。
In S515, the
S502で動作モードが撮像モードでない(動作モードが再生モードである)と判定された場合、処理はS516に進む。 If it is determined in S502 that the operation mode is not the imaging mode (the operation mode is the reproduction mode), the process proceeds to S516.
S516で、メインエンジン140の起動処理が実行される。メインエンジン140の起動処理は、S511と同様の処理であるので詳細な説明は省略する。 In S516, the start processing of the main engine 140 is executed. Since the start processing of the main engine 140 is the same processing as S511, detailed description thereof will be omitted.
S517で、再生処理が実行される。再生処理は、記録媒体200に記憶された画像データを読み出して、表示部100に表示する処理である。図9は、再生処理のフローを示すフローチャートである。
In S517, the reproduction process is executed. The reproduction process is a process of reading out the image data stored in the
S901で、記録再生部143は、記録媒体200から画像データを読み出す。記録媒体200には、JPEG等の形式で圧縮された画像データが格納されている。記録再生部143が読み出す画像データは、システム制御部132により決定される。記録再生部143は、読み出した圧縮された画像データを画像処理部141に送信する。
In S901, the recording / reproducing
S902で、画像処理部141は、取得した圧縮された画像データを伸長する処理を実行する。伸長する処理は、画像データに対して適用された圧縮処理の逆変換である。
In S902, the
S903で、画像処理部141は、伸長された画像データをフロントエンジン130の画像処理部131に送信する。
In S903, the
S904で、画像処理部131は、メインエンジン140から送信された画像データを受信する。
In S904, the
S905で、画像処理部131は、受信した画像データに基づいて、表示部101もしくはEVF108に画像を表示するための表示制御を実行する。
In S905, the
S906で、システム制御部132は、表示画像の変更指示が操作部110を介して入力されたか否かを判定する。例えば、表示画像の変更は、十字キー114の操作による画像送りや、拡大ボタン118の操作によるサムネイル表示への変更であるとする。表示画像の変更指示がされた(S906 Yes)場合、処理はS901に戻る。システム制御部132は、メインエンジン140の記録再生部143に、変更された表示画像に対応する画像データを読み出すように指示を送信する。
In S906, the
表示画像の変更指示がない(S906 No)場合、処理はS907に進む。S907で、システム制御部132は、モード変更の指示が入力されたか否かを判定する。モード変更の指示は、ユーザーによってモード切替スイッチ121を操作することで入力されてもよいし、ユーザーがシャッターボタン102を押下することに応じて入力されてもよい。モード変更の指示が入力されない場合、処理はS906に戻る。また、モード変更の指示が入力された(S907 Yes)場合、再生処理が終了する。
If there is no instruction to change the display image (S906 No), the process proceeds to S907. In S907, the
再生処理が終了したことに応じて、処理はS509(メインエンジン140の停止処理)に進む。 When the reproduction process is completed, the process proceeds to S509 (stop process of the main engine 140).
次に、メインエンジン140の起動処理、およびメインエンジン140の停止処理の詳細について説明する。メインエンジン140の起動処理は、図5で示したフローチャートにおけるS507、S512、およびS515で実行される処理である。また、メインエンジン140の停止処理は、図5で示したフローチャートにおけるS509、およびS522で実行される処理である。 Next, the details of the start processing of the main engine 140 and the stop processing of the main engine 140 will be described. The start processing of the main engine 140 is the processing executed in S507, S512, and S515 in the flowchart shown in FIG. Further, the stop processing of the main engine 140 is a processing executed in S509 and S522 in the flowchart shown in FIG.
図10は、メインエンジン140の起動処理、およびメインエンジン140の停止処理のフローを示すフローチャートである。図10(a)は、メインエンジン140の起動処理のフローを示すフローチャートである。 FIG. 10 is a flowchart showing a flow of a start process of the main engine 140 and a stop process of the main engine 140. FIG. 10A is a flowchart showing a flow of starting processing of the main engine 140.
S1001で、システム制御部132は、電源制御部107に対して、メインエンジン140への電力供給を開始するための指示を出力する。
In S1001, the
S1002で、電源制御部107は、メインエンジン140への電力供給を開始する。
In S1002, the power
S1003で、メインエンジン140の制御部143は、システムメモリ144からメインエンジン140が起動するために用いるプログラムおよびパラメーターを読み出す処理を実行する。
In S1003, the
S1004で、制御部143は、メインエンジン140の起動制御を実行する。
In S1004, the
上述の一連の処理によって、メインエンジン140が制限状態から通常状態に遷移する。 Through the series of processes described above, the main engine 140 transitions from the restricted state to the normal state.
図10(b)は、メインエンジン140の停止処理のフローを示すフローチャートである。 FIG. 10B is a flowchart showing a flow of stop processing of the main engine 140.
S1011で、システム制御部132は、メインエンジン140の制御部143に対して、動作停止指示を出力する。
In S1011, the
S1012で、制御部143は、次回のメインエンジン140の起動のために必要なパラメーター等のデータ(起動データ)をシステムメモリ144に格納する。なお、データの格納先は、メモリ145であってもよい。
In S1012, the
S1013で、制御部143は、メインエンジン140の動作を停止する処理を実行する。
In S1013, the
S1014で、システム制御部132は、電源制御部107に対して、メインエンジン140への電力供給を停止するための指示を出力する。
In S1014, the
S1015で、電源制御部107は、メインエンジン140への電力供給を終了する。
In S1015, the power
上述の一連の処理によって、メインエンジン140が通常状態から制限状態に遷移する。 Through the series of processes described above, the main engine 140 transitions from the normal state to the restricted state.
メインエンジン140が制限状態に遷移することによって、デジタルカメラ100の消費電力を抑制することが可能となる。
By transitioning the main engine 140 to the restricted state, it is possible to suppress the power consumption of the
上述の制御によれば、撮像モードで動作している場合に、撮像記録処理の実行指示が入力されるまでは、メインエンジン140に供給する電力を制限することが可能となる。また、露光時間が長いほど、メインエンジン140を起動するタイミングを遅くすることにより、撮像記録処理の実行に与える影響を抑止しながら、メインエンジン140の消費電力を低減することが可能となる。したがって、有限の容量の電源(バッテリー)を用いて動作するデジタルカメラ100の駆動可能時間が長くなるように、効率的な運用が可能となる。
According to the above-mentioned control, when operating in the imaging mode, it is possible to limit the power supplied to the main engine 140 until the execution instruction of the imaging recording process is input. Further, as the exposure time is longer, the timing of starting the main engine 140 is delayed, so that the power consumption of the main engine 140 can be reduced while suppressing the influence on the execution of the imaging recording process. Therefore, efficient operation is possible so that the driveable time of the
上述の制御によれば、露光時間が長いほど、SW2信号の入力からメインエンジン140の起動開始までの期間が長くなるように起動タイミングTaを決定した。しかし、露光時間に対してSW2信号の入力からメインエンジン140の起動開始までの期間はステップ状に制御してもよい。具体的には、システム制御部132は、露光時間があらかじめ定められた閾値より長い場合よりも、露光時間が閾値以下である場合に、SW2信号の入力からメインエンジン140の起動開始までに期間を長くするように制御する。例えば、閾値を1秒とする。システム制御部132は、露光時間の設定が1秒以下である場合、SW2信号の入力から0.02秒後にメインエンジン140の起動処理を実行する。また、システム制御部132は、露光時間の設定が1秒より長い場合、SW2信号の入力から1秒後にメインエンジン140の起動処理を実行する。
According to the above-mentioned control, the start timing Ta is determined so that the longer the exposure time, the longer the period from the input of the SW2 signal to the start of the start of the main engine 140. However, the period from the input of the SW2 signal to the start of starting of the main engine 140 may be controlled in steps with respect to the exposure time. Specifically, the
閾値は複数設定されていてもよい。図11は、露光時間と起動タイミングとの関係を示す表である。図11に示す例では、露光時間T1:1/8000秒〜1/30秒に対して起動タイミングTa:0.02秒が関連付けられる。また、露光時間T1:1秒〜5秒に対して起動タイミングTa:1秒、露光時間T1:10秒〜30秒に対して起動タイミングTa:10秒がそれぞれ関連付けられる。言い換えると、システム制御部132は、露光時間が第1時間以下である第1期間に含まれる場合に、第1の起動タイミングTa1とし、露光時間が第1時間より長く第2時間以下である第2期間に含まれる場合に、第2の起動タイミングTa2とするといえる。露光時間の取り得る期間は3以上であってもよい。
A plurality of threshold values may be set. FIG. 11 is a table showing the relationship between the exposure time and the start-up timing. In the example shown in FIG. 11, the start timing Ta: 0.02 seconds is associated with the exposure time T1: 1/8000 seconds to 1/30 seconds. Further, the start timing Ta: 1 second is associated with the exposure time T1: 1 to 5 seconds, and the start timing Ta: 10 seconds is associated with the exposure time T1: 10 to 30 seconds. In other words, when the exposure time is included in the first period of the first hour or less, the
また、露光時間が閾値以下である場合には、起動タイミングを固定値とし、露光時間に応じてメインエンジン140の起動処理を実行するタイミングを決定してもよい。例えば、システム制御部132は、露光時間の設定が1秒より長い場合、式1に基づいて起動タイミングTaを決定してもよい。
When the exposure time is equal to or less than the threshold value, the start timing may be set to a fixed value, and the timing for executing the start process of the main engine 140 may be determined according to the exposure time. For example, when the exposure time setting is longer than 1 second, the
また、上述の制御によれば、SW1信号の入力に応じて露光時間T1を決定したが、露光時間T1は、あらかじめユーザの設定に応じて固定の値を決定するものであってもよい。 Further, according to the above-mentioned control, the exposure time T1 is determined according to the input of the SW1 signal, but the exposure time T1 may be a fixed value determined in advance according to the user's setting.
100 撮像装置
101 表示部
106 センサー部
107 電力制御部
130 フロントエンジン
140 メインエンジン
200 記録媒体
100
Claims (12)
前記撮像センサーから入力された画像データを処理する第1処理回路と、
前記第1処理回路で処理された前記画像データを記録媒体に記録する第2処理回路と、
撮像待機状態において前記第2処理回路への電力供給を制限し、前記撮像センサーから取得した画像データを前記記録媒体に記録する撮像記録処理の実行のための第1の指示が入力されたことに応じて、前記第2処理回路への電力供給の制限を解除する制御部と、
を備え、
前記制御部は、前記撮像動作における前記撮像センサーの露光時間が所定の閾値より長い場合に、前記露光時間が前記所定の閾値以下である場合よりも、前記第1の指示が入力されてから前記第2処理回路への電力供給までの期間が長くなるように、前記第2処理回路への電力供給を制御することを特徴とする撮像装置。 With the image sensor
A first processing circuit that processes image data input from the image sensor, and
A second processing circuit that records the image data processed by the first processing circuit on a recording medium, and
In the imaging standby state, the first instruction for executing the imaging recording process for limiting the power supply to the second processing circuit and recording the image data acquired from the imaging sensor on the recording medium is input. Correspondingly, the control unit that releases the restriction on the power supply to the second processing circuit, and
With
When the exposure time of the imaging sensor in the imaging operation is longer than a predetermined threshold value, the control unit performs the first instruction after the first instruction is input, as compared with the case where the exposure time is equal to or less than the predetermined threshold value. An image pickup apparatus characterized in that the power supply to the second processing circuit is controlled so that the period until the power supply to the second processing circuit is extended.
前記第2処理回路は、前記第1処理回路から取得した前記画像データに第2現像処理を適用して得られた画像データを前記記録媒体に記録することを特徴とする請求項7に記載の撮像装置。 The first processing circuit acquires image data from the image sensor in response to the input of the instruction, and transmits the image data to the second processing circuit without applying the first development process. And
The second processing circuit according to claim 7, wherein the second processing circuit records the image data obtained by applying the second development process to the image data acquired from the first processing circuit on the recording medium. Imaging device.
前記第2処理回路は、前記撮像センサーから前記第1処理回路を介して取得した画像データに前記簡易現像処理よりも高画質の画像データを生成するための現像処理を適用し、前記現像処理により得られた画像データを前記記録媒体に記録する
ことを特徴とする請求項1乃至請求項9のいずれか1項に記載の撮像装置。 The first processing circuit applies a reduction process to the image data acquired from the image pickup sensor, applies a simple development process to the image data to which the reduction process is applied, and applies the simple development process to the image data obtained by the simple development process. Based on this, an image is displayed on the display unit,
The second processing circuit applies a development process for generating image data having a higher image quality than the simple development process to the image data acquired from the image pickup sensor via the first processing circuit, and the development process is performed. The imaging apparatus according to any one of claims 1 to 9, wherein the obtained image data is recorded on the recording medium.
前記第1処理回路で処理された前記画像データを記録媒体に記録する第2処理回路と、を有する撮像装置の制御方法であって、
撮像待機状態において前記第2処理回路への電力供給を制限する第1制御工程と、
前記撮像センサーから取得した画像データを前記記録媒体に記録する撮像記録処理の実行のための第1の指示が入力されたことに応じて、前記第2処理回路への電力供給の制限を解除する第2制御工程と、
を備え、
前記第2制御工程において、前記撮像動作における前記撮像センサーの露光時間が所定の閾値より長い場合に、前記露光時間が前記所定の閾値以下である場合よりも、前記第1の指示が入力されてから前記第2処理回路への電力供給までの期間が長いことを特徴とする撮像装置の制御方法。 An image sensor, a first processing circuit that processes image data input from the image sensor, and
A control method for an image pickup apparatus comprising a second processing circuit for recording the image data processed by the first processing circuit on a recording medium.
A first control step that limits the power supply to the second processing circuit in the imaging standby state, and
The restriction on the power supply to the second processing circuit is released in response to the input of the first instruction for executing the imaging recording process of recording the image data acquired from the image pickup sensor on the recording medium. Second control process and
With
In the second control step, when the exposure time of the imaging sensor in the imaging operation is longer than the predetermined threshold value, the first instruction is input as compared with the case where the exposure time is equal to or less than the predetermined threshold value. A control method for an image pickup apparatus, characterized in that a period from to power supply to the second processing circuit is long.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019152244A JP2021034844A (en) | 2019-08-22 | 2019-08-22 | Imaging device and control method of imaging device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019152244A JP2021034844A (en) | 2019-08-22 | 2019-08-22 | Imaging device and control method of imaging device |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2021034844A true JP2021034844A (en) | 2021-03-01 |
Family
ID=74676134
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019152244A Pending JP2021034844A (en) | 2019-08-22 | 2019-08-22 | Imaging device and control method of imaging device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2021034844A (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2022185668A1 (en) | 2021-03-04 | 2022-09-09 | マレリ株式会社 | Support member and support structure for catalytic converter |
-
2019
- 2019-08-22 JP JP2019152244A patent/JP2021034844A/en active Pending
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2022185668A1 (en) | 2021-03-04 | 2022-09-09 | マレリ株式会社 | Support member and support structure for catalytic converter |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11024342B2 (en) | Digital image processing apparatus and method of controlling the same | |
JP4591325B2 (en) | Imaging apparatus and program | |
JP5088395B2 (en) | Electronic camera | |
JP2008028960A (en) | Photographing apparatus and exposure control method | |
JP5614425B2 (en) | Imaging apparatus and program | |
JP2018152630A (en) | Image processing apparatus and method, and imaging apparatus | |
JP6354877B2 (en) | Imaging control apparatus, and control method and program thereof | |
US10244199B2 (en) | Imaging apparatus | |
US11653089B2 (en) | Imaging apparatus and controlling method | |
JP2016019161A (en) | Imaging device | |
JP2021034844A (en) | Imaging device and control method of imaging device | |
JP4136958B2 (en) | Digital camera and digital camera control method | |
JP6103481B2 (en) | Imaging apparatus, and control method and program thereof | |
JP2009159094A (en) | Imaging apparatus | |
JP2009088688A (en) | Imaging apparatus, its imaging method, and method for switching its settings | |
JP7497205B2 (en) | Imaging device and control method thereof | |
JP4948011B2 (en) | Imaging apparatus, control method therefor, computer program, and storage medium | |
JP5239711B2 (en) | camera | |
JP4986588B2 (en) | Imaging apparatus and control method thereof | |
JP4456318B2 (en) | Imaging device | |
JP4637032B2 (en) | Image recording apparatus and control method thereof | |
US10194082B2 (en) | Image pickup apparatus that shoots moving image for predetermined time period at the time of shooting still image, control method for the image pickup apparatus, and storage medium | |
JP2021197620A (en) | Recording device, control method of recording device, program, and storage medium | |
JP2009089036A (en) | Apparatus and image processing method | |
JP4227181B2 (en) | Digital camera |