JP2021034844A - Imaging device and control method of imaging device - Google Patents

Imaging device and control method of imaging device Download PDF

Info

Publication number
JP2021034844A
JP2021034844A JP2019152244A JP2019152244A JP2021034844A JP 2021034844 A JP2021034844 A JP 2021034844A JP 2019152244 A JP2019152244 A JP 2019152244A JP 2019152244 A JP2019152244 A JP 2019152244A JP 2021034844 A JP2021034844 A JP 2021034844A
Authority
JP
Japan
Prior art keywords
image data
image
processing circuit
imaging
processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2019152244A
Other languages
Japanese (ja)
Inventor
村田 健一
Kenichi Murata
健一 村田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2019152244A priority Critical patent/JP2021034844A/en
Publication of JP2021034844A publication Critical patent/JP2021034844A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • Studio Devices (AREA)

Abstract

To provide an imaging device for processing image data acquired from a sensor by using a plurality of image processing circuits which achieves the efficient operation of the imaging device by controlling the operation of each image processing circuit in accordance with the operation of the imaging device.SOLUTION: An imaging device 100 comprises: a front engine 130 which processes image data input from a sensor part 106; a main engine 140 which records image data processed by the front engine 130 in a recording medium; and a system control unit 132 which restricts the power supply to the main engine 140 in the imaging stand-by state and releases the restriction on the power supply to the main engine 140 in response to the input of an instruction for the execution of the imaging recording processing. The system control unit 132 controls the power supply so as to extend a period to the power supply to the main engine 140 from the input of the instruction in comparison to a case where the exposure time is equal to or less than a prescribed threshold when the exposure time is longer than the prescribed threshold.SELECTED DRAWING: Figure 2

Description

本発明は撮像装置、および撮像装置の制御方法に関する。 The present invention relates to an image pickup apparatus and a control method for the image pickup apparatus.

特許文献1には、フロントエンジンとバックエンジンとを用いて、撮像回路で取得された画像データを処理する撮像装置が開示されている。 Patent Document 1 discloses an image pickup apparatus that processes image data acquired by an image pickup circuit by using a front engine and a back engine.

特開2013−197608号公報Japanese Unexamined Patent Publication No. 2013-197608

特許文献1に開示された撮像装置は、ライブビュー画像を表示している間、フロントエンジンとバックエンジンとを動作させる必要がある。したがって、ライブビュー画像を表示している間であっても2つのエンジンを駆動するための電力を必要とする。特許文献1に開示された撮像装置は、単一のエンジンの役割を複数のエンジンに担わせたものであり、撮像装置の動作時にこれら複数のエンジンの駆動について効率的な運用を行うことができなかった。 The image pickup apparatus disclosed in Patent Document 1 needs to operate a front engine and a back engine while displaying a live view image. Therefore, it requires power to drive the two engines even while displaying the live view image. The image pickup apparatus disclosed in Patent Document 1 assigns the role of a single engine to a plurality of engines, and can efficiently operate the drive of these plurality of engines when the image pickup apparatus is operated. There wasn't.

そこで、本発明の目的は、センサーから取得した画像データを複数の画像処理回路を用いて処理する撮像装置において、撮像装置の動作に応じて各画像処理回路の動作を制御して、効率的な撮像装置の動作を実現することにある。 Therefore, an object of the present invention is to control the operation of each image processing circuit according to the operation of the image processing device in an image pickup apparatus that processes the image data acquired from the sensor by using a plurality of image processing circuits, and it is efficient. The purpose is to realize the operation of the image pickup device.

本発明の撮像装置は、撮像センサーと、前記撮像センサーから入力された画像データを処理する第1処理回路と、前記第1処理回路で処理された前記画像データを記録媒体に記録する第2処理回路と、撮像待機状態において前記第2処理回路への電力供給を制限し、前記撮像センサーから取得した画像データを前記記録媒体に記録する撮像記録処理の実行のための第1の指示が入力されたことに応じて、前記第2処理回路への電力供給の制限を解除する制御部と、を備え、前記制御部は、前記撮像動作における前記撮像センサーの露光時間が所定の閾値より長い場合に、前記露光時間が前記所定の閾値以下である場合よりも、前記第1の指示が入力されてから前記第2処理回路への電力供給までの期間が長くなるように、前記第2処理回路への電力供給を制御することを特徴とする。 The image pickup apparatus of the present invention includes an image pickup sensor, a first processing circuit that processes image data input from the image pickup sensor, and a second process that records the image data processed by the first processing circuit on a recording medium. A first instruction for executing an imaging recording process that limits the power supply to the circuit and the second processing circuit in the imaging standby state and records the image data acquired from the imaging sensor on the recording medium is input. Correspondingly, the control unit is provided with a control unit that releases the limitation of power supply to the second processing circuit, and the control unit is used when the exposure time of the image pickup sensor in the image pickup operation is longer than a predetermined threshold value. The second processing circuit is provided with a longer period from the input of the first instruction to the supply of power to the second processing circuit than when the exposure time is equal to or less than the predetermined threshold value. It is characterized by controlling the power supply of.

本発明によれば、センサーから取得した画像データを複数の画像処理回路を用いて処理する撮像装置において、撮像装置の動作に応じて各画像処理回路への電力供給を制御して、効率的な撮像装置の動作を実現することができる。 According to the present invention, in an image pickup apparatus that processes image data acquired from a sensor using a plurality of image processing circuits, it is efficient to control the power supply to each image processing circuit according to the operation of the image pickup apparatus. The operation of the image pickup device can be realized.

デジタルカメラの外観図である。It is an external view of a digital camera. デジタルカメラの構成例を示すブロック図である。It is a block diagram which shows the configuration example of a digital camera. 撮像モード時のデータフローを示す模式図である。It is a schematic diagram which shows the data flow in the imaging mode. 再生モード時のデータフローを示す模式図である。It is a schematic diagram which shows the data flow in the reproduction mode. デジタルカメラの動作制御フローを示すフローチャートである。It is a flowchart which shows the operation control flow of a digital camera. 画像データの入力のタイミングおよびメインエンジン140の起動のタイミングを示すタイミングチャートである。6 is a timing chart showing the timing of inputting image data and the timing of starting the main engine 140. ライブビュー処理のフローを示すフローチャートである。It is a flowchart which shows the flow of the live view processing. 撮像記録処理のフローを示すフローチャートである。It is a flowchart which shows the flow of the imaging recording process. 再生処理のフローを示すフローチャートである。It is a flowchart which shows the flow of a reproduction process. メインエンジンの起動処理および停止処理のフローを示すフローチャートである。It is a flowchart which shows the flow of the start processing and stop processing of a main engine. 露光時間と起動タイミングとの関係を示す表である。It is a table which shows the relationship between the exposure time and the start-up timing. センサー部に配置されるカラーフィルターの一例を示す図である。It is a figure which shows an example of the color filter arranged in the sensor part.

以下、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。 Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings.

図1(a)、(b)に本発明を適用可能な装置の一例としてのデジタルカメラ100の外観図を示す。図1(a)は、デジタルカメラ100の前面斜視図である。図1(b)は、デジタルカメラ100の背面斜視図である。 1A and 1B show external views of a digital camera 100 as an example of a device to which the present invention can be applied. FIG. 1A is a front perspective view of the digital camera 100. FIG. 1B is a rear perspective view of the digital camera 100.

表示部101は、画像や各種情報を表示する、カメラ背面に設けられた表示部である。また、表示部101には、表示部101の表示面(操作面)に対するタッチ操作を検出することができるタッチパネル111が設けられる。タッチパネル111は、後述する操作部110に含まれる。 The display unit 101 is a display unit provided on the back surface of the camera for displaying images and various information. Further, the display unit 101 is provided with a touch panel 111 capable of detecting a touch operation on the display surface (operation surface) of the display unit 101. The touch panel 111 is included in the operation unit 110 described later.

シャッターボタン102は、撮像指示を行うための操作部材である。 The shutter button 102 is an operating member for giving an imaging instruction.

電源スイッチ103はデジタルカメラ100の電源のON及びOFFを切り替える操作部材である。電源スイッチ103は、デジタルカメラ100の電源をONにする起動指示を入力する。また、電源スイッチ103は、デジタルカメラ100の電源をOFFにする停止指示を入力する。 The power switch 103 is an operating member that switches the power of the digital camera 100 on and off. The power switch 103 inputs a start instruction to turn on the power of the digital camera 100. Further, the power switch 103 inputs a stop instruction for turning off the power of the digital camera 100.

操作部110は、デジタルカメラ100が有する操作部材のすべて、もしくは一部を示す。操作部110は、タッチパネル111、メイン電子ダイヤル112、サブ電子ダイヤル113、十字キー114、およびSETボタン115を含む。また、操作部110は、動画ボタン116、AEロックボタン117、拡大ボタン118、再生ボタン119、メニューボタン120、およびモード切替スイッチ121を含む。操作部110は、シャッターボタン102、および電源スイッチ103を含んでいてもよい。操作部110に含まれる各操作部材の機能は、物理的に互いに異なるボタンにそれぞれ割り振られていてもよいし、複数の機能を1つのボタンで実行することも可能である。本実施例においては、説明のため、シャッターボタン102、および電源スイッチ103は、操作部110とは別の操作部材として扱うとする。 The operation unit 110 shows all or a part of the operation members included in the digital camera 100. The operation unit 110 includes a touch panel 111, a main electronic dial 112, a sub electronic dial 113, a cross key 114, and a SET button 115. Further, the operation unit 110 includes a moving image button 116, an AE lock button 117, an enlargement button 118, a play button 119, a menu button 120, and a mode changeover switch 121. The operation unit 110 may include a shutter button 102 and a power switch 103. The functions of the operating members included in the operating unit 110 may be assigned to physically different buttons, or a plurality of functions may be executed by one button. In this embodiment, for the sake of explanation, the shutter button 102 and the power switch 103 are treated as operating members separate from the operating unit 110.

メイン電子ダイヤル112は、操作部110に含まれる回転操作部材である。このメイン電子ダイヤル112を回すことで、シャッター速度や絞りなどの設定値の変更等が行える。サブ電子ダイヤル113は操作部110に含まれ、操作部110に含まれる回転操作部材であり、選択枠の移動や画像送りなどを行える。十字キー114は操作部110に含まれ、上、下、左、右部分をそれぞれ押し込み可能な十字キー(4方向キー)である。十字キー114の押した部分に応じた操作が可能である。SETボタン115は操作部110に含まれ、押しボタンであり、主に選択項目の決定などに用いられる。動画ボタン116は、動画撮像(記録)の開始、停止の指示に用いられる。AEロックボタン117は操作部110に含まれ、撮像待機状態で押下することにより、露出状態を固定することができる。拡大ボタン118は操作部110に含まれ、撮像モードのライブビュー表示において拡大モードのON、OFFを行うための操作ボタンである。拡大モードをONとしてからメイン電子ダイヤル112を操作することにより、LV画像の拡大、縮小を行える。再生モードにおいては再生画像を拡大し、拡大率を増加させるための拡大ボタンとして機能する。再生ボタン119は操作部110に含まれ、撮像モードと再生モードとを切り替える操作ボタンである。撮像モード中に再生ボタン119を押下することで再生モードに移行し、記録媒体200に記録された画像のうち最新の画像を表示部101に表示させることができる。メニューボタン120は、操作部110に含まれ、メニューボタン120が押されると各種の設定可能なメニュー画面が表示部101に表示される。ユーザーは、表示部101に表示されたメニュー画面と、十字キー114やSETボタン115を用いて直感的に各種設定を行うことができる。モード切替スイッチ121は各種モードを切り替えるための操作部である。 The main electronic dial 112 is a rotation operation member included in the operation unit 110. By turning the main electronic dial 112, setting values such as shutter speed and aperture can be changed. The sub-electronic dial 113 is a rotation operation member included in the operation unit 110 and included in the operation unit 110, and can move a selection frame, feed an image, and the like. The cross key 114 is included in the operation unit 110, and is a cross key (four-way key) capable of pressing up, down, left, and right portions, respectively. The operation can be performed according to the pressed portion of the cross key 114. The SET button 115 is included in the operation unit 110, is a push button, and is mainly used for determining a selection item or the like. The moving image button 116 is used to instruct the start and stop of moving image imaging (recording). The AE lock button 117 is included in the operation unit 110, and the exposed state can be fixed by pressing the AE lock button 117 in the imaging standby state. The enlargement button 118 is included in the operation unit 110, and is an operation button for turning on / off the enlargement mode in the live view display of the imaging mode. By operating the main electronic dial 112 after turning on the enlargement mode, the LV image can be enlarged or reduced. In the playback mode, it functions as an enlargement button for enlarging the reproduced image and increasing the enlargement ratio. The playback button 119 is included in the operation unit 110 and is an operation button for switching between the imaging mode and the playback mode. By pressing the play button 119 during the image pickup mode, the play mode can be entered, and the latest image among the images recorded on the recording medium 200 can be displayed on the display unit 101. The menu button 120 is included in the operation unit 110, and when the menu button 120 is pressed, various settable menu screens are displayed on the display unit 101. The user can intuitively make various settings by using the menu screen displayed on the display unit 101, the cross key 114, and the SET button 115. The mode changeover switch 121 is an operation unit for switching various modes.

通信端子104はデジタルカメラ100が着脱可能なレンズもしくはレンズを接続するためのアダプターと通信を行う為の通信端子である。接眼部11は、接眼ファインダー(覗き込み型のファインダー)の接眼部であり、ユーザーは、接眼部11を介して内部のEVF29に表示された映像を視認することができる。接眼検知部12は接眼部11に撮像者が接眼しているか否かを検知する接眼検知センサーである。 The communication terminal 104 is a communication terminal for communicating with a lens to which the digital camera 100 can be attached and detached or an adapter for connecting the lens. The eyepiece portion 11 is an eyepiece portion of an eyepiece finder (a peep-type finder), and the user can visually recognize the image displayed on the internal EVF 29 through the eyepiece portion 11. The eyepiece detection unit 12 is an eyepiece detection sensor that detects whether or not the imager is in contact with the eyepiece unit 11.

端子カバー13は、デジタルカメラ100を外部機器と接続するための端子(不図示)を保護するカバーである。 The terminal cover 13 is a cover that protects terminals (not shown) for connecting the digital camera 100 to an external device.

蓋14は記録媒体200を格納したスロットの蓋である。グリップ部15は、ユーザーがデジタルカメラ100を構えた際に右手で握りやすい形状とした保持部である。グリップ部15を右手の小指、薬指、中指で握ってデジタルカメラを保持した状態で、右手の人差指で操作可能な位置にシャッターボタン102、メイン電子ダイヤル112が配置されている。また、同じ状態で、右手の親指で操作可能な位置に、サブ電子ダイヤル113が配置されている。 The lid 14 is a lid of a slot that stores the recording medium 200. The grip portion 15 is a holding portion having a shape that makes it easy for the user to hold the digital camera 100 with his / her right hand. The shutter button 102 and the main electronic dial 112 are arranged at positions that can be operated by the index finger of the right hand while holding the digital camera by holding the grip portion 15 with the little finger, ring finger, and middle finger of the right hand. Further, in the same state, the sub electronic dial 113 is arranged at a position where it can be operated with the thumb of the right hand.

図2は、本実施形態によるデジタルカメラ100の構成例を示すブロック図である。図2において、レンズユニット150は、交換可能な撮像レンズを搭載するレンズユニットである。レンズ151は通常、複数枚のレンズから構成されるが、ここでは簡略して一枚のレンズのみで示している。通信端子153はレンズユニット150がデジタルカメラ100側と通信を行う為の通信端子であり、通信端子104はデジタルカメラ100がレンズユニット150側と通信を行う為の通信端子である。レンズユニット150は、通信端子153,10を介してシステム制御部132と通信し、内部のレンズシステム制御回路154によって絞り駆動回路155を介して絞り152の制御を行う。また、レンズユニット150は、通信端子153,および通信端子104を介してシステム制御部132と通信し、内部のレンズシステム制御回路154によって、AF駆動回路156を介して、レンズ151の位置を変位させることで焦点を合わせる。 FIG. 2 is a block diagram showing a configuration example of the digital camera 100 according to the present embodiment. In FIG. 2, the lens unit 150 is a lens unit equipped with an interchangeable imaging lens. The lens 151 is usually composed of a plurality of lenses, but here, only one lens is shown for brevity. The communication terminal 153 is a communication terminal for the lens unit 150 to communicate with the digital camera 100 side, and the communication terminal 104 is a communication terminal for the digital camera 100 to communicate with the lens unit 150 side. The lens unit 150 communicates with the system control unit 132 via the communication terminals 153 and 10, and controls the aperture 152 via the aperture drive circuit 155 by the internal lens system control circuit 154. Further, the lens unit 150 communicates with the system control unit 132 via the communication terminal 153 and the communication terminal 104, and the internal lens system control circuit 154 displaces the position of the lens 151 via the AF drive circuit 156. Focus on that.

シャッター105は、システム制御部132の制御でセンサー部106の露光時間を自由に制御できるフォーカルプレーンシャッターである。露光時間は、シャッター105を開けている時間に対応する。露光時間はシャッタースピードとも呼ばれる。 The shutter 105 is a focal plane shutter that can freely control the exposure time of the sensor unit 106 under the control of the system control unit 132. The exposure time corresponds to the time when the shutter 105 is open. The exposure time is also called the shutter speed.

センサー部106は、光学像を電気信号に変換するCCDやCMOS素子等で構成される撮像素子と、撮像素子から出力されたアナログ信号をデジタル信号に変換して画像データを出力するA/D変換器を有する。センサー部106は、システム制御部132にデフォーカス量情報を出力する撮像面位相差センサーを有していてもよい。 The sensor unit 106 is an image pickup element composed of a CCD or CMOS element that converts an optical image into an electric signal, and an A / D conversion that converts an analog signal output from the image pickup element into a digital signal and outputs image data. Have a vessel. The sensor unit 106 may have an imaging surface phase difference sensor that outputs defocus amount information to the system control unit 132.

フロントエンジン130は一つの半導体集積回路チップ(ICチップ)として構成される。フロントエンジン130は、1以上のプロセッサーまたは回路を有する。フロントエンジン130は、センサー部106から取得した画像データを処理する画像処理部131と、デジタルカメラ100全体を制御するシステム制御部132と、を有する。フロントエンジン130は、センサー部106から取得した画像データを用いて、表示部101およびEVF108の少なくとも一方にライブビュー画像を表示するように、表示部101およびEVF108を制御する表示制御処理を実行する。ここで、ライブビュー(ライブビュー機能)とは、ユーザーが撮像する対象(被写体)、画角、および撮像条件等を表示部101およびEVF108に表示された画像で確認するための機能である。ライブビュー画像は、ライブビュー機能において、表示装置に表示される画像である。 The front engine 130 is configured as one semiconductor integrated circuit chip (IC chip). The front engine 130 has one or more processors or circuits. The front engine 130 includes an image processing unit 131 that processes image data acquired from the sensor unit 106, and a system control unit 132 that controls the entire digital camera 100. The front engine 130 uses the image data acquired from the sensor unit 106 to execute a display control process for controlling the display unit 101 and the EVF 108 so that the live view image is displayed on at least one of the display unit 101 and the EVF 108. Here, the live view (live view function) is a function for confirming the object (subject) to be imaged by the user, the angle of view, the imaging conditions, and the like on the images displayed on the display unit 101 and the EVF 108. The live view image is an image displayed on the display device in the live view function.

ライブビュー機能が有効である場合、センサー部106は連続的に画像データを取得する。フロントエンジン130は、センサー部106から入力された画像データに基づいて、表示部101およびEVF108に表示するための表示画像データを生成する。さらに、フロントエンジン130は、生成された表示画像データに基づいて画像を表示するように、表示部101およびEVF108の少なくとも一方を制御する。なお、通信部109を介して、外部の表示装置(外部装置)と接続し、外部装置への出力機能が有効である場合には、外部装置を用いてライブビュー機能を実行してもよい(ライブビュー出力処理)。この場合、メインエンジン140は、フロントエンジン130から画像データを取得して、表示画像データの生成および表示部101およびEVF108の制御を行う。 When the live view function is enabled, the sensor unit 106 continuously acquires image data. The front engine 130 generates display image data for display on the display unit 101 and the EVF 108 based on the image data input from the sensor unit 106. Further, the front engine 130 controls at least one of the display unit 101 and the EVF 108 so as to display an image based on the generated display image data. If the device is connected to an external display device (external device) via the communication unit 109 and the output function to the external device is effective, the live view function may be executed using the external device (the external device may be used). Live view output processing). In this case, the main engine 140 acquires image data from the front engine 130, generates display image data, and controls the display unit 101 and the EVF 108.

また、フロントエンジン130は、デジタルカメラ100の動作モードに応じてメインエンジン140の起動制御を実行する。フロントエンジン130は、少なくとも後述するメインエンジン140と異なる半導体集積回路である。フロントエンジン130の詳細な説明は後述する。 Further, the front engine 130 executes start control of the main engine 140 according to the operation mode of the digital camera 100. The front engine 130 is at least a semiconductor integrated circuit different from the main engine 140 described later. A detailed description of the front engine 130 will be described later.

システムメモリ133は、フロントエンジン130のシステム制御部132がデジタルカメラ100全体の動作を制御するためのプログラムおよびパラメーターを格納する不揮発性の記憶媒体である。ここでいう、プログラムとは、本実施形態にて後述する各種フローチャートを実行するためのプログラムのことである。システムメモリ52は、例えばフラッシュメモリが用いられるとする。 The system memory 133 is a non-volatile storage medium in which the system control unit 132 of the front engine 130 stores programs and parameters for controlling the operation of the entire digital camera 100. The program referred to here is a program for executing various flowcharts described later in the present embodiment. As the system memory 52, for example, a flash memory is used.

メモリ134は、画像処理部131が画像データを処理するにあたって処理前後の画像データを格納する記憶媒体である。例えば、メモリ134は、DRAM(Dynamic Random Access Memory)である。なお、システムメモリ133の一部に処理前後の画像データの一部を格納することも可能である。 The memory 134 is a storage medium that stores image data before and after processing when the image processing unit 131 processes the image data. For example, the memory 134 is a DRAM (Dynamic Random Access Memory). It is also possible to store a part of the image data before and after the processing in a part of the system memory 133.

メインエンジン140は、フロントエンジン130と異なる一つの半導体集積回路チップ(ICチップ)として構成される。メインエンジン140は、1以上のプロセッサーまたは回路を有する。メインエンジン140は、フロントエンジン130から取得した画像データを処理する画像処理部141と、メインエンジン140の各機能部の制御を行う制御部142と、を有する。また、メインエンジン140は、画像処理部141で処理した画像データを記録媒体200に格納する記録再生部143を有する。また、記録再生部143は、記録媒体200から画像データを読み出して、画像処理部141に出力する。再生モードで動作する場合、画像処理部141で処理された画像データは、フロントエンジン130側に出力され、表示部101に画像が表示される。また、外部出力機能が有効である場合、記録再生部143によって読み出され、画像処理部141で処理された画像データは、通信部109を介して、デジタルカメラ100の外部装置に出力される。メインエンジン140の詳細な説明は後述する。 The main engine 140 is configured as one semiconductor integrated circuit chip (IC chip) different from the front engine 130. The main engine 140 has one or more processors or circuits. The main engine 140 includes an image processing unit 141 that processes image data acquired from the front engine 130, and a control unit 142 that controls each functional unit of the main engine 140. Further, the main engine 140 has a recording / reproducing unit 143 that stores the image data processed by the image processing unit 141 in the recording medium 200. Further, the recording / reproducing unit 143 reads the image data from the recording medium 200 and outputs the image data to the image processing unit 141. When operating in the reproduction mode, the image data processed by the image processing unit 141 is output to the front engine 130 side, and the image is displayed on the display unit 101. When the external output function is enabled, the image data read by the recording / reproducing unit 143 and processed by the image processing unit 141 is output to the external device of the digital camera 100 via the communication unit 109. A detailed description of the main engine 140 will be described later.

システムメモリ144は、メインエンジン140の制御部142がメインエンジン140の各機能部を制御するためのプログラムおよびパラメーターを格納する不揮発性の記憶媒体である。システムメモリ144は、例えばフラッシュメモリが用いられるとする。 The system memory 144 is a non-volatile storage medium for storing programs and parameters for the control unit 142 of the main engine 140 to control each functional unit of the main engine 140. As the system memory 144, for example, a flash memory is used.

メモリ145は、画像処理部141が画像データを処理するにあたって処理前後の画像データを格納する記憶媒体である。例えば、メモリ145は、MRAM(Magnetoresistive Random Access Memory)である。 The memory 145 is a storage medium that stores the image data before and after the processing when the image processing unit 141 processes the image data. For example, the memory 145 is an MRAM (Magnetoresistive Random Access Memory).

電源制御部107は、電池検出回路、DC−DCコンバータ、通電するブロックを切り替えるスイッチ回路等により構成され、電源210の装着の有無、電源210の種類、電源210の電力の残量(電池残量)の検出を行う。また、電源制御部107は、その検出結果及びシステム制御部132の指示に基づいてDC−DCコンバータを制御し、必要な電力を必要な期間、フロントエンジン130、メインエンジン140を含む各部へ供給する。また、電源制御部107は、記録媒体200やレンズユニット150にも電力を供給する。電源制御部107は、センサー部106が取得した画像データに基づいて表示部101もしくはEVF108にライブビュー画像を表示し、記録媒体200への画像データの記録を行わない撮像待機状態において、メインエンジン140へ供給する電力を制限する。 The power supply control unit 107 is composed of a battery detection circuit, a DC-DC converter, a switch circuit for switching a block to be energized, etc. ) Is detected. Further, the power supply control unit 107 controls the DC-DC converter based on the detection result and the instruction of the system control unit 132, and supplies the required electric power to each unit including the front engine 130 and the main engine 140 for a necessary period. .. The power supply control unit 107 also supplies electric power to the recording medium 200 and the lens unit 150. The power control unit 107 displays a live view image on the display unit 101 or EVF 108 based on the image data acquired by the sensor unit 106, and in an imaging standby state in which the image data is not recorded on the recording medium 200, the main engine 140 Limit the power supplied to.

電源210は、アルカリ電池やリチウム電池等の一次電池やNiCd電池やNiMH電池、Li電池等の二次電池、ACアダプター等からなる。電源210は、デジタルカメラ100に対して着脱可能である。 The power supply 210 includes a primary battery such as an alkaline battery or a lithium battery, a secondary battery such as a NiCd battery, a NiMH battery, or a Li battery, an AC adapter, or the like. The power supply 210 is removable from the digital camera 100.

EVF108は、LCDや有機EL等の表示器上に、フロントエンジン130で生成された画像を表示する。EVF108に表示された光学像は、接眼部11を介してユーザーが確認することができる。 The EVF 108 displays an image generated by the front engine 130 on a display such as an LCD or an organic EL. The optical image displayed on the EVF 108 can be confirmed by the user via the eyepiece 11.

通信部109は、無線または有線ケーブルによって外部装置と接続し、映像信号や音声信号の送受信を行う。例えば、通信部109は、HDMI(登録商標)の規格に準拠した形式に信号を変換して、外部装置に出力する。なお、通信部109は無線LAN(Local Area Network)やインターネットとも接続可能である。また、通信部109は、Bluetooth(登録商標)や Bluetooth Low Energyでも外部機器と通信可能である。通信部109はデジタルカメラ100が撮像した画像(ライブビュー画像を含む)や、記録媒体200に記録された画像を送信可能であり、また、外部機器から画像やその他の各種情報を受信することができる。 The communication unit 109 connects to an external device via a wireless or wired cable to transmit and receive video signals and audio signals. For example, the communication unit 109 converts a signal into a format conforming to the HDMI (registered trademark) standard and outputs the signal to an external device. The communication unit 109 can also be connected to a wireless LAN (Local Area Network) or the Internet. The communication unit 109 can also communicate with an external device using Bluetooth (registered trademark) or Bluetooth Low Energy. The communication unit 109 can transmit an image (including a live view image) captured by the digital camera 100 and an image recorded on the recording medium 200, and can receive an image and various other information from an external device. it can.

操作部110は、システム制御部132に各種の動作指示を入力するための1以上の操作部材からなる操作手段である。例えば、モード切替スイッチ121は、システム制御部132の動作モードを静止画撮像モード、動画撮像モード、再生モード等のいずれかに切り替える。静止画撮像モードに含まれるモードとして、オート撮像モード、オートシーン判別モード、マニュアルモード、絞り優先モード(Avモード)、シャッター速度優先モード(Tvモード)、プログラムAEモード(Pモード)、がある。また、撮像シーン別の撮像設定となる各種シーンモード、カスタムモード等がある。モード切替スイッチ121より、ユーザーは、これらのモードのいずれかに直接切り替えることができる。あるいは、モード切替スイッチ121で撮像モードの一覧画面に一旦切り換えた後に、表示された複数のモードのいずれかを選択し、他の操作部材を用いて切り替えるようにしてもよい。同様に、動画撮像モードにも複数のモードが含まれていてもよい。なお、撮像モードは、撮像する被写体の状態や画角の確認等の撮像準備のためのライブビュー画像を表示するライブビュー処理を実行する状態と、被写体を撮像し、得られた画像データを記録媒体200に記録する撮像記録処理を実行する状態とを含む。 The operation unit 110 is an operation means including one or more operation members for inputting various operation instructions to the system control unit 132. For example, the mode changeover switch 121 switches the operation mode of the system control unit 132 to any one of a still image imaging mode, a moving image imaging mode, a reproduction mode, and the like. The modes included in the still image imaging mode include an auto imaging mode, an auto scene discrimination mode, a manual mode, an aperture priority mode (Av mode), a shutter speed priority mode (Tv mode), and a program AE mode (P mode). In addition, there are various scene modes, custom modes, etc., which are imaging settings for each imaging scene. From the mode changeover switch 121, the user can directly switch to any of these modes. Alternatively, after switching to the imaging mode list screen once with the mode changeover switch 121, one of the displayed plurality of modes may be selected and switched using another operating member. Similarly, the moving image imaging mode may include a plurality of modes. The imaging mode is a state in which a live view process for displaying a live view image for preparation for imaging such as confirmation of the state of the subject to be imaged and an angle of view is executed, and a state in which the subject is imaged and the obtained image data is recorded. The state of executing the imaging recording process for recording on the medium 200 is included.

第1シャッタースイッチ102aは、デジタルカメラ100に設けられたシャッターボタン102の操作途中、いわゆる半押し(撮像準備指示)でONとなり第1シャッタースイッチ信号SW1を発生する。システム制御部132は、第1シャッタースイッチ信号SW1を受け付けたことに応じて、AF(オートフォーカス)処理、AE(自動露出)処理、AWB(オートホワイトバランス)処理、EF(フラッシュプリ発光)処理等の撮像準備動作を実行する。つまり、第1シャッタースイッチ信号SW1は、撮像準備指示である。 The first shutter switch 102a is turned on by a so-called half-press (imaging preparation instruction) during the operation of the shutter button 102 provided on the digital camera 100, and the first shutter switch signal SW1 is generated. The system control unit 132 receives AF (autofocus) processing, AE (autoexposure) processing, AWB (auto white balance) processing, EF (flash pre-flash) processing, etc., in response to receiving the first shutter switch signal SW1. Performs the imaging preparation operation of. That is, the first shutter switch signal SW1 is an image pickup preparation instruction.

第2シャッタースイッチ102bは、シャッターボタン102の操作完了、いわゆる全押し(撮像指示)でONとなり、第2シャッタースイッチ信号SW2を発生する。システム制御部132は、第2シャッタースイッチ信号SW2により、センサー部106からの信号読み出しから記録媒体200に撮像された画像を画像ファイルとして書き込むまでの一連の撮像処理の動作を開始する。 The second shutter switch 102b is turned on when the operation of the shutter button 102 is completed, so-called full pressing (imaging instruction), and the second shutter switch signal SW2 is generated. The system control unit 132 starts a series of imaging processes from reading the signal from the sensor unit 106 to writing the image captured on the recording medium 200 as an image file by the second shutter switch signal SW2.

第2シャッタースイッチ信号SW2を受け付けたことに応じて、システム制御部132は、センサー部106を、画像データを生成するように制御する。さらに、第2シャッタースイッチ信号SW2を受け付けたことに応じて、システム制御部132は、メインエンジン140に供給する電力の制限を解除するように電源制御部107を制御し、メインエンジン140を起動させる。そして、メインエンジン140は、センサー部106が生成し、フロントエンジン130を介して取得した画像データを記録媒体200に記録する。つまり、第2シャッタースイッチ信号SW2は、撮像指示である。 In response to the reception of the second shutter switch signal SW2, the system control unit 132 controls the sensor unit 106 to generate image data. Further, in response to receiving the second shutter switch signal SW2, the system control unit 132 controls the power supply control unit 107 so as to release the limitation of the power supplied to the main engine 140, and starts the main engine 140. .. Then, the main engine 140 records the image data generated by the sensor unit 106 via the front engine 130 on the recording medium 200. That is, the second shutter switch signal SW2 is an imaging instruction.

記録媒体200は、撮像された画像を記録するためのメモリカード等の記録媒体であり、半導体メモリや磁気ディスク等から構成される。 The recording medium 200 is a recording medium such as a memory card for recording an captured image, and is composed of a semiconductor memory, a magnetic disk, or the like.

フロントエンジン130、およびメインエンジン140の画像処理について説明する。 Image processing of the front engine 130 and the main engine 140 will be described.

図3は、フロントエンジン130の画像処理部131およびシステム制御部132における機能ブロックと撮像モード時のデータフローとを示す模式図である。画像処理部131、画像処理部141、および記録制御部143は、画像データを処理する処理部を有する。各処理部の実行する処理は電子回路によって実行されてもよいし、画像処理部の有するプロセッサーがプログラムを実行することによって実行されてもよい。 FIG. 3 is a schematic diagram showing functional blocks and a data flow in the imaging mode in the image processing unit 131 and the system control unit 132 of the front engine 130. The image processing unit 131, the image processing unit 141, and the recording control unit 143 have a processing unit that processes image data. The processing executed by each processing unit may be executed by an electronic circuit, or may be executed by a processor included in the image processing unit executing a program.

シャッターボタン102から第2シャッタースイッチ信号SW2が入力されると、システム制御部132は撮像記録処理を開始する。システム制御部132は、シャッター105とセンサー部106を制御して、撮像対象となる被写体の光学像を、レンズ151を介して入力しセンサー部106上に結像させる。撮像時のレンズ151及びセンサー部106の動作は、第1シャッタースイッチ信号SW1の入力に応じて実行される撮像準備動作によってあらかじめ取得されたパラメーターに基づいて実行される。なお、第1シャッタースイッチ信号SW1の入力から第2シャッタースイッチ信号SW2の入力までの期間が短いなどにより、パラメーターの取得がなされない場合は、システムメモリ134等にあらかじめ格納されたパラメーターを利用するとする。パラメーターは、絞り、フォーカス、手ぶれ等の評価値算出結果や顔認識結果等の被写体情報に基づいて、システム制御部132によって決定される。 When the second shutter switch signal SW2 is input from the shutter button 102, the system control unit 132 starts the imaging recording process. The system control unit 132 controls the shutter 105 and the sensor unit 106 to input an optical image of the subject to be imaged through the lens 151 and form an image on the sensor unit 106. The operations of the lens 151 and the sensor unit 106 at the time of imaging are executed based on the parameters acquired in advance by the imaging preparation operation executed in response to the input of the first shutter switch signal SW1. If the parameters are not acquired due to a short period from the input of the first shutter switch signal SW1 to the input of the second shutter switch signal SW2, the parameters stored in advance in the system memory 134 or the like are used. .. The parameters are determined by the system control unit 132 based on subject information such as evaluation value calculation results such as aperture, focus, and camera shake and face recognition results.

センサー部106は、画素毎に配置される赤、緑、青(RGB)のモザイクカラーフィルターを透過した光を電気信号に変換する。撮像センサーの画素数は、例えば4K(800万画素以上)又は8K(3300万画素以上)である。4Kに対応する撮像センサーは、例えば、横3840画素×縦2160でマトリクス状に配置された画素を有する。8Kに対応する撮像センサーは、例えば、横7680画素×縦4320でマトリクス状に配置された画素を有する。図12は、センサー部106に配置されるカラーフィルターの一例を示す図であり、デジタルカメラ100が扱う画像の画素配列を表している。図12に示すように、赤(R)、緑(G)、青(B)が画素毎にモザイク状に配置されていて、2×2の4画素につき赤1画素、青1画素、緑2画素を1セットにして規則的に並べられた構造となっている。センサー部106によって変換された電気信号は、赤(R)、緑(G)、青(B)の各成分を含む。なお、緑(G)は、位置毎に異なる2種類の緑(G0、G1)の成分として扱うこともできる。このような画素の配置は、一般にベイヤー配列と呼ばれる。また、センサー部106は、4Kまたは8Kの画素からなるフレーム(画像データ)を、120フレーム毎秒で出力することができる。 The sensor unit 106 converts the light transmitted through the red, green, and blue (RGB) mosaic color filters arranged for each pixel into an electric signal. The number of pixels of the image sensor is, for example, 4K (8 million pixels or more) or 8K (33 million pixels or more). An image sensor corresponding to 4K has, for example, 3840 pixels in the horizontal direction and 2160 pixels in the vertical direction arranged in a matrix. An image sensor corresponding to 8K has, for example, 7680 pixels in the horizontal direction and 4320 pixels in the vertical direction arranged in a matrix. FIG. 12 is a diagram showing an example of a color filter arranged in the sensor unit 106, and shows a pixel array of an image handled by the digital camera 100. As shown in FIG. 12, red (R), green (G), and blue (B) are arranged in a mosaic pattern for each pixel, and 1 red pixel, 1 blue pixel, and 2 green pixels are arranged in a 2 × 2 4 pixel manner. It has a structure in which pixels are arranged in a set and regularly arranged. The electric signal converted by the sensor unit 106 includes red (R), green (G), and blue (B) components. Note that green (G) can also be treated as a component of two types of green (G0, G1) that differ depending on the position. Such an arrangement of pixels is generally called a Bayer arrangement. Further, the sensor unit 106 can output a frame (image data) composed of 4K or 8K pixels at 120 frames per second.

センサー部106によって変換された電気信号は、フロントエンジン130の画像処理部131に入力される。 The electric signal converted by the sensor unit 106 is input to the image processing unit 131 of the front engine 130.

画像処理部131は、入力された画像データを処理する1以上のプロセッサーおよび回路から構成される画像処理回路である。図3に示すように、画像処理部131は、複数の機能ブロック(処理)を含む。各機能ブロック(処理)は、それぞれ個別のプログラムや電子回路で実行されてもよいし、複数の機能ブロックが1つのプログラムや電子回路で実行されてもよい。また、画像処理部131の各機能ブロックの間のデータの送受信は、各機能ブロック間で直接伝送されてもよいし、前処理の機能ブロックがメモリ134にデータを格納し、後処理の機能ブロックがメモリ134からデータを読み出すことによって行ってもよい。 The image processing unit 131 is an image processing circuit composed of one or more processors and circuits that process the input image data. As shown in FIG. 3, the image processing unit 131 includes a plurality of functional blocks (processes). Each functional block (process) may be executed by an individual program or electronic circuit, or a plurality of functional blocks may be executed by one program or electronic circuit. Further, the transmission / reception of data between the functional blocks of the image processing unit 131 may be directly transmitted between the functional blocks, or the functional block of the pre-processing stores the data in the memory 134 and the functional block of the post-processing. May be done by reading data from memory 134.

画像処理部131は、ライブビュー画像の表示や撮像パラメーターの取得のために用いられる画像処理のパスと、撮像記録処理のために用いられる画像処理のパスとを備える。はじめに、画像処理部131のライブビュー画像の表示や撮像パラメーターの取得のために用いられる画像処理のパスにおける処理について説明する。 The image processing unit 131 includes an image processing path used for displaying a live view image and acquiring imaging parameters, and an image processing path used for imaging recording processing. First, processing in the image processing path used for displaying the live view image and acquiring the imaging parameters of the image processing unit 131 will be described.

画素並替処理部301は、入力された電気信号を、2次元マトリクス状に並べ替えてRAW画像データを生成する。なお、本実施例において、RAW画像データは、センサー部106から出力されたセンサー部106の画素配置に対応して画素ごとに単色の色情報を有するいわゆるベイヤーRAW画像データを含む。また、本実施例において、RAW画像データは、センサー部106から出力されたベイヤーRAW画像データに対して、圧縮や一部のデータに対する補正を適用した画像データを含むとする。つまり、センサー部106から出力されたベイヤーRAW画像データに対して、いわゆる「現像処理」を適用していない画像データを、RAW画像データと呼称する。 The pixel rearrangement processing unit 301 rearranges the input electric signals in a two-dimensional matrix to generate RAW image data. In this embodiment, the RAW image data includes so-called Bayer RAW image data having monochromatic color information for each pixel corresponding to the pixel arrangement of the sensor unit 106 output from the sensor unit 106. Further, in this embodiment, it is assumed that the RAW image data includes image data obtained by applying compression or correction to a part of the data to the Bayer RAW image data output from the sensor unit 106. That is, the image data to which the so-called "development processing" is not applied to the Bayer RAW image data output from the sensor unit 106 is referred to as RAW image data.

センサー補正処理部302は、RAW画像データに対して、あらかじめ取得されたセンサーの特性に基づく補正処理(センサー補正処理)を実行する。センサー補正処理は、例えば、センサー部106の光電変換素子の光電変換効率(感度)の面内ばらつきを補正する処理である。あらかじめシステムメモリ133等に格納されたセンサー部106の感度分布に基づいて、RAW画像データを補正する。また、センサー補正処理部302による補正処理は、画素の修復処理を含む。修復処理には、センサー部106における欠落画素や信頼性の低い画素の値に対し、周辺画素値を用いて修復対象の画素を補間したり、所定のオフセット値を減算したりする処理が含まれる。なお、修復処理の一部又は全部が、この時点で行われずに、後段の現像時に行われるよう変更しても良い。 The sensor correction processing unit 302 executes correction processing (sensor correction processing) based on the characteristics of the sensor acquired in advance with respect to the RAW image data. The sensor correction process is, for example, a process for correcting in-plane variations in the photoelectric conversion efficiency (sensitivity) of the photoelectric conversion element of the sensor unit 106. The RAW image data is corrected based on the sensitivity distribution of the sensor unit 106 stored in the system memory 133 or the like in advance. Further, the correction process by the sensor correction processing unit 302 includes a pixel repair process. The repair process includes a process of interpolating the pixel to be repaired by using the peripheral pixel value or subtracting a predetermined offset value with respect to the value of the missing pixel or the unreliable pixel in the sensor unit 106. .. It should be noted that a part or all of the restoration process may be changed so that it is not performed at this point but is performed during the subsequent development.

センサー補正処理が実行されたRAW画像データは、LV表示処理の実行中、縮小処理部303で処理される。また、センサー補正処理が実行されたRAW画像データは、撮像記録処理の実行中、RAWノイズ抑制処理部311で処理される。 The RAW image data for which the sensor correction processing has been executed is processed by the reduction processing unit 303 during the execution of the LV display processing. Further, the RAW image data for which the sensor correction processing has been executed is processed by the RAW noise suppression processing unit 311 during the execution of the imaging recording processing.

縮小処理部303は、表示処理や検出処理を効率的に行う目的から、RAW画像データの解像度を縮小する。縮小処理部303は、4Kや8K等の高解像度のRAW画像データを、例えばHDサイズ(200万画素相当)にリサイズする。HDサイズは、たとえば、画素が横1920画素×縦1080画素に配置された大きさである。以降、縮小処理部303によって縮小されたRAW画像を縮小RAW画像データとする。 The reduction processing unit 303 reduces the resolution of RAW image data for the purpose of efficiently performing display processing and detection processing. The reduction processing unit 303 resizes high-resolution RAW image data such as 4K or 8K to, for example, HD size (equivalent to 2 million pixels). The HD size is, for example, a size in which pixels are arranged in 1920 pixels in the horizontal direction and 1080 pixels in the vertical direction. Hereinafter, the RAW image reduced by the reduction processing unit 303 is used as the reduced RAW image data.

縮小処理部303で処理された縮小RAW画像データは、光学補正処理部304等で処理され、ライブビュー(LV)画像の表示に用いられる。また、検出処理部310で処理されて、露光時間(シャッタースピード)、絞り、フォーカス、手ぶれ等の評価値算出結果や顔認識結果等の被写体情報の取得に用いられる。 The reduced RAW image data processed by the reduction processing unit 303 is processed by the optical correction processing unit 304 or the like and used for displaying a live view (LV) image. Further, it is processed by the detection processing unit 310 and used for acquiring subject information such as an evaluation value calculation result such as an exposure time (shutter speed), an aperture, a focus, and a camera shake, and a face recognition result.

光学補正処理部304から表示処理部309の処理について、説明する。これらの一連の処理は、ライブビュー(LV)画像の表示のための処理である。 The processing of the optical correction processing unit 304 to the display processing unit 309 will be described. These series of processes are processes for displaying a live view (LV) image.

光学補正処理部304では、縮小RAW画像データに対してレンズ151等の光学特性に関連する補正処理(光学補正処理)を実行する。光学補正処理は、例えば、レンズ151の収差による周辺領域の光量低下の影響を補正する処理である。 The optical correction processing unit 304 executes correction processing (optical correction processing) related to optical characteristics of the lens 151 and the like on the reduced RAW image data. The optical correction process is, for example, a process for correcting the influence of a decrease in the amount of light in the peripheral region due to the aberration of the lens 151.

ノイズ抑制処理部305は、縮小RAW画像データのノイズを低減する処理である。ノイズ抑制処理は、一般にノイズ除去、ノイズリダクション(Noise Reduction、NR)と呼ばれる処理である。移動平均フィルター処理やメディアンフィルター処理を実行することによって、縮小RAW画像データのノイズ成分を低減する。 The noise suppression processing unit 305 is a process for reducing the noise of the reduced RAW image data. The noise suppression process is a process generally called noise reduction or noise reduction (NR). By executing the moving average filter processing and the median filter processing, the noise component of the reduced RAW image data is reduced.

LV現像処理部306は、縮小RAW画像データに対して現像処理(LV現像)を実行する。LV現像処理は、後述するRAW(高画質)現像処理よりも、処理による回路負荷および使用するメモリ134との通信帯域が低い簡易現像処理である。現像された縮小RAW画像データを、表示画像データとする。 The LV development processing unit 306 executes development processing (LV development) on the reduced RAW image data. The LV development process is a simple development process in which the circuit load due to the process and the communication band with the memory 134 used are lower than the RAW (high image quality) development process described later. The developed reduced RAW image data is used as display image data.

LV補正処理部307は、表示画像データに対して、歪曲補正、拡大処理、縮小処理等の補正処理を実行する。LV補正処理部307は、ライブビュー画像を表示する表示装置の解像度等に基づいて拡大処理、縮小処理を実行する。 The LV correction processing unit 307 executes correction processing such as distortion correction, enlargement processing, and reduction processing on the displayed image data. The LV correction processing unit 307 executes enlargement processing and reduction processing based on the resolution of the display device that displays the live view image and the like.

LV効果処理部308は、表示画像データに対して、所定の表示効果をえるためのエフェクト処理を実行する。エフェクト処理は、例えば、セピア調やモノクロへ色変換したり、モザイク状や絵画風に画像加工する処理である。 The LV effect processing unit 308 executes effect processing for obtaining a predetermined display effect on the display image data. The effect processing is, for example, a process of color conversion to sepia toning or monochrome, or image processing in a mosaic or painting style.

表示処理部309は、表示画像データを用いて表示部101およびEVF108に画像を表示させる表示処理を実行する。表示処理部309は、表示画像データに対する入出力補正やガンマ補正、ホワイトバランス補正等を行う。また、表示画像データに基づく画像と合わせて表示するアシスト情報を、表示画像データと組み合わせる処理を行う。アシスト情報は、メニューアイコン、撮像パラメーターを示すアイコン、および撮像条件を示すアイコンのうちいずれかを少なくとも含む。 The display processing unit 309 executes a display process for displaying an image on the display unit 101 and the EVF 108 using the display image data. The display processing unit 309 performs input / output correction, gamma correction, white balance correction, and the like on the displayed image data. In addition, the assist information to be displayed together with the image based on the display image data is combined with the display image data. The assist information includes at least one of a menu icon, an icon indicating an imaging parameter, and an icon indicating an imaging condition.

撮像パラメーターを示すアイコンは、例えば、ISO感度、色温度、シャッタースピード、絞りなどのパラメーターを示すアイコンである。撮像条件を示すアイコンは、例えば、1枚撮像モード、連写モード、インターバル撮像モード等の撮像枚数を示すアイコン、フラッシュ使用可否を示すアイコン、設定された撮像モードを示すアイコンを含む。アシスト情報は、表示画像データに基づく画像の周辺領域に重畳するように合成されてもよいし、表示画像データに基づく画像の外周に沿って設けられたアイコン表示領域に表示されるように処理されてもよい。表示処理部309は、上述の処理を実行された表示画像データを表示部101またはEVF108に出力する。 The icon indicating the imaging parameter is, for example, an icon indicating parameters such as ISO sensitivity, color temperature, shutter speed, and aperture. The icon indicating the imaging condition includes, for example, an icon indicating the number of images taken such as a single image imaging mode, a continuous shooting mode, and an interval imaging mode, an icon indicating whether or not the flash can be used, and an icon indicating a set imaging mode. The assist information may be synthesized so as to be superimposed on the peripheral area of the image based on the display image data, or processed so as to be displayed in the icon display area provided along the outer circumference of the image based on the display image data. You may. The display processing unit 309 outputs the display image data that has been subjected to the above processing to the display unit 101 or the EVF 108.

表示部101およびEVF108は、入力された表示画像データに基づいて、画像を表示する。上述の一連の処理により、表示部101およびEVF108にライブビュー画像が表示される。 The display unit 101 and the EVF 108 display an image based on the input display image data. Through the series of processes described above, the live view image is displayed on the display unit 101 and the EVF 108.

検出処理部310は、縮小RAW画像データに対して撮像制御のためのパラメーターを検出する処理を実行する。検出処理部310は、縮小RAW画像データから、フォーカス状態や露出状態の評価値を算出する。算出された評価値は、メモリ134に格納され、システム制御部132がメモリ134から読み出した評価値に基づいて、レンズユニット150に制御信号を出力する。例えば、システム制御部132は、露出状態の評価値に基づいて、撮像記録処理の実行時の露光時間の設定を行う。システム制御部132は、設定された露光時間で取得した画像データの平均輝度が所定値よりも低い場合、露光時間を設定された露光時間よりも長くするように露光時間を決定する。システム制御部132は、露光時間を1/2000(s)から8(s)までの間の離散的に設定された複数の値から選択するとする。また、ユーザーの設定により、例えば30(s)といった長秒露光を設定することも可能である。なお、システム制御部132は、露出状態を調整するために、レンズユニット150の絞り152の絞り量を調整する制御値を決定することもできる。 The detection processing unit 310 executes a process of detecting parameters for imaging control with respect to the reduced RAW image data. The detection processing unit 310 calculates the evaluation value of the focus state and the exposure state from the reduced RAW image data. The calculated evaluation value is stored in the memory 134, and the system control unit 132 outputs a control signal to the lens unit 150 based on the evaluation value read from the memory 134. For example, the system control unit 132 sets the exposure time at the time of executing the imaging recording process based on the evaluation value of the exposure state. When the average brightness of the image data acquired at the set exposure time is lower than the predetermined value, the system control unit 132 determines the exposure time so that the exposure time is longer than the set exposure time. It is assumed that the system control unit 132 selects the exposure time from a plurality of discretely set values between 1/2000 (s) and 8 (s). It is also possible to set a long exposure such as 30 (s) by the user's setting. The system control unit 132 can also determine a control value for adjusting the aperture amount of the aperture 152 of the lens unit 150 in order to adjust the exposure state.

また、検出処理部310は、画像情報中の顔や人物等の被写体情報を検出及び認識する機能を有する。例えば、画像情報によって表される画面内における顔を検出し、有る場合は顔の位置を示す情報をメモリ134に格納する。システム制御部132は、メモリ134に格納された顔などの特徴情報に基づいて特定の人物の認証などを行う。なお、算出された評価値や検出や認識結果を示す表示用情報は表示処理部309に出力され、ライブビュー画像と共に表示されてもよい。 Further, the detection processing unit 310 has a function of detecting and recognizing subject information such as a face or a person in the image information. For example, a face in the screen represented by image information is detected, and if there is, information indicating the position of the face is stored in the memory 134. The system control unit 132 authenticates a specific person based on feature information such as a face stored in the memory 134. The calculated evaluation value and the display information indicating the detection or recognition result may be output to the display processing unit 309 and displayed together with the live view image.

次に、画像処理部131の撮像記録処理のために用いられる画像処理のパスにおける処理について説明する。 Next, the processing in the image processing path used for the image recording processing of the image processing unit 131 will be described.

RAWノイズ抑制処理部311は、センサー補正処理部302で処理されたRAW画像データのノイズを低減する処理である。RAWノイズ抑制処理部311は、ノイズ抑制処理部305と同様に、RAWノイズ抑制処理部311は、一般にノイズ除去、ノイズリダクション(Noise Reduction、NR)と呼ばれる処理を実行する。例えば、移動平均フィルター処理やメディアンフィルター処理を実行することによって、RAW画像データのノイズ成分を低減する。 The RAW noise suppression processing unit 311 is a process for reducing the noise of the RAW image data processed by the sensor correction processing unit 302. Similar to the noise suppression processing unit 305, the RAW noise suppression processing unit 311 executes a process generally called noise reduction and noise reduction (NR) in the RAW noise suppression processing unit 311. For example, by executing a moving average filter process or a median filter process, the noise component of the RAW image data is reduced.

圧縮処理部312は、RAWノイズ抑制処理部311で処理されたRAW画像データに対して圧縮処理を適用する。RAW画像データに対して適用される圧縮処理は、従来用いられる種々の圧縮処理技術を利用可能である。圧縮処理部312は、RAW画像データを、それぞれウエーブレット変換、量子化、エントロピー符号化(差分符号化等)などの技術を用いて高能率符号化するとする。圧縮処理部312が行う高能率符号化は、非可逆符号化でも可逆符号化でも良い。本実施例では、圧縮を施しても、原画のRAW画像データの品質を大きく損なわない、高画質ファイルとして復元可能なRAWファイルを生成する符号化であるとする。圧縮されたRAW画像データは、一時的にメモリ134に格納してバッファリングされてもよい。 The compression processing unit 312 applies the compression processing to the RAW image data processed by the RAW noise suppression processing unit 311. For the compression process applied to the RAW image data, various conventional compression processing techniques can be used. It is assumed that the compression processing unit 312 encodes the RAW image data with high efficiency by using techniques such as wavelet conversion, quantization, and entropy coding (difference coding, etc.), respectively. The high-efficiency coding performed by the compression processing unit 312 may be lossy coding or lossless coding. In this embodiment, it is assumed that the coding is performed to generate a RAW file that can be restored as a high-quality file without significantly impairing the quality of the RAW image data of the original image even if compression is applied. The compressed RAW image data may be temporarily stored in the memory 134 and buffered.

送信処理部313は、圧縮されたRAW画像データをメインエンジン140の受信処理部321に送信する。フロントエンジン130の画像処理部131とメモリ134とを用いて、一時的にバッファリングを行うことが可能となることから、後段の高画質の現像処理等を行うメインエンジン140への入力速度を調整することが可能となる。したがって、送信処理部313と受信処理部321との間の伝送レート(伝送速度)は、メインエンジン140の処理速度に合わせて、センサー部106からの画像データの読み出しのレートよりも遅くすることが可能となる。 The transmission processing unit 313 transmits the compressed RAW image data to the reception processing unit 321 of the main engine 140. Since buffering can be temporarily performed by using the image processing unit 131 of the front engine 130 and the memory 134, the input speed to the main engine 140 that performs high-quality development processing in the subsequent stage is adjusted. It becomes possible to do. Therefore, the transmission rate (transmission speed) between the transmission processing unit 313 and the reception processing unit 321 may be slower than the rate of reading the image data from the sensor unit 106 in accordance with the processing speed of the main engine 140. It will be possible.

メインエンジン140は、フロントエンジン130から取得したRAW画像データに対して、高画質の現像処理を実行して、記録媒体200に記録用画像データを格納する。メインエンジン140の画像処理部141は、フロントエンジン130から取得したRAW画像データを処理して記録用画像データを生成する。また、記録再生部143は、記録用画像データを記録媒体200に格納する。 The main engine 140 executes high-quality development processing on the RAW image data acquired from the front engine 130, and stores the image data for recording in the recording medium 200. The image processing unit 141 of the main engine 140 processes the RAW image data acquired from the front engine 130 to generate the image data for recording. Further, the recording / reproducing unit 143 stores the recording image data in the recording medium 200.

画像処理部141は、入力された画像データを処理する1以上のプロセッサーおよび回路から構成される画像処理回路である。図3に示すように、画像処理部141は、複数の機能ブロック(処理)を含む。各機能ブロック(処理)は、それぞれ個別のプログラムや電子回路で実行されてもよいし、複数の機能ブロックが1つのプログラムや電子回路で実行されてもよい。また、画像処理部141の各機能ブロックの間のデータの送受信は、各機能ブロック間で直接伝送されてもよいし、前処理の機能ブロックがメモリ145にデータを格納し、後処理の機能ブロックがメモリ145からデータを読み出すことによって行ってもよい。 The image processing unit 141 is an image processing circuit composed of one or more processors and circuits that process the input image data. As shown in FIG. 3, the image processing unit 141 includes a plurality of functional blocks (processes). Each functional block (process) may be executed by an individual program or electronic circuit, or a plurality of functional blocks may be executed by one program or electronic circuit. Further, the transmission / reception of data between the functional blocks of the image processing unit 141 may be directly transmitted between the functional blocks, or the functional block of the pre-processing stores the data in the memory 145 and the functional block of the post-processing. May be done by reading data from memory 145.

受信処理部321は、送信処理部313から送信された圧縮されたRAW画像データを受信し、圧縮処理部312で適用された圧縮処理の逆変換を行い、圧縮された状態を伸長する。 The reception processing unit 321 receives the compressed RAW image data transmitted from the transmission processing unit 313, performs the inverse conversion of the compression processing applied by the compression processing unit 312, and decompresses the compressed state.

RAW現像処理部322は、RAW画像データに対して現像処理を実行し、記録画像データを生成する。RAW現像処理部322は、RAW画像データに対して、デベイヤー処理(デモザイク処理)、すなわち色補間処理を施し、輝度と色差もしくは原色の信号に変換する。さらに、RAW現像処理部322は、変換された信号に含まれるノイズの除去や光学的な歪みを補正する。RAW現像処理部322が実行する現像処理は、LV現像処理部306が実行する現像処理よりも高精度の処理を行う。したがって、LV現像処理よりも必要とされる回路のリソースや消費電力が高い。 The RAW development processing unit 322 executes development processing on the RAW image data and generates recorded image data. The RAW development processing unit 322 performs debayer processing (demosaic processing), that is, color interpolation processing, on the RAW image data, and converts the RAW image data into a signal having a luminance and a color difference or a primary color. Further, the RAW development processing unit 322 removes noise contained in the converted signal and corrects optical distortion. The development processing executed by the RAW development processing unit 322 performs processing with higher accuracy than the development processing executed by the LV development processing unit 306. Therefore, the required circuit resources and power consumption are higher than those of the LV development process.

補正処理部323は、現像処理が実行された画像データに対して、歪曲補正、拡大処理、縮小処理、ノイズ抑制処理等の補正処理を実行する。補正処理部323は、撮像記録処理を実行する場合、現像処理が実行された記録画像データに対して、歪曲補正、およびノイズ抑制処理を実行する。また、通信部109を介してライブビュー画像として外部装置に画像データを出力するライブビュー出力処理を実行する場合、歪曲補正およびノイズ抑制処理に加えて、表示装置に出力するための拡大処理、または縮小処理を実行する。 The correction processing unit 323 executes correction processing such as distortion correction, enlargement processing, reduction processing, and noise suppression processing on the image data for which development processing has been executed. When executing the imaging recording process, the correction processing unit 323 executes distortion correction and noise suppression processing on the recorded image data for which the development processing has been executed. Further, when executing the live view output process of outputting image data to an external device as a live view image via the communication unit 109, in addition to the distortion correction and noise suppression process, the enlargement process for outputting to the display device or the enlargement process is performed. Execute the reduction process.

効果処理部324は、ライブビュー出力処理を実行する場合、画像データに対して、所定の表示効果をえるためのエフェクト処理を実行する。外部出力機能が有効である場合、効果処理部324で処理された画像データは、出力処理部327に出力される。 When executing the live view output process, the effect processing unit 324 executes the effect process for obtaining a predetermined display effect on the image data. When the external output function is enabled, the image data processed by the effect processing unit 324 is output to the output processing unit 327.

出力処理部327は、効果処理部324から出力された画像データを、通信部109を介して外部装置に出力する。ライブビュー出力処理を実行する場合、出力処理部327は、効果処理部324から出力された画像データ(LV画像データ)に対して入出力補正やガンマ補正、ホワイトバランス補正等を行う。また、出力処理部327は、LV画像データに基づく画像と合わせて表示するアシスト情報を示すGUIを、LV画像データと組み合わせる処理を行う。アシスト情報は、表示処理部309で説明した情報と同様であるので説明を省略する。出力処理部327は、処理されたLV画像データを、通信部109を介して外部装置に出力する。 The output processing unit 327 outputs the image data output from the effect processing unit 324 to the external device via the communication unit 109. When executing the live view output processing, the output processing unit 327 performs input / output correction, gamma correction, white balance correction, and the like on the image data (LV image data) output from the effect processing unit 324. Further, the output processing unit 327 performs a process of combining the GUI indicating the assist information to be displayed together with the image based on the LV image data with the LV image data. Since the assist information is the same as the information described in the display processing unit 309, the description thereof will be omitted. The output processing unit 327 outputs the processed LV image data to the external device via the communication unit 109.

また、再生出力処理を実行する場合、出力処理部327は、効果処理部324から出力された画像データ(再生画像データ)に対して入出力補正やガンマ補正、ホワイトバランス補正等を行う。さらに、再生モードにおいて表示するアシスト情報を示すGUIを、再生画像データと組み合わせる処理を行う。出力処理部327は、処理された再生画像データを、通信部109を介して外部装置に出力する。 When executing the reproduction output processing, the output processing unit 327 performs input / output correction, gamma correction, white balance correction, and the like on the image data (reproduced image data) output from the effect processing unit 324. Further, a process of combining the GUI indicating the assist information to be displayed in the reproduction mode with the reproduction image data is performed. The output processing unit 327 outputs the processed reproduced image data to an external device via the communication unit 109.

圧縮処理部325は、記録画像データに対して圧縮処理を適用する。圧縮処理部325は、記録画像データに対して、高能率符号化(圧縮符号化)を適用して、データ量が圧縮された画像データを生成して、高画質現像済ファイルに変換する。圧縮処理として、記録画像データが静止画である場合、JPEG圧縮処理を用いる。また、記録画像データが動画である場合、動画圧縮はMPEG−2、H.264、H.265などの標準符号化技術を用いることができる。 The compression processing unit 325 applies the compression processing to the recorded image data. The compression processing unit 325 applies high-efficiency coding (compression coding) to the recorded image data to generate image data in which the amount of data is compressed, and converts it into a high-quality developed file. As the compression process, when the recorded image data is a still image, a JPEG compression process is used. When the recorded image data is a moving image, the moving image compression is performed by MPEG-2, H.M. 264, H. A standard coding technique such as 265 can be used.

記録再生部143の記録処理部326は、圧縮された記録画像データを記録媒体200に格納する。 The recording processing unit 326 of the recording / reproducing unit 143 stores the compressed recorded image data in the recording medium 200.

上述の処理によって、撮像記録処理における一連の処理が実行される。すなわち、LV画像の表示処理に関する画像処理は、フロントエンジン130のみを用いて処理が完結する。一方で、撮像記録処理では、フロントエンジン130およびメインエンジン140の両方が用いられる。 By the above-mentioned processing, a series of processing in the imaging recording processing is executed. That is, the image processing related to the display processing of the LV image is completed by using only the front engine 130. On the other hand, in the imaging recording process, both the front engine 130 and the main engine 140 are used.

図4は、フロントエンジン130の画像処理部131およびシステム制御部132における再生モード時のデータフローを示す模式図である。 FIG. 4 is a schematic diagram showing a data flow in the reproduction mode in the image processing unit 131 and the system control unit 132 of the front engine 130.

再生モードでデジタルカメラ100が動作している場合、フロントエンジン130およびメインエンジン140の両方が通常状態で動作する。通常状態は、各エンジンが画像処理を実行可能な状態である。通常状態に対して、電力が制限された状態(制限状態)は、少なくとも通常状態よりも消費電力が少ない動作状態であって、例えば、通常状態で実行可能な画像処理の一部もしくはすべてを実行することができない状態である。なお、制限状態であっても、各エンジンは、外部からエンジンの起動に関する指示を受信し、起動制御を実行可能である。すなわち、制限状態は、待機状態であるともいえる。 When the digital camera 100 is operating in the reproduction mode, both the front engine 130 and the main engine 140 are operating in the normal state. The normal state is a state in which each engine can execute image processing. The power limited state (limited state) is an operating state in which the power consumption is at least lower than that in the normal state, and for example, some or all of the image processing that can be performed in the normal state is executed. It is in a state where it cannot be done. Even in the restricted state, each engine can receive an instruction regarding engine start from the outside and execute start control. That is, it can be said that the restricted state is a standby state.

例えば、フロントエンジン130は、通常状態において、センサー部106から入力されたRAW画像データに基づいて、表示部もしくはEVFに画像を表示する表示制御処理を実行可能である。また、フロントエンジン130は、通常状態において、センサー部106から入力されたRAW画像データを圧縮して、メインエンジン140に出力する処理を実行可能である。フロントエンジン130は、デジタルカメラ100の動作を制御するシステム制御部132を含む。したがって、デジタルカメラ100の電源がオンとなっている場合にフロントエンジン130が制限状態に移行することは、所定時間以上操作がない場合にスリープモードに移行する場合などを除いて、基本的にない。 For example, the front engine 130 can execute a display control process for displaying an image on the display unit or the EVF based on the RAW image data input from the sensor unit 106 in the normal state. Further, the front engine 130 can execute a process of compressing the RAW image data input from the sensor unit 106 and outputting the RAW image data to the main engine 140 in a normal state. The front engine 130 includes a system control unit 132 that controls the operation of the digital camera 100. Therefore, when the power of the digital camera 100 is turned on, the front engine 130 basically does not shift to the restricted state except when the digital camera 100 shifts to the sleep mode when there is no operation for a predetermined time or more. ..

メインエンジン140は、通常状態において、フロントエンジン130から入力された圧縮RAW画像データを処理して、記録媒体に格納する記録制御処理を実行可能である。また、メインエンジン140は、通常状態において、記録媒体に格納された画像データを読み出して、フロントエンジン130に出力し、フロントエンジン130によって表示部もしくはEVFに画像を表示する再生表示制御処理を実行可能である。さらに、メインエンジン140は、フロントエンジン130から入力された画像データを通信部109を介して外部装置に出力する出力制御処理を実行可能である。一方で、メインエンジン140は、制限状態において、上述の記録制御処理、再生表示制御処理、および出力制御処理の少なくともいずれかを実行することができない。 In the normal state, the main engine 140 can process the compressed RAW image data input from the front engine 130 and execute the recording control process of storing the compressed RAW image data in the recording medium. Further, in the normal state, the main engine 140 can read the image data stored in the recording medium, output the image data to the front engine 130, and execute the reproduction display control process of displaying the image on the display unit or the EVF by the front engine 130. Is. Further, the main engine 140 can execute an output control process for outputting the image data input from the front engine 130 to the external device via the communication unit 109. On the other hand, the main engine 140 cannot execute at least one of the above-mentioned recording control processing, reproduction display control processing, and output control processing in the restricted state.

はじめに、記録再生部143の読出処理部401が、記録媒体200から画像ファイルを読み出す。画像ファイルは、記録処理時と同じく、あらかじめ圧縮符号化された画像ファイルである。読み出された画像ファイルは、メインエンジン140の画像処理部141に出力される。 First, the read processing unit 401 of the recording / playback unit 143 reads the image file from the recording medium 200. The image file is an image file that has been compressed and encoded in advance, as in the case of recording processing. The read image file is output to the image processing unit 141 of the main engine 140.

伸長処理部402は、画像ファイルに対して圧縮処理の逆変換を適用して画像データを生成する伸長処理を実行する。送信処理部403は、画像データをフロントエンジン130に送信する。 The decompression processing unit 402 executes an decompression process for generating image data by applying the inverse conversion of the compression process to the image file. The transmission processing unit 403 transmits the image data to the front engine 130.

出力処理部404は、伸長処理部402から出力された画像データを処理して表示画像データを生成し、通信部109を介して外部装置に出力する。出力処理部404は、伸長処理部402から出力された画像データに対して入出力補正やガンマ補正、ホワイトバランス補正等を行う。また、出力処理部404は、画像データに基づく画像と合わせて表示するアシスト情報を示すGUIを、画像データと組み合わせる処理を行う。出力処理部327は、サムネイル表示のためのサムネイル画像を生成することも可能である。出力処理部404は、処理された画像データを、通信部109を介して外部装置に出力する。フロントエンジン130の受信処理部411は、メインエンジン140から出力された画像データを受信する。 The output processing unit 404 processes the image data output from the decompression processing unit 402 to generate display image data, and outputs the display image data to an external device via the communication unit 109. The output processing unit 404 performs input / output correction, gamma correction, white balance correction, and the like on the image data output from the decompression processing unit 402. Further, the output processing unit 404 performs a process of combining the GUI indicating the assist information to be displayed together with the image based on the image data with the image data. The output processing unit 327 can also generate a thumbnail image for displaying thumbnails. The output processing unit 404 outputs the processed image data to the external device via the communication unit 109. The reception processing unit 411 of the front engine 130 receives the image data output from the main engine 140.

表示処理部412は、受信した画像データを処理して、表示画像データを生成し、表示画像データに基づいて表示部101もしくはEVF108に画像を表示する。 The display processing unit 412 processes the received image data to generate display image data, and displays the image on the display unit 101 or EVF 108 based on the display image data.

なお、ユーザーが操作部110を操作して、サムネイル表示を指示した場合、システム制御部132は、メインエンジン140にサムネイル表示に用いる複数の画像データを記録媒体200から読み出して、フロントエンジン130に出力するように制御する。そして、システム制御部132は、取得した複数の画像データに基づいて、サムネイル画像を生成し、一覧表示画面を生成するように表示処理部412を制御する。 When the user operates the operation unit 110 to instruct the thumbnail display, the system control unit 132 reads a plurality of image data used for the thumbnail display from the recording medium 200 to the main engine 140 and outputs the plurality of image data to the front engine 130. Control to do. Then, the system control unit 132 controls the display processing unit 412 so as to generate a thumbnail image and generate a list display screen based on the acquired plurality of image data.

次に、デジタルカメラ100の全体の制御について説明する。 Next, the overall control of the digital camera 100 will be described.

図5A、および図5Bは、デジタルカメラ100の動作制御フローを示すフローチャートである。本フローチャートは、デジタルカメラ100の電源スイッチ103がオフからオンに操作されたことに応じて開始する。図5Aおよび図5Bの参照符号A〜Dは、それぞれに記載された参照符号間を接続するための記号である。例えば、図5AのS502でYesと判定された場合には、参照符号Bを介して、図5BのS514に進む。 5A and 5B are flowcharts showing an operation control flow of the digital camera 100. This flowchart starts in response to the power switch 103 of the digital camera 100 being operated from off to on. Reference numerals A to D in FIGS. 5A and 5B are symbols for connecting the reference numerals described in the respective reference numerals A to D. For example, when it is determined to be Yes in S502 of FIG. 5A, the process proceeds to S514 of FIG. 5B via the reference reference numeral B.

S501で、フロントエンジン130の起動処理が実行される。電源制御部107は、電源スイッチ103から起動指示を受け付けたことに応じて、フロントエンジン130に電力を供給する。フロントエンジン130のシステム制御部132は、システムメモリ133から起動用のプログラムおよびパラメーターを読み出して、起動動作を実行する。一方で、電源制御部107は、メインエンジン140に対する電力の供給を制限する。具体的には、電源制御部107は、メインエンジン140が通常状態で動作するために必要な電力を供給しない。 In S501, the start processing of the front engine 130 is executed. The power control unit 107 supplies electric power to the front engine 130 in response to receiving a start instruction from the power switch 103. The system control unit 132 of the front engine 130 reads the start-up program and parameters from the system memory 133 and executes the start-up operation. On the other hand, the power supply control unit 107 limits the supply of electric power to the main engine 140. Specifically, the power supply control unit 107 does not supply the power required for the main engine 140 to operate in the normal state.

S502で、システム制御部132は、デジタルカメラ100の動作モードが撮像モードであるか、再生モードであるか判定する。システム制御部132は、システムメモリ133に格納された設定データを読み出して、デジタルカメラ100の動作モードを確認する。もしくは、システム制御部132は、モード切替スイッチ121が示す動作モードに基づいて、デジタルカメラ100の動作モードを確認する。撮像モードが設定されている場合(S502 Yes)は、処理はS503に進む。再生モードが設定されている場合(S502 No)は、処理はS516に進み、メインエンジン140の起動処理、および画像の再生処理を行う。 In S502, the system control unit 132 determines whether the operation mode of the digital camera 100 is the imaging mode or the reproduction mode. The system control unit 132 reads the setting data stored in the system memory 133 and confirms the operation mode of the digital camera 100. Alternatively, the system control unit 132 confirms the operation mode of the digital camera 100 based on the operation mode indicated by the mode changeover switch 121. When the imaging mode is set (S502 Yes), the process proceeds to S503. When the reproduction mode is set (S502 No), the process proceeds to S516, and the main engine 140 is started and the image is reproduced.

S503で、システム制御部132は、ライブビュー処理を実行する。ライブビュー処理は、センサー部106から取得したライブビュー画像を表示部101に表示する処理である。ライブビュー処理が実行されると、表示部もしくはEVFにセンサー部106から入力された画像データに基づく画像(ライブビュー画像)が表示される。ユーザは、表示されたライブビュー画像を確認して、撮像(記録)する画像などの撮像条件を決定する。すなわち、ライブビュー処理が実行され、SW1やSW2などの撮像の実行に関する指示が入力されるまでの間は、デジタルカメラ100は撮像待機状態にあるといえる。 In S503, the system control unit 132 executes the live view process. The live view process is a process of displaying the live view image acquired from the sensor unit 106 on the display unit 101. When the live view process is executed, an image (live view image) based on the image data input from the sensor unit 106 is displayed on the display unit or the EVF. The user confirms the displayed live view image and determines the imaging conditions such as the image to be captured (recorded). That is, it can be said that the digital camera 100 is in the imaging standby state until the live view processing is executed and instructions related to the execution of imaging such as SW1 and SW2 are input.

図7は、ライブビュー処理のフローを示すフローチャートである。 FIG. 7 is a flowchart showing the flow of live view processing.

S701で、システム制御部132は、レンズ151やセンサー部106の動作を制御し、光学像を取得(撮像)して画像データを出力する。例えば、システム制御部132は、ユーザーのズームやフォーカスの指示に従って、レンズ151のフォーカス位置を制御するように、通信端子104を介して、レンズシステム制御回路154に指示を出力する。また、システム制御部132は、シャッター105およびセンサー部106を制御して、光学像をセンサー部106の撮像センサー上に結像させる。また、後述の検出処理によって得られる評価値の情報や被写体情報に基づいて、特定被写体へのフォーカス調整や追尾などの制御が行われる。 In S701, the system control unit 132 controls the operation of the lens 151 and the sensor unit 106, acquires (imaging) an optical image, and outputs image data. For example, the system control unit 132 outputs an instruction to the lens system control circuit 154 via the communication terminal 104 so as to control the focus position of the lens 151 according to the user's zoom or focus instruction. Further, the system control unit 132 controls the shutter 105 and the sensor unit 106 to form an optical image on the image pickup sensor of the sensor unit 106. In addition, control such as focus adjustment and tracking for a specific subject is performed based on the evaluation value information and subject information obtained by the detection process described later.

S702で、画像処理部131は、センサー部106から画像データを生成するための電気信号を読み出す読出処理を実行する。この時、読出し速度は、1000MP/秒であるとする。 In S702, the image processing unit 131 executes a reading process for reading an electric signal for generating image data from the sensor unit 106. At this time, the reading speed is assumed to be 1000 MP / sec.

S703で、画素並替処理部301は、入力された電気信号を2次元マトリクス状に並べ替えてRAW画像データを生成する。 In S703, the pixel rearrangement processing unit 301 rearranges the input electric signals in a two-dimensional matrix to generate RAW image data.

S704で、センサー補正処理部302は、RAW画像データに対して、あらかじめ取得されたセンサーの特性に基づく補正処理(センサー補正処理)を実行する。 In S704, the sensor correction processing unit 302 executes correction processing (sensor correction processing) based on the characteristics of the sensor acquired in advance with respect to the RAW image data.

S705で、縮小処理部303は、RAW画像データに縮小処理を適用して、縮小縮小RAW画像データを生成する。 In S705, the reduction processing unit 303 applies the reduction processing to the RAW image data to generate the reduction / reduction RAW image data.

S706で、検出処理部310は、縮小RAW画像データに対して撮像制御のためのパラメーターを検出する処理を実行する。なお、S706の処理は、LV処理の他の処理と並行して実行されていてもよい。 In S706, the detection processing unit 310 executes a process of detecting parameters for imaging control with respect to the reduced RAW image data. The process of S706 may be executed in parallel with other processes of the LV process.

S707で、光学補正処理部304は、縮小RAW画像データに対してレンズ151等の光学特性に関連する補正処理(光学補正処理)を実行する。 In S707, the optical correction processing unit 304 executes correction processing (optical correction processing) related to optical characteristics such as the lens 151 on the reduced RAW image data.

S708で、ノイズ抑制処理部305は、光学補正処理が適用された縮小RAW画像データに対して、ノイズを低減する処理を実行する。 In S708, the noise suppression processing unit 305 executes a process for reducing noise on the reduced RAW image data to which the optical correction processing is applied.

S709で、LV現像処理部306は、ノイズ抑制処理が実行された縮小RAW画像データに対して現像処理(LV現像処理)を適用して、表示画像データを生成する。 In S709, the LV development processing unit 306 applies a development process (LV development process) to the reduced RAW image data on which the noise suppression process has been executed to generate display image data.

S710で、LV補正処理部307は、表示画像データに対して、歪曲補正、拡大処理、縮小処理等の補正処理を実行する。 In S710, the LV correction processing unit 307 executes correction processing such as distortion correction, enlargement processing, and reduction processing on the displayed image data.

S711で、LV効果処理部308は、表示画像データに対して、所定の表示効果をえるためのエフェクト処理を実行する。 In S711, the LV effect processing unit 308 executes effect processing for obtaining a predetermined display effect on the display image data.

S712で、表示処理部309は、表示画像データを用いて表示部101およびEVF108に画像を表示させる表示処理を実行する。 In S712, the display processing unit 309 executes a display process for displaying an image on the display unit 101 and the EVF 108 using the display image data.

以上で、LV処理のフローが完了する。 This completes the LV processing flow.

図5のフローチャートの説明に戻る。処理は、S504に進む。 Returning to the description of the flowchart of FIG. The process proceeds to S504.

S504で、システム制御部132は、SW1信号が入力されたか否かを判定する。すなわち、システム制御部132は、ユーザーにより、シャッターボタンの半押し動作が実行されたか否かを判定する。言い換えれば、システム制御部132は、ユーザーにより、撮像準備動作の実行指示が入力されたか否かを判定する。SW1信号が入力された(S504 Yes)場合、処理はS505に進む。SW1信号が入力されない(S504 No)場合、処理はS514に進む。 In S504, the system control unit 132 determines whether or not the SW1 signal has been input. That is, the system control unit 132 determines whether or not the half-press operation of the shutter button has been executed by the user. In other words, the system control unit 132 determines whether or not the execution instruction of the imaging preparation operation has been input by the user. When the SW1 signal is input (S504 Yes), the process proceeds to S505. If the SW1 signal is not input (S504 No), the process proceeds to S514.

S505で、システム制御部132は、センサー106から得られた画像データに基づいて、露光時間T1の決定処理を実行する。検出処理部310が縮小RAW画像データを処理して露出状態を示す評価値を取得する。システム制御部132は、検出処理部から取得した露出状態を示す評価値に基づいて、撮像動作における露光時間T1を決定する。処理はS506に進む。 In S505, the system control unit 132 executes the determination process of the exposure time T1 based on the image data obtained from the sensor 106. The detection processing unit 310 processes the reduced RAW image data to acquire an evaluation value indicating an exposure state. The system control unit 132 determines the exposure time T1 in the imaging operation based on the evaluation value indicating the exposure state acquired from the detection processing unit. The process proceeds to S506.

S506で、システム制御部132は、SW2信号が入力されてからメインエンジン140の起動処理を実行するタイミング(起動タイミングTa)を決定する。システム制御部132は、システムメモリ133から、レリーズタイムラグT2を示す情報と、メインエンジン140の初期化にかかる期間T3を示す情報とを取得する。レリーズタイムラグT2は、SW2信号が入力されてからセンサー部106が露光(画像データの取得)を開始するまでの期間(タイムラグ)である。メインエンジン140の初期化にかかる期間T3は、メインエンジン140を起動し、画像処理部141や記録再生部143が画像処理や記録処理などの動作を実行可能な状態になるまでの期間である。 In S506, the system control unit 132 determines the timing (starting timing Ta) for executing the starting process of the main engine 140 after the SW2 signal is input. The system control unit 132 acquires the information indicating the release time lag T2 and the information indicating the period T3 required for the initialization of the main engine 140 from the system memory 133. The release time lag T2 is a period (time lag) from the input of the SW2 signal to the start of exposure (acquisition of image data) by the sensor unit 106. The period T3 required for the initialization of the main engine 140 is a period until the main engine 140 is started and the image processing unit 141 and the recording / reproducing unit 143 are in a state in which operations such as image processing and recording processing can be executed.

システム制御部132は、露光時間T1、レリーズタイムラグT2、およびメインエンジン140の初期化にかかる期間T3に基づいて、起動タイミングTaを決定する。ここで、システム制御部132は、起動タイミングTaを下記の計算式から算出する。
Ta=T1+T3−T2
The system control unit 132 determines the start timing Ta based on the exposure time T1, the release time lag T2, and the period T3 required for the initialization of the main engine 140. Here, the system control unit 132 calculates the start timing Ta from the following formula.
Ta = T1 + T3-T2

すなわち、システム制御部132は、露光時間T1が大きいほど、SW信号の入力からメインエンジン140の起動開始までの期間が長くなるように、起動タイミングTaを決定する。これにより、露光時間が所定の期間よりも長い場合に、メインエンジン140の処理が実行されないにも関わらずメインエンジン140が通常状態に移行し、電力消費が大きくなる期間を短くすることが可能となる。 That is, the system control unit 132 determines the start timing Ta so that the longer the exposure time T1, the longer the period from the input of the SW signal to the start of the start of the main engine 140. As a result, when the exposure time is longer than a predetermined period, the main engine 140 shifts to the normal state even though the processing of the main engine 140 is not executed, and it is possible to shorten the period during which the power consumption becomes large. Become.

図6は、画像データの入力のタイミングおよびメインエンジン140の起動のタイミングを示すタイミングチャートである。図6(a)は、本実施例によって決定された起動タイミングTaでメインエンジン140を起動させた場合のタイミングチャートを示す。また、図6(b)は、SW2信号の入力に応じてメインエンジン140を起動させた場合の比較例におけるタイミングチャートを示す。本実施例の制御によって、決定されたタイミングでメインエンジン140を起動した場合、比較例よりもメインエンジン140の起動タイミングを遅くすることが可能となる。したがって、起動タイミングが遅れた分だけ、メインエンジン140が通常状態で動作する期間が短くなる。つまり、メインエンジン140の消費電力が高い期間が短くなり、デジタルカメラ100の消費電力を抑制することが可能となる。 FIG. 6 is a timing chart showing the timing of inputting image data and the timing of starting the main engine 140. FIG. 6A shows a timing chart when the main engine 140 is started at the start timing Ta determined by this embodiment. Further, FIG. 6B shows a timing chart in a comparative example in which the main engine 140 is started in response to the input of the SW2 signal. By the control of this embodiment, when the main engine 140 is started at a determined timing, the start timing of the main engine 140 can be delayed as compared with the comparative example. Therefore, the period during which the main engine 140 operates in the normal state is shortened by the amount of the delay in the start timing. That is, the period during which the power consumption of the main engine 140 is high is shortened, and the power consumption of the digital camera 100 can be suppressed.

S507で、システム制御部132は、SW2信号が入力されたか否かを判定する。すなわち、システム制御部132は、ユーザーにより、シャッターボタンの全押し動作が実行されたか否かを判定する。言い換えれば、システム制御部132は、ユーザーにより、撮像動作の実行指示が入力されたか否かを判定する。SW2信号が入力された(S507 Yes)場合、処理はS508に進む。SW2信号が入力されない(S507 No)場合、処理はS514に進む。 In S507, the system control unit 132 determines whether or not the SW2 signal has been input. That is, the system control unit 132 determines whether or not the shutter button is fully pressed by the user. In other words, the system control unit 132 determines whether or not an execution instruction for the imaging operation has been input by the user. When the SW2 signal is input (S507 Yes), the process proceeds to S508. If no SW2 signal is input (S507 No), the process proceeds to S514.

S508で、システム制御部132は、記録用の画像データを取得するためにレンズ151やセンサー部106の動作を制御する撮像制御処理を実行する。システム制御部132は、記録画像を取得するため、設定された露光時間だけ画像データを取得する露光動作の開始をセンサー部106に指示する。 In S508, the system control unit 132 executes an imaging control process that controls the operation of the lens 151 and the sensor unit 106 in order to acquire image data for recording. In order to acquire the recorded image, the system control unit 132 instructs the sensor unit 106 to start the exposure operation for acquiring the image data for the set exposure time.

S509で、システム制御部132は、内部のタイマのカウントを開始する。カウントされた値は、SW2信号の入力からの経過時間tを示す。 In S509, the system control unit 132 starts counting the internal timer. The counted value indicates the elapsed time t from the input of the SW2 signal.

S510で、経過時間tが起動タイミングTa以上であるか否かを判定する。経過時間tが起動タイミングTa以上でない場合、処理はS510に戻る。経過時間tが起動タイミングTa以上である場合、処理はS511に進む。すなわち、S510で、経過時間tが起動タイミングTa以上になるまで、待機するといえる。 In S510, it is determined whether or not the elapsed time t is equal to or greater than the start timing Ta. If the elapsed time t is not equal to or greater than the start timing Ta, the process returns to S510. If the elapsed time t is equal to or greater than the start timing Ta, the process proceeds to S511. That is, in S510, it can be said to wait until the elapsed time t becomes equal to or longer than the start timing Ta.

S511で、メインエンジン140の起動処理が実行される。システム制御部132は、電源制御部107を制御して、メインエンジン140への電力供給の開始を指示する。すなわち、電源制御部107は、メインエンジン140に対して供給する電力の制限を解除する。また、システム制御部132は、メインエンジン140の制御部142に対して、メインエンジン140の起動動作を実行するように制御する。起動動作の詳細は後述する。 In S511, the start processing of the main engine 140 is executed. The system control unit 132 controls the power supply control unit 107 to instruct the start of power supply to the main engine 140. That is, the power supply control unit 107 releases the limitation of the electric power supplied to the main engine 140. Further, the system control unit 132 controls the control unit 142 of the main engine 140 to execute the start operation of the main engine 140. The details of the startup operation will be described later.

S512で、撮像記録処理が実行される。撮像記録処理は、センサー部106で取得(撮像)したRAW画像データに対して、高画質の現像処理を適用してあらかじめ定められた記録媒体に記録するまでの一連の処理である。図8は、撮像記録処理のフローを示すフローチャートである。 In S512, the imaging recording process is executed. The imaging recording process is a series of processes from applying high-quality development processing to RAW image data acquired (imaging) by the sensor unit 106 and recording it on a predetermined recording medium. FIG. 8 is a flowchart showing a flow of imaging recording processing.

S801で、画像処理部131は、センサー部106から画像データを生成するための電気信号を読み出す読出処理を実行する。画像処理部131は、センサー部106から1フレームの画像データを5msで読み出すとする。この時、読出し速度は、画素で示すと1500MP/秒である。 In S801, the image processing unit 131 executes a reading process for reading an electric signal for generating image data from the sensor unit 106. It is assumed that the image processing unit 131 reads out one frame of image data from the sensor unit 106 in 5 ms. At this time, the reading speed is 1500 MP / sec in terms of pixels.

S802で、画素並替処理部301は、入力された電気信号を2次元マトリクス状に並べ替えてRAW画像データを生成する。 In S802, the pixel rearrangement processing unit 301 rearranges the input electric signals in a two-dimensional matrix to generate RAW image data.

S803で、センサー補正処理部302は、RAW画像データに対して、あらかじめ取得されたセンサーの特性に基づく補正処理(センサー補正処理)を実行する。 In S803, the sensor correction processing unit 302 executes correction processing (sensor correction processing) based on the characteristics of the sensor acquired in advance with respect to the RAW image data.

S804で、RAWノイズ抑制処理部311は、センサー補正処理部302で処理されたRAW画像データにノイズを低減する処理を適応する。 In S804, the RAW noise suppression processing unit 311 applies a process for reducing noise to the RAW image data processed by the sensor correction processing unit 302.

S805で、圧縮処理部312は、RAWノイズ抑制処理部311で処理されたRAW画像データに対して圧縮処理を適用する。圧縮処理部312は、圧縮されたRAW画像データは、一時的にメモリ134に格納してバッファリングする。 In S805, the compression processing unit 312 applies the compression processing to the RAW image data processed by the RAW noise suppression processing unit 311. The compression processing unit 312 temporarily stores the compressed RAW image data in the memory 134 and buffers it.

S806で、送信処理部313は、圧縮されたRAW画像データをメインエンジン140の受信処理部321に送信する。送信処理部313は、1フレーム当たり15msで受信処理部321へ送信するとする。つまり、フロントエンジン130がセンサー部106から1フレームを読み出す速度よりも、フロントエンジン130からメインエンジン140に1フレームを転送する速度が遅い。 In S806, the transmission processing unit 313 transmits the compressed RAW image data to the reception processing unit 321 of the main engine 140. It is assumed that the transmission processing unit 313 transmits to the reception processing unit 321 at 15 ms per frame. That is, the speed at which one frame is transferred from the front engine 130 to the main engine 140 is slower than the speed at which the front engine 130 reads one frame from the sensor unit 106.

メインエンジン140の画像処理部141が実行する画像処理(現像処理)は、フロントエンジン130が実行する画像処理よりも高精度の処理を実行する。したがって、メインエンジン140が単位時間あたりに処理可能なデータ量(フレーム数)は、フロントエンジン130よりも小さい。 The image processing (development processing) executed by the image processing unit 141 of the main engine 140 executes processing with higher accuracy than the image processing executed by the front engine 130. Therefore, the amount of data (number of frames) that the main engine 140 can process per unit time is smaller than that of the front engine 130.

圧縮したRAW画像データをバッファリングすることにより、フロントエンジン130からメインエンジン140への画像データの転送速度をセンサー部106からの画像データの読み出し速度よりも遅くすることが可能となる。つまり、メインエンジン140が処理可能なデータレートで、転送を行うことが可能となる。したがって、高精度の画像処理を、センサー部106の読み出し速度で実行可能な大規模な画像処理回路を実装せずに、高精度の画像処理を実行可能となる。ここで、高精度の画像処理は、色再現性や補正の精度が高い画像処理である。 By buffering the compressed RAW image data, the transfer speed of the image data from the front engine 130 to the main engine 140 can be made slower than the read speed of the image data from the sensor unit 106. That is, the transfer can be performed at a data rate that can be processed by the main engine 140. Therefore, it is possible to execute high-precision image processing without mounting a large-scale image processing circuit that can execute high-precision image processing at the reading speed of the sensor unit 106. Here, the high-precision image processing is an image processing having high color reproducibility and correction accuracy.

S807で、受信処理部321は、送信処理部313から送信された圧縮されたRAW画像データを受信する。 In S807, the reception processing unit 321 receives the compressed RAW image data transmitted from the transmission processing unit 313.

S808で、受信処理部321は、圧縮されたRAW画像データに対して圧縮処理部312で適用された圧縮処理の逆変換を行い、圧縮された状態を伸長する。 In S808, the reception processing unit 321 performs the inverse conversion of the compression processing applied by the compression processing unit 312 on the compressed RAW image data, and decompresses the compressed state.

S809で、RAW現像処理部322は、RAW画像データに対して現像処理を実行し、記録画像データを生成する。 In S809, the RAW development processing unit 322 executes development processing on the RAW image data to generate recorded image data.

S810で、補正処理部323は、記録画像データに対して、歪曲補正およびノイズ抑制処理を適用する。 In S810, the correction processing unit 323 applies distortion correction and noise suppression processing to the recorded image data.

S811で、効果処理部324は、記録画像データに対して、効果処理を実行する。効果処理の内容は、あらかじめ定められた効果を記録画像データに対して付与する処理である。効果処理は、例えば、モノクロ変換処理や各種のフィルタを適用する処理である。 In S811, the effect processing unit 324 executes effect processing on the recorded image data. The content of the effect process is a process of applying a predetermined effect to the recorded image data. The effect processing is, for example, a monochrome conversion processing or a processing for applying various filters.

S812で、圧縮処理部325は、記録画像データに対して圧縮処理を適用する。 In S812, the compression processing unit 325 applies the compression processing to the recorded image data.

S813で、記録再生部143の記録処理部326は、圧縮された記録画像データを記録媒体200に格納する。撮像記録処理が終了する。 In S813, the recording processing unit 326 of the recording / reproducing unit 143 stores the compressed recorded image data in the recording medium 200. The imaging recording process is completed.

上述のフローチャートでは、メインエンジン140は、フロントエンジン130から出力された圧縮されたRAW画像データに伸長処理と現像処理を適用した画像データを記録媒体200に記録した。メインエンジン140は、フロントエンジン130から出力された圧縮されたRAW画像データを記録媒体200に記録することも可能である。この場合、S809からS813の一連の処理は実行されない。受信処理部321が受信した圧縮されたRAW画像データを、記録再生部143が記録媒体200に記録する。 In the above flowchart, the main engine 140 records the compressed RAW image data output from the front engine 130 with image data obtained by applying decompression processing and development processing on the recording medium 200. The main engine 140 can also record the compressed RAW image data output from the front engine 130 on the recording medium 200. In this case, the series of processes from S809 to S813 is not executed. The recording / playback unit 143 records the compressed RAW image data received by the reception processing unit 321 on the recording medium 200.

図5のフローチャートの説明に戻る。撮像記録処理が終了したことに応じて、処理はS513に進む。 Returning to the description of the flowchart of FIG. The process proceeds to S513 according to the completion of the imaging recording process.

S513で、メインエンジン140の停止処理が実行される。システム制御部132は、メインエンジン140の制御部142に対して、メインエンジン140の停止動作を実行するように制御する。そして、システム制御部132は、電源制御部107を制御して、メインエンジン140への電力供給の停止を指示する。停止動作の詳細は後述する。 In S513, the stop processing of the main engine 140 is executed. The system control unit 132 controls the control unit 142 of the main engine 140 to execute the stop operation of the main engine 140. Then, the system control unit 132 controls the power supply control unit 107 to instruct to stop the power supply to the main engine 140. The details of the stop operation will be described later.

S514で、システム制御部132は、デジタルカメラ100の動作の終了指示が入力されたか否かを判定する。具体的には、システム制御部132は、電源スイッチ103がオンからオフに操作されたか否かを判定する。また、所定時間操作がなかった場合に、終了指示が入力されたと判定してもよい(いわゆる、スリープ動作)。終了指示が入力された(S514 Yes)場合、処理はS515に進む。終了指示が入力されない(S514 No)場合、処理は、S502に戻る。 In S514, the system control unit 132 determines whether or not an instruction to end the operation of the digital camera 100 has been input. Specifically, the system control unit 132 determines whether or not the power switch 103 has been operated from on to off. Further, it may be determined that the end instruction has been input when there is no operation for a predetermined time (so-called sleep operation). If the end instruction is input (S514 Yes), the process proceeds to S515. If no end instruction is input (S514 No), the process returns to S502.

S515で、システム制御部132は、自己を含むフロントエンジン130の停止処理を実行する。また、デジタルカメラ100の他の各部に対しても停止処理を実行する。これにより、デジタルカメラ100の全体の動作は停止し、カメラ制御が終了する。 In S515, the system control unit 132 executes the stop processing of the front engine 130 including itself. Further, the stop processing is also executed for each other part of the digital camera 100. As a result, the entire operation of the digital camera 100 is stopped, and the camera control is terminated.

S502で動作モードが撮像モードでない(動作モードが再生モードである)と判定された場合、処理はS516に進む。 If it is determined in S502 that the operation mode is not the imaging mode (the operation mode is the reproduction mode), the process proceeds to S516.

S516で、メインエンジン140の起動処理が実行される。メインエンジン140の起動処理は、S511と同様の処理であるので詳細な説明は省略する。 In S516, the start processing of the main engine 140 is executed. Since the start processing of the main engine 140 is the same processing as S511, detailed description thereof will be omitted.

S517で、再生処理が実行される。再生処理は、記録媒体200に記憶された画像データを読み出して、表示部100に表示する処理である。図9は、再生処理のフローを示すフローチャートである。 In S517, the reproduction process is executed. The reproduction process is a process of reading out the image data stored in the recording medium 200 and displaying it on the display unit 100. FIG. 9 is a flowchart showing the flow of the reproduction process.

S901で、記録再生部143は、記録媒体200から画像データを読み出す。記録媒体200には、JPEG等の形式で圧縮された画像データが格納されている。記録再生部143が読み出す画像データは、システム制御部132により決定される。記録再生部143は、読み出した圧縮された画像データを画像処理部141に送信する。 In S901, the recording / reproducing unit 143 reads the image data from the recording medium 200. The recording medium 200 stores image data compressed in a format such as JPEG. The image data read by the recording / reproducing unit 143 is determined by the system control unit 132. The recording / reproducing unit 143 transmits the read compressed image data to the image processing unit 141.

S902で、画像処理部141は、取得した圧縮された画像データを伸長する処理を実行する。伸長する処理は、画像データに対して適用された圧縮処理の逆変換である。 In S902, the image processing unit 141 executes a process of decompressing the acquired compressed image data. The decompression process is the inverse conversion of the compression process applied to the image data.

S903で、画像処理部141は、伸長された画像データをフロントエンジン130の画像処理部131に送信する。 In S903, the image processing unit 141 transmits the expanded image data to the image processing unit 131 of the front engine 130.

S904で、画像処理部131は、メインエンジン140から送信された画像データを受信する。 In S904, the image processing unit 131 receives the image data transmitted from the main engine 140.

S905で、画像処理部131は、受信した画像データに基づいて、表示部101もしくはEVF108に画像を表示するための表示制御を実行する。 In S905, the image processing unit 131 executes display control for displaying an image on the display unit 101 or the EVF 108 based on the received image data.

S906で、システム制御部132は、表示画像の変更指示が操作部110を介して入力されたか否かを判定する。例えば、表示画像の変更は、十字キー114の操作による画像送りや、拡大ボタン118の操作によるサムネイル表示への変更であるとする。表示画像の変更指示がされた(S906 Yes)場合、処理はS901に戻る。システム制御部132は、メインエンジン140の記録再生部143に、変更された表示画像に対応する画像データを読み出すように指示を送信する。 In S906, the system control unit 132 determines whether or not the display image change instruction has been input via the operation unit 110. For example, it is assumed that the change of the display image is to feed the image by operating the cross key 114 or to change to the thumbnail display by operating the enlargement button 118. When the display image change instruction is given (S906 Yes), the process returns to S901. The system control unit 132 transmits an instruction to the recording / reproducing unit 143 of the main engine 140 to read the image data corresponding to the changed display image.

表示画像の変更指示がない(S906 No)場合、処理はS907に進む。S907で、システム制御部132は、モード変更の指示が入力されたか否かを判定する。モード変更の指示は、ユーザーによってモード切替スイッチ121を操作することで入力されてもよいし、ユーザーがシャッターボタン102を押下することに応じて入力されてもよい。モード変更の指示が入力されない場合、処理はS906に戻る。また、モード変更の指示が入力された(S907 Yes)場合、再生処理が終了する。 If there is no instruction to change the display image (S906 No), the process proceeds to S907. In S907, the system control unit 132 determines whether or not a mode change instruction has been input. The mode change instruction may be input by the user operating the mode changeover switch 121, or may be input in response to the user pressing the shutter button 102. If the mode change instruction is not input, the process returns to S906. Further, when the mode change instruction is input (S907 Yes), the reproduction process ends.

再生処理が終了したことに応じて、処理はS509(メインエンジン140の停止処理)に進む。 When the reproduction process is completed, the process proceeds to S509 (stop process of the main engine 140).

次に、メインエンジン140の起動処理、およびメインエンジン140の停止処理の詳細について説明する。メインエンジン140の起動処理は、図5で示したフローチャートにおけるS507、S512、およびS515で実行される処理である。また、メインエンジン140の停止処理は、図5で示したフローチャートにおけるS509、およびS522で実行される処理である。 Next, the details of the start processing of the main engine 140 and the stop processing of the main engine 140 will be described. The start processing of the main engine 140 is the processing executed in S507, S512, and S515 in the flowchart shown in FIG. Further, the stop processing of the main engine 140 is a processing executed in S509 and S522 in the flowchart shown in FIG.

図10は、メインエンジン140の起動処理、およびメインエンジン140の停止処理のフローを示すフローチャートである。図10(a)は、メインエンジン140の起動処理のフローを示すフローチャートである。 FIG. 10 is a flowchart showing a flow of a start process of the main engine 140 and a stop process of the main engine 140. FIG. 10A is a flowchart showing a flow of starting processing of the main engine 140.

S1001で、システム制御部132は、電源制御部107に対して、メインエンジン140への電力供給を開始するための指示を出力する。 In S1001, the system control unit 132 outputs an instruction to the power supply control unit 107 to start supplying power to the main engine 140.

S1002で、電源制御部107は、メインエンジン140への電力供給を開始する。 In S1002, the power supply control unit 107 starts supplying electric power to the main engine 140.

S1003で、メインエンジン140の制御部143は、システムメモリ144からメインエンジン140が起動するために用いるプログラムおよびパラメーターを読み出す処理を実行する。 In S1003, the control unit 143 of the main engine 140 executes a process of reading a program and parameters used for starting the main engine 140 from the system memory 144.

S1004で、制御部143は、メインエンジン140の起動制御を実行する。 In S1004, the control unit 143 executes the start control of the main engine 140.

上述の一連の処理によって、メインエンジン140が制限状態から通常状態に遷移する。 Through the series of processes described above, the main engine 140 transitions from the restricted state to the normal state.

図10(b)は、メインエンジン140の停止処理のフローを示すフローチャートである。 FIG. 10B is a flowchart showing a flow of stop processing of the main engine 140.

S1011で、システム制御部132は、メインエンジン140の制御部143に対して、動作停止指示を出力する。 In S1011, the system control unit 132 outputs an operation stop instruction to the control unit 143 of the main engine 140.

S1012で、制御部143は、次回のメインエンジン140の起動のために必要なパラメーター等のデータ(起動データ)をシステムメモリ144に格納する。なお、データの格納先は、メモリ145であってもよい。 In S1012, the control unit 143 stores data (startup data) such as parameters necessary for starting the next main engine 140 in the system memory 144. The data storage destination may be the memory 145.

S1013で、制御部143は、メインエンジン140の動作を停止する処理を実行する。 In S1013, the control unit 143 executes a process of stopping the operation of the main engine 140.

S1014で、システム制御部132は、電源制御部107に対して、メインエンジン140への電力供給を停止するための指示を出力する。 In S1014, the system control unit 132 outputs an instruction to the power supply control unit 107 to stop the power supply to the main engine 140.

S1015で、電源制御部107は、メインエンジン140への電力供給を終了する。 In S1015, the power supply control unit 107 ends the power supply to the main engine 140.

上述の一連の処理によって、メインエンジン140が通常状態から制限状態に遷移する。 Through the series of processes described above, the main engine 140 transitions from the normal state to the restricted state.

メインエンジン140が制限状態に遷移することによって、デジタルカメラ100の消費電力を抑制することが可能となる。 By transitioning the main engine 140 to the restricted state, it is possible to suppress the power consumption of the digital camera 100.

上述の制御によれば、撮像モードで動作している場合に、撮像記録処理の実行指示が入力されるまでは、メインエンジン140に供給する電力を制限することが可能となる。また、露光時間が長いほど、メインエンジン140を起動するタイミングを遅くすることにより、撮像記録処理の実行に与える影響を抑止しながら、メインエンジン140の消費電力を低減することが可能となる。したがって、有限の容量の電源(バッテリー)を用いて動作するデジタルカメラ100の駆動可能時間が長くなるように、効率的な運用が可能となる。 According to the above-mentioned control, when operating in the imaging mode, it is possible to limit the power supplied to the main engine 140 until the execution instruction of the imaging recording process is input. Further, as the exposure time is longer, the timing of starting the main engine 140 is delayed, so that the power consumption of the main engine 140 can be reduced while suppressing the influence on the execution of the imaging recording process. Therefore, efficient operation is possible so that the driveable time of the digital camera 100 that operates using a power source (battery) having a finite capacity is extended.

上述の制御によれば、露光時間が長いほど、SW2信号の入力からメインエンジン140の起動開始までの期間が長くなるように起動タイミングTaを決定した。しかし、露光時間に対してSW2信号の入力からメインエンジン140の起動開始までの期間はステップ状に制御してもよい。具体的には、システム制御部132は、露光時間があらかじめ定められた閾値より長い場合よりも、露光時間が閾値以下である場合に、SW2信号の入力からメインエンジン140の起動開始までに期間を長くするように制御する。例えば、閾値を1秒とする。システム制御部132は、露光時間の設定が1秒以下である場合、SW2信号の入力から0.02秒後にメインエンジン140の起動処理を実行する。また、システム制御部132は、露光時間の設定が1秒より長い場合、SW2信号の入力から1秒後にメインエンジン140の起動処理を実行する。 According to the above-mentioned control, the start timing Ta is determined so that the longer the exposure time, the longer the period from the input of the SW2 signal to the start of the start of the main engine 140. However, the period from the input of the SW2 signal to the start of starting of the main engine 140 may be controlled in steps with respect to the exposure time. Specifically, the system control unit 132 sets a period from the input of the SW2 signal to the start of the main engine 140 when the exposure time is equal to or less than the threshold value than when the exposure time is longer than the predetermined threshold value. Control to make it longer. For example, the threshold value is 1 second. When the exposure time is set to 1 second or less, the system control unit 132 executes the start processing of the main engine 140 0.02 seconds after the input of the SW2 signal. Further, when the exposure time is set longer than 1 second, the system control unit 132 executes the start processing of the main engine 140 1 second after the input of the SW2 signal.

閾値は複数設定されていてもよい。図11は、露光時間と起動タイミングとの関係を示す表である。図11に示す例では、露光時間T1:1/8000秒〜1/30秒に対して起動タイミングTa:0.02秒が関連付けられる。また、露光時間T1:1秒〜5秒に対して起動タイミングTa:1秒、露光時間T1:10秒〜30秒に対して起動タイミングTa:10秒がそれぞれ関連付けられる。言い換えると、システム制御部132は、露光時間が第1時間以下である第1期間に含まれる場合に、第1の起動タイミングTa1とし、露光時間が第1時間より長く第2時間以下である第2期間に含まれる場合に、第2の起動タイミングTa2とするといえる。露光時間の取り得る期間は3以上であってもよい。 A plurality of threshold values may be set. FIG. 11 is a table showing the relationship between the exposure time and the start-up timing. In the example shown in FIG. 11, the start timing Ta: 0.02 seconds is associated with the exposure time T1: 1/8000 seconds to 1/30 seconds. Further, the start timing Ta: 1 second is associated with the exposure time T1: 1 to 5 seconds, and the start timing Ta: 10 seconds is associated with the exposure time T1: 10 to 30 seconds. In other words, when the exposure time is included in the first period of the first hour or less, the system control unit 132 sets the first start timing Ta1 and the exposure time is longer than the first hour and is the second time or less. When it is included in the two periods, it can be said that it is the second activation timing Ta2. The possible exposure time may be 3 or more.

また、露光時間が閾値以下である場合には、起動タイミングを固定値とし、露光時間に応じてメインエンジン140の起動処理を実行するタイミングを決定してもよい。例えば、システム制御部132は、露光時間の設定が1秒より長い場合、式1に基づいて起動タイミングTaを決定してもよい。 When the exposure time is equal to or less than the threshold value, the start timing may be set to a fixed value, and the timing for executing the start process of the main engine 140 may be determined according to the exposure time. For example, when the exposure time setting is longer than 1 second, the system control unit 132 may determine the start timing Ta based on the equation 1.

また、上述の制御によれば、SW1信号の入力に応じて露光時間T1を決定したが、露光時間T1は、あらかじめユーザの設定に応じて固定の値を決定するものであってもよい。 Further, according to the above-mentioned control, the exposure time T1 is determined according to the input of the SW1 signal, but the exposure time T1 may be a fixed value determined in advance according to the user's setting.

100 撮像装置
101 表示部
106 センサー部
107 電力制御部
130 フロントエンジン
140 メインエンジン
200 記録媒体
100 Imaging device 101 Display unit 106 Sensor unit 107 Power control unit 130 Front engine 140 Main engine 200 Recording medium

Claims (12)

撮像センサーと、
前記撮像センサーから入力された画像データを処理する第1処理回路と、
前記第1処理回路で処理された前記画像データを記録媒体に記録する第2処理回路と、
撮像待機状態において前記第2処理回路への電力供給を制限し、前記撮像センサーから取得した画像データを前記記録媒体に記録する撮像記録処理の実行のための第1の指示が入力されたことに応じて、前記第2処理回路への電力供給の制限を解除する制御部と、
を備え、
前記制御部は、前記撮像動作における前記撮像センサーの露光時間が所定の閾値より長い場合に、前記露光時間が前記所定の閾値以下である場合よりも、前記第1の指示が入力されてから前記第2処理回路への電力供給までの期間が長くなるように、前記第2処理回路への電力供給を制御することを特徴とする撮像装置。
With the image sensor
A first processing circuit that processes image data input from the image sensor, and
A second processing circuit that records the image data processed by the first processing circuit on a recording medium, and
In the imaging standby state, the first instruction for executing the imaging recording process for limiting the power supply to the second processing circuit and recording the image data acquired from the imaging sensor on the recording medium is input. Correspondingly, the control unit that releases the restriction on the power supply to the second processing circuit, and
With
When the exposure time of the imaging sensor in the imaging operation is longer than a predetermined threshold value, the control unit performs the first instruction after the first instruction is input, as compared with the case where the exposure time is equal to or less than the predetermined threshold value. An image pickup apparatus characterized in that the power supply to the second processing circuit is controlled so that the period until the power supply to the second processing circuit is extended.
前記制御部は、前記撮像待機状態においてユーザーから撮像準備を実行する指示が入力されたことに応じて、前記撮像センサーから取得された画像に基づいて前記露光時間を設定することを特徴とする請求項1に記載の撮像装置。 The claim is characterized in that the control unit sets the exposure time based on the image acquired from the image pickup sensor in response to an instruction from the user to execute the image pickup preparation in the image pickup standby state. Item 1. The imaging apparatus according to item 1. 前記制御部は、ユーザーからの入力に基づいて前記露光時間を設定することを特徴とする請求項1または2に記載の撮像装置。 The imaging device according to claim 1 or 2, wherein the control unit sets the exposure time based on an input from a user. 前記制御部は、前記露光時間が長いほど、前記第1の指示が入力されてから前記第2処理回路への電力供給までの期間が長くなるように、前記第2処理回路のへの電力供給を制御することを特徴とする請求項1乃至3のいずれか1項に記載の撮像装置。 The control unit supplies power to the second processing circuit so that the longer the exposure time, the longer the period from the input of the first instruction to the supply of power to the second processing circuit. The imaging apparatus according to any one of claims 1 to 3, wherein the image pickup apparatus is controlled. 前記制御部は、前記露光時間と、前記露光時間および前記第2処理回路の起動処理にかかる時間と、前記第1の指示が入力されてから前記撮像センサーが前記画像データの取得を開始するまでの時間と、に基づいて、前記所定の指示が入力されてから前記第2処理回路への電力供給までの前記期間を決定することを特徴とする請求項1乃至4のいずれか1項に記載の撮像装置。 The control unit receives the exposure time, the exposure time, the time required for the activation processing of the second processing circuit, and the time from the input of the first instruction to the start of acquisition of the image data by the image pickup sensor. The time according to any one of claims 1 to 4, wherein the period from the input of the predetermined instruction to the power supply to the second processing circuit is determined based on the time of. Imaging device. 前記第1処理回路は、前記撮像待機状態において、前記撮像センサーから取得した画像データに基づいて表示部にライブビュー画像を表示することを特徴とする請求項1乃至5のいずれか1項に記載の撮像装置。 The first processing circuit according to any one of claims 1 to 5, wherein the first processing circuit displays a live view image on a display unit based on image data acquired from the image pickup sensor in the image pickup standby state. Imaging device. 前記第1処理回路は、前記撮像待機状態において、前記撮像センサーから取得した画像データに第1現像処理を適用して得られた画像データを用いて、表示部に画像を表示することを特徴とする請求項1乃至6のいずれか1項に記載の撮像装置。 The first processing circuit is characterized in that, in the image pickup standby state, an image is displayed on a display unit by using the image data obtained by applying the first development process to the image data acquired from the image pickup sensor. The image pickup apparatus according to any one of claims 1 to 6. 前記第1処理回路は、前記指示が入力されたことに応じて、前記撮像センサーから画像データを取得し、前記画像データを、前記第1現像処理を適用せずに前記第2処理回路に送信し、
前記第2処理回路は、前記第1処理回路から取得した前記画像データに第2現像処理を適用して得られた画像データを前記記録媒体に記録することを特徴とする請求項7に記載の撮像装置。
The first processing circuit acquires image data from the image sensor in response to the input of the instruction, and transmits the image data to the second processing circuit without applying the first development process. And
The second processing circuit according to claim 7, wherein the second processing circuit records the image data obtained by applying the second development process to the image data acquired from the first processing circuit on the recording medium. Imaging device.
前記第1処理回路と前記第2処理回路とは、互いに異なる集積回路チップであることを特徴とする請求項1乃至請求項8のいずれか1項に記載の撮像装置。 The imaging apparatus according to any one of claims 1 to 8, wherein the first processing circuit and the second processing circuit are integrated circuit chips that are different from each other. 前記第1処理回路は、前記撮像センサーから取得した画像データに縮小処理を適用し、前記縮小処理を適用された画像データに簡易現像処理を適用し、前記簡易現像処理により得られた画像データに基づいて、前記表示部に画像を表示し、
前記第2処理回路は、前記撮像センサーから前記第1処理回路を介して取得した画像データに前記簡易現像処理よりも高画質の画像データを生成するための現像処理を適用し、前記現像処理により得られた画像データを前記記録媒体に記録する
ことを特徴とする請求項1乃至請求項9のいずれか1項に記載の撮像装置。
The first processing circuit applies a reduction process to the image data acquired from the image pickup sensor, applies a simple development process to the image data to which the reduction process is applied, and applies the simple development process to the image data obtained by the simple development process. Based on this, an image is displayed on the display unit,
The second processing circuit applies a development process for generating image data having a higher image quality than the simple development process to the image data acquired from the image pickup sensor via the first processing circuit, and the development process is performed. The imaging apparatus according to any one of claims 1 to 9, wherein the obtained image data is recorded on the recording medium.
前記制御部は、操作部から前記撮像装置の起動指示を受け付けたことに応じて、前記第1処理回路に起動動作が実行可能な電力を供給し、前記第2処理回路に対して制限された電力を供給することを特徴とする請求項1乃至請求項10のいずれか1項に記載の撮像装置。 The control unit supplies electric power capable of executing the activation operation to the first processing circuit in response to receiving the activation instruction of the imaging device from the operation unit, and is restricted to the second processing circuit. The imaging device according to any one of claims 1 to 10, wherein power is supplied. 撮像センサーと、前記撮像センサーから入力された画像データを処理する第1処理回路と、
前記第1処理回路で処理された前記画像データを記録媒体に記録する第2処理回路と、を有する撮像装置の制御方法であって、
撮像待機状態において前記第2処理回路への電力供給を制限する第1制御工程と、
前記撮像センサーから取得した画像データを前記記録媒体に記録する撮像記録処理の実行のための第1の指示が入力されたことに応じて、前記第2処理回路への電力供給の制限を解除する第2制御工程と、
を備え、
前記第2制御工程において、前記撮像動作における前記撮像センサーの露光時間が所定の閾値より長い場合に、前記露光時間が前記所定の閾値以下である場合よりも、前記第1の指示が入力されてから前記第2処理回路への電力供給までの期間が長いことを特徴とする撮像装置の制御方法。
An image sensor, a first processing circuit that processes image data input from the image sensor, and
A control method for an image pickup apparatus comprising a second processing circuit for recording the image data processed by the first processing circuit on a recording medium.
A first control step that limits the power supply to the second processing circuit in the imaging standby state, and
The restriction on the power supply to the second processing circuit is released in response to the input of the first instruction for executing the imaging recording process of recording the image data acquired from the image pickup sensor on the recording medium. Second control process and
With
In the second control step, when the exposure time of the imaging sensor in the imaging operation is longer than the predetermined threshold value, the first instruction is input as compared with the case where the exposure time is equal to or less than the predetermined threshold value. A control method for an image pickup apparatus, characterized in that a period from to power supply to the second processing circuit is long.
JP2019152244A 2019-08-22 2019-08-22 Imaging device and control method of imaging device Pending JP2021034844A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2019152244A JP2021034844A (en) 2019-08-22 2019-08-22 Imaging device and control method of imaging device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019152244A JP2021034844A (en) 2019-08-22 2019-08-22 Imaging device and control method of imaging device

Publications (1)

Publication Number Publication Date
JP2021034844A true JP2021034844A (en) 2021-03-01

Family

ID=74676134

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019152244A Pending JP2021034844A (en) 2019-08-22 2019-08-22 Imaging device and control method of imaging device

Country Status (1)

Country Link
JP (1) JP2021034844A (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022185668A1 (en) 2021-03-04 2022-09-09 マレリ株式会社 Support member and support structure for catalytic converter

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022185668A1 (en) 2021-03-04 2022-09-09 マレリ株式会社 Support member and support structure for catalytic converter

Similar Documents

Publication Publication Date Title
US11024342B2 (en) Digital image processing apparatus and method of controlling the same
JP4591325B2 (en) Imaging apparatus and program
JP5088395B2 (en) Electronic camera
JP2008028960A (en) Photographing apparatus and exposure control method
JP5614425B2 (en) Imaging apparatus and program
JP2018152630A (en) Image processing apparatus and method, and imaging apparatus
JP6354877B2 (en) Imaging control apparatus, and control method and program thereof
US10244199B2 (en) Imaging apparatus
US11653089B2 (en) Imaging apparatus and controlling method
JP2016019161A (en) Imaging device
JP2021034844A (en) Imaging device and control method of imaging device
JP4136958B2 (en) Digital camera and digital camera control method
JP6103481B2 (en) Imaging apparatus, and control method and program thereof
JP2009159094A (en) Imaging apparatus
JP2009088688A (en) Imaging apparatus, its imaging method, and method for switching its settings
JP7497205B2 (en) Imaging device and control method thereof
JP4948011B2 (en) Imaging apparatus, control method therefor, computer program, and storage medium
JP5239711B2 (en) camera
JP4986588B2 (en) Imaging apparatus and control method thereof
JP4456318B2 (en) Imaging device
JP4637032B2 (en) Image recording apparatus and control method thereof
US10194082B2 (en) Image pickup apparatus that shoots moving image for predetermined time period at the time of shooting still image, control method for the image pickup apparatus, and storage medium
JP2021197620A (en) Recording device, control method of recording device, program, and storage medium
JP2009089036A (en) Apparatus and image processing method
JP4227181B2 (en) Digital camera