JP2012235396A - Imaging device and program - Google Patents

Imaging device and program Download PDF

Info

Publication number
JP2012235396A
JP2012235396A JP2011103847A JP2011103847A JP2012235396A JP 2012235396 A JP2012235396 A JP 2012235396A JP 2011103847 A JP2011103847 A JP 2011103847A JP 2011103847 A JP2011103847 A JP 2011103847A JP 2012235396 A JP2012235396 A JP 2012235396A
Authority
JP
Japan
Prior art keywords
image
image data
unit
processing
processing unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2011103847A
Other languages
Japanese (ja)
Inventor
Koichi Gohara
幸一 郷原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nikon Corp
Original Assignee
Nikon Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nikon Corp filed Critical Nikon Corp
Priority to JP2011103847A priority Critical patent/JP2012235396A/en
Publication of JP2012235396A publication Critical patent/JP2012235396A/en
Withdrawn legal-status Critical Current

Links

Images

Landscapes

  • Television Signal Processing For Recording (AREA)
  • Studio Devices (AREA)

Abstract

PROBLEM TO BE SOLVED: To enhance the image quality of video without significantly increasing a processing amount.SOLUTION: An imaging device comprises: an imaging unit; an image output unit that outputs image data of a second image with a smaller number of pixels than that of image data of a first image among plural images constituting video captured by the imaging unit; and an image processing unit that performs respective image processes on the image data of the first image and the image data of the second image output by the image output unit to generate video data. A program causes a computer to execute the steps executed by the image output unit and the image processing unit.

Description

本発明は、撮像装置およびプログラムに関する。   The present invention relates to an imaging apparatus and a program.

通常時は高速モードで駆動され、トリガーが押し下げられた時だけ高画質モードで駆動されるCCDイメージセンサーを備える撮像装置が知られている(例えば、特許文献1参照)。高速モードでは、CCDイメージセンサーは垂直方向の4ライン毎に2ラインの画素信号を出力する。
[先行技術文献]
[特許文献]
[特許文献1]特開2004−104825号公報
There is known an imaging apparatus that includes a CCD image sensor that is normally driven in a high-speed mode and that is driven in a high-quality mode only when a trigger is depressed (see, for example, Patent Document 1). In the high-speed mode, the CCD image sensor outputs two lines of pixel signals for every four lines in the vertical direction.
[Prior art documents]
[Patent Literature]
[Patent Document 1] Japanese Patent Application Laid-Open No. 2004-104825

動画を構成する画像を多画素化すると、撮像装置における処理量が著しく増大する場合がある。例えば画像処理に要する消費電力が著しく増大する場合がある。   When the number of pixels constituting the moving image is increased, the processing amount in the imaging apparatus may increase significantly. For example, the power consumption required for image processing may increase significantly.

本発明の第1の態様においては、撮像装置は、撮像部と、撮像部が撮像した動画を構成する複数の画像のうち、第1画像の画像データよりも少ない画素数で第2画像の画像データを出力する画像出力部と、画像出力部が出力した第1画像の画像データおよび第2画像の画像データをそれぞれ画像処理して、動画データを生成する画像処理部とを備える。   In the first aspect of the present invention, the imaging device includes an imaging unit and an image of the second image with a smaller number of pixels than the image data of the first image among the plurality of images constituting the moving image captured by the imaging unit. An image output unit that outputs data, and an image processing unit that generates image data by performing image processing on the image data of the first image and the image data of the second image output from the image output unit, respectively.

本発明の第2の態様においては、プログラムは、撮像された動画を構成する複数の画像のうち、第1画像の画像データよりも少ない画素数で第2画像の画像データを出力する画像出力ステップと、前記画像出力ステップで出力された前記第1画像の画像データおよび前記第2画像の画像データをそれぞれ画像処理して、動画データを生成する画像処理ステップとをコンピュータに実行させる。   In the second aspect of the present invention, the program outputs an image data of the second image with a smaller number of pixels than the image data of the first image among a plurality of images constituting the captured moving image. And an image processing step of generating image data by performing image processing on the image data of the first image and the image data of the second image output in the image output step, respectively.

なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。   It should be noted that the above summary of the invention does not enumerate all the necessary features of the present invention. In addition, a sub-combination of these feature groups can also be an invention.

撮像装置100のシステム構成図を示す。1 shows a system configuration diagram of an imaging apparatus 100. FIG. ASIC135のブロック構成の一例を模式的に示す。An example of a block configuration of the ASIC 135 is schematically shown. 撮像素子132を全画素読み出し駆動して得られる全画素画像データの一例を示す。An example of all pixel image data obtained by driving the image sensor 132 to read all pixels is shown. 撮像素子132を間引き読み出し駆動して得られる間引き画像データの一例を示す。An example of thinned image data obtained by thinning readout driving of the image sensor 132 is shown. 撮像素子駆動部140が符号化と同期して読み出しを制御する制御例を示す。A control example in which the image sensor driving unit 140 controls reading in synchronization with encoding will be described. 撮像装置100における動作フローの概略を示す。The outline of the operation | movement flow in the imaging device 100 is shown. 動画撮影における動作フローの一例を示す。An example of an operation flow in moving image shooting is shown. 間引き率を設定する場合の動作フローの一例を示す。An example of the operation | movement flow in the case of setting a thinning rate is shown. ASIC135のブロック構成の他の一例を示す。Another example of the block configuration of the ASIC 135 is shown.

以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。   Hereinafter, the present invention will be described through embodiments of the invention, but the following embodiments do not limit the invention according to the claims. In addition, not all the combinations of features described in the embodiments are essential for the solving means of the invention.

図1は、撮像装置100のシステム構成図を示す。撮像装置100は、交換レンズ120およびカメラ本体130を備える。交換レンズ120は、レンズマウント接点121を有するレンズマウントを備え、カメラ本体130は、カメラマウント接点131を有するカメラマウントを備える。レンズマウントとカメラマウントが係合して交換レンズ120とカメラ本体130が一体化されると、レンズマウント接点121とカメラマウント接点131が接続される。撮像装置100は、交換レンズ120とカメラ本体130とが一体化した状態で一眼レフカメラとして機能する。   FIG. 1 is a system configuration diagram of the imaging apparatus 100. The imaging apparatus 100 includes an interchangeable lens 120 and a camera body 130. The interchangeable lens 120 includes a lens mount having a lens mount contact 121, and the camera body 130 includes a camera mount having a camera mount contact 131. When the lens mount and the camera mount are engaged and the interchangeable lens 120 and the camera body 130 are integrated, the lens mount contact 121 and the camera mount contact 131 are connected. The imaging device 100 functions as a single-lens reflex camera in a state where the interchangeable lens 120 and the camera body 130 are integrated.

被写体光は、光軸に沿って撮影光学系としてのレンズ群122を透過して、撮像素子132の受光面に結像する。レンズ群122は、レンズMPU123によって制御される。例えば、レンズMPU123は、フォーカスレンズモータを制御して、レンズ群122を構成するフォーカスレンズ群を移動させる。撮像素子132は、レンズ群122を通過した被写体光により撮像する撮像部の一部として機能する。   The subject light passes through the lens group 122 serving as a photographing optical system along the optical axis and forms an image on the light receiving surface of the image sensor 132. The lens group 122 is controlled by the lens MPU 123. For example, the lens MPU 123 controls the focus lens motor to move the focus lens group constituting the lens group 122. The imaging element 132 functions as a part of an imaging unit that captures an image using subject light that has passed through the lens group 122.

レンズMPU123は、レンズマウント接点121およびカメラマウント接点131を介してカメラMPU133と接続され、相互に通信を実行しつつ協働して交換レンズ120とカメラ本体130を制御する。撮像素子132は、被写体像である光学像を光電変換する素子であり、例えばCCD、CMOSセンサが用いられる。撮像素子132で光電変換された被写体像は、A/D変換器134でアナログ信号からデジタル信号に変換される。撮像素子駆動部140は、撮像素子132およびA/D変換器134の駆動を制御する。例えば、撮像素子駆動部140は、カメラMPU133から与えられる露光時間、露光周期等に従って、撮像素子132の電荷リセットおよび読み出しタイミング、読み出しゲイン等に対する制御信号を出力する。撮像素子駆動部140は、撮像素子132からのアナログ信号としての読み出しに同期して、A/D変換器134にデジタル信号へ変換させる制御信号を出力する。   The lens MPU 123 is connected to the camera MPU 133 via the lens mount contact 121 and the camera mount contact 131, and controls the interchangeable lens 120 and the camera body 130 in cooperation with each other while performing communication. The imaging element 132 is an element that photoelectrically converts an optical image that is a subject image, and for example, a CCD or a CMOS sensor is used. The subject image photoelectrically converted by the image sensor 132 is converted from an analog signal to a digital signal by the A / D converter 134. The image sensor driving unit 140 controls driving of the image sensor 132 and the A / D converter 134. For example, the image sensor drive unit 140 outputs a control signal for charge reset and read timing, read gain, and the like of the image sensor 132 according to the exposure time, exposure cycle, and the like given from the camera MPU 133. The image sensor driving unit 140 outputs a control signal that causes the A / D converter 134 to convert it into a digital signal in synchronism with the readout from the image sensor 132 as an analog signal.

デジタル信号に変換された受光信号としての被写体像は、画像データとして順次処理される。A/D変換器134によりデジタル信号に変換された画像データは、ASIC135へ引き渡される。ASIC135は、画像処理機能に関連する回路を一つにまとめた集積回路である。SDRAM136は、ASIC135における処理、画像データの記録および再生動作時において一時的に画像データを記憶するためのバッファメモリとして機能する。   The subject image as the light reception signal converted into the digital signal is sequentially processed as image data. The image data converted into a digital signal by the A / D converter 134 is delivered to the ASIC 135. The ASIC 135 is an integrated circuit that combines circuits related to the image processing function into one. The SDRAM 136 functions as a buffer memory for temporarily storing image data during processing in the ASIC 135, image data recording and reproduction operations.

ASIC135は、画像データを規格化された画像フォーマットの画像データに変換して出力する。例えば、ASIC135は、静止画データとしてのJPEGファイルを生成するための画像処理を行う。また、ASIC135は、動画データとしてのMPEGファイルを生成するための画像処理を行う。カメラMPU133は、ASIC135によって生成された静止画データ、動画データ等の画像データを、不揮発性の記録媒体としての外部メモリ160に転送して記録させる。外部メモリ160は、例えばフラッシュメモリ等により構成される。   The ASIC 135 converts the image data into image data of a standardized image format and outputs it. For example, the ASIC 135 performs image processing for generating a JPEG file as still image data. The ASIC 135 performs image processing for generating an MPEG file as moving image data. The camera MPU 133 transfers image data such as still image data and moving image data generated by the ASIC 135 to the external memory 160 as a nonvolatile recording medium for recording. The external memory 160 is configured by, for example, a flash memory.

ASIC135は、外部メモリ160への記録用に処理される画像データに並行して、表示用の画像データを生成する。生成された表示用の画像データは、表示制御部137の制御に従って表示画像信号に変換され、液晶ディスプレイ等の表示デバイスとしての表示部138に表示される。また、画像の表示と共に、もしくは画像を表示することなく、撮像装置100の各種設定に関する様々なメニュー項目も、表示制御部137の制御により表示部138に表示することができる。   The ASIC 135 generates image data for display in parallel with the image data processed for recording in the external memory 160. The generated image data for display is converted into a display image signal under the control of the display control unit 137 and displayed on the display unit 138 as a display device such as a liquid crystal display. Various menu items related to various settings of the imaging apparatus 100 can be displayed on the display unit 138 under the control of the display control unit 137 with or without displaying an image.

撮像装置100は、上記の画像処理における各々の要素も含めて、カメラMPU133により直接的または間接的に制御される。システムメモリ139は、電気的に消去・記憶可能な不揮発性メモリであり、例えばフラッシュROM等により構成される。システムメモリ139は、撮像装置100の動作時に必要な定数、変数、プログラム等を、撮像装置100の非動作時にも失われないように記憶している。カメラMPU133は、定数、変数、プログラム等を適宜SDRAM136に展開して、撮像装置100の制御に利用する。カメラ本体130内のA/D変換器134、ASIC135、SDRAM136、システムメモリ139、表示制御部137、カメラMPU133、外部メモリ160は、バス等の接続インタフェース145により、相互に接続される。   The imaging apparatus 100 is directly or indirectly controlled by the camera MPU 133 including each element in the image processing described above. The system memory 139 is an electrically erasable / storable nonvolatile memory, and is configured by, for example, a flash ROM. The system memory 139 stores constants, variables, programs, and the like necessary for the operation of the imaging apparatus 100 so that they are not lost even when the imaging apparatus 100 is not operating. The camera MPU 133 develops constants, variables, programs, and the like in the SDRAM 136 as appropriate, and uses them for controlling the imaging apparatus 100. The A / D converter 134, ASIC 135, SDRAM 136, system memory 139, display control unit 137, camera MPU 133, and external memory 160 in the camera main body 130 are connected to each other by a connection interface 145 such as a bus.

操作入力部141は、ユーザによる設定操作等のユーザ操作を受け付ける。操作入力部141としては、電源スイッチ、レリーズボタン、各種操作ボタン、表示部138に一体に実装されたタッチパネル等を含む。カメラMPU133は、操作入力部141が操作されたことを検知して、操作に応じた動作を実行する。例えば、カメラMPU133は、レリーズボタンが操作された場合に、レリーズ動作を実行するよう撮像装置100の各要素を制御する。また、カメラMPU133は、タッチパネルが操作された場合に、表示部138に表示されたメニュー項目および操作内容に応じた動作をするよう、撮像装置100の各要素を制御する。   The operation input unit 141 receives a user operation such as a setting operation by the user. The operation input unit 141 includes a power switch, a release button, various operation buttons, a touch panel integrated with the display unit 138, and the like. The camera MPU 133 detects that the operation input unit 141 has been operated, and executes an operation corresponding to the operation. For example, the camera MPU 133 controls each element of the imaging apparatus 100 so as to execute a release operation when a release button is operated. In addition, the camera MPU 133 controls each element of the imaging apparatus 100 so as to perform an operation according to the menu item and operation content displayed on the display unit 138 when the touch panel is operated.

カメラ本体130の各要素および外部メモリ160は、電源170から電力供給を受ける。電源170は、カメラ本体130に対して着脱できる、例えばリチウムイオン電池などの二次電池、家庭用AC電源等により構成される。カメラMPU133は、電源170から撮像装置100の各要素への電力供給を制御する。二次電池は、撮像装置100を駆動する電池の一例である。電池とは、実質的に充電することができない非充電式の電池を含む。   Each element of the camera body 130 and the external memory 160 are supplied with power from the power source 170. The power source 170 is configured by a secondary battery such as a lithium ion battery, a household AC power source, and the like that can be attached to and detached from the camera body 130. The camera MPU 133 controls power supply from the power supply 170 to each element of the imaging apparatus 100. The secondary battery is an example of a battery that drives the imaging apparatus 100. The battery includes a non-rechargeable battery that cannot be substantially charged.

カメラMPU133は、二次電池等の電池が電源170として用いられているか否かを検出する。電池が電源170として用いられている場合、電池の残存容量を検出する。カメラMPU133は、撮像装置100を駆動する電池の残存容量を検出する残存容量検出部として機能する。カメラMPU133は、電池の残存容量が小さいほど、撮像素子132が有する複数の光電変換素子から、より大きい間引き率で間引き読み出しさせる。例えば、カメラMPU133は、残存容量が予め定められた値より小さい場合、撮像素子駆動部140を制御して、撮像素子132から間引き読み出しをさせる。当該残存容量が予め定められた値より大きい場合、撮像素子駆動部140を制御して、撮像素子132から全画素の読み出しをさせる。   The camera MPU 133 detects whether or not a battery such as a secondary battery is used as the power source 170. When the battery is used as the power source 170, the remaining capacity of the battery is detected. The camera MPU 133 functions as a remaining capacity detection unit that detects the remaining capacity of the battery that drives the imaging apparatus 100. The camera MPU 133 performs thinning readout at a larger thinning rate from the plurality of photoelectric conversion elements included in the imaging element 132 as the remaining capacity of the battery is smaller. For example, when the remaining capacity is smaller than a predetermined value, the camera MPU 133 controls the image sensor driving unit 140 to perform thinning readout from the image sensor 132. When the remaining capacity is larger than a predetermined value, the image sensor driving unit 140 is controlled to read out all pixels from the image sensor 132.

温度検出部142は、カメラ本体130の温度を検出する。温度検出部142は、画像処理を実行する回路ブロックの温度を検出する。温度検出部142は、ASIC135を温度検出の対象としてよい。なお、温度検出部142は、温度検出の対象である部材の温度を直接に検出する必要はなく、温度検出の対象とする部材の温度変化に対応して温度が変化する部位の温度を測定してよい。   The temperature detection unit 142 detects the temperature of the camera body 130. The temperature detection unit 142 detects the temperature of a circuit block that executes image processing. The temperature detection unit 142 may use the ASIC 135 as a temperature detection target. Note that the temperature detection unit 142 does not need to directly detect the temperature of the temperature detection target member, and measures the temperature of the part where the temperature changes corresponding to the temperature change of the temperature detection target member. It's okay.

カメラMPU133は、温度検出部142が検出した温度が大きいほど、撮像素子132が有する複数の光電変換素子から、より大きい間引き率で間引き読み出しさせる。例えば、カメラMPU133は、温度検出部142が検出した温度が予め定められた値より大きい場合、撮像素子駆動部140を制御して、撮像素子132から間引き読み出しをさせる。当該温度が予め定められた値以下である場合、撮像素子駆動部140を制御して、撮像素子132から全画素の読み出しをさせる。   As the temperature detected by the temperature detection unit 142 is higher, the camera MPU 133 causes the plurality of photoelectric conversion elements included in the image sensor 132 to perform thinning readout at a larger thinning rate. For example, when the temperature detected by the temperature detection unit 142 is greater than a predetermined value, the camera MPU 133 controls the image sensor driving unit 140 to perform thinning readout from the image sensor 132. When the temperature is equal to or lower than a predetermined value, the image sensor driving unit 140 is controlled to read all pixels from the image sensor 132.

カメラMPU133は、動画を構成する個々のフレームとしての画像データを撮像素子132から読み出す場合に、間引き読み出しと、全画素読み出しとを切り替える。全画素数をN1、間引き後の画素数をN2とすると、ASIC135は、間引き読み出しにより撮像素子132から取り込まれたN2画素の画像データに、画像処理を施して、N2画素の画像データを生成する。また、ASIC135は、全画素読み出しにより取り込まれたN1画素の画像データに画像処理を施して、N1画素の画像データを生成する。ここで、画像処理とは、動画の符号化処理よりも前段階で行われる画像処理のうちの少なくとも一部の処理であってよい。当該画像処理として、色補間処理、ガンマ補正、ホワイトバランス補正等を例示することができる。撮像装置100によれば、動画データを生成するために、一部のフレームを間引き読み出しされた画像から生成する。このため、全てのフレームを全画素読み出しされた画像から生成する場合と比較して、少ない演算量で画像処理することができる。したがって、一ストリームの動画を生成するために要する全体の演算量を低減することができる。   The camera MPU 133 switches between thinning readout and all pixel readout when reading out image data as individual frames constituting a moving image from the image sensor 132. Assuming that the total number of pixels is N1 and the number of pixels after thinning is N2, the ASIC 135 performs image processing on the image data of N2 pixels fetched from the image sensor 132 by thinning readout, and generates image data of N2 pixels. . Further, the ASIC 135 performs image processing on the image data of the N1 pixel captured by the all-pixel reading, and generates image data of the N1 pixel. Here, the image processing may be at least a part of image processing performed before the moving image encoding processing. Examples of the image processing include color interpolation processing, gamma correction, and white balance correction. According to the imaging apparatus 100, in order to generate moving image data, some frames are generated from the thinned and read images. For this reason, it is possible to perform image processing with a small amount of calculation compared to a case where all frames are generated from an image in which all pixels are read out. Therefore, it is possible to reduce the total amount of calculation required to generate one stream of moving images.

全画素読み出しされる画像を全画素画像と呼び、間引き読み出しされる画像を間引き画像と呼ぶ場合がある。また、全画素画像の画像データを全画素画像データと呼び、間引き画像の画像データを間引き画像データと呼ぶ場合がある。なお、全画素画像は第1画像の一例であり、間引き読み出しされる画像は、第1画像よりも少ない画素数の画像である第2画像の一例である。すなわち、撮像素子132、A/D変換器134および撮像素子駆動部140の機能ブロックは、撮像素子132から、全画素画像を読み出す場合よりも高い間引き率で間引き画像を読み出す読み出し部として機能する。本機能ブロックは、撮像素子132により撮像された動画を構成する複数の画像のうち、第1画像の画像データよりも少ない画素数で第2画像の画像データを出力する画像出力部の一例である。また、ASIC135は、出力された全画素画像データおよび間引き画像データをそれぞれ画像処理して、動画データを生成する画像処理部として機能する。例えば、ASIC135は、撮像素子から読み出された全画素画像データおよび間引き画像データに色補間処理、ガンマ補正、ホワイトバランス補正等を施す。   An image that is read out by all pixels may be referred to as an all pixel image, and an image that is read out by thinning out may be referred to as a thinned image. In some cases, image data of all pixel images is called all pixel image data, and image data of the thinned image is called thinned image data. Note that the all-pixel image is an example of the first image, and the thinned-out image is an example of the second image that is an image having a smaller number of pixels than the first image. That is, the functional blocks of the image sensor 132, the A / D converter 134, and the image sensor drive unit 140 function as a reading unit that reads out a thinned image at a higher thinning rate than when reading out all pixel images from the image sensor 132. This functional block is an example of an image output unit that outputs the image data of the second image with a smaller number of pixels than the image data of the first image among the plurality of images constituting the moving image captured by the image sensor 132. . The ASIC 135 functions as an image processing unit that performs image processing on the output all-pixel image data and the thinned-out image data, respectively, and generates moving image data. For example, the ASIC 135 performs color interpolation processing, gamma correction, white balance correction, and the like on all pixel image data and thinned image data read from the image sensor.

ASIC135は、間引き読み出しされ画像処理が施されたN2画素の画像データに対して画素数変換処理を施して、N1画素の画像データに変換する。ASIC135は、画素数変換処理により得られたN1画素の画像データと、画像処理が施された全画素画像データとに対して、動画としての符号化処理を施す。例えば、ASIC135は、フレーム間符号化等の符号化処理を施す。符号化処理により得られた動画データは、カメラMPU133の制御によって、外部メモリ160に記録される。当該動画データには、全画素読み出しによって得られた画像データに基づくフレームデータが含まれる。したがって、撮像装置100によれば、画像処理に要する演算量を低減しつつ、ある程度高画質な動画データを提供することができる。画像処理に要する演算量を低減することができるので、ASIC135の消費電力を低減することができる。また、ASIC135の発熱量を低減することができる。   The ASIC 135 performs pixel number conversion processing on the N2 pixel image data that has been subjected to thinning-out reading and image processing, and converts the image data into N1 pixel image data. The ASIC 135 performs encoding processing as a moving image on the image data of the N1 pixel obtained by the pixel number conversion processing and all the pixel image data subjected to the image processing. For example, the ASIC 135 performs an encoding process such as interframe encoding. The moving image data obtained by the encoding process is recorded in the external memory 160 under the control of the camera MPU 133. The moving image data includes frame data based on image data obtained by reading out all pixels. Therefore, according to the imaging apparatus 100, it is possible to provide moving image data with high image quality to some extent while reducing the amount of calculation required for image processing. Since the amount of calculation required for image processing can be reduced, the power consumption of the ASIC 135 can be reduced. In addition, the amount of heat generated by the ASIC 135 can be reduced.

図2は、ASIC135のブロック構成の一例を模式的に示す。ASIC135は、処理切替部200、第1画像処理部210、第2画像処理部220、処理画像出力部230、符号化部240および閾値制御部250として機能する。第1画像処理部210は、前処理部212、後処理部214および画像解析部216を含む。第2画像処理部220は、前処理部222、後処理部224および画素数変換部226を含む。符号化部240は、フレーム内符号化部242およびフレーム間符号化部244を含む。   FIG. 2 schematically shows an example of the block configuration of the ASIC 135. The ASIC 135 functions as the process switching unit 200, the first image processing unit 210, the second image processing unit 220, the processed image output unit 230, the encoding unit 240, and the threshold control unit 250. The first image processing unit 210 includes a preprocessing unit 212, a postprocessing unit 214, and an image analysis unit 216. The second image processing unit 220 includes a pre-processing unit 222, a post-processing unit 224, and a pixel number conversion unit 226. Encoding unit 240 includes an intra-frame encoding unit 242 and an inter-frame encoding unit 244.

第1画像処理部210は、全画素画像用の画像処理を行う画処理ブロックであり、第2画像処理部220は、間引き画像用の画像処理を行う画処理ブロックである。第1画像処理部210および第2画像処理部220は、別個のハードウェアで実装されてよい。第1画像処理部210および第2画像処理部は、論理的な処理ブロックとして実装されてもよい。処理切替部200は、全画素画像データを第1画像処理部210に画像処理させ、間引き画像データを第2画像処理部220に画像処理させる。処理切替部200は、全画素画像データを第1画像処理部210に提供し、間引き画像データを第2画像処理部220に提供するスイッチ部であってよい。   The first image processing unit 210 is an image processing block that performs image processing for all pixel images, and the second image processing unit 220 is an image processing block that performs image processing for thinned images. The first image processing unit 210 and the second image processing unit 220 may be implemented with separate hardware. The first image processing unit 210 and the second image processing unit may be implemented as logical processing blocks. The process switching unit 200 causes the first image processing unit 210 to perform image processing on all pixel image data and causes the second image processing unit 220 to perform image processing on the thinned image data. The process switching unit 200 may be a switch unit that provides all pixel image data to the first image processing unit 210 and provides thinned image data to the second image processing unit 220.

第1画像処理部210は、N1画素の画素値を用いて画像処理を行い、第2画像処理部220は、N2画素数の画素値を用いて画像処理を行う。例えば、第1画像処理部210および第2画像処理部220がそれぞれ画像フィルタを適用して対応する画像処理を施す場合に、第2画像処理部220は、第1画像処理部210が適用する画像フィルタよりもフィルタサイズが小さい画像フィルタを適用してよい。   The first image processing unit 210 performs image processing using the pixel value of the N1 pixel, and the second image processing unit 220 performs image processing using the pixel value of the number of N2 pixels. For example, when each of the first image processing unit 210 and the second image processing unit 220 applies an image filter and performs corresponding image processing, the second image processing unit 220 uses the image that the first image processing unit 210 applies. An image filter having a smaller filter size than the filter may be applied.

前処理部212は、A/D変換器134から出力された全画素画像データに、前処理を施す。前処理としては、欠陥画素補正、黒レベル決定処理、感度比調整、ホワイトバランス評価値を算出する処理、ノイズ除去処理等を例示することができる。後処理部214は、前処理部212により処理され画像データに後処理を施す。後処理としては、ホワイトバランス調整、ガンマ補正、色補間処理、色変換処理等を例示することができる。色補間処理としては、1画素あたり1色の画像データから、1画素あたり3色の画像データを生成する処理等を例示することができる。色変換処理としては、RGB信号としての画像データを、YC信号としての画像データに変換する処理等を例示することができる。その他、後処理として、平滑化、輪郭補償、鮮鋭化、2次元フィルタリング、斜め線検出等の形状検出処理等を例示することができる。   The preprocessing unit 212 performs preprocessing on all pixel image data output from the A / D converter 134. Examples of the preprocessing include defective pixel correction, black level determination processing, sensitivity ratio adjustment, processing for calculating a white balance evaluation value, noise removal processing, and the like. The post-processing unit 214 performs post-processing on the image data processed by the pre-processing unit 212. Examples of post-processing include white balance adjustment, gamma correction, color interpolation processing, and color conversion processing. Examples of color interpolation processing include processing for generating image data of three colors per pixel from image data of one color per pixel. Examples of color conversion processing include processing for converting image data as RGB signals into image data as YC signals. In addition, as post-processing, shape detection processing such as smoothing, contour compensation, sharpening, two-dimensional filtering, and oblique line detection can be exemplified.

画像解析部216は、画像データを解析する。例えば、画像解析部216は、画像データからエッジ成分を検出する。カメラMPU133は、全画素画像データからより大きいエッジ成分が検出された場合に、より多い画素数で間引き画像データを出力させてよい。具体的には、カメラMPU133は、撮像素子駆動部140を制御して、全画素画像データからより大きいエッジ成分が検出された場合に、より小さい間引き率で撮像素子132から間引き読み出しさせる。エッジ成分を多く含む場合に間引き率を小さくすることで、間引きによりエッジ情報が大きく失われることを未然に防ぐことができる。一方、エッジ成分が少ない場合には間引き率を大きくすることで、画質を著しく低下させることなく演算量を大きく低減することができる。   The image analysis unit 216 analyzes the image data. For example, the image analysis unit 216 detects an edge component from the image data. The camera MPU 133 may output the thinned image data with a larger number of pixels when a larger edge component is detected from the entire pixel image data. Specifically, the camera MPU 133 controls the image sensor driving unit 140 so that when a larger edge component is detected from all the pixel image data, the camera MPU 133 performs thinning readout from the image sensor 132 at a smaller decimation rate. By reducing the thinning rate when many edge components are included, it is possible to prevent the edge information from being largely lost due to the thinning. On the other hand, when there are few edge components, increasing the thinning rate can greatly reduce the amount of computation without significantly reducing the image quality.

第2画像処理部220において、前処理部222は、前処理部212に対応する前処理を行う。前処理部222における欠陥画素補正処理では、撮像素子132の読み出しラインに属する欠陥画素に対して、欠陥画素補正する。また、後処理部224は、後処理部214に対応する後処理を行う。後処理部224は、後処理部214が適用する画像フィルタよりもフィルタサイズが小さい画像フィルタを適用してよい。後処理部224における画像処理の処理精度は、後処理部214よりも低くてよい。例えば、後処理部224における色補間処理の補間精度は、後処理部214における色補間処理の補間精度よりも低くてよい。   In the second image processing unit 220, the preprocessing unit 222 performs preprocessing corresponding to the preprocessing unit 212. In the defective pixel correction processing in the pre-processing unit 222, defective pixels are corrected for defective pixels belonging to the readout line of the image sensor 132. Further, the post-processing unit 224 performs post-processing corresponding to the post-processing unit 214. The post-processing unit 224 may apply an image filter having a smaller filter size than the image filter applied by the post-processing unit 214. The processing accuracy of the image processing in the post-processing unit 224 may be lower than that of the post-processing unit 214. For example, the interpolation accuracy of the color interpolation process in the post-processing unit 224 may be lower than the interpolation accuracy of the color interpolation process in the post-processing unit 214.

画素数変換部226は、後処理部224により処理された間引き画像データに対して、補間演算等によって画素数を変換する処理を行う。画素数変換部226は、後処理部224により処理された間引き画像データを、全画素画像データと同一の画素数の画像データに変換する。   The pixel number conversion unit 226 performs a process of converting the number of pixels on the thinned image data processed by the post-processing unit 224 by interpolation or the like. The pixel number conversion unit 226 converts the thinned image data processed by the post-processing unit 224 into image data having the same number of pixels as all pixel image data.

処理画像出力部230は、画像処理された全画素画像データおよび間引き画像データを、同一の画素数で出力する。具体的には、処理画像出力部230は、第1画像処理部210において画像処理が施された画像データと、第2画像処理部220から出力された対応する画像処理および画素数変換が施された画像データとのいずれかを選択して、SDRAM136に出力する。処理画像出力部230は、第1画像処理部210および第2画像処理部220のいずれから画像データを入力するかを選択して、SDRAM136に記憶させるスイッチ部であってよい。処理画像出力部230は、第1画像処理部210から画像処理後の全画素画像データが出力される場合、第1画像処理部210を入力として選択し、第2画像処理部220から画像処理および画素数変換が施された画像データが出力される場合、第2画像処理部220を入力として選択する。   The processed image output unit 230 outputs the all-pixel image data and the thinned-out image data subjected to the image processing with the same number of pixels. Specifically, the processed image output unit 230 performs image processing on which image processing has been performed in the first image processing unit 210, and corresponding image processing and pixel number conversion output from the second image processing unit 220. The selected image data is selected and output to the SDRAM 136. The processed image output unit 230 may be a switch unit that selects which of the first image processing unit 210 and the second image processing unit 220 inputs image data and stores in the SDRAM 136. When all pixel image data after image processing is output from the first image processing unit 210, the processed image output unit 230 selects the first image processing unit 210 as an input, and performs image processing and processing from the second image processing unit 220. When image data that has undergone pixel number conversion is output, the second image processing unit 220 is selected as an input.

なお、処理画像出力部230が出力する画像データが、全画素画像データおよび間引き画像データのいずれから生成された画像データであるかを区別することを目的として、全画素画像データから生成された画像データを単に全画素画像データと呼び、間引き画像データから生成された画像データを間引き画像データと呼ぶ場合がある。処理画像出力部230より後段の画像データはいずれも同じ画素数の画像データであるが、例えば処理画像出力部230より後段の画像データを示していることが明らかな場合は、間引き画像データから生成された画像データを間引き画像データと呼ぶ場合がある。   Note that an image generated from all-pixel image data for the purpose of distinguishing whether the image data output from the processed image output unit 230 is image data generated from all-pixel image data or thinned-out image data. The data may be simply referred to as all pixel image data, and the image data generated from the thinned image data may be referred to as thinned image data. The subsequent image data from the processed image output unit 230 is image data having the same number of pixels. For example, if it is clear that the processed image output unit 230 indicates the subsequent image data, the image data is generated from the thinned image data. The obtained image data may be referred to as thinned image data.

符号化部240は、処理画像出力部230が出力した画像データを、動画として符号化する。具体的には、符号化部240は、処理画像出力部230が出力した画像データをSDRAM136から読み出して、符号化処理を施す。符号化部240は、全画素画像データをIフレームまたはPフレームとして符号化する。また、符号化部240は、間引き画像データをBフレームとして符号化する。   The encoding unit 240 encodes the image data output from the processed image output unit 230 as a moving image. Specifically, the encoding unit 240 reads the image data output from the processed image output unit 230 from the SDRAM 136 and performs an encoding process. The encoding unit 240 encodes all pixel image data as an I frame or a P frame. The encoding unit 240 encodes the thinned image data as a B frame.

フレーム内符号化部242は、H.260等の規格におけるIフレームのデータを生成する処理に供される。フレーム間符号化部244は、PフレームまたはBフレームにおいて、フレーム間予測を用いて符号化するブロックに対するフレーム間符号化処理を行う。フレーム内符号化部242は、PフレームまたはBフレームにおいて、フレーム間予測を用いずに符号化すると判断されたブロックに対して、フレーム内符号化処理を施してよい。   The intra-frame encoding unit 242 It is used for processing for generating I-frame data in a standard such as 260. The interframe coding unit 244 performs interframe coding processing on a block to be coded using interframe prediction in a P frame or a B frame. The intra-frame coding unit 242 may perform intra-frame coding processing on a block determined to be coded without using inter-frame prediction in the P frame or the B frame.

このように、フレーム内符号化部242は、全画素画像データをIピクチャとして符号化する。フレーム間符号化部244は、処理画像出力部230が出力した画像データを、フレーム間予測を適用して動画として符号化する。具体的には、フレーム間符号化部244は、全画素画像データを参照フレームとして用いて、間引き画像データを符号化する。符号化部240は、全画素画像データをIピクチャまたはPピクチャとして符号化し、間引き画像データをBピクチャとして符号化する。Iフレーム、Pフレームのようにフレーム間予測において参照される可能性のあるフレームを、全画素画像データから生成するので、動画データの画質が著しく低下することを未然に防ぐことができる。   As described above, the intra-frame encoding unit 242 encodes all pixel image data as an I picture. The inter-frame encoding unit 244 encodes the image data output from the processed image output unit 230 as a moving image by applying inter-frame prediction. Specifically, the interframe encoding unit 244 encodes the thinned image data using all pixel image data as a reference frame. The encoding unit 240 encodes all pixel image data as an I picture or P picture, and encodes the thinned image data as a B picture. Since frames that can be referred to in inter-frame prediction, such as I frames and P frames, are generated from all pixel image data, it is possible to prevent the image quality of moving image data from being significantly lowered.

フレーム内符号化部242は、フレーム間予測において、符号化対象画像と予測画像との間の差分量が閾値より小さい場合に、予測誤差を0として符号化対象画像を符号化する。すなわち、フレーム内符号化部242は、フレーム間予測において予測誤差が当該閾値より小さい場合、画像内容が同一のブロックであるとみなす。この場合、符号化対象画像は、実質的に動きベクトルによって表現される。   The intra-frame encoding unit 242 encodes the encoding target image with a prediction error of 0 when the difference amount between the encoding target image and the predicted image is smaller than the threshold in inter-frame prediction. That is, the intra-frame coding unit 242 considers that the image content is the same block when the prediction error is smaller than the threshold in inter-frame prediction. In this case, the encoding target image is substantially expressed by a motion vector.

閾値制御部250は、当該閾値を制御する。具体的には、閾値制御部250は、全画素画像データと間引き画像データとの間の画素数の差が大きいほど、閾値を大きい値に設定する。フレーム内符号化部242が扱う間引き画像データは、間引き読み出しした画像データを画素数変換したものである。したがって、画素数の差が大きいほど、間引き画像データと全画素画像データとの間の差分量も大きくなる場合がある。しかしながら、閾値制御部250が、読み出し時の画素数の差が大きいほど閾値を大きく設定するので、予測誤差がある程度大きい場合でも画像内容が同一のブロックとして適切に処理することができる場合がある。したがって、いわば全画素画像データに対応するIフレームまたはPフレームの画像情報を用いて、動画データにおいて間引き画像に対応するBフレームを高画質化することができる。このため、撮像素子132を大きく間引き駆動しつつ、高画質な動画データを提供することができる。   The threshold control unit 250 controls the threshold. Specifically, the threshold value control unit 250 sets the threshold value to a larger value as the difference in the number of pixels between the all-pixel image data and the thinned image data is larger. The thinned image data handled by the intraframe coding unit 242 is obtained by converting the number of pixels of the thinned and read image data. Therefore, the larger the difference in the number of pixels, the larger the difference amount between the thinned image data and the all pixel image data. However, since the threshold value controller 250 sets the threshold value larger as the difference in the number of pixels at the time of reading is larger, there are cases where the image content can be appropriately processed as the same block even when the prediction error is somewhat large. Therefore, the image quality of the B frame corresponding to the thinned image in the moving image data can be improved using the image information of the I frame or P frame corresponding to the all pixel image data. Therefore, high-quality moving image data can be provided while the image pickup device 132 is largely thinned out.

図3は、撮像素子132を全画素読み出し駆動して得られる全画素画像データの一例を示す。撮像素子132は、有効画素としてL×Mのマトリクス状に光電変換素子を配列した光電変換素子アレイを有する。複数の光電変換素子は、R、G、Bのいずれかの光を選択的に透過するカラーフィルタを通じて被写体光を受光する。   FIG. 3 shows an example of all pixel image data obtained by driving the image sensor 132 to read all pixels. The imaging element 132 has a photoelectric conversion element array in which photoelectric conversion elements are arranged in an L × M matrix as effective pixels. The plurality of photoelectric conversion elements receive subject light through a color filter that selectively transmits one of R, G, and B light.

カメラMPU133は、IフレームまたはPフレームとして処理される画像データを読み出す場合、光電変換素子アレイから全画素読み出しするよう撮像素子駆動部140を制御する。この結果、撮像素子132に形成された被写体像300は、全画素画像データ310としてASIC135に取り込まれる。具体的には、1画素あたり1色の画像データとして、ASIC135に取り込まれる。例えば、全画素画像データ310における第1ラインに属するM個の画素値は、被写体像300の第1ラインに属するM個の光電変換素子の出力にそれぞれ対応し、全画素画像データ310における第Lラインに属するM個の画素値は、被写体像300の第Lラインに属するM個の光電変換素子の出力にそれぞれ対応する。したがって、例えば光電変換素子アレイが5760×3240の光電変換素子で形成される場合、5760×3240の画素数の全画素画像データ310がASIC135に取り込まれる。   When reading image data processed as an I frame or a P frame, the camera MPU 133 controls the image sensor driving unit 140 to read out all pixels from the photoelectric conversion element array. As a result, the subject image 300 formed on the image sensor 132 is taken into the ASIC 135 as all pixel image data 310. Specifically, it is taken into the ASIC 135 as image data of one color per pixel. For example, the M pixel values belonging to the first line in the all-pixel image data 310 correspond to the outputs of the M photoelectric conversion elements belonging to the first line of the subject image 300, respectively, and the L-th value in the all-pixel image data 310. The M pixel values belonging to the line correspond to the outputs of the M photoelectric conversion elements belonging to the Lth line of the subject image 300, respectively. Therefore, for example, when the photoelectric conversion element array is formed of 5760 × 3240 photoelectric conversion elements, all pixel image data 310 having the number of pixels of 5760 × 3240 is taken into the ASIC 135.

図4は、撮像素子132を間引き読み出し駆動して得られる間引き画像データの一例を示す。カメラMPU133は、Bフレームとして処理される画像データを読み出す場合、光電変換素子アレイから間引き読み出しするよう撮像素子駆動部140を制御する。この結果、撮像素子132に形成された被写体像400は、全画素画像データ410としてASIC135に取り込まれる。例えば、全画素画像データ410における第1ラインに属するM個の画素値は、被写体像400の第1ラインに属するM個の光電変換素子の出力にそれぞれ対応する。一方、全画素画像データ310における第L/3ラインに属するM個の画素値は、被写体像300の第L−2ラインに属するM個の光電変換素子の出力にそれぞれ対応する。したがって、例えば、光電変換素子アレイが5760×3240の光電変換素子で形成される場合、5760×1080の画素数の間引き画像データ410がASIC135に取り込まれる。本図に例示されるように、間引き画像データが表す画像は、全画素画像データが表す画像の部分画像ではなく、全画素画像データが表す画像と画角が略等しい画像であるといえる。   FIG. 4 shows an example of thinned image data obtained by thinning readout driving of the image sensor 132. When reading image data processed as a B frame, the camera MPU 133 controls the image sensor driving unit 140 so as to perform thinning-out reading from the photoelectric conversion element array. As a result, the subject image 400 formed on the image sensor 132 is taken into the ASIC 135 as all pixel image data 410. For example, M pixel values belonging to the first line in all pixel image data 410 correspond to outputs of M photoelectric conversion elements belonging to the first line of the subject image 400, respectively. On the other hand, the M pixel values belonging to the L / 3 line in the all pixel image data 310 correspond to the outputs of the M photoelectric conversion elements belonging to the L-2 line of the subject image 300, respectively. Therefore, for example, when the photoelectric conversion element array is formed of 5760 × 3240 photoelectric conversion elements, the thinned image data 410 of 5760 × 1080 pixels is taken into the ASIC 135. As illustrated in this figure, it can be said that the image represented by the thinned-out image data is not a partial image of the image represented by the all-pixel image data but an image having substantially the same angle of view as the image represented by the all-pixel image data.

このように、撮像素子132から間引き読み出しすることで、撮像素子132、A/D変換器134、撮像素子駆動部140における処理ブロックの消費電力も低減することができる場合がある。なお、撮像素子132を単に間引き駆動するだけでなく、画素加算することによって間引き画像データを出力してもよい。例えば、撮像素子駆動部140は、複数ラインに属する光電変換素子の電荷を加算させて、加算された電荷信号をA/D変換器134に供給してもよい。   In this manner, by performing thinning-out reading from the image sensor 132, the power consumption of the processing blocks in the image sensor 132, the A / D converter 134, and the image sensor drive unit 140 may be reduced. It should be noted that the image pickup device 132 may be output not only by thinning driving but also by pixel addition. For example, the image sensor drive unit 140 may add the charges of the photoelectric conversion elements belonging to a plurality of lines and supply the added charge signal to the A / D converter 134.

図5は、撮像素子駆動部140がASIC135における符号化と同期して読み出しを制御する制御例を示す。符号化部240は、ASIC135に順次に取り込まれた画像データに対して、予め定められた順でIフレーム、Pフレーム、Bフレームとして符号化処理を施す。例えば、符号化部240は、複数のGOP(Group Of Pictures)で構成されるMPEG動画を生成する場合に、各GOPの先頭のフレームをIフレームとし、以後Bフレームを2個生成する毎に、Pフレームを1つ生成する。   FIG. 5 shows a control example in which the image sensor driving unit 140 controls reading in synchronization with the encoding in the ASIC 135. The encoding unit 240 performs encoding processing on the image data sequentially taken into the ASIC 135 as an I frame, a P frame, and a B frame in a predetermined order. For example, when generating an MPEG video composed of a plurality of GOPs (Group Of Pictures), the encoding unit 240 sets the first frame of each GOP as an I frame, and thereafter generates two B frames. One P frame is generated.

カメラMPU133は、符号化部240におけるフレーム符号化処理と、光電変換素子アレイからの読み出し駆動とを同期させる。カメラMPU133は、符号化部240においてIフレームとして符号化されるべき画像データを取り込む場合に、撮像素子駆動部140に全画素読み出し駆動させる。カメラMPU133は、符号化部240においてPフレームとして符号化されるべき画像データを取り込む場合にも、撮像素子駆動部140に全画素読み出し駆動させる。カメラMPU133は、符号化部240においてBフレームとして符号化されるべき画像データを取り込む場合に、撮像素子駆動部140に間引き読み出し駆動させる。   The camera MPU 133 synchronizes the frame encoding process in the encoding unit 240 and the reading drive from the photoelectric conversion element array. The camera MPU 133 causes the image sensor drive unit 140 to drive to read all pixels when capturing image data to be encoded as an I frame in the encoding unit 240. The camera MPU 133 also causes the image sensor driving unit 140 to drive all pixels to be read when the encoding unit 240 captures image data to be encoded as a P frame. The camera MPU 133 causes the image sensor drive unit 140 to perform thinning-out readout driving when capturing image data to be encoded as a B frame in the encoding unit 240.

また、カメラMPU133は、撮像素子駆動部140に全画素読み出し駆動させた場合には、処理切替部200を制御して、ASIC135に取り込まれた画像データを第1画像処理部210へ供給させる。カメラMPU133は、撮像素子駆動部140に間引き読み出し駆動させた場合には、処理切替部200を制御して、ASIC135に取り込まれた画像データを第2画像処理部220へ供給させる。したがって、第1画像処理部210は、全画素データを処理する場合に動作する。また、第2画像処理部220は、間引き画像データを処理する場合に動作する。このため、撮像素子132を間引き駆動した場合には、第1画像処理部210は動作しなくて済む。つまり、第1画像処理部210の画像処理を実装する大規模な回路ブロックを、常時動作させずに済む。   In addition, when the image sensor driving unit 140 causes all the pixels to be read and driven, the camera MPU 133 controls the processing switching unit 200 to supply the image data captured by the ASIC 135 to the first image processing unit 210. The camera MPU 133 controls the processing switching unit 200 to supply the second image processing unit 220 with the image data captured by the ASIC 135 when the imaging element driving unit 140 is driven to perform thinning readout. Therefore, the first image processing unit 210 operates when processing all pixel data. The second image processing unit 220 operates when processing thinned image data. For this reason, when the imaging device 132 is driven to be thinned out, the first image processing unit 210 does not need to operate. That is, it is not necessary to always operate a large-scale circuit block that implements the image processing of the first image processing unit 210.

フレーム内符号化部242は、カメラMPU133の制御に従って、SDRAM136から順次に読み出した画像データに対してイントラ符号化を適用してIフレームとして生成する。続いて、フレーム間符号化部244は、次にPフレームとして符号化されるべき画像データをSDRAM136から読み出して、前方向予測によるフレーム間符号化を適用する。次に、当該画像データより前の2個の画像データを順次に読み出して、それぞれ双予測によるフレーム間符号化を適用して、2個のBフレームを生成する。以後、フレーム間符号化部244は、Pフレームの生成と、2個のBフレームの生成を繰り返して、1つのGOPデータを生成する。符号化部240は、同様の処理を予め定められた数の画像データ毎に適用して、順次に複数のGOPデータを生成する。カメラMPU133は、動画撮影として撮像素子132を連続的に駆動している間に、必要に応じてGOP単位でSDRAM136から外部メモリ160へGOPデータを転送する。   The intra-frame coding unit 242 applies intra coding to image data sequentially read from the SDRAM 136 according to the control of the camera MPU 133 and generates an I frame. Subsequently, the inter-frame encoding unit 244 reads image data to be encoded next as a P frame from the SDRAM 136, and applies inter-frame encoding based on forward prediction. Next, two pieces of image data before the image data are sequentially read out, and two B frames are generated by applying inter-frame coding by bi-prediction, respectively. Thereafter, the interframe coding unit 244 repeats the generation of P frames and the generation of two B frames to generate one GOP data. The encoding unit 240 applies the same process to each predetermined number of image data, and sequentially generates a plurality of GOP data. The camera MPU 133 transfers GOP data from the SDRAM 136 to the external memory 160 in units of GOP as necessary while continuously driving the image sensor 132 for moving image shooting.

図6は、撮像装置100における動作フローの概略を示す。本フローは、操作入力部141の一部としての電源スイッチがONされた場合に、開始される。   FIG. 6 shows an outline of an operation flow in the imaging apparatus 100. This flow is started when a power switch as a part of the operation input unit 141 is turned on.

ステップS602において、初期設定を開始する。例えば、カメラMPU133は、撮像装置100を制御するプログラム、各種パラメータなどを、システムメモリ139からSDRAM136に展開する。システムメモリ139からSDRAM136に展開されるパラメータとしては、静止画撮像および動画撮像のそれぞれの撮像条件等を例示することができる。具体的には、ユーザによって電源ONされる前に設定された撮像条件が、撮像モードに対応づけてシステムメモリ139に記録されている。本初期処理において、当該撮像条件が撮像モードに対応づけてSDRAM136に展開される。   In step S602, initial setting is started. For example, the camera MPU 133 loads a program for controlling the imaging apparatus 100, various parameters, and the like from the system memory 139 to the SDRAM 136. Examples of the parameters developed from the system memory 139 to the SDRAM 136 include imaging conditions for still image capturing and moving image capturing. Specifically, the imaging conditions set before the power is turned on by the user are recorded in the system memory 139 in association with the imaging mode. In this initial process, the imaging condition is developed in the SDRAM 136 in association with the imaging mode.

また、カメラMPU133は、例えば撮像モードを切り替える撮像モードスイッチ等を含む操作入力部141の状態、および、展開された各種パラメータに基づき、撮像装置100の各部の動作条件を設定する。例えば、撮像モードスイッチが示す撮像モードに対応づけてSDRAM136に展開された撮像条件に従って、各撮像モードのデフォルトの撮像条件を設定する。撮像条件としては、動画のフレームレート等を例示することができる。   In addition, the camera MPU 133 sets the operating conditions of each unit of the imaging apparatus 100 based on the state of the operation input unit 141 including an imaging mode switch that switches the imaging mode, for example, and various developed parameters. For example, the default imaging conditions for each imaging mode are set according to the imaging conditions developed in the SDRAM 136 in association with the imaging mode indicated by the imaging mode switch. Examples of the imaging condition include a frame rate of a moving image.

ステップS604において、操作入力部141に対するユーザ指示を判断する。ユーザ指示が諸設定を実行する指示である場合、カメラMPU133が主体となって、指示された設定処理を行う(ステップS642)。ステップS642における処理としては、撮像条件等を設定する処理、動画を継続して撮影する時間である動作撮影時間を設定する処理等を例示することができる。   In step S604, a user instruction to the operation input unit 141 is determined. If the user instruction is an instruction to execute various settings, the camera MPU 133 performs the instructed setting process (step S642). Examples of the process in step S642 include a process for setting an imaging condition and the like, a process for setting an operation shooting time that is a time for continuously shooting a moving image, and the like.

ステップS604の判断において、ユーザ指示が画像の再生を実行する指示であると判断された場合、再生処理を実行する(ステップ632)。再生処理としては、外部メモリ160に記録された画像を表示部138にサムネイル表示する処理、ユーザにより選択された画像を表示部138に表示する処理等を例示することができる。   If it is determined in step S604 that the user instruction is an instruction to execute image reproduction, reproduction processing is executed (step 632). Examples of the reproduction processing include processing for displaying an image recorded in the external memory 160 as a thumbnail on the display unit 138, processing for displaying an image selected by the user on the display unit 138, and the like.

ステップS604の判断において、ユーザ指示が撮影を実行する指示であると判断された場合、ステップS606において、動画を撮像するか静止画を撮像するかを判断する。例えば、操作入力部141の一部としてのレリーズスイッチが押し込まれた場合、静止画を撮像する指示であると判断する。操作入力部141の一部としての動画撮影ボタンが押し込まれた場合、動画を撮像する指示であると判断する。   If it is determined in step S604 that the user instruction is an instruction to execute shooting, it is determined in step S606 whether to capture a moving image or a still image. For example, when a release switch as a part of the operation input unit 141 is pushed, it is determined that the instruction is to capture a still image. When the moving image shooting button as a part of the operation input unit 141 is pressed, it is determined that the instruction is to capture a moving image.

静止画を撮像する場合、ステップS608において静止画撮影の処理を実行する。具体的には、カメラMPU133は、撮像素子駆動部140を制御して撮像素子132で露光させ、撮像素子132から静止画データとしてASIC135に取り込む処理を行う。そして、カメラMPU133は、取り込んだ画像データに対してASIC135に色補間処理、ガンマ補正、ホワイトバランス調整等の処理を実行させ、SDRAM136に記憶させる。続いて、ステップS610において、カメラMPU133は、SDRAM136に記憶された画像データを外部メモリ160に記録させる。   If a still image is to be imaged, still image shooting processing is executed in step S608. Specifically, the camera MPU 133 performs a process of controlling the image sensor driving unit 140 to cause the image sensor 132 to perform exposure, and taking the image data from the image sensor 132 into the ASIC 135 as still image data. Then, the camera MPU 133 causes the ASIC 135 to perform processing such as color interpolation processing, gamma correction, and white balance adjustment on the captured image data, and stores them in the SDRAM 136. Subsequently, in step S610, the camera MPU 133 records the image data stored in the SDRAM 136 in the external memory 160.

ステップS606の判断において、動画を撮像する指示であると判断された場合、ステップS622において動画撮影を行う。具体的には、カメラMPU133は、撮像素子駆動部140を制御して撮像素子132で露光させ、撮像素子132からASIC135にフレームとしての画像データを取り込ませる処理を繰り返す。撮像素子駆動部140は、撮像条件として指定されたフレームレートに従って、撮像素子132を読み出し駆動する。ASIC135は、取り込まれた画像データを動画用に処理して動画データを生成する。例えば、ASIC135は、上述したGOPデータを生成する。ステップS622における処理フローについては、図7に関連して説明する。   If it is determined in step S606 that the instruction is to capture a moving image, moving image shooting is performed in step S622. Specifically, the camera MPU 133 repeats the process of controlling the image sensor drive unit 140 to cause the image sensor 132 to expose the image data as a frame from the image sensor 132 to the ASIC 135. The image sensor driving unit 140 reads and drives the image sensor 132 in accordance with the frame rate specified as the imaging condition. The ASIC 135 processes the captured image data for a moving image to generate moving image data. For example, the ASIC 135 generates the GOP data described above. The processing flow in step S622 will be described with reference to FIG.

続いて、ステップS624において、動画の撮像を終了する否かを判断する。例えば、動画撮影ボタンが再度押し込まれた場合に、動画の撮像を終了すると判断する。動画の撮像を終了しない場合、ステップS622に処理を移行させ、動画の撮像を終了すると判断されるまで、フレームとしての画像データの取り込みと動画用の画処理とを繰り返す。ステップS624の判断において動画の撮像を終了すると判断された場合、ステップS610に処理を移行させる。ステップS610においては、複数のGOPのGOPデータだけでなく、ヘッダ情報等の付加情報を含む動画ファイルを生成する。   Subsequently, in step S624, it is determined whether or not to finish moving image capturing. For example, when the moving image shooting button is pressed again, it is determined that the shooting of the moving image ends. If the moving image capturing is not ended, the process proceeds to step S622, and the capturing of the image data as a frame and the moving image image processing are repeated until it is determined that the moving image capturing ends. If it is determined in step S624 that moving image capturing is to be terminated, the process proceeds to step S610. In step S610, a moving image file including not only GOP data of a plurality of GOPs but also additional information such as header information is generated.

ステップS642、ステップS612、ステップS632の処理が完了すると、ステップS614に進み、電源をOFFするか否かを判断する。例えば、電源スイッチがOFF位置に切り替えられた場合や、電源がONされてから予め定められた期間、ユーザ指示のない状態が継続した場合等に、電源をOFFすると判断する。電源をOFFすると判断した場合は動作を終了し、電源をOFFしないと判断した場合はステップS604に処理を移行させる。   When the processes of step S642, step S612, and step S632 are completed, the process proceeds to step S614 to determine whether to turn off the power. For example, it is determined that the power is turned off when the power switch is switched to the OFF position, or when a state without a user instruction continues for a predetermined period after the power is turned on. If it is determined that the power is to be turned off, the operation is terminated. If it is determined that the power is not to be turned off, the process proceeds to step S604.

図7は、動画撮影における動作フローの一例を示す。本フローは、図6のステップS622の詳細な処理フローの一例である。本処理フローに関する処理は、カメラMPU133が主体となって、撮像素子駆動部140、ASIC135等を制御することによって実行される。   FIG. 7 shows an example of an operation flow in moving image shooting. This flow is an example of a detailed processing flow of step S622 in FIG. The processing related to this processing flow is executed by controlling the image sensor driving unit 140, the ASIC 135, and the like mainly by the camera MPU 133.

ステップS702において、カメラMPU133は、撮像素子132を間引き駆動すべきか否かを判断する。具体的には、Bフレームとして処理される画像データを撮像する場合であり、かつ、予め定められた条件を満たす場合に、撮像素子132を間引き駆動すべき旨を判断する。   In step S702, the camera MPU 133 determines whether or not the image sensor 132 should be driven to be thinned out. Specifically, when image data to be processed as a B frame is captured, and when a predetermined condition is satisfied, it is determined that the image sensor 132 should be thinned out.

予め定められた条件として、撮像装置100が電池により駆動されており、電池の残存容量が予め定められた残存容量の基準値より小さい旨の電源条件を例示することができる。また、予め定められた条件として、温度検出部142が検出した温度が予め定められた温度の基準値より大きい旨の温度条件を例示することができる。また、予め定められた条件として、画像のエッジ量が予め定められたエッジ量の基準値よりも小さい旨のエッジ量条件を例示することができる。当該電源条件、温度条件およびエッジ量条件の少なくともいずれかが満たされた場合に、予め定められた条件が満たされたと判断してよい。   As a predetermined condition, the power supply condition that the imaging device 100 is driven by a battery and the remaining capacity of the battery is smaller than a predetermined reference value of the remaining capacity can be exemplified. Further, as the predetermined condition, a temperature condition that the temperature detected by the temperature detection unit 142 is larger than a predetermined reference value of the temperature can be exemplified. Further, as the predetermined condition, an edge amount condition that the edge amount of the image is smaller than a predetermined reference value of the edge amount can be exemplified. When at least one of the power supply condition, the temperature condition, and the edge amount condition is satisfied, it may be determined that the predetermined condition is satisfied.

間引き駆動すべきと判断された場合、カメラMPU133は間引き率を設定する(ステップS704)。ステップS704における処理フローについては、図8に関連して説明する。   If it is determined that the thinning drive should be performed, the camera MPU 133 sets a thinning rate (step S704). The processing flow in step S704 will be described with reference to FIG.

続いて、ステップS706において、カメラMPU133は、撮像素子駆動部140を制御して撮像素子132を間引き駆動させる。ステップS708においてカメラMPU133は、ASIC135に、取り込まれた間引き画像データを第2画像処理部220で画像処理させる。第2画像処理部220で処理された間引き画像データは、SDRAM136に記憶される。   Subsequently, in step S706, the camera MPU 133 controls the image sensor drive unit 140 to drive the image sensor 132 to be thinned out. In step S708, the camera MPU 133 causes the ASIC 135 to perform image processing on the captured thinned image data using the second image processing unit 220. The thinned image data processed by the second image processing unit 220 is stored in the SDRAM 136.

ステップS702で間引き制御すべきでないと判断された場合、撮像素子駆動部140を制御して撮像素子132を全画素駆動させる(ステップS742)。続いて、ステップS744においてカメラMPU133は、ASIC135に、取り込まれた全画素画像データを第1画像処理部210で画像処理させる。第1画像処理部210で処理された全画素画像データは、SDRAM136に記憶される。   If it is determined in step S702 that the thinning control should not be performed, the image sensor driving unit 140 is controlled to drive the image sensor 132 for all pixels (step S742). Subsequently, in step S744, the camera MPU 133 causes the first image processing unit 210 to perform image processing on the captured all pixel image data in the ASIC 135. All pixel image data processed by the first image processing unit 210 is stored in the SDRAM 136.

ステップS708、ステップS744の処理が完了すると、ASIC135は、動画の符号化処理として、ステップS710に処理を進める。ステップS710において、SDRAM136に記憶されている画像データの中に、Iフレームとして処理すべき画像データが存在するか否かを判断する。Iフレームとして処理すべき画像データが存在する場合、当該画像データを選択して、フレーム内符号化を施し(ステップS712)、IフレームのデータとしてSDRAM136に記憶する(ステップS714)。   When the processes of step S708 and step S744 are completed, the ASIC 135 advances the process to step S710 as the moving image encoding process. In step S710, it is determined whether image data to be processed as an I frame exists in the image data stored in the SDRAM 136. If there is image data to be processed as an I frame, the image data is selected, subjected to intraframe encoding (step S712), and stored in the SDRAM 136 as I frame data (step S714).

Iフレームとして処理すべき画像データが存在しない場合、ステップS722において、Pフレームとして処理すべき画像データが存在するか否かを判断する。Pフレームとして処理すべき画像データが存在しない場合、すなわち、処理すべき画像データがBフレームとして処理される画像データである場合、間引き駆動されて得られた画像データであるか否かを判断する(ステップS724)。間引き駆動されて得られた画像データである場合、閾値制御部250は、予測誤差0とするか否かを判断するための閾値を大きく設定する(ステップS726)。続いて、ステップS728において、フレーム間符号化部244が画像データにフレーム間符号化を施す。具体的には、ステップS728においては、画像データにフレーム間符号化を施してBフレームを生成する。   If there is no image data to be processed as an I frame, it is determined in step S722 whether there is image data to be processed as a P frame. When there is no image data to be processed as a P frame, that is, when the image data to be processed is image data processed as a B frame, it is determined whether or not the image data is obtained by thinning driving. (Step S724). In the case of image data obtained by thinning driving, the threshold control unit 250 sets a large threshold for determining whether or not the prediction error is 0 (step S726). Subsequently, in step S728, the interframe encoding unit 244 performs interframe encoding on the image data. Specifically, in step S728, interframe coding is performed on the image data to generate a B frame.

ステップS724の判断において、間引き駆動されて得られた画像データでないと判断された場合、予測誤差0とするか否かを判断するための閾値として、予め定められた基準の閾値を適用し(ステップS732)、ステップS728に処理を進める。   If it is determined in step S724 that the image data is not obtained by thinning driving, a predetermined reference threshold is applied as a threshold for determining whether or not the prediction error is 0 (step S724). S732), the process proceeds to step S728.

ステップS722の判断において、Pフレームとして処理すべき画像データが存在すると判断された場合、ステップS732に処理を進めて、予測誤差0とするか否かを判断するための閾値として、予め定められた基準の閾値を適用する。続いて、ステップS728において、フレーム間符号化部244が画像データにフレーム間符号化を施して、Pフレームを生成する。   If it is determined in step S722 that there is image data to be processed as a P frame, the process proceeds to step S732, and a threshold value is determined as a threshold for determining whether or not the prediction error is zero. Apply a reference threshold. Subsequently, in step S728, the interframe coding unit 244 performs interframe coding on the image data to generate a P frame.

ステップS728の処理が完了すると、ステップS728で生成されたBフレームまたはPフレームをSDRAM136に記憶する(ステップS714)。ステップS714の処理が完了すると本処理フローを終了する。   When the process of step S728 is completed, the B frame or the P frame generated in step S728 is stored in the SDRAM 136 (step S714). When the process of step S714 is completed, the process flow ends.

本処理フローによれば、例えばASIC135の温度が一時的に高温になった場合に、Bフレームのタイミングで撮像素子132を間引き読み出しすることでASIC135における演算量を低減することができる。このため、ASIC135の温度が著しく高温になることを未然に防ぎつつ、比較的に高画質な動画データを提供することができる。そして、ASIC135の温度が予め定められた値以下になった場合には、全画素画像データで各フレームが構成される動画データを生成することができる。   According to this processing flow, for example, when the temperature of the ASIC 135 temporarily becomes high, it is possible to reduce the amount of calculation in the ASIC 135 by reading out the image sensor 132 at the timing of the B frame. Therefore, it is possible to provide moving image data with relatively high image quality while preventing the temperature of the ASIC 135 from becoming extremely high. When the temperature of the ASIC 135 becomes equal to or lower than a predetermined value, moving image data in which each frame is composed of all pixel image data can be generated.

図8は、間引き率を設定する場合の動作フローの一例を示す。本フローは、図7のステップS704の詳細な処理フローの一例である。本処理フローに関する処理は、カメラMPU133が主体となって実行する。   FIG. 8 shows an example of an operation flow when setting the thinning rate. This flow is an example of a detailed processing flow of step S704 in FIG. The processing related to this processing flow is executed mainly by the camera MPU 133.

ステップS802において、カメラMPU133は、温度検出部142が検出した温度が予め定められた温度の基準値よりも大きいか否かを判断する。温度検出部142が検出した温度が予め定められた温度の基準値よりも大きい場合、カメラMPU133は、温度検出部142が検出した温度と、温度の基準値との差に応じて、間引き率を設定する(ステップS804)。例えば、カメラMPU133は、温度の基準値との差が大きいほど、大きい間引き率を設定する。このため、温度検出部142が検出した温度が高いほど、間引き画像データをより少ない画素数で出力することができる。   In step S <b> 802, the camera MPU 133 determines whether or not the temperature detected by the temperature detection unit 142 is greater than a predetermined temperature reference value. When the temperature detected by the temperature detection unit 142 is larger than a predetermined reference temperature value, the camera MPU 133 determines the thinning rate according to the difference between the temperature detected by the temperature detection unit 142 and the reference temperature value. It sets (step S804). For example, the camera MPU 133 sets a larger thinning rate as the difference from the temperature reference value increases. For this reason, as the temperature detected by the temperature detection unit 142 is higher, the thinned image data can be output with a smaller number of pixels.

ステップS802の判断において、温度検出部142が検出した温度が予め定められた温度の基準値以下であると判断された場合、カメラMPU133は、電池の残存容量が不足するか否かを判断する(ステップS812)。例えば、電池の残存容量が予め定められた残存容量の基準値より小さい場合に、電池の残存容量が不足すると判断してよい。このため、残存容量が少ないほど、間引き画像データをより少ない画素数で出力することができる。   If it is determined in step S802 that the temperature detected by the temperature detection unit 142 is equal to or lower than a predetermined reference value of the temperature, the camera MPU 133 determines whether or not the remaining capacity of the battery is insufficient ( Step S812). For example, when the remaining capacity of the battery is smaller than a predetermined reference value of the remaining capacity, it may be determined that the remaining capacity of the battery is insufficient. For this reason, the thinned image data can be output with a smaller number of pixels as the remaining capacity is smaller.

なお、動画を撮像すべき時間と、電池の残存容量との比較結果に基づき、残存容量が不足するか否かを判断してもよい。例えば、電池の残存容量に基づき動画を撮影できる時間を予測して、動画を撮影できる時間が、ユーザが指示した動画撮影時間よりも短い場合に、残存容量が不足すると判断してよい。動画を撮影できる時間は、電池の残存容量と、動画撮影時に撮像装置100が単位時間あたりに消費する電力量とから予測してよい。単位時間あたりに消費する電力量は、動画撮影を開始してからの残存容量の時間変化に基づいて算出してよい。   Note that it may be determined whether or not the remaining capacity is insufficient based on a comparison result between the time for capturing the moving image and the remaining capacity of the battery. For example, it may be determined that the remaining capacity is insufficient when the time during which a moving image can be shot is shorter than the moving image shooting time specified by the user by predicting the time during which a moving image can be shot based on the remaining capacity of the battery. The time during which a moving image can be shot may be predicted from the remaining battery capacity and the amount of power consumed by the image capturing apparatus 100 per unit time during moving image shooting. The amount of power consumed per unit time may be calculated based on the time change of the remaining capacity after starting moving image shooting.

電池の残存容量に応じて間引き率を設定することで、指示された動画撮影時間の動画撮影をすることができる場合には、全画素画像データで構成される動画データを生成することができる。例えば、動画撮影中にユーザがASIC135の表示をOFF等することで、撮像装置100全体の消費電力が低下する場合がある。全体の消費電力が低下することで、指示された動画撮影時間の動画撮影をすることができるようになった場合には、全画素画像データで構成される動画データを生成することができる。   By setting the thinning rate according to the remaining capacity of the battery, when moving image shooting can be performed during the specified moving image shooting time, moving image data composed of all pixel image data can be generated. For example, when the user turns off the display of the ASIC 135 during moving image shooting, the power consumption of the entire imaging apparatus 100 may be reduced. When the entire power consumption is reduced and the moving image can be shot for the specified moving image shooting time, moving image data composed of all pixel image data can be generated.

ステップS812の判断において、電池の残存容量が不足すると判断された場合、カメラMPU133は、残存容量の不足量に応じて間引き率を設定する。例えば、カメラMPU133は、残存容量の不足量が大きいほど、大きい間引き率を設定する。   If it is determined in step S812 that the remaining capacity of the battery is insufficient, the camera MPU 133 sets a thinning rate according to the insufficient amount of remaining capacity. For example, the camera MPU 133 sets a larger thinning rate as the remaining capacity shortage is larger.

ステップS812の判断において、電池の残存容量が不足しないと判断された場合、カメラMPU133は、画像解析部216が全画素画像データから抽出したエッジ量に応じて、間引き率を設定する(ステップS822)。例えば、カメラMPU133は、エッジ量が小さいほど、高い間引き率を設定する。エッジ量が小さい場合、間引き率を高く設定してもフレームの画質が著しく低下することはないので、動画の画質が著しく低下することもない。エッジ量が小さい場合にも間引き率を高く設定することで、電池による撮像装置100の駆動時間を更に長くすることができる。   If it is determined in step S812 that the remaining battery capacity is not insufficient, the camera MPU 133 sets a thinning rate according to the edge amount extracted from the all-pixel image data by the image analysis unit 216 (step S822). . For example, the camera MPU 133 sets a higher thinning rate as the edge amount is smaller. If the edge amount is small, the image quality of the frame will not be significantly degraded even if the thinning rate is set high, so that the image quality of the moving image will not be significantly degraded. Even when the edge amount is small, by setting the thinning rate high, it is possible to further increase the driving time of the imaging device 100 by the battery.

ステップS804、ステップS814、ステップS822の処理が完了すると、本動作フローを終了する。本処理フローで説明したように、撮像装置100によれば、温度や電池の残存容量等に応じて段階的に間引き率を調節することができる。   When the processes of step S804, step S814, and step S822 are completed, the operation flow ends. As described in the present processing flow, according to the imaging apparatus 100, the thinning rate can be adjusted in stages according to the temperature, the remaining capacity of the battery, and the like.

図9は、ASIC135のブロック構成の他の一例を示す。本構成のASIC135は、図2で例示した構成要素に加えて、間引き処理部900をさらに備える。間引き処理部900以外の構成要素については、図2において同じ符号を付した構成要素と略同様の動作をするので、その相違点を除いて、説明を省略する。   FIG. 9 shows another example of the block configuration of the ASIC 135. The ASIC 135 having this configuration further includes a thinning processing unit 900 in addition to the components illustrated in FIG. The constituent elements other than the thinning-out processing unit 900 operate in substantially the same manner as the constituent elements denoted by the same reference numerals in FIG.

本例において、撮像素子132、A/D変換器134および撮像素子駆動部140は、全画素の読み出しを行う。間引き処理部900は、A/D変換器134が出力した全画素の画像データを取得する。間引き処理部900は、撮像素子132から読み出された第2画像の画像データに画素の間引き処理を施すことにより、撮像素子132から読み出された第2画像の画像データを、撮像素子132から読み出された第1画像の画像データよりも少ない画素数の画像データに変換して出力する。本例の間引き処理部900は、撮像素子132により撮像された動画を構成する複数の画像のうち、第1画像の画像データよりも少ない画素数で第2画像の画像データを出力する画像出力部の一例である。   In this example, the image sensor 132, the A / D converter 134, and the image sensor drive unit 140 read all pixels. The thinning processing unit 900 acquires image data of all pixels output from the A / D converter 134. The thinning processing unit 900 performs pixel thinning processing on the image data of the second image read from the image sensor 132, thereby obtaining the image data of the second image read from the image sensor 132 from the image sensor 132. The image data is converted into image data having a smaller number of pixels than the read image data of the first image and output. The thinning processing unit 900 in this example outputs an image data of the second image with a smaller number of pixels than the image data of the first image among a plurality of images constituting the moving image captured by the image sensor 132. It is an example.

処理切替部200は、間引き処理部900が出力した画像データを取得する。処理切替部200は、間引き処理部900から取得した第1画像データを、第1画像処理部210に出力する。処理切替部200は、間引き処理部900から出力された第2画像の画像データを、第2画像処理部220に出力する。   The process switching unit 200 acquires the image data output by the thinning process unit 900. The process switching unit 200 outputs the first image data acquired from the thinning process unit 900 to the first image processing unit 210. The processing switching unit 200 outputs the image data of the second image output from the thinning processing unit 900 to the second image processing unit 220.

第1画像処理部210は、第1画像データを、図1から図8に関連して説明した全画素画像データとして処理する。第2画像処理部220は、第2画像データを、図1から図8に関連して説明した間引き画像データとして処理する。また、第1画像処理部210および第2画像処理部220よりも後段の処理についても、図1から図8に関連して説明した処理と同様である。   The first image processing unit 210 processes the first image data as all-pixel image data described with reference to FIGS. The second image processing unit 220 processes the second image data as the thinned image data described with reference to FIGS. Further, the processing subsequent to the first image processing unit 210 and the second image processing unit 220 is the same as the processing described in relation to FIGS.

本例のASIC135によっても、処理切替部200は、画素数が少ない画像データを第2画像処理部220に画像処理させ、画素数が多い画像データを第1画像処理部210に画像処理させることができる。このため、動画において画質が著しく低下することを未然に防ぐことができる。また、画素を間引かない場合と比較して、画像処理に要する消費電力を低減することができる。また、画像処理により生じる発熱量も低減することができる。   Also with the ASIC 135 of this example, the process switching unit 200 can cause the second image processing unit 220 to perform image processing on image data with a small number of pixels and cause the first image processing unit 210 to perform image processing on image data with a large number of pixels. it can. For this reason, it is possible to prevent the image quality from being significantly lowered in the moving image. Further, power consumption required for image processing can be reduced as compared with a case where pixels are not thinned out. In addition, the amount of heat generated by the image processing can be reduced.

以上の説明において、動画データの一例としてのMPEGファイル等、フレーム間符号化が施された動画データを生成する場合を主として取り上げて、撮像装置100の各部の処理を具体的に説明した。しかし、動画データとしては、MPEGファイル等に限られず、Motion Jpeg等、フレーム間符号化を施さずに生成された動画データであってよい。   In the above description, the processing of each unit of the imaging apparatus 100 has been specifically described by mainly taking up the case of generating moving image data subjected to interframe coding, such as an MPEG file as an example of moving image data. However, the moving image data is not limited to an MPEG file or the like, and may be moving image data generated without performing inter-frame encoding such as Motion JPEG.

また、以上の説明において、外部メモリ160に記録される動画データを生成する場合を取り上げて、撮像装置100の各部の処理を具体的に説明した。しかし、表示部138に動画として表示するための表示用の画像データを、以上に説明した処理を適用して生成してもよい。例えば、第1画像処理部210および第2画像処理部220が画像処理を施した画像データを、処理画像出力部230が表示用の画像データとして出力してもよい。   Further, in the above description, the processing of each unit of the imaging apparatus 100 has been specifically described by taking up the case where moving image data recorded in the external memory 160 is generated. However, display image data for display as a moving image on the display unit 138 may be generated by applying the processing described above. For example, the processed image output unit 230 may output the image data subjected to the image processing by the first image processing unit 210 and the second image processing unit 220 as display image data.

以上において撮像装置100に関連して説明した処理は、撮像装置100の各部、例えばカメラMPU133等のプロセッサ等が、プログラムに従って動作することにより、実現することができる。すなわち、当該処理を、いわゆるコンピュータ装置によって実現することができる。コンピュータ装置は、上述した処理の実行を制御するプログラムをロードして、読み込んだプログラムに従って動作して、当該処理を実行してよい。コンピュータ装置は、当該プログラムを記憶しているコンピュータ読取可能な記録媒体を読み込むことによって、当該プログラムをロードすることができる。   The processing described above in relation to the imaging apparatus 100 can be realized by causing each unit of the imaging apparatus 100, for example, a processor such as the camera MPU 133 to operate according to a program. That is, the process can be realized by a so-called computer device. The computer device may load a program for controlling the execution of the above-described process, operate according to the read program, and execute the process. The computer device can load the program by reading a computer-readable recording medium storing the program.

本実施形態において、一眼レフカメラとしての撮像装置100を取り上げて撮像装置の一例を説明した。撮像装置としては、レンズ交換式の一眼レフカメラ、ミラーレス一眼カメラ、コンパクトデジタルカメラ、ビデオカメラ、撮像機能付きの携帯電話機、撮像機能付きの携帯情報端末、撮像機能付きのゲーム機器等の娯楽装置、撮像機能を有するパーソナルコンピュータ等、撮像機能を有する種々の機器を適用の対象とすることができる。   In the present embodiment, an example of the imaging apparatus has been described by taking up the imaging apparatus 100 as a single-lens reflex camera. Examples of the imaging device include an interchangeable lens single-lens reflex camera, a mirrorless single-lens camera, a compact digital camera, a video camera, a mobile phone with an imaging function, a portable information terminal with an imaging function, and a game device with an imaging function. Various devices having an imaging function such as a personal computer having an imaging function can be applied.

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。   As mentioned above, although this invention was demonstrated using embodiment, the technical scope of this invention is not limited to the range as described in the said embodiment. It will be apparent to those skilled in the art that various modifications or improvements can be added to the above-described embodiment. It is apparent from the scope of the claims that the embodiments added with such changes or improvements can be included in the technical scope of the present invention.

特許請求の範囲、明細書、および図面中において示した装置、システム、プログラム、および方法における動作、手順、ステップ、および段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。   The order of execution of each process such as operations, procedures, steps, and stages in the apparatus, system, program, and method shown in the claims, the description, and the drawings is particularly “before” or “prior to”. It should be noted that the output can be realized in any order unless the output of the previous process is used in the subsequent process. Regarding the operation flow in the claims, the description, and the drawings, even if it is described using “first”, “next”, etc. for convenience, it means that it is essential to carry out in this order. It is not a thing.

100 撮像装置、120 交換レンズ、121 レンズマウント接点、130 カメラ本体、131 カメラマウント接点、122 レンズ群、132 撮像素子、123 レンズMPU、133 カメラMPU、134 A/D変換器、135 ASIC、136 SDRAM、137 表示制御部、138 表示部、139 システムメモリ、140 撮像素子駆動部、141 操作入力部、145 接続インタフェース、170 電源、160 外部メモリ、200 処理切替部、210 第1画像処理部、220 第2画像処理部、230 処理画像出力部、240 符号化部、250 閾値制御部、212 前処理部、214 後処理部、216 画像解析部、222 前処理部、224 後処理部、226 画素数変換部、240 符号化部、242 フレーム内符号化部、244 フレーム間符号化部 DESCRIPTION OF SYMBOLS 100 Imaging device, 120 Interchangeable lens, 121 Lens mount contact, 130 Camera body, 131 Camera mount contact, 122 Lens group, 132 Image sensor, 123 Lens MPU, 133 Camera MPU, 134 A / D converter, 135 ASIC, 136 SDRAM 137 Display control unit, 138 display unit, 139 system memory, 140 image sensor drive unit, 141 operation input unit, 145 connection interface, 170 power supply, 160 external memory, 200 processing switching unit, 210 first image processing unit, 220 first 2 image processing unit, 230 processed image output unit, 240 encoding unit, 250 threshold control unit, 212 preprocessing unit, 214 post processing unit, 216 image analysis unit, 222 preprocessing unit, 224 post processing unit, 226 pixel number conversion Part, 240 encoding part, 242 Intraframe coding unit, 244 Interframe coding unit

Claims (15)

撮像部と、
前記撮像部が撮像した動画を構成する複数の画像のうち、第1画像の画像データよりも少ない画素数で第2画像の画像データを出力する画像出力部と、
前記画像出力部が出力した前記第1画像の画像データおよび前記第2画像の画像データをそれぞれ画像処理して、動画データを生成する画像処理部と
を備える撮像装置。
An imaging unit;
An image output unit that outputs the image data of the second image with a smaller number of pixels than the image data of the first image among a plurality of images constituting the moving image captured by the imaging unit;
An image pickup apparatus comprising: an image processing unit that generates image data by performing image processing on each of the image data of the first image and the image data of the second image output by the image output unit.
前記画像処理部が生成した動画データを記録媒体に記録する記録制御部
をさらに備える請求項1に記載の撮像装置。
The imaging apparatus according to claim 1, further comprising a recording control unit that records the moving image data generated by the image processing unit on a recording medium.
前記画像出力部は、前記撮像部が有する撮像素子から、前記第1画像を読み出す場合よりも高い間引き率で第2画像を読み出す読み出し部
を有する請求項1または2に記載の撮像装置。
The imaging apparatus according to claim 1, wherein the image output unit includes a reading unit that reads a second image at a higher decimation rate than a case where the first image is read from an imaging element included in the imaging unit.
前記画像処理部は、前記撮像部が有する撮像素子から読み出された前記第1画像の画像データおよび前記第2画像の画像データに色補間処理を施す
を有する請求項1から3のいずれか一項に記載の撮像装置。
4. The image processing unit according to claim 1, further comprising: performing color interpolation processing on the image data of the first image and the image data of the second image read from an image sensor included in the imaging unit. The imaging device according to item.
前記画像処理部は、
画像処理された前記第1画像の画像データおよび前記第2画像の画像データを、同一の画素数で出力する処理画像出力部と、
前記処理画像出力部が出力した画像データを、動画として符号化する符号化処理部と
を有する請求項1から4のいずれか一項に記載の撮像装置。
The image processing unit
A processed image output unit that outputs the image data of the first image and the image data of the second image that have undergone image processing, with the same number of pixels;
The imaging apparatus according to claim 1, further comprising: an encoding processing unit that encodes the image data output from the processed image output unit as a moving image.
前記符号化処理部は、前記処理画像出力部が出力した画像データを、フレーム間予測を用いて動画として符号化する
請求項5に記載の撮像装置。
The imaging apparatus according to claim 5, wherein the encoding processing unit encodes the image data output from the processed image output unit as a moving image using inter-frame prediction.
前記符号化処理部は、前記第1画像の画像データを参照フレームとして用いて、前記第2画像の画像データを符号化する
請求項6に記載の撮像装置。
The imaging apparatus according to claim 6, wherein the encoding processing unit encodes the image data of the second image using the image data of the first image as a reference frame.
前記符号化処理部は、前記第1画像の画像データをIピクチャまたはPピクチャとして符号化し、前記第2画像の画像データをBピクチャとして符号化する
請求項7に記載の撮像装置。
The imaging apparatus according to claim 7, wherein the encoding processing unit encodes the image data of the first image as an I picture or a P picture, and encodes the image data of the second image as a B picture.
前記符号化処理部は、フレーム間予測において、符号化対象画像と予測画像との間の差分量が閾値より小さい場合に、予測誤差を0として符号化対象画像を符号化し、
前記画像処理部は、
前記画像出力部が出力する前記第1画像の画像データと前記第2画像の画像データとの間の画素数の差が大きいほど、前記閾値を大きい値に設定する閾値制御部
を有する請求項8に記載の撮像装置。
In the inter-frame prediction, the encoding processing unit encodes the encoding target image with a prediction error of 0 when the difference amount between the encoding target image and the prediction image is smaller than a threshold value,
The image processing unit
The threshold control unit configured to set the threshold to a larger value as the difference in the number of pixels between the image data of the first image and the image data of the second image output from the image output unit is larger. The imaging device described in 1.
前記画像出力部は、前記第1画像の画像データからより大きいエッジ成分が検出された場合に、より多い画素数で前記第2画像の画像データを出力する
請求項1から9のいずれか一項に記載の撮像装置。
10. The image output unit according to claim 1, wherein the image output unit outputs the image data of the second image with a larger number of pixels when a larger edge component is detected from the image data of the first image. The imaging device described in 1.
前記画像処理部は、
第1画素数の画素値を用いて画像処理を行う第1処理部と、
前記第1画素数よりも少ない第2の画素数の画素値を用いて画像処理を行う第2処理部と、
前記第1画像の画像データを前記第1処理部に画像処理させ、前記第2画像の画像データを前記第2処理部に画像処理させる処理切替部と
を有する請求項1から10のいずれか一項に記載の撮像装置。
The image processing unit
A first processing unit that performs image processing using pixel values of a first number of pixels;
A second processing unit that performs image processing using a pixel value of a second number of pixels smaller than the first number of pixels;
The process switching unit according to claim 1, further comprising: a process switching unit that causes the first processing unit to perform image processing on the image data of the first image and causes the second processing unit to perform image processing on the image data of the second image. The imaging device according to item.
前記画像出力部は、前記撮像部が有する撮像素子から読み出された第2画像の画像データに画素の間引き処理を施すことにより、前記撮像素子から読み出された第2画像の画像データを、前記撮像素子から読み出された第1画像の画像データよりも少ない画素数の画像データに変換して出力する
請求項1または2に記載の撮像装置。
The image output unit performs the pixel thinning process on the image data of the second image read from the image pickup device included in the image pickup unit, thereby obtaining the image data of the second image read from the image pickup device, The imaging apparatus according to claim 1, wherein the image data is converted into image data having a smaller number of pixels than the image data of the first image read from the image sensor and output.
前記撮像装置を駆動する電池の残存容量を検出する残存容量検出部
をさらに備え、
前記画像出力部は、前記残存容量が少ないほど、前記第2画像の画像データをより少ない画素数で出力する
請求項1から12のいずれか一項に記載の撮像装置。
A remaining capacity detector for detecting a remaining capacity of a battery that drives the imaging device;
The imaging device according to any one of claims 1 to 12, wherein the image output unit outputs image data of the second image with a smaller number of pixels as the remaining capacity is smaller.
前記画像処理部による画像処理を実行する回路ブロックの温度を検出する温度検出部
をさらに備え、
前記画像出力部は、前記検出された温度が高いほど、前記第2画像の画像データをより少ない画素数で出力する
請求項1から13のいずれか一項に記載の撮像装置。
A temperature detection unit that detects a temperature of a circuit block that performs image processing by the image processing unit;
The imaging device according to any one of claims 1 to 13, wherein the image output unit outputs image data of the second image with a smaller number of pixels as the detected temperature is higher.
撮像された動画を構成する複数の画像のうち、第1画像の画像データよりも少ない画素数で第2画像の画像データを出力する画像出力ステップと、
前記画像出力ステップで出力された前記第1画像の画像データおよび前記第2画像の画像データをそれぞれ画像処理して、動画データを生成する画像処理ステップと
をコンピュータに実行させるプログラム。
An image output step of outputting the image data of the second image with a smaller number of pixels than the image data of the first image among the plurality of images constituting the captured moving image;
A program for causing a computer to execute an image processing step of generating image data by performing image processing on each of the image data of the first image and the image data of the second image output in the image output step.
JP2011103847A 2011-05-06 2011-05-06 Imaging device and program Withdrawn JP2012235396A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2011103847A JP2012235396A (en) 2011-05-06 2011-05-06 Imaging device and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011103847A JP2012235396A (en) 2011-05-06 2011-05-06 Imaging device and program

Publications (1)

Publication Number Publication Date
JP2012235396A true JP2012235396A (en) 2012-11-29

Family

ID=47435264

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011103847A Withdrawn JP2012235396A (en) 2011-05-06 2011-05-06 Imaging device and program

Country Status (1)

Country Link
JP (1) JP2012235396A (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019075653A (en) * 2017-10-13 2019-05-16 株式会社ニコン Imaging apparatus
JP2022027826A (en) * 2017-10-13 2022-02-14 株式会社ニコン Imaging apparatus

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019075653A (en) * 2017-10-13 2019-05-16 株式会社ニコン Imaging apparatus
JP2022027826A (en) * 2017-10-13 2022-02-14 株式会社ニコン Imaging apparatus
JP7294392B2 (en) 2017-10-13 2023-06-20 株式会社ニコン Imaging device

Similar Documents

Publication Publication Date Title
JP4766320B2 (en) Imaging apparatus and program thereof
KR101229600B1 (en) Image capturing apparatus and camera shake correction method, and computer-readable medium
KR101822661B1 (en) Vision recognition apparatus and method
US9398230B2 (en) Imaging device and imaging method
US8982230B2 (en) Image pickup apparatus including image adjustment processing for improving an appearance of an image, the image adjustment processing to be applied when it is determined that an imaging scene is finalized
JP2014003496A (en) Image processing device, imaging device, and program
JP2013146017A (en) Imaging device and program
WO2005020566A1 (en) Imaging device
JP2013123172A (en) Imaging apparatus and program
US8836821B2 (en) Electronic camera
WO2011099092A1 (en) Motion-recognizing remote-control receiving device, and motion-recognizing remote-control control method
JP5387341B2 (en) Imaging device
US8098288B2 (en) Imaging apparatus and method of controlling imaging
US10244199B2 (en) Imaging apparatus
JP2012235396A (en) Imaging device and program
US11653089B2 (en) Imaging apparatus and controlling method
US8081229B2 (en) Imaging apparatus
JP5067475B2 (en) Imaging apparatus and program thereof
JP2015019243A (en) Imaging apparatus, and control method therefor and program
JP2013179542A (en) Image processing device and program
JP5482427B2 (en) Imaging apparatus, camera shake correction method, and program
JP2014023114A (en) Imaging device and program
JP2013172445A (en) Imaging apparatus, imaging control method, and program
JP2011244028A (en) Imaging apparatus, shake correcting method, and program
JP5600935B2 (en) Image recording apparatus, image recording method, and image recording program

Legal Events

Date Code Title Description
A300 Application deemed to be withdrawn because no request for examination was validly filed

Free format text: JAPANESE INTERMEDIATE CODE: A300

Effective date: 20140805