JP2012235396A - Imaging device and program - Google Patents
Imaging device and program Download PDFInfo
- Publication number
- JP2012235396A JP2012235396A JP2011103847A JP2011103847A JP2012235396A JP 2012235396 A JP2012235396 A JP 2012235396A JP 2011103847 A JP2011103847 A JP 2011103847A JP 2011103847 A JP2011103847 A JP 2011103847A JP 2012235396 A JP2012235396 A JP 2012235396A
- Authority
- JP
- Japan
- Prior art keywords
- image
- image data
- unit
- processing
- processing unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Landscapes
- Television Signal Processing For Recording (AREA)
- Studio Devices (AREA)
Abstract
Description
本発明は、撮像装置およびプログラムに関する。 The present invention relates to an imaging apparatus and a program.
通常時は高速モードで駆動され、トリガーが押し下げられた時だけ高画質モードで駆動されるCCDイメージセンサーを備える撮像装置が知られている(例えば、特許文献1参照)。高速モードでは、CCDイメージセンサーは垂直方向の4ライン毎に2ラインの画素信号を出力する。
[先行技術文献]
[特許文献]
[特許文献1]特開2004−104825号公報
There is known an imaging apparatus that includes a CCD image sensor that is normally driven in a high-speed mode and that is driven in a high-quality mode only when a trigger is depressed (see, for example, Patent Document 1). In the high-speed mode, the CCD image sensor outputs two lines of pixel signals for every four lines in the vertical direction.
[Prior art documents]
[Patent Literature]
[Patent Document 1] Japanese Patent Application Laid-Open No. 2004-104825
動画を構成する画像を多画素化すると、撮像装置における処理量が著しく増大する場合がある。例えば画像処理に要する消費電力が著しく増大する場合がある。 When the number of pixels constituting the moving image is increased, the processing amount in the imaging apparatus may increase significantly. For example, the power consumption required for image processing may increase significantly.
本発明の第1の態様においては、撮像装置は、撮像部と、撮像部が撮像した動画を構成する複数の画像のうち、第1画像の画像データよりも少ない画素数で第2画像の画像データを出力する画像出力部と、画像出力部が出力した第1画像の画像データおよび第2画像の画像データをそれぞれ画像処理して、動画データを生成する画像処理部とを備える。 In the first aspect of the present invention, the imaging device includes an imaging unit and an image of the second image with a smaller number of pixels than the image data of the first image among the plurality of images constituting the moving image captured by the imaging unit. An image output unit that outputs data, and an image processing unit that generates image data by performing image processing on the image data of the first image and the image data of the second image output from the image output unit, respectively.
本発明の第2の態様においては、プログラムは、撮像された動画を構成する複数の画像のうち、第1画像の画像データよりも少ない画素数で第2画像の画像データを出力する画像出力ステップと、前記画像出力ステップで出力された前記第1画像の画像データおよび前記第2画像の画像データをそれぞれ画像処理して、動画データを生成する画像処理ステップとをコンピュータに実行させる。 In the second aspect of the present invention, the program outputs an image data of the second image with a smaller number of pixels than the image data of the first image among a plurality of images constituting the captured moving image. And an image processing step of generating image data by performing image processing on the image data of the first image and the image data of the second image output in the image output step, respectively.
なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。 It should be noted that the above summary of the invention does not enumerate all the necessary features of the present invention. In addition, a sub-combination of these feature groups can also be an invention.
以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。 Hereinafter, the present invention will be described through embodiments of the invention, but the following embodiments do not limit the invention according to the claims. In addition, not all the combinations of features described in the embodiments are essential for the solving means of the invention.
図1は、撮像装置100のシステム構成図を示す。撮像装置100は、交換レンズ120およびカメラ本体130を備える。交換レンズ120は、レンズマウント接点121を有するレンズマウントを備え、カメラ本体130は、カメラマウント接点131を有するカメラマウントを備える。レンズマウントとカメラマウントが係合して交換レンズ120とカメラ本体130が一体化されると、レンズマウント接点121とカメラマウント接点131が接続される。撮像装置100は、交換レンズ120とカメラ本体130とが一体化した状態で一眼レフカメラとして機能する。
FIG. 1 is a system configuration diagram of the
被写体光は、光軸に沿って撮影光学系としてのレンズ群122を透過して、撮像素子132の受光面に結像する。レンズ群122は、レンズMPU123によって制御される。例えば、レンズMPU123は、フォーカスレンズモータを制御して、レンズ群122を構成するフォーカスレンズ群を移動させる。撮像素子132は、レンズ群122を通過した被写体光により撮像する撮像部の一部として機能する。
The subject light passes through the
レンズMPU123は、レンズマウント接点121およびカメラマウント接点131を介してカメラMPU133と接続され、相互に通信を実行しつつ協働して交換レンズ120とカメラ本体130を制御する。撮像素子132は、被写体像である光学像を光電変換する素子であり、例えばCCD、CMOSセンサが用いられる。撮像素子132で光電変換された被写体像は、A/D変換器134でアナログ信号からデジタル信号に変換される。撮像素子駆動部140は、撮像素子132およびA/D変換器134の駆動を制御する。例えば、撮像素子駆動部140は、カメラMPU133から与えられる露光時間、露光周期等に従って、撮像素子132の電荷リセットおよび読み出しタイミング、読み出しゲイン等に対する制御信号を出力する。撮像素子駆動部140は、撮像素子132からのアナログ信号としての読み出しに同期して、A/D変換器134にデジタル信号へ変換させる制御信号を出力する。
The lens MPU 123 is connected to the camera MPU 133 via the
デジタル信号に変換された受光信号としての被写体像は、画像データとして順次処理される。A/D変換器134によりデジタル信号に変換された画像データは、ASIC135へ引き渡される。ASIC135は、画像処理機能に関連する回路を一つにまとめた集積回路である。SDRAM136は、ASIC135における処理、画像データの記録および再生動作時において一時的に画像データを記憶するためのバッファメモリとして機能する。
The subject image as the light reception signal converted into the digital signal is sequentially processed as image data. The image data converted into a digital signal by the A /
ASIC135は、画像データを規格化された画像フォーマットの画像データに変換して出力する。例えば、ASIC135は、静止画データとしてのJPEGファイルを生成するための画像処理を行う。また、ASIC135は、動画データとしてのMPEGファイルを生成するための画像処理を行う。カメラMPU133は、ASIC135によって生成された静止画データ、動画データ等の画像データを、不揮発性の記録媒体としての外部メモリ160に転送して記録させる。外部メモリ160は、例えばフラッシュメモリ等により構成される。
The ASIC 135 converts the image data into image data of a standardized image format and outputs it. For example, the ASIC 135 performs image processing for generating a JPEG file as still image data. The ASIC 135 performs image processing for generating an MPEG file as moving image data. The
ASIC135は、外部メモリ160への記録用に処理される画像データに並行して、表示用の画像データを生成する。生成された表示用の画像データは、表示制御部137の制御に従って表示画像信号に変換され、液晶ディスプレイ等の表示デバイスとしての表示部138に表示される。また、画像の表示と共に、もしくは画像を表示することなく、撮像装置100の各種設定に関する様々なメニュー項目も、表示制御部137の制御により表示部138に表示することができる。
The ASIC 135 generates image data for display in parallel with the image data processed for recording in the
撮像装置100は、上記の画像処理における各々の要素も含めて、カメラMPU133により直接的または間接的に制御される。システムメモリ139は、電気的に消去・記憶可能な不揮発性メモリであり、例えばフラッシュROM等により構成される。システムメモリ139は、撮像装置100の動作時に必要な定数、変数、プログラム等を、撮像装置100の非動作時にも失われないように記憶している。カメラMPU133は、定数、変数、プログラム等を適宜SDRAM136に展開して、撮像装置100の制御に利用する。カメラ本体130内のA/D変換器134、ASIC135、SDRAM136、システムメモリ139、表示制御部137、カメラMPU133、外部メモリ160は、バス等の接続インタフェース145により、相互に接続される。
The
操作入力部141は、ユーザによる設定操作等のユーザ操作を受け付ける。操作入力部141としては、電源スイッチ、レリーズボタン、各種操作ボタン、表示部138に一体に実装されたタッチパネル等を含む。カメラMPU133は、操作入力部141が操作されたことを検知して、操作に応じた動作を実行する。例えば、カメラMPU133は、レリーズボタンが操作された場合に、レリーズ動作を実行するよう撮像装置100の各要素を制御する。また、カメラMPU133は、タッチパネルが操作された場合に、表示部138に表示されたメニュー項目および操作内容に応じた動作をするよう、撮像装置100の各要素を制御する。
The
カメラ本体130の各要素および外部メモリ160は、電源170から電力供給を受ける。電源170は、カメラ本体130に対して着脱できる、例えばリチウムイオン電池などの二次電池、家庭用AC電源等により構成される。カメラMPU133は、電源170から撮像装置100の各要素への電力供給を制御する。二次電池は、撮像装置100を駆動する電池の一例である。電池とは、実質的に充電することができない非充電式の電池を含む。
Each element of the
カメラMPU133は、二次電池等の電池が電源170として用いられているか否かを検出する。電池が電源170として用いられている場合、電池の残存容量を検出する。カメラMPU133は、撮像装置100を駆動する電池の残存容量を検出する残存容量検出部として機能する。カメラMPU133は、電池の残存容量が小さいほど、撮像素子132が有する複数の光電変換素子から、より大きい間引き率で間引き読み出しさせる。例えば、カメラMPU133は、残存容量が予め定められた値より小さい場合、撮像素子駆動部140を制御して、撮像素子132から間引き読み出しをさせる。当該残存容量が予め定められた値より大きい場合、撮像素子駆動部140を制御して、撮像素子132から全画素の読み出しをさせる。
The
温度検出部142は、カメラ本体130の温度を検出する。温度検出部142は、画像処理を実行する回路ブロックの温度を検出する。温度検出部142は、ASIC135を温度検出の対象としてよい。なお、温度検出部142は、温度検出の対象である部材の温度を直接に検出する必要はなく、温度検出の対象とする部材の温度変化に対応して温度が変化する部位の温度を測定してよい。
The
カメラMPU133は、温度検出部142が検出した温度が大きいほど、撮像素子132が有する複数の光電変換素子から、より大きい間引き率で間引き読み出しさせる。例えば、カメラMPU133は、温度検出部142が検出した温度が予め定められた値より大きい場合、撮像素子駆動部140を制御して、撮像素子132から間引き読み出しをさせる。当該温度が予め定められた値以下である場合、撮像素子駆動部140を制御して、撮像素子132から全画素の読み出しをさせる。
As the temperature detected by the
カメラMPU133は、動画を構成する個々のフレームとしての画像データを撮像素子132から読み出す場合に、間引き読み出しと、全画素読み出しとを切り替える。全画素数をN1、間引き後の画素数をN2とすると、ASIC135は、間引き読み出しにより撮像素子132から取り込まれたN2画素の画像データに、画像処理を施して、N2画素の画像データを生成する。また、ASIC135は、全画素読み出しにより取り込まれたN1画素の画像データに画像処理を施して、N1画素の画像データを生成する。ここで、画像処理とは、動画の符号化処理よりも前段階で行われる画像処理のうちの少なくとも一部の処理であってよい。当該画像処理として、色補間処理、ガンマ補正、ホワイトバランス補正等を例示することができる。撮像装置100によれば、動画データを生成するために、一部のフレームを間引き読み出しされた画像から生成する。このため、全てのフレームを全画素読み出しされた画像から生成する場合と比較して、少ない演算量で画像処理することができる。したがって、一ストリームの動画を生成するために要する全体の演算量を低減することができる。
The
全画素読み出しされる画像を全画素画像と呼び、間引き読み出しされる画像を間引き画像と呼ぶ場合がある。また、全画素画像の画像データを全画素画像データと呼び、間引き画像の画像データを間引き画像データと呼ぶ場合がある。なお、全画素画像は第1画像の一例であり、間引き読み出しされる画像は、第1画像よりも少ない画素数の画像である第2画像の一例である。すなわち、撮像素子132、A/D変換器134および撮像素子駆動部140の機能ブロックは、撮像素子132から、全画素画像を読み出す場合よりも高い間引き率で間引き画像を読み出す読み出し部として機能する。本機能ブロックは、撮像素子132により撮像された動画を構成する複数の画像のうち、第1画像の画像データよりも少ない画素数で第2画像の画像データを出力する画像出力部の一例である。また、ASIC135は、出力された全画素画像データおよび間引き画像データをそれぞれ画像処理して、動画データを生成する画像処理部として機能する。例えば、ASIC135は、撮像素子から読み出された全画素画像データおよび間引き画像データに色補間処理、ガンマ補正、ホワイトバランス補正等を施す。
An image that is read out by all pixels may be referred to as an all pixel image, and an image that is read out by thinning out may be referred to as a thinned image. In some cases, image data of all pixel images is called all pixel image data, and image data of the thinned image is called thinned image data. Note that the all-pixel image is an example of the first image, and the thinned-out image is an example of the second image that is an image having a smaller number of pixels than the first image. That is, the functional blocks of the
ASIC135は、間引き読み出しされ画像処理が施されたN2画素の画像データに対して画素数変換処理を施して、N1画素の画像データに変換する。ASIC135は、画素数変換処理により得られたN1画素の画像データと、画像処理が施された全画素画像データとに対して、動画としての符号化処理を施す。例えば、ASIC135は、フレーム間符号化等の符号化処理を施す。符号化処理により得られた動画データは、カメラMPU133の制御によって、外部メモリ160に記録される。当該動画データには、全画素読み出しによって得られた画像データに基づくフレームデータが含まれる。したがって、撮像装置100によれば、画像処理に要する演算量を低減しつつ、ある程度高画質な動画データを提供することができる。画像処理に要する演算量を低減することができるので、ASIC135の消費電力を低減することができる。また、ASIC135の発熱量を低減することができる。
The
図2は、ASIC135のブロック構成の一例を模式的に示す。ASIC135は、処理切替部200、第1画像処理部210、第2画像処理部220、処理画像出力部230、符号化部240および閾値制御部250として機能する。第1画像処理部210は、前処理部212、後処理部214および画像解析部216を含む。第2画像処理部220は、前処理部222、後処理部224および画素数変換部226を含む。符号化部240は、フレーム内符号化部242およびフレーム間符号化部244を含む。
FIG. 2 schematically shows an example of the block configuration of the
第1画像処理部210は、全画素画像用の画像処理を行う画処理ブロックであり、第2画像処理部220は、間引き画像用の画像処理を行う画処理ブロックである。第1画像処理部210および第2画像処理部220は、別個のハードウェアで実装されてよい。第1画像処理部210および第2画像処理部は、論理的な処理ブロックとして実装されてもよい。処理切替部200は、全画素画像データを第1画像処理部210に画像処理させ、間引き画像データを第2画像処理部220に画像処理させる。処理切替部200は、全画素画像データを第1画像処理部210に提供し、間引き画像データを第2画像処理部220に提供するスイッチ部であってよい。
The first
第1画像処理部210は、N1画素の画素値を用いて画像処理を行い、第2画像処理部220は、N2画素数の画素値を用いて画像処理を行う。例えば、第1画像処理部210および第2画像処理部220がそれぞれ画像フィルタを適用して対応する画像処理を施す場合に、第2画像処理部220は、第1画像処理部210が適用する画像フィルタよりもフィルタサイズが小さい画像フィルタを適用してよい。
The first
前処理部212は、A/D変換器134から出力された全画素画像データに、前処理を施す。前処理としては、欠陥画素補正、黒レベル決定処理、感度比調整、ホワイトバランス評価値を算出する処理、ノイズ除去処理等を例示することができる。後処理部214は、前処理部212により処理され画像データに後処理を施す。後処理としては、ホワイトバランス調整、ガンマ補正、色補間処理、色変換処理等を例示することができる。色補間処理としては、1画素あたり1色の画像データから、1画素あたり3色の画像データを生成する処理等を例示することができる。色変換処理としては、RGB信号としての画像データを、YC信号としての画像データに変換する処理等を例示することができる。その他、後処理として、平滑化、輪郭補償、鮮鋭化、2次元フィルタリング、斜め線検出等の形状検出処理等を例示することができる。
The
画像解析部216は、画像データを解析する。例えば、画像解析部216は、画像データからエッジ成分を検出する。カメラMPU133は、全画素画像データからより大きいエッジ成分が検出された場合に、より多い画素数で間引き画像データを出力させてよい。具体的には、カメラMPU133は、撮像素子駆動部140を制御して、全画素画像データからより大きいエッジ成分が検出された場合に、より小さい間引き率で撮像素子132から間引き読み出しさせる。エッジ成分を多く含む場合に間引き率を小さくすることで、間引きによりエッジ情報が大きく失われることを未然に防ぐことができる。一方、エッジ成分が少ない場合には間引き率を大きくすることで、画質を著しく低下させることなく演算量を大きく低減することができる。
The
第2画像処理部220において、前処理部222は、前処理部212に対応する前処理を行う。前処理部222における欠陥画素補正処理では、撮像素子132の読み出しラインに属する欠陥画素に対して、欠陥画素補正する。また、後処理部224は、後処理部214に対応する後処理を行う。後処理部224は、後処理部214が適用する画像フィルタよりもフィルタサイズが小さい画像フィルタを適用してよい。後処理部224における画像処理の処理精度は、後処理部214よりも低くてよい。例えば、後処理部224における色補間処理の補間精度は、後処理部214における色補間処理の補間精度よりも低くてよい。
In the second
画素数変換部226は、後処理部224により処理された間引き画像データに対して、補間演算等によって画素数を変換する処理を行う。画素数変換部226は、後処理部224により処理された間引き画像データを、全画素画像データと同一の画素数の画像データに変換する。
The pixel
処理画像出力部230は、画像処理された全画素画像データおよび間引き画像データを、同一の画素数で出力する。具体的には、処理画像出力部230は、第1画像処理部210において画像処理が施された画像データと、第2画像処理部220から出力された対応する画像処理および画素数変換が施された画像データとのいずれかを選択して、SDRAM136に出力する。処理画像出力部230は、第1画像処理部210および第2画像処理部220のいずれから画像データを入力するかを選択して、SDRAM136に記憶させるスイッチ部であってよい。処理画像出力部230は、第1画像処理部210から画像処理後の全画素画像データが出力される場合、第1画像処理部210を入力として選択し、第2画像処理部220から画像処理および画素数変換が施された画像データが出力される場合、第2画像処理部220を入力として選択する。
The processed
なお、処理画像出力部230が出力する画像データが、全画素画像データおよび間引き画像データのいずれから生成された画像データであるかを区別することを目的として、全画素画像データから生成された画像データを単に全画素画像データと呼び、間引き画像データから生成された画像データを間引き画像データと呼ぶ場合がある。処理画像出力部230より後段の画像データはいずれも同じ画素数の画像データであるが、例えば処理画像出力部230より後段の画像データを示していることが明らかな場合は、間引き画像データから生成された画像データを間引き画像データと呼ぶ場合がある。
Note that an image generated from all-pixel image data for the purpose of distinguishing whether the image data output from the processed
符号化部240は、処理画像出力部230が出力した画像データを、動画として符号化する。具体的には、符号化部240は、処理画像出力部230が出力した画像データをSDRAM136から読み出して、符号化処理を施す。符号化部240は、全画素画像データをIフレームまたはPフレームとして符号化する。また、符号化部240は、間引き画像データをBフレームとして符号化する。
The
フレーム内符号化部242は、H.260等の規格におけるIフレームのデータを生成する処理に供される。フレーム間符号化部244は、PフレームまたはBフレームにおいて、フレーム間予測を用いて符号化するブロックに対するフレーム間符号化処理を行う。フレーム内符号化部242は、PフレームまたはBフレームにおいて、フレーム間予測を用いずに符号化すると判断されたブロックに対して、フレーム内符号化処理を施してよい。
The
このように、フレーム内符号化部242は、全画素画像データをIピクチャとして符号化する。フレーム間符号化部244は、処理画像出力部230が出力した画像データを、フレーム間予測を適用して動画として符号化する。具体的には、フレーム間符号化部244は、全画素画像データを参照フレームとして用いて、間引き画像データを符号化する。符号化部240は、全画素画像データをIピクチャまたはPピクチャとして符号化し、間引き画像データをBピクチャとして符号化する。Iフレーム、Pフレームのようにフレーム間予測において参照される可能性のあるフレームを、全画素画像データから生成するので、動画データの画質が著しく低下することを未然に防ぐことができる。
As described above, the
フレーム内符号化部242は、フレーム間予測において、符号化対象画像と予測画像との間の差分量が閾値より小さい場合に、予測誤差を0として符号化対象画像を符号化する。すなわち、フレーム内符号化部242は、フレーム間予測において予測誤差が当該閾値より小さい場合、画像内容が同一のブロックであるとみなす。この場合、符号化対象画像は、実質的に動きベクトルによって表現される。
The
閾値制御部250は、当該閾値を制御する。具体的には、閾値制御部250は、全画素画像データと間引き画像データとの間の画素数の差が大きいほど、閾値を大きい値に設定する。フレーム内符号化部242が扱う間引き画像データは、間引き読み出しした画像データを画素数変換したものである。したがって、画素数の差が大きいほど、間引き画像データと全画素画像データとの間の差分量も大きくなる場合がある。しかしながら、閾値制御部250が、読み出し時の画素数の差が大きいほど閾値を大きく設定するので、予測誤差がある程度大きい場合でも画像内容が同一のブロックとして適切に処理することができる場合がある。したがって、いわば全画素画像データに対応するIフレームまたはPフレームの画像情報を用いて、動画データにおいて間引き画像に対応するBフレームを高画質化することができる。このため、撮像素子132を大きく間引き駆動しつつ、高画質な動画データを提供することができる。
The
図3は、撮像素子132を全画素読み出し駆動して得られる全画素画像データの一例を示す。撮像素子132は、有効画素としてL×Mのマトリクス状に光電変換素子を配列した光電変換素子アレイを有する。複数の光電変換素子は、R、G、Bのいずれかの光を選択的に透過するカラーフィルタを通じて被写体光を受光する。
FIG. 3 shows an example of all pixel image data obtained by driving the
カメラMPU133は、IフレームまたはPフレームとして処理される画像データを読み出す場合、光電変換素子アレイから全画素読み出しするよう撮像素子駆動部140を制御する。この結果、撮像素子132に形成された被写体像300は、全画素画像データ310としてASIC135に取り込まれる。具体的には、1画素あたり1色の画像データとして、ASIC135に取り込まれる。例えば、全画素画像データ310における第1ラインに属するM個の画素値は、被写体像300の第1ラインに属するM個の光電変換素子の出力にそれぞれ対応し、全画素画像データ310における第Lラインに属するM個の画素値は、被写体像300の第Lラインに属するM個の光電変換素子の出力にそれぞれ対応する。したがって、例えば光電変換素子アレイが5760×3240の光電変換素子で形成される場合、5760×3240の画素数の全画素画像データ310がASIC135に取り込まれる。
When reading image data processed as an I frame or a P frame, the
図4は、撮像素子132を間引き読み出し駆動して得られる間引き画像データの一例を示す。カメラMPU133は、Bフレームとして処理される画像データを読み出す場合、光電変換素子アレイから間引き読み出しするよう撮像素子駆動部140を制御する。この結果、撮像素子132に形成された被写体像400は、全画素画像データ410としてASIC135に取り込まれる。例えば、全画素画像データ410における第1ラインに属するM個の画素値は、被写体像400の第1ラインに属するM個の光電変換素子の出力にそれぞれ対応する。一方、全画素画像データ310における第L/3ラインに属するM個の画素値は、被写体像300の第L−2ラインに属するM個の光電変換素子の出力にそれぞれ対応する。したがって、例えば、光電変換素子アレイが5760×3240の光電変換素子で形成される場合、5760×1080の画素数の間引き画像データ410がASIC135に取り込まれる。本図に例示されるように、間引き画像データが表す画像は、全画素画像データが表す画像の部分画像ではなく、全画素画像データが表す画像と画角が略等しい画像であるといえる。
FIG. 4 shows an example of thinned image data obtained by thinning readout driving of the
このように、撮像素子132から間引き読み出しすることで、撮像素子132、A/D変換器134、撮像素子駆動部140における処理ブロックの消費電力も低減することができる場合がある。なお、撮像素子132を単に間引き駆動するだけでなく、画素加算することによって間引き画像データを出力してもよい。例えば、撮像素子駆動部140は、複数ラインに属する光電変換素子の電荷を加算させて、加算された電荷信号をA/D変換器134に供給してもよい。
In this manner, by performing thinning-out reading from the
図5は、撮像素子駆動部140がASIC135における符号化と同期して読み出しを制御する制御例を示す。符号化部240は、ASIC135に順次に取り込まれた画像データに対して、予め定められた順でIフレーム、Pフレーム、Bフレームとして符号化処理を施す。例えば、符号化部240は、複数のGOP(Group Of Pictures)で構成されるMPEG動画を生成する場合に、各GOPの先頭のフレームをIフレームとし、以後Bフレームを2個生成する毎に、Pフレームを1つ生成する。
FIG. 5 shows a control example in which the image
カメラMPU133は、符号化部240におけるフレーム符号化処理と、光電変換素子アレイからの読み出し駆動とを同期させる。カメラMPU133は、符号化部240においてIフレームとして符号化されるべき画像データを取り込む場合に、撮像素子駆動部140に全画素読み出し駆動させる。カメラMPU133は、符号化部240においてPフレームとして符号化されるべき画像データを取り込む場合にも、撮像素子駆動部140に全画素読み出し駆動させる。カメラMPU133は、符号化部240においてBフレームとして符号化されるべき画像データを取り込む場合に、撮像素子駆動部140に間引き読み出し駆動させる。
The
また、カメラMPU133は、撮像素子駆動部140に全画素読み出し駆動させた場合には、処理切替部200を制御して、ASIC135に取り込まれた画像データを第1画像処理部210へ供給させる。カメラMPU133は、撮像素子駆動部140に間引き読み出し駆動させた場合には、処理切替部200を制御して、ASIC135に取り込まれた画像データを第2画像処理部220へ供給させる。したがって、第1画像処理部210は、全画素データを処理する場合に動作する。また、第2画像処理部220は、間引き画像データを処理する場合に動作する。このため、撮像素子132を間引き駆動した場合には、第1画像処理部210は動作しなくて済む。つまり、第1画像処理部210の画像処理を実装する大規模な回路ブロックを、常時動作させずに済む。
In addition, when the image
フレーム内符号化部242は、カメラMPU133の制御に従って、SDRAM136から順次に読み出した画像データに対してイントラ符号化を適用してIフレームとして生成する。続いて、フレーム間符号化部244は、次にPフレームとして符号化されるべき画像データをSDRAM136から読み出して、前方向予測によるフレーム間符号化を適用する。次に、当該画像データより前の2個の画像データを順次に読み出して、それぞれ双予測によるフレーム間符号化を適用して、2個のBフレームを生成する。以後、フレーム間符号化部244は、Pフレームの生成と、2個のBフレームの生成を繰り返して、1つのGOPデータを生成する。符号化部240は、同様の処理を予め定められた数の画像データ毎に適用して、順次に複数のGOPデータを生成する。カメラMPU133は、動画撮影として撮像素子132を連続的に駆動している間に、必要に応じてGOP単位でSDRAM136から外部メモリ160へGOPデータを転送する。
The
図6は、撮像装置100における動作フローの概略を示す。本フローは、操作入力部141の一部としての電源スイッチがONされた場合に、開始される。
FIG. 6 shows an outline of an operation flow in the
ステップS602において、初期設定を開始する。例えば、カメラMPU133は、撮像装置100を制御するプログラム、各種パラメータなどを、システムメモリ139からSDRAM136に展開する。システムメモリ139からSDRAM136に展開されるパラメータとしては、静止画撮像および動画撮像のそれぞれの撮像条件等を例示することができる。具体的には、ユーザによって電源ONされる前に設定された撮像条件が、撮像モードに対応づけてシステムメモリ139に記録されている。本初期処理において、当該撮像条件が撮像モードに対応づけてSDRAM136に展開される。
In step S602, initial setting is started. For example, the
また、カメラMPU133は、例えば撮像モードを切り替える撮像モードスイッチ等を含む操作入力部141の状態、および、展開された各種パラメータに基づき、撮像装置100の各部の動作条件を設定する。例えば、撮像モードスイッチが示す撮像モードに対応づけてSDRAM136に展開された撮像条件に従って、各撮像モードのデフォルトの撮像条件を設定する。撮像条件としては、動画のフレームレート等を例示することができる。
In addition, the
ステップS604において、操作入力部141に対するユーザ指示を判断する。ユーザ指示が諸設定を実行する指示である場合、カメラMPU133が主体となって、指示された設定処理を行う(ステップS642)。ステップS642における処理としては、撮像条件等を設定する処理、動画を継続して撮影する時間である動作撮影時間を設定する処理等を例示することができる。
In step S604, a user instruction to the
ステップS604の判断において、ユーザ指示が画像の再生を実行する指示であると判断された場合、再生処理を実行する(ステップ632)。再生処理としては、外部メモリ160に記録された画像を表示部138にサムネイル表示する処理、ユーザにより選択された画像を表示部138に表示する処理等を例示することができる。
If it is determined in step S604 that the user instruction is an instruction to execute image reproduction, reproduction processing is executed (step 632). Examples of the reproduction processing include processing for displaying an image recorded in the
ステップS604の判断において、ユーザ指示が撮影を実行する指示であると判断された場合、ステップS606において、動画を撮像するか静止画を撮像するかを判断する。例えば、操作入力部141の一部としてのレリーズスイッチが押し込まれた場合、静止画を撮像する指示であると判断する。操作入力部141の一部としての動画撮影ボタンが押し込まれた場合、動画を撮像する指示であると判断する。
If it is determined in step S604 that the user instruction is an instruction to execute shooting, it is determined in step S606 whether to capture a moving image or a still image. For example, when a release switch as a part of the
静止画を撮像する場合、ステップS608において静止画撮影の処理を実行する。具体的には、カメラMPU133は、撮像素子駆動部140を制御して撮像素子132で露光させ、撮像素子132から静止画データとしてASIC135に取り込む処理を行う。そして、カメラMPU133は、取り込んだ画像データに対してASIC135に色補間処理、ガンマ補正、ホワイトバランス調整等の処理を実行させ、SDRAM136に記憶させる。続いて、ステップS610において、カメラMPU133は、SDRAM136に記憶された画像データを外部メモリ160に記録させる。
If a still image is to be imaged, still image shooting processing is executed in step S608. Specifically, the
ステップS606の判断において、動画を撮像する指示であると判断された場合、ステップS622において動画撮影を行う。具体的には、カメラMPU133は、撮像素子駆動部140を制御して撮像素子132で露光させ、撮像素子132からASIC135にフレームとしての画像データを取り込ませる処理を繰り返す。撮像素子駆動部140は、撮像条件として指定されたフレームレートに従って、撮像素子132を読み出し駆動する。ASIC135は、取り込まれた画像データを動画用に処理して動画データを生成する。例えば、ASIC135は、上述したGOPデータを生成する。ステップS622における処理フローについては、図7に関連して説明する。
If it is determined in step S606 that the instruction is to capture a moving image, moving image shooting is performed in step S622. Specifically, the
続いて、ステップS624において、動画の撮像を終了する否かを判断する。例えば、動画撮影ボタンが再度押し込まれた場合に、動画の撮像を終了すると判断する。動画の撮像を終了しない場合、ステップS622に処理を移行させ、動画の撮像を終了すると判断されるまで、フレームとしての画像データの取り込みと動画用の画処理とを繰り返す。ステップS624の判断において動画の撮像を終了すると判断された場合、ステップS610に処理を移行させる。ステップS610においては、複数のGOPのGOPデータだけでなく、ヘッダ情報等の付加情報を含む動画ファイルを生成する。 Subsequently, in step S624, it is determined whether or not to finish moving image capturing. For example, when the moving image shooting button is pressed again, it is determined that the shooting of the moving image ends. If the moving image capturing is not ended, the process proceeds to step S622, and the capturing of the image data as a frame and the moving image image processing are repeated until it is determined that the moving image capturing ends. If it is determined in step S624 that moving image capturing is to be terminated, the process proceeds to step S610. In step S610, a moving image file including not only GOP data of a plurality of GOPs but also additional information such as header information is generated.
ステップS642、ステップS612、ステップS632の処理が完了すると、ステップS614に進み、電源をOFFするか否かを判断する。例えば、電源スイッチがOFF位置に切り替えられた場合や、電源がONされてから予め定められた期間、ユーザ指示のない状態が継続した場合等に、電源をOFFすると判断する。電源をOFFすると判断した場合は動作を終了し、電源をOFFしないと判断した場合はステップS604に処理を移行させる。 When the processes of step S642, step S612, and step S632 are completed, the process proceeds to step S614 to determine whether to turn off the power. For example, it is determined that the power is turned off when the power switch is switched to the OFF position, or when a state without a user instruction continues for a predetermined period after the power is turned on. If it is determined that the power is to be turned off, the operation is terminated. If it is determined that the power is not to be turned off, the process proceeds to step S604.
図7は、動画撮影における動作フローの一例を示す。本フローは、図6のステップS622の詳細な処理フローの一例である。本処理フローに関する処理は、カメラMPU133が主体となって、撮像素子駆動部140、ASIC135等を制御することによって実行される。
FIG. 7 shows an example of an operation flow in moving image shooting. This flow is an example of a detailed processing flow of step S622 in FIG. The processing related to this processing flow is executed by controlling the image
ステップS702において、カメラMPU133は、撮像素子132を間引き駆動すべきか否かを判断する。具体的には、Bフレームとして処理される画像データを撮像する場合であり、かつ、予め定められた条件を満たす場合に、撮像素子132を間引き駆動すべき旨を判断する。
In step S702, the
予め定められた条件として、撮像装置100が電池により駆動されており、電池の残存容量が予め定められた残存容量の基準値より小さい旨の電源条件を例示することができる。また、予め定められた条件として、温度検出部142が検出した温度が予め定められた温度の基準値より大きい旨の温度条件を例示することができる。また、予め定められた条件として、画像のエッジ量が予め定められたエッジ量の基準値よりも小さい旨のエッジ量条件を例示することができる。当該電源条件、温度条件およびエッジ量条件の少なくともいずれかが満たされた場合に、予め定められた条件が満たされたと判断してよい。
As a predetermined condition, the power supply condition that the
間引き駆動すべきと判断された場合、カメラMPU133は間引き率を設定する(ステップS704)。ステップS704における処理フローについては、図8に関連して説明する。
If it is determined that the thinning drive should be performed, the
続いて、ステップS706において、カメラMPU133は、撮像素子駆動部140を制御して撮像素子132を間引き駆動させる。ステップS708においてカメラMPU133は、ASIC135に、取り込まれた間引き画像データを第2画像処理部220で画像処理させる。第2画像処理部220で処理された間引き画像データは、SDRAM136に記憶される。
Subsequently, in step S706, the
ステップS702で間引き制御すべきでないと判断された場合、撮像素子駆動部140を制御して撮像素子132を全画素駆動させる(ステップS742)。続いて、ステップS744においてカメラMPU133は、ASIC135に、取り込まれた全画素画像データを第1画像処理部210で画像処理させる。第1画像処理部210で処理された全画素画像データは、SDRAM136に記憶される。
If it is determined in step S702 that the thinning control should not be performed, the image
ステップS708、ステップS744の処理が完了すると、ASIC135は、動画の符号化処理として、ステップS710に処理を進める。ステップS710において、SDRAM136に記憶されている画像データの中に、Iフレームとして処理すべき画像データが存在するか否かを判断する。Iフレームとして処理すべき画像データが存在する場合、当該画像データを選択して、フレーム内符号化を施し(ステップS712)、IフレームのデータとしてSDRAM136に記憶する(ステップS714)。
When the processes of step S708 and step S744 are completed, the
Iフレームとして処理すべき画像データが存在しない場合、ステップS722において、Pフレームとして処理すべき画像データが存在するか否かを判断する。Pフレームとして処理すべき画像データが存在しない場合、すなわち、処理すべき画像データがBフレームとして処理される画像データである場合、間引き駆動されて得られた画像データであるか否かを判断する(ステップS724)。間引き駆動されて得られた画像データである場合、閾値制御部250は、予測誤差0とするか否かを判断するための閾値を大きく設定する(ステップS726)。続いて、ステップS728において、フレーム間符号化部244が画像データにフレーム間符号化を施す。具体的には、ステップS728においては、画像データにフレーム間符号化を施してBフレームを生成する。
If there is no image data to be processed as an I frame, it is determined in step S722 whether there is image data to be processed as a P frame. When there is no image data to be processed as a P frame, that is, when the image data to be processed is image data processed as a B frame, it is determined whether or not the image data is obtained by thinning driving. (Step S724). In the case of image data obtained by thinning driving, the
ステップS724の判断において、間引き駆動されて得られた画像データでないと判断された場合、予測誤差0とするか否かを判断するための閾値として、予め定められた基準の閾値を適用し(ステップS732)、ステップS728に処理を進める。 If it is determined in step S724 that the image data is not obtained by thinning driving, a predetermined reference threshold is applied as a threshold for determining whether or not the prediction error is 0 (step S724). S732), the process proceeds to step S728.
ステップS722の判断において、Pフレームとして処理すべき画像データが存在すると判断された場合、ステップS732に処理を進めて、予測誤差0とするか否かを判断するための閾値として、予め定められた基準の閾値を適用する。続いて、ステップS728において、フレーム間符号化部244が画像データにフレーム間符号化を施して、Pフレームを生成する。
If it is determined in step S722 that there is image data to be processed as a P frame, the process proceeds to step S732, and a threshold value is determined as a threshold for determining whether or not the prediction error is zero. Apply a reference threshold. Subsequently, in step S728, the
ステップS728の処理が完了すると、ステップS728で生成されたBフレームまたはPフレームをSDRAM136に記憶する(ステップS714)。ステップS714の処理が完了すると本処理フローを終了する。 When the process of step S728 is completed, the B frame or the P frame generated in step S728 is stored in the SDRAM 136 (step S714). When the process of step S714 is completed, the process flow ends.
本処理フローによれば、例えばASIC135の温度が一時的に高温になった場合に、Bフレームのタイミングで撮像素子132を間引き読み出しすることでASIC135における演算量を低減することができる。このため、ASIC135の温度が著しく高温になることを未然に防ぎつつ、比較的に高画質な動画データを提供することができる。そして、ASIC135の温度が予め定められた値以下になった場合には、全画素画像データで各フレームが構成される動画データを生成することができる。
According to this processing flow, for example, when the temperature of the
図8は、間引き率を設定する場合の動作フローの一例を示す。本フローは、図7のステップS704の詳細な処理フローの一例である。本処理フローに関する処理は、カメラMPU133が主体となって実行する。
FIG. 8 shows an example of an operation flow when setting the thinning rate. This flow is an example of a detailed processing flow of step S704 in FIG. The processing related to this processing flow is executed mainly by the
ステップS802において、カメラMPU133は、温度検出部142が検出した温度が予め定められた温度の基準値よりも大きいか否かを判断する。温度検出部142が検出した温度が予め定められた温度の基準値よりも大きい場合、カメラMPU133は、温度検出部142が検出した温度と、温度の基準値との差に応じて、間引き率を設定する(ステップS804)。例えば、カメラMPU133は、温度の基準値との差が大きいほど、大きい間引き率を設定する。このため、温度検出部142が検出した温度が高いほど、間引き画像データをより少ない画素数で出力することができる。
In step S <b> 802, the
ステップS802の判断において、温度検出部142が検出した温度が予め定められた温度の基準値以下であると判断された場合、カメラMPU133は、電池の残存容量が不足するか否かを判断する(ステップS812)。例えば、電池の残存容量が予め定められた残存容量の基準値より小さい場合に、電池の残存容量が不足すると判断してよい。このため、残存容量が少ないほど、間引き画像データをより少ない画素数で出力することができる。
If it is determined in step S802 that the temperature detected by the
なお、動画を撮像すべき時間と、電池の残存容量との比較結果に基づき、残存容量が不足するか否かを判断してもよい。例えば、電池の残存容量に基づき動画を撮影できる時間を予測して、動画を撮影できる時間が、ユーザが指示した動画撮影時間よりも短い場合に、残存容量が不足すると判断してよい。動画を撮影できる時間は、電池の残存容量と、動画撮影時に撮像装置100が単位時間あたりに消費する電力量とから予測してよい。単位時間あたりに消費する電力量は、動画撮影を開始してからの残存容量の時間変化に基づいて算出してよい。
Note that it may be determined whether or not the remaining capacity is insufficient based on a comparison result between the time for capturing the moving image and the remaining capacity of the battery. For example, it may be determined that the remaining capacity is insufficient when the time during which a moving image can be shot is shorter than the moving image shooting time specified by the user by predicting the time during which a moving image can be shot based on the remaining capacity of the battery. The time during which a moving image can be shot may be predicted from the remaining battery capacity and the amount of power consumed by the
電池の残存容量に応じて間引き率を設定することで、指示された動画撮影時間の動画撮影をすることができる場合には、全画素画像データで構成される動画データを生成することができる。例えば、動画撮影中にユーザがASIC135の表示をOFF等することで、撮像装置100全体の消費電力が低下する場合がある。全体の消費電力が低下することで、指示された動画撮影時間の動画撮影をすることができるようになった場合には、全画素画像データで構成される動画データを生成することができる。
By setting the thinning rate according to the remaining capacity of the battery, when moving image shooting can be performed during the specified moving image shooting time, moving image data composed of all pixel image data can be generated. For example, when the user turns off the display of the
ステップS812の判断において、電池の残存容量が不足すると判断された場合、カメラMPU133は、残存容量の不足量に応じて間引き率を設定する。例えば、カメラMPU133は、残存容量の不足量が大きいほど、大きい間引き率を設定する。
If it is determined in step S812 that the remaining capacity of the battery is insufficient, the
ステップS812の判断において、電池の残存容量が不足しないと判断された場合、カメラMPU133は、画像解析部216が全画素画像データから抽出したエッジ量に応じて、間引き率を設定する(ステップS822)。例えば、カメラMPU133は、エッジ量が小さいほど、高い間引き率を設定する。エッジ量が小さい場合、間引き率を高く設定してもフレームの画質が著しく低下することはないので、動画の画質が著しく低下することもない。エッジ量が小さい場合にも間引き率を高く設定することで、電池による撮像装置100の駆動時間を更に長くすることができる。
If it is determined in step S812 that the remaining battery capacity is not insufficient, the
ステップS804、ステップS814、ステップS822の処理が完了すると、本動作フローを終了する。本処理フローで説明したように、撮像装置100によれば、温度や電池の残存容量等に応じて段階的に間引き率を調節することができる。
When the processes of step S804, step S814, and step S822 are completed, the operation flow ends. As described in the present processing flow, according to the
図9は、ASIC135のブロック構成の他の一例を示す。本構成のASIC135は、図2で例示した構成要素に加えて、間引き処理部900をさらに備える。間引き処理部900以外の構成要素については、図2において同じ符号を付した構成要素と略同様の動作をするので、その相違点を除いて、説明を省略する。
FIG. 9 shows another example of the block configuration of the
本例において、撮像素子132、A/D変換器134および撮像素子駆動部140は、全画素の読み出しを行う。間引き処理部900は、A/D変換器134が出力した全画素の画像データを取得する。間引き処理部900は、撮像素子132から読み出された第2画像の画像データに画素の間引き処理を施すことにより、撮像素子132から読み出された第2画像の画像データを、撮像素子132から読み出された第1画像の画像データよりも少ない画素数の画像データに変換して出力する。本例の間引き処理部900は、撮像素子132により撮像された動画を構成する複数の画像のうち、第1画像の画像データよりも少ない画素数で第2画像の画像データを出力する画像出力部の一例である。
In this example, the
処理切替部200は、間引き処理部900が出力した画像データを取得する。処理切替部200は、間引き処理部900から取得した第1画像データを、第1画像処理部210に出力する。処理切替部200は、間引き処理部900から出力された第2画像の画像データを、第2画像処理部220に出力する。
The
第1画像処理部210は、第1画像データを、図1から図8に関連して説明した全画素画像データとして処理する。第2画像処理部220は、第2画像データを、図1から図8に関連して説明した間引き画像データとして処理する。また、第1画像処理部210および第2画像処理部220よりも後段の処理についても、図1から図8に関連して説明した処理と同様である。
The first
本例のASIC135によっても、処理切替部200は、画素数が少ない画像データを第2画像処理部220に画像処理させ、画素数が多い画像データを第1画像処理部210に画像処理させることができる。このため、動画において画質が著しく低下することを未然に防ぐことができる。また、画素を間引かない場合と比較して、画像処理に要する消費電力を低減することができる。また、画像処理により生じる発熱量も低減することができる。
Also with the
以上の説明において、動画データの一例としてのMPEGファイル等、フレーム間符号化が施された動画データを生成する場合を主として取り上げて、撮像装置100の各部の処理を具体的に説明した。しかし、動画データとしては、MPEGファイル等に限られず、Motion Jpeg等、フレーム間符号化を施さずに生成された動画データであってよい。
In the above description, the processing of each unit of the
また、以上の説明において、外部メモリ160に記録される動画データを生成する場合を取り上げて、撮像装置100の各部の処理を具体的に説明した。しかし、表示部138に動画として表示するための表示用の画像データを、以上に説明した処理を適用して生成してもよい。例えば、第1画像処理部210および第2画像処理部220が画像処理を施した画像データを、処理画像出力部230が表示用の画像データとして出力してもよい。
Further, in the above description, the processing of each unit of the
以上において撮像装置100に関連して説明した処理は、撮像装置100の各部、例えばカメラMPU133等のプロセッサ等が、プログラムに従って動作することにより、実現することができる。すなわち、当該処理を、いわゆるコンピュータ装置によって実現することができる。コンピュータ装置は、上述した処理の実行を制御するプログラムをロードして、読み込んだプログラムに従って動作して、当該処理を実行してよい。コンピュータ装置は、当該プログラムを記憶しているコンピュータ読取可能な記録媒体を読み込むことによって、当該プログラムをロードすることができる。
The processing described above in relation to the
本実施形態において、一眼レフカメラとしての撮像装置100を取り上げて撮像装置の一例を説明した。撮像装置としては、レンズ交換式の一眼レフカメラ、ミラーレス一眼カメラ、コンパクトデジタルカメラ、ビデオカメラ、撮像機能付きの携帯電話機、撮像機能付きの携帯情報端末、撮像機能付きのゲーム機器等の娯楽装置、撮像機能を有するパーソナルコンピュータ等、撮像機能を有する種々の機器を適用の対象とすることができる。
In the present embodiment, an example of the imaging apparatus has been described by taking up the
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。 As mentioned above, although this invention was demonstrated using embodiment, the technical scope of this invention is not limited to the range as described in the said embodiment. It will be apparent to those skilled in the art that various modifications or improvements can be added to the above-described embodiment. It is apparent from the scope of the claims that the embodiments added with such changes or improvements can be included in the technical scope of the present invention.
特許請求の範囲、明細書、および図面中において示した装置、システム、プログラム、および方法における動作、手順、ステップ、および段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。 The order of execution of each process such as operations, procedures, steps, and stages in the apparatus, system, program, and method shown in the claims, the description, and the drawings is particularly “before” or “prior to”. It should be noted that the output can be realized in any order unless the output of the previous process is used in the subsequent process. Regarding the operation flow in the claims, the description, and the drawings, even if it is described using “first”, “next”, etc. for convenience, it means that it is essential to carry out in this order. It is not a thing.
100 撮像装置、120 交換レンズ、121 レンズマウント接点、130 カメラ本体、131 カメラマウント接点、122 レンズ群、132 撮像素子、123 レンズMPU、133 カメラMPU、134 A/D変換器、135 ASIC、136 SDRAM、137 表示制御部、138 表示部、139 システムメモリ、140 撮像素子駆動部、141 操作入力部、145 接続インタフェース、170 電源、160 外部メモリ、200 処理切替部、210 第1画像処理部、220 第2画像処理部、230 処理画像出力部、240 符号化部、250 閾値制御部、212 前処理部、214 後処理部、216 画像解析部、222 前処理部、224 後処理部、226 画素数変換部、240 符号化部、242 フレーム内符号化部、244 フレーム間符号化部
DESCRIPTION OF
Claims (15)
前記撮像部が撮像した動画を構成する複数の画像のうち、第1画像の画像データよりも少ない画素数で第2画像の画像データを出力する画像出力部と、
前記画像出力部が出力した前記第1画像の画像データおよび前記第2画像の画像データをそれぞれ画像処理して、動画データを生成する画像処理部と
を備える撮像装置。 An imaging unit;
An image output unit that outputs the image data of the second image with a smaller number of pixels than the image data of the first image among a plurality of images constituting the moving image captured by the imaging unit;
An image pickup apparatus comprising: an image processing unit that generates image data by performing image processing on each of the image data of the first image and the image data of the second image output by the image output unit.
をさらに備える請求項1に記載の撮像装置。 The imaging apparatus according to claim 1, further comprising a recording control unit that records the moving image data generated by the image processing unit on a recording medium.
を有する請求項1または2に記載の撮像装置。 The imaging apparatus according to claim 1, wherein the image output unit includes a reading unit that reads a second image at a higher decimation rate than a case where the first image is read from an imaging element included in the imaging unit.
を有する請求項1から3のいずれか一項に記載の撮像装置。 4. The image processing unit according to claim 1, further comprising: performing color interpolation processing on the image data of the first image and the image data of the second image read from an image sensor included in the imaging unit. The imaging device according to item.
画像処理された前記第1画像の画像データおよび前記第2画像の画像データを、同一の画素数で出力する処理画像出力部と、
前記処理画像出力部が出力した画像データを、動画として符号化する符号化処理部と
を有する請求項1から4のいずれか一項に記載の撮像装置。 The image processing unit
A processed image output unit that outputs the image data of the first image and the image data of the second image that have undergone image processing, with the same number of pixels;
The imaging apparatus according to claim 1, further comprising: an encoding processing unit that encodes the image data output from the processed image output unit as a moving image.
請求項5に記載の撮像装置。 The imaging apparatus according to claim 5, wherein the encoding processing unit encodes the image data output from the processed image output unit as a moving image using inter-frame prediction.
請求項6に記載の撮像装置。 The imaging apparatus according to claim 6, wherein the encoding processing unit encodes the image data of the second image using the image data of the first image as a reference frame.
請求項7に記載の撮像装置。 The imaging apparatus according to claim 7, wherein the encoding processing unit encodes the image data of the first image as an I picture or a P picture, and encodes the image data of the second image as a B picture.
前記画像処理部は、
前記画像出力部が出力する前記第1画像の画像データと前記第2画像の画像データとの間の画素数の差が大きいほど、前記閾値を大きい値に設定する閾値制御部
を有する請求項8に記載の撮像装置。 In the inter-frame prediction, the encoding processing unit encodes the encoding target image with a prediction error of 0 when the difference amount between the encoding target image and the prediction image is smaller than a threshold value,
The image processing unit
The threshold control unit configured to set the threshold to a larger value as the difference in the number of pixels between the image data of the first image and the image data of the second image output from the image output unit is larger. The imaging device described in 1.
請求項1から9のいずれか一項に記載の撮像装置。 10. The image output unit according to claim 1, wherein the image output unit outputs the image data of the second image with a larger number of pixels when a larger edge component is detected from the image data of the first image. The imaging device described in 1.
第1画素数の画素値を用いて画像処理を行う第1処理部と、
前記第1画素数よりも少ない第2の画素数の画素値を用いて画像処理を行う第2処理部と、
前記第1画像の画像データを前記第1処理部に画像処理させ、前記第2画像の画像データを前記第2処理部に画像処理させる処理切替部と
を有する請求項1から10のいずれか一項に記載の撮像装置。 The image processing unit
A first processing unit that performs image processing using pixel values of a first number of pixels;
A second processing unit that performs image processing using a pixel value of a second number of pixels smaller than the first number of pixels;
The process switching unit according to claim 1, further comprising: a process switching unit that causes the first processing unit to perform image processing on the image data of the first image and causes the second processing unit to perform image processing on the image data of the second image. The imaging device according to item.
請求項1または2に記載の撮像装置。 The image output unit performs the pixel thinning process on the image data of the second image read from the image pickup device included in the image pickup unit, thereby obtaining the image data of the second image read from the image pickup device, The imaging apparatus according to claim 1, wherein the image data is converted into image data having a smaller number of pixels than the image data of the first image read from the image sensor and output.
をさらに備え、
前記画像出力部は、前記残存容量が少ないほど、前記第2画像の画像データをより少ない画素数で出力する
請求項1から12のいずれか一項に記載の撮像装置。 A remaining capacity detector for detecting a remaining capacity of a battery that drives the imaging device;
The imaging device according to any one of claims 1 to 12, wherein the image output unit outputs image data of the second image with a smaller number of pixels as the remaining capacity is smaller.
をさらに備え、
前記画像出力部は、前記検出された温度が高いほど、前記第2画像の画像データをより少ない画素数で出力する
請求項1から13のいずれか一項に記載の撮像装置。 A temperature detection unit that detects a temperature of a circuit block that performs image processing by the image processing unit;
The imaging device according to any one of claims 1 to 13, wherein the image output unit outputs image data of the second image with a smaller number of pixels as the detected temperature is higher.
前記画像出力ステップで出力された前記第1画像の画像データおよび前記第2画像の画像データをそれぞれ画像処理して、動画データを生成する画像処理ステップと
をコンピュータに実行させるプログラム。 An image output step of outputting the image data of the second image with a smaller number of pixels than the image data of the first image among the plurality of images constituting the captured moving image;
A program for causing a computer to execute an image processing step of generating image data by performing image processing on each of the image data of the first image and the image data of the second image output in the image output step.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011103847A JP2012235396A (en) | 2011-05-06 | 2011-05-06 | Imaging device and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011103847A JP2012235396A (en) | 2011-05-06 | 2011-05-06 | Imaging device and program |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2012235396A true JP2012235396A (en) | 2012-11-29 |
Family
ID=47435264
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011103847A Withdrawn JP2012235396A (en) | 2011-05-06 | 2011-05-06 | Imaging device and program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2012235396A (en) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2019075653A (en) * | 2017-10-13 | 2019-05-16 | 株式会社ニコン | Imaging apparatus |
JP2022027826A (en) * | 2017-10-13 | 2022-02-14 | 株式会社ニコン | Imaging apparatus |
-
2011
- 2011-05-06 JP JP2011103847A patent/JP2012235396A/en not_active Withdrawn
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2019075653A (en) * | 2017-10-13 | 2019-05-16 | 株式会社ニコン | Imaging apparatus |
JP2022027826A (en) * | 2017-10-13 | 2022-02-14 | 株式会社ニコン | Imaging apparatus |
JP7294392B2 (en) | 2017-10-13 | 2023-06-20 | 株式会社ニコン | Imaging device |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4766320B2 (en) | Imaging apparatus and program thereof | |
KR101229600B1 (en) | Image capturing apparatus and camera shake correction method, and computer-readable medium | |
KR101822661B1 (en) | Vision recognition apparatus and method | |
US9398230B2 (en) | Imaging device and imaging method | |
US8982230B2 (en) | Image pickup apparatus including image adjustment processing for improving an appearance of an image, the image adjustment processing to be applied when it is determined that an imaging scene is finalized | |
JP2014003496A (en) | Image processing device, imaging device, and program | |
JP2013146017A (en) | Imaging device and program | |
WO2005020566A1 (en) | Imaging device | |
JP2013123172A (en) | Imaging apparatus and program | |
US8836821B2 (en) | Electronic camera | |
WO2011099092A1 (en) | Motion-recognizing remote-control receiving device, and motion-recognizing remote-control control method | |
JP5387341B2 (en) | Imaging device | |
US8098288B2 (en) | Imaging apparatus and method of controlling imaging | |
US10244199B2 (en) | Imaging apparatus | |
JP2012235396A (en) | Imaging device and program | |
US11653089B2 (en) | Imaging apparatus and controlling method | |
US8081229B2 (en) | Imaging apparatus | |
JP5067475B2 (en) | Imaging apparatus and program thereof | |
JP2015019243A (en) | Imaging apparatus, and control method therefor and program | |
JP2013179542A (en) | Image processing device and program | |
JP5482427B2 (en) | Imaging apparatus, camera shake correction method, and program | |
JP2014023114A (en) | Imaging device and program | |
JP2013172445A (en) | Imaging apparatus, imaging control method, and program | |
JP2011244028A (en) | Imaging apparatus, shake correcting method, and program | |
JP5600935B2 (en) | Image recording apparatus, image recording method, and image recording program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A300 | Application deemed to be withdrawn because no request for examination was validly filed |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20140805 |