JP7348783B2 - Imaging device, its control method, program and recording medium - Google Patents
Imaging device, its control method, program and recording medium Download PDFInfo
- Publication number
- JP7348783B2 JP7348783B2 JP2019165529A JP2019165529A JP7348783B2 JP 7348783 B2 JP7348783 B2 JP 7348783B2 JP 2019165529 A JP2019165529 A JP 2019165529A JP 2019165529 A JP2019165529 A JP 2019165529A JP 7348783 B2 JP7348783 B2 JP 7348783B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- storage means
- image signal
- signal
- imaging device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Transforming Light Signals Into Electric Signals (AREA)
- Studio Devices (AREA)
Description
本発明は、撮像装置、その制御方法、プログラムおよび記録媒体に関する。 The present invention relates to an imaging device, a control method thereof, a program, and a recording medium.
近年、撮像素子の高性能化や高機能化により、撮像素子は静止画の高速連写や動画の高フレームレート撮影のために高い頻度で画像信号を生成可能になっている。高速に生成される画像信号を処理するため、複数の画像処理回路を用いて画像信号を段階的に処理する技術が知られている(特許文献1)。特許文献1に開示される技術では、まず第1の画像処理回路が生成された画像信号に前処理を高速に施し、そして、第2の画像処理回路が第1の画像処理回路からの出力に対して、第1の画像処理回路より低いフレームレートで処理を施す。このとき、回路の処理速度の違いを補うため、第1の画像処理回路が処理した画像信号をフレームメモリに一時的に記憶する。また、特許文献1には、このような構成において、フレームメモリの状態を確認して、高速フレームレート撮影の実施可否を制御することが開示されている。 2. Description of the Related Art In recent years, as the performance and functionality of image sensors have improved, image sensors have become capable of generating image signals with high frequency for high-speed continuous shooting of still images and high frame rate shooting of moving images. In order to process image signals that are generated at high speed, a technique is known in which image signals are processed in stages using a plurality of image processing circuits (Patent Document 1). In the technology disclosed in Patent Document 1, first, a first image processing circuit performs preprocessing on the generated image signal at high speed, and then a second image processing circuit performs preprocessing on the output from the first image processing circuit. On the other hand, processing is performed at a frame rate lower than that of the first image processing circuit. At this time, in order to compensate for the difference in processing speed of the circuits, the image signal processed by the first image processing circuit is temporarily stored in the frame memory. Further, Patent Document 1 discloses that in such a configuration, the state of the frame memory is checked to control whether or not high-speed frame rate photography can be performed.
また、特許文献2には、第1の画像処理回路において画像信号を圧縮したうえで第2の画像処理回路で画像処理を行うことで、高ピクセルレートの画像の撮影を実現する技術が開示されている。 Further, Patent Document 2 discloses a technology that realizes capturing images at a high pixel rate by compressing an image signal in a first image processing circuit and then performing image processing in a second image processing circuit. ing.
ところで、撮像装置には、静止画の高速連写撮影や動画の高フレームレート撮影などの複数の撮影モードが搭載されている場合がある。このような撮像装置において、例えば高フレームレートの維持を優先する動画撮影と高画質撮影を優先する静止画撮影とを両立しようとする場合、フレームメモリのバッファ状態以外の観点も考慮した柔軟なフレームメモリへの書き込み制御が必要になる。この点、上述の従来技術では、フレームレートを維持する撮影と高画質を維持する撮影とを両立させるようなフレームメモリへの書き込み制御は考慮されていなかった。 Incidentally, an imaging device may be equipped with a plurality of shooting modes, such as high-speed continuous shooting of still images and high frame rate shooting of moving images. In such an imaging device, for example, when trying to balance video shooting, which prioritizes maintaining a high frame rate, and still image shooting, which prioritizes high image quality, it is necessary to use a flexible frame that takes into account aspects other than the frame memory buffer status. Write control to memory is required. In this regard, the above-mentioned conventional technology does not take into consideration writing control to the frame memory that allows both shooting that maintains the frame rate and shooting that maintains high image quality.
そこで、本発明の目的は、フレームレートを維持する撮影と高画質を維持する撮影とを両立させるためのメモリへの書き込み制御技術を提供することである。 SUMMARY OF THE INVENTION Accordingly, an object of the present invention is to provide a memory write control technique that enables both shooting that maintains a frame rate and shooting that maintains high image quality.
本発明は、上記課題に鑑みてなされ、その目的は、フレームレートを維持する撮影と高画質を維持する撮影とを両立させるためのメモリへの書き込み制御が可能な技術を実現することである。 The present invention has been made in view of the above-mentioned problems, and its purpose is to realize a technology that can control writing to a memory in order to achieve both shooting that maintains a frame rate and shooting that maintains high image quality.
この課題を解決するため、例えば本発明の撮像装置は以下の構成を備える。すなわち、フレームレートの維持を優先する第1撮影モード、又は画質を優先する第2撮影モードで撮影可能な撮像装置であって、画像信号をバッファリングする記憶手段と、前記第1撮影モードで撮影する場合及び第2撮影モードで撮影する場合において、撮像素子から画像信号を順次取得して、取得した画像信号をバッファリングするために前記記憶手段へ書き込む第1信号処理手段と、前記記憶手段に書き込まれた画像信号を読み出して画像処理を施す第2信号処理手段と、を備え、前記第1信号処理手段は、前記記憶手段に書き込まれている画像信号のデータ量が第1閾値以上となった場合には、前記第1撮影モードであるか前記第2撮影モードであるかに応じて、前記撮像素子から取得した画像信号の帯域を削減した画像信号をバッファリングするために前記記憶手段に書き込むか、前記記憶手段へのバッファリングを中断するために前記撮像素子から取得した画像信号の前記記憶手段への書き込みを中断するかを切り替えることを特徴とする。 In order to solve this problem, for example, the imaging device of the present invention has the following configuration. That is, the imaging device is capable of shooting in a first shooting mode that prioritizes maintaining the frame rate or a second shooting mode that prioritizes image quality, and includes a storage means for buffering image signals, and a storage device that buffers image signals, a first signal processing means for sequentially acquiring image signals from an image sensor and writing the acquired image signals to the storage means for buffering when photographing in the second photographing mode; and second signal processing means for reading out the written image signal and performing image processing, and the first signal processing means is configured to perform processing when the amount of data of the image signal written in the storage means is greater than or equal to a first threshold value. In this case, depending on whether the mode is the first shooting mode or the second shooting mode, the storage means is configured to buffer the image signal obtained by reducing the band of the image signal obtained from the image sensor. The present invention is characterized in that it switches between writing the image signal acquired from the image sensor and interrupting the writing of the image signal acquired from the image sensor into the storage means in order to interrupt the buffering to the storage means .
本発明によれば、フレームレートを維持する撮影と高画質を維持する撮影とを両立させるためのメモリへの書き込み制御が可能になる。 According to the present invention, it is possible to control writing to a memory in order to achieve both shooting that maintains a frame rate and shooting that maintains high image quality.
以下、添付図面を参照して実施形態を詳しく説明する。尚、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。 Hereinafter, embodiments will be described in detail with reference to the accompanying drawings. Note that the following embodiments do not limit the claimed invention. Although a plurality of features are described in the embodiments, not all of these features are essential to the invention, and the plurality of features may be arbitrarily combined. Furthermore, in the accompanying drawings, the same or similar components are designated by the same reference numerals, and redundant description will be omitted.
以下では撮像装置の一例として、撮像素子から出力された画像信号を2つの信号処理回路を用いて処理するデジタルカメラを例を説明する。しかし、本実施形態は、デジタルカメラに限らず、撮像素子から出力された画像信号を2つの信号処理回路を用いて処理することが可能な他の機器にも適用可能である。これらの機器には、例えばパーソナルコンピュータ、スマートフォンを含む携帯電話機、ゲーム機、タブレット端末、時計型や眼鏡型の情報端末、医療機器、監視システムや車載用システムの機器などが含まれてよい。 In the following, a digital camera that processes an image signal output from an image sensor using two signal processing circuits will be described as an example of an imaging device. However, this embodiment is applicable not only to digital cameras but also to other devices capable of processing image signals output from an image sensor using two signal processing circuits. These devices may include, for example, personal computers, mobile phones including smartphones, game consoles, tablet terminals, watch-shaped or glasses-shaped information terminals, medical devices, monitoring systems, in-vehicle system devices, and the like.
(デジタルカメラの構成)
図1は、本実施形態のデジタルカメラの一例としてデジタルカメラ100の機能構成例を示すブロック図である。なお、図1に示す機能ブロックの1つ以上は、ASICやプログラマブルロジックアレイ(PLA)などのハードウェアによって実現されてもよいし、CPUやMPU等のプログラマブルプロセッサがソフトウェアを実行することによって実現されてもよい。また、ソフトウェアとハードウェアの組み合わせによって実現されてもよい。従って、以下の説明において、異なる機能ブロックが動作主体として記載されている場合であっても、同じハードウェアが主体として実現されうる。
(Digital camera configuration)
FIG. 1 is a block diagram showing an example of the functional configuration of a
撮像素子101は、光電変換素子を有する画素が複数、2次元的に配列された構成を有する。撮像素子101は、不図示の撮影光学系により結像された被写体光学像を各画素で光電変換し、さらにA/D変換回路によってアナログ・デジタル変換して、画素単位のデジタル信号(画像信号)を出力する。撮像素子101は、CCD(Charge-Coupled Device)イメージセンサやCMOS(Complementary Metal Oxide Semiconductor)イメージセンサなどの撮像素子であってよい。
The
第1信号処理部102は、例えば画像処理プロセッサを含み、撮像素子101から出力された画像信号を順次取得し、取得した画像信号をメモリコントローラ部106を介して主記憶部107に書き込む。但し、後述するメモリ書込制御処理により、必要に応じて画像信号のデータ量を低減させる処理等を行う。主記憶部107に書き込まれた画像信号は、第2信号処理部103によって読み出されて処理される。第2信号処理部103によって処理されたデータは、その後、記録部109に記録される。
The first
第1信号処理部102が処理可能な信号の帯域幅は、第2信号処理部103が処理可能な信号の帯域幅より広い。このため、第1信号処理部102は主記憶部107に一旦画像信号をバッファリングすることにより、第2信号処理部103で処理する際の帯域不足を吸収する。
The bandwidth of the signal that can be processed by the first
例えば、本実施形態では、第1信号処理部102の処理能力は8Gpix/secであり、第2信号処理部103の処理能力は2Gpix/secである場合を例に説明する。撮像素子101から読み出される画像信号(例えば映像信号の1画面)が32Mpix(水平8000画素×垂直8000ライン)であって1画面の読み出し時間が4msecの場合、必要な帯域は8Gpix/secとなる。つまり、第2信号処理部103は、この画像信号を同じ時間内には処理することができない。このため、第1信号処理部102は画像信号を処理し或いは通過させた後に、当該画像信号を一旦、主記憶部107にバッファリングする。
For example, in this embodiment, the processing capacity of the first
第1信号処理部102は、例えば、帯域削減部104、システム制御部105およびメモリコントローラ部106などの機能ブロックの機能を実現する。帯域削減部104は、撮像素子101からの画像信号の信号量を低減することにより、メモリコントローラ部106を介して画像信号を主記憶部107に書き込む際の帯域を削減する。帯域削減部104は、例えば、画像信号に対する圧縮処理によって帯域を削減する。しかし、この例に限らず、帯域削減部104は、画像信号にローパスフィルタをかけて信号を間引く(すなわち縮小する)ことによって帯域を削減してもよい。
The first
撮像素子101から読み出される画像信号(例えば映像信号の1画面)が32Mpix(水平8000画素×垂直8000ライン)で読み出し時間が4msecである場合を例に説明する。例えば、200枚/secの動画ハイフレームレート撮影を行うと、第2信号処理部103は画像信号を処理しきれず、主記憶部107のバッファ領域(単にバッファともいう)に蓄積されたデータ量が増大する。このような場合、その後バッファの空き容量が無くなってしまう恐れがある。本実施形態では、バッファリングされる画像信号のデータ量を低減するため、帯域削減部104は例えば画像信号を1/8に縮小もしくは圧縮する。
An example will be explained in which the image signal (for example, one screen of a video signal) read out from the
システム制御部105は、ユーザが指定したデジタルカメラの撮影モードに応じて、撮像素子101からの画像信号を(メモリコントローラ部106を介して)主記憶部107に書き込む際に、帯域削減部104による処理を実行するか否かを制御する。換言すれば、システム制御部105は、帯域削減部104を介した画像信号をメモリコントローラ部106に提供するか、撮像素子101からの映像信号をそのままメモリコントローラ部106に提供するかを切り替える。なお、本実施形態では、システム制御部105が第1信号処理部102に配置されている場合を例に説明するが、システム制御部105の役割を制御部108が果たしてもよい。
The
メモリコントローラ部106は、主記憶部107に対する画像信号の書き込みタイミングや読み出しタイミングを制御する。主記憶部107は、例えばDRAM等の揮発性の記憶媒体を含み、上述の画像信号のバッファ領域を含む。主記憶部107は、また、制御部108が記録部109に格納されたプログラムを実行する際のワークメモリとしても機能する。
The
第2信号処理部103は、例えば画像処理プロセッサを含み、第1信号処理部102から出力された画像信号(であって主記憶部107に記憶されていた画像信号)を読み込んで、例えば画質改善処理や認識処理などの予め定められた画像処理を実行する。
The second
制御部108は、例えば、CPU(或いはMPU)などの1つ以上のプロセッサを含み、記録部109に格納されたプログラムを主記憶部107に展開、実行してデジタルカメラ100の各ブロックを制御したり、各ブロック間でのデータ転送を制御したりする。また、制御部108は、ユーザからの操作を受け付ける操作部110からの操作信号に応じて、デジタルカメラ100の各ブロックを制御したり、撮影モードを制御したりする。デジタルカメラ100は、例えば、所定の画質で連続的に静止画撮影を行う高速連写モード(単に静止画連写撮影ともいう)や、所定のフレームレートで動画撮影を行う高フレームレート撮影モード(単に動画高フレームレート撮影ともいう)で撮影可能である。
The
記録部109は、例えば半導体メモリやハードディスク等の不揮発性メモリである記録媒体を含み、撮影された画像等を記録、保持する。また、記録部109は、制御部108が実行するプログラム(例えば各種アプリケーションやオペレーティングシステム)や、動作用の定数などを保持する。
The
操作部110は、例えば、モード切替ボタン、電源ボタン、静止画記録ボタン、動画記録の開始、停止を指示するボタンなどの撮影に関連する各種操作を入力するスイッチやレバーを含む。また、操作部110は、メニュー表示ボタン、決定ボタン、その他カーソルキー、ポインティングデバイス、タッチパネル等を有し、ユーザによりこれらのキーやボタンが操作されると制御部108に操作信号を送信する。
The
(メモリ書込制御処理の動作概要)
次に、メモリ書込制御処理の動作概要について説明する。図3に示すタイミングチャートは、デジタルカメラ100の撮影モードが静止画連写撮影である場合のバッファ内のデータ量の状態とデジタルカメラ100の状態を示している。
(Operation overview of memory write control processing)
Next, an outline of the operation of the memory write control process will be explained. The timing chart shown in FIG. 3 shows the state of the amount of data in the buffer and the state of the
タイミングt301は、ユーザにより静止画連写撮影が開始されるタイミングを示す。タイミングt301からt302の期間では、第1信号処理部102による画像信号の書き込み量が第2信号処理部103による画像信号の読み出し量を上回るため、主記憶部107にバッファリングされる画像信号のデータ量が増加していく。
Timing t301 indicates the timing at which continuous still image shooting is started by the user. During the period from timing t301 to t302, the amount of image signal writing by the first
タイミングt302は、主記憶部107のバッファに更なる画像信号を書き込めない状態(バッファフルの状態)となるタイミングを示す。なお、本実施形態では、t302がバッファフルの状態になったタイミングである場合を例に説明しているが、t302は、バッファ内の画像信号のデータ量が所定の第1閾値以上となるタイミングであってもよい。
Timing t302 indicates the timing at which the buffer of the
タイミングt302からt303の期間では、静止画連写撮影が中断され(例えば静止画連写撮影のユーザ操作を一時的に受け付けず)、第2信号処理部103が画像信号の読み出しを行っている。このため、バッファリングされている画像信号のデータ量が低下していく。
During the period from timing t302 to t303, continuous still image shooting is interrupted (for example, user operation for continuous still image shooting is temporarily not accepted), and the second
タイミングt303は、主記憶部107にバッファ内の画像信号のデータ量が空になる状態(バッファエンプティともいう)を示す。このタイミングから、デジタルカメラ100は、静止画連写撮影を再開する(例えば静止画連写撮影のユーザ操作を受け付ける)ことができる。なお、本実施形態では、t303がバッファエンプティの状態になったタイミングである場合を例に説明しているが、t303は、バッファ内の画像信号のデータ量が所定の第2閾値未満となるタイミングであってもよい。なお、所定の第2閾値は、上記所定の第1閾値より小さい。例えば、(バッファが空になる前であっても)数枚~数十枚分の画像信号を書き込む空きができた段階で高速連写撮影を再開することができれば、高速連写が中断されても素早く連写を再開可能になる。
Timing t303 indicates a state in which the amount of image signal data in the buffer in the
このように、システム制御部105は、撮像素子101からの画像信号を(メモリコントローラ部106を介して)主記憶部107に書き込む際に、撮像素子101からの画像信号をそのままメモリコントローラ部106に渡すか中断するかを制御する。
In this way, when writing the image signal from the
次に、図4を参照して、メモリ書込制御処理の動作概要について更に説明する。図4に示すタイミングチャートは、デジタルカメラ100の撮影モードが動画高フレームレート撮影である場合のバッファ内のデータ量の状態とデジタルカメラ100の状態を示している。
Next, the outline of the operation of the memory write control process will be further explained with reference to FIG. The timing chart shown in FIG. 4 shows the state of the amount of data in the buffer and the state of the
タイミングt401は、ユーザにより動画高フレームレート撮影が開始されるタイミングを示す。タイミングt401からt402の期間では、第1信号処理部102による画像信号の書き込み量が第2信号処理部103による画像信号の読み出し量を上回るため、主記憶部107にバッファリングされる画像信号のデータ量が増加していく。
Timing t401 indicates the timing at which the user starts capturing a moving image at a high frame rate. During the period from timing t401 to t402, the amount of image signal writing by the first
タイミングt402は、主記憶部107がバッファフルの状態になるタイミングを示す。なお、本実施形態では、t402がバッファフルの状態になったタイミングを例に説明しているが、t402は、バッファ内の画像信号のデータ量が所定の第1閾値以上となるタイミングであってもよい。
Timing t402 indicates the timing at which the
このとき、システム制御部105は、撮像素子101からの画像信号をメモリコントローラ部106を介して主記憶部107に書き込む際に、帯域削減部104を介して画像信号をメモリコントローラ部106に出力するように動作する。
At this time, the
タイミングt402からt403の期間では、動画高フレームレート撮影を継続する一方で、主記憶部107から読み出されるデータ量が帯域削減された画像信号を主記憶部107に書き込む際のデータ量を上回る。このため、バッファリングされている画像信号のデータ量が低下していく。
During the period from timing t402 to timing t403, while video high frame rate shooting continues, the amount of data read from the
タイミングt403は、動画高フレームレート撮影を継続しながら、主記憶部107にバッファ内の画像信号のデータ量が空になる状態(すなわちバッファエンプティ)となるタイミングを示す。タイミングt403以降は、帯域削減部104による帯域削除処理が解除され、再びt401からt402の場合と同様にバッファリングされるデータ量が増加する。なお、t403についても、t303と同様、バッファ内の画像信号のデータ量が所定の第2閾値未満となるタイミングであってもよい。なお、上述したように、所定の第2閾値は、上記所定の第1閾値より小さい。
Timing t403 indicates the timing when the amount of image signal data in the buffer becomes empty in the main storage unit 107 (that is, the buffer is empty) while video high frame rate imaging continues. After timing t403, the bandwidth deletion process by the
(メモリ書込制御処理に係る一連の動作)
次に、図2を参照して、デジタルカメラ100におけるメモリ書込制御処理に係る一連の動作について説明する。
(Series of operations related to memory write control processing)
Next, with reference to FIG. 2, a series of operations related to memory write control processing in the
なお、本処理は、例えばユーザ操作によりデジタルカメラ100の電源が入り、操作部110に含まれる静止画記録ボタン或いは動画記録の開始を指示するボタンが押下された場合に開始される。また、本処理は、制御部108が記録部109に記憶されたプログラムを主記憶部107の作業用領域に展開、実行すると共に、第1信号処理部等の各部を制御することにより実現される。
Note that this process is started, for example, when the power of the
S201において、制御部108は、静止画記録ボタン或いは動画記録の開始を指示するボタンを介したユーザ指示を受け付けて、静止画連写撮影或いは動画高フレームレート撮影の撮影モードで撮影を開始する。
In S201, the
例えば、撮像素子101において光電変換された画像信号は、まず第1信号処理部102によって読み出され、メモリコントローラ部106を介して主記憶部107のバッファ領域にバッファリングされる。また、主記憶部107へのバッファリングと同時に、主記憶部107にバッファリングされた画像信号は、メモリコントローラ部106を介して第2信号処理部103へ送信される。
For example, an image signal photoelectrically converted in the
なお、本実施形態の説明では、説明を簡単化するため、撮影モードが静止画連写撮影或いは動画高フレームレート撮影として開始される場合を例に説明する。しかし、撮影モードが他のモードを含んでもよく、その場合には、S203において他の撮影モードに対応した固有の処理を実行するようにすればよい。 In the description of this embodiment, in order to simplify the explanation, an example will be described in which the shooting mode is started as still image continuous shooting or moving image high frame rate shooting. However, the shooting mode may include other modes, and in that case, specific processing corresponding to the other shooting mode may be executed in S203.
S202において、制御部108は、主記憶部107のバッファの状態を監視し、バッファがバッファフルの状態(すなわちバッファに更なる画像信号を書き込めない状態)であるかを判定する。制御部108は、バッファがバッファフルの状態でないと判定した場合、処理を再びS202に戻す。この場合、バッファへの画像信号の書き込みと第2信号処理部103への読み出しとが継続される。一方、制御部108は、主記憶部107からの情報に応じて、バッファがバッファフルの状態であると判定した場合、S203に処理を進める。
In S202, the
S203において、制御部108は、デジタルカメラ100の撮影モードが静止画連写撮影と動画高フレームレート撮影とのいずれであるかを判定する。制御部108は、(例えば記録部109或いは主記憶部107が保持する設定パラメータに応じて)デジタルカメラ100の撮影モードが静止画連写撮影であると判定した場合、処理をS204に進める。一方、制御部108は、撮影モードが動画高フレームレート撮影であると判定した場合、S207に処理を進める。
In S203, the
S204において、システム制御部105は、(撮影モードが高速連写の場合にバッファフルの状態であるため)静止画連写撮影を中断する。この場合、システム制御部105は、撮像素子101から取得した画像信号の主記憶部107への書き込みを中断する。また、例えば制御部108に静止画連写撮影を中断する旨を通知をして、制御部108が静止画連写撮影のユーザ操作を受け付けないようにすることができる。制御部108は、不図示の表示部に、静止画連写撮影のユーザ操作を受け付けない旨の通知を表示してもよい。
In S204, the
S205において、制御部108は、主記憶部107のバッファの状態を監視し、バッファの状態がバッファエンプティ(すなわちバッファ内の画像信号のデータ量が空になる状態)であるかを判定する。制御部108は、バッファの状態がバッファエンプティであると判定した場合、処理をS206に進め、そうでない場合には、静止画連写撮影を中断した状態を継続しながら、S205の処理を繰り返す。
In S205, the
S206において、システム制御部105は、静止画連写撮影を再開する。この場合、システム制御部105は、撮像素子101から取得した画像信号の主記憶部107への書き込みを再開する。また、システム制御部105は、例えば制御部108に静止画連写撮影を再開する旨を通知をして、制御部108が静止画連写撮影のユーザ操作を再び受け付けるようにすることができる。制御部108は、不図示の表示部に、静止画連写撮影のユーザ操作を受け付ける旨の通知を表示してもよい。その後、制御部108は、連写撮影終了等のユーザ指示等により本一連の動作を終了する。
In S206, the
S207において、システム制御部105は、(撮影モードが動画高フレームレート撮影の場合にバッファフルの状態であるため)主記憶部107への書き込みを、非圧縮の書き込みから帯域を削除した画像信号の書き込みに切り替える。具体的には、システム制御部105は、撮像素子101からの画像信号をメモリコントローラ部106を介して主記憶部107に書き込む際に、帯域削減部104を介した画像信号をメモリコントローラ部106に渡すように画像の書き込みを切り替える。
In S207, the
208において、制御部108は、主記憶部107のバッファの状態を監視し、バッファの状態がバッファエンプティ(すなわちバッファ内の画像信号のデータ量が空になる状態)であるかを判定する。制御部108は、バッファの状態がバッファエンプティであると判定した場合、処理をS209に進め、そうでない場合には、帯域削減書き込みの処理を継続しながら、S208の処理を繰り返す。
In step 208, the
S209において、システム制御部105は、帯域を削減した画像信号の書き込みを解除する。この場合、システム制御部105は、撮像素子101から取得し、帯域削除を行っていない画像信号の主記憶部107への書き込みを再開する。このとき、撮像素子101からの映像信号をメモリコントローラ部106を介して主記憶部107に書き込む際に、撮像素子101からの映像信号をそのままメモリコントローラ部106に渡すように画像の書き込みを切り替える。その後、制御部108は、撮影終了等のユーザ指示等により本一連の動作を終了する。
In S209, the
なお、上述の実施形態では、フレームレートの維持を優先する撮影の一例として動画高フレームレート撮影を例に説明し、また、画質を優先する撮影の一例として静止画高速連写撮影を例に説明した。しかし、撮影態様はこれらに限定されない。上述の実施形態は、デジタルカメラ100が2種類の静止画高速連写撮影を行うことが可能な場合に適用してもよい。すなわち、一方の静止画高速連写撮影においては、フレームレートの維持(時間あたりの撮影枚数の維持)を優先するように撮影し、他方の静止画高速連写撮影において画質を優先するように撮影してもよい。この場合、フレームレートの維持を優先する高速連写撮影では、バッファ内の画像信号のデータ量に応じて、帯域が削減された画像信号をバッファに書き込むか否かを切り替えればよい。
Note that in the above-described embodiments, video high frame rate shooting will be described as an example of shooting that prioritizes maintaining the frame rate, and still image high-speed continuous shooting will be explained as an example of shooting that prioritizes image quality. did. However, the photographing mode is not limited to these. The above-described embodiment may be applied to a case where the
以上説明したように、本実施形態では、バッファ内の画像信号のデータ量、及びフレームレートの維持を優先する撮影モード又は画質を優先する撮影モードであるかに応じて、第1信号処理部102から主記憶部107への画像の書き込みを切り替える。
As described above, in this embodiment, the first
換言すれば、フレームレートの維持を優先する撮影モードでは、システム制御部105は、バッファ内の画像信号のデータ量に応じて、帯域が削減された画像をバッファに書き込むか否かを切り替える。このようにすることで、バッファ内の画像信号のデータ量が増大した場合であっても、バッファ内のデータ量を削減しつつ高フレームレート撮影を継続することができる。また、帯域削減される画像信号が用いられるのは、バッファ内の画像信号のデータ量が一時的に増大した場合に限られる。このため、高フレームレート撮影を維持しつつ、画質の低下する画像を一部の範囲の画像に限定することができる。
In other words, in the shooting mode that gives priority to maintaining the frame rate, the
また、システム制御部105は、画質を優先する撮影モードでは、バッファ内の画像信号のデータ量に応じて、撮像素子から取得した画像信号を主記憶部107へ書き込むか否かを制御するようにした。すなわち、本実施形態では、システム制御部105は、撮影モードが静止画連写撮影である場合、主記憶部107のバッファ内の画像信号のデータ量がバッファフル(或いは閾値以上)である場合に、静止画連写撮影を一時的に中断する。このようにすることで、静止画の撮影では撮影画像に画質劣化が生じないようにメモリ書込制御処理を制御することができる。このように、上述の処理によれば、フレームレートを維持する撮影と高画質を維持する撮影とを両立させるためのメモリへの書き込み制御が可能になる。
Furthermore, in a shooting mode that prioritizes image quality, the
(その他の実施形態)
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
(Other embodiments)
The present invention provides a system or device with a program that implements one or more functions of the embodiments described above via a network or a storage medium, and one or more processors in a computer of the system or device reads and executes the program. This can also be achieved by processing. It can also be realized by a circuit (for example, ASIC) that realizes one or more functions.
発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。 The invention is not limited to the embodiments described above, and various changes and modifications can be made without departing from the spirit and scope of the invention. Therefore, the following claims are hereby appended to disclose the scope of the invention.
101…撮像素子、102…第1信号処理部、103…第2信号処理部、104…帯域削減部、107…主記憶部 101...Image sensor, 102...First signal processing section, 103...Second signal processing section, 104...Band reduction section, 107...Main storage section
Claims (10)
画像信号をバッファリングする記憶手段と、
前記第1撮影モードで撮影する場合及び第2撮影モードで撮影する場合において、撮像素子から画像信号を順次取得して、取得した画像信号をバッファリングするために前記記憶手段へ書き込む第1信号処理手段と、
前記記憶手段に書き込まれた画像信号を読み出して画像処理を施す第2信号処理手段と、を備え、
前記第1信号処理手段は、前記記憶手段に書き込まれている画像信号のデータ量が第1閾値以上となった場合には、前記第1撮影モードであるか前記第2撮影モードであるかに応じて、前記撮像素子から取得した画像信号の帯域を削減した画像信号をバッファリングするために前記記憶手段に書き込むか、前記記憶手段へのバッファリングを中断するために前記撮像素子から取得した画像信号の前記記憶手段への書き込みを中断するかを切り替える、ことを特徴とする撮像装置。 An imaging device capable of shooting in a first shooting mode that prioritizes maintaining frame rate or a second shooting mode that prioritizes image quality,
storage means for buffering the image signal;
first signal processing for sequentially acquiring image signals from an image sensor and writing the acquired image signals to the storage means for buffering when photographing in the first photographing mode and in the second photographing mode; means and
a second signal processing means for reading out the image signal written in the storage means and performing image processing;
The first signal processing means determines whether the mode is the first photographing mode or the second photographing mode when the amount of data of the image signal written in the storage means is equal to or greater than a first threshold value. Accordingly, an image signal obtained by reducing the band of the image signal obtained from the image sensor is written to the storage means for buffering , or an image obtained from the image sensor is written to the storage means to interrupt buffering to the storage means. An imaging device characterized in that it switches whether or not to interrupt writing of a signal into the storage means.
第1信号処理手段が、前記第1撮影モードで撮影する場合及び第2撮影モードで撮影する場合において、前記撮像装置の撮像素子から画像信号を順次取得して、取得した画像信号をバッファリングするために前記撮像装置の前記記憶手段へ書き込む第1信号処理工程と、
第2信号処理手段が、前記記憶手段に書き込まれた画像信号を読み出して画像処理を施す第2信号処理工程と、を備え、
前記第1信号処理工程では、前記記憶手段に書き込まれている画像信号のデータ量が第1閾値以上となった場合には、前記第1撮影モードであるか前記第2撮影モードであるかに応じて、前記撮像素子から取得した画像信号の帯域を削減した画像信号をバッファリングするために前記記憶手段に書き込むか、前記記憶手段へのバッファリングを中断するために前記撮像素子から取得した画像信号の前記記憶手段への書き込みを中断するかを切り替える、ことを特徴とする撮像装置の制御方法。 A method for controlling an imaging device capable of capturing images in a first imaging mode that prioritizes maintenance of frame rate or a second imaging mode that prioritizes image quality, the imaging device comprising storage means for buffering image signals; The method of controlling the imaging device is
The first signal processing means sequentially acquires image signals from an image sensor of the imaging device and buffers the acquired image signals when photographing in the first photographing mode and when photographing in the second photographing mode. a first signal processing step of writing into the storage means of the imaging device for
a second signal processing step in which the second signal processing means reads out the image signal written in the storage means and performs image processing;
In the first signal processing step, if the amount of data of the image signal written in the storage means is equal to or greater than a first threshold value, the first signal processing step determines whether the mode is the first shooting mode or the second shooting mode. Accordingly, an image signal obtained by reducing the band of the image signal obtained from the image sensor is written to the storage means for buffering , or an image obtained from the image sensor is written to the storage means to interrupt buffering to the storage means. A method for controlling an imaging device, comprising: switching whether to interrupt writing of a signal into the storage means.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019165529A JP7348783B2 (en) | 2019-09-11 | 2019-09-11 | Imaging device, its control method, program and recording medium |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019165529A JP7348783B2 (en) | 2019-09-11 | 2019-09-11 | Imaging device, its control method, program and recording medium |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021044705A JP2021044705A (en) | 2021-03-18 |
JP7348783B2 true JP7348783B2 (en) | 2023-09-21 |
Family
ID=74862598
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019165529A Active JP7348783B2 (en) | 2019-09-11 | 2019-09-11 | Imaging device, its control method, program and recording medium |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7348783B2 (en) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003274323A (en) | 2002-03-14 | 2003-09-26 | Canon Inc | Still picture photographing device, storage control method, program, and storage medium |
JP2005276316A (en) | 2004-03-24 | 2005-10-06 | Fuji Photo Film Co Ltd | Data recording method and device |
JP2010074581A (en) | 2008-09-19 | 2010-04-02 | Hoya Corp | Digital camera |
JP2017153156A (en) | 2017-06-07 | 2017-08-31 | 株式会社ニコン | Electronic camera |
-
2019
- 2019-09-11 JP JP2019165529A patent/JP7348783B2/en active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003274323A (en) | 2002-03-14 | 2003-09-26 | Canon Inc | Still picture photographing device, storage control method, program, and storage medium |
JP2005276316A (en) | 2004-03-24 | 2005-10-06 | Fuji Photo Film Co Ltd | Data recording method and device |
JP2010074581A (en) | 2008-09-19 | 2010-04-02 | Hoya Corp | Digital camera |
JP2017153156A (en) | 2017-06-07 | 2017-08-31 | 株式会社ニコン | Electronic camera |
Also Published As
Publication number | Publication date |
---|---|
JP2021044705A (en) | 2021-03-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8204355B2 (en) | Image signal processing device, imaging device, and image signal processing method | |
US10462353B2 (en) | Imaging device, imaging method, and storage medium | |
JP5126207B2 (en) | Imaging device | |
JP5234831B2 (en) | Imaging apparatus, imaging method, and program | |
US20120113267A1 (en) | Image capturing apparatus, method, and recording medium capable of continuously capturing object | |
US9131158B2 (en) | Moving-image capturing apparatus and electronic zoom method for moving image | |
JP2017188760A (en) | Image processing apparatus, image processing method, computer program, and electronic apparatus | |
JP5141324B2 (en) | Imaging apparatus, imaging apparatus control method, signal processing apparatus, and signal processing method | |
KR20100096523A (en) | Apparatus and method for processing image data | |
US8269859B2 (en) | Photographing apparatus that performs distortion correction in association with digital and optical zoom, method of controlling the same, and recording medium having recorded thereon computer program to implement the method | |
JP2017097573A (en) | Image processing device, photographing device, image processing method, and image processing program | |
JP5338373B2 (en) | Imaging device | |
JP4761048B2 (en) | Imaging apparatus and program thereof | |
US10244199B2 (en) | Imaging apparatus | |
JP6021594B2 (en) | Imaging apparatus and program | |
JP7348783B2 (en) | Imaging device, its control method, program and recording medium | |
US20100135644A1 (en) | Photographing apparatus and method of controlling the same | |
US10771687B2 (en) | Image capturing apparatus, image processing apparatus, image processing method, and storage medium | |
JP2018082251A (en) | Imaging device, image processing method, and program | |
US9288397B2 (en) | Imaging device, method for processing image, and program product for processing image | |
US10375348B2 (en) | Image capturing apparatus operable to store captured image data in image memory, method of controlling same, and storage medium | |
JP7332376B2 (en) | IMAGING DEVICE, CONTROL METHOD THEREOF, AND PROGRAM | |
JP4518582B2 (en) | Image capturing apparatus and method | |
JP5811076B2 (en) | Movie recording apparatus, movie recording method, and program | |
JP4872571B2 (en) | Imaging apparatus, imaging method, and program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20210103 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210113 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220603 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230224 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230306 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230426 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230810 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230908 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7348783 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |