JP6720721B2

JP6720721B2 - Image data acquisition system

Info

Publication number: JP6720721B2
Application number: JP2016123872A
Authority: JP
Inventors: 祐介三村
Original assignee: Ricoh Imaging Co Ltd
Current assignee: Ricoh Imaging Co Ltd
Priority date: 2016-06-22
Filing date: 2016-06-22
Publication date: 2020-07-08
Anticipated expiration: 2036-06-22
Also published as: JP2017228940A

Description

本発明は、前段処理回路および後段処理回路を通して画像データを取得する画像データ取得システムに関する。 The present invention relates to an image data acquisition system that acquires image data through a pre-processing circuit and a post-processing circuit.

デジタルカメラでは、画像データは撮像ユニットからシリアル通信を通してプロセッサに転送されるのが一般的である。また、最近ではプロセッサの前段にプリプロセッサを配置し、ここで画像データに対してノイズ低減処理等を行った後、メインとなるプロセッサへ画像データを転送することで、メインプロセッサの回路規模を削減する構成が知られている。例えば、汎用性の高いカメラシステムを実現する目的で、高ピクセルレートの場合、プリプロセッサでピクセルレートを低減した後、メインプロセッサに画像データを転送するカメラシステムも提案されている（特許文献１参照）。 In a digital camera, image data is generally transferred from an image pickup unit to a processor through serial communication. In addition, recently, a preprocessor is placed in front of the processor, where noise reduction processing or the like is performed on the image data, and then the image data is transferred to the main processor, thereby reducing the circuit scale of the main processor. The composition is known. For example, in order to realize a highly versatile camera system, in the case of a high pixel rate, a camera system has been proposed in which the pixel rate is reduced by a preprocessor and then the image data is transferred to the main processor (see Patent Document 1). ..

特開２０１３−１９７６０８号公報JP, 2013-197608, A

しかし、従来のカメラシステムでは、メインプロセッサが画像データの受信を完了した段階で、メインプロセッサから撮像ユニットに次の画像を撮像するための通信を行っていることから、プリプロセッサの処理において遅延が生じ、メインプロセッサの画像データの入力が遅れると、メインプロセッサから撮像ユニットへの通信に遅延が生じ、結果として次の画像の撮像が遅れてしまう。これは特に連続撮影を行う場合に問題となる。 However, in the conventional camera system, when the main processor completes the reception of the image data, the main processor communicates with the imaging unit to capture the next image, which causes a delay in the processing of the preprocessor. If the input of the image data of the main processor is delayed, the communication from the main processor to the image pickup unit is delayed, and as a result, the image pickup of the next image is delayed. This becomes a problem especially when continuous shooting is performed.

本発明は、プリプロセッサを介して効率的に撮影画像データをメインプロセッサにまで転送する画像データ取得システムを提供することを目的としている。 An object of the present invention is to provide an image data acquisition system that efficiently transfers captured image data to a main processor via a preprocessor.

本発明の画像データ取得システムは、撮像ユニットから入力される画像データに対して所定の信号処理を施すプリプロセッサと、プリプロセッサから画像データを入力するメインプロセッサと、プリプロセッサにおける画像データの入力が完了したことをメインプロセッサに通知する画像データ入力完了通知手段とを備え、メインプロセッサが、この通知に基づき撮像ユニットとの間の通信を行うことを特徴としている。 In the image data acquisition system of the present invention, a preprocessor that performs predetermined signal processing on image data input from the image pickup unit, a main processor that inputs image data from the preprocessor, and input of image data in the preprocessor are completed. Is provided to the main processor, and the main processor communicates with the image pickup unit based on this notification.

上記通知を受信するとメインプロセッサにおける画像データの入力の完了を待たずに、メインプロセッサが次の画像の読み出しのための指示を撮像ユニットへ送信する。 When the notification is received, the main processor transmits an instruction for reading the next image to the image pickup unit without waiting for the completion of the image data input in the main processor.

本願発明のデジタルカメラは、上記何れかの画像データ取得システムが搭載されたことを特徴としている。 The digital camera of the present invention is characterized by being equipped with any one of the image data acquisition systems described above.

本発明によれば、プリプロセッサを介して効率的に撮影画像データをメインプロセッサにまで転送する画像データ取得システムを提供することができる。 According to the present invention, it is possible to provide an image data acquisition system that efficiently transfers captured image data to the main processor via the preprocessor.

本発明の一実施形態であるデジタルカメラの構成を示すブロック図である。FIG. 1 is a block diagram showing the configuration of a digital camera that is an embodiment of the present invention. 撮像ユニット、メインプロセッサとの間に接続されるプリプロセッサの構成を示すブロック図である。It is a block diagram which shows the structure of the preprocessor connected between an imaging unit and a main processor. 撮像ユニット、プリプロセッサ、メインプロセッサにおける画像データの取得および転送のタイミングを示すタイミングチャートである。6 is a timing chart showing the timing of acquisition and transfer of image data in the imaging unit, preprocessor, and main processor.

以下、本発明の実施の形態を、図面を参照して説明する。図１は、本発明の一実施形態である画像データ取得システムが搭載されたデジタルカメラの構成を示すブロックである。 Embodiments of the present invention will be described below with reference to the drawings. FIG. 1 is a block diagram showing the configuration of a digital camera equipped with an image data acquisition system according to an embodiment of the present invention.

デジタルカメラ１００は、レンズ部１０１、シャッタ１０２を通して入射した光を撮像ユニット１０３の撮像素子（不図示）に結像させて被写体の画像を撮像する。撮像ユニット１０３は、撮像素子から読み出した画像データをプリプロセッサ１０４に出力し、プリプロセッサ１０４に入力された画像データは、ノイズリダクション処理などの所定の処理を施された後、メインプロセッサ１０７へと出力される。メインプロセッサ１０７は、プレプロセッサ１０４から入力された画像データを揮発性のメモリ１０６に一時的に保持し、所定の画像処理を施した後、必要に応じて不揮発性の外部メモリ１０８に保存する。 The digital camera 100 forms an image of a subject by forming an image of light incident through the lens unit 101 and the shutter 102 on an image pickup device (not shown) of the image pickup unit 103. The image pickup unit 103 outputs the image data read from the image pickup device to the preprocessor 104, and the image data input to the preprocessor 104 is output to the main processor 107 after being subjected to predetermined processing such as noise reduction processing. It The main processor 107 temporarily holds the image data input from the preprocessor 104 in the volatile memory 106, performs predetermined image processing, and then saves the image data in the nonvolatile external memory 108 as necessary.

デジタルカメラ１００の全体の制御はメインプロセッサ１０７によって行われ、各構成部には、電源制御部１０５から電力が供給される。例えばメインプロセッサ１０７は、ＡＦ処理においてレンズ部１０１の駆動を制御し、ＡＥ処理においてシャッタ１０２の駆動を制御する。また、撮像素子からの画像データの読み出しなど、撮像ユニット１０３の駆動もメインプロセッサ１０７からの制御信号に基づき実行される。更に、メインプロセッサ１０７は、プリプロセッサ１０４の駆動も制御する。 The overall control of the digital camera 100 is performed by the main processor 107, and power is supplied from the power supply control unit 105 to each component. For example, the main processor 107 controls the driving of the lens unit 101 in the AF processing, and controls the driving of the shutter 102 in the AE processing. Further, driving of the image pickup unit 103 such as reading of image data from the image pickup element is also executed based on a control signal from the main processor 107. Further, the main processor 107 also controls driving of the preprocessor 104.

図２は、撮像ユニット１０３、メインプロセッサ１０７との間に接続されるプリプロセッサ１０４の構成を示すブロック図である。 FIG. 2 is a block diagram showing the configuration of the preprocessor 104 connected between the imaging unit 103 and the main processor 107.

撮像ユニット１０３からプリプロセッサ１０４には、センサＩ／Ｆ２１１を通して画像データが入力される。プリプロセッサ１０４に入力された画像データはオプティカル（ＯＢ）検波部２１２にてオプティカルブラック（ＯＢ）信号の検波を行う。オプティカルブラック（ＯＢ）減算部２１３では、オプティカルブラック検波部２１２において検波した結果に基づき画像データに対しオフセットをかけ黒レベルを調節する。ゲイン部２１４では、黒レベルを調節した画像データに対し、所定のデジタルゲインを掛け、画像データのレベルを調節する。 Image data is input from the imaging unit 103 to the preprocessor 104 through the sensor I/F 211. The image data input to the preprocessor 104 is subjected to optical black (OB) signal detection by an optical (OB) detection unit 212. The optical black (OB) subtraction unit 213 adjusts the black level by offsetting the image data based on the result detected by the optical black detection unit 212. The gain unit 214 applies a predetermined digital gain to the image data whose black level has been adjusted to adjust the level of the image data.

黒レベル、ゲイン調節が施された画像データに対しては、欠陥補正部２１６において欠陥画素の補正を行い、ノイズリダクション部２１６においてノイズリダクション処理を画像データに対して行い画像データのノイズレベルを低減する。ノイズレベルが低減された画像データは、センサＩ／Ｆ２１７を通してメインプロセッサ１０７に転送される。 With respect to the image data on which the black level and gain have been adjusted, the defect correction unit 216 corrects the defective pixel, and the noise reduction unit 216 performs noise reduction processing on the image data to reduce the noise level of the image data. To do. The image data with the reduced noise level is transferred to the main processor 107 through the sensor I/F 217.

撮像ユニット１０３の駆動に必要な同期信号はプリプロセッサ１０４のＰＷＭ２１８で生成され、撮像ユニット１０３に出力される。一方、プリプロセッサ１０４の動作に必要なパラメータは、メインプロセッサ１０７からプリプロセッサ１０４のレジスタ２２０に予めシリアル通信を通して出力されレジスタ２２０に設定される。また、プリプロセッサ１０４において、撮像ユニット１０３からの画像データの受信が完了すると、そのタイミングでＨＳポート２１９から画像データの受信が完了したことを通知する画像データ入力完了通知信号をメインプロセッサ１０７へと出力する。メインプロセッサ１０７は、プリプロセッサ１０４から画像データ入力完了通知信号を受信すると、撮像ユニット１０３に対して次の画像を撮像するための制御パラメータをメインプロセッサ１０７のレジスタ（不図示）を通して送信する。 The synchronization signal necessary for driving the image pickup unit 103 is generated by the PWM 218 of the preprocessor 104 and output to the image pickup unit 103. On the other hand, parameters necessary for the operation of the preprocessor 104 are output from the main processor 107 to the register 220 of the preprocessor 104 through serial communication in advance and set in the register 220. Further, when the preprocessor 104 completes the reception of the image data from the imaging unit 103, it outputs an image data input completion notification signal to the main processor 107 notifying that the reception of the image data from the HS port 219 is completed at that timing. To do. Upon receiving the image data input completion notification signal from the preprocessor 104, the main processor 107 transmits a control parameter for capturing the next image to the image capturing unit 103 through a register (not shown) of the main processor 107.

次に図３のタイミングチャートを参照して、連続撮影時における撮像ユニット１０３、プリプロセッサ１０４、メインプロセッサ１０７の間の各種データの転送シーケンスについて説明する。 Next, a transfer sequence of various data between the image pickup unit 103, the preprocessor 104, and the main processor 107 during continuous shooting will be described with reference to the timing chart of FIG.

図３（ａ）は、プリプロセッサ１０４からメインプロセッサ１０７への画像データ入力完了通知を行わない従来の構成における各種データの転送シーケンスを示す。撮像ユニット１０３における画像の撮像は、メインプロセッサ１０７からレジスタ通信を介して制御信号（パラメータ）Ｓを受信することにより開始される。制御信号Ｓは、連続撮影開始時と、メインプロセッサ１０７において各撮影における画像データの受信を完了すると撮像ユニット１０３に出力される。 FIG. 3A shows a transfer sequence of various data in the conventional configuration in which the preprocessor 104 does not notify the main processor 107 of image data input completion. Imaging of an image in the imaging unit 103 is started by receiving a control signal (parameter) S from the main processor 107 via register communication. The control signal S is output to the imaging unit 103 at the start of continuous shooting and when the main processor 107 completes the reception of image data in each shooting.

連続撮影開始により制御信号Ｓが、制御信号４０１として撮像ユニット１０３に送信されると、１枚目の撮影画像の画像データ４１１が取得され、略同時に画像データ４１１は、センサＩ／Ｆ２１１を通してプリプロセッサ１０４へ転送される。１枚目の撮影画像の画像データ４１１は、プリプロセッサ１０４において画像データ４２１として保持され、図２に示したＯＢ検波、ＯＢ減算、ゲイン補正、欠陥画素補正、ノイズリダクションなどの処理が施される。各処理が施された画像データ４２１は、センサＩ／Ｆ２１７を通してメインプロセッサ１０７に転送され、メインプロセッサ１０７において１枚目の撮影画像の画像データ４３１として保持される。 When the control signal S is transmitted to the image pickup unit 103 as the control signal 401 by the start of continuous shooting, the image data 411 of the first shot image is acquired, and substantially at the same time, the image data 411 is transmitted through the sensor I/F 211 to the preprocessor 104. Transferred to. The image data 411 of the first captured image is held as image data 421 in the preprocessor 104, and is subjected to processing such as OB detection, OB subtraction, gain correction, defective pixel correction, and noise reduction shown in FIG. The image data 421 subjected to each process is transferred to the main processor 107 through the sensor I/F 217, and is held in the main processor 107 as the image data 431 of the first captured image.

図３（ａ）に示されるように、プリプロセッサ１０４における画像データ４２１の受信完了は、撮像ユニット１０３における画像データ４１１の取得終了に略一致する。しかし、プリプロセッサ１０４における処理にΔｔの時間が掛かると、画像データ４２１のメインプロセッサ１０７への転送にも略Δｔの時間の遅延が生じる。したがって、メインプロセッサ１０７において画像データ４３１の受信が完了（４４１）するのは、撮像ユニット１０３における画像データ４１１の取り込みが完了した時点よりも少なくともΔｔ時間分遅延し、メインプロセッサ１０７から撮像ユニット１０３へと出力される２枚目の撮影画像の画像データ４１２を取得するための制御信号Ｓは、少なくともΔｔ時間以上遅延して撮影ユニット１０３において制御信号４０２として受信される。 As shown in FIG. 3A, the reception completion of the image data 421 in the preprocessor 104 substantially coincides with the completion of the acquisition of the image data 411 in the imaging unit 103. However, if the processing in the preprocessor 104 takes time Δt, the transfer of the image data 421 to the main processor 107 is delayed by time Δt. Therefore, the reception of the image data 431 in the main processor 107 is completed (441) with a delay of at least Δt time from the time when the acquisition of the image data 411 in the imaging unit 103 is completed, and the main processor 107 transfers the image data to the imaging unit 103. The control signal S for acquiring the image data 412 of the second captured image that is output as is delayed by at least Δt time and received by the imaging unit 103 as the control signal 402.

しかし、撮像ユニット１０３では、１枚目の撮影画像の画像データ４１１の取得が完了した直後から、２枚目の撮影画像の画像データ４１２の取得が可能であり、遅延時間Δｔ分が無駄になる。したがって本実施形態では、プリプロセッサ１０４からメインプロセッサ１０７へ画像データ入力完了通知を行い、図３（ｂ）に示されるように、撮像ユニット１０３における次の撮影画像の画像データの取得に遅延が生じないようにする。 However, the image pickup unit 103 can acquire the image data 412 of the second captured image immediately after the acquisition of the image data 411 of the first captured image is completed, and the delay time Δt is wasted. .. Therefore, in the present embodiment, the preprocessor 104 notifies the main processor 107 of image data input completion, and as shown in FIG. 3B, there is no delay in the acquisition of the image data of the next captured image in the imaging unit 103. To do so.

すなわち、連続撮影開始により制御信号Ｓが、制御信号５０１として撮像ユニット１０３に送信されると、１枚目の撮影画像の画像データ５１１が取得され、略同時に画像データ５１１は、センサＩ／Ｆ２１１を通してプリプロセッサ１０４へ転送される。１枚目の撮影画像の画像データ５１１は、プリプロセッサ１０４において画像データ５２１として保持され、順次図２に示したＯＢ検波、ＯＢ減算、ゲイン補正、欠陥画素補正、ノイズリダクションなどの処理が施される。各処理が施された画像データ５２１は、センサＩ／Ｆ２１７を通してメインプロセッサ１０７に順次転送され、メインプロセッサ１０７において１枚目の撮影画像の画像データ５３１として保持される。また、プリプロセッサ１０４において画像データ５２１の取り込みが完了すると、プリプロセッサ１０４は、ＨＳポート２１９から画像データ入力完了通知信号５４１をメインプロセッサ１０７へ出力する。 That is, when the control signal S is transmitted to the image pickup unit 103 as the control signal 501 by the start of continuous shooting, the image data 511 of the first shot image is acquired, and substantially at the same time, the image data 511 passes through the sensor I/F 211. It is transferred to the preprocessor 104. The image data 511 of the first captured image is held as image data 521 in the preprocessor 104, and sequentially subjected to processing such as OB detection, OB subtraction, gain correction, defective pixel correction, and noise reduction shown in FIG. .. The image data 521 subjected to each processing is sequentially transferred to the main processor 107 through the sensor I/F 217, and is held in the main processor 107 as the image data 531 of the first captured image. Further, when the preprocessor 104 completes the capture of the image data 521, the preprocessor 104 outputs the image data input completion notification signal 541 from the HS port 219 to the main processor 107.

メインプロセッサ１０７は、プリプロセッサ１０４から画像データ入力完了通知信号５４１を受信すると、画像データ５３１の取り込みと並行して、直ちに２枚目の撮影画像の画像データ５１２を取得するための制御信号Ｓを撮像ユニット１０３へと出力する。制御信号Ｓが、撮像ユニット１０３で信号５０２として受信されると、直ちに２枚目の画像の画像データ５１２の取得が開始され、略同時にプリプロセッサ１０４へ順次画像データ５２２として転送され、各種処理を施された後、メインプロセッサ１０７へ画像データ５３２として転送される。以後、３枚目の撮影画像に関しても同様に画像データの取得、転送が行われる。 Upon receiving the image data input completion notification signal 541 from the preprocessor 104, the main processor 107 captures the control signal S for immediately acquiring the image data 512 of the second captured image in parallel with the capture of the image data 531. Output to the unit 103. When the control signal S is received by the image pickup unit 103 as the signal 502, the acquisition of the image data 512 of the second image is immediately started, and the image data 512 is sequentially transferred to the preprocessor 104 at substantially the same time and various processing is performed. After that, the image data 532 is transferred to the main processor 107. Thereafter, image data is similarly acquired and transferred for the third captured image.

以上のように、本実施形態では、プリプロセッサにおいて画像データの入力が完了したことをメインプロセッサへ通知する構成を設けたことで、プリプロセッサが撮像ユニットからの画像データの入力を完了した時点で、メインプロセッサが撮像ユニットに次の画像の撮像を指示できる。これにより撮像ユニットにおいて効率的に連続撮影を行うことができる。 As described above, in the present embodiment, by providing the main processor with the notification that the input of the image data has been completed in the preprocessor, when the preprocessor completes the input of the image data from the imaging unit, the main processor The processor can instruct the imaging unit to capture the next image. As a result, continuous shooting can be efficiently performed in the imaging unit.

なお、本実施形態は、一眼レフのデジタルカメラやミラーレスのデジタルカメラ、コンパクトカメラ、あるいはカメラ機能を備えたその他の電子機器に適用することもできる。また、本実施形態では、プリプロセッサは画像データに対してノイズリダクション処理を行ったが、その他の処理であってもよい。 It should be noted that the present embodiment can be applied to a single-lens reflex digital camera, a mirrorless digital camera, a compact camera, or any other electronic device having a camera function. Further, in the present embodiment, the preprocessor performs the noise reduction processing on the image data, but other processing may be performed.

１００デジタルカメラ
１０１レンズ部
１０３撮像ユニット
１０４プリプロセッサ
１０７メインプロセッサ
２１９ＨＳポート 100 Digital Camera 101 Lens Unit 103 Imaging Unit 104 Preprocessor 107 Main Processor 219 HS Port

Claims

撮像ユニットから入力される画像データに対して所定の信号処理を施すプリプロセッサと、
前記プリプロセッサから前記所定の信号処理を施された画像データを入力するメインプロセッサと、
前記プリプロセッサにおける前記撮像ユニットからの前記画像データの入力が完了したタイミングで、前記画像データの入力が完了したことを前記メインプロセッサに通知する画像データ入力完了通知手段とを備え、
前記メインプロセッサが、前記通知に基づき前記撮像ユニットとの間の通信を行う
ことを特徴とする画像データ取得システム。 A preprocessor that performs predetermined signal processing on image data input from the imaging unit,
A main processor for inputting the image data subjected to the predetermined signal processing from the preprocessor;
An image data input completion notifying means for notifying the main processor that the input of the image data is completed at the timing when the input of the image data from the imaging unit in the preprocessor is completed,
The image data acquisition system, wherein the main processor communicates with the imaging unit based on the notification.

前記通知を受信すると前記メインプロセッサにおける前記画像データの入力の完了を待たずに、前記メインプロセッサが次の画像の読み出しのための指示を前記撮像ユニットへ送信することを特徴とする請求項１に記載の画像データ取得システム。 2. When the notification is received, the main processor transmits an instruction for reading the next image to the imaging unit without waiting for the completion of the input of the image data in the main processor. The described image data acquisition system.

請求項１〜２の何れか一項に記載の画像データ取得システムが搭載されることを特徴とするデジタルカメラ。
A digital camera equipped with the image data acquisition system according to claim 1.