JP6729080B2 - Signal processor - Google Patents

Signal processor Download PDF

Info

Publication number
JP6729080B2
JP6729080B2 JP2016130436A JP2016130436A JP6729080B2 JP 6729080 B2 JP6729080 B2 JP 6729080B2 JP 2016130436 A JP2016130436 A JP 2016130436A JP 2016130436 A JP2016130436 A JP 2016130436A JP 6729080 B2 JP6729080 B2 JP 6729080B2
Authority
JP
Japan
Prior art keywords
data
interface
output
sensor
signal processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016130436A
Other languages
Japanese (ja)
Other versions
JP2018006971A (en
Inventor
吉孝 木村
吉孝 木村
寺内 正和
正和 寺内
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Imaging Co Ltd
Original Assignee
Ricoh Imaging Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Imaging Co Ltd filed Critical Ricoh Imaging Co Ltd
Priority to JP2016130436A priority Critical patent/JP6729080B2/en
Publication of JP2018006971A publication Critical patent/JP2018006971A/en
Application granted granted Critical
Publication of JP6729080B2 publication Critical patent/JP6729080B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Studio Devices (AREA)

Description

本発明は、前段処理回路および後段処理回路を通して信号処理を行う信号処理装置に関する。 The present invention relates to a signal processing device that performs signal processing through a pre-stage processing circuit and a post-stage processing circuit.

撮像素子からの画像データに対して前段処理部で前処理を施し、その後、後段処理部に転送して後処理を行うデジタルカメラが知られている。また、後段処理部であるバックエンジンだけでも画像処理を行える最小限のカメラシステムを構成し、バックエンジンでは受信できないような高ピクセルレートの画像データを扱う場合に、前段処理部であるフロントエンジンを追加的に利用可能とすることでスケーラブルとする構成も知られている(特許文献1参照)。 2. Description of the Related Art There is known a digital camera that performs preprocessing on image data from an image sensor by a preprocessing unit and then transfers the preprocessed data to a postprocessing unit. In addition, when configuring a minimum camera system that can perform image processing only with the back engine, which is the post-processing unit, and handling high pixel rate image data that cannot be received by the back engine, the front engine, which is the pre-processing unit, is used. A configuration is also known in which it is made scalable by making it additionally available (see Patent Document 1).

特開2013−175824号公報JP, 2013-175824, A

しかし、前段処理部が複数のセンサからの入力を処理する場合、後段処理部へのデータ転送のために複数の出力用の高速センサインターフェースが用いられ、前段処理部の回路構成が複雑化かつ大型化する。 However, when the front-end processing unit processes inputs from multiple sensors, a high-speed sensor interface for multiple outputs is used to transfer data to the post-processing unit, and the circuit configuration of the front-end processing unit becomes complicated and large. Turn into.

本発明は、複数のセンサからの信号を受信し、各センサからのデータを簡略な構成で効率的に後段処理部へと転送可能な信号処理装置を提供することを目的としている。 It is an object of the present invention to provide a signal processing device capable of receiving signals from a plurality of sensors and efficiently transferring data from each sensor to a subsequent processing unit with a simple configuration.

本発明の信号処理装置は、データを入力する複数の入力部と、データを相対的に高速で出力可能な第1インターフェースと、第1インターフェースよりも相対的に低速な第2インターフェースと、複数の入力部からのデータの出力に第1インターフェースを切り替えて使用するための出力切替手段とを備え、複数の入力部からのデータを第1インターフェースおよび第2インターフェースを通して同時並行に出力可能であることを特徴としている。 A signal processing device of the present invention includes a plurality of input units for inputting data, a first interface capable of outputting data at a relatively high speed, a second interface relatively slower than the first interface, and a plurality of An output switching means for switching and using the first interface to output data from the input section, and capable of simultaneously outputting data from a plurality of input sections through the first interface and the second interface in parallel. It has a feature.

複数の入力部の中の異なる入力部から入力されたデータを、それぞれ第1インターフェースおよび第2インターフェースを通して同時並行に出力すること可能であり、第2インターフェースから出力されるデータは圧縮されたデータである。複数の入力部からのデータの出力タイミングが重なるとき、一方のデータを圧縮し、第1インターフェースからの出力と並行して第2インターフェースから出力する。入力データのうち、データ量が多い方を第1インターフェースから出力する。信号処理装置は、制御装置からの制御信号に基づき制御され、第2インターフェースは、この制御信号の通信に使用されるインターフェースである。 It is possible to simultaneously output data input from different input units of the plurality of input units in parallel through the first interface and the second interface, and the data output from the second interface is compressed data. is there. When the output timings of the data from the plurality of input units overlap, one data is compressed and output from the second interface in parallel with the output from the first interface. Of the input data, the one with the larger data amount is output from the first interface. The signal processing device is controlled based on a control signal from the control device, and the second interface is an interface used for communication of this control signal.

第1インターフェースからの出力に並行して、少なくとも1つのセンサのデータに対して圧縮処理を行いその結果を蓄積する。複数の入力部に入力されるデータに画像データが含まれ、第1インターフェースは画像データの出力に優先して使用される。信号処理装置では、画像データに対してノイズリダクション処理が行われる。 In parallel with the output from the first interface, compression processing is performed on the data of at least one sensor and the result is stored. Image data is included in the data input to the plurality of input units, and the first interface is used with priority over the output of the image data. In the signal processing device, noise reduction processing is performed on the image data.

また本発明の撮像装置は、上記信号処理装置を搭載することを特徴としている。 Further, an image pickup apparatus of the present invention is equipped with the above signal processing apparatus.

本発明によれば、複数のセンサからの信号を受信し、各センサからのデータを簡略な構成で効率的に後段処理部へと転送可能な信号処理装置を提供することができる。 According to the present invention, it is possible to provide a signal processing device capable of receiving signals from a plurality of sensors and efficiently transferring data from each sensor to a subsequent processing unit with a simple configuration.

本発明の一実施形態であるカメラの構成を示すブロック図である。It is a block diagram which shows the structure of the camera which is one Embodiment of this invention. フロントエンドプロセッサを中心とする電気的な構成を示すブロック図である。It is a block diagram which shows the electric constitution centering on a front end processor. バックエンドプロセッサの制御の下、フロントエンドプロセッサにおいて実行されるAEデータ取り込み処理のフローチャートである。7 is a flowchart of an AE data fetching process executed by the front-end processor under the control of the back-end processor. バックエンドプロセッサの制御の下、フロントエンドプロセッサにおいて実行される撮像素子(CIS)のデータ取り込み処理のフローチャートである。7 is a flowchart of an image sensor (CIS) data acquisition process executed in the front-end processor under the control of the back-end processor.

以下、本発明の実施の形態を、図面を参照して説明する。図1は、本発明の一実施形態である信号処理装置が搭載されたカメラの構成を示すブロックである。 Embodiments of the present invention will be described below with reference to the drawings. FIG. 1 is a block diagram showing the configuration of a camera equipped with a signal processing device according to an embodiment of the present invention.

カメラ10は、例えばCMOS撮像素子(CIS)12を搭載する一眼レフのデジタルカメラであり、レンズ14と撮像素子12の間にはアップ/ダウンが可能なミラー16が配置される(なお図1にはミラーダウン状態が示される)。被写体像の撮影は、ミラーアップ状態で行われ、レンズ14を通して形成された被写体像は、撮像素子12に結像され画像信号として取得される。撮像素子12で検出された画像信号は、特定用途向け集積回路(ASIC)等を用いたフロントエンドプロセッサ(信号処理装置)18に送られ、ノイズリダクション(NR)などの所定の信号処理が行われた後、DSP等を用いたバックエンドプロセッサ20へと送られる。 The camera 10 is, for example, a single-lens reflex digital camera equipped with a CMOS image sensor (CIS) 12, and an up/down mirror 16 is arranged between the lens 14 and the image sensor 12 (see FIG. 1). Indicates the mirror down state). The subject image is photographed in a mirror-up state, and the subject image formed through the lens 14 is formed on the image sensor 12 and acquired as an image signal. The image signal detected by the image pickup device 12 is sent to a front end processor (signal processing device) 18 using an application specific integrated circuit (ASIC) or the like and subjected to predetermined signal processing such as noise reduction (NR). After that, it is sent to the back-end processor 20 using a DSP or the like.

一方、ミラーダウン状態でレンズ14に入射した光は、ミラー16の主ミラー16Mに反射されスクリーン22に結像される。スクリーン22に形成された被写体像は、ペンタプリズム24等を介して接眼レンズ26へと導かれ、ユーザは接眼レンズ26を通してこの被写体像を観察可能である。また、ペンタプリズム24を通した光はAEセンサ28にも導かれ、自動露出制御に用いられる。更に、ミラー16は副ミラー16Sを備え、ミラーダウン状態において、主ミラー16Mを透過した一部の光は副ミラー16Sで反射されてAFセンサ30で検知され、オートフォーカス制御に用いられる。なお、AEセンサ28、AFセンサ30で検出されるセンサデータは、例えばフロントエンドプロセッサ18に送られた後、バックエンドプロセッサ20へと送られるが、バックエンドプロセッサ20へ直接送られるものが存在してもよい。 On the other hand, the light that has entered the lens 14 in the mirror-down state is reflected by the main mirror 16M of the mirror 16 and imaged on the screen 22. The subject image formed on the screen 22 is guided to the eyepiece lens 26 via the pentaprism 24 and the like, and the user can observe the subject image through the eyepiece lens 26. The light that has passed through the pentaprism 24 is also guided to the AE sensor 28 and used for automatic exposure control. Further, the mirror 16 includes a sub-mirror 16S, and in the mirror-down state, a part of the light transmitted through the main mirror 16M is reflected by the sub-mirror 16S and detected by the AF sensor 30 to be used for autofocus control. The sensor data detected by the AE sensor 28 and the AF sensor 30 is sent to the back-end processor 20 after being sent to the front-end processor 18, for example. May be.

図2は、本実施形態のフロントエンドプロセッサ18を中心とする電気的な構成を示すブロック図である。 FIG. 2 is a block diagram showing an electrical configuration centering on the front-end processor 18 of this embodiment.

図2に示されるように、フロントエンドプロセッサ18は、ノイズリダクション(NR)回路32を備え、撮像素子12からの画像データは、入力用のセンサI/F(センサインターフェース)34を通して入力されNR回路32へと入力される。NR回路32からの信号は、セレクタ36を介して出力用の高速センサI/F38からバックエンドプロセッサ20へと送信可能である。一方、AEセンサ28やAFセンサ30からのセンサデータは、入力用センサI/F40を介してフロントエンドプロセッサ18へと入力される(図2ではAEセンサ28からの入力を例示)。入力されたセンサデータは、セレクタ36と検波回路42へ並列に出力され、例えば検波による圧縮データは結果レジスタ44に記憶される(なお、圧縮方法は、データを間引くことによる圧縮、データの平均、加算による圧縮、その他の圧縮方法も含み、データサイズを縮小することを目的とするものであれば検波に限定されない)。結果レジスタ44は、割り込み(INT)ポート45を通してバックエンドプロセッサ20へのトリガ信号を発することが可能であり、バックエンドプロセッサ20はトリガ信号に応じて、結果レジスタ44に記憶される検波結果を、通信ポート46を通して取得可能である。 As shown in FIG. 2, the front-end processor 18 includes a noise reduction (NR) circuit 32, and image data from the image sensor 12 is input through a sensor I/F (sensor interface) 34 for input and the NR circuit. 32 is input. The signal from the NR circuit 32 can be transmitted from the high-speed sensor I/F 38 for output to the back-end processor 20 via the selector 36. On the other hand, the sensor data from the AE sensor 28 and the AF sensor 30 is input to the front end processor 18 via the input sensor I/F 40 (in FIG. 2, the input from the AE sensor 28 is illustrated). The input sensor data is output in parallel to the selector 36 and the detection circuit 42, and, for example, the compressed data by detection is stored in the result register 44 (the compression method is compression by thinning out data, averaging of data, Compression by addition, including other compression methods, is not limited to detection as long as the purpose is to reduce the data size). The result register 44 can issue a trigger signal to the back-end processor 20 through the interrupt (INT) port 45, and the back-end processor 20 outputs the detection result stored in the result register 44 in response to the trigger signal. It can be acquired through the communication port 46.

通信ポート46は、例えばSPIやI2Cなどであり、通常はフロントエンドプロセッサ18がバックエンドプロセッサ20からの制御信号を受けるポートであり、出力用の高速センサI/F38の通信速度に比べて低速である。通信ポート46を介してバックエンドプロセッサ20から受け取った制御信号は、レジスタ48に蓄えられ、フロントエンドプロセッサ18では、レジスタ48の制御信号に基づき順次各種設定を行う。また、バックエンドプロセッサ20との間には、通信制御のためのハンドシェイクポート50や、リセットのためのリセット(RST)ポート52、クロック信号を生成するためのPLLポート54を備えてもよく、更に撮像素子12等のセンサとの同期をとるためのタイミング信号を出力するTGポート56を備えてもよいが、これらの構成は省略されてもよい。 The communication port 46 is, for example, SPI or I2C, and is usually a port where the front-end processor 18 receives a control signal from the back-end processor 20, and is lower than the communication speed of the output high-speed sensor I/F 38. is there. The control signal received from the back-end processor 20 via the communication port 46 is stored in the register 48, and the front-end processor 18 sequentially performs various settings based on the control signal from the register 48. Further, a handshake port 50 for communication control, a reset (RST) port 52 for reset, and a PLL port 54 for generating a clock signal may be provided between the back-end processor 20 and Further, a TG port 56 for outputting a timing signal for synchronizing with a sensor such as the image sensor 12 may be provided, but these configurations may be omitted.

セレクタ36の切り替えは、バックエンドプロセッサ20からの制御信号に基づきフロントエンドプロセッサ18で行われる。セレクタ36は、例えば撮像素子12からの画像データ、あるいはAEセンサ28やAFセンサ30からのセンサデータを同時にバックエンドプロセッサ20に転送する必要がない場合、セレクタ36を随時切り替えて、画像データあるいはセンサデータの一方を出力用高速センサI/F38からバックエンドプロセッサ20へと出力する。一方、画像データとセンサデータを同時並行してバックエンドプロセッサ20へと転送する必要がある場合などには、高速な出力用高速センサI/F38からは撮像素子12の画像データを出力し、センサデータは圧縮処理(検波処理)を施した後、低速な通信I/Fを通してバックエンドプロセッサ20へと出力する。 Switching of the selector 36 is performed by the front end processor 18 based on a control signal from the back end processor 20. For example, when it is not necessary to simultaneously transfer the image data from the image sensor 12 or the sensor data from the AE sensor 28 or the AF sensor 30 to the backend processor 20, the selector 36 switches the selector 36 at any time to change the image data or the sensor data. One of the data is output from the output high-speed sensor I/F 38 to the back-end processor 20. On the other hand, when it is necessary to simultaneously transfer the image data and the sensor data to the back-end processor 20 in parallel, the image data of the image sensor 12 is output from the high-speed output high-speed sensor I/F 38 and the sensor is output. The data is subjected to compression processing (detection processing) and then output to the back-end processor 20 through a low-speed communication I/F.

図3は、バックエンドプロセッサ20の制御の下、フロントエンドプロセッサ18において実行されるAEデータ取り込み処理のフローチャートである。 FIG. 3 is a flowchart of the AE data fetching process executed by the front-end processor 18 under the control of the back-end processor 20.

フロントエンドプロセッサ18は、入力用センサI/F40においてAEセンサ28やAFセンサ30からセンサデータを受信すると、ステップS100において出力用高速センサI/F38が画像(CIS)データの出力に使用されているか否かが判定される。出力用高速センサI/F38が使用されていないと判定されると、ステップS110において、セレクタ36をAEデータ(AFデータ)に切り替え、ステップS112においてAEデータを出力用高速センサI/F38から出力して、本処理を終了する。 When the input sensor I/F 40 receives the sensor data from the AE sensor 28 or the AF sensor 30, the front-end processor 18 determines whether the output high-speed sensor I/F 38 is used to output the image (CIS) data in step S100. It is determined whether or not. If it is determined that the output high-speed sensor I/F 38 is not used, the selector 36 is switched to the AE data (AF data) in step S110, and the AE data is output from the output high-speed sensor I/F 38 in step S112. Then, this process ends.

一方、ステップS100において、出力用高速センサI/F38が画像(CIS)データの出力に使用されていると判定されると、ステップS102において、検波回路42によるAEデータの検波処理を行い、処理結果の結果レジスタ44への転送を開始する。ステップS104では、結果レジスタ44への検波処理結果の転送が完了したか否かが判定され、転送が完了するまでステップS104の処理が繰り返される。 On the other hand, if it is determined in step S100 that the output high-speed sensor I/F 38 is being used to output image (CIS) data, then in step S102 the AE data detection processing is performed by the detection circuit 42, and the processing result is obtained. The transfer to the result register 44 is started. In step S104, it is determined whether or not the transfer of the detection processing result to the result register 44 is completed, and the processing of step S104 is repeated until the transfer is completed.

ステップS104において結果レジスタ44へのデータ転送が完了したと判定されると、ステップS106において、INTポート(INT端子)から割り込み信号がバックエンドプロセッサ20へと出力される。そして、ステップS108において通信ポート(I/F)46からAEデータの検波データ(圧縮データ)がバックエンドプロセッサ20へと出力され、本処理は終了する。 When it is determined that the data transfer to the result register 44 is completed in step S104, an interrupt signal is output from the INT port (INT terminal) to the backend processor 20 in step S106. Then, in step S108, the detection data (compressed data) of the AE data is output from the communication port (I/F) 46 to the back-end processor 20, and this processing ends.

図4は、バックエンドプロセッサ20の制御の下、フロントエンドプロセッサ18において実行される撮像素子(CIS)のデータ取り込み処理のフローチャートである。 FIG. 4 is a flowchart of the image capturing device (CIS) data acquisition processing executed in the front-end processor 18 under the control of the back-end processor 20.

フロントエンドプロセッサ18は、入力用センサI/F34において撮像素子(CIS)12から画像データを受信すると、ステップS200において出力用高速センサI/F38が、例えばAEセンサ28からのセンサデータの出力に使用されているか否かが判定される。出力用高速センサI/F38がAEセンサ28のデータ転送に使用されていないと判断されると、ステップS206において、セレクタ36の選択を撮像素子(CIS)12、すなわちノイズリダクション回路32に切り替え、ステップS208において画像データ(CISデータ)を出力用高速センサI/F38からバックエンドプロセッサ20へと出力し、本処理を終了する。 When the input sensor I/F 34 receives the image data from the image sensor (CIS) 12, the front-end processor 18 uses the output high-speed sensor I/F 38 to output the sensor data from the AE sensor 28, for example, in step S200. It is determined whether or not this has been done. When it is determined that the output high-speed sensor I/F 38 is not used for the data transfer of the AE sensor 28, the selection of the selector 36 is switched to the image sensor (CIS) 12, that is, the noise reduction circuit 32 in step S206, and the step is performed. In S208, the image data (CIS data) is output from the output high-speed sensor I/F 38 to the back-end processor 20, and this processing ends.

一方、ステップS200において、出力用高速センサI/F38がAEセンサ28のデータ転送に使用されていると判断されると、ステップS202において、画像データ(CISデータ)の出力開始タイミングがAEデータの出力完了タイミングよりも後か否かが判定される。画像データ(CISデータ)の出力開始タイミングがAEデータの出力完了タイミングよりも後であれば、ステップS204において、出力用高速センサI/F38を用いたAEデータの転送が完了したか否かが判定され、転送が完了するまでステップS204の処理が繰り返される。 On the other hand, if it is determined in step S200 that the output high-speed sensor I/F 38 is used for data transfer of the AE sensor 28, in step S202, the output start timing of the image data (CIS data) is the output of the AE data. It is determined whether it is after the completion timing. If the output start timing of the image data (CIS data) is later than the output completion timing of the AE data, it is determined in step S204 whether or not the transfer of the AE data using the output high-speed sensor I/F 38 is completed. Then, the process of step S204 is repeated until the transfer is completed.

出力用高速センサI/F38を用いたAEデータの転送が完了すると、ステップS206において、セレクタ36の選択を撮像素子(CIS)12、すなわちノイズリダクション回路32に切り替え、ステップS208において画像データ(CISデータ)を出力用高速センサI/F38からバックエンドプロセッサ20へと出力し、本処理を終了する。 When the transfer of the AE data using the high-speed sensor I/F 38 for output is completed, the selection of the selector 36 is switched to the image sensor (CIS) 12, that is, the noise reduction circuit 32 in step S206, and the image data (CIS data) is selected in step S208. ) Is output from the output high-speed sensor I/F 38 to the back-end processor 20, and this processing ends.

ステップS202において、画像データ(CISデータ)の出力開始タイミングが出力用高速センサI/F38を用いたAEデータの出力完了タイミングよりも後でないと判定されると、処理はステップS210に進み、セレクタ36の選択が撮像素子(CIS)12、すなわちノイズリダクション回路32に切り替えられ、ステップS212において画像データ(CISデータ)の出力用高速センサI/F38からの出力が開始される。 If it is determined in step S202 that the output start timing of the image data (CIS data) is not later than the output completion timing of the AE data using the output high-speed sensor I/F 38, the process proceeds to step S210, and the selector 36 is operated. Is switched to the image sensor (CIS) 12, that is, the noise reduction circuit 32, and the output of the image data (CIS data) from the high-speed sensor I/F 38 for output is started in step S212.

ステップS214では、検波回路42におけるAE検波データの結果レジスタ44への転送が完了したか否かが判定され、AE検波データの結果レジスタ44への転送が完了するまで同処理が繰り返される。AE検波データの結果レジスタ44への転送が完了すると、ステップS216において、割り込みポート(INT端子)45からバックエンドプロセッサ20へ割り込み信号(トリガ信号)が出力される。ステップS218においてバックエンドプロセッサ20は同トリガ信号を受けて、通信ポート(I/F)46を用いたデータ通信を開始する。すなわちフロントエンドプロセッサ18は、出力用高速センサI/F38を介した画像データ(CISデータ)の転送に並行して、結果レジスタ44に蓄積されたAE検波データを通信ポート(I/F)46を介してバックエンドプロセッサ20へと転送し、本処理は終了する。 In step S214, it is determined whether or not the transfer of the AE detection data to the result register 44 in the detection circuit 42 is completed, and the same processing is repeated until the transfer of the AE detection data to the result register 44 is completed. When the transfer of the AE detection data to the result register 44 is completed, an interrupt signal (trigger signal) is output from the interrupt port (INT terminal) 45 to the backend processor 20 in step S216. In step S218, the back-end processor 20 receives the trigger signal and starts data communication using the communication port (I/F) 46. That is, the front end processor 18 transfers the AE detection data accumulated in the result register 44 to the communication port (I/F) 46 in parallel with the transfer of the image data (CIS data) via the output high-speed sensor I/F 38. Then, the processing is transferred to the back-end processor 20 via this, and this processing ends.

以上のように、本実施形態によれば、撮像素子の画像データの転送に用いられる出力用高速センサI/Fが、撮像素子の画像データの転送に使用されていないときには、他のセンサ(AE、AFセンサ等)からのデータの転送に使用可能とするとともに、センサデータを常に並行して検波しその結果をレジスタに蓄積することで、出力用高速センサI/Fを使用したセンサデータ転送中に画像データの転送が必要となったときには、出力用高速センサI/Fを撮像素子の画像データの転送に切り替え、他のセンサデータは、バックエンドプロセッサからの制御信号の通信に用いられる低速な通信ポートを通して検波データとして転送することができる。 As described above, according to the present embodiment, when the output high-speed sensor I/F used to transfer the image data of the image sensor is not used to transfer the image data of the image sensor, another sensor (AE) is used. , AF sensor, etc.), the sensor data is always detected in parallel and the result is stored in a register to transfer the sensor data using the output high-speed sensor I/F. When it becomes necessary to transfer the image data to the image sensor, the output high-speed sensor I/F is switched to transfer the image data of the image sensor, and the other sensor data are transferred at the low speed used for communication of the control signal from the back-end processor. It can be transferred as detection data through the communication port.

これにより、フロントエンドプロセッサに複数センサからの入力がある場合においても、出力用の高速センサI/Fを複数設けることなく、画像データおよびその他のセンサデータを効率的にバックエンドプロセッサへと転送することができる。 As a result, even when the front-end processor has inputs from a plurality of sensors, the image data and other sensor data are efficiently transferred to the back-end processor without providing a plurality of high-speed sensor I/Fs for output. be able to.

なお、本実施形態ではCMOSの撮像素子を例に説明を行なったが、撮像素子はCCDなど他の形式の撮像素子でもよい。また、入力データは画像データ以外のものでも良い。また本実施形態では、一眼レフのデジタルカメラを例に説明を行なったが、本実施形態はミラーレスのデジタルカメラやコンパクトカメラ、あるいはカメラ機能を備えたその他の電子機器に適用することもできる。また、本実施形態では、フロントエンドプロセッサでは画像データに対してノイズリダクション処理を行ったが、その他の処理であってもよく、またセンサデータに関する処理に関しても、データを圧縮できる処理であれば検波処理に限定されるものではない。さらに、フロントエンドプロセッサに一時記憶領域を用意して優先度の高いデータを高速I/Fからバックエンドプロセッサに転送して、優先度の低いデータを一時記憶領域へ圧縮し溜めるとともに、先の優先度の高いデータの転送と並行して低速I/Fから転送する実施形態も考えられる。 In the present embodiment, the description has been given with the CMOS image sensor as an example, but the image sensor may be another type of image sensor such as CCD. The input data may be something other than image data. Further, although the present embodiment has been described by taking a single-lens reflex digital camera as an example, the present embodiment can be applied to a mirrorless digital camera, a compact camera, or other electronic devices having a camera function. Further, in the present embodiment, the noise reduction processing is performed on the image data in the front-end processor, but other processing may be performed, and regarding processing related to sensor data, if the processing can compress the data, detection is performed. It is not limited to processing. In addition, a temporary storage area is prepared in the front-end processor to transfer high-priority data from the high-speed I/F to the back-end processor to compress and store the low-priority data in the temporary storage area. An embodiment in which data is transferred from the low-speed I/F in parallel with the transfer of highly frequent data is also conceivable.

また、本実施形態では入力I/Fの数が2で出力I/Fの数が1の例を示したが、I/Fの数はこれに限定されない。また、低速I/Fとして通信ポートを使用する実施形態を示したが、別途専用の低速I/Fを有していてもよい(高速I/F回路規模に比較して低速I/Fは回路規模を縮小できる)。例えば、通信ポートを頻繁に使用するような装置では通信ポートを使用することができない可能性もあるため、そのような場合には、別途専用の低速IFを設けることが好ましい。 Further, in the present embodiment, an example in which the number of input I/Fs is 2 and the number of output I/Fs is 1 is shown, but the number of I/Fs is not limited to this. Further, although the embodiment in which the communication port is used as the low-speed I/F is shown, a dedicated low-speed I/F may be separately provided (compared to the high-speed I/F circuit scale, the low-speed I/F circuit The scale can be reduced). For example, there is a possibility that the communication port cannot be used in a device that frequently uses the communication port. In such a case, it is preferable to provide a dedicated low-speed IF separately.

本実施形態では、撮像素子からの画像データと、他のセンサからのデータの出力との間で高速センサI/Fの使用を切り替えたが、画像データ以外の大容量データとの間で、出力を切り替える構成とすることもできる。 In the present embodiment, the use of the high-speed sensor I/F is switched between the image data from the image sensor and the output of the data from the other sensor, but the output is performed between the large amount of data other than the image data. It is also possible to have a configuration for switching.

10 カメラ
12 撮像素子
14 レンズ
16 ミラー
18 フロントエンドプロセッサ(信号処理装置)
20 バックエンドプロセッサ
38 出力用高速センサI/F
42 検波回路
44 結果レジスタ
46 通信ポート(I/F)
10 camera 12 image sensor 14 lens 16 mirror 18 front-end processor (signal processing device)
20 Back-end processor 38 High-speed sensor I/F for output
42 detection circuit 44 result register 46 communication port (I/F)

Claims (9)

データを入力する複数の入力部と、
データを相対的に高速で出力可能な第1インターフェースと、
前記第1インターフェースよりも相対的に低速な第2インターフェースと、
前記複数の入力部からのデータの出力に前記第1インターフェースを切り替えて使用するための出力切替手段とを備え、
複数の入力部からのデータを前記第1インターフェースおよび前記第2インターフェースを通して同時並行に出力可能である
ことを特徴とする信号処理装置。
Multiple input parts for inputting data,
A first interface capable of outputting data at a relatively high speed,
A second interface that is relatively slower than the first interface;
Output switching means for switching and using the first interface to output data from the plurality of input units,
A signal processing device capable of simultaneously outputting data from a plurality of input sections through the first interface and the second interface in parallel.
前記複数の入力部の中の異なる入力部から入力されたデータを、それぞれ前記第1インターフェースおよび前記第2インターフェースを通して同時並行に出力すること可能であり、前記第2インターフェースから出力されるデータは圧縮されたデータであることを特徴とする請求項1に記載の信号処理装置。 The data input from different input portion of the middle of the plurality of input, it is possible to output simultaneously in parallel through each of the first interface and the second interface, data output from the second interface The signal processing device according to claim 1, wherein the signal processing device is compressed data. 前記複数の入力部からのデータの出力タイミングが重なるとき、一方のデータを圧縮し、前記第1インターフェースからの出力と並行して前記第2インターフェースから出力することを特徴とする請求項1に記載の信号処理装置。 When the output timings of the data from the plurality of input units overlap, one data is compressed and output from the second interface in parallel with the output from the first interface. Signal processing equipment. 入力データのうち、データ量が多い方を前記第1インターフェースから出力することを特徴とする請求項1〜3の何れか一項に記載の信号処理装置。 The signal processing device according to claim 1, wherein one of the input data having a larger data amount is output from the first interface. 前記信号処理装置は、制御装置からの制御信号に基づき制御され、前記第2インターフェースは、前記制御信号の通信に使用されるインターフェースであることを特徴とする請求項1〜4の何れか一項に記載の信号処理装置。 5. The signal processing device is controlled based on a control signal from a control device, and the second interface is an interface used for communication of the control signal. The signal processing device according to. 前記第1インターフェースからの出力に並行して、少なくとも1つの入力データに対して圧縮処理を行いその結果を蓄積することを特徴とする請求項1〜5の何れか一項に記載の信号処理装置。 6. The signal processing device according to claim 1, wherein at least one input data is compressed in parallel with the output from the first interface and the result is accumulated. .. 前記複数の入力部に入力されるデータに画像データが含まれ、前記第1インターフェースが前記画像データの出力に優先して使用されることを特徴とする請求項1〜6の何れか一項に記載の信号処理装置。 7. The image data is included in the data input to the plurality of input units, and the first interface is used with priority over the output of the image data. The signal processing device described. 前記画像データに対してノイズリダクション処理が行われることを特徴とする請求項7に記載の信号処理装置。 The signal processing device according to claim 7, wherein a noise reduction process is performed on the image data. 請求項1〜8の何れか一項に記載の信号処理装置を搭載することを特徴とする撮像装置。 An image pickup apparatus, comprising the signal processing apparatus according to claim 1.
JP2016130436A 2016-06-30 2016-06-30 Signal processor Active JP6729080B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2016130436A JP6729080B2 (en) 2016-06-30 2016-06-30 Signal processor

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016130436A JP6729080B2 (en) 2016-06-30 2016-06-30 Signal processor

Publications (2)

Publication Number Publication Date
JP2018006971A JP2018006971A (en) 2018-01-11
JP6729080B2 true JP6729080B2 (en) 2020-07-22

Family

ID=60949966

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016130436A Active JP6729080B2 (en) 2016-06-30 2016-06-30 Signal processor

Country Status (1)

Country Link
JP (1) JP6729080B2 (en)

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4286091B2 (en) * 2003-09-04 2009-06-24 オリンパス株式会社 Solid-state imaging device
JP4946313B2 (en) * 2006-09-27 2012-06-06 株式会社ニコン Imaging device
JP5194688B2 (en) * 2007-10-01 2013-05-08 株式会社ニコン Solid-state imaging device
JP5319347B2 (en) * 2009-03-17 2013-10-16 キヤノン株式会社 Imaging apparatus and control method thereof
JP2013090020A (en) * 2011-10-14 2013-05-13 Hitachi Consumer Electronics Co Ltd Image output device and image output method

Also Published As

Publication number Publication date
JP2018006971A (en) 2018-01-11

Similar Documents

Publication Publication Date Title
US10990781B2 (en) Exposure method, electronic device and master-slave system
US10178338B2 (en) Electronic apparatus and method for conditionally providing image processing by an external apparatus
WO2017096866A1 (en) Method and apparatus for generating high dynamic range image
JP2005124191A (en) System and method for capturing image data
US10298862B2 (en) Imaging apparatus and imaging method
US20070196101A1 (en) Imaging apparatus control unit and digital camera
CN112087569B (en) Camera and camera starting method and device
US20090153681A1 (en) Digital photographing apparatus and method of controlling the same
US10681266B2 (en) Method, apparatus, and system for processing digital images
US8571404B2 (en) Digital photographing apparatus, method of controlling the same, and a computer-readable medium storing program to execute the method
CN113287295B (en) Image pickup element, image pickup device, method of operating image pickup element, and storage medium
JP4810850B2 (en) Imaging apparatus and program
JP6729080B2 (en) Signal processor
CN112640429B (en) Imaging element, imaging device, image data processing method, and storage medium
US10944899B2 (en) Image processing device and image processing method
JP2007171807A (en) Focus detection device and camera
CN114258672B (en) Image pickup apparatus, method of operating image pickup apparatus, and storage medium
JP6763215B2 (en) Signal processing device
TW201911853A (en) Dual-camera image pick-up apparatus and image capturing method thereof
JP2017041778A (en) Imaging apparatus, moving picture formation method and program
JP2021085988A (en) Imaging device, focus adjustment method, and focus adjustment program
JP6668789B2 (en) Photometric device and imaging device provided with photometric device
JP6720721B2 (en) Image data acquisition system
JP2024021407A (en) Image pickup apparatus, control method therefor, and program
JP2024023794A (en) Imaging element, imaging device, method for outputting image data, and program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190416

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20191118

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20191126

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200121

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200602

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200615

R150 Certificate of patent or registration of utility model

Ref document number: 6729080

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250