JP2021125748A

JP2021125748A - Information processing device, imaging device, information processing method, and program

Info

Publication number: JP2021125748A
Application number: JP2020016448A
Authority: JP
Inventors: 秀磨横山; Hidema Yokoyama
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2020-02-03
Filing date: 2020-02-03
Publication date: 2021-08-30

Abstract

To realize transmission of image data in a more preferable manner even in a situation where a plurality of processing chips are used for processing image data.SOLUTION: An imaging device according to the present invention includes a front engine 110 and a back engine 140. The front engine 110 includes an image processing unit D118 that generates processed image data by applying image processing to the image data, and a recording control unit 119 that records the processed image data in a recording unit 161. The back engine 140 includes an image processing unit C142 that generates processed image data by applying image processing to the image data, and a recording control unit 144 that records the processed image data in the recording unit 161 via a transmission path different from the recording control unit 119.SELECTED DRAWING: Figure 1

Description

本開示は、情報処理装置、撮像装置、情報処理方法、及びプログラムに関する。 The present disclosure relates to an information processing device, an imaging device, an information processing method, and a program.

近年では、デジタルカメラやデジタルビデオカメラ等の撮像装置において、記録される動画像の高解像度化や高フレームレート化が進んでおり、画像処理（特に、動画像の画像データの生成に係る処理）に関する処理能力の向上が求められている。このような処理能力の向上を実現するための手法の一例として、複数の処理チップを利用する手法が挙げられる。例えば、特許文献１には、複数の信号処理手段を備える装置の一例が開示されている。 In recent years, in imaging devices such as digital cameras and digital video cameras, the resolution and frame rate of recorded moving images have been increased, and image processing (particularly, processing related to the generation of image data of moving images) has been progressing. There is a need to improve the processing capacity of the above. As an example of a method for realizing such an improvement in processing capacity, there is a method using a plurality of processing chips. For example, Patent Document 1 discloses an example of an apparatus including a plurality of signal processing means.

特開平８−２４９８１９号公報Japanese Unexamined Patent Publication No. 8-249819

一方で、複数の処理チップを利用される状況下では、処理チップの数の増加に伴い伝送対象となる画像データの数やサイズが増加し、画像データの伝送に係る伝送経路の少なくとも一部の帯域が圧迫される場合がある。このような状況下では、画像データに対する画像処理に関する処理能力が向上したとしても、画像データの伝送においてボトルネックが発生し、当該処理能力の向上に伴う一連の処理の処理時間の短縮に係る効果を得ることが困難となる場合がある。特に、動画像の高解像度化や高フレームレート化に伴い、画像データのサイズがより増加することとなるため、上記ボトルネックの発生に伴う影響がより顕著に顕在化する傾向にある。 On the other hand, in a situation where a plurality of processing chips are used, the number and size of image data to be transmitted increase as the number of processing chips increases, and at least a part of the transmission path related to the transmission of the image data. Bandwidth may be squeezed. Under such circumstances, even if the processing capacity related to image processing for image data is improved, a bottleneck will occur in the transmission of image data, and the effect of shortening the processing time of a series of processing accompanying the improvement of the processing capacity will occur. May be difficult to obtain. In particular, as the resolution and frame rate of moving images are increased, the size of image data is further increased, so that the influence of the occurrence of the bottleneck tends to become more pronounced.

本発明は上記の問題を鑑み、画像データの処理に複数の処理チップが利用される状況下においても、画像データの伝送をより好適な態様で実現可能とすることを目的とする。 In view of the above problems, it is an object of the present invention to enable transmission of image data in a more preferable manner even in a situation where a plurality of processing chips are used for processing image data.

本発明に係る情報処理装置は、第１の処理チップと、第２の処理チップと、を備え、前記第１の処理チップは、入力された画像データを、第１の処理に基づき第１の処理画像データに変換する第１の変換手段と、前記画像データを第２の処理チップに出力する出力手段と、前記第１の処理画像データを所定の記録デバイスに記録する第１の記録手段と、を備え、前記第２の処理チップは、前記第１の処理チップから入力された前記画像データを、第２の処理に基づき第２の処理画像データに変換する第２の変換手段と、前記第２の処理画像データを、前記第１の記録手段とは異なる伝送経路を介して、前記記録デバイスに記録する第２の記録手段と、を備える。 The information processing apparatus according to the present invention includes a first processing chip and a second processing chip, and the first processing chip uses the input image data as a first processing based on the first processing. A first conversion means for converting into processed image data, an output means for outputting the image data to a second processing chip, and a first recording means for recording the first processed image data on a predetermined recording device. The second processing chip includes, the second conversion means for converting the image data input from the first processing chip into the second processed image data based on the second processing, and the above. A second recording means for recording the second processed image data in the recording device via a transmission path different from that of the first recording means is provided.

本発明によれば、画像データの処理に複数の処理チップが利用される状況下においても、画像データの伝送をより好適な態様で実現することが可能となる。 According to the present invention, it is possible to realize transmission of image data in a more preferable manner even in a situation where a plurality of processing chips are used for processing image data.

撮像装置の構成の一例を示したブロック図である。It is a block diagram which showed an example of the structure of the image pickup apparatus. 撮像装置の処理の一例を示したフローチャートである。It is a flowchart which showed an example of the processing of an image pickup apparatus. 撮像装置の処理の一例を示したフローチャートである。It is a flowchart which showed an example of the processing of an image pickup apparatus. 撮像装置の処理の一例を示したフローチャートである。It is a flowchart which showed an example of the processing of an image pickup apparatus. 電力制御に係るタイミングの一例を示したタイミングチャートである。It is a timing chart which showed an example of the timing related to power control. 撮像装置の構成の他の一例を示したブロック図である。It is a block diagram which showed another example of the structure of the image pickup apparatus. 撮像装置の処理のタイミングの一例を示したタイミングチャートである。It is a timing chart which showed an example of the processing timing of an image pickup apparatus.

以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。 Preferred embodiments of the present disclosure will be described in detail below with reference to the accompanying drawings. In the present specification and the drawings, components having substantially the same functional configuration are designated by the same reference numerals, so that duplicate description will be omitted.

＜構成例＞
図１を参照して、本実施形態に係る撮像装置の構成の一例について、特に、撮像結果に応じた画像データに対して画像処理を施し、当該画像処理後の画像データ（以下、「処理画像データ」とも称する）を記録デバイスに記録するまでの処理に着目して説明する。 <Configuration example>
With reference to FIG. 1, with respect to an example of the configuration of the imaging apparatus according to the present embodiment, in particular, image processing is performed on the image data according to the imaging result, and the image data after the image processing (hereinafter, “processed image”). The process of recording (also referred to as "data") on the recording device will be described.

本実施形態に係る撮像装置は、光学部１０１と、撮像部１０２と、フロントエンジン１１０と、バックエンジン１４０と、記録部１６１とを含む。また、撮像装置は、ＤＲＡＭ（ＤｙｎａｍｉｃＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）１３０及び１６０と、表示部１３１と、電源制御部１５０とを含む。 The image pickup apparatus according to the present embodiment includes an optical unit 101, an image pickup unit 102, a front engine 110, a back engine 140, and a recording unit 161. Further, the image pickup apparatus includes DRAM (Dynamic Random Access Memory) 130 and 160, a display unit 131, and a power supply control unit 150.

光学部１０１は、レンズに代表される光学系により実現され、取り込んだ光を撮像部１０２に導光させる。なお、光学部１０１は、撮像装置に対して着脱可能に構成されていてもよい。
撮像部１０２は、光電変換により光を電気信号に変換する所謂撮像素子により実現され、光学部１０１により導光された光を画像信号に変換し、当該画像信号に応じた画像データをフロントエンジン１１０に出力する。 The optical unit 101 is realized by an optical system represented by a lens, and guides the captured light to the imaging unit 102. The optical unit 101 may be configured to be detachable from the imaging device.
The image pickup unit 102 is realized by a so-called image pickup element that converts light into an electric signal by photoelectric conversion, converts the light guided by the optical unit 101 into an image signal, and converts the image data corresponding to the image signal into the front engine 110. Output to.

フロントエンジン１１０は、例えば、半導体集積回路により実現され、撮像部１０２による撮像結果に応じた画像データに対して各種画像処理を施す機能を有する。特に、図１に示す例では、フロントエンジン１１０は、撮像部１０２による撮像結果に応じて、表示部１３１に表示させる画像の生成に係る機能を有する。なお、フロントエンジン１１０のより詳細な構成ついては別途後述する。また、フロントエンジン１１０が、「第１の処理チップ」の一例に相当する。 The front engine 110 is realized by, for example, a semiconductor integrated circuit, and has a function of performing various image processing on image data according to an image pickup result by the image pickup unit 102. In particular, in the example shown in FIG. 1, the front engine 110 has a function related to the generation of an image to be displayed on the display unit 131 according to the image pickup result by the image pickup unit 102. A more detailed configuration of the front engine 110 will be described later. Further, the front engine 110 corresponds to an example of the "first processing chip".

バックエンジン１４０は、例えば、半導体集積回路により実現され、撮像部１０２側から見てフロントエンジン１１０の後段に位置するように、当該フロントエンジン１１０と接続される。バックエンジン１４０は、画像データに対して各種画像処理を施す機能を有する。特に、図１に示す例では、バックエンジン１４０は、フロントエンジン１１０から出力される画像データに基づく、記録部１６１に記録するための処理画像データの生成または変換に係る機能（例えば、圧縮率の比較的高いデータ符号化の機能等）を有する。なお、バックエンジン１４０のより詳細な構成ついては別途後述する。また、バックエンジン１４０が、「第２の処理チップ」の一例に相当する。 The back engine 140 is realized by, for example, a semiconductor integrated circuit, and is connected to the front engine 110 so as to be located behind the front engine 110 when viewed from the imaging unit 102 side. The back engine 140 has a function of performing various image processing on the image data. In particular, in the example shown in FIG. 1, the back engine 140 has a function related to generation or conversion of processed image data for recording in the recording unit 161 based on the image data output from the front engine 110 (for example, of compression ratio). It has a relatively high data coding function, etc.). A more detailed configuration of the back engine 140 will be described later. Further, the back engine 140 corresponds to an example of the "second processing chip".

ＤＲＡＭ１３０及び１６０は、それぞれフロントエンジン１１０及びバックエンジン１４０に接続されており、画像処理の実行中における各種データ（例えば、画像データ等）を一時的に記録する記録部や、各種パラメータを記録する記録部として使用される。 The DRAMs 130 and 160 are connected to the front engine 110 and the back engine 140, respectively, and are a recording unit that temporarily records various data (for example, image data) during execution of image processing, and a recording unit that records various parameters. Used as a part.

表示部１３１は、液晶ディスプレイ等の表示装置により実現され、撮像部１０２による撮像結果に応じたライブビュー画像の表示や、所定の記憶領域（例えば、記録部１６１）に記録された画像データに基づく再生画像の表示等を行う。表示部１３１は、画像を表示する表示領域に対して、ユーザからの操作を受け付けるタッチパネルが設けられていてもよい。図１に示す例では、表示部１３１は、フロントエンジン１１０に接続される。 The display unit 131 is realized by a display device such as a liquid crystal display, and is based on the display of a live view image according to the image pickup result by the image pickup unit 102 and the image data recorded in a predetermined storage area (for example, the recording unit 161). Display the reproduced image, etc. The display unit 131 may be provided with a touch panel for receiving an operation from the user in the display area for displaying an image. In the example shown in FIG. 1, the display unit 131 is connected to the front engine 110.

記録部１６１は、撮像部１０２による撮像結果に応じた画像データ（例えば、処理画像データ）等の各種データや、各種情報の記録に利用される記憶領域である。記録部１６１は、例えば、撮像装置に対して着脱可能に構成された、所謂可搬型メモリにより実現されてもよい。具体的な一例として、記録部１６１は、ＵＨＳ−Ｉ（ＵｌｔｒａＨｉｇｈＳｐｅｅｄＰｈａｓｅＩ）やＵＨＳ−ＩＩ（ＵｌｔｒａＨｉｇｈＳｐｅｅｄＰｈａｓｅＩＩ）等のようなＵＨＳ規格に準拠したＳＤメモリカードにより実現されてもよい。もちろん、記録部１６１は、ＵＨＳ規格のみに限定されず、データの記録に係る他の規格に準拠した記録媒体により実現されてもよい。また、他の一例として、記録部１６１は、ＣＦ（ＣｏｍｐａｃｔＦｌａｓｈ、登録商標）カード、ＣＦａｓｔカード、ＣＦＥｘｐｒｅｓｓカード、ＸＱＤ（登録商標）カード等により実現されてもよい。
記録部１６１は、フロントエンジン１１０及びバックエンジン１４０に接続される。なお、記録部１６１に対して、フロントエンジン１１０及びバックエンジン１４０のいずれからのデータが記録されるかが選択的に切り替えられてもよい。なお、当該切り替えの指示を行う主体は特に限定されない。具体的な一例として、当該切り替えについては、後述するＣＰＵ１１７及び１４５からの指示に基づき行われてもよいし、後述する記録制御部１１９及び１４４からの指示に基づき行われてもよい。 The recording unit 161 is a storage area used for recording various data such as image data (for example, processed image data) according to the image pickup result by the image pickup unit 102 and various information. The recording unit 161 may be realized by, for example, a so-called portable memory configured to be detachable from the image pickup apparatus. As a specific example, the recording unit 161 may be realized by an SD memory card conforming to the UHS standard such as UHS-I (Ultra High Speed Phase I) or UHS-II (Ultra High Speed Phase II). .. Of course, the recording unit 161 is not limited to the UHS standard, and may be realized by a recording medium conforming to other standards related to data recording. Further, as another example, the recording unit 161 may be realized by a CF (CompactFlash, registered trademark) card, a CFast card, a CFExpress card, an XQD (registered trademark) card, or the like.
The recording unit 161 is connected to the front engine 110 and the back engine 140. It should be noted that the recording unit 161 may selectively switch whether data from the front engine 110 or the back engine 140 is recorded. The entity that gives the switching instruction is not particularly limited. As a specific example, the switching may be performed based on the instructions from the CPUs 117 and 145 described later, or may be performed based on the instructions from the recording control units 119 and 144 described later.

電源制御部１５０は、フロントエンジン１１０及びバックエンジン１４０それぞれへの電源電力の供給を制御する。電源制御部１５０は、他の構成要素（例えば、フロントエンジン１１０、バックエンジン１４０等）からの指示に基づき各部への電源電力の供給を制御してもよいし、自身の判断に基づき各部への電源電力の供給を制御してもよい。 The power supply control unit 150 controls the supply of power supply power to each of the front engine 110 and the back engine 140. The power supply control unit 150 may control the supply of power supply power to each unit based on instructions from other components (for example, front engine 110, back engine 140, etc.), or may control the supply of power supply power to each unit based on its own judgment. The supply of power supply may be controlled.

続いて、フロントエンジン１１０の構成についてより詳細に説明する。フロントエンジン１１０は、入力部１１１と、画像処理部Ａ１１２と、画像処理部Ｂ１１３と、画像処理部Ｄ１１８と、記録制御部１１９とを有する。また、フロントエンジン１１０は、メモリ制御部１１４と、表示制御部１１５と、出力部１１６と、ＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）１１７とを含む。 Subsequently, the configuration of the front engine 110 will be described in more detail. The front engine 110 includes an input unit 111, an image processing unit A112, an image processing unit B113, an image processing unit D118, and a recording control unit 119. Further, the front engine 110 includes a memory control unit 114, a display control unit 115, an output unit 116, and a CPU (Central Processing Unit) 117.

入力部１１１は、撮像部１０２から出力される画像データの入力を受け付けるインタフェースであり、入力された画像データ（換言すると、画像信号）を内部バスに出力する。内部バスに出力された画像データは、ＤＲＡＭ１３０に一次的に記録されたうえで、画像処理部Ａ１１２及び出力部１１６に伝送されてもよいし、画像処理部Ａ１１２及び出力部１１６に直接伝送されてもよい。 The input unit 111 is an interface that receives input of image data output from the image pickup unit 102, and outputs the input image data (in other words, an image signal) to the internal bus. The image data output to the internal bus may be temporarily recorded in the DRAM 130 and then transmitted to the image processing unit A112 and the output unit 116, or may be directly transmitted to the image processing unit A112 and the output unit 116. May be good.

画像処理部Ａ１１２は、入力部１１１から入力された画像データに対して、表示部１３１に表示されるライビュー画像と、記録部１６１に記録される記録画像と、に共通の所定の画像処理を適用する。当該画像処理としては、例えば、光学部１０１や撮像部１０２の特性に応じた補正処理（例えば、欠陥画素補正、収差補正）等が該当する。 The image processing unit A112 applies predetermined image processing common to the view image displayed on the display unit 131 and the recorded image recorded on the recording unit 161 to the image data input from the input unit 111. do. The image processing corresponds to, for example, correction processing (for example, defect pixel correction, aberration correction) according to the characteristics of the optical unit 101 and the imaging unit 102.

画像処理部Ｂ１１３は、画像データに対して、所定の画像処理を適用することで、表示部１３１に表示させるライブビュー画像を生成する。当該画像処理としては、例えば、ライビュー画像の現像処理等が該当する。 The image processing unit B113 generates a live view image to be displayed on the display unit 131 by applying a predetermined image processing to the image data. The image processing corresponds to, for example, development processing of a live view image.

メモリ制御部１１４は、フロントエンジン１１０の各構成要素からの要求を受けて、ＤＲＡＭ１３０に対する各種データの書き込みや、ＤＲＡＭ１３０からの各種データの読み出しを行う。 The memory control unit 114 receives a request from each component of the front engine 110, writes various data to the DRAM 130, and reads various data from the DRAM 130.

表示制御部１１５は、画像データに基づき表示部１３１に画像を表示させる。例えば、表示制御部１１５は、画像処理部Ｂ１１３により画像データに基づき生成されたライビュー画像を表示部１３１に表示させてもよい。 The display control unit 115 causes the display unit 131 to display an image based on the image data. For example, the display control unit 115 may display the view image generated by the image processing unit B113 based on the image data on the display unit 131.

出力部１１６は、バックエンジン１４０への画像データの出力を行う。また、バックエンジン１４０とフロントエンジン１１０との間において画像データが相互に送受信される構成の場合には、出力部１１６は、バックエンジン１４０から画像データを受信してもよい。 The output unit 116 outputs the image data to the back engine 140. Further, in the case of a configuration in which image data is mutually transmitted and received between the back engine 140 and the front engine 110, the output unit 116 may receive the image data from the back engine 140.

ＣＰＵ１１７は、ＤＲＡＭ１３０に記録されているプログラムを実行することで、フロントエンジン１１０の各構成要素の動作を制御する。また、ＣＰＵ１１７は、電源制御部１５０との間で通信を行う機能を有していてもよい。この場合には、例えば、ＣＰＵ１１７は、電源ボタン、シャッターボタン、及びモードダイアル等の各種入力デバイス（不図示）からの制御信号を受けて、撮像装置の動作モードの判定を行い、当該判定の結果に応じて電源制御部１５０に各種指示を送信してもよい。 The CPU 117 controls the operation of each component of the front engine 110 by executing the program recorded in the DRAM 130. Further, the CPU 117 may have a function of communicating with the power supply control unit 150. In this case, for example, the CPU 117 receives control signals from various input devices (not shown) such as a power button, a shutter button, and a mode dial to determine the operation mode of the image pickup apparatus, and the result of the determination is determined. Various instructions may be transmitted to the power supply control unit 150 according to the above.

画像処理部Ｄ１１８は、画像データに対して、所定の画像処理を適用することで、所定のフォーマットの処理画像データを生成する。なお、本実施形態では、画像処理部Ｄ１１８は、記録制御部１１９を介して記録部１６１に記録する処理画像データを生成するものとする。当該画像処理としては、例えば、低圧縮率のデータ符号化処理、データ復号化処理等が該当する。また、当該処理画像データとしては、例えば、ＲＡＷ動画、ＲＡＷ画像コーデック等が該当する。 The image processing unit D118 generates processed image data in a predetermined format by applying a predetermined image processing to the image data. In the present embodiment, the image processing unit D118 shall generate the processed image data to be recorded in the recording unit 161 via the recording control unit 119. The image processing corresponds to, for example, low compression rate data coding processing, data decoding processing, and the like. Further, as the processed image data, for example, a RAW moving image, a RAW image codec, or the like is applicable.

記録制御部１１９は、記録部１６１への画像データ（例えば、処理画像データ）やファイルシステム情報の書き込みや、記録部１６１からの画像データの読み出しを行う。ファイルシステム情報とは、記録部１６１に記録されているデータのアドレスやサイズ等に関する情報である。ファイルシステム情報としては、例えば、ＦＡＴ（ＦｉｌｅＡｌｌｏｃａｔｉｏｎＴａｂｌｅ）情報が挙げられる。 The recording control unit 119 writes image data (for example, processed image data) and file system information to the recording unit 161 and reads out the image data from the recording unit 161. The file system information is information related to the address, size, and the like of the data recorded in the recording unit 161. Examples of the file system information include FAT (File Allocation Table) information.

また、記録制御部１１９は、記録部１６１との間での信号線（伝送経路）を介した各種データの伝送の制御に係る動作モードとして、複数の動作モードのいずれかを選択的に切り替え可能に設定される。当該複数の動作モードとしては、データの伝送を有効化するモードと、データの伝送を一時的に休止させるモードと、データの伝送を停止させるモードと、が挙げられる。
データの伝送を有効化するモードでの動作時は、記録制御部１１９は、記録部１６１に対してアクセスし、当該記録部１６１に対して各種データ（例えば、処理画像データ）を伝送して記録させることが可能である。
データの伝送を停止させるモードは、記録部１６１へのアクセスやデータの伝送が制限される動作モードであり、データの伝送を再度有効化する場合には、記録部１６１へのアクセスに係る初期化処理等の所定の前処理が再度実行される。
これに対して、データの伝送を休止させるモードは、記録部１６１へのアクセスやデータの伝送が制限される動作モードであるが、データの伝送を再度有効化する場合に、上記前処理の実行を要しない（上記前処理が実行されない）ため、短時間での復帰が可能である。データの伝送を休止させるモードの一例としては、ＵＨＳ規格におけるＤｏｒｍａｎｔモードが挙げられる。 Further, the recording control unit 119 can selectively switch any of a plurality of operation modes as an operation mode related to control of transmission of various data to and from the recording unit 161 via a signal line (transmission path). Is set to. Examples of the plurality of operation modes include a mode for enabling data transmission, a mode for temporarily suspending data transmission, and a mode for suspending data transmission.
When operating in the mode for enabling data transmission, the recording control unit 119 accesses the recording unit 161 and transmits various data (for example, processed image data) to the recording unit 161 for recording. It is possible to make it.
The mode for stopping the data transmission is an operation mode in which the access to the recording unit 161 and the data transmission are restricted. When the data transmission is re-enabled, the initialization related to the access to the recording unit 161 is performed. Predetermined preprocessing such as processing is executed again.
On the other hand, the mode for suspending data transmission is an operation mode in which access to the recording unit 161 and data transmission are restricted, but when data transmission is re-enabled, the above preprocessing is executed. (The above preprocessing is not executed), so it is possible to recover in a short time. An example of a mode for suspending data transmission is the Dormant mode in the UHS standard.

また、記録制御部１１９は、記録部１６１との通信に係る動作モード（以下、「通信もモード」とも称する）に関する情報をレジスタに保持する。通信モードに関する情報としては、例えば、記録部１６１へのデータの伝送に係る転送スピードに関する情報や、全二重通信や半二重通信等のような通信方式を示す情報が挙げられる。 Further, the recording control unit 119 holds information regarding an operation mode (hereinafter, also referred to as “communication also mode”) related to communication with the recording unit 161 in a register. Examples of the information regarding the communication mode include information regarding the transfer speed related to the transmission of data to the recording unit 161 and information indicating a communication method such as full-duplex communication and half-duplex communication.

続いて、バックエンジン１４０の構成についてより詳細に説明する。バックエンジン１４０は、入力部１４１と、画像処理部Ｃ１４２と、メモリ制御部１４３と、記録制御部１４４と、ＣＰＵ１４５とを含む。 Subsequently, the configuration of the back engine 140 will be described in more detail. The back engine 140 includes an input unit 141, an image processing unit C142, a memory control unit 143, a recording control unit 144, and a CPU 145.

入力部１４１は、フロントエンジン１１０から出力される画像データの入力を受け付けるインタフェースであり、入力された画像データ（換言すると、画像信号）を内部バスに出力する。内部バスに出力された画像データは、ＤＲＡＭ１６０に一次的に記録されたうえで、画像処理部Ｃ１４２に伝送されてもよいし、画像処理部Ｃ１４２に直接伝送されてもよい。また、バックエンジン１４０とフロントエンジン１１０との間において画像データが相互に送受信される構成の場合には、入力部１４１は、フロントエンジン１１０に画像データを送信してもよい。 The input unit 141 is an interface that receives the input of the image data output from the front engine 110, and outputs the input image data (in other words, the image signal) to the internal bus. The image data output to the internal bus may be temporarily recorded in the DRAM 160 and then transmitted to the image processing unit C142, or may be directly transmitted to the image processing unit C142. Further, in the case of a configuration in which image data is mutually transmitted and received between the back engine 140 and the front engine 110, the input unit 141 may transmit the image data to the front engine 110.

画像処理部Ｃ１４２は、画像データに対して、所定の画像処理を適用することで、所定のフォーマットの処理画像データを生成する。なお、本実施形態では、画像処理部Ｃ１４２は、記録制御部１４４を介して記録部１６１に記録する処理画像データを生成するものとする。当該画像処理としては、例えば、高圧縮率のデータ符号化処理、データ復号化処理等が該当する。また、当該処理画像データとしては、例えば、ＭＰ４コーデック等が該当する。 The image processing unit C142 generates processed image data in a predetermined format by applying a predetermined image processing to the image data. In the present embodiment, the image processing unit C 142 generates the processed image data to be recorded in the recording unit 161 via the recording control unit 144. The image processing corresponds to, for example, high compression rate data coding processing, data decoding processing, and the like. Further, as the processed image data, for example, an MP4 codec or the like is applicable.

メモリ制御部１４３は、バックエンジン１４０の各構成要素からの要求を受けて、ＤＲＡＭ１６０に対する各種データの書き込みや、ＤＲＡＭ１６０からの各種データの読み出しを行う。 In response to a request from each component of the back engine 140, the memory control unit 143 writes various data to the DRAM 160 and reads various data from the DRAM 160.

記録制御部１４４は、記録部１６１への画像データ（例えば、処理画像データ）やファイルシステム情報の書き込みや、記録部１６１からの画像データの読み出しを行う。なお、記録制御部１４４については、フロントエンジン１１０における記録制御部１１９と異なる信号線（伝送経路）を介して記録部１６１にアクセスする点を除けば、当該記録制御部１１９と実質的に同等の機能を有するため、詳細な説明は省略する。 The recording control unit 144 writes image data (for example, processed image data) and file system information to the recording unit 161 and reads out the image data from the recording unit 161. The recording control unit 144 is substantially the same as the recording control unit 119, except that the recording control unit 144 is accessed via a signal line (transmission path) different from that of the recording control unit 119 in the front engine 110. Since it has a function, detailed description thereof will be omitted.

ＣＰＵ１４５は、ＤＲＡＭ１６０に記録されているプログラムを実行することで、バックエンジン１４０の各構成要素の動作を制御する。また、ＣＰＵ１４５は、電源制御部１５０との間で通信を行う機能を有していてもよい。この場合には、例えば、ＣＰＵ１４５は、電源ボタン、シャッターボタン、及びモードダイアル等の各種入力デバイス（不図示）からの制御信号を受けて、撮像装置の動作モードの判定を行い、当該判定の結果に応じて電源制御部１５０に各種指示を送信してもよい。 The CPU 145 controls the operation of each component of the back engine 140 by executing the program recorded in the DRAM 160. Further, the CPU 145 may have a function of communicating with the power supply control unit 150. In this case, for example, the CPU 145 receives control signals from various input devices (not shown) such as a power button, a shutter button, and a mode dial, determines the operation mode of the imaging device, and determines the operation mode of the imaging device. Various instructions may be transmitted to the power supply control unit 150 according to the above.

なお、図１に示す構成はあくまで一例であり、フロントエンジン１１０及びバックエンジン１４０のように、複数のエンジン（複数の処理チップ）に相当する構成が設けられていてれば、必ずしも本実施形態に係る撮像装置の構成を限定するものではない。
例えば、バックエンジン１４０は、後段に他のエンジンが設けられていないため、他のエンジンに画像データを出力するための出力部を含んでいない。一方で、バックエンジン１４０の後段に他のエンジン（例えば、拡張エンジン）を接続することで、当該他のエンジン側で別途画像処理を実行させる構成とすることも可能であり、その場合には上記出力部が設けられていてもよい。 The configuration shown in FIG. 1 is merely an example, and if a configuration corresponding to a plurality of engines (plurality of processing chips) is provided as in the front engine 110 and the back engine 140, the present embodiment does not necessarily apply. The configuration of the imaging device is not limited.
For example, the back engine 140 does not include an output unit for outputting image data to the other engine because another engine is not provided in the subsequent stage. On the other hand, by connecting another engine (for example, an expansion engine) to the subsequent stage of the back engine 140, it is possible to configure the other engine to separately execute image processing. In that case, the above An output unit may be provided.

また、図１に示す例では、撮像部１０２を備える撮像装置に対して、当該撮像部１０２による撮像結果に応じた画像データに対して画像処理を施す構成要素（すなわち、フロントエンジン１１０及びバックエンジン１４０）が設けられている例について説明した。一方で、撮像部１０２と、当該撮像部１０２による撮像結果に応じた画像データに対して画像処理を施す構成要素と、が互いに異なる装置に設けられていてもよい。
この場合には、撮像部１０２による撮像結果に応じた画像データに対して画像処理を施す構成要素が設けられた装置が、「情報処理装置」の一例に相当する。すなわち、当該情報処理装置は、入力された画像データに基づくビュー画像を表示部に表示させたり、当該画像データに対して各種の画像処理を施すことで処理画像データを生成してもよい。
また、当該情報処理装置に入力される画像データは、必ずしも撮像装置による撮像結果に応じた画像データには限定されない。具体的な一例として、当該情報処理装置に対して、所定の記憶領域に記憶された画像データが入力されてもよいし、所定のネットワークを介して転送された画像データが入力されてもよい。 Further, in the example shown in FIG. 1, a component (that is, a front engine 110 and a back engine) that performs image processing on image data according to an image pickup result by the image pickup unit 102 with respect to an image pickup apparatus provided with the image pickup unit 102. An example in which 140) is provided has been described. On the other hand, the image pickup unit 102 and the component that performs image processing on the image data according to the image pickup result by the image pickup unit 102 may be provided in different devices.
In this case, an apparatus provided with a component that performs image processing on the image data according to the imaging result by the imaging unit 102 corresponds to an example of the “information processing apparatus”. That is, the information processing apparatus may generate processed image data by displaying a view image based on the input image data on the display unit or by performing various image processing on the image data.
Further, the image data input to the information processing device is not necessarily limited to the image data according to the image pickup result by the image pickup device. As a specific example, the image data stored in the predetermined storage area may be input to the information processing apparatus, or the image data transferred via the predetermined network may be input.

＜処理＞
図２〜図４を参照して、本実施形態に係る撮像装置の処理の一例について、特に、撮像装置による画像の撮像や再生に係る動作モードの遷移に着目して説明する。なお、本実施形態では、画像の撮像や再生に係る動作モードとして、ライブビューモード、撮像モード、及び再生モードの３種類が設定されているものとする。
ライブビューモードは、光学部１０１により導光された光の撮像部１０２による撮像結果に応じた画像を表示部１３１に表示させるモードであり、同モードにおいては記録部１６１への画像データ（処理画像データ）の記録が行われなくてもよい。
撮像モードは、光学部１０１により導光された光の撮像部１０２による撮像結果に応じた画像データ（処理画像データ）を記録部１６１が記録されるモードであり、当該画像データに対応するプレビュー画像が表示部１３１に表示されてもよい。
再生モードは、記録部１６１に記録された画像データに基づく画像を表示部１３１に表示させるモードである。 <Processing>
An example of the processing of the imaging apparatus according to the present embodiment will be described with reference to FIGS. 2 to 4, paying particular attention to the transition of the operation mode related to the imaging and reproduction of the image by the imaging apparatus. In this embodiment, it is assumed that three types of operation modes related to image imaging and reproduction are set: a live view mode, an imaging mode, and a reproduction mode.
The live view mode is a mode in which an image corresponding to the image capture result of the light guided by the optical unit 101 by the image pickup unit 102 is displayed on the display unit 131, and in the same mode, image data (processed image) to the recording unit 161 is displayed. Data) does not have to be recorded.
The imaging mode is a mode in which the recording unit 161 records image data (processed image data) according to the imaging result of the light guided by the optical unit 101 by the imaging unit 102, and the preview image corresponding to the image data. May be displayed on the display unit 131.
The reproduction mode is a mode in which an image based on the image data recorded in the recording unit 161 is displayed on the display unit 131.

撮像装置の電源が投入されると、電源制御部１５０がフロントエンジン１１０に電源電力を供給し、撮像装置がライブビューモードで起動する。図１に示すように、本実施形態に係る撮像装置は、表示部１３１がフロントエンジン１１０に接続されているため、バックエンジン１４０への電源電力の供給を抑制した状態においても、ライブビューモードで動作することが可能である。なお、ユーザに走査される電源ボタンによっては、再生モードで起動することが可能であってもよいが、詳細は別途後述する。 When the power of the image pickup apparatus is turned on, the power supply control unit 150 supplies power to the front engine 110, and the image pickup apparatus starts in the live view mode. As shown in FIG. 1, since the display unit 131 is connected to the front engine 110, the image pickup apparatus according to the present embodiment is in the live view mode even in a state where the supply of power to the back engine 140 is suppressed. It is possible to work. Depending on the power button scanned by the user, it may be possible to start in the playback mode, but the details will be described later.

（ライブビューモード）
ここで、図２を参照して、ライブビューモードで動作する撮像装置の処理について説明する。
Ｓ２０１において、表示制御部１１５は、ライブビュー画像を表示部１３１に表示させる。具体的には、光学部１０１によって取り込まれた光が撮像部１０２により画像信号に変換され、当該画像信号に応じた画像データがフロントエンジン１１０に取り込まれる。入力部１１１は、メモリ制御部１１４を介してＤＲＡＭ１３０に画像データを記録する。また、画像処理部Ａ１１２が、メモリ制御部１１４を介してＤＲＡＭ１３０から画像データを読み出し、欠陥画素補正等の画像処理を実行する。次いで、画像処理部Ｂ１１３が、画像データに対して現像処理やリサイズ処理等の画像処理を施すことでライビュー画像を生成する。そして、表示制御部１１５が生成されたライブビュー画像を表示部１３１に表示させる。 (Live view mode)
Here, the processing of the image pickup apparatus operating in the live view mode will be described with reference to FIG.
In S201, the display control unit 115 causes the display unit 131 to display the live view image. Specifically, the light captured by the optical unit 101 is converted into an image signal by the imaging unit 102, and the image data corresponding to the image signal is captured by the front engine 110. The input unit 111 records image data in the DRAM 130 via the memory control unit 114. Further, the image processing unit A112 reads the image data from the DRAM 130 via the memory control unit 114 and executes image processing such as defect pixel correction. Next, the image processing unit B113 generates a view image by performing image processing such as development processing and resizing processing on the image data. Then, the display unit 131 displays the live view image generated by the display control unit 115.

Ｓ２０２において、ＣＰＵ１１７が、シャッターボタンの状態が半押し（ＳＷ１）または全押し（ＳＷ２）の状態か否かを判定する。
ＣＰＵ１１７は、Ｓ２０２においてシャッターボタンの状態が半押しまたは全押しの状態でないと判定した場合には、処理をＳ２０１に進める。すなわち、この場合には、表示部１３１へのライブビュー画像の表示に係る処理が継続される。
これに対して、ＣＰＵ１１７は、Ｓ２０２においてシャッターボタンの状態が半押しまたは全押しの状態であると判定した場合には、処理をＳ２０３に進める。 In S202, the CPU 117 determines whether or not the state of the shutter button is half-pressed (SW1) or fully-pressed (SW2).
When the CPU 117 determines in S202 that the state of the shutter button is not a half-pressed or fully-pressed state, the process proceeds to S201. That is, in this case, the process related to the display of the live view image on the display unit 131 is continued.
On the other hand, when the CPU 117 determines in S202 that the state of the shutter button is half-pressed or fully-pressed, the process proceeds to S203.

Ｓ２０３において、ＣＰＵ１１７は、画像データとしてＲＡＷ画像を記録するモードが有効化されているか否かを判定する。
ＣＰＵ１１７は、Ｓ２０３において画像データとしてＲＡＷ画像を記録するモードが有効化されていないと判定した場合には、処理をＳ２０４に進める。この場合には、画像データをＲＡＷ画像以外のフォーマットで記録することとなる。そのため、Ｓ２０４において、ＣＰＵ１１７は、電源制御部１５０に対してバックエンジン１４０への電源電力の供給を指示する。電源制御部１５０は、ＣＰＵ１１７からの指示に基づき、バックエンジン１４０への電源電力の供給を開始する。
一方で、ＣＰＵ１１７は、Ｓ２０３において画像データとしてＲＡＷ画像を記録するモードが有効化されていると判定した場合には、Ｓ２０４の処理を実行せずに、処理をＳ２０５に進める。この場合には、画像処理部Ａ１１２及び画像処理部Ｄ１１８が画像データに対して画像処理を施すことで、記録制御部１１９が記録部１６１に記録する処理画像データを生成することが可能であり、バックエンジン１４０を動作させなくともよいためである。
なお、上記はあくまで一例であり、ＲＡＷ画像に加えて、他のフォーマットの画像データを記録部１６１に記録する場合には、ＲＡＷ画像を記録するモードが有効化されている場合においても、Ｓ２０４の処理が実行されてもよい。 In S203, the CPU 117 determines whether or not the mode for recording a RAW image as image data is enabled.
When the CPU 117 determines in S203 that the mode for recording a RAW image as image data is not enabled, the CPU 117 proceeds to the process in S204. In this case, the image data is recorded in a format other than the RAW image. Therefore, in S204, the CPU 117 instructs the power supply control unit 150 to supply the power supply power to the back engine 140. The power supply control unit 150 starts supplying power supply power to the back engine 140 based on the instruction from the CPU 117.
On the other hand, when the CPU 117 determines in S203 that the mode for recording a RAW image as image data is enabled, the CPU 117 proceeds to S205 without executing the process of S204. In this case, the image processing unit A112 and the image processing unit D118 perform image processing on the image data, so that the recording control unit 119 can generate the processed image data to be recorded in the recording unit 161. This is because the back engine 140 does not have to be operated.
The above is just an example, and when recording image data in another format in addition to the RAW image in the recording unit 161 even when the mode for recording the RAW image is enabled, S204 The process may be executed.

Ｓ２０５において、撮像装置は、撮像モードでの動作を開始する。なお、撮像モードでの撮像装置の動作については、図３を参照して後述する。 In S205, the image pickup apparatus starts operation in the image pickup mode. The operation of the imaging device in the imaging mode will be described later with reference to FIG.

（撮像モード）
次いで、図３を参照して、撮像モードで動作する撮像装置の処理について説明する。
Ｓ２１１において、前述したＳ２０１の処理と同様に、表示部１３１へのライブビュー画像の表示に係る処理が実行される。なお、撮像モードの開始直後については、Ｓ２１１の処理をスキップしてＳ２１２に処理が進められてもよい。 (Imaging mode)
Next, the processing of the image pickup apparatus operating in the image pickup mode will be described with reference to FIG.
In S211 the process related to the display of the live view image on the display unit 131 is executed in the same manner as the process of S201 described above. Immediately after the start of the imaging mode, the process of S211 may be skipped and the process may proceed to S212.

Ｓ２１２において、ＣＰＵ１１７は、シャッターボタンが、「半押し」、「全押し」、及び「解除」のいずれの状態にあるかを判定する。
ＣＰＵ１１７は、Ｓ２１２においてシャッターボタンが「半押し」の状態であると判定した場合には、処理をＳ２１１に進める。この場合には、表示部１３１へのライブビュー画像の表示に係る処理が継続される。
これに対して、ＣＰＵ１１７は、Ｓ２１２においてシャッターボタンが「解除」の状態であると判定した場合には、処理をＳ２１５に進める。なお、この場合の動作については後述する。
また、ＣＰＵ１１７は、Ｓ２１２においてシャッターボタンが「全押し」の状態であると判定した場合には、処理を２１３に進める。 In S212, the CPU 117 determines which of the "half-pressed", "full-pressed", and "released" states the shutter button is.
When the CPU 117 determines in S212 that the shutter button is in the "half-pressed" state, the CPU 117 advances the process to S211. In this case, the process related to the display of the live view image on the display unit 131 is continued.
On the other hand, when the CPU 117 determines in S212 that the shutter button is in the "release" state, the CPU 117 advances the process to S215. The operation in this case will be described later.
Further, when the CPU 117 determines in S212 that the shutter button is in the "fully pressed" state, the process proceeds to 213.

Ｓ２１３において、画像データの記録が行われる。具体的には、光学部１０１によって取り込まれた光が撮像部１０２により画像信号（電気信号）に変換され、当該画像信号に応じた画像データがフロントエンジン１１０に取り込まれる。入力部１１１は、メモリ制御部１１４を介してＤＲＡＭ１３０に画像データを記録する。次いで、画像処理部Ａ１１２が、メモリ制御部１１４を介してＤＲＡＭ１３０から画像データを読み出し、欠陥画素補正等の画像処理を実行する。
ここで、記録対象となる画像データがＲＡＷ画像の場合には、画像処理部Ｄ１１８が、画像処理部Ａ１１２により画像処理が施された画像データに対して、低圧縮率のデータ符号化処理（所謂ＲＡＷ圧縮）等の画像処理を実行する。そして、記録制御部１１９が、画像処理部Ｄ１１８による画像処理の結果に応じた処理画像データ（ＲＡＷ画像）を記録部１６１に記録する。
また、記録対象となる画像データがＲＡＷ画像以外（例えば、ＭＰ４等）の場合には、出力部１１６がバックエンジン１４０に対して画像データを出力し、バックエンジン１４０の入力部１４１が当該画像データを受信する。入力部１４１は、メモリ制御部１４３を介してＤＲＡＭ１６０に画像データを記録する。次いで、画像処理部Ｃ１４２がメモリ制御部１４３を介してＤＲＡＭ１６０から画像データを読み出し、当該画像データに対して高圧縮率のデータ符号化処理（例えば、ＭＰ４圧縮等）等の画像処理を実行する。そして、記録制御部１４４が、画像処理部Ｃ１４２による画像処理の結果に応じた処理画像データを記録部１６１に記録する。
以上により、撮像部１０２による撮像結果に応じた一連の画像データ（処理画像データ）の記録に係る処理が完了する。 In S213, image data is recorded. Specifically, the light captured by the optical unit 101 is converted into an image signal (electrical signal) by the imaging unit 102, and the image data corresponding to the image signal is captured by the front engine 110. The input unit 111 records image data in the DRAM 130 via the memory control unit 114. Next, the image processing unit A112 reads the image data from the DRAM 130 via the memory control unit 114 and executes image processing such as defect pixel correction.
Here, when the image data to be recorded is a RAW image, the image processing unit D118 performs data coding processing with a low compression rate (so-called so-called) on the image data processed by the image processing unit A112. Execute image processing such as RAW compression). Then, the recording control unit 119 records the processed image data (RAW image) according to the result of the image processing by the image processing unit D118 in the recording unit 161.
When the image data to be recorded is other than a RAW image (for example, MP4), the output unit 116 outputs the image data to the back engine 140, and the input unit 141 of the back engine 140 is the image data. To receive. The input unit 141 records image data in the DRAM 160 via the memory control unit 143. Next, the image processing unit C142 reads the image data from the DRAM 160 via the memory control unit 143, and executes image processing such as high compression rate data coding processing (for example, MP4 compression) on the image data. Then, the recording control unit 144 records the processed image data according to the result of the image processing by the image processing unit C142 in the recording unit 161.
As described above, the process related to the recording of a series of image data (processed image data) according to the image pickup result by the image pickup unit 102 is completed.

Ｓ２１４において、ＣＰＵ１１７は、シャッターボタンが、「半押し」、「全押し」、及び「解除」のいずれの状態にあるかを判定する。
ＣＰＵ１１７は、Ｓ２１２においてシャッターボタンが「半押し」の状態であると判定した場合には、処理をＳ２１１に進める。この場合には、表示部１３１へのライブビュー画像の表示に係る処理が実行される。
これに対して、ＣＰＵ１１７は、Ｓ２１２においてシャッターボタンが「全押し」の状態であると判定した場合には、処理を２１３に進める。この場合には、撮像結果に応じた画像データの記録が行われる。
また、ＣＰＵ１１７は、Ｓ２１２においてシャッターボタンが「解除」の状態であると判定した場合には、処理をＳ２１５に進める。 In S214, the CPU 117 determines which of the "half-pressed", "full-pressed", and "released" states the shutter button is.
When the CPU 117 determines in S212 that the shutter button is in the "half-pressed" state, the CPU 117 advances the process to S211. In this case, the process related to the display of the live view image on the display unit 131 is executed.
On the other hand, when the CPU 117 determines in S212 that the shutter button is in the "fully pressed" state, the process proceeds to 213. In this case, image data is recorded according to the imaging result.
Further, when the CPU 117 determines in S212 that the shutter button is in the "release" state, the CPU 117 proceeds to the process in S215.

Ｓ２１５において、ＣＰＵ１１７は、バックエンジン１４０への電源電力の供給が行われているか否かを判定する。
ＣＰＵ１１７は、Ｓ２１５においてバックエンジン１４０への電源電力の供給が行われていると判定した場合には、処理をＳ２１６に進める。Ｓ２１６において、ＣＰＵ１１７は、電源制御部１５０に対してバックエンジン１４０への電源電力の供給の抑制（ひいては、停止）を指示する。電源制御部１５０は、ＣＰＵ１１７からの指示に応じて、バックエンジン１４０への電源電力の供給の抑制（ひいては停止）を行う。
一方で、ＣＰＵ１１７は、Ｓ２１５においてバックエンジン１４０への電源電力の供給が行われていないと判定した場合には、Ｓ２１６の処理を実行せずに、処理をＳ２１７に進める。 In S215, the CPU 117 determines whether or not the power supply power is being supplied to the back engine 140.
When the CPU 117 determines in S215 that the power supply power is being supplied to the back engine 140, the CPU 117 advances the process to S216. In S216, the CPU 117 instructs the power supply control unit 150 to suppress (and thus stop) the supply of the power supply power to the back engine 140. The power supply control unit 150 suppresses (and eventually stops) the supply of power supply power to the back engine 140 in response to an instruction from the CPU 117.
On the other hand, when the CPU 117 determines in S215 that the power supply power is not supplied to the back engine 140, the CPU 117 proceeds to S217 without executing the process of S216.

Ｓ２１７において、撮像装置は、ライブビューモードでの動作を開始する。この場合には、図２に示す一連の処理が開始されることとなる。 In S217, the imaging device starts operating in the live view mode. In this case, a series of processes shown in FIG. 2 will be started.

（再生モード）
次いで、図４を参照して、再生モードで動作する撮像装置の処理について、特に、記録部１６１に記録された画像データに応じた画像を表示部１３１に表示させる際の電源電力の制御に係る処理の流れに着目して説明する。
Ｓ２２１において、ＣＰＵ１１７は、再生の対象となる画像データがＲＡＷ画像か否かを判定する。
ＣＰＵ１１７は、Ｓ２２１において再生の対象となる画像データがＲＡＷ画像であると判定した場合には、処理をＳ２２２に進める。Ｓ２２２において、ＣＰＵ１１７は、電源制御部１５０に対して、バックエンジン１４０への電源電力の供給を指示する。この指示を受けて、電源制御部１５０は、バックエンジン１４０への電源電力の供給を開始する。
一方で、ＣＰＵ１１７は、Ｓ２２１において再生の対象となる画像データがＲＡＷ画像でないと判定した場合には、Ｓ２２２の処理を実行せずに、処理をＳ２２３に進める。 (Playback mode)
Next, with reference to FIG. 4, the processing of the image pickup apparatus operating in the reproduction mode relates to the control of the power supply power when displaying the image corresponding to the image data recorded in the recording unit 161 on the display unit 131. The explanation will be given focusing on the processing flow.
In S221, the CPU 117 determines whether or not the image data to be reproduced is a RAW image.
When the CPU 117 determines in S221 that the image data to be reproduced is a RAW image, the CPU 117 proceeds to S222. In S222, the CPU 117 instructs the power supply control unit 150 to supply the power supply power to the back engine 140. In response to this instruction, the power supply control unit 150 starts supplying power supply power to the back engine 140.
On the other hand, when the CPU 117 determines in S221 that the image data to be reproduced is not a RAW image, the CPU 117 proceeds to S223 without executing the process of S222.

Ｓ２２３において、画像の表示に使用される画像データが記録部１６１から読み出され、当該画像データに応じた画像が表示部１３１に表示される。
ここで、画像の表示に利用される画像データがＲＡＷ画像の場合には、まず、記録制御部１１９が記録部１６１から対応する画像データを読み出し、ＤＲＡＭ１３０に展開する。次いで、画像処理部Ｄ１１８が、ＤＲＡＭ１３０に展開された画像データを読み出し、当該画像データに対して所定の画像処理（例えば、ＲＡＷ伸長のような低伸長率のデータ復号化処理等）を施すことで、表示部１３１への表示に使用される画像を生成する。そして、表示制御部１１５は、生成された当該画像を、表示部１３１に表示させる。
一方で、画像の表示に利用される画像データがＲＡＷ画像以外（例えば、ＭＰ４等）の場合には、まず、記録制御部１４４が記録部１６１から対応する画像データを読み出し、ＤＲＡＭ１６０に展開する。次いで、画像処理部Ｃ１４２が、ＤＲＡＭ１６０に展開された画像データを読み出し、当該画像データに対して所定の画像処理（例えば、ＭＰ４伸長のような高伸長率のデータ復号化処理等）を施すことで、画像データの復号が行われる。次いで、生成された画像データは、入力部１４１によりフロントエンジン１１０に転送され、出力部１１６に受信される。出力部１１６は、転送された画像データをＤＲＡＭ１３０に展開する。次いで、画像処理部Ｂ１１３が、ＤＲＡＭ１３０に展開された画像データを読み出し、現像処理等の所定の画像処理を施すことで、表示部１３１への表示に使用される画像を生成する。そして、表示制御部１１５は、生成された当該画像を、表示部１３１に表示させる。 In S223, the image data used for displaying the image is read from the recording unit 161 and the image corresponding to the image data is displayed on the display unit 131.
Here, when the image data used for displaying the image is a RAW image, the recording control unit 119 first reads the corresponding image data from the recording unit 161 and develops it in the DRAM 130. Next, the image processing unit D118 reads out the image data developed in the DRAM 130 and performs predetermined image processing (for example, data decoding processing having a low elongation rate such as RAW expansion) on the image data. , Generates an image used for display on the display unit 131. Then, the display control unit 115 causes the display unit 131 to display the generated image.
On the other hand, when the image data used for displaying the image is other than the RAW image (for example, MP4 or the like), the recording control unit 144 first reads the corresponding image data from the recording unit 161 and develops it in the DRAM 160. Next, the image processing unit C142 reads out the image data developed in the DRAM 160 and performs predetermined image processing (for example, data decoding processing having a high expansion rate such as MP4 expansion) on the image data. , Image data is decoded. Next, the generated image data is transferred to the front engine 110 by the input unit 141 and received by the output unit 116. The output unit 116 expands the transferred image data into the DRAM 130. Next, the image processing unit B 113 reads out the image data developed in the DRAM 130 and performs predetermined image processing such as development processing to generate an image used for display on the display unit 131. Then, the display control unit 115 causes the display unit 131 to display the generated image.

（記録制御部の切り替えシーケンス）
図５を参照して、本実施形態に係る撮像装置における記録制御部の切り替えに係る処理シーケンスの一例について説明する。図５に示す例では、記録部１６１にデータ（例えば、処理画像データ）を記録するエンジンを、フロントエンジン１１０からバックエンジン１４０に切り替える場合の処理シーケンスの一例を示している。なお、図５に示す例では、フロントエンジン１１０の記録手段１１９が「一方の記録手段」の一例に相当し、バックエンジン１４０の記録手段１４４が「他方の記録手段」の一例に相当する。 (Recording control unit switching sequence)
An example of a processing sequence related to switching of the recording control unit in the image pickup apparatus according to the present embodiment will be described with reference to FIG. In the example shown in FIG. 5, an example of a processing sequence in which the engine for recording data (for example, processed image data) in the recording unit 161 is switched from the front engine 110 to the back engine 140 is shown. In the example shown in FIG. 5, the recording means 119 of the front engine 110 corresponds to an example of "one recording means", and the recording means 144 of the back engine 140 corresponds to an example of "the other recording means".

具体的には、図５の横軸は時間を示している。図５（ａ）は、フロントエンジン１１０の記録制御部１１９から記録部１６１へアクセスする信号を模式的に示している。また、図５（ｂ）は、バックエンジン１４０の記録制御部１４４から記録部１６１にアクセスする信号を模式的に示している。 Specifically, the horizontal axis of FIG. 5 indicates time. FIG. 5A schematically shows a signal for accessing the recording unit 161 from the recording control unit 119 of the front engine 110. Further, FIG. 5B schematically shows a signal for accessing the recording unit 161 from the recording control unit 144 of the back engine 140.

フロントエンジン１１０の画像処理部Ｄ１１８により生成された処理画像データ（例えば、ＲＡＷ画像）については、図５（ａ）に示す信号に応じたタイミングで、記録制御部１１９により記録部１６１に記録される。また、バックエンジン１４０の画像処理部Ｃ１４２により生成された処理画像データ（例えば、ＭＰ４等）は、図５（ｂ）に示す信号に応じたタイミングで、記録制御部１４４により記録部１６１に記録される。 The processed image data (for example, RAW image) generated by the image processing unit D118 of the front engine 110 is recorded in the recording unit 161 by the recording control unit 119 at the timing corresponding to the signal shown in FIG. 5A. .. Further, the processed image data (for example, MP4 or the like) generated by the image processing unit C142 of the back engine 140 is recorded in the recording unit 161 by the recording control unit 144 at the timing corresponding to the signal shown in FIG. 5 (b). NS.

タイミングＴ０は、フロントエンジン１１０の記録制御部１１９により記録部１６１に対して処理画像データ等の記録が行われているタイミングである。この際に、バックエンジン１４０の記録制御部１４４からの記録部１６１へのアクセスに係る信号線は休止状態に制御される。すなわち、データの伝送に係る動作モードを、データの伝送を休止させるモードに遷移させることとなる。
これにより、切り替えに伴い有効状態に遷移する際に、初期化等の処理が行われないため、信号線が停止状態に制御されている場合に比べてより短い時間で有効状態に遷移させることが可能となる。また、記録部１６１へのデータの伝送に差動信号が利用される場合には、記録制御部１４４からの記録部１６１へのアクセスに係る信号線が有効状態で維持されていると、切り替え時に通信タイミングのずれが生じる可能性がある。これに対して記録制御部１４４からの記録部１６１へのアクセスに係る信号線が休止状態に制御されることで、この切り替え時の通信タイミングのずれの発生を防止することが可能となる。 The timing T0 is the timing at which the recording control unit 119 of the front engine 110 records the processed image data or the like on the recording unit 161. At this time, the signal line related to the access from the recording control unit 144 of the back engine 140 to the recording unit 161 is controlled to the hibernation state. That is, the operation mode related to the data transmission is changed to the mode in which the data transmission is suspended.
As a result, when transitioning to the valid state due to switching, processing such as initialization is not performed, so that the transition to the valid state can be performed in a shorter time than when the signal line is controlled to the stopped state. It will be possible. Further, when a differential signal is used for data transmission to the recording unit 161, if the signal line related to the access from the recording control unit 144 to the recording unit 161 is maintained in the valid state, at the time of switching. There is a possibility that the communication timing will be off. On the other hand, since the signal line related to the access from the recording control unit 144 to the recording unit 161 is controlled in the hibernation state, it is possible to prevent the occurrence of a deviation in the communication timing at the time of this switching.

タイミングＴ１は、フロントエンジン１１０の記録制御部１１９から記録部１６１へのアクセスが完了し、記録制御部１１９からの記録部１６１へのアクセスに係る信号線を休止状態に遷移させるタイミングである。タイミングＴ１において、記録制御部１１９からの記録部１６１へのアクセスに係る信号線を休止状態に遷移させることで、再度有効状態に遷移させる際に、信号線が停止状態に制御される場合に比べてより短い時間で有効状態に遷移させることが可能となる。また、再度有効状態に遷移させる際に、切り替え時の通信タイミングのずれの発生を防止することが可能となる。 The timing T1 is a timing at which the access from the recording control unit 119 of the front engine 110 to the recording unit 161 is completed and the signal line related to the access from the recording control unit 119 to the recording unit 161 is transitioned to the hibernation state. In the timing T1, by transitioning the signal line related to the access from the recording control unit 119 to the recording unit 161 to the hibernation state, the signal line is controlled to the stopped state when the transition to the valid state is performed again. It is possible to transition to the effective state in a shorter time. In addition, it is possible to prevent the occurrence of a shift in communication timing at the time of switching when transitioning to the valid state again.

タイミングＴ２は、フロントエンジン１１０側のＤＲＡＭ１３０に展開されている記録部１６１のファイルシステム情報を、バックエンジン１４０側のＤＲＡＭ１６０に転送するタイミングである。これにより、次に記録元となるバックエンジン１４０が、記録部１６１に記録されているデータのアドレスやサイズ等を把握することが可能となり、次の記録部１６１へのアクセスをシームレスに行うことが可能となる。ファイルシステム情報の転送については、出力部１１６と入力部１４１との間で行われてもよいし、ＣＰＵ１１７とＣＰＵ１４５との間で行われてもよい。なお、ファイルシステム情報が、「管理情報」の一例に相当する。 The timing T2 is a timing for transferring the file system information of the recording unit 161 developed in the DRAM 130 on the front engine 110 side to the DRAM 160 on the back engine 140 side. As a result, the back engine 140, which is the next recording source, can grasp the address, size, etc. of the data recorded in the recording unit 161 and can seamlessly access the next recording unit 161. It will be possible. The transfer of the file system information may be performed between the output unit 116 and the input unit 141, or may be performed between the CPU 117 and the CPU 145. The file system information corresponds to an example of "management information".

タイミングＴ３は、記録制御部１１９のレジスタに保持されている、記録部１６１との間の通信モードに関する情報を、記録制御部１４４へ転送するタイミングである。これにより、次に記録元となるバックエンジン１４０が、フロントエンジン１１０の記録制御部１１９がこれまでデータの転送に適用していた通信モードを認識することが可能となり、次の記録部１６１へのアクセスをシームレスに行うことが可能となる。通信モードに関する情報（換言すると、レジスタ情報）の転送については、出力部１１６と入力部１４１との間で行われてもよいし、ＣＰＵ１１７とＣＰＵ１４５との間で行われてもよい。また、レジスタ情報が、「管理情報」の他の一例に相当する。 The timing T3 is a timing for transferring the information regarding the communication mode with the recording unit 161 held in the register of the recording control unit 119 to the recording control unit 144. As a result, the back engine 140, which is the next recording source, can recognize the communication mode that the recording control unit 119 of the front engine 110 has applied to the data transfer so far, and the communication mode to the next recording unit 161 can be recognized. Access can be performed seamlessly. The transfer of information related to the communication mode (in other words, register information) may be performed between the output unit 116 and the input unit 141, or may be performed between the CPU 117 and the CPU 145. Further, the register information corresponds to another example of "management information".

なお、タイミングＴ２及びＴ３間の前後関係は特に限定されない。すなわち、タイミングＴ３が、タイミングＴ２よりも前のタイミングであってもよい。また、タイミングＴ２及びＴ３が同じタイミングであってもよい。 The context between timings T2 and T3 is not particularly limited. That is, the timing T3 may be a timing before the timing T2. Further, the timings T2 and T3 may be the same timing.

タイミングＴ４は、バックエンジン１４０記録制御部１４４により記録部１６１に対して処理画像データ等の記録が開始されるタイミングである。この際に、記録制御部１４４からの記録部１６１へのアクセスに係る信号線は、休止状態から有効状態に遷移することとなる。すなわち、各種データの伝送の制御に係る動作モードが、データの伝送を一時的に休止させるモードから、データの伝送を有効化するモードに遷移するように制御される。これにより、記録制御部１４４からの記録部１６１へのアクセスに係る信号線を有効状態に遷移させる際に、初期化等の処理が行われないため、信号線が停止状態に制御されている場合に比べてより短い時間で有効状態に遷移させることが可能となる。 The timing T4 is a timing at which the back engine 140 recording control unit 144 starts recording the processed image data or the like on the recording unit 161. At this time, the signal line related to the access from the recording control unit 144 to the recording unit 161 will transition from the hibernation state to the valid state. That is, the operation mode related to the control of the transmission of various data is controlled so as to transition from the mode in which the data transmission is temporarily suspended to the mode in which the data transmission is enabled. As a result, when the signal line related to the access from the recording control unit 144 to the recording unit 161 is transitioned to the effective state, processing such as initialization is not performed, so that the signal line is controlled to the stopped state. It is possible to transition to the effective state in a shorter time than in.

以上のような制御が適用されることで、単一の記録部に対して複数のエンジンがアクセスする構成を実現し、かつ、記録対象となるデータに応じて、記録部への記録元となるエンジンを速やかに切り替えることが可能となる。また、複数のエンジンのうち一部については、未使用時に休止状態に遷移させることで、当該複数のエンジンを常に有効状態に維持する場合に比べて電力消費を抑制することが可能となる。 By applying the above control, it is possible to realize a configuration in which multiple engines access a single recording unit, and it becomes a recording source to the recording unit according to the data to be recorded. It is possible to switch the engine quickly. Further, by transitioning a part of the plurality of engines to the hibernation state when not in use, it is possible to suppress power consumption as compared with the case where the plurality of engines are always maintained in the effective state.

＜変形例＞
続いて、本実施形態に係る撮像装置の変形例について説明する。 <Modification example>
Subsequently, a modified example of the imaging device according to the present embodiment will be described.

（構成例）
まず、図６を参照して、本変形例に係る撮像装置の構成の一例について説明する。なお、図６に示した図１と同様の符号は、図１において当該符号が付された構成要素と実質的に同様の構成要素を示している。そのため、以降では、図６に示す撮像装置の構成の一例について、図１に示す例と異なる部分に着目して説明し、図１に示す例と実質的に同様の部分については詳細な説明は省略する。 (Configuration example)
First, an example of the configuration of the image pickup apparatus according to the present modification will be described with reference to FIG. Note that the same reference numerals as those in FIG. 1 shown in FIG. 6 indicate components substantially the same as the components to which the reference numerals are given in FIG. 1. Therefore, in the following, an example of the configuration of the image pickup apparatus shown in FIG. 6 will be described focusing on a portion different from the example shown in FIG. 1, and a detailed explanation will be given for a portion substantially similar to the example shown in FIG. Omit.

フロントエンジン１１０において、画像処理部Ｄ４００及び記録制御部４０２は、図１に示す画像処理部Ｄ１１８及び記録制御部１１９に相当する構成要素であり、同構成要素の機能が図１に示す例と異なる。
また、バックエンジン１４０において、画像処理部Ｃ４０１及び記録制御部４０３は、図１に示す画像処理部Ｃ１４２及び記録制御部１４４に相当する構成要素であり、同構成要素の機能が図１に示す例と異なる。 In the front engine 110, the image processing unit D400 and the recording control unit 402 are components corresponding to the image processing unit D118 and the recording control unit 119 shown in FIG. 1, and the functions of the components are different from the example shown in FIG. ..
Further, in the back engine 140, the image processing unit C401 and the recording control unit 403 are components corresponding to the image processing unit C142 and the recording control unit 144 shown in FIG. 1, and the functions of the components are shown in FIG. Is different.

画像処理部Ｄ４００は、図１に示す画像処理部Ｄ１１８の機能に加え、画像処理部Ｃ４０１及び記録制御部４０２に対して、画像処理の処理タイミングに応じたタイミング信号（換言すると、同期信号）を送信する機能を有する。当該タイミング信号としては、例えば、画像処理に係る垂直同期信号を利用することが可能である。 In addition to the functions of the image processing unit D118 shown in FIG. 1, the image processing unit D400 provides the image processing unit C401 and the recording control unit 402 with a timing signal (in other words, a synchronization signal) according to the processing timing of the image processing. It has a function to transmit. As the timing signal, for example, a vertical synchronization signal related to image processing can be used.

画像処理部Ｃ４０１は、図１に示す画像処理部Ｃ１４２の機能に加え、画像処理部Ｄ４００及び記録制御部４０３に対して、画像処理の処理タイミングに応じたタイミング信号（換言すると、同期信号）を送信する機能を有する。当該タイミング信号としては、例えば、画像処理に係る垂直同期信号を利用することが可能である。 In addition to the functions of the image processing unit C142 shown in FIG. 1, the image processing unit C401 sends a timing signal (in other words, a synchronization signal) according to the image processing processing timing to the image processing unit D400 and the recording control unit 403. It has a function to transmit. As the timing signal, for example, a vertical synchronization signal related to image processing can be used.

記録制御部４０２は、図１に示す記録制御部１１９の機能に加え、画像処理部Ｄ４００から通知されるタイミング信号に基づき動作する機能を有する。画像処理部Ｄ４００から通知されるタイミング信号としては、当該画像処理部Ｄ４００による画像処理の処理タイミングと、画像処理部Ｃ４０１による画像処理の処理タイミングと、のそれぞれに応じたタイミング信号が挙げられる。 The recording control unit 402 has a function of operating based on a timing signal notified from the image processing unit D400, in addition to the function of the recording control unit 119 shown in FIG. Examples of the timing signal notified from the image processing unit D400 include timing signals corresponding to the processing timing of the image processing by the image processing unit D400 and the processing timing of the image processing by the image processing unit C401.

記録制御部４０３は、図１に示す記録制御部１４４の機能に加え、画像処理部Ｃ４０１から通知されるタイミング信号に基づき動作する機能を有する。画像処理部Ｃ４０１から通知されるタイミング信号としては、当該画像処理部Ｃ４０１による画像処理の処理タイミングと、画像処理部Ｄ４００による画像処理の処理タイミングと、のそれぞれに応じたタイミング信号が挙げられる。 The recording control unit 403 has a function of operating based on a timing signal notified from the image processing unit C401, in addition to the function of the recording control unit 144 shown in FIG. Examples of the timing signal notified from the image processing unit C401 include timing signals corresponding to the processing timing of the image processing by the image processing unit C401 and the processing timing of the image processing by the image processing unit D400.

（処理）
次いで、図７を参照して、本変形例に係る撮像装置の処理の一例について、特に、記録部１６１にデータ（処理画像データ等）を記録する記録制御部の切り替えに係るシーケンスに着目して説明する。図７の横軸は時間を示している。図７（ａ）は、画像処理部Ｄ４００による画像処理の実行状態の時系列に沿った遷移を模式的に示している。図７（ｂ）は、画像処理部Ｃ４０１による画像処理の実行状態の時系列に沿った遷移を模式的に示している。図７（ｃ）は、記録部１６１に対してアクセスするエンジン（フロントエンジン１１０またはバックエンジン１４０）の時系列に沿った遷移を模式的に示している。 (process)
Next, with reference to FIG. 7, with reference to an example of processing of the imaging apparatus according to this modification, paying particular attention to a sequence related to switching of a recording control unit that records data (processed image data, etc.) in the recording unit 161. explain. The horizontal axis of FIG. 7 indicates time. FIG. 7A schematically shows the transition of the execution state of the image processing by the image processing unit D400 along the time series. FIG. 7B schematically shows the transition of the execution state of the image processing by the image processing unit C401 along the time series. FIG. 7C schematically shows the transition of the engine (front engine 110 or back engine 140) that accesses the recording unit 161 along the time series.

タイミングＴ５は、画像処理部Ｄ４００による画像処理の実行が完了し、画像処理の実行を休止するブランク状態に遷移するタイミングを示している。この際に、記録制御部４０２は、画像処理部Ｄ４００から通知されるタイミング信号に基づき、記録部１６１へのアクセスに係る信号線を休止状態から有効状態に遷移させる。また、記録制御部４０３は、画像処理部Ｃ４０１から通知される、上記画像処理部Ｄ４００による画像処理の完了に係るタイミング信号に基づき、記録部１６１へのアクセスに係る信号線を有効状態から休止状態に遷移させる。これにより、フロントエンジン１１０から記録部１６１に対して、画像処理部Ｄ４００による画像処理の結果に応じた処理画像データを記録することが可能となる。なお、記録制御部４０２及び４０３間の切り替えに係る処理シーケンスについては、図５を参照して説明した例と実質的に同様である。 The timing T5 indicates the timing at which the execution of the image processing by the image processing unit D400 is completed and the transition to the blank state in which the execution of the image processing is paused is completed. At this time, the recording control unit 402 shifts the signal line related to the access to the recording unit 161 from the hibernation state to the effective state based on the timing signal notified from the image processing unit D400. Further, the recording control unit 403 changes the signal line related to the access to the recording unit 161 from the effective state to the hibernation state based on the timing signal related to the completion of the image processing by the image processing unit D400 notified from the image processing unit C401. To transition to. As a result, the front engine 110 can record the processed image data according to the result of the image processing by the image processing unit D400 to the recording unit 161. The processing sequence related to the switching between the recording control units 402 and 403 is substantially the same as the example described with reference to FIG.

タイミングＴ６は、画像処理部Ｃ４０１による画像処理の実行が完了し、ブランク状態に遷移するタイミングを示している。この際に、記録制御部４０３は、画像処理部Ｃ４０１から通知されるタイミング信号に基づき、記録部１６１へのアクセスに係る信号線を休止状態から有効状態に遷移させる。また、記録制御部４０２は、画像処理部Ｄ４００から通知される、上記画像処理部Ｃ４０１による画像処理の完了に係るタイミング信号に基づき、記録部１６１へのアクセスに係る信号線を有効状態から休止状態に遷移させる。これにより、バックエンジン１４０から記録部１６１に対して、画像処理部Ｃ４０１による画像処理の結果に応じた処理画像データを記録することが可能となる。なお、記録制御部４０２及び４０３間の切り替えに係る処理シーケンスについては、図５を参照して説明した例と実質的に同様である。 The timing T6 indicates the timing at which the execution of the image processing by the image processing unit C401 is completed and the transition to the blank state is completed. At this time, the recording control unit 403 shifts the signal line related to the access to the recording unit 161 from the hibernation state to the effective state based on the timing signal notified from the image processing unit C401. Further, the recording control unit 402 changes the signal line related to the access to the recording unit 161 from the effective state to the hibernation state based on the timing signal related to the completion of the image processing by the image processing unit C401 notified from the image processing unit D400. To transition to. As a result, the back engine 140 can record the processed image data according to the result of the image processing by the image processing unit C401 to the recording unit 161. The processing sequence related to the switching between the recording control units 402 and 403 is substantially the same as the example described with reference to FIG.

なお、記録制御部４０２及び４０３それぞれと記録部１６１との間の転送時間の律速により、タイミングＴ５またはＴ６までに記録部１６１への処理画像データの記録の完了が困難な場合がある。このような場合には、記録部１６１に対してアクセスするエンジンの切り替えを遅延させてもよく、当該遅延が施されてもなお記録の完了が間に合わない場合には、記録部１６１への処理画像データの転送が中断されてもよい。 Due to the rate-determining of the transfer time between each of the recording control units 402 and 403 and the recording unit 161, it may be difficult to complete the recording of the processed image data in the recording unit 161 by the timing T5 or T6. In such a case, the switching of the engine that accesses the recording unit 161 may be delayed, and if the recording is not completed in time even if the delay is applied, the processed image to the recording unit 161 is processed. Data transfer may be interrupted.

以上のように、本変形例に係る撮像装置に依れば、記録部１６１にアクセスするエンジンの切り替えを、ＣＰＵを介することなくハードウェア制御により実現することが可能となる。これにより、記録部１６１にアクセスするエンジンの切り替えに係る期間をより短くすることが可能となる。 As described above, according to the image pickup apparatus according to the present modification, it is possible to switch the engine for accessing the recording unit 161 by hardware control without going through the CPU. This makes it possible to shorten the period for switching the engine that accesses the recording unit 161.

＜その他の実施形態＞
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記録媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読み出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。 <Other Embodiments>
The present invention supplies a program that realizes one or more functions of the above-described embodiment to a system or device via a network or recording medium, and one or more processors in the computer of the system or device reads and executes the program. It can also be realized by the processing to be performed. It can also be realized by a circuit (for example, ASIC) that realizes one or more functions.

１０２撮像部
１１０フロントエンジン
１１８画像処理部Ｄ
１１９記録制御部
１４０バックエンジン
１４２画像処理部Ｃ
１４４記録制御部
１６１記録部 102 Imaging unit 110 Front engine 118 Image processing unit D
119 Recording control unit 140 Back engine 142 Image processing unit C
144 Recording control unit 161 Recording unit

Claims

第１の処理チップと、第２の処理チップと、を備え、
前記第１の処理チップは、
入力された画像データに対して第１の画像処理を適用することで第１の処理画像データを生成する第１の処理手段と、
前記画像データを第２の処理チップに出力する出力手段と、
前記第１の処理画像データを所定の記録デバイスに記録する第１の記録手段と、
を備え、
前記第２の処理チップは、
前記第１の処理チップから入力された前記画像データに対して第２の画像処理を適用することで第２の処理画像データを生成する第２の処理手段と、
前記第２の処理画像データを、前記第１の記録手段とは異なる伝送経路を介して、前記記録デバイスに記録する第２の記録手段と、
を備える、情報処理装置。 A first processing chip and a second processing chip are provided.
The first processing chip is
A first processing means for generating the first processed image data by applying the first image processing to the input image data, and
An output means for outputting the image data to the second processing chip,
A first recording means for recording the first processed image data on a predetermined recording device, and
With
The second processing chip is
A second processing means for generating the second processed image data by applying the second image processing to the image data input from the first processing chip, and
A second recording means that records the second processed image data on the recording device via a transmission path different from that of the first recording means.
Information processing device.

前記第１の記録手段による前記記録デバイスへの前記第１の処理画像データの記録と、
前記第２の記録手段による前記記録デバイスへの前記第２の処理画像データの記録と、
が、互いに異なるタイミングで実行されるように、前記第１の記録手段及び前記第２の記録手段の動作を制御する制御手段を備える、
請求項１に記載の情報処理装置。 Recording of the first processed image data on the recording device by the first recording means, and
Recording of the second processed image data on the recording device by the second recording means, and
However, the control means for controlling the operation of the first recording means and the second recording means is provided so that the first recording means and the second recording means are executed at different timings.
The information processing device according to claim 1.

前記第１の記録手段及び前記第２の記録手段の動作モードとして、
前記記録デバイスへのデータの伝送が有効化される第１のモードと、
前記記録デバイスへのデータの伝送が停止され、前記第１のモードに遷移する場合に所定の前処理が実行される第２のモードと、
前記記録デバイスへのデータの伝送が休止され、前記第１のモードに遷移する場合に前記前処理が実行されない第３のモードと、
を含み、
前記制御手段は、前記第１の記録手段及び前記第２の記録手段のうち、前記記録デバイスにアクセスする記録手段を、一方の記録手段から他方の記録手段に切り替える場合に、前記一方の記録手段を第３のモードに遷移させた後に、前記他方の記録手段を前記第１のモードに遷移させる、
請求項２に記載の情報処理装置。 As an operation mode of the first recording means and the second recording means,
The first mode in which the transmission of data to the recording device is enabled, and
A second mode in which a predetermined preprocessing is executed when the transmission of data to the recording device is stopped and the transition to the first mode is performed.
A third mode in which the preprocessing is not executed when the transmission of data to the recording device is suspended and the transition to the first mode is performed.
Including
The control means is one of the first recording means and the second recording means when the recording means for accessing the recording device is switched from one recording means to the other recording means. Is changed to the third mode, and then the other recording means is changed to the first mode.
The information processing device according to claim 2.

前記記録デバイスは、ＵＨＳ（ＵｌｔｒａＨｉｇｈＳｐｅｅｄ）規格に準拠した記録デバイスであり、
前記第３のモードは、前記ＵＨＳ規格におけるＤｏｒｍａｎｔモードである、
請求項３に記載の情報処理装置。 The recording device is a recording device compliant with the UHS (Ultra High Speed) standard.
The third mode is the Dormant mode in the UHS standard.
The information processing device according to claim 3.

前記制御手段は、前記切り替えを実行する場合に、前記一方の記録手段による前記記録デバイスへのデータの記録に係る管理情報を、前記他方の記録手段に転送し、
前記他方の記録手段は、前記切り替え後に、前記管理情報に基づき前記記録デバイスにデータを記録する、
請求項３または４に記載の情報処理装置。 When the switching is executed, the control means transfers the management information related to the recording of data to the recording device by the one recording means to the other recording means.
The other recording means records data in the recording device based on the management information after the switching.
The information processing device according to claim 3 or 4.

前記管理情報は、前記一方の記録手段からの前記記録デバイスへのデータの伝送に係るレジスタ情報と、前記記録デバイスへの前記一方の記録手段から伝送されたデータの記録に係るファイルシステム情報と、のうちの少なくともいずれかを含む、請求項５に記載の情報処理装置。 The management information includes register information relating to data transmission from the one recording means to the recording device, file system information relating to recording of data transmitted from the one recording means to the recording device, and the like. The information processing apparatus according to claim 5, further comprising at least one of the above.

前記第１の処理手段及び前記第２の処理手段のそれぞれは、相互に処理タイミングに応じたタイミング信号を送信し、
前記第１の記録手段及び前記第２の記録手段のそれぞれは、前記第１の処理手段及び前記第２の処理手段それぞれに対応する前記タイミング信号に基づき、前記動作モードの切り替えを行う、
請求項３〜６のいずれか１項に記載の情報処理装置。 Each of the first processing means and the second processing means transmits a timing signal according to the processing timing to each other.
Each of the first recording means and the second recording means switches the operation mode based on the timing signal corresponding to each of the first processing means and the second processing means.
The information processing device according to any one of claims 3 to 6.

前記タイミング信号は、垂直同期信号である、請求項７に記載の情報処理装置。 The information processing apparatus according to claim 7, wherein the timing signal is a vertical synchronization signal.

前記第１の処理チップは、前記画像データに基づく画像を所定の表示手段に表示させる表示制御手段を備える、請求項１〜８のいずれか１項に記載の情報処理装置。 The information processing apparatus according to any one of claims 1 to 8, wherein the first processing chip includes display control means for displaying an image based on the image data on a predetermined display means.

前記第１の処理チップ及び前記第２の処理チップそれぞれへの電源電力の供給を制御する電源制御手段を備え、
前記電源制御手段は、前記記録デバイスへの前記第２の処理画像データの記録と、当該記録デバイスからの前記第２の処理画像データの読み出しと、を抑制する場合に、前記第２の処理チップへの電源電力の供給を抑制する、
請求項９に記載の情報処理装置。 A power supply control means for controlling the supply of power supply to each of the first processing chip and the second processing chip is provided.
When the power supply control means suppresses the recording of the second processed image data on the recording device and the reading of the second processed image data from the recording device, the second processing chip Suppress the supply of power to
The information processing device according to claim 9.

撮像素子と、第１の処理チップと、第２の処理チップと、を備え、
前記第１の処理チップは、
前記撮像素子による撮像結果に応じた画像データに対して第１の画像処理を適用することで第１の処理画像データを生成する第１の処理手段と、
前記画像データを第２の処理チップに出力する出力手段と、
前記第１の処理画像データを所定の記録デバイスに記録する第１の記録手段と、
を備え、
前記第２の処理チップは、
前記第１の処理チップから入力された前記画像データに対して第２の画像処理を適用することで第２の処理画像データを生成する第２の処理手段と、
前記第２の処理画像データを、前記第１の記録手段とは異なる伝送経路を介して、前記記録デバイスに記録する第２の記録手段と、
を備える、撮像装置。 An image sensor, a first processing chip, and a second processing chip are provided.
The first processing chip is
A first processing means for generating the first processed image data by applying the first image processing to the image data according to the image pickup result by the image pickup device, and
An output means for outputting the image data to the second processing chip,
A first recording means for recording the first processed image data on a predetermined recording device, and
With
The second processing chip is
A second processing means for generating the second processed image data by applying the second image processing to the image data input from the first processing chip, and
A second recording means that records the second processed image data on the recording device via a transmission path different from that of the first recording means.
An imaging device.

第１の処理チップと、第２の処理チップと、を備える情報処理装置が実行する情報処理方法であって、
前記第１の処理チップが実行する、
入力された画像データに対して第１の画像処理を適用することで第１の処理画像データを生成する第１の処理ステップと、
前記画像データを第２の処理チップに出力する出力ステップと、
前記第１の処理画像データを所定の記録デバイスに記録する第１の記録ステップと、
を含み、
前記第２の処理チップが実行する、
前記第１の処理チップから入力された前記画像データに対して第２の画像処理を適用することで第２の処理画像データを生成する第２の処理ステップと、
前記第２の処理画像データを、前記第１の記録ステップとは異なる伝送経路を介して、前記記録デバイスに記録する第２の記録ステップと、
を含む、情報処理方法。 An information processing method executed by an information processing apparatus including a first processing chip and a second processing chip.
The first processing chip executes,
The first processing step of generating the first processed image data by applying the first image processing to the input image data, and
An output step of outputting the image data to the second processing chip, and
A first recording step of recording the first processed image data on a predetermined recording device, and
Including
The second processing chip executes.
A second processing step of generating the second processed image data by applying the second image processing to the image data input from the first processing chip, and
A second recording step of recording the second processed image data on the recording device via a transmission path different from the first recording step.
Information processing methods, including.

コンピュータを、請求項１〜１０のいずれか１項に記載の情報処理装置の各手段として機能させるためのプログラム。 A program for causing a computer to function as each means of the information processing apparatus according to any one of claims 1 to 10.