JP2018182551A - Imaging apparatus - Google Patents
Imaging apparatus Download PDFInfo
- Publication number
- JP2018182551A JP2018182551A JP2017080148A JP2017080148A JP2018182551A JP 2018182551 A JP2018182551 A JP 2018182551A JP 2017080148 A JP2017080148 A JP 2017080148A JP 2017080148 A JP2017080148 A JP 2017080148A JP 2018182551 A JP2018182551 A JP 2018182551A
- Authority
- JP
- Japan
- Prior art keywords
- image
- display
- processing
- image data
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Image Processing (AREA)
- Studio Devices (AREA)
Abstract
Description
本発明は、入力画像を分割して画像処理する撮像装置に関する。 The present invention relates to an imaging apparatus that divides an input image and processes the image.
近年、カメラは４Ｋ（３８４０×２１６０画素）対応といった一層の高解像度化が進められている。こうした装置では、１つの画像処理プロセッサ（画像処理ＬＳＩ）だけでは画像処理能力が足りなくなる場合、１枚の入力画像から複数の分割画像を切り出し、複数の画像処理プロセッサで同時に画像処理を施す技術が用いられている。入力画像を複数に分割して画像処理を行う場合、境界部分で画像の連続性が失われないように、隣接する分割画像同士で、画像の一部をオーバーラップさせて画像処理を施す技術が開示されている。 In recent years, cameras have been further enhanced in resolution to 4K (3840 × 2160 pixels). In such an apparatus, when the image processing capability is insufficient with only one image processor (image processing LSI), there is a technology for cutting out a plurality of divided images from one input image and performing image processing simultaneously with the plurality of image processors. It is used. When performing image processing by dividing an input image into a plurality of pieces, there is a technology in which image processing is performed by overlapping a part of images between adjacent divided images so that continuity of the image is not lost at the boundary portion. It is disclosed.
特許文献１では、入力画像から複数の分割画像を切り出す際に、互いに隣接する分割画像に対してオーバーラップ領域を設け、オーバーラップ領域を含めて画像処理を行っている。また、特許文献２では、複数の画像処理プロセッサで１枚の画像を分割して処理する場合において、各画像処理プロセッサの処理時間やデータ転送量に応じて、画像処理プロセッサ毎の処理量を決定することで、各画像処理プロセッサの処理負荷の分散を行っている。 In Patent Document 1, when cutting out a plurality of divided images from an input image, an overlapping area is provided for divided images adjacent to each other, and image processing is performed including the overlapping area. Further, in Patent Document 2, when one image is divided and processed by a plurality of image processing processors, the processing amount for each image processing processor is determined according to the processing time and data transfer amount of each image processing processor. By doing this, the processing load of each image processing processor is distributed.
また、近年、高解像度な動画撮影中には、カメラ本体に備え付けられた低解像度なディスプレイだけでなく、高解像度な映像が表示可能な外部ディスプレイに撮影データを表示することが望まれている。この表示媒体への表示の主用途は、低解像度なモニタでは判断が難しいピント位置などの撮影操作に対する記録画への影響の確認である。そのため、外部ディスプレイの表示もリアルタイム性が重要であり、カメラとしても撮像から表示までの遅延時間（以下、表示遅延時間）が短いことが望まれている。 In recent years, during high-resolution moving image shooting, it is desired to display shooting data on an external display capable of displaying high-resolution images as well as the low-resolution display provided on the camera body. The main application of the display on this display medium is to confirm the influence on the recorded image with respect to the photographing operation such as the focus position which is difficult to determine with a low resolution monitor. Therefore, real-time property is also important for the display on the external display, and it is desirable that the camera also has a short delay time from imaging to display (hereinafter, display delay time).
しかしながら、前述の特許文献１のように目標性能に応じた数だけ画像処理プロセッサを接続し、それぞれで領域分割した画像を処理することで画像処理性能を拡張可能なシステムでは、分割生成された記録画や表示データの画像処理装置間での転送処理が必要となる。そのため、単独の画像処理装置で処理する場合に比べて、複数の画像処理装置の待ち合わせや、転送処理により、表示遅延時間が増加する。 However, as in the above-mentioned patent document 1, image processing processors are connected by the number according to the target performance, and in a system capable of extending the image processing performance by processing an image divided into areas, divided and generated recordings It is necessary to transfer image and display data between image processing apparatuses. Therefore, the display delay time is increased due to queuing of a plurality of image processing apparatuses and transfer processing as compared with the case of processing by a single image processing apparatus.
また、前述の特許文献２では、複数の画像処理プロセッサの処理負荷を分散可能であるが、処理負荷が高くなるにつれて、表示遅延時間が増加してしまう。 Further, although the processing load of a plurality of image processors can be distributed in the above-mentioned Patent Document 2, the display delay time increases as the processing load increases.
複数の画像処理プロセッサを用いて１枚の画像を分割して処理する際の表示遅延時間の課題について、図６を用いて説明する。図６は、本発明が解決しようとする課題である複数の画像処理プロセッサで処理した場合の処理タイミングを示す簡易図である。 The problem of the display delay time when one image is divided and processed using a plurality of image processing processors will be described using FIG. FIG. 6 is a simplified diagram showing processing timings when processing is performed by a plurality of image processing processors, which is a problem to be solved by the present invention.
図６は、撮影データを取得してから、２つの画像処理プロセッサを用いて上下に分割して画像処理を行った場合の処理タイミングを示しており、Ｔ１は撮影データの取得タイミングを示している。Ｔ２、Ｔ５は撮影データから上下半分を切り出し、各画像処理プロセッサで上半分、下半分の画像処理を行うタイミングを示している。Ｔ３、Ｔ６は各画処理プロセッサがもう片半分の撮影データを転送されたタイミングを示している。Ｔ４、Ｔ７は表示媒体への表示タイミングを示している。そのため、撮影データの取得から表示までのＤ１、Ｄ２は表示遅延時間を示している。図６から、Ｄ２に対してＤ１の表示遅延時間が長くなっていることがわかる。第一の画像処理プロセッサから表示を行う場合は、転送処理の待ちあわせにより表示遅延時間が増加する。第二の画像処理装置から表示を行う場合は、転送処理の待ちあわせは発生しないが、複数の表示媒体に表示を行う場合は、片方の画像処理プロセッサの処理負荷が高くなってしまう課題がある。 FIG. 6 shows processing timing in the case where image processing is performed by dividing the image data into upper and lower portions by using two image processing processors after acquisition of imaging data, and T1 indicates acquisition timing of imaging data. . T2 and T5 indicate timings of performing upper and lower half image processing in each image processing processor by cutting out upper and lower halves from the imaging data. T3 and T6 indicate the timing when each image processing processor has transferred the other half of the imaging data. T4 and T7 indicate the display timing on the display medium. Therefore, D1 and D2 from acquisition of imaging data to display indicate display delay time. It can be seen from FIG. 6 that the display delay time of D1 is longer than that of D2. When the display is performed from the first image processor, the display delay time is increased by waiting for the transfer process. When display is performed from the second image processing apparatus, queuing of transfer processing does not occur, but when display is performed on a plurality of display media, there is a problem that the processing load of one image processing processor becomes high.
そこで、本発明は、上記の課題を解決するためになされたものであり、複数の画像処理プロセッサを用いて、画像領域を分割して画像処理を行う場合においても、表示遅延時間を短縮可能な撮像装置を提供することを目的とする。 Therefore, the present invention has been made to solve the above-described problems, and can reduce display delay time even when image processing is performed by dividing an image area using a plurality of image processing processors. It aims at providing an imaging device.
上記の目的を達成するために、本発明に係る画像処理装置は、
任意のフレームレートで撮像画像データを取得する撮像部と、
撮像画像データを分割する分割部と、
前記分割部により分割された分割画像データを画像処理する第一、第二の画像処理装置と、
前記第一、第二の画像処理装置間で画像データ転送する画像データ転送部と
画像処理した画像データを表示するための表示部と
で構成され、
第一の画像処理装置が、
第一の分割画像データから生成した第一の画像データと、前記データ転送手段により転送されてきた第二の画像データとを合成し、表示データとして格納する表示用メモリと、
前記表示用メモリから表示データを読み出して表示部に表示する表示制御部と、
を備え、
表示制御部の処理に応じて、前記分割部の分割位置を設定し、前記第一、第二の画像処理装置の処理量を決定することを特徴とする。
In order to achieve the above object, an image processing apparatus according to the present invention is
An imaging unit that acquires captured image data at an arbitrary frame rate;
A division unit that divides captured image data;
First and second image processing apparatuses that perform image processing on divided image data divided by the dividing unit;
An image data transfer unit for transferring image data between the first and second image processing apparatuses; and a display unit for displaying image data subjected to image processing,
The first image processing device
A display memory for combining the first image data generated from the first divided image data and the second image data transferred by the data transfer means, and storing it as display data;
A display control unit which reads display data from the display memory and displays it on a display unit;
Equipped with
The division position of the division unit is set according to the processing of the display control unit, and the processing amounts of the first and second image processing apparatuses are determined.
本発明に係る画像処理装置によれば、入力画像を分割して、複数の画像処理プロセッサで画像処理を行う場合において、画像処理プロセッサ間の画像転送による表示遅延時間を最小限に抑えることが可能となる。 According to the image processing apparatus according to the present invention, when an input image is divided and image processing is performed by a plurality of image processing processors, display delay time due to image transfer between the image processing processors can be minimized. It becomes.
以下、図面を参照して本発明の好ましい実施形態を説明する。まず、図１は本実施例における撮像装置の構成例を示すブロック図である。 Hereinafter, preferred embodiments of the present invention will be described with reference to the drawings. First, FIG. 1 is a block diagram showing an example of the configuration of an imaging apparatus according to this embodiment.
１００ａ、１００ｂは第一の画像処理プロセッサと、第二の画像処理プロセッサで、分割して入力された画像データをそれぞれ処理して出力する。 Reference numerals 100a and 100b respectively process and output divided and input image data by the first image processor and the second image processor.
１１１は操作部である。撮像装置本体の外装部分に設けられた記録開始／終了ボタンやタッチパネル等で構成され、使用者の操作を第一の画像処理プロセッサ１００ａに伝える。 111 is an operation unit. It is configured by a recording start / end button, a touch panel, and the like provided on the exterior portion of the imaging apparatus main body, and transmits the user's operation to the first image processor 100a.
１２０は撮像光学系である。変倍光学系１２１などの光学レンズ群を介して被写体像を撮像素子１４１の撮像面上に結像する。 Reference numeral 120 denotes an imaging optical system. A subject image is formed on the imaging surface of the imaging element 141 via an optical lens group such as the variable magnification optical system 121.
１４１は撮像素子である。撮像面に結像された被写体像を光電変換して撮像信号を生成し、Ａ／Ｄ変換して得られた画像データを出力する。 Reference numeral 141 denotes an imaging device. A subject image formed on an imaging surface is photoelectrically converted to generate an imaging signal, and image data obtained by A / D conversion is output.
１４２は分割部である。第一の画像処理プロセッサ１００ａの制御に基づき、撮像素子１４１から出力された画像データから、第一の画像処理プロセッサ１００ａと第二の画像処理プロセッサ１００ｂの処理範囲をそれぞれ切り出して、出力する。 142 is a division part. Based on the control of the first image processor 100a, the processing ranges of the first image processor 100a and the second image processor 100b are cut out from the image data output from the imaging device 141 and output.
１５１は分割情報生成部である。第二の画像処理プロセッサ１００ｂから出力される表示データ量を算出し、そのデータ量に基づいて、分割部１４２の各画像処理プロセッサ１００ａ、１００ｂでの処理範囲を示す分割情報を第一の画像処理プロセッサ１００ａに出力する。 Reference numeral 151 denotes a division information generation unit. The amount of display data output from the second image processor 100b is calculated, and based on the amount of data, the first image processing is performed on the division information indicating the processing range in each of the image processors 100a and 100b of the division unit 142 It outputs to the processor 100a.
１６１、１６２は表示デバイスである。第二の画像処理プロセッサ１００ｂから出力された表示データを表示させる。 161 and 162 are display devices. Display data output from the second image processor 100b is displayed.
１７１は記録媒体である。第一の画像処理プロセッサ１００ａによって記録用の画像データが記録される。 171 is a recording medium. Image data for recording is recorded by the first image processor 100a.
次に、第一の画像処理プロセッサ１００ａの内部の構成を説明する。１０１ａは制御マイコンで、内部に不揮発メモリとワークメモリを備え、不揮発メモリに格納されたプログラムとデータに基づき、ワークメモリに一時的なデータを読み書きしながら、制御バス１０２ａで接続された各ブロックの制御を行う。１０２ａは制御バスである。１０３ａは通信部である。制御マイコン１０１ａは通信部１０３ａを介して、第二の画像処理プロセッサ１００ｂと制御情報を通信する。 Next, the internal configuration of the first image processor 100a will be described. Reference numeral 101a denotes a control microcomputer, which includes a non-volatile memory and a work memory, and reads and writes temporary data to the work memory based on programs and data stored in the non-volatile memory. Take control. 102a is a control bus. 103 a is a communication unit. The control microcomputer 101a communicates control information with the second image processor 100b via the communication unit 103a.
１０４ａは画像処理部である。分割部１４２から出力された画像データに対する補正処理や現像処理を行う。また、表示デバイスに合わせた画像サイズへのリサイズ処理も行う。１０６ａはデータ転送部である。第二の画像処理プロセッサ１００ｂから出力された画像データの受信、または、第二の画像処理プロセッサ１００ｂへ画像処理部１０４ａが処理した画像データの送信を行う。１０５ａは画像メモリである。信号処理部１０４ａが処理した画像データや、データ転送部１０６ａを用いて転送された第二の画像処理プロセッサ１００ｂの画像データを格納する。 Reference numeral 104a denotes an image processing unit. A correction process and a development process are performed on the image data output from the dividing unit 142. It also performs resizing to an image size that matches the display device. Reference numeral 106a denotes a data transfer unit. It receives the image data output from the second image processor 100b or transmits the image data processed by the image processor 104a to the second image processor 100b. Reference numeral 105a denotes an image memory. The image data processed by the signal processing unit 104 a and the image data of the second image processing processor 100 b transferred using the data transfer unit 106 a are stored.
１０９ａは記録制御部である。制御マイコン１０１ａからの記録開始／終了の指示に応じて、画像処理部１０４ａが出力した画像データ、及び、データ転送部１０６ａを介して転送された画像データを符号化し、記録用画像データを記録媒体１７１に記録する。 Reference numeral 109a denotes a recording control unit. According to the recording start / end instruction from the control microcomputer 101a, the image data output from the image processing unit 104a and the image data transferred via the data transfer unit 106a are encoded, and the recording image data is recorded on the recording medium Record at 171.
次に、第二の画像処理プロセッサ１００ｂの内部の構成について説明する。第二の画像処理プロセッサ１００ｂの構成は、第一の画像処理プロセッサ１００ａと同じだが、システム構成上、一部のブロックが担う処理内容が異なる。 Next, an internal configuration of the second image processor 100b will be described. The configuration of the second image processor 100b is the same as that of the first image processor 100a, but the processing content borne by some blocks is different in the system configuration.
１０１ｂ〜１０６ｂの各ブロックの処理内容は、第一の画像処理プロセッサ１００ａの各ブロック１０１ａ〜１０６ａと同等である。１０７ａ、及び、１０８ａは表示制御部である。画像処理部１０４ａが出力した表示用の画像データを制御マイコン１０１ａの指示に基づき、文字やアイコンで構成される表示情報を重畳して、表示用画像データを表示デバイス１６１、１７１に出力する。 The processing content of each block 101b to 106b is equivalent to that of each block 101a to 106a of the first image processor 100a. Reference numerals 107a and 108a denote display control units. Based on the instruction of the control microcomputer 101a, the display image data output from the image processing unit 104a is superimposed on display information composed of characters and icons, and the display image data is output to the display devices 161 and 171.
次に、図２で撮像画像の分割処理について説明する。本実施例の撮像装置では、動画撮像時に撮像画像を上下に２つに分割して、２つの画像処理プロセッサ１００ａ、１００ｂでそれぞれの分割画像を処理する。 Next, division processing of a captured image will be described with reference to FIG. In the imaging apparatus of the present embodiment, at the time of capturing a moving image, the captured image is divided into two up and down, and the two image processors 100 a and 100 b process each of the divided images.
図２（ａ）は撮像素子１４１で撮像された１フレーム分の撮像画像の例である。ここでは、撮像画像の解像度を水平３８４０ｘ垂直２１６０画素として、撮像のフレームレートを６０ｆｐｓとする。 FIG. 2A is an example of a captured image of one frame captured by the imaging element 141. Here, the resolution of the captured image is set to horizontal 3840 × vertical 2160 pixels, and the imaging frame rate is set to 60 fps.
図２（ｂ）は前記撮像画像を分割部１４２で上下に分割した分割画像２１１と分割画像２１２である。本実施例の撮像装置では、撮像画像を上下に分割して、上半分を第一の画像処理プロセッサ１００ａ、下半分を第二の画像処理プロセッサ１００ｂにそれぞれ入力する。各画像処理プロセッサ１００ａ、１００ｂが個別に画像処理を行うため、境界部分で画像の連続性が失われないように、それぞれの分割画像は隣接部分にオーバーラップ領域が設けられている。 FIG. 2B shows a divided image 211 and a divided image 212 obtained by dividing the captured image into upper and lower portions by the dividing unit 142. In the imaging apparatus of this embodiment, the captured image is divided into upper and lower parts, and the upper half is input to the first image processor 100a and the lower half is input to the second image processor 100b. Since the image processors 100a and 100b individually perform image processing, each divided image is provided with an overlap region in an adjacent portion so that continuity of the image is not lost at the boundary portion.
図２（ｃ）は画像処理プロセッサ１００ａ、１００ｂがそれぞれ分割画像２１１、２１２を処理して出力した記録用画像２２１と記録用画像２２２である。分割画像２１１、２１２のオーバーラップ領域は、画像処理プロセッサ１００ａ、１００ｂ内部の画像処理で削られ、記録用画像２２１、２２２はオーバーラップ領域を持たずに出力される。 FIG. 2C shows a recording image 221 and a recording image 222 which the image processors 100a and 100b process and output the divided images 211 and 212, respectively. The overlap area of the divided images 211 and 212 is removed by image processing in the image processing processors 100a and 100b, and the recording images 221 and 222 are output without the overlap area.
図２（ｄ）は表示デバイス１６１、及び、１６２に表示される表示画像２３０及び、２４０である。記録用画像２２１、２２２を接合することで、境界部分の連続性が保たれた状態で、表示デバイス１６１、及び、１６２で表示される。表示画像２３０は記録画像をリサイズせずにそのまま外部の表示デバイス１６１に出力する。表示画像２４０は画像処理部１０４ａ、及び、１０４ｂにおいて縮小処理がされた画像であり、ここでは、水平３８４０ｘ垂直２１６０画素の記録画像を水平、垂直共に１／２倍にリサイズし、水平１９２０ｘ垂直１０８０画素の画像とする。 FIG. 2D shows display images 230 and 240 displayed on the display devices 161 and 162. By joining the recording images 221 and 222, the display devices 161 and 162 display the images while maintaining the continuity of the boundary portion. The display image 230 outputs the recorded image to the external display device 161 as it is without resizing. The display image 240 is an image which has been subjected to reduction processing in the image processing units 104 a and 104 b. Here, the recording image of horizontal 3840 × vertical 2160 pixels is resized by half both horizontally and vertically, and horizontal 1920 × vertical 1080 It is an image of pixels.
次に、図３、図４、図５を用いて、本実施例の撮像画像の表示デバイスへの表示処理について説明する。図３は、本実施例の撮像画像の表示デバイスへの表示処理のフローチャートである。図４は、本実施例での第一、第二の画像処理プロセッサの処理範囲を示す図である。図５は、本実施例の撮像画像の表示デバイスへの表示処理の処理タイミングを示す図である。 Next, the process of displaying the captured image of the present embodiment on the display device will be described with reference to FIGS. 3, 4 and 5. FIG. 3 is a flowchart of a process of displaying a captured image of the present embodiment on a display device. FIG. 4 is a diagram showing the processing range of the first and second image processing processors in the present embodiment. FIG. 5 is a diagram showing processing timing of display processing of the captured image of the present embodiment on the display device.
図３を用いて、本実施例の制御フローについて詳細に説明する。 The control flow of this embodiment will be described in detail with reference to FIG.
ステップＳ３０１では、制御マイコン１０１ａの指示に基づき、撮像素子１４１で撮像された撮像画像データの取得を行う。 In step S301, based on an instruction of the control microcomputer 101a, acquisition of captured image data captured by the imaging element 141 is performed.
ステップＳ３０２では、分割情報生成部１５１で、表示デバイスへの表示データ量を算出する。表示デバイスへの出力は、操作部１１１を用いて使用者から指示することで出力の有無を切り替えることが可能である。また、撮像装置と外部の表示装置の接続の有無を自動で検出し、表示の有無を切り替えることも可能である。分割情報生成部１５１では、各表示デバイスへの出力の有無を検出し、表示データ量を算出する。 In step S302, the division information generation unit 151 calculates the amount of display data to be displayed on the display device. It is possible to switch the presence / absence of output to the display device by instructing from the user using the operation unit 111. In addition, it is possible to automatically detect the presence or absence of connection between the imaging device and an external display device and switch the presence or absence of display. The division information generation unit 151 detects the presence or absence of an output to each display device, and calculates the amount of display data.
ステップＳ３０３では、分割情報生成部１５１において取得した表示データ量を所定の値と比較する。所定の値とは、第一、第二の画像処理プロセッサ１００ａ、１００ｂで撮像画像を等分割にして処理を行った際の、処理可能な最大の表示データ量である。本実施例では、水平３８４０ｘ垂直２１６０画素の表示画像を第二の画像処理プロセッサ１００ｂから表示する場合の表示データ量を所定の値とする。そのため、図２（ｄ）の表示画像２３０（水平３８４０ｘ垂直２１６０画素）及び、表示画像２４０（水平１９２０ｘ垂直１０８０画素）を同時に表示する場合は、所定の値より表示データ量が大きくなる。また、表示画像２４０（水平１９２０ｘ垂直１０８０画素）のみを表示する場合は、所定の値より表示データ量が小さくなる。所定の値より表示データ量が大きい場合は、ステップＳ３０４に進み、所定の値より表示データ量が小さい場合は、ステップＳ３０５に進む。 In step S303, the amount of display data acquired by the division information generation unit 151 is compared with a predetermined value. The predetermined value is the maximum amount of display data that can be processed when processing is performed with the first and second image processors 100a and 100b equally dividing the captured image. In this embodiment, the display data amount in the case of displaying a display image of horizontal 3840 × vertical 2160 pixels from the second image processor 100 b is set to a predetermined value. Therefore, when the display image 230 (horizontal 3840 × vertical 2160 pixels) and the display image 240 (horizontal 1920 × vertical 1080 pixels) in FIG. 2D are simultaneously displayed, the display data amount is larger than a predetermined value. When only the display image 240 (horizontal 1920 × vertical 1080 pixels) is displayed, the amount of display data is smaller than a predetermined value. If the display data amount is larger than the predetermined value, the process proceeds to step S304. If the display data amount is smaller than the predetermined value, the process proceeds to step S305.
ステップＳ３０４では、分割情報生成部１５１で、表示デバイスへの出力を行う第二の画像処理プロセッサ１００ｂの処理範囲を減るよう分割情報を生成し、次にステップＳ３０６へ進む。 In step S304, the division information generation unit 151 generates division information so as to reduce the processing range of the second image processor 100b that outputs data to the display device, and the process advances to step S306.
ステップＳ３０４での分割情報の生成について説明する。図４の（ａ）は第二の画像処理プロセッサ１００ｂの処理範囲を減らした場合の、第一、第二の画像処理プロセッサ１００ｂの処理範囲を示している。図４（ａ）の点線Ｐ０は等分割時の分割位置、線Ｐ１は第二の画像処理プロセッサ１００ｂの処理範囲を減らした場合の分割位置を示している。Ｈ１、Ｈ２は線Ｐ１で分割した場合の第一、第二の画像処理プロセッサ１００ａ、１００ｂのそれぞれの処理範囲を示している。第二の画像処理プロセッサ１００ｂの処理範囲を減らしているため、処理範囲Ｈ２が処理範囲Ｈ１より小さくなっている。ステップＳ３０４では、分割情報生成部１５１で第一、第二の画像処理プロセッサ１００ｂの処理範囲Ｈ２が処理範囲Ｈ１より小さくように分割情報を生成する。 The generation of division information in step S304 will be described. FIG. 4A shows the processing range of the first and second image processing processors 100b when the processing range of the second image processing processor 100b is reduced. The dotted line P0 in FIG. 4A indicates the dividing position in equal division, and the line P1 indicates the dividing position in the case where the processing range of the second image processor 100b is reduced. H1 and H2 indicate the processing ranges of the first and second image processors 100a and 100b in the case of division by the line P1. Since the processing range of the second image processor 100b is reduced, the processing range H2 is smaller than the processing range H1. In step S304, the division information generation unit 151 generates division information so that the processing range H2 of the first and second image processing processors 100b is smaller than the processing range H1.
ステップＳ３０５では、分割情報生成部１５１で、表示デバイスへの出力を行う第二の画像処理プロセッサ１００ｂの処理範囲を増えるよう分割情報を生成し、次にステップＳ３０６へ進む。 In step S305, the division information generation unit 151 generates division information so as to increase the processing range of the second image processor 100b that outputs data to the display device, and the process advances to step S306.
ステップＳ３０５での分割情報の生成について説明する。図４の（ｂ）は第二の画像処理プロセッサ１００ｂの処理範囲を増やした場合の、第一、第二の画像処理プロセッサ１００ｂの処理範囲を示している。図４（ｂ）の線Ｐ２は第二の画像処理プロセッサ１００ｂの処理範囲を増やした場合の分割位置を示している。Ｈ’１、Ｈ’２は線Ｐ２で分割した場合の第一、第二の画像処理プロセッサ１００ａ、１００ｂのそれぞれの処理範囲を示している。第二の画像処理プロセッサ１００ｂの処理範囲を増やしているため、処理範囲Ｈ’２が処理範囲Ｈ’１より大きくなっている。ステップＳ３０５では、分割情報生成部１５１で第一、第二の画像処理プロセッサ１００ａ、１００ｂの処理範囲Ｈ’２が処理範囲Ｈ’１より大きくなるように分割情報を生成する。 The generation of the division information in step S305 will be described. FIG. 4B shows the processing range of the first and second image processing processors 100b when the processing range of the second image processing processor 100b is increased. The line P2 in FIG. 4B indicates the division position when the processing range of the second image processor 100b is increased. H'1 and H'2 indicate the processing ranges of the first and second image processors 100a and 100b in the case of division by the line P2. Since the processing range of the second image processor 100b is increased, the processing range H'2 is larger than the processing range H'1. In step S305, the division information generation unit 151 generates division information so that the processing range H'2 of the first and second image processors 100a and 100b is larger than the processing range H'1.
ステップＳ３０６では、分割部１４２で、分割情報生成部１５１で生成した分割情報に基づいて、ステップＳ３０１で取得した撮像画像データの分割を行う。図２（ｂ）の分割画像２１１を第一の画像処理プロセッサ１００ａで処理し、分割画像２１２を第二の画像処理プロセッサ１００ｂで処理する。 In step S306, the dividing unit 142 divides the captured image data acquired in step S301 based on the division information generated by the division information generation unit 151. The divided image 211 of FIG. 2B is processed by the first image processor 100a, and the divided image 212 is processed by the second image processor 100b.
ステップＳ３０７では、２つの画像処理プロセッサ１００ａ、１００ｂはそれぞれの分割画像に対して現像処理を行う。現像処理を行った各分割画像はそれぞれの画像メモリ１０５ａ、及び、１０５ｂに格納する。 In step S307, the two image processors 100a and 100b perform development processing on each of the divided images. The divided images subjected to the development processing are stored in the respective image memories 105a and 105b.
ステップＳ３０８では、データ転送部１０６ａ、１０６ｂより分割画像を転送し、画像メモリ１０５ｂに格納する。ステップＳ３０７で格納した分割画像及び、転送した分割画像を用いて、合成画像を画像メモリ１０５ｂに格納する。 In step S308, the divided images are transferred from the data transfer units 106a and 106b and stored in the image memory 105b. The composite image is stored in the image memory 105 b using the divided image stored in step S 307 and the transferred divided image.
ステップＳ３０９では、ステップＳ３０８で合成した合成画像を表示制御部１０７ｂ及び、１０８ｂから表示デバイス１６１、１７１に出力し、表示画像の表示を行う。 In step S309, the composite image combined in step S308 is output from the display control units 107b and 108b to the display devices 161 and 171, and the display image is displayed.
ここで、各ステップの処理タイミングについて図５を用いて説明する。図５（ａ）は、第二の画像処理プロセッサ１００ｂの処理範囲を減らした場合の処理タイミングを示しており、図５（ｂ）は、第二の画像処理プロセッサ１００ｂの処理範囲を増やした場合の処理タイミングを示している。 Here, the processing timing of each step will be described with reference to FIG. FIG. 5A shows the processing timing when the processing range of the second image processor 100b is reduced, and FIG. 5B shows the case when the processing range of the second image processor 100b is increased Shows the processing timing of
まず、ステップＳ３０４で第二の画像処理プロセッサ１００ｂの処理範囲を減らした場合について説明する。 First, the case where the processing range of the second image processor 100b is reduced in step S304 will be described.
図５（ａ）の撮像素子出力タイミングは、撮像素子１４１の出力及び、分割部１４２への入力の処理タイミングを示している。分割部出力タイミングは、分割部１４２から第一、第二の画像処理プロセッサ１００ａ、１００ｂへの出力処理タイミングを示している。第一の画像処理プロセッサ１００ａへの出力は画像の上部分の出力となるため、１Ｖの前半部分で処理タイミングとなっており、第二の画像処理プロセッサ１００ｂへの出力は画像の下部分の出力となるため、１Ｖの後半部分で処理タイミングとなっている。転送データ受信タイミングは、分割画像を受け取るタイミングである。 The image sensor output timing in FIG. 5A indicates the processing timing of the output of the image sensor 141 and the input to the dividing unit 142. The division unit output timing indicates the output processing timing from the division unit 142 to the first and second image processors 100a and 100b. Since the output to the first image processor 100a is the output of the upper part of the image, the processing timing is at the first half of 1 V, and the output to the second image processor 100b is the output of the lower part of the image Therefore, the processing timing is in the second half of 1V. The transfer data reception timing is a timing at which the divided image is received.
第一の画像処理プロセッサ１００ａの転送データ受信タイミングでは、第二の画像処理プロセッサ１００ｂの分割部出力タイミングの完了から転送データの受信タイミングとなる。同様に、第二の画像処理プロセッサ１００ｂの転送データ受信タイミングは、第一の画像処理プロセッサ１００ａの分割部出力タイミングの完了から転送データの受信タイミングとなる。表示デバイス入力タイミングは、表示デバイスへの表示データの入力タイミングを示している。Ｄ３は表示遅延時間を示しており、撮影、つまり、撮像素子１４１の読み出しから表示開始までの表示遅延時間を示している。表示データ量が所定の値より大きい場合は、第二の画像処理プロセッサ１００ｂの処理範囲を減らすことで、各表示デバイス１６１、１６２への表示遅延時間を揃えることが可能となる。 At the transfer data reception timing of the first image processor 100a, the transfer data reception timing starts from the completion of the division output timing of the second image processor 100b. Similarly, the transfer data reception timing of the second image processor 100b becomes the reception timing of transfer data from the completion of the division output timing of the first image processor 100a. The display device input timing indicates the input timing of display data to the display device. D3 indicates a display delay time, and indicates a display delay time from shooting, that is, from readout of the imaging device 141 to start of display. When the amount of display data is larger than a predetermined value, it is possible to make the display delay time to each display device 161, 162 uniform by reducing the processing range of the second image processor 100b.
次に、ステップＳ３０５で第二の画像処理プロセッサ１００ｂの処理範囲を増やした場合について説明する。 Next, the case where the processing range of the second image processor 100b is increased in step S305 will be described.
図４（ｂ）は、図４（ａ）と同様に各処理タイミングを示している。同様に、Ｄ４は表示遅延時間を示している。表示データ量が所定の値より小さい場合は、第二の画像処理プロセッサ１００ｂの処理範囲を増やすことで、各表示デバイス１６１、１６２への表示遅延時間を短縮することが可能となる。 FIG. 4 (b) shows each processing timing as in FIG. 4 (a). Similarly, D4 indicates a display delay time. When the amount of display data is smaller than a predetermined value, it is possible to shorten the display delay time to each display device 161, 162 by increasing the processing range of the second image processor 100b.
これにより、入力画像を分割して、複数の画像処理プロセッサで画像処理を行う場合において、表示データ量に応じて第一、第二の画像処理プロセッサの処理量を切り替えることで、画像転送による表示遅延時間を最小限に抑えることが可能となる。 Thereby, when the input image is divided and image processing is performed by a plurality of image processing processors, display by image transfer is performed by switching the processing amounts of the first and second image processing processors according to the display data amount. It is possible to minimize the delay time.
以上、本発明の好ましい実施形態について説明したが、図１に示した撮像装置の構成は一例であり、各実施例の動作を実行できるのであれば、本発明に係る撮像装置の構成は、図１に示した構成に限定されるものではない。 The preferred embodiment of the present invention has been described above, but the configuration of the imaging apparatus shown in FIG. 1 is an example, and the configuration of the imaging apparatus according to the present invention is a diagram if the operation of each embodiment can be performed. It is not limited to the configuration shown in 1.
また、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。 Furthermore, the present invention is not limited to these embodiments, and various modifications and changes can be made within the scope of the invention.
１００ａ 第一の画像処理プロセッサ、１００ｂ 第ニの画像処理プロセッサ、
１０１ａ，１０１ｂ １００ａ，１００ｂの制御マイコン、
１０２ａ，１０２ｂ １００ａ，１００ｂの制御バス、
１０３ａ，１０３ｂ １００ａ，１００ｂの通信部、
１０４ａ，１０４ｂ １００ａ，１００ｂの画像処理部、
１０５ａ，１０５ｂ １００ａ，１００ｂの画像メモリ、
１０６ａ，１０６ｂ １００ａ，１００ｂのデータ転送部、
１０７ｂ １００ｂの表示処理部、１０８ｂ １００ｂの表示処理部、
１０９ａ １００ａの記録制御部、１１１ 操作部、１２０ 撮像光学系、
１２１ 変倍光学系、１４１ 撮像素子、１４２ 分割部、
１５１ 分割情報生成部、１６１ 表示デバイス、１６２ 表示デバイス、
１７１ 記録媒体
100a first image processor, 100b second image processor,
Control microcomputers 101a, 101b 100a, 100b,
Control buses 102a, 102b 100a, 100b,
Communication units 103a, 103b 100a, 100b,
Image processing units 104a and 104b 100a and 100b;
Image memory 105a, 105b 100a, 100b,
Data transfer units 106a, 106b 100a, 100b,
107b 100b display processing unit, 108b 100b display processing unit,
109a 100a recording control unit, 111 operation unit, 120 imaging optical system,
121: Variable-magnification optical system: 141: Imaging element: 142:
151 division information generation unit, 161 display devices, 162 display devices,
171 Recording medium
Claims (4)
撮像画像データを分割する分割部と、
前記分割部により分割された分割画像データを画像処理する第一、第二の画像処理装置と、
前記第一、第二の画像処理装置間で画像データ転送する画像データ転送部と
画像処理した画像データを表示するための表示部と、
で構成され、
第一の画像処理装置が、
第一の分割画像データから生成した第一の画像データと、前記データ転送手段により転送されてきた第二の画像データとを合成し、表示データとして格納する表示用メモリと、
前記表示用メモリから表示データを読み出して表示部に表示する表示制御部と、
を備え、
表示制御部の処理に応じて、前記分割部の分割位置を設定し、前記第一、第二の画像処理装置の処理量を決定することを特徴とする撮像装置。 An imaging unit that acquires captured image data at an arbitrary frame rate;
A division unit that divides captured image data;
First and second image processing apparatuses that perform image processing on divided image data divided by the dividing unit;
An image data transfer unit for transferring image data between the first and second image processing apparatuses; a display unit for displaying image data subjected to image processing;
Consists of
The first image processing device
A display memory for combining the first image data generated from the first divided image data and the second image data transferred by the data transfer means, and storing it as display data;
A display control unit which reads display data from the display memory and displays it on a display unit;
Equipped with
An imaging apparatus, wherein division positions of the division unit are set according to processing of a display control unit, and processing amounts of the first and second image processing apparatuses are determined.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017080148A JP2018182551A (en) | 2017-04-14 | 2017-04-14 | Imaging apparatus |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017080148A JP2018182551A (en) | 2017-04-14 | 2017-04-14 | Imaging apparatus |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2018182551A true JP2018182551A (en) | 2018-11-15 |
Family
ID=64277263
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2017080148A Pending JP2018182551A (en) | 2017-04-14 | 2017-04-14 | Imaging apparatus |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2018182551A (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020137662A1 (en) * | 2018-12-26 | 2020-07-02 | 富士フイルム株式会社 | Image capturing device, image data processing method of image capturing device, and program |
-
2017
- 2017-04-14 JP JP2017080148A patent/JP2018182551A/en active Pending
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020137662A1 (en) * | 2018-12-26 | 2020-07-02 | 富士フイルム株式会社 | Image capturing device, image data processing method of image capturing device, and program |
| JPWO2020137662A1 (en) * | 2018-12-26 | 2021-10-28 | 富士フイルム株式会社 | Image pickup device, image data processing method of image pickup device, and program |
| JP7004851B2 (en) | 2018-12-26 | 2022-02-10 | 富士フイルム株式会社 | Image pickup device, image data processing method of image pickup device, and program |
| US11546561B2 (en) | 2018-12-26 | 2023-01-03 | Fujifilm Corporation | Imaging apparatus, image data processing method of imaging apparatus, and program |
| US11902701B2 (en) | 2018-12-26 | 2024-02-13 | Fujifilm Corporation | Imaging apparatus, image data processing method of imaging apparatus, and program |
| JP7460595B2 (en) | 2018-12-26 | 2024-04-02 | 富士フイルム株式会社 | Image pickup device, image data processing method for image pickup device, and program |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6123274B2 (en) | Imaging device | |
| JP6079031B2 (en) | Imaging device | |
| JP2012213041A (en) | Imaging apparatus, image synthesizing method and program | |
| JP6948810B2 (en) | Image processing system | |
| JP6013247B2 (en) | Imaging device | |
| US9263001B2 (en) | Display control device | |
| JP2018182551A (en) | Imaging apparatus | |
| JP2015019397A (en) | Imaging synthesizing apparatus, image synthesizing method and program | |
| JP6041630B2 (en) | Image processing device | |
| US20140313381A1 (en) | Image pickup apparatus | |
| JP2013055541A (en) | Imaging device | |
| JP7292961B2 (en) | Imaging device and its control method | |
| JP2006145758A (en) | On-screen display device | |
| JP7008431B2 (en) | Imaging equipment, control methods, programs and imaging systems | |
| JP6762775B2 (en) | Image processing equipment, imaging equipment, control methods and programs | |
| JP4882954B2 (en) | Imaging apparatus, information synthesis apparatus, and program | |
| JP2007201816A (en) | Video image display system and video image receiver | |
| JP2018005389A (en) | Image deformation circuit, image processing apparatus, and image deformation method | |
| JP2013183383A (en) | Imaging apparatus, imaging method and program | |
| JP2019075633A (en) | Imaging system | |
| JP2018019164A (en) | Image recording device, image recording method, and program | |
| JP6021556B2 (en) | Image processing device | |
| JP6245389B2 (en) | Imaging apparatus and image processing apparatus | |
| WO2021152974A1 (en) | Imaging element, imaging device, method for operating imaging element, and program | |
| JP6917800B2 (en) | Image processing device and its control method and program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20191125 |