JP2018191154A

JP2018191154A - Image processing apparatus, image processing method, and program

Info

Publication number: JP2018191154A
Application number: JP2017092624A
Authority: JP
Inventors: 康宏岡田; Yasuhiro Okada
Original assignee: Ricoh Co Ltd
Current assignee: Ricoh Co Ltd
Priority date: 2017-05-08
Filing date: 2017-05-08
Publication date: 2018-11-29

Abstract

PROBLEM TO BE SOLVED: To maintain isochronism in the output of lines of output images by changing the processing speed to create the output images according to the processing state.SOLUTION: An image processing apparatus comprises: a determination part that combines parts or all of a plurality of images to be input, outputs images formed of a plurality of lines and determines whether the number of a plurality of areas forming the lines that are required to be combined is equal to or larger than a predetermined number for each of the lines; a supply part that selects a clock from a plurality of different clocks on the basis of the determination, and supplies the selected clock; and a combining part that is driven by the clock to be supplied, executes the composition, and outputs images on the basis of a result of the composition.SELECTED DRAWING: Figure 4

Description

本発明は、画像処理装置、画像処理方法及びプログラムに関する。 The present invention relates to an image processing apparatus, an image processing method, and a program.

デジタルカメラ等のレンズにより撮影された画像データは、レンズ収差によって歪んでいる。特に広角レンズ又は魚眼レンズで撮影した画像は、画像データの歪みが一段と強い。広角レンズ又は魚眼レンズでは、レンズの歪面収差特性のため、周辺部ほど歪曲率が大きく、画像の歪みが著しい。歪んだ画像データを歪みが低減された画像データに変換して画像の視認性を向上させる手段として、アフィン変換等の画像の任意画像変形回路がある。また、任意画像変形回路は、３６０度カメラ又はパノラマ画像の場合、センサから入力された複数枚の入力画像から生成される２枚の画像の合成を行う機能によって、大きなサイズの出力画像を生成する。 Image data taken by a lens such as a digital camera is distorted by lens aberration. In particular, an image taken with a wide-angle lens or a fish-eye lens has much stronger distortion of image data. In a wide-angle lens or a fish-eye lens, because of the distortion surface aberration characteristics of the lens, the peripheral portion has a larger distortion and the image is significantly distorted. As means for improving image visibility by converting distorted image data into image data with reduced distortion, there is an arbitrary image deformation circuit for an image such as affine transformation. In the case of a 360-degree camera or a panoramic image, the arbitrary image deformation circuit generates a large-size output image by a function of combining two images generated from a plurality of input images input from a sensor. .

レンズを通して得られた入力画像を一旦格納しておくフレームメモリには、ＤＤＲ−ＳＤＲＡＭ（Double Data Rate - Synchronous Dynamic Random Access Memory。以下、ＤＤＲメモリという。）が使用される場合が多い。出力画像を生成するために対応する入力画素をＤＤＲメモリから読み出していく処理を、出力画素ごとに順に実行しようとすると、特に任意画像変形ではＤＤＲメモリに対してランダムアクセスが必要となり、膨大な処理時間を必要とするという問題がある。そこで、出力画像を複数のエリアに分割し、それぞれの出力画像エリアで必要とする入力画像の一部の領域を切り出して高速に読み書き可能なＳＲＡＭ（Static RAM）に一旦取り込んだ後、補正演算により出力画素を生成していく手法が既に知られている（例えば特許文献１）。当該出力画像を映像出力するときの要求として、ライン等時性を要求される場合がある。 In many cases, a DDR-SDRAM (Double Data Rate-Synchronous Dynamic Random Access Memory, hereinafter referred to as DDR memory) is used as a frame memory for temporarily storing an input image obtained through a lens. If the process of reading out the corresponding input pixel from the DDR memory to generate the output image is to be executed sequentially for each output pixel, random access to the DDR memory is required especially for arbitrary image transformation, and a huge amount of processing is required. There is a problem of requiring time. Therefore, the output image is divided into a plurality of areas, a partial area of the input image required in each output image area is cut out, and once taken into an SRAM (Static RAM) that can be read and written at high speed, and then corrected. A method of generating output pixels is already known (for example, Patent Document 1). As a request when outputting the output image, line isochronism may be required.

しかしながら、従来の技術で１枚の出力画像を生成する際に、画像の合成が多数必要になると処理に時間がかかり、遅延が大きくなってライン出力の等時性を満たせずエラーとなり、後段に画像データを出力できなくなるという問題があった。 However, when a single output image is generated by the conventional technique, if a large number of image synthesis is required, the processing takes time, and the delay increases, resulting in an error that does not satisfy the isochronism of line output. There was a problem that image data could not be output.

本発明は上記の点に鑑みてなされたものであって、出力画像を生成する処理速度を処理状況に応じて変更することによって、出力画像のライン出力の等時性を保ち続けることを目的とする。 The present invention has been made in view of the above points, and aims to maintain the isochronism of line output of an output image by changing the processing speed for generating an output image according to the processing status. To do.

そこで上記課題を解決するため、画像処理装置は、入力される複数の画像の一部又は全部を合成し、複数のラインで構成される画像を出力し、前記合成が必要である前記ラインを構成する複数の領域の数が、所定の数以上であるか否かを前記ラインごとに判定する判定部と、前記判定に基づいて、複数の異なるクロックからクロックを選択し、前記選択されたクロックを供給する供給部と、前記供給されるクロックにより駆動され、前記合成を実行し、前記合成の結果に基づいて画像を出力する合成部とを有する。 In order to solve the above problem, the image processing apparatus combines a part or all of a plurality of input images, outputs an image composed of a plurality of lines, and configures the lines that need to be combined. A determination unit that determines for each line whether or not the number of the plurality of regions is equal to or greater than a predetermined number, and based on the determination, selects a clock from a plurality of different clocks, and selects the selected clock A supply unit that supplies the image data, and a synthesis unit that is driven by the supplied clock, executes the synthesis, and outputs an image based on the result of the synthesis.

出力画像を生成する処理速度を処理状況に応じて変更することによって、出力画像のライン出力の等時性を保ち続けることができる。 By changing the processing speed for generating the output image according to the processing status, the isochronism of the line output of the output image can be maintained.

本発明の実施の形態における画像処理装置１００の機能構成例（１）を示す図である。It is a figure which shows the function structural example (1) of the image processing apparatus 100 in embodiment of this invention. 本発明の実施の形態における画像処理装置１００の機能構成例（２）を示す図である。It is a figure which shows the function structural example (2) of the image processing apparatus 100 in embodiment of this invention. 本発明の実施の形態における画像処理装置１００のハードウェア構成例を示す図である。It is a figure which shows the hardware structural example of the image processing apparatus 100 in embodiment of this invention. 本発明の実施の形態における任意画像変形部１３の機能構成例を示す図である。It is a figure which shows the function structural example of the arbitrary image deformation | transformation part 13 in embodiment of this invention. 本発明の実施の形態における補正後画素メモリ２４の機能構成例を示す図である。It is a figure which shows the function structural example of the pixel memory 24 after correction | amendment in embodiment of this invention. 本発明の実施の形態におけるクロック制御部２７の機能構成例を示す図である。It is a figure which shows the function structural example of the clock control part 27 in embodiment of this invention. 本発明の実施の形態における出力画像の処理を示す図である。It is a figure which shows the process of the output image in embodiment of this invention. 本発明の実施の形態における画像処理パラメータがＤＤＲメモリ３３に配置される例を示す図である。It is a figure which shows the example by which the image processing parameter in embodiment of this invention is arrange | positioned in the DDR memory. 本発明の実施の形態における画像合成用の画像処理パラメータがＤＤＲメモリ３３に配置される例を示す図である。FIG. 5 is a diagram showing an example in which image processing parameters for image composition in the embodiment of the present invention are arranged in a DDR memory 33. 本発明の実施の形態における任意画像変形部１３で使用される画像処理パラメータの一例を示す図である。It is a figure which shows an example of the image processing parameter used in the arbitrary image deformation | transformation part 13 in embodiment of this invention. 本発明の実施の形態における外部メモリに画像が格納される一例を示す図である。It is a figure which shows an example in which an image is stored in the external memory in embodiment of this invention. 本発明の実施の形態における出力画像の一例を示す図である。It is a figure which shows an example of the output image in embodiment of this invention. 本発明の実施の形態における出力画像の合成領域の一例を示す図である。It is a figure which shows an example of the synthetic | combination area | region of the output image in embodiment of this invention. 本発明の実施の形態における出力画像のタイミングチャートの一例を示す図である。It is a figure which shows an example of the timing chart of the output image in embodiment of this invention.

以下、図面に基づいて本発明の実施の形態を説明する。 Hereinafter, embodiments of the present invention will be described with reference to the drawings.

図１は、本発明の実施の形態における画像処理装置１００の機能構成例（１）を示す図である。図１に示されるように、画像処理装置１００は、入力Ｉ／Ｆ１０、画像処理部１１、天頂補正部１２、任意画像変形部１３、制御部１４、出力Ｉ／Ｆ１５、インターコネクト部１６及び外部メモリ部１７を有する。 FIG. 1 is a diagram illustrating a functional configuration example (1) of an image processing apparatus 100 according to an embodiment of the present invention. As shown in FIG. 1, the image processing apparatus 100 includes an input I / F 10, an image processing unit 11, a zenith correction unit 12, an arbitrary image deformation unit 13, a control unit 14, an output I / F 15, an interconnect unit 16, and an external memory. Part 17.

入力Ｉ／Ｆ１０は、外部から画像データを取り込み、インターコネクト部１６を介して外部メモリ部１７に格納する。入力Ｉ／Ｆ１０とインターコネクト部１６の間は、ＤＭＡ（Direct Memory Access）コントローラ、画像処理等の機能部が存在してもよい。 The input I / F 10 captures image data from the outside and stores it in the external memory unit 17 via the interconnect unit 16. Between the input I / F 10 and the interconnect unit 16, there may be a functional unit such as a DMA (Direct Memory Access) controller and image processing.

画像処理部１１は、任意画像変形部１３による画像処理以外の画像処理を行う。当該画像処理は、複数の画像処理を含んでよい。天頂補正部１２は、３６０度撮影カメラ等で、カメラの撮影方向によらず、録画された画像で上下方向を常に一定にするよう、入力画像の回転角度の情報を例えばジャイロ等から入手して、頂点の位置を補正する。当該補正は、外部メモリに格納されたパラメータを読み出して、回転角度に基づいてパラメータを書き換えて、外部メモリに書き戻しを行うことにより実行される。任意画像変形部１３は、回転、拡大、縮小等の画像変形を実行する。制御部１４は、レジスタのリード又はライトを実行する。出力Ｉ／Ｆ１５は、外部メモリ部１７に格納された画像に様々な画像処理を施したのち、画像データを外部に出力するインタフェースである。インターコネクト部１６は、各機能部間の画像データ等のやり取りを行う。外部メモリ部１７は、入力された画像データ、画像処理が施された画像データ、画像処理に使用されるパラメータ等を記憶する。 The image processing unit 11 performs image processing other than the image processing by the arbitrary image deformation unit 13. The image processing may include a plurality of image processing. The zenith correction unit 12 is a 360 degree camera or the like, and obtains information on the rotation angle of the input image from, for example, a gyro so that the vertical direction is always constant in the recorded image regardless of the shooting direction of the camera. , Correct the position of the vertex. The correction is executed by reading the parameters stored in the external memory, rewriting the parameters based on the rotation angle, and writing back to the external memory. The arbitrary image deformation unit 13 performs image deformation such as rotation, enlargement, and reduction. The control unit 14 reads or writes the register. The output I / F 15 is an interface that outputs various image processes to the image stored in the external memory unit 17 and then outputs the image data to the outside. The interconnect unit 16 exchanges image data and the like between the functional units. The external memory unit 17 stores input image data, image data subjected to image processing, parameters used for image processing, and the like.

図２は、本発明の実施の形態における画像処理装置１００の機能構成例（２）を示す図である。図２においては、図１に示される構成との差分として、任意画像変形部１３が、出力Ｉ／Ｆ１５の前段に配置され、接続されている。 FIG. 2 is a diagram illustrating a functional configuration example (2) of the image processing apparatus 100 according to the embodiment of the present invention. In FIG. 2, as a difference from the configuration shown in FIG. 1, the arbitrary image deforming unit 13 is arranged and connected in the front stage of the output I / F 15.

図３は、本発明の実施の形態における画像処理装置１００のハードウェア構成例を示す図である。図３に示されるように、画像処理装置１００は、バス１０６を介して相互に接続されているＣＰＵ（Central Processing Unit）１０１、ネットワークインタフェース１０２、入出力インタフェース１０３、内部メモリ１０４、外部メモリインタフェース１０５及び外部メモリ１０７を有する。 FIG. 3 is a diagram illustrating a hardware configuration example of the image processing apparatus 100 according to the embodiment of the present invention. As shown in FIG. 3, the image processing apparatus 100 includes a CPU (Central Processing Unit) 101, a network interface 102, an input / output interface 103, an internal memory 104, and an external memory interface 105 connected to each other via a bus 106. And an external memory 107.

画像処理装置１００での処理を実現するプログラムは、内部メモリ１０４又は外部メモリ１０７に格納される。内部メモリ１０４又は外部メモリ１０７は、インストールされたプログラムを格納すると共に、必要なファイル及びデータ等を格納する。内部メモリ１０４又は外部メモリ１０７は、ＳＲＡＭ、ＤＤＲメモリ、ＲＯＭ（Read Only Memory）、フラッシュメモリ又は外部記憶媒体であるメモリカード等のいずれであってもよいし、それらの複数を含んでもよい。 A program for realizing processing in the image processing apparatus 100 is stored in the internal memory 104 or the external memory 107. The internal memory 104 or the external memory 107 stores the installed program and necessary files and data. The internal memory 104 or the external memory 107 may be an SRAM, a DDR memory, a ROM (Read Only Memory), a flash memory, a memory card as an external storage medium, or the like, or may include a plurality of them.

ネットワークインタフェース１０２は、ネットワークを介して外部装置と通信を行うためのインタフェースである。当該インタフェースは、有線又は無線ＬＡＮ（Local Area Network）であってもよいし、他の通信方式を使用するものでもよい。 The network interface 102 is an interface for communicating with an external device via a network. The interface may be a wired or wireless LAN (Local Area Network), or may use another communication method.

入出力インタフェース１０３は、スマートフォン、ＵＳＢ（Universal Serial Bus）機器、ハードウェアキー、状態通知用ＬＥＤ（Light Emitting Diode）、液晶ディスプレイ等の様々な入出力装置との接続を行うためのインタフェースである。 The input / output interface 103 is an interface for connecting to various input / output devices such as a smartphone, a USB (Universal Serial Bus) device, a hardware key, a status notification LED (Light Emitting Diode), and a liquid crystal display.

外部メモリインタフェース１０５は、外部メモリ１０７と接続及び制御するためのインタフェースである。 The external memory interface 105 is an interface for connecting to and controlling the external memory 107.

なお、図１における入力Ｉ／Ｆ１０及び出力Ｉ／Ｆ１５は、入出力インタフェース１０３により実現されてもよい。図１における画像処理部１１、天頂補正部１２、任意画像変形部１３及び制御部１４は、画像処理装置１００にインストールされた１以上のプログラムがＣＰＵ１０１に実行させる処理により実現されてもよい。また、図１における画像処理部１１、天頂補正部１２、任意画像変形部１３及び制御部１４は、図３に示されるハードウェア構成の一部又は全部をそれぞれ個別に有していてもよい。図１におけるインターコネクト部１６は、バス１０６により実現されてもよい。図１における外部メモリ部１７は、外部メモリ１０７により実現されてもよい。 Note that the input I / F 10 and the output I / F 15 in FIG. 1 may be realized by the input / output interface 103. The image processing unit 11, the zenith correction unit 12, the arbitrary image deformation unit 13, and the control unit 14 in FIG. 1 may be realized by a process that the CPU 101 executes one or more programs installed in the image processing apparatus 100. Further, the image processing unit 11, the zenith correction unit 12, the arbitrary image deformation unit 13, and the control unit 14 in FIG. 1 may individually have a part or all of the hardware configuration shown in FIG. The interconnect unit 16 in FIG. 1 may be realized by the bus 106. The external memory unit 17 in FIG. 1 may be realized by the external memory 107.

図４は、本発明の実施の形態における任意画像変形部１３の機能構成例を示す図である。図４に示されるように、任意画像変形部１３は、演算部２１、参照画像メモリＡ２２Ａ、参照画像メモリＢ２２Ｂ、画像処理パラメータメモリ２３、補正後画素メモリ２４、全体制御部２５、インタフェース部２６、クロック制御部２７及びレジスタ制御部２８を有する。ＣＬＫ信号３０、ＣＰＵ制御信号３１、ＤＤＲコントローラ３２、ＤＤＲメモリ３３及び外部出力３４は、任意画像変形部１３と連携して動作する機能部である。 FIG. 4 is a diagram illustrating a functional configuration example of the arbitrary image deformation unit 13 according to the embodiment of the present invention. As shown in FIG. 4, the arbitrary image deformation unit 13 includes a calculation unit 21, a reference image memory A 22 A, a reference image memory B 22 B, an image processing parameter memory 23, a corrected pixel memory 24, an overall control unit 25, an interface unit 26, A clock control unit 27 and a register control unit 28 are provided. The CLK signal 30, the CPU control signal 31, the DDR controller 32, the DDR memory 33, and the external output 34 are functional units that operate in cooperation with the arbitrary image deformation unit 13.

演算部２１、全体制御部２５、インタフェース部２６、クロック制御部２７、レジスタ制御部２８及びＣＰＵ制御信号３１は、画像処理装置１００にインストールされた１以上のプログラムがＣＰＵ１０１に実行させる処理により実現されてもよい。参照画像メモリＡ２２Ａ、参照画像メモリＢ２２Ｂ、画像処理パラメータメモリ２３及び補正後画素メモリ２４は、内部メモリ１０４により実現されてもよい。当該内部メモリ１０４は、高速処理及びランダムアクセス処理を実現するため、ＳＲＡＭであってもよい。ＣＬＫ信号３０は、クロック発信機により実現されてもよい。ＤＤＲコントローラ３２は、外部メモリインタフェース１０５により実現されてもよい。ＤＤＲメモリ３３は、外部メモリ１０７又は内部メモリ１０４により実現されてもよい。ＤＤＲ当該外部メモリ１０７は、ＤＤＲメモリであってもよい。外部出力３４は、入出力インタフェース１０３により実現されてもよい。 The arithmetic unit 21, the overall control unit 25, the interface unit 26, the clock control unit 27, the register control unit 28, and the CPU control signal 31 are realized by processing executed by the CPU 101 by one or more programs installed in the image processing apparatus 100. May be. The reference image memory A22A, the reference image memory B22B, the image processing parameter memory 23, and the corrected pixel memory 24 may be realized by the internal memory 104. The internal memory 104 may be an SRAM in order to realize high-speed processing and random access processing. The CLK signal 30 may be realized by a clock transmitter. The DDR controller 32 may be realized by the external memory interface 105. The DDR memory 33 may be realized by the external memory 107 or the internal memory 104. The DDR external memory 107 may be a DDR memory. The external output 34 may be realized by the input / output interface 103.

ＤＤＲメモリ３３は、任意画像変形部１３が使用する参照画像となる入力画像、出力画像のエリアごとの画像処理パラメータが格納されている。図１に示される画像処理装置１００の機能構成の場合、出力画像もＤＤＲメモリ３３に格納される。 The DDR memory 33 stores image processing parameters for each area of an input image and an output image that are reference images used by the arbitrary image deformation unit 13. In the case of the functional configuration of the image processing apparatus 100 shown in FIG. 1, the output image is also stored in the DDR memory 33.

参照画像メモリＡ２２Ａ及び参照画像メモリＢ２２Ｂは、ＤＤＲメモリ３３に格納されている入力画像から取得する参照画像データを格納する領域である。ＲＡＭＲＥＦＡ（１）〜ＲＡＭＲＥＦＡ（Ｐ）は、出力画像に対応する参照画像が格納される。同様に、ＲＡＭＲＥＦＢ（１）〜ＲＡＭＲＥＦＢ（Ｐ）は、出力画像に対応する参照画像が格納される。Ｐは、演算部２１において並行して演算を行う並列処理数であり、１又は２でもよく、求められる性能に応じてＰは決定される。すなわち、参照画像メモリは、必要な処理速度に基づいて決定された並列処理数を演算部２１で実行するために、参照画像をＰだけ並列して記憶する。 The reference image memory A22A and the reference image memory B22B are areas for storing reference image data acquired from an input image stored in the DDR memory 33. In RAMREFA (1) to RAMREFA (P), reference images corresponding to output images are stored. Similarly, RAMREFB (1) to RAMREFB (P) store reference images corresponding to output images. P is the number of parallel processes in which computation is performed in parallel in the computation unit 21, and may be 1 or 2, and P is determined according to the required performance. That is, the reference image memory stores the reference image in parallel by P so that the arithmetic unit 21 executes the number of parallel processes determined based on the required processing speed.

画像処理パラメータメモリ２３は、ＤＤＲメモリ３３から取得する画像処理パラメータを格納する領域である。ＲＡＭＲＥＦＡに対応する画像処理パラメータが格納される領域がＲＡＭＰＩＸＡであり、ＲＡＭＲＥＦＢに対応する画像処理パラメータが格納される領域がＲＡＭＰＩＸＢである。 The image processing parameter memory 23 is an area for storing image processing parameters acquired from the DDR memory 33. The area where the image processing parameter corresponding to RAMREFA is stored is RAMPIXA, and the area where the image processing parameter corresponding to RAMREFB is stored is RAMPIXB.

演算部２１は、画像処理パラメータＲＡＭＰＩＸＡ又はＲＡＭＰＩＸＢに基づいて、参照画像ＲＡＭＲＥＦＡ又はＲＡＭＲＥＦＢを読み取って、出力画像の画素ごとに補正演算を実行する。図４に示されるａｆｎ＿ｃａｌ（１）〜ａｆｎ＿ｃａｌ（Ｐ）は、当該補正演算処理を示し、Ｐだけ並行して実行することができる。演算部２１は、補正演算処理をエリアごとに繰り返して、補正後画素メモリ２４に補正演算後のデータを出力する。 The calculation unit 21 reads the reference image RAMREFA or RAMREFB based on the image processing parameter RAMPIXA or RAMPIXB, and executes a correction calculation for each pixel of the output image. Afn_cal (1) to afn_cal (P) shown in FIG. 4 indicate the correction calculation process, and only P can be executed in parallel. The calculation unit 21 repeats the correction calculation process for each area and outputs the corrected data to the corrected pixel memory 24.

補正後画素メモリ２４は、補正演算後のデータを格納し、画像処理パラメータに基づいて必要であれば合成処理を実行する（詳細は後述）。ＲＡＭＲＥＶＡ及びＲＡＭＲＥＶＢは、出力画像が格納される領域である。補正後又は合成後の出力画像は、全体制御部２５及びインタフェース部２６を介してＤＤＲメモリ３３に書き戻されるか、外部出力３４に出力される。 The post-correction pixel memory 24 stores the data after the correction calculation, and executes synthesis processing if necessary based on image processing parameters (details will be described later). RAMREVA and RAMREVB are areas in which output images are stored. The corrected or synthesized output image is written back to the DDR memory 33 or output to the external output 34 via the overall control unit 25 and the interface unit 26.

全体制御部２５は、各部間の画像データ及び制御データの転送に係る制御を行う。 The overall control unit 25 performs control related to transfer of image data and control data between the units.

インタフェース部２６は、全体制御部２５及びＤＤＲコントローラ３２と接続され、ＤＤＲメモリ３３に格納されている画像データ及び制御データを全体制御部２５へ転送する。 The interface unit 26 is connected to the overall control unit 25 and the DDR controller 32, and transfers image data and control data stored in the DDR memory 33 to the overall control unit 25.

クロック制御部２７は、ＣＬＫ信号３０から複数のクロック信号を取得し、演算部２１又は任意画像変形部１３全体を駆動する動作クロックを、当該クロック信号のいずれかを選択して供給する。図４に示されるＣＬＫ信号３０からは、２本のクロックが入力されているが、３本以上のクロックが入力されてもよい。 The clock control unit 27 acquires a plurality of clock signals from the CLK signal 30, and selects and supplies an operation clock for driving the arithmetic unit 21 or the arbitrary image transformation unit 13 as a whole. Although two clocks are input from the CLK signal 30 shown in FIG. 4, three or more clocks may be input.

レジスタ制御部２８は、参照画像の主走査・副走査画像サイズ等の情報を保持する。 The register control unit 28 holds information such as the main scanning / sub-scanning image size of the reference image.

図５は、本発明の実施の形態における補正後画素メモリ２４の機能構成を示す図である。補正後画素メモリ２４では、演算部２１から補正演算後のデータを取得し、画像処理パラメータで設定されるブレンド係数を乗算し、ＲＡＭＲＥＶに格納する。ブレンド係数とは、画素の合成をする際のウエイト情報である。ブレンド係数は、例えば入力画像Ａと入力画像Ｂを合成するときに、入力画像Ａを９０％、第２の入力画像Ｂを１０％のウエイトとして合成する等、合成時の入力画像のそれぞれのウエイトを設定可能である。画像処理パラメータのエリア合成設定が有効であれば、格納されたＲＡＭＲＥＶからデータを読み出し、次のエリアの補正演算後のデータと加算を行い、他方のＲＡＭＲＥＶに当該データを格納する。補正後画素メモリ２４は、ＲＡＭＲＥＶＡ又はＲＡＭＲＥＶＢのいずれかの画像データをセレクタにより切り替えて出力する。 FIG. 5 is a diagram showing a functional configuration of the corrected pixel memory 24 in the embodiment of the present invention. In the post-correction pixel memory 24, the data after the correction calculation is acquired from the calculation unit 21, multiplied by the blend coefficient set by the image processing parameter, and stored in the RAMREV. The blend coefficient is weight information when pixels are combined. For example, when the input image A and the input image B are combined, the blend coefficient is set such that the input image A has a weight of 90% and the second input image B has a weight of 10%. Can be set. If the area composition setting of the image processing parameter is valid, the data is read from the stored RAMREV, added with the data after the correction calculation of the next area, and the data is stored in the other RAMREV. The post-correction pixel memory 24 switches the image data of either RAMREVA or RAMREVB with a selector and outputs it.

図６は、本発明の実施の形態におけるクロック制御部２７の機能構成を示す図である。図６に示されるＣＬＫ１又はＣＬＫ２は、互いに異なる周波数のクロックである。画像処理パラメータからエリアごとに取得されるクロックを指定する情報に基づくＣＬＫ選択信号によりセレクタを切り替え、ＣＬＫ１又はＣＬＫ２を演算用ＣＬＫとして、演算部２１又は任意画像変形部１３全体に動作クロックを供給する。 FIG. 6 is a diagram showing a functional configuration of the clock control unit 27 in the embodiment of the present invention. CLK1 or CLK2 shown in FIG. 6 are clocks having different frequencies. The selector is switched by the CLK selection signal based on the information specifying the clock acquired for each area from the image processing parameter, and the operation clock is supplied to the calculation unit 21 or the entire arbitrary image transformation unit 13 with CLK1 or CLK2 as the calculation CLK. .

図７は、本発明の実施の形態における出力画像の処理を示す図である。任意画像変形部１３によって出力される出力画像は、図７に示されるようにエリアごとに分割されて、主走査方向にＮ個、副走査方向にＭ個出力される。出力画像において、１〜Ｎを１エリアライン、Ｎ＋１〜２Ｎを２エリアライン、最終のエリアラインをＭエリアラインという。画像の出力順は、図７に示される矢印のように、主走査方向にエリアがＮ個出力されたのち、次のエリアラインが出力される。 FIG. 7 is a diagram showing output image processing in the embodiment of the present invention. As shown in FIG. 7, the output images output by the arbitrary image deforming unit 13 are divided for each area, and N pieces are output in the main scanning direction and M pieces are output in the sub scanning direction. In the output image, 1 to N are referred to as 1 area line, N + 1 to 2N are referred to as 2 area lines, and the final area line is referred to as an M area line. As for the output order of images, as indicated by the arrows shown in FIG. 7, after N areas are output in the main scanning direction, the next area line is output.

図８は、本発明の実施の形態における画像処理パラメータがＤＤＲメモリ３３に配置される例を示す図である。図７に示される出力画像の出力順に対応するように、入力画像の使用する部分を指定する参照画像切り出しデータ及び当該参照画像に対する画像処理パラメータを指定する参照画素指定データ（詳細は後述）が、エリアごとに順番に配置される。任意画像変形部１３は、ＤＤＲメモリ３３上に配置されたエリア１に対応する画像処理パラメータから順番に取得して、出力画像が生成される。 FIG. 8 is a diagram illustrating an example in which the image processing parameters are arranged in the DDR memory 33 according to the embodiment of the present invention. In order to correspond to the output order of the output images shown in FIG. 7, reference image cut-out data for specifying a portion to be used of the input image and reference pixel specifying data for specifying an image processing parameter for the reference image (details will be described later) Arranged in order for each area. The arbitrary image transformation unit 13 obtains an output image in order from image processing parameters corresponding to the area 1 arranged on the DDR memory 33.

図９は、本発明の実施の形態における画像合成用の画像処理パラメータがＤＤＲメモリ３３に配置される例を示す図である。入力画像Ａ及び入力画像Ｂが合成される場合、入力画像Ａに対する画像処理パラメータ（エリア１ａ）の次に、入力画像Ｂに対する画像処理パラメータ（エリア１ｂ）が配置されるように、入力画像Ａ又は入力画像Ｂに対する画像処理パラメータが交互に配置される。出力画像の１エリアを生成するために、入力画像Ａ及び入力画像Ｂがそれぞれ対応する計２エリア分の画像処理パラメータに基づいて、補正演算処理が実行される。交互に配置された画像処理パラメータは順番に読み取られるため、重ね合わせを行う入力画像Ａ及び入力画像Ｂは連続して補正演算処理が行われる。続いて、画像処理パラメータに含まれるエリア合成設定を参照して、合成するか否かが判断され、補正後画素メモリ２４にて合成が行われる。 FIG. 9 is a diagram illustrating an example in which image processing parameters for image synthesis are arranged in the DDR memory 33 according to the embodiment of the present invention. When the input image A and the input image B are combined, the input image A or the image processing parameter (area 1b) for the input image B is arranged next to the image processing parameter (area 1a) for the input image A. Image processing parameters for the input image B are alternately arranged. In order to generate one area of the output image, correction calculation processing is executed based on image processing parameters for a total of two areas corresponding to the input image A and the input image B, respectively. Since the alternately arranged image processing parameters are sequentially read, the input image A and the input image B to be superimposed are subjected to the correction calculation process continuously. Subsequently, with reference to the area composition setting included in the image processing parameter, it is determined whether or not to perform composition, and composition is performed in the corrected pixel memory 24.

図１０は、本発明の実施の形態における任意画像変形部１３で使用される画像処理パラメータの一例を示す図である。画像処理パラメータは、入力画像から参照画像を切り出すための参照画像切り出しデータと、出力画像の１画素を生成するための参照画像の画素値及びサブピクセル値を指定する参照画素指定データとから構成される。１画素に対する参照画素指定データは、複数であってもよい。参照画像切り出しデータ及び参照画素指定データは、出力画像の１エリア単位で用意され、エリア出力順に応じて、ＤＤＲメモリ３３に配置されてもよい。入力画像を撮像したレンズのレンズパラメータの歪み率等に基づいて、エリアごとの画像処理パラメータが決定される。 FIG. 10 is a diagram showing an example of image processing parameters used in the arbitrary image deformation unit 13 in the embodiment of the present invention. The image processing parameter includes reference image cutout data for cutting out a reference image from an input image, and reference pixel specifying data for specifying a pixel value and a subpixel value of the reference image for generating one pixel of the output image. The There may be a plurality of reference pixel designation data for one pixel. The reference image cutout data and the reference pixel designation data may be prepared for each area of the output image and may be arranged in the DDR memory 33 according to the area output order. The image processing parameter for each area is determined based on the distortion rate of the lens parameter of the lens that captured the input image.

参照画像切り出しデータに含まれる「参照画像の先頭ＤＤＲアドレス」は、参照画像とする入力画像が格納されているＤＤＲメモリ３３の先頭アドレスである。参照画像切り出しデータに含まれる「エリア合成指定」は、当該エリアが合成されるか否かを指定する。参照画像切り出しデータに含まれる「エリア飛ばし指定」は、当該エリアが補正演算処理の対象であるか否かを指定する。「エリア飛ばし指定」がされている場合、入力画像は、補正演算処理されることなく出力画像となる。参照画像切り出しデータに含まれる「参照画像の主走査画素数」は、参照画像の主走査方向の画素数を示す。参照画像切り出しデータに含まれる「ＣＬＫ指定」は、当該エリアの補正演算処理に使用するクロックを指定する。参照画像切り出しデータに含まれる「参照画像の副走査画素数」は、参照画像の副走査方向の画素数を示す。 The “reference image start DDR address” included in the reference image cut-out data is the start address of the DDR memory 33 in which the input image to be used as the reference image is stored. “Area synthesis designation” included in the reference image cut-out data designates whether or not the area is synthesized. “Area skipping designation” included in the reference image cut-out data designates whether or not the area is a target of correction calculation processing. When “area skipping designation” is performed, the input image is an output image without being subjected to correction calculation processing. The “number of main scanning pixels of the reference image” included in the reference image cut-out data indicates the number of pixels in the main scanning direction of the reference image. “CLK designation” included in the reference image cut-out data designates a clock used for the correction calculation processing of the area. The “number of reference image sub-scanning pixels” included in the reference image cut-out data indicates the number of pixels of the reference image in the sub-scanning direction.

参照画素指定データに含まれる「Ｘアドレス」及び「Ｙアドレス」は、出力画像の１画素を生成する参照画像の画素を指定する。参照画素指定データに含まれる「Ｘサブピクセル」及び「Ｙサブピクセル」は、出力画像の１画素を生成する参照画像の画素を詳細に指定する情報である。参照画素指定データに含まれる「ブレンド係数」は、図５に示される画素の合成をする際のウエイト情報である。 “X address” and “Y address” included in the reference pixel designation data designate a pixel of the reference image for generating one pixel of the output image. “X sub-pixel” and “Y sub-pixel” included in the reference pixel specifying data are information for specifying in detail the pixel of the reference image for generating one pixel of the output image. The “blend coefficient” included in the reference pixel designation data is weight information when the pixels shown in FIG. 5 are combined.

本実施例では、画像処理パラメータは、入出力画像データを格納するフレームメモリであるＤＤＲメモリ３３に格納される。入力画像データ、補正後の出力画像データ及び画像処理パラメータは、それぞれアドレスオフセットが付与されて、ＤＤＲメモリ３３に配置されてもよい。 In this embodiment, the image processing parameters are stored in a DDR memory 33 that is a frame memory for storing input / output image data. The input image data, the corrected output image data, and the image processing parameters may be assigned to the address offset and placed in the DDR memory 33.

図１１は、本発明の実施の形態におけるＤＤＲメモリ３３に画像が格納される一例を示す図である。ＤＤＲメモリ３３に、魚眼画像である入力画像Ａ及び入力画像Ｂが格納されている。以下、魚眼画像である入力画像Ａ及び入力画像Ｂから、１枚の全天球画像を生成する場合の処理について説明する。 FIG. 11 is a diagram illustrating an example in which an image is stored in the DDR memory 33 according to the embodiment of the present invention. The DDR memory 33 stores an input image A and an input image B that are fisheye images. Hereinafter, processing in the case of generating one omnidirectional image from the input image A and the input image B that are fisheye images will be described.

図１２は、本発明の実施の形態における出力画像の一例を示す図である。出力画像１は、図１１に示される魚眼画像である入力画像Ａ及び入力画像Ｂに補正演算処理を施し、それぞれ左右に並べたものである。入力画像Ａから生成される領域Ａ及び入力画像Ｂから生成される領域Ｂ以外の斜線で示される領域は、入力画像Ａ及び入力画像Ｂを合成して生成した領域である。出力画像２は、出力画像１において、領域Ａを画像の中心に移動したものである。出力画像３は、出力画像２において、さらに垂直方向に画像の半分だけ移動したものである。 FIG. 12 is a diagram showing an example of an output image in the embodiment of the present invention. The output image 1 is obtained by performing correction calculation processing on the input image A and the input image B, which are fish-eye images shown in FIG. A region indicated by hatching other than the region A generated from the input image A and the region B generated from the input image B is a region generated by combining the input image A and the input image B. The output image 2 is obtained by moving the region A to the center of the image in the output image 1. The output image 3 is obtained by moving the output image 2 by half of the image in the vertical direction.

出力画像１、出力画像２及び出力画像３における差異は、カメラの撮影方向の違いによって入力画像の向きが異なり、それに対して出力画像の位置を天頂補正部１２によって補正する等の理由により発生する。出力画像に対する入力画像Ａ及び入力画像Ｂの配置は、図１２に示されるように変化する。 The difference between the output image 1, the output image 2, and the output image 3 is caused by the reason that the direction of the input image differs depending on the difference in the shooting direction of the camera, and the position of the output image is corrected by the zenith correction unit 12 for that. . The arrangement of the input image A and the input image B with respect to the output image changes as shown in FIG.

図１３は、本発明の実施の形態における出力画像の合成領域の一例を示す図である。図１３に示されるひとつの白枠は、１エリアに対応し、図１２に示される各出力画像において合成が必要な領域を示している。領域Ａ及び領域Ｂは、入力画像の合成は不要であり、画像処理パラメータには「エリア飛ばし設定」がされている。 FIG. 13 is a diagram illustrating an example of a composite region of output images in the embodiment of the present invention. One white frame shown in FIG. 13 corresponds to one area, and indicates an area that needs to be combined in each output image shown in FIG. The area A and the area B do not require the synthesis of the input image, and “area skip setting” is set as the image processing parameter.

図１３に示されるように、出力画像１及び出力画像２は、出力画像の最初の１エリアライン及び最終のエリアラインに合成が必要なエリアが多く存在する。出力画像３は、出力画像の中央のエリアラインに合成が必要なエリアが多く存在する。すなわち、出力画像に対する入力画像Ａ及び入力画像Ｂの配置によって、合成が必要なエリアを多く含むエリアラインが変化する。入力画像が動画の場合、毎フレーム合成が必要なエリアが多く存在するエリアラインが変化する可能性がある。合成が必要なエリアは、入力画像Ａ及び入力画像Ｂの両方から参照画像を取得し、補正演算処理を行う必要があるため、合成が必要ないエリアと比べた場合、約２倍の処理時間を要する。そのため、１エリアラインの全てのエリアで合成が必要である場合、合成が全く必要ない１エリアラインと比べた場合、約２倍の処理時間を要する。したがって、ライン出力の等時性を保証する場合、合成が全く必要ない１エリアラインに要する処理時間の約２倍の時間をライン出力間に設定する必要があり、処理遅延が大きくなる。 As shown in FIG. 13, the output image 1 and the output image 2 have many areas that need to be combined in the first area line and the last area line of the output image. The output image 3 has many areas that need to be combined in the central area line of the output image. That is, the area line including many areas that need to be combined changes depending on the arrangement of the input image A and the input image B with respect to the output image. When the input image is a moving image, there is a possibility that an area line in which there are many areas that need to be combined every frame may change. The area that needs to be combined needs to obtain a reference image from both the input image A and the input image B and perform correction calculation processing, so that it takes about twice as long processing time as compared with an area that does not need to be combined. Cost. For this reason, when synthesis is necessary for all areas of one area line, the processing time is about twice as long as that for one area line where synthesis is not required. Therefore, when guaranteeing isochronism of line output, it is necessary to set a time between line outputs that is about twice as long as the processing time required for one area line that does not require synthesis at all, and processing delay increases.

そこで、例えば、図６に示されるクロックについて、ＣＬＫ１が１００ＭＨｚ、ＣＬＫ２が２００ＭＨｚとする。例えば、天頂補正部１２において、カメラの向きにより画像の回転角度を変える必要が生じて天頂補正を行った場合、天頂補正部１２は、合成が必要であるエリアが所定の数又は割合よりも多いエリアラインを判定し、当該エリアラインに含まれるエリアの画像処理パラメータの「ＣＬＫ指定」にＣＬＫ２を、当該エリアライン以外のエリアラインは「ＣＬＫ指定」にＣＬＫ１を設定する。また、当該判定は、例えば、画像処理部１１によって行われてもよい。当該「ＣＬＫ指定」により、任意画像変形部１３は、合成が必要であるエリアが多いエリアラインを補正演算処理するとき、ＣＬＫ２による２００ＭＨｚのクロックを使用することが可能となり、合成が必要であるエリアが多いエリアラインの処理が早くなるため、ライン出力の等時性を保証する場合であっても、処理遅延を低減することができる。なお、「ＣＬＫ指定」について、エリアラインごとに設定するのではなく、エリアごとに設定してもよい。 Therefore, for example, for the clock shown in FIG. 6, it is assumed that CLK1 is 100 MHz and CLK2 is 200 MHz. For example, in the zenith correction unit 12, when it is necessary to change the rotation angle of the image depending on the orientation of the camera and the zenith correction is performed, the zenith correction unit 12 has more than a predetermined number or ratio of areas that need to be combined. The area line is determined, and CLK2 is set to “CLK designation” of the image processing parameter of the area included in the area line, and CLK1 is set to “CLK designation” for area lines other than the area line. In addition, the determination may be performed by the image processing unit 11, for example. With this “CLK designation”, the arbitrary image deforming unit 13 can use a 200 MHz clock based on CLK2 when performing correction calculation processing on an area line having many areas that need to be combined. Since the processing of an area line with a large amount of data is accelerated, the processing delay can be reduced even when the isochronism of line output is guaranteed. Note that “CLK designation” may be set for each area rather than for each area line.

また、例えば、図１に示される画像処理部１１において、外部メモリ部１７からエリアごとの画像処理パラメータを取得して、「エリア合成指定」の情報を参照して、当該エリアが合成されるエリアである場合、「ＣＬＫ指定」にＣＬＫ２を設定して、外部メモリ部１７に書き戻すことで、合成が必要であるエリアの補正演算処理の処理遅延を低減することができる。 Also, for example, in the image processing unit 11 shown in FIG. 1, an area for which the area is synthesized by acquiring image processing parameters for each area from the external memory unit 17 and referring to the information of “area composition designation” In this case, by setting CLK2 to “CLK designation” and writing it back to the external memory unit 17, it is possible to reduce the processing delay of the correction calculation processing in the area that needs to be combined.

図１４は、本発明の実施の形態における出力画像のタイミングチャートの一例を示す図である。図１４において、図１３に示される出力画像１に補正演算処理を行う場合のタイミングチャートが示されている。 FIG. 14 is a diagram illustrating an example of a timing chart of an output image in the embodiment of the present invention. FIG. 14 shows a timing chart when the correction calculation process is performed on the output image 1 shown in FIG.

ＬＳＹＮＣは、ライン等時を保つためのライン周期信号である。ＣＬＫ１及びＣＬＫ２は、ＣＬＫ指定により選択されるクロックである。ＣＬＫ指定は、画像処理パラメータで指定される。演算部ＣＬＫは、演算部２１に供給されるクロックの波形である。ＤＡＴＡＩＮは、演算期間を示す。 LSYNC is a line period signal for keeping the time of the line etc. CLK1 and CLK2 are clocks selected by CLK designation. The CLK designation is designated by an image processing parameter. The calculation unit CLK is a waveform of a clock supplied to the calculation unit 21. DATAIN indicates a calculation period.

図１４において、左端のＬＳＹＮＣは、図１３に示される出力画像１の１エリアラインの開始を示すライン周期信号である。出力画像１の１エリアラインは、合成が必要なエリアが多いため、ＣＬＫ指定によりＣＬＫ２が演算部ＣＬＫに供給されて、処理速度を向上させている。その結果、ＬＳＹＮＣのタイミングに遅延を生じさせることなく、２エリアラインの補正演算処理を開始することができる。図１４に示されるように、２エリアラインは、合成が必要なエリアが少ないため、ＣＬＫ指定によりＣＬＫ１が演算部ＣＬＫに供給されて、通常の処理速度で処理される。 In FIG. 14, LSYNC at the left end is a line cycle signal indicating the start of one area line of the output image 1 shown in FIG. Since one area line of the output image 1 has many areas that need to be combined, CLK2 is supplied to the arithmetic unit CLK by the CLK designation to improve the processing speed. As a result, the correction calculation process for the two area lines can be started without causing a delay in the timing of LSYNC. As shown in FIG. 14, since the area that needs to be combined is small in the two-area line, CLK1 is supplied to the arithmetic unit CLK by the CLK designation, and is processed at a normal processing speed.

上述したように、本発明の実施の形態によれば、画像処理装置１００は、合成が必要なエリアが多いエリアラインを補正演算処理するとき、通常よりも高いクロックを任意画像変形部１３に供給して処理速度を上げることで、ライン周期に間に合うように当該エリアラインの補正演算処理が完了する。すなわち、出力画像を生成する処理速度を処理状況に応じて変更することによって、出力画像のライン出力の等時性を保ち続けることができる。 As described above, according to the embodiment of the present invention, the image processing apparatus 100 supplies a clock higher than usual to the arbitrary image deforming unit 13 when performing correction calculation processing on an area line having many areas that need to be combined. By increasing the processing speed, the area line correction calculation process is completed in time for the line cycle. That is, by changing the processing speed for generating the output image according to the processing status, the isochronism of the line output of the output image can be maintained.

なお、本発明の実施の形態において、エリアラインは、ラインの一例である。エリアは、領域の一例である。天頂補正部１２又は画像処理部１１は、判定部の一例である。クロック制御部２７は、供給部の一例である。演算部２１及び補正後画素メモリ２４は、合成部の一例である。ＤＤＲメモリ３３は、第１の記憶部の一例である。参照画像メモリ２２は、第２の記憶部の一例である。 In the embodiment of the present invention, the area line is an example of a line. An area is an example of a region. The zenith correction unit 12 or the image processing unit 11 is an example of a determination unit. The clock control unit 27 is an example of a supply unit. The calculation unit 21 and the corrected pixel memory 24 are an example of a synthesis unit. The DDR memory 33 is an example of a first storage unit. The reference image memory 22 is an example of a second storage unit.

なお、本発明は、プロジェクタ、医療用機器又はテレビ会議システム等の画像処理装置又は画像処理システムに適用可能である。また、本発明は、撮像した画像を処理する装置又はシステムとなり得る、携帯電話、携帯型情報端末、車載機器等の通信端末又は情報処理装置に適用可能である。また、本発明の画像処理装置は、一つの装置にすべての機能を含んで構成されてもよいし、複数の装置によって構成されてもよい。 The present invention can be applied to an image processing apparatus or an image processing system such as a projector, a medical device, or a video conference system. The present invention is also applicable to communication terminals or information processing apparatuses such as mobile phones, portable information terminals, and in-vehicle devices, which can be apparatuses or systems for processing captured images. In addition, the image processing apparatus of the present invention may be configured to include all functions in one apparatus, or may be configured from a plurality of apparatuses.

以上、本発明の実施例について詳述したが、本発明は斯かる特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。 As mentioned above, although the Example of this invention was explained in full detail, this invention is not limited to such specific embodiment, In the range of the summary of this invention described in the claim, various deformation | transformation・ Change is possible.

１００画像処理装置
１０入力Ｉ／Ｆ
１１画像処理部
１２天頂補正部
１３任意画像変形部
１４制御部
１５出力Ｉ／Ｆ
１６インターコネクト部
１７外部メモリ部
１０１ＣＰＵ
１０２ネットワークインタフェース
１０３入出力インタフェース
１０４内部メモリ
１０５外部メモリインタフェース
１０６バス
１０７外部メモリ
２１演算部
２２参照画像メモリ
２３画像処理パラメータメモリ
２４補正後画素メモリ
２５全体制御部
２６インタフェース部
２７クロック制御部
２８レジスタ制御部
３０ＣＬＫ信号
３１ＣＰＵ制御信号
３２ＤＤＲコントローラ
３３ＤＤＲメモリ
３４外部出力 100 Image processing apparatus 10 Input I / F
11 Image processing unit 12 Zenith correction unit 13 Arbitrary image deformation unit 14 Control unit 15 Output I / F
16 Interconnect unit 17 External memory unit 101 CPU
102 network interface 103 input / output interface 104 internal memory 105 external memory interface 106 bus 107 external memory 21 arithmetic unit 22 reference image memory 23 image processing parameter memory 24 corrected pixel memory 25 overall control unit 26 interface unit 27 clock control unit 28 register control Unit 30 CLK signal 31 CPU control signal 32 DDR controller 33 DDR memory 34 External output

特開２０１５−０９９９５９号公報JP2015-099959A

Claims

入力される複数の画像の一部又は全部を合成し、複数のラインで構成される画像を出力する画像処理装置であって、
前記合成が必要である前記ラインを構成する複数の領域の数が、所定の数以上であるか否かを前記ラインごとに判定する判定部と、
前記判定に基づいて、複数の異なるクロックからクロックを選択し、前記選択されたクロックを供給する供給部と、
前記供給されるクロックにより駆動され、前記合成を実行し、前記合成の結果に基づいて画像を出力する合成部とを有する画像処理装置。 An image processing apparatus that combines a part or all of a plurality of input images and outputs an image composed of a plurality of lines,
A determination unit that determines, for each line, whether the number of a plurality of regions constituting the line that needs to be combined is a predetermined number or more;
Based on the determination, a supply unit that selects a clock from a plurality of different clocks and supplies the selected clock;
An image processing apparatus including a combining unit that is driven by the supplied clock, executes the combining, and outputs an image based on the result of the combining;

前記入力される複数の画像を記憶する第１の記憶部と、
前記合成に使用される入力された画像を記憶する第２の記憶部とをさらに有し、
前記第１の記憶部及び前記第２の記憶部は、前記供給されるクロックにより駆動される請求項１記載の画像処理装置。 A first storage unit for storing the plurality of input images;
A second storage unit for storing the input image used for the composition;
The image processing apparatus according to claim 1, wherein the first storage unit and the second storage unit are driven by the supplied clock.

前記第１の記憶部は、ＳＲＡＭ（Static Random Access Memory）で構成される請求項２記載の画像処理装置。 The image processing apparatus according to claim 2, wherein the first storage unit includes an SRAM (Static Random Access Memory).

前記第２の記憶部は、前記合成に必要な処理速度に基づいて決定された並列処理数を前記合成部で実行するために、前記合成に使用される入力された画像を前記並列処理数だけ並列して記憶する請求項２記載の画像処理装置。 The second storage unit executes the number of parallel processes determined based on the processing speed necessary for the synthesis in the synthesis unit, and inputs the input images used for the synthesis by the number of parallel processes. The image processing apparatus according to claim 2, wherein the image processing apparatus stores the data in parallel.

入力される複数の画像の一部又は全部を合成し、複数のラインで構成される画像を出力する画像処理方法であって、
前記合成が必要である前記ラインを構成する複数の領域の数が、所定の数以上であるか否かを前記ラインごとに判定する判定手順と、
前記判定に基づいて、複数の異なるクロックからクロックを選択し、前記選択されたクロックを供給する供給手順と、
前記供給されるクロックにより駆動され、前記合成を実行し、前記合成の結果に基づいて画像を出力する合成手順とを実行する画像処理方法。 An image processing method for combining a part or all of a plurality of input images and outputting an image composed of a plurality of lines,
A determination procedure for determining, for each line, whether or not the number of a plurality of regions constituting the line that needs to be combined is equal to or greater than a predetermined number;
A supply procedure for selecting a clock from a plurality of different clocks based on the determination and supplying the selected clock;
An image processing method that is driven by the supplied clock, executes the composition, and performs a composition procedure for outputting an image based on the result of the composition.

入力される複数の画像の一部又は全部を合成し、複数のラインで構成される画像を出力する画像処理装置が実行可能なプログラムであって、
前記合成が必要である前記ラインを構成する複数の領域の数が、所定の数以上であるか否かを前記ラインごとに判定する判定手順と、
前記判定に基づいて、複数の異なるクロックからクロックを選択し、前記選択されたクロックを供給する供給手順と、
前記供給されるクロックにより駆動され、前記合成を実行し、前記合成の結果に基づいて画像を出力する合成手順とを前記画像処理装置に実行させるためのプログラム。 A program that can be executed by an image processing apparatus that synthesizes some or all of a plurality of input images and outputs an image composed of a plurality of lines,
A determination procedure for determining, for each line, whether or not the number of a plurality of regions constituting the line that needs to be combined is equal to or greater than a predetermined number;
A supply procedure for selecting a clock from a plurality of different clocks based on the determination and supplying the selected clock;
A program for causing the image processing apparatus to execute a synthesis procedure that is driven by the supplied clock, executes the synthesis, and outputs an image based on the result of the synthesis.