JP6087631B2

JP6087631B2 - Image signal processing apparatus, control method therefor, and imaging apparatus

Info

Publication number: JP6087631B2
Application number: JP2013000157A
Authority: JP
Inventors: 田中　康之; 康之田中
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2013-01-04
Filing date: 2013-01-04
Publication date: 2017-03-01
Anticipated expiration: 2033-01-04
Also published as: JP2014132709A

Description

本発明は、入力画像信号を処理しつつ、表示用信号を生成して表示する場合の表示遅延時間を短縮する技術に関する。 The present invention relates to a technique for reducing a display delay time when a display signal is generated and displayed while processing an input image signal.

デジタルビデオカメラやデジタルカメラ等の撮像装置は、被写体像の確認用に表示装置を備え、液晶や有機ＥＬ（エレクトロルミネッセンス）のディスプレイ（パネル）や電子ビューファインダー（ＥＶＦ）等が使用される。表示画面にはユーザが撮影する被写体像、つまり記録している画像を所定の画質でリアルタイムに表示することができる。近年、記録画像の多画素化や、画質改善処理の多機能化に伴い、信号処理に時間がかかると表示遅延が生じる。表示遅延により、パンニングやチルティング、ズーミング等のカメラ操作時にユーザに違和感を与え、構図やフォーカス状態等の確認が難しくなる場合がある。また、表示遅延量は撮影フレーム周波数にも依存し、フレーム周波数が低い場合に表示遅延量が大きくなる。撮像装置の構成にもよるが、例えば、フレーム周波数２４Ｈｚの場合には、６０Ｈｚの場合よりも表示遅延量が２．５倍大きくなる。 An imaging device such as a digital video camera or a digital camera includes a display device for confirming a subject image, and a liquid crystal display, an organic EL (electroluminescence) display (panel), an electronic viewfinder (EVF), or the like is used. On the display screen, a subject image photographed by the user, that is, a recorded image can be displayed in real time with a predetermined image quality. In recent years, with the increase in the number of pixels of a recorded image and the increase in functionality of image quality improvement processing, display delay occurs when signal processing takes time. Due to the display delay, the user may feel uncomfortable when operating the camera such as panning, tilting, and zooming, and it may be difficult to check the composition, focus state, and the like. The display delay amount also depends on the shooting frame frequency, and the display delay amount increases when the frame frequency is low. Although depending on the configuration of the imaging apparatus, for example, when the frame frequency is 24 Hz, the display delay amount is 2.5 times larger than when the frame frequency is 60 Hz.

テレビジョン装置においても画質改善処理の多機能化により同様の問題がある。テレビジョン装置にゲーム機器を接続してユーザがゲーム操作を行う場合、テレビジョン装置で画質改善処理を行うと数フレーム時間の表示遅延が生じる。ユーザ操作の遅れが原因でゲーム結果が変わる場合や、ユーザに違和感を与える場合があった。そこで、表示遅延量の低減のために、画質改善処理を簡略化した低遅延用の処理を行う方法や、フレームメモリの記憶処理と読み出し処理を同時に行う制御方法が特許文献１に開示されている。 A television apparatus has the same problem due to the multi-functionality of image quality improvement processing. When a game device is connected to a television apparatus and a user performs a game operation, a display delay of several frame times occurs when image quality improvement processing is performed on the television apparatus. In some cases, the game result may change due to a delay in user operation, or the user may feel uncomfortable. Therefore, in order to reduce the display delay amount, Patent Document 1 discloses a method for performing low-delay processing that simplifies image quality improvement processing, and a control method for performing frame memory storage processing and readout processing simultaneously. .

特許第４６９１１９３号公報Japanese Patent No. 4691193

従来の装置では、入力画像信号を処理しつつ、表示用の画像信号を生成して表示部に出力するまでの表示遅延時間を如何にして短縮するかが課題である。従来の技術では撮像装置等への適用において、撮影中の画像を表示装置に表示する場合の表示遅延時間を短縮することが困難である。
本発明は、入力画像信号を処理しつつ、表示用の画像信号を生成して表示部に出力するまでの表示遅延時間を短縮することを目的とする。 A problem with conventional devices is how to reduce the display delay time from the generation of an image signal for display to output to the display unit while processing the input image signal. In the conventional technique, it is difficult to shorten the display delay time when displaying an image being shot on a display device when applied to an imaging device or the like.
It is an object of the present invention to shorten a display delay time until an image signal for display is generated and output to a display unit while an input image signal is processed.

上記課題を解決するために、本発明に係る装置は、互いに異なるフレーム期間の入力画像信号を各別に処理する複数の信号処理手段と、前記複数の信号処理手段によって処理された各フレーム期間の画像信号を記憶する記憶手段と、前記複数の信号処理手段によって信号処理が行われた前記画像信号を記録メディアに出力する出力手段と、前記複数の信号処理手段に対して並列に設けられ、前記入力画像信号を縮小してサイズを表示用に変更して表示用の画像信号を出力する表示用信号処理手段と、前記入力画像信号の第１フレーム周波数の同期タイミングと前記表示用の画像信号の第２フレーム周波数の同期タイミングを制御する制御手段を備える。前記複数の信号処理手段は、前記入力画像信号を前記記憶手段に記憶させてから当該入力画像信号を前記記憶手段から読み出して処理し、前記表示用信号処理手段は、前記入力画像信号を前記記憶手段に記憶させる前にリサイズ処理を行い、リサイズ処理された画像信号を前記記憶手段に記憶させる。
In order to solve the above problems, the device according to the present invention, an image of each frame period which is processed a plurality of signal processing means for processing the input image signal having different frame periods to each other, by said plurality of signal processing means A storage means for storing a signal; an output means for outputting the image signal subjected to signal processing by the plurality of signal processing means to a recording medium; and a plurality of the signal processing means provided in parallel with the input Display signal processing means for reducing the image signal and changing the size for display and outputting the display image signal; synchronization timing of the first frame frequency of the input image signal; and the first of the display image signal Control means for controlling the synchronization timing of the two frame frequencies is provided. The plurality of signal processing means store the input image signal in the storage means and then read and process the input image signal from the storage means, and the display signal processing means stores the input image signal in the storage Resize processing is performed before storing in the means, and the resized image signal is stored in the storage means .

本発明によれば、入力画像信号を処理しつつ、表示用の画像信号を生成して表示部に出力するまでの表示遅延時間を短縮することができる。 ADVANTAGE OF THE INVENTION According to this invention, the display delay time until it produces | generates the image signal for a display and it outputs to a display part can be shortened, processing an input image signal.

本発明の実施形態に係る機能構成を例示したブロック図である。It is the block diagram which illustrated the functional composition concerning the embodiment of the present invention. 本発明の第１実施形態に係る動作タイミング例を示す図である。It is a figure which shows the example of operation timing which concerns on 1st Embodiment of this invention. 本発明の第２実施形態に係る動作タイミング例を示す図である。It is a figure which shows the example of operation timing which concerns on 2nd Embodiment of this invention. 本発明の第２実施形態におけるＤＲＡＭへのアクセスを説明する図である。It is a figure explaining the access to DRAM in 2nd Embodiment of this invention. 本発明の第３実施形態におけるＤＲＡＭへのアクセスを説明する図である。It is a figure explaining the access to DRAM in 3rd Embodiment of this invention. 比較例の機能構成を例示したブロック図である。It is the block diagram which illustrated the functional composition of the comparative example. 比較例の動作タイミング例を示す図である。It is a figure which shows the example of operation timing of a comparative example.

以下、本発明の各実施形態について詳細に説明する。本発明の実施形態に係る画像信号処理装置は、入力画像信号をフレーム期間ごとにそれぞれ処理する複数の信号処理部を備える。各実施形態では撮像装置への適用例を示す。 Hereinafter, each embodiment of the present invention will be described in detail. An image signal processing apparatus according to an embodiment of the present invention includes a plurality of signal processing units that process an input image signal for each frame period. Each embodiment shows an application example to an imaging apparatus.

［第１実施形態］
本発明の第１実施形態に係る画像信号処理装置の構成例について、図１を参照して説明する。本実施形態に係る画像信号処理装置は第１信号処理部及び第２信号処理部を並列に接続した構成を有する。第１信号処理部を信号処理部１００Aとし、第２信号処理部を信号処理部１００Bとする。これらの信号処理部はいずれもＡＳＩＣ（Application Specific Integrated Circuit、特定用途向け集積回路）である。以下では、それぞれ１０８０／６０Ｐの処理能力を持つＡＳＩＣを想定し、信号処理部１００Aと信号処理部１００Bにおいて、同じ機能を持つ構成部については、同じ符号の末尾にA，Bの記号を付けることで区別して表記する。 [First Embodiment]
A configuration example of the image signal processing apparatus according to the first embodiment of the present invention will be described with reference to FIG. The image signal processing apparatus according to the present embodiment has a configuration in which a first signal processing unit and a second signal processing unit are connected in parallel. The first signal processing unit is a signal processing unit 100A, and the second signal processing unit is a signal processing unit 100B. Each of these signal processing units is an ASIC (Application Specific Integrated Circuit). In the following, it is assumed that the ASIC has a processing capacity of 1080 / 60P, and in the signal processing unit 100A and the signal processing unit 100B, the symbols A and B are added to the end of the same reference numerals for the same function units It distinguishes and describes.

撮像用のセンサ１０１は、ＣＣＤ（電荷結合素子）やＣＭＯＳ（相補型金属酸化膜半導体）等を用いた撮像素子である。図１では省略するが、撮像光学系を構成するレンズ群を通過する被写体光に対して、入射光量や焦点調節が行われる。センサ１０１は結像された被写体像を光電変換し、各画素の光量に対応したアナログ電圧信号を出力する。撮像素子の各画素には、Ｒ（赤）、Ｇ（緑）、Ｂ（青）の各カラーフィルタが、所定の配列、例えばベイヤー配列やハニカム配列で配置されている。これによりＲＧＢ画像信号が得られる。また、高速出力化のために、複数の画素の出力を加算して１つの出力画像を得る画素加算処理を行って、ＲＧＢ画像信号を出力する場合もある。ＣＤＳ／ＡＤ部１０２は、ＣＤＳ（相関２重サンプリング）及びＡＤ（アナログ−デジタル変換）を行い、センサ１０１が出力した画像信号をデジタル信号に変換する。変換後のデジタル信号は、信号処理部１００Aの入力端子１０３Aと、信号処理部１００Bの入力端子１０３Bにそれぞれ出力される。 The image sensor 101 is an image sensor using a CCD (charge coupled device), a CMOS (complementary metal oxide semiconductor), or the like. Although omitted in FIG. 1, the incident light amount and focus adjustment are performed on the subject light passing through the lens group constituting the imaging optical system. The sensor 101 photoelectrically converts the formed subject image and outputs an analog voltage signal corresponding to the light amount of each pixel. In each pixel of the image sensor, R (red), G (green), and B (blue) color filters are arranged in a predetermined arrangement, for example, a Bayer arrangement or a honeycomb arrangement. Thereby, an RGB image signal is obtained. In addition, in order to increase the output speed, there is a case where an RGB image signal is output by performing a pixel addition process for obtaining an output image by adding outputs of a plurality of pixels. The CDS / AD unit 102 performs CDS (correlated double sampling) and AD (analog-digital conversion), and converts the image signal output from the sensor 101 into a digital signal. The converted digital signal is output to the input terminal 103A of the signal processing unit 100A and the input terminal 103B of the signal processing unit 100B, respectively.

以下、信号処理部１００Aの構成を説明する。
デジタル画像信号（入力画像信号）は入力端子１０３Aを介して、スイッチ部１０４A、リサイズ処理部１２４、ＡＦ（自動焦点調節）及びＡＥ（自動露出）処理部１２０にそれぞれ入力される。各部は並列に接続されている。信号処理部１００Aのスイッチ部１０４Aと、信号処理部１００Bのスイッチ部１０４Bは、後述するように、交互にＯＮ／ＯＦＦ動作する。これにより、各信号処理部は、センサ１０１が出力した２４フレーム毎秒の画像信号を交互に１２フレーム毎秒ずつ処理する。スイッチ部１０４AがＯＮ状態になった場合にデジタル画像信号はＤＲＡＭ１０５Aに一旦記憶される。ＤＲＡＭは“Dynamic Random Access Memory”の略号である。 Hereinafter, the configuration of the signal processing unit 100A will be described.
The digital image signal (input image signal) is input to the switch unit 104A, the resize processing unit 124, the AF (automatic focus adjustment) and the AE (automatic exposure) processing unit 120 via the input terminal 103A. Each part is connected in parallel. The switch unit 104A of the signal processing unit 100A and the switch unit 104B of the signal processing unit 100B perform ON / OFF operations alternately as described later. Accordingly, each signal processing unit alternately processes the image signal of 24 frames per second output from the sensor 101 every 12 frames per second. When the switch unit 104A is turned on, the digital image signal is temporarily stored in the DRAM 105A. DRAM is an abbreviation for “Dynamic Random Access Memory”.

現像処理部１０６Aは、ＤＲＡＭ１０５Aに記憶されたデジタル画像信号を読み出して、ＲＧＢ画像信号のオフセット調整、ゲイン調整、ガンマ補正処理等を行う。次にＲＧＢ画像信号は輝度信号（Ｙ）と色差信号（Ｃｂ、Ｃｒ）に変換され、ＹＣＣ画像信号としてＤＲＡＭ１０７Aに格納される。
幾何変形処理部１０８Aは、ＤＲＡＭ１０７AからＹＣＣ画像信号を読み出し、例えばレンズの歪曲収差の補正処理や、撮像装置の防振処理等を行う。歪曲収差の補正は画像歪の補正処理の一例である。また、撮像装置の防振処理により、手振れ等によって生じる像ぶれの補正処理が行われる。処理後の信号はＤＲＡＭ１０９Aに記憶される。ＮＲ（ノイズリダクション）等を行うポスト処理部１１０Aは、ＤＲＡＭ１０９AからＹＣＣ画像信号を読み出し、ノイズ成分の低減処理等を行う。処理後の信号はＤＲＡＭ１１２Aに格納される。
一方、信号処理部１００Bでは、信号処理部１００Aと同様の処理が、撮像画像のフレーム毎に交互に処理されるが、それらの説明は省略する。処理結果はＤＲＡＭ１１２Bに格納される。ＤＲＡＭ１１２Bに記憶された画像信号は、後述するタイミングで信号処理部１００Bの端子１１４Bから、信号処理部１００Aの端子１１４Aを介して、ＤＲＡＭ１１２Aへ転送されることで、２４フレーム毎秒の画像信号に復元される。つまり、ＤＲＡＭ１１２Aは、信号処理部１００Aと信号処理部１００Bにより処理された各フレーム期間の画像信号を記憶する。 The development processing unit 106A reads the digital image signal stored in the DRAM 105A and performs offset adjustment, gain adjustment, gamma correction processing, and the like of the RGB image signal. Next, the RGB image signal is converted into a luminance signal (Y) and a color difference signal (Cb, Cr) and stored in the DRAM 107A as a YCC image signal.
The geometric deformation processing unit 108A reads the YCC image signal from the DRAM 107A, and performs, for example, lens distortion correction processing, image stabilization processing of the imaging apparatus, and the like. Distortion correction is an example of image distortion correction processing. In addition, image blur correction processing caused by camera shake or the like is performed by image stabilization processing of the imaging apparatus. The processed signal is stored in the DRAM 109A. A post processing unit 110A that performs NR (noise reduction) or the like reads a YCC image signal from the DRAM 109A and performs noise component reduction processing or the like. The processed signal is stored in the DRAM 112A.
On the other hand, in the signal processing unit 100B, the same processing as that of the signal processing unit 100A is alternately performed for each frame of the captured image, but description thereof is omitted. The processing result is stored in the DRAM 112B. The image signal stored in the DRAM 112B is transferred to the DRAM 112A from the terminal 114B of the signal processing unit 100B through the terminal 114A of the signal processing unit 100A at a timing described later, thereby being restored to an image signal of 24 frames per second. The That is, the DRAM 112A stores the image signal of each frame period processed by the signal processing unit 100A and the signal processing unit 100B.

信号処理部１００Aの外部出力部１１５は、ＤＲＡＭ１１２AからＹＣＣ画像信号を読み出してフォーマット変換を行う。フォーマット変換後の画像信号は、端子１１６を介して撮像装置外部に出力され、外部機器に送信される。フォーマット変換処理は、ＨＤＭＩやＳＤＩ、コンポーネントやコンポジット等の画像信号伝送フォーマットに合わせて実行される。ＨＤＭＩは”High-Definition Multimedia Interface”の略号であり、ＳＤＩは”Serial Digital Interface”の略号である。圧縮伸長部１１７は、ＤＲＡＭ１１２AからＹＣＣ画像信号を読み出し、記録フォーマットに合わせて圧縮符号化処理を施す。圧縮符号化処理後の信号は記録メディア１１９に記録される。 The external output unit 115 of the signal processing unit 100A reads the YCC image signal from the DRAM 112A and performs format conversion. The image signal after the format conversion is output to the outside of the imaging apparatus via the terminal 116 and transmitted to the external device. The format conversion process is executed in accordance with an image signal transmission format such as HDMI, SDI, component, or composite. HDMI is an abbreviation for “High-Definition Multimedia Interface”, and SDI is an abbreviation for “Serial Digital Interface”. The compression / decompression unit 117 reads the YCC image signal from the DRAM 112A and performs compression encoding processing in accordance with the recording format. The signal after the compression encoding process is recorded on the recording medium 119.

ＡＦ及びＡＥ処理部１２０は、入力画像信号に対してバンドパスフィルタ処理を行い、高精細信号成分を抽出する。抽出した信号成分はフォーカス制御の合焦状況を把握するためのＡＦ評価信号として、制御部１３０のＣＰＵ（中央演算処理装置）に送信され、ＡＦ機能が実現される。また、ＡＦ及びＡＥ処理部１２０は入力画像信号から輝度レベルの平均値を取り出す。輝度レベルの平均値を示す信号は制御部１３０に送信され、ＡＥ機能が実現される。このように、ＡＦ及びＡＥ処理部１２０は信号処理部１００Aに設けられており、スイッチ部１０４Aの前段から取り出した、すべてのフレームの画像信号を処理する。これにより、処理の遅延を防ぎ、応答を高めることができる。 The AF and AE processing unit 120 performs band pass filter processing on the input image signal and extracts a high-definition signal component. The extracted signal component is transmitted to the CPU (central processing unit) of the control unit 130 as an AF evaluation signal for grasping the focusing state of the focus control, thereby realizing the AF function. Further, the AF and AE processing unit 120 extracts an average value of luminance levels from the input image signal. A signal indicating the average value of the luminance level is transmitted to the control unit 130, and the AE function is realized. As described above, the AF and AE processing unit 120 is provided in the signal processing unit 100A, and processes the image signals of all frames extracted from the previous stage of the switch unit 104A. Thereby, processing delay can be prevented and response can be enhanced.

リサイズ処理部１２４、現像処理部１２５、ＤＲＡＭ１２６、パネル用信号処理部１１８、パネル出力部１２１は表示用信号処理部を構成する。表示用信号処理部は画像信号の画サイズを表示用に変更する処理を行う。本実施形態の画サイズ変更処理では、リサイズ処理部１２４が画像縮小処理を実行する。リサイズ処理部１２４は、入力端子１０３Aから取得したＲＧＢ画像信号について、Ｒ（赤）、Ｇ（緑）、Ｂ（青）の色毎に重心を補正しながら縮小し、次段の現像処理部１２５に出力する。表示パネル用のリサイズ処理は、数ライン分のライン遅延線を用いることで実現可能である。FIR(Finite Impulse Response)フィルタ構成の場合、本処理での遅延時間は上記ライン遅延線による遅延時間の約半分となる。現像処理部１２５は、ＲＧＢ画像信号のオフセット調整、ゲイン調整、ガンマ補正処理を行い、次にＲＧＢ画像信号を輝度信号（Ｙ）と色差信号（Ｃｂ、Ｃｒ）に変換する。表示パネル用の現像処理には、ライン遅延線は不要であるので、信号処理の遅延時間は数クロック分となる。ＹＣＣ画像信号はＤＲＡＭ１２６に一旦書き込まれる。 The resizing processing unit 124, the development processing unit 125, the DRAM 126, the panel signal processing unit 118, and the panel output unit 121 constitute a display signal processing unit. The display signal processing unit performs a process of changing the image size of the image signal for display. In the image size changing process of the present embodiment, the resizing processing unit 124 executes an image reduction process. The resizing processing unit 124 reduces the RGB image signal acquired from the input terminal 103A while correcting the center of gravity for each color of R (red), G (green), and B (blue), and the development processing unit 125 in the next stage. Output to. The resize processing for the display panel can be realized by using several line delay lines. In the case of an FIR (Finite Impulse Response) filter configuration, the delay time in this processing is about half of the delay time due to the line delay line. The development processing unit 125 performs offset adjustment, gain adjustment, and gamma correction processing of the RGB image signal, and then converts the RGB image signal into a luminance signal (Y) and a color difference signal (Cb, Cr). Since the line delay line is not necessary for the development processing for the display panel, the delay time of the signal processing is several clocks. The YCC image signal is once written in the DRAM 126.

パネル用信号処理部１１８は、現像処理部１２５が出力したパネル表示サイズのＹＣＣ画像信号をＤＲＡＭ１２６から読み出し、表示パネル１２７に合わせた色調整処理や、解像度調整処理等を行う。パネル出力部１２１は表示信号出力処理を実行し、表示パネル１２７の受信フォーマットに合わせてフォーマット変換を行う。フォーマット変換後の画像信号は、端子１２２を介して表示パネル１２７に送信され、画面上に撮影画像が表示される。 The panel signal processing unit 118 reads the YCC image signal of the panel display size output from the development processing unit 125 from the DRAM 126, and performs color adjustment processing, resolution adjustment processing, and the like according to the display panel 127. The panel output unit 121 executes display signal output processing and performs format conversion in accordance with the reception format of the display panel 127. The image signal after the format conversion is transmitted to the display panel 127 via the terminal 122, and the captured image is displayed on the screen.

制御部１３０は、入力画像信号の第１フレーム周波数の同期タイミングと表示パネル用の画像信号の第２フレーム周波数の同期タイミングを制御する。つまり、センサ１０１の駆動周期と表示パネル１２７の駆動周期との同期を制御することにより、駆動周期及び遅延時間の制御がセンサ１０１と表示パネル１２７について各々制御される。具体的には、センサ１０１と表示パネル１２７の同期信号の遅延量を計測する計測部と、センサ１０１の駆動周期を基準として、表示パネル１２７の駆動周期の同期信号の遅延量が所定の範囲内に収まるように調節する同期制御部が設けられる。また、各回路部を制御するために、制御部１３０はＣＰＵ等を用いた既知の制御ブロックを備える。この制御ブロックは、現像処理部１０６、幾何変形処理部１０８、ポスト処理部１１０、パネル用信号処理部１１８の設定調整等を行う。 The control unit 130 controls the synchronization timing of the first frame frequency of the input image signal and the synchronization timing of the second frame frequency of the image signal for the display panel. That is, by controlling the synchronization between the driving cycle of the sensor 101 and the driving cycle of the display panel 127, the control of the driving cycle and the delay time is controlled for the sensor 101 and the display panel 127, respectively. Specifically, the measurement unit that measures the delay amount of the synchronization signal between the sensor 101 and the display panel 127 and the delay amount of the synchronization signal of the drive cycle of the display panel 127 are within a predetermined range based on the drive cycle of the sensor 101. A synchronization control unit is provided for adjusting to be within the range. In addition, in order to control each circuit unit, the control unit 130 includes a known control block using a CPU or the like. This control block adjusts settings of the development processing unit 106, the geometric deformation processing unit 108, the post processing unit 110, and the panel signal processing unit 118.

次に、本実施形態に対する比較例について、図６を参照して説明する。センサ９０１は図１のセンサ１０１に相当し、ＣＤＳ／ＡＤ部９０２は図１のＣＤＳ／ＡＤ部１０２に相当する。信号処理部９００A内の各部９０３Aないし９１０A、９１２A、９１５ないし９１７、９１９は、図１の信号処理部１００A内の各部１０３Aないし１１０A、１１２A、１１５ないし１１７、１１９とそれぞれ同様である。また、信号処理部９００B内の各部９０３Bないし９１０B、９１２Bは、図１の信号処理部１００B内の各部１０３Aないし１１０B、１１２Bとそれぞれ同様である。よって、以下では、図６に示す信号処理装置の構成において、本実施形態との相違点を説明する。 Next, a comparative example for this embodiment will be described with reference to FIG. The sensor 901 corresponds to the sensor 101 in FIG. 1, and the CDS / AD unit 902 corresponds to the CDS / AD unit 102 in FIG. The units 903A to 910A, 912A, 915 to 917, and 919 in the signal processing unit 900A are the same as the units 103A to 110A, 112A, 115 to 117, and 119 in the signal processing unit 100A of FIG. Also, the units 903B to 910B and 912B in the signal processing unit 900B are the same as the units 103A to 110B and 112B in the signal processing unit 100B of FIG. Therefore, hereinafter, differences from the present embodiment in the configuration of the signal processing device shown in FIG. 6 will be described.

図６に示すポスト処理部９１０A，９１０Bの各出力は、ＤＲＡＭ９１２A、９１２Bにそれぞれ書き込まれると共に、リサイズ処理部９１１A、９１１Bにそれぞれ送られる。リサイズ処理部９１１A，９１１Bは、入力された各ＹＣＣ画像信号の画サイズを、表示パネルの表示サイズまで縮小する処理を行う。画像縮小処理後の画像信号はＤＲＡＭ９１３A、９１３Bにそれぞれ送られて記憶される。信号処理部９００BのＤＲＡＭ９１３Bから読み出されたパネル表示サイズのＹＣＣ画像信号は、端子９２３Bから出力されて、信号処理部９００Aの端子９２３Aを介してＤＲＡＭ９１３Aに転送される。これにより、２４フレーム毎秒の画像信号が復元される。パネル用信号処理部９１８は、パネル表示サイズのＹＣＣ画像信号をＤＲＡＭ９１３Aから読み出し、表示パネルに合わせた色の調整処理や、解像度調整処理等を行う。パネル出力部９２１は、表示パネルの受信フォーマットに合わせてフォーマット変換を行う。フォーマット変換後の画像信号は、端子９２２を介して表示パネルに送信され、画面上の画像が表示される。 Outputs of the post processing units 910A and 910B shown in FIG. 6 are written in the DRAMs 912A and 912B, respectively, and sent to the resizing processing units 911A and 911B, respectively. The resizing processing units 911A and 911B perform processing for reducing the image size of each input YCC image signal to the display size of the display panel. The image signals after the image reduction processing are sent to and stored in the DRAMs 913A and 913B, respectively. The panel display size YCC image signal read from the DRAM 913B of the signal processing unit 900B is output from the terminal 923B and transferred to the DRAM 913A via the terminal 923A of the signal processing unit 900A. Thereby, an image signal of 24 frames per second is restored. The panel signal processing unit 918 reads a panel display size YCC image signal from the DRAM 913A, and performs color adjustment processing, resolution adjustment processing, and the like in accordance with the display panel. The panel output unit 921 performs format conversion in accordance with the reception format of the display panel. The image signal after the format conversion is transmitted to the display panel via the terminal 922, and an image on the screen is displayed.

次に、本実施形態に係る画像信号処理装置の動作に関して、図２を参照して説明する。
本実施形態では、センサ１０１の駆動周期に対応する第１フレーム周波数と、表示パネル１２７の駆動周期に対応する第２フレーム周波数が等しく２４Ｈｚ（ヘルツ）で同期している場合を想定する。同期タイミングについては、図２に示すとおり、センサ同期に比べて、パネル同期が遅れたタイミングで同期している。また、センサ１０１の画素数を８８４７３６０ピクセル（水平方向４０９６ピクセル×垂直方向２１６０ライン）とし、表示パネル１２７の画素数を５１８４００ピクセル（水平方向９６０ピクセル×垂直５４０ライン）とする。ステップ３１０ないし３１５、ステップ３２０ないし３２３は処理の各過程を表している。信号処理部１００Aに関連するステップには記号Aを付し、信号処理部１００Bに関連するステップには記号Bを付して区別している。フレーム１ないし５は、入力画像信号の第１ないし第５フレームをそれぞれ示す。 Next, the operation of the image signal processing apparatus according to the present embodiment will be described with reference to FIG.
In the present embodiment, it is assumed that the first frame frequency corresponding to the drive cycle of the sensor 101 and the second frame frequency corresponding to the drive cycle of the display panel 127 are equally synchronized at 24 Hz (Hertz). As shown in FIG. 2, the synchronization timing is synchronized with the timing at which the panel synchronization is delayed as compared with the sensor synchronization. The number of pixels of the sensor 101 is 8847360 pixels (horizontal 4096 pixels × vertical 2160 lines), and the number of pixels of the display panel 127 is 518400 pixels (horizontal 960 pixels × vertical 540 lines). Steps 310 to 315 and steps 320 to 323 represent processes. Steps related to the signal processing unit 100A are marked with a symbol A, and steps related to the signal processing unit 100B are marked with a symbol B. Frames 1 to 5 indicate first to fifth frames of the input image signal, respectively.

ステップ３１０A（以下、ステップを「Ｓ」と記す）において、センサ１０１の出力はＣＤＳ／ＡＤ部１０２で処理され、ＲＧＢ画像信号が出力される。まず、第１フレームの画像信号の処理を説明する。
図２に示すフレーム１の画像信号は、信号処理部１００Aのスイッチ部１０４Aが閉じられることにより、ＤＲＡＭ１０５Aに書き込まれる。Ｓ３１１Aで現像処理部１０６Aは、ＲＧＢ画像信号を輝度信号（Ｙ）と色差信号（Ｃｂ、Ｃｒ）に変換する。変換後のＹＣＣ画像信号はＤＲＡＭ１０７Aに記憶される。 In step 310A (hereinafter, step is referred to as “S”), the output of the sensor 101 is processed by the CDS / AD unit 102, and an RGB image signal is output. First, the processing of the image signal of the first frame will be described.
The image signal of frame 1 shown in FIG. 2 is written into the DRAM 105A when the switch unit 104A of the signal processing unit 100A is closed. In S311A, the development processing unit 106A converts the RGB image signal into a luminance signal (Y) and a color difference signal (Cb, Cr). The converted YCC image signal is stored in the DRAM 107A.

次のＳ３１２Aでは、Ｓ３１１AでＤＲＡＭ１０７Aに記憶したＹＣＣ画像信号が、Ｓ３１１Aの処理開始時点から１フレーム期間の時間経過後に読み出される。幾何変形処理部１０８Aは、読み出した画像信号に対して、レンズの歪曲収差の補正処理や、撮像装置の防振処理等を行う。処理後の画像信号はＤＲＡＭ１０９Aに記憶される。Ｓ３１３Aでは、Ｓ３１２AでＤＲＡＭ１０９Aに記憶したＹＣＣ画像信号が、Ｓ３１２Aの処理開始時点から１フレーム期間の時間経過後に読み出される。ポスト処理部１１０Aは、読み出した画像信号に対して、ノイズリダクション処理等を行う。処理後の画像信号はＤＲＡＭ１１２Aに記憶される。Ｓ３１４Aにて、１フレーム期間分の遅延時間をもって、ＹＣＣ画像信号を遅延させる処理が、ＤＲＡＭ１１２Aを用いて実行される。これは、後述する信号処理部１００Bの転送時間分だけ画像信号を遅延させることにより、信号処理部１００Aと信号処理部１００Bとの間で時間を調整してタイミングを揃えるために行う処理である。
Ｓ３１５Aでは、Ｓ３１３AでＤＲＡＭ１１２Aに記憶したＹＣＣ画像信号が、Ｓ３１３Aの処理開始時点から２フレーム期間の時間経過後に読み出される。外部出力部１１５は、画像信号伝送フォーマットに合わせてフォーマット変換を行い、変換した画像信号を撮像装置外部に出力する。記録処理を行う場合には、圧縮伸長部１１７がＤＲＡＭ１１２AからＹＣＣ画像信号を読み出し、記録フォーマットに合わせて圧縮符号化処理を施してから、記録メディア１１９に画像信号を記録する。 In the next S312A, the YCC image signal stored in the DRAM 107A in S311A is read after the elapse of one frame period from the processing start time in S311A. The geometric deformation processing unit 108A performs lens distortion correction processing, image stabilization processing of the imaging apparatus, and the like on the read image signal. The processed image signal is stored in the DRAM 109A. In S313A, the YCC image signal stored in the DRAM 109A in S312A is read after a lapse of one frame period from the processing start time in S312A. The post processing unit 110A performs noise reduction processing or the like on the read image signal. The processed image signal is stored in the DRAM 112A. In S314A, a process of delaying the YCC image signal with a delay time of one frame period is executed using the DRAM 112A. This is a process performed to adjust the time between the signal processing unit 100A and the signal processing unit 100B by aligning the timing by delaying the image signal by a transfer time of the signal processing unit 100B described later.
In S315A, the YCC image signal stored in the DRAM 112A in S313A is read after a lapse of two frame periods from the processing start time in S313A. The external output unit 115 performs format conversion in accordance with the image signal transmission format, and outputs the converted image signal to the outside of the imaging apparatus. When recording processing is performed, the compression / decompression unit 117 reads the YCC image signal from the DRAM 112A, performs compression encoding processing in accordance with the recording format, and then records the image signal on the recording medium 119.

次に第２フレームの画像信号の処理を説明する。
図２に示すフレーム２の画像信号は、信号処理部１００Bのスイッチ部１０４Bが閉じられることにより、ＤＲＡＭ１０５Bに記憶される。Ｓ３１１Bで現像処理部１０６Bは、ＲＧＢ画像信号を輝度信号（Ｙ）と色差信号（Ｃｂ、Ｃｒ）に変換する。変換後のＹＣＣ画像信号はＤＲＡＭ１０７Bに記憶される。次のＳ３１２Bでは、Ｓ３１１BでＤＲＡＭ１０７Bに記憶したＹＣＣ画像信号がＳ３１１Bの処理開始時点から１フレーム期間の時間経過後に読み出される。幾何変形処理部１０８Bは、読み出した画像信号に対して、レンズの歪曲収差の補正処理や、撮像装置の防振処理等を行う。処理後の画像信号はＤＲＡＭ１０９Bに記憶される。Ｓ３１３Bでは、Ｓ３１２BでＤＲＡＭ１０９Bに記憶したＹＣＣ画像信号が、Ｓ３１２Bの処理開始時点から１フレーム期間の時間経過後に読み出される。ポスト処理部１１０Bは、ノイズリダクション処理等を行う。処理後のＹＣＣ画像信号はＤＲＡＭ１１２Bに記憶される。 Next, the processing of the image signal of the second frame will be described.
The image signal of frame 2 shown in FIG. 2 is stored in the DRAM 105B when the switch unit 104B of the signal processing unit 100B is closed. In S311B, the development processing unit 106B converts the RGB image signal into a luminance signal (Y) and a color difference signal (Cb, Cr). The converted YCC image signal is stored in the DRAM 107B. In the next S312B, the YCC image signal stored in the DRAM 107B in S311B is read after the elapse of one frame period from the processing start time in S311B. The geometric deformation processing unit 108B performs lens distortion correction processing, image stabilization processing of the imaging apparatus, and the like on the read image signal. The processed image signal is stored in the DRAM 109B. In S313B, the YCC image signal stored in the DRAM 109B in S312B is read after a lapse of one frame period from the processing start time in S312B. The post processing unit 110B performs noise reduction processing and the like. The processed YCC image signal is stored in the DRAM 112B.

ＤＲＡＭ１１２Bに記憶されたＹＣＣ画像信号は、Ｓ３１４Bにおいて、端子１１４Bと端子１１４Aを介して信号処理部１００Aに転送され、ＤＲＡＭ１１２Aに記憶される。この際の伝送レートは、送受信する画像データを１９２０×１０８０とし、８ｂｉｔずつのＹＣＣ画像データを４．１５ＭＢ（メガバイト）として、１／２４秒（１フレーム期間の長さ）以内に送受信する場合、９９．６ＭＢ／秒となる。
Ｓ３１５Bにおいては、Ｓ３１４Bで信号処理部１００Aに転送され、ＤＲＡＭ１１２Aに記憶されたＹＣＣ画像信号が、Ｓ３１４Bの処理開始時点から１フレーム期間の時間経過後に読み出される。外部出力部１１５は、画像信号伝送フォーマットに合わせてフォーマット変換を行い、変換した画像信号を撮像装置外部に出力する。また、圧縮伸長部１１７がＤＲＡＭ１１２AからＹＣＣ画像信号を読み出し、記録フォーマットに合わせて圧縮符号化処理を施してから、記録メディア１１９に画像信号を記録する。 The YCC image signal stored in the DRAM 112B is transferred to the signal processing unit 100A via the terminal 114B and the terminal 114A in S314B, and stored in the DRAM 112A. The transmission rate at this time is 1920 × 1080 for image data to be transmitted and received, and YCC image data for each 8 bits is 4.15 MB (megabytes), and is transmitted and received within 1/24 seconds (length of one frame period). 99.6 MB / sec.
In S315B, the YCC image signal transferred to the signal processing unit 100A in S314B and stored in the DRAM 112A is read after a lapse of one frame period from the processing start time in S314B. The external output unit 115 performs format conversion in accordance with the image signal transmission format, and outputs the converted image signal to the outside of the imaging apparatus. The compression / decompression unit 117 reads the YCC image signal from the DRAM 112A, performs compression encoding processing in accordance with the recording format, and then records the image signal on the recording medium 119.

このように、奇数フレーム１、３、５・・・の各画像信号は、信号処理部１００Aが処理し、偶数フレーム２、４、６・・・の各画像信号は、信号処理部１００Bが処理することにより、１つのチップで処理できる以上の画像データをとり扱うことができる。
また、入力端子１０３Aから入力されるＲＧＢ画像信号は、Ｓ３２０Aにおいて、リサイズ処理部１２４が画像縮小処理を行う。次のＳ３２１Aで現像処理部１２５がＹＣＣ画像への変換処理を行う。変換後の画像信号は、ＤＲＡＭ１２６に記憶される。ステップ３２２Aでパネル用信号処理部１１８は、ＤＲＡＭ１２６からＹＣＣ画像信号を読み出し、表示パネル１２７に合わせた色の調整処理や解像度調整処理等を行う。Ｓ３２３Aでパネル出力部１２１は、表示パネル１２７の受信フォーマットに合わせてフォーマット変換を行い、変換した画像信号を表示パネル１２７に送信する。そして表示パネル１２７の画面上に画像が表示される。 As described above, the signal processing unit 100A processes the image signals of the odd frames 1, 3, 5,..., And the signal processing unit 100B processes the image signals of the even frames 2, 4, 6,. By doing so, it is possible to handle more image data than can be processed by one chip.
The RGB image signal input from the input terminal 103A is subjected to image reduction processing by the resizing processing unit 124 in S320A. In the next S321A, the development processing unit 125 performs conversion processing to a YCC image. The converted image signal is stored in the DRAM 126. In step 322A, the panel signal processing unit 118 reads the YCC image signal from the DRAM 126, and performs color adjustment processing, resolution adjustment processing, and the like in accordance with the display panel 127. In step S323A, the panel output unit 121 performs format conversion in accordance with the reception format of the display panel 127, and transmits the converted image signal to the display panel 127. Then, an image is displayed on the screen of the display panel 127.

本実施形態の場合、１フレームの表示信号処理時間、つまりＳ３１０AからＳ３２３Aまでの処理にかかる時間は、１フレーム期間強（ＤＬ参照）である。よって、センサ１０１を用いて撮影している画像信号を処理しつつ、表示装置に出力するまでの表示遅延時間は１フレーム期間強となる。 In the case of the present embodiment, the display signal processing time for one frame, that is, the time required for the processing from S310A to S323A is a little over one frame period (refer to DL). Therefore, the display delay time until the image signal captured by the sensor 101 is processed and output to the display device is slightly longer than one frame period.

次に、図６に例示した比較例の動作タイミングについて、図７を参照して説明する。Ｓ８１０ないしＳ８１６、Ｓ８２２、Ｓ８２３は処理の各過程を表している。図６の信号処理部９００Aに関連するステップには記号Aを付し、信号処理部９００Bに関連するステップには記号Bを付して区別している。図２との相違点を主に説明する。 Next, the operation timing of the comparative example illustrated in FIG. 6 will be described with reference to FIG. S810 to S816, S822, and S823 represent each process. Steps related to the signal processing unit 900A in FIG. 6 are marked with a symbol A, and steps related to the signal processing unit 900B are marked with a symbol B. Differences from FIG. 2 will be mainly described.

Ｓ８１３Aにおいて、フレーム１の画像信号については、ポスト処理部９１０AがＤＲＡＭ９１２Aに書き込まれる信号を取得して、Ｓ８１６Aにおいて、リサイズ処理部９１１Aが表示パネルの画サイズに合わせてリサイズ処理を行う。表示パネル用のリサイズ処理には、数ライン分の遅延時間を伴うが、フレーム遅延は必要なく、準リアルタイムで処理が行われる。処理後のＹＣＣ画像信号はＤＲＡＭ９１３Aに記憶される。フレーム２の画像信号は、信号処理部９００Bにて同様の処理が行われ、処理結果であるＹＣＣ画像信号はＳ８１６Bにて、ＤＲＡＭ９１３Bに記憶される。ＤＲＡＭ９１３Bから読み出された表示パネル用のＹＣＣ画像信号は、端子９２３Bと端子９２３Aを介してフレーム遅延なしで順次に信号処理部９００Aへ転送され、ＤＲＡＭ９１３Aに記憶される。これにより、２４フレーム毎秒の画像信号に復元される。Ｓ８２２Aでパネル用信号処理部９１８は、ＤＲＡＭ９１３Aから読み出した画像信号に対して、表示パネルに合わせた色の調整処理や、解像度調整処理等を行う。Ｓ８２３Aでパネル出力部９２１は、表示パネルの受信フォーマットに合わせてフォーマット変換を行い、変換した画像信号を表示パネルに送信する。表示パネルの画面上に画像が表示される。
In S813A, for the image signal of frame 1, the post processing unit 910A obtains a signal written to the DRAM 912A, and in S816A, the resizing processing unit 911A performs resizing processing according to the image size of the display panel. The resize processing for the display panel involves a delay time of several lines, but does not require a frame delay and is processed in near real time. The processed YCC image signal is stored in the DRAM 913A. The image signal of frame 2 is subjected to the same processing in the signal processing unit 900B, and the YCC image signal as the processing result is stored in the DRAM 913B in S816B. The display panel YCC image signal read from the DRAM 913B is sequentially transferred to the signal processing unit 900A without frame delay via the terminals 923B and 923A, and stored in the DRAM 913A. As a result, the image signal is restored to 24 frames per second. In step S822A, the panel signal processing unit 918 performs color adjustment processing, resolution adjustment processing, and the like on the image signal read from the DRAM 913A. Panel output unit 921 at S823 A performs format conversion in accordance with the reception format of the display panel, and transmits the converted image signal to the display panel. An image is displayed on the screen of the display panel.

図７に示す比較例の場合、全ての信号処理を終えて、２つの信号処理部９００A,９００Bによって交互に実行される処理の結果を１つにまとめてから、表示パネルに出力する画像信号が生成される。このため、表示遅延時間が長くなってしまう。１フレームの画像信号の処理において、Ｓ８１０AからＳ８２３Aの開始時点まで、４フレーム期間分に相当する表示遅延時間が発生している。これは、フレーム周波数が２４Ｈｚの場合、約１６６ミリ秒である。
これに対して、本実施形態によれば、信号処理部１００Aのスイッチ部１０４Aに入力する前の分岐点で取得した画像信号を表示用に処理することで、撮影中の画像を表示装置に出力する場合の表示遅延時間を１フレーム期間強に短縮できる。撮影中の画像を表示装置に表示する場合の表示遅延時間を短縮することにより、ユーザは表示遅延による違和感を抱くことなく表示画像を鑑賞できる。 In the case of the comparative example shown in FIG. 7, after all signal processing is completed, the results of processing executed alternately by the two signal processing units 900A and 900B are combined into one, and then the image signal output to the display panel is Generated. For this reason, display delay time will become long. In the processing of an image signal of one frame, a display delay time corresponding to a period of four frames is generated from S810A to the start time of S823A. This is about 166 milliseconds when the frame frequency is 24 Hz.
On the other hand, according to the present embodiment, the image signal acquired at the branch point before being input to the switch unit 104A of the signal processing unit 100A is processed for display, thereby outputting the image being shot to the display device. In this case, the display delay time can be shortened to just over one frame period. By shortening the display delay time when displaying the image being shot on the display device, the user can view the display image without feeling uncomfortable due to the display delay.

本実施形態では、説明の便宜上、信号処理部内の各ＤＲＡＭをそれぞれ個別のデバイスとして説明した。これに限らず、１個のＤＲＡＭをアドレス制御によって共用する構成でもよい。また、本実施形態では、センサ１０１の駆動周期と表示パネル１２７の駆動周期を同一周期としているので制御が容易となる。また、本実施形態では奇数フレームの画像信号を第１信号処理部が処理し、偶数フレームの画像信号を第２信号処理部が処理する構成を例示した。これに限らず３以上の信号処理部を用いて、各フレームの画像信号を時分割して各別に処理する実施形態でもよい。また、本実施形態ではパネル表示用信号処理部を、記録信号処理および外部出力処理を行う第１信号処理部１００A内に設けた例を説明したが、パネル表示用信号処理部を別の回路部にしても構わない。 In the present embodiment, for convenience of description, each DRAM in the signal processing unit has been described as an individual device. The configuration is not limited to this, and one DRAM may be shared by address control. In the present embodiment, since the driving cycle of the sensor 101 and the driving cycle of the display panel 127 are the same cycle, the control becomes easy. In the present embodiment, the configuration in which the first signal processing unit processes the image signals of the odd frames and the second signal processing unit processes the image signals of the even frames. However, the present invention is not limited to this, and an embodiment in which three or more signal processing units are used and the image signal of each frame is processed in a time-sharing manner. In this embodiment, the example in which the panel display signal processing unit is provided in the first signal processing unit 100A that performs the recording signal processing and the external output processing has been described. However, the panel display signal processing unit is provided as another circuit unit. It doesn't matter.

［第２実施形態］
次に、本発明の第２実施形態を説明する。なお、第１実施形態と同様の構成部については既に使用した符号を用いることにより、それらの詳細な説明を省略し、主に相違点を説明する。このような説明の省略の仕方は後述の実施形態でも同様である。 [Second Embodiment]
Next, a second embodiment of the present invention will be described. In addition, about the component similar to 1st Embodiment, by using the code | symbol already used, those detailed description is abbreviate | omitted and a difference is mainly demonstrated. The way of omitting such description is the same in the embodiments described later.

第２実施形態では、記録画像用の信号処理回路の一部分からＲＧＢ画像信号を抜き出して、表示用画像処理回路に出力することで表示遅延時間を短縮する。以下では、センサ１０１の駆動フレーム周波数と、表示パネル１２７の出力フレーム周波数が異なる例を説明する。センサ１０１の駆動周期に対応する第１フレーム周波数を２４Ｈｚとし、表示パネル１２７の駆動周期に対応する第２フレーム周波数を６０Ｈｚとする。 In the second embodiment, the display delay time is shortened by extracting the RGB image signal from a part of the recording image signal processing circuit and outputting it to the display image processing circuit. Hereinafter, an example in which the drive frame frequency of the sensor 101 is different from the output frame frequency of the display panel 127 will be described. The first frame frequency corresponding to the driving cycle of the sensor 101 is 24 Hz, and the second frame frequency corresponding to the driving cycle of the display panel 127 is 60 Hz.

図３を参照して、第２実施形態に係る画像信号処理装置の動作タイミングを説明する。Ｓ３１０AないしＳ３１５A、Ｓ３２０A、Ｓ３２１A、及びＳ３１１BないしＳ３１５Bは図２と同様であるので、Ｓ３３０A以降を説明する。
Ｓ３３０Aにて、パネル用信号処理部１１８はＤＲＡＭ１２６から画像信号を読み出すが、この際のフレーム周波数は６０Ｈｚである。この様子を、図４を参照して説明する。 The operation timing of the image signal processing apparatus according to the second embodiment will be described with reference to FIG. Since S310A to S315A, S320A, S321A, and S311B to S315B are the same as those in FIG. 2, S330A and subsequent steps will be described.
In S330A, the panel signal processing unit 118 reads the image signal from the DRAM 126, and the frame frequency at this time is 60 Hz. This will be described with reference to FIG.

図４では、横軸に時間軸（右方向を時間経過方向とする）をとり、縦軸にはＤＲＡＭ１２６のメモリアドレスを示す。ＤＲＡＭ１２６は、第１バンク（ｂａｎｋ０）と第２バンク（ｂａｎｋ１）で構成されている。「ｗｒｉｔｅ」で示す斜め右上がりの矢印は、現像処理部１２５が各バンクにデータを書き込む場合の、２４Ｈｚでのライトアクセスを表わしている。図４では、ｂａｎｋ０にデータを書き込んだ後で、ｂａｎｋ１に次のデータを書き込む動作が、交互に行われる。ここでの画像データはラスタスキャン構成であり、各フレームは、画面の上部から順次下部に向かってメモリに転送される。「ｒｅａｄ」で示す斜め右上がりの矢印は、パネル用信号処理部１１８が各バンクからデータを読み出す場合の、６０Ｈｚでのリードアクセスを表わしている。「ｒｅａｄ」で示す矢印の勾配は、「ｗｒｉｔｅ」で示す矢印よりも大きく、読み出し速度が書き込み速度よりも大きいことを意味する。図示のように、ｂａｎｋ１に対して２回のリードアクセスと、ｂａｎｋ０に対して３回のリードアクセスが行われる。センサ１０１から読み出す１フレームのデータ毎に、パネル出力部１２１は、２フレームまたは３フレームの同じ画像データをＤＲＡＭ１２６から読み出して、表示パネル１２７に送信する（図３：Ｓ３３１A）。ここで、センサ１０１のフレーム周波数２４Ｈｚの同期タイミングと、表示パネル１２７のフレーム周波数６０Ｈｚの同期タイミングとの位相は、制御部１３０によって予め決められた位相関係となるように制御される。これにより、「ｗｒｉｔｅ」の矢印で示す書き込み時のアドレスと、「ｒｅａｄ」の矢印で示す読み出し時のアドレスとが、同じｂａｎｋで重なること（追い越し）が起こらないように設定される。 In FIG. 4, the horizontal axis indicates the time axis (the right direction is the time passage direction), and the vertical axis indicates the memory address of the DRAM 126. The DRAM 126 includes a first bank (bank0) and a second bank (bank1). An obliquely upward arrow indicated by “write” indicates a write access at 24 Hz when the development processing unit 125 writes data to each bank. In FIG. 4, after writing data to bank0, the operation of writing next data to bank1 is performed alternately. The image data here has a raster scan configuration, and each frame is transferred to the memory sequentially from the top of the screen toward the bottom. An obliquely upward-pointing arrow indicated by “read” represents a read access at 60 Hz when the panel signal processing unit 118 reads data from each bank. The slope of the arrow indicated by “read” is larger than the arrow indicated by “write”, which means that the reading speed is higher than the writing speed. As shown in the figure, read access is performed twice for bank1 and read access is performed three times for bank0. For each frame of data read from the sensor 101, the panel output unit 121 reads the same image data of 2 frames or 3 frames from the DRAM 126 and transmits it to the display panel 127 (FIG. 3: S331A). Here, the phase of the synchronization timing of the frame frequency 24 Hz of the sensor 101 and the synchronization timing of the frame frequency 60 Hz of the display panel 127 is controlled by the control unit 130 so as to have a predetermined phase relationship. Thereby, the address at the time of writing indicated by the “write” arrow and the address at the time of reading indicated by the “read” arrow are set so as not to overlap (overtake) in the same bank.

第２実施形態では、表示パネル１２７の１画面内に、センサ１０１による複数フレームの画像を表示することなく、センサ１０１と表示パネル１２７の各フレーム周波数を異なる値にすることができる。 In the second embodiment, the frame frequencies of the sensor 101 and the display panel 127 can be set to different values without displaying a plurality of frames of images by the sensor 101 in one screen of the display panel 127.

［第３実施形態］
次に本発明の第３実施形態を説明する。
第３実施形態では、センサ１０１の駆動フレーム周波数と、表示パネル１２７の出力フレーム周波数が異なる場合を例示する。以下では、第２フレーム周波数を第１フレーム周波数の整数倍とする。表示パネル１２７の出力フレーム周波数がセンサ１０１の駆動フレーム周波数のｎ倍(ｎは自然数)の場合を説明する。ｎ＝２とし、センサ１０１の駆動フレーム周波数を３０Ｈｚとし、表示パネル１２７の出力フレーム周波数を６０Ｈｚとする。
本実施形態に係るブロック構成は図１と同様である。動作タイミングは図３と同様であるが、メモリアクセスの方法が図４とは異なるので、これについて、図５を参照して説明する。 [Third Embodiment]
Next, a third embodiment of the present invention will be described.
In the third embodiment, a case where the drive frame frequency of the sensor 101 and the output frame frequency of the display panel 127 are different is illustrated. Hereinafter, the second frame frequency is an integer multiple of the first frame frequency. A case where the output frame frequency of the display panel 127 is n times (n is a natural number) the drive frame frequency of the sensor 101 will be described. It is assumed that n = 2, the driving frame frequency of the sensor 101 is 30 Hz, and the output frame frequency of the display panel 127 is 60 Hz.
The block configuration according to this embodiment is the same as that shown in FIG. The operation timing is the same as in FIG. 3, but the memory access method is different from that in FIG. 4, and this will be described with reference to FIG.

メモリバンクはｂａｎｋ０のみであり、現像処理部１２５がＹＣＣ画像信号をＤＲＡＭ１２６に書き込むバンクと、パネル用信号処理部１１８がＤＲＡＭ１２６から画像信号を読み出すバンクは同一であり、アクセスするアドレスだけが異なる。図５のＶＤはフレーム信号を表し、ＢＬＫはブランキング期間を表している。その下方には、横軸に時間軸（右方向を時間経過方向とする）をとり、縦軸にはＤＲＡＭ１２６のメモリアドレスを示す。「ｗｒｉｔｅ」で示す斜め右上がりの矢印は、現像処理部１２５がＤＲＡＭ１２６に画像信号を書き込む場合の、３０Ｈｚでのライトアクセスを表わしている。あるフレームと次のフレームとの間には、所定時間、例えばセンサフレーム周期の１０％に相当するブランキング期間ＢＬＫが設けられている。フレーム信号ＶＤがＬ（ロー）レベルの期間がブランキング期間ＢＬＫである。「ｗｒｉｔｅ」で示す矢印は、ブランキング期間以外の期間で実行される、メモリバンクｂａｎｋ０へのライトアクセスを表している。画像データはラスタスキャン構成であり、各フレームのデータは、画面の上部から順次下部に向かってＤＲＡＭ１２６に転送される。「ｒｅａｄ」で示す矢印は、パネル用信号処理部１１８がＤＲＡＭ１２６からデータを読み出す場合の、６０Ｈｚでのリードアクセスを表わしている。この場合、読み出し速度は書き込み速度の２倍である。センサ１０１のフレーム周波数３０Ｈｚの同期タイミングと、表示パネル１２７のフレーム周波数６０Ｈｚの同期タイミングとの位相が予め定められた位相関係に制御される。これにより、書き込みアドレスと読み出しアドレスがｂａｎｋ０上で重ならないように設定して、読み出しが書き込みを追い越さないようにすることができる。 The bank is only bank 0, and the bank in which the development processing unit 125 writes the YCC image signal to the DRAM 126 and the bank in which the panel signal processing unit 118 reads the image signal from the DRAM 126 are the same, and only the address to be accessed is different. VD in FIG. 5 represents a frame signal, and BLK represents a blanking period. Below that, the horizontal axis indicates the time axis (the right direction is the time passage direction), and the vertical axis indicates the memory address of the DRAM 126. An obliquely upward arrow indicated by “write” represents a write access at 30 Hz when the development processing unit 125 writes an image signal to the DRAM 126. A blanking period BLK corresponding to a predetermined time, for example, 10% of the sensor frame period, is provided between a certain frame and the next frame. A period during which the frame signal VD is at the L (low) level is a blanking period BLK. An arrow indicated by “write” represents a write access to the memory bank bank0 executed in a period other than the blanking period. The image data has a raster scan configuration, and data of each frame is transferred to the DRAM 126 sequentially from the top of the screen toward the bottom. An arrow indicated by “read” represents a read access at 60 Hz when the panel signal processing unit 118 reads data from the DRAM 126. In this case, the reading speed is twice the writing speed. The phase between the synchronization timing of the sensor 101 at the frame frequency of 30 Hz and the synchronization timing of the display panel 127 at the frame frequency of 60 Hz is controlled to a predetermined phase relationship. Thus, the write address and the read address can be set so as not to overlap each other on bank0, so that the read does not overtake the write.

第３実施形態では、１つのメモリバンクを用いて、第２実施形態と同様の効果を得ることができる。しかも、ＤＲＡＭを介することによる表示遅延時間を、画面上部では１フレーム期間の半分の時間とし、画面下部ではほぼゼロにすることができる。全体ではセンサ１０１の駆動フレーム周波数に対して、１フレーム期間長の２分の１以下の表示遅延時間（ｎ＝２の場合）に抑えることができる。 In the third embodiment, the same effect as in the second embodiment can be obtained by using one memory bank. In addition, the display delay time due to passing through the DRAM can be half the time of one frame period at the top of the screen and can be substantially zero at the bottom of the screen. Overall, the display delay time (in the case of n = 2) can be suppressed to a half or less of one frame period length with respect to the drive frame frequency of the sensor 101.

１００A 第１信号処理部
１００B 第２信号処理部
１０１センサ（撮像手段）
１１２A，１１２B ＤＲＡＭ
１１５外部出力部
１１８パネル用信号処理部
１２１パネル出力部
１２４リサイズ処理部 100A First signal processing unit 100B Second signal processing unit 101 Sensor (imaging means)
112A, 112B DRAM
115 External Output Unit 118 Panel Signal Processing Unit 121 Panel Output Unit 124 Resize Processing Unit

Claims

互いに異なるフレーム期間の入力画像信号を各別に処理する複数の信号処理手段と、
前記複数の信号処理手段によって処理された各フレーム期間の画像信号を記憶する記憶手段と、
前記複数の信号処理手段によって信号処理が行われた前記画像信号を記録メディアに出力する出力手段と、
前記複数の信号処理手段に対して並列に設けられ、前記入力画像信号を縮小してサイズを表示用に変更して表示用の画像信号を出力する表示用信号処理手段と、
前記入力画像信号の第１フレーム周波数の同期タイミングと前記表示用の画像信号の第２フレーム周波数の同期タイミングを制御する制御手段を備え、
前記複数の信号処理手段は、前記入力画像信号を前記記憶手段に記憶させてから当該入力画像信号を前記記憶手段から読み出して処理し、
前記表示用信号処理手段は、前記入力画像信号を前記記憶手段に記憶させる前にリサイズ処理を行い、リサイズ処理された画像信号を前記記憶手段に記憶させることを特徴とする画像信号処理装置。 A plurality of signal processing means for separately processing input image signals of different frame periods ;
Storage means for storing image signals of each frame period processed by the plurality of signal processing means;
Output means for outputting the image signal that has undergone signal processing by the plurality of signal processing means to a recording medium;
Display signal processing means provided in parallel to the plurality of signal processing means, for reducing the input image signal , changing the size for display, and outputting an image signal for display;
Control means for controlling the synchronization timing of the first frame frequency of the input image signal and the synchronization timing of the second frame frequency of the image signal for display ;
The plurality of signal processing means stores the input image signal in the storage means, and then reads and processes the input image signal from the storage means,
The display signal processing means performs resize processing before storing the input image signal in the storage means, and stores the resized image signal in the storage means .

前記複数の信号処理手段は、奇数フレームの画像信号を処理する第１信号処理部及び偶数フレームの画像信号を処理する第２信号処理部を有することを特徴とする請求項１に記載の画像信号処理装置。 2. The image signal according to claim 1, wherein the plurality of signal processing units include a first signal processing unit that processes an image signal of an odd frame and a second signal processing unit that processes an image signal of an even frame. Processing equipment.

前記複数の信号処理手段は、ノイズリダクション処理、画像信号の変換処理、画像歪の補正処理、及び像ぶれの補正処理のうちの１つ以上の処理を行うことを特徴とする請求項１または請求項２に記載の画像信号処理装置。 Said plurality of signal processing means, noise reduction processing, conversion processing of the image signal, the correction processing of the image distortion, and claim 1 or claim which is characterized in that one or more processing among the correction of image blur Item 3. The image signal processing device according to Item 2 .

前記表示用信号処理手段は、前記画像信号のサイズを変更した画像信号を輝度信号及び色差信号に変換して記憶手段のメモリバンクに書き込んだ後、該メモリバンクから読み出した信号を表示用の信号に処理することを特徴とする請求項３に記載の画像信号処理装置。 The display signal processing means, after writing the image signal to change the size of the image signals to the memory bank of the memory means is converted into a luminance signal and color difference signals, for display signal read from the memory banks The image signal processing apparatus according to claim 3 , wherein the image signal processing apparatus processes the signal.

前記メモリバンクに画像信号を書き込む場合の前記第１フレーム周波数と、前記メモリバンクから画像信号を読み出す場合の前記第２フレーム周波数が異なることを特徴とする請求項４に記載の画像信号処理装置。 The image signal processing apparatus according to claim 4 , wherein the first frame frequency when an image signal is written to the memory bank and the second frame frequency when the image signal is read from the memory bank are different.

前記第２フレーム周波数が前記第１フレーム周波数の整数倍であることを特徴とする請求項５に記載の画像信号処理装置。 6. The image signal processing apparatus according to claim 5 , wherein the second frame frequency is an integral multiple of the first frame frequency.

撮像手段と、
前記撮像手段の出力する互いに異なるフレーム期間の画像信号を入力画像信号として取得して各別に処理する複数の信号処理手段と、
前記複数の信号処理手段によって処理された各フレーム期間の画像信号を記憶する記憶手段と、
前記複数の信号処理手段によって信号処理が行われた前記画像信号を記録メディアに出力する出力手段と、
前記複数の信号処理手段に対して並列に設けられ、前記入力画像信号を縮小してサイズを表示用に変更して表示用の画像信号を表示手段に出力する表示用信号処理手段と、
前記撮像手段の駆動周期に対応する第１フレーム周波数の同期タイミングと前記表示手段の駆動周期に対応する第２フレーム周波数の同期タイミングを制御する制御手段を備え、
前記複数の信号処理手段は、前記入力画像信号を前記記憶手段に記憶させてから当該入力画像信号を前記記憶手段から読み出して処理し、
前記表示用信号処理手段は、前記入力画像信号を前記記憶手段に記憶させる前にリサイズ処理を行い、リサイズ処理された画像信号を前記記憶手段に記憶させることを特徴とする撮像装置。 Imaging means;
A plurality of signal processing means for processing the acquired image signal output another different frame period of the image pickup means as an input image signal to each other,
Storage means for storing image signals of each frame period processed by the plurality of signal processing means;
Output means for outputting the image signal that has undergone signal processing by the plurality of signal processing means to a recording medium;
A display signal processing unit which outputs provided in parallel, an image signal for display by changing the display size by reducing the input image signal in Viewing means to said plurality of signal processing means,
Control means for controlling the synchronization timing of the first frame frequency corresponding to the drive cycle of the imaging means and the synchronization timing of the second frame frequency corresponding to the drive cycle of the display means ;
The plurality of signal processing means stores the input image signal in the storage means, and then reads and processes the input image signal from the storage means,
The display apparatus according to claim 1, wherein the display signal processing unit performs a resizing process before the input image signal is stored in the storage unit, and stores the resized image signal in the storage unit .

互いに異なるフレーム期間の入力画像信号を各別に処理する複数の信号処理手段を備える画像信号処理装置にて実行される制御方法であって、
前記複数の信号処理手段によって処理された各フレーム期間の画像信号を記憶手段に記憶する記憶ステップと、
前記複数の信号処理手段によって信号処理が行われた前記画像信号を記録メディアに出力するステップと、
前記複数の信号処理手段に対して並列に設けられた表示用信号処理手段により、前記入力画像信号を縮小してサイズを表示用に変更して表示用の画像信号を出力するステップと、
前記入力画像信号の第１フレーム周波数の同期タイミングと前記表示用の画像信号の第２フレーム周波数の同期タイミングを制御する制御ステップを有し、
前記複数の信号処理手段が行う処理ステップでは、前記入力画像信号を前記記憶手段に記憶させてから当該入力画像信号を前記記憶手段から読み出して処理し、
前記表示用信号処理手段が行う処理ステップでは、前記入力画像信号を前記記憶手段に記憶させる前にリサイズ処理を行い、リサイズ処理された画像信号を前記記憶手段に記憶させることを特徴とする画像信号処理装置の制御方法。
A control method executed by an image signal processing apparatus including a plurality of signal processing means for separately processing input image signals of different frame periods,
A storage step of storing the image signal of each frame period processed by the plurality of signal processing means in the storage means;
Outputting the image signal subjected to signal processing by the plurality of signal processing means to a recording medium ;
A step of reducing the input image signal by changing the size of the input image signal for display by a display signal processing unit provided in parallel to the plurality of signal processing units, and outputting a display image signal;
Have a control step of controlling the synchronization timing of the second frame frequency of the image signal for synchronization timing as the display of the first frame frequency of the input image signal,
In the processing step performed by the plurality of signal processing means, the input image signal is stored in the storage means, and then the input image signal is read from the storage means and processed.
In the processing step performed by the display signal processing means, the image signal is characterized in that resizing is performed before the input image signal is stored in the storage means, and the resized image signal is stored in the storage means. A method for controlling a processing apparatus.