JP4697094B2 - Image signal output apparatus and control method thereof - Google Patents

Image signal output apparatus and control method thereof Download PDF

Info

Publication number
JP4697094B2
JP4697094B2 JP2006230953A JP2006230953A JP4697094B2 JP 4697094 B2 JP4697094 B2 JP 4697094B2 JP 2006230953 A JP2006230953 A JP 2006230953A JP 2006230953 A JP2006230953 A JP 2006230953A JP 4697094 B2 JP4697094 B2 JP 4697094B2
Authority
JP
Japan
Prior art keywords
signal
image signal
imaging
image
progressive
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2006230953A
Other languages
Japanese (ja)
Other versions
JP2008054221A (en
Inventor
大輔 宮腰
久保  学
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2006230953A priority Critical patent/JP4697094B2/en
Publication of JP2008054221A publication Critical patent/JP2008054221A/en
Application granted granted Critical
Publication of JP4697094B2 publication Critical patent/JP4697094B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Transforming Light Signals Into Electric Signals (AREA)
  • Television Systems (AREA)
  • Studio Devices (AREA)

Description

本発明は、被写体を撮像する撮像素子から読み出されるプログレッシブ方式の撮像信号を、インタレース方式の画像信号に変換して出力する画像信号出力装置及びその制御方法に関するものである。   The present invention relates to an image signal output device that converts a progressive image signal read from an image sensor that images a subject into an interlace image signal and outputs the image signal, and a control method therefor.

近年、動画像の撮像から画像信号の出力までを行うビデオカムコーダには、動画像を撮像しながら高精細な静止画を任意のタイミングで同時に撮像するために、イメージセンサから所定のタイミング毎に全ての画素値を読み出すプログレッシブ方式で行うものがある(特許文献1)。また、このようなビデオカムコーダには、イメージセンサによる撮像信号の読み出しから表示・記録等までの全ての処理を、プログレッシブ方式で行うものもある。   In recent years, video camcorders that perform everything from capturing a moving image to outputting an image signal can be used to capture a high-definition still image simultaneously at any timing while capturing a moving image. There is a method using a progressive method of reading out the pixel value of (Patent Document 1). Some video camcorders perform all processes from reading of an image pickup signal by an image sensor to display / recording in a progressive manner.

このような全ての処理工程をプログレッシブ方式で行うことが可能なビデオカムコーダでは、インタレース方式の画像信号を表示・記録等に適したフォーマットとして出力する場合に、イメージセンサから読み出された撮像信号にカメラ信号処理を施す前に、撮像信号をプログレッシブ方式からインタレース方式に変換することにより、単位時間当たりのカメラ信号処理の演算量を低減して、装置全体での消費電力を抑えている。   In video camcorders that can perform all of these processing steps in a progressive manner, when an interlaced image signal is output as a format suitable for display, recording, etc., an imaging signal read from the image sensor Before the camera signal processing is performed, the imaging signal is converted from the progressive method to the interlace method, thereby reducing the amount of calculation of the camera signal processing per unit time and suppressing the power consumption of the entire apparatus.

しかしながら、このようなビデオカムコーダでは、電子ズーム処理をしながら撮像する場合に、カメラ信号処理を行う前に撮像信号をプログレッシブ方式からインタレース方式に変換しており、さらにこの変換後に画像信号の一部分に拡大処理を行うことになるため、画像信号の解像度が劣化してしまう。   However, in such a video camcorder, when taking an image while performing electronic zoom processing, the image pickup signal is converted from the progressive method to the interlace method before performing the camera signal processing, and after this conversion, a part of the image signal is converted. Therefore, the resolution of the image signal is deteriorated.

特開2002―062559号公報JP 2002-062559 A

本発明は、このような実情に鑑みて提案されたものであり、高画質のインタレース方式の画像信号を出力する画像信号出力装置及びその制御方法を提供することを目的とする。   The present invention has been proposed in view of such circumstances, and an object of the present invention is to provide an image signal output device that outputs a high-quality interlaced image signal and a control method therefor.

上述した課題を解決するための手段として、本発明に係る画像信号出力装置は、被写体を撮像する撮像素子から読み出されるプログレッシブ方式の撮像信号を、インタレース方式の画像信号に変換して出力する画像信号出力装置において、上記撮像素子から読み出された上記プログレッシブ方式の撮像信号を、そのフレーム内で垂直方向に並んだ2つの画素値を足し合わせて、1フィールド分の上記インタレース方式の撮像信号に変換する加算処理手段と、上記プログレッシブ方式の撮像信号及び上記インタレース方式の撮像信号にカメラ信号処理を施して、それぞれ上記プログレッシブ方式の画像信号及び上記インタレース方式の画像信号に変換する信号処理手段と、上記プログレッシブ方式の画像信号を、そのフレーム内における任意の一部を拡大して、2フィールド分の上記インタレース方式の画像信号に変換する解像度処理手段と、上記プログレッシブ方式の画像信号を、1フレーム単位で所定のメモリに書き込むとともにこのメモリから1走査線置きに読み出して、2フィールド分の上記インタレース方式の画像信号に変換して出力するメモリ制御手段と、上記プログレッシブ方式の撮像信号のフレームレートが上記インタレース方式の画像信号のフィールドレートの半分以下である第1の撮像モード、上記プログレッシブ方式の撮像信号のフレームレートが上記インタレース方式の画像信号のフィールドレートと同一であって撮像画像に拡大処理を施さない第2の撮像モード、及び、上記プログレッシブ方式の撮像信号のフレームレートが上記インタレース方式の画像信号のフィールドレートと同一であって撮像画像に拡大処理を施す第3の撮像モードに応じて、出力処理を制御する制御手段とを備え、上記第1の撮像モードでは、上記信号処理手段が、上記撮像素子から読み出された上記プログレッシブ方式の撮像信号に上記カメラ信号処理を施して上記プログレッシブ方式の画像信号に変換して上記メモリ制御手段に供給し、上記メモリ制御手段が、上記プログレッシブ方式の画像信号を上記インタレース方式の画像信号に変換して出力し、上記第2の撮像モードでは、上記加算処理手段が、上記撮像素子から読み出された上記プログレッシブ方式の撮像信号を上記インタレース方式の撮像信号に変換して上記信号処理手段に供給し、上記信号処理手段が、上記インタレース方式の撮像信号に上記カメラ信号処理を施して上記インタレース方式の画像信号に変換して出力し、上記第3の撮像モードでは、上記信号処理手段が、上記撮像素子から読み出された上記プログレッシブ方式の撮像信号に上記カメラ信号処理を施して上記プログレッシブ方式の画像信号を上記解像度処理手段に供給し、上記解像度処理手段が、上記プログレッシブ方式の画像信号に拡大処理を施して上記インタレース方式の画像信号に変換して出力する出力処理を上記制御手段が制御することを特徴とする。   As means for solving the above-described problems, an image signal output apparatus according to the present invention converts a progressive imaging signal read from an imaging element that images a subject into an interlaced image signal and outputs the image. In the signal output device, the interlaced imaging signal for one field is obtained by adding the progressive imaging signal read from the imaging element to two pixel values arranged in the vertical direction in the frame. An addition processing means for converting the signal into a progressive signal, and a signal processing for performing a camera signal process on the progressive image signal and the interlace image signal to convert them into the progressive image signal and the interlace image signal, respectively. Means and the above-mentioned progressive image signal in an arbitrary frame within the frame. The resolution processing means for enlarging the part and converting it to the interlaced image signal for two fields, and the progressive image signal are written into a predetermined memory in units of one frame, and one scanning line is placed from this memory. And a memory control means for converting to and outputting the interlace image signal for two fields, and the frame rate of the progressive image signal is less than half of the field rate of the interlace image signal. A first imaging mode, a second imaging mode in which a frame rate of the progressive imaging signal is the same as a field rate of the interlaced image signal, and the captured image is not enlarged, and the progressive Images with the above-mentioned interlaced frame rate Control means for controlling output processing in accordance with a third imaging mode that is the same as the field rate of the signal and performs an enlargement process on the captured image. In the first imaging mode, the signal processing means comprises: The progressive image signal read from the image sensor is subjected to the camera signal processing to be converted into the progressive image signal and supplied to the memory control means, and the memory control means is adapted to the progressive image signal. The image signal is converted into the interlaced image signal and output. In the second imaging mode, the addition processing means converts the progressive imaging signal read from the imaging element into the interlaced method. Is converted into an image pickup signal and supplied to the signal processing means. The signal processing means converts the camera signal into the interlaced image pickup signal. In the third imaging mode, the signal processing means converts the progressive imaging image signal read from the imaging element into the camera. The signal processing is performed and the progressive image signal is supplied to the resolution processing means, and the resolution processing means performs an enlargement process on the progressive image signal to convert it to the interlace image signal and output it. The output means is controlled by the control means.

また、本発明に係る画像信号出力装置の制御方法は、被写体を撮像する撮像素子から読み出されるプログレッシブ方式の撮像信号を、インタレース方式の画像信号に変換して出力する画像信号出力装置の制御方法において、上記プログレッシブ方式の撮像信号のフレームレートが上記インタレース方式の画像信号のフィールドレートの半分以下である場合には、上記撮像素子から読み出された上記プログレッシブ方式の撮像信号にカメラ信号処理を施して上記プログレッシブ方式の画像信号に変換し、このプログレッシブ方式の画像信号を1フレーム単位で所定のメモリに書き込むとともにこのメモリから1走査線置きに読み出して2フィールド分の上記インタレース方式の画像信号に変換して出力し、上記プログレッシブ方式の撮像信号のフレームレートが上記インタレース方式の画像信号のフィールドレートと同一であって撮像画像に拡大処理を施さない場合には、上記撮像素子から読み出された1フレームの上記プログレッシブ方式の撮像信号をそのフレーム内で垂直方向に並んだ2つの画素値を足し合わせて1フィールド分の上記インタレース方式の撮像信号に変換し、このインタレース方式の撮像信号に上記カメラ信号処理を施して上記インタレース方式の画像信号に変換して出力し、上記プログレッシブ方式の撮像信号のフレームレートが上記インタレース方式の画像信号のフィールドレートと同一であって撮像画像に拡大処理を施す場合には、上記撮像素子から読み出された上記プログレッシブ方式の撮像信号に上記カメラ信号処理を施して上記プログレッシブ方式の画像信号に変換し、このプログレッシブ方式の画像信号をそのフレーム内における任意の一部を拡大して2フィールド分の上記インタレース方式の画像信号に変換して出力することを特徴とする。   The image signal output apparatus control method according to the present invention is a method for controlling an image signal output apparatus that converts a progressive image signal read from an image sensor that images a subject into an interlace image signal and outputs the image signal. When the frame rate of the progressive imaging signal is half or less than the field rate of the interlaced image signal, camera signal processing is performed on the progressive imaging signal read from the imaging device. The progressive image signal is converted into the progressive image signal, and the progressive image signal is written in a predetermined memory in units of one frame and read out every other scanning line from the memory for two fields. Converted to and output, and the progressive format imaging signal When the frame rate is the same as the field rate of the interlace image signal and the captured image is not subjected to enlargement processing, one frame of the progressive image signal read from the image sensor is used as the frame. The two pixel values arranged in the vertical direction are added to each other and converted into the interlaced imaging signal for one field, and the camera signal processing is performed on the interlaced imaging signal to obtain the interlaced imaging signal. When the frame rate of the progressive imaging signal is the same as the field rate of the interlaced image signal and the enlarged image is subjected to enlargement processing, it is read from the imaging device. The progressive method is obtained by applying the camera signal processing to the progressive imaging signal Into image signals, characterized in that it converts the image signal of the progressive method to the image signal of the interlaced for two fields an enlarged part of any of the frame.

本発明は、プログレッシブ方式の撮像信号のフレームレートがインタレース方式の画像信号のフィールドレートと同一であって撮像画像に拡大処理を施す場合に、カメラ信号処理を行った後に画像信号をプログレッシブ方式からインタレース方式に変換するので、インタレース方式の画像信号の解像度を高めても画質の劣化を防止することができる。   In the present invention, when the frame rate of a progressive imaging signal is the same as the field rate of an interlaced image signal and the enlarged image is subjected to enlargement processing, the image signal is converted from the progressive method after the camera signal processing. Since the conversion to the interlace method is performed, it is possible to prevent the deterioration of the image quality even when the resolution of the interlace image signal is increased.

また、本発明は、プログレッシブ方式の撮像信号のフレームレートがインタレース方式の画像信号のフィールドレートの半分以下である場合では、このフィールドレートよりも遅いフレームレートに応じたタイミングでカメラ信号処理を行う。また、本発明は、プログレッシブ方式の撮像信号のフレームレートがインタレース方式の画像信号のフィールドレートと同一であって撮像画像に拡大処理を施さない場合では、カメラ信号処理を行う前に撮像信号をプログレッシブ方式からインタレース方式に変換する。よって、本発明では、カメラ信号処理を従来と同様の負荷で行うことができる。   The present invention also performs camera signal processing at a timing corresponding to a frame rate slower than the field rate when the frame rate of the progressive imaging signal is less than half the field rate of the interlaced image signal. . In addition, the present invention provides a method in which the imaging signal is processed before the camera signal processing when the frame rate of the progressive imaging signal is the same as the field rate of the interlaced image signal and the captured image is not enlarged. Convert from progressive to interlaced. Therefore, in the present invention, camera signal processing can be performed with the same load as in the prior art.

このように、本発明は、信号処理に係る演算量の増加を抑えつつ画質の劣化を防止して、プログレッシブ方式の撮像信号をインタレース方式の画像信号に変換して出力することができる。   As described above, according to the present invention, it is possible to prevent deterioration in image quality while suppressing an increase in the amount of computation related to signal processing, and to convert a progressive imaging signal into an interlaced image signal and output it.

以下、本発明を実施するための最良の形態について、図面を参照しながら詳細に説明する。   Hereinafter, the best mode for carrying out the present invention will be described in detail with reference to the drawings.

本実施形態に係るビデオカメラ100は、図1に示すように、イメージセンサ110と、信号処理部120と、フレームメモリ130と、ベースバンド処理部140と、制御部150とを備える。   As shown in FIG. 1, the video camera 100 according to the present embodiment includes an image sensor 110, a signal processing unit 120, a frame memory 130, a baseband processing unit 140, and a control unit 150.

イメージセンサ110は、被写体を撮像してプログレッシブ方式の撮像信号を読み出して、信号処理部120及びフレームメモリ130に供給する。   The image sensor 110 captures a subject, reads a progressive image signal, and supplies the signal to the signal processing unit 120 and the frame memory 130.

具体的に、イメージセンサ110は、図2(A)に示すように、正方形を45度回転させた格子上に、水平方向に960ピクセル垂直方向に540ピクセルの受光素子を配列したものである。イメージセンサ110は、プログレッシブ方式の撮像を行うので、所定のタイミング毎に、画サイズ960×540ピクセルの全画素について読み出し、光学補正を施した後に信号処理部120及びフレームメモリ130に供給する。このように、イメージセンサ110が読み出す撮像信号は、イメージセンサ110において受光素子が正方形を45度回転させた格子状に配列されているので、1フレーム内における各画素が市松模様状に配置される。このため、撮像信号には、1フレーム内における隣接する画素間に、画素値がない空画素領域が存在する。よって、イメージセンサ110が読み出す撮像信号は、その画素データの画サイズ960×540ピクセルであるが、画面内に存在する空画素領域をディモザイク処理により補間することで、図2(B)に示すように、実質的に画サイズが1920×1080ピクセルとなっている。このようにして、イメージセンサ110では、単位時間当たり受光素子から読み出す画素データが少なくても、より高解像度の撮像信号を読み出すことができる。なお、本実施形態に係るビデオカメラ100は、信号処理部120内で上述したディモザイク処理を行う。   Specifically, as shown in FIG. 2A, the image sensor 110 is configured by arranging light receiving elements of 540 pixels in the horizontal direction and 540 pixels in the vertical direction on a grid obtained by rotating a square by 45 degrees. Since the image sensor 110 performs progressive imaging, the image sensor 110 reads out all the pixels of an image size of 960 × 540 pixels at every predetermined timing, performs optical correction, and supplies them to the signal processing unit 120 and the frame memory 130. As described above, since the image pickup signal read by the image sensor 110 is arranged in a lattice shape in which the light receiving elements are rotated 45 degrees in the image sensor 110, each pixel in one frame is arranged in a checkered pattern. . For this reason, in the imaging signal, an empty pixel region having no pixel value exists between adjacent pixels in one frame. Therefore, the image pickup signal read out by the image sensor 110 has an image size of 960 × 540 pixels of the pixel data, and is shown in FIG. 2B by interpolating the empty pixel area existing in the screen by demosaic processing. Thus, the image size is substantially 1920 × 1080 pixels. In this manner, the image sensor 110 can read out a higher-resolution image signal even if there is little pixel data read from the light receiving element per unit time. Note that the video camera 100 according to the present embodiment performs the above-described demosaic process in the signal processing unit 120.

また、イメージセンサ110は、制御部150からの制御命令に応じて、時間方向の解像度を変えて撮像信号を読み出す。具体的に、イメージセンサ110は、毎秒当たり24フレーム(以下、24pという。)と、毎秒当たり30フレーム(以下、30pという。)と、毎秒当たり60フレーム(以下、60pという。)との、それぞれ3つの異なるフレームレートでプログレッシブ方式の撮像信号を読み出す。   In addition, the image sensor 110 reads an imaging signal while changing the resolution in the time direction in accordance with a control command from the control unit 150. Specifically, the image sensor 110 includes 24 frames per second (hereinafter referred to as 24p), 30 frames per second (hereinafter referred to as 30p), and 60 frames per second (hereinafter referred to as 60p). Progressive imaging signals are read out at three different frame rates.

信号処理部120は、イメージセンサ110から供給されるプログレッシブ方式の撮像信号に後述するカメラ信号処理を施すとともに、毎秒当たり60フィールドのインタレース方式(以下、60iという。)の画像信号に変換してベースバンド処理部140へ供給する。また、信号処理部120は、カメラ信号処理を施したプログレッシブ方式の画像信号をフレームメモリ130に供給する。   The signal processing unit 120 performs camera signal processing, which will be described later, on the progressive imaging signal supplied from the image sensor 110 and converts it to an image signal of 60 fields per second (hereinafter referred to as 60i). Supplied to the baseband processing unit 140. In addition, the signal processing unit 120 supplies a progressive image signal subjected to camera signal processing to the frame memory 130.

ベースバンド処理部140は、信号処理部120から供給される60iの画像信号を記録・表示等の出力形式に変換して、記録処理及び表示処理を行う。   The baseband processing unit 140 converts the 60i image signal supplied from the signal processing unit 120 into an output format such as recording / display, and performs recording processing and display processing.

制御部150は、撮像動作に応じた同期信号を、上述したビデオカメラ100の各処理部に供給し、この同期信号に基づいてこれらの処理部の動作を制御する。   The control unit 150 supplies a synchronization signal corresponding to the imaging operation to each processing unit of the video camera 100 described above, and controls the operation of these processing units based on the synchronization signal.

具体的に、制御部150は、動作周期が1/60[sec]の垂直同期信号を各処理部に供給する。各処理部は、同一周期の垂直同期信号に基づいて、フレーム及びフィールド単位に区切って信号処理を行う。また、制御部150は、垂直同期信号1周期当たりに処理するフレーム及びフィールド内の走査線の数に応じて、それぞれ異なる動作周期の水平同期信号を各処理部に供給する。   Specifically, the control unit 150 supplies a vertical synchronization signal having an operation cycle of 1/60 [sec] to each processing unit. Each processing unit performs signal processing in units of frames and fields based on vertical synchronization signals having the same period. Further, the control unit 150 supplies horizontal processing signals having different operation cycles to the processing units according to the number of frames and the number of scanning lines in the field processed per vertical synchronization signal.

次に、信号処理部120の構成について図3を参照して詳細に説明する。   Next, the configuration of the signal processing unit 120 will be described in detail with reference to FIG.

信号処理部120は、図3に示すように、撮像信号入力部121と、画サイズ変換部122と、ライン加算部123と、カメラ信号処理部124と、解像度変換部125と、ラインメモリ126と、メモリ制御部127と、画像信号出力部128とを備える。   As shown in FIG. 3, the signal processing unit 120 includes an imaging signal input unit 121, an image size conversion unit 122, a line addition unit 123, a camera signal processing unit 124, a resolution conversion unit 125, and a line memory 126. A memory control unit 127 and an image signal output unit 128.

撮像信号入力部121は、イメージセンサ110から供給される撮像信号の水平同期信号の動作周期を信号処理部120の動作に応じて変更して、この撮像信号を画サイズ変換部122へ出力する。   The imaging signal input unit 121 changes the operation cycle of the horizontal synchronization signal of the imaging signal supplied from the image sensor 110 according to the operation of the signal processing unit 120, and outputs the imaging signal to the image size conversion unit 122.

画サイズ変換部122は、画サイズ960×540ピクセルの撮像信号から、その画面内に存在する空画素領域を補間することで、有効画サイズ1920×1080ピクセルの撮像信号を生成する。また、画サイズ変換部122は、画サイズ1920×1080ピクセルの撮像信号を、その水平方向に並んだ画素列から4画素当たり1画素分を間引くことで水平方向に3/4倍に縮小して、HD規格に準拠した画サイズ1440×1080ピクセルの撮像信号に変換し、ライン加算部123及びカメラ信号処理部124へ供給する。   The image size conversion unit 122 generates an image signal having an effective image size of 1920 × 1080 pixels by interpolating an empty pixel area existing in the screen from an image signal having an image size of 960 × 540 pixels. Further, the image size conversion unit 122 reduces the image size 1920 × 1080 pixel image signal by 3/4 times in the horizontal direction by thinning out one pixel per four pixels from the pixel row arranged in the horizontal direction. The image signal is converted into an image signal having an image size of 1440 × 1080 pixels conforming to the HD standard, and is supplied to the line adder 123 and the camera signal processor 124.

ライン加算部123は、画サイズ変換部122から供給された1フレーム当たりのプログレッシブ方式の撮像信号を、1フィールドのインタレース方式の撮像信号に変換する。   The line adder 123 converts the progressive imaging signal per frame supplied from the image size converter 122 into an interlace imaging signal of one field.

具体的に、ライン加算部123は、図4(A)に示すように、信号遅延回路123aと、加算回路123bと、FIFO(First Input First Output)回路123cとからなる。   Specifically, as shown in FIG. 4A, the line adder 123 includes a signal delay circuit 123a, an adder circuit 123b, and a FIFO (First Input First Output) circuit 123c.

信号遅延回路123aは、画サイズ変換部122から供給された撮像信号の画素データを水平同期信号1周期分遅延させて加算回路123bに供給する。   The signal delay circuit 123a delays the pixel data of the imaging signal supplied from the image size conversion unit 122 by one cycle of the horizontal synchronization signal and supplies the delayed signal to the adder circuit 123b.

加算回路123bは、画サイズ変換部122から供給された撮像信号の画素データと、画サイズ変換部122から供給され信号遅延回路123aより水平同期信号1周期分遅延された撮像信号の画素データとが供給される。すなわち、FIFO回路123cは、走査線2本を1組とした画素列において、垂直方向に並んだ2つの画素値が順次供給される。加算回路123bは、これら2つの画素値を足し合わせてFIFO回路123cに供給する。   The adder circuit 123b receives the pixel data of the imaging signal supplied from the image size converter 122 and the pixel data of the imaging signal supplied from the image size converter 122 and delayed by one cycle of the horizontal synchronizing signal from the signal delay circuit 123a. Supplied. In other words, the FIFO circuit 123c is sequentially supplied with two pixel values arranged in the vertical direction in a pixel column including two scanning lines as a set. The adder circuit 123b adds these two pixel values and supplies the sum to the FIFO circuit 123c.

FIFO回路123cは、加算器123から供給される撮像信号を一時的に記憶して水平同期信号との同期を図った後、カメラ信号処理部124に供給する。   The FIFO circuit 123c temporarily stores the imaging signal supplied from the adder 123 to synchronize with the horizontal synchronization signal, and then supplies it to the camera signal processing unit 124.

ライン加算部123は、図4(B)に示すように、1フレームのプログレッシブ方式の撮像信号が供給されると、走査線2本を1組とした画素列における垂直方向に並んだ2つの画素データをそれぞれ足し合わせて、1フィールドのインタレース方式の撮像信号(第1フィールド)に変換する。また、ライン加算部123は、第1フィールドの撮像信号を出力した後に1フレームのプログレッシブ方式の撮像信号が供給されると、第1フィールドの変換処理に対してフレーム内の走査線の位置を1本ずらし、第1フィールドと同様の処理を行って、1フィールド分のインタレース方式の撮像信号(第2フィールド)に変換する。すなわち、ライン加算部123は、時系列に並んだ2フレームのプログレッシブ方式の撮像信号の一方を第1フィールドとし、他方を第2フィールドとするインタレース方式の撮像信号に変換して交互にカメラ信号処理部124へ供給する。   As shown in FIG. 4B, the line adder 123 receives two pixels arranged in the vertical direction in a pixel column having two scanning lines as a set when a progressive imaging signal of one frame is supplied. Each of the data is added and converted into a one-field interlaced imaging signal (first field). Further, when a one-frame progressive imaging signal is supplied after outputting the first field imaging signal, the line adder 123 sets the position of the scanning line in the frame to 1 for the first field conversion processing. This shift is performed, and the same processing as in the first field is performed to convert the image into an interlaced imaging signal (second field) for one field. That is, the line adder 123 converts the time-series progressive image signals of the two-frame progressive format into an interlaced format image signal having the first field as the first field and the other as the second field. The data is supplied to the processing unit 124.

カメラ信号処理部124は、画サイズ変換部122から供給されるプログレッシブ方式の撮像信号、及び、ライン加算部123から供給されるインタレース方式の撮像信号に所定のカメラ信号処理を行う。   The camera signal processing unit 124 performs predetermined camera signal processing on the progressive imaging signal supplied from the image size conversion unit 122 and the interlace imaging signal supplied from the line addition unit 123.

具体的に、カメラ信号処理部124は、撮像信号に、輪郭強調、ガンマ補正、色差マトリクス変換などを施した画像信号を生成する。そして、カメラ信号処理部124は、撮像モードに応じて、解像度変換部125、メモリ制御部127及び画像信号出力部128のうちいずれか1つの処理部に供給する。   Specifically, the camera signal processing unit 124 generates an image signal obtained by performing contour enhancement, gamma correction, color difference matrix conversion, and the like on the imaging signal. Then, the camera signal processing unit 124 supplies to any one of the resolution conversion unit 125, the memory control unit 127, and the image signal output unit 128 according to the imaging mode.

解像度変換部125は、カメラ信号処理部124から供給されるプログレッシブ方式の画像信号に、そのフレーム内における任意の一部分を拡大領域として、解像度変換処理を施し、1フレームのプログレッシブ方式の画像信号から1フィールドのインタレース方式の画像信号を生成して、画像信号出力部128に供給する。   The resolution conversion unit 125 performs a resolution conversion process on the progressive image signal supplied from the camera signal processing unit 124 using an arbitrary part in the frame as an enlarged region, and 1 from the progressive image signal of one frame. A field interlace image signal is generated and supplied to the image signal output unit 128.

具体的に、解像度変換部125は、まず水平方向に拡大/縮小処理を施して一時的にラインメモリ126に記憶させ、その後、ラインメモリ126から垂直方向に画素を読み出して、垂直方向に拡大/縮小処理を施す。また、解像度変換部125は、拡大領域の拡大倍率が2倍以上であるか否かによって処理内容が異なる。拡大する倍率が2倍以下の場合、解像度変換部125は、水平方向に対しては拡大処理を施すが、プログレッシブ方式対してインタレース方式では垂直方向に並んだ画素数が半分なので垂直方向に対しては縮小処理を施す。拡大する倍率が2倍以上の場合、解像度変換部125は、水平方向及び垂直方向の何れに対しても拡大処理を施す。   Specifically, the resolution conversion unit 125 first performs an enlargement / reduction process in the horizontal direction and temporarily stores it in the line memory 126, then reads out the pixels from the line memory 126 in the vertical direction, and enlarges / reduces in the vertical direction. Apply reduction processing. The resolution conversion unit 125 has different processing contents depending on whether or not the enlargement magnification of the enlargement area is 2 times or more. When the enlargement magnification is 2 times or less, the resolution conversion unit 125 performs the enlargement process in the horizontal direction, but in the interlace method as compared with the progressive method, the number of pixels arranged in the vertical direction is half. The reduction process is performed. When the enlargement magnification is 2 times or more, the resolution conversion unit 125 performs enlargement processing in both the horizontal direction and the vertical direction.

メモリ制御部127は、カメラ信号処理部124から供給されるプログレッシブ方式の画像信号をフレーム単位でフレームメモリ130に書き込むとともに、フレームメモリ130から走査線1本置きに画像信号を読み出すことによって2フィールドのインタレース方式の画像信号に変換して、画像信号出力部128に供給する。   The memory control unit 127 writes the progressive image signal supplied from the camera signal processing unit 124 into the frame memory 130 in units of frames, and reads out the image signal from the frame memory 130 every other scanning line so as to read two fields. The image signal is converted into an interlaced image signal and supplied to the image signal output unit 128.

具体的に、メモリ制御部127は、図5(A)に示すように、メモリ書き込み制御信号と、メモリ読み出し制御信号とに基づいて動作する。メモリ書き込み制御信号は、その動作周期が垂直同期信号の動作周期の1/2倍のパルス信号である。メモリ読み出し制御信号は、その動作周期が垂直同期信号の動作周期と同一のパルス信号である。メモリ制御部127は、フレーム書き込み制御信号の立ち下がりから立ち上がりまでの時間間隔で、1フレーム分の画素データをフレームメモリ123に書き込むとともに、フレーム読み出し制御信号の立ち下がりから立ち上がりまでの時間間隔でフレームメモリ123に書き込んだ画素データのうちの半数を順次フレームメモリ123からメモリ制御部127に読み出す。このようにして、メモリ制御部127は、図5(B)に示すように、フレームメモリ130に書き込んだ画像信号から、それぞれ1ライン置きに走査した第1フィールド及び第2フィールドのインタレース方式の画像信号に変換する。   Specifically, as shown in FIG. 5A, the memory control unit 127 operates based on a memory write control signal and a memory read control signal. The memory write control signal is a pulse signal whose operation cycle is ½ times the operation cycle of the vertical synchronization signal. The memory read control signal is a pulse signal whose operation cycle is the same as that of the vertical synchronization signal. The memory control unit 127 writes pixel data for one frame to the frame memory 123 at a time interval from the falling edge to the rising edge of the frame writing control signal, and frames at a time interval from the falling edge to the rising edge of the frame reading control signal. Half of the pixel data written in the memory 123 is sequentially read from the frame memory 123 to the memory control unit 127. In this manner, as shown in FIG. 5B, the memory control unit 127 uses the interlace method of the first field and the second field scanned from the image signal written in the frame memory 130 every other line. Convert to image signal.

画像信号出力部128は、カメラ信号処理部124、解像度変換部125、及び、メモリ制御部127から供給されるインタレース方式の画像信号を、ベースバンド処理部140の水平同期信号に同期させて、ベースバンド処理部140に供給する。   The image signal output unit 128 synchronizes the interlaced image signal supplied from the camera signal processing unit 124, the resolution conversion unit 125, and the memory control unit 127 with the horizontal synchronization signal of the baseband processing unit 140, This is supplied to the baseband processing unit 140.

このように、信号処理部120は、イメージセンサ120から供給されたプログレッシブ方式の撮像信号に上述した処理を行い、ベースバンド処理部140へインタレース方式の画像信号を出力するが、制御部150からの制御命令に応じて、次に示す3つの異なる動作を行う。   As described above, the signal processing unit 120 performs the above-described processing on the progressive imaging signal supplied from the image sensor 120 and outputs an interlaced image signal to the baseband processing unit 140. The following three different operations are performed according to the control command.

まず、ビデオカメラ100が行う動作は、図6(A)に示すようにイメージセンサ110が30p/24pで撮像信号を読み出す低速撮像モードと、図6(B)及び図6(C)に示すようにイメージセンサが60pで撮像する通常撮像モードとに分けられる。さらに、60pで撮像する通常撮像モードは、図6(B)に示すようなイメージセンサ110から読み出した撮像画像に電子ズーム処理を施さない通常撮像電子ズームオフモードと、図6(C)に示すようなイメージセンサ110から読み出した撮像画像に電子ズーム処理を施す通常撮像電子ズームオンモードとに分けられる。   First, the operation performed by the video camera 100 includes a low-speed imaging mode in which the image sensor 110 reads out an imaging signal at 30p / 24p, as shown in FIG. 6A, and FIGS. 6B and 6C. And the normal imaging mode in which the image sensor captures images at 60p. Furthermore, the normal imaging mode for imaging at 60p includes the normal imaging electronic zoom off mode in which the electronic zoom processing is not performed on the captured image read from the image sensor 110 as shown in FIG. 6B, and FIG. 6C. Such a captured image read from the image sensor 110 is divided into a normal imaging electronic zoom on mode in which electronic zoom processing is performed.

以下では、ビデオカメラ100の撮像動作に関して、上述した3つの撮像モードに関する各処理部の動作について具体的に説明する。   Hereinafter, regarding the imaging operation of the video camera 100, the operation of each processing unit regarding the above-described three imaging modes will be specifically described.

まず、低速撮像モードに関するビデオカメラ100の各処理部の動作について、図7を参照して説明する。   First, the operation of each processing unit of the video camera 100 regarding the low-speed imaging mode will be described with reference to FIG.

図7(A)は、垂直同期信号に基づいて、イメージセンサ110、信号処理部120及びベースバンド処理部140の各処理部で行う画像データの画サイズとその処理タイミングを示す模式図である。ビデオカメラ100は、図7(A)に示すように、イメージセンサ110が30p/24pで撮像信号を読み出し、信号処理部120が30p/24pの撮像信号を60iの画像信号に変換して、60iでベースバンド処理部140へ画像信号を供給する。   FIG. 7A is a schematic diagram illustrating the image size and processing timing of image data performed by each processing unit of the image sensor 110, the signal processing unit 120, and the baseband processing unit 140 based on the vertical synchronization signal. In the video camera 100, as shown in FIG. 7A, the image sensor 110 reads out an imaging signal at 30p / 24p, and the signal processing unit 120 converts the 30p / 24p imaging signal into a 60i image signal. Then, an image signal is supplied to the baseband processing unit 140.

具体的には、図7(B)に示す模式的な処理工程に従って、各処理部の動作について説明する。なお、各処理部は、制御部150から供給される制御命令に従って、以下に示す処理を行う。また、次に示す処理工程では、まず、30p/24pのうち、イメージセンサ110が30pでプログレッシブ方式の撮像信号を読み出すものとして説明する。   Specifically, the operation of each processing unit will be described in accordance with the schematic processing steps shown in FIG. Each processing unit performs the following processing in accordance with a control command supplied from the control unit 150. In the following processing steps, first, it is assumed that the image sensor 110 reads a progressive imaging signal at 30p out of 30p / 24p.

ステップS11において、イメージセンサ110は、画サイズ960×540ピクセル(有効画サイズ:1920×1080ピクセル)で30pの撮像信号を読み出す。   In step S11, the image sensor 110 reads an image signal of 30p with an image size of 960 × 540 pixels (effective image size: 1920 × 1080 pixels).

ステップS12において、イメージセンサ110は、30pの撮像画像に明るさ補正や黒レベル補正などの光学補正を施して信号処理部120に供給する。   In step S <b> 12, the image sensor 110 performs optical correction such as brightness correction and black level correction on the 30p captured image and supplies the image to the signal processing unit 120.

ステップS13において、信号処理部120は、まず、撮像信号入力部121が、イメージセンサ110から供給される撮像信号の水平同期信号の動作周期が1/2倍となるように撮像信号のピクセルレートを変更して画サイズ変換部122に供給する。また、信号処理部120は、垂直同期信号の2周期に1回のタイミングで撮像信号に信号処理を施す。画サイズ変換部122は、補間処理により撮像信号をイメージセンサ110で読み出された960×540ピクセルから有効画サイズ1920×1080ピクセルに変換し、さらに、HD規格に準拠した画サイズ1440×1080に変換する。そして、画サイズ変換部122は、画サイズ1440×1080のプログレッシブ方式の撮像信号をカメラ信号処理部124のみに供給する。   In step S <b> 13, the signal processing unit 120 first sets the pixel rate of the imaging signal so that the imaging signal input unit 121 halves the operation period of the horizontal synchronization signal of the imaging signal supplied from the image sensor 110. The image is converted and supplied to the image size conversion unit 122. In addition, the signal processing unit 120 performs signal processing on the imaging signal at a timing once in two periods of the vertical synchronization signal. The image size conversion unit 122 converts the image pickup signal from 960 × 540 pixels read by the image sensor 110 by interpolation processing to an effective image size of 1920 × 1080 pixels, and further converts the image signal to an image size of 1440 × 1080 compliant with the HD standard. Convert. Then, the image size conversion unit 122 supplies a progressive imaging signal having an image size of 1440 × 1080 only to the camera signal processing unit 124.

ステップS14において、信号処理部120は、カメラ信号処理部124が、画サイズ変換部122から供給される画サイズ1440×1080の30pの撮像信号に輪郭強調、ガンマ補正、色差マトリクス変換などのカメラ信号処理を施した画像信号を生成して、この画像信号をメモリ制御部127に供給する。   In step S <b> 14, the signal processing unit 120 causes the camera signal processing unit 124 to apply a camera signal such as edge enhancement, gamma correction, and color difference matrix conversion to the 30p image signal of the image size 1440 × 1080 supplied from the image size conversion unit 122. A processed image signal is generated, and this image signal is supplied to the memory control unit 127.

ステップS15において、信号処理部120は、メモリ制御部127が、30pの画像信号を60iの画像信号に変換して画像信号出力部128に供給する。画像信号出力部128は、ベースバンド処理部140における水平同期信号との同期を図るため、メモリ制御部127から供給される60iの画像信号の水平同期信号の動作周期を2倍にしてベースバンド処理部140へ供給する。   In step S <b> 15, in the signal processing unit 120, the memory control unit 127 converts the 30p image signal into a 60i image signal and supplies it to the image signal output unit 128. In order to synchronize with the horizontal synchronization signal in the baseband processing unit 140, the image signal output unit 128 doubles the operation cycle of the horizontal synchronization signal of the 60i image signal supplied from the memory control unit 127 to perform baseband processing. To the unit 140.

このように、低速撮像モードで動作するビデオカメラ100では、図8(A)に示すように、イメージセンサ110が垂直同期信号の2周期に1回のタイミングで30pの撮像信号を読み出し、カメラ信号処理部124が垂直同期信号の2周期に1回のタイミングで30pの撮像信号にカメラ信号処理を施し、メモリ制御部127が60iの画像信号に変換して、画像信号出力部128から垂直同期信号の1周期毎のタイミングでベースバンド処理部140へ60iの画像信号を供給する。   As described above, in the video camera 100 operating in the low-speed imaging mode, as shown in FIG. 8A, the image sensor 110 reads out the 30p imaging signal at a timing once every two periods of the vertical synchronization signal, and the camera signal. The processing unit 124 performs camera signal processing on the 30p imaging signal at a timing once every two periods of the vertical synchronization signal, and the memory control unit 127 converts the image signal into a 60i image signal. The 60i image signal is supplied to the baseband processing unit 140 at the timing of each cycle.

このように、ビデオカメラ100では、イメージセンサ110が読み出す30pの撮像信号の走査線が540本であるに対して、信号処理部120で信号処理を施す30pの画像信号の走査線が1080本なので、図8(B)に示すように、信号処理部120が、イメージセンサ110での水平同期信号に比べて半分の動作周期の水平同期信号で、撮像信号に信号処理を施す。   Thus, in the video camera 100, the number of scanning lines of 30p image signals read by the image sensor 110 is 540, whereas the number of scanning lines of 30p image signals subjected to signal processing by the signal processing unit 120 is 1080. As shown in FIG. 8B, the signal processing unit 120 performs signal processing on the imaging signal with a horizontal synchronization signal having a half operation period compared to the horizontal synchronization signal in the image sensor 110.

なお、イメージセンサ110から24pで撮像信号を読み出す場合、ビデオカメラ100は、動作周期1/24[sec]の同期信号を生成して、この周期1/24[sec]の同期信号の各タイミングで1フレーム毎に撮像信号の読み出しを行う。また、信号処理部120は、動作周期1/24[sec]の同期信号の各タイミングで、1フレーム毎に信号処理を施し、メモリ制御部127が1フレームの24pの画像信号から2フィールド及び3フィールドの60iの画像信号に変換する。   When the image signal is read from the image sensor 110 with 24p, the video camera 100 generates a synchronization signal with an operation cycle of 1/24 [sec], and at each timing of the synchronization signal with this cycle of 1/24 [sec]. The imaging signal is read out every frame. Further, the signal processing unit 120 performs signal processing for each frame at each timing of the synchronization signal having an operation cycle of 1/24 [sec], and the memory control unit 127 performs 2 fields and 3 from the 24p image signal of 1 frame. It is converted into a 60i image signal of the field.

次に、通常撮像電子ズームオフモードに関するビデオカメラ100の各処理部の動作について図9を参照して説明する。   Next, the operation of each processing unit of the video camera 100 regarding the normal imaging electronic zoom-off mode will be described with reference to FIG.

図9(A)は、動作周期1/60[sec]の垂直同期信号に基づいて、イメージセンサ110、信号処理部120及びベースバンド処理部140で処理を行う各画像信号の画サイズとその処理タイミングを示す模式図である。ビデオカメラ100では、図9(A)に示すように、イメージセンサ110が60pで撮像信号を読み出し、信号処理部120が60pの撮像信号を60iの画像信号に変換してベースバンド処理部140へ画像信号を供給する。   FIG. 9A illustrates the image size of each image signal processed by the image sensor 110, the signal processing unit 120, and the baseband processing unit 140 based on the vertical synchronization signal having an operation cycle of 1/60 [sec] and the processing. It is a schematic diagram which shows a timing. In the video camera 100, as shown in FIG. 9A, the image sensor 110 reads an image pickup signal at 60p, and the signal processing unit 120 converts the 60p image pickup signal into a 60i image signal and sends it to the baseband processing unit 140. Supply image signals.

具体的には、図9(B)に示す処理工程に従って、各処理部の動作について説明する。   Specifically, the operation of each processing unit will be described in accordance with the processing steps shown in FIG.

ステップS21において、イメージセンサ110は、画サイズ960×540ピクセル(有効画サイズ1920×1080ピクセル)で、60pの撮像信号を読み出す。   In step S21, the image sensor 110 reads an image signal of 60p with an image size of 960 × 540 pixels (effective image size of 1920 × 1080 pixels).

ステップS22において、イメージセンサ110は、制御部150からの制御命令に従って、60pの撮像画像に明るさ補正や黒レベル補正などの光学補正を施して、フレームメモリ130及び信号処理部120に供給する。   In step S <b> 22, the image sensor 110 performs optical correction such as brightness correction and black level correction on the 60p captured image in accordance with a control command from the control unit 150, and supplies the image to the frame memory 130 and the signal processing unit 120.

ステップS23において、フレームメモリ130は、イメージセンサ110から供給される撮像信号を、画サイズ960×540ピクセルの未処理データとして記録する。この未処理データは、ビデオカメラ100による撮像動作終了後、静止画像として信号処理部120に供給されて処理が行われる。ビデオカメラ100は、イメージセンサ110によって読み出された撮像信号をフレームメモリ130が未処理データとして記憶するので、撮像動作を停止することなく静止画記録を行うことができる。   In step S23, the frame memory 130 records the imaging signal supplied from the image sensor 110 as unprocessed data having an image size of 960 × 540 pixels. This unprocessed data is supplied as a still image to the signal processing unit 120 and processed after the imaging operation by the video camera 100 is completed. In the video camera 100, the image signal read by the image sensor 110 is stored in the frame memory 130 as unprocessed data, so that still image recording can be performed without stopping the imaging operation.

ステップS24において、信号処理部120では、まず、撮像信号入力部121が、イメージセンサ110から供給される撮像信号を、その水平同期信号の動作周期を変更せずに、画サイズ変換部122に供給する。画サイズ変換部122は、撮像信号にディモザイク処理を施して、イメージセンサ110から読み出された画サイズ960×540ピクセルから有効画サイズ1920×1080ピクセルに変換して、垂直ラインの画素列を間引いてHD規格に準拠した画サイズ1440×1080ピクセルに変換する。画サイズ変換部122は、画サイズ1440×1080ピクセルの撮像信号を、ライン加算部123のみに供給する。ライン加算部123は、60pの撮像信号を60iの撮像信号に変換して、カメラ信号処理部124に供給する。   In step S24, in the signal processing unit 120, first, the imaging signal input unit 121 supplies the imaging signal supplied from the image sensor 110 to the image size conversion unit 122 without changing the operation cycle of the horizontal synchronization signal. To do. The image size conversion unit 122 performs a demosaic process on the imaging signal to convert the image size 960 × 540 pixels read from the image sensor 110 to an effective image size 1920 × 1080 pixels, and converts the pixel line of the vertical line Thinning out and converting to an image size 1440 × 1080 pixels conforming to the HD standard. The image size conversion unit 122 supplies an image signal having an image size of 1440 × 1080 pixels only to the line addition unit 123. The line addition unit 123 converts the 60p imaging signal into a 60i imaging signal and supplies the converted signal to the camera signal processing unit 124.

ステップS25において、信号処理部120では、カメラ信号処理部124が、画サイズ変換部122から供給される60iの撮像信号にカメラ信号処理を施した60iの画像信号を生成して、この60iの画像信号を画像信号出力部128に供給する。   In step S25, in the signal processing unit 120, the camera signal processing unit 124 generates a 60i image signal obtained by performing camera signal processing on the 60i imaging signal supplied from the image size conversion unit 122, and the 60i image. The signal is supplied to the image signal output unit 128.

ステップS26において、画像信号出力部128は、カメラ信号処理部124から供給される60iの画像信号を、ベースバンド処理部140で処理する水平同期信号と同期を図って、ベースバンド処理部140へ供給する。   In step S <b> 26, the image signal output unit 128 synchronizes the 60i image signal supplied from the camera signal processing unit 124 with the horizontal synchronization signal processed by the baseband processing unit 140 and supplies the 60i image signal to the baseband processing unit 140. To do.

このように、通常撮像電子ズームオフモードで動作するビデオカメラ100では、図10(A)に示すように、イメージセンサ110が垂直同期信号の1周期毎に60pの撮像信号を読み出し、信号処理部120で垂直同期信号の1周期毎に60pの撮像信号から60iの画像信号に変換して、信号処理部120の画像信号出力部128から垂直同期信号の各タイミングで60iの画像信号をベースバンド処理部140へ供給する。   As described above, in the video camera 100 operating in the normal imaging electronic zoom-off mode, as shown in FIG. 10A, the image sensor 110 reads the 60p imaging signal for each cycle of the vertical synchronization signal, and the signal processing unit. 120, the 60p image signal is converted from a 60p image signal into a 60i image signal for each period of the vertical synchronization signal, and the 60i image signal is baseband processed at each timing of the vertical synchronization signal from the image signal output unit 128 of the signal processing unit 120. To the unit 140.

このように、ビデオカメラ100では、図10(B)に示すように、イメージセンサ110、信号処理部120、及び、ベースバンド処理部140が、同一の動作周期の水平同期信号で画像信号にそれぞれ処理を施す。   As described above, in the video camera 100, as shown in FIG. 10B, the image sensor 110, the signal processing unit 120, and the baseband processing unit 140 each convert an image signal with a horizontal synchronization signal having the same operation cycle. Apply processing.

次に、通常撮像電子ズームオンモード時におけるビデオカメラ100の各処理部の動作について図11を参照して説明する。   Next, the operation of each processing unit of the video camera 100 in the normal imaging electronic zoom on mode will be described with reference to FIG.

図11(A)は、動作周期1/60[sec]の垂直同期信号に基づいて、イメージセンサ110、信号処理部120及びベースバンド処理部140で処理を行う各信号の画サイズとその処理タイミングを示す模式図である。ビデオカメラ100は、図10(A)に示すように、上述した通常撮像電子ズームオフモード時と同様に、イメージセンサ110が60pの撮像信号を読み出し、信号処理部120が60pの撮像信号を60iの画像信号に変換してベースバンド処理部140へ画像信号を供給するが、信号処理部120における処理工程が通常撮像電子ズームオフモードと異なる。   FIG. 11A shows the image size and processing timing of each signal processed by the image sensor 110, the signal processing unit 120, and the baseband processing unit 140 based on the vertical synchronization signal with an operation cycle of 1/60 [sec]. It is a schematic diagram which shows. In the video camera 100, as shown in FIG. 10A, the image sensor 110 reads a 60p imaging signal and the signal processing unit 120 outputs a 60p imaging signal to 60i as in the normal imaging electronic zoom off mode described above. However, the processing steps in the signal processing unit 120 are different from those in the normal imaging electronic zoom-off mode.

以下では、このような差異に注目して、図10(B)に示す処理工程に従って、ビデオカメラ100の動作について説明する。   Hereinafter, focusing on such a difference, the operation of the video camera 100 will be described in accordance with the processing steps shown in FIG.

ステップS31において、イメージセンサ110は、画サイズ960×540ピクセル(有効画サイズ1920×1080ピクセル)の60pの撮像信号を読み出す。   In step S31, the image sensor 110 reads an image signal of 60p having an image size of 960 × 540 pixels (effective image size 1920 × 1080 pixels).

ステップS32において、イメージセンサ110は、撮像画像の明るさ補正や黒レベル補正などの光学補正を施して信号処理部120に供給する。   In step S <b> 32, the image sensor 110 performs optical correction such as brightness correction and black level correction of the captured image, and supplies the optical signal to the signal processing unit 120.

ステップS33において、信号処理部120では、まず、撮像信号入力部121が、イメージセンサ110から供給される撮像信号の水平同期信号の動作周期が1/2倍となるように、撮像信号のピクセルレートを変更して画サイズ変換部122に供給する。また、画サイズ変換部122は、撮像信号にディモザイク処理を施して、イメージセンサ110から読み出された画サイズ960×540ピクセルから有効画サイズ1920×1080ピクセルに変換して、垂直ラインの画素列を間引いてHD規格に準拠した画サイズ1440×1080ピクセルに変換する。画サイズ変換部122は、画サイズ144×1080ピクセルの撮像信号を、ライン加算部123で60iに変換せずに、60pのままカメラ信号処理部124へ供給する。   In step S <b> 33, in the signal processing unit 120, first, the imaging signal input unit 121 first sets the pixel rate of the imaging signal so that the operation cycle of the horizontal synchronization signal of the imaging signal supplied from the image sensor 110 is ½. Are supplied to the image size conversion unit 122. In addition, the image size conversion unit 122 performs demosaic processing on the imaging signal, converts the image size 960 × 540 pixels read from the image sensor 110 to an effective image size 1920 × 1080 pixels, and performs vertical line pixels. The columns are thinned and converted to an image size 1440 × 1080 pixels conforming to the HD standard. The image size conversion unit 122 supplies the image signal having an image size of 144 × 1080 pixels to the camera signal processing unit 124 as it is without being converted to 60i by the line addition unit 123.

ステップS34において、信号処理部120は、カメラ信号処理部124が、画サイズ変換部122から供給される60pの撮像信号にカメラ信号処理を施した画像信号を生成して、この画像信号を解像度変換部125に供給する。   In step S34, the signal processing unit 120 generates an image signal obtained by performing camera signal processing on the 60p imaging signal supplied from the image size conversion unit 122 by the camera signal processing unit 124, and converts the resolution of the image signal. To the unit 125.

ステップS35において、信号処理部120は、解像度変換部125が、60pの画像信号においてフレーム内の一部分を拡大領域として設定して拡大処理を施して60iの画像信号に変換し、画像信号出力部128に供給する。   In step S <b> 35, the signal processing unit 120 causes the resolution conversion unit 125 to set a part of the frame in the 60p image signal as an enlargement region, perform an enlargement process, and convert the image signal to a 60i image signal. To supply.

ステップS36において、信号処理部120では、画像信号出力部128が、60iの画像信号の水平同期信号の動作周期を2倍にして、ベースバンド出力水平同期信号に同期した60iの画像信号をベースバンド処理部140に供給する。   In step S36, in the signal processing unit 120, the image signal output unit 128 doubles the operation period of the horizontal synchronization signal of the 60i image signal and converts the 60i image signal synchronized with the baseband output horizontal synchronization signal to the baseband. This is supplied to the processing unit 140.

このように、通常撮像電子ズームオフモードで動作するビデオカメラ100では、図12(A)に示すように、イメージセンサ110が垂直同期の各タイミングで60pの撮像信号を読み出し、信号処理部120で垂直同期信号の各タイミングで60pの撮像信号から60iの画像信号に変換してベースバンド処理部140へ供給する。   As described above, in the video camera 100 operating in the normal imaging electronic zoom-off mode, as shown in FIG. 12A, the image sensor 110 reads the 60p imaging signal at each timing of the vertical synchronization, and the signal processing unit 120 The 60p imaging signal is converted into a 60i image signal at each timing of the vertical synchronization signal and supplied to the baseband processing unit 140.

また、ビデオカメラ100では、図12(B)に示すように、信号処理部120が、センサ水平同期信号及びベースバンド出力水平同期信号に対してカメラ信号処理水平同期信号の動作周期が半分で、撮像信号に信号処理を施す。   Further, in the video camera 100, as shown in FIG. 12B, the signal processing unit 120 has a half operation cycle of the camera signal processing horizontal synchronization signal with respect to the sensor horizontal synchronization signal and the baseband output horizontal synchronization signal, Signal processing is performed on the imaging signal.

以上のように、ビデオカメラ100は、通常撮像電子ズームオンモード時に、カメラ信号処理と解像度変換処理を行った後に画像信号をプログレッシブ方式からインタレース方式に変換するので、ライン加算部123により60pから60iに変換した後に解像度変換を行う場合に比べて、高解像度の拡大画像の画像信号を出力することができる。   As described above, the video camera 100 converts the image signal from the progressive method to the interlace method after performing the camera signal processing and the resolution conversion processing in the normal imaging electronic zoom on mode. Compared with the case where resolution conversion is performed after conversion to 60i, an image signal of a high-resolution enlarged image can be output.

また、ビデオカメラ100は、低速撮像モードにおいて、垂直同期信号の2周期に1回のタイミングでカメラ信号処理を行う。また、ビデオカメラ100は、通常撮像電子ズームオフモードにおいて、カメラ信号処理を行う前に画像信号を60pから垂直同期信号1周期当たりの走査線の数が半分である60iに変換する。よって、ビデオカメラ100は、低速撮像モード及び通常撮像電子ズームオフモードにおいて、従来と同様の負荷でカメラ信号処理を行うことができる。   In addition, the video camera 100 performs camera signal processing at a timing once every two periods of the vertical synchronization signal in the low-speed imaging mode. In the normal imaging electronic zoom-off mode, the video camera 100 converts the image signal from 60p to 60i in which the number of scanning lines per one period of the vertical synchronization signal is half before performing camera signal processing. Therefore, the video camera 100 can perform camera signal processing with a load similar to the conventional one in the low-speed imaging mode and the normal imaging electronic zoom-off mode.

このように、ビデオカメラ100では、信号処理部120での演算処理量の増加を抑えつつ画質の劣化を防止して、プログレッシブ方式の撮像信号をインタレース方式の画像信号に変換して、ベースバンド処理部140へ出力することができる。   As described above, in the video camera 100, deterioration in image quality is prevented while suppressing an increase in the amount of calculation processing in the signal processing unit 120, and a progressive imaging signal is converted into an interlaced image signal, so that baseband The data can be output to the processing unit 140.

なお、本発明は、以下の実施形態のみに限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変更が可能であることは勿論である。   It should be noted that the present invention is not limited to the following embodiments, and various modifications can be made without departing from the scope of the present invention.

ビデオカメラの全体構成を示すブロック図である。It is a block diagram which shows the whole structure of a video camera. イメージセンサ内における受光素子の配置を示す模式図であるIt is a schematic diagram which shows arrangement | positioning of the light receiving element in an image sensor. 信号処理部が備える各処理部の構成を示すブロック図である。It is a block diagram which shows the structure of each process part with which a signal processing part is provided. 図4(A)はライン加算部の構成を示すブロック図であり、図4(B)はライン加算部が行う処理を模式的示す図である。FIG. 4A is a block diagram illustrating a configuration of the line adder, and FIG. 4B is a diagram schematically illustrating processing performed by the line adder. 図5(A)はメモリ制御部の動作を示すタイムチャート図であり、図5(B)はメモリ制御部によって、1フレームのプログレッシブ方式の画像信号から2フィールドのインタレース方式の画像データに変換する動作を模式的に示す図である。FIG. 5A is a time chart showing the operation of the memory control unit, and FIG. 5B is a diagram illustrating how the memory control unit converts the 1-frame progressive image signal into 2-field interlaced image data. It is a figure which shows typically the operation | movement to perform. 図6(A)は低速撮像モードによるビデオカメラの動作を示す図であり、図6(B)は通常撮像電子ズームオフモードによるビデオカメラの動作を示す図であり、図6(C)は通常撮像電子ズームオンモードによるビデオカメラの動作を示す図である。6A is a diagram illustrating the operation of the video camera in the low-speed imaging mode, FIG. 6B is a diagram illustrating the operation of the video camera in the normal imaging electronic zoom-off mode, and FIG. It is a figure which shows operation | movement of the video camera by an imaging electronic zoom on mode. 低速撮像モードでのビデオカメラの各処理部の動作を示す模式図である。It is a schematic diagram which shows operation | movement of each process part of the video camera in low-speed imaging mode. 低速撮像モードでのビデオカメラの各処理部の動作を示すタイムチャート図である。It is a time chart figure which shows operation of each processing part of a video camera in low-speed imaging mode. 通常撮像電子ズームオフモードでのビデオカメラの各処理部の動作を示す模式図である。It is a schematic diagram which shows operation | movement of each process part of the video camera in normal imaging electronic zoom off mode. 通常撮像電子ズームオフモードでのビデオカメラの各処理部の動作を示すタイムチャート図である。It is a time chart figure which shows operation | movement of each process part of the video camera in normal imaging electronic zoom-off mode. 通常撮像電子ズームオンモードでのビデオカメラの各処理部の動作を示す模式図である。It is a schematic diagram which shows operation | movement of each process part of the video camera in normal imaging electronic zoom on mode. 通常撮像電子ズームオンモードでのビデオカメラの各処理部の動作を示すタイムチャート図である。It is a time chart figure which shows operation | movement of each process part of the video camera in normal imaging electronic zoom on mode.

符号の説明Explanation of symbols

100 ビデオカメラ、110 イメージセンサ、120 信号処理部、121 撮像信号入力部、122 画サイズ変換部、123 ライン加算部、124 カメラ信号処理部、125 解像度変換部、126 ラインメモリ、127 メモリ制御部、128 画像信号出力部、130 フレームメモリ、140 ベースバンド処理部、150 制御部   100 video camera, 110 image sensor, 120 signal processing unit, 121 imaging signal input unit, 122 image size conversion unit, 123 line addition unit, 124 camera signal processing unit, 125 resolution conversion unit, 126 line memory, 127 memory control unit, 128 image signal output unit, 130 frame memory, 140 baseband processing unit, 150 control unit

Claims (3)

被写体を撮像する撮像素子から読み出されるプログレッシブ方式の撮像信号を、インタレース方式の画像信号に変換して出力する画像信号出力装置において、
上記撮像素子から読み出された上記プログレッシブ方式の撮像信号を、そのフレーム内で垂直方向に並んだ2つの画素値を足し合わせて、1フィールド分の上記インタレース方式の撮像信号に変換する加算処理手段と、
上記プログレッシブ方式の撮像信号及び上記インタレース方式の撮像信号にカメラ信号処理を施して、それぞれ上記プログレッシブ方式の画像信号及び上記インタレース方式の画像信号に変換する信号処理手段と、
上記プログレッシブ方式の画像信号を、そのフレーム内における任意の一部を拡大して、2フィールド分の上記インタレース方式の画像信号に変換する解像度処理手段と、
上記プログレッシブ方式の画像信号を、1フレーム単位で所定のメモリに書き込むとともにこのメモリから1走査線置きに読み出して、2フィールド分の上記インタレース方式の画像信号に変換して出力するメモリ制御手段と、
上記プログレッシブ方式の撮像信号のフレームレートが上記インタレース方式の画像信号のフィールドレートの半分以下である第1の撮像モード、上記プログレッシブ方式の撮像信号のフレームレートが上記インタレース方式の画像信号のフィールドレートと同一であって撮像画像に拡大処理を施さない第2の撮像モード、及び、上記プログレッシブ方式の撮像信号のフレームレートが上記インタレース方式の画像信号のフィールドレートと同一であって撮像画像に拡大処理を施す第3の撮像モードに応じて、出力処理を制御する制御手段とを備え、
上記第1の撮像モードでは、上記信号処理手段が、上記撮像素子から読み出された上記プログレッシブ方式の撮像信号に上記カメラ信号処理を施して上記プログレッシブ方式の画像信号に変換して上記メモリ制御手段に供給し、上記メモリ制御手段が、上記プログレッシブ方式の画像信号を上記インタレース方式の画像信号に変換して出力し、
上記第2の撮像モードでは、上記加算処理手段が、上記撮像素子から読み出された上記プログレッシブ方式の撮像信号を上記インタレース方式の撮像信号に変換して上記信号処理手段に供給し、上記信号処理手段が、上記インタレース方式の撮像信号に上記カメラ信号処理を施して上記インタレース方式の画像信号に変換して出力し、
上記第3の撮像モードでは、上記信号処理手段が、上記撮像素子から読み出された上記プログレッシブ方式の撮像信号に上記カメラ信号処理を施して上記プログレッシブ方式の画像信号を上記解像度処理手段に供給し、上記解像度処理手段が、上記プログレッシブ方式の画像信号に拡大処理を施して上記インタレース方式の画像信号に変換して出力する出力処理を上記制御手段が制御することを特徴とする画像信号出力装置。
In an image signal output apparatus that converts a progressive image signal read from an image sensor that images a subject into an interlace image signal and outputs the image signal.
Addition processing for converting the progressive image signal read from the image sensor into the interlace image signal for one field by adding two pixel values arranged in the vertical direction within the frame. Means,
Signal processing means for performing camera signal processing on the progressive imaging signal and the interlace imaging signal to convert the progressive image signal and the interlace imaging signal, respectively;
Resolution processing means for enlarging an arbitrary part of the progressive image signal in the frame and converting the image signal into the interlace image signal for two fields;
Memory control means for writing the progressive image signal into a predetermined memory in units of one frame, reading out from the memory every other scanning line, converting the image signal into the interlaced image signal for two fields, and outputting it; ,
A first imaging mode in which a frame rate of the progressive imaging signal is equal to or less than half of a field rate of the interlaced image signal; and a frame rate of the progressive imaging signal is a field of the interlaced image signal. The second imaging mode that is the same as the rate and does not perform the enlargement process on the captured image, and the frame rate of the progressive imaging signal is the same as the field rate of the interlaced image signal, Control means for controlling the output process according to the third imaging mode for performing the enlargement process,
In the first imaging mode, the signal processing means performs the camera signal processing on the progressive imaging signal read from the imaging device to convert it into the progressive imaging signal, and the memory control means The memory control means converts the progressive image signal to the interlace image signal and outputs the converted signal.
In the second imaging mode, the addition processing means converts the progressive imaging signal read from the imaging element into the interlace imaging signal and supplies the signal to the signal processing means. The processing means performs the camera signal processing on the interlaced imaging signal to convert it to the interlaced image signal, and outputs it.
In the third imaging mode, the signal processing unit performs the camera signal processing on the progressive imaging signal read from the imaging element and supplies the progressive imaging signal to the resolution processing unit. An image signal output apparatus in which the control means controls an output process in which the resolution processing means performs an enlargement process on the progressive image signal, converts the image signal to the interlace image signal, and outputs the converted image signal. .
上記制御手段は、上記第2の撮像モードでは、上記撮像素子から読み出された上記プログレッシブ方式の撮像信号を、所定のメモリに記憶させることを特徴とする請求項1記載の画像信号出力装置。   2. The image signal output apparatus according to claim 1, wherein, in the second imaging mode, the control unit stores the progressive imaging signal read from the imaging element in a predetermined memory. 3. 被写体を撮像する撮像素子から読み出されるプログレッシブ方式の撮像信号を、インタレース方式の画像信号に変換して出力する画像信号出力装置の制御方法において、
上記プログレッシブ方式の撮像信号のフレームレートが上記インタレース方式の画像信号のフィールドレートの半分以下である場合には、上記撮像素子から読み出された上記プログレッシブ方式の撮像信号にカメラ信号処理を施して上記プログレッシブ方式の画像信号に変換し、このプログレッシブ方式の画像信号を1フレーム単位で所定のメモリに書き込むとともにこのメモリから1走査線置きに読み出して2フィールド分の上記インタレース方式の画像信号に変換して出力し、
上記プログレッシブ方式の撮像信号のフレームレートが上記インタレース方式の画像信号のフィールドレートと同一であって撮像画像に拡大処理を施さない場合には、上記撮像素子から読み出された1フレームの上記プログレッシブ方式の撮像信号をそのフレーム内で垂直方向に並んだ2つの画素値を足し合わせて1フィールド分の上記インタレース方式の撮像信号に変換し、このインタレース方式の撮像信号に上記カメラ信号処理を施して上記インタレース方式の画像信号に変換して出力し、
上記プログレッシブ方式の撮像信号のフレームレートが上記インタレース方式の画像信号のフィールドレートと同一であって撮像画像に拡大処理を施す場合には、上記撮像素子から読み出された上記プログレッシブ方式の撮像信号に上記カメラ信号処理を施して上記プログレッシブ方式の画像信号に変換し、このプログレッシブ方式の画像信号をそのフレーム内における任意の一部を拡大して2フィールド分の上記インタレース方式の画像信号に変換して出力することを特徴とする画像信号出力装置の制御方法。
In a control method of an image signal output device that converts a progressive image signal read from an image sensor that images a subject into an interlace image signal and outputs the image signal.
When the frame rate of the progressive imaging signal is less than half the field rate of the interlaced image signal, camera signal processing is performed on the progressive imaging signal read from the imaging device. Convert to the progressive format image signal, write the progressive format image signal into a predetermined memory in units of one frame, and read from the memory every other scanning line to convert it to the interlace format image signal for two fields. Output
When the frame rate of the progressive imaging signal is the same as the field rate of the interlaced image signal and the enlarged image is not subjected to enlargement processing, the progressive image of one frame read from the imaging device is used. The image signal of the system is added to two pixel values arranged in the vertical direction within the frame to convert the image signal into the interlaced image signal for one field, and the camera signal processing is applied to the interlaced image signal. And convert to the interlaced image signal and output it,
When the frame rate of the progressive imaging signal is the same as the field rate of the interlaced image signal and the enlarged image is subjected to enlargement processing, the progressive imaging signal read from the imaging device is used. The above-mentioned camera signal processing is performed to convert the image into a progressive format image signal, and the progressive format image signal is enlarged into a part of the frame and converted into the interlace format image signal for two fields. And a method for controlling the image signal output apparatus.
JP2006230953A 2006-08-28 2006-08-28 Image signal output apparatus and control method thereof Expired - Fee Related JP4697094B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2006230953A JP4697094B2 (en) 2006-08-28 2006-08-28 Image signal output apparatus and control method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006230953A JP4697094B2 (en) 2006-08-28 2006-08-28 Image signal output apparatus and control method thereof

Publications (2)

Publication Number Publication Date
JP2008054221A JP2008054221A (en) 2008-03-06
JP4697094B2 true JP4697094B2 (en) 2011-06-08

Family

ID=39237796

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006230953A Expired - Fee Related JP4697094B2 (en) 2006-08-28 2006-08-28 Image signal output apparatus and control method thereof

Country Status (1)

Country Link
JP (1) JP4697094B2 (en)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5246045B2 (en) * 2008-10-15 2013-07-24 株式会社リコー Moving image processing apparatus and video camera apparatus using the same
KR101557163B1 (en) 2008-12-23 2015-10-05 삼성전자주식회사 Apparatus and method for converting image in an image processing system
CN106713727B (en) * 2015-07-21 2019-12-27 杭州海康威视数字技术股份有限公司 Control system, control method and control device of image acquisition equipment

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05260447A (en) * 1992-03-11 1993-10-08 Hitachi Ltd Television receiver
JP2001086404A (en) * 1999-09-17 2001-03-30 Victor Co Of Japan Ltd Digital phase information generator
JP2002314870A (en) * 2001-04-17 2002-10-25 Canon Inc Imaging device, method, program, and computer-readable record medium
JP2002314878A (en) * 2001-04-17 2002-10-25 Victor Co Of Japan Ltd Method for reproducing variable image size
JP2003046811A (en) * 2001-07-31 2003-02-14 Matsushita Electric Ind Co Ltd Video signal processing circuit
JP2003153078A (en) * 2001-11-14 2003-05-23 Sony Corp Digital camera device and its electronic zoom processing method
JP2004312503A (en) * 2003-04-09 2004-11-04 Matsushita Electric Ind Co Ltd Motion picture decoding device
JP2005021970A (en) * 2003-07-03 2005-01-27 Obara Corp Uniaxial motor operated welding gun equipped with weaving function

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05260447A (en) * 1992-03-11 1993-10-08 Hitachi Ltd Television receiver
JP2001086404A (en) * 1999-09-17 2001-03-30 Victor Co Of Japan Ltd Digital phase information generator
JP2002314870A (en) * 2001-04-17 2002-10-25 Canon Inc Imaging device, method, program, and computer-readable record medium
JP2002314878A (en) * 2001-04-17 2002-10-25 Victor Co Of Japan Ltd Method for reproducing variable image size
JP2003046811A (en) * 2001-07-31 2003-02-14 Matsushita Electric Ind Co Ltd Video signal processing circuit
JP2003153078A (en) * 2001-11-14 2003-05-23 Sony Corp Digital camera device and its electronic zoom processing method
JP2004312503A (en) * 2003-04-09 2004-11-04 Matsushita Electric Ind Co Ltd Motion picture decoding device
JP2005021970A (en) * 2003-07-03 2005-01-27 Obara Corp Uniaxial motor operated welding gun equipped with weaving function

Also Published As

Publication number Publication date
JP2008054221A (en) 2008-03-06

Similar Documents

Publication Publication Date Title
US8009337B2 (en) Image display apparatus, method, and program
JP2007228019A (en) Imaging apparatus
JP4255345B2 (en) Imaging device
JP4105967B2 (en) Digital still camera
JP2007109204A (en) Image processor and image processing method
JP6358847B2 (en) Display processing apparatus and imaging apparatus
KR20060047795A (en) Image display device
JP4697094B2 (en) Image signal output apparatus and control method thereof
JP2004336608A (en) Method and circuit for converting image data, and electronic camera
JP5820720B2 (en) Imaging device
JP2014099714A (en) Image processing apparatus, imaging device, image processing method, and program
JP4844446B2 (en) Imaging apparatus and imaging method
JP5225068B2 (en) Image processing apparatus and image processing method
JP5965173B2 (en) Moving image processing system, image processing apparatus, and moving image processing system operating method
JP2004228775A (en) Frame conversion method, frame conversion circuit, and electronic camera
JP2007243819A (en) Image processing apparatus
JP5300606B2 (en) Imaging apparatus and control method thereof
JP4211572B2 (en) Imaging device
JP2664578B2 (en) Video signal playback method
JP2006005596A (en) Semiconductor integrated circuit device and imaging device
JP2005020521A (en) Imaging apparatus and cellular phone equipped with the same imaging apparatus
JP2006020024A (en) Electronic zoom device
JP2005006078A (en) Image pickup device
JPH11191859A (en) Image pickup device
JP2006003481A (en) Image size conversion apparatus and image pickup apparatus

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090717

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110105

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110201

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110214

LAPS Cancellation because of no payment of annual fees