JP5965173B2 - Moving image processing system, image processing apparatus, and moving image processing system operating method - Google Patents
Moving image processing system, image processing apparatus, and moving image processing system operating method Download PDFInfo
- Publication number
- JP5965173B2 JP5965173B2 JP2012068873A JP2012068873A JP5965173B2 JP 5965173 B2 JP5965173 B2 JP 5965173B2 JP 2012068873 A JP2012068873 A JP 2012068873A JP 2012068873 A JP2012068873 A JP 2012068873A JP 5965173 B2 JP5965173 B2 JP 5965173B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- frame
- display
- rate
- synchronization signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Studio Devices (AREA)
Description
本発明は、画像の処理技術に関する。 The present invention relates to an image processing technique.
デジタルスチルカメラ、またはデジタルビデオカメラ等の撮像装置は、撮像素子で被写体を撮像しつつ、撮像した画像を動画的態様にてLCD等の表示部にリアルタイムに表示する、いわゆるスルー画像表示機能を有している(例えば、特許文献1)。 An imaging device such as a digital still camera or a digital video camera has a so-called through image display function that displays a captured image in real time on a display unit such as an LCD in a moving image manner while imaging an object with an imaging element. (For example, Patent Document 1).
このような撮像装置では、表示部での画像表示を違和感なく行うために、60fps程度の比較的高いフレームレートで表示部が駆動されており、これに対応して、撮像素子も表示用の画像を取得するために同じフレームレートで駆動されていた。 In such an imaging apparatus, the display unit is driven at a relatively high frame rate of about 60 fps in order to display an image on the display unit without a sense of incongruity. Correspondingly, the image sensor also displays an image for display. Was driven at the same frame rate to get.
しかし、撮像素子を表示部と同じ比較的高いフレームレートで駆動させた場合、露光時間が短くなるため、暗い室内などでは十分な光量を得ることができず、表示部には、全体的に輝度の低い画像が表示されていた。 However, when the image sensor is driven at the same relatively high frame rate as the display unit, the exposure time is shortened, so that a sufficient amount of light cannot be obtained in a dark room or the like. A low image of was displayed.
このような現象は、撮像装置に限らず、撮像素子によって取得した画像を表示部に表示する他の装置およびシステムにおいても発生し得る。 Such a phenomenon may occur not only in the imaging apparatus but also in other apparatuses and systems that display an image acquired by the imaging element on the display unit.
そこで、本発明は、暗い室内でも輝度の比較的高い画像を取得して表示部に表示することが可能な技術を提供することを目的とする。 Therefore, an object of the present invention is to provide a technique capable of acquiring an image having a relatively high luminance even in a dark room and displaying the image on a display unit.
本発明に係る動画像処理システムの第1の態様は、被写体像に関する画像を取得する撮像素子と、前記撮像素子によって取得された画像に縮小処理を施す縮小処理手段と、前記縮小処理後の画像を記憶する記憶手段と、前記記憶手段から読み出した画像に対して、前記縮小処理が施される前の画像サイズに戻す拡大処理を施し、拡大処理後の画像を、所定のフレーム表示レートで表示部に表示させる表示制御手段と、前記フレーム表示レートよりも低いフレームレートであるフレームキャプチャレートで前記撮像素子を駆動する駆動手段と、前記撮像素子による1フレーム分の画像取得動作と、前記表示部による同一フレームを用いた複数回の画像表示動作との同期をとる同期手段とを備え、前記同期手段は、前記フレーム表示レートを規定する垂直同期信号とマスク信号とに基づいて当該垂直同期信号の一部をマスクすることによって、当該垂直同期信号に対して複数倍の周期を有する動作同期信号を生成する信号生成手段を有し、前記駆動手段は、前記動作同期信号によって規定されるフレームレートを前記フレームキャプチャレートとして用いる。 According to a first aspect of the moving image processing system of the present invention, an image sensor that acquires an image related to a subject image, a reduction processing unit that performs a reduction process on the image acquired by the image sensor, and an image after the reduction process Storage means for storing the image, and an enlargement process for returning the image read from the storage means to the image size before the reduction process is performed, and the image after the enlargement process is displayed at a predetermined frame display rate. Display control means for displaying on the display unit, drive means for driving the image sensor at a frame capture rate that is lower than the frame display rate, image acquisition operation for one frame by the image sensor, and the display section and a synchronizing means for synchronizing the plurality of image display operation using the same frame by said synchronization means, defining said frame display rate A signal generation means for generating an operation synchronization signal having a multiple of the period of the vertical synchronization signal by masking a part of the vertical synchronization signal based on the vertical synchronization signal and the mask signal, The driving means uses a frame rate defined by the operation synchronization signal as the frame capture rate.
また、本発明に係る動画像処理システムの第2の態様は、上記第1の態様であって、前記動画像処理システムは、前記画像取得動作によって取得した1フレーム分の画像を、次の画像取得動作と同期した複数回の画像表示動作でそれぞれ表示させる。 The second aspect of the moving image processing system according to the present invention is the above first condition like, the moving image processing system, one frame image acquired by the image acquisition operation, the following Each image is displayed by a plurality of image display operations synchronized with the image acquisition operation.
また、本発明に係る動画像処理システムの第3の態様は、上記第1の態様または上記第2の態様であって、前記縮小処理手段は、前記撮像素子によって取得された画像の水平成分を間引くことによって、当該画像を水平方向に縮小させる縮小処理を施し、前記表示制御手段は、前記記憶手段から読み出した画像を前記水平方向に拡大させる。 Further, a third aspect of the moving image processing system according to the present invention is the first aspect or the second aspect , wherein the reduction processing means calculates a horizontal component of an image acquired by the image sensor. By performing thinning, a reduction process for reducing the image in the horizontal direction is performed, and the display control unit enlarges the image read from the storage unit in the horizontal direction.
また、本発明に係る画像処理装置は、被写体像に関する画像を取得する撮像素子と、前記撮像素子によって取得された画像に縮小処理を施す縮小処理手段と、前記縮小処理後の画像を記憶する記憶手段と、前記記憶手段から読み出した画像に対して、前記縮小処理が施される前の画像サイズに戻す拡大処理を施し、拡大処理後の画像を、所定のフレーム表示レートで表示部に表示させる表示制御手段と、前記フレーム表示レートよりも低いフレームレートであるフレームキャプチャレートで前記撮像素子を駆動する駆動手段と、前記撮像素子による1フレーム分の画像取得動作と、前記表示部による同一フレームを用いた複数回の画像表示動作との同期をとる同期手段とを備え、前記同期手段は、前記フレーム表示レートを規定する垂直同期信号とマスク信号とに基づいて当該垂直同期信号の一部をマスクすることによって、当該垂直同期信号に対して複数倍の周期を有する動作同期信号を生成する信号生成手段を有し、前記駆動手段は、前記動作同期信号によって規定されるフレームレートを前記フレームキャプチャレートとして用いる。 The image processing apparatus according to the present invention includes an image sensor that acquires an image related to a subject image, a reduction processing unit that performs a reduction process on the image acquired by the image sensor, and a memory that stores the image after the reduction process. And the image read from the storage means are subjected to an enlargement process for returning to the image size before the reduction process, and the image after the enlargement process is displayed on the display unit at a predetermined frame display rate. Display control means, drive means for driving the image sensor at a frame capture rate that is lower than the frame display rate, image acquisition operation for one frame by the image sensor, and the same frame by the display section and a plurality of times synchronization means to synchronize the image display operation using the synchronization means, the vertical defining the frame display rate synchronous Signal generating means for generating an operation synchronization signal having a multiple of the period of the vertical synchronization signal by masking a part of the vertical synchronization signal based on a signal and a mask signal; Uses a frame rate defined by the operation synchronization signal as the frame capture rate.
また、本発明に係る動画像処理システムの動作方法は、a)被写体像に関する画像を撮像素子で取得する工程と、b)前記撮像素子によって取得された画像に縮小処理を施す工程と、c)前記縮小処理後の画像を記憶手段に記憶する工程と、d)前記記憶手段から読み出した画像に対して、前記縮小処理が施される前の画像サイズに戻す拡大処理を施し、拡大処理後の画像を、所定のフレーム表示レートで表示部に表示させる工程とを備え、前記a)工程は、前記フレーム表示レートよりも低いフレームレートであるフレームキャプチャレートで前記撮像素子を駆動して行われ、前記a)工程における1フレーム分の画像取得動作と、前記d)工程における同一フレームを用いた複数回の画像表示動作とは同期をとって行われ、e)前記フレーム表示レートを規定する垂直同期信号とマスク信号とに基づいて当該垂直同期信号の一部をマスクすることによって、当該垂直同期信号に対して複数倍の周期を有する動作同期信号を生成する工程をさらに備え、前記動作同期信号によって規定されるフレームレートが前記フレームキャプチャレートとして用いられる。
In addition, the operation method of the moving image processing system according to the present invention includes: a) a step of acquiring an image related to a subject image by an imaging device; b) a step of performing a reduction process on the image acquired by the imaging device; c) A step of storing the image after the reduction process in a storage unit; and d) performing an enlargement process for returning to the image size before the reduction process is performed on the image read from the storage unit, and A step of displaying an image on a display unit at a predetermined frame display rate, and the step a) is performed by driving the image sensor at a frame capture rate that is lower than the frame display rate. wherein a) an image acquisition operation for one frame in step, the plurality of image display operation using the same frame in the step d) performed synchronously, e) the full Generating an operation synchronization signal having a multiple of the period of the vertical synchronization signal by masking a part of the vertical synchronization signal based on the vertical synchronization signal and the mask signal for defining the frame display rate And a frame rate defined by the operation synchronization signal is used as the frame capture rate.
本発明によれば、暗い室内でも輝度の比較的高い画像を取得して、表示部に表示することができる。 According to the present invention, an image with relatively high luminance can be acquired and displayed on the display unit even in a dark room.
以下、各実施形態について図面を参照して説明する。なお、異なる図面において同一の符号を付した要素は、同一または相応する要素を示すものとする。 Each embodiment will be described below with reference to the drawings. In addition, the element which attached | subjected the same code | symbol in different drawing shall show the same or corresponding element.
<1.第1実施形態>
[1−1.構成]
第1実施形態に係る動画像処理システム1Aは、被写体を撮像して画像を取得しつつ、撮影画像をリアルタイム(実時間)で表示部に表示する、いわゆるライブビュー表示機能(スルー画像表示機能)を有している。このような動画像処理システム1Aとしては、例えば、デジタルスチルカメラまたはデジタルビデオカメラなどの撮像装置、撮影機能を備えた携帯情報端末および携帯電話、或いは画像処理装置が想定される。
<1. First Embodiment>
[1-1. Constitution]
The moving
まず、最初に、当該動画像処理システム1Aの構成について説明する。図1は、第1実施形態に係る動画像処理システム1Aの機能構成を示すブロック図である。
First, the configuration of the moving
図1に示されるように、動画像処理システム1Aは、撮像部11と、信号処理回路12Aと、メモリ13Aと、メモリ制御部14と、表示部15と、表示制御回路16Aとを備えている。
As illustrated in FIG. 1, the moving
撮像部11は、例えば、COMSセンサまたはCCDセンサなどの撮像素子111(図2)を有して構成されている。当該撮像素子111は、被写体像を形成する光(被写体光)を受光して、被写体像に関する画像の画像データを生成する機能を有している。また、撮像部11は、撮像素子111によって生成された画像データに対して、A/D変換処理、画素補間処理、およびYUV変換処理等を施し、YUV形式のデジタル画像データを信号処理回路12Aに出力する。
The
また、撮像部11は、撮像素子111による画像データの取得動作を制御する駆動回路(不図示)をもさらに有している。
The
信号処理回路12Aは、撮像部11から入力された画像データを一時的にバッファリングして、当該画像データをメモリ13Aに出力する。なお、ここでは、撮像部11から入力される画像データが、YUV形式のデジタルデータである場合を例示しているが、撮像部11から入力される画像データは、RGB形式の画像データであってもよい。この場合、当該RGB形式の画像データは、信号処理回路12AにてYUV形式の画像データに変換されることになる。
The
メモリ13Aは、DRAM等を用いて構成され、画像データを記憶する記憶手段として機能する。本実施形態のメモリ13Aは、物理的に異なる2つのメモリを有した、ダブルバッファ構成となっている。
The
メモリ制御部14は、メモリ13Aへの画像データの書込動作およびメモリ13Aからの画像データの読出動作を制御する。例えば、メモリ制御部14は、信号処理回路12Aから出力された画像データをバス17を介して取得し、当該画像データをメモリ13Aに記憶させる書込動作(記憶制御)を行う。また、メモリ制御部14は、表示制御回路16Aからの画像データの読出指示信号に応じて、メモリ13Aから画像データを読み出す読出制御を行う。
The
表示部15は、液晶ディスプレイ(LCD:Liquid Crystal Display)または有機ELディスプレイ等の表示手段であり、表示制御回路16Aから入力された画像データに基づく画像を、所定のフレームレートで表示する。
The
なお、画像を表示する際の表示部15のフレームレート(「フレーム表示レート」または「表示フレームレート」とも称する)は、垂直同期信号の周波数に等しく、本実施形態では、60fpsとなっている。
Note that the frame rate (also referred to as “frame display rate” or “display frame rate”) of the
表示制御回路16Aは、表示部15における画像の表示動作を制御する。具体的には、表示制御回路16Aは、メモリ13Aから画像データを読み出すための読出指示信号を出力し、バス17を介して画像データを取得する。そして、表示制御回路16Aは、取得した画像データを、表示部15から入力される垂直同期信号に基づいて表示部15に表示可能な形式に変換して出力する。
The display control circuit 16 </ b> A controls the image display operation on the
また、表示制御回路16Aは、表示部15を用いた画像表示動作と撮像部11を用いた画像取得動作(撮像動作)との同期をとるための同期信号(「動作同期信号」とも称する)を、垂直同期信号に基づいて生成する同期信号生成回路(動作同期信号生成回路)161を有している。当該同期信号生成回路161によって生成された動作同期信号は、撮像部11に出力される。
The display control circuit 16A also generates a synchronization signal (also referred to as an “operation synchronization signal”) for synchronizing the image display operation using the
なお、ここでは、表示制御回路16Aは、表示部15から垂直同期信号を得る構成としていたが、表示制御回路16Aは、垂直同期信号を自ら生成する態様であってもよい。この場合、表示制御回路16Aは、自ら生成した垂直同期信号に基づいて画像データを表示部15に出力することになり、同期信号生成回路161は、自ら生成した垂直同期信号を用いて、動作同期信号を生成することになる。
Here, the display control circuit 16A is configured to obtain the vertical synchronization signal from the
[1−2.動作]
次に、動画像処理システム1Aの動作について説明する。図2は、動画像処理システム1Aの動作概要を示す図である。
[1-2. Operation]
Next, the operation of the moving
図2に示されるように、動画像処理システム1Aでは、撮像部11内の撮像素子111は、駆動回路の制御に従って、例えば、15fpsのフレームレート(「フレームキャプチャレート」または「フレーム取得レート」とも称する)で駆動される。そして、撮像部11から出力される画像データは、フレームごとにメモリ13Aに記憶される。
As shown in FIG. 2, in the moving
ここで、本実施形態のメモリ13Aは、物理的に異なる第1メモリ131と第2メモリ132とを有した、ダブルバッファ構成となっている。
Here, the
撮像部11から順次に出力される1フレーム分の画像データは、第1メモリ131および第2メモリ132のうち、いずれか一方に交互に記憶される。図2では、撮像部11から出力されたフレームF1の画像データが、第1メモリ131に記憶され、次に撮像部11から出力されたフレームF2の画像データが、第2メモリ132に記憶された態様が例示されている。
One frame of image data sequentially output from the
一方、表示部15には、メモリ13Aから読み出された画像データが、1フレームごとに表示されるが、表示部15のフレーム表示レートは、上述のように60fpsである。このように、表示部15のフレーム表示レートは、撮像素子111のフレームキャプチャレート(フレーム取得レート)よりも高いため、動画像処理システム1Aは、1フレーム分の画像データをメモリ13Aへ記憶する間に、同じフレームの画像データをメモリ13Aから複数回読み出して表示部15に出力する。
On the other hand, the
例えば、図2に示されるように、0sから1/15sまでの第1期間T1において、フレームF1の画像データが撮像部11によって取得され、当該フレームF1の画像データが第1メモリ131に記憶された場合を想定する。この場合、次の1/15sから2/15sまでの第2期間T2では、動画像処理システム1Aは、フレームF2の画像データを取得して、当該画像データを第2メモリ132に記憶する間に、第1メモリ131に記憶されているフレームF1の画像データを1/60s間隔で4回読み出して表示部15に出力する。さらに次の2/15sから3/15sまでの第3期間T3では、動画像処理システム1Aは、フレームF3の画像データを取得して、当該画像データを第1メモリ131に記憶する間に、第2メモリ132に記憶されているフレームF2の画像データを1/60s間隔で4回読み出して表示部15に出力する。
For example, as shown in FIG. 2, in the first period T1 from 0 s to 1/15 s, the image data of the frame F1 is acquired by the
このように、動画像処理システム1Aでは、撮像素子111のフレームキャプチャレートを表示部15のフレーム表示レートよりも低く設定した状態で、1フレームの画像取得動作と、1フレームに関する画像表示動作とが、同期をとって行われる。
As described above, in the moving
[1−3.画像取得動作と画像表示動作との同期原理]
次に、動画像処理システム1Aにおける画像取得動作と画像表示動作との同期原理について説明する。図3は、同期信号生成回路161の詳細構成を示す図である。図4は、同期信号生成回路161に入力される入力信号と、同期信号生成回路161から出力される出力信号とを示す図である。図5は、画像取得動作と画像表示動作との関係を示すタイムチャートである。
[1-3. Synchronization principle between image acquisition and image display]
Next, the synchronization principle between the image acquisition operation and the image display operation in the moving
動画像処理システム1Aでは、画像取得動作と画像表示動作との同期をとるために動作同期信号DSが用いられる。当該動作同期信号DSは、表示制御回路16A内の同期信号生成回路161によって生成される。
In the moving
図3に示されるように、同期信号生成回路161は、論理積回路(AND回路)と否定回路(NOT回路)とで構成され、同期信号生成回路161は、マスク信号MSを反転させた反転信号と、垂直同期信号HSとの論理積をとって、動作同期信号DSを生成する。
As shown in FIG. 3, the synchronization
このようにして生成される動作同期信号DSは、図4に示されるように、フレーム表示レートを規定する垂直同期信号HSの一部をマスクした信号であり、垂直同期信号HSに対して複数倍(ここでは、4倍)の周期を有している。換言すれば、動作同期信号DSの周波数は、垂直同期信号HSの周波数の1/4となっている。 The operation synchronization signal DS generated in this way is a signal obtained by masking a part of the vertical synchronization signal HS that defines the frame display rate, as shown in FIG. 4, and is a multiple of the vertical synchronization signal HS. (Here, four times). In other words, the frequency of the operation synchronization signal DS is 1/4 of the frequency of the vertical synchronization signal HS.
同期信号生成回路161において生成された動作同期信号DSは、表示制御回路16Aから出力され、撮像部11に入力される。撮像部11の駆動回路は、当該動作同期信号DSによって規定されるフレームキャプチャレートで撮像素子111を駆動し、画像取得動作を実行する。ここで、撮像部11の駆動回路は、撮像素子111のフレームキャプチャレートを動作同期信号DSの周波数に等しい値に設定する。
The operation synchronization signal DS generated by the synchronization
これにより、図5に示されるように、動作同期信号DSの第1周期DP1では、例えば、フレームF1の画像データを取得するための画像取得動作GF1が実行され、第2周期DP2では、フレームF2の画像データを取得するための画像取得動作GF2が実行されることになる。 Accordingly, as shown in FIG. 5, in the first period DP1 of the operation synchronization signal DS, for example, an image acquisition operation GF1 for acquiring image data of the frame F1 is executed, and in the second period DP2, the frame F2 The image acquisition operation GF2 for acquiring the image data is executed.
これに対して、表示部15では、垂直同期信号HSに基づいたフレーム表示レートで、画像表示動作が実行される。具体的には、図5に示されるように、表示部15は、垂直同期信号HSの周波数に等しいフレーム表示レートで駆動され、画像表示動作の実行中は、垂直同期信号HSの各周期において、画像表示動作HF1,HF2が実行されることになる。
On the other hand, the
ここで、動作同期信号DSは、垂直同期信号HSの一部をマスクして生成された信号であり、動作同期信号DSは、垂直同期信号HSにおける4周期ごとの信号と同一タイミングの信号となっている。 Here, the operation synchronization signal DS is a signal generated by masking a part of the vertical synchronization signal HS, and the operation synchronization signal DS is a signal having the same timing as the signal of every four periods in the vertical synchronization signal HS. ing.
このため、動画像処理システム1Aでは、動作同期信号DSの或る1周期において、1フレーム分の画像取得動作が行われた場合、動作同期信号DSの当該或る1周期と同じ時間帯における垂直同期信号HSの4周期それぞれにおいて、同一フレームの画像表示動作が行われることになる。例えば図5では、動作同期信号DSの第2周期DP2において、フレームF2の画像取得動作GF2が実行され、動作同期信号DSの当該第2周期DP2と同時期の垂直同期信号HSの4周期HP21〜HP24それぞれにおいて、同一フレームF1の画像表示動作HF1が実行される態様が示されている。
Therefore, in the moving
このように、動画像処理システム1Aは、撮像素子111による1フレーム分の画像取得動作と、表示部15による同一フレームを用いた複数回の画像表示動作との同期をとる同期手段を有し、当該同期手段には、画像取得動作と画像表示動作との同期をとるための動作同期信号DSを生成する同期信号生成回路161が含まれている。
As described above, the moving
以上のように、動画像処理システム1Aは、被写体像に関する画像を取得する撮像素子111と、撮像素子111によって取得された画像を記憶するメモリ13Aと、メモリ13Aに記憶された画像を所定のフレーム表示レートで表示部15に表示させる表示制御回路16Aと、フレーム表示レートよりも低いフレームレートであるフレームキャプチャレートで撮像素子111を駆動する駆動回路と、撮像素子111による1フレーム分の画像取得動作と、表示部15による同一フレームを用いた複数回の画像表示動作との同期をとる同期手段とを備えている。
As described above, the moving
このような動画像処理システム1Aでは、表示部15のフレーム表示レートよりも低いフレームキャプチャレートで撮像素子111を駆動するので、露光時間を長く確保でき、暗い環境下でも比較的明るい画像を取得して表示部15に表示することが可能になる。
In such a moving
また一方、動画像処理システム1Aでは、表示部15のフレーム表示レートを撮像素子111のフレームキャプチャレートに合わせて下げることなく、高いフレームレート(例えば、60fps)を維持して画像を表示するので、画面のちらつきを抑えることができる。
On the other hand, in the moving
また、動画像処理システム1Aは、画像取得動作GF1によって取得した1フレーム分の画像を、次の画像取得動作GF2と同期した複数回の画像表示動作HF1でそれぞれ表示する。このような動画像処理システム1Aでは、新たに取得した画像を表示済みの画像に上書きして保存することにより、メモリ13Aの記憶容量を2フレーム分の画像を記憶可能な容量とすることが可能になり、メモリ13Aの記憶容量を抑制することができる。
Further, the moving
また、このような動画像処理システム1Aでは、画像を取得した後に当該画像を表示するまでの遅延を少なくすることができる。
Further, in such a moving
<2.第2実施形態>
次に、本発明の第2実施形態について説明する。上記第1実施形態に係る動画像処理システム1Aは、ダブルバッファ構成のメモリ13Aを有していたが、第2実施形態に係る動画像処理システム1Bは、シングルバッファ構成のメモリ13Aを有している。なお、動画像処理システム1Bは、動画像処理システム1Aとほぼ同様の構造および機能(図1および図3参照)を有しており、共通する部分については同じ符号を付して説明を省略する。図6は、第2実施形態に係る動画像処理システム1Bの動作概要を示す図である。
<2. Second Embodiment>
Next, a second embodiment of the present invention will be described. The moving
図1に示されるように、動画像処理システム1Bは、撮像部11と、信号処理回路12Bと、メモリ13Bと、メモリ制御部14と、表示部15と、表示制御回路16Bとを備えている。
As shown in FIG. 1, the moving
撮像部11は、例えば、COMSセンサまたはCCDセンサなどの撮像素子111(図2)を有して構成されている。そして、撮像部11は、撮像素子111によって生成された画像データに対して、A/D変換処理、画素補間処理、およびYUV変換処理等を施すことによって、YUV形式のデジタル画像データを取得し、当該デジタル画像データを信号処理回路12Bに出力する。
The
信号処理回路12Bは、撮像部11から入力された画像データに対して、画像を水平方向に1/2に縮小させる縮小処理を施す機能を有している。このような縮小処理は、FIRフィルタと縮小フィルタ(バイリニアフィルタ)とで構成されたフィルタによって実現され、当該フィルタは、縮小処理の際に発生するノイズを軽減する機能をも有している。
The
そして、信号処理回路12Bは、縮小処理後の画像データをメモリ13Bに出力する。
Then, the
なお、ここでは、撮像部11から入力される画像データが、YUV形式のデジタルデータである場合を例示しているが、撮像部11から入力される画像データは、RGB形式の画像データであってもよい。この場合、当該RGB形式の画像データは、信号処理回路12BにてYUV形式の画像データに変換されることになる。
Here, the case where the image data input from the
メモリ13Bは、DRAM等を用いて構成され、画像データを記憶する記憶手段として機能する。メモリ13Bには、上述のように、シングルバッファ構成が採用されている。
The
メモリ制御部14は、メモリ13Bへの画像データの書込動作およびメモリ13Bからの画像データの読出動作を制御する。
The
表示制御回路16Bは、表示部15における画像の表示動作を制御する。具体的には、表示制御回路16Bは、メモリ13Bから画像データを読み出すための読出指示信号を出力し、バス17を介して画像データを取得する。そして、表示制御回路16Bは、取得した画像データに対して、画像を水平方向に2倍に拡大させる拡大処理を施す。さらに、表示制御回路16Bは、拡大処理後の画像データを表示部15から入力される垂直同期信号に基づいて表示部15に表示可能な形式に変換して出力する。
The display control circuit 16B controls the image display operation on the
また、表示制御回路16Bは、動作同期信号を生成する同期信号生成回路161を有している。表示制御回路16Bは、同期信号生成回路161によって生成された動作同期信号を、撮像部11に対して出力する。
In addition, the display control circuit 16B includes a synchronization
このような構成を有する動画像処理システム1Bは、撮像部11から出力される1フレーム分の画像データを、1/2に縮小してメモリ13Bに記憶しつつ、記憶済みの画像データをメモリ13Bから読み出して、当該画像データを2倍に拡大した後、表示部15に出力する。図6では、撮像部11から出力されたフレームF1の画像データをメモリ13Bに記憶後、次に出力されたフレームF2の画像データを、メモリ13Bに記憶しつつ、記憶済みのフレームF1の画像データをメモリ13Bから読み出して表示部15に出力している態様が例示されている。
The moving
以上のように、第2実施形態の動画像処理システム1Bは、画像を縮小してメモリ13Bに記憶するため、メモリ13Bの記憶容量を削減することができ、メモリ13Bのコストダウンを実現できる。
As described above, since the moving
<3.変形例>
以上、この発明の実施の形態について説明したが、この発明は、上記に説明した内容に限定されるものではない。
<3. Modification>
Although the embodiments of the present invention have been described above, the present invention is not limited to the contents described above.
例えば、上記各実施形態では、表示部15のフレーム表示レートが、撮像素子111のフレームキャプチャレートよりも高い場合の例として、表示部15を60fpsのフレーム表示レートで駆動し、撮像素子111を15fpsのフレームキャプチャレートで駆動した場合を例示したが、これに限定されない。
For example, in each of the embodiments described above, as an example in which the frame display rate of the
具体的には、表示部15を60fpsのフレーム表示レートで駆動し、撮像素子111を20fpsまたは30fpsのフレームキャプチャレートで駆動してもよい。或いは、表示部15を80fpsのフレーム表示レートで駆動し、撮像素子111を15fps、20fpsまたは30fpsのフレームキャプチャレートで駆動してもよい。
Specifically, the
また、上記第2実施形態では、画像データの縮小率を1/2としていたが、これに限定されず、画像データの縮小率は、2/3であっても、1/3であってもよい。 In the second embodiment, the reduction rate of the image data is halved. However, the present invention is not limited to this, and the reduction rate of the image data may be 2/3 or 1/3. Good.
また、上記第2実施形態では、画像を縮小する際に水平方向に縮小させていたが、垂直方向に縮小させてもよい。図7は、水平間引きによって画像を縮小させる様子を示す図である。図8は、垂直間引きによって画像を縮小させる様子を示す図である。 In the second embodiment, the image is reduced in the horizontal direction when reduced, but may be reduced in the vertical direction. FIG. 7 is a diagram illustrating how an image is reduced by horizontal thinning. FIG. 8 is a diagram illustrating how an image is reduced by vertical thinning.
具体的には、上記第2実施形態では、図7に示されるように、画像GRの水平成分を間引く水平間引き(画素間引き)によって、画像GRを水平方向に1/2に縮小させていた。これに対して、図8に示されるように、画像GRの垂直成分を間引く垂直間引き(ライン間引き)によって、画像GRを垂直方向に1/2に縮小させてもよい。 Specifically, in the second embodiment, as shown in FIG. 7, the image GR is reduced in half in the horizontal direction by horizontal thinning (pixel thinning) for thinning the horizontal component of the image GR. On the other hand, as shown in FIG. 8, the image GR may be reduced in half in the vertical direction by vertical thinning (line thinning) for thinning the vertical component of the image GR.
なお、表示部15における画像の表示が、画像左上の始点画素から一定の行方向に沿って順次に画素を表示し、行単位の表示が終了する度に改行しつつ、上記一定の行方向に沿って画素を順次に表示する、いわゆるラスター順で行われる場合、水平間引きによって画像を縮小させることが好ましい。
In addition, the display of the image on the
具体的には、画像データを表示部15に出力する前に表示制御回路16で行われる画像の拡大処理では、縮小処理の際に間引かれた画素の画素値が補間演算により取得される。
Specifically, in the image enlargement process performed by the display control circuit 16 before the image data is output to the
垂直間引きによって得られた縮小画像を拡大する場合、間引かれた行(間引き行)の各画素の画素値を算出するために、当該間引き行の上下の行を用いて補間演算を行うことになる。このとき、画像データがラスター順に処理される場合、間引き行の画素値を算出するためには、当該間引き行の上の1行分の画像データを補間演算用の記憶部に格納しておくことになる。1行分の画像データを記憶する補間演算用の記憶部としては、例えば、ラインメモリが採用される。 When enlarging the reduced image obtained by the vertical thinning, in order to calculate the pixel value of each pixel of the thinned row (thinning row), an interpolation operation is performed using the upper and lower rows of the thinning row. Become. At this time, when the image data is processed in raster order, in order to calculate the pixel value of the thinning row, the image data for one row on the thinning row is stored in the storage unit for interpolation calculation. become. For example, a line memory is employed as a storage unit for interpolation calculation that stores image data for one row.
これに対して、水平間引きによって得られた縮小画像を拡大する場合、間引かれた画素(間引き画素)の画素値を算出するために、当該間引き画素の左右の画素を用いて補間演算を行うことになる。このとき、画像データがラスター順に処理される場合、間引き画素の画素値を算出するためには、当該間引き画素の左の1画素分の画素値を補間演算用の記憶部に格納しておくことになる。1画素分の画素値を記憶する補間演算用の記憶部としては、例えば、レジスタが採用される。 On the other hand, when a reduced image obtained by horizontal thinning is enlarged, in order to calculate the pixel value of the thinned pixel (thinned pixel), interpolation calculation is performed using the left and right pixels of the thinned pixel. It will be. At this time, when the image data is processed in raster order, in order to calculate the pixel value of the thinned pixel, the pixel value for one pixel to the left of the thinned pixel is stored in the storage unit for interpolation calculation. become. For example, a register is used as a storage unit for interpolation calculation that stores a pixel value for one pixel.
このように、垂直間引きによって得られた縮小画像を拡大する場合よりも水平間引きによって得られた縮小画像を拡大する場合の方が、補間演算用の記憶部の記憶容量を削減することができ、当該記憶部のコストダウンを実現できる。 In this way, the storage capacity of the storage unit for interpolation calculation can be reduced in the case of enlarging the reduced image obtained by horizontal thinning than in the case of enlarging the reduced image obtained by vertical thinning, Cost reduction of the storage unit can be realized.
また、上記各実施形態では、動作同期信号を生成する同期信号生成回路161が、表示制御回路16A,16B内に存在する場合を例示していたが、これに限定されない。具体的には、同期手段としての同期信号生成回路161は、撮像素子111の駆動回路内に、或いは他の機能部とは別個独立に設けられていてもよい。
In each of the above embodiments, the case where the synchronization
1A,1B 動画像処理システム
11 撮像部
111 撮像素子
12A,12B 信号処理回路
13A,13B メモリ
131 第1メモリ
132 第2メモリ
14 メモリ制御部
15 表示部
16A,16B 表示制御回路
161 同期信号生成回路
17 バス
F1〜F3 フレーム
HS 垂直同期信号
MS マスク信号
DS 動作同期信号
HP21〜HP24 垂直同期信号における周期
DP1,DP2 動作同期信号における周期
GF1,GF2 画像取得動作
HF1,HF2 画像表示動作
GR 画像
1A, 1B moving
Claims (6)
前記撮像素子によって取得された画像に縮小処理を施す縮小処理手段と、
前記縮小処理後の画像を記憶する記憶手段と、
前記記憶手段から読み出した画像に対して、前記縮小処理が施される前の画像サイズに戻す拡大処理を施し、拡大処理後の画像を、所定のフレーム表示レートで表示部に表示させる表示制御手段と、
前記フレーム表示レートよりも低いフレームレートであるフレームキャプチャレートで前記撮像素子を駆動する駆動手段と、
前記撮像素子による1フレーム分の画像取得動作と、前記表示部による同一フレームを用いた複数回の画像表示動作との同期をとる同期手段と、
を備え、
前記同期手段は、前記フレーム表示レートを規定する垂直同期信号とマスク信号とに基づいて当該垂直同期信号の一部をマスクすることによって、当該垂直同期信号に対して複数倍の周期を有する動作同期信号を生成する信号生成手段を有し、
前記駆動手段は、前記動作同期信号によって規定されるフレームレートを前記フレームキャプチャレートとして用いる動画像処理システム。 An image sensor for acquiring an image related to a subject image;
Reduction processing means for performing reduction processing on the image acquired by the imaging device;
Storage means for storing the image after the reduction processing ;
Display control means for performing an enlargement process for returning the image read from the storage means to the image size before the reduction process , and displaying the image after the enlargement process on the display unit at a predetermined frame display rate When,
Driving means for driving the image sensor at a frame capture rate which is a frame rate lower than the frame display rate;
Synchronization means for synchronizing an image acquisition operation for one frame by the image sensor and a plurality of image display operations using the same frame by the display unit;
Equipped with a,
The synchronization means masks a part of the vertical synchronization signal based on the vertical synchronization signal that defines the frame display rate and a mask signal, and thereby has an operation synchronization having a multiple of the period of the vertical synchronization signal. Signal generating means for generating a signal;
The moving image processing system in which the driving means uses a frame rate defined by the operation synchronization signal as the frame capture rate .
前記表示制御手段は、前記記憶手段から読み出した画像を前記水平方向に拡大させる請求項1または請求項2に記載の動画像処理システム。 The reduction processing means performs a reduction process for reducing the image in the horizontal direction by thinning out a horizontal component of the image acquired by the image sensor,
The moving image processing system according to claim 1 , wherein the display control unit enlarges an image read from the storage unit in the horizontal direction .
前記撮像素子によって取得された画像に縮小処理を施す縮小処理手段と、 Reduction processing means for performing reduction processing on the image acquired by the imaging device;
前記縮小処理後の画像を記憶する記憶手段と、 Storage means for storing the image after the reduction processing;
前記記憶手段から読み出した画像に対して、前記縮小処理が施される前の画像サイズに戻す拡大処理を施し、拡大処理後の画像を、所定のフレーム表示レートで表示部に表示させる表示制御手段と、 Display control means for performing an enlargement process for returning the image read from the storage means to the image size before the reduction process, and displaying the image after the enlargement process on the display unit at a predetermined frame display rate When,
前記フレーム表示レートよりも低いフレームレートであるフレームキャプチャレートで前記撮像素子を駆動する駆動手段と、 Driving means for driving the image sensor at a frame capture rate which is a frame rate lower than the frame display rate;
前記撮像素子による1フレーム分の画像取得動作と、前記表示部による同一フレームを用いた複数回の画像表示動作との同期をとる同期手段と、 Synchronization means for synchronizing an image acquisition operation for one frame by the image sensor and a plurality of image display operations using the same frame by the display unit;
を備え、With
前記同期手段は、前記フレーム表示レートを規定する垂直同期信号とマスク信号とに基づいて当該垂直同期信号の一部をマスクすることによって、当該垂直同期信号に対して複数倍の周期を有する動作同期信号を生成する信号生成手段を有し、 The synchronization means masks a part of the vertical synchronization signal based on the vertical synchronization signal that defines the frame display rate and a mask signal, and thereby has an operation synchronization having a multiple of the period of the vertical synchronization signal. Signal generating means for generating a signal;
前記駆動手段は、前記動作同期信号によって規定されるフレームレートを前記フレームキャプチャレートとして用いる画像処理装置。 The image processing apparatus using the frame rate defined by the operation synchronization signal as the frame capture rate.
b)前記撮像素子によって取得された画像に縮小処理を施す工程と、 b) performing a reduction process on the image acquired by the image sensor;
c)前記縮小処理後の画像を記憶手段に記憶する工程と、 c) storing the image after the reduction processing in a storage means;
d)前記記憶手段から読み出した画像に対して、前記縮小処理が施される前の画像サイズに戻す拡大処理を施し、拡大処理後の画像を、所定のフレーム表示レートで表示部に表示させる工程と、 d) A process of performing an enlargement process for returning the image read from the storage unit to an image size before the reduction process, and displaying the image after the enlargement process on the display unit at a predetermined frame display rate. When,
を備え、With
前記a)工程は、前記フレーム表示レートよりも低いフレームレートであるフレームキャプチャレートで前記撮像素子を駆動して行われ、 The step a) is performed by driving the image sensor at a frame capture rate that is a frame rate lower than the frame display rate,
前記a)工程における1フレーム分の画像取得動作と、前記d)工程における同一フレームを用いた複数回の画像表示動作とは同期をとって行われ、 The image acquisition operation for one frame in the step a) and the multiple image display operations using the same frame in the step d) are performed in synchronization,
e)前記フレーム表示レートを規定する垂直同期信号とマスク信号とに基づいて当該垂直同期信号の一部をマスクすることによって、当該垂直同期信号に対して複数倍の周期を有する動作同期信号を生成する工程をさらに備え、 e) generating an operation synchronization signal having a multiple of the period of the vertical synchronization signal by masking a part of the vertical synchronization signal based on the vertical synchronization signal and the mask signal defining the frame display rate Further comprising the step of:
前記動作同期信号によって規定されるフレームレートが前記フレームキャプチャレートとして用いられる動画像処理システムの動作方法。 An operation method of a moving image processing system in which a frame rate defined by the operation synchronization signal is used as the frame capture rate.
前記撮像素子によって取得された画像の水平成分を間引くことによって、当該画像を水平方向に縮小させる縮小処理を施す縮小処理手段と、 Reduction processing means for performing a reduction process for reducing the horizontal component of the image by thinning out a horizontal component of the image acquired by the image sensor;
前記縮小処理後の画像を記憶する記憶手段と、 Storage means for storing the image after the reduction processing;
前記記憶手段から読み出した画像を前記水平方向に拡大させ、拡大後の画像を、所定のフレーム表示レートで表示部に表示させる表示制御手段と、 Display control means for enlarging the image read from the storage means in the horizontal direction and displaying the enlarged image on a display unit at a predetermined frame display rate;
前記フレーム表示レートよりも低いフレームレートであるフレームキャプチャレートで前記撮像素子を駆動する駆動手段と、 Driving means for driving the image sensor at a frame capture rate which is a frame rate lower than the frame display rate;
前記撮像素子による1フレーム分の画像取得動作と、前記表示部による同一フレームを用いた複数回の画像表示動作との同期をとる同期手段と、 Synchronization means for synchronizing an image acquisition operation for one frame by the image sensor and a plurality of image display operations using the same frame by the display unit;
を備える動画像処理システム。A moving image processing system comprising:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012068873A JP5965173B2 (en) | 2012-03-26 | 2012-03-26 | Moving image processing system, image processing apparatus, and moving image processing system operating method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012068873A JP5965173B2 (en) | 2012-03-26 | 2012-03-26 | Moving image processing system, image processing apparatus, and moving image processing system operating method |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2013201613A JP2013201613A (en) | 2013-10-03 |
JP5965173B2 true JP5965173B2 (en) | 2016-08-03 |
Family
ID=49521490
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012068873A Expired - Fee Related JP5965173B2 (en) | 2012-03-26 | 2012-03-26 | Moving image processing system, image processing apparatus, and moving image processing system operating method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5965173B2 (en) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6601020B2 (en) | 2014-08-11 | 2019-11-06 | セイコーエプソン株式会社 | Imaging display device |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH08191453A (en) * | 1995-01-06 | 1996-07-23 | Mitsubishi Electric Corp | Image input interface device |
JP2005080198A (en) * | 2003-09-03 | 2005-03-24 | Matsushita Electric Ind Co Ltd | Imaging apparatus |
JP4331087B2 (en) * | 2004-10-28 | 2009-09-16 | 富士フイルム株式会社 | Imaging apparatus and control method thereof |
-
2012
- 2012-03-26 JP JP2012068873A patent/JP5965173B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2013201613A (en) | 2013-10-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
RU2570354C2 (en) | Real-time image capture and display | |
JP2012099876A (en) | Image processing device, imaging device, image processing method, and program | |
JP2007295096A (en) | Device and method for generating synchronization signal, and digital camera | |
JP6358847B2 (en) | Display processing apparatus and imaging apparatus | |
JP4263190B2 (en) | Video composition circuit | |
JP6325886B2 (en) | Display processing apparatus and imaging apparatus | |
JP2015053644A (en) | Imaging device | |
JP6601020B2 (en) | Imaging display device | |
JP6948810B2 (en) | Image processing system | |
JP5829122B2 (en) | Imaging apparatus and evaluation value generation apparatus | |
JP5965173B2 (en) | Moving image processing system, image processing apparatus, and moving image processing system operating method | |
WO2017187508A1 (en) | Display processing device and imaging device | |
US20140168472A1 (en) | Image pickup device | |
JP4697094B2 (en) | Image signal output apparatus and control method thereof | |
JP2014099714A (en) | Image processing apparatus, imaging device, image processing method, and program | |
JP2013219624A (en) | Imaging apparatus | |
JP5705027B2 (en) | Image processing apparatus, image processing apparatus control method, program, and recording medium | |
JP2014216668A (en) | Imaging apparatus | |
JP6327869B2 (en) | Image processing apparatus, imaging apparatus, control method, and program | |
JP6021556B2 (en) | Image processing device | |
JP4211572B2 (en) | Imaging device | |
JP4788158B2 (en) | Display panel driving device, display panel driving method, and digital camera | |
JP2007243819A (en) | Image processing apparatus | |
JP2008244800A (en) | Imaging device and method | |
JP2008225213A (en) | Apparatus, method and program for processing image signal |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20150218 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20151119 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20151215 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160113 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20160614 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20160701 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5965173 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |