JP2011082899A - Image processing apparatus and control method thereof - Google Patents

Image processing apparatus and control method thereof Download PDF

Info

Publication number
JP2011082899A
JP2011082899A JP2009235084A JP2009235084A JP2011082899A JP 2011082899 A JP2011082899 A JP 2011082899A JP 2009235084 A JP2009235084 A JP 2009235084A JP 2009235084 A JP2009235084 A JP 2009235084A JP 2011082899 A JP2011082899 A JP 2011082899A
Authority
JP
Japan
Prior art keywords
image
screen
displayed
frame
interpolated
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2009235084A
Other languages
Japanese (ja)
Other versions
JP5409245B2 (en
Inventor
Tokuo Nishioka
督雄 西岡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2009235084A priority Critical patent/JP5409245B2/en
Publication of JP2011082899A publication Critical patent/JP2011082899A/en
Application granted granted Critical
Publication of JP5409245B2 publication Critical patent/JP5409245B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Controls And Circuits For Display Device (AREA)
  • Television Systems (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To solve the problem, wherein since the types of processings for a plurality of regions differ from one other in PinP in a boundary of respective regions, the capacity of a memory to be used for carrying a smooth moving image is increased unnecessarily. <P>SOLUTION: The positional information of a region, wherein a second image is displayed while being superimposed on a first image, is held and a motion vector between frames of the first image is detected. Based on the motion vector detected, for each frame, an image of a first region where the second image is not displayed while being superimposed, and an image in a second area in which the second image is displayed, while being superimposed and which is adjacent to the boundary between the first image and the second image, excluding a part of the area concealed behind the back of the second image, are captured in the first image. An interpolated image between frames of the first region is generated from the captured images. <P>COPYRIGHT: (C)2011,JPO&INPIT

Description

本発明は、画面上に表示した画像の一部に相当する領域に、別の画像を重畳して表示する技術に関する。   The present invention relates to a technique for superimposing and displaying another image in an area corresponding to a part of an image displayed on a screen.

従来、画面上に表示した画像の一部に相当する領域に、別の画像を重畳して表示する技術は、ピクチャ・イン・ピクチャ（ＰｉｎＰ）と呼ばれている。また、動画像の各フレーム間に補間フレームを生成し、動画像の表現を滑らかにしたりする技術は、フレームレート変換（ＦＲＣ）と呼ばれている。   Conventionally, a technique for superimposing and displaying another image on an area corresponding to a part of an image displayed on a screen is called picture-in-picture (PinP). A technique for generating an interpolated frame between frames of a moving image and smoothing the expression of the moving image is called frame rate conversion (FRC).

そして、ＰｉｎＰのように複数の画像が合成された動画像に対して一括してＦＲＣ処理を行った場合、互いの画像の境界部分において正しい補間画素が生成されず、動画像の表現が滑らかにならないという課題がある。この課題を解決するために、以下の従来技術が存在する。   Then, when FRC processing is performed on a moving image in which a plurality of images are combined like PinP, correct interpolation pixels are not generated at the boundary portion between the images, and the moving image is expressed smoothly. There is a problem of not becoming. In order to solve this problem, the following conventional techniques exist.

即ち、複数の入力画像のそれぞれに対して、ＦＲＣ処理を行った後に、解像度変換を行い、それらの画像を合成して表示する技術である（例えば、特許文献１）。
また、複数の入力画像が合成された画像を、重畳領域、前記重畳領域の周辺領域、その他の領域に分け、それぞれの領域ごとに画像データの内挿を行うか否か、動き補償処理を行うか否かを切り換える技術である（例えば、特許文献２）。 That is, this is a technique for performing resolution conversion after performing FRC processing on each of a plurality of input images, and combining and displaying these images (for example, Patent Document 1).
Also, an image obtained by combining a plurality of input images is divided into a superimposition region, a peripheral region of the superimposition region, and other regions, and motion compensation processing is performed to determine whether or not to interpolate image data for each region. This is a technique for switching whether or not (for example, Patent Document 2).

特開２００７−３１６４０５号公報JP 2007-316405 A 特開２００４−１２０７５７号公報JP 2004-120757 A

しかしながら、特許文献１によると、入力映像のそれぞれに対してフレームレート変換を行うため、複数の画像が重畳している領域において背後に隠れ込む画像の全てを処理することなり、画像処理に使用するメモリの容量の不必要な増大を招く。
また、特許文献２によると、複数の領域に対する処理が異なるため、それぞれの領域の境界において、滑らかな動画像を担保できない場合がある。 However, according to Patent Document 1, since frame rate conversion is performed on each input video, all of the images hidden behind in a region where a plurality of images are superimposed are processed and used for image processing. This causes an unnecessary increase in memory capacity.
Further, according to Patent Document 2, since processing for a plurality of regions is different, there may be a case where a smooth moving image cannot be secured at the boundary between the regions.

本発明は、上述した課題を解決するものであり、画像処理に使用するメモリの容量の不必要な増大を抑えると共に、複数の画像が合成された動画像の滑らかさを担保することを目的とする。
尚、ディスプレイの大画面化、高解像度化が進む今日において、画像処理に使用するメモリの容量の増大を抑えることは、レスポンスタイムの迅速化、管理コストの低減を実現するための重要な課題である。 An object of the present invention is to solve the above-described problems, and to suppress an unnecessary increase in the capacity of a memory used for image processing and to ensure the smoothness of a moving image in which a plurality of images are combined. To do.
In today's trend toward larger screens and higher resolutions, suppressing the increase in memory capacity used for image processing is an important issue for speeding up response times and reducing management costs. is there.

上記の目的を達成するために、本発明の画像処理装置は、連続する複数のフレームで構成された第１の画像を表示手段に表示させ、前記表示手段に表示された前記第１の画像の一部に相当する領域に、前記第１の画像と異なる第２の画像を重畳して表示させる場合において、各フレーム間における補間画像を生成する画像処理装置であって、前記第１の画像に前記第２の画像が重畳して表示される領域の位置情報を保持する保持手段と、前記第１の画像の各フレーム間における動きベクトルを検出する検出手段と、検出した動きベクトルに基づいて、各フレームについて、前記第１の画像のうち、前記第２の画像が重畳して表示されない第１の領域の画像、及び前記第２の画像が重畳して表示される領域であって、前記第１の画像と前記第２の画像の境界に隣接し、前記第２の画像の背面に隠れ込んだ領域の一部を除く第２の領域の画像を取得する取得手段と、前記取得手段が取得した画像から前記第１の領域の各フレーム間における補間画像を生成する生成手段とを有する。   In order to achieve the above object, an image processing apparatus of the present invention displays a first image composed of a plurality of continuous frames on a display unit, and displays the first image displayed on the display unit. In a case where a second image different from the first image is superimposed and displayed in a region corresponding to a part, the image processing device generates an interpolated image between frames, and the first image Based on the detected motion vector, holding means for holding position information of a region where the second image is superimposed and displayed, detection means for detecting a motion vector between the frames of the first image, For each frame, among the first images, an image of a first area where the second image is not superimposed and displayed, and an area where the second image is superimposed and displayed, 1 image and the second An acquisition unit that acquires an image of a second region that is adjacent to an image boundary and excludes a part of the region hidden behind the second image, and the first region from the image acquired by the acquisition unit Generating means for generating an interpolated image between the frames.

本発明によれば、画像処理に使用するメモリの容量の不必要な増大を抑えると共に、複数の画像が合成された動画像の滑らかさを担保することが可能となる。   According to the present invention, it is possible to suppress an unnecessary increase in the capacity of a memory used for image processing and to ensure the smoothness of a moving image in which a plurality of images are combined.

表示システムの一例を示すブロック図Block diagram showing an example of a display system 画面の構成の一例を示す図Diagram showing an example of screen configuration 第１の実施形態における画像処理の一例を示すフローチャートThe flowchart which shows an example of the image processing in 1st Embodiment 第２の実施形態における画像処理の一例を示すフローチャートThe flowchart which shows an example of the image processing in 2nd Embodiment

以下、図面を参照ながら本発明の実施形態について詳細に説明する。   Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.

（第１の実施形態）
図１（ａ）は、画像処理装置１００を含む表示システムの構成の一例を示すブロック図である。
画像処理装置１００は、ベクトル検出部１０２、１１２、画面構成制御部１０３、合成部１０４、参照画像抽出部１０５、補間画像生成部１０６、メモリ１０７、入力部１０８、１１８、出力部１０９を備える。 (First embodiment)
FIG. 1A is a block diagram illustrating an example of a configuration of a display system including the image processing apparatus 100.
The image processing apparatus 100 includes vector detection units 102 and 112, a screen configuration control unit 103, a synthesis unit 104, a reference image extraction unit 105, an interpolation image generation unit 106, a memory 107, input units 108 and 118, and an output unit 109.

尚、画像処理装置１００の各部は、ＲＯＭ、ＲＡＭ、ＣＰＵ等を有し、ＣＰＵが予めＲＯＭに格納されたプログラムをＲＡＭに展開し実行することにより、それぞれの機能を実現するものとして説明する。以下、画像処理装置１００の各部について詳述する。
入力部１０８は、親画面画像信号１０１の入力を受付け、入力部１１８は、子画面画像信号１１１の入力を受付ける入力インタフェース（Ｉ／Ｆ）である。 Note that each unit of the image processing apparatus 100 has a ROM, a RAM, a CPU, and the like, and the CPU will be described by implementing a program stored in the ROM in advance in the RAM and executing the program. Hereinafter, each part of the image processing apparatus 100 will be described in detail.
The input unit 108 receives an input of the parent screen image signal 101, and the input unit 118 is an input interface (I / F) that receives an input of the child screen image signal 111.

尚、親画面画像信号１０１とは、ＰｉｎＰにおいて、画像の一部が別の画像の背後に隠れ込む画像を表す信号とする。また、親画面画像信号１０１は、例えば、６０Ｈｚのフレーム周波数で入力されるＦｕｌｌ ＨＤ（１９２０×１０８０）の解像度を持つ画像信号であり、ＴＶ受信信号やＤＶＤなどの蓄積メディアから読み出された映像信号、ＰＣから出力される映像信号である。尚、ＴＶ受信信号とは、不図示のチューナで受信されたＴＶ映像信号が、復調処理やデコード処理を経て、必要に応じて色空間変換処理、高画質化処理などの信号処理が行われた後の信号とする。   Note that the main screen image signal 101 is a signal representing an image in which a part of an image is hidden behind another image in PinP. The main screen image signal 101 is, for example, an image signal having a resolution of Full HD (1920 × 1080) input at a frame frequency of 60 Hz, and a video read from a storage medium such as a TV reception signal or a DVD. A signal is a video signal output from a PC. The TV reception signal is a TV video signal received by a tuner (not shown) that has undergone demodulation processing and decoding processing, and is subjected to signal processing such as color space conversion processing and high image quality processing as necessary. Let it be a later signal.

また、子画面画像信号１１１とは、ＰｉｎＰにおいて、別の画像と重畳して表示する画像であって、当該別の画像よりも前面に表示する画像を表す信号とする。また、子画面画像信号１１１は、例えば、６０Ｈｚのフレーム周波数で入力される画像信号である。また、子画面画像信号１１１は、予め入力解像度を任意の解像度に変換するための解像度変換処理が行われた後の信号でもよい。尚、解像度変換処理とは、例えば、Ｆｕｌｌ ＨＤ（１９２０×１０８０）の解像度で入力された画像信号を、不図示のリモコンなどの入力装置からの入力に従って任意の解像度に変換する処理をいう。そして、この解像度変更処理によれば、例えば、Ｆｕｌｌ ＨＤ（１９２０×１０８０）の解像度を持つ画像信号が、６４０×４８０の解像度の画像信号へと変換される。   Further, the small-screen image signal 111 is an image displayed in a superimposed manner with another image in PinP, and is a signal representing an image displayed in front of the other image. The small-screen image signal 111 is an image signal input at a frame frequency of 60 Hz, for example. The small-screen image signal 111 may be a signal after a resolution conversion process for converting the input resolution to an arbitrary resolution in advance. Note that the resolution conversion process refers to a process of converting an image signal input at a resolution of Full HD (1920 × 1080) to an arbitrary resolution in accordance with an input from an input device such as a remote controller (not shown). According to this resolution changing process, for example, an image signal having a resolution of Full HD (1920 × 1080) is converted into an image signal having a resolution of 640 × 480.

ベクトル検出部１０２は、親画面画像の動き補償をするために必要な動きベクトルの検出を行う。尚、動きベクトル検出手法としては、例えば、公知のブロックマッチング法、勾配法等を用いる。これらの手法は、連続した２つのフレーム間で小さなブロックごとに動きベクトルを検出する手法である。尚、ブロックマッチング法においては、ベクトル検出部１０２は、検出対象ブロックを後述する参照フレーム中の探索範囲内の画像と画素単位で全ての位置ごとにマッチングを取り、マッチング評価関数を計算し、最もマッチングの取れた位置を動きベクトルとする。尚、ベクトル検出部１１２は、子画面画像について、ベクトル検出部１０２と同様の処理を実行する。   The vector detection unit 102 detects a motion vector necessary for motion compensation of the parent screen image. As a motion vector detection method, for example, a known block matching method, gradient method, or the like is used. These methods are methods for detecting a motion vector for each small block between two consecutive frames. In the block matching method, the vector detecting unit 102 matches the detection target block with an image within a search range in a reference frame, which will be described later, for every position, calculates a matching evaluation function, The matching position is taken as a motion vector. Note that the vector detection unit 112 performs the same processing as the vector detection unit 102 on the small-screen image.

画面構成制御部１０３は、親画面画像上で子画面画像が表示される位置を示す位置情報と、子画面画像のフレームサイズとを位置制御情報として保持する。尚、不図示のリモコンなどの入力装置からの入力に従って子画面画像が表示される位置が変更される場合、位置制御部１０３は入力に従って位置制御情報を変更する。   The screen configuration control unit 103 holds position information indicating a position where the small-screen image is displayed on the parent screen image and the frame size of the small-screen image as position control information. When the position where the small-screen image is displayed is changed according to an input from an input device such as a remote controller (not shown), the position control unit 103 changes the position control information according to the input.

合成部１０４は、ベクトル検出部１０２、１１２から受信した情報、画面構成制御部１０３から受信した位置制御情報に従って、親画面画像と子画面画像とから合成画像を生成し、メモリ１０７に格納する。すなわち、合成部１０４が生成する合成画像は、例えば、図２（ａ）に示すような画像となる。   The combining unit 104 generates a combined image from the parent screen image and the child screen image according to the information received from the vector detection units 102 and 112 and the position control information received from the screen configuration control unit 103, and stores the combined image in the memory 107. That is, the composite image generated by the combining unit 104 is, for example, an image as illustrated in FIG.

参照画像抽出部１０５は、位置制御情報に基づき、親画面画像のうち、子画面画像によって隠れる領域の一部に相当する領域を抽出し、参照画像としてメモリ１０７へ格納する。 尚、参照画像とは、より具体的には、親画面画像のうち、子画面画像が重畳して表示される領域であって、親画面画像と子画面画像の境界に隣接し、子画面画像の背面に隠れ込んだ領域の一部を除く領域の画像をいう。   Based on the position control information, the reference image extraction unit 105 extracts an area corresponding to a part of the area hidden by the child screen image from the parent screen image, and stores it in the memory 107 as a reference image. More specifically, the reference image is a region in which a small screen image is displayed in a superimposed manner in the parent screen image, and is adjacent to the boundary between the parent screen image and the small screen image. An image of an area excluding a part of the area hidden behind.

図２（ｂ）は、参照画像抽出部１０５が参照画像を抽出する処理の一例を説明するための図である。本図を用いて、合成画像のｎフレームと（ｎ−１）フレームから、補間フレームの親画面領域にある内挿ブロック３００内の各画素を生成する処理について説明する。尚、内挿ブロック３００は親画面画像と子画面画像の境界にあるが、動きベクトル３０１が図２（ｂ）に示す方向であった場合、内挿ブロック３００内の各画素を生成するためには、ｎフレームにおける参照画像３０２の領域の親画面の画像信号を必要とする。しかしながら、ｎフレームは合成画像であるため、子画面が重畳されることによって参照画像３０２の領域の親画面の画像信号は失われている。そこで、参照画像抽出部１０５は、親画面上の子画面によって隠れる領域の画像信号の一部をこのような参照画像として抽出する。尚、本実施例においては、参照画像のサイズ及び形状（幅）は、固定値でもよく、動きベクトルの大きさ、子画面のフレームサイズ等に応じて決定される変動値であってもよい。即ち、動きベクトルの検出結果により内挿ブロックの各画素を生成するために参照画像領域の画像信号を必要としない場合は、その内挿ブロックの周辺の参照画像の抽出は行わない。また、子画面のフレームサイズ等に応じて決定される参照画像の形状とは、例えば、参照画像の画素信号の総量が常に一定となうようにしてもよい。   FIG. 2B is a diagram for explaining an example of processing in which the reference image extraction unit 105 extracts a reference image. A process for generating each pixel in the interpolation block 300 in the parent screen area of the interpolation frame from n frames and (n−1) frames of the composite image will be described with reference to FIG. The interpolation block 300 is at the boundary between the parent screen image and the child screen image, but when the motion vector 301 is in the direction shown in FIG. 2B, to generate each pixel in the interpolation block 300 Requires the image signal of the parent screen in the region of the reference image 302 in n frames. However, since the n frame is a composite image, the image signal of the parent screen in the region of the reference image 302 is lost by superimposing the child screen. Therefore, the reference image extraction unit 105 extracts a part of the image signal of the area hidden by the child screen on the parent screen as such a reference image. In this embodiment, the size and shape (width) of the reference image may be fixed values, or may be variable values determined according to the size of the motion vector, the frame size of the child screen, and the like. In other words, when the image signal of the reference image area is not required to generate each pixel of the interpolation block based on the motion vector detection result, the reference image around the interpolation block is not extracted. Further, the shape of the reference image determined according to the frame size of the child screen, for example, may be such that the total amount of pixel signals of the reference image is always constant.

補間画像生成部１０６は、合成部１０４がメモリ１０７に格納した合成画像を読み出し、画面構成制御部１０３から受信した位置制御情報に基づいて補間フレームを生成する。即ち、補間画像生成部１０６は、合成画像内の親画面画像のうち、子画面画像が重畳して表示されない領域（親画面領域）に対しては、ベクトル検出部１０２が検出した動きベクトル、参照画像抽出部１０５で抽出された参照画像を参照して補間画像を生成する。一方、子画面領域に対しては、ベクトル検出部１１２から受信した動きベクトルを参照して補間画像を生成する。   The interpolated image generation unit 106 reads the combined image stored in the memory 107 by the combining unit 104 and generates an interpolation frame based on the position control information received from the screen configuration control unit 103. In other words, the interpolated image generation unit 106 refers to the motion vector detected by the vector detection unit 102 for the region (parent screen region) in which the child screen image is not superimposed and displayed among the parent screen images in the composite image. An interpolation image is generated with reference to the reference image extracted by the image extraction unit 105. On the other hand, for the small screen area, an interpolation image is generated with reference to the motion vector received from the vector detection unit 112.

このように親画面と子画面に対してそれぞれ正しい動きベクトルを参照して補間画像を生成することで、合成画像に対しても理論上、親画面と子画面の境界で画質が劣化することない補間画像を生成することができる。尚、補間画像を生成する処理については、後述する。   In this way, the interpolation image is generated by referring to the correct motion vector for the parent screen and the child screen, respectively, so that the image quality does not deteriorate at the boundary between the parent screen and the child screen in theory for the synthesized image. An interpolated image can be generated. The process for generating the interpolation image will be described later.

メモリ１０７は、合成画像の各フレームを格納するフレームメモリ領域を提供する記憶媒体である。また、メモリ１０７は参照画像抽出部１０５で抽出された、補間フレームの生成に必要な参照画像を保持メモリ領域も提供する。   The memory 107 is a storage medium that provides a frame memory area for storing each frame of the composite image. The memory 107 also provides a holding memory area for reference images extracted by the reference image extraction unit 105 and necessary for generating an interpolation frame.

出力部１０９は、生成した補間フレームの補間画像を、対応するフレームの合成画像に内挿するフレームレート変換を行い、フレームレート変換された画像を表示部２００へ出力する出力Ｉ／Ｆである。   The output unit 109 is an output I / F that performs frame rate conversion for interpolating the generated interpolated image of the interpolated frame into the composite image of the corresponding frame and outputs the frame rate converted image to the display unit 200.

表示部２００は、例えばＬＣＤ（液晶ディスプレイ）やプラズマディスプレイ等の表示機器であり、画像処理装置１００からの出力画像を表示する。尚、例えば、画像処理装置１００は、６０Ｈｚのフレーム周波数で入力される親画面画像信号１０１と子画面画像信号１１１とを合成した画像信号を、動き補償をしたフレームレート変換により１２０Ｈｚのフレーム周波数で出力する。このとき、表示部２００は、１２０Ｈｚのフレーム周波数で出力された画像信号を表示する。   The display unit 200 is a display device such as an LCD (liquid crystal display) or a plasma display, and displays an output image from the image processing apparatus 100. For example, the image processing apparatus 100 uses an image signal obtained by synthesizing the main screen image signal 101 and the sub screen image signal 111 input at a frame frequency of 60 Hz at a frame frequency of 120 Hz by frame rate conversion with motion compensation. Output. At this time, the display unit 200 displays an image signal output at a frame frequency of 120 Hz.

図３は、補間画像生成部１０６における補間画像生成の処理の一例を示すフローチャートである。以下、図３を参照しながら補間画像生成の処理について説明する。   FIG. 3 is a flowchart illustrating an example of interpolation image generation processing in the interpolation image generation unit 106. The interpolation image generation process will be described below with reference to FIG.

まず、ステップＳ４００において、補間画像生成部１０６は画面構成制御部１０３から位置制御情報を取得し、保持する。   First, in step S <b> 400, the interpolation image generation unit 106 acquires position control information from the screen configuration control unit 103 and holds it.

次に、ステップＳ４０１において、補間画像生成部１０６は、フレームを走査しながら、補間画像が生成されているか否か判定し、補間画像が生成されていない場合には、各々フレームについて、後述するステップＳ４０２からの処理を実行する。一方、補間画像が生成されている場合には、一連の処理を終了する。   Next, in step S401, the interpolated image generation unit 106 determines whether an interpolated image has been generated while scanning the frame. If no interpolated image has been generated, a step to be described later for each frame. The process from S402 is executed. On the other hand, if an interpolated image has been generated, a series of processing ends.

次に、ステップＳ４０２において、補間画像生成部１０６は、ステップＳ４００で保持した位置制御情報に基づき、着目している画素が親画面領域の画素であるか否かを判断し、親画面領域の画素であると判断された場合、ステップＳ４０３の処理を実行する。一方、親画面領域以外の画素、すなわち子画面領域の画素であったと判断された場合、ステップＳ４０７の処理を実行する。   Next, in step S402, the interpolated image generation unit 106 determines whether the pixel of interest is a pixel in the parent screen area based on the position control information held in step S400, and the pixel in the parent screen area. If it is determined that, the process of step S403 is executed. On the other hand, if it is determined that the pixel is a pixel other than the parent screen area, that is, a pixel in the child screen area, the process of step S407 is executed.

次に、ステップＳ４０３において、補間画像生成部１０６は、ベクトル検出部１０２が検出した動きベクトルから、親画面領域の画素が含まれるブロックの動きベクトルを取得する。   Next, in step S <b> 403, the interpolated image generation unit 106 acquires a motion vector of a block including pixels in the parent screen area from the motion vector detected by the vector detection unit 102.

次に、ステップＳ４０４において、補間画像生成部１０６は、合成画像の前フレーム（（ｎ−１）フレーム）あるいは、参照画像抽出部１０５が抽出した前フレームに対応した参照画像のうち、当該画素の補間画素生成に必要な画素信号をメモリ１０７より読み出す。尚、補間画素生成に必要な画素とは、親画面画像と子画面画像の境界付近の画素であり、取得した動きベクトルから、補間画素を生成するために参照画像を参照する必要があった場合、補間画像生成部１０６は参照画像の画素信号をメモリ１０７より読み出す。一方、当該画素が親画面と子画面の境界付近の画素ではない、あるいは境界付近の画素であっても動きベクトルから参照画像を参照する必要がないと判断した場合、補間画像生成部１０６は合成画像の前フレームの親画面領域の画素信号をメモリ１０７より読み出す。   Next, in step S <b> 404, the interpolated image generation unit 106 selects the pixel of the reference image corresponding to the previous frame ((n−1) frame) of the composite image or the previous frame extracted by the reference image extraction unit 105. A pixel signal necessary for generating an interpolation pixel is read from the memory 107. The pixels necessary for generating the interpolation pixel are pixels near the boundary between the parent screen image and the child screen image, and it is necessary to refer to the reference image in order to generate the interpolation pixel from the acquired motion vector. The interpolated image generation unit 106 reads out the pixel signal of the reference image from the memory 107. On the other hand, when it is determined that the pixel is not a pixel near the boundary between the parent screen and the child screen, or even if the pixel is near the boundary, it is not necessary to refer to the reference image from the motion vector, the interpolation image generation unit 106 performs synthesis. The pixel signal of the parent screen area of the previous frame of the image is read from the memory 107.

次に、ステップＳ４０５において、補間画像生成部１０６は、合成画像の現フレーム（ｎフレーム）に対して、ステップＳ４０４と同様の処理を実行する。
一方、ステップＳ４０７において、補間画像生成部１０６は、ベクトル検出部１１２から受信した動きベクトルから、子画面領域の画素が含まれるブロックの動きベクトルを取得する。 Next, in step S405, the interpolated image generation unit 106 performs the same process as in step S404 on the current frame (n frame) of the composite image.
On the other hand, in step S <b> 407, the interpolated image generation unit 106 acquires the motion vector of the block including the pixels of the child screen area from the motion vector received from the vector detection unit 112.

次に、ステップＳ４０８において、補間画像生成部１０６は、合成画像の前フレームの子画面領域の画素信号をメモリ１０７より読み出す。   Next, in step S <b> 408, the interpolated image generation unit 106 reads out the pixel signal of the child screen area of the previous frame of the composite image from the memory 107.

次に、ステップＳ４０９において、補間画像生成部１０６は、合成画像の現フレームの子画面領域の画素信号をメモリ１０７より読み出す。   Next, in step S409, the interpolated image generation unit 106 reads out from the memory 107 the pixel signal of the child screen area of the current frame of the composite image.

そして、ステップＳ４０６において、補間画像生成部１０６は、ステップＳ４０４、Ｓ４０５で取得した画素信号から、親画面領域の画素の補間画素を生成し、ステップＳ４０８、Ｓ４０９で取得した画素信号から、子画面領域の画素の補間画素を生成する。次に、ステップＳ４０１に戻り、処理の対象となっているフレームの補間画像が生成され終わるまで、一連の処理繰り返す。   In step S406, the interpolated image generation unit 106 generates an interpolated pixel of the pixel in the parent screen area from the pixel signal acquired in steps S404 and S405, and from the pixel signal acquired in steps S408 and S409, An interpolated pixel of this pixel is generated. Next, returning to step S401, a series of processing is repeated until the interpolation image of the frame to be processed is completely generated.

以上述べてきたように、合成画像の親画面領域と子画面領域に対して、それぞれ正しい動きベクトルを用いると共に、親画面画像上であって、子画面画像の背面に隠れ込む領域の一部についてのみ補間画像生成時の参照画像として保持する。すなわち、合成画像に対して正しい補間画像を生成することで、ＰｉｎＰにおいても生成する補間画像の数を過剰に増えることが抑えられる。また補間画像の生成に必要な画像を合成画像の差分を最小限に近づけて保持することで、回路規模とメモリ容量の増大を抑えることができる。   As described above, the correct motion vector is used for each of the parent screen region and the child screen region of the composite image, and a part of the region hidden on the back of the child screen image on the parent screen image is used. Only as a reference image when generating an interpolation image. That is, by generating a correct interpolation image for the composite image, it is possible to suppress an excessive increase in the number of interpolation images generated even in PinP. Further, by holding an image necessary for generating an interpolated image with the difference between the synthesized images being minimized, an increase in circuit scale and memory capacity can be suppressed.

尚、親画像の解像度がＦｕｌｌ ＨＤ（１９２０×１０８０）であった場合、従来技術においては参照画像の保持のためにＦｕｌｌ ＨＤ分のメモリ容量が必要になる。一方、本発明によれば、最大でも子画面領域の解像度分のメモリ容量を持てばよい。さらには、参照画像を親画面領域と子画面領域の境界部を中心とした一部の画像とすることで、メモリ容量の増大を抑えることができる。   When the resolution of the parent image is Full HD (1920 × 1080), the conventional technology requires a memory capacity for Full HD in order to hold the reference image. On the other hand, according to the present invention, it is sufficient to have a memory capacity equivalent to the resolution of the sub-screen area at the maximum. Furthermore, by making the reference image a part of the image centering on the boundary between the parent screen region and the child screen region, an increase in memory capacity can be suppressed.

（第２の実施形態）
図１（ｂ）は、画像処理装置５００を含む表示システムの構成の一例を示すブロック図である。図２（ｃ）は、図１（ｂ）に示す表示システムで実現される画面構成を説明する図である。図１（ｂ）において、子画面１、子画面２、子画面３はそれぞれ重複することなく配置され、４Ｋ２Ｋの解像度を持つ親画面に重畳されている。このように、本実施形態の表示システムは４Ｋ２Ｋを表示可能なシステムであり、４Ｋ２Ｋの解像度を持つ親画面画像信号５０１に、複数の子画面画像信号５１１、５２１、５３１を合成して表示する。また、本実施形態の表示システムは、６０Ｈｚのフレーム周波数で入力される画像信号を、動き補償されたフレームレート変換により、１２０Ｈｚのフレーム周波数の画像信号として表示部２００に出力することで滑らかな動画表示を行う。 (Second Embodiment)
FIG. 1B is a block diagram illustrating an example of a configuration of a display system including the image processing apparatus 500. FIG. 2C is a diagram for explaining a screen configuration realized by the display system shown in FIG. In FIG. 1B, the child screen 1, child screen 2, and child screen 3 are arranged without overlapping, and are superimposed on a parent screen having a resolution of 4K2K. As described above, the display system according to the present embodiment is a system capable of displaying 4K2K, and synthesizes and displays a plurality of small-screen image signals 511, 521, and 531 on a parent-screen image signal 501 having a 4K2K resolution. In addition, the display system according to the present embodiment outputs a smooth moving image by outputting an image signal input at a frame frequency of 60 Hz to the display unit 200 as an image signal having a frame frequency of 120 Hz by frame rate conversion subjected to motion compensation. Display.

画像処理装置５００は、親画面ベクトル検出部５０２、子画面ベクトル検出部５１２、画面構成制御部５０３、合成部５０４、参照画像抽出部５０５、補間画像生成部５０６、メモリ５０７を備える。また、画像処理装置５００は、親画面画像信号入力部５０８、子画面画像信号入力部５１８、出力部５０９を備える。   The image processing apparatus 500 includes a parent screen vector detection unit 502, a child screen vector detection unit 512, a screen configuration control unit 503, a synthesis unit 504, a reference image extraction unit 505, an interpolation image generation unit 506, and a memory 507. The image processing apparatus 500 includes a main screen image signal input unit 508, a sub screen image signal input unit 518, and an output unit 509.

以下、図１（ａ）に示す各部と同様の機能を有する要素については、共通の名称を付し（符号は変更している）、その説明を省略する。   Hereinafter, elements having the same functions as those shown in FIG. 1A are given common names (the reference numerals are changed), and description thereof is omitted.

図１（ｂ）において、親画面画像信号５０１は、６０Ｈｚのフレーム周波数で入力される４Ｋ２Ｋ（４０９６×２０４８）の解像度を持つ画像信号とする。また、子画面画像信号５１１、５２１、５３１は、６０Ｈｚのフレーム周波数で入力される画像信号であり、４Ｋ２Ｋよりも低い解像度を持つ画像信号とする。   In FIG. 1B, the main screen image signal 501 is an image signal having a resolution of 4K2K (4096 × 2048) input at a frame frequency of 60 Hz. The small-screen image signals 511, 521, and 531 are image signals input at a frame frequency of 60 Hz, and are image signals having a resolution lower than 4K2K.

子画面ベクトル検出部５１２は、複数の子画面画像信号のそれぞれに対して、動き補償のために必要な動きベクトル検出を行い、何れの子画面画像信号に対する動きベクトルであるかの情報と共に、検出した動きベクトルを補間画像生成部５０６へ送出する。子画面ベクトル検出部５１２は、複数の子画面画像信号の動きベクトル検出を時分割で行うことで、複数の子画面画像信号の動きベクトル検出をひとつの動きベクトル検出部のみで実行することができる。また、子画面ベクトル検出部５１２は、子画面画像信号５１１、５２１、５３１を後段の合成部５０４へ送出する。   The sub-screen vector detection unit 512 performs motion vector detection necessary for motion compensation for each of the plurality of sub-screen image signals, and detects together with information on which sub-screen image signal is a motion vector. The motion vector thus transmitted is sent to the interpolated image generation unit 506. The sub-screen vector detection unit 512 can perform motion vector detection of a plurality of sub-screen image signals by only one motion vector detection unit by performing motion vector detection of the plurality of sub-screen image signals in a time division manner. . Further, the small-screen vector detection unit 512 sends small-screen image signals 511, 521, and 531 to the subsequent combining unit 504.

画面構成制御部５０３は、位置制御情報として、親画面上の複数の子画面の位置と、子画面のフレームサイズを保持し、それを合成部５０４、参照画像抽出部５０５、補間画像生成部５０６へ送出する。   The screen configuration control unit 503 holds, as position control information, the positions of a plurality of child screens on the parent screen and the frame size of the child screens, and combines them with the synthesis unit 504, the reference image extraction unit 505, and the interpolation image generation unit 506. To send.

合成部５０４は、親画面ベクトル検出部５０２から受信した親画面画像信号５０１と、子画面ベクトル検出部５１２から受信した子画面映像信号５１１、５２１、５３１とを、位置制御情報に従って合成し、合成画像をメモリ５０７へ格納する。   The combining unit 504 combines the parent screen image signal 501 received from the parent screen vector detection unit 502 and the child screen video signals 511, 521, and 531 received from the child screen vector detection unit 512 according to the position control information. The image is stored in the memory 507.

参照画像抽出部５０５は、位置制御情報に基づき、親画面ベクトル検出部５０２より受信した親画面画像信号５０１のうち、親画面上の複数の子画面によって隠れる領域の画像信号の一部を抽出し参照画像としてメモリ５０７へ格納する。このとき、参照画像抽出部５０５は、抽出した参照画像が何れの子画面によって隠れるものであるかを関連付ける。   Based on the position control information, the reference image extraction unit 505 extracts a part of the image signal of an area hidden by a plurality of child screens on the parent screen from the parent screen image signal 501 received from the parent screen vector detection unit 502. The reference image is stored in the memory 507. At this time, the reference image extraction unit 505 associates with which child screen the extracted reference image is hidden.

図２（ｄ）は、参照画像抽出部５０５における参照画像の抽出の一例を説明するための図である。以下、図２（ｄ）を参照して参照画像の抽出について説明する。参照画像抽出部５０５は、子画面１によって隠れる親画面領域の画像信号の一部を参照画像１として抽出し、子画面１と結びつけてメモリ５０７へと格納する。同様に、子画面２、子画面３によって隠れる親画面領域の画像信号の一部を参照画像２、参照画像３として抽出し、それぞれ子画面２と子画面３と結びつけてメモリ５０７へと格納する。   FIG. 2D is a diagram for explaining an example of reference image extraction in the reference image extraction unit 505. Hereinafter, reference image extraction will be described with reference to FIG. The reference image extraction unit 505 extracts a part of the image signal of the parent screen area hidden by the child screen 1 as the reference image 1 and stores it in the memory 507 in association with the child screen 1. Similarly, a part of the image signal of the parent screen area hidden by the child screen 2 and the child screen 3 is extracted as the reference image 2 and the reference image 3, and is stored in the memory 507 in association with the child screen 2 and the child screen 3, respectively. .

補間画像生成部５０６は、合成部５０４がメモリ５０７に格納した合成画像を読み出し、画面構成制御部５０３から受信した位置制御情報と、親画面ベクトル検出部５０２と子画面ベクトル検出部５１２から受信した動きベクトルを用いて補間フレームを生成する。   The interpolated image generation unit 506 reads the combined image stored in the memory 507 by the combining unit 504 and receives the position control information received from the screen configuration control unit 503 and the parent screen vector detection unit 502 and the child screen vector detection unit 512. An interpolation frame is generated using the motion vector.

図４は、補間画像生成部５０６における補間画像生成の処理フローを説明するフローチャートである。以下、図４を参照して補間画像生成の処理について説明する。   FIG. 4 is a flowchart for explaining the processing flow of interpolation image generation in the interpolation image generation unit 506. Hereinafter, the interpolation image generation processing will be described with reference to FIG.

ステップＳ８００において、補間画像生成部５０６は画面構成制御部５０３から複数の子画面の位置制御情報を取得する。ここで、補間画像生成部５０６はフレーム内での複数の子画面の表示位置を把握する。   In step S <b> 800, the interpolated image generation unit 506 acquires position control information for a plurality of sub-screens from the screen configuration control unit 503. Here, the interpolated image generation unit 506 grasps display positions of a plurality of sub-screens within the frame.

ステップＳ８０１において、補間画像生成部５０６は、フレームを走査しながら、補間画像が生成されているか否か判定し、補間画像が生成されていない場合には、各々フレームについて、後述するステップＳ８０２からの処理を実行する。一方、補間画像が生成されている場合には、一連の処理を終了する。   In step S801, the interpolated image generation unit 506 determines whether an interpolated image has been generated while scanning the frame. If no interpolated image has been generated, the interpolated image generation unit 506 performs the process from step S802 described later for each frame. Execute the process. On the other hand, if an interpolated image has been generated, a series of processing ends.

ステップＳ８０２において、補間画像生成部５０６は、ステップＳ８００で把握した複数の子画面の表示位置に基づき、着目している画素が親画面領域の画素であるかを判断する。判断の結果、親画面領域の画素であった場合はステップＳ８０３の処理を実行し、親画面領域以外の画素、すなわち何れかの子画面領域の画素であった場合はステップＳ８０８の処理を実行する。   In step S802, the interpolated image generation unit 506 determines whether the pixel of interest is a pixel in the parent screen area based on the display positions of the plurality of child screens grasped in step S800. As a result of the determination, if it is a pixel in the parent screen area, the process of step S803 is executed, and if it is a pixel other than the parent screen area, that is, a pixel in any child screen area, the process of step S808 is executed.

ステップＳ８０３において、補間画像生成部５０６は、親画像ベクトル検出部５０２から受信した動きベクトルから、当該画素が含まれるブロックの動きベクトルを取得する。   In step S <b> 803, the interpolation image generation unit 506 acquires a motion vector of a block including the pixel from the motion vector received from the parent image vector detection unit 502.

ステップＳ８０４において、補間画像生成部５０６は、ステップＳ８０３で取得した動きベクトルから当該画素において関連のある参照画像を算出する。すなわち、当該画素が親画面と何れかの子画面の境界付近の画素であり、取得した動きベクトルから、補間画素を生成するために参照画像を参照する必要があった場合、補間画像生成部５０６はその子画面が結びつけられた参照画像を確定する。一方、当該画素が親画面と何れの子画面との境界付近の画素ではない、あるいは境界付近の画素であっても動きベクトルから参照画像を参照する必要がないと判断した場合、補間画像生成部５０６は参照なしと確定する。   In step S804, the interpolated image generation unit 506 calculates a reference image related to the pixel from the motion vector acquired in step S803. That is, when the pixel is a pixel near the boundary between the parent screen and any child screen, and it is necessary to refer to the reference image in order to generate the interpolation pixel from the acquired motion vector, the interpolation image generation unit 506 displays the child image. Determine the reference image to which the screen is associated. On the other hand, when it is determined that the pixel is not a pixel near the boundary between the parent screen and any child screen, or even if the pixel is near the boundary, it is not necessary to refer to the reference image from the motion vector, the interpolation image generation unit 506 determines that there is no reference.

ステップＳ８０５において、補間画像生成部５０６は、合成画像の前フレーム（（ｎ−１）フレーム）あるいは、参照画像抽出部５０５が抽出した前フレームに対応した参照画像のうち、当該画素の補間画素生成に必要な画素信号をメモリ５０７より読み出す。ここで、参照画像の参照においては、補間画像生成部５０６はステップＳ８０４で確定した参照画像を参照する。   In step S805, the interpolated image generation unit 506 generates an interpolated pixel of the pixel in the reference image corresponding to the previous frame ((n−1) frame) of the composite image or the previous frame extracted by the reference image extraction unit 505. The pixel signal necessary for reading is read from the memory 507. Here, in referring to the reference image, the interpolation image generation unit 506 refers to the reference image determined in step S804.

ステップＳ８０６おいて、補間画像生成部５０６は、合成画像の現フレーム（ｎフレーム）に対して、ステップＳ８０５と同様の作業を行う。   In step S806, the interpolated image generation unit 506 performs the same operation as in step S805 on the current frame (n frame) of the composite image.

ステップＳ８０８において、補間画像生成部５０６は、当該画素が何れの子画面領域にあるかを判別する。   In step S808, the interpolated image generation unit 506 determines which sub-screen area the pixel is in.

ステップＳ８０９において、補間画像生成部５０６は、子画面ベクトル検出部５１２からステップＳ８０８で判別した子画面と結びつけられた動きベクトルの中から、当該画素が含まれるブロックの動きベクトルを取得する。   In step S809, the interpolated image generation unit 506 acquires the motion vector of the block including the pixel from the motion vectors associated with the child screen determined in step S808 from the child screen vector detection unit 512.

ステップＳ８１０において、補間画像生成部５０６は、合成画像の前フレームの子画面領域の画素信号をメモリ５０７より読み出す。   In step S <b> 810, the interpolated image generation unit 506 reads out the pixel signal of the child screen area of the previous frame of the composite image from the memory 507.

ステップＳ８１１において、補間画像生成部５０６は、合成画像の現フレームの子画面領域の画素信号をメモリ５０７より読み出す。   In step S <b> 811, the interpolated image generation unit 506 reads out from the memory 507 the pixel signal of the child screen area of the current frame of the composite image.

ステップＳ８０７において、補間画像生成部５０６は、ステップＳ８０５とステップＳ８０６で取得した前フレームの画素信号と現フレームの画素信号から、親画面領域の補間画素を生成する。また、ステップＳ８０７において、補間画像生成部５０６は、ステップＳ８１０とステップＳ８１１で取得した前フレームの画素信号と現フレームの画素信号から、子画面領域の補間画素を生成する。次に、ステップＳ８０１に戻り、処理の対象となっているフレームの補間画像が生成され終わるまで、一連の処理繰り返す。   In step S807, the interpolated image generation unit 506 generates an interpolated pixel in the parent screen area from the previous frame pixel signal and the current frame pixel signal acquired in steps S805 and S806. In step S807, the interpolated image generation unit 506 generates interpolated pixels in the child screen area from the pixel signals of the previous frame and the current frame acquired in steps S810 and S811. Next, returning to step S801, a series of processing is repeated until the interpolation image of the frame to be processed is completely generated.

以上述べてきたように、本実施形態では、合成画像の親画面と複数の子画面に対して、それぞれ正しい動きベクトルを用いると共に、親画面上の複数の子画面で隠れる領域の一部のみを補間画像生成時の参照画像として保持する。すなわち、合成画像に対して正しい補間画像を生成することで、ＰｉｎＰにおいても補間画像生成部の数を増やすことなく、また補間画像の生成に必要な画像を合成画像の差分として最小限に保持することで、回路規模とメモリ容量の増大を抑えることができる。また、複数の子画面の動きベクトル検出を時分割で行うことで、動きベクトル検出部の数を増やすことなく、回路規模の増大を抑えることができる。親画像の解像度が４Ｋ２Ｋ（４０９６×２０４８）であった場合、従来技術においては参照画像の保持のために４Ｋ２Ｋ分のメモリ容量が必要になる。一方、本発明によれば、最大でも複数の子画面の解像度分のメモリ容量を持てばよい。さらには、参照画像を親画面と子画面の境界部を中心とした一部の画像とすることで、メモリ容量の増大を抑えることができる。メモリ容量の削減効果は、表示システムが扱う解像度が高くなる程に大きくなる。   As described above, in the present embodiment, correct motion vectors are used for the parent screen and the plurality of child screens of the composite image, and only a part of the area hidden by the plurality of child screens on the parent screen is used. Stored as a reference image when generating an interpolated image. That is, by generating a correct interpolated image for the composite image, the number of interpolated image generation units is not increased even in PinP, and the image necessary for generating the interpolated image is kept to a minimum as a composite image difference. As a result, an increase in circuit scale and memory capacity can be suppressed. Further, by performing motion vector detection of a plurality of sub-screens in a time-sharing manner, it is possible to suppress an increase in circuit scale without increasing the number of motion vector detection units. If the resolution of the parent image is 4K2K (4096 × 2048), the conventional technology requires a memory capacity of 4K2K to hold the reference image. On the other hand, according to the present invention, it is sufficient to have a memory capacity corresponding to the resolution of a plurality of sub-screens at the maximum. Furthermore, by making the reference image a part of the image centering on the boundary between the parent screen and the child screen, an increase in memory capacity can be suppressed. The effect of reducing the memory capacity increases as the resolution handled by the display system increases.

（その他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。 (Other embodiments)
The present invention can also be realized by executing the following processing. That is, software (program) that realizes the functions of the above-described embodiments is supplied to a system or apparatus via a network or various storage media, and a computer (or CPU, MPU, or the like) of the system or apparatus reads the program. It is a process to be executed.

Claims (4)

連続する複数のフレームで構成された第１の画像を表示手段に表示させ、前記表示手段に表示された前記第１の画像の一部に相当する領域に、前記第１の画像と異なる第２の画像を重畳して表示させる場合において、各フレーム間における補間画像を生成する画像処理装置であって、
前記第１の画像に前記第２の画像が重畳して表示される領域の位置情報を保持する保持手段と、
前記第１の画像の各フレーム間における動きベクトルを検出する検出手段と、
検出した動きベクトルに基づいて、各フレームについて、前記第１の画像のうち、前記第２の画像が重畳して表示されない第１の領域の画像、及び前記第２の画像が重畳して表示される領域であって、前記第１の画像と前記第２の画像の境界に隣接し、前記第２の画像の背面に隠れ込んだ領域の一部を除く第２の領域の画像を取得する取得手段と、
前記取得手段が取得した画像から前記第１の領域の各フレーム間における補間画像を生成する生成手段と
を有する画像処理装置。 A first image composed of a plurality of continuous frames is displayed on the display means, and a second image different from the first image is displayed in a region corresponding to a part of the first image displayed on the display means. An image processing apparatus that generates an interpolated image between each frame in the case of superimposing and displaying the image of
Holding means for holding position information of a region in which the second image is displayed superimposed on the first image;
Detecting means for detecting a motion vector between each frame of the first image;
Based on the detected motion vector, for each frame, the image of the first area in which the second image is not superimposed and displayed in the first image, and the second image are superimposed and displayed. Acquisition of an image of a second area that is adjacent to a boundary between the first image and the second image and excluding a part of the area hidden behind the second image. Means,
An image processing apparatus comprising: a generating unit configured to generate an interpolated image between frames of the first region from the image acquired by the acquiring unit. 前記第２の領域のサイズは、前記検出手段によって検出された前記第１の画像の動きベクトルの大きさに基づいて決定されることを特徴とする請求項１に記載の画像処理装置。   The image processing apparatus according to claim 1, wherein the size of the second area is determined based on a magnitude of a motion vector of the first image detected by the detection unit. 連続する複数のフレームで構成された第１の画像を表示手段に表示させ、前記表示手段に表示された前記第１の画像の一部に相当する領域に、前記第１の画像と異なる第２の画像を重畳して表示させる場合において、各フレーム間における補間画像を生成する画像処理装置の制御方法であって、
前記第１の画像に前記第２の画像が重畳して表示される領域の位置情報を保持する保持工程と、
前記第１の画像の各フレーム間における動きベクトルを検出する検出工程と、
検出した動きベクトルに基づいて、各フレームについて、前記第１の画像のうち、前記第２の画像が重畳して表示されない第１の領域の画像、及び前記第２の画像が重畳して表示される領域であって、前記第１の画像と前記第２の画像の境界に隣接し、前記第２の画像の背面に隠れ込んだ領域の一部を除く第２の領域の画像を取得する取得工程と、
前記取得手段が取得した画像から前記第１の領域の各フレーム間における補間画像を生成する生成工程と
を有する制御方法。 A first image composed of a plurality of continuous frames is displayed on the display means, and a second image different from the first image is displayed in a region corresponding to a part of the first image displayed on the display means. In the case of superimposing and displaying the above image, an image processing apparatus control method for generating an interpolated image between each frame,
A holding step of holding position information of a region in which the second image is displayed superimposed on the first image;
A detection step of detecting a motion vector between each frame of the first image;
Based on the detected motion vector, for each frame, the image of the first area in which the second image is not superimposed and displayed in the first image, and the second image are superimposed and displayed. Acquisition of an image of a second area that is adjacent to a boundary between the first image and the second image and excluding a part of the area hidden behind the second image. Process,
And a generating step of generating an interpolated image between the frames of the first region from the image acquired by the acquiring means. 請求項３に記載の制御方法をコンピュータに実行させるプログラム。   A program for causing a computer to execute the control method according to claim 3.
JP2009235084A 2009-10-09 2009-10-09 Image processing apparatus and control method thereof Expired - Fee Related JP5409245B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2009235084A JP5409245B2 (en) 2009-10-09 2009-10-09 Image processing apparatus and control method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009235084A JP5409245B2 (en) 2009-10-09 2009-10-09 Image processing apparatus and control method thereof

Publications (2)

Publication Number Publication Date
JP2011082899A true JP2011082899A (en) 2011-04-21
JP5409245B2 JP5409245B2 (en) 2014-02-05

Family

ID=44076476

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009235084A Expired - Fee Related JP5409245B2 (en) 2009-10-09 2009-10-09 Image processing apparatus and control method thereof

Country Status (1)

Country Link
JP (1) JP5409245B2 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013153568A1 (en) * 2012-04-09 2013-10-17 パナソニック株式会社 Video display device and integrated circuit
US9183882B2 (en) 2013-03-29 2015-11-10 Kabushiki Kaisha Toshiba Moving-image playback device

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004120757A (en) * 2002-09-24 2004-04-15 Matsushita Electric Ind Co Ltd Method for processing picture signal and picture processing unit
WO2007052452A1 (en) * 2005-11-07 2007-05-10 Sharp Kabushiki Kaisha Image display device and method

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004120757A (en) * 2002-09-24 2004-04-15 Matsushita Electric Ind Co Ltd Method for processing picture signal and picture processing unit
WO2007052452A1 (en) * 2005-11-07 2007-05-10 Sharp Kabushiki Kaisha Image display device and method

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013153568A1 (en) * 2012-04-09 2013-10-17 パナソニック株式会社 Video display device and integrated circuit
US9183882B2 (en) 2013-03-29 2015-11-10 Kabushiki Kaisha Toshiba Moving-image playback device

Also Published As

Publication number Publication date
JP5409245B2 (en) 2014-02-05

Similar Documents

Publication Publication Date Title
JP4743912B2 (en) Image display system, image display apparatus, and control method for image display apparatus
EP2161687B1 (en) Video signal processing device, video signal processing method, and video signal processing program
JP2014077993A (en) Display device
JP2006287632A (en) Noise reducer and noise reducing method
US8098327B2 (en) Moving image frame rate converting apparatus and moving image frame rate converting method
JP4786506B2 (en) Television receiver
JP4543116B1 (en) Image processing apparatus and image processing method
JP5409245B2 (en) Image processing apparatus and control method thereof
US9479682B2 (en) Video signal processing device and display apparatus
JP5015089B2 (en) Frame rate conversion device, frame rate conversion method, television receiver, frame rate conversion program, and recording medium recording the program
JP2009267612A (en) Image processor, and image processing method
US7630018B2 (en) On-screen display apparatus and on-screen display generation method
US20150382015A1 (en) Image frame interpolation apparatus, display apparatus and control method thereof
JP5219646B2 (en) Video processing apparatus and video processing apparatus control method
JP2010055001A (en) Video signal processing apparatus and video signal processing method
JP6448189B2 (en) Video processing device
JP2009294273A (en) Super resolution display device
JP2007288483A (en) Image converting apparatus
JP2005151135A (en) Apparatus and method of determining picture boundary, and apparatus and method of processing picture signal using same
JP5143164B2 (en) Image processing apparatus and image processing method
JP2014045425A (en) Electronic device and control method of the same
JP2010103584A (en) Image processing unit and image processing method
JP4677799B2 (en) Image processing apparatus and image processing method
JP5371682B2 (en) Image processing apparatus and image processing method
JP2005354125A (en) Image processor and image display apparatus

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20121005

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130603

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130625

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130808

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130827

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130909

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20131008

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20131105

R151 Written notification of patent or utility model registration

Ref document number: 5409245

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

LAPS Cancellation because of no payment of annual fees