JP2005269016A - Resolution selective converting apparatus - Google Patents

Abstract

<P>PROBLEM TO BE SOLVED: To automatically select a region assumed to be useful from a received image and display only the region on a limited display screen of a terminal device in displaying a high-resolution video information on a low-resolution terminal device. <P>SOLUTION: An MPEG 2 decoding circuit 22 divides a high-resolution video screen received by a digital television receiver 21 into a plurality of blocks. Next, a motion amount operating circuit 24 obtains the motion vector of a corresponding intra-block image by obtaining inter-frame difference of each block, and a significant block deciding circuit 25 compares the motion vector in one intra-block image with the motion vectors of blocks around it to obtain a significant block in which the value becomes maximum. A certain screen region around this significant block is finally selected from the high-resolution video screen, an image transfer circuit 26 transfers this region to the display memory 27 of the low-resolution terminal device, and only the significant information is displayed on the screen having the limited size of the terminal device. <P>COPYRIGHT: (C)2005,JPO&NCIPI

Description

本発明は、ディジタル化されたＨＤＴＶの如き高精細な品質を有する画像放送を、携帯電話機などの低解像度の画面を有する端末装置で受信表示する技術に関する。   The present invention relates to a technique for receiving and displaying a high-definition image broadcast such as a digitized HDTV on a terminal device having a low-resolution screen such as a mobile phone.

従来、ハイビジョン放送などの高品位テレビ放送（ＨＤＴＶ）は、その高解像度（通常１９２０画素×１２８０ライン）に対応する表示機能を有する専用の受信装置を用いて視聴が行われてきた。最近地上波ディジタル放送による映像と情報の提供が開始されるに伴い、携帯電話に代表される携帯端末によってこの放送を受信、利用したいとする需要が高まっている。これはディジタル化により受信機の消費電力の低減と小型化が可能となり、また情報源としての価値が高くなっているためと考えられる。   Conventionally, high-definition television broadcasting (HDTV) such as high-definition broadcasting has been viewed using a dedicated receiving apparatus having a display function corresponding to the high resolution (usually 1920 pixels × 1280 lines). Recently, with the start of provision of video and information by terrestrial digital broadcasting, there is an increasing demand for receiving and using this broadcast by mobile terminals represented by mobile phones. This is thought to be due to the fact that the power consumption and miniaturization of the receiver can be reduced by digitalization, and that the value as an information source has increased.

しかしながら、携帯端末の多くは限定された表示画面（例えば２４０×３２０画素）しか有していないために、この種の端末装置では送信されてくる高解像度画面をそのまま表示することは不可能であり、何らかの変換処理を施すことが必要となる。   However, since many portable terminals have only a limited display screen (for example, 240 × 320 pixels), it is impossible to display a high-resolution screen transmitted as it is with this type of terminal device. It is necessary to perform some conversion processing.

この問題の解決のために従来行われてきた方法の一つは高解像度画像を低解像度に変換して表示することで、その変換手法の代表的な例は画素の間引き表示によるものである。   One of the conventional methods for solving this problem is to display a high-resolution image after converting it to a low resolution, and a typical example of the conversion method is a thinning-out display of pixels.

非特許文献１の１６６ページには各種の解像度の変換例が開示されている。その一つに、ダウンサンプリング法もしくはサブサンプリング法と呼ばれる高解像度画像を低解像度に変換する手法があり、これは一定の規則により領域の代表値を選択して取り出す方法である。例えば図１に示すように、水平方向、垂直方向の画素を１つ、あるいは２つ置きに取り出すことによって、低解像度に対応する画面を構成する手法である。   On page 166 of Non-Patent Document 1, conversion examples of various resolutions are disclosed. One of them is a method of converting a high-resolution image called a down-sampling method or a sub-sampling method into a low-resolution method, which is a method of selecting and extracting a representative value of a region according to a certain rule. For example, as shown in FIG. 1, a screen corresponding to a low resolution is configured by taking out one or two pixels in the horizontal and vertical directions.

図１の例は、水平方向に１個置き、垂直方向に１行置きの画素を選択する方法であり、選択された画素を黒色で表示している。この方法の適用によって選択される画素数は、水平方向で１／２、垂直方向で１／２となり、合わせて１／４への解像度変換が行われる。これと同様の手続きを行うことで、より低い解像度に変換することも可能である一方、より画質を向上させる目的で、画素の選択時にその周囲の画素の情報も併用して代表値を決定する平均操作法を用いることもある。しかしこの方法では、特に変換による縮小比が大きな場合に、表示する画質が著しく低下するために、高い解像度による視聴を想定して送信される小さな人物像の表情や小さな文字等を判読することは困難である。   The example of FIG. 1 is a method of selecting pixels arranged one by one in the horizontal direction and every other row in the vertical direction, and the selected pixels are displayed in black. The number of pixels selected by applying this method is ½ in the horizontal direction and ½ in the vertical direction, and the resolution is converted to ¼ in total. By performing the same procedure, it is possible to convert to a lower resolution. On the other hand, for the purpose of improving the image quality, the representative value is determined using the information of the surrounding pixels at the time of pixel selection. An average operation method may be used. However, with this method, especially when the reduction ratio due to conversion is large, the displayed image quality is significantly reduced. Therefore, it is not possible to interpret small human face expressions or small characters that are transmitted assuming high resolution viewing. Have difficulty.

低解像度の端末装置で視聴する他の方法としては、限られた画面に全画像の一部だけを表示して視聴者がその表示位置を手動で移動、または自動的に順次表示する方法がある。この方法は携帯端末でインターネットのＷｅｂページを表示する場合には有効である。しかし、動画像であるテレビ画面でこの種の処理を行うことは、操作が煩雑である上に目的の画像を得ることが困難であり、有用な情報を見逃す可能性が高い。   As another method of viewing with a low-resolution terminal device, there is a method in which only a part of the entire image is displayed on a limited screen and the viewer manually moves the display position or automatically sequentially displays the display position. . This method is effective when displaying a web page on the Internet on a portable terminal. However, performing this type of processing on a television screen, which is a moving image, is complicated in operation and it is difficult to obtain a target image, and there is a high possibility that useful information will be missed.

この種の目的のために、予め映像データから自分の見たいシーンを簡単かつ適切に抽出する技術が特許文献１に開示されている。この方法は、関心のある動きのパターンを予め登録することで、全画面中から関心のある画像の部分を自動的に選択して表示する手段を提供している。しかしこの技術は予め登録したシーンを用いた検索が前提とされており、一般的な動画像からの有用情報の表示の目的に適用することはできない。   For this type of purpose, Patent Document 1 discloses a technique for easily and appropriately extracting a scene desired to be viewed from video data in advance. This method provides means for automatically selecting and displaying a portion of an image of interest from the entire screen by previously registering a motion pattern of interest. However, this technique is premised on a search using a scene registered in advance, and cannot be applied to the purpose of displaying useful information from a general moving image.

特開２００３−２４４６２８号公報JP 2003-244628 A 貴家仁志著「よくわかるディジタル画像処理」ＣＱ出版社Hitoshi Kiya “Digital Image Processing Understandable” CQ Publisher

本発明が解決しようとする課題は、高解像度映像情報を低解像度の端末装置で表示する際に、受信画像から有用と想定される領域を自動的に選択して、その領域のみを端末装置の限定された表示画面に表示することで、重要な情報のみを高画質で表示することである。   The problem to be solved by the present invention is that when displaying high-resolution video information on a low-resolution terminal device, a region assumed to be useful is automatically selected from the received image, and only that region is stored in the terminal device. By displaying on a limited display screen, only important information is displayed with high image quality.

上記の課題は、テレビ映像画面を複数のブロックに分割する手段と、各ブロックの動き量を計算・比較する手段と、動き量が極大となるブロックを有意ブロックとして選択する手段と、該有意ブロックを表示装置の画素数に合せて表示する手段とを備える選択的解像度変換装置により解決することができる。   The above problems include means for dividing a television image screen into a plurality of blocks, means for calculating / comparing the amount of motion of each block, means for selecting a block with the maximum amount of motion as a significant block, and the significant block Can be solved by a selective resolution conversion device provided with means for displaying in accordance with the number of pixels of the display device.

まず、受信された高解像度映像画面を、それぞれが高々数百個の連続した画素からなる複数個のブロックに分割する。高解像度映像画面は非常に多くの画素からなるが、その一々を処理するのでは計算量が膨大になるからである。次に、連続するフレーム間での各ブロック内画像の差分を求めることにより、当該ブロック内画像の動きベクトルを求める。一つのブロック内画像の動きベクトルの値を周辺のブロックの動きベクトルの値を比較して、その値が他に比較して極大になるものを求める。このようなブロックは他に較べて有意な情報を含んでいる可能性が高いからである。最終的に、この有意なブロックを中心とする或る限られた画面領域を高解像度映像画面の中から選択することで、低解像度端末装置の限られた大きさの画面に有意な情報を表示しようとする。これが本発明の課題解決原理である。   First, the received high-resolution video screen is divided into a plurality of blocks each consisting of at most several hundred consecutive pixels. This is because a high-resolution video screen is composed of a very large number of pixels, but processing each of them will require a large amount of calculation. Next, a motion vector of the intra-block image is obtained by obtaining a difference between the intra-block images between successive frames. The motion vector value of one intra-block image is compared with the motion vector values of the neighboring blocks, and the one whose value is maximum compared with the other is obtained. This is because such a block is more likely to contain significant information than others. Finally, by selecting a limited screen area centered on this significant block from the high-resolution video screen, significant information is displayed on the limited-size screen of the low-resolution terminal device. try to. This is the problem solving principle of the present invention.

本発明により、高解像度映像画面全体の中から重要な情報が存在する領域を自動的に抽出し、重要性の低い背景等を割愛することにより、低解像度端末装置の限られた表示画面の中に効率的な表示を行うことが可能になる。その結果、例えば携帯電話機のような限られた表示機能しか持たない端末装置でも、ＨＤＴＶのような高解像度映像を効果的に受信することが可能になる。また同様の処理によって、視力の衰えた視聴者のために、画像の一部を拡大した映像を提供することも可能になる。   According to the present invention, an area in which important information is present is automatically extracted from the entire high-resolution video screen, and a low-importance background or the like is omitted. It is possible to perform efficient display. As a result, for example, a terminal device having a limited display function such as a mobile phone can effectively receive high-resolution video such as HDTV. In addition, the same processing makes it possible to provide a video in which a part of the image is enlarged for a viewer with weak vision.

この発明を実施するための最良の形態を、以下の実施例を用いて実説明する。この実施例は、ＨＤＴＶの映像を携帯電話機で受信・表示する例である。   The best mode for carrying out the present invention will be described with reference to the following examples. In this embodiment, HDTV video is received and displayed by a mobile phone.

以下に、ＨＤＴＶ放送を例として、ＭＰＥＧ２を用いる本発明の処理について説明する。   Hereinafter, the processing of the present invention using MPEG2 will be described using HDTV broadcasting as an example.

図２は、本発明の実施例としての、携帯端末によるＨＤＴＶ画像受信における画像処理のブロック図を示している。図中の参照符号２１はディジタルテレビの受信回路であり、受信電波から画像符号情報を抽出して、それをＭＰＥＧ復号回路２２に与える。ＭＰＥＧ２復号回路２２は、受け取ったテレビ映像画面を複数のブロックに分割する。すなわち受け取った、例えば（１９２０×１２８０）画素で構成される全画面のデータを、縦横がそれぞれ（１６×１６）の画素からなるブロック（マクロブロック：以下「ＭＢ」と略記））を単位として分割する。   FIG. 2 shows a block diagram of image processing in HDTV image reception by a portable terminal as an embodiment of the present invention. Reference numeral 21 in the figure is a digital television receiving circuit, which extracts image code information from the received radio wave and applies it to the MPEG decoding circuit 22. The MPEG2 decoding circuit 22 divides the received television video screen into a plurality of blocks. That is, for example, the received full-screen data composed of (1920 × 1280) pixels is divided in units of blocks (macroblock: hereinafter abbreviated as “MB”) each composed of (16 × 16) pixels. To do.

この処理過程で、各ＭＢの動きベクトルから動き量が計算され、ＭＰＥＧ２復号回路２２によって復号した結果は、画面メモリ２３に更新した画像として復元される。各ブロックの動き量を計算・比較する手段としての、動き量演算回路２４は各ＭＢの動き量を、例えば画素数が（１６×１６）であれば、動きベクトルを計算する下記数１の値を最小とするＭＢ内座標（a、b）により算出したスカラー値を、一定画面数時間毎に積算する。   In this process, the amount of motion is calculated from the motion vector of each MB, and the result decoded by the MPEG2 decoding circuit 22 is restored to the screen memory 23 as an updated image. As a means for calculating and comparing the motion amount of each block, the motion amount calculation circuit 24 calculates the motion amount of each MB, for example, if the number of pixels is (16 × 16), The scalar values calculated by the MB coordinates (a, b) that minimize the value are integrated every certain number of screens.

数１においてＸは画素の値（例えば明るさ）、添え字ｉ及びａ、ｊ及びｂはそれぞれＭＢ内の垂直、水平座標位置、ｋはフレーム番号を表す。数１の式は、フレーム番号がｋであるＭＢ内の座標位置がｉ、ｊである画素の値と、フレーム番号がｋ−１であるＭＢ内の座標位置が（ｉ±a、ｊ±b）である画素の値との差分を全ての（a、b）について求め、その絶対値を全て座標位置について合計し、動きベクトルの量（大きさ）を与える。   In Equation 1, X is a pixel value (for example, brightness), subscripts i and a, j and b are vertical and horizontal coordinate positions in MB, respectively, and k is a frame number. The expression of Equation 1 is such that the value of the pixel whose coordinate position is i and j in the MB whose frame number is k and the coordinate position in the MB whose frame number is k−1 are (i ± a, j ± b). ) Is obtained for all (a, b) and the absolute values are summed for all coordinate positions to give the amount (size) of the motion vector.

動きベクトルはＭＰＥＧ２のデータとして例えば（１９２０×１２８０）画素の画面を（１６×１６）画素のMB（マクロブロック）で構成するとすれば、ＭＢの数は横方向に１２０、縦方向に８０であり９６００個の動きベクトルが得られる。そのＸ軸、Ｙ軸の自乗和の平方根を動きベクトルのスカラー的大きさとする。   For example, if the motion vector is MPEG2 data and a (1920 × 1280) pixel screen is composed of (16 × 16) pixel MBs (macroblocks), the number of MBs is 120 in the horizontal direction and 80 in the vertical direction. 9600 motion vectors are obtained. The square root of the sum of squares of the X and Y axes is taken as the scalar magnitude of the motion vector.

ここで表示装置の解像度として（２４０×３２０）画素のものが用いられるとすると、有意ブロックとしては、これに見合うものとして横方向に１５個、縦方向に２０個から成る３００個のＭＢで構成される矩形状のものを用いることが考えられる。従って全画面の（１９２０×１２８０）画素中から、表示すべき有意ブロックを切り出す位置を決定するための有意ブロック決定操作が必要になる。   Here, if a display device having a resolution of (240 × 320) pixels is used, the significant block is composed of 300 MBs consisting of 15 in the horizontal direction and 20 in the vertical direction as appropriate. It is conceivable to use a rectangular shape. Therefore, a significant block determining operation is required to determine a position where a significant block to be displayed is cut out from (1920 × 1280) pixels of the entire screen.

図３は、有意ブロックを切り出す位置を決定するための有意ブロック決定回路２５の作用を説明する概念図である。有意ブロック決定回路２５は、動き量が極大となるブロックを有意ブロックとして選択し、併せて、当該有意ブロックの上下・左右に隣接する一定個数のＭＢを連結してできる矩形領域を、表示ブロックとして選定する。   FIG. 3 is a conceptual diagram illustrating the operation of the significant block determination circuit 25 for determining the position where the significant block is cut out. The significant block determination circuit 25 selects a block having the maximum amount of motion as a significant block, and also displays a rectangular area formed by connecting a certain number of MBs adjacent to the top, bottom, left and right of the significant block as a display block. Select.

表示ブロックの選定に際しては、想定される各種の区切り位置を用いて表示ブロックとする場合の、動き量の積算値を一定の画面数毎に仮に累積し、その各区切り毎の仮積算値を比較して、それが最大となるものを有意な表示ブロックとする。これは全画像中の動きの大きい部分に一般に視聴者にとって関心の高い部分が含まれている可能性が高く、動きの少ない部分は背景などの関心の少ない部分である可能性が高いとの推定に基づいている。   When selecting a display block, the accumulated amount of motion is temporarily accumulated for each fixed number of screens when various assumed break positions are used for display blocks, and the temporary accumulated values for each break are compared. Then, the display block having the maximum value is regarded as a significant display block. It is estimated that there is a high possibility that a part with a large movement in the entire image generally contains a part of interest to the viewer, and a part with a little movement is likely to be a part with a little interest such as the background. Based on.

ここでは有意ブロックの最大値を厳密に求める例を示したが、決定方法はこの手段に限るものではなく、例えば画面を複数個のブロックに分割し、それぞれのブロックの動き量積算値の重心を求める手法でも高い確率で最大位置を推定することができる。   Here, an example in which the maximum value of a significant block is strictly obtained has been shown, but the determination method is not limited to this means. For example, the screen is divided into a plurality of blocks, and the center of gravity of the motion amount integrated value of each block is calculated. The maximum position can be estimated with a high probability even by the obtained method.

また表示画像転送回路２６は、図３に示すように、有意ブロック決定回路２５によって決定された画像メモリ２３内の領域を実際に表示すべき表示ブロックとして選択し、それを表示装置の表示メモリ２７に転送して表示を行う。この転送動作は積算時間の次の周期がきて有意ブロック決定回路２５で新たな有意表示ブロックの領域が決定されるまで、毎画面受信ごとに同じ表示ブロックの領域から行われる。   Further, as shown in FIG. 3, the display image transfer circuit 26 selects an area in the image memory 23 determined by the significant block determination circuit 25 as a display block to be actually displayed, and displays it as a display memory 27 of the display device. Transfer to and display. This transfer operation is performed from the same display block area every reception of each screen until the next period of the integration time comes and the significant block determination circuit 25 determines a new significant display block area.

表示画像転送回路２６により、有意ブロックを表示装置の表示メモリ２７へ転送する際は、表示ブロックの大きさを表示画面の画素数に合わせる調整が以下のように行われる。表示ブロックは一般に表示画面の画素数に合わせて選ばれるが、より広い範囲を表示したい場合にば、例えば縦横を表示画面の画素数の各２倍の大きさに設定して、図１に示した例の如く１／４に縮小表示しても良い。また表示ブロックが表示画面の画素数より若干大きいときは画像の周囲をトリミングし、若干小さいときは表示画面の内側に表示するように調整する。表示ブロックの候補としての動きの積算値に複数の極大値があるときには、それらを交互に選択表示しても良い。   When the significant image block is transferred to the display memory 27 of the display device by the display image transfer circuit 26, the adjustment for adjusting the size of the display block to the number of pixels of the display screen is performed as follows. The display block is generally selected in accordance with the number of pixels of the display screen. However, when a wider range is to be displayed, for example, the vertical and horizontal dimensions are set to twice the number of pixels of the display screen, as shown in FIG. As shown in the example, the display may be reduced to ¼. When the display block is slightly larger than the number of pixels on the display screen, the periphery of the image is trimmed, and when the display block is slightly smaller, the display block is adjusted to be displayed inside the display screen. When there are a plurality of maximum values in the integrated value of movement as display block candidates, they may be alternately selected and displayed.

本発明の利用により、携帯電話もしくは携帯型個人情報端末等の限定された大きさの画面にでも、ＨＤＴＶの画像を有効に表示する機能を実装することが可能になる。   The use of the present invention makes it possible to implement a function for effectively displaying an HDTV image even on a limited-size screen of a mobile phone or a portable personal information terminal.

公知の間引き（ダウンサンプリング）による画像変換を示す概念図である。It is a conceptual diagram which shows the image conversion by well-known thinning-out (downsampling). 携帯電話機によるＨＤＴＶ映像受信の場合の画像処理過程を示すブロック図である。It is a block diagram which shows the image processing process in the case of HDTV video reception by a mobile telephone. 有意ブロックと表示画面の対応を示す概念図である。It is a conceptual diagram which shows a response | compatibility with a significant block and a display screen.

符号の説明Explanation of symbols

２１ ディジタルテレビ受信回路
２２ ＭＰＥＧ２復号回路
２３ 画面メモリ
２４ 動き量演算回路
２５ 有意ブロック決定回路
２６ 画像転送回路
２７ 表示メモリ


DESCRIPTION OF SYMBOLS 21 Digital television receiver circuit 22 MPEG2 decoding circuit 23 Screen memory 24 Motion amount calculation circuit 25 Significant block determination circuit 26 Image transfer circuit 27 Display memory

Claims (1)

テレビ映像画面を複数のブロックに分割する手段と、各ブロック内画像の動き量を計算・比較する手段と、動き量が極大となるブロックを有意ブロックとして選択する手段と、該有意ブロックを表示装置の画素数に合せて表示する手段とを備えることを特徴とする選択的解像度変換装置。

Means for dividing a TV video screen into a plurality of blocks, means for calculating / comparing the amount of motion of the images in each block, means for selecting a block having the maximum amount of motion as a significant block, and a display device for displaying the significant block And a means for displaying in accordance with the number of pixels.

Images