JP2008203756A - Video signal processor, video display device, and video signal processing method - Google Patents
Video signal processor, video display device, and video signal processing method Download PDFInfo
- Publication number
- JP2008203756A JP2008203756A JP2007042445A JP2007042445A JP2008203756A JP 2008203756 A JP2008203756 A JP 2008203756A JP 2007042445 A JP2007042445 A JP 2007042445A JP 2007042445 A JP2007042445 A JP 2007042445A JP 2008203756 A JP2008203756 A JP 2008203756A
- Authority
- JP
- Japan
- Prior art keywords
- image
- video
- motion image
- video signal
- motion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Closed-Circuit Television Systems (AREA)
- Transforming Electric Information Into Light Information (AREA)
- Controls And Circuits For Display Device (AREA)
Abstract
Description
この発明は、ユーザが、映像に含まれる動きのある物体に係る画像に注目した際に、この注目画像を視聴しやすいように表示する映像表示装置に関する。またこの発明は、動きのある注目画像を追尾して表示する映像表示装置に関する。 The present invention relates to a video display apparatus that displays an image of interest so that the user can easily view the image when the user focuses on an image related to a moving object included in the video. The present invention also relates to a video display device that tracks and displays a moving image of interest.
現在、動画像を表示するさまざまな映像表示装置が製品化されている。これらに関し、ユーザの好みに応じて動画像を表示する技術が開示されている。例えば、動画像中の特定の物体を検出し、追跡表示するものがある。 Currently, various video display devices that display moving images have been commercialized. In these respects, a technique for displaying a moving image in accordance with a user's preference is disclosed. For example, there is one that detects a specific object in a moving image and displays it in a tracking manner.
特許文献１には、動画像復号化装置や動画像符号化装置において、動画像内の物体を識別する装置及び方法及びこれを用いた監視システムに関する技術が開示されている。すなわち、動画像復号化手段で符号化データを復号化して得られる再生画像信号及び符号化情報をもとにして、物体識別部で背景と非背景かを判断して物体を検出し、検出した物体と過去に識別された物体とを比較して、過去に識別された物体かあるいは新規に出現した物体かを判別して個別の物体を識別させる。識別された個別の物体の存在位置は、再生動画像信号上に合成して表示するものである。 Patent Document 1 discloses a technique relating to an apparatus and method for identifying an object in a moving image in a moving image decoding apparatus and a moving image encoding apparatus, and a monitoring system using the apparatus and method. That is, based on the reproduced image signal obtained by decoding the encoded data by the moving image decoding means and the encoded information, the object identifying unit determines whether the object is a background or a non-background, and detects the object. An object and an object identified in the past are compared to determine whether the object has been identified in the past or a newly appearing object, and individual objects are identified. The identified positions of the individual objects are combined and displayed on the reproduced moving image signal.
また特許文献２には、広域動画像内を移動する選手等を高精度に抽出・追跡する技術が開示されている。すなわち、過去の複数フレームにおける前記追跡物体の位置情報を記憶しておき、記憶した該過去の複数フレームの該追跡物体の位置情報に基づき今回のフレームにおける該追跡物体の予測位置を求める。今回のフレームにおける画像データから前記追跡物体に特有の前記所定の特徴を持つ候補物体を抽出する。前記予測位置により近い前記抽出された候補物体を前記追跡物体として割り当てる。このようにすると、スポーツ動画像などの屋外環境を想定した広い範囲における選手の抽出・追跡を高精度に行うことができるようになるという技術が開示されている。 Patent Document 2 discloses a technique for extracting and tracking a player moving in a wide area moving image with high accuracy. That is, position information of the tracked object in a plurality of past frames is stored, and a predicted position of the tracked object in the current frame is obtained based on the stored position information of the tracked object in the plurality of past frames. A candidate object having the predetermined characteristic peculiar to the tracking object is extracted from the image data in the current frame. Assign the extracted candidate object closer to the predicted position as the tracked object. In this way, a technique is disclosed that enables player extraction / tracking in a wide range assuming an outdoor environment such as a sports moving image to be performed with high accuracy.
この特許文献１または特許文献２では、動画像内の物体を高精度に認識する技術が提案されている。
しかしながら、動画像（映像）内の動いている画像（動き画像）をユーザに対して指定可能に表示し、ユーザに指定された動き画像を、第２の画像として動画像に合成して表示する映像表示装置に関する技術は開示されていなかった。このため、製品への応用という観点で、まだまだ開示が十分ではないという問題があった。
However, a moving image (moving image) in the moving image (video) is displayed so that it can be specified for the user, and the moving image specified by the user is combined with the moving image as a second image and displayed. A technique related to a video display device has not been disclosed. For this reason, there has been a problem that disclosure is still insufficient from the viewpoint of application to products.
そこで、この発明は、上記事情を考慮してなされたもので、動画像（映像）内の動いている画像（動き画像）をユーザに対して指定可能に表示し、ユーザに指定された動き画像を、第２の画像として動画像に合成して表示する映像表示装置を提供することを目的としている。また、例えばユーザが、動画像内の注目したい対象（動き画像）を指定し、その対象を安定的に視聴できるようにすることで、ユーザの利便性を向上させることを目的としている。 Therefore, the present invention has been made in consideration of the above circumstances, and displays a moving image (moving image) in a moving image (video) so as to be specified to the user, and a moving image specified by the user. It is an object of the present invention to provide a video display device that combines and displays a video as a second image. Another object is to improve user convenience by, for example, allowing a user to specify a target (moving image) to be noticed in a moving image and allowing the target to be viewed stably.
この発明に係る映像信号処理装置は、映像信号を受信し、映像処理して映像を出力する映像信号出力手段と、前記映像に含まれる動きのある物体に係る画像を検出し、動き画像として抽出する動き画像抽出手段と、前記抽出された動き画像を、前記出力された映像と合成し、指定可能に出力する指定動き画像合成手段と、前記映像と合成して出力された動き画像が、指定されたか否かを判別する動き画像指定判別手段と、動き画像が指定されたと判別された場合に、この指定された動き画像を前記指定可能に出力された動き画像を含む映像と合成し、第２の画像として重畳表示されるように出力する第２の画像合成手段を備えるように構成している。 The video signal processing apparatus according to the present invention detects a video signal output unit that receives a video signal, processes the video, and outputs the video, and detects an image related to a moving object included in the video, and extracts it as a motion image A motion image extracting means for synthesizing the extracted motion image with the output video, a designated motion image synthesizing means for outputting the video so that it can be designated, and a motion image outputted by being synthesized with the video is designated. A moving image designation discriminating means for discriminating whether or not a movement image has been designated, and when it is determined that a moving image has been designated, the designated moving image is synthesized with the video including the motion image output so as to be designated; Second image synthesizing means for outputting so as to be superimposed and displayed as the second image is provided.
この発明に係る映像表示装置は、映像信号を受信し、映像処理して映像を出力する映像信号出力手段と、前記出力された映像を表示する映像表示手段と、前記映像に含まれる動きのある物体に係る画像を検出し、動き画像として抽出する動き画像抽出手段と、前記抽出された動き画像を、前記出力された映像と合成し、前記映像表示手段に指定可能に表示出力する指定動き画像合成手段と、前記映像と合成して表示出力された動き画像が、指定されたか否かを判別する動き画像指定判別手段と、動き画像が指定されたと判別された場合に、この指定された動き画像を前記指定可能に出力された動き画像を含む映像と合成し、第２の画像として前記映像表示手段に重畳表示されるように出力する第２の画像合成手段を備えるように構成している。 The video display device according to the present invention includes a video signal output means for receiving a video signal, processing the video and outputting the video, a video display means for displaying the output video, and a motion included in the video. Motion image extraction means for detecting an image relating to an object and extracting it as a motion image, and a designated motion image for synthesizing the extracted motion image with the output video, and for display output on the video display means in a specifiable manner A combination means, a movement image designation determination means for determining whether or not a motion image synthesized and output with the video is designated, and the designated motion when it is judged that the motion image is designated. It comprises a second image composition means for synthesizing an image with the video including the motion image output so that it can be specified, and outputting it as a second image so as to be superimposed and displayed on the video display means.
この発明に係る映像信号処理方法は、映像信号を受信し、映像処理して映像を出力するステップと、前記映像に含まれる動きのある物体に係る画像を検出し、動き画像として抽出するステップと、前記抽出された動き画像を、前記出力された映像と合成し、指定可能に出力するステップと、前記映像と合成して出力された動き画像が、指定されたか否かを判別するステップと、動き画像が指定されたと判別された場合に、この指定された動き画像を、前記指定可能に出力された動き画像を含む映像と合成し、第２の画像として重畳表示されるように出力するステップを備えるように構成している。 The video signal processing method according to the present invention includes a step of receiving a video signal, processing the video and outputting the video, a step of detecting an image related to a moving object included in the video, and extracting the image as a motion image. , Combining the extracted motion image with the output video and outputting in a selectable manner; determining whether or not the motion image output by combining with the video is specified; When it is determined that a motion image has been designated, the designated motion image is combined with the video including the motion image output so as to be designated and output so as to be superimposed and displayed as a second image It comprises so that it may be equipped with.
上記した構成によれば、動画像（映像）内の動いている画像（動き画像）をユーザに対して指定可能に表示し、ユーザに指定された動き画像を、第２の画像として動画像に合成して表示する映像表示装置を提供することが可能となる。また、例えばユーザが、動画像内の注目したい対象（動き画像）を指定し、その対象を安定的に視聴できるようにすることで、ユーザの利便性を向上させることが可能となる。 According to the configuration described above, a moving image (motion image) in a moving image (video) is displayed so as to be designated to the user, and the motion image designated by the user is converted into a moving image as the second image. It is possible to provide a video display device that displays the combined images. In addition, for example, when the user designates a target (moving image) to be noticed in the moving image and allows the target to be viewed stably, the convenience of the user can be improved.
以下、図面を参照してこの発明の実施の形態を説明する。
図１はこの発明の実施の形態に係る映像信号処理装置の構成を示すブロック図である。
符号１０は映像信号処理装置、符号１１はリモコン、符号１２は表示装置、符号１０１はシステム制御用ＣＰＵ、符号１０２はリモコン制御部、符号１０３は動画処理部、符号１０４はフレームメモリ、符号１０５は物体検出部、符号１０６は注目対象候補の領域情報生成部、符号１０７は注目画像情報記憶部、符号１０８は注目画像生成部、符号１０９はセレクタ部、符号１００は映像信号記録部、符号１１０は合成表示部である。
Embodiments of the present invention will be described below with reference to the drawings.
FIG. 1 is a block diagram showing a configuration of a video signal processing apparatus according to an embodiment of the present invention.
システム制御用ＣＰＵ１０１は映像信号処理装置１０の、リモコン制御部１０２、動画処理部１０３、フレームメモリ１０４、物体検出部１０５、注目対象候補の領域情報生成部１０６、注目画像情報記憶部１０７、注目画像生成部１０８、セレクタ部１０９、映像信号記録部１００、合成表示部１１０と接続し、映像信号処理装置１０を制御する。すなわち、各処理部の動作を統括的に制御するための処理部である。
The
リモコン制御部102は、ユーザ操作によってリモコン１１から送信される制御コマンドを受信する。ここでの制御コマンドとは、例えば、動画像の表示開始や表示終了等を指示するコマンドである。
The remote
動画像の表示開始指示が発行された場合は、動画処理部103において表示対象動画像のデコード処理を行う。そして、その結果をフレームメモリ104に出力する。次に、物体検出部105において、上記デコード結果を利用して動画像中の物体検出を行う。ここで検出された物体、もしくはその中から既定の基準に照らして選択された物体（動き画像）を、注目対象候補として、各領域情報を、注目対象候補の領域情報生成部106で生成する。この注目対象候補はユーザが指定しやすいように表示する（後述）。領域情報とは、例えば、注目対象を矩形領域で抽出した際の座標情報である。
When a moving image display start instruction is issued, the moving
合成表示部110は、注目対象の領域情報とフレームメモリ104に格納されている主映像（第１の画像）の合成処理を行う。注目対象が決定されていない場合には、セレクタ部109にて注目対象候補の領域情報生成部106で生成された画像を選択する。そして、合成表示部110においてフレームメモリ104に格納されている主映像と合成処理を行う。
The
すなわち、リモコン制御部１０２は、リモコン１１から送信されたリモコン信号を受信し、システム制御用ＣＰＵ１０１に送信する。また、映像信号記録部１００には映像信号（動きのある物体に係る画像を含む）が記録されている。そして、動画処理部１０３に対して映像信号を送信する。動画処理部１０３は映像信号を受信し、動画に係る映像処理を行う。フレームメモリ１０４は受信した映像信号を一時的に記憶し出力する。
That is, the
物体検出部１０５は、映像に含まれる動きのある物体に係る画像を検出する。注目画像生成部１０８は、ユーザに提示するための動きのある物体に係る画像を注目画像として生成する。注目画像情報記憶部１０７はシステム制御用ＣＰＵ１０１に制御され、動きのある物体に係る画像情報を記憶する。注目対象候補の領域情報生成部１０６は、注目対象候補の領域情報を生成する。
The
システム制御用ＣＰＵ１０１は映像と合成して出力された動き画像が、指定されたか否かを判別する。そして、動き画像が指定されたと判別した場合は、セレクタ部１０９、フレームメモリ１０４、合成表示部１１０を制御し、指定された動き画像を、指定可能に出力された動き画像を含む映像と合成する。このとき、動き画像を、第２の画像として重畳表示されるように出力する。
The
図２はこの発明の実施の形態に係り、映像信号処理装置が抽出した動き画像を、ユーザに対して指定可能に表示する表示画面の一例を示す図である。
図に示すように、例えば、全ての注目対象候補を点線の矩形領域で表示する。また、現在指定（選択）されている対象（注目対象候補）は、実線２０の矩形領域で表示する。また、指定されていない対象（注目対象候補２１、２２、２３）は点線の矩形領域で表示する。
FIG. 2 is a diagram showing an example of a display screen that displays a motion image extracted by the video signal processing apparatus in a manner that can be specified for the user according to the embodiment of the present invention.
As shown in the figure, for example, all candidates for attention are displayed in a dotted rectangular area. In addition, the currently designated (selected) target (target target candidate) is displayed in the rectangular area of the
この発明の実施の形態では、複数の注目対象候補から特定の注目対象を選択（指定）/決定する操作も、ユーザがリモコン１１を操作し、リモコン１１信号を受信するリモコン制御部102において行う。具体的には、例えばリモコン１１上の十字キーや決定ボタン（図示せず）をユーザが操作することによって、選択（指定）/決定操作を可能とする。
In the embodiment of the present invention, the operation of selecting (designating) / determining a specific target of interest from a plurality of target of interest candidates is also performed by the remote
このユーザによる注目対象の指定操作が実施された場合に、注目対象に関する情報として、例えば、選択された矩形領域の座標情報が注目画像情報として注目画像情報記憶部107に記憶される。物体検出部105では注目画像情報記憶部１０７に記憶された情報に基づく注目対象の追跡解析を行う。
When the user designates the target of interest, for example, the coordinate information of the selected rectangular area is stored in the target image
そして、注目画像生成部108において、必要に応じて拡大/縮小処理を実施し、注目画像のサブ画面（第２の画像）を生成する。尚、サブ画面の配置位置を可変にする場合には、配置位置の決定もここで行う。
Then, the attention
図３はこの発明の実施の形態に係り、ユーザに指定された動き画像を第２の画像として、映像と合成して表示する表示画面の一例を示す図である。
上記のようにユーザによって注目対象が決定（指定）された場合には、システム制御用ＣＰＵ１０１は注目対象が決定（指定）されたと判別する。そして、セレクタ部109を制御し、注目画像生成部１０８で生成される画像を選択し、合成表示部110を制御して、フレームメモリ104に記憶されている主映像との合成を行う。尚、ここでは、注目対象の追跡手段の一例として、フレーム間の動きベクトル予測を利用している。
FIG. 3 is a diagram showing an example of a display screen that is combined with a video and displayed as a second image of a motion image designated by the user according to the embodiment of the present invention.
When the target of interest is determined (designated) by the user as described above, the
図４はこの発明の実施の形態に係る映像信号処理装置の動作を説明するフローチャートである。
上記のように、システム制御用ＣＰＵ１０１は映像信号処理装置１０の、リモコン制御部１０２、動画処理部１０３、フレームメモリ１０４、物体検出部１０５、注目対象候補の領域情報生成部１０６、注目画像情報記憶部１０７、注目画像生成部１０８、セレクタ部１０９、映像信号記録部１００、合成表示部１１０と接続し、映像信号処理装置１０を制御する。
FIG. 4 is a flowchart for explaining the operation of the video signal processing apparatus according to the embodiment of the present invention.
As described above, the
符号S200を付したステップは、ここでの開始ステップである。続いて符合S201を付したステップへ進む。
符号S201を付したステップは、表示対象動画像のデコード処理を行うステップである。続いて符合S202を付したステップへ進む。
符号S202を付したステップは、ステップS201で処理されたデコード結果を利用して、物体検出を行うステップである。物体検出手段としては、例えば、フレーム間の動きベクトルを算出し、そのベクトル値の大きなブロックを検出する。続いて符合S203を付したステップへ進む。
The step denoted by reference sign S200 is a start step here. Then, it progresses to the step which attached | subjected code | symbol S201.
The step denoted by reference numeral S201 is a step of performing a decoding process on the display target moving image. Then, it progresses to the step which attached | subjected code | symbol S202.
The step denoted by reference numeral S202 is a step of performing object detection using the decoding result processed in step S201. As the object detection means, for example, a motion vector between frames is calculated, and a block having a large vector value is detected. Then, it progresses to the step which attached | subjected code | symbol S203.
符号203を付したステップは、ステップ202で検出された物体、もしくはその中から既定の基準に照らして選択された物体を注目対象候補とし、当該領域情報を生成するステップである。例えば、注目対象候補を主画像上に矩形領域で表示する場合には、各注目対象を中心とした矩形領域を抽出し、その開始座標および終了座標を算出して記憶する。続いて符合S204を付したステップへ進む。 The step denoted by reference numeral 203 is a step of generating the region information by setting the object detected in step 202 or an object selected from among the objects detected in accordance with a predetermined reference as a target of interest. For example, when displaying a target object candidate as a rectangular area on the main image, a rectangular area centered on each target object is extracted, and its start and end coordinates are calculated and stored. Then, it progresses to the step which attached | subjected code | symbol S204.
符号S204を付したステップは、利用者によって注目画像が、決定（指定）されたか否かを判別するステップである。注目画像が、決定（指定）されたと判別された場合は符合S206を付したステップへ進む（Ｙｅｓ）。注目画像が、決定（指定）されたと判別されない場合は符合S205を付したステップへ進む（Ｎｏ）。 The step denoted by reference numeral S204 is a step of determining whether or not the target image has been determined (designated) by the user. If it is determined that the target image has been determined (designated), the process proceeds to the step denoted by reference numeral S206 (Yes). If it is not determined that the target image has been determined (designated), the process proceeds to the step denoted by reference numeral S205 (No).
符号S205を付したステップは、ステップS203で生成した領域情報を用いて主画像上に注目対象候補を示す表示を行うステップである。表示方法の一例として、上記図２に示すように、全ての注目対象候補を点線の矩形領域で表示し、現在選択（指定）されている候補を実線の矩形領域で表示する。また、他の表示方法として、矢印でマーキングしたり、色を付ける等を行っても良い。続いて符合S209を付したステップへ進む。 The step denoted by reference numeral S205 is a step of performing a display indicating a candidate for attention on the main image using the region information generated in step S203. As an example of the display method, as shown in FIG. 2, all target candidates are displayed as dotted rectangular areas, and the currently selected (designated) candidate is displayed as a solid rectangular area. Further, as another display method, marking with an arrow or coloring may be performed. Then, it progresses to the step which attached | subjected code | symbol S209.
符号S206を付したステップは、上記図３に示すような注目画像の追跡表示用サブ画面の生成を行うステップである。サブ画面表示対象の領域は、例えば、動きベクトルから予測を行い、常に移動させる。例えば、前フレームで(X1,Y1)〜(X2,Y2)の矩形領域を表示対象としており、動きベクトルが(Xmv,Ymv)であった場合は、現フレームの表示では、(X1+Xmv,Y1+Ymv)〜(X2+Xmv,Y2+Ymv)の矩形領域をサブ画面表示対象とする。尚、拡大率が予め設定されている場合には、その設定値に応じて、拡大または縮小処理を施す。もしくは、注目対象のオリジナルの画像領域サイズに応じて、適切な拡大率を自動的に決定しても良い。続いて符合S207を付したステップへ進む。 The step denoted by reference numeral S206 is a step of generating a sub-screen for tracking display of the target image as shown in FIG. For example, the sub-screen display target region is always moved by performing prediction based on the motion vector. For example, if the rectangular area from (X1, Y1) to (X2, Y2) is the display target in the previous frame and the motion vector is (Xmv, Ymv), (X1 + Xmv, A rectangular area from Y1 + Ymv) to (X2 + Xmv, Y2 + Ymv) is set as a sub-screen display target. If the enlargement ratio is set in advance, enlargement or reduction processing is performed according to the set value. Alternatively, an appropriate enlargement ratio may be automatically determined according to the size of the original image area to be noticed. Then, it progresses to the step which attached | subjected code | symbol S207.
符号S207を付したステップは、主画像上におけるサブ画面の配置位置を必要に応じて算出するステップである。尚、デフォルトの配置位置が決められている場合には本処理は行わなくとも良い。また、例えば、視聴効率を向上させるために、前記注目画像に係るサブ画面（第２の画像）を、主画像上の注目対象と重ならない位置に配置位置を変更する、といった処理を追加しても良い。続いて符合S208を付したステップへ進む。 The step denoted by reference numeral S207 is a step of calculating the arrangement position of the sub screen on the main image as necessary. Note that this processing may not be performed when a default arrangement position is determined. In addition, for example, in order to improve viewing efficiency, a process of changing the position of the sub screen (second image) related to the target image to a position that does not overlap the target of interest on the main image is added. Also good. Then, it progresses to the step which attached | subjected code | symbol S208.
符号S208を付したステップは、ステップS206で生成されたサブ画面を、ステップS207で決定した主画像上の配置位置に合成するステップである。尚、上記図３では、主画像上にサブ画面を1つ表示させているが、このサブ画面の個数は複数でも良いし（この例では４つ指定し、４つ表示する）、また全画面表示でも良い。続いて符合S209を付したステップへ進む。 The step denoted by reference numeral S208 is a step of combining the sub screen generated in step S206 with the arrangement position on the main image determined in step S207. In FIG. 3, one sub-screen is displayed on the main image. However, the number of sub-screens may be plural (in this example, four are specified and four are displayed), or the entire screen is displayed. It may be displayed. Then, it progresses to the step which attached | subjected code | symbol S209.
符号S209を付したステップは終了ステップであり、ここでの処理は終了する。
尚、物体検出、追跡手段は、上記に示した特許文献に係る技術を使用することも可能であるし、他の公知技術を使用することも可能である。ここでは、一例として、フレーム間の動きベクトル予測を利用している。
The step denoted by reference numeral S209 is an end step, and the process here ends.
The object detection / tracking means can use the technique according to the above-described patent document, or can use other known techniques. Here, as an example, motion vector prediction between frames is used.
図５はこの発明の、他の実施の形態に係る映像信号処理装置の構成を示すブロック図である。
図１と同じ構成については同一の符号を付して説明を省略する。上記説明した発明の実施の形態において用いられる映像信号は、映像信号記録部１００に録画されたものを用いたが、この説明においては、アンテナで受信した映像信号が用いられる。
FIG. 5 is a block diagram showing a configuration of a video signal processing apparatus according to another embodiment of the present invention.
The same components as those in FIG. 1 are denoted by the same reference numerals and description thereof is omitted. The video signal used in the above-described embodiment of the present invention is one recorded in the video
符号３０はアンテナであり、放送局から送信された映像信号を受信し、映像信号記録部１００および動画処理部１０３へ送信する。放送局から送信された映像信号を映像信号記録部１００に送信する場合は、図１と同じ構成であり、説明を省略する。
放送局から送信された映像信号を直接、動画処理部１０３へ送信することも可能である。すなわち、放送局から送信された映像信号が直接、動画処理部１０３へ送信されると、動画処理部103は表示対象動画像のデコード処理を行う。以下、図１で説明した上記と同様の処理を行う。
It is also possible to directly transmit the video signal transmitted from the broadcasting station to the moving
図６はこの発明の、他の実施の形態に係る映像表示装置の構成を示すブロック図である。
図１および図５と同じ構成については同一の符号を付して説明を省略する。符号１０は映像表示装置である。ここでは、映像表示装置１０は表示装置１２も含んだ構成になっている。
FIG. 6 is a block diagram showing a configuration of a video display apparatus according to another embodiment of the present invention.
The same components as those in FIG. 1 and FIG.
また、この発明においては、注目対象を複数選択可能としても良い。例えば、動画像内に兄弟姉妹が含まれていた場合に、両者を同時に表示することや、サッカーの試合の視聴時に、ボールとお気に入り選手とを同時に追跡すること等が可能となる。また、これに伴い、サブ画面の個数も増減可能としても良い。 In the present invention, a plurality of objects of interest may be selected. For example, when siblings are included in the moving image, both can be displayed simultaneously, and the ball and favorite player can be tracked simultaneously when watching a soccer game. Accordingly, the number of sub-screens may be increased or decreased.
また、サブ画面表示は、ユーザが拡大率を指定可能にしても良い。あるいは、注目画像サイズに応じて、適切な拡大率が自動的に決定される構成としても良い。このように、注目対象画像を拡大/縮小表示できることにより、ユーザの視聴効率をより向上できる効果がある。 Further, the sub screen display may allow the user to specify an enlargement ratio. Or it is good also as a structure by which an appropriate expansion ratio is determined automatically according to an attention image size. As described above, since the target image can be enlarged / reduced and displayed, the user's viewing efficiency can be further improved.
また、サブ画面のみを表示すること、すなわち全画面表示への切り替えも可能としても良い。
また、注目対象の設定情報、例えば、サブ画面表示の対象とした矩形領域の開始座標、および終了座標等、を記憶しておき、2回目以降の表示時にこの記憶された設定を読み込むような仕組みを追加しても良い。これにより、視聴の度に注目対象を設定し直す必要がなくなり、視聴効率をより向上できる効果がある。
It is also possible to display only the sub screen, that is, switch to full screen display.
In addition, the setting information of the target object, for example, the start coordinates and end coordinates of the rectangular area targeted for sub-screen display are stored, and the stored settings are read at the second and subsequent display. May be added. Thereby, there is no need to reset the target of attention every time viewing is performed, and the viewing efficiency can be further improved.
上記のように構成することによって、この発明の実施の形態においては、動画像（映像）内の動いている画像（動き画像）をユーザに対して指定可能に表示し、ユーザに指定された動き画像を、第２の画像として動画像に合成して表示する映像表示装置を提供することが可能となるという効果がある。また、例えばユーザが、動画像内の注目したい対象（動き画像）を指定し、その対象を安定的に視聴できるようにすることで、ユーザの利便性を向上させることが可能となるという効果がある。 With the configuration described above, in the embodiment of the present invention, a moving image (motion image) in a moving image (video) is displayed to the user so as to be designated, and the motion designated by the user is displayed. There is an effect that it is possible to provide a video display device that displays an image combined with a moving image as a second image. In addition, for example, the user can improve the convenience of the user by specifying a target (moving image) to be noticed in the moving image and allowing the target to be viewed stably. is there.
例えば、子供の運動会を撮影したホームビデオや、TVのスポーツ番組等の視聴において、ユーザが動画像内の注目したい対象を指定し、その対象を安定的に視聴もしくは観察可能とすることで、ユーザの利便性を大幅に向上することが可能となるという効果がある。 For example, when viewing a home video shot of a children's athletic meet or a sports program on a TV, the user designates a target that the user wants to pay attention to in the video, and the target can be viewed or observed stably. There is an effect that it is possible to greatly improve the convenience.
上記説明したように、この発明の実施の形態においては、映像処理を行う映像信号は、記録媒体に記録（録画）される場合に限定されず、放送等で送信された映像信号を受信する場合においても適用可能である。例えば、デジタルビデオカメラやHDD/DVDレコーダ、デジタルTV等の映像信号処理装置に適用可能である。 As described above, in the embodiment of the present invention, the video signal for video processing is not limited to being recorded (recorded) on a recording medium, but when receiving a video signal transmitted by broadcasting or the like. It is also applicable to. For example, the present invention can be applied to video signal processing apparatuses such as digital video cameras, HDD / DVD recorders, and digital TVs.
尚、この発明は上記した実施の形態そのままに限定されるものではなく、実施段階ではその趣旨を逸脱しない範囲で構成要素を種々変形して具体化することが可能である。 Note that the present invention is not limited to the above-described embodiments as they are, and various modifications can be made to the components without departing from the spirit of the invention at the implementation stage.
１０…映像信号処理装置、１１…リモコン、１２…表示装置（映像表示手段）、１０１…システム制御用ＣＰＵ（動き画像指定判別手段）、１０２…リモコン制御部、１０３…動画処理部（映像信号処理手段）、１０４…フレームメモリ、１０５…物体検出部（物体検出手段）、１０６…注目対象候補（動き画像）の領域情報生成部、１０７…注目画像（動き画像）情報記憶部、１０８…注目画像生成部（動き画像抽出手段）、１０９…セレクタ部、１１０…合成表示部（画像合成手段、第２の画像合成手段）。
DESCRIPTION OF
Claims (6)
前記映像に含まれる動きのある物体に係る画像を検出し、動き画像として抽出する動き画像抽出手段と、
前記抽出された動き画像を、前記出力された映像と合成し、指定可能に出力する指定動き画像合成手段と、
前記映像と合成して出力された動き画像が、指定されたか否かを判別する動き画像指定判別手段と、
動き画像が指定されたと判別された場合に、この指定された動き画像を、前記指定可能に出力された動き画像を含む映像と合成し、第２の画像として重畳表示されるように出力する第２の画像合成手段を備えることを特徴とする映像信号処理装置。 Video signal output means for receiving the video signal, processing the video and outputting the video;
Motion image extraction means for detecting an image related to a moving object included in the video and extracting it as a motion image;
A designated motion image synthesizing unit that synthesizes the extracted motion image with the output video and outputs the synthesized image;
A moving image designation determining means for determining whether or not a moving image output by combining with the video is specified;
When it is determined that a motion image has been designated, the designated motion image is combined with the video including the motion image output so as to be designated, and output so as to be superimposed and displayed as a second image. A video signal processing apparatus comprising two image synthesis means.
前記出力された映像を表示する映像表示手段と、
前記映像に含まれる動きのある物体に係る画像を検出し、動き画像として抽出する動き画像抽出手段と、
前記抽出された動き画像を、前記出力された映像と合成し、前記映像表示手段に指定可能に表示出力する指定動き画像合成手段と、
前記映像と合成して表示出力された動き画像が、指定されたか否かを判別する動き画像指定判別手段と、
動き画像が指定されたと判別された場合に、この指定された動き画像を、前記指定可能に出力された動き画像を含む映像と合成し、第２の画像として前記映像表示手段に重畳表示されるように出力する第２の画像合成手段を備えることを特徴とする映像表示装置。 Video signal output means for receiving the video signal, processing the video and outputting the video;
Video display means for displaying the output video;
Motion image extraction means for detecting an image related to a moving object included in the video and extracting it as a motion image;
A designated motion image synthesizing unit that synthesizes the extracted motion image with the output video, and displays and outputs the video on the video display unit;
A motion image designation determining means for determining whether or not a motion image synthesized and displayed with the video is specified;
When it is determined that a motion image has been designated, the designated motion image is combined with the video including the motion image output so as to be specifiable, and is superimposed on the video display means as a second image. A video display device comprising second image synthesizing means for outputting as described above.
前記映像に含まれる動きのある物体に係る画像を検出し、動き画像として抽出するステップと、
前記抽出された動き画像を、前記出力された映像と合成し、指定可能に出力するステップと、
前記映像と合成して出力された動き画像が、指定されたか否かを判別するステップと、
動き画像が指定されたと判別された場合に、この指定された動き画像を、前記指定可能に出力された動き画像を含む映像と合成し、第２の画像として重畳表示されるように出力するステップを備えることを特徴とする映像信号処理方法。 Receiving a video signal, processing the video, and outputting the video;
Detecting an image related to a moving object included in the video and extracting it as a motion image;
Synthesizing the extracted motion image with the output video, and outputting in a specifiable manner;
Determining whether a motion image synthesized and output with the video is designated;
When it is determined that a motion image has been designated, the designated motion image is combined with the video including the motion image output so as to be designated and output so as to be superimposed and displayed as a second image A video signal processing method comprising:
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2007042445A JP2008203756A (en) | 2007-02-22 | 2007-02-22 | Video signal processor, video display device, and video signal processing method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2007042445A JP2008203756A (en) | 2007-02-22 | 2007-02-22 | Video signal processor, video display device, and video signal processing method |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2008203756A true JP2008203756A (en) | 2008-09-04 |
Family
ID=39781291
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2007042445A Pending JP2008203756A (en) | 2007-02-22 | 2007-02-22 | Video signal processor, video display device, and video signal processing method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2008203756A (en) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010199666A (en) * | 2009-02-23 | 2010-09-09 | Casio Computer Co Ltd | Moving picture processing device, moving picture processing method and moving picture processing program for recording moving picture |
| JP2011053587A (en) * | 2009-09-04 | 2011-03-17 | Sharp Corp | Image processing device |
| JP2011215741A (en) * | 2010-03-31 | 2011-10-27 | Nohmi Bosai Ltd | Smoke detection device |
| JP2012253543A (en) * | 2011-06-02 | 2012-12-20 | Seiko Epson Corp | Display device, control method of display device, and program |
| WO2013141025A1 (en) * | 2012-03-21 | 2013-09-26 | ソニー株式会社 | Image processing device, image processing method, program, and recording medium |
| JP2014006911A (en) * | 2013-07-24 | 2014-01-16 | Nohmi Bosai Ltd | Smoke detection device |
| CN114620570A (en) * | 2020-12-10 | 2022-06-14 | 株式会社日立大厦*** | Maintenance work remote management server and maintenance work remote management method |
-
2007
- 2007-02-22 JP JP2007042445A patent/JP2008203756A/en active Pending
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010199666A (en) * | 2009-02-23 | 2010-09-09 | Casio Computer Co Ltd | Moving picture processing device, moving picture processing method and moving picture processing program for recording moving picture |
| JP2011053587A (en) * | 2009-09-04 | 2011-03-17 | Sharp Corp | Image processing device |
| JP2011215741A (en) * | 2010-03-31 | 2011-10-27 | Nohmi Bosai Ltd | Smoke detection device |
| JP2012253543A (en) * | 2011-06-02 | 2012-12-20 | Seiko Epson Corp | Display device, control method of display device, and program |
| WO2013141025A1 (en) * | 2012-03-21 | 2013-09-26 | ソニー株式会社 | Image processing device, image processing method, program, and recording medium |
| JP2014006911A (en) * | 2013-07-24 | 2014-01-16 | Nohmi Bosai Ltd | Smoke detection device |
| CN114620570A (en) * | 2020-12-10 | 2022-06-14 | 株式会社日立大厦*** | Maintenance work remote management server and maintenance work remote management method |
| CN114620570B (en) * | 2020-12-10 | 2024-03-22 | 株式会社日立大厦*** | Maintenance work remote management server and maintenance work remote management method |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2008203756A (en) | Video signal processor, video display device, and video signal processing method | |
| US7856145B2 (en) | Image processing system and method therefor, image processing apparatus and method, image capturing apparatus and method, program recording medium, and program | |
| US20150036050A1 (en) | Television control apparatus and associated method | |
| JP2010074787A (en) | Device and method for display control and program | |
| JP2010074685A (en) | Image processor, imaging device, image processing method, and program | |
| WO2017169369A1 (en) | Information processing device, information processing method, program | |
| JP2007072564A (en) | Multimedia reproduction apparatus, menu operation reception method, and computer program | |
| JP2013162333A (en) | Image processing device, image processing method, program, and recording medium | |
| US20160379682A1 (en) | Apparatus, method and computer program | |
| US20160381290A1 (en) | Apparatus, method and computer program | |
| JP4985201B2 (en) | Electronic device, motion vector detection method and program | |
| US8045838B2 (en) | Video viewing apparatus, video play back control method, and recording/play back program | |
| CN109155836B (en) | Reproduction device, reproduction method, information generation device, and information generation method | |
| JP2009194594A (en) | Broadcast system, transmitter and transmission method, receiver and reception method, and program | |
| JP2008244922A (en) | Video generating method and video generating apparatus | |
| JP5500972B2 (en) | Broadcast receiving apparatus and control method thereof | |
| JP2008118232A (en) | Video image reproducing unit | |
| JP2006041884A (en) | Information processing apparatus and method therefor, recording medium and program | |
| JP2007281961A (en) | Imaging apparatus, imaging apparatus control method, and imaging control method | |
| JP5067472B2 (en) | Display control apparatus, display control method, and program | |
| JP5914992B2 (en) | Display control apparatus, display control method, and program | |
| JP5402166B2 (en) | Image composition apparatus and program | |
| JP2010033532A (en) | Electronic apparatus, motion vector detection method and program thereof | |
| JP2008021110A (en) | Image processor, image processing procedure, and program | |
| JP2008004985A (en) | Information processing apparatus, information processing method, and program |