JP5163605B2 - Moving picture reproducing apparatus and moving picture reproducing method - Google Patents
Moving picture reproducing apparatus and moving picture reproducing method Download PDFInfo
- Publication number
- JP5163605B2 JP5163605B2 JP2009165649A JP2009165649A JP5163605B2 JP 5163605 B2 JP5163605 B2 JP 5163605B2 JP 2009165649 A JP2009165649 A JP 2009165649A JP 2009165649 A JP2009165649 A JP 2009165649A JP 5163605 B2 JP5163605 B2 JP 5163605B2
- Authority
- JP
- Japan
- Prior art keywords
- unit
- image
- search
- information
- control unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Television Signal Processing For Recording (AREA)
- Signal Processing For Digital Recording And Reproducing (AREA)
- Indexing, Searching, Synchronizing, And The Amount Of Synchronization Travel Of Record Carriers (AREA)
Description
本発明は、動画像を再生する動画像再生装置に関し、特に、過去に遡った時点から動画像を再生することのできる動画像再生装置に関する。 The present invention relates to a moving image reproducing apparatus that reproduces a moving image, and more particularly, to a moving image reproducing apparatus that can reproduce a moving image from a point in time going back to the past.
近年、デジタルカメラやデジタルビデオカメラ等の撮影装置は、静止画や動画像の高解像度化が進んでいる。例えば、動画ではデジタルビデオカメラにおいてＨＤサイズ（１９２０×１０８０）を記録できるようになっており、家庭で高画質な動画像を楽しむ事が簡単に出来るようになっている。 2. Description of the Related Art In recent years, photographing apparatuses such as digital cameras and digital video cameras have been improved in resolution of still images and moving images. For example, an HD size (1920 × 1080) can be recorded with a digital video camera for moving images, and it is easy to enjoy high-quality moving images at home.
しかしながら、従来の動画像再生装置は、ユーザが注目している対象物（オブジェクト：人や物など）を拡大して表示できないという課題があった。 However, the conventional moving image reproducing apparatus has a problem in that it cannot enlarge and display a target object (object: person, object, etc.) that the user is paying attention to.
そこで、上記課題を解決するため、下記特許文献１には、ユーザが注目している対象物をユーザが指定したタイミングで拡大して表示を行う動画像処理装置が開示されている。また、下記特許文献２には、ユーザが指定したオブジェクトを抽出する画像処理装置が開示されている。 Therefore, in order to solve the above-described problem, Patent Document 1 below discloses a moving image processing apparatus that displays an enlarged object at a timing designated by the user. Patent Document 2 below discloses an image processing apparatus that extracts an object specified by a user.
しかしながら、特許文献１の動画像処理装置は、拡大したい対象物（オブジェクト：人や物など）を指定したタイミングで、拡大して再生することはできるものの、当該対象物が画面内に出現した時点に戻って拡大することはできない。つまり、例えば、運動会等の動画像の中から拡大して見たい子供を見つけるのに時間がかかってしまった場合、子供を見つけて指定するまで拡大映像は見ることはできないといった課題があった。 However, although the moving image processing apparatus of Patent Document 1 can be enlarged and reproduced at a timing at which a target object (object: person, object, etc.) to be enlarged is designated, the time point when the target object appears in the screen You can't go back and zoom in. That is, for example, when it takes time to find a child to be enlarged from a moving image such as an athletic meet, there is a problem that the enlarged image cannot be viewed until the child is found and designated.
また、特許文献２の画像処理装置は、オブジェクト抽出する際に開始点と終点を設定する必要があり、自動的に開始点を判定して抽出することができないといった課題があった。 Further, the image processing apparatus of Patent Document 2 has a problem that it is necessary to set a start point and an end point when extracting an object, and the start point cannot be automatically determined and extracted.
本発明は、前記従来の課題を解決するもので、動画像内のユーザが指定したオブジェクトが画面内に出現する時点まで遡り、再生することのできる動画像再生装置を提供するものである。 The present invention solves the above-described conventional problems, and provides a moving image reproduction apparatus that can be reproduced by going back to the point in time when an object specified by a user in a moving image appears on the screen.
前記従来の課題を解決するため、本発明の第一の動画像再生装置は、動画像を表示する表示部と、前記表示部に表示された動画像から特定のオブジェクトを指定する入力部と、前記入力部で特定のオブジェクトが指定されたとき、前記オブジェクトが前記表示部に出現する再生位置まで遡って、前記動画像を再生させる制御部を備える。 In order to solve the conventional problem, a first moving image reproduction device of the present invention includes a display unit that displays a moving image, an input unit that specifies a specific object from the moving image displayed on the display unit, When a specific object is designated by the input unit, a control unit is provided that reproduces the moving image by going back to a reproduction position where the object appears on the display unit.
本発明の第二の動画像再生装置は、動画像をデコードする復号部と、前記入力部で指定されたオブジェクトを認識する認識部と、前記認識部で認識されたオブジェクト情報と、前記復号部から出力された画像とに基づき、前記画像に前記オブジェクトが存在するか否かを探索する探索部と、をさらに備え、前記制御部は、前記入力部で前記オブジェクトが指定された画像を開始点として、時間的に遡って、前記復号部で動画像をデコードさせ、前記探索部に前記復号部でデコードした画像に対して前記オブジェクトを探索させ、前記オブジェクトが検出されなかった場合に、所定の画像から再生を開始させる制御を備える。 The second moving image reproduction apparatus of the present invention includes a decoding unit that decodes a moving image, a recognition unit that recognizes an object specified by the input unit, object information recognized by the recognition unit, and the decoding unit. A search unit that searches for whether or not the object exists in the image based on the image output from the control unit, and the control unit starts the image in which the object is specified by the input unit. As a result, when the moving image is decoded by the decoding unit, the search unit is searched for the image decoded by the decoding unit, and the object is not detected. Control for starting reproduction from an image is provided.
本発明の第三の動画像再生装置は、画像をトリミングして拡大画像を生成する拡大部と、をさらに備え、前記制御部は、前記探索部で前記オブジェクトが検出されなかった場合、所定の画像から、前記拡大部で生成された前記オブジェクトの拡大画像の再生を開始させる制御を備える。 The third moving image reproduction device of the present invention further includes an enlargement unit that trims an image to generate an enlarged image, and the control unit is configured to perform predetermined processing when the search unit does not detect the object. There is provided control for starting reproduction of an enlarged image of the object generated by the enlargement unit from an image.
本発明の第四の動画像再生装置は、前記制御部は、前記探索部で所定の画像に前記オブジェクトが検出されなかった場合、前記所定の画像から、前記探索部で前記オブジェクトを探索し、前記拡大部で前記オブジェクトの拡大画像を生成して、前記拡大画像を再生させる制御を備える。 In the fourth moving image playback device of the present invention, when the object is not detected in the predetermined image by the search unit, the control unit searches the predetermined image from the predetermined image by the search unit, Control is provided for generating an enlarged image of the object in the enlargement unit and reproducing the enlarged image.
本発明によれば、ユーザが指定した動画像内のオブジェクトが画面内に出現する時点まで遡って再生するため、ユーザが注目するオブジェクトが映っている動画像を出現する場面から提供することができる。 According to the present invention, since the object in the moving image specified by the user is played back to the time when the object appears in the screen, it is possible to provide the moving image in which the object noticed by the user appears from the scene of appearance. .
以下、本発明の実施の形態について図面を参照して詳細に説明する。
（実施の形態１）
図１は、本発明の実施の形態１における動画像再生装置１００の構成を示すブロック図である。
Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.
(Embodiment 1)
FIG. 1 is a block diagram showing a configuration of a moving image playback apparatus 100 according to Embodiment 1 of the present invention.
図１に示すとおり、動画像再生装置１００は、入力部１０１、認識部１０２、探索部１０３、制御部１０４、復号部１０５、および表示部１０６を備えている。
As illustrated in FIG. 1, the moving image playback apparatus 100 includes an
入力部１０１は、例えば、タッチパネルの場合、ユーザがオブジェクトをタップすることで位置情報を取得し、また、リモコンの場合、画面に枠等表示させ、ユーザがその枠を移動してオブジェクトに合わせることで位置情報を取得する。これにより入力部１０１はユーザが指定した位置情報を取得し、認識部１０２へ出力する。
For example, in the case of a touch panel, the
認識部１０２は、入力部１０１から出力された位置情報を基にして、その領域にオブジェクトとして認識できる輪郭が存在するか否かを判断し、存在する場合は、オブジェクトの位置、画像を含むオブジェクト情報を探索部１０３へ出力する。
Based on the position information output from the
探索部１０３は、認識部１０２から出力されたオブジェクト情報をもとに復号部１０５で復号された画像に対してオブジェクトの探索を行い、オブジェクトの有無情報を生成する。そして、探索部１０３は、探索結果であるオブジェクト有無情報を制御部１０４へ出力する。
The
制御部１０４は、探索部１０３で生成されたオブジェクト有無情報をもとに、復号部１０５に対して動画像のデコードの制御を行う。
The control unit 104 controls the
復号部１０５は、制御部１０４から出力された指示に従って、動画像の復号を行い、復号した画像を表示部１０６へ出力する。
The
表示部１０６は、ＬＣＤや有機ＥＬ等の表示デバイスであり、復号部１０５で復号された画像を画面に表示する。
The
図２は、本発明の実施の形態１における動画像再生装置１００の動作を説明するフローチャートである。なお、本動作フローは、動画像再生中にユーザが一時停止をして、注目するオブジェクトを入力部１０１がタッチパネルであれば、ユーザがオブジェクトをタップすることにより、また、入力部１０１がリモコンであれば、ユーザが画面に表示されている枠等を移動しオブジェクトに合わせることにより、位置を決定するものとして説明する。
FIG. 2 is a flowchart for explaining the operation of the moving image reproduction apparatus 100 according to Embodiment 1 of the present invention. In this operation flow, when the user pauses during moving image reproduction and the
まず、入力部１０１は、ユーザが指定した位置情報を取得し、認識部１０２へ出力する（ステップＳ１）。
First, the
次に、認識部１０２は、入力部１０１から出力された位置情報と、復号部１０５から出力されている画像（表示部２０６で表示されている画像）を基にして、その領域にオブジェクトとして認識できる輪郭が存在するか否かを判断する（ステップＳ２）
次に、認識部１０２は、入力部１０１から出力された位置情報からオブジェクトとして認識できないと判断した場合（ステップＳ２、Ｎｏ）、再度ステップＳ１の処理を実行する。
Next, the
Next, when the recognizing
一方、認識部１０２は、入力部１０１から出力された位置情報からオブジェクトオブジェクトとして認識できると判断した場合（ステップＳ２、Ｙｅｓ）、オブジェクトの位置、画像を含むオブジェクト情報を生成して、探索部１０３へ出力する（ステップＳ３）。
On the other hand, when the
次に、制御部１０４は復号部１０５で直前に復号した画像に対して時間的に過去方向へ１枚前の画像を、次に復号部１０５で復号する画像と決定する（ステップＳ４）。
復号部１０５は制御部１０４が指定した画像を復号する（ステップＳ５）。
Next, the control unit 104 determines that the previous image in the past direction with respect to the image decoded immediately before by the
The
探索部１０３は、復号部１０５で復号された画像と、認識部１０２から出力されたオブジェクト情報とに基づいて、当該画像に入力部１０１で指定されたオブジェクトが含まれているか探索し、探索した結果のオブジェクト有無情報を制御部１０４に出力し、さらにオブジェクトが存在する場合は探索部のオブジェクト情報（オブジェクトの位置）を更新する（ステップＳ６）。
Based on the image decoded by the
次に、制御部１０４は探索部１０３のオブジェクト有無情報でオブジェクトが無いと判断された場合、または復号部１０５の復号した画像がストリームの先頭だった場合（ステップＳ７、ＹＥＳ）、制御部１０４は再生再開箇所を最後に復号した画像に決定する（ステップＳ８）。そして制御部１０４は再生再開箇所から通常再生を再開する（ステップＳ９）。
Next, when the control unit 104 determines that there is no object based on the object presence / absence information of the
一方、制御部１０４は探索部１０３のオブジェクト有無情報でオブジェクトが有りと判断された場合でかつ復号部１０５で復号した画像がストリームの先頭でない場合（ステップＳ７、ＮＯ）、ステップＳ４の復号化画像の決定処理に戻り、一連の処理を繰り返す。
On the other hand, if the control unit 104 determines that there is an object based on the object presence / absence information of the
図３は、本発明の実施の形態１における動画像再生装置１００のオブジェクト探索を模式的に示した図である。 FIG. 3 is a diagram schematically showing object search of the moving image playback apparatus 100 according to Embodiment 1 of the present invention.
ここで、オブジェクトの認識方法としては、入力部１０１で指定された位置の周辺について輪郭抽出を行い、抽出可能ならばオブジェクトとして認識し、不可能ならばオブジェクトとして認識しない。例えば、真っ白な画像に対してユーザがオブジェクトの位置を指定しても、輪郭が抽出できないためオブジェクトがないと判断される。またユーザがオブジェクトを囲う枠を入力して、その領域内で輪郭を抽出してオブジェクトとして認識しても良い。
Here, as a method for recognizing an object, contour extraction is performed around the position specified by the
また、オブジェクトの探索方法としては、一般的に用いられるブロックマッチング技術を用いるため、詳細な説明は本明細書では省略する。 In addition, since a generally used block matching technique is used as the object search method, detailed description thereof is omitted in this specification.
以上の手順によって、図３のようにオブジェクト（ここでは飛行機を例とする）を過去方向に探査して、オブジェクトが画面内に出現する時点を特定し、当該時点から再生することが可能となる。したがって、ユーザが注目するオブジェクトが映っている動画をオブジェクトが出現した場面から再生することができる。 Through the above procedure, it is possible to search for an object (in this case, an airplane as an example) in the past direction as shown in FIG. 3, specify the time point at which the object appears in the screen, and start playback from that time point. . Therefore, it is possible to reproduce a moving image in which an object noticed by the user is shown from a scene where the object appears.
なお、本発明の実施の形態１における動画像再生装置１００において、ステップＳ４で、過去方向に1枚移動した画像を復号するもの（過去方向に一枚ずつ復号していく）と説明したが、過去方向に向かってIピクチャごとに画像を復号するものであってもよい。Iピクチャとは、符号化方式で画面内の情報のみで符号化された画像のことである。これにより複数毎おきで探索でき、かつ復号化するのに他の画像を復号化する必要がないため、復号化と探索にかかる処理時間を短くすることが可能となる。 In the moving picture reproducing apparatus 100 according to Embodiment 1 of the present invention, it has been described that in step S4, an image moved by one sheet in the past direction is decoded (decoded one by one in the past direction). The image may be decoded for each I picture in the past direction. An I picture is an image that is encoded using only information in the screen by an encoding method. As a result, it is possible to search every other number, and it is not necessary to decode other images for decoding. Therefore, it is possible to shorten the processing time required for decoding and searching.
なお、また、本発明の実施の形態１における動画像再生装置１００において、ステップＳ８で、オブジェクトが見つかった時間的に最も過去の画面から通常の再生を開始するものとして説明したが、当該画像がコンテンツ（ストリーム）の先頭でない場合は、制御部１０４がオブジェクトが見つかった時間的に最後の画面の複数枚前の画像から再生しても良い。これにより、オブジェクトの出現するシーンを表示することができる。 In addition, in the moving image reproducing apparatus 100 according to the first embodiment of the present invention, it has been described that normal reproduction is started from the screen with the earliest time in which the object is found in step S8. When the content (stream) is not at the head, the control unit 104 may reproduce the images from a plurality of images before the last screen when the object is found. Thereby, the scene where the object appears can be displayed.
また、制御部１０４は、オブジェクトが見つかった時間的に最も過去の画面の直前のIピクチャから再生しても良い。これにより、Iピクチャは前述の様に他の画像を復号する必要がないため、さらにシーンチェンジ後の最初の画像の符号化に用いられる事が多いため、直前のIピクチャから再生を開始すれば簡単に再生を開始でき、さらに再生直後にシーンチェンジが発生する確率を低くすることが可能となる。 In addition, the control unit 104 may reproduce the I picture immediately before the most past screen in time when the object is found. As a result, the I picture does not need to be decoded as described above, and is often used for encoding the first image after a scene change. Playback can be started easily, and the probability of a scene change occurring immediately after playback can be reduced.
なお、本発明の実施の形態１における動画像再生装置１００の本動作フローは、動画再生中にユーザが一時停止をして、注目するオブジェクトの領域設定をしたタイミングで行われるとしたが、一時停止をせずに再生中にオブジェクトを指定したタイミングで再生を停止して動作を行っても良い。
（実施の形態２）
実施の形態２は、実施の形態１の過去方向へ１枚毎の探索が過去方向へＩピクチャ毎の探索である点に特徴がある。また、実施の形態２は、実施の形態１に対して動作のフローのみ異なるため、構成に関する説明は省略する。
Note that this operation flow of the moving image playback apparatus 100 according to Embodiment 1 of the present invention is performed at the timing when the user pauses and sets the area of the object of interest during video playback. The operation may be performed by stopping the reproduction at the timing when the object is designated during the reproduction without stopping.
(Embodiment 2)
The second embodiment is characterized in that the search for each image in the past direction of the first embodiment is the search for each I picture in the past direction. Further, since the second embodiment is different from the first embodiment only in the operation flow, the description of the configuration is omitted.
図４は、本発明の実施の形態２における動画像再生装置１００の動作を説明するフローチャートである。なお、本動作フローは、動画像再生中にユーザが一時停止をして、注目するオブジェクトを入力部１０１がタッチパネルであれば、ユーザがオブジェクトをタップすることにより、また、入力部１０１がリモコンであれば、ユーザが画面に表示されている枠等を移動しオブジェクトに合わせることにより、位置を決定するものとして説明する。
FIG. 4 is a flowchart for explaining the operation of the moving image reproduction apparatus 100 according to Embodiment 2 of the present invention. In this operation flow, when the user pauses during moving image reproduction and the
まず、入力部１０１は、ユーザが指定した位置情報を取得し、認識部１０２へ出力する（ステップＳ１０）。
First, the
次に、認識部１０２は、入力部１０１から出力された位置情報と、復号部１０５から出力されている画像（表示部２０６で表示されている画像）を基にして、その領域にオブジェクトとして認識できる輪郭が存在するか否かを判断する（ステップＳ１１）
次に、認識部１０２は、入力部１０１から出力された位置情報からオブジェクトとして認識できないと判断した場合（ステップＳ１１、Ｎｏ）、再度ステップＳ１の処理を実行する。
Next, the
Next, when the
一方、認識部１０２は、入力部１０１から出力された位置情報からオブジェクトオブジェクトとして認識できると判断した場合（ステップＳ１１、Ｙｅｓ）、オブジェクトの位置、画像を含むオブジェクト情報を生成して、探索部１０３へ出力する（ステップＳ１２）。
On the other hand, when the recognizing
次に、制御部１０４は復号部１０５で直前に復号した画像に対して時間的に過去方向で直近のＩピクチャの画像を、次に復号部１０５で復号する画像と決定する（ステップＳ１３）。
Next, the control unit 104 determines the image of the I picture that is closest in time in the past with respect to the image decoded immediately before by the
復号部１０５は制御部１０４が指定した画像を復号する（ステップＳ１４）。
The
探索部１０３は、復号部１０５で復号された画像と、認識部１０２から出力されたオブジェクト情報とに基づいて、当該画像に入力部１０１で指定されたオブジェクトが含まれているか探索し、探索した結果のオブジェクト有無情報を制御部１０４に出力し、さらにオブジェクトが存在する場合は探索部のオブジェクト情報（オブジェクトの位置）を更新する（ステップＳ１５）。
Based on the image decoded by the
次に、制御部１０４は探索部１０３のオブジェクト有無情報でオブジェクトが無いと判断され、かつ復号部１０５の復号した画像がストリームの先頭でない場合（ステップＳ１６、探索条件変更）、制御部１０４は過去方向に一枚毎の探索を行うように制御する（ステップＳ１７）。
Next, when the control unit 104 determines that there is no object based on the object presence / absence information of the
また、制御部１０４は探索部１０３のオブジェクト有無情報でオブジェクトが有りと判断され、かつ復号部１０５の復号した画像がストリームの先頭でない場合（ステップＳ１６、続行）、ステップＳ１３の復号化画像の決定処理に戻り、一連の処理を繰り返す。
Also, when the control unit 104 determines that there is an object based on the object presence / absence information of the
また、制御部１０４は復号部１０５の復号した画像がストリームの先頭の場合（ステップＳ１６、終了）、制御部１０４は再生再開箇所を最後に復号した画像（ストリームの先頭）に決定する（ステップＳ１８）。
In addition, when the image decoded by the
過去方向に1枚毎の探索（ステップＳ１７）では、まず制御部１０４は復号部１０５で直前に復号した画像に対して時間的に過去方向へ１枚前の画像を、次に復号部１０５で復号する画像と決定する（ステップＳ２０）。
In the search for each image in the past direction (step S <b> 17), the control unit 104 first searches the previous image in the past direction with respect to the image decoded immediately before by the
復号部１０５は制御部１０４が指定した画像を復号する（ステップＳ２１）。
The
探索部１０３は、復号部１０５で復号された画像と、認識部１０２から出力されたオブジェクト情報とに基づいて、当該画像に入力部１０１で指定されたオブジェクトが含まれているか探索し、探索した結果のオブジェクト有無情報を制御部１０４に出力し、さらにオブジェクトが存在する場合は探索部のオブジェクト情報（オブジェクトの位置）を更新する（ステップＳ２２）。
Based on the image decoded by the
次に、制御部１０４は探索部１０３のオブジェクト有無情報でオブジェクトが無いと判断された場合、または復号部１０５の復号した画像がストリームの先頭だった場合（ステップＳ２３、ＹＥＳ）、制御部１０４は再生再開箇所を最後に復号した画像に決定する（ステップ１８）。
Next, when the control unit 104 determines that there is no object based on the object presence / absence information of the
一方で、制御部１０４は探索部１０３のオブジェクト有無情報でオブジェクトが有りと判断された場合でかつ復号部１０５で復号した画像がストリームの先頭でない場合（ステップＳ２３、ＮＯ）、ステップ２０の復号化画像の決定処理に戻り、一連の処理を繰り返す。
On the other hand, when the control unit 104 determines that there is an object based on the object presence / absence information of the
最後に、制御部１０４は再生再開箇所から通常再生を再開する（ステップ１９）。 Finally, the control unit 104 resumes normal reproduction from the reproduction resume point (step 19).
図５は、本発明の実施の形態２における動画像再生装置１００のオブジェクト探索を模式的に示した図である。上部はＩピクチャ毎の探索、そしてオブジェクトが無い場合は下部の1ピクチャ毎の探索に変化することを示している。 FIG. 5 is a diagram schematically showing object search of the moving image playback apparatus 100 according to Embodiment 2 of the present invention. The upper part shows that the search changes for every I picture, and when there is no object, the search changes for every lower picture.
以上の手順によって、図５のようにオブジェクト（図５では飛行機）を過去方向に探査して、そのオブジェクトの出現箇所を特定し、そこから再生することが可能となる。その際、単純に一枚ごとに探索するよりも早く出現箇所を見つける事が可能となる。したがって、ユーザが注目するオブジェクトを含む動画をオブジェクトが出現した場面から再生することができる。 By the above procedure, it is possible to search an object (airplane in FIG. 5) in the past direction as shown in FIG. 5, specify the appearance location of the object, and reproduce from there. At that time, it is possible to find the appearance part earlier than simply searching one by one. Therefore, it is possible to reproduce a moving image including an object that is noticed by the user from a scene where the object appears.
なお、このフローは動画再生中にユーザが一時停止をして、注目するオブジェクトの領域設定をしたタイミングで行われるとしたが、一時停止をせずに再生中に領域設定したタイミングで再生を停止してフローの動作を行っても良い。
（実施の形態３）
実施の形態３は、実施の形態１の探索後の通常再生が拡大再生である点に特徴がある。
Although this flow is performed at the timing when the user pauses and sets the area of the object of interest during video playback, playback stops at the timing when the area is set during playback without pausing Then, the flow operation may be performed.
(Embodiment 3)
The third embodiment is characterized in that the normal reproduction after the search in the first embodiment is enlarged reproduction.
図６は、本発明の実施の形態３における動画像再生装置２００の構成を示すブロック図である。
FIG. 6 is a block diagram showing the configuration of the moving image playback apparatus 200 according to
図６に示すとおり、動画像再生装置２００は入力部２０１、認識部２０２、探索部２０３、制御部２０４、復号部２０５、表示部２０６、拡大部２０７、およびスイッチ２０８を備えている。
As shown in FIG. 6, the moving image playback apparatus 200 includes an
入力部２０１は、例えば、タッチパネルの場合、ユーザがオブジェクトをタップすることで位置情報を取得し、また、リモコンの場合、画面に枠等表示させ、ユーザがその枠を移動してオブジェクトに合わせることで位置情報を取得する。これにより入力部２０１はユーザが指定した位置情報を取得し、認識部２０２へ出力する。
For example, in the case of a touch panel, the
認識部２０２は、入力部２０１から出力された位置情報を基にして、その領域にオブジェクトとして認識できる輪郭が存在するか否かを判断し、存在する場合は、オブジェクトの位置、画像を含むオブジェクト情報を探索部２０３へ出力する。
探索部２０３は、認識部２０２から出力されたオブジェクト情報をもとに復号部２０５で復号された画像に対してオブジェクトの探索を行い、オブジェクトの有無情報を生成する。そして、探索部２０３は、探索結果であるオブジェクト有無情報とオブジェクト位置情報を制御部２０４へ出力する。
Based on the position information output from the
The
制御部２０４は、探索部２０３で生成されたオブジェクト有無、位置の情報を基に、復号部２０５に対して動画像のデコードの制御、また拡大部２０７に対して画像拡大の制御を行う。
The
復号部２０５は、制御部２０４から出力された指示に従って、動画像の復号を行い、画像を出力する。
The
表示部２０６は、ＬＣＤや有機ＥＬ等の表示デバイスであり、復号部２０５で復号された画像、または拡大部２０７で拡大された画像を表示する。
The
拡大部２０７は、復号部２０５で復号された画像を制御部２０４の情報を基にオブジェクトを含む画像の一部をトリミングして所定の拡大率で拡大し新たな画像を生成する。
The
スイッチ２０８は、表示部２０６において表示する画像を、復号部２０５で復号した画像にするか、拡大部２０７で拡大した画像にするかを選択する。
The
図７は、本発明の実施の形態３における動画像再生装置２００の動作を説明するフローチャートである。なお、本動作フローは、動画像再生中にユーザが一時停止をして、注目するオブジェクトを入力部２０１がタッチパネルであれば、ユーザがオブジェクトをタップすることにより、また、入力部２０１がリモコンであれば、ユーザが画面に表示されている枠等を移動しオブジェクトに合わせることにより、位置を決定するものとして説明する。
FIG. 7 is a flowchart for explaining the operation of the moving image reproduction apparatus 200 according to
まず、入力部２０１は、ユーザが指定した位置情報を取得し、認識部２０２へ出力する（ステップＳ２４）。
First, the
次に、認識部２０２は、入力部２０１から出力された位置情報を基にして、その領域にオブジェクトとして認識できる輪郭が存在するか否かを判断する（ステップＳ２５）
次に、認識部２０２は、入力部２０１から出力された位置情報からオブジェクトとして認識できないと判断した場合（ステップＳ２５、Ｎｏ）、再度ステップＳ２４の処理を実行する。
Next, the recognizing
Next, when the recognizing
一方、認識部２０２は、入力部２０１から出力された位置情報からオブジェクトオブジェクトとして認識できると判断した場合（ステップＳ２５、Ｙｅｓ）、オブジェクトの位置、画像を含むオブジェクト情報を生成して、探索部２０３へ出力する（ステップＳ２６）。
On the other hand, when the
次に、制御部２０４は復号部２０５で直前に復号した画像に対して時間的に過去方向へ１枚前の画像を、次に復号部２０５で復号する画像と決定する（ステップＳ２７）。
復号部２０５は制御部２０４が指定した画像を復号する（ステップＳ２８）。
探索部２０３は、復号部２０５で復号された画像と、認識部２０２から出力されたオブジェクト情報とに基づいて、当該画像に入力部２０１で指定されたオブジェクトが含まれているか探索し、探索した結果のオブジェクト有無情報を制御部２０４に出力する（ステップＳ２９）。
Next, the
The
Based on the image decoded by the
次に、制御部２０４は探索部２０３のオブジェクト有無情報でオブジェクトが無いと判断された場合、または復号部２０５の復号した画像がストリームの先頭だった場合（ステップＳ３０、ＹＥＳ）、制御部２０４は再生再開箇所を最後に復号した画像に決定する（ステップ３１）。
Next, when the
一方で、制御部２０４は探索部２０３のオブジェクト有無情報でオブジェクトが有りと判断された場合でかつ復号部２０５で復号した画像がストリームの先頭でない場合（ステップＳ３０、ＮＯ）、制御部２０４の復号化画像の決定処理に戻り、一連の処理を繰り返す。
On the other hand, when the
再生再開箇所の決定（ステップＳ３１）の次に、スイッチ２０８を拡大部２０７側に切り替える（ステップＳ３２）。
Following the determination of the playback restart location (step S31), the
次に、制御部２０４で再生再開箇所を開始点として、時間的に直後の画像を一枚ずつ復号画像として決定する（ステップＳ３３）。
Next, the
復号部２０５は制御部２０４が指定した画像を復号する（ステップＳ３４）。
The
探索部２０３は、復号部２０５で復号された画像と、認識部２０２から出力されたオブジェクト情報とに基づいて、当該画像に入力部２０１で指定されたオブジェクトが含まれているか探索し、探索した結果のオブジェクト有無情報、位置情報を制御部２０４に出力し、さらにオブジェクトが存在する場合は探索部のオブジェクト情報（オブジェクトの位置）を更新する（ステップＳ３５）。
Based on the image decoded by the
次に、制御部２０４は探索部２０３のオブジェクト有無情報でオブジェクトが無いと判断された場合（ステップＳ３６、ＮＯ）、スイッチ２０８を復号部２０５側に切り替えて（ステップＳ４０）、制御部２０４は直前に復号した画像から通常再生を開始する（ステップ４１）。
Next, when the
一方で、制御部２０４は探索部２０３のオブジェクト有無情報でオブジェクトが有りと判断された場合（ステップＳ３６、ＮＯ）、拡大に必要な拡大情報（オブジェクトの位置、所定のトリミングサイズ、所定の拡大率）を拡大部２０７に出力する（ステップＳ３７）。
拡大部２０７は前記拡大情報を基に、復号部２０５で復号されている画像に対して、画像をトリミングし、拡大処理を行う（ステップＳ３８）。
On the other hand, when the
Based on the enlargement information, the
表示部２０６は拡大部２０７で拡大処理した画像を表示する（ステップＳ３９）
制御部２０４は直前に復号部２０５で復号した画像がストリームの終端の場合（ステップＳ４０、ＹＥＳ）、処理を終了する。
The
When the image decoded by the
一方、制御部２０４は直前に復号部２０５で復号した画像がストリームの終端でない場合（ステップＳ４０、ＮＯ）、復号化画像の決定処理に戻り（ステップＳ３２）、一連の処理を繰り返す。
On the other hand, when the image decoded by the
以上の手順によって、ユーザが指定したオブジェクトの出現箇所から、そのオブジェクトを拡大して再生することが可能となる。 Through the above procedure, the object can be enlarged and reproduced from the appearance location of the object designated by the user.
なおステップＳ２７で過去方向に1枚ずつとしたが、時間的に直前のIピクチャの画像でも良い。Iピクチャとは符号化方式で画面内の情報のみで符号化された画像の事である。これにより複数毎おきで探索でき、かつ復号化するのに他の画像を復号化する必要がないため、復号化と探索にかかる処理時間を短くすることが可能となる。 In step S27, one image is set in the past direction, but an image of the I picture immediately before in time may be used. An I picture is an image that is encoded only with information in the screen by an encoding method. As a result, it is possible to search every other number, and it is not necessary to decode other images for decoding. Therefore, it is possible to shorten the processing time required for decoding and searching.
またステップＳ２７〜ステップＳ３１の処理を実施の形態２のステップＳ１３〜ステップＳ１８の処理に置き換えてもよい。その際、単純に一枚ごとに探索するよりも早く出現箇所を見つける事が可能となる。 Further, the processing of step S27 to step S31 may be replaced with the processing of step S13 to step S18 of the second embodiment. At that time, it is possible to find the appearance part earlier than simply searching one by one.
なお、このフローは動画再生中にユーザが一時停止をして、注目するオブジェクトの領域設定をしたタイミングで行われるとしたが、一時停止をせずに再生中に領域設定したタイミングで再生を停止してフローの動作を行っても良い。
（実施の形態４）
実施の形態４は、実施の形態３の拡大再生方法が探索情報を使用して拡大する点に特徴がある。
Although this flow is performed at the timing when the user pauses and sets the area of the object of interest during video playback, playback stops at the timing when the area is set during playback without pausing Then, the flow operation may be performed.
(Embodiment 4)
The fourth embodiment is characterized in that the enlargement reproduction method of the third embodiment is enlarged using search information.
図８は本発明の実施の形態４における動画像再生装置３００の構成を示すブロック図である。 FIG. 8 is a block diagram showing a configuration of the moving image reproduction apparatus 300 according to Embodiment 4 of the present invention.
図８に示すとおり、動画像再生装置３００は入力部３０１、認識部３０２、探索部３０３、制御部３０４、復号部３０５、表示部３０６、拡大部３０７、スイッチ３０８、および探索情報保持部３０９を備えている。
As illustrated in FIG. 8, the moving image reproduction device 300 includes an
入力部３０１は、例えば、タッチパネルの場合、ユーザがオブジェクトをタップすることで位置情報を取得し、また、リモコンの場合、画面に枠等表示させ、ユーザがその枠を移動してオブジェクトに合わせることで位置情報を取得する。これにより入力部３０１はユーザが指定した位置情報を取得し、認識部３０２へ出力する。
For example, in the case of a touch panel, the
認識部３０２は、入力部３０１から出力された位置情報を基にして、その領域にオブジェクトとして認識できる輪郭や色の違いが存在するか否かを判断し、存在する場合は、オブジェクトの位置、輪郭、大きさ、色等を示すオブジェクト情報を探索部３０３へ出力する。
Based on the position information output from the
探索部３０３は、認識部３０２から出力されたオブジェクト情報をもとに復号部３０５で復号された画像に対してオブジェクトの探索を行い、オブジェクトの有無情報を生成する。そして、探索部３０３は、探索結果であるオブジェクト有無情報とオブジェクト位置情報を制御部３０４へ出力する。
The
制御部３０４は、探索部３０３で生成されたオブジェクト有無、位置情報を、探索情報保持部３０９に出力、復号部３０５に対して動画像のデコードの制御、また拡大部３０７に対して画像拡大の制御を行う。
The
復号部３０５は、制御部３０４から出力された指示に従って、動画像の復号を行い、画像を出力する。
The
表示部３０６は、ＬＣＤや有機ＥＬ等の表示デバイスであり、復号部３０５で復号された画像、または拡大部３０７で拡大された画像を表示する。
The
拡大部３０７は、復号部３０５で復号された画像を制御部３０４の情報を基にオブジェクトを含む画像の一部をトリミングして所定の拡大率で拡大し新たな画像を生成する。
The
スイッチ３０８は、表示部３０６において表示する画像を、復号部３０５で復号した画像にするか、拡大部３０７で拡大した画像にするかを選択する。
The
探索情報保持部３０９は、制御部３０４から出力されたオブジェクト有無、位置、大きさ等の情報を保持する。
The search
図９は、本発明の実施の形態４における動画像再生装置３００の動作を説明するフローチャートである。なお、本動作フローは、動画像再生中にユーザが一時停止をして、注目するオブジェクトを入力部３０１がタッチパネルであれば、ユーザがオブジェクトをタップすることにより、また、入力部３０１がリモコンであれば、ユーザが画面に表示されている枠等を移動しオブジェクトに合わせることにより、位置を決定するものとして説明する。
FIG. 9 is a flowchart for explaining the operation of the moving image playback apparatus 300 according to Embodiment 4 of the present invention. In this operation flow, when the user pauses during moving image reproduction and the
まず、入力部３０１は、ユーザが指定した位置情報を取得し、認識部３０２へ出力する（ステップＳ４３）。
First, the
次に、認識部３０２は、入力部３０１から出力された位置情報を基にして、その領域にオブジェクトとして認識できる輪郭が存在するか否かを判断する（ステップＳ４４）
次に、認識部３０２は、入力部３０１から出力された位置情報からオブジェクトとして認識できないと判断した場合（ステップＳ４４、Ｎｏ）、再度ステップＳ４３の処理を実行する。
Next, the recognizing
Next, when the
一方、認識部３０２は、入力部３０１から出力された位置情報からオブジェクトオブジェクトとして認識できると判断した場合（ステップＳ４４、Ｙｅｓ）、オブジェクトの位置、画像を含むオブジェクト情報を生成して、探索部３０３へ出力する（ステップＳ４５）。
制御部３０４は復号部３０５で直前に復号した画像に対して時間的に過去方向へ１枚前の画像を、次に復号部３０５で復号する画像と決定する（ステップＳ４６）。
On the other hand, when the recognizing
The
復号部３０５は制御部３０４が指定した画像を復号する（ステップＳ４７）。
The
探索部３０３は、復号部３０５で復号された画像と、認識部３０２から出力されたオブジェクト情報とに基づいて、当該画像に入力部３０１で指定されたオブジェクトが含まれているか探索し、探索した結果のオブジェクト有無情報を制御部３０４に出力する（ステップＳ４８）。
Based on the image decoded by the
制御部３０４は、オブジェクト有無、位置情報を探索情報保存部３０９に保存する（ステップＳ４９）。
The
次に、制御部３０４は探索部３０３のオブジェクト有無情報でオブジェクトが無いと判断された場合、または復号部３０５の復号した画像がストリームの先頭だった場合（ステップＳ５０、ＹＥＳ）、制御部３０４は再生再開箇所を最後に復号した画像に決定する（ステップ５１）。
Next, when the
一方で、制御部３０４は探索部３０３のオブジェクト有無情報でオブジェクトが有りと判断された場合でかつ復号部３０５で復号した画像がストリームの先頭でない場合（ステップＳ５０、ＮＯ）、ステップＳ４６の復号化画像の決定処理に戻り、一連の処理を繰り返す。
On the other hand, when the
再生再開箇所の決定（ステップＳ５１）の次に、スイッチ３０８を拡大部３０７側に切り替える（ステップＳ５２）。
Following the determination of the playback restart location (step S51), the
次に、制御部３０４で再生再開箇所を開始点として、時間的に直後の画像を一枚ずつ復号画像として決定する（ステップＳ５３）。
復号部３０５は制御部３０４が指定した画像を復号する（ステップＳ５４）。
制御部３０４は探索情報保存部３０９から前記復号した画像に対応するオブジェクト情報を取り出し、拡大に必要な拡大情報（オブジェクトの位置、トリミングサイズ、拡大率情報）を生成し、拡大部３０７に出力する（ステップＳ５５）。
Next, the
The
The
拡大部３０７は前記拡大情報を基に、復号部３０５で復号されている画像に対して、画像をトリミングし、拡大処理を行う（ステップＳ５６）。
Based on the enlargement information, the
表示部３０６は拡大部３０７で拡大処理した画像を表示する（ステップＳ５７）。
The
制御部３０４は前記復号した画像が探索開始した画像の場合（ステップＳ５８、ＹＥＳ）、制御部３０４で前記復号した画像の時間的に直後の画像を開始点として、時間的に直後の画像を一枚ずつ復号画像として決定する（ステップＳ５９）。
When the decoded image is an image for which search has started (YES in step S58), the
一方で、制御部３０４は前記復号した画像が探索開始した画像でない場合（ステップＳ５８、ＮＯ）、ステップＳ５３の復号化画像の決定処理に戻り、一連の処理を繰り返す。
復号部３０５は制御部３０４が指定した画像を復号する（ステップＳ６０）。
On the other hand, when the decoded image is not a search-started image (step S58, NO), the
The
探索部３０３は、復号部３０５で復号された画像と、認識部３０２から出力されたオブジェクト情報とに基づいて、当該画像に入力部３０１で指定されたオブジェクトが含まれているか探索し、探索した結果のオブジェクト有無情報、位置情報を制御部３０４に出力し、さらにオブジェクトが存在する場合は探索部のオブジェクト情報（オブジェクトの位置）を更新する（ステップＳ６１）。
Based on the image decoded by the
次に、制御部３０４は探索部２０３のオブジェクト有無情報でオブジェクトが無いと判断された場合（ステップＳ６２、ＮＯ）、スイッチ３０８を復号部３０５側に切り替えて（ステップＳ６８）、制御部３０４は直前に復号した画像から通常再生を開始する（ステップ６８）。
Next, when the
一方で、制御部３０４は探索部３０３のオブジェクト有無情報でオブジェクトが有りと判断された場合（ステップＳ６２、ＮＯ）、拡大に必要な拡大情報（オブジェクトの位置、トリミングサイズ、拡大率情報）を拡大部３０７に出力する（ステップＳ６３）。
On the other hand, if the
拡大部３０７は前記拡大情報を基に、復号部３０５で復号されている画像に対して、画像をトリミングし、拡大処理を行う（ステップＳ６４）。
Based on the enlargement information, the
表示部３０６は拡大部３０７で拡大処理した画像を表示する（ステップＳ６５）。
The
制御部３０４は直前に復号部３０５で復号した画像がストリームの終端の場合（ステップＳ６６、ＹＥＳ）、処理を終了する。
When the image decoded by the
一方、制御部３０４は直前に復号部３０５で復号した画像がストリームの終端でない場合（ステップＳ６６、ＮＯ）、復号化画像の決定処理に戻り（ステップＳ５９）、一連の処理を繰り返す。
On the other hand, when the image decoded by the
以上の手順によって、ユーザが指定したオブジェクトの出現箇所から、そのオブジェクトを拡大して再生することが可能となるだけでなく、一度探索した情報は保持されているため、同じ画像については探索する必要がなくなる。 By the above procedure, not only can the object be enlarged and reproduced from the appearance location of the object specified by the user, but the information searched once is retained, so it is necessary to search for the same image Disappears.
なおステップＳ４６で過去方向に1枚ずつとしたが、時間的に直前のIピクチャの画像でも良い。Iピクチャとは、符号化方式で画面内の情報のみで符号化された画像の事である。これにより複数毎おきで探索でき、かつ復号化するのに他の画像を復号化する必要がないため、復号化と探索にかかる処理時間を短くすることが可能となる。この場合、オブジェクト情報がないピクチャが発生するが、ステップＳ５５で時間的に前後のオブジェクト情報を用いて位置、大きさの情報を算出する。例えば、オブジェクト情報がない画像のタイムスタンプＴｘ、位置（Ｘｘ、Ｙｘ）、時間的に前のオブジェクト情報のタイムスタンプＴ１、位置(Ｘ１、Ｙ２)、時間的に後のオブジェクト情報のタイムスタンプＴ２、位置(Ｘ２、Ｙ２)とする。この場合、水平方向の位置は（Ｔ２−Ｔ１）：（Ｔｘ−Ｔ１）＝ (Ｘ２−Ｘ１２)：（Ｘｘ−Ｘ１）として、未知のＸｘを算出する。このように全て線形的に変化していると仮定して、同様にＹｘも算出する。 In step S46, one image is set in the past direction, but an image of the I picture immediately before in time may be used. An I picture is an image that is encoded only with information in a screen by an encoding method. As a result, it is possible to search every other number, and it is not necessary to decode other images for decoding. Therefore, it is possible to shorten the processing time required for decoding and searching. In this case, a picture having no object information is generated. However, in step S55, position and size information is calculated using temporally preceding and following object information. For example, a time stamp Tx of an image without object information, a position (Xx, Yx), a time stamp T1 of object information before in time, a position (X1, Y2), a time stamp T2 of object information after time, Position (X2, Y2). In this case, the position in the horizontal direction is (T2−T1) :( Tx−T1) = (X2−X12) :( Xx−X1), and the unknown Xx is calculated. Assuming that all change linearly in this way, Yx is also calculated in the same manner.
なお、ステップＳ５１で再生再開箇所をオブジェクトが見つかった時間的に最後 の画面としたが、それがコンテンツ（ストリーム）の先頭でない場合は、オブジェクトが見つかった時間的に最後の画面の複数枚前の画像から再生しても良い。これによりオブジェクトの出現するシーンを表示することができる。この場合、拡大に使用するオブジェクト情報は最後に見つかった画面のものとする。またオブジェクトが見つかった時間的に最後の画面の直前のIピクチャから再生しても良い。Iピクチャは前述の様に他の画像を復号する必要がないため、さらにシーンチェンジ後の最初の画像の符号化に用いられる事が多いため、直前のIピクチャから再生を開始すれば簡単に再生を開始でき、さらに再生直後にシーンチェンジが発生する確率を低くすることが可能となる。 In step S51, the playback restart point is the last screen in time when the object was found, but if it is not the beginning of the content (stream), the previous screen multiple times before the last screen in which the object was found was found. You may play back from the image. As a result, a scene in which an object appears can be displayed. In this case, the object information used for enlargement is that of the screen found last. It is also possible to reproduce from the I picture immediately before the last screen in terms of time when the object was found. As I picture does not need to decode other pictures as mentioned above, it is often used for encoding the first picture after a scene change, so it is easy to play if playback starts from the previous I picture. It is possible to reduce the probability that a scene change will occur immediately after playback.
なお、このフローは動画再生中にユーザが一時停止をして、注目するオブジェクトの領域設定をしたタイミングで行われるとしたが、一時停止をせずに再生中に領域設定したタイミングで再生を停止してフローの動作を行っても良い。
（実施の形態５）
実施の形態５は、実施の形態４における過去方向へ１枚毎の探索が過去方向へＩピクチャ毎の探索である点に特徴がある。また、実施の形態５は、実施の形態４に対して動作のフローのみ異なるため、構成に関する説明は省略する。
Although this flow is performed at the timing when the user pauses and sets the area of the object of interest during video playback, playback stops at the timing when the area is set during playback without pausing Then, the flow operation may be performed.
(Embodiment 5)
The fifth embodiment is characterized in that the search for each image in the past direction in the fourth embodiment is the search for each I picture in the past direction. Further, since the fifth embodiment is different from the fourth embodiment only in the operation flow, the description of the configuration is omitted.
図１０は、本発明の実施の形態５における過去方向へＩピクチャ毎の探索の動作を説明するフローチャートである。実施の形態４で説明した図９のフローチャートと比べ、ステップＳ６９、ステップＳ７０、ステップＳ７１が異なる。その他のステップについては変わらないため重複した説明は省略する。 FIG. 10 is a flowchart for explaining the search operation for each I picture in the past direction in the fifth embodiment of the present invention. Compared with the flowchart of FIG. 9 described in the fourth embodiment, steps S69, S70, and S71 are different. Since the other steps are not changed, redundant description is omitted.
ステップＳ６９においては、制御部３０４は、復号化対象をオブジェクト指定時点から過去方向にIピクチャ毎に設定する。
In step S69, the
ステップＳ７０においては、制御部３０４は、探索部３０３のオブジェクト有無情報でオブジェクトが無いと判断され、かつ復号部３０５の復号した画像がストリームの先頭でない場合（ステップＳ１６、探索条件変更）、制御部３０４は、過去方向に一枚毎の探索を行うように制御する（ステップＳ７１）。
In step S70, the
また、制御部３０４は、探索部３０３のオブジェクト有無情報でオブジェクトが有りと判断され、かつ復号部３０５の復号した画像がストリームの先頭でない場合（ステップＳ７０、続行）、ステップＳ６９の復号化画像の決定処理に戻り、一連の処理を繰り返す。
In addition, when the
また、制御部３０４は、復号部３０５の復号した画像がストリームの先頭の場合（ステップＳ７０、終了）、再生再開箇所を最後に復号した画像（ストリームの先頭）に決定する（ステップＳ５１）。
In addition, when the image decoded by the
図１１は、本発明の実施の形態５における過去方法の一枚毎の探索の動作のうち、ステップＳ７１について詳細に説明するフローチャートである。 FIG. 11 is a flowchart for explaining step S71 in detail among the search operations for each past method in the fifth embodiment of the present invention.
制御部３０４は、探索部３０３に探索を行わせるために復号部３０５で復号対象となる画像を直前に復号した画像に対して時間的に過去方向へ１枚変更した画像とする（ステップＳ７２）。
The
復号部３０５は、制御部３０４が指定した画像を復号する（ステップＳ７３）。
The
探索部３０３は、復号部３０５で復号された画像と、認識部３０２から出力されたオブジェクト情報とに基づいて、当該画像に入力部３０１で指定されたオブジェクトが含まれているか探索し、探索した結果のオブジェクト有無情報を制御部３０４に出力する（ステップＳ７４）。
Based on the image decoded by the
制御部３０４は、オブジェクト有無、位置情報を探索情報保存部３０９に保存する（ステップＳ７５）。
The
次に、制御部３０４は、探索部３０３のオブジェクト有無情報でオブジェクトが無いと判断された場合、または復号部３０５の復号した画像がストリームの先頭だった場合（ステップＳ７６、ＹＥＳ）、再生再開箇所を最後に復号した画像（ストリームの先頭）に決定する（ステップＳ５１）。
Next, when the
一方で、制御部３０４は、探索部３０３のオブジェクト有無情報でオブジェクトが有りと判断された場合でかつ復号部３０５で復号した画像がストリームの先頭でない場合（ステップＳ７６、ＮＯ）、ステップＳ７２の復号化画像の決定処理に戻り、一連の処理を繰り返す。
On the other hand, when it is determined that there is an object based on the object presence / absence information of the
ステップＳ７７について、制御部３０４はオブジェクト情報が存在する画像の場合は、探索情報保存部３０９から前記復号した画像に対応するオブジェクト情報を取り出し、拡大に必要な拡大情報（オブジェクトの位置、トリミングサイズ、拡大率情報）を生成し、オブジェクト情報が存在しない画像の場合は、時間的に前後のオブジェクト情報を用いて位置、大きさの情報を算出する。例えば、オブジェクト情報がない画像のタイムスタンプＴｘ、位置（Ｘｘ、Ｙｘ）、時間的に前のオブジェクト情報のタイムスタンプＴ１、位置(Ｘ１、Ｙ２)、時間的に後のオブジェクト情報のタイムスタンプＴ２、位置(Ｘ２、Ｙ２)とする。この場合、水平方向の位置は（Ｔ２−Ｔ１）：（Ｔｘ−Ｔ１）＝ (Ｘ２−Ｘ１)：（Ｘｘ−Ｘ１）として、未知のＸｘを算出する。このように全て線形的に変化していると仮定して、同様にＹｘも算出する。
In step S77, if the object information is an image, the
以上の手順によって、図５のようにオブジェクト（図５では飛行機）を過去方向に探査して、そのオブジェクトの出現箇所を特定し、そこから拡大再生することが可能となる。その際、単純に一枚ごとに探索するよりも早く出現箇所を見つける事が可能となる。 According to the above procedure, it is possible to search an object (airplane in FIG. 5) in the past direction as shown in FIG. 5, identify the appearance location of the object, and reproduce the enlarged image therefrom. At that time, it is possible to find the appearance part earlier than simply searching one by one.
（実施の形態６）
さらに、上記各実施の形態で示した動画像符号化方法を実現するためのプログラムを、フレキシブルディスク等の記録媒体に記録するようにすることにより、上記各実施の形態で示した処理を、独立したコンピュータシステムにおいて簡単に実施することが可能となる。
(Embodiment 6)
Further, by recording the program for realizing the moving picture encoding method shown in each embodiment on a recording medium such as a flexible disk, the processing shown in each embodiment can be performed independently. It can be easily implemented in the computer system.
図１２は、上記各実施の形態の動画像符号化方法を、フレキシブルディスク等の記録媒体に記録されたプログラムを用いて、コンピュータシステムにより実施する場合の説明図である。 FIG. 12 is an explanatory diagram in a case where the moving image encoding method of each of the above embodiments is implemented by a computer system using a program recorded on a recording medium such as a flexible disk.
図１２（ａ）は、記録媒体本体であるフレキシブルディスクの物理フォーマットの例を示しており、図１２（ｂ）は、フレキシブルディスクの正面からみた外観、断面構造、及びフレキシブルディスクを示している。ている。
フレキシブルディスクＦＤはケースＦ内に内蔵され、該ディスクの表面には、同心円状に外周からは内周に向かって複数のトラックＴｒが形成され、各トラックは角度方向に１６のセクタＳｅに分割されている。従って、上記プログラムを格納したフレキシブルディスクでは、上記フレキシブルディスクＦＤ上に割り当てられた領域に、上記プログラムが記録されている。
FIG. 12A shows an example of a physical format of a flexible disk that is a recording medium body, and FIG. 12B shows an appearance, a cross-sectional structure, and the flexible disk as seen from the front of the flexible disk. ing.
The flexible disk FD is built in the case F, and on the surface of the disk, a plurality of tracks Tr are formed concentrically from the outer periphery toward the inner periphery, and each track is divided into 16 sectors Se in the angular direction. ing. Therefore, in the flexible disk storing the program, the program is recorded in an area allocated on the flexible disk FD.
また、図１２（ｃ）は、フレキシブルディスクＦＤに上記プログラムの記録再生を行うための構成を示す。動画像符号化方法を実現する上記プログラムをフレキシブルディスクＦＤに記録する場合は、コンピュータシステムＣｓから上記プログラムをフレキシブルディスクドライブを介して書き込む。また、フレキシブルディスク内のプログラムにより動画像符号化方法を実現する上記動画像符号化方法をコンピュータシステム中に構築する場合は、フレキシブルディスクドライブによりプログラムをフレキシブルディスクから読み出し、コンピュータシステムに転送する。 FIG. 12C shows a configuration for recording and reproducing the program on the flexible disk FD. When the program for realizing the moving image encoding method is recorded on the flexible disk FD, the program is written from the computer system Cs through the flexible disk drive. When the above-described moving picture coding method for realizing the moving picture coding method by a program in a flexible disk is constructed in a computer system, the program is read from the flexible disk by a flexible disk drive and transferred to the computer system.
なお、上記説明では、記録媒体としてフレキシブルディスクを用いて説明を行ったが、光ディスクを用いても同様に行うことができる。また、記録媒体はこれに限らず、ＩＣカード、ＲＯＭカセット等、プログラムを記録できるものであれば同様に実施することができる。 In the above description, a flexible disk is used as the recording medium, but the same can be done using an optical disk. Further, the recording medium is not limited to this, and any recording medium such as an IC card or a ROM cassette capable of recording a program can be similarly implemented.
なお、上記各実施の形態で示した動画像符号化方法を実現するための処理を集積回路であるＬＳＩとして実現してもよい。これらは一部または全てを含むように１チップ化されてもよい。 Note that the processing for realizing the moving picture encoding method shown in each of the above embodiments may be realized as an LSI which is an integrated circuit. These may be integrated into one chip so as to include some or all of them.
ここではＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと称されることもある。 The name used here is LSI, but it may also be called IC, system LSI, super LSI, or ultra LSI depending on the degree of integration.
また、集積回路化の手法はＬＳＩに限るものではなく、専用回路または汎用プロセッサで実現しても良い。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサーを利用しても良い。
さらには、半導体技術の進歩または派生する別技術によりＬＳＩなどに置き換わる集積回路の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。
Further, the method of circuit integration is not limited to LSI's, and implementation using dedicated circuitry or general purpose processors is also possible. An FPGA (Field Programmable Gate Array) that can be programmed after manufacturing the LSI or a reconfigurable processor that can reconfigure the connection and setting of circuit cells inside the LSI may be used.
Furthermore, if integrated circuit technology that replaces LSI or the like appears as a result of progress in semiconductor technology or other derived technology, it is naturally also possible to carry out function block integration using this technology.
本発明にかかる動画像再生装置によれば、ユーザが指定した動画像内のオブジェクトが画面内に出現する時点まで遡って再生するため、ユーザが注目するオブジェクトが映っている動画像を出現する場面から提供することができ、ユーザが記録されてある映像を再生することのあるテレビ、レコーダー、携帯電話、デジタルビデオカメラ等で有用である。 According to the moving image reproducing apparatus of the present invention, since the object in the moving image designated by the user is reproduced retroactively to the time when the object appears on the screen, the moving image in which the object noticed by the user appears. It is useful for TVs, recorders, mobile phones, digital video cameras, etc. that can reproduce recorded video.
１０１、２０１、３０１ 入力部
１０２、２０２、３０２ 認識部
１０３、２０３、３０３ 探索部
１０４、２０４、３０４ 制御部
１０５、２０５、３０５ 復号部
１０６、２０６、３０６ 表示部
２０７、３０７ 拡大部
２０８、３０８ スイッチ
３０９ 探索情報保持部
101, 201, 301
Claims (10)
前記表示部に表示された動画像から特定のオブジェクトを指定する入力部と、
前記指定されたオブジェクトが前記表示部に出現する再生位置を時間的に遡って探索する探索部と、
前記探索部で探索された前記オブジェクトの出現する再生位置がコンテンツの先頭でない場合、再生開始位置を時間的に最も過去の前記オブジェクトを含む画像の少なくとも一枚前の画像として前記動画像を前記再生開始位置から前記動画像を表示中に再生させる制御部と、
を具備する動画像再生装置。 A display unit for displaying moving images;
An input unit for designating a specific object from the moving image displayed on the display unit;
A search unit that searches the reproduction position where the specified object appears on the display unit in time, and
When the playback position where the object searched by the search unit appears is not the beginning of the content, the playback image is played back using the playback start position as an image at least one image before the image including the object that is the earliest in time. A control unit that plays back the moving image from the start position during display ;
A moving image reproducing apparatus comprising:
前記入力部で指定されたオブジェクトを認識する認識部と、をさらに備え、
前記探索部は、前記認識部で認識されたオブジェクト情報と前記復号部から出力された画像とに基づき、前記画像に前記オブジェクトが存在するか否かを探索し、
前記制御部は、前記入力部で前記オブジェクトが指定された画像を開始点として、時間的に遡って、前記復号部で動画像をデコードさせ、前記探索部に前記復号部でデコードした画像に対して前記オブジェクトを探索させることを特徴とする請求項１記載の動画像再生装置。 A decoding unit for decoding moving images;
A recognition unit for recognizing an object designated by the input unit ,
The search unit searches for whether the object exists in the image based on the object information recognized by the recognition unit and the image output from the decoding unit,
The control unit starts with the image in which the object is specified by the input unit as a starting point, and decodes a moving image by the decoding unit, and causes the search unit to decode the image decoded by the decoding unit. The moving image reproducing apparatus according to claim 1, wherein the object is searched .
前記制御部は、前記再生開始位置から、前記拡大部で生成された前記オブジェクトの拡大画像の再生を開始させる、ことを特徴とする請求項１乃至請求項３のうちいずれか一項に記載の動画像再生装置。 An enlargement unit that trims the image to generate an enlarged image, and
The said control part starts the reproduction | regeneration of the enlarged image of the said object produced | generated in the said expansion part from the said reproduction | regeneration start position, The Claim 1 thru | or 3 characterized by the above-mentioned. Video playback device .
前記制御部は、前記再生開始位置から、前記探索情報を基に前記拡大部で前記オブジェクトの拡大画像を生成して、前記拡大画像を再生させることを特徴とする請求項４記載の 動画像再生装置。 A search information holding unit for holding search information indicating a search result of the search unit,
The moving image reproduction according to claim 4, wherein the control unit generates an enlarged image of the object from the enlargement unit based on the search information from the reproduction start position, and reproduces the enlarged image. Equipment .
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2009165649A JP5163605B2 (en) | 2009-07-14 | 2009-07-14 | Moving picture reproducing apparatus and moving picture reproducing method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2009165649A JP5163605B2 (en) | 2009-07-14 | 2009-07-14 | Moving picture reproducing apparatus and moving picture reproducing method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2011023867A JP2011023867A (en) | 2011-02-03 |
| JP5163605B2 true JP5163605B2 (en) | 2013-03-13 |
Family
ID=43633574
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2009165649A Expired - Fee Related JP5163605B2 (en) | 2009-07-14 | 2009-07-14 | Moving picture reproducing apparatus and moving picture reproducing method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5163605B2 (en) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2014143453A (en) * | 2011-05-19 | 2014-08-07 | Panasonic Corp | Moving image editing reproducer |
| RU2609071C2 (en) * | 2011-06-17 | 2017-01-30 | Томсон Лайсенсинг | Video navigation through object location |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3335816B2 (en) * | 1995-10-19 | 2002-10-21 | 富士通株式会社 | Video presentation system |
| JP2000115779A (en) * | 1998-10-01 | 2000-04-21 | Toshiba Corp | Image processing unit and moving image coding method applied to the same |
| JP2005018912A (en) * | 2003-06-26 | 2005-01-20 | Toshiba Corp | Device and method for reproducing contents |
| JP2005277916A (en) * | 2004-03-25 | 2005-10-06 | Seiko Epson Corp | Moving picture processing apparatus, image processing system, moving picture processing method, program therefor, and recording medium |
-
2009
- 2009-07-14 JP JP2009165649A patent/JP5163605B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2011023867A (en) | 2011-02-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8170269B2 (en) | Image processing apparatus, image processing method, and program | |
| EP1691369A1 (en) | Apparatus and method for playback of still and moving pictures | |
| JP4217964B2 (en) | Information signal processing apparatus and information signal processing method | |
| JP2014096757A (en) | Image processing device, image processing method, and program | |
| JP2006349943A (en) | Method and apparatus for displaying image | |
| TW200901753A (en) | Information processing apparatus, imaging apparatus, image display control method and computer program | |
| JP2007072520A (en) | Video processor | |
| US8068672B2 (en) | Image processing apparatus and method, data recording medium, program recording medium, and program therefor | |
| JP4735388B2 (en) | Playback apparatus and method, and program | |
| KR20030056546A (en) | Moving picture player and method for providing thumbnail search picture | |
| JP2011160408A (en) | Moving picture playback device, control method for the same, and storage medium | |
| US7853083B2 (en) | Image processing apparatus and method, program recording medium, and program therefor | |
| JP2014209707A (en) | Device and method for video reproduction | |
| JP5163605B2 (en) | Moving picture reproducing apparatus and moving picture reproducing method | |
| JP5604916B2 (en) | Image processing apparatus and program | |
| JP2014107641A (en) | Information processing apparatus, method and program | |
| US7076151B2 (en) | Image recording apparatus and method, image playback apparatus and method, and recording medium | |
| JP2007158959A (en) | Optical disk reproducing device | |
| JPH10108123A (en) | Image reproduction device | |
| JP2010130093A (en) | Imaging apparatus, and program for the same | |
| JP2002354406A (en) | Dynamic image reproducing equipment | |
| JP2006101076A (en) | Method and device for moving picture editing and program | |
| JP2008021110A (en) | Image processor, image processing procedure, and program | |
| JP2011110074A (en) | Animation replaying device and program | |
| JP2008097727A (en) | Animation-reproducing device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20110218 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20120227 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120306 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120411 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120508 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120531 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20121120 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20121203 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20151228 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20151228 Year of fee payment: 3 |
|
| LAPS | Cancellation because of no payment of annual fees |