JP2011023867A - Moving image reproducing device and moving image reproducing method - Google Patents
Moving image reproducing device and moving image reproducing method Download PDFInfo
- Publication number
- JP2011023867A JP2011023867A JP2009165649A JP2009165649A JP2011023867A JP 2011023867 A JP2011023867 A JP 2011023867A JP 2009165649 A JP2009165649 A JP 2009165649A JP 2009165649 A JP2009165649 A JP 2009165649A JP 2011023867 A JP2011023867 A JP 2011023867A
- Authority
- JP
- Japan
- Prior art keywords
- image
- unit
- search
- moving image
- control unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Indexing, Searching, Synchronizing, And The Amount Of Synchronization Travel Of Record Carriers (AREA)
- Television Signal Processing For Recording (AREA)
- Signal Processing For Digital Recording And Reproducing (AREA)
Abstract
Description
本発明は、動画像を再生する動画像再生装置に関し、特に、過去に遡った時点から動画像を再生することのできる動画像再生装置に関する。 The present invention relates to a moving image reproducing apparatus that reproduces a moving image, and more particularly, to a moving image reproducing apparatus that can reproduce a moving image from a point in time going back to the past.
近年、デジタルカメラやデジタルビデオカメラ等の撮影装置は、静止画や動画像の高解像度化が進んでいる。例えば、動画ではデジタルビデオカメラにおいてHDサイズ(1920×1080)を記録できるようになっており、家庭で高画質な動画像を楽しむ事が簡単に出来るようになっている。 2. Description of the Related Art In recent years, photographing apparatuses such as digital cameras and digital video cameras have been improved in resolution of still images and moving images. For example, an HD size (1920 × 1080) can be recorded with a digital video camera for moving images, and it is easy to enjoy high-quality moving images at home.
しかしながら、従来の動画像再生装置は、ユーザが注目している対象物(オブジェクト:人や物など)を拡大して表示できないという課題があった。 However, the conventional moving image reproducing apparatus has a problem in that it cannot enlarge and display a target object (object: person, object, etc.) that the user is paying attention to.
そこで、上記課題を解決するため、下記特許文献1には、ユーザが注目している対象物をユーザが指定したタイミングで拡大して表示を行う動画像処理装置が開示されている。また、下記特許文献2には、ユーザが指定したオブジェクトを抽出する画像処理装置が開示されている。
Therefore, in order to solve the above-described problem, Patent Document 1 below discloses a moving image processing apparatus that displays an enlarged object at a timing designated by the user.
しかしながら、特許文献1の動画像処理装置は、拡大したい対象物(オブジェクト:人や物など)を指定したタイミングで、拡大して再生することはできるものの、当該対象物が画面内に出現した時点に戻って拡大することはできない。つまり、例えば、運動会等の動画像の中から拡大して見たい子供を見つけるのに時間がかかってしまった場合、子供を見つけて指定するまで拡大映像は見ることはできないといった課題があった。 However, although the moving image processing apparatus of Patent Document 1 can be enlarged and reproduced at a timing at which a target object (object: person, object, etc.) to be enlarged is designated, the time point when the target object appears in the screen You can't go back and zoom in. That is, for example, when it takes time to find a child to be enlarged from a moving image such as an athletic meet, there is a problem that the enlarged image cannot be viewed until the child is found and designated.
また、特許文献2の画像処理装置は、オブジェクト抽出する際に開始点と終点を設定する必要があり、自動的に開始点を判定して抽出することができないといった課題があった。
Further, the image processing apparatus of
本発明は、前記従来の課題を解決するもので、動画像内のユーザが指定したオブジェクトが画面内に出現する時点まで遡り、再生することのできる動画像再生装置を提供するものである。 The present invention solves the above-described conventional problems, and provides a moving image reproduction apparatus that can be reproduced by going back to the point in time when an object specified by a user in a moving image appears on the screen.
前記従来の課題を解決するため、本発明の第一の動画像再生装置は、動画像を表示する表示部と、前記表示部に表示された動画像から特定のオブジェクトを指定する入力部と、前記入力部で特定のオブジェクトが指定されたとき、前記オブジェクトが前記表示部に出現する再生位置まで遡って、前記動画像を再生させる制御部を備える。 In order to solve the conventional problem, a first moving image reproduction device of the present invention includes a display unit that displays a moving image, an input unit that specifies a specific object from the moving image displayed on the display unit, When a specific object is designated by the input unit, a control unit is provided that reproduces the moving image by going back to a reproduction position where the object appears on the display unit.
本発明の第二の動画像再生装置は、動画像をデコードする復号部と、前記入力部で指定されたオブジェクトを認識する認識部と、前記認識部で認識されたオブジェクト情報と、前記復号部から出力された画像とに基づき、前記画像に前記オブジェクトが存在するか否かを探索する探索部と、をさらに備え、前記制御部は、前記入力部で前記オブジェクトが指定された画像を開始点として、時間的に遡って、前記復号部で動画像をデコードさせ、前記探索部に前記復号部でデコードした画像に対して前記オブジェクトを探索させ、前記オブジェクトが検出されなかった場合に、所定の画像から再生を開始させる制御を備える。 The second moving image reproduction apparatus of the present invention includes a decoding unit that decodes a moving image, a recognition unit that recognizes an object specified by the input unit, object information recognized by the recognition unit, and the decoding unit. A search unit that searches for whether or not the object exists in the image based on the image output from the control unit, and the control unit starts the image in which the object is specified by the input unit. As a result, when the moving image is decoded by the decoding unit, the search unit is searched for the image decoded by the decoding unit, and the object is not detected. Control for starting reproduction from an image is provided.
本発明の第三の動画像再生装置は、画像をトリミングして拡大画像を生成する拡大部と、をさらに備え、前記制御部は、前記探索部で前記オブジェクトが検出されなかった場合、所定の画像から、前記拡大部で生成された前記オブジェクトの拡大画像の再生を開始させる制御を備える。 The third moving image reproduction device of the present invention further includes an enlargement unit that trims an image to generate an enlarged image, and the control unit is configured to perform predetermined processing when the search unit does not detect the object. There is provided control for starting reproduction of an enlarged image of the object generated by the enlargement unit from an image.
本発明の第四の動画像再生装置は、前記制御部は、前記探索部で所定の画像に前記オブジェクトが検出されなかった場合、前記所定の画像から、前記探索部で前記オブジェクトを探索し、前記拡大部で前記オブジェクトの拡大画像を生成して、前記拡大画像を再生させる制御を備える。 In the fourth moving image playback device of the present invention, when the object is not detected in the predetermined image by the search unit, the control unit searches the predetermined image from the predetermined image by the search unit, Control is provided for generating an enlarged image of the object in the enlargement unit and reproducing the enlarged image.
本発明によれば、ユーザが指定した動画像内のオブジェクトが画面内に出現する時点まで遡って再生するため、ユーザが注目するオブジェクトが映っている動画像を出現する場面から提供することができる。 According to the present invention, since the object in the moving image specified by the user is played back to the time when the object appears in the screen, it is possible to provide the moving image in which the object noticed by the user appears from the scene of appearance. .
以下、本発明の実施の形態について図面を参照して詳細に説明する。
(実施の形態1)
図1は、本発明の実施の形態1における動画像再生装置100の構成を示すブロック図である。
Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.
(Embodiment 1)
FIG. 1 is a block diagram showing a configuration of a moving image playback apparatus 100 according to Embodiment 1 of the present invention.
図1に示すとおり、動画像再生装置100は、入力部101、認識部102、探索部103、制御部104、復号部105、および表示部106を備えている。
As illustrated in FIG. 1, the moving image playback apparatus 100 includes an
入力部101は、例えば、タッチパネルの場合、ユーザがオブジェクトをタップすることで位置情報を取得し、また、リモコンの場合、画面に枠等表示させ、ユーザがその枠を移動してオブジェクトに合わせることで位置情報を取得する。これにより入力部101はユーザが指定した位置情報を取得し、認識部102へ出力する。
For example, in the case of a touch panel, the
認識部102は、入力部101から出力された位置情報を基にして、その領域にオブジェクトとして認識できる輪郭が存在するか否かを判断し、存在する場合は、オブジェクトの位置、画像を含むオブジェクト情報を探索部103へ出力する。
Based on the position information output from the
探索部103は、認識部102から出力されたオブジェクト情報をもとに復号部105で復号された画像に対してオブジェクトの探索を行い、オブジェクトの有無情報を生成する。そして、探索部103は、探索結果であるオブジェクト有無情報を制御部104へ出力する。
The
制御部104は、探索部103で生成されたオブジェクト有無情報をもとに、復号部105に対して動画像のデコードの制御を行う。
The control unit 104 controls the
復号部105は、制御部104から出力された指示に従って、動画像の復号を行い、復号した画像を表示部106へ出力する。
The
表示部106は、LCDや有機EL等の表示デバイスであり、復号部105で復号された画像を画面に表示する。
The
図2は、本発明の実施の形態1における動画像再生装置100の動作を説明するフローチャートである。なお、本動作フローは、動画像再生中にユーザが一時停止をして、注目するオブジェクトを入力部101がタッチパネルであれば、ユーザがオブジェクトをタップすることにより、また、入力部101がリモコンであれば、ユーザが画面に表示されている枠等を移動しオブジェクトに合わせることにより、位置を決定するものとして説明する。
FIG. 2 is a flowchart for explaining the operation of the moving image reproduction apparatus 100 according to Embodiment 1 of the present invention. In this operation flow, when the user pauses during moving image reproduction and the
まず、入力部101は、ユーザが指定した位置情報を取得し、認識部102へ出力する(ステップS1)。
First, the
次に、認識部102は、入力部101から出力された位置情報と、復号部105から出力されている画像(表示部206で表示されている画像)を基にして、その領域にオブジェクトとして認識できる輪郭が存在するか否かを判断する(ステップS2)
次に、認識部102は、入力部101から出力された位置情報からオブジェクトとして認識できないと判断した場合(ステップS2、No)、再度ステップS1の処理を実行する。
Next, the
Next, when the recognizing
一方、認識部102は、入力部101から出力された位置情報からオブジェクトオブジェクトとして認識できると判断した場合(ステップS2、Yes)、オブジェクトの位置、画像を含むオブジェクト情報を生成して、探索部103へ出力する(ステップS3)。
On the other hand, when the
次に、制御部104は復号部105で直前に復号した画像に対して時間的に過去方向へ1枚前の画像を、次に復号部105で復号する画像と決定する(ステップS4)。
復号部105は制御部104が指定した画像を復号する(ステップS5)。
Next, the control unit 104 determines that the previous image in the past direction with respect to the image decoded immediately before by the
The
探索部103は、復号部105で復号された画像と、認識部102から出力されたオブジェクト情報とに基づいて、当該画像に入力部101で指定されたオブジェクトが含まれているか探索し、探索した結果のオブジェクト有無情報を制御部104に出力し、さらにオブジェクトが存在する場合は探索部のオブジェクト情報(オブジェクトの位置)を更新する(ステップS6)。
Based on the image decoded by the
次に、制御部104は探索部103のオブジェクト有無情報でオブジェクトが無いと判断された場合、または復号部105の復号した画像がストリームの先頭だった場合(ステップS7、YES)、制御部104は再生再開箇所を最後に復号した画像に決定する(ステップS8)。そして制御部104は再生再開箇所から通常再生を再開する(ステップS9)。
Next, when the control unit 104 determines that there is no object based on the object presence / absence information of the
一方、制御部104は探索部103のオブジェクト有無情報でオブジェクトが有りと判断された場合でかつ復号部105で復号した画像がストリームの先頭でない場合(ステップS7、NO)、ステップS4の復号化画像の決定処理に戻り、一連の処理を繰り返す。
On the other hand, if the control unit 104 determines that there is an object based on the object presence / absence information of the
図3は、本発明の実施の形態1における動画像再生装置100のオブジェクト探索を模式的に示した図である。 FIG. 3 is a diagram schematically showing object search of the moving image playback apparatus 100 according to Embodiment 1 of the present invention.
ここで、オブジェクトの認識方法としては、入力部101で指定された位置の周辺について輪郭抽出を行い、抽出可能ならばオブジェクトとして認識し、不可能ならばオブジェクトとして認識しない。例えば、真っ白な画像に対してユーザがオブジェクトの位置を指定しても、輪郭が抽出できないためオブジェクトがないと判断される。またユーザがオブジェクトを囲う枠を入力して、その領域内で輪郭を抽出してオブジェクトとして認識しても良い。
Here, as a method for recognizing an object, contour extraction is performed around the position specified by the
また、オブジェクトの探索方法としては、一般的に用いられるブロックマッチング技術を用いるため、詳細な説明は本明細書では省略する。 In addition, since a generally used block matching technique is used as the object search method, detailed description thereof is omitted in this specification.
以上の手順によって、図3のようにオブジェクト(ここでは飛行機を例とする)を過去方向に探査して、オブジェクトが画面内に出現する時点を特定し、当該時点から再生することが可能となる。したがって、ユーザが注目するオブジェクトが映っている動画をオブジェクトが出現した場面から再生することができる。 Through the above procedure, it is possible to search for an object (in this case, an airplane as an example) in the past direction as shown in FIG. 3, specify the time point at which the object appears in the screen, and start playback from that time point. . Therefore, it is possible to reproduce a moving image in which an object noticed by the user is shown from a scene where the object appears.
なお、本発明の実施の形態1における動画像再生装置100において、ステップS4で、過去方向に1枚移動した画像を復号するもの(過去方向に一枚ずつ復号していく)と説明したが、過去方向に向かってIピクチャごとに画像を復号するものであってもよい。Iピクチャとは、符号化方式で画面内の情報のみで符号化された画像のことである。これにより複数毎おきで探索でき、かつ復号化するのに他の画像を復号化する必要がないため、復号化と探索にかかる処理時間を短くすることが可能となる。 In the moving picture reproducing apparatus 100 according to Embodiment 1 of the present invention, it has been described that in step S4, an image moved by one sheet in the past direction is decoded (decoded one by one in the past direction). The image may be decoded for each I picture in the past direction. An I picture is an image that is encoded using only information in the screen by an encoding method. As a result, it is possible to search every other number, and it is not necessary to decode other images for decoding. Therefore, it is possible to shorten the processing time required for decoding and searching.
なお、また、本発明の実施の形態1における動画像再生装置100において、ステップS8で、オブジェクトが見つかった時間的に最も過去の画面から通常の再生を開始するものとして説明したが、当該画像がコンテンツ(ストリーム)の先頭でない場合は、制御部104がオブジェクトが見つかった時間的に最後の画面の複数枚前の画像から再生しても良い。これにより、オブジェクトの出現するシーンを表示することができる。 In addition, in the moving image reproducing apparatus 100 according to the first embodiment of the present invention, it has been described that normal reproduction is started from the screen with the earliest time in which the object is found in step S8. When the content (stream) is not at the head, the control unit 104 may reproduce the images from a plurality of images before the last screen when the object is found. Thereby, the scene where the object appears can be displayed.
また、制御部104は、オブジェクトが見つかった時間的に最も過去の画面の直前のIピクチャから再生しても良い。これにより、Iピクチャは前述の様に他の画像を復号する必要がないため、さらにシーンチェンジ後の最初の画像の符号化に用いられる事が多いため、直前のIピクチャから再生を開始すれば簡単に再生を開始でき、さらに再生直後にシーンチェンジが発生する確率を低くすることが可能となる。 In addition, the control unit 104 may reproduce the I picture immediately before the most past screen in time when the object is found. As a result, the I picture does not need to be decoded as described above, and is often used for encoding the first image after a scene change. Playback can be started easily, and the probability of a scene change occurring immediately after playback can be reduced.
なお、本発明の実施の形態1における動画像再生装置100の本動作フローは、動画再生中にユーザが一時停止をして、注目するオブジェクトの領域設定をしたタイミングで行われるとしたが、一時停止をせずに再生中にオブジェクトを指定したタイミングで再生を停止して動作を行っても良い。
(実施の形態2)
実施の形態2は、実施の形態1の過去方向へ1枚毎の探索が過去方向へIピクチャ毎の探索である点に特徴がある。また、実施の形態2は、実施の形態1に対して動作のフローのみ異なるため、構成に関する説明は省略する。
Note that this operation flow of the moving image playback apparatus 100 according to Embodiment 1 of the present invention is performed at the timing when the user pauses and sets the area of the object of interest during video playback. The operation may be performed by stopping the reproduction at the timing when the object is designated during the reproduction without stopping.
(Embodiment 2)
The second embodiment is characterized in that the search for each image in the past direction of the first embodiment is the search for each I picture in the past direction. Further, since the second embodiment is different from the first embodiment only in the operation flow, the description of the configuration is omitted.
図4は、本発明の実施の形態2における動画像再生装置100の動作を説明するフローチャートである。なお、本動作フローは、動画像再生中にユーザが一時停止をして、注目するオブジェクトを入力部101がタッチパネルであれば、ユーザがオブジェクトをタップすることにより、また、入力部101がリモコンであれば、ユーザが画面に表示されている枠等を移動しオブジェクトに合わせることにより、位置を決定するものとして説明する。
FIG. 4 is a flowchart for explaining the operation of the moving image reproduction apparatus 100 according to
まず、入力部101は、ユーザが指定した位置情報を取得し、認識部102へ出力する(ステップS10)。
First, the
次に、認識部102は、入力部101から出力された位置情報と、復号部105から出力されている画像(表示部206で表示されている画像)を基にして、その領域にオブジェクトとして認識できる輪郭が存在するか否かを判断する(ステップS11)
次に、認識部102は、入力部101から出力された位置情報からオブジェクトとして認識できないと判断した場合(ステップS11、No)、再度ステップS1の処理を実行する。
Next, the
Next, when the
一方、認識部102は、入力部101から出力された位置情報からオブジェクトオブジェクトとして認識できると判断した場合(ステップS11、Yes)、オブジェクトの位置、画像を含むオブジェクト情報を生成して、探索部103へ出力する(ステップS12)。
On the other hand, when the recognizing
次に、制御部104は復号部105で直前に復号した画像に対して時間的に過去方向で直近のIピクチャの画像を、次に復号部105で復号する画像と決定する(ステップS13)。
Next, the control unit 104 determines the image of the I picture that is closest in time in the past with respect to the image decoded immediately before by the
復号部105は制御部104が指定した画像を復号する(ステップS14)。
The
探索部103は、復号部105で復号された画像と、認識部102から出力されたオブジェクト情報とに基づいて、当該画像に入力部101で指定されたオブジェクトが含まれているか探索し、探索した結果のオブジェクト有無情報を制御部104に出力し、さらにオブジェクトが存在する場合は探索部のオブジェクト情報(オブジェクトの位置)を更新する(ステップS15)。
Based on the image decoded by the
次に、制御部104は探索部103のオブジェクト有無情報でオブジェクトが無いと判断され、かつ復号部105の復号した画像がストリームの先頭でない場合(ステップS16、探索条件変更)、制御部104は過去方向に一枚毎の探索を行うように制御する(ステップS17)。
Next, when the control unit 104 determines that there is no object based on the object presence / absence information of the
また、制御部104は探索部103のオブジェクト有無情報でオブジェクトが有りと判断され、かつ復号部105の復号した画像がストリームの先頭でない場合(ステップS16、続行)、ステップS13の復号化画像の決定処理に戻り、一連の処理を繰り返す。
Also, when the control unit 104 determines that there is an object based on the object presence / absence information of the
また、制御部104は復号部105の復号した画像がストリームの先頭の場合(ステップS16、終了)、制御部104は再生再開箇所を最後に復号した画像(ストリームの先頭)に決定する(ステップS18)。
In addition, when the image decoded by the
過去方向に1枚毎の探索(ステップS17)では、まず制御部104は復号部105で直前に復号した画像に対して時間的に過去方向へ1枚前の画像を、次に復号部105で復号する画像と決定する(ステップS20)。
In the search for each image in the past direction (step S <b> 17), the control unit 104 first searches the previous image in the past direction with respect to the image decoded immediately before by the
復号部105は制御部104が指定した画像を復号する(ステップS21)。
The
探索部103は、復号部105で復号された画像と、認識部102から出力されたオブジェクト情報とに基づいて、当該画像に入力部101で指定されたオブジェクトが含まれているか探索し、探索した結果のオブジェクト有無情報を制御部104に出力し、さらにオブジェクトが存在する場合は探索部のオブジェクト情報(オブジェクトの位置)を更新する(ステップS22)。
Based on the image decoded by the
次に、制御部104は探索部103のオブジェクト有無情報でオブジェクトが無いと判断された場合、または復号部105の復号した画像がストリームの先頭だった場合(ステップS23、YES)、制御部104は再生再開箇所を最後に復号した画像に決定する(ステップ18)。
Next, when the control unit 104 determines that there is no object based on the object presence / absence information of the
一方で、制御部104は探索部103のオブジェクト有無情報でオブジェクトが有りと判断された場合でかつ復号部105で復号した画像がストリームの先頭でない場合(ステップS23、NO)、ステップ20の復号化画像の決定処理に戻り、一連の処理を繰り返す。
On the other hand, when the control unit 104 determines that there is an object based on the object presence / absence information of the
最後に、制御部104は再生再開箇所から通常再生を再開する(ステップ19)。 Finally, the control unit 104 resumes normal reproduction from the reproduction resume point (step 19).
図5は、本発明の実施の形態2における動画像再生装置100のオブジェクト探索を模式的に示した図である。上部はIピクチャ毎の探索、そしてオブジェクトが無い場合は下部の1ピクチャ毎の探索に変化することを示している。
FIG. 5 is a diagram schematically showing object search of the moving image playback apparatus 100 according to
以上の手順によって、図5のようにオブジェクト(図5では飛行機)を過去方向に探査して、そのオブジェクトの出現箇所を特定し、そこから再生することが可能となる。その際、単純に一枚ごとに探索するよりも早く出現箇所を見つける事が可能となる。したがって、ユーザが注目するオブジェクトを含む動画をオブジェクトが出現した場面から再生することができる。 By the above procedure, it is possible to search an object (airplane in FIG. 5) in the past direction as shown in FIG. 5, specify the appearance location of the object, and reproduce from there. At that time, it is possible to find the appearance part earlier than simply searching one by one. Therefore, it is possible to reproduce a moving image including an object that is noticed by the user from a scene where the object appears.
なお、このフローは動画再生中にユーザが一時停止をして、注目するオブジェクトの領域設定をしたタイミングで行われるとしたが、一時停止をせずに再生中に領域設定したタイミングで再生を停止してフローの動作を行っても良い。
(実施の形態3)
実施の形態3は、実施の形態1の探索後の通常再生が拡大再生である点に特徴がある。
Although this flow is performed at the timing when the user pauses and sets the area of the object of interest during video playback, playback stops at the timing when the area is set during playback without pausing Then, the flow operation may be performed.
(Embodiment 3)
The third embodiment is characterized in that the normal reproduction after the search in the first embodiment is enlarged reproduction.
図6は、本発明の実施の形態3における動画像再生装置200の構成を示すブロック図である。
FIG. 6 is a block diagram showing the configuration of the moving image playback apparatus 200 according to
図6に示すとおり、動画像再生装置200は入力部201、認識部202、探索部203、制御部204、復号部205、表示部206、拡大部207、およびスイッチ208を備えている。
As shown in FIG. 6, the moving image playback apparatus 200 includes an
入力部201は、例えば、タッチパネルの場合、ユーザがオブジェクトをタップすることで位置情報を取得し、また、リモコンの場合、画面に枠等表示させ、ユーザがその枠を移動してオブジェクトに合わせることで位置情報を取得する。これにより入力部201はユーザが指定した位置情報を取得し、認識部202へ出力する。
For example, in the case of a touch panel, the
認識部202は、入力部201から出力された位置情報を基にして、その領域にオブジェクトとして認識できる輪郭が存在するか否かを判断し、存在する場合は、オブジェクトの位置、画像を含むオブジェクト情報を探索部203へ出力する。
探索部203は、認識部202から出力されたオブジェクト情報をもとに復号部205で復号された画像に対してオブジェクトの探索を行い、オブジェクトの有無情報を生成する。そして、探索部203は、探索結果であるオブジェクト有無情報とオブジェクト位置情報を制御部204へ出力する。
Based on the position information output from the
The
制御部204は、探索部203で生成されたオブジェクト有無、位置の情報を基に、復号部205に対して動画像のデコードの制御、また拡大部207に対して画像拡大の制御を行う。
The
復号部205は、制御部204から出力された指示に従って、動画像の復号を行い、画像を出力する。
The
表示部206は、LCDや有機EL等の表示デバイスであり、復号部205で復号された画像、または拡大部207で拡大された画像を表示する。
The
拡大部207は、復号部205で復号された画像を制御部204の情報を基にオブジェクトを含む画像の一部をトリミングして所定の拡大率で拡大し新たな画像を生成する。
The
スイッチ208は、表示部206において表示する画像を、復号部205で復号した画像にするか、拡大部207で拡大した画像にするかを選択する。
The
図7は、本発明の実施の形態3における動画像再生装置200の動作を説明するフローチャートである。なお、本動作フローは、動画像再生中にユーザが一時停止をして、注目するオブジェクトを入力部201がタッチパネルであれば、ユーザがオブジェクトをタップすることにより、また、入力部201がリモコンであれば、ユーザが画面に表示されている枠等を移動しオブジェクトに合わせることにより、位置を決定するものとして説明する。
FIG. 7 is a flowchart for explaining the operation of the moving image reproduction apparatus 200 according to
まず、入力部201は、ユーザが指定した位置情報を取得し、認識部202へ出力する(ステップS24)。
First, the
次に、認識部202は、入力部201から出力された位置情報を基にして、その領域にオブジェクトとして認識できる輪郭が存在するか否かを判断する(ステップS25)
次に、認識部202は、入力部201から出力された位置情報からオブジェクトとして認識できないと判断した場合(ステップS25、No)、再度ステップS24の処理を実行する。
Next, the recognizing
Next, when the recognizing
一方、認識部202は、入力部201から出力された位置情報からオブジェクトオブジェクトとして認識できると判断した場合(ステップS25、Yes)、オブジェクトの位置、画像を含むオブジェクト情報を生成して、探索部203へ出力する(ステップS26)。
On the other hand, when the
次に、制御部204は復号部205で直前に復号した画像に対して時間的に過去方向へ1枚前の画像を、次に復号部205で復号する画像と決定する(ステップS27)。
復号部205は制御部204が指定した画像を復号する(ステップS28)。
探索部203は、復号部205で復号された画像と、認識部202から出力されたオブジェクト情報とに基づいて、当該画像に入力部201で指定されたオブジェクトが含まれているか探索し、探索した結果のオブジェクト有無情報を制御部204に出力する(ステップS29)。
Next, the
The
Based on the image decoded by the
次に、制御部204は探索部203のオブジェクト有無情報でオブジェクトが無いと判断された場合、または復号部205の復号した画像がストリームの先頭だった場合(ステップS30、YES)、制御部204は再生再開箇所を最後に復号した画像に決定する(ステップ31)。
Next, when the
一方で、制御部204は探索部203のオブジェクト有無情報でオブジェクトが有りと判断された場合でかつ復号部205で復号した画像がストリームの先頭でない場合(ステップS30、NO)、制御部204の復号化画像の決定処理に戻り、一連の処理を繰り返す。
On the other hand, when the
再生再開箇所の決定(ステップS31)の次に、スイッチ208を拡大部207側に切り替える(ステップS32)。
Following the determination of the playback restart location (step S31), the
次に、制御部204で再生再開箇所を開始点として、時間的に直後の画像を一枚ずつ復号画像として決定する(ステップS33)。
Next, the
復号部205は制御部204が指定した画像を復号する(ステップS34)。
The
探索部203は、復号部205で復号された画像と、認識部202から出力されたオブジェクト情報とに基づいて、当該画像に入力部201で指定されたオブジェクトが含まれているか探索し、探索した結果のオブジェクト有無情報、位置情報を制御部204に出力し、さらにオブジェクトが存在する場合は探索部のオブジェクト情報(オブジェクトの位置)を更新する(ステップS35)。
Based on the image decoded by the
次に、制御部204は探索部203のオブジェクト有無情報でオブジェクトが無いと判断された場合(ステップS36、NO)、スイッチ208を復号部205側に切り替えて(ステップS40)、制御部204は直前に復号した画像から通常再生を開始する(ステップ41)。
Next, when the
一方で、制御部204は探索部203のオブジェクト有無情報でオブジェクトが有りと判断された場合(ステップS36、NO)、拡大に必要な拡大情報(オブジェクトの位置、所定のトリミングサイズ、所定の拡大率)を拡大部207に出力する(ステップS37)。
拡大部207は前記拡大情報を基に、復号部205で復号されている画像に対して、画像をトリミングし、拡大処理を行う(ステップS38)。
On the other hand, when the
Based on the enlargement information, the
表示部206は拡大部207で拡大処理した画像を表示する(ステップS39)
制御部204は直前に復号部205で復号した画像がストリームの終端の場合(ステップS40、YES)、処理を終了する。
The
When the image decoded by the
一方、制御部204は直前に復号部205で復号した画像がストリームの終端でない場合(ステップS40、NO)、復号化画像の決定処理に戻り(ステップS32)、一連の処理を繰り返す。
On the other hand, when the image decoded by the
以上の手順によって、ユーザが指定したオブジェクトの出現箇所から、そのオブジェクトを拡大して再生することが可能となる。 Through the above procedure, the object can be enlarged and reproduced from the appearance location of the object designated by the user.
なおステップS27で過去方向に1枚ずつとしたが、時間的に直前のIピクチャの画像でも良い。Iピクチャとは符号化方式で画面内の情報のみで符号化された画像の事である。これにより複数毎おきで探索でき、かつ復号化するのに他の画像を復号化する必要がないため、復号化と探索にかかる処理時間を短くすることが可能となる。 In step S27, one image is set in the past direction, but an image of the I picture immediately before in time may be used. An I picture is an image that is encoded only with information in the screen by an encoding method. As a result, it is possible to search every other number, and it is not necessary to decode other images for decoding. Therefore, it is possible to shorten the processing time required for decoding and searching.
またステップS27〜ステップS31の処理を実施の形態2のステップS13〜ステップS18の処理に置き換えてもよい。その際、単純に一枚ごとに探索するよりも早く出現箇所を見つける事が可能となる。 Further, the processing of step S27 to step S31 may be replaced with the processing of step S13 to step S18 of the second embodiment. At that time, it is possible to find the appearance part earlier than simply searching one by one.
なお、このフローは動画再生中にユーザが一時停止をして、注目するオブジェクトの領域設定をしたタイミングで行われるとしたが、一時停止をせずに再生中に領域設定したタイミングで再生を停止してフローの動作を行っても良い。
(実施の形態4)
実施の形態4は、実施の形態3の拡大再生方法が探索情報を使用して拡大する点に特徴がある。
Although this flow is performed at the timing when the user pauses and sets the area of the object of interest during video playback, playback stops at the timing when the area is set during playback without pausing Then, the flow operation may be performed.
(Embodiment 4)
The fourth embodiment is characterized in that the enlargement reproduction method of the third embodiment is enlarged using search information.
図8は本発明の実施の形態4における動画像再生装置300の構成を示すブロック図である。 FIG. 8 is a block diagram showing a configuration of the moving image reproduction apparatus 300 according to Embodiment 4 of the present invention.
図8に示すとおり、動画像再生装置300は入力部301、認識部302、探索部303、制御部304、復号部305、表示部306、拡大部307、スイッチ308、および探索情報保持部309を備えている。
As illustrated in FIG. 8, the moving image reproduction device 300 includes an
入力部301は、例えば、タッチパネルの場合、ユーザがオブジェクトをタップすることで位置情報を取得し、また、リモコンの場合、画面に枠等表示させ、ユーザがその枠を移動してオブジェクトに合わせることで位置情報を取得する。これにより入力部301はユーザが指定した位置情報を取得し、認識部302へ出力する。
For example, in the case of a touch panel, the
認識部302は、入力部301から出力された位置情報を基にして、その領域にオブジェクトとして認識できる輪郭や色の違いが存在するか否かを判断し、存在する場合は、オブジェクトの位置、輪郭、大きさ、色等を示すオブジェクト情報を探索部303へ出力する。
Based on the position information output from the
探索部303は、認識部302から出力されたオブジェクト情報をもとに復号部305で復号された画像に対してオブジェクトの探索を行い、オブジェクトの有無情報を生成する。そして、探索部303は、探索結果であるオブジェクト有無情報とオブジェクト位置情報を制御部304へ出力する。
The
制御部304は、探索部303で生成されたオブジェクト有無、位置情報を、探索情報保持部309に出力、復号部305に対して動画像のデコードの制御、また拡大部307に対して画像拡大の制御を行う。
The
復号部305は、制御部304から出力された指示に従って、動画像の復号を行い、画像を出力する。
The
表示部306は、LCDや有機EL等の表示デバイスであり、復号部305で復号された画像、または拡大部307で拡大された画像を表示する。
The
拡大部307は、復号部305で復号された画像を制御部304の情報を基にオブジェクトを含む画像の一部をトリミングして所定の拡大率で拡大し新たな画像を生成する。
The
スイッチ308は、表示部306において表示する画像を、復号部305で復号した画像にするか、拡大部307で拡大した画像にするかを選択する。
The
探索情報保持部309は、制御部304から出力されたオブジェクト有無、位置、大きさ等の情報を保持する。
The search
図9は、本発明の実施の形態4における動画像再生装置300の動作を説明するフローチャートである。なお、本動作フローは、動画像再生中にユーザが一時停止をして、注目するオブジェクトを入力部301がタッチパネルであれば、ユーザがオブジェクトをタップすることにより、また、入力部301がリモコンであれば、ユーザが画面に表示されている枠等を移動しオブジェクトに合わせることにより、位置を決定するものとして説明する。
FIG. 9 is a flowchart for explaining the operation of the moving image playback apparatus 300 according to Embodiment 4 of the present invention. In this operation flow, when the user pauses during moving image reproduction and the
まず、入力部301は、ユーザが指定した位置情報を取得し、認識部302へ出力する(ステップS43)。
First, the
次に、認識部302は、入力部301から出力された位置情報を基にして、その領域にオブジェクトとして認識できる輪郭が存在するか否かを判断する(ステップS44)
次に、認識部302は、入力部301から出力された位置情報からオブジェクトとして認識できないと判断した場合(ステップS44、No)、再度ステップS43の処理を実行する。
Next, the recognizing
Next, when the
一方、認識部302は、入力部301から出力された位置情報からオブジェクトオブジェクトとして認識できると判断した場合(ステップS44、Yes)、オブジェクトの位置、画像を含むオブジェクト情報を生成して、探索部303へ出力する(ステップS45)。
制御部304は復号部305で直前に復号した画像に対して時間的に過去方向へ1枚前の画像を、次に復号部305で復号する画像と決定する(ステップS46)。
On the other hand, when the recognizing
The
復号部305は制御部304が指定した画像を復号する(ステップS47)。
The
探索部303は、復号部305で復号された画像と、認識部302から出力されたオブジェクト情報とに基づいて、当該画像に入力部301で指定されたオブジェクトが含まれているか探索し、探索した結果のオブジェクト有無情報を制御部304に出力する(ステップS48)。
Based on the image decoded by the
制御部304は、オブジェクト有無、位置情報を探索情報保存部309に保存する(ステップS49)。
The
次に、制御部304は探索部303のオブジェクト有無情報でオブジェクトが無いと判断された場合、または復号部305の復号した画像がストリームの先頭だった場合(ステップS50、YES)、制御部304は再生再開箇所を最後に復号した画像に決定する(ステップ51)。
Next, when the
一方で、制御部304は探索部303のオブジェクト有無情報でオブジェクトが有りと判断された場合でかつ復号部305で復号した画像がストリームの先頭でない場合(ステップS50、NO)、ステップS46の復号化画像の決定処理に戻り、一連の処理を繰り返す。
On the other hand, when the
再生再開箇所の決定(ステップS51)の次に、スイッチ308を拡大部307側に切り替える(ステップS52)。
Following the determination of the playback restart location (step S51), the
次に、制御部304で再生再開箇所を開始点として、時間的に直後の画像を一枚ずつ復号画像として決定する(ステップS53)。
復号部305は制御部304が指定した画像を復号する(ステップS54)。
制御部304は探索情報保存部309から前記復号した画像に対応するオブジェクト情報を取り出し、拡大に必要な拡大情報(オブジェクトの位置、トリミングサイズ、拡大率情報)を生成し、拡大部307に出力する(ステップS55)。
Next, the
The
The
拡大部307は前記拡大情報を基に、復号部305で復号されている画像に対して、画像をトリミングし、拡大処理を行う(ステップS56)。
Based on the enlargement information, the
表示部306は拡大部307で拡大処理した画像を表示する(ステップS57)。
The
制御部304は前記復号した画像が探索開始した画像の場合(ステップS58、YES)、制御部304で前記復号した画像の時間的に直後の画像を開始点として、時間的に直後の画像を一枚ずつ復号画像として決定する(ステップS59)。
When the decoded image is an image for which search has started (YES in step S58), the
一方で、制御部304は前記復号した画像が探索開始した画像でない場合(ステップS58、NO)、ステップS53の復号化画像の決定処理に戻り、一連の処理を繰り返す。
復号部305は制御部304が指定した画像を復号する(ステップS60)。
On the other hand, when the decoded image is not a search-started image (step S58, NO), the
The
探索部303は、復号部305で復号された画像と、認識部302から出力されたオブジェクト情報とに基づいて、当該画像に入力部301で指定されたオブジェクトが含まれているか探索し、探索した結果のオブジェクト有無情報、位置情報を制御部304に出力し、さらにオブジェクトが存在する場合は探索部のオブジェクト情報(オブジェクトの位置)を更新する(ステップS61)。
Based on the image decoded by the
次に、制御部304は探索部203のオブジェクト有無情報でオブジェクトが無いと判断された場合(ステップS62、NO)、スイッチ308を復号部305側に切り替えて(ステップS68)、制御部304は直前に復号した画像から通常再生を開始する(ステップ68)。
Next, when the
一方で、制御部304は探索部303のオブジェクト有無情報でオブジェクトが有りと判断された場合(ステップS62、NO)、拡大に必要な拡大情報(オブジェクトの位置、トリミングサイズ、拡大率情報)を拡大部307に出力する(ステップS63)。
On the other hand, if the
拡大部307は前記拡大情報を基に、復号部305で復号されている画像に対して、画像をトリミングし、拡大処理を行う(ステップS64)。
Based on the enlargement information, the
表示部306は拡大部307で拡大処理した画像を表示する(ステップS65)。
The
制御部304は直前に復号部305で復号した画像がストリームの終端の場合(ステップS66、YES)、処理を終了する。
When the image decoded by the
一方、制御部304は直前に復号部305で復号した画像がストリームの終端でない場合(ステップS66、NO)、復号化画像の決定処理に戻り(ステップS59)、一連の処理を繰り返す。
On the other hand, when the image decoded by the
以上の手順によって、ユーザが指定したオブジェクトの出現箇所から、そのオブジェクトを拡大して再生することが可能となるだけでなく、一度探索した情報は保持されているため、同じ画像については探索する必要がなくなる。 By the above procedure, not only can the object be enlarged and reproduced from the appearance location of the object specified by the user, but the information searched once is retained, so it is necessary to search for the same image Disappears.
なおステップS46で過去方向に1枚ずつとしたが、時間的に直前のIピクチャの画像でも良い。Iピクチャとは、符号化方式で画面内の情報のみで符号化された画像の事である。これにより複数毎おきで探索でき、かつ復号化するのに他の画像を復号化する必要がないため、復号化と探索にかかる処理時間を短くすることが可能となる。この場合、オブジェクト情報がないピクチャが発生するが、ステップS55で時間的に前後のオブジェクト情報を用いて位置、大きさの情報を算出する。例えば、オブジェクト情報がない画像のタイムスタンプTx、位置(Xx、Yx)、時間的に前のオブジェクト情報のタイムスタンプT1、位置(X1、Y2)、時間的に後のオブジェクト情報のタイムスタンプT2、位置(X2、Y2)とする。この場合、水平方向の位置は(T2−T1):(Tx−T1)= (X2−X12):(Xx−X1)として、未知のXxを算出する。このように全て線形的に変化していると仮定して、同様にYxも算出する。 In step S46, one image is set in the past direction, but an image of the I picture immediately before in time may be used. An I picture is an image that is encoded only with information in a screen by an encoding method. As a result, it is possible to search every other number, and it is not necessary to decode other images for decoding. Therefore, it is possible to shorten the processing time required for decoding and searching. In this case, a picture having no object information is generated. However, in step S55, position and size information is calculated using temporally preceding and following object information. For example, a time stamp Tx of an image without object information, a position (Xx, Yx), a time stamp T1 of object information before in time, a position (X1, Y2), a time stamp T2 of object information after time, Position (X2, Y2). In this case, the position in the horizontal direction is (T2−T1) :( Tx−T1) = (X2−X12) :( Xx−X1), and the unknown Xx is calculated. Assuming that all change linearly in this way, Yx is also calculated in the same manner.
なお、ステップS51で再生再開箇所をオブジェクトが見つかった時間的に最後 の画面としたが、それがコンテンツ(ストリーム)の先頭でない場合は、オブジェクトが見つかった時間的に最後の画面の複数枚前の画像から再生しても良い。これによりオブジェクトの出現するシーンを表示することができる。この場合、拡大に使用するオブジェクト情報は最後に見つかった画面のものとする。またオブジェクトが見つかった時間的に最後の画面の直前のIピクチャから再生しても良い。Iピクチャは前述の様に他の画像を復号する必要がないため、さらにシーンチェンジ後の最初の画像の符号化に用いられる事が多いため、直前のIピクチャから再生を開始すれば簡単に再生を開始でき、さらに再生直後にシーンチェンジが発生する確率を低くすることが可能となる。 In step S51, the playback restart point is the last screen in time when the object was found, but if it is not the beginning of the content (stream), the previous screen multiple times before the last screen in which the object was found was found. You may play back from the image. As a result, a scene in which an object appears can be displayed. In this case, the object information used for enlargement is that of the screen found last. It is also possible to reproduce from the I picture immediately before the last screen in terms of time when the object was found. As I picture does not need to decode other pictures as mentioned above, it is often used for encoding the first picture after a scene change, so it is easy to play if playback starts from the previous I picture. It is possible to reduce the probability that a scene change will occur immediately after playback.
なお、このフローは動画再生中にユーザが一時停止をして、注目するオブジェクトの領域設定をしたタイミングで行われるとしたが、一時停止をせずに再生中に領域設定したタイミングで再生を停止してフローの動作を行っても良い。
(実施の形態5)
実施の形態5は、実施の形態4における過去方向へ1枚毎の探索が過去方向へIピクチャ毎の探索である点に特徴がある。また、実施の形態5は、実施の形態4に対して動作のフローのみ異なるため、構成に関する説明は省略する。
Although this flow is performed at the timing when the user pauses and sets the area of the object of interest during video playback, playback stops at the timing when the area is set during playback without pausing Then, the flow operation may be performed.
(Embodiment 5)
The fifth embodiment is characterized in that the search for each image in the past direction in the fourth embodiment is the search for each I picture in the past direction. Further, since the fifth embodiment is different from the fourth embodiment only in the operation flow, the description of the configuration is omitted.
図10は、本発明の実施の形態5における過去方向へIピクチャ毎の探索の動作を説明するフローチャートである。実施の形態4で説明した図9のフローチャートと比べ、ステップS69、ステップS70、ステップS71が異なる。その他のステップについては変わらないため重複した説明は省略する。 FIG. 10 is a flowchart for explaining the search operation for each I picture in the past direction in the fifth embodiment of the present invention. Compared with the flowchart of FIG. 9 described in the fourth embodiment, steps S69, S70, and S71 are different. Since the other steps are not changed, redundant description is omitted.
ステップS69においては、制御部304は、復号化対象をオブジェクト指定時点から過去方向にIピクチャ毎に設定する。
In step S69, the
ステップS70においては、制御部304は、探索部303のオブジェクト有無情報でオブジェクトが無いと判断され、かつ復号部305の復号した画像がストリームの先頭でない場合(ステップS16、探索条件変更)、制御部304は、過去方向に一枚毎の探索を行うように制御する(ステップS71)。
In step S70, the
また、制御部304は、探索部303のオブジェクト有無情報でオブジェクトが有りと判断され、かつ復号部305の復号した画像がストリームの先頭でない場合(ステップS70、続行)、ステップS69の復号化画像の決定処理に戻り、一連の処理を繰り返す。
In addition, when it is determined that there is an object based on the object presence / absence information of the
また、制御部304は、復号部305の復号した画像がストリームの先頭の場合(ステップS70、終了)、再生再開箇所を最後に復号した画像(ストリームの先頭)に決定する(ステップS51)。
In addition, when the image decoded by the
図11は、本発明の実施の形態5における過去方法の一枚毎の探索の動作のうち、ステップS71について詳細に説明するフローチャートである。 FIG. 11 is a flowchart for explaining step S71 in detail among the search operations for each past method in the fifth embodiment of the present invention.
制御部304は、探索部303に探索を行わせるために復号部305で復号対象となる画像を直前に復号した画像に対して時間的に過去方向へ1枚変更した画像とする(ステップS72)。
The
復号部305は、制御部304が指定した画像を復号する(ステップS73)。
The
探索部303は、復号部305で復号された画像と、認識部302から出力されたオブジェクト情報とに基づいて、当該画像に入力部301で指定されたオブジェクトが含まれているか探索し、探索した結果のオブジェクト有無情報を制御部304に出力する(ステップS74)。
Based on the image decoded by the
制御部304は、オブジェクト有無、位置情報を探索情報保存部309に保存する(ステップS75)。
The
次に、制御部304は、探索部303のオブジェクト有無情報でオブジェクトが無いと判断された場合、または復号部305の復号した画像がストリームの先頭だった場合(ステップS76、YES)、再生再開箇所を最後に復号した画像(ストリームの先頭)に決定する(ステップS51)。
Next, when the
一方で、制御部304は、探索部303のオブジェクト有無情報でオブジェクトが有りと判断された場合でかつ復号部305で復号した画像がストリームの先頭でない場合(ステップS76、NO)、ステップS72の復号化画像の決定処理に戻り、一連の処理を繰り返す。
On the other hand, when it is determined that there is an object based on the object presence / absence information of the
ステップS77について、制御部304はオブジェクト情報が存在する画像の場合は、探索情報保存部309から前記復号した画像に対応するオブジェクト情報を取り出し、拡大に必要な拡大情報(オブジェクトの位置、トリミングサイズ、拡大率情報)を生成し、オブジェクト情報が存在しない画像の場合は、時間的に前後のオブジェクト情報を用いて位置、大きさの情報を算出する。例えば、オブジェクト情報がない画像のタイムスタンプTx、位置(Xx、Yx)、時間的に前のオブジェクト情報のタイムスタンプT1、位置(X1、Y2)、時間的に後のオブジェクト情報のタイムスタンプT2、位置(X2、Y2)とする。この場合、水平方向の位置は(T2−T1):(Tx−T1)= (X2−X1):(Xx−X1)として、未知のXxを算出する。このように全て線形的に変化していると仮定して、同様にYxも算出する。
In step S77, if the object information is an image, the
以上の手順によって、図5のようにオブジェクト(図5では飛行機)を過去方向に探査して、そのオブジェクトの出現箇所を特定し、そこから拡大再生することが可能となる。その際、単純に一枚ごとに探索するよりも早く出現箇所を見つける事が可能となる。 According to the above procedure, it is possible to search an object (airplane in FIG. 5) in the past direction as shown in FIG. 5, identify the appearance location of the object, and reproduce the enlarged image therefrom. At that time, it is possible to find the appearance part earlier than simply searching one by one.
(実施の形態6)
さらに、上記各実施の形態で示した動画像符号化方法を実現するためのプログラムを、フレキシブルディスク等の記録媒体に記録するようにすることにより、上記各実施の形態で示した処理を、独立したコンピュータシステムにおいて簡単に実施することが可能となる。
(Embodiment 6)
Further, by recording the program for realizing the moving picture encoding method shown in each embodiment on a recording medium such as a flexible disk, the processing shown in each embodiment can be performed independently. It can be easily implemented in the computer system.
図12は、上記各実施の形態の動画像符号化方法を、フレキシブルディスク等の記録媒体に記録されたプログラムを用いて、コンピュータシステムにより実施する場合の説明図である。 FIG. 12 is an explanatory diagram in a case where the moving image encoding method of each of the above embodiments is implemented by a computer system using a program recorded on a recording medium such as a flexible disk.
図12(a)は、記録媒体本体であるフレキシブルディスクの物理フォーマットの例を示しており、図12(b)は、フレキシブルディスクの正面からみた外観、断面構造、及びフレキシブルディスクを示している。ている。
フレキシブルディスクFDはケースF内に内蔵され、該ディスクの表面には、同心円状に外周からは内周に向かって複数のトラックTrが形成され、各トラックは角度方向に16のセクタSeに分割されている。従って、上記プログラムを格納したフレキシブルディスクでは、上記フレキシブルディスクFD上に割り当てられた領域に、上記プログラムが記録されている。
FIG. 12A shows an example of a physical format of a flexible disk that is a recording medium body, and FIG. 12B shows an appearance, a cross-sectional structure, and the flexible disk as seen from the front of the flexible disk. ing.
The flexible disk FD is built in the case F, and on the surface of the disk, a plurality of tracks Tr are formed concentrically from the outer periphery toward the inner periphery, and each track is divided into 16 sectors Se in the angular direction. ing. Therefore, in the flexible disk storing the program, the program is recorded in an area allocated on the flexible disk FD.
また、図12(c)は、フレキシブルディスクFDに上記プログラムの記録再生を行うための構成を示す。動画像符号化方法を実現する上記プログラムをフレキシブルディスクFDに記録する場合は、コンピュータシステムCsから上記プログラムをフレキシブルディスクドライブを介して書き込む。また、フレキシブルディスク内のプログラムにより動画像符号化方法を実現する上記動画像符号化方法をコンピュータシステム中に構築する場合は、フレキシブルディスクドライブによりプログラムをフレキシブルディスクから読み出し、コンピュータシステムに転送する。 FIG. 12C shows a configuration for recording and reproducing the program on the flexible disk FD. When the program for realizing the moving image encoding method is recorded on the flexible disk FD, the program is written from the computer system Cs through the flexible disk drive. When the above-described moving picture coding method for realizing the moving picture coding method by a program in a flexible disk is constructed in a computer system, the program is read from the flexible disk by a flexible disk drive and transferred to the computer system.
なお、上記説明では、記録媒体としてフレキシブルディスクを用いて説明を行ったが、光ディスクを用いても同様に行うことができる。また、記録媒体はこれに限らず、ICカード、ROMカセット等、プログラムを記録できるものであれば同様に実施することができる。 In the above description, a flexible disk is used as the recording medium, but the same can be done using an optical disk. Further, the recording medium is not limited to this, and any recording medium such as an IC card or a ROM cassette capable of recording a program can be similarly implemented.
なお、上記各実施の形態で示した動画像符号化方法を実現するための処理を集積回路であるLSIとして実現してもよい。これらは一部または全てを含むように1チップ化されてもよい。 Note that the processing for realizing the moving picture encoding method shown in each of the above embodiments may be realized as an LSI which is an integrated circuit. These may be integrated into one chip so as to include a part or all of them.
ここではLSIとしたが、集積度の違いにより、IC、システムLSI、スーパーLSI、ウルトラLSIと称されることもある。 The name used here is LSI, but it may also be called IC, system LSI, super LSI, or ultra LSI depending on the degree of integration.
また、集積回路化の手法はLSIに限るものではなく、専用回路または汎用プロセッサで実現しても良い。LSI製造後に、プログラムすることが可能なFPGA(Field Programmable Gate Array)や、LSI内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサーを利用しても良い。
さらには、半導体技術の進歩または派生する別技術によりLSIなどに置き換わる集積回路の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。
Further, the method of circuit integration is not limited to LSI's, and implementation using dedicated circuitry or general purpose processors is also possible. An FPGA (Field Programmable Gate Array) that can be programmed after manufacturing the LSI or a reconfigurable processor that can reconfigure the connection and setting of circuit cells inside the LSI may be used.
Furthermore, if integrated circuit technology that replaces LSI or the like appears as a result of progress in semiconductor technology or other derived technology, it is naturally also possible to carry out function block integration using this technology.
本発明にかかる動画像再生装置によれば、ユーザが指定した動画像内のオブジェクトが画面内に出現する時点まで遡って再生するため、ユーザが注目するオブジェクトが映っている動画像を出現する場面から提供することができ、ユーザが記録されてある映像を再生することのあるテレビ、レコーダー、携帯電話、デジタルビデオカメラ等で有用である。 According to the moving image reproducing apparatus of the present invention, since the object in the moving image designated by the user is reproduced retroactively to the time when the object appears on the screen, the moving image in which the object noticed by the user appears. It is useful for TVs, recorders, mobile phones, digital video cameras, etc. that can reproduce recorded video.
101、201、301 入力部
102、202、302 認識部
103、203、303 探索部
104、204、304 制御部
105、205、305 復号部
106、206、306 表示部
207、307 拡大部
208、308 スイッチ
309 探索情報保持部
101, 201, 301
Claims (12)
前記表示部に表示された動画像から特定のオブジェクトを指定する入力部と、
前記入力部で特定のオブジェクトが指定されたとき、前記オブジェクトが前記表示部に出現する再生位置まで遡って、前記動画像を再生させる制御部と、
を具備する動画像再生装置。 A display unit for displaying moving images;
An input unit for designating a specific object from the moving image displayed on the display unit;
When a specific object is designated by the input unit, a control unit that reproduces the moving image by going back to a reproduction position where the object appears on the display unit;
A moving image reproducing apparatus comprising:
前記入力部で指定されたオブジェクトを認識する認識部と、
前記認識部で認識されたオブジェクト情報と、前記復号部から出力された画像とに基づき、前記画像に前記オブジェクトが存在するか否かを探索する探索部と、をさらに備え、
前記制御部は、前記入力部で前記オブジェクトが指定された画像を開始点として、時間的に遡って、前記復号部で動画像をデコードさせ、前記探索部に前記復号部でデコードした画像に対して前記オブジェクトを探索させ、前記オブジェクトが検出されなかった場合に、所定の画像から再生を開始させることを特徴とする請求項1記載の動画像再生装置。 A decoding unit for decoding moving images;
A recognition unit for recognizing an object designated by the input unit;
A search unit for searching whether the object exists in the image based on the object information recognized by the recognition unit and the image output from the decoding unit;
The control unit starts with the image in which the object is specified by the input unit as a starting point, and decodes a moving image by the decoding unit, and causes the search unit to decode the image decoded by the decoding unit. 2. The moving image reproduction apparatus according to claim 1, wherein the object is searched for and reproduction is started from a predetermined image when the object is not detected.
前記制御部は、前記探索部で前記オブジェクトが検出されなかった場合、所定の画像から、前記拡大部で生成された前記オブジェクトの拡大画像の再生を開始させることを特徴とする請求項2記載の動画像再生装置。 An enlargement unit that trims the image to generate an enlarged image, and
3. The control unit according to claim 2, wherein, when the object is not detected by the search unit, the control unit starts reproduction of an enlarged image of the object generated by the enlargement unit from a predetermined image. Video playback device.
前記制御部は、前記探索部で所定の画像に前記オブジェクトが検出されなかった場合、前記所定の画像から、前記探索情報を基に前記拡大部で前記オブジェクトの拡大画像を生成して、前記拡大画像を再生させることを特徴とする請求項3記載の動画像再生装置。 A search information holding unit for holding search information indicating a search result of the search unit,
If the object is not detected in the predetermined image by the search unit, the control unit generates an enlarged image of the object by the enlargement unit based on the search information from the predetermined image, and 4. The moving image reproducing apparatus according to claim 3, wherein an image is reproduced.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009165649A JP5163605B2 (en) | 2009-07-14 | 2009-07-14 | Moving picture reproducing apparatus and moving picture reproducing method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009165649A JP5163605B2 (en) | 2009-07-14 | 2009-07-14 | Moving picture reproducing apparatus and moving picture reproducing method |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2011023867A true JP2011023867A (en) | 2011-02-03 |
JP5163605B2 JP5163605B2 (en) | 2013-03-13 |
Family
ID=43633574
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009165649A Expired - Fee Related JP5163605B2 (en) | 2009-07-14 | 2009-07-14 | Moving picture reproducing apparatus and moving picture reproducing method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5163605B2 (en) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2012157270A1 (en) * | 2011-05-19 | 2012-11-22 | パナソニック株式会社 | Video editing and playback device |
JP2014524170A (en) * | 2011-06-17 | 2014-09-18 | トムソン ライセンシング | Video navigation through object position |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH09114427A (en) * | 1995-10-19 | 1997-05-02 | Fujitsu Ltd | Video presentation system |
JP2000115779A (en) * | 1998-10-01 | 2000-04-21 | Toshiba Corp | Image processing unit and moving image coding method applied to the same |
JP2005018912A (en) * | 2003-06-26 | 2005-01-20 | Toshiba Corp | Device and method for reproducing contents |
WO2005032829A2 (en) * | 2003-09-25 | 2005-04-14 | Matsushita Electric Ind Co Ltd | Reproduction device and bookmark system |
JP2005277916A (en) * | 2004-03-25 | 2005-10-06 | Seiko Epson Corp | Moving picture processing apparatus, image processing system, moving picture processing method, program therefor, and recording medium |
-
2009
- 2009-07-14 JP JP2009165649A patent/JP5163605B2/en not_active Expired - Fee Related
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH09114427A (en) * | 1995-10-19 | 1997-05-02 | Fujitsu Ltd | Video presentation system |
JP2000115779A (en) * | 1998-10-01 | 2000-04-21 | Toshiba Corp | Image processing unit and moving image coding method applied to the same |
JP2005018912A (en) * | 2003-06-26 | 2005-01-20 | Toshiba Corp | Device and method for reproducing contents |
WO2005032829A2 (en) * | 2003-09-25 | 2005-04-14 | Matsushita Electric Ind Co Ltd | Reproduction device and bookmark system |
JP2005277916A (en) * | 2004-03-25 | 2005-10-06 | Seiko Epson Corp | Moving picture processing apparatus, image processing system, moving picture processing method, program therefor, and recording medium |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2012157270A1 (en) * | 2011-05-19 | 2012-11-22 | パナソニック株式会社 | Video editing and playback device |
JP2014524170A (en) * | 2011-06-17 | 2014-09-18 | トムソン ライセンシング | Video navigation through object position |
Also Published As
Publication number | Publication date |
---|---|
JP5163605B2 (en) | 2013-03-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8170269B2 (en) | Image processing apparatus, image processing method, and program | |
JP4926416B2 (en) | Image display method, program, recording medium, and image display apparatus | |
EP2506219B1 (en) | Image data creation support device and image data creation support method | |
EP1691369A1 (en) | Apparatus and method for playback of still and moving pictures | |
JP2014096757A (en) | Image processing device, image processing method, and program | |
TW200901753A (en) | Information processing apparatus, imaging apparatus, image display control method and computer program | |
JPWO2008139730A1 (en) | Display device | |
JP2007072564A (en) | Multimedia reproduction apparatus, menu operation reception method, and computer program | |
JP7279108B2 (en) | Video processing method and apparatus, storage medium | |
US8068672B2 (en) | Image processing apparatus and method, data recording medium, program recording medium, and program therefor | |
EP2847740A1 (en) | Method, apparatus and computer program product for generating animated images | |
JP2011182118A (en) | Display controlling apparatus and control method for the same | |
JP4735388B2 (en) | Playback apparatus and method, and program | |
KR20130127338A (en) | Display apparatus and display method thereof | |
JP2011160408A (en) | Moving picture playback device, control method for the same, and storage medium | |
JP2014209707A (en) | Device and method for video reproduction | |
KR20190008772A (en) | Video reproduction apparatus with central reproduction for an object of interest | |
JP5163605B2 (en) | Moving picture reproducing apparatus and moving picture reproducing method | |
JP5604916B2 (en) | Image processing apparatus and program | |
JP2014107641A (en) | Information processing apparatus, method and program | |
US7076151B2 (en) | Image recording apparatus and method, image playback apparatus and method, and recording medium | |
JPH10108123A (en) | Image reproduction device | |
JP2010130093A (en) | Imaging apparatus, and program for the same | |
JP2002354406A (en) | Dynamic image reproducing equipment | |
JP2006101076A (en) | Method and device for moving picture editing and program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20110218 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20120227 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120306 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120411 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120508 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120531 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20121120 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20121203 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20151228 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20151228 Year of fee payment: 3 |
|
LAPS | Cancellation because of no payment of annual fees |