JP5880752B2 - Information processing apparatus, control method therefor, and program - Google Patents

Information processing apparatus, control method therefor, and program Download PDF

Info

Publication number
JP5880752B2
JP5880752B2 JP2015046205A JP2015046205A JP5880752B2 JP 5880752 B2 JP5880752 B2 JP 5880752B2 JP 2015046205 A JP2015046205 A JP 2015046205A JP 2015046205 A JP2015046205 A JP 2015046205A JP 5880752 B2 JP5880752 B2 JP 5880752B2
Authority
JP
Japan
Prior art keywords
reduced image
frame
reduced
display area
displayed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2015046205A
Other languages
Japanese (ja)
Other versions
JP2015156658A5 (en
JP2015156658A (en
Inventor
伸彦 今井
伸彦 今井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Marketing Japan Inc
Canon IT Solutions Inc
Original Assignee
Canon Marketing Japan Inc
Canon IT Solutions Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Marketing Japan Inc, Canon IT Solutions Inc filed Critical Canon Marketing Japan Inc
Priority to JP2015046205A priority Critical patent/JP5880752B2/en
Publication of JP2015156658A publication Critical patent/JP2015156658A/en
Publication of JP2015156658A5 publication Critical patent/JP2015156658A5/ja
Application granted granted Critical
Publication of JP5880752B2 publication Critical patent/JP5880752B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Indexing, Searching, Synchronizing, And The Amount Of Synchronization Travel Of Record Carriers (AREA)
  • Management Or Editing Of Information On Record Carriers (AREA)

Description

本発明は、情報処理装置、及びその制御方法、プログラムに関し、特に、ユーザによる、シーンの異なる目的とするフレームの特定作業を容易にし、かつその特定作業を軽減する技術に関するものである。   The present invention relates to an information processing apparatus, a control method therefor, and a program, and more particularly to a technique for facilitating and reducing the specific work of a frame for a different purpose by a user.

従来、動画編集を行う仕組みにおいて、編集対象の動画のフレームを検索するために、ユーザは、動画のおおよそ全体を再生してフレームを確認するか、再生スライダ１０４等を操作しながら早送り等を行い、編集する動画内のフレームを確認している。   Conventionally, in a mechanism for editing a movie, in order to search for a frame of a movie to be edited, the user plays the entire movie and confirms the frame, or fast-forwards while operating the playback slider 104 or the like. , Check the frame in the video to edit.

図１に、動画編集を行うために動画のフレームを表示する従来のフレーム表示画面１００の例を示す。   FIG. 1 shows an example of a conventional frame display screen 100 that displays a frame of a moving image for performing moving image editing.

従来、ユーザは、動画表示領域１０１に表示される１つフレームを確認しながら、目的とするフレームを特定している。例えば、ユーザがムービーコントローラ領域１０２の各オブジェクト（ムービー再生停止ボタン１０３、再生中のフレームの位置と連動した再生スライダ１０４、コマ戻しボタン１０５、コマ送りボタン１０６）を操作して、動画表示領域１０１に表示される１つフレームをユーザが確認しながら、どのフレームから動画を切り出すか等をユーザが判断している。なお、図１の１０７は、再生中のフレームの位置と連動した再生時刻表示領域であり、１０８は、フレームの決定ボタンである。   Conventionally, the user specifies a target frame while confirming one frame displayed in the moving image display area 101. For example, the user operates each object in the movie controller area 102 (movie playback stop button 103, playback slider 104 linked with the position of the frame being played back, frame return button 105, frame advance button 106) to display the moving image display area 101. While the user confirms one frame displayed on the screen, the user determines from which frame the moving image is cut out. In FIG. 1, reference numeral 107 denotes a reproduction time display area linked to the position of the frame being reproduced, and reference numeral 108 denotes a frame determination button.

このように、目的とするフレームを特定するために、従来、ユーザは、多くの操作を必要とする。   Thus, in order to specify the target frame, the user conventionally requires many operations.

特許文献１には、目的の映像を見つけるために、ジャンルを選択するための画面を表示して、当該選択されたジャンルの映像の中から、設定された時間の映像、代表シーンの検索などを行うことが記載されている。   In Patent Document 1, in order to find a target video, a screen for selecting a genre is displayed, and a video of a set time, a search of a representative scene, etc. are searched from the video of the selected genre. It is described to do.

また、特許文献２には、動画の所定時間間隔の複数のフレームを表示窓に表示して、左右方向指示キーの操作によりサムネイル間の時間間隔を変更し、また、上下方向指示キーの操作により、表示窓に表示される複数のサムネイルを、表示窓間で移動表示（スクロール表示）できることが記載されている。   In Patent Document 2, a plurality of frames of a predetermined time interval of a moving image are displayed on the display window, the time interval between thumbnails is changed by operating the left / right direction instruction key, and by operating the up / down direction instruction key. It is described that a plurality of thumbnails displayed on the display window can be moved and displayed (scrolled) between the display windows.

特開平０９−２４７６０２号公報JP 09-247602 A 特開２００６−２７９２６７号公報JP 2006-279267 A

しかしながら、上記特許文献１は、設定された時間の映像や、検索された代表シーンを表示することは可能であるが、検索された代表シーンをそのまま目的のフレームとして利用することは実務上少なく、実際は、ユーザが、その代表シーンの近傍の（前後の）複数のフレームを確認して、目的のフレームとして決定することが多い。   However, although the above-mentioned patent document 1 can display a video of a set time and a searched representative scene, it is practically rare to use the searched representative scene as it is as a target frame. In practice, the user often confirms a plurality of (previous and subsequent) frames in the vicinity of the representative scene and determines them as target frames.

そのため、ユーザは、依然として、検索された代表シーン近傍の前後の動画のフレームを再生して確認しなければならず、ユーザは、１つ再生画面に表示される映像を確認しながら、目的とするフレームを特定しなければならず、依然として、ユーザが、前後の動画のフレームを記憶して、どのフレームが良いかを決定しなければならず、その決定を容易に行うことが困難であった。   Therefore, the user still has to reproduce and confirm the frames of the moving image before and after the searched representative scene, and the user can confirm the video displayed on one reproduction screen while aiming. The frame has to be specified, and the user still has to memorize the frames of the preceding and succeeding moving images and decide which frame is better, making it difficult to make the decision easily.

また、特許文献２のように、サムネイル間の時間間隔を変更することで、目的とするフレームを特定していくことは可能ではあるが、例えば、シーンの異なるフレームを特定する場合は、ユーザは、依然として、多くのフレームを確認しなければならず、かつ、多くの操作を必要とする。   In addition, as in Patent Document 2, it is possible to specify a target frame by changing the time interval between thumbnails. However, for example, when specifying a different frame in a scene, the user Still, many frames must be verified and many operations are required.

そこで、本発明の目的は、シーンの異なる目的とするフレームの特定作業を容易にし、かつその特定作業を軽減することである。
An object of the present invention facilitates certain tasks frame to different scenes purpose, and is to reduce the specific task.

本発明は、動画データを記憶する記憶手段と、前記動画データを動画表示する動画表示領域と前記動画データを構成する複数のフレームの縮小画像を表示する縮小画像表示領域とを含む表示画面を表示する表示部とを備えた情報処理装置であって、前記記憶手段に記憶された動画データを構成する複数のフレームの中から、前記縮小画像表示領域に表示する複数の縮小画像のフレームを特定する特定手段と、前記記憶手段に記憶された動画データを動画表示する前記動画表示領域と、前記特定手段で特定された複数のフレームの縮小画像を表示する前記縮小画像表示領域と、前記縮小画像表示領域に表示する縮小画像の数を増やす指示をユーザにより受け付ける増加指示受付部と、を含む表示画面を表示する表示手段と、ユーザによる操作に従って、前記表示手段で前記縮小画像表示領域に表示されている複数の縮小画像の中から縮小画像の選択を受け付ける受付手段と、前記表示手段により前記縮小画像表示領域に表示されている複数の縮小画像のうち、前記受付手段により選択を受け付けた縮小画像の前後の縮小画像間のフレームの縮小画像であって、前記縮小画像表示領域に表示されている複数の縮小画像の数に従った時間間隔の縮小画像に対するフレームを、当該縮小画像表示領域に表示する縮小画像のフレームとして特定する縮小画像特定手段と、前記縮小画像特定手段により特定されたフレーム間にシーンの異なるフレームがあるか否かを判定する判定手段と、ユーザによる操作に従って、前記増加指示受付部により、前記縮小画像表示領域に表示されている縮小画像の数を増やす指示を受け付けた場合に、前記表示手段により前記縮小画像表示領域が表示されている各縮小画像間の、当該縮小画像表示領域に表示されていない縮小画像のフレームを、当該縮小画像表示領域に追加で表示する縮小画像のフレームとして特定する追加特定手段と、前記追加特定手段により特定されたフレームと、前記表示手段により前記縮小画像表示領域に表示されている複数の縮小画像のうち、前記追加特定手段により特定された縮小画像の前後の縮小画像に対するフレームとの間にシーンの異なるフレームがあるか否かを判定するフレーム判定手段と、を備え、前記表示手段は、前記受付手段により縮小画像の選択を受け付けた場合に、前記判定手段により、シーンの異なるフレームが無いと判定された場合には、前記縮小画像特定手段により特定されたフレームの縮小画像を前記縮小画像表示領域に表示し、一方、シーンの異なるフレームがあると判定された場合には、前記縮小画像特定手段により特定されたフレームの縮小画像のうち、当該シーンの異なると判定されたフレームの縮小画像の前又は後のフレームの縮小画像が、当該異なると判定されたフレームの縮小画像に置き換えられた前記縮小画像特定手段により特定された縮小画像を前記縮小画像表示領域に表示するように制御し、ユーザによる操作に従って、前記増加指示受付部により、前記縮小画像表示領域に表示される縮小画像の数を増やす指示を受け付けた場合には、前記フレーム判定手段により、シーンの異なるフレームが無いと判定された場合は、前記追加特定手段により特定されたフレームの縮小画像を前記縮小画像表示領域に表示し、一方、前記フレーム判定手段により、シーンの異なるフレームがあると判定された場合は、前記縮小画像表示領域に表示されている縮小画像と前記追加特定手段により特定されたフレームの縮小画像のうち、当該シーンの異なると判定されたフレームの縮小画像の前又は後のフレームの縮小画像が、当該シーンの異なると判定されたフレームの縮小画像に置き換えられた前記縮小画像表示領域に表示されている縮小画像と前記追加特定手段により特定されたフレームの縮小画像を前記縮小画像表示領域に表示するように制御することを特徴とする。
The present invention displays a display screen including storage means for storing moving image data, a moving image display region for displaying the moving image data as a moving image, and a reduced image display region for displaying reduced images of a plurality of frames constituting the moving image data. an information processing apparatus having a display unit for, from among a plurality of frames constituting the moving image data stored in the storage means, identifies the frame of a plurality of reduced images to be displayed on the reduced image display area A moving image display area for displaying moving image data stored in the storage means; a reduced image display area for displaying reduced images of a plurality of frames specified by the specifying means; and the reduced image display. display means for displaying a display screen including an increase instruction accepting section for accepting a user an instruction to increase the number of reduced images to be displayed in the area, and the operation by the user I, a receiving unit for accepting an selection of the reduced image from the plurality of reduced images displayed on the reduced image display area on the display unit, a plurality displayed in the reduced image display area by the display means out of the reduced image, a reduced image of the frame between the front and rear of the reduced image before Symbol reduced image receives a selection by the receiving means, according to the number of the plurality of reduced images displayed in the reduced image display area Whether there is a different frame in the scene between the reduced image specifying means for specifying the frame for the reduced image at the time interval as the reduced image frame to be displayed in the reduced image display area and the frame specified by the reduced image specifying means determination means for determining whether, in accordance with an operation by a user, said increased by the instruction accepting section, the reduced image displayed in the reduced image display area When an instruction to increase the number is received, a frame of a reduced image that is not displayed in the reduced image display area is displayed between the reduced images in which the reduced image display area is displayed by the display unit. Of the plurality of reduced images displayed in the reduced image display area by the display means, additional specifying means for specifying as a frame of a reduced image to be additionally displayed in the area, the frame specified by the additional specifying means, Frame determining means for determining whether or not there is a different frame in the scene between frames for the reduced images before and after the reduced image specified by the additional specifying means, and the display means is configured by the receiving means. When the selection of the reduced image is accepted, and the determination means determines that there are no different frames in the scene, the reduced image A reduced image of the frame specified by the image specifying means is displayed in the reduced image display area. On the other hand, if it is determined that there is a different frame in the scene, a reduced image of the frame specified by the reduced image specifying means The reduced image specified by the reduced image specifying means in which the reduced image of the frame before or after the reduced image of the frame determined to be different in the scene is replaced with the reduced image of the frame determined to be different. When controlling to display an image in the reduced image display area and receiving an instruction to increase the number of reduced images displayed in the reduced image display area by the increase instruction receiving unit according to an operation by a user, If the frame determination means determines that there are no different frames in the scene, the frame specified by the additional specification means On the other hand, when the frame determination means determines that there is a different frame in the scene, the reduced image displayed in the reduced image display area and the additional image are displayed. Of the reduced image of the frame specified by the specifying means, the reduced image of the frame before or after the reduced image of the frame determined to be different in the scene is replaced with the reduced image of the frame determined to be different in the scene. The reduced image displayed in the reduced image display area and the reduced image of the frame specified by the additional specifying means are controlled to be displayed in the reduced image display area .

また、本発明は、動画データを記憶する記憶手段と、前記動画データを動画表示する動画表示領域と前記動画データを構成する複数のフレームの縮小画像を表示する縮小画像表示領域とを含む表示画面を表示する表示部とを備えた情報処理装置における制御方法であって、前記情報処理装置の特定手段が、前記記憶手段に記憶された動画データを構成する複数のフレームの中から、前記縮小画像表示領域に表示する複数の縮小画像のフレームを特定する特定工程と、前記情報処理装置の表示手段が、前記記憶手段に記憶された動画データを動画表示する前記動画表示領域と、前記特定工程で特定された複数のフレームの縮小画像を表示する前記縮小画像表示領域と、前記縮小画像表示領域に表示する縮小画像の数を増やす指示をユーザにより受け付ける増加指示受付部と、を含む表示画面を表示する表示工程と、前記情報処理装置の受付手段が、ユーザによる操作に従って、前記表示工程で前記縮小画像表示領域に表示されている複数の縮小画像の中から縮小画像の選択を受け付ける受付工程と、前記情報処理装置の縮小画像特定手段が、前記表示工程により前記縮小画像表示領域に表示されている複数の縮小画像のうち、前記受付工程により選択を受け付けた縮小画像の前後の縮小画像間のフレームの縮小画像であって、前記縮小画像表示領域に表示されている複数の縮小画像の数に従った時間間隔の縮小画像に対するフレームを、当該縮小画像表示領域に表示する縮小画像のフレームとして特定する縮小画像特定工程と、前記情報処理装置の判定手段が、前記縮小画像特定工程により特定されたフレーム間にシーンの異なるフレームがあるか否かを判定する判定工程と、前記情報処理装置の追加特定手段が、ユーザによる操作に従って、前記増加指示受付部により、前記縮小画像表示領域に表示されている縮小画像の数を増やす指示を受け付けた場合に、前記表示工程により前記縮小画像表示領域が表示されている各縮小画像間の、当該縮小画像表示領域に表示されていない縮小画像のフレームを、当該縮小画像表示領域に追加で表示する縮小画像のフレームとして特定する追加特定工程と、前記情報処理装置のフレーム特定手段が、前記追加特定工程により特定されたフレームと、前記表示工程により前記縮小画像表示領域に表示されている複数の縮小画像のうち、前記追加特定工程により特定された縮小画像の前後の縮小画像に対するフレームとの間にシーンの異なるフレームがあるか否かを判定するフレーム判定工程と、を備え、前記表示工程は、前記受付工程により縮小画像の選択を受け付けた場合に、前記判定工程により、シーンの異なるフレームが無いと判定された場合には、前記縮小画像特定工程により特定されたフレームの縮小画像を前記縮小画像表示領域に表示し、一方、シーンの異なるフレームがあると判定された場合には、前記縮小画像特定工程により特定されたフレームの縮小画像のうち、当該シーンの異なると判定されたフレームの縮小画像の前又は後のフレームの縮小画像が、当該異なると判定されたフレームの縮小画像に置き換えられた前記縮小画像特定工程により特定された縮小画像を前記縮小画像表示領域に表示するように制御し、ユーザによる操作に従って、前記増加指示受付部により、前記縮小画像表示領域に表示される縮小画像の数を増やす指示を受け付けた場合には、前記フレーム判定工程により、シーンの異なるフレームが無いと判定された場合は、前記追加特定工程により特定されたフレームの縮小画像を前記縮小画像表示領域に表示し、一方、前記フレーム判定工程により、シーンの異なるフレームがあると判定された場合は、前記縮小画像表示領域に表示されている縮小画像と前記追加特定工程により特定されたフレームの縮小画像のうち、当該シーンの異なると判定されたフレームの縮小画像の前又は後のフレームの縮小画像が、当該シーンの異なると判定されたフレームの縮小画像に置き換えられた前記縮小画像表示領域に表示されている縮小画像と前記追加特定工程により特定されたフレームの縮小画像を前記縮小画像表示領域に表示するように制御することを特徴とする。
The present invention also provides a display screen including storage means for storing moving image data, a moving image display area for displaying the moving image data as a moving image, and a reduced image display area for displaying reduced images of a plurality of frames constituting the moving image data. a control method in an information processing apparatus having a display unit for displaying the specific means of the information processing apparatus, from among a plurality of frames constituting the moving image data stored in the storage means, the reduced image a specifying step of specifying a frame of a plurality of reduced images to be displayed in the display area, the display unit of the information processing apparatus, the moving image data stored in the storage means and the moving image display area for displaying moving image, in the specifying step It said reduced image display area for displaying the reduced images of a plurality of frames identified by a user an instruction to increase the number of reduced images to be displayed on the reduced image display area Only an increase instruction receiving section attaching a display step of displaying a display screen including a receiving unit of the information processing apparatus in accordance with operation by the user, reduction in plurality being displayed on the reduced image display area in the display step an accepting step of accepting an selection of the reduced image from the image, the reduced image specifying unit of the information processing apparatus, among the plurality of reduced images displayed on the reduced image display area by the display step, before Symbol accepted A reduced image of a frame between the reduced images before and after the reduced image that has been selected in the process, and a frame for the reduced image at a time interval according to the number of reduced images displayed in the reduced image display area. a reduced image specifying step of specifying a frame of the reduced image to be displayed on the reduced image display area, the determination means of the information processing apparatus, the reduced image specifying step A determination step of determining whether there is a different frame of the scene between more particular frames, additional specific means of the information processing apparatus in accordance with operation by the user, by the increase instruction accepting section, the reduced image display area When an instruction to increase the number of reduced images displayed on the screen is received, a reduced image that is not displayed in the reduced image display area between the reduced images in which the reduced image display area is displayed in the display step. An additional specifying step of specifying the frame as a frame of a reduced image to be additionally displayed in the reduced image display area, a frame specified by the additional specifying step, and a display step Before and after the reduced image specified by the additional specifying step among the plurality of reduced images displayed in the reduced image display area A frame determination step for determining whether or not there is a frame with a different scene between frames for the reduced image of the image, and the display step determines when the selection of the reduced image is received by the reception step. If it is determined that there are no different frames in the scene, the reduced image of the frame specified in the reduced image specifying step is displayed in the reduced image display area, while it is determined that there are different frames in the scene. If it is determined that the reduced image of the frame before or after the reduced image of the frame determined to be different in the scene among the reduced images of the frame specified by the reduced image specifying step is determined to be different. The reduced image specified by the reduced image specifying step replaced with the reduced image of the frame is displayed in the reduced image display area. In the case where an instruction to increase the number of reduced images displayed in the reduced image display area is received by the increase instruction receiving unit in accordance with an operation by the user, there is no different frame in the scene by the frame determination step. When it is determined that the reduced image of the frame specified by the additional specifying step is displayed in the reduced image display area, while when it is determined by the frame determining step that there are different frames of the scene, Of the reduced image displayed in the reduced image display area and the reduced image of the frame specified by the additional specifying step, the reduced image of the frame before or after the reduced image of the frame determined to be different in the scene , Displayed in the reduced image display area replaced with a reduced image of a frame determined to be different in the scene And controls so as to display a reduced image of the frames identified by the additional identifying step and the small image on the reduced image display area.

また、本発明は、動画データを記憶する記憶手段と、前記動画データを動画表示する動画表示領域と前記動画データを構成する複数のフレームの縮小画像を表示する縮小画像表示領域とを含む表示画面を表示する表示部とを備えた情報処理装置で読み取り実行可能なプログラムあって、前記記憶手段に記憶された動画データを構成する複数のフレームの中から、前記縮小画像表示領域に表示する複数の縮小画像のフレームを特定する特定手段と、前記記憶手段に記憶された動画データを動画表示する前記動画表示領域と、前記特定手段で特定された複数のフレームの縮小画像を表示する前記縮小画像表示領域と、前記縮小画像表示領域に表示する縮小画像の数を増やす指示をユーザにより受け付ける増加指示受付部と、を含む表示画面を表示する表示手段と、ユーザによる操作に従って、前記表示手段で前記縮小画像表示領域に表示されている複数の縮小画像の中から縮小画像の選択を受け付ける受付手段と、前記表示手段により前記縮小画像表示領域に表示されている複数の縮小画像のうち、前記受付手段により選択を受け付けた縮小画像の前後の縮小画像間のフレームの縮小画像であって、前記縮小画像表示領域に表示されている複数の縮小画像の数に従った時間間隔の縮小画像に対するフレームを、当該縮小画像表示領域に表示する縮小画像のフレームとして特定する縮小画像特定手段と、前記縮小画像特定手段により特定されたフレーム間にシーンの異なるフレームがあるか否かを判定する判定手段と、ユーザによる操作に従って、前記増加指示受付部により、前記縮小画像表示領域に表示されている縮小画像の数を増やす指示を受け付けた場合に、前記表示手段により前記縮小画像表示領域が表示されている各縮小画像間の、当該縮小画像表示領域に表示されていない縮小画像のフレームを、当該縮小画像表示領域に追加で表示する縮小画像のフレームとして特定する追加特定手段と、前記追加特定手段により特定されたフレームと、前記表示手段により前記縮小画像表示領域に表示されている複数の縮小画像のうち、前記追加特定手段により特定された縮小画像の前後の縮小画像に対するフレームとの間にシーンの異なるフレームがあるか否かを判定するフレーム判定手段として機能させ、前記表示手段は、前記受付手段により縮小画像の選択を受け付けた場合に、前記判定手段により、シーンの異なるフレームが無いと判定された場合には、前記縮小画像特定手段により特定されたフレームの縮小画像を前記縮小画像表示領域に表示し、一方、シーンの異なるフレームがあると判定された場合には、前記縮小画像特定手段により特定されたフレームの縮小画像のうち、当該シーンの異なると判定されたフレームの縮小画像の前又は後のフレームの縮小画像が、当該異なると判定されたフレームの縮小画像に置き換えられた前記縮小画像特定手段により特定された縮小画像を前記縮小画像表示領域に表示するように制御し、ユーザによる操作に従って、前記増加指示受付部により、前記縮小画像表示領域に表示される縮小画像の数を増やす指示を受け付けた場合には、前記フレーム判定手段により、シーンの異なるフレームが無いと判定された場合は、前記追加特定手段により特定されたフレームの縮小画像を前記縮小画像表示領域に表示し、一方、前記フレーム判定手段により、シーンの異なるフレームがあると判定された場合は、前記縮小画像表示領域に表示されている縮小画像と前記追加特定手段により特定されたフレームの縮小画像のうち、当該シーンの異なると判定されたフレームの縮小画像の前又は後のフレームの縮小画像が、当該シーンの異なると判定されたフレームの縮小画像に置き換えられた前記縮小画像表示領域に表示されている縮小画像と前記追加特定手段により特定されたフレームの縮小画像を前記縮小画像表示領域に表示するように制御することを特徴とする。
The present invention also provides a display screen including storage means for storing moving image data, a moving image display area for displaying the moving image data as a moving image, and a reduced image display area for displaying reduced images of a plurality of frames constituting the moving image data. there reading executable programs in the information processing apparatus and a display unit for displaying, from among a plurality of frames constituting the moving image data stored in said storage means, a plurality of displays on the reduced image display area specifying means for specifying a frame of the reduced image, and the moving picture display area for video display the moving image data stored in the storage means, the reduced image display for displaying the reduced images of a plurality of frames specified by said specifying means displaying a display screen including a region, and a increase instruction accepting section for accepting a user increase indicate the number of reduced images to be displayed on the reduced image display area A display unit that, in accordance with an operation by a user, a receiving unit for accepting an selection of the reduced image from the plurality of reduced images displayed on the reduced image display area on the display means, the reduced image displayed by the display means among the plurality of reduced images displayed in the area, a reduced image of the frame between the front and rear of the reduced image before Symbol reduced image selection of which is accepted by the receiving means, a plurality displayed in the reduced image display area A reduced image specifying unit that specifies a frame for a reduced image at a time interval according to the number of reduced images as a frame of a reduced image to be displayed in the reduced image display area, and a frame specified by the reduced image specifying unit. a determination unit configured to determine whether there is a different frame of the scene, in accordance with operation by the user, by the increase instruction accepting unit, wherein the reduced image When an instruction to increase the number of reduced images displayed in the display area is received, the reduced image display area is not displayed in the reduced image display area between the reduced images displayed by the display unit. An additional specifying means for specifying a frame of the reduced image as a frame of a reduced image to be additionally displayed in the reduced image display area, a frame specified by the additional specifying means, and a display in the reduced image display area by the display means Among a plurality of reduced images that are functioning as a frame determination unit that determines whether there is a different frame in the scene between the reduced image before and after the reduced image specified by the additional specifying unit , When the selection unit receives a selection of a reduced image by the reception unit , the display unit determines whether a different frame of the scene is displayed. If it is determined that there is no frame, the reduced image of the frame specified by the reduced image specifying means is displayed in the reduced image display area, while if it is determined that there are different frames in the scene, Of the reduced images of the frame specified by the reduced image specifying means, the reduced image of the frame before or after the reduced image of the frame determined to be different in the scene becomes the reduced image of the frame determined to be different. The reduced image specified by the reduced image specifying means that has been replaced is controlled to be displayed in the reduced image display area, and the reduction instruction displayed in the reduced image display area by the increase instruction receiving unit in accordance with a user operation When receiving an instruction to increase the number of images, if the frame determination means determines that there are no different frames in the scene, The reduced image of the frame specified by the additional specifying means is displayed in the reduced image display area. On the other hand, if the frame determining means determines that there is a different frame in the scene, it is displayed in the reduced image display area. Among the reduced images that have been identified and the reduced images of the frames identified by the additional identifying means, it is determined that the reduced images of the frames before or after the reduced image of the frame determined to be different in the scene are different in the scene Control to display the reduced image displayed in the reduced image display area replaced with the reduced image of the specified frame and the reduced image of the frame specified by the additional specifying means in the reduced image display area. Features.

本発明は、シーンの異なる目的とするフレームの特定作業を容易にし、かつその特定作業を軽減することができる。
The present invention facilitates certain tasks frame to different purposes your scene, and it is possible to reduce the specific task.

従来のフレーム表示画面の例を示す図である。It is a figure which shows the example of the conventional frame display screen. 本発明の実施形態における動画編集システムの構成を示す図である。It is a figure which shows the structure of the moving image editing system in embodiment of this invention. 図２に示した動画編集装置２０２に適用可能な情報処理装置のハードウェア構成を示すブロック図である。It is a block diagram which shows the hardware constitutions of the information processing apparatus applicable to the moving image editing apparatus 202 shown in FIG. 本実施の形態における、動画データのフレームを表示し動画データを編集するためのフレーム表示画面４００を示す図である。It is a figure which shows the frame display screen 400 for displaying the flame | frame of moving image data and editing moving image data in this Embodiment. フレームの絞り込み処理により、サムネイル表示領域４０８に表示されるサムネイルの画面遷移を説明するための図である。FIG. 10 is a diagram for explaining transition of a thumbnail screen displayed in a thumbnail display area 408 by frame narrowing processing. 動画編集装置２０２で実行される動画編集処理のフローチャートを示す図である。It is a figure which shows the flowchart of the moving image editing process performed with the moving image editing apparatus. フレームの絞り込み処理（ステップＳ６０９）の詳細処理を示すフローチャートである。It is a flowchart which shows the detailed process of a frame narrowing-down process (step S609). サムネイル表示数の変更処理（ステップＳ６１０）の詳細処理を示すフローチャートである。It is a flowchart which shows the detailed process of a change process (step S610) of the number of thumbnail displays. ステップＳ６００の処理の詳細処理を示すフローチャートである。It is a flowchart which shows the detailed process of the process of step S600. 差異値サムネイル数関係テーブルの一例を示す図である。It is a figure which shows an example of a difference value thumbnail number relation table.

以下、本発明の実施の形態を、図面を参照して詳細に説明する。   Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.

図２は、本発明の実施形態における動画編集システムの構成を示す図である。   FIG. 2 is a diagram showing a configuration of the moving image editing system in the embodiment of the present invention.

尚、図２に示す動画編集システムは、カメラ２００で動画が撮影され得られた動画データである動画ファイルを編集対象として説明するが、これは一例であり、カメラ以外の装置で生成された動画データも編集対象となることは言うまでもない。   Note that the moving image editing system shown in FIG. 2 will be described with a moving image file, which is moving image data obtained by capturing a moving image with the camera 200, as an editing target, but this is an example, and a moving image generated by a device other than the camera It goes without saying that data is also subject to editing.

動画編集システムは、カメラ２００と、本発明の情報処理装置である動画編集装置２０２とから構成される。   The moving image editing system includes a camera 200 and a moving image editing apparatus 202 which is an information processing apparatus of the present invention.

カメラ２００は、動画を撮影可能なカメラ（デジタルカメラやデジタルビデオカメラ等）である。   The camera 200 is a camera (such as a digital camera or a digital video camera) that can shoot a moving image.

カメラ２００により撮影され生成された動画ファイル２０１は、本発明の情報処理装置である動画編集装置２０２に入力される。   A moving image file 201 photographed and generated by the camera 200 is input to a moving image editing apparatus 202 which is an information processing apparatus of the present invention.

そして、動画編集装置２０２は、動画編集処理の結果、得られる編集後の動画ファイル２０３を外部メモリに記憶する。   Then, the moving image editing apparatus 202 stores the edited moving image file 203 obtained as a result of the moving image editing process in the external memory.

次に、本実施の形態における動画編集装置２０２のハードウェア構成について、図３を用いて説明する。   Next, the hardware configuration of the moving image editing apparatus 202 in the present embodiment will be described with reference to FIG.

図３は、図２に示した動画編集装置２０２に適用可能な情報処理装置のハードウェア構成を示すブロック図である。   FIG. 3 is a block diagram showing a hardware configuration of an information processing apparatus applicable to the moving image editing apparatus 202 shown in FIG.

図３において、３０１はＣＰＵで、システムバス３０４に接続される各デバイスやコントローラを統括的に制御する。   In FIG. 3, reference numeral 301 denotes a CPU that comprehensively controls each device and controller connected to the system bus 304.

また、ＲＯＭ３０２あるいは外部メモリ３１１には、ＣＰＵ３０１の制御プログラムであるＢＩＯＳ（Ｂａｓｉｃ Ｉｎｐｕｔ ／ Ｏｕｔｐｕｔ Ｓｙｓｔｅｍ）やオペレーティングシステムプログラム（以下、ＯＳ）や、各サーバ或いは各ＰＣの実行する機能を実現するために必要な後述する各種プログラム等が記憶されている。   Further, the ROM 302 or the external memory 311 is necessary to realize a BIOS (Basic Input / Output System) or an operating system program (hereinafter referred to as OS) that is a control program of the CPU 301, or a function executed by each server or each PC. Various programs to be described later are stored.

３０３はＲＡＭで、ＣＰＵ３０１の主メモリ、ワークエリア等として機能する。   A RAM 303 functions as a main memory, work area, and the like for the CPU 301.

ＣＰＵ３０１は、処理の実行に際して必要なプログラム等をＲＯＭ３０２あるいは外部メモリ３１１からＲＡＭ３０３にロードして、該ロードしたプログラムを実行することで各種動作を実現するものである。   The CPU 301 implements various operations by loading a program or the like necessary for execution of processing from the ROM 302 or the external memory 311 to the RAM 303 and executing the loaded program.

また、３０５は入力コントローラで、キーボード（ＫＢ）３０９や不図示のマウス等のポインティングデバイス等からの入力を制御する。   An input controller 305 controls input from a keyboard (KB) 309 or a pointing device such as a mouse (not shown).

３０６はビデオコントローラで、ＣＲＴディスプレイ（ＣＲＴ）３１０等の表示器（表示部）への表示を制御する。なお、図３では、ＣＲＴ３１０と記載しているが、表示器はＣＲＴだけでなく、液晶ディスプレイ等の他の表示器であってもよい。これらは必要に応じて管理者が使用するものである。   A video controller 306 controls display on a display device (display unit) such as a CRT display (CRT) 310. In FIG. 3, although described as CRT 310, the display device may be not only a CRT but also other display devices such as a liquid crystal display. These are used by the administrator as needed.

３０７はメモリコントローラで、ブートプログラム，各種のアプリケーション，フォントデータ，ユーザファイル，編集ファイル，各種データ等を記憶する外部記憶装置（ハードディスク（ＨＤ））や、フレキシブルディスク（ＦＤ）、或いはＰＣＭＣＩＡカードスロットにアダプタを介して接続されるコンパクトフラッシュ（登録商標）メモリ等の外部メモリ３１１へのアクセスを制御する。   A memory controller 307 is provided in an external storage device (hard disk (HD)), flexible disk (FD), or PCMCIA card slot for storing a boot program, various applications, font data, user files, editing files, various data, and the like. Controls access to an external memory 311 such as a CompactFlash (registered trademark) memory connected via an adapter.

３０８は通信Ｉ／Ｆコントローラで、ネットワークを介して外部機器と接続・通信するものであり、ネットワークでの通信制御処理を実行する。例えば、ＴＣＰ／ＩＰを用いた通信等が可能である。   A communication I / F controller 308 is connected to and communicates with an external device via a network, and executes communication control processing on the network. For example, communication using TCP / IP is possible.

なお、ＣＰＵ３０１は、例えばＲＡＭ３０３内の表示情報用領域へアウトラインフォントの展開（ラスタライズ）処理を実行することにより、ＣＲＴ３１０上での表示を可能としている。また、ＣＰＵ３０１は、ＣＲＴ３１０上の不図示のマウスカーソル等でのユーザ指示を可能とする。   Note that the CPU 301 enables display on the CRT 310 by executing, for example, outline font development (rasterization) processing on a display information area in the RAM 303. Further, the CPU 301 enables a user instruction with a mouse cursor (not shown) on the CRT 310.

本発明を実現するための後述する各種プログラムは、外部メモリ３１１に記録されており、必要に応じてＲＡＭ３０３にロードされることによりＣＰＵ３０１によって実行されるものである。さらに、上記プログラムの実行時に用いられるファイル及び各種テーブル等も、外部メモリ３１１に格納されている。   Various programs to be described later for realizing the present invention are recorded in the external memory 311 and are executed by the CPU 301 by being loaded into the RAM 303 as necessary. Further, files and various tables used at the time of executing the program are also stored in the external memory 311.

図４は、本実施の形態における、動画データのフレームを表示し動画データを編集するためのフレーム表示画面４００を示す図である。   FIG. 4 is a diagram showing a frame display screen 400 for displaying a frame of moving image data and editing the moving image data in the present embodiment.

ここで、フレームとは、動画を構成する１つ１つの画像のことである。   Here, a frame is an image that constitutes a moving image.

ユーザ（利用者）は、キーボードやマウスを用いて、フレーム表示画面４００を介して、表示される動画データ（単に動画とも言う）のフレームを指定することができる。   A user (user) can specify a frame of moving image data (also simply referred to as a moving image) to be displayed via the frame display screen 400 using a keyboard or a mouse.

本実施例においては、フレームのイン点（編集開始ポイント）とアウト点（編集終了ポイント）の両方を指定することが可能であるが、イン点のみ、あるいはアウト点のみを指定できることは言うまでもない。   In this embodiment, it is possible to specify both the in point (edit start point) and the out point (edit end point) of the frame, but it goes without saying that only the in point or only the out point can be specified.

動画編集装置２０２は、カメラ２００から入力され外部メモリ３１１に記憶している動画データを読み出すと、フレーム表示画面４００をＣＲＴ３１０等の表示部に表示する。   When the moving image editing apparatus 202 reads out moving image data input from the camera 200 and stored in the external memory 311, the moving image editing device 202 displays the frame display screen 400 on a display unit such as the CRT 310.

そして、動画編集装置２０２は、当該読み出された動画データのフレームをフレーム表示画面４００内の動画表示領域４０１に表示する。   Then, the moving image editing apparatus 202 displays the frame of the read moving image data in the moving image display area 401 in the frame display screen 400.

４０８は、サムネイル表示領域であり、後述する処理により決定される表示数の、当該読み出された動画のフレームのサムネイルが表示される。サムネイルは、本発明の縮小画像の適用例である。なお、動画編集装置２０２は、動画のフレームに基づいて、そのフレームのサムネイルを生成することができる。後の説明で用いられるサムネイルは、動画のフレームに基づいて、適宜生成されサムネイル表示領域に表示さる。   Reference numeral 408 denotes a thumbnail display area, which displays the thumbnails of the frames of the read moving image whose display number is determined by processing to be described later. The thumbnail is an application example of the reduced image of the present invention. The moving image editing apparatus 202 can generate a thumbnail of the frame based on the frame of the moving image. The thumbnail used in the later description is appropriately generated based on the moving image frame and displayed in the thumbnail display area.

ユーザにより、サムネイル表示数増ボタン４１０が押下されるとサムネイル表示数を増やすことができ（例えば、倍にすることができ）、サムネイル表示数減ボタン４０９が押下されるとサムネイル表示数を少なくする（例えば、半分にする）ことができる。   When the user presses the thumbnail display increase button 410, the number of thumbnail displays can be increased (for example, it can be doubled), and when the thumbnail display decrease button 409 is pressed, the thumbnail display number is decreased. (For example, halved).

尚、シーン検索チェックボックス４１３が押下されるとシーン検索処理が有効と設定され、再度押下されるとシーン検索処理が無効と設定される。これらのサムネイル表示領域の詳細については、後述する。   When the scene search check box 413 is pressed, the scene search process is set to be valid, and when pressed again, the scene search process is set to be invalid. Details of these thumbnail display areas will be described later.

ユーザにより、マウスなどの入力装置を用いて、再生ボタン４０２が押下されると、動画表示領域４０１での動画再生を開始する。   When the user presses the playback button 402 using an input device such as a mouse, the video playback in the video display area 401 is started.

また、動画再生中に再生ボタン４０２が再度押下されることで、再生を停止する。   Further, when the playback button 402 is pressed again during the playback of the moving image, the playback is stopped.

また、コマ戻しボタン４０６、コマ送りボタン４０７が再生停止中に押下されると、一コマ単位で動画表示領域に表示されるフレームを更新表示することができる。   When the frame return button 406 and the frame advance button 407 are pressed while playback is stopped, the frames displayed in the moving image display area can be updated and displayed in units of frames.

なお、必要に応じて、早送り、巻き戻しなどのボタンをフレーム表示画面に設けてもよい。   If necessary, buttons such as fast forward and rewind may be provided on the frame display screen.

再生時刻スライダ４０３は、動画表示領域４０１に表示されているフレームの現在の再生時刻（動画ファイルのデータ位置）を示す。   A playback time slider 403 indicates the current playback time (data position of the moving image file) of the frame displayed in the moving image display area 401.

スライダの左端が動画先頭、スライダの右端が動画の末尾となり、再生時刻スライダノブ４０４の表示位置が、現在の、動画表示領域４０１に表示されているフレームの再生時刻となる。   The left end of the slider is the beginning of the moving image, the right end of the slider is the end of the moving image, and the display position of the playback time slider knob 404 is the playback time of the frame currently displayed in the moving image display area 401.

利用者は、再生時刻スライダノブ４０４の位置とその位置での再生時刻を表す時刻表示領域４０５で動画の再生時刻を知ることができる他、再生時刻スライダノブ４０４を直接マウスで移動することで、再生時刻を任意に変更できる。   The user can know the playback time of the moving image in the time display area 405 indicating the position of the playback time slider knob 404 and the playback time at that position, and also by moving the playback time slider knob 404 directly with the mouse, Can be changed arbitrarily.

動画表示領域４０１に検索対象のフレームが表示されている際に、イン点ボタン４１１またはアウト点ボタン４１２が押下されると、再生時刻スライダ４０３の上にイン点またはアウト点を表すマークが表示される。   If the in-point button 411 or the out-point button 412 is pressed while the frame to be searched is displayed in the moving image display area 401, a mark indicating the in-point or out-point is displayed on the playback time slider 403. The

また、イン点またはアウト点を表すマーク表示中にイン点ボタン４１１またはアウト点ボタン４１２を再度押下することで、イン点またはアウト点を取り消す事がすることができる。   Further, the in point or the out point can be canceled by pressing the in point button 411 or the out point button 412 again while the mark indicating the in point or the out point is displayed.

４１４は、イン点ボタン４１１、及び／又はアウト点ボタン４１２が押下され、イン点、及び／又はアウト点が設定された内容を決定するための決定ボタンである。   Reference numeral 414 denotes a determination button for determining the contents in which the in point and / or the out point are set by pressing the in point button 411 and / or the out point button 412.

次に、図６を用いて、動画編集装置２０２で実行される動画編集処理について説明する。   Next, the moving image editing process executed by the moving image editing apparatus 202 will be described with reference to FIG.

図６は、動画編集装置２０２で実行される動画編集処理のフローチャートを示す図である。   FIG. 6 is a flowchart of the moving image editing process executed by the moving image editing apparatus 202.

図６に示す各ステップの処理は、動画編集装置２０２のＣＰＵ３０１が外部メモリ３１１等のメモリに格納されたプログラムをＲＡＭ３０３にロードして実行することにより実現される。   6 is realized by the CPU 301 of the moving image editing apparatus 202 loading a program stored in a memory such as the external memory 311 into the RAM 303 and executing it.

まず、動画編集装置２０２は、外部メモリ３１１に記憶されている動画ファイルを取得して、当該動画ファイルを解析する。そして、その解析の結果、サムネイル表示領域に表示するサムネイル数（表示数）と、表示するサムネイルとを決定し、決定されたサムネイルを、決定されたサムネイル数分、サムネイル表示領域４０８に表示する（ステップＳ６００）。   First, the moving image editing apparatus 202 acquires a moving image file stored in the external memory 311 and analyzes the moving image file. Then, as a result of the analysis, the number of thumbnails to be displayed in the thumbnail display area (display number) and the thumbnails to be displayed are determined, and the determined thumbnails are displayed in the thumbnail display area 408 by the determined number of thumbnails ( Step S600).

まら、その際に、動画編集装置２０２は、サムネイル表示領域４０８に表示するサムネイルを生成するためのフレームを動画ファイルから抽出し、抽出したフレームの時刻と、抽出したフレームに基づいて生成したサムネイルとを記憶する。   At that time, the moving image editing apparatus 202 extracts a frame for generating a thumbnail to be displayed in the thumbnail display area 408 from the moving image file, and generates a thumbnail generated based on the extracted frame time and the extracted frame. And remember.

ステップＳ６００の詳細処理については、図９を用いて、詳細に後で説明する。   Detailed processing in step S600 will be described later in detail with reference to FIG.

次に、動画編集装置２０２は、ステップＳ６００で記憶されたサムネイルに対応する動画のフレームを動画表示領域４０１に表示する（ステップＳ６０１）。ここでステップＳ６０１では、ステップＳ６００で記憶された時刻のフレームを表示する。   Next, the moving image editing apparatus 202 displays a moving image frame corresponding to the thumbnail stored in step S600 in the moving image display area 401 (step S601). Here, in step S601, the frame at the time stored in step S600 is displayed.

ステップＳ６００で表示されているサムネイルが複数ある場合は、例えば、当該複数のサムネイルのうち、（再生）時刻が最も早いサムネイルの動画のフレームを動画表示領域４０１に表示する。   When there are a plurality of thumbnails displayed in step S600, for example, the moving image frame of the thumbnail having the earliest (playback) time among the plurality of thumbnails is displayed in the moving image display area 401.

ここで、動画編集装置２０２は、ユーザによるキーボードやマウス等の操作に従って、コマ送りボタン４０７が押下されると１コマ進み、コマ戻しボタン４０６が押下されると１コマ戻す。   Here, the moving image editing apparatus 202 advances one frame when the frame advance button 407 is pressed and returns one frame when the frame return button 406 is pressed according to the operation of the keyboard, mouse, and the like by the user.

次に、ユーザが、サムネイル表示領域４０８に表示されているサムネイル数のままで、サムネイル表示領域４０８に表示されているサムネイルよりも細かい時間間隔のサムネイルを確認したい場合は、サムネイル表示領域４０８に表示されている複数のサムネイルの中から、よりも細かい時間間隔で確認したいサムネイルを選択する。   Next, when the user wants to check thumbnails with a smaller time interval than the thumbnail displayed in the thumbnail display area 408 while maintaining the number of thumbnails displayed in the thumbnail display area 408, the thumbnail is displayed in the thumbnail display area 408. Select a thumbnail that you want to check at smaller time intervals from the multiple thumbnails that are displayed.

そして、動画編集装置２０２は、サムネイル表示領域４０８に表示されている複数のサムネイルの中から、ユーザによるサムネイルの選択を受け付けた（第１の受付手段）と判定された場合（ステップ６０２：Ｙｅｓ）、フレームの絞り込み処理を実行する（ステップＳ６０９）。   When the moving image editing apparatus 202 determines that the user has selected a thumbnail from the plurality of thumbnails displayed in the thumbnail display area 408 (first receiving unit) (step 602: Yes). The frame narrowing process is executed (step S609).

フレームの絞り込み処理（ステップＳ６０９）の詳細処理は、図７を用いて、後で説明する。   Detailed processing of the frame narrowing processing (step S609) will be described later with reference to FIG.

そして、フレームの絞り込み処理を実行すると、処理をステップＳ６０１に戻して、当該フレームの絞り込み処理を実行して記憶される時刻のフレームを動画表示領域４０１に表示する（ステップＳ６０１）。   When the frame narrowing process is executed, the process is returned to step S601, and the frame at the time stored by executing the frame narrowing process is displayed in the moving image display area 401 (step S601).

そして、動画編集装置２０２は、サムネイル表示領域４０８に表示されている複数のサムネイルの中から、ユーザによるサムネイルの選択を受け付けていないと判定された場合（ステップＳ６０２：ＮＯ）、サムネイル表示数減ボタン４０９またはサムネイル表示数増ボタン４１０の何れかが、ユーザにより押下されたか否かを判定する（ステップＳ６０３）。すなわち、ユーザによる操作に従って、表示するサムネイルの数の変更指示を受け付けた（第２の受付手段）か否かを判定する。そして、押されていたと判定された場合（ステップ６０３：Ｙｅｓ）には、サムネイル表示数の変更処理を実行する（ステップＳ６１０）。そして、サムネイル表示数の変更処理を実行すると、処理をステップＳ６０１に戻して、当該サムネイル表示数の変更処理を実行して記憶される時刻のフレームを動画表示領域 ４０１に表示する（ステップＳ６０１）   When it is determined that the user has not accepted a thumbnail selection from the plurality of thumbnails displayed in the thumbnail display area 408 (step S602: NO), the video editing apparatus 202 has a thumbnail display number reduction button. It is determined whether any of the button 409 or the thumbnail display increase button 410 has been pressed by the user (step S603). That is, it is determined whether or not an instruction to change the number of thumbnails to be displayed has been received (second receiving means) according to an operation by the user. If it is determined that the button has been pressed (step 603: Yes), the thumbnail display number changing process is executed (step S610). When the thumbnail display number changing process is executed, the process returns to step S601, and the time frame stored by executing the thumbnail display number changing process is displayed in the moving image display area 401 (step S601).

サムネイル表示数の変更処理（ステップＳ６１０）の詳細処理は、後で、図８を用いて説明する。 Detailed processing of the thumbnail display number changing process (step S610) will be described later with reference to FIG.

また、動画編集装置２０２は、サムネイル表示数減ボタン４０９またはサムネイル表示数増ボタン４１０の何れも、ユーザにより押下されていないと判定した場合（ステップ６０３：Ｎｏ）には、ユーザにより、イン点ボタン４１１またはアウト点ボタン４１２が押下されたか否かを判定し（ステップ６０４）、押下されたと判定された場合（ステップ６０４：Ｙｅｓ）には、当該押下されたイン点またはアウト点の時刻を記憶保存する（ステップＳ６１１）。   When the moving image editing apparatus 202 determines that neither the thumbnail display number decrease button 409 or the thumbnail display number increase button 410 is pressed by the user (step 603: No), the user selects the in-point button. It is determined whether or not the button 411 or the out point button 412 has been pressed (step 604). If it is determined that the button has been pressed (step 604: Yes), the time of the pressed in point or out point is stored and saved. (Step S611).

そして、動画編集装置２０２は、ステップＳ６１１で記憶した時刻のフレームを動画表示領域４０１に表示する（ステップＳ６０１）。   Then, the moving image editing apparatus 202 displays the frame of the time stored in step S611 in the moving image display area 401 (step S601).

このとき、動画編集装置２０２は、イン点ボタン４１１が押されていた場合には、時刻表示領域４０５に表示されている時刻（ステップＳ６１１で記憶した時刻）イン点として記憶し、再生時刻スライダ４０３上にその時刻を示す位置にイン点を示すマークを表示する。また、動画編集装置２０２は、アウト点ボタン４１２が押されていた場合には、時刻表示領域４０５に表示されている時刻（ステップＳ６１１で記憶した時刻）をアウト点として記憶し、再生時刻スライダ４０３上にその時刻を示す位置にアウト点を示すマークを表示する。   At this time, if the in-point button 411 is pressed, the video editing apparatus 202 stores the time displayed in the time display area 405 (the time stored in step S611) as the in-point, and the playback time slider 403 A mark indicating the IN point is displayed on the position indicating the time. If the out point button 412 has been pressed, the moving image editing apparatus 202 stores the time displayed in the time display area 405 (the time stored in step S611) as the out point, and the playback time slider 403. A mark indicating the out point is displayed on the position indicating the time.

また、動画編集装置２０２は、ユーザにより、イン点ボタン４１１またはアウト点ボタン４１２が押下されていないと判定された場合（ステップ６０４：Ｎｏ）には、ユーザにより決定ボタン４１４が押下されたか否かを判定し（ステップ６０５）、決定ボタン４１４が押下されたと判定された場合（ステップ６０５：Ｙｅｓ）には、現在、記憶されているイン点、及び／又はアウト点の時刻を、編集後の動画ファイル２０３の再生開始点、及び／又は再生終了点として記憶する（ステップＳ６０６）。   In addition, when it is determined that the in-point button 411 or the out-point button 412 has not been pressed by the user (step 604: No), the video editing apparatus 202 determines whether the user has pressed the enter button 414. (Step 605), and if it is determined that the enter button 414 has been pressed (step 605: Yes), the currently stored time of the in point and / or the out point is changed to the edited video. The file 203 is stored as a reproduction start point and / or a reproduction end point (step S606).

動画編集装置２０２は、ユーザにより決定ボタン４１４が押下されていないと判定された場合は（ステップＳ６０５：ＮＯ）、処理ステップＳ６０２に戻し、ユーザから指示を待つ。   If it is determined that the user has not pressed the enter button 414 (step S605: NO), the video editing apparatus 202 returns to processing step S602 and waits for an instruction from the user.

動画編集装置２０２は、読み出された動画ファイル２０１を、ステップＳ６０６で記憶された再生開始点の時刻、及び／又は再生終了点の時刻でカットして編集する。そして、当該再生開始点、及び／又は再生終了点とする編集後の動画ファイルを生成する（ステップＳ６０７）。そして、動画編集装置２０２は、当該生成された編集後の動画ファイルを外部メモリに記憶する（ステップＳ６０８）。   The moving image editing apparatus 202 edits the read moving image file 201 by cutting the reproduction start point time and / or the reproduction end point time stored in step S606. Then, an edited moving image file is generated as the playback start point and / or playback end point (step S607). Then, the moving image editing apparatus 202 stores the generated edited moving image file in the external memory (step S608).

次に、図７を用いて、フレームの絞り込み処理（ステップＳ６０９）の詳細処理について説明する。   Next, detailed processing of the frame narrowing processing (step S609) will be described with reference to FIG.

図７は、フレームの絞り込み処理（ステップＳ６０９）の詳細処理を示すフローチャートである。   FIG. 7 is a flowchart showing detailed processing of the frame narrowing processing (step S609).

図７に示す各ステップの処理は、動画編集装置２０２のＣＰＵ３０１が外部メモリ３１１等のメモリに格納されたプログラムをＲＡＭ３０３にロードして実行することにより実現される。   7 is realized by the CPU 301 of the moving image editing apparatus 202 loading a program stored in a memory such as the external memory 311 into the RAM 303 and executing it.

動画編集装置２０２は、サムネイル表示領域４０８に表示されたサムネイルの中から、ユーザにより、より詳細にフレーム内容を見たい箇所のサムネイルが押下された場合（ステップ６０２Ｙｅｓ）、ステップＳ７００において、まず、選択されたサムネイルの時刻に時刻表示領域４０５の表示を更新する。そして、その選択されたサムネイルを中心に、サムネイル表示領域４０８に表示されている前後のサムネイルの時刻内のフレームを処理対象にして、当該前後のサムネイル間のフレームの時間を、サムネイル表示領域４０８に表示されているサムネイルの表示数で割ることで、サムネイル表示領域４０８に表示するサムネイル間の時間間隔を算出する。そして、算出された時間間隔で、当該処理対象にしているフレームを区切ることで、その区切られたフレームのサムネイルの時刻を、サムネイル表示領域４０８に表示するサムネイルの時刻として記憶する。また、該フレームも記憶する（ステップ７００）。   When the user presses a thumbnail at a location where the user wants to view the frame contents in more detail from among the thumbnails displayed in the thumbnail display area 408 (Yes in step 602), the video editing apparatus 202 first selects in step S700. The display of the time display area 405 is updated at the time of the thumbnail displayed. Then, with the selected thumbnail as the center, the frames within the time of the previous and subsequent thumbnails displayed in the thumbnail display area 408 are processed, and the time of the frame between the previous and subsequent thumbnails is displayed in the thumbnail display area 408. By dividing by the number of displayed thumbnails, the time interval between thumbnails displayed in the thumbnail display area 408 is calculated. Then, by dividing the frame to be processed at the calculated time interval, the time of the thumbnail of the divided frame is stored as the time of the thumbnail to be displayed in the thumbnail display area 408. The frame is also stored (step 700).

例えば、図５を例に説明する。   For example, FIG. 5 will be described as an example.

図５は、フレームの絞り込み処理により、サムネイル表示領域４０８に表示されるサムネイルの画面遷移を説明するための図である。   FIG. 5 is a diagram for explaining transition of the thumbnail screen displayed in the thumbnail display area 408 by the frame narrowing process.

図５に示すように、より詳細にフレーム内容を見たい箇所として、ユーザによりサムネイル５０１が選択されると、サムネイル表示領域４０８に表示されている、当該選択されたサムネイルの前方のサムネイル５００のフレームの時刻と、後方のサムネイル５０２のフレームの時刻をＲＡＭ３０３内の記憶領域から取得し、その時刻範囲の動画のフレームを対象にして、サムネイル表示数で割った時間間隔のフレームを新しいサムネイルとし、サムネイル表示領域４０８に表示する。ここで、新しいサムネイルは選択したサムネイル５０１がサムネイル表示領域４０８の中心に表示され（サムネイル５０３）、前方のサムネイル５００のフレームと後方のサムネイル５０２のフレームはサムネイルの対象外（サムネイル５０４、サムネイル５０５）となりサムネイル表示領域４０８には表示されない。   As shown in FIG. 5, when the user selects a thumbnail 501 as a place where the user wants to see the frame contents in more detail, the frame of the thumbnail 500 in front of the selected thumbnail displayed in the thumbnail display area 408 is displayed. And the time of the frame of the rear thumbnail 502 are obtained from the storage area in the RAM 303, and the frame of the time interval divided by the number of thumbnails is set as a new thumbnail for the moving image frame in the time range, and the thumbnail It is displayed in the display area 408. Here, for the new thumbnail, the selected thumbnail 501 is displayed at the center of the thumbnail display area 408 (thumbnail 503), and the frame of the front thumbnail 500 and the frame of the rear thumbnail 502 are not subject to thumbnails (thumbnail 504, thumbnail 505). The thumbnail display area 408 is not displayed.

次に、動画編集装置２０２は、シーン検索チェックボックス４１３にチェックがされているか否かを判定する（ステップＳ７０１）。そして、シーン検索チェックボックス４１３にチェックがされていると判定された場合（ステップ７０１：Ｙｅｓ）、ステップＳ７００で記憶したサムネイルの時刻間毎にシーンが異なるフレームがあるか否かを判定して、シーンが異なるフレームがあると判定された場合は、当該判定で用いたフレーム（判定で用いた１方のフレーム）と、そのフレームの時刻を、シーンが異なると判定されたフレームと、そのフレームの時刻に置き換えて記憶して（ステップＳ７０２）、ステップＳ６０９の処理を終了する。   Next, the moving image editing apparatus 202 determines whether or not the scene search check box 413 is checked (step S701). If it is determined that the scene search check box 413 is checked (step 701: Yes), it is determined whether there is a frame with a different scene for each time of the thumbnail stored in step S700. If it is determined that there is a frame with a different scene, the frame used in the determination (one frame used in the determination) and the time of the frame are changed to the frame determined to have a different scene and the frame The time is replaced and stored (step S702), and the process of step S609 is terminated.

動画編集装置２０２は、シーン検索チェックボックス４１３にチェックがされていないと判定された場合（ステップ７０１：ＮＯ）、ステップＳ６０９の処理を終了する。   If it is determined that the scene search check box 413 is not checked (step 701: NO), the video editing apparatus 202 ends the process of step S609.

動画編集装置２０２は、ステップＳ６０９の処理が終了した場合、記憶された時刻のフレームのサムネイルを時系列にサムネイル表示領域４０８に表示して、ステップＳ６０１に処理を移行する。また、時刻表示領域４０５には、ユーザにより選択されたサムネイルの時刻が設定され表示される。   When the process of step S609 ends, the video editing apparatus 202 displays the thumbnails of the frames at the stored time in the thumbnail display area 408 in time series, and the process proceeds to step S601. In the time display area 405, the time of the thumbnail selected by the user is set and displayed.

次に、ステップＳ７０２での、サムネイルの時刻間毎にシーンが異なるフレームがあるか否かの判定は、例えば、次のようにして行う。   Next, in step S702, whether or not there is a frame with a different scene for each thumbnail time is determined as follows, for example.

動画編集装置２０２は、動画から、ステップＳ７００で記憶したサムネイルの時刻にあるフレームを取り出し、それをＲＡＭ３０３内の記憶領域（メモリＡ）へと記録する。   The moving image editing apparatus 202 extracts the frame at the thumbnail time stored in step S700 from the moving image and records it in the storage area (memory A) in the RAM 303.

また、動画編集装置２０２は、動画から、次のコマとなるフレームを取り出し、それをＲＡＭ３０３内の記憶領域（メモリＢ）へと記録する。   In addition, the moving image editing apparatus 202 extracts a frame as the next frame from the moving image and records it in a storage area (memory B) in the RAM 303.

動画編集装置２０２は、メモリＡとメモリＢのそれぞれに格納されたフレームを構成する画素値の差分を計算し、その結果をＲＡＭ３０３の記憶領域（メモリＣ）へと保存する。   The moving image editing apparatus 202 calculates the difference between the pixel values constituting the frames stored in the memory A and the memory B, and stores the result in the storage area (memory C) of the RAM 303.

本実施例では、各画素はＲ，Ｇ，Ｂの３値で構成されており、これらの値は元の色を赤、緑、青の三原色の混色で表現した場合の各色の量を示している。   In this embodiment, each pixel is composed of three values of R, G, and B. These values indicate the amount of each color when the original color is expressed by a mixed color of the three primary colors of red, green, and blue. Yes.

メモリＡから取り出した１画素を（Ｒａ，Ｇａ，Ｂａ）、メモリＢから取り出した同じ位置の１画素を（Ｒｂ，Ｇｂ，Ｂｂ）としたとき、メモリＣの同じ位置の１画素（Ｒｃ，Ｇｃ，Ｂｃ）を、（Ｒａ−Ｒｂ，Ｇａ−Ｇｂ，Ｂａ−Ｂｂ）として計算する。   When one pixel taken out from the memory A is (Ra, Ga, Ba) and one pixel taken out from the memory B at the same position is (Rb, Gb, Bb), one pixel (Rc, Gc) in the same position in the memory C , Bc) is calculated as (Ra-Rb, Ga-Gb, Ba-Bb).

この計算を、メモリＡとメモリＢに含まれるすべての画素について繰り返す。   This calculation is repeated for all the pixels included in the memory A and the memory B.

動画編集装置２０２は、メモリＣに格納された画像の差分の量が、ある閾値より小さい場合は、記憶領域（メモリＢ）の画像を記憶領域（メモリＡ）に移動し、次のコマとなるフレームの画像を取り出し、それをＲＡＭ３０３内の記憶領域（メモリＢ）へと記録する。   When the difference between the images stored in the memory C is smaller than a certain threshold, the moving image editing apparatus 202 moves the image in the storage area (memory B) to the storage area (memory A) and becomes the next frame. The frame image is taken out and recorded in a storage area (memory B) in the RAM 303.

動画編集装置２０２は、この差分の量の計算と、その閾値を調べる処理を、サムネイルの各時刻間で行う。画像の差分の量が、ある閾値より大きいと判定された場合は異なるシーンとして、そのシーンの時刻に最も近い時刻のサムネイルを置き換える。   The moving image editing apparatus 202 performs the calculation of the difference amount and the process of checking the threshold between thumbnail times. When it is determined that the amount of image difference is greater than a certain threshold, a thumbnail at a time closest to the time of the scene is replaced as a different scene.

なお、本実施例は画素をＲ，Ｇ，Ｂの３値で構成したが、これは一例であり、他の色表現形式を用いることもできる。他の色表現方法を使用した場合であっても、本実施例と類似の方法によって画素値の差分を計算可能することができる。よって本発明は、Ｒ，Ｇ，Ｂの３値以外の色表現形式を用いた場合であっても、実施可能である。   In the present embodiment, the pixel is configured by three values of R, G, and B. However, this is an example, and other color expression formats can be used. Even when another color expression method is used, the difference between pixel values can be calculated by a method similar to the present embodiment. Therefore, the present invention can be implemented even when a color expression format other than the three values of R, G, and B is used.

ＣＰＵ３０１は、ＲＡＭ３０３内の記憶領域へ記録されたサムネイルをサムネイル表示領域４０８へ表示し、動画表示領域４０１には、時刻表示領域４０５に表示されている時刻のフレームが表示される。   The CPU 301 displays the thumbnails recorded in the storage area in the RAM 303 in the thumbnail display area 408, and the moving image display area 401 displays the time frame displayed in the time display area 405.

次に、図８を用いて、サムネイル表示数の変更処理（ステップＳ６１０）の詳細処理について説明する。   Next, detailed processing of the thumbnail display number changing process (step S610) will be described with reference to FIG.

図８は、サムネイル表示数の変更処理（ステップＳ６１０）の詳細処理を示すフローチャートである。   FIG. 8 is a flowchart showing a detailed process of the thumbnail display number changing process (step S610).

図８に示す各ステップの処理は、動画編集装置２０２のＣＰＵ３０１が外部メモリ３１１等のメモリに格納されたプログラムをＲＡＭ３０３にロードして実行することにより実現される。   8 is realized by the CPU 301 of the moving image editing apparatus 202 loading a program stored in a memory such as the external memory 311 into the RAM 303 and executing it.

動画編集装置２０２は、ユーザにより、サムネイル表示数増ボタン４１０が押下されたか否かを判定し（ステップＳ８００）、サムネイル表示数増ボタン４１０が押されたと判定した場合（ステップＳ８００：Ｙｅｓ）には、サムネイル表示領域４０８に表示されている各サムネイルの時刻の中間にあたる時刻と、当該時刻のサムネイルを記憶し（ステップＳ８０１）、処理をステップＳ８０２に移行する。   The video editing apparatus 202 determines whether or not the user has pressed the thumbnail display increase button 410 (step S800), and determines that the thumbnail display increase button 410 has been pressed (step S800: Yes). Then, the time that is intermediate between the times of the thumbnails displayed in the thumbnail display area 408 and the thumbnail at the time are stored (step S801), and the process proceeds to step S802.

一方、動画編集装置２０２は、サムネイル表示数増ボタン４１０が押されていないと判定された場合（ステップＳ８０１）は、処理をステップＳ８０２に移行する。   On the other hand, if it is determined that the thumbnail display increase button 410 has not been pressed (step S801), the moving image editing apparatus 202 moves the process to step S802.

次に、動画編集装置２０２は、ユーザにより、サムネイル表示数減ボタン４０９が押されたか否かを判定し（ステップＳ８０２）、サムネイル表示数減ボタン４０９が押されたと判定された場合（ステップＳ８０２：Ｙｅｓ）には、記憶されている、サムネイル表示領域４０８に表示されている各サムネイルの時刻のうち、偶数番（又は奇数番）のサムネイルを削除し（ステップＳ８０３）、処理をステップＳ８０４に移行する。   Next, the video editing apparatus 202 determines whether or not the thumbnail display number decrease button 409 has been pressed by the user (step S802), and if it is determined that the thumbnail display number decrease button 409 has been pressed (step S802: In (Yes), the even-numbered (or odd-numbered) thumbnail is deleted from the stored time of each thumbnail displayed in the thumbnail display area 408 (step S803), and the process proceeds to step S804. .

ここで、偶数番（又は奇数番）とは、サムネイル表示領域４０８に表示されているサムネイルの番号が偶数か奇数かを示す番号である。例えば、図４のサムネイル表示領域４０８には、６つのサムネイルが表示されているが、サムネイル表示領域４０８の最も左側に表示されているサムネイルから１番、２番、３番、４番、５番、６番という番号が、各時刻と共に記憶されており、このうち、偶数番（２番、４番、６番）のサムネイル、及びそのサムネイルの各時刻を削除するか、奇数番（１番、３番、５番）のサムネイル、及びそのサムネイルの各時刻を削除する。   Here, the even number (or odd number) is a number indicating whether the number of the thumbnail displayed in the thumbnail display area 408 is even or odd. For example, six thumbnails are displayed in the thumbnail display area 408 in FIG. 4, but the first, second, third, fourth, fifth, etc. from the thumbnail displayed on the leftmost side of the thumbnail display area 408. , No. 6 is stored together with each time, and among these, even numbered thumbnails (No. 2, No. 4, No. 6) and each thumbnail time are deleted or odd numbered (No. 1, (No. 3 and No. 5) and the time of each thumbnail are deleted.

また、動画編集装置２０２は、サムネイル表示数減ボタン４０９が押されていないと判定された場合（ステップＳ８０２：ＮＯ）、処理をステップＳ８０４に移行する。   If it is determined that the thumbnail display number reduction button 409 has not been pressed (step S802: NO), the moving image editing apparatus 202 proceeds to step S804.

次に、動画編集装置２０２は、シーン検索チェックボックス４１３がチェックされているか否かを判定し（ステップＳ８０４）、チェックされていると判定された場合（ステップ８０４：Ｙｅｓ）、現在、記憶されているサムネイルの時刻の間にシーンが異なるフレームがあるか否かを判定し、シーンが異なるフレームがあると判定された場合は、当該判定で用いたフレーム（判定で用いた１方のフレーム）と、そのフレームの時刻を、シーンが異なると判定されたフレームと、そのフレームの時刻に置き換えて記憶して（ステップＳ８０５）、ステップＳ６１０の処理を終了する。ステップＳ８０５における処理は、ステップ７０２と同様の方法でシーンが異なるか否かを判定し置き換える。   Next, the video editing apparatus 202 determines whether or not the scene search check box 413 is checked (step S804). If it is determined that the scene search check box 413 is checked (step 804: Yes), it is currently stored. It is determined whether there is a frame with a different scene between the times of the thumbnails, and if it is determined that there is a frame with a different scene, the frame used in the determination (one frame used in the determination) and The time of the frame is replaced with the frame determined to have a different scene and the time of the frame (step S805), and the process of step S610 is terminated. The processing in step S805 determines whether or not the scene is different in the same manner as in step 702 and replaces it.

また、動画編集装置２０２は、シーン検索チェックボックス４１３にチェックされていないと判定された場合（ステップ８０４：ＮＯ）、ステップＳ６１０の処理を終了する。   If it is determined that the scene search check box 413 is not checked (step 804: NO), the moving image editing apparatus 202 ends the process of step S610.

そして、動画編集装置２０２は、ステップＳ６１０の処理を終了すると、処理をステップＳ６０１に移行する。   Then, when the moving image editing apparatus 202 ends the process of step S610, the moving image editing apparatus 202 proceeds to step S601.

また、サムネイルを押下する前の状態にフレーム表示画面４００を戻したい場合や、違うサムネイルを選択し直したい場合や、サムネイル表示数を変更する前の状態に戻したい場合も考えられるため、ユーザにより選択される前の状態のフレーム表示画面４００に戻すための「戻す」ボタン等をフレーム表示画面４００に追加してもよい。   In addition, the user may want to return the frame display screen 400 to the state before the thumbnail is pressed, to select a different thumbnail, or to return to the state before changing the number of thumbnails displayed. A “return” button or the like for returning to the frame display screen 400 in a state before being selected may be added to the frame display screen 400.

次に、図９を用いて、ステップＳ６００の処理の詳細処理について、説明する。   Next, detailed processing of the processing in step S600 will be described with reference to FIG.

図９は、ステップＳ６００の処理の詳細処理を示すフローチャートである。   FIG. 9 is a flowchart showing detailed processing of step S600.

図９に示す各ステップの処理は、動画編集装置２０２のＣＰＵ３０１が外部メモリ３１１等のメモリに格納されたプログラムをＲＡＭ３０３にロードして実行することにより実現される。   The processing of each step shown in FIG. 9 is realized by the CPU 301 of the moving image editing apparatus 202 loading a program stored in a memory such as the external memory 311 into the RAM 303 and executing it.

まず、動画編集装置２０２は、カメラ２００により撮影され生成され、外部メモリ３１１に記憶された動画ファイル（動画データ）を取得して、その動画データ（動画）の中から、全てのフレームを抽出する（ステップＳ９００）。ステップＳ９００では、取得した動画の再生時間（又は全フレーム数）が所定時間（又は所定フレーム数）以上であれば、全てのフレームを抽出するのではなく、所定間隔のフレームを抽出するようにしてもよい。   First, the moving image editing apparatus 202 acquires a moving image file (moving image data) that is captured and generated by the camera 200 and stored in the external memory 311, and extracts all frames from the moving image data (moving image). (Step S900). In step S900, if the playback time (or the total number of frames) of the acquired moving image is equal to or longer than the predetermined time (or the predetermined number of frames), not all frames are extracted, but frames at predetermined intervals are extracted. Also good.

次に、動画編集装置２０２は、ステップＳ９０２からステップＳ９０３の処理を、ステップＳ９００で抽出した全てのフレームに対して実行し終えるまで、繰り返し実行する。   Next, the moving image editing apparatus 202 repeatedly executes the processing from step S902 to step S903 until it finishes executing all the frames extracted in step S900.

まず、ステップＳ９００で抽出したフレーム間の画素の差異を算出する（ステップＳ９０２）。   First, the pixel difference between the frames extracted in step S900 is calculated (step S902).

ここで、ステップＳ９０２でのフレーム間の画素の差異（値）の算出方法の一例について説明する。   Here, an example of a method for calculating the pixel difference (value) between frames in step S902 will be described.

動画編集装置２０２は、現在処理対象のフレームをＲＡＭ３０３内の記憶領域（メモリＡ）へと記録する。   The moving image editing apparatus 202 records the currently processed frame in a storage area (memory A) in the RAM 303.

また、動画編集装置２０２は、次のコマとなるフレームをＲＡＭ３０３内の記憶領域（メモリＢ）へと記録する。   In addition, the moving image editing apparatus 202 records a frame as a next frame in a storage area (memory B) in the RAM 303.

動画編集装置２０２は、メモリＡとメモリＢのそれぞれに格納されたフレームを構成する画素値の差分を計算し、その結果をＲＡＭ３０３の記憶領域（メモリＣ）へと保存する。   The moving image editing apparatus 202 calculates the difference between the pixel values constituting the frames stored in the memory A and the memory B, and stores the result in the storage area (memory C) of the RAM 303.

本実施例では、各画素はＲ，Ｇ，Ｂの３値で構成されており、これらの値は元の色を赤、緑、青の三原色の混色で表現した場合の各色の量を示している。   In this embodiment, each pixel is composed of three values of R, G, and B. These values indicate the amount of each color when the original color is expressed by a mixed color of the three primary colors of red, green, and blue. Yes.

メモリＡから取り出した１画素を（Ｒａ，Ｇａ，Ｂａ）、メモリＢから取り出した同じ位置の１画素を（Ｒｂ，Ｇｂ，Ｂｂ）としたとき、メモリＣの同じ位置の１画素（Ｒｃ，Ｇｃ，Ｂｃ）を、（Ｒａ−Ｒｂ，Ｇａ−Ｇｂ，Ｂａ−Ｂｂ）として計算する。   When one pixel taken out from the memory A is (Ra, Ga, Ba) and one pixel taken out from the memory B at the same position is (Rb, Gb, Bb), one pixel (Rc, Gc) in the same position in the memory C , Bc) is calculated as (Ra-Rb, Ga-Gb, Ba-Bb).

この計算を、メモリＡとメモリＢに含まれるすべての画素について繰り返す。そして、すべての画素について繰り返し計算して算出されたフレームの画素値の差分の値を、フレーム間の画素の差異（値）として算出する。   This calculation is repeated for all the pixels included in the memory A and the memory B. Then, the difference value of the pixel value of the frame calculated by repeatedly calculating all the pixels is calculated as the difference (value) of the pixel between frames.

次に、ステップＳ９０３において算出されたフレーム間の画素の差異（値）を累積して、累積差異値としてメモリに記憶する。   Next, the pixel differences (values) between frames calculated in step S903 are accumulated and stored in the memory as accumulated difference values.

そして、次のコマのフレームを処理対象にするべく、現在、記憶領域（メモリＢ）に記憶されている画像（フレーム）を記憶領域（メモリＡ）に移動し、次のコマとなるフレームの画像をＲＡＭ３０３内の記憶領域（メモリＢ）に記憶して、当該フレームを構成する画素値の差分を計算する。   Then, in order to process the frame of the next frame, the image (frame) currently stored in the storage area (memory B) is moved to the storage area (memory A). Are stored in a storage area (memory B) in the RAM 303, and a difference between pixel values constituting the frame is calculated.

次に、動画編集装置２０２は、ステップＳ９００で抽出した全フレームに対して、ステップＳ９０２、ステップＳ９０３の処理を実行すると、ステップＳ９０５において、ステップＳ９０３で累積して記憶された累積差異値に応じて、サムネイル表示領域４０８に表示するサムネイル表示数（サムネイル数）を決定する（ステップＳ９０５）。   Next, when the moving image editing apparatus 202 executes the processing of step S902 and step S903 for all the frames extracted in step S900, in step S905, the moving image editing apparatus 202 corresponds to the accumulated difference value stored in step S903. Then, the number of thumbnails to be displayed (the number of thumbnails) to be displayed in the thumbnail display area 408 is determined (step S905).

ステップＳ９０５では、外部メモリ３１１に記憶されている図１０に示す差異値サムネイル数関係テーブルを用いて、サムネイル表示領域４０８に表示するサムネイル表示数（サムネイル数）を決定する。   In step S905, the thumbnail display number (thumbnail number) to be displayed in the thumbnail display area 408 is determined using the difference value thumbnail number relation table shown in FIG. 10 stored in the external memory 311.

図１０は、差異値サムネイル数関係テーブルの一例を示す図である。   FIG. 10 is a diagram illustrating an example of the difference value thumbnail number relation table.

差異値サムネイル数関係テーブルは、「フレーム間の差異」、「表示するサムネイル数」の項目から構成されている。「フレーム間の差異」は、累積差異値の範囲が記憶されている。「表示するサムネイル数」は、サムネイル表示領域４０８に表示されるサムネイル数が規定されている。   The difference value thumbnail number relation table includes items of “difference between frames” and “number of thumbnails to be displayed”. The “difference between frames” stores a range of accumulated difference values. The “number of thumbnails to be displayed” defines the number of thumbnails displayed in the thumbnail display area 408.

図１０の例では、累積差異値の範囲として、「フレーム間の差異の値１」が記憶されており、   In the example of FIG. 10, “difference value 1 between frames” is stored as the range of accumulated difference values.

ステップＳ９０３で記憶されている累積差異値が、「フレーム間の差異の値１」に規定される範囲の累積差異値内の値であれば、サムネイル表示領域４０８に表示されるサムネイル数が３つと決定されることを示している。 If the accumulated difference value stored in step S903 is a value within the accumulated difference value within the range defined by “difference value between frames 1”, the number of thumbnails displayed in the thumbnail display area 408 is three. Indicates that it will be decided.

ステップＳ９０５では、差異値サムネイル数関係テーブル（図１０）を参照して、ステップＳ９０３で累積して記憶された累積差異値に応じて、サムネイル表示領域４０８に表示するサムネイル表示数（サムネイル数）を決定する。   In step S905, referring to the difference value thumbnail number relation table (FIG. 10), the number of thumbnails displayed (thumbnail number) to be displayed in the thumbnail display area 408 according to the accumulated difference value accumulated and stored in step S903. decide.

そして、動画編集装置２０２は、外部メモリ３１１から取得した動画ファイルの全体の再生時間を、ステップＳ９０５で決定されたサムネイル数で割った値を、サムネイル表示領域４０８に表示するサムネイル間の時間間隔とし、その時間間隔のフレームと、そのフレームの時刻を記憶する（ステップＳ９０６）これにより、動画ファイルの全フレームのうち、均等間隔に、サムネイル表示領域４０８にサムネイルを表示することができるようになる。   Then, the moving image editing apparatus 202 sets a value obtained by dividing the total reproduction time of the moving image file acquired from the external memory 311 by the number of thumbnails determined in step S905 as a time interval between thumbnails displayed in the thumbnail display area 408. Then, the frame of the time interval and the time of the frame are stored (step S906), whereby the thumbnails can be displayed in the thumbnail display area 408 at equal intervals among all the frames of the moving image file.

次に、動画編集装置２０２は、ユーザにより予め設定された、シーン検索を行うか否かを示す設定情報を参照して、シーン検索を行うか否かを判定する（ステップＳ９０７）。なお、この設定情報はメモリに記憶されている。   Next, the moving image editing apparatus 202 determines whether or not to perform a scene search with reference to setting information that is preset by the user and that indicates whether or not to perform a scene search (step S907). This setting information is stored in the memory.

そして、動画編集装置２０２は、シーン検索を行うと判定された場合（ステップＳ９０７：ＹＥＳ）、ステップＳ９０６で記憶された時刻のフレームを処理対象にシーン検索を行う（ステップＳ９０８）。具体的には、ステップＳ９０６で記憶されたサムネイルの時刻の間にシーンが異なるフレームがあるか否かを判定し、シーンが異なるフレームがあると判定された場合は、当該判定で用いたフレーム（判定で用いた１方のフレーム）と、そのフレームの時刻を、シーンが異なると判定されたフレームと、そのフレームの時刻に置き換えて記憶して（ステップＳ９０８）、ステップＳ９０９に処理を移行する。   If it is determined that a scene search is to be performed (step S907: YES), the moving image editing apparatus 202 performs a scene search using the frame at the time stored in step S906 as a processing target (step S908). Specifically, it is determined whether there is a frame with a different scene between the thumbnail times stored in step S906. If it is determined that there is a frame with a different scene, the frame ( One frame used in the determination) and the time of the frame are replaced with the frame determined to have a different scene and the time of the frame (step S908), and the process proceeds to step S909.

ここで、ステップＳ９０８の処理は、上述したステップＳ７０２と同様の方法で、シーンが異なるフレームがあるか否かの判定を行うので、ここでは説明を省略する。   Here, since the process of step S908 determines whether or not there is a frame with a different scene by the same method as step S702 described above, the description thereof is omitted here.

ステップ９０７で、シーン検索を行わないと判定された場合（ステップＳ９０７：ＮＯ）、処理をステップＳ９０９に移行する。   If it is determined in step 907 that no scene search is performed (step S907: NO), the process proceeds to step S909.

ステップＳ９０９では、記憶された時刻のフレームのサムネイルを時系列でサムネイル表示領域４０８に表示し、（再生）時刻が最も早いサムネイルの動画のフレームを動画表示領域４０１に表示する。なお、このとき、時刻表示領域４０５には、サムネイル表示領域４０８に表示しているサムネイルのフレームの時刻のうち、最も早い時刻を表示している。   In step S909, the thumbnails of the frames at the stored time are displayed in the thumbnail display area 408 in chronological order, and the moving picture frame of the thumbnail having the earliest (playback) time is displayed in the moving picture display area 401. At this time, the time display area 405 displays the earliest time among the times of the thumbnail frames displayed in the thumbnail display area 408.

そして、動画編集装置２０２は、ステップＳ９０９の処理を実行すると、図６のステップＳ６０１の処理を実行する。   Then, when the moving image editing apparatus 202 executes the process of step S909, the moving image editing apparatus 202 executes the process of step S601 of FIG.

以上説明したように、本実施形態によれば、フレームの検索は、サムネイルからフレームを絞り込ん行くだけで可能となる。検索したいフレームはムービーの内容によって様々な位置に存在するが、ムービー全体の前半、中間、後半から選択することもできるし、更に選択したサムネイルの範囲から必要なところまでサムネイルを選んでいくだけで検索することができる。このため、従来の方法の長所であったシンプルな操作性を保ちつつ、従来の方法では困難であったムービーの全体の把握からあるフレームの検索を短時間でしかも簡易な操作で行うことが可能となる。   As described above, according to the present embodiment, a frame search can be performed only by narrowing down frames from thumbnails. The frame you want to search exists in various positions depending on the content of the movie, but you can select from the first half, middle, or second half of the entire movie, and you can also select thumbnails from the selected thumbnail range to the required place. You can search. Therefore, while maintaining the simple operability that was the advantage of the conventional method, it is possible to search for a certain frame in a short time and with a simple operation from the grasp of the whole movie, which was difficult with the conventional method. It becomes.

次に、サムネイルから一つ選び押下することでそのサムネイルを中心に前後のサムネイルの時間間隔からサムネイル表示数で割った時間間隔のフレームのサムネイルを表示する。この操作を繰り返すことにより、範囲を絞り込んでいき、より詳細な時間間隔のフレームを検索することが可能となる。   Next, by selecting and pressing one of the thumbnails, a thumbnail of a frame at a time interval obtained by dividing the time interval of the previous and subsequent thumbnails by the number of thumbnails is displayed centering on the thumbnail. By repeating this operation, it is possible to narrow down the range and search for frames with more detailed time intervals.

さらにシーン検索チェックボックスを追加し、このチェックボックスがチェックされていた際には前後のサムネイルの時間間隔からシーンが大きく切り替わるサムネイル表示数分のフレームを検出して表示する。これによって、同じようなフレームが連続した箇所でもフレームが切り替わる位置を容易に検索できる。   Furthermore, a scene search check box is added, and when this check box is checked, frames corresponding to the number of thumbnails for which the scene is largely switched are detected and displayed from the time interval between the previous and next thumbnails. As a result, it is possible to easily search for a position where a frame is switched even at a place where similar frames are continued.

以上、本実施の形態によれば、動画データを構成する複数のフレームの中から、表示部に表示する縮小画像の数に従って、該表示部に表示する複数のフレームを特定し、当該特定された複数のフレームの縮小画像を表示部に表示する仕組みにおいて、当該特定されたフレーム間のフレームを解析して、当該フレーム間にシーンが異なるフレームがあるかを判定し、シーンが異なると判定されフレームを表示部に表示するフレームとして特定することにより、シーンの異なる目的とするフレームの特定作業を容易にし、かつその特定作業を軽減することができる。 As described above, according to the present embodiment, the plurality of frames to be displayed on the display unit are identified according to the number of reduced images to be displayed on the display unit from among the plurality of frames constituting the moving image data. In the mechanism for displaying reduced images of a plurality of frames on the display unit, the frames between the specified frames are analyzed to determine whether there are frames with different scenes between the frames, and the frames that are determined to have different scenes. By specifying the frame as a frame to be displayed on the display unit, it is possible to facilitate the identification work of a target frame having a different scene and reduce the identification work.

以上、本発明の実施形態を詳述したが、本発明は、例えば、システム、装置、方法、装置で読み取り実行可能なプログラムもしくは記憶媒体等としての実施態様をとることが可能であり、具体的には、複数の機器から構成されるシステムに適用しても良いし、また、一つの機器からなる装置に適用しても良い。 The embodiment of the present invention has been described in detail above. However, the present invention can take an embodiment as a system, an apparatus, a method, a program that can be read and executed by the apparatus, a storage medium, or the like. In addition, the present invention may be applied to a system composed of a plurality of devices, or may be applied to an apparatus composed of a single device.

また、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。 Another object of the present invention is to supply a storage medium storing software program codes for realizing the functions of the above-described embodiments to a system or apparatus, and the computer (or CPU or MPU) of the system or apparatus stores the storage medium. Needless to say, this can also be achieved by reading and executing the program code stored in.

この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、プログラムコード自体及びそのプログラムコードを記憶した記憶媒体は本発明を構成することになる。 In this case, the program code itself read from the storage medium realizes the functions of the above-described embodiments, and the program code itself and the storage medium storing the program code constitute the present invention.

プログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等を用いることができる。 As a storage medium for supplying the program code, for example, a flexible disk, a hard disk, an optical disk, a magneto-optical disk, a CD-ROM, a CD-R, a magnetic tape, a nonvolatile memory card, a ROM, or the like can be used.

また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ（基本システム或いはオペレーティングシステム）などが実際の処理の一部又は全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。 Further, by executing the program code read by the computer, not only the functions of the above-described embodiments are realized, but also an OS (basic system or operating system) running on the computer based on the instruction of the program code. Needless to say, a case where the function of the above-described embodiment is realized by performing part or all of the actual processing and the processing is included.

さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部又は全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。 Further, after the program code read from the storage medium is written in a memory provided in a function expansion board inserted into the computer or a function expansion unit connected to the computer, the function is determined based on the instruction of the program code. It goes without saying that the CPU or the like provided in the expansion board or function expansion unit performs part or all of the actual processing and the functions of the above-described embodiments are realized by the processing.

２００ カメラ
２０１ 動画
２０２ 動画編集システム
２０３ 編集後の動画
200 Camera 201 Movie 202 Movie Editing System 203 Movie after Editing

Claims (8)

動画データを記憶する記憶手段と、前記動画データを動画表示する動画表示領域と前記動画データを構成する複数のフレームの縮小画像を表示する縮小画像表示領域とを含む表示画面を表示する表示部とを備えた情報処理装置であって、
前記記憶手段に記憶された動画データを構成する複数のフレームの中から、前記縮小画像表示領域に表示する複数の縮小画像のフレームを特定する特定手段と、
前記記憶手段に記憶された動画データを動画表示する前記動画表示領域と、前記特定手段で特定された複数のフレームの縮小画像を表示する前記縮小画像表示領域と、前記縮小画像表示領域に表示する縮小画像の数を増やす指示をユーザにより受け付ける増加指示受付部と、を含む表示画面を表示する表示手段と、
ユーザによる操作に従って、前記表示手段で前記縮小画像表示領域に表示されている複数の縮小画像の中から縮小画像の選択を受け付ける受付手段と、
前記表示手段により前記縮小画像表示領域に表示されている複数の縮小画像のうち、前記受付手段により選択を受け付けた縮小画像の前後の縮小画像間のフレームの縮小画像であって、前記縮小画像表示領域に表示されている複数の縮小画像の数に従った時間間隔の縮小画像に対するフレームを、当該縮小画像表示領域に表示する縮小画像のフレームとして特定する縮小画像特定手段と、
前記縮小画像特定手段により特定されたフレーム間にシーンの異なるフレームがあるか否かを判定する判定手段と、
ユーザによる操作に従って、前記増加指示受付部により、前記縮小画像表示領域に表示されている縮小画像の数を増やす指示を受け付けた場合に、前記表示手段により前記縮小画像表示領域が表示されている各縮小画像間の、当該縮小画像表示領域に表示されていない縮小画像のフレームを、当該縮小画像表示領域に追加で表示する縮小画像のフレームとして特定する追加特定手段と、
前記追加特定手段により特定されたフレームと、前記表示手段により前記縮小画像表示領域に表示されている複数の縮小画像のうち、前記追加特定手段により特定された縮小画像の前後の縮小画像に対するフレームとの間にシーンの異なるフレームがあるか否かを判定するフレーム判定手段と、
を備え、
前記表示手段は、前記受付手段により縮小画像の選択を受け付けた場合に、前記判定手段により、シーンの異なるフレームが無いと判定された場合には、前記縮小画像特定手段により特定されたフレームの縮小画像を前記縮小画像表示領域に表示し、一方、シーンの異なるフレームがあると判定された場合には、前記縮小画像特定手段により特定されたフレームの縮小画像のうち、当該シーンの異なると判定されたフレームの縮小画像の前又は後のフレームの縮小画像が、当該異なると判定されたフレームの縮小画像に置き換えられた前記縮小画像特定手段により特定された縮小画像を前記縮小画像表示領域に表示するように制御し、ユーザによる操作に従って、前記増加指示受付部により、前記縮小画像表示領域に表示される縮小画像の数を増やす指示を受け付けた場合には、前記フレーム判定手段により、シーンの異なるフレームが無いと判定された場合は、前記追加特定手段により特定されたフレームの縮小画像を前記縮小画像表示領域に表示し、一方、前記フレーム判定手段により、シーンの異なるフレームがあると判定された場合は、前記縮小画像表示領域に表示されている縮小画像と前記追加特定手段により特定されたフレームの縮小画像のうち、当該シーンの異なると判定されたフレームの縮小画像の前又は後のフレームの縮小画像が、当該シーンの異なると判定されたフレームの縮小画像に置き換えられた前記縮小画像表示領域に表示されている縮小画像と前記追加特定手段により特定されたフレームの縮小画像を前記縮小画像表示領域に表示するように制御することを特徴とする情報処理装置。 A storage unit for storing moving image data; a display unit for displaying a display screen including a moving image display region for displaying the moving image data as a moving image; and a reduced image display region for displaying reduced images of a plurality of frames constituting the moving image data ; An information processing apparatus comprising:
From a plurality of frames constituting the moving image data stored in the storage means, specifying means for specifying a frame of a plurality of reduced images to be displayed on the reduced image display area,
The moving image data stored in the storage means is displayed in the moving image display area for displaying moving images, the reduced image display area for displaying reduced images of a plurality of frames specified by the specifying means, and the reduced image display area. Display means for displaying a display screen including an increase instruction receiving unit that receives an instruction to increase the number of reduced images by a user ;
In accordance with an operation by a user, a receiving unit for accepting an selection of the reduced image from the plurality of reduced images displayed on the reduced image display area on the display means,
Among the plurality of reduced images displayed in the reduced image display area by the display means, a reduced image of the frame between the front and rear of the reduced image before Symbol reduced image selection of which is accepted by the receiving means, the reduced image Reduced image specifying means for specifying a frame for a reduced image at a time interval according to the number of reduced images displayed in the display area as a frame of a reduced image displayed in the reduced image display area;
Determining means for determining whether there is a different frame of the scene between the frames specified by the reduced image specifying means ;
When the instruction to increase the number of reduced images displayed in the reduced image display area is received by the increase instruction receiving unit according to the operation by the user, each of the reduced image display areas displayed by the display means Additional specifying means for specifying a reduced image frame that is not displayed in the reduced image display area between the reduced images as a reduced image frame to be additionally displayed in the reduced image display area;
A frame specified by the additional specifying means; and a frame for reduced images before and after the reduced image specified by the additional specifying means among a plurality of reduced images displayed in the reduced image display area by the display means; Frame determination means for determining whether or not there are different frames in the scene,
With
The display means reduces the frame specified by the reduced image specifying means when the determining means determines that there is no different frame in the scene when the receiving means receives the reduced image selection. displaying an image on the reduced image display area, on the other hand, when it is determined that the different frames of the scene, out of the reduced images of frames identified by the reduced image specifying unit, it is judged different from the the scene The reduced image specified by the reduced image specifying means in which the reduced image of the frame before or after the reduced image of the frame is replaced with the reduced image of the frame determined to be different is displayed in the reduced image display area. The number of reduced images displayed in the reduced image display area by the increase instruction receiving unit in accordance with an operation by the user When an instruction to increase is received, if the frame determination unit determines that there is no different frame in the scene, the reduced image of the frame specified by the additional specifying unit is displayed in the reduced image display area, On the other hand, when the frame determining means determines that there are different frames in the scene, the reduced image displayed in the reduced image display area and the reduced image of the frame specified by the additional specifying means The reduced image displayed in the reduced image display area in which the reduced image of the frame before or after the reduced image of the frame determined to be different in the scene is replaced with the reduced image of the frame determined to be different in the scene controlling to display a reduced image of a frame identified in the reduced image display area by the additional identification means and The information processing apparatus according to claim and. 前記判定手段、及び前記フレーム判定手段による判定処理を行うか否かの設定を受け付ける設定受付手段を更に備え、
前記表示手段は、前記設定受付手段により前記判定手段による判定処理、及び前記フレーム判定手段による判定処理を行わない設定を受け付けた場合、前記受付手段により縮小画像の選択を受け付けた場合は、前記判定手段による判定処理を行うことなく、前記縮小画像特定手段により特定されたフレームの縮小画像を前記縮小画像表示領域に表示するように制御し、ユーザによる操作に従って、前記増加指示受付部により、前記縮小画像表示領域に表示される縮小画像の数を増やす指示を受け付けた場合には、前記フレーム判定手段による判定処理を行うことなく、前記縮小画像特定手段により特定された縮小画像を前記縮小画像表示領域に表示するように制御し、一方、前記設定受付手段、及び前記フレーム判定手段による判定処理を行う設定を受け付けた場合、前記受付手段により縮小画像の選択を受け付けた場合に、前記判定手段により、シーンの異なるフレームが無いと判定された場合には、前記縮小画像特定手段により特定されたフレームの縮小画像を前記縮小画像表示領域に表示し、一方、シーンの異なるフレームがあると判定された場合には、前記縮小画像特定手段により特定されたフレームの縮小画像のうち、当該シーンの異なると判定されたフレームの縮小画像の前又は後のフレームの縮小画像が、当該異なると判定されたフレームの縮小画像に置き換えられた前記縮小画像特定手段により特定された縮小画像を前記縮小画像表示領域に表示するように制御し、ユーザによる操作に従って、前記増加指示受付部により、前記縮小画像表示領域に表示される縮小画像の数を増やす指示を受け付けた場合には、前記フレーム判定手段により、シーンの異なるフレームが無いと判定された場合は、前記追加特定手段により特定されたフレームの縮小画像を前記縮小画像表示領域に表示し、一方、前記フレーム判定手段により、シーンの異なるフレームがあると判定された場合は、前記縮小画像表示領域に表示されている縮小画像と前記追加特定手段により特定されたフレームの縮小画像のうち、当該シーンの異なると判定されたフレームの縮小画像の前又は後のフレームの縮小画像が、当該シーンの異なると判定されたフレームの縮小画像に置き換えられた前記縮小画像表示領域に表示されている縮小画像と前記追加特定手段により特定されたフレームの縮小画像を前記縮小画像表示領域に表示するように制御することを特徴とする請求項１に記載の情報処理装置。 Further comprising a setting receiving unit configured to receive a pre-Symbol judging means, and the setting of whether to perform the determination process by the frame determination means,
The display means receives the setting that does not perform the determination process by the determination means and the determination process by the frame determination means by the setting reception means, or receives the selection of a reduced image by the reception means. Control to display a reduced image of the frame specified by the reduced image specifying means in the reduced image display area without performing determination processing by the means, and the reduction instruction receiving unit performs the reduction instruction according to a user operation. When an instruction to increase the number of reduced images displayed in the image display area is received, the reduced image specified by the reduced image specifying means is displayed in the reduced image display area without performing the determination process by the frame determining means. On the other hand, determination processing by the setting reception unit and the frame determination unit is performed. When the setting is accepted, when the selection unit accepts the selection of the reduced image, and the determination unit determines that there is no different frame in the scene, the frame of the frame specified by the reduced image specification unit is determined. When the reduced image is displayed in the reduced image display area and it is determined that there are different frames in the scene, it is determined that the scene is different among the reduced images of the frames specified by the reduced image specifying means. The reduced image specified by the reduced image specifying means in which the reduced image of the frame before or after the reduced image of the specified frame is replaced with the reduced image of the frame determined to be different is displayed in the reduced image display area. The reduction instruction displayed in the reduced image display area by the increase instruction receiving unit according to an operation by the user When an instruction to increase the number of images is received, if the frame determination unit determines that there are no different frames in the scene, the reduced image of the frame specified by the additional specification unit is displayed in the reduced image display area. On the other hand, if the frame determination means determines that there are different frames in the scene, the reduced image displayed in the reduced image display area and the reduced image of the frame specified by the additional specifying means The reduced image of the frame before or after the reduced image of the frame determined to be different in the scene is displayed in the reduced image display area replaced with the reduced image of the frame determined to be different of the scene. The reduced image and the reduced image of the frame specified by the additional specifying means are displayed in the reduced image display area. The information processing apparatus according to claim 1, wherein the information processing apparatus controls the information processing apparatus. 前記縮小画像特定手段で特定されたフレーム間のフレームの画素値と、該フレームの他のフレームであって前記縮小画像特定手段で特定されたフレーム間のフレームの画素値との差を示す差異値を算出する算出手段を更に備え、
前記判定手段は、前記算出手段で算出された差異値に従って、前記縮小画像特定手段で特定されたフレーム間にシーンが異なるフレームがあるかを判定することを特徴とする請求項１又は２に記載の情報処理装置。 And the pixel value of the frame between the identified frames in the reduced image specifying means, the difference value indicating a difference between the pixel value of the frame between the identified frames in the reduced image specifying means an other frame of the frame Further comprising a calculating means for calculating
3. The determination unit according to claim 1, wherein the determination unit determines whether there is a frame having a different scene between frames specified by the reduced image specifying unit according to the difference value calculated by the calculation unit. Information processing device. 前記追加特定手段により特定されたフレームと、前記縮小画像表示領域に表示されている複数の縮小画像のうち、前記追加特定手段により特定された縮小画像の前後の縮小画像に対するフレームとの間のフレームの画素値と、当該フレームの他のフレームであって、前記追加特定手段により特定されたフレームと、前記縮小画像表示領域に表示されている複数の縮小画像のうち、前記追加特定手段により特定された縮小画像の前後の縮小画像に対するフレームとの間のフレームの画素値との差を示す差異値を算出する画素算出手段を更に備え、A frame between the frame specified by the additional specifying means and a frame for the reduced images before and after the reduced image specified by the additional specifying means among the plurality of reduced images displayed in the reduced image display area Among the plurality of reduced images displayed in the reduced image display area and the frame specified by the additional specifying unit and the other specified frame. Pixel calculating means for calculating a difference value indicating a difference between the pixel value of the frame and the frame for the reduced image before and after the reduced image;
前記フレーム判定手段は、前記画素算出手段で算出された差異値に従って、前記追加特定手段により特定されたフレームと、前記表示手段により前記縮小画像表示領域に表示されている複数の縮小画像のうち、前記追加特定手段により特定された縮小画像の前後の縮小画像に対するフレームとの間にシーンの異なるフレームがあるか否かを判定することを特徴とする請求項１乃至３の何れか１項に記載の情報処理装置。  The frame determination means includes a frame specified by the additional specification means according to the difference value calculated by the pixel calculation means, and a plurality of reduced images displayed in the reduced image display area by the display means. 4. The method according to claim 1, wherein it is determined whether or not there is a different frame in a scene between frames for the reduced images before and after the reduced image specified by the additional specifying unit. Information processing device. 前記特定手段は、前記記憶手段に記憶された動画データを構成する複数のフレームの中から、前記縮小画像表示領域に表示する縮小画像の数に従って、前記表示部に表示する縮小画像のフレームを特定することを特徴とする請求項１乃至４の何れか１項に記載の情報処理装置。 The specifying unit specifies a frame of a reduced image to be displayed on the display unit according to the number of reduced images to be displayed in the reduced image display area from a plurality of frames constituting the moving image data stored in the storage unit. the information processing apparatus according to any one of claims 1 to 4, characterized in that. 前記記憶手段に記憶された動画データを構成する複数のフレーム間の画素値と、他のフレームの画素値との差を示す差異値を算出する差異値算出手段と、
前記差異値算出手段により算出された差異値に従って、前記縮小画像表示領域に表示する縮小画像の数を決定する決定手段と、
を更に備え、
前記特定手段は、前記決定手段で決定された縮小画像の数に従って、前記記憶手段に記憶された動画データを構成する複数のフレームの中から、前記縮小画像表示領域に表示する複数の縮小画像のフレームを特定することを特徴とする請求項５に記載の情報処理装置。 Difference value calculating means for calculating a difference value indicating a difference between a pixel value between a plurality of frames constituting the moving image data stored in the storage means and a pixel value of another frame;
Determining means for determining the number of reduced images to be displayed in the reduced image display area according to the difference value calculated by the difference value calculating means ;
Further comprising
According to the number of reduced images determined by the determining unit, the specifying unit selects a plurality of reduced images to be displayed in the reduced image display area from among a plurality of frames constituting the moving image data stored in the storage unit. The information processing apparatus according to claim 5 , wherein a frame is specified. 動画データを記憶する記憶手段と、前記動画データを動画表示する動画表示領域と前記動画データを構成する複数のフレームの縮小画像を表示する縮小画像表示領域とを含む表示画面を表示する表示部とを備えた情報処理装置における制御方法であって、
前記情報処理装置の特定手段が、前記記憶手段に記憶された動画データを構成する複数のフレームの中から、前記縮小画像表示領域に表示する複数の縮小画像のフレームを特定する特定工程と、
前記情報処理装置の表示手段が、前記記憶手段に記憶された動画データを動画表示する前記動画表示領域と、前記特定工程で特定された複数のフレームの縮小画像を表示する前記縮小画像表示領域と、前記縮小画像表示領域に表示する縮小画像の数を増やす指示をユーザにより受け付ける増加指示受付部と、を含む表示画面を表示する表示工程と、
前記情報処理装置の受付手段が、ユーザによる操作に従って、前記表示工程で前記縮小画像表示領域に表示されている複数の縮小画像の中から縮小画像の選択を受け付ける受付工程と、
前記情報処理装置の縮小画像特定手段が、前記表示工程により前記縮小画像表示領域に表示されている複数の縮小画像のうち、前記受付工程により選択を受け付けた縮小画像の前後の縮小画像間のフレームの縮小画像であって、前記縮小画像表示領域に表示されている複数の縮小画像の数に従った時間間隔の縮小画像に対するフレームを、当該縮小画像表示領域に表示する縮小画像のフレームとして特定する縮小画像特定工程と、
前記情報処理装置の判定手段が、前記縮小画像特定工程により特定されたフレーム間にシーンの異なるフレームがあるか否かを判定する判定工程と、
前記情報処理装置の追加特定手段が、ユーザによる操作に従って、前記増加指示受付部により、前記縮小画像表示領域に表示されている縮小画像の数を増やす指示を受け付けた場合に、前記表示工程により前記縮小画像表示領域が表示されている各縮小画像間の、当該縮小画像表示領域に表示されていない縮小画像のフレームを、当該縮小画像表示領域に追加で表示する縮小画像のフレームとして特定する追加特定工程と、
前記情報処理装置のフレーム特定手段が、前記追加特定工程により特定されたフレームと、前記表示工程により前記縮小画像表示領域に表示されている複数の縮小画像のうち、前記追加特定工程により特定された縮小画像の前後の縮小画像に対するフレームとの間にシーンの異なるフレームがあるか否かを判定するフレーム判定工程と、
を備え、
前記表示工程は、前記受付工程により縮小画像の選択を受け付けた場合に、前記判定工程により、シーンの異なるフレームが無いと判定された場合には、前記縮小画像特定工程により特定されたフレームの縮小画像を前記縮小画像表示領域に表示し、一方、シーンの異なるフレームがあると判定された場合には、前記縮小画像特定工程により特定されたフレームの縮小画像のうち、当該シーンの異なると判定されたフレームの縮小画像の前又は後のフレームの縮小画像が、当該異なると判定されたフレームの縮小画像に置き換えられた前記縮小画像特定工程により特定された縮小画像を前記縮小画像表示領域に表示するように制御し、ユーザによる操作に従って、前記増加指示受付部により、前記縮小画像表示領域に表示される縮小画像の数を増やす指示を受け付けた場合には、前記フレーム判定工程により、シーンの異なるフレームが無いと判定された場合は、前記追加特定工程により特定されたフレームの縮小画像を前記縮小画像表示領域に表示し、一方、前記フレーム判定工程により、シーンの異なるフレームがあると判定された場合は、前記縮小画像表示領域に表示されている縮小画像と前記追加特定工程により特定されたフレームの縮小画像のうち、当該シーンの異なると判定されたフレームの縮小画像の前又は後のフレームの縮小画像が、当該シーンの異なると判定されたフレームの縮小画像に置き換えられた前記縮小画像表示領域に表示されている縮小画像と前記追加特定工程により特定されたフレームの縮小画像を前記縮小画像表示領域に表示するように制御することを特徴とする制御方法。 A storage unit for storing moving image data; a display unit for displaying a display screen including a moving image display region for displaying the moving image data as a moving image; and a reduced image display region for displaying reduced images of a plurality of frames constituting the moving image data ; A control method in an information processing apparatus comprising:
Specifying means of the information processing apparatus, from among a plurality of frames constituting the moving image data stored in the storage means, a specifying step of specifying a frame of a plurality of reduced images to be displayed on the reduced image display area,
The moving image display area in which the display means of the information processing device displays the moving image data stored in the storage means as a moving image, and the reduced image display area that displays a reduced image of a plurality of frames specified in the specifying step ; A display step of displaying a display screen including an increase instruction receiving unit that receives an instruction to increase the number of reduced images to be displayed in the reduced image display area by a user ;
Accepting means of the information processing apparatus, in accordance with an operation by a user, a reception step of accepting an selection of the reduced image from the plurality of reduced images displayed on the reduced image display area in the display step,
Reduced image specifying means of the information processing apparatus, the display of the plurality of reduced images displayed in the reduced image display area by step, prior SL before and after the reduced image selection of which is accepted by the accepting step between the reduced image A frame corresponding to a reduced image with a time interval according to the number of a plurality of reduced images displayed in the reduced image display area is specified as a reduced image frame to be displayed in the reduced image display area. A reduced image specifying step to perform,
A determination step in which the determination unit of the information processing apparatus determines whether there is a different frame of the scene between the frames specified in the reduced image specifying step ;
When the additional specifying unit of the information processing apparatus receives an instruction to increase the number of reduced images displayed in the reduced image display area by the increase instruction receiving unit according to an operation by a user, Additional specification that specifies a frame of a reduced image that is not displayed in the reduced image display area between each reduced image in which the reduced image display area is displayed as a frame of a reduced image that is additionally displayed in the reduced image display area Process,
The frame specifying unit of the information processing apparatus is specified by the additional specifying step among the frame specified by the additional specifying step and a plurality of reduced images displayed in the reduced image display area by the display step. A frame determination step for determining whether or not there is a different frame in the scene between the frame for the reduced image before and after the reduced image;
With
In the display step , when the selection of a reduced image is received in the reception step, and the determination step determines that there are no different frames in the scene, the reduction of the frame specified in the reduced image specification step displaying an image on the reduced image display area, on the other hand, when it is determined that the different frames of the scene, out of the reduced images of frames identified by the reduced image specifying step, it is determined differs from the the scene The reduced image specified by the reduced image specifying step in which the reduced image of the frame before or after the reduced image of the frame is replaced with the reduced image of the frame determined to be different is displayed in the reduced image display area. The number of reduced images displayed in the reduced image display area by the increase instruction receiving unit in accordance with an operation by the user When an instruction to increase is received, if it is determined by the frame determination step that there is no different frame in the scene, a reduced image of the frame specified by the additional specifying step is displayed in the reduced image display area, On the other hand, if it is determined by the frame determination step that there are different frames in the scene, the reduced image displayed in the reduced image display area and the reduced image of the frame specified by the additional specifying step The reduced image displayed in the reduced image display area in which the reduced image of the frame before or after the reduced image of the frame determined to be different in the scene is replaced with the reduced image of the frame determined to be different in the scene controlling to display a reduced image of a frame identified in the reduced image display area by the additional identification step and The method according to claim and. 動画データを記憶する記憶手段と、前記動画データを動画表示する動画表示領域と前記動画データを構成する複数のフレームの縮小画像を表示する縮小画像表示領域とを含む表示画面を表示する表示部とを備えた情報処理装置で読み取り実行可能なプログラムあって、
前記記憶手段に記憶された動画データを構成する複数のフレームの中から、前記縮小画像表示領域に表示する複数の縮小画像のフレームを特定する特定手段と、
前記記憶手段に記憶された動画データを動画表示する前記動画表示領域と、前記特定手段で特定された複数のフレームの縮小画像を表示する前記縮小画像表示領域と、前記縮小画像表示領域に表示する縮小画像の数を増やす指示をユーザにより受け付ける増加指示受付部と、を含む表示画面を表示する表示手段と、
ユーザによる操作に従って、前記表示手段で前記縮小画像表示領域に表示されている複数の縮小画像の中から縮小画像の選択を受け付ける受付手段と、
前記表示手段により前記縮小画像表示領域に表示されている複数の縮小画像のうち、前記受付手段により選択を受け付けた縮小画像の前後の縮小画像間のフレームの縮小画像であって、前記縮小画像表示領域に表示されている複数の縮小画像の数に従った時間間隔の縮小画像に対するフレームを、当該縮小画像表示領域に表示する縮小画像のフレームとして特定する縮小画像特定手段と、
前記縮小画像特定手段により特定されたフレーム間にシーンの異なるフレームがあるか否かを判定する判定手段と、
ユーザによる操作に従って、前記増加指示受付部により、前記縮小画像表示領域に表示されている縮小画像の数を増やす指示を受け付けた場合に、前記表示手段により前記縮小画像表示領域が表示されている各縮小画像間の、当該縮小画像表示領域に表示されていない縮小画像のフレームを、当該縮小画像表示領域に追加で表示する縮小画像のフレームとして特定する追加特定手段と、
前記追加特定手段により特定されたフレームと、前記表示手段により前記縮小画像表示領域に表示されている複数の縮小画像のうち、前記追加特定手段により特定された縮小画像の前後の縮小画像に対するフレームとの間にシーンの異なるフレームがあるか否かを判定するフレーム判定手段として機能させ、
前記表示手段は、前記受付手段により縮小画像の選択を受け付けた場合に、前記判定手段により、シーンの異なるフレームが無いと判定された場合には、前記縮小画像特定手段により特定されたフレームの縮小画像を前記縮小画像表示領域に表示し、一方、シーンの異なるフレームがあると判定された場合には、前記縮小画像特定手段により特定されたフレームの縮小画像のうち、当該シーンの異なると判定されたフレームの縮小画像の前又は後のフレームの縮小画像が、当該異なると判定されたフレームの縮小画像に置き換えられた前記縮小画像特定手段により特定された縮小画像を前記縮小画像表示領域に表示するように制御し、ユーザによる操作に従って、前記増加指示受付部により、前記縮小画像表示領域に表示される縮小画像の数を増やす指示を受け付けた場合には、前記フレーム判定手段により、シーンの異なるフレームが無いと判定された場合は、前記追加特定手段により特定されたフレームの縮小画像を前記縮小画像表示領域に表示し、一方、前記フレーム判定手段により、シーンの異なるフレームがあると判定された場合は、前記縮小画像表示領域に表示されている縮小画像と前記追加特定手段により特定されたフレームの縮小画像のうち、当該シーンの異なると判定されたフレームの縮小画像の前又は後のフレームの縮小画像が、当該シーンの異なると判定されたフレームの縮小画像に置き換えられた前記縮小画像表示領域に表示されている縮小画像と前記追加特定手段により特定されたフレームの縮小画像を前記縮小画像表示領域に表示するように制御することを特徴とするプログラム。
A storage unit for storing moving image data; a display unit for displaying a display screen including a moving image display region for displaying the moving image data as a moving image; and a reduced image display region for displaying reduced images of a plurality of frames constituting the moving image data ; A program that can be read and executed by an information processing apparatus equipped with
From a plurality of frames constituting the moving image data stored in the storage means, specifying means for specifying a frame of a plurality of reduced images to be displayed on the reduced image display area,
The moving image data stored in the storage means is displayed in the moving image display area for displaying moving images, the reduced image display area for displaying reduced images of a plurality of frames specified by the specifying means, and the reduced image display area. Display means for displaying a display screen including an increase instruction receiving unit that receives an instruction to increase the number of reduced images by a user ;
In accordance with an operation by a user, a receiving unit for accepting an selection of the reduced image from the plurality of reduced images displayed on the reduced image display area on the display means,
Among the plurality of reduced images displayed in the reduced image display area by the display means, a reduced image of the frame between the front and rear of the reduced image before Symbol reduced image selection of which is accepted by the receiving means, the reduced image Reduced image specifying means for specifying a frame for a reduced image at a time interval according to the number of reduced images displayed in the display area as a frame of a reduced image displayed in the reduced image display area;
Determining means for determining whether there is a different frame of the scene between the frames specified by the reduced image specifying means ;
When the instruction to increase the number of reduced images displayed in the reduced image display area is received by the increase instruction receiving unit according to the operation by the user, each of the reduced image display areas displayed by the display means Additional specifying means for specifying a reduced image frame that is not displayed in the reduced image display area between the reduced images as a reduced image frame to be additionally displayed in the reduced image display area;
A frame specified by the additional specifying means; and a frame for reduced images before and after the reduced image specified by the additional specifying means among a plurality of reduced images displayed in the reduced image display area by the display means; Function as frame determination means for determining whether there are different frames in the scene ,
The display means reduces the frame specified by the reduced image specifying means when the determining means determines that there is no different frame in the scene when the receiving means receives the reduced image selection. displaying an image on the reduced image display area, on the other hand, when it is determined that the different frames of the scene, out of the reduced images of frames identified by the reduced image specifying unit, it is judged different from the the scene The reduced image specified by the reduced image specifying means in which the reduced image of the frame before or after the reduced image of the frame is replaced with the reduced image of the frame determined to be different is displayed in the reduced image display area. The number of reduced images displayed in the reduced image display area by the increase instruction receiving unit in accordance with an operation by the user When an instruction to increase is received, if the frame determination unit determines that there is no different frame in the scene, the reduced image of the frame specified by the additional specifying unit is displayed in the reduced image display area, On the other hand, when the frame determining means determines that there are different frames in the scene, the reduced image displayed in the reduced image display area and the reduced image of the frame specified by the additional specifying means The reduced image displayed in the reduced image display area in which the reduced image of the frame before or after the reduced image of the frame determined to be different in the scene is replaced with the reduced image of the frame determined to be different in the scene controlling to display a reduced image of a frame identified in the reduced image display area by the additional identification means and Program which is characterized the door.
JP2015046205A 2015-03-09 2015-03-09 Information processing apparatus, control method therefor, and program Expired - Fee Related JP5880752B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2015046205A JP5880752B2 (en) 2015-03-09 2015-03-09 Information processing apparatus, control method therefor, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015046205A JP5880752B2 (en) 2015-03-09 2015-03-09 Information processing apparatus, control method therefor, and program

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2010275156A Division JP5750878B2 (en) 2010-12-09 2010-12-09 Information processing apparatus, control method therefor, and program

Publications (3)

Publication Number Publication Date
JP2015156658A JP2015156658A (en) 2015-08-27
JP2015156658A5 JP2015156658A5 (en) 2016-01-21
JP5880752B2 true JP5880752B2 (en) 2016-03-09

Family

ID=54775697

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015046205A Expired - Fee Related JP5880752B2 (en) 2015-03-09 2015-03-09 Information processing apparatus, control method therefor, and program

Country Status (1)

Country Link
JP (1) JP5880752B2 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7179633B2 (en) * 2019-02-01 2022-11-29 株式会社エビデント Measuring method, measuring device and program

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003274332A (en) * 2002-03-15 2003-09-26 Fuji Photo Film Co Ltd Device and program for extracting frame from moving picture
JP3936666B2 (en) * 2003-02-20 2007-06-27 日本電信電話株式会社 Representative image extracting device in moving image, representative image extracting method in moving image, representative image extracting program in moving image, and recording medium of representative image extracting program in moving image
JP4978356B2 (en) * 2007-07-19 2012-07-18 ソニー株式会社 Image reproduction control device, image reproduction control method, and program

Also Published As

Publication number Publication date
JP2015156658A (en) 2015-08-27

Similar Documents

Publication Publication Date Title
US8327267B2 (en) Image data processing apparatus, image data processing method, program, and recording medium
US8253794B2 (en) Image processing apparatus and image display method
KR20070090751A (en) Image displaying method and video playback apparatus
US6577807B1 (en) Editing method and apparatus for moving pictures
WO2017130615A1 (en) Work analysis device, work analysis method, program and information storage medium
JP5750878B2 (en) Information processing apparatus, control method therefor, and program
JP2015514367A (en) Color grading preview method and apparatus
JP5880752B2 (en) Information processing apparatus, control method therefor, and program
JP2007201566A (en) Image reproducing apparatus and image reproducing program
JP2004254065A (en) Device, method and program for extracting representative image in moving image, and recording medium of program for extracting representative image in moving image
JP2003009069A (en) Method and device for recording moving picture, method and device for reproducing moving picture, program, and storage medium
US10791298B2 (en) Controlling element presence in a video rendering
JP6576704B2 (en) Movie playback apparatus and movie playback method
US20170330039A1 (en) Frame extracting method, non-transitory computer-readable storage medium, and frame extracting apparatus
US7403655B2 (en) Moving picture system and moving picture extraction method
US20060198603A1 (en) System and method for extracting data from recording media
KR102078479B1 (en) Method for editing video and videos editing device
JP2018074337A (en) Moving image processing device, moving image processing method, and program
JP3955418B2 (en) Video editing device
JPH1051734A (en) Dynamic image compiling device/method
JP5471417B2 (en) Information processing apparatus, information processing method, and program thereof
JP6847168B2 (en) Video playback device and video playback method
JP5010420B2 (en) Image reproducing apparatus, program, and image reproducing method
JP2007184743A (en) Content editing device and editing method
JP6399145B2 (en) Image editing apparatus and moving image display method

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20151125

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20151224

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160105

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160118

R150 Certificate of patent or registration of utility model

Ref document number: 5880752

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313115

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees