JP6639242B2 - Information processing device - Google Patents

Information processing device Download PDF

Info

Publication number
JP6639242B2
JP6639242B2 JP2016004546A JP2016004546A JP6639242B2 JP 6639242 B2 JP6639242 B2 JP 6639242B2 JP 2016004546 A JP2016004546 A JP 2016004546A JP 2016004546 A JP2016004546 A JP 2016004546A JP 6639242 B2 JP6639242 B2 JP 6639242B2
Authority
JP
Japan
Prior art keywords
moving image
frame
scene
image
processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016004546A
Other languages
Japanese (ja)
Other versions
JP2017126856A (en
Inventor
寛人 岡
寛人 岡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2016004546A priority Critical patent/JP6639242B2/en
Publication of JP2017126856A publication Critical patent/JP2017126856A/en
Application granted granted Critical
Publication of JP6639242B2 publication Critical patent/JP6639242B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Television Signal Processing For Recording (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)
  • Indexing, Searching, Synchronizing, And The Amount Of Synchronization Travel Of Record Carriers (AREA)
  • Management Or Editing Of Information On Record Carriers (AREA)

Description

本発明は、情報処理装置に関する。   The present invention relates to an information processing device.

従来技術として、RAW動画を撮影する技術、RAW動画を再生する技術、等がある。RAW動画の各フレームの画像データは、RAWデータである。そのため、RAW動画の任意のフレームを高画質の静止画に現像できる。   As a conventional technique, there are a technique for shooting a RAW moving image, a technique for reproducing a RAW moving image, and the like. The image data of each frame of the RAW moving image is RAW data. Therefore, any frame of the RAW moving image can be developed into a high-quality still image.

RAW動画に関する技術は、例えば、特許文献1に開示されている。特許文献1に開示の技術では、ユーザがRAW動画の視聴中に印刷指示を行うことで、そのときに再生されていたフレームが印刷用に再現像され、印刷装置に送信される。   A technique related to a RAW moving image is disclosed in Patent Document 1, for example. In the technique disclosed in Patent Document 1, when a user issues a print instruction while viewing a RAW moving image, a frame reproduced at that time is re-developed for printing and transmitted to a printing apparatus.

RAW動画には、各フレームを現像しないと再生できない、圧縮動画(例えば、フレーム間圧縮された動画)に比べてデータサイズが大きい、等の扱いにくい面がある。そのため、RAW動画の代わりに、RAW動画と同内容の圧縮動画を再生する技術が提案されている。フレーム間圧縮された動画の例として、MP4形式の動画が挙げられる。   The RAW moving image has difficulties in that it cannot be reproduced unless each frame is developed, and has a larger data size than a compressed moving image (for example, a moving image compressed between frames). Therefore, instead of the RAW moving image, a technique for reproducing a compressed moving image having the same content as the RAW moving image has been proposed. An example of a moving image compressed between frames is a moving image in the MP4 format.

特開2009−130741号公報JP 2009-130741 A

本発明は、動画の再生時に有益な情報をユーザに提供することができ、ひいては装置の利便性を向上したり、作業の効率化を図ったりすることができる技術を提供することを目的とする。   An object of the present invention is to provide a technique capable of providing useful information to a user at the time of playing a moving image, thereby improving the convenience of the device and improving the work efficiency. .

本発明の第1の態様は、
第1の動画、または、前記第1の動画をデータ圧縮した第2の動画から、ユーザによって指定されたフレームを指定シーンとして選択する選択手段と、
前記指定シーンに対応する前記第1の動画のフレームの画像を生成する処理を行う処理手段と、
前記指定シーンを示す第1のシーン情報を記録する記録手段と、
前記第1の動画または前記第2の動画を再生する再生制御を行う制御手段と、
を有し、
動画を再生する前記再生制御の実行時に、前記制御手段は、前記第1のシーン情報によって示されたフレームに対応する当該動画のフレームを示す第2のシーン情報を表示する第1の表示制御をさらに行い、
前記第1のシーン情報は、前記処理で生成される前記画像のデータフォーマットを示す情報を用いて前記処理をさらに示し、
前記第1の表示制御により、前記データフォーマットに応じた形態で前記第2のシーン情報が表示される
ことを特徴とする情報処理装置である。
A first aspect of the present invention provides:
Selecting means for selecting a frame specified by the user as a specified scene from the first moving image or the second moving image obtained by compressing the first moving image,
Processing means for performing processing for generating an image of a frame of the first moving image corresponding to the designated scene;
Recording means for recording the first scene information indicating the specified scene,
Control means for performing reproduction control for reproducing the first moving image or the second moving image;
Has,
When executing the reproduction control for reproducing a moving image, the control unit performs a first display control for displaying second scene information indicating a frame of the moving image corresponding to a frame indicated by the first scene information. Furthermore it has line,
The first scene information further indicates the processing using information indicating a data format of the image generated in the processing,
The information processing apparatus according to claim 1, wherein the first display control displays the second scene information in a form according to the data format .

本発明の第2の態様は、
第1の動画、または、前記第1の動画をデータ圧縮した第2の動画から、ユーザによって指定されたフレームを指定シーンとして選択する選択ステップと、
前記指定シーンに対応する前記第1の動画のフレームの画像を生成する処理を行う処理ステップと、
前記指定シーンを示す第1のシーン情報を記録する記録ステップと、
前記第1の動画または前記第2の動画を再生する再生制御を行う制御ステップと、
を有し、
動画を再生する前記再生制御の実行時に、前記制御ステップでは、前記第1のシーン情報によって示されたフレームに対応する当該動画のフレームを示す第2のシーン情報を表示する第1の表示制御がさらに行われ
前記第1のシーン情報は、前記処理で生成される前記画像のデータフォーマットを示す情報を用いて前記処理をさらに示し、
前記第1の表示制御により、前記データフォーマットに応じた形態で前記第2のシーン情報が表示される
ことを特徴とする情報処理方法である。

A second aspect of the present invention provides:
A selection step of selecting a frame specified by a user as a specified scene from a first moving image or a second moving image obtained by data-compressing the first moving image;
A processing step of performing processing of generating an image of a frame of the first moving image corresponding to the designated scene;
A recording step of recording the first scene information indicating the specified scene,
A control step of performing reproduction control for reproducing the first moving image or the second moving image;
Has,
At the time of performing the playback control for playing back a moving image, the control step includes a first display control for displaying second scene information indicating a frame of the moving image corresponding to a frame indicated by the first scene information. Further done ,
The first scene information further indicates the processing using information indicating a data format of the image generated in the processing,
The information processing method according to claim 1, wherein the first display control displays the second scene information in a form corresponding to the data format .

本発明の第3の態様は、コンピュータを上述した情報処理装置の各手段として機能させるためのプログラムである。 A third aspect of the present invention is a program for causing a computer to function as each unit of the information processing apparatus described above.

本発明によれば、動画の再生時に有益な情報をユーザに提供することができ、ひいては装置の利便性を向上したり、作業の効率化を図ったりすることができる。   ADVANTAGE OF THE INVENTION According to this invention, useful information can be provided to a user at the time of reproduction | regeneration of a moving image, and also the convenience of an apparatus can be improved and the efficiency of work can be attained.

実施例1に係る情報処理装置の構成例を示すブロック図1 is a block diagram illustrating a configuration example of an information processing apparatus according to a first embodiment. 実施例1に係るRAW動画のファイル構成例を示す図FIG. 3 is a diagram illustrating an example of a file configuration of a RAW moving image according to the first embodiment. 実施例1に係るGUI画像の一例を示す図FIG. 5 is a diagram illustrating an example of a GUI image according to the first embodiment. 実施例1に係る処理アプリケーションの動作の一例を示すフロー図5 is a flowchart illustrating an example of the operation of the processing application according to the first embodiment. 実施例1に係るデータベースのスキーマ構成例を示す図FIG. 3 is a diagram illustrating an example of a schema configuration of a database according to the first embodiment. 実施例1に係るGUI画像の一例を示す図FIG. 5 is a diagram illustrating an example of a GUI image according to the first embodiment. 実施例1に係るマーカー表示処理の一例を示すフロー図5 is a flowchart illustrating an example of a marker display process according to the first embodiment. 実施例1に係るGUI画像の一例を示す図FIG. 5 is a diagram illustrating an example of a GUI image according to the first embodiment. 実施例1に係るJPEG表示処理の一例を示すフロー図5 is a flowchart illustrating an example of a JPEG display process according to the first embodiment. 実施例2に係るRAW動画とMP4動画の一例を示す図FIG. 7 is a diagram illustrating an example of a RAW movie and an MP4 movie according to the second embodiment. 実施例2に係る動画変換処理の一例を示すフロー図5 is a flowchart illustrating an example of a moving image conversion process according to the second embodiment. 実施例2に係る処理アプリケーションの動作の一例を示すフロー図5 is a flowchart illustrating an example of the operation of the processing application according to the second embodiment. 実施例2に係るデータベースのスキーマ構成例を示す図FIG. 7 is a diagram illustrating an example of a schema configuration of a database according to a second embodiment. 実施例2に係るマーカー表示処理の一例を示すフロー図5 is a flowchart illustrating an example of a marker display process according to the second embodiment. 実施例3に係るGUI画像の一例を示す図FIG. 10 is a diagram illustrating an example of a GUI image according to the third embodiment. 実施例3に係るデータベースのスキーマ構成例を示す図FIG. 10 is a diagram illustrating an example of a schema configuration of a database according to a third embodiment. 実施例3に係るGUI画像の一例を示す図FIG. 10 is a diagram illustrating an example of a GUI image according to the third embodiment. 実施例3に係るマーカー表示処理の一例を示すフロー図9 is a flowchart showing an example of a marker display process according to the third embodiment. 実施例3に係るGUI画像の一例を示す図FIG. 10 is a diagram illustrating an example of a GUI image according to the third embodiment. 実施例4に係るダイジェスト動画の一例を示す図FIG. 14 is a diagram illustrating an example of a digest movie according to the fourth embodiment. 実施例4に係るダイジェスト動画生成処理の一例を示すフロー図4 is a flowchart illustrating an example of a digest moving image generation process according to the fourth embodiment. 実施例4に係る再生制御の一例を示すフロー図9 is a flowchart showing an example of the reproduction control according to the fourth embodiment. 実施例5に係るGUI画像の一例を示す図FIG. 14 is a diagram illustrating an example of a GUI image according to the fifth embodiment. 実施例5に係る処理アプリケーションの動作の一例を示すフロー図11 is a flowchart illustrating an example of the operation of the processing application according to the fifth embodiment. 実施例5に係るデータベースのスキーマ構成例を示す図FIG. 14 is a diagram illustrating an example of a schema configuration of a database according to a fifth embodiment. 実施例5に係るGUI画像の一例を示す図FIG. 14 is a diagram illustrating an example of a GUI image according to the fifth embodiment.

<実施例1>
以下、本発明の実施例1について説明する。図1は、本実施例に係る情報処理装置100の構成例を示すブロック図である。情報処理装置100としては、画像再生装置(ハードディスクレコーダ、ブルーレイレコーダ、ブルーレイプレーヤ、等)、PC(パーソナルコンピュータ)、携帯端末(スマートフォン、タブレットデバイス、携帯型のメディアプレーヤ、等)、画像表示装置(液晶表示装置、有機EL表示装置、プラズマ表示装置、
MEMSシャッター方式ディスプレイ装置、等)、サーバ、等を使用することができる。
<Example 1>
Hereinafter, Embodiment 1 of the present invention will be described. FIG. 1 is a block diagram illustrating a configuration example of the information processing apparatus 100 according to the embodiment. The information processing device 100 includes an image reproducing device (a hard disk recorder, a Blu-ray recorder, a Blu-ray player, etc.), a PC (personal computer), a mobile terminal (a smartphone, a tablet device, a portable media player, etc.), an image display device ( Liquid crystal display, organic EL display, plasma display,
MEMS shutter type display devices, etc.), servers, etc. can be used.

情報処理装置100は、CPU(Central Processing Unit)101、RAM(Random Access Memory)102、ROM(Read Only Memory)103、操作部104、表示部105、通信部106、二次記憶部107、及び、バス108を有する。   The information processing apparatus 100 includes a CPU (Central Processing Unit) 101, a RAM (Random Access Memory) 102, a ROM (Read Only Memory) 103, an operation unit 104, a display unit 105, a communication unit 106, a secondary storage unit 107, and It has a bus 108.

CPU101は、CPU101に入力された信号、後述のプログラム、等に従って種々の処理を行うことにより、情報処理装置100の動作を制御する制御部である。なお、制御部として、1つのハードウェアが使用されてもよいし、複数のハードウェアが使用されてもよい。複数のハードウェアが処理を分担して実行することにより、情報処理装置100の動作が制御されてもよい。   The CPU 101 is a control unit that controls the operation of the information processing apparatus 100 by performing various processes according to a signal input to the CPU 101, a program described below, and the like. Note that one piece of hardware may be used as the control unit, or a plurality of pieces of hardware may be used. The operation of the information processing apparatus 100 may be controlled by a plurality of pieces of hardware sharing and executing the processing.

RAM102は、種々のデータを一時的に記憶する記憶部である。RAM102は、例えば、CPU101の処理のために使用される。ROM103は、種々のデータを非一時的に記憶する記憶部である。ROM103は、例えば、情報処理装置100で使用される種々のプログラム(情報処理装置100の起動プログラム(BIOS)など)を記憶する。情報処理装置100の起動時に、CPU101は、起動プログラムをROM103から読み出し、読み出した起動プログラムをRAM102に書き込む。そして、CPU101は、RAM102に書き込まれた起動プログラムを実行する。   The RAM 102 is a storage unit that temporarily stores various data. The RAM 102 is used, for example, for the processing of the CPU 101. The ROM 103 is a storage unit that temporarily stores various data. The ROM 103 stores, for example, various programs used in the information processing apparatus 100 (eg, a boot program (BIOS) for the information processing apparatus 100). When the information processing apparatus 100 is started, the CPU 101 reads a start program from the ROM 103 and writes the read start program into the RAM 102. Then, the CPU 101 executes the startup program written in the RAM 102.

操作部104は、情報処理装置100に対するユーザ操作を受け付ける。操作部104は、ユーザ操作に応じた操作信号をCPU101に出力する。そして、CPU101は、操作信号に応じた処理を行う。即ち、CPU101は、情報処理装置100に対するユーザ操作に応じた処理を行う。操作部104として、例えば、物理的なボタン、タッチパネル、キーボード、マウス、等の入力デバイスを使用することができる。また、操作部104として、情報処理装置100とは別体の入力デバイスを使用することもできる。情報処理装置100とは別体の入力デバイスとして、例えば、キーボード、マウス、リモコン、等を使用することができる。情報処理装置100は、入力デバイスを用いたユーザ操作に応じた電気信号を受信する機能を有していればよい。   The operation unit 104 receives a user operation on the information processing device 100. The operation unit 104 outputs an operation signal according to a user operation to the CPU 101. Then, the CPU 101 performs a process according to the operation signal. That is, the CPU 101 performs a process according to a user operation on the information processing device 100. As the operation unit 104, for example, an input device such as a physical button, a touch panel, a keyboard, a mouse, or the like can be used. Further, an input device separate from the information processing device 100 can be used as the operation unit 104. As an input device separate from the information processing apparatus 100, for example, a keyboard, a mouse, a remote controller, and the like can be used. The information processing apparatus 100 may have a function of receiving an electric signal according to a user operation using the input device.

表示部105は、画面に画像を表示する。表示部105は、画像データに基づく画像の表示、対話的な操作のためのグラフィック画像(GUI(Graphical User
Interface)画像;文字、アイコン、等)の表示、等を行う。表示部105として、例えば、液晶表示パネル、有機EL表示パネル、プラズマ表示パネル、MEMSシャッター方式表示パネル、等を使用することができる。表示部105は、タッチパネルを備えたタッチモニタであってもよいし、そうでなくてもよい。なお、表示部105として、情報処理装置100とは別体の画像表示装置が使用されてもよい。情報処理装置100は、表示部105の表示を制御する機能を有していればよい。
The display unit 105 displays an image on a screen. The display unit 105 displays an image based on image data and a graphic image (GUI (Graphical User) for interactive operation.
(Interface) image; characters, icons, etc.). As the display unit 105, for example, a liquid crystal display panel, an organic EL display panel, a plasma display panel, a MEMS shutter type display panel, or the like can be used. The display unit 105 may or may not be a touch monitor having a touch panel. Note that an image display device separate from the information processing device 100 may be used as the display unit 105. The information processing device 100 may have a function of controlling display on the display unit 105.

通信部106は、情報処理装置100を外部装置に接続し、情報処理装置100と外部装置の間の通信(制御コマンド、画像データ、等のデータの送受信)を行う。なお、通信部106は、USB(Universal Serial Bus)ケーブルなどのケーブルを用いて情報処理装置100を外部装置に接続してもよい。通信部106は、無線LANなどを用いて情報処理装置100を外部装置に無線で接続してもよい。情報処理装置100は、外部装置に直接接続されてもよいし、インターネットなどのネットワーク、サーバ、等を介して外部装置に接続されてもよい。   The communication unit 106 connects the information processing device 100 to an external device, and performs communication (transmission and reception of control commands, image data, and other data) between the information processing device 100 and the external device. Note that the communication unit 106 may connect the information processing device 100 to an external device using a cable such as a USB (Universal Serial Bus) cable. The communication unit 106 may wirelessly connect the information processing device 100 to an external device using a wireless LAN or the like. The information processing device 100 may be directly connected to an external device, or may be connected to the external device via a network such as the Internet, a server, or the like.

二次記憶部107は、種々のデータを記憶可能な記憶部である。例えば、二次記憶部107には、情報処理装置100の制御プログラム(情報処理装置100で動作するアプリ
ケーションのプログラムなど)が記録される。ユーザが制御部プログラムの実行を指示すると、CPU101は、制御プログラムを二次記憶部107から読み出し、読み出した制御プログラムをRAM102に書き込む。そして、CPU101は、RAM102に書き込まれた制御プログラムを実行する。二次記憶部107としては、半導体メモリ(メモリカード)、磁気ディスク(ハードディスク)、光ディスク(CD、DVD、ブルーレイディスク)、等を使用することができる。なお、二次記憶部107は、情報処理装置100に対して着脱可能な記憶部であってもよいし、情報処理装置100に内蔵された記憶部であってもよい。情報処理装置100は、二次記憶部107にアクセスし、二次記憶部107に対するデータの読み書き、二次記憶部107が記憶しているデータの削除、等を行う機能を有していればよい。
The secondary storage unit 107 is a storage unit that can store various data. For example, in the secondary storage unit 107, a control program of the information processing apparatus 100 (such as a program of an application that runs on the information processing apparatus 100) is recorded. When the user instructs the execution of the control unit program, the CPU 101 reads the control program from the secondary storage unit 107 and writes the read control program into the RAM 102. Then, the CPU 101 executes the control program written in the RAM 102. As the secondary storage unit 107, a semiconductor memory (memory card), a magnetic disk (hard disk), an optical disk (CD, DVD, Blu-ray disk), or the like can be used. The secondary storage unit 107 may be a storage unit that can be attached to and detached from the information processing device 100, or may be a storage unit built in the information processing device 100. The information processing apparatus 100 only needs to have a function of accessing the secondary storage unit 107, reading and writing data to and from the secondary storage unit 107, deleting data stored in the secondary storage unit 107, and the like. .

バス108は、CPU101、RAM102、ROM103、操作部104、表示部105、及び、通信部106の間のデータの送受信に使用される。   The bus 108 is used for transmitting and receiving data among the CPU 101, the RAM 102, the ROM 103, the operation unit 104, the display unit 105, and the communication unit 106.

ユーザは、デジタルビデオカメラなどの撮影装置(不図示)を使用して、各フレームの画像データがRAWデータであるRAW動画(第1の動画)を撮影する。その後、情報処理装置100を撮影装置に接続する指示をユーザが行うと、CPU101は、二次記憶部107から通信プログラムを読み出し、読み出した通信プログラムをRAM102に書き込む。そして、CPU101は、RAM102に書き込まれた通信プログラムを実行する。それにより、以下の処理が行われる。   The user uses a photographing device (not shown) such as a digital video camera to photograph a RAW moving image (first moving image) in which the image data of each frame is RAW data. Thereafter, when the user issues an instruction to connect the information processing apparatus 100 to the imaging apparatus, the CPU 101 reads the communication program from the secondary storage unit 107 and writes the read communication program into the RAM 102. Then, the CPU 101 executes the communication program written in the RAM 102. Thereby, the following processing is performed.

まず、情報処理装置100と撮影装置の間の接続が確立する。次に、CPU101は、通信部106を介して撮影装置に、RAW動画(RAW動画データ)の送信を指示する。それにより、撮影装置から情報処理装置100へRAW動画が送信される。そして、CPU101は、撮影装置から送信されたRAW動画を、通信部106を介して受信し、受信したRAW動画を、動画ファイルとして二次記憶部107に記録する。   First, a connection between the information processing device 100 and the imaging device is established. Next, the CPU 101 instructs the imaging device via the communication unit 106 to transmit a RAW moving image (RAW moving image data). Thereby, the RAW moving image is transmitted from the imaging device to the information processing device 100. Then, the CPU 101 receives the RAW moving image transmitted from the imaging device via the communication unit 106, and records the received RAW moving image in the secondary storage unit 107 as a moving image file.

なお、第1の動画は、撮影によって得られた動画に限られない。例えば、第1の動画は、放送用コンテンツ(放送番組、CM(コマーシャルメッセージ)、等)の動画であってもよいし、CG(コンピュータグラフィック)動画であってもよいし、アニメーションの動画であってもよい。また、第1の動画はRAW動画に限られない。例えば、第1の動画は、現像処理が施された後の動画であってもよい。   Note that the first moving image is not limited to a moving image obtained by shooting. For example, the first moving image may be a moving image of broadcast content (broadcast program, CM (commercial message), etc.), a CG (computer graphic) moving image, or an animated moving image. You may. Further, the first moving image is not limited to the RAW moving image. For example, the first moving image may be a moving image after the development processing has been performed.

図2は、RAW動画のファイル構成例を示す図である。RAW動画の動画ファイル201は、動画ヘッダ部202とフレーム部203を有する。動画ファイル201は、RAW動画のフレーム数と同じ数のフレーム部203を有する。動画ヘッダ部202には、動画ファイル201全体のデータサイズ、RAW動画のフレームレート、等が記録されている。1つのフレーム部203には、RAW動画の1つのフレームに関するデータが記録されている。なお、動画ヘッダ部202に、RAW動画の所定のフレーム(最初のフレーム、最後のフレーム、等)の撮影日時、RAW動画の撮影に用いた撮影装置の情報(撮影装置のメーカー名、撮影装置のモデル名、等)、等が記録されてもよい。   FIG. 2 is a diagram illustrating a file configuration example of a RAW moving image. The moving image file 201 of the RAW moving image has a moving image header section 202 and a frame section 203. The moving image file 201 has the same number of frame portions 203 as the number of frames of the RAW moving image. The moving image header section 202 records the data size of the entire moving image file 201, the frame rate of the RAW moving image, and the like. In one frame section 203, data relating to one frame of the RAW moving image is recorded. In the moving image header unit 202, the shooting date and time of a predetermined frame (first frame, last frame, etc.) of the RAW moving image, information of the shooting device used for shooting the RAW moving image (the manufacturer name of the shooting device, the name of the shooting device) Model name, etc.) may be recorded.

フレーム部203は、フレームヘッダ部204とRAWデータ部205を有する。フレームヘッダ部204には、フレームの撮影日時、フレームの撮影に用いた撮影装置の情報(撮影装置のメーカー名、撮影装置のモデル名、等)、フレームの撮影に用いた撮影パラメータ(シャッタースピード、F値、等)、フレームを識別する識別情報(フレームID)、等が記録されている。RAWデータ部205には、RAWデータが記録されている。また、フレームヘッダ部204には、RAWデータを現像して得られた画像(画像データ)206が記録されている。画像206のデータフォーマットは特に限定されないが、本実施例では、画像206として、JPEG形式の画像が記録されているものとする。以後
、画像206を「内蔵JPEG画像」と記載する。
The frame section 203 has a frame header section 204 and a RAW data section 205. The frame header section 204 includes a shooting date and time of the frame, information of the shooting device used for shooting the frame (a manufacturer name of the shooting device, a model name of the shooting device, etc.), shooting parameters (shutter speed, F value, etc.), identification information (frame ID) for identifying a frame, and the like are recorded. The RAW data section 205 records RAW data. In the frame header section 204, an image (image data) 206 obtained by developing the RAW data is recorded. Although the data format of the image 206 is not particularly limited, in the present embodiment, it is assumed that a JPEG image is recorded as the image 206. Hereinafter, the image 206 is referred to as a “built-in JPEG image”.

図3は、情報処理装置100で動作する処理アプリケーションのウィンドウ(GUI画像)301の一例を示す。CPU101が処理アプリケーションを実行することにより、ウィンドウ301が表示部105に表示される。CPU101は、処理アプリケーションを実行することにより、RAW動画の少なくとも一部のシーンに対する処理を行うことができる。具体的には、CPU101は、ユーザによって指定されたシーンである指定シーンを動画から選択する。そして、CPU101は、指定シーンに対応するRAW動画のシーンである対応シーンに対する処理を行う。本実施例では、RAW動画から指定シーンが選択される。そのため、指定シーンは対応シーンと一致する。そして、対応シーンに対する処理として、対応シーンの画像である対応画像をRAW動画から生成する生成処理が行われる。本実施例では、生成処理は現像処理を含む。そのため、対応画像として、現像処理後の画像が得られる。また、指定シーンのフレーム数は特に限定されないが、本実施例では、指定シーンとして1つのフレームが選択される。そのため、上述した生成処理により、1枚の静止画が得られる。対応画像のデータフォーマットは特に限定されないが、本実施例では、対応画像として、JPEG形式の静止画が得られるとする。以後、対応画像を「対応JPEG画像」と記載する。   FIG. 3 shows an example of a window (GUI image) 301 of a processing application running on the information processing apparatus 100. The window 301 is displayed on the display unit 105 by the CPU 101 executing the processing application. The CPU 101 can execute processing on at least some scenes of the RAW moving image by executing the processing application. Specifically, the CPU 101 selects a designated scene, which is a scene designated by the user, from the moving image. Then, the CPU 101 performs processing on a corresponding scene that is a RAW moving image scene corresponding to the designated scene. In the present embodiment, a designated scene is selected from the RAW moving image. Therefore, the designated scene matches the corresponding scene. Then, as a process for the corresponding scene, a generation process of generating a corresponding image, which is an image of the corresponding scene, from the RAW moving image is performed. In this embodiment, the generation process includes a development process. Therefore, an image after the development processing is obtained as the corresponding image. Although the number of frames of the designated scene is not particularly limited, in this embodiment, one frame is selected as the designated scene. Therefore, one still image is obtained by the above-described generation processing. Although the data format of the corresponding image is not particularly limited, in this embodiment, it is assumed that a JPEG still image is obtained as the corresponding image. Hereinafter, the corresponding image is referred to as “corresponding JPEG image”.

ウィンドウ301には、選択画像302、サムネイルリスト303、スクロールバー304、前ボタン305、後ボタン306、パラメータ調整部307、及び、現像ボタン308が配置されている。サムネイルリスト303では、RAW動画の複数のフレームのサムネイル画像が、時系列順に左から右へ並べられている。CPU101は、サムネイルリスト303において中央に配置されているフレームを選択し、選択したフレームの画像を選択画像302として表示する制御を行う。ユーザがスクロールバー304を動かすと、CPU101は、サムネイルリスト303として並べられた複数のサムネイル画像を左右にスクロールする。その結果、サムネイル画像や選択画像302として表示されるフレームが変更される。また、ユーザが前ボタン305を押下すると、CPU101は、選択画像302のフレームを1つ前のフレームに変更する。同様に、ユーザが後ボタン306を押下すると、CPU101は、選択画像302のフレームを1つ後のフレームに変更する。また、ユーザがパラメータ調整部307を操作すると、CPU101は、現像処理に使用するパラメータ(現像パラメータ)を変更する。現像パラメータの種類は限定されないが、図3の例では、明るさ、コントラスト、及び、シャープネスを個別に調整することができる。そして、ユーザが現像ボタン308を押下すると、CPU101は、選択画像302のフレームを指定シーンとして選択し、選択したフレーム(指定シーン)のRAWデータに対し、現在設定されている現像パラメータを用いた現像処理を施す。その結果、対応JPEG画像が得られる。そして、CPU101は、対応JPEG画像を、二次記憶部107に記録する。   In the window 301, a selected image 302, a thumbnail list 303, a scroll bar 304, a front button 305, a rear button 306, a parameter adjustment unit 307, and a development button 308 are arranged. In the thumbnail list 303, thumbnail images of a plurality of frames of the RAW moving image are arranged in chronological order from left to right. The CPU 101 performs control to select a frame arranged at the center in the thumbnail list 303 and display an image of the selected frame as the selected image 302. When the user moves the scroll bar 304, the CPU 101 scrolls the plurality of thumbnail images arranged as the thumbnail list 303 to the left and right. As a result, the frame displayed as the thumbnail image or the selected image 302 is changed. When the user presses the previous button 305, the CPU 101 changes the frame of the selected image 302 to the previous frame. Similarly, when the user presses the rear button 306, the CPU 101 changes the frame of the selected image 302 to the next frame. When the user operates the parameter adjustment unit 307, the CPU 101 changes parameters (development parameters) used for the development processing. Although the type of the development parameter is not limited, in the example of FIG. 3, the brightness, the contrast, and the sharpness can be individually adjusted. When the user presses the development button 308, the CPU 101 selects the frame of the selected image 302 as the designated scene, and develops the RAW data of the selected frame (designated scene) using the currently set development parameters. Perform processing. As a result, a corresponding JPEG image is obtained. Then, the CPU 101 records the corresponding JPEG image in the secondary storage unit 107.

なお、処理アプリケーションのGUI画像は上記GUI画像に限られないし、対応シーンに対する処理は上記処理に限られない。例えば、対応シーンに対する処理として、対応シーンの特徴を示す特徴情報をRAW動画から生成する処理が行われてもよい。特徴情報は、例えば、対応シーンの明るさに関する情報、対応シーンの色に関する情報、対応シーンにおける画像の動きの大きさに関する情報、対応シーンに存在する物体に関する情報、等である。対応シーンに対する処理として、現像処理が行われずに、対応シーンの画像をRAW動画から抽出する処理が行われてもよい。その場合、対応画像として、現像処理前の画像(RAW動画と同じデータフォーマットの画像)が得られる。   Note that the GUI image of the processing application is not limited to the GUI image, and the processing for the corresponding scene is not limited to the above processing. For example, as the process for the corresponding scene, a process of generating feature information indicating the feature of the corresponding scene from the RAW moving image may be performed. The characteristic information is, for example, information on the brightness of the corresponding scene, information on the color of the corresponding scene, information on the magnitude of the motion of the image in the corresponding scene, information on an object present in the corresponding scene, and the like. As a process for the corresponding scene, a process of extracting an image of the corresponding scene from the RAW moving image without performing the developing process may be performed. In this case, an image before development processing (an image having the same data format as the RAW moving image) is obtained as the corresponding image.

次に、本実施例に係る処理アプリケーションの動作について、図4(A)のフローチャートを用いて説明する。図4(A)のフローチャートは、例えば、処理アプリケーションが起動したタイミングで開始される。   Next, the operation of the processing application according to the present embodiment will be described with reference to the flowchart in FIG. The flowchart in FIG. 4A is started, for example, at the timing when the processing application is activated.

まず、S401にて、CPU101は、RAW動画の最初のフレームを選択表示フレームとして選択する。選択表示フレームは、選択画像302として表示されるフレームである。次に、S402にて、CUP101は、選択画像表示処理を行う。それにより、S401で選択された選択表示フレームの画像が選択画像302として表示されるように、ウィンドウ301が更新される。選択画像表示処理の詳細は図4(B)を用いて後述するが、本実施例では、選択画像表示処理において、簡易現像処理が行われる。簡易現像処理は、時間を要する一部の工程(ノイズリダクションなど)を省略した現像処理である。そして、S403にて、CPU101は、ユーザ操作を待つ。ユーザ操作が行われるまでS403の処理が繰り返され、ユーザ操作が行われるとS404に処理が進められる。   First, in S401, the CPU 101 selects the first frame of the RAW moving image as a selection display frame. The selected display frame is a frame displayed as the selected image 302. Next, in S402, the CUP 101 performs a selected image display process. Thus, the window 301 is updated so that the image of the selected display frame selected in S401 is displayed as the selected image 302. Although details of the selected image display process will be described later with reference to FIG. 4B, in the present embodiment, a simple development process is performed in the selected image display process. The simple development process is a development process in which some time-consuming steps (such as noise reduction) are omitted. Then, in S403, CPU 101 waits for a user operation. The process of S403 is repeated until the user operation is performed, and when the user operation is performed, the process proceeds to S404.

S404にて、CPU101は、S403において行われたユーザ操作が前ボタン305の押下、後ボタン306の押下、及び、現像ボタン308の押下のどれであるかを判断する。前ボタン305が押下された場合にはS405に処理が進められ、後ボタン306が押下された場合にはS408に処理が進められ、現像ボタン308が押下された場合にはS411に処理が進められる。   In S404, the CPU 101 determines whether the user operation performed in S403 is pressing of the front button 305, pressing of the rear button 306, or pressing of the developing button 308. If the previous button 305 has been pressed, the process proceeds to S405; if the rear button 306 has been pressed, the process proceeds to S408; if the develop button 308 has been pressed, the process proceeds to S411. .

S405にて、CPU101は、選択表示フレームがRAW動画の最初のフレームであるか否かを判断する。選択表示フレームがRAW動画の最初のフレームである場合には、S403に処理が戻される。選択表示フレームがRAW動画の最初のフレームでない場合には、S406に処理が進められる。S406にて、CPU101は、1つ前のフレームに選択表示フレームを更新する。S406の次に、S407にて、CUP101は、選択画像表示処理を行う。それにより、S406で選択された選択表示フレーム(更新後の選択表示フレーム)の画像が選択画像302として表示されるように、ウィンドウ301が更新される。そして、S407からS403へ処理が戻される。   In S405, CPU 101 determines whether or not the selected display frame is the first frame of the RAW moving image. If the selected display frame is the first frame of the RAW moving image, the process returns to S403. If the selected display frame is not the first frame of the RAW moving image, the process proceeds to S406. In S406, CPU 101 updates the selected display frame to the immediately preceding frame. After S406, in S407, the CUP 101 performs a selected image display process. As a result, the window 301 is updated so that the image of the selected display frame selected in S406 (the updated selected display frame) is displayed as the selected image 302. Then, the process returns from S407 to S403.

S408にて、CPU101は、選択表示フレームがRAW動画の最後のフレームであるか否かを判断する。選択表示フレームがRAW動画の最後のフレームである場合には、S403に処理が戻される。選択表示フレームがRAW動画の最後のフレームでない場合には、S409に処理が進められる。S409にて、CPU101は、1つ後のフレームに選択表示フレームを更新する。S409の次に、S410にて、CUP101は、選択画像表示処理を行う。それにより、S409で選択された選択表示フレーム(更新後の選択表示フレーム)の画像が選択画像302として表示されるように、ウィンドウ301が更新される。そして、S410からS403へ処理が戻される。   In S408, CPU 101 determines whether or not the selected display frame is the last frame of the RAW moving image. If the selected display frame is the last frame of the RAW moving image, the process returns to S403. If the selected display frame is not the last frame of the RAW moving image, the process proceeds to S409. In S409, CPU 101 updates the selected display frame to the next frame. After S409, in S410, the CUP 101 performs a selected image display process. As a result, the window 301 is updated so that the image of the selected display frame selected in S409 (the updated selected display frame) is displayed as the selected image 302. Then, the process is returned from S410 to S403.

S411にて、CPU101は、選択表示フレームを指定シーン(対応シーン)のフレームとして選択し、選択表示フレームのRAWデータに本現像処理を施す。本現像処理は、全ての工程を含む現像処理である。次に、S412にて、CPU101は、データフォーマットをJPEG形式に変換するフォーマット変換処理をS411の現像処理結果に施すことにより、対応JPEG画像を生成する。そして、S413にて、CPU101は、S412において生成された対応JPEG画像を、静止画ファイルとして二次記憶部107に記録する。次に、S414にて、CPU101は、S411において選択された指定シーンを示す第1のシーン情報を二次記憶部107に記録する。具体的には、CPU101は、二次記憶部107に記録されたデータベースに、第1のシーン情報を追加する(データベースの更新)。そして、S403に処理が戻される。データベースには、情報処理装置100で動作する任意のアプリケーションからアクセスすることができる。   In S411, CPU 101 selects the selected display frame as the frame of the designated scene (corresponding scene), and performs the main development processing on the RAW data of the selected display frame. The main development process is a development process including all steps. Next, in S412, the CPU 101 generates a corresponding JPEG image by performing a format conversion process for converting the data format into the JPEG format on the development processing result in S411. In step S413, the CPU 101 records the corresponding JPEG image generated in step S412 in the secondary storage unit 107 as a still image file. Next, in S414, the CPU 101 records first scene information indicating the designated scene selected in S411 in the secondary storage unit 107. Specifically, the CPU 101 adds the first scene information to the database recorded in the secondary storage unit 107 (update of the database). Then, the process returns to S403. The database can be accessed from any application running on the information processing device 100.

次に、選択画像表示処理(S402、S407、及び、S410)の詳細について、図4(B)のフローチャートを用いて説明する。まず、S451にて、CPU101は、選択表示フレームのデータを図2の動画ファイル201などから取得する。具体的には、選
択表示フレームの内蔵JPEG画像がフレームヘッダ部204から取得され、選択表示フレームのRAWデータがRAWデータ部205から取得される。次に、S452にて、CPU101は、S451において取得された内蔵JPEG画像に選択画像302を更新する。そして、S453にて、CPU101は、スクロールバー304を更新する。次に、S454にて、CPU101は、サムネイルリスト303を更新する。そして、S455にて、CPU101は、現在設定されている現像パラメータを取得する。次に、S456にて、CPU101は、S455において取得された現像パラメータを用いた簡易現像処理を、S451において取得されたRAWデータに施す。そして、S457にて、CPU101は、内蔵JPEG画像から簡易現像処理の結果に、選択画像302を更新する。なお、S453とS454の処理は、S407とS410の選択画像表示処理で行われ、S402の選択画像表示処理では行われない。
Next, details of the selected image display processing (S402, S407, and S410) will be described with reference to the flowchart in FIG. First, in S451, the CPU 101 acquires data of a selected display frame from the moving image file 201 in FIG. Specifically, the built-in JPEG image of the selected display frame is obtained from the frame header unit 204, and the RAW data of the selected display frame is obtained from the RAW data unit 205. Next, in S452, the CPU 101 updates the selected image 302 with the built-in JPEG image acquired in S451. Then, in S453, CPU 101 updates scroll bar 304. Next, in S454, the CPU 101 updates the thumbnail list 303. Then, in S455, the CPU 101 acquires the currently set development parameters. Next, in S456, the CPU 101 performs a simple development process using the development parameters acquired in S455 on the RAW data acquired in S451. Then, in S457, the CPU 101 updates the selected image 302 from the built-in JPEG image to the result of the simple development process. The processing of S453 and S454 is performed in the selected image display processing of S407 and S410, and is not performed in the selected image display processing of S402.

図5は、S414で使用したデータベースのスキーマ構成例を示す。本実施例に係るデータベースは、S411の本現像処理が施されたフレームについて、現像マーカーID501、フレームID502、及び、JPEGファイルパス503の組み合わせを、第1のシーン情報として含む。現像マーカーIDは、後述する現像マーカーを識別する識別情報である。現像マーカーID501の値は、例えば、他の現像マーカーID501の値と重複しないように自動的に決定される。フレームID502は、本現像処理が施されたフレームを識別する識別情報である。JPEGファイルパス503は、対応JPEG画像(本現像処理が施された後の画像)の保存先を示すファイルパスである。本現像処理が行われる度に、現像マーカーID501、フレームID502、及び、JPEGファイルパス503の組み合わせが追加される。   FIG. 5 shows an example of the schema configuration of the database used in S414. The database according to the present embodiment includes, as the first scene information, a combination of the development marker ID 501, the frame ID 502, and the JPEG file path 503 for the frame subjected to the main development processing in S411. The development marker ID is identification information for identifying a development marker described later. The value of the development marker ID 501 is automatically determined, for example, so as not to overlap with the values of other development marker IDs 501. The frame ID 502 is identification information for identifying a frame on which the main development processing has been performed. The JPEG file path 503 is a file path indicating the storage destination of the corresponding JPEG image (the image after the main development processing has been performed). Each time the development processing is performed, a combination of the development marker ID 501, the frame ID 502, and the JPEG file path 503 is added.

図6は、情報処理装置100で動作する再生アプリケーションのウィンドウ(GUI画像)601の一例を示す。CPU101が再生アプリケーションを実行することにより、ウィンドウ601が表示部105に表示される。CPU101は、再生アプリケーションを実行することにより、RAW動画を再生する再生制御を行うことができる。また、動画を再生する再生制御の実行時に、CPU101は、第1のシーン情報によって示されたシーンに対応する当該動画のシーンを示す第2のシーン情報を表示する第1の表示制御をさらに行う。   FIG. 6 shows an example of a window (GUI image) 601 of a reproduction application operating on the information processing apparatus 100. The window 601 is displayed on the display unit 105 by the CPU 101 executing the reproduction application. By executing the playback application, the CPU 101 can perform playback control for playing back a RAW moving image. Further, at the time of executing the reproduction control for reproducing the moving image, the CPU 101 further performs the first display control for displaying the second scene information indicating the scene of the moving image corresponding to the scene indicated by the first scene information. .

ウィンドウ601には、RAW動画602、トグルボタン603、スライダーバー604、及び、現像マーカー605〜607が配置されている。ユーザがトグルボタン603を押下する度に、CPU101は、RAW動画602の状態を再生状態と停止状態の間で切り替える。スライダーバー604は、RAW動画602のスライダーバーであり、現在再生されているフレームがRAW動画のどのフレームであるかを示す。3つの現像マーカー605〜607のそれぞれは、第2のシーン情報であり、スライダーバー604と協同して対応シーンを示す。具体的には、三角形の現像マーカーの頂点(スライダーバー604側の頂点)により、対応シーンのフレームに対応する位置(スライダーバー604内の位置)が示されている。現像マーカー605〜607が表示されることにより、RAW動画602のどのフレームが本現像処理を行ったことのあるフレームであるかを、ユーザが容易に把握することができる。その結果、情報処理装置100の利便性を向上したり、作業の効率化を図ったりすることができる。   In the window 601, a RAW moving image 602, a toggle button 603, a slider bar 604, and development markers 605 to 607 are arranged. Each time the user presses the toggle button 603, the CPU 101 switches the state of the RAW moving image 602 between the reproduction state and the stop state. A slider bar 604 is a slider bar of the RAW moving image 602, and indicates which frame of the RAW moving image the currently reproduced frame is. Each of the three development markers 605 to 607 is the second scene information, and indicates the corresponding scene in cooperation with the slider bar 604. Specifically, the position (the position in the slider bar 604) corresponding to the frame of the corresponding scene is indicated by the vertex of the triangular development marker (the vertex on the slider bar 604 side). By displaying the development markers 605 to 607, the user can easily grasp which frame of the RAW moving image 602 has been subjected to the main development processing. As a result, the convenience of the information processing apparatus 100 can be improved, and the work efficiency can be improved.

なお、再生アプリケーションのGUI画像は上記GUI画像に限られないし、第2のシーン情報はマーカー(現像マーカー)に限られない。例えば、第2のシーン情報として、対応シーンの時間位置を示すタイムコードが表示されてもよい。   Note that the GUI image of the playback application is not limited to the GUI image, and the second scene information is not limited to a marker (developing marker). For example, a time code indicating the time position of the corresponding scene may be displayed as the second scene information.

本実施例に係るマーカー表示処理(現像マーカーを表示する処理;第1の表示制御)について、図7のフローチャートを用いて説明する。図7のフローチャートは、例えば、再
生アプリケーションが起動したタイミングで開始される。
The marker display processing (processing for displaying a development marker; first display control) according to the present embodiment will be described with reference to the flowchart in FIG. The flowchart in FIG. 7 is started, for example, at the timing when the reproduction application is activated.

まず、S701にて、CPU101は、データベースからフレームIDのリストを取得する。本実施例では、フレームIDのリストだけでなく、現像マーカーIDのリストも取得される。そして、CPU101は、S701において取得されたリストの最初のフレームIDから最後のフレームIDまで、フレームIDを順に選択しながら、S702の処理を繰り返し行う。S702にて、CPU101は、選択したフレームIDに対応する位置に現像マーカーを表示する制御を行う。それにより、選択されたフレームIDに対応するフレームが、表示された現像マーカーによって示される。本実施例では、CPU101は、表示した現像マーカーに対して、選択したフレームIDに対応する現像マーカーIDを関連付ける。S701において取得された全てのフレームIDについてS702の処理が行われると、S703の処理が行われる。S703にて、CPU101は、ユーザからの指示に応じた再生制御を行う。例えば、S703にて、再生位置の変更、再生の開始、再生の停止、等が行われる。S703の処理は、従来の動画再生アプリケーションで行われる処理と同様であるため、その詳細な説明は省略する。   First, in S701, the CPU 101 acquires a list of frame IDs from the database. In this embodiment, not only a list of frame IDs but also a list of development marker IDs are obtained. Then, the CPU 101 repeats the process of S702 while sequentially selecting the frame IDs from the first frame ID to the last frame ID of the list acquired in S701. In S702, CPU 101 performs control to display a development marker at a position corresponding to the selected frame ID. Thereby, the frame corresponding to the selected frame ID is indicated by the displayed development marker. In this embodiment, the CPU 101 associates the displayed development marker with the development marker ID corresponding to the selected frame ID. When the processing of S702 is performed for all the frame IDs acquired in S701, the processing of S703 is performed. In S703, CPU 101 performs reproduction control according to an instruction from the user. For example, in S703, the reproduction position is changed, reproduction is started, reproduction is stopped, and the like. The processing in S703 is the same as the processing performed in the conventional moving image reproduction application, and thus a detailed description thereof will be omitted.

図8は、ユーザが現像マーカーを指定した場合に表示されるウィンドウ(GUI画像)802の一例を示す。ユーザが現像マーカーを指定すると、CPU101は、ウィンドウ802を表示部105に表示する第2の表示制御を行う。また、CPU101は、ユーザが移動させることのできるカーソルを表示部105に表示する表示制御をさらに行う。この表示制御は、例えば、情報処理装置100の起動時に行われる。図8では、上記カーソルとして、マウス操作に応じて移動するマウスカーソル801が示されている。例えば、ユーザがマウスカーソル801を現像マーカーの位置に移動させてマウスをクリックすると、当該現像マーカーが指定され、ウィンドウ802が表示される。ウィンドウ802には、指定された現像マーカーに対応するフレームの対応JPEG画像803が配置されている。この機能により、ユーザは、任意のタイミングで、かつて現像したことがあるフレームの対応JPEG画像を確認することができる。その結果、情報処理装置100の利便性をより向上したり、作業のさらなる効率化を図ったりすることができる。ウィンドウ802に配置されたボタン804をユーザが押下すると、CPU101は、ウィンドウ802を閉じる(消去する)処理を行う。   FIG. 8 shows an example of a window (GUI image) 802 displayed when the user designates a development marker. When the user specifies a development marker, the CPU 101 performs second display control for displaying the window 802 on the display unit 105. Further, the CPU 101 further performs display control for displaying a cursor that can be moved by the user on the display unit 105. This display control is performed, for example, when the information processing apparatus 100 is started. FIG. 8 shows a mouse cursor 801 that moves in response to a mouse operation as the cursor. For example, when the user moves the mouse cursor 801 to the position of the development marker and clicks the mouse, the development marker is designated, and a window 802 is displayed. In the window 802, a corresponding JPEG image 803 of a frame corresponding to the designated development marker is arranged. With this function, the user can check, at an arbitrary timing, the corresponding JPEG image of the frame that has been developed before. As a result, the convenience of the information processing apparatus 100 can be further improved, and the work efficiency can be further improved. When the user presses a button 804 arranged in the window 802, the CPU 101 performs a process of closing (erasing) the window 802.

本実施例に係るJPEG表示処理(対応JPEG画像を表示する処理;第2の表示制御)について、図9のフローチャートを用いて説明する。図9のフローチャートは、例えば、図6のウィンドウ601が表示されたタイミングで開始される。まず、S901にて、現像マーカーがユーザによって指定されたか否かを、CPU101が判断する。現像マーカーが指定されるまでS901の処理が繰り返され、現像マーカーが指定されるとS902に処理が進められる。S902にて、CPU101は、指定された現像マーカーに関連付けられている現像マーカーIDを取得する。そして、S903にて、CPU101は、S902において取得した現像マーカーIDに対応するJPEGファイルパスを、データベースから取得する。次に、S904にて、CPU101は、S903において取得したJPEGファイルパスによって示された場所に保存されている対応JPEG画像を取得し、取得した対応JPEG画像を表示部105に表示する制御を行う。その後、S901に処理が戻される。   JPEG display processing (processing for displaying a corresponding JPEG image; second display control) according to this embodiment will be described with reference to the flowchart in FIG. 9. The flowchart in FIG. 9 is started, for example, at the timing when the window 601 in FIG. 6 is displayed. First, in S901, the CPU 101 determines whether or not the development marker has been designated by the user. The process of S901 is repeated until a development marker is designated, and when a development marker is designated, the process proceeds to S902. In S902, CPU 101 acquires a development marker ID associated with the specified development marker. Then, in step S903, the CPU 101 acquires a JPEG file path corresponding to the development marker ID acquired in step S902 from the database. Next, in step S904, the CPU 101 performs control to acquire the corresponding JPEG image stored at the location indicated by the JPEG file path acquired in step S903, and display the acquired corresponding JPEG image on the display unit 105. Then, the process returns to S901.

なお、現像マーカーが指定された場合に行われる処理は、対応JPEG画像を表示する処理に限られない。例えば、現像マーカーが指定された場合に、CPU101は、指定された現像マーカーに対応するシーン(フレーム)から動画を再生する制御を行ってもよい。   Note that the processing performed when the development marker is designated is not limited to the processing for displaying the corresponding JPEG image. For example, when a development marker is designated, the CPU 101 may control to reproduce a moving image from a scene (frame) corresponding to the designated development marker.

以上述べたように、本実施例によれば、指定シーン(対応シーン)を示す第1のシーン
情報が記録される。そして、動画を再生する再生制御の実行時に、第1のシーン情報によって示されたシーンに対応する当該動画のシーンを示す第2のシーン情報が表示される。それにより、動画の再生時に有益な情報をユーザに提供することができ、ひいては装置の利便性を向上したり、作業の効率化を図ったりすることができる。
As described above, according to the present embodiment, the first scene information indicating the designated scene (corresponding scene) is recorded. Then, at the time of executing the reproduction control for reproducing the moving image, the second scene information indicating the scene of the moving image corresponding to the scene indicated by the first scene information is displayed. As a result, useful information can be provided to the user at the time of reproducing the moving image, and the convenience of the apparatus can be improved and the work can be performed more efficiently.

<実施例2>
以下、本発明の実施例2について説明する。なお、以下では、実施例1と異なる構成や処理について詳しく説明し、実施例1と同様の構成や処理についての説明は省略する。
<Example 2>
Hereinafter, a second embodiment of the present invention will be described. In the following, configurations and processes different from those in the first embodiment will be described in detail, and descriptions of configurations and processes similar to those in the first embodiment will be omitted.

実施例1では、第1の動画であるRAW動画から指定シーンを選択し、且つ、RAW動画を再生する再生制御を行う例を説明した。しかしながら、第1の動画は、RAW動画のように非圧縮の動画であったり、データ圧縮率が低い動画であったりする。そのため、第1の動画のデータサイズは大きく、第1の動画を用いた処理の負荷も大きい。したがって、実施例1の処理をスムーズに行うためには、高スペックの情報処理装置が必要となる。   In the first embodiment, the example has been described in which the designated scene is selected from the RAW moving image as the first moving image, and the reproduction control for reproducing the RAW moving image is performed. However, the first moving image is an uncompressed moving image like a RAW moving image, or a moving image having a low data compression ratio. Therefore, the data size of the first moving image is large, and the load of processing using the first moving image is large. Therefore, in order to smoothly perform the processing of the first embodiment, an information processing apparatus with high specifications is required.

そこで、本実施例では、第1の動画をデータ圧縮した第2の動画を予め生成し、予め生成した第2の動画を第1の動画の代わりに使用する。第2の動画のデータフォーマットは特に限定されないが、本実施例では、第2の動画として、MP4形式の動画であるMP4動画を使用する。この場合、第2の動画は、「第1の動画と同内容であり、且つ、第1の動画とデータフォーマットが異なる動画」とも言える。第2の動画は、例えば、画像サイズ(画像解像度)、フレームレート、取り得る階調値の範囲、等の少なくともいずれかが第1の動画よりも低い動画である。第1の動画と第2の動画の差異は、データフォーマットの差異のみであってもよい。上述したように、第2の動画は、第1の動画をデータ圧縮した動画である。そのため、第2の動画のデータサイズは第1の動画のデータサイズよりも小さく、第2の動画を用いた処理の負荷は第1の動画を用いた処理の負荷よりも小さい。例えば、MP4動画のフレームのデコード処理は、RAWデータの現像処理よりも処理負荷が小さい。したがって、第1の動画の代わりに第2の動画を用いることにより、比較的低スペックの情報処理装置で、指定シーンの選択、再生制御、等をスムーズに行うことができる。   Therefore, in the present embodiment, a second moving image obtained by compressing the first moving image is generated in advance, and the previously generated second moving image is used instead of the first moving image. Although the data format of the second moving image is not particularly limited, in the present embodiment, an MP4 moving image that is an MP4 moving image is used as the second moving image. In this case, the second moving image can be said to be “a moving image having the same content as the first moving image and having a different data format from the first moving image”. The second moving image is, for example, a moving image in which at least one of an image size (image resolution), a frame rate, a range of possible gradation values, and the like is lower than the first moving image. The difference between the first moving image and the second moving image may be only the difference in the data format. As described above, the second moving image is a moving image obtained by compressing the first moving image. Therefore, the data size of the second moving image is smaller than the data size of the first moving image, and the load of processing using the second moving image is smaller than the load of processing using the first moving image. For example, the processing load of decoding a frame of an MP4 moving image is smaller than that of developing processing of RAW data. Therefore, by using the second moving image instead of the first moving image, it is possible to smoothly perform selection of a designated scene, reproduction control, and the like with an information processing apparatus having relatively low specifications.

図10を用いて、RAW動画からMP4動画を生成する方法について説明する。MP4動画の生成は情報処理装置100とは異なる装置(例えば、RAW動画の撮影を行う撮影装置)で行われてもよいが、本実施例では、情報処理装置100がMP4動画の生成を行うものとする。図10の符号1001は、撮影装置が撮影を行うことによって生成されたRAW動画を示す。RAW動画1001の画像サイズやフレームレートは特に限定されないが、図10の例では、RAW動画1001の画像サイズ(水平方向の画素数×垂直方向の画素数)は4000×2000であり、RAW動画1001のフレームレートは60fpsである。   A method of generating an MP4 moving image from a RAW moving image will be described with reference to FIG. Although the generation of the MP4 moving image may be performed by a device different from the information processing device 100 (for example, a photographing device that shoots a RAW moving image), in the present embodiment, the information processing device 100 generates the MP4 moving image. And Reference numeral 1001 in FIG. 10 indicates a RAW moving image generated by performing photographing by the photographing apparatus. Although the image size and the frame rate of the RAW moving image 1001 are not particularly limited, in the example of FIG. 10, the image size (the number of pixels in the horizontal direction × the number of pixels in the vertical direction) of the RAW moving image 1001 is 4000 × 2000. Has a frame rate of 60 fps.

実施例1と同様の方法で、RAW動画1001が、動画ファイルとして二次記憶部107に記録される。但し、本実施例では、RAW動画1001が二次記憶部107に記録される際に、CPU101は、RAW動画1001から、RAW動画1001と同内容のMP4動画1002を生成し、MP4動画1002を、動画ファイルとして二次記憶部107にさらに記録する。MP4動画1002の画像サイズやフレームレートは特に限定されないが、図10の例では、MP4動画1002の画像サイズは2000×1000であり、MP4動画1002のフレームレートは30fpsである。   The RAW moving image 1001 is recorded in the secondary storage unit 107 as a moving image file in the same manner as in the first embodiment. However, in the present embodiment, when the RAW moving image 1001 is recorded in the secondary storage unit 107, the CPU 101 generates an MP4 moving image 1002 having the same content as the RAW moving image 1001 from the RAW moving image 1001, and This is further recorded in the secondary storage unit 107 as a moving image file. Although the image size and frame rate of the MP4 moving image 1002 are not particularly limited, in the example of FIG. 10, the image size of the MP4 moving image 1002 is 2000 × 1000, and the frame rate of the MP4 moving image 1002 is 30 fps.

ここで、MP4動画1002のデータフォーマットは、RAW動画1001のデータフォーマットと異なる。MP4動画1002の画像サイズも、RAW動画1001の画像サイズと異なる。そして、MP4動画1002のフレームレートも、RAW動画1001の
フレームレートと異なる。そのため、MP4動画1002を生成するためには、RAW動画1001のデータフォーマット、画像サイズ、及び、フレームレートを変換する必要がある。RAW動画をMP4動画に変換する動画変換処理の一例を、図11のフローチャートを用いて説明する。
Here, the data format of the MP4 moving image 1002 is different from the data format of the RAW moving image 1001. The image size of the MP4 moving image 1002 is also different from the image size of the RAW moving image 1001. The frame rate of the MP4 moving image 1002 is also different from the frame rate of the RAW moving image 1001. Therefore, in order to generate the MP4 moving image 1002, it is necessary to convert the data format, image size, and frame rate of the RAW moving image 1001. An example of a moving image conversion process for converting a RAW moving image to an MP4 moving image will be described with reference to the flowchart in FIG.

まず、S1101にて、CPU101は、変数m=1を設定する。変数mは、「MP4動画のフレームID」とも言える。次に、S1102にて、CPU101は、MP4動画のm番目のフレームに対応するRAW動画のフレームの番号nを、式1を用いて算出する。式1において、「INT()」は()内の値の小数点以下を切り捨てる関数であり、「FR_RAW」はRAW動画のフレームレートであり、「FR_MP4」はMP4動画のフレームレートである。変数m=1の場合には、番号n=1が算出される。この算出結果は、例えば、「MP4動画1002の1番目のフレーム1003に対応するRAW動画1001のフレームが、RAW動画1001の1番目のフレーム1004である」ということを意味する。変数nは、「RAW動画のフレームID」とも言える。

n=INT((m−1)×(FR_RAW/FR_MP4))+1
・・・(式1)
First, in S1101, the CPU 101 sets a variable m = 1. The variable m can be said to be “frame ID of MP4 moving image”. Next, in S1102, the CPU 101 calculates the number n of the frame of the RAW moving image corresponding to the m-th frame of the MP4 moving image by using Expression 1. In Expression 1, “INT ()” is a function that rounds down the decimal point of the value in (), “FR_RAW” is the frame rate of the RAW video, and “FR_MP4” is the frame rate of the MP4 video. If the variable m = 1, the number n = 1 is calculated. This calculation result means, for example, that “the frame of the RAW moving image 1001 corresponding to the first frame 1003 of the MP4 moving image 1002 is the first frame 1004 of the RAW moving image 1001”. The variable n can be said to be “RAW moving image frame ID”.

n = INT ((m-1) × (FR_RAW / FR_MP4)) + 1
... (Equation 1)

そして、S1103にて、CPU101は、n番目のフレームがRAW動画に存在するか否かを判断する。n番目のフレームがRAW動画に存在しない場合には、本フローチャートが終了される。n番目のフレームがRAW動画に存在する場合には、S1104に処理が進められる。   Then, in S1103, CPU 101 determines whether or not the n-th frame exists in the RAW moving image. If the n-th frame does not exist in the RAW moving image, this flowchart ends. If the n-th frame exists in the RAW moving image, the process proceeds to S1104.

S1104にて、CPU101は、RAW動画のn番目のフレームに対し現像処理を施す。次に、S1105にて、CPU101は、S1104の処理結果に、画像サイズを4000×2000から2000×1000に変換する解像度変換処理を施す。解像度変換処理は、従来の処理と同様であるため、その詳細な説明は省略する。そして、S1106にて、CPU101は、S1105の処理結果に、データフォーマットをMP4形式に変換するエンコード処理を施す。本実施例では、IフレームとPフレームが交互に存在するMP4動画が生成されるように、エンコード処理が行われる。Iフレームは、フレーム間予測を用いずに符号化されたフレームである。Pフレームは、前方向予測のみを用いて符号化されたフレームであり、例えば、ひとつ前のフレームを参照して生成されたフレームである。次に、S1107にて、CPU101は、S1106の処理結果を、MP4動画のm番目のフレームの画像データとして、MP4動画の動画ファイルに記録する。そして、S1108にて、CPU101は、変数mの値を1だけ増やす。その後、S1102に戻され、S1103で「n番目のフレームがRAW動画に存在しない」と判断されるまで、S1102〜S1108の処理が繰り返される。   In step S1104, the CPU 101 performs a developing process on the n-th frame of the RAW moving image. Next, in step S1105, the CPU 101 performs a resolution conversion process on the processing result in step S1104 to convert the image size from 4000 × 2000 to 2000 × 1000. Since the resolution conversion processing is the same as the conventional processing, a detailed description thereof will be omitted. Then, in S1106, the CPU 101 performs an encoding process for converting the data format to the MP4 format on the processing result in S1105. In the present embodiment, the encoding process is performed so that an MP4 moving image in which I frames and P frames alternately exist. An I frame is a frame encoded without using inter-frame prediction. The P frame is a frame encoded using only forward prediction, and is, for example, a frame generated with reference to the immediately preceding frame. Next, in S1107, the CPU 101 records the processing result of S1106 as the image data of the m-th frame of the MP4 moving image in the moving image file of the MP4 moving image. Then, in S1108, CPU 101 increases the value of variable m by one. Thereafter, the process returns to S1102, and the processes of S1102 to S1108 are repeated until it is determined in S1103 that “the n-th frame does not exist in the RAW moving image”.

なお、IフレームとPフレームが交互に存在するMP4動画を生成する例を説明したが、MP4動画はこれに限られない。例えば、Bフレームを含むMP4動画が生成されてもよい。Bフレームは、前方向予測、後方向予測、及び、両方向予測のいずれかを用いて符号化されたフレームである。ここで、Iフレーム、Pフレーム、及び、Bフレームを含むMP4動画を生成する場合を考える。この場合には、MP4動画の最初のフレームから順番に各フレームが生成されないことがある。この場合には、最初にIフレームが生成され、その後にPフレームとBフレームが生成されるように、エンコード順序(複数のフレームにそれぞれ対応する複数のエンコード処理の順番)が調整される。エンコード処理は、従来の処理と同様であるため、その詳細な説明は省略する。   Although the example in which the MP4 moving image in which the I frame and the P frame exist alternately has been described, the MP4 moving image is not limited to this. For example, an MP4 moving image including a B frame may be generated. The B frame is a frame encoded using one of forward prediction, backward prediction, and bidirectional prediction. Here, consider a case where an MP4 moving image including an I frame, a P frame, and a B frame is generated. In this case, each frame may not be generated in order from the first frame of the MP4 moving image. In this case, the encoding order (the order of a plurality of encoding processes respectively corresponding to a plurality of frames) is adjusted so that an I frame is generated first, and then a P frame and a B frame are generated. The encoding process is the same as the conventional process, and a detailed description thereof will be omitted.

本実施例でも、処理アプリケーションを用いて、RAW動画から指定シーンが選択され
、指定シーン(対応シーン)に対して現像処理が施される。処理アプリケーションのGUI画像は、実施例1(図3)と同じである。本実施例に係る処理アプリケーションの動作について、図12のフローチャートを用いて説明する。図12のフローチャートは、例えば、処理アプリケーションが起動したタイミングで開始される。
Also in the present embodiment, a designated scene is selected from a RAW moving image using a processing application, and a development process is performed on the designated scene (corresponding scene). The GUI image of the processing application is the same as in the first embodiment (FIG. 3). The operation of the processing application according to the present embodiment will be described with reference to the flowchart in FIG. The flowchart in FIG. 12 is started, for example, at the timing when the processing application is activated.

S1201〜S1210の処理は、図4(A)のS401〜S410の処理と同じである。S1204にて「現像ボタン308が押下された」と判断された場合には、S1211に処理が進められる。S1211にて、CPU101は、選択表示フレームに対応するMP4動画のフレームを、式1を用いて検出する。その後、S1212〜S1215の処理が行われる。S1212〜S1215の処理は、図4(A)のS411〜S414の処理と同じである。   The processing of S1201 to S1210 is the same as the processing of S401 to S410 in FIG. If it is determined in S1204 that “the development button 308 has been pressed”, the process proceeds to S1211. In S1211, the CPU 101 detects a frame of the MP4 moving image corresponding to the selected display frame by using Expression 1. Thereafter, the processing of S1212 to S1215 is performed. The processing of S1212 to S1215 is the same as the processing of S411 to S414 in FIG.

なお、RAW動画のシーンが指定シーンとして選択される例を説明したが、MP4動画のシーンが指定シーンとして選択されてもよい。それにより、情報処理装置100の処理負荷を低減することができる。具体的には、S1202、S1207、及び、S1201において簡易現像処理の代わりにデコード処理が行われればよいため、情報処理装置100の処理負荷を低減することができる。MP4動画のシーンを指定シーンとして選択する場合には、S1201、S1206、及び、S1209において、MP動画のフレームが選択表示フレームとして選択される。そして、S1211にて、MP動画のフレームである選択表示フレームが指定シーンのフレームとして選択され、式1を用いて、選択表示フレームに対応するRAW動画のフレームが対応シーンのフレームとして検出される。その後、S1212にて、対応シーンに対する本現像処理が行われる。   Although the example in which the scene of the RAW moving image is selected as the specified scene has been described, the scene of the MP4 moving image may be selected as the specified scene. Thereby, the processing load of the information processing device 100 can be reduced. Specifically, in S1202, S1207, and S1201, the decoding process may be performed instead of the simple development process, so that the processing load on the information processing apparatus 100 can be reduced. When the scene of the MP4 moving image is selected as the designated scene, the frame of the MP moving image is selected as the selection display frame in S1201, S1206, and S1209. Then, in S1211, the selected display frame, which is the frame of the MP moving image, is selected as the frame of the designated scene, and the frame of the RAW moving image corresponding to the selected display frame is detected as the frame of the corresponding scene using Expression 1. Thereafter, in S1212, main development processing is performed on the corresponding scene.

図13は、本実施例に係るデータベースのスキーマ構成例を示す。実施例1と同様に、本実施例に係るデータベースは、S1212の本現像処理が施されたフレームの第1のシーン情報を含む。本実施例に係るデータベースは、現像マーカーID1301、RAWフレームID1302、MP4フレームID1303、及び、JPEGファイルパス1304の組み合わせを、第1のシーン情報として含む。現像マーカーID1301は図5の現像マーカーID501と同じである。RAWフレームID1302は、RAW動画のフレームIDであり、フレームID502と同じである。MP4フレームID1303は、MP4動画のフレームIDである。MP4フレームID1303は、S1211で算出される。JPEGファイルパス1304は、JPEGファイルパス503と同じである。なお、式1を用いれば、RAWフレームID1302とMP4フレームID1303との間でフレームIDを変換することができる。そのため、データベースには、RAWフレームID1302とMP4フレームID1303との少なくとも一方が含まれていればよい。   FIG. 13 illustrates a schema configuration example of the database according to the present embodiment. Similarly to the first embodiment, the database according to the present embodiment includes the first scene information of the frame subjected to the main development processing in S1212. The database according to the present embodiment includes a combination of a development marker ID 1301, a RAW frame ID 1302, an MP4 frame ID 1303, and a JPEG file path 1304 as first scene information. The development marker ID 1301 is the same as the development marker ID 501 in FIG. The RAW frame ID 1302 is a frame ID of the RAW moving image and is the same as the frame ID 502. The MP4 frame ID 1303 is a frame ID of the MP4 moving image. The MP4 frame ID 1303 is calculated in S1211. The JPEG file path 1304 is the same as the JPEG file path 503. Note that by using Equation 1, the frame ID can be converted between the RAW frame ID 1302 and the MP4 frame ID 1303. Therefore, the database only needs to include at least one of the RAW frame ID 1302 and the MP4 frame ID 1303.

本実施例では、再生アプリケーションを用いて、MP4動画を再生する再生制御が行われる。再生制御によってMP4動画が再生されることにより、RAW動画が再生される場合に比べ処理負荷を低減することができる。再生アプリケーションのGUI画像は、実施例1(図6)と同じである。本実施例でも、再生制御の実行時に第1の表示制御がさらに行われる。本実施例に係るマーカー表示処理(第1の表示制御)について、図14のフローチャートを用いて説明する。図14のフローチャートは、例えば、再生アプリケーションが起動したタイミングで開始される。   In the present embodiment, playback control for playing back an MP4 moving image is performed using a playback application. When the MP4 moving image is reproduced by the reproduction control, the processing load can be reduced as compared with the case where the RAW moving image is reproduced. The GUI image of the playback application is the same as in the first embodiment (FIG. 6). Also in the present embodiment, the first display control is further performed when the reproduction control is executed. The marker display processing (first display control) according to the present embodiment will be described with reference to the flowchart in FIG. The flowchart of FIG. 14 is started, for example, at the timing when the reproduction application is activated.

まず、S1401にて、CPU101は、データベースからMP4フレームIDのリストを取得する。そして、CPU101は、S1401において取得されたリストの最初のMP4フレームIDから最後のMP4フレームIDまで、MP4フレームIDを順に選択しながら、S1402の処理を繰り返し行う。S1402にて、CPU101は、選択したMP4フレームIDに対応する位置に現像マーカーを表示する制御を行う。それにより、選択されたMP4フレームIDに対応するフレームが、表示された現像マーカーによっ
て示される。S1401において取得された全てのMP4フレームIDについてS1402の処理が行われると、S1403の処理が行われる。S1403にて、CPU101は、ユーザからの指示に応じた再生制御を行う。例えば、S1403にて、再生位置の変更、再生の開始、再生の停止、等が行われる。S1403の処理は、従来の動画再生アプリケーションで行われる処理と同様であるため、その詳細な説明は省略する。
First, in S1401, the CPU 101 acquires a list of MP4 frame IDs from the database. Then, the CPU 101 repeats the process of S1402 while sequentially selecting the MP4 frame IDs from the first MP4 frame ID to the last MP4 frame ID of the list acquired in S1401. In S1402, CPU 101 performs control to display a development marker at a position corresponding to the selected MP4 frame ID. Thereby, the frame corresponding to the selected MP4 frame ID is indicated by the displayed development marker. When the processing of S1402 is performed for all the MP4 frame IDs acquired in S1401, the processing of S1403 is performed. In S1403, CPU 101 performs reproduction control according to an instruction from the user. For example, in S1403, the playback position is changed, playback is started, playback is stopped, and the like. The process of S1403 is the same as the process performed by the conventional moving image reproduction application, and thus the detailed description is omitted.

なお、再生制御として、RAW動画を再生する再生制御が行われてもよい。その場合には、実施例1(図7)と同じマーカー表示処理が行われる。指定シーンの選択と再生制御との少なくとも一方でMP4動画が使用されれば、情報処理装置100の処理負荷を低減することができる。   Note that, as the playback control, playback control for playing back a RAW moving image may be performed. In that case, the same marker display processing as in the first embodiment (FIG. 7) is performed. If the MP4 moving image is used in at least one of the selection of the designated scene and the reproduction control, the processing load on the information processing apparatus 100 can be reduced.

以上述べたように、本実施例によれば、指定シーンと対応シーンの少なくとも一方を示す第1のシーン情報が記録される。そして、動画を再生する再生制御の実行時に、第1のシーン情報によって示されたシーンに対応する当該動画のシーンを示す第2のシーン情報が表示される。それにより、動画の再生時に有益な情報をユーザに提供することができ、ひいては装置の利便性を向上したり、作業の効率化を図ったりすることができる。さらに、本実施例では、第1の動画の代わりに第2の動画が適宜使用される。それにより、情報処理装置の処理負荷を低減することができる。   As described above, according to the present embodiment, the first scene information indicating at least one of the designated scene and the corresponding scene is recorded. Then, at the time of executing the reproduction control for reproducing the moving image, the second scene information indicating the scene of the moving image corresponding to the scene indicated by the first scene information is displayed. As a result, useful information can be provided to the user at the time of reproducing the moving image, and the convenience of the apparatus can be improved and the work can be performed more efficiently. Further, in the present embodiment, the second moving image is appropriately used instead of the first moving image. Thus, the processing load on the information processing device can be reduced.

<実施例3>
以下、本発明の実施例3について説明する。なお、以下では、実施例1と異なる構成や処理について詳しく説明し、実施例1と同様の構成や処理についての説明は省略する。実施例1では、形態が同じ複数の第2のシーン情報(現像マーカー)が表示される例を説明した。しかしながら、複数の対応シーンの間で、処理(対応画像を生成する生成処理)の内容が異なることがある。そこで、本実施例では、生成処理に応じた形態で現像マーカーを表示する。それにより、ユーザは、生成処理を行ったことのあるフレームだけでなく、行われた生成処理の内容をも容易に把握することができる。
<Example 3>
Hereinafter, a third embodiment of the present invention will be described. In the following, configurations and processes different from those in the first embodiment will be described in detail, and descriptions of configurations and processes similar to those in the first embodiment will be omitted. In the first embodiment, an example has been described in which a plurality of pieces of second scene information (development markers) having the same form are displayed. However, the content of the processing (generation processing for generating a corresponding image) may differ between a plurality of corresponding scenes. Therefore, in the present embodiment, the development marker is displayed in a form corresponding to the generation processing. Thereby, the user can easily grasp not only the frames that have been subjected to the generation processing but also the contents of the performed generation processing.

本実施例では、現像マーカーの形態として現像マーカーの形状を使用する例を説明する。なお、現像マーカーの形態は現像マーカーの形状に限られない。現像マーカーの形態として、形、色、明るさ、画像サイズ、点滅パターン、等のうちの1つ以上を使用することができる。また、第2のシーン情報としてテキスト画像を使用する場合には、第2のシーン情報の形態として、フォント、文字サイズ、等を使用することもできる。   In this embodiment, an example will be described in which the shape of the development marker is used as the form of the development marker. The form of the development marker is not limited to the shape of the development marker. As the form of the development marker, one or more of shape, color, brightness, image size, blinking pattern, and the like can be used. When a text image is used as the second scene information, a font, a character size, and the like can be used as the form of the second scene information.

「生成処理に応じた形態で現像マーカーを表示する処理」として、例えば、以下の処理が行われる。

処理1:生成処理の方法(本現像処理、簡易現像処理、等)に応じた形態で現像マーカーを表示する処理
処理2:生成処理で使用されたパラメータ(現像パラメータ;明るさ、コントラスト、シャープネス、色の濃さ、等)に応じた形態で現像マーカーを表示する処理
処理3:対応画像のデータフォーマットに応じた形態で現像マーカーを表示する処理
処理4:対応画像の画像サイズに応じた形態で現像マーカーを表示する処理
処理5:対応画像の色空間に応じた形態で現像マーカーを表示する処理
処理6:対応画像の画質に応じた形態で現像マーカーを表示する処理
For example, the following processing is performed as “processing for displaying the development marker in a form corresponding to the generation processing”.

Processing 1: Processing of displaying development markers in a form according to the method of generation processing (main development processing, simple development processing, etc.) Processing 2: Parameters used in generation processing (development parameters; brightness, contrast, sharpness, Processing 3: displaying the development marker in a form corresponding to the data format of the corresponding image processing 4: displaying the development marker in a form corresponding to the data format of the corresponding image processing 4: processing in a form corresponding to the image size of the corresponding image Processing for displaying development markers Processing 5: Processing for displaying development markers in a form corresponding to the color space of the corresponding image Processing 6: Processing for displaying development markers in a form corresponding to the image quality of the corresponding image

なお、「生成処理に応じた形態で現像マーカーを表示する処理」は上記処理に限られない。例えば、生成処理の方法、生成処理で使用されたパラメータ、対応画像のデータフォーマット、対応画像の画像サイズ、対応画像の色空間、及び、対応画像の画質のうちの2
つ以上の組み合わせに応じた形態で現像マーカーが表示されてもよい。
The “processing for displaying the development marker in a form corresponding to the generation processing” is not limited to the above processing. For example, two of the generation method, the parameters used in the generation process, the data format of the corresponding image, the image size of the corresponding image, the color space of the corresponding image, and the image quality of the corresponding image
The development marker may be displayed in a form according to one or more combinations.

図15は、情報処理装置100で動作する処理アプリケーションのウィンドウ(GUI画像)301の一例を示す。図15では、ユーザ操作により、パラメータ調整部307が配置されたタブからタブ1501へ、表示されるタブが切り替えられている。タブ1501には、対応画像のデータフォーマットの入力欄1502と、対応画像の画像サイズの入力欄1503とが存在する。ユーザが入力欄1502を操作すると、CPU101は、ユーザ操作に応じたデータフォーマットを、対応画像のデータフォーマットとして選択する。本実施例では、CPU101は、JPEG形式またはTIFF形式を、対応画像のデータフォーマットとして選択する。そして、ユーザが入力欄1503を操作すると、CPU101は、ユーザ操作に応じた画像サイズを、対応画像の画像サイズとして選択する。本実施例では、CPU101は、1024×512、2048×1024、及び、4096×2048のいずれかを、対応画像の画像サイズとして選択する。   FIG. 15 shows an example of a window (GUI image) 301 of a processing application running on the information processing apparatus 100. In FIG. 15, the tab displayed is switched from the tab on which the parameter adjustment unit 307 is arranged to the tab 1501 by a user operation. The tab 1501 has an input column 1502 for the data format of the corresponding image and an input column 1503 for the image size of the corresponding image. When the user operates the input field 1502, the CPU 101 selects a data format according to the user operation as the data format of the corresponding image. In this embodiment, the CPU 101 selects the JPEG format or the TIFF format as the data format of the corresponding image. When the user operates the input field 1503, the CPU 101 selects an image size corresponding to the user operation as the image size of the corresponding image. In this embodiment, the CPU 101 selects one of 1024 × 512, 2048 × 1024, and 4096 × 2048 as the image size of the corresponding image.

本実施例に係る処理アプリケーションの動作は、実施例1(図4(A))と同じである。但し、本実施例では、図4(A)のS411とS412の処理により、入力欄1502を用いて設定されたデータフォーマットを有し、且つ、入力欄1503を用いて設定された画像サイズを有する対応画像が生成される。S413の処理により、生成された対応画像が記録される。そして、S414の処理により、S411において選択された指定シーンだけでなく、生成処理(S411とS412の処理)をさらに示す第1のシーン情報が二次記憶部107に記録される。なお、生成処理の方法が変更可能である場合には、S411において本現像処理とは異なる現像処理(簡易現像処理など)が行われることがある。   The operation of the processing application according to the present embodiment is the same as that of the first embodiment (FIG. 4A). However, in the present embodiment, the data format set using the input field 1502 and the image size set using the input field 1503 are obtained by the processing of S411 and S412 in FIG. A corresponding image is generated. By the process of S413, the generated corresponding image is recorded. Then, by the processing of S414, not only the designated scene selected in S411, but also the first scene information further indicating the generation processing (the processing of S411 and S412) is recorded in the secondary storage unit 107. If the method of the generation process can be changed, a development process (such as a simple development process) different from the main development process may be performed in S411.

図16は、本実施例に係るデータベースのスキーマ構成例を示す。図16は、上述した処理3または処理4を行うためのデータベースを示す。実施例1と同様に、本実施例に係るデータベースは、S411の現像処理が施されたフレームの第1のシーン情報を含む。本実施例に係るデータベースは、現像マーカーID1601、フレームID1602、フォーマットID1603、サイズID1604、及び、ファイルパス1605の組み合わせを、第1のシーン情報として含む。現像マーカーID1601は図5の現像マーカーID501と同じである。フレームID1602は、RAW動画のフレームIDであり、フレームID502と同じである。ファイルパス1605は、対応画像の保存先を示すファイルパスである。   FIG. 16 illustrates a schema configuration example of the database according to the present embodiment. FIG. 16 shows a database for performing the above-described processing 3 or processing 4. As in the first embodiment, the database according to the present embodiment includes the first scene information of the frame subjected to the development processing in S411. The database according to the present embodiment includes a combination of a development marker ID 1601, a frame ID 1602, a format ID 1603, a size ID 1604, and a file path 1605 as first scene information. The development marker ID 1601 is the same as the development marker ID 501 in FIG. The frame ID 1602 is the frame ID of the RAW moving image, and is the same as the frame ID 502. The file path 1605 is a file path indicating a storage destination of the corresponding image.

フォーマットID1603は、対応画像のデータフォーマットを示す情報である。フォーマットID1603を用いて生成処理が示されることにより、上述した処理3が実現可能となる。図16の例では、対応画像のデータフォーマットがJPEG形式の場合に、フォーマットID1603として「1」が使用され、対応画像のデータフォーマットがTIFF形式の場合に、フォーマットID1603として「2」が使用される。   The format ID 1603 is information indicating the data format of the corresponding image. By indicating the generation processing using the format ID 1603, the processing 3 described above can be realized. In the example of FIG. 16, “1” is used as the format ID 1603 when the data format of the corresponding image is the JPEG format, and “2” is used as the format ID 1603 when the data format of the corresponding image is the TIFF format. .

サイズID1604は、対応画像の画像サイズを示す情報である。サイズID1604を用いて生成処理が示されることにより、上述した処理4が実現可能となる。図16の例では、対応画像の画像サイズが1024×512の場合に、サイズID1604として「1」が使用され、対応画像の画像サイズが2048×1024の場合に、サイズID1604として「2」が使用される。そして、対応画像の画像サイズが4096×2048の場合に、サイズID1604として「3」が使用される。   The size ID 1604 is information indicating the image size of the corresponding image. By indicating the generation processing using the size ID 1604, the processing 4 described above can be realized. In the example of FIG. 16, “1” is used as the size ID 1604 when the image size of the corresponding image is 1024 × 512, and “2” is used as the size ID 1604 when the image size of the corresponding image is 2048 × 1024. Is done. Then, when the image size of the corresponding image is 4096 × 2048, “3” is used as the size ID 1604.

なお、上述した処理1を行うためには、第1のシーン情報において、生成処理の方法を示す情報を用いて生成処理が示されていればよい。処理2を行うためには、第1のシーン情報において、生成処理で使用されたパラメータを示す情報を用いて生成処理が示されて
いればよい。処理5を行うためには、第1のシーン情報において、対応画像の色空間を示す情報を用いて生成処理が示されていればよい。処理6を行うためには、第1のシーン情報において、対応画像の画質を示す情報を用いて生成処理が示されていればよい。
Note that in order to perform the above-described process 1, the first scene information only needs to indicate the generation process using information indicating the generation process method. In order to perform the process 2, the first scene information only needs to indicate the generation process using information indicating the parameters used in the generation process. In order to perform the process 5, the first scene information only needs to indicate the generation process using the information indicating the color space of the corresponding image. In order to perform the process 6, the first scene information only needs to indicate the generation process using the information indicating the image quality of the corresponding image.

図17は、情報処理装置100で動作する再生アプリケーションのウィンドウ(GUI画像)1701の一例を示す。図6のウィンドウ601と比較して、ウィンドウ1701には、ボタン1702がさらに配置されている。ユーザがボタン1702を操作すると、CPU101は、メニュー1703を表示する処理を行う。メニュー1703には、「種別なし」、「現像種別」、「パラメータ種別」、「フォーマット種別」、「サイズ種別」、「色空間種別」、及び、「画質種別」の7つの項目が存在する。「種別なし」がユーザによって指定されると、CPU101は、実施例1と同様に、現像マーカーの形態が固定であるマーカー表示処理(第1の表示制御)を行う。「現像種別」がユーザによって指定されると、CPU101は、マーカー表示処理として、上述した処理1を行う。「パラメータ種別」がユーザによって指定されると、CPU101は、マーカー表示処理として処理2を行う。「フォーマット種別」がユーザによって指定されると、CPU101は、マーカー表示処理として処理3を行う。「サイズ種別」がユーザによって指定されると、CPU101は、マーカー表示処理として処理4を行う。「色空間種別」がユーザによって指定されると、CPU101は、マーカー表示処理として処理5を行う。そして、「画質種別」がユーザによって指定されると、CPU101は、マーカー表示処理として処理6を行う。   FIG. 17 illustrates an example of a window (GUI image) 1701 of a playback application that operates on the information processing apparatus 100. A button 1702 is further arranged on the window 1701 as compared with the window 601 in FIG. When the user operates the button 1702, the CPU 101 performs a process of displaying a menu 1703. The menu 1703 has seven items of “no type”, “development type”, “parameter type”, “format type”, “size type”, “color space type”, and “image quality type”. When “no type” is specified by the user, the CPU 101 performs a marker display process (first display control) in which the form of the development marker is fixed, as in the first embodiment. When the “development type” is designated by the user, the CPU 101 performs the above-described process 1 as a marker display process. When the “parameter type” is designated by the user, the CPU 101 performs a process 2 as a marker display process. When the “format type” is designated by the user, the CPU 101 performs a process 3 as a marker display process. When the “size type” is designated by the user, the CPU 101 performs processing 4 as marker display processing. When the “color space type” is specified by the user, the CPU 101 performs a process 5 as a marker display process. Then, when the “image quality type” is designated by the user, the CPU 101 performs processing 6 as marker display processing.

左側のウィンドウ1701は、「現像種別」が指定された場合のウィンドウである。そのため、左側のウィンドウ1701では、三角形の現像マーカー1705〜1707が配置されている。ここで、符号1704に示すように「フォーマット種別」が指定されると、左側のウィンドウ1701から右側のウィンドウ1701へウィンドウが変更される。具体的には、現像マーカー1705〜1707が現像マーカー1708〜1710に変更される。三角形の現像マーカー1708,1710は、対応画像のデータフォーマットがJPEG形式であることを示し、菱形の現像マーカー1709は、対応画像のデータフォーマットがTIFF形式であることを示す。   The window 1701 on the left is a window when the “development type” is designated. Therefore, in the left window 1701, triangular development markers 1705 to 1707 are arranged. Here, when the “format type” is designated as indicated by reference numeral 1704, the window is changed from the left window 1701 to the right window 1701. Specifically, the development markers 1705 to 1707 are changed to development markers 1708 to 1710. Triangle development markers 1708 and 1710 indicate that the data format of the corresponding image is JPEG format, and rhombus development marker 1709 indicates that the data format of the corresponding image is TIFF format.

本実施例に係るマーカー表示処理(第1の表示制御)について、図18のフローチャートを用いて説明する。図18は、対応画像のデータフォーマットに応じた形態で現像マーカーを表示する処理3を示す。図18のフローチャートは、例えば、再生アプリケーションが起動したタイミングで開始される。   The marker display processing (first display control) according to the present embodiment will be described with reference to the flowchart in FIG. FIG. 18 shows processing 3 for displaying the development marker in a form corresponding to the data format of the corresponding image. The flowchart in FIG. 18 is started, for example, at the timing when the reproduction application is activated.

まず、S1801にて、CPU101は、データベースからフレームIDのリストを取得する。そして、CPU101は、S1801において取得されたリストの最初のフレームIDから最後のフレームIDまで、フレームIDを順に選択しながら、S1802〜S1805の処理を繰り返し行う。S1802にて、CPU101は、選択したフレームIDに対応するフォーマットIDを、データベースから取得する。次に、S1803にて、CPU101は、S1802において取得されたフォーマットIDが「1」であるか「2」であるかを判断する。この処理は、「対応画像のデータフォーマットを判断する処理」とも言える。フォーマットIDが「1」である場合にはS1804に処理が進められ、フォーマットIDが「2」である場合にはS1805に処理が進められる。S1804にて、CPU101は、選択したフレームIDに対応する位置に三角形の現像マーカーを表示する制御を行う。S1805にて、CPU101は、選択したフレームIDに対応する位置に菱形の現像マーカーを表示する制御を行う。S1801において取得された全てのフレームIDについてS1802〜S1805の処理が行われると、S1806の処理が行われる。S1806にて、CPU101は、ユーザからの指示に応じた再生制御を行う。例えば、S1806にて、再生位置の変更、再生の開始、再生の停止、等が行われる。S
1806の処理は、従来の動画再生アプリケーションで行われる処理と同様であるため、その詳細な説明は省略する。
First, in S1801, the CPU 101 acquires a list of frame IDs from the database. Then, the CPU 101 repeats the processing of S1802 to S1805 while sequentially selecting the frame IDs from the first frame ID to the last frame ID of the list acquired in S1801. In S1802, CPU 101 acquires a format ID corresponding to the selected frame ID from the database. Next, in S1803, the CPU 101 determines whether the format ID obtained in S1802 is “1” or “2”. This processing can also be said to be “processing for determining the data format of the corresponding image”. If the format ID is "1", the process proceeds to S1804; if the format ID is "2", the process proceeds to S1805. In step S1804, the CPU 101 performs control to display a triangular development marker at a position corresponding to the selected frame ID. In S1805, the CPU 101 performs control to display a diamond-shaped development marker at a position corresponding to the selected frame ID. When the processing of S1802 to S1805 is performed for all the frame IDs acquired in S1801, the processing of S1806 is performed. In S1806, CPU 101 performs reproduction control according to the instruction from the user. For example, in S1806, the reproduction position is changed, reproduction is started, reproduction is stopped, and the like. S
The processing of 1806 is the same as the processing performed by the conventional moving image reproduction application, and thus the detailed description thereof is omitted.

以上述べたように、本実施例によれば、対応シーンに対する処理に応じた形態で第2のシーン情報が表示される。実施例1と同様の効果だけでなく、対応シーンに対する処理の内容をユーザが容易に把握することができるという効果をさらに得ることができる。   As described above, according to the present embodiment, the second scene information is displayed in a form corresponding to the processing for the corresponding scene. In addition to the same effect as in the first embodiment, an effect that the user can easily grasp the contents of the process for the corresponding scene can be further obtained.

ところで、図19(A)の領域1901で示すように、複数の現像マーカーが重なり合って表示されることがある。このような表示は非常に見づらい。そのため、複数の現像マーカーが重なり合わないように表示されることが好ましい。例えば、図19(B)に示すように、複数の現像マーカーの集中度合いが閾値以上である領域内(領域1901内)にマウスカーソルが移動した場合に、画像1902を表示する第3の表示制御がCPU101によってさらに行われることが好ましい。画像1902は、スライダーバーの少なくとも一部を拡大した拡大スライダーバーと、領域1901内の上記複数の現像マーカーとを含む。これにより、複数の現像マーカーを見易くすることができ、ユーザは、現像マーカーの確認、現像マーカーの指定、等をより容易に行うことができる。なお、表示部105がタッチパネルを備えるとき、ユーザが指を使って表示部105に接触することで位置を指定するようにしてもよい。この場合、マウスカーソルの位置の代わりにユーザが接触した位置が用いられる。   By the way, as shown by an area 1901 in FIG. 19A, a plurality of development markers may be displayed overlapping each other. Such a display is very hard to see. Therefore, it is preferable that a plurality of development markers be displayed so as not to overlap. For example, as shown in FIG. 19B, a third display control for displaying an image 1902 when the mouse cursor moves within an area (in an area 1901) in which the degree of concentration of a plurality of development markers is equal to or more than a threshold value. Is preferably further performed by the CPU 101. The image 1902 includes an enlarged slider bar obtained by enlarging at least a part of the slider bar, and the plurality of development markers in the area 1901. This makes it easier to see the plurality of development markers, and the user can more easily confirm the development markers, specify the development markers, and the like. When the display unit 105 includes a touch panel, the position may be specified by a user touching the display unit 105 with a finger. In this case, the position touched by the user is used instead of the position of the mouse cursor.

なお、集中度合いと比較される上記閾値は、情報処理装置100や再生アプリケーションのメーカーによって予め定められた固定値であってもよいし、ユーザが変更可能な値であってもよいし、情報処理装置100によって決定された値であってもよい。また、第4表示制御が行われる。   Note that the threshold value compared with the degree of concentration may be a fixed value predetermined by the maker of the information processing apparatus 100 or the reproduction application, a value that can be changed by the user, It may be a value determined by the device 100. Further, fourth display control is performed.

<実施例4>
以下、本発明の実施例4について説明する。なお、以下では、実施例1と異なる構成や処理について詳しく説明し、実施例1と同様の構成や処理についての説明は省略する。
<Example 4>
Hereinafter, a fourth embodiment of the present invention will be described. In the following, configurations and processes different from those in the first embodiment will be described in detail, and descriptions of configurations and processes similar to those in the first embodiment will be omitted.

本実施例では、情報処理装置100の利便性をさらに向上することができる例を説明する。本実施例に係る情報処理装置100は、RAW動画に基づいて、RAW動画の一部のシーンの動画であり、且つ、対応シーン(指定シーンに対応するRAW動画のシーン)を含む動画であるダイジェスト動画を生成する。また、本実施例に係る情報処理装置100は、RAW動画を再生する再生制御として、対応シーンとその周辺のシーンを、それら以外のシーンの再生速度と異なる再生速度で再生する再生制御を行う。具体的には、本実施例に係る情報処理装置100は、対応シーンとその周辺のシーンを、それら以外のシーンの再生速度よりも遅い再生速度で再生する再生制御を行う。指定シーンは、ユーザが注目したいシーンである可能性が高い。そのため、上述した機能により、情報処理装置100の利便性をさらに向上することができる。具体的には、ユーザが指定シーンを容易に確認できるようになったり、ユーザが指定シーンを詳細に確認できるようになったりする。   In this embodiment, an example will be described in which the convenience of the information processing apparatus 100 can be further improved. The information processing apparatus 100 according to the present embodiment is a digest that is a moving image of a part of a RAW moving image and a moving image including a corresponding scene (a scene of a RAW moving image corresponding to a designated scene) based on the RAW moving image. Generate video. Further, the information processing apparatus 100 according to the present embodiment performs, as playback control for playing back the RAW moving image, playback control for playing back the corresponding scene and surrounding scenes at a playback speed different from the playback speed of the other scenes. Specifically, the information processing apparatus 100 according to the present embodiment performs reproduction control for reproducing the corresponding scene and the surrounding scene at a reproduction speed lower than the reproduction speed of the other scenes. The designated scene is likely to be a scene that the user wants to pay attention to. Therefore, the convenience of the information processing device 100 can be further improved by the above-described functions. Specifically, the user can easily confirm the designated scene, or the user can confirm the designated scene in detail.

なお、ユーザが省きたいシーンが、指定シーンとして選択されることもある。そのため、対応シーンとその周辺のシーンを、それら以外のシーンの再生速度よりも速い再生速度で再生する再生制御が行われてもよい。そのような機能によれば、ユーザが省きたいシーンが指定シーンとして選択された場合における情報処理装置100の利便性を向上することができる。   Note that a scene that the user wants to omit may be selected as the designated scene. Therefore, playback control for playing back the corresponding scene and surrounding scenes at a playback speed higher than the playback speed of the other scenes may be performed. According to such a function, it is possible to improve the convenience of the information processing apparatus 100 when a scene that the user wants to omit is selected as the designated scene.

なお、MP4動画に基づいて、MP4動画の一部のシーンの動画であり、且つ、指定シーンや対応シーンに対応するMP4動画のシーンを含む動画が、ダイジェスト動画として生成されてもよい。RAW動画であるダイジェスト動画が生成された後に、ダイジェスト
動画のデータフォーマットがMP4形式に変換されてもよい。また、MP4動画を再生する再生制御として、指定シーンや対応シーンに対応するシーンとその周辺のシーンを、それら以外のシーンの再生速度と異なる再生速度で再生する再生制御が行われてもよい。
Note that, based on the MP4 moving image, a moving image that is a moving image of some scenes of the MP4 moving image and that includes a scene of the MP4 moving image corresponding to the designated scene or the corresponding scene may be generated as the digest moving image. After the digest moving image that is the RAW moving image is generated, the data format of the digest moving image may be converted to the MP4 format. Further, as the playback control for playing back the MP4 moving image, a playback control for playing back a scene corresponding to the designated scene or the corresponding scene and a peripheral scene at a playback speed different from the playback speed of the other scenes may be performed.

指定シーンに対応するシーンがダイジェスト動画に含まれていれば、ダイジェスト動画に含まれるシーンは特に限定されない。本実施例では、CPU101は、現像マーカーで示されたフレーム(対応シーン)とその周辺のフレーム(対応シーンの周辺のシーン)を含むシーンを動画から抽出する処理を、各現像マーカーについて行う。そして、CPU101は、抽出した複数のシーンを結合することにより、ダイジェスト動画を生成する。図20を用いて、本実施例に係るダイジェスト動画について説明する。   As long as the scene corresponding to the designated scene is included in the digest moving image, the scene included in the digest moving image is not particularly limited. In the present embodiment, the CPU 101 performs a process of extracting, from each moving image, a scene including a frame (corresponding scene) indicated by the development marker and a frame around the frame (corresponding scene). Then, the CPU 101 generates a digest moving image by combining the plurality of extracted scenes. The digest moving image according to the present embodiment will be described with reference to FIG.

本実施例では、RAW動画2001から、RAW動画2001の総時間よりも短いL秒のダイジェスト動画2010が生成される。本実施例では、ダイジェスト動画を生成する機能を再生アプリケーションが有しており、再生アプリケーションの起動時にダイジェスト動画が自動的に生成される。図20では、4つの現像マーカーにそれぞれ対応する4つの三角形2002〜2005が示されている。三角形2002〜2005は、現像マーカーと同様に、対応シーンのフレームを示す。図20の例では、4つの三角形2002〜2005にそれぞれ対応する4つの動画(部分動画)2006〜2009が抽出される。本実施例では、以下の式2を用いて時間tが算出される。式2において、「N」は、現像マーカーの数である。その後、抽出された4つの部分動画を結合することにより、ダイジェスト動画2010が生成される。

t=L/N ・・・(式2)
In the present embodiment, a digest movie 2010 of L seconds shorter than the total time of the RAW movie 2001 is generated from the RAW movie 2001. In this embodiment, the playback application has a function of generating a digest movie, and the digest movie is automatically generated when the playback application is activated. FIG. 20 shows four triangles 2002 to 2005 corresponding to the four development markers, respectively. Triangles 2002 to 2005 indicate frames of the corresponding scene, similarly to the development markers. In the example of FIG. 20, four moving images (partial moving images) 2006 to 2009 respectively corresponding to the four triangles 2002 to 2005 are extracted. In the present embodiment, the time t is calculated using the following Expression 2. In Equation 2, “N” is the number of development markers. Then, the digest moving image 2010 is generated by combining the extracted four partial moving images.

t = L / N (Equation 2)

なお、各部分動画の時間tは特に限定されない。複数の部分動画の間で時間tが異なっていてもよい。また、ダイジェスト動画を生成するダイジェスト動画生成アプリケーションが用意されていてもよい。また、ダイジェスト動画は、ユーザからの指示に応じて生成されてもよい。   The time t of each partial moving image is not particularly limited. The time t may be different between a plurality of partial moving images. Also, a digest moving image generation application that generates a digest moving image may be provided. Further, the digest moving image may be generated according to an instruction from the user.

本実施例に係るダイジェスト動画生成処理(ダイジェスト動画を生成する処理)について、図21のフローチャートを用いて説明する。まず、S2101にて、CPU101は、変数Nに現像マーカー(対応シーン)の数を設定する。次に、S2102にて、CPU101は、変数Nが0より大きいか否かを判断する。変数Nが0である場合には、本フローチャートが終了され、変数Nが0より大きい場合には、S2103に処理が進められる。S2103にて、CPU101は、ダイジェスト動画の時間Lを設定する。情報処理装置100、再生アプリケーション、ダイジェスト動画生成アプリケーション、等のメーカーによって予め定められた時間が時間Lとして設定されてもよいし、ユーザによって指示された時間が時間Lとして設定されてもよい。次に、S2104にて、CPU101は、変数tにL/Nを代入する。そして、CPU101は、変数nを1からNまで1ずつ増やしながら、S2105とS2106の処理を繰り返し行う。S2105にて、CPU101は、n番目の現像マーカーによって示されたフレームを含む時間tの部分動画を、RAW動画から抽出する。次に、S2106にて、CPU101は、S2106において抽出された部分動画をダイジェスト動画にマージする。変数n=NについてS2105とS2106の処理が行われた後、本フローチャートが終了される。   The digest moving image generation processing (processing of generating a digest moving image) according to the present embodiment will be described with reference to the flowchart in FIG. First, in step S2101, the CPU 101 sets the number of development markers (corresponding scenes) to a variable N. Next, in S2102, the CPU 101 determines whether or not the variable N is larger than 0. If the variable N is 0, this flowchart ends. If the variable N is larger than 0, the process proceeds to S2103. In S2103, the CPU 101 sets the digest movie time L. The time predetermined by the maker of the information processing apparatus 100, the reproduction application, the digest moving image generation application, or the like may be set as the time L, or the time specified by the user may be set as the time L. Next, in S2104, the CPU 101 substitutes L / N for the variable t. Then, the CPU 101 repeats the processing of S2105 and S2106 while increasing the variable n by 1 from 1 to N. In S2105, CPU 101 extracts a partial moving image at time t including the frame indicated by the n-th development marker from the RAW moving image. Next, in S2106, the CPU 101 merges the partial moving image extracted in S2106 with the digest moving image. After the processes of S2105 and S2106 are performed for the variable n = N, this flowchart ends.

なお、S2105において、n番目の現像マーカーによって示されたフレームからの動画が部分動画として抽出されてもよいし、当該フレームまでの動画が部分動画として抽出されてもよい。n番目の現像マーカーによって示されたフレームと、その前後両方のフレームとを含む動画が、部分動画として抽出されてもよい。n番目の現像マーカーによって
示されたフレームを中心のフレームである動画が、部分動画として抽出されてもよい。部分動画において、n番目の現像マーカーによって示されたフレームは、中心のフレームでなくてもよい。動画を抽出する処理は、従来技術と同様であるため、その詳細な説明は省略する。
In S2105, the moving image from the frame indicated by the n-th development marker may be extracted as a partial moving image, or the moving image up to the frame may be extracted as a partial moving image. A moving image including a frame indicated by the n-th development marker and frames before and after the frame may be extracted as a partial moving image. A moving image that is a frame around the frame indicated by the n-th development marker may be extracted as a partial moving image. In the partial moving image, the frame indicated by the n-th development marker may not be the center frame. The process of extracting a moving image is the same as that of the related art, and a detailed description thereof will be omitted.

指定シーンに対応するシーンがスロー再生シーン(他のシーンに比べ遅い再生速度で再生されるシーン)に含まれていれば、スロー再生シーンは特に限定されない。本実施例では、CPU101は、現像マーカーで示されたフレーム(対応シーン)の前後それぞれT/2秒の範囲においてスロー再生(通常再生の再生速度よりも遅い再生速度での再生)を行い、それ以外の範囲において通常再生を行う。Tの値は、情報処理装置100や再生アプリケーションのメーカーによって予めされたられた固定値であってもよいし、ユーザによって指示された値であってもよい。本実施例に係る再生制御について、図22(A)のフローチャートを用いて説明する。   The slow reproduction scene is not particularly limited as long as the scene corresponding to the designated scene is included in the slow reproduction scene (a scene reproduced at a lower reproduction speed than other scenes). In this embodiment, the CPU 101 performs slow reproduction (reproduction at a reproduction speed lower than the normal reproduction speed) in the range of T / 2 seconds before and after the frame (corresponding scene) indicated by the development marker. Normal reproduction is performed in a range other than. The value of T may be a fixed value preset by the manufacturer of the information processing device 100 or the reproduction application, or a value specified by the user. The reproduction control according to the present embodiment will be described with reference to the flowchart in FIG.

まず、S2201にて、CPU101は、変数MにRAW動画の総フレーム数を設定する。そして、S2202にて、CPU101は、変数Nに現像マーカー(対応シーン)の数を設定する。次に、S2203にて、CPU101は、変数Tを設定する。そして、CPU101は、変数mを1からMまで1ずつ増やしながら、S2204〜S2206の処理を繰り返し行う。S2204にて、CPU101は、現像マーカーで示されたフレーム(対応シーン)の前後それぞれT/2秒の範囲であるスロー再生シーンに、m番目のフレームが含まれているか否かを判断する。m番目のフレームがスロー再生シーンに含まれていない場合には、S2204からS2205へ処理が進められる。S2205にて、CPU101は、m番目のフレームを通常再生する制御を行う。m番目のフレームがスロー再生シーンに含まれている場合には、S2204からS2206へ処理が進められる。S2206にて、CPU101は、m番目のフレームをスロー再生する制御を行う。RAW動画の全てのフレームについてS2204〜S2206の処理が行われた後、本フローチャートが終了される。なお、現像マーカーで示されたフレームとその周辺のフレームが通常再生され、それ以外のフレームが高速再生(通常再生の再生速度よりも速い再生速度での再生)されてもよい。   First, in S2201, the CPU 101 sets the variable M to the total number of frames of the RAW moving image. Then, in S2202, CPU 101 sets the number of development markers (corresponding scenes) to variable N. Next, in S2203, the CPU 101 sets a variable T. Then, the CPU 101 repeats the processing of S2204 to S2206 while increasing the variable m by 1 from 1 to M. In S2204, CPU 101 determines whether or not the m-th frame is included in the slow reproduction scene within T / 2 seconds before and after the frame (corresponding scene) indicated by the development marker. If the m-th frame is not included in the slow playback scene, the process proceeds from S2204 to S2205. In S2205, CPU 101 performs control for normal reproduction of the m-th frame. If the m-th frame is included in the slow playback scene, the process proceeds from S2204 to S2206. In S2206, CPU 101 performs control to perform slow playback of the m-th frame. After the processes of S2204 to S2206 have been performed for all the frames of the RAW moving image, this flowchart ends. The frame indicated by the development marker and its surrounding frame may be played back normally, and the other frames may be played back at high speed (playback at a playback speed higher than the playback speed of normal playback).

次に、本実施例に係る再生シーン判断処理(S2204の処理)について、図22(B)を用いて説明する。まず、CPU101は、変数nを1からNまで1ずつ増やしながら、S2251の処理を繰り返し行う。S2251にて、CPU101は、n番目のスロー再生シーン(n番目の現像マーカーで示されたフレームの前後それぞれT/2秒の範囲)に、m番目のフレームが含まれているか否かを判断する。n番目のスロー再生シーンにm番目のフレームが含まれていると判断されるか、変数n=NについてS2251の処理が行われるまで、変数nが1ずつ増やされながら、S2251の処理が繰り返される。全てのスロー再生シーンにm番目のフレームが含まれていないと判断された場合には、S2252に処理が進められる。「全てのスロー再生シーンにm番目のフレームが含まれていないと判断された場合」とは、「全てのn(1〜N)について、n番目のスロー再生シーンにm番目のフレームが含まれていないと判断された場合」のことである。n番目のスロー再生シーンにm番目のフレームが含まれていると判断された場合には、S2253に処理が進められる。S2252にて、CPU101は、再生シーン判断処理の結果を「NO」と決定する。S2253にて、CPU101は、再生シーン判断処理の結果を「YES」と決定する。S2252またはS2253の処理の後、本フローチャートが終了される。   Next, the reproduction scene determination processing (the processing of S2204) according to the present embodiment will be described with reference to FIG. First, the CPU 101 repeats the process of S2251 while increasing the variable n from 1 to N by one. In S2251, CPU 101 determines whether or not the m-th frame is included in the n-th slow reproduction scene (each T / 2 seconds before and after the frame indicated by the n-th development marker). . The process of S2251 is repeated while the variable n is incremented by 1 until it is determined that the mth frame is included in the nth slow playback scene or the process of S2251 is performed for the variable n = N. . If it is determined that the m-th frame is not included in all the slow playback scenes, the process proceeds to S2252. “When it is determined that the m-th frame is not included in all the slow playback scenes”, “the m-th frame is included in the n-th slow playback scene for all n (1 to N)” If it is determined not to be ". If it is determined that the m-th frame is included in the n-th slow playback scene, the process proceeds to S2253. In S2252, CPU 101 determines that the result of the playback scene determination processing is “NO”. In S2253, CPU 101 determines that the result of the playback scene determination processing is “YES”. After the processing in S2252 or S2253, this flowchart ends.

以上述べたように、本実施例によれば、動画の一部のシーンの動画であり、且つ、指定シーンや対応シーンに対応するシーンを含む動画であるダイジェスト動画が生成される。また、指定シーンや対応シーンに対応するシーンとその周辺のシーンを、それら以外のシーンの再生速度と異なる再生速度で再生する再生制御が行われる。それにより、実施例1
と同様の効果だけでなく、情報処理装置の利便性をさらに向上することができるという効果も得ることができる。
As described above, according to the present embodiment, a digest moving image that is a moving image of a part of a moving image and includes a scene corresponding to a designated scene or a corresponding scene is generated. In addition, playback control is performed to play back a scene corresponding to the designated scene or the corresponding scene and a peripheral scene at a playback speed different from the playback speed of the other scenes. Thereby, Embodiment 1
In addition to the same effect as described above, the effect that the convenience of the information processing apparatus can be further improved can be obtained.

<実施例5>
以下、本発明の実施例5について説明する。なお、以下では、実施例1と異なる構成や処理について詳しく説明し、実施例1と同様の構成や処理についての説明は省略する。実施例1〜4では、1フレームのシーンが指定シーンとして選択され、1枚の静止画が対応画像として生成される例を説明した。本実施例では、複数のフレームを含むシーンが指定シーンとして選択され、対応画像として動画が生成される例を説明する。対応画像のデータフォーマットは特に限定されないが、本実施例では、対応画像として、MP4形式の動画が得られるとする。以後、対応画像を「対応MP4動画」と記載する。
<Example 5>
Hereinafter, a fifth embodiment of the present invention will be described. In the following, configurations and processes different from those in the first embodiment will be described in detail, and descriptions of configurations and processes similar to those in the first embodiment will be omitted. In the first to fourth embodiments, an example has been described in which a scene of one frame is selected as a designated scene and one still image is generated as a corresponding image. In the present embodiment, an example will be described in which a scene including a plurality of frames is selected as a designated scene, and a moving image is generated as a corresponding image. Although the data format of the corresponding image is not particularly limited, it is assumed in this embodiment that a moving image in the MP4 format is obtained as the corresponding image. Hereinafter, the corresponding image is referred to as “corresponding MP4 moving image”.

図23は、本実施例に係る処理アプリケーションのウィンドウ(GUI画像)2301の一例を示す。ウィンドウ2301には、選択画像2302、サムネイルリスト2303、スクロールバー2304、前ボタン2305、後ボタン2306、始点画像2307、始点設定ボタン2308、終点画像2309、終点設定ボタン2310、及び、保存ボタン2311が配置されている。選択画像2302は図3の選択画像302と、サムネイルリスト2303はサムネイルリスト303と、スクロールバー2304はスクロールバー304と、前ボタン2305は前ボタン305と、後ボタン2306は後ボタン306と同じである。   FIG. 23 illustrates an example of a window (GUI image) 2301 of the processing application according to the present embodiment. In the window 2301, a selected image 2302, a thumbnail list 2303, a scroll bar 2304, a previous button 2305, a rear button 2306, a start point image 2307, a start point setting button 2308, an end point image 2309, an end point setting button 2310, and a save button 2311 are arranged. Have been. The selected image 2302 is the same as the selected image 302 in FIG. 3, the thumbnail list 2303 is the same as the thumbnail list 303, the scroll bar 2304 is the same as the scroll bar 304, the previous button 2305 is the same as the front button 305, and the rear button 2306 is the same as the rear button 306. .

ユーザが始点設定ボタン2308を押下すると、CPU101は、始点設定ボタン2308が押下されたタイミングにおける選択画像2302のフレームを、指定シーンの最初のフレームとして選択する。そして、CPU101は、選択したフレームの画像を始点画像2307として表示する制御を行う。始点設定ボタン2308が押下される度に、指定シーンの最初のフレームと、始点画像2307とが更新される。   When the user presses the start point setting button 2308, the CPU 101 selects the frame of the selected image 2302 at the timing when the start point setting button 2308 is pressed as the first frame of the designated scene. Then, the CPU 101 performs control to display the image of the selected frame as the start image 2307. Each time the start point setting button 2308 is pressed, the first frame of the designated scene and the start point image 2307 are updated.

ユーザが終点設定ボタン2310を押下すると、CPU101は、終点設定ボタン2310が押下されたタイミングにおける選択画像2302のフレームを、指定シーンの最後のフレームとして選択する。そして、CPU101は、選択したフレームの画像を終点画像2309として表示する制御を行う。終点設定ボタン2310が押下される度に、指定シーンの最後のフレームと、終点画像2309とが更新される。   When the user presses the end point setting button 2310, the CPU 101 selects the frame of the selected image 2302 at the timing when the end point setting button 2310 is pressed as the last frame of the designated scene. Then, the CPU 101 performs control to display the image of the selected frame as the end point image 2309. Each time the end point setting button 2310 is pressed, the last frame of the designated scene and the end point image 2309 are updated.

ユーザが保存ボタン2311を押下すると、CPU101は、始点画像2307のフレームから終点画像2309のフレームまでのシーンを、指定シーンとして選択する。そしてし、CPU101は、選択した指定シーン(対応シーン)の動画をRAW動画から抽出し、抽出した動画を、MP4動画である対応MP4動画に変換する。その後、CPU101は、得られた対応MP4動画を、二次記憶部107に記録する。   When the user presses the save button 2311, the CPU 101 selects a scene from the frame of the start image 2307 to the frame of the end image 2309 as a designated scene. Then, the CPU 101 extracts a moving image of the selected designated scene (corresponding scene) from the RAW moving image, and converts the extracted moving image into a corresponding MP4 moving image that is an MP4 moving image. After that, the CPU 101 records the obtained corresponding MP4 moving image in the secondary storage unit 107.

なお、処理アプリケーションのGUI画像は上記GUI画像に限られないし、対応シーンに対する処理は上記処理に限られない。例えば、指定シーンの最初のフレームと、指定シーンの最後のフレームとをユーザが指定するためのボタンと、指定シーンの時間をユーザが指定するための入力欄とが、始点設定ボタン2308と終点設定ボタン2310の代わりに使用されてもよい。   Note that the GUI image of the processing application is not limited to the GUI image, and the processing for the corresponding scene is not limited to the above processing. For example, a button for the user to specify the first frame of the specified scene and the last frame of the specified scene, and an input field for the user to specify the time of the specified scene include a start point setting button 2308 and an end point setting button. It may be used instead of button 2310.

次に、本実施例に係る処理アプリケーションの動作について、図24のフローチャートを用いて説明する。図24のフローチャートは、例えば、処理アプリケーションが起動したタイミングで開始される。   Next, the operation of the processing application according to the present embodiment will be described with reference to the flowchart in FIG. The flowchart in FIG. 24 is started, for example, at the timing when the processing application is activated.

S2401〜S2410の処理は、図4(A)のS401〜S410の処理と同じであ
る。但し、S2404にて、CPU101は、S2403のユーザ操作が前ボタン2305の押下、後ボタン2306の押下、始点設定ボタン2308の押下、終点設定ボタン2310の押下、及び、保存ボタン2311の押下のどれであるかを判断する。始点設定ボタン2308が押下された場合にはS2411に処理が進められ、終点設定ボタン2310が押下された場合にはS2414に処理が進められ、保存ボタン2311が押下された場合にはS2417に処理が進められる。
The processing of S2401 to S2410 is the same as the processing of S401 to S410 in FIG. However, in step S2404, the CPU 101 determines whether the user operation in step S2403 is pressing the front button 2305, pressing the rear button 2306, pressing the start point setting button 2308, pressing the end point setting button 2310, or pressing the save button 2311. Determine if there is. If the start point setting button 2308 has been pressed, the process proceeds to S2411. If the end point setting button 2310 has been pressed, the process proceeds to S2414. If the save button 2311 has been pressed, the process proceeds to S2417. Can proceed.

S2411にて、CPU101は、選択表示フレームのRAWデータに簡易現像処理を施す。次に、S2412にて、CPU101は、S2411の簡易現像処理の結果を始点画像2307として表示する制御を行う。そして、S2413にて、CPU101は、選択表示フレームのフレームIDを、始点IDとして記憶する。その後、S2403に処理が戻される。   In step S2411, the CPU 101 performs a simple development process on the RAW data of the selected display frame. Next, in step S2412, the CPU 101 performs control to display the result of the simple development process in step S2411 as the start image 2307. Then, in S2413, CPU 101 stores the frame ID of the selected display frame as the start point ID. After that, the process returns to S2403.

S2414にて、CPU101は、選択表示フレームのRAWデータに簡易現像処理を施す。次に、S2415にて、CPU101は、S2414の簡易現像処理の結果を終点画像2309として表示する制御を行う。そして、S2416にて、CPU101は、選択表示フレームのフレームIDを、終点IDとして記憶する。その後、S2403に処理が戻される。   In S2414, CPU 101 performs a simple development process on the RAW data of the selected display frame. Next, in S2415, the CPU 101 performs control to display the result of the simple development process in S2414 as the end point image 2309. Then, in S2416, CPU 101 stores the frame ID of the selected display frame as the end point ID. After that, the process returns to S2403.

S2417にて、CPU101は、S2413において記憶した始点IDのフレームから、S2416において記憶した終点IDのフレームまでのシーンの動画(フレーム群)を、RAW動画から抽出する。次に、S2418にて、CPU101は、S2417において抽出した動画(RAW動画)を、MP4動画である対応MP4動画に変換する。RAW動画をMP4動画へ変換する変換処理は現像処理を含む。そして、S2419にて、CPU101は、S2418において生成された対応MP4動画を、動画ファイルとして二次記憶部107に記録する。次に、S2420にて、CPU101は、S2413において記憶した始点IDのフレームから、S2416において記憶した終点IDのフレームまでのシーンを示す第1のシーン情報を、二次記憶部107に記録する。具体的には、CPU101は、二次記憶部107に記録されたデータベースに、第1のシーン情報を追加する(データベースの更新)。そして、S2403に処理が戻される。データベースには、情報処理装置100で動作する任意のアプリケーションからアクセスすることができる。   In S2417, the CPU 101 extracts, from the RAW moving image, a moving image (frame group) of a scene from the frame of the start point ID stored in S2413 to the frame of the end point ID stored in S2416. Next, in S2418, the CPU 101 converts the moving image (RAW moving image) extracted in S2417 into a corresponding MP4 moving image that is an MP4 moving image. The conversion processing for converting a RAW moving image into an MP4 moving image includes a developing process. Then, in S2419, CPU 101 records the corresponding MP4 moving image generated in S2418 as a moving image file in secondary storage unit 107. Next, in S2420, the CPU 101 records, in the secondary storage unit 107, first scene information indicating scenes from the frame of the start point ID stored in S2413 to the frame of the end point ID stored in S2416. Specifically, the CPU 101 adds the first scene information to the database recorded in the secondary storage unit 107 (update of the database). Then, the process returns to S2403. The database can be accessed from any application running on the information processing device 100.

図25は、本実施例に係るデータベースのスキーマ構成例を示す。本実施例に係るデータベースは、S2418の変換処理(現像処理を含む変換処理)が施されたシーンの第1のシーン情報を含む。本実施例に係るデータベースは、現像マーカーID2501、始点ID2502、終点ID2503、及び、MP4ファイルパス2504の組み合わせを、第1のシーン情報として含む。現像マーカーID2501は図5の現像マーカーID501と同じである。始点ID2502は、S2418の変換処理が施されたシーンの最初のフレームを識別するフレームIDであり、S2413において記憶されたフレームIDである。終点ID2503は、S2418の変換処理が施されたシーンの最後のフレームを識別するフレームIDであり、S2416において記憶されたフレームIDである。MP4ファイルパス2504は、対応MP4動画の保存先を示すファイルパスである。なお、第1のシーン情報において、始点ID2502と終点ID2503の一方と、シーンの時間(フレーム数など)とによって、シーンが示されていてもよい。   FIG. 25 illustrates a schema configuration example of the database according to the present embodiment. The database according to the present embodiment includes the first scene information of the scene subjected to the conversion processing (conversion processing including the development processing) in S2418. The database according to this embodiment includes a combination of a development marker ID 2501, a start point ID 2502, an end point ID 2503, and an MP4 file path 2504 as first scene information. The development marker ID 2501 is the same as the development marker ID 501 in FIG. The start point ID 2502 is a frame ID for identifying the first frame of the scene subjected to the conversion processing in S2418, and is the frame ID stored in S2413. The end point ID 2503 is a frame ID for identifying the last frame of the scene subjected to the conversion processing in S2418, and is the frame ID stored in S2416. The MP4 file path 2504 is a file path indicating a storage destination of the corresponding MP4 moving image. In the first scene information, a scene may be indicated by one of the start point ID 2502 and the end point ID 2503 and the time of the scene (such as the number of frames).

図26は、情報処理装置100で動作する再生アプリケーションのウィンドウ(GUI画像)の一例を示す。本実施例では、1つの現像マーカー(第2のシーン情報)として、始点ID2502に対応するフレームを示す始点マーカー2601と、終点ID2503に対応するフレームを示す終点マーカー2602とからなるマーカーペアが表示される。マーカーペアが表示されることにより、RAW動画のどのシーンがMP4動画への変換を
行ったことのあるシーンであるかを、ユーザが容易に把握することができる。その結果、情報処理装置100の利便性を向上したり、作業の効率化を図ったりすることができる。
FIG. 26 illustrates an example of a window (GUI image) of a playback application that operates on the information processing apparatus 100. In this embodiment, a marker pair including a start point marker 2601 indicating a frame corresponding to the start point ID 2502 and an end point marker 2602 indicating a frame corresponding to the end point ID 2503 is displayed as one development marker (second scene information). You. By displaying the marker pair, the user can easily grasp which scene of the RAW moving image has been converted to the MP4 moving image. As a result, the convenience of the information processing apparatus 100 can be improved, and the work efficiency can be improved.

なお、再生アプリケーションのGUI画像は上記GUI画像に限られないし、第2のシーン情報は上記マーカーペアに限られない。例えば、第2のシーン情報として、始点ID2502に対応するフレームのタイムコードと、終点ID2503に対応するフレームのタイムコードとが表示されてもよい。始点ID2502に対応するフレームから終点ID2503に対応するフレームまでのシーンに対応する部分の色や明るさが他の部分と異なるスクロールバーが、第2のシーン情報として表示されてもよい。   Note that the GUI image of the playback application is not limited to the GUI image, and the second scene information is not limited to the marker pair. For example, the time code of the frame corresponding to the start point ID 2502 and the time code of the frame corresponding to the end point ID 2503 may be displayed as the second scene information. A scroll bar in which the color and brightness of the part corresponding to the scene from the frame corresponding to the start point ID 2502 to the frame corresponding to the end point ID 2503 are different from those of the other parts may be displayed as the second scene information.

以上述べたように、本実施例によれば、複数のフレームを含む指定シーン(対応シーン)を示す第1のシーン情報が記録される。そして、動画を再生する再生制御の実行時に、第1のシーン情報によって示されたシーンに対応する当該動画のシーンを示す第2のシーン情報が表示される。それにより、動画の再生時に有益な情報をユーザに提供することができ、ひいては装置の利便性を向上したり、作業の効率化を図ったりすることができる。   As described above, according to the present embodiment, the first scene information indicating the designated scene (corresponding scene) including a plurality of frames is recorded. Then, at the time of executing the reproduction control for reproducing the moving image, the second scene information indicating the scene of the moving image corresponding to the scene indicated by the first scene information is displayed. As a result, useful information can be provided to the user at the time of reproducing the moving image, and the convenience of the apparatus can be improved and the work can be performed more efficiently.

<その他の実施例>
本発明は、上述の実施例の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。プロセッサーとしては、例えば、CPUやMPUを用いることができる。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施例の機能を実現することになり、プログラムコード自体及びそのプログラムコードを記憶した記憶媒体が本発明を構成することになる。
プログラムコードを記憶する記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、光磁気ディスク、CD−ROM、CD−R、CD−RW、DVD−ROM、DVD−RAM、DVD_RW、DVD+RW、磁気テープ、不揮発性のメモリカード、ROM、等を用いることができる。
また、上述のプログラムコードの指示に基づき、装置上で稼動しているOS(基本システムやオペレーティングシステム)などが処理の一部又は全部を行い、その処理によって前述した実施例の機能が実現される構成も、本発明に含まれる。
さらに、記憶媒体から読み出されたプログラムコードが、装置に挿入された機能拡張ボードや装置に接続された機能拡張ユニットに備わるメモリに書込まれ、前述した実施例の機能が実現される構成も、本発明に含まれる。このとき、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるCPU等が処理の一部又は全部を行う。
<Other Examples>
The present invention supplies a program that realizes one or more functions of the above-described embodiments to a system or an apparatus via a network or a storage medium, and one or more processors in a computer of the system or the apparatus read and execute the program. This processing can be realized. As the processor, for example, a CPU or an MPU can be used. Further, it can also be realized by a circuit (for example, an ASIC) that realizes one or more functions.
In this case, the program code itself read from the storage medium realizes the function of the above-described embodiment, and the program code itself and the storage medium storing the program code constitute the present invention.
Examples of the storage medium for storing the program code include a flexible disk, hard disk, magneto-optical disk, CD-ROM, CD-R, CD-RW, DVD-ROM, DVD-RAM, DVD_RW, DVD + RW, magnetic tape, and non-volatile memory. Memory card, ROM, etc. can be used.
An OS (basic system or operating system) or the like running on the apparatus performs part or all of the processing based on the instructions of the above-described program codes, and the functions of the above-described embodiments are realized by the processing. The configuration is also included in the present invention.
Furthermore, a configuration is also possible in which the program code read from the storage medium is written in a memory provided in a function expansion board inserted into the device or a function expansion unit connected to the device, and the functions of the above-described embodiment are realized. , Included in the present invention. At this time, a CPU or the like provided in the function expansion board or the function expansion unit performs a part or all of the processing based on the instruction of the program code.

100:情報処理装置 101:CPU   100: Information processing device 101: CPU

Claims (12)

第1の動画、または、前記第1の動画をデータ圧縮した第2の動画から、ユーザによって指定されたフレームを指定シーンとして選択する選択手段と、
前記指定シーンに対応する前記第1の動画のフレームの画像を生成する処理を行う処理手段と、
前記指定シーンを示す第1のシーン情報を記録する記録手段と、
前記第1の動画または前記第2の動画を再生する再生制御を行う制御手段と、
を有し、
動画を再生する前記再生制御の実行時に、前記制御手段は、前記第1のシーン情報によって示されたフレームに対応する当該動画のフレームを示す第2のシーン情報を表示する第1の表示制御をさらに行い、
前記第1のシーン情報は、前記処理で生成される前記画像のデータフォーマットを示す情報を用いて前記処理をさらに示し、
前記第1の表示制御により、前記データフォーマットに応じた形態で前記第2のシーン情報が表示される
ことを特徴とする情報処理装置。
Selecting means for selecting a frame specified by the user as a specified scene from the first moving image or the second moving image obtained by compressing the first moving image,
Processing means for performing processing for generating an image of a frame of the first moving image corresponding to the designated scene;
Recording means for recording the first scene information indicating the specified scene,
Control means for performing reproduction control for reproducing the first moving image or the second moving image;
Has,
When executing the reproduction control for reproducing a moving image, the control unit performs a first display control for displaying second scene information indicating a frame of the moving image corresponding to a frame indicated by the first scene information. Furthermore it has line,
The first scene information further indicates the processing using information indicating a data format of the image generated in the processing,
The information processing apparatus according to claim 1, wherein the first display control displays the second scene information in a form corresponding to the data format .
前記制御手段は、前記第2のシーン情報がユーザによって指定された場合に、前記第2のシーン情報に対応する前記処理手段の処理結果を表示する第2の表示制御をさらに行うことを特徴とする請求項1に記載の情報処理装置。 When the second scene information is specified by a user, the control unit further performs a second display control for displaying a processing result of the processing unit corresponding to the second scene information. The information processing apparatus according to claim 1 . 前記第2のシーン情報がユーザによって指定された場合に、前記再生制御により、前記第2のシーン情報に対応するフレームから動画が再生される
ことを特徴とする請求項1に記載の情報処理装置。
2. The information processing apparatus according to claim 1, wherein when the second scene information is specified by a user, a moving image is reproduced from a frame corresponding to the second scene information by the reproduction control. .
前記第1の表示制御により、複数の指定シーンにそれぞれ対応する複数の第2のシーン情報が重なり合わないように表示される
ことを特徴とする請求項1〜のいずれか1項に記載の情報処理装置。
By the first display control, according to any one of claims 1 to 3, characterized in that the plurality of second scene information corresponding to a plurality of specified scenes are displayed so as not to overlap Information processing device.
前記第1の動画と前記第2の動画の一方の動画に基づいて、前記一方の動画の一部の
レームの動画であり、且つ、指定シーンに対応する前記一方の動画のフレームを含む動画であるダイジェスト動画を生成する生成手段をさらに有する
ことを特徴とする請求項1〜のいずれか1項に記載の情報処理装置。
Based on one of the first moving image and the second moving image, a part of the one moving image is displayed.
The method according to any one of claims 1 to 4 , further comprising a generation unit configured to generate a digest moving image that is a moving image of a frame and includes a frame of the one moving image corresponding to a designated scene. An information processing apparatus according to claim 1.
前記再生制御により、前記第1のシーン情報によって示されたフレームに対応するフレームとその周辺のフレームが、それら以外のフレームの再生速度と異なる再生速度で再生される
ことを特徴とする請求項1〜のいずれか1項に記載の情報処理装置。
2. The reproduction control according to claim 1, wherein a frame corresponding to the frame indicated by the first scene information and a frame around the frame are reproduced at a reproduction speed different from the reproduction speed of the other frames. The information processing device according to any one of claims 5 to 5 .
前記再生制御により、前記第1のシーン情報によって示されたフレームに対応するフレームとその周辺のフレームが、それら以外のフレームの再生速度よりも遅い再生速度で再生される
ことを特徴とする請求項に記載の情報処理装置。
A frame corresponding to a frame indicated by the first scene information and a frame around the frame corresponding to the frame indicated by the first scene information are reproduced at a reproduction speed lower than the reproduction speed of the other frames. 7. The information processing apparatus according to 6 .
前記再生制御により、動画が再生されると共に、当該動画のスライダーバーが表示され、
前記第2のシーン情報は、前記スライダーバーと協同してフレームを示すマーカーである
ことを特徴とする請求項1〜のいずれか1項に記載の情報処理装置。
By the playback control, a video is played, and a slider bar of the video is displayed,
The information processing apparatus according to any one of claims 1 to 7 , wherein the second scene information is a marker indicating a frame in cooperation with the slider bar.
前記制御手段は、ユーザの指定した位置が、複数の指定シーンにそれぞれ対応する複数のマーカーの集中度合いが閾値以上である領域内に移動した場合に、前記スライダーバーの少なくとも一部を拡大した拡大スライダーバーと前記複数のマーカーとを含む画像を表示する第3の表示制御をさらに行う
ことを特徴とする請求項に記載の情報処理装置。
The control unit is configured to enlarge at least a part of the slider bar when the position specified by the user moves into an area in which a concentration degree of a plurality of markers respectively corresponding to a plurality of designated scenes is equal to or more than a threshold. The information processing apparatus according to claim 8 , further comprising a third display control for displaying an image including a slider bar and the plurality of markers.
前記第2の動画は、画像サイズとフレームレートの少なくとも一方が前記第1の動画よりも低い動画である
ことを特徴とする請求項1〜のいずれか1項に記載の情報処理装置。
It said second video information processing apparatus according to any one of claims 1 to 9, characterized in that at least one of the image size and frame rate is lower moving than the first video.
第1の動画、または、前記第1の動画をデータ圧縮した第2の動画から、ユーザによって指定されたフレームを指定シーンとして選択する選択ステップと、
前記指定シーンに対応する前記第1の動画のフレームの画像を生成する処理を行う処理ステップと、
前記指定シーンを示す第1のシーン情報を記録する記録ステップと、
前記第1の動画または前記第2の動画を再生する再生制御を行う制御ステップと、
を有し、
動画を再生する前記再生制御の実行時に、前記制御ステップでは、前記第1のシーン情報によって示されたフレームに対応する当該動画のフレームを示す第2のシーン情報を表示する第1の表示制御がさらに行われ
前記第1のシーン情報は、前記処理で生成される前記画像のデータフォーマットを示す情報を用いて前記処理をさらに示し、
前記第1の表示制御により、前記データフォーマットに応じた形態で前記第2のシーン情報が表示される
ことを特徴とする情報処理方法。
A selection step of selecting a frame specified by a user as a specified scene from a first moving image or a second moving image obtained by data-compressing the first moving image;
A processing step of performing processing of generating an image of a frame of the first moving image corresponding to the designated scene;
A recording step of recording the first scene information indicating the specified scene,
A control step of performing reproduction control for reproducing the first moving image or the second moving image;
Has,
At the time of performing the playback control for playing back a moving image, the control step includes a first display control for displaying second scene information indicating a frame of the moving image corresponding to a frame indicated by the first scene information. Further done ,
The first scene information further indicates the processing using information indicating a data format of the image generated in the processing,
The information processing method according to claim 1, wherein the first display control displays the second scene information in a form according to the data format .
コンピュータを請求項1〜1のいずれか1項に記載の情報処理装置の各手段として機能させるためのプログラム。 A program for causing a computer to function as each unit of the information processing apparatus according to any one of claims 1 to 10 .
JP2016004546A 2016-01-13 2016-01-13 Information processing device Active JP6639242B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2016004546A JP6639242B2 (en) 2016-01-13 2016-01-13 Information processing device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016004546A JP6639242B2 (en) 2016-01-13 2016-01-13 Information processing device

Publications (2)

Publication Number Publication Date
JP2017126856A JP2017126856A (en) 2017-07-20
JP6639242B2 true JP6639242B2 (en) 2020-02-05

Family

ID=59364283

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016004546A Active JP6639242B2 (en) 2016-01-13 2016-01-13 Information processing device

Country Status (1)

Country Link
JP (1) JP6639242B2 (en)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7233234B2 (en) * 2019-02-05 2023-03-06 キヤノン株式会社 Information processing device and its control method and program
JP7437945B2 (en) 2020-01-10 2024-02-26 キヤノン株式会社 Image processing device and its control method and program

Also Published As

Publication number Publication date
JP2017126856A (en) 2017-07-20

Similar Documents

Publication Publication Date Title
EP3375197B1 (en) Image display apparatus and method of operating the same
US10425618B2 (en) Information processing apparatus, tuner, and information processing method
JP4938733B2 (en) Menu screen display method and menu screen display device
JP3897774B2 (en) Multimedia playback apparatus and menu screen display method
JP2019194904A (en) Method and apparatus for generating text color for group of images
JP4513894B2 (en) Image processing apparatus, image processing method, image reproduction apparatus, image reproduction method, and program
JP5528008B2 (en) Playback apparatus and playback method
JP2016536647A (en) Color detection method and apparatus for generating text color
JP6639242B2 (en) Information processing device
JP6632360B2 (en) Information processing device
JP6410483B2 (en) Image processing device
JP6117621B2 (en) Information processing apparatus, information processing method, and information processing program
JP5265498B2 (en) Information processing apparatus, tuner, and information processing method
JP6572107B2 (en) Image processing apparatus and image processing method
JP2005117182A (en) Image display apparatus, image display method, program, and recording medium
JP6354624B2 (en) Video imaging system, information processing terminal, video confirmation method and program
JP6463967B2 (en) Imaging apparatus and control method thereof
JP4539884B2 (en) Reproducing apparatus, program, and method for constructing electronic screen
JP6598670B2 (en) Image processing apparatus, control method thereof, and program
JP7420642B2 (en) Video playback device and video playback method
JP6478626B2 (en) Recording apparatus, control method therefor, and program
JP6492783B2 (en) Video imaging system, information processing terminal, video confirmation method and program
JP2006129050A (en) Device, method, and program for regenerating or recording animation
JP2014002625A (en) Display control device, touch panel control method, control program, and recording medium
JP2009272707A (en) Video content playback apparatus, video content playback method and program

Legal Events

Date Code Title Description
RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20181116

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20181219

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190905

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190917

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191113

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20191126

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20191224

R151 Written notification of patent or utility model registration

Ref document number: 6639242

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151