JP6968454B2 - Image processing equipment, image processing methods, programs, and systems - Google Patents

Image processing equipment, image processing methods, programs, and systems Download PDF

Info

Publication number
JP6968454B2
JP6968454B2 JP2020001065A JP2020001065A JP6968454B2 JP 6968454 B2 JP6968454 B2 JP 6968454B2 JP 2020001065 A JP2020001065 A JP 2020001065A JP 2020001065 A JP2020001065 A JP 2020001065A JP 6968454 B2 JP6968454 B2 JP 6968454B2
Authority
JP
Japan
Prior art keywords
frame
data
image data
moving image
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020001065A
Other languages
Japanese (ja)
Other versions
JP2021111835A (en
Inventor
ホー・フィ・クーン
和由 山本
正信 矢吹
Original Assignee
ｖｉｚｏ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ｖｉｚｏ株式会社 filed Critical ｖｉｚｏ株式会社
Priority to JP2020001065A priority Critical patent/JP6968454B2/en
Publication of JP2021111835A publication Critical patent/JP2021111835A/en
Application granted granted Critical
Publication of JP6968454B2 publication Critical patent/JP6968454B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Indexing, Searching, Synchronizing, And The Amount Of Synchronization Travel Of Record Carriers (AREA)
  • Management Or Editing Of Information On Record Carriers (AREA)
  • User Interface Of Digital Computer (AREA)
  • Television Signal Processing For Recording (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Description

本発明は、画像処理装置、画像処理方法、プログラム、および、システムに関する。 The present invention relates to an image processing apparatus, an image processing method, a program, and a system.

近年、動画コンテンツが様々なシーンで活用されており、動画コンテンツを視聴する機会が増えている。特許文献１では、メンテナンスなどのガイダンス動画を再生する場合に、複数のジャンプ先の候補を表示することで、ユーザによる動画像の再生の時刻の選択を容易にしている。
特開２０１８−７９５８７号公報 In recent years, video content has been used in various scenes, and opportunities to watch video content are increasing. In Patent Document 1, when playing a guidance video for maintenance or the like, by displaying a plurality of jump destination candidates, it is easy for the user to select the playback time of the moving image.
Japanese Unexamined Patent Publication No. 2018-79587

しかしながら、所定の動作を動画で確認する場合、細かく動作の内容確認したい場合があるが、特許文献１の再生装置では、ジャンプ先の時刻以外で停止することが難しい。このため、ユーザが確認したい動作の時刻で動画を停止できない場合がある。 However, when confirming a predetermined operation with a moving image, it may be desired to confirm the content of the operation in detail, but it is difficult for the reproduction device of Patent Document 1 to stop at a time other than the jump destination time. Therefore, it may not be possible to stop the video at the time of the operation that the user wants to confirm.

本発明は、例えば、動画再生時において、ユーザの意図に沿ったシーンを表示させることを目的とする。 An object of the present invention is, for example, to display a scene according to a user's intention when playing a moving image.

上記課題を解決するために、本発明の一実施形態は、時間情報、角度情報、および、速度情報の少なくとも１つを含む動画データを取得する取得部と、時間情報、角度情報、および、速度情報の少なくとも１つに基づいて、動画データから、コマ送り画像を抽出し、複数のコマ送り画像を含むコマ送りデータを生成する生成部と、動画データとコマ送りデータを表示部に切り替え可能に表示させる表示制御部とを有し、生成部は、動画データから所定の間隔で静止画像を抽出することで、コマ送りデータを生成し、動画データが時間情報および角度情報、または、速度情報を含む場合に、動画データに含まれる時間情報の単位時間あたりの角度情報の値が大きい、または、速度情報の値が大きいほど、静止画像を抽出する間隔を長くして、コマ送りデータを生成することを特徴とする。 In order to solve the above problems, one embodiment of the present invention includes an acquisition unit that acquires moving image data including at least one of time information, angle information, and speed information, and time information, angle information, and speed. based on at least one of information, from the moving image data, extracts the frame advance image, a generation unit for generating a frame feed data including a plurality of frame advance image, the display unit video data and frame feeding Ride over data have a display control unit for switchably display, generation unit, by extracting a still image from the moving image data at predetermined intervals, and generates a frame feed data, moving image data time information and angle information, or When speed information is included, the larger the value of the angle information per unit time of the time information included in the video data, or the larger the value of the speed information, the longer the interval for extracting still images, and the frame-by-frame data. Is characterized by producing.

本発明によれば、例えば、動画再生時において、容易にユーザの意図に沿ったシーンを表示させることができる。 According to the present invention, for example, when playing back a moving image, it is possible to easily display a scene according to the user's intention.

第１の実施形態に係る画像処理装置のブロック図である。It is a block diagram of the image processing apparatus which concerns on 1st Embodiment. 第１の実施形態に係るデータの生成処理と表示処理の一例を示すフローチャートである。It is a flowchart which shows an example of the data generation processing and display processing which concerns on 1st Embodiment. コマ送り画像に切り替わった表示画面の一例を示す図である。It is a figure which shows an example of the display screen which switched to a frame-by-frame image. コマ送り画像データから動画データへの切り替え操作を説明する図である。It is a figure explaining the operation of switching from frame-by-frame image data to moving image data. 第１の実施形態に係るコマ送り画像データの生成方法を説明する図である。It is a figure explaining the method of generating the frame-by-frame image data which concerns on 1st Embodiment. コマ送り画像の一覧表示の画面例を示す図である。It is a figure which shows the screen example of the list display of a frame-by-frame image. コマ送り画像を保存する場合の画面例を示す図である。It is a figure which shows the screen example at the time of saving a frame-by-frame image. 複数のデータを同時に表示させる画面例を示す図である。It is a figure which shows the screen example which displays a plurality of data at the same time. 第２の実施形態に係る角度情報または速度情報に基づいてコマ送り画像データを生成する方法を説明する図である。It is a figure explaining the method of generating frame advance image data based on the angle information or speed information which concerns on 2nd Embodiment. 第２の実施形態に係る角度情報または速度情報に基づいてコマ送り画像データを生成する処理の一例を示すフローチャートである。It is a flowchart which shows an example of the process which generates frame advance image data based on the angle information or speed information which concerns on 2nd Embodiment. 画像処理システムのブロック図である。It is a block diagram of an image processing system. サーバにおけるデータの再生処理の一例を示すフローチャートである。It is a flowchart which shows an example of the data reproduction processing in a server.

以下、本発明を実施するための形態について図面などを参照して説明する。 Hereinafter, embodiments for carrying out the present invention will be described with reference to the drawings and the like.

（第１の実施形態）
図１は、第１の実施形態に係る画像処理装置１００のブロック図である。画像処理装置１００は、センサ部１１０と、撮影部１２０と、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１３０と、操作部１４０と、表示部１５０と、通信部１６０と、記憶部１７０と、を有する。本実施形態において、画像処理装置１００は、一例として、いわゆるスマートフォンと呼ばれる携帯情報端末である場合を例に挙げて説明する。ただし、画像処理装置１００は、センサ部１１０および撮影部１２０を備えていれば良く、タブレット端末や、カメラ付き携帯電話等の携帯情報端末であってもよいし、コンピュータであってもよく、これらに限られない。 (First Embodiment)
FIG. 1 is a block diagram of the image processing apparatus 100 according to the first embodiment. The image processing device 100 includes a sensor unit 110, a photographing unit 120, a CPU (Central Processing Unit) 130, an operation unit 140, a display unit 150, a communication unit 160, and a storage unit 170. In the present embodiment, the image processing device 100 will be described as an example by taking the case of a mobile information terminal called a so-called smartphone as an example. However, the image processing device 100 may include a sensor unit 110 and a photographing unit 120, and may be a portable information terminal such as a tablet terminal or a mobile phone with a camera, or may be a computer. Not limited to.

センサ部１１０は、画像処理装置１００の動きを検知し、センサ情報として撮影部１２０出力する。ここで、センサ情報には、動画データの撮影時における撮影部１２０の回転角に関する情報（角度情報）と、撮影時における撮影部１２０の移動速度に関する情報（速度情報）が含まれる。センサ部１１０は、例えば、重量加速度センサや、地磁気センサ、ジャイロセンサ等の多様なセンサで実現されてよい。 The sensor unit 110 detects the movement of the image processing device 100 and outputs the image processing unit 120 as sensor information. Here, the sensor information includes information regarding the rotation angle of the photographing unit 120 at the time of shooting moving image data (angle information) and information regarding the moving speed of the photographing unit 120 at the time of shooting (speed information). The sensor unit 110 may be realized by various sensors such as a weight acceleration sensor, a geomagnetic sensor, and a gyro sensor.

撮影部１２０は、レンズ等の光学素子、および、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）などのイメージセンサ、ＣＣＤ（Ｃｈａｒｇｅ−Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）イメージセンサ、Ａ／Ｄ（Ａｎａｌｏｇ/Ｄｉｇｉｔａｌ）変換器を含み得る。撮影部１２０は、例えばスマートフォンのカメラ機能などであって良い。撮影部１２０は、センサ部１１０からのセンサ情報に基づいて、角度情報および速度情報を含む動画データを生成する。また、撮影部１２０によって生成される動画データには、撮影日時および撮影開始からの経過時間に関する情報（時間情報）が含まれる。 The photographing unit 120 may include an optical element such as a lens, an image sensor such as a CMOS (Complementary Metal Oxide Sensor), a CCD (Charge-Coupled Device) image sensor, and an A / D (Annalog / Digital) converter. The shooting unit 120 may be, for example, a camera function of a smartphone. The photographing unit 120 generates moving image data including angle information and speed information based on the sensor information from the sensor unit 110. Further, the moving image data generated by the shooting unit 120 includes information (time information) regarding the shooting date and time and the elapsed time from the start of shooting.

ＣＰＵ１３０は、プログラムを実行することにより画像処理装置１００の処理を制御する。ＣＰＵ１３０は、後述する記憶部１７０に記憶されたプログラムを実行することにより、画像処理装置１００の処理を制御しても良い。なお、ＣＰＵ１３０の機能は、ＭＰＵ（Ｍｉｃｒｏ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等のプロセッサや、集積回路により実現されてもよい。ＣＰＵ１３０は、システム制御部１３１、取得部１３２、および、生成部１３３を含む。 The CPU 130 controls the processing of the image processing apparatus 100 by executing the program. The CPU 130 may control the processing of the image processing device 100 by executing a program stored in the storage unit 170 described later. The function of the CPU 130 may be realized by a processor such as an MPU (Micro Processing Unit) or an integrated circuit. The CPU 130 includes a system control unit 131, an acquisition unit 132, and a generation unit 133.

システム制御部１３１は、画像処理装置１００の各部を制御する制御手段である。システム制御部１３１は、例えば、後述する操作部１４０に対するユーザの入力を検知し、これに基づいて、画像処理装置１００の各部を制御する。 The system control unit 131 is a control means for controlling each unit of the image processing device 100. For example, the system control unit 131 detects a user's input to the operation unit 140, which will be described later, and controls each unit of the image processing device 100 based on the user input.

取得部１３２は、撮影部１２０から動画データを取得する。本実施形態において、画像処理装置１００はセンサ部１１０を備えるため、撮影部１２０から取得される動画データには、時間情報、角度情報および速度情報が含まれる。なお、取得部１３２は、外部装置から動画データを取得することも可能である。この場合、取得部１３２によって取得される動画データには、時間情報のみしか含まれない場合もあり得る。 The acquisition unit 132 acquires moving image data from the shooting unit 120. In the present embodiment, since the image processing device 100 includes the sensor unit 110, the moving image data acquired from the photographing unit 120 includes time information, angle information, and speed information. The acquisition unit 132 can also acquire moving image data from an external device. In this case, the moving image data acquired by the acquisition unit 132 may include only time information.

生成部１３３は、取得した動画データに含まれる時間情報、角度情報、および、速度情報の少なくとも１つに基づいて、該動画データから所定の間隔で静止画像を抽出することで、複数のコマ送り画像を抽出する。この複数のコマ送り画像を含むデータを、コマ送りデータという。 The generation unit 133 extracts a still image from the moving image data at a predetermined interval based on at least one of the time information, the angle information, and the speed information included in the acquired moving image data, thereby advancing a plurality of frames. Extract the image. The data including the plurality of frame-by-frame images is called frame-by-frame data.

操作部１４０は、ユーザ操作を受け付けるための入力デバイスである。操作部１４０は、例えば、キーボード、マウス、タッチスクリーンなどを含む。なお、本実施形態において、操作部１４０は、一例としてタッチスクリーンであるものとする。 The operation unit 140 is an input device for accepting user operations. The operation unit 140 includes, for example, a keyboard, a mouse, a touch screen, and the like. In the present embodiment, the operation unit 140 is assumed to be a touch screen as an example.

表示部１５０は、システム制御部１３１の制御に基づいて、画像やＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）を構成するＧＵＩ画面などを表示する。つまり、システム制御部１３１は、表示部１５０の表示を制御する表示制御部として機能すると言える。システム制御部１３１は、プログラムに従い表示制御信号を生成し、表示部１５０に表示するための映像信号を生成して表示部１５０に出力するように画像処理装置１００の各部を制御する。表示部１５０は出力された映像信号に基づいて映像を表示する。本実施形態において、表示部１５０は、システム制御部１３１の制御に基づいて、動画データとコマ送り画像データを切り替え可能に表示する。表示部１５０は、通常の携帯型機器のようにＬＣＤパネルで実現されてよいが、必ずしもそれに限定されるものではない。 The display unit 150 displays an image, a GUI screen constituting a GUI (Graphical User Interface), and the like based on the control of the system control unit 131. That is, it can be said that the system control unit 131 functions as a display control unit that controls the display of the display unit 150. The system control unit 131 controls each unit of the image processing device 100 so as to generate a display control signal according to a program, generate a video signal for display on the display unit 150, and output the video signal to the display unit 150. The display unit 150 displays an image based on the output video signal. In the present embodiment, the display unit 150 displays the moving image data and the frame-by-frame image data in a switchable manner based on the control of the system control unit 131. The display unit 150 may be realized by an LCD panel like a normal portable device, but is not necessarily limited thereto.

なお、表示部１５０は、タッチスクリーンで実現されてよい。この場合、ユーザはタッチスクリーンを直接タッチすることで、撮影指示などの多様な指示の入力を行う。 The display unit 150 may be realized by a touch screen. In this case, the user directly touches the touch screen to input various instructions such as shooting instructions.

通信部１６０は、外部機器やインターネットなどと通信して、ファイルやコマンドなどの各種データの送受信を行う。通信部１６０において用いられる通信方式は、無線または有線通信規格である。 The communication unit 160 communicates with an external device, the Internet, or the like to send and receive various data such as files and commands. The communication method used in the communication unit 160 is a wireless or wired communication standard.

記憶部１７０は、画像処理装置１００の処理を実行するためのプログラムや、設定情報、センサ情報および画像情報を記憶する。ここで、画像情報は、動画データや、後述するコマ送り画像データを含む。また、記憶部１７０は、ＣＰＵ１３０が処理を実行する際の記憶領域としても機能する。記憶部１７０は、画像処理装置１００そのものに設けられた内部メモリであってよいが、例えば、画像処理装置１００に装着および分離が容易なメモリカード、ＵＳＢメモリスティック等であってよい。または、画像処理装置１００と有線または無線インターフェースを通じて接続された外部記録ユニットであってよい。 The storage unit 170 stores a program for executing the processing of the image processing device 100, setting information, sensor information, and image information. Here, the image information includes moving image data and frame-by-frame image data described later. The storage unit 170 also functions as a storage area when the CPU 130 executes processing. The storage unit 170 may be an internal memory provided in the image processing device 100 itself, but may be, for example, a memory card, a USB memory stick, or the like that can be easily attached to and separated from the image processing device 100. Alternatively, it may be an external recording unit connected to the image processing device 100 via a wired or wireless interface.

次に、図２を参照して第１の実施形態に係るデータの生成処理と表示処理について説明する。図２は、第１の実施形態に係るデータの生成処理と表示処理の一例を示すフローチャートである。このフローチャートで示す各動作（ステップ）は、システム制御部１３１による各部の制御によって実行されうる。 Next, the data generation process and the display process according to the first embodiment will be described with reference to FIG. FIG. 2 is a flowchart showing an example of data generation processing and display processing according to the first embodiment. Each operation (step) shown in this flowchart can be executed by the control of each unit by the system control unit 131.

まず、取得部１３２は、動画データを取得する（Ｓ２０１）。動画データは、例えば、外部装置から通信部１６０を介して、撮影部１２０から、または、記憶部１７０から取得される。次に、生成部１３３は、取得された動画データに角度情報および速度情報の少なくとも一方が含まれるかを判断する（Ｓ２０２）。Ｓ２０２において、角度情報および速度情報のいずれも含まれないと判断された場合（Ｎｏ）、生成部１３３は、動画データから時間情報に基づく間隔で、静止画像を抽出し（Ｓ２０３）、コマ送り画像データを生成する（Ｓ２０５）。一方、Ｓ２０２において、角度情報および速度情報の少なくとも一方が含まれると判断された場合（Ｙｅｓ）、生成部１３３は、動画データから角度情報または速度情報に基づく間隔で、静止画像を抽出し（Ｓ２０４）、コマ送り画像データを生成する（Ｓ２０５）。なお、コマ送り画像データの生成方法の詳細については後述する。 First, the acquisition unit 132 acquires moving image data (S201). The moving image data is acquired from, for example, an external device via the communication unit 160, the photographing unit 120, or the storage unit 170. Next, the generation unit 133 determines whether the acquired moving image data includes at least one of the angle information and the velocity information (S202). When it is determined in S202 that neither the angle information nor the speed information is included (No), the generation unit 133 extracts a still image from the moving image data at an interval based on the time information (S203), and the frame-by-frame image. Generate data (S205). On the other hand, when it is determined in S202 that at least one of the angle information and the speed information is included (Yes), the generation unit 133 extracts a still image from the moving image data at intervals based on the angle information or the speed information (S204). ), Frame-by-frame image data is generated (S205). The details of the frame-by-frame image data generation method will be described later.

次に、システム制御部１３１は、表示部１５０に動画データとコマ送り画像データを切り替え可能に表示させる。ここで、動画データとコマ送り画像データを切り替え可能とする表示方法について説明する。システム制御部１３１は、例えば、ユーザによって動画データの再生が選択されている場合には、コマ送り画像データに動画データを重畳させて表示部１５０に表示させる。この場合、表示部１５０には動画データのみが表示されているように見える。一方、ユーザによってコマ送り画像データの表示が選択されている場合には、動画データにコマ送り画像データを重畳させて表示部１５０に表示させる。この場合、表示部１５０にはコマ送り画像データのみが表示されているように見える。なお、この場合、動画データとコマ送り画像データは同期して動作する。本実施形態では、一例として、コマ送り画像データの生成後、まず、表示部１５０に動画データを表示させ、再生する（Ｓ２０６）。なお、ユーザによって、動画を再生する指示が操作部１４０によって入力された後に動画を再生させても良い。 Next, the system control unit 131 causes the display unit 150 to display the moving image data and the frame-by-frame image data in a switchable manner. Here, a display method that enables switching between moving image data and frame-by-frame image data will be described. For example, when the user has selected the reproduction of the moving image data, the system control unit 131 superimposes the moving image data on the frame-by-frame image data and displays the moving image data on the display unit 150. In this case, it seems that only the moving image data is displayed on the display unit 150. On the other hand, when the display of the frame-by-frame image data is selected by the user, the frame-by-frame image data is superimposed on the moving image data and displayed on the display unit 150. In this case, it seems that only the frame-by-frame image data is displayed on the display unit 150. In this case, the moving image data and the frame-by-frame image data operate in synchronization with each other. In the present embodiment, as an example, after the frame-by-frame image data is generated, the moving image data is first displayed on the display unit 150 and reproduced (S206). It should be noted that the user may play the moving image after the instruction to play the moving image is input by the operation unit 140.

その後、システム制御部１３１は、表示部１５０に表示されるデータを、動画データからコマ送り画像データに切り替えるための所定の操作（第１の操作）がされたかを判定する（Ｓ２０７）。なお、ここで、第１の操作は、一例としてフリック操作であるものとするが、これに限られるものではない。また、ここで、フリック操作は、タッチパネル上に指をタッチしたままある程度の距離だけ素早く動かして、そのまま離すといった操作をいう。Ｓ２０７において、フリック操作がされたと判断された場合（Ｙｅｓ）、システム制御部１３１は、表示部１５０の表示を動画データからコマ送り画像データに切り替え、コマ送り画像を表示部１５０に表示させる（Ｓ２０８）。即ち、本実施形態では、動画データにコマ送り画像データを重畳させて表示部１５０に表示させる。上述したように、動画データとコマ送り画像データは同期して動作するため、フリック操作が検知された時点において、両データは同一時刻の画像を表示していることとなる。具体的には、５分００秒（５：００）の長さの動画データが再生されているとして、再生後、１：３０時点で、フリック操作がされたとする。この場合、１：３０時点におけるコマ送り画像が表示部１５０に表示される。よって、表示部１５０は、外観上、単に一時停止している状態に見える。図３は、コマ送り画像に切り替わった表示画面の一例を示す図である。この状態において、さらにフリック操作をすると、次のコマ送り画像が表示される。言い換えると、システム制御部１３１は、操作部１４０においてフリック操作を検知した場合に、フリック操作が検知されていた時に表示部１５０に表示されていた画像の次のコマ送り画像を表示させる。 After that, the system control unit 131 determines whether or not a predetermined operation (first operation) for switching the data displayed on the display unit 150 from the moving image data to the frame-by-frame image data has been performed (S207). Here, the first operation is assumed to be a flick operation as an example, but is not limited to this. Further, here, the flick operation refers to an operation in which a finger is touched on the touch panel and quickly moved by a certain distance and then released as it is. When it is determined in S207 that the flick operation has been performed (Yes), the system control unit 131 switches the display of the display unit 150 from the moving image data to the frame-by-frame image data, and causes the display unit 150 to display the frame-by-frame image (S208). ). That is, in the present embodiment, the frame-by-frame image data is superimposed on the moving image data and displayed on the display unit 150. As described above, since the moving image data and the frame-by-frame image data operate in synchronization with each other, both data display images at the same time when the flick operation is detected. Specifically, it is assumed that the moving image data having a length of 5 minutes and 00 seconds (5:00) is being played, and that the flick operation is performed at 1:30 after the playback. In this case, the frame-by-frame image at the time of 1:30 is displayed on the display unit 150. Therefore, the display unit 150 appears to be in a state of being simply paused in appearance. FIG. 3 is a diagram showing an example of a display screen switched to a frame-by-frame image. If a flick operation is further performed in this state, the next frame-by-frame image is displayed. In other words, when the operation unit 140 detects the flick operation, the system control unit 131 displays the frame-by-frame image next to the image displayed on the display unit 150 when the flick operation is detected.

図２に戻り、システム制御部１３１は、表示部１５０に表示されるデータを、コマ送り画像データから動画データに切り替えるための所定の操作（第２の操作）がされたかを判定する（Ｓ２０９）。なお、ここで、第２の操作は、一例としてダブルタップ操作であるものとするが、これに限られるものではない。第２の操作は、第１の操作と異なる操作であっても良いし、同じ操作であっても良い。また、ここで、ダブルタップ操作は、タッチパネル上に指を素早く２回タッチするといった操作をいう。Ｓ２０９において、ダブルタップ操作がされたと判断された場合（Ｙｅｓ）、システム制御部１３１は、表示部１５０の表示をコマ送り画像データから動画データに切り替え、動画データを表示部１５０に表示させる（Ｓ２１０）。即ち、本実施形態では、コマ送り画像データに動画データを重畳させて表示部１５０に表示させる。図４は、コマ送り画像データから動画データへの切り替え操作を説明する図である。操作部１４０がダブルタップ操作を検知することにより、表示部１５０の表示が動画データへと切り替わり、再び動画データが再生される。 Returning to FIG. 2, the system control unit 131 determines whether or not a predetermined operation (second operation) for switching the data displayed on the display unit 150 from the frame-by-frame image data to the moving image data has been performed (S209). .. Here, the second operation is assumed to be a double tap operation as an example, but is not limited to this. The second operation may be an operation different from the first operation or may be the same operation. Further, here, the double tap operation means an operation such as quickly touching the touch panel with a finger twice. When it is determined in S209 that the double tap operation has been performed (Yes), the system control unit 131 switches the display of the display unit 150 from the frame-by-frame image data to the video data, and causes the display unit 150 to display the video data (S210). ). That is, in the present embodiment, the moving image data is superimposed on the frame-by-frame image data and displayed on the display unit 150. FIG. 4 is a diagram illustrating an operation of switching from frame-by-frame image data to moving image data. When the operation unit 140 detects the double tap operation, the display of the display unit 150 is switched to the moving image data, and the moving image data is reproduced again.

図２に戻り、その後、動画が終了、または、終了操作がされるまで、Ｓ２０６〜Ｓ２１０を繰り返す。なお、処理の途中で終了操作がされた場合には、処理を終了する。このような構成とすることにより、容易にユーザの意図に沿ったシーンを表示させることができ、例えば、複雑な動作を動画で覚える場合等に便利である。 Returning to FIG. 2, after that, S206 to S210 are repeated until the moving image is finished or the ending operation is performed. If the end operation is performed in the middle of the process, the process is terminated. With such a configuration, it is possible to easily display a scene according to the user's intention, which is convenient, for example, when memorizing a complicated operation with a moving image.

なお、上述のフローでは、動画データとコマ送り画像データと同期させ、かつ、重畳して表示することにより、表示部１５０に表示させるデータの切り替えを行うこととしたが、これに限られるものではない。例えば、動画データとコマ送り画像データのそれぞれに含まれる時間情報を用いて、切り替えることも可能である。 In the above flow, the data to be displayed on the display unit 150 is switched by synchronizing the moving image data and the frame-by-frame image data and displaying them in an overlapping manner, but the data is not limited to this. No. For example, it is possible to switch using the time information included in each of the moving image data and the frame-by-frame image data.

次に、図５を参照して、コマ送り画像データの生成方法について説明する。図５は、第１の実施形態に係るコマ送り画像データの生成方法を説明する図である。図５（Ａ）は、時間情報に基づいてコマ送り画像データを生成する方法を説明する図である。動画データが、角度情報および速度情報のいずれも含まない場合、生成部１３３は、動画データから等間隔で静止画像を抽出して、コマ送り画像データを生成する。図５（Ａ）に示す例では、生成部１３３は、時刻ｔ０〜ｔ１において静止画像Ａ１〜Ａ５、つまり、５枚の静止画像を等間隔で抽出している。時間情報に基づいてコマ送り画像データを生成する場合、生成部１３３は、動画の開始時刻ｔ０から動画の終了時刻ｔ6まで等間隔で静止画像を抽出し、コマ送り画像データを生成する。 Next, a method of generating frame-by-frame image data will be described with reference to FIG. FIG. 5 is a diagram illustrating a method of generating frame-by-frame image data according to the first embodiment. FIG. 5A is a diagram illustrating a method of generating frame-by-frame image data based on time information. When the moving image data does not include either the angle information or the speed information, the generation unit 133 extracts still images from the moving image data at equal intervals to generate frame-by-frame image data. In the example shown in FIG. 5 (A), generating unit 133, a still image A 1 to A 5 at time t 0 ~t 1, that is, extracts the five still images at equal intervals. When generating frame-by-frame image data based on time information, the generation unit 133 extracts still images at equal intervals from the start time t 0 of the moving image to the end time t 6 of the moving image, and generates the frame-by-frame image data.

一方、動画データが、角度情報および速度情報の少なくとも一方を含む場合、生成部１３３は、生成部１３３は、角度情報または速度情報に基づく間隔で動画データから静止画像を抽出して、コマ送り画像データを生成する。図５（Ｂ）は、角度情報または速度情報に基づいてコマ送り画像データを生成する方法を説明する図である。本図の例では、時刻ｔ0〜ｔ1および時刻ｔ3〜ｔ4では撮影部１２０が単位時間当たり１５°動いたという角度情報が含まれており、時刻ｔ1〜ｔ3では撮影部１２０が単位時間当たり１０°動いたという角度情報が含まれており、時刻ｔ4〜ｔ6では撮影部１２０が単位時間当たり２０°動いたという角度情報が含まれているものとする。角度情報または速度情報に基づいて、コマ送り画像データを生成する場合、動画の開始時刻ｔ０から動画の終了時刻ｔ6における、静止画像を抽出する間隔は、角度情報または速度情報に応じて変動する。 On the other hand, when the moving image data includes at least one of the angle information and the speed information, the generation unit 133 extracts the still image from the moving image data at intervals based on the angle information or the speed information, and the frame-by-frame image. Generate data. FIG. 5B is a diagram illustrating a method of generating frame-by-frame image data based on angle information or speed information. In the example of this figure, angle information that the photographing unit 120 has moved 15 ° per unit time is included at times t 0 to t 1 and times t 3 to t 4 , and the photographing unit 120 is included at times t 1 to t 3. There are included angle information that moves 10 ° per unit time, the time t 4 ~t 6 the imaging unit 120 is assumed to include angular information that moves 20 ° per unit time. When frame-by-frame image data is generated based on angle information or speed information, the interval for extracting still images from the start time t 0 of the moving image to the end time t 6 of the moving image varies depending on the angle information or speed information. do.

本図に示す例では、生成部１３３は、時刻ｔ1〜ｔ2において静止画像Ｂ１〜Ｂ7、つまり、７枚の静止画像を抽出している。時刻ｔ0〜ｔ1では、５枚の静止画像が抽出されていることから、時刻ｔ1〜ｔ2では、時刻ｔ0〜ｔ1よりも短い間隔で静止画像が抽出されていることがわかる。一方、時刻ｔ4〜ｔ5において、生成部１３３は静止画像Ｃ１〜Ｃ4、つまり、４枚の静止画像を抽出している。つまり、時刻ｔ4〜ｔ5では、時刻ｔ0〜ｔ1よりも長い間隔で静止画像が抽出されていることがわかる。すなわち、生成部１３３は、動画データに含まれる単位時間あたりの角度情報の値が大きい、または、速度情報の値が大きいほど、静止画像を抽出する間隔を長くして、コマ送りデータを生成する。 In the example shown in this figure, the generation unit 133 extracts still images B 1 to B 7 , that is, seven still images at times t 1 to t 2. At time t 0 ~t 1, since the five still images are extracted, at time t 1 ~t 2, it can be seen that the still image is extracted at an interval shorter than the time t 0 ~t 1 .. On the other hand, at times t 4 to t 5 , the generation unit 133 extracts still images C 1 to C 4 , that is, four still images. That is, it can be seen that at times t 4 to t 5 , still images are extracted at intervals longer than times t 0 to t 1. That is, the generation unit 133 generates frame-by-frame data by lengthening the interval for extracting still images as the value of the angle information per unit time included in the moving image data is larger or the value of the speed information is larger. ..

単位時間当たりの角度情報の値が大きい、または、速度情報の値が大きいほど、ユーザは撮影時において、撮影部１２０をより早く動かしていることになる。このような場合、ユーザは被写体を細かく観察することを意図せずに被写体を撮影したことが考えられる。一方、単位時間当たりの角度情報の値が小さい、または、速度情報の値が小さいほど、ユーザは撮影時において、撮影部１２０をよりゆっくりと動かしていることになる。このような場合、ユーザは被写体を細かく観察することを意図して被写体を撮影したことが考えられる。よって、上述のような方法でコマ送りデータを生成することにより、ユーザの意図に沿ったコマ送りデータを生成することが可能となる。 The larger the value of the angle information per unit time or the larger the value of the speed information, the faster the user is moving the shooting unit 120 at the time of shooting. In such a case, it is conceivable that the user took a picture of the subject without intending to observe the subject in detail. On the other hand, the smaller the value of the angle information per unit time or the smaller the value of the speed information, the more slowly the user is moving the photographing unit 120 at the time of photographing. In such a case, it is conceivable that the user photographed the subject with the intention of observing the subject in detail. Therefore, by generating the frame-by-frame data by the method as described above, it is possible to generate the frame-by-frame data according to the user's intention.

なお、角度情報または速度情報に応じた前記間隔の設定については、例えば、角度情報または速度情報の値と、それに応じた間隔に関する情報を含むテーブル等を記憶部１７０に記憶させておき、該テーブル等を用いて設定しても良いし、演算により間隔を設定しても良い。 Regarding the setting of the interval according to the angle information or the speed information, for example, a table or the like including the value of the angle information or the speed information and the information regarding the corresponding interval is stored in the storage unit 170, and the table is stored. It may be set by using or the like, or the interval may be set by calculation.

なお、静止画像を抽出する間隔は、時間情報に基づく場合も、角度情報または速度情報に基づく場合もユーザの操作によって変更可能である。静止画像を抽出する間隔を短くすることにより、コマ送り画像データの動きのスムーズ度が上昇する。 The interval for extracting the still image can be changed by the user's operation whether it is based on the time information or the angle information or the speed information. By shortening the interval for extracting still images, the smoothness of movement of frame-by-frame image data is increased.

また、システム制御部１３１は、コマ送り画像データのそれぞれのコマ送り画像を表示部１５０に一覧表示させることも可能である。図６は、コマ送り画像の一覧表示の画面例を示す図である。例えば、アイコン３０１をタップすることにより、コマ送り画像データの一覧が表示部１５０に表示される。一覧から、任意のコマ送り画像を、例えば、タップすることにより選択すると、選択されたコマ送り画像が表示部１５０に表示される。さらに、この状態で、コマ送り画像データから動画データに切り替えるための所定の操作をすることにより、選択されたコマ送り画像の時点から動画を再生することができ、動画再生における操作性をさらに向上させることができる。 Further, the system control unit 131 can display each frame-by-frame image of the frame-by-frame image data in a list on the display unit 150. FIG. 6 is a diagram showing a screen example of displaying a list of frame-by-frame images. For example, by tapping the icon 301, a list of frame-by-frame image data is displayed on the display unit 150. When an arbitrary frame-by-frame image is selected from the list by, for example, tapping, the selected frame-by-frame image is displayed on the display unit 150. Further, in this state, by performing a predetermined operation for switching from the frame-by-frame image data to the video data, the video can be played from the time of the selected frame-by-frame image, further improving the operability in the video playback. Can be made to.

また、コマ送り画像を１つの画像データとして、例えば、記憶部１７０に保存することも可能である。図７は、コマ送り画像を保存する場合の画面例を示す図である。例えば、コマ送り画像の一覧表示から、保存したいコマ送り画像を選択する。そして、アイコン３０２をタップすることにより、コマ送り画像を１つの画像データとして保存することができる。これにより、ユーザの意図に応じたシーンを画像として保存することが可能となる。 Further, it is also possible to store the frame-by-frame image as one image data in, for example, the storage unit 170. FIG. 7 is a diagram showing an example of a screen when saving a frame-by-frame image. For example, select the frame-by-frame image you want to save from the frame-by-frame image list display. Then, by tapping the icon 302, the frame-by-frame image can be saved as one image data. This makes it possible to save the scene according to the user's intention as an image.

さらに、システム制御部１３１は、複数のデータを同時に表示部１５０に表示させることもできる。図８は、複数のデータを同時に表示させる画面例を示す図である。任意のデータを、例えば、記憶部１７０から１または複数選択し、表示部１５０表示させる。ここで、選択されるデータは、動画データであっても良いし、動画データとコマ送り画像データを含むデータであっても良い。コマ送り画像データが含まれない動画データが選択された場合、上述の処理によって、動画データとコマ送り画像データを含むデータを生成する。本図では、一例として、表示部１５０にデータ４０１とデータ４０２が表示されている。データ４０１とデータ４０２は、同一のデータであっても良いし、異なるデータであっても良い。同一のデータを同時に表示させる場合は、同一データに含まれる異なるシーンを容易に比較することができる。また、異なるデータである場合は、複数のデータを容易に比較することができる。なお、同時に表示させるデータの数は２つに限られない。 Further, the system control unit 131 can display a plurality of data on the display unit 150 at the same time. FIG. 8 is a diagram showing an example of a screen for displaying a plurality of data at the same time. For example, one or a plurality of arbitrary data is selected from the storage unit 170 and displayed on the display unit 150. Here, the selected data may be moving image data, or may be data including moving image data and frame-by-frame image data. When moving image data that does not include frame-by-frame image data is selected, data including moving image data and frame-by-frame image data is generated by the above processing. In this figure, as an example, data 401 and data 402 are displayed on the display unit 150. The data 401 and the data 402 may be the same data or different data. When the same data is displayed at the same time, different scenes contained in the same data can be easily compared. Further, when the data are different, a plurality of data can be easily compared. The number of data to be displayed at the same time is not limited to two.

また、データ４０１とデータ４０２に対する操作は、同期させても良いし、それぞれに対して操作することも可能である。同期させる場合、複数の異なるデータを比較する場合に、操作しやすい。一方、それぞれに対して操作する場合は、より柔軟にそれぞれのデータからシーンを選択することが可能となる。 Further, the operations on the data 401 and the data 402 may be synchronized, or the operations on each may be performed. When synchronizing, it is easy to operate when comparing multiple different data. On the other hand, when operating for each, it becomes possible to more flexibly select a scene from each data.

以上、第１の実施形態によれば、動画再生時において、容易にユーザの意図に沿ったシーンを表示させることができる。 As described above, according to the first embodiment, it is possible to easily display a scene in line with the user's intention at the time of reproducing a moving image.

（第２の実施形態）
動画データが、角度情報または速度情報を含む場合であっても、動画データに動きが検知されなかった期間が含まれている場合がある。このような場合に対応するため、第２の実施形態では、時間情報、および、角度情報または速度情報を用いて、コマ送り画像データを生成する。なお、第１の実施形態と同様の構成は同符号で示し、説明は省略する。 (Second embodiment)
Even if the moving image data includes angle information or velocity information, the moving image data may include a period in which motion is not detected. In order to deal with such a case, in the second embodiment, the frame-by-frame image data is generated by using the time information and the angle information or the speed information. The same configuration as that of the first embodiment is indicated by the same reference numerals, and the description thereof will be omitted.

まず、図９を参照して説明する。図９は、第２の実施形態に係る角度情報または速度情報に基づいてコマ送り画像データを生成する方法を説明する図である。本図では、時刻ｔ0〜ｔ1および時刻ｔ3〜ｔ4では撮影部１２０の動きがセンサ部１１０によって検知されなかったという情報が含まれている。一方、時刻ｔ1〜ｔ3では撮影部１２０の動きが検知され、単位時間当たり１０°動いたという角度情報が含まれており、時刻ｔ4〜ｔ6でも撮影部１２０の動きが検知され、単位時間当たり２０°動いたという角度情報が含まれている例について説明する。すなわち、時刻ｔ0〜ｔ1および時刻ｔ3〜ｔ4は、角度の変化が検出されない期間であり、時刻ｔ1〜ｔ3および時刻ｔ4〜ｔ6は、角度の変化が検出される期間である。 First, it will be described with reference to FIG. FIG. 9 is a diagram illustrating a method of generating frame-by-frame image data based on the angle information or the speed information according to the second embodiment. In this figure, information is included that the movement of the photographing unit 120 was not detected by the sensor unit 110 at times t 0 to t 1 and times t 3 to t 4. On the other hand, the detected movement of the time t 1 ~t 3 the imaging unit 120, the angle information that moves per unit time 10 ° are included, the movement of the time t 4 ~t 6 even capturing unit 120 is detected, An example in which angle information that the vehicle has moved 20 ° per unit time is included will be described. That is, the time t 0 to t 1 and the time t 3 to t 4 are the periods in which the change in angle is not detected, and the times t 1 to t 3 and the time t 4 to t 6 are the periods in which the change in angle is detected. Is.

本図に示す例では、生成部１３３は、時刻ｔ0〜ｔ1および時刻ｔ3〜ｔ4では、動画データから時間情報に基づく間隔で静止画像を抽出して、コマ送り画像データを生成する。一方、時刻ｔ1〜ｔ3および時刻ｔ4〜ｔ6では、角度情報または速度情報に基づく間隔で静止画像を抽出して、コマ送り画像データを生成する。なお、本実施形態では、角度の変化が検出されるか否かを例に説明するが、速度が検出されるか否かでも同様に適応することができる。 In the example shown in this figure, the generation unit 133 extracts still images from the moving image data at intervals based on time information at times t 0 to t 1 and times t 3 to t 4, and generates frame-by-frame image data. .. On the other hand, at times t 1 to t 3 and times t 4 to t 6 , still images are extracted at intervals based on angle information or speed information, and frame-by-frame image data is generated. In this embodiment, whether or not a change in angle is detected will be described as an example, but it can be similarly applied to whether or not a velocity is detected.

動画データのうち、前記動きが検知されない期間は、被写体によっては、シーンの変化が乏しい場合が考えられる。このような期間において、時間情報に基づく間隔でコマ送り画像データを生成することにより、よりユーザの意図に沿ったコマ送り画像データを生成することが可能となる。 Of the moving image data, during the period when the movement is not detected, there may be little change in the scene depending on the subject. By generating frame-by-frame image data at intervals based on time information in such a period, it becomes possible to generate frame-by-frame image data more in line with the user's intention.

図１０は、第２の実施形態に係る角度情報または速度情報に基づいてコマ送り画像データを生成する処理の一例を示すフローチャートである。本図の処理は、第１の実施形態の図２のＳ２０４の工程に相当する。このフローチャートで示す各動作（ステップ）は、システム制御部１３１による各部の制御によって実行されうる。 FIG. 10 is a flowchart showing an example of a process of generating frame-by-frame image data based on the angle information or the speed information according to the second embodiment. The process of this figure corresponds to the process of S204 of FIG. 2 of the first embodiment. Each operation (step) shown in this flowchart can be executed by the control of each unit by the system control unit 131.

まず、生成部１３３は、動画データにおいて、撮影部１２０の動きが検知されているかを判断する（Ｓ５０１）。Ｓ５０１において、動きがないと判断された場合（Ｎｏ）、生成部１３３は、時間情報に基づく間隔で静止画像を抽出する（Ｓ５０２）。一方、Ｓ５０１において、動きがあると判断された場合（Ｙｅｓ）、角度情報または速度情報に基づく間隔で静止画像を抽出して、コマ送り画像データを生成する（Ｓ５０３）。Ｓ５０１〜Ｓ５０３を動画データの終了時刻まで繰り返す（Ｓ５０４）。 First, the generation unit 133 determines whether or not the movement of the shooting unit 120 is detected in the moving image data (S501). When it is determined in S501 that there is no movement (No), the generation unit 133 extracts still images at intervals based on time information (S502). On the other hand, in S501, when it is determined that there is movement (Yes), still images are extracted at intervals based on angle information or velocity information, and frame-by-frame image data is generated (S503). S501 to S503 are repeated until the end time of the moving image data (S504).

第２の実施形態によれば、よりユーザの意図に沿ったコマ送り画像データを生成することが可能なり、よりユーザの意図に沿ったシーンを表示させることができる。 According to the second embodiment, it is possible to generate frame-by-frame image data that is more in line with the user's intention, and it is possible to display a scene that is more in line with the user's intention.

（画像処理システムの実施形態）
本実施形態では、上述の画像処理装置１００を含む画像処理システム１０００について説明する。なお、上述の実施形態と同様の構成は同符号で示し、説明は省略する。図１１は、画像処理システム１０００のブロック図である。画像処理システム１０００は、画像処理装置１００、サーバ６００、端末７００を含む。 (Embodiment of image processing system)
In this embodiment, the image processing system 1000 including the above-mentioned image processing apparatus 100 will be described. The same configuration as that of the above-described embodiment is indicated by the same reference numerals, and the description thereof will be omitted. FIG. 11 is a block diagram of the image processing system 1000. The image processing system 1000 includes an image processing device 100, a server 600, and a terminal 700.

端末７００は、例えば、スマートフォンと呼ばれる携帯情報端末である。ただし、端末７００は、表示部７０１を備えており、かつ、ネットワーク８００を介してサーバ６００と通信可能であれば良い。よって、端末７００は、タブレット端末や、携帯電話等の携帯情報端末であってもよいし、コンピュータであってもよく、これらに限られない。なお、端末７００は、センサ部１１０および撮影部１２０に相当する機能を有していなくても良い。なお、本実施形態において、表示部７０１は、一例としてタッチスクリーンであり、操作部としての機能を備えるものとする。 The terminal 700 is, for example, a mobile information terminal called a smartphone. However, the terminal 700 may be provided with a display unit 701 and may be able to communicate with the server 600 via the network 800. Therefore, the terminal 700 may be a tablet terminal, a mobile information terminal such as a mobile phone, or a computer, and is not limited thereto. The terminal 700 may not have the functions corresponding to the sensor unit 110 and the photographing unit 120. In the present embodiment, the display unit 701 is a touch screen as an example, and is provided with a function as an operation unit.

サーバ６００は、動画データとコマ送り画像データを含むデータ（以降、単にデータという）を、例えば、画像処理装置１００と端末７００との間で共有するためのサービスを提供する。データは、例えば、画像処理装置１００から、ネットワーク８００を介してアップロードされる。データがサーバ６００にアップロードされると、サーバ６００は、データに対応するＵＲＬ（Ｕｎｉｆｏｒｍ Ｒｅｓｏｕｅｒｃｅ Ｌｏｃａｔｏｒ）やコードを出力する。サーバ６００により提供されるサービスは、対象とするユーザを登録会員に限定してもよく、また一般に開放してもよい。 The server 600 provides a service for sharing data including moving image data and frame-by-frame image data (hereinafter, simply referred to as data) between the image processing device 100 and the terminal 700, for example. The data is uploaded from, for example, the image processing device 100 via the network 800. When the data is uploaded to the server 600, the server 600 outputs a URL (Uniform Resource Locator) and a code corresponding to the data. The service provided by the server 600 may be limited to registered members or may be open to the public.

サーバ６００は、通信部６１０、記憶部６２０、再生部６３０、および、制御部６４０を含む。通信部６１０は、外部機器やインターネットなどと通信して、ファイルやコマンドなどの各種データの送受信を行う。記憶部６２０は、サーバ６００の処理を実行するためのプログラムや、画像処理装置１００からアップロードされたデータを記憶する。また、記憶部６２０は、制御部６４０が処理を実行する際の記憶領域としても機能する。 The server 600 includes a communication unit 610, a storage unit 620, a reproduction unit 630, and a control unit 640. The communication unit 610 communicates with an external device, the Internet, or the like to send and receive various data such as files and commands. The storage unit 620 stores a program for executing the processing of the server 600 and data uploaded from the image processing device 100. The storage unit 620 also functions as a storage area when the control unit 640 executes processing.

再生部６３０は、ネットワーク８００を介して、端末７００の表示部７０１に画像処理装置１００からアップロードされたデータを表示させる。具体的には、例えば、端末７００が、サーバ６００から出力されたＵＲＬやコードを読み込むことにより、サーバ６００と通信する。これにより、画像処理装置１００からアップロードされた、該当のデータを端末７００で表示することができる。また、再生部６３０は、端末７００がサーバ６００と通信を行う際に用いたブラウザに応じてプレイヤーを選択し、選択されたプレイヤーを用いて、データを再生する。 The reproduction unit 630 causes the display unit 701 of the terminal 700 to display the data uploaded from the image processing device 100 via the network 800. Specifically, for example, the terminal 700 communicates with the server 600 by reading the URL or code output from the server 600. As a result, the corresponding data uploaded from the image processing device 100 can be displayed on the terminal 700. Further, the reproduction unit 630 selects a player according to the browser used when the terminal 700 communicates with the server 600, and reproduces the data using the selected player.

制御部６４０は、例えば、ＣＰＵを含み、サーバ６００の各部を制御する制御手段である。制御部６４０は、例えば、後述する処理を実行するため、サーバ６００の各部を制御する。 The control unit 640 is, for example, a control means including a CPU and controlling each unit of the server 600. The control unit 640 controls each unit of the server 600, for example, in order to execute a process described later.

次に、図１２を参照してサーバ６００におけるデータの再生処理について説明する。図１２は、サーバ６００におけるデータの再生処理の一例を示すフローチャートである。このフローチャートで示す各動作（ステップ）は、制御部６４０による各部の制御によって実行されうる。なお、本フローチャートのＳ８０２〜８０７のステップは、第１の実施形態のＳ２０６〜Ｓ２１１と同様であるため、説明を簡略化する。 Next, the data reproduction process in the server 600 will be described with reference to FIG. FIG. 12 is a flowchart showing an example of data reproduction processing in the server 600. Each operation (step) shown in this flowchart can be executed by the control of each unit by the control unit 640. Since the steps of S802 to 807 in this flowchart are the same as those of S206 to S211 of the first embodiment, the description will be simplified.

まず、再生部６３０は、端末７００がサーバ６００と通信を行う際に用いたブラウザに応じてプレイヤーを選択する（Ｓ８０１）。そして、再生部６３０は、通信部６１０を介して端末７００の表示部７０１に動画データとコマ送り画像データを切り替え可能に表示させ、再生する（Ｓ８０２）。 First, the playback unit 630 selects a player according to the browser used when the terminal 700 communicates with the server 600 (S801). Then, the reproduction unit 630 causes the display unit 701 of the terminal 700 to display the moving image data and the frame-by-frame image data in a switchable manner via the communication unit 610, and reproduces the data (S802).

その後、制御部６４０は、表示部７０１に表示されるデータを、動画データからコマ送り画像データに切り替えるための所定の操作（第１の操作）がされたかを判定する（Ｓ８０３）。なお、ここで、第１の操作は、一例としてフリック操作であるものとするが、これに限られるものではない。Ｓ８０３において、フリック操作がされたと判断された場合（Ｙｅｓ）、制御部６４０は、表示部７０１の表示を動画データからコマ送り画像データに切り替え、コマ送り画像を表示部７０１に表示させる（Ｓ８０４）。 After that, the control unit 640 determines whether a predetermined operation (first operation) for switching the data displayed on the display unit 701 from the moving image data to the frame-by-frame image data has been performed (S803). Here, the first operation is assumed to be a flick operation as an example, but is not limited to this. When it is determined in S803 that the flick operation has been performed (Yes), the control unit 640 switches the display of the display unit 701 from the moving image data to the frame-by-frame image data, and displays the frame-by-frame image on the display unit 701 (S804). ..

そして、制御部６４０は、表示部７０１に表示されるデータを、コマ送り画像データから動画データに切り替えるための所定の操作（第２の操作）がされたかを判定する（Ｓ８０５）。なお、ここで、第２の操作は、一例としてダブルタップ操作であるものとするが、これに限られるものではない。Ｓ８０５において、ダブルタップ操作がされたと判断された場合（Ｙｅｓ）、制御部６４０は、表示部７０１の表示をコマ送り画像データから動画データに切り替え、動画データを表示部７０１に表示させる（Ｓ８０６）。その後、動画が終了、または、終了操作がされるまで、Ｓ８０２〜Ｓ８０６を繰り返す（Ｓ８０７）。このような構成とすることにより、撮影部またはセンサ部を有さない端末においても、容易にユーザの意図に沿ったシーンを表示させることができる。 Then, the control unit 640 determines whether a predetermined operation (second operation) for switching the data displayed on the display unit 701 from the frame-by-frame image data to the moving image data has been performed (S805). Here, the second operation is assumed to be a double tap operation as an example, but is not limited to this. When it is determined in S805 that the double tap operation has been performed (Yes), the control unit 640 switches the display of the display unit 701 from the frame-by-frame image data to the video data, and causes the display unit 701 to display the video data (S806). .. After that, S802 to S806 are repeated (S807) until the moving image is finished or the ending operation is performed. With such a configuration, it is possible to easily display a scene according to the user's intention even on a terminal that does not have a photographing unit or a sensor unit.

なお、本実施形態においては、画像処理装置１００からアップロードされた動画データとコマ送り画像データを含むデータを、サーバ６００を用いて端末７００に表示させる実施形態について説明した。しかし、例えば、サーバ６００が生成部１３３に相当する機能を備えていてもよい。この場合、サーバ６００に動画データをアップロードすることで、動画データとコマ送り画像データを含むデータを生成することが可能となる。 In this embodiment, an embodiment in which the data including the moving image data and the frame-by-frame image data uploaded from the image processing device 100 are displayed on the terminal 700 by using the server 600 has been described. However, for example, the server 600 may have a function corresponding to the generation unit 133. In this case, by uploading the moving image data to the server 600, it is possible to generate data including the moving image data and the frame-by-frame image data.

（その他の実施形態）
以上、以上、本発明の好ましい実施形態について詳述したが、本発明は、コンピュータに上述の方法を実行させるためのプログラムによって実現されてもよい。すなわち、プログラムは、画像処理装置又は画像処理システム等のコンピュータに各処理を実行させるためのコンピュータプログラムである。 (Other embodiments)
Although the preferred embodiments of the present invention have been described in detail above, the present invention may be realized by a program for causing a computer to execute the above-mentioned method. That is, the program is a computer program for causing a computer such as an image processing device or an image processing system to execute each process.

また、プログラムは、コンピュータが読み取り可能な記録媒体に記録されて頒布することができる。なお、記録媒体は、磁気テープ、フラッシュメモリ、光ディスク、光磁気ディスク又は磁気ディスク等のメディアである。さらに、プログラムは、電気通信回線を通じて頒布することができる。 The program can also be recorded and distributed on a computer-readable recording medium. The recording medium is a medium such as a magnetic tape, a flash memory, an optical disk, a magneto-optical disk, or a magnetic disk. In addition, the program can be distributed over telecommunication lines.

以上、本発明の好ましい実施形態について詳述したが、本発明は、上記に説明した実施形態等に限定されるものではない。したがって、特許請求の範囲に記載された本発明の要旨の範囲内において、実施形態は、種々の変形又は変更が可能である。 Although the preferred embodiments of the present invention have been described in detail above, the present invention is not limited to the embodiments described above. Therefore, within the scope of the gist of the present invention described in the claims, various modifications or changes can be made to the embodiments.

１００ 画像処理装置
１１０ センサ部
１２０ 撮影部
１３１ システム制御部
１３２ 取得部
１３３ 生成部
１４０ 操作部
１５０ 表示部
６００ サーバ
６３０ 再生部
６４０ 制御部
７００ 端末
８００ ネットワーク
１０００ 画像処理システム 100 Image processing device 110 Sensor unit 120 Imaging unit 131 System control unit 132 Acquisition unit 133 Generation unit 140 Operation unit 150 Display unit 600 Server 630 Playback unit 640 Control unit 700 Terminal 800 Network 1000 Image processing system

Claims (12)

時間情報、角度情報、および、速度情報の少なくとも１つを含む動画データを取得する取得部と、
前記時間情報、前記角度情報、および、前記速度情報の少なくとも１つに基づいて、前記動画データから、コマ送り画像を抽出し、複数の前記コマ送り画像を含むコマ送りデータを生成する生成部と、
前記動画データと前記コマ送りデータを表示部に切り替え可能に表示させる表示制御部とを有し、
前記生成部は、前記動画データから所定の間隔で静止画像を抽出することで、前記コマ送りデータを生成し、前記動画データが前記時間情報および前記角度情報、または、前記速度情報を含む場合に、前記動画データに含まれる時間情報の単位時間あたりの前記角度情報の値が大きい、または、前記速度情報の値が大きいほど、前記静止画像を抽出する間隔を長くして、前記コマ送りデータを生成することを特徴とする画像処理装置。 An acquisition unit that acquires video data including at least one of time information, angle information, and speed information, and
A generator that extracts frame-by-frame images from the moving image data based on at least one of the time information, the angle information, and the speed information, and generates frame-by-frame data including a plurality of the frame-by-frame images. ,
Have a display control unit for displaying switchably the frame transmission Ride over data and the moving image data on the display unit,
The generation unit generates the frame advance data by extracting still images from the moving image data at predetermined intervals, and when the moving image data includes the time information, the angle information, or the speed information. The larger the value of the angle information per unit time of the time information included in the moving image data, or the larger the value of the speed information, the longer the interval for extracting the still image, and the frame-by-frame data is displayed. An image processing device characterized by generating. 時間情報、角度情報、および、速度情報の少なくとも１つを含む動画データを取得する取得部と、 An acquisition unit that acquires video data including at least one of time information, angle information, and speed information, and
前記時間情報、前記角度情報、および、前記速度情報の少なくとも１つに基づいて、前記動画データから、コマ送り画像を抽出し、複数の前記コマ送り画像を含むコマ送りデータを生成する生成部と、 A generator that extracts frame-by-frame images from the moving image data based on at least one of the time information, the angle information, and the speed information, and generates frame-by-frame data including a plurality of the frame-by-frame images. ,
前記動画データと前記コマ送りデータを表示部に切り替え可能に表示させる表示制御部とを有し、 It has a display control unit that switchesably displays the moving image data and the frame advance data on the display unit.
前記生成部は、前記動画データから所定の間隔で静止画像を抽出することで、前記コマ送りデータを生成し、前記動画データが前記時間情報、および、前記角度情報または前記速度情報を含む場合に、前記動画データのうち、角度の変化または速度が検出される期間については、前記角度情報または前記速度情報に基づく間隔で前記静止画像を抽出し、前記角度の変化または前記速度が検出されない期間については、前記時間情報に基づく間隔で前記静止画像を抽出することを特徴とする画像処理装置。 The generation unit generates the frame advance data by extracting still images from the moving image data at predetermined intervals, and when the moving image data includes the time information and the angle information or the speed information. For the period in which the change in angle or the speed is detected in the moving image data, the still image is extracted at the interval based on the angle information or the speed information, and the change in angle or the speed is not detected. Is an image processing device characterized by extracting the still image at intervals based on the time information. 操作部を有し、
前記表示制御部は、前記操作部において第１の操作を検知した場合に、前記第１の操作が検知されていた時に前記表示部に表示されていた画像の次のコマ送り画像を表示させることを特徴とする請求項１または２に記載の画像処理装置。 Has an operation unit
When the operation unit detects the first operation, the display control unit displays a frame-by-frame image next to the image displayed on the display unit when the first operation is detected. The image processing apparatus according to claim 1 or 2. 前記表示制御部は、前記表示部に前記動画データが表示されている時に、前記操作部において前記第１の操作を検知した場合に、前記コマ送り画像の表示に切り替えることを特徴とする請求項３に記載の画像処理装置。 The claim is characterized in that the display control unit switches to the display of the frame-by-frame image when the operation unit detects the first operation when the moving image data is displayed on the display unit. The image processing apparatus according to 3. 前記表示制御部は、前記表示部に前記コマ送りデータが表示されている時に、前記操作部において第２の操作を検知した場合に、前記動画データの表示に切り替えることを特徴とする請求項３または４に記載の画像処理装置。 Wherein the display control unit, when the frame transmission Ride over data is displayed on the display unit, when detecting the second operation in the operation unit, and also changes the display of the moving image data The image processing apparatus according to claim 3 or 4. 前記表示制御部は、前記生成部が抽出した前記複数のコマ送り画像を一覧で前記表示部に表示させることを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。 The image processing apparatus according to any one of claims 1 to 5 , wherein the display control unit displays the plurality of frame-by-frame images extracted by the generation unit on the display unit in a list. 前記表示制御部は、第１の動画データと前記第１の動画データから生成した第１のコマ送りデータとを含む第１のデータと、第２の動画データと前記第２の動画データから生成した第２のコマ送りデータとを含む第２のデータ、を同時に前記表示部に表示させる請求項１乃至６のいずれか１項に記載の画像処理装置。 The display control unit is generated from the first data including the first moving image data and the first frame advance data generated from the first moving image data, the second moving image data, and the second moving image data. The image processing apparatus according to any one of claims 1 to 6 , wherein the second data including the second frame advance data is simultaneously displayed on the display unit. 前記生成部は、前記動画データから所定の間隔で静止画像を抽出することで、前記コマ送りデータを生成し、前記間隔は変更可能であることを特徴とする請求項１乃至７のいずれか１項に記載の画像処理装置。 The generating unit, by extracting the still images at a predetermined interval from the moving image data to generate the frame transmission Ride over data, of claims 1 to 7 wherein the interval is characterized in that it is changed The image processing apparatus according to any one of the following items. 時間情報、角度情報、および、速度情報の少なくとも１つを含む動画データを取得する取得工程と、
前記時間情報、前記角度情報、および、前記速度情報の少なくとも１つに基づいて、前記動画データから、コマ送り画像を抽出し、複数の前記コマ送り画像を含むコマ送りデータを生成する生成工程と、
前記動画データと前記コマ送りデータを表示部に切り替え可能に表示させる表示工程とを含み、
前記生成工程では、前記動画データから所定の間隔で静止画像を抽出することで、前記コマ送りデータを生成し、前記動画データが前記時間情報および前記角度情報、または、前記速度情報を含む場合に、前記動画データに含まれる時間情報の単位時間あたりの前記角度情報の値が大きい、または、前記速度情報の値が大きいほど、前記静止画像を抽出する間隔を長くして、前記コマ送りデータを生成することを特徴とする画像処理方法。 An acquisition process for acquiring video data including at least one of time information, angle information, and speed information, and
A generation step of extracting a frame-by-frame image from the moving image data based on at least one of the time information, the angle information, and the speed information, and generating frame-by-frame data including a plurality of the frame-by-frame images. ,
Look including a display step of displaying switchably the frame transmission Ride over data and the moving image data on the display unit,
In the generation step, the frame-by-frame data is generated by extracting still images from the moving image data at predetermined intervals, and when the moving image data includes the time information, the angle information, or the speed information. The larger the value of the angle information per unit time of the time information included in the moving image data, or the larger the value of the speed information, the longer the interval for extracting the still image, and the frame-by-frame data is displayed. An image processing method characterized by generating. 時間情報、角度情報、および、速度情報の少なくとも１つを含む動画データを取得する取得工程と、 An acquisition process for acquiring video data including at least one of time information, angle information, and speed information, and
前記時間情報、前記角度情報、および、前記速度情報の少なくとも１つに基づいて、前記動画データから、コマ送り画像を抽出し、複数の前記コマ送り画像を含むコマ送りデータを生成する生成工程と、 A generation step of extracting a frame-by-frame image from the moving image data based on at least one of the time information, the angle information, and the speed information, and generating frame-by-frame data including a plurality of the frame-by-frame images. ,
前記動画データと前記コマ送りデータを表示部に切り替え可能に表示させる表示工程とを含み、 It includes a display step of displaying the moving image data and the frame advance data in a switchable manner on the display unit.
前記生成工程では、前記動画データから所定の間隔で静止画像を抽出することで、前記コマ送りデータを生成し、前記動画データが前記時間情報、および、前記角度情報または前記速度情報を含む場合に、前記動画データのうち、角度の変化または速度が検出される期間については、前記角度情報または前記速度情報に基づく間隔で前記静止画像を抽出し、前記角度の変化または前記速度が検出されない期間については、前記時間情報に基づく間隔で前記静止画像を抽出することを特徴とする画像処理方法。 In the generation step, the frame-by-frame data is generated by extracting still images from the moving image data at predetermined intervals, and when the moving image data includes the time information and the angle information or the speed information. For the period in which the change in angle or the speed is detected in the moving image data, the still image is extracted at the interval based on the angle information or the speed information, and the change in angle or the speed is not detected. Is an image processing method characterized by extracting the still image at intervals based on the time information. 請求項９および１０に記載の方法をコンピュータに実行させるためのプログラム。 A program for causing a computer to perform the method according to claims 9 and 10. 請求項１乃至８のいずれか１項に記載の画像処理装置と、前記画像処理装置とネットワークを介して通信可能なサーバと、前記サーバと前記ネットワークを介して通信可能な端末と、を含む画像処理システムであって、
前記サーバは、前記動画データと、前記コマ送りデータを前記端末に表示させる再生部を備えることを特徴とする画像処理システム。 An image including the image processing apparatus according to any one of claims 1 to 8 , a server capable of communicating with the image processing apparatus via a network, and a terminal capable of communicating with the server via the network. It's a processing system
Wherein the server, the image processing system comprising: the moving picture data, the reproduction unit for displaying said frame transmission Ride over data to the terminal.
JP2020001065A 2020-01-07 2020-01-07 Image processing equipment, image processing methods, programs, and systems Active JP6968454B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2020001065A JP6968454B2 (en) 2020-01-07 2020-01-07 Image processing equipment, image processing methods, programs, and systems

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020001065A JP6968454B2 (en) 2020-01-07 2020-01-07 Image processing equipment, image processing methods, programs, and systems

Publications (2)

Publication Number Publication Date
JP2021111835A JP2021111835A (en) 2021-08-02
JP6968454B2 true JP6968454B2 (en) 2021-11-17

Family

ID=77060256

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020001065A Active JP6968454B2 (en) 2020-01-07 2020-01-07 Image processing equipment, image processing methods, programs, and systems

Country Status (1)

Country Link
JP (1) JP6968454B2 (en)

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000032301A (en) * 1998-07-09 2000-01-28 Sony Corp Digital camera and image data processing method therein
JP2000138927A (en) * 1998-11-02 2000-05-16 Hitachi Plant Eng & Constr Co Ltd Image comparative display device
JP4562837B2 (en) * 2000-01-14 2010-10-13 富士フイルム株式会社 Image reproducing apparatus, image reproducing method, image recording / reproducing method, and digital camera
JP2006211426A (en) * 2005-01-28 2006-08-10 Kyocera Corp Image sensing device and its image generating method
JP2006253768A (en) * 2005-03-08 2006-09-21 Uniden Corp Digital camera
JP4386283B2 (en) * 2005-03-28 2009-12-16 シャープ株式会社 Video split display device
JP6180011B2 (en) * 2012-11-07 2017-08-16 国立大学法人 筑波大学 Motion evaluation support device, motion evaluation support system, motion evaluation support method, and program

Also Published As

Publication number Publication date
JP2021111835A (en) 2021-08-02

Similar Documents

Publication Publication Date Title
KR101926018B1 (en) Method and system for video recording
US10447874B2 (en) Display control device and display control method for automatic display of an image
JP2010122856A (en) Image processing apparatus, image displaying method, and image display program
JP2010288015A (en) Information processing device, information processing method, and information processing program
JP5701017B2 (en) Movie playback apparatus, movie playback method, computer program, and storage medium
JP5627383B2 (en) MOVIE REPRODUCTION DEVICE, ITS CONTROL METHOD, PROGRAM, AND STORAGE MEDIUM
JP2010045765A (en) Reproducing apparatus
JP2014216929A (en) Information processing device, control method therefor, and program
US10049703B2 (en) Data reproduction apparatus, control method for data reproduction apparatus, and recording medium storing control program
JP2023554470A (en) Video processing methods, devices, equipment, storage media, and computer program products
JP2007178839A (en) Display control device, display control method, and program
CN108028951A (en) Control the method and device played
JP6442266B2 (en) IMAGING CONTROL DEVICE, ITS CONTROL METHOD, PROGRAM, AND STORAGE MEDIUM
US9600160B2 (en) Image processing device, image processing method, and program
JP6968454B2 (en) Image processing equipment, image processing methods, programs, and systems
JP5785038B2 (en) Photography equipment
JP6355319B2 (en) REPRODUCTION DEVICE AND ITS CONTROL METHOD, MANAGEMENT DEVICE AND ITS CONTROL METHOD, VIDEO REPRODUCTION SYSTEM, PROGRAM, AND STORAGE MEDIUM
JP6632360B2 (en) Information processing device
JP4194588B2 (en) Playback apparatus and playback method
CN114071011A (en) Display control apparatus, control method for controlling the same, and recording medium
JP6117621B2 (en) Information processing apparatus, information processing method, and information processing program
WO2021044601A1 (en) Application expansion program, information processing device, and method
JP7041313B2 (en) Image display device, image display method and program
JP5942002B2 (en) Imaging device and method for controlling imaging device
JP2009100019A (en) Recorder/reproducer

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200108

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200110

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210302

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210428

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210824

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20210922

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20211020

R150 Certificate of patent or registration of utility model

Ref document number: 6968454

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150