JP2013156868A - Image processing program and image processing device - Google Patents
Image processing program and image processing device Download PDFInfo
- Publication number
- JP2013156868A JP2013156868A JP2012017453A JP2012017453A JP2013156868A JP 2013156868 A JP2013156868 A JP 2013156868A JP 2012017453 A JP2012017453 A JP 2012017453A JP 2012017453 A JP2012017453 A JP 2012017453A JP 2013156868 A JP2013156868 A JP 2013156868A
- Authority
- JP
- Japan
- Prior art keywords
- image
- image processing
- background
- difference
- moving
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012545 processing Methods 0.000 title claims abstract description 61
- 238000012935 Averaging Methods 0.000 claims description 4
- 238000011156 evaluation Methods 0.000 abstract 1
- 238000000605 extraction Methods 0.000 description 25
- 238000000034 method Methods 0.000 description 18
- 230000008859 change Effects 0.000 description 5
- 230000008569 process Effects 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
Landscapes
- Image Analysis (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
Description
本発明は、画像処理プログラムおよび画像処理装置に関する。 The present invention relates to an image processing program and an image processing apparatus.
従来より、タイムライン上の複数の画像から、画面内を移動する移動体を抽出する技術が公知である。例えば、特許文献１には、カメラから一定時間間隔で取得される画像と、移動体の背景を示す背景画像との差分をとることにより、移動体を抽出することが記載されている。特許文献１では、背景画像は、過去の一定時間分のカメラからの画像を平均化することにより作成される。その結果、移動体の存在が消されたか、又は薄められた背景画像が得られることになる。 Conventionally, a technique for extracting a moving body that moves in a screen from a plurality of images on a timeline is known. For example, Patent Document 1 describes that a moving body is extracted by taking a difference between an image acquired from a camera at regular time intervals and a background image indicating the background of the moving body. In Patent Document 1, a background image is created by averaging images from a camera for a certain past time. As a result, a background image in which the presence of the moving object is erased or thinned is obtained.
しかしながら、特許文献１の技術では、移動体を抽出した差分画像を見ても、移動体が背景に及ぼした影響を評価しづらいという問題がある。この問題は、例えば、移動体が物品を突然隠したり、突然移動させ始めたりする場面を考えてみると、理解しやすい。すなわち、特許文献１の技術では、背景画像が過去の画像のみから作成される。従って、移動体が物品を突然隠したり、突然移動させ始めたりする様子を捉えた画像のみならず、その画像と比較される背景画像にも、その物品が背景の一部として写っている。そのため、移動体が物品を突然隠したり、突然移動させ始めたりする様子を写す画像と、背景画像との差分を示す差分画像には、その物品が正しく捉えられておらず、差分画像を見る限りでは、移動体が物品を突然隠したり、突然移動させ始めたりしたことが判別しづらい結果になる。つまり、特許文献１の技術では、背景画像において、未来において消える又は移動し始める被写体の存在を消す又は薄めることができず、従って、差分画像においては、そのような被写体を正しく写し出すことが困難である。
本発明は、一部の移動体が背景に及ぼす影響を容易に評価することができる画像処理プログラムおよび画像処理装置を提供することを目的とする。
However, the technique of Patent Document 1 has a problem that it is difficult to evaluate the influence of the moving body on the background even if the difference image obtained by extracting the moving body is viewed. This problem is easy to understand when, for example, a scene in which a moving object suddenly hides an article or suddenly starts moving is considered. That is, in the technique of Patent Document 1, a background image is created only from past images. Therefore, the article is shown as a part of the background in the background image compared with the image that captures how the moving body suddenly hides the article or starts moving the article suddenly. Therefore, the difference image that shows the difference between the background image and the image that shows the moving body suddenly hiding or suddenly starting to move the article does not capture the article correctly, as long as the difference image is viewed. In this case, it is difficult to determine that the moving body suddenly hides the article or suddenly starts moving the article. That is, in the technique of Patent Document 1, it is impossible to erase or diminish the presence of a subject that disappears or starts moving in the future in the background image, and thus it is difficult to correctly capture such a subject in the difference image. is there.
An object of the present invention is to provide an image processing program and an image processing apparatus capable of easily evaluating the influence of some moving objects on the background.
本発明の第１観点に係る画像処理プログラムは、背景作成ステップと、差分作成ステップとをコンピュータに実行させる。背景作成ステップは、タイムライン上の少なくとも一部の区間に対応する複数の元画像から背景画像を作成するステップである。背景画像は、移動体の背景を示す画像である。差分作成ステップは、複数の差分画像を作成するステップである。複数の差分画像は、複数の元画像と背景画像との差分を示す複数の画像である。 An image processing program according to a first aspect of the present invention causes a computer to execute a background creation step and a difference creation step. The background creation step is a step of creating a background image from a plurality of original images corresponding to at least some sections on the timeline. The background image is an image showing the background of the moving body. The difference creation step is a step of creating a plurality of difference images. The plurality of difference images are a plurality of images indicating differences between the plurality of original images and the background image.
ここでは、複数の元画像と、それらの複数の元画像から作成される背景画像との差分をとることにより、複数の差分画像が作成される。その結果、少なくとも１の元画像については、その元画像よりも未来の画像を用いて、その元画像と比較される背景画像が作成されることになる。そのため、複数の元画像と比較される背景画像においては、注目している一部の移動体の存在だけでなく、途中で消える又は移動し始める別の移動体（例えば、注目している一部の移動体が突然隠したり、突然移動させ始めたりした物品など）の存在が消されるか、又は薄められ得る。従って、差分画像には、注目している一部の移動体だけでなく、未来において消える又は移動し始める別の移動体が写し出され得る。従って、一部の移動体が背景に及ぼす影響を容易に評価することができる。 Here, a plurality of difference images are created by taking a difference between a plurality of original images and a background image created from the plurality of original images. As a result, for at least one original image, a background image to be compared with the original image is created using a future image rather than the original image. Therefore, in the background image to be compared with a plurality of original images, not only the presence of a part of the moving object of interest, but also another moving body that disappears or starts to move (for example, the part of interest) The presence of an object that suddenly hides or suddenly begins to move, etc.) can be erased or dimmed. Therefore, in the difference image, not only a part of the moving body of interest, but also another moving body that disappears or starts to move in the future can be projected. Therefore, it is possible to easily evaluate the influence of some moving objects on the background.
本発明の第２観点に係る画像処理プログラムは、第１観点に係る画像処理プログラムであって、差分表示ステップをさらにコンピュータに実行させる。差分表示ステップは、複数の差分画像を表示するステップである。
ここでは、複数の差分画像が表示される。従って、ユーザは、目視により、差分画像に写る様々な移動体の動きを容易に評価することができる。
An image processing program according to a second aspect of the present invention is an image processing program according to the first aspect, and further causes a computer to execute a difference display step. The difference display step is a step of displaying a plurality of difference images.
Here, a plurality of difference images are displayed. Therefore, the user can easily evaluate the movements of various moving bodies appearing in the difference image by visual observation.
本発明の第３観点に係る画像処理プログラムは、第２観点に係る画像処理プログラムであって、差分表示ステップは、複数の差分画像を動画として再生するステップである。
ここでは、複数の差分画像が動画として再生される。従って、ユーザは、目視により、差分画像に写る様々な移動体の動きをより容易に評価することができる。
An image processing program according to a third aspect of the present invention is an image processing program according to the second aspect, and the difference display step is a step of reproducing a plurality of difference images as a moving image.
Here, a plurality of difference images are reproduced as moving images. Therefore, the user can more easily evaluate the movements of various moving objects shown in the difference image by visual observation.
本発明の第４観点に係る画像処理プログラムは、第１観点から第３観点のいずれかに係る画像処理プログラムであって、区間受付ステップをさらにコンピュータに実行させる。区間受付ステップは、上記区間の選択をユーザから受け付けるステップである。背景作成ステップは、上記区間が選択された後、背景画像を作成するステップである。差分作成ステップは、背景画像が作成された後、複数の差分画像を作成するステップである。 An image processing program according to a fourth aspect of the present invention is an image processing program according to any one of the first aspect to the third aspect, and further causes the computer to execute a section receiving step. The section receiving step is a step of receiving the selection of the section from the user. The background creation step is a step of creating a background image after the section is selected. The difference creation step is a step of creating a plurality of difference images after the background image is created.
ここでは、ユーザが選択したタイムライン上の区間に対応する複数の元画像から背景画像が作成され、複数の元画像にそれぞれ対応する複数の差分画像が作成される。従って、ユーザは、差分画像を作成したいタイムライン上の区間を自在に選択することができる。 Here, a background image is created from a plurality of original images corresponding to a section on the timeline selected by the user, and a plurality of difference images respectively corresponding to the plurality of original images are created. Therefore, the user can freely select a section on the timeline where a difference image is to be created.
本発明の第５観点に係る画像処理プログラムは、第１観点から第４観点のいずれかに係る画像処理プログラムであって、背景作成ステップは、複数の元画像を平均化することにより、背景画像を作成する。 An image processing program according to a fifth aspect of the present invention is an image processing program according to any one of the first to fourth aspects, wherein the background creating step averages a plurality of original images to obtain a background image Create
ここでは、注目している一部の移動体の存在だけでなく、途中で消える又は移動し始める移動体の存在が消されたか、又は薄められた背景画像が適切に作成される。従って、注目している一部の移動体の存在だけでなく、未来において消える又は移動し始める移動体が写し出された差分画像が適切に作成される。 Here, not only the presence of a part of the moving object of interest, but also the existence of a moving object that disappears or begins to move in the middle is erased or a background image that is thinned is appropriately created. Accordingly, not only the presence of a part of the moving object of interest, but also a differential image in which the moving object that disappears or starts moving in the future is projected appropriately.
本発明の第６観点に係る画像処理装置は、背景作成部と、差分作成部とを備える。背景作成部は、タイムライン上の少なくとも一部の区間に対応する複数の元画像から、背景画像を作成する。背景画像は、移動体の背景を示す画像である。差分作成部は、複数の差分画像を作成する。複数の差分画像は、複数の元画像と背景画像との差分を示す複数の画像である。 An image processing apparatus according to a sixth aspect of the present invention includes a background creation unit and a difference creation unit. The background creation unit creates a background image from a plurality of original images corresponding to at least some sections on the timeline. The background image is an image showing the background of the moving body. The difference creating unit creates a plurality of difference images. The plurality of difference images are a plurality of images indicating differences between the plurality of original images and the background image.
ここでは、複数の元画像と、それらの複数の元画像から作成される背景画像との差分をとることにより、複数の差分画像が作成される。その結果、少なくとも１の元画像については、その元画像よりも未来の画像を用いて、その元画像と比較される背景画像が作成されることになる。そのため、複数の元画像と比較される背景画像においては、注目している一部の移動体の存在だけでなく、途中で消える又は移動し始める別の移動体（例えば、注目している一部の移動体が突然隠したり、突然移動させ始めたりした物品など）の存在が消されるか、又は薄められ得る。従って、差分画像には、注目している一部の移動体だけでなく、未来において消える又は移動し始める別の移動体が写し出され得る。従って、一部の移動体が背景に及ぼす影響を容易に評価することができる。 Here, a plurality of difference images are created by taking a difference between a plurality of original images and a background image created from the plurality of original images. As a result, for at least one original image, a background image to be compared with the original image is created using a future image rather than the original image. Therefore, in the background image to be compared with a plurality of original images, not only the presence of a part of the moving object of interest, but also another moving body that disappears or starts to move (for example, the part of interest) The presence of an object that suddenly hides or suddenly begins to move, etc.) can be erased or dimmed. Therefore, in the difference image, not only a part of the moving body of interest, but also another moving body that disappears or starts to move in the future can be projected. Therefore, it is possible to easily evaluate the influence of some moving objects on the background.
本発明によれば、複数の元画像と、それらの複数の元画像から作成される背景画像との差分をとることにより、複数の差分画像が作成される。そのため、複数の元画像と比較される背景画像においては、注目している一部の移動体の存在だけでなく、途中で消える又は移動し始める別の移動体（例えば、注目している一部の移動体が突然隠したり、突然移動させ始めたりした物品など）の存在が消されるか、又は薄められ得る。従って、差分画像には、注目している一部の移動体だけでなく、未来において消える又は移動し始める別の移動体が写し出され得る。従って、一部の移動体が背景に及ぼす影響を容易に評価することができる。 According to the present invention, a plurality of difference images are created by taking differences between a plurality of original images and a background image created from the plurality of original images. Therefore, in the background image to be compared with a plurality of original images, not only the presence of a part of the moving object of interest, but also another moving body that disappears or starts to move (for example, the part of interest) The presence of an object that suddenly hides or suddenly begins to move, etc.) can be erased or dimmed. Therefore, in the difference image, not only a part of the moving body of interest, but also another moving body that disappears or starts to move in the future can be projected. Therefore, it is possible to easily evaluate the influence of some moving objects on the background.
以下、図面を参照しつつ、本発明の一実施形態に係る画像処理プログラムおよび画像処理装置について説明する。
＜１．画像処理装置の概要＞
図１に示す画像処理装置１は、本発明に係る画像処理装置の一実施形態である。画像処理装置１は、汎用のパーソナルコンピュータである。画像処理装置１には、本発明に係る画像処理プログラムの一実施形態である画像処理プログラム２がインストールされている。画像処理プログラム２は、動画および静止画に対する画像処理を支援するためのアプリケーションソフトウェアである。画像処理プログラム２は、画像処理装置１に後述する動作に含まれるステップを実行させる。
Hereinafter, an image processing program and an image processing apparatus according to an embodiment of the present invention will be described with reference to the drawings.
<1. Overview of Image Processing Device>
An image processing apparatus 1 shown in FIG. 1 is an embodiment of an image processing apparatus according to the present invention. The image processing apparatus 1 is a general-purpose personal computer. An image processing program 2 that is an embodiment of an image processing program according to the present invention is installed in the image processing apparatus 1. The image processing program 2 is application software for supporting image processing for moving images and still images. The image processing program 2 causes the image processing apparatus 1 to execute steps included in the operations described later.
画像処理装置１は、ディスプレイ１０、入力部２０、記憶部３０および制御部４０を有する。ディスプレイ１０と、入力部２０と、記憶部３０と、制御部４０とは、互いにバス線５で接続されており、相互に通信可能である。本実施形態では、ディスプレイ１０は、液晶ディスプレイである。入力部２０は、マウスおよびキーボート等から構成される。記憶部３０は、ハードディスク等から構成される。制御部４０は、ＣＰＵ、ＲＯＭおよびＲＡＭ等から構成される。ディスプレイ１０は、後述する画面等をユーザに対し表示する。入力部２０は、画像処理装置１に対するユーザからの操作を受け付ける。 The image processing apparatus 1 includes a display 10, an input unit 20, a storage unit 30, and a control unit 40. The display 10, the input unit 20, the storage unit 30, and the control unit 40 are connected to each other via the bus line 5 and can communicate with each other. In the present embodiment, the display 10 is a liquid crystal display. The input unit 20 includes a mouse and a keyboard. The storage unit 30 is composed of a hard disk or the like. The control unit 40 includes a CPU, a ROM, a RAM, and the like. The display 10 displays a screen or the like described later to the user. The input unit 20 receives an operation from the user for the image processing apparatus 1.
画像処理プログラム２は、記憶部３０内に格納されている。記憶部３０内には、ソフトウェア管理領域５０が確保されている。ソフトウェア管理領域５０は、画像処理プログラム２が使用する領域である。ソフトウェア管理領域５０内には、オリジナル画像領域５１、加工ファイル領域５２、座標ｍｓ領域５３およびヒストリー領域５４が確保されている。各領域５１〜５４の役割については、後述する。 The image processing program 2 is stored in the storage unit 30. A software management area 50 is secured in the storage unit 30. The software management area 50 is an area used by the image processing program 2. In the software management area 50, an original image area 51, a processing file area 52, a coordinate ms area 53, and a history area 54 are secured. The role of each of the areas 51 to 54 will be described later.
制御部４０は、記憶部３０内に格納されている画像処理プログラム２を読み出して実行することにより、仮想的に表示制御部４１、選択部４２、背景作成部４３、差分作成部４４およびヒストリー管理部４５として動作する。各部４１〜４５の動作については、後述する。 The control unit 40 reads and executes the image processing program 2 stored in the storage unit 30 to virtually display the display control unit 41, the selection unit 42, the background creation unit 43, the difference creation unit 44, and the history management. It operates as the unit 45. The operation of each unit 41 to 45 will be described later.
＜２．画像処理装置の構成および動作の詳細＞
制御部４０は、ユーザが入力部２０を介して所定の操作を行ったことを検知すると、画像処理プログラム２を起動する。画像処理プログラム２が起動されると、基本画面Ｗ１（図２参照）がディスプレイ１０上に表示される。なお、ディスプレイ１０上に表示される画面、ウィンドウ、ボタンその他の全ての要素の表示は、表示制御部４１により制御される。
<2. Details of Configuration and Operation of Image Processing Apparatus>
When the control unit 40 detects that the user has performed a predetermined operation via the input unit 20, the control unit 40 activates the image processing program 2. When the image processing program 2 is activated, a basic screen W1 (see FIG. 2) is displayed on the display 10. The display control unit 41 controls the display of all elements such as a screen, a window, a button, and the like displayed on the display 10.
＜２−１．画像データの取り込み＞
基本画面Ｗ１は、オリジナル画像領域５１への画像データの取り込みの命令をユーザから受け付ける。オリジナル画像領域５１へ取り込まれた画像データは、後述する画像処理の対象になる。制御部４０は、静止画ファイル又は動画ファイルから、オリジナル画像領域５１へ画像データを取り込む。なお、本明細書において、静止画ファイルとは、静止画形式のデータファイルであり、動画ファイルとは、動画形式のデータファイルである。
<2-1. Importing image data>
The basic screen W1 accepts a command for capturing image data into the original image area 51 from the user. The image data captured in the original image area 51 is a target of image processing to be described later. The control unit 40 captures image data from the still image file or the moving image file into the original image area 51. In this specification, a still image file is a data file in a still image format, and a moving image file is a data file in a moving image format.
静止画ファイルから画像データを取り込む場合、ユーザは、入力部２０を操作することにより、１の静止画ファイルを指定するか、又は１のフォルダを指定する。前者の場合、制御部４０は、その静止画ファイルの記憶部３０内のアドレスパスおよびファイル名をユーザに入力させる。後者の場合、制御部４０は、そのフォルダの記憶部３０内のアドレスパスおよびフォルダ名をユーザに入力させる。その後、制御部４０は、指定された１の静止画ファイル又は指定された１のフォルダ内の全ての静止画ファイルを、オリジナル画像領域５１に静止画ファイル群として保存する。なお、本明細書において、「群」という場合には、その要素数は複数とは限らず、１つであってもよい。 When capturing image data from a still image file, the user operates the input unit 20 to specify one still image file or one folder. In the former case, the control unit 40 causes the user to input the address path and file name in the storage unit 30 of the still image file. In the latter case, the control unit 40 allows the user to input the address path and folder name in the storage unit 30 of the folder. Thereafter, the control unit 40 stores the specified one still image file or all the still image files in the specified one folder as a still image file group in the original image area 51. In the present specification, when referring to a “group”, the number of elements is not limited to a plurality, and may be one.
一方、動画ファイルから画像データを取り込む場合、ユーザは、入力部２０を操作することにより、１の動画ファイルの記憶部３０内のアドレスパスおよびファイル名を入力する。表示制御部４１は、ユーザが動画ファイルを指定したことを検知すると、基本画面Ｗ１上に動画取込みウィンドウ（図示されない）を重ねて表示させる。動画取込みウィンドウは、指定された動画ファイルのタイムラインの全区間うち、任意の長さの区間の選択をユーザから受け付ける。制御部４０は、ユーザが入力部２０を介して区間の選択を行ったことを検知すると、指定された動画ファイルのその区間に含まれるフレーム群に１対１で対応する静止画ファイル群を生成する。その後、制御部４０は、この静止画ファイル群をオリジナル画像領域５１に保存する。 On the other hand, when capturing image data from a moving image file, the user operates the input unit 20 to input the address path and file name in the storage unit 30 of one moving image file. When the display control unit 41 detects that the user has specified a moving image file, the display control unit 41 displays a moving image capturing window (not shown) in an overlapping manner on the basic screen W1. The moving image capture window receives, from the user, selection of a section having an arbitrary length among all the sections of the timeline of the specified moving image file. When the control unit 40 detects that the user has selected a section via the input unit 20, the control unit 40 generates a still image file group corresponding to the frame group included in the section of the specified moving image file on a one-to-one basis. To do. Thereafter, the control unit 40 stores the still image file group in the original image area 51.
従って、本実施形態では、後述する画像処理の対象は、動画ファイルではなく、静止画ファイルである。静止画ファイルは、オリジナル画像領域５１へファイル単位、フォルダ単位、あるいは動画ファイルの全部又は一部の区間単位で取り込まれる。 Therefore, in the present embodiment, the target of image processing to be described later is not a moving image file but a still image file. The still image file is taken into the original image area 51 in file units, folder units, or all or part of a section of the moving image file.
制御部４０は、オリジナル画像領域５１へ取り込まれた静止画ファイル群が動画ファイルに由来するものではなく、静止画ファイルに由来するものであっても、静止画ファイル群に含まれる静止画ファイルをタイムラインに沿って配列されているものと認識する。配列は、ファイルの属性（ファイル名、作成日時、更新日時等）から自動的に判断される。 The control unit 40 determines the still image file included in the still image file group even if the still image file group captured in the original image area 51 is not derived from the moving image file but derived from the still image file. Recognize that they are arranged along the timeline. The array is automatically determined from file attributes (file name, creation date, update date, etc.).
＜２−２．静止画ファイル群の再生＞
オリジナル画像領域５１へ静止画ファイル群が取り込まれると、表示制御部４１は、基本画面Ｗ１上に表示ウィンドウＷ２（図３参照）を重ねて表示させる。表示ウィンドウＷ２は、オリジナル画像領域５１へ取り込まれた静止画ファイル群のタイムラインの数だけ、作成される。
<2-2. Playback of still image files>
When the still image file group is taken into the original image area 51, the display control unit 41 displays the display window W2 (see FIG. 3) on the basic screen W1. The display windows W2 are created by the number of timelines of the still image file group captured in the original image area 51.
表示ウィンドウＷ２内には、まず、オリジナル画像領域５１へ取り込まれた静止画ファイル群に含まれる１の静止画ファイル（例えば、タイムライン上で先頭のフレームの静止画ファイル）が表示される。後述するとおり、表示ウィンドウＷ２内に表示されるフレームは、ユーザの操作を受けて切り替わる。表示制御部４１は、表示ウィンドウＷ２内に現在表示されているフレームの識別情報をリアルタイムに管理する。 In the display window W2, first, one still image file (for example, the still image file of the first frame on the timeline) included in the still image file group captured in the original image area 51 is displayed. As will be described later, the frame displayed in the display window W2 is switched in response to a user operation. The display control unit 41 manages the identification information of the frame currently displayed in the display window W2 in real time.
表示制御部４１は、表示ウィンドウＷ２内で、その表示ウィンドウＷ２に対応するタイムラインに属するフレーム群を、動画として再生可能である。図３に示すとおり、基本画面Ｗ１上には、ウィンドウ選択プルダウンメニューＴ１、再生ボタンＴ２、コマ送りボタンＴ３、コマ戻しボタンＴ４およびタイムラインバーＴ５が配置されている。 The display control unit 41 can reproduce a group of frames belonging to the timeline corresponding to the display window W2 as a moving image in the display window W2. As shown in FIG. 3, a window selection pull-down menu T1, a playback button T2, a frame advance button T3, a frame return button T4, and a timeline bar T5 are arranged on the basic screen W1.
表示ウィンドウＷ２が複数存在する場合であっても、アクティブな表示ウィンドウＷ２は１つである。ウィンドウ選択プルダウンメニューＴ１は、どの表示ウィンドウＷ２をアクティブとするかの選択をユーザから受け付ける。以下、アクティブな表示ウィンドウＷ２に対応するタイムラインを、アクティブタイムラインと呼び、アクティブタイムラインに属するフレーム群を、アクティブフレーム群と呼ぶ。また、アクティブな表示ウィンドウＷ２内に現在表示されているフレームを、アクティブ表示フレームと呼ぶ。 Even when there are a plurality of display windows W2, there is only one active display window W2. The window selection pull-down menu T1 accepts selection of which display window W2 is active from the user. Hereinafter, a timeline corresponding to the active display window W2 is referred to as an active timeline, and a frame group belonging to the active timeline is referred to as an active frame group. A frame currently displayed in the active display window W2 is referred to as an active display frame.
再生ボタンＴ２は、アクティブフレーム群の動画としての再生の命令をユーザから受け付ける。表示制御部４１は、ユーザが入力部２０を介して再生ボタンＴ２を押下したことを検知すると、アクティブな表示ウィンドウＷ２内に、アクティブフレーム群に含まれるフレームをタイムラインに沿って順次コマ送りの形式で表示させる。なお、再生は、再生ボタンＴ２が押下された時点のアクティブ表示フレームから開始する。また、再生ボタンＴ２は、再生の停止の命令をユーザから受け付ける。表示制御部４１は、再生中にユーザが入力部２０を介して再生ボタンＴ２を押下したことを検知すると、アクティブな表示ウィンドウＷ２内の表示を、その時点のアクティブ表示フレームに固定する。 The playback button T2 receives a playback command from the user as a moving image of the active frame group. When the display control unit 41 detects that the user has pressed the playback button T2 via the input unit 20, the display control unit 41 sequentially frames the frames included in the active frame group along the timeline in the active display window W2. Display in format. Note that the reproduction starts from the active display frame at the time when the reproduction button T2 is pressed. The playback button T2 accepts a playback stop command from the user. When the display control unit 41 detects that the user has pressed the playback button T2 via the input unit 20 during playback, the display control unit 41 fixes the display in the active display window W2 to the active display frame at that time.
コマ送りボタンＴ３、コマ戻しボタンＴ４はそれぞれ、アクティブ表示フレームを、アクティブタイムラインに沿って１つ後、１つ前のフレームへ切り替える命令をユーザから受け付ける。 Each of the frame advance button T3 and the frame return button T4 receives an instruction from the user to switch the active display frame to the next previous frame along the active timeline.
タイムラインバーＴ５は、アクティブタイムラインを図式的に示す。タイムラインバーＴ５は、そのバーが延びる方向に、アクティブフレーム群のフレーム数で等分に分割されている。タイムラインバーＴ５上の左からｎ番目の分割領域は、アクティブタイムライン上でｎ番目のフレームに対応する（ｎは、自然数）。 The timeline bar T5 schematically shows the active timeline. The timeline bar T5 is equally divided by the number of frames of the active frame group in the direction in which the bar extends. The nth divided region from the left on the timeline bar T5 corresponds to the nth frame on the active timeline (n is a natural number).
図３に示すように、タイムラインバーＴ５は、選択フレーム群に対応する分割領域Ａ１と、非選択フレーム群に対応する分割領域Ａ２とを異なる態様で表示する。選択フレーム群とは、アクティブタイムライン上で現在選択されている区間に対応するフレーム群である。非選択フレーム群とは、アクティブタイムライン上で現在選択されていない区間に対応するフレーム群である。本実施形態では、領域Ａ１は、薄いトーンの色で表示され、領域Ａ２は、濃いトーンの色で表示される。 As shown in FIG. 3, the timeline bar T5 displays the divided area A1 corresponding to the selected frame group and the divided area A2 corresponding to the non-selected frame group in different modes. The selected frame group is a frame group corresponding to the currently selected section on the active timeline. The non-selected frame group is a frame group corresponding to a section that is not currently selected on the active timeline. In the present embodiment, the area A1 is displayed with a light tone color, and the area A2 is displayed with a dark tone color.
選択部４２は、タイムラインバーＴ５を介し、アクティブタイムライン上の任意の区間の選択をユーザから受け付ける。選択される区間は、連続区間であっても、不連続区間であってもよい。言い換えると、ユーザは、入力部２０を介してタイムラインバーＴ５を操作することにより、アクティブフレーム群に含まれる全フレームの中から、任意のフレームを任意の数だけ選択することができる。具体的には、ユーザは、タイムラインバーＴ５上で選択したいフレームに対応する分割領域を選択する。分割領域は、同時に複数選択が可能である。制御部４０は、選択フレーム群を後述される画像処理の対象として認識する。なお、ユーザによりタイムラインバーＴ５上の分割領域が選択される度に、アクティブ表示フレームは、最新に選択された分割領域に対応するフレームに切り替わる。 The selection unit 42 receives a selection of an arbitrary section on the active timeline from the user via the timeline bar T5. The selected section may be a continuous section or a discontinuous section. In other words, the user can select an arbitrary number of arbitrary frames from all the frames included in the active frame group by operating the timeline bar T5 via the input unit 20. Specifically, the user selects a divided region corresponding to a frame to be selected on the timeline bar T5. A plurality of divided areas can be selected at the same time. The control unit 40 recognizes the selected frame group as an image processing target to be described later. Each time the divided area on the timeline bar T5 is selected by the user, the active display frame is switched to a frame corresponding to the most recently selected divided area.
＜２−３．画像処理＞
以下、選択フレーム群に対する画像処理について説明する。制御部４０は、ノイズ除去、シャープネス、明るさ／コントラスト／彩度調整、画像解像度、画像平均、回転、文字／矢印／モザイクの付加、動画抽出などの複数の画像処理モジュールを実行可能である。画像処理モジュールは、画像処理プログラム２に組み込まれている。
<2-3. Image processing>
Hereinafter, image processing for the selected frame group will be described. The control unit 40 can execute a plurality of image processing modules such as noise removal, sharpness, brightness / contrast / saturation adjustment, image resolution, image averaging, rotation, addition of characters / arrows / mosaic, and moving image extraction. The image processing module is incorporated in the image processing program 2.
ユーザは、入力部２０を介して基本画面Ｗ１を操作することにより、画像処理モジュールの中から任意のものを、任意の順番に、任意の回数だけ選択することが可能である。必要であれば、ユーザは、画像処理モジュールの選択に併せて、その画像処理モジュールの実行時に用いられるパラメータを入力する。制御部４０は、ユーザが画像処理モジュールを選択したことを検知する度に、選択フレーム群に対しその画像処理モジュールを実行する。なお、選択フレーム群に対し画像処理モジュールを実行するとは、選択フレーム群に含まれる各フレームに対しその画像処理モジュールを実行することである。 The user can select any one of the image processing modules in any order and any number of times by operating the basic screen W1 via the input unit 20. If necessary, the user inputs parameters used when executing the image processing module in conjunction with the selection of the image processing module. Each time the control unit 40 detects that the user has selected an image processing module, the control unit 40 executes the image processing module on the selected frame group. Note that executing an image processing module for a selected frame group means executing the image processing module for each frame included in the selected frame group.
フレームに対し画像処理モジュールが１回、２回、３回，・・・と、順次実行されてゆくにつれて、そのフレームは、第１次、第２次、第３次，・・・と、順次加工されてゆく。第０次フレームは、オリジナル画像領域５１に保存されている静止画ファイルに対応する。第（ｍ＋１）次フレームは、第ｍ次フレームの静止画ファイルに対し画像処理モジュールを１回実行した後の静止画ファイルに対応する（ｍは、０以上の整数）。制御部４０は、第１次以降のフレームの静止画ファイルを順次生成し、これらの静止画ファイルを加工ファイル領域５２内にそれぞれ別個のファイルとして保存する。 As the image processing module is sequentially executed once, twice, three times,... With respect to the frame, the frame is sequentially sorted into the first order, the second order, the third order,. It will be processed. The 0th frame corresponds to the still image file stored in the original image area 51. The (m + 1) th frame corresponds to the still image file after the image processing module is executed once for the mth frame still image file (m is an integer of 0 or more). The control unit 40 sequentially generates still image files of the first and subsequent frames, and stores these still image files in the processed file area 52 as separate files.
図４は、１のタイムラインに属する静止画群が画像処理プログラム２によりどのように管理されるかを示す概念図である。図４において、横軸のＮ軸は、タイムライン上のフレームの順番を示しており、縦軸のＭ軸は、加工の順番を示している。図４のＮ−Ｍ空間内の座標（ｎ，ｍ）に対応する四角形は、静止画Ｉ（ｎ，ｍ）を表している。静止画Ｉ（ｎ，ｍ）は、タイムライン上でｎ番目の第ｍ次フレームの静止画である（ｎは、自然数であり、ｍは、０以上の整数である）。 FIG. 4 is a conceptual diagram showing how still image groups belonging to one timeline are managed by the image processing program 2. In FIG. 4, the N axis on the horizontal axis indicates the order of frames on the timeline, and the M axis on the vertical axis indicates the order of processing. A square corresponding to the coordinates (n, m) in the NM space in FIG. 4 represents the still image I (n, m). The still image I (n, m) is a still image of the nth m-th frame on the timeline (n is a natural number and m is an integer of 0 or more).
制御部４０は、各フレームについて、現在選択されている座標Ｍの値をパラメータｍｓとして、座標ｍｓ領域５３内でリアルタイムに管理する。図４の太線で囲まれた四角形は、座標ｍｓの静止画を表している。なお、フレームに対し画像処理モジュールを実行するとは、そのフレームの現在選択されている座標ｍｓの静止画に対し画像処理モジュールを実行することである。言い換えると、タイムライン上でｎ番目のフレームに対し画像処理モジュールを実行するとは、静止画Ｉ（ｎ，ｍｓ）に対し画像処理モジュールを実行することである。従って、画像処理モジュールが実行される度に、その対象となる静止画を特定するべく、座標ｍｓ領域５３が参照される。 For each frame, the control unit 40 manages the value of the currently selected coordinate M as the parameter m s in the coordinate m s region 53 in real time. A rectangle surrounded by a thick line in FIG. 4 represents a still image with coordinates m s . Note that executing the image processing module for a frame means executing the image processing module for the still image of the currently selected coordinate m s of the frame. In other words, executing the image processing module for the nth frame on the timeline means executing the image processing module for the still image I (n, m s ). Therefore, every time the image processing module is executed, the coordinate ms region 53 is referred to in order to specify the target still image.
オリジナル画像領域５１へ静止画ファイル群が取り込まれた直後、その静止画ファイル群の全フレームの座標ｍｓは、初期値０である。その後、画像処理モジュールが１回実行される度に、そのフレームの座標ｍｓは１ずつインクリメントされる。また、後述するとおり、ユーザは、任意のフレームの座標ｍｓを自在に変更することができる。 Immediately after the still image file group is taken into the original image area 51, the coordinates m s of all the frames of the still image file group have an initial value of 0. Thereafter, each time the image processing module is executed once, the coordinate m s of the frame is incremented by one. Further, as described later, the user can freely change the coordinate m s of an arbitrary frame.
＜２−３−１．動体抽出処理＞
以下、選択フレーム群から移動体を抽出する画像処理（以下、動体抽出処理）の流れについて説明する。動体抽出処理は、複数枚のフレームに対してのみ実行可能である。従って、選択フレーム群として１枚のフレームのみが選択されている状態で、動体抽出の画像処理モジュール（以下、動体抽出モジュール）が選択されても、動体抽出処理は実行されず、基本画面Ｗ１上にメッセージウィンドウ（図示されない）が表示される。このメッセージウィンドウは、複数枚のフレームを選択することを促すメッセージを表示する。
<2-3-1. Moving object extraction processing>
The flow of image processing (hereinafter referred to as moving object extraction processing) for extracting a moving object from the selected frame group will be described below. The moving object extraction process can be executed only for a plurality of frames. Therefore, even if only one frame is selected as the selected frame group and a moving object extraction image processing module (hereinafter referred to as a moving object extraction module) is selected, the moving object extraction process is not executed and the basic screen W1 is displayed. A message window (not shown) is displayed. This message window displays a message prompting to select a plurality of frames.
一方、選択フレーム群として複数枚のフレーム（以下、元フレーム）が選択されている状態で、動体抽出モジュールが選択されると、動体抽出処理が開始する。動画抽出処理は、選択フレーム群に含まれる各元フレームに対し、図５に示す動体抽出モジュールを実行する処理である。従って、選択フレーム群に含まれる元フレームの枚数をＫ枚とすると、図５に示す動体抽出モジュールは、動体抽出処理の実行が１回命令される度に、Ｋ回実行される（Ｋは、２以上の整数）。Ｋ回中、ｉ回目の動体抽出モジュールは、選択フレーム群の中でタイムラインに沿ってｉ番目の元フレームに対し実行される（ｉ＝１，２，・・・，Ｋ）。 On the other hand, when a moving object extraction module is selected in a state where a plurality of frames (hereinafter referred to as original frames) are selected as the selected frame group, a moving object extraction process is started. The moving image extraction process is a process of executing the moving object extraction module shown in FIG. 5 for each original frame included in the selected frame group. Therefore, if the number of original frames included in the selected frame group is K, the moving object extraction module shown in FIG. 5 is executed K times each time execution of the moving object extraction process is commanded (K is An integer of 2 or more). Of the K times, the i-th moving object extraction module is executed for the i-th original frame along the timeline in the selected frame group (i = 1, 2,..., K).
図５に示されるように、Ｋ回中、１回目の動体抽出モジュールの実行時には、ステップＳ１およびステップＳ２の両方が実行されるが、２回目以降の動体抽出モジュールの実行時には、ステップＳ２のみが実行される。ステップＳ１は、選択フレーム群に含まれる全ての元フレームの座標ｍｓの静止画（以下、元画像）から、移動体の背景を示す背景画像を作成する処理である。ｉ回目のステップＳ２は、選択フレーム群の中でタイムラインに沿ってｉ番目の元画像と、ステップＳ１で作成された背景画像との差分を示す差分画像を作成する処理である。 As shown in FIG. 5, during the first execution of the moving object extraction module during K times, both step S1 and step S2 are executed, but when executing the second and subsequent moving object extraction modules, only step S2 is executed. Executed. Step S1 is a process of creating a background image indicating the background of the moving object from still images (hereinafter referred to as original images) having coordinates m s of all original frames included in the selected frame group. The i-th step S2 is a process of creating a difference image indicating a difference between the i-th original image along the timeline in the selected frame group and the background image created in step S1.
ステップＳ１では、背景作成部４３は、背景画像として、全ての元画像を平均化し、新たな１枚の静止画を作成する。具体的には、背景作成部４３は、各画素について、全ての元画像のその画素の画素値の平均値を算出し、各画素について算出された平均値を、背景画像のその画素の画素値とする。なお、画素値の平均値は、ＲＧＢ毎に算出される。 In step S1, the background creation unit 43 averages all the original images as a background image and creates a new still image. Specifically, the background creation unit 43 calculates, for each pixel, an average value of the pixel values of all the original images, and calculates the average value calculated for each pixel as the pixel value of the pixel of the background image. And The average pixel value is calculated for each RGB.
その結果、ステップＳ１で作成される背景画像においては、選択フレーム群のタイムラインに沿って元画像の画面内を移動する移動体が、不鮮明に捉えられ、殆ど消えた状態、又は薄く写った状態となり得る。すなわち、ステップＳ１で作成される背景画像においては、選択フレーム群のタイムラインに沿って途中で元画像の画面内から消える移動体、途中で元画像の画面内を移動し始める移動体、および途中から元画像の画面内に現れる移動体等が、不鮮明に捉えられ、殆ど消えた状態、又は薄く写った状態となり得る。つまり、ステップＳ１で作成される背景画像は、元画像の画面内において殆ど全ての元画像に共通する位置で捉えられている被写体のみを写す画像となり得る。 As a result, in the background image created in step S1, the moving body that moves within the screen of the original image along the timeline of the selected frame group is unclearly captured and almost disappeared, or is faintly reflected Can be. That is, in the background image created in step S1, a moving body that disappears from the screen of the original image along the timeline of the selected frame group, a moving body that starts moving in the screen of the original image along the way, The moving object appearing in the screen of the original image can be captured indistinctly and almost disappeared or appear thin. In other words, the background image created in step S1 can be an image showing only the subject captured at a position common to almost all the original images in the screen of the original image.
例えば、選択フレーム群が、画面内を移動する人物が画面内の何らかの物品を途中でポケットに隠したり、手で持って運び始めたりする映像、あるいは、ポケットから物品を取り出す映像である場合を考える。そのような選択フレーム群から作成される背景画像においては、その人物だけでなく、突然ポケットに隠されて画面内から消えた物品、突然手に取られて画面内を移動し始めた物品、又は突然ポケットから取り出されて画面内に現れた物品も、殆ど消えた状態、又は薄く写った状態となり得る。 For example, consider a case where the selected frame group is an image in which a person moving in the screen hides an article in the screen in the middle of the screen or starts to carry it with a hand, or an image in which an article is taken out from the pocket. . In the background image created from such a selected frame group, not only the person but also an article suddenly hidden in the pocket and disappeared from the screen, an article suddenly taken by the hand and started to move in the screen, or Articles suddenly removed from the pocket and appearing in the screen can also be almost disappeared or appear thin.
なお、本実施形態において、移動体とは、画面内の位置が経時変化する任意の被写体を意味し、画面内から途中で消える被写体、画面内を途中で移動し始める被写体、画面内に途中で現れる被写体を含む概念である。また、移動体は、人や動物等の生物であっても、物品であっても、光線等の無体物であってもよい。 In this embodiment, the moving body means an arbitrary subject whose position in the screen changes with time, a subject that disappears from the screen, a subject that starts moving in the middle of the screen, It is a concept that includes a subject that appears. The moving body may be a living organism such as a person or an animal, an article, or an intangible object such as a light beam.
続いて、ｉ回目のステップＳ２では、差分作成部４４は、ｉ番目の元画像と、ステップＳ１で作成された背景画像との差分をとることにより、ｉ番目の元画像に対応する差分画像を作成する。具体的には、差分作成部４４は、各画素について、ｉ番目の元画像のその画素の画素値から背景画像のその画素の画素値を減算する。続いて、差分作成部４４は、各画素について算出された減算値を＋１２８してかさ上げする。さらに、差分作成部４４は、各画素について、差分画像のその画素の画素値を、かさ上げ値が０未満になった場合には、０とし、かさ上げ値が２５６以上になった場合には、２５５とし、かさ上げ値が０〜２５５の範囲内に収まった場合には、そのかさ上げ値とする。なお、画素値の上記演算は、ＲＧＢ毎に行われ、各画素は、ＲＧＢ毎に０〜２５５の範囲の値を有するものとする。差分作成部４４は、ｉ番目の差分画像の静止画ファイルを、ｉ番目の元画像の静止画ファイルとは別個のファイルとして、加工ファイル領域５２内に保存する。 Subsequently, in the i-th step S2, the difference creation unit 44 calculates a difference image corresponding to the i-th original image by taking the difference between the i-th original image and the background image created in step S1. create. Specifically, for each pixel, the difference creating unit 44 subtracts the pixel value of the pixel of the background image from the pixel value of the pixel of the i-th original image. Subsequently, the difference creating unit 44 raises the subtraction value calculated for each pixel by +128. Further, for each pixel, the difference creating unit 44 sets the pixel value of the pixel of the difference image to 0 when the raising value is less than 0, and when the raising value is 256 or more. When the increase value falls within the range of 0 to 255, the increase value is set. Note that the above calculation of pixel values is performed for each RGB, and each pixel has a value in the range of 0 to 255 for each RGB. The difference creating unit 44 saves the still image file of the i-th difference image in the processed file area 52 as a file separate from the still image file of the i-th original image.
その結果、ステップＳ２で作成される差分画像においては、選択フレーム群のタイムラインに沿って元画像の画面内を移動する移動体が、比較的鮮明に捉えられた状態となり得る。すなわち、ステップＳ２で作成される差分画像においては、選択フレーム群のタイムラインに沿って途中で元画像の画面内から消える移動体、途中で元画像の画面内を移動し始める移動体、および途中から元画像の画面内に現れる移動体等が、比較的鮮明に捉えられた状態となり得る。一方で、ステップＳ２で作成される差分画像においては、上記の比較的鮮明に捉えられた被写体以外（すなわち、移動体の背景）については、灰色で表示され得る。なぜならば、Ｒ値＝Ｇ値＝Ｂ値＝１２８のとき、画素の色は灰色になるため、移動体以外（すなわち、移動体の背景）を捉えた画素の画素値は、上記ステップＳ２の処理によれば、ＲＧＢの全てについてほぼ１２８になるからである。つまり、ステップＳ２で作成される差分画像は、元画像の画面内において殆ど全ての元画像に共通する位置で捉えられている被写体をあたかもグレーアウトされたかのように写し、それ以外の被写体を比較的鮮明に写す画像となり得る。 As a result, in the difference image created in step S2, a moving body that moves within the screen of the original image along the timeline of the selected frame group can be captured relatively clearly. That is, in the difference image created in step S2, a moving body that disappears from the screen of the original image in the middle along the timeline of the selected frame group, a moving body that starts moving in the screen of the original image in the middle, and a halfway Thus, a moving object or the like appearing on the screen of the original image can be captured relatively clearly. On the other hand, in the difference image created in step S2, the object other than the subject captured relatively clearly (that is, the background of the moving object) can be displayed in gray. This is because when R value = G value = B value = 128, the color of the pixel is gray, so the pixel value of a pixel that captures a pixel other than the moving object (that is, the background of the moving object) is processed in step S2. This is because it is approximately 128 for all of RGB. In other words, the difference image created in step S2 shows a subject captured at a position common to almost all the original images in the screen of the original image as if it was grayed out, and other subjects are relatively clear. It can be an image to be copied.
例えば、上述の例と同様に、選択フレーム群が、画面内を移動する人物が画面内の何らかの物品を途中でポケットに隠したり、手で持って運び始めたりする映像、あるいは、ポケットから物品を取り出す映像であるとする。そのような選択フレーム群から作成される差分画像においては、その人物だけでなく、突然ポケットに隠されて画面内から消えた物品、突然手に取られて画面内を移動し始めた物品、又は突然ポケットから取り出されて画面内に現れた物品も、比較的鮮明に捉えられた状態となり得る。 For example, in the same way as in the above example, the selected frame group is an image in which a person moving in the screen hides an article in the screen halfway in the pocket or starts to carry it with a hand, or an article from the pocket. Suppose that it is a video to be taken out. In the difference image created from such a selected frame group, not only the person but also an article suddenly hidden in the pocket and disappeared from the screen, an article suddenly taken by the hand and started to move in the screen, or Articles suddenly removed from the pocket and appearing on the screen can also be captured relatively clearly.
以上の態様で、選択フレーム群に含まれる全ての元画像について、ステップＳ２の処理が終了すると、動体抽出処理が完了する。なお、上記のとおり、ステップＳ２は、選択フレーム群に含まれるＫ枚の元画像の各々について実行される。その結果、動体抽出処理の完了後には、選択フレーム群に含まれるＫ枚の元画像にそれぞれ対応するＫ枚の差分画像が作成されていることになる。 In the above manner, the moving object extraction process is completed when the process of step S2 is completed for all the original images included in the selected frame group. As described above, step S2 is executed for each of the K original images included in the selected frame group. As a result, after the moving object extraction process is completed, K difference images respectively corresponding to the K original images included in the selected frame group are created.
図６Ａは、元画像群の一例として、ある人物６０が画面内を左から右に移動する様子を捉えた元画像Ｈ１群を示す。元画像Ｈ１群には、人物６０の他、テーブル６１と、テーブル６１上に置かれた物品６２ａおよび物品６２ｂとが写されている。より詳細には、元画像Ｈ１群は、人物６０が途中でポケットに隠したことにより、物品６２ａが途中で画面内から消える様子と、人物６０が途中で手で持って運び始めたことにより、物品６２ｂが途中で画面内を移動し始める様子とを写している。 FIG. 6A shows an original image H1 group that captures a situation in which a certain person 60 moves from left to right in the screen as an example of the original image group. In the original image H1 group, in addition to the person 60, a table 61 and an article 62a and an article 62b placed on the table 61 are copied. More specifically, the original image H1 group includes a state in which the article 62a disappears from the screen in the middle due to the person 60 concealing in the pocket, and the person 60 starts to carry by hand in the middle. The state that the article 62b starts moving in the middle of the screen is shown.
図６Ｂは、元画像Ｈ１群から作成される背景画像Ｈ２を示す。図６Ｂに示す背景画像Ｈ２からは、人物６０および物品６２ａ，６２ｂの存在が消えている。なお、図６Ｂには、説明を簡単にするために、人物６０および物品６２ａ，６２ｂの存在が完全に消えているような背景画像Ｈ２を示したが、元画像Ｈ１と比較し、人物６０および物品６２ａ，６２ｂの存在が薄められている背景画像であれば、差分画像Ｈ３群のような差分画像群を作成することが可能である。 FIG. 6B shows a background image H2 created from the original image H1 group. The presence of the person 60 and the articles 62a and 62b disappears from the background image H2 shown in FIG. 6B. 6B shows a background image H2 in which the presence of the person 60 and the articles 62a and 62b has completely disappeared for the sake of simplicity, the person 60 and the background image H1 are compared with the original image H1. A difference image group such as the difference image H3 group can be created as long as the presence of the articles 62a and 62b is thinned.
図６Ｃは、元画像Ｈ１群と背景画像Ｈ２との差分を示す差分画像Ｈ３群を示す。ユーザは、差分画像Ｈ３群を目視することにより、差分画像Ｈ３群に写る人物６０と、途中で消える物品６２ａおよび途中から移動し始める物品６２ｂの動きを総合的に評価することができる。 FIG. 6C shows a difference image H3 group indicating a difference between the original image H1 group and the background image H2. By visually observing the difference image H3 group, the user can comprehensively evaluate the movement of the person 60 shown in the difference image H3 group, the article 62a that disappears in the middle, and the article 62b that starts moving from the middle.
＜２−４．ヒストリー＞
ヒストリー管理部４５は、各フレームについて、そのフレームのヒストリーの情報を、ヒストリー領域５４内でリアルタイムに管理する。ヒストリーの情報とは、画像処理モジュールの実行の履歴の情報であり、どの画像処理モジュールがどの順番でどのようなパラメータを用いて実行されたのかを示す情報である。
<2-4. History>
The history management unit 45 manages the history information of each frame in the history area 54 in real time. The history information is information on the execution history of the image processing module, and is information indicating which image processing module is executed in which order and with what parameters.
図２および図３に示すように、表示制御部４１は、基本画面Ｗ１上にヒストリーウィンドウＷ３を重ねて表示可能である。ヒストリーウィンドウＷ３内には、アクティブ表示フレームのヒストリーの詳細が表示される（図７参照）。アクティブ表示フレームのヒストリーの詳細は、ヒストリー領域５４を参照することにより判断される。なお、アクティブ表示フレームが切り替えられる度に、ヒストリーウィンドウＷ３内のヒストリーの詳細の表示も、リアルタイムに切り替えられる。 As shown in FIGS. 2 and 3, the display control unit 41 can display the history window W <b> 3 in an overlapping manner on the basic screen W <b> 1. Details of the history of the active display frame are displayed in the history window W3 (see FIG. 7). Details of the history of the active display frame are determined by referring to the history area 54. Every time the active display frame is switched, the display of history details in the history window W3 is also switched in real time.
図７に示すように、ヒストリーウィンドウＷ３内には、初期状態エリアＥ１と、モジュール名称エリアＥ２とが、上下に並んで表示される。初期状態エリアＥ１の数は、１つである。モジュール名称エリアＥ２の数は、アクティブ表示フレームに対し実行された画像処理モジュールの数と同じである。初期状態エリアＥ１は、アクティブ表示フレームの初期状態（第０次フレーム）に対応する。モジュール名称エリアＥ２は、アクティブ表示フレームに対し実行された画像処理モジュールに１対１で対応する。各モジュール名称エリアＥ２には、そのエリアＥ２に対応する画像処理モジュールの名称が表示される。 As shown in FIG. 7, an initial state area E1 and a module name area E2 are displayed side by side in the history window W3. The number of initial state areas E1 is one. The number of module name areas E2 is the same as the number of image processing modules executed for the active display frame. The initial state area E1 corresponds to the initial state (0th frame) of the active display frame. The module name area E2 has a one-to-one correspondence with the image processing module executed for the active display frame. In each module name area E2, the name of the image processing module corresponding to the area E2 is displayed.
＜２−５．座標ｍｓの変更＞
ユーザは、入力部２０を操作することにより、任意のフレームについて、現在選択されている座標ｍｓを自在に変更することができる。なお、上記のとおり、座標ｍｓが変更されると、画像処理モジュールの実行の対象となる静止画が変更される。従って、座標ｍｓを変更することには、画像処理の対象を変更するという意味がある。具体的な変更の操作の方法としては、以下の２つがある。
<2-5. Changing the coordinate m s>
The user can freely change the currently selected coordinate m s for an arbitrary frame by operating the input unit 20. As described above, when the coordinate m s is changed, the still image to be executed by the image processing module is changed. Therefore, changing the coordinate m s means changing the object of image processing. There are the following two specific change operation methods.
第１の方法は、ヒストリーウィンドウＷ３を操作することにより、アクティブ表示フレームの座標ｍｓを変更する方法である。具体的には、まず、ユーザは、アクティブな表示ウィンドウＷ２内に、座標ｍｓを変更しようとするフレームを表示させる。その結果、ヒストリーウィンドウＷ３内には、座標ｍｓを変更しようとするフレームのヒストリーの詳細が表示される。ヒストリーウィンドウＷ３は、エリアＥ１，Ｅ２の中から任意の１のエリアの選択をユーザから受け付ける。制御部４０は、ユーザがエリアＥ１，Ｅ２を選択するのに応じて、アクティブ表示フレームの座標ｍｓを、そのエリアＥ１，Ｅ２に対応する静止画の座標Ｍの値に変更する。なお、エリアＥ２に対応する静止画とは、そのエリアＥ２に対応する画像処理モジュールの実行後の静止画である。 The first method is a method of changing the coordinate m s of the active display frame by operating the history window W3. Specifically, first, the user displays a frame in which the coordinate m s is to be changed in the active display window W2. As a result, in the history window W3, detailed history of the frame to be changed the coordinates m s is displayed. The history window W3 accepts the selection of any one area from the areas E1 and E2 from the user. The control unit 40 changes the coordinate m s of the active display frame to the value of the coordinate M of the still image corresponding to the areas E1 and E2 in response to the user selecting the areas E1 and E2. The still image corresponding to the area E2 is a still image after execution of the image processing module corresponding to the area E2.
第２の方法は、基本画面Ｗ１を操作することにより、選択フレーム群に含まれる全てのフレームの座標ｍｓを一括して変更する方法である。具体的には、まず、ユーザは、座標ｍｓを変更しようとするフレーム群を、選択フレーム群として選択する。基本画面Ｗ１は、ヒストリータブＨ５上の「前のヒストリーへ」「次のヒストリーへ」「最新ヒストリーへ」および「ヒストリー位置指定」の項目の中から任意の１の項目の選択をユーザから受け付ける（図８参照）。制御部４０は、ユーザがこれらの項目の中から特定の項目を選択したことを検知すると、選択フレーム群に含まれる全てのフレームの座標ｍｓを一括して変更する。 The second method is a method of collectively changing the coordinates m s of all the frames included in the selected frame group by operating the basic screen W1. Specifically, first, the user selects a frame group whose coordinate m s is to be changed as a selected frame group. The basic screen W1 accepts, from the user, selection of any one item from the items “go to previous history”, “go to next history”, “go to latest history”, and “designate history position” on the history tab H5 ( (See FIG. 8). When the control unit 40 detects that the user has selected a specific item from these items, the control unit 40 collectively changes the coordinates m s of all the frames included in the selected frame group.
具体的には、「前のヒストリーへ」の項目が選択された場合、選択フレーム群に含まれる全てのフレームの座標ｍｓが１つデクリメントされる。ただし、座標ｍｓが既に０であったフレームについては、座標ｍｓが０のまま維持される。「次のヒストリーへ」の項目が選択された場合、選択フレーム群に含まれる全てのフレームの座標ｍｓが１つインクリメントされる。ただし、座標ｍｓが既に上限値であったフレームについては、座標ｍｓが上限値のまま維持される。上限値とは、そのフレームに対し実行された画像処理モジュールの回数である。「最新ヒストリーへ」の項目が選択された場合、選択フレーム群に含まれる全てのフレームの座標ｍｓが上限値に設定される。「ヒストリー位置指定」の項目が選択された場合、表示制御部４１は、基本画面Ｗ１上に位置指定ウィンドウ（図示されない）を重ねて表示させる。位置指定ウィンドウは、０以上の整数ｋの入力をユーザから受け付ける。選択フレーム群に含まれる全てのフレームの座標ｍｓは、入力された整数ｋに設定される。ただし、整数ｋが上限値を超えるフレームについては、座標ｍｓが上限値に設定される。 Specifically, when the item “to previous history” is selected, the coordinates m s of all the frames included in the selected frame group are decremented by one. However, for a frame in which the coordinate m s is already 0, the coordinate m s is maintained at 0. When the item “to the next history” is selected, the coordinates m s of all the frames included in the selected frame group are incremented by one. However, for a frame in which the coordinate m s is already the upper limit value, the coordinate m s is maintained as the upper limit value. The upper limit value is the number of image processing modules executed for the frame. When the item “to latest history” is selected, the coordinates m s of all the frames included in the selected frame group are set to the upper limit value. When the item “history position designation” is selected, the display control unit 41 displays a position designation window (not shown) in an overlapping manner on the basic screen W1. The position designation window accepts an input of an integer k of 0 or more from the user. The coordinates m s of all the frames included in the selected frame group are set to the input integer k. However, for frames in which the integer k exceeds the upper limit, the coordinate m s is set to the upper limit.
ところで、フレームを表示するとは、そのフレームの座標ｍｓの静止画を表示することである。言い換えると、タイムライン上でｎ番目のフレームを表示するとは、静止画Ｉ（ｎ，ｍｓ）を表示することである。従って、アクティブ表示フレームの座標ｍｓが変更されると、アクティブな表示ウィンドウＷ２内の表示も直ちに切り替えられる。 By the way, to display a frame means to display a still image at the coordinate m s of the frame. In other words, displaying the nth frame on the timeline means displaying the still image I (n, m s ). Therefore, when the coordinate m s of the active display frame is changed, the display of the active display window W2 also switched immediately.
また、上記のとおり、同じフレームに属する静止画群は、ソフトウェア管理領域５０内に別個のファイルとして保存される。また、座標ｍｓが変更されたとしても、変更前の座標ｍｓの静止画は、ソフトウェア管理領域５０内から削除されることはない。従って、例えば、ユーザが、アクティブ表示フレームの座標ｍｓをデクリメントした時、アクティブな表示ウィンドウＷ２内には、直ちにデクリメント後の座標ｍｓの静止画が表示される。また、その後、ユーザが、アクティブ表示フレームの座標ｍｓをインクリメントした時も、アクティブな表示ウィンドウＷ２内には、直ちにインクリメント後の座標ｍｓの静止画が表示される。 Further, as described above, the still image groups belonging to the same frame are stored as separate files in the software management area 50. Even if the coordinate m s is changed, the still image of the coordinate m s before the change is not deleted from the software management area 50. Therefore, for example, when the user decrements the coordinate m s of the active display frame, a still image of the coordinate m s after decrement is immediately displayed in the active display window W2. Further, thereafter, the user, even when the incremented coordinates m s active display frame, in the active display window W2, are immediately displayed still image coordinates m s of the incremented.
従って、例えば、ユーザが、あるタイムライン上の全てのフレームに対し動体抽出モジュールを実行し、その後、そのタイムライン上の全てのフレームの座標ｍｓを動画抽出モジュールの実行後の座標Ｍの値に設定した状態で、再生ボタンＴ２を押下したとする。その場合、表示制御部４１は、そのタイムライン上の全てのフレームの座標ｍｓの静止画群、すなわち、差分画像群を、アクティブな表示ウィンドウＷ１内にタイムラインに沿って順次コマ送りの形式で表示させる。従って、動体抽出処理により作成された差分画像群は、アクティブな表示ウィンドウＷ１内で、動画として再生可能である。 Therefore, for example, the user executes the moving object extraction module for all the frames on a certain timeline, and then the coordinates m s of all the frames on the timeline are the values of the coordinates M after the execution of the moving image extraction module. It is assumed that the playback button T2 is pressed in the state set to. In this case, the display control unit 41 sequentially frames the still image group of the coordinates m s of all the frames on the timeline, that is, the difference image group along the timeline in the active display window W1. To display. Therefore, the difference image group created by the moving object extraction process can be reproduced as a moving image in the active display window W1.
＜３．用途＞
上記のとおり、画像処理プログラム２は、静止画又は動画ファイルのどちらから画像データを取り込もうとも、その後、画像データを静止画ファイル群として管理する。従って、画像処理プログラム２は、同じタイムラインの中の任意のフレームを任意に画像処理したいというユーザの要望に容易に応えることができる。また、画像処理プログラム２は、静止画ファイル群を動画として再生する機能を有している。その結果、画像データが画像処理プログラム２内で静止画ファイル群として取り扱われようとも、ユーザは、その画像データを動画として認識することができる。従って、画像処理プログラム２は、動画の解析や編集等を行う場面で特に有用である。
<3. Application>
As described above, the image processing program 2 manages the image data as a still image file group, regardless of whether the image data is taken in from either a still image or a moving image file. Therefore, the image processing program 2 can easily meet the user's desire to arbitrarily perform image processing on any frame in the same timeline. The image processing program 2 has a function of reproducing a still image file group as a moving image. As a result, even if the image data is handled as a still image file group in the image processing program 2, the user can recognize the image data as a moving image. Therefore, the image processing program 2 is particularly useful in scenes where analysis or editing of moving images is performed.
画像処理プログラム２は、多種多様な動画に対する画像処理を取り扱うことができるが、例えば、警察等の機関が事件の捜査を行うに当たり、防犯カメラの監視映像を解析するのにも利用され得る。例えば、防犯カメラが、ある人物が画面内を移動しながら、画面内から物品を持ち出す様子を捉えているものの、オリジナルの監視映像を見ただけでは、その人物が物品を持ち出したことが分かりにくく、気が付かない場合がある。そのような場合でも、オリジナルの監視映像に対し動体抽出処理を実行することにより、ユーザは、その人物が物品を持ち出したことを正しく認識できるようになる。 The image processing program 2 can handle image processing for a wide variety of moving images. For example, when an organization such as the police investigates an incident, the image processing program 2 can also be used to analyze a surveillance video of a security camera. For example, a security camera captures a person taking an article from the screen while moving around the screen, but it is difficult to tell that the person has taken the article just by looking at the original surveillance video. , You may not notice. Even in such a case, by executing the moving object extraction process on the original monitoring video, the user can correctly recognize that the person has taken out the article.
＜４．特徴＞
＜４−１＞
上記実施形態では、ステップＳ１により、タイムライン上の少なくとも一部の区間に対応する複数の元画像から、移動体の背景を示す背景画像が作成される。また、繰り返し実行されるステップＳ２により、複数の元画像と背景画像との差分を示す複数の差分画像が作成される。
<4. Features>
<4-1>
In the above embodiment, in step S1, a background image indicating the background of the moving object is created from a plurality of original images corresponding to at least some sections on the timeline. Further, a plurality of difference images indicating differences between the plurality of original images and the background image are created by repeatedly executing step S2.
すなわち、上記実施形態では、複数の元画像と、それらの複数の元画像から作成される背景画像との差分をとることにより、複数の差分画像が作成される。その結果、少なくとも１の元画像については、その元画像よりも未来の画像を用いて、その元画像と比較される背景画像が作成されることになる。そのため、複数の元画像と比較される背景画像においては、注目している一部の移動体の存在だけでなく、途中で消える又は移動し始める別の移動体の存在が消されるか、又は薄められ得る。従って、差分画像には、注目している一部の移動体だけでなく、未来において消える又は移動し始める別の移動体が写し出され得る。従って、一部の移動体が背景に及ぼす影響を容易に評価することができる。 That is, in the above embodiment, a plurality of difference images are created by taking the difference between a plurality of original images and a background image created from the plurality of original images. As a result, for at least one original image, a background image to be compared with the original image is created using a future image rather than the original image. Therefore, in the background image to be compared with a plurality of original images, not only the presence of some of the moving objects of interest, but also the existence of another moving object that disappears or starts moving in the middle is erased or diluted. Can be. Therefore, in the difference image, not only a part of the moving body of interest, but also another moving body that disappears or starts to move in the future can be projected. Therefore, it is possible to easily evaluate the influence of some moving objects on the background.
＜４−２＞
上記実施形態では、動体抽出処理により作成された複数の差分画像が、動画として再生される。従って、ユーザは、目視により、差分画像に写る様々な移動体の動きを容易に評価することができる。
<4-2>
In the above embodiment, a plurality of difference images created by moving object extraction processing are reproduced as moving images. Therefore, the user can easily evaluate the movements of various moving bodies appearing in the difference image by visual observation.
＜４−３＞
上記実施形態では、ユーザは、動体抽出処理の実行の対象となる選択フレーム群を、タイムラインバーＴ５を介して自在に選択可能である。従って、ユーザは、差分画像を作成したいタイムライン上の区間を自在に選択することができる。
<4-3>
In the above embodiment, the user can freely select a selection frame group to be subjected to the moving object extraction process via the timeline bar T5. Therefore, the user can freely select a section on the timeline where a difference image is to be created.
＜５．変形例＞
以上、本発明の一実施形態について説明したが、本発明は上記実施形態に限定されるものではなく、その趣旨を逸脱しない限りにおいて、種々の変更が可能である。例えば、以下の変更が可能である。
<5. Modification>
As mentioned above, although one Embodiment of this invention was described, this invention is not limited to the said embodiment, A various change is possible unless it deviates from the meaning. For example, the following changes can be made.
＜５−１＞
ステップＳ１では、背景画像として、選択フレーム群に含まれる全ての元画像を平均化した静止画が作成されたが、背景画像を作成する方法は、これに限られない。例えば、各画素について、所定の刻み毎に、選択フレーム群に含まれる全ての元画像の画素値のヒストグラムを作成し、最大分布の刻みの画素値を、その画素の代表値としてもよい。また、平均値を算出する方法としては、相加平均値や相乗平均値、調和平均値を算出する等、様々な方法を適宜選択し得る。
<5-1>
In step S1, a still image obtained by averaging all original images included in the selected frame group is created as a background image. However, the method for creating a background image is not limited to this. For example, for each pixel, a histogram of the pixel values of all the original images included in the selected frame group may be created for each predetermined step, and the pixel value at the maximum distribution step may be used as the representative value of the pixel. Moreover, as a method for calculating the average value, various methods such as calculating an arithmetic average value, a geometric average value, and a harmonic average value can be appropriately selected.
＜５−２＞
差分画像を作成する方法は、上述したステップＳ２の方法に限られない。例えば、差分画像の各画素の画素値を、元画像のその画素の画素値から背景画像のその画素の画素値を減算した値が所定の範囲を超える場合には、元画像のその画素の画素値とし、所定の範囲内に収まる場合には、その減算値又は所定値（例えば、「０」）とするようにしてもよい。
<5-2>
The method of creating the difference image is not limited to the method of step S2 described above. For example, when the pixel value of each pixel of the difference image exceeds the predetermined range by subtracting the pixel value of that pixel of the background image from the pixel value of that pixel of the original image, the pixel value of that pixel of the original image If the value falls within a predetermined range, the value may be a subtraction value or a predetermined value (for example, “0”).
＜５−３＞
上記実施形態では、オリジナル画像領域５１へ取り込まれた画像データは、全て静止画ファイルとして保存されるようになっていた。しかしながら、オリジナル画像領域５１へ取り込まれた画像データを、動画ファイルとして保存するようにしてもよい。オリジナル画像領域５１内の画像データの形式を静止画形式とするか動画形式とするかは、ユーザが選択できるようにしてもよいし、取り込み元の画像データの形式等に応じて自動的に決定されるようにしてもよい。さらに、その後、動画ファイルに対して画像処理が施される場合には、その画像処理後の画像データも動画ファイルの形式で保存するようにしてもよい。
<5-3>
In the above embodiment, all the image data captured in the original image area 51 is stored as a still image file. However, the image data captured in the original image area 51 may be saved as a moving image file. Whether the format of the image data in the original image area 51 is a still image format or a moving image format may be selectable by the user, or automatically determined according to the format of the image data of the capture source, etc. You may be made to do. Further, after that, when image processing is performed on the moving image file, the image data after the image processing may be stored in the moving image file format.
１ 画像処理装置（コンピュータ）
２ 画像処理プログラム
４３ 背景作成部
４４ 差分作成部
Ｈ１ 元画像
Ｈ２ 背景画像
Ｈ３ 差分画像
６０ 人物（移動体）
６２ａ，６２ｂ 物品（移動体）
1 Image processing device (computer)
2 Image processing program 43 Background creation unit 44 Difference creation unit H1 Original image H2 Background image H3 Difference image 60 Person (moving object)
62a, 62b Article (moving body)
Claims (6)
前記複数の元画像と前記背景画像との差分を示す複数の差分画像を作成するステップと
をコンピュータに実行させる、
画像処理プログラム。 Creating a background image showing the background of the moving object from a plurality of original images corresponding to at least some sections on the timeline;
Causing the computer to execute a plurality of difference images indicating differences between the plurality of original images and the background image;
Image processing program.
をさらにコンピュータに実行させる、
請求項１に記載の画像処理プログラム。 Causing the computer to further execute the step of displaying the plurality of difference images;
The image processing program according to claim 1.
請求項２に記載の画像処理プログラム。 The step of displaying the plurality of difference images is a step of reproducing the plurality of difference images as a moving image.
The image processing program according to claim 2.
をさらにコンピュータに実行させ、
前記背景画像を作成するステップは、前記区間が選択された後、前記背景画像を作成し、
前記複数の差分画像を作成するステップは、前記背景画像が作成された後、前記複数の差分画像を作成する、
請求項１から３のいずれかに記載の画像処理プログラム。 Causing the computer to further execute a step of accepting the selection of the section from the user;
The step of creating the background image creates the background image after the section is selected,
The step of creating the plurality of difference images creates the plurality of difference images after the background image is created.
The image processing program according to claim 1.
請求項１から４のいずれかに記載の画像処理プログラム。 The step of creating the background image creates the background image by averaging the plurality of original images.
The image processing program according to claim 1.
前記複数の元画像と前記背景画像との差分を示す複数の差分画像を作成する差分作成部と
を備える、
画像処理装置。 A background creation unit that creates a background image showing a background of a moving object from a plurality of original images corresponding to at least some sections on the timeline;
A difference creating unit that creates a plurality of difference images indicating differences between the plurality of original images and the background image;
Image processing device.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2012017453A JP6257127B2 (en) | 2012-01-31 | 2012-01-31 | Image processing program and image processing apparatus |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2012017453A JP6257127B2 (en) | 2012-01-31 | 2012-01-31 | Image processing program and image processing apparatus |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2013156868A true JP2013156868A (en) | 2013-08-15 |
| JP6257127B2 JP6257127B2 (en) | 2018-01-10 |
Family
ID=49051976
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2012017453A Active JP6257127B2 (en) | 2012-01-31 | 2012-01-31 | Image processing program and image processing apparatus |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6257127B2 (en) |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH05228153A (en) * | 1992-02-21 | 1993-09-07 | Ken Ishihara | Ultrasonic diagnostic device |
| JP2000090277A (en) * | 1998-09-10 | 2000-03-31 | Hitachi Denshi Ltd | Reference background image updating method, method and device for detecting intruding object |
| JP2002374520A (en) * | 2001-06-14 | 2002-12-26 | Hitachi Ltd | Moving picture display method, and monitor device by video |
| JP2003030664A (en) * | 2001-07-18 | 2003-01-31 | Hitachi Software Eng Co Ltd | Mobile object extraction method and device |
| JP2003150964A (en) * | 2001-11-15 | 2003-05-23 | Canon Inc | Image processing device and image processing method |
| JP2007328755A (en) * | 2006-05-08 | 2007-12-20 | Sony Corp | Image processor, image processing method and program |
| JP2011139307A (en) * | 2009-12-28 | 2011-07-14 | Casio Computer Co Ltd | Moving picture generation system, moving picture display method, and web server |
| JP2011221680A (en) * | 2010-04-07 | 2011-11-04 | Hasumi Toru | Image synthesizing method, image synthesis program and image synthesizer |
-
2012
- 2012-01-31 JP JP2012017453A patent/JP6257127B2/en active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH05228153A (en) * | 1992-02-21 | 1993-09-07 | Ken Ishihara | Ultrasonic diagnostic device |
| JP2000090277A (en) * | 1998-09-10 | 2000-03-31 | Hitachi Denshi Ltd | Reference background image updating method, method and device for detecting intruding object |
| JP2002374520A (en) * | 2001-06-14 | 2002-12-26 | Hitachi Ltd | Moving picture display method, and monitor device by video |
| JP2003030664A (en) * | 2001-07-18 | 2003-01-31 | Hitachi Software Eng Co Ltd | Mobile object extraction method and device |
| JP2003150964A (en) * | 2001-11-15 | 2003-05-23 | Canon Inc | Image processing device and image processing method |
| JP2007328755A (en) * | 2006-05-08 | 2007-12-20 | Sony Corp | Image processor, image processing method and program |
| JP2011139307A (en) * | 2009-12-28 | 2011-07-14 | Casio Computer Co Ltd | Moving picture generation system, moving picture display method, and web server |
| JP2011221680A (en) * | 2010-04-07 | 2011-11-04 | Hasumi Toru | Image synthesizing method, image synthesis program and image synthesizer |
Also Published As
| Publication number | Publication date |
|---|---|
| JP6257127B2 (en) | 2018-01-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2011146796A5 (en) | ||
| JP2010079446A (en) | Electronic apparatus, blurring image selection method and program | |
| JP2010239605A (en) | Video editing device | |
| CN107209922A (en) | Image processing equipment, image processing system and image processing method | |
| WO2012147959A1 (en) | Input device, input method and recording medium | |
| US20210117040A1 (en) | System, method, and apparatus for an interactive container | |
| JP6191160B2 (en) | Image processing program and image processing apparatus | |
| JP6101896B2 (en) | Image processing program and image processing apparatus | |
| JP2023503862A (en) | Predictive virtual reconfiguration of physical environments | |
| US10789987B2 (en) | Accessing a video segment | |
| JP6171651B2 (en) | Image processing program and image processing apparatus | |
| JP5962278B2 (en) | Image processing program, image processing apparatus, and image processing method | |
| JP6182885B2 (en) | Image processing program and image processing apparatus | |
| JP6257127B2 (en) | Image processing program and image processing apparatus | |
| US10740623B2 (en) | Representative image generation device and representative image generation method | |
| US11042274B2 (en) | Extracting demonstrations from in-situ video content | |
| KR20180029625A (en) | Ground Truth generation program for performance evaluation of image processing | |
| CN110494862B (en) | Sequence generating device and control method thereof | |
| JP2014192532A (en) | Image processing program and image processing device | |
| JP5737192B2 (en) | Image processing program, image processing apparatus, and image processing method | |
| JP5786736B2 (en) | Image reproduction program and image reproduction apparatus | |
| JP5884482B2 (en) | Image processing program, image processing apparatus, and image processing method | |
| JP5766623B2 (en) | Motion analysis apparatus, method, and program | |
| WO2024063916A1 (en) | Generating a gallery view from an area view | |
| JP5765209B2 (en) | Image processing program and image processing apparatus |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20141205 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20150925 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20151006 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20151130 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20160105 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160329 |
|
| A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20160406 |
|
| RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20160413 |
|
| RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20160425 |
|
| A912 | Re-examination (zenchi) completed and case transferred to appeal board |
Free format text: JAPANESE INTERMEDIATE CODE: A912 Effective date: 20160617 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170706 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20171026 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20171205 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6257127 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |