JP6442746B2 - Information processing apparatus, control method, and program - Google Patents
Information processing apparatus, control method, and program Download PDFInfo
- Publication number
- JP6442746B2 JP6442746B2 JP2015250903A JP2015250903A JP6442746B2 JP 6442746 B2 JP6442746 B2 JP 6442746B2 JP 2015250903 A JP2015250903 A JP 2015250903A JP 2015250903 A JP2015250903 A JP 2015250903A JP 6442746 B2 JP6442746 B2 JP 6442746B2
- Authority
- JP
- Japan
- Prior art keywords
- data
- label
- rectangle
- image
- information processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Description
本発明は、機械学習における教師データ作成に関する。 The present invention relates to teacher data creation in machine learning.
近年、ディープラーニング技術の発展などにより、機械学習による画像中の物体認識技術の開発が一層盛んにおこなわれている。機械学習により物体認識を行うには、その物体が何であるかという正解ラベル（教師信号）を伴った画像が大量に必要となる。正解ラベルと画像のペアを学習データまたは教師データと呼ぶ。本発明では特に、画像中に対象物体が複数存在しており、対象物体の位置を矩形で指定することを想定している。機械学習を行う上で、学習データは一般に数千から数万枚程度必要と言われ、この学習データを作成することが、非常に大きな労力を要する。 In recent years, with the development of deep learning technology, object recognition technology in images by machine learning has been actively developed. In order to perform object recognition by machine learning, a large amount of images with a correct answer label (teacher signal) indicating what the object is is required. A pair of correct labels and images is called learning data or teacher data. In particular, in the present invention, it is assumed that there are a plurality of target objects in the image and the position of the target object is designated by a rectangle. In performing machine learning, it is generally said that several thousand to several tens of thousands of learning data are required, and creating this learning data requires a great deal of labor.
そこで、特許文献１には、半導体ウエハース画像等を対象に、学習済みの判別器を用いるか、又は、正常の画像と比較を行うことで、傷などの欠陥を検出・ラベル推定を行い、正解ラベルの候補とし、その後人手で修正し、学習データとする学習型分類システムが提案されている。
Therefore,
特許文献２には、特定物体ではなく、より広い範囲の物体を対象として、学習済みの判別器を用いるか、又は、色・輝度値による分割後人手による統合を行うことで、物体の検出・ラベル推定を行い、正解ラベルの候補とし、その後人手で修正し、学習データとする学習型分類システムが提案されている。
特許文献１では、学習済みの検出器を利用するか、又は、半導体ウエハースの様に正常な物体の見え方が明らかな場合にその正常物体との比較によって、傷などの欠陥を検出する。
In
しかしながら、学習済みの検出器を利用するために、一度学習を行う必要があり、学習データがまだ十分にない状態では、利用することはできない。また、正常物体との比較を行うためには正常である物体の見え方が明確である必要があり、半導体ウエハースの様な特定の物体に対してしか、利用することはできない。また時系列の画像データのような類似性または規則性を持った複数の画像データを対象とする場合には、各画像データに対してそれぞれ処理するため、その類似性または規則性の特徴を活用することができない。 However, in order to use a learned detector, it is necessary to perform learning once, and cannot be used in a state where there is not enough learning data. In addition, in order to compare with a normal object, it is necessary to clearly see the normal object, and it can be used only for a specific object such as a semiconductor wafer. In addition, when processing multiple image data with similarities or regularity such as time-series image data, since each image data is processed individually, the feature of the similarity or regularity is utilized. Can not do it.
特許文献２では、対象物体を広く利用できるシステムである。特許文献２では、学習済みの検出器を利用するか、又は、色・輝度による画像分割後、人手による統合を行うことで、対象物体を検出・推定する。
In
しかしながら、特許文献１と同様に、学習済みの検出器を利用するためには、一度学習を行う必要があり、学習データがまだ十分にない状態では、利用することはできない。また、学習済みの検出器を利用できない場合には、色・輝度による画像分割後に人手による統合を行うが、分割された領域を人手で統合することは、手間が大きく、人の負担軽減への効果は限定的である。また時系列の画像データのような類似性または規則性を持った複数の画像データを対象とする場合には、特許文献１と同様、各画像データに対してそれぞれ処理するため、その類似性または規則性の特徴を活用することができない。
However, similarly to
そこで、本発明は、既に作成された教師データの特性に基づいて、機械学習に使用する他の教師データを効率的に作成可能な仕組みを提供することを目的とする。
Accordingly, the present invention is already based on the characteristics of the teacher data created, and an object thereof is to provide an efficient manner that can be created mechanisms other teacher data used in the machine learning.
本発明の情報処理装置は、データの中で物体の部分に、機械学習に用いる前記物体の部分の名前を示すラベルを付与する情報処理装置であって、第１のデータの中で前記ラベルが付与された、複数箇所の部分の位置を記憶する記憶手段と、第２のデータの中から複数箇所の部分を抽出する抽出手段と、前記第１のデータの中で前記ラベルが付与された部分の位置と前記第２のデータの中で前記抽出された部分の位置との距離と、前記第１のデータの中で前記ラベルが付与された部分のデータの特徴量と前記第２のデータの中で前記抽出された部分のデータの特徴量との類似度とに基づき、前記第２のデータの中で前記抽出された部分と前記第１のデータの中で前記ラベルが付与された部分とが一意に対応するものを推定する追跡信頼度を算出する算出手段と、前記算出された追跡信頼度に従って一意に対応するものと推定した、前記第２のデータの中で前記抽出された部分及び前記第１のデータの中で前記ラベルが付与された部分の組を表示し、かつ、前記表示した前記第２のデータの中で前記抽出された部分及び前記第１のデータの中で前記ラベルが付与された部分の組別に前記算出した追跡信頼度のレベルを示す情報を表示する表示制御手段と、前記追跡信頼度のレベルを示す情報を表示した後に、前記第２のデータの中の前記抽出された部分にラベルを付与した教師データを登録する登録手段とを有することを特徴とする。
The information processing apparatus of the present invention, the object part in Data, an information processing apparatus that applies a label indicating the name of the part of the object to be used in the machine learning, the labels in the first data , Storage means for storing the positions of the plurality of parts, extraction means for extracting the parts of the plurality of parts from the second data, and the label provided in the first data The distance between the position of the portion and the position of the extracted portion in the second data, the feature amount of the data of the portion to which the label is attached in the first data, and the second data And the portion of the second data to which the label is assigned in the second data based on the similarity with the feature amount of the data of the extracted portion of the second data Calculates the tracking reliability to estimate what uniquely corresponds to The label is given in the extracted portion of the second data and the first data, which is estimated to correspond uniquely according to the calculated tracking reliability. The calculated tracking reliability for each set of the part that displays a set of parts and that is the extracted part of the displayed second data and the part of the first data that is labeled. display control means for displaying information indicating the level of said tracking after confidence level display the information indicating the registered teacher data assigned with label on said extracted portion in the second data And registration means for performing the above-described registration.
本発明により、既に作成された教師データの特性に基づいて、機械学習に使用する他の教師データを効率的に作成可能な仕組みを提供することができるようになる。 More present invention, already on the basis of the characteristics of the teacher data created, it is possible to provide an efficient creatable mechanism other teacher data used in the machine learning.
ユーザ操作受付・実行処理の一例を示すフローチャート。
以下、図面を参照して、本発明の実施形態を詳細に説明する。 Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.
図１は、本発明の学習データ作成補助システムの構成の一例を示すシステム構成図である。 FIG. 1 is a system configuration diagram showing an example of a configuration of a learning data creation assistance system of the present invention.
図１（ａ）は構成例の１つであり、ＰＣ１０１のみで構成される。ＰＣ１０１がデータ管理から、画面表示や操作受付を含むプログラム実行まで全てを実施する。 FIG. 1A shows one configuration example, which is composed of only the PC 101. The PC 101 performs everything from data management to program execution including screen display and operation reception.
図１（ｂ）は構成例の１つであり、ＰＣ１０１とデータベースサーバ１０２がＬＡＮ（ローカルエリアネットワーク）１０４で接続されて構成される。ＰＣ１０１がプログラムを実行し、データはデータベースサーバ１０２に格納される。ＰＣ１０１はプログラム実行に必要なデータを逐次データベースサーバ１０２から取得し、実行結果等をデータベースサーバ１０２に登録する。
FIG. 1B shows one configuration example, and is configured by connecting a PC 101 and a
図１（ｃ）は構成例の１つであり、ＰＣ１０１とアプリケーションサーバ１０３がＬＡＮ１０４で接続されて構成される。アプリケーションサーバ１０３がプログラムを実行し、ＰＣ１０１はアプリケーションサーバ１０３から送信された画像データを表示し、ユーザから受け付けた入力や操作内容をアプリケーションサーバ１０３に送信する。また、データを管理するためのデータベースサーバを別途備えてもよい。
FIG. 1C shows one configuration example, which is configured by connecting a PC 101 and an
本実施例は図１（ａ）の構成を前提にして説明するが、本発明は図１（ｂ）や図１（ｃ）の構成でも実施可能である。 Although the present embodiment will be described based on the configuration of FIG. 1A, the present invention can also be implemented with the configurations of FIG. 1B and FIG. 1C.
図２は、図１に示したＰＣ１０１のハードウェア構成の一例を示すブロック図である。本構成は、図１に示したデータベースサーバ１０２、アプリケーションサーバ１０３にも適用可能である。
FIG. 2 is a block diagram illustrating an example of a hardware configuration of the PC 101 illustrated in FIG. This configuration can also be applied to the
図２において、２０１はＣＰＵで、システムバス２０４に接続される各デバイスやコントローラを統括的に制御する。また、ＲＯＭ２０２あるいは外部メモリ２１１には、ＣＰＵ２０１の制御プログラムであるＢＩＯＳ（Ｂａｓｉｃ Ｉｎｐｕｔ ／ Ｏｕｔｐｕｔ Ｓｙｓｔｅｍ）やオペレーティングシステムプログラム（以下、ＯＳ）や、ＰＣの実行する機能を実現するために必要な後述する各種プログラム等が記憶されている。
In FIG. 2,
２０３はＲＡＭで、ＣＰＵ２０１の主メモリ、ワークエリア等として機能する。ＣＰＵ２０１は、処理の実行に際して必要なプログラム等をＲＯＭ２０２あるいは外部メモリ２１１からＲＡＭ２０３にロードして、ロードしたプログラムを実行することで各種動作を実現するものである。
A
また、２０５は入力コントローラで、キーボード（ＫＢ）２０９、マウス２１２等のポインティングデバイス等からの入力を制御する。２０６はビデオコントローラで、ディスプレイ２１０への表示を制御する。なお、表示器はＣＲＴだけでなく、液晶ディスプレイ等の他の表示器であってもよい。
An
２０７はメモリコントローラで、ブートプログラム、各種のアプリケーション、フォントデータ、ユーザファイル、編集ファイル、各種データ等を記憶する外部記憶装置（ハードディスク（ＨＤ））や、フレキシブルディスク（ＦＤ）、或いはＰＣＭＣＩＡカードスロットにアダプタを介して接続されるコンパクトフラッシュ（登録商標）メモリ等の外部メモリ２１１へのアクセスを制御する。
A
２０８は通信Ｉ／Ｆコントローラで、ネットワークを介して外部機器と接続・通信するものであり、ネットワークでの通信制御処理を実行する。例えば、ＴＣＰ／ＩＰを用いた通信等が可能である。
A communication I /
なお、ＣＰＵ２０１は、例えばＲＡＭ２０３内の表示情報用領域へアウトラインフォントの展開（ラスタライズ）処理を実行することにより、ディスプレイ２１０上での表示を可能としている。また、ＣＰＵ２０１は、マウス２１２等でのユーザ指示を可能とする。
Note that the
本発明を実現するための後述する各種プログラムは、外部メモリ２１１に記録されており、必要に応じてＲＡＭ２０３にロードされることによりＣＰＵ２０１によって実行されるものである。さらに、上記プログラムの実行時に用いられる設定ファイル等も外部メモリ２１１に格納されており、これらについての詳細な説明も後述する。
Various programs to be described later for realizing the present invention are recorded in the external memory 211 and executed by the
図３は、本実施形態の機能構成の一例を示すブロック図である。 FIG. 3 is a block diagram illustrating an example of a functional configuration of the present embodiment.
本実施形態における学習データ作成補助システムは、ＰＣ１０１により構成される。
The learning data creation assistance system in the present embodiment is configured by the
ＰＣ１０１は、画像データ記憶部３０１、正解データ記憶部３０２、一時データ記憶部３０３、正解ラベル推定部３０４、結果調整部３０５から構成される。
The
画像データ記憶部３０１は、時系列の画像データと画像データの管理情報を記憶する機能部であり、記憶されている時系列の画像データおよび管理情報は、正解ラベル推定部３０４、結果調整部３０５における処理で使用される。
The image
正解データ記憶部３０２は、機械学習における教師データとなる正解データを記憶する機能部であり、記憶されている正解データは、正解ラベル推定部３０４、結果調整部３０５の処理結果として求められる。
The correct
一時データ記憶部３０３は、結果調整を行うための一時データを記憶する機能部であり、記憶されている一時データは、正解ラベル推定部３０４の処理結果として求められ、結果調整部３０５の処理の中で更新される。また記憶されている一時データは、処理対象の時刻を進めるごとにクリアされ新たに作成される。
The temporary
正解ラベル推定部３０４は、画像データ記憶部３０１に記憶されている画像データから今回および前回時刻の画像データを取得し、今回時刻の画像データに対して、正解データの候補となる部分画像を抽出し、正解ラベルを推定する機能部である。処理結果は、後続の結果調整部３０５の処理用に、一時データ記憶部３０３に格納される。
The correct label estimation unit 304 acquires the image data at the current time and the previous time from the image data stored in the image
結果調整部３０５は、一時データ記憶部３０３に記憶されている前回および今回時刻の画像データに関する一時データを取得して結果調整画面を表示し、ユーザからの操作を受け付けることにより調整処理を実施する機能部である。受け付けた操作に応じて、一時データ記憶部３０３の今回時刻の画像データに対する一時データを更新し、最終的に一時データ記憶部３０３の今回時刻の画像データに対する一時データから必要データを正解データ記憶部３０２に正解データとして登録する。
The
以下、本実施形態における学習データ作成補助システムの処理の前提を説明する。 Hereinafter, the premise of the process of the learning data creation assistance system in this embodiment is demonstrated.
まず、正解ラベルを付与したい時系列画像を用意する。時系列画像とは、固定点カメラによる時間間隔ごとの撮影データや、固定されたビデオカメラによる動画データのコマ送り画像の様な、同じ撮影視点から撮影され、撮影時間ごとに並べられた画像群のことである。 First, a time series image to which a correct answer label is desired is prepared. A time-series image is a group of images that are shot from the same shooting point of view, such as shooting data for each time interval by a fixed-point camera, and frame-by-frame images of video data from a fixed video camera, arranged at each shooting time. That is.
また、正解ラベル付けとは、画像内の特定の物体が写された部分画像を抽出して、当該物体を示す情報を付与することを意味する。本実施例では、正解ラベル付けの一例として、植物全体を写した画像に対して、花が写された部分画像を抽出し、「花」を示すラベル情報を付与する。この部分画像情報およびラベル情報を教師データとして検出器に学習させることにより、任意の画像に対して「花」が存在するかどうかを検出できるようになる。本実施例では、「花」のラベルが付与された部分画像のみを教師データとして保存しているが、「葉」、「背景」などの他のラベルが付与された部分画像を教師データとして採用し保存してもよい。 The correct labeling means that a partial image in which a specific object in the image is copied is extracted and information indicating the object is given. In the present embodiment, as an example of correct labeling, a partial image in which a flower is copied is extracted from an image in which an entire plant is copied, and label information indicating “flower” is given. By making the detector learn this partial image information and label information as teacher data, it becomes possible to detect whether or not “flowers” exist for an arbitrary image. In this example, only partial images with a “flower” label are stored as teacher data, but partial images with other labels such as “leaf” and “background” are used as teacher data. And save it.
以下、図４を参照して、本実施形態の学習データ作成補助システムにおける全体処理について説明する。 Hereinafter, with reference to FIG. 4, an overall process in the learning data creation assistance system of the present embodiment will be described.
図４は一連の画像群に正解ラベル付けを行う全体処理の一例を示すフローチャートである。本処理はＰＣ１０１にて実施され、ＰＣ１０１のＣＰＵ２０１が外部メモリ２１１等に記憶されたプログラムを必要に応じてＲＡＭ２０３にロードして実行することにより実現されるものである。
FIG. 4 is a flowchart showing an example of the entire process for correctly labeling a series of images. This processing is performed by the
ステップＳ４０１では、ＰＣ１０１のＣＰＵ２０１は、外部メモリ２１１等に記憶された正解ラベルを付与したい画像群を取得する。ここで取得する画像群は前述した通り、時系列データを対象とする。撮影時刻と画像ファイル名の対応は図６の時系列画像情報テーブル１００１にて管理され、画像ファイルはデータベースに保存されている。
In step S401, the
ステップＳ４０２では、ＰＣ１０１のＣＰＵ２０１は、取得した時系列を持つ画像ごとに、その時刻順にステップＳ４０３からＳ４０４までの処理を繰り返す。具体的には、図１０に示す時系列画像情報テーブル１００１に登録されたレコードに対応する画像を順に今回画像として取り込んで処理する。
In step S402, the
ステップＳ４０３では、ＰＣ１０１のＣＰＵ２０１は、今回画像に対して、正解候補矩形の推定処理を行う。詳細に関しては図５で後述する。
In step S403, the
ステップＳ４０４では、ＰＣ１０１のＣＰＵ２０１は、ステップＳ４０３における推定結果に対してユーザによる調整を行う。詳細に関しては図７で後述する。
In step S404, the
ステップＳ４０５では、ＰＣ１０１のＣＰＵ２０１は、次の時系列画像に移行して処理を繰り返す。具体的な操作としては、図１１に示す操作ボタン画面ウィンドウ１１０３にて次の画像ボタン１１１５が押下されることにより、次の時系列画像に移行する。
In step S405, the
全ての時系列画像に対して処理を実行すれば本処理フローを終了する。
If the processing is executed for all the time-series images, this processing flow ends.
以下、図５を参照して、ステップＳ４０３の正解ラベル推定の詳細処理について説明する。 Hereinafter, with reference to FIG. 5, the detailed process of correct label estimation in step S403 will be described.
ステップＳ５０１では、ＰＣ１０１のＣＰＵ２０１は、正解矩形情報テーブル１００２（図１０）に前回画像に対応するレコードが存在するかどうかを判断する。もし時系列画像の最初の１枚であったり、前回画像の中に正解矩形が存在しなかった等の理由でレコードが存在しなかった場合は、ステップＳ５０６に進む。
In step S501, the
ステップＳ５０２では、ＰＣ１０１のＣＰＵ２０１は、正解矩形情報テーブル１００２の中から前回画像に対する正解矩形情報を読み込む。すなわち、前回の画像に基づいて作成された教師データを記憶手段から取得する処理の一例を示すステップである。
In step S <b> 502, the
ステップＳ５０３では、ＰＣ１０１のＣＰＵ２０１は、読み込んだ前回画像に対する正解矩形情報ごとに、ステップＳ５０４にて前回矩形情報テーブル１００３（図１０）にコピーする処理を繰り返す。ステップＳ５０５では、次の正解矩形情報に移行して繰り返し処理の最初のステップに戻る。
In step S503, the
ステップＳ５０６では、ＰＣ１０１のＣＰＵ２０１は、今回時刻画像における物体の候補矩形の抽出を行う。すなわち、今回の画像からラベル付与の対象となる部分画像を抽出する処理の一例を示すステップである。具体的な手法としては例えば、以下の手法が採用できる。
In step S506, the
一つ目の手法は、前回時刻における正解ラベル群と類似度が大きい矩形を検出して、それを候補矩形とする手法である。類似度の計算を行うだけなので、学習済みのモデルは必要としない。ただし、最初の時系列画像には使用できない。 The first method is a method of detecting a rectangle having a large similarity to the correct label group at the previous time and making it a candidate rectangle. Since only the similarity is calculated, a trained model is not required. However, it cannot be used for the first time-series image.
二つ目の手法は、汎用的な物体検出器を利用して、物体と推定される矩形画像を検出して、それを候補矩形として推定する手法である。この手法では、物体画像と背景画像との画像特徴量の差異や、画像から検知した物体の輪郭情報等をもとに候補矩形を推定するため、学習済みのモデルは必要としない。また、最初の時系列画像でも使用することができる。 The second method is a method of detecting a rectangular image estimated as an object using a general-purpose object detector and estimating it as a candidate rectangle. In this method, since the candidate rectangle is estimated based on the difference in the image feature amount between the object image and the background image, the contour information of the object detected from the image, etc., a learned model is not required. It can also be used for the first time-series image.
三つ目の手法は、今回ラベル付け対象である特定物体の学習済み検出器を利用して、その物体を検出して、それを候補矩形として推定する手法である。この手法では、今回ラベル付け対象である特定物体の学習データで学習を行った学習済みモデルが必要である。そのため、学習データがまだ十分にない状態では利用することができない。 The third method is a method of detecting the object using a learned detector of the specific object to be labeled this time and estimating it as a candidate rectangle. This method requires a learned model that has been learned with the learning data of the specific object to be labeled this time. Therefore, it cannot be used when there is not enough learning data.
上記は物体検出の手法の一例であるが、物体の候補矩形の抽出のために、上記の手法の１つを使用してもよいし、複数の手法を組み合わせて使用してもよい。 The above is an example of the object detection method, but one of the above methods may be used or a plurality of methods may be used in combination for extracting the object candidate rectangle.
ステップＳ５０７では、ＰＣ１０１のＣＰＵ２０１は、ステップＳ５０６で推定された候補矩形群の位置（ｍｉｎｘ、ｍｉｎｙ、ｍａｘｘ、ｍａｘｙ）を今回矩形情報テーブル１００４（図１０）の該当する項目に保存する。
In step S507, the
ステップＳ５０８では、ＰＣ１０１のＣＰＵ２０１は、ステップＳ５０６にて抽出した候補矩形ごとに、ステップＳ５０９からＳ５１３までの処理を繰り返す。
In step S508, the
ステップＳ５０９では、ＰＣ１０１のＣＰＵ２０１は、今回対象の候補矩形に対し、前回時刻画像への物体追跡処理を行い、対応する前回時刻正解矩形の情報を求める。
In step S509, the
ここで、図６を参照して、ステップＳ５０９の今回矩形と前回矩形の対応付けの詳細処理について説明する。 Here, with reference to FIG. 6, the detailed processing of the association between the current rectangle and the previous rectangle in step S509 will be described.
ステップＳ６０１では、ＰＣ１０１のＣＰＵ２０１は、今回対象の候補矩形が、前回時刻画像中ではどの矩形領域に存在したかを物体追跡技術により推定する。例えば、一定速度で一定方向に移動する物体（例えば、道路を走行する車、など）であれば、前回時刻からの経過時間と速度から移動距離を求め、前回時刻画像中の矩形領域を推定する。また、経過時間内ではほぼ固定、または、微小な移動しかしない物体（例えば、今回対象としている花、など）であれば、前回時刻の矩形領域は、今回時刻の矩形領域と同じとみなすこと等により前回時刻画像中の矩形領域を推定することができる。前回時刻画像中の対応する矩形領域を追跡矩形と呼ぶ。つまり、追跡矩形は、今回対象の候補矩形を基に経過時間による移動分を補正した前回時刻での推定矩形という意味を持つ。
In step S601, the
以下の処理で、前回時刻の正解矩形と今回対象の候補矩形との相関度合いを示す追跡信用度を算出し、追跡信用度が最大となる前回時刻の正解矩形を今回対象の候補矩形に対応付ける。すなわち、抽出された今回の部分画像の情報と、前回の教師データに含まれる部分画像の情報とに基づいて、今回の部分画像に対応する前回の教師データを特定する処理の一例を示す一連のステップである。 In the following process, the tracking reliability indicating the degree of correlation between the correct rectangle at the previous time and the current candidate rectangle is calculated, and the correct rectangle at the previous time at which the tracking reliability is maximized is associated with the current candidate rectangle. That is, a series of an example of a process for identifying the previous teacher data corresponding to the current partial image based on the extracted information on the current partial image and the information on the partial image included in the previous teacher data. It is a step.
ステップＳ６０２では、ＰＣ１０１のＣＰＵ２０１は、探索の評価尺度となる追跡信用度の最大値を一時記憶する最大追跡信用度を０に初期化する。
In step S <b> 602, the
ステップＳ６０３では、ＰＣ１０１のＣＰＵ２０１は、前回時刻正解矩形の情報を前回矩形情報テーブル１００３から読み込む。
In step S <b> 603, the
ステップＳ６０４では、ＰＣ１０１のＣＰＵ２０１は、読み込んだ前回時刻の正解矩形ごとにステップＳ６０５からＳ６１０までの処理を繰り返す。対象とする前回時刻の正確矩形を対応候補前回矩形と呼ぶことにする。
In step S604, the
ステップＳ６０５では、ＰＣ１０１のＣＰＵ２０１は、今回対象の候補矩形と対応候補前回矩形との追跡信用度を求める。追跡信用度の算出方法は、一例として、追跡矩形と対応候補前回矩形との中心点間距離が近くなるほど大きくなるように追跡信用度を定義することができる（例えば、該距離の逆数）。これは、物体追跡による位置関係のみを評価する方法である。すなわち、今回の部分画像の位置情報と、前回の教師データに含まれる部分画像の位置情報とにより求められる位置関係に基づいて、対応する教師データを特定する処理の一例を示す。
In step S605, the
また、別の算出方法として、今回対象の候補矩形と対応候補前回矩形の各画像の特徴量を既知の技術により求めてそれぞれの特徴量の差から類似度Ｓを算出し、追跡矩形と対応候補前回矩形との中心点間距離ｄとしたときに、追跡信用度Ｃは以下の様に定義することできる。
Ｃ＝Ｓ／ｄ
As another calculation method, the feature amount of each image of the current candidate rectangle and the corresponding candidate previous rectangle is obtained by a known technique, the similarity S is calculated from the difference between the respective feature amounts, and the tracking rectangle and the corresponding candidate The tracking reliability C can be defined as follows when the distance between the center points from the previous rectangle is d.
C = S / d
これは位置関係と画像内容の評価を併用する方法で、対応候補前回矩形が追跡矩形に位置的に近く、対応候補前回矩形が今回対象の候補矩形と画像として類似していれば追跡信用度が大きくなることがわかる。 This is a method that uses both the positional relationship and the evaluation of the image contents. If the corresponding candidate previous rectangle is close in position to the tracking rectangle and the corresponding candidate previous rectangle is similar to the current candidate rectangle, the tracking reliability is large. I understand that
また、別の算出方法として、前記中心点間距離ｄが所定の値以下ならば、つまり対応候補前回矩形が追跡矩形の近傍にある場合に、前記類似度Ｓをそのまま追跡信用度Ｃとし、中心点間距離が所定の値を超える場合には、追跡信用度Ｃをゼロとする方法でもよい。これは、物体追跡技術による推定位置（追跡矩形）と大きくずれることはなく、近傍内ではより画像が類似したものを選択する、という考え方に基づく。すなわち、今回の部分画像と、前回の教師データに含まれる部分画像との間の類似度に基づいて、対応する教師データを特定する処理の一例を示す。 As another calculation method, if the distance d between the center points is equal to or less than a predetermined value, that is, if the corresponding candidate previous rectangle is in the vicinity of the tracking rectangle, the similarity S is used as the tracking reliability C as it is, and the center point When the inter-distance exceeds a predetermined value, the tracking reliability C may be zero. This is based on the idea that an image with a similar image is selected in the vicinity without greatly deviating from the estimated position (tracking rectangle) by the object tracking technique. That is, an example of processing for specifying corresponding teacher data based on the similarity between the current partial image and the partial image included in the previous teacher data is shown.
上記は追跡信用度の算出方法の一例であり、画像の特性によって適切な方法を選定すればよい。また、複数の方法を組み合わせて使用してもよい。 The above is an example of a method for calculating the tracking reliability, and an appropriate method may be selected depending on the characteristics of the image. A plurality of methods may be used in combination.
ステップＳ６０６では、ＰＣ１０１のＣＰＵ２０１は、今回対象の候補矩形と対応候補前回矩形との追跡信用度が ループ現時点での追跡信用度の最大値より大きい、かつ、事前設定していた追跡信用度閾値より大きいかどうかの判断を行う。もし成り立つのであれば、ステップＳ６０７に進む。成り立たないのであれば、次のループに移る。なお、追跡信用度閾値を設定せず、単に追跡信用度が最大かどうかの判断だけを行ってもよい。
In step S606, the
ステップＳ６０７では、ＰＣ１０１のＣＰＵ２０１は、対応候補前回矩形の「前回矩形ＩＤ」を今回矩形情報テーブル１００４の今回対象の候補矩形に対応するレコードの「対応前回矩形ＩＤ」に設定する。
In step S <b> 607, the
ステップＳ６０８では、ＰＣ１０１のＣＰＵ２０１は、ステップＳ６０５で求めた追跡信用度を今回矩形情報テーブル１００４の今回対象の候補矩形に対応するレコードの「追跡信用度」に設定する。
In step S608, the
ステップＳ６０９では、ＰＣ１０１のＣＰＵ２０１は、対応候補前回矩形の「ラベル」を今回矩形情報テーブル１００４の今回対象の候補矩形に対応するレコードの「仮ラベル」に設定する。すなわち、今回の部分画像に対して、特定された前回の教師データのラベルを付与する処理の一例を示すステップである。本実施例では、正解ラベルとして「１（花）」のみを登録しているため、本処理で「仮ラベル」に設定される値は「１（花）」のみとなるが、正解ラベルとして「０（背景）」も対象としている場合は、対応候補前回矩形の「ラベル」に従った値が「仮ラベル」に設定される。
In step S <b> 609, the
ステップＳ６１０では、ＰＣ１０１のＣＰＵ２０１は、ループ現時点での追跡信用度の最大値を、今回対象の候補矩形と対応候補前回矩形との追跡信用度で更新を行う。
In step S610, the
ステップＳ６１１では、ＰＣ１０１のＣＰＵ２０１は、次の対応候補前回矩形に移行して、繰り返し処理の最初に戻る。
In step S611, the
上記処理により、今回矩形情報テーブル１００４の今回対象の候補矩形に対応するレコードの「対応前回矩形ＩＤ」、「追跡信用度」に、追跡信用度が最大となる対応候補前回矩形に対する「前回矩形ＩＤ」、最大追跡信用度が設定される。
図５の説明に戻る。
As a result of the above processing, the “previous rectangle ID” for the corresponding candidate previous rectangle having the maximum tracking reliability in the “corresponding previous rectangle ID” and “tracking reliability” of the record corresponding to the current candidate rectangle in the current rectangle information table 1004, Maximum tracking confidence is set.
Returning to the description of FIG.
ステップＳ５１０では、ＰＣ１０１のＣＰＵ２０１は、ステップＳ５０９の結果、今回矩形情報テーブル１００４の今回対象の候補矩形に対応するレコードに「対応前回矩形ＩＤ」が設定されているかどうか判別を行う。「対応前回矩形ＩＤ」が設定されていなければ、ステップＳ５１１に進み、設定されていれば、何も行わず次のループへと進む。
In step S510, the
ステップＳ５１１では、ＰＣ１０１のＣＰＵ２０１は、確信度の算出を行う。確信度とは、今回対象の候補矩形が正解矩形である確からしさを表す数値であり、具体的な算出手法としては、ステップＳ５０６の候補矩形抽出で用いた類似度や検出器によるスコアを算出する方法を適用すればよい。また、最初の時系列画像に対する候補矩形の場合のように確信度を算出することが困難な場合は、確信度は未定としておいてもよい。
In step S511, the
ステップＳ５１２では、ＰＣ１０１のＣＰＵ２０１は、ステップＳ５１１で求めた確信度を今回矩形情報テーブル１００４の今回対象の候補矩形に対応するレコードの「確信度」に設定する。
In step S <b> 512, the
ステップＳ５１３では、ＰＣ１０１のＣＰＵ２０１は、今回矩形情報テーブル１００４の今回対象の候補矩形に対応するレコードの「仮ラベル」に「０（背景）」を設定する。本処理は、対応する前回時刻正解矩形が存在しないため、正解矩形かどうかの判断ができないため、仮に「花」以外としておく、という考え方に基づく。また、「確信度」に閾値を設定しておき、今回対象の候補矩形の「確信度」が閾値以上となるならば「仮ラベル」に「１（花）」を設定するようにしてもよい。
In step S513, the
ステップＳ５１４では、ＰＣ１０１のＣＰＵ２０１は、次の候補矩形に移行し、繰り返し処理の最初に戻る。
In step S514, the
上記の処理により、今回画像に対し、正解矩形の候補となる矩形を抽出し、前回画像の正解矩形との対応付けを行い、仮ラベルを設定することができる。 With the above processing, a rectangle that is a candidate for the correct rectangle can be extracted from the current image, correlated with the correct rectangle of the previous image, and a temporary label can be set.
以下、図７を参照して、ステップＳ４０４の結果調整の詳細処理の一例について説明する。 Hereinafter, an example of the detailed process of the result adjustment in step S404 will be described with reference to FIG.
ステップＳ７０１では、ＰＣ１０１のＣＰＵ２０１は、図１１に示す結果調整画面をディスプレイ２１０に表示する。詳細処理については図８で後述する。
In step S <b> 701, the
ステップＳ７０２では、ＰＣ１０１のＣＰＵ２０１は、ステップ７０１にて表示した結果調整画面において、ユーザからの操作をキーボード２０９やマウス２１２から受け付け、必要な処理を実施する。詳細処理については図９で後述する。
In step S702, the
以下、図８を参照して、ステップＳ７０１の調整画面表示処理の詳細処理の一例について説明する。 Hereinafter, an example of detailed processing of the adjustment screen display processing in step S701 will be described with reference to FIG.
また、本処理にて表示する結果調整画面の一例を図１１に示し、説明の中で都度参照する。 An example of the result adjustment screen displayed in this process is shown in FIG.
ステップＳ８０１では、ＰＣ１０１のＣＰＵ２０１は、ディスプレイ２１０にメイン画面ウィンドウ１１０１を表示する。以降、ステップＳ８１０までの処理にてメイン画面の内容を表示する。
In step S <b> 801, the
ステップＳ８０２では、ＰＣ１０１のＣＰＵ２０１は、前回矩形情報テーブル１００３から前回矩形情報を読み込む。
In step S <b> 802, the
ステップＳ８０３では、ＰＣ１０１のＣＰＵ２０１は、ステップＳ８０２にて読み込んだ前回矩形情報の「画像ファイル名」を基に、前回時刻の画像ファイルを取得する。
In step S803, the
ステップＳ８０４では、ＰＣ１０１のＣＰＵ２０１は、ステップＳ８０３にて取得した画像ファイルを基に、前回時刻の画像１１０４を表示する。
In step S804, the
ステップＳ８０５では、ＰＣ１０１のＣＰＵ２０１は、今回矩形情報テーブル１００４から今回矩形情報を読み込む。
In step S805, the
ステップＳ８０６では、ＰＣ１０１のＣＰＵ２０１は、ステップＳ８０５にて読み込んだ今回矩形情報の「画像ファイル名」を基に、今回時刻の画像ファイルを取得する。
In step S806, the
ステップＳ８０７では、ＰＣ１０１のＣＰＵ２０１は、ステップＳ８０６にて取得した画像ファイルを基に、今回時刻の画像１１０５を表示する。
In step S807, the
ステップＳ８０８では、ＰＣ１０１のＣＰＵ２０１は、前回矩形情報および今回矩形情報の矩形座標（ｍｉｎｘ、ｍｉｎｙ、ｍａｘｘ、ｍａｘｙ）を基に、前回画像および今回画像の上に、矩形枠（１１０６、１１０７など）を表示する。
In step S808, the
ステップＳ８０９では、ＰＣ１０１のＣＰＵ２０１は、今回矩形情報の「対応前回矩形ＩＤ」を基に、前回画像の矩形枠と今回画像の矩形枠との対応関係を特定し、対応するそれぞれの矩形枠の間を線（１１０８など）で結んで表示する。今回矩形情報で対応前回矩形ＩＤがブランクになっている今回の矩形や、今回矩形情報の対応矩形ＩＤにて対応付けがされていない前回の図形については、線で結ばれず、矩形枠単体で表示される。
In step S809, the
ステップＳ８１０では、ＰＣ１０１のＣＰＵ２０１は、今回矩形情報の「追跡信用度」および「確信度」を基に、矩形枠と線の表示色を変更する。本実施例では、追跡信用度が高い矩形枠とそれらを結ぶ線は青色、信用度が低い矩形枠とそれらを結ぶ線は赤色で表示する。また、対応する今回矩形のない前回矩形については矩形枠を黒色で表示し、一方、対応する前回矩形のない今回矩形ついては、確信度が高い矩形枠は黒色、確信度が低い矩形枠は灰色で表示する。これにより、追跡の確からしさや、正解画像としての尤もらしさを直感的に把握することができる。
In step S810, the
ステップＳ８１１では、ＰＣ１０１のＣＰＵ２０１は、ディスプレイ２１０にズーム画面ウィンドウ１１０２を表示する。以降、ステップＳ８１７までの処理にてズーム画面の内容を表示する。
In step S <b> 811, the
ステップＳ８１２では、ＰＣ１０１のＣＰＵ２０１は、ステップＳ８０２にて読み込んだ前回矩形情報の矩形座標（ｍｉｎｘ、ｍｉｎｙ、ｍａｘｘ、ｍａｘｙ）を基に、ステップＳ８０３にて取得した画像ファイルから矩形画像を抽出する。
In step S812, the
ステップＳ８１３では、ＰＣ１０１のＣＰＵ２０１は、ステップＳ８０５にて読み込んだ今回矩形情報の矩形座標（ｍｉｎｘ、ｍｉｎｙ、ｍａｘｘ、ｍａｘｙ）を基に、ステップＳ８０６にて取得した画像ファイルから矩形画像を抽出する。
In step S813, the
ステップＳ８１４では、ＰＣ１０１のＣＰＵ２０１は、今回矩形情報の「対応前回矩形ＩＤ」を基に、前回矩形画像（１１０９など）と今回矩形画像（１１１０など）との対応関係を示す対応画像を表示する。本実施例では、２つの画像を矢印をはさんで左右に表示する。すなわち、今回の部分画像と、前回の教師データに含まれる部分画像とを対応付けて表示する処理の一例を示すステップである。ただし、対応する今回矩形のない前回矩形については対応画像を表示せず、対応する前回矩形のない今回矩形については、前回矩形画像の表示位置にはメッセージ画像等を表示して対応する前回矩形がないことを表す。
In step S814, the
ステップＳ８１５では、ＰＣ１０１のＣＰＵ２０１は、ステップＳ８１４にて表示した前回矩形画像と今回矩形画像の対応画像の表示順序を変更する。本実施例では、以下のソート順で表示順序を変更する。
In step S815, the
［１］今回矩形について「仮ラベル」が１（花）であり、「対応前回矩形ＩＤ」が設定されているもので、「追跡信用度」の高い順。 [1] The “tentative label” of the current rectangle is 1 (flower), the “corresponding previous rectangle ID” is set, and the “tracking reliability” is in descending order.
［２］今回矩形について「仮ラベル」が１（花）であり、「対応前回矩形ＩＤ」が設定されていないもので、「確信度」の高い順。 [2] The “provisional label” for the current rectangle is 1 (flower), the “corresponding previous rectangle ID” is not set, and the “confidence” is in descending order.
［３］今回矩形について「仮ラベル」が０（背景）であり、「確信度」の高い順。 [3] The “tentative label” of the rectangle this time is 0 (background), and the “confidence level” is in descending order.
［１］については、ステップＳ８１５にて前回矩形と今回矩形とが対応付けられたものでユーザに削除されていない（削除操作は後述）が対象となり、［２］についてはステップＳ８１５にて前回矩形と対応付けはされなかったものでユーザに採用された（採用操作は後述）ものが対象となり、［３］については前回矩形との対応付けはされなかったもので［２］に該当するもの以外が対象となる。 For [1], the previous rectangle and the current rectangle are associated in step S815 and not deleted by the user (deletion operation will be described later), and for [2], the previous rectangle in step S815. That are not associated with each other and are adopted by the user (adopting operation will be described later), and [3] is not associated with the previous rectangle and is not associated with [2] Is the target.
ステップＳ８１６では、ＰＣ１０１のＣＰＵ２０１は、今回矩形情報の「追跡信用度」および「確信度」を基に、矩形画像の背景の表示色を変更する。色の決定方法はステップＳ８１０と同じである。
In step S816, the
ステップＳ８１７では、ＰＣ１０１のＣＰＵ２０１は、前ステップまでで表示された前回矩形画像と今回矩形画像の対応画像に対し、削除ボタン１１１２、または、採用ボタン１１１３を表示する。具体的には、上述の［１］と［２］に含まれる対応画像については削除ボタン１１１２を表示し、［３］については採用ボタン１１１３を表示する。
In step S817, the
ステップＳ８１８では、ＰＣ１０１のＣＰＵ２０１は、ディスプレイ２１０に操作ボタン画面ウィンドウ１１０３を表示する。
In
ステップＳ８１９では、ＰＣ１０１のＣＰＵ２０１は、ステップＳ８１８にて表示した操作ボタン画面ウィンドウ１１０３上に各機能ボタンを表示する。本実施例では、機能ボタンとして、前の画像ボタン１１１４、次の画像ボタン１１１５、前の矩形ボタン１１１６、次の矩形ボタン１１１７、保存ボタン１１１８を表示する。
In step S819, the
なお、本実施例では、ズーム画面ウィンドウ１１０２および操作ボタン画面ウィンドウ１１０３を、メイン画面ウィンドウ１１０１とは別に表示しているが、１つのウィンドウにまとめて表示してもよい。
In this embodiment, the zoom screen window 1102 and the operation button screen window 1103 are displayed separately from the
以下、図９を参照して、ステップＳ７０２のユーザ操作受付・実行の詳細処理について説明する。 In the following, with reference to FIG. 9, the detailed process of user operation acceptance / execution in step S702 will be described.
ステップＳ９０１では、ＰＣ１０１のＣＰＵ２０１は、キーボード２０９やマウス２１２からユーザによる操作を受け付ける。
In step S <b> 901, the
ステップＳ９０２では、ＰＣ１０１のＣＰＵ２０１は、ステップＳ９０１にて受け付けた操作の種類を判定する。操作の種類としては、本実施例では、矩形枠採用、矩形枠削除、矩形枠サイズ変更、矩形枠位置変更、新規矩形枠作成、保存があり、操作の種類によっては事前に矩形選択の操作を伴う。以下にそれぞれの具体的操作の一例について説明する。
In step S902, the
矩形枠採用は、メイン画面ウィンドウ１１０１上で対象の今回矩形枠（前回矩形枠と線で結ばれていないもの）を選択した後キーボード２０９にて「ａ」キーを押下するか、ズーム画面ウィンドウ１１０２上で対象の矩形画像（前回矩形との対応付けのないもの）に表示された採用ボタンをマウス２１２にてクリックする。
In the adoption of the rectangular frame, after selecting the target current rectangular frame (not connected to the previous rectangular frame by a line) on the
矩形枠削除は、メイン画面ウィンドウ１１０１上で対象の今回矩形枠を選択した後キーボード２０９にて「ｄ」キーを押下するか、ズーム画面ウィンドウ１１０２上で対象の矩形画像に表示された削除ボタンをマウス２１２にてクリックする。すなわち、抽出された部分画像に対して採否（取消の方）を受け付ける処理の一例を示す。
To delete the rectangular frame, after selecting the target current rectangular frame on the
矩形枠サイズ変更は、メイン画面ウィンドウ１１０１上でマウス２１２にて対象の今回矩形枠の隅または辺をクリックして選択し、サイズ変更したい所までドラッグして離す。
To change the size of the rectangular frame, click and select the corner or side of the current rectangular frame with the
矩形位置変更は、メイン画面ウィンドウ１１０１上でマウス２１２にて対象の今回矩形枠内の任意の表示位置をクリックして選択し、位置変更したい所までドラッグして離す。
To change the rectangular position, click and select an arbitrary display position in the current rectangular frame with the
新規矩形枠作成は、メイン画面ウィンドウ１１０１上で今回画像中で対象の１つの隅となる位置をクリックして選択し、そこを起点の隅として対角の隅までドラッグして離す。
To create a new rectangular frame, a position that is one corner of the object in the current image on the
保存は、操作ボタン画面ウィンドウ１１０３上で、保存ボタンをクリックする。すなわち、抽出された部分画像に対して採否（採用の方）を受け付ける処理の一例を示す。 To save, click the save button on the operation button screen window 1103. That is, an example of processing for accepting acceptance (adoption) for the extracted partial image is shown.
なお上記は具体的操作の一例であり、これに限るものではない。また、矩形枠や矩形画像の選択には、マウス２１２にて直接、矩形枠や矩形画像をクリックして選択する方法の他に、操作ボタン画面の前の矩形ボタン１１１６、または、次の矩形ボタン１１１７をクリックして今回矩形情報テーブル１００４に登録された順で前後の矩形を選択する方法も使用できる。
The above is an example of a specific operation, and the present invention is not limited to this. In addition to the method of selecting a rectangular frame or rectangular image by directly clicking the rectangular frame or rectangular image with the
ステップＳ９０３では、ステップＳ９０２にて”矩形枠採用”と判定された場合、ＰＣ１０１のＣＰＵ２０１は、ズーム画面の対象の矩形画像に表示されていた採用ボタンを非表示にし、削除ボタンを表示する。
In step S903, if it is determined in step S902 that “rectangular frame adoption”, the
ステップＳ９０４では、ＰＣ１０１のＣＰＵ２０１は、対象の矩形画像から今回矩形ＩＤを特定し、今回矩形情報テーブル１００４の該当するレコードについて、「仮ラベル」を１（花）に更新する。ここで、ユーザにより採用されたことを受けて「確信度」を最大値である１に更新する。
In step S904, the
なお、本実施例では、ステップＳ９０４にて「仮ラベル」に設定する内容が１（花）のみであるため、ユーザ操作として「採用」ボタンを押下させているが、設定内容が複数ある場合は、直接「仮ラベル」の内容を入力させるか、ドロップダウンリスト等から選択させてもよい。すなわち、ステップＳ９０３は、対応する教師データが特定されなかった場合に、ラベルの指定を受け付ける処理の一例を示し、ステップＳ９０４は、今回の部分画像に対して、指定を受け付けたラベルを付与する処理の一例を示す。 In this embodiment, since the content to be set for “temporary label” in step S904 is only 1 (flower), the “recruit” button is pressed as a user operation. However, if there are multiple settings, Alternatively, the contents of the “temporary label” may be directly input or selected from a drop-down list or the like. That is, step S903 shows an example of a process for accepting the designation of the label when the corresponding teacher data is not specified, and step S904 is a process for giving the designated label to the current partial image. An example is shown.
ステップＳ９０５では、ステップＳ９０２にて”矩形枠削除”と判定された場合、ＰＣ１０１のＣＰＵ２０１は、対象の今回矩形に対し、メイン画面に表示されていた矩形枠と線、および、ズーム画面に表示されていた矩形画像を表示削除する。
If it is determined in step S905 that “rectangular frame deletion” is determined in step S902, the
ステップＳ９０６では、ＰＣ１０１のＣＰＵ２０１は、対象の矩形画像から今回矩形ＩＤを特定し、今回矩形情報テーブル１００４の該当するレコードを削除する。ここで、レコードを削除せず、削除フラグ（不図示）を設定するようにしてもよい。すなわち、取消を受け付けた場合には、今回の部分画像に対する教師データを作成しないよう実行制御する処理の一例を示すステップである。
In step S906, the
ステップＳ９０７では、ステップＳ９０２にて”矩形枠サイズ変更”と判定された場合、ＰＣ１０１のＣＰＵ２０１は、対象の今回矩形に対し、サイズ変更表示する。具体的には、メイン画面では、今回矩形枠を変更されたサイズで表示し、前回矩形枠と結んでいた線を変更して表示する。ズーム画面では、サイズ変更された領域の画像を抽出して表示する。
In step S907, if it is determined in step S902 that the “rectangular frame size has been changed”, the
ステップＳ９０８では、ＰＣ１０１のＣＰＵ２０１は、対象の矩形画像から今回矩形ＩＤを特定し、今回矩形情報テーブル１００４の該当するレコードについて、変更されたサイズに従って座標情報「ｍｉｎｘ」、「ｍｉｎｙ」、「ｍａｘｘ」、「ｍａｘｙ」を更新する。
In step S908, the
ステップＳ９０９では、ステップＳ９０２にて”矩形枠位置変更”と判定された場合、ＰＣ１０１のＣＰＵ２０１は、対象の今回矩形に対し、位置変更表示する。具体的には、メイン画面では、今回矩形枠を変更された位置に表示し、前回矩形枠と結んでいた線を変更して表示する。ズーム画面では、位置変更された領域の画像を抽出して表示する。
In step S909, if it is determined in step S902 that "rectangular frame position change", the
ステップＳ９１０では、ＰＣ１０１のＣＰＵ２０１は、対象の矩形画像から今回矩形ＩＤを特定し、今回矩形情報テーブル１００４の該当するレコードについて、変更された位置に従って座標情報「ｍｉｎｘ」、「ｍｉｎｙ」、「ｍａｘｘ」、「ｍａｘｙ」を更新する。
In step S910, the
ステップＳ９１１では、ステップＳ９０２にて”新規矩形枠作成”と判定された場合、ＰＣ１０１のＣＰＵ２０１は、新規作成された矩形枠を表示する。具体的には、メイン画面では、今回矩形枠を新規作成された位置・サイズに従って表示し、ズーム画面では、新規作成された領域の画像を抽出して表示する。表示イメージは、前回矩形との対応のない今回矩形と同じである。
In step S911, when it is determined in step S902 that “create new rectangular frame”, the
ステップＳ９１２では、ＰＣ１０１のＣＰＵ２０１は、新たな「今回矩形ＩＤ」にて今回矩形情報テーブル１００４にレコード追加し、新規作成された矩形枠の位置・サイズに従って座標情報「ｍｉｎｘ」、「ｍｉｎｙ」、「ｍａｘｘ」、「ｍａｘｙ」を設定し、「仮ラベル」に１（花）を設定する。「確信度」には、ユーザにより新規登録されたことを受けて最大値である１を設定する。
In step S912, the
ステップＳ９１３では、ステップＳ９０２にて”保存”と判定された場合、ＰＣ１０１のＣＰＵ２０１は、現在の調整内容で正解矩形情報テーブル１００２を更新する。具体的には、今回矩形情報テーブル１００４において、「仮ラベル」が１（花）に設定されているレコードを選択し、正解矩形情報テーブル１００２に新たな「正解矩形ＩＤ」にてレコードを追加し、今回矩形情報テーブル「画像ファイル名」、「ｍｉｎｘ」、「ｍｉｎｙ」、「ｍａｘｘ」、「ｍａｘｙ」、「仮ラベル」を正解矩形情報テーブル１００２の「画像ファイル名」、「ｍｉｎｘ」、「ｍｉｎｙ」、「ｍａｘｘ」、「ｍａｘｙ」、「ラベル」にコピーする。すなわち、採用を受け付けた場合に、今回の部分画像に対して、前回の教師データのラベルを付与することにより教師データを作成するよう実行制御する処理の一例を示すステップである。すでに今回時刻で正解矩形情報テーブル１００２にデータが登録されている場合は、今回時刻のデータを削除してから上記処理を実施する。
In step S <b> 913, when it is determined “Save” in step S <b> 902, the
ステップＳ９１４では、ＰＣ１０１のＣＰＵ２０１は、今回時刻分の操作が終了したかどうかを判定し、終了したと判定されればステップＳ９１５に進む。終了していないと判定されればステップＳ９０１に戻る。今回時刻分の操作が終了したと判定される操作としては、本実施例では、操作ボタン画面上で、前の画像ボタン１１１４、または、次の画像ボタン１１１５がマウス２１２によりクリックされた場合がある。この操作により、前の画像、次の画像に対して上述の一連の処理が可能となる。
In step S914, the
ステップＳ９１５では、ＰＣ１０１のＣＰＵ２０１は、現在の調整内容で正解矩形情報テーブル１００２を更新する。具体的な処理は、ステップＳ９１３と同じである。すなわち、作成された教師データを記憶手段に登録する処理の一例を示すステップである。
In step S915, the
上記により、今回時刻の正解矩形候補と前回時刻の正解矩形とを対応付けて表示することにより、今回時刻の正解矩形候補に対する正解かどうかの判断を効率的に行うことができる。 As described above, by displaying the correct rectangle candidate at the current time and the correct rectangle at the previous time in association with each other, it is possible to efficiently determine whether the correct rectangle candidate at the current time is correct.
また、類似性または規則性を持った時系列画像データに対し、今回時刻の正解矩形候補の抽出のために、前回時刻の正解矩形情報を利用することにより、精度を高めることが期待できる。 In addition, for time-series image data having similarity or regularity, accuracy can be expected to be improved by using correct rectangle information at the previous time in order to extract correct rectangle candidates at the current time.
なお、上述した各種データの構成及びその内容はこれに限定されるものではなく、用途や目的に応じて、様々な構成や内容で構成されることは言うまでもない。 It should be noted that the configuration and contents of the various data described above are not limited to this, and it goes without saying that the various data and configurations are configured according to the application and purpose.
また、本発明におけるプログラムは、図４〜図９の処理をコンピュータに実行させるプログラムである。 Moreover, the program in this invention is a program which makes a computer perform the process of FIGS.
以上のように、前述した実施形態の機能を実現するプログラムを記録した記録媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に格納されたプログラムを読み出し、実行することによっても本発明の目的が達成されることは言うまでもない。 As described above, a recording medium that records a program that implements the functions of the above-described embodiments is supplied to a system or apparatus, and a computer (or CPU or MPU) of the system or apparatus stores the program stored in the recording medium. It goes without saying that the object of the present invention can also be achieved by reading and executing.
この場合、記録媒体から読み出されたプログラム自体が本発明の新規な機能を実現することになり、そのプログラムを記録した記録媒体は本発明を構成することになる。 In this case, the program itself read from the recording medium realizes the novel function of the present invention, and the recording medium recording the program constitutes the present invention.
プログラムを供給するための記録媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＤＶＤ−ＲＯＭ、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＥＥＰＲＯＭ、シリコンディスク等を用いることが出来る。 As a recording medium for supplying the program, for example, a flexible disk, hard disk, optical disk, magneto-optical disk, CD-ROM, CD-R, DVD-ROM, magnetic tape, nonvolatile memory card, ROM, EEPROM, silicon A disk or the like can be used.
また、コンピュータが読み出したプログラムを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムの指示に基づき、コンピュータ上で稼働しているＯＳ（オペレーティングシステム）等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。 Further, by executing the program read by the computer, not only the functions of the above-described embodiments are realized, but also an OS (operating system) operating on the computer based on an instruction of the program is actually It goes without saying that a case where the function of the above-described embodiment is realized by performing part or all of the processing and the processing is included.
さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。 Furthermore, after the program read from the recording medium is written to the memory provided in the function expansion board inserted into the computer or the function expansion unit connected to the computer, the function expansion board is based on the instructions of the program code. It goes without saying that the case where the CPU or the like provided in the function expansion unit performs part or all of the actual processing and the functions of the above-described embodiments are realized by the processing.
また、本発明は、複数の機器から構成されるシステムに適用しても、ひとつの機器から成る装置に適用しても良い。また、本発明は、システムあるいは装置にプログラムを供給することによって達成される場合にも適応できることは言うまでもない。この場合、本発明を達成するためのプログラムを格納した記録媒体を該システムあるいは装置に読み出すことによって、そのシステムあるいは装置が、本発明の効果を享受することが可能となる。 The present invention may be applied to a system constituted by a plurality of devices or an apparatus constituted by a single device. Needless to say, the present invention can be applied to a case where the present invention is achieved by supplying a program to a system or apparatus. In this case, by reading a recording medium storing a program for achieving the present invention into the system or apparatus, the system or apparatus can enjoy the effects of the present invention.
さらに、本発明を達成するためのプログラムをネットワーク上のサーバ、データベース等から通信プログラムによりダウンロードして読み出すことによって、そのシステムあるいは装置が、本発明の効果を享受することが可能となる。なお、上述した各実施形態およびその変形例を組み合わせた構成も全て本発明に含まれるものである。 Furthermore, by downloading and reading a program for achieving the present invention from a server, database, etc. on a network using a communication program, the system or apparatus can enjoy the effects of the present invention. In addition, all the structures which combined each embodiment mentioned above and its modification are also included in this invention.
１０１ ＰＣ
１０２ データベースサーバ
１０３ アプリケーションサーバ
１０４ ＬＡＮ
２０１ ＣＰＵ
２０２ ＲＯＭ
２０３ ＲＡＭ
２０４ システムバス
２０５ 入力コントローラ
２０６ ビデオコントローラ
２０７ メモリコントローラ
２０８ 通信Ｉ／Ｆコントローラ
２０９ 入力装置
２１０ ディスプレイ装置
２１１ 外部メモリ
２１２ マウス
101 PC
102
201 CPU
202 ROM
203 RAM
204
Claims (7)
第１のデータの中で前記ラベルが付与された、複数箇所の部分の位置を記憶する記憶手段と、
第２のデータの中から複数箇所の部分を抽出する抽出手段と、
前記第１のデータの中で前記ラベルが付与された部分の位置と前記第２のデータの中で前記抽出された部分の位置との距離と、前記第１のデータの中で前記ラベルが付与された部分のデータの特徴量と前記第２のデータの中で前記抽出された部分のデータの特徴量との類似度とに基づき、前記第２のデータの中で前記抽出された部分と前記第１のデータの中で前記ラベルが付与された部分とが一意に対応するものを推定する追跡信頼度を算出する算出手段と、
前記算出された追跡信頼度に従って一意に対応するものと推定した、前記第２のデータの中で前記抽出された部分及び前記第１のデータの中で前記ラベルが付与された部分の組を表示し、かつ、前記表示した前記第２のデータの中で前記抽出された部分及び前記第１のデータの中で前記ラベルが付与された部分の組別に前記算出した追跡信頼度のレベルを示す情報を表示する表示制御手段と、
前記追跡信頼度のレベルを示す情報を表示した後に、前記第２のデータの中の前記抽出された部分にラベルを付与した教師データを登録する登録手段と
を有することを特徴とする情報処理装置。 The object part of the in the data, an information processing apparatus that applies a label indicating the name of the part of the object to be used in the machine learning,
Storage means for storing positions of a plurality of portions to which the label is given in the first data;
Extraction means for extracting a plurality of portions from the second data;
The distance between the position of the portion to which the label is attached in the first data and the position of the extracted portion in the second data, and the label is attached in the first data The extracted portion of the second data based on the similarity between the feature amount of the extracted portion data and the feature amount of the data of the extracted portion of the second data Calculating means for calculating a tracking reliability for estimating what uniquely corresponds to the portion to which the label is attached in the first data;
Displaying the set of the extracted portion in the second data and the portion to which the label is given in the first data, which is estimated to correspond uniquely according to the calculated tracking reliability And the information indicating the level of the calculated tracking reliability for each set of the extracted portion in the displayed second data and the portion to which the label is attached in the first data. Display control means for displaying
Wherein after displaying the information indicating the level of the tracking confidence, information processing and having a registration means for registering the teacher data assigned with label on said extracted portion in the second data apparatus.
抽出手段が、第２のデータの中から複数箇所の部分を抽出する抽出ステップと、
算出手段が、前記第１のデータの中で前記ラベルが付与された部分の位置と前記第２のデータの中で前記抽出された部分の位置との距離と、前記第１のデータの中で前記ラベルが付与された部分のデータの特徴量と前記第２のデータの中で前記抽出された部分のデータの特徴量との類似度とに基づき、前記第２のデータの中で前記抽出された部分と前記第１のデータの中で前記ラベルが付与された部分とが一意に対応するものを推定する追跡信頼度を算出する算出ステップと、
表示制御手段が、前記算出された追跡信頼度に従って一意に対応するものと推定した、前記第２のデータの中で前記抽出された部分及び前記第１のデータの中で前記ラベルが付与された部分の組を表示し、かつ、前記表示した前記第２のデータの中で前記抽出された部分及び前記第１のデータの中で前記ラベルが付与された部分の組別に前記算出した追跡信頼度のレベルを示す情報を表示する表示制御ステップと、
登録手段が、前記追跡信頼度のレベルを示す情報を表示した後に、前記第２のデータの中の前記抽出された部分にラベルを付与した教師データを登録する登録ステップと
を有することを特徴とする情報処理装置の制御方法。 The object part of the in the data, to impart a label indicating the name of the part of the object used in the machine learning, the labels in the first data is assigned, and stores the position of the portion of the plurality of locations A method for controlling an information processing apparatus having storage means ,
An extraction step in which the extraction means extracts a plurality of portions from the second data;
The calculating means includes a distance between a position of the portion to which the label is given in the first data and a position of the extracted portion in the second data, and the first data in the first data. Based on the similarity between the feature amount of the data to which the label is attached and the feature amount of the data of the extracted portion in the second data, the extraction is performed in the second data. A calculation step of calculating a tracking reliability for estimating a portion that uniquely corresponds to the portion to which the label is assigned in the first data; and
The display control means presumed to correspond uniquely according to the calculated tracking reliability, and the extracted portion in the second data and the label were given in the first data The calculated tracking reliability for each set of the part that displays a set of parts and that is the extracted part of the displayed second data and the part of the first data that is labeled. A display control step for displaying information indicating the level of
Registration means, wherein after displaying the information indicating the level of the tracking confidence, and a registration step of registering the teacher data assigned with label on said extracted portion in the second data A method for controlling the information processing apparatus.
前記情報処理装置を、
第１のデータの中で前記ラベルが付与された、複数箇所の部分の位置を記憶する記憶手段と、
第２のデータの中から複数箇所の部分を抽出する抽出手段と、
前記第１のデータの中で前記ラベルが付与された部分の位置と前記第２のデータの中で前記抽出された部分の位置との距離と、前記第１のデータの中で前記ラベルが付与された部分のデータの特徴量と前記第２のデータの中で前記抽出された部分のデータの特徴量との類似度とに基づき、前記第２のデータの中で前記抽出された部分と前記第１のデータの中で前記ラベルが付与された部分とが一意に対応するものを推定する追跡信頼度を算出する算出手段と、
前記算出された追跡信頼度に従って一意に対応するものと推定した、前記第２のデータの中で前記抽出された部分及び前記第１のデータの中で前記ラベルが付与された部分の組を表示し、かつ、前記表示した前記第２のデータの中で前記抽出された部分及び前記第１のデータの中で前記ラベルが付与された部分の組別に前記算出した追跡信頼度のレベルを示す情報を表示する表示制御手段と、
前記追跡信頼度のレベルを示す情報を表示した後に、前記第２のデータの中の前記抽出された部分にラベルを付与した教師データを登録する登録手段と
として機能させるためのプログラム。
The object part of the in the data, a program executable in an information processing apparatus that applies a label indicating the name of the part of the object to be used in the machine learning,
The information processing apparatus;
Storage means for storing positions of a plurality of portions to which the label is given in the first data;
Extraction means for extracting a plurality of portions from the second data;
The distance between the position of the portion to which the label is attached in the first data and the position of the extracted portion in the second data, and the label is attached in the first data The extracted portion of the second data based on the similarity between the feature amount of the extracted portion data and the feature amount of the data of the extracted portion of the second data Calculating means for calculating a tracking reliability for estimating what uniquely corresponds to the portion to which the label is attached in the first data;
Displaying the set of the extracted portion in the second data and the portion to which the label is given in the first data, which is estimated to correspond uniquely according to the calculated tracking reliability And the information indicating the level of the calculated tracking reliability for each set of the extracted portion in the displayed second data and the portion to which the label is attached in the first data. Display control means for displaying
Wherein after displaying the information indicating the level of the tracking confidence, a program to function as a registration means for registering the teacher data assigned with label on said extracted portion in the second data.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015250903A JP6442746B2 (en) | 2015-12-24 | 2015-12-24 | Information processing apparatus, control method, and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015250903A JP6442746B2 (en) | 2015-12-24 | 2015-12-24 | Information processing apparatus, control method, and program |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2018218741A Division JP6810359B2 (en) | 2018-11-22 | 2018-11-22 | Information processing device, control method, program |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2017117139A JP2017117139A (en) | 2017-06-29 |
| JP2017117139A5 JP2017117139A5 (en) | 2017-10-12 |
| JP6442746B2 true JP6442746B2 (en) | 2018-12-26 |
Family
ID=59232111
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2015250903A Active JP6442746B2 (en) | 2015-12-24 | 2015-12-24 | Information processing apparatus, control method, and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6442746B2 (en) |
Families Citing this family (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102015945B1 (en) * | 2018-04-19 | 2019-08-28 | 주식회사 크라우드웍스 | Method for packaging learning images for atonomous vehicle and apparatus thereof |
| US11537814B2 (en) | 2018-05-07 | 2022-12-27 | Nec Corporation | Data providing system and data collection system |
| US11423647B2 (en) | 2018-05-07 | 2022-08-23 | Nec Corporation | Identification system, model re-learning method and program |
| JP7308421B2 (en) * | 2018-07-02 | 2023-07-14 | パナソニックＩｐマネジメント株式会社 | LEARNING DEVICE, LEARNING SYSTEM AND LEARNING METHOD |
| JP2022043364A (en) * | 2018-11-16 | 2022-03-16 | 株式会社Preferred Networks | Learning device, object detection device, learning method, and program |
| KR102198920B1 (en) * | 2019-02-28 | 2021-01-06 | 네이버 주식회사 | Method and system for object tracking using online learning |
| JP7289427B2 (en) * | 2020-02-28 | 2023-06-12 | 株式会社Pros Cons | Program, information processing method and information processing apparatus |
| JP7408516B2 (en) * | 2020-09-09 | 2024-01-05 | 株式会社東芝 | Defect management devices, methods and programs |
| EP3971771A1 (en) * | 2020-09-22 | 2022-03-23 | Grazper Technologies ApS | A concept for generating training data and training a machine-learning model for use in re-identification |
| WO2023170912A1 (en) * | 2022-03-11 | 2023-09-14 | 日本電気株式会社 | Information processing device, generation method, information processing method, and computer-readable medium |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4591215B2 (en) * | 2005-06-07 | 2010-12-01 | 株式会社日立製作所 | Facial image database creation method and apparatus |
| US7720258B1 (en) * | 2006-01-26 | 2010-05-18 | Adobe Systems Incorporated | Structured comparison of objects from similar images |
| JP5459674B2 (en) * | 2010-09-13 | 2014-04-02 | 株式会社東芝 | Moving object tracking system and moving object tracking method |
| JP6203188B2 (en) * | 2012-10-26 | 2017-09-27 | 株式会社日立国際電気 | Similar image search device |
| JP6088381B2 (en) * | 2013-08-02 | 2017-03-01 | 株式会社日立国際電気 | Object search system |
-
2015
- 2015-12-24 JP JP2015250903A patent/JP6442746B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2017117139A (en) | 2017-06-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6442746B2 (en) | Information processing apparatus, control method, and program | |
| JP6810359B2 (en) | Information processing device, control method, program | |
| CN108256479B (en) | Face tracking method and device | |
| US20180188033A1 (en) | Navigation method and device | |
| CN110136198B (en) | Image processing method, apparatus, device and storage medium thereof | |
| WO2013012091A1 (en) | Information processing apparatus, object tracking method, and program storage medium | |
| JP7018001B2 (en) | Information processing systems, methods and programs for controlling information processing systems | |
| JP6634173B2 (en) | Image annotation information processing method, apparatus and system | |
| US11087137B2 (en) | Methods and systems for identification and augmentation of video content | |
| US20140112545A1 (en) | Information processing apparatus and information processing method | |
| JP6918306B2 (en) | Photo management equipment, photo management methods, and programs | |
| CN112115894B (en) | Training method and device of hand key point detection model and electronic equipment | |
| CN104520848A (en) | Searching for events by attendants | |
| WO2023082687A1 (en) | Feature detection method and apparatus, and computer device, storage medium and computer program product | |
| KR20210069686A (en) | Object tracking based on custom initialization points | |
| JP7104292B2 (en) | Information processing equipment, information processing method, program | |
| JP6948787B2 (en) | Information processing equipment, methods and programs | |
| JP6350024B2 (en) | Information processing apparatus, control method therefor, and program | |
| CN111968176A (en) | Method, device and equipment for determining pose of head-mounted equipment and storage medium | |
| CN111445499A (en) | Method and device for identifying target information | |
| US20230131717A1 (en) | Search processing device, search processing method, and computer program product | |
| JP7020263B2 (en) | Body orientation estimation program, body orientation estimation device, and body orientation estimation method | |
| JP2017016592A (en) | Main subject detection device, main subject detection method and program | |
| CN111832549A (en) | Data labeling method and device | |
| CN112749292B (en) | User tag generation method and device, computer device and storage medium |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170829 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170829 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20180612 |
|
| RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20180703 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180731 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20181001 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20181023 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20181031 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20181105 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 6442746 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |