JP7357033B2 - トレーニングイメージの自動生成システム及びその方法 - Google Patents

トレーニングイメージの自動生成システム及びその方法 Download PDF

Info

Publication number
JP7357033B2
JP7357033B2 JP2021155566A JP2021155566A JP7357033B2 JP 7357033 B2 JP7357033 B2 JP 7357033B2 JP 2021155566 A JP2021155566 A JP 2021155566A JP 2021155566 A JP2021155566 A JP 2021155566A JP 7357033 B2 JP7357033 B2 JP 7357033B2
Authority
JP
Japan
Prior art keywords
image
target
training
probability
container
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021155566A
Other languages
English (en)
Other versions
JP2022064850A (ja
Inventor
殿河 陳
哲民 陳
嘉緯 顏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Delta Electronics Inc
Original Assignee
Delta Electronics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from CN202011389588.6A external-priority patent/CN114429569A/zh
Application filed by Delta Electronics Inc filed Critical Delta Electronics Inc
Publication of JP2022064850A publication Critical patent/JP2022064850A/ja
Application granted granted Critical
Publication of JP7357033B2 publication Critical patent/JP7357033B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06F18/2148Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the process organisation or structure, e.g. boosting cascade
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217Validation; Performance evaluation; Active pattern learning techniques
    • G06F18/2193Validation; Performance evaluation; Active pattern learning techniques based on specific statistical tests
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/56Extraction of image or video features relating to colour
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/05Recognition of patterns representing particular kinds of hidden objects, e.g. weapons, explosives, drugs

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Description

本発明はトレーニングイメージに関し、特に、トレーニングイメージの自動生成システム及びその方法に関する。
人工知能又は専門検査員(例えば、禁制品を検査する税関員)の物体認識トレーニングを行うために、大量のサンプル(トレーニングイメージ)を使用しなければならず、これらのサンプルは容易に入手できない。
上記課題を解決するために、現在、サンプルの自動生成手段が既に提案されたが、上記手段は、トレーニングに用いるために、機械学習又はランダムにより大量のサンプルを生成することである。
しかしながら、物体認識トレーニングの結果はサンプルの品質と密接に関連し、サンプルの品質が不均一になると(例えば、サンプル間の差異が大き過ぎたり小さ過ぎたりするか、又は、サンプルにおける物体を認識する難しさが高過ぎたり低過ぎたりする)、トレーニングの結果が良くなく、これにより、機械学習モデル又は担当者は同じカテゴリのサンプルのみを認識できるようになる。
例えば、認識トレーニング時に難易度の低いサンプル(例えば、ターゲットが他の物体と異なる)ばかりを提供する場合、機械学習モデル又は担当者は難易度の低いサンプルのみを認識できるが、難易度の高いサンプル(例えば、ターゲットが他の物体と類似する)を認識できない。
従来のサンプルの自動生成手段は、ユーザの需要によって生成されたサンプルの認識難易度を調整できないため、トレーニングに適用しない。
そのため、従来のサンプルの自動生成技術には上記課題が存在するため、より効果的な解決策を提示する必要がある。
本発明の主な目的は、生成されたトレーニングイメージの認識難易度を調整できるトレーニングイメージの自動生成システム及びその方法を提供することである。
一実施例において、トレーニングイメージの自動生成方法は、複数のコンテナイメージを取得し、該コンテナイメージを1つ選択してターゲット追加処理を実行してトレーニングイメージを生成するステップ(a)と、該トレーニングイメージ及び該ターゲットイメージのターゲットカテゴリとターゲット位置のうち少なくとも1つを含むターゲットデータを記録するステップ(b)と、を含み、ここで、該ターゲット追加処理は、ターゲットイメージを取得するステップ(a1)と、候補イメージとするように、該ターゲットイメージを選択された該コンテナイメージに追加するステップ(a2)と、該候補イメージの、該ターゲットイメージの該候補イメージにおける認識難易度に対応する信頼度を計算するステップ(a3)と、該トレーニングイメージを生成するように、該候補イメージの該信頼度が臨界値条件を満足するまで、該ステップ(a1)~ステップ(a3)を繰り返して実行するステップ(a4)と、を含む。
一実施例において、トレーニングイメージの自動生成システムは、コンテナイメージソース、ターゲットイメージライブラリ及び制御モジュールを含む。該コンテナイメージソースは複数のコンテナイメージを有し、該ターゲットイメージライブラリは複数のターゲットイメージを有し、該コンテナイメージソース及び該ターゲットイメージライブラリに電気的に接続される該制御モジュールは、ターゲット追加モジュール、ターゲット記録モジュールと信頼度計算モジュールを含む。該ターゲット追加モジュールは、トレーニングイメージを生成するように、該コンテナイメージを1つ選択してターゲット追加処理を実行するように配置され、ここで、候補イメージとするように、該ターゲット追加処理は該ターゲットイメージを選択された該コンテナイメージに追加することを含み、該ターゲット記録モジュールは、該トレーニングイメージ及び該ターゲットイメージのターゲットカテゴリとターゲット位置のうち少なくとも1つを含むターゲットデータを記録するように配置され、該信頼度計算モジュールは該候補イメージの信頼度を計算するように配置され、ここで、該制御モジュールは、該トレーニングイメージを生成するように、生成された該候補イメージの該信頼度が臨界値条件を満足するまで、該ターゲット追加モジュールを介して該ターゲット追加処理を繰り返して実行するように配置され、該信頼度は該ターゲットイメージの該候補イメージにおける認識難易度に対応する。
一実施例において、トレーニングイメージの自動生成方法は、コンテナイメージを取得するステップ(a)と、ターゲットイメージを取得するステップ(b)と、候補イメージとするように、該ターゲットイメージを該コンテナイメージに追加するステップ(c)と、該候補イメージの、該ターゲットイメージの該候補イメージにおける認識難易度に対応する信頼度を計算するステップ(d)と、該信頼度が臨界値条件を満足しない場合、トレーニングイメージを生成するように、該候補イメージの該信頼度が該臨界値条件を満足するまで、該ステップ(b)~(d)を繰り返して実行するステップ(e)と、を含む。
本発明は、トレーニングイメージを自動生成することができ、トレーニングイメージの認識難易度がユーザにより指定できるため、カスタマイズされた認識トレーニングに適用する。
本発明の一実施例の自動生成システムの構造図である。 本発明の別の一実施例の自動生成システムの構造図である。 本発明の別の一実施例の自動生成システムの構造図である。 本発明の別の一実施例の自動生成システムの構造図の一部である。 本発明の第1実施例の自動生成方法のフローチャートである。 本発明の第2実施例の自動生成方法のフローチャートの一部である。 本発明の第3実施例の自動生成方法のフローチャートの一部である。 本発明の第4実施例の自動生成方法のフローチャートの一部である。 本発明の第5実施例の自動生成方法のフローチャートである。 本発明の一実施例のターゲット追加処理のプロセス図である。 本発明の一実施例のターゲット追加処理の表示図である。 本発明の一実施例の物体認識を示す第1の図である。 本発明の一実施例の物体認識を示す第2の図である。 本発明の一実施例の物体認識を示す第3の図である。
本発明の好ましい一実施例について、図面を参照して、以下のように詳細に説明する。
物体認識トレーニングにおいて、コンピュータシステム又はユーザは大量のイメージからターゲットイメージ(例えば、禁制品又はその他の指定物体のような物体イメージ)を含むトレーニングイメージを認識しなければならないが、現在、ターゲットイメージの認識難易度を調整することができない。
本発明は、即ち、トレーニングイメージの自動生成方法及びシステムを提供し、異なる難易度の物体認識トレーニングを提供するために、認識難易度(信頼度臨界値条件)を指定し、この認識難易度を満足させるトレーニングイメージを自動生成することができる。
図1と図2を参照する。本発明のトレーニングイメージの自動生成システム1は、コンテナイメージソース11と、ターゲットイメージライブラリ12と、出力モジュール13と、これらに電気的に接続される制御モジュール10と、を含むことができる。
コンテナイメージソース11は、複数のコンテナイメージ110を取得するのに用いられる。コンテナイメージ110(例えば、スーツケース、ハンドバッグ、ショッピングカート、バスケット、又は物体を収納できるその他のコンテナのようなイメージ)は処理されていないオリジナルイメージであり、その格納空間は空であってもよく、物体(例えば、化粧品、コンピュータ、通信装置及び家庭用電化製品の用品、商品、貨物、又はその他のコンテナに収納できる物体のようなオリジナル物体)を含んでもよい。
ターゲットイメージライブラリ12は、複数のターゲットイメージ120を記憶するのに用いられる。ターゲットイメージ120は、即ち、物体認識トレーニングにおいて、認識する必要があるターゲット(例えば、拳銃、ナイフ、麻薬、電池などのような禁制品、又はその他の指定される物体)のイメージである。ターゲットイメージ120は禁制品の真実のイメージであってもよい。
出力モジュール13(例えば、後述する表示モジュール32、記憶モジュール40又はネットワーク伝送インターフェース41)はイメージを出力する(記憶することと、表示することと、その他のコンピュータに伝送することと、を含む)のに用いられる。制御モジュール10(例えば、CPU、GPU、プロセッサ、コントローラ、SoCなど)は、トレーニングイメージTIを自動生成及び出力するように、自動生成システム1を制御する(後で詳細に説明する)。
図2を参照する。一実施例において、自動生成システム1は、制御モジュール10に電気的に接続される変形データベース20と、入力モジュール21と、を含むことができる。
変形データベース20には多種類の関数200が記憶され、各関数200は、イメージの外形、輝度、カラー、姿勢及び/又は配列順序などの属性を変換するために、それぞれイメージに対して異なるイメージ変換処理(例えば、回転、反転、変形、輝度調整、彩度調整、コントラスト調整、ローパスフィルタリング、ハイパスフィルタリング、上層への移動、下層への移動などのイメージ処理)を実行するのに用いられる。
入力モジュール21(例えば、キーボード、マウス、タッチパッド、タッチスクリーン、マイクなど)は、ユーザの入力操作に用いられ、例えば、ユーザは入力モジュール21を使用してトレーニングイメージの認識難易度に対応する一部のパラメータPを修正することができる。
図3を参照する。一実施例において、コンテナイメージソース11は、イメージキャプチャ装置30(例えば、可視光カメラ、X線スキャナー、超音波スキャナー、熱探知カメラなど)を含むことができ、コンテナイメージ110(イメージ、X線等の放射線イメージ、超音波イメージ、サーマルイメージなどであってもよい)を取得するために、存在するコンテナを撮影するのに用いられる。
コンテナイメージ110、ターゲットイメージ120及びトレーニングイメージTIが放射線イメージである場合、イメージの各画素値は各画素に対応する物体の深さ又は材料の密度に関することができる。その後、制御モジュール10は画素値に基づいてイメージの各画素を着色することができる。例を挙げると、イメージの一部の画素は異なる深さ又は材料密度に対応し、これらの画素は異なる色に設定されることができ、一部の画素は同じ又は類似の深さ又は材料密度に対応し、これらの画素は同じ色に設定されることができる。
また、ターゲットイメージ120、コンテナイメージ110とトレーニングイメージTIは、例えば、放射線イメージである同じタイプのイメージである。
一実施例において、自動生成システム1は、制御モジュール10に電気的に接続される表示モジュール32(例えば、LCD、プロジェクタなどの表示部)を含むことができる。表示モジュール32はイメージと情報を表示するのに用いられる。
一実施例において、自動生成システム1は、制御モジュール10に電気的に接続されるトレーニングイメージライブラリ33を含むことができる。トレーニングイメージライブラリ33は、トレーニングイメージTI(即ち、トレーニングイメージ330)とそのターゲットデータ331を記憶することができ、ターゲットデータ331は、解答又はトレーニングイメージ330の提示を含むことができ、又はトレーニングイメージ330のターゲットイメージ120のターゲットカテゴリ又はターゲット位置に追加され又は組み合わせられる。
一実施例において、自動生成システム1は、制御モジュール10に電気的に接続されるコンベヤーベルトモジュール31を含むことができ、制御モジュール10は、リアルタイム物体輸送検査の認識トレーニング(後で詳細に説明する)を模擬するように、コンベヤーベルトモジュール31の(タイムリー)コンベヤーベルト情報CBIを取得することができる。
図4を参照する。一実施例において、自動生成システム1は、制御モジュール10に電気的に接続され、データを記憶する記憶モジュール40(例えば、磁気ディスク、ハードディスク、フラッシュメモリ、RAM、ROMなど)を含むことができる。
一実施例において、自動生成システム1は、制御モジュール10に電気的に接続されるネットワーク伝送インターフェース41(例えば、Wi-Fiネットワークモジュール、イーサネットモジュール、携帯電話ネットワークモジュールなど)を含むことができる。ネットワーク伝送インターフェース41は、ネットワーク42(例えば、インターネット又はローカルエリアネットワーク)に接続するのに用いられ、ネットワーク42を介してリモートサーバ43に接続することができる。
一実施例において、コンテナイメージソース11、ターゲットイメージライブラリ12、変形データベース20及びトレーニングイメージライブラリ33のうち1つ又は複数はネットワークデータベースであってもよく、制御モジュール10は、ネットワーク伝送インターフェース41を介してこれらのネットワークデータベースのデータを記憶又は取得する。
一実施例において、制御モジュール10は後で詳細に説明する異なる機能を実現するモジュール50~54、500~506を含むことができる。前記モジュール50~54、500~506は互いに接続され(電気的な接続又は情報的な接続であってもよい)、ハードウェアモジュール(例えば、電子回路モジュール、集積回路モジュール、SoCなど)、ソフトウェアモジュール(例えば、ファームウェア、オペレーティングシステム又はアプリケーションプログラム)又はソフトウェアモジュールとハードウェアモジュールの組み合わせであってもよく、これらに限定されない。
言及されることは、前記モジュール50~54、500~506がソフトウェアモジュールである場合、記憶モジュール40は非一時的なコンピュータ可読記録メディアを含むことができ、前記非一時的なコンピュータ可読記録メディアにはコンピュータプログラム(例えば、コンピュータソフトウェア400)が記憶され、前記コンピュータプログラムにはコンピュータが実行可能なコードが記録され、制御モジュール10が前記コードを実行した後、前記モジュール50~54、500~506の制御機能を実現することができる。
図5を参照する。本発明のトレーニングイメージの自動生成方法は以下のステップを含むことができる。
ステップS10において、制御モジュール10はコンテナイメージソース11を介して順番に複数のコンテナイメージ110を取得することができ、荷物搬送順序に基づくが、これに限定されない。
制御モジュール10は、ターゲットイメージ120を含むトレーニングイメージTIを生成するために、ターゲット追加モジュール50を介して少なくともコンテナイメージ110を選択して、ターゲット追加処理を実行するステップS11を実行する。
一実施例において、記憶モジュール40には生成条件402が記憶され、制御モジュール10は生成条件402に基づいてコンテナイメージ110の一部を選択してターゲット追加処理を実行する。
例えば、生成条件402はトレーニングイメージTIを生成する確率(例えば、0.1%、10%、50%など)、総数(例えば、1枚、2枚又は100枚のトレーニングイメージTI)、関係(例えば、少なくとも2枚のトレーニングイメージTIの間が、10枚、50枚又は100枚隔てられるように、コンテナイメージ110を少なくとも何枚か隔てられなければならない)などであってもよく、これを限定しない。
一実施例において、ユーザは、生成条件402を調整して生成されたトレーニングイメージの認識難易度を調整するために、一部のパラメータPを修正することができる。
本発明はコンテナイメージとトレーニングイメージTIをランダム表示することによってターゲット認識トレーニングを行い、ユーザの集中度をトレーニングすることができ、トレーニングの成果を向上させることができる。また、本発明はトレーニングイメージTIの出現回数又は頻度(生成条件402)を調整することによって集中度のレベルを調整することができる。
一実施例において、図6を参照する。本発明のターゲット追加処理は以下のステップを含むことができる。
ステップS20において、制御モジュール10はターゲット選択モジュール502を介して、ターゲットイメージライブラリ12から1つ又は複数のターゲットイメージ120を選択する。前記選択は、ユーザによって入力モジュール21を介して手動選択するか、又は、例えば、ランダムに選択するか又は所定の選択ルールに基づいて選択する(コンテナイメージ110の残り空間の大きさに基づいて適切(数量又はサイズ)なターゲットイメージ120を選択するか、又は現在設定する認識難易度に基づいて対応する難易度のターゲットイメージ120を選択する)ように、ターゲット選択モジュール502を介して自動的に選択することができる。
ステップS21において、制御モジュール10はターゲット追加モジュール50を介して、選択される各ターゲットイメージ120を選択されたコンテナイメージ110のターゲット位置(予想される生成位置)に追加し又は組み合わせ、候補イメージとする。前記ターゲット位置はターゲット追加モジュール50の自動選択であってもよく、これに限定されない。前記候補イメージは仮想イメージである。
ステップS22において、制御モジュール10は、信頼度計算モジュール54を介して今回に生成された候補イメージの信頼度(即ち、信頼度スコア)を計算する。前記信頼度はターゲットイメージ120の候補イメージ内の認識難易度に対応する。つまり、ターゲットイメージ120と周囲のイメージとの間の類似性、コントラスト比又はその他の要素に基づいて、候補イメージからターゲットイメージ120のターゲットデータを識別する難易度である。
ステップS23において、制御モジュール10は、候補イメージの信頼度を所定の信頼度臨界値条件405(以下、臨界値条件と略称する)を満足させるか否かを判定する。
一実施例において、信頼度が高いほど、認識難易度が高いことを表示する場合、制御モジュール10は、候補イメージの信頼度が所定の臨界値以上である場合、候補イメージの信頼度が臨界値条件405を満足すると判定することができる。続いて、候補イメージはトレーニングイメージとする資格を有する。一実施例において、信頼度が低いほど、認識難易度が高いことを表示する場合、候補イメージの信頼度が所定の臨界値以下である場合、制御モジュール10は、候補イメージの信頼度が臨界値条件405を満足すると判断することができる。続いて、候補イメージはトレーニングイメージとする資格を有する。
一実施例において、制御モジュール10は、候補イメージの信頼度が臨界値範囲内にある場合、候補イメージの信頼度が臨界値条件405を満足すると判定することができ、仮想したトレーニングイメージTIの認識難易度が安定する。
候補イメージの信頼度が所定の信頼度臨界値条件405(以下は、臨界値と略称する)を満足しない場合、制御モジュール10は、生成された候補イメージの信頼度が臨界値条件405を満足するまで、新しい候補イメージを改めて生成するために、ステップS20~S22を繰り返して実行する。
一実施例において、ユーザは、臨界値条件405を調整することにより生成されたトレーニングイメージの認識難易度を変更するように、一部のパラメータPを修正することができる。
一実施例において、複数のターゲットイメージ120を同じコンテナイメージ110に追加する場合、信頼度計算モジュール54は各ターゲットイメージ120の候補イメージにおける信頼度をそれぞれ計算する。制御モジュール10は、候補イメージの各ターゲットイメージ120の信頼度が臨界値条件405を満足するまで、追加処理を再実行する。
信頼度が臨界値条件を満足する場合、制御モジュール10は、この候補イメージをトレーニングイメージTIに設定して、ターゲット追加処理を完成するようにステップS24を実行する。
再び図5を参照する。ターゲット追加処理を完成した後、制御モジュール10は、ターゲット位置決めモジュール504を介してターゲットデータ331(ターゲットカテゴリ及び/又はターゲット位置を含むことができる)を取得し、ターゲット記録モジュール51を介して各トレーニングイメージTIに含まれる各ターゲットイメージ120のターゲットデータ331をトレーニングイメージライブラリ33に記録するステップS12を実行する。
一実施例において、さらに、制御モジュール10は、ターゲット記録モジュール51を介して各トレーニングイメージTIをトレーニングイメージライブラリ33(即ち、トレーニングイメージ330である)に記録するステップS13を実行することができる。
一実施例において、ターゲット記録モジュール51は、各トレーニングイメージとそれに対応するターゲットデータ331をトレーニングイメージライブラリ33に関連するように記録する。
図7を参照する。一実施例において、前記ターゲットイメージ120をコンテナイメージ110に追加し又は組み合わせるステップ(S21)は以下のステップを含むことができる。
ステップS30において、制御モジュール10は、ターゲットイメージ120が追加されていないコンテナイメージ110の各オリジナル物体の物***置を検出するように、第1物体検出モジュール500を介してコンテナイメージ110に対して第1物体認識処理を実行する。
一実施例において、第1物体検出モジュール500は物体検出モデル401を取得することができ、物体検出モデル401は記憶モジュール40、又は、クラウドのサーバ43(即ち、クラウド演算)に記憶することができる。物体検出モデル401は、事前に、機械学習又は深層学習(例えば、YOLO、Fast-RCNN、Faster-RCNN等)により生成される(その生成手段は機械学習領域の一般的な技術であるので、ここで繰り返して記述しない)。第1物体検出モジュール500は、物体検出モデル401に基づいてコンテナイメージ110に対して第1物体認識を実行する。
ステップS31において、制御モジュール10は、ターゲット選択モジュール502により、ターゲットイメージライブラリ12からターゲットイメージ120を取得する。
ステップS32において、制御モジュール10は、ターゲット位置選択モジュール501を介して、所定の位置選択ルール403に基づいて、コンテナイメージ110において、選択される各ターゲットイメージ120のターゲット位置を設定する。
一実施例において、前記位置選択ルール403は記憶モジュール40に記憶されることができる。また、ユーザは、位置選択ルール403を調整して、生成されたトレーニングイメージの認識難易度(例えば、ターゲットイメージ120をオリジナル物体と重ね合せて難易度を向上させ、又は、ターゲットイメージ120をオリジナル物体なしの位置に設置して難易度を低下させる)を変更するように、一部のパラメータPを修正することができる。
一実施例において、前記位置選択ルール403は、ターゲット位置とオリジナル物体の物***置が少なくとも一部重なり合うことと、ターゲット位置がターゲットイメージ120のサイズ以上である及び/又はターゲット位置がオリジナル物体のサイズより大きい等を含むことができ、これらに限定されない。
ステップS33において、制御モジュール10は、イメージ変換選択モジュール503を介して、所定のイメージ変換ルール404に基づいて、変形データベース20から少なくとも1つの関数200を選択して、ターゲットイメージ120に対してイメージ変換処理を実行する。
一実施例において、前記イメージ変換処理は、ターゲットイメージ120の外形、輝度、カラー、姿勢及び配列順序(即ち、ターゲットイメージ120とオリジナル物体との間の重なり合う関係)及び/又は他のイメージ属性を変換することである。
一実施例において、前記イメージ変換ルール404は記憶モジュール40に記憶されることができる。また、ユーザは、イメージ変換ルール404を調整して、生成されたトレーニングイメージの認識難易度(例えば、ターゲットイメージ120と周囲イメージとの類似性を向上させることにより、難易度を向上させるか、又は、ターゲットイメージ120と周囲イメージとの類似性を低下させて、難易度を低下させる)を変更するように、一部のパラメータPを修正することができる。
一実施例において、前記イメージ変換ルール404は、ターゲットイメージ120のターゲットカテゴリに基づく選択関数200、コンテナイメージ110とターゲットイメージ120との間のイメージ差異に基づく選択関数200及び/又はターゲット位置及び各物***置に基づく選択関数200等を含むが、これらに限定されない。
ステップS34において、制御モジュール10は、イメージ生成モジュール505を介して、ターゲットイメージ120をコンテナイメージ110に追加することを完成するように、少なくとも1つのイメージ変換処理によるターゲットイメージ120をコンテナイメージ110のターゲット位置に追加する。
本発明は、生成条件402、位置選択ルール403、イメージ変換ルール404及び/又は臨界値条件405に対応する一部のパラメータPを調整することにより、生成されたトレーニングイメージの認識難易度を効果的に調整することができる。
図8を参照する。制御モジュール10は、信頼度計算モジュール54を介して候補イメージに対して第2物体認識処理を行い、候補イメージの各ターゲットイメージのカテゴリ認識スコア及び完全度認識スコアを取得し、その後前記スコアにより信頼度を計算することができる。前記カテゴリ認識スコアはターゲットカテゴリに対応して正確に認識される確率であり、前記完全度認識スコアはターゲット位置に対応して正確に認識される確率である。
具体的には、前記信頼度を計算するステップ(S22)は第2物体認識処理のステップS40~S42を含むことができる。
ステップS40において、制御モジュール10は、各イメージブロックが各カテゴリに属する確率(第1確率)を決定するように、第2物体検出モジュール506を介して入力イメージ(例えば、候補イメージ)の複数のイメージブロックに対してそれぞれカテゴリ認識を実行し、イメージブロックを最高の第1確率のカテゴリに設定し(即ち、このイメージブロックの物体カテゴリを設定する)、最高の第1確率に基づいてカテゴリ認識スコアを設定する(即ち、このイメージブロックのこの物体カテゴリに属する信頼度を設定する)。
図12を参照する。候補イメージ80(荷物イメージである)は複数のイメージブロックに分けることができる。制御モジュール10は物体検出モデル401を使用して、各イメージブロックに対してカテゴリ認識処理を実行することができる。例えば、イメージブロック800の認識結果は「拳銃である確率が75%であり(イメージブロック800の最高の第1確率)、ダッフルバッグである確率は5%である」であり、イメージブロック801の認識結果は「拳銃である確率が60%であり(イメージブロック801の最高の第1確率)、携帯電話である確率は10%である」であり、イメージブロック802の認識結果は「携帯電話である確率が70%であり(イメージブロック802の最高の第1確率)、ダッフルバッグのベースである確率が20%である」である。
次に、制御モジュール10は、イメージブロック800が拳銃(カテゴリ認識スコアが0.75である)であり、イメージブロック801が拳銃(カテゴリ認識スコアが0.6である)であり、イメージブロック802が携帯電話(カテゴリ認識スコアが0.7である)であることを決定することができる。これにより、各イメージブロックのカテゴリ認識スコアの計算を完成する。
再び図8を参照する。ステップS41において、制御モジュール10は、各範囲がターゲットイメージを完全にカバーする確率(第2確率)を決定するように、第2物体検出モジュール506を介して入力イメージの複数の範囲に対して完全度認識をそれぞれ実行し、物体の位置を最高の第2確率の範囲に設定し(即ち、この物体の範囲を設定し)、最高の第2確率に基づいて完全度認識スコアを設定する(即ち、この範囲が物体を完全にカバーする信頼度を設定する)。
図13を参照する。制御モジュール10は候補イメージ80において複数の範囲90~91を取り囲み、物体検出モデル401を使用して、各範囲に対して完成度認識を実行することができる。例えば、範囲90の認識結果は「ピストルを完全にカバーする確率が60%である」であり、範囲91の認識結果は「ピストルを完全にカバーする確率が70%である」である。言い換えれば、範囲91の第2確率は最高である。
次に、制御モジュール10は、範囲90の完全度認識スコアが0.6であり、範囲91の完全度認識スコアが0.7であるように決定することができる。
再び図8を参照する。ステップS42において、制御モジュール10は、信頼度計算モジュール54を介して、各ターゲットイメージのカテゴリ認識スコアと完全度認識スコアに基づいて、各ターゲットイメージの信頼度を計算する(例えば、加重平均、加算又は乗算等であるが、これを限定しない)。
一実施例において、制御モジュール10は、以下の式(1)に基づいて信頼度を計算することができる。
信頼度=Pr(Class|Grid)*Pr(Object)…………式(1)
ここで、Pr(Class|Grid)はカテゴリ認識スコアであり、Pr(Object)は完全度認識スコアである。
図14を参照する。前記ステップS40~S44の実行により、制御モジュール10はコンテナイメージ80における、例えば、ターゲットイメージ92(拳銃)の信頼度が0.85であり、オリジナル物体93(携帯電話)の信頼度が0.85であり、オリジナル物体94(ノート)の信頼度が0.95であるような全てのターゲットの信頼度(認識難易度)を取得することができる。また、制御モジュール10はターゲットイメージ92(例えば、禁制品である)の信頼度が所定の臨界値条件(例えば、0.7、0.9、0.95、範囲0.7~0.95又は範囲0.8~0.9等)を満足するか否かを判定することができる。
前記第1物体検出モジュール500(ステップS30)はステップS40~S42の第2物体認識処理を実行してコンテナイメージ110のオリジナル物体に対して認識と位置決めを実行するように設定される。
一実施例において、図3、図9を参照する。本発明はリアルタイム物体輸送検査(例えば、税関荷物検査など)の認識トレーニングを提供することができる。
自動生成システム1は制御モジュール10に電気的に接続されるコンベヤーベルトモジュール31を含むことができる。コンベヤーベルトモジュール31はコンテナ(例えば、荷物)を搬送するのに用いられる。固定点に設置されるイメージキャプチャ装置30(例えば、X線機器等)は、異なる荷物のコンテナイメージ110(例えば、X線の放射線イメージ)を順番に取得するように、コンベヤーベルトモジュール31により輸送されるコンテナを1つずつ撮影することができる。
次に、認識トレーニングにおいて、制御モジュール10は、撮影された複数のコンテナイメージ110を順番に取得し(ステップ50)、所定の生成条件402に基づいて一部のコンテナイメージを選択してターゲットイメージ120を追加して、トレーニングイメージTIを取得し(ステップS51、S52)、対応するターゲットデータを記録する(S53)。
また、制御モジュール10は、コンベヤーベルト情報取得モジュール52を介してコンベヤーベルトモジュール31のタイムリーコンベヤーベルト情報CBIを取得し(ステップS54)、統合表示制御モジュール53を介して、表示モジュール32において、コンテナイメージ110とトレーニングイメージTIをタイムリーコンベヤーベルト情報CBIと結合して表示モジュール32(ステップS55)に順番に表示し、トレーニングを中止するか否かを決定する(ステップS56)。
一実施例において、統合表示制御モジュール53は、表示モジュール32がコンテナイメージ110とトレーニングイメージTIの取得順番に基づいて、複数のコンテナイメージ及びトレーニングイメージをスクロール表示する(即ち、ニュースティッカーのような表示手段)ように制御する。
一実施例において、前記スクロール表示の速度は、タイムリーコンベヤーベルト情報の輸送速度に基づいて決定され、例えば、輸送速度が速ければ速いほど、スクロール表示が速く(各イメージが表示画面に表示される時間が短いほど、担当者が認識できる時間が短い)、輸送速度が遅いほど、スクロール表示が遅い(各イメージが表示画面に表示される時間が長いほど、担当者が認識できる時間が長い)。
一実施例において、制御モジュール10は、ターゲットイメージ120とコンテナイメージ110を単一イメージに直接合併せず、同一画面にターゲットイメージ120とコンテナイメージ110を同時に表示することにより、トレーニングイメージを実現する。
具体的に、制御モジュール10は、タイムリーコンベヤーベルト情報、コンテナイメージ110及びターゲット位置に基づいて、ターゲットイメージ120の最新の表示位置を続けて計算し、対応するコンテナイメージ110をスクロール表示する場合、ターゲットイメージ120を対応するコンテナイメージ110と共に移動させるように、同じスクロール速度で、最新の表示位置にターゲットイメージ120を同時に表示して、トレーニングイメージを表示する効果を実現する。
図10~図11を参照する。制御モジュール10は、複数枚のコンテナイメージ60~62を順番に取得し、コンテナイメージ61に対してターゲット追加処理を実行するように選択する。
まず、制御モジュール10はコンテナイメージをローディングし(例えば、イメージ610に示す)、複数のオリジナル物体70~71を認識する(例えば、イメージ611に示す)ように、コンテナイメージに対して(第1/第2)物体認識を実行する。
次に、制御モジュール10は、ターゲット位置72を選択することができ(例えば、イメージ612に示す)、選択されたターゲットイメージ73をターゲット位置72に追加する(例えば、イメージ613に示すように、この時、ターゲットデータ74を共に設定することができる)。
次に、制御モジュール10は、ターゲットイメージ73に対して、変換後のターゲットイメージ75を取得するようにイメージ変換(例えば、拡大処理)を実行することができ、それにより、信頼度を向上させる(例えば、候補イメージ614に示す)。
候補イメージ614のターゲットイメージ75の信頼度が臨界値条件を満足しない場合、制御モジュール10は、ターゲットイメージ75に対して、もう一つの変換後のターゲットイメージ76を取得するようにイメージ変換(例えば、縮小処理及び回転処理)を再び実行することができ、それにより、信頼度を再び向上させる(例えば、イメージ61’に示す)。
最後に、トレーニングイメージ61’の変換後のターゲットイメージ76の信頼度は臨界値条件を満足する場合、制御モジュール10は、コンテナイメージ61をトレーニングイメージ61’に置換して、トレーニングイメージの生成(図11に示す)を完成させる。
さらに、ユーザは順番に再生されるコンテナイメージ60、トレーニングイメージ61’とコンテナイメージ62を見て、認識トレーニングに関連する操作を実行することができる。
例を挙げると、ユーザは、ユーザの判断が正しいか否かを検証するように、入力モジュール21を介して検証操作を入力して、制御モジュール10によりトレーニングイメージ61’(表示されたトレーニングイメージのような)のターゲットイメージ76のターゲットデータ(答え)を表示するように表示モジュール32を制御することができる。
別の例において、ユーザは、コンベヤーベルトモジュール31の状態を中止又は継続的に作動するように制御するために、入力モジュール21を介して中止操作又は作動操作を入力し、タイムリーコンベヤーベルト情報の速度を中止又は作動に変更する。
また、制御モジュール10は、タイムリーコンベヤーベルト情報が中止に設定された場合、表示モジュール32が表示画面のスクロールを中止するように制御することができ、タイムリーコンベヤーベルト情報が作動に設定された場合、画面のスクロールを継続的に表示する。
これにより、本発明は、リアルタイム物体輸送検査を模擬することができる。
本発明は、トレーニングイメージを自動生成することができ、トレーニングイメージの認識難易度がユーザにより指定することできるため、カスタマイズされる認識トレーニングに適用する。
上記は本発明の好ましい具体的な実施例に過ぎず、本発明の出願する特許請求の範囲を限定するものではないため、本発明の内容を運用する同等の変更は、いずれも同様に本発明の範囲に含まれており、ここで合わせて説明されたものとする。
1 自動生成システム
10 制御モジュール
11 コンテナイメージソース
110 コンテナイメージ
12 ターゲットイメージライブラリ
120 ターゲットイメージ
13 出力モジュール
20 変形データベース
200 関数
21 入力モジュール
30 イメージキャプチャ装置
31 コンベヤーベルトモジュール
32 表示モジュール
33 トレーニングイメージライブラリ
330 トレーニングイメージ
331 ターゲットデータ
40 記憶モジュール
400 コンピュータソフトウェア
401 物体検出モデル
402 生成条件
403 位置選択ルール
404 イメージ変換ルール
405 臨界値条件
41 ネットワーク伝送インターフェース
42 ネットワーク
43 サーバ
50 ターゲット追加モジュール
500 第1物体検出モジュール
501 ターゲット位置選択モジュール
502 ターゲット選択モジュール
503 イメージ変換選択モジュール
504 ターゲット位置決めモジュール
505 イメージ生成モジュール
506 第2物体検出モジュール
51 ターゲット記録モジュール
52 コンベヤーベルト情報取得モジュール
53 統合表示制御モジュール
54 信頼度計算モジュール
60~62 コンテナイメージ
61’ トレーニングイメージ
610~614 イメージ
70、71 オリジナル物体
72 ターゲット位置
73 ターゲットイメージ
74 ターゲットデータ
75、76 変換後ターゲットイメージ
80 入力イメージ
800~802 イメージブロック
90~91 範囲
92~94 イメージ
CBI コンベヤーベルト情報
P 設定パラメータ
TI トレーニングイメージ
S10~S13 ターゲット追加及び記録ステップ
S20~S24 ターゲット追加ステップ
S30~S34 ターゲットイメージ処理ステップ
S40~S42 信頼度計算ステップ
S50~S56 ターゲット追加、記録及び表示ステップ

Claims (10)

  1. トレーニングイメージの自動生成方法であって、
    複数のコンテナイメージを取得し、生成条件に応じて該コンテナイメージを1つ選択してターゲット追加処理を実行するステップ(a)と、
    該トレーニングイメージ及びターゲットイメージのターゲットカテゴリとターゲット位置のうち少なくとも1つを含むターゲットデータを記録し、トレーニングイメージ内のターゲット位置にターゲットイメージを対応付けて表示するステップ(b)と、
    を含み、
    該ターゲット追加処理は、
    ターゲットイメージを取得するステップ(a1)と、
    候補イメージとするように、該ターゲットイメージを選択された該コンテナイメージに追加するステップ(a2)と、
    ターゲットカテゴリに対応して正確に認識される確率とターゲット位置に対応して正確に認識される確率とに基づいて、該候補イメージの信頼度を計算するステップ(a3)と、
    該トレーニングイメージを生成するように、該候補イメージの該信頼度が臨界値条件を満足しない場合に、該臨界値条件を満足するまで、これらのステップ(a1)~ステップ(a3)を繰り返して実行するステップ(a4)と、
    を含み、
    該ステップ(a3)の該候補イメージの該信頼度の計算は、
    第2物体認識処理を実行することによって該候補イメージにおける該ターゲットイメージの、該ターゲットカテゴリに対応して正確に認識された確率であるカテゴリ認識スコアと、該ターゲット位置に対応して正確に認識された確率である完全度認識スコアとを取得するステップ(a31)と、
    該ターゲットイメージの該カテゴリ認識スコアと該完全度認識スコアに基づいて、該候補イメージの該信頼度を計算するステップ(a32)と、
    を含み、
    該候補イメージが複数の該ターゲットイメージを含む場合、該ステップ(a4)は、該候補イメージの各該ターゲットイメージの該信頼度が該臨界値条件を満足するまで、これらのステップ(a1)~(a3)を繰り返して実行するステップを含み、
    該ステップ(a31)の該第2物体認識処理は、
    該ターゲットイメージのイメージブロックの各該ターゲットカテゴリに対応する第1確率を取得し、最高の該第1確率を有する該ターゲットカテゴリを決定し、最高の該第1確率に基づいて該カテゴリ認識スコアを計算するステップ(a311)と、
    囲が該ターゲットイメージを完全にカバーする第2確率を取得し、最高の該第2確率の該範囲に基づいて該ターゲットイメージの該ターゲット位置を決定し、最高の該第2確率に基づいて該完全度認識スコアを計算するステップ(a312)と、
    を含み、
    さらに、
    該ステップ(a4)における該信頼度が該臨界値条件を満足する場合は、
    選択された該コンテナイメージを該トレーニングイメージに置き換えるステップ(d1)と、
    表示画面において、該複数のコンテナイメージと該トレーニングイメージをスクロール表示速度で順番にスクロール表示し、スクロール表示速度はコンベヤーベルトモジュールのコンベヤーベルト情報に基づいて決定される、ステップ(d2)と、
    検証操作を受信する場合、該トレーニングイメージにおける該ターゲットデータを該表示画面に表示するステップ(d3)と、
    を含む、ことを特徴とするトレーニングイメージの自動生成方法。
  2. 該ステップ(a1)は、さらに、ターゲットイメージライブラリから該ターゲットイメージを選択することを含み、
    該ステップ(a2)は、さらに、
    該コンテナイメージにおけるオリジナル物体の物***置を検出するように、第1物体認識処理を実行するステップ(a21)と、
    位置選択ルールに基づいて、該コンテナイメージにおいて該ターゲット位置を設定するステップ(a22)と、
    イメージ変換ルールに基づいて、外形、輝度、カラー、姿勢及び配列順序のうち少なくとも1つを介して該ターゲットイメージを変換するように、イメージ変換処理を実行するステップ(a23)と、
    変換後の該ターゲットイメージを該コンテナイメージの該ターゲット位置に追加するステップ(a24)と、
    を含むことを特徴とする請求項1に記載のトレーニングイメージの自動生成方法。
  3. 該第1物体認識処理は機械学習により生成された物体検出モデルに基づいて該オリジナル物体を認識することを含み、
    該位置選択ルールは、該ターゲット位置と該物***置が少なくとも一部重なり合うことと、該ターゲット位置が該ターゲットイメージのサイズ以上であることと、該ターゲット位置が該オリジナル物体のサイズより大きいことと、のうち少なくとも1つを含み、
    該イメージ変換ルールは、該ターゲットイメージの該ターゲットカテゴリに基づいて少なくとも1つの関数を選択することと、該コンテナイメージと該ターゲットイメージとの間の差異に基づいて該少なくとも1つの関数を選択することと、該ターゲット位置と該物***置に基づいて該少なくとも1つの関数を選択することと、のうち少なくとも1つを含む、
    ことを特徴とする請求項2に記載のトレーニングイメージの自動生成方法。
  4. 該ステップ(a)は、複数のコンテナを撮影することによって該複数のコンテナイメージを順番に取得し、生成条件に基づいて、該コンテナイメージを選択することを含み、該自動生成方法は、さらに、
    該表示画面において、該コンベヤーベルト情報の該スクロール表示速度で該複数のコンテナイメージと該トレーニングイメージを順番にスクロール表示するステップ(e1)と、
    該コンベヤーベルト情報が中止に設定された場合、該表示画面のスクロールを中止させるステップ(e2)と、
    該コンベヤーベルト情報が作動に設定された場合、該表示画面を継続的にスクロールさせるステップ(e3)と、
    該検証操作を受信する場合、表示された該トレーニングイメージの該ターゲットデータを表示するステップ(e4)と、
    を含み、
    該トレーニングイメージのスクロールは、該ターゲットイメージを選択された該コンテナイメージと共に同期移動させるように、該コンベヤーベルト情報、選択された該コンテナイメージ及び該ターゲット位置に基づいて、該ターゲットイメージの表示位置を継続的に計算することを含むことを特徴とする請求項1に記載のトレーニングイメージの自動生成方法。
  5. さらに、
    該トレーニングイメージと該ターゲットデータをトレーニングイメージライブラリに記録するステップ(f)と、
    識難易度が調整された場合、該臨界値条件、該トレーニングイメージの該生成条件、
    該ターゲット位置の位置選択ルールと該ターゲットイメージのイメージ変換ルールのうち少なくとも1つを調整するステップ(g)と、のいずれか1つのステップを含むことを特徴とする請求項1に記載のトレーニングイメージの自動生成方法。
  6. トレーニングイメージの自動生成システムであって、
    複数のコンテナイメージを有するコンテナイメージソースと、
    複数のターゲットイメージを有するターゲットイメージライブラリと、
    トレーニングイメージを格納するように構成されたトレーニングイメージライブラリと、
    該コンテナイメージソースと該ターゲットイメージライブラリとトレーニングイメージライブラリとに電気的に接続された制御モジュールと、
    を含み、
    該制御モジュールは、
    生成条件に従って該コンテナイメージを1つ選択してターゲット追加処理を実行してトレーニングイメージを生成するように構成され、該ターゲット追加処理は、ターゲットイメージを、選択されたコンテナイメージに候補イメージとして追加することを含む、ターゲット追加モジュールと、
    該トレーニングイメージ及びターゲットデータを記録し、各トレーニングイメージと対応する該ターゲットデータとを該トレーニングイメージライブラリに記録するように配置され、該ターゲットデータは、ターゲットイメージのターゲットカテゴリとターゲット位置のうち少なくとも1つを含む、ターゲット記録モジュールと、
    ターゲットカテゴリに対応して正確に認識される確率とターゲット位置に対応して正確に認識される確率とに基づいて、該候補イメージの信頼度を計算するように配置される信頼度計算モジュールと、
    コンベヤーベルトモジュールのコンベヤーベルト情報を取得するように配置されるコンベヤーベルト情報取得モジュールと、
    選択された該コンテナイメージを該トレーニングイメージに置き換え、表示モジュールの表示画面において、複数のコンテナイメージと該トレーニングイメージをスクロール表示速度で順番にスクロールして表示するように配置され、入力モジュールを介して検証操作を受信する場合、該トレーニングイメージにおける該ターゲットデータを該表示画面に表示するように配置され、該スクロール表示速度は、該コンベヤーベルト情報に基づいて決定される統合表示制御モジュールと、
    を含み、
    該制御モジュールは、該トレーニングイメージを生成するように、生成された該候補イメージの該信頼度が臨界値条件を満足しない場合に、該臨界値条件を満足するまで、該ターゲット追加モジュールを介して該ターゲット追加処理を繰り返して実行するように配置され、該信頼度は該ターゲットイメージの該候補イメージにおける認識難易度に対応し、
    該制御モジュールは、第2物体認識処理を実行することによって該候補イメージの該ターゲットイメージの、該ターゲットカテゴリに対応して正確に認識された確率であるカテゴリ認識スコアと、該ターゲット位置に対応して正確に認識された確率である完全度認識スコアを取得するように配置される第2物体検出モジュール、を含み、
    該信頼度計算モジュールは、該カテゴリ認識スコアと該完全度認識スコアに基づいて、該候補イメージの該信頼度を計算するように配置され、
    該制御モジュールは、該候補イメージが複数の該ターゲットイメージを含む場合、該候補イメージの各該ターゲットイメージの該信頼度を該臨界値条件に満足させるまで、該ターゲット追加処理を繰り返して実行するように配置され、
    該第2物体検出モジュールは、該ターゲットイメージのイメージブロックの各該ターゲットカテゴリに対応する第1確率を取得し、最高の該第1確率を有する該ターゲットカテゴリを決定し、最高の該第1確率に基づいて該カテゴリ認識スコアを計算するように配置され、
    該第2物体検出モジュールは、範囲が該ターゲットイメージを完全にカバーする第2確率を取得し、最高の該第2確率の該範囲に基づいて該ターゲットイメージの該ターゲット位置を決定し、最高の該第2確率に基づいて該完全度認識スコアを計算するように配置される、ことを特徴とするトレーニングイメージの自動生成システム。
  7. 該制御モジュールは、さらに、
    該コンテナイメージのオリジナル物体の物***置を検出するように、物体検出モデルに基づいて、第1物体認識処理を実行するように配置される第1物体検出モジュールと、
    該ターゲットイメージライブラリから該ターゲットイメージを選択するように配置されるターゲット選択モジュールと、
    位置選択ルールに基づいて、該コンテナイメージにおいて該ターゲット位置を設定するように配置されるターゲット位置選択モジュールと、
    イメージ変換ルールに基づいて、外形、輝度、カラー、姿勢及び配列順序のうち少なくとも1つを介して該ターゲットイメージを変換するように、イメージ変換処理を実行するイメージ変換選択モジュールと、
    変換後の該ターゲットイメージを該コンテナイメージの該ターゲット位置に追加するイメージ生成モジュールと、
    を含み、
    該制御モジュールは、さらに、記憶モジュールから該位置選択ルール、該イメージ変換ルール、該臨界値条件及び機械学習により生成された該物体検出モデルを読み取るように配置され、
    該位置選択ルールは、該ターゲット位置と該物***置が少なくとも一部重なり合うことと、該ターゲット位置が該ターゲットイメージのサイズ以上であることと、該ターゲット位置が該オリジナル物体のサイズより大きいことと、のうち少なくとも1つを含み、
    該イメージ変換ルールは、該ターゲットイメージの該ターゲットカテゴリに基づいて少なくとも1つの関数を選択することと、該コンテナイメージと該ターゲットイメージとの間の差異に基づいて該少なくとも1つの関数を選択することと、該ターゲット位置と各該物***置に基づいて該少なくとも1つの関数を選択することと、のうち少なくとも1つを含むことを特徴とする請求項6に記載のトレーニングイメージの自動生成システム。
  8. 該制御モジュールは、さらに、イメージキャプチャ装置を介して、複数のコンテナを順番に撮影して該複数のコンテナイメージを取得し、記憶モジュールから生成条件を読み取り、該生成条件に基づいて、該コンテナイメージを選択するように配置され、
    該制御モジュールは、さらに、
    該コンベヤーベルト情報が中止に設定された場合、該表示画面のスクロールを中止させ、該コンベヤーベルト情報が作動に設定された場合、該表示画面を継続的にスクロールさせるように配置される統合表示制御モジュールを含み、
    該コンベヤーベルト情報、選択された該コンテナイメージ及び該ターゲット位置に基づいて、該ターゲットイメージの表示位置を継続的に計算し、該ターゲットイメージを選択された該コンテナイメージと共に移動させることを特徴とする請求項6に記載のトレーニングイメージの自動生成システム。
  9. 該制御モジュールは、さらに、該認識難易度が調整された場合、該臨界値条件、該トレーニングイメージの生成条件、該ターゲット位置の位置選択ルールと該ターゲットイメージのイメージ変換ルールのうち少なくとも1つを調整するように配置されることを特徴とする請求項6に記載のトレーニングイメージの自動生成システム。
  10. トレーニングイメージの自動生成方法であって、
    コンテナイメージを取得するステップ(a)と、
    ターゲットイメージを取得するステップ(b)と、
    候補イメージとするように、該ターゲットイメージを該コンテナイメージに追加するステップ(c)と、
    ターゲットイメージ上のイメージブロックに対応するターゲットカテゴリの第1確率に基づいて、最高の該第1確率を有するターゲットカテゴリを決定し、最高の該第1確率に基づいてカテゴリ認識スコアを計算し、範囲が該ターゲットイメージを完全にカバーする第2確率に基づいて、最高の該第2確率を有する該範囲を決定し最高の該第2確率を有する範囲に基づいて該ターゲットイメージターゲット位置を決定し、最高の該第2確率に基づいて完全性認識スコアを計算し、ターゲットイメージのカテゴリ認識スコアおよび完全性認識スコアに基づいて、候補イメージの信頼度を計算し、該信頼度は、候補イメージにおけるターゲットイメージの認識難易度に対応するステップ(d)と、
    該信頼度が臨界値条件を満足しない場合、トレーニングイメージを生成するように、該候補イメージの該信頼度が該臨界値条件を満足するまで、これらのステップ(b)~ステップ(d)を繰り返して実行するステップ(e)と、
    信頼度が臨界値条件を満たす場合、選択されたコンテナイメージをトレーニングイメージに置き換え、複数のコンテナイメージおよびトレーニングイメージをスクロール表示速度で表示画面上に順次スクロールして表示し、スクロール表示速度は、コンベヤーベルト情報に基づいて決定され、検証操作を受け付けると、表示画面にトレーニングイメージ内のターゲットデータが表示されるステップ(f)と、
    を含む、ことを特徴とするトレーニングイメージの自動生成方法。
JP2021155566A 2020-10-14 2021-09-24 トレーニングイメージの自動生成システム及びその方法 Active JP7357033B2 (ja)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US202063091857P 2020-10-14 2020-10-14
US63/091,857 2020-10-14
CN202011389588.6 2020-12-01
CN202011389588.6A CN114429569A (zh) 2020-10-14 2020-12-01 训练影像的自动生成***及其方法

Publications (2)

Publication Number Publication Date
JP2022064850A JP2022064850A (ja) 2022-04-26
JP7357033B2 true JP7357033B2 (ja) 2023-10-05

Family

ID=77774750

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021155566A Active JP7357033B2 (ja) 2020-10-14 2021-09-24 トレーニングイメージの自動生成システム及びその方法

Country Status (3)

Country Link
US (2) US11709913B2 (ja)
EP (1) EP3985619A1 (ja)
JP (1) JP7357033B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11900516B2 (en) * 2021-04-02 2024-02-13 Carnegie Mellon University System and method for pose tolerant feature extraction using generated pose-altered images

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020149086A (ja) 2019-03-11 2020-09-17 オムロン株式会社 学習用データ生成装置、学習用データ生成方法、および学習用データ生成プログラム
WO2020195015A1 (ja) 2019-03-27 2020-10-01 日本電気株式会社 画像処理装置、画像処理方法及びプログラムが格納された非一時的なコンピュータ可読媒体

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7505557B2 (en) * 2006-01-30 2009-03-17 Rapiscan Security Products, Inc. Method and system for certifying operators of x-ray inspection systems
US7899232B2 (en) 2006-05-11 2011-03-01 Optosecurity Inc. Method and apparatus for providing threat image projection (TIP) in a luggage screening system, and luggage screening system implementing same
EP2016532A4 (en) 2006-05-11 2011-11-16 Optosecurity Inc APPARATUS, METHOD AND SYSTEM FOR EXAMINING CONTAINERS AND PEOPLE, HAVING IMAGE DISTORTION CORRECTION FUNCTIONALITY
CN114577812A (zh) 2018-08-15 2022-06-03 心鉴智控(深圳)科技有限公司 基于超小样本训练高效质检模型的方法及***
US11670036B2 (en) * 2020-07-14 2023-06-06 Lawrence Livermore National Security, Llc System and method for identifying objects of interest in images based on likelihood map decluttering

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020149086A (ja) 2019-03-11 2020-09-17 オムロン株式会社 学習用データ生成装置、学習用データ生成方法、および学習用データ生成プログラム
WO2020195015A1 (ja) 2019-03-27 2020-10-01 日本電気株式会社 画像処理装置、画像処理方法及びプログラムが格納された非一時的なコンピュータ可読媒体

Also Published As

Publication number Publication date
US11989264B2 (en) 2024-05-21
US20220114392A1 (en) 2022-04-14
US11709913B2 (en) 2023-07-25
US20230306080A1 (en) 2023-09-28
JP2022064850A (ja) 2022-04-26
EP3985619A1 (en) 2022-04-20

Similar Documents

Publication Publication Date Title
US11595737B2 (en) Method for embedding advertisement in video and computer device
CN109508681B (zh) 生成人体关键点检测模型的方法和装置
US10740647B2 (en) Detecting objects using a weakly supervised model
US10440276B2 (en) Generating image previews based on capture information
RU2680765C1 (ru) Автоматизированное определение и обрезка неоднозначного контура документа на изображении
US9330334B2 (en) Iterative saliency map estimation
US10019823B2 (en) Combined composition and change-based models for image cropping
US11386625B2 (en) 3D graphic interaction based on scan
WO2020056903A1 (zh) 用于生成信息的方法和装置
US11704357B2 (en) Shape-based graphics search
Ip et al. Saliency-assisted navigation of very large landscape images
US11620829B2 (en) Visual matching with a messaging application
US20220101609A1 (en) Online transaction based on currency scan
US20200279355A1 (en) Previewing a content-aware fill
JP7357033B2 (ja) トレーニングイメージの自動生成システム及びその方法
US10936177B2 (en) Visual example-based user interface for adjusting photos along two dimensions
JP2004362443A (ja) パラメータ決定方式
CN112150347B (zh) 从有限的修改后图像集合中学习的图像修改样式
TWI770699B (zh) 訓練影像的自動生成系統及其方法
US20140215320A1 (en) Marker placement support apparatus, marker placement support method, and non-transitory computer readable medium
US11948248B2 (en) Three-dimensional (3D) model generation from two-dimensional (2D) images
CN117372607A (zh) 一种三维模型的生成方法、装置及电子设备

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210924

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220906

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221130

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20230221

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230614

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20230614

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20230703

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230808

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230822

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230905

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230925

R150 Certificate of patent or registration of utility model

Ref document number: 7357033

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150