JP6719457B2 - 画像の主要被写体を抽出する方法とシステム - Google Patents

画像の主要被写体を抽出する方法とシステム Download PDF

Info

Publication number
JP6719457B2
JP6719457B2 JP2017521554A JP2017521554A JP6719457B2 JP 6719457 B2 JP6719457 B2 JP 6719457B2 JP 2017521554 A JP2017521554 A JP 2017521554A JP 2017521554 A JP2017521554 A JP 2017521554A JP 6719457 B2 JP6719457 B2 JP 6719457B2
Authority
JP
Japan
Prior art keywords
image
main subject
processing target
area
processed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017521554A
Other languages
English (en)
Other versions
JP2017531883A (ja
Inventor
アン，シャン
チャン，ホンミン
リウ，ビン
チェン，グオチェン
Original Assignee
アリババ グループ ホウルディング リミテッド
アリババ グループ ホウルディング リミテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by アリババ グループ ホウルディング リミテッド, アリババ グループ ホウルディング リミテッド filed Critical アリババ グループ ホウルディング リミテッド
Publication of JP2017531883A publication Critical patent/JP2017531883A/ja
Application granted granted Critical
Publication of JP6719457B2 publication Critical patent/JP6719457B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/143—Segmentation; Edge detection involving probabilistic approaches, e.g. Markov random field [MRF] modelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Probability & Statistics with Applications (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Description

技術分野
本出願は画像処理の技術分野に関し、具体的には画像の主要被写体を抽出する方法に関する。本出願はまた、画像の主要被写体を抽出するシステムに関する。
背景
近年、技術の発展と人々の概念の遷移と共に、オンラインショッピングが徐々にショッピングの主流の１つになっている。オンラインショッピングプラットホームはうまく開発されている。このような状況下で、オンラインショッピングプラットホームは大量の製品画像を蓄積してきた。これらの製品画像を効果的に編成し、解析し、取り出し、消費者へ表示する方法が極めて重要になった。
製品画像のコンテンツは主要被写体と背景を含む。ユーザが製品の画像をアップロードし、同じまたは同様な製品を探索することを望む場合、ユーザは主として製品に関心がある。背景の存在は製品の探索結果に影響を与え得る。したがって、製品画像の主要被写体を抽出することが重要なタスクとなった。画像の主要被写体を抽出する従来の方法は手動介入に基づく。すなわち、分割領域は手動でフレーム選択および設定されなければならなく、これは低効率である。したがって、これらはインターネット上の何億もの画像には適さない。したがって、製品画像の主要被写体を自動的に抽出する方法であって画像内の特定コンテンツを正確に抽出し得る方法を設計することが要求される。
概要
一態様では、本開示は、画像の主要被写体のコンテンツの正確な判断および抽出を実現するために画像の主要被写体を抽出する方法に向けられる。本方法は、規定特徴に対応する認識対象領域が処理対象画像内に存在するかどうかを判断する工程を含み得る。本方法はまた、認識対象領域が存在する場合、処理対象画像の主要被写体を含む主要被写体領域を主要被写体領域の事前設定特徴パラメータと認識対象領域の座標および大きさとに従って判断する工程を含み得る。本方法はさらに、前景ターゲットの抽出処理のための前景画像として主要被写体領域の画像を抽出し、抽出された画像を処理対象画像の主要被写体として取得する工程を含み得る。
別の態様では、本開示は画像の主要被写体を抽出するシステムに向けられる。本システムは、規定特徴に対応する認識対象領域が処理対象画像内に存在するかどうかを判断するように構成された判断モジュールを含み得る。本システムはまた、認識対象領域が存在する場合、処理対象画像の主要被写体を含む主要被写体領域を主要被写体領域の事前設定特徴パラメータと認識対象領域の座標および大きさとに従って判断するように構成された矩形フレーム取得モジュールを含み得る。本システムはさらに、前景領域ターゲットの抽出処理のための前景画像として主要被写体領域の画像を抽出し、抽出された画像を処理対象画像の主要被写体として取得するように構成された抽出モジュールを含み得る。
本開示の実施形態の技術的解決策を通して、処理対象画像の主要被写体領域は、規定特徴に対応する認識対象領域を処理対象画像が有するかどうかに従って異なる方法によりそれぞれ取得される。事前設定アルゴリズムが主要被写体領域の画像に対し行われる。同アルゴリズムを介し抽出された前景領域に対応する画像が処理対象画像の主要被写体として使用される。したがって、抽出された主要被写体は正確でありかつ信頼でき、主要被写体の抽出は自動化される。処理効率はそれに応じて改善される。
本開示の一実施形態による、画像の主要被写体を抽出する例示的方法のフローチャートである。 本開示の一実施形態による、製品画像のスーパーピクセルセグメント化の例示的結果の概要図である。 本開示の一実施形態による、製品画像の頭−肩検出の例示的結果の概要図である。 本開示の一実施形態による、頭−肩検出に従って矩形を推定した例示的結果の概要図である。 本開示の一実施形態による、頭および肩が検出されない例示的原製品画像の概要図である。 本開示の一実施形態による、図５Ａに基づく製品の例示的重要度の概要図である。 本開示の一実施形態による、製品の例示的二値化重要度の概要図である。 本開示の一実施形態による、矩形により各ポリゴンを取り囲む概要図である。 本開示の一実施形態による、すべての矩形を取り囲む周辺矩形の概要図である。 本開示の一実施形態による、製品画像からの主要被写体抽出の例示的最終結果（頭および肩が検出された）の概要図である。 本開示の一実施形態による、製品画像からの主要被写体抽出の例示的最終結果（頭および肩が検出されない）の概要図である。 本開示の一実施形態による、主要被写体抽出の例示的有効性の概要図である。 本開示の一実施形態による、主要被写体抽出の例示的有効性の別の概要図である。 本開示の一実施形態による、主要被写体抽出の例示的有効性の別の概要図である。 本開示の一実施形態による、主要被写体抽出の例示的有効性の別の概要図である。 本開示の一実施形態による、例示的画像抽出システムの構造図である。
詳細な説明
背景技術において述べたように、既存画像抽出技術は画像抽出の効率と精度の両方を考慮し得ない。この目的のため、本開示は画像の主要被写体を抽出する方法を提案する。規定特徴に対応する認識対象領域が処理対象画像内に存在するということを判断した後、本方法は、処理対象画像の主要被写体を含む主要被写体領域を主要被写体領域の事前設定特徴パラメータと認識対象領域の座標および大きさとに従って判断する工程を含む。本方法はまた、前景ターゲットの抽出処理のための前景画像として主要被写体領域の画像を抽出する工程を含む。したがって、抽出された主要被写体は正確でありかつ信頼でき、主要被写体の抽出は自動化される。処理効率はそれに応じて改善される。
図１は、本開示の一実施形態による、画像の主要被写体を抽出する例示的方法のフローチャートである。本方法は以下の工程を含む。
Ｓ１０１：規定特徴に対応する認識対象領域が処理対象画像内に存在するかどうかを判断する。
予想される抽出対象主要被写体画像に基づき、本開示の方法は主要被写体の関連特徴を予め規定し、規定された特徴に対応する認識対象領域を検出することにより精細な抽出操作を行い得る。
大抵は、多数の原画像が存在する。効率を向上するために、本開示の方法は、処理対象画像の多数の原画像をスクリーニングする前処理機構を使用し得る。処理対象画像の数を低減するために、前処理機構は主要被写体を容易に表示するための画像を選択するために原画像が単色背景を有するかどうかを判断する工程を含み得る。したがって、この工程の前に以下の操作工程が予め行われ得る。
（ａ）処理対象画像に対しスーパーピクセルセグメント化を行い、各セグメント化スーパーピクセルブロックの平均色値を判断する。
スーパーピクセルは色、輝度およびテクスチャなどの同様な特徴を有する多くの隣接ピクセルを含む小領域である。大抵の場合、これらの領域は、さらなる画像セグメント化に役立つ情報を保持しており、画像内の物体に関するエッジ情報を壊すことはない。スーパーピクセル画像セグメント化により強エッジ無しに画像をスーパーピクセル領域にセグメント化した後、各スーパーピクセルブロックの平均色値がＬａｂ色空間などの色モデルにより推定され得る。
（ｂ）処理対象画像の単色背景のスコアを判断し、処理対象画像が単色背景を有するかどうかを単色背景のスコアに従って判断する。
前の工程において使用されたＬａｂ色に基づき、この工程は、処理対象画像の４辺におけるスーパーピクセルブロックの平均Ｌａｂ色値を一組の事前設定パラメータに従ってクラスタリングする工程を含み得る。この工程はまた、クラスタリング後により多くのデータ点を含むクラスタリング中心（clustering center）により表される色値を処理対象画像の背景色として採用する工程を含み得る。いくつかの実施形態では、この工程は処理対象画像の単色背景のスコアを判断する工程を含み得、単色背景のスコアは処理対象画像のピクセルの総数に対する背景色の色閾値を満足するスーパーピクセルブロック内に含まれるピクセルの数の比を含む。単色背景のスコアを得た後、本工程はさらに、単色背景のスコアが事前設定閾値より高いかどうかを判断する工程を含み得る。判定結果がイエスであれば、処理対象画像は単色背景を有するということが確認される。そうでなければ、工程はさらに、規定特徴に対応する認識対象領域が処理対象画像内に存在するかどうかを判断する工程を含み得る。
いくつかの実施形態では、本開示の方法は単純線形反復クラスタリング（ＳＬＩＣ：simple linear iterative clustering）方法によりスーパーピクセルセグメント化を行い得る。本方法は、画像データを初期色空間からＣＩＥＬＡＢ色空間へ変換し、正規化されたピクセルの位置を加算することにより５次元データ空間を形成する工程を含み得る。本方法はまた、グリッド距離Ｓを規定するＫクラスタリング中心Ｃｋ＝［ｌｋ，ａｋ，ｂｋ，ｘｋ，ｙｋ］Ｔを選択する工程を含み得る。本方法はさらに、クラスタリング中心周囲の２Ｓ×２Ｓ範囲内の各データ点からクラスタリング中心までの距離を計算し、各データ点を最近接クラスタにグループ化する工程を含み得る。
上記処理において、距離Ｄｓの計算式は次の通りである：
Figure 0006719457
ここでｍは近さ係数（closeness factor）である。この例では、スーパーピクセルの数は２００として設定され、近さ係数は１０として設定される。製品画像は約２００個のスーパーピクセルブロックにセグメント化され得る。図２は、製品画像のスーパーピクセルセグメント化の例示的結果の概要図である。
その後、各スーパーピクセルブロックの平均Ｌａｂ色値は以下のように計算される：
Figure 0006719457
画像の背景色（ＬＢ，ａＢ，ｂＢ）として、より多くのデータ点を含むクラスタリング中心により表される色値を得るために、画像の４辺近傍のそれらスーパーピクセルブロックの平均Ｌａｂ色値が選択され、ｋ平均クラスタリング（k-means clustering）によりクラスタ化される。ここでｋ＝２、データ次元は３である。
下記式に適合するスーパーピクセルブロック内に含まれるピクセルの数が計算される。
Figure 0006719457
ここでθは事前設定色閾値である。スーパーピクセルブロックの平均色値から画像の背景色までの距離がθより短ければ、スーパーピクセルブロックの色は画像の背景色と同じであると判断される。閾値はこの例では１００として設定される。
最後に、画像の単色背景のスコアが以下のように計算される：
ｐｒ＝ｐθ／Ｐａｌｌ （６）
ここでＰａｌｌは画像のピクセルの総数である。実験によると、単色背景のスコアが０．３より大きければ製品画像は単色背景を有する。単色背景を有する場合、製品画像の主要被写体を抽出する必要は無い。
Ｌａｂ色空間とクラスタリングとにより単色背景のスコアを取得することは本開示内の実施形態方法のうちの１つにすぎないということに注意すべきである。上記処理後、技術者により規定される規定特徴に従って認識が行われ得る。この工程は次の通りである：
Ａ１：規定特徴に対応する認識対象領域が処理対象画像内に存在するかどうかを判断する。同領域が存在すれば、工程Ｂ１へ移る。同領域が存在しなければ、処理は終了される。
Ｂ１：処理対象画像内の規定特徴に対応する領域に対しプロファイル検出を行い、検出された領域を、同領域が規定特徴に対応する認識対象領域かどうかを確認するために、規定特徴に対応するパラメータ化外観モデル（parameterization appearance model）に従って検証する。
ほとんどのアプリケーションシナリオでは、人を含む画像からの衣料品の主要被写体抽出が最も重要である。したがって、本開示の一実施形態によると、関連する人間の頭−肩領域が例示的規定特徴として取られる。人間の顔特徴に対応する処理対象画像の領域が人間の頭−肩領域内に存在するかどうかを判断した後、本工程は、処理対象画像内の人間の頭および肩の領域に対応する領域を、上半身検出アルゴリズムと頭−肩プロファイル検出器とにより検出する工程を含み得る。本工程はさらに、領域が人間の頭−肩領域に対応する認識対象領域かどうかを確認するために、検出された領域を頭−肩外観モデルに従って検証する工程を含み得る。
いくつかの実施形態では、上記工程における頭−肩プロファイル検出は、配向勾配ヒストグラム（ＨｏＧ：histogram of oriented gradients）特徴と組み合わせた適応型ブースティング（ＡｄａＢｏｏｓｔ：adaptive boosting）アルゴリズムによるトレーニングにより取得され得る。頭−肩外観モデルはデプスネットワークモデル（depth network model）に従って確立され得る。重要度検出は色空間分布（color space distribution）方法と組み合わせたグローバルユニークネス（global uniqueness）方法に基づき行われ得る。当業者はこれらの実施形態に基づき他のアルゴリズムまたは最適化モデルを採用し得、これらのすべては本開示の範囲に含まれる。
いくつかの実施形態では、本開示の方法は衣料品の製品画像処理に適用され得る。例えば、本方法はトレーニングデータセットとして女性のドレスの画像を使用する工程を含み得る。本方法はまた、顔検出アルゴリズムに基づき女性のドレスの画像内の顔を検出する工程を含み得る。本方法は、単一顔が検出される画像内の上半身の頭、首、左肩および右肩の位置を上半身検出法により検出する工程を含み得る。いくつかの要件によると、誤って検出された画像は手動で除去され得る。本方法はさらに、ＨｏＧ特徴と組み合わせたＡｄａＢｏｏｓｔアルゴリズムにより頭−肩検出器をトレーニングする工程を含み得る。顔検出において使用されるハール特徴（Haar feature）と比較して、ＨｏＧ特徴は、プロファイル記述方向により偏っており、頭−肩検出にとってより好ましい。いくつかの実施形態では、本方法は、５Ｗ個の肯定的サンプルと５Ｗ個の否定的サンプルにより１３クラスＡｄａＢｏｏｓｔ分類器（13-class AdaBoost classifier）をトレーニングすることにより高い検出率と低い誤警報率とを実現し得る。
ＨｏＧ特徴はターゲット物体のプロファイルの外観に密接に従うだけであるので、頭−肩プロファイルに似たプロファイルがＡｄａＢｏｏｓｔ検出器を使用することにより検出される場合、相当数の誤警報が発生する。誤警報を低減するために、本方法はさらに、デプスネットワークモデルに従って頭−肩外観モデルを使用する工程を含み得る。したがって、本方法はさらに、ＡｄａＢｏｏｓｔ検出の結果をターゲットの外観特徴に従って検証し得る。いくつかの実施形態では、これら２つの組み合わせは検出率を著しく低減することなく誤警報率を著しく低減する。図３は、製品画像の頭−肩検出の例示的結果の概要図である。
Ｓ１０２：認識対象領域が存在する場合に、処理対象画像の主要被写体を含む主要被写体領域を主要被写体領域の事前設定特徴パラメータと認識対象領域の座標および大きさとに従って判断する。
規定特徴に対応する認識対象領域が処理対象画像内に存在すると工程Ｓ１０１において判断した後、本方法は、アルゴリズムの実行時間を節約するために、頭および肩が検出される画像について、主要被写体領域の事前設定特徴パラメータに従って、人体の領域を取り囲む矩形フレームを推定する工程を含み得る。事前設定パラメータは、事前推定有効性を実現するために、以前の実験的統計値に従って柔軟に設定され得る。異なる値は、本開示の範囲に影響を与えない。
いくつかの実施形態では、本方法は、工程Ｓ１０１において頭−肩フレーム上の左上頂点の座標（ＲｅｃｔＸ，ＲｅｃｔＹ）と辺の長さ（Length）とを得る工程を含み得る。人間の頭および肩を含む大量の衣料製品画像による実験により、人体の領域を取り囲む矩形フレームの最も好適なパラメータが推定され得る。図４は、頭−肩検出に従って矩形を推定した例示的結果の概要図である。矩形フレームのパラメータは以下のように設定される：
左上頂点のｘ座標＝ＲｅｃｔＸ−０．５＊Length （７）
左上頂点のｙ座標＝ＲｅｃｔＹ＋０．７＊Length （８）
矩形フレームの幅＝Length＊２ （９）
矩形フレームの高さ＝Length＊１０ （１０）
規定特徴に対応する認識対象領域が存在しないということが工程Ｓ１０１において判断された場合、本方法はさらに、処理対象画像に対し重要度（significance）検出を行い、検出後に処理対象画像内の各ピクセルの重要度値に従って処理対象画像の主要被写体領域を判断する工程を含み得る。
いくつかの実施形態では、重要度値により主要被写体領域を判断する工程は以下の工程を含み得る。
（ａ）重要度値を含む重要度マップに対し二値化処理を行う。
（ｂ）二値化された画像内の小さな色ブロックに対しクリーンアップ処理を行う。
（ｃ）クリーンアップ処理を行った後に画像内の各色ブロックのプロファイル線を探索し、各色ブロックのプロファイル線をポリゴンにより近似する。
（ｄ）矩形により各ポリゴンを取り囲み、すべての矩形を取り囲む周辺矩形フレーム（peripheral rectangle frame）を主要被写体領域として取得する。
製品画像内の各ピクセルの重要度値を検出するための多くの方法が存在するということに留意されたい。本方法の上記説明は、色空間分布方法と組み合わせたグローバルユニークネス方法に従って製品画像に対し重要度検出を行う例である。本開示はこれに対しいかなる制限も課さない。当業者はまた、上記工程を参照して主要被写体領域の認識を実施するヒストグラムコントラスト（ＨＣ：histogram contrast）に基づく方法、領域コントラスト（ＲＣ：region contrast）に基づく方法、文脈認識（ＣＡ：context awareness）方法、および頻度調節（ＦＴ：frequency tuned）方法を含む他の別の方法を使用し得る。これらはすべて本開示の範囲に入る。
いくつかの実施形態では、製品画像に対し重要度検出を行うために、色空間分布方法と組み合わせたグローバルユニークネス方法が採用され得る。最初に、本方法は、画像色をクラスタ化し、ガウス混合モデル（ＧＭＭ：Gaussian mixture model）によりそれらを表す工程を含む。各ピクセルの色Ｉｓは複数のＧＭＭ成分の重み付け組み合わせにより表される。ある成分ｃの確率は次の通りである：
Figure 0006719457
２つのＧＭＭ成分ｃｉ、ｃｊの相関は次のように示される：
Figure 0006719457
グローバルユニークネス方法では、グローバル成分ｃｉは他のすべての成分に対する重み付け色コントラストとして表される：
Figure 0006719457
ここでＤ（ｃｉ，ｃｊ）は２つのＧＭＭ成分ｃｉ、ｃｊの中心間の空間的距離である。
色空間分布方法は、クラスタ成分Ｃの水平方向空間的分散を計算する工程を含む：
Figure 0006719457
ここでｘｈはピクセルｘのｘ座標である。
クラスタ成分Ｃの空間的分散は：
Ｖ（Ｃ）＝Ｖｈ（Ｃ）＋Ｖｖ（Ｃ） （１７）
垂直方向空間的分散Ｖｖ（Ｃ）の定義は水平方向空間的分散Ｖｈ（Ｃ）のものと類似している。色空間分布の値は：
Ｓ（Ｃ）＝（１−Ｖ（Ｃ））×（１−Ｄ（Ｃ）） （１８）
ここで、
Ｄ（Ｃ）＝Σｘｐ（Ｃ│Ｉｘ）ｄｘ
図５Ａは、頭および肩が検出されない例示的原製品画像の概要図である。図５Ｂは、図５Ａに基づく製品の例示的重要度の概要図である。
いくつかの実施形態では、頭、肩が検出されない画像に関し、本方法は上記工程により画像の重要度値を検出する工程を含み得る。本方法はまた、０．１に設定される二値化閾値により重要度マップを構成するために製品画像の重要度値を二値化する工程を含み得る。本方法はさらに、すべての色ブロックのプロファイルと二値化画像内の取り囲み領域の面積とを取得し、閾値より小さい領域を除去する工程を含み得る。閾値は二値化画像内の小さい色ブロックを除去するために５０００に設定される。加えて、本方法は、画像内のすべての残り色ブロックのプロファイル線を探索し、各色ブロックのプロファイル線をポリゴンにより近似する工程を含み得る。さらに、本方法は、矩形により各ポリゴンを取り囲み、すべての矩形を取り囲む周辺矩形フレームを主要被写体領域として取得する工程を含み得る。図６Ａ、６Ｂ、６Ｃはそれぞれ、画像の例示的二値化重要度、各ポリゴンを矩形により取り囲む例、すべての矩形を周辺矩形により取り囲む例の概要図である。
Ｓ１０３：前景ターゲットの抽出処理のための前景画像として主要被写体領域の画像を抽出し、抽出された画像を処理対象画像の主要被写体として取得する。
主要被写体領域をより正確にするために、この工程の前に、本開示の方法は、主要被写体画像の最適化機構を含み得る。最適化機構の工程は次の通りである：
（ａ）各スーパーピクセルブロックの平均重要度値が事前設定閾値より連続的に高いかどうかを判断する。
（ｂ）スーパーピクセルブロックの平均重要度値が事前設定閾値より高い場合、スーパーピクセルブロック内の各ピクセルの画像マスク値を非零として設定する。
（ｃ）非零画像マスク値のピクセルを取り囲む周辺矩形フレームを使用することにより主要被写体領域を更新する。
上記処理後、得られた主要被写体領域はより正確でありかつより信頼できる。主要被写体領域を判断した後、本方法は主要被写体領域の画像を前景画像として設定し、ＧｒａｂＣｕｔアルゴリズムを初期化する工程を含み得る。ＧｒａｂＣｕｔアルゴリズムは、複雑な背景から前景ターゲットを抽出するための効果的双方向セグメント化アルゴリズムである。本アルゴリズムは、ピクセル分布を記述するためにガウス混合モデルを使用し、反復推定方法によりエネルギー最小化を実現する。これは今日の優秀かつ実用可能なアルゴリズムのうちの１つである。したがって、本開示の方法は、処理対象画像の主要被写体を得るためにＧｒａｂＣｕｔアルゴリズムを前景画像に対し行う工程を含む。しかし、これは唯一の方法ではない。当業者は、本開示の方法に基づき、主要被写体を得るために他の抽出アルゴリズムを利用し得る。それらの実施形態は本開示の範囲内である。
いくつかの実施形態では、本開示の方法はこの工程において製品画像に対しスーパーピクセルセグメント化を行う工程を含み得る。スーパーピクセルセグメント化は単純線形反復クラスタリング（ＳＬＩＣ：simple linear iterative clustering）方法により実施され得る。製品画像は、スーパーピクセルの数を２０にそして近さ係数を１０に設定することにより２０個のスーパーピクセルブロックにセグメント化され得る。本方法はまた、各スーパーピクセルブロック内のすべてのピクセルの平均重要度値を判断する工程を含み得る。本方法はまた、スーパーピクセルブロックの平均重要度値が事前設定閾値より高い場合にスーパーピクセルブロック内の各ピクセルの画像マスク値を非零となるように設定する工程を含み得る。閾値はこの例では０．６として設定される。加えて、本方法は非零画像マスク値のピクセルを取り囲む周辺矩形フレームを得る工程を含み得る。さらに、本方法は、矩形フレーム内の画像を前景画像として設定し、矩形フレームの外の画像を背景画像として設定し、ＧｒａｂＣｕｔアルゴリズムを初期化する工程を含み得る。ＧｒａｂＣｕｔアルゴリズムは、ガウス混合モデルを使用し、セグメント化推定の連続的相互繰り返しとモデルパラメータの学習とにより画像セグメント化を実施する。本方法はＧｒａｂＣｕｔアルゴリズムから得られた前景画像を製品の主要被写体として設定する工程を含み得る。図７Ａと図７Ｂは製品画像からの主要被写体抽出の例示的最終結果の概要図であり、図７Ａでは頭および肩が検出され、図７Ｂでは検出されない。図８、９、１０、１１はそれぞれ主要被写体抽出の例示的な有効性の概要図である。
別の態様では、本開示は、画像の主要被写体を抽出する方法に対応する画像の主要被写体を抽出するシステムに関する。図１２は例示的画像抽出システムの構造図である。本システムは次のものを含み得る：
規定特徴に対応する認識対象領域が処理対象画像内に存在するかどうかを判断するように構成された判断モジュール１２０１；
認識対象領域が存在する場合に、処理対象画像の主要被写体を含む主要被写体領域を主要被写体領域の事前設定特徴パラメータと認識対象領域の座標および大きさとに従って判断するように構成された矩形フレーム取得モジュール１２０２；
前景領域ターゲットの抽出処理のための前景画像として主要被写体領域の画像を抽出し、抽出された画像を処理対象画像の主要被写体として取得するように構成された抽出モジュール１２０３。
いくつかの実施形態では、本システムはまた、次のものを含み得る：
処理対象画像に対してスーパーピクセルセグメント化を行い、各セグメント化スーパーピクセルブロックの平均色値を判断するように構成されたセグメント化モジュール；
各スーパーピクセルブロックの平均色値に従って処理対象画像の背景色を判断するように構成された背景色モジュール；
処理対象画像の単色背景のスコアを判断し、処理対象画像が単色背景を有するかどうかを単色背景のスコアに従って判断するように構成された単色判断モジュール。単色背景のスコアは、処理対象画像のピクセルの総数に対する背景色の色閾値を満足するスーパーピクセルブロック内に含まれるピクセルの数の比を含む。
いくつかの実施形態では、判断モジュールは次のものを含み得る：
規定特徴に対応する領域が処理対象画像内に存在するかどうかを検出するように構成された検出サブモジュール；
規定特徴に対応する領域が存在するということを検出サブモジュールが検出すると処理対象画像内の規定特徴に対応する領域に対しプロファイル検出を行い、領域が規定特徴に対応する認識対象領域かどうかを確認するために、検出された領域を規定特徴に対応するパラメータ化外観モデルに従って検証するように構成された確認サブモジュール。
いくつかの実施形態では、規定特徴は人間の頭および肩の領域を含み得る。確認サブモジュールは、処理対象画像内の人間の頭および肩の領域に対応する領域を、上半身検出アルゴリズムと頭−肩プロファイル検出器とにより検出し、検出された領域を頭−肩外観モデルに従って検証するように構成され得る。
いくつかの実施形態では、頭−肩プロファイル検出器は、ＨｏＧ特徴と組み合わせたＡｄａＢｏｏｓｔアルゴリズムによりトレーニングすることにより得られ得る。頭−肩外観モデルはデプスネットワークモデルに従って確立され得る。
いくつかの実施形態では、本システムはさらに、認識対象領域が存在しない場合に処理対象画像に対して重要度検出を行い、検出後に処理対象画像内の各ピクセルの重要度値に従って処理対象画像の主要被写体領域を判断するように構成された重要度検出モジュールを含み得る。
いくつかの実施形態では、重要度検出モジュールは、重要度値を含む重要度マップに対して二値化処理を行い、二値化画像内の１つまたは複数のより小さい色ブロックに対してクリーンアップ処理を行うように構成され得る。重要度検出モジュールはまた、クリーンアップ処理を行った後に画像内の各色ブロックのプロファイル線を探索し、各色ブロックのプロファイル線をポリゴンにより近似し得る。重要度検出モジュールはさらに、矩形により各ポリゴンを取り囲み、すべての矩形を取り囲む周辺矩形フレームを主要被写体領域として取得するように構成され得る。
いくつかの実施形態では、本システムはさらに、処理対象画像に対してスーパーピクセルセグメント化を行い、各スーパーピクセルブロック内のすべてのピクセルの平均重要度値を判断するように構成された矩形フレーム更新モジュールを含み得る。矩形フレーム更新モジュールはまた、各スーパーピクセルブロックの平均重要度値が事前設定閾値より連続的に高いかどうかを判断し、スーパーピクセルブロックの平均重要度値が事前設定閾値より高い場合にスーパーピクセルブロック内の各ピクセルの画像マスク値を非零として設定するように構成され得る。矩形フレーム更新モジュールはさらに、非零画像マスク値のピクセルを取り囲む周辺矩形フレームを使用することにより主要被写体領域を更新するように構成され得る。
いくつかの実施形態では、抽出モジュールは、主要被写体領域の画像を前景画像として設定し、ＧｒａｂＣｕｔアルゴリズムを初期化するように構成され得る。抽出モジュールはまた、前景画像に対してＧｒａｂＣｕｔアルゴリズムを行うように構成され得る。
本開示の技術的解決策において、処理対象画像の主要被写体領域は、規定特徴に対応する認識対象領域が処理対象画像内に存在するかどうかに従って異なる方法を使用することにより取得される。事前設定アルゴリズムは主要被写体領域の画像に対し行われる。このアルゴリズムを介し抽出された前景領域に対応する画像は、処理対象画像の主要被写体として使用される。したがって、抽出された主要被写体は、主要被写体の自動画像抽出により正確でありかつ信頼できる。したがって、処理効率は改善される。
上記実施形態の説明から、当業者は、本開示の方法およびシステムがハードウェアにより実現され得ると理解し得る。本開示の方法およびシステムはまた、ソフトウェア＋必要汎用ハードウェアプラットフォームにより実現され得る。本開示の技術的解決策はソフトウェア製品として実現され得る。ソフトウェア製品は不揮発性記憶媒体（ＣＤ−ＲＯＭ、フラッシュドライブ、ポータブルハードディスク等々であり得る）内に格納され得る。ソフトウェア製品は、コンピュータ装置（パーソナルコンピュータ、サーバまたはネットワーク装置であり得る）に本開示の様々な実施形態における方法を実行させる命令を含み得る。
添付図面は好ましいシナリオおよび実施形態の概要図にすぎないということが当業者により理解される。添付図面内のモジュールまたは手順は本開示の実施形態に必要とされてもされなくてもよい。
装置ユニットのこれらのモジュールは実施形態シナリオの記述に従って装置ユニット内に配備され得るということが当業者により理解される。これらはまた、説明したシナリオ内のものとは異なる１つまたは複数の装置ユニット内に配備され得る。説明したシナリオを実施するための上記モジュール群は１モジュールとして組み合わされ得る。これらはまた、複数のサブモジュールに分割され得る。
本開示の上記実施形態の順番は、単に例示のためであり、実施形態およびシナリオの品質を表わさない。
これまでの説明は本開示のいくつかの実施形態およびシナリオを単に開示する。しかし、本開示はこれらに限定されない。当業者が持ち出し得る変形形態はすべて本開示の範囲内に入るものとする。

Claims (19)

  1. 画像の主要被写体を抽出する方法であって、
    規定特徴に対応する認識対象領域が処理対象画像内に存在するかどうかを判断することと、
    前記認識対象領域が存在する場合に、前記処理対象画像の前記主要被写体を含む主要被写体領域を前記主要被写体領域の事前設定特徴パラメータと前記認識対象領域の座標および大きさとに従って判断することと、
    前景ターゲットの抽出処理のための前景画像として前記主要被写体領域の画像を抽出することであって、前記抽出画像は前記処理対象画像の前記主要被写体として処理される、抽出することと、を含み、
    前記規定特徴に対応する前記認識対象領域が前記処理対象画像内に存在するかどうかを判断する前に、さらに、
    前記処理対象画像に対してスーパーピクセルセグメント化を行うことと、
    各セグメント化スーパーピクセルブロックの平均色値を判断することと、
    各スーパーピクセルブロックの前記平均色値に従って前記処理対象画像の背景色を判断することと、
    前記処理対象画像の単色背景のスコアを判断することと、
    前記処理対象画像が単色背景を有するかどうかを前記単色背景の前記スコアに従って判断することと、を含み、
    前記単色背景の前記スコアは、前記処理対象画像のピクセルの総数に対する前記背景色の色閾値を満足するスーパーピクセルブロック内に含まれるピクセルの数の比を含む、方法。
  2. 前記規定特徴に対応する前記認識対象領域が前記処理対象画像内に存在するかどうかを判断することは、
    前記規定特徴に対応する領域が前記処理対象画像内に存在するかどうかを検出することと、
    前記領域が存在する場合に、前記処理対象画像内の前記規定特徴に対応する前記領域に対してプロファイル検出を行うことと、
    前記領域が前記規定特徴に対応する前記認識対象領域かどうかを確認するために、検出された領域を前記規定特徴に対応するパラメータ化外観モデルに従って検証することと
    を含む、請求項１に記載の方法。
  3. 前記規定特徴は人間の頭および肩の領域を含み、
    前記処理対象画像内の前記規定特徴に対応する前記領域に対し前記プロファイル検出を行うことは、前記処理対象画像内の前記人間の頭および肩の前記領域に対応する領域を上半身検出アルゴリズムと頭−肩プロファイル検出器とにより検出することを含み
    前記検出された領域を前記規定特徴に対応するパラメータ化外観モデルに従い検証することは、前記検出された領域を頭−肩外観モデルに従って検証することを含む、請求項２に記載の方法。
  4. 前記頭−肩プロファイル検出器はＨｏＧ特徴と組み合わせたＡｄａＢｏｏｓｔアルゴリズムによりトレーニングすることにより得られ、前記頭−肩外観モデルはデプスネットワークモデルに従って確立される、請求項３に記載の方法。
  5. 前記認識対象領域が存在しないという前記判断に応じて、前記処理対象画像に対し重要度検出を行い、前記検出後に前記処理対象画像内の各ピクセルの重要度値に従って前記処理対象画像の前記主要被写体領域を判断することをさらに含む、請求項１に記載の方法。
  6. 画像の主要被写体を抽出する方法であって、
    規定特徴に対応する認識対象領域が処理対象画像内に存在するかどうかを判断することと、
    前記認識対象領域が存在する場合に、前記処理対象画像の前記主要被写体を含む主要被写体領域を前記主要被写体領域の事前設定特徴パラメータと前記認識対象領域の座標および大きさとに従って判断することと、
    前景ターゲットの抽出処理のための前景画像として前記主要被写体領域の画像を抽出することであって、前記抽出画像は前記処理対象画像の前記主要被写体として処理される、抽出することと、を含み、
    前記認識対象領域が存在しないという前記判断に応じて、前記処理対象画像に対し重要度検出を行い、前記検出後に前記処理対象画像内の各ピクセルの重要度値に従って前記処理対象画像の前記主要被写体領域を判断することをさらに含み、
    前記検出後に前記処理対象画像内の各ピクセルの前記重要度値に従って前記処理対象画像の前記主要被写体領域を判断することは、
    前記重要度値を含む重要度マップに対して二値化処理を行うことと、
    前記二値化画像内の１つまたは複数のより小さい色ブロックに対してクリーンアップ処理を行うことと、
    前記クリーンアップ処理を行った後に前記画像内の各色ブロックのプロファイル線を探索し、各色ブロックの前記プロファイル線をポリゴンにより近似することと、
    矩形により各ポリゴンを取り囲み、すべての矩形を取り囲む周辺矩形フレームを前記主要被写体領域として取得することと、を含む、方法。
  7. 画像の主要被写体を抽出する方法であって、
    規定特徴に対応する認識対象領域が処理対象画像内に存在するかどうかを判断することと、
    前記認識対象領域が存在する場合に、前記処理対象画像の前記主要被写体を含む主要被写体領域を前記主要被写体領域の事前設定特徴パラメータと前記認識対象領域の座標および大きさとに従って判断することと、
    前景ターゲットの抽出処理のための前景画像として前記主要被写体領域の画像を抽出することであって、前記抽出画像は前記処理対象画像の前記主要被写体として処理される、抽出することと、を含み、
    前記前景ターゲットの前記抽出処理のための前記前景画像として前記主要被写体領域の前記画像を抽出する前に、さらに、
    前記処理対象画像に対してスーパーピクセルセグメント化を行い、各スーパーピクセルブロック内のすべてのピクセルの平均重要度値を判断することと、
    各スーパーピクセルブロックの前記平均重要度値が事前設定閾値より連続的に高いかどうかを判断することと、
    スーパーピクセルブロックの前記平均重要度値が前記事前設定閾値より高い場合に前記スーパーピクセルブロック内の各ピクセルの画像マスク値を非零となるように設定することと、
    非零画像マスク値の前記ピクセルを取り囲む周辺矩形フレームを使用することにより前記主要被写体領域を更新することと、を含む、方法。
  8. 前記前景ターゲットの前記抽出処理のための前記前景画像として前記主要被写体領域の前記画像を抽出することは、前記前景画像として前記主要被写体領域の前記画像を設定することと、前記前景画像に対してＧｒａｂＣｕｔアルゴリズムを行うこととを含む、請求項１〜７のいずれか１項に記載の方法。
  9. 画像の主要被写体を抽出するシステムであって、
    規定特徴に対応する認識対象領域が処理対象画像内に存在するかどうかを判断するために使用される判断モジュールと、
    前記認識対象領域が存在する場合、前記処理対象画像の前記主要被写体を含む主要被写体領域を前記主要被写体領域の事前設定特徴パラメータおよび前記認識対象領域の座標と大きさとに従って判断するために使用される矩形フレーム取得モジュールと、
    前景領域ターゲットの抽出処理のための前景画像として前記主要被写体領域の画像を抽出し、前記抽出画像を前記処理対象画像の前記主要被写体として取得するために使用される抽出モジュールと、を含み、
    前記処理対象画像に対してスーパーピクセルセグメント化を行い、各セグメント化スーパーピクセルブロックの平均色値を判断するために使用されるセグメント化モジュールと、
    各スーパーピクセルブロックの前記平均色値に従って前記処理対象画像の背景色を判断するために使用される背景色モジュールと、
    前記処理対象画像の単色背景のスコアを判断し、前記処理対象画像が単色背景を有するかどうかを前記単色背景の前記スコアに従って判断するために使用される単色判断モジュールと、をさらに含み、
    前記単色背景の前記スコアは、前記処理対象画像のピクセルの総数に対する前記背景色の色閾値を満足するスーパーピクセルブロック内に含まれるピクセルの数の比を含む、システム。
  10. 前記判断モジュールは、
    前記規定特徴に対応する領域が前記処理対象画像内かどうかを検出するために使用される検出サブモジュールと、
    前記規定特徴に対応する領域が存在するということを前記検出サブモジュールが検出すると前記処理対象画像内の前記規定特徴に対応する前記領域に対しプロファイル検出を行い、前記領域が前記規定特徴に対応する前記認識対象領域かどうかを確認するために、検出された領域を、前記規定特徴に対応するパラメータ化外観モデルに従って検証するために使用される確認サブモジュール、とを含む、請求項９に記載のシステム。
  11. 前記規定特徴は人間の頭および肩の領域を含み、
    前記確認サブモジュールは、前記処理対象画像内の前記人間の頭および肩の前記領域に対応する領域を上半身検出アルゴリズムと頭−肩プロファイル検出器とにより検出し、前記検出された領域を頭−肩外観モデルに従って検証するために使用される、請求項１０に記載のシステム。
  12. 前記頭−肩プロファイル検出器はＨｏＧ特徴と組み合わせたＡｄａＢｏｏｓｔアルゴリズムによりトレーニングすることにより得られ、前記頭−肩外観モデルはデプスネットワークモデルに従って確立される、請求項１１に記載のシステム。
  13. 前記認識対象領域が存在しないという前記判断に応じて、前記処理対象画像に対して重要度検出を行い、前記検出後に前記処理対象画像内の各ピクセルの重要度値に従って前記処理対象画像の前記主要被写体領域を判断するために使用される重要度検出モジュールをさらに含む、請求項９に記載のシステム。
  14. 画像の主要被写体を抽出するシステムであって、
    規定特徴に対応する認識対象領域が処理対象画像内に存在するかどうかを判断するために使用される判断モジュールと、
    前記認識対象領域が存在する場合、前記処理対象画像の前記主要被写体を含む主要被写体領域を前記主要被写体領域の事前設定特徴パラメータおよび前記認識対象領域の座標と大きさとに従って判断するために使用される矩形フレーム取得モジュールと、
    前景領域ターゲットの抽出処理のための前景画像として前記主要被写体領域の画像を抽出し、前記抽出画像を前記処理対象画像の前記主要被写体として取得するために使用される抽出モジュールと、を含み、
    前記認識対象領域が存在しないという前記判断に応じて、前記処理対象画像に対して重要度検出を行い、前記検出後に前記処理対象画像内の各ピクセルの重要度値に従って前記処理対象画像の前記主要被写体領域を判断するために使用される重要度検出モジュールをさらに含み、
    前記重要度検出モジュールは、
    前記重要度値を含む重要度マップに対して二値化処理を行い、
    二値化画像内の１つまたは複数のより小さい色ブロックに対してクリーンアップ処理を行い、
    前記クリーンアップ処理を行った後に前記画像内の各色ブロックのプロファイル線を探索し、ポリゴンにより前記各色ブロックの前記プロファイル線を近似し、
    矩形により各ポリゴンを取り囲み、すべての矩形を取り囲む周辺矩形フレームを前記主要被写体領域として取得するために使用される、システム。
  15. 画像の主要被写体を抽出するシステムであって、
    規定特徴に対応する認識対象領域が処理対象画像内に存在するかどうかを判断するために使用される判断モジュールと、
    前記認識対象領域が存在する場合、前記処理対象画像の前記主要被写体を含む主要被写体領域を前記主要被写体領域の事前設定特徴パラメータおよび前記認識対象領域の座標と大きさとに従って判断するために使用される矩形フレーム取得モジュールと、
    前景領域ターゲットの抽出処理のための前景画像として前記主要被写体領域の画像を抽出し、前記抽出画像を前記処理対象画像の前記主要被写体として取得するために使用される抽出モジュールと、を含み、
    前記処理対象画像に対してスーパーピクセルセグメント化を行い、各スーパーピクセルブロック内のすべてのピクセルの平均重要度値を判断し、
    各スーパーピクセルブロックの前記平均重要度値が事前設定閾値より連続的に高いかどうかを判断し、
    スーパーピクセルブロックの前記平均重要度値が前記事前設定閾値より高い場合に前記スーパーピクセルブロック内の各ピクセルの画像マスク値を非零として設定し、
    非零画像マスク値の前記ピクセルを取り囲む周辺矩形フレームを使用することにより前記主要被写体領域を更新するために使用される、矩形フレーム更新モジュールをさらに含む、システム。
  16. 前記抽出モジュールは、前記前景画像として前記主要被写体領域の前記画像を設定し、前記前景画像に対してＧｒａｂＣｕｔアルゴリズムを行うために使用される、請求項９〜１５のいずれか１項に記載のシステム。
  17. 命令のセットを格納する非一時的コンピュータ可読媒体であって、前記命令のセットは、装置に画像の主要被写体を抽出する方法を行わせるように、前記装置の少なくとも一つのプロセッサによって実行可能であり、前記方法が、
    規定特徴に対応する認識対象領域が処理対象画像内に存在するかどうかを判断することと、
    前記認識対象領域が存在する場合に、前記処理対象画像の前記主要被写体を含む主要被写体領域を前記主要被写体領域の事前設定特徴パラメータと前記認識対象領域の座標および大きさとに従って判断することと、
    前景ターゲットの抽出処理のための前景画像として前記主要被写体領域の画像を抽出することであって、前記抽出画像は前記処理対象画像の前記主要被写体として処理される、抽出することと、を含み、
    前記規定特徴に対応する前記認識対象領域が前記処理対象画像内に存在するかどうかを判断する前に、さらに、
    前記処理対象画像に対してスーパーピクセルセグメント化を行うことと、
    各セグメント化スーパーピクセルブロックの平均色値を判断することと、
    各スーパーピクセルブロックの前記平均色値に従って前記処理対象画像の背景色を判断することと、
    前記処理対象画像の単色背景のスコアを判断することと、
    前記処理対象画像が単色背景を有するかどうかを前記単色背景の前記スコアに従って判断することと、を含み、
    前記単色背景の前記スコアは、前記処理対象画像のピクセルの総数に対する前記背景色の色閾値を満足するスーパーピクセルブロック内に含まれるピクセルの数の比を含む、
    非一時的コンピュータ可読媒体。
  18. 命令のセットを格納する非一時的コンピュータ可読媒体であって、前記命令のセットは、装置に画像の主要被写体を抽出する方法を行わせるように、前記装置の少なくとも一つのプロセッサによって実行可能であり、前記方法が、
    規定特徴に対応する認識対象領域が処理対象画像内に存在するかどうかを判断することと、
    前記認識対象領域が存在する場合に、前記処理対象画像の前記主要被写体を含む主要被写体領域を前記主要被写体領域の事前設定特徴パラメータと前記認識対象領域の座標および大きさとに従って判断することと、
    前景ターゲットの抽出処理のための前景画像として前記主要被写体領域の画像を抽出することであって、前記抽出画像は前記処理対象画像の前記主要被写体として処理される、抽出することと、を含み、
    前記命令のセットは、前記装置に、
    前記認識対象領域が存在しないという前記判断に応じて、前記処理対象画像に対し重要度検出を行い、前記検出後に前記処理対象画像内の各ピクセルの重要度値に従って前記処理対象画像の前記主要被写体領域を判断すること
    を更に行わせるように、前記装置の前記少なくとも一つのプロセッサによって実行可能であり、
    前記検出後に前記処理対象画像内の各ピクセルの前記重要度値に従って前記処理対象画像の前記主要被写体領域を判断することは、
    前記重要度値を含む重要度マップに対して二値化処理を行うことと、
    前記二値化画像内の１つまたは複数のより小さい色ブロックに対してクリーンアップ処理を行うことと、
    前記クリーンアップ処理を行った後に前記画像内の各色ブロックのプロファイル線を探索し、各色ブロックの前記プロファイル線をポリゴンにより近似することと、
    矩形により各ポリゴンを取り囲み、すべての矩形を取り囲む周辺矩形フレームを前記主要被写体領域として取得することと、を含む、
    非一時的コンピュータ可読媒体。
  19. 命令のセットを格納する非一時的コンピュータ可読媒体であって、前記命令のセットは、装置に画像の主要被写体を抽出する方法を行わせるように、前記装置の少なくとも一つのプロセッサによって実行可能であり、前記方法が、
    規定特徴に対応する認識対象領域が処理対象画像内に存在するかどうかを判断することと、
    前記認識対象領域が存在する場合に、前記処理対象画像の前記主要被写体を含む主要被写体領域を前記主要被写体領域の事前設定特徴パラメータと前記認識対象領域の座標および大きさとに従って判断することと、
    前景ターゲットの抽出処理のための前景画像として前記主要被写体領域の画像を抽出することであって、前記抽出画像は前記処理対象画像の前記主要被写体として処理される、抽出することと、を含み、
    前記前景ターゲットの前記抽出処理のための前記前景画像として前記主要被写体領域の前記画像を抽出する前に、さらに、
    前記処理対象画像に対してスーパーピクセルセグメント化を行い、各スーパーピクセルブロック内のすべてのピクセルの平均重要度値を判断することと、
    各スーパーピクセルブロックの前記平均重要度値が事前設定閾値より連続的に高いかどうかを判断することと、
    スーパーピクセルブロックの前記平均重要度値が前記事前設定閾値より高い場合に前記スーパーピクセルブロック内の各ピクセルの画像マスク値を非零となるように設定することと、
    非零画像マスク値の前記ピクセルを取り囲む周辺矩形フレームを使用することにより前記主要被写体領域を更新することと、を含む、
    非一時的コンピュータ可読媒体。

JP2017521554A 2014-10-27 2015-10-22 画像の主要被写体を抽出する方法とシステム Active JP6719457B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201410584982.3A CN105631455B (zh) 2014-10-27 2014-10-27 一种图像主体提取方法及***
CN201410584982.3 2014-10-27
PCT/CN2015/092505 WO2016066038A1 (zh) 2014-10-27 2015-10-22 一种图像主体提取方法及***

Publications (2)

Publication Number Publication Date
JP2017531883A JP2017531883A (ja) 2017-10-26
JP6719457B2 true JP6719457B2 (ja) 2020-07-08

Family

ID=55856591

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017521554A Active JP6719457B2 (ja) 2014-10-27 2015-10-22 画像の主要被写体を抽出する方法とシステム

Country Status (4)

Country Link
US (1) US10497121B2 (ja)
JP (1) JP6719457B2 (ja)
CN (1) CN105631455B (ja)
WO (1) WO2016066038A1 (ja)

Families Citing this family (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105631455B (zh) 2014-10-27 2019-07-05 阿里巴巴集团控股有限公司 一种图像主体提取方法及***
JP6148426B1 (ja) * 2016-05-27 2017-06-14 楽天株式会社 画像処理装置、画像処理方法及び画像処理プログラム
US10573040B2 (en) * 2016-11-08 2020-02-25 Adobe Inc. Image modification using detected symmetry
CN106780306B (zh) * 2016-12-09 2020-07-24 腾讯音乐娱乐（深圳）有限公司 一种重构稿生成方法及装置
CN108269260B (zh) * 2016-12-30 2021-08-27 粉迷科技股份有限公司 动态影像去背方法、***与计算机可读取存储装置
CN106815848A (zh) * 2017-01-17 2017-06-09 厦门可睿特信息科技有限公司 基于grubcut和人工智能的人像背景分离及轮廓提取方法
CN108694719B (zh) * 2017-04-05 2020-11-03 北京京东尚科信息技术有限公司 图像输出方法和装置
CN107452013A (zh) * 2017-05-27 2017-12-08 深圳市美好幸福生活安全***有限公司 基于Harris角点检测和Sugeno模糊积分的显著性检测方法
CN109003289B (zh) * 2017-12-11 2021-04-30 罗普特科技集团股份有限公司 一种基于颜色标签的目标跟踪快速初始化方法
CN108198172B (zh) * 2017-12-28 2022-01-28 北京大学深圳研究生院 图像显著性检测方法和装置
CN108968991B (zh) * 2018-05-08 2022-10-11 平安科技（深圳）有限公司 手骨x光片骨龄评估方法、装置、计算机设备和存储介质
CN109410169B (zh) * 2018-09-11 2020-06-05 广东智媒云图科技股份有限公司 一种图像背景干扰度的识别方法及装置
CN109389582B (zh) * 2018-09-11 2020-06-26 广东智媒云图科技股份有限公司 一种图像主体亮度的识别方法及装置
CN109584251A (zh) * 2018-12-06 2019-04-05 湘潭大学 一种基于单目标区域分割的舌体图像分割方法
CN111476253B (zh) * 2019-01-23 2024-04-02 阿里巴巴集团控股有限公司 服装图像分类、图像分类方法、装置及设备
CN110084801A (zh) * 2019-04-28 2019-08-02 深圳回收宝科技有限公司 一种终端屏幕的检测方法、装置、便携式终端和存储介质
CN110717865B (zh) * 2019-09-02 2022-07-29 苏宁云计算有限公司 图片检测方法及装置
CN110569380B (zh) * 2019-09-16 2021-06-04 腾讯科技（深圳）有限公司 一种图像标签获取方法、装置及存储介质和服务器
JP7439431B2 (ja) * 2019-09-25 2024-02-28 株式会社Ｊｖｃケンウッド 情報配信装置、情報生成方法、及び情報生成プログラム
US11039037B2 (en) * 2019-10-31 2021-06-15 Kyocera Document Solutions Inc. Image processing apparatus, image forming apparatus and image processing method for improving efficiency of clipping process
CN113256361A (zh) * 2020-02-10 2021-08-13 阿里巴巴集团控股有限公司 商品发布方法及图像处理方法、装置、设备和存储介质
CN111383244B (zh) * 2020-02-28 2023-09-01 浙江大华技术股份有限公司 一种目标检测跟踪方法
CN113627453A (zh) * 2020-05-08 2021-11-09 珠海金山办公软件有限公司 一种纯色背景图像抠图方法、装置及电子设备
CN111724396B (zh) * 2020-06-17 2023-07-14 泰康保险集团股份有限公司 图像分割方法及装置、计算机可读存储介质、电子设备
US11776184B2 (en) * 2020-10-18 2023-10-03 Adobe, Inc. Sky replacement
CN113194282A (zh) * 2021-04-13 2021-07-30 杭州三信网络技术有限公司 一种基于后端人工智能的视播融合应急广播***
CN115439334A (zh) * 2021-06-02 2022-12-06 中国科学院分子植物科学卓越创新中心 整穗图像处理方法和装置
CN114108757B (zh) * 2021-12-13 2024-04-05 广东威力电器有限公司 一种厕用虹吸式人体红外自动感应冲水***
CN114494730A (zh) * 2022-04-15 2022-05-13 深圳安牌信息技术有限公司 基于图像识别的商标自动分类处理***

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2003295318A1 (en) * 2002-06-14 2004-04-19 Honda Giken Kogyo Kabushiki Kaisha Pedestrian detection and tracking with night vision
US7200266B2 (en) * 2002-08-27 2007-04-03 Princeton University Method and apparatus for automated video activity analysis
JP4318465B2 (ja) * 2002-11-08 2009-08-26 コニカミノルタホールディングス株式会社 人物検出装置および人物検出方法
US7864989B2 (en) * 2006-03-31 2011-01-04 Fujifilm Corporation Method and apparatus for adaptive context-aided human classification
JP4626692B2 (ja) * 2008-09-12 2011-02-09 ソニー株式会社 物体検出装置、撮像装置、物体検出方法およびプログラム
WO2011001398A2 (en) * 2009-06-30 2011-01-06 Mango Dsp Inc. Method circuit and system for matching an object or person present within two or more images
JP2011035636A (ja) 2009-07-31 2011-02-17 Casio Computer Co Ltd 画像処理装置及び方法
US8638993B2 (en) * 2010-04-05 2014-01-28 Flashfoto, Inc. Segmenting human hairs and faces
WO2011152844A1 (en) 2010-06-01 2011-12-08 Hewlett-Packard Development Company, L.P. Image clustering using a personal clothing model
EP2395452A1 (en) * 2010-06-11 2011-12-14 Toyota Motor Europe NV/SA Detection of objects in an image using self similarities
CN102446347B (zh) * 2010-10-09 2014-10-01 株式会社理光 图像白平衡方法和装置
CN102467740A (zh) * 2010-11-08 2012-05-23 北京大学 一种大尺寸彩色图像的前景和背景交互式分割方法及***
WO2012077286A1 (ja) * 2010-12-09 2012-06-14 パナソニック株式会社 物体検出装置および物体検出方法
US9153031B2 (en) * 2011-06-22 2015-10-06 Microsoft Technology Licensing, Llc Modifying video regions using mobile device input
JP6032921B2 (ja) 2012-03-30 2016-11-30 キヤノン株式会社 物体検出装置及びその方法、プログラム
CN102779270B (zh) * 2012-06-21 2015-03-25 西南交通大学 一种针对购物图像搜索的目标衣物图像提取方法
JP6192271B2 (ja) * 2012-08-22 2017-09-06 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
CN103164858B (zh) * 2013-03-20 2015-09-09 浙江大学 基于超像素和图模型的粘连人群分割与跟踪方法
CN105631455B (zh) 2014-10-27 2019-07-05 阿里巴巴集团控股有限公司 一种图像主体提取方法及***

Also Published As

Publication number Publication date
CN105631455A (zh) 2016-06-01
WO2016066038A1 (zh) 2016-05-06
US10497121B2 (en) 2019-12-03
CN105631455B (zh) 2019-07-05
US20170228872A1 (en) 2017-08-10
JP2017531883A (ja) 2017-10-26

Similar Documents

Publication Publication Date Title
JP6719457B2 (ja) 画像の主要被写体を抽出する方法とシステム
CN107346409B (zh) 行人再识别方法和装置
CN107358149B (zh) 一种人体姿态检测方法和装置
CN108229509B (zh) 用于识别物体类别的方法及装置、电子设备
CN110717489B (zh) Osd的文字区域的识别方法、装置及存储介质
KR102641115B1 (ko) 객체 검출을 위한 영상 처리 방법 및 장치
WO2018103608A1 (zh) 一种文字检测方法、装置及存储介质
US8737740B2 (en) Information processing apparatus, information processing method, and non-transitory computer-readable storage medium
US8639042B2 (en) Hierarchical filtered motion field for action recognition
US9317784B2 (en) Image processing apparatus, image processing method, and program
US20120093362A1 (en) Device and method for detecting specific object in sequence of images and video camera device
WO2019071976A1 (zh) 基于区域增长和眼动模型的全景图像显著性检测方法
US20130301911A1 (en) Apparatus and method for detecting body parts
CN112464797B (zh) 一种吸烟行为检测方法、装置、存储介质及电子设备
JP6338429B2 (ja) 被写体検出装置、被写体検出方法及びプログラム
US20170103536A1 (en) Counting apparatus and method for moving objects
JP2020119250A (ja) オブジェクト抽出方法および装置
CN107368826A (zh) 用于文本检测的方法和装置
CN115294162B (zh) 目标识别方法、装置、设备及存储介质
JP6851246B2 (ja) 物体検出装置
JP2004038980A (ja) 画像を解析する方法、しきい値を生成する方法、該方法を実行するコンピュータプログラム、該プログラムを記憶するコンピュータ可読媒体および該方法を実行するように適応した装置
CN107122714B (zh) 一种基于边缘约束的实时行人检测方法
JP6429323B2 (ja) オブジェクト抽出方法および装置
WO2013104322A1 (en) Object recognizing method and object recognizing device
JP6580201B2 (ja) 被写体検出装置、被写体検出方法及びプログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170621

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20181019

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190918

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20191008

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20200108

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200115

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200518

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200616

R150 Certificate of patent or registration of utility model

Ref document number: 6719457

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250