JP2001236497A - 写真画像のクロッピングされズームされた変形を自動的に形成する方法 - Google Patents

写真画像のクロッピングされズームされた変形を自動的に形成する方法

Info

Publication number
JP2001236497A
JP2001236497A JP2001016318A JP2001016318A JP2001236497A JP 2001236497 A JP2001236497 A JP 2001236497A JP 2001016318 A JP2001016318 A JP 2001016318A JP 2001016318 A JP2001016318 A JP 2001016318A JP 2001236497 A JP2001236497 A JP 2001236497A
Authority
JP
Japan
Prior art keywords
image
cropping
belief
window
cropping window
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2001016318A
Other languages
English (en)
Other versions
JP4566416B2 (ja
Inventor
Jiebo Luo
ルオ ジエボ
Robert T Gray
ティー グレイ ロバート
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Eastman Kodak Co
Original Assignee
Eastman Kodak Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=23950036&utm_source=***_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=JP2001236497(A) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by Eastman Kodak Co filed Critical Eastman Kodak Co
Publication of JP2001236497A publication Critical patent/JP2001236497A/ja
Application granted granted Critical
Publication of JP4566416B2 publication Critical patent/JP4566416B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Software Systems (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Processing (AREA)
  • Editing Of Facsimile Originals (AREA)
  • Image Analysis (AREA)

Abstract

(57)【要約】 【課題】 不均一な背景を有する画像についても、画像
中の主要被写体に基づいて写真を自動的にクロッピング
又はズームすることを目的とする。 【解決手段】 ディジタル画像をクロッピングするため
の方法及びコンピュータプログラム／システムでは、写
真画像の信念マップを入力し（信念マップ中の場所にお
ける信念値は写真画像中の同じ場所における写真被写体
の重要性を示す）、ズーム倍率及びクロッピングウィン
ドウを選択し、背景部分、副部分、主部分を識別するた
めに信念マップの領域をクラスタリングし、最も高い信
念値を有する主部分を中心とするようクロッピングウィ
ンドウを配置し、クロッピングウィンドウが画像内に完
全に含まれるようクロッピングウィンドウを動かし、信
念値の和が最大であるようクロッピングウィンドウを動
かし、クロッピングウィンドウに従って画像をクロッピ
ングする。

Description

【発明の詳細な説明】
【０００１】
【発明の属する技術分野】本発明は、ディジタル画像処
理及びディジタル画像理解の分野に関し、更に特定的に
は写真画像のクロッピングされズームされた変形を自動
的に形成するための方法及びシステムに関する。
【０００２】
【従来の技術】数十年に亘り、従来の商用写真仕上げシ
ステムは大量生産を促進するため消費者に提供される特
徴を制限してきた。従来では利用可能とされない特徴の
うち、ズーム及びクロッピングは、消費者及び写真仕上
げ業者の双方によって、仕上げされた写真の品質と、続
く写真の分配の経験を潜在的に改善させる非常に有用な
追加的な特徴とされてきた。ディジタルイメージングの
出現及び急速な進歩により、従来の写真技術に存在した
技術的な障壁はもはや克服できないものではなくなって
いる。
【０００３】ハイブリッド及びディジタル写真技術は、
写真から望ましくない内容をクロッピングし、写真印画
全体を満たすよう所望の内容を拡大又はズームする機能
を与える。ズーム機能を有する幾つかの従来のカメラ
は、所望のシーン内容を構成するためのかなりの制御を
消費者に与えるが、撮影者は仕上げされた写真を後に見
たときに幾らかのクロッピング及びズームを行なうこと
を望みうることが調査によりわかっている。多くのポイ
ント・アンド・シュートカメラのビューファインダが精
密でないこと、及び、それらの初期構成を単に結果論的
に修正することは、ズーム及びクロッピングが所望とさ
れる要因である。更に、楕円形、ハート型、方形等の他
の規則的な境界を有するテンプレートを使用することが
所望であり得る。他のシナリオでは、一般的に「スクラ
ップブッカー」と称される人々は、スクラップブックを
作成するときに、例えば対象の境界に沿って切り取り、
より積極的に強くクロッピングを行なう傾向がある。
【０００４】２つのタイプのクロッピング方法、即ち、
アルバム作成及びスクラップブック作成には、目的と挙
動にかなりの差があり、スクラップブック作成の方が理
解し要約するのが難しい。本発明は、写真印画を作成す
るための自動ズーム及びクロッピング方法を行なうもの
である。ある顧客フォーカスグループ研究は、消費者に
２組の印画、即ち通常の印画とズーム印画を与えること
が有利であることを示した。更に、クロッピング及びズ
ームは自動的に行なわれることが望ましい。殆どの顧客
は、クロッピング及びズームされた印画の内容及び品質
（例えば鮮鋭度）が許容可能であるかぎり、ズーム及び
クロッピングがどのようにして行われるかについて考え
ようとしない。
【０００５】自動ズーム及びクロッピングに対しては、
かかるタスクを実行するための明らかな困難性により、
あまり研究がされてこなかった。公知の従来の画像操作
ソフトウエアはいずれも、自動クロッピング量を決定す
るのにシーン内容を使用するものではない。例えば、米
国のUniversity of Pennsylvania(Department of Compu
ter and Information Science)のJohn Bradleyによって
開発されたフリーウエアパッケージであるプログラム
「ＸＶ」は、画像を操作するための「自動クロッピン
グ」機能を与え、以下のように動作する。
【０００６】１．プログラムは、４つの全ての方向、即
ち上、下、左、及び右の辺の画像の境界線を調べる。
【０００７】２．プログラムは、線上の変化について調
べる。グレースケール画像では、線はクロッピングされ
るためには完全に均一でなくてはならない。カラー画像
では、線がクロッピングに対して適したものとされれ
ば、画素のわずかな割合を除き、空間的な相関及び分光
的な相関の両方が低くなくてはならない。換言すれば、
線は、かなりの量の変化がなければクロッピングされな
い。
【０００８】３．１つの次元に沿った線が規準を越える
場合、次に内側の線（行又は列）が調べられる。
【０００９】４．上述の再帰処理が停止すると最終的な
クロッピングされた画像が決定される。
【００１０】このプログラムは、本質的には、画像の境
界の周りの比較的均質なマージンを除去しようとするも
のである。画像の全体の内容を調べるものではない。実
際は、ＸＶプログラムは走査処理中の不正確な整列によ
って生じた暗い境界をクロッピングして除去するのに有
効である。しかしながら、シーンの理解が明らかに足り
ないことにより、しばしばひどい結果が生じうる。幾つ
かの極端な場合には、画像全体がクロッピングされる。
【００１１】Bollman外による米国特許第５，９７８，
５１９号（ここに参照として組み入れられる）に記載さ
れる他の従来のシステムでは、画像中の異なる強度レベ
ルに基づいて画像をクロッピングする方法が提供され
る。このシステムでは、クロッピングされるべき画像は
グリッドへ縮小され、重なり合わないブロックへ分割さ
れる。各ブロックに対して、強度レベルの平均及び分散
が計算される。ブロック中の分散の分布に基づき、分散
についての閾値が選択される。閾値の分散よりも高い分
散を有する全てのブロックは、関心領域として選択され
る。関心領域は、包囲矩形へクロッピングされる。しか
しながら、かかるシステムは、クロッピングされていな
い画像が、強度レベルが均一な領域と、強度レベルがか
なり変化する他の領域とを含む場合にのみ有効である。
かかるシステムの有効性は、ＸＶプログラムの有効性に
匹敵すると期待される。相違点は、ＸＶプログラムが均
一の領域を識別するために画像を線毎に調べるのに対し
て、米国特許第５，９７８，５１９号は、均一な領域を
識別するために画像をブロック毎に調べるという点であ
る。概説するに、何れの技術も不均一な背景を有する画
像について扱うことができない。
【００１２】
【発明が解決しようとする課題】従来の技術の主な欠点
は、画像中の主要被写体に基づき写真を自動的にクロッ
ピング又はズームするために、高価な手動技術を用いな
ければならないことである。
【００１３】
【課題を解決するための手段】本発明は、画像の信念マ
ップを入力し、ズーム倍率及びクロッピングウィンドウ
を選択し、背景部分、副部分、及び主要部分を識別する
ために信念マップの領域をクラスタリングし、最も高い
信念値を有する主要部分を中心としてその周りに配置さ
れるようクロッピングウィンドウを位置決めし、クロッ
ピングウィンドウが画像の中に完全に含まれるようクロ
ッピングウィンドウを移動させ、信念値の和が最大であ
るようクロッピングウィンドウを移動させ、クロッピン
グウィンドウに従って画像をクロッピングする、ディジ
タル画像をクロッピングするための方法及びコンピュー
タプログラムを含む。
【００１４】本発明は、クロッピングウィンドウが最も
高い信念値を有する全ての主領域を含む、及び／又は、
最も高い信念値を有する主領域の周りの緩衝領域（マー
ジン）を含むようクロッピングウィンドウを動かす。ク
ラスタリングは、背景部分をゼロの信念値へ設定するこ
とを含む。
【００１５】本発明はまた、回転された画像を用いて位
置決めプロセス及び移動プロセスを繰り返し、回転され
た画像の信念の和がより高いかどうか判定する。同様
に、本発明は、第２のズーム倍数及び第２のクロッピン
グウィンドウを用いて方法を繰り返し、第２のズーム倍
数及び第２のクロッピングウィンドウが第１のズーム倍
数及び第１のクロッピングウィンドウの信念の和（及び
クロッピングウィンドウの外側の信念のより低い和）よ
りも高い信念の和を生じさせるかどうか判定する。
【００１６】本発明の他の実施例では、画像の信念マッ
プを受信する入力と、クロッピングウィンドウを選択す
る選択部と、クロッピングウィンドウが最も高い信念値
を有する信念マップの部分を中心にその周りに位置決め
するウィンドウ移動部と、クロッピングウィンドウに従
って画像を変更するクロッピング部とを含む画像をクロ
ッピングするシステムである。
【００１７】本発明は、ズーム倍率を選択する第２の選
択器と、信念マップの領域を信念カテゴリへクラスタリ
ングする比較器とを含む。比較器は、最も低い信念値を
有する信念マップの部分をゼロの信念値へ設定する。
【００１８】ウィンドウ移動部は、クロッピングウィン
ドウが画像内に完全に含まれ、信念値の和が最大とな
り、クロッピングウィンドウが最も高い信念値を有する
領域全てを含み、又は、クロッピングウィンドウが最も
高い信念値を有する領域の周りの緩衝領域を含むよう、
クロッピングウィンドウを移動させる。また、ウィンド
ウ移動部は、回転された画像について移動プロセスを繰
り返し、回転された画像が信念のより高い和を生成する
かどうか判定し、又は、回転された画像について位置決
めプロセス及び移動プロセスを繰り返し、回転された画
像が信念のより高い和を生成するかどうか判定しうる。
同様に、選択部、ウィンドウ移動部、及びクロッピング
部は、第２のクロッピングウィンドウを用いてプロセス
を繰り返し、第２のクロッピングウィンドウがより高い
信念の和を生じさせるかどうか判定しうる。
【００１９】
【発明の実施の形態】上述及び他の目的、面、及び利点
については、添付の図面を参照して本発明の望ましい実
施例の以下の説明より明らかとなろう。本発明は、シー
ン中の主要被写体の解析に従ってディジタル画像を自動
的にズーム及びクロッピングする。従来は、第三者であ
る観察者の視点から消費者タイプの写真画像中の主な被
写体（例えば主要被写体検出、即ち「ＭＳＤ」）が開発
され、これはJiebo Luo, Stephentz及びAmit Singhalに
よる「Method for Automatic Determination of Main S
ubjects in Photographic Images」なる名称のここに参
照として組み入れられる１９９８年１２月３１日出願の
米国特許出願第０９／２３３，８６０号に記載されてい
る。主要被写体検出は、画像中の様々な被写体に関連付
けられる様々な領域に対する顕著さの度合い又は相対的
な重要性を与える。主要被写体検出は、自動クロッピン
グ及びズームを含む消費者写真画像に関連する多数のア
プリケーションのシーン内容の区別的な取り扱いを可能
とする。
【００２０】人間である観察者が主要被写体検出及びク
ロッピングといったタスクをどのように実行するかを反
映するコンピュータ視覚の分野の従来の知識は、認識さ
れた対象の意味論的な意味に従った対象の認識及びシー
ン内容の決定を通じて問題を解決しようとする。しかし
ながら、包括的な対象認識は、学究的分野及び産業にお
ける数十年に亘る努力にもかかわらず殆ど解決されてい
ない。
【００２１】ＭＳＤシステムは、利用可能であれば意味
論的な情報を統合させて殆どの低レベルの視覚特徴に基
づいて構築される。このＭＳＤシステムは、領域のセグ
メント化、知覚的グループ化、特徴抽出、確率的及び意
味論的な理由付けを含む多数のサブタスクを有する。特
に、様々な視覚的に顕著な性質を表わすよう、画像中の
各セグメント化された領域に対して多数の特徴が抽出さ
れ、連続する値を含む信念マップを発生するよう同調可
能な拡張可能な確率のネットワークへ入力される。
【００２２】ＭＳＤを用いると、主要被写体に属する領
域は画像中の背景クラッターから一般的に差別される。
このように、自動化されたズーム及びクロッピングが可
能となる。自動ズーム及びクロッピングは、或る量のシ
ーン理解なしには必ずしも均一な背景を含まない制約さ
れない画像については不可能であると考えられてきた非
自明な操作である。内容によって駆動されるクロッピン
グ走査がない場合、従来のシステムは端の固定のズーム
（拡大）倍率で中心についてのクロッピングを用いる
か、又は画像の境界に接する均一な背景を除去すること
に集中してきた。中心についてのクロッピングは、顧客
にとっては魅力がないことがわかっている。
【００２３】本発明によって用いられるＭＳＤの出力
は、包括的又は特定の適用のための潜在的な主要被写体
としての尤度（又は信念）の降順でランク付けしたセグ
メント化された領域のリストである。このリストは、領
域の明るさが領域の主要被写体信念に比例するマップへ
容易に変換されうる。従って、このマップは主要被写体
の「信念」マップと称される。この「信念」マップは、
所定の主要被写体の位置を示すだけの２値マップ以上の
ものである。関連付けられる尤度は、大きい値を有する
領域が主要被写体の部分であるという高い信念即ち信念
を有する領域に対応するよう各領域に付される。
【００２４】ある程度は、この信念マップは、人間がＭ
ＳＤといったタスクを実行する内在する不確かさを反映
し、それは様々な観察者は或る主要被写体については合
意しないが主要被写体に関して他の被写体事項について
は合意することがあるためである。しかしながら、２値
決定は、所望であれば、信念マップに対して適当な閾値
を用いることによって容易に獲得されうる。更に、信念
情報は、下流の適用については非常に有用でありうる。
例えば、クロッピングの量を決定するとき、様々な領域
（主題）に対して様々な重み係数を割り当てることがで
きる。
【００２５】クロッピングを決定するために、本発明
は、不可逆的な悪いクロッピング操作決定を行なうこと
を回避するために、マップの２値化された変形の代わり
に主要被写体の信念マップを使用する。更に、主要被写
体の信念の連続的な値を用いることは、クロッピング操
作で受ける制約下で様々な領域についてのトレードオフ
を助ける。一旦決定された後に、何を含み、何を含まな
いかについての２値決定は、トレードオフのために殆ど
余地を残さない。例えば、主要被写体領域がクロッピン
グウィンドウよりも小さければ、２値主要被写体マップ
が所与であれば、唯一の妥当な選択肢は、主要被写体領
域の周りに等しい量のマージンを残すことである。一
方、副次的な主要被写体は、主要被写体信念マップ中の
より低い信念値によって示され、一旦最も高い信念値の
主要被写体が含まれると、信念値の降順で含まれうる。
更に、何を含み、何を排除するかに関する望ましくない
２値決定がなされれば、間違いを修正することができな
い。従って、クロッピング操作の結果は２値決定を獲得
するのに使用される閾値に対して感度があるようにな
る。連続的な値を有する主要被写体信念マップでは、各
領域又は対象は、含まれるであろう尤度又は含まれるで
あろう信念に関連付けられる。
【００２６】特に写真印画を作成するためにクロッピン
グの量の決定の自由度を減少させるため、本発明は１つ
の実施例では許容可能なズーム倍率（例えば１．５ｘ，
２ｘ，３ｘ，４ｘ等）の組を制限する。これは顧客フォ
ーカス研究の結果に基づくものである。それでも当業者
は、本発明が任意のズーム倍率で使用されうることを認
識するであろう。例えば、デフォルトのズーム倍率は
１．５Ｘに設定される。
【００２７】本発明の主題は、ディジタル画像を認識し
それにより人間に理解可能な対象、属性又は条件に対し
て有用な意味を割り当てるためにディジタル式に処理
し、得られた結果をディジタル画像の更なる処理に用い
るディジタル画像理解技術に関連する。
【００２８】図１は、全体の空検出システム（例えばデ
ィジタル画像理解技術）を示すブロック図である。ま
ず、ディジタル画像１０がディジタル式に処理される２
０。処理段階２０から得られた結果３０は、画像変更段
階４０において元のディジタル画像１０と共に用いら
れ、変更された画像５０を生成する。
【００２９】図２は、本発明による空検出プロセスのよ
り特定的なブロック図を示す図であり、これについては
図５乃至１１に関連して説明される。図５乃至１１は、
図５に示される元の画像に対して本発明のプロセスが適
用されることを示す。
【００３０】ボックス２００では、画像が入力され、Ｍ
ＳＤを用いて信念マップが作成される。本発明は、ボッ
クス２０１に示されるように、ズーム倍率（例えば１．
５Ｘ）及びクロッピングされたウィンドウ（例えば図６
の参照番号６０）を選択する。このズーム倍率は、操作
者によって選択されるか、又は主要被写体信念マップ
（例えば主要被写体の寸法の推定）に直接基づく自動化
された方法によって選択されうる。クロッピングウィン
ドウは、典型的には或るアスペクト比の矩形のウィンド
ウである。
【００３１】ボックス２０２では、信念マップの領域が
クラスタリングされ、所定の閾値を用いて、最も低い信
念のクラスタ（例えば背景信念）がゼロに設定される。
以下詳述するように、或る閾値を下回る信念値を有する
画像は、背景部分であると考えられる。ボックス２０２
では、この部分には本発明の実施例のためにゼロの信念
が与えられる。
【００３２】すると、ボックス２０３では、非ゼロ信念
の重心、又は質量中心が計算され、ボックス２０４で
は、図６に示されるようにクロッピングウィンドウの位
置は重心を中心とする。更に特定的には、信念マップ中
で最も高い信念を有する被写体は、女性とベビーカーで
ある。図６は、この被写体の重心が赤ん坊の頭の略真上
にあることを示す。信念マップの
【００３３】
【外１】 は、以下の式、
【００３４】
【数１】 を用いて計算され、但し、xi及びyiは信念マップ中の画
素の座標を示し、bel(xi,yi)はこの画素位置における信
念値を表わす。
【００３５】クロッピングウィンドウは、図７に示され
るようにクロッピングウィンドウ全体が元の画像の中に
あるよう動かされる（例えばボックス２０５）。ボック
ス２０７では、最も高い信念の被写体の全ての領域がク
ロッピングされたウィンドウの中に含まれ、図８に示さ
れるようにマージン８１を形成するよう、再び動かされ
る。このプロセス（例えばステップ２０７）は、関心と
なる全ての被写体を捕捉する。従って、図８に示される
ように、女性の頭の一番上の部分はクロッピングされた
ウィンドウに含まれる。これを、図７に示されるように
女性の頭の一番上の部分がクロッピングされたウィンド
ウの外側にある場合と比較する。
【００３６】決定ボックス２０８は、許容可能な解が見
つかったか、即ち少なくとも最も高い信念値の領域をク
ロッピングウィンドウの中に含むことが可能であるかど
うかを判定する。
【００３７】許容可能な解が存在する場合、ボックス２
１０に示されるように、ウィンドウ内の信念の和を最大
化するため、ウィンドウは再び動かされる。これは図９
に示され、副対象（例えば花）がクロッピングウィンド
ウの中に含まれ、信念の和が増加されている。クロッピ
ングウィンドウについての信念の和は以下の式、
【００３８】
【数２】 によって計算され、式中、bel(x,y)はクロッピングウィ
ンドウｗ中の所与の画素の位置（ｘ，ｙ）における信念
値を表わす。
【００３９】副被写体が含まれると、副被写体がより多
く含まれるようクロッピングウィンドウを動かすことに
より、クロッピングウィンドウ中の信念値の和が増加さ
れる。主要被写体は最も高い信念値によって示され、副
被写体は主要被写体の信念値より低いが背景被写体の信
念値よりも高い信念値によって示される。目的は、信念
値の最も高い和を見つけるとともに、主要被写体がクロ
ッピングウィンドウ中に完全に含まれることを確実とす
ること、即ち、
【００４０】
【数３】 であり、式中、Ｗは上述の全ての制約を満たす全ての可
能なクロッピングウィンドウの組（例えばクロッピング
されていないウィンドウの中に完全に含まれ、主要被写
体全体を包囲するもの）を示す。次に、ブロック２１２
において、画像は上述のように計算されたクロッピング
されたウィンドウによって実際にクロッピングされ、図
１０に示されるクロッピングされた画像２１４を生成す
る。
【００４１】決定ボックス２０８において許容可能な解
が得られなければ、ボックス２０６に示されるように画
像は回転され（例えば９０度）、処理はボックス２０５
へ戻る。決定ボックス２０９を通る２回目のより大きい
通過では、クロッピングされたウィンドウが既に回転さ
れており（決定ボックス２０８から）まだ許容可能な解
でなければ、ボックス２１１に示されるように、重心に
基づいてクロッピングされた窓についての信念の和は両
方の向き（例えば元の向きと９０度回転された向き）に
ついて計算される。次に、ボックス２１３に示されるよ
うに、画像は２つの異なる向きのうちより高い信念の最
終位置に従ってクロッピングされ、ボックス２１５に示
されるようにクロッピングされた画像を生成する。
【００４２】当業者によって分かるように、画像はボッ
クス２０６において任意の数の可能な角度（例えば４５
°、１８０°等）で回転されうる。更に決定ボックス２
０９は、信念の最も高い和を有する向きを見つけるため
に、異なる回転角度でボックス２０５、２０７に記載さ
れるプロセスを多数回にわたって通ることを許しうる。
【００４３】図５乃至１１に示されるシミュレートされ
た画像の例は、本発明が図２に示されるプロセスを通る
につれて成す進歩を示す。最適解についての大局的な網
羅的な探索といった問題について考えることができる。
本発明に用いられる手順は、「貪欲な」探索アプローチ
であると考えられ、確実に従来のプロセスよりも効率的
である。
【００４４】図３及び４は、図２に示されるプロセスの
変形を示す図である。図３は、最初の（正しい必要はな
い）画像の向きに関わらず、風景クロッピングを肖像ク
ロッピングと比較する。図４の第２の変形は、人間であ
る操作者に対して表わすための一連のズーム倍率（例え
ば｛１ｘ，１．５ｘ，２ｘ，３ｘ，４ｘ｝）を用いた一
連の「リング・アラウンド」式のクロッピングされた変
形を形成する。
【００４５】より特定的には、図３中のブロック３００
乃至３０３は、図２のブロック２００乃至２０３に略等
しい。ブロック３０４では、クロッピングされたウィン
ドウは全く回転なしに重心を中心として配置される。同
時に、並列処理段階では、クロッピングされたウィンド
ウの位置は回転されて（例えば９０度の回転）で重心を
中心とする。ブロック３０６及び３０７では、図２を参
照して上述されたように、最適なクロッピングされたウ
ィンドウが決定される。これは、クロッピングされた画
像３０８及び３０９を生成する。ブロック３１０では、
２つのクロッピングされた画像のうちの良い方（例えば
信念の和が高い方）が選択され、クロッピングされた画
像３１１として出力される。
【００４６】ブロック４００乃至４０７は、上述のよう
にブロック３００乃至３０７と略等しい。しかしなが
ら、図４に示されるプロセスでは、決定ボックス４１０
は、ボックス４０４乃至４０７における並列処理によっ
て生成されるクロッピングされた画像４０８、４０９を
観察し、許容可能なレベルが得られたかどうか判定す
る。ブロック４１０における処理において、異なるズー
ム倍率又は異なるクロッピングされたウィンドウが評価
されるべきであると判定されれば、処理はブロック４０
１へ戻る。この処理は、許容可能な結果が生成され、ブ
ロック４１１で終了するまで繰り返される。
【００４７】本発明は、各アプリケーションについての
ＭＳＤ信念の正しい閾値を決定するためにビルトイン
「ｋ−平均」クラスタリング処理を用いる。本発明はま
た、以下説明するようにクロッピング処理を高めるため
にクラスタリングを用いる。１つの望ましい実施例で
は、ＭＳＤ信念を量子化するために３つのレベル、即ち
「高」、「中」及び「低」を用いることで十分である。
当業者によって明らかであるように、本発明は単に３つ
のレベルの分類に限られるものではなく、信念マップの
（不必要な）ばらつきを減少させるためにかなりの数の
分類レベルを使用するものである。これらの３つのレベ
ルは、主要被写体（高）、背景（低）、及び、副被写
体、又は不確実性、又は背景の顕著な領域を捕捉するた
めの中間レベル（中）を可能とする。従って、本発明
は、信念を「量子化」するためにＭＳＤ信念マップ上で
ｋ＝３を用いてｋ−平均クラスタリングを実行しうる。
従って、各領域についての信念は、その領域におけるク
ラスタの平均深淵によって置き換えられる。ｋ＝２での
ｋ−平均クラスタリングは本質的に、２つのクラスタ、
即ち「高」及び「低」を用いて２値マップを生成し、こ
れは上述のクロッピング処理には望ましくない。
【００４８】かかるクラスタリング及び量子化を行うこ
とには２つの主な利点がある。まず、クラスタリングは
均一な低い信念（例えばゼロの信念）の背景領域を形成
するために低い信念の背景領域をグループ化することに
よって背景を分離するのに役立つ。第２に、クラスタリ
ングは、同様の信念レベルを同じグループとしてグルー
プ化することにより信念順序付けにおける雑音を除去す
るのに役立つ。重心に基づく操作は、かかる量子化を必
要としない（また、量子化によって影響を受けるべきで
ない）。ここで用いられる量子化の主な目的は、背景に
ついての閾値を与えることである。
【００４９】ｋ−平均クラスタリングは、信念マップに
対する多レベル閾値操作を有効に行なう。クラスタリン
グの後、２つの閾値は、以下の式、
【００５０】
【数４】 に従って決定されえ、式中、｛Ｃlow，Ｃmed，Ｃhigh｝
は３つのクラスタに対する一組の重心（平均信念値）で
あり、thresholdlow及びthresholdhighは夫々、下限閾
値及び上限閾値である。
【００５１】下限閾値を下回る信念値を有する領域は、
「背景」であると考えられ、上述のブロック２０２、３
０２、及び４０２において信念値がゼロに設定される。
上限閾値を上回る信念値を有する領域は主要被写体の一
部であると考えられ、可能であれば全体として含まれる
必要がある。中間の信念値（例えば上限閾値以下、又は
下限閾値以上）は、「副被写体」の一部であると考えら
れ、クロッピングウィンドウによって保持される主要被
写体信念の和を最大化するために、可能であれば全体と
して又は部分的に含まれうる。３つのクラスタに対する
分散の統計的な分析は、クラスタのばらつきをより正確
に反映するために閾値を設定するために使用されうる。
【００５２】本発明は、信念マップの最大値belmax及び
最小値belminを見つけ、信念マップ中のアイテムについ
ての最大値及び最小値の平均値belaverageを計算し、こ
れらの３つの値における初期重心（０の上付き文字で示
す）、即ち、
【００５３】
【数５】 を設定することによってｋ−平均プロセスを初期化す
る。他の初期化方法を提供しても良い。ｋ−平均処理の
詳細については、Tou及びGonzalezによるPattern Recog
nition Principles, Reading MA: Addison Wesley, 197
4を参照のこと。典型的なＭＳＤ信念マップについて
は、ｋ−平均プロセスは、通常は１０回以下の繰り返し
で収束する。
【００５４】クロッピングされた領域のズームされた変
形が所望である適用では、２つのシナリオについて考え
ねばならない。まず、ズーム変形は、元のデータの最も
高い解像度よりも高い空間解像度を実際に必要とする。
しかしながら、画像の鮮鋭度の可視の損失は、この状況
において問題となる可能性が高い。第２のズーム変形
は、元のデータの最も高い解像度よりも低い空間解像度
を実際に必要とする。いずれの場合も、本発明は画像詳
細の最大の量を保持するためにデータを再サンプリング
するために補間プロセスを使用する。一般的に、立方ス
プライン補間といった、エッジ又は商諫を補損する画像
補間プロセスは、元の画像の詳細及び鮮鋭度をより良く
保存するための望ましい。
【００５５】消費者による写真及び様々なクロッピング
された変形は、「家」（例えば図１３乃至１５）と「バ
レーボール」（図１６乃至１８）に示される。「家」の
写真では、Bradley及びBollman（米国特許第５，９７
８，５１９号）の両方は、画像全体を維持し、クロッピ
ングされていない画像（図１３）の下部の影と情報の境
界から延びる木のため、クロッピングされていない画像
を生成することができない。米国特許第５，９７８，５
１９号によって所望であるように、この写真の画像境界
から延びる連続的な平坦な背景領域はない。同様に、図
１６の木の上部は、米国特許第５，９７８，５１９号に
開示されるシステムではクロッピングされない。
【００５６】副被写体は、よりバランスのとれたクロッ
ピングされた写真を与える。「バレーボール」の写真
（図１６）について、アルゴリズムによって木の幾つか
の部分を含むことは、主要被写体（プレーヤー）をクロ
ッピングされた画像（図１８）の中心に単に配置する場
合よりも興味深いクロッピングされた写真を与える。本
発明は、信念マップに基づいて木の重要性が副次的であ
ると示されているためこれを行なうことができる。米国
特許第５，９７８，５１９号でBradley及びBollmanによ
って教示される技術は、このようにうまくクロッピング
された画像を生成することが可能でないことが明らかで
ある。実際、Bradley及びBollmanの両方（米国特許第
５，９７８，５１９号）は、最も良い場合でも写真の下
方の芝生の部分を除去し、クロッピングされていない画
像の左上に木の枝を維持する（図１８）。
【００５７】本発明の全体的な方法体系については上述
したが、本発明は任意の数の異なるタイプのシステムに
おいて実施されえ、当業者によって明らかとなるよう任
意の異なる方法で実行されうる。例えば、図１２に示さ
れるように、本発明による情報取り扱い／コンピュータ
システムの典型的なハードウエア形態は、少なくとも１
つのプロセッサ又は中央処理ユニット（ＣＰＵ）１２０
０を有する。例えば、中央処理ユニット１２００は、様
々な画像／テクスチャ処理ユニット、マッピングユニッ
ト、重み付けユニット、加算器、減算器、比較器、選択
器、ウィンドウ移動部、クロッピング部等を含みうる。
或いは、当業者によって明らかであるように、多数の専
用ＣＰＵの（又は他の同様の個々の機能ユニット）は、
同じ処理、マッピング、重み付け、加算、減算、比較等
を実行しうる。
【００５８】ＣＰＵ１２００は、システムバス１２０１
を介して、ランダムアクセスメモリ（ＲＡＭ）１２０
２、読み出し専用メモリ（ＲＯＭ）１２０３、（ディス
クユニット１２０５及びテープドライブ１２０６といっ
た周辺機器をバス１２０１に接続するための）入力／出
力（Ｉ／Ｏ）アダプタ１２０４、（情報取り扱いシステ
ムをデータ処理ネットワークへ接続するための）通信ア
ダプタ１２０７、（キーボード、マウス、マイクロホ
ン、スピーカ、及び／又は他のユーザインタフェース装
置といった周辺機器１２０９、１０１０をバス１２０１
に接続するための）ユーザインタフェースアダプタ１２
０８、プリンタ１２１２、（バス１２０１をディスプレ
イ装置１２１４に接続するための）ディスプレイアダプ
タ１２１３に接続される。本発明は、本発明による方法
を記憶装置１２０５上に記憶されたコンピュータプログ
ラムに入れることにより図１２に示される構造を用いて
実施されうる。かかるコンピュータプログラムは、イン
タフェースユニット１２０９、１２１０を通じて、又は
ネットワーク接続１２０７を通じて供給される情報に対
して作用する。システムは、プリンタ１２１２を通じて
又はネットワーク１２０７へ戻ってディスプレイ１２１
４上に最終的な所望の製品を自動的に生成する。
【００５９】
【発明の効果】本発明の利点は、シーン内容に基づいて
写真画像を自動的にクロッピング及びズームする可能性
にある。本発明によれば、画像の主要被写体が識別さ
れ、この主要被写体の周りでクロッピング及びズーム操
作が行われる。従って、本発明は、背景が均一であるか
否かにかかわらず、高質なズーム又はクロッピングされ
た画像を自動的に生成する。
【図面の簡単な説明】
【図１】本発明の一つの実施例を示す概略的な構成図で
ある。
【図２】本発明の一つの実施例を示す概略的な構成図で
ある。
【図３】本発明の一つの実施例を示す概略的な構成図で
ある。
【図４】本発明の一つの実施例を示す概略的な構成図で
ある。
【図５】シミュレートされた写真に対する本発明の適用
について示す図である。
【図６】シミュレートされた写真に対する本発明の適用
について示す図である。
【図７】シミュレートされた写真に対する本発明の適用
について示す図である。
【図８】シミュレートされた写真に対する本発明の適用
について示す図である。
【図９】シミュレートされた写真に対する本発明の適用
について示す図である。
【図１０】シミュレートされた写真に対する本発明の適
用について示す図である。
【図１１】シミュレートされた写真に対する本発明の適
用について示す図である。
【図１２】本発明のシステムの実施例を示す図である。
【図１３】消費者写真に対する本発明の適用について示
す図である。
【図１４】消費者写真に対する本発明の適用について示
す図である。
【図１５】消費者写真に対する本発明の適用について示
す図である。
【図１６】消費者写真に対する本発明の適用について示
す図である。
【図１７】消費者写真に対する本発明の適用について示
す図である。
【図１８】消費者写真に対する本発明の適用について示
す図である。
【符号の説明】
１０ ディジタル画像 ２０ 画像処理段階 ３０ 結果 ４０ 画像変更段階 ５０ 変更された画像

Claims (3)

    【特許請求の範囲】
  1. 【請求項１】 写真画像の複数の信念値を含む信念マッ
    プであり、上記信念マップの各位置における各信念値が
    該位置における写真被写体の重要さを示し、最も高い信
    念値を有する写真被写体が主要被写体を構成する信念マ
    ップを入力する段階と、 クロッピングウィンドウのサイズを決める形状及びズー
    ム倍率を有するクロッピングウィンドウを選択する段階
    と、 上記主要被写体の重心を中心とするよう上記クロッピン
    グウィンドウを位置決めする段階と、 上記クロッピングウィンドウが完全に上記画像の中にあ
    るよう上記クロッピングウィンドウを動かす段階と、 上記クロッピングウィンドウの信念の和が最大であるよ
    う上記クロッピングウィンドウを動かす段階と、 上記画像を上記クロッピングウィンドウによってクロッ
    ピングする段階と、 を含むディジタル画像をクロッピングする方法。
  2. 【請求項２】 少なくとも１つの主要被写体の全てを含
    むよう上記クロッピングウィンドウを動かす段階を更に
    有する、請求項１記載の方法。
  3. 【請求項３】 背景被写体及び副被写体を識別するため
    に上記信念マップの領域をクラスタリングする段階を更
    に含む、請求項１記載の方法。
JP2001016318A 2000-01-25 2001-01-24 写真画像のクロッピングされズームされた変形を自動的に形成する方法 Expired - Lifetime JP4566416B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US490915 1983-05-02
US09/490,915 US6654506B1 (en) 2000-01-25 2000-01-25 Method for automatically creating cropped and zoomed versions of photographic images

Publications (2)

Publication Number Publication Date
JP2001236497A true JP2001236497A (ja) 2001-08-31
JP4566416B2 JP4566416B2 (ja) 2010-10-20

Family

ID=23950036

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001016318A Expired - Lifetime JP4566416B2 (ja) 2000-01-25 2001-01-24 写真画像のクロッピングされズームされた変形を自動的に形成する方法

Country Status (3)

Country Link
US (1) US6654506B1 (ja)
EP (1) EP1120742B1 (ja)
JP (1) JP4566416B2 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007500967A (ja) * 2003-07-31 2007-01-18 イーストマン コダック カンパニー 所望のアスペクト比の画像の生成
US20110206295A1 (en) * 2010-02-25 2011-08-25 Sony Corporation Image processing apparatus, image processing method, and program
US8194139B2 (en) 2004-03-04 2012-06-05 Nikon Corporation Electronic still camera and method of image acquisition of electronic still camera

Families Citing this family (71)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6907136B1 (en) * 1999-05-19 2005-06-14 Canon Kabushiki Kaisha Image processing of designated image portion
US6587596B1 (en) * 2000-04-28 2003-07-01 Shutterfly, Inc. System and method of cropping an image
US6545743B1 (en) * 2000-05-22 2003-04-08 Eastman Kodak Company Producing an image of a portion of a photographic image onto a receiver using a digital image of the photographic image
JP2001346031A (ja) * 2000-06-05 2001-12-14 Fuji Photo Film Co Ltd 画像合成方法及び装置
JP2002010056A (ja) * 2000-06-19 2002-01-11 Fuji Photo Film Co Ltd 画像合成装置
CH697548B1 (de) * 2000-09-11 2008-11-28 Hueg Li Ltd Werbemittel.
US6952286B2 (en) * 2000-12-07 2005-10-04 Eastman Kodak Company Doubleprint photofinishing service with the second print having subject content-based modifications
US7034848B2 (en) 2001-01-05 2006-04-25 Hewlett-Packard Development Company, L.P. System and method for automatically cropping graphical images
KR20040005905A (ko) * 2001-03-30 2004-01-16 코닥 폴리크룸 그래픽스 엘엘씨 소프트 프루핑을 위한 이미지 자동 선명화 처리 방법,시스템 및 컴퓨터 판독 매체
EP3086288B1 (en) * 2001-04-30 2021-05-26 Activemap LLC Interactive electronically presented map
CA2356573A1 (en) * 2001-08-31 2003-02-28 John-Paul J. Gignac Method of cropping a digital image
GB2383247A (en) * 2001-12-13 2003-06-18 Hewlett Packard Co Multi-modal picture allowing verbal interaction between a user and the picture
GB0129787D0 (en) * 2001-12-13 2002-01-30 Hewlett Packard Co Method and system for collecting user-interest information regarding a picture
JP2003333355A (ja) * 2002-05-10 2003-11-21 Canon Inc 色評価装置及び方法
US9173836B2 (en) * 2003-01-02 2015-11-03 FemmeParma Holding Company, Inc. Pharmaceutical preparations for treatments of diseases and disorders of the breast
US20060280364A1 (en) * 2003-08-07 2006-12-14 Matsushita Electric Industrial Co., Ltd. Automatic image cropping system and method for use with portable devices equipped with digital cameras
JP2006094053A (ja) * 2004-09-22 2006-04-06 Fuji Photo Film Co Ltd フォトムービー作成方法および装置、並びにフォトムービー作成プログラム
US20060109517A1 (en) * 2004-11-23 2006-05-25 Rodrigo Catalan Personal photo book creation kit
US20060109516A1 (en) * 2004-11-23 2006-05-25 Rodrigo Catalan Personal photo book creation kit
US7688364B2 (en) * 2004-12-10 2010-03-30 Ambarella, Inc. Decimating and cropping based zoom factor for a digital camera
WO2007004489A1 (ja) * 2005-06-30 2007-01-11 Matsushita Electric Industrial Co., Ltd. 画像処理装置及び画像処理方法
US20070146392A1 (en) * 2005-12-28 2007-06-28 Xcpt, Inc. System and method for magnifying and editing objects
US20070223818A1 (en) * 2006-03-27 2007-09-27 Honeywell International Inc. Method and apparatus for predicting the accuracy of virtual Scene based on incomplete information in video
US20080019575A1 (en) * 2006-07-20 2008-01-24 Anthony Scalise Digital image cropping using a blended map
US20080019574A1 (en) * 2006-07-20 2008-01-24 Anthony Scalise Machine-controlled image cropping with default
US7853063B2 (en) * 2006-08-04 2010-12-14 Carestream Health, Inc. Method for producing a cropped medical image
JP2008061184A (ja) * 2006-09-04 2008-03-13 Sony Corp 画像処理装置および方法、プログラム、並びに撮像装置
US7869658B2 (en) * 2006-10-06 2011-01-11 Eastman Kodak Company Representative image selection based on hierarchical clustering
US20080183844A1 (en) * 2007-01-26 2008-07-31 Andrew Gavin Real time online video editing system and method
US8218830B2 (en) 2007-01-29 2012-07-10 Myspace Llc Image editing system and method
FR2912237A1 (fr) * 2007-02-07 2008-08-08 Thomson Licensing Sas Procede de traitement d'image
WO2008137608A1 (en) * 2007-05-01 2008-11-13 Flektor, Inc. System and method for flow control in web-based video editing system
US7676145B2 (en) * 2007-05-30 2010-03-09 Eastman Kodak Company Camera configurable for autonomous self-learning operation
US7817914B2 (en) * 2007-05-30 2010-10-19 Eastman Kodak Company Camera configurable for autonomous operation
US20090295787A1 (en) * 2008-06-02 2009-12-03 Amlogic, Inc. Methods for Displaying Objects of Interest on a Digital Display Device
US8453112B1 (en) 2008-11-13 2013-05-28 Adobe Systems Incorporated Systems and methods for collaboratively creating applications using a multiple source file project that can be accessed and edited like a single file
US9170778B2 (en) 2008-11-18 2015-10-27 Adobe Systems Incorporated Methods and systems for application development
US8274529B1 (en) 2008-12-09 2012-09-25 Adobe Systems Incorporated Systems and methods for providing content for use in multiple environments
JP4715913B2 (ja) * 2008-12-17 2011-07-06 ソニー株式会社 撮像装置、画像処理装置、ズーム制御方法およびズーム制御プログラム
EP2249307B1 (en) 2009-05-05 2019-07-03 InterDigital Madison Patent Holdings Method for image reframing
JP5310247B2 (ja) * 2009-05-13 2013-10-09 ソニー株式会社 画像処理装置および方法、並びにプログラム
US8839128B2 (en) * 2009-11-25 2014-09-16 Cooliris, Inc. Gallery application for content viewing
US8363984B1 (en) 2010-07-13 2013-01-29 Google Inc. Method and system for automatically cropping images
US9070182B1 (en) * 2010-07-13 2015-06-30 Google Inc. Method and system for automatically cropping images
JP5685031B2 (ja) * 2010-09-15 2015-03-18 キヤノン株式会社 画像処理装置および画像形成システムおよび画像形成方法
US8982247B2 (en) 2010-10-22 2015-03-17 Hewlett-Packard Development Company, L.P. Altering focus lens magnification in a video frame
US8682108B2 (en) * 2011-04-11 2014-03-25 Hewlett-Packard Development Company, L.P. System and method for determining image placement on a canvas
US9158455B2 (en) 2011-07-12 2015-10-13 Apple Inc. Multifunctional environment for image cropping
US8660351B2 (en) * 2011-10-24 2014-02-25 Hewlett-Packard Development Company, L.P. Auto-cropping images using saliency maps
US9025836B2 (en) 2011-10-28 2015-05-05 Intellectual Ventures Fund 83 Llc Image recomposition from face detection and facial features
US9008436B2 (en) 2011-10-28 2015-04-14 Intellectual Ventures Fund 83 Llc Image recomposition from face detection and facial features
US8811747B2 (en) 2011-10-28 2014-08-19 Intellectual Ventures Fund 83 Llc Image recomposition from face detection and facial features
US9025835B2 (en) 2011-10-28 2015-05-05 Intellectual Ventures Fund 83 Llc Image recomposition from face detection and facial features
US8938100B2 (en) 2011-10-28 2015-01-20 Intellectual Ventures Fund 83 Llc Image recomposition from face detection and facial features
JP2013153375A (ja) * 2012-01-26 2013-08-08 Sony Corp 画像処理装置、画像処理方法および記録媒体
US9100588B1 (en) * 2012-02-28 2015-08-04 Bruce A. Seymour Composite image formatting for real-time image processing
KR101999137B1 (ko) * 2013-01-03 2019-07-11 삼성전자주식회사 카메라를 구비하는 장치의 이미지 처리장치 및 방법
US9336567B2 (en) * 2013-12-16 2016-05-10 Telefonaktiebolaget L M Ericsson (Publ) Content-aware weighted image manipulations
US9461936B2 (en) 2014-02-14 2016-10-04 Google Inc. Methods and systems for providing an actionable object within a third-party content slot of an information resource of a content publisher
US20150234542A1 (en) * 2014-02-14 2015-08-20 Google Inc. Methods and systems for automatically resizing a creative based on dimensions of a content slot
US9246990B2 (en) 2014-02-14 2016-01-26 Google Inc. Methods and systems for predicting conversion rates of content publisher and content provider pairs
EP2942940A1 (en) * 2014-05-06 2015-11-11 Nokia Technologies OY Method and apparatus for defining the visible content of an image
US9805445B2 (en) * 2014-10-27 2017-10-31 Adobe Systems Incorporated Image zooming
US11743402B2 (en) * 2015-02-13 2023-08-29 Awes.Me, Inc. System and method for photo subject display optimization
WO2016207875A1 (en) 2015-06-22 2016-12-29 Photomyne Ltd. System and method for detecting objects in an image
US10438302B2 (en) 2017-08-28 2019-10-08 The Climate Corporation Crop disease recognition and yield estimation
US10423850B2 (en) 2017-10-05 2019-09-24 The Climate Corporation Disease recognition from images having a large field of view
US11430084B2 (en) 2018-09-05 2022-08-30 Toyota Research Institute, Inc. Systems and methods for saliency-based sampling layer for neural networks
CN111010590B (zh) * 2018-10-08 2022-05-17 阿里巴巴（中国）有限公司 一种视频裁剪方法及装置
US11195046B2 (en) 2019-06-14 2021-12-07 Huawei Technologies Co., Ltd. Method and system for image search and cropping
US11057572B1 (en) * 2020-03-26 2021-07-06 Qualcomm Incorporated Apparatus and methods for image capture control

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH066747A (ja) * 1992-06-18 1994-01-14 Olympus Optical Co Ltd Ｉｄフォトシステム
JPH09218950A (ja) * 1996-02-14 1997-08-19 Nec Corp 多眼画像からの物体検出方式

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5640468A (en) * 1994-04-28 1997-06-17 Hsu; Shin-Yi Method for identifying objects and features in an image
US5781665A (en) * 1995-08-28 1998-07-14 Pitney Bowes Inc. Apparatus and method for cropping an image
US5978519A (en) 1996-08-06 1999-11-02 Xerox Corporation Automatic image cropping
CA2297986A1 (en) * 1997-08-28 1999-03-04 John E. Rosenstengel Method and system for automated detection of clustered microcalcifications from digital mammograms
US5999639A (en) * 1997-09-04 1999-12-07 Qualia Computing, Inc. Method and system for automated detection of clustered microcalcifications from digital mammograms
US5880858A (en) * 1997-12-31 1999-03-09 Mustek Systems Inc. Method of auto-cropping images for scanners
US6335985B1 (en) * 1998-01-07 2002-01-01 Kabushiki Kaisha Toshiba Object extraction apparatus
US6434271B1 (en) * 1998-02-06 2002-08-13 Compaq Computer Corporation Technique for locating objects within an image
US6310984B2 (en) * 1998-04-09 2001-10-30 Hewlett-Packard Company Image processing system with image cropping and skew correction
US6456732B1 (en) * 1998-09-11 2002-09-24 Hewlett-Packard Company Automatic rotation, cropping and scaling of images for printing
US6282317B1 (en) * 1998-12-31 2001-08-28 Eastman Kodak Company Method for automatic determination of main subjects in photographic images

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH066747A (ja) * 1992-06-18 1994-01-14 Olympus Optical Co Ltd Ｉｄフォトシステム
JPH09218950A (ja) * 1996-02-14 1997-08-19 Nec Corp 多眼画像からの物体検出方式

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007500967A (ja) * 2003-07-31 2007-01-18 イーストマン コダック カンパニー 所望のアスペクト比の画像の生成
US8194139B2 (en) 2004-03-04 2012-06-05 Nikon Corporation Electronic still camera and method of image acquisition of electronic still camera
US20110206295A1 (en) * 2010-02-25 2011-08-25 Sony Corporation Image processing apparatus, image processing method, and program
US8326082B2 (en) 2010-02-25 2012-12-04 Sony Corporation Image processing apparatus, image processing method, and program

Also Published As

Publication number Publication date
US6654506B1 (en) 2003-11-25
EP1120742A3 (en) 2011-05-18
EP1120742A2 (en) 2001-08-01
JP4566416B2 (ja) 2010-10-20
EP1120742B1 (en) 2015-07-22

Similar Documents

Publication Publication Date Title
JP4566416B2 (ja) 写真画像のクロッピングされズームされた変形を自動的に形成する方法
JP3946030B2 (ja) 写真画像の一部の画像を自動的に生成する方法
US6545743B1 (en) Producing an image of a portion of a photographic image onto a receiver using a digital image of the photographic image
JP4954081B2 (ja) 人間の画像における虹彩及び瞳孔の検出方法
EP1649681B1 (en) Producing an image of desired aspect ratio
JP4234381B2 (ja) 顔の特徴を位置確認するための方法及びコンピュータープログラム製品
US6738494B1 (en) Method for varying an image processing path based on image emphasis and appeal
JP4903854B2 (ja) デジタル画像におけるオブジェクト検出方法
KR101605983B1 (ko) 얼굴 검출을 이용한 이미지 재구성
RU2368006C1 (ru) Способ и система адаптивного переформатирования цифровых изображений
US20040114829A1 (en) Method and system for detecting and correcting defects in a digital image
JP2003108975A (ja) 自動画像グループ分け方法及びシステム
JP2002245471A (ja) 被写体内容に基づく修正を有する第２プリントを伴うダブルプリントの写真仕上げサービス
CN110909724B (zh) 一种多目标图像的缩略图生成方法
JP2011054080A (ja) 画像処理装置および方法、並びにプログラム
JP6731753B2 (ja) 画像処理装置、画像処理方法、画像処理システムおよびプログラム
JP7370759B2 (ja) 画像処理装置、画像処理方法およびプログラム
JP2000339452A (ja) 画像抽出方法及び装置並びに記憶媒体
JP7426712B2 (ja) 画像処理装置、画像処理方法、およびプログラム
CN110222207B (zh) 图片的整理方法、装置和智能终端
Banerjee Composition-guided image acquisition
JP2004086806A (ja) 画像の上下を決定する方法および装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20071115

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090721

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20091021

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20091026

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20091104

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20100126

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100525

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20100608

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100706

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100804

R150 Certificate of patent or registration of utility model

Ref document number: 4566416

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130813

Year of fee payment: 3

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

EXPY Cancellation because of completion of term