JP3575976B2 - Main subject extraction method - Google Patents
Main subject extraction method Download PDFInfo
- Publication number
- JP3575976B2 JP3575976B2 JP05785498A JP5785498A JP3575976B2 JP 3575976 B2 JP3575976 B2 JP 3575976B2 JP 05785498 A JP05785498 A JP 05785498A JP 5785498 A JP5785498 A JP 5785498A JP 3575976 B2 JP3575976 B2 JP 3575976B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- main subject
- extraction
- extracted
- main
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Landscapes
- Image Processing (AREA)
- Facsimile Image Signal Circuits (AREA)
- Image Analysis (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、フォトプリンタ等に好適に利用される、フィルムに撮影された画像等の原画像から主要被写体を抽出する主要被写体抽出の技術分野に属する。
【０００２】
【従来の技術】
現在、ネガフィルム、リバーサルフィルム等の写真フィルム（以下、フィルムとする）に撮影された画像の感光材料（印画紙）への焼き付けは、フィルムの画像を感光材料に投影して感光材料を面露光する、いわゆる直接露光（アナログ露光）が主流である。
【０００３】
これに対し、近年では、デジタル露光を利用する焼付装置、すなわち、フィルムに記録された画像を光電的に読み取って、読み取った画像をデジタル信号とした後、種々の画像処理を施して記録用の画像データとし、この画像データに応じて変調した記録光によって感光材料を走査露光して画像（潜像）を記録し、（仕上り）プリントとするデジタルフォトプリンタが実用化された。
【０００４】
デジタルフォトプリンタでは、画像をデジタルの画像データとして、画像データ処理によって焼付時の露光条件を決定することができるので、逆光やストロボ撮影等に起因する画像の飛びやツブレの補正、シャープネス（鮮鋭化）処理、カラーあるいは濃度フェリアの補正等を好適に行って、従来の直接露光では得られなかった高品位なプリントを得ることができる。また、複数画像の合成や画像分割、さらには文字の合成等も画像データ処理によって行うことができ、用途に応じて自由に編集／処理したプリントも出力可能である。
しかも、デジタルフォトプリンタによれば、画像をプリント（写真）として出力するのみならず、画像データをコンピュータ等に供給したり、フロッピーディスク等の記録媒体に保存しておくこともできるので、画像データを、写真以外の様々な用途に利用することができる。
【０００５】
このようなデジタルフォトプリンタは、基本的に、フィルムに記録された画像を光電的に読み取るスキャナ（画像読取装置）、および読み取った画像を画像処理して出力用の画像データ（露光条件）とする画像処理装置を有する画像入力装置と、画像入力装置から出力された画像データに応じて感光材料を走査露光して潜像を記録するプリンタ（画像記録装置）、および露光済の感光材料に現像処理を施してプリントとするプロセサ（現像装置）を有する画像出力装置とを有して構成される。
【０００６】
スキャナでは、光源から射出された読取光をフィルムに入射して、フィルムに撮影された画像を担持する投影光を得て、この投影光を結像レンズによってＣＣＤセンサ等のイメージセンサに結像して光電変換することにより画像を読み取り、必要に応じて各種の画像処理を施した後に、フィルムの画像データ（画像データ信号）として画像処理装置に送る。
画像処理装置は、スキャナによって読み取られた画像データから画像処理条件を設定して、設定した条件に応じた画像処理を画像データに施し、画像記録のための出力画像データ（露光条件）としてプリンタに送る。
プリンタでは、例えば、光ビーム走査露光を利用する装置であれば、画像処理装置から送られた画像データに応じて光ビームを変調して、この光ビームを主走査方向に偏向すると共に、主走査方向と直交する副走査方向に感光材料を搬送することにより、画像を担持する光ビームによって感光材料を露光（焼付け）して潜像を形成し、次いで、プロセサにおいて感光材料に応じた現像処理等を施して、フィルムに撮影された画像が再生されたプリント（写真）とする。
【０００７】
【発明が解決しようとする課題】
ところで、このようなデジタルフォトプリンタ、通常のアナログのフォトプリンタ（以下、両者をまとめてフォトプリンタという）を問わず、画像中に人物が存在する場合には、人物の顔が最も重要視され、その仕上りが、再生画像すなわちプリントの品質や評価に大きな影響を与える。
【０００８】
そのため、従来のフォトプリンタでは、フィルムに撮影された画像から人物の顔（顔領域）を抽出し、顔が好ましく仕上がるように露光条件、すなわち、デジタルフォトプリンタでは出力用の画像データを得るための画像処理条件を、アナログのフォトプリンタでは露光光量や色フィルタの挿入量等を、それぞれ決定している。
特に、デジタルフォトプリンタでは、前述のように、画像データ処理によって非常に自由度の高い画像処理を行うことができるので、顔の情報は、画像に応じた最適な画像処理条件を設定するための重要な情報となり、適正な顔抽出を行うことにより、高品位なプリントを安定して作成することが可能となる。
【０００９】
このような事情の下、従来より、顔のみならず、各種の主要被写体の抽出を行うための被写体抽出の方法が、各種提案されており、例えば、画像の色相や彩度を用いた肌色抽出や、画像のエッジ部を検出することによる輪郭抽出等が知られている。
【００１０】
ここで、フィルムに撮影される画像の状態は、ストロボ撮影、逆光シーン等の様々な撮影条件で変わり、また、大きさや天地方向等、画像中の主要被写体の状態も画像（シーン）によって様々である。
通常のフォトプリンタでは、多数の方法で、かつ４方向の画像天地方向に対応して被写体抽出を行い、各被写体抽出方法の抽出結果を組み合わせて画像の主要被写体を抽出（判定）することにより、多種多様な画像に対応して、良好な精度で主要被写体を抽出できるようにしている。
【００１１】
そのため、主要被写体の抽出は、時間のかかる処理となってしまい、プリント作成の効率低下の一因となっており、また、多数の被写体抽出方法を行うことにより、幾つかの抽出方法で主要被写体を誤って抽出した際には、逆に得られる画像の画質に悪影響を与えてしまう場合もある。
【００１２】
本発明の目的は、前記従来技術の問題点を解決することにあり、デジタルやアナログのフォトプリンタ等において、様々な状態の画像や主要被写体に対応して、画像中の主要被写体の抽出を、良好な効率および精度で行うことができ、プリントの作成効率等を向上することができる主要被写体抽出方法を提供することにある。
【００１３】
【課題を解決するための手段】
前記目的を達成するために、本発明は、画像内の主要被写体の抽出を行なう主要被写体抽出方法であって、第１の画像について主要被写体の抽出を行なうステップと、
前記第１の画像と、主要被写体の抽出を行なおうとする第２の画像との間の画像の類似性の有無を画像情報を用いて判定するステップと、前記第２の画像が前記第１の画像と類似性有りと判定された場合、前記第１の画像の主要被写体の抽出の際に用いた主要被写体の抽出アルゴリズムを用いて前記第２の画像について主要被写体の抽出を行なうステップと、を有することを特徴とする主要被写体抽出方法を提供する。
【００１４】
前記主要被写体抽出方法では、予め、画像中の主要被写体に関する画像領域の状態を表す複数種の項目について、各項目毎に主要被写体の抽出アルゴリズムが予め設定されており、前記第２の画像における主要被写体の抽出アルゴリズムは、前記複数種の項目の中の１つの項目から選択された抽出アルゴリズム、あるいは前記複数種の項目の中の複数の項目から選択された複数の抽出アルゴリズムの組み合わせであるのが好ましい。
また、前記主要被写体に関する画像領域の状態を表す複数種の項目は、例えば、画像領域の大きさ、画像領域の位置、前記主要被写体の画像内での向き、前記画像領域の色分布および前記画像領域の濃度分布の少なくとも１つ以上を含む。
また、主要被写体の抽出は、複数の画像について順次行い、前記第１の画像の主要被写体の抽出を行なうステップでは、前記複数の画像のうち最初に抽出を行なう画像として、前記複数種の項目で設定される複数の抽出アルゴリズムを用いて主要被写体を抽出し、抽出した画像中における主要被写体に関する画像領域の状態を定め、前記第２の画像の主要被写体の抽出を行なうステップでは、前記第１の画像に対して用いた複数の抽出アルゴリズムのうち、前記第１の画像中の主要被写体に関する前記画像領域の状態に対応した抽出アルゴリズムを用いて、前記第１の画像以降の画像について順次主要被写体の抽出を行なうのが好ましい。
また、前記複数の画像は主要被写体を撮影した撮影画像であり、前記主要被写体の抽出を行なうステップでは、前記撮影の際に得られた撮影輝度データを用いて、撮影時の主要被写体とその周辺領域との間の輝度の関係を求めるとともに、前記第２の画像における主要被写体とその周辺領域との間の画像濃度の関係を求め、前記画像濃度の関係と前記輝度の関係との間の整合性を用いて、抽出した主要被写体の抽出結果の適否を判定するのが好ましい。
【００１５】
本発明の別の態様は、複数の画像を用いて画像内の主要被写体を抽出し、抽出した主要被写体に基づいて画像処理を行なう画像処理装置であって、画像から画像内の主要被写体の抽出を行なう主要被写体抽出手段と、この主要被写体抽出手段によって抽出した主要被写体に基づいて前記画像に画像処理を施す画像処理手段と、前記主要被写体抽出手段により既に主要被写体を抽出した既抽出画像と、前記主要被写体抽出手段により主要被写体を抽出しようとする未抽出画像との間の画像の類似性の有無を、画像情報を用いて判定する判定手段と、を有し、前記主要被写体抽出手段は、前記判定手段によって既抽出画像と類似性有りと判定された未抽出画像について、既抽出画像に用いた主要被写体の抽出アルゴリズムを用いて主要被写体の抽出を行なうことを特徴とする画像処理装置を提供する。
【００１６】
その際、前記判定手段は、複数の未抽出画像について既抽出画像との類似性の有無の判定を順次行い、前記画像処理手段は、前記判定手段において類似性有りと判定された画像について同じ画像処理を施すのが好ましい。
【００１７】
【発明の実施の形態】
以下、本発明の主要被写体抽出方法について、添付の図面に示される好適実施例を基に詳細に説明する。
【００１８】
図１に、本発明の主要被写体抽出方法を利用するデジタルフォトプリンタの一例のブロック図が示される。
図１に示されるデジタルフォトプリンタ（以下、フォトプリンタ１０とする）は、基本的に、フィルムＦに撮影された画像を光電的に読み取るスキャナ（画像読取装置）１２と、読み取られた画像データ（画像情報）の画像処理やフォトプリンタ１０全体の操作および制御等を行う画像処理装置１４と、画像処理装置１４から出力された画像データに応じて変調した光ビームで感光材料（印画紙）を画像露光し、現像処理して（仕上り）プリントとして出力するプリンタ１６とを有して構成される。
また、画像処理装置１４には、様々な条件の入力（設定）、処理の選択や指示、色／濃度補正などの指示等を入力するためのキーボード１８ａおよびマウス１８ｂを有する操作系１８と、スキャナ１２で読み取られた画像、各種の操作指示、条件の設定／登録画面等を表示するディスプレイ２０が接続される。
【００１９】
なお、本発明の主要被写体抽出方法は、このようなデジタルフォトプリンタのみならず、フィルムに撮影された画像を光電的に読み取って、得られた画像データから、露光光量調整のための可変絞りの絞り値や、色調整のための色フィルタ挿入量等の露光条件（画像処理条件）を決定し、この露光条件に応じてフィルムに入射する光（あるいはフィルムの投影光）を調光して、フィルムの投影光で感光材料を露光する、従来の直接露光によるアナログのフォトプリンタにも好適に利用可能である。
【００２０】
スキャナ１２は、フィルムＦ等に撮影された画像を１コマずつ光電的に読み取る装置で、光源２２と、可変絞り２４と、フィルムＦに入射する読取光をフィルムＦの面方向で均一にする拡散ボックス２８と、結像レンズユニット３２と、Ｒ（赤）、Ｇ（緑）およびＢ（青）の各画像読取に対応するラインＣＣＤセンサを有するイメージセンサ３４と、アンプ（増幅器）３６と、Ａ／Ｄ（アナログ／デジタル）変換器３８とを有して構成される。
【００２１】
また、フォトプリンタ１０においては、新写真システム（Ａｄｖａｎｃｅｄ Ｐｈｏｔｏ Ｓｙｓｔｅｍ）や１３５サイズのネガ（あるいはリバーサル）フィルム等のフィルムの種類やサイズ、ストリップスやスライド等のフィルムの形態等に応じて、スキャナ１２の本体に装着自在な専用のキャリアが用意されており、キャリアを交換することにより、各種のフィルムや処理に対応することができる。フィルムに撮影され、プリント作成に供される画像（コマ）は、このキャリアによって所定の読取位置に搬送される。
このようなスキャナ１２において、フィルムＦに撮影された画像を読み取る際には、光源２２から射出され、可変絞り２４によって光量調整された読取光が、キャリアによって所定の読取位置に位置されたフィルムＦに入射して、透過することにより、フィルムＦに撮影された画像を担持する投影光を得る。
【００２２】
図示例のキャリア３０は、図２（Ａ）に模式的に示されるように、所定の読取位置にフィルムＦを位置しつつ、イメージセンサ３４のラインＣＣＤセンサの延在方向（主走査方向）と直交する副走査方向に、フィルムＦの長手方向を一致して搬送する、読取位置を副走査方向に挟んで配置される搬送ローラ対３０ａおよび３０ｂと、フィルムＦの投影光を所定のスリット状に規制する、読取位置に対応して位置する主走査方向に延在するスリット４０ａを有するマスク４０とを有する。
フィルムＦは、このキャリア３０によって読取位置に位置されて副走査方向に搬送されつつ、読取光を入射される。これにより、結果的にフィルムＦが主走査方向に延在するスリット４０ａによって２次元的にスリット走査され、フィルムＦに撮影された各コマの画像が読み取られる。
【００２３】
なお、図中符号４４は、フィルムに光学的に記録されるＤＸコード、拡張ＤＸコード、ＦＮＳコード等のバーコードを読み取るためのコードリーダである。
また、新写真システムのフィルムには、磁気記録媒体が形成されており、新写真システムのフィルム（カートリッジ）に対応するキャリアには、この磁気記録媒体に記録された情報を読み取り、また、必要な情報を記録する磁気ヘッドが配置され、フィルムＦの画像読取時に、この磁気ヘッドによって磁気情報が読み取られ、必要な情報が、スキャナ１２から画像処理装置１４に送られる。
【００２４】
前述のように、読取光はキャリア３０に保持されたフィルムＦを透過して画像を担持する投影光となり、この投影光は、結像レンズユニット３２によってイメージセンサ３４の受光面に結像される。
図２（Ｂ）に示されるように、イメージセンサ３４は、Ｒ画像の読み取りを行うラインＣＣＤセンサ３４Ｒ、Ｇ画像の読み取りを行うラインＣＣＤセンサ３４Ｇ、およびＢ画像の読み取りを行うラインＣＣＤセンサ３４Ｂを有する、いわゆる３ラインのカラーＣＣＤセンサで、各ラインＣＣＤセンサは、前述のように主走査方向に延在している。フィルムＦの投影光は、このイメージセンサ３４によって、Ｒ、ＧおよびＢの３原色に分解されて光電的に読み取られる。
イメージセンサ３４の出力信号は、アンプ３６で増幅され、Ａ／Ｄ変換器３８でデジタル信号とされて、画像処理装置１４に送られる。
【００２５】
スキャナ１２においては、フィルムＦに撮影された画像の読み取りを、低解像度で読み取るプレスキャンと、出力画像の画像データを得るための本スキャンとの、２回の画像読取で行う。
プレスキャンは、スキャナ１２が対象とする全てのフィルムの画像を、イメージセンサ３４が飽和することなく読み取れるように、あらかじめ設定された、プレスキャンの読取条件で行われる。一方、本スキャンは、プレスキャンデータから、その画像（コマ）の最低濃度よりも若干低い濃度でイメージセンサ３４が飽和するように、各コマ毎に設定された本スキャンの読取条件で行われる。
プレスキャンと本スキャンの出力信号は、解像度と出力レベルが異なる以外は、基本的に同じデータである。
【００２６】
なお、本発明の主要被写体抽出方法を利用するデジタルフォトプリンタにおいて、スキャナは、このようなスリット走査によるものに限定はされず、１コマの画像の全面を一度に読み取る、面露光を利用するものであってもよい。
この場合には、例えば、エリアＣＣＤセンサを用い、光源とフィルムＦとの間に、Ｒ、ＧおよびＢの各色フィルタの挿入手段を設け、色フィルタを挿入してエリアＣＣＤセンサで画像を読み取ることを、Ｒ、ＧおよびＢの各色フィルタで順次行い、フィルムに撮影された画像を３原色に分解して順次行う。
【００２７】
前述のように、スキャナ１２から出力されたデジタル信号は、画像処理装置１４（以下、処理装置１４とする）に出力される。
図３に、処理装置１４のブロック図を示す。処理装置１４は、データ処理部４８、Ｌｏｇ変換器５０、プレスキャン（フレーム）メモリ５２、本スキャン（フレーム）メモリ５４、プレスキャン処理部５６、本スキャン処理部５８、および条件設定部６０を有して構成される。
なお、図３は、主に画像処理関連の部位を示すものであり、処理装置１４には、これ以外にも、処理装置１４を含むフォトプリンタ１０全体の制御や管理を行うＣＰＵ、フォトプリンタ１０の作動等に必要な情報を記憶するメモリ等が配置され、また、操作系１８やディスプレイ２０は、このＣＰＵ等（ＣＰＵバス）を介して各部位に接続される。
【００２８】
スキャナ１２から出力されたＲ，ＧおよびＢの各デジタル信号は、データ処理部４８において、暗時補正、欠陥画素補正、シェーディング補正等の所定のデータ処理を施された後、Ｌｏｇ変換器５０によって変換されてデジタルの画像データ（濃度データ）とされ、プレスキャンデータはプレスキャンメモリ５２に、本スキャンデータは本スキャンメモリ５４に、それぞれ記憶（格納）される。
プレスキャンメモリ５２に記憶されたプレスキャンデータは、画像データ処理部６２（以下、処理部６２とする）と画像データ変換部６４とを有するプレスキャン処理部５６に、他方、本スキャンメモリ５４に記憶された本スキャンデータは、画像データ処理部６６（以下、処理部６６とする）と画像データ変換部６８とを有する本スキャン処理部５８に読み出され、処理される。
【００２９】
プレスキャン処理部５６の処理部６２と、本スキャン処理部５８の処理部６６は、後述する条件設定部６０が設定した処理条件に応じて、スキャナ１２によって読み取られた画像（画像データ）に、所定の画像処理を施す部位で、両者は、解像度が異なる以外は、基本的に、同じ処理を行う。
両処理部による画像処理には特に限定はなく、公知の各種の画像処理が例示されるが、例えば、ＬＵＴ（ルックアップテーブル）を用いたグレイバランス調整、階調補正、および濃度（明るさ）調整、マトリクス（ＭＴＸ）による撮影光源種補正や画像の彩度調整（色調整）、その他、ローパスフィルタ、加算器、ＬＵＴ、ＭＴＸ等を用いた、また、これらを適宜組み合わせた平均化処理や補間演算等を用いた、電子変倍処理、覆い焼き処理（濃度ダイナミックレンジの圧縮／伸長）、シャープネス（鮮鋭化）処理等が例示される。
これらの各画像処理条件は、プレスキャンデータを用いて後述する条件設定部６０において設定される。
【００３０】
画像データ変換部６８は、処理部６６によって処理された画像データを、例えば、３Ｄ（三次元）−ＬＵＴ等を用いて変換して、プリンタ１６による画像記録に対応する画像データとしてプリンタ１６に供給する。
画像データ変換部６４は、処理部６２によって処理された画像データを、必要に応じて間引いて、同様に、３Ｄ−ＬＵＴ等を用いて変換して、ディスプレイ２０による表示に対応する画像データとしてディスプレイ２０に供給する。
両者における処理条件は、プレスキャンデータを用いて後述する条件設定部６０で設定される。
【００３１】
条件設定部６０は、プレスキャン処理部５６および本スキャン処理部５８における各種の処理条件や、本スキャンの読取条件を設定する。
この条件設定部６０は、セットアップ部７２、キー補正部７４、およびパラメータ統合部７６を有して構成される。
【００３２】
セットアップ部７２は、プレスキャンデータを用いて画像の主要部（主要被写体）を抽出する主要部抽出部７２Ａ（以下、抽出部７２Ａ）と、抽出部７２Ａが抽出した主要部の情報、プレスキャンデータおよび必要に応じて行われるオペレータの指示に応じて、本スキャンの読取条件を設定してスキャナ１２に供給し、また、プレスキャン処理部５６および本スキャン処理部５８の画像処理条件を作成（演算）し、パラメータ統合部７６に供給する、設定部７２Ｂとを有する。
このセットアップ部７２は、本発明の主要被写体抽出方法を実施するものである。
【００３３】
抽出部７２Ａは、各種の被写体抽出方法（被写体抽出アルゴリズム）を実行して、画像の主要部、図示例においては、画像中の人物の顔を抽出する。
本発明で実行する被写体抽出方法には特に限定はないが、図示例の抽出部７２Ａにおいては、一例として、肌色・円形状抽出による顔抽出、顔輪郭・円形状抽出による顔抽出、胴体・円形状抽出による顔抽出、眼部（顔内部構造）・円形状抽出による顔抽出、頭髪部抽出・円形状抽出による顔抽出、背景部抽出が行われる。これらの被写体抽出方法については、本出願人にかかる特開平８−１８４９２５号公報等に詳述される。
また、本発明においては、これ以外にも、公知の各種の被写体抽出方法が利用可能であり、例えば、特開平４−３４６３３２号、同４−３４６３３３号、同４−３４６３３４号、同５−１００３２８号、同５−１５８１６４号、同５−１６５１１９号、同５−１６５１２０号、同６−６７３２０号、同６−１６０９９２号、同６−１６０９９３号、同６−１６０９９４号、同６−１６０９９５号、同８−１２２９４４号、同９−８０６５２号、同９−１０１５７９号、同９−１３８４７０号、同９−１３８４７１号の各公報等に開示される、各種の被写体抽出方法が例示される。
【００３４】
肌色・円形状抽出は、肌色抽出および円形状抽出を行うことにより、顔領域を抽出する。
すなわち、プレスキャンデータ（必要に応じて間引いても可）から各画素の色相および彩度を知見し、人の肌の肌色と推定できる画素領域（肌色領域）を抽出し、次いで、人の顔は一般的に楕円形であるので、抽出した肌色領域から、人の顔であると推定される（楕）円形状を抽出して、顔領域候補とする。
【００３５】
顔輪郭・円形状抽出は、エッジ抽出による顔輪郭抽出および円形状抽出を行うことにより、顔領域を抽出する。
まず、プレスキャンデータ（必要に応じて間引いても可）を所定の閾値で２値化し、閾値よりも低濃度の画素で構成される領域（フィルムＦがネガであれば、出力されるプリント上では高濃度となるので、この領域を「黒領域」とする）と、閾値よりも高濃度の画素で構成される領域（同様に「白領域」とする）とに分割する。次いで、各黒領域と白領域の輪郭をトレースして、輪郭の曲率を算出し、凹部および凸部を抽出する。
次いで、トレースした輪郭のラインから、ラインの長さや曲率、凹凸、さらには他のラインとの対称性から、人の顔の側部に対応すると推定されるライン（特定ライン）を抽出して、対称をなす特定ラインの対称軸を設定し、対応するラインの間隔および長さの比（経緯比）と、画像データや２値化データ等からも求めたラインの線対称性類似度から、人の顔の両側部を形成すると仮定できるライン（仮定ライン）を抽出する。
さらに、仮定ラインの上部および下部、すなわち顔と頭髪部および胴体（首や肩）との境界線に対応する位置に、仮定ラインとほぼ直交する方向にベクトルを有するラインが存在するか否かを検出し、存在すれば、必要に応じて先に判定した線対称性類似度も考慮して、このラインを、人の顔の両側部を形成するラインと判定する。
次いで、このラインに囲まれた領域において、前記経緯比に応じた楕円形状を抽出して、顔候補領域とする。
【００３６】
胴体・円形状抽出は、エッジ抽出による胴体輪郭抽出および円形状抽出を行うことにより、顔領域を抽出する。
まず、前述の顔輪郭抽出と同様にして画像の２値化による白領域と黒領域の分別、両領域の輪郭のトレースを行う。次いで、トレースした輪郭のラインから、端点の距離が近く、ラインの成す角度が所定の範囲内のラインの組を、胴体の首から肩、肩から腕または胴体下部に相当するとして、胴体輪郭の片側となり得るラインの組として抽出する。
次いで、両ラインが連結するまで延長して、胴体輪郭の片側候補となるライン（片側候補ライン）を生成し、各片側候補ラインと胴体輪郭の対を成す可能性があるライン（対称ラインとする）を抽出する。この抽出は、例えば、片側候補ラインと向い合う凹を成す可能性の有無等で行えばよい。さらに、各片側候補ラインと対称ラインとの線対称軸を設定し、両ラインと線対称軸とが成す角度が所定角度内か否かを判別し、その結果から、胴体輪郭と判断できる片側候補ラインと対称ラインとの組を抽出する。
最後に、得られた胴体輪郭の片側候補ラインと対称ラインの位置、大きさ、間隔、および線対称軸の方向に基いて、この胴体輪郭の人の顔に対応する楕円形状を成すと推定される領域を抽出して、顔候補領域とする。
【００３７】
眼部・円形状抽出は、人の眼の抽出および円形状抽出を行うことにより、顔領域を抽出する。
まず、前述の顔輪郭抽出と同様にして画像の２値化による白領域と黒領域を分別して、一般的な人の目から求められる、所定範囲の長軸／単軸比を有する楕円形の黒領域を、顔の眼部に対応する可能性がある領域（眼部候補領域とする）として抽出する。次に、抽出した眼部候補領域の長軸の角度を求め、長軸の角度差が所定範囲内の楕円の黒領域を求め、先に抽出した眼部候補領域と対を成す眼部候補領域として抽出する。
このようにして抽出した各眼部候補領域の対に対して、両眼部候補領域の中心を結ぶ線に垂直な線対称軸を設定して、線対称類似度を判定し、それに応じて眼部と推定できる黒領域を抽出する。
最後に、抽出した眼部と推定できる黒領域の位置、大きさ、および線対称軸の方向に基いて、この黒領域を目とする人の顔に対応する楕円形状を成すと推定される領域を抽出して、顔候補領域とする。
【００３８】
頭髪部・円形状抽出は、エッジ抽出による人の頭髪の抽出および円形状抽出を行うことにより、顔領域を抽出する。
まず、前述の顔輪郭抽出と同様にして画像の２値化による白領域と黒領域を分割し、黒領域の輪郭のトレースを行い、輪郭の曲率を演算する。次いで、この曲率から、人の頭頂部に相当すると考えられる凸部および顔と頭髪部との境界に相当すると考えられる凹部の両者を備える黒領域を抽出して、その凹部と凸部の特徴量、例えば、円曲率を算出して、この円曲率を用いて、円曲度、輪郭周囲長に対する凹部と凸部の比率、輪郭の位置や方向等から、人物の頭髪部であると推定できる輪郭を抽出し、この頭髪部を有する人の顔に対応する楕円形状を成すと推定される領域を抽出して、顔候補領域とする。
【００３９】
背景部抽出は、輪郭抽出を利用して人物以外の背景部を抽出して、顔抽出等の補助情報を得る。
まず、前述の顔輪郭抽出と同様にして画像の２値化による白領域と黒領域を分割し、各領域の輪郭をトレースして輪郭中の直線の比率を算出し、直線が所定比率以上の領域に重み係数を付与する。次いで、各輪郭に画像の上下方向に伸びる線対象軸を設定し、線対称度を算出し、線対称度が所定値以下の領域に重み係数を付与する。次いで、各輪郭の画像外縁部との接触率を算出し、この接触率が所定値以上の領域に重み係数を付与する。次いで、各領域内部の濃度コントラストを算出し、コントラストが所定値以下の領域に負の重み係数を付与する。さらに、各領域内部の濃度値を異なる複数の所定方向に微分して、複数の方向に沿った微分値のいずれかが規則的に変化している領域、すなわち濃度が所定のパターンで変化し、あるいはこれを繰り返している領域に重み係数を付与する。
以上の操作で重み係数を付与された領域は、いずれも、人物である確率が低い領域であり、この重み係数が所定値以上となった領域は、画像の背景部であると判定できるので、これを顔抽出に利用することができる。
【００４０】
抽出部７２Ａにおいては、基本的に、前記被写体抽出をすべて行って、その結果から顔抽出を行う。
ここで、本発明を実施するセットアップ部７２においては、主要部（前述のように、図示例では顔）の状態が複数に分類されており、主要部の状態のそれぞれに応じて、前記被写体抽出方法からいくつかの方法を選択して、主要部の状態に対応した好適な主要部抽出アルゴリズムが設定されている。
セットアップ部７２は、例えば、フィルム１本や一人の顧客から同時に依頼されたプリント作成等の所定単位において、先に主要部抽出が行われた画像と、これから主要部抽出を行う画像との類似性を判定し、先の画像と類似している（先に類似画像がある）と判定した場合には、その画像は、抽出部７２Ａにおいて、先に主要部抽出が行われた類似画像の主要部の状態に対応する被写体抽出の方法を用いて、主要部抽出を行う。
【００４１】
前述のように、通常の主要部抽出では、多様な画像に対応して良好な精度で顔抽出を行うために、多数の被写体抽出を、４方の天地方向に対応して行って、その結果を用いて顔抽出を行っている。
ここで、本発明者の検討によれば、１本のフィルムＦ等で、画像（シーン）が類似していれば、主要部の状態も類似しているのが通常であり、また、主要部の状態、例えば、天地方向や大きさ等が分かっていれば、多様な画像状態に対応して多数の被写体抽出を行う必要はなく、主要部の状態に応じた被写体抽出を行えば、十分に高精度な抽出を行うことができる。
従って、本発明によれば、先に類似画像がある画像は、高精度な主要部抽出を、演算時間等を大幅に短縮して、良好な効率で行うことができる。しかも、不要な被写体抽出を行うことによる誤抽出を低減し、これに起因する出力画像への悪影響も無くすことができる。
【００４２】
本発明において、分類する主要部の状態には特に限定はないが、例えば、大きさ、天地方向（画像の上下左右方向）、位置、色分布、濃度分布等が例示される。なお、分類は複数の状態を組み合わせてもよい。
【００４３】
例えば、主要部の状態を大きさで分類する場合には、画像中に占める面積等で大サイズ、中サイズ、小サイズ等に分類する。
その上で、例えば、大サイズであれば、画像を低い（粗い）解像度に変換して（処理画像の画素数を、縦横それぞれ、原画像の１／Ｎ１ とする）被写体抽出を行い、中サイズであれば、画像の解像度を中間程度に変換して（処理画像の画素数を、縦横それぞれ、原画像の１／Ｎ２ とする）被写体抽出を行い、小サイズであれば、画像を高い（細かい）解像度に変換して（処理画像の画素数を、縦横それぞれ、原画像の１／Ｎ３ とする）して被写体抽出を行う。なお、以上の例においては、Ｎ１ ＞Ｎ２ ＞Ｎ３ である。
あるいは、特開平９−１３８４７１号公報に開示される輪郭線抽出による被写体抽出のように、基準点からの探索領域を想定して被写体抽出を行う方法では、主要部の大きさに応じて探索領域を設定することで、抽出の効率を向上することができる（同公報図１４参照）。
【００４４】
また、主要部の状態を天地方向で分類することにより、画像の天地方向に応じて、前述の、胴体抽出や眼部抽出等の線対称軸の方向や、頭髪部抽出の凹凸の方向を一義的に決定できる。そのため、各抽出方法において、天地方向に応じて、胴体候補や頭髪部候補の選択や、その演算方法を、大幅に簡略化して設定しておけばよい。
主要部の状態を画像中の上下左右等の位置で分類した際には、各被写体抽出の検索（サーチ）領域を、その領域に限定するように、各被写体抽出方法を設定すればよい。
【００４５】
さらに、主要部の状態を色分布で分類した際には、探索する主要部の色の定義（色空間上のエリア（範囲）設定）を、類似コマの主要部の色分布付近に絞って設定することができ、これにより抽出精度および効率を向上できる。例えば、顔抽出（肌抽出）であれば、撮影状況、光源種による色味の偏より、化粧肌、皮膚の色の個人差等を想定して、通常は、探索する肌色エリアを広めに設定するが、探索する肌色エリアを類似コマの肌色の色味に合わせたエリアに限定を行うことで、顔抽出の精度向上および演算時間短縮による抽出効率の向上が図れる。
また、主要部の状態を濃度分布で分類した際には、探索する主要部の濃度エリア（範囲）を、類似コマの主要部の濃度付近に絞って設定することができ、これにより抽出精度および効率を向上できる。例えば、類似コマがストロボ撮影であれば、濃度（ネガ濃度）の高いエリアのみを探索エリアとすることにより、演算時間の短縮および誤抽出を低減して、類似コマと同様に高濃度となっている主要部を抽出でき、逆に逆光シーンであれば、濃度の低いエリアのみを探索エリアとして、同様の効果が得られる。さらに、通常シーンであれば、類似コマの主要部濃度に応じた所定濃度エリアを探索エリアとすることで、演算時間を短縮できると共に、極端に明るい、あるいは暗い被写体を誤抽出することが回避して、抽出精度を向上できる。
【００４６】
類似性の判別は、画像特徴量、例えば、６分割程度の領域別平均濃度値、濃度ヒストグラムの形状（ピーク位置等）、濃度分布、ハイライト（最低濃度）、シャドー（最高濃度）、平均濃度等の１以上を用いて判別すればよい。
フィルムＦが前述の新写真システムのフィルムである場合には、フィルムに磁気記録され他各種の情報、例えば、撮影日時、ストロボ発光の有無、シーン情報、セレクトタイトル等も、類似性の判別手段として利用してもよい。
【００４７】
なお、画像の類似性の判別は、どの部位で行ってもよいが、図示例においては、設定部７２Ｂが画像特徴量の算出を行うので、類似性の判別は、一例として設定部７２Ｂで行し、その情報を抽出部７２Ａが受取り、類似画像の主要部状態に応じた顔抽出アルゴリズムを用いて顔抽出を行う。
画像の類似性に応じた主要部状態の選択は、フィルム１本等において、処理を行った画像（コマ）の画像特徴量（類似性判別のパラメータ）および主要部の状態を記憶しておいてもよく、あるいは、類似性判別パラメータと主要部の状態との関係を対応付けて記憶しておいてもよい。
【００４８】
セットアップ部７２においては、必要に応じて、主要部抽出の適否の判定を行ってもよい。
この判定方法には特に限定はなく、例えば、複数の被写体抽出を行って顔候補領域を抽出した場合に、抽出された全顔候補領域を合成して、全抽出方法で重複した領域の面積を求め、各抽出方法毎に抽出領域と重複領域との面積比を求め、全てあるいは所定数以上の抽出方法において、面積比が所定の閾値（Ｔｈ）を超えていれば、顔抽出結果が適正であると判定し、それ以外の場合には、不適性であると判定する方法が例示される。
また、別の判定方法として、抽出方法Ａで抽出した顔候補領域は１点、抽出方法Ｂで抽出した顔候補領域は２点、両者が重複した顔候補領域は３点等、抽出した顔候補領域に応じて重み付け点数を設定しておき、その合計点を算出し、合計点がある閾値を超えれば顔抽出結果が適正、閾値以下であれば不適性と判定する方法が例示される。
【００４９】
さらに、新写真システムのフィルムには、磁気情報として被写体輝度データも記録できるが、撮影の際の合焦時の画像の輝度データを利用して、顔抽出結果の適否を判定してもよい。
例えば、撮影時に、カメラのフォーカスロック機能を利用して、顔（主要被写体）を中央エリアとして被写体輝度を測定して、輝度情報を、例えば、新写真システムのフィルムに磁気記録しておく。その上で、抽出を行う際に、顔領域とその周辺領域の輝度の関係、および抽出した顔領域とその周辺領域の濃度の関係を見て、その整合性を判定し、顔領域の輝度が周辺領域の輝度に比して十分に高く、かつ、抽出した顔領域の濃度（本例はネガ濃度）が周辺領域の濃度に比して十分に高い場合は、顔抽出結果が適正であると判定する。
【００５０】
また、同様の被写体輝度データを顔抽出の補助情報として利用してもよい。
例えば、画像を大まかに分割して、各ブロックの濃度データを算出し、顔があると推測されるブロック（着目ブロック）とその周辺ブロックとの濃度の関係、および着目ブロックと周辺ブロックの被写体輝度の関係を調べる。
その上で、濃度と輝度の関係が、共に上記判定方法で適正と判定できる関係である場合には、着目ブロックに顔が存在する可能性が高いと推定できるので、着目ブロックに絞って顔抽出を行う。これにより、抽出領域を大幅に狭くして、演算時間の短縮等を計って、顔抽出の効率を向上できる。
【００５１】
なお、先に類似画像があって、その主要部の状態に応じた顔抽出パラメータで顔抽出を行った際に、抽出結果が不適正であると判定された際には、類似画像がない場合と同様に、前述の被写体抽出方法をすべて行って顔抽出を行う。
【００５２】
セットアップ部７２の設定部７２Ｂは、プレスキャンメモリ５２からプレスキャンデータを読み出し、プレスキャンデータから、濃度ヒストグラムの作成や、平均濃度、ハイライト（最低濃度）、シャドー（最高濃度）等の画像特徴量の算出を行い、本スキャンの読取条件を決定し、また、濃度ヒストグラムや画像特徴量に加え、抽出部７２Ａが抽出した画像の主要部、さらには必要に応じて行われるオペレータによる指示等に応じて、グレイバランス調整、階調補正および濃度調整を行うＬＵＴの作成、ＭＴＸ演算式の作成、鮮鋭度補正係数の算出等、プレスキャン処理部５６および本スキャン処理部５８における各種の画像処理条件を設定する。
また、設定部７２Ｂは、算出した画像特徴量等から、先に処理した画像とこれから処理する画像の類似性を判定し、先に類似した画像がある場合には、その情報を抽出部７２Ａに送る。抽出部７２Ａは、それに応じて、類似画像の主要部の状態に応じた顔抽出アルゴリズムを用いて顔抽出を行う。
【００５３】
ここで、設定部７２Ｂは、画像処理条件を設定する画像が、先に処理した画像に類似した画像があって、その類似画像がオペレータによる調整を施された場合には、その画像の画像処理条件にも、類似画像に施された画像調整を反映させるのが好ましい。
なお、設定する画像処理条件に反映すべきオペレータによる調整としては、色調整、濃度調整、光源補正、シャープネスやコントラスト等の各種の強調処理、赤目補正等が例示される。
【００５４】
キー補正部７４は、キーボード１８ａに設定された濃度（明るさ）、色、コントラスト、シャープネス、彩度等を調整するキーやマウス１８ｂで入力された各種の指示等に応じて、画像処理条件の調整量を算出し、パラメータ統合部７６に供給するものである。
パラメータ統合部７６は、設定部７２Ｂが設定した画像処理条件を受け取り、プレスキャン処理部５６および本スキャン処理部５８に設定し、さらに、キー補正部７４で算出された調整量に応じて、各部位に設定した画像処理条件を補正（調整）し、あるいは画像処理条件を再設定する。
【００５５】
以下、スキャナ１２および処理装置１４の作用を説明する。
フィルムＦのプリント作成を依頼されたオペレータは、フィルムＦに対応するキャリア３０をスキャナ１２に装填し、キャリア３０の所定位置にフィルムＦ（カートリッジ）をセットし、作成するプリントサイズ等の必要な指示を入力した後に、プリント作成開始を指示する。
これにより、スキャナ１２の可変絞り２４の絞り値やイメージセンサ（ラインＣＣＤセンサ）３４の蓄積時間がプレスキャンの読取条件に応じて設定され、その後、キャリア３０がフィルムＦをカートリッジから引き出して、プレスキャンに応じた速度で副走査方向に搬送して、プレスキャンが開始され、前述のように所定の読取位置において、フィルムＦがスリット走査されて投影光がイメージセンサ３４に結像して、フィルムＦに撮影された画像がＲ，ＧおよびＢに分解されて光電的に読み取られる。
また、このフィルムＦの搬送の際に、磁気記録媒体に記録された磁気情報が読み出され、また、コードリーダ４４によってＤＸコード等のバーコードが読まれ、必要な情報が所定の部位に送られる。
【００５６】
なお、プレスキャンおよび本スキャンは、１コマずつ行ってもよく、全コマあるいは所定の複数コマずつ、連続的にプレスキャンおよび本スキャンを行ってもよい。以下の例では、説明を簡潔にするために、１コマの画像読取を例に説明を行う。
【００５７】
プレスキャンによるイメージセンサ３４の出力信号は、アンプ３６で増幅されて、Ａ／Ｄ変換器３８に送られ、デジタル信号とされる。
デジタル信号は、処理装置１４に送られ、データ処理部４８で所定のデータ処理を施され、Ｌｏｇ変換器５０でデジタルの画像データであるプレスキャンデータとされ、プレスキャンメモリ５２に記憶される。
【００５８】
プレスキャンメモリ５２にプレスキャンデータが記憶されると、条件設定部６０のセットアップ部７２がこれを読み出し、抽出部７２Ａおよび設定部７２Ｂに供給する。
設定部７２Ｂは、まず、プレスキャンデータから、画像の濃度ヒストグラムの作成、ハイライトやシャドー等の画像特徴量の算出等を行い、本スキャンの読取条件を設定してスキャナ１２に供給し、また、画像特徴量から先に処理した画像との類似性を判定し、先に類似画像がある場合には、その情報を抽出部７２Ａに送り、また、類似画像がない場合には、その画像の画像特徴量（類似性判別パラメータ）を記憶する。
抽出部７２Ａにおいては、先頭コマやその画像が先に類似画像がない場合には、肌色・円形状抽出、顔輪郭・円形状抽出、背景部抽出等の前述の被写体抽出を全て行って、顔抽出を行うと共に、その画像の主要部（顔）の状態を記憶する。他方、その画像の類似画像が先にある場合には、類似画像の主要部の状態を読み出して、それに応じた顔抽出パラメータを用いて顔抽出を行う。顔抽出の結果は、設定部７２Ｂに供給される。
【００５９】
設定部７２Ｂは、顔抽出の結果を受け取ると、顔抽出結果、濃度ヒストグラムや画像特徴量、さらに、必要に応じて行われるオペレータの指示を加味して、処理部６６における画像処理条件を設定し、パラメータ統合部７６に供給する。
パラメータ統合部７６は、受け取った画像処理条件をプレスキャン処理部５６および本スキャン処理部５８の所定部位（ハードウエア）に設定する。
【００６０】
検定を行う場合には、プレスキャンデータが処理部６２によってプレスキャンメモリ５２から読み出され、処理部６２で処理され、画像データ変換部６４で変換されて、シュミレーション画像としてディスプレイ２０に表示される。
オペレータは、ディスプレイ２０の表示を見て、画像すなわち処理結果の確認（検定）を行い、必要に応じて、キーボード１８ａに設定された調整キー等を用いて色、濃度、階調等を調整する。
この調整の入力は、キー補正部７４に送られ、キー補正部７４は調整入力に応じた画像処理条件の補正量を算出し、これをパラメータ統合部７６に送る。パラメータ統合部７６は、送られた補正量に応じて、前述のように、処理部６２および６６のＬＵＴやＭＴＸ等を補正する。従って、この補正すなわちオペレータによる調整入力に応じて、ディスプレイ２０に表示される画像も変化する。
【００６１】
オペレータは、このコマの画像が適正（検定ＯＫ）であると判定すると、キーボード１８ａ等を用いてプリント開始を指示する。これにより、画像処理条件が確定し、スキャナ１２において可変絞り２４の絞り値等が設定された本スキャンの読取条件に応じて設定されると共に、キャリア３０が本スキャンに対応する速度でフィルムＦを搬送し、本スキャンが開始される。
なお、検定を行わない場合には、パラメータ統合部７６による本スキャン処理部５８への画像処理条件の設定を終了した時点で画像処理条件が確定し、本スキャンが開始される。
【００６２】
本スキャンは、可変絞り２４の絞り値等の読取条件が設定された本スキャンの読取条件となる以外はプレスキャンと同様に行われ、イメージセンサ３４からの出力信号はアンプ３６で増幅されて、Ａ／Ｄ変換器３８でデジタル信号とされ、処理装置１４のデータ処理部４８で処理されて、Ｌｏｇ変換器５０で本スキャンデータとされ、本スキャンメモリ５４に送られる。
本スキャンデータが本スキャンメモリ５４に送られると、本スキャン処理部５８によって読み出され、処理部６６において確定した画像処理条件で画像処理され、次いで、画像データ変換部６８で変換されて出力用の画像データとされ、プリンタ１６に出力される。
【００６３】
プリンタ１６は、供給された画像データに応じて感光材料（印画紙）を露光して潜像を記録するプリンタ（焼付装置）と、露光済の感光材料に所定の処理を施してプリントとして出力するプロセサ（現像装置）とを有して構成される。
プリンタでは、例えば、感光材料をプリントに応じた所定長に切断した後に、バックプリントを記録し、次いで、感光材料の分光感度特性に応じたＲ露光、Ｇ露光およびＢ露光の３種の光ビームを処理装置１４から出力された画像データに応じて変調して主走査方向に偏向すると共に、主走査方向と直交する副走査方向に感光材料を搬送することにより、前記光ビームで感光材料を２次元的に走査露光して潜像を記録し、プロセサに供給する。感光材料を受け取ったプロセサは、発色現像、漂白定着、水洗等の所定の湿式現像処理を行い、乾燥してプリントとし、フィルム１本分等の所定単位に仕分して集積する。
【００６４】
以上、本発明の主要被写体抽出方法について詳細に説明したが、本発明は上記実施例に限定はされず、本発明の要旨を逸脱しない範囲において、各種の改良および変更を行ってもよいのはもちろんである。
【００６５】
【発明の効果】
以上、詳細に説明したように、本発明によれば、デジタルフォトプリンタ等のフォトプリンタにおいて、高精度な主要被写体の抽出を、良好な効率で、様々な状態の画像に対応して安定して行うことができ、高画質な画像が再生された高品位なプリントを、良好な効率で作成することができる。
【図面の簡単な説明】
【図１】本発明の主要被写体抽出方法の一例を利用するデジタルフォトプリンタのブロック図である。
【図２】（Ａ）は、図１に示されるデジタルフォトプリンタに装着されるキャリアを説明するための概略斜視図、（Ｂ）は図１に示されるデジタルフォトプリンタのイメージセンサの概念図である。
【図３】図１に示されるデジタルフォトプリンタの画像処理装置のブロック図である。
【符号の説明】
１０ （デジタル）フォトプリンタ
１２ スキャナ
１４ （画像）処理装置
１６ プリンタ
１８ 操作系
２０ ディスプレイ
２２ 光源
２４ 可変絞り
２８ 拡散ボックス
３０ キャリア
３２ 結像レンズユニット
３４ イメージセンサ
３４Ｒ，３４Ｇ，３４Ｂ ラインＣＣＤセンサ
３６ アンプ
３８ Ａ／Ｄ変換器
４０ マスク
４４ コードリーダ
４８ データ処理部
５０ Ｌｏｇ変換器
５２ プレスキャン（フレーム）メモリ
５４ 本スキャン（フレーム）メモリ
５６ プレスキャン処理部
５８ 本スキャン処理部
６０ 条件設定部
６２，６６ （画像データ）処理部
６４，６８ 画像データ変換部
７２ セットアップ部
７２Ａ （主要部）抽出部
７２Ｂ 設定部
７４ キー補正部
７６ パラメータ統合部[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention belongs to a technical field of main subject extraction for extracting a main subject from an original image such as an image photographed on a film, which is preferably used for a photo printer or the like.
[0002]
[Prior art]
At present, printing of an image photographed on a photographic film (hereinafter referred to as a film) such as a negative film or a reversal film onto a photosensitive material (photographic paper) is performed by projecting an image of the film onto the photosensitive material and exposing the photosensitive material to a surface exposure. So-called direct exposure (analog exposure) is the mainstream.
[0003]
On the other hand, in recent years, a printing apparatus using digital exposure, that is, an image recorded on a film is photoelectrically read, and after the read image is converted into a digital signal, various image processes are performed to perform recording. 2. Description of the Related Art Digital photo printers have been put to practical use in which a photosensitive material is scanned and exposed by recording light modulated according to the image data to record an image (latent image) and print (finished).
[0004]
In a digital photo printer, an image can be converted into digital image data, and the exposure conditions at the time of printing can be determined by image data processing. 3) By suitably performing processing, correction of color or density feria, and the like, it is possible to obtain high-quality prints that cannot be obtained by conventional direct exposure. Further, synthesis of a plurality of images, image division, and synthesis of characters can also be performed by image data processing, and prints that have been freely edited / processed according to the intended use can be output.
In addition, according to the digital photo printer, not only can images be output as prints (photos), but also image data can be supplied to a computer or the like or stored on a recording medium such as a floppy disk. Can be used for various purposes other than photography.
[0005]
Such a digital photo printer basically includes a scanner (image reading device) for photoelectrically reading an image recorded on a film, and image processing of the read image to output image data (exposure conditions). An image input device having an image processing device, a printer (image recording device) for scanning and exposing a photosensitive material in accordance with image data output from the image input device to record a latent image, and a developing process for the exposed photosensitive material And an image output device having a processor (developing device) for performing printing.
[0006]
In a scanner, reading light emitted from a light source is incident on a film to obtain projection light carrying an image photographed on the film, and this projection light is imaged on an image sensor such as a CCD sensor by an imaging lens. The image is read by photoelectric conversion and subjected to various types of image processing as necessary, and then sent to an image processing apparatus as film image data (image data signal).
The image processing apparatus sets image processing conditions from image data read by a scanner, performs image processing according to the set conditions on the image data, and outputs the image data to a printer as output image data (exposure conditions) for image recording. send.
In a printer, for example, if the apparatus uses light beam scanning exposure, the light beam is modulated according to the image data sent from the image processing apparatus, and the light beam is deflected in the main scanning direction and the main scanning is performed. The photosensitive material is conveyed in a sub-scanning direction perpendicular to the direction, so that the photosensitive material is exposed (burned) by a light beam carrying an image to form a latent image, and then processed in a processor in accordance with the photosensitive material. To obtain a reproduced print (photograph) of the image photographed on the film.
[0007]
[Problems to be solved by the invention]
By the way, regardless of such digital photo printers and ordinary analog photo printers (hereinafter collectively referred to as photo printers), when a person is present in an image, the face of the person is regarded as the most important, The finish greatly affects the quality and evaluation of the reproduced image, that is, the print.
[0008]
Therefore, in a conventional photo printer, a person's face (face area) is extracted from an image photographed on a film, and exposure conditions such that the face is preferably finished, that is, a digital photo printer is used to obtain output image data. Image processing conditions are determined for an analog photo printer, such as an exposure light amount and an insertion amount of a color filter.
In particular, in a digital photo printer, as described above, image processing with very high degree of freedom can be performed by image data processing. Therefore, face information is used to set optimal image processing conditions according to an image. It becomes important information, and by performing appropriate face extraction, high-quality prints can be stably created.
[0009]
Under such circumstances, conventionally, various methods of subject extraction for extracting not only faces but also various main subjects have been proposed. For example, skin color extraction using hue and saturation of an image has been proposed. Also, contour extraction and the like by detecting an edge portion of an image are known.
[0010]
Here, the state of the image photographed on the film changes according to various photographing conditions such as flash photography, a backlight scene, and the like, and the state of the main subject in the image such as the size and the vertical direction also varies depending on the image (scene). is there.
In an ordinary photo printer, subject extraction is performed in a number of ways and corresponding to the four image top and bottom directions, and the main subject of the image is extracted (determined) by combining the extraction results of each subject extraction method. The main subject can be extracted with good accuracy corresponding to various kinds of images.
[0011]
For this reason, the extraction of the main subject is a time-consuming process, which is one of the causes of a decrease in the efficiency of print creation. When erroneous extraction is performed, the image quality of the obtained image may be adversely affected.
[0012]
An object of the present invention is to solve the problems of the prior art, and in digital or analog photo printers and the like, corresponding to images and main subjects in various states, extracting a main subject in an image, It is an object of the present invention to provide a main subject extracting method which can be performed with good efficiency and accuracy and can improve print production efficiency and the like.
[0013]
[Means for Solving the Problems]
In order to achieve the above object, the present invention provides a main subject extraction method for extracting a main subject in an image, wherein the main subject is extracted from a first image.
Determining, using image information, whether or not there is similarity between the first image and a second image from which a main subject is to be extracted; and Extracting the main subject from the second image using the main subject extraction algorithm used in extracting the main subject from the first image when it is determined that there is similarity with the image of the first image. And a method for extracting a main subject.
[0014]
In the main subject extraction method, a main subject extraction algorithm is set in advance for each of a plurality of types of items representing the state of the image area relating to the main subject in the image. The subject extraction algorithm is an extraction algorithm selected from one of the plurality of items or a combination of a plurality of extraction algorithms selected from a plurality of items among the plurality of items. preferable.
The plurality of types of items representing the state of the image area relating to the main subject include, for example, the size of the image area, the position of the image area, the orientation of the main subject in the image, the color distribution of the image area, and the image It includes at least one or more of the density distribution of the region.
Further, the extraction of the main subject is sequentially performed for a plurality of images, and in the step of extracting the main subject of the first image, the image to be extracted first among the plurality of images includes In the step of extracting a main subject by using a plurality of set extraction algorithms, determining a state of an image area related to the main subject in the extracted image, and extracting the main subject in the second image, Of the plurality of extraction algorithms used for the image, an extraction algorithm corresponding to the state of the image area with respect to the main subject in the first image is used to sequentially extract the main subject for the images after the first image. Preferably, an extraction is performed.
The plurality of images are captured images of a main subject, and in the step of extracting the main subject, the main subject at the time of shooting and its surroundings are captured using shooting brightness data obtained at the time of shooting. The relationship between the image density and the area is determined, and the relationship between the image density between the main subject and the surrounding area in the second image is determined. It is preferable to judge the suitability of the extracted result of the extracted main subject using the characteristics.
[0015]
Another aspect of the present invention is an image processing apparatus that extracts a main subject in an image using a plurality of images, and performs image processing based on the extracted main subject. A main subject extraction unit that performs image processing, an image processing unit that performs image processing on the image based on the main subject extracted by the main subject extraction unit, an already extracted image in which the main subject has already been extracted by the main subject extraction unit, Determining whether or not there is similarity between an image and an unextracted image from which a main subject is to be extracted by the main subject extracting unit, using image information; anda main subject extracting unit, For the unextracted image determined to be similar to the extracted image by the determination means, the main subject is extracted using the main subject extraction algorithm used for the extracted image. To provide an image processing apparatus and performing.
[0016]
At this time, the determining unit sequentially determines the presence or absence of similarity with the extracted image for the plurality of unextracted images, and the image processing unit determines the same image for the images determined to have similarity by the determining unit. Preferably, a treatment is applied.
[0017]
BEST MODE FOR CARRYING OUT THE INVENTION
Hereinafter, a main subject extraction method of the present invention will be described in detail based on a preferred embodiment shown in the accompanying drawings.
[0018]
FIG. 1 is a block diagram showing an example of a digital photo printer using the main subject extracting method of the present invention.
The digital photo printer (hereinafter, referred to as a photo printer 10) illustrated in FIG. 1 basically includes a scanner (image reading device) 12 that photoelectrically reads an image captured on a film F, and read image data ( An
The
[0019]
In addition, the main subject extraction method of the present invention is not limited to such a digital photo printer, but also photoelectrically reads an image photographed on a film, and obtains a variable aperture for adjusting an exposure light amount from the obtained image data. Exposure conditions (image processing conditions) such as an aperture value and a color filter insertion amount for color adjustment are determined, and light incident on the film (or projection light of the film) is adjusted according to the exposure conditions. The present invention can also be suitably used in a conventional direct exposure analog photo printer that exposes a photosensitive material with film projection light.
[0020]
The
[0021]
Further, in the
When reading an image photographed on the film F in such a
[0022]
The
The film F is positioned at the reading position by the
[0023]
Further, a magnetic recording medium is formed on the film of the new photographic system, and information recorded on the magnetic recording medium is read by a carrier corresponding to the film (cartridge) of the new photographic system. A magnetic head for recording information is provided. When reading an image on the film F, magnetic information is read by the magnetic head, and necessary information is sent from the
[0024]
As described above, the reading light is transmitted through the film F held by the
As shown in FIG. 2B, the
The output signal of the
[0025]
The
The pre-scan is performed under pre-scan reading conditions set in advance so that the
The output signals of the pre-scan and the main scan are basically the same data except that the resolution and the output level are different.
[0026]
In the digital photo printer using the main subject extracting method of the present invention, the scanner is not limited to such a slit-scanning type, but uses a surface exposure that reads the entire image of one frame at a time. It may be.
In this case, for example, using an area CCD sensor, providing means for inserting R, G, and B color filters between the light source and the film F, inserting a color filter, and reading an image with the area CCD sensor. Is sequentially performed by each of the R, G, and B color filters, and the image captured on the film is separated into three primary colors, and sequentially performed.
[0027]
As described above, the digital signal output from the
FIG. 3 shows a block diagram of the
FIG. 3 mainly shows parts related to image processing. The
[0028]
The R, G, and B digital signals output from the
The pre-scan data stored in the
[0029]
The
The image processing by both processing units is not particularly limited, and various known image processings are exemplified. For example, gray balance adjustment using a LUT (look-up table), gradation correction, and density (brightness) Adjustment, correction of imaging light source type by matrix (MTX), saturation adjustment of image (color adjustment), averaging process and interpolation using low-pass filter, adder, LUT, MTX, etc., and appropriately combining these Examples include electronic scaling processing, dodging processing (compression / expansion of density dynamic range), sharpness (sharpening) processing, and the like using arithmetic and the like.
These image processing conditions are set in a
[0030]
The image
The image
The processing conditions in both cases are set by the
[0031]
The
The
[0032]
The
The
[0033]
The
Although there is no particular limitation on the subject extraction method executed in the present invention, the
In addition, in the present invention, various other known subject extraction methods can be used. For example, JP-A-4-346332, JP-A-4-346333, JP-A-4-346334, and JP-A-5-100328 can be used. Nos. 5-158164, 5-165119, 5-165120, 6-67320, 6-160992, 6-160993, 6-160994, 6-160995, Various subject extraction methods disclosed in JP-A-8-122944, JP-A-9-80652, JP-A-9-101579, JP-A-9-138470, and JP-A-9-138471 are exemplified.
[0034]
The skin color / circular shape extraction extracts a face region by performing skin color extraction and circular shape extraction.
That is, the hue and saturation of each pixel are found from pre-scan data (thinning may be performed as necessary), and a pixel area (skin color area) that can be estimated as a skin color of human skin is extracted. Is generally elliptical, a (elliptical) circular shape presumed to be a human face is extracted from the extracted flesh color region, and is used as a face region candidate.
[0035]
In the face contour / circular shape extraction, a face region is extracted by performing face contour extraction and circular shape extraction by edge extraction.
First, the pre-scan data (which can be thinned out if necessary) is binarized with a predetermined threshold value, and an area composed of pixels having a lower density than the threshold value (if the film F is negative, the output print Therefore, the area is divided into a “black area”) and an area composed of pixels with a density higher than the threshold (also referred to as a “white area”). Next, the contour of each black region and white region is traced, the curvature of the contour is calculated, and the concave and convex portions are extracted.
Next, from the traced contour line, a line (specific line) that is presumed to correspond to the side of the human face is extracted from the line length, curvature, unevenness, and symmetry with other lines, The symmetry axis of a specific line that forms a symmetry is set, and the line-to-line ratio of the corresponding line (velocity ratio) and the line symmetry similarity of the line obtained from image data, binary data, etc. A line that can be assumed to form both sides of the face (assumed line) is extracted.
Furthermore, it is determined whether there is a line having a vector in a direction substantially orthogonal to the hypothetical line at the upper and lower parts of the hypothetical line, that is, at the position corresponding to the boundary line between the face, the hair, and the torso (neck and shoulder). If detected and present, this line is determined as a line forming both sides of the human face in consideration of the previously determined line symmetry similarity as necessary.
Next, in a region surrounded by the line, an elliptical shape corresponding to the above-mentioned history ratio is extracted and set as a face candidate region.
[0036]
In the torso / circular shape extraction, a face region is extracted by extracting a torso contour and a circular shape by edge extraction.
First, in the same manner as in the above-described face outline extraction, a white area and a black area are discriminated by binarizing an image, and the outline of both areas is traced. Next, from the traced contour line, a set of lines in which the distance between the end points is short and the angle formed by the line is within a predetermined range is regarded as corresponding to the torso neck to shoulder, shoulder to arm or torso lower part, and It is extracted as a set of lines that can be one side.
Next, the two lines are extended until they are connected to generate a line (one-sided candidate line) that is a one-sided candidate of the body contour, and a line (a symmetrical line) that may form a pair of each one-sided candidate line and the body contour. ) To extract. This extraction may be performed based on, for example, whether or not there is a possibility of forming a recess facing the one side candidate line. Further, a line symmetry axis between each one-side candidate line and the line of symmetry is set, and it is determined whether an angle formed between both lines and the line-symmetric axis is within a predetermined angle. From the result, a one-side candidate that can be determined as a body contour is determined. A pair of a line and a symmetric line is extracted.
Finally, based on the position, size, interval, and direction of the axis of symmetry of the one-sided candidate line and the symmetric line of the obtained torso contour, it is estimated that the torso contour forms an elliptical shape corresponding to the human face. A region to be extracted is extracted as a face candidate region.
[0037]
In the eye / circular shape extraction, a face region is extracted by performing human eye extraction and circular shape extraction.
First, a white area and a black area are binarized by binarizing an image in the same manner as in the above-described face contour extraction, and an elliptical shape having a long axis / single axis ratio in a predetermined range, which is obtained from general human eyes. A black region is extracted as a region that may correspond to the eye of the face (referred to as an eye candidate region). Next, the angle of the major axis of the extracted eye candidate region is obtained, the elliptical black region in which the difference in the major axis is within a predetermined range is obtained, and the eye candidate region forming a pair with the previously extracted eye candidate region. Extract as
For each pair of eye candidate regions extracted in this way, a line symmetry axis perpendicular to the line connecting the centers of the binocular candidate regions is set, the line symmetry similarity is determined, and the eye A black area that can be estimated as a part is extracted.
Finally, based on the position, size, and direction of the axis of symmetry of the extracted black region that can be estimated as the eye part, the region estimated to form an ellipse corresponding to the face of a person who looks at this black region. Is extracted as a face candidate area.
[0038]
In the hair part / circular shape extraction, a face region is extracted by extracting a human hair and a circular shape by edge extraction.
First, a white area and a black area are divided by binarizing an image in the same manner as in the above-described face outline extraction, the outline of the black area is traced, and the curvature of the outline is calculated. Next, from this curvature, a black region including both a convex portion that is considered to correspond to the top of a person's head and a concave portion that is considered to correspond to the boundary between the face and the hair portion is extracted, and the characteristic amount of the concave portion and the convex portion is extracted. For example, by calculating a circular curvature, using the circular curvature, a contour that can be estimated to be the head of a person from the degree of circularity, the ratio of the concave portion and the convex portion to the contour perimeter, the position and direction of the contour, and the like. Is extracted, and a region estimated to form an elliptical shape corresponding to the face of the person having the hair portion is extracted as a face candidate region.
[0039]
In the background part extraction, a background part other than a person is extracted by using contour extraction to obtain auxiliary information such as face extraction.
First, a white area and a black area are divided by binarizing an image in the same manner as in the above-described face outline extraction, and the outline of each area is traced to calculate the ratio of straight lines in the outline. A weight coefficient is assigned to the region. Next, a line target axis extending in the vertical direction of the image is set for each contour, the degree of line symmetry is calculated, and a weight coefficient is assigned to an area where the degree of line symmetry is equal to or less than a predetermined value. Next, a contact ratio of each contour with the outer edge of the image is calculated, and a weight coefficient is assigned to a region where the contact ratio is equal to or more than a predetermined value. Next, the density contrast inside each area is calculated, and a negative weight coefficient is given to the area where the contrast is equal to or less than a predetermined value. Further, the density value inside each area is differentiated in a plurality of different predetermined directions, and an area in which any of the differential values along the plurality of directions changes regularly, that is, the density changes in a predetermined pattern, Alternatively, a weight coefficient is given to a region where this is repeated.
All of the regions to which the weight coefficient is given by the above operation are regions where the probability of being a person is low, and the region where the weight coefficient is equal to or more than a predetermined value can be determined to be the background portion of the image. This can be used for face extraction.
[0040]
In the
Here, in the set-up
The
[0041]
As described above, in the normal main part extraction, in order to perform face extraction with good accuracy corresponding to various images, a large number of subjects are extracted in four vertical directions, and as a result, Is used to extract faces.
Here, according to the study of the present inventor, if the images (scenes) are similar in one film F or the like, the state of the main part is usually similar, and If, for example, the vertical direction and the size are known, it is not necessary to extract a large number of subjects corresponding to various image states. High-precision extraction can be performed.
Therefore, according to the present invention, a high-precision extraction of a main part of an image having a similar image can be performed with good efficiency by greatly reducing the calculation time and the like. In addition, erroneous extraction due to unnecessary subject extraction can be reduced, and adverse effects on the output image due to this can be eliminated.
[0042]
In the present invention, the state of the main part to be classified is not particularly limited, and examples thereof include a size, a vertical direction (up and down and left and right directions of an image), a position, a color distribution, a density distribution, and the like. The classification may be made by combining a plurality of states.
[0043]
For example, when the state of the main part is classified according to the size, the state is classified into a large size, a medium size, a small size, and the like according to an area occupied in an image.
Then, for example, if the size is large, the image is converted to a low (coarse) resolution (the number of pixels of the processed image is reduced by 1 / N of the original image in each of the vertical and horizontal directions) 1 If the image is of medium size, the resolution of the image is converted to an intermediate level (the number of pixels of the processed image is set to 1 / N of the original image in each of the vertical and horizontal directions). 2 If the object size is small, the image is converted to a high (fine) resolution (the number of pixels of the processed image is reduced by 1 / N 3 ) To extract a subject. In the above example, N 1 > N 2 > N 3 It is.
Alternatively, in a method of extracting a subject assuming a search area from a reference point as in the case of extracting a subject by contour extraction disclosed in Japanese Patent Application Laid-Open No. 9-138471, the search area is determined according to the size of the main part. Is set, the efficiency of extraction can be improved (see FIG. 14 of the publication).
[0044]
In addition, by classifying the state of the main part by the vertical direction, the direction of the axis of line symmetry such as the above-mentioned body extraction or eye extraction and the direction of the unevenness of the hair part extraction are defined according to the vertical direction of the image. Can be determined. Therefore, in each extraction method, the selection of the body candidate and the hair part candidate and the calculation method thereof may be greatly simplified and set according to the up-down direction.
When the state of the main part is classified based on the position such as up, down, left, or right in the image, each subject extraction method may be set so that the search area for each subject extraction is limited to that area.
[0045]
Furthermore, when the state of the main part is classified by color distribution, the definition of the color of the main part to be searched (area (range) setting in the color space) is set by narrowing down to the vicinity of the main part color distribution of similar frames. And thereby improve extraction accuracy and efficiency. For example, in the case of face extraction (skin extraction), the skin color area to be searched is usually set to be wider, assuming individual differences in makeup skin, skin color, etc., based on the bias of color depending on shooting conditions and light source types. However, by limiting the skin color area to be searched to an area that matches the skin color of a similar frame, it is possible to improve the accuracy of face extraction and the extraction efficiency by shortening the calculation time.
In addition, when the state of the main part is classified by the density distribution, the density area (range) of the main part to be searched can be set to be close to the density of the main part of the similar frame, thereby obtaining the extraction accuracy and Efficiency can be improved. For example, if the similar frame is flash photography, only the area having a high density (negative density) is set as the search area, so that the calculation time is reduced and erroneous extraction is reduced. In the case of a backlight scene, the same effect can be obtained by setting only the low density area as the search area. Further, in the case of a normal scene, the calculation time can be reduced by setting a predetermined density area corresponding to the main portion density of the similar frame as a search area, and an extremely bright or dark subject is prevented from being erroneously extracted. Thus, the extraction accuracy can be improved.
[0046]
The similarity is determined by determining image feature amounts, for example, an average density value for each area of about six divisions, a density histogram shape (peak position or the like), a density distribution, a highlight (lowest density), a shadow (highest density), and an average density. The determination may be made using at least one of the above.
When the film F is a film of the above-mentioned new photographic system, various kinds of information magnetically recorded on the film, for example, shooting date and time, presence or absence of strobe light emission, scene information, select title, etc. are also used as similarity determination means. May be used.
[0047]
The determination of the similarity of the image may be performed at any part. However, in the illustrated example, since the
The selection of the main part state according to the similarity of the images is performed by storing the image feature amount (similarity determination parameter) of the processed image (frame) and the state of the main part in one film or the like. Alternatively, the relationship between the similarity determination parameter and the state of the main part may be stored in association with each other.
[0048]
The
This determination method is not particularly limited. For example, when a plurality of subjects are extracted and a face candidate region is extracted, all the extracted face candidate regions are combined, and the area of the overlapping region in the entire extraction method is calculated. The area ratio between the extraction region and the overlap region is calculated for each extraction method. If the area ratio exceeds a predetermined threshold (Th) in all or a predetermined number or more of the extraction methods, the face extraction result is appropriate. A method of judging that there is, and otherwise judging that it is inappropriate is exemplified.
As another determination method, the face candidate area extracted by the extraction method A is one point, the face candidate area extracted by the extraction method B is two points, and the face candidate area where both are overlapped is three points. An example is a method in which weighting points are set according to regions, the total points are calculated, and if the total points exceed a certain threshold, the face extraction result is determined to be appropriate.
[0049]
Furthermore, subject brightness data can be recorded on the film of the new photographic system as magnetic information, but the suitability of the face extraction result may be determined using the brightness data of the image at the time of focusing at the time of shooting.
For example, at the time of photographing, the luminance of the subject is measured using the focus lock function of the camera with the face (main subject) as a central area, and the luminance information is magnetically recorded on, for example, a film of a new photographic system. Then, at the time of extraction, the consistency between the face area and the surrounding area and the relationship between the density of the extracted face area and the surrounding area are determined, and the consistency of the face area is determined. If the luminance of the face area is sufficiently higher than the luminance of the peripheral area and the density of the extracted face area (negative density in this example) is sufficiently higher than the density of the peripheral area, it is determined that the face extraction result is appropriate. judge.
[0050]
Further, similar subject luminance data may be used as auxiliary information for face extraction.
For example, the image is roughly divided, the density data of each block is calculated, the relationship between the density of a block (target block) in which a face is presumed to exist and its peripheral blocks, and the subject brightness of the target block and peripheral blocks Find out the relationship.
Then, if the relationship between the density and the brightness is a relationship that can be determined to be appropriate by the above-described determination method, it can be estimated that there is a high possibility that a face exists in the target block. I do. As a result, the extraction area can be significantly narrowed, the calculation time can be reduced, and the efficiency of face extraction can be improved.
[0051]
If there is a similar image first and face extraction is performed using face extraction parameters corresponding to the state of the main part, and if the extraction result is determined to be inappropriate, there is no similar image. Similarly to the above, face extraction is performed by performing all the above-described subject extraction methods.
[0052]
The
Further, the
[0053]
Here, if the image for which the image processing conditions are set includes an image similar to the previously processed image, and the similar image has been adjusted by the operator, the
Note that examples of adjustments by the operator that should be reflected in the set image processing conditions include color adjustment, density adjustment, light source correction, various enhancement processes such as sharpness and contrast, and red-eye correction.
[0054]
The
The
[0055]
Hereinafter, the operation of the
The operator requested to make a print of the film F loads the
As a result, the aperture value of the
When the film F is transported, magnetic information recorded on the magnetic recording medium is read, and a bar code such as a DX code is read by the
[0056]
Note that the pre-scan and the main scan may be performed one frame at a time, or the pre-scan and the main scan may be performed continuously for all frames or a predetermined plurality of frames. In the following example, for the sake of simplicity, the explanation will be made by taking an example of reading one frame.
[0057]
The output signal of the
The digital signal is sent to the
[0058]
When the pre-scan data is stored in the
The
In the
[0059]
Upon receiving the result of the face extraction, the
The
[0060]
When performing the test, the pre-scan data is read from the
The operator looks at the
The input of this adjustment is sent to the
[0061]
When the operator determines that the image of this frame is proper (test OK), the operator instructs the start of printing using the
If the verification is not performed, the image processing conditions are determined when the setting of the image processing conditions in the main
[0062]
The main scan is performed in the same manner as the pre-scan except that the read conditions such as the aperture value of the
When the main scan data is sent to the
[0063]
The
In a printer, for example, after cutting a photosensitive material into a predetermined length corresponding to a print, a back print is recorded, and then three types of light beams of R exposure, G exposure, and B exposure according to the spectral sensitivity characteristics of the photosensitive material. Is modulated in accordance with the image data output from the
[0064]
As described above, the main subject extraction method of the present invention has been described in detail. However, the present invention is not limited to the above embodiment, and various improvements and changes may be made without departing from the gist of the present invention. Of course.
[0065]
【The invention's effect】
As described above in detail, according to the present invention, in a photo printer such as a digital photo printer, high-precision extraction of a main subject is performed with good efficiency and stably in correspondence with images in various states. It is possible to produce a high-quality print reproduced with high-quality images with good efficiency.
[Brief description of the drawings]
FIG. 1 is a block diagram of a digital photo printer that uses an example of a main subject extraction method according to the present invention.
2A is a schematic perspective view illustrating a carrier mounted on the digital photo printer shown in FIG. 1, and FIG. 2B is a conceptual diagram of an image sensor of the digital photo printer shown in FIG. is there.
FIG. 3 is a block diagram of an image processing apparatus of the digital photo printer shown in FIG.
[Explanation of symbols]
10 (Digital) photo printer
12 Scanner
14 (Image) processing device
16 Printer
18 Operation system
20 Display
22 light source
24 Variable aperture
28 Diffusion box
30 career
32 imaging lens unit
34 Image Sensor
34R, 34G, 34B line CCD sensor
36 amplifier
38 A / D converter
40 mask
44 Code Reader
48 Data processing unit
50 Log converter
52 prescan (frame) memory
54 main scan (frame) memory
56 prescan processing unit
58 main scan processing unit
60 Condition setting section
62, 66 (image data) processing unit
64, 68 image data conversion unit
72 Setup section
72A (Main part) Extraction unit
72B setting section
74 key correction unit
76 Parameter Integration Unit
Claims (7)
第１の画像について主要被写体の抽出を行なうステップと、
前記第１の画像と、主要被写体の抽出を行なおうとする第２の画像との間の画像の類似性の有無を画像情報を用いて判定するステップと、
前記第２の画像が前記第１の画像と類似性有りと判定された場合、前記第１の画像の主要被写体の抽出の際に用いた主要被写体の抽出アルゴリズムを用いて前記第２の画像について主要被写体の抽出を行なうステップと、を有することを特徴とする主要被写体抽出方法。A main subject extraction method for extracting a main subject in an image,
Extracting a main subject from the first image;
Determining, using image information, whether or not there is image similarity between the first image and a second image for which a main subject is to be extracted;
If it is determined that the second image is similar to the first image, the second image is extracted using the main subject extraction algorithm used in extracting the main subject of the first image. Extracting a main subject.
前記第２の画像における主要被写体の抽出アルゴリズムは、前記複数種の項目の中の１つの項目から選択された抽出アルゴリズム、あるいは前記複数種の項目の中の複数の項目から選択された複数の抽出アルゴリズムの組み合わせである請求項１に記載の主要被写体抽出方法。In advance, for a plurality of types of items representing the state of the image area related to the main subject in the image, a main subject extraction algorithm is set in advance for each item,
The extraction algorithm of the main subject in the second image is an extraction algorithm selected from one of the plurality of types of items or a plurality of extraction algorithms selected from a plurality of items of the plurality of types of items. 2. The main subject extraction method according to claim 1, wherein the method is a combination of algorithms.
前記第１の画像の主要被写体の抽出を行なうステップでは、前記複数の画像のうち最初に抽出を行なう画像として、前記複数種の項目で設定される複数の抽出アルゴリズムを用いて主要被写体を抽出し、抽出した画像中における主要被写体に関する画像領域の状態を定め、
前記第２の画像の主要被写体の抽出を行なうステップでは、前記第１の画像に対して用いた複数の抽出アルゴリズムのうち、前記第１の画像中の主要被写体に関する前記画像領域の状態に対応した抽出アルゴリズムを用いて、前記第１の画像以降の画像について順次主要被写体の抽出を行なう請求項２または３に記載の主要被写体抽出方法。The extraction of the main subject is performed sequentially for a plurality of images,
In the step of extracting a main subject of the first image, the main subject is extracted using a plurality of extraction algorithms set by the plurality of items as an image to be extracted first among the plurality of images. Determine the state of the image area for the main subject in the extracted image,
In the step of extracting the main subject of the second image, the plurality of extraction algorithms used for the first image correspond to a state of the image area related to the main subject in the first image. 4. The main subject extraction method according to claim 2, wherein a main subject is sequentially extracted from the first and subsequent images using an extraction algorithm.
前記主要被写体の抽出を行なうステップでは、前記撮影の際に得られた撮影輝度データを用いて、撮影時の主要被写体とその周辺領域との間の輝度の関係を求めるとともに、前記第２の画像における主要被写体とその周辺領域との間の画像濃度の関係を求め、前記画像濃度の関係と前記輝度の関係との間の整合性を用いて、抽出した主要被写体の抽出結果の適否を判定する請求項１〜４のいずれか１項に記載の主要被写体抽出方法。The plurality of images are captured images of a main subject,
In the step of extracting the main subject, a luminance relationship between the main subject and a surrounding area at the time of photographing is obtained using photographing luminance data obtained at the time of photographing, and the second image is obtained. And determining the suitability of the extracted result of the extracted main subject by using the consistency between the relationship between the image density and the relationship between the brightness and the relationship between the image density and the luminance. The main subject extraction method according to claim 1.
画像から画像内の主要被写体の抽出を行なう主要被写体抽出手段と、
この主要被写体抽出手段によって抽出した主要被写体に基づいて前記画像に画像処理を施す画像処理手段と、
前記主要被写体抽出手段により既に主要被写体を抽出した既抽出画像と、前記主要被写体抽出手段により主要被写体を抽出しようとする未抽出画像との間の画像の類似性の有無を、画像情報を用いて判定する判定手段と、を有し、
前記主要被写体抽出手段は、前記判定手段によって既抽出画像と類似性有りと判定された未抽出画像について、既抽出画像に用いた主要被写体の抽出アルゴリズムを用いて主要被写体の抽出を行なうことを特徴とする画像処理装置。An image processing apparatus that extracts a main subject in an image using a plurality of images and performs image processing based on the extracted main subject,
Main subject extraction means for extracting a main subject in the image from the image,
Image processing means for performing image processing on the image based on the main subject extracted by the main subject extraction means;
The presence or absence of image similarity between an already extracted image from which a main subject has already been extracted by the main subject extraction unit and an unextracted image from which a main subject is to be extracted by the main subject extraction unit is determined by using image information. Determining means,
The main subject extracting means extracts a main subject from an unextracted image determined to be similar to the extracted image by the determining means, using a main subject extraction algorithm used for the extracted image. Image processing apparatus.
前記画像処理手段は、前記判定手段において類似性有りと判定された画像について同じ画像処理を施す請求項６に記載の画像処理装置。The determination unit sequentially determines the presence or absence of similarity with the extracted image for a plurality of unextracted images,
The image processing apparatus according to claim 6, wherein the image processing unit performs the same image processing on an image determined as having similarity by the determination unit.
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP05785498A JP3575976B2 (en) | 1998-03-10 | 1998-03-10 | Main subject extraction method |
| US09/260,516 US6529630B1 (en) | 1998-03-02 | 1999-03-02 | Method and device for extracting principal image subjects |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP05785498A JP3575976B2 (en) | 1998-03-10 | 1998-03-10 | Main subject extraction method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH11261812A JPH11261812A (en) | 1999-09-24 |
| JP3575976B2 true JP3575976B2 (en) | 2004-10-13 |
Family
ID=13067585
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP05785498A Expired - Lifetime JP3575976B2 (en) | 1998-03-02 | 1998-03-10 | Main subject extraction method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3575976B2 (en) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4424845B2 (en) | 1999-12-20 | 2010-03-03 | 本田 正 | Image data compression method and decompression method |
| JP2003022441A (en) * | 2001-07-06 | 2003-01-24 | Minolta Co Ltd | Method and program for area extraction, computer- readable recording medium with recorded program for area extraction, and device for area extraction. |
| KR100857463B1 (en) * | 2006-11-17 | 2008-09-08 | 주식회사신도리코 | Face Region Detection Device and Correction Method for Photo Printing |
| JP5247337B2 (en) * | 2008-10-02 | 2013-07-24 | キヤノン株式会社 | Image recognition apparatus and image recognition method |
| SG11201506229RA (en) * | 2013-02-27 | 2015-09-29 | Hitachi Ltd | Image analysis device, image analysis system, and image analysis method |
| JP6503308B2 (en) * | 2016-02-18 | 2019-04-17 | 富士通フロンテック株式会社 | Image processing apparatus and image processing method |
-
1998
- 1998-03-10 JP JP05785498A patent/JP3575976B2/en not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| JPH11261812A (en) | 1999-09-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7289664B2 (en) | Method of detecting and correcting the red eye | |
| JP4050842B2 (en) | Image processing method | |
| US6529630B1 (en) | Method and device for extracting principal image subjects | |
| JP3657769B2 (en) | Image processing method and image processing apparatus | |
| JP3557659B2 (en) | Face extraction method | |
| US6665434B1 (en) | Device, method, and recordium for correcting color imbalance of an image | |
| JP3907816B2 (en) | Image processing method | |
| US6701007B1 (en) | Image processing device, image processing method, and recording medium for correcting color balance of output images | |
| JP2001148780A (en) | Method for setting red-eye correction area and red-eye correction method | |
| JP4172663B2 (en) | Image processing method | |
| JP3576025B2 (en) | Main subject extraction method and apparatus | |
| JP2003209683A (en) | Image processing equipment and image processing method | |
| JP3405266B2 (en) | Image processing method and apparatus | |
| JP3575976B2 (en) | Main subject extraction method | |
| JP3964796B2 (en) | Red-eye detection and correction method | |
| JP3576809B2 (en) | Image processing device | |
| JPH08110603A (en) | Color adjusting method and device | |
| JP2001155174A (en) | Method and device for image processing | |
| JP2001223891A (en) | Picture processing method | |
| US20050129287A1 (en) | Image processing method | |
| JP2001103304A (en) | Method and system for extracting specific object | |
| JP4285868B2 (en) | Main subject extraction method, image processing apparatus, and imaging apparatus | |
| JP2001197289A (en) | Image processing method and image processor | |
| JP2001076149A (en) | Method and device for extracting main object | |
| JP3576812B2 (en) | Image processing apparatus and image processing method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20040629 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20040706 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080716 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080716 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090716 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090716 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100716 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110716 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110716 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120716 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120716 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130716 Year of fee payment: 9 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| EXPY | Cancellation because of completion of term |