JP2005301008A - 写真画像印刷装置およびプログラム - Google Patents

写真画像印刷装置およびプログラム Download PDF

Info

Publication number
JP2005301008A
JP2005301008A JP2004118508A JP2004118508A JP2005301008A JP 2005301008 A JP2005301008 A JP 2005301008A JP 2004118508 A JP2004118508 A JP 2004118508A JP 2004118508 A JP2004118508 A JP 2004118508A JP 2005301008 A JP2005301008 A JP 2005301008A
Authority
JP
Japan
Prior art keywords
person
photographic image
image
photographic
photographed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2004118508A
Other languages
English (en)
Other versions
JP4506253B2 (ja
Inventor
Hideo Suzuki
秀夫 鈴木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Casio Computer Co Ltd
Original Assignee
Casio Computer Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Casio Computer Co Ltd filed Critical Casio Computer Co Ltd
Priority to JP2004118508A priority Critical patent/JP4506253B2/ja
Publication of JP2005301008A publication Critical patent/JP2005301008A/ja
Application granted granted Critical
Publication of JP4506253B2 publication Critical patent/JP4506253B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Control Of Exposure In Printing And Copying (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

【課題】多数の写真画像の中から人物が含まれていてその人物が所定の撮影状況で写っている画像を自動抽出して印刷できるようにする。
【解決手段】写真画像印刷販売装置において、顧客から記録メディアが投入された際に、CPU1は、この記録メディア内における複数の写真画像を個別に解析することによって各写真画像毎に人物の画像部分を特定しながら人物の撮影状況を認識すると共に、人物が所定の撮影状況で写っているか否かを判別し、人物が所定の撮影状況で写っている写真画像を抽出して写真プリンタ装置8から印刷出力させる。
【選択図】 図1

Description

この発明は、複数の写真画像の中から選択した写真画像を印刷出力する写真画像印刷装置およびプログラムに関する。
一般に、複数の写真画像の中から選択した写真画像を印刷する場合に、写真画像を1枚ずつ印刷する1枚プリント以外にも、複数の写真画像を用紙上の複数位置に対応付けて配置印刷するようにしたマルチプリントが可能であるが、この種のマルチプリント技術としては、例えば、合成に必要な画像データを事前に取り込んで記録しておき、撮影時に任意に呼び出した画像データと写真画像とを配置合成して印刷するマルチプリントシステムが知られている(特許文献1参照)。また、1枚のプリントシート上において主画像(コマ)の周りに副画像(コマ)を並べて配置したグループプリント/画像作成装置が知られている(特許文献1参照)。
特開平6−332122号公報 特開2000−147685号公報
しかしながら、この種のマルチプリントに関する技術(特許文献1、2)にあっては、ユーザ自身が印刷対象を選択することを前提とする技術であり、複数の画像をまとめてマルチプリントする毎に、全ての画像内容を確認しながら所望する印刷対象を1枚ずつ選択指定しなければならず、ユーザに大きな負担をかけてしまうという問題があった。特に、例えば、団体旅行などにおいて撮影した写真を人物別に仕分けして配布するような場合、人物を単独で撮影した写真か、複数人を集合撮影した写真か、誰を基準として撮影した写真などを1枚毎に確かめながら印刷対象を1枚ずつ選択する必要があり、時間と労力を要するという問題があった。
この発明の課題は、多数の写真画像の中から人物が含まれていてその人物が所定の撮影状況で写っている画像を自動抽出して印刷できるようにすることである。
請求項1記載の発明は、複数の写真画像の中から選択した写真画像を印刷出力する写真画像印刷装置であって、複数の写真画像を個別に解析することによって各写真画像毎に人物の画像部分を特定しながら人物の撮影状況を認識する認識手段と、この認識手段によって認識された撮影状況に基づいて人物が所定の撮影状況で写っているか否かを判別する判別手段と、この判別手段によって人物が所定の撮影状況で写っていることが判別される毎に、当該写真画像を前記複数の写真画像の中から抽出する抽出手段と、この抽出手段によって抽出された写真画像を印刷出力する印刷制御手段とを具備したことを特徴とする。
更に、コンピュータに対して、上述した請求項1記載の発明に示した主要機能を実現させるためのプログラムを提供する(請求項10記載の発明)。
なお、請求項1記載の発明は次のようなものであってもよい。
前記判別手段は、人物が単独で撮影されているか否かに基づいて人物が所定の撮影状況で写っているか否かを判別し、前記抽出手段は、人物が単独で撮影されている写真画像を抽出する(請求項2記載の発明)。
前記判別手段は、人物が単独で撮影されているか否かを判別する際に、写真画像内に含まれている人物が1人か否かに基づいて行い、前記抽出手段は、写真画像内に含まれている人物が1人の場合にその写真画像を抽出する(請求項3記載の発明)。
前記判別手段は、人物が単独で撮影されているか否かを判別する際に、写真画像内に複数の人物が含まれていても、その中で最も大きく撮影されている人物の画像部分と次に大きい人物の画像部分とのサイズ差が所定値以上か否かに基づいて人物が単独で撮影されているか否かを判別し、前記抽出手段は、前記サイズ差が所定値以上であることを条件に当該写真画像を人物が単独で撮影されている写真画像として抽出する(請求項4記載の発明)。
前記判別手段は、複数の人物が集合撮影されているか否かに基づいて人物が所定の撮影状況で写っているか否かを判別し、前記抽出手段は、複数の人物が集合撮影されている写真画像を抽出する(請求項5記載の発明)。
前記抽出手段は、複数の人物が集合撮影されている写真画像を抽出する際に、各人物の画像部分の大きさを合計した合計値と写真画像全体の大きさを比較し、写真画像全体に対して当該合計値が占める割合が所定割合以上であることを条件に当該写真画像を抽出する(請求項6記載の発明)。
前記抽出手段によって複数の人物が集合撮影されている写真画像が抽出された際に、前記印刷制御手段は、この抽出画像内に含まれている人物の人数に相当する枚数分、当該写真画像を1枚ずつ個別に印刷する(請求項7記載の発明)。
前記抽出手段によって抽出された各写真画像が印刷対象候補として表示されている状態において、この候補画面の中から任意の候補が選択された場合に、選択された写真画像を印刷出力する(請求項8記載の発明)。
前記抽出手段によって抽出された複数の写真画像を用紙上の複数位置に対応付けて配置印刷する(請求項9記載の発明)。
請求項1記載の発明によれば、複数の写真画像を個別に解析することによって各写真画像毎に人物の画像部分を特定しながら人物の撮影状況を認識すると共に、人物が所定の撮影状況で写っているか否かを判別し、人物が所定の撮影状況で写っている写真画像を抽出して印刷出力するようにしたから、多数の写真画像の中から人物が含まれていてその人物が所定の撮影状況で写っている画像を自動抽出して印刷することができ、膨大な写真画像群の中から人物が写っているか、その撮影状況はどうかを確かめながら印刷対象を1枚ずつ選択するという面倒な作業が一切不用となり、ユーザの負担を軽減することが可能となる。
なお、写真画像を1枚ずつ印刷する1枚プリントか、複数の写真画像を用紙上の複数位置に対応付けて配置印刷するマルチプリントかは問わない。
請求項2記載の発明によれば、上述した請求項1記載の発明と同様の効果を有する他、人物が単独で撮影されている写真画像を抽出するようにしたから、人物を含む写真画像であっても、複数の人物を集合撮影した集合写真を除き、人物が単独撮影されている写真画像だけを印刷することができる。
この場合、人物が単独で撮影されているか否かを判別する際に、写真画像内に含まれている人物が1人の場合にその写真画像を抽出するようにしてもよい(請求項3記載の発明)。また、写真画像内に複数の人物が含まれていても、その中で最も大きく撮影されている人物の画像部分と次に大きい人物の画像部分とのサイズ差が所定値以上か否かに基づいて人物が単独で撮影されているか否かを判別し、サイズ差が所定値以上であることを条件に当該写真画像を人物が単独で撮影されている写真画像として抽出するようにしてもよい(請求項4記載の発明)
請求項5記載の発明によれば、上述した請求項1記載の発明と同様の効果を有する他、複数の人物が集合撮影されているか否かに基づいて人物が所定の撮影状況で写っているか否かを判別し、複数の人物が集合撮影されている写真画像を抽出するようにしたから、人物を含む写真画像であっても、人物が単独撮影されている写真画像を除き、複数の人物を集合撮影した集合写真だけを印刷することができる。
この場合、複数の人物が集合撮影されている写真画像を抽出する際に、各人物の画像部分の大きさを合計した合計値と写真画像全体の大きさを比較し、写真画像全体に対して当該合計値が占める割合が所定割合以上であることを条件に当該写真画像を抽出するようにすれば(請求項6記載の発明)、複数の人物を撮影した集合写真において、各人物の顔部分の大きさを合計した値が写真画像全体に対して、例えば、10%以上であれば、撮影状態が良好であると判別することができ、撮影状態が良好な画像だけを抽出して印刷することができる。
また、複数の人物が集合撮影されている写真画像が抽出された際に、この抽出画像内に含まれている人物の人数に相当する枚数分、当該写真画像を1枚ずつ個別に印刷するようにすれば(請求項7記載の発明)、集合写真をその人数分配布する際に、過不足のない印刷が可能となる。
請求項8記載の発明によれば、上述した請求項 記載の発明と同様の効果を有する他、抽出された各写真画像が印刷対象候補として表示されている状態において、この候補画面の中から任意の候補が選択された場合に、選択された写真画像を印刷出力するようにしたから、抽出された各写真画像の中から所望する画像を印刷することができ、所定の撮影状況を満足する各画像の中から更にユーザが希望する画像を印刷することができる。
請求項9記載の発明によれば、上述した請求項1記載の発明と同様の効果を有する他、抽出された複数の写真画像を用紙上の複数位置に対応付けて配置印刷するようにしたから、マルチプリントの自動化が可能となる。
以下、図1〜図10を参照して本発明の実施例を説明する。
図1は、写真画像印刷販売装置の基本的構成要素を示したブロック図である。
この写真画像印刷販売装置は、デジタルカメラ側の写真画像(静止画像)を印刷して販売する自動販売機である。すなわち、この写真画像印刷販売装置は、例えば、コンビニエンス・ストアや街中などに設置されたもので、カメラ撮影された写真画像群を高品質印刷し、この写真印刷物(写真プリント)を排出して販売するプリント・ベンダである。
この写真画像印刷販売装置は、複数の写真画像を1枚毎に印刷する1枚プリント機能の他、複数の写真画像を用紙上の複数位置に対応付けて配置印刷するマルチプリント機能を備え、顧客の記録メディアが投入されている状態において、この記録メディア内の写真画像群の中から人物が含まれていてその撮影状態が所定の撮影状況(単独撮影/複数人撮影)を満たす各写真画像を自動抽出して1枚プリントあるいはマルチプリントするようにしたことを特徴とするものである。
CPU1は、記憶部2内のオペレーティングシステムや各種アプリケーションソフトに従ってこの写真画像印刷販売装置の全体動作を制御する中央演算処理装置であり、CPU1には、ハードディスク等の固定メモリである記憶部2と、CD−ROM、DVD等の着脱自在な記録媒体3が接続されている。この記憶部2内のプログラム記憶領域には、後述する図7〜図10に示す動作手順に従って本実施例を実現する為のアプリケーションプログラムが格納されている。更に、CPU1は、伝送部4、記録メディア受付装置5、タッチパネル付きディスプレイを構成する表示部6および操作部7、写真プリンタ装置8、金銭授受装置9を有している。
伝送部4は、顧客側のデジタルカメラからの各写真画像をインターネット経由で受信するための画像通信部である。記録メディア受付装置5は、記録メディアが投入された際に、この記録メディアをアクセスして画像データを読み取るもので、各画像データは、CPU1に与えられる。表示部6および操作部7は、液晶表示装置、CRT表示装置、プラズマ表示装置等のディスプレイ画面にタッチパネルを貼り付けた構成となっている。写真プリンタ装置8は、印刷対象の各写真画像を内部メモリ(用紙メモリ)に一時記憶しながら一枚ずつ印刷するもので、例えば、高品位・高速印刷が可能なマルチカラーレーザプリンタによって構成されている。記録紙格納部10は、Lサイズ、2Lサイズ、パノラマサイズなどのように異なるサイズの記録紙が分類格納されている。金銭授受装置9は、投入金額を計数してCPU1に与えたり、CPU1からの指示に従って釣銭を排出する通常の構成となっている。
顧客側の記録メディアの投入時において画像印刷が指示された際、CPU1は、この記録メディア内の写真画像群の中から顧客が印刷対象を任意に選択する「マニュアル選択モード」と印刷対象を自動で選択する「オート選択モード」との切り換えを可能とするモードメニュー画面を表示出力させる。この「マニュアル選択モード」は、通常と同様、記録メディア内の写真画像群を一覧表示(サムネイル表示)させている状態において、この一覧表示の中から任意の画像が選択指定される毎に、この選択画像を1枚ずつ別用紙に印刷出力させる1枚プリントを行ったり、記録メディア内から所定枚数分の写真画像を読み出す毎に、この所定枚数分の写真画像を同一用紙上の複数位置に対応付けて配置印刷させるマルチプリントを行う動作モードである。
「オート選択モード」は、記録メディア内の写真画像群の中から画像を自動抽出して1枚プリント/マルチプリントを行う動作モードである。この「オート選択モード」において、CPU1は、記録メディア内の写真画像群を個別に解析することによって人物が含まれていてその人物が所定の撮影状況で写っている画像を自動抽出するようにしているが、それに先立ってその抽出条件を選択するための抽出メニューを表示するようにしている。
なお、人物の認識時には、写真画像内の人物部分(顔部分)を認識して人物が写っている画像を抽出するようにしている。この場合、顔の向き、大きさなどを補正した後、顔の輪郭、目、口、鼻、額等の形、位置、大きさ、髪型、メガネの有無と種類等を比較する他、それらを総合的に比較することによって人物を認識するようにしている(以下、同様)。
図2(A)は、抽出メニュー画面を説明するための図であり、(B)は、各メニュー項目に従ってどのような画像が抽出されるかを具体的に例示した図である。
抽出メニュー画面は、記録メディア内の写真画像群の中から画像を自動抽出するための抽出条件に関するメニュー項目を表示するもので、「1:人物単独」、「2:人物単独(他人物との比較有り)」、「3:人物複数」、「4:人物複数(大きさ指定有り)」の各項目を有している。「1:人物単独」は、人物が所定の撮影状況で写っているか否かを人物が1人(単独)で撮影されているか否かに基づいて判別し、人物が1人で撮影されている場合に、当該写真画像を抽出すべきことを示すメニュー項目である。この場合、図2(B)の抽出メニュー番号(1)に示すように、人物の画像部分の大きさやその撮影位置に拘らず、人物が単独で撮影されているものとして認識されて画像の抽出が行われる。
「2:人物単独(他人物との比較有り)」は、人物が単独で撮影されているか否かを判別する際に、写真画像内に複数の人物が含まれていても、その中で最も大きく撮影されている人物の画像部分と、次に大きい人物の画像部分とのサイズ差が所定値以上(2倍以上)か否かに基づいて人物が単独で撮影されているか否かを判別し、そのサイズ差が2倍以上の場合に、当該写真画像を抽出すべきことを示すメニュー項目である。この場合、図2(B)の抽出メニュー番号(2)に示すように、写真画像内に複数の人物が含まれていても、その内の1人が他の人物との比較において十分に大きい場合には、人物が単独で撮影されているものとして認識されて画像の抽出が行われる。
「3:人物複数」は、人物が所定の撮影状況で写っているか否かの判別を複数の人物が集合撮影されているか否かに基づいて判別し、複数の人物が集合撮影されている場合に、当該集合写真を抽出すべきことを示すメニュー項目である。この場合、図2(B)の抽出メニュー番号(3)に示すように、写真画像内に複数の人物が含まれていれば、人物の画像部分の大きさ、その撮影位置、その人数に拘らず、複数の人物が集合撮影されているものとして認識されて画像の抽出が行われる。
「4:人物複数(大きさ指定有り)」は、複数の人物が集合撮影されているか否かを判別する際に、各人物の顔部分の大きさを合計した合計値と写真画像全体の大きさを比較し、写真画像全体に対して当該合計値が占める割合が所定割合以上(10%以上)である場合に、当該写真画像を抽出すべきことを示すメニュー項目である。この場合、図2(B)の抽出メニュー番号(4)に示すように、写真画像内に複数の人物が含まれていても、各人物の顔部分が極端に小さく写っているような場合には、当該写真画像を抽出対象外とするが、例えば、人物の顔を十分に識別できるほど人物の顔部分が明瞭な場合には、当該画像を抽出するようにしている。
図3は、任意に選択された抽出メニューに応じて自動抽出された各写真画像を印刷する際に表示される印刷メニュー画面を説明するための図である。
この印刷メニュー画面は、「1:1枚プリント」、「2:マルチプリント」、「3:おまかせプリント」の各項目を有している。「1:1枚プリント」は、自動抽出された各写真画像を1枚ずつ個別に印刷すべきことを指示するメニュー項目であり、「2:マルチプリント」は、自動抽出された各写真画像を用紙上の複数位置に対応付けて配置印刷すべきことを指示するメニュー項目である。
「3:おまかせプリント」は、上述のようにして選択指定された抽出メニュー項目に応じて印刷スタイルを自動変更するためのメニュー項目であり、「1:人物単独」あるいは「2:人物単独(他人物との比較有り)」の抽出メニューによって自動抽出された各写真画像を印刷する場合には、自動抽出された画像数に応じて印刷スタイル(1枚プリント/マルチプリント)を決定し、この印刷スタイルで画像印刷を行うべきことを指示する。
図4は、印刷メニューとして「3:おまかせプリント」、抽出メニューとして「1:人物単独」あるいは「2:人物単独(他人物との比較有り)」が選択されている場合に、自動抽出された画像数に応じて印刷スタイル(1枚プリント/マルチプリント)を切り換えて印刷する場合を例示した図である。
ここで、自動抽出された画像数が所定枚数以上(6枚以上)の場合には、マルチプリントが行われ、6枚未満の場合には1枚プリントが行われる。また、「3:人物複数」あるいは「4:人物複数(大きさ指定有り)」の抽出メニューによって自動抽出された各写真画像を印刷する場合には、例えば、Lサイズ、2Lサイズなどのように通常の用紙サイズよりも大きいサイズの用紙を使用して、その人数分の個別印刷(1枚プリント)を行うべきことを指示する。
図5は、印刷メニューとして「3:おまかせプリント」、抽出メニューとして「3:人物複数」あるいは「4:人物複数(大きさ指定有り)」が選択されている場合に、自動抽出された各画像内の人数に応じて印刷スタイルを決定し、その人数分の1枚プリントが行われる場合を例示した図である。
すなわち、複数の人物が集合撮影されている写真画像が抽出された際に、この抽出画像内に含まれている人物の人数を計数し、この数に相当する枚数分、当該写真画像を1枚ずつ個別に印刷するようにしている。この場合、印刷スタイルとして通常サイズよりも大きいLサイズの用紙を使用すると共に、人数が2人、4人、3人の場合には、2枚、4枚、3枚分の1枚プリントが繰り返して行われる。
図6は、各種の作業用フォルダを示した図である。
印刷フォルダ11は、顧客の記録メディア内から印刷対象として抽出した各写真画像を一時格納するための印刷データ用のフォルダである。Aフォルダ12、Bフォルダ13は、「オート選択モード」時において、印刷対象候補を格納するフォルダとして使用されるもので、Aフォルダ12は、任意に選択された抽出メニュー項目に応じて記録メディア内から自動抽出された各写真画像が一時格納されるフォルダであり、Bフォルダ13は、Aフォルダ12内の画像群から任意に選択指定された各写真画像が一時格納されるフォルダである。
次に、この実施例における写真画像印刷販売装置(プリント・ベンダ)の動作概念を図7〜図10に示すフローチャートを参照して説明する。ここで、これらのフローチャートに記述されている各機能は、読み取り可能なプログラムコードの形態で格納されており、このプログラムコードにしたがった動作が逐次実行される。また、伝送媒体を介して伝送されてきた上述のプログラムコードに従った動作を逐次実行することもできる。すなわち、記録媒体の他に、伝送媒体を介して外部供給されたプログラム/データを利用してこの実施例特有の動作を実行することもできる。
図7〜図10は、写真画像印刷販売装置(プリントベンダ)の全体動作を示したフローチャートである。
先ず、CPU1は、顧客側の記録メディアの投入待ち状態において(図7のステップS1)、記録メディアが投入されると、「マニュアル選択モード」と「オート選択モード」との切り換えを可能とするモードメニューを表示出力させる(ステップS2)。いま、「マニュアル選択モード」が指定された場合には(ステップS3でYES)、この記録メディアから全ての画像を順次読み出して(ステップS4)、各画像を一覧表示(サムネイル表示)させる(ステップS5)。ここで、この一覧画面上の任意の画像位置がタッチ指定されることによって印刷対象が選択指定されると (ステップS6)、CPU1は、この選択画像を印刷フォルダ11へ格納する(ステップS7)。以下、選択終了がユーザ指示されるまで(ステップS8)、印刷対象を1画像毎に受付けながら上述の動作を繰り返す(ステップS5〜S8)。
ここで、選択終了がユーザ指示された際には(ステップS8でYES)、1枚プリント/マルチプリントとの切り換えを可能とするメニュー画面を表示出力させる(ステップS9)。ここで、1枚プリントが選択された場合には(ステップS10でYES)、印刷フォルダ11に格納されている各画像をその先頭から1枚ずつ読み出して(ステップS11)、1枚の用紙に印刷出力させる(ステップS12)。以下、印刷フォルダ11に未印刷の他の画像が有るまで(ステップS13)、印刷フォルダ11から未印刷の画像を1枚ずつ読み出しながら1枚プリントを繰り返す(ステップS11〜S13)。これによって印刷フォルダ11の各画像を全て印刷し終わった場合には(ステップS13でNO)、記録メディアの排出を行った後(ステップS18)、最初のステップS1に戻る。
また、メニュー画面の中からマルチプリントが選択された場合には(ステップS10でNO)、印刷フォルダ11に格納されている各画像をその先頭から所定枚数分(例えば、6枚分)読み出し(ステップS14)、この各画像を用紙メモリエリア上の複数位置に対応付けてそれぞれ配置させた後(ステップS15)、この用紙メモリエリア内の各画像をその配置通りに印刷出力させる(ステップS16)。以下、印刷フォルダ11に未印刷の他の画像が有るまで(ステップS17)、印刷フォルダ11から未印刷の画像を所定枚数毎に読み出しながらマルチプリントを繰り返す(ステップS14〜S17)。これによって印刷フォルダ11の各画像を全て印刷し終わった場合には(ステップS17でNO)、記録メディアの排出を行った後(ステップS18)、最初のステップS1に戻る。
他方、「オート選択モード」が選択された場合には(ステップS3でNO)、先ず、図8のステップS21に移り、図2(A)で示した抽出メニューを表示出力させる。この抽出メニュー画面の中から任意のメニュー項目が選択指定されると(ステップS22)、この選択メニューを一時記憶した後に(ステップS23)、記録メディア内の各画像をその先頭から1枚ずつ読み出し(ステップS24)、この写真画像を認識しながら(ステップS25)、当該写真画像内に人物の顔部分が含まれているか否かをチェックする(ステップS26)。この場合の画像認識では、個々の人物認識は行わず、標準的な顔部分の有無を調べる。例えば、顔が隠れていたり、後ろ向きの場合には、人物の顔部分が含まれていないと認識するようにしている。
いま、人物の顔部分が含まれている場合には、人物の顔部分は1つか(人物を1人だけ写した写真画像か)を調べ(ステップS27)、人物の顔部分が1つであれば、選択された抽出メニューが「1:人物単独」であることを条件に(ステップS28)、この写真画像をAフォルダ12へ格納するが(ステップS29)、人物の顔部分が含まれていない場合(ステップS26でNO)あるいは人物の顔部分が含まれていても、抽出メニューが「1:人物単独」でない場合には(ステップS28でNO)、この写真画像を印刷対象外とするためにステップS30に移る。以下、「1:人物単独」の抽出メニューが選択されている状態においては、記録メディア内の各画像を全て読み出すまで(ステップS30)、記録メディアから画像を1枚ずつ読み出しながら人物の顔部分が含まれていてその数が1つであることを条件に、その写真画像を全てAフォルダ12に格納する処理を繰り返す(ステップS24〜S30)。
また、複数の人物の顔部分を認識した場合に(ステップS27でNO)、選択された抽出メニューが「2:人物単独(他人物との比較有り)」であれば(ステップS31でYES)、各顔部分の中からその部分が大きい順に上位2つの顔画像を選択し(ステップS32)、その1番目と2番目の顔画像の大きさを比較し(ステップS33)、そのサイズ差は2倍以上かを調べる(ステップS34)。ここで、そのサイズ差が2倍以上の場合に、この写真画像内に複数の人物の顔部分が含まれていても、人物が単独で撮影されているものとして認識して当該写真画像をAフォルダ12に格納する(ステップS29)。
また、サイズ差が2倍未満の場合には、この写真画像を印刷対象外とするためにステップS30に移る。以下、「2:人物単独(他人物との比較有り)」の抽出メニューが選択されている状態においては、記録メディア内の各画像を全て読み出すまで(ステップS30)、記録メディアから画像を1枚ずつ読み出しながら複数の人物の顔部分が含まれ、その内の1人が他の人物との比較において十分に大きい場合には、人物が単独で撮影されているものとして、その写真画像を全てAフォルダ12に格納する処理を繰り返す。
一方、複数の人物の顔部分を認識した場合において(ステップS27でNO)、選択された抽出メニューが「3:人物複数」であれば(ステップS31でNO)、当該写真画像を無条件にAフォルダ12に格納する(ステップS29)。以下、「3:人物複数」の抽出メニューが選択されている状態においては、記録メディア内の各画像を全て読み出すまで(ステップS30)、記録メディアから画像を1枚ずつ読み出しながら、その写真画像を全てAフォルダ12に格納する処理を繰り返す。
また、選択された抽出メニューが「4:人物複数(大きさ指定有り)」であれば(ステップS35でYES)、各人物の顔部分の大きさを合計した合計値と写真画像全体(画像枠全体)の大きさを比較し、写真画像全体に対して当該合計値が占める割合を求め(ステップS36)、その割合が10%以上であることを条件に(ステップS37)、当該写真画像をAフォルダ12に格納するが(ステップS29)、10%未満の場合には、この写真画像を印刷対象外とするためにステップS30に移る。以下、「4:人物複数(大きさ指定有り)」の抽出メニューが選択されている状態においては、記録メディア内の各画像を全て読み出すまで(ステップS30)、記録メディアから画像を1枚ずつ読み出しながら各人物の顔部分の大きさを考慮し、人物の顔を十分に識別できるほど人物の顔部分が明瞭な場合には、その写真画像を全てAフォルダ12に格納する処理を繰り返す。
これによってAフォルダ12への格納処理が終了すると、図9のステップS41に移り、Aフォルダ12内の各写真画像を全て読み出して、一覧表示(サムネイル)表示出させた後、このサムネイル画面上での任意画像の選択を受け付ける(ステップS42)。いま、所望する画像が選択指定された際には、この選択サムネイル対応の写真画像をAフォルダ12から読み出してBフォルダ13に格納した後(ステップS43)、図3に示した印刷メニューを表示出力させる(ステップS44)。
ここで、任意の印刷メニューが選択指定された場合には(ステップS45)、この選択メニューを判別し(ステップS46)、選択された印刷メニューが「1:1枚プリント」であれば、Bフォルダ13の先頭から1枚分の画像を読み出して(ステップS47)、通常サイズの用紙に印刷出力させる1枚プリントを行う(ステップS48)。そして、Bフォルダ13に未印刷の画像が残っている場合には(ステップS49でYES)、その全ての画像を1枚プリントする動作を繰り返す(ステップS47〜S49)。そして、記録メディアの排出を行った後(ステップS55)、最初のステップS1に戻る。
また、選択された印刷メニューが「2:マルチプリント」であれば(ステップS50でYES)、Bフォルダ13に格納されている各画像をその先頭から所定枚数分(例えば、12枚分)読み出し(ステップS51)、この各画像を用紙メモリエリア上の複数位置に対応付けてそれぞれ配置させた後(ステップS52)、この用紙メモリエリア内の各画像をその配置通りに印刷出力させる(ステップS53)。以下、Bフォルダ13に未印刷の他の画像が有るまで(ステップS54)、Bフォルダ13から未印刷の画像を所定枚数毎に読み出しながらマルチプリントを繰り返す(ステップS51〜S54)。そして、記録メディアの排出を行った後(ステップS55)、最初のステップS1に戻る。
また、選択された印刷メニューが「3:おまかせプリント」であれば(ステップS50でNO)、図10のステップS61に移り、選択されている抽出メニューが「1:人物単独」あるいは「2:人物単独(他人物との比較有り)」であるかを調べる。ここで、選択メニューが「1:人物単独」あるいは「2:人物単独(他人物との比較有り)」であれば、Bフォルダ13内の画像枚数を計数し、その画像枚数は所定枚数以上(6枚以上)かを調べて印刷スタイルを決定する(ステップS62)。ここで、画像枚数が6枚以上であれば、図9のステップS51に移ってマルチプリントの実行に移るが、6枚未満の場合には、図9のステップS47に移って1枚プリントの実行に移る。
また、選択された印刷メニューが「3:おまかせプリント」であり、選択されている抽出メニューが「3:人物複数」あるいは「4:人物複数(大きさ指定有り)」であれば(ステップS61でNO)、Bフォルダ13の先頭から1枚分の画像を読み出し(ステップS63)、この画像内の人物の顔部分を認識し(ステップS64)、人物の顔部分の数を計数する(ステップS56)。そして、通常サイズよりも大きいLサイズの用紙を使用し、当該画像を1枚プリントする(ステップS66)。以下、上述のようにして求めた計数値分(人数分)の印刷が終了するまで1枚プリントを繰り返した後(ステップS66、S67)、記録メディアの排出を行う(図9のステップS55)。
以上のように、この実施例の写真画像印刷販売装置において、顧客から記録メディアが投入された際に、CPU1は、この記録メディア内における複数の写真画像を個別に解析することによって各写真画像毎に人物の画像部分を特定しながら人物の撮影状況を認識すると共に、人物が所定の撮影状況で写っているか否かを判別し、人物が所定の撮影状況で写っている写真画像を抽出して写真プリンタ装置8から印刷出力するようにしたから、多数の写真画像の中から人物が含まれていてその人物が所定の撮影状況で写っている画像を自動抽出して印刷することができる。従って、膨大な写真画像群の中から人物が写っているか、その撮影状況はどうかを確かめながら印刷対象を1枚ずつ選択するという面倒な作業は、一切不用となり、ユーザの負担を軽減することが可能となる。
この場合、人物が単独で撮影されている写真画像を抽出するようにしたから、人物を含む写真画像であっても、複数の人物を集合撮影した集合写真を除き、人物が単独撮影されている写真画像だけを印刷することができる。その際、抽出メニューとして「1:人物単独」が選択されている場合には、写真画像内に含まれている人物が1人の場合にその写真画像を抽出し、「2:人物単独(他人物との比較有り)」が選択されている場合には、写真画像内に複数の人物が含まれていても、その中で最も大きく撮影されている人物の画像部分と次に大きい人物の画像部分とのサイズ差が所定値以上か否かに基づいて人物が単独で撮影されているか否かを判別し、サイズ差が所定値以上であることを条件に当該写真画像を人物が単独で撮影されている写真画像として抽出することができる。
また、CPU1は、複数の人物が集合撮影されているか否かに基づいて人物が所定の撮影状況で写っているか否かを判別し、複数の人物が集合撮影されている写真画像を抽出するようにしたから、人物を含む写真画像であっても、人物が単独撮影されている写真画像を除き、複数の人物を集合撮影した集合写真だけを印刷することができる。その際、各人物の画像部分の大きさを合計した合計値と写真画像全体の大きさを比較し、写真画像全体に対して当該合計値が占める割合が所定割合以上であることを条件に当該写真画像を抽出するようにしたから、複数の人物を撮影した集合写真において、各人物の顔部分の大きさを合計した値が写真画像全体に対して所定割合以上であれば、撮影状態が良好であると判別することができ、撮影状態が良好な画像だけを抽出して印刷することができる。
また、写真画像内に含まれている人数を計数し、この計数値の枚数分、当該写真画像を1枚ずつ個別に印刷するようにしたから、集合写真をその人数分配布する際に、過不足のない印刷が可能となる。
一方、抽出された各写真画像を印刷対象候補としてサムネイル表示している状態において、この候補画面の中から任意の候補が選択された際に、選択された写真画像を印刷出力するようにしたから、抽出された各写真画像の中から所望する画像を印刷することができ、所定の撮影状況を満足する各画像の中から更にユーザが希望する画像を印刷することができる。
また、抽出された複数の写真画像を用紙上の複数位置に対応付けて配置印刷するようにしたから、マルチプリントの自動化が可能となる。
他方、CPU1は、人物が含まれている各写真画像の中から印刷対象として選択された写真画像の枚数を計数し、この枚数に応じて印刷スタイルを決定し、この印刷スタイルで印刷対象の写真画像を写真プリンタ装置8から印刷出力するようにしたから、人物が写っている各写真画像の中から印刷対象として選択された写真画像を印刷する場合に、その写真画像の枚数に応じて最適な印刷スタイルを決定して印刷することができる。
また、各写真画像毎に人物部分の数を計数し、この計数値に応じて印刷スタイルを決定し、この印刷スタイルで印刷対象の写真画像を印刷出力するようにしたから、人物が写っている各写真画像の中から印刷対象として選択された写真画像を印刷する場合に、その写真画像に写っている人物の人数に応じて最適な印刷スタイルを決定して印刷することができる。従って印刷を行う都度、膨大な写真画像群の中から人物が写っているかを確かめながらユーザ自身が印刷スタイルを選択するという煩わしさはなく、ユーザの負担を軽減することが可能となる。
なお、上述した実施例においては、人物を認識する際に、顔部分に基づいて認識するようにしたが、人物の身長、髪型、性別などをも総合的に考慮して人物を認識するようにしてもよい。
また、上述した実施例においては、人物を単独撮影したか、複数の人物を集合撮影した否かに基づいて人物が所定の撮影状況で写っているか否かを判別するようにしたが、所定の撮影状況は、これに限らず、任意であり、顔の向き等を考慮して判別するようにしてもよい。
更に、マルチプリントを行う場合、画像の並べ方、画像サイズなどの印刷フォームも任意であり、また、予め用意されている複数の印刷フォームから任意のフォームを選択指定するようにしてもよい。
上述した実施例においては、顧客の記録メディアを写真画像印刷販売装置に投入するようにしたが、顧客側のデジタルカメラから静止画像をネットワーク経由で写真画像印刷販売装置に対して送信して印刷させるようにしてもよく、また、デジタルカメラ自体を写真画像印刷販売装置に直接接続するようにしてもよい。
更に、写真画像印刷販売装置に限らず、例えば、静止画像を記録保存させた記録メディアを自宅のパーソナルコンピュータやプリンタ装置に投入したり、ネットワーク経由で送信して1枚プリントやマルチプリントを行わせるようにしてもよい。更に、印刷対象は、静止画撮影された画像に限らず、動画撮影された動画像の中から抽出した画像フレームを印刷するようにしてもよい。
一方、コンピュータに対して、上述した各手段を実行させるためのプログラムコードをそれぞれ記録した記録媒体(例えば、CD−ROM、フレキシブルディスク、RAMカード等)を提供するようにしてもよい。すなわち、コンピュータが読み取り可能なプログラムコードを有する記録媒体であって、複数の写真画像を個別に解析することによって各写真画像毎に人物の画像部分を特定しながら人物の撮影状況を認識する機能と、認識された撮影状況に基づいて人物が所定の撮影状況で写っているか否かを判別する機能と、人物が所定の撮影状況で写っていることが判別される毎に、当該写真画像を前記複数の写真画像の中から抽出する機能と、抽出された写真画像を印刷出力する機能とを実現させるためのプログラムを記録したコンピュータが読み取り可能な記録媒体を提供するようにしてもよい。
写真画像印刷販売装置(プリントベンダ)の基本的構成要素を示したブロック図。 (A)は、抽出メニュー画面を説明するための図であり、(B)は、各メニュー項目に従ってどのような画像が抽出されるかを具体的に例示した図。 任意に選択された抽出メニューに応じて自動抽出された各写真画像を印刷する際に表示される印刷メニュー画面を説明するための図。 印刷メニューとして「3:おまかせプリント」、抽出メニューとして「1:人物単独」あるいは「2:人物単独(他人物との比較有り)」が選択されている場合に、自動抽出された画像数に応じて印刷スタイル(1枚プリント/マルチプリント)を切り換えて印刷する場合を例示した図。 印刷メニューとして「3:おまかせプリント」、抽出メニューとして「3:人物複数」あるいは「4:人物複数(大きさ指定有り)」が選択されている場合に、自動抽出された各画像内の人数に応じて印刷スタイルを決定し、その人数分の1枚プリントが行われる場合を例示した図。 各種の作業用フォルダを示した図。 写真画像印刷販売装置(プリントベンダ)の全体動作を示したフローチャート。 図7に続く、写真画像印刷販売装置の全体動作を示したフローチャート。 図8に続く、写真画像印刷販売装置の全体動作を示したフローチャート。 図8に続く、写真画像印刷販売装置の全体動作を示したフローチャート。
符号の説明
1 CPU
2 記憶部
5 記録メディア受付装置
6 表示部
7 操作部
8 写真プリンタ装置
9 金銭授受装置
11 印刷フォルダ
12 Aフォルダ
13 Bフォルダ

Claims (10)

  1. 複数の写真画像の中から選択した写真画像を印刷出力する写真画像印刷装置であって、
    複数の写真画像を個別に解析することによって各写真画像毎に人物の画像部分を特定しながら人物の撮影状況を認識する認識手段と、
    この認識手段によって認識された撮影状況に基づいて人物が所定の撮影状況で写っているか否かを判別する判別手段と、
    この判別手段によって人物が所定の撮影状況で写っていることが判別される毎に、当該写真画像を前記複数の写真画像の中から抽出する抽出手段と、
    この抽出手段によって抽出された写真画像を印刷出力する印刷制御手段と、
    を具備したことを特徴とする写真画像印刷装置。
  2. 前記判別手段は、人物が単独で撮影されているか否かに基づいて人物が所定の撮影状況で写っているか否かを判別し、
    前記抽出手段は、人物が単独で撮影されている写真画像を抽出する、
    ようにしたことを特徴とする請求項1記載の写真画像印刷装置。
  3. 前記判別手段は、人物が単独で撮影されているか否かを判別する際に、写真画像内に含まれている人物が1人か否かに基づいて行い、
    前記抽出手段は、写真画像内に含まれている人物が1人の場合にその写真画像を抽出する、
    ようにしたことを特徴とする請求項2記載の写真画像印刷装置。
  4. 前記判別手段は、人物が単独で撮影されているか否かを判別する際に、写真画像内に複数の人物が含まれていても、その中で最も大きく撮影されている人物の画像部分と次に大きい人物の画像部分とのサイズ差が所定値以上か否かに基づいて人物が単独で撮影されているか否かを判別し、
    前記抽出手段は、前記サイズ差が所定値以上であることを条件に当該写真画像を人物が単独で撮影されている写真画像として抽出する、
    ようにしたことを特徴とする請求項2記載の写真画像印刷装置。
  5. 前記判別手段は、複数の人物が集合撮影されているか否かに基づいて人物が所定の撮影状況で写っているか否かを判別し、
    前記抽出手段は、複数の人物が集合撮影されている写真画像を抽出する、
    ようにしたことを特徴とする請求項1記載の写真画像印刷装置。
  6. 前記抽出手段は、複数の人物が集合撮影されている写真画像を抽出する際に、各人物の画像部分の大きさを合計した合計値と写真画像全体の大きさを比較し、写真画像全体に対して当該合計値が占める割合が所定割合以上であることを条件に当該写真画像を抽出する、
    ようにしたことを特徴とする請求項5記載の写真画像印刷装置。
  7. 前記抽出手段によって複数の人物が集合撮影されている写真画像が抽出された際に、前記印刷制御手段は、この抽出画像内に含まれている人物の人数に相当する枚数分、当該写真画像を1枚ずつ個別に印刷する、
    ようにしたことを特徴とする請求項5記載の写真画像印刷装置。
  8. 前記抽出手段によって抽出された各写真画像が印刷対象候補として表示されている状態において、この候補画面の中から任意の候補が選択された場合に、選択された写真画像を印刷出力する、
    ようにしたことを特徴とする請求項1記載の写真画像印刷装置。
  9. 前記抽出手段によって抽出された複数の写真画像を用紙上の複数位置に対応付けて配置印刷する、
    ようにしたことを特徴とする請求項1記載の写真画像印刷装置。
  10. コンピュータに対して、
    複数の写真画像を個別に解析することによって各写真画像毎に人物の画像部分を特定しながら人物の撮影状況を認識する機能と、
    認識された撮影状況に基づいて人物が所定の撮影状況で写っているか否かを判別する機能と、
    人物が所定の撮影状況で写っていることが判別される毎に、当該写真画像を前記複数の写真画像の中から抽出する機能と、
    抽出された写真画像を印刷出力する機能と、
    を実現させるためのプログラム。
JP2004118508A 2004-04-14 2004-04-14 写真画像抽出装置およびプログラム Expired - Fee Related JP4506253B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2004118508A JP4506253B2 (ja) 2004-04-14 2004-04-14 写真画像抽出装置およびプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004118508A JP4506253B2 (ja) 2004-04-14 2004-04-14 写真画像抽出装置およびプログラム

Publications (2)

Publication Number Publication Date
JP2005301008A true JP2005301008A (ja) 2005-10-27
JP4506253B2 JP4506253B2 (ja) 2010-07-21

Family

ID=35332603

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004118508A Expired - Fee Related JP4506253B2 (ja) 2004-04-14 2004-04-14 写真画像抽出装置およびプログラム

Country Status (1)

Country Link
JP (1) JP4506253B2 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007329727A (ja) * 2006-06-08 2007-12-20 Canon Inc 画像処理装置およびその制御方法
US7869064B2 (en) 2006-02-07 2011-01-11 Seiko Epson Corporation Printing device
JP2019021225A (ja) * 2017-07-20 2019-02-07 京セラドキュメントソリューションズ株式会社 画像処理装置、画像処理方法及び画像処理プログラム

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000147685A (ja) * 1998-09-09 2000-05-26 Fuji Photo Film Co Ltd グル―ププリントシ―ト及び画像作成装置
JP2000216989A (ja) * 1998-11-18 2000-08-04 Fuji Photo Film Co Ltd ディジタル・カメラ,ならびに画像合成装置およびそれらの制御方法
JP2000350123A (ja) * 1999-06-04 2000-12-15 Fuji Photo Film Co Ltd 画像選択装置、カメラ、画像選択方法及び記録媒体
JP2003036439A (ja) * 2001-07-23 2003-02-07 Minolta Co Ltd 画像抽出装置、画像抽出方法および画像抽出プログラム
JP2004046591A (ja) * 2002-07-12 2004-02-12 Konica Minolta Holdings Inc 画像評価装置
JP2004320287A (ja) * 2003-04-15 2004-11-11 Nikon Gijutsu Kobo:Kk デジタルカメラ
JP2005173932A (ja) * 2003-12-10 2005-06-30 Sony Corp 画像判別方法及び画像処理装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000147685A (ja) * 1998-09-09 2000-05-26 Fuji Photo Film Co Ltd グル―ププリントシ―ト及び画像作成装置
JP2000216989A (ja) * 1998-11-18 2000-08-04 Fuji Photo Film Co Ltd ディジタル・カメラ,ならびに画像合成装置およびそれらの制御方法
JP2000350123A (ja) * 1999-06-04 2000-12-15 Fuji Photo Film Co Ltd 画像選択装置、カメラ、画像選択方法及び記録媒体
JP2003036439A (ja) * 2001-07-23 2003-02-07 Minolta Co Ltd 画像抽出装置、画像抽出方法および画像抽出プログラム
JP2004046591A (ja) * 2002-07-12 2004-02-12 Konica Minolta Holdings Inc 画像評価装置
JP2004320287A (ja) * 2003-04-15 2004-11-11 Nikon Gijutsu Kobo:Kk デジタルカメラ
JP2005173932A (ja) * 2003-12-10 2005-06-30 Sony Corp 画像判別方法及び画像処理装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7869064B2 (en) 2006-02-07 2011-01-11 Seiko Epson Corporation Printing device
JP2007329727A (ja) * 2006-06-08 2007-12-20 Canon Inc 画像処理装置およびその制御方法
JP2019021225A (ja) * 2017-07-20 2019-02-07 京セラドキュメントソリューションズ株式会社 画像処理装置、画像処理方法及び画像処理プログラム

Also Published As

Publication number Publication date
JP4506253B2 (ja) 2010-07-21

Similar Documents

Publication Publication Date Title
US9311961B2 (en) Image extracting device, image extracting method, and recording medium
JP3844039B2 (ja) 画像入出力装置
JP2006318034A (ja) 画像選択方法、画像選択装置、プログラム、およびプリント注文受付機
JP2007095001A (ja) プリント処理システム
US20080175485A1 (en) Image processing method, image processing method program, recording medium recording image processing method program, and image processing apparatus
JP4200038B2 (ja) ファイル選択支援プログラムおよびファイル選択支援方法
JP6340936B2 (ja) 画像プリント装置及び注文受付端末
JP2001109080A (ja) 画像作成装置
JP4622290B2 (ja) 写真画像処理装置およびプログラム
JP4506253B2 (ja) 写真画像抽出装置およびプログラム
JP4134936B2 (ja) 写真画像印刷装置およびプログラム
JP4951398B2 (ja) 画像出力管理装置、方法およびプログラム
JP2006053718A (ja) 写真処理装置
JP2004282224A (ja) 写真印刷装置およびその制御方法
JP2005303754A (ja) 画像印刷装置およびプログラム
JP4569375B2 (ja) プリント注文受付装置
JP2005303755A (ja) 画像印刷装置およびプログラム
JP5336621B2 (ja) 画像出力管理装置、方法およびプログラム
JP5008753B2 (ja) データ表示装置および方法並びにプログラム
JP2007311885A (ja) 画像表示装置
JP4746351B2 (ja) プリント装置
JP4534510B2 (ja) 写真プリント注文受付装置
JP7020019B2 (ja) 画像表示装置、画像表示方法、及びプログラム
JP2007045022A (ja) 印刷装置および印刷方法
JP4240298B2 (ja) 焼き増しプリント処理システム

Legal Events

Date Code Title Description
RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20060209

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20060314

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20061106

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20061226

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20070918

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20080519

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080708

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080805

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090428

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090612

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100406

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100419

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130514

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4506253

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130514

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees