JP4142918B2 - 画像編集方法、画像編集装置及びコンピュータプログラム - Google Patents

画像編集方法、画像編集装置及びコンピュータプログラム Download PDF

Info

Publication number
JP4142918B2
JP4142918B2 JP2002244389A JP2002244389A JP4142918B2 JP 4142918 B2 JP4142918 B2 JP 4142918B2 JP 2002244389 A JP2002244389 A JP 2002244389A JP 2002244389 A JP2002244389 A JP 2002244389A JP 4142918 B2 JP4142918 B2 JP 4142918B2
Authority
JP
Japan
Prior art keywords
editing
image
area
subject
image data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP2002244389A
Other languages
English (en)
Other versions
JP2004086384A (ja
Inventor
彰宏 赤松
裕治 楊
Original Assignee
株式会社メイクソフトウェア
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社メイクソフトウェア filed Critical 株式会社メイクソフトウェア
Priority to JP2002244389A priority Critical patent/JP4142918B2/ja
Publication of JP2004086384A publication Critical patent/JP2004086384A/ja
Application granted granted Critical
Publication of JP4142918B2 publication Critical patent/JP4142918B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Landscapes

  • Facsimile Image Signal Circuits (AREA)
  • Color Image Communication Systems (AREA)
  • Image Analysis (AREA)
  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)
  • Television Signal Processing For Recording (AREA)
  • Editing Of Facsimile Originals (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、撮像された画像データに対する編集情報を入力手段から受け付け、受け付けた編集情報に基づき、演算処理手段により前記画像データを編集する画像編集方法、画像編集装置及びコンピュータを画像編集装置として機能させるためのコンピュータプログラムに関し、特に遊戯施設に設置される画像編集装置であって、編集を希望する箇所のみをプレイヤが選択して実行することが可能な画像編集方法等に関する。
【0002】
【従来の技術】
遊戯施設等に設置される画像編集装置は、所定の対価の支払いを条件に、CCD(Charge Coupled Device)等の撮像部から画像データを取り込み、この取り込んだ画像データをモニタ上に載置されるタッチパネル式の入力手段から、タブレットペン等で編集情報を入力して、シール等の印刷媒体に編集後の画像データを印刷する。このような画像編集装置においては、撮影時の光量不足を補うため、または肌の色をより自然な色合いにするために、所謂ハイキー調整が行われる。
【0003】
このハイキー調整は、取り込んだ画像データの明度を変更させることにより調整を行う。プレイヤは、表示部に表示される画像を見ながら好みの色合いに設定し、その後印刷する画像を決定し所望の画像をシールに印刷する。このようなハイキー調整を行うものとして、例えば、特開2002−77782号公報に開示された画像印刷装置が知られている。特開2002−77782号公報には、明るさ変更ボタンが画面に表示され、操作パネルから明るさ調整ボタンを適宜操作することによって画像全体の明度を変更させる技術が開示されている。
【0004】
【発明が解決しようとする課題】
しかしながら、従来のハイキー調整は画面全体の明度が変更されるため、複数人のプレイヤが撮影された場合、各プレイヤが自分の好みの色合いに調整することができないという問題があった。特に、遊戯施設に設置される画像編集装置は、単独で撮影した画像よりもむしろ、複数人で撮影した画像を編集することが圧倒的に多いためプレイヤ毎に自由に色合い等を調整することが可能な画像編集装置の開発が切望されていた。
【0005】
本発明は斯かる事情に鑑みてなされたものであり、その目的とするところは、編集を希望する編集画素を受け付け、この受け付けた編集画素の色情報に基づいて、該編集画素を含む編集領域を設定し、この設定された編集領域について編集情報を入力させることにより、一のプレイヤが調整を希望する箇所を容易に指定でき、また他のプレイヤの領域については一のプレイヤの調整による影響を受けることがない画像編集方法、画像編集装置及びコンピュータを画像編集装置として機能させるためのコンピュータプログラムを提供することにある。
【0006】
また、本発明の他の目的は、被写体の画像データの特徴点または色情報に基づき、被写体毎の編集領域を設定し、設定された編集領域から一の編集領域の指定を受け付け、この設定された一の被写体の編集領域についてのみ編集を行うことにより、より遊技性が高く、また他のプレイヤの領域については一のプレイヤの調整による影響を受けることがない画像編集方法、画像編集装置及びコンピュータを画像編集装置として機能させるためのコンピュータプログラムを提供することにある。
【0007】
さらに、本発明の他の目的は、被写体毎に編集領域が設定された後に、さらに編集領域を顔、髪等の体領域毎にさらに分割し、この分割された領域内において画像の編集を行うことにより、さらに多様な画像編集を行うことが可能な画像編集装置を提供することにある。
【0008】
【課題を解決するための手段】
発明に係る画像編集方法は、撮像された画像データに対する編集情報を入力手段から受け付け、受け付けた編集情報に基づき、演算処理手段によりフレームバッファに記憶した前記画像データを編集する画像編集方法において、前記フレームバッファに記憶した前記画像データを前記演算処理手段により読み出し、複数の被写体の該読み出した画像データの特徴点または色情報に基づき、前記演算処理手段により被写体毎の編集領域を設定する領域設定ステップと、前記設定された被写体毎の編集領域の画像に対して各被写体の編集領域の画像に異なる色成分を前記演算処理手段により着色する第1の画像処理を施すステップと、設定された被写体毎の編集領域から一の被写体に係る編集領域の指定を、前記入力手段から受け付ける指定受付ステップと、該指定受付ステップにより、一の編集領域の指定を受け付けた場合、前記演算処理手段により該編集領域の画像に対して前記第1の画像処理による着色を元に戻す第2の画像処理を施すステップと、受け付けた編集領域に対する編集情報を入力手段から受け付けるステップと、受け付けた編集情報に基づき、前記演算処理手段により前記編集領域の画像データを編集して表示部に表示するステップとを備えることを特徴とする。
【0013】
発明に係る画像編集装置は、撮像された画像データに対する編集情報を入力手段から受け付け、受け付けた編集情報に基づき、演算処理手段により前記画像データを編集する画像編集装置において、複数の被写体の画像データの特徴点または色情報に基づき、前記演算処理手段により被写体毎の編集領域を設定する領域設定手段と、前記設定された被写体毎の編集領域の画像に対して各被写体の編集領域の画像に異なる色成分を着色する第1の画像処理を施す手段と、設定された被写体毎の編集領域から一の被写体に係る編集領域の指定を、前記入力手段から受け付ける指定受付手段と、該指定受付手段により、一の編集領域の指定を受け付けた場合、該編集領域の画像に対して前記第1の画像処理による着色を元に戻す第2の画像処理を施す手段と、受け付けた編集領域に対する編集情報を前記入力手段から受け付ける手段と、受け付けた編集情報に基づき、前記演算処理手段により前記編集領域の画像データを編集する手段とを備えることを特徴とする。
【0015】
発明に係る画像編集装置は、前記領域設定手段により設定された被写体の編集領域を、前記演算処理手段により顔及び髪を含む人体領域毎にさらに分割する手段を更に備えることを特徴とする。
【0016】
発明に係る画像編集装置は、編集後の画像データを印刷媒体へ印刷する印刷手段を更に備えることを特徴とする。
【0018】
発明に係るコンピュータプログラムは、撮像された画像データに対する編集情報を入力手段から受け付け、受け付けた編集情報に基づき、コンピュータの演算処理手段によりフレームバッファに記憶した前記画像データを編集させるコンピュータプログラムにおいて、コンピュータに、前記フレームバッファに記憶した前記画像データを前記演算処理手段により読み出し、複数の被写体の該読み出した画像データの特徴点または色情報に基づき、前記演算処理手段により被写体毎の編集領域を設定する領域設定ステップと、前記設定された被写体毎の編集領域の画像に対して各被写体の編集領域の画像に異なる色成分を前記演算処理手段により着色する第1の画像処理を施すステップと、設定された被写体毎の編集領域から一の被写体に係る編集領域の指定を、前記入力手段から受け付ける指定受付ステップと、該指定受付ステップにより、一の編集領域の指定を受け付けた場合、前記演算処理手段により該編集領域の画像に対して前記第1の画像処理による着色を元に戻す第2の画像処理を施すステップと、受け付けた編集領域に対する編集情報を入力手段から受け付けるステップと、受け付けた編集情報に基づき、前記演算処理手段により前記編集領域の画像データを編集して表示部に表示するステップとを実行させることを特徴とする。
【0021】
本発明にあっては、画像編集装置はプレイヤが編集を希望する箇所である編集画素の入力を入力手段から受け付ける。これは例えば、顔の肌色部分、髪の部分を入力ペン等により受け付ける。そして、受け付けた編集画素の色情報に基づいて、演算処理手段により該編集画素を含む編集領域を設定する。これは例えば、受け付けた編集画素を含む編集領域の色情報と、該編集領域に近接する対象画素の色情報とを比較し、比較した結果その差が所定値以内である場合に、該対象画素を編集領域に設定する。次いで、設定された編集領域に対して、明度の変更等の編集情報を入力手段から受け付け、受け付けた編集情報に基づき前記編集領域の画像データを編集する。編集された画像データは印刷手段にて印刷媒体上に印刷される。このように構成したので、プレイヤは調整を希望する箇所(例えば顔の一部分、髪)をペン等で指定するだけで、調整を反映させる領域(一のプレイヤの顔全体、髪全体)が設定されるため、一のプレイヤの、顔等の明るさを変更した場合に、他のプレイヤの領域については、この調整による影響を防止することができる。しかもプレイヤは入力ペンにより変更箇所を指定するという単純な作業しか要求されないため、容易に調整が可能となる。
【0022】
また、本発明にあっては、頭の頂点、目等、被写体の画像データの特徴点または、髪の色、肌の色等の色情報に基づき、被写体毎に編集領域を設定する。この場合、編集領域を明確にするために、設定された被写体毎の編集領域の画像に対して第1の画像処理を施す。そして、設定された編集領域から一の編集領域の指定を受け付ける。この場合プレイヤに選択された領域を把握させるために、一の編集領域の指定を受け付けた場合、該編集領域の画像に対して第2の画像処理を施す。次いで、受け付けた編集領域に対する編集情報を入力手段から受け付け、受け付けた編集情報に基づき前記編集領域の画像データを編集するよう構成したので、一のプレイヤは自己の画像についてのみお絵かき、色の調整等を行うことができ、一方他のプレイヤは一のプレイヤの編集による影響を受けることが無く、より遊技性の高い画像編集装置を提供することが可能となる。
【0023】
さらに、本発明にあっては、設定された被写体の編集領域を、顔及び髪を含む人体領域毎にさらに分割するようにしたので、一のプレイヤは自己の髪だけ金色にする、自己の顔だけ白くする等さらに細かく編集が行うことが可能となる。
【0024】
【発明の実施の形態】
以下本発明を実施の形態を示す図面に基づいて詳述する。
実施の形態1
図1は本発明に係る画像編集装置の外観を示す模式図である。画像編集装置1の前面には、スピーカ19、撮影装置18,操作ディスプレイ13,操作ボタン135、操作ディスプレイ13に表示された画像に対して、編集図形、文字などを入力するタブレットペン132、コイン投入口141等が設けられる。また、画像編集装置1の前面両端部には、ライト及びストロボを内蔵する照明部191が周設されており、撮影装置18に同期して前面に立つプレイヤを照射する。さらに、画像編集装置1の筐体側面には印刷されたシールを排出するシール取出口161が設けられている。なお、画像編集装置1はその他、撮影装置18に対向する位置に後部照明、ファン、カーテン、背景幕(図示せず)等を備える。
【0025】
画像編集装置1の前面に垂設されたスピーカ19は、プレイヤに対して、硬貨を投入してからの撮影手順の進行を案内するガイダンス、及びプレイヤが操作ディスプレイ13に表示されている自分自身の撮影画像に対して、後述する編集を行う際のガイダンス等の音声情報を出力する。撮影装置18を挟んで両側に立設される照明部191は後述するように、撮影の際のフラッシュとして機能するとともに、画像編集装置1およびプレイヤを囲む背景幕(図示せず)により外光が遮断されているため、撮影前の状態においてもプレイヤを照明する。
【0026】
画像編集装置1の前面略中央部には、レール184に従い上下動する撮影装置18が持設されている。撮影装置18の前面側の開口部には、プレイヤの指示に従い画像を取り込むCCDカメラ181のレンズ、及び、撮影した画像を表示する液晶ディスプレイ等の取り込み画像表示部182が露出した状態で配設されている。撮影装置18及びレール184は図示しない回動ギアによりそれぞれが結合されており、プレイヤの操作ボタン135の操作により、撮影装置18をレール上で上下動させることができる。
【0027】
操作ディスプレイ13は、撮影装置18の下部に、表示画面を画像編集装置1の前方斜め方向に向けた状態で、内設されている。操作ディスプレイ13は、液晶ディスプレイまたはCRT(Cathode-Ray Tube)等より構成されるモニタと、その上部に積層されるタッチパネルから構成される。操作ディスプレイ13の近傍には、タブレットペン132が設けられ、CCDカメラ181により撮影された画像が操作ディスプレイ13に表示されるため、プレイヤは、タブレットペン132を利用して撮影画像に後述する色調整または落書き処理等を施すことができる。また、操作ディスプレイ13には、撮影画像の他に、画像プリントの作成および印刷処理の進行段階に応じて種々の選択ボタン、メッセージなどが表示され、操作ディスプレイ13に表示された選択ボタンを、タブレットペン132を利用して選択することにより撮影手順が進行される。
【0028】
画像編集装置1の前面下方のほぼ垂直な面には、コイン投入口141が設けられている。プレイヤが所定の代金をコイン投入口141に投入すると、撮影処理が開始される。画像編集装置1の側面下部には、シール取出口161が設けられており、撮影し、画像編集した撮影画像が、所定数に分割されたシールに印刷されて排出される。
【0029】
図2は画像編集装置1のハードウェア構成を示すブロック図である。画像編集装置1はバス17を介して演算処理手段(以下、CPU(Central Processing Unit)という)11、撮影装置18、撮影装置昇降ユニット183、記憶部15、入力手段(以下、操作ディスプレイ13という)、操作ボタン135、スピーカ19、照明部191、印刷手段(以下、印刷部という)16、硬貨処理部14、RAM(Random Access Memory)12等が接続されている。
【0030】
CPU11は、バス17を介して画像編集装置1の上述したようなハードウェア各部と接続されていて、それらを制御すると共に、ハードディスク等の記憶部15に格納された制御プログラム15Pに従って、種々のソフトウェア的機能を実行する。なお、本実施の形態においては、画像編集装置1は撮影装置18、操作ディスプレイ13、及び印刷部16等を一の筐体内に格納しているがこれに限らず、例えば撮影装置18のみを隔離して設けるようにしても良い。例えば、撮影装置18、照明部191、磁気カード排出口(図示せず)等の撮影機能を果たすユニットと、操作ディスプレイ13、印刷部16、及び磁気カード挿入口(図示せず)等の画像編集機能を果たすユニットとを、遊戯施設内のサーバコンピュータ(図示せず)を介してネットワークで接続することにより、同様の機能を実現するようにしても良い。この場合、撮影装置18を含むユニットにおいてプレイヤが撮影を行った場合、IDが付された磁気カードが磁気カード排出口から排出される。画像データ及びIDは対応づけられてサーバコンピュータに記憶される。プレイヤが画像編集及び印刷を行う場合は、磁気カードを、磁気カード挿入口へ挿入し、IDを元にサーバコンピュータから画像データを読み出して画像の編集を行い、シール等に印刷するようにすればよい。
【0031】
RAM12は、SRAM(Static Random Access Memory)またはフラッシュメモリ等で構成され、ソフトウェアの実行時に発生する一時的なデータを記憶する。撮影装置18はCCDカメラ181、及び取り込み画像表示部182等により構成されている。プレイヤの操作ボタン135の操作指示により、CPU11はCCDカメラ181に対して画像の取り込み信号を出力する。CCDに蓄積された電荷は電気信号として図示しないA/D変換器に出力され、A/D変換器によりデジタル信号に変換された画像データはRGB各成分のデータとして記憶部15に格納され、また液晶ディスプレイ等の取り込み画像表示部182及び操作ディスプレイ13のモニタ133へ出力される。
【0032】
撮影装置18には撮影装置昇降ユニット183が接続されており、プレイヤの昇降指示が操作ボタン135からあった場合、撮影装置昇降ユニット183は図示しない回動ギアを動作させ、撮影装置18をレール184に沿って上下動させる。
【0033】
操作ディスプレイ13はモニタ133,タッチパネル131,タブレットペン132及び表示プロセッサ134から構成されている。以下にその内容を説明する。表示プロセッサ134は、CPU11からの指示に基づいて撮影手順の案内画面をモニタ133に表示させる。表示プロセッサ134は、内部にCCDカメラ181で取得した画像データを記憶するためのフレームバッファを有しており、撮影した画像も同様にモニタ133に表示する。フレームバッファは、デュアルポートメモリにより構成され、それぞれの領域が一枚分の画像データを記憶できる2つの領域に分けて使用される。フレームバッファの第1の領域には、CCDカメラ181からの取り込み画像が入力され、撮影後は、撮影した画像(利用者がフレーム画像を選択した場合には、撮影画像とフレーム画像)が記憶される。一方、第2の領域は、落書き処理や明るさ調整などの編集処理において使用される記憶領域であり、撮影が終了した時点では、第1の領域と同一の撮影画像が記憶される。すなわち、編集処理において、プレイヤがタブレットペン132を利用して落書きを入力すると、その入力データが第2の領域内に書き込まれる。なお、プレイヤは、消しゴム処理を指定することにより、1度付加した落書きを消去し、元の画像に戻すことができる。その場合、表示プロセッサ134は、その消しゴムで指定された部分の画像データを第1の領域から読み出し、第2の領域に書き込ことにより、利用者が消しゴムで指定した部分を、落書き処理を行う前の撮影画像にもどす。
【0034】
モニタ133上には、透明なタッチパネル131が積層されており、モニタ133には、表示プロセッサ134のフレームバッファの、第2の領域に記憶されたデータが表示される。したがって、利用者が落書きなどを入力している最中は、落書きなどが施された撮影画像が、モニタ133に表示される。タッチパネル131は、タブレットペン132からの入力を検出する。明るさ調整、落書き等の編集情報が入力された場合、タッチパネル131はその入力を受け付け、受け付けた編集情報を表示プロセッサ134へ出力する。表示プロセッサ134は入力された編集情報をフレームバッファ内の第2の領域に書き込む処理を行う。
【0035】
記憶部15には、音声のガイダンスデータが記録されており、スピーカ19は、CPU11の指示に基づいて記憶部15に記録されているガイダンスデータを読み出してスピーカ19に出力する。スピーカ19がプレイヤに対して出力するガイダンスには、操作方法や、撮影直前のカウントダウンなどがある。硬貨処理部14は、コイン投入口141から投入された硬貨の金額を検出し、所定の代金が投入されたと検出した場合、検出信号をCPU11へ出力する。
【0036】
印刷部16は、画像シールを作成する部分であり、CCDカメラ181により撮影され、明るさ調整などの編集処理などが施された後の画像をシール紙などに印刷し、印刷された画像シールはシール取出口161から排出される。照明部191は蛍光灯等の連続照明するライト191b及び撮影の瞬間シンクロ発光して照明するストロボ191aにより構成されている。ライト191bは画像編集装置1の前面両側端にそれぞれ設けられており、プラスチック製の拡散照明カバーを透過してプレイヤを照射する。このライトは撮影時のみならず撮影前、編集時においても点灯しており、その点灯/消灯は記憶部15に記憶された制御プログラム15Pに従いCPU11が制御する。時計部192は時間データをCPU11へ出力する。
【0037】
また、ストロボ191aも同様に画像編集装置1の前面両側端にそれぞれ設けられている。ストロボ191aはCCDカメラ181の画像取り込みに同期してプレイヤを照射するよう設定されている。CPU11は操作ボタン135からCCDカメラ181に対する撮影指示信号が出力された場合は、CCDカメラ181の画像取り込みタイミングに同期させてストロボ191aに対し点灯指示信号を出力する。なお、プレイヤの背後に設けられる図示しない後部ストロボについても同様の制御がなされる。
【0038】
以上のハードウェア構成において、本発明のソフトウェア処理の内容を、フローチャートを用いて説明する。図3乃至図5は本発明の画像処理の手順を示すフローチャートである。CPU11は硬貨処理部14により、所定の額の貨幣が投入されたか否かを判断し、所定の額の貨幣が投入されたと判断した場合、記憶部15から撮影手順及び編集手順を示すメッセージを読み出してモニタ133へ出力する。CPU11は操作ボタン135から画像取り込みを示す信号が入力されたか否かを監視し、操作ボタンから入力された場合は、ストロボ191aを発光させると共に、CCDカメラ181に対して画像の取り込み信号を出力することにより、画像データを取り込む(ステップS31)。
【0039】
CPU11は取り込んだ画像データを表示プロセッサ134のフレームバッファの、第1の領域及び第2の領域に記憶する(ステップS32)。CPU11はフレームバッファから画像データを読み出し、また編集情報を入力するための編集画面を記憶部15から読み出し、読み出した編集画面及び画像データをモニタ133へ表示する(ステップS33)。なお、実際は複数回撮影を行い、好みの画像をプレイヤに数枚選択させて編集を実行するが、本実施の形態においては説明を簡単にするために1回の撮影により得られた画像を編集する際の処理について説明する。
【0040】
図6はモニタ133に表示される編集画面及び画像データのイメージを示す説明図である。取り込んだ画像データを中心として上部には時計部192から出力される時間情報に基づくカウントダウンタイマ24が表示される。さいしょからボタン25は、編集情報が入力された後に操作された場合、画像をCCDカメラ181から取り込んだ状態へ移行させる処理を行う。具体的にはフレームバッファの第1の領域に記憶した画像データを読み出して表示する。ひとつもどるボタン26は直前に入力された編集情報をキャンセルする処理を実行する。つまりCPU11は編集情報が入力された場合、編集情報を時計部から出力される時間情報に対応させてフレームバッファの第2の領域に記憶する。そして、ひとつもどるボタン26が操作された場合は、CPU11は記憶した時間情報の履歴を参照して、第2の領域に過去に記憶した画像データから一つ前の画像を読み出してモニタ133に表示する。
【0041】
モニタ133の左端部には編集項目ボタン21が複数表示されており、これに対応させて、入力する編集情報であるパラメータボタン22が表示される。本例ではプレイヤがタブレットペン132から編集項目ボタン21の明るさを選択した状態を示している。CPU11は編集項目が選択された場合、編集項目に対応するパラメータを記憶部15から読み出して表示する。本例では、超美白、美白、普通、日焼け等のパラメータが表示される。CPU11は一のパラメータが選択された場合、対応する画像処理情報を記憶部15の画像処理変換テーブル151を参照して画像処理を行う。例えば、美白が選択された場合、RGBの各明度値をそれぞれ30ずつ加算するよう画像処理変換テーブル151には記憶されており、CPU11は各画素について画像処理変換テーブル151を参照して、各画素に明度30を加算する等して画像処理を実行する。また、日焼けのパラメータが選択された場合は、RGBの各明度値を30減少させる。すなわち、RGBの各値は例えばそれぞれ8ビット値0〜255で表し、R=0,G=0,B=0を黒、R=255,G=255,B=255を白と定義し、ここで肌色がR=X、G=X、B=Zで表されている場合、R=X+30、G=X+30、B=Z+30とすると色白(美白)が実現できる。さらには不健康な青白い顔色でもB=Z+30のところB=Z+15とすれば健康的な赤みを帯びた顔色にもできる。
【0042】
図7は編集項目及びパラメータの例を示す説明図である。各編集項目に対してパラメータが図示の如く設定されている。各パラメータには対応する画像処理の情報が画像処理変換テーブル151に記憶されている。編集項目の整形については、パラメータがすっきり、ふつう、ぽっちゃり等が用意されている。整形処理を行う場合、編集領域画素中の中央付近の画素を中心としてX軸方向またはY軸方向に各画素を所定のパラメータに従い拡大または縮小させるレンズシミュレーション処理を行う。すっきりのパラメータは、画像のX軸Y軸の比率は主なプレイヤである若い女の子の心理を考慮して1:1ではなく、0.80〜0.94:1とし、ふつうのパラメータは0.95〜0.98:1とし、プレイヤが認識できない程度にほっそり顔にするのがよい。またぽっちゃりの場合は、パラメータは、1.2〜1.1:1等とすればよい。自動補正については、例えば、かわいくは、ほおを幼児の特徴を表すかすかにふくらませる処理、目を大きくする処理をソフトウェアにて行う。目鼻の配置を、本人らしさを残して日本人の平均値に1/4くらい近づけるように修正する。ベイビーはR=X+30,G=Y+30,B=Z+10とすると色白、赤みを帯びた赤ちゃん色が実現できる。さらにほおを赤ちゃんのようにふくらませ、目を大きくし、ニキビ、しわ等の肌の一様でないものは全て均一になるようにソフトウェアで処理する。きれいには顔の輪郭、目鼻の配置を、本人らしさを残して日本人の平均値に半分くらい近づけるように修正する。肌色は流行を反映したものにする。外人風は被写体の好みもあるので各国人の特徴的な顔立ち、肌色(人種に対応させて黒色、黄色、白色)から選ばせ、例えば北欧人であれば目鼻立ちをくっきりとさせつつ、半分くらいモーフィングの技術を用いて近づけ、肌色を白く、わずかに赤みを加える。古風にはローキーで彩度を抑える。大人っぽくはR=X−10、G=Y−10,B=Zぐらいにする。かわいくときれいにの差はかわいくは個性を残したまま、きれいには標準的な目鼻の配置をプレイヤの平均値(例えば日本人)に会わせ所謂美人顔にする。より好まれる解釈はメイキスト、プロカメラマンの範疇であるがその解釈が文字だけではイメージが湧かないのであれば漫画などでアイコンとして文字と共に表示するのも良い。その他の編集項目は文言どおりである。
【0043】
続いて、CPU11は、このモニタ133上に画像データの編集を実行するか否かのメッセージを、記憶部15から読み出して表示する。CPU11は操作ボタン135またはタブレットペン132から画像データの編集を実行する旨の信号が入力されるか否かを判断する(ステップS34)。CPU11は画像データの編集を実行する旨の信号が入力されない場合は(ステップS34でNO)、印刷部16へフレームバッファの第2の領域に記憶した画像データを読み出して出力する(ステップS55)。
【0044】
一方、画像データの編集を実行する旨の信号が入力された場合は(ステップS34でYES)、編集画素を受け付ける(ステップS35)。この場合、図6に示すように編集画素の入力を促すメッセージが記憶部15から読み出されて表示される。たとえば、「色調整したいポイントを選んでね」等のメッセージが表示される。プレイヤはタブレットペン132を用いて編集を希望する箇所を指定する。CPU11はタブレットペン132からの入力があった場合、図6に示す如くポインタ27が表示される。本実施の形態においては、顔の肌色部分の明るさ調整処理を行う手順について説明する。
【0045】
図8はポインタ27の周辺画素を示す説明図である。図に示す如くポインタ27で示す画素がプレイヤに指定された編集画素に該当する。なお、本実施の形態においては、プレイヤが入力する画素は1画素としているが、これに限るものではなく複数の画素を編集画素として入力を受け付けるようにしても良い。編集画素の入力受け付け後、CPU11は入力された編集画素及び近接する画素の明度値を取得し(ステップS36)、取得したRGBそれぞれの明度値をRAM12に記憶する。近接する画素とは、編集画素の近辺の画素をいい、例えば入力された編集画素に隣接する画素、図8では編集画素を中心とした8方向の画素をいう。
【0046】
CPU11は入力された編集画素を含む近接する画素を初期状態の編集領域とし、該編集領域の平均明度値を算出する(ステップS37)。具体的にはRAM12に記憶したRGBそれぞれの明度データを読み出してRGBのそれぞれについて平均値を算出する。算出された平均明度値はRAM12に記憶される。CPU11はさらに、編集領域に近接する画素の明度値を取得する(ステップS41)。前記近接画素は図8においては編集領域に近接する画素である。CPU11は取得した画素の各RGBの明度値と、編集領域の各RGBの平均明度値との差の絶対値を算出し、その絶対値が記憶部15に予め記憶された閾値以上であるか否かを判断する(ステップS42)。
【0047】
算出した絶対値が閾値以上でない場合は(ステップS42でNO)、CPU11は顔の肌色部分と判断してこの画素を編集領域として設定する(ステップS43)。一方、算出した絶対値が閾値以上である場合は(ステップS42でYES)、当該画素は背景、髪、服等の肌色成分以外と判断して、この画素に対してフラグをセットする(ステップS44)。その後、CPU11は、編集領域に近接する全ての画素にフラグがセットされたか否かを判断する(ステップS45)。全ての近接する画素についてフラグがセットされていない場合は(ステップS45でNO)、ステップS41へ移行し、以上の処理を繰り返して行う。
【0048】
一方、全ての近接する画素にフラグがセットされた場合は(ステップS45でYES)、編集領域が顔全体に広がり、背景、髪、服等の肌色成分以外の領域まで達したと判断し、編集領域を確定する(ステップS46)。CPU11は、確定した編集領域以外の画素についてプレイヤに分からせるため、明度値を一定値低下させる等の画像処理を行う(ステップS47)。
【0049】
図9はステップS47による画像処理の結果を示す説明図である。図に示すようにCPU11は確定した編集領域を除く画素について画像処理を行う。これにより、プレイヤはタブレットペン132により指定した編集を希望する領域が正しいものであるかを視認することができる。CPU11はタブレットペン132から編集項目の入力を受け付ける(ステップS48)。具体的には、モニタ133の左端部縦方向に並列配置された編集項目ボタン21が、タブレットペン132により指定された場合、これを受け付ける。さらに、CPU11は編集情報であるパラメータを受け付ける(ステップS51)。CPU11は編集項目ボタン21がタブレットペン13で指定された場合は、パラメータボタン22を表示する。タブレットペン132によりパラメータボタンが操作された場合は、そのパラメータに対応するRGBの各要素に対する画像処理情報を画像処理変換テーブル151から読み出す。そして読み出した画像処理情報に従い、編集領域の各画素について、画像データの編集を行い(ステップS52)、編集後の画像データをバッファメモリの第2の領域に格納すると共に、モニタ133に表示する。
【0050】
CPU11は時計部192から出力される時間情報に基づき、編集時間のタイムアウト、またはおわりボタン23が操作されたか否かを判断する(ステップS53)。タイムアウトではなく、またおわりボタン23も操作されない場合は(ステップS53でNO)、ステップS48へ移行し以上述べた処理を繰り返す。一方、タイムアウトまたはおわりボタン23が操作された場合は(ステップS53でYES)、編集領域以外の画素について、ステップS47で行った画像処理を元に戻す画像処理を行う(ステップS54)。具体的には、編集領域以外の画素のRGB各明度値を所定値減じる処理をステップS47で行った場合は、編集領域以外の画素のRGB各明度値を所定値増加する処理を行い、バッファメモリの第2の領域に記憶する。
【0051】
その後CPU11は印刷部16へバッファメモリの第2の領域に記憶された編集後の画像データを出力する(ステップS55)。印刷部16はCPU11の指示に従いシールに印刷を行い、印刷後のシールはシール取出口161から排出される。なお、本実施の形態においては顔の肌色部分について明るさ調整をする場合の例について説明したが、これに限るものではなく背景、髪などの部分を同様の処理により画像処理を行うようにしてもよい。以上説明したように、プレイヤは、タブレットペン132を用いて、編集を希望する箇所を指定するという単純な操作のみで、所望の編集領域について編集を行うことが可能となる。また、他のプレイヤの画像データに影響を与えることなく、自由に明るさ調整等が可能となりより遊技性を高めることが可能となる。
【0052】
実施の形態2
図10は実施の形態2に係る画像編集装置1の構成を示すブロック図である。また、実施の形態1に係る画像編集装置1を実行させるためのコンピュータプログラムは、本実施の形態2のように画像編集装置1にプレインストールして提供することも、またCD−ROM、MO等の可搬型記録媒体で提供することも可能である。さらに、コンピュータプログラムをインターネットまたは公衆回線経由等で搬送波として伝搬させて提供することも可能である。以下に、その内容を説明する。
【0053】
図10に示す画像編集装置1に、編集画素の入力を受け付けさせ、領域を設定させ、編集情報を受け付けさせ、画像データを編集させるプログラムが記録された記録媒体1a(CD−ROM、MO又はDVD−ROM等)が画像編集装置1の記憶部15にインストールされている。かかるプログラムは画像編集装置1のRAM12にロードして実行される。これにより、上述のような本発明の画像編集装置1として機能する。
【0054】
本実施の形態2は以上の如き構成としてあり、その他の構成及び作用は実施の形態1と同様であるので、対応する部分には同一の参照番号を付してその詳細な説明を省略する。
【0055】
実施の形態3
実施の形態3は実施の形態1と異なり、取り込んだ画像からCPU11が被写体毎の編集領域を設定し、プレイヤは一の被写体を選択して、選択された被写体に係る編集領域内で画像の編集を行う方法に関する。
【0056】
図11乃至13は実施の形態3に係る画像編集処理の手順を示すフローチャートである。CPU11は硬貨処理部14により、所定の額の貨幣が投入されたか否かを判断し、所定の額の貨幣が投入されたと判断した場合、記憶部15から撮影手順及び編集手順を示すメッセージを読み出してモニタ133へ出力する。CPU11は操作ボタン135から画像取り込みを示す信号が入力されたか否かを監視し、操作ボタンが入力された場合は、ストロボ191aを発光させると共に、CCDカメラ181に対して画像の取り込み信号を出力することにより、画像データを取り込む(ステップS111)。
【0057】
CPU11は取り込んだ画像データを表示プロセッサ134のフレームバッファの、第1の領域及び第2の領域に記憶する(ステップS112)。CPU11はフレームバッファから画像データを読み出し、また編集情報を入力するための編集画面を記憶部15から読み出し、読み出した編集画面及び画像データをモニタ133へ表示する(ステップS113)。CPU11はこのモニタ133上に画像データの編集を実行するか否かのメッセージを、記憶部15から読み出して表示する。CPU11は操作ボタン135またはタブレットペン132から画像データの編集を実行する旨の信号が入力されるか否かを判断する(ステップS114)。画像データの編集を実行する旨の信号が入力されない場合は(ステップS114でNO)、CPU11は印刷部16へフレームバッファの第2の領域に記憶した画像データを読み出して出力する(ステップS133)。
【0058】
一方、画像データの編集を実行する旨の信号が入力された場合は(ステップS114でYES)、CPU11はフレームバッファに記憶した画像データを読み出して、背景画像を取り除く処理を行い被写体画像のみを抽出する(ステップS115)。これは、クロマキー処理などの公知の画像処理方法により被写体画像を抽出するようにすればよい。CPU11は被写体画像を抽出した後、エッジ検出を行い(ステップS116)、さらに、エッジ検出された画素群の中から、被写体画像の輪郭画素のみを抽出する処理を行う(ステップS117)。
【0059】
CPU11は被写体の輪郭画素を抽出した後、被写体毎の編集領域を設定する(ステップS118)。すなわち複数の被写体が存在する場合、被写体数、各被写体が占める画素を認識することにより、被写体毎の編集領域を設定する。この場合、被写体の情報に対応させて、各被写体が占める画素の情報が記憶部15に記憶される。なお、S118の処理については後述する。被写体毎の領域が設定された場合、CPU11は各被写体及び背景画像に対し第1の画像処理を行う(ステップS121)。
【0060】
図14は被写体毎に画像編集処理を行う際のイメージを示す説明図である。第1の画像処理が実行された場合、背景成分領域、被写体領域毎に着色処理が行われる。具体的にはCPU11は一の被写体の編集領域画素を記憶部15から読み出し、フレームバッファの第2の領域に記憶された画像データの、前記読み出した画素に対し、着色処理を行う。続いて、CPU11は他の被写体の編集領域画素を記憶部15から読み出し、フレームバッファの第2の領域に記憶された画像データの、前記読み出した画素に対し、着色処理を行う。被写体の編集領域に対する着色処理が完了した場合、フレームバッファの第2の領域に、残りの画素、すなわち背景画素に対して着色処理を行う。着色処理は領域毎に異なる色成分を用いれば良く、これにより、プレイヤは容易に編集領域を認識することが可能となる。
【0061】
CPU11は被写体数及び被写体の位置を認識した場合、被写体数及び被写体の位置に応じたアイコンを記憶部15から読み出してモニタ133の右側端部に設けられる領域選択ボックス210に表示する(ステップS122)。このアイコンは予め記憶部15に記憶されており、本実施例の場合、被写体が2名、左右並列状態で撮影されているので、これに対応するアイコンをモニタに表示する。CPU11はプレイヤのタブレットペン132の操作により、一の被写体の編集領域を受け付ける(ステップS123)。この場合、CPU11は記憶部15から編集領域の指定を促すメッセージを読み出して、図14の如く表示する。このメッセージは例えば「だれを編集するの?編集する人をペンでタッチしてね。」等を表示するようにすればよい。
【0062】
プレイヤはタブレットペン132を用いて一の被写体をモニタ上の着色された被写体領域をタッチすることにより、または領域選択ボックス210に表示された一のアイコンをクリックすることにより、編集対象となる一の被写体を指定する。図14の例ではポインタ27で指定された被写体(正面方向から見て左側の被写体)が選択されている。左側の被写体を指定する場合は領域選択ボックス210の上側のアイコン「ひだりの人」をタッチすることにより編集対象となる被写体が選択される。このようにアイコンを設けることでプレイヤは容易に一の被写体を選択することが可能となる。
【0063】
編集対象となる被写体領域を受け付けた場合、CPU11は記憶部15から対象となる被写体画像を読み出し、これに第2の画像処理を行う(ステップS124)。第2の画像処理は例えば、ステップS121で行った被写体領域に対する画像処理を元に戻す処理を実行するようにすればよい。この場合、CPU11はフレームバッファに記憶した第2の画像編集処理がなされた画像データを読み出し、選択された被写体の画素に対して、ステップS121で行った着色処理を元に戻す処理を行う。これにより、プレイヤは容易に編集領域を把握することが可能となる。
【0064】
CPU11はタブレットペン132から編集項目の入力を受け付ける(ステップS125)。具体的には、モニタ133の左端部縦方向に並列配置された編集項目ボタン21が、タブレットペン132により指定された場合、これを受け付ける。さらに、CPU11は編集情報であるパラメータを受け付ける(ステップS126)。CPU11は編集項目ボタン21が操作された場合は、パラメータボタン22を表示する。タブレットペン132によりパラメータボタンが操作された場合は、そのパラメータに対応するRGBの各要素に対する画像処理情報を画像処理変換テーブル151から読み出す。そして読み出した画像処理情報にしたがい、編集領域の各画素について、画像データの編集を行い(ステップS127)、編集後の画像をバッファメモリの第2の領域に格納すると共に、モニタ133に表示する。なお、詳細な画像処理の内容については実施の形態1で説明したので省略する。
【0065】
CPU11は時計部192から出力される時間情報に基づき、編集時間のタイムアウト、またはおわりボタン23が操作されたか否かを判断する(ステップS131)。タイムアウトではなく、またおわりボタン23も操作されない場合は(ステップS131でNO)、ステップS125へ移行し以上述べた処理を繰り返す。一方、タイムアウトまたはおわりボタン23が操作された場合は(ステップS131でYES)、編集領域以外の画素について、ステップS121で行った画像処理を元に戻す画像処理を行う(ステップS132)。具体的には、編集領域以外の画素について行った着色処理を元に戻す処理を行い、バッファメモリの第2の領域に記憶する。
【0066】
その後CPU11は印刷部16へバッファメモリの第2の領域に記憶された編集後の画像データを出力する(ステップS133)。印刷部16はCPU11の指示に従いシールに印刷を行い、印刷後のシールはシール取出口161から排出される。以上のように構成することで、複数のプレイヤで撮影し編集を行う場合でも、ユーザの指定により、選択対象を容易に選択できる。また、従来のように他のプレイヤの画像に対しては編集した処理が反映されることがないため、より自由度の高い編集が可能となる。
【0067】
以下にS118の、編集領域設定処理の詳細について説明する。図15はステップS118の第1のサブルーチンを示すフローチャートであり、また図16は取り込み画像の一例を示す説明図である。図16に示すように被写体2名の画像に対しエッジ検出が行われ、各被写体の輪郭が表示されている。ここで、図16においては、モニタ133の左上端部を原点として、横方向の画素配列をx軸、縦方向の画素配列をy軸とする。以下に被写体毎の編集領域を設定する際の処理内容について説明する。まず、CPU11は配列i、及びxに初期値0を代入しRAM12に記憶する(ステップS151)。CPU11はx軸の画素を初期値0に固定した状態でy軸方向の画素を走査し、明度を検出する(ステップS152)。
【0068】
そしてCPU11は走査線上に輪郭画素が存在するか否かを判断する(ステップS153)。輪郭画素を検出しない場合は(ステップS153でNO)、xをインクリメントし(ステップS154)、ステップS152へ移行して処理を繰り返す。一方、輪郭画素を検出した場合は(ステップS153でYES)、iをインクリメントし(ステップS155)、検出した画素に係る領域は第i番目の被写体と認識する(ステップS156)。同時に検出した画素の座標をRAM12に記憶しておく。なお、初期値は0であるので、第1回目の認識により第1番目の被写体と認識する。
【0069】
さらにCPU11はxの値をインクリメントし(ステップS157)、インクリメントされたx軸の画素を固定した状態でy軸方向の画素を走査し、明度を検出する(ステップS158)。そして、CPU11はy軸走査線上に輪郭画素が存在するか否かを判断する(ステップS159)。CPU11は輪郭画素が存在する場合は(ステップS159でYES)、被写体番号(i)に対応づけて輪郭画素の座標をRAM12に記憶する(ステップS1510)。その後CPU11は、ステップS157へ移行し以上の処理を繰り返す。ステップS159において、CPU11は輪郭画素を検出しなかった場合(ステップS159でNO)、xをインクリメントする(ステップS1511)。
【0070】
その後、CPU11は、xが予め定めた最大値であるか否かを判断する(ステップS1512)。例えば、x軸方向の座標値の終端を1024とした場合、xの値が1024であるか否かを判断する。xの値が最大でない場合(ステップS1512でNO)、ステップS152へ移行し、被写体の検出及び被写体領域の画素検出を繰り返して行う。xの値が最大値となった場合(ステップS1512でYES)、処理を終了する。以上説明したように取り込んだ画像データの色情報に基づいた処理によりCPU11は、RAM12に格納された被写体番号及び被写体の輪郭画素座標を読み出し、これら読み出したデータに基づいて各被写体の編集領域を設定することができる。また、被写体毎の編集領域の設定は以下に述べる方法により実行しても良い。
【0071】
図17はステップS118の第2のサブルーチンを示すフローチャートであり、また図18は取り込み画像の一例を示す説明図である。CPU11はクロマキー処理により頂点画素の座標を検出する(ステップS171)。そして、検出した頂点数及び頂点画素の座標29a、29b…をRAM12に記憶する(ステップS172)。これにより被写体数及び頂点座標が認識される。図18の例では被写体数が2であり、頂点画素の座標はそれぞれ、29a(x1 、y1 )、29b(x2 、y2 )と記憶される。
【0072】
CPU11は配列xにx1 +1を代入し(ステップS173)、y軸方向の走査を行い、輪郭画素の座標を抽出する(ステップS174)。CPU11は抽出した輪郭画素の座標値をRAM12に記憶する(ステップS175)。続いてCPU11は配列xがx2 以上であるか否かを判断する(ステップS176)。xがx2 以上でない場合(ステップS176でNO)、ステップS173へ移行して以上の処理を繰り返す。xがx2 以上である場合(ステップS176でYES)、ステップS175においてRAM12に記憶した画素を読み出し座標yが最大である輪郭画素の座標(x、ymax )を抽出する(ステップS177)。
【0073】
CPU11はこの輪郭画素の座標(x、ymax )を被写体間の境界と認識し、輪郭画素の座標(x、ymax )から、(x、yend )までの画素を境界画素と設定する(ステップS178)。なお、yend はy軸の終点画素であり、例えば取り込み画像の画素の座標領域(xend 、yend )を(1024,512)とした場合は、512となる。なお、この領域はCCDカメラ181の解像度設定により自由に変更することが可能である。最後にCPU11は被写体毎に輪郭画素、境界画素の座標を記憶する(ステップS179)。以上のように、頭部頂点等の人体の特徴点に基づいて被写体毎の編集領域を設定するようにすればよい。なお、人体の特徴点については頭部の頂点に限るものではなく、目、鼻、顔の肌色部分等に基づいて処理を行うようにしても良い。以下に特徴点である被写体の目を用いた被写体毎の領域設定処理について説明する。
【0074】
図19はステップS118の第3のサブルーチンを示すフローチャートであり、また図20は取り込み画像の一例を示す説明図である。CPU11はまず、取り込んだ画像をクロマキー処理等によって背景部分を取り除き被写体部分のみを抽出する。そして、記憶部15に予め記憶された図20に示す目のテンプレート画像を読み出す(ステップS181)。なお、テンプレート画像は複数の大きさのものが用意される。CPU11は始点画素(0,0)を開始点として、被写体抽出画像とテンプレート画像とのテンプレートマッチング処理を行う(ステップS182)。
【0075】
CPU11はマッチング処理により算出された相関値と予め記憶部15に記憶された閾値とを比較し、相関値が閾値以下であるか否かを判断する。閾値以下であると判断した場合は(ステップS183でYES)、テンプレート画像が目の位置に合致したと判断して、画素及び被写体番号(初期値1)を記憶する(ステップS184)。CPU11は前記画素及び該画素の周辺画素に対してフラグをセットする(ステップS185)。例えば、合致した画素座標(x、y)に対してx±100、y±100の領域に係る画素に対してフラグをセットする。これは、合致した画素周辺ではステップS183の処理により、相関値が閾値以下となる画素が多く、また被写体同士の目が、あまりに近接して存在していることはあり得ないことから、一定領域内で再度マッチング処理を行わないようにして正確な被写体数を把握するためである。
【0076】
一方、算出した相関値が閾値以上である場合は、目以外の領域と判断して当該画素にフラグをセットする(ステップS186)。CPU11は全ての画素にフラグがセットされたか否かを判断する(ステップS187)。全ての画素についてフラグがセットされていないと判断した場合は(ステップS187でNO)、フラグがセットされていない画素へ移動し(ステップS188)、再度ステップS182へ移行し以上の処理を繰り返す。CPU11は全ての画素についてフラグがセットされたと判断した場合(ステップS187でYES)、RAM12に記憶した画素を被写体番号に対応させて読み出す(ステップS189)。
【0077】
図20の例では被写体1については座標値(x1 、y1 )、被写体2については(x2 、y2 )がそれぞれ読み出される。目の座標値が決定された場合、CPU11は目の画素を中心とした所定の領域を被写体の領域として設定する(ステップS1810)。この所定の領域については予め記憶部15に記憶されており、例えば、y軸方向には±200画素の領域、x軸方向の−方向(頭部方向)に100画素、+領域(胴体部分方向)に200画素等と設定されている。なお、図20に示すようにテンプレート画像は複数種類用意しておいても良く、複数のテンプレート画像を用いてパターンマッチングを行うようにしても良い。この場合、テンプレート画像に応じて上述した所定の領域の値を変更するようにしても良い。以上のように特徴点である目を検出することにより、被写体数及び被写体毎の編集領域を設定することが可能となる。
【0078】
実施の形態4
図21は実施の形態4に係る画像編集装置1の構成を示すブロック図である。また、実施の形態3に係る画像編集装置1を実行させるためのコンピュータプログラムは、本実施の形態4のように画像編集装置1にプレインストールして提供することも、またCD−ROM、MO等の可搬型記録媒体で提供することも可能である。さらに、コンピュータプログラムをインターネットまたは公衆回線経由等で提供することも可能である。以下に、その内容を説明する。
【0079】
図21に示す画像編集装置1に、編集領域を設定させ、編集領域の指定を受け付けさせ、編集情報を受け付けさせ、画像データを編集させるプログラムが記録された記録媒体1a(CD−ROM、MO又はDVD−ROM等)が画像編集装置1の記憶部15にインストールされている。かかるプログラムは画像編集装置1のRAM12にロードして実行される。これにより、上述のような本発明の画像編集装置1として機能する。
【0080】
本実施の形態4は以上の如き構成としてあり、その他の構成及び作用は実施の形態1及び3と同様であるので、対応する部分には同一の参照番号を付してその詳細な説明を省略する。
【0081】
実施の形態5
実施の形態3では選択された一の被写体画像全体に対して編集処理を実行する場合について説明したが、さらに選択された被写体画像を髪、顔等の人体領域毎に分割して編集するようにしても良い。以下にその内容を説明する。図22及び図23は実施の形態5に係る編集処理の手順を示すフローチャートである。まず上述したステップS118と同様の処理により、被写体毎の編集領域を設定する(ステップS221)。CPU11は一の被写体の、編集領域の指定を操作ディスプレイ13から受け付ける(ステップS222)。編集領域の指定を受け付け、編集対象となる一の被写体が決定した場合、CPU11は編集領域以外の画素に画像処理を施す(ステップS223)。画像処理後の画像データはフレームバッファの第2の領域に記憶される。
【0082】
図24は画像処理を施した後のイメージを示す説明図である。図に示すように編集領域以外の画素部分に例えば着色処理等が行われる。CPU11は編集領域を顔、髪、胴体等の人体領域毎に分割する処理を行う(ステップS224)。
【0083】
図25及び図26はステップS224のサブルーチンを示すフローチャートである。抽出した被写体画像を顔、髪、胴体などの人体領域毎に分割する画像処理は公知の方法を適用すれば良く、例えば以下に述べる方法により実行すればよい。まず、ステップS171で説明したように、CPU11は編集領域である被写体の頂点画素の座標値を検出する(ステップS251)。頂点画素の座標値が検出された場合、CPU11は当該画素から所定領域の画素の明度を取得する(ステップS252)。この所定領域は予め記憶部15に記憶されており、頂点画素から髪が存在するであろうとおよそ判断される座標領域データが記憶されている。CPU11は取得した画素の明度値から第1基準値を減じた値の絶対値が第1閾値以下であるか否かを判断する(ステップS253)。第1基準値及び第1閾値は、取得した画素の明度が標準的な髪の色成分に近似するか否かの判断のために用いられる。第1基準値及び第1閾値はRGBの色成分毎に所定の明度値が記憶部15に予め記憶されている。
【0084】
CPU11は絶対値が第1閾値以下であると判断した場合(ステップS253でYES)、当該画素は髪の部分であると判断し、画素に第1フラグを設定する(ステップS254)。一方、絶対値が閾値以下でないと判断した場合(ステップS253でNO)、CPU11はステップS254の処理をスキップする。CPU11はステップS252で取得した画素の全てについてステップS253の処理を行ったか否かを判断する(ステップS255)。全ての画素について判断していないと判断した場合は(ステップS255でNO)、ステップS253へ移行し以上の処理を繰り返す。
【0085】
一方全ての画素についてステップS253の処理が終了したと判断した場合は(ステップS255でYES)、CPU11はステップS254で設定した第1フラグの画素を髪の部分と認識する(ステップS256)。CPU11は髪の部分の認識が終了した後は、顔の部分の認識処理を行う。顔の部分の認識は人体の特徴点、例えば実施の形態3で説明した目を用いて行う。まず、実施の形態3で述べた方法と同様にテンプレート画像を記憶部15から読み出す(ステップS257)。CPU11は被写体の領域についてテンプレートマッチング処理を行う(ステップS258)。CPU11はマッチング処理の結果、相関値が最大の画素を抽出する(ステップS259)。
【0086】
CPU11は抽出した画素から所定領域の画素の明度を取得する(ステップS261)。この所定領域は予め記憶部15に記憶されており、抽出した画素、すなわち目の部分から顔の外延が存在するであろうとおよそ判断される座標領域データが記憶されている。CPU11は取得した画素に第1フラグが設定されているか否かを判断する(ステップS262)。CPU11は第1フラグが設定されていると判断した場合は(ステップS262でYES)、当該画素は髪の部分であるので、ステップS263及びS264の処理はスキップして、ステップS265へ移行する。
【0087】
CPU11は画素に第1フラグが設定されていないと判断した場合(ステップS262でNO)、当該画素は顔の部分又は胴体の部分であると判断して、取得した画素の明度値から第2基準値を減じた値の絶対値が第2閾値以下であるか否かを判断する(ステップS263)。第2基準値及び第2閾値は、取得した画素の明度が標準的な肌の色成分に近似するか否かの判断のために用いられる。第2基準値及び第2閾値はRGBの色成分毎に所定の明度値が記憶部15に予め記憶されている。
【0088】
CPU11は絶対値が第2閾値以下であると判断した場合(ステップS263でYES)、当該画素は顔の部分であると判断し、画素に第2フラグを設定する(ステップS264)。一方、絶対値が閾値以下でないと判断した場合(ステップS263でNO)、CPU11はステップS264の処理をスキップする。CPU11はステップS261で取得した画素の全てについてステップS262またはステップS263の処理を行ったか否かを判断する(ステップS265)。全ての画素について判断していないと判断した場合は(ステップS265でNO)、ステップS262へ移行し以上の処理を繰り返す。
【0089】
一方全ての画素についてステップS262またはステップS263の処理が終了したと判断した場合は(ステップS265でYES)、CPU11はステップS264で設定した第2フラグの画素を顔の部分と認識する(ステップS266)。CPU11は選択された被写体の編集領域のうち第1フラグ及び第2フラグが設定されていない領域の画素に対して第3フラグを設定する(ステップS267)。つまりCPU11は髪及び顔以外の画素である第3フラグの画素を胴体部分と認識し(ステップS268)、処理を終了してメインルーチンへリターンする。
【0090】
ステップS224(図22)において、人体領域の分割が終了した場合、CPU11は記憶部15から予め記憶したアイコンを領域選択ボックス210に表示する(ステップS225)。プレイヤは、タブレットペン132により、直接編集する領域(顔、髪など)を指定することが出来るほか、アイコンにタッチすることによっても編集領域を指定することができる。このアイコンは予め記憶部15に記憶されており、本実施例の場合、被写体領域全体を編集する「ぜんぶ」、第1フラグが設定された髪の部分のみを編集する「かみ」、第2フラグが設定された顔の部分のみを編集する「かお」、及び第3フラグが設定された胴体部分のみを編集する「からだ」アイコンがそれぞれ表示される。CPU11はプレイヤのタブレットペン132の操作により、編集領域を受け付ける(ステップS226)。この場合、CPU11は記憶部15から編集領域の指定を促すメッセージを読み出して、図24の如く表示する。このメッセージは例えば「どこを編集するの」等を表示するようにすればよい。
【0091】
プレイヤはタブレットペン132を用いて編集を希望する身体部分をタッチすることにより、または領域選択ボックス210に表示された一のアイコンをクリックすることにより、編集対象となる一の領域を指定する。図24の例ではポインタ27で指定された顔の部分が選択されている。アイコンを利用する場合は、「かお」のアイコンをタッチする。このようにアイコンを設けることでプレイヤは容易に編集領域を選択することが可能となる。
【0092】
顔、髪、胴体等の一の身体に係る編集領域を受け付けた場合、編集領域以外の画素について画像処理を行う(ステップS227)。編集領域を例えば第2フラグである顔の部分であるとした場合、第1フラグ及び第3フラグが設定されている画素にステップS223で行ったのと同様の画像処理を行う。この場合、CPU11は画像処理したデータをフレームバッファの第2の領域に記憶する。これにより、プレイヤは容易に編集領域を把握することが可能となる。
【0093】
CPU11はタブレットペン132から編集項目の入力を受け付ける(ステップS228)。具体的には、モニタ133の左端部縦方向に並列配置された編集項目ボタン21が、タブレットペン132により指定された場合、これを受け付ける。さらに、CPU11は編集情報であるパラメータを受け付ける(ステップS229)。CPU11は編集項目ボタン21が操作された場合は、パラメータボタン22を表示する。タブレットペン132によりパラメータボタンが操作された場合は、そのパラメータに対応するRGBの各要素に対する画像処理情報を画像処理変換テーブル151から読み出す。そして読み出した画像処理情報に従い、編集領域の各画素について、画像データの編集を行い(ステップS2210)、編集後の画像をバッファメモリの第2の領域に格納すると共に、モニタ133に表示する。なお、詳細な画像処理の内容については実施の形態1で説明したので省略する。
【0094】
CPU11は時計部192から出力される時間情報に基づき、編集時間のタイムアウト、またはおわりボタン23が操作されたか否かを判断する(ステップS231)。タイムアウトではなく、またおわりボタン23も操作されない場合は(ステップS231でNO)、ステップS228へ移行し以上述べた処理を繰り返す。一方、タイムアウトまたはおわりボタン23が操作された場合は(ステップS231でYES)、編集領域以外の画素について、ステップS223及びステップS227で行った画像処理を元に戻す画像処理を行う(ステップS232)。具体的には、編集領域以外の画素について行った着色処理を元に戻す処理を行い、バッファメモリの第2の領域に記憶する。
【0095】
その後CPU11は印刷部16へバッファメモリの第2の領域に記憶された編集後の画像データを出力する(ステップS233)。印刷部16はCPU11の指示に従いシールに印刷を行い、印刷後のシールはシール取出口161から排出される。以上のように構成することで、被写体毎に編集する場合、さらにその領域を顔、髪等の身体領域に分割して自由に編集することが可能となる。
【0096】
【発明の効果】
以上詳述した如く、本発明にあっては、画像編集装置はプレイヤが編集を希望する箇所である編集画素の入力を入力手段から受け付ける。そして、受け付けた編集画素の色情報に基づいて、演算処理手段により該編集画素を含む編集領域を設定する。次いで、設定された編集領域に対して、明度の変更等の編集情報を入力手段から受け付け、受け付けた編集情報に基づき前記編集領域の画像データを編集するよう構成したので、プレイヤは調整を希望する箇所(例えば顔の一部分、髪)をペン等で指定するだけで、調整を反映させる領域(一のプレイヤの顔全体、髪全体)が設定されるため、一のプレイヤの、顔等の明るさを変更した場合に、他のプレイヤの領域については、この調整による影響を防止することができる。しかもプレイヤは入力ペンにより変更箇所を指定するという単純な作業しか要求されないため、容易に調整が可能となる。
【0097】
また、本発明にあっては、頭の頂点、目等、被写体の画像データの特徴点または、髪の色、肌の色等のまたは色情報に基づき、被写体毎に編集領域を設定する。そして、設定された編集領域から一の編集領域の指定を受け付け、受け付けた編集領域に対する編集情報を入力手段から受け付け、受け付けた編集情報に基づき前記編集領域の画像データを編集するよう構成したので、一のプレイヤは自己の画像についてのみお絵かき、色の調整等を行うことができ、一方他のプレイヤは一のプレイヤの編集による影響を受けることが無く、より遊技性の高い画像編集装置を提供することが可能となる。
【0098】
さらに、本発明にあっては、設定された被写体の編集領域を、顔及び髪を含む人体領域毎にさらに分割するようにしたので、一のプレイヤは自己の髪だけ金色にする、自己の顔だけ白くする等さらに細かく編集が行うことが可能となる等、本発明は優れた効果を奏し得る。
【図面の簡単な説明】
【図1】本発明に係る画像編集装置の外観を示す模式図である。
【図2】画像編集装置のハードウェア構成を示すブロック図である。
【図3】本発明の画像処理の手順を示すフローチャートである。
【図4】本発明の画像処理の手順を示すフローチャートである。
【図5】本発明の画像処理の手順を示すフローチャートである。
【図6】モニタに表示される編集画面及び画像データのイメージを示す説明図である。
【図7】編集項目及びパラメータの例を示す説明図である。
【図8】ポインタの周辺画素を示す説明図である。
【図9】ステップS47による画像処理の結果を示す説明図である。
【図10】実施の形態2に係る画像編集装置の構成を示すブロック図である。
【図11】実施の形態3に係る画像編集処理の手順を示すフローチャートである。
【図12】実施の形態3に係る画像編集処理の手順を示すフローチャートである。
【図13】実施の形態3に係る画像編集処理の手順を示すフローチャートである。
【図14】被写体毎に画像編集処理を行う際のイメージを示す説明図である。
【図15】ステップS118の第1のサブルーチンを示すフローチャートであ
【図16】取り込み画像の一例を示す説明図である。
【図17】ステップS118の第2のサブルーチンを示すフローチャートである。
【図18】取り込み画像の一例を示す説明図である。
【図19】ステップS118の第3のサブルーチンを示すフローチャートである。
【図20】取り込み画像の一例を示す説明図である。
【図21】実施の形態4に係る画像編集装置の構成を示すブロック図である。
【図22】実施の形態5に係る編集処理の手順を示すフローチャートである。
【図23】実施の形態5に係る編集処理の手順を示すフローチャートである。
【図24】画像処理を施した後のイメージを示す説明図である。
【図25】ステップS224のサブルーチンを示すフローチャートである。
【図26】ステップS224のサブルーチンを示すフローチャートである。
【符号の説明】
1 画像編集装置
191 照明部
191a ストロボ
191b ライト
192 時計部
16 印刷部
184 レール
18 撮影装置
181 CCDカメラ
182 取り込み画像表示部
19 スピーカ
135 操作ボタン
141 コイン投入口
14 硬貨処理部
15 記憶部
151 画像処理変換テーブル
183 撮影装置昇降ユニット
132 タブレットペン
13 操作ディスプレイ
131 タッチパネル
133 モニタ
161 シール取出口
1a 記録媒体

Claims (5)

  1. 撮像された画像データに対する編集情報を入力手段から受け付け、受け付けた編集情報に基づき、演算処理手段によりフレームバッファに記憶した前記画像データを編集する画像編集方法において、
    前記フレームバッファに記憶した前記画像データを前記演算処理手段により読み出し、複数の被写体の該読み出した画像データの特徴点または色情報に基づき、前記演算処理手段により被写体毎の編集領域を設定する領域設定ステップと、
    前記設定された被写体毎の編集領域の画像に対して各被写体の編集領域の画像に異なる色成分を前記演算処理手段により着色する第1の画像処理を施すステップと、
    設定された被写体毎の編集領域から一の被写体に係る編集領域の指定を、前記入力手段から受け付ける指定受付ステップと、
    該指定受付ステップにより、一の編集領域の指定を受け付けた場合、前記演算処理手段により該編集領域の画像に対して前記第1の画像処理による着色を元に戻す第2の画像処理を施すステップと、
    受け付けた編集領域に対する編集情報を入力手段から受け付けるステップと、
    受け付けた編集情報に基づき、前記演算処理手段により前記編集領域の画像データを編集して表示部に表示するステップと
    を備えることを特徴とする画像編集方法。
  2. 撮像された画像データに対する編集情報を入力手段から受け付け、受け付けた編集情報に基づき、演算処理手段により前記画像データを編集する画像編集装置において、
    複数の被写体の画像データの特徴点または色情報に基づき、前記演算処理手段により被写体毎の編集領域を設定する領域設定手段と、
    前記設定された被写体毎の編集領域の画像に対して各被写体の編集領域の画像に異なる色成分を着色する第1の画像処理を施す手段と、
    設定された被写体毎の編集領域から一の被写体に係る編集領域の指定を、前記入力手段から受け付ける指定受付手段と、
    該指定受付手段により、一の編集領域の指定を受け付けた場合、該編集領域の画像に対して前記第1の画像処理による着色を元に戻す第2の画像処理を施す手段と、
    受け付けた編集領域に対する編集情報を前記入力手段から受け付ける手段と、
    受け付けた編集情報に基づき、前記演算処理手段により前記編集領域の画像データを編集する手段と
    を備えることを特徴とする画像編集装置。
  3. 前記領域設定手段により設定された被写体の編集領域を、前記演算処理手段により顔及び髪を含む人体領域毎にさらに分割する手段
    を更に備えることを特徴とする請求項に記載の画像編集装置。
  4. 編集後の画像データを印刷媒体へ印刷する印刷手段を更に備えることを特徴とする請求項2または3に記載の画像編集装置。
  5. 撮像された画像データに対する編集情報を入力手段から受け付け、受け付けた編集情報に基づき、コンピュータの演算処理手段によりフレームバッファに記憶した前記画像データを編集させるコンピュータプログラムにおいて、
    コンピュータに、
    前記フレームバッファに記憶した前記画像データを前記演算処理手段により読み出し、複数の被写体の該読み出した画像データの特徴点または色情報に基づき、前記演算処理手段により被写体毎の編集領域を設定する領域設定ステップと、
    前記設定された被写体毎の編集領域の画像に対して各被写体の編集領域の画像に異なる色成分を前記演算処理手段により着色する第1の画像処理を施すステップと、
    設定された被写体毎の編集領域から一の被写体に係る編集領域の指定を、前記入力手段から受け付ける指定受付ステップと、
    該指定受付ステップにより、一の編集領域の指定を受け付けた場合、前記演算処理手段 により該編集領域の画像に対して前記第1の画像処理による着色を元に戻す第2の画像処理を施すステップと、
    受け付けた編集領域に対する編集情報を入力手段から受け付けるステップと、
    受け付けた編集情報に基づき、前記演算処理手段により前記編集領域の画像データを編集して表示部に表示するステップと
    を実行させるコンピュータプログラム。
JP2002244389A 2002-08-23 2002-08-23 画像編集方法、画像編集装置及びコンピュータプログラム Expired - Lifetime JP4142918B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2002244389A JP4142918B2 (ja) 2002-08-23 2002-08-23 画像編集方法、画像編集装置及びコンピュータプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2002244389A JP4142918B2 (ja) 2002-08-23 2002-08-23 画像編集方法、画像編集装置及びコンピュータプログラム

Publications (2)

Publication Number Publication Date
JP2004086384A JP2004086384A (ja) 2004-03-18
JP4142918B2 true JP4142918B2 (ja) 2008-09-03

Family

ID=32052856

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002244389A Expired - Lifetime JP4142918B2 (ja) 2002-08-23 2002-08-23 画像編集方法、画像編集装置及びコンピュータプログラム

Country Status (1)

Country Link
JP (1) JP4142918B2 (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009266061A (ja) * 2008-04-28 2009-11-12 Panasonic Corp 画像処理装置、画像処理方法および画像伝送システム
JP5229910B2 (ja) * 2008-08-08 2013-07-03 株式会社メイクソフトウェア 画像処理装置、画像出力装置、画像処理方法及びコンピュータプログラム
JP5782873B2 (ja) * 2011-07-06 2015-09-24 辰巳電子工業株式会社 遊戯用撮影装置、遊戯用撮影方法およびプログラム
JP6160470B2 (ja) * 2013-12-13 2017-07-12 フリュー株式会社 写真シール機、写真シール機の処理方法、並びにプログラム
JP2016177015A (ja) * 2015-03-18 2016-10-06 フリュー株式会社 写真シール作成装置および画像処理方法
CN109640186A (zh) * 2018-10-25 2019-04-16 平安科技(深圳)有限公司 图片播放方法、设备、存储介质及装置
JP6614374B2 (ja) * 2019-02-18 2019-12-04 辰巳電子工業株式会社 写真撮影遊戯機、制御方法およびプログラム
JP6614386B2 (ja) * 2019-04-25 2019-12-04 辰巳電子工業株式会社 画像処理装置、画像処理方法およびプログラム

Also Published As

Publication number Publication date
JP2004086384A (ja) 2004-03-18

Similar Documents

Publication Publication Date Title
JP2003244581A (ja) 画像印刷装置および方法、プログラム、並びに印刷媒体ユニット
JP5574031B2 (ja) 画像処理装置および方法、並びにプログラム
JP5360450B2 (ja) 画像処理装置、画像処理方法及びコンピュータプログラム
JP2010017360A (ja) ゲーム装置、ゲーム制御方法、ゲーム制御プログラム、及び、該プログラムを記録した記録媒体
JP5782873B2 (ja) 遊戯用撮影装置、遊戯用撮影方法およびプログラム
JP4142918B2 (ja) 画像編集方法、画像編集装置及びコンピュータプログラム
JP2007267268A (ja) 写真シール作成装置および方法、並びにプログラム
JP5569502B2 (ja) 写真シール作成装置、写真シール作成方法、およびプログラム
US20110292062A1 (en) Image processing apparatus, method, and storage medium storing a program
JP2013243466A (ja) 遊戯用撮影装置、遊戯用撮影方法およびプログラム
JP5239318B2 (ja) 写真シール作成方法および写真シール作成装置
JP6754229B2 (ja) 画像処理装置及びコンピュータプログラム
JP4173323B2 (ja) 画像撮影編集装置、画像撮影編集方法および画像撮影編集プログラム
JP3050209B2 (ja) 画像処理装置、画像処理方法および画像処理プログラムを記録した記録媒体
JP5131086B2 (ja) 自動写真作成装置、画像処理装置、画像処理方法、および画像処理プログラム
JP2011164141A (ja) 自動写真作成装置
JP2018029343A (ja) 画像処理装置、画像処理方法およびプログラム
JP6614386B2 (ja) 画像処理装置、画像処理方法およびプログラム
JP5967275B2 (ja) 写真撮影遊戯機とその制御方法及び制御コンピュータ
JP4239602B2 (ja) 写真シール作成方法及びその装置
JP6090369B2 (ja) 遊戯用撮影装置、遊戯用撮影方法およびプログラム
JP2014132772A (ja) 遊戯用撮影装置、遊戯用撮影装置の処理方法およびプログラム
JP4266154B2 (ja) 自動写真作成装置および自動写真作成方法
JP2016197924A (ja) 遊戯用撮影装置、遊戯用撮影方法、及びプログラム
JP7502711B1 (ja) プログラム、情報処理方法、情報処理装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050726

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20080122

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080129

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080312

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20080610

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20080613

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110620

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4142918

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110620

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140620

Year of fee payment: 6

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313114

R360 Written notification for declining of transfer of rights

Free format text: JAPANESE INTERMEDIATE CODE: R360

R360 Written notification for declining of transfer of rights

Free format text: JAPANESE INTERMEDIATE CODE: R360

R371 Transfer withdrawn

Free format text: JAPANESE INTERMEDIATE CODE: R371

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313114

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

EXPY Cancellation because of completion of term