JP3598296B2 - メガネ画像登録システムおよびメガネ画像登録方法 - Google Patents
メガネ画像登録システムおよびメガネ画像登録方法 Download PDFInfo
- Publication number
- JP3598296B2 JP3598296B2 JP2002068528A JP2002068528A JP3598296B2 JP 3598296 B2 JP3598296 B2 JP 3598296B2 JP 2002068528 A JP2002068528 A JP 2002068528A JP 2002068528 A JP2002068528 A JP 2002068528A JP 3598296 B2 JP3598296 B2 JP 3598296B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- glasses
- lens
- mask
- outer circumference
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Eyeglasses (AREA)
- Image Input (AREA)
- Image Analysis (AREA)
Description
【発明の属する技術分野】
この発明はメガネを撮影してコンピュータ画面上で人物像と合成可能な画像データを生成して登録するメガネ画像登録システムおよびメガネ画像登録方法に関し、特にコンピュータを使用してメガネの販売サービスを行うメガネ販売システムに使用する画像データを生成して登録するメガネ画像登録システムおよびメガネ画像登録方法に関する。
【0002】
【従来の技術】
従来、メガネの販売は需要者がメガネ店に赴き、メガネ店に用意されたメガネを実際に試着して希望するメガネを選択することにより行われていた。
この場合、レンズの度数については視力測定をしたり、矯正用のメガネから最適な度数を選択することで対応可能であるが、レンズの色やメガネフレームは実際に試着して似合うかどうかを確認することが必要になり、あらゆる種類のメガネを準備しておかなければならなかった。
特に、今日ではメガネフレームは、チタン等の金属を用いたメタルフレーム、プラスチックを用いたセルフレーム、金属またはプラスチックのリムにナイロン糸でレンズを吊り下げ固定したナイロール、レンズに穴を空けてフレームをねじ止めしたツーポイント等、多品種にわたり、新しいデザインのメガネが次々に製造される中で、すべての品種のメガネを店頭に揃えておくことは困難である。
【0003】
このため、特開2001−350982等で開示されているように、店舗に設置した端末で、需要者の顔の画像を撮影し、あらかじめ記憶させたメガネ画像と合成し、コンピュータ画面に表示させることで、メガネの在庫がなくても、需要者が希望するデザインのメガネを選択できるメガネ販売システムが開発されている。
また、インターネット等のネットワーク技術の発達により、ネットワーク上に仮想店舗を設け、需要者が当該仮想店舗にアクセスして、人手を介することなくメガネを販売するメガネ販売システムも開発されているが、この場合においても、需要者のコンピュータから顔の画像データを受信し、あらかじめ記憶させたメガネ画像と合成した画像を生成し、需要者のコンピュータに送信して画面表示することにより、需要者が希望するデザインのメガネを選択できるようにしたメガネ販売システムが考えられる。
尚、上記メガネ販売システムにおいて、需要者の顔の画像データは、例えばディジタルカメラで撮影して、需要者のコンピュータに取込んだものを使用すればよい。
【0004】
【発明が解決しようとする課題】
このようなメガネ販売システムにおいて、人物像にメガネ画像を合成するには、メガネの画像データが合成可能な形態であらかじめ登録されていることが必要となる。
【0005】
このような画像データは、メガネの設計にCADが使用されている場合にはCADデータを利用することで生成できるが、メガネの設計にCADが使用されていない場合が多く存在し、その場合にはあらためて図面を起こすか、または製造されたメガネをカメラで撮影し、そこから合成可能な画像データを生成する必要がある。
【0006】
しかしながら、あらためて図面を起こす方法は、作業の手戻りとなる上、製造現場で試作されたメガネを、販売店やインターネットの仮想店舗で即注文を受付けるというような迅速な処理を行うことは困難である。
【0007】
また、メガネをカメラで撮影して合成可能な画像データを生成する方法は、所定の品質でメガネを撮影し、撮影されたメガネ画像の中から適当な画像を選択してコンピュータに取込み、メガネのフレーム部分やレンズ部分を指定したデータに変換する作業を行う必要がある。このような、撮影やコンピュータ処理は専門知識と熟練技術を必要とするため、従来は、プロのカメラマンがスタジオでメガネを撮影し、コンピュータグラフィックスの専門家の手によって撮影された画像データをコンピュータ処理していた。
このため、撮影やコンピュータ処理に多大なコストを要するとともに、撮影やコンピュータ処理のためにメガネを搬送する必要があり、これらがメガネの価格低減や迅速な販売を行う上で大きな障害となっていた。
【0008】
それゆえに、本願発明の主たる目的は、何時、何処で、誰が行っても、人物像と合成可能な画像データを低コストで迅速に得ることができるメガネ画像登録システムおよびメガネ画像登録方法を提供することである。
【0015】
【課題を解決するための手段】
請求項1に記載のメガネ画像登録システムは、メガネの画像を撮影する撮影手段と、撮影手段により撮影された画像から人物像と合成するための合成用画像を生成する合成用画像生成手段と、合成用画像生成手段により生成された合成用画像を当該メガネの諸元とともに登録する登録手段とを備えたメガネ画像登録システムであって、合成用画像生成手段は撮影されたメガネ画像からメガネのフレーム部分を指定するフレームマスク画像とメガネのレンズ部分を指定するレンズマスク画像とを含むマスクを生成するマスク生成手段を有し、登録手段は生成されたフレームマスク画像とレンズマスク画像とを撮影されたメガネ画像とともに登録する機能を有するものであって、マスク生成手段は撮影されたメガネ画像のメガネの外周を検出するメガネ外周検出手段と撮影されたメガネ画像のレンズの外周を検出するレンズ外周検出手段とを含み、メガネ外周検出手段により検出されたメガネの外周とレンズ外周検出手段により検出されたレンズの外周とからフレームマスク画像を生成し、レンズ外周検出手段により検出されたレンズの外周からレンズマスク画像を生成する機能を有し、メガネ外周検出手段は撮影されたメガネ画像の背景部からメガネ部に向ってメガネの境界を検出するメガネ境界検出手段を含み、レンズ外周検出手段はメガネ外周検出手段により検出されたメガネの外周からレンズ部を推定するレンズ部推定手段とレンズ部推定手段により推定されたレンズ部からレンズ周辺部に向ってレンズの境界を検出するレンズ境界検出手段とを含むものである。
撮影手段によりメガネ画像を撮影し、合成用画像生成手段により人物像と合成可能な合成用画像を生成し、登録手段により当該メガネの諸元とともに登録するので、何時、何処で、誰が行っても、人物像と合成可能な画像データを低コストで迅速に得ることができる。
生成されたフレームマスク画像により人物像にメガネを合成する際のフレーム部分を撮影されたメガネ画像に置換でき、生成されたレンズマスク画像により人物像にメガネを合成する際のレンズ部分をメガネのレンズと半透明合成でき、メガネ販売システムにおける人物像とメガネの合成が容易に行える。
メガネ外周検出手段により検出されたメガネの外周はメガネの外形を表し、レンズ外周検出手段により検出されたレンズの外周はメガネ内のレンズの範囲を表すので、検出されたメガネの外周と検出されたレンズの外周とで囲まれる範囲はメガネのフレーム部分とみなすことができ、検出されたレンズの外周に囲まれる範囲はメガネのレンズ部分とみなすことができる。
このような画像処理により、フレームマスク画像とレンズマスク画像が自動的に生成でき、誰でも容易に人物像と合成可能な合成用画像データを登録できる。
また、メタルフレームやセルフレームのようなフルリムメガネばかりでなく、ナイロールやツーポイント等のようにリムの一部または前部を欠くメガネに対しても、特別な情報を要することなく自動的に合成用画像データを生成できる。
更に、メガネ外周検出手段はメガネ境界検出手段を含むので、メガネ画像の背景部からメガネ部に向ってメガネの境界を検出することでメガネの外周を容易に検出できる。また、レンズ外周検出手段はレンズ境界検出手段を含むので、検出されたメガネの外周からメガネ画像のレンズ部を推定し、レンズ部の周辺付近からレンズ周辺部に向って境界を検出することで、レンズに貼られたラベルやレンズ内の写りこみ等の影響を抑制し、容易にレンズの外周を検出できる。
【0016】
請求項2に記載のメガネ画像登録システムは、請求項1に記載のメガネ画像登録システムであって、メガネ外周検出手段はメガネ境界検出手段により検出されたメガネの境界を出発点として近傍のメガネの境界を順次検出して追跡するメガネ境界追跡手段を含み、レンズ外周検出手段はレンズ境界検出手段により検出されたレンズの境界を出発点として近傍のレンズの境界を順次検出して追跡するレンズ境界追跡手段を含むものである。
メガネ境界追跡手段により、検出されたメガネの境界を出発点として近傍のメガネの境界を順次検出して追跡するので、メガネの外周を効率よく検出でき、複雑な形状のリムや鼻パッド等により入り組んだ外形を有する場合でもメガネの外周を正しく検出することが可能となる。また、レンズ境界追跡手段により、検出されたレンズの境界を出発点として近傍のレンズの境界を順次検出して追跡するので、レンズの外周を効率よく検出できる。
【0017】
請求項3に記載のメガネ画像登録システムは、メガネの画像を撮影する撮影手段と、撮影手段により撮影された画像から人物像と合成するための合成用画像を生成する合成用画像生成手段と、合成用画像生成手段により生成された合成用画像を当該メガネの諸元とともに登録する登録手段とを備えたメガネ画像登録システムであって、合成用画像生成手段は撮影されたメガネ画像からメガネのフレーム部分を指定するフレームマスク画像とメガネのレンズ部分を指定するレンズマスク画像とを含むマスクを生成するマスク生成手段を有し、登録手段は生成されたフレームマスク画像とレンズマスク画像とを撮影されたメガネ画像とともに登録する機能を有するものであって、マスク生成手段は撮影されたメガネ画像のメガネの外周を検出するメガネ外周検出手段と撮影されたメガネ画像のレンズの外周を検出するレンズ外周検出手段とを含み、メガネ外周検出手段により検出されたメガネの外周とレンズ外周検出手段により検出されたレンズの外周とからフレームマスク画像を生成し、レンズ外周検出手段により検出されたレンズの外周からレンズマスク画像を生成する機能を有し、メガネ外周検出手段は検出されたメガネの外周の欠損部を補間するメガネ外周補間手段を含み、レンズ外周検出手段は検出されたレンズの外周の欠損部を補間するレンズ外周補間手段を含むものである。
撮影手段によりメガネ画像を撮影し、合成用画像生成手段により人物像と合成可能な合成用画像を生成し、登録手段により当該メガネの諸元とともに登録するので、何時、何処で、誰が行っても、人物像と合成可能な画像データを低コストで迅速に得ることができる。
生成されたフレームマスク画像により人物像にメガネを合成する際のフレーム部分を撮影されたメガネ画像に置換でき、生成されたレンズマスク画像により人物像にメガネを合成する際のレンズ部分をメガネのレンズと半透明合成でき、メガネ販売システムにおける人物像とメガネの合成が容易に行える。
メガネ外周検出手段により検出されたメガネの外周はメガネの外形を表し、レンズ外周検出手段により検出されたレンズの外周はメガネ内のレンズの範囲を表すので、検出されたメガネの外周と検出されたレンズの外周とで囲まれる範囲はメガネのフレーム部分とみなすことができ、検出されたレンズの外周に囲まれる範囲はメガネのレンズ部分とみなすことができる。
このような画像処理により、フレームマスク画像とレンズマスク画像が自動的に生成でき、誰でも容易に人物像と合成可能な合成用画像データを登録できる。
また、メタルフレームやセルフレームのようなフルリムメガネばかりでなく、ナイロールやツーポイント等のようにリムの一部または前部を欠くメガネに対しても、特別な情報を要することなく自動的に合成用画像データを生成できる。
更に、メガネ外周検出手段はメガネ外周補間手段を含み、レンズ外周検出手段はレンズ外周補間手段を含むので、メガネ外周検出手段やレンズ外周検出手段において境界が明瞭でない等のために外周データに欠損部を生じた場合でも、検出された外周データから欠損部の外周データを推定して補間することが可能となる。
【0018】
請求項4に記載のメガネ画像登録システムは、メガネの画像を撮影する撮影手段と、撮影手段により撮影された画像から人物像と合成するための合成用画像を生成する合成用画像生成手段と、合成用画像生成手段により生成された合成用画像を当該メガネの諸元とともに登録する登録手段とを備えたメガネ画像登録システムであって、合成用画像生成手段は撮影されたメガネ画像からメガネのフレーム部分を指定するフレームマスク画像とメガネのレンズ部分を指定するレンズマスク画像とを含むマスクを生成するマスク生成手段を有し、登録手段は生成されたフレームマスク画像とレンズマスク画像とを撮影されたメガネ画像とともに登録する機能を有するものであって、マスク生成手段は撮影されたメガネ画像のメガネの外周を検出するメガネ外周検出手段と撮影されたメガネ画像のレンズの外周を検出するレンズ外周検出手段とを含み、メガネ外周検出手段により検出されたメガネの外周とレンズ外周検出手段により検出されたレンズの外周とからフレームマスク画像を生成し、レンズ外周検出手段により検出されたレンズの外周からレンズマスク画像を生成する機能を有し、メガネ外周検出手段は検出されたメガネの外周の不正な突起部を除去するメガネ外周不正突起除去手段を含み、レンズ外周検出手段は検出されたレンズの外周の不正な突起部を除去するレンズ外周不正突起除去手段を含むものである。
撮影手段によりメガネ画像を撮影し、合成用画像生成手段により人物像と合成可能な合成用画像を生成し、登録手段により当該メガネの諸元とともに登録するので、何時、何処で、誰が行っても、人物像と合成可能な画像データを低コストで迅速に得ることができる。
生成されたフレームマスク画像により人物像にメガネを合成する際のフレーム部分を撮影されたメガネ画像に置換でき、生成されたレンズマスク画像により人物像にメガネを合成する際のレンズ部分をメガネのレンズと半透明合成でき、メガネ販売システムにおける人物像とメガネの合成が容易に行える。
メガネ外周検出手段により検出されたメガネの外周はメガネの外形を表し、レンズ外周検出手段により検出されたレンズの外周はメガネ内のレンズの範囲を表すので、検出されたメガネの外周と検出されたレンズの外周とで囲まれる範囲はメガネのフレーム部分とみなすことができ、検出されたレンズの外周に囲まれる範囲はメガネのレンズ部分とみなすことができる。
このような画像処理により、フレームマスク画像とレンズマスク画像が自動的に生成でき、誰でも容易に人物像と合成可能な合成用画像データを登録できる。
また、メタルフレームやセルフレームのようなフルリムメガネばかりでなく、ナイロールやツーポイント等のようにリムの一部または前部を欠くメガネに対しても、特別な情報を要することなく自動的に合成用画像データを生成できる。
更に、メガネ外周検出手段はメガネ外周不正突起除去手段を含み、レンズ外周検出手段はレンズ外周不正突起除去手段を含むので、メガネ外周検出手段やレンズ外周検出手段において影や写りこみ等のために外周データに不正な突起部を生じた場合でも、検出された外周データから突起部の外周データを推定して不正な突起部を除去することが可能となる。
【0019】
請求項5に記載のメガネ画像登録システムは、メガネの画像を撮影する撮影手段と、撮影手段により撮影された画像から人物像と合成するための合成用画像を生成する合成用画像生成手段と、合成用画像生成手段により生成された合成用画像を当該メガネの諸元とともに登録する登録手段とを備えたメガネ画像登録システムであって、合成用画像生成手段は撮影されたメガネ画像からメガネのフレーム部分を指定するフレームマスク画像とメガネのレンズ部分を指定するレンズマスク画像とを含むマスクを生成するマスク生成手段を有し、登録手段は生成されたフレームマスク画像とレンズマスク画像とを撮影されたメガネ画像とともに登録する機能を有するものであって、マスク生成手段は撮影されたメガネ画像のメガネの外周を検出するメガネ外周検出手段と撮影されたメガネ画像のレンズの外周を検出するレンズ外周検出手段とを含み、メガネ外周検出手段により検出されたメガネの外周とレンズ外周検出手段により検出されたレンズの外周とからフレームマスク画像を生成し、レンズ外周検出手段により検出されたレンズの外周からレンズマスク画像を生成する機能を有し、マスク生成手段はメガネの機種情報を取得するメガネ機種情報取得手段を含み、メガネ外周検出手段はメガネ機種情報取得手段により取得されたメガネの機種情報を活用してメガネの外周を検出する機能を有するものである。
撮影手段によりメガネ画像を撮影し、合成用画像生成手段により人物像と合成可能な合成用画像を生成し、登録手段により当該メガネの諸元とともに登録するので、何時、何処で、誰が行っても、人物像と合成可能な画像データを低コストで迅速に得ることができる。
生成されたフレームマスク画像により人物像にメガネを合成する際のフレーム部分を撮影されたメガネ画像に置換でき、生成されたレンズマスク画像により人物像にメガネを合成する際のレンズ部分をメガネのレンズと半透明合成でき、メガネ販売システムにおける人物像とメガネの合成が容易に行える。
メガネ外周検出手段により検出されたメガネの外周はメガネの外形を表し、レンズ外周検出手段により検出されたレンズの外周はメガネ内のレンズの範囲を表すので、検出されたメガネの外周と検出されたレンズの外周とで囲まれる範囲はメガネのフレーム部分とみなすことができ、検出されたレンズの外周に囲まれる範囲はメガネのレンズ部分とみなすことができる。
このような画像処理により、フレームマスク画像とレンズマスク画像が自動的に生成でき、誰でも容易に人物像と合成可能な合成用画像データを登録できる。
また、メタルフレームやセルフレームのようなフルリムメガネばかりでなく、ナイロールやツーポイント等のようにリムの一部または前部を欠くメガネに対しても、特別な情報を要することなく自動的に合成用画像データを生成できる。
更に、メガネ外周検出手段はメガネ機種情報取得手段により取得されたメガネの機種情報を活用してメガネの外周を検出するので、メガネの外周の検出が難しいメガネの機種を含む場合でも、自動的にマスクを生成することが可能となる。
請求項6に記載のメガネ画像登録システムは、メガネの画像を撮影する撮影手段と、撮影手段により撮影された画像から人物像と合成するための合成用画像を生成する合成用画像生成手段と、合成用画像生成手段により生成された合成用画像を当該メガネの諸元とともに登録する登録手段とを備えたメガネ画像登録システムであって、合成用画像生成手段は撮影されたメガネ画像からメガネのフレーム部分を指定するフレームマスク画像とメガネのレンズ部分を指定するレンズマスク画像とを含むマスクを生成するマスク生成手段を有し、登録手段は生成されたフレームマスク画像とレンズマスク画像とを撮影されたメガネ画像とともに登録する機能を有するものであって、マスク生成手段は撮影されたメガネ画像のメガネの外周を検出するメガネ外周検出手段と撮影されたメガネ画像のレンズの外周を検出するレンズ外周検出手段とを含み、メガネ外周検出手段により検出されたメガネの外周とレンズ外周検出手段により検出されたレンズの外周とからフレームマスク画像を生成し、レンズ外周検出手段により検出されたレンズの外周からレンズマスク画像を生成する機能を有し、マスク生成手段はメガネの機種情報を取得するメガネ機種情報取得手段を含み、レンズ外周検出手段はメガネ機種情報取得手段により取得されたメガネの機種情報を活用してレンズの外周を検出する機能を有するものである。
撮影手段によりメガネ画像を撮影し、合成用画像生成手段により人物像と合成可能な合成用画像を生成し、登録手段により当該メガネの諸元とともに登録するので、何時、何処で、誰が行っても、人物像と合成可能な画像データを低コストで迅速に得ることができる。
生成されたフレームマスク画像により人物像にメガネを合成する際のフレーム部分を撮影されたメガネ画像に置換でき、生成されたレンズマスク画像により人物像にメガネを合成する際のレンズ部分をメガネのレンズと半透明合成でき、メガネ販売システムにおける人物像とメガネの合成が容易に行える。
メガネ外周検出手段により検出されたメガネの外周はメガネの外形を表し、レンズ外周検出手段により検出されたレンズの外周はメガネ内のレンズの範囲を表すので、検出されたメガネの外周と検出されたレンズの外周とで囲まれる範囲はメガネのフレーム部分とみなすことができ、検出されたレンズの外周に囲まれる範囲はメガネのレンズ部分とみなすことができる。
このような画像処理により、フレームマスク画像とレンズマスク画像が自動的に生成でき、誰でも容易に人物像と合成可能な合成用画像データを登録できる。
また、メタルフレームやセルフレームのようなフルリムメガネばかりでなく、ナイロールやツーポイント等のようにリムの一部または前部を欠くメガネに対しても、特別な情報を要することなく自動的に合成用画像データを生成できる。
更に、レンズ外周検出手段はメガネ機種情報取得手段により取得されたメガネの機種情報を活用してレンズの外周を検出するので、レンズの外周の検出が難しいメガネの機種を含む場合でも、自動的にマスクを生成することが可能となる。
また、オペレータが当初生成されたマスクを不適切と判断した場合に、画面上でメガネの機種選択ボタンを押すことによってマスクが再作成されるようにしてもよい。
これにより、単一の処理によって目的とするすべての機種のメガネに対応することが困難な場合であっても、オペレータが補助的に機種選択ボタンを押すことで容易にマスクを生成できる。
【0020】
請求項7に記載のメガネ画像登録システムは、請求項1ないし請求項6のいずれかに記載のメガネ画像登録システムであって、合成用画像生成手段は撮影されたメガネ画像からメガネのフレーム部分を指定するフレームマスク画像とメガネのレンズ部分を指定するレンズマスク画像とを含むマスクを生成するマスク生成手段を有し、登録手段は生成されたフレームマスク画像とレンズマスク画像とを撮影されたメガネ画像とともに登録する機能を有するものであって、マスク生成手段は生成されたフレームマスク画像とレンズマスク画像の少なくともいずれかについて左右の画像を比較して補正する左右比較補正手段を含むものである。
マスク生成手段はフレームマスク画像とレンズマスク画像の少なくともいずれかについて左右の画像を比較して補正する左右比較補正手段を含むので、メガネのフレームまたはレンズの左右いずれかに影や写りこみ等があってフレームマスク画像またはレンズマスク画像の一部に不正部分を生じた場合でも、これを是正することが可能となる。
【0021】
請求項8に記載のメガネ画像登録システムは、請求項1ないし請求項7のいずれかに記載のメガネ画像登録システムであって、マスク生成手段はポインティングデバイスにより指定されたポイントデータからマスクを編集するマスク手動編集手段を含むものである。
これにより、自動的にフレームマスク画像やレンズマスク画像の生成が困難な場合でも、ポインティングデバイスにより撮影されたメガネ画像のフレーム部分やレンズ部分を指定することで、手動でフレームマスク画像やレンズマスク画像を編集したり、自動生成された画像データを修正することが可能となる。
【0022】
請求項9に記載のメガネ画像登録システムは、請求項1ないし請求項8のいずれかに記載のメガネ画像登録システムであって、合成用画像生成手段はあらかじめ登録された人物像と撮影されたメガネ画像を合成して表示する合成表示手段を含むものである。
これにより、撮影されたメガネ画像をその場で人物像と合成するテストが行えるので、撮影が適切でなかった場合はその場で撮り直すことができ、品質のよい合成用画像データを提供できる。
【0023】
請求項10に記載のメガネ画像登録システムは、請求項9に記載のメガネ画像登録システムであって、合成表示手段は人物像に合成するメガネ画像のレンズの色と透過率を指定する機能を有するものである。
これにより、撮影されたメガネ画像をその場で人物像と合成する際に、レンズの色や透過率を指定できるので、合成の結果を見て、商品の登録内容を変更したり、撮影のやり直しができ、より品質のよい合成用画像データを提供できる。
【0024】
請求項11に記載のメガネ画像登録システムは、請求項9または請求項10に記載のメガネ画像登録システムであって、合成表示手段は人物像に合成するメガネ画像の位置を調節する機能を有するものである。
これにより、撮影されたメガネ画像をその場で人物像と合成する際に、人物像とメガネの相対位置を変更できるので、合成する際の最適な位置を設定することが可能となる。
【0025】
請求項12に記載のメガネ画像登録システムは、請求項1ないし請求項11のいずれかに記載のメガネ画像登録システムであって、登録手段は撮影されたメガネのレンズ部に設けられたラベルを読み取るラベル読取手段を備えたものである。
登録手段はラベル読取手段を備えるので、撮影されたメガネ画像に写しこまれたラベルを自動的に読み取って商品登録を行うことができ、人為的な登録ミスの発生を防止して、より簡便に合成用画像データを提供できる。また、読み取られたラベル情報をもとにメガネの外周検出やレンズの外周検出を行うことで、影や写りこみ等のノイズによる誤検出を抑え、より信頼性の高いマスク生成が行えるようになる。
【0026】
請求項13に記載のメガネ画像登録システムは、請求項1ないし請求項12のいずれかに記載のメガネ画像登録システムであって、登録手段により登録されたデータをメガネ販売システムに送信する通信手段を備えたものである。
これにより、登録されたデータをオンラインでメガネ販売システムに提供できるので、メガネの販売をより迅速かつ低コストで行うことが可能となる。
請求項14に記載のメガネ画像登録システムは、請求項1ないし請求項13のいずれかに記載のメガネ画像登録システムであって、撮影手段は開閉式の扉を有し撮影するメガネを収容する撮影ボックスと撮影ボックスに収容されたメガネを照明する照明手段と撮影ボックスに収容されたメガネを撮影してディジタル画像データを得る撮像手段とを備え、撮影するメガネを撮影ボックスに収容し、扉を閉じてメガネ画像を撮影するものである。
これにより、外光の影響を受けることなく、何時、何処で、誰が行っても、所定の品質のメガネ画像を簡便に撮影できる。
請求項15に記載のメガネ画像登録システムは、請求項1ないし請求項14のいずれかに記載のメガネ画像登録システムであって、撮影手段はメガネの正面画像を撮影する手段を含むものである。
これにより、人物像と正面合成するためのメガネ画像を取得できる。
請求項16に記載のメガネ画像登録システムは、請求項1ないし請求項15のいずれかに記載のメガネ画像登録システムであって、撮影手段はメガネの俯瞰画像を撮影する手段を含むものである。
これにより、メガネ販売システムにおいて使用するメガネの外観画像を取得できる。
【0030】
請求項17に記載のメガネ画像登録方法は、メガネの画像を撮影するステップと、撮影された画像から人物像と合成するための合成用画像を生成するステップと、生成された合成用画像を当該メガネの諸元とともに登録するステップとを備えたメガネ画像登録方法であって、合成用画像を生成するステップは撮影されたメガネ画像からメガネのフレーム部分を指定するフレームマスク画像とメガネのレンズ部分を指定するレンズマスク画像とを含むマスクを生成するステップを有し、登録するステップは生成されたフレームマスク画像とレンズマスク画像とを撮影されたメガネ画像とともに登録するステップを有するものであって、マスクを生成するステップは撮影されたメガネ画像のメガネの外周を検出するステップと撮影されたメガネ画像のレンズの外周を検出するステップと検出されたメガネの外周と検出されたレンズの外周とからフレームマスク画像を生成するステップと検出されたレンズの外周からレンズマスク画像を生成するステップとを含み、メガネの外周を検出するステップは撮影されたメガネ画像の背景部からメガネ部に向ってメガネの境界を検出するステップを含み、レンズの外周を検出するステップはメガネの外周を検出するステップにより検出されたメガネの外周からレンズ部を推定するステップと推定されたレンズ部からレンズ周辺部に向ってレンズの境界を検出するステップとを含むものである。
メガネ画像を撮影し、撮影された画像から人物像と合成可能な合成用画像を生成し、生成された合成用画像を当該メガネの諸元とともに登録するステップを備えるので、何時、何処で、誰が行っても、人物像と合成可能な画像データを低コストで迅速に得ることができる。
生成されたフレームマスク画像により人物像にメガネを合成する際のフレーム部分を撮影されたメガネ画像に置換でき、生成されたレンズマスク画像により人物像にメガネを合成する際のレンズ部分をメガネのレンズと半透明合成でき、メガネ販売システムにおける人物像とメガネの合成が容易に行える。
メガネの外周を検出するステップにより検出されたメガネの外周はメガネの外形を表し、レンズの外周を検出するステップにより検出されたレンズの外周はメガネ内のレンズの範囲を表すので、検出されたメガネの外周と検出されたレンズの外周とで囲まれる範囲はメガネのフレーム部分とみなすことができ、検出されたレンズの外周に囲まれる範囲はメガネのレンズ部分とみなすことができる。
このような画像処理により、フレームマスク画像とレンズマスク画像が自動的に生成でき、誰でも容易に人物像と合成可能な合成用画像データを登録できる。
また、メタルフレームやセルフレームのようなフルリムメガネばかりでなく、ナイロールやツーポイント等のようにリムの一部または前部を欠くメガネに対しても、特別な情報を要することなく自動的に合成用画像データを生成できる。
更に、メガネの外周を検出するステップはメガネの境界を検出するステップを含むので、メガネ画像の背景部からメガネ部に向ってメガネの境界を検出することでメガネの外周を容易に検出できる。また、レンズの外周を検出するステップはレンズの境界を検出するステップを含むので、検出されたメガネの外周からメガネ画像のレンズ部を推定し、レンズ部の周辺付近からレンズ周辺部に向って境界を検出することで、レンズに貼られたラベルやレンズ内の写りこみ等の影響を抑制し、容易にレンズの外周を検出できる。
【0031】
請求項18に記載のメガネ画像登録方法は、請求項17に記載のメガネ画像登録方法であって、メガネの外周を検出するステップはメガネの境界を検出するステップにより検出された境界を出発点として近傍のメガネの境界を順次検出して追跡するステップを含み、レンズの外周を検出するステップはレンズの境界を検出するステップにより検出された境界を出発点として近傍のレンズの境界を順次検出して追跡するステップを含むものである。
メガネの境界を検出するステップにより、検出された境界を出発点として近傍のメガネの境界を順次検出して追跡するので、メガネの外周を効率よく検出でき、複雑な形状のリムや鼻パッド等により入り組んだ外形を有する場合でもメガネの外周を正しく検出することが可能となる。また、レンズの境界を検出するステップにより、検出された境界を出発点として近傍のレンズの境界を順次検出して追跡するので、レンズの外周を効率よく検出できる。
【0032】
請求項19に記載のメガネ画像登録方法は、メガネの画像を撮影するステップと、撮影された画像から人物像と合成するための合成用画像を生成するステップと、生成された合成用画像を当該メガネの諸元とともに登録するステップとを備えたメガネ画像登録方法であって、合成用画像を生成するステップは撮影されたメガネ画像からメガネのフレーム部分を指定するフレームマスク画像とメガネのレンズ部分を指定するレンズマスク画像とを含むマスクを生成するステップを有し、登録するステップは生成されたフレームマスク画像とレンズマスク画像とを撮影されたメガネ画像とともに登録するステップを有するものであって、マスクを生成するステップは撮影されたメガネ画像のメガネの外周を検出するステップと撮影されたメガネ画像のレンズの外周を検出するステップと検出されたメガネの外周と検出されたレンズの外周とからフレームマスク画像を生成するステップと検出されたレンズの外周からレンズマスク画像を生成するステップとを含み、メガネの外周を検出するステップは検出されたメガネの外周の欠損部を補間するステップを含み、レンズの外周を検出するステップは検出されたレンズの外周の欠損部を補間するステップを含むものである。
メガネ画像を撮影し、撮影された画像から人物像と合成可能な合成用画像を生成し、生成された合成用画像を当該メガネの諸元とともに登録するステップを備えるので、何時、何処で、誰が行っても、人物像と合成可能な画像データを低コストで迅速に得ることができる。
生成されたフレームマスク画像により人物像にメガネを合成する際のフレーム部分を撮影されたメガネ画像に置換でき、生成されたレンズマスク画像により人物像にメガネを合成する際のレンズ部分をメガネのレンズと半透明合成でき、メガネ販売システムにおける人物像とメガネの合成が容易に行える。
メガネの外周を検出するステップにより検出されたメガネの外周はメガネの外形を表し、レンズの外周を検出するステップにより検出されたレンズの外周はメガネ内のレンズの範囲を表すので、検出されたメガネの外周と検出されたレンズの外周とで囲まれる範囲はメガネのフレーム部分とみなすことができ、検出されたレンズの外周に囲まれる範囲はメガネのレンズ部分とみなすことができる。
このような画像処理により、フレームマスク画像とレンズマスク画像が自動的に生成でき、誰でも容易に人物像と合成可能な合成用画像データを登録できる。
また、メタルフレームやセルフレームのようなフルリムメガネばかりでなく、ナイロールやツーポイント等のようにリムの一部または前部を欠くメガネに対しても、特別な情報を要することなく自動的に合成用画像データを生成できる。
更に、メガネの外周を検出するステップはメガネの外周の欠損部を補間するステップを含み、レンズの外周を検出するステップはレンズの外周の欠損部を補間するステップを含むので、メガネの外周を検出するステップやレンズの外周を検出するステップにおいて境界が明瞭でない等のために外周データに欠損部を生じた場合でも、検出された外周データから欠損部の外周データを推定して補間することが可能となる。
【0033】
請求項20に記載のメガネ画像登録方法は、メガネの画像を撮影するステップと、撮影された画像から人物像と合成するための合成用画像を生成するステップと、生成された合成用画像を当該メガネの諸元とともに登録するステップとを備えたメガネ画像登録方法であって、合成用画像を生成するステップは撮影されたメガネ画像からメガネのフレーム部分を指定するフレームマスク画像とメガネのレンズ部分を指定するレンズマスク画像とを含むマスクを生成するステップを有し、登録するステップは生成されたフレームマスク画像とレンズマスク画像とを撮影されたメガネ画像とともに登録するステップを有するものであって、マスクを生成するステップは撮影されたメガネ画像のメガネの外周を検出するステップと撮影されたメガネ画像のレンズの外周を検出するステップと検出されたメガネの外周と検出されたレンズの外周とからフレームマスク画像を生成するステップと検出されたレンズの外周からレンズマスク画像を生成するステップとを含み、メガネの外周を検出するステップは検出されたメガネの外周の不正な突起部を除去するステップを含み、レンズの外周を検出するステップは検出されたレンズの外周の不正な突起部を除去するステップを含むものである。
メガネ画像を撮影し、撮影された画像から人物像と合成可能な合成用画像を生成し、生成された合成用画像を当該メガネの諸元とともに登録するステップを備えるので、何時、何処で、誰が行っても、人物像と合成可能な画像データを低コストで迅速に得ることができる。
生成されたフレームマスク画像により人物像にメガネを合成する際のフレーム部分を撮影されたメガネ画像に置換でき、生成されたレンズマスク画像により人物像にメガネを合成する際のレンズ部分をメガネのレンズと半透明合成でき、メガネ販売システムにおける人物像とメガネの合成が容易に行える。
メガネの外周を検出するステップにより検出されたメガネの外周はメガネの外形を表し、レンズの外周を検出するステップにより検出されたレンズの外周はメガネ内のレンズの範囲を表すので、検出されたメガネの外周と検出されたレンズの外周とで囲まれる範囲はメガネのフレーム部分とみなすことができ、検出されたレンズの外周に囲まれる範囲はメガネのレンズ部分とみなすことができる。
このような画像処理により、フレームマスク画像とレンズマスク画像が自動的に生成でき、誰でも容易に人物像と合成可能な合成用画像データを登録できる。
また、メタルフレームやセルフレームのようなフルリムメガネばかりでなく、ナイロールやツーポイント等のようにリムの一部または前部を欠くメガネに対しても、特別な情報を要することなく自動的に合成用画像データを生成できる。
更に、メガネの外周を検出するステップはメガネの外周の不正な突起部を除去するステップを含み、レンズの外周を検出するステップはレンズの外周の不正な突起部を除去するステップを含むので、メガネの外周を検出するステップやレンズの外周を検出するステップにおいて影や写りこみ等のために外周データに不正な突起部を生じた場合でも、検出された外周データから突起部の外周データを推定して不正な突起部を除去することが可能となる。
【0034】
請求項21に記載のメガネ画像登録方法は、メガネの画像を撮影するステップと、撮影された画像から人物像と合成するための合成用画像を生成するステップと、生成された合成用画像を当該メガネの諸元とともに登録するステップとを備えたメガネ画像登録方法であって、合成用画像を生成するステップは撮影されたメガネ画像からメガネのフレーム部分を指定するフレームマスク画像とメガネのレンズ部分を指定するレンズマスク画像とを含むマスクを生成するステップを有し、登録するステップは生成されたフレームマスク画像とレンズマスク画像とを撮影されたメガネ画像とともに登録するステップを有するものであって、マスクを生成するステップは撮影されたメガネ画像のメガネの外周を検出するステップと撮影されたメガネ画像のレンズの外周を検出するステップと検出されたメガネの外周と検出されたレンズの外周とからフレームマスク画像を生成するステップと検出されたレンズの外周からレンズマスク画像を生成するステップとを含み、マスクを生成するステップはメガネの機種情報を取得するステップ手段を含み、メガネの外周を検出するステップは取得されたメガネの機種情報を活用してメガネの外周を検出するステップを含むものである。
メガネ画像を撮影し、撮影された画像から人物像と合成可能な合成用画像を生成し、生成された合成用画像を当該メガネの諸元とともに登録するステップを備えるので、何時、何処で、誰が行っても、人物像と合成可能な画像データを低コストで迅速に得ることができる。
生成されたフレームマスク画像により人物像にメガネを合成する際のフレーム部分を撮影されたメガネ画像に置換でき、生成されたレンズマスク画像により人物像にメガネを合成する際のレンズ部分をメガネのレンズと半透明合成でき、メガネ販売システムにおける人物像とメガネの合成が容易に行える。
メガネの外周を検出するステップにより検出されたメガネの外周はメガネの外形を表し、レンズの外周を検出するステップにより検出されたレンズの外周はメガネ内のレンズの範囲を表すので、検出されたメガネの外周と検出されたレンズの外周とで囲まれる範囲はメガネのフレーム部分とみなすことができ、検出されたレンズの外周に囲まれる範囲はメガネのレンズ部分とみなすことができる。
このような画像処理により、フレームマスク画像とレンズマスク画像が自動的に生成でき、誰でも容易に人物像と合成可能な合成用画像データを登録できる。
また、メタルフレームやセルフレームのようなフルリムメガネばかりでなく、ナイロールやツーポイント等のようにリムの一部または前部を欠くメガネに対しても、特別な情報を要することなく自動的に合成用画像データを生成できる。
更に、メガネの外周を検出するステップは取得されたメガネの機種情報を活用してメガネの外周を検出するステップを含むので、メガネの外周の検出が難しい機種を含む場合でも、自動的にマスクを生成することが可能となる。
請求項22に記載のメガネ画像登録方法は、メガネの画像を撮影するステップと、撮影された画像から人物像と合成するための合成用画像を生成するステップと、生成された合成用画像を当該メガネの諸元とともに登録するステップとを備えたメガネ画像登録方法であって、合成用画像を生成するステップは撮影されたメガネ画像からメガネのフレーム部分を指定するフレームマスク画像とメガネのレンズ部分を指定するレンズマスク画像とを含むマスクを生成するステップを有し、登録するステップは生成されたフレームマスク画像とレンズマスク画像とを撮影されたメガネ画像とともに登録するステップを有するものであって、マスクを生成するステップは撮影されたメガネ画像のメガネの外周を検出するステップと撮影されたメガネ画像のレンズの外周を検出するステップと検出されたメガネの外周と検出されたレンズの外周とからフレームマスク画像を生成するステップと検出されたレンズの外周からレンズマスク画像を生成するステップとを含み、マスクを生成するステップはメガネの機種情報を取得するステップ手段を含み、レンズの外周を検出するステップは取得されたメガネの機種情報を活用してレンズの外周を検出するステップを含むものである。
メガネ画像を撮影し、撮影された画像から人物像と合成可能な合成用画像を生成し、生成された合成用画像を当該メガネの諸元とともに登録するステップを備えるので、何時、何処で、誰が行っても、人物像と合成可能な画像データを低コストで迅速に得ることができる。
生成されたフレームマスク画像により人物像にメガネを合成する際のフレーム部分を撮影されたメガネ画像に置換でき、生成されたレンズマスク画像により人物像にメガネを合成する際のレンズ部分をメガネのレンズと半透明合成でき、メガネ販売システムにおける人物像とメガネの合成が容易に行える。
メガネの外周を検出するステップにより検出されたメガネの外周はメガネの外形を表し、レンズの外周を検出するステップにより検出されたレンズの外周はメガネ内のレンズの範囲を表すので、検出されたメガネの外周と検出されたレンズの外周とで囲まれる範囲はメガネのフレーム部分とみなすことができ、検出されたレンズの外周に囲まれる範囲はメガネのレンズ部分とみなすことができる。
このような画像処理により、フレームマスク画像とレンズマスク画像が自動的に生成でき、誰でも容易に人物像と合成可能な合成用画像データを登録できる。
また、メタルフレームやセルフレームのようなフルリムメガネばかりでなく、ナイロールやツーポイント等のようにリムの一部または前部を欠くメガネに対しても、特別な情報を要することなく自動的に合成用画像データを生成できる。
更に、レンズの外周を検出するステップは取得されたメガネの機種情報を活用してレンズの外周を検出するステップを含むので、レンズの外周の検出が難しい機種を含む場合でも、自動的にマスクを生成することが可能となる。
また、オペレータが当初生成されたマスクを不適切と判断した場合に、画面上でメガネの機種選択ボタンを押すことによってマスクが再作成されるようにしてもよい。
これにより、単一の処理によって目的とするすべての機種のメガネに対応することが困難な場合であっても、オペレータが補助的に機種選択ボタンを押すことで容易にマスクを生成できる。
【0035】
請求項23に記載のメガネ画像登録方法は、請求項17ないし請求項22のいずれかに記載のメガネ画像登録方法であって、合成用画像を生成するステップは撮影されたメガネ画像からメガネのフレーム部分を指定するフレームマスク画像とメガネのレンズ部分を指定するレンズマスク画像とを含むマスクを生成するステップを有し、登録するステップは生成されたフレームマスク画像とレンズマスク画像とを撮影されたメガネ画像とともに登録するステップを有するものであって、マスクを生成するステップは生成されたフレームマスク画像とレンズマスク画像の少なくともいずれかについて左右の画像を比較して補正するステップを含むものである。
マスクを生成するステップはフレームマスク画像とレンズマスク画像の少なくともいずれかについて左右の画像を比較して補正するステップを含むので、メガネのフレームまたはレンズの左右いずれかに影や写りこみ等があってフレームマスク画像またはレンズマスク画像の一部に不正部分を生じた場合でも、これを是正することが可能となる。
【0036】
請求項24に記載のメガネ画像登録方法は、請求項17ないし請求項23のいずれかに記載のメガネ画像登録方法であって、マスクを生成するステップはポインティングデバイスにより指定されたポイントデータからマスクを編集するステップを含むものである。
これにより、自動的にフレームマスク画像やレンズマスク画像の生成が困難な場合でも、ポインティングデバイスにより撮影されたメガネのフレーム部分やレンズ部分を指定することで、手動でフレームマスク画像やレンズマスク画像を編集したり、自動生成された画像データを修正することが可能となる。
【0037】
請求項25に記載のメガネ画像登録方法は、請求項17ないし請求項24のいずれかに記載のメガネ画像登録方法であって、合成用画像を生成するステップはあらかじめ登録された人物像と撮影されたメガネ画像を合成して表示するステップを含むものである。
これにより、撮影されたメガネ画像をその場で人物像と合成するテストが行えるので、撮影が適切でなかった場合はその場で撮り直すことができ、品質のよい合成用画像データを提供できる。
【0038】
請求項26に記載のメガネ画像登録方法は、請求項25に記載のメガネ画像登録方法であって、表示するステップは人物像と合成するメガネ画像のレンズの色と透過率を指定するステップを有するものである。
これにより、撮影されたメガネ画像をその場で人物像と合成する際に、レンズの色や透過率を指定できるので、合成の結果を見て、商品の登録内容を変更したり、撮影のやり直しができ、より品質のよい合成用画像データを提供できる。
【0039】
請求項27に記載のメガネ画像登録方法は、請求項25または請求項26に記載のメガネ画像登録方法であって、表示するステップは人物像に合成するメガネ画像の位置を調節するステップを有するものである。
これにより、撮影されたメガネ画像をその場で人物像と合成する際に、人物像とメガネの相対位置を変更できるので、合成する際の最適な位置を設定することが可能となる。
【0040】
請求項28に記載のメガネ画像登録方法は、請求項17ないし請求項27のいずれかに記載のメガネ画像登録方法であって、登録するステップは撮影されたメガネのレンズ部に設けられたラベルを読み取るステップを備えたものである。
登録するステップはラベルを読み取るステップを備えるので、撮影されたメガネ画像に写しこまれたラベルを自動的に読み取って商品登録を行うことができるので、人為的な登録ミスの発生を防止して、より簡便に合成用画像データを提供できる。また、読み取られたラベル情報をもとにメガネの外周検出やレンズの外周検出を行うことで、影や写りこみ等のノイズによる誤検出を抑え、より信頼性の高いマスク生成が行えるようになる。
【0041】
請求項29に記載のメガネ画像登録方法は、請求項17ないし請求項28のいずれかに記載のメガネ画像登録方法であって、登録手段により登録された合成用画像データを送信するステップを備えたものである。
これにより、登録されたデータをオンラインでメガネ販売システムに提供できるので、メガネの販売をより迅速かつ低コストで行うことが可能となる。
【0042】
この発明の上述の目的、その他の目的、特徴および利点は、図面を参照して行う以下の発明の実施の形態の詳細な説明から一層明らかとなろう。
【0043】
【発明の実施の形態】
図1は本願発明の一実施形態にかかるメガネ画像登録システムをメガネ販売システムとネットワーク接続したシステム構成図を示す。
図において、1はメガネ画像登録システム、300がメガネ販売システムである。メガネ画像登録システム1は、メガネの正面画像を撮影する正面画像撮影装置10と、メガネの俯瞰画像を撮影する俯瞰画像撮影装置100と、撮影されたメガネ画像を画像処理して合成用画像データをするコンピュータ200とから構成される。
【0044】
まず、最初に画像処理の対象となるメガネの正面画像を撮影する正面画像撮影装置10の一実施形態について説明する。
正面画像撮影装置10は、図2に示すように、メガネ画像を撮影する際の外光を遮断するための撮影ボックス11と、撮影対象のメガネ2を固定するためのメガネ固定部材たるトルソー30と、トルソー30に固定された撮影対象のメガネ2を照明する照明手段たる照明ランプ40と、トルソー30に固定された撮影対象のメガネ2に正対し、一定の距離からメガネを撮影してディジタル画像データを得る撮像手段たるディジタルカメラ50とから構成される。
【0045】
撮影ボックス11は、図15、図16にも示すように、全体のベースプレートとなる下面パネル12と、下面パネル12の前部たる一端に設けられ、カメラ50を収容するカメラ収容部14と、下面パネル12の後部たる他端に設けられ、カメラ収容部14側に開口を有し、トルソー30を囲むように設置されるメガネ収容部16と、下面パネル12に設けられたガイドレール13に沿ってスライドする開閉扉18とから構成される。
【0046】
カメラ収容部14は、トルソー30側に前面パネル20が設けられ、トルソー30に固定されたメガネ2と正対する位置にカメラ50のレンズ穴21が開口されている。また、カメラ収容部14の背面(図15のK面)には、カメラ50および照明ランプ40に電源を供給するための電源コネクタ52と、カメラ50および照明ランプ40の電源のON/OFFをする電源スイッチ54と、カメラ50をコンピュータ200と接続するためのUSBコネクタ56とを備える。
メガネ収容部16は、トルソー30の側面を囲う左右一対の側面パネル22、23と、トルソー30の上方を囲う上面パネル24と、トルソー30の後方を囲う後面パネル25とを備える。
【0047】
開閉扉18は、ガイドレール13に沿ってスライドし、側面を囲う左右一対の側面パネル26,27と、上方を囲う上面パネル28とを備える。図2は、開閉扉18を開放した状態を示し、この状態で撮影するメガネ2をトルソー30にセットし、開閉扉18をカメラ収容部14に密接するまで移動して閉じることによって、外光が完全に遮断され、カメラ50によるメガネ2の撮影が可能となる。
【0048】
尚、ここでは、便宜上撮影ボックス11の前面パネル20側を前側、後面パネル25側を後側と呼び、前面パネル20を撮影ボックス11の前部、後面パネル25を撮影ボックス11の後部、メガネ収容部16の側面パネル22および23を撮影ボックス11の側部、下面パネル12のメガネ収容部16側を撮影ボックス11の下部後側、開閉扉18の上面パネル28を撮影ボックス11の上部前側と呼ぶ。
【0049】
撮影ボックス11を構成する下面パネル12と、カメラ収容部14の前面パネル20と、メガネ収容部16の側面パネル22および23と、メガネ収容部16の上面パネル24と、後面パネル25と、開閉扉18の側面パネル26および27と、開閉扉18の上面パネル28との内部は、ホワイトを基調とし、後述の照明ランプの光を壁面で反射することによって、メガネの色調を損なうことなく、多方向から照明されるようにした。
このため、本実施形態ではこれらのパネルに白色の化粧パネルを用いて撮影ボックス11を形成するようにしたが、内面を白色塗装するようにしてもよいことは言うまでもない。
【0050】
後部上面パネル24は、図3に示すように、照明ランプ40のメンテナンスができるように、開閉扉18を閉じた状態で上方に開閉できる開閉機構(図示省略)を備える。
尚、開閉扉18は、ここではスライド式としたが、メガネの出し入れをする蓋を設けるようにしてもよいことは言うまでもない。
【0051】
トルソー30は、撮影対象のメガネをセットする円柱体であり、メガネ収容部16の下面パネル12に垂直に固定される。この実施形態においては、発泡スチロール等で形成した円柱状の芯に、白色のゴムを巻いた円柱体を用いた。円柱体の直径は、撮影対象のメガネ2のなかでテンプルの最も広い間隔のものに対してずり落ちない程度に設定している。
【0052】
トルソー30の前方、すなわちカメラ50を収容するカメラ収容部14側のトルソー30の近傍には、メガネ2の左右に傾きが生じないようにするため、メガネのフロント部分を置く透明アクリル製のメガネ台座32が設けられている。メガネ台座32は、幅をほぼメガネ2の横幅に、厚さをメガネ2のフロント部分を置ける最小限とすることで、メガネ2の高さおよびカメラ50との距離が一定範囲に固定されるとともに、セットする際の左右の傾き(軸のずれ)を防止できるように構成されている。また、メガネ台座32は、透明のアクリル樹脂板で形成されているので、下面パネル12からの反射光がメガネ2のレンズの下部にも供給され、ナイロールやツーポイント等のメガネにおいてレンズの輪郭をより明瞭に捉えることができる。
本実施形態では、メガネ台座32は下面パネル12に固定され、メガネ台座32の上面に載置されたメガネ2のレンズがカメラ50のレンズと正対する高さとなるように形成されている。また、メガネ台座32は、メガネ2の影がトルソー30に写るのを抑えるため、トルソーから少し離した位置に固定している。これにより、メガネ2のレンズ部分をより明瞭に捉えたメガネ画像が得られている。尚、メガネ台座32のカメラ50側の表面にはスケールとカラーパッチを設けられ、これをカメラ50に写しこむことで、撮影サイズおよび色調の確認ができるようにしている。
【0053】
照明ランプ40は、メガネ収容部16の上面パネル24の内面に固定され、トルソー30にセットされたメガネ2を上方から直接照明するとともに、撮影ボックス11の内面での反射光によって全方位から間接照明する。
照明ランプ40は、円形の蛍光灯を使用した。これは、蛍光灯による照明はメガネ2の色調を損なうことが少なく、入手も容易で、メンテナンス性に優れるからである。また、円形の蛍光灯を使用したのは、発光面積が広く、広い範囲から照明されるので、影ができにくく、より外乱の少ないメガネ画像が得られるからである。尚、上面パネル24は、前述のように開閉機構を備えるので、照明ランプ40を簡単に交換することができる。
【0054】
照明ランプ40は、上面パネル24の内面のメガネ台座32より後方(ディジタルカメラ50から遠い方)に設けられている。これは、メガネ2をカメラ50に対して後方から照明することにより、メガネのレンズの輪郭をより明瞭に捉えたメガネ画像を得ることを目的としたものである。
図17はその原理を説明したもので、メガネ2の上部は光源からの直接光が反射してカメラ50に捉えられ、メガネ2の下部は照明ランプ40からの光が下面パネル12で反射して、透明のメガネ台座32を透過して供給され、その反射光がカメラ50に捉えられる。これにより、図18のように、ナイロールやツーポイント等のメガネにおいてもレンズの輪郭をより明瞭に捉えることができるようになった。
【0055】
本実施形態では、メガネ収容部16の側面パネル22および23の内面(図16のG面・H面)は、図19に示すように70%のグレー処理が施されている。また、後面パネル25の内面(図15のB面)は、図20に示すように40%のグレー処理が施されている。これは、カメラ50を取付けている前面パネル20は、メガネ2の正面画像をできる限りフラットに撮影するためにメガネ2から一定距離をとる必要があるが、メガネ2から側面および後面までの距離は装置の小型化のため可能な限り小さくしており、メガネに供給される撮影ボックス11の内面からの反射光が前部に比して側部と後部が明るくなりすぎるという現象を生ずるからである。そこで、側面パネル22および23の内面は70%のグレー処理を施し、後面パネル25の内面は40%のグレー処理を施し、全方位からの照明条件の均一化を図った。これにより、メガネをよりフラットに撮影でき、かつ外乱の少ないメガネ画像を得ることができた。
本実施形態では、グレー処理はユボと呼ばれるプラスチックの質感を持つ合成紙に黒を所定濃度で印刷し、これをパネルの内面に貼り付けることで行った。
尚、グレー処理はパネルの内面を所定の灰色に塗装するようにしてもよいことは言うまでもない。
【0056】
本実施形態では、図15に示すように、後面パネル25の内面(B面)は下面パネル12(F面)に向って丸みが設けられている。これは、後面パネル25と下面パネル12の境界線がカメラに捕らえられて、外乱となるのを抑制するためである。
本実施形態では、後面パネル25の内面に丸みを設ける処理は、前述の40%グレー処理したユボシートを後面パネル25から下面パネル12に向って丸みをつけて貼り付けることで行った。
尚、後面パネル25の内面に丸みを設ける処理は、例えば所定の曲率に加工した部材を用いたり、撮影ボックス11自体を丸みを有するパネルで形成するようにしてもよいことは言うまでもない。
【0057】
前面パネル20は、図15に示すようにカメラ50のレンズ穴21が設けられ、カメラ収容部14内にカメラ50が取付けられている。カメラ50のレンズ穴21は、カメラの画像中心が、メガネ台座32にメガネを置いたときのメガネの高さ中心とほぼ一致するように設けられている。従って、メガネ2のレンズはカメラ50のレンズ穴21に正対しており、メガネ2のレンズにはカメラ50のレンズが写ってしまうという問題を生ずる。
このため、本実施形態では前面パネル20の内面(図15のA面)は、図21に示すように、全体に40%のグレー処理が施され、カメラのレンズ穴21の周辺部には、中心を暗く、周辺に向って徐々に明るくするグラデーション処理が施されている。これにより、前面パネルからの反射光を抑え、メガネ2のレンズにカメラ50のレンズ部が写りこむことを抑制するとともに、グラデーション処理によってメガネ2のレンズ面に濃淡を与え、メガネ2のレンズが正面から見て完全に透き通って見えなくなることを防止した。
本実施形態では、グラデーション処理はグレー処理と同様に、ユボと呼ばれる合成紙に黒を所定の濃度変化をつけて印刷し、これをパネルの内面に貼り付けることで行った。ここでは、レンズ中心を100%、周辺を40%とするグラデーション処理したユボシートのレンズ部分を切り取って使用した。グラデーションのつけ方は、レンズ穴21の周辺部においてカメラ500のレンズの色とほぼ同等となるように設定している。
尚、グラデーション処理も、パネルの内面を所定の濃度変化をつけて灰色に塗装するようにしてもよいことは言うまでもない。
【0058】
本実施形態では、開閉扉上面パネル28の内面(図15のC面)は、図22に示すように100%のグレー処理(ブラック処理)が施こされている。これは、前面パネル20と下面パネル12との境界線がメガネ2のレンズに反射してカメラ50に写ってしまうのを防止することを目的としたもので、開閉扉上面パネル28を黒くすることで、境界部分への照明が抑制され、メガネ2のレンズにほとんど写らなくすることができた。
【0059】
また、本実施形態では下面パネル12のメガネ収容部16の内面(図15のF面)は、図23に示すように後面パネル25側を暗く、トルソー30の設置位置側に向って明るくするグラデーション処理が施されている。これは、トルソー30は下面パネル12に固定されているため、下面パネル12からの反射光によってトルソー30の底部が明るく、上部が暗くなるという天地の明るさのアンバランスを生ずるからである。このため、下面パネル12のメガネ収容部16の内面に、後面パネル25側を70%グレー、トルソー30の設置位置側を0%(白)としたグラデーション処理を施すことで、トルソー30の天地の明るさが一様となり、外乱の少ないメガネ画像が得られるようになった。
尚、前述のように、後面パネル25には40%グレー処理したユボシートを下面パネル12に向って丸みをつけて貼り付けているが、下面パネル12の貼り合わせ面においてほぼ40%グレーとなるように設定している。
【0060】
カメラ50は、300万画素クラスのディジタルカメラに焦点距離50mmのレンズを装着したものを使用した。また、カメラ50はUSBインタフェースによりコンピュータ200と接続されており、メガネ2をトルソー30にセットし、開閉扉18を閉じて、コンピュータ200からの遠隔操作でメガネの正面画像を撮影する。
図24から図27に、正面画像撮影装置10で実際に撮影した画像の例を示す。図24はメタルフレームメガネ、図25はセルフレームメガネ、図26はナイロールメガネ、図27はツーポイントメガネであるが、いずれも背景は一様で、フレームの輪郭が明瞭に捉えられ、ナイロールやツーポイントのメガネでもレンズの輪郭が画像処理可能なレベルで捉えられるようになった。
【0061】
一方、俯瞰画像撮影装置100は、メガネ販売システム300においてメガネの外観を需要者に提示するためにメガネの俯瞰画像を撮影するもので、図4に示すように、メガネ画像を撮影する際の外光を遮断するための撮影ボックス111と、撮影ボックス111内に設置した撮影対象のメガネ2を照明する照明手段たる照明ランプ140と、撮影対象のメガネ2を一定の距離から撮影してディジタル画像データを得る撮像手段たるディジタル式のカメラ150とから構成される。
撮影ボックス111は、前述の正面画像撮影装置10の撮影ボックス11と同様に、全体のベースプレートとなる下面パネル112と、下面パネル112の前部たる一端に設けられ、カメラ150を収容するカメラ収容部114と、下面パネル112の後部たる他端に設けられ、カメラ収容部114方向に開口を有し、下面パネル112上に設置されるメガネを収容するメガネ収容部116と、下面パネル112に設けられたガイドレール113に沿ってスライドする開閉扉118とから構成される。
【0062】
また、撮影ボックス111は、前述の正面画像撮影装置10の撮影ボックス11と同様に、内面が白色系統の色を有するパネルで形成し、照明ランプ140に円形の蛍光灯を使用することで、白色系統の照明が多方向からメガネに供給されるので、影や反射の少ない良好なメガネの外観画像を撮影することができる。
尚、俯瞰画像撮影装置100においても撮影ボックス111の内面に、影の状況や、明るさのムラ、メガネのレンズの反射等に応じて、前述の正面画像撮影装置10で実施したと同様のグレー処理やグラデーション処理を施すようにしてもよいことは言うまでもない。
【0063】
撮影ボックス111のカメラ収容部114や開閉扉18は、正面画像撮影装置10と同等の構成のため、説明を省略する。
カメラ150は、300万画素クラスのディジタルカメラに焦点距離28−105mmのズームレンズを装着したものを使用した。また、カメラ150はUSBインタフェースによりコンピュータ200と接続されており、メガネ2をメガネ収納部116にセットし、開閉扉118を閉じて、コンピュータ200からの遠隔操作でメガネの俯瞰画像を撮影する。
【0064】
コンピュータ200は、正面画像撮影装置10のカメラ50および俯瞰画像撮影装置100のカメラ150とUSBインターフェースで接続され、カメラ50とカメラ150を遠隔操作して合成用メガネ画像と外観用メガネ画像とを撮影して画像データに取り込む。
撮影した合成用メガネ画像は、画像処理によって人物像と合成するための合成用画像データを生成する。
また、コンピュータ200は通信手段たるネットワーク接続機能を有し、メガネ販売システム300に対して生成された画像データを送信する。
このような処理を行うコンピュータ200には、USBインターフェースとネットワーク接続機能を備えたパーソナルコンピュータやワークステーション等を使用することができる。
【0065】
次に、コンピュータ200によるメガネの撮影と画像処理の流れを説明する。処理は大きく分けて、「メガネ画像撮影」と「マスク処理」と「データ登録」の3段階に分かれる。
最初に、メガネ画像の登録者がメガネ画像登録システム1を使用してメガネ画像を登録する処理を、コンピュータ200に表示する画面表示例を用いて説明する。
図28に「メガネ画像撮影」における撮影開始前の画面表示例を示す。図のように、「正面撮影」ボタンと「外観撮影」ボタンとがあり、それぞれ正面画像撮影装置10のディジタルカメラ50と俯瞰画像撮影装置100のディジタルカメラ150とに対して撮影指令を送り、撮影された画像データをUSBインターフェース経由でコンピュータ200内に取り込む。
図29に「メガネ画像撮影」における撮影終了後の画面表示例を示す。図のように、撮影された正面画像と俯瞰画像が画面内に表示される。撮影された画像が不良の場合は、メガネをセットし直して、「正面撮影」ボタンや「外観撮影」ボタンを押すことで何度でも撮り直すことができる。良好な画像が撮影されたら、「次のフレーム」ボタンを押すことで、続けて多数のメガネ画像を撮影できる。
【0066】
図30に「マスク処理」における処理開始前の画面表示例を示す。図のように、「元のフォルダ」部に撮影済みのメガネ画像のファイル名が表示され、「マスク作成開始」ボタンを押すことにより、撮影済みのメガネ画像についての自動マスク処理が行われる。
図31に「マスク処理」における処理終了後の画面表示例を示す。図のように、「元画像」部に正面画像撮影装置10によって撮影された正面画像が、「表示用画像」部に正面画像の下部のスケール等をカットした画像が、「合成用画像」部に正面画像のレンズ部を希望する色に着色した画像が、「フレームマスク」部に正面画像のフレーム部分のみを抽出したフレームマスク画像が、「レンズマスク」部に正面画像のレンズ部分のみを抽出したレンズマスク画像が、それぞれ表示される。尚、レンズの色は左下部に設けた色から選択する。
また、合成用画像を標準の人物像と合成したテスト画像が「メガネ確認」部に表示される。このとき、「レンズの透過率」部に数値を入力すると、設定された透過率で人物像と合成される。また、人物像と合成する際のメガネの位置は矢印ボタンでアジャストできる。
【0067】
自動マスク処理がうまく行かないときは、「調整」ボタンを押すことで、マスクを手動で編集する「マスク手動編集」を行うことができる。
図32に「マスク手動編集」の画面表示例を示す。図のように、「RGB表示」ボタンを押すと合成用画像が、「マスク半透明表示」ボタンを押すと合成用画像にマスク画像を半透明合成した画像が、「RGBなし」ボタンを押すとマスク画像が表示される。このとき、「レンズ編集」ボタンを選択するとレンズマスク画像が使用され、「フレームマスク編集」ボタンを選択するとフレームマスク画像が使用される。
ここで、「多角形セット」ボタンを選択し、マウスで画面上をクリックすることで、多角形を描画することができるので、これによってレンズもしくはフレームの輪郭を設定していくことで、手動でマスクを編集することができる。
尚、このとき「スプライン」をチェックしておくと、滑らかな曲線が自動的に当てはめられ、滑らかな輪郭のマスクを生成することができる。
【0068】
図33に「データ登録」の登録開始前の画面表示例を示す。図のように、基本項目として、商品コード・メガネの種別・商品品番・カラー品番・ブランドを設定し、フレーム情報として、性別・タイプ・フレーム色・色違い・レンズ径・鼻幅・テンプル長を設定し、その他の情報として、価格・販売ステータス・商品表示フラグ・在庫管理情報・販売年月日・登録者を設定する。
図34に「データ登録」の登録終了後の画面表示例を示す。図のように、入力された商品コードに従って、対応する画像ファイルが選択され、「画像」部に表示用画像・フレームマスク画像・レンズマスク画像・合成用画像・外観画像が表示される。必要な項目を設定して「登録」ボタンを押すことで、設定データが登録され、ネットワークを介してメガネ販売システム300に送信される。
【0069】
図5に、以上のような登録処理を行うコンピュータ200の全体処理フローの一例を示す。
「メガネ画像撮影」では、メガネ画像撮影の画面表示を行い(S100)、「正面撮影」ボタンが押されると(S102)、正面画像撮影装置10のカメラ50に撮影指令を送り、撮影された画像を正面画像として取得する(S104)。また、「外観撮影」ボタンが押されると(S106)、俯瞰画像撮影装置100のカメラ150に撮影指令を送り、撮影された画像を俯瞰画像として取得する(S108)。「次のフレーム」ボタンが押されると(S110)、撮影番号を更新し(S112)、これを「終了」ボタンが押されるまでS102から繰返す(S114)。
【0070】
「マスク処理」では、マスク処理の画面表示を行い(S116)、「マスク作成開始」ボタンが押されると(S118)、撮影済みの正面画像についてフレームマスク画像とレンズマスク画像を生成する「マスク自動処理」(S200)を起動する。
次に、生成されたフレームマスク画像とレンズマスク画像と合成用画像によって人物像との合成テストを行う「合成画像表示処理」(S300)を起動する。「調整」ボタンが押されると、マスク画像を手動で編集するための「マスク手動編集処理」(S400)を起動し、編集されたマスク画像を使用して「合成画像表示処理」(S300)を行う。以上の処理を、「終了」ボタンが押されるまでS118から繰返す(S122)。
【0071】
「データ登録」では、データ登録の画面表示を行い(S124)、画像データをメガネの諸元とともに登録する「データ登録処理」(S500)を起動し、登録されたデータをメガネ販売システム300へ送信する(S126)。
【0072】
次に、「マスク自動処理」(S200)の詳細について説明する。
図6に「マスク自動処理」の処理フローの一例を示す。図のように、最初に背景部からメガネ部に向ってメガネの外周輪郭を検出する「メガネ外周検出処理」(S220)を行い、検出されたメガネの外周から左レンズ位置を推定し(S202)、左レンズについてレンズの外周輪郭を検出する「レンズ外周検出処理」(S250)を行う。同様に、検出されたメガネの外周から右レンズ位置を推定し(S204)、右レンズについてレンズの外周輪郭を検出する「レンズ外周検出処理」(S252)を行う。尚、左右のレンズ位置の推定(S202、S204)については、後に述べるように、メガネ外周検出処理(S220)によって得られた外周データの内、所定の特徴点における境界からメガネのフレーム幅を考慮した内側にレンズ外周検出開始点を設定し、これを用いてレンズの内部から周辺部に向ってレンズの外周を検出する。
【0073】
次に、「レンズ外周検出処理」(S250、S252)によって求められた左右のレンズ外周データからレンズマスク画像を生成し(S206)、生成されたレンズマスク画像について左右比較補正処理を行う(S208)。
レンズマスク画像の生成(S206)は、左右のレンズ外周データに囲まれる領域を塗りつぶして、内部を白、外部を黒とした画像を生成し、レンズマスク画像とする。
左右比較補正処理(S208)は、生成されたレンズマスク画像をメガネの中心から折り返して左右の画像を比較し、差異部分を抽出する。差異部分が所定の大きさを超えている場合には、左右のいずれがレンズ外周データから曲線近似により求めたラインより外れているかを判断し、外れている側のレンズマスク画像に他の側のレンズマスク画像を折り返して書き込む。これにより、一方のレンズの外周付近にラベルが貼り付けられていたり、影や写りこみ等のためにレンズの外周検出を失敗した場合でも、正しくレンズマスク画像を生成することが可能となる。
【0074】
また、「メガネ外周検出処理」(S220)によって求められたメガネ外周データと「レンズ外周検出処理」(S250、S252)によって求められた左右のレンズ外周データからフレームマスク画像を生成し(S210)、生成されたフレームマスク画像の左右を比較して補正を行う(S212)。
フレームマスク画像の生成(S210)は、メガネ外周データと左右のレンズ外周データとの間の領域を塗りつぶし、該当領域を白、非該当領域を黒とした画像を生成し、フレームマスク画像とする。ここで、ナイロールやツーポイントのようにリムの一部または前部を欠くメガネでは、メガネの外周とレンズの外周の重複する部分において境界検出の方向性の問題から細い線状の領域が発生する可能性があるが、これは例えば生成されたフレームマスク画像を収縮して膨張する収縮・膨張処理を用いることにより除去できる。
左右の比較補正処理(S212)は、生成されたフレームマスク画像をメガネの中心から折り返して左右の画像を比較し、差異部分を抽出する。差異部分が所定の大きさを超えている場合には、左右のいずれがメガネ外周データおよびレンズ外周データから曲線近似により求めたラインより外れているかを判断し、外れている側のフレームマスク画像に他の側のフレームマスク画像を折り返して書き込む。これにより、影や写りこみ等のためにメガネやレンズの外周検出を失敗した場合でも、正しくフレームマスク画像を生成することが可能となる。
【0075】
図7にメガネ外周検出処理(S220)の処理フローの一例を示す。図のように、最初にメガネの境界検出開始点を選択する(S222)。メガネの境界検出開始点は、あらかじめメガネの特徴点に対して背景部からメガネ部に向ってアプローチするラインを定め、そのスタート点から選択する。正面画像撮影装置10において、メガネ2はトルソー30にセットし、レンズ部分はメガネ台座32に置かれるので、メガネ画像中のメガネの位置や存在範囲は一定範囲に限定される。そこで、メガネ画像中のメガネ存在領域4を切り出し、メガネ存在領域4の外周からメガネに向ってメガネの境界を検出する処理を行う。
例えば、図12に示すように、メガネの特徴点として、メガネの外周を比較的安定に検出できる点を選び、これに対してメガネ存在領域4の外周上に、P1からP17のような開始点を設定する。
ここでは、メガネの上部については上方から下方に向って、メガネの下部については下方から上方に向ってメガネの外周を検出するようにしたが、これに限定されるものではなく、メガネの形状に沿って横方向や斜め方向からもアプローチする候補点を設けるようにしてもよい。
【0076】
そして、すべての候補点についての処理を完了するまで、以下のステップを繰返す(S224)。
選択した開始点について、背景部からメガネ部に向って境界を検出するメガネ境界検出処理を行う(S226)。境界の検出は、ライン上の各画素の輝度を取出し、所定以上の輝度変化のある点を抽出する。尚、メガネのフレーム部やレンズ部は背景より明るい場合と暗い場合とがあるので、ここでは背景に対してプラス側とマイナス側の両方の輝度変化を検出している。境界の検出が成功しないときはS222に戻って、次のメガネ境界検出開始点について、メガネ境界検出処理を行う(S228)。
境界の検出に成功すると、その境界を起点として以下のステップによってメガネの境界を順次追跡するメガネ境界追跡処理を行う。すなわち、検出した境界をメガネ外周データに登録し(S230)、検出した境界の近傍に新しい境界が存在するかを検出し(S232)、検出に成功すると(S234),検出した新しい境界に移動し(S236)、追跡を完了するまでS230から繰返す(S238)。
近傍はいわゆる8近傍を用い、図13に示すように現在の画素を基準として8つの隣接点を選び、前回の境界の次から一定の方向に各画素の輝度を抽出して、境界の有無を検出する。例えば、隣接点を右回りに次の境界を検出するようにすると、メガネの境界を右回りに追跡することができる。
【0077】
次の境界が検出できなかったときは(S234)、所定回数連続して不検出となるまでは(S240)、これまでに検出した外周データから曲線近似等によって次の境界を推定し(S242)、S232から繰返す。所定回数連続して不検出となったときは(S240)、S222に戻って次のメガネ境界検出開始点を選択してメガネ境界追跡処理を繰返す。
以上のような、メガネ境界追跡処理を行った場合のメガネ外周追跡過程を図14に示す。図のように、例えばメガネ境界検出開始点P3から開始して、最初にメガネの境界F1を検出し、そこから右回りにF2、F3、F4、…と境界を追跡して行く。
追跡の完了は(S238)、原則として追跡を開始したスタート点に戻ってきた場合を言うが、ここでは途中でメガネの外周が途切れているためにUターンする可能性があるので、既に検出した外周と一定の距離で追跡を続行していることを検知し、この場合にも追跡の完了とした。
【0078】
追跡を完了すると、メガネ外周データの欠損部を補間する(S244)。これは、メガネ画像においてメガネの外周が必ずしもすべて明瞭に捉えられているとは限らないからであり、S226での背景部からメガネ部に向って境界を検出するメガネ境界検出処理と、S230からS238のメガネ境界追跡処理とによって検出できなかったメガネ外周部分を補間する。補間は、検出されているメガネ外周データに基づき、例えば曲線近似によって欠損部の外周データを生成して、メガネ外周データに追加する。
次に、メガネ外周データから不正突起部を除去する(S246)。これは、背景部分に影や写りこみ等によってメガネの外周に生じた不正な突起を除去するもので、例えば順次所定領域の検出されたメガネ外周データから曲線近似によって次の領域のメガネ外周データを推定し、検出されたメガネ外周データを推定されたメガネ外周データと比較して所定距離以上離れている場合は不正な突起と判断し、検出されたメガネ外周データを推定されたメガネ外周データに置きかえる。最後に、メガネ外周データを平滑化する(S248)。これは、境界部の明るさのムラ等によって生ずる凹凸をならすもので、例えば座標データを前後一定範囲の座標データの平均値に置き換えていく。また、平滑化はメガネ外周データから最小二乗近似等によって推定した曲線に置き換えていくようにしてもよい。
尚、メガネの外周にはブリッジ部、鼻パッド部、智部のように角をなす部分があり、この部分を平滑化すると、角の部分が丸くなるので、前後で平均方位が変化する部分については平滑化をしないようにした。
【0079】
図8にレンズ外周検出処理(S250、S252)の処理フローの一例を示す。図のように、最初にレンズの境界検出開始点を選択する(S254)。これは、メガネ外周検出処理(S220)によって得られたメガネ外周データから、前述のメガネ特徴点のうち、左右のレンズ部分にかかるデータを抽出し、これからメガネのフレーム幅を考慮して、所定幅内側の位置を候補点として、このなかから選択する。例えば、図12において、メガネ境界検出開始点のうちP2、P3、P4、P11、P12、P13が左レンズ部にかかるものであり、これに対応するQ2、Q3、Q4、Q11、Q12、Q13が左レンズ境界検出開始点の候補であり、同様にメガネ境界検出開始点のうちP6、P7、P8、P15、P16、P17が右レンズ部にかかるものであり、これに対応するQ6、Q7、Q8、Q15、Q16、Q17が右レンズ境界検出開始点の候補である。この場合、メガネ外周データのうちの左レンズにかかるものから左レンズの内側に左レンズ境界検出開始ライン6を設定し、メガネ外周データのうちの右レンズにかかるものから右レンズの内側に右レンズ境界検出開始ライン8を設定し、これらの境界検出開始ラインの任意位置から左右のレンズ境界検出開始点を選択するようにしてもよい。
ここでは、レンズの上部については下方から上方に向って、レンズの下部については上方から下方に向ってレンズの外周を検出するようにしたが、これに限定されるものではなく、レンズの形状に沿って横方向や斜め方向からもアプローチする候補点を設けるようにしてもよい。
【0080】
そして、メガネ外周検出処理(S220)と同様に、すべての候補点についての処理を完了するまで、以下のステップを繰返す(S256)。
選択した開始点について、レンズ部からレンズ周辺部に向って境界を検出するレンズ境界検出処理を行う(S258)。境界の検出は、ライン上の各画素の輝度を取出し、所定以上の輝度変化のある点を抽出する。尚、レンズ部はレンズ周辺部より明るい場合と暗い場合とがあるので、ここではレンズ部に対してプラス側とマイナス側の両方の輝度変化を検出している。境界の検出が成功しないときはS254に戻って、次のレンズ境界検出開始点について、レンズ境界検出処理を行う(S260)。
境界の検出に成功すると、その境界を起点として以下のステップによってレンズの境界を順次追跡するレンズ境界追跡処理を行う。すなわち、検出した境界をレンズ外周データに登録し(S262)、検出した境界の近傍に新しい境界が存在するかを検出し(S264)、検出に成功すると(S266)、検出した新しい境界に移動し(S268)、追跡を完了するまでS262から繰返す(S270)。近傍はメガネ外周検出処理と同様に8近傍を用い、図13に示すように現在の画素を基準として8つの隣接点を選び、前回の境界の次から一定の方向に各画素の輝度を抽出して、境界の有無を検出する。例えば、隣接点を右回りに次の境界を検出するようにすると、レンズの境界を左回りに追跡することができる。
【0081】
次の境界が検出できなかったときは、所定回数連続して不検出となるまでは(S272)、これまでに検出した外周データから曲線近似等によって次の境界を推定し(S274)、S264から繰返す。所定回数連続して不検出となったときは(S272)、S254に戻って次のレンズ境界検出開始点を選択して追跡処理を繰返す。
以上のような、レンズ境界追跡処理を行った場合のレンズ外周追跡過程を図14に示す。図のように、左レンズでは、例えばレンズ境界検出開始点Q3から開始して、最初にメガネの境界L1を検出し、そこから右回りにL2、L3、L4、…と境界を追跡して行く。また、右レンズでは、例えばレンズ境界検出開始点Q7から開始して、最初にメガネの境界R1を検出し、そこから右回りにR2、R3、R4、…と境界を追跡して行く。
追跡の完了は(S270)、原則として追跡を開始したスタート点に戻ってきた場合を言うが、ここでは途中でレンズの外周が途切れているためにUターンする可能性があるので、既に検出した外周と一定の距離で追跡を続行していることを検知し、この場合にも追跡の完了とした。
【0082】
追跡を完了すると、レンズ外周データの欠損部を補間する(S276)。これは、メガネ画像において、レンズの外周が必ずしもすべて明瞭に捉えられているとは限らないからであり、S258でのレンズ部からレンズ周辺部に向って境界を検出するレンズ境界検出処理と、S262からS270のレンズ境界追跡処理とによって検出できなかったレンズ外周部分を補間する。補間は、検出されているレンズ外周データに基づき、例えば曲線近似によって欠損部の外周データを生成して、レンズ外周データに追加する。
次に、レンズ外周データから不正突起部を除去する(S278)。これは、影や写りこみ等によってメガネの外周に生じた不正な突起を除去するもので、例えば順次所定領域の検出されたレンズ外周データから曲線近似によって次の領域のレンズ外周データを推定し、検出されたレンズ外周データを推定されたレンズ外周と比較して所定距離以上離れている場合は不正な突起と判断し、検出されたレンズ外周データを推定されたレンズ外周データに置きかえる。
最後に、レンズ外周データを平滑化する(S280)。これは、境界部の明るさのムラ等によって生ずる凹凸をならすもので、例えば座標データを前後一定範囲の座標データの平均値に置き換えていく。また、平滑化はレンズ外周データから最小二乗近似等によって推定した曲線に置き換えていくようにしてもよい。
【0083】
図9に合成画像表示処理(S300)の処理フローの一例を示す。図のように、最初にマスク処理画面において入力された指定レンズ色および指定レンズ透過率を取得する(S302)。次に、正面画像中のレンズマスク部を指定レンズ色に着色した合成用画像を生成し(S304)、正面画像・俯瞰画像・合成用画像・フレームマスク画像・レンズマスク画像を画面表示する(S306)。また、マウスで指定された合成位置情報を取得し(S308)、取得した合成位置情報に基づいてフレームマスク画像およびレンズマスク画像の位置を修正する(S310)。
あらかじめ記憶された人物像を取出し(S312)、取出した人物像のフレームマスク部を合成用画像に置換し(S312)、人物像のレンズマスク部を指定レンズ色、指定レンズ透過率で着色し(S316)、合成された人物像を画面表示する(S318)。
以上の処理を、「再合成」ボタンが押されるとS302から繰返し(S320)、「終了」ボタンが押されると終了する(S322)。
【0084】
図10にマスク手動編集処理(S400)の処理フローの一例を示す。図のように、マウスクリック位置を取得し(S402)、マウスクリック位置情報をもとにスプライン曲線を発生する(S404)。これを、「設定」ボタンが押されるまで、S402から繰返す(S406)。
「設定」ボタンが押されると、スプライン曲線をメガネ外周データまたはレンズ外周データに登録し(S408)、登録されたメガネ外周データおよびレンズ外周データに基づいて、レンズマスク画像を生成し(S410)、フレームマスク画像を生成する(S412)。レンズマスク画像の生成およびフレームマスク画像の生成は、前述のマスク自動処理におけるS206およびS210と同様の処理により行う。
以上の処理を「終了」ボタンが押されるまでS402から繰返す(S414)。
【0085】
図11にデータ登録処理(S500)の処理フローの一例を示す。図のように、「登録」ボタンが押されると(S502)、入力された「基本項目」データを取得し(S504)、入力された「フレーム情報」データを取得し(S506)、入力された「その他情報」データを取得する(S508)。
正面画像・俯瞰画像・合成用画像・フレームマスク画像・レンズマスク画像をメガネ諸元とともに登録する(S510)。
以上の処理を「閉じる」ボタンが押されるまでS502から繰返す(S512)。
【0086】
次に、本願発明のメガネ画像登録システムにより登録されたデータを使用してメガネの販売を行う処理について説明する。
図1で示したように、メガネ画像登録システム1はメガネ販売システム300とネットワークで接続されており、メガネ画像登録システム1で生成されたデータはメガネ販売システム300に送信され、メガネの販売に使用される。
メガネ販売システム300は、コンピュータ200から受信したメガネの仕様や各種カタログデータおよび画像データ等を記録するデータベースサーバ310と、メガネ販売のための応用プログラムを実行するアプリケーションサーバ320と、需要者とのユーザインターフェース機能を提供するWebサーバ330と、メガネ販売システム300をインターネットに接続する際の外部からの侵入を防止するためのファイヤウォール340とから構成される。
【0087】
需要者はWebブラウザを用いて、本システムのWebサーバ330にアクセスすることで、データベースサーバ310に保存された情報をもとに、メガネの注文を行うことができる。需要者がWebサーバ330上で、希望するメガネを選択すると、メガネの外観画像が提示される。また需要者がディジタルカメラ等で撮影した顔の画像を送信することで、アプリケーションサーバ320によって希望するメガネの合成用画像と合成した画像が提示される。
需要者の顔の画像にメガネの合成用画像を合成する処理は、前述の合成画像表示処理(S300)のS312からS318と同様の処理によって実現できる。これにより、需要者は自宅に居ながらにして、自分に似合うメガネを選択して注文することが可能となり、販売店もメガネを在庫することなく製造部門から直送できる。また、メガネ画像登録システム1とネットワークを介してオンラインで接続することで、製造現場で試作したメガネを即販売するような迅速な処理を実現でき、より多品種のメガネをより低価格で提供することが可能となる。
【0088】
上記実施形態では、メガネ画像登録システムはメガネの外観を提示するための俯瞰画像を撮影する俯瞰画像撮影装置100を、人物像と合成するための正面画像を撮影する正面画像撮影装置10と別に備えるとして説明したが、本願発明はこれに限定されるものではなく、正面画像撮影装置10の撮影ボックス11内のトルソー30、メガネ台座32および各パネルに設けたグレー処理等を取外し式として、俯瞰画像撮影装置と兼用するようにしてもよい。
【0089】
上記実施形態では、コンピュータ200は、正面画像処理装置10または俯瞰画像撮影装置100とは別に備えるとして説明したが、本願発明はこれに限定されるものではなく、正面画像撮影装置10または俯瞰画像撮影装置100の内部に例えばマイクロコンピュータを内蔵し、上記画像処理機能やメガネ販売システムとの通信機能を実行させるようにしてもよい。これにより、メガネ画像登録システムの製造現場での設置が容易に行え、撮影装置に直接ネットワークを接続することでメガネ販売システムとの通信が可能となり、メガネのオンライン販売システムを構築できる。
【0090】
上記実施形態では、メガネ画像登録システムのコンピュータとメガネ販売システムとは単にネットワーク接続するとして説明したが、必ずしも専用回線や公衆電話回線等を用いてプライベートに接続する場合に限定されるものではなく、この間の接続についてもインターネットを介して通信するようにしてもよいことは言うまでもない。
【0091】
上記実施形態では、正面画像撮影装置10および俯瞰画像撮影装置100の撮像手段はディジタルカメラを用いるとして説明したが、本願発明はこれに限定されるものではなく、例えば、ビデオカメラやテレビカメラを用い、そのビデオ信号をコンピュータ200に設けたビデオキャプチャボードでキャプチャしてディジタルスチル画像としてコンピュータ200に取込むようにしてもよい。これにより、カメラヘッドは超小型のCCDカメラが使用できるので、正面画像撮影装置10や俯瞰画像撮影装置100を更に小型化することができる。
【0092】
上記実施形態では、メガネ画像登録システムの照明手段は、蛍光灯ランプを使用するとして説明したが、本願発明はこれに限定されるものではなく、メガネの色調に影響を与えない範囲でどのような照明ランプを使用してもよい。
また、上記実施形態では、円形の照明ランプを使用するとして説明したが、本願発明は必ずしもこれに限定されるものではなく、複数の棒状や卵型の照明ランプを配備するようにしてもよい。これにより、同様に広い範囲から照明することとなり、影ができにくく、より外乱の少ないメガネ画像が得られる。
尚、照明ランプは、必ずしも連続点灯するランプである必要は無く、撮像手段による撮像に同期して発光するフラッシュ等を用いてもよく、本願発明の効果を奏する。
【0093】
上記実施形態では、撮影するメガネを全方位から均一に照明したり、メガネ固定部材の上下の明るさを均一化したり、各種の外乱が撮像手段に写りこむことを抑制するために、撮影ボックスの内面にグレー処理やグラデーション処理を施すとして説明したが、本願発明は必ずしもこれに限定されるものではなく、照明手段を分散して配備し、発光強度を調節したり、カバー等を設けて減光するようにしてもよく、本願発明の効果を奏する。
【0094】
上記実施形態では、メガネ境界検出処理、メガネ境界追跡処理、レンズ境界検出処理、レンズ境界追跡処理の処理対象となる正面画像の前処理についての説明は省略しているが、必要に応じて明るさのムラを除去するためにシェーディング補正処理を加えたり、ノイズを除去するために平滑化処理を加えたり、メガネやレンズの外周輪郭を強調するために鮮鋭化処理を加えたりすることが望ましい。これにより、より安定にマスク自動処理が行えるようになる。
【0095】
上記実施形態では、メガネ境界検出処理やレンズ境界検出処理の後に、それぞれメガネ境界追跡処理やレンズ境界追跡処理を行うとして説明したが、本願発明はこれに限定されるものではなく、メガネ境界検出処理やレンズ境界検出処理を行うピッチを細かくし、これにより求めたメガネの境界やレンズの境界に対してメガネ外周補間処理やレンズ外周補間処理によってメガネの外周やレンズの外周を求めるようにしてもよい。
【0096】
上記実施形態では、メガネ外周検出処理におけるメガネ境界検出処理およびレンズ外周検出処理におけるレンズ境界検出処理は、ライン上の各画素の輝度を取出し、所定以上の輝度変化のある点を抽出するとして説明したが、本願発明はこれに限定されるものではなく、例えば画像全体または特定部位の輝度分布(ヒストグラム)を求め、モード法・Pタイル法・判別分析法等により背景部とメガネ部またはレンズ部と周辺部を区分する輝度レベルの閾値を求めて境界を検出するようにしてもよい。
尚、その際に、最初は広い範囲のヒストグラムを求めて境界検出を試み、得られた境界情報から範囲を絞ってヒストグラムを求めて、より厳格な閾値を求める、階層的閾値設定法を用いてもよい。これにより、検出の困難なコントラストの低い画像についての境界検出が可能となる。
その他、例えば微分処理、閾値処理、細線化処理を順に行って外周輪郭を求める方法を採用してもよい。
【0097】
上記実施形態では、メガネの外周検出処理やレンズの外周検出処理は、メガネの機種に拘らず単一の処理により行うものとして説明したが、マスク処理においてメガネの機種情報を取得して、取得されたメガネの機種情報を活用してメガネの外周やレンズの外周を求めるようにしてもよい。
例えば、図35のように「マスク処理」の表示画面においてメガネの機種を選択する機種選択ボタンを備えた「個別のマスク再作成」部を設け、オペレータが自動生成されたマスクを不適切と判断したときに、機種選択ボタンを押すことで、機種別に登録された情報を取出してマスクを再生成するようにしてもよい。
これは、例えば図5の処理フローのS120において、機種選択ボタンが押されたか否かを判断し、機種選別ボタンが押されていた場合はメガネの機種別にあらかじめ登録された情報を取出し、メガネ境界検出処理やレンズ境界検出処理における輝度変化の閾値を変更して、S200に戻ってマスク自動処理を再起動するようにすればよい。また、更にメガネの機種別に登録された情報に基づいてメガネの外周やレンズの外周の検出範囲を変更して、マスク自動処理を再起動するようにしてもよい。
このようにすることで、各メガネの機種に対応して、より厳格にメガネの外周やレンズの外周を検出できるので、自動マスク生成に失敗した場合でも、オペレータが補助的に機種選択ボタンを押すことでマスクを容易に生成できる。
尚、メガネ境界検出処理やレンズ境界検出処理において、輝度レベルにより境界を検出する方法を採用する場合にはメガネの機種によって輝度レベルの閾値を変更するようにしてもよく、その他の方法を採用する場合にはメガネの機種によって判定方法や各種の判定基準を変更するようにしてもよい。
【0098】
上記実施形態では、マスク手動編集は、マウスで指定したポイントから外周データを編集すると説明したが、マスク自動処理によって生成された外周データの一部をマウスでドラグすることにより、外周データを修正する機能を設けるようにしてもよい。
【0099】
上記実施形態では、データ登録処理は、コンピュータ200内で行うとして説明したが、ネットワークを介して直接メガネ販売システム300のデータベースサーバ310に登録するようにしてもよいことは言うまでもない。
【0100】
上記実施形態において、データ登録処理は、商品コードや品番等の基本項目やフレーム情報、その他の情報は登録者が入力するとして説明したが、メガネのレンズ部に貼られたラベルを読み取るラベル読取手段を設け、これらの情報の一部または前部が自動入力されるようにしてもよい。尚、ラベルの読取は、例えばコンピュータ200にOCR機能またはバーコード読取機能を備え、メガネに貼りつけられたラベルに表記された文字またはバーコードを読み取るようにすればよい。また、レベル読取手段により読み取られた情報から、あらかじめ記憶させたフレーム形状やレンズ形状に関するデータを取出し、これに基づいてメガネ外周検出処理やレンズ外周検出処理を行うようにしてもよい。これにより、メガネの形状やレンズの形状に応じて検出範囲を絞ったり、形状に合わせた境界検出処理が行えるので、より信頼性の高いマスク自動処理が行える。
【0101】
【発明の効果】
この発明によれば、メガネの画像を撮影する撮影手段と、撮影手段により撮影された画像から人物像と合成するための合成用画像を生成する合成用画像生成手段と、合成用画像生成手段により生成された合成用画像を当該メガネの諸元とともに登録する登録手段とを備えたので、何時、何処で、誰が行っても、人物像と合成可能な画像データを低コストで迅速に得ることができるという効果がある。
【図面の簡単な説明】
【図1】本願発明の一実施形態にかかるメガネ画像登録システムの構成図である。
【図2】本願発明の一実施形態にかかるメガネ画像登録システムの正面画像撮影装置の図解図である。
【図3】本願発明の一実施形態にかかるメガネ画像登録システムの正面画像撮影装置のメンテナンス扉を示す図解図である。
【図4】本願発明の一実施形態にかかるメガネ画像登録システムの俯瞰画像撮影装置の図解図である。
【図5】本願発明の一実施形態にかかるメガネ画像登録システムにおけるコンピュータの全体処理フロー図である。
【図6】マスク自動処理の一実施例にかかる処理フロー図である。
【図7】メガネ外周検出処理の一実施例にかかる処理フロー図である。
【図8】レンズ外周検出処理の一実施例にかかる処理フロー図である。
【図9】合成画像表示処理の一実施例にかかる処理フロー図である。
【図10】マスク手動編集処理の一実施例にかかる処理フロー図である。
【図11】データ登録処理の一実施例にかかる処理フロー図である。
【図12】メガネ外周検出処理におけるの開始点の説明図である。
【図13】メガネおよびレンズの境界追跡処理における近傍点の説明図である。
【図14】メガネおよびレンズの境界追跡処理の追跡過程を示す説明図である。
【図15】本願発明の一実施形態にかかる正面画像撮影装置の長手方向の断面図解図である。
【図16】本願発明の一実施形態にかかる正面画像撮影装置のカメラ側からメガネを見た図解図である。
【図17】メガネの輪郭を明瞭にする照明の原理を示す説明図である。
【図18】メガネの輪郭を明瞭にする照明の効果を示す説明図である。
【図19】本願発明の一実施形態にかかる正面画像撮影装置のメガネ収容部側面パネル22および23の内面(G面・H面)に施されたグレー処理の例を示す説明図である。
【図20】本願発明の一実施形態にかかる正面画像撮影装置の後面パネル25の内面(B面)に施されたグレー処理の例を示す説明図である。
【図21】本願発明の一実施形態にかかる正面画像撮影装置のカメラ収容部前面パネル20の内面(A面)に施されたグラデーション処理の例を示す説明図である。
【図22】本願発明の一実施形態にかかる正面画像撮影装置の開閉扉上面パネル28の内面(C面)に施されたブラック処理の例を示す説明図である。
【図23】本願発明の一実施形態にかかる正面画像撮影装置の下面パネル12の後部の内面(B〜F面)に施されたグレー処理の例を示す説明図である。
【図24】本願発明の一実施形態にかかる正面画像撮影装置によって、メタルフレームメガネを撮影した画像の例である。
【図25】本願発明の一実施形態にかかる正面画像撮影装置によって、セルフレームメガネを撮影した画像の例である。
【図26】本願発明の一実施形態にかかる正面画像撮影装置によって、ナイロールメガネを撮影した画像の例である。
【図27】本願発明の一実施形態にかかる正面画像撮影装置によって、ツーポイントメガネを撮影した画像の例である。
【図28】メガネ画像撮影における表示画面例(撮影開始前)である。
【図29】メガネ画像撮影における表示画面例(撮影終了後)である。
【図30】マスク処理における表示画面例(処理開始前)である。
【図31】マスク処理における表示画面例(処理終了後)である。
【図32】マスク手動編集における表示画面例である。
【図33】データ登録における表示画面例(登録開始前)である。
【図34】データ登録における表示画面例(登録終了後)である。
【図35】マスク処理における表示画面の変形例である。
【符号の説明】
1 メガネ画像登録システム
2 撮影対象メガネ
10 正面画像撮影装置
100 俯瞰画像撮影装置
11、111 撮影ボックス
18、118 開閉扉
30 トルソー
40、140 照明ランプ
50、150 ディジタルカメラ
200 コンピュータ
300 メガネ販売システム
310 データベースサーバ
320 アプリケーションサーバ
330 Webサーバ
340 ファイヤウォール
Claims (29)
- メガネの画像を撮影する撮影手段と、前記撮影手段により撮影された画像から人物像と合成するための合成用画像を生成する合成用画像生成手段と、前記合成用画像生成手段により生成された合成用画像を当該メガネの諸元とともに登録する登録手段とを備えたメガネ画像登録システムであって、
前記合成用画像生成手段は、前記撮影されたメガネ画像からメガネのフレーム部分を指定するフレームマスク画像とメガネのレンズ部分を指定するレンズマスク画像とを含むマスクを生成するマスク生成手段を有し、
前記登録手段は、前記生成されたフレームマスク画像とレンズマスク画像とを前記撮影されたメガネ画像とともに登録する機能を有するものであって、
前記マスク生成手段は、前記撮影されたメガネ画像のメガネの外周を検出するメガネ外周検出手段と、前記撮影されたメガネ画像のレンズの外周を検出するレンズ外周検出手段とを含み、前記メガネ外周検出手段により検出されたメガネの外周と前記レンズ外周検出手段により検出されたレンズの外周とから前記フレームマスク画像を生成し、前記レンズ外周検出手段により検出されたレンズの外周から前記レンズマスク画像を生成する機能を有し、
前記メガネ外周検出手段は、前記撮影されたメガネ画像の背景部からメガネ部に向ってメガネの境界を検出するメガネ境界検出手段を含み、
前記レンズ外周検出手段は、前記メガネ外周検出手段により検出されたメガネの外周からレンズ部を推定するレンズ部推定手段と、前記レンズ部推定手段により推定されたレンズ部からレンズ周辺部に向ってレンズの境界を検出するレンズ境界検出手段とを含むことを特徴とする、メガネ画像登録システム。 - 前記メガネ外周検出手段は、前記メガネ境界検出手段により検出されたメガネの境界を出発点として近傍のメガネの境界を順次検出して追跡するメガネ境界追跡手段を含み、
前記レンズ外周検出手段は、前記レンズ境界検出手段により検出されたレンズの境界を出発点として近傍のレンズの境界を順次検出して追跡するレンズ境界追跡手段を含むことを特徴とする、請求項1に記載のメガネ画像登録システム。 - メガネの画像を撮影する撮影手段と、前記撮影手段により撮影された画像から人物像と合成するための合成用画像を生成する合成用画像生成手段と、前記合成用画像生成手段により生成された合成用画像を当該メガネの諸元とともに登録する登録手段とを備えたメガネ画像登録システムであって、
前記合成用画像生成手段は、前記撮影されたメガネ画像からメガネのフレーム部分を指定するフレームマスク画像とメガネのレンズ部分を指定するレンズマスク画像とを含むマスクを生成するマスク生成手段を有し、
前記登録手段は、前記生成されたフレームマスク画像とレンズマスク画像とを前記撮影されたメガネ画像とともに登録する機能を有するものであって、
前記マスク生成手段は、前記撮影されたメガネ画像のメガネの外周を検出するメガネ外周検出手段と、前記撮影されたメガネ画像のレンズの外周を検出するレンズ外周検出手段とを含み、前記メガネ外周検出手段により検出されたメガネの外周と前記レンズ外周検出手段により検出されたレンズの外周とから前記フレームマスク画像を生成し、前記レンズ外周検出手段により検出されたレンズの外周から前記レンズマスク画像を生成する機能を有し、
前記メガネ外周検出手段は、前記検出されたメガネの外周の欠損部を補間するメガネ外周補間手段を含み、
前記レンズ外周検出手段は、前記検出されたレンズの外周の欠損部を補間するレンズ外周補間手段を含むことを特徴とする、メガネ画像登録システム。 - メガネの画像を撮影する撮影手段と、前記撮影手段により撮影された画像から人物像と合成するための合成用画像を生成する合成用画像生成手段と、前記合成用画像生成手段により生成された合成用画像を当該メガネの諸元とともに登録する登録手段とを備えたメガネ画像登録システムであって、
前記合成用画像生成手段は、前記撮影されたメガネ画像からメガネのフレーム部分を指定するフレームマスク画像とメガネのレンズ部分を指定するレンズマスク画像とを含むマスクを生成するマスク生成手段を有し、
前記登録手段は、前記生成されたフレームマスク画像とレンズマスク画像とを前記撮影されたメガネ画像とともに登録する機能を有するものであって、
前記マスク生成手段は、前記撮影されたメガネ画像のメガネの外周を検出するメガネ外周検出手段と、前記撮影されたメガネ画像のレンズの外周を検出するレンズ外周検出手段とを含み、前記メガネ外周検出手段により検出されたメガネの外周と前記レンズ外周検出手段により検出されたレンズの外周とから前記フレームマスク画像を生成し、前記レンズ外周検出手段により検出されたレンズの外周から前記レンズマスク画像を生成する機能を有し、
前記メガネ外周検出手段は、前記検出されたメガネの外周の不正な突起部を除去するメガネ外周不正突起除去手段を含み、
前記レンズ外周検出手段は、前記検出されたレンズの外周の不正な突起部を除去するレンズ外周不正突起除去手段を含むことを特徴とする、メガネ画像登録システム。 - メガネの画像を撮影する撮影手段と、前記撮影手段により撮影された画像から人物像と合成するための合成用画像を生成する合成用画像生成手段と、前記合成用画像生成手段により生成された合成用画像を当該メガネの諸元とともに登録する登録手段とを備えたメガネ画像登録システムであって、
前記合成用画像生成手段は、前記撮影されたメガネ画像からメガネのフレーム部分を指定するフレームマスク画像とメガネのレンズ部分を指定するレンズマスク画像とを含むマスクを生成するマスク生成手段を有し、
前記登録手段は、前記生成されたフレームマスク画像とレンズマスク画像とを前記撮影されたメガネ画像とともに登録する機能を有するものであって、
前記マスク生成手段は、前記撮影されたメガネ画像のメガネの外周を検出するメガネ外周検出手段と、前記撮影されたメガネ画像のレンズの外周を検出するレンズ外周検出手段とを含み、前記メガネ外周検出手段により検出されたメガネの外周と前記レンズ外周検出手段により検出されたレンズの外周とから前記フレームマスク画像を生成し、前記レンズ外周検出手段により検出されたレンズの外周から前記レンズマスク画像を生成する機能を有し、
前記マスク生成手段は、メガネの機種情報を取得するメガネ機種情報取得手段を含み、
前記メガネ外周検出手段は、前記メガネ機種情報取得手段により取得されたメガネの機種情報を活用してメガネの外周を検出する機能を有することを特徴とする、メガネ画像登録システム。 - メガネの画像を撮影する撮影手段と、前記撮影手段により撮影された画像から人物像と合成するための合成用画像を生成する合成用画像生成手段と、前記合成用画像生成手段により生成された合成用画像を当該メガネの諸元とともに登録する登録手段とを備えたメガネ画像登録システムであって、
前記合成用画像生成手段は、前記撮影されたメガネ画像からメガネのフレーム部分を指定するフレームマスク画像とメガネのレンズ部分を指定するレンズマスク画像とを含むマスクを生成するマスク生成手段を有し、
前記登録手段は、前記生成されたフレームマスク画像とレンズマスク画像とを前記撮影されたメガネ画像とともに登録する機能を有するものであって、
前記マスク生成手段は、前記撮影されたメガネ画像のメガネの外周を検出するメガネ外 周検出手段と、前記撮影されたメガネ画像のレンズの外周を検出するレンズ外周検出手段とを含み、前記メガネ外周検出手段により検出されたメガネの外周と前記レンズ外周検出手段により検出されたレンズの外周とから前記フレームマスク画像を生成し、前記レンズ外周検出手段により検出されたレンズの外周から前記レンズマスク画像を生成する機能を有し、
前記マスク生成手段は、メガネの機種情報を取得するメガネ機種情報取得手段を含み、
前記レンズ外周検出手段は、前記メガネ機種情報取得手段により取得されたメガネの機種情報を活用してレンズの外周を検出する機能を有することを特徴とする、メガネ画像登録システム。 - 前記合成用画像生成手段は、前記撮影されたメガネ画像からメガネのフレーム部分を指定するフレームマスク画像とメガネのレンズ部分を指定するレンズマスク画像とを含むマスクを生成するマスク生成手段を有し、
前記登録手段は、前記生成されたフレームマスク画像とレンズマスク画像とを前記撮影されたメガネ画像とともに登録する機能を有するものであって、
前記マスク生成手段は、前記生成されたフレームマスク画像とレンズマスク画像の少なくともいずれかについて、左右の画像を比較して補正する左右比較補正手段を含むことを特徴とする、請求項1ないし請求項6のいずれかに記載のメガネ画像登録システム。 - 前記マスク生成手段は、ポインティングデバイスにより指定されたポイントデータからマスクを編集するマスク手動編集手段を含むことを特徴とする、請求項1ないし請求項7のいずれかに記載のメガネ画像登録システム。
- 前記合成用画像生成手段は、あらかじめ登録された人物像と前記撮影されたメガネ画像を合成して表示する合成表示手段を含むことを特徴とする、請求項1ないし請求項8のいずれかに記載のメガネ画像登録システム。
- 前記合成表示手段は、人物像と合成するメガネ画像のレンズの色と透過率を指定する機能を有することを特徴とする、請求項9に記載のメガネ画像登録システム。
- 前記合成表示手段は、人物像に合成するメガネ画像の位置を調節する機能を有することを特徴とする、請求項9または請求項10に記載のメガネ画像登録システム。
- 前記登録手段は、前記撮影されたメガネのレンズ部に設けられたラベルを読み取るラベル読取手段を備えたことを特徴とする、請求項1ないし請求項11のいずれかに記載のメガネ画像登録システム。
- 前記登録手段により登録されたデータをメガネ販売システムに送信する通信手段を備えたことを特徴とする、請求項1ないし請求項12のいずれかに記載のメガネ画像登録システム。
- 前記撮影手段は、開閉式の扉を有し、撮影するメガネを収容する撮影ボックスと、前記撮影ボックスに収容されたメガネを照明する照明手段と、前記撮影ボックスに収容されたメガネを撮影してディジタル画像データを得る撮像手段とを備え、撮影するメガネを前記撮影ボックスに収容して、前記扉を閉じてメガネ画像を撮影することを特徴とする、請求項1ないし請求項13のいずれかに記載のメガネ画像登録システム。
- 前記撮影手段は、メガネの正面画像を撮影する正面画像撮影手段を含むことを特徴とする、請求項1ないし請求項14のいずれかに記載のメガネ画像登録システム。
- 前記撮影手段は、メガネの俯瞰画像を撮影する俯瞰画像撮影手段を含むことを特徴とする、請求項1ないし請求項15のいずれかに記載のメガネ画像登録システム。
- メガネの画像を撮影するステップと、前記撮影された画像から人物像と合成するための合成用画像を生成するステップと、前記生成された合成用画像を当該メガネの諸元とともに登録するステップとを備えたメガネ画像登録方法であって、
前記合成用画像を生成するステップは、前記撮影されたメガネ画像からメガネのフレーム部分を指定するフレームマスク画像とメガネのレンズ部分を指定するレンズマスク画像とを含むマスクを生成するステップを有し、
前記登録するステップは、前記生成されたフレームマスク画像とレンズマスク画像とを前記撮影されたメガネ画像とともに登録するステップを有するものであって、
前記マスクを生成するステップは、前記撮影されたメガネ画像のメガネの外周を検出するステップと、前記撮影されたメガネ画像のレンズの外周を検出するステップと、前記検出されたメガネの外周と前記検出されたレンズの外周とから前記フレームマスク画像を生成するステップと、前記検出されたレンズの外周から前記レンズマスク画像を生成するステップとを含み、
前記メガネの外周を検出するステップは、前記撮影されたメガネ画像の背景部からメガネ部に向ってメガネの境界を検出するステップを含み、
前記レンズの外周を検出するステップは、前記メガネの外周を検出するステップにより検出されたメガネの外周からレンズ部を推定するステップと、前記推定されたレンズ部からレンズ周辺部に向ってレンズの境界を検出するステップとを含むことを特徴とする、メガネ画像登録方法。 - 前記メガネの外周を検出するステップは、前記メガネの境界を検出するステップにより検出された境界を出発点として近傍のメガネの境界を順次検出して追跡するステップを含み、
前記レンズの外周を検出するステップは、前記レンズの境界を検出するステップにより検出された境界を出発点として近傍のレンズの境界を順次検出して追跡するステップを含むことを特徴とする、請求項17に記載のメガネ画像登録方法。 - メガネの画像を撮影するステップと、前記撮影された画像から人物像と合成するための合成用画像を生成するステップと、前記生成された合成用画像を当該メガネの諸元とともに登録するステップとを備えたメガネ画像登録方法であって、
前記合成用画像を生成するステップは、前記撮影されたメガネ画像からメガネのフレーム部分を指定するフレームマスク画像とメガネのレンズ部分を指定するレンズマスク画像とを含むマスクを生成するステップを有し、
前記登録するステップは、前記生成されたフレームマスク画像とレンズマスク画像とを前記撮影されたメガネ画像とともに登録するステップを有するものであって、
前記マスクを生成するステップは、前記撮影されたメガネ画像のメガネの外周を検出するステップと、前記撮影されたメガネ画像のレンズの外周を検出するステップと、前記検出されたメガネの外周と前記検出されたレンズの外周とから前記フレームマスク画像を生成するステップと、前記検出されたレンズの外周から前記レンズマスク画像を生成するステップとを含み、
前記メガネの外周を検出するステップは、前記検出されたメガネの外周の欠損部を補間するステップを含み、
前記レンズの外周を検出するステップは、前記検出されたレンズの外周の欠損部を補間するステップを含むことを特徴とする、メガネ画像登録方法。 - メガネの画像を撮影するステップと、前記撮影された画像から人物像と合成するための合成用画像を生成するステップと、前記生成された合成用画像を当該メガネの諸元とともに登録するステップとを備えたメガネ画像登録方法であって、
前記合成用画像を生成するステップは、前記撮影されたメガネ画像からメガネのフレーム部分を指定するフレームマスク画像とメガネのレンズ部分を指定するレンズマスク画像とを含むマスクを生成するステップを有し、
前記登録するステップは、前記生成されたフレームマスク画像とレンズマスク画像とを前記撮影されたメガネ画像とともに登録するステップを有するものであって、
前記マスクを生成するステップは、前記撮影されたメガネ画像のメガネの外周を検出するステップと、前記撮影されたメガネ画像のレンズの外周を検出するステップと、前記検出されたメガネの外周と前記検出されたレンズの外周とから前記フレームマスク画像を生成するステップと、前記検出されたレンズの外周から前記レンズマスク画像を生成するステップとを含み、
前記メガネの外周を検出するステップは、前記検出されたメガネの外周の不正な突起部を除去するステップを含み、
前記レンズの外周を検出するステップは、前記検出されたレンズの外周の不正な突起部を除去するステップを含むことを特徴とする、メガネ画像登録方法。 - メガネの画像を撮影するステップと、前記撮影された画像から人物像と合成するための合成用画像を生成するステップと、前記生成された合成用画像を当該メガネの諸元とともに登録するステップとを備えたメガネ画像登録方法であって、
前記合成用画像を生成するステップは、前記撮影されたメガネ画像からメガネのフレーム部分を指定するフレームマスク画像とメガネのレンズ部分を指定するレンズマスク画像とを含むマスクを生成するステップを有し、
前記登録するステップは、前記生成されたフレームマスク画像とレンズマスク画像とを前記撮影されたメガネ画像とともに登録するステップを有するものであって、
前記マスクを生成するステップは、前記撮影されたメガネ画像のメガネの外周を検出するステップと、前記撮影されたメガネ画像のレンズの外周を検出するステップと、前記検出されたメガネの外周と前記検出されたレンズの外周とから前記フレームマスク画像を生成するステップと、前記検出されたレンズの外周から前記レンズマスク画像を生成するステップとを含み、
前記マスクを生成するステップは、メガネの機種情報を取得するステップを含み、
前記メガネの外周を検出するステップは、前記取得されたメガネの機種情報を活用してメガネの外周を検出するステップを含むことを特徴とする、メガネ画像登録方法。 - メガネの画像を撮影するステップと、前記撮影された画像から人物像と合成するための合成用画像を生成するステップと、前記生成された合成用画像を当該メガネの諸元とともに登録するステップとを備えたメガネ画像登録方法であって、
前記合成用画像を生成するステップは、前記撮影されたメガネ画像からメガネのフレーム部分を指定するフレームマスク画像とメガネのレンズ部分を指定するレンズマスク画像とを含むマスクを生成するステップを有し、
前記登録するステップは、前記生成されたフレームマスク画像とレンズマスク画像とを前記撮影されたメガネ画像とともに登録するステップを有するものであって、
前記マスクを生成するステップは、前記撮影されたメガネ画像のメガネの外周を検出するステップと、前記撮影されたメガネ画像のレンズの外周を検出するステップと、前記検出されたメガネの外周と前記検出されたレンズの外周とから前記フレームマスク画像を生成するステップと、前記検出されたレンズの外周から前記レンズマスク画像を生成するステップとを含み、
前記マスクを生成するステップは、メガネの機種情報を取得するステップを含み、
前記レンズの外周を検出するステップは、前記取得されたメガネの機種情報を活用してレンズの外周を検出するステップを含むことを特徴とする、メガネ画像登録方法。 - 前記合成用画像を生成するステップは、前記撮影されたメガネ画像からメガネのフレーム部分を指定するフレームマスク画像とメガネのレンズ部分を指定するレンズマスク画像とを含むマスクを生成するステップを有し、
前記登録するステップは、前記生成されたフレームマスク画像とレンズマスク画像とを前記撮影されたメガネ画像とともに登録するステップを有するものであって、
前記マスクを生成するステップは、前記生成されたフレームマスク画像とレンズマスク画像の少なくともいずれかについて、左右の画像を比較して補正するステップを含むことを特徴とする、請求項17ないし請求項22のいずれかに記載のメガネ画像登録方法。 - 前記マスクを生成するステップは、ポインティングデバイスにより指定されたポイントデータからマスクを編集するステップを含むことを特徴とする、請求項17ないし請求項23のいずれかに記載のメガネ画像登録方法。
- 前記合成用画像を生成するステップは、あらかじめ登録された人物像と前記撮影されたメガネ画像を合成して表示するステップを含むことを特徴とする、請求項17ないし請求項24のいずれかに記載のメガネ画像登録方法。
- 前記表示するステップは、人物像に合成するメガネ画像のレンズの色と透過率を指定するステップを有することを特徴とする、請求項25に記載のメガネ画像登録方法。
- 前記表示するステップは、人物像に合成するメガネ画像の位置を調節するステップを有することを特徴とする、請求項25または請求項26に記載のメガネ画像登録方法。
- 前記登録するステップは、前記撮影されたメガネのレンズ部に設けられたラベルを読み取るステップを備えたことを特徴とする、請求項17ないし請求項27のいずれかに記載のメガネ画像登録方法。
- 前記登録するステップにより登録されたデータをメガネ販売システムに送信するステップを備えたことを特徴とする、請求項17ないし請求項28のいずれかに記載のメガネ画像登録方法。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002068528A JP3598296B2 (ja) | 2002-03-13 | 2002-03-13 | メガネ画像登録システムおよびメガネ画像登録方法 |
PCT/JP2003/002892 WO2003077198A1 (fr) | 2002-03-13 | 2003-03-12 | Systeme et procede d'enregistrement d'images de lunettes |
AU2003213324A AU2003213324A1 (en) | 2002-03-13 | 2003-03-12 | System and method for registering spectacles image |
TW92105390A TWI230835B (en) | 2002-03-13 | 2003-03-12 | System and method for registering image of eyeglasses |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002068528A JP3598296B2 (ja) | 2002-03-13 | 2002-03-13 | メガネ画像登録システムおよびメガネ画像登録方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2003271946A JP2003271946A (ja) | 2003-09-26 |
JP3598296B2 true JP3598296B2 (ja) | 2004-12-08 |
Family
ID=27800299
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2002068528A Expired - Fee Related JP3598296B2 (ja) | 2002-03-13 | 2002-03-13 | メガネ画像登録システムおよびメガネ画像登録方法 |
Country Status (4)
Country | Link |
---|---|
JP (1) | JP3598296B2 (ja) |
AU (1) | AU2003213324A1 (ja) |
TW (1) | TWI230835B (ja) |
WO (1) | WO2003077198A1 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
FR3053509B1 (fr) * | 2016-06-30 | 2019-08-16 | Fittingbox | Procede d’occultation d’un objet dans une image ou une video et procede de realite augmentee associe |
CN110460840B (zh) * | 2019-09-23 | 2020-06-26 | 上海工程技术大学 | 基于三维密集网络的镜头边界检测方法 |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS6339290A (ja) * | 1986-08-04 | 1988-02-19 | Meruto:Kk | 画像合成再生装置 |
JPS63172220A (ja) * | 1987-01-12 | 1988-07-15 | Hoya Corp | 眼鏡装用シミユレ−シヨン装置における眼鏡フレ−ムデ−タ作成方法 |
JPH0792651A (ja) * | 1993-09-24 | 1995-04-07 | Konica Corp | 画像切り抜き装置 |
JP4026782B2 (ja) * | 1997-05-16 | 2007-12-26 | 日本電信電話株式会社 | 眼鏡製造支援システム |
KR100388566B1 (ko) * | 1997-05-16 | 2003-06-25 | 호야 가부시키가이샤 | 안경의 주문제작 시스템 |
JP3969842B2 (ja) * | 1998-05-27 | 2007-09-05 | Hoya株式会社 | 眼鏡装用シミュレーションにおける合成画像作成方法 |
JPH11353353A (ja) * | 1998-06-03 | 1999-12-24 | Fine System Kikaku Kk | 眼鏡の選択サポートシステム |
-
2002
- 2002-03-13 JP JP2002068528A patent/JP3598296B2/ja not_active Expired - Fee Related
-
2003
- 2003-03-12 TW TW92105390A patent/TWI230835B/zh not_active IP Right Cessation
- 2003-03-12 AU AU2003213324A patent/AU2003213324A1/en not_active Abandoned
- 2003-03-12 WO PCT/JP2003/002892 patent/WO2003077198A1/ja active Application Filing
Also Published As
Publication number | Publication date |
---|---|
TW200410037A (en) | 2004-06-16 |
JP2003271946A (ja) | 2003-09-26 |
TWI230835B (en) | 2005-04-11 |
AU2003213324A1 (en) | 2003-09-22 |
WO2003077198A1 (fr) | 2003-09-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP3477254B1 (en) | Apparatus for producing 3d a point-cloud model of a physical object and producing method thereof | |
CN109983501B (zh) | 一种隐藏图像或视频中的对象的方法和相关的增强现实方法 | |
US8730356B2 (en) | System and method for automatic flash removal from images | |
CN101253764B (zh) | 成像照相机处理单元和方法 | |
US9436963B2 (en) | Visualizing a custom product in situ | |
US7623733B2 (en) | Image combination device, image combination method, image combination program, and recording medium for combining images having at least partially same background | |
JP4220470B2 (ja) | 映画におけるデジタルイメージング用のリアリティベースのライト環境 | |
KR101554403B1 (ko) | 화상 처리 장치, 화상 처리 방법, 및 제어 프로그램이 기록된 기억 매체 | |
CN102291520B (zh) | 图像处理方法和图像处理设备 | |
US20100007719A1 (en) | Method and apparatus for 3D digitization of an object | |
US6181345B1 (en) | Method and apparatus for replacing target zones in a video sequence | |
US20090028432A1 (en) | Segmentation of Video Sequences | |
US10148895B2 (en) | Generating a combined infrared/visible light image having an enhanced transition between different types of image information | |
WO2012169250A1 (ja) | 画像処理装置、画像処理方法、および制御プログラム | |
JP2004246456A (ja) | 画像編集装置および画像編集方法 | |
WO2020110576A1 (ja) | 情報処理装置 | |
CN107506748A (zh) | 电子购物方法和装置 | |
JP3598296B2 (ja) | メガネ画像登録システムおよびメガネ画像登録方法 | |
JP5969105B1 (ja) | 撮影装置および撮影方法 | |
Kale et al. | Estimating the position of illuminants in paintings under weak model assumptions: An application to the works of two Baroque masters | |
JP3962825B2 (ja) | 画像処理装置、及び、プログラム | |
JP2003322902A (ja) | 撮像装置、及び輝度分布図表示方法 | |
JP2003230036A (ja) | メガネ画像撮影装置 | |
CN117455792B (zh) | 一种车辆内置360度全景影像合成处理方法 | |
CN117545123A (zh) | 一种led光源的亮度补偿方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20031224 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040223 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040525 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040528 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20040824 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20040913 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20070917 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080917 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080917 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090917 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100917 Year of fee payment: 6 |
|
LAPS | Cancellation because of no payment of annual fees |