JP4232166B2 - 眼鏡装着シミュレーション方法及び装置 - Google Patents

Description

本発明は、使用者が眼鏡を注文する際に、コンピュータ画面上に使用者の顔画像と眼鏡モデルの装着状態を表示し、眼鏡デザインと装着状態を立体画像で表示するシミュレーション方法及びこれを用いたシミュレーション装置に関する。

一般に眼鏡使用者が眼鏡を新規に作成する際には、予め準備されている眼鏡フレームを使用者の好みに応じて選別し、これに検眼結果に応じたレンズを作成して装着している。 このような従来の眼鏡作成方法では、使用者個々の特性、例えば顔形状にマッチした眼鏡、或いは使用者の嗜好に応じた眼鏡の作成は困難であり、眼鏡作成後に調整している。 この作成後の調整はノーズパッドの当たり具合の調整、ヒンジ角度の調整などであり、レンズ厚さが予想以上に厚く装着時に側面方向からの見た目が悪いなどのクレームには再度眼鏡フレームの選定と、レンズ作成をやり直さなければならなかった。

そこで、最近、眼鏡を構成する各パーツ部品を多数準備し使用者の好みに応じてパーツを選択し、嗜好に合った眼鏡フレームを製作するオーダメイドシステムが例えば特許文献１（特公平１−６０１２８号公報）に提案されている。
同公報には眼鏡の耳当て、テンプル、ヒンジ（よろい）、フレーム、ブリッジ、鼻当てパッドなどの各パーツを多数の形状、色彩のなかから選択し、同時に使用者の眼鏡装着部の形状、寸法を測定する方法が提案されている。
ところが、このようなオーダメイドシステムでは出来上がった眼鏡の装着状態が把握できない欠点があり、例えば選択したブリッジの色彩が使用者個人に合うかどうか分からない問題がある。

そこで、特許文献２（特許第３５３７８３１号公報）にはフレームなどの眼鏡モデルの選定と、使用者の正面２次元画像と側面２次面画像に眼鏡モデルの画像を合成して表示し、装着状態をシミュレーションする試みが提案されている。
しかし、このような２次元のコマ画面では使用者の装着感が十分に確認できない問題がある。
特公平１−６０１２８号公報 特許第３５３７８３１号公報

上述のように、眼鏡フレームの各構成パーツを選択して使用者の嗜好に合ったフレームをオーダメイドする際、或いは予め設計された眼鏡フレームに使用者の検眼データに合ったレンズを組込んだ場合の装着状態をシミュレーションする際に、従来の前掲特許文献２に開示される２次元画像による方法では装着状態の確認が不十分である。
つまり、使用者（以下、「被験者」という）の画像を取得する際にその正面画像と側面画像が一致しない場合がある。

例えば被験者の肖像画を正面画像は上向き加減に、側面画面は下向き加減に肖像画を撮影した場合、或いは眼鏡フレームのモデル画像と肖像画像が一致しない場合には画面合成したシミュレーションと、実際に作成した眼鏡フレームを装着した場合とではおおきな違いが生ずる。特に合成画面では発見できない眼鏡フレームの鼻当てパッドと被験者の鼻部との間に隙間がある場合には実際の眼鏡フレームを装着したとき眼鏡が垂れ下がってしまうことがある。
これによってレンズの中心と目の中心とがズレて矯正効果が損なわれることがある。

又、眼鏡フレームの装着状態は、例えばレンズ厚さなどは見る方向によって正面画像では厚さを感じないが横方向斜め上方から見ると異常に厚く感ずるなどの問題が生ずる。 従来このような眼鏡作成後に現れる不具合については眼鏡フレームの選定からレンズ作成までをやり直さなければ成らず、上述のようなシミュレーション方法にとって致命的な問題であった。

一方、人物などの３次元画像をコンピュータグラフィクスで表示することは広く知られているが、このような場合例えば人物の頭部は３６０度方向から多数の画像データと凹凸形状の測定データを取得し、この両データに基づいて例えばメッシュデータなどの３次元モデルと画像データから抽出したテキスチャ情報とで３次元画像を生成している。
従って、その画像処理にはまず多数の肖像画データを取得しなければならない。その上で画像処理に時間を要し、簡単なデータ処理で高速な動きなど応答性の良い３次元画像を得ることは困難とされている。

そこで、本発明は、被験者の肖像画像を簡単に撮影で取得することが出来、この画像データと眼鏡モデルの画像データとを眼鏡の装着感を正確に表現するように合成することによって簡単な設備と簡単な画像処理でシミュレーションすることが可能な眼鏡装着シミュレータを提供することをその課題としている。
更に、本発明は上記方法を用いて設備構成が簡単で安価な眼鏡装着シミュレーションシステムを提供することをその課題としている。
又、本発明は眼鏡フレームの各構成パーツを被験者の嗜好に応じてオーダメイドする際に眼鏡の装着状態を正確にシミュレーションすることが可能なシミュレーション方法及びシミュレーション装置の提供をその課題としている。

本発明は、上記課題を解決するために以下の構成を採用する。
まず、本発明に係わるシミュレーション方法は、予め設定した撮影方向から被験者の顔正面の画像を撮影してカラー顔画像を取得するステップと、被験者の顔正面の凹凸形状を上記撮影方向から測定して３次元データを取得するステップとを備え、この両ステップで取得したデータに基づいて被験者の３次元顔画像を生成するステップを設ける。
この３次元顔画像は、顔正面の凹凸形状の３次元データに上記カラー顔画像から抽出したテキスチャ情報を合成して生成する。

次いで、上記と同時にあるいは前後して、被験者の左右眼球の３次元位置を計測するステップを備える。
一方、眼鏡の構成パーツ、レンズ、形状、色彩などを選定して眼鏡モデルを設定するステップと、このステップで設定された眼鏡モデルの眼鏡画像データ（第１の３次元眼鏡画像）を生成するステップを設ける。
３次元顔画像に対する第１の３次元眼鏡画像の３次元相対位置は、３次元顔画像から求めた鼻部の位置や３次元眼球位置を基に自動算出され、更に、必要に応じて手動操作によって微調整が加えられる。このように３次元顔画像に対する第１の３次元眼鏡画像の３次元位置関係を計算又は指示するステップを設ける。

次に、上記３次元位置関係に基づき、３次元顔画像と第１の３次元眼鏡画像とを合成して立体画像データを生成するステップを設ける。
更に、生成された立体画像データを２次元の画像表示装置に表示するために、立体画像データを見る方向を指示し、指示された方向からの立体画像データを表示するステップを設ける。

そして、請求項１の発明では、上記３次元位置関係によって、被験者の眼球位置や耳の位置に対する眼鏡のパーツを構成する各パーツの位置や姿勢が計算される。
これにより、パーツの長さやパーツ同士の組み付け角度・組み付け位置等が計算されて眼鏡が設計される。
又、眼球位置に対するレンズ中心位置が指定され、レンズ形状又はフレーム形状からレンズ中心位置に対するレンズ淵の３次元形状が算出される。
こうして、第２の３次元眼鏡画像が生成されるとともに、これらの計算値に基づいて眼鏡が製作される。
次に、請求項６の発明では、被験者の顔画像を少なくとも相異なる２方向から撮影する第１の撮像カメラ手段及び第２の撮像カメラ手段と、被験者の顔正面の凹凸形状を測定するレーザスキャニング手段とを備える。
そして、上記第１の撮像カメラ手段及び第２の撮像カメラ手段の少なくとも１つから被験者のカラー顔画像を取得する手段を備える。
上記第１の撮像カメラ手段及び第２の撮像カメラ手段から被験者の３次元眼球位置を算出し、レーザスキャニング手段と第１の撮像カメラ手段又は第２のカメラ手段によって、顔正面の３次元データを取得する。
そして、顔正面の３次元データにカラー顔画像をテキスチャマッピングして、３次元顔画像を生成する手段を備える。
レーザスキャニング手段は、簡便で安価な機構で顔の凹凸形状を計測するが、眼球位置の計測には不向きであるため、眼球は第１の撮像カメラ手段及び第２の撮像カメラ手段を用いたステレオカメラ方式によって計測することを特徴とするものである。

又、請求項２の発明では、鼻当てパッドと３次元顔画像との隙間や当接状態を自動計算する手段を設ける。
これはパッドの３次元形状モデルと、３次元顔画像に含まれる３次元データとの位置関係から、パッド面に対しての、パッドと顔が接している点の割合が計算される。
当接状態は、この割合の値を数値で表示するか或いはパッドと顔が接している点に色、模様など付けて３次元眼鏡画像と共に合成表示する。

又、請求項３の発明では、３次元顔画像の後方に背景画像を表示することによって、被験者の黒髪や背景部等の３次元顔画像のデータ欠落部でも、画像表示する構成としている。
立体画像データを見る方向が、カラー画像や３次元データの計測方向からの場合、３次元顔画像中の眼球位置と、カラー画像中の眼球位置が同一座標に表示されるように、カラー画像の位置を移動・拡縮して背景画像として生成する。
そして、背景画像と３次元眼鏡画像とを合成して表示する。こうすることで、撮影方向の視点だけではあるが、自然なカラー顔画像と眼鏡モデルが合成表示でき、忠実な眼鏡装着シミュレーションとなる。

次に、請求項４の発明では、正面顔の撮影や計測のほかに、斜め顔、上向き顔等についても眼鏡装着シミュレーションを可能とする。
正面顔（第１の時刻の顔）における３次元顔画像や眼球位置に基づいて、３次元位置関係が指示され、眼鏡が設計されて３次元眼鏡画像が生成される。
第２の時刻の顔（例えば斜め顔）においても３次元顔画像、３次元眼球位置が計測される。
そこで、第１の３次元顔画像と第２の３次元顔画像とをパターンマッチングすることによって、第１の顔姿勢に対する第２の顔の姿勢（相対姿勢：３次元位置と角度）を求める手段を備える。
そして、第１の３次元顔画像と３次元眼鏡画像との３次元位置関係に、更に、上記相対姿勢を加味して、３次元眼鏡画像を回転移動して、第２の３次元顔画像に合成する手段を備える。
こうして、正面顔で設計された眼鏡を、斜め顔等異なる顔姿勢の画像に合成して表示する。

次に、請求項５の発明では、３次元眼鏡画像中のレンズにおいて、多重焦点レンズの場合の焦点位置（例えば近用部位置や遠用部位置）をレンズ上にマーキングする手段を備える。
更に、３次元顔画像中の眼球位置から、予め設定された角度の視線（直線）を生成し、レンズとの交点位置を求める。
この交点位置についてもレンズ上に描画すれば、例えば近用部を視線が正しく通過しているか否かを検証確認することができる。
こうして、好ましいレンズ選定やレンズ位置を設計できる眼鏡装着シミュレーションを構成する。

次に請求項６の発明では、被験者の顔画像を少なくとも２方向から撮影する第１の撮像カメラ手段及び第２の撮像カメラ手段と、被験者の顔正面の凹凸形状を測定するレーザスキャニング手段とを備える。
そして、上記第１の撮像カメラ手段及び第２の撮像カメラ手段の少なくとも１つから被験者のカラー顔画像を取得する手段を備える。
上記第１の撮像カメラ手段及び第２の撮像カメラ手段から被験者の３次元眼球位置を算出し、レーザスキャニング手段と第１のカメラ手段又は第２のカメラ手段によって、顔正面の３次元データを取得する。
そして、顔正面の３次元データにカラー顔画像をテキスチャマッピングして、３次元顔画像を生成する手段を備える。
レーザスキャニング手段は、簡便で安価な機構で顔の凹凸形状を計測するが、眼球位置の計測には不向きであるため、眼球は第１のカメラ及び第２のカメラを用いたステレオカメラ方式によって計測することを特徴とするものである。

請求項１の発明は、眼球位置や顔の３次元情報に基づいて、眼鏡の設計を行うシミュレーションシステムにあって、３次元顔画像と設計された第１の３次元眼鏡画像とが合成されて表示できる構成としたため、顔と装着する眼鏡の相対位置の決定の際に、レンズやフレームと額・頬等の顔との接触（クリアランス）はないか、あるいは適切かどうか、などのシミュレーションが合成表示画面を様々な視点方向に回転させながら、簡便に確認検証が可能である。
こうして、決定された眼鏡の装着位置に対し、３次元顔データによる鼻部位置や耳部位置、眼球位置等の情報から、最適な眼鏡の設計、例えばテンプル長、テンプルとヒンジの取り付け角度等の設計が、上記検証と同時に可能となり、被験者の拘束時間が短くかつ確実な眼鏡発注が可能となる。

又、請求項２の発明は、鼻パッド形状データと３次元顔画像との比較によって、パッドの当接状態を求める構成であるので、確実に保持できる（ずり落ちない）眼鏡の選定や、パッド部の位置傾きの設計が可能となる。

更に、請求項３の発明は、２次元のカラー画像を背景画像として、３次元眼鏡画像と合成して表示する構成としたため、黒髪、眉毛、濃い髭等の３次元データとして欠落した部位や測距不能な背景についても、カラー写真のごとく表示できるので、自然な眼鏡装着シミュレーションが可能になる。
そして、好みに応じた眼鏡の選定、似合うか否かの被験者の判断、等が、鏡を見ながら行う感覚で可能となり、実際の装着状態に近い状態での眼鏡装着シミュレーションが実現できる。

又、請求項４の発明は、被験者が正面を向いて撮影した画像のみならず、これとは相異なる姿勢の斜め顔等においても、正面顔で設計・選定された３次元眼鏡画像を合成表示できるよう構成したため、ビデオカメラでの撮影や第三者からの視点のような実際の装着状態に近い状態での、自然な眼鏡装着シミュレーションが可能になる。

又、請求項５の発明は、レーザスキャニングによる測距手段と、２台のカメラによる３次元眼球計測と、３次元顔画像生成や背景画像用のカラー画像取得に２台の内の１台のカメラを用いるよう構成したため、測距設備が簡単で安価であり、画像撮影なども迅速かつ簡単に行うことができ、又、画像データの処理も高速で容易であり店頭などの小スペースで眼鏡注文者に対応することが出来るなど眼鏡フレームの各構成パーツを被験者の嗜好に応じてオーダメイドする際に好適なシミュレーションシステムの提供が可能である。

以下、図示の好適な実施の態様に基づいて本発明を詳述する。
図１は、本発明を採用したオーダメイドシステムの構成を示し、図２は、その測定部の構成を示す説明図である。
本発明のオーダメイドシステムは、例えば眼鏡店において消費者（以下、「被験者」という）が眼鏡フレームを選択し、これに自己の処方にあったレンズを装着依頼する眼鏡注文時に、出来上がった眼鏡が自己の顔形に似合うかどうか？、フレームサイズやパッドの位置等が顔に適合するかどうか？、遠近両用レンズ等のレンズが正しく機能するかどうか？、レンズの製作可否はどうか？、などを注文時にシミュレーションする方法及び装置（以下、「システム」という）として構成する。

例えば、注文時にサンプルのない眼鏡フレームを選定する場合には、被験者がその眼鏡を掛けたとき、正規の位置に正しく装着できるか否かである。
これは例えば、パッドの位置が鼻の位置に接するように眼鏡をかけたときにレンズやフレームが額や頬に接触してはならない。又、遠近両用レンズを注文した場合、上下方向に小さい（横長い）フレームやレンズ形状を選定すると、近用部がレンズ外になってしまう場合がある。
又、大きなレンズやフレームを選定すると、レンズが製作できなくなる可能性もある。

そこで、本発明はコンピュータ画面で被験者に合うかどうか？、レンズ製作可能か？、遠近両用レンズが機能するか否か？、パッドと鼻の接触具合はどうか？、レンズやフレームと額・頬等の顔との接触（クリアランス）は大丈夫か？、などのシミュレーションが出来るシステムとして構成する。
又、レンズやフレームと額・頬が接触しない条件下で、パッドと鼻の接触具合を判断しながらパッドの位置を設定（設計）し、テンプル部の長さや取り付け角度等を設定することが可能なシステムとして構成する。

被験者の矯正処方にあったレンズを組み合わせる場合に、出来上がった眼鏡のレンズ厚さがフレームデザインとマッチしないなど被験者の嗜好に合わないことがあり、注文時に出来上がり状態を事前にシミュレーションできるシステムとして構成する。
更に、このシステムは眼鏡フレームを構成するパーツ（例えばテンプル部、耳当て部、ヒンジ部、ブリッジ、パッド、レンズ形状など）を使用者がその形状、色彩、模様などの多数のパーツから好みに合わせて選択して眼鏡フレームを注文する際に自己の顔形に合うかどうか？、をシミュレーションすることが可能なシステムとして構成する。

このように多数のパーツを組み合わせて眼鏡フレームを選定する場合に、各小売店舗に各組み合わせに応じたサンプルフレームを準備することは在庫管理上好ましくない。
そこで、本発明はコンピュータ画面で被験者に似合うかどうかのシミュレーションが可能なシステムとして構成する。
又、複数の顔姿勢で取得した顔データを３次元姿勢マッチングによって、それぞれの顔姿勢を計算することで、一つの顔データとの相対位置が決定された眼鏡は、他の顔姿勢でも所定の位置に合成表示できるようにする。

以下、眼鏡フレームを構成するパーツをコンピュータ画面上で選択し、レンズ構成と合わせて選定した眼鏡を被験者の顔画像に装着してシミュレーションするシステムについて本発明を説明する。
本発明の特徴は、カメラ撮影した被験者の３次元顔画像とコンピュータ上で選択した眼鏡フレームと矯正レンズとの合成画像（以下、「３次元眼鏡画像」という）をコンピュータ画面上に表示することで、あらゆる角度から眼鏡の装着状態が確認できるようにすることを特徴としている。

そこで、本発明に係わるシミュレーションシステムは図１に示すように、被験者の顔情報を取得する計測部Ａと、各計測装置を制御する制御部Ｂと、計測部からのデータを処理するデータ処理部Ｃとで構成される。
計測部Ａは３つの照明手段１０，１１，１２と、レーザスキャニング装置１３と第１撮像手段１４ａと第２撮像手段１４ｂ、視線誘導マーカ２９とを備えている。
制御部Ｂは各照明手段の電源１０１，１１１，１２１とレーザスキャニング装置１３のスキャン機構１３１を制御するモータドライバ１３２とを備えている。
又、上記第１撮像手段１４ａはカラーカメラで構成され、第２撮像手段１４ｂはモノクロカメラで構成されている。この第１撮像手段１４ａ及び第２撮像手段１４ｂはデータ処理部Ｃを構成するマイクロプロセッサ（以下、「ＣＰＵ」という）１５で撮像制御される。

レーザスキャニング装置１３はレーザ発信器１３３とスキャン機構１３１で構成され、レーザ発信器１３３のＯＮ／ＯＦＦの制御はＣＰＵ１５で制御され、スキャニング機構１３１の駆動モータは（図示せず）はモータドライバ１３２で制御される。
上記データ処理部Ｃはコンピュータ３０で構成されディスプレイ３１と入力装置３２とマウス３３を備えている。
又、データ処理部Ｃには眼鏡フレームを設定するパーツ情報と、眼鏡レンズを設定するレンズ情報のパーツデータベース３４が接続されている。これらのデータベースは本シミュレーションシステムのための単独のデータベースとして構成するか、レンズその他のパーツ発注システムのデータベースと共用するように構成する。

次に、図２に示す上記測定部Ａの構成を説明すると、レーザスキャニング装置１３と第１撮像手段（以下、「第１カメラ」という）１４ａを構成するカラーカメラと第２撮像手段（以下、「第２カメラ」という）１４ｂを構成するモノクロカメラとは被験者Ｍに対して図示の位置関係に設定されている。
視線誘導マーカ２９がＬＥＤランプで配置してあり、このＬＥＤは被験者の目の中心、目とほぼ同じ高さに位置するように配置されている。
計測時には、眼の３次元位置計測を確かなものにするために、被験者には視線誘導マーカ２９を見つめてもらう。

上述の第１撮像手段１４ａ及び第２撮像手段１４ｂは三角測距方法（ステレオカメラ方式）によって被験者の眼球の中心位置を検出するように配置されている。
レーザスキャニング装置１３は視線誘導マーカ２９を基準に上方に配置され、被験者の目（眼球）にレーザ光が強く照射しないようにしてある。
このレーザスキャニング装置１３は図示しないがレーザビームの発信器１３３とスキャン機構１３１で構成され、レーザ発信器１３３は例えばシリンドリカルレンズ等で水平なスリット状のライン光を発生し、このライン光はミラーを駆動モータで回転させるスキャニング機構１３１でライン光が上下に移動するように構成される。
このスキャニング機構を制御することによって、被験者の顔面上下方向に、例えば５０〜２００ラインの測距データを取得するように、被験者の顔面から反射した反射レーザ光から後述する方法で被験者の顔面の凹凸形状を測定する。

上述の各測定装置と同時に、被験者の耳の位置を被験者の顔正面側から測定するため測定治具としてイヤーマーカ２０（図３を参照）を使用する。
イヤーマーカ２０は、左右一対の眼鏡テンプル形状の装着部本体２１と、その基端部に一体形成された耳当て部２２と、先端部に形成されたマーカプレート２３とから構成されている。
そして、基端耳当て部２２を被験者の耳裏に当接し、先端マーカプレート２３を被験者の顔正面に向けて装着する。マーカプレート２３の表面にはマーク２４が形成してあり、テンプル形状の装着部本体の長さは予め所定長さに設定してある。

従って、このイヤーマーカ２０を被験者の左右に装着し、マーク２４を測距検出すれば被験者の左右の耳位置が算出できる。
同時に、マークの傾き形状を測定すれば被験者の左右の耳の位置の違い（左右耳の上下位置）や、耳当て部のローテーション角度を測定することが出来る。
図示のものはこのマーカプレート２３のマーク２４を前述の第１カメラ１４ａ及び第２カメラ１４ｂで測距するのと同時に前述のレーザスキャニング装置１３で測距する。両者の測定値が異なるときには警告を発して再測定を促す。
測距と同時に、マーカ表面に描かれた四角形の回転角を（２次元）画像処理によって検出して、耳当て部の最適ローテーション角度（左右別）を計測する。

［被験者データの測定］
上述の測定部の装置構成において、被験者の顔画像の撮影と顔表面の凹凸形状や眼球位置計測は以下のように測定される。本発明は被験者の顔面を正面方向で予め設定された撮影方向から撮影及び、測距することを特徴とする。
従来において、通常の３次元表示方法は頭部画像の場合、被験者の頭部を３６０度方向から撮影及び測距することが行われているが、本発明は被験者の頭部を顔正面方向から撮影及び測距（以下、この両者を単に「測定」という）を行う。

本装置では、計測後の計測データの用途によって、２つの段階での計測を行う。
第１の計測は、眼鏡の設計、すなわち、フレームと顔との位置関係（パッドの接触、頬や額との接触判断）、レンズと眼の位置との関係等を設計したり検証するための「計測」である。
第１の計測では、前述のイヤーマーカを装着して行う（「マーカ装着測定」）。眼鏡の装着具合にテンプル長は重要であり、したがって、耳の位置の計測が重要だからである。よって、第１の計測では、左右の眼球位置、顔の３次元凸凹形状、イヤーマーカ位置から換算される耳の位置を計測する。

一方、第２の計測は、眼鏡の装着感の評価、換言すれば、眼鏡が使用者に似合っているかどうか？、フレームの選定、フレームの色の選定、リムレス眼鏡の場合はレンズ形状やブリッジ形状・色等が被験者の嗜好に合っているかどうか？、を判断することが主な目的である。
そのためには、イヤーマーカは視覚的に邪魔になるため、イヤーマーカなしでの顔の測定を行う（「素顔測定」）。第２の計測では、左右眼球位置、顔の３次元凸凹形状を計測する。
又、第２の計測は、正面顔以外に、斜めに向いた顔や、少し上向き、少し下向き等の顔姿勢で計測する。眼鏡を選定する場合に鏡の前で顔を回転させながら似合うかどうかを判断することと同様の画像を、眼鏡と顔のシミュレーション表示で行うためである。

［座標系について］
以下の説明で、３次元座標系を、被験者の前方向にＺ軸、上方方向にＹ軸、左右方向にＸ軸をとる。又、第１カメラ１４ａや第２カメラ１４ｂの２次元の座標を（ｘ，ｙ）で表すものとする。

［計測］
計測は、被験者が視点誘導マーカ２９を見つめた状態で前記第２光源手段（照明）１１及び第３光源手段（照明）１２を照射し、第１カメラ１４ａと第２カメラ１４ｂとで撮影する。
第１カメラ１４ａと第２カメラ１４ｂとの画像データから被験者の眼球に映り込む前記第２光源手段１１及び第３光源手段１２の画像上での位置を検出し、両カメラの視差から両目の３次元位置に換算する。
このとき、第２光源手段１１及び第３光源手段１２は同一の輝度点で波長が異なる光源を切り換えるように構成してあるため、眼球に映る輝点は基本的には１点である。

この算出方法は後述するが、本発明は照明光で眼球中央が光る光点を抽出して目の中心位置を割り出すことを特徴としている。
又、「マーカ装着測定」では、イヤーマーカ２０の座標値を第１カメラ１４ａと第２カメラ１４ｂとの画像データ、すなわち、眼球位置を求める画像と同じ画像から求める。詳細は後述する。
次に、上記第２光源手段１１及び第３光源手段１２を消灯した状態で、レーザスキャニング装置１３によって被験者の顔面凹凸形状を測距する。この手法の詳細は後述する。

最後に、第１光源手段（照明）１０、第２光源手段（照明）１１及び第３光源手段（照明）１２の全てを点灯させた第１カメラ１４ａの画像（カラー画像）を撮影する。この撮影は、レーザスキャン後でもスキャン前でも構わない。
第１光源手段１０は白色で、被験者の自然な顔色を撮像することが目的である。この時の上記第１カメラ１４ａの撮影画像は「カラー顔画像」として顔画像データ記憶手段１６に記憶する。
こうして、イヤーマーカ２０を装着して正面顔の状態での「マーカ装着測定」測定と、イヤーマーカ２０をはずし、正面顔、斜め顔、上向き顔等での「素顔測定」を行う。

次に、上述の測定について概略の３次元測定方法を説明すると、まず被験者の眼球の測定は、前述の第２光源手段１１及び第３光源手段１２の像が被験者の目に輝点として第１カメラ１４ａ及び第２カメラ１４ｂに撮影される。
この輝点は、被験者の眼孔と略々一致し眼球の中央に位置している。この輝点（ＬＥＤ像）のｘ−ｙ平面の座標位置を検出して「２次元眼球位置データ」とする。
２台のカメラの仰角からステレオカメラの原理で奥行きＺ座標の位置を検知する。このように本発明は被験者の眼球の中心を、眼球に映し出された第２光源手段１１及び第３光源手段１２の光の点を、目の中心位置と設定することを特徴とする。

又、被験者の顔面凹凸形状は、上記レーザスキャニング装置１３と第２カメラ１４ｂとで３次元データ３Ｄを測定する。
原理は、広く知られた光切断法に基づくものである。図５に示すようにレーザ光（スリット光）を被験者の顔面上部から下部に移動させながら複数枚、例えば５０枚の画像を取得する（レーザを上から下までスキャンする間に５０枚の画像を取得する）。

このときのそれぞれの時刻でのレーザ位置（レーザスキャナの角度）は既知とする。取得した５０枚の画像を１枚１枚見ると、１枚の画像には１本だけのレーザ輝線が撮像されている。
例えば、レーザが鼻の位置にあると、図５に示すように、画像では、被検体（鼻）の距離に応じて、ｙ方向に歪んだような画像が取得される。レーザが被検体上方（額等）に照射されている場合は、画像でもレーザ位置は上方にあるが、同じ画像内で更に画像上の上方にある部位は、カメラとの距離が短い部位と判断できる。
このようにして、レーザの照射角度と、レーザ輝線の画像上でのｙ座標が求められれば、被検体の３次元座標が計測できる。

より具体的には、５０枚の画像のある座標に注目し、５０枚中で最大輝度を与える画像のレーザ照射角度を求め、「レーザ角度画像」の同座標位置に格納する。注目座標を画像全面で走査すると、１枚の「レーザ角度画像」ができる。「レーザ角度画像」には各座標にレーザ角度の値が格納されており、後述の手法で３次元座標に変換することが可能である。
なお、最大輝度値があらかじめ定められた値以下の場合、例えば黒髪や遠い背景でレーザが照射されない部分については、３次元データは存在しないと判断する。

通常、レーザ光以外にも外来光が照射されるため、顔表面で若干の輝度を持つが、その点にレーザが当たれば、外来光成分よりもっと明るく観測されることになり、したがって、ある画素での最大輝度レーザ照射角度を求める手法では、外来光の影響を受けにくい計測が可能になる。
このようにして、画像の画素毎に最大輝度の画像を求め、最大輝度を与えるレーザ照射角度と画素座標とから三角測距の原理で３次元座標を求める。なお、第２カメラ１４ｂは、レーザ光の波長、眼の位置検出のための第２光源手段１１及び第３光源手段１２の光を透過すればいいので、モノクロカメラでよい。
又、レーザスキャニングの際、カラーカメラ（第１カメラ１４ａ）での撮影データは用いない。

以上のように被験者の「２次元眼球位置データ」、「レーザ角度画像」及び「カラー顔画像」を取得した後、これらのデータに基づいて図１に示すＣＰＵ１５は次の「３次元座標変換」と「眼球位置の補正」を行う。

「３次元座標変換」
装置を組み上げた段階や、設置工事を行った段階、あるいは定期点検時に、３次元形状の既知の物体（基準物体、キャリブレーション冶具）を計測することで、キャリブレーションを行う。
キャリブレーションでは、基準物体のある点（既知のＸ，Ｙ，Ｚ）が、２台のカメラのどこの座標（ｘ１，ｙ１）と（ｘ２，ｙ２）に撮像されるかを求めることによって行う。

又、レーザスキャニングで求める３次元形状の計測用キャリブレーションは、「レーザ角度画像」が用いられる。基準物体の点としては数十〜数百の点を用いて、各点のカメラでの撮像座標を対応付け、最小二乗法等の手法で変換パラメータ（変換式）を推定する。 基準物体としては、例えば、格子上に点を有し、点は画像全面に撮像されて、又、Ｚ（奥行き方向）にも格子があるようなキャリブレーション冶具が望ましい。

２台のカメラの視差から求める３次元座標は、式１〜３で算出される。
Ｘ＝Ｆ１（ｘ１，ｙ１，ｘ２，ｙ２） 式１
Ｙ＝Ｆ２（ｘ１，ｙ１，ｘ２，ｙ２） 式２
Ｚ＝Ｆ３（ｘ１，ｙ１，ｘ２，ｙ２） 式３
すなわち、１つの３次元上の点（Ｘ，Ｙ，Ｚ）はカメラ１では（ｘ１，ｙ１）に、カメラ２では（ｘ２，ｙ２）の座標にそれぞれ、撮像されているものとする。
Ｆ１（）、Ｆ２（）、Ｆ３（）は変換関数であり、キャリブレーションによって変換関数のパラメータを求める。眼球及びイヤーマーカの３次元座標は式１〜３で求められる。式１〜３に「２次元眼球位置データ」を代入することで「３次元眼球位置データ」が得られる。

レーザスキャニングで求める顔形状及び鼻形状の３次元座標は、式４〜６で求める。
Ｘ＝Ｆ４（ｘ２，ｙ２，θ） 式４
Ｙ＝Ｆ５（ｘ２，ｙ２，θ） 式５
Ｚ＝Ｆ６（ｘ２，ｙ２，θ） 式６
１つの３次元上の点（Ｘ，Ｙ，Ｚ）は、レーザ照射角度θで、かつカメラ２の（ｘ２，ｙ２）の座標に撮像されているということである。
「レーザ角度画像」の座標（ｘ２，ｙ２）の値がθであるということで、「レーザ角度画像」のみから算出できる。変換式は上記同様にキャリブレーションで求める。「レーザ角度画像」から３次元に変換されたデータを「３次元顔形状データ」と呼ぶこととする。

カメラ１の「カラー顔画像」（テキスチャ画像）と３次元座標の関係式が必要である。レーザスキャニングで求める顔形状「３次元顔形状データ」と、「カラー顔画像」座標を対応づけるためである。変換式は式７〜８である。
ｘ１＝Ｆ７（Ｘ，Ｙ，Ｚ） 式７
ｙ１＝Ｆ８（Ｘ，Ｙ，Ｚ） 式８
これは、３次元物体の点（Ｘ，Ｙ，Ｚ）は、カメラ１では（ｘ１，ｙ１）の位置に撮像されることを意味する。このキャリブレーションは、下記に行われる。まず、式１〜３のキャリブレーション時に、ｘ１、ｙ１、ｘ２、ｙ２の対応づけが行われ、Ｘ、Ｙ及びＺの関係式が導かれる。
レーザスキャニングによって、式４〜６の推定がおこなわれるが、この時の（ｘ２，ｙ２）は式１〜３の（ｘ２，ｙ２）と同一であるから（（Ｘ，Ｙ，Ｚ）が同一点なので）、（Ｘ，Ｙ，Ｚ）に対応づけられた（ｘ２，ｙ２）に、更に対応づけられた（ｘ１，ｙ１）を用いれば、式７〜８を解くことが可能である。

「眼球位置の補正」
前述の被験者の眼球は、第２の照明及び第３の照明が眼球に映し出された像を第１カメラ１４ａ及び第２カメラ１４ｂで位置検出しているため正確な眼球中心とは異なるため補正する必要がある。

(１) Ｘ軸の補正
顔が装置に近づくほど(Zが大きくなると)、輻輳角が大きくなり(寄り目になり)、角膜部が中央に寄り、結果的に眼間距離が小さく計測される。その補正として、
補正量Ｘ’＝Ｘ・Ｒ／(Ｚ０−Ｚ＋Ｒ) 式９
補正後のＸ=Ｘ+Ｘ’
ただし、Ｒは眼球半径で約１３ｍｍ、Ｚ０−Ｚは眼球から視線誘導マーカ２９までの距離である。又、Ｘ及びＺは上記の説明で計測された眼球の３次元位置である。
(２) YとZの補正
本手法では、眼球表面で正反射する第２の照明及び第３の照明の位置を、角度の異なる２台のカメラで撮像して位置を求めるため、眼球表面の実際の位置よりＺは内側、Ｙは上側に位置が求められる。第２の照明及び第３の照明の位置が被験者の目の位置より上方にあるためである。計測値は実際の角膜表面位置に対して、角膜半径を４ｍｍとしたとき、Ｙが０．３ｍｍ程度大きめに、Ｚは２ｍｍ程度小さめに出力される。そこで、Ｙの補正量は−０．３ｍｍ、Ｚの補正量は２ｍｍ程度とする。

［耳位置の検出］
この耳位置測定は、前述のイヤーマーカ２０を装着した状態で測定した結果からマーカプレート２３に施されたマーク２４の３次元座標データを求め、予め設定されているイヤーマーカの設計値から算出する。その方法について説明すると、マーク２４は、その中心位置と回転を検知する指標２４ｂと、マーカの識別指標２４ｃが設けられている。この各マークの３次元位置を、前述の第１カメラ１４ａ及び第２カメラ１４ｂの撮像データでの座標と式１〜３から算出する。同時に先のレーザスキャニング装置の検出結果から算出する。両データからの算出値が大きく異なるときには再測定を警告する。

まず、図示４点の指標２４ｂを検知し、その指標位置の周辺に識別指標２４ｃが存在するか否かによって左右のマーカが正しく装着されているかを判別する。
この識別指標２４ｃとは、複数種類のイヤーパッド（耳かけ部）の形状から被験者に最もフィットする形状のものを販売店か被験者の好みによって予め選択しておき、その種類を表す指標である。したがって、左右同じ種類でないとならない。
又、画像で識別することによって、眼鏡製作時の注文書に自動的に種類を記載することができるものである。

次に、４点の指標２４ｂのカメラ１およびカメラ２での座標を求め、前記式１〜３で３次元座標に変換した後、４点の中心座標と傾き角度を求める。この傾き角度はマーカプレートのＸ軸方向傾きαとＹ軸方向傾きβと、４点の指標のＺ軸方向傾きγとを算出する。 そして、識別指標２４ｃから使用されたイヤーマーカの設計値を基準に、マーカプレート２３から耳当て部２２の３次元座標を算出する。このとき上記角度αと角度βは、耳当て部２２のＸ、Ｙ及びＺの補正値に反映され、角度γは耳当て部のローテーション角度の設計値となる。
このように算出した耳部の３次元座標と耳当て部のローテーション角度は、眼鏡のテンプルの長さや耳当て部のローテーション角度の設計に用いられる。

［ノーズディップの算出］
後述する眼鏡フレームの選定の為に被験者顔面の「ノーズディプ」の算出を行う。ノーズディップとは、鼻の中心線（左右中心＝上下方向の線）のもっとも凹んだ位置であり、顔を上に向けた時の、いわゆる馬鞍点である。
この位置にブリッジをもってくると、レンズと眼の距離が短くなって好ましい眼鏡設計が可能である。先のレーザスキャニング装置１３で検出した「３次元顔形状データ」からノーズディップを次の方法によって求める。
左右両眼の中央部付近の約１０ｍｍ（Ｘ）×１０ｍｍ（Ｙ）の範囲において、Ｚの値を２次曲面近似する。近似された曲面をＸ方向に走査し、最も高い点の座標（Ｘ，Ｚ）を、Ｙ毎に求める。Ｙ毎に求められたＺの値で、最も低い点の座標を求め、ノーズディップ位置とする。

「眼鏡設計」について
上述の被験者の顔面測定と、この測定結果から「眼の位置」、「耳の位置」、「ノーズディプ位置」が求められるが、これと前後して、好ましくは並行して図１のシステム構成において「眼鏡設計」を行う。この眼鏡設計は眼鏡フレームの選定とレンズ製作条件の設定とでそれぞれ最適値を設定する。まず眼鏡フレームは前述のパーツデータベース３４から被験者の嗜好と後述するシミュレーションを繰り返しながら設計する。同時にレンズは被験者の矯正処方データを入力装置３２から入力し、パーツデータベース３４に記憶されているレンズ形状を後述するシミュレーションで設定する。

この手順を説明すると、眼鏡設計は、被験者が眼鏡の種類を選択することからスタートする。眼鏡の種類は、（Ａ）リムレス（レンズ枠なしフレーム）と（Ｂ）パッド固定式枠付きフレーム（フレームにパッドが固定）と、（Ｃ）パッド可動式枠付きフレーム（フレームにパッドが可動）とに大別される。
本装置では、（Ａ）の場合は眼鏡設計、（Ｂ）の場合は、被験者へのフィット具合の検証、（Ｃ）の場合はパッド部の設計や検証に用いることができる。

まず、（Ａ）リムレス眼鏡の場合の設計手順について説明する。
（１）レンズ処方を入力する。被験者の検眼結果に応じて矯正処方を入力装置３２から入力する。
（２）ブリッジ、ヒンジ、テンプル、レンズ等の構成パーツの形状や色を選択する。これらの構成パーツは予め３次元のサーフェスモデルとしてデータベース化しておく。同様にレンズの形状、色彩を被験者の好みに応じて選択する。レンズは２次元の形状モデルでデータベース化しておくことが簡便である。
（３）眼鏡と顔の相対位置を決定するための「基準姿勢」を決定する。「基準姿勢」パラメータは、平行移動成分（Ｘ０，Ｙ０，Ｚ０）と回転角度（α０，β０，γ０）からなる。 α０はＸ軸回りの回転角度（ピッチ角）、β０はＹ軸回りの回転角度（ヨー角）、γ０はＺ軸回りの回転角度（ローテーション角）である。
初期値としては、両目の結ぶ直線の傾き角をβ０とγ０とし、「ノーズディップ」位置を（Ｘ０，Ｙ０，Ｚ０）とし、α０＝０とする。これらの値は後の操作で変更可能である。「３次元顔形状データ」を「基本姿勢」によって回転平行移動させれば、正面を向いた顔の３次元データ（以下、「回転補正顔データ」）に変換される。「回転補正顔データ」の原点は「ノーズディップ」の位置である。
（４）被験者の視点位置を設定する。視点位置の前方にレンズ中心がくるようにフレーム設計する。通常の視点位置は左右眼の中心にあるが、被験者の眼鏡の使い方によっては、眼のやや下側であったり、内側に設定することもある。左右の眼の位置「３次元眼球位置データ」を上記同様回転補正した座標を基準に（そのままや下側や内側等に）設定する。
（５）ブリッジサイズ、レンズサイズとレンズの角度、レンズ距離（眼から前方への位置）を入力する。リムレスフレームでは、「回転補正顔データ」の原点の前方数ｍｍの位置にブリッジ中心をおいて、ブリッジとレンズに角度（縦方向）を持たせてレンズ形状に基づく規定の位置で両者を接合し、レンズとヒンジにも角度を持たせてレンズ形状に基づく規定位置で接合する。
ヒンジとテンプルにも角度（縦、横）をつけて接合する。計測された耳位置に耳当てがくるように、様々な角度とテンプル長を、レンズ位置・角度と耳位置情報に基づいて自動的に算出（設計）する。なお、ブリッジの傾き角は、「回転補正顔データ」に対しては（０，０，０）である。すなわち、眼鏡位置を固定して顔の３次元データを回転平行移動して合成する。例えば（Ｘ０，Ｙ０，Ｚ０）の値を変化させると、顔の位置が平行移動し、相対的に眼鏡をかける位置が変化する。
（６）レンズ処方とレンズ形状（２次元）、レンズ種類（レンズメーカ）に基づいて、レンズ外周の３次元座標を計算し、コパ厚（外周の厚み）を求め、レンズ淵の表面側３次元座標と裏面３次元座標を求めて、レンズの３次元モデルとする。この時、レンズ外周は上記のブリッジやヒンジ位置との接合点に対応するが、レンズ中心は、（４）で設定した視点位置に合わせるので、同じレンズ形状であっても視点位置が異なるとレンズ淵の厚み等は変化するのでこれを算出する。

尚、上記算出過程で、レンズ形状全体が加工前のレンズ素材の直径内に入っているか確認する。これはレンズ中心から淵までの距離を３６０°分計算すれば良い。更に、レンズ中心とレンズ種類から、例えば遠近レンズの累進ポイント位置や大きさを予めデータベース３４に記憶しておき、その描画のためのデータ（３次元）を作成する。
上述の手順で眼鏡に関する条件が設定され後述するシミュレーション表示に備える。以上のように眼鏡を構成する部品の３次元モデルを合成して「３次元眼鏡データ」を作成する。

枠付きフレーム（パッドとフレームが固定）の場合（選択）の手順
（１）レンズ処方は上記同様である。
（２）枠付きフレームを好みに応じて選定する。枠付きフレームでは、ブリッジとレンズ形状に相当するフレーム部、更にパッドが一体となり、テンプルの長さのみが調整可能なものである。
（３）「ノーズディップ」位置にフレーム中心（ブリッジ中心）がくるように、フレーム全体の位置（Ｘ，Ｙ）を決定する。Ｚについては後述するパッドの接触情報から決定する。枠付きフレームでは、テンプルの角度（Ｘ軸回転の角度＝仰角＝ピッチ角）が固定なので、レンズ角度（＝フレーム角度）は、耳の位置に耳当て部がくるように全体を傾けて、３次元データを生成する。レンズ形状とフレーム形状を置き換えれば、レンズ中心の置き方、レンズ厚の計算、レンズ製作可否、累進ポイントの表示等はリムレス眼鏡の場合と同様である。

「ブリッジクリアランス」の算出
ブリッジクリアランスとは、眼鏡の中央部と顔との隙間のことで、ブリッジクリアランスが小さ過ぎると眼鏡が顔にぶつかりやすく、大き過ぎると見栄えが悪くなったり、後述するパッド位置の設計に支障をきたしたりする可能性があって好ましくない。ブリッジクリアランスは、ブリッジ部の３次元形状と「回転補正顔データ」の情報から計算できる。 ブリッジの３次元形状は、前述のパーツデータベース３４から被験者の好みで選択されたブリッジの情報、すなわち、「３次元眼鏡データ」を構成する際に用いられるブリッジ部の３次元座標群である。

ブリッジ位置は「回転補正顔データ」の前方にある。ブリッジを構成する３次元座標群の座標（Ｘｉ，Ｙｉ，Ｚｉ）において、（Ｘｉ，Ｙｉ）の位置における「回転補正顔データ」のＺの値を求めＺｋｉとする。Ｚｉ−Ｚｋｉがブリッジと顔の距離になるので、その最小値をとればブリッジと顔の最小の隙間となり、この値をブリッジクリアランスとする。

「パッドの当接状態」の算出
眼鏡を装着した際、眼鏡フレームの鼻パッド部は顔面の鼻部分に必ず接触する。例えば低すぎるパッドの眼鏡を装着するとずり落ち、逆に高すぎるパッドの眼鏡を装着すると耳当て部に応力がかかり、いずれも好ましい眼鏡とはいえない。
したがって、パッドと顔の当接状態を算出し、パッド位置や形状の良否を判断することは、眼鏡設計や眼鏡選択において重要である。パッドと鼻の接触は点ではなく面である。パッド面の３次元形状と顔の３次元形状を比較することで、「パッドの当接状態」を算出する。

ブリッジクリアランスと同様に、パッドの３次元形状データの中からパッドの接触面の３次元情報を抽出する。この情報はパッドの形状から自動抽出してもよいし、パーツデータベース３４に予め格納しておいてもよい。前述の眼鏡の設計過程において、ブリッジを基準としたパッド部の位置が求められる。リムレスフレームの場合は、ブリッジ部とパッド部を接合するアームの形状の設計値でパッド位置が決まる。枠付きフレームの場合は、ブリッジとパッドは一体構造であるので、ブリッジとパッドの相対位置は選定されたフレームの種類で決定されている。

ブリッジ位置は「回転補正顔データ」の前方の定められた位置にあり、パッドはブリッジと既知な相対的位置にある。パッドの接触面を構成する３次元座標群の座標（Ｘｉ，Ｙｉ，Ｚｉ）において、（Ｘｉ，Ｙｉ）の位置における「回転補正顔データ」のＺの値を求めＺｋｉとする。Ｚｉ−Ｚｋｉが例えば±０．５ｍｍの範囲内であるとき、点（Ｘｉ，Ｙｉ，Ｚｉ）は顔と接触していると判断する。もし、０．５ｍｍ以上であればパッドは浮いており（接触しない）、−０．５ｍｍ以下ならパッドは顔に食い込んでいると判断できる。 この操作をパッド面全体の点（ｉ＝１〜Ｎ）で計算し、±０．５ｍｍの範囲内である点の数をカウントする。このカウント数（Ｐ）のパッド面全体の点の数（Ｎ）に対する割合（Ｐ／Ｎ）を算出して「パッドの当接状態」とする。パッドは左右にあるので、左右それぞれの「パッドの当接状態」を算出する。

本発明では、「パッドの当接状態」を数値で提示するだけでなく、顔と眼鏡の合成画像に「パッドの当接状態」を更に合成して表示することも特徴とする。これは、上記の計算過程において、±０．５ｍｍの範囲内にあるパッド点（Ｘｉ，Ｙｉ，Ｚｉ）については、色Ａ（例えば赤）、−０．５ｍｍ以下の点については色Ｂ（例えば白）、０．５ｍｍ以上の点については色Ｃ（例えば黒）を、「パッドの接触面データ」として３次元モデル化し、顔と眼鏡の３次元合成画像に合成して描画すれば実現できる。

この表示例を図１８に示す。「パッドの当接状態」からパッド位置の最適値を算出することが可能である。リムレスフレームの場合、ブリッジとパッドの位置関係を決定するのは、２者を接合するアームの長さや、アームとパッドとの取り付け角度、アームとブリッジとの取り付け角度等である。これらをパラメータとみなし、予め設計範囲として定められた範囲内で、例えば、長さパラメータ０．５ｍｍ間隔、角度パラメータは１°間隔でパラメータ値を変動させながら、「パッドの当接状態」を算出し、最も大きな「パッドの当接状態」を与えるパラメータをアーム長やアーム角度等の設計値とすればよい。この際、左右のパッド位置のバランスを保つために、左右の同一種類パラメータ値の差が一定の範囲内であることを条件にいれるとよい。

「シミュレーション表示」について
本発明は、上記方法で設定した眼鏡の装着状態を被験者の「撮影画像」と「眼鏡画像」とをディスプレイ３１に表示してシミュレーションする際に、撮影方向から表示する場合と、この撮影方向と異なる角度方向から表示する場合とで画像の合成方法を異ならせたことを一つの特徴とする。「カラー顔画像」は第１カメラ１４ａで撮影した例えば図１０に示す画像データから構成されている。
又、「３次元顔形状データ」は前述の被験者顔面の凹凸形状を図１１に示すようにメッシュ表現して構成する。「３次元眼鏡画像」は前述のように眼鏡フレームとして、若しくはこれを構成するパーツ毎の３次元画像データとして構成されている（図１２参照）。

まず、「３次元顔形状データ」に「カラー顔画像」のテキスチャ情報を加えて「３次元顔画像」を生成する。具体的には、レーザスキャンで求められた３次元座標（Ｘ，Ｙ，Ｚ）から式７〜８によって、カメラ１すなわち「カラー顔画像」の座標（ｘ，ｙ）を求め、その色情報を３次元データ（Ｘ，Ｙ，Ｚ）に加えた（テキスチャマッピングされた）データとして「３次元顔画像」が生成される。この「３次元顔画像」を操作者の視点角度に応じて３次元回転させた後、２次元に透視射影変換することで（コンピュータの）ディスプレイに画像表示される。この時、テキスチャがマッピングされているので物体の色合いなどの色調表現も加わっている。図１３に「３次元顔画像」の例を示す。この例は、顔を真正面に回転補正して表示した例である。

「３次元眼鏡画像」は前述の「回転補正顔データ」を基準に位置が決定されている。「回転補正顔データ」は「３次元顔形状データ」を「基準姿勢」（Ｘ０，Ｙ０，Ｚ０）と（α０，β０，γ０）に基づいて回転平行移動したものであり、「３次元顔形状データ」と「３次元顔形状データ」とは同一の座標を持っている。
したがって、「３次元眼鏡画像」を「基準姿勢」パラメータに基づいた逆回転平行移動変換を行って、「３次元顔形状データ」と重ね合わせて合成３次元画像を生成し、操作者の視点角度によって透視射影変換して描画すれば、あたかも眼鏡を装着したかのようなカラー画像が表示できる。この合成３次元画像は視点角度の指定によって、自由に回転させることができるため、自由な視点から、眼鏡を装着した顔の画像を観察することができる。この画像がシミュレーション画像である。

上記で説明した「３次元顔画像」は、レーザスキャンで取得した「３次元顔形状データ」から構成されているので、黒い頭髪やレーザの届かない背景についてはデータが欠落している。
したがって、頭髪や背景がないという意味で自然ではないシミュレーション表示となる。
そこで、撮影方向と同一方向のシミュレーション表示、すなわち、視点が視線誘導マーカ近辺にある場合、上記の「３次元顔画像」に更に「カラー顔画像」の変形画像（「背景データ」）を追加合成してシミュレーション画像を生成する。「３次元顔画像」の後方に「背景データ」を合成すれば、黒髪等のデータ欠落部では「３次元顔画像」を透過して「背景データ」が表示されるものである。

具体的な合成手法を説明する。２つの眼のＸ、Ｙ及びＺに対応するカメラ１のｘ−ｙ座標は眼球認識時に求められており、点１と点２とする。例えば顔中心線で３次元形状データの最下端データ（鼻の下とか）のＸ、Ｙ及びＺの値を３次元データから求め、式７〜８で、カメラ１のｘ−ｙ座標に変換して点３とする。
シミュレーション表示の視点が、視線誘導マーカ２９の位置にある場合、その点から両目中心までの距離をＺ１、「カラー顔画像」を置くための仮想平面板までの距離をＺ２（＝Ｚ１＋５０ｍｍ程度）とする。両目のｘ−ｙ座標の差にＺ２／Ｚ１を乗じた点の（ｘ，ｙ）が、点１や点２や点３と比例関係になるように、「カラー顔画像」を拡縮して、仮想平面板に描画し（テキスチャマッピング）「背景データ」とする。

図１４に、この様子を斜め横から見た図を示す。図１４では右方向に実際の視点位置（視線誘導マーカやカメラ）がある。視点からみた３次元顔画像上の点１〜３の２次元位置（透視射影変換後の表示器での２次元座標）と、仮想平面板に描かれた「背景データ」の点１〜３の２次元位置とが、一致する位置に「カラー顔画像」を拡縮と平行移動を行って描画すれば良く図１４ｂに示すようなシミュレーション画像として表現される。
「背景データ」は平面であるが空間上に存在するので３次元のデータを有する。なお、本手法は、視点がカメラ１から見た方向±数度の範囲でないとならない。つまり、「背景データ」を垂直に見る視点でないと、３次元画像と位置が一致しない。

こうして、「３次元顔画像」の後方に、両目位置と鼻下等が一致するように「カラー顔画像」を拡縮した「背景データ」をおいて、更に「３次元眼鏡画像データ」を前方に合成すれば、背景や頭髪も含む自然な画像が表示される。
「３次元顔画像」の姿勢と「３次元眼鏡画像データ」の姿勢は整合性とれており、更に、「３次元顔画像」と、後方の「背景データ」との整合性もとれているので、「３次元顔画像」を合成せず、後方の「背景データ」と「３次元眼鏡画像データ」とを直接合成表示してもよい。
この場合、「３次元顔画像」と「背景データ」の境界部の段差等が完全になくなるため、より自然な眼鏡と顔の合成画像が表示可能となる。

本発明は、上記「３次元顔画像」と「背景データ」との合成を両データの目の中心やその他の１点が一致するように位置合わせして合成することを特徴としている。更に、上述のように合成した被験者の顔面画像に眼鏡画像を合成することによって被験者が実際に眼鏡を装着した状態を描画することを特徴としている。
そして、撮影方向からの表示の場合には被験者の撮影方向顔面と眼鏡はそれぞれ３次元データから表示し、３次元データの欠落部すなわち被験者の頭部及び背景部は２次元データから画像表現することを特徴としている。尚この場合ディスプレイ３１での表示は２次元表現であることは勿論である。

［シミュレーション画像の評価］
シミュレーションにおいては、上記の「３次元顔画像」と「３次元眼鏡画像」を合成したモデルを様々な視点方向からの画像に変換・表示して、目視にて確認する。この角度は入力装置３２或いはマウス３３で所定の方向（回転角度）を指定する。
この指定された角度に応じて、合成された「３次元顔画像」と「３次元眼鏡画像」とを回転させ、透視射影変換して表示する。
目視確認は次の（１）乃至（７）のような手順で行う。
（１）顔の基準姿勢は正しいか？ 前述のように、顔の「基準姿勢」として、ノーズディップ位置や左右の目を水平とするような初期値を設定している。初期値ではα０（ピッチ角）＝０であるが、計測時に下向き気味の場合、或いは上向き気味である場合には、α０の値を調整する必要がある。
この値は、入力装置３２或いはマウス３３での回転角度調整によって、「３次元顔画像」を真横から見た画像に変換し、更に、ピッチ角方向（おじぎ方向）に回転させて表示しながら、目視によって、自然と思われる姿勢を決定してα０とすれば簡便である。
（２）眼鏡の位置が顔の位置に対して正しい位置にあるか？ 設計された眼鏡は、基準姿勢位置に描画される。例えば「ノーズディップ位置」が正しく求められない場合、或いは不自然な位置にある場合、合成表示された眼鏡は不自然な位置となるので、「基準姿勢」を正しい位置に微調整する。
この操作も、マウス３３等で「基準姿勢」のパラメータを変更しながら、顔画像上での眼鏡位置を確認しながら決定する。
「基準姿勢」を変更しても耳の位置は一定なので、テンプル長やテンプル取り付け角度等の再設計を行い、「３次元眼鏡画像」を生成しなおす必要がある。
又、レンズ中心位置も変更になるので、レンズ淵のレンズ厚計算やレンズの３次元モデルも変更して眼鏡の合成画像を生成する。
（３）レンズ距離の設定。レンズ距離とは、眼からレンズまでの距離（Ｚ）であるが、レンズはブリッジに接合されているので、顔とブリッジの距離を設定する。顔と眼鏡の合成画像を真横からの視点で表示させたり、斜めから、又は上方向からの視点で表示させたりして、自然なレンズ距離を入力装置３２或いはマウス３３を用いて設定する。この設定時に、ブリッジクリアランスが自動的に算出され、数値で確認しながら、良否の目安とすることもできる。レンズ距離によって、レンズ中心やテンプル長が変化するので、計算をし直して「３次元眼鏡画像」を生成、再表示しながら設定する。
（４）レンズ角度の設定。レンズ角度は、下向きに約８°近辺が適切であるが、場合によっては変更する必要がある。変更の際は、顔と眼鏡の合成画像を横方向からの視点で表示し、入力装置３２或いはマウス３３によってレンズ角度を変化させながら描画し、目視で判断する。レンズ角度を変更する場合は、眼鏡の一部の位置・姿勢を変更するので、「３次元眼鏡画像」を生成しなおす必要がある。
（５）顔との接触確認
眼鏡と顔の合成画像を、様々な視点方向からの画像に変換しながら、フレームやレンズが額や頬に接触していないか？、を目視で確認する。図１６にその一例を示す。
この操作は、前述のブリッジクリアランスの算出をブリッジ部のみならずレンズ淵全体で行えば、自動計算も可能である。もし、不具合があれば、（２）や（３）や（４）に戻って再調整する。若しくは、レンズ形状フレームやレンズサイズを変更して、（２）から始める。
（６）レンズの機能の確認。レンズ中心位置の確認や、遠近両用レンズの場合は累進部位置の確認を行う。これは、レンズ計算の際に生成されたレンズ位置や累進部位置の表示モデルを「３次元眼鏡画像」や「３次元顔画像」と合成して表示し、目視で確認することで行う。このとき、眼位置から所定の角度α（下向き３０°等）の線を描画し、その線が累進部を通過することを確認したり、眼と累進部位置を結ぶ直線を描画してその角度を数値表示することで、確認は更に容易となる。その表示例を図１７に示す。図１７では、大きな円でレンズの製作可能最大系を表し、２つの小さな丸でレンズ中心位置と、近用部位置を表している。赤い線が、目から所定の角度をもって表示された線で、ちょうど近用部位置を通っているので適切なレンズ位置にあることを表している。レンズ厚の確認もそのまま表示されるので簡便である。レンズ厚が好みに合わない場合は、レンズ種類を変更する。累進部位置を変更するには、レンズ中心位置を変更することになるため、基準姿勢の変更（２）に戻って、眼鏡と顔の位置関係を再調整する。
（７）パッド当接の確認やパッド部設計。顔に対する眼鏡の位置が決定されたら、パッド当接状態を計算して表示したり、パッド位置の自動計算を行う。図１８に例を示す。
枠付きフレームの場合、パッド当接状態がよくない場合は、レンズ距離の設定（３）や基準姿勢の設定（２）に戻る。リムレスフレーム等パッド設計が可能な場合は、自動計算で設計を行うが、製作可能な範囲に入らない場合は、やはり（３）や（２）に戻る必要がある。こうして、リムレスフレームの設計や枠付きフレームの選定が行える。

しかしながら、こうしてできた眼鏡は、機能的には被験者に最適なものであるが、フレームの色や模様についての被験者の好みの選択には、「マーカ装着測定」の画像を用いるのは好ましくない。イヤーマーカが顔や眼鏡を隠すからである。
そこで、本発明では、イヤーマーカを装着せずに様々な角度の顔を計測した３次元顔データ（「素顔測定」）と、「マーカ装着測定」での３次元顔データとを、パターンマッチングし、イヤーマーカなしの顔の位置姿勢パラメータを推定し、その３次元顔データに眼鏡を合成して表示することを特徴とする。

「素顔測定」データの取得。イヤーマーカをはずして、正面、斜め右、斜め左、やや上向き、やや下向き等、数種類の顔姿勢で、それぞれ、「３次元眼球位置データ」と「３次元顔形状データ」と「カラー顔画像」を取得する。この時の視線は、やはり視線誘導マーカを見てもらう。「素顔測定」による「３次元顔形状データ」で、両目を結ぶ線の角度をα２及びγ２とする。左右の眼の中間位置を（Ｘ２，Ｙ２，Ｚ２）とする。

一方、「マーカ装着測定」で求められた「３次元顔形状データ」の姿勢を、（Ｘ１，Ｙ１，Ｚ１）とα１、β１及びγ１とする。
それぞれの値は、眼鏡の合成シミュレーション時に決定された「基準姿勢」から求めたもので、α１＝α０、β１＝β０、γ１＝γ０であるが、Ｘ１、Ｙ１及びＺ１は左右の眼の中間位置である。まず、「素顔測定」の眼の位置を補正する。
正面顔においては計測時の視線方向は顔の向きと同じであるが、斜め顔の場合、横目を向いている。顔に対する眼の真の位置は、眼球の回転運動の影響だけ補正する必要がある。眼球半径をＲとすると、横目の回転角はα２であるので、
補正量Ｘ’＝Ｒ・ｓｉｎα２ 式１０
補正後のＸ２=Ｘ２+Ｘ’
で計算できる。こうして、左右の眼の中間位置Ｘ２が補正される。

次に、顔の３次元形状データに基づいて、「素顔測定」と「マーカ装着測定」の姿勢差を求める。
「マーカ装着測定」時の「３次元顔形状データ」を（Ｘ１，Ｙ１，Ｚ１，α１，β１，γ１）によって平行移動と回転操作を加えると、「回転補正顔データ」となり、真正面を向いた３次元データとなる。顔面上のある点の回転後の座標値を（ＸＰ１ｉ，ＹＰ１ｉ，ＺＰ１ｉ）とする。「素顔測定」の「３次元顔形状データ」を（Ｘ２，Ｙ２，Ｚ２，α２，β２，γ２）によって平行移動と回転操作を加えると、やはり「回転補正顔データ」となる。顔面上のある点の回転後の座標値を（ＸＰ２ｉ，ＹＰ２ｉ，ＺＰ２ｉ）とする。

「マーカ装着測定」と「素顔測定」のそれぞれの「回転補正顔データ」が顔の中心部（例えば鼻近辺）で一致するように、（Ｘ２，Ｙ２，Ｚ２，α２，β２，γ２）の各パラメータを調整する。
具体的には、各パラメータを微小に変動させながら、「素顔測定」の顔中心部の座標を平行移動・回転を行い、各点で（ＸＰ２ｉ，ＹＰ２ｉ，ＺＰ２ｉ）を求める。「マーカ装着測定」時の「回転補正顔データ」上で（ＸＰ２ｉ，ＹＰ２ｉ）のＺの値を求め、ＺＰ１ｉとする。
ＺＰ２ｉ−ＺＰ１ｉが２枚の回転補正顔データのＺ差と見なされるので、顔の中心部全体で、ＺＰ２ｉ−ＺＰ１ｉの二乗和をとると、顔姿勢の差の指標値とすることができる。 各パラメータ（Ｘ２，Ｙ２，Ｚ２，α２，β２，γ２）を微小に変動させながら、この指標値を計算し、最も小さな指標値を与えるパラメータを新たな（Ｘ２，Ｙ２，Ｚ２，α２，β２，γ２）とする。

新パラメータ（Ｘ２，Ｙ２，Ｚ２，α２，β２，γ２）に基づいて、「素顔測定」の顔データを「回転補正顔データ」に変換すると、「マーカ装着測定」時の「回転補正顔データ」とほぼ一致するデータとなる。「眼鏡画像データ」は「回転補正顔データ」に対して位置が決められているので、「マーカ装着測定」時の「回転補正顔データ」に「眼鏡画像データ」をそのまま合成して描画すれば、「素顔測定」データに「眼鏡画像データ」が合成されたモデルが生成できる。

実際には、「眼鏡画像データ」を（Ｘ２，Ｙ２，Ｚ２，α２，β２，γ２）で逆方向に回転・平行移動して、「素顔測定」時の「３次元眼鏡画像」と、更に、「背景データ」と合成すれば、違和感の少ない、自然な眼鏡装着画像が生成できる。以上の計算を、正面、斜め右、斜め左、やや上向き、やや下向き等のそれぞれの「素顔測定」データに対して行えば、それぞれの顔姿勢で眼鏡を装着した画像が合成表示できる。図１９に、素顔測定時の撮影方向から背景画像データの合成を含むシミュレーション画像を示す。

本発明のシミュレーション方法を実行する制御構成の全体を示すブロック図である。 （ａ）、（ｂ）図１における測定部の構成を示すレイアウト図である。 イヤーマーカの説明図であり、（ａ）は装着状態の説明図、（ｂ）はマーカ各部の構成説明図である。 第１撮像手段及び第２撮像手段による眼球の３次元データ算出原理図である。 レーザ装置による顔面凹凸形状の測定原理の説明図である。 眼球中心を補正する説明図である。 眼球中心を補正する説明図である。 イヤーマーカを装着した状態の顔画像の写真データである。 ３次元データに基づくメッシュ画像を示す。 眼鏡の３次元画像を示す。 ３次元顔画像の表示例（回転補正顔画像）である。 背景画像の生成方法の説明図である。 撮影方向からの背景と顔画像との合成画像（シミュレーション画像）を示す。 眼鏡と額との接触状態を確認するための表示画像例を示す。 眼鏡レンズの表示画像例を示す。 眼鏡のパッドの当接状態を確認するための表示画像例を示す。 素顔の測定における斜め顔画像と眼鏡の表示画像例を示す。

Claims (6)

1. 被験者の顔の２次元カラー顔画像データと３次元凹凸形状とを測定して、３次元顔画像を取得するステップと、
   被験者の３次元眼球位置を計測するステップと、
   眼鏡の構成パーツ、レンズ形状、色彩などを選定して、眼鏡の第１の３次元眼鏡画像を生成するステップと、
   上記３次元顔画像及び上記３次元眼球位置に対する上記第１の３次元眼鏡画像の３次元位置関係を指示するステップと、
   上記３次元位置関係に基づいて上記３次元顔画像と上記第１の３次元眼鏡画像とを合成して立体画像データを生成するステップと、
   上記立体画像データを、指示されたビュ−角度から見た２次元画像に変換して画像表示するステップと、
   上記３次元位置関係と上記３次元顔画像及び上記第１の３次元眼鏡画像に基づいて、眼鏡の構成パーツの長さ・取り付け角度、レンズの中心位置に対するレンズ淵形状を計算し、眼鏡の第２の３次元眼鏡画像を生成するとともに、眼鏡を製作するデータを生成するステップとを備えた眼鏡装着シミュレーション方法。
2. 被験者の顔の２次元カラー顔画像データと３次元凹凸形状を測定して、３次元顔画像を取得する手段と、
   被験者の３次元眼球位置を計測する手段と、
   眼鏡の構成パーツ、レンズ、形状、色彩などを選定して、眼鏡の３次元眼鏡画像を生成する手段と、
   上記３次元顔画像や３次元眼球位置と、上記３次元眼鏡画像との３次元位置関係を指示する手段と、
   上記３次元位置関係に基づいて上記３次元顔画像と上記３次元眼鏡画像とを合成して立体画像データを生成する手段と、
   上記立体画像データを、指示された方向から見た２次元画像に変換して画像表示する手段と、
   眼鏡のパッド部の３次元形状と３次元顔画像とから、パッドの当接状態を自動計算し、パッドの当接状態を数値及び／又は画像表示する手段、
   とを備えたことを特徴とする眼鏡装着シミュレーション装置。
3. 被験者の顔の２次元カラー顔画像データと３次元凹凸形状を測定して、３次元顔画像を取得する手段と、
   被験者の３次元眼球位置を計測する手段と、
   眼鏡の構成パーツ、レンズ、形状、色彩などを選定して、眼鏡の３次元眼鏡画像を生成する手段と、
   上記３次元顔画像及び３次元眼球位置と、上記３次元眼鏡画像との３次元位置関係を指示する手段と、
   立体画像データを、指示された方向から見た２次元画像に変換して画像表示する手段とを備え、
   上記３次元位置関係を指示する手段で指示された方向が略顔の撮影及び計測方向であるときは、３次元顔画像中の眼球位置とカラー顔画像データ中の眼球位置が一致するよう拡大又は縮小されたカラー顔画像データと、３次元眼鏡画像とを合成して立体画像データを生成表示することを特徴とする眼鏡装着シミュレーション装置。
4. 被験者の相異なる第１の姿勢及び第２の姿勢に対する２次元カラー顔画像データと３次元凹凸形状をそれぞれ測定して、被験者の３次元顔画像を取得する手段と、
   被験者の３次元眼球位置を計測する手段と、
   眼鏡の構成パーツ、レンズ、形状、色彩などを選定して、眼鏡の３次元眼鏡画像を生成する手段と、
   上記３次元顔画像や３次元眼球位置と、上記３次元眼鏡画像との３次元位置関係を指示する手段と、
   上記３次元顔画像と上記３次元眼鏡画像とを上記３次元位置関係に基づいて合成して立体画像データを生成する手段と、
   上記立体画像データを、指示された方向から見た２次元画像に変換して画像表示する手段と、
   上記第１の姿勢で計測された３次元顔画像と上記第２の姿勢で計測された３次元顔画像の間の相対姿勢を算出する顔姿勢計算手段とを備え、
   上記第１の３次元顔画像に対して指示された３次元眼鏡画像の３次元位置関係に、上記顔姿勢計算手段によって算出された相対顔姿勢を加えることにより第２の３次元顔画像に対する３次元眼鏡画像の３次元位置関係を計算して、第２の３次元顔画像と３次元眼鏡画像とを該３次元位置関係に基づいて合成して立体画像データを生成して表示することを特徴とする眼鏡装着シミュレーション装置。
5. 被験者の顔の２次元カラー顔画像データと３次元凹凸形状を測定して、３次元顔画像を取得する手段と、
   被験者の３次元眼球位置を計測する手段と、
   眼鏡の構成パーツ、レンズ、形状、色彩などを選定して、眼鏡の３次元眼鏡画像を生成する手段と、
   上記３次元顔画像や３次元眼球位置と、上記３次元眼鏡画像との３次元位置関係を指示する手段と、
   上記３次元顔画像と上記３次元眼鏡画像とを上記３次元位置関係に基づいて合成して立体画像データを生成する手段と、
   上記立体画像データを、指示された方向から見た２次元画像に変換して画像表示する手段と、
   眼鏡を構成するレンズが多焦点レンズの場合、焦点部の３次元位置を表示させるためのデータを３次元眼鏡画像に加える手段と、
   上記３次元眼球位置を通り、所定の角度を有する直線と、レンズとの交点位置を表示させるためのデータを３次元眼鏡画像に加える手段、
   とを備えたことを特徴とする眼鏡装着シミュレーション装置。
6. 被験者の顔画像を少なくとも２方向から撮影する第１及び第２の撮像カメラ手段と、
   被験者の顔正面の凹凸形状を測定するレーザスキャニング手段と、
   上記第１及び第２の撮像カメラ手段の少なくとも１つから被験者のカラー顔画像データを取得するカラー顔画像データ取得手段と、
   上記第１及び第２の撮像カメラ手段によって撮影された画像から、被験者の３次元眼球位置を算出する手段と、
   上記レーザスキャニング手段及び上記第１又は第２の撮像カメラ手段から被験者の顔正面の凹凸形状を測距して顔正面の３次元データを取得する３次元データ生成手段と、
   上記顔正面の３次元データに上記カラー顔画像データをテキスチャマッピングして３次元顔画像を取得する手段と、
   眼鏡の構成パーツ、レンズ、形状、色彩などを選定して、眼鏡の３次元眼鏡画像を生成する手段と、
   上記３次元顔画像や３次元眼球位置と、上記３次元眼鏡画像との３次元位置関係を指示する手段と、
   上記３次元顔画像と上記３次元眼鏡画像とを上記３次元位置関係に基づいて合成して立体画像データを生成する手段と、
   上記立体画像データを、指示された方向から見た２次元画像に変換して画像表示する手段とを備えることを特徴とする眼鏡装着シミュレーション装置。