JP2000306106A - 3次元有向体の定位方法及び画像処理装置 - Google Patents
3次元有向体の定位方法及び画像処理装置Info
- Publication number
- JP2000306106A JP2000306106A JP2000034653A JP2000034653A JP2000306106A JP 2000306106 A JP2000306106 A JP 2000306106A JP 2000034653 A JP2000034653 A JP 2000034653A JP 2000034653 A JP2000034653 A JP 2000034653A JP 2000306106 A JP2000306106 A JP 2000306106A
- Authority
- JP
- Japan
- Prior art keywords
- image
- dimensional
- point
- face
- feature points
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Processing Or Creating Images (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
転させ、与えられた2次元画像に写った被写体と同じ方
向に向ける処理を自動的且つ簡単に行う。 【解決手段】 カメラ等で撮影された写真や映像から得
られた画像(2D画像)22と、予め用意された3次元
形状データを処理して3次元仮想空間内に生成された3
次元顔貌像の所定平面への投影像(3D投影像)21を
画面に表示し、各画像に写った顔の特徴点P1〜P7を
指定する。そして、3D投影像21において7つの特徴
点の2次元座標から求められる2つの角度θ31及びθ32
と2D画像において同様に求められる2つの角度θ21及
びθ22とを含む次式 K=(θ31−θ21)2+(θ32−θ22)2 により定義されるチェック値Kが最小化されるように、
3次元顔貌像を3次元仮想空間内で回転させる。
Description
画像(写真等)に写った人間の顔と、それとは別に用意
された画像に写った人間の顔との異同識別の分野で利用
可能な画像処理方法及びその処理を実行するための画像
処理装置に関する。
又はビデオで撮影された犯人の顔と、これとは別に用意
された写真やデジタル画像等の2次元画像に写った被疑
者の顔との異同識別を行うための鑑定の機会が増加して
おり、この鑑定の結果が事件の解決に大きく貢献するこ
とも多い。このような鑑定において、防犯カメラ等で撮
影された犯人の顔を撮影した方向と、2次元画像に写っ
た被疑者の顔を撮影した方向が同じであれば、両者の異
同を高い確度で識別することができる。しかし、実際に
は、防犯カメラ等により犯人の顔が撮影される方向は一
定ではなく様々であるため、犯人が撮影された方向と同
じ方向から撮影された被疑者の顔の2次元画像が常に利
用できるとは限らない。
テムが「科学警察研究所報告48巻4号」(1995年
11月発行)の第149頁〜第158頁に開示されてい
る。このシステムでは、3次元顔貌計測装置を用いて採
取された被疑者の顔(頭部)の3次元形状データを処理
することにより、その顔の3次元像が3次元仮想空間内
に生成され、ディスプレイの画面上にはその3次元像の
2次元投影像が表示される。そして、3次元仮想空間内
で3次元像を3次元的に回転させる処理を行うと、画面
に表示された2次元投影像に写った顔の向きが変化す
る。このようにして、3次元像を3次元仮想空間内で適
宜回転させることにより、任意の方向に向いた被疑者の
顔画像を画面上で生成することができるのである。この
システムを用いれば、防犯カメラ等により撮影された犯
人の顔がどの方向を向いていても、それと同じ方向を向
いた被疑者の顔画像を画面上で自在に生成するだけでな
く、更に画面上で被疑者の顔画像を犯人の顔画像に重畳
させることもできる。このシステムにより、従来よりも
高い確度で異同識別を行うことができるようになった。
て、画面上で被疑者の顔画像を犯人の顔画像に重畳させ
る作業は、被疑者の顔画像をワイヤフレームモードで表
示し、使用者がマウス等の入力装置を適宜操作する(例
えば、ワイヤフレーム上のある点をマウスカーソルで把
持して適宜方向にドラッグする)ことによりワイヤフレ
ーム像を3次元仮想空間内で回転させ、犯人の顔画像と
最もよく重なり合うようなワイヤフレーム像の顔の向き
を見つける、という手順で行われる。これは、試行錯誤
によりワイヤフレーム像の最適な向きを見出すという作
業であるため、システムの操作に不慣れな者がその作業
を行うと相当の時間が費やされる。また、操作者がその
作業に熟練していたとしても、異同識別の対象とされる
被疑者の数が多くなれば、やはりその作業に相当な時間
と労力が費やされてしまう。
成されたものであり、その目的とするところは、予め用
意された3次元形状データを処理して得られる3次元像
を所定平面に投影した2次元画像に写った被写体(被疑
者の顔)が、与えられた画像に写った被写体(犯人の
顔)と同じ方向を向くように、上記3次元像を3次元仮
想空間内で回転させる処理を、操作者の手を煩わせるこ
となく、しかも高い精度で行うための方法を提供するこ
とにある。また、本発明は、前記方法に基づく処理を行
うための装置、及びそのような装置をコンピュータを用
いて構成するためのコンピュータ読み取り可能な記録媒
体をも提供する。
め、本発明は、3次元有向体の特徴点のうち3次元空間
内で同一平面上にない4つの特徴点を含む複数の特徴点
を指定特徴点として予め定め、第一の3次元有向体を写
した2次元画像である照合元画像において前記指定特徴
点の2次元座標データを取得し、第二の3次元有向体の
3次元形状データを処理することにより3次元仮想空間
においてある方向に向いた前記第二の3次元有向体の3
次元像を生成し、該3次元像の所定平面への投影像を生
成してこれを照合先画像とし、該照合先画像において前
記指定特徴点の2次元座標データを取得し、前記3次元
形状データと前記照合元画像及び前記照合先画像におい
て取得された前記指定特徴点の2次元座標データとを所
定の方法で処理することにより、前記照合元画像におけ
る前記指定特徴点の位置関係と前記照合先画像における
前記指定特徴点の位置関係との一致の度合を示すチェッ
ク値が最適化されるような、前記3次元像の前記3次元
仮想空間における向きを求めること、を特徴とする3次
元有向体の定位方法を提供する。
処理を行うデータ処理手段と、上記チェック値が最適化
されるような上記3次元像の3次元仮想空間内での向き
が求められたら、その向きを向いた上記3次元像の上記
所定平面への投影像を照合先画像として表示する画像表
示手段と、を備えることを特徴とする画像処理装置を提
供する。
において向き及び回転位置を定義することができる物体
を3次元有向体とよぶ。例えば、完全に均一な表面を有
する球体は向きを持たないが、この球体の表面に点を1
つ描けば、球体の中心を原点とするその点の位置ベクト
ルによりその球体の向きを定義することができ、更に、
上記点から識別可能な第二の点を球面に描けば、上記位
置ベクトルを中心軸とする球体の回転位置を定義するこ
とができる。従って、表面に識別可能な2点を描いた球
体は、3次元有向体とみなすことができる。また、人間
の顔も3次元有向体の一例である。なお、3次元有向体
を向き及び回転位置を決定することを本明細書では3次
元有向体の定位とよぶ。
の表面の点であって周囲の領域から識別可能な点(又は
部位)のことを3次元有向体の特徴点とよぶ。例えば、
人間の顔を3次元有向体として見た場合、瞳の中心、目
頭、目尻、上瞼の先端、耳朶の上端又は下端、耳の孔、
鼻の尖端、鼻の上端の付け根、上下の***の合わせ目の
中心、口の左端又は右端、下顎尖端部の中心等、顔の様
々な部位を特徴点とみなすことができる。以下の記載で
は、3次元有向体として人間の顔を取り扱うものとし
て、本発明に係る方法の手順を説明する。
3次元空間内で同一平面上にない4つの特徴点を含む複
数の特徴点を指定特徴点として定める。このとき、次の
ようなことを考慮することが好ましい。すなわち、指定
特徴点には、顔を斜めから見たときに顔の他の部位の背
後に隠れてしまう可能性が少ないような部位を含めるこ
とが好ましい。このような部位の例としては、鼻の尖
端、鼻の上端の付け根、上瞼の先端等が挙げられる。ま
た、目や耳のように左右一対となった顔の部位の一方を
指定特徴点とする場合は、他方も同様に指定特徴点とす
ることが好ましい。このようにすれば、データ処理に必
要な座標データの欠損が発生しにくくなる。更にまた、
指定特徴点は、顔の中の狭い領域に集中させず、相互に
適度な間隔をおいて顔の全面に分布するようにすること
が好ましい。そのためには、例えば、目、耳、鼻、口と
いった顔の各部位毎に指定特徴点を設定するようにすれ
ばよい。このようにすれば、後述するデータ処理におい
て座標データから求められるパラメータの精度が高ま
る。
2次元画像(照合元画像)において、該第一の顔の各指
定特徴点の2次元座標データを取得する。指定特徴点の
座標データの取得は、例えば、照合元画像を画面上に表
示した後、使用者がマウス等のポインティングデバイス
を操作することにより手動で画面上の特徴点を指定し、
データ処理装置が指定された点の2次元座標データを抽
出する、という方法によってもよいし、各画像が画面上
に表示されたときにデータ処理装置が所定の方法で各画
像に写った顔の指定特徴点の2次元座標データを自動的
に抽出する、という方法によってもよい。
二の顔の3次元形状データを処理することにより3次元
仮想空間において所定の方向及び回転位置に定位された
第二の顔の3次元像(基準状態の3次元像)を生成し、
更に、該3次元像の所定平面への2次元画像(照合先画
像)を生成する。そして、この照合先画像において上記
第二の顔の各指定特徴点の2次元座標データを取得す
る。なお、照合先画像における各指定特徴点の座標デー
タも、照合元画像における座標データの取得方法として
例示された上記方法と同様の方法で取得するようにすれ
ばよい。また、第二の顔の特徴点の3次元座標データを
予め3次元形状データとともに調べて保存しておき、照
合処理の実行時に、その3次元座標データから各指定特
徴点の2次元座標データを求めるようにしてもよい。
ように取得された各画像の指定特徴点の2次元座標デー
タを所定の方法で処理することにより、3次元仮想空間
における第二の顔の3次元像の向きを変化させる。この
処理は、例えば、3次元仮想空間において複数の方向を
設定し、3次元像の向きを順次各方向に設定してゆく、
という手順で行う。このようにして3次元像の向きを変
化させつつ、3次元像の所定平面への投影像(すなわち
照合先画像)を各方向毎に生成し、照合元画像の指定特
徴点の画面上での位置関係と照合先画像の指定特徴点の
画面上での位置関係との一致の度合を示すチェック値の
変化を調べ、その値が最適化されるような第二の顔の向
きを求める。
じて様々な方法で定義することが可能である。例えば、
指定特徴点のうち3つを選んでそれらの位置関係を示す
チェック値を定義することを考えてみる。この場合、照
合元画像における3つの指定特徴点A、B、Cの位置関
係と照合先画像における3つの指定特徴点D、E、Fと
の位置関係が一致するということは、照合元画像上に描
いた三角形ABCと照合先画像上に描いた三角形DEF
とが互いに相似になる、ということを意味する。一般に
2つの三角形の相似条件は、(1)対応する2つの角の
角度(α,β)が等しい、(2)対応する2辺の比
(1:ρ)とその間の角の角度(γ)が等しい、又は
(3)対応する3辺の比(1:ρ1:ρ2)が等しい、と
いうように、2つの変数を用いて表現できる。そこで、
チェック値(K)を、例えば、上記条件(1)に基づい
て、 K=(α2−α3)2−(β2−β3)2 と定義する。ここで、α2及びβ2は三角形ABCの2つ
の角(例えば、角Aと角B)の大きさであり、α3及び
β3は、三角形ABCの前記2つの角に対応する三角形
DEFの2つの角(角Dと角E)の大きさである。この
ようにチェック値Kを定義した場合、本発明に言う「チ
ェック値の最適化」とは、変数Kの値を最小化すること
を意味する。
定特徴点の数を3と仮定したが、一般に3次元空間にお
けるベクトルの向きは2つの変数(例えば方位角と仰
角)で表現できるから、指定特徴点の数が4以上の場合
でも、その座標データに基づいて算出される2つの変数
を用いてチェック値を定義することが可能である。例え
ば、鼻尖点、鼻根点、左又は右の耳朶点に加えて、上唇
と下唇の合わせ目の中心(口裂正中点)を第4の特徴点
として指定、鼻根点から鼻尖点及び口裂正中点を望む角
の角度と鼻根点から鼻尖点及び耳朶点を望む角の角度と
を用いてチェック値を定義することができる。また、例
えば、上記4つの指定特徴点に加え、更に左右の瞳点を
第5及び第6の特徴点として指定し、左右の瞳点を通る
直線と鼻尖点及び左又は右の耳朶点を通る直線とが成す
角の角度と、鼻根点から鼻尖点及び耳朶点を望む角の角
度とを用いて、チェック値を定義することもできる。
求められた最適な向きに第二の顔を向けた後、その顔の
2次元画像が照合元画像に写った第一の顔と略同じ大き
さになるように該第二の顔の2次元画像を拡大又は縮小
し、その2次元画像を新たな照合先画像として画面に表
示するようにしてもよい。更に、必要に応じて、その新
たな照合先画像を照合元画像に重畳して画面上に表示す
るようにしてもよい。
たデータ処理を行うための装置、すなわち、本発明に係
る画像処理装置は、画像表示手段を備えたデータ処理シ
ステム(例えば、一般に使用されるパーソナルコンピュ
ータ)を利用して構成することができる。
を、例えば2人の人間の顔の異同識別の作業に応用すれ
ば、パーソナルコンピュータの画像表示装置の画面に表
示された画像内の指定特徴点を入力装置(マウス等)の
操作により指定するというような簡単な作業を行うだけ
で、照合元画像に写った第一の顔を撮影した方向と同じ
方向から見た第二の顔の2次元画像が表示される。これ
により、異同識別の作業効率が大幅に高まる。
ステムを用いて、本発明に従った画像処理を実行する方
法の一例について、図面を参照しながら以下に説明す
る。なお、本実施例においては、3次元有向体として人
間の顔を扱うものする。
ステムの構成について図3及び図4を参照しながら説明
する。図3は本実施例のシステムを構成する主な機器を
示す図である。このシステムは、キーボード41、マウ
ス42、ディスプレイ43及び中央制御装置44を有す
るパーソナルコンピュータ(パソコン)40を用いて構
成されている。このパソコン40には、更に、写真等の
平面媒体に写った画像を読み込んで2次元画像データを
出力するスキャナ45、カメラ46で撮影された映像を
ビデオテープ等の記録媒体に記録する録画装置47、予
め採取された多数の人間の顔の3次元形状データを保存
した外部記憶装置48が接続されている。なお、これら
の周辺機器を全てパソコン40に接続することは本発明
にとって必須ではない。例えば、別のスキャナ又は録画
装置を使って得られた2次元画像データを別のパソコン
で磁気ディスク等の記録媒体に保存し、パソコン40に
その記録媒体から2次元画像データを読み込ませるよう
にすれば、スキャナ45や録画装置47は不要である。
また、パソコン40の中央制御装置44に内蔵されたハ
ードディスク等の記憶装置(図示せず)に上記3次元形
状データを保存するようにすれば、外部記憶装置48は
不要である。
ロック図である。機能的に見ると、上記システムは、デ
ータ処理部51、使用者がデータ処理部51へ命令や情
報を送るための入力部52、写真やビデオ映像等から得
られた2次元画像データを記憶するための2次元画像デ
ータ記憶部53、多数の顔の3次元形状データを記憶し
た3次元形状データ記憶部54、及び、画像や文字等を
表示するための表示部55から主として構成される。こ
のうち、データ処理部51は、中央制御装置44に備え
られたプロセッサ(図示せず)で所定のプログラムを実
行することにより構成され、2次元画像データ記憶部5
3は、中央制御装置44に備えられたメモリやハードデ
ィスク(いずれも図示せず)を利用して構成される。入
力部52はキーボード41及びマウス42を含み、表示
部55はディスプレイ43を含む。3次元形状データ記
憶部54は外部記憶装置48に対応する。
ついて以下に説明する。なお、このデータ処理の前に、
ある人間の顔の2次元画像データをスキャナ45、録画
装置47等を用いて予め採取し、2次元画像データ記憶
部53に保存してあるものとする。また、パソコン40
には、オペレーティングシステムとしてWindows
(米国マイクロソフト社の商標)が搭載されているもの
とする。
画像処理を行うプログラムを起動すると、ディスプレイ
43の画面に図5のようなウィンドウ60が表示され
る。ウィンドウ60には8つのコマンドボタン61〜6
8が配置されており、使用者はマウス42を操作し、画
面上のマウスカーソルで所望のボタンを押下(クリッ
ク)することができる。また、ウィンドウ60には、後
述する3D投影領域69及び2D画像表示領域70が設
けられている。
が表示されたら、図1のフローチャートに従って以下の
ような作業及びデータ処理を行う。なお、以下のデータ
処理においては、3D投影領域69内における位置をX
3−Y3座標系で表し、2D画像表示領域70内における
位置をX2−Y2座標系で表すものとする(図5参照)。
また、上記X3−Y3座標系の2軸(X3軸及びY3軸)と
それらに直交する第三の軸(Z3)を有する3次元仮想
空間を想定し、その中に、上記3次元形状データに基づ
いて生成された顔の3次元像が生成されるものとする。
ボタン61をクリックすると、データ処理部51は、3
次元形状データ記憶部54に保存されたデータ(ファイ
ル)から所望の顔のデータを選択するためのダイアログ
ボックス(図示せず)を画面に表示する。そして、その
ダイアログボックスで使用者が所望の顔のデータを選択
すると、データ処理部51は、そのデータを読み出し、
所定の方法で処理する。これにより、選択された顔の3
次元像が3次元仮想空間内に生成され、更に、その顔を
正面から見たところを示す2次元画像が3D投影領域6
9に表示される。以下の説明では、上記3次元像を3D
顔貌像とよび、3D投影領域69に表示された上記画像
を以下では3D投影像とよぶ。3D投影像は本発明にい
う照合先画像に相当する。図2(a)に3D投影像の一
例を示す。なお、図2(a)中の3D投影像21の中の
文字、直線、矢印及びハッチングを施した円は、本実施
例の説明のために追加したもので、これらは3D投影像
21には含まれない。
リックすると、データ処理部51は、2次元画像データ
記憶部53に保存されたデータから所望の顔のデータを
選択するためのダイアログボックス(図示せず)を画面
に表示する。そして、そのダイアログボックスで使用者
が所望の顔のデータを選択すると、データ処理部51
は、そのデータを所定の方法で処理し、選択された顔の
画像を2D画像表示領域70に表示する。このように2
D画像表示領域70に表示された画像を以下では2D画
像とよぶ。この2D画像は本発明にいう照合元画像に相
当する。図2(b)に2D画像の一例を示す。なお、図
2(b)の2D画像22の中の文字、直線、矢印及びハ
ッチングを施した円は、本実施例の説明のために追加し
たもので、これらは2D画像22には含まれない。
1及び2D画像22が画面に表示されたら、使用者が各
画像に写った顔の特徴点を以下のように指定する。ま
ず、使用者が左側の点指定ボタン62をクリックする
と、データ処理は、3D投影像21の特徴点を指定する
ためのモードに入る。このモードで、使用者は、予め定
められた複数の特徴点(顔の部位)を3D投影像21内
で探し、それらの特徴点を順次クリックする。なお、本
実施例では、図2(a)に示した7つの特徴点、すなわ
ち、鼻根点(P1)、鼻尖点(P2)、口裂正中点(P
3)、左右の目上中心点(P4及びP5)、左右の耳朶
点(P6及びP7)をクリックするものとする。この作
業中、データ処理部51は、各特徴点がクリックされる
度毎に、その特徴点のX3座標及びY3座標を取得し、更
に、取得した座標(X3,Y3)と上記3次元形状データ
から、その点の3次元仮想空間内におけるZ3座標を算
出する。こうして3次元仮想空間における座標データが
得られたら、データ処理部51がその座標データをメモ
リに保存する。このようにして、7つの特徴点を順次ク
リックし、座標データを取得してゆく。
すると、2D画像22の特徴点を指定するためのモード
に入る。このモードで、使用者が2D画像22の7つの
特徴点を順次クリックしてゆくと、データ処理部51
は、クリックの度に各特徴点のX2座標及びY2座標を取
得し、その座標データをメモリに保存する。ただし、図
2(b)を見ると、2D画像22は正面からではなく斜
めから見た顔を撮影したものであるため、左耳朶点P6
は見えない。このように2D画像内で見えない特徴点が
ある場合は、顔の外の余白の適宜箇所をクリックする。
これにより、その点は欠損点とされ、後述するデータ処
理の対象外となる。
おいて特徴点の指定が完了したら、使用者が実行ボタン
65をクリックする。これを受けて、データ処理部51
はステップS3〜S10の処理を実行する。
のような考え方に基づいて進められる。すなわち、3次
元仮想空間において、図2(a)のように正面を向いた
状態を3D顔貌像の基準状態とし、その状態から3D顔
貌像をX3軸の回りに角度αだけ、Y3軸の回りに角度β
だけ、そしてZ3軸の回りに角度γだけ回転させること
を考える。このとき、3つの回転角α、β及びγを適切
に設定すれば、3D顔貌像のX3−Y3平面への投影像
(すなわち3D投影像21)に写った顔の向きを、2D
画像表示領域70に表示された2D画像22に写った顔
の向きと一致させることができる。このような考え方に
基づき、ステップS3〜S10では、上記3つの回転角
α、β、γを求めることを目的としたデータ処理が行わ
れる。
れかの特徴点が座標系の原点と一致するように各座標系
の原点の再設定を行う。本実施例では、原点と一致させ
る特徴点として鼻根点P1を選択するものとする。この
処理は、具体的には、3次元仮想空間においてX3−Y3
−Z3座標系を平行移動させてその原点を3D顔貌像の
鼻根点P1と一致させるとともに、2D画像表示領域7
0においてX2−Y2座標系を平行移動させてその原点を
2D画像22の鼻根点P1と一致させる座標変換処理で
ある。この座標変換処理は、後述する計算処理を簡単に
するために行われるものである。
は、鼻尖点P2、左右の耳朶点P6及びP7のY3座標
が全て同一となり、且つ、鼻根点P1、鼻尖点P2及び
口裂正中点P3のX3座標が全て同一となるように、座
標系全体をX3軸回り及びY3軸回りにそれぞれ回転させ
る座標変換処理を行う。この回転処理も、後述する計算
処理を簡単にするために行われるものである。なお、こ
の回転処理の後の状態がすなわち3D顔貌像の基準状態
である。
された3D投影像21の7つの特徴点の座標に基づい
て、ステップS3で3次元仮想空間の座標系の平行移動
や回転の処理を行うものとした。しかし、3次元形状デ
ータに7つの特徴点の座標データが含まれている場合、
3次元座標系の平行移動や回転の処理をステップS3で
行う必要はなく、例えば、ステップS1で3D投影像2
1を生成する際に、上記のような処理を行った上で、3
D投影像21を表示するようにしてもよい。
画像22の水平基準線の傾きを計算する。より具体的に
は、例えば、2D画像22の2つの目上中心点P4及び
P5を通る直線を水平基準線とし、その直線と、左目上
中心点P4を通る水平線とが成す角度θ23を求める。
状態にある3D顔貌像をX3軸の回りに回転させるべき
方向D1及びY3軸の回りに回転させるべき方向D2を
以下のようにして求める。
わち、基準状態においては3D投影像21の鼻尖点P2
のY3座標は左右の耳朶点P6及びP7のY3座標と同じ
である。そして、3D顔貌像をX3軸を中心としてある
方向に回転させて斜め下に向ける(顔を前に傾ける)
と、鼻尖点P2のY3座標が左右の耳朶点P6及びP7
のY3座標よりも大きくなり、3D顔貌像を逆方向に回
転させて斜め上に向ける(顔を後ろへ傾ける)と、鼻尖
点P2のY3座標が左右の耳朶点P6及びP7のY3座標
よりも小さくなる。このことを踏まえ、2D画像22の
2つの目上中心点P4及びP5を通る直線がX2軸と平
行になるような座標変換処理(画像の回転処理)を行っ
た上で、鼻尖点P2のY2座標と右耳朶点P7(右耳朶
点P7が欠損点である場合は、左耳朶点P6)のY2座
標とを比較する。そして、鼻尖点P2のY2座標が右耳
朶点P7のY2座標よりも小さいときは方向D1を正と
し、逆のときは方向D1を負とする。
わち、基準状態においては3D投影像21の鼻尖点P2
のX3座標は鼻根点P1及び口裂正中点P3のX3座標と
同じである。そして、3D顔貌像をY3軸を中心として
ある方向に回転させて左に向けると、鼻尖点P2は直線
P1−P3に対して左耳朶点P6と同じ側に移動し、3
D顔貌像を逆方向に回転させて右に向けると、鼻尖点P
2は直線P1−P3に対して左耳朶点P6と反対側に移
動する。このことを踏まえ、2D画像22において、鼻
根点P1と口裂正中点P3とを通る直線に対して鼻尖点
P2が左耳朶点P6と同じ側にあるかどうかを判定する
ことにより方向D2を決定する。鼻尖点P2が直線P1
−P3に対して左耳朶点P6と同じ側にあるときは方向
D2を正とし、反対側にあるときは方向D2を負とす
る。
顔貌像のX3軸回りの回転角α及びY3軸回りの回転角β
の最適値を求める処理を行う。この処理は、3次元仮想
空間において3D顔貌像の回転角α及びβを微小量ずつ
段階的に変化させながら、各段階毎に所定のチェック値
を計算し、そのチェック値の最適値を与えるような回転
角α及びβを最適回転角として選択する、という手順で
実行される。なお、回転角α及びβを変化させる範囲
は、ステップS5で求めた方向D1及びD2に基づいて
定める。例えば、D1及びD2がともに正である場合
は、α及びβともに0°から180°まで正方向に変化
させ、D1が正でD2が負である場合は、αを0°から
180°まで正方向に変化させる一方、βは0°から−
180°まで負方向に変化させる。このように回転角を
変化させる範囲を変数D1及びD2に基づいて限定する
ことにより、データ処理にかかる時間が短縮されるだけ
でなく、チェック値が発散して最適値が求められなくな
るといった事態も起こりにくくなる。
のように定義する。まず、2D画像22の左右の目上中
心点P4及びP5を通る直線と鼻尖点P2及び右耳朶点
P7(右耳朶点P7が欠損点である場合は、左耳朶点P
6)を通る直線とが成す角度θ21と、鼻根点P1から鼻
尖点P2及び口裂正中点P3を望む角の角度θ22とを計
算する。また、3D顔貌像をX3軸回り及びY3軸回りに
回転させたときの3D投影像(この3D投影像は実際に
3D投影領域69に表示する必要はない)においても、
同様に、左右の目上中心点P4及びP5を通る直線と鼻
尖点P2及び右耳朶点P7を通る直線とが成す角度θ31
と、鼻根点P1から鼻尖点P2及び口裂正中点P3を望
む角の角度θ32とを計算する。このようにして得られた
θ21、θ22、θ31及びθ32の値を用いて、チェック値K
を次式K=(θ31−θ21)2+(θ32−θ22)2で定義する。
この場合、Kの値が最小となるような回転角α及びβが
最適回転角として選択される。
顔貌像のZ3軸回りの回転角γを次のように計算する。
すなわち、上述のように3D顔貌像のX3軸回り及びY3
軸回りの最適回転角α及びβが計算されたら、基準状態
からその回転角分だけ3D顔貌像を回転させる。次に、
このように回転させた3D顔貌像の3D投影像におい
て、左右の目上中心点P4及びP5を通る直線と水平線
とが成す角度θ33を計算する。そして、θ33と先に求め
たθ23との差θ23−θ33を、Z3軸回りの回転角γとす
る。
投影像21における顔の大きさを2D画像22のそれと
ほぼ同じにするための拡大縮小率を計算する。拡大縮小
率としては、例えば、2D画像22における所定の2つ
の特徴点(例えば左右の目上中心点P4及びP5)の距
離と、3D投影像21におけるその距離との間の比を用
いる。また、同一直線上にない3点を含む複数の特徴点
の座標を用いて拡大縮小率を計算してもよい。例えば、
2D画像22において、鼻根点P1から鼻尖点P2、口
裂正中点P3、左目上中心点P4及び右目上中心点P5
までの距離をそれぞれL2、L3、L4及びL5とし、
これら4つの距離値の和をL0とする。同様に、3D投
影像21において、鼻根点P1から鼻尖点P2、口裂正
中点P3、左目上中心点P4及び右目上中心点P5まで
の距離をそれぞれM2、M3、M4及びM5とし、これ
ら4つの距離値の和をM0とする。こうして得られたL
0及びM0の比を拡大縮小率とする。このようにする
と、2つの特徴点を用いる場合に比べて、計算にかかる
負荷をほとんど増大させることなく、拡大縮小率の計算
精度を求めることができる。特に、上記の例のように、
顔面上で略水平方向の距離(L2、L3、M2、M3)
と略垂直方向の距離(L4、L5、M4、M5)に基づ
いて拡大縮小率を求めるようにすれば、誤差がより小さ
くなる。
投影像21の鼻根点P1のX3座標及びY3座標が、2D
画像22の鼻根点P1のX2座標及びY2座標と一致する
ように、3D顔貌像をX3−Y3平面に沿って平行移動さ
せるべき距離を計算する。
テップS3〜S9で得られた計算結果に基づいて、3D
顔貌像の回転、拡大縮小、及び、X3−Y3平面に沿った
平行移動を実行して新たな3D顔貌像を生成し、その3
D投影像を3D投影領域69に表示する。こうして3D
投影領域69に表示された3D投影像に写った顔は、2
D画像表示領域70に表示された2D画像22に写った
顔とほぼ同一の方向を向くものとなる。
のボタンに割り当てられた機能について以下に説明す
る。
タン67には、上述のようにして得られた3D投影像を
2D画像22に重畳して整合性チェック用の合成画像を
生成する機能が割り当てられている。例えば、使用者が
縦ワイプボタン66をクリックすると、図6に示したよ
うに、3D投影領域69を上下に分割する水平な分割線
71が生成され、上下の分割領域には3D投影像の上部
及び2D画像22の下部(又は、2D画像22の上部及
び3D投影像の下部)がそれぞれ表示される。そして、
分割線71をマウスカーソル72でY3軸方向にドラッ
グすること(縦ワイプ動作)により、上下の画像の輪郭
線や目鼻等の位置の整合性を目で確認することができ
る。同様、横ワイプボタン67をクリックすると、垂直
な分割線73で3D投影領域69が左右に分割され、そ
の分割線73をマウスカーソル72でX3軸方向にドラ
ッグすること(横ワイプ動作)ができるようになる。
実際に撮影したときの撮像機器から被写体(顔)までの
距離及び倍率に基づいて3D投影像を補正する機能が割
り当てられている。この補正処理は、撮影された画像
(2D画像)における被写体の大きさが撮像機器から被
写体までの距離に反比例することを考慮して行われる。
例えば、図7のように、カメラ81で顔82を撮影した
画像においては、カメラ81に近い顔の部位(例えば右
頬83)に比べて、カメラから遠い顔の部位(例えば右
耳84)が実際よりも小さく写る。そこで、カメラから
被写体(顔)までの距離が判明している場合には、3D
顔貌像から3D投影像を生成する際に、撮像機器から顔
の各部位までの距離に基づいた補正を行うことにより、
実際の2D画像22により近い3D投影像が得られるの
である。なお、このような遠近補正処理は、例えば操作
者が遠近補正ボタン68をクリックすることにより手動
で実行されるようにしてもよいが、より好ましくは、図
1のフローチャートにおいて、拡大縮小処理よりも前に
この遠近補正処理を行うようにするとよい。例えば、ス
テップS7とS8の間で遠近補正処理を行うようにする
と、拡大縮小率の計算精度がより高まる。また、ステッ
プS6の処理(チェック値の最適値を与えるような3D
顔貌像のX3軸回り及びY3軸回りの回転角α及びβを計
算する)において、回転角α及びβを段階的に変化させ
る度毎に遠近補正処理を行い、チェック値を調べるよう
にすれば、回転角α及びβの計算精度も高まる。
の実施例は上記のものに限られるわけではない。例え
ば、指定特徴点の数は必ずしも7でなくてもよく、同一
平面上にない4つの特徴点を少なくとも含んでいれば、
その数は任意としてよい。また、3D投影像と2D画像
22との一致の度合を示すチェック値は、上記のような
方法以外にも様々な方法で定義することができる。
すフローチャート。
を示す図、(b)照合元画像としての2D画像の一例を
示す図。
す図。
図。
ることを説明するための図。
Claims (5)
- 【請求項1】 3次元有向体の特徴点のうち3次元空間
内で同一平面上にない4つの特徴点を含む複数の特徴点
を指定特徴点として予め定め、 第一の3次元有向体を写した2次元画像である照合元画
像において前記指定特徴点の2次元座標データを取得
し、 第二の3次元有向体の3次元形状データを処理すること
により3次元仮想空間においてある方向に向いた前記第
二の3次元有向体の3次元像を生成し、該3次元像の所
定平面への投影像を生成してこれを照合先画像とし、該
照合先画像において前記指定特徴点の2次元座標データ
を取得し、 前記3次元形状データと前記照合元画像及び前記照合先
画像において取得された前記指定特徴点の2次元座標デ
ータとを所定の方法で処理することにより、前記照合元
画像における前記指定特徴点の位置関係と前記照合先画
像における前記指定特徴点の位置関係との一致の度合を
示すチェック値が最適化されるような、前記3次元像の
前記3次元仮想空間における向きを求めること、を特徴
とする3次元有向体の定位方法。 - 【請求項2】 上記3次元有向体は人間の顔である請求
項1に記載の3次元有向体の定位方法。 - 【請求項3】 上記指定特徴点は、鼻根点、鼻尖点、口
裂正中点、左右の目上中心点及び左右の耳朶点を含むこ
とを特徴とする請求項2に記載の3次元有向体の定位方
法。 - 【請求項4】 上記チェック値は、上記左右の目上中心
点を通る直線と前記鼻尖点及び前記左又は右の耳朶点を
通る直線とが成す角の角度と、前記鼻根点から前記鼻尖
点及び前記耳朶点を望む角の角度とを用いて定義された
ことを特徴とする請求項3に記載の3次元有向体の定位
方法。 - 【請求項5】 請求項1〜4のいずれかに記載の方法に
従ってデータ処理を行うデータ処理手段と、 上記チェック値が最適化されるような上記3次元像の3
次元仮想空間内での向きが求められたら、その向きを向
いた上記3次元像の上記所定平面への投影像を照合先画
像として表示する画像表示手段と、を備えることを特徴
とする画像処理装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2000034653A JP3276949B2 (ja) | 1999-02-15 | 2000-02-14 | 3次元有向体の定位方法及び画像処理装置 |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP3583399 | 1999-02-15 | ||
JP11-35833 | 1999-02-15 | ||
JP2000034653A JP3276949B2 (ja) | 1999-02-15 | 2000-02-14 | 3次元有向体の定位方法及び画像処理装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2000306106A true JP2000306106A (ja) | 2000-11-02 |
JP3276949B2 JP3276949B2 (ja) | 2002-04-22 |
Family
ID=26374829
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2000034653A Expired - Lifetime JP3276949B2 (ja) | 1999-02-15 | 2000-02-14 | 3次元有向体の定位方法及び画像処理装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3276949B2 (ja) |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004259043A (ja) * | 2003-02-26 | 2004-09-16 | Toyota Motor Corp | 向き方向検出装置および向き方向検出方法 |
JP2004295813A (ja) * | 2003-03-28 | 2004-10-21 | Babcock Hitachi Kk | 3次元人物照合装置 |
WO2005038716A1 (ja) * | 2003-10-21 | 2005-04-28 | Nec Corporation | 画像照合システム及び画像照合方法 |
JP2008257574A (ja) * | 2007-04-06 | 2008-10-23 | Fujitsu Ltd | 画像処理方法、画像処理装置、画像処理システム及びコンピュータプログラム |
KR101014337B1 (ko) | 2010-11-08 | 2011-02-14 | 한국생산기술연구원 | 치열궁 표준화 데이터를 포함한 하악골 형태 정보 확보를 위한 하악골 치수 측정방법 |
CN102081733A (zh) * | 2011-01-13 | 2011-06-01 | 西北工业大学 | 多模态信息结合的多姿态三维人脸面部五官标志点定位方法 |
JP2012022474A (ja) * | 2010-07-13 | 2012-02-02 | Canon Electronics Inc | 画像処理方法、携帯情報端末及びプログラム |
CN110428492A (zh) * | 2019-07-05 | 2019-11-08 | 北京达佳互联信息技术有限公司 | 三维唇部重建方法、装置、电子设备及存储介质 |
-
2000
- 2000-02-14 JP JP2000034653A patent/JP3276949B2/ja not_active Expired - Lifetime
Cited By (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004259043A (ja) * | 2003-02-26 | 2004-09-16 | Toyota Motor Corp | 向き方向検出装置および向き方向検出方法 |
JP2004295813A (ja) * | 2003-03-28 | 2004-10-21 | Babcock Hitachi Kk | 3次元人物照合装置 |
WO2005038716A1 (ja) * | 2003-10-21 | 2005-04-28 | Nec Corporation | 画像照合システム及び画像照合方法 |
JPWO2005038716A1 (ja) * | 2003-10-21 | 2007-01-25 | 日本電気株式会社 | 画像照合システム及び画像照合方法 |
US7715619B2 (en) | 2003-10-21 | 2010-05-11 | Nec Corporation | Image collation system and image collation method |
JP4556873B2 (ja) * | 2003-10-21 | 2010-10-06 | 日本電気株式会社 | 画像照合システム及び画像照合方法 |
JP2008257574A (ja) * | 2007-04-06 | 2008-10-23 | Fujitsu Ltd | 画像処理方法、画像処理装置、画像処理システム及びコンピュータプログラム |
JP2012022474A (ja) * | 2010-07-13 | 2012-02-02 | Canon Electronics Inc | 画像処理方法、携帯情報端末及びプログラム |
KR101014337B1 (ko) | 2010-11-08 | 2011-02-14 | 한국생산기술연구원 | 치열궁 표준화 데이터를 포함한 하악골 형태 정보 확보를 위한 하악골 치수 측정방법 |
CN102081733A (zh) * | 2011-01-13 | 2011-06-01 | 西北工业大学 | 多模态信息结合的多姿态三维人脸面部五官标志点定位方法 |
CN110428492A (zh) * | 2019-07-05 | 2019-11-08 | 北京达佳互联信息技术有限公司 | 三维唇部重建方法、装置、电子设备及存储介质 |
CN110428492B (zh) * | 2019-07-05 | 2023-05-30 | 北京达佳互联信息技术有限公司 | 三维唇部重建方法、装置、电子设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
JP3276949B2 (ja) | 2002-04-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10102639B2 (en) | Building a three-dimensional composite scene | |
JP5614014B2 (ja) | 情報処理装置、表示制御方法及び表示制御プログラム | |
JP4584575B2 (ja) | 3d画像に表示される3dサーフェイスとインタラクトする画像処理方法 | |
US7978191B2 (en) | System and method for locating anatomies of interest in a 3D volume | |
JP4434890B2 (ja) | 画像合成方法及び装置 | |
CN104463975B (zh) | 设置方法以及信息处理装置 | |
TWI476729B (zh) | Dimensional image and three - dimensional model of the combination of the system and its computer program products | |
TWI678099B (zh) | 視頻處理方法、裝置和儲存介質 | |
JP5873362B2 (ja) | 視線誤差補正装置、そのプログラム及びその方法 | |
US10832420B2 (en) | Dynamic local registration system and method | |
JP3276949B2 (ja) | 3次元有向体の定位方法及び画像処理装置 | |
JP3559335B2 (ja) | 三次元画像処理装置 | |
JP3590321B2 (ja) | 人物照合システム | |
JP2019144958A (ja) | 画像処理装置、画像処理方法およびプログラム | |
JP2015062017A (ja) | モデル作成装置、モデル作成プログラム、および画像認識システム | |
JPH11175765A (ja) | 3次元モデル作成方法、3次元モデル作成装置及び記憶媒体 | |
JP2002015338A (ja) | モデルの変形方法およびモデリング装置 | |
JP6204781B2 (ja) | 情報処理方法、情報処理装置、およびコンピュータプログラム | |
JP4269951B2 (ja) | 3次元コンピュータ・グラフィックス・モデリング・システム | |
WO2021166574A1 (ja) | 画像処理装置、画像処理方法、及びコンピュータ読み取り可能な記録媒体 | |
WO2022123752A1 (ja) | 画像処理装置、画像処理方法、及びコンピュータ読み取り可能な記録媒体 | |
JP2019159375A (ja) | 情報処理装置,重畳表示プログラム,重畳表示方法 | |
CN117058234A (zh) | 植发信息方法、植发方法和装置 | |
US20230206483A1 (en) | Image processing apparatus, image processing method, and program | |
JP6873326B2 (ja) | 眼3次元座標取得装置及びジェスチャ操作装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
TRDD | Decision of grant or rejection written | ||
R150 | Certificate of patent or registration of utility model |
Ref document number: 3276949 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090208 Year of fee payment: 7 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100208 Year of fee payment: 8 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100208 Year of fee payment: 8 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110208 Year of fee payment: 9 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110208 Year of fee payment: 9 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120208 Year of fee payment: 10 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120208 Year of fee payment: 10 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130208 Year of fee payment: 11 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140208 Year of fee payment: 12 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
EXPY | Cancellation because of completion of term |