JP2001524239A - 画像処理方法 - Google Patents
画像処理方法Info
- Publication number
- JP2001524239A JP2001524239A JP54750198A JP54750198A JP2001524239A JP 2001524239 A JP2001524239 A JP 2001524239A JP 54750198 A JP54750198 A JP 54750198A JP 54750198 A JP54750198 A JP 54750198A JP 2001524239 A JP2001524239 A JP 2001524239A
- Authority
- JP
- Japan
- Prior art keywords
- image
- color
- processing method
- scale
- distance
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Ceased
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/10—Geometric effects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Geometry (AREA)
- Computer Graphics (AREA)
- Image Analysis (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Image Processing (AREA)
- Apparatus For Radiation Diagnosis (AREA)
- Endoscopes (AREA)
- Spectrometry And Color Measurement (AREA)
- Image Generation (AREA)
- Threshing Machine Elements (AREA)
- Holo Graphy (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
- Silver Salt Photography Or Processing Solution Therefor (AREA)
- Position Fixing By Use Of Radio Waves (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Ultra Sonic Daignosis Equipment (AREA)
- Sewing Machines And Sewing (AREA)
Abstract
(57)【要約】
三次元対象物の二次元画像を三次元対象物の三次元表示に変換するための画像処理方法において、前記対象物は、それぞれ二次元画像における画素によって表される色を構成する各要素から成る。画像の色は、色の特性に関して、分析が必要であり、空間内における個々の色のポイントの位置づけは、色温度スケール、色の彩度スケール、コントラストスケールを利用することによって一つに集約される。その結果、各色は、画像の他の色に関連した遠近感のある配置を得る。
Description
【発明の詳細な説明】
画像処理方法
[技術分野]
本発明は、画像処理のための方法に関し、特に三次元対象物の二次元画像を三
次元対象物の三次元表示に変換するための画像処理方法に関する。前記対象物は
、二次元画像における画素によって表される各要素から成る。
本発明の目的は、カラー画像を、幅と高さがある平面座標を持った画像表面の
中の二次元表現であるフィルムまたはビデオから、幅、高さ、奥行きがある座標
を持った空間の中の三次元表現に変換することを可能にする新しく、簡単な技術
を提供することである。
そのような三次元表現は、例えば、画像表面中の形態要素の分析(物体診断)
に、又はそれに適した媒体としての三次元画像/フィルムの製造に用いられる。
[背景技術]
フィルム又はビデオからのカラー画像は、カメラの画像表示中の物体にある瞬
間に照射される、あるスペクトル成分を持った1又はそれ以上の光源からの光の
写真表現である。
全ての物体は、ある特定の色を吸収し、残りを反射する。物体の色は、その物
体によって反射された光のスペクトル分布によって決定される。物体のフィルム
への記録は、以下に示すいくつかの要素に依存している。
(1)光源のスペクトル分布
(2)物体のスペクトル反射能
(3)カメラからの距離と背景空間(air perspective)の吸収スペクトル
(4)写真材料の色記録能力
現存する画像中の対象要素に対する奥行きパラメータZを含む空間座標を得る
ために、画像の色の特性が分析される。色の特性は入射光源と反射物体の記録で
ある。
光源の色の特性は、色温度で測定され、ケルビン(K)で示される。場景の写
真を撮影するとき、画像面中の物体に対する入射光と反射光の色温度は、通常、
撮影目的(太陽光、人工光等)に適応した色記録能力を持ったフィルムを用いて
、色光
測定器で測定される。光源の色温度はカメラの距離によって変化する。
カラー画像における個々の複数の画像ポイント、画素は、画像表示中の反射物
体を表す。これら画像ポイントの色の特性は3つの測定可能なパラメータ、即ち
色相、彩度、明度によって明確に決定される。
前記色相は、電磁スペクトルに関係し、具体的にはニュートンの色スペクトル
及び色サークルにおける色の場所に関係する。これは、通常赤色、緑色、青色(
R,G,B)、若しくはマジェンタ,イエロー,シアン(M,Y,C)のスペク
トルカラーの相対的組成によって示される。これは、CIE 1931基準によ
る色座標への変換を参照されたい。該色座標では、与えられる明度に対する全て
の可視色(例えば、波長400ナノメートルから770ナノメートルまでの範囲)
は、スペクトルカラー及び紫色のラインによって定義されている図表内の正確な
座標を割り当てている。
彩度は、他の色とどの程度混合されているか示すものであり、パーセントで表
される。純粋なスペクトルカラーは、飽和色(彩度100%)と呼ばれ、白色及
びグレーは非飽和色(彩度0%)と呼ばれる。
明度(コントラスト,光度)は、絶対白表面(100%反射)からの反射に対
する光の入射量の多さで決まり、パーセントで表される。
フィルムカメラに対して異なった距離を移動する複数の物体から反射される光
の記録された色の特性は変化する。光源の色温度は距離と共に変化する。個々の
ポイントの色相(R,G,B)は一定であるが、明度及び彩度は距離と共に変化
する。高明度、飽和色及び低色温度は、画像面に近接したところで生じ、いわゆ
るアクティブレベル(能動レベル)を与える。関連して、低明度、非飽和色及び
高色温度は、画像面から離れた(長距離)ところで生じ、いわゆるパッシブレベ
ル(受動レベル)を与える。加えて、このことはこれら全てのレベル内(能動/
受動)内でも内部的に起こり、そこでは、暖色は寒色に対して相補対照的により
アクティブな側に現れる。暖色はM,MY,Yであり、寒色はYC,Cである。
フィルムカメラからの距離による上記特徴の変化により、各色は、その画像中
の他の色に関して、同じ場景において自身の遠近位置を有することが推論できる
。こ
れは本発明の基礎となる。
[発明の開示]
本発明は、三次元対象物の二次元画像を三次元対象物の三次元表示に変換する
ための画像処理方法を提案するもので、前記対象物は、二次元画像における画素
によって表される各要素から成る。本方法は、特定の色相をもつ基準面に関して
、画像面における前記各要素までの距離d(z)を、色温度、彩度、明度に関す
る数値として表現された画像中の各画素の色の特性を測定することによって決定
することを特徴とする。この距離は通常、前記基準面に原点をもつ該基準面のZ
軸に沿って測定され、結果として、画像に関係する画素によって表される前記要
素に対して、色温度、彩度、及びコントラストの数値について距離値dt,ds
,dcが得られる。前記要素と前記基準面の間の距離d(z)は距離値dt,d
s,dcの加重平均法を用いて、
d(z)=1/3*(kt*dt+ks*ds+kc*dc)
で求められる。
ここで、kt,kS,kcは経験的データに基づいた重み付けの因子である。
得られた距離数値d(z)と、画像面中の画素のx,y座標を基に、d(x)か
らX、d(y)からY,及びd(z)からZへの変換を実施することにより、実
空間座標X,Y,Zを決定し、これらX,Y,Zは、前記基準面に原点をもつ三
次元座標系における前記要素の座標である。上記したd(x)からX、d(y)
からY,及びd(z)からZへの変換は、カメラの画像平面と、空間内の最も近
接した焦点面、この場合基準面との間の比率(スケール)を用いて、平面におけ
る画像ポイントを空間におけるポイントに変換するための公知の手段によって得
られる。
さらに、d(z)からZへの変換は、標準遠近図法からメートル距離を読み込
むための正面遠近法の手法を適用することにより得られる。
さらに、本発明の好ましい実施の態様によれば、基準スケールは、個々の画像
を連続した一連の画像を用いて、色の特性についてのパラメータの値を決定する
ことにより作成される。前記個々の画像はあらかじめ定められた異なる焦点面に
おける対象物を描いており、各焦点面の間の色の特性のパラメータの変化は、そ
れぞれ測
定された色の特性のパラメータをメートル法あるいは遠近法による距離値とみな
す幾何学的なスケールの較正のために利用される。
前記幾何学的な測定スケールは、好ましくは、それぞれケルビンで示される色
温度、パーセントで示される彩度、及びパーセントで示される光度/コントラス
トについての基準データ及び経験的なデータに基づいて幾何学的に一致する非線
形スケール群を有し、前記色温度は、スケールの共通のエンドポイント、又は彩
度及び光度/コントラストが零に接近する収束点における最大値に向かって増加
する。
さらに、前記非線形スケールの共通の収束点は、最も遠い距離の焦点面上に焦
点を結ぶ画像中の離れて位置する1又はそれ以上の前記要素についての色の特性
のパラメータによって決定され、この要素についての測定値又はこれら要素につ
いての平均測定値によって収束点が決定される。
さらに、本発明の他の実施態様によれば、前記幾何学的な測定スケールは、二
次元画像のフォーマットに一致する正面遠近法による図表に挿入されており、基
準面と画像中の要素の間、あるいは基準面と要素の形成部分である1又はそれ以
上の画素の間の距離を決定するために、非線形スケールが、関連する画像の色の
特性について較正される。最後に、本発明においては、遠近法に基づく距離値が
使用される。
上記手段によって、露光されたカラー写真画像材料は、色の特性の経験的及び
実験的な知識に基づいて分析される。それによって、各色は、画像中の他の色と
関連する遠近位置を得る。結果として、本発明は、場景における全ての色に関す
る三次元基準データベースを与え、そこから距離、空間座標等の他の遠近パラメ
ータが推論される。
本発明においては、すでに露光されたカラー画像に存在する情報が処理される
。もし、写真材料が、ネガあるいはポジのカラーフィルム/ペーパー又はビデオ
のような伝統的なアナログタイプの材料である場合、その後の処理のために、材
料をデジタル形式に変換するのが自然である。その場合、画像面における各ポイ
ントは画素、例えば画素の特性の記述によって示される。前記特性には、とりわ
け前記画像面におけるポイントの位置及び色の特性(色温度,色相,彩度,及び
コントラスト)に関する所望のデータを含むべきである。そのようなデジタルな
表示は、画像処理
のための既存の編集装置によって行うことができ、本発明もまた、それによって
処理されうる。
本発明における以下の記述において、幾何学的方法に基づいて数学的モデルが
採用される。本実施例の目的は、方法の最善の説明を与えることである。実際に
は、代わりに、コンピュータで処理するための上記と同等の代替する数学的方法
で本方法を実行することが自然である。以下、本発明を、その方法を図示した添
付図を参照して詳細に説明する。
[図面の簡単な説明]
図1は、較正又は基準データの推論のために設けられた移動対象物の複数画像
を示した図である。
図2は、基準面に関係して画像中に表された異なる対象物の位置を示した図で
ある。
図3は、幾何学的測定スケールにおけるデータの使用を示した図である。
図4は、画像フォーマットを表す正面遠近法を説明する図である。
[発明を実施するための最良の形態]
図1は特定の場景における(線分C−Bに平行な)Z軸に沿って移動する物体
についての一連の画像(画像シーケンス)を示したものである。カメラの焦点面
からの距離が増加することによって、物体の色の特性が変化する。
物体の焦点面表示は、基準面(即ち、画像シーケンス中の最初の画像5’)か
らそのシーケンス中の最後の画像11’までの距離を表す色の特性パラメータと
、異なった基準面(図1における実際の画像シーケンス5’−11’)間の物体
の記録を持ち、これによって基準面5’からの物体の距離の表示が得られる。
既知の焦点面の配置、例えば物体の既知の距離を、各焦点面5’−11’中の
物体について測定された色の特性のパラメータと結合することによって、図2に
示されるように、測定された色の特性のパラメータに関する幾何学的な測定スケ
ール(距離スケール)を創作するのに用いる基準スケールを得ることができる。
図2は、レンズを有したカメラと、どのようにして基準面(カメラの焦点面)
が決定されるのかを示した図である。又、この図は、基準面からの特定の距離d
(z)
に実際に位置する異なった物体を示している。本発明による画像処理方法におい
て、物体の実際の空間位置は、画像中の物体を表す複数の画素の色パラメータに
基づいて得られる。図の下側に幾何学的スケールが見られる。このスケールによ
って、本発明の実施例において見られる幾何学的スケールは、物体と基準面との
間の距離を、物体の画像に基づいて決定することができる。
図3は、色温度、彩度、及び光度/コントラストそれぞれについて幾何学的に
一致する非線形スケールを有する幾何学的測定スケールを示している。この幾何
学的な測定スケールは、同じ場景における任意の要素を分析するためのツールで
ある。この測定スケールは、直角三角形ABC’の中に存在し、図1に対応した
画像場景における遠近範囲を示すものである。横方向の辺に沿って、基準データ
及び経験的データに基づいた色の特性について関連する特性のスケールが設けら
れている。この幾何学的な測定スケールは、図3に示される正面遠近法に見るこ
とができるが、本発明の方法のこの実施例における基本的なツールでもある。
図4は、フィルム/映像の画像フォーマットを描いた長方形ADEFを示した
ものである。図4における点Cは、焦点と呼ばれる各焦点面における中心点を表
す。各基準面は、図1に示された場景の中心方向に、かつそれぞれの画像を正面
から見たものである。図3における幾何学的スケールは、図4の下方の右側1/
4に挿入された状態で示されている。図4は、公知の手段に基づいて計算された
スケールに応じてメートル法に適用されている。メートル法の数値は、全表面、
全輪郭について記録される。
図4は、正面遠近法と呼ばれ、建築学上の処理手順において、手作業の設計の
場合、外側から内向きの遠近図の正確な計算を実行するためのものとして知られ
ている。本実施例において、これを逆に用いて、画像の対象要素物体に関する正
確なメートル距離法によるデータを得るために、図3を図4中に内向きに自動読
み込みさせることによって、内側から外向きの遠近図とする(その際、図3はま
たメートルスケールに適合されている)。本実施例による方法は、図1、図2、
図3、及び図4を参照して説明したツールを形成し、較正することから始まる。
最初に、図3に示されるような異なったスケールを持った幾何学的なスケールが
作られる。図3は、
頂点A,B,Cを持った直角三角形としての幾何学的形態で定められている。横
方向の辺に沿って、本発明の概念、すなわち、写真に写された場景における色の
特性の分析に重要な複数の異なるスケールが設定される。この幾何学的なスケー
ルは図4に挿入され、該スケールは測定データによって較正される。この較正は
、処理されるべき各場景に対して実行されなければならない。
次に、遠近距離パラメータを得るための手続が、例えば場景における物体/要
素へのメートル距離を得るために実行される。
図3中のABC’中の弦AC’に沿って、連続したフィルムの中の画像の順序
がマークされる。各画像の焦点面は、辺ABまでの複数の垂直鉛直線で明らかに
示されている。三角形の中間領域(図3に示される三角形の内側)において、個
々の画像の色の特性が反映される。
図3のABC’の辺ABに沿って、例えばナノメートルで規定されている波長
λによるRGBフォーマットで表されるに示される色温度分布をもつスケールが
設けられている。このスケールは、非線形であって、基準データに基づいてある
色の偏りをもって分析的に生成されている。即ち、最も暖色で正面の色は点Bに
配置され、残りの色は、その下方にRGBの順に、寒色及びより遠い色が点Aに
向かって、配列されている。線分ABに沿ったこれら全ての色は、場景の遠近に
おける色温度の最低値に対応して、色の飽和領域(彩度)に属する。この処理中
に、異なった色の分布は最初の基準データに関連した偏位を与える。そして、経
験上のデータを考慮することによって、さまざまな場景に対してスケールの正確
な較正を達成できる確率が増加する。
図3のABC’の内の辺BC’に沿って、3つのスケールが設けられている。
スケール1は非線形で、最も低い点Bからもっとも高い点C’方向に向かってケ
ルビンの色温度を示している。
スケール2は、非線形で、色の彩度をパーセントで示したものであり、点Bに
おいて最も高く、点C’において最も低いという範囲を持って示している。
スケール3は、非線形で、明度、又はコントラストをパーセントで示したもの
であり、点B’において最も高く、点C’において最も低いという範囲を持って
示し
ている。
スケール3は、線分BC上の点B’を、開始点(コントラスト100%)とす
る。点B’は、通常角点Bから線分AC’方向に向かって垂直線を描き、その交
点5’を求め、その交点5’から線分BC’に向かって垂直線を描くことによっ
て求められる。従って、図3内の垂直線4は、最も近接した焦点面、即ち図1に
規定された点5’をマークする。
最初の基準データを含む複数のスケールを図3に確立した後、図4中に全幾何
学的なスケールを、図4の下の右象限、又は下の左象限に挿入する。図4は、図
3の幾何学的なスケールが挿入された状態で、場景の画像の上に置かれる。幾何
学的なスケールの長さは、問題の場景について、測定データに従って較正される
。
スケール1、即ち色温度スケールは、その後の処理のための指針を与える。ス
ケール1は、非線形で、基準データ、例えば弦ABに沿ったRGBスケールに基
づいたある色の偏りをもって得られる。スケール1は、スケールの終点(エンド
ポイント)で、又利用可能な経験的データを用いて較正される。
スケール1は、スケール2,3と明らかに一致する点C’にエンドポイントを
持つ。収束点と呼ばれる点C’で、測定可能なコントラスト及び彩度は0%に収
束する。これに対応して、スケール1上の点C’は、場景の中の測定可能な最も
高い色温度を示す。収束点C’は、連続した画像の中の最後に記録した焦点面/
焦点ポイントから関係する3つのスケール上の各測定値をマークし、平均値を選
択することによって得られる。あるいは場景において記録された最も遠い物体か
ら得られた測定値が採用される。もし経験的データが他の様子を示すならば、エ
ンドポイントC’を与える加重平均のアルゴリズムを選択してもよい。
色温度に関するスケール1は、彩度及びコントラストに関する線分ABに沿っ
た図示の彩度スケールに移る。これは、三角スケールの内側領域が場景における
全ての色に関する遠近の変化を反映することを意味している。従って、場景の各
画像における各点は色、彩度及び明度によって表される。各点のカメラ位置に対
する空間における位置は明確に定義され、適切に処理することによって、正確な
空間座標(X,Y,Z)が推定される。
上記したように、正面遠近図(図4)に挿入された較正済みの幾何学的スケー
ルの形でツールを設定した後、場景における実際の画像処理、即ち遠近距離パラ
メータを得るための手続が行われる。上記のツールを場景の個々の画像上に置き
、所望のパラメータが既知の手段によって得られる。
もし、ここの画像中の物体あるいは要素へのメートル法による距離が必要なら
ば、以下に述べる手段を実施すればよい。
物体/要素へ入射する画像面上の所望のポイントを垂直構造線を介して主遠近
ラインAC上に移動する。線分AC上の各ポイントから線分BCまでの垂直線を
描いて交点、即ち図3上の焦点面11’,10’,9’を得る。主遠近線ACの
交点から点Bまで線を引き、同様に横方向の辺AFとの交点を得るまで、即ちA
DEFの外側に延長するように下方へ延長線を引く。カメラから画像面上のある
点までのメートル法による距離は、スケールによるが、点Aからの距離に比例す
る。あるいは、もし三角スケールが図4の下左象限内にあるとすれば、点Fから
の距離に比例することになる。
もし、画像における物体と要素の間のメートル法による高さが必要とされると
したら、線分CDまで構造線を描き、線分CDの交点から線分ADへ構造線を描
き、そこで、数値を読み取ることにより、上記同様の手段が実行される。
もし、画像中の物体に応じたあるいは物体と要素との間のメートル高さを、外
形を決定するために必要であるなら、同様の既知の手段を実施すればよい。
このようなメートル法によるパラメータは、最初に空間座標(X,Y,Z)を
決定し、即ち、場景の画像の全部又は部分に対して、二次元表現から三次元表現
に変換し、続いて外周、外形、色等における変更に関しての形式要素分析を実行
することによって物体の診断に利用することができる。
もし、既知のメートル距離と関連して物体/要素の色の特性が要求されるとし
たら、上記手段は逆の順序で実施される。そのような遠近距離により規定された
色のパラメータは、強調された遠近図を創作し、三次元を現すように二次元画像
物を操作するのに用いられ、公知の映像データ技術、例えば高分解能のスクリー
ン(バーチャル3Dテレビジョン)によって見ることができる。
本発明による上記した実施例と他の可能な実施例とを組み合わせることによっ
て、実3次元テレビをそれに適合した媒体上で見るために、製造に使用されるデ
ータを導出できる。
【手続補正書】特許法第184条の8第1項
【提出日】平成11年7月14日(1999.7.14)
【補正内容】
請求の範囲
1.三次元対象物の二次元画像を三次元対象物の三次元表示に変換するための
画像処理方法において、前記対象物は、二次元画像における色を構成する各要素
から成り、該二次元画像はカメラによって与えられ、
二次元画像中の前記要素と一致する前記要素を有し、カメラの焦点面に最も接
近している焦点面に一致する基準面を規定し、
前記基準面中の各要素に対する色相、再度、明度の色パラメータを規定し、
個々の画像を連続した一連の画像を用いて、色パラメータの数値を決定するこ
とにより基準面が作成され、前記個々の各画像はあらかじめ定められた異なる焦
点面における対象物を描いており、各焦点面の間の色パラメータの変化は、それ
ぞれ測定された色パラメータをメートル法あるいは遠近法による距離値とみなす
幾何学的測定スケールの較正のために利用され、
二次元画像中の各要素における色相、再度、明度の色パラメータを測定して記
録し、
二次元画像中の各要素に対する色パラメータと、前記基準面において対応する
要素についての色パラメータとを比較し、
この比較結果に基づいて、二次元画像における各要素に、それぞれ色相値と比
較した結果である距離値dhと、彩度値と比較した結果である距離値dsと、明
度値と比較した結果である距離値dbを割り当て、
二次元画像における前記各要素と前記基準面の間の距離d(z)は、該基準面
を原点として、前記基準面に垂直なZ軸に沿って測定され、距離d(z)は、距
離値dt,ds,dcの加重平均法を用いて、
d(z)=1/3*(kt*dt+ks*ds+kc*dc)
で求められ、kh,ks,kbは経験的データに基づいた重み付けの因子であり
、
d(x)からX、d(y)からY,及びd(z)からZへの変換を実施するこ
とにより、空間座標X,Y,Zを決定し、これらX,Y,Zは、前記基準面に原
点をもつ三次元座標系における前記要素の座標であり、上記したd(x)からX
、d(y)
からY,及びd(z)からZへの変換は、カメラの画像平面と、空間内の焦点面
、この場合基準面との間の比率(スケール)を用いて、平面における画像中の要
素を空間における要素に変換するための公知の手段によって得られ、前記近接し
た平面は基準面を構成し、
d(z)からZへの変換は、標準遠近図法からメートル距離を読み込むための
正面遠近法の手法を適用することにより得られ、
得られた距離数値d(z)と、画像面中の要素の二次元x,y座標を基に、前
記要素についての実空間座標X,Y,Zを決定することを特徴とする画像処理方
法。
2.前記経験的データは、正面遠近法について利用するのに適当な幾何学的な
色のモデルに構成されていることを特徴とする請求項1記載の画像処理方法。
3.前記幾何学的な色モデル測定スケールは、色相、彩度、及び明度について
の基準データ及び経験的なデータに基づいて幾何学的に一致する非線形スケール
群を有し、前記色温度は、スケールの共通のエンドポイント、又は彩度及び光度
/コントラストが零に接近する収束点における最大値に向かって増加することを
特徴とする請求項2記載の画像処理方法。
4.前記非線形スケールの共通の収束点は、最も遠い距離の焦点面上に焦点を
結ぶ画像中の離れて位置する1又はそれ以上の前記要素についての色パラメータ
によって決定され、この要素についての測定値又はこれら要素についての平均測
定値によって収束点が決定されることを特徴とする請求項3記載の画像処理方法
。
5.前記幾何学的な測定スケールは、二次元画像のフォーマットに一致する正
面遠近法による図表に挿入されており、基準面と画像中の要素との間の距離を決
定するために、非線形スケールが、関連する画像の色の特性について較正される
ことを特徴とする請求項4記載の画像処理方法。
6.遠近法に基づく距離値が使用されることを特徴とする請求項5記載の画像
処理方法。
7.メートル法に基づく距離値が使用されることを特徴とする請求項6記載の
画像処理方法。
[発明の開示]
本発明は、三次元対象物の二次元画像を三次元対象物の三次元表示に変換する
ための画像処理方法を提案するもので、前記対象物は、二次元画像における色を
構成する各要素から成り、該二次元画像はカメラによって与えられる。
本方法は、二次元画像中の前記要素と一致する前記要素を有し、カメラの焦点
面に最も接近している焦点面に一致する基準面を規定し、前記基準面中の各要素
に対する色相、再度、明度の色パラメータを規定する。
個々の画像を連続した一連の画像を用いて、色パラメータの数値を決定するこ
とにより基準面が作成され、前記個々の各画像はあらかじめ定められた異なる焦
点面における対象物を描いており、各焦点面の間の色パラメータの変化は、それ
ぞれ測定された色パラメータをメートル法あるいは遠近法による距離値とみなす
幾何学的測定スケールの較正のために利用される。
二次元画像中の各要素における色相、再度、明度の色パラメータを測定して記
録し、二次元画像中の各要素に対する色パラメータと、前記基準面において対応
する要素についての色パラメータとを比較する。
この比較結果に基づいて、二次元画像における各要素に、それぞれ色相値と比
較した結果である距離値dhと、彩度値と比較した結果である距離値dsと、明
度値と比較した結果である距離値dbを割り当て、二次元画像における前記各要
素と前記基準面の間の距離d(z)は、該基準面を原点として、前記基準面に垂
直なZ軸に沿って測定され、距離d(z)は、距離値dt,ds,dcの加重平
均法を用いて、
d(z)=1/3*(kt*dt+ks*ds+kc*dc)
で求められる。
ここで、kh,ks,kbは経験的データに基づいた重み付けの因子である。
d(x)からX、d(y)からY,及びd(z)からZへの変換を実施すること
により、空間座標X,Y,Zを決定し、これらX,Y,Zは、前記基準面に原点
をもつ三次元座標系における前記要素の座標である。上記したd(x)からX、
d(y)からY,及びd(z)からZへの変換は、カメラの画像平面と、空間内
の焦点面、
この場合基準面との間の比率(スケール)を用いて、平面における画像中の要素
を空間における要素に変換するための公知の手段によって得られる。前記近接し
た平面は基準面を構成する。
さらに、d(z)からZへの変換は、標準遠近図法からメートル距離を読み込
むための正面遠近法の手法を適用することにより得られる。得られた距離数値d
(z)と、画像面中の要素の二次元x,y座標を基に、前記要素についての実空
間座標X,Y,Zを決定する。
本発明は、個々の一連の画像(画像シーケンス)によって、色パラメータの数
値を決定することにより、基準面を創作することである。
─────────────────────────────────────────────────────
フロントページの続き
(81)指定国 EP(AT,BE,CH,CY,
DE,DK,ES,FI,FR,GB,GR,IE,I
T,LU,MC,NL,PT,SE),OA(BF,BJ
,CF,CG,CI,CM,GA,GN,ML,MR,
NE,SN,TD,TG),AP(GH,GM,KE,L
S,MW,SD,SZ,UG,ZW),EA(AM,AZ
,BY,KG,KZ,MD,RU,TJ,TM),AL
,AM,AT,AU,AZ,BA,BB,BG,BR,
BY,CA,CH,CN,CU,CZ,DE,DK,E
E,ES,FI,GB,GE,GH,GM,GW,HU
,ID,IL,IS,JP,KE,KG,KP,KR,
KZ,LC,LK,LR,LS,LT,LU,LV,M
D,MG,MK,MN,MW,MX,NO,NZ,PL
,PT,RO,RU,SD,SE,SG,SI,SK,
SL,TJ,TM,TR,TT,UA,UG,US,U
Z,VN,YU,ZW
Claims (1)
- 【特許請求の範囲】 1.本発明は、三次元対象物の二次元画像を三次元対象物の三次元表示に変換 するための画像処理方法において、前記対象物は、二次元画像における画素によ って表される各要素から成り、特定の色相をもつ基準面に関して、画像面におけ る前記各要素までの距離d(z)を、色温度、彩度、明度に関する数値として表 現された画像中の各画素の色の特性を測定することによって決定し、この距離は 通常、前記基準面に原点をもつ該基準面のZ軸に沿って測定され、結果として、 画像に関係する画素によって表される前記要素に対して、色温度、彩度、及びコ ントラストの数値について距離値dt,ds,dcが得られる。前記要素と前記 基準面の間の距離d(z)は、距離値dt,ds,dcの加重平均法を用いて、 d(z)=1/3*(kt*dt+ks*ds+kc*dc) で求められ、kt,ks,kcは経験的データに基づいた重み付けの因子であり 、得られた距離数値d(z)と、画像面中の画素のx,y座標を基に、d(x) からX、d(y)からY,及びd(z)からZへの変換を実施することにより、 実空間座標X,Y,Zを決定し、これらX,Y,Zは、前記基準面に原点をもつ 三次元座標系における前記要素の座標であることを特徴とする画像処理方法。 2.上記したd(x)からX、d(y)からY,及びd(z)からZへの変換 は、カメラの画像平面と、空間内の最も近接した焦点面、この場合基準面との間 の比率(スケール)を用いて、平面における画像ポイントを空間におけるポイン トに変換するための公知の手段によって得られることを特徴とする請求項1記載 の画像処理方法。 3.さらに、d(z)からZへの変換は、標準遠近図法からメートル距離を読 み込むための正面遠近法の手法を適用することにより得られることを特徴とする 請求項1記載の画像処理方法。 4.前記経験的データは、正面遠近法について利用するのに適当な幾何学的な 色のモデルに構成されていることを特徴とする請求項3記載の画像処理方法。 5.基準スケールは、個々の画像を連続した一連の画像を用いて、色の特性に つ いてのパラメータの値を決定することにより作成され、前記個々の画像はあらか じめ定められた異なる焦点面における対象物を描いており、各焦点面の間の色の 特性のパラメータの変化は、それぞれ測定された色の特性のパラメータをメート ル法あるいは遠近法による距離値とみなす幾何学的なスケールの較正のために利 用されることを特徴とする請求項1記載の画像処理方法。 6.前記幾何学的な測定スケールは、好ましくは、それぞれケルビンで示され る色温度、パーセントで示される彩度、及びパーセントで示される光度/コント ラストについての基準データ及び経験的なデータに基づいて幾何学的に一致する 非線形スケール群を有し、前記色温度は、スケールの共通のエンドポイント、又 は彩度及び光度/コントラストが零に接近する収束点における最大値に向かって 増加することを特徴とする請求項5記載の画像処理方法。 7.前記非線形スケールの共通の収束点は、最も遠い距離の焦点面上に焦点を 結ぶ画像中の離れて位置する1又はそれ以上の前記要素についての色の特性のパ ラメ−タによって決定され、この要素についての測定値又はこれら要素について の平均測定値によって収束点が決定されることを特徴とする請求項6記載の画像 処理方法。 8.前記幾何学的な測定スケールは、二次元画像のフォーマットに一致する正 面遠近法による図表に挿入されており、基準面と画像中の要素の間、あるいは基 準面と要素の形成部分である1又はそれ以上の画素の間の距離を決定するために 、非線形スケールが、関連する画像の色の特性について較正されることを特徴と する請求項7記載の画像処理方法。 9.遠近法に基づく距離値が使用されることを特徴とする請求項8記載の画像 処理方法。 10.メートル法に基づく距離値が使用されることを特徴とする請求項9記載 の画像処理方法。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
NO972097 | 1997-05-06 | ||
NO971651A NO304715B1 (no) | 1997-05-06 | 1997-05-06 | FremgangsmÕte ved bildebehandling |
PCT/NO1998/000141 WO1998050889A1 (en) | 1997-05-06 | 1998-05-06 | Method for image processing |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2001524239A true JP2001524239A (ja) | 2001-11-27 |
Family
ID=19900698
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP54750198A Ceased JP2001524239A (ja) | 1997-05-06 | 1998-05-06 | 画像処理方法 |
Country Status (19)
Country | Link |
---|---|
US (1) | US6546153B1 (ja) |
EP (1) | EP0980568B1 (ja) |
JP (1) | JP2001524239A (ja) |
KR (1) | KR100496875B1 (ja) |
CN (1) | CN1261969A (ja) |
AT (1) | ATE290242T1 (ja) |
AU (1) | AU735613B2 (ja) |
BR (1) | BR9808743A (ja) |
CA (1) | CA2289593A1 (ja) |
DE (1) | DE69829177T2 (ja) |
ES (1) | ES2242281T3 (ja) |
IL (1) | IL132728A (ja) |
IS (1) | IS5238A (ja) |
NO (1) | NO304715B1 (ja) |
NZ (1) | NZ501466A (ja) |
PL (1) | PL336850A1 (ja) |
RU (1) | RU2193798C2 (ja) |
TR (1) | TR199902741T2 (ja) |
WO (1) | WO1998050889A1 (ja) |
Families Citing this family (52)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7068825B2 (en) * | 1999-03-08 | 2006-06-27 | Orametrix, Inc. | Scanning system and calibration method for capturing precise three-dimensional information of objects |
KR100450836B1 (ko) * | 2001-12-11 | 2004-10-01 | 삼성전자주식회사 | 이차원 영상의 입체화 장치 및 방법 |
US7883415B2 (en) * | 2003-09-15 | 2011-02-08 | Sony Computer Entertainment Inc. | Method and apparatus for adjusting a view of a scene being displayed according to tracked head motion |
US7102615B2 (en) * | 2002-07-27 | 2006-09-05 | Sony Computer Entertainment Inc. | Man-machine interface using a deformable device |
US8797260B2 (en) * | 2002-07-27 | 2014-08-05 | Sony Computer Entertainment Inc. | Inertially trackable hand-held controller |
US8686939B2 (en) * | 2002-07-27 | 2014-04-01 | Sony Computer Entertainment Inc. | System, method, and apparatus for three-dimensional input control |
US9393487B2 (en) | 2002-07-27 | 2016-07-19 | Sony Interactive Entertainment Inc. | Method for mapping movements of a hand-held controller to game commands |
US7391409B2 (en) * | 2002-07-27 | 2008-06-24 | Sony Computer Entertainment America Inc. | Method and system for applying gearing effects to multi-channel mixed input |
US8570378B2 (en) | 2002-07-27 | 2013-10-29 | Sony Computer Entertainment Inc. | Method and apparatus for tracking three-dimensional movements of an object using a depth sensing camera |
US7760248B2 (en) | 2002-07-27 | 2010-07-20 | Sony Computer Entertainment Inc. | Selective sound source listening in conjunction with computer interactive processing |
US8313380B2 (en) | 2002-07-27 | 2012-11-20 | Sony Computer Entertainment America Llc | Scheme for translating movements of a hand-held controller into inputs for a system |
US9474968B2 (en) | 2002-07-27 | 2016-10-25 | Sony Interactive Entertainment America Llc | Method and system for applying gearing effects to visual tracking |
US9682319B2 (en) * | 2002-07-31 | 2017-06-20 | Sony Interactive Entertainment Inc. | Combiner method for altering game gearing |
US8072470B2 (en) * | 2003-05-29 | 2011-12-06 | Sony Computer Entertainment Inc. | System and method for providing a real-time three-dimensional interactive environment |
JP4068596B2 (ja) | 2003-06-27 | 2008-03-26 | 株式会社東芝 | 図形処理方法、図形処理装置およびコンピュータ読取り可能な図形処理プログラム |
US9573056B2 (en) * | 2005-10-26 | 2017-02-21 | Sony Interactive Entertainment Inc. | Expandable control device via hardware attachment |
US7874917B2 (en) * | 2003-09-15 | 2011-01-25 | Sony Computer Entertainment Inc. | Methods and systems for enabling depth and direction detection when interfacing with a computer program |
US8323106B2 (en) * | 2008-05-30 | 2012-12-04 | Sony Computer Entertainment America Llc | Determination of controller three-dimensional location using image analysis and ultrasonic communication |
US8287373B2 (en) | 2008-12-05 | 2012-10-16 | Sony Computer Entertainment Inc. | Control device for communicating visual information |
US10279254B2 (en) * | 2005-10-26 | 2019-05-07 | Sony Interactive Entertainment Inc. | Controller having visually trackable object for interfacing with a gaming system |
US8547401B2 (en) | 2004-08-19 | 2013-10-01 | Sony Computer Entertainment Inc. | Portable augmented reality device and method |
US9293001B2 (en) | 2005-12-23 | 2016-03-22 | Bally Gaming, Inc. | Transient or persistent game play in wagering games |
WO2007098017A2 (en) | 2006-02-17 | 2007-08-30 | Wms Gaming Inc. | Providing alternative persistent state recovery techniques |
US8781151B2 (en) | 2006-09-28 | 2014-07-15 | Sony Computer Entertainment Inc. | Object detection using video input combined with tilt angle information |
USRE48417E1 (en) | 2006-09-28 | 2021-02-02 | Sony Interactive Entertainment Inc. | Object direction using video input combined with tilt angle information |
US8310656B2 (en) | 2006-09-28 | 2012-11-13 | Sony Computer Entertainment America Llc | Mapping movements of a hand-held controller to the two-dimensional image plane of a display screen |
US8542907B2 (en) * | 2007-12-17 | 2013-09-24 | Sony Computer Entertainment America Llc | Dynamic three-dimensional object mapping for user-defined control device |
CN102016877B (zh) * | 2008-02-27 | 2014-12-10 | 索尼计算机娱乐美国有限责任公司 | 用于捕获场景的深度数据并且应用计算机动作的方法 |
US8368753B2 (en) | 2008-03-17 | 2013-02-05 | Sony Computer Entertainment America Llc | Controller with an integrated depth camera |
JP5338228B2 (ja) * | 2008-09-29 | 2013-11-13 | カシオ計算機株式会社 | 画像生成装置、及びプログラム |
US8961313B2 (en) * | 2009-05-29 | 2015-02-24 | Sony Computer Entertainment America Llc | Multi-positional three-dimensional controller |
US8527657B2 (en) * | 2009-03-20 | 2013-09-03 | Sony Computer Entertainment America Llc | Methods and systems for dynamically adjusting update rates in multi-player network gaming |
US8342963B2 (en) * | 2009-04-10 | 2013-01-01 | Sony Computer Entertainment America Inc. | Methods and systems for enabling control of artificial intelligence game characters |
US8142288B2 (en) | 2009-05-08 | 2012-03-27 | Sony Computer Entertainment America Llc | Base station movement detection and compensation |
US8393964B2 (en) | 2009-05-08 | 2013-03-12 | Sony Computer Entertainment America Llc | Base station for position location |
JP5848754B2 (ja) | 2010-05-12 | 2016-01-27 | ペリカン イメージング コーポレイション | 撮像装置アレイおよびアレイカメラのためのアーキテクチャ |
EP2708019B1 (en) | 2011-05-11 | 2019-10-16 | FotoNation Limited | Systems and methods for transmitting and receiving array camera image data |
JPWO2013032008A1 (ja) * | 2011-09-02 | 2015-03-23 | 株式会社ニコン | 画像処理装置、プログラム |
RU2493602C1 (ru) * | 2012-08-10 | 2013-09-20 | Корпорация "САМСУНГ ЭЛЕКТРОНИКС Ко., Лтд." | Способ и система для выделения ключевых кадров из видео последовательностей |
MX338258B (es) * | 2012-10-08 | 2016-04-11 | Koninkl Philips Nv | Procesamiento de imagenes por cambio de luminancia con restricciones de color. |
US10467855B2 (en) | 2017-06-01 | 2019-11-05 | Igt | Gaming system and method for modifying persistent elements |
CN109816704B (zh) | 2019-01-28 | 2021-08-03 | 北京百度网讯科技有限公司 | 物体的三维信息获取方法和装置 |
MX2022003020A (es) | 2019-09-17 | 2022-06-14 | Boston Polarimetrics Inc | Sistemas y metodos para modelado de superficie usando se?ales de polarizacion. |
CA3157197A1 (en) | 2019-10-07 | 2021-04-15 | Boston Polarimetrics, Inc. | Systems and methods for surface normals sensing with polarization |
KR102558903B1 (ko) | 2019-11-30 | 2023-07-24 | 보스턴 폴라리메트릭스, 인크. | 편광 신호를 이용한 투명 물체 분할을 위한 시스템 및 방법 |
JP7462769B2 (ja) | 2020-01-29 | 2024-04-05 | イントリンジック イノベーション エルエルシー | 物体の姿勢の検出および測定システムを特徴付けるためのシステムおよび方法 |
WO2021154459A1 (en) | 2020-01-30 | 2021-08-05 | Boston Polarimetrics, Inc. | Systems and methods for synthesizing data for training statistical models on different imaging modalities including polarized images |
US11953700B2 (en) | 2020-05-27 | 2024-04-09 | Intrinsic Innovation Llc | Multi-aperture polarization optical systems using beam splitters |
US12020455B2 (en) | 2021-03-10 | 2024-06-25 | Intrinsic Innovation Llc | Systems and methods for high dynamic range image reconstruction |
US11954886B2 (en) | 2021-04-15 | 2024-04-09 | Intrinsic Innovation Llc | Systems and methods for six-degree of freedom pose estimation of deformable objects |
US11290658B1 (en) | 2021-04-15 | 2022-03-29 | Boston Polarimetrics, Inc. | Systems and methods for camera exposure control |
US11689813B2 (en) | 2021-07-01 | 2023-06-27 | Intrinsic Innovation Llc | Systems and methods for high dynamic range imaging using crossed polarizers |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6236748B1 (en) * | 1994-08-02 | 2001-05-22 | Canon Kabushiki Kaisha | Compound eye image pickup device utilizing plural image sensors and plural lenses |
GB2305050A (en) | 1995-09-08 | 1997-03-26 | Orad Hi Tec Systems Ltd | Determining the position of a television camera for use in a virtual studio employing chroma keying |
US6014472A (en) * | 1995-11-14 | 2000-01-11 | Sony Corporation | Special effect device, image processing method, and shadow generating method |
US6009188A (en) * | 1996-02-16 | 1999-12-28 | Microsoft Corporation | Method and system for digital plenoptic imaging |
-
1997
- 1997-05-06 NO NO971651A patent/NO304715B1/no unknown
-
1998
- 1998-05-06 WO PCT/NO1998/000141 patent/WO1998050889A1/en active IP Right Grant
- 1998-05-06 JP JP54750198A patent/JP2001524239A/ja not_active Ceased
- 1998-05-06 IL IL13272898A patent/IL132728A/en not_active IP Right Cessation
- 1998-05-06 AT AT98923218T patent/ATE290242T1/de not_active IP Right Cessation
- 1998-05-06 RU RU99126413/09A patent/RU2193798C2/ru not_active IP Right Cessation
- 1998-05-06 EP EP98923218A patent/EP0980568B1/en not_active Expired - Lifetime
- 1998-05-06 DE DE69829177T patent/DE69829177T2/de not_active Expired - Fee Related
- 1998-05-06 BR BR9808743-6A patent/BR9808743A/pt not_active IP Right Cessation
- 1998-05-06 NZ NZ501466A patent/NZ501466A/xx unknown
- 1998-05-06 US US09/423,191 patent/US6546153B1/en not_active Expired - Fee Related
- 1998-05-06 CA CA002289593A patent/CA2289593A1/en not_active Abandoned
- 1998-05-06 TR TR1999/02741T patent/TR199902741T2/xx unknown
- 1998-05-06 ES ES98923218T patent/ES2242281T3/es not_active Expired - Lifetime
- 1998-05-06 PL PL98336850A patent/PL336850A1/xx unknown
- 1998-05-06 KR KR10-1999-7010255A patent/KR100496875B1/ko not_active IP Right Cessation
- 1998-05-06 CN CN98806694A patent/CN1261969A/zh active Pending
- 1998-05-06 AU AU75557/98A patent/AU735613B2/en not_active Ceased
-
1999
- 1999-11-05 IS IS5238A patent/IS5238A/is unknown
Also Published As
Publication number | Publication date |
---|---|
CA2289593A1 (en) | 1998-11-12 |
NO972097D0 (no) | 1997-05-06 |
AU7555798A (en) | 1998-11-27 |
DE69829177T2 (de) | 2006-04-13 |
RU2193798C2 (ru) | 2002-11-27 |
US6546153B1 (en) | 2003-04-08 |
NO972097L (no) | 1998-11-09 |
NO304715B1 (no) | 1999-02-01 |
ES2242281T3 (es) | 2005-11-01 |
TR199902741T2 (xx) | 2000-02-21 |
KR100496875B1 (ko) | 2005-06-22 |
BR9808743A (pt) | 2002-05-21 |
CN1261969A (zh) | 2000-08-02 |
NZ501466A (en) | 2002-10-25 |
IL132728A (en) | 2004-06-20 |
EP0980568A1 (en) | 2000-02-23 |
KR20010012303A (ko) | 2001-02-15 |
DE69829177D1 (de) | 2005-04-07 |
IL132728A0 (en) | 2001-03-19 |
ATE290242T1 (de) | 2005-03-15 |
AU735613B2 (en) | 2001-07-12 |
WO1998050889A1 (en) | 1998-11-12 |
IS5238A (is) | 1999-11-05 |
EP0980568B1 (en) | 2005-03-02 |
PL336850A1 (en) | 2000-07-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2001524239A (ja) | 画像処理方法 | |
EP2833327B1 (en) | Method and system for digitally generating appearance data | |
Rushmeier et al. | Acquiring input for rendering at appropriate levels of detail: Digitizing a pieta | |
CN104335005B (zh) | 3d扫描以及定位*** | |
Rushmeier et al. | Computing consistent normals and colors from photometric data | |
Soucy et al. | Sensors and algorithms for the construction of digital 3-D colour models of real objects | |
CN109527779A (zh) | 用于指定和配制定制的外用制剂的***和方法 | |
JP2003518294A (ja) | 3次元画像検索方法 | |
RU99126413A (ru) | Способ обработки изображений | |
CN111879257A (zh) | 一种基于傅里叶变换轮廓术的高动态范围实时三维测量方法 | |
CN110230979A (zh) | 一种立体标靶及其三维彩色数字化***标定方法 | |
CN116057576A (zh) | 在异质测量环境中将至少两种材料的外观可视化 | |
CN116018576A (zh) | 将至少两种材料的外观可视化 | |
CN105662632A (zh) | 一种用于牙颌模型的颜色信息扫描装置及方法 | |
Terpstra et al. | Accuracies in Single Image Camera Matching Photogrammetry | |
EP1300802A1 (en) | Process of identification of shadows in an image and image obtained using the process | |
JP2003090715A5 (ja) | ||
Tominaga et al. | 3D recording and rendering of art paintings | |
JP2001084362A (ja) | 光源方向と3次元形状の推定方法および装置並びに記録媒体 | |
Jankó et al. | Photo-consistency based registration of an uncalibrated image pair to a 3D surface model using genetic algorithm | |
Knyaz et al. | Approach to Accurate Photorealistic Model Generation for Complex 3D Objects | |
MXPA99010197A (en) | Method for image processing | |
JP4377802B2 (ja) | 着色物品の調色方法 | |
KR102502029B1 (ko) | 표면 반사 정보를 이용한 광학적 반사 특성 산출 방법 | |
Henriques et al. | Mapping lacunae for retouching paintings with computer graphics software |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050506 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070918 |
|
A313 | Final decision of rejection without a dissenting response from the applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A313 Effective date: 20080207 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20080401 |