JP3996630B2 - 画像変換方法、テクスチャマッピング方法、画像変換装置、サーバークライアントシステム、画像変換プログラム、影認識方法および影認識装置 - Google Patents
画像変換方法、テクスチャマッピング方法、画像変換装置、サーバークライアントシステム、画像変換プログラム、影認識方法および影認識装置 Download PDFInfo
- Publication number
- JP3996630B2 JP3996630B2 JP2006553836A JP2006553836A JP3996630B2 JP 3996630 B2 JP3996630 B2 JP 3996630B2 JP 2006553836 A JP2006553836 A JP 2006553836A JP 2006553836 A JP2006553836 A JP 2006553836A JP 3996630 B2 JP3996630 B2 JP 3996630B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- surface normal
- conversion
- shadow
- luminance value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/50—Lighting effects
Landscapes
- Engineering & Computer Science (AREA)
- Computer Graphics (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Image Generation (AREA)
Description
荒屋真二著,「明解 3次元コンピュータグラフィックス」,共立出版,pp.144−145、2003年9月25日, H.Greenspan, C.H.Anderson,「Image enhanced by non−linear extrapolation in frequect space」,SPIE Vol.2182 Image and Video Processing II,1994年 中静真ら、「多重スケール輝度こう配平面における画像高解像度化」、電子情報通信学会論文誌 D−II Vol.J81−D−II No.10 pp.2249−2258 1998年10月 画像処理ハンドブック編集委員会編,「画像処理ハンドブック」,昭晃堂,pp.392−407、1987年6月8日 R.J.Woodham,「Photometric methodfor determining surface orientation from multiple images」,Optical Engieering、 vol.19,pp.139−144, 1980年 梅山伸二,「物体の見えからの拡散/鏡面反射成分の分離 −偏光フィルタを介した多重観測と確率的独立性を用いて−」,画像の認識・理解シンポジウム2002,pp.I−469−pp.I−476、2002年
図2は本発明の第1の実施形態に係る画像変換方法を示すフローチャートである。本実施形態では、与えられた第1の画像に対して、所定の画像変換として画像拡大を行い、第2の画像を生成する。なお、本実施形態に係る画像変換方法は、当該方法を実現するためのプログラムをコンピュータに実行させることによって、実現することができる。
図6は本発明の第2の実施形態に係る画像変換方法を示すフローチャートである。本実施形態では、与えられた第1の画像に対して、所定の画像変換として画像縮小を行い、第2の画像を生成する。なお、本実施形態に係る画像変換方法は、当該方法を実現するためのプログラムをコンピュータに実行させることによって、実現することができる。また、ステップS2〜S6を実行する影部識別部と、ステップS17を実行する第1の変換部と、ステップS18,S19を実行する第2の変換部とを備えた画像変換装置を、構成してもよい。
図7は本発明の第3の実施形態に係る画像変換方法を実現する構成例を示すブロック図である。本実施形態では、与えられた第1の画像IINに対して、所定の画像変換として画像拡大を行い、第2の画像IOUTを生成する。なお、本実施形態に係る画像変換方法は、当該方法を実現するためのプログラムをコンピュータに実行させることによって、実現することができる。
本発明の第4の実施形態では、上述したような画像変換方法を、コンピュータグラフィックスにおけるテクスチャマッピングに適用する。
図10は第1の構成例を示す図であり、パーソナルコンピュータを用いて本発明に係る画像変換を行う構成の一例である。カメラ101の解像度はディスプレイ102の解像度よりも低く、ディスプレイ102の表示能力を最大限に生かすために、メインメモリ103にロードされた画像変換プログラムによって拡大画像を作成する。カメラ101で取り込まれた低解像度画像は画像メモリ104に記録される。外部記憶装置105には予め、光源ベクトルL、注目点の入射光の輝度Ii、被写体の拡散反射成分の双方向反射率ρd、およびハイライト部判定用閾値THHが設定されており、メインメモリ103の画像変換プログラムから参照可能になっている。
図11は第2の構成例を示す図であり、サーバークライアントシステムを用いて本発明に係る画像変換を行う構成の一例である。カメラ201の解像度はディスプレイ202の解像度よりも低く、ディスプレイ202の表示能力を最大限に生かすために、サーバークライアントシステムにおいて画像拡大を実行する。
203 影部識別部
205 画像生成部
IIN 入力画像(第1の画像)
SIIN 影識別画像
Claims (12)
- 第1の画像に対して画像拡大または画像縮小である所定の画像変換を行い、第2の画像を生成する方法であって、
前記第1の画像において、影部を識別する第1のステップと、
前記影部について、前記所定の画像変換の内容に応じて、画素の輝度値を用いた第1の変換処理を行う第2のステップと、
前記影部以外の部分について、前記所定の画像変換の内容に応じて、被写体の表面法線を表す表面法線パラメータを用いた第2の変換処理を行う第3のステップとを備え、
前記第1のステップは、
前記第1の画像について、表面法線パラメータを算出するステップと、
被写体表面は滑らかであると仮定して、算出した表面法線パラメータを補正するステップと、
補正後の表面法線パラメータから、所定の照明方程式に従って、輝度値を算出するステップと、
算出した輝度値と実際の輝度値との差を、画素毎に求め、その差が所定値よりも大きい画素を、影部として認識するステップとを備え、
前記第2および第3のステップにおける処理結果を用いて、前記第2の画像を生成する
ことを特徴とする画像変換方法。 - 請求項1において、
前記第1の画像を、拡散反射成分のみからなるように処理する前処理を備えた
ことを特徴とする画像変換方法。 - 請求項1において、
前記所定の画像変換は、画像拡大であり、
前記第1の変換処理は、輝度値を補間して画像を拡大する処理であり、
前記第2の変換処理は、表面法線パラメータを補間して画像を拡大する処理である
ことを特徴とする画像変換方法。 - 請求項1において、
前記所定の画像変換は、画像縮小であり、
前記第1の変換処理は、輝度値をサブサンプリングして画像を縮小する処理であり、
前記第2の変換処理は、表面法線パラメータをサブサンプリングして画像を縮小する処理である
ことを特徴とする画像変換方法。 - 請求項4において、
前記第3のステップの前に、前記第1の画像の表面法線パラメータを、空間位置による変化が滑らかになるように、補正する処理を含む
ことを特徴とする画像変換方法。 - 請求項1において、
前記表面法線パラメータとして、表面法線と光源方向とが成す角度を、用いる
ことを特徴とする画像変換方法。 - テクスチャ画像を、3次元CGモデルのオブジェクトに貼り付ける前処理ステップと、
前記オブジェクトに貼り付けられた前記テクスチャ画像において、影部を識別する第1のステップと、
前記影部について、画像拡大または画像縮小である所定の画像変換の内容に応じて、画素の輝度値を用いた第1の変換処理を行う第2のステップと、
前記影部以外の部分について、前記所定の画像変換の内容に応じて、被写体の表面法線を表す表面法線パラメータを用いた第2の変換処理を行う第3のステップとを備え、
前記第1のステップは、
前記テクスチャ画像について、表面法線パラメータを算出するステップと、
被写体表面は滑らかであると仮定して、算出した表面法線パラメータを補正するステッ プと、
補正後の表面法線パラメータから、所定の照明方程式に従って、輝度値を算出するステップと、
算出した輝度値と実際の輝度値との差を、画素毎に求め、その差が所定値よりも大きい画素を、影部として認識するステップとを備え、
前記第2および第3のステップにおける処理結果を用いて、前記オブジェクトの画像を生成する
ことを特徴とするテクスチャマッピング方法。 - 第1の画像に対して画像拡大または画像縮小である所定の画像変換を行い、第2の画像を生成する装置であって、
前記第1の画像において、影部を識別する影部識別部と、
前記影部識別部によって識別された影部について、前記所定の画像変換の内容に応じて、画素の輝度値を用いた第1の変換処理を行う第1の変換部と、
前記影部以外の部分について、前記所定の画像変換の内容に応じて、被写体の表面法線を表す表面法線パラメータを用いた第2の変換処理を行う第2の変換部とを備え、
前記影部識別部は、
前記第1の画像について、表面法線パラメータを算出する手段と、
被写体表面は滑らかであると仮定して、算出した表面法線パラメータを補正する手段と、
補正後の表面法線パラメータから、所定の照明方程式に従って、輝度値を算出する手段と、
算出した輝度値と実際の輝度値との差を、画素毎に求め、その差が所定値よりも大きい画素を、影部として認識する手段とを備え、
前記第1および第2の変換部による処理結果を用いて、前記第2の画像を生成する
ことを特徴とする画像変換装置。 - 画像変換を行うサーバークライアントシステムであって、
請求項8の影部識別部を有するサーバーと、
請求項8の第1および第2の変換部を有するクライアントとを備えた
ことを特徴とするサーバークライアントシステム。 - 第1の画像に対して画像拡大または画像縮小である所定の画像変換を行い、第2の画像を生成する方法をコンピュータに実行させるプログラムであって、
前記第1の画像において、影部を識別する第1のステップと、
前記影部について、前記所定の画像変換の内容に応じて、画素の輝度値を用いた第1の変換処理を行う第2のステップと、
前記影部以外の部分について、前記所定の画像変換の内容に応じて、被写体の表面法線を表す表面法線パラメータを用いた第2の変換処理を行う第3のステップと、
前記第2および第3のステップにおける処理結果を用いて、前記第2の画像を生成する第4のステップとを
コンピュータに実行させるものであり、
前記第1のステップは、
前記第1の画像について、表面法線パラメータを算出するステップと、
被写体表面は滑らかであると仮定して、算出した表面法線パラメータを補正するステップと、
補正後の表面法線パラメータから、所定の照明方程式に従って、輝度値を算出するステップと、
算出した輝度値と実際の輝度値との差を、画素毎に求め、その差が所定値よりも大きい画素を、影部として認識するステップとを備えたものである
画像変換プログラム。 - 画像において、影部を識別する影認識方法であって、
前記画像について、表面法線パラメータを算出するステップと、
被写体表面は滑らかであると仮定して、算出した表面法線パラメータを補正するステップと、
補正後の表面法線パラメータから、所定の照明方程式に従って、輝度値を算出するステップと、
算出した輝度値と実際の輝度値との差を、画素毎に求め、その差が所定値よりも大きい画素を、影部として認識するステップとを備えたものである
ことを特徴とする影認識方法。 - 画像において、影部を識別する影認識装置であって、
前記画像について、表面法線パラメータを算出する手段と、
被写体表面は滑らかであると仮定して、算出した表面法線パラメータを補正する手段と、
補正後の表面法線パラメータから、所定の照明方程式に従って、輝度値を算出する手段と、
算出した輝度値と実際の輝度値との差を、画素毎に求め、その差が所定値よりも大きい画素を、影部として認識する手段とを備えたものである
ことを特徴とする影認識装置。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005011817 | 2005-01-19 | ||
JP2005011817 | 2005-01-19 | ||
PCT/JP2005/023378 WO2006077710A1 (ja) | 2005-01-19 | 2005-12-20 | 画像変換方法、テクスチャマッピング方法、画像変換装置、サーバークライアントシステム、および画像変換プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP3996630B2 true JP3996630B2 (ja) | 2007-10-24 |
JPWO2006077710A1 JPWO2006077710A1 (ja) | 2008-06-19 |
Family
ID=36692104
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006553836A Expired - Fee Related JP3996630B2 (ja) | 2005-01-19 | 2005-12-20 | 画像変換方法、テクスチャマッピング方法、画像変換装置、サーバークライアントシステム、画像変換プログラム、影認識方法および影認識装置 |
Country Status (4)
Country | Link |
---|---|
US (1) | US7379618B2 (ja) |
JP (1) | JP3996630B2 (ja) |
CN (1) | CN1910623B (ja) |
WO (1) | WO2006077710A1 (ja) |
Families Citing this family (25)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7477785B2 (en) * | 2004-11-19 | 2009-01-13 | Microsoft Corporation | Fuzzy image comparator |
US7620248B2 (en) * | 2004-11-19 | 2009-11-17 | Microsoft Corporation | System and method for validating graphical components of images |
WO2006061999A1 (ja) * | 2004-12-07 | 2006-06-15 | Matsushita Electric Industrial Co., Ltd. | 画像変換方法、装置およびプログラム、テクスチャマッピング方法、装置およびプログラム、並びに、サーバークライアントシステム |
WO2007139067A1 (ja) * | 2006-05-29 | 2007-12-06 | Panasonic Corporation | 画像高解像度化装置、画像高解像度化方法、画像高解像度化プログラムおよび画像高解像度化システム |
JP4827659B2 (ja) * | 2006-08-25 | 2011-11-30 | キヤノン株式会社 | 画像処理装置、画像処理方法、及びコンピュータプログラム |
JP4079378B2 (ja) * | 2006-09-21 | 2008-04-23 | 株式会社コナミデジタルエンタテインメント | 画像処理装置、画像処理装置の制御方法及びプログラム |
RU2009107143A (ru) | 2007-08-07 | 2010-09-10 | Панасоник Корпорэйшн (Jp) | Устройство обработки изображений и способ обработки изображений |
RU2009107141A (ru) | 2007-08-07 | 2010-09-10 | Панасоник Корпорэйшн (Jp) | Устройство формирования информации нормальных векторов и способ формирования информации нормальных векторов |
JP4199817B1 (ja) * | 2007-08-21 | 2008-12-24 | 株式会社コナミデジタルエンタテインメント | 画像生成装置、画像生成方法、および、プログラム |
CN102077242B (zh) * | 2008-07-30 | 2013-08-07 | 松下电器产业株式会社 | 3d纹理的超分辨率的图像生成设备和方法 |
JP5136282B2 (ja) * | 2008-08-21 | 2013-02-06 | 大日本印刷株式会社 | 意匠確認装置、意匠確認方法、およびプログラム |
JP2010048633A (ja) * | 2008-08-21 | 2010-03-04 | Dainippon Printing Co Ltd | ツヤむら可視化装置、ツヤむら可視化方法、およびプログラム |
US8390696B2 (en) * | 2009-01-06 | 2013-03-05 | Panasonic Corporation | Apparatus for detecting direction of image pickup device and moving body comprising same |
JP5247480B2 (ja) * | 2009-01-13 | 2013-07-24 | キヤノン株式会社 | オブジェクト識別装置及びオブジェクト識別方法 |
CN103003663B (zh) | 2010-06-16 | 2016-03-16 | 超级电子取证科技有限公司 | 使用非线性光度立体视觉方法获取工具印痕的三维表面形态图像 |
US20120275524A1 (en) * | 2011-04-28 | 2012-11-01 | Industrial Technology Research Institute | Systems and methods for processing shadows in compressed video images |
WO2014102878A1 (ja) * | 2012-12-27 | 2014-07-03 | パナソニック株式会社 | 画像処理装置及び画像処理方法 |
JP6423625B2 (ja) * | 2014-06-18 | 2018-11-14 | キヤノン株式会社 | 画像処理装置および画像処理方法 |
CN105654424B (zh) * | 2014-11-14 | 2019-04-12 | 南京酷派软件技术有限公司 | 图像的调整比例显示方法、显示***、显示装置和终端 |
CN108028022B (zh) * | 2015-09-30 | 2021-06-15 | 索尼公司 | 图像处理装置、图像处理方法和车辆控制*** |
JP2017138927A (ja) * | 2016-02-05 | 2017-08-10 | キヤノン株式会社 | 画像処理装置、撮像装置およびそれらの制御方法、それらのプログラム |
CN106028135A (zh) * | 2016-05-13 | 2016-10-12 | 乐视控股(北京)有限公司 | 虚拟现实中三维场景描述的调整方法及装置 |
CN107886476B (zh) * | 2016-09-30 | 2021-06-15 | 联咏科技股份有限公司 | 纹理合成的方法以及使用该方法的图像处理设备 |
JP7039616B2 (ja) * | 2017-12-22 | 2022-03-22 | 株式会社ソニー・インタラクティブエンタテインメント | 情報処理装置および表面粗さ取得方法 |
JP7011694B2 (ja) * | 2020-10-05 | 2022-01-27 | キヤノン株式会社 | 画像処理装置およびその制御方法、プログラム |
Family Cites Families (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0772915B2 (ja) * | 1986-03-05 | 1995-08-02 | 株式会社日立製作所 | 図形シェーディング装置 |
JPH02275594A (ja) * | 1989-04-17 | 1990-11-09 | Daikin Ind Ltd | 付影処理方法およびその装置 |
US5083287A (en) | 1988-07-14 | 1992-01-21 | Daikin Industries, Inc. | Method and apparatus for applying a shadowing operation to figures to be drawn for displaying on crt-display |
JP3198617B2 (ja) * | 1991-10-30 | 2001-08-13 | ソニー株式会社 | 三次元形状復元方法とその装置 |
JP3409873B2 (ja) * | 1993-03-05 | 2003-05-26 | 株式会社東芝 | 物体入力装置 |
JP3580670B2 (ja) * | 1997-06-10 | 2004-10-27 | 富士通株式会社 | 入力画像を基準画像に対応付ける方法、そのための装置、及びその方法を実現するプログラムを記憶した記憶媒体 |
JPH1166344A (ja) | 1997-08-26 | 1999-03-09 | Taito Corp | ポリゴンシェーディング方法及びその方法の実施に用いられる装置 |
JP2000115539A (ja) * | 1998-09-30 | 2000-04-21 | Fuji Photo Film Co Ltd | 画像処理方法、画像処理装置及び記録媒体 |
JP2001014454A (ja) * | 1999-06-29 | 2001-01-19 | Sharp Corp | 画像処理装置 |
JP4223244B2 (ja) | 2002-08-06 | 2009-02-12 | 株式会社バンダイナムコゲームス | 画像生成システム、プログラム及び情報記憶媒体 |
US20050212794A1 (en) * | 2004-03-29 | 2005-09-29 | Communications Research Laboratory, Independent Administrative Institution | Method and apparatus for removing of shadows and shadings from texture images |
JP3935499B2 (ja) * | 2004-07-26 | 2007-06-20 | 松下電器産業株式会社 | 画像処理方法、画像処理装置および画像処理プログラム |
-
2005
- 2005-12-20 CN CN2005800020127A patent/CN1910623B/zh not_active Expired - Fee Related
- 2005-12-20 JP JP2006553836A patent/JP3996630B2/ja not_active Expired - Fee Related
- 2005-12-20 WO PCT/JP2005/023378 patent/WO2006077710A1/ja not_active Application Discontinuation
-
2006
- 2006-06-15 US US11/454,174 patent/US7379618B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
CN1910623A (zh) | 2007-02-07 |
CN1910623B (zh) | 2011-04-20 |
US7379618B2 (en) | 2008-05-27 |
JPWO2006077710A1 (ja) | 2008-06-19 |
US20060239584A1 (en) | 2006-10-26 |
WO2006077710A1 (ja) | 2006-07-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3996630B2 (ja) | 画像変換方法、テクスチャマッピング方法、画像変換装置、サーバークライアントシステム、画像変換プログラム、影認識方法および影認識装置 | |
US8131116B2 (en) | Image processing device, image processing method and image processing program | |
JP7080613B2 (ja) | 画像処理装置、画像処理方法およびプログラム | |
KR101831551B1 (ko) | 높은 동적 범위의 이미지 생성 및 렌더링 | |
JP3967367B2 (ja) | 画像変換方法、装置およびプログラム、テクスチャマッピング方法、装置およびプログラム、並びに、サーバークライアントシステム | |
US8711248B2 (en) | Global alignment for high-dynamic range image generation | |
US8897596B1 (en) | System and method for rapid image sequence depth enhancement with translucent elements | |
US7340098B2 (en) | Method and apparatus for image conversion | |
US20070189386A1 (en) | Image generation apparatus and image generation method | |
JP4811462B2 (ja) | 画像処理方法、画像処理プログラム、画像処理装置、及び撮像装置 | |
CN110140151B (zh) | 用于生成光强度图像的装置和方法 | |
JP2008181520A (ja) | 復元された顔画像をビデオから再構成するシステムおよび方法 | |
JPWO2020004013A1 (ja) | 画像処理装置および画像処理方法 | |
JP2020061080A (ja) | 画像処理装置、撮像装置、画像処理方法 | |
US20030113036A1 (en) | Method and apparatus for generating texture for 3D facial model | |
JP6575999B2 (ja) | 照明情報取得装置、照明復元装置、およびこれらのプログラム | |
JPWO2006033257A1 (ja) | 画像変換方法、画像変換装置、サーバークライアントシステム、携帯機器およびプログラム | |
JP2014164497A (ja) | 画像処理装置、画像処理方法及びプログラム | |
WO2020050222A1 (ja) | 画像再生装置、画像生成装置、画像生成方法、制御プログラム及び記録媒体 | |
Jini et al. | Image Inpainting Using Image Interpolation-An Analysis | |
JP2014039126A (ja) | 画像処理装置、画像処理方法、及びプログラム | |
JP2009003656A (ja) | 画像処理装置および画像処理方法 | |
JPH11211440A (ja) | 三次元形状復元装置及び方法並びに三次元形状復元プログラムを記録したコンピュータ読取り可能な記録媒体 | |
JP2005311725A (ja) | ステレオ画像の隠蔽装置、及びステレオ画像の隠蔽方法、隠蔽画像の復元装置、及び隠蔽画像の復元方法、並びに、そのプログラム及び記憶媒体 | |
Rokita | Compositing computer graphics and real world video sequences |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070710 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070802 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100810 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 Ref document number: 3996630 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100810 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110810 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110810 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120810 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130810 Year of fee payment: 6 |
|
S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
LAPS | Cancellation because of no payment of annual fees |