JP2015215890A - 映像処理方法及び装置 - Google Patents
映像処理方法及び装置 Download PDFInfo
- Publication number
- JP2015215890A JP2015215890A JP2015090585A JP2015090585A JP2015215890A JP 2015215890 A JP2015215890 A JP 2015215890A JP 2015090585 A JP2015090585 A JP 2015090585A JP 2015090585 A JP2015090585 A JP 2015090585A JP 2015215890 A JP2015215890 A JP 2015215890A
- Authority
- JP
- Japan
- Prior art keywords
- vpl
- current frame
- video processing
- sampled
- processing method
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 53
- 238000005070 sampling Methods 0.000 claims abstract description 225
- 238000009877 rendering Methods 0.000 claims abstract description 33
- 238000001914 filtration Methods 0.000 claims description 28
- 238000000034 method Methods 0.000 claims description 25
- 239000011159 matrix material Substances 0.000 claims description 17
- 230000002123 temporal effect Effects 0.000 claims description 5
- 239000000463 material Substances 0.000 claims description 4
- 230000008569 process Effects 0.000 description 10
- 230000006870 function Effects 0.000 description 8
- 230000008859 change Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 230000000694 effects Effects 0.000 description 5
- 238000005286 illumination Methods 0.000 description 4
- 230000001788 irregular Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000003190 augmentative effect Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000001795 light effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/50—Lighting effects
- G06T15/506—Illumination models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/50—Lighting effects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
- G06T5/30—Erosion or dilatation, e.g. thinning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Graphics (AREA)
- General Engineering & Computer Science (AREA)
- Computer Hardware Design (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
- Image Generation (AREA)
- Processing Or Creating Images (AREA)
- Controls And Circuits For Display Device (AREA)
- Image Processing (AREA)
Abstract
Description
110:空間フィルタリング実行部
120:VPL密度決定部
130:VPLサンプリング部
140:時間フィルタリング実行部
150:レンダリング部
Claims (29)
- 現在フレームの領域ごとにVPL(Virtual Point Light)サンプリング個数を決定するステップと、
以前フレームでサンプリングされたVPLを前記現在フレームに適用するステップと、
前記決定されたVPLサンプリングの個数に基づいて、前記以前フレームのVPLが適用された結果を調整するステップと、
前記現在フレームでサンプリングされたVPLに基づいて、前記現在フレームをレンダリングするステップと、
を含む、ことを特徴とする映像処理方法。 - 前記調整するステップは、前記決定されたVPLサンプリングの個数に基づいて、前記以前フレームのVPLが適用された現在フレームの領域ごとにサンプリングされるVPLの個数を調整する、
ことを特徴とする請求項1に記載の映像処理方法。 - 前記調整するステップは、前記決定されたVPLサンプリングの個数を満足するように前記現在フレームに適用された以前フレームのVPLを除いた少なくとも1つの新しいVPLをサンプリングするステップ、を含む、
ことを特徴とする請求項1または2に記載の映像処理方法。 - 前記サンプリングするステップは、前記新しいVPLがサンプリングされる領域の明度分布に基づいて、前記新しいVPLがサンプリングされる位置を決定するステップ、を含む、
ことを特徴とする請求項3に記載の映像処理方法。 - 前記サンプリングするステップは、前記新しいVPLがサンプリングされる領域で前記新しいVPLがサンプリングされる位置を任意に決定するステップ、を含む、
ことを特徴とする請求項3または4に記載の映像処理方法。 - 前記サンプリングするステップは、前記現在フレームに現れたオブジェクトの動き及び前記オブジェクトの材質特性のうち少なくとも1つに基づいて、前記新しいVPLがサンプリングされる位置を決定するステップ、を含む、
ことを特徴とする請求項3ないし5のいずれか一項に記載の映像処理方法。 - 前記サンプリングするステップは、前記新しいVPLがサンプリングされる領域に含まれる各サブ領域の中心位置に前記新しいVPLをサンプリングする、
ことを特徴とする請求項3ないし6のいずれか一項に記載の映像処理方法。 - 前記調整するステップは、前記決定されたVPLサンプリングの個数を満足するように前記現在フレームに適用された以前フレームのVPLのうち少なくとも1つのVPLを除去するステップ、を含む、
ことを特徴とする請求項1ないし7のいずれか一項に記載の映像処理方法。 - 前記除去するステップは、前記現在フレームに適用された以前フレームのVPLの明度に基づいて、前記現在フレームに適用された以前フレームのVPLのうち除去するVPLを決定するステップ、を含む、
ことを特徴とする請求項8に記載の映像処理方法。 - 前記決定するステップは、
前記現在フレームに複数のオブジェクト領域を設定するステップと、
前記設定されたオブジェクト領域ごとに前記VPLサンプリングの個数を決定するステップと、
を含む、
ことを特徴とする請求項1ないし9のいずれか一項に記載の映像処理方法。 - 前記決定するステップは、
前記現在フレームに複数のグリッド領域を設定するステップと、
前記設定されたグリッド領域ごとに前記VPLサンプリングの個数を決定するステップと、
を含む、
ことを特徴とする請求項1ないし10のいずれか一項に記載の映像処理方法。 - 前記適用するステップは、前記以前フレームでVPLがサンプリングされた位置に対応する前記現在フレーム内の位置にVPLをサンプリングすることを特徴とする請求項1ないし請求項11のいずれか1項に記載の映像処理方法。
- 前記適用するステップは、視点マトリックス、投影マトリックス、及びモデルマトリックスのうち少なくとも1つを用いて、前記以前フレームでサンプリングされたVPLを前記現在フレームに適用する、
ことを特徴とする請求項1ないし12のいずれか一項に記載の映像処理方法。 - 前記調整するステップは、前記以前フレームでサンプリングされたVPLの明度に基づいて前記現在フレームでサンプリングされたVPLの明度を調整するステップ、を含む、
ことを特徴とする請求項1ないし13のいずれか一項に記載の映像処理方法。 - 前記方法は、
前記現在フレームに空間フィルタリングを行うステップ、をさらに含み、
前記決定するステップは、前記空間フィルタリングが実行された現在フレームの領域ごとにVPLサンプリングの個数を決定する、
ことを特徴とする請求項1ないし14のいずれか一項に記載の映像処理方法。 - 前記決定するステップは、現在フレームに設定されたグリッド領域ごとにVPLサンプリングの個数を決定し、
前記調整するステップは、前記決定されたVPLサンプリングの個数に基づいて前記現在フレームのグリッド領域ごとにサンプリングされたVPLの個数を調整する、
ことを特徴とする請求項1ないし15のいずれか一項に記載の映像処理方法。 - 前記決定するステップは、前記グリッド領域それぞれの明度情報に基づいてグリッド領域ごとにVPLサンプリングの個数を決定する、
ことを特徴とする請求項16に記載の映像処理方法。 - 前記調整するステップは、前記決定されたVPLサンプリングの個数に基づいて、前記以前フレームのVPLが適用された現在フレームのグリッド領域ごとにVPLの個数を調整する、
ことを特徴とする請求項16または17に記載の映像処理方法。 - コンピュータに、
請求項1ないし18のいずれか一項に記載の方法を実行させるためのプログラムが記録されたコンピュータ読取可能な記録媒体。 - 現在フレームの領域ごとにVPLサンプリングの個数を決定するVPL密度決定部と、
以前フレームでサンプリングされたVPLを前記現在フレームに適用し、前記決定されたVPLサンプリングの個数に基づいて前記以前フレームのVPLが適用された結果を調整するVPLサンプリング部と、
前記現在フレームでサンプリングされたVPLに基づいて前記現在フレームをレンダリングするレンダリング部と、
を含む、ことを特徴とする映像処理装置。 - 前記以前フレームでサンプリングされたVPLの明度に基づいて、前記現在フレームでサンプリングされたVPLの明度を調整する時間フィルタリング実行部、をさらに含む、
ことを特徴とする請求項20に記載の映像処理装置。 - 前記現在フレームに空間フィルタを適用して空間フィルタリングを行う空間フィルタリング実行部、をさらに含み、
前記VPL密度決定部は、前記空間フィルタリングが実行された現在フレームの領域ごとにサンプリングされるVPLの個数を決定する、
ことを特徴とする請求項20または21に記載の映像処理装置。 - 前記VPLサンプリング部は、前記決定されたVPLサンプリングの個数に基づいて、前記以前フレームのVPLが適用された現在フレームの領域ごとにVPLの個数を調整する、
ことを特徴とする請求項20ないし22のいずれか一項に記載の映像処理装置。 - 前記VPL密度決定部は、前記現在フレームに複数のグリッド領域を設定し、前記設定されたグリッド領域ごとに前記VPLサンプリングの個数を決定する、
ことを特徴とする請求項20ないし23のいずれか一項に記載の映像処理装置。 - 前記VPL密度決定部は、前記グリッド領域それぞれの明度情報に基づいてグリッド領域ごとに前記VPLサンプリングの個数を決定する、
ことを特徴とする請求項24に記載の映像処理装置。 - 現在フレームのグリッド領域ごとにVPLサンプリングの個数を決定するVPL密度決定部と、
前記決定されたVPLサンプリングの個数に基づいて、前記グリッド領域ごとにVPLをサンプリングするVPLサンプリング部と、
前記現在フレームでサンプリングされたVPLに基づいて、前記現在フレームをレンダリングするレンダリング部と、
を含む、ことを特徴とする映像処理装置。 - 現在フレームの各領域ごとにVPLサンプリング個数を決定するステップと、
前記各領域ごとに決定されたVPLサンプリング個数及び以前フレームでサンプリングされたVPLに基づいて、現在フレームでVPLをサンプリングするステップと、
前記現在フレームでサンプリングされたVPLに基づいて、前記現在フレームをレンダリングするステップと、
を含む、ことを特徴とする映像処理装置。 - 前記サンプリングするステップは、
以前フレームでサンプリングされたVPLを前記現在フレームに適用するステップと、
前記現在フレームの各領域ごとに決定されたVPLサンプリング個数を超過することなく、前記現在フレームに以前フレームから適用されたVPLを保持するステップと、
を含む、ことを特徴とする請求項27に記載の映像処理装置。 - 前記サンプリングするステップは、
以前フレームでサンプリングされたVPLを前記現在フレームに適用するステップと、
前記各領域ごとに決定されたVPLサンプリング個数、前記現在フレームに適用された以前フレームのVPLサンプリング個数に基づいて、前記現在フレームに新しいVPLをサンプリングするか、または、前記現在フレームに適用された以前フレームのVPLを除去するステップと、
を含む、ことを特徴とする請求項27に記載の映像処理装置。
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR20140055875 | 2014-05-09 | ||
KR10-2014-0055875 | 2014-05-09 | ||
KR10-2014-0187465 | 2014-12-23 | ||
KR1020140187465A KR102306774B1 (ko) | 2014-05-09 | 2014-12-23 | 영상 처리 방법 및 장치 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2015215890A true JP2015215890A (ja) | 2015-12-03 |
JP6543508B2 JP6543508B2 (ja) | 2019-07-10 |
Family
ID=53177164
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015090585A Active JP6543508B2 (ja) | 2014-05-09 | 2015-04-27 | 映像処理方法及び装置 |
Country Status (4)
Country | Link |
---|---|
US (1) | US10403034B2 (ja) |
EP (1) | EP2942755B1 (ja) |
JP (1) | JP6543508B2 (ja) |
CN (1) | CN105096375B (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2022515798A (ja) * | 2019-05-17 | 2022-02-22 | ▲騰▼▲訊▼科技(深▲セン▼)有限公司 | 照明レンダリング方法、装置、電子装置及びコンピュータプログラム |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6344311B2 (ja) * | 2015-05-26 | 2018-06-20 | ソニー株式会社 | 表示装置、情報処理システム及び制御方法 |
US10411798B2 (en) * | 2017-07-13 | 2019-09-10 | Qualcomm Incorporated | Power optimized VLC signal processing with efficient handling of ISP/VFE |
WO2019182911A1 (en) | 2018-03-17 | 2019-09-26 | Nvidia Corporation | Reflection denoising in ray-tracing applications |
US10991079B2 (en) | 2018-08-14 | 2021-04-27 | Nvidia Corporation | Using previously rendered scene frames to reduce pixel noise |
CN109583485B (zh) * | 2018-11-16 | 2023-12-08 | 聚时科技(上海)有限公司 | 一种基于反馈训练的有监督深度学习方法 |
US10825231B2 (en) * | 2018-12-10 | 2020-11-03 | Arm Limited | Methods of and apparatus for rendering frames for display using ray tracing |
Family Cites Families (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH08287295A (ja) | 1995-04-19 | 1996-11-01 | Matsushita Electric Ind Co Ltd | 図形処理装置および図形処理方法 |
KR101088373B1 (ko) | 2005-02-15 | 2011-12-01 | 삼성전자주식회사 | 3차원 그래픽 컨텐츠 제작장치와 방법 및 컴퓨터 프로그램을 저장하는 컴퓨터로 읽을 수 있는 기록매체 |
WO2008146190A2 (en) * | 2007-05-30 | 2008-12-04 | Nxp B.V. | Method of determining an image distribution for a light field data structure |
US8542231B2 (en) | 2009-06-29 | 2013-09-24 | Crytek Gmbh | Method, computer graphics image rendering system and computer-readable data storage medium for computing of indirect illumination in a computer graphics image of a scene |
US8406556B2 (en) | 2010-06-10 | 2013-03-26 | Microsoft Corporation | Light transport reconstruction from sparsely captured images |
KR20120004227A (ko) | 2010-07-06 | 2012-01-12 | 삼성전자주식회사 | 영상 처리 장치 및 방법 |
KR20120062542A (ko) | 2010-12-06 | 2012-06-14 | 삼성전자주식회사 | 영상 처리 장치 및 방법 |
KR101845225B1 (ko) | 2011-06-30 | 2018-04-04 | 삼성전자주식회사 | 영상 처리 장치 및 방법 |
US9275477B2 (en) | 2011-12-05 | 2016-03-01 | Kabushiki Kaisha Square Enix | Real-time global illumination rendering system |
JP2014038426A (ja) | 2012-08-14 | 2014-02-27 | Ricoh Co Ltd | 画像処理装置 |
KR102211142B1 (ko) | 2013-07-16 | 2021-02-04 | 삼성전자주식회사 | 영상 처리 장치 및 방법 |
CN103606182B (zh) * | 2013-11-19 | 2017-04-26 | 华为技术有限公司 | 图像渲染方法及装置 |
-
2015
- 2015-04-20 CN CN201510187622.4A patent/CN105096375B/zh active Active
- 2015-04-27 JP JP2015090585A patent/JP6543508B2/ja active Active
- 2015-05-08 US US14/707,761 patent/US10403034B2/en active Active
- 2015-05-08 EP EP15166965.2A patent/EP2942755B1/en active Active
Non-Patent Citations (2)
Title |
---|
SAMULI LAINE,外4名: ""Incremental Instant Radiosity for Real-Time Indirect Illumination"", EGSR'07 PROCEEDINGS OF THE 18TH EUROGRAPHICS CONFERENCE ON RENDERING TECHNIQUES, JPN7018003496, 2007, FR, pages 277 - 286, XP055224535, DOI: doi:10.2312/EGWR/EGSR07/277-286 * |
西川善司, 「ゲーム制作者になるための3Dグラフィックス技術 増補改訂版」, vol. 初版, JPN6018040048, 2013, pages 323 - 335 * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2022515798A (ja) * | 2019-05-17 | 2022-02-22 | ▲騰▼▲訊▼科技(深▲セン▼)有限公司 | 照明レンダリング方法、装置、電子装置及びコンピュータプログラム |
JP7254405B2 (ja) | 2019-05-17 | 2023-04-10 | ▲騰▼▲訊▼科技(深▲セン▼)有限公司 | 照明レンダリング方法、装置、電子装置及びコンピュータプログラム |
Also Published As
Publication number | Publication date |
---|---|
US20150325041A1 (en) | 2015-11-12 |
JP6543508B2 (ja) | 2019-07-10 |
US10403034B2 (en) | 2019-09-03 |
EP2942755A2 (en) | 2015-11-11 |
EP2942755A3 (en) | 2015-12-09 |
CN105096375A (zh) | 2015-11-25 |
CN105096375B (zh) | 2020-03-13 |
EP2942755B1 (en) | 2020-04-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6543508B2 (ja) | 映像処理方法及び装置 | |
JP6910130B2 (ja) | 3dレンダリング方法及び3dレンダリング装置 | |
Van Waveren | The asynchronous time warp for virtual reality on consumer hardware | |
KR102046616B1 (ko) | 오브젝트 및/또는 프리미티브 식별자들을 추적하는 것에 의한 그래픽스 프로세싱 강화 | |
US9569885B2 (en) | Technique for pre-computing ambient obscurance | |
JP2018537755A (ja) | 中心窩ジオメトリテッセレーション | |
US9684997B2 (en) | Efficient rendering of volumetric elements | |
US20130329107A1 (en) | Streaming Light Propagation | |
US9704229B2 (en) | Post-render motion blur | |
US8854392B2 (en) | Circular scratch shader | |
KR102250254B1 (ko) | 영상 처리 방법 및 장치 | |
KR20170034727A (ko) | 그림자 정보 저장 방법 및 장치, 3d 렌더링 방법 및 장치 | |
KR102558737B1 (ko) | 3d 렌더링 방법 및 장치 | |
KR20150114767A (ko) | 멀티 프레임들의 동일한 영역을 연속으로 렌더링하는 방법 및 장치 | |
CN112233220B (zh) | 基于OpenSceneGraph的体积光生成方法、装置、设备和存储介质 | |
EP3422709A1 (en) | Stereo rendering | |
KR102558739B1 (ko) | 3d 렌더링 방법 및 장치 | |
US9639975B1 (en) | System and method for generating shadows | |
KR20160061066A (ko) | 영상 처리 장치 및 방법 | |
KR102306774B1 (ko) | 영상 처리 방법 및 장치 | |
US20210089423A1 (en) | Flexible multi-user graphics architecture | |
US9449423B2 (en) | Apparatus and method for image processing | |
Beck et al. | DiReC: Distributing the render cache to PC-clusters for interactive environments | |
Cherry | Real-Time Shadows for Gigapixel Displacement Maps |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20171113 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20180921 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20181016 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190111 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190205 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190507 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190528 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190617 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6543508 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |