JP2017182796A5 - - Google Patents

Download PDF

Info

Publication number
JP2017182796A5
JP2017182796A5 JP2017047117A JP2017047117A JP2017182796A5 JP 2017182796 A5 JP2017182796 A5 JP 2017182796A5 JP 2017047117 A JP2017047117 A JP 2017047117A JP 2017047117 A JP2017047117 A JP 2017047117A JP 2017182796 A5 JP2017182796 A5 JP 2017182796A5
Authority
JP
Japan
Prior art keywords
ray
group
appendix
rays
groups
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017047117A
Other languages
English (en)
Other versions
JP6847718B6 (ja
JP6847718B2 (ja
JP2017182796A (ja
Filing date
Publication date
Priority claimed from EP16305273.1A external-priority patent/EP3220351A1/en
Application filed filed Critical
Publication of JP2017182796A publication Critical patent/JP2017182796A/ja
Publication of JP2017182796A5 publication Critical patent/JP2017182796A5/ja
Application granted granted Critical
Publication of JP6847718B2 publication Critical patent/JP6847718B2/ja
Publication of JP6847718B6 publication Critical patent/JP6847718B6/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Description

多数の実装形態が説明された。それにもかかわらず、様々な変更形態がなされ得ることが理解されるであろう。例えば、異なる実装形態の要素が、他の実装形態をもたらすために、結合、補足、変更または除去されてもよい。加えて、当業者は、他の構造およびプロセスが、開示されているものの代わりに用いられてもよく、その結果得られる実装形態は、開示されている実装形態と少なくとも実質的に同じ機能を少なくとも実質的に同じ様態で遂行し、少なくとも実質的に同じ結果を達成することを理解するであろう。したがって、これらおよび他の実装形態が本出願によって企図されている。
また、上記実施形態の一部又は全部は、以下の付記のようにも記載され得るが、以下には限定されない。
(付記1)
シーンを表すライトフィールドデータを処理する方法であって、前記ライトフィールドデータが複数の要素を含み、4次元座標が前記複数の要素の各要素に関連付けられ、前記方法は、
光線を各要素に関連付けることであって、前記光線は、各前記要素に関連付けられた前記4次元座標から得られる、関連付けることと、
前記要素毎に深度情報を決定することと、
前記深度情報に従って前記シーン内における各前記光線の起点を決定することと、
前記シーンにおいて同じ起点を有する光線をグループ化して、複数のグループを形成することと、
前記複数のグループのうちのグループの少なくとも1つの対について、前記少なくとも1つの対を形成する第1の光線グループと第2の光線グループとの間の関係を確立することであって、重みが前記関係に関連付けられ、
前記第1のグループの前記光線の少なくとも一部の光線毎に、前記第2のグループの光線が前記第1のグループの前記光線の近傍内に含まれる場合に、前記第2のグループの前記光線と前記第1のグループの前記光線との差を算出し、
前記差を合計することによって前記重みを決定する
ことによって決定される、確立することと、
前記ライトフィールドデータを前記複数のグループおよび前記関係に従って処理することと
を含む、方法。
(付記2)
‘i’により参照され、4次元座標(si,ti,xi,yi)を用いて表現された第1の光線、および‘j’により参照され、4次元座標(sj,tj,xj,yj)を用いて表現された第2の光線は、以下:
xi+(si−sj)×D(si,ti,xi,yi)−xj<E1、かつ
yi+(ti−tj)×D(si,ti,xi,yi)−yj<E2
の場合に、前記複数のグループのうちの同じグループにグループ化され、ここで、D(si,ti,xi,yi)は、前記第1の光線に関連付けられた前記深度情報に対応し、E1は、第1の決定値に対応し、およびE2は、第2の決定値に対応する、付記1に記載の方法。
(付記3)
前記第1の光線および前記第2の光線は、以下の条件:
xj+(sj−si)×D(sj,tj,xj,yj)−xi<E1、かつ
yj+(tj−ti)×D(sj,tj,xj,yj)−yi<E2
がさらに満たされる場合に、前記同じグループにグループ化され、ここで、D(sj,tj,xj,yj)は、前記第2の光線に関連付けられた前記深度情報に対応する、付記2に記載の方法。
(付記4)
少なくとも1つの光線が前記複数のグループのうちのグループに割り当てられない、付記1〜3のいずれかに記載の方法。
(付記5)
前記処理は、前記ライトフィールドデータを前記関係に従ってセグメント化することを含む、付記1に記載の方法。
(付記6)
シーンを表すライトフィールドデータを処理するように適合されたデバイスであって、前記ライトフィールドデータが複数の要素を含み、4次元座標が前記複数の要素の各要素に関連付けられ、前記デバイスは、
光線を各要素に関連付けることであって、前記光線は、前記各要素に関連付けられた前記4次元座標から得られる、関連付けることと、
前記要素毎に深度情報を決定することと、
前記深度情報に従って前記シーン内における各前記光線の起点を決定することと、
前記シーンにおいて同じ起点を有する光線をグループ化して、複数のグループを形成することと、
前記複数のグループのうちのグループの少なくとも1つの対について、前記少なくとも1つの対を形成する第1の光線グループと第2の光線グループとの間の関係を確立することであって、重みが前記関係に関連付けられ、
前記第1のグループの前記光線の少なくとも一部の光線毎に、前記第2のグループの光線が前記第1のグループの前記光線の近傍内に含まれる場合に、前記第2のグループの前記光線と前記第1のグループの前記光線との差を算出し、
前記差を合計することによって前記重みを決定する
ことによって決定される、確立することと、
前記ライトフィールドデータを前記複数のグループおよび前記関係に従って処理することと
を行うように構成された少なくとも1つのプロセッサを含む、デバイス。
(付記7)
前記少なくとも1つのプロセッサは、‘i’により参照され、4次元座標(si,ti,xi,yi)を用いて表現された第1の光線、および‘j’により参照され、4次元座標(sj,tj,xj,yj)を用いて表現された第2の光線を、以下:
xi+(si−sj)×D(si,ti,xi,yi)−xj<E1、かつ
yi+(ti−tj)×D(si,ti,xi,yi)−yj<E2
の場合に、前記複数のグループのうちの同じグループにグループ化するように構成され、ここで、D(si,ti,xi,yi)は、前記第1の光線に関連付けられた前記深度情報に対応し、E1は、第1の決定値に対応し、およびE2は、第2の決定値に対応する、付記6に記載のデバイス。
(付記8)
前記少なくとも1つのプロセッサは、以下の条件:
xj+(sj−si)×D(sj,tj,xj,yj)−xi<E1、かつ
yj+(tj−ti)×D(sj,tj,xj,yj)−yi<E2
がさらに満たされる場合に、前記第1の光線および前記第2の光線を前記同じグループにグループ化するように構成され、ここで、D(sj,tj,xj,yj)は、前記第2の光線に関連付けられた前記深度情報に対応する、付記7に記載のデバイス。
(付記9)
少なくとも1つの光線が前記複数のグループのうちのグループに割り当てられない、付記6〜8のいずれかに記載のデバイス。
(付記10)
前記少なくとも1つのプロセッサは、前記ライトフィールドデータを前記関係に従ってセグメント化するようにさらに構成されている、付記6に記載のデバイス。
(付記11)
ライトフィールド取得デバイスと、請求項6〜10のいずれか一項に記載のデバイスとを含むマルチメディア端末。
(付記12)
プログラムコードの命令であって、プログラムがコンピュータ上で実行されると、付記1〜5のいずれかに記載の方法を実行するプログラムコードの命令を含むコンピュータプログラム製品。
(付記13)
プロセッサ可読媒体であって、プロセッサに、付記1〜5のいずれかに記載の方法の操作を遂行させるための命令をその中に記憶したプロセッサ可読媒体。
JP2017047117A 2016-03-14 2017-03-13 ライトフィールドデータを処理する方法およびデバイス Active JP6847718B6 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP16305273.1 2016-03-14
EP16305273.1A EP3220351A1 (en) 2016-03-14 2016-03-14 Method and device for processing lightfield data

Publications (4)

Publication Number Publication Date
JP2017182796A JP2017182796A (ja) 2017-10-05
JP2017182796A5 true JP2017182796A5 (ja) 2020-04-09
JP6847718B2 JP6847718B2 (ja) 2021-03-24
JP6847718B6 JP6847718B6 (ja) 2021-05-26

Family

ID=55642383

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017047117A Active JP6847718B6 (ja) 2016-03-14 2017-03-13 ライトフィールドデータを処理する方法およびデバイス

Country Status (5)

Country Link
US (1) US10055856B2 (ja)
EP (2) EP3220351A1 (ja)
JP (1) JP6847718B6 (ja)
KR (1) KR102354260B1 (ja)
CN (1) CN107194965B (ja)

Families Citing this family (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10298834B2 (en) 2006-12-01 2019-05-21 Google Llc Video refocusing
US9858649B2 (en) 2015-09-30 2018-01-02 Lytro, Inc. Depth-based image blurring
US10334151B2 (en) 2013-04-22 2019-06-25 Google Llc Phase detection autofocus using subaperture images
US11328446B2 (en) 2015-04-15 2022-05-10 Google Llc Combining light-field data with active depth data for depth map generation
US10567464B2 (en) 2015-04-15 2020-02-18 Google Llc Video compression with adaptive view-dependent lighting removal
US10540818B2 (en) 2015-04-15 2020-01-21 Google Llc Stereo image generation and interactive playback
US10341632B2 (en) 2015-04-15 2019-07-02 Google Llc. Spatial random access enabled video system with a three-dimensional viewing volume
US10444931B2 (en) 2017-05-09 2019-10-15 Google Llc Vantage generation and interactive playback
US10419737B2 (en) 2015-04-15 2019-09-17 Google Llc Data structures and delivery methods for expediting virtual reality playback
US10565734B2 (en) 2015-04-15 2020-02-18 Google Llc Video capture, processing, calibration, computational fiber artifact removal, and light-field pipeline
US10275898B1 (en) 2015-04-15 2019-04-30 Google Llc Wedge-based light-field video capture
US10412373B2 (en) 2015-04-15 2019-09-10 Google Llc Image capture for virtual reality displays
US10546424B2 (en) 2015-04-15 2020-01-28 Google Llc Layered content delivery for virtual and augmented reality experiences
US10469873B2 (en) 2015-04-15 2019-11-05 Google Llc Encoding and decoding virtual reality video
US10440407B2 (en) 2017-05-09 2019-10-08 Google Llc Adaptive control for immersive experience delivery
US9979909B2 (en) 2015-07-24 2018-05-22 Lytro, Inc. Automatic lens flare detection and correction for light-field images
US10275892B2 (en) 2016-06-09 2019-04-30 Google Llc Multi-view scene segmentation and propagation
US10679361B2 (en) 2016-12-05 2020-06-09 Google Llc Multi-view rotoscope contour propagation
US9900510B1 (en) * 2016-12-08 2018-02-20 Lytro, Inc. Motion blur for light-field images
US10594945B2 (en) 2017-04-03 2020-03-17 Google Llc Generating dolly zoom effect using light field image data
US10474227B2 (en) 2017-05-09 2019-11-12 Google Llc Generation of virtual reality with 6 degrees of freedom from limited viewer data
US10354399B2 (en) 2017-05-25 2019-07-16 Google Llc Multi-view back-projection to a light-field
US10545215B2 (en) 2017-09-13 2020-01-28 Google Llc 4D camera tracking and optical stabilization
US10776995B2 (en) * 2017-10-17 2020-09-15 Nvidia Corporation Light fields as better backgrounds in rendering
EP3493155A1 (en) * 2017-12-01 2019-06-05 Thomson Licensing Surface color segmentation
US10965862B2 (en) 2018-01-18 2021-03-30 Google Llc Multi-camera navigation interface
US10678056B2 (en) * 2018-02-26 2020-06-09 Google Llc Augmented reality light field head-mounted displays
KR102545980B1 (ko) 2018-07-19 2023-06-21 액티브 서지컬, 인크. 자동화된 수술 로봇을 위한 비전 시스템에서 깊이의 다중 모달 감지를 위한 시스템 및 방법
CN109360235B (zh) * 2018-09-29 2022-07-19 中国航空工业集团公司上海航空测控技术研究所 一种基于光场数据的混合深度估计方法
CN113950279B (zh) 2019-04-08 2023-04-14 艾科缇弗外科公司 用于医疗成像的***和方法
WO2021035094A1 (en) 2019-08-21 2021-02-25 Activ Surgical, Inc. Systems and methods for medical imaging
CN112884877A (zh) * 2021-02-19 2021-06-01 中国科学院微电子研究所 光场显示方法、装置、电子设备及存储介质
CN116630134A (zh) * 2023-05-23 2023-08-22 北京拙河科技有限公司 一种光场相机图像数据多线程处理方法及装置

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7129943B2 (en) * 2002-11-15 2006-10-31 Microsoft Corporation System and method for feature-based light field morphing and texture transfer
US20130070222A1 (en) * 2011-09-19 2013-03-21 D2S, Inc. Method and System for Optimization of an Image on a Substrate to be Manufactured Using Optical Lithography
ATE551841T1 (de) * 2009-04-22 2012-04-15 Raytrix Gmbh Digitales bildgebungsverfahren zum synthetisieren eines bildes unter verwendung der mit einer plenoptischen kamera aufgezeichneten daten
KR101675961B1 (ko) * 2010-12-29 2016-11-14 삼성전자주식회사 적응적 부화소 렌더링 장치 및 방법
GB2501936B (en) 2012-05-11 2016-11-30 Canon Kk Micro lens array and imaging apparatus
US9179126B2 (en) * 2012-06-01 2015-11-03 Ostendo Technologies, Inc. Spatio-temporal light field cameras
US20140092281A1 (en) * 2012-09-28 2014-04-03 Pelican Imaging Corporation Generating Images from Light Fields Utilizing Virtual Viewpoints
CN103108452B (zh) * 2013-01-10 2015-01-21 北京航空航天大学 一种动态光场数据驱动的场景光照重现方法
US9786062B2 (en) * 2013-05-06 2017-10-10 Disney Enterprises, Inc. Scene reconstruction from high spatio-angular resolution light fields
US9460515B2 (en) 2013-10-25 2016-10-04 Ricoh Co., Ltd. Processing of light fields by transforming to scale and depth space
KR20160106045A (ko) * 2013-11-22 2016-09-09 비디노티 에스아 광필드 처리방법
US9305375B2 (en) 2014-03-25 2016-04-05 Lytro, Inc. High-quality post-rendering depth blur
JP2015198336A (ja) * 2014-04-01 2015-11-09 キヤノン株式会社 画像処理装置およびその制御方法、並びにプログラム
CN104156916B (zh) * 2014-07-31 2017-03-29 北京航空航天大学 一种用于场景光照恢复的光场投影方法
CN104598744B (zh) * 2015-01-27 2017-11-21 北京工业大学 一种基于光场的深度估计方法
CN104867129A (zh) 2015-04-16 2015-08-26 东南大学 一种光场图像分割方法

Similar Documents

Publication Publication Date Title
JP2017182796A5 (ja)
CN109840477B (zh) 基于特征变换的受遮挡人脸识别方法及装置
HRP20201936T1 (hr) Postupci i uređaj za distribuiranu bazu podataka unutar mreže
US9053540B2 (en) Stereo matching by census transform and support weight cost aggregation
US20210042413A1 (en) Bit-level data generation and artificial intelligence techniques and architectures for data protection
CN104809739B (zh) 一种超广角镜头相机视频实时校正的方法
US20150109290A1 (en) Device and method for removing noise points in point clouds
JP2015138549A5 (ja)
TWI706362B (zh) 基於區塊鏈的資料處理方法、裝置和伺服器
CN104504120A (zh) 一种相似图片检测方法及装置
CN103295227B (zh) 一种基于梯度方向分割的圆检测方法
WO2020093736A1 (zh) 基于区块链的数据处理方法、装置和服务器
CN110728376A (zh) 一种基于树状拓扑结构的联邦学习方法及装置
CN110111284B (zh) 一种渐晕图像校正的方法、装置、电子设备和存储介质
JP2020537270A5 (ja) 情報処理装置、情報処理方法、及びプログラム
CN107977310B (zh) 一种遍历测试命令生成方法及装置
US20210089123A1 (en) Method and device for calculating parameters of gaze-point calculation model
CN105719261A (zh) 点云数据合并***及方法
JP2017512421A5 (ja)
JP2019049961A5 (ja)
JP2015064625A (ja) 画像処理装置、画像処理方法およびプログラム
CN104166959B (zh) 一种图像降噪的加速方法和装置
FI3839882T3 (fi) Radiometrinen korjaus kuvien mosaikoinnissa
TWI700670B (zh) 三維深度資訊的轉換方法與電子裝置
CN107248929B (zh) 一种多维关联数据的强关联数据生成方法