JP2019067388A - ライトフィールド画像を操作するためのユーザインターフェイス - Google Patents

ライトフィールド画像を操作するためのユーザインターフェイス Download PDF

Info

Publication number
JP2019067388A
JP2019067388A JP2018183105A JP2018183105A JP2019067388A JP 2019067388 A JP2019067388 A JP 2019067388A JP 2018183105 A JP2018183105 A JP 2018183105A JP 2018183105 A JP2018183105 A JP 2018183105A JP 2019067388 A JP2019067388 A JP 2019067388A
Authority
JP
Japan
Prior art keywords
light field
field image
pixels
rendered
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2018183105A
Other languages
English (en)
Inventor
サバテール，ノイ
Sabater Neus
オグ，マシュー
Hog Matthieu
ボワソン，ギヨーム
Boisson Guillaume
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
InterDigital CE Patent Holdings SAS
Original Assignee
InterDigital CE Patent Holdings SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by InterDigital CE Patent Holdings SAS filed Critical InterDigital CE Patent Holdings SAS
Publication of JP2019067388A publication Critical patent/JP2019067388A/ja
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/557—Depth or shape recovery from multiple images from light fields, e.g. from plenoptic cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0075—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for altering, e.g. increasing, the depth of field or depth of focus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/005—General purpose rendering architectures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/571—Depth or shape recovery from multiple images from focus
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/21—Indexing scheme for image data processing or generation, in general involving computational photography
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/28—Indexing scheme for image data processing or generation, in general involving image processing hardware
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10052—Images from lightfield camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10141—Special mode during image acquisition
    • G06T2207/10148—Varying focus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G06T2207/20104—Interactive definition of region of interest [ROI]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Optics & Photonics (AREA)
  • Architecture (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Quality & Reliability (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

【課題】ライトフィールド画像を操作するユーザインターフェイスに関する。【解決手段】ライトフィールドデータが画像とともにデプス情報を供給するという事実により、従来のポストプロセッシングツールはライトフィールドデータのポストプロセッシングに適応していない。更に、ライトフィールド画像の操作は、非専門的なユーザにとっては容易でなく且つ直観的でないことがある。本発明は、ユーザフレンドリな方法でライトフィールド画像を操作することをユーザに可能にする。この解決法では、ユーザは、ポストプロセッシングツールへの入力として、焦点が合ってレンダリングされるライトフィールド画像の領域と、ライトフィールド画像の焦点が外れた領域に適用されるボケとを選択することしか必要でない。ポストプロセッシングツールがライトフィールド画像を処理すると、ユーザの仕様に対応する最終的なライトフィールド画像がレンダリングされる。【選択図】図２

Description

本発明は、ライトフィールドの分野にあり、ライトフィールド画像を操作する技術に関係がある。特に、本発明は、ライトフィールド画像を操作するためのユーザインターフェイスに関係がある。
画像取得デバイスは、３次元シーンを２次元センサの上に投影する。動作中、従来の捕捉デバイスは、デバイス内のフォトセンサに届く光の量を表すシーンの２次元（２Ｄ）画像を捕捉する。しかし、この２Ｄ画像は、フォトセンサに届く光線の方向分布に関する情報を含まない。この情報は、ライトフィールドと呼ばれ得る。例えば、デプスは、取得の間に失われる。よって、従来の捕捉デバイスは、シーンからの光分布に関する情報の大半を保持しない。
“ライトフィールドデータ取得デバイス”とも呼ばれるライトフィールド捕捉デバイスは、シーンの異なる視点から光を捕捉することによって、そのシーンの４次元（４Ｄ）ライトフィールドを測定するよう設計されてきた。よって、フォトセンサを横断する光の各ビームに沿って進む光の量を測定することによって、それらのデバイスは、ポストプロセッシングによって新たなイメージングアプリケーションを提供するために、例えば、光線の束の方向分布に関して、更なる光情報を捕捉することができる。ライトフィールド捕捉デバイスによって取得された情報は、ライトフィールドデータと呼ばれる。ライトフィールド捕捉デバイスは、ここでは、ライトフィールドデータを捕捉することができる如何なるデバイスとしても定義される。ライトフィールド捕捉デバイスにはいくつかのタイプが存在し、特に、次のものがある：
・ 米国特許出願公開第２０１３／０２２２６３３号（特許文献１）で記載されるような、画像センサとメインレンズとの間に置かれたマイクロレンズアレイを使用するプレノプティック（plenoptic）デバイス；
・ Wilburn et al.，“High performance imaging using large camera arrays”，ACM Transactions on Graphics (TOG) 24，no.3 (2005): 765-776（非特許文献１）及び米国特許第８５１４４９１（Ｂ２）号（特許文献２）で記載されるようなカメラアレイ。
ライトフィールドデータの取得は、画像リフォーカシングのような、その捕捉後の機能により、多数のアプリケーションへの門戸を開く。
それらのアプリケーションのうちの１つは、文献において“合成開口リフォーカシング（synthetic aperture refocusing）”（又は“合成開口フォーカシング（synthetic aperture focusing）”）として知られている。合成開口リフォーカシングは、シーンの複数の画像を使用することによって、大きな開口レンズの焦点はずれによるボケをシミュレーションする技術である。それは、例えば、カメラアレイを用いて、異なる視点からシーンの初期画像を取得し、それらを所望の焦点面の上に投影し、それらの平均を計算することに存する。結果として現れる画像では、焦点面にある点が整列され、鮮明に見え、一方で、この面から外れた点は、パララックスによりぼやけて見える。カメラアレイのようなライトフィールド捕捉デバイスから、このように、各画像が異なる焦点距離（focalization distance）で焦点を合わせられているシーンの画像の集合をレンダリングすることが可能である。そのような集合は、時々、“フォーカルスタック（focal stack）”と呼ばれる。よって、ライトフィールドデータ処理の１つのアプリケーションは、特に、しかし制限なしに、シーンの焦点を再び合わせられた画像を生成することを含む。
しかし、ライトフィールドデータが画像自体と一緒にデプス情報を供給するという事実により、Ｐｈｏｔｏｓｈｏｐ（登録商標）又はＧｉｍｐのような従来のポストプロセッシングツールは、ライトフィールドデータのポストプロセッシングに適応してない。
更に、ライトフィールドデータは、複雑なデータであり、その操作は、非専門的なユーザにとっては容易でなく且つ直観的でないことがある。
よって、ライトフィールド画像を操作するための技術であって、先行技術のそれらの欠点のうちの少なくとも１つを無効にしうる技術を提供することが望まれている。
米国特許出願公開第２０１３／０２２２６３３号 米国特許第８５１４４９１（Ｂ２）号
Wilburn et al.，"High performance imaging using large camera arrays"，ACM Transactions on Graphics (TOG) 24，no.3 (2005): 765-776
本発明の第１の態様に従って、少なくとも第１ライトフィールド画像を操作する、コンピュータで実施される方法であって、
ピクセルが焦点が合ってレンダリングされる鮮明領域（sharp region）と呼ばれる、操作されるべき前記第１ライトフィールド画像の少なくとも１つの領域を識別する第１入力を検出することと、
焦点が外れてレンダリングされる操作されるべき前記第１ライトフィールド画像のピクセルに適用されるボケ（bokeh）の形態を選択する第２入力を検出することと、
操作されるべき前記第１ライトフィールド画像の前記識別された焦点が外れたピクセルに前記選択された形態のボケを適用することによって得られる最終画像をレンダリングすることと
を有する方法が提供される。
本発明の実施形態に従う方法は、ユーザフレンドリな方法で、カメラアレイによって、又はプレノプティックカメラによって取得されたライトフィールド画像を操作することをユーザに可能にする。実際に、この解決法では、ユーザは、ライトフィールド画像ポストプロセッシングツールへの入力として、鮮明に又は焦点が合ってレンダリングされるライトフィールド画像の領域を選択し、ライトフィールド画像の焦点が外れた領域に適用されるボケの形態を選択することしか必要でない。ライトフィールド画像ポストプロセッシングツールがライトフィールド画像を処理すると、ユーザの仕様に対応する最終的な、ポストプロセッシングを受けたライトフィールド画像がレンダリングされる。レンダリングされた画像は、ユーザによって選択された領域において鮮明であり、ボケは、ユーザによって選択されたパラメータに対応する。
焦点外れに適用するボケの形態を選択することは、より写実的及び／又は審美的な最終画像をレンダリングすることを可能にする。
そのような解決法は、ライトフィールド画像と同じくらい複雑な画像を操作することを容易にする。
本発明の実施形態に従う方法は、光学デバイスによって直接取得されるライトフィールド画像に限られない。それらのデータは、所与のシーン記述のためにコンピュータによって全体として又は部分的にシミュレーションされるコンピュータグラフィクスイメージ（ＣＧＩ）であってよい。ライトフィールド画像の他のソースは、光学デバイス又はＣＧＩから取得される変更された、例えば色調調整されたライトフィールド画像であるポストプロダクトされたデータであってよい。また、この場合に、光学取得デバイスにより取得された画像及びＣＧＩデータの両方の混合であるデータを有することは、映画産業において一般的である。
レンダリングされる、操作されるべき第１ライトフィールド画像のピクセルは、操作されるべき第１ライトフィールド画像に属するピクセルであって、操作されるべき第１ライトフィールド画像の識別された鮮明領域に属していないピクセルである。操作されるべき第１ライトフィールド画像の鮮明領域を識別することは、焦点が外れてレンダリングされる領域を選択することよりもユーザフレンドリである。これは、ユーザが、画像のどのオブジェクトに焦点を合わせたいかを知っている傾向があるからである。
本発明に従う方法の利点は、所与の領域、所与の色、所与のデプス、又は操作されるべき画像の所与のピクセル、などのために適用されるボケの形態を選択することをユーザに可能にすることである。
例えば、操作されるべき画像に適用される操作は、合成開口リフォーカシングであってよい。
本発明の実施形態に従って、前記第１入力は、デプス範囲の下限及び上限を含み、該デプス範囲内にあるデプス値を有している、操作されるべき前記第１ライトフィールド画像のピクセルが、焦点が合ってレンダリングされるようにし、前記デプス範囲は、操作されるべき前記第１ライトフィールド画像のデプス範囲より小さいか又はそれに等しい。
前記デプス範囲の前記下限及び前記上限は、２つの数値として供給されてよい。
前記第１入力は、グラフィカルユーザインターフェイスに表示される少なくとも１つのスライダを前記デプス範囲の前記下限から前記上限の間で動かすことに更に存してよい。
前記第１入力は、例えば、ポインティングデバイスを用いて、操作されるべき前記画像の２つの点を選択することに更に存してよく、それら２つの点のデプスは、前記デプス範囲の前記下限及び前記上限を定義する。
本発明の実施形態に従って、前記第１入力は、操作されるべき前記第１ライトフィールド画像内の前記鮮明領域の境界を定義するピクセルの座標を含む。
この場合に、前記鮮明領域は、例えば、ポインティングデバイスを用いて、グラフィカルユーザインターフェイス上で前記鮮明領域の境界を描くことによって、特定される。
前記鮮明領域は、グラフィカルユーザインターフェイスの一部の上でポインティングデバイスをスイープさせることによっても、特定されてよい。
最後に、前記鮮明領域は、操作されるべき前記画像上で前記鮮明領域の境界を定義するマスクを適用することによって、特定されてよい。
本発明の実施形態に従って、前記第１入力は、焦点が外れてレンダリングされるピクセルを除去するシャープネスフィルタを少なくとも含む。
そのようなフィルタは、例えば、顔、操作されるべき前記画像の顕著な部分（salient parts）、又は操作されるべき前記画像の特定のピクセル、例えば、色が所与の色合いの赤であるピクセル、が強いて鮮明にレンダリングされるようにしてよい。
本発明の実施形態に従って、方法は、
焦点が外れてレンダリングされる、操作されるべき前記第１ライトフィールド画像のピクセルに適用される前記ボケの重みを選択する第３入力を検出することを更に有する。
操作されるべき前記画像に適用されるボケの重みを選択することは、最終画像の審美／現実性を改善することに寄与する。
本発明の実施形態に従って、方法は、
操作されるべき前記第１ライトフィールド画像のデプスＤ（ｘ）と前記最終画像の少なくともピクセルがレンダリングされるデプスｄ（ｘ）との間の差の絶対値に等しいか又はそれよりも大きい数値を供給する第４入力を検出することを更に有する。
操作されるべき前記第１ライトフィールド画像のデプスＤ（ｘ）と前記最終画像の少なくともピクセルがレンダリングされるデプスｄ（ｘ）との間の差の絶対値に上限を設定することによって、ピクセルが焦点が外れてレンダリングされるためのボケの重みを変更することが可能である。
本発明の他の目的は、カメラアレイによって取得された少なくとも第１画像を操作するデバイスであって、
操作されるべき前記第１画像を少なくとも表示するディスプレイと、
ユーザインターフェイスと
を有し、
当該デバイスは、
ピクセルが焦点が合ってレンダリングされる鮮明領域と呼ばれる、操作されるべき前記第１画像の少なくとも１つの領域を識別する第１入力を前記ユーザインターフェイスで検出し、
焦点が外れてレンダリングされる、操作されるべき前記第１画像のピクセルに適用されるボケの形態を選択する第２入力を前記ユーザインターフェイスで検出し、
操作されるべき前記第１画像の前記識別された焦点が外れたピクセルに前記選択された形態のボケを適用することによって得られる最終画像を前記ディスプレイでレンダリングする
よう構成されるハードウェアプロセッサを少なくとも更に有する、
デバイスに関係がある。
そのようなデバイスは、本発明の実施形態において、例えば、スマートフォン、タブレット、などであってよく、当該デバイスは、ディスプレイ及びユーザインターフェイスの代わりに、タッチスクリーンのようなグラフィカルユーザインターフェイスを組み込む。
当該デバイスの実施形態に従って、前記第１入力は、デプス範囲の下限及び上限を含み、該デプス範囲内にあるデプス値を有している、操作されるべき前記第１画像のピクセルが、焦点が合ってレンダリングされるようにし、前記デプス範囲は、操作されるべき前記第１画像のデプス範囲より小さいか又はそれに等しい。
当該デバイスの実施形態に従って、前記第１入力は、操作されるべき前記第１画像内の前記鮮明領域の境界を含む。
当該デバイスの実施形態に従って、前記第１入力は、焦点が外れてレンダリングされるピクセルを除去するシャープネスフィルタを少なくとも含む。
当該デバイスの実施形態に従って、前記ハードウェアプロセッサは、
焦点が外れてレンダリングされる、操作されるべき前記第１画像のピクセルに適用される前記ボケの重みを選択する第３入力を検出する
よう更に構成される。
当該デバイスの実施形態に従って、前記ハードウェアプロセッサは、
操作されるべき前記第１画像のデプスＤ（ｘ）と前記最終画像の少なくともピクセルがレンダリングされるデプスｄ（ｘ）との間の差の絶対値に等しいか又はそれよりも大きい数値を供給する第４入力を検出する
よう更に構成される。
本発明の要素によって実装されるいくつかのプロセスは、コンピュータにより実施されてよい。然るに、そのような要素は、全体としてハードウェアの実施形態、全体としてソフトウェアの実施形態（ファームウェア、常駐ソフトウェア、マイクロコード、などを含む。）、又はソフトウェア態様とハードウェア態様とを組み合わせた実施形態の形をとってよく、これらは全て概して、ここでは、“回路”、“モジュール”又は“システム”と呼ばれ得る。更に、そのような要素は、媒体において具現化されたコンピュータ使用可能なプログラムコードを有している表現の如何なる有形な媒体でも具現化されたコンピュータプログラム製品の形をとってよい。
本発明の要素はソフトウェアにおいて実装可能であるから、本発明は、如何なる適切なキャリア媒体においても、プログラム可能な装置への提供のために、コンピュータ読出可能なコードとして具現化され得る。有形なキャリア媒体は、フロッピー（登録商標）ディスク、ＣＤ−ＲＯＭ、ハードディスクドライブ、磁気テープデバイス又はソリッドステートメモリ、などのような記憶媒体を有してよい。一時的なキャリア媒体は、電気信号、電子信号、光信号、音響信号、磁気信号又は電磁気信号、例えば、マイクロ波若しくはＲＦ信号のような信号を含んでよい。
本発明の実施形態は、これより、単なる一例として、次の図面を参照して記載される。
本発明の実施形態に従うユーザインターフェイスを表す。 本発明に従って画像を操作する方法が実行される場合に、ユーザインターフェイスを表す。 ユーザの視点で説明される、本発明に従ってライトフィールド画像を操作する方法のステップを表すフローチャートである。 本発明の実施形態に従うユーザインターフェイスを組み込むデバイスによって実行される場合に、ライトフィールド画像を操作する方法のステップを表すフローチャートである。 １つの次元における関数ｄ（ｘ）のグラフ表現である。 本発明の実施形態に従う方法を実行可能なデバイスの例を説明する略ブロック図である。
当業者に明らかなように、本原理の態様は、システム、方法又はコンピュータ読出可能な媒体として具現化され得る。然るに、本原理の態様は、全体としてハードウェアの実施形態、全体としてソフトウェアの実施形態（ファームウェア、常駐ソフトウェア、マイクロコード、などを含む。）、又はソフトウェア態様とハードウェア態様とを組み合わせた実施形態の形をとることができ、これらは全て概して、ここでは、“回路”、“モジュール”又は“システム”と呼ばれ得る。更に、本原理の態様は、コンピュータ読出可能な記憶媒体の形をとることができる。１つ以上のコンピュータ読出可能な記憶媒体の如何なる組み合わせも利用されてよい。
本発明は、ライトフィールドデータ又はコンテンツを操作するためのユーザインターフェイスに関する。ライトフィールドコンテンツによって、光学デバイスによって直接取得されるライトフィールド画像、あるいは、所与のシーン記述のためにコンピュータによって全体として又は部分的にシミュレーションされるコンピュータグラフィクスイメージ（ＣＧＩ）ライトフィールドデータが意図される。ライトフィールドデータの他のソースは、光学デバイス又はＣＧＩから取得される変更された、例えば色調調整されたライトフィールド画像であるポストプロダクトされたデータであってよい。また、この場合に、光学取得デバイスにより取得された画像及びＣＧＩデータの両方の混合であるデータを有することは、映画産業において一般的である。
図１は、本発明の実施形態に従うユーザインターフェイスを表す。そのようなユーザインターフェイス１は、本発明の第１実施形態では、キーボード１０及び／又はポインティングデバイス１１（例えば、マウス）を有し、ディスプレイ１２へ接続されている。本発明の第２実施形態では、ユーザインターフェイス１はタッチスクリーンであってよい。
図２は、本発明の実施形態に従って画像を操作する方法が実行される場合に、図１のユーザインターフェイス１を表す。
ライトフィールド画像２０は、ユーザインターフェイス１のディスプレイ１２に表示されている。複数のボタン２１〜２５も、ユーザインターフェイス１のディスプレイ１２に表示されている。ボタン２１〜２５は、キーボード１０又はポインティングデバイス１１を手段として、あるいは、ボタン２１〜２５が表示されているタッチスクリーンのエリアに指を触れることで、ユーザによってアクティブにされる。
図３は、ユーザの視点において説明される、本発明に従ってライトフィールド画像を操作する方法のステップを表すフローチャートである。
ステップＥ１で、操作されるべきライトフィールド画像がディスプレイ１２に表示される。
ステップＥ２で、ユーザは、例えば、ポインティングデバイス１１を用いて、ディスプレイ１２に表示されているボタン２１をアクティブにすることによって、鮮明にレンダリングされるように、表示されている画像、又は操作されるべき画像の図２中の少なくとも１つの領域Ａ、Ｂ、Ｃ又はＤを選択する。ボタン２１がアクティブにされると、ユーザは、次のいずれかによって、鮮明にレンダリングされるべきである、操作されるべき画像の第１領域を選択してよい：
・ デプス範囲の下限及び上限を供給して、デプス範囲内のデプス値を有している操作されるべき画像のピクセルが焦点が合ってレンダリングされるようにすること。デプス範囲は、操作されるべき画像のデプス範囲より小さいか又はそれに等しい。この場合に、ユーザは、下限及び上限に対応する数値をキーボード１０においてタイプ入力してよい；
・ ポインティングデバイス１１又は自身の指を用いて、操作されるべき画像内で鮮明領域の境界を描くこと。この場合に、鮮明領域の境界を定義するピクセルの座標が供給される；
・ 焦点が外れてレンダリングされる操作されるべき画像のピクセルを除去するシャープネスフィルタを少なくとも選択すること；又は
・ 下限から上限の間でバー２４をスライドすること。
本発明の実施形態において、鮮明領域は、セグメンテーションアルゴリズムによって予め決定される。例えば、“Light-Field Segmentation using a Ray-Based Graph Structure”，Hog, Sabater, Guillemot，ECCV’16におけるアルゴリズムは、異なる領域をカラーコードによってユーザに提案し得る。その場合に、ユーザは、例えば、自身の選択する領域にポインティングデバイスを向けることによって、領域を選択する。
他の実施形態において、ユーザは、ボタンをアクティブにすることによって、顔又は顕著な領域又は関心のあるオブジェクトを選択してよい。
本発明の他の実施形態において、鮮明領域は、学習ストラテジ（深層学習［LeCun Bengio，Hinton，Nature 2015］）によってユーザに提案される。学習ストラテジは、どれが鮮明又はぼやけているべき画像の部分であるかを学習している。
ステップＥ３で、ユーザは、レンダリングされるべき画像の美感（aesthetic）を変更するために、鮮明にレンダリングされるべきでない操作されるべき画像の領域に適用されるボケの形態及び重みを選択するボタン２２をアクティブにする。ボケの形態及び重みは、操作されるべき画像の夫々の選択された領域について異なることができる点が留意されるべきである。
本発明の他の実施形態において、ボタン２２をアクティブにすることに代えて、ユーザは、ボタン２３をアクティブにして、予め計算されたぼかし（blur）フィルタを適用することをもたらしてよい。
本発明の他の実施形態において、焦点が外れてレンダリングされるべきである操作されるべき画像の領域に適用されるボケのサイズを変更するために、ユーザは、ピンチング（pinching）ジェスチャにおいて、焦点が外れてレンダリングされるべき領域に対応する操作されるべき画像のエリアにタッチしてよい。このピンチングジェスチャによって円の直径を変更することによって、ユーザは、ボケのサイズを変更してよい。
任意のステップＥ４で、ユーザが、操作されるべき画像の焦点が外れた領域に適用されるボケの形態、重み及びサイズを選択すると、ユーザは、操作されるべき画像の焦点が外れたピクセルがレンダリングされるべきであるデプスを変えることによって、適用されるボケの最終的なレンダリングを変更してよい。これは、下限から上限の間でバー２４をスライドすることによって行われてよい。
そのようなユーザインターフェイスは、それがライトフィールド画像と同じくらい複雑なコンテンツを直観的に且つ容易に操作することをユーザに可能にするということで、ユーザフレンドリである。
図４は、本発明の実施形態に従うユーザインターフェイスを組み込むデバイスによって実行される場合に、ライトフィールド画像を操作する方法のステップを表すフローチャートである。
ステップＦ１で、操作されるべきライトフィールド画像が、ユーザインターフェイス１のディスプレイ１２に表示される。
ステップＦ２で、ユーザインターフェイス１の所与のエリアに対する第１入力が検出される。第１入力の検出は、操作されるべき画像の、鮮明にレンダリングされるべき少なくとも１つの領域Ａ、Ｂ、Ｃ又はＤの識別をトリガする。操作されるべき画像の、鮮明にレンダリングされるべき領域の識別は、次のいずれかによって行われる：
・ デプス範囲の下限及び上限を供給して、デプス範囲内のデプス値を有している操作されるべき画像のピクセルが焦点が合ってレンダリングされるようにすること。デプス範囲は、操作されるべき画像のデプス範囲より小さいか又はそれに等しい；
・ 操作されるべき画像内で鮮明領域の境界を描くこと；
・ 焦点が外れてレンダリングされる操作されるべき画像のピクセルを除去するシャープネスフィルタを少なくとも選択すること。
ステップＦ３で、第１入力が検出されたエリアとは異なる、ユーザインターフェイス１のエリアに対する第２入力が検出される。第２入力の検出は、レンダリングされるべき画像の美感を変更するために、鮮明にレンダリングされるべきでない操作されるべき画像の領域に適用されるボケの形態及び重みの選択をトリガする。ボケの形態及び重みは、操作されるべき画像の夫々の選択された領域について異なることができる点が留意されるべきである。本発明の実施形態において、適用される重みの選択は、グラフィカルユーザインターフェイス１における第３入力の検出によってトリガされる。
ステップＦ４で、操作されるべき画像上で表現されるシーンがレンダリングされるべきであるデプスに対応する関数ｄ（ｘ）は、次のように計算される：

このとき、Ｄｍ及びＤＭは、シーンのデプス範囲Ｄの最小値及び最大値であり、Ωｓｈａｒｐは、鮮明にレンダリングされるべきピクセルの領域であり、Ｄ（ｘ）は、シーンの実際のデプスである。
関数ｄ（ｘ）のグラフ表現は、図５に表される。図５は、実例のために１つの次元において表されている。連続的な線は、実際のデプスを表し、点線は、新たなレンダリングのために使用されるデプスである。
任意のステップＦ５で、第４入力がユーザインターフェイスのエリアで検出される。この第４入力の検出は、シーンのデプスＤ（ｘ）と最終画像の少なくともピクセルがレンダリングされるべきであるデプスｄ（ｘ）との間の差の絶対値に等しいか又はそれよりも大きい数値の受け取りをトリガする。
そのようなステップは、操作されるべき画像の焦点が外れたピクセルがレンダリングされるべきであるデプスを変えることによって、適用されるボケの最終的なレンダリングを変更することを可能にする。
ステップＦ６で、ユーザインターフェイスを通じて供給された全てのパラメータに基づき、レンダリングされるべき画像が計算される。最終的に、レンダリングは、インタラクティブな方法で行われ得る。このようにして、ユーザが変更を行うたびに、変更は、結果として現れる画像において直接目に見える。
ステップＦ７で、最終画像が、次いで、ディスプレイ１２に表示される。
図６は、本発明の実施形態に従う方法を実行することができるデバイスの例を表す略ブロック図である。
装置６００は、プロセッサ６０１、記憶ユニット６０２、入力デバイス６０３、表示デバイス６０４、及びインターフェイスユニット６０５を有し、それらはバス６０６によって接続されている。当然、コンピュータ装置６００の構成要素は、バス接続以外の接続によって接続されてよい。
プロセッサ６０１は、装置６００の動作を制御する。記憶ユニット６０２は、プロセッサ６０１によって実行される少なくとも１つのプログラムと、ライトフィールドカメラによって捕捉及び供給された４Ｄライトフィールド画像のデータ、プロセッサ６０１によって実行される計算で使用されるパラメータ、プロセッサ６０１によって実行される計算の中間データ、などを含む様々なデータとを記憶する。プロセッサ６０１は、如何なる既知の、適切なハードウェア、又はソフトウェア、又はハードウェアとソフトウェアとの組み合わせによっても形成されてよい。例えば、プロセッサ６０１は、プロセッシング回路のような専用ハードウェアによって、又はそのメモリに記憶されているプログラムを実行するＣＰＵ（Central Processing Unit）のようなプログラム可能なプロセッシングユニットによって、形成されてよい。
記憶ユニット６０２は、コンピュータ読出可能な様態でプログラム、データ、などを記憶することができる如何なる適切なストレージ又は手段によっても形成されてよい。記憶ユニット６０２の例には、半導体メモリデバイス、並びに読み出し及び書き込みユニットに搭載された磁気、光学、又は光学磁気記録媒体のような、非一時的なコンピュータ読出可能な記憶媒体がある。プログラムは、プロセッサ６０１に、図３〜４を参照して記載された本発明の実施形態に従ってライトフィールド画像を操作するプロセスを実行させる。
入力デバイス６０３は、鮮明にレンダリングされるべき領域、焦点が外れた領域に適用すべきボケの形態及び重み、などをユーザが選択するために、コマンド入力のためにユーザによって使用されるキーボード１０、マウスのようなポインティングデバイス１１、などによって、形成されてよい。出力デバイス６０４は、例えば、グラフィカルユーザインターフェイス（ＧＵＩ）や、本開示の実施形態に従って生成された画像を表示するよう表示デバイス１２によって形成されてよい。入力デバイス６０３及び出力デバイス６０４は、例えば、タッチパネルによって、一体的に形成されてよい。
インターフェイスユニット６０５は、装置６００と外部装置との間のインターフェイスを提供する。インターフェイスユニット６０５は、ケーブル又はワイヤレス通信を介して外部装置と通信可能であってよい。実施形態において、外部装置は、ライトフィールドカメラであってよい。この場合に、ライトフィールドカメラによって捕捉された４Ｄライトフィールド画像のデータは、ライトフィールドカメラから装置６００へインターフェイスユニット６０５を通じて入力され、次いで記憶ユニット６０２に記憶され得る。
この実施形態において、装置６００は、それがライトフィールドカメラから分離しており、且つ、それらがケーブル又はワイヤレス通信を介してお互いと通信可能であるとして、例として論じられている。しかし、装置６００は、そのようなライトフィールドカメラと一体化され得る点が留意されるべきである。この後者の場合に、装置６００は、例えば、ライトフィールドカメラを組み込むタブレット又はスマートフォンのような、ポータブルデバイスであってよい。
本発明は、具体的な実施形態に関して上述されてきたが、本発明は、それらの具体的な実施形態に制限されず、変更は、本発明の適用範囲内で、当業者に明らかである。
多くの更なる変更及び変形は、上記の実例となる実施形態を参照して当業者に想到可能である。実施形態は、単なる例として与えられており、本発明の適用範囲を制限するよう意図されない。本発明の適用範囲は、添付の特許請求の範囲によってのみ決定される。特に、異なる実施形態からの異なる特徴は、適宜入れ替えられてよい。
１ ユーザインターフェイス
１０ キーボード
１１ ポインティングデバイス
１２ ディスプレイ
２０ ライトフィールド画像
２１〜２５ ボタン
６００ コンピュータ装置
６０１ プロセッサ
６０２ 記憶ユニット
６０３ 入力デバイス
６０４ 表示デバイス
６０５ インターフェイスユニット
６０６ バス

Claims (15)

  1. 少なくとも第１ライトフィールド画像を操作する方法であって、
    ピクセルが焦点が合ってレンダリングされる鮮明領域と呼ばれる、操作されるべき前記第１ライトフィールド画像の少なくとも１つの領域を識別する第１入力を検出することと、
    焦点が外れてレンダリングされる前記第１ライトフィールド画像のピクセルに適用されるボケの形態を選択する第２入力を検出することと、
    操作されるべき前記第１ライトフィールド画像の前記識別された焦点が外れたピクセルに前記選択された形態のボケを適用することによって得られる最終画像をレンダリングすることと
    を有する方法。
  2. 前記第１入力は、デプス範囲の下限及び上限を含み、該デプス範囲内にあるデプス値を有している前記第１ライトフィールド画像のピクセルが、焦点が合ってレンダリングされるようにし、
    前記デプス範囲は、操作されるべき前記第１ライトフィールド画像のデプス範囲より小さいか又はそれに等しい、
    請求項１に記載の方法。
  3. 前記第１入力は、操作されるべき前記第１ライトフィールド画像内の前記鮮明領域の境界を定義するピクセルの座標を含む、
    請求項１に記載の方法。
  4. 前記第１入力は、焦点が外れてレンダリングされるピクセルを除去するシャープネスフィルタを少なくとも含む、
    請求項１に記載の方法。
  5. 焦点が外れてレンダリングされる前記第１ライトフィールド画像のピクセルに適用される前記ボケの重みを選択する第３入力を検出することを更に有する、
    請求項１に記載の方法。
  6. 焦点が外れてレンダリングされる前記第１ライトフィールド画像のピクセルに適用される前記ボケのサイズを選択する第４入力を検出することを更に有する、
    請求項１に記載の方法。
  7. 前記第１ライトフィールド画像のデプスＤ（ｘ）と前記最終画像の少なくともピクセルがレンダリングされるデプスｄ（ｘ）との間の差の絶対値に等しいか又はそれよりも大きい数値を供給する第５入力を検出することを更に有する、
    請求項１乃至６のうちいずれか一項に記載の方法。
  8. 少なくとも第１ライトフィールド画像を操作するデバイスであって、
    ユーザインターフェイスを有し、
    当該デバイスは、
    ピクセルが焦点が合ってレンダリングされる鮮明領域と呼ばれる、操作されるべき前記第１ライトフィールド画像の少なくとも１つの領域を識別する第１入力を前記ユーザインターフェイスで検出し、
    焦点が外れてレンダリングされる前記第１ライトフィールド画像のピクセルに適用されるボケの形態を選択する第２入力を前記ユーザインターフェイスで検出し、
    前記第１ライトフィールド画像の前記識別された焦点が外れたピクセルに前記選択された形態のボケを適用することによって得られる最終画像を、レンダリングされるようディスプレイへ送る
    よう構成されるハードウェアプロセッサを少なくとも更に有する、
    デバイス。
  9. 前記第１入力は、デプス範囲の下限及び上限を含み、該デプス範囲内にあるデプス値を有している前記第１ライトフィールド画像のピクセルが、焦点が合ってレンダリングされるようにし、
    前記デプス範囲は、操作されるべき前記第１ライトフィールド画像のデプス範囲より小さいか又はそれに等しい、
    請求項８に記載のデバイス。
  10. 前記第１入力は、操作されるべき前記第１ライトフィールド画像内の前記鮮明領域の境界を含む、
    請求項８に記載のデバイス。
  11. 前記第１入力は、焦点が外れてレンダリングされるピクセルを除去するシャープネスフィルタを少なくとも含む、
    請求項８に記載のデバイス。
  12. 前記ハードウェアプロセッサは、
    焦点が外れてレンダリングされる前記第１ライトフィールド画像のピクセルに適用される前記ボケの重みを選択する第３入力を検出する
    よう更に構成される、
    請求項８に記載のデバイス。
  13. 前記ハードウェアプロセッサは、
    前記第１ライトフィールド画像のデプスＤ（ｘ）と前記最終画像の少なくともピクセルがレンダリングされるデプスｄ（ｘ）との間の差の絶対値に等しいか又はそれよりも大きい数値を供給する第５入力を検出する
    よう更に構成される、
    請求項８乃至１２のうちいずれか一項に記載のデバイス。
  14. プロセッサで実行される場合に請求項１に記載の方法を実施するプログラムコードを有するコンピュータプログラム。
  15. プロセッサに請求項１に記載の方法を実行させる命令が記憶されているプロセッサ読出可能な媒体。
JP2018183105A 2017-09-29 2018-09-28 ライトフィールド画像を操作するためのユーザインターフェイス Pending JP2019067388A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP17306295.1 2017-09-29
EP17306295.1A EP3462410A1 (en) 2017-09-29 2017-09-29 A user interface for manipulating light-field images

Publications (1)

Publication Number Publication Date
JP2019067388A true JP2019067388A (ja) 2019-04-25

Family

ID=60119962

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018183105A Pending JP2019067388A (ja) 2017-09-29 2018-09-28 ライトフィールド画像を操作するためのユーザインターフェイス

Country Status (5)

Country Link
US (1) US20190102056A1 (ja)
EP (1) EP3462410A1 (ja)
JP (1) JP2019067388A (ja)
KR (1) KR20190038429A (ja)
CN (1) CN109598699A (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021056678A (ja) * 2019-09-27 2021-04-08 キヤノン株式会社 画像処理方法、プログラム、画像処理装置、学習済みモデルの製造方法、および、画像処理システム

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3669748A1 (en) * 2018-12-19 2020-06-24 Koninklijke Philips N.V. A mirror assembly
CN115066880A (zh) * 2020-02-12 2022-09-16 Oppo广东移动通信有限公司 生成捕获图像的方法及电子设备
CN117121499A (zh) * 2021-03-08 2023-11-24 Oppo广东移动通信有限公司 图像处理方法和电子设备
CN114078153B (zh) * 2021-11-18 2022-06-14 清华大学 面向散射场景的光场编码摄像方法及装置
CN117319812A (zh) * 2022-06-20 2023-12-29 北京小米移动软件有限公司 图像处理方法及装置、移动终端、存储介质

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8514491B2 (en) 2009-11-20 2013-08-20 Pelican Imaging Corporation Capturing and processing of images using monolithic camera array with heterogeneous imagers
JP5310837B2 (ja) * 2011-12-28 2013-10-09 カシオ計算機株式会社 画像生成装置、デジタルカメラ、方法、及びプログラム
US8995785B2 (en) 2012-02-28 2015-03-31 Lytro, Inc. Light-field processing and analysis, camera control, and user interfaces and interaction on light-field capture devices
US9858649B2 (en) * 2015-09-30 2018-01-02 Lytro, Inc. Depth-based image blurring
CN104184936B (zh) * 2013-05-21 2017-06-23 吴俊辉 基于光场相机的影像对焦处理方法及其***
EP3099055A1 (en) * 2015-05-29 2016-11-30 Thomson Licensing Method and apparatus for displaying a light field based image on a user's device, and corresponding computer program product

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021056678A (ja) * 2019-09-27 2021-04-08 キヤノン株式会社 画像処理方法、プログラム、画像処理装置、学習済みモデルの製造方法、および、画像処理システム
JP7455542B2 (ja) 2019-09-27 2024-03-26 キヤノン株式会社 画像処理方法、プログラム、画像処理装置、学習済みモデルの製造方法、および、画像処理システム

Also Published As

Publication number Publication date
CN109598699A (zh) 2019-04-09
KR20190038429A (ko) 2019-04-08
EP3462410A1 (en) 2019-04-03
US20190102056A1 (en) 2019-04-04

Similar Documents

Publication Publication Date Title
EP3101624B1 (en) Image processing method and image processing device
JP2019067388A (ja) ライトフィールド画像を操作するためのユーザインターフェイス
US10552947B2 (en) Depth-based image blurring
US9979909B2 (en) Automatic lens flare detection and correction for light-field images
JP6129309B2 (ja) ジェスチャに基づくユーザインターフェース
US9007422B1 (en) Method and system for mutual interaction using space based augmentation
EP3997662A1 (en) Depth-aware photo editing
Cho et al. Automatic trimap generation and consistent matting for light-field images
JP2014197824A (ja) 画像処理装置、撮像装置、画像処理方法、及びプログラム
Surh et al. Noise robust depth from focus using a ring difference filter
KR20140004592A (ko) 3d 깊이 정보를 기반으로 한 이미지 블러
CN108848367B (zh) 一种图像处理的方法、装置及移动终端
Herrmann et al. Learning to autofocus
US10957021B2 (en) Method for rendering a final image from initial images acquired by a camera array, corresponding device, computer program product and computer-readable carrier medium
Jeon et al. Ring difference filter for fast and noise robust depth from focus
JP7204021B2 (ja) 画像の鮮鋭レベルを表わす位置合わせ誤差マップを得るための装置および方法
Bailey et al. Fast depth from defocus from focal stacks
US9995905B2 (en) Method for creating a camera capture effect from user space in a camera capture system
Chen et al. Focus manipulation detection via photometric histogram analysis
TW201006527A (en) Measuring object contour method and measuring object contour apparatus
AU2011265379A1 (en) Single shot image based depth mapping
Čadík et al. Automated outdoor depth-map generation and alignment
TWI543112B (zh) 淺景深模擬方法及數位相機
US9232132B1 (en) Light field image processing
CN112634439A (zh) 一种3d信息展示方法及装置

Legal Events

Date Code Title Description
RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20181226

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20181228

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190312