KR102277100B1 - 인공지능 및 딥러닝 기술을 이용한 랜덤위상을 갖는 홀로그램 생성방법 - Google Patents

인공지능 및 딥러닝 기술을 이용한 랜덤위상을 갖는 홀로그램 생성방법 Download PDF

Info

Publication number
KR102277100B1
KR102277100B1 KR1020200025148A KR20200025148A KR102277100B1 KR 102277100 B1 KR102277100 B1 KR 102277100B1 KR 1020200025148 A KR1020200025148 A KR 1020200025148A KR 20200025148 A KR20200025148 A KR 20200025148A KR 102277100 B1 KR102277100 B1 KR 102277100B1
Authority
KR
South Korea
Prior art keywords
fringe pattern
random phase
parameters
hologram
discriminator
Prior art date
Application number
KR1020200025148A
Other languages
English (en)
Inventor
서영호
김동욱
강지원
Original Assignee
광운대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 광운대학교 산학협력단 filed Critical 광운대학교 산학협력단
Application granted granted Critical
Publication of KR102277100B1 publication Critical patent/KR102277100B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/04—Processes or apparatus for producing holograms
    • G03H1/0443—Digital holography, i.e. recording holograms with digital recording means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/04—Processes or apparatus for producing holograms
    • G03H1/0476—Holographic printer
    • G03H2001/0484—Arranged to produce three-dimensional fringe pattern

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Holo Graphy (AREA)

Abstract

홀로그램의 디스플레이를 위해 홀로그램의 생성 시 랜덤 위상을 추가하는 것이 아닌 랜덤위상을 심층 신경망을 이용하여 후처리하는, 인공지능 및 딥러닝 기술을 이용한 랜덤위상을 갖는 홀로그램 생성방법에 관한 것으로서,(a) 객체 포인트를 입력받아 프린지 패턴을 출력하는 프린지 패턴 생성기의 파라미터를 최적화 하되, CGH(computer generated hologram) 알고리즘으로 생성된 객체 포인트에 대한 프린지 패턴을 정답 데이터로 정하여 최적화 하는 단계; (b) 프린지 패턴을 입력받아 랜덤 페이즈가 삽입된 프린지 패턴(이하 랜덤 페이즈 프린지 패턴)을 출력하는 랜덤페이즈 삽입기를 최적화 하되, CGH 알고리즘으로 생성된 랜덤 페이즈 프린지 패턴을 정답 데이터로 정하여 최적화 하는 단계; 및, (c) 상기 최적화된 프린지 패턴 생성기와 상기 랜덤페이즈 삽입기를 이용하여 디지털 홀로그램을 생성하는 단계를 포함하는 구성을 마련한다.
상기와 같은 방법에 의하여, 프린지 패턴 생성기로 생성된 프린지 패턴에 랜덤페이즈 삽입기로 랜덤 위상을 후처리 과정으로 삽입함으로써, 홀로그램을 디스플레이할 때 시야각을 확장할 수 있다.

Description

인공지능 및 딥러닝 기술을 이용한 랜덤위상을 갖는 홀로그램 생성방법 { A method of generating hologram with random phase using deep learning and artificial intelligence }
본 발명은 딥러닝 기술에 기반을 두고 생성형 네트워크를 이용하는 심층신경망을 이용하여 홀로그램을 생성하되, 홀로그램의 디스플레이를 위해 홀로그램의 생성 시 랜덤 위상을 추가하는 것이 아닌 랜덤위상을 심층 신경망을 이용하여 후처리하는, 인공지능 및 딥러닝 기술을 이용한 랜덤위상을 갖는 홀로그램 생성방법에 관한 것이다.
일반적으로, 홀로그램은 물체에서 반사되는 광파(물체파, object wave)에 기준이 되는 광파(기준파, reference wave)를 간섭시켜 그 결과로 발생되는 프린지 패턴(fringe pattern)들로 구성되며, 이 프린지 패턴을 디지털 데이터로 획득한 것이 디지털 홀로그램(digital hologram, DH)이다. 따라서 홀로그램은 2D 데이터이지만 물체파와 기준파의 위상차이로 물체까지의 거리정보까지 포함하는 3D 데이터이다[비특허문헌 1]. 이 홀로그램에 기준파를 조사하면 원 위치의 원 물체 영상이 재현된다. 따라서 홀로그램 영상은, 시야각의 제약은 있지만, 3차원 영상을 디스플레이하기 때문에 궁극적인 3D영상으로 간주되고 있다[비특허문헌 2].
대분류의 관점에서 살펴보면 전통적인 디지털 홀로그램을 생성하는 방법은 광학 촬영을 이용한 방법과 컴퓨터를 이용한 CGH(computer generated hologram) 방법으로 나눌 수 있다. 도 1은 광학 촬영을 이용한 방법을 도시하고 있다. 광학 촬영과 CGH 방법들도 지금까지 무수히 많은 연구들이 진행되어왔다. 이러한 방법들은 모두 제각각 장점과 단점을 가질 것이다.
CGH 방법의 경우에 가장 큰 단점은 연산처리 속도가 매우 느리다는 것이다. 이러한 속도를 개선하기 위해 알고리즘을 개선하거나, GPU를 사용하거나, FPGA(field programmable gate array)를 만들거나, 혹은 전용 칩셋(chipset)을 만드는 방법등이 제시되었다.
또한, 도 2와 같이, 최근 급속히 발달하고 있는 딥러닝 기술을 이용하여 홀로그램을 생성하는 방법이 제시되고 있다[특허문헌 1].
한국공개특허공보 제10-2018-0064884호(2018.06.15.공개)
S. A. Benton and V. M. Bove Jr., Holographic imaging, John Wiley and Sons Inc., 2008. 한기평(Ki-Pyung Han), "기가코리아(Giga Korea)," TTL Journal, Vol. 146, pp. 16-21, 2013년 3월(March 2013).
본 발명의 목적은 상술한 바와 같은 문제점을 해결하기 위한 것으로, 딥러닝 기술에 기반을 두고 생성형 네트워크를 이용하는 심층신경망을 이용하여 홀로그램을 생성하되, 홀로그램의 디스플레이를 위해 홀로그램의 생성 시 랜덤 위상을 추가하는 것이 아닌 랜덤위상을 심층 신경망을 이용하여 후처리하는, 인공지능 및 딥러닝 기술을 이용한 랜덤위상을 갖는 홀로그램 생성방법을 제공하는 것이다.
또한, 본 발명의 목적은 프린지 패턴 생성기를 학습시키고, 학습된 프린지 패턴 생성기로 랜덤 페이즈가 포함된 프린지 패턴을 획득하고, 이를 이용하여 랜덤페이즈 삽입기를 학습하여, 프린지 패턴 생성기와 랜덤 페이즈 삽입기로 랜덤 위상이 포함된 프린지 패턴을 생성하는, 인공지능 및 딥러닝 기술을 이용한 랜덤위상을 갖는 홀로그램 생성방법을 제공하는 것이다.
상기 목적을 달성하기 위해 본 발명은 인공지능 및 딥러닝 기술을 이용한 랜덤위상을 갖는 홀로그램 생성방법에 관한 것으로서, (a) 객체 포인트를 입력받아 프린지 패턴을 출력하는 프린지 패턴 생성기의 파라미터를 최적화 하되, CGH(computer generated hologram) 알고리즘으로 생성된 객체 포인트에 대한 프린지 패턴을 정답 데이터로 정하여 최적화 하는 단계; (b) 프린지 패턴을 입력받아 랜덤 페이즈가 삽입된 프린지 패턴(이하 랜덤 페이즈 프린지 패턴)을 출력하는 랜덤페이즈 삽입기를 최적화 하되, CGH 알고리즘으로 생성된 랜덤 페이즈 프린지 패턴을 정답 데이터로 정하여 최적화 하는 단계; 및, (c) 상기 최적화된 프린지 패턴 생성기와 상기 랜덤페이즈 삽입기를 이용하여 디지털 홀로그램을 생성하는 단계를 포함하는 것을 특징으로 한다.
또, 본 발명은 인공지능 및 딥러닝 기술을 이용한 랜덤위상을 갖는 홀로그램 생성방법에 있어서, 상기 (a)단계에서, 샘플링된 포인트들에 대하여, CGH 알고리즘으로 각 포인트에 대한 제1 프린지 패턴을 생성하고, 해당 각 포인트를 상기 프린지패턴 생성기에 적용하여 제2 프린지 패턴을 생성하여, 생성된 제1 및 제2 프린지 패턴의 유사 정도가 최대화 되도록 파라미터들을 최적화 하는 것을 특징으로 한다.
또, 본 발명은 인공지능 및 딥러닝 기술을 이용한 랜덤위상을 갖는 홀로그램 생성방법에 있어서, 상기 (a)단계에서, 제1 및 제2 프린지 패턴의 유사 정도를 확률값으로 나타내는 프린지 패턴 판별기와, 제1 및 제2 프린지 패턴의 제1 및 제2 위상의 유사 정도를 확률값으로 나타내는 위상 판별기를 구성하고, 상기 프린지 패턴 판별기 및 위상 판별기의 파라미터를 최적화 하고, 최적화된 프린지 패턴 판별기 및 위상 판별기의 출력값이 최대화 되도록 상기 프린지 패턴 생성기의 파라미터를 최적화 하는 것을 특징으로 한다.
또, 본 발명은 인공지능 및 딥러닝 기술을 이용한 랜덤위상을 갖는 홀로그램 생성방법에 있어서, 상기 프린지 패턴 생성기는 실수부 생성기와 허수부 생성기로 구성되고, 각각의 생성기는 실수 프린지 패턴과 허수 프린지 패턴을 생성하는 것을 특징으로 한다.
또, 본 발명은 인공지능 및 딥러닝 기술을 이용한 랜덤위상을 갖는 홀로그램 생성방법에 있어서, 상기 프린지 패턴 생성기 및 상기 랜덤페이즈 삽입기는 심층신경망으로 구성된 것을 특징으로 한다.
또, 본 발명은 인공지능 및 딥러닝 기술을 이용한 랜덤위상을 갖는 홀로그램 생성방법에 있어서, 상기 프린지 패턴 판별기 및 상기 위상 판별기는 심층신경망으로 구성된 것을 특징으로 한다.
또, 본 발명은 인공지능 및 딥러닝 기술을 이용한 랜덤위상을 갖는 홀로그램 생성방법에 있어서, 상기 (b)단계에서, 샘플링된 포인트들에 대하여, CGH 알고리즘으로 각 포인트에 대한 제1 랜덤 페이즈 프린지 패턴을 생성하고, 해당 각 포인트를 상기 프린지 패턴 생성기에 적용하여 제2 프린지 패턴을 생성하고 생성된 제2 프린지 패턴을 상기 랜덤페이즈 삽입기에 적용하여 제2 랜덤 페이즈 프린지 패턴을 생성하여, 생성된 제1 및 제2 랜덤 페이즈 프린지 패턴의 유사 정도가 최대화 되도록 상기 랜덤페이즈 삽입기의 파라미터들을 최적화 하는 것을 특징으로 한다.
또, 본 발명은 인공지능 및 딥러닝 기술을 이용한 랜덤위상을 갖는 홀로그램 생성방법에 있어서, 상기 (b)단계에서, 각 객체 포인트에 대하여, -π에서 π사이의 랜덤 값을 생성하고, CGH 알고리즘에서 코사인 또는 사인 함수의 위상에 생성된 랜덤 값을 추가하여 제1 랜덤 페이즈 프린지 패턴을 생성하는 것을 특징으로 한다.
또, 본 발명은 인공지능 및 딥러닝 기술을 이용한 랜덤위상을 갖는 홀로그램 생성방법에 있어서, 상기 (b)단계에서, 제1 및 제2 랜덤 페이즈 프린지 패턴의 유사 정도를 확률값으로 나타내는 랜덤페이즈 판별기를 구성하고, 상기 랜덤페이즈 판별기의 파라미터를 최적화 하고, 최적화된 랜덤페이즈 판별기의 출력값이 최대화 되도록 상기 프린지 패턴 생성기의 파라미터를 최적화 하는 것을 특징으로 한다.
또, 본 발명은 인공지능 및 딥러닝 기술을 이용한 랜덤위상을 갖는 홀로그램 생성방법에 있어서, 상기 랜덤페이즈 판별기는 심층신경망으로 구성된 것을 특징으로 한다.
또, 본 발명은 인공지능 및 딥러닝 기술을 이용한 랜덤위상을 갖는 홀로그램 생성방법에 있어서, 상기 (c)단계에서, 주어진 3차원 객체의 포인트들에 대하여, 각 포인트를 상기 프린지 패턴 생성기에 적용하여 프린지 패턴을 생성하고, 생성된 프린지 패턴을 상기 랜덤페이즈 삽입기에 적용하여 랜덤페이즈 프린지 패턴을 생성하고, 생성된 랜덤페이즈 프린지 패턴에 해당 각 포인트의 밝기 값을 곱하고, 밝기 값이 곱해진 모든 포인트의 랜덤페이즈 프린지 패턴을 누적하여 디지털 홀로그램을 생성하는 것을 특징으로 한다.
또한, 본 발명은 인공지능 및 딥러닝 기술을 이용한 랜덤위상을 갖는 홀로그램 생성방법을 수행하는 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체에 관한 것이다.
상술한 바와 같이, 본 발명에 따른 인공지능 및 딥러닝 기술을 이용한 랜덤위상을 갖는 홀로그램 생성방법에 의하면, 프린지 패턴 생성기로 생성된 프린지 패턴에 랜덤페이즈 삽입기로 랜덤 위상을 후처리 과정으로 삽입함으로써, 홀로그램을 디스플레이할 때 시야각을 확장할 수 있는 효과가 얻어진다.
또한, 본 발명에 따른 인공지능 및 딥러닝 기술을 이용한 랜덤위상을 갖는 홀로그램 생성방법에 의하면, 프린지 패턴 생성 및 랜덤 페이즈를 삽입하는 과정을 모두 신경망으로 처리함으로써, 수식을 통해 반복 연산이 필요한 CGH 방식의 종래 기술에 비하여 연산을 매우 빠른 속도로 처리할 수 있고, 메모리 용량도 절약할 수 있는 효과가 얻어진다.
즉, 소프트웨어 방식의 경우에 수식을 이용한 방식과 비교하면, 수식을 이용한 방식은 하나의 광원에 대한 프린지패턴을 생성하는데 홀로그램 크기 만큼의 반복 연산이 필요한 반면, 본 발명에 따른 신경망 방식의 방법은 한 번의 반복으로 한 장의 프린지패턴이 출력되기 때문에 이론적으로는 홀로그램의 크기와 비례적으로 속도가 향상된다.
또한, 즉, 종래기술에 따른 룩업테이블 방식에 비해서 사용되는 메모리 용량을 매우 적게 사용할 수 있다. 구체적으로, 룩업테이블 방식의 경우에 수 기가에서 수 테라의 메모리 용량이 필요한 반면, 본 발명에 따른 신경망 방식의 방법은 수십 메가에서 최대 수백메가만 사용한다.
도 1은 종래기술에 따른 광학적 획득 방식에 의하여 디지털 홀로그램을 생성하고 복원하는 방법을 나타낸 예시도.
도 2는 종래기술에 따른 인공지능을 이용한 디지털 홀로그램 생성 방법을 나타낸 예시도.
도 3은 본 발명을 실시하기 위한 전체 시스템의 구성을 도시한 도면.
도 4는 본 발명의 홀로그램 생성 방법에 따른 객체 포인트 기반의 프린지 패턴 생성의 과정을 나타낸 도면.
도 5는 본 발명의 홀로그램 생성 방법에 따른 심층 신경망(딥러닝 모델)을 이용한 프린지 패턴(단일 객체 포인터에 대한 회절 패턴)의 생성 과정을 나타낸 도면.
도 6은 본 발명의 일실시예에 따른 인공지능 및 딥러닝 기술을 이용한 랜덤위상을 갖는 홀로그램 생성방법을 설명하는 흐름도.
도 7은 본 발명의 일실시예에 따른 회절패턴(단일 객체 점에 대한 회절 패턴의 일부)을 생성하기 위한 심층 신경망(딥러닝 모델)을 학습시키는 과정을 나타낸 도면.
도 8는 본 발명의 일실시예에 따른 랜덤 페이즈를 삽입하는 딥러닝 기반의 단계를 나타낸 도면.
도 9은 본 발명의 일실시예에 따른 프린지 패턴 생성 심층 신경망을 이용한 홀로그램 생성 단계를 설명하는 흐름도.
도 10은 본 발명의 실험에 따른 심층신경망을 이용해서 생성한 프린지 패턴 예시도로서, (a) 실수부, (b) 허수부에 대한 예시도.
도 11는 본 발명의 실험에 따른 심층신경망을 이용해서 생성한 홀로그램의 예시도로서, (a) 실수부, (b) 허수부에 대한 예시도.
도 12는 본 발명의 실험에 따른 심층신경망을 이용한 홀로그램 생성 결과의 예시도로서, (a) 객체를 위한 포인트 클라우드, (b) 그림 8의 홀로그램을 이용한 홀로그램 복원 결과를 나타낸 예시도.
이하, 본 발명의 실시를 위한 구체적인 내용을 도면에 따라서 설명한다.
또한, 본 발명을 설명하는데 있어서 동일 부분은 동일 부호를 붙이고, 그 반복 설명은 생략한다.
먼저, 본 발명을 실시하기 위한 전체 시스템의 구성의 예들에 대하여 도 3을 참조하여 설명한다.
도 3에서 보는 바와 같이, 본 발명에 따른 인공지능 및 딥러닝 기술을 이용한 랜덤위상을 갖는 홀로그램 생성방법은 3차원 데이터(10)를 입력받아 홀로그램을 생성하는 컴퓨터 단말(20) 상의 프로그램 시스템으로 실시될 수 있다. 즉, 상기 디지털 홀로그램의 생성 방법은 프로그램으로 구성되어 컴퓨터 단말(20)에 설치되어 실행될 수 있다. 컴퓨터 단말(20)에 설치된 프로그램은 하나의 프로그램 시스템(30)과 같이 동작할 수 있다.
한편, 다른 실시예로서, 인공지능 및 딥러닝 기술을 이용한 랜덤위상을 갖는 홀로그램 생성방법은 프로그램으로 구성되어 범용 컴퓨터에서 동작하는 것 외에 ASIC(주문형 반도체) 등 하나의 전자회로로 구성되어 실시될 수 있다. 또는 홀로그램 영상을 생성하는 것만을 전용으로 처리하는 전용 컴퓨터 단말로 개발될 수도 있다. 이를 디지털 홀로그램 생성 장치(30)라 부르기로 한다. 그 외 가능한 다른 형태도 실시될 수 있다.
한편, 3차원 데이터는 3차원 객체를 표현하는 포인트 클라우드 등으로 구성된다.
다음으로, 본 발명에 따른 딥러닝 기술을 이용한 디지털 홀로그램의 생성 방법의 기본적인 원리 및 과정을 도 4 내지 도 5를 참조하여 설명한다.
컴퓨터 생성 홀로그램(computer-generated hologram, CGH)은 모든 홀로그램 평면의 좌표에서 입력되는 모든 광원에 대하여 프린지 패턴을 구한 후에 그 패턴들을 누적하여 구한다.
수학식 1에 완전 복소 홀로그램의 생성을 위한 실수부의 CGH 수식을 나타내었다.
[수학식 1]
Figure 112020021412826-pat00001
여기서, I(u,v)는 홀로그램 평면의 좌표 (u,v)에서의 밝기이고, Aj(x,y,z)는 x,y,z 좌표에서의 광원의 밝기이다. N은 광원의 개수이고, λ는 홀로그램 생성에 사용한 참조파(reference wave)의 파장이고, p는 홀로그램과 광원의 화소의 크기인데, 여기에서는 편의상 동일한 값으로 취급하였다.
수학식 1의 과정을 수학식 2와 3과 같이 분리한다.
[수학식 2]
Figure 112020021412826-pat00002
[수학식 3]
Figure 112020021412826-pat00003
따라서 도 4와 같이, 수학식 2를 이용하여 각각의 객체 포인트에 대해 프린지 패턴을 생성한다.
한편, 프린지 패턴은 복소수 형태(IRe + iIIm)로 만들어지고, 복소수에서 실수부(IRe)와 허수부(IIm)는 각각 따로 연산된다. 수학식 2에서 실수부는 코사인(cosine)으로 계산하나, 허수부는 사인함수(sine)로 계산한다.
이때, 도 5에서 보는 바와 같이, 본 발명에 따른 방법은 수학식 2에 대해 심층 신경망(deep neural network)을 이용하여 생성한다.
생성된 프린지 패턴은 수학식 3과 같이 밝기 값과 곱하고, 누적 덧셈을 수행하여 최종 홀로그램을 생성한다.
다음으로, 본 발명의 일실시예에 따른 인공지능 및 딥러닝 기술을 이용한 랜덤위상을 갖는 홀로그램 생성방법을 도 6 내지 도 9을 참조하여 설명한다.
도 6에서 보는 바와 같이, 본 발명에 따른 디지털 홀로그램의 생성 방법은 프린지 패턴 생성기를 학습시키는 단계(S10), 랜덤 페이즈 삽입기를 학습시키는 단계(S20), 및, 학습된 프린지 패턴 생성기 및 랜덤 페이즈 삽입기를 이용하여, 객체 데이터에서 디지털 홀로그램을 생성하는 단계(S30)로 구성된다. 이때, 학습단계에서 학습용 3차원 객체 포인트들로 학습하고, 실제 대상 3차원 객체 포인트들로 디지털 홀로그램을 생성한다.
먼저, 프린지 패턴 생성기를 학습시키는 단계(S10)를 설명한다.
도 7은 프린지 패턴 생성을 위해 심층신경망(deep neural network)을 학습하기 위한 모델의 구조를 나타낸다. 전체 구조는 적대적 생성형 모델을 기반으로 하고 있다.
도 7에서 보는 바와 같이, 객체 포인트 정보가 입력되면, CGH(computer generated hologram) 알고리즘을 이용하여 진짜 프린지(Real Fringe) 패턴(이하 제1 프린지 패턴)을 생성한다. 즉, CGH 알고리즘에 의해 생성된 진짜 프린지를 정답 데이터로 활용한다. 또한, 여기서에서 설명하는 학습 방식은 일례를 위한 하나의 학습 방식(예를 들어, GAN 학습 방식)을 적용한 것이고, 정답 데이터를 이용하는 신경망의 지도 학습 방식에 모두 적용할 수 있다.
이와 동시에 심층신경망 기반의 프린지 패턴 생성기(Fringe Pattern Generator)를 이용하여 가짜 프린지(Fake Fringe) 패턴(이하 제2 프린지 패턴)을 생성한다. 단, 여기서, 진짜 프린지(Real Fringe)에서 Real은 실수를 의미하고 진짜 데이터(Real Data)에서 Real은 실제의 정보를 의미한다.
심층신경망 기반의 프린지 패턴 판별기(Fringe Pattern Discriminator based on Deep Neural Network)는 이 두 결과를 비교하여 진짜와 가짜가 얼마나 비슷한지를 확률값으로 출력하고, 이 확률적인 계산 결과를 바탕으로 프린지 패턴 생성기가 더욱 진짜와 유사한 가짜를 만들 수 있도록 손실(loss) 값을 얻는다.
또한, 홀로그램의 깊이 정보를 담고 있는 위상 정보의 손실을 막기 위해, 가짜 실수 프린지와 가짜 허수 프린지로부터 얻은 가짜 위상(Fake Phase)과, 진짜 실수 프린지와 진짜 허수 프린지로부터 얻은 진짜 위상(Real Phase)을 심층 신경망 기반의 위상 판별기(Phase Discriminator based on Deep Neural Network)가 비교하여 확률 값으로 출력하고 이를 기반으로 손실(loss) 값을 산출한다.
이 확률적인 계산 결과를 바탕으로 프린지 패턴 생성기가 더욱 진짜와 유사한 가짜를 만들 수 있도록 프린지 패턴 생성기의 내부 파라미터들을 갱신시킨다. 이와 같은 고정을 반복적으로 수행하면 진짜와 가짜가 구별할 수 없을 정도로 유사해지게 되는데, 이는 프린지 패턴 생성기가 CGH로 생성된 프린지 패턴과 동일한 프린지 패턴을 생성할 수 있게 되어 심층신경망이 프린지 패턴을 출력할 수 있도록 학습되었다는 것을 의미한다.
이하에서 설명에서의 각각의 용어와 방법들에 대해 설명한다.
c1,...,cm : 정수 혹은 실수 형태의 객체 포인트(object point)의 (x,y,z) 공간 좌표로서, 조건(condition) 정보이다. 즉, x,y,z는 객체의 공간 좌표를 나타낸다.
z(1),...,z(m) : 일차원 잡음 또는 잡음 영상이다.
fre (1),...,fre (m) : 컴퓨터 생성 홀로그램 알고리즘을 이용하여 생성된 실제 실수 프린지 패턴(Real Real Fringe Pattern)이다.
fim (1),...,fim (m) : 컴퓨터 생성 홀로그램 알고리즘을 이용하여 생성된 실제 허수 프린지 패턴(Real Imaginary Fringe Pattern)이다.
Gfringe(zi|ci) : 객체 포인트의 좌표 조건 ci가 주어졌을 때 잡음 zi를 입력으로 사용하여 프린지 패턴을 생성한다. 이를 프린지 패턴 생성기(Fringe Pattern Generator)라 부르고, 실수부 홀로그램(real hologram)과 허수부 홀로그램(imaginary hologram)의 생성을 위해 GRe(zi|ci)과 GIm(zi|ci)의 두 가지 심층신경망(deep neural network)으로 구성된다.
Dfringe(x) : x가 잡음 pg(z)로부터 왔을 확률을 나타낸다. 즉, 생성된 프린지 패턴이 실제 프린지 패턴과 얼마나 유사한지 확률적으로 나타낸다. 프린지 패턴 판별기(Fringe Pattern Discriminator)라 부르고, 실수부 홀로그램(real hologram)과 허수부 홀로그램(imaginary hologram)의 판별을 위해 DRe(x)과 DIm(x)의 두 가지 심층신경망(deep neural network)으로 구성된다.
Dphase(x) : x가 잡음 pg(z)로부터 왔을 확률을 나타낸다. 즉, 생성된 프린지 패턴으로부터의 위상 성분과 실제 프린지 패턴으로부터의 위상 성분이 얼마나 유사한지 확률적으로 나타낸다. 이를 위상 판별기(Phase Discriminator)라 부른다.
Figure 112020021412826-pat00004
: 프린지 패턴 생성기 GIm(zi|ci)를 통해 만들어진 허수부 프린지 패턴이다.
Figure 112020021412826-pat00005
: 프린지 패턴 생성기 GRe(zi|ci)를 통해 만들어진 실수부 프린지 패턴이다.
▽x : x에 대한 확률적 경사 상승 기법(stochastic gradient ascending)을 이용한 심층신경망의 미분으로 델 연산자이다.
ε : 0과 1사이의 난수(random number)를 의미한다.
θG : 심층신경망으로 구성된 프린지 패턴 생성기의 파라미터이다. 이 파라미터에는 신경망의 가중치(weight), 편향(bias), 최적화기(optimizer) 파라미터가 포함된다. 최적화기의 파라미터는 최적화기의 종류에 따라 결정된다. 예를 들어 Adam을 사용할 경우에 α, β1, β2가 포함된다.
θD : 심층신경망으로 구성된 판별기의 파라미터이다. 이 파라미터에는 신경망의 가중치(weight), 편향(bias), 최적화기(optimizer) 파라미터가 포함된다. 최적화기의 파라미터는 최적화기의 종류에 따라 결정된다. 예를 들어 Adam을 사용할 경우에 α, β1, β2가 포함된다.
L : 딥러닝에서 심층신경망의 학습에 사용되는 손실함수(loss function)이다. 현재 본 문서에서는 WGAN-GP(Wasserstein Generative Adversarial Network - Gradient Panelty)를 사용하는 것을 예시로 작성되었으나, 다른 손실함수를 사용하여도 무방하다.
m : 미니 배치의 개수
k : 트레이닝(훈련) 횟수
먼저, 프린지 패턴 생성기의 학습 단계(S10)에서, 3차원 객체의 포인트들에 대하여, 미니배치 크기 m으로 샘플링하고, 샘플링된 데이터를 이용하여 신경망으로 구성된 프린지 패턴 생성기, 프린지 패턴 판별기, 및, 위상 판별기를 훈련(또는 학습)시킨다.
먼저, 사전에 정해진 잡음 pg(z)로부터 잡음 z1,z2...,zm을 샘플링하고, CGH 알고리즘에 의한 제1 실수 프린지 패턴 f1 Re,f2 Re,...,fm Re과 제1 허수 프린지 패턴 f1 Im,f2 Im,...,fm Im을 생성한다. 또한, 객체 포인트들로부터 조건 c1,c2...,cm을 샘플링한다.
다음으로, 각 샘플된 데이터에 대하여, (허수 또는 실수) 프린지 패턴 생성기로 제2 허수 프린지 패턴 및 제2 실수 프린지 패턴을 생성한다. 이때, 다음 수학식을 이용한다.
[수학식 4]
Figure 112020021412826-pat00006
다음으로, 제1 허수 프린지 패턴과 제1 실수 프린지 패턴으로 제1 위상 fphase을 산출하고, 제2 허수 프린지 패턴과 제2 실수 프린지 패턴으로 제2 위상 f~ phase을 산출한다.
[수학식 5]
Figure 112020021412826-pat00007
다음으로, 제1 위상과 제2 위상을 무작위 값 ε으로 가중치를 달리하여 제3 위상 f^ phase을 산출하고, 위상 손실함수 Lphasei 를 산출한다.
[수학식 6]
Figure 112020021412826-pat00008
[수학식 7]
Figure 112020021412826-pat00009
여기서, λ는 패널티 계수로서, 손실함수의 크기를 조절하는 역할을 수행한다. λ는 사전에 정해진 값이다. 또한, D() 등은 판별기에 의한 값으로서, 실제 값과 얼마나 유사한지 확률적으로 나타낸 것이다. 또한, ∥∥2 는 L2 노름(Norm) 연산으로서, 내부의 각 원소를 제곱하여 더하고 제곱근을 취한 연산이다. 즉, 노름(Norm) 연산은 벡터의 길이 혹은 크기를 측정하는 연산이다. ▽fD(fi)는 D(fi)를 f로 델 연산자(확률적 경사 상승 기법을 이용한 심층신경망의 미분으로의 델 연산자) ▽에 의해 미분한 값이다.
다음으로, 제1 허수 프린지 패턴과 제2 허수 프린지 패턴을 무작위 값 ε으로 가중치를 달리하여 제3 허수 프린지 패턴을 산출하고, 허수 프린지 패턴의 손실함수 LImi 를 산출한다.
[수학식 8-1]
Figure 112020021412826-pat00010
[수학식 8-2]
Figure 112020021412826-pat00011
다음으로, 제1 실수 프린지 패턴과 제2 실수 프린지 패턴을 무작위 값 ε으로 가중치를 달리하여 제3 실수 프린지 패턴을 산출하고, 실수 프린지 패턴의 손실함수 LRei 를 산출한다.
[수학식 9-1]
Figure 112020021412826-pat00012
[수학식 9-2]
Figure 112020021412826-pat00013
다음으로, 각 미니배치의 모든 샘플링 데이터에 대하여 위와 같이 손실함수를 구하면, 다음 수학식과 같이, 위상 판별기, 허수 프린지 패턴 판별기, 및 실수 프린지 패턴 판별기의 파라미터들을 최적화시킴으로써 학습시킨다.
[수학식 10]
Figure 112020021412826-pat00014
θD 는 각 판별기의 파라미터들을 나타낸다. 판별기의 파라미터는 신경망의 파라미터들로서, 가중치, 바이어스 등을 나타낸다. 또한, Optimizer(x,parameters)는 x의 값이 최소화 되도록, 파라미터 parameters들을 변화시켜 최적화 시키는 함수를 나타낸다. 즉, 수학식 10은 각 샘플링 데이터의 손실함수 Li 의 평균값을 델 연산자(▽)에 의해 미분하고, 미분한 값을 최적화하는 파라미터들의 값을 구하여 최적화를 수행하는 것을 나타낸다.
다시 말하면, 손실함수에서 손실이 가장 작은 지점은 손실함수의 기울기가 영인 지점이다. 다차원 함수인 손실함수의 기울기가 영인 지점을 찾기 위해서는 손실함수를 델 연산자를 취해서 기울기를 구한다. 확률적 경사 하강법은 신경망의 순전파를 통해서 구한 결과와 정답의 차이로 손실함수를 구성한 후에 손실함수의 기울기가 영이 되도록 신경망을 구성하고 있는 파라미터들을 조절하는 것이다. 그런데 수학식 10은 최적화 과정이다. 손실함수를 미분하여 기울기를 구한 후에 이 기울기를 이용하여 어떻게 손실함수의 기울기가 영이 되도록 신경망의 파라미터를 변화시킬 것인가 하는 문제가 남아 있다. 여기서 손실함수의 미분 값을 이용하여 신경망의 파라미터를 변화시키는 과정이 최적화(optimization)이며, 이를 수행하는 것을 최적화기(optimizer)이다.
다음으로, 앞서의 학습 과정(또는 훈련 과정)을 트레이닝 횟수 k만큼 반복한다. 즉, 앞서 과정은 샘플링 데이터를 이용하여, 각 판별기를 1회 학습을 수행한 것이다. 이와 같은 학습 과정을 k회 반복하여 각 판별기를 학습시킨다.
다음으로, 프린지 패턴 생성기의 훈련을 위하여, 객체의 포인트 및, 잡음을 샘플링한다. 그리고 다음 식과 같이, 생성기(G)로 생성된 결과(또는 확률)를 판별기(D)로 판별하고, 그 판별 결과를 최대화 하여 생성기(G)의 파라미터들을 최적화 시킨다. 이때, 앞서 훈련된 판별기를 사용한다.
[수학식 11]
Figure 112020021412826-pat00015
여기서, θGIm은 허수 프린지 패턴 생성기를 나타내고, θGRe은 실수 프린지 패턴 생성기를 나타낸다.
요약하면, k 번 판별기를 훈련시키고 난 후에 1번 생성기를 훈련시키는 방법을 사용한다. m개의 미니 배치 크기만큼 잡음, 실제 프린지 패턴 및 조건을 무작위로 추출하고, 이를 이용하여 모델을 순전파시킨다. 순전파 결과를 이용하여 손실함수를 계산하고 손실함수에 대해 미분을 구한 후에 역전파 연산을 거치면서 판별기의 파라미터를 갱신한다. 다음으로 다시 무작위로 추출된 잡음과 조건을 이용하여 모델을 순전파 시키고, 그 결과를 이용하여 역전파시키면서 생성기의 파라미터를 갱신한다. 여기서, 순전파는 신경망에 입력을 넣어서 출력을 만드는 과정으로서, 추론(inference) 혹은 테스트(test) 하는 것과 같다. 역전파는 순전파 결과와 정답의 차이인 손실함수를 미분하고, 미분결과를 최적화 알고리즘을 이용하여 신경망의 출력 부분부터 입력 부분으로 이동시키면서 신경망의 파라미터를 변화시키는 과정이다.
다음으로, 랜덤 페이즈 삽입기를 학습시키는 단계(S20)를 설명한다.
도 8에서 보는 바와 같이, 앞서 프린지 패턴 생성 단계(S10)을 통해서 만들어진 프린지 패턴 생성기를 이용하여 나온 프린지 패턴에 랜덤 위상을 후처리 과정으로써 삽입한다. 디스플레이 시 시야각이 좁은 홀로그램의 문제를 개선시키기 위하여 랜덤 페이즈를 삽입하는데, 이것은 홀로그램의 생성 시 넣어주어야 하는 것이 지금까지의 방법이다. 하지만 딥러닝을 이용하여 후처리로 시야각의 확장을 겸비한 랜덤 페이즈가 추가된 프린지 패턴을 생성한다. 이 또한 프린지 패턴의 생성 시 사용하였던 적대적 생성형 모델을 사용한다.
이하에서, 프린지 패턴 생성기를 통하여 만들어진 프린지 패턴에 랜덤 페이즈를 후처리로 부여하는 과정을 구체적으로 설명한다. 이때, 사용하는 각각의 용어와 방법들에 대해 먼저 설명한다.
c1,...,cm :정수 혹은 실수 형태의 객체 포인트(object point)의 (x,y,z) 공간 좌표로써, 조건(condition) 정보이다.
f(1),...,f(m) : 컴퓨터 생성 홀로그램 알고리즘을 이용하여 생성된 조건(condition)에 해당하는 랜덤 페이즈가 삽입된 실제 프린지 패턴(Real Fringe Pattern)이다.
Figure 112020021412826-pat00016
: 랜덤 페이즈 삽입기를 통해 만들어진 가짜 랜덤 페이즈 프린지 패턴이다.
ffake (1),...,ffake (m) : 프린지 패턴 생성기를 통해 만들어진 가짜 프린지 패턴이다.
Grand(ffake) : 프린지 패턴 생성기로부터 생성된 가짜 프린지 패턴을 입력으로 사용하여 랜덤페이즈가 삽입된 랜덤페이즈 프린지 패턴을 생성한다. 이를 랜덤페이즈 삽입기(Fringe Pattern Transfer with Random Phase)라 한다.
Drand(ffake,f) : x가 ffake로부터 왔을 확률을 나타낸다. 즉, 생성된 랜덤 페이즈 프린지 패턴이 실제 랜덤 페이즈 프린지 패턴과 얼마나 유사한지 확률적으로 나타낸다. 이를 랜덤 페이즈 프린지 패턴 판별기(Random Phase Discriminator)라 부른다.
▽x : x에 대한 확률적 경사 상승 기법(stochastic gradient ascending)을 이용한 심층신경망의 미분으로 델 연산자이다.
ε : 0과 1사이의 난수(random number)를 의미한다.
θG : 심층신경망으로 구성된 랜덤 페이즈 삽입기의 파라미터이다. 이 파라미터에는 신경망의 가중치(weight), 편향(bias), 최적화기(optimizer) 파라미터가 포함된다. 최적화기의 파라미터는 최적화기의 종류에 따라 결정된다. 예를 들어 Adam을 사용할 경우에 α, β1, β2가 포함된다.
θD : 심층신경망으로 구성된 랜덤 페이즈 판별기의 파라미터이다. 이 파라미터에는 신경망의 가중치(weight), 편향(bias), 최적화기(optimizer) 파라미터가 포함된다. 최적화기의 파라미터는 최적화기의 종류에 따라 결정된다. 예를 들어 Adam을 사용할 경우에 α, β1, β2가 포함된다.
L : 딥러닝에서 심층신경망의 학습에 사용되는 손실함수(loss function)이다. 현재 본 문서에서는 WGAN-GP(Wasserstein Generative Adversarial Network - Gradient Panelty)의 것과 L1 손실(loss)를 사용하는 것을 예시로 작성되었으나, 다른 손실함수를 사용하여도 무방하다.
m : 미니 배치의 개수
k : 트레이닝(훈련) 횟수
먼저, k번 판별기를 훈련시키고 난 후에 1번 생성기를 훈련시키는 방법을 사용한다. m개의 미니배치 크기만큼 실제 랜덤 페이즈가 삽입된 프린지 패턴과 프린지패턴 생성기로부터의 프린지 패턴을 추출하고, 이를 이용하여 모델을 순전파시킨다. 순전파 결과를 이용하여 손실함수를 계산하고 손실함수에 대해 미분을 구한 후에 역전파 연산을 거치면서 판별기의 파라미터를 갱신한다. 다음으로 다시 무작위로 추출된 잡음 영상과 조건을 이용하여 모델을 순전파 시키고, 그 결과를 이용하여 역전파 시키면서 생성기의 파라미터를 갱신한다. 이러한 랜덤 페이즈 삽입기는 실수(Real)과 허수(Imaginary) 프린지 패턴 생성기에 각각 하나씩 붙여도 혹은 두가지 생성기를 위한 삽입기 하나만을 이용해도 무방하다.
구체적으로, 먼저, 객체 포인트들로부터 조건 c1,c2...,cm을 샘플링하고, 조건(조건의 미니배치)이 적용된 CGH 알고리즘에 의한 실제 랜덤 페이즈 프린지 패턴(또는 제1 랜덤 페이즈 프린지 패턴) f1,f2...,fm을 샘플링한다. 즉, CGH 알고리즘에 의해 생성된 제1 랜덤 페이즈 프린지 패턴을 정답 데이터로 활용한다. 또한, 여기서에서 설명하는 학습 방식은 일례를 위한 하나의 학습 방식(예를 들어, GAN 학습 방식)을 적용한 것이고, 정답 데이터를 이용하는 신경망의 지도 학습 방식에 모두 적용할 수 있다.
홀로그램의 생성 시 실수부의 홀로그램에 랜덤 위상을 삽입하는 수식은 다음과 같다.
[수학식 21]
Figure 112020021412826-pat00017
허수부 홀로그램에 랜덤위상을 삽입할 때에는 코사인(cosine)을 사인(sine) 함수로 바꾸면 된다. -π에서 π사이의 랜덤 값으로 이루어진다. 이 랜덤 값은 각각의 객체점에 대하여 모두 무작위로 샘플링된다.
따라서 다음 식과 같이, 각 객체 포인트에 대하여 CGH 알고리즘에서 프린지 패턴을 생성하기 위한 식의 위상에 랜덤 페이즈를 더하여 랜덤페이즈 프린지 패턴을 생성한다.
[수학식 21]
Figure 112020021412826-pat00018
다음으로, 조건의 미니배치가 적용된 프린지 패턴 생성기에 의한 가짜 프린지 패턴(또는 제2 프린지 패턴) ffake (1),...,ffake (m)을 샘플링한다.
그리고 각 샘플링 데이터 i에 대하여, 랜덤페이즈 삽입기를 이용하여 가짜 프린지 패턴(제2 프린지 패턴)으로부터 제2 랜덤 페이즈 프린지 패턴(또는 가짜 랜덤 페이즈 프린지 패턴) f~ i을 생성한다. 이때, 다음 수학식을 이용한다.
[수학식 12]
Figure 112020021412826-pat00019
다음으로, 제1 랜덤 페이즈 프린지 패턴 fi과 제2 랜덤 페이즈 프린지 패턴을 무작위 값 ε으로 가중치를 달리하여 제3 랜덤 페이즈 프린지 패턴 f^ i을 산출하고, 위상 손실함수 Li 를 산출한다.
[수학식 13]
Figure 112020021412826-pat00020
여기서, fi, f~ i, f^ i는 각각 제1, 2, 3 랜덤 페이즈 프린지 패턴이고, ε는 사전에 설정된 가중치이고, Li는 손실함수이다. 또한, Drand()는 랜덤페이즈 판별기이고, λ는 패널티 계수이고, ▽f^Drand(f^ i)는 Drand(f^ i)를 f^로 델 연산자(확률적 경사 상승 기법을 이용한 심층신경망의 미분으로의 델 연산자) ▽에 의해 미분한 값이다.
다음으로, 각 미니배치의 모든 샘플링 데이터에 대하여 위와 같이 손실함수를 구하면, 다음 수학식과 같이, 랜덤 페이즈 판별기의 파라미터들을 최적화시킴으로써 학습시킨다.
[수학식 14]
Figure 112020021412826-pat00021
여기서 Li는 손실함수이고, ▽θD는 θD에 의한 확률적 경사 상승 기법을 이용한 심층신경망의 미분으로의 델 연산자를 나타내고, Optimizer(x,parameter)는 x의 값이 최소화 되도록, 파라미터 parameter들을 변화시켜 최적화 시키는 함수를 나타낸다.
다음으로, 랜덤 페이즈 삽입기의 훈련을 위하여, 프린지 패턴 생성기에 의한 가짜 프린지 패턴 ffake (1),...,ffake (m)을 샘플링한다.
다음으로, 랜덤 페이즈 삽입기로부터 만들어낸 가짜 이미지 Grand(f(i) fake)와 그에 대응되는 진짜 랜덤 페이즈 삽입 이미지인 fi 사이의 L1 손실(Loss)를 나타내는 손실함수를 구한다. L1 손실(Loss) ∥∥1은 이미지의 각 픽셀 당 1차원 유클리디언 거리이다.
[수학식 15]
Figure 112020021412826-pat00022
그리고 다음 식과 같이, 삽입기(G)로 생성된 결과(또는 확률)를 판별기(D)로 판별하고, 그 판별 결과를 최대화 하여 삽입기(G)의 파라미터들 θG을 최적화 시킨다. 이때, 앞서 훈련된 판별기를 사용한다.
[수학식 16]
Figure 112020021412826-pat00023
여기서, ▽θG 는 θG 에 의한 델연산자를 나타내고, Grand(f(i) fake)는 프린지 패턴 생성기로부터의 결과인 네트워크로부터의 프린지 패턴이 주어졌을 때 랜덤페이즈를 삽입하여 출력하는 랜덤페이즈 삽입기의 값을 나타낸다.
다음으로, 디지털 홀로그램을 생성하는 단계(S30)를 설명한다.
프린지 패턴 생성 훈련 단계(S10) 및, 랜덤 페이즈 프린지 패턴 생성 훈련 단계(S20)를 통해서 만들어진 랜덤페이즈를 포함한 프린지 패턴 생성기를 이용하여 디지털 홀로그램을 생성하는 절차를 도 9에 나타내고 있다.
앞서 설명한 과정에서는 랜덤 페이즈를 포함한 실수 프린지 패턴과 허수 프린지 패턴을 생성한다. 이후에 생성된 프린지 패턴은 밝기 값과 곱해지고, 이전에 생성된 프린지 패턴과 누적덧셈을 수행한다. 모든 객체 포인트에 대한 프린지 패턴이 누적하여 덧셈이 되면 최종적인 홀로그램이 만들어진다.
이하에서, 프린지 패턴 생성 모델을 이용하여 홀로그램을 생성시키는 구체적인 절차를 설명한다. 이때 사용되는 각각의 용어와 방법들에 대해 설명한다.
H : 한 장의 디지털 홀로그램
Ai : 객체 포인트의 밝기 값
즉, 객체 포인트 정보에서 심층신경망의 조건으로 사용할 좌표 정보와 밝기 정보를 호출한다. 좌표정보를 이용하여 프린지패턴 생성기(Gfringe) 및 랜덤페이즈 삽입기(Grand)를 통해 한 장의 프린지 패턴 f~ i을 생성한다. 이때, 다음 수학식을 이용한다.
[수학식 17]
Figure 112020021412826-pat00024
또한, 생성된 프린지 패턴들에 밝기 가중치를 부여한 이후에 누적하여 홀로그램을 생성한다.
이때, 다음 수학식을 이용한다.
[수학식 18]
Figure 112020021412826-pat00025
다음으로, 본 발명의 효과를 실험을 통해 설명한다.
도 10에는 프린지 패턴 생성기를 이용하여 생성한 복소 프린지 패턴을 나타냈다. 각각 64개의 조건에 대해 도 10(a)의 실수와 도 10(b)의 허수부 프린지 패턴을 나타냈다.
프린지 패턴 생성기를 통해서 생성된 프린지 패턴들을 누적 덧셈하여 생성된 홀로그램을 도 10에 나타냈다. 도 11(a)가 실수부이고, 도 11(b)가 허수부이다.
생성한 홀로그램을 복원한 결과를 도 12에 나타냈다. 도 12(a)는 객체의 포인트 클라우드 정보를 8비트 크기의 영상 파일로 만든 것이다. 도 12(b)는 도 11의 홀로그램을 수치적으로 복원한 결과이다. 결과에서 볼 수 있듯이 CGH의 결과와 1~5dB 정도 차이가 날 정도로 매우 유사한 디지털 홀로그램을 생성하는 것을 확인하였다.
이상, 본 발명자에 의해서 이루어진 발명을 상기 실시 예에 따라 구체적으로 설명하였지만, 본 발명은 상기 실시 예에 한정되는 것은 아니고, 그 요지를 이탈하지 않는 범위에서 여러 가지로 변경 가능한 것은 물론이다.
10 : 3차원 데이터 20 : 컴퓨터 단말
30 : 프로그램 시스템

Claims (12)

  1. 인공지능 및 딥러닝 기술을 이용한 랜덤위상을 갖는 홀로그램 생성방법에 있어서,
    (a) 객체 포인트를 입력받아 프린지 패턴을 출력하는 프린지 패턴 생성기의 파라미터를 최적화 하되, CGH(computer generated hologram) 알고리즘으로 생성된 객체 포인트에 대한 프린지 패턴(이하 제1 프린지 패턴)을 정답 데이터로 정하여 최적화 하는 단계;
    (b) 프린지 패턴을 입력받아 랜덤 페이즈가 삽입된 프린지 패턴(이하 랜덤 페이즈 프린지 패턴)을 출력하는 랜덤페이즈 삽입기를 최적화 하되, CGH 알고리즘으로 생성된 랜덤 페이즈 프린지 패턴(이하 제1 랜덤페이즈 프린지 패턴)을 정답 데이터로 정하여 최적화 하는 단계; 및,
    (c) 상기 최적화된 프린지 패턴 생성기와 상기 랜덤페이즈 삽입기를 이용하여 디지털 홀로그램을 생성하는 단계를 포함하고,
    상기 프린지 패턴 생성기는 심층신경망으로 구성되고, 상기 프린지 패턴 생성기의 파라미터는 상기 프린지 패턴 생성기의 심층신경망의 파라미터이고,
    상기 (a)단계에서, 샘플링된 포인트들에 대하여, 해당 각 포인트를 상기 프린지 패턴 생성기에 적용하여 생성된 제2 프린지 패턴과, 해당 각 포인트를 CGH 알고리즘에 적용하여 생성된 정답 데이터인 제1 프린지 패턴 간의 유사 정도를 구하고, 해당 유사 정도가 최대화 되도록 상기 프린지 패턴 생성기의 파라미터를 설정함으로써, 파라미터를 최적화하고,
    상기 랜덤페이즈 삽입기는 심층신경망으로 구성되고, 상기 랜덤페이즈 삽입기의 파라미터는 상기 랜덤페이즈 삽입기의 심층신경망의 파라미터이고,
    상기 (b)단계에서, 샘플링된 포인트들에 대하여, 해당 각 포인트로 상기 프린지 패턴 생성기에 의해 생성된 제2 프린지 패턴을 상기 랜덤페이즈 삽입기에 적용하여 제2 랜덤 페이즈 프린지 패턴을 생성하고, 생성된 제2 랜덤 페이즈 프린지 패턴과, 해당 각 포인트로 CGH 알고리즘에 의해 랜덤 위상이 삽입되어 생성된 정답데이터인 제1 랜덤 페이즈 프린지 패턴 간의 유사 정도를 구하고, 해당 유사 정도가 최대화 되도록 상기 랜덤페이즈 삽입기의 심층신경망의 파라미터를 설정함으로써, 상기 랜덤페이즈 삽입기를 최적화하는 것을 특징으로 하는 인공지능 및 딥러닝 기술을 이용한 랜덤위상을 갖는 홀로그램 생성방법.
  2. 삭제
  3. 제1항에 있어서,
    상기 (a)단계에서, 제1 및 제2 프린지 패턴의 유사 정도를 확률값으로 나타내는 프린지 패턴 판별기와, 제1 및 제2 프린지 패턴의 제1 및 제2 위상의 유사 정도를 확률값으로 나타내는 위상 판별기를 구성하고, 상기 프린지 패턴 판별기 및 위상 판별기의 파라미터를 최적화 하고, 최적화된 프린지 패턴 판별기 및 위상 판별기의 출력값인 유사 정도가 최대화 되도록 상기 프린지 패턴 생성기의 파라미터를 최적화 하고,
    상기 프린지 패턴 판별기는 심층신경망으로 구성되고, 상기 프린지 패턴 판별기의 파라미터는 상기 프린지 패턴 판별기의 심층신경망의 파라미터이고,
    상기 (a)단계에서, 샘플링된 포인트들에 대하여, 해당 각 포인트의 제1 및 제2 프린지 패턴 간의 손실 함수를 구하고, 해당 손실 함수가 최소화 되도록, 상기 프린지 패턴 판별기의 파라미터를 설정함으로써, 파라미터를 최적화하고,
    상기 위상 판별기는 심층신경망으로 구성되고, 상기 위상 판별기의 파라미터는 상기 위상 판별기의 심층신경망의 파라미터이고,
    상기 (a)단계에서, 샘플링된 포인트들에 대하여, 해당 각 포인트의 제1 및 제2 위상 간의 손실 함수를 구하고, 해당 손실 함수가 최소화 되도록, 상기 프린지 패턴 판별기의 파라미터를 설정함으로써, 파라미터를 최적화하는 것을 특징으로 하는 인공지능 및 딥러닝 기술을 이용한 랜덤위상을 갖는 홀로그램 생성방법.
  4. 제1항에 있어서,
    상기 프린지 패턴 생성기는 실수부 생성기와 허수부 생성기로 구성되고, 각각의 생성기는 실수 프린지 패턴과 허수 프린지 패턴을 생성하는 것을 특징으로 하는 인공지능 및 딥러닝 기술을 이용한 랜덤위상을 갖는 홀로그램 생성방법.
  5. 삭제
  6. 삭제
  7. 삭제
  8. 제1항에 있어서,
    상기 (b)단계에서, 각 객체 포인트에 대하여, -π에서 π사이의 랜덤 값을 생성하고, CGH 알고리즘에서 코사인 또는 사인 함수의 위상에 생성된 랜덤 값을 추가하여 제1 랜덤 페이즈 프린지 패턴을 생성하는 것을 특징으로 하는 인공지능 및 딥러닝 기술을 이용한 랜덤위상을 갖는 홀로그램 생성방법.
  9. 제1항에 있어서,
    상기 (b)단계에서, 제1 및 제2 랜덤 페이즈 프린지 패턴의 유사 정도를 확률값으로 나타내는 랜덤페이즈 판별기를 구성하고, 상기 랜덤페이즈 판별기의 파라미터를 최적화 하고, 최적화된 랜덤페이즈 판별기의 출력값인 유사 정도가 최대화 되도록 상기 랜덤페이즈 삽입기의 파라미터를 최적화 하고,
    상기 랜덤페이즈 판별기는 심층신경망으로 구성되고, 상기 랜덤페이즈 판별기의 파라미터는 상기 랜덤페이즈 판별기의 심층신경망의 파라미터이고,
    상기 (b)단계에서, 샘플링된 포인트에 대하여, 해당 각 포인트의 제1 및 제2 랜덤 페이즈 프린지 패턴 간의 손실 함수를 구하고, 해당 손실 함수가 최소화 되도록, 상기 랜덤페이즈 판별기의 파라미터를 설정함으로써, 파라미터를 최적화하는 것을 특징으로 하는 인공지능 및 딥러닝 기술을 이용한 랜덤위상을 갖는 홀로그램 생성방법.
  10. 삭제
  11. 제1항에 있어서,
    상기 (c)단계에서, 주어진 3차원 객체의 포인트들에 대하여, 각 포인트를 상기 프린지 패턴 생성기에 적용하여 프린지 패턴을 생성하고, 생성된 프린지 패턴을 상기 랜덤페이즈 삽입기에 적용하여 랜덤페이즈 프린지 패턴을 생성하고, 생성된 랜덤페이즈 프린지 패턴에 해당 각 포인트의 밝기 값을 곱하고, 밝기 값이 곱해진 모든 포인트의 랜덤페이즈 프린지 패턴을 누적하여 디지털 홀로그램을 생성하는 것을 특징으로 하는 인공지능 및 딥러닝 기술을 이용한 랜덤위상을 갖는 홀로그램 생성방법.
  12. 제1항, 제3항, 제4항, 제8항, 제9항, 제11항 중 어느 한 항의 인공지능 및 딥러닝 기술을 이용한 랜덤위상을 갖는 홀로그램 생성방법을 수행하는 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
KR1020200025148A 2020-01-29 2020-02-28 인공지능 및 딥러닝 기술을 이용한 랜덤위상을 갖는 홀로그램 생성방법 KR102277100B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020200010646 2020-01-29
KR20200010646 2020-01-29

Publications (1)

Publication Number Publication Date
KR102277100B1 true KR102277100B1 (ko) 2021-07-15

Family

ID=76889337

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200025148A KR102277100B1 (ko) 2020-01-29 2020-02-28 인공지능 및 딥러닝 기술을 이용한 랜덤위상을 갖는 홀로그램 생성방법

Country Status (1)

Country Link
KR (1) KR102277100B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116147531A (zh) * 2022-12-28 2023-05-23 广东工业大学 基于深度学习的光学自干涉数字全息重构方法及***
KR102683827B1 (ko) * 2021-12-29 2024-07-10 서울대학교산학협력단 홀로그래픽 디스플레이의 최적화 방법 및 그 장치

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100017609A (ko) * 2007-05-16 2010-02-16 시리얼 테크놀로지즈 에스.에이. 실시간으로 비디오 홀로그램을 계산하기 위한 분석 방법
KR20130098590A (ko) * 2012-02-28 2013-09-05 주식회사 울프슨랩 디지털 홀로그램 생성방법 및 생성장치, 저작방법, 저작장치, 그 기록매체
KR20180064884A (ko) 2016-12-06 2018-06-15 한국전자통신연구원 홀로그램 기술 기반의 광학 콘볼루션 뉴럴 네트워크 시스템

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100017609A (ko) * 2007-05-16 2010-02-16 시리얼 테크놀로지즈 에스.에이. 실시간으로 비디오 홀로그램을 계산하기 위한 분석 방법
KR20130098590A (ko) * 2012-02-28 2013-09-05 주식회사 울프슨랩 디지털 홀로그램 생성방법 및 생성장치, 저작방법, 저작장치, 그 기록매체
KR20180064884A (ko) 2016-12-06 2018-06-15 한국전자통신연구원 홀로그램 기술 기반의 광학 콘볼루션 뉴럴 네트워크 시스템

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
S. A. Benton and V. M. Bove Jr., Holographic imaging, John Wiley and Sons Inc., 2008.
한기평(Ki-Pyung Han), "기가코리아(Giga Korea)," TTL Journal, Vol. 146, pp. 16-21, 2013년 3월(March 2013).

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102683827B1 (ko) * 2021-12-29 2024-07-10 서울대학교산학협력단 홀로그래픽 디스플레이의 최적화 방법 및 그 장치
KR102683828B1 (ko) * 2021-12-29 2024-07-10 서울대학교산학협력단 홀로그래픽 디스플레이의 최적화 방법 및 그 장치
CN116147531A (zh) * 2022-12-28 2023-05-23 广东工业大学 基于深度学习的光学自干涉数字全息重构方法及***
CN116147531B (zh) * 2022-12-28 2023-08-29 广东工业大学 基于深度学习的光学自干涉数字全息重构方法及***

Similar Documents

Publication Publication Date Title
KR102277096B1 (ko) 인공지능 및 딥러닝 기술을 이용한 디지털 홀로그램의 생성 방법
CN110378844B (zh) 基于循环多尺度生成对抗网络的图像盲去运动模糊方法
CN107358626B (zh) 一种利用条件生成对抗网络计算视差的方法
Asif et al. Shape from focus using multilayer feedforward neural networks
JP7135659B2 (ja) 形状補完装置、形状補完学習装置、方法、及びプログラム
CN114746904A (zh) 三维人脸重建
WO2022166797A1 (zh) 图像生成模型的训练方法、生成方法、装置及设备
WO2020169983A1 (en) Facial shape representation and generation system and method
CN112116720A (zh) 三维点云的增广方法、装置、存储介质及计算机设备
KR102277100B1 (ko) 인공지능 및 딥러닝 기술을 이용한 랜덤위상을 갖는 홀로그램 생성방법
Spick et al. Procedural generation using spatial GANs for region-specific learning of elevation data
Yu et al. PDNet: A lightweight deep convolutional neural network for InSAR phase denoising
EP3591620B1 (en) Image processing device and two-dimensional image generation program
CN113920255B (zh) 基于点云数据的高效测绘***
KR102277101B1 (ko) 프린지 패턴을 영역별로 학습하는 인공지능 및 딥러닝 기반 초고해상도 홀로그램 생성방법
Abas et al. Multi-focus image fusion with multi-scale transform optimized by metaheuristic algorithms
CN116743934B (zh) 一种基于深度学习和鬼成像的等分辨率图像隐藏加密方法
Nair et al. A comparison of different atmospheric turbulence simulation methods for image restoration
CN116645300A (zh) 一种简单透镜点扩散函数估计方法
CN112560034A (zh) 基于反馈式深度对抗网络的恶意代码样本合成方法及装置
Shamshad et al. Adaptive ptych: Leveraging image adaptive generative priors for subsampled fourier ptychography
KR102277103B1 (ko) 딥러닝 기반의 홀로그램의 고속 생성을 위한 방법
CN114897692B (zh) 搭载基于零样本学习的整体点云上采样算法的手持设备
WO2022249232A1 (ja) 学習装置、学習済みモデルの生成方法、データ生成装置、データ生成方法およびプログラム
US20190156182A1 (en) Data inference apparatus, data inference method and non-transitory computer readable medium

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant