KR102458807B1 - 신경망을 이용한 장면 이해 및 생성 - Google Patents

Abstract

이미지 렌더링을 위해 컴퓨터 저장 매체상에 인코딩된 컴퓨터 프로그램을 포함하는 방법, 시스템 및 장치가 개시된다. 일 양태에서, 방법은 특정 장면을 특징짓는 복수의 관측치를 수신하는 단계를 포함하며, 각각의 관측치는 특정 장면의 이미지 및 그 이미지를 캡처한 카메라의 위치를 식별하는 데이터를 포함한다. 다른 양태에서, 상기 방법은 특정 비디오를 특징짓는 복수의 관측치들을 수신하는 단계를 포함하며, 각각의 관측치는 특정 비디오로부터의 비디오 프레임 및 특정 비디오에서의 비디오 프레임의 시간 스탬프를 식별하는 데이터를 포함한다. 또 다른 양태에서, 상기 방법은 특정 이미지를 특징짓는 복수의 관측치들을 수신하는 단계를 포함하며, 각 관측치는 특정 이미지의 크롭 및 특정 이미지의 크롭을 특징짓는 데이터를 포함한다. 이 방법은 관측 신경망을 사용하여 복수의 관측치 각각을 프로세싱하여 수치 표현을 출력으로 결정한다.

Description

신경망을 이용한 장면 이해 및 생성{SCENE UNDERSTANDING AND GENERATION USING NEURAL NETWORKS}

본 명세서는 신경망을 사용하여 이미지를 처리하는 것에 관한 것이다.

신경망은 수신된 입력에 대한 출력을 예측하기 위해 하나 이상의 비선형 유닛 계층을 사용하는 기계 학습 모델이다. 일부 신경망은 출력층 외에도 하나 이상의 은닉층을 포함한다. 각각의 은닉층의 출력은 네트워크의 다음 계층, 즉 다음 은닉층 또는 출력층에 대한 입력으로 사용된다. 네트워크의 각 계층은 각각의 파라미터 세트의 현재 값에 따라 수신된 입력으로부터 출력을 생성한다.

1. 미국공개특허공보(US 2008/0240616)(공개일: 2008년10월02일)

2. 미국공개특허공보(US 2017/0185872)(공개일: 2017년6월29일)

본 명세서는 환경의 의미론적 표현을 생성하는 하나 이상의 위치에 있는 하나 이상의 컴퓨터에서 컴퓨터 프로그램으로 구현된 장면 이해 시스템을 설명한다. 시스템은 환경을 특징짓는 관측치(관측)(observations)를 수신하며, 각 관측치에는 환경 이미지와 해당 시점 데이터가 포함된다. 예를 들어, 환경은 장면일 수 있으며(예를 들어 객체를 포함하는 3D 룸), 이미지는 장면의 이미지일 수 있으며, 시점 데이터는 각각의 이미지에 대해 상기 이미지를 캡처한 카메라의 위치를 식별할 수 있다. 상기 시스템은 환경의 의미론적 표현, 즉 관측 신경망으로 관측치를 처리함으로써 관측 영상의 특정 픽셀 값으로부터 추상화된 환경의 기본 콘텐츠에 대한 설명을 생성한다. 시스템은 의미론적 표현에 명시적 제약이나 구조를 부과하지 않지만, 시스템은 임의의 시점 데이터로부터 환경의 새로운 이미지를 표현하기에 충분히 표현적인 의미론적 표현을 생성하도록 훈련된다.

제1 양태에 따르면, 특정 장면을 특징짓는 복수의 관측치를 수신하고 -각각의 관측치는 상기 특정 장면의 이미지 및 상기 이미지를 캡쳐한 카메라의 위치를 식별하는 데이터를 포함함-, 관측 신경망을 이용하여 상기 복수의 관측치 각각을 처리하고 -상기 관측 신경망은 상기 관측치들 각각에 대해, 관측치를 처리하여 관측치의 저(하위) 차원 표현을 생성하고, 관측치의 저 차원 표현을 결합함으로써 특정 장면의 수치 표현을 결정하도록 구성된 장면 인식(이해) 시스템이 제공된다.

이 방법의 몇 가지 장점은 나중에 설명한다. 방법/시스템의 구현에 의해 생성된 표현은 예를 들어 일반적인 이미지 분석/예측 시스템 또는 보강 학습 시스템의 프론트 엔드와 같은 많은 애플리케이션을 갖는다.

일부 구현 예에서, 수치 표현은 특정 장면의 기본 콘텐츠를 나타내는 수치 값의 모음(collection)이다.

일부 구현 예에서, 수치 표현은 이전에 설명한 바와 같이 특정 장면의 의미론적 기술이다.

일부 구현 예에서, 관측치의 하위 차원 표현을 결합하는 것은 하위 차원 표현을 합산하여 수치 표현을 생성하는 것을 포함한다.

일부 구현 예에서, 시스템은 새로운 카메라 위치를 식별하는 데이터를 수신하고; 그리고 새로운 카메라 위치에서 카메라로부터 얻어진 특정 장면의 새로운 이미지를 생성하기 위해 생성기 신경망을 사용하여 특정 장면의 새로운 카메라 위치 및 수치 표현을 식별하는 데이터를 처리하도록 더 구성된다. 본 명세서에서 카메라의 위치에 대한 언급은 위치 및/또는 시야 방향을 포함하는 것으로 해석되어야 한다. 따라서, 새로운 카메라 위치는 새로운 카메라 위치 및 새로운 카메라 관찰 방향 또는 광축 방향 중 하나 또는 둘 모두를 포함할 수 있다. 생성기 신경망은 예를 들어, 새로운 이미지 (또는 후술되는 바와 같이, 비디오 프레임 또는 크롭(crop))에 대한 픽셀 값을 결정하기 위한 잠재 변수 세트에 대한 사전 분포를 결정할 수 있다. 잠재 변수는 발생기 신경망에 의해 추론된 변수를 포함할 수 있으며, 새로운 카메라 위치 및 특정 장면의 수치 표현을 식별하는 데이터에 따라 조절될 수 있다.

따라서, 일부 구현 예에서, 생성기 신경망은, 복수의 시간 스텝들 각각에서, 시간 스텝에 대한 하나 이상의 잠재 변수를 샘플링하고, 업데이트된 은닉 상태를 생성하기 위해 심층 컨벌루션 신경망을 이용하여 상기 은닉 상태, 상기 샘플링된 잠재 변수, 상기 수치 표현 및 상기 새로운 카메라 위치를 식별하는 데이터를 처리함으로써 상기 시간 스텝에서 은닉 상태를 업데이트하고; 그리고 상기 복수의 시간 스텝들에서의 마지막 시간 스텝 후에, 상기 최종 시간 스텝 후에 상기 업데이트된 은닉 상태로부터 상기 특정 장면의 새로운 이미지를 생성하도록 구성된다.

일부 구현 예에서, 상기 마지막(최종) 시간 스텝 후에 상기 업데이트된 은닉 상태로부터 상기 특정 장면의 새로운 이미지를 생성하는 것은, 상기 최종 시간 스텝 후에 상기 업데이트된 은닉 상태로부터 충분한 픽셀 통계치를 생성하고; 그리고 충분한 픽셀 통계치를 사용하여 새로운 이미지의 픽셀의 컬러 값과 같은 픽셀 값을 샘플링한다. 예시적인 충분한 픽셀 통계치에 대해서는 나중에 자세히 설명한다.

일부 구현 예에서, 생성기 신경망 및 관측 신경망은 훈련 중에 복수의 학습(훈련) 관측치 및 목표 관측치를 수신하고, 하나 이상의 잠재 변수에 대한 분포를 정의하는 사후(posterior) 출력을 생성하도록 구성된 사후 신경망과 공동으로 학습된다. 사후 모델의 사용은 선택 사항이다. 그러나 현재의 그래디언트가 관측치 및 생성 신경망뿐만 아니라 사후 신경망으로 역전파될 수 있으므로 잠재 변수에 대한 사후 분포를 학습한다. 새로운 이미지를 추론하는 데 사용될 때 예를 들어 사후 분포로부터 샘플링함으로써 사후 출력이 픽셀 값을 생성하는 데 사용될 수 있다. 사후 신경망을 사용하면 더욱 정확한 이미지 재구성을 제공할 수 있다. 이러한 사후 모델은 아래에서 설명하는 두 번째 및 세 번째 양태와 함께 할 수 있다.

일부 구현 예에서, 관측 신경망은 특정 카메라 위치와 함께, 특정 카메라 위치로부터 취해진 특정 장면의 특정 이미지의 정확한 재구성을 생성하기 위해 생성기 신경망에 의해 사용될 수있는 수치 표현을 생성하도록 학습된다.

제2 양태에 따르면, 특정 비디오를 특징짓는 복수의 관측치를 수신하고 -각각의 관측치는 상기 특정 비디오로부터의 비디오 프레임 및 상기 특정 비디오 내의 상기 비디오 프레임의 시간 스탬프를 식별하는 데이터를 포함함-; 관측 신경망을 사용하여 상기 복수의 관측치 각각을 처리하도록 구성된 장면 이해 시스템이 제공되며, 상기 관측 신경망은, 상기 관측치 각각에 대해, 관측치를 처리하여 관측치의 저 차원 표현을 생성하고, 그리고 상기 관측치의 저 차원 표현들을 결합함으로써 상기 특정 비디오의 수치 표현을 결정하도록 구성된다.

일부 구현 예에서, 수치 표현은 특정 비디오의 기본 콘텐츠를 나타내는 수치 값들의 모음이다.

일부 구현 예에서, 수치 표현은 특정 비디오의 의미론적 기술(description)이다.

일부 구현 예에서, 관측치의 저 차원 표현을 결합하는 것은 저 차원 표현을 합산하여 수치 표현을 생성하는 것을 포함한다.

일부 구현 예에서, 시스템은 새로운 시간 스탬프를 식별하는 데이터를 수신하고; 그리고 상기 특정 비디오의 새로운 시간 스탬프에서 새로운 비디오 프레임을 생성하기 위해 생성기 신경망을 사용하여 상기 특정 비디오의 수치 표현 및 상기 새로운 시간 스탬프을 식별하는 데이터를 처리하도록 구성된다.

일부 구현 예에서, 상기 생성기 신경망은, 복수의 시간 스텝들 각각에서, 시간 스텝에 대한 하나 이상의 잠재 변수를 샘플링하고, 업데이트된 은닉 상태를 생성하기 위해 심층 컨벌루션 신경망을 사용하여 상기 은닉 상태, 상기 샘플링된 잠재 변수, 상기 수치 표현 및 상기 새로운 시간 스탬프를 식별하는 데이터를 처리함으로써 상기 시간 스텝에서 은닉 상태를 업데이트하고; 그리고 상기 복수의 시간 스텝들에서 최종 시간 스텝 후에, 상기 최종 시간 스텝 후에 상기 업데이트된 은닉 상태로부터 상기 새로운 비디오 프레임을 생성하도록 구성된다.

일부 구현 예에서, 상기 새로운 비디오 프레임을 생성하는 것은, 상기 최종 시간 스텝 후에 상기 업데이트된 은닉 상태로부터 충분한 픽셀 통계치를 생성하고; 그리고 충분한 픽셀 통계치를 사용하여 새로운 비디오 프레임 내의 픽셀의 컬러 값과 같은 픽셀 값을 샘플링하는 것을 포함한다.

일부 구현 예에서, 생성기 신경망 및 관측 신경망은 학습 중에 복수의 학습 관측치 및 목표 관측치를 수신하고, 하나 이상의 잠재 변수에 대한 분포를 정의하는 사후 출력을 생성하도록 구성된 사후 신경망과 공동으로 학습된다.

일부 구현 예에서, 관측 신경망은 특정 시간 스탬프와 함께 특정 시간 스탬프에서 특정 비디오로부터 특정 비디오 프레임의 정확한 재구성을 생성하기 위해 생성기 신경망에 의해 사용될 수 있는 수치 표현을 생성하도록 학습된다.

제3 양태에 따르면, 특정 이미지를 특징짓는 다수의 관측치를 수신하고 -각 관측치는 특정 이미지의 크롭 및 특정 이미지에서 크롭의 위치 및 크기를 식별하는 데이터를 포함함 -; 관측 신경망을 이용하여 상기 복수의 관측치 각각을 처리하고 -상기 관측 신경망은 각 관측치에 대해, 관측치를 처리하여 관측치의 저 차원 표현을 생성함-, 관측치의 저 차원 표현을 결합함으로써 특정 이미지의 수치 표현을 결정하도록 구성된 장면 이해 시스템이 제공된다.

일부 구현 예에서, 수치 표현은 특정 이미지의 기본 콘텐츠(underlying contents)를 나타내는 수치 값의 모음(collection)이다.

일부 구현 예에서, 수치 표현은 특정 이미지의 의미론적 기술이다.

일부 구현 예에서, 관측치의 저 차원 표현을 결합하는 것은 저 차원 표현을 합산하여 수치 표현을 생성하는 것을 포함한다.

일부 구현 예에서, 상기 시스템은 새로운 크롭(crop) 위치 및 새로운 크롭 크기를 식별하는 데이터를 수신하고; 새로운 크롭 크기를 갖는 그리고 새로운 크롭 위치에서의 특정 이미지의 새로운 크롭을 생성하도록 생성기 신경망을 사용하여 특정 이미지의 수치 표현, 새로운 크롭 크기 및 새로운 크롭 위치를 식별하는 데이터를 처리하도록 더 구성된다.

일부 구현 예에서, 생성기 신경망은, 복수의 시간 스텝들 각각에서, 시간 스텝에 대한 하나 이상의 잠재 변수를 샘플링하고, 업데이트된 은닉 상태를 생성하기 위해 심층 컨벌루션 신경망을 사용하여 상기 은닉 상태, 상기 샘플링된 잠재 변수, 상기 수치 표현 및 상기 새로운 크롭 위치 및 상기 새로운 크롭 크기를 식별하는 데이터를 처리함으로써 상기 시간 스텝에서 은닉 상태를 업데이트하고; 그리고 상기 복수의 시간 스텝들 중 최종(마지막) 시간 스텝 후에 : 상기 최종 시간 스텝 이후에 상기 업데이트된 은닉 상태로부터 상기 특정 이미지의 새로운 크롭을 생성하도록 구성된다.

일부 구현 예에서, 상기 최종 시간 스텝 후에 상기 업데이트된 은닉 상태로부터 상기 특정 이미지의 상기 새로운 크롭을 생성하는 것은, 상기 최종 시간 스텝 후에 상기 업데이트된 은닉 상태로부터 충분한 픽셀 통계치(pixel sufficient statistics)를 생성하는 것과; 충분한 픽셀 통계치를 사용하여 새로운 크롭의 픽셀의 컬러 값과 같은 픽셀 값을 샘플링하는 것을 포함한다.

일부 구현 예에서, 생성기 신경망 및 관측 신경망은, 학습 중에, 복수의 학습 관측치 및 목표 관측치를 수신하고, 하나 이상의 잠재 변수에 대한 분포를 정의하는 사후 출력을 생성하도록 구성된 사후 신경망과 공동으로 학습된다.

일부 구현 예에서, 관측 신경망은 특정 크롭 위치 및 특정 크롭 크기와 결합하여 특정 크롭 위치에서 특정 크롭 크기를 갖는 특정 이미지의 특정 크롭의 정확한 재구성을 생성하기 위해 생성기 신경망에 의해 사용될 수 있는 수치 표현을 생성하도록 학습된다.

전술한 제1, 제2 및 제3 양태 및 그들의 각각의 추가 구성이 결합될 수 있다. 따라서, 예를 들어, 새로운 비디오 프레임이 상이한 카메라 위치 및/또는 새로운 시간 및/또는 새로운 크롭과 함께 생성될 수 있다.

상기 양태들은 임의의 편리한 형태로 구현될 수 있다. 예를 들어, 양태들 및 구현예들은 유형의 캐리어 매체(예를 들어, 디스크들) 또는 무형의 캐리어 매체(예를 들어, 통신 신호들)일 수 있는 적절한 캐리어 매체상에서 수행될 수 있는 적절한 컴퓨터 프로그램들에 의해 구현될 수 있다. 또한, 양태들은 컴퓨터 프로그램을 실행하는 프로그램 가능한 컴퓨터의 형태를 취할 수 있는 적절한 장치를 사용하여 구현될 수 있다.

본 명세서의 요지의 하나 이상의 실시 예의 세부 사항은 첨부된 도면 및 이하의 설명에서 설명된다. 요지의 다른 특징, 양태 및 장점은 상세한 설명, 도면 및 청구 범위로부터 명백해질 것이다.

본 명세서에서 설명된 본 발명의 특정 실시 예는 다음의 장점 중 하나 이상을 실현하도록 구현될 수 있다.

본 명세서에서 기술된 장면 이해 시스템은 라벨링되지 않은(unlabeled) 훈련 데이터에 기초하여 장면의 의미론적 기술을 생성하는 반면, 장면 분류 또는 의미론적 분할과 같은 장면 이해를 위한 종래의 방법은 라벨링된 훈련 데이터를 필요로 한다. 그러므로, 본 명세서에서 기술된 시스템은 기존의 일부 시스템보다 라벨링함으로써, 훈련 데이터를 사전-처리하는데 더 적은 시간과 더 적은 계산 자원을 필요로 한다. 더욱이, 라벨링없는 훈련 데이터는 라벨링된 훈련 데이터보다 더 쉽게 이용 가능하기 때문에, 본 명세서에 기술된 시스템은 라벨링된 학습 데이터를 필요로 하는 일부 종래의 시스템보다 큰 학습 데이터 모음(집합)에 대해 학습될 수 있으며, 이로써 본 명세서에 기술된 시스템은 일부 종래의 시스템에 의해 생성된 것보다 우수한 의미론적 표현을 생성할 수 있다.

본 명세서에 기술된 장면 이해 시스템은 시스템이 서로 다른 환경의 견해가 서로 어떻게 관련되어 있는지를 알도록 격려하는 명시적 메커니즘을 포함하며, 시스템이 무조건부 덴시티(density) 모델과 같은 기존 시스템보다 우수한 의미론적 표현을 생성하게 한다.

본 명세서에 기술된 장면 이해 시스템은 환경의 관측치를 처리하는 다른 시스템의 모듈로서 포함될 수 있다. 그러한 시스템의 강인성과 효율성은 관측치 자체를 직접 처리하는 대신 장면 이해 시스템에 의해 생성된 관측치의 저 차원 수치 표현을 처리함으로써 향상될 수 있다. 특히, 장면 이해 시스템에 의해 생성된 더 낮은 차원의 수치 표현을 처리하기 위해 더 적은 계산 자원이 요구될 수 있다. 예를 들어, 장면 이해 시스템은 보강 학습 시스템이 환경의 원시 관측치(raw observations)를 직접 처리하는 대신 보강 학습 시스템에 의한 처리를 위해 환경 관측치의 저 차원 표현을 생성하는 보강 학습 시스템에 포함될 수 있다.

도 1은 장면 이해 시스템의 예를 도시한다.
도 2는 장면 이해 시스템을 사용하여 환경의 의미론적 표현을 생성하기 위한 예시적인 프로세스의 흐름도이다.
도 3은 장면 이해 시스템을 학습시키기 위한 예시적인 프로세스의 흐름도이다.
도 4는 이미지를 렌더링하고, 생성기 모델을 사용하여 사전 분포를 생성하기 위한 예시적인 프로세스의 흐름도이다.
도 5는 사후 모델을 사용하여 사후 분포를 생성하기 위한 예시적인 프로세스의 흐름도이다.
다양한 도면에서 동일한 참조 번호 및 명칭은 동일한 요소를 나타낸다.

도 1은 장면 이해 시스템(100)의 일례를 나타낸다. 장면 이해 시스템(100)은 이하에 설명되는 시스템, 컴포넌트 및 기술이 구현되는 하나 이상의 위치에서 하나 이상의 컴퓨터상의 컴퓨터 프로그램으로서 구현되는 시스템의 예이다.

시스템(100)은 환경(122)을 특징짓는 관측치(102)를 수신하며, 상기 관측치는 이미지(118) 및 해당 시점 데이터(120)를 포함한다.

일부 구현 예에서, 환경(122)은 장면이며, 예를 들어, 자연계의 장면 또는 컴퓨터가 생성한 장면이며, 이미지(118)는 장면의 이미지(예, RGB 이미지)이며, 시점 데이터(120)는 각 이미지(118)를 캡처한 카메라의 각각의 위치를 식별한다(예, 고정된 좌표계에 대한 카메라의 3D 위치, 요, 피치).

일부 다른 구현 예에서, 환경(122)은 비디오(예, 자연계 또는 컴퓨터가 생성한 세계를 묘사한 비디오)이며, 이미지(118)는 비디오로부터의 비디오 프레임이고, 시점 데이터(120)는 각 비디오 프레임의 각각의 시간 스탬프를 식별한다.

또 다른 구현예들에서, 환경(122)은 특정 이미지(예를 들어, 카메라에 의해 캡처된 자연계위 이미지 또는 컴퓨터가 생성한 이미지)이며, 이미지(118)는 특정 이미지의 크롭들, 즉 특정 이미지의 서브 이미지들이며, 시점 데이터(120)는 이미지(118)를 정의하는 특정 이미지의 크롭들의 파라미터들을 식별한다(예, 특정 이미지의 크롭을 정의하는 경계 박스의 꼭지점들의 좌표).

관측 신경망(104)은 환경(122)을 특징짓는 관측치(102) 각각을 입력으로서 수신하고, 본 명세서서 관측 신경망 파라미터로 언급되는 파라미터 세트의 값에 따라 관측치(102) 각각을 처리하여 각 관측치(102)의 저 차원 수치 표현을 생성하도록 구성된 컨벌루션 신경망이다. 시스템(100)은 각 관측치(102)의 저 차원 수치 표현을 결합하여 환경(122)의 수치 의미론적 표현(106)을, 즉 관측 이미지(118)의 특정 픽셀 값으로부터 추상화된 환경(122)의 기본 콘텐츠에 대한 기술을 출력으로 생성한다.

시스템(100)은 의미론적 표현(106)을 생성하기 위해 각 관측치의 저 차원 표현을 결합한다. 일부 경우에, 시스템(100)은 순열 불변 변환(permutation invariant transformation), 즉 저 차원 표현이 결합되는 순서에 불변인 변환에 따라 각 관측치의 저 차원 표현을 결합한다. 예를 들어, 시스템(100)은 각각의 관측치(102)의 저 차원 표현을 결합하여 요소별로 합산함으로써 의미론적 표현(106)을 생성할 수 있다. 일부 경우에, 시스템(100)은 각각의 관측치의 저 차원 표현을 순환 신경망(RNN)에 입력으로서 순차적으로 제공하고 순환 신경망의 최종 상태를 의미론적 표현(106)으로 결정함으로써 결합한다.

시스템(100)은 학습 목적 함수(116)를 최적화함으로써 시스템(100)을 학습하는 학습 엔진(124)을 넘어, 의미론적 표현(106) 상에 어떠한 명시적 제약 또는 구조도 강요하지 않는다. 의미론적 표현(106)은 생성기 모델(110)이 환경의 의미론적 표현(106)이 주어진 임의의 새로운 시점 데이터, 즉 쿼리 시점 데이터(108)로부터 환경(122)의 새로운 이미지, 즉 출력 이미지(122)를 렌더링할 수 있을 정도로 충분히 표현되어야 한다.

예를 들어, 환경(122)이 장면이고, 쿼리 시점 데이터(108)가 장면 내의 카메라의 새로운 위치를 식별하면, 출력 이미지(114)는 새로운 카메라 위치에서 카메라로부터 취해진 장면의 예측된 새로운 이미지일 수 있다.

또 다른 예로서, 환경(122)이 비디오이고, 쿼리 시점(viewpoint) 데이터(108)가 비디오의 새로운 시간 스탬프를 식별하면, 출력 이미지(114)는 비디오 내의 새로운 시간 스탬프에서 예측된 새로운 비디오 프레임일 수 있다.

또 다른 예로서, 환경(122)이 특정 이미지이고, 쿼리 시점 데이터(108)가 특정 이미지의 자르기의 새로운 파라미터를 식별한다면, 출력 이미지(114)는 새로운 파라미터들에 대응하는 특정 이미지의 예측된 새로운 크롭일 수 있다.

생성기 모델(110)은 의미론적 표현(106) 및 쿼리 시점 데이터(108)를 입력으로서 수신하여, 본 명세서에서 생성기 모델 파라미터로 지칭되는 파라미터 세트에 따라 그 입력을 처리하고, 출력 이미지로서 출력 이미지(114)에 대한 충분한 통계치 및 하나 이상의 잠재 변수들(즉 그 값이 입력으로서 수신되기보다는 생성기 모델(110)에 대한 입력에 조건부로 생성기 모델(110)에 의해 추정되는 변수)의 세트에 대한 사전 분포로서 본 명세서에서 언급된 확률 분포를 생성하도록 구성된다. 출력 이미지/비디오 프레임/ 크롭에 대한 충분한 픽셀 통계치는 확률 분포의 파라미터를 식별하는 데이터를 지칭하며, 즉, 출력 이미지(114)(또는 비디오 프레임 또는 크롭)의 각 픽셀, 즉 각 픽셀에 대한 강도가 샘플링될 수 있는 예측된 픽셀 분포를 나타내는 정규 분포의 평균 및 표준 편차를 나타낸다. 일부 구현 예에서, 각 픽셀에 대한 강도는 RGB 강도일 수 있고, 확률 분포는 3차원 일 수 있다(예, 3차원 정규 분포). 상기 시스템은 출력 이미지(114)에 대한 충분한 픽셀 통계치(pixel sufficient statistics)에 따라 출력 이미지(114)의 각 픽셀의 강도를 샘플링함으로써 출력 이미지(114)를 결정한다. 출력 이미지(114)를 렌더링하고, 생성기 모델(110)을 사용하여 사전 분포를 생성하기 위한 예시적인 프로세스가 도 4를 참조하여 설명된다.

일부 구현 예에서, 시스템(100)은 학습 엔진(124)에 의한 시스템(100)의 학습을 용이하게 하는 사후(posterior) 모델(112)을 포함한다. 사후 모델(112)은 환경의 의미론적 표현(106), 쿼리 시점 데이터(108), 및 쿼리 시점 데이터(108)에 대응하는 환경의 이미지를 수신하고, 본 명세서에서 사후 모델 파라미터로 지칭되는 파라미터 세트에 따라 입력을 처리하고, 잠재 변수에 대해 본 명세서에서 사후 분포로 언급되는 확률 분포를 출력으로 생성하도록 구성된다. 사후 모델 파라미터는 신경망의 가중치를 포함할 수 있다. 사후 모델(112)을 사용하여 사후 분포를 생성하는 예시적인 프로세스가 도 5를 참조하여 설명된다.

학습 엔진(124)은 쿼리 시점 데이터(108)에 대응하는 정확한 출력 이미지(114)를 생성할 확률을 증가하도록 관측 신경망 파라미터들 및 생성기 모델 파라미터들의 값을 조정함으로써 관측 신경망(104) 및 생성기 모델(110)을 공동으로 학습시킨다. 특히, 학습 엔진(124)은 목적 함수(116)에 기초하여 결정된 그래디언트를 역 전파함으로써 관측 신경망 파라미터 및 생성기 모델 파라미터의 값을 조정한다. 목적 함수가 사후 모델(112)에 의해 생성된 사후 분포에 의존하는 구현예의 경우, 역 전파 그래디언트는 생성기 모델 파라미터 및 관측 신경망 파라미터에 추가하여 사후 모델 파라미터의 값을 조정하는 것을 포함한다. 시스템(100)을 학습하기 위한 예시적인 프로세스가 도 3을 참조하여 기술된다.

일단 학습되면, 관측 신경망(104)은 환경의 관측치를 처리하는 다른 시스템에 모듈로서 포함될 수 있다. 그러한 시스템의 강인성 및 효율성은 관측치 그 자체를 직접 처리하는 대신 관측 신경망(104)에 의해 생성된 관측치의 저 차원(lower-dimensional) 수치 표현을 처리함으로써 개선될 수 있다. 예를 들어, 환경과 상호 작용하는 에이전트는 에이전트에 의해 수신된 누적 보상을 최대화하는 액션들을 결정하기 위해 환경의 관측치를 처리하는 강화 학습 시스템에 의해 학습될 수 있다. 관측 신경망은 에이전트에 의해 수행될 액션들을 결정하기 위해 관측치를 직접 처리하는 보강 학습 시스템 대신에, 보강 학습 시스템에 의한 처리를 위한 환경의 관측치의 저 차원 표현을 생성하여 에이전트에 의해 수행될 동작을 결정하도록 보강 학습 시스템에 포함될 수 있다. 일부 경우에, 환경은 시뮬레이션된 환경일 수 있고, 에이전트는 시뮬레이션된 환경을 통해 네비게이팅함으로써 시뮬레이션된 환경과 상호 작용하는 하나 이상의 컴퓨터 프로그램으로서 구현될 수 있다. 일부 다른 경우에는, 상기 환경은 실제 환경일 수 있으며, 에이전트는 실제 환경과 상호 작용하는 기계적 에이전트일 수 있다. 예를 들어, 에이전트는 태스크를 수행하는 로봇 또는 환경을 통해 네비게이팅하는 자율 또는 반자동 차량일 수 있다.

도 2는 장면 이해 시스템을 사용하여 환경의 의미론적 표현을 생성하기 위한 예시적인 프로세스(200)의 흐름도이다. 편의상, 프로세스(200)는 하나 이상의 위치에 위치한 하나 이상의 컴퓨터의 시스템에 의해 수행되는 것으로 설명될 것이다. 예를 들어, 본 명세서에 따라 적절히 프로그램된 도 1의 장면 이해 시스템(100)과 같은 장면 이해 시스템이 프로세스(200)를 수행할 수 있다.

상기 시스템은 환경을 특징짓는 관측치를 수신하며, 관측치는 쌍을 이루는 이미지 및 시점 데이터를 포함한다(단계 202). 일부 구현 예에서, 환경은 한 장면이며, 예를 들어, 자연계의 한 장면 또는 컴퓨터가 생성한 장면이며, 이미지는 상기 장면의 이미지(예, RGB 이미지)이며, 시점 데이터는 각 이미지를 캡처한 카메라의 각 위치를 식별한다(예, 카메라의 3D 위치, 요, 피치). 일부 다른 구현에서, 환경은 비디오(동영상)이며(예: 자연계를 묘사하는 비디오 또는 컴퓨터가 생성한 세계를 묘사하는 비디오), 이미지는 비디오의 비디오 프레임이며, 시점 데이터는 각 비디오 프레임의 각 시간 스탬프를 식별한다. 또 다른 구현에서, 환경은 특정 이미지(예: 카메라로 캡처한 자연계의 이미지 또는 컴퓨터로 생성한 이미지)이며, 이미지들은 특정 이미지의 크롭들(즉 특정 이미지의 서브 이미지들)이며, 시점 데이터는 이미지들을 정의하는 특정 이미지의 크롭들의 파라미터들을 식별한다(예: 특정 이미지의 크롭을 정의하는 경계 박스의 꼭지점들의 좌표들).

상기 관측 신경망은 관측 신경망 파라미터의 값에 따라 관측치 각각을 처리하여 각 관측치의 저차원 표현을 출력으로서 생성한다(단계 204).

일부 구현 예에서, 관측 신경망은 해당 이미지 및 시점 데이터의 연결을 입력으로서 수신하도록 구성된다. 본 명세서에서, 해당 이미지 또는 피쳐 맵 및 시점 데이터의 연결은 올바른 크기를 얻기 위해 해당 이미지 또는 피처 맵의 공간 차원에서 시점 데이터의 값들을 '브로드 캐스팅'하는 것을 말하며, 즉 해당 이미지 또는 피처 맵의 각각의 공간 차원을 따라 시점 데이터의 값을 반복하여 첨부(appending)하는 것을 말한다. 피처 맵은 네트워크 입력 처리에 대한 응답으로 신경망의 은닉 계층에서 생성된 활성화 어레이를 나타낸다.

일부 다른 구현 예에서, 관측 신경망은 관측 신경망의 제1 계층에 입력으로서 이미지를 수신하도록 구성되고, 상기 시스템은 관측 신경망의 하나 이상의 중간 계층(즉 제1 계층 이후의 하나 이상의 계층)의 피처 맵과 시점 데이터를 연결하여 관측 신경망에 시점 데이터를 제공하고, 관측 신경망의 다음 계층, 즉 상기 중간 계층 다음의 계층에 대한 입력으로서 상기 연결된 피처 맵 및 시점 데이터를 제공한다.

상기 시스템은 각 관측치의 저 차원 표현을 결합하여 환경의 의미론적 표현을 생성한다(단계 206). 일부 구현 예에서, 상기 시스템은 순열 불변 변환, 즉 저 차원 표현이 예를 들어 요소별 합산에 의해 결합되는 순서에 불변인 변환(transformation)에 따라 의미론적 표현을 생성하기 위해 각 관측치의 저 차원 표현을 결합한다. 일부 다른 구현에서, 상기 시스템은 RNN에 입력으로서 각 관측치의 저 차원 표현을 순차적으로 제공하고 순환 신경망의 최종 상태를 의미론적 표현으로 결정함으로써 각 관측치의 저 차원 표현을 결합한다.

도 3은 장면 인식 시스템을 학습시키기 위한 예시적인 프로세스(300)의 흐름도이다. 편의상, 프로세스(300)는 하나 이상의 위치에 위치한 하나 이상의 컴퓨터를 포함하는 엔진에 의해 수행되는 것으로 설명될 것이다. 예를 들어, 본 명세서에 따라 적절히 프로그램된 도 1의 학습 엔진(124)과 같은 학습 엔진은 프로세스(300)를 수행할 수 있다.

상기 엔진은 학습 데이터(훈련 데이터) 세트에서 특정 환경에 대응하는 난수의 관측치를 선택한다(단계 302). 학습 데이터는 동일한 유형의 다수의 환경(예, 다중 장면 환경 또는 다중 비디오 환경)에 대응하는 관측치 세트를 포함한다. 일반적으로, 상이한 환경들은 상이한 관측치를 가질 수 있다.

상기 엔진은 관측 신경망 파라미터에 대한 값에 따라 선택된 관측치를 처리하여 환경의 의미론적 표현을 생성하는 관측 신경망에 대한 입력으로서 상기 선택된 관측치를 제공한다(단계 304). 환경의 의미론적 표현을 생성하는 프로세스는 도 2를 참조하여 기술된다.

상기 엔진은 본 명세서에서 목표 관측치로 지칭되는 학습 데이터 세트로부터 특정 환경에 대응하는 추가 관측치를 선택한다(단계 306). 예를 들어, 상기 엔진은 단계(302)에서 선택되지 않은 관측치들 중에서 특정 환경에 대응하는 관측치를 무작위로(랜덤으로) 샘플링할 수 있다.

상기 시스템은 사후 모델 파라미터의 세트 값에 따라 입력을 처리하는 사후 모델에 대한 입력으로서 환경의 의미론적 표현, 목표 관측치, 즉 목표 이미지 및 목표 시점 데이터를 제공하며, 잠재 변수들의 세트에 대한 사후 분포를 출력으로서 생성한다(단계 308). 사후 분포를 생성하는 프로세스는 도 5를 참조하여 설명된다.

상기 시스템은 환경의 의미론적 표현과 목표(대상) 관측치의 목표 시점 데이터를 상기 사후 모델에 의해 생성된 사후 분포와 상기 생성기 모델 파라미터 세트의 값에 따라 상기 의미론적 표현 및 상기 목표 시점 데이터를 처리하는 생성기 모델에 제공하고, 잠재 변수 세트에 대한 사전 분포와 출력 이미지에 대한 충분한 픽셀 통계치를 출력으로서 생성한다(단계 312). 사후 모델에 의해 생성된 사후 분포와 생성기 모델을 사용하여 출력 이미지에 대한 충분한 픽셀 통계치 및 사전 분포를 생성하기 위한 예시적인 프로세스가 도 4를 참조하여 설명된다. 특히, 도 4의 단계(408)에서, 상기 시스템은 사후 모델에 의해 생성된 시간 스텝에 대한 사후 분포로부터 샘플링함으로써 각 시간 스텝에 대응하는 잠재 변수(latent variables)의 값을 결정한다.

상기 엔진은 손실 함수의 그래디언트를 결정하고, 시스템의 파라미터를 조정하기 위해 상기 그래디언트를 역 전파한다(단계 316). 일부 구현 예에서, 손실 함수는 수학식 1과 같이 주어진다(또는 포함한다).

여기서, y는 목표 시점 데이터이고, x는 목표 이미지이며,

는 사후 모델에 의해 생성된 사후 분포에 따라 생성기 모델에 의해 생성된 출력 이미지에 대한 충분한 픽셀 통계치에 따른 목표 이미지(x)의 확률이며,

는 생성기 모델(generator model)에 의해 결정된 잠재 변수에 대한 사전 분포이며,

는 사후 모델에 의해 생성된 잠재 변수에 대한 사후 분포이며, KL은 쿨백-라이블러 다이버전스(Kullback-Leibler divergence) 측정, 즉 상이한 하나의 확률 분포가 다른 것과 어떻게 다른지에 대한 측정치(measure)이다. 이러한 구현 예에서, 역 전파 그래디언트는 손실 함수를 최소화하기 위해 관측 신경망, 사후 모델 및 생성기 모델의 파라미터들을 조정하는 것을 포함한다.

도 4는 이미지를 렌더링하고, 생성기 신경망을 사용하여 사전 분포를 생성하는 예시적인 프로세스(400)의 흐름도이다. 편의상, 프로세스(400)는 하나 이상의 위치에 위치한 하나 이상의 컴퓨터의 시스템에 의해 수행되는 것으로 설명될 것이다. 예를 들어, 본 명세서에 따라 적절하게 프로그램된 도 1의 장면 이해 시스템(100)과 같은 장면 이해 시스템이 프로세스(400)를 수행할 수 있다.

생성기 모델은 시점 데이터 및 환경의 의미론적 표현을 수신한다(단계 402). 예를 들어, 환경이 장면이라면, 시점 데이터는 장면 내의 카메라의 위치를 식별할 수 있다. 또 다른 예로서, 환경이 비디오인 경우, 시점 데이터는 비디오의 시간 스탬프를 식별할 수 있다. 또 다른 예로서, 환경이 특정 이미지인 경우, 시점 데이터는 특정 이미지의 크롭의 파라미터를 식별할 수 있다.

상기 시스템은 예를 들어, 생성기 모델의 순환 신경망의 상태를 초기화한다(단계 404). 일부 구현 예에서, 상기 순환 신경망은 컨벌루션 스킵-연결(convolutional skip-connection)의 LSTM(long short-term memory) 네트워크이며, 상기 시스템은 생성기 모델의 순환 신경망의 상태를 0으로 설정(즉,

)함으로써 초기화한다. 여기서,

는 시간 스텝 0에서의 셀 상태를 나타내고,

는 시간 스텝 0에서 스킵 연결 상태를 나타내고,

는 시간 스텝 0에서의 출력 상태를 나타낸다.

미리 정해진 수의 시간 스텝마다, 생성기 모델의 잠재 변수(latent variable) 신경망은 시간 스텝에 대응하는 잠재 변수의 서브 세트에 대한 사전 분포의 충분한 통계치 세트를 출력으로서 생성하기 위해 잠재 변수 신경망 파라미터들의 세트에 따라 시간 스텝에 대한 순환 신경망의 상태를 처리한다(단계 406). 일부 구현 예에서, 잠재 변수 신경망은 사전 분포의 충분한 통계치 세트를 출력으로서 생성하기 위해 시간 스텝에 대한 순환 신경망의 출력 상태를 처리한다. 일부 구현 예에서, 잠재 변수 신경망은 컨벌루션 신경망이다.

각 시간 스텝에서, 생성기 모델은 시간 스텝에 대응하는 잠재 변수의 값을 결정한다(단계 408). 도 3의 프로세스(300)를 참조하여 기술된 시스템의 학습 동안, 생성기 모델은 사후 모델에 의해 생성된 사후 분포로부터 샘플링함으로써 시간 스텝에 대응하는 잠재 변수의 값을 결정한다. 이전에 보이지 않는 시점에 해당하는 환경의 새 이미지를 생성하기 위해, 생성기 모델은 생성기 모델에 의해 생성된 사전 분포로부터, 또는 표준 정규 분포(즉, 평균 0 및 분산(variance) 1을 갖는 정규 분포)로부터 샘플링함으로써 시간 스텝에 대응하는 잠재 변수의 값을 결정한다.

생성기 모델은 순환 신경망 파라미터들의 세트에 따라, 의미론적 표현, 시점 데이터, 순환 신경망의 하나 이상의 현재 상태, 및 시간 스텝에 대한 하나 이상의 잠재 변수의 값을 처리함으로써 시간 스텝에 대한 생성기 모델의 상태들을 업데이트한다(단계 410). 예를 들어, 생성기 모델은 다음과 같은 수학식 2의 관계에 따라 생성기 모델의 상태를 업데이트 할 수 있다.

여기서,

는 컨벌루션 LSTM 네트워크의 상태 업데이트를 나타내며, Δ는 전치된(transposed) 컨벌루션 계층이며,

는 시점 데이터이고,

는 환경의 의미론적 표현이며,

는 시간(l+1)에서 순환 신경망의 셀 상태이고,

는 시간(l+1)에서 순환 신경망의 출력 상태이고,

는 시간 스텝에 대한 잠재 변수이다.

상기 시스템은 현재 시간 스텝이 미리결정된 수의 시간 스텝들의 최종 시간 스텝인지 여부를 결정한다(단계 412).

현재 시간 스텝이 미리 결정된 수의 시간 스텝들의 최종 시간 스텝이 아니라고 결정한 것에 응답하여, 시스템은 단계(406)로 되돌아가 이전의 단계들을 반복한다.

현재 시간 스텝이 미리 결정된 수의 시간 스텝들의 최종 시간 스텝이라고 결정한 것에 응답하여, 상기 시스템은 디코더 신경망에 입력으로서 순환 신경망의 현재 상태를 제공하고 그리고 디코더 신경망 파라미터들의 세트에 따라 상기 상태를 처리(프로세싱)함으로써 새로운 시점 데이터에 대응하는 환경의 새로운 이미지를 생성한다(단계 414). 일부 구현 예에서, 상기 시스템은 디코더 신경망에 대한 입력으로서 순환 신경망의 스킵-연결 상태를 제공한다. 상기 디코더 신경망은 출력 이미지의 픽셀들의 강도(intensities)에 대한 충분한 픽셀 통계치를 출력으로서 생성하고, 상기 시스템은 충분한 픽셀 통계에 따라 출력 이미지를 샘플링한다. 예를 들어, 환경이 장면이고, 시점 데이터가 장면에서 카메라의 새로운 위치를 식별하는 경우, 출력 이미지는 새로운 카메라 위치에서 카메라로부터 취해진 장면의 예측된 새로운 이미지일 수 있다. 또 다른 예로서, 환경이 비디오이고 시점 데이터가 비디오의 새로운 시간 스탬프를 식별하면, 출력 이미지는 비디오의 새로운 시간 스탬프에서 예측된 새로운 비디오 프레임일 수 있다. 또 다른 예로서, 환경이 특정 이미지이고, 시점 데이터가 특정 이미지의 크롭의 새로운 파라미터를 식별하는 경우, 출력 이미지는 새로운 파라미터들에 대응하는 특정 이미지의 예측된 새로운 크롭일 수 있다.

도 5는 사후 모델을 사용하여 잠재 변수들에 대한 사후 분포를 생성하기 위한 예시적인 프로세스(500)의 흐름도이다. 편의상, 프로세스(500)는 하나 이상의 위치에 위치한 하나 이상의 컴퓨터의 시스템에 의해 수행되는 것으로 설명될 것이다. 예를 들어, 본 명세서에 따라 적절히 프로그램된 예컨대 도 1의 장면 이해 시스템(100)과 같은 장면 이해(인식) 시스템은 프로세스(500)를 수행할 수 있다.

사후 모델은 환경의 의미론적 표현, 시점 데이터, 및 시점 데이터에 대응하는 환경의 이미지를 수신한다(단계 502). 예를 들어, 환경이 장면이고, 시점 데이터가 장면 내의 카메라의 위치를 식별하는 경우, 이미지는 카메라 위치에서 카메라로부터 취한 장면의 이미지일 수 있다. 다른 예로서, 환경이 비디오이고, 시점 데이터가 비디오의 시간 스탬프를 식별하면, 이미지는 비디오의 시간 스탬프에서의 새로운 비디오 프레임일 수 있다. 또 다른 예로서, 환경이 특정 이미지이고, 시점 데이터가 특정 이미지의 크롭의 파라미터를 식별하면, 이미지는 파라미터에 대응하는 특정 이미지의 크롭일 수 있다.

상기 시스템은 사후 모델의 순환 신경망의 상태를 초기화한다(단계 504). 일부 구현 예에서, 순환 신경망은 컨벌루션 LSTM 네트워크이며, 시스템은 사후 모델의 순환 신경망의 상태를 0으로 설정함으로써 초기화된다(즉,

). 여기서,

는 셀 상태를 나타내고,

는 시간 스텝 0에서의 출력 상태를 나타낸다.

미리 정해진 수의 시간 스텝마다, 사후 모델의 잠재 변수 신경망은 시간 스텝에 대응하는 잠재 변수의 서브세트에 대한 사후 분포의 충분한 통계치 세트를 출력으로서 생성하기 위해 잠재 변수 신경망 파라미터들의 세트에 따라 시간 스텝에 대한 순환 신경망의 현재 상태를 처리한다(단계 506). 일부 구현 예에서, 사후 모델에 의해 처리되는 현재 상태는 사후 모델의 순환 신경망의 출력 상태이다. 일부 구현 예에서, 사후 모델의 잠재 변수(가변) 신경망은 컨벌루션 신경망이다.

각각의 시간 스텝에서, 사후 모델은 시간 스텝에 대한 사후 분포로부터 샘플링하여 시간 스텝에 대응하는 잠재 변수의 서브세트에 대한 값을 결정한다(단계 508).

상기 사후 모델은 사후 모델의 순환 신경망의 파라미터 세트에 따라, 의미론적 표현, 시점 데이터, 사후 모델의 순환 신경망의 하나 이상의 현재 상태, 시간 스텝에 대한 사후 분포로부터 샘플링된 시간 스텝에 대한 하나 이상의 잠재 변수들, 그리고 일부 구현 예에서, 생성기 모델의 순환 신경망의 하나 이상의 현재 상태들을 처리함으로써 시간 스텝에 대한 사후 모델의 상태들을 업데이트한다(단계 510). 예를 들어, 사후 모델은 수학식 3의 관계식에 따라 사후 모델의 상태들을 업데이트할 수 있다.

여기서,

는 사후 모델의 컨벌루션 LSTM 네트워크의 상태 업데이트를 나타내며,

는 환경 이미지이며,

는 시점 데이터이고,

는 환경의 의미론적 표현이고,

는 시간

에서 사후 모델의 순환 신경망의 셀 상태이고,

는 시간

에서 사후 모델의 순환 신경망의 출력 상태이고,

는 시간 스텝 l에서 생성기 모델의 순환 신경망의 출력 상태이고,

는 시간 스텝 l에서 생성기 모델의 순환 신경망의 스킵 연결 상태를 나타내고,

은 사후 분포로부터 샘플링된 시간 스텝에 대한 잠재 변수이다.

상기 시스템은 현재 시간 스텝이 미리 결정된 수의 시간 스텝들 중 최종 시간 스텝인지 여부를 결정한다(단계 512).

현재 시간 스텝이 미리 결정된 수의 시간 스텝들 중 최종 시간 스텝이라고 결정한 것에 응답하여, 사후 모델은 각각의 시간 스텝에 대한 하나 이상의 잠재 변수에 대해 사후 분포를 출력한다(단계 514).

본 명세서는 시스템 및 컴퓨터 프로그램 컴포넌트와 관련하여 "구성된"이라는 용어를 사용한다. 특정 동작이나 액션을 수행하도록 구성된 하나 이상의 컴퓨터 시스템은 소프트웨어, 펌웨어, 하드웨어 또는 이들의 조합으로 인해 시스템이 동작 또는 액션을 수행하도록 한다. 특정 동작 또는 액션을 수행하도록 구성된 하나 이상의 컴퓨터 프로그램은 하나 이상의 프로그램이 데이터 처리 장치에 의해 실행될 때 그 장치로 하여금 동작 또는 액션을 수행하게 하는 명령어들을 포함함을 의미한다.

본 명세서에서 설명된 요지 및 기능적 동작의 실시 예는 디지털 전자 회로, 유형적으로 구현된 컴퓨터 소프트웨어 또는 펌웨어, 컴퓨터 하드웨어로 구현될 수 있으며, 이는 본 명세서에 개시된 구조 및 구조적 등가물 또는 이들 중 하나 이상의 조합을 포함한다. 본 명세서에서 설명된 요지의 실시 예는 하나 이상의 컴퓨터 프로그램, 즉 데이터 처리 장치에 의해 실행되거나 데이터 처리 장치의 동작을 제어하기 위한 유형적인 비 일시적 저장 매체상에 인코딩된 컴퓨터 프로그램 명령어의 하나 이상의 모듈로서 구현될 수 있다. 컴퓨터 저장 매체는 기계 판독 가능 저장 장치, 기계 판독 가능 저장 기판, 랜덤 또는 시리얼 액세스 메모리 장치, 또는 이들 중 하나 이상의 조합일 수 있다. 선택적으로 또는 부가적으로, 프로그램 명령어는 데이터 처리 장치에 의한 실행을 위해 적절한 수신기 장치로의 송신을 위해 정보를 인코딩하기 위해 생성되는 인위적으로 생성된 전파된 신호, 예를 들어, 기계-생성 전기, 광학 또는 전자기 신호 상에 인코딩될 수 있다.

"데이터 처리 장치"라는 용어는 데이터 처리 하드웨어를 지칭하며, 예를 들어 프로그램 가능 프로세서, 컴퓨터, 또는 다중 프로세서 또는 컴퓨터를 포함하여 데이터를 처리하기 위한 모든 종류의 장치, 디바이스 및 기계를 포함한다. 이 장치는 또한 특수 목적 논리 회로, 예를 들어, FPGA (field programmable gate array) 또는 ASIC(application specific integrated circuit)일 수 있거나, 포함할 수 있다. 상기 장치는 하드웨어 외에, 컴퓨터 프로그램, 예를 들어 프로세서 펌웨어, 프로토콜 스택, 데이터베이스 관리 시스템, 운영 체제, 또는 하나 이상의 이들의 조합을 구성하는 코드와 같은 실행 환경을 생성하는 코드를 선택적으로 포함할 수 있다.

프로그램, 소프트웨어, 소프트웨어 애플리케이션, 애플리케이션, 모듈, 소프트웨어 모듈, 스크립트 또는 코드로 지칭되거나 설명될 수 있는 컴퓨터 프로그램은 컴파일된 언어 또는 해석된 언어 또는 선언적 또는 절차적 언어를 포함한 모든 형태의 프로그래밍 언어로 작성될 수 있으며, 독립 실행형 프로그램 또는 모듈로서, 컴포넌트, 서브 루틴 또는 컴퓨팅 환경에서 사용하기에 적합한 다른 장치를 포함하여 어떤 형태로든 배포될 수 있다. 프로그램은 파일 시스템의 파일에 해당할 수도 있지만 그렇지 않을 수도 있다. 프로그램은 마크 업 언어 문서에 저장된 하나 이상의 스크립트와 같은 다른 프로그램이나 데이터를 보유하고 있는 파일의 일부분, 해당 프로그램 전용의 단일 파일 또는 하나 이상의 모듈, 서브 프로그램 또는 코드의 일부를 저장하는 파일과 같은 다수의 조정된 파일에 저장될 수 있다. 컴퓨터 프로그램은 하나의 컴퓨터 또는 한 사이트에 있거나 여러 사이트에 분산되어 있으며 데이터 통신 네트워크로 상호 연결된 여러 대의 컴퓨터에서 실행되도록 배포될 수 있다.

본 명세서에서, 용어 "엔진"은 하나 이상의 특정 기능을 수행하도록 프로그램된 소프트웨어 기반 시스템, 서브 시스템 또는 프로세스를 지칭하기 위해 광범위하게 사용된다. 일반적으로, 엔진은 하나 이상의 소프트웨어 모듈 또는 컴포넌트로 구현되며, 하나 이상의 위치에 있는 하나 이상의 컴퓨터에 설치된다. 경우에 따라 하나 이상의 컴퓨터가 특정 엔진 전용으로 사용되며, 다른 경우에는 여러 대의 엔진을 동일한 컴퓨터나 컴퓨터들에 설치하여 실행할 수 있다.

본 명세서에서 설명되는 프로세스 및 로직 흐름은 입력 데이터를 조작하고 출력을 생성함으로써 기능을 수행하기 위해 하나 이상의 컴퓨터 프로그램을 실행하는 하나 이상의 프로그램 가능 컴퓨터에 의해 수행될 수 있다. 프로세스 및 로직 흐름은 또한 특수 목적 로직 회로, 예를 들어 FPGA 또는 ASIC에 의해, 또는 특수 목적 로직 회로와 하나 이상의 프로그래밍된 컴퓨터의 조합에 의해 수행될 수 있다.

컴퓨터 프로그램의 실행에 적합한 컴퓨터는 범용 또는 특수 목적 마이크로프로세서 또는 둘 모두 또는 임의의 다른 종류의 중앙 처리 장치를 기반으로 할 수 있다. 일반적으로, 중앙 처리 장치는 판독 전용 메모리 또는 랜덤 액세스 메모리 또는 둘 모두로부터 명령어 및 데이터를 수신할 것이다. 컴퓨터의 필수 구성요소는 명령어를 수행하거나 실행하기 위한 중앙 처리 장치 및 명령어 및 데이터를 저장하기 위한 하나 이상의 메모리 장치이다. 중앙 처리 장치 및 메모리는 특수 목적 로직 회로에 의해 보충되거나 또는 그 안에 포함될 수 있다. 일반적으로, 컴퓨터는 데이터(예를 들어, 자기, 광 자기 디스크 또는 광 디스크)를 저장하기 위한 하나 이상의 대용량 저장 장치로부터 데이터를 수신하거나 하나 이상의 대용량 저장 장치에 전송하기 위해 동작 가능하게 결합될 것이다. 그러나, 컴퓨터에는 이러한 장치가 있을 필요가 없다. 또한, 컴퓨터는 이동 전화, 개인 휴대 정보 단말기(PDA), 모바일 오디오 또는 비디오 플레이어, 게임 콘솔, 위성 위치 확인 시스템(GPS) 수신기 또는 휴대용 저장 장치(예를 들어 범용 직렬 버스(USB) 플래시 드라이브)와 같은 다른 장치에 내장될 수 있다.

컴퓨터 프로그램 명령어 및 데이터를 저장하기에 적합한 컴퓨터 판독 가능 매체는 예를 들어 EPROM, EEPROM 및 플래시 메모리 장치와 같은 반도체 메모리 장치, 내부 하드 디스크 또는 이동식 디스크와 같은 자기 디스크; 광 자기 디스크; 및 CD ROM 및 DVD-ROM 디스크를 포함하는 모든 형태의 비휘발성 메모리, 매체 및 메모리 장치를 포함한다.

사용자와의 상호 작용을 제공하기 위해, 본 명세서에서 설명된 요지의 실시 예는 정보를 사용자에게 디스플레이하기 위한 CRT(cathode ray tube) 또는 LCD(liquid crystal display) 모니터와 같은 디스플레이 장치와, 예를 들어 사용자가 컴퓨터에 입력을 제공할 수 있는 마우스 또는 트랙볼과 같은 포인팅 장치 및 키보드를 갖는 컴퓨터상에서 구현될 수 있다. 다른 종류의 장치가 사용자와의 상호 작용을 제공하는 데 사용될 수 있으며, 예를 들어, 사용자에게 제공되는 피드백은 시각 피드백, 청각 피드백 또는 촉각 피드백과 같은 임의의 형태의 감각 피드백일 수 있으며, 사용자로부터의 입력은 음향, 음성 또는 촉각 입력을 포함하는 임의의 형태로 수신될 수 있다. 또한, 컴퓨터는 사용자가 사용하는 장치로 문서를 보내고 문서를 수신하여 사용자와 상호 작용할 수 있으며, 예를 들어, 웹 브라우저로부터 수신된 요청에 응답하여 사용자의 장치상의 웹 브라우저에 웹 페이지를 전송함으로써 수행될 수 있다. 또한, 컴퓨터는 문자 메시지 또는 다른 형태의 메시지를 개인용 장치(예를 들어, 메시징 애플리케이션을 실행중인 스마트폰)에 송신하고 사용자로부터 응답 메시지를 수신함으로써 사용자와 상호 작용할 수 있다. 기계 학습 모델을 구현하기 위한 데이터 처리 장치는 또한, 예를 들어, 기계 학습 훈련 또는 생성, 즉 추론, 워크로드의 공통 및 연산 중심 부분을 처리하기 위한 특수 목적 하드웨어 가속기 유닛을 포함할 수 있다.

기계 학습 모델은 텐서플로우(TensorFlow) 프레임워크, "Microsoft Cognitive Toolkit" 프레임워크, "Apache Singa" 프레임워크 또는 "Apache MXNet" 프레임워크와 같은 기계 학습 프레임워크를 사용하여 구현 및 배치할 수 있다.

본 명세서에서 설명된 요지의 실시 예는 예를 들어 데이터 서버와 같은 백 엔드 컴포넌트를 포함하는 컴퓨팅 시스템에서 구현될 수 있거나, 또는 예를 들어 애플리케이션 서버와 같은 미들웨어 컴포넌트를 포함하는 컴퓨팅 시스템에서 구현될 수 있거나, 또는 예를 들어, 그래픽 사용자 인터페이스, 웹 브라우저 또는 사용자가 본 명세서에 설명된 요지의 구현예와 상호 작용할 수 있는 앱을 갖는 클라이언트 컴퓨터와 같은 프론트 엔드 컴포넌트를 포함하는 컴퓨팅 시스템에서 구현될 수 있거나, 또는 하나 이상의 그러한 백 엔드, 미들웨어 또는 프런트 엔드 컴포넌트의 임의의 조합을 포함하는 컴퓨팅 시스템에서 구현될 수 있다. 시스템의 컴포넌트는 디지털 데이터 통신의 임의의 형태 또는 매체, 예를 들어 통신 네트워크에 의해 상호 접속될 수 있다. 통신 네트워크의 예는 근거리 통신망(LAN) 및 광역 통신망(WAN), 예를 들어 인터넷을 포함한다.

컴퓨팅 시스템은 클라이언트와 서버를 포함할 수 있다. 클라이언트와 서버는 일반적으로 서로 멀리 떨어져 있으며, 일반적으로 통신 네트워크를 통해 상호 작용한다. 클라이언트와 서버의 관계는 각각의 컴퓨터에서 실행되고 서로 클라이언트-서버 관계를 갖는 컴퓨터 프로그램에 의해 발생한다. 일부 실시 예에서, 서버는 예를 들어, 클라이언트로서 동작하는 장치와 상호 작용하는 사용자에게 데이터를 디스플레이하고 사용자로부터 사용자 입력을 수신하기 위해 데이터, 예컨대 HTML 페이지를 사용자 장치로 송신한다. 사용자 장치에서 생성된 데이터, 예를 들어 사용자 상호 작용의 결과는 그 장치로부터 서버에서 수신될 수 있다.

본 명세서는 많은 특정 구현 세부 사항을 포함하지만, 이들은 임의의 발명의 범위 또는 청구 범위에 대한 제한으로서 해석되어서는 안되며, 오히려 특정 발명의 특정 실시 예에 특정될 수 있는 특징에 대한 설명으로 해석되어야 한다. 별도의 실시 예와 관련하여 본 명세서에서 설명되는 특정 특징은 또한 단일 실시 예에서 조합하여 구현될 수 있다. 반대로, 단일 실시 예의 문맥에서 설명된 다양한 특징은 또한 다수의 실시 예에서 개별적으로 또는 임의의 적합한 하위 조합으로 구현될 수 있다. 더욱이, 특징들은 특정 조합으로 작용하고 상술된 바와 같이 초기에 주장될지라도, 어떤 경우에는 청구된 조합으로부터의 하나 이상의 특징이 그 조합으로부터 제거될 수 있고, 청구된 조합은 하위 조합 또는 하위 조합의 변형을 지향할 수 있다.

유사하게, 동작들이 도면들에 도시되고 특정 순서로 청구 범위들에 인용되어 있지만, 이는 바람직한 동작을 달성하기 위해 이러한 동작이 도시된 순서 또는 순차적인 순서로 수행되거나 도시된 모든 동작이 수행될 것을 요구하는 것으로 이해되어서는 안된다. 특정 상황에서 멀티태스킹 및 병렬 처리가 유리할 수 있다. 또한, 상술한 실시 예에서 다양한 시스템 모듈 및 컴포넌트의 분리는 모든 실시 예에서 이러한 분리를 요구하는 것으로 이해되어서는 안되며, 서술된 프로그램 컴포넌트들 및 시스템들은 일반적으로 단일 소프트웨어 제품에 함께 통합되거나 다중 소프트웨어 제품들로 패키징될 수 있다는 것을 이해해야 한다.

본 발명의 특정 실시 예가 설명되었다. 다른 실시 예들은 다음의 청구항들의 범위 내에 있다. 예를 들어, 청구 범위에서 열거된 동작은 상이한 순서로 수행될 수 있으며 여전히 바람직한 결과를 달성한다. 일례로서, 첨부된 도면에 도시된 프로세스는 바람직한 결과를 얻기 위해 도시된 특정 순서 또는 순차적 순서를 반드시 필요로하지는 않는다. 어떤 경우에는 멀티태스킹 및 병렬 처리가 유리할 수 있다.

Claims (10)

1. 컴퓨터로 구현되는 방법으로서,
   특정 이미지를 특징짓는 복수의 관측치들을 수신하는 단계 -각각의 관측치는 (i) 상기 특정 이미지의 크롭, 및 (ii) 상기 특정 이미지의 상기 크롭의 위치 및 크기를 식별하는 데이터를 포함함-;
   관측 신경망을 사용하여 복수의 관측치들 각각을 프로세싱하는 단계 -상기 관측 신경망은, 상기 관측치들 각각에 대해, 관측치를 프로세싱하여 상기 관측치의 저 차원(lower-dimensional) 표현을 생성하도록 구성됨-;
   관측치들의 저 차원 표현들을 결합함으로써 상기 특정 이미지의 수치 표현을 결정하는 단계;
   상기 특정 이미지의 새로운 크롭 위치 및 상기 특정 이미지의 새로운 크롭 크기를 식별하는 데이터를 수신하는 단계; 그리고
   (i) 상기 새로운 크롭 위치 및 상기 새로운 크롭 크기를 식별하는 데이터, 및 (ii) 상기 특정 이미지의 수치 표현을 생성기 신경망을 사용하여 프로세싱하여 상기 새로운 크롭 위치에서 상기 특정 이미지의 새로운 크롭을 생성하는 단계를 포함하며, 상기 새로운 크롭은 상기 새로운 크롭 크기를 갖는 것을 특징으로 하는 컴퓨터로 구현되는 방법.
2. 제1항에 있어서, 상기 수치 표현은 상기 특정 이미지의 기본 콘텐츠를 나타내는 수치 값의 집합인 것을 특징으로 하는 컴퓨터로 구현되는 방법.
3. 제2항에 있어서, 상기 수치 표현은 상기 특정 이미지의 의미론적 기술인 것을 특징으로 하는 컴퓨터로 구현되는 방법.
4. 제1항에 있어서, 상기 관측치들의 저 차원 표현을 결합하는 것은,
   상기 특정 이미지의 수치 표현을 생성하도록 저 차원 표현들을 합산하는 것을 특징으로 하는 컴퓨터로 구현되는 방법.
5. 제1항에 있어서, 상기 생성기 신경망은,
   복수의 시간 스텝들 각각에서,
   시간 스텝에 대한 하나 이상의 잠재 변수들을 샘플링하고,
   업데이트된 은닉 상태를 생성하기 위해 심층 컨벌루션 신경망을 이용하여 은닉 상태, 상기 샘플링된 잠재 변수들, 상기 수치 표현 및 상기 새로운 크롭 위치 및 상기 새로운 크롭 크기를 식별하는 데이터를 프로세싱함으로써 상기 시간 스텝에서 상기 은닉 상태를 업데이트하고; 그리고
   상기 복수의 시간 스텝들에서 마지막 시간 스텝 후에,
   상기 업데이트된 은닉 상태로부터 상기 특정 이미지의 새로운 크롭을 생성하도록 구성되는 것을 특징으로 하는 컴퓨터로 구현되는 방법.
6. 제5항에 있어서, 상기 마지막 시간 스텝 후에 상기 업데이트된 은닉 상태로부터 상기 특정 이미지의 상기 새로운 크롭을 생성하는 것은,
   상기 마지막 시간 스텝 후에 상기 업데이트된 은닉 상태로부터 충분한 픽셀통계치(pixel sufficient statistics)를 생성하는 것과; 그리고
   상기 충분한 픽셀 통계치를 사용하여 상기 새로운 크롭의 픽셀들의 컬러 값들을 샘플링하는 것을 포함하는 것을 특징으로 하는 컴퓨터로 구현되는 방법.
7. 제5항에 있어서,
   상기 생성기 신경망 및 상기 관측 신경망은, 복수의 학습 관측치들 및 목표 관측치를 수신하고, 상기 하나 이상의 잠재 변수들에 대한 분포를 정의하는 사후(posterior) 출력을 생성하도록 구성된 사후 신경망과 공동으로 학습되는 것을 특징으로 하는 컴퓨터로 구현되는 방법.
8. 제1항에 있어서, 상기 관측 신경망은,
   특정 크롭 위치 및 특정 크롭 크기와 함께, 특정 크롭 위치에서 특정 크롭 크기를 갖는 상기 특정 이미지의 특정 크롭의 재구성을 생성하기 위해 생성기 신경망에 의해 사용 가능한 수치 표현을 생성하도록 학습되는 것을 특징으로 하는 컴퓨터로 구현되는 방법.
9. 시스템으로서,
   하나 이상의 컴퓨터 및 하나 이상의 컴퓨터에 의해 실행될 때 하나 이상의 컴퓨터로 하여금 제1항 내지 제8항 중 어느 한 항의 각각의 방법의 동작들을 수행하게 하는 명령어를 저장하는 하나 이상의 저장 장치를 포함하는 것을 특징으로 하는 시스템.
10. 하나 이상의 컴퓨터 저장 매체로서,
    하나 이상의 컴퓨터에 의해 실행될 때 하나 이상의 컴퓨터로 하여금 제1항 내지 제8항 중 어느 한 항의 각각의 방법의 동작들을 수행하게 하는 명령어를 저장하는 것을 특징으로 하는 하나 이상의 컴퓨터 저장 매체.

Images