KR20230112964A - 전자 장치 및 그 동작 방법 - Google Patents

Abstract

실시예들에 따라 전자 장치 및 전자 장치의 동작 방법이 개시된다. 개시된 전자 장치는, 통신 인터페이스, 하나 이상의 인스트럭션을 저장하는 메모리, 및 상기 메모리에 저장된 상기 하나 이상의 인스트럭션을 실행하는 프로세서를 포함하고, 상기 프로세서는 상기 하나 이상의 인스트럭션을 실행함으로써, 컨텐츠를 실행하는 동안 상기 컨텐츠의 실행 상황을 판단하고, 상기 실행 상황 판단에 따라 상기 컨텐츠의 입력 래그 시간보다 화질을 우선적으로 고려하여 처리하는 화질 우선 모드와 상기 컨텐츠의 화질보다 상기 입력 래그 시간을 우선적으로 고려하여 처리하는 입력 래그 우선 모드 중 하나의 프레임 처리 모드를 선택하고, 상기 선택된 프레임 처리 모드에 따라 상기 컨텐츠의 프레임들에 대해서 화질 처리를 수행할 수 있다.

Description

전자 장치 및 그 동작 방법{An electronic apparatus and a method of operating the same}

다양한 실시예들은 전자 장치 및 그 동작 방법에 관한 것으로, 보다 구체적으로는, 전자 장치에서 컨텐츠 실행 상황에 적응적으로 화질 처리를 할 수 있는 전자 장치 및 그 동작 방법에 관한 것이다.

게임 등과 같이 사용자 입력에 따라 인터랙티브하게 응답하며 실행되는 컨텐츠의 경우에는 빠른 반응 속도를 요구한다. 입력 래그(input lag)는 사용자의 입력이 수신된 경우 게임 어플리케이션 내에서 사용자 입력을 처리하고 처리 결과 화면을 출력하기 까지 걸리는 시간을 의미한다. 디스플레이 장치에서 게임 컨텐츠의 화질 처리를 많이 할수록 출력 화면의 품질은 향상되는 대신 입력 래그가 증가할 수 있다.

입력 래그 만을 고려하여 컨텐츠 프레임들을 처리하는 경우에는 적절한 화질 처리가 되지 않아서 화질의 열화를 가져올 수 있고, 화질 만을 고려하여 컨텐츠 프레임들을 처리하는 경우에는 입력 래그가 발생하여 사용자의 게임 환경 경험을 방해할 수 있다.

따라서, 하나의 컨텐츠의 실행 동안에도 컨텐츠의 실행 상황에 적응적으로 컨텐츠 프레임들을 처리하여 화질을 떨어뜨리지 않으면서도 입력 래그를 줄일 수 있는 방안이 요구된다.

다양한 실시예들은, 컨텐츠의 실행 상황에 따라 적응적으로 컨텐츠의 화질 처리를 조절하여 재생할 수 있는 전자 장치 및 그 동작 방법을 제공하는 것을 목적으로 한다.

일 실시예에 따른 전자 장치는, 통신 인터페이스, 하나 이상의 인스트럭션을 저장하는 메모리, 및 상기 메모리에 저장된 상기 하나 이상의 인스트럭션을 실행하는 프로세서를 포함하고, 상기 프로세서는 상기 하나 이상의 인스트럭션을 실행함으로써, 컨텐츠를 실행하는 동안 상기 컨텐츠의 실행 상황을 판단하고, 상기 실행 상황 판단에 따라 상기 컨텐츠의 입력 래그 시간보다 화질을 우선적으로 고려하여 처리하는 화질 우선 모드와 상기 컨텐츠의 화질보다 상기 입력 래그 시간을 우선적으로 고려하여 처리하는 입력 래그 우선 모드 중 하나의 프레임 처리 모드를 선택하고, 상기 선택된 프레임 처리 모드에 따라 상기 컨텐츠의 프레임들에 대해서 화질 처리를 수행한다.

일 실시예에 따라 상기 프로세서는 상기 하나 이상의 인스트럭션을 실행함으로써, 상기 실행되는 컨텐츠의 최근 하나 이상의 프레임 이미지의 특성과 이전의 하나 이상의 프레임의 이미지의 특성을 비교함으로써 상기 실행 상황의 변화 여부를 판단할 수 있다.

일 실시예에 따라 상기 프로세서는 상기 하나 이상의 인스트럭션을 실행함으로써, 상기 최근 하나 이상의 프레임 이미지에 대해서 획득한 특성값과 상기 이전의 하나 이상의 프레임 이미지에 대해서 획득한 특성값의 차이가 임계치를 넘는 지를 판단하고, 상기 차이가 상기 임계치를 넘는 경우 상기 실행 상황의 변화가 있는 것으로 판단하여 현재의 프레임 처리 모드를 변경하고, 상기 차이가 상기 임계치를 넘지 않는 경우 상기 실행 상황의 변화가 없는 것으로 판단하여 현재의 프레임 처리 모드를 유지할 수 있다.

일 실시예에 따라 상기 최근 하나 이상의 프레임 이미지에 대해서 획득한 특성값은 상기 최근 하나 이상의 프레임 이미지 정보의 평균으로부터 획득한 특성값을 포함하고, 상기 이전의 하나 이상의 프레임 이미지에 대해서 획득한 특성값은 상기 이전의 하나 이상의 프레임 이미지 정보의 평균으로부터 획득한 특성값을 포함할 수 있다.

일 실시예에 따라 상기 특성값은, SSIM, PSNR, 컬러 히스토그램 중 적어도 하나를 포함할 수 있다.

일 실시예에 따라 상기 특성값의 획득에 이용되는 프레임 이미지의 개수, 상기 컨텐츠의 실행 상황의 변화 여부를 판단하는 주기, 상기 임계치는 상기 실행되는 컨텐츠의 타이틀이나 장르에 따라 다르게 설정될 수 있다.

일 실시예에 따라 상기 프로세서는 상기 하나 이상의 인스트럭션을 실행함으로써, 상기 실행되는 컨텐츠의 판단 구간 내에서 수신되는 입력의 빈도에 기반하여 상기 프레임 처리 모드를 선택할 수 있다.

일 실시예에 따라 상기 입력의 빈도는 상기 판단 구간 내에서 수신되는 입력의 횟수와 상기 판단 구간 내에서 수신되는 입력들의 간격을 포함할 수 있다.

일 실시예에 따라 상기 프로세서는 상기 하나 이상의 인스트럭션을 실행함으로써, 상기 판단 구간 내에서 수신되는 상기 입력의 횟수가 상기 입력 래그 우선 모드의 횟수 임계치 보다 크고, 상기 입력의 간격이 상기 입력 래그 우선 모드의 간격 임계치보다 작은 경우 상기 입력 래그 우선 모드를 선택하고, 상기 판단 구간 내에서 수신되는 상기 입력의 횟수가 상기 화질 우선 모드의 횟수 임계치보다 작고, 상기 입력의 간격이 상기 화질 우선 모드의 간격 임계치보다 작은 경우 상기 화질 우선 모드를 선택할 수 있다.

일 실시예에 따라 상기 입력 래그 우선 모드의 횟수 임계치, 상기 입력 래그 우선 모드의 간격 임계치, 상기 화질 우선 모드의 횟수 임계치, 및 상기 화질 우선 모드의 간격 임계치는 상기 실행되는 컨텐츠의 타이틀이나 장르에 따라 다르게 설정될 수 있다.

일 실시예에 따라 상기 프로세서는 상기 하나 이상의 인스트럭션을 실행함으로써, 상기 선택된 프레임 처리 모드가 상기 화질 우선 모드임에 따라 상기 컨텐츠의 프레임들에 대해서 미리 정해진 개수의 화질 개선 동작들을 수행하고, 상기 선택된 프레임 처리 모드가 상기 입력 래그 우선 모드임에 따라 상기 컨텐츠의 프레임들에 상기 미리 정해진 개수의 화질 개선 동작들 중 하나 이상의 화질 개선 동작을 제거하고 나머지 화질 개선 동작을 수행할 수 있다.

일 실시예에 따라 상기 프로세서는 상기 하나 이상의 인스트럭션을 실행함으로써, 상기 실행되는 컨텐츠가 서버로부터 스트리밍되는 컨텐츠 임에 따라, 상기 선택된 프레임 처리 모드에 대한 정보를 상기 서버로 제공하고, 상기 서버로부터 상기 선택된 프레임 처리 모드에 기반하여 화질 처리된 컨텐츠 프레임들을 수신할 수 있다.

일 실시예에 따라 상기 프로세서는 상기 하나 이상의 인스트럭션을 실행함으로써, 상기 실행되는 컨텐츠의 프레임 이미지들의 특성에 기반하여 장면 변화가 있는지 여부를 판단하고, 상기 장면 변화가 있다고 판단됨에 따라 상기 실행되는 컨텐츠의 판단 구간 내에서 수신되는 입력의 빈도를 검출하고, 상기 판단 구간 내에서 수신되는 입력의 빈도에 기반하여 상기 화질 우선 모드와 상기 입력 래그 우선 모드 중 하나의 프레임 처리 모드를 선택할 수 있다.

일 실시예에 따라 전자 장치의 동작 방법은, 컨텐츠를 실행하는 동안 상기 컨텐츠의 실행 상황을 판단하는 동작, 상기 실행 상황 판단에 따라 상기 컨텐츠의 입력 래그 시간보다 화질을 우선적으로 고려하여 처리하는 화질 우선 모드와 상기 컨텐츠의 화질보다 상기 입력 래그 시간을 우선적으로 고려하여 처리하는 입력 래그 우선 모드 중 하나의 프레임 처리 모드를 선택하는 동작, 및 상기 선택된 프레임 처리 모드에 따라 상기 컨텐츠의 프레임들에 대해서 화질 처리를 수행하는 동작을 포함한다.

일 실시예에 따라 전자 장치의 동작 방법을 컴퓨터에 구현하기 위한 하나 이상의 인스트럭션을 포함하는 프로그램을 기록한 컴퓨터 판독가능한 기록 매체에 있어서, 상기 전자 장치의 동작 방법은, 컨텐츠를 실행하는 동안 상기 컨텐츠의 실행 상황을 판단하는 동작, 상기 실행 상황 판단에 따라 상기 컨텐츠의 입력 래그 시간보다 화질을 우선적으로 고려하여 처리하는 화질 우선 모드와 상기 컨텐츠의 화질보다 상기 입력 래그 시간을 우선적으로 고려하여 처리하는 입력 래그 우선 모드 중 하나의 프레임 처리 모드를 선택하는 동작, 및 상기 선택된 프레임 처리 모드에 따라 상기 컨텐츠의 프레임들에 대해서 화질 처리를 수행하는 동작을 포함한다.

본 개시서의 다양한 실시예들에 따르면, 컨텐츠의 래이턴시를 보다 정교하게 관리함으로써 사용자들에게 컨텐츠의 실행 상황에 따라서 화질도 유지하면서 입력 래그에 대한 불편함없이 컨텐츠 재생을 제공할 수 있다.

도 1은 일 실시예에 따라 전자 장치 100에서 래이턴시를 감소시키기 위한 방법이 적용되는 환경을 설명하기 위한 참고도이다.
도 2는 일 실시예에 따라 전자 장치의 블록도의 일 예이다.
도 3은 일 실시예에 따라 전자 장치 100의 구체적인 블록도이다.
도 4는 일 실시예에 따라 전자 장치에서 컨텐츠의 실행 상황에 따라 컨텐츠의 프레임들을 처리하는 방법의 동작을 나타내는 흐름도이다.
도 5는 일 실시예에 따라 전자 장치가 장면 변화에 기반하여 컨텐츠 프레임들을 처리하는 방법의 동작을 나타내는 흐름도이다.
도 6은 일 실시예에 따라 전자 장치 100가 획득하는 최근 하나 이상의 프레임 이미지와 이전 하나 이상의 프레임 이미지의 예를 나타낸다.
도 7은 일 실시예에 따라 프레임을 처리하는 신호 처리부의 일 예를 나타낸다.
도 8은 일 실시예에 따라 전자 장치가 사용자 입력 빈도에 기반하여 컨텐츠 프레임들을 처리하는 방법의 동작을 나타내는 흐름도이다.
도 9는 일 실시예에 따라 컨텐츠의 판단 구간 내에서 수신되는 사용자 입력 빈도를 설명하기 위한 참고도이다.
도 10은 일 실시예에 따라 전자 장치가 장면 변화 및 사용자 입력 빈도를 함께 고려하여 컨텐츠의 프레임들을 처리하는 방법의 동작 흐름도를 나타낸다.
도 11은 일 실시예에 따라 컨텐츠를 전자 장치로 제공하는 서버 컴퓨터의 개략적인 블록도이다.
도 12는 일 실시예에 따라 서버 컴퓨터가 전자 장치로 프레임 처리 모드에 대한 정보를 제공하는 방법의 동작을 나타내는 흐름도이다.
도 13은 일 실시예에 따라 전자 장치가 서버 컴퓨터로 프레임 처리 모드에 대한 정보를 제공하고 서버 컴퓨터가 프레임 처리 모드에 대한 정보에 따라 컨텐츠 프레임들을 처리하여 전자 장치 100로 전송하는 방법의 동작을 나타내는 흐름도이다.

본 명세서에서 사용되는 용어에 대해 간략히 설명하고, 본 발명에 대해 구체적으로 설명하기로 한다.

본 발명에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 발명에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 발명의 전반에 걸친 내용을 토대로 정의되어야 한다.

명세서 전체에서 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다. 또한, 명세서에 기재된 "...부", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다.

아래에서는 첨부한 도면을 참고하여 실시예들에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.

본 명세서의 실시예에서 "사용자"라는 용어는 제어 장치를 이용하여 컴퓨팅 장치 또는 전자 장치의 기능 또는 동작을 제어하는 사람을 의미하며, 시청자, 관리자 또는 설치 기사를 포함할 수 있다.

도 1은 일 실시예에 따라 전자 장치 100에서 래이턴시를 감소시키기 위한 방법이 적용되는 환경을 설명하기 위한 참고도이다.

도 1을 참조하면, 환경 10은 전자 장치 100, 통신 네트워크 50, 서버 컴퓨터 200를 포함할 수 있다.

서버 컴퓨터 200는 통신 네트워크 50를 통해서 전자 장치 100와 연결할 수 있다.

서버 컴퓨터 200는 다양한 컨텐츠를 제공할 수 있는 엔티티로서, 전자 장치 100로부터 컨텐츠 요청을 수신하면, 요청된 컨텐츠를 통신 네트워크 50를 통해서 전자 장치 100로 제공할 수 있다. 다양한 컨텐츠는, 예를 들어, 비디오 컨텐츠, 오디오 컨텐츠, 실시간 양방향 통신 서비스 컨텐츠 등을 포함할 수 있다. 실시간 양방향 통신 서비스 컨텐츠는, 서버 컴퓨터 200가 전자 장치 100로 제공하면서 또한 서버 컴퓨터 200는 전자 장치 100의 사용자가 제어하는 제어 데이터를 수신하여 제어 데이터에 대응하는 동작을 수행하므로, 실시간 양방향 통신 서비스에 의해 제공되는 컨텐츠를 나타낼 수 있다. 실시간 양방향 통신 서비스 컨텐츠는 예를 들어 게임 컨텐츠 나 또는 사용자의 제어에 의해 스토리나 시나리오가 변경되는 비디오 컨텐츠 등을 포함할 수 있다.

전자 장치 100는 다양한 컨텐츠를 표시할 수 있는 장치로서, 사용자의 컨텐츠 실행 요청을 수신하고 이에 따라 실행 요청된 컨텐츠를 실행하여 표시할 수 있다. 예를 들어 컨텐츠를 게임 컨텐츠를 포함할 수 있다. 게임 컨텐츠는 비디오 컨텐츠와 오디오 컨텐츠를 포함할 수 있다. 전자 장치 100는 게임 컨텐츠에 포함된 비디오 컨텐츠를 전자 장치 100의 디스플레이에 표시할 수 있다. 전자 장치 100는 게임 컨텐츠에 포함된 오디오 컨텐츠를 전자 장치 100에 구비된 스피커 또는 전자 장치 100와 연결된 오디오 출력 장치, 예를 들어, 헤드셋 40를 통해 출력할 수 있다. 전자 장치 100의 사용자는 전자 장치 100의 디스플레이에 표시된 게임 컨텐츠를 보면서 게임 컨텐츠를 제어함으로써 게임을 플레이할 수 있다. 사용자는 다양한 콘트롤러를 이용하여 게임 컨텐츠를 제어할 수 있다. 예를 들어, 전자 장치 100의 사용자는 전자 장치 100와 무선으로 통신 연결된 게임 콘트롤러 30를 이용하여 게임 컨텐츠를 제어할 수 있다.

전자 장치 100는 디스플레이를 구비하여 영상 컨텐츠, 비디오 컨텐츠, 게임 컨텐츠, 그래픽 컨텐츠 등을 표시할 수 있는 장치를 나타낼 수 있다. 전자 장치 100는 예를 들어, 네트워크 TV, 스마트 TV, 인터넷 TV, 웹 TV, IPTV, PC 등과 같이 컨텐츠를 수신하여 출력할 수 있는 다양한 형태의 전자 장치를 포함할 수 있다. 전자 장치 100는 컨텐츠를 수신하여 표시하는 측면이라는 점에서 전자 장치로 언급될 수 있는 것이고, 그 외에도 컨텐츠 수신 장치, 싱크 장치, 전자 장치, 컴퓨팅 장치 등으로 언급될 수도 있다.

전자 장치 100는 다양한 타입의 실시간 양방향 통신 서비스 컨텐츠를 표시할 수 있다. 실시간 양방향 통신 서비스 컨텐츠는 예를 들어, 게임 컨텐츠를 포함할 수 있다.

전자 장치 100는 사용자로부터 컨텐츠 실행 요청을 수신함에 따라서 실행 요청된 컨텐츠를 재생할 수 있다. 예를 들어 컨텐츠가 게임 컨텐츠 인 경우, 전자 장치 100는 사용자의 제어 입력을 수신하고, 이러한 제어 입력에 따라 컨텐츠를 처리하여 표시하기까지 걸리는 시간에 따른 지연 즉, 래이턴시가 발생할 수 있다. 이러한 래이턴시는 전자 장치 100에서 디코딩 속도 등 화질 처리에 소요되는 시간을 포함할 뿐만 아니라, 실행 요청된 컨텐츠가 서버 컴퓨터와 실시간 양방향 통신 서비스에 의해 표시되는 컨텐츠인 경우, 서버 컴퓨터 200가 전자 장치 100로 컨텐츠를 전송하기 위해 컨텐츠를 처리하는데 걸리는 시간, 서버 컴퓨터에서 전자장치로 컨텐츠가 전송되는데 걸리는 시간 시간을 더 포함할 수 있다.

게임과 같은 경우에는 게임 콘트롤러의 키 입력 후 입력된 키에 대응하는 반응이 화면에 표시될 때까지 시간 지연이 발생할 수 있다. 이것을 입력 래그(Input lag) 라 하고 그 시간 차이가 커짐에 따라서 사용자가 느끼는 지연은 더 커질 수 있다. 입력 래그 만을 우선적으로 고려하여 컨텐츠의 프레임들을 처리하는 경우에 화질이 떨어질 수 밖에 없고, 화질 만을 우선적으로 고려하여 컨텐츠의 프레임들을 처리하는 경우에 사용자가 느끼는 지연 시간이 커질 수 밖에 없다.

한편 하나의 컨텐츠 내에서도 컨텐츠의 스토리나 진행 상황에 따라 화질이 중요한 장면이 있고 입력 래그가 중요한 장면이 있을 수 있다. 예를 들어, 하나의 컨텐츠 내에서 객체가 단순히 이동하는 장면에서는 사용자 입력이 많이 요구되지 않을 것이므로 화질이 더 중요할 수 있다. 그리고 동일한 해당 컨텐츠 내에서 캐릭터들이 서로 싸우는 장면에서는 사용자 입력에 따른 반응 속도가 중요할 것이므로 화질 보다는 입력 래그가 더 중요해질 수 있다.

이와 같이 본 개시서에서는 하나의 컨텐츠 내에서도 장면 특성이 서로 다른 장면들이 존재하므로, 컨텐츠의 실행 상황에 따라 장면 특성에 맞게 적응적으로 프레임 처리를 수행할 수 있는 전자 장치를 개시한다. 단순히 컨텐츠의 카테고리에 따라서 프레임 처리를 일률적으로 하는 것이 아니라, 하나의 컨텐츠 내에서도 컨텐츠의 실행 상황에 따라 프레임 처리를 다르게 함으로써 보다 컨텐츠의 진행 상황에 맞게 적응적으로 화질을 감소시키지 않으면서도 입력 래그가 발생되지 않는 실행 환경을 사용자들에게 제공할 수 있다.

다양한 실시예에 따라 전자 장치 100와 서버 컴퓨터 200는 입력 래이턴시 보다 상대적으로 화질 처리가 중요한 "화질 우선 모드"와 영상의 화질 처리보다는 상대적으로 입력 래이턴시를 우선으로 고려해야 하는 "입력 래그 우선 모드"를 제공할 수 있다. 화질 우선 모드에서 전자 장치 100는 컨텐츠 프레임의 화질 처리에 포함되는 복수개의 화질 처리 동작들 중 전부 또는 대부분을 수행할 수 있다. 입력 래그 우선 모드에서 전자 장치 100는 컨텐츠 프레임의 화질 처리에 포함되는 복수개의 화질 처리 동작들중 하나 이상의 화질 처리 동작을 생략함으로써 화질 처리에 소요되는 시간을 감소시킬 수 있다. 예를 들어, 도 1에 도시된 바와 같이 컨텐츠 내에서 사용자 입력이 많지 않으면서 캐릭터들의 단순한 이동을 보여주는 장면 11에서는 화질 우선 모드에 따라 컨텐츠 프레임들을 처리할 수 있다. 예를 들어, 도 1에 도시된 바와 같이 컨텐츠 내에서 캐릭터들의 상호 작용이 많고 이에 따라 사용자 입력도 많은 장면 12 에서는 입력 래그 우선 모드에 따라 컨텐츠 프레임들을 처리할 수 있다.

일 실시예에 따라 전자 장치 100는 컨텐츠를 실행하는 동안 상기 컨텐츠의 실행 상황을 판단할 수 있다.

일 실시예에 따라 전자 장치 100는 실행되는 컨텐츠의 장면의 변화가 있는지 여부를 기반으로 실행 상황의 변화 여부를 판단할 수 있다.

일 실시예에 따라 전자 장치 100는 실행되는 컨텐츠의 최근 하나 이상의 프레임 이미지의 특성과 이전의 하나 이상의 프레임의 이미지의 특성을 비교함으로써 장면의 변화가 있는지 여부를 판단할 수 있다.

일 실시예에 따라 전자 장치 100는 상기 최근 하나 이상의 프레임 이미지에 대해서 획득한 특성값과 상기 이전의 하나 이상의 프레임 이미지에 대해서 획득한 특성값의 차이가 임계치를 넘는 지를 판단하고, 상기 차이가 상기 임계치를 넘는 경우 상기 실행 상황의 변화가 있는 것으로 판단하여 현재의 프레임 처리 모드를 변경하고, 상기 차이가 상기 임계치를 넘지 않는 경우 상기 실행 상황의 변화가 없는 것으로 판단하여 현재의 프레임 처리 모드를 유지할 수 있다.

일 실시예에 따라 상기 최근 하나 이상의 프레임 이미지에 대해서 획득한 특성값은 상기 최근 하나 이상의 프레임 이미지 정보의 평균으로부터 획득한 특성값을 포함하고, 상기 이전의 하나 이상의 프레임 이미지에 대해서 획득한 특성값은 상기 이전의 하나 이상의 프레임 이미지 정보의 평균으로부터 획득한 특성값을 포함할 수 있다.

일 실시예에 따라 특성값은, SSIM, PSNR, 컬러 히스토그램 중 적어도 하나를 포함할 수 있다.

일 실시예에 따라 특성값의 획득에 이용되는 프레임 이미지의 개수, 상기 컨텐츠의 실행 상황의 변화 여부를 판단하는 주기, 상기 임계치는 상기 실행되는 컨텐츠의 타이틀이나 장르에 따라 다르게 설정될 수 있다.

일 실시예에 따라 전자 장치 100는 상기 실행되는 컨텐츠의 판단 구간 내에서 수신되는 입력의 빈도에 기반하여 상기 프레임 처리 모드를 선택할 수 있다.

일 실시예에 따라 전자 장치 100는 상기 판단 구간 내에서 수신되는 상기 입력의 횟수가 상기 입력 래그 우선 모드의 횟수 임계치 보다 크고, 상기 입력의 간격이 상기 입력 래그 우선 모드의 간격 임계치보다 작은 경우 상기 입력 래그 우선 모드를 선택하고, 상기 판단 구간 내에서 수신되는 상기 입력의 횟수가 상기 화질 우선 모드의 횟수 임계치보다 작고, 상기 입력의 간격이 상기 화질 우선 모드의 간격 임계치보다 작은 경우 상기 화질 우선 모드를 선택할 수 있다.

일 실시예에 따라 입력 래그 우선 모드의 횟수 임계치, 상기 입력 래그 우선 모드의 간격 임계치, 상기 화질 우선 모드의 횟수 임계치, 및 상기 화질 우선 모드의 간격 임계치는 상기 실행되는 컨텐츠의 타이틀이나 장르에 따라 다르게 설정될 수 있다.

일 실시예에 따라 전자 장치 100는 상기 실행되는 컨텐츠의 프레임 이미지들의 특성에 기반하여 장면 변화가 있는지 여부를 판단하고, 상기 장면 변화가 있다고 판단됨에 따라 상기 실행되는 컨텐츠의 판단 구간 내에서 수신되는 입력의 빈도에 기반하여 상기 화질 우선 모드와 상기 입력 래그 우선 모드 중 하나의 프레임 처리 모드를 선택할 수 있다.

일 실시예에 따라 전자 장치 100는 상기와 같은 실행 상황 판단에 따라 상기 컨텐츠의 입력 래그 시간보다 화질을 우선적으로 고려하여 처리하는 화질 우선 모드와 상기 컨텐츠의 화질보다 상기 입력 래그 시간을 우선적으로 고려하여 처리하는 입력 래그 우선 모드 중 하나의 프레임 처리 모드를 선택하고, 상기 선택된 프레임 처리 모드에 따라 상기 컨텐츠의 프레임들에 대해서 화질 처리를 수행할 수 있다.

일 실시예에 따라 전자 장치 100는 상기 선택된 프레임 처리 모드가 상기 화질 우선 모드임에 따라 상기 컨텐츠의 프레임들에 대해서 미리 정해진 개수의 화질 처리 동작들을 수행하고, 상기 선택된 프레임 처리 모드가 상기 입력 래그 우선 모드임에 따라 상기 컨텐츠의 프레임들에 상기 미리 정해진 개수의 화질 처리 동작들 중 하나 이상의 화질 처리 동작을 제거하고 나머지 화질 처리 동작을 수행할 수 있다.

일 실시예에 따라 전자 장치 100는 상기 실행되는 컨텐츠가 서버 200로부터 스트리밍되는 컨텐츠 임에 따라, 상기 선택된 프레임 처리 모드에 대한 정보를 상기 서버 200로 제공하고, 상기 서버 200로부터 상기 선택된 프레임 처리 모드에 기반하여 화질 처리된 컨텐츠 프레임들을 수신할 수 있다.

본 개시서에 개시된 실시예들에 따르면 컨텐츠의 실행에 따라서 컨텐츠의 장면 변화나 입력 빈도를 기반으로 하여 컨텐츠의 실행 상황을 판단할 수 있고 이에 따라 컨텐츠의 화질 처리를 어떻게 할 것인지를 나타내는 프레임 처리 모드를 적응적으로 선택하여 실행할 수 있다. 도 1을 참조하면, 컨텐츠 실행 시작으로부터 00:10 까지는 컨텐츠의 장면이 예를 들어 이동 수단을 이용하여 여유롭게 이동하는 상황이므로 화질 우선 모드가 선택되어 화질을 고품질로 처리하고, 00:10 부터 00:50 까지는 전투가 벌어지는 긴박한 상황에서 빈번한 사용자 입력에 대응하는 처리가 필요한 상황이므로 입력 래그 우선 모드가 선택되어 사용자 입력에 대응한 빠른 반응 속도를 제공할 수 있다. 그리고 00:50부터 1:00 까지는 다시 화질 우선 모드가 선택되어 이에 따라 컨텐츠가 처리될 수 있다.

이상 설명한 바와 같이 개시된 실시예들에 따르면 컨텐츠의 실행 동안 컨텐츠의 장면 특성이나 실행 상황에 따라 프레임 처리 모드를 다르게 함으로써 화질이 중요한 상황에서는 화질 처리를 우선으로 하여 프레임들을 처리함으로써 사용자에게 보다 고화질 영상을 제공할 수 있고, 입력 래이턴시가 중요한 상황에서는 화질 처리 보다는 반응 시간이 빨라지도록 프레임들을 처리함으로써 사용자에게 입력 래그가 없는 보다 빠른 영상을 제공할 수 있다.

도 2는 일 실시예에 따라 전자 장치의 블록도의 일 예이다.

도 2를 참조하면, 전자 장치 100는 디스플레이 110, 사용자 입력부 120, 메모리 130, 제어부 140을 포함할 수 있다.

디스플레이 110는 제어부 140의 제어에 따라 실행되는 컨텐츠를 표시할 수 있다.

디스플레이 110는 표시 패널 및 표시 패널을 제어하는 콘트롤러를 포함할 수 있고, 전자 장치 100에 내장된 디스플레이를 나타낼 수 있다. 표시패널은 LCD(Liquid Crystal Display), OLED(Organic Light Emitting Diodes) 디스플레이, AM-OLED(Active-Matrix Organic Light-Emitting Diode), PDP(Plasma Display Panel) 등과 같은 다양한 형태의 디스플레이로 구현될 수 있다.

사용자 입력 수신부 120는 전자 장치 100의 제어 또는 디스플레이 110에 표시되는 컨텐츠의 실행 제어를 위해 입력되는 사용자 입력을 수신할 수 있는 하나 이상의 사용자 입력 인터페이스를 포함할 수 있다. 예를 들어 사용자 입력 수신부 120는 전자 장치 100의 일부에 마련된 사용자 입력부 121, 전자 장치를 제어하는 제어 장치로부터의 입력을 수신하는 통신부110, 전자 장치를 제어하는 제어 장치로부터의 입력을 감지하는 감지부 190 등을 포함할 수 있다.

메모리 130는 전자 장치 100의 동작에 관련된 프로그램, 전자 장치 100의 동작 중에 발생하는 각종 데이터를 저장할 수 있다.

메모리 130는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(RAM, Random Access Memory) SRAM(Static Random Access Memory), 롬(ROM, Read-Only Memory), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory), 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다.

제어부 140는 전자 장치 100의 전반적인 동작을 제어하며, 메모리 130에 저장된 인스트럭션을 실행함으로써 본 개시서에 개시된 전자 장치의 동작을 수행할 수 있다. 제어부 140는 전자 장치 100의 외부에서부터 입력되는 신호 또는 데이터를 저장하거나, 전자 장치 100에서 수행되는 다양한 작업에 대응되는 저장 영역으로 사용되는 램, 주변기기의 제어를 위한 제어 프로그램이 저장된 롬(ROM) 및 프로세서(Processor)를 포함할 수 있다. 프로세서는 코어(core, 도시되지 아니함)와 GPU(도시되지 아니함)를 통합한 SoC(System On Chip)로 구현될 수 있다. 또한, 프로세서는 복수의 프로세서를 포함할 수 있다.

일 실시예에 따른 제어부 140는 하나 이상의 인스트럭션을 실행함으로써, 컨텐츠를 실행하는 동안 상기 컨텐츠의 실행 상황을 판단하고, 상기 실행 상황 판단에 따라 상기 컨텐츠의 입력 래그 시간보다 화질을 우선적으로 고려하여 처리하는 화질 우선 모드와 상기 컨텐츠의 화질보다 상기 입력 래그 시간을 우선적으로 고려하여 처리하는 입력 래그 우선 모드 중 하나의 프레임 처리 모드를 선택하고, 상기 선택된 프레임 처리 모드에 따라 상기 컨텐츠의 프레임들에 대해서 화질 처리를 수행하도록 제어할 수 있다.

일 실시예에 따른 제어부 140는 하나 이상의 인스트럭션을 실행함으로써, 상기 실행되는 컨텐츠의 최근 하나 이상의 프레임 이미지의 특성과 이전의 하나 이상의 프레임의 이미지의 특성을 비교함으로써 상기 실행 상황의 변화 여부를 판단할 수 있다.

일 실시예에 따른 제어부 140는 하나 이상의 인스트럭션을 실행함으로써, 상기 최근 하나 이상의 프레임 이미지에 대해서 획득한 특성값과 상기 이전의 하나 이상의 프레임 이미지에 대해서 획득한 특성값의 차이가 임계치를 넘는 지를 판단하고, 상기 차이가 상기 임계치를 넘는 경우 상기 실행 상황의 변화가 있는 것으로 판단하여 현재의 프레임 처리 모드를 변경하고, 상기 차이가 상기 임계치를 넘지 않는 경우 상기 실행 상황의 변화가 없는 것으로 판단하여 현재의 프레임 처리 모드를 유지할 수 있다. 상기 최근 하나 이상의 프레임 이미지에 대해서 획득한 특성값은 상기 최근 하나 이상의 프레임 이미지 정보의 평균으로부터 획득한 특성값을 포함하고, 상기 이전의 하나 이상의 프레임 이미지에 대해서 획득한 특성값은 상기 이전의 하나 이상의 프레임 이미지 정보의 평균으로부터 획득한 특성값을 포함할 수 있다. 상기 특성값은, SSIM, PSNR, 컬러 히스토그램 중 적어도 하나를 포함할 수 있다.

일 실시예에 따른 제어부 140는 하나 이상의 인스트럭션을 실행함으로써, 상기 특성값의 획득에 이용되는 프레임 이미지의 개수, 상기 컨텐츠의 실행 상황의 변화 여부를 판단하는 주기, 상기 임계치를 상기 실행되는 컨텐츠의 타이틀이나 장르에 따라 다르게 설정할 수 있다.

일 실시예에 따른 제어부 140는 하나 이상의 인스트럭션을 실행함으로써, 상기 실행되는 컨텐츠의 판단 구간 내에서 수신되는 입력의 빈도에 기반하여 상기 프레임 처리 모드를 선택할 수 있다.

일 실시예에 따른 제어부 140는 하나 이상의 인스트럭션을 실행함으로써, 상기 판단 구간 내에서 수신되는 상기 입력의 횟수가 상기 입력 래그 우선 모드의 횟수 임계치 보다 크고, 상기 입력의 간격이 상기 입력 래그 우선 모드의 간격 임계치보다 작은 경우 상기 입력 래그 우선 모드를 선택하고, 상기 판단 구간 내에서 수신되는 상기 입력의 횟수가 상기 화질 우선 모드의 횟수 임계치보다 작고, 상기 입력의 간격이 상기 화질 우선 모드의 간격 임계치보다 작은 경우 상기 화질 우선 모드를 선택할 수 있다.

일 실시예에 따른 제어부 140는 하나 이상의 인스트럭션을 실행함으로써, 상기 입력 래그 우선 모드의 횟수 임계치, 상기 입력 래그 우선 모드의 간격 임계치, 상기 화질 우선 모드의 횟수 임계치, 및 상기 화질 우선 모드의 간격 임계치를 상기 실행되는 컨텐츠의 타이틀이나 장르에 따라 다르게 설정할 수 있다.

일 실시예에 따른 제어부 140는 하나 이상의 인스트럭션을 실행함으로써, 상기 선택된 프레임 처리 모드가 상기 화질 우선 모드임에 따라 상기 컨텐츠의 프레임들에 대해서 미리 정해진 개수의 화질 처리 동작들을 수행하고, 상기 선택된 프레임 처리 모드가 상기 입력 래그 우선 모드임에 따라 상기 컨텐츠의 프레임들에 상기 미리 정해진 개수의 화질 처리 동작들 중 하나 이상의 화질 처리 동작을 제거하고 나머지 화질 처리 동작을 수행할 수 있다.

일 실시예에 따른 제어부 140는 하나 이상의 인스트럭션을 실행함으로써, 상기 실행되는 컨텐츠가 서버로부터 스트리밍되는 컨텐츠 임에 따라, 상기 선택된 프레임 처리 모드에 대한 정보를 상기 서버로 제공하고, 상기 서버로부터 상기 선택된 프레임 처리 모드에 기반하여 화질 처리된 컨텐츠 프레임들을 수신할 수 있다.

일 실시예에 따른 제어부 140는 하나 이상의 인스트럭션을 실행함으로써, 상기 실행되는 컨텐츠의 프레임 이미지들의 특성에 기반하여 장면 변화가 있는지 여부를 판단하고, 상기 장면 변화가 있다고 판단됨에 따라 상기 실행되는 컨텐츠의 판단 구간 내에서 수신되는 입력의 빈도에 기반하여 상기 화질 우선 모드와 상기 입력 래그 우선 모드 중 하나의 프레임 처리 모드를 선택할 수 있다.

도 3은 일 실시예에 따라 전자 장치 100의 구체적인 블록도이다.

도 3을 참조하면, 전자 장치 100는 디스플레이 110, 사용자 입력부 121, 메모리 130, 제어부 140 외에, 통신부 150, 비디오 처리부 160, 오디오 처리부 165, 오디오 출력부 170, 수신부 180, 감지부 190를 더 포함할 수 있다.

사용자 입력부 121는, 사용자가 전자 장치 100를 제어하기 위한 데이터를 입력하는 수단을 의미한다. 예를 들어, 사용자 입력부 121에는 키 패드(key pad), 돔 스위치 (dome switch), 터치 패드(접촉식 정전 용량 방식, 압력식 저항막 방식, 적외선 감지 방식, 표면 초음파 전도 방식, 적분식 장력 측정 방식, 피에조 효과 방식 등), 조그 휠, 조그 스위치 등이 있을 수 있으나 이에 한정되는 것은 아니다.

통신부 150는 전자 장치 100과 무선 통신 시스템 사이 또는 전자 장치 100과 다른 전자 장치가 위치한 네트워크 사이의 무선 통신을 가능하게 하는 하나 이상의 모듈을 포함할 수 있다. 예를 들어, 통신부 110는 이동통신 모듈 151, 무선 인터넷 모듈 152 및 근거리 통신 모듈 153을 포함할 수 있다.

이동통신 모듈 151는, 이동 통신망 상에서 기지국, 외부의 단말, 서버 중 적어도 하나와 무선 신호를 송수신한다. 상기 무선 신호는, 음성 호 신호, 화상 통화 호 신호 또는 문자/멀티미디어 메시지 송수신에 따른 다양한 형태의 데이터를 포함할 수 있다.

무선 인터넷 모듈 152은 무선 인터넷 접속을 위한 모듈을 말하는 것으로, 디바이스에 내장되거나 외장될 수 있다. 무선 인터넷 기술로는 WLAN(Wireless LAN)(WiFi), Wibro(Wireless broadband), Wimax(World Interoperability for Microwave Access), HSDPA(High Speed Downlink Packet Access) 등이 이용될 수 있다. 상기 무선 인터넷 모듈 152을 통해서 상기 디바이스는 다른 디바이스와 와이 파이(Wi-Fi) P2P(Peer to Peer)연결을 할 수 있다.

근거리 통신 모듈 153은 근거리 통신을 위한 모듈을 말한다. 근거리 통신 기술로 블루투스(Bluetooth), BLE(Bluetooth Low Energy), RFID(Radio Frequency Identification), 적외선 통신(IrDA, infrared Data Association), UWB(Ultra Wideband), ZigBee 등이 이용될 수 있다.

일 실시예에 따라 통신부 150는 제어부 140의 제어에 따라 실행 요청된 컨텐츠를 전송하도록 서버 컴퓨터 200에 요청하고, 서버 컴퓨터 200로부터 실행 요청된 컨텐츠의 프레임들을 수신할 수 있다. 구체적으로, 무선 인터넷 모듈 152는 제어부 140의 제어에 따라 서버 컴퓨터 200와 통신하여 서버 컴퓨터 200로부터 컨텐츠 프레임을 수신하거나 서버 컴퓨터 200로 실행되는 컨텐츠에 대해서 선택된 프레임 처리 모드 정보를 전송할 수 있다.

일 실시예에 따라 통신부 150는 제어부 140의 제어에 따라 전자 장치 100에서 실행되는 컨텐츠를 제어하는 사용자 입력을 수신할 수 있다. 구체적으로, 근거리 통신 모듈 153은 제어부 140의 제어에 따라 전자 장치 100에서 실행되는 컨텐츠를 제어하는 제어 장치로부터 컨텐츠 제어를 위한 사용자 입력을 수신할 수 있다.

비디오 처리부 160는 제어부 140의 제어에 따라, 수신부 180 또는 통신부 150로부터 수신되는 영상신호를 처리하여 디스플레이 110로 출력할 수 있다.

일 실시예에 따라 비디오 처리부 160는, 컨텐츠에 대응하는 프레임들을 수신하는 메인 버퍼, 상기 메인 버퍼로부터 출력되는 프레임들을 디코딩하는 디코더, 디코딩된 프레임들을 처리하는 프레임 처리부를 포함할 수 있다.

디스플레이 110는 비디오 처리부 160로부터 수신된 영상 신호를 화면에 표시할 수 있다.

오디오 처리부 165는 제어부 140의 제어에 따라, 수신부 180 또는 통신부 150로부터 수신되는 오디오 신호를 아날로그 오디오 신호로 변환하여 오디오 출력부 170로 출력할 수 있다.

오디오 출력부 170는 수신되는 아날로그 오디오 신호를 스피커를 통해 출력할 수 있다.

수신부 180는 제어부 140의 제어에 의해 전자 장치 100의 외부에서부터 비디오(예를 들어, 동영상 등), 오디오(예를 들어, 음성, 음악 등) 및 부가 정보(예를 들어, EPG 등) 등을 수신할 수 있다. 수신부 180는 HDMI 포트(High-Definition Multimedia Interface port, 181, 컴포넌트 잭(component jack, 182), PC 포트(PC port, 183), 및 USB 포트(USB port, 184) 중 하나를 포함하거나, 하나 이상의 조합을 포함할 수 있다. 수신부 180는 HDMI 포트 이외에도 디스플레이 포트 (DisplayPort; DP), 썬더볼트 (Thunderbolt), MHL (Mobile High-Definition Link)를 더 포함할 수 있다.

일 실시예에 따라 수신부 180는 제어부 140의 제어에 따라, 연결된 외부 장치로부터 컨텐츠를 수신할 수 있다. 구체적으로, HDMI 포트 181는 제어부 140의 제어에 따라, 연결된 게임 콘솔 기기에서 실행되는 컨텐츠를 수신할 수 있다.

감지부 190은 사용자의 음성, 사용자의 영상, 또는 사용자의 인터랙션을 감지하며, 마이크로폰 191, 카메라부 192, 및 광 수신부 193를 포함할 수 있다. 마이크로폰 191는 사용자의 발화(utterance)된 음성을 수신하고 수신된 음성을 전기 신호로 변환하여 제어부 140로 출력할 수 있다. 카메라부 192는 카메라 인식 범위에서 제스처를 포함하는 사용자의 모션에 대응되는 영상(예를 들어, 연속되는 프레임)을 수신할 수 있다. 광 수신부 193는, 원격 제어 장치에서부터 수신되는 광 신호(제어 신호를 포함)를 수신한다. 광 수신부 193는 원격 제어 장치로부터 사용자 입력(예를 들어, 터치, 눌림, 터치 제스처, 음성, 또는 모션)에 대응되는 광 신호를 수신할 수 있다. 수신된 광 신호로부터 제어부 140의 제어에 의해 제어 신호가 추출될 수 있다.

일 실시예에 따라 감지부 190는 제어부 140의 제어에 따라 전자 장치 100에서 실행되는 컨텐츠를 제어하는 사용자 입력을 수신할 수 있다. 구체적으로, 광수신부 193은 제어부 140의 제어에 따라 전자 장치 100에서 실행되는 컨텐츠를 제어하는 제어 장치로부터 컨텐츠 제어를 위한 사용자 입력을 수신할 수 있다.

일 실시예에 따른 메모리 130는, 제어부 140의 처리 및 제어를 위한 프로그램을 저장할 수 있고, 전자 장치 100으로 입력되거나 전자 장치 100로부터 출력되는 데이터를 저장할 수 있다.

제어부 140는 전자 장치 100의 전반적인 동작을 제어한다. 예를 들어, 제어부 140는, 메모리 130에 저장된 하나 이상의 인스트럭션을 실행함으로써, 본 개시서에 기재된 전자 장치 100의 기능을 수행할 수 있다.

본 개시의 실시예에서, 제어부 140는 메모리 130에 저장된 하나 이상의 인스트럭션을 실행하여, 전술한 동작들이 수행되도록 제어할 수 있다. 이 경우, 메모리 130는 제어부 140에 의해서 실행가능한 하나 이상의 인스트럭션을 저장하고 있을 수 있다.

또한, 본 개시의 실시예에서, 제어부 140는 내부적으로 구비되는 메모리에 하나 이상의 인스트럭션을 저장하고, 내부적으로 구비되는 메모리에 저장된 하나 이상의 인스트럭션을 실행하여 전술한 동작들이 수행되도록 제어할 수 있다. 즉, 제어부 140는 제어부 140의 내부에 구비되는 내부 메모리 또는 메모리 130에 저장된 적어도 하나의 인스트럭션 또는 프로그램을 실행하여 소정 동작을 수행할 수 있다.

또한, 도 3에서는 제어부 140는 하나 이상의 프로세서를 포함할 수 있다. 이 경우, 본 개시의 실시예에 따른 전자 장치에서 수행되는 동작들 각각은 복수개의 프로세서 중 적어도 하나를 통하여 수행될 수 있다.

도 4는 일 실시예에 따라 전자 장치에서 컨텐츠의 실행 상황에 따라 컨텐츠의 프레임들을 처리하는 방법의 동작을 나타내는 흐름도이다.

도 4를 참조하면, 동작 410에서, 전자 장치 100는 컨텐츠를 실행하는 동안 컨텐츠의 실행 상황을 판단할 수 있다. 컨텐츠는 사용자 입력에 따라 컨텐츠의 실행이 제어되는 컨텐츠를 의미할 수 있으며, 예를 들어 게임 컨텐츠 또는 사용자 입력에 따라 시나리오가 달라지는 비디오 컨텐츠 등을 포함할 수 있다. 이하에서는 설명의 편의상 컨텐츠를 게임 컨텐츠로 예를 들어 설명한다.

일 실시예에 따라 전자 장치 100는 전자 장치 100 내부에 저장된 컨텐츠를 실행하거나, 전자 장치 100에 연결된 외부 게임 콘솔로부터 수신된 컨텐츠를 실행하거나 또는 서버 컴퓨터 200로부터 스트리밍에 의해 수신되는 컨텐츠를 실행할 수 있다.

일 실시예에 따라 전자 장치 100는 실행되는 컨텐츠의 장면의 변화가 있는지 여부를 기반으로 컨텐츠의 실행 상황을 판단할 수 있다. 구체적으로, 전자 장치 100는 실행되는 컨텐츠 프레임들의 이미지 특성을 획득하고, 최근의 컨텐츠 프레임들의 이미지 특성과 이전의 컨텐츠 프레임들의 이미지 특성의 차이를 획득하고, 차이가 크다면 장면의 변화가 있는 것으로 판단하고, 차이가 크지 않다면 장면의 변화가 없는 것으로 판단할 수 있다.

일 실시예에 따라 전자 장치 100는 실행되는 컨텐츠의 판단 구간 내에서 수신되는 사용자 입력의 빈도를 기반으로 컨텐츠의 실행 상황을 판단할 수 있다. 구체적으로, 전자 장치 100는 실행되는 컨텐츠의 미리 정해진 판단 구간 내에서 수신되는 사용자 입력에 대한 빈도 정보를 획득하고, 획득된 사용자 입력에 대한 빈도 정보를 기반으로 화질 우선 모드에 대응하는 임계 기준 또는 입력 래그 우선 모드에 대응하는 임계 기준과 비교할 수 있다. 그리고 전자 장치 100는 획득된 사용자 입력에 대한 빈도 정보가 화질 우선 모드에 대응하는 임계 기준을 만족하면 화질 우선 모드에 대응한다고 판단할 수 있고 획득된 사용자 입력에 대한 빈도 정보가 입력 래그 우선 모드에 대응하는 임계 기준을 만족하면 입력 래그 우선 모드에 대응한다고 판단할 수 있다.

일 실시예에 따라 전자 장치 100는 실행되는 컨텐츠의 장면의 변화가 있다고 판단된 경우, 실행되는 컨텐츠의 판단 구간 내에서 수신되는 사용자 입력의 빈도를 기반으로 컨텐츠의 실행 상황을 판단할 수 있다. 즉, 전자 장치 100는 컨텐츠 프레임의 특성 및 사용자 입력의 빈도 모두를 기반으로 컨텐츠의 실행 상황을 판단할 수 있다. 구체적으로, 전자 장치 100는 실행되는 컨텐츠의 프레임 이미지 특성을 기반으로 장면의 변화가 있는지 여부를 판단하고, 장면의 변화가 있다고 판단된 경우에 사용자 입력의 빈도를 판단하는 단계로 넘어갈 수 있다. 전자 장치 100는 실행되는 컨텐츠의 장면의 변화가 있다고 판단된 경우에, 실행되는 컨텐츠의 미리 정해진 판단 구간 내에서 수신되는 사용자 입력의 빈도 정보를 획득하고, 획득된 사용자 입력 빈도 정보를 기반으로 프레임 처리 모드를 선택할 수 있다.

동작 420에서, 전자 장치 100는 컨텐츠의 실행 상황 판단에 따라 화질 우선 모드와 입력 래그 우선 모드 중 하나의 프레임 처리 모드를 선택할 수 있다.

일 실시예에 따라 전자 장치 100가 실행되는 컨텐츠의 장면의 변화가 있는지 여부를 기반으로 컨텐츠의 실행 상황을 판단하는 경우에, 전자 장치 100는 장면의 변화가 있는 것으로 판단한 경우에는 프레임 처리 모드를 변경할 수 있다. 예를 들어 현재 프레임 처리 모드가 화질 우선 모드인 경우에 전자 장치 100는 입력 래그 우선 모드로 변경하고, 현재 프레임 처리 모드가 입력 래그 우선 모드 인 경우에 전자 장치 100는 화질 우선 모드로 변경할 수 있다.

일 실시예에 따라 전자 장치 100가 실행되는 컨텐츠의 판단 구간 내에서 수신되는 사용자 입력의 빈도를 기반으로 컨텐츠의 실행 상황을 판단하는 경우에, 전자 장치 100는 사용자 입력의 빈도가 입력 래그 우선 모드에 대응하는 경우에 입력 래그 우선 모드를 선택할 수 있고, 사용자 입력의 빈도가 화질 우선 모드에 대응하는 경우에 화질 우선 모드를 선택할 수 있다.

동작 430에서, 전자 장치 100는 선택된 프레임 처리 모드에 따라 컨텐츠의 프레임들에 대해서 화질 처리를 수행할 수 있다.

일 실시예에 따라 전자 장치 100는 선택된 프레임 처리 모드가 화질 우선 모드인 경우에, 컨텐츠의 프레임들에 대해서 화질 처리 동작에 포함되는 하나 이상의 동작들을 전부 또는 대부분 수행하여 프레임들을 처리함으로써 프레임 이미지를 고화질로 출력할 수 있다.

일 실시예에 따라 전자 장치 100는 선택된 프레임 처리 모드가 입력 래그 우선 모드 인 경우에 컨텐츠의 프레임들에 대해서 화질 처리 동작에 포함되는 하나 이상의 동작들 중 일부를 제외하고 프레임들을 처리함으로써 프레임 처리에 드는 시간을 감소시킴으로써 입력 래그를 감소시킬 수 있다.

도 5는 일 실시예에 따라 전자 장치가 장면 변화에 기반하여 컨텐츠 프레임들을 처리하는 방법의 동작을 나타내는 흐름도이다.

도 5를 참조하면, 동작 510에서, 전자 장치 100는 컨텐츠를 실행할 수 있다.

동작 520에서, 전자 장치 100는 실행되는 컨텐츠의 최근 하나 이상의 프레임 이미지와 이전의 하나 이상의 프레임 이미지를 획득할 수 있다.

구체적으로, 전자 장치 100는 특정한 컨텐츠가 시작되는 시점부터 컨텐츠 실행 상황의 변화 여부를 지속적으로 모니터링하여 일정 시점을 기준으로 최근 하나 이상의 프레임 이미지와 이전의 하나 이상의 프레임 이미지를 획득할 수 있다.

도 6은 일 실시예에 따라 전자 장치 100가 획득하는 최근 하나 이상의 프레임 이미지와 이전 하나 이상의 프레임 이미지의 예를 나타낸다.

도 6을 참조하면, 전자 장치 100는 컨텐츠를 실행하는 동안 최근 N개의 프레임 이미지와 과거 M개의 프레임 이미지를 획득할 수 있다. 여기서 N과 M은 1 이상의 자연수를 나타낼 수 있다. 예를 들어, 전자 장치 100는 최근 3개의 프레임 이미지와 최근 3개 프레임 이미지 이전의 과거 5초간 프레임 이미지를 획득할 수 있다.

전자 장치 100가 획득하는 최근 프레임 이미지들의 개수와 과거 프레임 이미지들의 개수는 다양하게 결정될 수 있을 것이다.

전자 장치 100는 컨텐츠를 실행하는 시점부터 지속적으로 일정한 모니터링 간격에 따라서 최근 프레임 이미지들과 이전 프레임 이미지들을 획득할 수 있다. 전자 장치 100는 컨텐츠의 타이틀이나 장르에 따라서 이와 같은 모니터링 간격을 다르게 설정할 수 있을 것이다. 예를 들어 장면의 변화가 빈번한 컨텐츠의 경우에는 모니터링 간격을 짧게 하고 장면의 변화가 빈번하지 않은 컨텐츠의 경우에는 모니터링 간격을 길게 할 수 있을 것이다.

다시 도 5로 돌아가서, 동작 530에서, 전자 장치 100는 최근 하나 이상의 프레임 이미지의 특성과 이전 하나 이상의 프레임 이미지의 특성의 차이가 임계치를 넘는지를 판단할 수 있다.

구체적으로, 전자 장치 100는 먼저 최근 하나 이상의 프레임 이미지의 특성과 이전 하나 이상의 프레임 이미지의 특성을 획득할 수 있다. 프레임 이미지의 특성을 구할 때, 전자 장치 100는 획득한 프레임 이미지가 하나 인 경우, 하나의 프레임 이미지에 포함된 픽셀의 RGB 값을 이용할 수 있다. 전자장치 100는 획득한 프레임 이미지가 복수 개 인 경우, 복수개의 프레임 이미지에 포함된 픽셀의 RGB 값의 평균을 이용할 수 있다. 물론 복수 개의 프레임 이미지에 포함된 픽셀들의 RGB 값의 평균 뿐 만 아니라 최대값이나 최소값, 중간값 등이 이용될 수 있음은 물론이다. 복수개의 프레임 이미지에 포함된 픽셀들의 RGB 값의 평균을 이용하는 경우에, 일시적으로 독특한 그래픽 효과가 삽입되어 이미지 특성의 차이를 발생시키는 상황에 대해서도 실제 장면 변화가 있는 것으로 판단되지 않게 할 수 있다.

일 실시예에 따라 전자 장치 100는 두 이미지의 SSIM 값이나 PSNR (Peak Signal-to-Noise Ratio)값을 이미지 특성 값으로 비교할 수 있다. SSIM (Structural Similarity Index Map)는 두 이미지의 밝기, 콘트라스트, 구조를 비교함으로써 두 이미지의 차이를 비교하는 알고리즘으로서, 이외에도 유사한 알고리즘으로서 MS-SSIM (Multi-Scale SSIM), IW-SSIM (Information content Weighted SSIM), FSIM(Features Similarity), GSM (Gradient Similarity based metrix) 와 같은 알고리즘을 이용할 수 있다.

일 실시예에 따라 전자 장치 100는 두 이미지의 컬러 히스토그램을 이미지 특성 값으로 비교할 수 있다. 컬러 히스토그램은 이미지 내에서 픽셀들에 대한 명암 값의 분포를 나타낸다.

일 실시예에 따라 전자 장치 100는 장면 변화 검출 분야의 딥 러닝 모델(예를 들어, Fully Convolutional Siamese Metric Networks for Scene Change Detection)을 이용하여 두 이미지의 변화 여부를 판단할 수 있다.

일 실시예에 따라 전자 장치 100는 최근 하나 이상의 프레임 이미지의 특성값과 이전 하나 이상의 프레임 이미지의 특성값의 차이를 구하고, 이러한 차이가 임계치를 넘는지를 판단할 수 있다.

전자 장치 100는 이상 설명한 바와 같이 모니터링 간격, 평균 계산할 프레임들의 개수, 변화 여부 판단 기준이 되는 임계치와 같은 파라미터 값들은 컨텐츠의 타이틀이나 장르에 따라 다르게 설정할 수 있다. 예를 들어 일부 음악 연주 게임 컨텐츠와 같이 화면이 번쩍번쩍하고 동일한 상황에서도 변화가 빈번한 경우, 평균 계산할 프레임들의 개수를 늘리고 임계치를 높게 설정하면 더 안정적인 판단을 가능하게 할 수 있다.

동작 530에서 최근 이미지 특성과 이전 이미지 특성의 차이가 임계치를 넘는다고 판단한 경우 동작 540으로 진행할 수 있다.

동작 540에서, 전자 장치 100는 이와 같이 최근 하나 이상의 프레임 이미지의 특성과 이전 하나 이상의 프레임 이미지의 특성의 차이가 임계치를 넘는 경우에는 장면 변화가 있다고 판단할 수 있다.

동작 550에서, 전자 장치 100는 장면 변화가 있다고 판단한 경우 프레임 처리 모드를 변경할 수 있다. 즉 전자 장치 100는 장면 변화가 있다고 판단한 경우 현재 프레임 처리 모드가 화질 우선 모드인 경우 입력 래그 우선 모드로 변경하고, 현재 프레임 처리모드가 입력 래그 우선 모드인 경우 프레임 처리 모드로 변경할 수 있다.

동작 530에서 최근 이미지 특성과 이전 이미지 특성의 차이가 임계치를 넘지 않는다고 판단한 경우 동작 560으로 진행할 수 있다.

동작 560에서, 전자 장치 100는 이와 같이 최근 하나 이상의 프레임 이미지의 특성과 이전 하나 이상의 프레임 이미지의 특성의 차이가 임계치를 넘지 않는 경우에는 장면 변화가 없다고 판단할 수 있다.

동작 570에서, 전자 장치 100는 장면 변화가 없다고 판단한 경우 프레임 처리 모드를 현재 상태로 유지할 수 있다.

동작 580에서, 전자 장치 100는 프레임 처리 모드에 따라 프레임들을 처리할 수 있다. 구체적으로, 전자 장치 100는 프레임 처리 모드가 입력 래그 우선 모드인 경우, 입력 래그 우선 모드에 따라 프레임들을 처리하고, 프레임 처리 모드가 화질 우선 모드 인 경우, 화질 우선 모드에 따라 프레임들을 처리할 수 있다.

프레임의 화질 처리 동작은 하나 이상의 세부적인 동작들을 포함할 수 있다. 화질 우선 모드의 경우에는 프레임의 화질을 우선적으로 고려하여 처리하는 것이므로 화질 처리 동작에 포함된 하나 이상의 세부적인 동작들을 모두 수행할 수 있다. 반면, 입력 래그 우선 모드의 경우에는 프레임의 화질 보다는 입력 래그를 줄이는 것을 우선적으로 고려하여 처리하는 것이므로 화질 처리 동작에 포함된 하나 이상의 세부적인 동작들중 적어도 일부를 제거하고 동작들을 수행함으로써 프레임 처리 시간을 단축시킬 수 있다.

도 7은 일 실시예에 따라 프레임을 처리하는 신호 처리부의 일 예를 나타낸다. 도 7에 도시된 신호 처리부는 도 3의 전자 장치 100에서 제어부 140에 포함되거나 비디오 처리부 160에 포함될 수 있다.

도 7을 참조하면, 신호 처리부 700는 디코더 710과 프레임 처리부 720를 포함할 수 있다.

디코더 710는 입력되는 컨텐츠 프레임 신호를 디코딩하는 디코딩 프로세스를 수행할 수 있다. 디코더 710에 의해 디코딩된 신호는 프레임 처리부 720로 입력될 수 있다.

프레임 처리부 720는 스케일러 721와 화질 개선부 722를 포함할 수 있다.

스케일러 721는 출력 패널에 맞도록 화면 사이즈를 조정하는 스케일링 프로세스를 수행할 수있다.

화질개선부 722는 이미지를 더욱 선명하게 하여 화질을 개선하는 이미지 개선 프로세스를 수행할 수 있다. 이미지 개선 프로세스는 입력된 이미지를 보다 보기 좋게 하기 위해 열화된 이미지에 대해서 콘트라스트를 강하게 한다든지, 흐림, 광학적 잡음, 기하학적 일그러짐을 줄인다든지 하여 이미지의 품질을 개량할 수 있다. 또한 이미지 개선 프로세스는 이미지 중에서 국소적으로 콘트라스트를 강하게 한다든지, 흐림을 복원한다든지 하여 물체의 윤곽을 강조 또는 추출하는 첨샤프닝(sharpening)과 광학적 잡음을 제거하는 스무딩(smoothing) 등을 이용할 수 있다.

도 7을 참조하면, 화질 개선부 722가 수행하는 화질 개선 동작은 예를 들어, 디노이즈(denoise), 샤프닝(sharpening), 스무딩(Smoothing), 톤 맵핑(Tone Mapping) 등을 포함할 수 있다.

디노이즈 동작 723은 이미지 내 노이즈를 제거하는 동작을 의미할 수 있다. 디노이즈 동작의 파라미터는 노이즈 제거 함수를 기초로 할 수 있다.

샤프닝 동작 724은 이미지의 선명도를 증가시키는 동작을 의미할 수 있다. 샤프닝 동작은 선명도 함수를 기초로 할 수 있다.스무딩 동작 725는 이미지에서 고주파 성분 약화 후에 부드럽게 노이즈 처리함으로써 자연스러운 blur처리 동작을 의미할 수 있다.

톤 맵핑(Tone Mapping) 726은 이미지의 입력 신호(RGB Or YCbCr…) 정보를 사용자(개발자)가 원하는 레벨로 변형해주는 신호처리 방식으로, 예를 들면　톤 맵핑 (Tone mapping)을 하면 영상의 어두운 부분이나 밝은 부분을 조금 더 디테일(detail)을 살리거나　블랙(black)을　강조 혹은 밝은 부분을 더 밝게 하는 등 조정할 수 있다.

전자 장치 100가 화질 우선 모드에 따라 프레임을 처리하는 경우 전자 장치 100는 화질 개선 동작의 세부 프로세스 즉, 디노이즈, 샤프닝, 스무딩, 톤 매핑을 모두 수행하는 신호 처리를 수행할 수 있다. 따라서 처리 지연이 발생하여 처리 속도는 저하될 수 있지만 고화질의 이미지를 표시할 수 있다.

전자 장치 100가 입력 래그 우선 모드에 따라 프레임을 처리하는 경우 전자 장치 100는 화질 개선 동작의 세부 프로세스 즉, 디노이즈, 샤프닝, 스무딩, 톤 매핑 중 적어도 일부 또는 전부를 생략하고 신호 처리를 수행할 수 있다. 입력 래그 우선 모드에서는 화질을 개선시키는 화질 처리 프로세스 중 적어도 일부를 수행하지 않기 때문에, 화질 면에서는 저화질이 될 수 있지만, 프레임 처리 속도 면에서 고속이 될 수 있으므로 입력 래그를 저감시킬 수 있다.

도 7에 도시된 화질 개선부 722에서 수행되는 화질 개선 세부 프로세스인, 디노이즈, 샤프닝, 스무딩, 톤 매핑은 일 예에 따른 것이며, 화질 개선부 722에서 수행되는 화질 개선 세부 프로세스는 디노이즈, 샤프닝, 스무딩, 톤 매핑 중 일부만을 포함하거나 또는 이러한 세부 프로세스 외에 다른 세부 프로세스를 더 포함할 수 있음은 물론이다.

또한 도 7에 도시된 설명에서는 프레임 처리 모드에 따라서 화질 개선부 722의 세부 프로세스들을 전부 수행할 지 일부 수행할지에 관한여 주로 설명되었지만 본 개시서에 개시된 실시예들은 반드시 이에 한정되는 것은 아니다. 스케일러 721에 수행되는 프로세스들도 프레임 처리 모드에 따라서 입력 래그 우선 모드에서 처리될 수 있는 세부 프로세스들과 화질 우선 모드에서 처리될 수 있는 세부 프로세스들로 구분되어 각 프레임 처리 모드에 따라서 서로 다른 프로세스들이 수행될 수 있다. 또한 프레임 처리부 720는 스케일러 721과 화질 개선부 722 이외에 다른 프로세스를 수행하는 모듈을 더 포함할 수 있으며, 이러한 모듈도 프레임 처리 모드에 따라서 서로 다른 프로세스를 수행하도록 구현될 수 있을 것이다.

도 8은 일 실시예에 따라 전자 장치가 사용자 입력 빈도에 기반하여 컨텐츠 프레임들을 처리하는 방법의 동작을 나타내는 흐름도이다.

도 8을 참조하면, 동작 810에서, 전자 장치 100는 컨텐츠를 실행할 수 있다.

동작 820에서, 전자 장치 100는 실행되는 컨텐츠의 판단 구간 내에서 컨텐츠의 실행을 제어하는 사용자 입력의 빈도를 검출할 수 있다. 전자 장치 100는 다양한 사용자 입력 수신 수단을 통해서 컨텐츠의 실행을 제어하는 사용자 입력을 수신할 수 있다. 예를 들어 전자 장치 100는 게임 패드, 조이스틱, 키보드, 마우스 등의 입력 장치나 또는 통신으로 연결된 리모트 콘트롤러나 스마트 폰 등의 제어 장치로부터 사용자 입력을 수신할 수 있다.

일 실시예에 따라 사용자 입력의 빈도는 컨텐츠의 판단 구간 내에서 수신되는 사용자 입력의 횟수와 사용자 입력 사이의 간격을 포함할 수 있다.

도 9는 일 실시예에 따라 컨텐츠의 판단 구간 내에서 수신되는 사용자 입력 빈도를 설명하기 위한 참고도이다.

도 9를 참조하면, 전자 장치 100는 컨텐츠의 실행 시작과 함께 미리 정해진 입력 빈도 판단 구간 p 내에서 수신되는 사용자 입력을 모니터링하여 사용자 입력의 빈도를 검출할 수 있다. 사용자 입력의 빈도는 입력 빈도 판단 구간 내에서 수신되는 사용자 입력의 횟수와 사용자 입력 간의 간격 d 를 포함할 수 있다.

예를 들어 도 9를 참조하면, 입력 빈도 판단 구간 p(T0-2)에서 검출되는 사용자 입력의 빈도는 사용자 입력의 횟수 (2)와 사용자 입력 간격 d를 포함하고, 입력 빈도 판단 구간 p(T0-1)에서 검출되는 사용자 입력의 빈도는 사용자 입력의 횟수(2)와 사용자 입력 간격 (d)를 포함하고, 입력 빈도 판단 구간 p(T0)에서 검출되는 사용자 입력의 빈도는 사용자 입력의 횟수(6)와 사용자 입력 간격 (d1, d2, d3, d4, d5)를 포함할 수 있다. 입력 빈도 판단 구간 p(T0)에서 검출된 바와 같이 입력 간격이 복수개 존재하는 경우 전자 장치 100는 복수개의 입력 간격의 평균을 이용할 수 있다.

일 실시예에 따라 전자 장치 100는 특정한 입력 키가 반복되어 수신되는 경우 이러한 특정한 입력 키에 대응하는 입력에는 가중치를 부여할 수 있다. 예를 들어 도 9에서 입력 빈도 판단 구간 p(T0)에서 수신되는 사용자 입력의 횟수가 6 이지만, 만약 이 사용자 입력이 모두 동일한 입력 키에 대응하는 것이라면 예를 들어 가중치 2를 두어, (6*2) 로 계산하여 입력의 횟수를 12로 판단할 수 있을 것이다.

도 9에 도시된 예에서 입력 빈도 판단 구간은 시간 상 일정 부분 겹치는 부분을 포함하지만, 반드시 이러한 예에 한정되는 것은 아니고 입력 빈도 판단 구간은 서로 시간상 겹치지 않도록 설정될 수도 있을 것이다.

전자 장치 100가 입력 빈도를 검출하는 기준 단위가 되는 입력 빈도 판단 구간은 컨텐츠의 카테고리나 장르에 따라 다르게 설정될 수 있다.

다시 도 8로 돌아가서, 동작 830에서, 전자 장치 100는 컨텐츠의 판단 구간 내에서 검출되는 입력 빈도가 입력 래그 우선 모드에 대응하는 임계치 기준을 만족하는지 판단할 수 있다. 예를 들어, 전자 장치 100는 판단 구간 내에서 발생하는 입력의 횟수가 입력 래그 우선 모드의 휫수 임계치 (Li) 보다 크고, 입력 간격의 평균이 입력 래그 우선 모드의 간격 임계치 (Ld) 보다 작은 지를 판단할 수 있다.

입력 래그 우선 모드 판단 조건:

판단 구간 내에서 발생하는 입력의 횟수 > 입력 래그 우선 모드의 휫수 임계치 (Li)

입력 간격의 평균 < 입력 래그 우선 모드의 간격 임계치 (Ld)

전자 장치 100는 판단 구간 내에서 발생하는 입력의 횟수가 입력 래그 우선 모드의 휫수 임계치 (Li) 보다 크고, 입력 간격의 평균이 입력 래그 우선 모드의 간격 임계치 (Ld) 보다 작다고 판단한 경우, 이 컨텐츠의 실행에 있어 입력 래그가 중요한 상황인 것으로 판단하여 프레임 처리 모드를 입력 래그 우선 모드로 선택할 수 있다. 그리고 동작 840으로 진행하여 전자 장치 100는 입력 래그 우선 모드에 따라 프레임들을 처리할 수 있다.

동작 840에서, 전자 장치 100는 입력 래그 우선 모드에 따라 프레임의 처리 속도를 빠르게 하기 위해 화질 개선 동작의 세부 프로세스 중 일부 프로세스를 생략하면서 프레임들을 처리할 수 있다.

전자 장치 100는 동작 830에서 입력 빈도가 입력 래그 우선 모드에 대응하는 임계치 기준을 만족하지 않는다고 판단한 경우에 동작 850으로 진행할 수 있다.

동작 850에서, 전자 장치 100는 컨텐츠의 판단 구간 내에서 검출되는 입력 빈도가 화질 우선 모드에 대응하는 임계치 기준을 만족하는지 판단할 수 있다. 예를 들어, 전자 장치 100는 판단 구간 내에서 발생하는 입력의 횟수가 화질 우선 모드의 휫수 임계치 (Qi) 보다 작고, 입력 간격의 평균이 화질 우선 모드의 간격 임계치 (Qd) 보다 큰 지를 판단할 수 있다.

화질 우선 모드 판단 조건:

판단 구간 내에서 발생하는 입력의 횟수 < 화질 우선 모드의 휫수 임계치 (Qi)

입력 간격의 평균 > 화질 우선 모드의 간격 임계치 (Qd)

전자 장치 100는 판단 구간 내에서 발생하는 입력의 횟수가 화질 우선 모드의 휫수 임계치 (Qi) 보다 작고, 입력 간격의 평균이 화질 우선 모드의 간격 임계치 (Qd) 보다 크다고 판단한 경우에, 이 컨텐츠의 실행에 있어 입력 래그 보다는 화질이 중요한 상황인 것으로 판단하여 프레임 처리 모드를 화질 우선 모드로 선택할 수 있다.

그리고 동작 860으로 진행하여 전자 장치 100는 화질 우선 모드에 따라 프레임들을 처리할 수 있다.

동작 860에서, 전자 장치 100는 화질 우선 모드에 따라 프레임의 화질을 고화질로 출력하기 위해 화질 개선 동작의 세부 프로세스들의 전부를 수행하면서 프레임들을 처리할 수 있다.

일 실시예에 따라 입력 래그 우선 모드 판단에 이용되는 임계치인 Li, Ld, 화질 우선 모드 판단에 이용되는 임계치인 Qi, Qd는 컨텐츠의 장르나 타이틀에 따라 달라지도록 설정될 수 있다. 예를 들어, 게임 컨텐츠 진행 간 전투 상황이 대부분을 차지하는 FPS(First Person Shooting)와 같은 게임 컨텐츠의 경우에, 입력 래그 우선 모드에 대응하는 컨텐츠 프레임들이 대부분을 차지할 것이다. 따라서 전자 장치 100는 이와 같이 입력 래그 우선 모드에 따라 처리되어야 할 부분이 많은 컨텐츠에서는 가급적 입력 래그 우선 모드로 판단되기 용이하게 입력 래그 우선 모드에 대응하는 임계치들을 설정하고, 화질 우선 모드로 판단되기는 어렵게 화질 우선 모드에 대응하는 임계치들을 설정할 수 있다. 즉, 화질 우선 모드 상태에서는 입력 래그 우선 모드를 판단하는 기준 임계치들을 달성하기 쉽게 설정하고, 판단 구간의 길이 (p)도 짧게 설정할 수 있다. 반면에 입력 래그 우선 모드 상태에서는 화질 우선 모드를 판단하는 기준 임계치들을 달성하기 어렵게 설정하고, 판단 구간의 길이 (p)도 길게 설정할 수 있다.

도 10은 일 실시예에 따라 전자 장치가 장면 변화 및 사용자 입력 빈도를 함께 고려하여 컨텐츠의 프레임들을 처리하는 방법의 동작 흐름도를 나타낸다.

도 10을 참조하면, 동작 1010에서 전자 장치 100는 컨텐츠를 실행할 수 있다.

동작 1020에서, 전자 장치 100는 컨텐츠를 실행하는 동안, 컨텐츠의 컨텐츠 프레임들의 특성을 획득할 수 있다. 구체적으로, 전자 장치 100는 실행되는 컨텐츠의 최근 하나 이상의 프레임 이미지와 이전의 하나 이상의 프레임 이미지를 획득할 수 있다. 그리고, 전자 장치 100는 최근 하나 이상의 프레임 이미지의 특성과 이전 하나 이상의 프레임 이미지의 특성을 획득할 수 있다. 프레임 이미지의 특성으로는 SSIM 값이나 PSNR (Peak Signal-to-Noise Ratio)값, 컬러 히스토그램 등을 이용할 수 있다.

동작 1030에서, 전자 장치 100는 컨텐츠의 장면이 변화되었는지를 판단할 수 있다. 구체적으로, 전자 장치 100는 최근 하나 이상의 프레임 이미지의 특성값과 이전 하나 이상의 프레임 이미지의 특성값의 차이를 구하고, 이러한 차이가 임계치를 넘는지를 판단할 수 있다. 전자 장치 100는 최근 하나 이상의 프레임 이미지의 특성값과 이전 하나 이상의 프레임 이미지의 특성값의 차이가 임계치를 넘는 경우에 장면의 변화가 있다고 판단하여 동작 1040으로 진행할 수 있다. 그리고 전자 장치 100는 최근 하나 이상의 프레임 이미지의 특성값과 이전 하나 이상의 프레임 이미지의 특성값의 차이가 임계치를 넘지 않는 경우에 장면의 변화가 없는 것으로 판단하여 더 이상의 사용자 입력 빈도를 체크할 필요도 없이 동작 1020으로 진행할 수 있다. 동작 1030의 세부적인 내용은 도 5에서 대응되는 동작이 모두 적용될 수 있다.

동작 1040에서, 전자 장치 100는 실행되는 컨텐츠의 장면의 변화가 있다고 판단한 경우에 입력 빈도 기반으로 상황을 판단하기 위해 입력 빈도를 검출할 수 있다.

전자 장치 100는 실행되는 컨텐츠의 판단 구간 내에서 컨텐츠의 실행을 제어하는 사용자 입력의 빈도를 검출할 수 있다. 일 실시예에 따라 사용자 입력의 빈도는 컨텐츠의 판단 구간 내에서 수신되는 사용자 입력의 횟수와 사용자 입력 사이의 간격을 포함할 수 있다.

동작 1050에서, 전자 장치 100는 입력 빈도에 기반하여 프레임 처리 모드를 선택할 수 있다. 구체적으로, 전자 장치 100는 컨텐츠의 판단 구간 내에서 검출되는 입력 빈도가 입력 래그 우선 모드에 대응하는 임계치 기준을 만족하는지, 화질 우선 모드에 대응하는 임계치 기준을 만족하는지 판단할 수 있다. 예를 들어, 전자 장치 100는 판단 구간 내에서 발생하는 입력의 횟수가 입력 래그 우선 모드의 휫수 임계치 (Li) 보다 크고, 입력 간격의 평균이 입력 래그 우선 모드의 간격 임계치 (Ld) 보다 작은 경우에 입력래그 우선 모드를 프레임 처리 모드로 선택할 수 있다. 예를 들어, 전자 장치 100는 판단 구간 내에서 발생하는 입력의 횟수가 화질 우선 모드의 휫수 임계치 (Qi) 보다 작고, 입력 간격의 평균이 화질 우선 모드의 간격 임계치 (Qd) 보다 큰 경우에 프레임 처리 모드를 화질 우선 모드로 선택할 수 있다. 동작 1050의 세부적인 내용은 도 8에서 대응되는 동작이 모두 적용될 수 있다.

동작 1050에서 하나의 프레임 처리 모드를 선택한 경우에 동작 1060으로 진행할 수 있다.

동작 1060에서, 전자 장치 100는 선택된 프레임 처리 모드에 따라 컨텐츠의 프레임들을 처리할 수 있다. 프레임 처리 모드로서 입력 래그 우선 모드가 선택된 경우에 전자 장치 100는 입력 래그 우선 모드에 따라 프레임의 처리 속도를 빠르게 하기 위해 화질 개선 동작의 세부 프로세스 중 일부 프로세스를 생략하면서 프레임들을 처리할 수 있다. 프레임 처리 모드로서 화질 우선 모드가 선택된 경우에 전자 장치 100는 화질 우선 모드에 따라 프레임의 화질을 고화질로 처리하기 위해 화질 개선 동작의 세부 프로세스 전부를 수행하면서 프레임들을 처리할 수 있다.

동작 1050에서 하나의 프레임 처리 모드를 선택하지 못한 경우에 동작 1040으로 진행할 수 있다. 즉 전자 장치 100는 장면 변화는 있지만 입력 빈도에 기반하여 유효하게 프레임 처리모드를 선택하지 못한 경우에 장면 변화 모니터링은 스킵하고 다시 입력 빈도 기반하여 상황을 판단하는 동작으로 진행할 수 있다.

이상 설명된 실시예들에서는 전자 장치 100에서 실행하는 컨텐츠의 장면 변화나 사용자 입력 빈도를 기반으로 프레임 처리 모드를 선택하고 이에 따라 프레임들을 처리하였다. 컨텐츠가 서버 컴퓨터로부터 전자 장치로 스트리밍되는 예에서 이러한 프레임 처리 모드는 서버 컴퓨터에서 선택되고 프레임 처리 모드에 대한 정보를 전자 장치로 제공할 수도 있을 것이다.

도 11은 일 실시예에 따라 컨텐츠를 전자 장치로 제공하는 서버 컴퓨터의 개략적인 블록도이다.

도 11을 참조하면, 서버 컴퓨터 200는 통신부 210, 메모리 220, 제어부 230을 포함할 수 있다.

통신부 210는 제어부 230의 제어에 따라 통신 프로토콜에 따라 컨텐츠를 전자 장치 100로 전송할 수 있다.

메모리 220는 서버 컴퓨터 200의 동작에 관련된 프로그램, 서버 컴퓨터 200의 동작 중에 발생하는 각종 데이터를 저장할 수 있다.

제어부 230는 서버 컴퓨터 200의 전반적인 동작을 제어하며, 전자 장치 100로 전달될 컨텐츠의 프레임들을 처리할 수 있다.

일 실시예에 따른 제어부 230는 하나 이상의 인스트럭션을 실행함으로써 전자 장치 100로 컨텐츠를 전송하는 동안, 컨텐츠의 장면 변화를 분석하여 장면 변화에 따라 선택되는 프레임 처리 모드에 대한 정보를 함께 전자 장치로 전송할 수 있다. 예를 들어 제어부 230는 처음에 컨텐츠의 카테고리나 장르에 대응하여 화질 우선 모드와 입력 래그 우선 모드 중 하나의 프레임 처리 모드를 선택하고 선택된 프레임 처리 모드에 대한 정보를 컨텐츠와 함께 전송할 수 있다. 그리고 제어부 230는 컨텐츠를 모니터링하다가 장면의 변화를 검출하고, 유의미한 장면 변화가 발생한 경우에 현재의 프레임 처리 모드를 변경하여 변경된 프레임 처리 모드에 대한 정보를 전자 장치 100로 전송할 수 있다.

일 실시예에 따른 제어부 230는 하나 이상의 인스트럭션을 실행함으로써 전자 장치 100로 컨텐츠를 전송하는 동안, 전자 장치 100로부터 프레임 처리 모드에 대한 정보를 수신하고 수신된 프레임 처리 모드에 따라 컨텐츠의 프레임들의 처리를 하여 전자 장치 100로 제공할 수 있다.

도 12는 일 실시예에 따라 서버 컴퓨터가 전자 장치로 프레임 처리 모드에 대한 정보를 제공하는 방법의 동작을 나타내는 흐름도이다.

도 12를 참조하면, 동작 1210에서, 전자 장치 100는 사용자로부터 컨텐츠 실행 요청을 수신하고 컨텐츠 실행 요청을 서버 컴퓨터 200로 전송할 수 있다.

동작 1220에서, 서버 컴퓨터 200는 실행 요청된 컨텐츠를 실행할 수 있다.

동작 1230에서, 서버 컴퓨터 200는 컨텐츠 실행 동안 실행되는 컨텐츠의 장면 변화를 기반으로 화질 우선 모드와 입력 래그 우선 모드 중 하나의 프레임 처리 모드를 선택할 수 있다.

동작 1240에서, 서버 컴퓨터 1240는 실행된 컨텐츠의 프레임들과 함께 프레임 처리 모드에 대한 정보를 전자 장치 100로 전송할 수 있다.

동작 1250에서, 전자 장치 100는 실행 요청된 컨텐츠의 프레임 및 프레임 처리 모드에 대한 정보를 서버 컴퓨터 200로부터 수신할 수 있다.

동작 1260에서, 전자 장치 100는 수신된 컨텐츠의 프레임들을 처리할 때 서버 컴퓨터 200로부터 수신한 프레임 처리 모드에 따라 프레임들을 처리하여 표시할 수 있다. 즉, 프레임 처리 모드가 화질 우선 모드를 나타내는 경우 전자 장치 100는 화질 개선 동작에 포함된 세부 프로세스들을 모두 수행하여 프레임들을 처리함으로써 프레임들을 고화질로 출력할 수 있다. 프레임 처리 모드가 입력 래그 우선 모드를 나타내는 경우 전자 장치 100는 화질 개선 동작에 포함된 세부 프로세스들중 하나 이상의 세부 프로세스들을 생략하고 수행함으로써 입력 래그를 저감시킬 수 있다.

도 12에 도시된 동작에서 서버 컴퓨터 200는 실행 요청된 컨텐츠를 실행하면서 장면의 변화를 실시간으로 모니터링하면서 프레임 처리 모드를 선택할 수 있기 때문에 선택된 프레임 처리 모드에 대한 정보를 실시간으로 전자 장치 100에 제공할 수 있다. 이와 같은 구성에 의해 전자 장치 100는 실행요청된 컨텐츠의 카테고리나 장르에 따라 결정된 하나의 프레임 처리 모드에 따라 프레임들을 처리하는 것이 아니라, 장면의 상황에 맞게 화질 우선 모드와 입력 래그 우선 모드를 플렉서블하게 적용하여 프레임들을 처리함으로써 사용자들에게 입력 래그도 감소시키고 고화질의 컨텐츠를 제공할 수 있다.

도 12에 도시된 예에서는 프레임 처리 모드에 대한 정보를 서버 컴퓨터 100로부터 수신하는 것으로 설명하였다. 만약 전자 장치 100가 HDMI 연결된 게임 콘솔로부터 컨텐츠를 수신하는 경우에 전자 장치 100는 TMDS의 일부 필드를 이용하여 프레임 처리 모드에 대한 정보를 수신할 수도 있을 것이다.

도 13은 일 실시예에 따라 전자 장치가 서버 컴퓨터로 프레임 처리 모드에 대한 정보를 제공하고 서버 컴퓨터가 프레임 처리 모드에 대한 정보에 따라 컨텐츠 프레임들을 처리하여 전자 장치 100로 전송하는 방법의 동작을 나타내는 흐름도이다.

도 13을 참조하면, 동작 1310에서, 전자 장치 100는 사용자로부터 컨텐츠 실행 요청을 수신하고 컨텐츠 실행 요청을 서버 컴퓨터 200로 전송할 수 있다.

동작 1320에서, 서버 컴퓨터 200는 실행 요청된 컨텐츠에 대해서 화질 우선 모드와 입력 래그 우선 모드 중 하나의 프레임 처리 모드를 선택할 수 있다. 예를 들어 서버 컴퓨터 200는 실행 요청된 컨텐츠의 카테고리나 장르에 기반하여 화질 우선 모드와 입력 래그 우선 모드 중 하나의 프레임 처리 모드를 선택할 수 있다.

동작 1330에서, 서버 컴퓨터 200는 선택된 프레임 처리 모드에 따라 컨텐츠의 프레임들을 처리할 수 있다.

일 실시예에 따라 서버 컴퓨터 200는 컨텐츠의 화질 처리를 각 장면의 특성에 맞게 적응적으로 수행하기 위해 컨텐츠를 구성하는 각 프레임마다 화질 처리를 수행하는 기술을 적용할 수 있다. 컨텐츠 프레임 마다 화질 처리를 수행할 수 있는 기술로 예를 들어 HDR10+을 들 수 있다.

HDR(High Dynamic Range)은 가장 밝은 곳부터 가장 어두운 곳까지 사람이 눈으로 보는 것과 최대한 가깝게 밝기의 범위를 확장하는 기술이다. HDR10과 HDR10+의 차이는 영상이나 게임, TV앱과 같은 콘텐츠에 담긴 컬러와 밝기 정보 등의 데이터를 포함하는 메타데이터에 있다. HDR10에는 장면이 바뀌어도 동일한 컬러와 밝기를 적용하는 정적 메타데이터가 사용되므로, 아주 어둡거나 밝은 장면에서 영상의 품질이 떨어질 수밖에 없다. 반면 HDR10+에는 장면 별로 메타데이터를 자동 설정하는 동적 메타데이터가 적용되어 모든 장면을 최적화된 화질로 제공할 수 있다. 즉, HDR10+은 장면 별 최적화된 픽셀 통계 데이터를 기본 정보로 제공하고, 옵션 데이터로 장면 별 최적화 된 레퍼런스 톤 매핑 커브를 제공한다. 이러한 정보는 다양한 특성의 디스플레이 장치에서 원본 영상의 느낌을 일관되게 표시할 수 있도록 도와줄 수 있다.

서버 컴퓨터 200는 선택된 프레임 처리 모드에 따라 컨텐츠의 프레임들 각각에 화질 정보를 메타데이터로서 삽입하거나 삽입하지 않는 프레임 처리를 수행할 수 있다. 프레임 처리 모드가 화질 우선 모드 인 경우에는 화질을 우선적으로 고려하는 것이므로 서버 컴퓨터 200는 컨텐츠의 매 프레임마다 화질 정보를 담은 메타데이터를 삽입하는 프레임 처리를 수행할 수 있다. 반면, 프레임 처리 모드가 입력 래그 우선 모드인 경우에 프레임 처리 시간을 우선적으로 고려하는 것이므로 서버 컴퓨터 200는 컨텐츠의 프레임에 메타데이터를 삽입하는 처리를 생략하고 프레임 처리를 수행할 수 있다.

동작 1340에서, 서버 컴퓨터 200는 처리된 컨텐츠의 프레임들을 전자 장치 100로 전송할 수 있다.

동작 1350에서, 전자 장치 100는 서버 컴퓨터 200로부터 수신된 컨텐츠의 프레임들을 표시하는 동안, 실행되는 컨텐츠의 판단 구간 내에서 사용자 입력에 대응하는 입력 빈도를 검출하고, 사용자 입력에 대응하는 입력 빈도에 기반하여 프레임 처리 모드를 선택할 수 있다. 컨텐츠의 판단 구간 내에서 사용자 입력에 대응하는 입력 빈도를 검출하고 이에 따라 프레임 처리 모드를 선택하는 구성은 도 8을 참조하여 설명한 바와 동일하므로 더 이상의 설명은 생략한다.

동작 1360에서, 전자 장치 100는 선택된 프레임 처리 모드에 대한 정보를 서버 컴퓨터 200로 전송할 수 있다.

동작 1370에서, 서버 컴퓨터 200는 선택된 프레임 처리 모드에 따라 컨텐츠의 프레임들을 처리할 수 있다. 예를 들어, 동작 1320에서 컨텐츠의 카테고리나 장르에 따라 선택된 프레임 처리 모드가 화질 우선 모드이어서 각 프레임마다 화질 정보 메타데이터를 삽입하는 프레임 처리를 하고 있는 중에 전자 장치 100로부터 선택된 프레임 처리 모드로서 입력 래그 우선 모드를 수신한 경우에, 서버 컴퓨터 200는 해당 시점부터 컨텐츠의 각 프레임에 화질 정보 메타데이터를 삽입하는 과정을 생략하고 프레임 처리를 할 수 있다. 또는 예를 들어, 동작 1320에서 컨텐츠의 카테고리나 장르에 따라 선택된 프레임 처리 모드가 입력 래그 우선 모드이어서 각 프레임마다 화질 정보 메타데이터를 삽입하는 프레임 처리를 생략 하고 있는 중에 전자 장치 100로부터 선택된 프레임 처리 모드로서 화질 우선 모드를 수신한 경우에, 서버 컴퓨터 200는 해당 시점부터 컨텐츠의 각 프레임에 화질 정보 메타데이터를 삽입하는 프레임 처리를 할 수 있다.

동작 1380에서, 서버 컴퓨터 200는 처리된 컨텐츠의 프레임들을 전자 장치 100로 전송하고, 동작 1390에서 전자 장치 100는 컨텐츠 프레임들을 표시할 수 있다. 전자 장치 100는 서버 컴퓨터 200로부터 화질 우선 모드에 따라 처리된 프레임들을 수신한 경우에 각 프레임에 삽입된 화질 정보 메타데이터에 따라 프레임을 화질 처리하여 표시할 수 있다. 전자 장치 100는 서버 컴퓨터 200로부터 입력 래그 우선 모드에 따라 처리된 프레임들을 수신한 경우에 별도의 화질 정보 메타데이터 참조 없이 프레임들을 처리하여 표시할 수 있다.

이상 설명된 실시예들에서는 실행되는 컨텐츠에서 장면의 변화나 일정 판단 구간 내에서 수신되는 사용자 입력의 빈도에 기반하여 프레임 처리 모드를 적응적으로 결정하여 컨텐츠 프레임에 대한 화질 처리를 하는 것을 설명하였다.

다른 실시예들에 따라, 전자 장치 100는 실행되는 컨텐츠의 장면에서 오브젝트를 검출하고, 검출된 오브젝트에 기반하여 프레임 처리 모드를 적응적으로 결정하여 컨텐츠 프레임에 대한 화질 처리를 수행할 수 있다. 오브젝트 검출(object Detection)란 컴퓨터 비전의 한 분야 중 하나로 전체 디지털 이미지 및 비디오 내에서 유의미한 특정 객체를 감지하는 것을 말한다. 오브젝트 검출은 크게 뉴럴 네트워크(neural network)를 기반으로 하는 뉴럴 어프로치 방법(neural approach methods) 과 뉴럴 네트워크를 기반으로 하지 않는 비 뉴럴 어프로치 방법(non-neural approach methods) 이 있다. 이 중 비 뉴럴 어프로치 방법은 분류(classification)를 위한 특징들을 구한 다음, 특징들을 사용한 분류(classification) 기술(e.g. SVM)을 사용하여 검출을 진행하는 것을 나타낸다. 뉴럴 어프로치 방법은 대표적으로 CNN 계열 모델(CNN, R-CNN, Faster R-CNN, DenseNet), YOLO, Retina-Net, FCOS 등이 있다.

일 실시예에 따라 전자 장치 100는 실행되는 컨텐츠의 장면에서 새로운 오브젝트를 검출하는 지 여부에 따라 프레임 처리 모드를 적응적으로 결정할 수 있다. 구체적으로, 전자 장치 100는 실행되는 컨텐츠의 장면에서 새로운 오브젝트가 검출되면 프레임 처리 모드를 입력 래그 저감 모드로 변환하여 컨텐츠 프레임에 대한 화질 처리를 수행할 수 있다. 컨텐츠의 장면에서 새로운 오브젝트가 검출된 경우에는 새로운 오브젝트에 대응하여 사용자 입력이 더 증가할 것으로 예상되므로 더 증가되는 사용자 입력을 지연없이 처리하기 위해 프레임 처리 모드를 입력 래그 저감 모드로 결정할 수 있다.

일 실시예에 따라 전자 장치 100는 실행되는 컨텐츠의 장면에서 오브젝트를 검출하고 검출된 오브젝트의 이동 속도나 이동 속도의 변화량에 따라 프레임 처리 모드를 적응적으로 결정할 수 있다. 구체적으로, 전자 장치 100는 실행되는 컨텐츠의 장면에서 오브젝트가 검출되면, 검출된 오브젝트의 이동 속도를 모니터링하고, 모니터링 결과 오브젝트의 이동 속도가 높은 경우 또는 이동 속도의 변화량이 큰 경우, 프레임 처리 모드를 입력 래그 우선 모드로 변환하여 컨텐츠 프레임에 대한 화질 처리를 수행할 수 있다. 오브젝트의 이동 속도나 이동 속도의 변화량이 큰 경우에는 오브젝트의 움직임에 대응하여 사용자 입력이 더 증가할 것으로 예상되므로 더 증가되는 사용자 입력을 지연없이 처리하기 위해 프레임 처리 모드를 입력 래그 우선 모드로 결정할 수 있다. 모니터링 결과 오브젝트의 이동 속도가 낮은 경우 또는 이동 속도의 변화량이 작은 경우, 프레임 처리 모드를 화질 우선 모드로 변환하여 컨텐츠 프레임에 대한 화질 처리를 수행할 수 있다. 오브젝트의 이동 속도나 이동 속도의 변화량이 작은 경우에는 오브젝트의 움직임에 대응하여 사용자 입력이 많지 않을 것으로 예상되므로 화질을 보다 더 고려하여 프레임들을 처리하기 위해 프레임 처리 모드를 화질 우선 모드로 결정할 수 있다.

일 실시예에 따라 전자 장치 100는 실행되는 컨텐츠의 장면에서 화면 변화량 (이미지에서 추출한 벡터 값의 변화량)을 검출하고, 검출된 화면 변화량에 따라 프레임 처리 모드를 적응적으로 결정할 수 있다. 전자 장치 100는 이전 화면에서 추출한 벡터 값과 현재 화면에서 추출한 벡터 값을 기반으로 변화량을 검출할 수 있고, 이러한 변화량이 큰 경우에는 사용자 입력이 많을 것으로 예상하여 프레임 처리 모드를 입력 래그 우선 모드로 결정하고 이러한 변화량이 작은 경우에는 사용자 입력이 많지 않은 상황으로 예상하여 프레임 처리 모드를 화질 우선 모드로 결정할 수 있다.

일부 실시예는 컴퓨터에 의해 실행되는 프로그램 모듈과 같은 컴퓨터에 의해 실행가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체를 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다.

개시된 실시예들은 컴퓨터로 읽을 수 있는 저장 매체(computer-readable storage media)에 저장된 명령어를 포함하는 S/W 프로그램으로 구현될 수 있다.

컴퓨터는, 저장 매체로부터 저장된 명령어를 호출하고, 호출된 명령어에 따라 개시된 실시예에 따른 동작이 가능한 장치로서, 개시된 실시예들에 따른 전자 장치를 포함할 수 있다.

컴퓨터로 읽을 수 있는 저장매체는, 비일시적(non-transitory) 저장매체의 형태로 제공될 수 있다. 여기서,'비일시적'은 저장 매체가 신호(signal)를 포함하지 않으며 실재(tangible)한다는 것을 의미할 뿐 데이터가 저장매체에 반영구적 또는 임시적으로 저장됨을 구분하지 않는다.

또한, 개시된 실시예들에 따른 제어 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다.

컴퓨터 프로그램 제품은 S/W 프로그램, S/W 프로그램이 저장된 컴퓨터로 읽을 수 있는 저장 매체를 포함할 수 있다. 예를 들어, 컴퓨터 프로그램 제품은 디바이스의 제조사 또는 전자 마켓(예, 구글 플레이 스토어, 앱 스토어)을 통해 전자적으로 배포되는 S/W 프로그램 형태의 상품(예, 다운로더블 앱)을 포함할 수 있다. 전자적 배포를 위하여, S/W 프로그램의 적어도 일부는 저장 매체에 저장되거나, 임시적으로 생성될 수 있다. 이 경우, 저장 매체는 제조사의 서버, 전자 마켓의 서버, 또는 SW 프로그램을 임시적으로 저장하는 중계 서버의 저장매체가 될 수 있다.

컴퓨터 프로그램 제품은, 서버 및 디바이스로 구성되는 시스템에서, 서버의 저장매체 또는 디바이스의 저장매체를 포함할 수 있다. 또는, 서버 또는 디바이스와 통신 연결되는 제 3 장치(예, 스마트폰)가 존재하는 경우, 컴퓨터 프로그램 제품은 제 3 장치의 저장매체를 포함할 수 있다. 또는, 컴퓨터 프로그램 제품은 서버로부터 디바이스 또는 제 3 장치로 전송되거나, 제 3 장치로부터 디바이스로 전송되는 S/W 프로그램 자체를 포함할 수 있다.

이 경우, 서버, 디바이스 및 제 3 장치 중 하나가 컴퓨터 프로그램 제품을 실행하여 개시된 실시예들에 따른 방법을 수행할 수 있다. 또는, 서버, 디바이스 및 제 3 장치 중 둘 이상이 컴퓨터 프로그램 제품을 실행하여 개시된 실시예들에 따른 방법을 분산하여 실시할 수 있다.

예를 들면, 서버(예로, 클라우드 서버 또는 인공 지능 서버 등)가 서버에 저장된 컴퓨터 프로그램 제품을 실행하여, 서버와 통신 연결된 디바이스가 개시된 실시예들에 따른 방법을 수행하도록 제어할 수 있다.

또 다른 예로, 제 3 장치가 컴퓨터 프로그램 제품을 실행하여, 제 3 장치와 통신 연결된 디바이스가 개시된 실시예에 따른 방법을 수행하도록 제어할 수 있다. 제 3 장치가 컴퓨터 프로그램 제품을 실행하는 경우, 제 3 장치는 서버로부터 컴퓨터 프로그램 제품을 다운로드하고, 다운로드 된 컴퓨터 프로그램 제품을 실행할 수 있다. 또는, 제 3 장치는 프리로드 된 상태로 제공된 컴퓨터 프로그램 제품을 실행하여 개시된 실시예들에 따른 방법을 수행할 수도 있다.

또한, 본 명세서에서, "부"는 프로세서 또는 회로와 같은 하드웨어 구성(hardware component), 및/또는 프로세서와 같은 하드웨어 구성에 의해 실행되는 소프트웨어 구성(software component)일 수 있다.

전술한 본 개시의 설명은 예시를 위한 것이며, 본 개시가 속하는 기술분야의 통상의 지식을 가진 자는 본 개시의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.

본 개시의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 개시의 범위에 포함되는 것으로 해석되어야 한다.

Claims (20)

1. 전자 장치에 있어서,
   통신 인터페이스,
   하나 이상의 인스트럭션을 저장하는 메모리, 및
   상기 메모리에 저장된 상기 하나 이상의 인스트럭션을 실행하는 프로세서를 포함하고,
   상기 프로세서는 상기 하나 이상의 인스트럭션을 실행함으로써,
   컨텐츠를 실행하는 동안 상기 컨텐츠의 실행 상황을 판단하고,
   상기 실행 상황 판단에 따라 상기 컨텐츠의 입력 래그 시간보다 화질을 우선적으로 고려하여 처리하는 화질 우선 모드와 상기 컨텐츠의 화질보다 상기 입력 래그 시간을 우선적으로 고려하여 처리하는 입력 래그 우선 모드 중 하나의 프레임 처리 모드를 선택하고,
   상기 선택된 프레임 처리 모드에 따라 상기 컨텐츠의 프레임들에 대해서 화질 처리를 수행하는, 전자 장치.
2. 제1항에 있어서,
   상기 프로세서는 상기 하나 이상의 인스트럭션을 실행함으로써,
   상기 실행되는 컨텐츠의 최근 하나 이상의 프레임 이미지의 특성과 이전의 하나 이상의 프레임의 이미지의 특성을 비교함으로써 상기 실행 상황의 변화 여부를 판단하는, 전자 장치.
3. 제2항에 있어서,
   상기 프로세서는 상기 하나 이상의 인스트럭션을 실행함으로써,
   상기 최근 하나 이상의 프레임 이미지에 대해서 획득한 특성값과 상기 이전의 하나 이상의 프레임 이미지에 대해서 획득한 특성값의 차이가 임계치를 넘는 지를 판단하고,
   상기 차이가 상기 임계치를 넘는 경우 상기 실행 상황의 변화가 있는 것으로 판단하여 현재의 프레임 처리 모드를 변경하고,
   상기 차이가 상기 임계치를 넘지 않는 경우 상기 실행 상황의 변화가 없는 것으로 판단하여 현재의 프레임 처리 모드를 유지하는, 전자 장치.
4. 제3항에 있어서,
   상기 최근 하나 이상의 프레임 이미지에 대해서 획득한 특성값은 상기 최근 하나 이상의 프레임 이미지 정보의 평균으로부터 획득한 특성값을 포함하고,
   상기 이전의 하나 이상의 프레임 이미지에 대해서 획득한 특성값은 상기 이전의 하나 이상의 프레임 이미지 정보의 평균으로부터 획득한 특성값을 포함하는, 전자 장치.
5. 제3항에 있어서,
   상기 특성값은, SSIM, PSNR, 컬러 히스토그램 중 적어도 하나를 포함하는, 전자 장치.
6. 제3항에 있어서,
   상기 특성값의 획득에 이용되는 프레임 이미지의 개수, 상기 컨텐츠의 실행 상황의 변화 여부를 판단하는 주기, 상기 임계치는 상기 실행되는 컨텐츠의 타이틀이나 장르에 따라 다르게 설정될 수 있는, 전자 장치.
7. 제1항에 있어서,
   상기 프로세서는 상기 하나 이상의 인스트럭션을 실행함으로써,
   상기 실행되는 컨텐츠의 판단 구간 내에서 수신되는 입력의 빈도에 기반하여 상기 프레임 처리 모드를 선택하는, 전자 장치.
8. 제7항에 있어서,
   상기 입력의 빈도는 상기 판단 구간 내에서 수신되는 입력의 횟수와 상기 판단 구간 내에서 수신되는 입력들의 간격을 포함하는, 전자 장치.
9. 제8항에 있어서,
   상기 프로세서는 상기 하나 이상의 인스트럭션을 실행함으로써,
   상기 판단 구간 내에서 수신되는 상기 입력의 횟수가 상기 입력 래그 우선 모드의 횟수 임계치 보다 크고, 상기 입력의 간격이 상기 입력 래그 우선 모드의 간격 임계치보다 작은 경우 상기 입력 래그 우선 모드를 선택하고,
   상기 판단 구간 내에서 수신되는 상기 입력의 횟수가 상기 화질 우선 모드의 횟수 임계치보다 작고, 상기 입력의 간격이 상기 화질 우선 모드의 간격 임계치보다 작은 경우 상기 화질 우선 모드를 선택하는, 전자 장치.
10. 제9항에 있어서,
    상기 입력 래그 우선 모드의 횟수 임계치, 상기 입력 래그 우선 모드의 간격 임계치, 상기 화질 우선 모드의 횟수 임계치, 및 상기 화질 우선 모드의 간격 임계치는 상기 실행되는 컨텐츠의 타이틀이나 장르에 따라 다르게 설정될 수 있는, 전자 장치.
11. 제1항에 있어서,
    상기 프로세서는 상기 하나 이상의 인스트럭션을 실행함으로써,
    상기 선택된 프레임 처리 모드가 상기 화질 우선 모드임에 따라 상기 컨텐츠의 프레임들에 대해서 미리 정해진 개수의 화질 개선 동작들을 수행하고,
    상기 선택된 프레임 처리 모드가 상기 입력 래그 우선 모드임에 따라 상기 컨텐츠의 프레임들에 상기 미리 정해진 개수의 화질 개선 동작들 중 하나 이상의 화질 개선 동작을 제거하고 나머지 화질 개선 동작을 수행하는, 전자 장치.
12. 제1항에 있어서,
    상기 프로세서는 상기 하나 이상의 인스트럭션을 실행함으로써,
    상기 실행되는 컨텐츠가 서버로부터 스트리밍되는 컨텐츠 임에 따라, 상기 선택된 프레임 처리 모드에 대한 정보를 상기 서버로 제공하고,
    상기 서버로부터 상기 선택된 프레임 처리 모드에 기반하여 화질 처리된 컨텐츠 프레임들을 수신하는, 전자 장치.
13. 제1항에 있어서,
    상기 프로세서는 상기 하나 이상의 인스트럭션을 실행함으로써,
    상기 실행되는 컨텐츠의 프레임 이미지들의 특성에 기반하여 장면 변화가 있는지 여부를 판단하고,
    상기 장면 변화가 있다고 판단됨에 따라 상기 실행되는 컨텐츠의 판단 구간 내에서 수신되는 입력의 빈도를 검출하고,
    상기 판단 구간 내에서 수신되는 입력의 빈도에 기반하여 상기 화질 우선 모드와 상기 입력 래그 우선 모드 중 하나의 프레임 처리 모드를 선택하는, 전자 장치.
14. 전자 장치의 동작 방법에 있어서,
    컨텐츠를 실행하는 동안 상기 컨텐츠의 실행 상황을 판단하는 동작,
    상기 실행 상황 판단에 따라 상기 컨텐츠의 입력 래그 시간보다 화질을 우선적으로 고려하여 처리하는 화질 우선 모드와 상기 컨텐츠의 화질보다 상기 입력 래그 시간을 우선적으로 고려하여 처리하는 입력 래그 우선 모드 중 하나의 프레임 처리 모드를 선택하는 동작, 및
    상기 선택된 프레임 처리 모드에 따라 상기 컨텐츠의 프레임들에 대해서 화질 처리를 수행하는 동작을 포함하는, 전자 장치의 동작 방법.
15. 제14항에 있어서,
    상기 실행되는 컨텐츠의 최근 하나 이상의 프레임 이미지의 특성과 이전의 하나 이상의 프레임의 이미지의 특성을 비교함으로써 상기 실행 상황의 변화 여부를 판단하는 동작을 더 포함하는, 전자 장치의 동작 방법.
16. 제15항에 있어서,
    상기 최근 하나 이상의 프레임 이미지에 대해서 획득한 특성값과 상기 이전의 하나 이상의 프레임 이미지에 대해서 획득한 특성값의 차이가 임계치를 넘는 지를 판단하는 동작,
    상기 차이가 상기 임계치를 넘는 경우 상기 실행 상황의 변화가 있는 것으로 판단하여 현재의 프레임 처리 모드를 변경하는 동작, 및
    상기 차이가 상기 임계치를 넘지 않는 경우 상기 실행 상황의 변화가 없는 것으로 판단하여 현재의 프레임 처리 모드를 유지하는 동작을 더 포함하는, 전자 장치의 동작 방법.
17. 제14항에 있어서,
    상기 실행되는 컨텐츠의 판단 구간 내에서 수신되는 입력의 빈도에 기반하여 상기 프레임 처리 모드를 선택하는 동작을 더 포함하는, 전자 장치의 동작 방법.
18. 제17항에 있어서,
    상기 판단 구간 내에서 수신되는 상기 입력의 횟수가 상기 입력 래그 우선 모드의 횟수 임계치 보다 크고, 상기 입력의 간격이 상기 입력 래그 우선 모드의 간격 임계치보다 작은 경우 상기 입력 래그 우선 모드를 선택하는 동작, 및
    상기 판단 구간 내에서 수신되는 상기 입력의 횟수가 상기 화질 우선 모드의 횟수 임계치보다 작고, 상기 입력의 간격이 상기 화질 우선 모드의 간격 임계치보다 작은 경우 상기 화질 우선 모드를 선택하는 동작을 더 포함하는, 전자 장치의 동작 방법.
19. 제14항에 있어서,
    상기 실행되는 컨텐츠의 프레임 이미지들의 특성에 기반하여 장면 변화가 있는지 여부를 판단하는 동작,
    상기 장면 변화가 있다고 판단됨에 따라 상기 실행되는 컨텐츠의 판단 구간 내에서 수신되는 입력의 빈도를 검출하는 동작, 및
    상기 판단 구간 내에서 수신되는 입력의 빈도에 기반하여 상기 화질 우선 모드와 상기 입력 래그 우선 모드 중 하나의 프레임 처리 모드를 선택하는 동작을 더 포함하는, 전자 장치의 동작 방법.
20. 전자 장치의 동작 방법을 컴퓨터에 구현하기 위한 하나 이상의 인스트럭션을 포함하는 프로그램을 기록한 컴퓨터 판독가능한 기록 매체에 있어서, 상기 전자 장치의 동작 방법은,
    컨텐츠를 실행하는 동안 상기 컨텐츠의 실행 상황을 판단하는 동작,
    상기 실행 상황 판단에 따라 상기 컨텐츠의 입력 래그 시간보다 화질을 우선적으로 고려하여 처리하는 화질 우선 모드와 상기 컨텐츠의 화질보다 상기 입력 래그 시간을 우선적으로 고려하여 처리하는 입력 래그 우선 모드 중 하나의 프레임 처리 모드를 선택하는 동작, 및
    상기 선택된 프레임 처리 모드에 따라 상기 컨텐츠의 프레임들에 대해서 화질 처리를 수행하는 동작을 포함하는, 컴퓨터 판독가능한 기록 매체.
    
    
    

Images