KR20220036061A - 전자 장치, 그 제어 방법 및 전자 시스템 - Google Patents

전자 장치, 그 제어 방법 및 전자 시스템 Download PDF

Info

Publication number
KR20220036061A
KR20220036061A KR1020200118199A KR20200118199A KR20220036061A KR 20220036061 A KR20220036061 A KR 20220036061A KR 1020200118199 A KR1020200118199 A KR 1020200118199A KR 20200118199 A KR20200118199 A KR 20200118199A KR 20220036061 A KR20220036061 A KR 20220036061A
Authority
KR
South Korea
Prior art keywords
image
artificial intelligence
intelligence model
electronic device
network
Prior art date
Application number
KR1020200118199A
Other languages
English (en)
Inventor
최규하
김봉조
김대은
박태준
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020200118199A priority Critical patent/KR20220036061A/ko
Priority to EP21869543.5A priority patent/EP4113382A4/en
Priority to CN202180035557.7A priority patent/CN115668273A/zh
Priority to PCT/KR2021/010561 priority patent/WO2022059920A1/ko
Priority to US17/464,119 priority patent/US11455706B2/en
Publication of KR20220036061A publication Critical patent/KR20220036061A/ko
Priority to US17/902,775 priority patent/US20220414828A1/en

Links

Images

Classifications

    • G06N3/0454—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

전자 장치가 개시된다. 본 전자 장치는 제1 인공 지능 모델의 다운 스케일링 네트워크가 저장된 메모리, 통신 인터페이스 및 메모리 및 통신 인터페이스와 연결되어 전자 장치를 제어하는 프로세서를 포함하고, 프로세서는 입력 이미지를 다운 스케일링 네트워크에 입력하여 입력 이미지가 다운 스케일링된 출력 이미지를 획득하고, 출력 이미지를 타 전자 장치로 전송하도록 통신 인터페이스를 제어하며, 제1 인공 지능 모델은 샘플 이미지, 샘플 이미지가 다운 스케일링 네트워크에 입력되어 획득된 제1 중간 이미지, 제1 중간 이미지가 제1 인공 지능 모델의 업 스케일링 네트워크에 입력되어 획득된 제1 최종 이미지, 샘플 이미지가 레거시 스케일러에 의해 다운 스케일링된 제2 중간 이미지 및 제1 중간 이미지가 레거시 스케일러에 의해 업 스케일링된 제2 최종 이미지에 기초하여 학습될 수 있다.

Description

전자 장치, 그 제어 방법 및 전자 시스템 { ELECTRONIC APPARATUS, CONTROL METHOD THEREOF AND ELECTRONIC SYSTEM }
본 개시는 전자 장치, 그 제어 방법 및 전자 시스템에 대한 것으로, 더욱 상세하게는 이미지를 전송하는 전자 장치, 그 제어 방법 및 전자 시스템에 대한 것이다.
최근 영상 처리 기술 및 디스플레이 장치가 개발됨에 따라 3840×2160 해상도의 UHD(Ultra-HD) 이미지를 넘어 7680×4320 해상도의 8K 이미지 및 이를 재생할 수 있는 디스플레이 장치가 보급되고 있다.
다만, 고해상도의 이미지를 전송하는 경우, 대역폭, 시간 지연 등의 문제가 발생할 수 있다. 이를 해결하기 위해 도 1a에 도시된 바와 같이, 이미지를 전송하는 장치는 고해상도의 이미지를 인공 지능 모델을 통해 다운 스케일링하고 다운 스케일링된 이미지를 전송하며, 이미지를 수신하는 장치는 수신된 이미지를 인공 지능 모델을 통해 업 스케일링하였다. 이 과정에서 인코딩 및 디코딩 동작이 추가되면 좀더 효율적으로 고해상도의 이미지가 전송될 수 있다.
여기서, 다운 스케일링을 수행하는 인공 지능 모델 및 업 스케일링을 수행하는 인공 지능 모델은 도 1b에 도시된 바와 같이 하나의 인공 지능 모델로서 학습될 수 있다. 구체적으로, 좌측의 원본 이미지는 다운 스케일링을 수행하는 인공 지능 모델에 의해 다운 스케일링되어 제1 중간 이미지가 획득되고, 제1 중간 이미지는 업 스케일링을 수행하는 인공 지능 모델에 의해 업 스케일링되어 우측의 최종 이미지가 획득될 수 있다. 또한, 원본 이미지는 레거시 스케일러(legacy scaler)에 의해 다운 스케일링되어 제2 중간 이미지가 획득될 수 있다. 다운 스케일링을 수행하는 인공 지능 모델 및 업 스케일링을 수행하는 인공 지능 모델은 원본 이미지와 최종 이미지 간의 차이 및 제1 중간 이미지 및 제2 중간 이미지 간의 차이에 기초하여 학습될 수 있다. 여기서, 레거시 스케일러는 인공 지능 모델 기반이 아닌 룰 기반의 스케일러이다.
다만, 업 스케일링을 수행하는 인공 지능 모델이 저장되지 않은 장치의 경우 수신된 이미지에 대한 업 스케일링 성능이 저하될 수 있다. 예를 들어, 이미지를 수신하는 장치가 레거시 스케일러만을 구비한 경우, 업 스케일링을 수행하는 인공 지능 모델이 저장된 장치보다 수신된 이미지에 대한 업 스케일링 성능이 저하될 수 있다.
또한, 경우에 따라 다운 스케일링 없이 이미지를 전송할 수도 있으나, 기존의 인공 지능 모델은 다운 스케일링을 전제로 하므로 이용할 수 없는 문제도 있다.
따라서, 이상의 문제를 해결하기 위한 기술이 개발될 필요가 있다.
본 개시는 상술한 필요성에 따른 것으로, 본 개시의 목적은 이미지 전송 과정에서 다운 스케일링이 수행되더라도 원본에 가깝게 복원하기 위한 전자 장치, 그 제어 방법 및 전자 시스템을 제공함에 있다.
이상과 같은 목적을 달성하기 위한 본 개시의 일 실시 예에 따르면, 전자 장치는 제1 인공 지능 모델의 다운 스케일링 네트워크가 저장된 메모리, 통신 인터페이스 및 상기 메모리 및 상기 통신 인터페이스와 연결되어 상기 전자 장치를 제어하는 프로세서를 포함하고, 상기 프로세서는 입력 이미지를 상기 다운 스케일링 네트워크에 입력하여 상기 입력 이미지가 다운 스케일링된 출력 이미지를 획득하고, 상기 출력 이미지를 타 전자 장치로 전송하도록 상기 통신 인터페이스를 제어하며, 상기 제1 인공 지능 모델은 샘플 이미지, 상기 샘플 이미지가 상기 다운 스케일링 네트워크에 입력되어 획득된 제1 중간 이미지, 상기 제1 중간 이미지가 상기 제1 인공 지능 모델의 업 스케일링 네트워크에 입력되어 획득된 제1 최종 이미지, 상기 샘플 이미지가 레거시 스케일러에 의해 다운 스케일링된 제2 중간 이미지 및 상기 제1 중간 이미지가 상기 레거시 스케일러에 의해 업 스케일링된 제2 최종 이미지에 기초하여 학습될 수 있다.
또한, 상기 프로세서는 상기 출력 이미지를 인코딩하고, 상기 인코딩된 출력 이미지를 상기 타 전자 장치로 전송하도록 상기 통신 인터페이스를 제어할 수 있다.
그리고, 상기 제1 인공 지능 모델은 상기 샘플 이미지와 상기 제1 최종 이미지 간의 제1 차이, 상기 샘플 이미지와 상기 제2 최종 이미지 간의 제2 차이, 및 상기 제1 중간 이미지와 상기 제2 중간 이미지 간의 제3 차이의 가중합에 기초하여 학습될 수 있다.
또한, 상기 제1 인공 지능 모델은 상기 제1 차이 및 상기 제2 차이 각각에 상기 제3 차이보다 더 큰 가중치가 적용된 상기 가중합에 기초하여 학습될 수 있다.
그리고, 상기 제1 중간 이미지 및 상기 제2 중간 이미지는 제1 해상도이고, 상기 샘플 이미지, 상기 제1 최종 이미지 및 상기 제2 최종 이미지는 상기 제1 해상도보다 큰 제2 해상도일 수 있다.
또한, 상기 메모리는 제2 인공 지능 모델을 더 저장하고, 상기 프로세서는 상기 입력 이미지를 상기 제2 인공 지능 모델에 입력하여 상기 입력 이미지와 해상도가 동일한 출력 이미지를 획득하고, 상기 출력 이미지를 타 전자 장치로 전송하도록 상기 통신 인터페이스를 제어하며, 상기 제2 인공 지능 모델은 상기 샘플 이미지, 상기 제1 중간 이미지, 상기 제2 중간 이미지가 상기 제2 인공 지능 모델에 입력되어 획득된 제3 중간 이미지 및 상기 제3 중간 이미지가 상기 업 스케일링 네트워크에 입력되어 획득된 제3 최종 이미지에 기초하여 학습될 수 있다.
그리고, 상기 제2 인공 지능 모델은 상기 샘플 이미지와 상기 제3 최종 이미지 간의 제4 차이, 및 상기 제1 중간 이미지와 상기 제3 중간 이미지 간의 제5 차이의 가중합에 기초하여 학습될 수 있다.
이상과 같은 목적을 달성하기 위한 본 개시의 일 실시 예에 따르면, 전자 장치는 통신 인터페이스, 제1 인공 지능 모델의 업 스케일링 네트워크가 저장된 메모리, 디스플레이 및 상기 메모리 및 상기 통신 인터페이스와 연결되어 상기 전자 장치를 제어하는 프로세서를 포함하고, 상기 프로세서는 상기 통신 인터페이스를 통해 타 전자 장치로부터 이미지를 수신하고, 상기 수신된 이미지를 상기 업 스케일링 네트워크에 입력하여 상기 수신된 이미지가 업 스케일링된 출력 이미지를 획득하고, 상기 출력 이미지를 디스플레이하도록 상기 디스플레이를 제어하며, 상기 제1 인공 지능 모델은 샘플 이미지, 상기 샘플 이미지가 상기 제1 인공 지능 모델의 다운 스케일링 네트워크에 입력되어 획득된 제1 중간 이미지, 상기 제1 중간 이미지가 상기 업 스케일링 네트워크에 입력되어 획득된 제1 최종 이미지, 상기 샘플 이미지가 레거시 스케일러에 의해 다운 스케일링된 제2 중간 이미지 및 상기 제1 중간 이미지가 상기 레거시 스케일러에 의해 업 스케일링된 제2 최종 이미지에 기초하여 학습될 수 있다.
또한, 상기 프로세서는 상기 수신된 이미지를 디코딩하고, 상기 디코딩된 이미지를 상기 업 스케일링 네트워크에 입력하여 상기 디코딩된 이미지가 업 스케일링된 출력 이미지를 획득할 수 있다.
그리고, 상기 제1 인공 지능 모델은 상기 샘플 이미지와 상기 제1 최종 이미지 간의 제1 차이, 상기 샘플 이미지와 상기 제2 최종 이미지 간의 제2 차이, 및 상기 제1 중간 이미지와 상기 제2 중간 이미지 간의 제3 차이의 가중합에 기초하여 학습될 수 있다.
이상과 같은 목적을 달성하기 위한 본 개시의 일 실시 예에 따르면, 전자 시스템은 입력 이미지를 인공 지능 모델의 다운 스케일링 네트워크에 입력하여 상기 입력 이미지가 다운 스케일링된 이미지를 획득하는 제1 전자 장치 및 상기 제1 전자 장치로부터 상기 다운 스케일링된 이미지를 수신하고, 상기 수신된 이미지를 상기 인공 지능 모델의 업 스케일링 네트워크에 입력하여 상기 이미지가 업 스케일링된 이미지를 획득하고, 상기 업 스케일링된 이미지를 디스플레이하는 제2 전자 장치를 포함하며, 상기 인공 지능 모델은 샘플 이미지, 상기 샘플 이미지가 상기 다운 스케일링 네트워크에 입력되어 획득된 제1 중간 이미지, 상기 제1 중간 이미지가 상기 업 스케일링 네트워크에 입력되어 획득된 제1 최종 이미지, 상기 샘플 이미지가 레거시 스케일러에 의해 다운 스케일링된 제2 중간 이미지 및 상기 제1 중간 이미지가 상기 레거시 스케일러에 의해 업 스케일링된 제2 최종 이미지에 기초하여 학습될 수 있다.
한편, 본 개시의 일 실시 예에 따르면, 전자 장치의 제어 방법은 입력 이미지를 제1 인공 지능 모델의 다운 스케일링 네트워크에 입력하여 상기 입력 이미지가 다운 스케일링된 출력 이미지를 획득하는 단계 및 상기 출력 이미지를 타 전자 장치로 전송하는 단계를 포함하며, 상기 제1 인공 지능 모델은 샘플 이미지, 상기 샘플 이미지가 상기 다운 스케일링 네트워크에 입력되어 획득된 제1 중간 이미지, 상기 제1 중간 이미지가 상기 제1 인공 지능 모델의 업 스케일링 네트워크에 입력되어 획득된 제1 최종 이미지, 상기 샘플 이미지가 레거시 스케일러에 의해 다운 스케일링된 제2 중간 이미지 및 상기 제1 중간 이미지가 상기 레거시 스케일러에 의해 업 스케일링된 제2 최종 이미지에 기초하여 학습될 수 있다.
또한, 상기 출력 이미지를 인코딩하는 단계를 더 포함하고, 상기 전송하는 단계는 상기 인코딩된 출력 이미지를 상기 타 전자 장치로 전송할 수 있다.
그리고, 상기 제1 인공 지능 모델은 상기 샘플 이미지와 상기 제1 최종 이미지 간의 제1 차이, 상기 샘플 이미지와 상기 제2 최종 이미지 간의 제2 차이, 및 상기 제1 중간 이미지와 상기 제2 중간 이미지 간의 제3 차이의 가중합에 기초하여 학습될 수 있다.
또한, 상기 제1 인공 지능 모델은 상기 제1 차이 및 상기 제2 차이 각각에 상기 제3 차이보다 더 큰 가중치가 적용된 상기 가중합에 기초하여 학습될 수 있다.
그리고, 상기 제1 중간 이미지 및 상기 제2 중간 이미지는 제1 해상도이고, 상기 샘플 이미지, 상기 제1 최종 이미지 및 상기 제2 최종 이미지는 상기 제1 해상도보다 큰 제2 해상도일 수 있다.
또한, 상기 입력 이미지를 제2 인공 지능 모델에 입력하여 상기 입력 이미지와 해상도가 동일한 출력 이미지를 획득하는 단계를 더 포함하며, 상기 전송하는 단계는 상기 출력 이미지를 타 전자 장치로 전송하고, 상기 제2 인공 지능 모델은 상기 샘플 이미지, 상기 제1 중간 이미지, 상기 제2 중간 이미지가 상기 제2 인공 지능 모델에 입력되어 획득된 제3 중간 이미지 및 상기 제3 중간 이미지가 상기 업 스케일링 네트워크에 입력되어 획득된 제3 최종 이미지에 기초하여 학습될 수 있다.
그리고, 상기 제2 인공 지능 모델은 상기 샘플 이미지와 상기 제3 최종 이미지 간의 제4 차이, 및 상기 제1 중간 이미지와 상기 제3 중간 이미지 간의 제5 차이의 가중합에 기초하여 학습될 수 있다.
한편, 본 개시의 일 실시 예에 따르면, 전자 장치의 제어 방법은 타 전자 장치로부터 이미지를 수신하는 단계, 상기 수신된 이미지를 제1 인공 지능 모델의 업 스케일링 네트워크에 입력하여 상기 수신된 이미지가 업 스케일링된 출력 이미지를 획득하는 단계 및 상기 출력 이미지를 디스플레이하는 단계를 포함하며, 상기 제1 인공 지능 모델은 샘플 이미지, 상기 샘플 이미지가 상기 제1 인공 지능 모델의 다운 스케일링 네트워크에 입력되어 획득된 제1 중간 이미지, 상기 제1 중간 이미지가 상기 업 스케일링 네트워크에 입력되어 획득된 제1 최종 이미지, 상기 샘플 이미지가 레거시 스케일러에 의해 다운 스케일링된 제2 중간 이미지 및 상기 제1 중간 이미지가 상기 레거시 스케일러에 의해 업 스케일링된 제2 최종 이미지에 기초하여 학습될 수 있다.
또한, 상기 수신된 이미지를 디코딩하는 단계를 더 포함하며, 상기 획득하는 단계는 상기 디코딩된 이미지를 상기 업 스케일링 네트워크에 입력하여 상기 디코딩된 이미지가 업 스케일링된 출력 이미지를 획득할 수 있다.
이상과 같은 본 개시의 다양한 실시 예에 따르면, 전자 장치는 이미지를 수신하는 장치가 레거시 스케일러를 이용하는 경우를 고려하여 학습된 인공 지능 모델을 이용하여 이미지를 처리하고 처리된 이미지를 전송함에 따라 이미지를 수신하는 장치가 레거시 스케일러(legacy scaler)를 이용하더라도 이미지의 복원 성능이 유지될 수 있다.
또한, 전자 장치는 이미지의 품질을 개선하는 인공 지능 모델을 이용하여 이미지를 처리함에 따라 이미지의 다운 스케일링 없이 이미지를 전송할 수 있고, 사용자에게 이미지의 다운 스케일링 여부에 대한 선택권을 제공할 수도 있다.
그리고, 이미지의 품질을 개선하는 인공 지능 모델 역시 이미지를 수신하는 장치가 레거시 스케일러를 이용하는 경우를 고려하여 학습된 인공 지능 모델로서, 이미지를 수신하는 장치가 레거시 스케일러를 이용하더라도 이미지의 복원 성능이 유지될 수 있다.
도 1a 및 도 1b는 종래 기술을 설명하기 위한 도면이다.
도 2는 본 개시의 일 실시 예에 따른 전자 시스템의 구성을 나타내는 블럭도이다.
도 3은 본 개시의 일 실시 예에 따른 제1 전자 장치의 구성을 설명하기 위한 블럭도이다.
도 4는 본 개시의 일 실시 예에 따른 제2 전자 장치의 구성을 설명하기 위한 블럭도이다.
도 5는 본 개시의 일 실시 예에 따른 제1 전자 장치 및 제2 전자 장치의 동작을 개략적으로 설명하기 위한 도면이다.
도 6은 본 개시의 일 실시 예에 따른 제1 인공 지능 모델의 학습 방법을 설명하기 위한 도면이다.
도 7은 본 개시의 일 실시 예에 따른 제2 인공 지능 모델의 학습 방법을 설명하기 위한 도면이다.
도 8a 내지 도 8c는 인공 지능 모델의 다양한 형태를 설명하기 위한 도면들이다.
도 9a 및 도 9b는 본 개시의 다양한 실시 예에 따른 인코딩 동작을 설명하기 위한 도면들이다.
도 10은 본 개시의 일 실시 예에 따른 디코딩 동작을 설명하기 위한 도면이다.
도 11은 본 개시의 일 실시 예예 따른 제1 전자 장치의 제어 방법을 설명하기 위한 흐름도이다.
도 12는 본 개시의 일 실시 예예 따른 제2 전자 장치의 제어 방법을 설명하기 위한 흐름도이다.
이하에서는 첨부 도면을 참조하여 본 개시를 상세히 설명한다.
본 개시의 실시 예에서 사용되는 용어는 본 개시에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 개시의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 개시에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 개시의 전반에 걸친 내용을 토대로 정의되어야 한다.
본 명세서에서, "가진다," "가질 수 있다," "포함한다," 또는 "포함할 수 있다" 등의 표현은 해당 특징(예: 수치, 기능, 동작, 또는 부품 등의 구성요소)의 존재를 가리키며, 추가적인 특징의 존재를 배제하지 않는다.
A 또는/및 B 중 적어도 하나라는 표현은 "A" 또는 "B" 또는 "A 및 B" 중 어느 하나를 나타내는 것으로 이해되어야 한다.
본 명세서에서 사용된 "제1," "제2," "첫째," 또는 "둘째,"등의 표현들은 다양한 구성요소들을, 순서 및/또는 중요도에 상관없이 수식할 수 있고, 한 구성요소를 다른 구성요소와 구분하기 위해 사용될 뿐 해당 구성요소들을 한정하지 않는다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "구성되다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
본 명세서에서, 사용자라는 용어는 전자 장치를 사용하는 사람 또는 전자 장치를 사용하는 장치(예: 인공 지능 전자 장치)를 지칭할 수 있다.
이하 첨부된 도면들을 참조하여 본 개시의 다양한 실시 예를 보다 상세하게 설명한다.
도 2는 본 개시의 일 실시 예에 따른 전자 시스템(1000)의 구성을 나타내는 블럭도이다. 전자 시스템(1000)은 제1 전자 장치(100) 및 제2 전자 장치(200)를 포함할 수 있다.
제1 전자 장치(100)는 인공 지능 모델을 통해 이미지를 처리하고, 처리된 이미지를 제2 전자 장치(200)로 전송하는 장치로서, 서버, TV, 셋탑박스(STB), 컴퓨터 본체, 데스크탑 PC, 노트북, 비디오 월(video wall), LFD(large format display), Digital Signage(디지털 간판), DID(Digital Information Display), 프로젝터 디스플레이, DVD(digital video disk) 플레이어, 스마트폰, 태블릿 PC, 모니터, 스마트 안경, 스마트 워치 등과 같은 장치일 수도 있다. 여기서, 이미지의 처리는 다운 스케일링 또는 화질 보정 중 적어도 하나일 수 있다.
다만, 이에 한정되는 것은 아니며, 제1 전자 장치(100)는 인공 지능 모델을 통해 이미지를 처리하고, 처리된 이미지를 제공할 수 있는 장치라면 어떠한 장치라도 무방하다.
또한, 제1 전자 장치(100)는 처리된 이미지를 인코딩하고, 인코딩된 이미지를 제2 전자 장치(200)로 전송할 수도 있다.
또한, 제1 전자 장치(100)는 이미지 뿐만 아니라 동영상을 인공 지능 모델을 통해 처리하고, 처리된 동영상을 제2 전자 장치(200)로 전송할 수도 있다.
제2 전자 장치(200)는 제1 전자 장치(100)로부터 이미지를 수신하고, 인공 지능 모델을 통해 수신된 이미지를 업 스케일링하며, 업 스케일링된 이미지를 디스플레이하는 장치로서, TV, 데스크탑 PC, 노트북, 비디오 월(video wall), LFD(large format display), Digital Signage(디지털 간판), DID(Digital Information Display), 프로젝터 디스플레이, DVD(digital video disk) 플레이어, 스마트폰, 태블릿 PC, 모니터, 스마트 안경, 스마트 워치 등과 같이 디스플레이를 구비하고, 업 스케일링된 이미지를 직접 디스플레이하는 장치일 수도 있다.
또는, 제2 전자 장치(200)는 제1 전자 장치(100)로부터 이미지를 수신하고, 인공 지능 모델을 통해 수신된 이미지를 업 스케일링하며, 업 스케일링된 이미지를 디스플레이가 구비된 장치로 제공하는 장치로서, 셋탑박스(STB), 컴퓨터 본체 등과 같은 장치일 수도 있다.
다만, 이에 한정되는 것은 아니며, 제2 전자 장치(200)는 제1 전자 장치(100)로부터 이미지를 수신하고, 인공 지능 모델을 통해 수신된 이미지를 업 스케일링할 수 있는 장치라면 어떠한 장치라도 무방하다.
또한, 제2 전자 장치(200)는 수신된 이미지를 디코딩하고, 인공 지능 모델을 통해 디코딩된 이미지를 업 스케일링할 수도 있다.
또한, 제2 전자 장치(200)는 제1 전자 장치(100)로부터 동영상을 수신하고, 인공 지능 모델을 통해 수신된 동영상을 업 스케일링할 수도 있다.
도 3은 본 개시의 일 실시 예에 따른 제1 전자 장치(100)의 구성을 설명하기 위한 블럭도이다.
도 3에 따르면, 제1 전자 장치(100)는 메모리(110), 통신 인터페이스(120) 및 프로세서(130)를 포함한다. 다만, 이에 한정되는 것은 아니며, 제1 전자 장치(100)는 일부 구성이 제외된 형태로 구현될 수도 있다.
메모리(110)에는 제1 인공 지능 모델의 다운 스케일링 네트워크 또는 제2 인공 지능 모델 중 적어도 하나가 저장될 수 있다.
제1 인공 지능 모델은 다운 스케일링 네트워크 및 업 스케일링 네트워크를 포함할 수 있다. 제1 인공 지능 모델의 다운 스케일링 네트워크 및 업 스케일링 네트워크는 샘플 이미지, 샘플 이미지가 다운 스케일링 네트워크에 입력되어 획득된 제1 중간 이미지, 제1 중간 이미지가 제1 인공 지능 모델의 업 스케일링 네트워크에 입력되어 획득된 제1 최종 이미지, 샘플 이미지가 레거시 스케일러에 의해 다운 스케일링된 제2 중간 이미지 및 제1 중간 이미지가 레거시 스케일러에 의해 업 스케일링된 제2 최종 이미지에 기초하여 학습될 수 있다. 여기서, 제1 중간 이미지 및 제2 중간 이미지는 제1 해상도이고, 샘플 이미지, 제1 최종 이미지 및 제2 최종 이미지는 제1 해상도보다 큰 제2 해상도일 수 있다.
예를 들어, 제1 인공 지능 모델은 샘플 이미지와 제1 최종 이미지 간의 제1 차이, 샘플 이미지와 제2 최종 이미지 간의 제2 차이, 및 제1 중간 이미지와 제2 중간 이미지 간의 제3 차이의 가중합에 기초하여 학습될 수 있다. 여기서, 제1 인공 지능 모델은 제1 차이 및 제2 차이 각각에 제3 차이보다 더 큰 가중치가 적용된 가중합에 기초하여 학습될 수 있다.
제2 인공 지능 모델은 이미지의 화질을 보정하는 인공 지능 모델로서, 샘플 이미지, 제1 중간 이미지, 제2 중간 이미지가 제2 인공 지능 모델에 입력되어 획득된 제3 중간 이미지 및 제3 중간 이미지가 제1 인공 지능 모델의 업 스케일링 네트워크에 입력되어 획득된 제3 최종 이미지에 기초하여 학습될 수 있다. 여기서, 제3 중간 이미지는 제1 해상도이고, 제3 최종 이미지는 제2 해상도일 수 있다.
예를 들어, 제2 인공 지능 모델은 샘플 이미지와 제3 최종 이미지 간의 제4 차이, 및 제1 중간 이미지와 제3 중간 이미지 간의 제5 차이의 가중합에 기초하여 학습될 수 있다.
제1 인공 지능 모델 및 제2 인공 지능 모델은 서버와 같은 외부 장치에서 학습될 수 있다. 다만, 이에 한정되는 것은 아니며, 제1 전자 장치(100)가 제1 인공 지능 모델 및 제2 인공 지능 모델을 학습할 수도 있으며, 학습 방법에 대하여는 후술한다.
통신 인터페이스(120)는 다양한 장치와 통신을 수행하기 위한 구성이다. 예를 들어, 통신 인터페이스(120)는 HDMI, MHL, USB, RGB, D-SUB, DVI 등과 같이 다양한 유선 통신 방식을 지원할 수 있다. 또한, 통신 인터페이스(120)는 BT(BlueTooth), BLE(Bluetooth Low Energy), WI-FI(Wireless Fidelity), Zigbee 등과 같이 다양한 무선 통신 방식을 지원할 수도 있다. 다만, 이에 한정되는 것은 아니며, 외부 장치와의 통신이 가능한 통신 규격이라면 어떤 것이라도 무방하다.
통신 인터페이스(120)는 프로세서(130)의 제어에 의해 인공 지능 모델에 의해 처리된 이미지를 제2 전자 장치(200)로 전송할 수 있다.
프로세서(130)는 제1 전자 장치(100)의 동작을 전반적으로 제어한다. 구체적으로, 프로세서(130)는 제1 전자 장치(100)의 각 구성과 연결되어 제1 전자 장치(100)의 동작을 전반적으로 제어할 수 있다. 예를 들어, 프로세서(130)는 메모리(110) 및 통신 인터페이스(120)와 연결되어 제1 전자 장치(100)의 동작을 제어할 수 있다.
일 실시 예에 따라 프로세서(130)는 디지털 시그널 프로세서(digital signal processor(DSP), 마이크로 프로세서(microprocessor), TCON(Time controller)으로 구현될 수 있다. 다만, 이에 한정되는 것은 아니며, 중앙처리장치(central processing unit(CPU)), MCU(Micro Controller Unit), MPU(micro processing unit), 컨트롤러(controller), 어플리케이션 프로세서(application processor(AP)), 또는 커뮤니케이션 프로세서(communication processor(CP)), ARM 프로세서 중 하나 또는 그 이상을 포함하거나, 해당 용어로 정의될 수 있다. 또한, 프로세서(130)는 프로세싱 알고리즘이 내장된 SoC(System on Chip), LSI(large scale integration)로 구현될 수도 있고, FPGA(Field Programmable gate array) 형태로 구현될 수도 있다.
프로세서(130)는 입력 이미지를 다운 스케일링 네트워크에 입력하여 입력 이미지가 다운 스케일링된 출력 이미지를 획득하고, 출력 이미지를 제2 전자 장치(200)로 전송하도록 통신 인터페이스(120)를 제어할 수 있다. 즉, 프로세서(130)는 다운 스케일링 네트워크를 통해 입력 이미지의 해상도를 낮춰 부가 정보와 함께 제2 전자 장치(200)로 전송할 수 있으며, 그에 따라 데이터 전송량을 감소시킬 수 있다.
또는, 프로세서(130)는 출력 이미지를 인코딩하고, 인코딩된 출력 이미지를 제2 전자 장치(200)로 전송하도록 통신 인터페이스(120)를 제어할 수도 있다. 이러한 동작을 통해 인코딩을 수행하지 않은 경우보다 데이터 전송량을 더욱 감소시킬 수 있다.
또는, 프로세서(130)는 입력 이미지를 제2 인공 지능 모델에 입력하여 입력 이미지와 해상도가 동일한 출력 이미지를 획득하고, 출력 이미지를 제2 전자 장치(200)로 전송하도록 통신 인터페이스(120)를 제어할 수도 있다. 즉, 프로세서(130)는 입력 이미지의 화질을 보정하고, 화질이 보정된 이미지를 제2 전자 장치(200)로 전송할 수 있으며, 이 경우 데이터 전송량이 감소되지는 않으나 후술할 제2 전자 장치(200)가 업 스케일링 동작을 수행하기에 좀더 적절하게 보정되거나 변환된 이미지를 제공할 수 있다.
또한, 프로세서(130)는 입력 이미지를 제2 인공 지능 모델에 입력하여 입력 이미지와 해상도가 동일한 출력 이미지를 획득하고, 출력 이미지를 인코딩하며, 인코딩된 출력 이미지를 제2 전자 장치(200)로 전송하도록 통신 인터페이스(120)를 제어할 수도 있다.
한편, 프로세서(130)는 사용자 입력에 따라 제1 인공 지능 모델의 다운 스케일링 네트워크 및 제2 인공 지능 모델 중 하나를 이용하여 입력 이미지를 처리할 수 있다.
또는, 프로세서(130)는 입력 이미지 또는 전송 대역폭 중 적어도 하나에 기초하여 제1 인공 지능 모델의 다운 스케일링 네트워크 및 제2 인공 지능 모델 중 하나를 이용하여 입력 이미지를 처리할 수도 있다.
예를 들어, 프로세서(130)는 입력 이미지의 해상도가 임계 해상도 이상이면 제1 인공 지능 모델의 다운 스케일링 네트워크를 이용하여 입력 이미지를 처리하고, 입력 이미지의 해상도가 임계 해상도 미만이면 제2 인공 지능 모델을 이용하여 입력 이미지를 처리할 수도 있다. 또는, 프로세서(130)는 입력 이미지의 크기 및 전송 대역폭을 비교하여 제1 인공 지능 모델의 다운 스케일링 네트워크 및 제2 인공 지능 모델 중 하나를 이용하여 입력 이미지를 처리할 수도 있다.
도 4는 본 개시의 일 실시 예에 따른 제2 전자 장치(200)의 구성을 설명하기 위한 블럭도이다.
도 4에 따르면, 제2 전자 장치(200)는 통신 인터페이스(210), 메모리(220), 디스플레이(230) 및 프로세서(240)를 포함한다. 다만, 이에 한정되는 것은 아니며, 제2 전자 장치(200)는 일부 구성이 제외된 형태로 구현될 수도 있다.
통신 인터페이스(210)는 다양한 장치와 통신을 수행하기 위한 구성이다. 예를 들어, 통신 인터페이스(210)는 HDMI, MHL, USB, RGB, D-SUB, DVI 등과 같이 다양한 유선 통신 방식을 지원할 수 있다. 또한, 통신 인터페이스(210)는 BT(BlueTooth), BLE(Bluetooth Low Energy), WI-FI(Wireless Fidelity), Zigbee 등과 같이 다양한 무선 통신 방식을 지원할 수도 있다. 다만, 이에 한정되는 것은 아니며, 외부 장치와의 통신이 가능한 통신 규격이라면 어떤 것이라도 무방하다.
통신 인터페이스(210)는 프로세서(240)의 제어에 의해 제1 전자 장치(100)로부터 이미지를 수신할 수 있다. 여기서, 수신된 이미지는 인공 지능 모델의 의해 처리된 이미지, 인공 지능 모델의 의해 처리된 후 인코딩된 이미지 등일 수 있다.
메모리(220)에는 제1 인공 지능 모델의 업 스케일링 네트워크가 저장될 수 있으며, 이에 대하여는 상술하였으므로 중복되는 설명은 생략한다.
디스플레이(230)는 LCD(Liquid Crystal Display), OLED(Organic Light Emitting Diodes) 디스플레이, PDP(Plasma Display Panel) 등과 같은 다양한 형태의 디스플레이로 구현될 수 있다. 디스플레이(230) 내에는 a-si TFT, LTPS(low temperature poly silicon) TFT, OTFT(organic TFT) 등과 같은 형태로 구현될 수 있는 구동 회로, 백라이트 유닛 등도 함께 포함될 수 있다. 한편, 디스플레이(230)는 터치 센서와 결합된 터치 스크린, 플렉시블 디스플레이(flexible display), 3차원 디스플레이(3D display) 등으로 구현될 수 있다.
디스플레이(230)는 프로세서(240)의 제어에 의해 이미지를 디스플레이할 수 있다.
프로세서(240)는 제2 전자 장치(200)의 동작을 전반적으로 제어한다. 구체적으로, 프로세서(240)는 제2 전자 장치(200)의 각 구성과 연결되어 제2 전자 장치(200)의 동작을 전반적으로 제어할 수 있다. 예를 들어, 프로세서(240)는 통신 인터페이스(210), 메모리(220) 및 디스플레이(230)와 연결되어 제2 전자 장치(200)의 동작을 제어할 수 있다.
일 실시 예에 따라 프로세서(240)는 디지털 시그널 프로세서(digital signal processor(DSP), 마이크로 프로세서(microprocessor), TCON(Time controller)으로 구현될 수 있다. 다만, 이에 한정되는 것은 아니며, 중앙처리장치(central processing unit(CPU)), MCU(Micro Controller Unit), MPU(micro processing unit), 컨트롤러(controller), 어플리케이션 프로세서(application processor(AP)), 또는 커뮤니케이션 프로세서(communication processor(CP)), ARM 프로세서 중 하나 또는 그 이상을 포함하거나, 해당 용어로 정의될 수 있다. 또한, 프로세서(240)는 프로세싱 알고리즘이 내장된 SoC(System on Chip), LSI(large scale integration)로 구현될 수도 있고, FPGA(Field Programmable gate array) 형태로 구현될 수도 있다.
프로세서(240)는 통신 인터페이스(210)를 통해 제1 전자 장치(100)로부터 이미지를 수신하고, 수신된 이미지를 업 스케일링 네트워크에 입력하여 수신된 이미지가 업 스케일링된 출력 이미지를 획득하고, 출력 이미지를 디스플레이하도록 디스플레이(230)를 제어할 수 있다.
또는, 프로세서(240)는 수신된 이미지를 디코딩하고, 디코딩된 이미지를 업 스케일링 네트워크에 입력하여 디코딩된 이미지가 업 스케일링된 출력 이미지를 획득할 수도 있다.
이상과 같이 제1 전자 장치(100) 및 제2 전자 장치(200)는 레거시 스케일러에 의해 업 스케일링된 이미지를 추가로 학습한 제1 인공 지능 모델을 이용함에 따라 사용자에게 좀더 화질이 개선된 이미지를 제공할 수 있다. 또한, 레거시 스케일러만을 구비한 장치가 이미지를 수신하고, 수신된 이미지를 레거시 스케일러를 통해 업 스케일링하더라도 좀더 화질이 개선된 이미지를 제공할 수 있다.
이하에서는 도면을 통해 도 5 내지 도 10을 통해 전자 시스템(1000)의 동작을 좀더 구체적으로 설명한다. 도 5 내지 도 10에서는 설명의 편의를 위해 개별적인 실시 예에 대하여 설명한다. 다만, 도 5 내지 도 10의 개별적인 실시 예는 얼마든지 조합된 상태로 실시될 수도 있다.
도 5는 본 개시의 일 실시 예에 따른 제1 전자 장치(100) 및 제2 전자 장치(200)의 동작을 개략적으로 설명하기 위한 도면이다.
제1 전자 장치(100)의 프로세서(130)는 제1 인공 지능 모델의 다운 스케일링 네트워크(ScaleNet-Down(n:1))를 이용하여 입력 이미지를 다운 스케일링하거나 제2 인공 지능 모델(ScaleNet-Down(1:1))을 이용하여 입력 이미지의 화질을 개선할 수 있다. 제1 인공 지능 모델의 다운 스케일링 네트워크(ScaleNet-Down(n:1))가 이용될 경우 전송 데이터량을 줄일 수 있는 장점이 있고, 제2 인공 지능 모델(ScaleNet-Down(1:1))가 이용될 경우 좀더 고화질의 영상을 제공할 수 있는 장점이 있다. 여기서, 화질 개선은 화질 개선 전의 이미지를 업스케일링한 이미지와 화질 개선 후의 이미지를 업스케일링한 이미지 중 후자의 노이즈가 더 적은 것을 의미할 수 있다.
제2 전자 장치(200)의 프로세서(240)는 제1 전자 장치(100)로부터 수신된 이미지를 제1 인공 지능 모델의 업 스케일링 네트워크(ScaleNet-Down(1:n))를 이용하여 업 스케일링할 수 있다. 즉, 프로세서(240)는 제1 전자 장치(100)가 이용한 인용 지능 모델과는 무관하게 업 스케일링 동작을 수행할 수 있다.
여기서, 제1 인공 지능 모델의 다운 스케일링 네트워크 및 업 스케일링 네트워크는 동시에 학습이 수행되며, 이에 대하여는 도 6을 통해 설명한다.
도 6은 본 개시의 일 실시 예에 따른 제1 인공 지능 모델의 학습 방법을 설명하기 위한 도면이다.
서버는 제1 인공 지능 모델을 학습할 수 있다. 구체적으로, 서버는 좌측의 샘플 이미지를 제1 인공 지능 모델의 다운 스케일링 네트워크에 입력하여 제1 중간 이미지를 획득하고, 제1 중간 이미지를 제1 인공 지능 모델의 업 스케일링 네트워크에 입력하여 제1 최종 이미지를 획득할 수 있다.
그리고, 서버는 샘플 이미지를 레거시 스케일러를 통해 다운 스케일링하여 제2 중간 이미지를 획득하고, 제1 중간 이미지를 레거시 스케일러를 통해 업 스케일링한 제2 최종 이미지를 획득할 수 있다. 여기서, 레거시 스케일러는 종래의 룰 기반의 스케일러이다. 룰 기반의 스케일러는 미리 정해진 방법에 따라 이미지를 업 스케일링 또는 다운 스케일링하는 스케일러일 수 있다. 다만, 이에 한정되는 것은 아니며, 룰 기반의 스케일러는 Machine Learning 또는 Deep learning 등을 통해 미리 학습된 신경망을 통해 이미지를 업 스케일링 또는 다운 스케일링할 수도 있다.
서버는 샘플 이미지, 제1 중간 이미지, 제2 중간 이미지, 제1 최종 이미지 및 제2 최종 이미지에 기초하여 제1 인공 지능 모델을 학습할 수 있다. 구체적으로, 서버는 샘플 이미지와 제1 최종 이미지 간의 제1 차이, 샘플 이미지와 제2 최종 이미지 간의 제2 차이, 및 제1 중간 이미지와 제2 중간 이미지 간의 제3 차이의 가중합에 기초하여 제1 인공 지능 모델을 학습할 수 있다. 특히, 서버는 제1 차이 및 제2 차이 각각에 제3 차이보다 더 큰 가중치가 적용된 가중합에 기초하여 제1 인공 지능 모델을 학습할 수도 있다.
즉, 서버는 종래보다 제2 차이를 더 이용하여 제1 인공 지능 모델을 학습할 수 있다. 그에 따라, 입력 이미지가 제1 인공 지능 모델의 다운 스케일링 모델을 통해 다운 스케일링된 후, 다운 스케일링된 입력 이미지가 레거시 스케일러를 통해 업 스케일링이 되더라도 입력 이미지의 품질과 유사한 결과가 획득될 수 있다.
한편, 도 6에서는 서버가 학습 동작을 수행하고, 제1 전자 장치(100) 및 제2 전자 장치(200)는 이를 이용하는 것으로 설명하였으나, 이에 한정되는 것은 아니다. 예를 들어, 도 6의 학습 동작은 제1 전자 장치(100) 또는 제2 전자 장치(200) 중 적어도 하나가 수행할 수 있다.
도 7은 본 개시의 일 실시 예에 따른 제2 인공 지능 모델의 학습 방법을 설명하기 위한 도면이다.
서버는 제2 인공 지능 모델을 학습할 수 있다. 이때, 서버는 학습이 완료된 제1 인공 지능 모델을 이용하여 제2 인공 지능 모델을 학습할 수 있다. 도 7의 좌측 상단(ScaleNet-Down(2:1))은 제1 인공 지능 모델의 다운 스케일링 네트워크이고, 도 7의 우측(ScaleNet-Down(1:2))은 제1 인공 지능 모델의 업 스케일링 네트워크이며, 도 7의 좌측 하단(ScaleNet-Down(1:1))이 제2 인공 지능 모델이다.
서버는 좌측 상단의 샘플 이미지(4k)를 제1 인공 지능 모델의 다운 스케일링 네트워크에 입력하여 제1 중간 이미지를 획득하고, 샘플 이미지를 레거시 스케일러를 통해 다운 스케일링하여 제2 중간 이미지(2k)를 획득할 수 있다.
그리고, 서버는 제2 중간 이미지를 제2 인공 지능 모델에 입력하여 제3 중간 이미지(2k)를 획득하고, 제3 중간 이미지를 제1 인공 지능 모델의 업 스케일링 네트워크에 입력하여 제3 최종 이미지를 획득할 수 있다.
서버는 서버는 샘플 이미지, 제1 중간 이미지, 제3 중간 이미지 및 제3 최종 이미지에 기초하여 제2 인공 지능 모델을 학습할 수 있다. 구체적으로, 서버는 샘플 이미지와 제3 최종 이미지 간의 제4 차이, 및 제1 중간 이미지와 제3 중간 이미지 간의 제5 차이의 가중합에 기초하여 제2 인공 지능 모델을 학습할 수 있다.
학습 과정에서는 상대적으로 고화질의 샘플 이미지(4k)를 이용하여 학습이 수행되나, 학습이 완료된 후에는 제2 인공 지능 모델만을 이용하여 화질 개선이 수행될 수 있다. 즉, 제2 인공 지능 모델을 이용하는 경우 해상도를 유지한 상태로 화질만이 개선될 수 있다.
이는, 상대적으로 저화질의 제2 중간 이미지를 제2 인공 지능 모델에 입력하여 획득된 제3 중간 이미지(2k)가 상대적으로 고화질의 샘플 이미지(4k)를 다운 스케일링한 제1 중간 이미지와 유사해지도록 학습됨에 따른 것이다.
한편, 도 7에서는 서버가 학습 동작을 수행하고, 제1 전자 장치(100) 및 제2 전자 장치(200)는 이를 이용하는 것으로 설명하였으나, 이에 한정되는 것은 아니다. 예를 들어, 도 7의 학습 동작은 제1 전자 장치(100) 또는 제2 전자 장치(200) 중 적어도 하나가 수행할 수 있다.
도 8a 내지 도 8c는 인공 지능 모델의 다양한 형태를 설명하기 위한 도면들이다.
도 8a는 제1 인공 지능 모델의 다운 스케일링 네트워크는 나타내고, 도 8b는 제2 인공 지능 모델을 나타내며, 도 8c는 제1 인공 지능 모델의 업 스케일링 네트워크는 나타낸다.
이러한 네트워크의 형태는 도 8a 내지 도 8c에 한정되는 것은 아니며, 얼마든지 다양한 형태로 구현될 수 있다.
도 9a 및 도 9b는 본 개시의 다양한 실시 예에 따른 인코딩 동작을 설명하기 위한 도면들이다.
도 9a에 도시된 바와 같이, 제1 전자 장치(100)의 프로세서(130)는 입력 이미지를 다운 스케일링하거나 화질 개선할 수 있다. 예를 들어, 프로세서(130)는 제1 인공 지능 모델의 다운 스케일링 네트워크(ScaleNet-Down(n:1))를 이용하여 입력 이미지를 다운 스케일링하거나 제2 인공 지능 모델(ScaleNet-Down(1:1))을 이용하여 입력 이미지의 화질을 개선할 수 있다.
또는, 프로세서(130)는 네트워크 상태에 기초하여 입력 이미지를 다운 스케일링하거나 화질 개선할 수도 있다.
이후, 프로세서(130)는 처리된 이미지를 인코딩할 수 있다. 이러한 동작을 통해 전송될 데이터를 줄일 수 있다. 특히, 입력 이미지를 다운 스케일링한 후 인코딩하는 경우, 전송될 데이터를 상당히 줄일 수 있다.
또는, 프로세서(130)는 도 9b에 도시된 바와 같이, 입력 이미지를 다운 스케일링하는 경우, 다운 스케일링과 관련된 메타 데이터(SEI Message)를 제2 전자 장치(200)로 전송할 수도 있다.
예를 들어, 프로세서(130)는 AI 메타 환경 설정기에 의해 설정된 값에 기초하여 입력 이미지를 다운 스케일링하고, 설정값을 이용하여 다운 스케일링된 이미지를 인코딩할 수 있다. AI 메타 환경 설정기에 의해 설정된 값은 스케일링 비율을 포함할 수 있다. 또한, 다운 스케일링 네트워크의 종류가 복수일 때, AI 메타 환경 설정기에 의해 설정된 값은 다운 스케일링 네트워크에 대한 정보를 포함할 수도 있다.
프로세서(130)는 AI 메타 생성기를 통해 설정값에 대응되는 AI 메타 정보를 획득하고, 스트림 생성기를 통해 인코딩된 이미지 및 AI 메타 정보를 제2 전자 장치(200)로 전송할 수 있다.
도 10은 본 개시의 일 실시 예에 따른 디코딩 동작을 설명하기 위한 도면이다.
도 10에 도시된 바와 같이, 제2 전자 장치(200)의 프로세서(240)는 제1 전자 장치(100)로부터 이미지 및 메타 데이터(SEI Message)를 수신할 수 있다.
프로세서(240)는 이미지를 디코딩하고, 디코딩된 이미지를 업 스케일링할 수 있다. 여기서, 프로세서(240)는 수신된 메타 데이터에 기초하여 디코딩된 이미지를 업 스케일링할 수 있다.
다만, 이에 한정되는 것은 아니며, 프로세서(240)는 제2 전자 장치(200)의 리소스 상태 또는 제1 전자 장치(100)와의 네트워크 상태 중 적어도 하나에 기초하여 업 스케일링 방법을 달리할 수 있다. 가령, 프로세서(240)는 제2 전자 장치(200)의 리소스 상태 또는 제1 전자 장치(100)와의 네트워크 상태 중 적어도 하나에 기초하여 레거시 스케일러를 통해 디코딩된 이미지를 업 스케일링할 수도 있다.
도 11은 본 개시의 일 실시 예예 따른 제1 전자 장치의 제어 방법을 설명하기 위한 흐름도이다.
먼저, 입력 이미지를 제1 인공 지능 모델의 다운 스케일링 네트워크에 입력하여 입력 이미지가 다운 스케일링된 출력 이미지를 획득한다(S1110). 그리고, 출력 이미지를 타 전자 장치로 전송한다(S1120).
여기서, 제1 인공 지능 모델은 샘플 이미지, 샘플 이미지가 다운 스케일링 네트워크에 입력되어 획득된 제1 중간 이미지, 제1 중간 이미지가 제1 인공 지능 모델의 업 스케일링 네트워크에 입력되어 획득된 제1 최종 이미지, 샘플 이미지가 레거시 스케일러에 의해 다운 스케일링된 제2 중간 이미지 및 제1 중간 이미지가 레거시 스케일러에 의해 업 스케일링된 제2 최종 이미지에 기초하여 학습된 인공 지능 모델일 수 있다.
여기서, 출력 이미지를 인코딩하는 단계를 더 포함하고, 전송하는 단계(S1120)는 인코딩된 출력 이미지를 타 전자 장치로 전송할 수 있다.
한편, 제1 인공 지능 모델은 샘플 이미지와 제1 최종 이미지 간의 제1 차이, 샘플 이미지와 제2 최종 이미지 간의 제2 차이, 및 제1 중간 이미지와 제2 중간 이미지 간의 제3 차이의 가중합에 기초하여 학습될 수 있다.
그리고, 제1 인공 지능 모델은 제1 차이 및 제2 차이 각각에 제3 차이보다 더 큰 가중치가 적용된 가중합에 기초하여 학습될 수 있다.
한편, 제1 중간 이미지 및 제2 중간 이미지는 제1 해상도이고, 샘플 이미지, 제1 최종 이미지 및 제2 최종 이미지는 제1 해상도보다 큰 제2 해상도일 수 있다.
그리고, 입력 이미지를 제2 인공 지능 모델에 입력하여 입력 이미지와 해상도가 동일한 출력 이미지를 획득하는 단계를 더 포함하며, 전송하는 단계(S1120)는 출력 이미지를 타 전자 장치로 전송할 수 있다.
여기서, 제2 인공 지능 모델은 샘플 이미지, 제1 중간 이미지, 제2 중간 이미지가 제2 인공 지능 모델에 입력되어 획득된 제3 중간 이미지 및 제3 중간 이미지가 업 스케일링 네트워크에 입력되어 획득된 제3 최종 이미지에 기초하여 학습된 인공 지능 모델일 수 있다.
또한, 제2 인공 지능 모델은 샘플 이미지와 제3 최종 이미지 간의 제4 차이, 및 제1 중간 이미지와 제3 중간 이미지 간의 제5 차이의 가중합에 기초하여 학습될 수 있다.
도 12는 본 개시의 일 실시 예예 따른 제2 전자 장치의 제어 방법을 설명하기 위한 흐름도이다.
먼저, 타 전자 장치로부터 이미지를 수신한다(S1210). 그리고, 수신된 이미지를 제1 인공 지능 모델의 업 스케일링 네트워크에 입력하여 수신된 이미지가 업 스케일링된 출력 이미지를 획득한다(S1220). 그리고, 출력 이미지를 디스플레이한다(S1230).
여기서, 제1 인공 지능 모델은 샘플 이미지, 샘플 이미지가 제1 인공 지능 모델의 다운 스케일링 네트워크에 입력되어 획득된 제1 중간 이미지, 제1 중간 이미지가 업 스케일링 네트워크에 입력되어 획득된 제1 최종 이미지, 샘플 이미지가 레거시 스케일러에 의해 다운 스케일링된 제2 중간 이미지 및 제1 중간 이미지가 레거시 스케일러에 의해 업 스케일링된 제2 최종 이미지에 기초하여 학습된 인공 지능 모델일 수 있다.
여기서, 수신된 이미지를 디코딩하는 단계를 더 포함하며, 획득하는 단계(S1220)는 디코딩된 이미지를 업 스케일링 네트워크에 입력하여 디코딩된 이미지가 업 스케일링된 출력 이미지를 획득할 수 있다.
이상과 같은 본 개시의 다양한 실시 예에 따르면, 전자 장치는 이미지를 수신하는 장치가 레거시 스케일러를 이용하는 경우를 고려하여 학습된 인공 지능 모델을 이용하여 이미지를 처리하고 처리된 이미지를 전송함에 따라 이미지를 수신하는 장치가 레거시 스케일러(legacy scaler)를 이용하더라도 이미지의 복원 성능이 유지될 수 있다.
또한, 전자 장치는 이미지의 품질을 개선하는 인공 지능 모델을 이용하여 이미지를 처리함에 따라 이미지의 다운 스케일링 없이 이미지를 전송할 수 있고, 사용자에게 이미지의 다운 스케일링 여부에 대한 선택권을 제공할 수도 있다.
그리고, 이미지의 품질을 개선하는 인공 지능 모델 역시 이미지를 수신하는 장치가 레거시 스케일러를 이용하는 경우를 고려하여 학습된 인공 지능 모델로서, 이미지를 수신하는 장치가 레거시 스케일러를 이용하더라도 이미지의 복원 성능이 유지될 수 있다.
한편, 본 개시의 일시 예에 따르면, 이상에서 설명된 다양한 실시 예들은 기기(machine)(예: 컴퓨터)로 읽을 수 있는 저장 매체(machine-readable storage media에 저장된 명령어를 포함하는 소프트웨어로 구현될 수 있다. 기기는, 저장 매체로부터 저장된 명령어를 호출하고, 호출된 명령어에 따라 동작이 가능한 장치로서, 개시된 실시 예들에 따른 전자 장치(예: 전자 장치(A))를 포함할 수 있다. 명령이 프로세서에 의해 실행될 경우, 프로세서가 직접, 또는 프로세서의 제어 하에 다른 구성요소들을 이용하여 명령에 해당하는 기능을 수행할 수 있다. 명령은 컴파일러 또는 인터프리터에 의해 생성 또는 실행되는 코드를 포함할 수 있다. 기기로 읽을 수 있는 저장매체는, 비일시적(non-transitory) 저장매체의 형태로 제공될 수 있다. 여기서, '비일시적'은 저장매체가 신호(signal)를 포함하지 않으며 실재(tangible)한다는 것을 의미할 뿐 데이터가 저장매체에 반영구적 또는 임시적으로 저장됨을 구분하지 않는다.
또한, 본 개시의 일 실시 예에 따르면, 이상에서 설명된 다양한 실시 예들에 따른 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 저장 매체(예: compact disc read only memory (CD-ROM))의 형태로, 또는 어플리케이션 스토어(예: 플레이 스토어TM)를 통해 온라인으로 배포될 수 있다. 온라인 배포의 경우에, 컴퓨터 프로그램 제품의 적어도 일부는 제조사의 서버, 어플리케이션 스토어의 서버, 또는 중계 서버의 메모리와 같은 저장 매체에 적어도 일시 저장되거나, 임시적으로 생성될 수 있다.
또한, 상술한 다양한 실시 예들에 따른 구성 요소(예: 모듈 또는 프로그램) 각각은 단수 또는 복수의 개체로 구성될 수 있으며, 전술한 해당 서브 구성 요소들 중 일부 서브 구성 요소가 생략되거나, 또는 다른 서브 구성 요소가 다양한 실시 예에 더 포함될 수 있다. 대체적으로 또는 추가적으로, 일부 구성 요소들(예: 모듈 또는 프로그램)은 하나의 개체로 통합되어, 통합되기 이전의 각각의 해당 구성 요소에 의해 수행되는 기능을 동일 또는 유사하게 수행할 수 있다. 다양한 실시 예들에 따른, 모듈, 프로그램 또는 다른 구성 요소에 의해 수행되는 동작들은 순차적, 병렬적, 반복적 또는 휴리스틱하게 실행되거나, 적어도 일부 동작이 다른 순서로 실행되거나, 생략되거나, 또는 다른 동작이 추가될 수 있다.
이상에서는 본 개시의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 개시는 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 개시의 요지를 벗어남이 없이 당해 개시에 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 개시의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.
1000 : 전자 시스템 100 : 제1 전자 장치
110 : 메모리 120 : 통신 인터페이스
130 : 프로세서 200 : 제2 전자 장치
210 : 통신 인터페이스 220 : 메모리
230 : 디스플레이 240 : 프로세서

Claims (20)

  1. 전자 장치에 있어서,
    제1 인공 지능 모델의 다운 스케일링 네트워크가 저장된 메모리;
    통신 인터페이스; 및
    상기 메모리 및 상기 통신 인터페이스와 연결되어 상기 전자 장치를 제어하는 프로세서;를 포함하고,
    상기 프로세서는,
    입력 이미지를 상기 다운 스케일링 네트워크에 입력하여 상기 입력 이미지가 다운 스케일링된 출력 이미지를 획득하고,
    상기 출력 이미지를 타 전자 장치로 전송하도록 상기 통신 인터페이스를 제어하며,
    상기 제1 인공 지능 모델은,
    샘플 이미지, 상기 샘플 이미지가 상기 다운 스케일링 네트워크에 입력되어 획득된 제1 중간 이미지, 상기 제1 중간 이미지가 상기 제1 인공 지능 모델의 업 스케일링 네트워크에 입력되어 획득된 제1 최종 이미지, 상기 샘플 이미지가 레거시 스케일러에 의해 다운 스케일링된 제2 중간 이미지 및 상기 제1 중간 이미지가 상기 레거시 스케일러에 의해 업 스케일링된 제2 최종 이미지에 기초하여 학습된, 전자 장치.
  2. 제1항에 있어서,
    상기 프로세서는,
    상기 출력 이미지를 인코딩하고,
    상기 인코딩된 출력 이미지를 상기 타 전자 장치로 전송하도록 상기 통신 인터페이스를 제어하는, 전자 장치.
  3. 제1항에 있어서,
    상기 제1 인공 지능 모델은,
    상기 샘플 이미지와 상기 제1 최종 이미지 간의 제1 차이, 상기 샘플 이미지와 상기 제2 최종 이미지 간의 제2 차이, 및 상기 제1 중간 이미지와 상기 제2 중간 이미지 간의 제3 차이의 가중합에 기초하여 학습된, 전자 장치.
  4. 제3항에 있어서,
    상기 제1 인공 지능 모델은,
    상기 제1 차이 및 상기 제2 차이 각각에 상기 제3 차이보다 더 큰 가중치가 적용된 상기 가중합에 기초하여 학습된, 전자 장치.
  5. 제1항에 있어서,
    상기 제1 중간 이미지 및 상기 제2 중간 이미지는, 제1 해상도이고,
    상기 샘플 이미지, 상기 제1 최종 이미지 및 상기 제2 최종 이미지는, 상기 제1 해상도보다 큰 제2 해상도인, 전자 장치.
  6. 제1항에 있어서,
    상기 메모리는,
    제2 인공 지능 모델을 더 저장하고,
    상기 프로세서는,
    상기 입력 이미지를 상기 제2 인공 지능 모델에 입력하여 상기 입력 이미지와 해상도가 동일한 출력 이미지를 획득하고,
    상기 출력 이미지를 타 전자 장치로 전송하도록 상기 통신 인터페이스를 제어하며,
    상기 제2 인공 지능 모델은,
    상기 샘플 이미지, 상기 제1 중간 이미지, 상기 제2 중간 이미지가 상기 제2 인공 지능 모델에 입력되어 획득된 제3 중간 이미지 및 상기 제3 중간 이미지가 상기 업 스케일링 네트워크에 입력되어 획득된 제3 최종 이미지에 기초하여 학습된, 전자 장치.
  7. 제6항에 있어서,
    상기 제2 인공 지능 모델은,
    상기 샘플 이미지와 상기 제3 최종 이미지 간의 제4 차이, 및 상기 제1 중간 이미지와 상기 제3 중간 이미지 간의 제5 차이의 가중합에 기초하여 학습된, 전자 장치.
  8. 전자 장치에 있어서,
    통신 인터페이스;
    제1 인공 지능 모델의 업 스케일링 네트워크가 저장된 메모리;
    디스플레이; 및
    상기 메모리 및 상기 통신 인터페이스와 연결되어 상기 전자 장치를 제어하는 프로세서;를 포함하고,
    상기 프로세서는,
    상기 통신 인터페이스를 통해 타 전자 장치로부터 이미지를 수신하고,
    상기 수신된 이미지를 상기 업 스케일링 네트워크에 입력하여 상기 수신된 이미지가 업 스케일링된 출력 이미지를 획득하고,
    상기 출력 이미지를 디스플레이하도록 상기 디스플레이를 제어하며,
    상기 제1 인공 지능 모델은,
    샘플 이미지, 상기 샘플 이미지가 상기 제1 인공 지능 모델의 다운 스케일링 네트워크에 입력되어 획득된 제1 중간 이미지, 상기 제1 중간 이미지가 상기 업 스케일링 네트워크에 입력되어 획득된 제1 최종 이미지, 상기 샘플 이미지가 레거시 스케일러에 의해 다운 스케일링된 제2 중간 이미지 및 상기 제1 중간 이미지가 상기 레거시 스케일러에 의해 업 스케일링된 제2 최종 이미지에 기초하여 학습된, 전자 장치.
  9. 제8항에 있어서,
    상기 프로세서는,
    상기 수신된 이미지를 디코딩하고,
    상기 디코딩된 이미지를 상기 업 스케일링 네트워크에 입력하여 상기 디코딩된 이미지가 업 스케일링된 출력 이미지를 획득하는, 전자 장치.
  10. 제8항에 있어서,
    상기 제1 인공 지능 모델은,
    상기 샘플 이미지와 상기 제1 최종 이미지 간의 제1 차이, 상기 샘플 이미지와 상기 제2 최종 이미지 간의 제2 차이, 및 상기 제1 중간 이미지와 상기 제2 중간 이미지 간의 제3 차이의 가중합에 기초하여 학습된, 전자 장치.
  11. 전자 시스템에 있어서,
    입력 이미지를 인공 지능 모델의 다운 스케일링 네트워크에 입력하여 상기 입력 이미지가 다운 스케일링된 이미지를 획득하는 제1 전자 장치; 및
    상기 제1 전자 장치로부터 상기 다운 스케일링된 이미지를 수신하고, 상기 수신된 이미지를 상기 인공 지능 모델의 업 스케일링 네트워크에 입력하여 상기 이미지가 업 스케일링된 이미지를 획득하고, 상기 업 스케일링된 이미지를 디스플레이하는 제2 전자 장치;를 포함하며,
    상기 인공 지능 모델은,
    샘플 이미지, 상기 샘플 이미지가 상기 다운 스케일링 네트워크에 입력되어 획득된 제1 중간 이미지, 상기 제1 중간 이미지가 상기 업 스케일링 네트워크에 입력되어 획득된 제1 최종 이미지, 상기 샘플 이미지가 레거시 스케일러에 의해 다운 스케일링된 제2 중간 이미지 및 상기 제1 중간 이미지가 상기 레거시 스케일러에 의해 업 스케일링된 제2 최종 이미지에 기초하여 학습된, 전자 시스템.
  12. 전자 장치의 제어 방법에 있어서,
    입력 이미지를 제1 인공 지능 모델의 다운 스케일링 네트워크에 입력하여 상기 입력 이미지가 다운 스케일링된 출력 이미지를 획득하는 단계; 및
    상기 출력 이미지를 타 전자 장치로 전송하는 단계;를 포함하며,
    상기 제1 인공 지능 모델은,
    샘플 이미지, 상기 샘플 이미지가 상기 다운 스케일링 네트워크에 입력되어 획득된 제1 중간 이미지, 상기 제1 중간 이미지가 상기 제1 인공 지능 모델의 업 스케일링 네트워크에 입력되어 획득된 제1 최종 이미지, 상기 샘플 이미지가 레거시 스케일러에 의해 다운 스케일링된 제2 중간 이미지 및 상기 제1 중간 이미지가 상기 레거시 스케일러에 의해 업 스케일링된 제2 최종 이미지에 기초하여 학습된, 제어 방법.
  13. 제12항에 있어서,
    상기 출력 이미지를 인코딩하는 단계;를 더 포함하고,
    상기 전송하는 단계는,
    상기 인코딩된 출력 이미지를 상기 타 전자 장치로 전송하는, 제어 방법.
  14. 제12항에 있어서,
    상기 제1 인공 지능 모델은,
    상기 샘플 이미지와 상기 제1 최종 이미지 간의 제1 차이, 상기 샘플 이미지와 상기 제2 최종 이미지 간의 제2 차이, 및 상기 제1 중간 이미지와 상기 제2 중간 이미지 간의 제3 차이의 가중합에 기초하여 학습된, 제어 방법.
  15. 제14항에 있어서,
    상기 제1 인공 지능 모델은,
    상기 제1 차이 및 상기 제2 차이 각각에 상기 제3 차이보다 더 큰 가중치가 적용된 상기 가중합에 기초하여 학습된, 제어 방법.
  16. 제12항에 있어서,
    상기 제1 중간 이미지 및 상기 제2 중간 이미지는, 제1 해상도이고,
    상기 샘플 이미지, 상기 제1 최종 이미지 및 상기 제2 최종 이미지는, 상기 제1 해상도보다 큰 제2 해상도인, 제어 방법.
  17. 제12항에 있어서,
    상기 입력 이미지를 제2 인공 지능 모델에 입력하여 상기 입력 이미지와 해상도가 동일한 출력 이미지를 획득하는 단계;를 더 포함하며,
    상기 전송하는 단계는,
    상기 출력 이미지를 타 전자 장치로 전송하고,
    상기 제2 인공 지능 모델은,
    상기 샘플 이미지, 상기 제1 중간 이미지, 상기 제2 중간 이미지가 상기 제2 인공 지능 모델에 입력되어 획득된 제3 중간 이미지 및 상기 제3 중간 이미지가 상기 업 스케일링 네트워크에 입력되어 획득된 제3 최종 이미지에 기초하여 학습된, 제어 방법
  18. 제17항에 있어서,
    상기 제2 인공 지능 모델은,
    상기 샘플 이미지와 상기 제3 최종 이미지 간의 제4 차이, 및 상기 제1 중간 이미지와 상기 제3 중간 이미지 간의 제5 차이의 가중합에 기초하여 학습된, 제어 방법.
  19. 전자 장치의 제어 방법에 있어서,
    타 전자 장치로부터 이미지를 수신하는 단계;
    상기 수신된 이미지를 제1 인공 지능 모델의 업 스케일링 네트워크에 입력하여 상기 수신된 이미지가 업 스케일링된 출력 이미지를 획득하는 단계; 및
    상기 출력 이미지를 디스플레이하는 단계;를 포함하며,
    상기 제1 인공 지능 모델은,
    샘플 이미지, 상기 샘플 이미지가 상기 제1 인공 지능 모델의 다운 스케일링 네트워크에 입력되어 획득된 제1 중간 이미지, 상기 제1 중간 이미지가 상기 업 스케일링 네트워크에 입력되어 획득된 제1 최종 이미지, 상기 샘플 이미지가 레거시 스케일러에 의해 다운 스케일링된 제2 중간 이미지 및 상기 제1 중간 이미지가 상기 레거시 스케일러에 의해 업 스케일링된 제2 최종 이미지에 기초하여 학습된, 제어 방법.
  20. 제19항에 있어서,
    상기 수신된 이미지를 디코딩하는 단계;를 더 포함하며,
    상기 획득하는 단계는,
    상기 디코딩된 이미지를 상기 업 스케일링 네트워크에 입력하여 상기 디코딩된 이미지가 업 스케일링된 출력 이미지를 획득하는, 제어 방법.
KR1020200118199A 2020-09-15 2020-09-15 전자 장치, 그 제어 방법 및 전자 시스템 KR20220036061A (ko)

Priority Applications (6)

Application Number Priority Date Filing Date Title
KR1020200118199A KR20220036061A (ko) 2020-09-15 2020-09-15 전자 장치, 그 제어 방법 및 전자 시스템
EP21869543.5A EP4113382A4 (en) 2020-09-15 2021-08-10 ELECTRONIC DEVICE, ITS CONTROL METHOD AND SYSTEM
CN202180035557.7A CN115668273A (zh) 2020-09-15 2021-08-10 电子装置、其控制方法和电子***
PCT/KR2021/010561 WO2022059920A1 (ko) 2020-09-15 2021-08-10 전자 장치, 그 제어 방법 및 전자 시스템
US17/464,119 US11455706B2 (en) 2020-09-15 2021-09-01 Electronic apparatus, control method thereof and electronic system
US17/902,775 US20220414828A1 (en) 2020-09-15 2022-09-02 Electronic apparatus, control method thereof and electronic system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200118199A KR20220036061A (ko) 2020-09-15 2020-09-15 전자 장치, 그 제어 방법 및 전자 시스템

Publications (1)

Publication Number Publication Date
KR20220036061A true KR20220036061A (ko) 2022-03-22

Family

ID=80777077

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200118199A KR20220036061A (ko) 2020-09-15 2020-09-15 전자 장치, 그 제어 방법 및 전자 시스템

Country Status (2)

Country Link
KR (1) KR20220036061A (ko)
WO (1) WO2022059920A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024112145A1 (ko) * 2022-11-24 2024-05-30 삼성전자 주식회사 인공지능 모델을 이용한 스케일링을 수행하는 전자 장치 및 그 동작 방법

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108074215B (zh) * 2016-11-09 2020-04-14 京东方科技集团股份有限公司 图像升频***及其训练方法、以及图像升频方法
CN108229455B (zh) * 2017-02-23 2020-10-16 北京市商汤科技开发有限公司 物体检测方法、神经网络的训练方法、装置和电子设备
WO2018154092A1 (en) * 2017-02-24 2018-08-30 Deepmind Technologies Limited Multiscale image generation
CN110149642B (zh) 2018-02-12 2021-12-10 华为技术有限公司 一种中继节点同步信号的发送方法及装置
US10304193B1 (en) * 2018-08-17 2019-05-28 12 Sigma Technologies Image segmentation and object detection using fully convolutional neural network
WO2020080765A1 (en) * 2018-10-19 2020-04-23 Samsung Electronics Co., Ltd. Apparatuses and methods for performing artificial intelligence encoding and artificial intelligence decoding on image

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024112145A1 (ko) * 2022-11-24 2024-05-30 삼성전자 주식회사 인공지능 모델을 이용한 스케일링을 수행하는 전자 장치 및 그 동작 방법

Also Published As

Publication number Publication date
WO2022059920A1 (ko) 2022-03-24

Similar Documents

Publication Publication Date Title
KR101629072B1 (ko) 전자 장치들과 원격 디스플레이들 간의 제스처 가시화 및 공유
US11481586B2 (en) Electronic apparatus and controlling method thereof
EP3828812A1 (en) Electronic apparatus and control method thereof
EP3502967A1 (en) Electronic apparatus and control method thereof
EP3779862B1 (en) Electronic apparatus and control method thereof
US20190340726A1 (en) Projection image construction method and device
CN107343206A (zh) 支持多视角观看的视频生成方法、装置、介质和电子设备
US20220414828A1 (en) Electronic apparatus, control method thereof and electronic system
KR20210032857A (ko) 전자 장치 및 그 제어 방법
KR20220036061A (ko) 전자 장치, 그 제어 방법 및 전자 시스템
US20190130526A1 (en) Metadata based quality enhancement post-video warping
US11451721B2 (en) Interactive augmented reality (AR) based video creation from existing video
US20220164923A1 (en) Electronic apparatus and controlling method thereof
CN108027715B (zh) 图形命令令牌的修改
US20220092735A1 (en) Electronic apparatus and controlling method thereof
US20230114954A1 (en) Display device and operating method of the same
US20230306928A1 (en) Display device and operating method therefor
CN115862506B (zh) 点屏方法、图像信号处理装置和存储介质
US11302101B2 (en) Electronic apparatus for constructing a fingerprint database, control method thereof and electronic system
KR20220000735A (ko) 전자 장치 및 그 제어 방법
CN105679126B (zh) 显示装置、视频***、显示方法与投影机
KR101385491B1 (ko) 이미지 처리장치 및 그 이미지 처리방법

Legal Events

Date Code Title Description
A201 Request for examination