KR20200109239A - 이미지를 처리하는 방법, 장치, 서버 및 저장 매체 - Google Patents

이미지를 처리하는 방법, 장치, 서버 및 저장 매체 Download PDF

Info

Publication number
KR20200109239A
KR20200109239A KR1020200002708A KR20200002708A KR20200109239A KR 20200109239 A KR20200109239 A KR 20200109239A KR 1020200002708 A KR1020200002708 A KR 1020200002708A KR 20200002708 A KR20200002708 A KR 20200002708A KR 20200109239 A KR20200109239 A KR 20200109239A
Authority
KR
South Korea
Prior art keywords
image
processed
entity
determining
processing
Prior art date
Application number
KR1020200002708A
Other languages
English (en)
Other versions
KR102459123B1 (ko
Inventor
샤오한 창
예 쑤
케씬 렌
지판 펑
양 창
용 주
Original Assignee
베이징 바이두 넷컴 사이언스 앤 테크놀로지 코., 엘티디.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 베이징 바이두 넷컴 사이언스 앤 테크놀로지 코., 엘티디. filed Critical 베이징 바이두 넷컴 사이언스 앤 테크놀로지 코., 엘티디.
Publication of KR20200109239A publication Critical patent/KR20200109239A/ko
Application granted granted Critical
Publication of KR102459123B1 publication Critical patent/KR102459123B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/55—Clustering; Classification
    • G06K9/3233—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Image Analysis (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

본 발명의 실시예는 이미지를 처리하는 방법, 장치, 서버 및 저장 매체를 개시한다. 당해 방법은, 처리할 이미지에 포함된 물체 유형에 따라, 처리할 이미지 내의 물체 특징 표시를 결정하는 단계; 및 처리할 이미지 내의 물체 특징 표시 및 지식 그래프 내의 엔티티의 특징 표시에 따라 처리하여, 처리할 이미지 내의 물체에 연관되는 엔티티를 결정하는 단계; 를 포함한다. 물체 특징 표시 및 지식 그래프 내의 엔티티의 특징 표시에 따라, 처리할 이미지 내의 물체에 연관되는 엔티티를 나아가 결정함으로써, 이미지에 대한 심층의 이미지 이해가 가능해지고 이미지에 연관되는 엔티티에 대한 확장과 검증이 편리해지며 구조화된 시맨틱 태그의 결정을 구현한다.

Description

이미지를 처리하는 방법, 장치, 서버 및 저장 매체{IMAGE PROCESSING METHOD, DEVICE, SERVER AND STORAGE MEDIUM}
본 발명의 실시예는 이미지 처리 분야에 관한 것으로, 특히 이미지를 처리하는 방법, 장치, 서버 및 저장 매체에 관한 것이다.
인터넷에서 이미지, 영상 류의 데이터가 급증함에 따라, 이미지 처리 기술에 대한 수요도 날로 증가하고 있으며, 이미지 처리 기술을 이용하여 픽처(picture) 또는 영상의 내용을 빠르게 이해(understanding)함으로써, 픽처 또는 영상에 관한 대응되는 태그를 제작하여 사용자한테 추천하고 있다.
현재, 이미지 처리 기술에 기초하여 이미지 태깅 결과를 획득하는 기술은 주로 물체 태그를 설정하는 것 및 연관 동작을 분석하는 것이 있으나, 당해 방법은 표층적인 내용에 대한 분석만이 가능할 뿐, 심층 분석을 통하여 심층의 결과를 획득하는 것은 불가능하고, 태깅 결과는 시맨틱화를 거치지 않으므로 분석한 결과가 정확하지 못하게 된다. 또한, 외부 지식 그래프 데이터를 이용하여 태깅 결과를 획득하는 방법은 비록 태그에 대한 인식 효과를 향상시키기는 하지만, 태그가 시맨틱화되지 않으므로 픽처 내용에 대한 심층 이해가 불가능하다.
본 발명의 실시예는 이미지를 처리하는 방법, 장치, 서버 및 저장 매체를 제공하는바, 지식 그래프(knowledge graph)를 이용하여 심층의 이미지 이해(image understanding, IU)를 수행함으로써, 이미지의 구조화된 시맨틱 태그(semantic tag)를 획득한다.
제1 측면으로, 본 발명의 실시예는 이미지를 처리하는 방법을 제공하는바, 당해 방법은,
처리할 이미지에 포함된 물체 유형에 따라 처리할 이미지 내의 물체 특징 표시를 결정하는 단계; 및
처리할 이미지 내의 물체 특징 표시 및 지식 그래프 내의 엔티티(entity)의 특징 표시에 따라 처리하여, 처리할 이미지 내의 물체에 연관되는 엔티티를 결정하는 단계; 를 포함한다.
여기서, 처리할 이미지에 포함된 물체 유형에 따라, 처리할 이미지 내의 물체 특징 표시를 결정하는 단계는,
처리할 이미지에 포함된 물체 유형과 물체 이미지 영역에 따라, 처리할 이미지 내의 물체 특징 표시를 결정하는 단계를 포함할 수 있다.
또한, 처리할 이미지 내의 물체 특징 표시 및 지식 그래프 내의 엔티티의 특징 표시에 따라 처리하여, 처리할 이미지 내의 물체에 연관되는 엔티티를 결정하는 단계는,
처리할 이미지의 물체 특징 표시, 처리할 이미지의 특징 표시와 처리할 이미지에 연관되는 텍스트 특징 표시 및 지식 그래프 내의 엔티티의 특징 표시와 엔티티 속성 정보에 따라, 처리할 이미지 내의 물체에 연관되는 엔티티를 결정하는 단계를 포함할 수 있다.
처리할 이미지 내의 물체 특징 표시 및 지식 그래프 내의 엔티티의 특징 표시에 따라 처리하여, 처리할 이미지 내의 물체에 연관되는 엔티티를 결정하는 단계 이후,
처리할 이미지가 속하는 문장에 포함된 엔티티에 따라 문장 특징 표시를 결정하는 단계; 및
상기 문장 특징 표시 및 처리할 이미지 내의 물체에 연관되는 엔티티에 따라, 이미지와 문장의 연관도를 결정하는 단계; 를 더 포함할 수 있다.
처리할 이미지 내의 물체에 연관되는 엔티티를 결정하는 단계 이후, 상기 방법은,
제1 리콜 방식을 결정된 엔티티의 리콜 방식으로 하는 단계;
적어도 하나의 보조적인 리콜 방식을 통해, 처리할 이미지 내의 물체에 연관되는 엔티티를 결정하는 단계; 및
각 엔티티의 리콜 방식 및 리콜 빈도에 따라, 처리할 이미지 내의 물체에 연관되는 엔티티를 재결정하는 단계; 를 더 포함할 수 있다.
적어도 하나의 보조적인 리콜 방식을 통해, 처리할 이미지 내의 물체에 연관되는 엔티티를 결정하는 단계는,
처리할 이미지를 후보 엔티티의 이미지에 매칭시켜, 처리할 이미지에 연관되는 엔티티를 결정하는 단계; 및/또는
처리할 이미지가 속하는 텍스트를 지식 그래프에 매칭시켜, 처리할 이미지에 연관되는 엔티티를 결정하는 단계; 를 포함할 수 있다.
처리할 이미지 내의 물체에 연관되는 엔티티를 결정하는 단계 이후,
지식 그래프로부터 물체에 연관되는 엔티티와 엣지 관계를 가지는 새로운 엔티티를 풀(pull)하는 단계; 및
풀된 새로운 엔티티 사이의 상호 관계에 따라, 새로운 엔티티 중에서 이미지에 연관되는 새로운 엔티티를 선택하는 단계; 를 더 포함할 수 있다.
제2 측면으로, 본 발명의 실시예는 이미지를 처리하는 장치를 더 제공하는바, 당해 장치는,
처리할 이미지에 포함된 물체 유형에 따라 처리할 이미지 내의 물체 특징 표시를 결정하는 특징 표시 결정 모듈; 및
처리할 이미지 내의 물체 특징 표시 및 지식 그래프 내의 엔티티의 특징 표시에 따라 처리하여, 처리할 이미지 내의 물체에 연관되는 엔티티를 결정하는 연관 엔티티 결정 모듈; 을 포함한다.
제3 측면으로, 본 발명의 실시예는 서버를 더 제공하는바, 당해 서버는,
하나 또는 복수의 프로세서; 및
하나 또는 복수의 프로그램을 저장하는 메모리;를 포함하고, 상기 하나 또는 복수의 프로그램이 상기 하나 또는 복수의 프로세서에 의해 실행될 경우, 상기 하나 또는 복수의 프로세서가 본 발명의 실시예 중 어느 한 이미지를 처리하는 방법을 구현한다.
제4 측면으로, 본 발명의 실시예는 컴퓨터 프로그램이 저장되어 있는 컴퓨터 판독가능 저장 매체를 더 제공하는바, 당해 프로그램이 프로세서에 의해 실행될 경우, 본 발명의 실시예 중 어느 한 이미지를 처리하는 방법이 구현된다.
본 발명의 실시예는 처리할 이미지에 포함된 물체 유형에 따라, 처리할 이미지 내의 물체 특징 표시를 결정하고; 처리할 이미지 내의 물체 특징 표시 및 지식 그래프 내의 엔티티의 특징 표시에 따라 처리하여, 처리할 이미지 내의 물체에 연관되는 엔티티를 결정한다. 물체 특징 표시 및 지식 그래프 내의 엔티티의 특징 표시에 따라, 처리할 이미지 내의 물체에 연관되는 엔티티를 나아가 결정함으로써, 이미지에 대한 심층의 이미지 이해가 가능해지고 이미지에 연관되는 엔티티에 대한 확장과 검증이 편리해지며 구조화된 시맨틱 태그의 결정을 구현한다.
도1은 본 발명의 실시예1의 이미지를 처리하는 방법의 흐름도이다.
도2는 본 발명의 실시예2의 이미지를 처리하는 방법의 흐름도이다.
도3은 본 발명의 실시예2의 이미지 연관 엔티티 결정 개략도이다.
도4는 본 발명의 실시예3의 이미지를 처리하는 장치의 개략적인 구조도이다.
도5는 본 발명의 실시예4의 서버의 개략적인 구조도이다.
아래 첨부도면과 실시예를 결부하여 본 발명에 대해 나아가 더 상세히 설명하고자 한다. 여기서 설명하는 구체적인 실시예는 단지 본 발명을 해석하기 위한 것일 뿐, 본 발명을 한정하기 위한 것이 아님을 이해할 수 있다. 설명의 편의를 위해, 첨부 도면에는 전체 구조가 아닌 본 발명에 관련되는 부분만을 도시하였음을 또한 설명하고자 한다.
실시예1
도1은 본 발명의 실시예1의 이미지를 처리하는 방법의 흐름도이다. 본 실시예에 의하여 제공되는 이미지를 처리하는 방법은 이미지에 대한 심층 이해를 통해 이미지 태그를 결정하는 경우에 적용 가능한바, 당해 방법은 이미지를 처리하는 장치에 의해 수행될 수 있고, 당해 장치는 소프트웨어 및/또는 하드웨어의 방식으로 구현될 수 있고 서버에 집적될 수도 있다. 도1을 참조하면, 본 발명의 방법은 구체적으로 다음과 같은 단계를 포함한다.
단계S110, 처리할 이미지에 포함된 물체 유형에 따라, 처리할 이미지 내의 물체 특징 표시를 결정한다.
구체적으로, 처리할 이미지는 픽처 또는 영상에서의 한 프레임의 이미지일 수 있고, 물체 특징은 처리할 이미지 내의 각 엔티티를 포함할 수 있다. 선택적으로, 처리할 이미지에 포함된 물체 유형에 따라 처리할 이미지 내의 물체 특징 표시를 결정하는 단계는, 처리할 이미지에 포함된 물체 유형과 물체 이미지 영역에 따라, 처리할 이미지 내의 물체 특징 표시를 결정하는 단계를 포함한다. 예시적으로, 처리할 이미지에 대하여 목표 인식을 수행하여 처리할 이미지에 나타나는 복수의 물체를 인식하고, 복수의 물체에 대해 분류하고 구획하여 각 물체의 물체 유형과 물체 이미지 영역을 획득한다. 처리할 이미지의 픽셀 데이터를 분류 모델에 입력하여 각 물체의 카테고리를 획득하고, 나아가 픽셀 데이터를 카테고리에 대응되는 심층 학습 모델에 입력하여 처리할 이미지에 대한 특징 추출을 수행함으로써 특징 표시 결과를 획득하는바, 선택적으로, 픽셀 데이터를 합성곱 신경망(Convolutional Neural Network, CNN) 모델에 입력하여 특징 추출을 수행함으로써 각 물체에 대응되는 특징 표시를 획득한다. 또 선택적으로, 각 카테고리의 물체를 카테고리에 대응되는 심층 학습 모델에 입력하여 특징 데이터를 추출함으로써 당해 물체의 특징 표시를 획득하는바, 예를 들어, 카테고리가 사람 얼굴인 이미지를 DeepID, DeepFace 또는 FaceNet 사람 얼굴 인식 모델에 입력하여 사람 얼굴에 대한 특징 추출을 수행함으로써 사람 얼굴의 특징 표시를 획득한다.
단계S120, 처리할 이미지 내의 물체 특징 표시 및 지식 그래프 내의 엔티티의 특징 표시에 따라 처리하여, 처리할 이미지 내의 물체에 연관되는 엔티티를 결정한다.
구체적으로, 물체 특징 표시는 처리할 이미지에 표시되는 물체의 특징일 수 있는바, 예를 들어 물체의 형상, 컬러, 텍스처 등 특징일 수 있다. 처리할 이미지 내의 물체의 특징 표시와 지식 그래프 내의 특징 표시에 대해 매칭 계산을 수행하여 처리할 이미지 내의 물체의 특징 표시에 매칭되는 지식 그래프 내의 엔티티를 처리할 이미지 내의 물체에 연관되는 엔티티로 한다. 선택적으로, 처리할 이미지 내의 물체 특징 표시 및 지식 그래프 내의 엔티티의 특징 표시에 따라 처리하여, 처리할 이미지 내의 물체에 연관되는 엔티티를 결정하는 단계는, 처리할 이미지의 물체 특징 표시, 처리할 이미지의 특징 표시와 처리할 이미지에 연관되는 텍스트 특징 표시 및 지식 그래프 내의 엔티티의 특징 표시와 엔티티 속성 정보에 따라, 처리할 이미지 내의 물체에 연관되는 엔티티를 결정하는 단계를 포함한다. 예시적으로, 실제 응용에서, 인터넷에서의 이미지는 통상적으로 이미지에 연관되는 텍스트가 존재하는바, 예를 들어 이미지 내의 대사, 이미지 소스 타이틀, 이미지에 대응되는 문장의 타이틀 등 텍스트 정보가 처리할 이미지에 연관될 수 있고, 텍스트의 특징 표시를 획득하고 텍스트의 특징 표시를 결합하여 나아가, 연관되는 엔티티를 결정한다. 여기서, 지식 그래프 내의 엔티티의 엔티티 속성 정보는 물체의 본질적인 속성, 예를 들어 처리할 이미지 내의 한 사람의 연령, 성별, 직업 등 속성 정보를 포함한다. 처리할 이미지의 물체 특징 표시, 처리할 이미지 및 처리할 이미지에 연관되는 텍스트 특징 표시와, 지식 그래프 내의 엔티티의 특징 표시 및 엔티티 속성 정보에 대해 매칭 계산을 수행하여 이들의 특징 관계를 비교함으로써 처리할 이미지의 물체에 연관되는 엔티티를 결정한다.
선택적으로, 처리할 이미지 내의 물체 특징 표시 및 지식 그래프 내의 엔티티의 특징 표시에 따라 처리하여, 처리할 이미지 내의 물체에 연관되는 엔티티를 결정하는 단계 이후, 처리할 이미지가 속하는 문장에 포함된 엔티티에 따라 문장 특징 표시를 결정하는 단계; 및 상기 문장 특징 표시 및 처리할 이미지 내의 물체에 연관되는 엔티티에 따라, 이미지와 문장의 연관도를 결정하는 단계를 더 포함한다. 구체적으로, 처리할 이미지가 속하는 문장은 처리할 이미지와 반드시 높은 연관성을 가지는 것이 아니고, 이미지 또는 문장에 대한 인식 오차로 인한 이미지와 문장의 조합일 수도 있는바, 따라서, 연관도 결정을 통해 처리할 이미지와 문장의 연관 여부를 검증할 수 있다. 예시적으로, 처리할 이미지 내의 문장의 특징 표시를 결정하고 나아가 문장의 특징 표시 및 상술한 결정된 처리할 이미지 내의 물체에 연관되는 엔티티에 따라, 문장과 처리할 이미지의 연관도를 결정한다.
본 발명의 실시예에 의하여 제공되는 기술안은, 처리할 이미지에 포함된 물체 유형에 따라, 처리할 이미지 내의 물체 특징 표시를 결정하고; 처리할 이미지 내의 물체 특징 표시 및 지식 그래프 내의 엔티티의 특징 표시에 따라 처리하여, 처리할 이미지 내의 물체에 연관되는 엔티티를 결정한다. 물체 특징 표시 및 지식 그래프 내의 엔티티의 특징 표시에 따라, 처리할 이미지 내의 물체에 연관되는 엔티티를 나아가 결정함으로써, 이미지에 대한 심층의 이미지 이해가 가능해지고 이미지에 연관되는 엔티티에 대한 확장과 검증이 편리해지며 구조화된 시맨틱 태그의 결정을 구현한다.
실시예2
도2는 본 발명의 실시예2의 이미지를 처리하는 방법의 흐름도이다. 본 실시예는 상술한 실시예에 기초하여 최적화한 것으로, 본 실시예에서 상세히 설명되지 않은 내용은 상술한 실시예에서 구체적으로 찾아볼 수 있다. 도2를 참조하면, 본 실시예에 의하여 제공되는 이미지를 처리하는 방법은 다음과 같은 단계를 포함한다.
단계S210, 처리할 이미지에 포함된 물체 유형에 따라, 처리할 이미지 내의 물체 특징 표시를 결정한다.
단계S220, 처리할 이미지 내의 물체 특징 표시 및 지식 그래프 내의 엔티티의 특징 표시에 따라 처리하여, 처리할 이미지 내의 물체에 연관되는 엔티티를 결정한다.
단계S230, 제1 리콜(recall) 방식을 결정된 엔티티의 리콜 방식으로 한다.
구체적으로, 제1 리콜 방식은 단계S220에서 결정된 엔티티 리콜 방식일 수 있는바, 즉, 처리할 이미지 내의 물체 특징 표시 및 지식 그래프 내의 엔티티의 특징 표시에 따라, 처리할 이미지 내의 물체에 연관되는 엔티티를 결정한다.
단계S240, 적어도 하나의 보조적인 리콜 방식을 통해, 처리할 이미지 내의 물체에 연관되는 엔티티를 결정한다.
구체적으로, 상기 보조적인 리콜 방식은, 바로 단계S220에서의 리콜 방식 이외의 기타 리콜 방식이다. 예시적으로, 인터넷에서의 이미지는 통상적으로 이미지에 연관되는 텍스트를 가지는바, 예를 들어 이미지 내의 대사, 이미지 소스 타이틀 또는 이미지에 대응되는 문장의 타이틀 등 텍스트 정보가 있으며, 텍스트의 특징 표시에 의해 텍스트 엔티티를 획득할 수 있으나, 텍스트와 이미지의 연관성이 보다 낮을 수 있으므로, 따라서, 텍스트 정보에 의하여 이미지 연관 결과를 결정하는 방법을 보조적인 방법으로 하고, 처리할 이미지에 연관되는 텍스트 정보에 의하여 연관 엔티티를 리콜하는 것을 보조적인 리콜 방식으로 한다.
선택적으로, 적어도 하나의 보조적인 리콜 방식을 통해, 처리할 이미지 내의 물체에 연관되는 엔티티를 결정하는 단계는, 처리할 이미지를 후보 엔티티의 이미지에 매칭시켜, 처리할 이미지에 연관되는 엔티티를 결정하는 단계; 및/또는, 처리할 이미지가 속하는 텍스트를 지식 그래프에 매칭시켜, 처리할 이미지에 연관되는 엔티티를 결정하는 단계를 포함한다. 예시적으로, 처리할 이미지와 후보 엔티티의 이미지에 대해 계산 매칭을 수행하여, 매칭 결과가 조건을 충족시키면 당해 후보 엔티티와 처리할 이미지가 연관된다고 결정한다. 및/또는, 처리할 이미지가 속하는 문장의 텍스트와 지식 그래프에 대해 매칭 계산을 수행하여, 매칭 결과가 조건을 충족시키면 매칭되는 엔티티를 처리할 이미지에 연관되는 엔티티로 결정한다.
예시적으로, 처리할 이미지를 후보 엔티티의 이미지에 매칭시킴으로써 처리할 이미지 내의 연기자 엔티티를 결정할 수 있거나, 및/또는, 이미지가 속하는 문장의 텍스트를 지식 그래프에 매칭시킴으로써 문장 속의 텍스트 엔티티에 연관되는 연기자 엔티티를 획득할 수 있다.
단계S250, 각 엔티티의 리콜 방식 및 리콜 빈도에 따라, 처리할 이미지 내의 물체에 연관되는 엔티티를 재결정한다.
예시적으로, 리콜 방식 및 리콜 방식에 따른 리콜 빈도 특징을 엔티티 특징 표시에 추가하여 처리할 이미지 내의 물체에 연관되는 엔티티를 결정함으로써, 처리할 이미지 내의 물체에 연관되는 엔티티를 재결정한다. 예시적으로, 재결정된 연기자 엔티티 및 지식 그래프에 의해 결정된 배역 엔티티에 따라, 배역 엔티티를 처리할 이미지 내의 물체 연관 엔티티의 결과에 보충해 넣는다.
단계S260, 지식 그래프로부터 물체에 연관되는 엔티티와 엣지 관계를 가지는 새로운 엔티티를 풀(pull)한다.
구체적으로, 지식 그래프 내에 존재하는 물체에 연관되는 엔티티와 엣지 관계를 가지는 엔티티에 따라, 물체에 연관되는 엔티티에 대한 검증을 수행한다. 예를 들어, 지식 그래프 내의 엔티티는 드라마 『삼생삼세십리도화(三生三世十里桃花)』이고 이와 엣지 관계를 가지는 엔티티는 배역 '백천(白풍)'인바, 즉, 배역 '백천(白풍)'은 드라마 『삼생삼세십리도화(三生三世十里桃花)』와 엣지 관계를 가진다. 물체에 연관되는 엔티티와 엣지 관계를 가지는 새로운 엔티티를 풀(pull)함으로써 엔티티의 속성을 더욱 심층으로 이해할 수 있다.
단계S270, 풀된 새로운 엔티티 사이의 상호 관계에 따라, 새로운 엔티티 중에서 이미지에 연관되는 새로운 엔티티를 선택한다.
구체적으로, 풀된 새로운 엔티티 사이의 관계를 획득하는바, 예를 들어 새로운 엔티티의 교집합을 취하여 교집합을 이미지에 연관되는 새로운 엔티티로 한다. 예를 들어 하나의 픽처에 3개의 엔티티가 연관되는 경우, 지식 그래프로부터 3개의 엔티티와 엣지 관계를 가지는 새로운 엔티티 집합을 각각 풀하고; 3개의 엔티티의 새로운 엔티티 집합의 교집합을 이미지에 연관되는 새로운 엔티티로 한다. 예시적으로, 이미지 내의 각 연기자 엔티티가 출연하였던 드라마를 획득하고 드라마의 교집합을 취하여 교집합 부분을 이미지에 연관되는 새로운 엔티티로 한다.
선택적으로, 도3은 본 발명의 실시예2의 이미지 연관 엔티티 결정 개략도이고, 도3에 도시한 바와 같이, 처리할 이미지 내의 물체에 연관되는 엔티티를 결정하고, 이미지 인식 분류 및 특징 추출에 의해 이미지 내의 물체에 대응되는 엔티티를 획득하는바, 예를 들어 이미지 내의 엔티티가 연기자이고 각각 배역 유비, 관우 및 장비라는 것을 인식하고, 지식 그래프 내에서 유비, 관우 및 장비와 엣지 관계를 가지는 엔티티에 따라 각 배역에 대응되는 드라마가 『삼국연의(三벌演屢)』라는 것을 결정하며, 나아가 드라마 및 세 배역에 따라 픽처의 줄거리가 '도원결의'라는 것을 결정한다. 또 선택적으로, 이미지 인식 분류 및 특징 추출에 의하여 이미지 내의 물체에 대응되는 엔티티를 획득하는바, 예를 들어 이미지 내의 엔티티가 연기자이고 각각 배역 유비, 관우 및 장비라는 것을 인식하고, 처리할 이미지 내의 동작을 인식하는바, 동작을 예를 올리는 동작으로 인식함으로써, 처리할 이미지 내의 줄거리가 '도원결의'라는 것을 결정한다. 도3에서는 물체와 배경 이미지를 구분하여 나타내고자, 물체 이미지 영역 부분에 흰색의 선택 테두리를 사용하였는바, 이에 대하여 구체적으로 한정하지 않음을 설명하고자 한다.
본 발명의 실시예는, 제1 리콜 방식을 결정된 엔티티의 리콜 방식으로 하고; 적어도 하나의 보조적인 리콜 방식을 통해, 처리할 이미지 내의 물체에 연관되는 엔티티를 결정하고; 각 엔티티의 리콜 방식 및 리콜 빈도에 따라, 처리할 이미지 내의 물체에 연관되는 엔티티를 재결정한다. 지식 그래프로부터 물체에 연관되는 엔티티와 엣지 관계를 가지는 새로운 엔티티를 풀하고; 풀된 새로운 엔티티 사이의 상호 관계에 따라, 새로운 엔티티 중에서 이미지에 연관되는 새로운 엔티티를 선택한다. 보조적인 리콜 방식으로, 이미지에 대한 심층 이해를 수행하고 이미지에 연관되는 엔티티에 대한 확장을 수행하며 엔티티의 엣지 관계에 의해 이미지에 연관되는 새로운 엔티티를 결정함으로써, 심층 추론과 검증을 구현하는바, 이로써 이미지의 시맨틱화된 태그를 정확하게 획득한다.
실시예3
도4는 본 발명의 실시예3의 이미지를 처리하는 장치의 개략적인 구조도이다. 당해 장치는 이미지에 대한 심층 이해를 통해 이미지 태그를 결정하는 경우에 적용 가능한바, 당해 장치는 소프트웨어 및/또는 하드웨어의 방식으로 구현될 수 있고 서버에 집적될 수도 있다. 도4를 참조하면, 당해 장치는 구체적으로
처리할 이미지에 포함된 물체 유형에 따라, 처리할 이미지 내의 물체 특징 표시를 결정하는 특징 표시 결정 모듈(310); 및
처리할 이미지 내의 물체 특징 표시 및 지식 그래프 내의 엔티티의 특징 표시에 따라 처리하여, 처리할 이미지 내의 물체에 연관되는 엔티티를 결정하는 연관 엔티티 결정 모듈(320); 을 포함한다.
선택적으로, 상기 특징 표시 결정 모듈(310)은 구체적으로, 처리할 이미지에 포함된 물체 유형과 물체 이미지 영역에 따라, 처리할 이미지 내의 물체 특징 표시를 결정한다.
선택적으로, 상기 연관 엔티티 결정 모듈(320)은 구체적으로, 처리할 이미지의 물체 특징 표시, 처리할 이미지의 특징 표시와 처리할 이미지에 연관되는 텍스트 특징 표시 및 지식 그래프 내의 엔티티의 특징 표시와 엔티티 속성 정보에 따라, 처리할 이미지 내의 물체에 연관되는 엔티티를 결정한다.
선택적으로, 당해 장치는,
처리할 이미지가 속하는 문장에 포함된 엔티티에 따라 문장 특징 표시를 결정하는 문장 특징 표시 결정 모듈; 및
상기 문장 특징 표시 및 처리할 이미지 내의 물체에 연관되는 엔티티에 따라 이미지와 문장의 연관도를 결정하는 연관도 결정 모듈; 을 더 포함한다.
선택적으로, 당해 장치는,
제1 리콜 방식을 결정된 엔티티의 리콜 방식으로 하는 리콜 방식 결정 모듈;
적어도 하나의 보조적인 리콜 방식을 통해, 처리할 이미지 내의 물체에 연관되는 엔티티를 결정하는 보조적인 리콜 모듈; 및
각 엔티티의 리콜 방식 및 리콜 빈도에 따라, 처리할 이미지 내의 물체에 연관되는 엔티티를 재결정하는 연관 엔티티 재결정 모듈; 을 더 포함한다
선택적으로, 상기 보조적인 리콜 모듈은 구체적으로,
처리할 이미지를 후보 엔티티의 이미지에 매칭시켜, 처리할 이미지에 연관되는 엔티티를 결정하거나; 및/또는
처리할 이미지가 속하는 텍스트를 지식 그래프에 매칭시켜, 처리할 이미지에 연관되는 엔티티를 결정한다.
선택적으로, 당해 장치는,
지식 그래프로부터 물체에 연관되는 엔티티와 엣지 관계를 가지는 새로운 엔티티를 풀하는 풀 모듈; 및
풀된 새로운 엔티티 사이의 상호 관계에 따라, 새로운 엔티티 중에서 이미지에 연관되는 새로운 엔티티를 선택하는 새로운 엔티티 선택 모듈; 을 더 포함한다.
상술한 실시예의 상기 이미지를 처리하는 장치는 상술한 실시예의 상기 임의의 이미지를 처리하는 방법을 수행하는바, 그 기술 원리 및 발생하는 기술 효과는 유사한 것으로, 여기서는 구체적인 설명을 생략하기로 한다.
실시예4
도5는 본 발명의 실시예4의 서버의 개략적인 구조도이다. 도5는 본 발명의 구현 방식을 구현하기에 적합한 예시적인 서버(412)의 블록도를 도시한다. 도5가 나타내는 서버(412)는 단지 하나의 예시일 뿐, 본 발명의 실시예의 기능과 사용 범위에 대해 어떠한 한정이 되어서도 안된다.
도5에 도시한 바와 같이, 서버(412)는 범용 컴퓨팅 기기의 형식으로 표현된다. 서버(412)의 컴포넌트는 하나 또는 복수의 프로세서(416), 시스템 메모리(428), 서로 다른 시스템 컴포넌트(시스템 메모리(428) 및 프로세서(416) 포함)를 연결하는 버스(418)를 포함할 수 있으나 이에 한정되지 않는다.
버스(418)는 여러 유형의 버스 구조 중의 한 가지 또는 복수 가지를 표시하는바, 메모리 버스 또는 메모리 제어기, 주변 버스, 가속 그래픽 포트, 프로세서 또는 복수 가지 버스 구조에서의 임의의 버스 구조를 사용하는 로컬 버스를 포함한다. 예를 들면, 이러한 아키텍처는 산업 표준 아키텍처(ISA) 버스, 마이크로채널 아키텍처 버스(MAC) 버스, 확장 ISA버스, 비디오 전자공학 표준위원회(VESA) 로컬 버스 및 주변 컴포넌트 상호 연결(PCI) 버스를 포함하나 이에 한정되지 않는다.
서버(412)는 전형적으로 복수 가지 컴퓨터 시스템 판독 가능 매체를 포함한다. 이러한 매체는 임의의 서버(412)에 의하여 액세스될 수 있는 사용 가능 매체일 수 있는바, 휘발성 및 비휘발성 매체, 제거 가능한 및 제거 불가능한 매체를 포함할 수 있다.
시스템 메모리(428)는 휘발성 메모리 형식의 컴퓨터 시스템 판독 가능 매체, 예를 들어 랜덤 액세스 메모리(RAM)(430) 및/또는 고속 캐시 메모리를 포함할 수 있다. 서버(412)는 기타 제거 가능한/제거 불가능한, 휘발성/비휘발성 컴퓨터 시스템 저장 매체를 더 포함할 수 있다. 예를 들면, 저장 시스템(434)은 제거 불가능한 비휘발성 자기 매체(도5에 미도시, 통상적으로는 '하드 디스크 드라이브'임)에 대해 판독 및 기록하기 위한 것일 수 있다. 비록 도5에는 미도시하였지만, 제거 가능한 비휘발성 자기 디스크(예를 들어 '플로피 디스크')에 대해 판독 및 기록하기 위한 자기 디스크 드라이브, 그리고 제거 가능한 비휘발성 광디스크(예를 들어 CD-ROM, DVD-ROM 또는 기타 광 매체)에 대해 판독 및 기록하기 위한 광디스크 드라이브가 제공될 수 있다. 이러한 상황에서, 각 드라이브는 하나 또는 복수의 데이터 매체 인터페이스를 통해 버스(418)에 연결될 수 있다. 시스템 메모리(428)는 프로그램 제품을 적어도 하나 포함할 수 있는바, 당해 프로그램 제품은 한 그룹(예를 들어 적어도 하나)의 프로그램 컴포넌트를 구비하고 이러한 프로그램 컴포넌트는 본 발명의 각 실시예의 기능을 수행하도록 구성된다.
한 그룹(적어도 하나)의 프로그램 모듈(442)을 구비하는 프로그램/유틸리티 도구(440)는 예를 들어 시스템 메모리(428)에 저장될 수 있는바, 이러한 프로그램 모듈(442)은 운영 체제, 하나 또는 복수의 응용 프로그램, 기타 프로그램 컴포넌트 및 프로그램 데이터를 포함하나 이에 한정되지 않고, 이러한 예시에서의 각각의 또는 일종의 조합에는 네트워크 환경의 구현이 포함될 수 있다. 프로그램 모듈(442)은 통상적으로 본 발명에서 설명된 실시예 중의 기능 및/또는 방법을 수행한다.
서버(412)는 하나 또는 복수의 주변 기기(414)(예를 들어 키보드, 위치 지정 도구, 디스플레이(424) 등)와 통신할 수도 있고, 또한 하나 또는 복수의 사용자가 당해 서버(412)와 인터렉션이 가능하도록 하는 기기와 통신할 수도 있고, 및/또는 당해 서버(412)가 하나 또는 복수의 기타 컴퓨팅 기기와 통신할 수 있도록 하는 임의 기기(예를 들어 네트워크 카드, 모뎀 등)와 통신할 수도 있다. 이러한 통신은 입력/출력(I/O) 인터페이스(422)를 통해 진행할 수 있다. 그리고, 서버(412)는 또한 네트워크 어댑터(420)를 통해 하나 또는 복수의 네트워크(예를 들어 근거리 통신망(LAN), 광역 통신망(WAN) 및/또는 공용 네트워크, 예를 들어 인터넷)와 통신할 수 있다. 도시한 바와 같이, 네트워크 어댑터(420)는 버스(418)를 통해 서버(412)의 기타 모듈과 통신한다. 알아야 할 것은, 비록 도시하지 않았지만, 서버(412)에 결합하여 기타 하드웨어 및/또는 소프트웨어 모듈을 사용할 수 있는바, 여기에는 마이크로코드, 기기 드라이버, 리던던트 처리 유닛, 외장 자기 디스크 드라이브 어레이, RAID 시스템, 자기 테이프 드라이브 및 데이터 백업 저장 시스템 등이 포함되나 이에 한정되지 않는다.
프로세서(416)는 시스템 메모리(428)에 저장되어 있는 복수의 프로그램 중의 기타 프로그램 중 적어도 하나를 작동시키는 것을 통해 각 종 기능 애플리케이션 및 데이터 처리를 수행하는바, 예를 들면 본 발명의 실시예에 의하여 제공되는 이미지를 처리하는 방법을 수행한다.
실시예5
본 발명의 실시예5는 컴퓨터 실행가능 명령어를 포함하는 저장 매체를 제공하는바, 상기 컴퓨터 실행가능 명령어가 컴퓨터 프로세서에 의해 실행되는 경우, 이미지를 처리하는 방법이 수행된다.
본 발명의 실시예의 컴퓨터 저장 매체는 하나 또는 복수의 컴퓨터 판독 가능한 매체의 임의의 조합을 적용할 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터 판독 가능 신호 매체 또는 컴퓨터 판독 가능 저장 매체일 수 있다. 컴퓨터 판독 가능 저장 매체는 예를 들어 전기, 자기, 광, 전자기, 적외선, 또는 반도체의 시스템, 장치 또는 디바이스, 또는 이들의 임의의 조합일수 있으나 이에 한정되지 않는다. 컴퓨터 판독 가능 저장 매체의 더 구체적인 예(불완전 리스트)는, 하나 또는 복수의 도선을 구비하는 전기적 연결, 휴대용 컴퓨터 자기 디스크, 하드 디스크, 랜덤 액세스 메모리(RAM), 읽기 전용 메모리(ROM), 소거 및 프로그램 가능 읽기 전용 메모리(EPROM 또는 플래시 메모리), 광섬유, 휴대용 콤팩트 디스크 읽기 전용 메모리(CD-ROM), 광 저장 디바이스, 자기 저장 디바이스, 또는 상술한 것의 임의의 적합한 조합을 포함한다. 본 문서에서, 컴퓨터 판독 가능 저장 매체는 프로그램을 포함하거나 저장하는, 임의의 유형(tangible) 매체일 수 있고, 당해 프로그램은 명령어 실행 시스템, 장치 또는 디바이스에 의해 사용되거나 또는 이들과 결합되어 사용될 수 있다.
컴퓨터 판독 가능 신호 매체는 기저대역에서 또는 반송파의 일부분으로 전파되는 데이터 신호를 포함할 수 있고, 컴퓨터 판독 가능 프로그램 코드가 그 중에 탑재되어 있다. 이렇게 전파되는 데이터 신호에는 복수의 형식이 적용 가능한바, 이는 전자기 신호, 광 신호 또는 이들의 임의의 적합한 조합을 포함하나 이에 한정되지 않는다. 컴퓨터 판독가능 신호 매체는 또한 컴퓨터 판독가능 저장 매체 이외의 임의의 컴퓨터 판독가능 매체일 수 있고, 당해 컴퓨터 판독가능 매체는 명령어 실행 시스템, 장치 또는 디바이스에 의해 사용되거나 또는 이들과 결합되어 사용되는 프로그램을 송신, 전파, 또는 전송할 수 있다.
컴퓨터 판독가능 매체에 포함된 프로그램 코드는 임의의 적당한 매체를 사용하여 전송할 수 있는바, 이는 무선, 전선, 광케이블, RF 등, 또는 이들의 임의의 적합한 조합을 포함하나 이에 한정되지 않는다.
하나의 또는 복수의 프로그램 설계 언어 또는 그 조합으로 본 발명의 실시예의 조작을 실행하기 위한 컴퓨터 프로그램 코드를 작성할 수 있고, 상기 프로그램 설계 언어는 Java, Smalltalk, C++와 같은 객체 지향 프로그램 설계 언어를 포함하고, 또한 'C' 언어 또는 이와 유사한 프로그램 설계 언어와 같은 종래의 절차 지향 프로그램 설계 언어도 포함한다. 프로그램 코드는 사용자 컴퓨터에서 전부 실행되거나, 사용자 컴퓨터에서 일부 실행되거나, 하나의 독립적인 소프트웨어 패키지로서 실행되어 일부는 사용자 컴퓨터에서, 일부는 원격 컴퓨터에서 실행되거나, 혹은 원격 컴퓨터에서 또는 서버에서 전부 실행될 수 있다. 원격 컴퓨터와 관련되는 상황에서, 원격 컴퓨터는 근거리 통신망(LAN) 및 광역 통신망(WAN)을 포함하는 임의의 유형(tangible) 네트워크를 통해 사용자 컴퓨터에 연결되거나 외부 컴퓨터에 연결될 수 있다(예를 들어, 인터넷 서비스 제공자를 이용하고 인터넷을 통하여 연결된다).
유의하여야 할 것은, 상술한 것은 단지 본 발명의 보다 바람직한 실시예와 운용된 기술 원리일뿐이다. 당업자라면, 본 발명은 여기 기술된 특정 실시예에 한정되는 것이 아니고, 당업자에게 있어서 본 발명의 보호 범위를 이탈하지 않으면서 복수의 분명한 변화, 재조정 및 치환이 가능하다는 것을 이해하게 될 것이다. 따라서 비록 상술한 실시예를 통해 본 발명에 대하여 보다 상세히 설명하였으나 본 발명은 상술한 실시예에만 한정되는 것이 아니며 본 발명의 구상을 이탈하지 않은 상황에서 기타의 등가 실시예를 더 포함할 수 있고, 본 발명의 범위는 첨부된 특허청구범위의 범위에 의해 결정된다.

Claims (10)

  1. 이미지를 처리하는 방법에 있어서,
    처리할 이미지에 포함된 물체 유형에 따라, 처리할 이미지 내의 물체 특징 표시를 결정하는 단계; 및
    처리할 이미지 내의 물체 특징 표시 및 지식 그래프 내의 엔티티의 특징 표시에 따라 처리하여, 처리할 이미지 내의 물체에 연관되는 엔티티를 결정하는 단계; 를 포함하는,
    것을 특징으로 하는 이미지를 처리하는 방법.
  2. 제1항에 있어서,
    처리할 이미지에 포함된 물체 유형에 따라, 처리할 이미지 내의 물체 특징 표시를 결정하는 단계는,
    처리할 이미지에 포함된 물체 유형과 물체 이미지 영역에 따라, 처리할 이미지 내의 물체 특징 표시를 결정하는 단계를 포함하는,
    것을 특징으로 하는 이미지를 처리하는 방법.
  3. 제1항에 있어서,
    처리할 이미지 내의 물체 특징 표시 및 지식 그래프 내의 엔티티의 특징 표시에 따라 처리하여, 처리할 이미지 내의 물체에 연관되는 엔티티를 결정하는 단계는,
    처리할 이미지의 물체 특징 표시, 처리할 이미지의 특징 표시와 처리할 이미지에 연관되는 텍스트 특징 표시 및 지식 그래프 내의 엔티티의 특징 표시와 엔티티 속성 정보에 따라, 처리할 이미지 내의 물체에 연관되는 엔티티를 결정하는 단계를 포함하는,
    것을 특징으로 하는 이미지를 처리하는 방법.
  4. 제1항에 있어서,
    처리할 이미지 내의 물체 특징 표시 및 지식 그래프 내의 엔티티의 특징 표시에 따라 처리하여, 처리할 이미지 내의 물체에 연관되는 엔티티를 결정하는 단계 이후,
    처리할 이미지가 속하는 문장에 포함된 엔티티에 따라 문장 특징 표시를 결정하는 단계; 및
    상기 문장 특징 표시 및 처리할 이미지 내의 물체에 연관되는 엔티티에 따라, 이미지와 문장의 연관도를 결정하는 단계; 를 더 포함하는,
    것을 특징으로 하는 이미지를 처리하는 방법.
  5. 제1항 내지 제4항 중 어느 한 항에 있어서,
    처리할 이미지 내의 물체에 연관되는 엔티티를 결정하는 단계 이후, 상기 방법은,
    제1 리콜 방식을 결정된 엔티티의 리콜 방식으로 하는 단계;
    적어도 하나의 보조적인 리콜 방식을 통해, 처리할 이미지 내의 물체에 연관되는 엔티티를 결정하는 단계; 및
    각 엔티티의 리콜 방식 및 리콜 빈도에 따라, 처리할 이미지 내의 물체에 연관되는 엔티티를 재결정하는 단계; 를 더 포함하는,
    것을 특징으로 하는 이미지를 처리하는 방법.
  6. 제5항에 있어서,
    적어도 하나의 보조적인 리콜 방식을 통해, 처리할 이미지 내의 물체에 연관되는 엔티티를 결정하는 단계는,
    처리할 이미지를 후보 엔티티의 이미지에 매칭시켜, 처리할 이미지에 연관되는 엔티티를 결정하는 단계; 및/또는
    처리할 이미지가 속하는 텍스트를 지식 그래프에 매칭시켜, 처리할 이미지에 연관되는 엔티티를 결정하는 단계; 를 포함하는,
    것을 특징으로 하는 이미지를 처리하는 방법.
  7. 제1항에 있어서,
    처리할 이미지 내의 물체에 연관되는 엔티티를 결정하는 단계 이후,
    지식 그래프로부터 물체에 연관되는 엔티티와 엣지 관계를 가지는 새로운 엔티티를 풀(pull)하는 단계; 및
    풀된 새로운 엔티티 사이의 상호 관계에 따라, 새로운 엔티티 중에서 이미지에 연관되는 새로운 엔티티를 선택하는 단계; 를 더 포함하는,
    것을 특징으로 하는 이미지를 처리하는 방법.
  8. 이미지를 처리하는 장치에 있어서,
    처리할 이미지에 포함된 물체 유형에 따라, 처리할 이미지 내의 물체 특징 표시를 결정하는 특징 표시 결정 모듈; 및
    처리할 이미지 내의 물체 특징 표시 및 지식 그래프 내의 엔티티의 특징 표시에 따라 처리하여, 처리할 이미지 내의 물체에 연관되는 엔티티를 결정하는 연관 엔티티 결정 모듈; 을 포함하는,
    것을 특징으로 하는 이미지를 처리하는 장치.
  9. 서버에 있어서,
    하나 또는 복수의 프로세서; 및
    하나 또는 복수의 프로그램을 저장하는 메모리; 를 포함하고,
    상기 하나 또는 복수의 프로그램이 상기 하나 또는 복수의 프로세서에 의해 실행될 경우, 상기 하나 또는 복수의 프로세서가 제1항 내지 제7항 중 어느 한 항의 이미지를 처리하는 방법을 구현하는,
    것을 특징으로 하는 서버.
  10. 컴퓨터 프로그램이 저장되어 있는 컴퓨터 판독가능 저장 매체에 있어서,
    당해 프로그램이 프로세서에 의해 실행될 경우, 제1항 내지 제7항 중 어느 한 항의 이미지를 처리하는 방법이 구현되는,
    것을 특징으로 하는 컴퓨터 판독가능 저장 매체.
KR1020200002708A 2019-03-12 2020-01-08 이미지를 처리하는 방법, 장치, 서버 및 저장 매체 KR102459123B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201910184113.4A CN109918513B (zh) 2019-03-12 2019-03-12 图像处理方法、装置、服务器及存储介质
CN201910184113.4 2019-03-12

Publications (2)

Publication Number Publication Date
KR20200109239A true KR20200109239A (ko) 2020-09-22
KR102459123B1 KR102459123B1 (ko) 2022-10-26

Family

ID=66964354

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200002708A KR102459123B1 (ko) 2019-03-12 2020-01-08 이미지를 처리하는 방법, 장치, 서버 및 저장 매체

Country Status (5)

Country Link
US (1) US11475588B2 (ko)
EP (1) EP3709212A1 (ko)
JP (1) JP7132962B2 (ko)
KR (1) KR102459123B1 (ko)
CN (1) CN109918513B (ko)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110704650B (zh) * 2019-09-29 2023-04-25 携程计算机技术（上海）有限公司 Ota图片标签的识别方法、电子设备和介质
US11127135B1 (en) * 2020-03-23 2021-09-21 Caterpillar Paving Products Inc. System and method for correcting paving mat defects
WO2021237731A1 (zh) * 2020-05-29 2021-12-02 西门子股份公司 一种目标检测方法、装置和计算机可读介质
CN111949814A (zh) * 2020-06-24 2020-11-17 百度在线网络技术（北京）有限公司 搜索方法、装置、电子设备和存储介质
CN111930964B (zh) * 2020-09-17 2021-02-12 腾讯科技（深圳）有限公司 内容处理方法、装置、设备及存储介质
US20220147843A1 (en) * 2020-11-12 2022-05-12 Samsung Electronics Co., Ltd. On-device knowledge extraction from visually rich documents
CN112883735B (zh) * 2021-02-10 2024-01-12 卡奥斯数字科技(上海)有限公司 一种表单图像的结构化处理方法、装置、设备及存储介质
CN113486195A (zh) * 2021-08-17 2021-10-08 深圳华声医疗技术股份有限公司 超声图像处理方法、装置、超声设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017000793A1 (zh) * 2015-06-30 2017-01-05 芋头科技（杭州）有限公司 一种通过语音指令快速定位拍照的方法及拍照***
CN107833082A (zh) * 2017-09-15 2018-03-23 广州唯品会研究院有限公司 一种商品图片的推荐方法和装置
KR20180041204A (ko) * 2015-12-28 2018-04-23 구글 엘엘씨 사용자와 연관된 이미지들에 대한 라벨들의 생성

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170076222A1 (en) * 2015-09-14 2017-03-16 International Business Machines Corporation System and method to cognitively process and answer questions regarding content in images
CN107169535B (zh) * 2017-07-06 2023-11-03 谈宜勇 生物多光谱图像的深度学习分类方法及装置
CN108256307B (zh) * 2018-01-12 2021-04-02 重庆邮电大学 一种智能商务旅居房车的混合增强智能认知方法
US10157226B1 (en) * 2018-01-16 2018-12-18 Accenture Global Solutions Limited Predicting links in knowledge graphs using ontological knowledge
CN108171213A (zh) * 2018-01-22 2018-06-15 北京邮电大学 一种适用图文知识图谱的关系抽取方法
CN109271542A (zh) * 2018-09-28 2019-01-25 百度在线网络技术（北京）有限公司 封面确定方法、装置、设备及可读存储介质
US10949718B2 (en) * 2019-05-08 2021-03-16 Accenture Global Solutions Limited Multi-modal visual question answering system

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017000793A1 (zh) * 2015-06-30 2017-01-05 芋头科技（杭州）有限公司 一种通过语音指令快速定位拍照的方法及拍照***
KR20180041204A (ko) * 2015-12-28 2018-04-23 구글 엘엘씨 사용자와 연관된 이미지들에 대한 라벨들의 생성
CN107833082A (zh) * 2017-09-15 2018-03-23 广州唯品会研究院有限公司 一种商品图片的推荐方法和装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Fang Yuan et al, End-to-End Video Classification with Knowledge Graphs, arXiv:1711.01714v1(2017.11.06.) *
Somak Aditya et al, Image Understanding using vision and reasoning through Scene Description Graph, Computer Vision and Image Understanding(2018.08.)* *

Also Published As

Publication number Publication date
KR102459123B1 (ko) 2022-10-26
CN109918513A (zh) 2019-06-21
EP3709212A1 (en) 2020-09-16
US20200294267A1 (en) 2020-09-17
JP2020149686A (ja) 2020-09-17
CN109918513B (zh) 2023-04-28
JP7132962B2 (ja) 2022-09-07
US11475588B2 (en) 2022-10-18

Similar Documents

Publication Publication Date Title
KR20200109239A (ko) 이미지를 처리하는 방법, 장치, 서버 및 저장 매체
CN107492379B (zh) 一种声纹创建与注册方法及装置
CN110446063B (zh) 视频封面的生成方法、装置及电子设备
EP3872652B1 (en) Method and apparatus for processing video, electronic device, medium and product
US20220004811A1 (en) Method and apparatus of training model, device, medium, and program product
WO2020019591A1 (zh) 用于生成信息的方法和装置
US20220036068A1 (en) Method and apparatus for recognizing image, electronic device and storage medium
CN113780098B (zh) 文字识别方法、装置、电子设备以及存储介质
US11929100B2 (en) Video generation method, apparatus, electronic device, storage medium and program product
CN113761377A (zh) 基于注意力机制多特征融合的虚假信息检测方法、装置、电子设备及存储介质
JP2022185143A (ja) テキスト検出方法、テキスト認識方法及び装置
JP2023002690A (ja) セマンティックス認識方法、装置、電子機器及び記憶媒体
WO2022193911A1 (zh) 指令信息获取方法及装置、可读存储介质、电子设备
WO2022227759A1 (zh) 图像类别的识别方法、装置和电子设备
CN111881900B (zh) 语料生成、翻译模型训练、翻译方法、装置、设备及介质
CN114972910B (zh) 图文识别模型的训练方法、装置、电子设备及存储介质
US20220392243A1 (en) Method for training text classification model, electronic device and storage medium
CN111753836A (zh) 文字识别方法、装置、计算机可读介质及电子设备
CN116416640A (zh) 文档元素确定的方法、装置、设备以及存储介质
CN111507421A (zh) 一种基于视频的情感识别方法及装置
US20240013561A1 (en) Context-based review translation
WO2023058899A1 (en) Method and system for selecting marker for modifying a scene within an augmented reality based computing environment
US20240193920A1 (en) Method for predicting user personality by mapping multimodal information on personality expression space
US20230260131A1 (en) Image processing method, electronic device, and non-transitory computer-readable storage medium
JP2022126815A (ja) 表示方法、表示装置、電子機器、記憶媒体およびプログラム

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right