KR102166841B1 - System and method for improving image quality - Google Patents
System and method for improving image quality Download PDFInfo
- Publication number
- KR102166841B1 KR102166841B1 KR1020180147309A KR20180147309A KR102166841B1 KR 102166841 B1 KR102166841 B1 KR 102166841B1 KR 1020180147309 A KR1020180147309 A KR 1020180147309A KR 20180147309 A KR20180147309 A KR 20180147309A KR 102166841 B1 KR102166841 B1 KR 102166841B1
- Authority
- KR
- South Korea
- Prior art keywords
- image quality
- user command
- quality restoration
- similarity
- image
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 44
- 230000006872 improvement Effects 0.000 claims abstract description 50
- 238000001514 detection method Methods 0.000 claims abstract description 32
- 238000005516 engineering process Methods 0.000 claims description 7
- 230000008569 process Effects 0.000 claims description 6
- 238000004458 analytical method Methods 0.000 description 11
- 230000000694 effects Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 230000006835 compression Effects 0.000 description 3
- 238000007906 compression Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 210000002414 leg Anatomy 0.000 description 3
- 238000007726 management method Methods 0.000 description 3
- 238000012544 monitoring process Methods 0.000 description 3
- 210000001015 abdomen Anatomy 0.000 description 2
- 230000000903 blocking effect Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 239000003795 chemical substances by application Substances 0.000 description 2
- 238000003672 processing method Methods 0.000 description 2
- 235000002566 Capsicum Nutrition 0.000 description 1
- 206010012289 Dementia Diseases 0.000 description 1
- 208000032443 Masked facies Diseases 0.000 description 1
- 239000006002 Pepper Substances 0.000 description 1
- 235000016761 Piper aduncum Nutrition 0.000 description 1
- 235000017804 Piper guineense Nutrition 0.000 description 1
- 244000203593 Piper nigrum Species 0.000 description 1
- 235000008184 Piper nigrum Nutrition 0.000 description 1
- 210000000746 body region Anatomy 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 210000005069 ears Anatomy 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 210000002683 foot Anatomy 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 210000003127 knee Anatomy 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 150000003839 salts Chemical class 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 210000000689 upper leg Anatomy 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
-
- G06T5/001—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
- G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
- G06T1/60—Memory management
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/26—Speech to text systems
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Image Processing (AREA)
Abstract
본 발명은 영상 화질을 개선하는 시스템 및 그 방법에 관한 것이다.
본 발명에 따른 영상 화질 개선 시스템은 영상 데이터와 사용자 명령을 수신하는 수신부와, 사용자 명령에 따라 영상 데이터의 관심 객체에 대한 화질 개선을 수행하는 프로그램이 저장된 메모리 및 프로그램을 실행시키는 프로세서를 포함하고, 프로세서는 사용자 명령을 분석하여 영상 데이터의 검출 영역 및 화질 복원 방법을 판단하고, 화질 개선을 수행하는 것을 특징으로 한다. The present invention relates to a system and method for improving image quality.
An image quality improvement system according to the present invention includes a receiving unit for receiving image data and a user command, a memory storing a program for improving image quality of an object of interest in image data according to a user command, and a processor for executing the program, The processor is characterized in that the processor analyzes the user command to determine the detection area of the image data and the image quality restoration method, and performs image quality improvement.
Description
본 발명은 영상 화질을 개선하는 시스템 및 그 방법에 관한 것이다. The present invention relates to a system and method for improving image quality.
종래 기술에 따른 영상 화질 개선을 위해서는 로컬 컴퓨터에 라이선스를 획득한 소프트웨어를 설치하여야 하고, 소프트웨어 사용법을 익혀야 하는 등 사용에 어려움이 많은 문제점이 있다. In order to improve the image quality according to the prior art, there are many problems in use, such as installing licensed software on a local computer and learning how to use the software.
또한, 종래 기술에 따르면 영상 화질 개선을 위해, 사용자가 일일이 영상을 보면서 특정 영역을 선택하고, 필터 또는 화질 개선 조치를 선택하여 적용하는 일련의 과정을 수행하여야 하므로, 화질 개선을 수행해야 할 영상 정보가 대량으로 존재하는 경우, 일일이 모든 작업을 수행하기 어려운 문제점이 있다. In addition, according to the prior art, in order to improve the image quality, the user must select a specific area while viewing the image, and perform a series of processes of selecting and applying a filter or image quality improvement measure. If there is a large amount of, there is a problem that it is difficult to perform all the tasks one by one.
본 발명은 전술한 문제점을 해결하기 위하여 제안된 것으로, 서비스 요청자로부터 수신한 문자(text) 또는 음성(voice)을 통해 화질 개선 방향 또는 화질 개선 목적의 지시가 가능하며, 복잡한 사용자 인터페이스 없이도 대량의 데이터 처리가 가능한 영상 화질 개선 시스템 및 방법을 제공하는데 그 목적이 있다. The present invention has been proposed in order to solve the above-described problem, and it is possible to indicate the direction of image quality improvement or the purpose of image quality improvement through text or voice received from a service requester, and a large amount of data is required without a complicated user interface. An object of the present invention is to provide a system and method for improving image quality capable of processing.
본 발명에 따른 영상 화질 개선 시스템은 영상 데이터와 사용자 명령을 수신하는 수신부와, 사용자 명령에 따라 영상 데이터의 관심 객체에 대한 화질 개선을 수행하는 프로그램이 저장된 메모리 및 프로그램을 실행시키는 프로세서를 포함하고, 프로세서는 사용자 명령을 분석하여 영상 데이터의 검출 영역 및 화질 복원 방법을 판단하고, 화질 개선을 수행하는 것을 특징으로 한다. An image quality improvement system according to the present invention includes a receiving unit for receiving image data and a user command, a memory storing a program for improving image quality of an object of interest in image data according to a user command, and a processor for executing the program, The processor is characterized in that the processor analyzes the user command to determine the detection area of the image data and the image quality restoration method, and performs image quality improvement.
본 발명에 따른 영상 화질 개선 방법은 영상 데이터와 사용자 명령을 수신하는 단계와, 사용자 명령을 분석하여 사용자의 의도를 파악하는 단계 및 사용자의 의도에 따라 영상 데이터의 검출 영역에 대해 화질 복원을 수행하여, 화질 개선을 수행하는 단계를 포함하는 것을 특징으로 한다. The image quality improvement method according to the present invention includes the steps of receiving image data and a user command, analyzing the user command to determine the user's intention, and performing image quality restoration on the detection area of the image data according to the user's intention. , And performing image quality improvement.
본 발명의 실시예에 따르면, 사용자 명령(음성, 문자 등)을 분석하여 사용자의 의도를 파악하고, 사용자의 의도에 따라 영상 내 관심 객체에 대한 화질 개선을 수행하는 것이 가능하여, 복잡한 사용자 인터페이스 없이도 화질 개선 서비스를 제공하는 것이 가능한 효과가 있다. According to an embodiment of the present invention, it is possible to determine the user's intention by analyzing user commands (voice, text, etc.), and to improve the image quality of the object of interest in the image according to the user's intention, without a complicated user interface. There is a possible effect of providing image quality improvement services.
본 발명의 실시예에 따르면, VMS(Video Management System) 운용 또는 모니터링의 경우와 같이, 대량의 데이터를 수시로 분석하고 관심 객체에 대한 고화질의 정보를 획득하여야 하는 경우, 사용이 편리하고 영상 화질 개선의 신뢰성을 증대하는 효과가 있다. According to an embodiment of the present invention, when it is necessary to analyze a large amount of data from time to time and obtain high-definition information about an object of interest, such as in the case of VMS (Video Management System) operation or monitoring, it is convenient to use and improve image quality. There is an effect of increasing the reliability.
본 발명의 효과는 이상에서 언급한 것들에 한정되지 않으며, 언급되지 아니한 다른 효과들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.The effects of the present invention are not limited to those mentioned above, and other effects that are not mentioned will be clearly understood by those skilled in the art from the following description.
도 1및 도 2는 본 발명의 실시예에 따른 영상 화질 개선 시스템을 나타내는 블록도이다.
도 3은 본 발명의 실시예에 따른 영상 화질 개선 방법을 나타내는 순서도이다. 1 and 2 are block diagrams illustrating a system for improving image quality according to an embodiment of the present invention.
3 is a flowchart illustrating a method of improving image quality according to an embodiment of the present invention.
본 발명의 전술한 목적 및 그 이외의 목적과 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. The above-described objects and other objects, advantages, and features of the present invention, and methods of achieving them will become apparent with reference to the embodiments described below in detail together with the accompanying drawings.
그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 이하의 실시예들은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 목적, 구성 및 효과를 용이하게 알려주기 위해 제공되는 것일 뿐으로서, 본 발명의 권리범위는 청구항의 기재에 의해 정의된다. However, the present invention is not limited to the embodiments disclosed below, but may be implemented in a variety of different forms, and only the following embodiments are for the purpose of the invention to those of ordinary skill in the art, It is only provided to easily inform the composition and effect, and the scope of the present invention is defined by the description of the claims.
한편, 본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성소자, 단계, 동작 및/또는 소자가 하나 이상의 다른 구성소자, 단계, 동작 및/또는 소자의 존재 또는 추가됨을 배제하지 않는다.Meanwhile, terms used in the present specification are for explaining embodiments and are not intended to limit the present invention. In this specification, the singular form also includes the plural form unless specifically stated in the phrase. As used in the specification, "comprises" and/or "comprising" refers to the presence of one or more other components, steps, actions and/or elements in which the recited component, step, operation and/or element is Or does not preclude addition.
도 1은 본 발명의 실시예에 따른 영상 화질 개선 시스템을 나타내는 블록도이다. 1 is a block diagram illustrating an image quality improvement system according to an embodiment of the present invention.
본 발명의 실시예에 따른 영상 화질 개선 시스템은 영상 데이터와 사용자 명령을 수신하는 수신부(100)와, 사용자 명령에 따라 영상 데이터(정지 영상, 동영상)의 관심 객체에 대한 화질 개선을 수행하는 프로그램이 저장된 메모리(200) 및 프로그램을 실행시키는 프로세서(300)를 포함하고, 프로세서(300)는 사용자 명령을 분석하여 영상 데이터의 검출 영역 및 화질 복원 방법을 판단하고, 화질 개선을 수행한다. An image quality improvement system according to an embodiment of the present invention includes a receiving
본 발명의 실시예에 따른 수신부(100)는 음성 또는 텍스트 형태로 사용자 명령을 수신하며, 수신부(100)가 음성 정보를 수신한 경우, 프로세서(300)는 이를 텍스트 형태의 문장으로 변환시킨다. The
프로세서(300)는 사용자 명령에 대해 형태소 단위로 분석하여 주요 단어를 획득하고, 주요 단어에 대해 검출 가능 영역과 관련한 제1사전 및 화질 복원 방법과 관련한 제2 사전에 포함된 단어와의 유사도를 검출한다. The
제1 사전은 검출 가능한 영역들에 대한 연관 단어들을 매핑한 사전이고, 제2 사전은 화질 복원 처리 기술과 관련한 연관 단어들을 매핑한 사전이다.The first dictionary is a dictionary in which words related to detectable regions are mapped, and the second dictionary is a dictionary in which related words related to image quality restoration processing technology are mapped.
프로세서(300)는 사용자 명령의 분석 결과 획득한 주요 단어와, 제1 사전 및 제2 사전에 포함되는 단어와의 유사도를 계산하고, 유사도가 기설정된 임계값 이상인 영역들에 대해 영역 검출을 실시하고, 유사도가 기설정된 임계값 이상인 화질복원 처리 기술을 사용하여 화질복원 처리를 수행한다. The
영상 데이터가 동영상인 경우, 프로세서(300)는 동영상으로부터 정지영상을 발췌하고, 영역 검출 및 화질 복원을 반복적으로 처리한다. When the image data is a moving picture, the
도 2는 본 발명의 실시예에 따른 영상 화질 개선 시스템을 나타내는 블록도이다.2 is a block diagram illustrating a system for improving image quality according to an embodiment of the present invention.
본 발명의 실시예에 따르면, 서비스 요청자로부터 수신한 영상(정지 영상 또는 동영상)에 대해, 화질 개선이 필요한 관심 객체(O_0)를 화질 개선된 관심 객체(O_1)로 변환한다. According to an embodiment of the present invention, for an image (still image or video) received from a service requester, an object of interest O_0 that needs to be improved in image quality is converted into an object of interest O_1 with improved image quality.
본 발명의 실시예에 따르면, 검출 영역(A_0)에 대해서 화질을 개선하되 최종 제공할 영상은 화질 개선된 관심객체(O_1)에 대해서만 제공하거나, 전송 받은 영상과 같은 크기의 영상(I_1)으로 제공할 수도 있다. According to an embodiment of the present invention, the image quality is improved for the detection area A_0, but the final image to be provided is provided only for the object of interest (O_1) with improved image quality, or as an image (I_1) having the same size as the transmitted image. You may.
당업자의 이해를 돕기 위하여, 서비스 요청자는 Video Management System(VMS)의 모니터링 요원이며, "길을 잃은 7세 어린이의 얼굴을 찾아서 흐려짐 없이 밝고 선명하게 만들어주세요", "치매에 걸린 70대 어르신의 얼굴을 찾아서 화질을 높여주세요", "가출한 10대 청소년을 찾아서 보여 주세요", "JPEG으로 압축된 영상을 복원해 주세요"와 같은 요청임을 가정한다. For the understanding of those skilled in the art, the service requester is a monitoring agent of the Video Management System (VMS), "Find the face of a lost 7-year-old child and make it bright and clear without blurring", "The face of an elderly person in their 70s with dementia. It is assumed that requests such as "Please find and improve the image quality", "Find and show a runaway teenager", "Please restore JPEG compressed video".
또한, 서비스 요청자는 경찰서에 근무하는 직원이며, "검은색 머리의 180cm 키의 사람의 화질을 높여주세요", "OO시 OO분, 특정 OO 지역 자동차들의 화질을 높여서 출력해 주세요", "빨간색 자동차를 선명하게 보여 주세요", "마스크를 쓴 인물을 찾아 입 모양을 복원해 주세요" 와 같은 요청임을 가정한다. In addition, the service requester is an employee working at the police station, "Please increase the image quality of a person with a height of 180cm with black hair", "Please increase the image quality of a person with black hair and a height of 180cm", "In OO, please increase the image quality of cars in a specific OO area", "Red car Suppose the request is such as "Please show me clearly" or "Find a person wearing a mask and restore the shape of the mouth".
본 발명의 실시예에 따르면, 사용자 명령으로서 음성 정보를 수신하는 음성 인식부(310)와, 사용자 명령으로서 텍스트 정보를 수신하는 문장 분석부(320)를 포함한다. According to an embodiment of the present invention, it includes a
음성 인식부(310)는 Speech To Text 엔진을 사용하여, Text 형태의 문장을 만들고, Text 형태의 문장은 문장 분석부(320)의 입력으로 제공된다. The
문장 분석부(320)는 전술한 바와 같이 서비스 요청자로부터 직접 문장을 수신하는 것이 가능하고, 또한 음성 인식부(310)를 통해 텍스트 문장을 제공받을 수도 있다. As described above, the
본 발명의 실시예에 따른 음성 인식부(310) 및 문장 분석부(320)는 "어떤 영역들을 검출해야 하는 지를 파악하기 위한 정보(검출 영역)" 및 "어떤 방법으로 화질을 복원할 지를 획득하는 정보(화질 복원 방법)"를 얻는 기능을 수행한다.The
이하에서는, "어떤 영역들을 검출해야 하는 지를 파악하기 위한 정보(검출 영역)"를 획득하는 실시예에 대해 설명한다. Hereinafter, an embodiment of acquiring "information for grasping which areas to be detected (detection areas)" will be described.
본 발명의 실시예에 따른 영역 검출부(330)는 문장 분석부(320)로부터, 사용자 명령을 분석한 결과를 수신한다. The
이 때, 영역 검출부(330)는 영상처리를 통해 "얼굴영역", "몸영역", "다리영역", "전신영역", "자동차영역"을 검출하며, 검출 가능한 영역들은 지속적으로 추가되어 성능이 개선될 수 있다. At this time, the
영역 검출부(330)는 검출 가능한 영역들에 대한 연관 단어들을 매핑한 사전(제1 사전)을 이용하여, 검출 영역을 판단한다. The
예를 들어 아래 [표 1]과 같이, 검출 가능한 영역들에 대한 연관 단어들이 매핑되며, 이런 정보들은 주기적으로 갱신되거나 새롭게 추가될 수 있다. For example, as shown in Table 1 below, words associated with detectable regions are mapped, and such information may be periodically updated or newly added.
연관 단어들은 검출 가능한 영역들에 대해서 여러 번 쓰일 수도 있는데, 아래 [표 1]에서는 얼굴영역과 전신영역과 관련된 연관단어들에 "어르신", "어린이"와 같은 단어들이 함께 쓰인 것을 확인할 수 있다.The related words may be used multiple times for detectable areas. In Table 1 below, it can be seen that words such as "elderly" and "children" are used together in the related words related to the face area and the whole body area.
문장 분석부(320)는 서비스 요청자가 제공한 사용자 명령에 해당하는 문장 정보(입력된 문장 또는 입력된 음성을 변환한 결과로서의 문장)에 대해, 형태소 단위로 분해하여 주요 단어를 획득한다. The
예컨대 사용자 명령으로서 "길을 잃은 7세 어린이의 얼굴을 찾아서 흐려짐 없이 밝고 선명하게 만들어주세요" 라는 문장이 입력되면, {"길", "잃은", "7세", "어린이", "얼굴", "흐려짐", "밝고", "선명"}이 주요 키워드가 된다. For example, if the sentence "Find a lost 7-year-old child's face and make it bright and clear without blurring" is entered as a user command, {"way", "lost", "7 years old", "child", "face" , "Blurred", "bright", "clear"} are the main keywords.
본 발명의 실시예에 따르면, 영역 검출부(330)는 획득된 주요 키워드를 제1 사전에 포함되는 단어와 상호 비교하여, 코사인(cosine) 유사도와 같은 매트릭(metric)을 사용해서 유사도를 계산한다. According to an embodiment of the present invention, the
본 발명의 실시예에 따른 영역 검출부(330)는 임계값 이상의 유사도를 갖는 영역들에 대해서 영역 검출을 실시한다. The
전술한 예시 문장에 따르면, 얼굴영역, 전신영역에 대한 검출을 요청한 것으로 파악될 가능성이 높다. According to the above example sentences, it is highly likely to be identified as requesting detection of a face region and a whole body region.
유사도 계산과 관련해서는 단어집합을 고차원 벡터 공간에 매핑하고 유사도 계산 등을 지원하는 word2vec 기술, TF-IDF(Term Frequency - Inverse Document Frequency), Latent Semantic Analysis, Latent Dirichlet allocation과 같은 문장 분석 기법들을 활용한다. Regarding similarity calculations, sentence analysis techniques such as word2vec technology, TF-IDF (Term Frequency-Inverse Document Frequency), Latent Semantic Analysis, and Latent Dirichlet allocation, which map word sets to high-dimensional vector space and support similarity calculation, are used. .
이하에서는, "어떤 방법으로 화질을 복원할 지를 획득하는 정보(화질 복원 방법)"를 획득하는 실시예에 대해 설명한다. Hereinafter, an embodiment of acquiring "information for acquiring how to restore image quality (image quality restoration method)" will be described.
본 발명의 실시예에 따른 화질 복원부(340)는 영상 처리 방법으로서 압축코덱에따른화질개선, 해상도개선, 해상도개선, 노이즈개선, 심도개선, 밝기개선, 기하학적왜곡개선, 가려짐얼굴복원, 색상개선이 가능하다. The image
이러한 영상 처리 방법들은 지속적으로 추가되고, 성능이 개선될 수 있다. These image processing methods are continuously added, and performance may be improved.
화질 복원부(340)는 아래 [표 2]와 같이, 화질복원 처리기술과 연관되는 단어들을 포함하는 사전(제2 사전)을 이용한다. The image
문장 분석부(320)는 서비스 요청자가 제공한 사용자 명령에 해당하는 문장 정보(입력된 문장 또는 입력된 음성을 변환한 결과로서의 문장)에 대해, 형태소 단위로 분해하여 주요 단어를 획득한다. The
예컨대, 전술한 바와 같이 사용자 명령으로서 "길을 잃은 7세 어린이의 얼굴을 찾아서 흐려짐 없이 밝고 선명하게 만들어주세요" 라는 문장이 입력되면, 화질복원 관련 연관 사전(제2 사전)과 관련해서는 "흐려짐", "밝고", "선명"이 주요 핵심 키워드가 된다.For example, as a user command as described above, if the sentence "Find the face of a lost 7-year-old child and make it bright and clear without blurring" is input, it is "blurred" in relation to the associated dictionary (second dictionary) related to image quality restoration. , "Bright" and "clear" are the key keywords.
화질 복원부(340)는 주요 키워드를 제2 사전에 있는 단어와 상호 비교하여 코사인(cosine) 유사도와 같은 매트릭(metric)을 사용해서 유사도를 계산한다. The image
화질 복원부(340)는 이러한 유사도 계산 결과, 임계값 이상의 유사도를 가지는 화질복원 처리기술을 사용하여 화질복원 처리를 수행한다. As a result of calculating the similarity, the image
전술한 예시에서는 해상도개선 및 밝기개선과 관련한 화질개선 처리가 사용될 가능성이 높아진다.In the above-described example, the possibility of using image quality improvement processing related to resolution improvement and brightness improvement is increased.
본 발명의 실시예에 따르면, 서비스 요청자는 다수의 처리 영상을 제공받을 수 있는데, 예컨대 "얼굴영역", "전신영역"들을 검출하고, 각각의 영역에 대해서 해상도개선, 노이즈개선이 진행되었다면, "얼굴영역"에 대해서 "해상도개선", "얼굴영역"에 대해서 "노이즈개선", "전신영역"에 대해서 "해상도개선"과 "노이즈개선"이 동시 처리 되는 등의 결과 영상을 제공받을 수 있다. According to an embodiment of the present invention, a service requester may be provided with a plurality of processed images. For example, if “face area” and “telegraph area” are detected, and resolution improvement and noise improvement are performed for each area, “ Results such as "resolution improvement" for the face area", "noise improvement" for the "face area", and the simultaneous processing of "resolution improvement" and "noise improvement" for the "body area" can be provided.
본 발명의 실시예에 따르면, 서비스를 제공받고자 하는 서비스 요청자는 화질개선이 필요한 정지영상이나 동영상을 서비스 플랫폼에 제공하고, 텍스트나 음성을 통해 화질개선 방향이나 화질개선의 목적을 지시하는 것이 가능하다. According to an embodiment of the present invention, a service requester who wants to receive a service can provide a still image or video that needs quality improvement to the service platform, and indicate the direction of image quality improvement or the purpose of image quality improvement through text or voice. .
따라서, 서비스 요청자는 복잡한 사용자 인터페이스 없이도 대량의 데이터에 대한 처리를 요청하는 것이 가능하다. Accordingly, a service requester can request processing of a large amount of data without a complicated user interface.
본 발명의 실시예에 따르면, 서비스 요청자가 영상 화질 개선에 대한 상세한 기술적 노하우나 경험을 가지고 있지 않더라도, 화질이 개선된 영상을 용이하게 획득하는 것이 가능하다. According to an embodiment of the present invention, even if a service requester does not have detailed technical know-how or experience in improving image quality, it is possible to easily obtain an image with improved image quality.
전술한 바와 같이, 본 발명의 실시예에 따른 서비스 요청자가 특정 지방자치단체에서 운영하는 Video Management System(VMS)의 모니터링 요원인 경우, "길을 잃은 7세 어린이의 얼굴을 찾아서 흐려짐 없이 밝고 선명하게 만들어주세요"라고 문자(text)나 음성(voice)으로 지시를 내리면, 본 발명의 실시예에 따른 서비스 플랫폼은 사용자 의도에 부합하도록 관심 객체에 대한 화질 개선 처리를 수행하여, 복원 영상을 제공하는 것이 가능하다. As described above, when the service requester according to the embodiment of the present invention is a monitoring agent of the Video Management System (VMS) operated by a specific local government, "Find the face of a lost 7-year-old child and make it bright and clear without blurring. Please make "as lowering an instruction to a character (text) or voice (voice), the service platform according to an embodiment of the present invention is to perform the image quality improvement processing for the object of interest to meet the user's intention, provide a reconstructed image It is possible.
도 3은 본 발명의 실시예에 따른 영상 화질 개선 방법을 나타내는 순서도이다. 3 is a flowchart illustrating a method of improving image quality according to an embodiment of the present invention.
본 발명의 실시예에 따른 영상 화질 개선 방법은 영상 데이터와 사용자 명령을 수신하는 단계(S310)와, 사용자 명령을 분석하여 사용자의 의도를 파악하는 단계(S320) 및 사용자의 의도에 따라 영상 데이터의 검출 영역에 대해 화질 복원을 수행하여, 화질 개선을 수행하는 단계(S330)를 포함한다. The image quality improvement method according to an embodiment of the present invention includes the step of receiving image data and a user command (S310), analyzing the user command to determine the user's intention (S320), and the image data according to the user's intention. And performing image quality improvement by performing image quality restoration on the detection area (S330).
S310 단계는 사용자 명령으로 음성 정보를 수신한 경우, 음성 정보를 텍스트 형태의 문장으로 변환시킨다. In step S310, when voice information is received by a user command, the voice information is converted into a text form.
S320 단계는 사용자 명령을 형태소 단위로 분석하여 획득한 주요 단어와, 검출 가능 영역에 대한 연관 단어를 포함하는 제 1사전 및 화질 복원 방법에 대한 연관 단어를 포함하는 제2 사전의 유사도를 계산하여, 사용자의 의도(관심 객체 및 화질 복원 방법에 관한 요청 사항)를 파악한다. In step S320, the similarity of the first dictionary including the main word obtained by analyzing the user command in morpheme units, the first dictionary including the related word for the detectable region, and the second dictionary including the related word for the image quality restoration method is calculated, Identify the user's intentions (objects of interest and requests for image quality restoration methods).
S330 단계는 영상 데이터가 동영상인 경우, 발췌된 정지 영상의 검출 영역에 대한 화질 복원 과정을 반복 수행한다. In step S330, when the image data is a moving picture, the image quality restoration process for the detection area of the extracted still image is repeatedly performed.
한편, 본 발명의 실시예에 따른 영상 화질 개선 방법은 컴퓨터 시스템에서 구현되거나, 또는 기록매체에 기록될 수 있다. 컴퓨터 시스템은 적어도 하나 이상의 프로세서와, 메모리와, 사용자 입력 장치와, 데이터 통신 버스와, 사용자 출력 장치와, 저장소를 포함할 수 있다. 전술한 각각의 구성 요소는 데이터 통신 버스를 통해 데이터 통신을 한다.Meanwhile, the method for improving image quality according to an embodiment of the present invention may be implemented in a computer system or recorded on a recording medium. The computer system may include at least one processor, memory, user input device, data communication bus, user output device, and storage. Each of the above-described components communicates data through a data communication bus.
컴퓨터 시스템은 네트워크에 커플링된 네트워크 인터페이스를 더 포함할 수 있다. 프로세서는 중앙처리 장치(central processing unit (CPU))이거나, 혹은 메모리 및/또는 저장소에 저장된 명령어를 처리하는 반도체 장치일 수 있다. The computer system may further include a network interface coupled to the network. The processor may be a central processing unit (CPU) or a semiconductor device that processes instructions stored in a memory and/or storage.
메모리 및 저장소는 다양한 형태의 휘발성 혹은 비휘발성 저장매체를 포함할 수 있다. 예컨대, 메모리는 ROM 및 RAM을 포함할 수 있다.The memory and storage may include various types of volatile or nonvolatile storage media. For example, the memory may include ROM and RAM.
따라서, 본 발명의 실시예에 따른 영상 화질 개선 방법은 컴퓨터에서 실행 가능한 방법으로 구현될 수 있다. 본 발명의 실시예에 따른 영상 화질 개선 방법이 컴퓨터 장치에서 수행될 때, 컴퓨터로 판독 가능한 명령어들이 본 발명에 따른 화질 개선 방법을 수행할 수 있다.Accordingly, the method for improving image quality according to an embodiment of the present invention may be implemented in a computer-executable method. When the image quality improvement method according to an embodiment of the present invention is performed in a computer device, computer-readable instructions may perform the image quality improvement method according to the present invention.
한편, 상술한 본 발명에 따른 영상 화질 개선 방법은 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현되는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록 매체로는 컴퓨터 시스템에 의하여 해독될 수 있는 데이터가 저장된 모든 종류의 기록 매체를 포함한다. 예를 들어, ROM(Read Only Memory), RAM(Random Access Memory), 자기 테이프, 자기 디스크, 플래시 메모리, 광 데이터 저장장치 등이 있을 수 있다. 또한, 컴퓨터로 판독 가능한 기록매체는 컴퓨터 통신망으로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 읽을 수 있는 코드로서 저장되고 실행될 수 있다.Meanwhile, the above-described method for improving image quality according to the present invention may be implemented as a computer-readable code on a computer-readable recording medium. The computer-readable recording medium includes all kinds of recording media in which data that can be decoded by a computer system is stored. For example, there may be read only memory (ROM), random access memory (RAM), magnetic tape, magnetic disk, flash memory, optical data storage device, and the like. In addition, the computer-readable recording medium can be distributed to a computer system connected through a computer communication network, and stored and executed as code that can be read in a distributed manner.
이제까지 본 발명의 실시예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다. So far, we have looked at the center of the embodiments of the present invention. Those of ordinary skill in the art to which the present invention pertains will be able to understand that the present invention can be implemented in a modified form without departing from the essential characteristics of the present invention. Therefore, the disclosed embodiments should be considered from an illustrative point of view rather than a limiting point of view. The scope of the present invention is shown in the claims rather than the foregoing description, and all differences within the scope equivalent thereto should be construed as being included in the present invention.
100: 수신부 200: 메모리
300: 프로세서 310: 음성 인식부
320: 문장 분석부 330: 영역 검출부
340: 화질 복원부
I_0: 제공 받은 영상 I_1: 제공할 영상
O_0: 화질 개선이 필요한 관심 객체
O_1: 화질 개선된 관심 객체
A_0: 검출 영역 A_1: 화질 개선 영역 100: receiver 200: memory
300: processor 310: speech recognition unit
320: sentence analysis unit 330: region detection unit
340: image quality restoration unit
I_0: Video received I_1: Video to be provided
O_0: Object of interest in need of image quality improvement
O_1: Object of interest with improved image quality
A_0: detection area A_1: image quality improvement area
Claims (8)
상기 사용자 명령에 따라 상기 영상 데이터의 관심 객체에 대한 화질 개선을 수행하는 프로그램이 저장된 메모리; 및
상기 프로그램을 실행시키는 프로세서를 포함하되,
상기 프로세서는 상기 사용자 명령을 분석하여 상기 영상 데이터의 검출 영역 및 화질 복원 방법을 판단하고, 화질 개선을 수행하고,
상기 프로세서는 문장 정보로 수신되는 상기 사용자 명령을 형태소 단위로 분석하여 검출 영역에 대한 주요 키워드 및 화질복원 방법에 관한 주요 키워드를 획득하고, 상기 검출 영역에 대한 주요 키워드와 제1 사전에 포함되는 검출 가능 영역에 대한 연관 단어의 제1 유사도를 계산하고, 상기 화질복원 방법에 관한 주요 키워드와 제2 사전에 포함되는 화질복원 처리기술에 대한 연관 단어의 제2 유사도를 계산하여, 상기 제1 유사도가 임계값 이상인 유사도를 갖는 영역에 대해 영역 검출을 수행하고, 상기 제2 유사도가 임계값 이상인 유사도를 갖는 화질복원 처리 기술을 사용하여 검출된 영역에 대한 화질복원 처리를 수행하는 것
인 영상 화질 개선 시스템.
A receiver for receiving image data and a user command;
A memory storing a program for improving the image quality of the object of interest of the image data according to the user command; And
Including a processor for executing the program,
The processor analyzes the user command to determine a detection area of the image data and an image quality restoration method, and performs image quality improvement,
The processor analyzes the user command received as sentence information in morpheme units to obtain a main keyword for the detection area and a main keyword for the image quality restoration method, and the main keyword for the detection area and the detection included in the first dictionary Calculate a first degree of similarity of the related word to the possible region, calculate a second degree of similarity between the main keyword related to the image quality restoration method and the related word to the image quality restoration processing technology included in the second dictionary, and the first similarity degree Performing region detection on a region having a similarity greater than or equal to a threshold value, and performing image quality restoration processing on the detected region using an image quality restoration processing technology having a similarity greater than or equal to the second similarity value
Image quality improvement system.
상기 수신부가 상기 사용자 명령으로 음성 정보를 수신한 경우, 상기 프로세서는 이를 텍스트 형태의 문장으로 변환시키고, 상기 검출 영역 및 화질 복원 방법을 판단하는 것
인 영상 화질 개선 시스템.
The method of claim 1,
When the receiving unit receives the voice information by the user command, the processor converts it into a text form and determines the detection area and the image quality restoration method.
Image quality improvement system.
(b) 상기 사용자 명령을 분석하여 사용자의 의도를 파악하는 단계; 및
(c) 상기 사용자의 의도에 따라 상기 영상 데이터의 검출 영역에 대해 화질 복원을 수행하여, 화질 개선을 수행하는 단계를 포함하되,
상기 (b) 단계는 문장 정보로 수신되는 상기 사용자 명령을 형태소 단위로 분석하여 검출 대상 영역에 대한 주요 키워드 및 화질복원 방법에 관한 주요 키워드를 획득하고, 상기 검출 대상 영역에 대한 주요 키워드와 제1 사전에 포함되는 검출 가능 영역에 대한 연관 단어의 제1 유사도를 계산한 결과에 따라 상기 검출 영역을 결정하고, 상기 화질복원 방법에 관한 주요 키워드와 제2 사전에 포함되는 화질복원 처리기술에 대한 연관 단어의 제2 유사도를 계산한 결과에 따라 화질복원 처리 기술을 결정하는 것
인 영상 화질 개선 방법.
(a) receiving image data and a user command;
(b) analyzing the user command to understand the intention of the user; And
(c) performing image quality restoration by performing image quality restoration on the detection area of the image data according to the intention of the user,
In step (b), the user command received as sentence information is analyzed in morpheme units to obtain a main keyword for the detection target region and a main keyword for the image quality restoration method, and the main keyword for the detection target region and a first The detection area is determined according to the result of calculating the first similarity of the associated word with the detectable area included in the dictionary, and is associated with the main keyword related to the image quality restoration method and the image quality restoration processing technology included in the second dictionary. Determining image quality restoration processing technology based on the result of calculating the second similarity of words
Image quality improvement method.
상기 (a) 단계는 상기 사용자 명령으로 음성 정보를 수신한 경우, 상기 음성 정보를 텍스트 형태의 문장으로 변환시키는 것
인 영상 화질 개선 방법.
The method of claim 5,
In the step (a), when the voice information is received by the user command, converting the voice information into a text form
Image quality improvement method.
상기 (c) 단계는 상기 영상 데이터가 동영상인 경우, 발췌된 정지 영상의 검출 영역에 대한 화질 복원 과정을 반복 수행하는 것
인 영상 화질 개선 방법. The method of claim 5,
In the step (c), when the image data is a moving picture, repeating the image quality restoration process for the detection area of the extracted still image
Image quality improvement method.
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020180147309A KR102166841B1 (en) | 2018-11-26 | 2018-11-26 | System and method for improving image quality |
| PCT/KR2018/015028 WO2020111333A1 (en) | 2018-11-26 | 2018-11-30 | Image quality improvement system and method thereof |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020180147309A KR102166841B1 (en) | 2018-11-26 | 2018-11-26 | System and method for improving image quality |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20200061703A KR20200061703A (en) | 2020-06-03 |
| KR102166841B1 true KR102166841B1 (en) | 2020-10-16 |
Family
ID=70852994
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020180147309A KR102166841B1 (en) | 2018-11-26 | 2018-11-26 | System and method for improving image quality |
Country Status (2)
| Country | Link |
|---|---|
| KR (1) | KR102166841B1 (en) |
| WO (1) | WO2020111333A1 (en) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102599525B1 (en) * | 2023-04-10 | 2023-11-08 | (주)클라모스 | Method, device and system for displaying screen by improving visibility of image of interest |
| KR102608208B1 (en) * | 2023-04-10 | 2023-12-01 | (주)클라모스 | Method, device and system for providing streaming service with improved visibility of image of interest |
| KR102589306B1 (en) * | 2023-06-29 | 2023-10-12 | 주식회사 휴데이터스 | Method and device for generating blackbox image |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2008119151A1 (en) * | 2007-03-30 | 2008-10-09 | Optosecurity Inc. | User interface for use in security screening providing image enhancement capabilities and apparatus for implementing same |
| KR101185138B1 (en) | 2005-03-09 | 2012-09-24 | 콸콤 인코포레이티드 | Region-of-interest extraction for video telephony |
| KR101462930B1 (en) * | 2008-04-30 | 2014-11-19 | 엘지전자 주식회사 | Mobile terminal and its video communication control method |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107239203A (en) * | 2016-03-29 | 2017-10-10 | 北京三星通信技术研究有限公司 | A kind of image management method and device |
| KR102271285B1 (en) * | 2016-11-09 | 2021-07-01 | 삼성전자주식회사 | Image processing apparatus and method for processing image |
-
2018
- 2018-11-26 KR KR1020180147309A patent/KR102166841B1/en active IP Right Grant
- 2018-11-30 WO PCT/KR2018/015028 patent/WO2020111333A1/en active Application Filing
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101185138B1 (en) | 2005-03-09 | 2012-09-24 | 콸콤 인코포레이티드 | Region-of-interest extraction for video telephony |
| WO2008119151A1 (en) * | 2007-03-30 | 2008-10-09 | Optosecurity Inc. | User interface for use in security screening providing image enhancement capabilities and apparatus for implementing same |
| KR101462930B1 (en) * | 2008-04-30 | 2014-11-19 | 엘지전자 주식회사 | Mobile terminal and its video communication control method |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2020111333A1 (en) | 2020-06-04 |
| KR20200061703A (en) | 2020-06-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102166841B1 (en) | System and method for improving image quality | |
| CN109919830B (en) | Method for restoring image with reference eye based on aesthetic evaluation | |
| US20170330024A1 (en) | Graphic data alteration to enhance online privacy | |
| CN111696176B (en) | Image processing method, image processing device, electronic equipment and computer readable medium | |
| US10984225B1 (en) | Masked face recognition | |
| CN109829396B (en) | Face recognition motion blur processing method, device, equipment and storage medium | |
| US20140241625A1 (en) | Image processing method, image processing apparatus, and computer program product | |
| KR102629732B1 (en) | Apparatus for Privacy Masking based on Contour, Apparatus for Privacy Unmasking based on Contour and Method for Sharing Privacy Masking Area Descriptor | |
| JP2020127194A (en) | Computer system and program | |
| CN111062426A (en) | Method, device, electronic equipment and medium for establishing training set | |
| CN113033524B (en) | Occlusion prediction model training method and device, electronic equipment and storage medium | |
| CN111488779B (en) | Video image super-resolution reconstruction method, device, server and storage medium | |
| JP2023543964A (en) | Image processing method, image processing device, electronic device, storage medium and computer program | |
| Oh et al. | Intrinsic two-dimensional local structures for micro-expression recognition | |
| Frantc et al. | Machine learning approach for objective inpainting quality assessment | |
| CN112837202B (en) | Watermark image generation and attack tracing method and device based on privacy protection | |
| US10657369B1 (en) | Unsupervised removal of text from images using linear programming for optimal filter design | |
| CN117218013A (en) | Event camera image processing method, training method, system, equipment and medium | |
| Suganya et al. | Gradient flow-based deep residual networks for enhancing visibility of scenery images degraded by foggy weather conditions | |
| US11354925B2 (en) | Method, apparatus and device for identifying body representation information in image, and computer readable storage medium | |
| CN110889352A (en) | Image blurring processing method, computer device, and computer-readable storage medium | |
| Jiang et al. | Learning in-place residual homogeneity for single image detail enhancement | |
| US20230195934A1 (en) | Device And Method For Redacting Records Based On A Contextual Correlation With A Previously Redacted Record | |
| CN112561815B (en) | Image processing method and device, storage medium and electronic device | |
| CN115311518A (en) | Method, device, medium and electronic equipment for acquiring visual attribute information |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |