KR102569517B1 - 번역 방법, 장치 및 전자 기기 - Google Patents
번역 방법, 장치 및 전자 기기 Download PDFInfo
- Publication number
- KR102569517B1 KR102569517B1 KR1020210034701A KR20210034701A KR102569517B1 KR 102569517 B1 KR102569517 B1 KR 102569517B1 KR 1020210034701 A KR1020210034701 A KR 1020210034701A KR 20210034701 A KR20210034701 A KR 20210034701A KR 102569517 B1 KR102569517 B1 KR 102569517B1
- Authority
- KR
- South Korea
- Prior art keywords
- translation
- image
- target
- text
- target objects
- Prior art date
Links
- 238000013519 translation Methods 0.000 title claims abstract description 200
- 238000000034 method Methods 0.000 title claims abstract description 59
- 230000015654 memory Effects 0.000 claims description 21
- 238000012163 sequencing technique Methods 0.000 claims description 13
- 238000003860 storage Methods 0.000 claims description 13
- 230000011218 segmentation Effects 0.000 claims description 12
- 238000004590 computer program Methods 0.000 claims description 9
- OAICVXFJPJFONN-UHFFFAOYSA-N Phosphorus Chemical compound [P] OAICVXFJPJFONN-UHFFFAOYSA-N 0.000 claims 1
- 229910052698 phosphorus Inorganic materials 0.000 claims 1
- 239000011574 phosphorus Substances 0.000 claims 1
- 238000005516 engineering process Methods 0.000 description 11
- 238000005520 cutting process Methods 0.000 description 9
- 230000008569 process Effects 0.000 description 8
- 238000012549 training Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 7
- 238000012360 testing method Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 238000001514 detection method Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 238000013145 classification model Methods 0.000 description 3
- 230000003993 interaction Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012015 optical character recognition Methods 0.000 description 3
- 241000699666 Mus <mouse, genus> Species 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 239000002245 particle Substances 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 238000003825 pressing Methods 0.000 description 2
- 238000007639 printing Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000000638 solvent extraction Methods 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 241000699670 Mus sp. Species 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 239000012634 fragment Substances 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/40—Document-oriented image-based pattern recognition
- G06V30/41—Analysis of document content
- G06V30/413—Classification of content, e.g. text, photographs or tables
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/40—Processing or translation of natural language
- G06F40/58—Use of machine translation, e.g. for multi-lingual retrieval, for server-side translation for client devices or for real-time translation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/36—Creation of semantic tools, e.g. ontology or thesauri
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/30—Semantic analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/40—Processing or translation of natural language
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/14—Image acquisition
- G06V30/148—Segmentation of character regions
- G06V30/153—Segmentation of character regions using recognition of characters or words
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/14—Image acquisition
- G06V30/148—Segmentation of character regions
- G06V30/158—Segmentation of character regions using character size, text spacings or pitch estimation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/18—Extraction of features or characteristics of the image
- G06V30/18162—Extraction of features or characteristics of the image related to a structural representation of the pattern
- G06V30/18171—Syntactic representation, e.g. using a grammatical approach
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/26—Techniques for post-processing, e.g. correcting the recognition result
- G06V30/262—Techniques for post-processing, e.g. correcting the recognition result using context analysis, e.g. lexical, syntactic or semantic context
- G06V30/268—Lexical context
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- General Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Databases & Information Systems (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Biomedical Technology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Medical Informatics (AREA)
- Machine Translation (AREA)
- User Interface Of Digital Computer (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
본 개시에서는 번역 방법, 장치 및 전자 기기를 제공하였고, 컴퓨터 시각 분야에 관련된다. 구체적인 구현 방법은: 이미지를 획득하는 단계로서, 상기 이미지에는 번역 대기 텍스트가 포함되는 것인, 획득하는 단계; 상기 이미지중의 상기 텍스트에 대하여 분할을 진행하여, 복수 개의 타겟 대상을 획득하는 단계로서, 상기 타겟 대상에는 상기 텍스트의 글자 또는 단어가 포함되는 것인, 획득하는 단계; 상기 복수 개의 타겟 대상에 대한 입력 작업을 수신하여, 상기 복수 개의 타겟 대상중의 번역 대상을 획득하는 단계; 및 상기 번역 대상에 대하여 번역을 진행하는 단계; 를 통하여, 텍스트에 대하여 번역을 진행하는 것을 구현할 수 있고, 상술한 방법은 오직 번역 대기 텍스트를 포함한 이미지를 획득해야 하고, 사용자가 수동으로 번역 대기 텍스트를 입력할 필요가 없기에, 사용자 작업을 간소화하여, 번역 효율을 제고시킬 수 있다.
Description
본 개시는 이미지 처리 기술 분야중의 컴퓨터 시각 기술에 관한 것으로, 특히 번역 방법, 장치 및 전자 기기에 관한 것이다.
기존의 번역은 텍스트 번역, 음성 번역 또는 이미지 번역을 포함한다. 그 중, 텍스트 번역은 사용자가 수동으로 번역해야 할 문자 내용을 입력해야 되고, 텍스트 내용이 비교적 길다면, 입력 코스트가 높으며; 음성 번역은 사용자가 낭독하는 방식으로 번역해야 할 텍스트 내용을 입력해야 되고, 사용자가 익숙하지 않은 외국어 내용에 대하여, 음성 입력을 사용할 수 없으며; 이미지 번역은 텍스트 내용에 대하여 촬영을 진행하고, 이미지 이해 기술을 기반으로 하여 촬영으로 획득한 내용에 대하여 번역을 진행한다.
본 개시에서는, 이미지를 획득하고, 상기 이미지에는 번역 대기 텍스트가 포함되며; 상기 이미지중의 상기 텍스트에 대하여 분할을 진행하여, 복수 개의 타겟 대상을 획득하고, 상기 타겟 대상에는 상기 텍스트의 글자 또는 단어가 포함되며; 상기 복수 개의 타겟 대상에 대한 입력 작업을 수신하여, 상기 복수 개의 타겟 대상중의 번역 대상을 획득하고; 상기 번역 대상에 대하여 번역을 진행하는 것 통하여, 텍스트에 대하여 번역을 진행하는 것을 구현할 수 있고, 상술한 방법은 오직 번역 대기 텍스트를 포함한 이미지를 획득해야 하고, 사용자가 수동으로 번역 대기 텍스트를 입력할 필요가 없기에, 사용자 작업을 간소화하여, 번역 효율을 제고시킬 수 있다.
본 개시에서 번역 방법, 장치, 전자 기기 및 저장 매체를 제공한다.
제1 측면에 있어서, 번역 방법을 제공하며, 상기 방법은:
이미지를 획득하는 단계로서, 상기 이미지에는 번역 대기 텍스트가 포함되는 것인, 획득하는 단계;
상기 이미지중의 상기 텍스트에 대하여 분할을 진행하여, 복수 개의 타겟 대상을 획득하는 단계로서, 상기 타겟 대상에는 상기 텍스트의 글자 또는 단어가 포함되는 것인, 획득하는 단계;
상기 복수 개의 타겟 대상에 대한 입력 작업을 수신하여, 상기 복수 개의 타겟 대상중의 번역 대상을 획득하는 단계; 및
상기 번역 대상에 대하여 번역을 진행하는 단계; 를 포함한다.
제2 측면에 있어서, 번역 장치를 제공하며, 상기 장치는:
이미지를 획득하기 위한 획득 모듈로서, 상기 이미지에는 번역 대기 텍스트가 포함되는 것인, 획득 모듈;
상기 이미지중의 상기 텍스트에 대하여 분할을 진행하여, 복수 개의 타겟 대상을 획득하기 위한 분할 모듈로서, 상기 타겟 대상에는 상기 텍스트의 글자 또는 단어가 포함되는 것인, 분할 모듈;
상기 복수 개의 타겟 대상에 대한 입력 작업을 수신하여, 상기 복수 개의 타겟 대상중의 번역 대상을 획득하기 위한 수신 모듈; 및
상기 번역 대상에 대하여 번역을 진행하기 위한 번역 모듈; 을 포함한다.
제3 측면에 있어서, 본 개시는 전자 기기를 제공하며, 상기 전자 기기는:
적어도 하나의 프로세서; 및
상기 적어도 하나의 프로세서와 통신 연결된 메모리; 를 포함하고,
그 중, 상기 메모리에는 상기 적어도 하나의 프로세서에 의하여 실행 가능한 명령이 저장되어 있고, 상기 명령은 상기 적어도 하나의 프로세서에 의하여 실행되며, 상기 적어도 하나의 프로세서로 하여금 제1 측면에서 임의의 한 항에 따른 상기 방법을 수행하도록 한다.
제4 측면에 있어서, 본 개시는 컴퓨터 명령이 저장되어 있는 비일시적 컴퓨터 판독 가능 저장 매체를 제공하며, 상기 컴퓨터 명령은 상기 컴퓨터로 하여금 제1 측면에서 임의의 한 항에 따른 상술한 방법을 수행하기 위한 것이다.
본 개시의 기술에 따라 사용자가 수동으로 번역 대기 내용을 입력하는 저효율의 문제를 해결하였고, 본 개시에서는, 이미지를 획득하고, 상기 이미지에는 번역 대기 텍스트가 포함되며; 상기 이미지중의 상기 텍스트에 대하여 분할을 진행하여, 복수 개의 타겟 대상을 획득하고, 상기 타겟 대상에는 상기 텍스트의 글자 또는 단어가 포함되며; 상기 복수 개의 타겟 대상에 대한 입력 작업을 수신하여, 상기 복수 개의 타겟 대상중의 번역 대상을 획득하고; 상기 번역 대상에 대하여 번역을 진행하는 것을 통하여, 텍스트에 대하여 번역을 진행하는 것을 구현할 수 있고, 상술한 방법은 오직 번역 대기 텍스트를 포함한 이미지를 획득해야 하고, 사용자가 수동으로 번역 대기 텍스트를 입력할 필요가 없기에, 사용자 작업을 간소화하여, 번역 효율을 제고시킬 수 있다.
본 부분에서 설명한 내용은 본 개시의 실시예의 관건 또는 중요한 특징을 표식하는 것이 아니고, 본 개시의 범위를 제한하기 위한 것도 아님을 이해해야 된다. 본 개시의 기타 특징은 하기 명세서를 통하여 더욱 쉽게 이해될 것이다.
첨부 도면은 본 방안을 더욱 잘 이해하기 위한 것이고, 본 개시에 대한 제한을 구성하지 않는다. 그 중:
도 1은 본 개시의 실시예에서 제공하는 번역 방법의 플로우차트이다.
도 2a-2b는 본 개시의 실시예에서 제공하는 텍스트 분할 결과 예시도이다.
도 2c는 본 개시의 실시예에서 제공하는 번역 대상 선택 인터페이스 예시도이다.
도 2d-2e는 본 개시의 실시예에서 제공하는 번역 대상 선택 결과 예시도이다.
도 3은 본 개시의 실시예에서 제공하는 번역 장치의 구조도이다.
도 4는 본 개시의 실시예의 번역 방법을 구현하기 위한 전자 기기의 블록도이다.
도 1은 본 개시의 실시예에서 제공하는 번역 방법의 플로우차트이다.
도 2a-2b는 본 개시의 실시예에서 제공하는 텍스트 분할 결과 예시도이다.
도 2c는 본 개시의 실시예에서 제공하는 번역 대상 선택 인터페이스 예시도이다.
도 2d-2e는 본 개시의 실시예에서 제공하는 번역 대상 선택 결과 예시도이다.
도 3은 본 개시의 실시예에서 제공하는 번역 장치의 구조도이다.
도 4는 본 개시의 실시예의 번역 방법을 구현하기 위한 전자 기기의 블록도이다.
이하 도면을 결부시켜 본 개시의 예시적인 실시예에 대하여 설명을 진행하고, 그 중 이해를 돕기 위하여 본 개시의 실시예의 각종 디테일도 포함되며, 이는 오직 예시적인 것임을 이해해야 된다. 이로써, 해당 기술분야에서 통상의 지식을 가진 자들은 여기서 설명한 실시예에 대하여 각종 변화 및 수정을 진행할 수 있고, 본 개시의 범위 및 정신을 벗어나지 않음을 이해해야 한다. 동일하게, 명확하고 또한 간단명료하기 위하여, 하기 설명에서는 공지된 기능 및 구조에 대한 설명을 생략한다.
도 1을 참조하면, 도 1은 본 개시의 실시예에서 제공하는 번역 방법의 플로우차트이고, 도 1에서 도시된 바와같이, 본 실시예에서 전자 기기에 적용되는 번역 방법을 제공하며, 상기 방법은 하기의 단계를 포함한다.
단계 101: 이미지를 획득하며, 상기 이미지에는 번역 대기 텍스트가 포함된다.
이미지에는 번역 대기 텍스트가 포함되고, 이미지는 촬영으로 획득할 수 있고 또는 스캔으로 획득할 수 있으며, 여기서 이에 대하여 한정하지 않는다.
단계 102: 상기 이미지중의 상기 텍스트에 대하여 분할을 진행하여, 복수 개의 타겟 대상을 획득하며, 상기 타겟 대상에는 상기 텍스트의 글자 또는 단어가 포함된다.
이미지 식별 기술로 텍스트에 대하여 식별을 진행하고, 또한 식별해낸 텍스트에 대하여 단어 분할을 진행하여, 싱글 문자 및/또는 단어를 획득하며, 즉 복수 개의 타겟 대상을 획득할 수 있으며, 각각의 타겟 대상에는 텍스트의 글자 또는 단어가 포함된다.
단계 103: 상기 복수 개의 타겟 대상에 대한 입력 작업을 수신하여, 상기 복수 개의 타겟 대상중의 번역 대상을 획득한다.
복수 개의 타겟 대상에 대하여 입력 작업을 진행하고, 예컨대, 복수 개의 타겟 대상중의 부분적인 또는 전부의 대상을 선택하여, 번역 대상을 확정하며, 번역 대상은 곧 입력 작업을 기반으로 하여 확정한 복수 개의 타겟 대상중의 부분적인 또는 전부의 대상이다.
단계 104: 상기 번역 대상에 대하여 번역을 진행한다.
번역 대상을 획득한 후, 번역 소프트웨어를 사용하여 번역 대상에 대하여 번역을 진행할 수 있고, 예컨대, 네트워크를 기반으로 한 뉴럴망 번역 시스템을 사용하여 번역을 진행하고, 또한 전자 기기의 표시 스크린위에 번역 결과를 표시한다.
전자 기기는 휴대폰, 태블릿 컴퓨터, 랩톱 컴퓨터, 개인 디지털 어시스턴트, 모바일 인터넷 장치 또는 착용형 기기 등일 수 있다.
본 개시에서는 이미지를 획득하는 단계로서, 상기 이미지에는 번역 대기 텍스트가 포함되는 것인, 획득하는 단계; 상기 이미지중의 상기 텍스트에 대하여 분할을 진행하여, 복수 개의 타겟 대상을 획득하는 단계로서, 상기 타겟 대상에는 상기 텍스트의 글자 또는 단어가 포함되는 것인, 획득하는 단계; 상기 복수 개의 타겟 대상에 대한 입력 작업을 수신하여, 상기 복수 개의 타겟 대상중의 번역 대상을 획득하는 단계; 및 상기 번역 대상에 대하여 번역을 진행하는 단계; 를 통하여, 텍스트에 대한 번역을 구현할 수 있고, 상술한 방법은 오직 번역 대기 텍스트를 포함한 이미지를 획득해야 하고, 사용자가 수동으로 번역 대기 텍스트를 입력할 필요가 없기에, 사용자 작업을 간소화하여, 번역 효율을 제고시킬 수 있다. 이외, 상술한 방법은 사용자가 번역 대기 텍스트를 모르는 경우에 적용할 수 있어, 사용자가 자체로 새로운 지식을 학습하고, 새로운 사물을 요해하는 것에 유리하다.
본 개시의 하나의 실시예에서, 상기 입력 작업은 상기 복수 개의 타겟 대상중에서의 하나의 타겟 대상 또는 복수 개의 위치가 비연속적인 타겟 대상에 대한 제1 입력이고; 또는, 상기 입력 작업은 상기 복수 개의 타겟 대상중에서 복수 개의 위치가 연속적인 타겟 대상에 대한 제2 입력이다.
제1 입력은 클릭 입력일 수 있고, 예컨대, 텍스트중의 복수 개의 타겟 대상에 대하여 클릭 입력을 진행하여, 복수 개의 타겟 대상중의 하나의 타겟 대상을 선택하거나, 또는 복수 개의 타겟 대상중의 복수 개의 위치가 비연속적인 타겟 대상을 선택하며, 타겟 대상의 위치는 곧 타겟 대상이 텍스트중에서의 위치이다. 위치가 비연속적인 것은 선택한 복수 개의 타겟 대상이 텍스트중에서 위치한 위치가 서로 인접하지 않다는 것을 나타내고, 예컨대, 선택한 복수 개의 타겟 대상이 동일한 행에 위치하였을 때, 두개의 타겟 대상이 서로 인접하지 않는 경우가 존재하거나, 또는, 선택한 복수 개의 타겟 대상이 상이한 행에 위치하였을 때, 두개의 타겟 대상이 인접한 행에 있지 않는 경우가 존재한다. 그 말인 즉, 제1 입력을 통하여, 하나의 타겟 대상, 또는 복수 개의 위치가 비연속적인 타겟 대상을 선택할 수 있고, 텍스트중에서 선택된 복수 개의 타겟 대상 사이에는 선택되지 않은 타겟 대상이 존재한다. 예컨대, 텍스트중의 ABCDE가 각각 한 구절의 5개 문자 및/또는 단어를 나타내고, 각각의 글자 또는 단어가 하나의 타겟 대상일 때, 제1 입력으로 ABCDE중의 하나 또는 복수 개의 타겟 대상을 선택할 수 있고, 예컨대 ACD, BDE, ABDE 등등과 같이, 선택한 복수 개의 대상의 위치는 비연속적이다.
상술한 제1 입력을 진행할 때, 제1 입력은 복수 개의 클릭 입력을 포함할 수 있고, 하나의 클릭 입력을 완성한 후, 기설정 시간내에 그 다음 클릭 입력을 검측해내지 못하였을 때, 사용자가 제1 입력을 완성한 것으로 간주하고, 이때, 이미 선택한 타겟 대상에 대하여 번역을 진행한다. 기설정 시간은 0.5초 또는 1초 등일 수 있고, 구체적으로 실제 정황에 따라 설정할 수 있으며. 여기서 이에 대해 한정하지 않는다.
이외, 복수 개의 타겟 대상중의 복수 개의 위치가 연속적인 타겟 대상에 대하여 선택을 진행할 수 있고, 클릭 입력을 통하여 선택을 진행할 수 있으며, 예컨대 클릭을 통하여 복수 개의 위치가 연속적인 타겟 대상을 선택할 수 있다. 또는 슬라이딩 입력을 통하여 선택을 진행할 수 있다.
예컨대, 시작 위치의 타겟 대상을 길게 누르는 것을 통하여, 상기 타겟 대상의 위치가 시작 위치로부터 슬라이딩을 진행하여, 슬라이딩 궤적이 지나간 위치에 위치한 타겟 대상을 선택하고, 또는, 슬라이딩 궤적의 시작 위치 및 종료 위치로 구성한 직사각형 구역을 결정하며, 예컨대 시작 위치가 A1(x1, y1)이고, 종료 위치가 B1(x2, y2)일 때, 직사각형 구역의 네개 정점은 각각 (x1, y1), (x2, y1), (x1, y2), (x2, y2)이며, 직사각형 구역중에 위치한 타겟 대상을 선택한다. 상술한 설명에서, 슬라이딩 입력을 통하여 텍스트중의 복수 개의 위치가 연속적인 타겟 대상에 대하여 신속하게 선택을 진행할 수 있어, 사용자의 선택 작업을 간소화하고, 선택 효율을 제고시킬 수 있다.
본 실시예에서, 상기 입력 작업은 상기 복수 개의 타겟 대상중에서 하나 타겟 대상 또는 복수 개의 위치가 비연속적인 타겟 대상에 대한 제1 입력이고; 또는, 상기 입력 작업은 상기 복수 개의 타겟 대상중에서 복수 개의 위치가 연속적인 타겟 대상에 대한 제2 입력이다. 입력 작업이 제1 입력일 때, 번역 대상은 상기 복수 개의 타겟 대상중의 하나의 타겟 대상을 포함하거나, 또는 복수 개의 위치가 비연속적인 타겟 대상을 포함하며; 입력 작업이 제2 입력일 때, 번역 대상은 상기 복수 개의 타겟 대상중의 복수 개의 위치가 연속적인 타겟 대상을 포함한다. 사용자는 실제 수요에 따라 텍스트중의 복수 개의 타겟 대상의 부분적 또는 전부에 대하여 선택을 진행할 수 있어, 사용자의 입력 작업을 간소화하고, 입력 효율을 제고시킨다. 동시에, 입력 작업은 텍스트중의 복수 개의 위치가 비연속적인 타겟 대상을 선택하거나, 또는 복수 개의 위치가 연속적인 타겟 대상을 선택할 수 있어, 후속의 번역 단계로 하여금 텍스트의 복수 개의 위치가 비연속적인 타겟 대상, 또는 복수 개의 위치가 연속적인 타겟 대상에 대하여 번역을 진행할 수 있도록 하기에, 텍스트중의 내용에 대하여 번역을 선택하여 진행하는 영활성을 제고시킨다.
본 개시의 하나의 실시예에서, 상기 이미지중의 상기 텍스트에 대하여 분할을 진행하여, 복수 개의 타겟 대상을 획득하는 단계는:
상기 이미지에 대하여 내용 식별을 진행하여, 제1 식별 결과를 획득하는 단계;
상기 제1 식별 결과중의 문자에 대하여 분할을 진행하여, 복수 개의 타겟 대상을 획득하는 단계; 및
상기 이미지중의 상기 타겟 대상이 위치한 위치에 클릭 옵션 프레임을 표시하고, 상기 타겟 대상은 클릭 옵션 프레임을 포함하는 단계; 를 포함하며,
상기 복수 개의 타겟 대상에 대한 입력 작업을 수신하여, 상기 복수 개의 타겟 대상중의 번역 대상을 획득하는 단계는:
상기 복수 개의 타겟 대상의 클릭 옵션 프레임에 대한 입력 작업을 수신하여, 상기 복수 개의 타겟 대상중의 번역 대상을 획득하는 단계로서, 상기 번역 대상은 상기 클릭 옵션 프레임에 대응되는 글자 또는 단어인 것인, 획득하는 단계; 를 포함한다.
본 실시예에서, 번역 대기의 텍스트를 포함하는 이미지를 획득한 후, 이미지에 대하여 내용 식별을 진행하여, 제1 식별 결과를 획득하고, 제1 식별 결과는 식별해낸 문자 구역으로 이해할 수 있다. 구체적으로, 이미지 전처리의 방식을 통하여 이미지중의 텍스트 정보를 강화시켜, 오리지널 이미지가 왜곡되고, 흐릿하며, 광선이 뚜렷하지 않고, 배경이 복잡한 등 문제를 해결한다. 그리고 문자에 대하여 분할을 진행하고, 구체적으로 상기 제1 식별 결과중의 문자에 대하여 분할을 진행하여, 상기 복수 개의 타겟 대상을 획득하는 단계는:
상기 제1 식별 결과중의 문자에 대하여 행에 따라 분할을 진행하여, 적어도 한 행의 문자 정보를 획득하는 단계; 및
상기 적어도 한 행의 문자 정보중의 각 행의 문자 정보에 대하여 각각 문자 간격에 따라 분할을 진행하여, 상기 복수 개의 타겟 대상을 획득하는 단계; 를 포함한다.
문자 검측 기술을 통하여 이미지중 텍스트 구역의 위치를 포지셔닝하고, 수평 방향으로 커팅을 진행하며, 즉 텍스트 구역을 한 행 한 행의 문자 구역으로 커팅하며, 즉 적어도 한 행의 문자 정보로 커팅한다.
그리고 적어도 한 행의 문자 정보중의 각 행의 문자 정보에 대하여 분할을 각각 진행하고, 분할을 진행할 때, 인접한 문자 사이의 문자 간격에 따라 분할을 진행할 수 있으며, 예컨대, 문자 간격으로 분해한 두개 문자를 두개의 독립적인 문자로 하고, 또는 분할할 때, 문자 식별 기능을 가동하여, 문자 간격으로 분해한 연속적인 복수 개의 문자가 단어 그룹을 조성할지 여부를 판단하며, 단어 그룹을 조성하였을 때, 상기 연속적인 복수 개의 문자에 대하여 분할을 진행하지 않고, 하나의 일체로 볼 수 있으며, 매 행의 문자 정보를 상술한 방식을 사용하여 복수 개의 문자 및/또는 단어로 분할을 진행하고, 각각의 문자 및 단어를 하나의 타겟 대상으로 한다. 분할한 입자도를 글자 또는 단어로 감소하여, 사용자가 글자 또는 단어에 대하여 선택을 진행하는데 유리하며, 사용자의 다양화 번역 수요를 만족시킬 수 있다.
타겟 대상이 이미지 중에서의 위치에 따라, 타겟 대상의 위치에서 클릭 옵션 프레임을 표시하고, 각각의 타겟 대상은 하나의 클릭 옵션 프레임을 포함하며, 클릭 옵션 프레임은 사용자의 선택을 받을 수 있고, 클릭 옵션 프레임이 사용자의 선택을 받았을 때, 클릭 옵션 프레임에 대응되는 글자 또는 단어가 선택된다.
분할할 때, 문자 자체의 특성을 이용하여 분할을 진행할 수 있고, 예컨대, 문자중 각각의 글자 또는 단어 사이에 탭이 존재하며, 영어에서, 각각의 단어는 탭을 사용하여 분해되어, 매 행의 문자를 수직 방향으로 커팅을 진행하여, 각각의 단어의 위치를 획득할 수 있으며, 상기 위치는 단어가 위치한 구역의 최소 외접 직사각형일 수 있고, 또한 각각의 단어의 위치에서 클릭 옵션 프레임을 표시할 수 있다.
이미지중 텍스트의 각각의 타겟 대상이 위치한 위치처에는 클릭 옵션 프레임이 표시되고, 사용자는 클릭 옵션 프레임에 대하여 선택을 진행할 수 있으며, 예컨대 클릭 작업을 통하여 하나의 클릭 옵션 프레임, 또는 복수 개의 위치가 연속적인 클릭 옵션 프레임, 또는 복수 개의 위치가 비연속적인 클릭 옵션 프레임을 선택하고, 선택된 클릭 옵션 프레임에 대응되는 글자 또는 단어가 곧 번역 대상이며, 복수 개의 위치가 연속적인 클릭 옵션 프레임을 선택하였을 때, 번역 대상중에서, 상기 복수 개의 위치가 연속적인 클릭 옵션 프레임이 텍스트중에서의 위치 관계는 그에 대응되는 글자 또는 단어가 번역 대상중에서의 위치 관계를 확정할 수 있다. 예컨대, 텍스트중에서 위치가 순차적으로 연속적인 클릭 옵션 프레임 1, 클릭 옵션 프레임 2 및 클릭 옵션 프레임 3이 있고, 각각 대응되는 단어는 “I”, “like”, “it”이며, 번역 대상중에서 “I”, “like”, “it” 사이의 위치 관계는 클릭 옵션 프레임의 위치에 의하여 결정되고, 즉 번역 대상중에서의 단어의 순서는 “I”, “like”, “it”이다.
번역 대상을 획득한 후, 번역 대상에 대하여 번역을 진행하고, 구체적으로는 기존의 번역 시스템을 사용하여 번역을 진행할 수 있으며, 여기서 이에 대해 한정하지 않는다.
본 실시예에서, 상기 이미지에 대하여 내용 식별을 진행하여, 제1 식별 결과를 획득하고; 상기 제1 식별 결과중의 문자에 대하여 분할을 진행하여, 복수 개의 타겟 대상을 획득하며; 상기 이미지중의 상기 타겟 대상이 위치한 위치에 클릭 옵션 프레임을 표시하고; 및 상기 복수 개의 타겟 대상에 대한 입력 작업을 수신하여, 상기 복수 개의 타겟 대상중의 번역 대상을 획득하며, 상기 번역 대상은 상기 클릭 옵션 프레임에 대응되는 글자 또는 단어이다. 사용자를 위하여 타겟 대상을 선택하는 클릭 옵션 프레임을 제공하여, 사용자가 클릭 옵션 프레임을 선택하는 것을 통하여 타겟 대상을 선택할 수 있고, 그후 전자 기기는 사용자가 선택한 타겟 대상을 기반으로 하여 번역을 진행할 수 있어, 사용자의 입력을 간소화하였고, 입력 효율을 제고하였으며, 따라서 번역 효율도 제고시켰다.
본 개시의 하나의 실시예에서, 상기 이미지중에서의 상기 타겟 대상이 위치한 위치에서 클릭 옵션 프레임을 표시하는 단계는:
상기 이미지중에서의 상기 타겟 대상이 위치한 위치에서 기설정 투명도의 마스크층을 표시하는 단계; 및
상기 마스크층에서 클릭 옵션 프레임을 표시하는 단계; 를 포함한다.
진일보하여, 표시 효과를 제고하기 위하여, 타겟 대상이 위치한 위치를 확정한 후, 상기 이미지중에서의 타겟 대상이 위치한 위치에서 기설정 투명도의 마스크층을 표시하고, 기설정 투명도의 마스크층은 일정한 투명 효과를 구비한 타겟 대상 윗층에 커버된 마스크층으로 이해할 수 있고, 기설정 투명도의 마스크층은 사용자가 여전이 마스크층을 투과하여 마스크층 밑층의 타겟 대상을 식별할 수 있도록 하고, 기설정 투명도는 실제 정황에 따라 설정을 진행할 수 있으며, 여기서 이에 대해 한정하지 않는다. 하나의 타겟 대상의 윗층에는 하나의 마스크층이 표시되고, 타겟 대상의 클릭 옵션 프레임은 마스크층 위에서 표시되며, 클릭 옵션 프레임이 포함한 구역의 면적은 대응되는 마스크층의 커버 면적보다 약간 작을 수 있다. 사용자가 클릭 옵션 프레임을 선택하였을 때, 클릭 옵션 프레임이 포함한 구역은 선택되었을 때 대응되는 컬러가 표시되며, 예컨대, 퍼플, 또는 블루 등등, 이는 해당 타겟 대상의 클릭 옵션 프레임이 선택되었음을 사용자한테 제시한다.
본 실시예에서, 더욱 좋은 표시 효과를 나타내기 위하여, 이미지중에서의 타겟 대상이 위치한 위치에서 기설정 투명도의 마스크층을 표시하고, 그후 마스크층위에서 클릭 옵션 프레임을 표시하며, 이는 사용자가 클릭 옵션 프레임을 선택하는 것을 통하여 번역을 진행해야 하는 타겟 대상을 선택할 수 있기에, 사용자가 번역해야 하는 글자 또는 단어에 대하여 수동으로 입력할 필요가 없어, 사용자의 입력을 간소화하였고, 입력 효율을 제고하였으며, 최종적으로 번역 효율도 제고시켰다.
본 개시의 하나의 실시예에서, 상기 번역 대상에 대하여 번역을 진행하는 단계는:
상기 번역 대상에 대하여 번역을 진행하여, 번역 결과를 획득하는 단계;
상기 텍스트중의 상기 번역 대상의 콘텍스트를 획득하고, 데이터베이스중에서 복수 개의 지식 포인트 정보를 추출하는 단계;
사용자의 히스토리 조회 데이터를 기반으로 하여, 상기 복수 개의 지식 포인트 정보의 우선급을 확정하는 단계;
상기 복수 개의 지식 포인트 정보에 대하여 우선급에 따라 시퀀싱을 진행하고, 또한 시퀀싱에서의 선행하는 N개 지식 포인트 정보를 획득하는 단계로서, 상기 N는 양의 정수인, 획득하는 단계; 및
상기 번역 결과 및 상기 N개 지식 포인트 정보를 표시하는 단계; 를 포함한다.
본 실시예에서, 번역 대상에 대하여 번역을 진행하여, 번역 결과를 획득하였을 뿐만 아니라, 번역 대상이 텍스트중에서의 콘텍스트를 결부하여, 기존의 데이터베이스중에서 복수 개의 지식 포인트 정보를 추출하며, 지식 포인트 정보는 예컨대, 관련된 사전식, 타겟 대상과 관련된 고정 어구 코로케션, 타겟 단어의 근의어 또는 반의어, 사용어구, 시제 등등과 같은 타겟 대상과 관련된 정보일 수 있고, 사용자에게 별도의 지식 포인트를 제공하여, 사용자가 학습 및 요해하도록 한다.
지식 포인트 정보를 획득한 후, 사용자의 히스토리 조회 데이터를 기반으로 하여, 지식 포인트 정보의 우선급을 확정하며, 예컨대, 모 지식 포인트 정보에 대하여 말하면, 사용자의 히스토리 조회 횟수가 비교적 많을 때, 상기 지식 포인트 정보의 우선급은 비교적 크고, 또는, 회화에서 비교적 많이 사용되는 지식 포인트 정보의 우선급이 비교적 크다.
상기 복수 개의 지식 포인트 정보에 대하여 우선급에 따라 시퀀싱을 진행하고, 또한 시퀀싱에서 선행되는 N개 지식 포인트 정보를 획득하며, 상기 N는 양의 정수이다. 예컨대, 표시할 때, 우선급에 따라 높은 것으로부터 낮은 것으로 시퀀싱하고, 순차적으로 N개 지식 포인트 정보를 표시한다. 이에 따라, 우선급이 높은 지식 포인트 정보는 앞쪽으로 표시되고, 사용자는 큰 확률로 최대한 빨리 필요한 정보를 획득할 수 있으며, 사용자가 정보 조회를 하는 코스트를 감소시킨다.
본 개시의 하나의 실시예에서, 상기 이미지중의 상기 텍스트에 대하여 분할을 진행하여, 복수 개의 타겟 대상을 획득하는 단계는:
식별 모델을 사용하여 상기 이미지에 대하여 식별을 진행하여, 제2 식별 결과를 획득하는 단계; 및
상기 제2 식별 결과에 따라 상기 이미지가 학습 시나리오에서의 이미지인 것으로 확정될 때, 상기 이미지중의 상기 텍스트에 대하여 분할을 진행하여, 복수 개의 타겟 대상을 획득하는 단계; 를 포함한다.
본 실시예에서, 우선 이미지에 대하여 식별을 진행하여, 학습 시나리오에서의 이미지인지 여부를 판단하고, 학습 시나리오에서의 이미지일 때, 이미지중의 텍스트에 대하여 분할을 진행하여, 복수 개의 타겟 대상을 획득한다.
통용적인 번역 시나리오에서, 사용하는 시나리오는 많고 또한 하이브리드하며, 상기 시나리오는: 상품 번역, 과제 번역, 전자 패널 번역, 에러 페이지 번역 등을 포함한다. 상이한 시나리오에서의 사용자 요구는 차이가 비교적 크고, 학습 타입의 시나리오에서 사용자가 구조 문법 등 지식에 대한 요구가 강렬하고, 기타 통용 타입의 시나리오에서 사용자가 단어, 어구, 문장에 대한 요구는 높지 않으며, 텍스트에 대하여 분할을 진행할 필요가 없고, 따라서, 본 실시예에서, 우선 문자 시나리오 분류 모델을 통하여 학습 타입의 번역 시나리오를 선별해낼 수 있다. 즉 이미지에 대하여 시나리오 식별을 진행할 때, 식별 모델(즉 문자 시나리오 분류 모델)을 사용하여 식별을 진행할 수 있다. 식별 모델의 획득 과정은:
우선, 학습 시나리오 및 비학습 시나리오에서의 이미지를 획득하고, 또한 각각의 이미지에 대하여 인공 표기를 진행하여, 훈련집을 조성하는 과정을 포함하고, 그 중, 학습 시나리오는: 텍스트 타입의 제목을 인쇄하는 이미지, 또는 도문 컬러 교과서를 포함하는 이미지를 포함한다.
다음, 상술한 훈련집을 사용하여 분류기를 훈련하여, 각종 타입의 이미지의 특징을 학습한다.
마지막으로, 분류기 훈련을 완성한 후, 분류기는 입력 이미지의 분류를 예측하기 위한 것일 수 있고, 상기 분류기의 효과를 검증하기 위하여, 진일보하여 분류기의 예측 결과와 상기 입력 이미지의 진실된 라벨을 비교할 수 있고, 이는 분류기의 파라미터에 대하여 조정하고, 분류기의 파리미터를 최적화시키며, 분류기의 예측 정확율을 제고시킬 수 있다. 식별 모델은 훈련 완성한 후의 분류기로 이해할 수 있다.
분류기를 기반으로 하여 이미지에 대하여 식별을 진행하여, 이미지가 학습 시나리오에서의 이미지인지 여부를 확정할 수 있다.
본 실시예에서, 이미지중의 텍스트에 대하여 분할을 진행하기 전, 우선 이미지의 학습 시나리오에 대하여 판단을 진행하고, 이미지가 학습 시나리오인 경우, 이미지중의 텍스트에 대하여 다시 분할을 진행하여, 분할이 시나리오 수요에 더욱 부합되고, 무용한 분할을 감소시킬 수 있다.
하기 영문 번역을 예를 들어, 상술한 번역 방법에 대하여 예를 들어 설명을 진행한다.
제1 스텝: 학습 번역 시나리오 식별.
통용적인 번역 시나리오에서, 사용자가 사용하는 시나리오는 많고 또한 하이브리드하며, 상기 시나리오는: 상품 번역, 과제 번역, 전자 패널 번역, 에러 페이지 번역 등을 포함한다. 상이한 시나리오에서의 사용자 요구는 차이가 비교적 크고, 학습 타입(영어 본문/제목)의 시나리오에서 사용자가 구조 영어 문법 등 지식에 대한 요구가 강렬하고, 기타 통용 타입의 시나리오에서 사용자가 단어, 어구, 문장에 대한 요구는 높지 않으며, 따라서, 문자 시나리오 분류 모델을 통하여 학습 타입의 번역 시나리오를 선별해낼 수 있다.
우선, 학습 시나리오 및 비학습 시나리오에서의 이미지를 획득하고, 또한 각각의 이미지에 대하여 인공 표기를 진행하여, 훈련집을 조성하며, 그 중, 학습 시나리오는: 텍스트 타입의 제목을 인쇄하는 이미지, 또는 도문 컬러 교과서를 포함하는 이미지를 포함한다.
다음, 상술한 훈련집을 사용하여 분류기를 훈련하여, 각종 타입의 이미지의 특징을 학습한다.
마지막으로, 분류기 훈련을 완성한 후, 분류기는 입력 이미지의 분류를 예측하기 위한 것일 수 있고, 상기 분류기의 효과를 검증하기 위하여, 진일보하여 분류기의 예측 결과와 상기 입력 이미지의 진실된 라벨을 비교할 수 있고, 이는 분류기의 파라미터에 대하여 조정하고, 분류기의 파리미터를 최적화시키며, 분류기의 예측 정확율을 제고시킬 수 있다. 식별 모델은 훈련 완성한 후의 분류기로 이해할 수 있다.
분류기를 기반으로 하여 이미지에 대하여 식별을 진행하여, 이미지가 학습 시나리오에서의 이미지인지 여부를 확정할 수 있다.
제2 스텝: OCR(Optical Character Recognition, 광학 문자 식별) 단어 커팅 및 식별.
영어 학습 시나리오에서, 영어 단어는 입자도가 제일 작은 유효 의미 단편이다. 사용자의 멀티 입자도의 번역 요구를 만족하기 위하여, OCR 문자 검측 및 분할 기술을 기반으로 하여, 이미지중의 텍스트 내용에 대하여 식별 및 분할을 진행한다.
딥 러닝 기술을 기반으로 하여, 우선 이미지 전처리 방식을 통하여 이미지중의 텍스트 정보를 강화시켜, 오리지널 이미지가 왜곡되고, 흐릿하며, 광선이 뚜렷하지 않고, 배경이 복잡한 등 문제를 해결한다. 다음, 문자 검측 기술을 통하여 이미지중의 텍스트 구역의 위치를 포지셔닝하고, 수평 방향으로 커팅을 진행하여, 한 행 한 행의 텍스트 구역을 획득하며, 도 2a에서 도시된 바와같이, 도면에서 문자 외측에 그려진 와이어 프레임이 수평 방향으로 커팅한 후 획득한 텍스트 구역이다. 문자 검측을 완성한 후, 영어 단어 사이에서 탭을 사용하여 분해하는 특점을 기반으로 하여, 수직 방향으로 영문 단어에 대하여 커팅을 진행하여, 도 2b에서 도시된 바와같이, 대응되는 단어가 위치한 구역의 위치 좌표를 획득하며, 도 2b에서 문자 외측에 그려진 와이어 프레임이 수직 방향으로 커팅한 후 획득한 단어 위치 구역이다. 커팅한 후의 단어위에 가림막(즉 마스크 층) 및 클릭 옵션 프레임을 나타내고, 도 2c에서 도시된 바와같이, 도 2c중의 가림막의 투명도는 0.5이며, 도면에서 단어 외측에 위치한 프레임은 클릭 옵션 프레임이고, 클릭 옵션 프레임은 사용자가 번역하고 싶은 텍스트 내용을 선택하는 선택 작업을 진행하는 것에 편이하다.
마지막으로 문자 식별을 진행하며, 이미지중의 구체적인 텍스트 내용을 식별하고, 동시에 텍스트 및 레이아웃면 정보, 및 구체적인 텍스트 내용을 획득하여, 후속으로 사용자가 대응되는 클릭 옵션 프레임을 클릭할 때, 대응되는 텍스트 내용을 획득할 수 있게 한다.
제3 스텝: 번역해야 할 내용을 클릭한다.
기존의 오직 싱글 단어를 클릭하는 것을 서포트하는 인터렉션 작업과 비교하면, 본 기능은 비연속적으로 다선택하는 클릭 방식을 통하여 번역하고 싶은 단어, 어구, 구절, 단락 또는 문장을 선택하는 것을 서포트한다. 구체적인 구현 방안은: 제2 단계에서 단어의 입자도에 따라 커팅을 진행하기에, 실제 클릭하는 과정에서, 싱글 클릭 옵션 프레임에 하나의 단어가 대응되고, 사용자가 클릭 작업이 있음을 검측하였을 때, 복수 개의 클릭 옵션 프레임에 대응되는 단어를 탭으로 분해하고, 따라서 새로운 어구, 구절 또는 단락으로 조성한다.
사용자가 클릭 작업을 완성한 후, 1s내에 사용자의 클릭 작업을 검출하지 못하였을 때, 사용자가 내용 선택을 완성한 것으로 알고, 이때 자동으로 다음 스텝의 번역을 진행하여, 대응되는 구조화 학습 정보를 획득한다.
내용을 선택하는 과정에서, 선택하는 제스처는 첫 단어를 길게 누르고, 또한 빠르게 슬라이딩하여 연속적인 텍스트 내용을 선택하는 단축 제스처를 서포트하고, 따라서 긴 텍스트 번역 요구에서, 사용자가 연속으로 클릭하는 작업 코스트를 감소시킨다. 도 2d에서 도시된 바와같이, 선택한 단어가 텍스트에서 연속적이지 않고, 선택한 단어가 표시하는 컬러는 선택하지 않은 단어가 표시하는 컬러와 상이할 수 있으며, 또는 선택한 단어가 위치한 위치처의 마스크층의 투명도가 선택하지 않은 단어가 위치한 위치처의 마스크층의 투명도와 상이한 것으로, 사용자에게 이 단어들이 선택된 것임을 제시하며, 도 2d에서, 선택한 단어가 위치한 위치처의 마스크층은 예컨대 "hair" 및 "long"처의 마스크층과 같이 올투명이며, 도2e에서 도시한 바와같이, 선택한 단어는 텍스트중에서 연속적이고, 예컨대, 선택한 “My”, “hair”, “was”, “long”, “then”은 텍스트중의 동일한 구절중의 단어이다.
제4 스텝: 문자 번역.
문자 식별 결과를 획득한 후, 인터넷 뉴럴 네트워크 번역 시스템을 기반으로 하여, 외국어를 중문으로 번역하여, 사용자가 외국어 내용의 구체적인 중문 뜻풀이를 획득할 수 있도록 도와주고, 외국어를 더욱 잘 장악하도록 구현한다.
제5 스텝: 구조화 영어 학습 정보를 전시한다.
학습 시나리오에서의 요구에 대하여, 중입시 요강의 요구를 기반으로 하여, 기초적인 번역 결과 이외, 시험 중점을 기반으로 하여 사용자에게 중점 어휘, 어구 및 문법 문형을 동시에 제공해주고, 또한 대응되는 내용이 역대 중입시에서 나타나는 빈도를 제공하여, 학생 집단이 시험 중점을 더욱 재빠르게 명확하게, 구조화 영어 학습 정보를 획득하는 것을 도와준다.
구조화 학습 정보를 전시하는 과정은 주요하게: 1. 사용자가 촬영한 이미지중에서 지식 포인트 내용을 추출함; 2. 추출한 지식 포인트를 기반으로 하여 데이터 베이스에서 대응되는 학습 데이터를 인출함; 3. 지식 포인트 내용에 대하여 등급을 나누고, 또한 선단에서 전시함; 을 포함한다.
지식 포인트 추출: 지능 의미 분석 기술을 통하여, 문자중의 시험 포인트를 분석하며;
학습 데이터 인출: 고강에 대한 연구를 기반으로 하여, 중입시의 시험 포인트 및 대응되는 정보를 인공으로 부집합하고, 예컨대: 단어에 대하여 대응되는 시제, 상용어구, 고정 컬랙션, 사용 문법 등 정보를 부집합하며, 시험 중점을 커버하며;
정보 전시: 대응되는 데이터를 인출한 후, 집단 사용자가 히스토리에서 상기 텍스트에 대한 요구 분포를 기반으로 하여, 결과 페이지의 내용의 우선급에 대하여 동태 조정을 진행하고, 즉, come의 단어를 예를 들면, 히스토리의 검색 행위에서, 사용자는 주요하게 상기 단어의 고정 컬랙션 어구 정보를 조회하고, 번역 결과의 전시 순서에서, 상기 단어의 고정 컬랙션 어구 정보는 비교적 앞부분의 위치에 시퀀딩되며, 사용자의 정보 조회의 코스트를 감소하며;
본 개시에서 제공하는 번역 방법은: 입력 효율이 높고, 1초에 하나의 단어를 식별하고, 어구, 구절, 단락을 조회하는 속도는 텍스트 입력의 5배이며, 학습 효율을 대폭으로 제고하는 것을 구현하고;
입력 조건이 없고, 오직 촬영만 하면 되며, 즉 자동 커팅을 구현할 수 있으며, 클릭한 후 자동으로 내용을 식별 및 번역하고, 시각 이해 기술을 이용하여 텍스트 내용을 몰라서 입력을 하지 못하는 문제를 완전히 해결할 수 있으며;
번역 입자도가 다차원이고, 현재 이미지 번역 모드중의 올스크린 번역, 단어 추출/단어 커팅 번역 모드가 어구, 구절, 단락 입자도 내용에 대하여 번역을 진행할 수 없는 문제를 해결할 수 있으며, 사용자가 학습 시나리오에서 다양한 번역 요구를 편이하게 만족하고, 학생의 학습 요구에 더욱 부합되며; 등 유익한 효과를 구비하고 있다. 동시에 어구, 구절 또는 단락을 기반으로 하여 사용자에게 차별화 구조화의 학습 정보를 제공해주고, 시험 중점 내용을 고효율적으로 획득시켜주며, 학습 효율을 제고시킨다.
도 3을 참조하면, 도 3은 본 개시의 실시예에서 제공하는 번역 장치의 구조도이고, 도 3에서 도시된 바와같이, 본 실시예에서 번역 장치(300)를 제공하며, 상기 장치는:
이미지를 획득하기 위한 획득 모듈(301)로서, 상기 이미지에는 번역 대기 텍스트가 포함되는 것인, 획득 모듈(301);
상기 이미지중의 상기 텍스트에 대하여 분할을 진행하여, 복수 개의 타겟 대상을 획득하기 위한 분할 모듈(302)로서, 상기 타겟 대상에는 상기 텍스트의 글자 또는 단어가 포함되는 것인, 분할 모듈(302);
상기 복수 개의 타겟 대상에 대한 입력 작업을 수신하여, 상기 복수 개의 타겟 대상중의 번역 대상을 획득하기 위한 수신 모듈(303); 및
상기 번역 대상에 대하여 번역을 진행하기 위한 번역 모듈(304); 을 포함한다.
본 개시의 하나의 실시예에서, 상기 입력 작업은 상기 복수 개의 타겟 대상중에서 하나의 타겟 대상 또는 복수 개의 위치가 비연속적인 타겟 대상에 대한 제1 입력이고; 또는, 상기 입력 작업은 상기 복수 개의 타겟 대상중에서 복수 개의 위치가 연속적인 타겟 대상에 대한 제2 입력이다.
본 개시의 하나의 실시예에서, 상기 분할 모듈(302)은:
상기 이미지에 대하여 내용 식별을 진행하여, 제1 식별 결과를 획득하기 위한 제1 식별 서브 모듈;
상기 제1 식별 결과중의 문자에 대하여 분할을 진행하여, 복수 개의 타겟 대상을 획득하기 위한 제1 분할 서브 모듈;
상기 이미지중의 상기 타겟 대상이 위치한 위치에 클릭 옵션 프레임을 표시하고, 상기 타겟 대상은 클릭 옵션 프레임을 포함하기 위한 제1 표시 서브 모듈; 및
상기 복수 개의 타겟 대상의 클릭 옵션 프레임에 대한 입력 작업을 수신하여, 상기 복수 개의 타겟 대상중의 번역 대상을 획득하기 위한 수신 모듈(303)로서, 상기 번역 대상은 상기 클릭 옵션 프레임에 대응되는 글자 또는 단어인 것인, 수신 모듈(303); 을 포함한다.
본 개시의 하나의 실시예에서, 상기 제1 표시 서브 모듈은:
상기 이미지중에서의 상기 타겟 대상이 위치한 위치에서 기설정 투명도의 마스크층을 표시하기 위한 제1 표시 유닛; 및
상기 마스크층에서 클릭 옵션 프레임을 표시하기 위한 제2 표시 유닛; 을 포함한다.
본 개시의 하나의 실시예에서, 상기 번역 모듈(304)은:
상기 번역 대상에 대하여 번역을 진행하여, 번역 결과를 획득하기 위한 번역 서브 모듈;
상기 텍스트중의 상기 번역 대상의 콘텍스트를 획득하고, 데이터베이스중에서 복수 개의 지식 포인트 정보를 추출하기 위한 제1 획득 서브 모듈;
사용자의 히스토리 조회 데이터를 기반으로 하여, 상기 복수 개의 지식 포인트 정보의 우선급을 확정하기 위한 확정 서브 모듈;
상기 복수 개의 지식 포인트 정보에 대하여 우선급에 따라 시퀀싱을 진행하고, 또한 시퀀싱에서의 선행하는 N개 지식 포인트 정보를 획득하기 위한 시퀀싱 서브 모듈로서, 상기 N는 양의 정수인 것인, 시퀀싱 서브 모듈; 및
상기 번역 결과 및 상기 N개 지식 포인트 정보를 표시하기 위한 제2 표시 서브 모듈; 을 포함한다.
본 개시의 하나의 실시예에서, 상기 분할 모듈(302)은:
식별 모델을 사용하여 상기 이미지에 대하여 식별을 진행하여, 제2 식별 결과를 획득하기 위한 제2 식별 서브 모듈; 및
상기 제2 식별 결과에 따라 상기 이미지가 학습 시나리오에서의 이미지인 것으로 확정될 때, 상기 이미지중의 상기 텍스트에 대하여 분할을 진행하여, 복수 개의 타겟 대상을 획득하기 위한 제2 분할 서브 모듈; 을 포함한다.
번역 장치(300)는 도 1에서 도시한 방법 실시예중의 전자 기기가 구현하는 각각의 과정을 구현할 수 있고, 중복 설명을 피면하기 위하여, 여기서 더이상 기술하지 않는다.
본 개시의 실시예의 번역 장치(300)는, 이미지를 획득하고, 상기 이미지에는 번역 대기 텍스트가 포함되고; 상기 이미지중의 상기 텍스트에 대하여 분할을 진행하여, 복수 개의 타겟 대상을 획득하며, 상기 타겟 대상에는 상기 텍스트의 글자 또는 단어가 포함되며; 상기 복수 개의 타겟 대상에 대한 입력 작업을 수신하여, 상기 복수 개의 타겟 대상중의 번역 대상을 획득하고; 상기 번역 대상에 대하여 번역을 진행하는 것을 통하여, 텍스트에 대하여 번역을 진행하는 것을 구현할 수 있고, 상술한 방법은 오직 번역 대기 텍스트를 포함한 이미지를 획득해야 하고, 사용자가 수동으로 번역 대기 텍스트를 입력할 필요가 없기에, 사용자 작업을 간소화하여, 번역 효율을 제고시킬 수 있다.
본 개시의 실시예에 따라, 본 개시에서 전자 기기 및 판독 가능 저장 매체를 제공한다.
도 4에서 도시된 바와같이, 본 개시의 실시예의 번역 방법의 전자 기기의 블록도이다. 전자 기기는 랩탑 컴퓨터, 데스크 컴퓨터, 벤치, 개인 디지털 보조기, 서버, 블레이드 서버, 대형 컴퓨터, 및 기타 적합한 컴퓨터와 같은 다양한 형태의 디지털 컴퓨터를 의미한다. 전자 기기는 개인 디지털 처리, 셀룰러 전화기, 스마트폰, 웨어러블 장치 및 기타 유사한 컴퓨터 장치와 같은 각종 형식의 이동 장치를 의미한다. 본 명세서에서 제시한 컴포넌트, 이들의 연결 및 관계, 및 이들의 기능은 오직 실시예로서, 또한 그리고 본 명세서에 설명된 및/또는 청구된 본 개시의 구현을 제한하기 위한 의도는 아니다.
도 4에서 도시된 바와같이, 상기 전자 기기는: 하나 또는 복수 개의 프로세서(501), 메모리(502) 및 고속 인터페이스 및 저속 인터페이스를 포함하는 각 컴포넌트를 연결하기 위한 인터페이스를 포함한다. 각각의 컴포넌트는 상이한 버스를 이용하여 상호 연결되었고, 또한 공통 메인 플레이트에 설치될 수 있거나 또는 수요에 따라 기타 방식으로 설치될 수 있다. 프로세서는 전자 기기내에서 실행되는 명령에 대하여 처리할 수 있고, 메모리에 저장되어 있거나 또는 메모리 외부 입력/수출 장치(예컨대, 인터페이스에 결합된 표시 기기)에서 GUI로 디스플레이된 이미지 정보의 명령을 포함한다. 기타 실시 방식에 있어서, 필요하다면, 복수 개의 프로세서 및/또는 복수 개의 버스와 복수 개의 메모리 및 복수 개의 메모리와 함께 사용할 수 있다. 이와 동일하게, 복수 개의 전자 기기와 연결하여, 각각의 장치가 부분적으로 필요한 동작(예컨대, 서버 어레이, 블레이드 서버, 또는 다중 프로세서 시스템)을 제공할 수 있다. 도 4중 하나의 프로세서(501)을 예로 든다.
메모리(502)는 본 개시에서 제공하는 비일시적 컴퓨터 판독 가능 저장 매체이다. 그 중, 상기 메모리에는 적어도 하나의 프로세서에 의하여 실행할 수 있는 명령이 저장되어 있어, 상기 적어도 하나의 프로세서가 본 개시에서 제공하는 번역 방법을 실행할 수 있게 된다. 본 개시의 비일시적 컴퓨터 판독 가능 저장 매체에는 컴퓨터 명령을 저장하였고, 상기 컴퓨터 명령은 컴퓨터가 본 개시에서 제공하는 번역 방법을 수행하게 하기 위한 것이다.
메모리(502)는 일종의 비일시적 컴퓨터 판독 가능 저장 매체로서, 비일시적 소프트웨어 프로그램, 비일시적 컴퓨터 실행 가능 프로그램 및 모듈을 저장하기 위한 것일 수 있고, 예컨대 본 개시의 실시예중의 번역 방법에 대응되는 프로그램 명령/모듈(예컨대, 도3에서 도시된 획득 모듈(301), 분할 모듈(302), 수신 모듈(303) 및 번역 모듈(304))을 저장할 수 있다. 프로세서(501)는 메모리(502)에 저장되어 있는 비일시적 소프트웨어 프로그램, 명령 및 모듈을 운행하는 것을 통하여, 따라서 서버의 각종 기능 애플리케이션 및 데이터 처리를 실행하며, 상술한 방법 실시예중의 번역 방법을 구현한다.
메모리(502)는 프로그램 저장 구역 및 데이터 저장 구역을 포함할 수 있고, 그 중, 프로그램 저장 구역은 동작 시스템, 적어도 하나의 기능이 필요로 하는 애플리케이션 프로그램을 저장할 수 있고; 데이터 저장 구역은 키보드에서 디스클레이하는 전자 기기의 사용으로 생성된 데이터 등을 저장할 수 있다. 이외, 메모리(502)는 고속 랜덤 액세스 메모리를 포함할 수 있고, 또한 비일시적 메모리를 포함할 수 있으며, 예컨대 적어도 하나의 디스크 메모리 디바이스, 플래시 메모리 디바이스, 또는 기타 비일시적 고체 저장 디바이스를 포함할 수 있다. 일부 실시예에서, 메모리(502)는 프로세서(501)를 상대적으로 원격 설정을 하는 메모리를 선택할 수 있고, 이러한 원격 메모리는 인터넷을 통하여 키보드에서 디스플레이하는 전자 기기로 연결할 수 있다. 상술한 네트워크의 실시예는 인터넷, 기업 내부 네트워크, 근거리 네트워크, 이동 통신망 및 이들의 조합을 포함할 수 있지만 한정하지 않는다.
번역 방법을 구현하는 전자 기기는: 입력 장치(503) 및 출력 장치(504)를 포함할 수 있다. 프로세서(501), 메모리(502), 입력 장치(503) 및 출력 장치(504)는 버스 또는 기타 방식을 통하여 연결될 수 있고, 도 4에서 버스를 통하여 연결되는 것을 예를 든다.
입력 장치(503)는 입력한 디지털 또는 문자 정보를 수신할 수 있고, 및 번역의 전자 기기의 사용자 설정 및 기능 컨트롤과 관련된 키 시그널 입력을 생성할 수 있으며, 예컨대 터치 스크린, 키패드, 마우스, 트랙플레이트, 터치 플레이트, 표시 레버, 하나 또는 복수 개의 마우스 버튼, 트랙볼, 조이스틱 등의 입력 장치이다. 출력 장치(504)는 표시 기기, 보조 조명 장치(예컨대, LED) 및 촉각 피드백 장치(예컨대, 진동 모터)등을 포함할 수 있다. 상기 표시 기기는 액정 디스플레이(LCD), 발광 다이오드(LED) 디스플레이, 및 플라즈마 표시 장치를 포함할 수 있지만 이에 한정되지 않는다. 일부 실시 방식에서, 표시 기기는 터치 스크린일 수 있다.
여기서 설명한 시스템 및 기술의 각종 실시 방식은 디지털 전자 회로 시스템, 집적 회로 시스템, 전용 ASMC(전용 집적 회로), 컴퓨터 하드웨어, 펌웨어, 소프트웨어 및/또는 그들의 조합중에서 구현할 수 있다. 이러한 각종 실시 방식은 하기의 방식을 포함할 수 있다. 하나 또는 복수 개의 컴퓨터 프로그램중에서 실시하고, 해당 하나 또는 복수 개의 컴퓨터 프로그램은 적어도 하나의 프로그래밍 프로세서를 포함하는 프로그래밍 시스템에서 실행 및/또는 해석할 수 있으며, 해당 프로그래밍 프로세서는 전용 또는 통용 프로그래밍 프로세서일 수 있고, 저장 시스템, 적어도 하나의 입력 장치, 및 적어도 하나의 출력 장치에서 데이터 및 명령을 수신할 수 있으며, 또한 데이터 및 명령을 해당 저장 시스템, 해당 적어도 하나의 입력 장치, 및 해당 적어도 하나의 출력 장치로 전송한다.
이러한 컴퓨터 프로그램(프로그램, 소프트웨어, 소프트웨어 애플리케이션, 또는 코드로 칭하기도 함)은 프로그래밍 프로세서의 기계 명령을 포함하고, 또한 과정 및/또는 대상을 향한 프로그래밍 언어, 및/또는 어심블링/기계 언어를 이용하여 이러한 컴퓨터 프로그램을 실시할 수 있다. 본 명세서에서 사용한 바와같이, 용어“기계 판독 가능 매체” 및 “컴퓨터 판독 가능 매체”는 기계 명령 및/또는 데이터를 프로그래밍 프로세서의 임의의 컴퓨터 프로그램 제품, 기기, 및/또는 장치(예컨대, 자기 디스크, 광 디스크, 메모리, 프로그래밍 논리 장치(PLD))에 제공하기 위한 것이고, 기계 판독 가능 신호로 하는 기계 명령을 수신하는 기계 판독 가능 매체를 포함한다. 용어“기계 판독 가능 신호”는 기계 명령 및/또는 데이터를 프로그래밍 프로세서의 임의의 신호에 제공하기 위한 것이다.
사용자와의 인터렉션을 제공하기 위하여, 컴퓨터에서 여기서 설명한 시스템 및 기술을 실시할 수 있고, 상기 컴퓨터는: 사용자한테 정보를 디스플레이하기 위한 디스플레이 장치(예컨대, CRT(음극 레이 튜브) 또는 LCD(액정 표시 장치) 모니터); 및 키보드 및 포인팅 장치(예컨대, 마우스 또는 트랙 볼)를 구비하고 있고, 사용자는 상기 키보드 및 상기 포인팅 장치를 통하여 입력을 컴퓨터에 제공할 수 있다. 기타 종류의 장치는 사용자와의 상호 작용에 제공될 수 있으며; 예컨대, 사용자한테 제공하는 피드백은 임의의 형식의 감지 피드백일 수 있고(예컨대, 시각 피드백, 청각 피드백, 또는 촉각 피드백); 또한 임의의 형식(소리 입력, 음성 입력 또는 촉각 입력을 포함)으로 사용자의 입력을 수신할 수 있다.
여기서 설명한 시스템 및 기술을 백그라운드 컴포넌트를 포함하는 컴퓨터 시스템(예컨대, 데이터 서버), 또는 중간 컴포넌트를 포함하는 컴퓨터 시스템(예컨대, 애플리케이션 서버), 또는 프론트 컴포넌트를 포함하는 컴퓨터 시스템(예컨대, 그래픽 사용자 인터페이스 또는 네트워크 브라우저를 구비한 사용자 컴퓨터, 사용자는 해당 그래픽 사용자 인터페이스 또는 해당 네트워크 브라우저를 통하여 여기서 설명한 시스템 및 기술의 실시 방식과 상호 작용할 수 있다.), 또는 이러한 백그라운드 컴포넌트, 중간 컴포넌트, 또는 프론트 컴포넌트를 포함하는 임의의 조합의 컴퓨터 시스템중에서 실시할 수 있다. 임의의 형식 또는 매체의 디지털 데이터 통신(예컨대, 통신 네트워크)을 통하여 시스템의 컴포넌트를 상호 연결할 수 있다. 통신 네트워크의 예시는: 로컬 영역 네트워크(LAN), 광역 네트워크(WAN) 및 인터넷을 포함한다.
컴퓨터 시스템은 클라이언트 및 서버를 포함할 수 있다. 클라이언트 및 서버는 일반적으로 서로 떨어져있고 또한 통상적으로 통신 네트워크를 통하여 상호 작용을 진행한다. 상응한 컴퓨터에서 운행하고 또한 서로 클라이언트-서버 관계를 구비한 컴퓨터 프로그램을 통하여 클라이언트 및 서버의 관계를 생성한다.
본 개시의 실시예의 기술 방안에 따라, 이미지를 획득하고, 상기 이미지에는 번역 대기 텍스트가 포함되고; 상기 이미지중의 상기 텍스트에 대하여 분할을 진행하여, 복수 개의 타겟 대상을 획득하며, 상기 타겟 대상에는 상기 텍스트의 글자 또는 단어가 포함되며; 상기 복수 개의 타겟 대상에 대한 입력 작업을 수신하여, 상기 복수 개의 타겟 대상중의 번역 대상을 획득하고; 및 상기 번역 대상에 대하여 번역을 진행하는 것을 통하여, 텍스트에 대하여 번역을 진행하는 것을 구현할 수 있고, 상술한 방법은 오직 번역 대기 텍스트를 포함한 이미지를 획득해야 하고, 사용자가 수동으로 번역 대기 텍스트를 입력할 필요가 없기에, 사용자 작업을 간소화하여, 번역 효율을 제고시킬 수 있으며, 이외, 상술한 방법은 사용자가 번역 대기의 텍스트를 모르는 경우에도 적용될 수 있어, 사용자가 자체로 새로운 지식을 학습하고, 새로운 사물을 요해하는 것에 유리하다.
상기 입력 작업은 상기 복수 개의 타겟 대상중에서 하나 타겟 대상 또는 복수 개의 위치가 비연속적인 타겟 대상에 대한 제1 입력이고; 또는, 상기 입력 작업은 상기 복수 개의 타겟 대상중에서 복수 개의 위치가 연속적인 타겟 대상에 대한 제2 입력이다. 사용자는 실제 수요에 따라 텍스트중의 복수 개의 타겟 대상의 부분적 또는 전부에 대하여 선택을 진행할 수 있어, 사용자의 입력 작업을 간소화하고, 입력 효율을 제고시킨다. 동시에, 입력 작업은 텍스트중의 복수 개의 위치가 비연속적인 타겟 대상을 선택하거나, 또는 복수 개의 위치가 연속적인 타겟 대상을 선택할 수 있어, 후속의 번역 단계가 텍스트의 복수 개의 위치가 비연속적인 타겟 대상, 또는 복수 개의 위치가 연속적인 타겟 대상에 대하여 번역을 진행할 수 있기에, 텍스트중의 내용에 대하여 번역을 선택하여 진행하는 영활성을 제고시킨다.
상기 이미지에 대하여 내용 식별을 진행하여, 제1 식별 결과를 획득하고; 상기 제1 식별 결과중의 문자에 대하여 분할을 진행하여, 복수 개의 타겟 대상을 획득하며; 상기 이미지중의 상기 타겟 대상이 위치한 위치에 클릭 옵션 프레임을 표시하고; 및 상기 복수 개의 타겟 대상에 대한 입력 작업을 수신하여, 상기 복수 개의 타겟 대상중의 번역 대상을 획득하며, 상기 번역 대상은 상기 클릭 옵션 프레임에 대응되는 글자 또는 단어이다. 사용자를 위하여 타겟 대상을 선택하는 클릭 옵션 프레임을 제공하여, 사용자가 클릭 옵션 프레임을 선택하는 것을 통하여 타겟 대상을 선택할 수 있고, 그후 전자 기기는 사용자가 선택한 타겟 대상을 기반으로 하여 번역을 진행할 수 있어, 사용자의 입력을 간소화하였고, 입력 효율을 제고하였으며, 따라서 번역 효율도 제고시켰다.
더욱 좋은 표시 효과를 나타내기 위하여, 이미지중에서의 타겟 대상이 위치한 위치에서 기설정 투명도의 마스크층을 표시하고, 그후 마스크층위에서 클릭 옵션 프레임을 표시하며, 이는 사용자가 클릭 옵션 프레임을 선택하는 것을 통하여 번역을 진행해야 하는 타겟 대상을 선택할 수 있기에, 사용자가 번역해야 하는 글자 또는 단어에 대하여 수동으로 입력할 필요가 없어, 사용자의 입력을 간소화하였고, 입력 효율을 제고하였으며, 최종적으로 번역 효율도 제고시켰다.
상기 복수 개의 지식 포인트 정보에 대하여 우선급에 따라 시퀀싱을 진행하고, 또한 시퀀싱된 선행되는 N개 지식 포인트 정보를 획득하며, 상기 N는 양의 정수이다. 예컨대, 표시할 때, 우선급에 따라 높은 것으로부터 낮은 것으로 시퀀싱하고, 순차적으로 N개 지식 포인트 정보를 표시한다. 이에 따라, 우선급이 높은 지식 포인트 정보는 앞쪽으로 표시되고, 사용자는 큰 확률로 최대한 빨리 필요한 정보를 획득할 수 있으며, 사용자가 정보 조회를 하는 코스트를 감소시킨다.
이미지중의 텍스트에 대하여 분할을 진행하기 전, 우선 이미지의 학습 시나리오에 대하여 판단을 진행하고, 이미지가 학습 시나리오인 경우, 이미지중의 텍스트에 대하여 다시 분할을 진행하여, 분할이 시나리오 수요에 더욱 부합되고, 무용한 분할을 감소시킬 수 있다.
이해해야 할 것은, 위에서 제시한 각종 형식의 플라우차트를 사용하여, 재정렬, 추가 또는 삭제 단계를 진행할 수 있다. 예컨대, 본 개시중에 기재된 각 단계는 병행하여 실행할 수 있고 또는 순차적으로 실행할 수 도 있으며 또는 상이한 순서로 실행할 수 도 있고, 본 개시의 기술 방안이 원하는 결과를 구현할 수 만 있다면, 본 명세서에서는 이에 대하여 한정하지 않는다.
상술한 구체적인 실시 방식은, 본 개시의 보호 범위에 대한 제한을 구성하지 않는다. 본 기술 분야의 통상적인 기술을 가진 자들이 알아야 할 것은, 설계 요구 및 기타 요소에 의하여, 각종 수정, 조합, 서브 조합 및 대체를 진행할 수 있다. 임의의 본 개시의 정신 및 원칙내에서 진행한 수정, 등가 치환 및 개진 등은, 전부 본 개시의 보호 범위내에 포함된다.
Claims (17)
- 번역 장치에 의해 실행되는 번역 방법에 있어서,
상기 방법은:
이미지를 획득하는 단계로서, 상기 이미지에는 번역 대기 텍스트가 포함되는 것인, 획득하는 단계;
상기 이미지중의 상기 텍스트에 대하여 분할을 진행하여, 복수 개의 타겟 대상을 획득하는 단계로서, 상기 타겟 대상에는 상기 텍스트의 글자 또는 단어가 포함되는 것인, 획득하는 단계; 및
상기 복수 개의 타겟 대상에 대한 입력 작업을 수신하여, 상기 복수 개의 타겟 대상중의 번역 대상을 획득하는 단계; 및
상기 번역 대상에 대해 번역을 진행하는 단계;
를 포함하며;
상기 번역 대상에 대하여 번역을 진행하는 단계는:
상기 번역 대상에 대하여 번역을 진행하여, 번역 결과를 획득하는 단계;
상기 텍스트중의 상기 번역 대상의 콘텍스트를 획득하고, 데이터베이스중에서 복수 개의 지식 포인트 정보를 추출하는 단계;
사용자의 히스터리 조회 데이터를 기반으로 하여, 상기 복수 개의 지식 포인트 정보의 우선급을 확정하는 단계;
상기 복수 개의 지식 포인트 정보에 대하여 우선급에 따라 시퀀싱을 진행하고, 또한 시퀀싱에서의 선행하는 N개 지식 포인트 정보를 획득하며, 상기 N는 양의 정수인 단계; 및
상기 번역 결과 및 상기 N개 지식 포인트 정보를 표시하는 단계;
를 포함하며;
상기 이미지중의 상기 텍스트에 대하여 분할을 진행하여, 복수 개의 타겟 대상을 획득하는 단계는:
식별 모델을 사용하여 상기 이미지에 대하여 식별을 진행하여, 제2 식별 결과를 획득하는 단계; 및
상기 제2 식별 결과에 따라 상기 이미지가 학습 시나리오에서의 이미지인 것으로 확정될 때, 상기 이미지중의 상기 텍스트에 대하여 분할을 진행하여, 복수 개의 타겟 대상을 획득하는 단계;
를 포함하는 번역 방법. - 제1 항에 있어서,
상기 번역 대상은:
상기 복수 개의 타겟 대상중에서의 하나의 타겟 대상, 또는 복수 개의 위치가 비연속적인 타겟 대상, 또는, 상기 복수 개의 타겟 대상중에서 복수 개의 위치가 연속적인 타겟 대상;
을 포함하는 번역 방법. - 제1항에 있어서,
상기 이미지중의 상기 텍스트에 대하여 분할을 진행하여, 복수 개의 타겟 대상을 획득하는 단계는:
상기 이미지에 대하여 내용 식별을 진행하여, 제1 식별 결과를 획득하는 단계;
상기 제1 식별 결과중의 문자에 대하여 분할을 진행하여, 복수 개의 타겟 대상을 획득하는 단계; 및
상기 이미지중의 상기 타겟 대상이 위치한 위치에 클릭 옵션 프레임을 표시하고, 상기 타겟 대상은 클릭 옵션 프레임을 더 포함하는 단계; 를 포함하며,
상기 복수 개의 타겟 대상에 대한 입력 작업을 수신하여, 상기 복수 개의 타겟 대상중의 번역 대상을 획득하는 단계는:
상기 복수 개의 타겟 대상의 클릭 옵션 프레임에 대한 입력 작업을 수신하여, 상기 복수 개의 타겟 대상중의 번역 대상을 획득하는 단계로서, 상기 번역 대상은 상기 클릭 옵션 프레임에 대응되는 글자 또는 단어인 것인, 획득하는 단계;
를 포함하는 번역 방법. - 제3항에 있어서,
상기 제1 식별 결과중의 문자에 대하여 분할을 진행하여, 복수 개의 타겟 대상을 획득하는 단계는:
상기 제1 식별 결과중의 문자에 대하여 행에 따라 분할을 진행하여, 적어도 한 행의 문자 정보를 획득하는 단계; 및
상기 적어도 한 행의 문자 정보중의 각 행의 문자 정보에 대하여 각각 문자 간격에 따라 분할을 진행하여, 상기 복수 개의 타겟 대상을 획득하는 단계;
를 포함하는 번역 방법. - 제3 항에 있어서,
상기 이미지중의 상기 타겟 대상이 위치한 위치에서 클릭 옵션 프레임을 표시하는 단계는:
상기 이미지중에서의 상기 타겟 대상이 위치한 위치에서 기설정 투명도의 마스크층을 표시하는 단계; 및
상기 마스크층에서 클릭 옵션 프레임을 표시하는 단계;
를 포함하는 번역 방법. - 삭제
- 삭제
- 번역 장치에 있어서,
이미지를 획득하기 위한 획득 모듈로서, 상기 이미지에는 번역 대기 텍스트가 포함되는 것인, 획득 모듈;
상기 이미지중의 상기 텍스트에 대하여 분할을 진행하여, 복수 개의 타겟 대상을 획득하기 위한 분할 모듈로서, 상기 타겟 대상에는 상기 텍스트의 글자 또는 단어가 포함되는 것인, 분할 모듈;
상기 복수 개의 타겟 대상에 대한 입력 작업을 수신하여, 상기 복수 개의 타겟 대상중의 번역 대상을 획득하기 위한 수신 모듈; 및
상기 번역 대상에 대하여 번역을 진행하기 위한 번역 모듈;
를 포함하며;
상기 번역 모듈은:
상기 번역 대상에 대하여 번역을 진행하여, 번역 결과를 획득하기 위한 번역 서브 모듈;
상기 텍스트중의 상기 번역 대상의 콘텍스트를 획득하고, 데이터베이스중에서 복수 개의 지식 포인트 정보를 추출하기 위한 제1 획득 서브 모듈;
사용자의 히스터리 조회 데이터를 기반으로 하여, 상기 복수 개의 지식 포인트 정보의 우선급을 확정하기 위한 확정 서브 모듈;
상기 복수 개의 지식 포인트 정보에 대하여 우선급에 따라 시퀀싱을 진행하고, 또한 시퀀싱에서의 선행하는 N개 지식 포인트 정보를 획득하기 위한 시퀀싱 서브 모듈로서, 상기 N는 양의 정수인 것인, 시퀀싱 서브 모듈; 및
상기 번역 결과 및 상기 N개 지식 포인트 정보를 표시하기 위한 제2 표시 서브 모듈;
을 포함하며;
상기 분할 모듈은:
식별 모델을 사용하여 상기 이미지에 대하여 식별을 진행하여, 제2 식별 결과를 획득하기 위한 제2 식별 서브 모듈; 및
상기 제2 식별 결과에 따라 상기 이미지가 학습 시나리오에서의 이미지인 것으로 확정될 때, 상기 이미지중의 상기 텍스트에 대하여 분할을 진행하여, 복수 개의 타겟 대상을 획득하기 위한 제2 분할 서브 모듈;
을 포함하는 번역 장치. - 제8항에 있어서,
상기 번역 대상은:
상기 복수 개의 타겟 대상중에서의 하나의 타겟 대상, 또는 복수 개의 위치가 비연속적인 타겟 대상, 또는, 상기 복수 개의 타겟 대상중에서 복수 개의 위치가 연속적인 타겟 대상;
을 포함하는 번역 장치. - 제8항에 있어서,
상기 분할 모듈은:
상기 이미지에 대하여 내용 식별을 진행하여, 제1 식별 결과를 획득하기 위한 제1 식별 서브 모듈;
상기 제1 식별 결과중의 문자에 대하여 분할을 진행하여, 복수 개의 타겟 대상을 획득하기 위한 제1 분할 서브 모듈;
상기 이미지중의 상기 타겟 대상이 위치한 위치에 클릭 옵션 프레임을 표시하기 위한 제1 표시 서브 모듈로서, 상기 타겟 대상은 클릭 옵션 프레임을 포함하는 것인, 제1 표시 서브 모듈; 및
상기 복수 개의 타겟 대상의 클릭 옵션 프레임에 대한 입력 작업을 수신하여, 상기 복수 개의 타겟 대상중의 번역 대상을 획득하기 위한 수신 모듈로서, 상기 번역 대상은 상기 클릭 옵션 프레임에 대응되는 글자 또는 단어인 것인, 수신 모듈;
을 포함하는 번역 장치. - 제8항에 있어서,
상기 제1 분할 서브 모듈은:
상기 제1 식별 결과중의 문자에 대하여 행에 따라 분할을 진행하여, 적어도 한 행의 문자 정보를 획득하기 위한 것; 및
상기 적어도 한 행의 문자 정보중의 각 행의 문자 정보에 대하여 각각 문자 간격에 따라 분할을 진행하여, 상기 복수 개의 타겟 대상을 획득하기 위한 것인;
번역 장치. - 제8항에 있어서,
상기 제1 표시 서브 모듈은:
상기 이미지중에서의 상기 타겟 대상이 위치한 위치에서 기설정 투명도의 마스크층을 표시하기 위한 제1 표시 유닛; 및
상기 마스크층에서 클릭 옵션 프레임을 표시하기 위한 제2 표시 유닛;
을 포함하는 번역 장치. - 삭제
- 삭제
- 전자 기기에 있어서,
적어도 하나의 프로세서; 및
상기 적어도 하나의 프로세서와 통신 연결된 메모리; 를 포함하고,
그 중, 상기 메모리에는 상기 적어도 하나의 프로세서에 의하여 실행 가능한 명령이 저장되어 있고, 상기 명령은 상기 적어도 하나의 프로세서에 의하여 실행되여, 상기 적어도 하나의 프로세서로 하여금 청구항 제1 항 내지 제5항 중 임의의 한 항에 따른 상기 방법을 실행하도록 하는 것인;
전자 기기. - 컴퓨터 명령이 저장되어 있는 비일시적 컴퓨터 판독 가능 저장 매체에 있어서,
상기 컴퓨터 명령은 상기 컴퓨터가 청구항 제1 항 내지 제5항 중 임의의 한 항에 따른 상기 방법을 수행하도록 하기 위한 것인,
컴퓨터 명령이 저장되어 있는 비일시적 컴퓨터 판독 가능 저장 매체. - 컴퓨터 판독 가능 저장 매체에 저장된 컴퓨터 프로그램에 있어서,
상기 컴퓨터 프로그램은 적어도 하나의 프로세서에 의해 실행될 경우, 청구항 제1항 내지 제5항 중 임의의 어느 한 항에 따른 상기 방법을 구현하는 것인,
컴퓨터 판독 가능 저장 매체에 저장된 컴퓨터 프로그램.
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010929840.1 | 2020-09-07 | ||
CN202010929840.1A CN112085090B (zh) | 2020-09-07 | 2020-09-07 | 翻译方法、装置以及电子设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20210037637A KR20210037637A (ko) | 2021-04-06 |
KR102569517B1 true KR102569517B1 (ko) | 2023-08-21 |
Family
ID=73732376
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020210034701A KR102569517B1 (ko) | 2020-09-07 | 2021-03-17 | 번역 방법, 장치 및 전자 기기 |
Country Status (5)
Country | Link |
---|---|
US (1) | US20210209428A1 (ko) |
EP (1) | EP3825898A3 (ko) |
JP (1) | JP7164651B2 (ko) |
KR (1) | KR102569517B1 (ko) |
CN (1) | CN112085090B (ko) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112926569B (zh) * | 2021-03-16 | 2022-10-18 | 重庆邮电大学 | 一种社交网络中的自然场景图像文本检测方法 |
CN112988011B (zh) * | 2021-03-24 | 2022-08-05 | 百度在线网络技术(北京)有限公司 | 取词翻译方法和装置 |
CN113012264A (zh) * | 2021-03-25 | 2021-06-22 | 北京有竹居网络技术有限公司 | 一种图片处理方法、装置和设备 |
CN113486679A (zh) * | 2021-07-08 | 2021-10-08 | 中联国智科技管理(北京)有限公司 | 一种基于神经网络的语句翻译方法及装置 |
CN113778303A (zh) * | 2021-08-23 | 2021-12-10 | 深圳价值在线信息科技股份有限公司 | 一种文字提取的方法、装置及计算机可读存储介质 |
CN114154092B (zh) * | 2021-11-18 | 2023-04-18 | 网易有道信息技术(江苏)有限公司 | 用于对网页进行翻译的方法及其相关产品 |
CN115543161B (zh) * | 2022-11-04 | 2023-08-15 | 广东保伦电子股份有限公司 | 一种适用于白板一体机的抠图方法及装置 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20140180670A1 (en) * | 2012-12-21 | 2014-06-26 | Maria Osipova | General Dictionary for All Languages |
JP2015069365A (ja) * | 2013-09-27 | 2015-04-13 | シャープ株式会社 | 情報処理装置、および制御プログラム |
Family Cites Families (27)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5224040A (en) * | 1991-03-12 | 1993-06-29 | Tou Julius T | Method for translating chinese sentences |
JP3114703B2 (ja) * | 1998-07-02 | 2000-12-04 | 富士ゼロックス株式会社 | 対訳文検索装置 |
JP3437782B2 (ja) * | 1999-03-12 | 2003-08-18 | 日本電信電話株式会社 | 機械翻訳方法及びその装置並びに機械翻訳プログラムを記憶した媒体 |
US20040210444A1 (en) * | 2003-04-17 | 2004-10-21 | International Business Machines Corporation | System and method for translating languages using portable display device |
GB2468278A (en) * | 2009-03-02 | 2010-09-08 | Sdl Plc | Computer assisted natural language translation outputs selectable target text associated in bilingual corpus with input target text from partial translation |
JP5204203B2 (ja) * | 2010-11-24 | 2013-06-05 | 株式会社東芝 | 用例翻訳システム、用例翻訳方法及び用例翻訳プログラム |
CN102982329A (zh) * | 2012-11-02 | 2013-03-20 | 华南理工大学 | 移动设备中融合切分识别和语义分析的翻译方法 |
US20150199908A1 (en) * | 2013-02-08 | 2015-07-16 | Google Inc. | Translating content for learning a language |
US11120063B2 (en) * | 2016-01-25 | 2021-09-14 | Sony Corporation | Information processing apparatus and information processing method |
CN105786803B (zh) * | 2016-02-22 | 2018-12-18 | 广东小天才科技有限公司 | 翻译方法及翻译装置 |
WO2018062580A1 (ko) * | 2016-09-28 | 2018-04-05 | 주식회사 시스트란인터내셔널 | 문자를 번역하는 방법 및 그 장치 |
CN106599888A (zh) * | 2016-12-13 | 2017-04-26 | 广东小天才科技有限公司 | 一种翻译方法、装置及移动终端 |
CN107239450B (zh) * | 2017-06-02 | 2021-11-23 | 上海对岸信息科技有限公司 | 基于交互上下文处理自然语言方法 |
CN109145893A (zh) * | 2017-06-19 | 2019-01-04 | 北京搜狗科技发展有限公司 | 一种识别待翻译对象的方法、装置和设备 |
JP6775202B2 (ja) * | 2017-06-19 | 2020-10-28 | パナソニックIpマネジメント株式会社 | 処理方法、処理装置、及び処理プログラム |
CN107451127B (zh) * | 2017-07-04 | 2020-11-06 | 广东小天才科技有限公司 | 一种基于图像的单词翻译方法及***、移动设备 |
CN107656922B (zh) * | 2017-09-25 | 2021-07-20 | 广东小天才科技有限公司 | 一种翻译方法、装置、终端及存储介质 |
KR102478396B1 (ko) * | 2017-11-29 | 2022-12-19 | 삼성전자주식회사 | 이미지에서 텍스트를 인식할 수 있는 전자 장치 |
US10757148B2 (en) * | 2018-03-02 | 2020-08-25 | Ricoh Company, Ltd. | Conducting electronic meetings over computer networks using interactive whiteboard appliances and mobile devices |
CN110853422A (zh) * | 2018-08-01 | 2020-02-28 | 世学(深圳)科技有限公司 | 一种沉浸式语言学习***及其学习方法 |
CN109088995B (zh) * | 2018-10-17 | 2020-11-13 | 永德利硅橡胶科技(深圳)有限公司 | 支持全球语言翻译的方法及手机 |
CN109614628A (zh) * | 2018-11-16 | 2019-04-12 | 广州市讯飞樽鸿信息技术有限公司 | 一种基于智能硬件的翻译方法与翻译*** |
CN109657619A (zh) * | 2018-12-20 | 2019-04-19 | 江苏省舜禹信息技术有限公司 | 一种附图翻译方法、装置及存储介质 |
US11106873B2 (en) * | 2019-01-22 | 2021-08-31 | Sap Se | Context-based translation retrieval via multilingual space |
CN111079489B (zh) * | 2019-05-28 | 2023-04-28 | 广东小天才科技有限公司 | 一种内容识别方法及电子设备 |
CN110347978B (zh) * | 2019-07-02 | 2022-09-16 | 深圳市数字星河科技有限公司 | 一种电子书辅助阅读的方法 |
CN110941723A (zh) * | 2019-11-18 | 2020-03-31 | 广东宜学通教育科技有限公司 | 一种知识图谱的构建方法、***及存储介质 |
-
2020
- 2020-09-07 CN CN202010929840.1A patent/CN112085090B/zh active Active
-
2021
- 2021-03-16 JP JP2021042333A patent/JP7164651B2/ja active Active
- 2021-03-17 KR KR1020210034701A patent/KR102569517B1/ko active IP Right Grant
- 2021-03-18 EP EP21163486.0A patent/EP3825898A3/en not_active Ceased
- 2021-03-19 US US17/207,559 patent/US20210209428A1/en active Pending
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20140180670A1 (en) * | 2012-12-21 | 2014-06-26 | Maria Osipova | General Dictionary for All Languages |
JP2015069365A (ja) * | 2013-09-27 | 2015-04-13 | シャープ株式会社 | 情報処理装置、および制御プログラム |
Also Published As
Publication number | Publication date |
---|---|
JP7164651B2 (ja) | 2022-11-01 |
EP3825898A3 (en) | 2021-10-13 |
CN112085090A (zh) | 2020-12-15 |
CN112085090B (zh) | 2024-07-09 |
EP3825898A2 (en) | 2021-05-26 |
US20210209428A1 (en) | 2021-07-08 |
JP2021106008A (ja) | 2021-07-26 |
KR20210037637A (ko) | 2021-04-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR102569517B1 (ko) | 번역 방법, 장치 및 전자 기기 | |
CN107656922B (zh) | 一种翻译方法、装置、终端及存储介质 | |
US11694461B2 (en) | Optical character recognition method and apparatus, electronic device and storage medium | |
JP7204847B2 (ja) | 関連コンテンツを使用した画像の効率的な増強 | |
CN107273019B (zh) | 基于协同姿势的输入语言 | |
RU2693916C1 (ru) | Распознавание символов с использованием иерархической классификации | |
TWI475406B (zh) | 取決於上下文之輸入方法 | |
JP7130194B2 (ja) | ユーザ意図認識方法、装置、電子機器、コンピュータ可読記憶媒体及びコンピュータプログラム | |
US20160004692A1 (en) | Systems and methods for displaying foreign character sets and their translations in real time on resource-constrained mobile devices | |
US20210216819A1 (en) | Method, electronic device, and storage medium for extracting spo triples | |
CN112560912A (zh) | 分类模型的训练方法、装置、电子设备和存储介质 | |
US20140143721A1 (en) | Information processing device, information processing method, and computer program product | |
CN112507735B (zh) | 机器翻译模型的训练方法、装置和电子设备 | |
US11361002B2 (en) | Method and apparatus for recognizing entity word, and storage medium | |
US11462039B2 (en) | Method, device, and storage medium for obtaining document layout | |
US20220222292A1 (en) | Method and system for ideogram character analysis | |
EP3929768A1 (en) | Method and apparatus for generating triple sample, electronic device and computer storage medium | |
US20220027575A1 (en) | Method of predicting emotional style of dialogue, electronic device, and storage medium | |
CN111858905B (zh) | 模型训练方法、信息识别方法、装置、电子设备及存储介质 | |
CN112487242A (zh) | 用于识别视频的方法、装置、电子设备及可读存储介质 | |
KR20210038471A (ko) | 텍스트 쿼리 방법, 장치, 기기 및 저장 매체 | |
JP2023012522A (ja) | クロスモーダル情報に基づく文書読解モデルトレーニング方法及び装置 | |
CN112507090A (zh) | 用于输出信息的方法、装置、设备和存储介质 | |
KR20230062251A (ko) | 텍스트 기반의 문서분류 방법 및 문서분류 장치 | |
CN111858880A (zh) | 获取查询结果的方法、装置、电子设备和可读存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
E902 | Notification of reason for refusal | ||
AMND | Amendment | ||
E601 | Decision to refuse application | ||
X091 | Application refused [patent] | ||
AMND | Amendment | ||
X701 | Decision to grant (after re-examination) | ||
GRNT | Written decision to grant |