KR20220036772A - Personal record integrated management service connecting to repository - Google Patents
Personal record integrated management service connecting to repository Download PDFInfo
- Publication number
- KR20220036772A KR20220036772A KR1020200119350A KR20200119350A KR20220036772A KR 20220036772 A KR20220036772 A KR 20220036772A KR 1020200119350 A KR1020200119350 A KR 1020200119350A KR 20200119350 A KR20200119350 A KR 20200119350A KR 20220036772 A KR20220036772 A KR 20220036772A
- Authority
- KR
- South Korea
- Prior art keywords
- personal record
- personal
- management service
- repository
- user terminal
- Prior art date
Links
- 238000009826 distribution Methods 0.000 claims abstract description 8
- 238000007726 management method Methods 0.000 claims description 82
- 238000000034 method Methods 0.000 claims description 56
- 230000003190 augmentative effect Effects 0.000 claims description 6
- 238000012360 testing method Methods 0.000 claims description 3
- 238000012549 training Methods 0.000 claims description 2
- 230000010354 integration Effects 0.000 claims 1
- 238000012015 optical character recognition Methods 0.000 description 20
- 230000008569 process Effects 0.000 description 20
- 238000004891 communication Methods 0.000 description 17
- 238000013527 convolutional neural network Methods 0.000 description 12
- 238000005516 engineering process Methods 0.000 description 11
- 230000006870 function Effects 0.000 description 11
- 238000011156 evaluation Methods 0.000 description 8
- 238000013507 mapping Methods 0.000 description 8
- 238000013528 artificial neural network Methods 0.000 description 7
- 238000013135 deep learning Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 239000000284 extract Substances 0.000 description 6
- 210000000887 face Anatomy 0.000 description 6
- 230000000306 recurrent effect Effects 0.000 description 6
- 230000011218 segmentation Effects 0.000 description 6
- 238000012545 processing Methods 0.000 description 5
- 238000003860 storage Methods 0.000 description 5
- 230000001413 cellular effect Effects 0.000 description 4
- 230000001815 facial effect Effects 0.000 description 4
- 230000014509 gene expression Effects 0.000 description 4
- 238000004519 manufacturing process Methods 0.000 description 4
- 238000010295 mobile communication Methods 0.000 description 4
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 4
- 238000013145 classification model Methods 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 3
- 230000018109 developmental process Effects 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 238000002372 labelling Methods 0.000 description 3
- 239000000463 material Substances 0.000 description 3
- 241001465754 Metazoa Species 0.000 description 2
- 238000003708 edge detection Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000003252 repetitive effect Effects 0.000 description 2
- 230000001131 transforming effect Effects 0.000 description 2
- VYZAMTAEIAYCRO-UHFFFAOYSA-N Chromium Chemical compound [Cr] VYZAMTAEIAYCRO-UHFFFAOYSA-N 0.000 description 1
- 241000282412 Homo Species 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 239000008280 blood Substances 0.000 description 1
- 210000004369 blood Anatomy 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000002996 emotional effect Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000000691 measurement method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000003800 pharynx Anatomy 0.000 description 1
- 238000004321 preservation Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000013535 sea water Substances 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000003746 surface roughness Effects 0.000 description 1
- 230000009897 systematic effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/18—File system types
- G06F16/182—Distributed file systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/901—Indexing; Data structures therefor; Storage structures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/953—Querying, e.g. by the use of web search engines
- G06F16/9535—Search customisation based on user profiles and personalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
- G06K19/00—Record carriers for use with machines and with at least a part designed to carry digital markings
- G06K19/06—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code
- G06K19/06009—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code with optically detectable marking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/26—Government or public services
-
- G06Q50/30—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/50—Business processes related to the communications industry
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/003—Navigation within 3D models or images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Business, Economics & Management (AREA)
- Databases & Information Systems (AREA)
- Tourism & Hospitality (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Computer Graphics (AREA)
- Data Mining & Analysis (AREA)
- Health & Medical Sciences (AREA)
- Strategic Management (AREA)
- Economics (AREA)
- General Health & Medical Sciences (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- General Business, Economics & Management (AREA)
- Computer Hardware Design (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Development Economics (AREA)
- Educational Administration (AREA)
- Geometry (AREA)
- Operations Research (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
Description
본 발명은 기관 리포지토리와 연계된 개인기록 통합 관리 서비스 제공 시스템에 관한 것으로, 민간기록 중 개인기록을 기관과 연계하여 수집, 저장 및 관리할 수 있는 플랫폼을 제공한다.The present invention relates to a system for providing an integrated management service for personal records linked to an institution repository, and provides a platform that can collect, store, and manage personal records among private records in association with institutions.
전자매체가 등장한 이래 빠른 속도로 전자책, 전자잡지, 디지털 도서관 등의 다양한 방식으로 디지털 출판이 활성화되었고, 개인 단위 기록에 대한 접근성 또한 증가하였다. 특히, 소셜미디어와 전자책 분야의 발전은 개인의 기록 욕구와 맞물려 새로운 문화로 이어지기도 했다. 이와 동시에 디지털 플랫폼은 개인의 공간에 대한 항구성 확보가 취약하기 때문에 디지털 형태의 자료들은 영구보존이라는 새로운 문제를 갖게 되었다. 개인이 웹으로 기록한 자료는 물리적으로 사본의 존재가능성이 인쇄자료에 비해 극히 낮은 실정인데, 대부분의 디지털 자원은 태생적 디지털자원(Born Digital)이기 때문에 종이와 같은 물리적 매체에 기록하여 업로드하지 않고 디지털 형태로 공유된다. 따라서 업로드한 공간의 폐쇄 혹은 업로드 자료의 부주의한 삭제는 해당 자료의 완전한 망실을 의미한다.Since the advent of electronic media, digital publishing has been activated in various ways such as e-books, e-magazines, and digital libraries at a rapid pace, and access to individual records has also increased. In particular, the development of social media and e-books has led to a new culture in line with the individual's desire to record. At the same time, digital platforms have a new problem of permanent preservation because digital platforms are weak in securing the permanence of individual spaces. Data recorded by an individual on the web has a very low possibility of physically being a copy compared to printed data. Since most digital resources are born digital, they are not recorded on a physical medium such as paper and uploaded digitally. shared in the form. Therefore, closure of the uploaded space or careless deletion of uploaded data means complete loss of the data.
이때, 개인기록을 디지털화하고 개인사를 박물관 형태로 보관하는 리포지토리(Repository)를 구축하는 방법이 연구 및 개발되었는데, 이와 관련하여, 선행기술인 한국공개특허 제2000-0072603호(2000년12월05일 공개) 및 한국공개특허 제2013-0116551호(2013년10월24일 공개)에는, 한 개인의 출생부터 사망까지의 일대기를 디지털 데이터화하여 데이터뱅크에 저장하고, 운영자는 개인에 대한 데이터를 일정주기로 업데이트함과 동시에 이용자 또는 이용자의 자손을 인식하여 데이터뱅크에 축적된 데이터를 확인 또는 열람할 수 있도록 하며, 이용자의 사망시 고인에 대한 정보를 열람하거나 데이터를 제공받을 수 있도록 한 구성과, 개인기록에 저장된 URL 주소에 QR 코드를 부여하고, 사용자 단말에서 QR 코드를 리딩하여 URL 주소에 접속하는 경우 개인기록을 동영상 콘텐츠로 출력하는 구성이 각각 개시되어 있다.At this time, a method of digitizing personal records and building a repository for storing personal history in the form of a museum was researched and developed. ) and Korean Patent Application Laid-Open No. 2013-0116551 (published on October 24, 2013), digitalize the life story of an individual from birth to death and store it in a data bank, and the operator updates personal data at regular intervals. At the same time, it recognizes the user or the user's descendants so that the data accumulated in the data bank can be checked or read, and the structure that allows the user to view information about the deceased or receive data when the user dies, and the URL address stored in the personal record Each configuration is disclosed in which a personal record is output as video content when a QR code is given to the user terminal and the URL address is accessed by reading the QR code in the user terminal.
다만, 개인기록이 포함되는 범주인 민간 기록은 비(非) 정부 기관의 출처로부터 비롯된 기록, 즉 중앙정부기관, 정부산하기관 및 부서와 같은 공공영역 이외에 속하는 기관 및 개인이 생산한 기록으로 정의하며, 세부적으로 민간기록의 유형 부문에서 민간기록물은 그 형식이나 내용, 물리적인 형태에 관계없이 민간에서 생산되거나 보유 중인 모든 유형의 기록물이지만, 공공 기록과 민간 기록의 결정적인 차이는, 체계적으로 구조화되어 정부기관에서 주체적으로 기관 리포지토리와 연계하며 지속적으로 관리하는지의 여부이다. 즉, 개인이 소장하고 있는 기록은 구조화되지 못하였고 중요한 자료와 아닌 것이 무질서하게 혼재되어 있으며, 업로드한 공간의 폐쇄 혹은 업로드 자료의 부주의한 삭제는 해당 자료의 완전한 망실로 이어져 영구히 사라진다. 이에, 개인이 다양한 분야에서 생산·취득한 모든 형태의 기록정보 자료와 박물 중 디지털 형태로 제공되며, 형식적인 부분 뿐만 아니라 내용적인 부분에서도 구조화된 형식을 지닌 기록을, 기관 리포지토리와 연계하여 지속적인 관리를 할 수 있는 통합 플랫폼이 요구된다.However, private records, a category that includes personal records, are defined as records originating from sources of non-governmental organizations, that is, records produced by institutions and individuals outside the public domain, such as central government agencies, government agencies and departments. In detail, in the field of types of private records, private records are all types of records produced or held by the private sector, regardless of their form, content, or physical form. It is whether or not the institution independently connects with the institution's repository and continuously manages it. In other words, the records held by individuals are unstructured, and important and non-essential data are mixed in disorder. Accordingly, all types of record information data produced and acquired by individuals in various fields are provided in digital form among museums. An integrated platform that can do this is required.
본 발명의 일 실시예는, 개인이 개인 업무나 개인사와 관련하여 생산·수집한 기록으로, 텍스트, 이미지 및 동영상을 포함하는 개인기록 콘텐츠를 사용자 단말로부터 주기적으로 업로드받고, 기 설정된 포맷에 의해 개인기록 콘텐츠가 분류 및 카테고리화되도록 메타데이터 또는 태그를 자동으로 생성 또는 부착시켜 히스토리 데이터로 변환하며, 적어도 하나의 기관 리포지토리와 연계하여 데이터의 망실 또는 유실을 방지하고, 자손 노드에 대응하는 단말에서 각 박물관이나 도서관의 키오스크에 단말을 QR 코드나 근거리 통신으로 인식 및 식별시켰을 때 각 키오스크에서 부모 노드에 대응하는 단말에서 저장했던 개인기록 콘텐츠를 가상현실 또는 증강현실로 출력시킬 수 있도록 하는, 기관 리포지토리와 연계된 개인기록 통합 관리 서비스 제공 방법을 제공할 수 있다. 다만, 본 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.An embodiment of the present invention is a record produced and collected by an individual in relation to his or her personal work or personal history, in which personal record contents including text, images and videos are periodically uploaded from a user terminal, Metadata or tags are automatically created or attached to classify and categorize recorded content, and are converted into historical data, and data loss or loss is prevented by linking with at least one institutional repository, and each terminal corresponding to a descendant node When a terminal is recognized and identified by a QR code or short-distance communication in a kiosk in a museum or library, the personal record content stored in the terminal corresponding to the parent node in each kiosk can be output in virtual reality or augmented reality, an institutional repository and It is possible to provide a method for providing a linked personal record integrated management service. However, the technical task to be achieved by the present embodiment is not limited to the technical task as described above, and other technical tasks may exist.
상술한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본 발명의 일 실시예는, 민간기록 중 개인업무나 개인사와 관련하여 생산 및 수집된 텍스트, 이미지 및 동영상을 포함하는 개인기록 콘텐츠를 주기적 또는 실시간으로 업로드하는 사용자 단말, 개인기록 콘텐츠를 식별코드의 입력으로 출력되도록 하고, 개인기록 콘텐츠의 관리 및 보존하는 적어도 하나의 기관 리포지토리(Repository) 및 사용자 단말로부터 개인기록 콘텐츠를 주기적 또는 실시간으로 업로드받는 수신부, 사용자 단말로부터 개인기록 콘텐츠에 접근가능한 엑세스권을 부여할 대상을 입력받는 입력부, 개인기록 콘텐츠를 메타데이터 또는 태그로 분류 및 카테고리화하여 기 설정된 구조화된 포맷에 맞게 재배치 및 편집하는 구조화부, 적어도 하나의 기관 리포지토리에 개인기록 콘텐츠를 분산저장하는 분산부를 포함하는 관리 서비스 제공 서버를 포함한다.As a technical means for achieving the above-mentioned technical problem, an embodiment of the present invention periodically or real-time personal record contents including texts, images and videos produced and collected in relation to personal work or personal history among private records. At least one institutional repository that manages and preserves personal record contents and a receiving unit that periodically or real-time uploads personal record contents from a user terminal to upload, personal record contents to be output as input of an identification code, and personal record contents from a user terminal; At least one input unit that receives an input from the user terminal to grant access to personal record contents, a structuring unit that classifies and categorizes personal record contents into metadata or tags, and rearranges and edits them in accordance with a preset structured format; It includes a management service providing server including a distribution unit for distributing and storing personal record contents in the institutional repository of
전술한 본 발명의 과제 해결 수단 중 어느 하나에 의하면, 개인이 개인 업무나 개인사와 관련하여 생산·수집한 기록으로, 텍스트, 이미지 및 동영상을 포함하는 개인기록 콘텐츠를 사용자 단말로부터 주기적으로 업로드받고, 기 설정된 포맷에 의해 개인기록 콘텐츠가 분류 및 카테고리화되도록 메타데이터 또는 태그를 자동으로 생성 또는 부착시켜 히스토리 데이터로 변환하며, 적어도 하나의 기관 리포지토리와 연계하여 데이터의 망실 또는 유실을 방지하고, 자손 노드에 대응하는 단말에서 각 박물관이나 도서관의 키오스크에 단말을 QR 코드나 근거리 통신으로 인식 및 식별시켰을 때 각 키오스크에서 부모 노드에 대응하는 단말에서 저장했던 개인기록 콘텐츠를 가상현실 또는 증강현실로 출력시킬 수 있도록 함으로써, 궁극적으로 개인의 일상이나 개인의 창작물과 같은 개인 기록물을 안전하고 영구히 보존할 수 있다.According to any one of the above-described problem solving means of the present invention, personal record contents including text, images and moving pictures are periodically uploaded from a user terminal as records produced and collected by an individual in connection with personal work or personal history, Metadata or tags are automatically created or attached so that personal record contents are classified and categorized according to a preset format and converted into historical data. When the terminal corresponding to the kiosk recognizes and identifies the terminal with a QR code or short-distance communication in the kiosk of each museum or library, the personal record contents stored in the terminal corresponding to the parent node in each kiosk can be output in virtual reality or augmented reality. Ultimately, personal records such as personal daily life or personal creations can be safely and permanently preserved.
도 1은 본 발명의 일 실시예에 따른 기관 리포지토리와 연계된 개인기록 통합 관리 서비스 제공 시스템을 설명하기 위한 도면이다.
도 2는 도 1의 시스템에 포함된 통합 관리 서비스 제공 서버를 설명하기 위한 블록 구성도이다.
도 3 및 도 4는 본 발명의 일 실시예에 따른 기관 리포지토리와 연계된 개인기록 통합 관리 서비스가 구현된 일 실시예를 설명하기 위한 도면이다.
도 5는 본 발명의 일 실시예에 따른 기관 리포지토리와 연계된 개인기록 통합 관리 서비스 제공 방법을 설명하기 위한 동작 흐름도이다.1 is a view for explaining a system for providing an integrated personal record management service linked to an institution repository according to an embodiment of the present invention.
FIG. 2 is a block diagram illustrating an integrated management service providing server included in the system of FIG. 1 .
3 and 4 are diagrams for explaining an embodiment in which the integrated personal record management service associated with the institutional repository according to an embodiment of the present invention is implemented.
5 is an operation flowchart illustrating a method of providing an integrated personal record management service associated with an institution repository according to an embodiment of the present invention.
아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings so that those of ordinary skill in the art can easily implement them. However, the present invention may be embodied in several different forms and is not limited to the embodiments described herein. And in order to clearly explain the present invention in the drawings, parts irrelevant to the description are omitted, and similar reference numerals are attached to similar parts throughout the specification.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미하며, 하나 또는 그 이상의 다른 특징이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.Throughout the specification, when a part is "connected" with another part, this includes not only the case of being "directly connected" but also the case of being "electrically connected" with another element interposed therebetween. . In addition, when a part "includes" a certain component, it means that other components may be further included, rather than excluding other components, unless otherwise stated, and one or more other features However, it is to be understood that the existence or addition of numbers, steps, operations, components, parts, or combinations thereof is not precluded in advance.
명세서 전체에서 사용되는 정도의 용어 "약", "실질적으로" 등은 언급된 의미에 고유한 제조 및 물질 허용오차가 제시될 때 그 수치에서 또는 그 수치에 근접한 의미로 사용되고, 본 발명의 이해를 돕기 위해 정확하거나 절대적인 수치가 언급된 개시 내용을 비양심적인 침해자가 부당하게 이용하는 것을 방지하기 위해 사용된다. 본 발명의 명세서 전체에서 사용되는 정도의 용어 "~(하는) 단계" 또는 "~의 단계"는 "~ 를 위한 단계"를 의미하지 않는다. The terms "about", "substantially", etc. to the extent used throughout the specification are used in or close to the numerical value when manufacturing and material tolerances inherent in the stated meaning are presented, and are intended to enhance the understanding of the present invention. To help, precise or absolute figures are used to prevent unfair use by unconscionable infringers of the stated disclosure. As used throughout the specification of the present invention, the term "step of (to)" or "step of" does not mean "step for".
본 명세서에 있어서 '부(部)'란, 하드웨어에 의해 실현되는 유닛(unit), 소프트웨어에 의해 실현되는 유닛, 양방을 이용하여 실현되는 유닛을 포함한다. 또한, 1 개의 유닛이 2 개 이상의 하드웨어를 이용하여 실현되어도 되고, 2 개 이상의 유닛이 1 개의 하드웨어에 의해 실현되어도 된다. 한편, '~부'는 소프트웨어 또는 하드웨어에 한정되는 의미는 아니며, '~부'는 어드레싱 할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 '~부'는 소프트웨어 구성요소들, 객체 지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들 및 변수들을 포함한다. 구성요소들과 '~부'들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 '~부'들로 결합되거나 추가적인 구성요소들과 '~부'들로 더 분리될 수 있다. 뿐만 아니라, 구성요소들 및 '~부'들은 디바이스 또는 보안 멀티미디어카드 내의 하나 또는 그 이상의 CPU들을 재생시키도록 구현될 수도 있다.In this specification, a "part" includes a unit realized by hardware, a unit realized by software, and a unit realized using both. In addition, one unit may be implemented using two or more hardware, and two or more units may be implemented by one hardware. Meanwhile, '~ unit' is not limited to software or hardware, and '~ unit' may be configured to be in an addressable storage medium or to reproduce one or more processors. Thus, as an example, '~' denotes components such as software components, object-oriented software components, class components, and task components, and processes, functions, properties, and procedures. , subroutines, segments of program code, drivers, firmware, microcode, circuitry, data, databases, data structures, tables, arrays and variables. The functions provided in the components and '~ units' may be combined into a smaller number of components and '~ units' or further separated into additional components and '~ units'. In addition, components and '~ units' may be implemented to play one or more CPUs in a device or secure multimedia card.
본 명세서에 있어서 단말, 장치 또는 디바이스가 수행하는 것으로 기술된 동작이나 기능 중 일부는 해당 단말, 장치 또는 디바이스와 연결된 서버에서 대신 수행될 수도 있다. 이와 마찬가지로, 서버가 수행하는 것으로 기술된 동작이나 기능 중 일부도 해당 서버와 연결된 단말, 장치 또는 디바이스에서 수행될 수도 있다. Some of the operations or functions described as being performed by the terminal, apparatus, or device in the present specification may be performed instead of by a server connected to the terminal, apparatus, or device. Similarly, some of the operations or functions described as being performed by the server may also be performed in a terminal, apparatus, or device connected to the server.
본 명세서에서 있어서, 단말과 매핑(Mapping) 또는 매칭(Matching)으로 기술된 동작이나 기능 중 일부는, 단말의 식별 정보(Identifying Data)인 단말기의 고유번호나 개인의 식별정보를 매핑 또는 매칭한다는 의미로 해석될 수 있다.In this specification, some of the operations or functions described as mapping or matching with the terminal means mapping or matching the terminal's unique number or personal identification information, which is the identification data of the terminal. can be interpreted as
이하 첨부된 도면을 참고하여 본 발명을 상세히 설명하기로 한다.Hereinafter, the present invention will be described in detail with reference to the accompanying drawings.
도 1은 본 발명의 일 실시예에 따른 기관 리포지토리와 연계된 개인기록 통합 관리 서비스 제공 시스템을 설명하기 위한 도면이다. 도 1을 참조하면, 기관 리포지토리와 연계된 개인기록 통합 관리 서비스 제공 시스템(1)은, 적어도 하나의 사용자 단말(100), 관리 서비스 제공 서버(300), 적어도 하나의 검색 단말(400), 적어도 하나의 기관 리포지토리(500) 및 키오스크(600)를 포함할 수 있다. 다만, 이러한 도 1의 기관 리포지토리와 연계된 개인기록 통합 관리 서비스 제공 시스템(1)은, 본 발명의 일 실시예에 불과하므로, 도 1을 통하여 본 발명이 한정 해석되는 것은 아니다.1 is a diagram for explaining a system for providing an integrated personal record management service linked to an institution repository according to an embodiment of the present invention. Referring to FIG. 1 , the integrated personal record management service providing system 1 linked to the institutional repository includes at least one
이때, 도 1의 각 구성요소들은 일반적으로 네트워크(network, 200)를 통해 연결된다. 예를 들어, 도 1에 도시된 바와 같이, 적어도 하나의 사용자 단말(100)은 네트워크(200)를 통하여 관리 서비스 제공 서버(300)와 연결될 수 있다. 그리고, 관리 서비스 제공 서버(300)는, 네트워크(200)를 통하여 적어도 하나의 사용자 단말(100), 적어도 하나의 검색 단말(400), 적어도 하나의 기관 리포지토리(500) 및 키오스크(600)와 연결될 수 있다. 또한, 적어도 하나의 검색 단말(400)은, 네트워크(200)를 통하여 관리 서비스 제공 서버(300)와 연결될 수 있다. 그리고, 적어도 하나의 기관 리포지토리(500)는, 네트워크(200)를 통하여 적어도 하나의 사용자 단말(100), 관리 서비스 제공 서버(300) 및 적어도 하나의 검색 단말(400)과 연결될 수 있다. 마지막으로, 키오스크(600)는, 네트워크(200)를 통하여 사용자 단말(100), 검색 단말(400), 관리 서비스 제공 서버(300), 적어도 하나의 기관 리포지토리(500)와 연결될 수 있다.At this time, each component of FIG. 1 is generally connected through a
여기서, 네트워크는, 복수의 단말 및 서버들과 같은 각각의 노드 상호 간에 정보 교환이 가능한 연결 구조를 의미하는 것으로, 이러한 네트워크의 일 예에는 근거리 통신망(LAN: Local Area Network), 광역 통신망(WAN: Wide Area Network), 인터넷(WWW: World Wide Web), 유무선 데이터 통신망, 전화망, 유무선 텔레비전 통신망 등을 포함한다. 무선 데이터 통신망의 일례에는 3G, 4G, 5G, 3GPP(3rd Generation Partnership Project), 5GPP(5th Generation Partnership Project), LTE(Long Term Evolution), WIMAX(World Interoperability for Microwave Access), 와이파이(Wi-Fi), 인터넷(Internet), LAN(Local Area Network), Wireless LAN(Wireless Local Area Network), WAN(Wide Area Network), PAN(Personal Area Network), RF(Radio Frequency), 블루투스(Bluetooth) 네트워크, NFC(Near-Field Communication) 네트워크, 위성 방송 네트워크, 아날로그 방송 네트워크, DMB(Digital Multimedia Broadcasting) 네트워크 등이 포함되나 이에 한정되지는 않는다.Here, the network refers to a connection structure in which information exchange is possible between each node, such as a plurality of terminals and servers, and an example of such a network includes a local area network (LAN), a wide area network (WAN: Wide Area Network), the Internet (WWW: World Wide Web), wired and wireless data communication networks, telephone networks, wired and wireless television networks, and the like. Examples of wireless data communication networks include 3G, 4G, 5G, 3rd Generation Partnership Project (3GPP), 5th Generation Partnership Project (5GPP), Long Term Evolution (LTE), World Interoperability for Microwave Access (WIMAX), Wi-Fi (Wi-Fi) , Internet, LAN (Local Area Network), Wireless LAN (Wireless Local Area Network), WAN (Wide Area Network), PAN (Personal Area Network), RF (Radio Frequency), Bluetooth (Bluetooth) network, NFC ( Near-Field Communication) networks, satellite broadcast networks, analog broadcast networks, Digital Multimedia Broadcasting (DMB) networks, and the like are included, but are not limited thereto.
하기에서, 적어도 하나의 라는 용어는 단수 및 복수를 포함하는 용어로 정의되고, 적어도 하나의 라는 용어가 존재하지 않더라도 각 구성요소가 단수 또는 복수로 존재할 수 있고, 단수 또는 복수를 의미할 수 있음은 자명하다 할 것이다. 또한, 각 구성요소가 단수 또는 복수로 구비되는 것은, 실시예에 따라 변경가능하다 할 것이다.In the following, the term at least one is defined as a term including the singular and the plural, and even if the at least one term does not exist, each element may exist in the singular or plural, and may mean the singular or plural. it will be self-evident In addition, that each component is provided in singular or plural may be changed according to embodiments.
적어도 하나의 사용자 단말(100)은, 기관 리포지토리와 연계된 개인기록 통합 관리 서비스 관련 웹 페이지, 앱 페이지, 프로그램 또는 애플리케이션을 이용하여 이메일, 일기, 사진, 동영상, 문자 등 개인사 또는 개인업무와 관련된 다양한 정보를 포함하는 개인기록 콘텐츠를 관리 서비스 제공 서버(300)로 전송하는 단말일 수 있다. 그리고, 사용자 단말(100)은, 개인기록 콘텐츠에 엑세스권을 가질 적어도 하나의 검색 단말(400)을 지정하여 관리 서비스 제공 서버(300)로 전송하는 단말일 수 있다. 또, 사용자 단말(100)은, 관리 서비스 제공 서버(300)에서 정보를 수집할 수 있도록 정보접근권한을 부여하는 단말일 수 있고, 관리 서비스 제공 서버(300)에 의해 백그라운드 모드에서 다양한 개인기록 콘텐츠를 업로드하는 단말일 수 있다. 또, 정보에 접근이 가능하게 하기 위하여, 사용자 단말(100)은, 관리 서비스 제공 서버(300)로 사용자가 보유한 다양한 사이트, 소셜미디어, 이메일 등의 아이디와 패스워드 등을 업로드하거나 관리 서비스 제공 서버(300)로의 공유를 허용하는 사용자의 단말일 수 있다.At least one
여기서, 적어도 하나의 사용자 단말(100)은, 네트워크를 통하여 원격지의 서버나 단말에 접속할 수 있는 컴퓨터로 구현될 수 있다. 여기서, 컴퓨터는 예를 들어, 네비게이션, 웹 브라우저(WEB Browser)가 탑재된 노트북, 데스크톱(Desktop), 랩톱(Laptop) 등을 포함할 수 있다. 이때, 적어도 하나의 사용자 단말(100)은, 네트워크를 통해 원격지의 서버나 단말에 접속할 수 있는 단말로 구현될 수 있다. 적어도 하나의 사용자 단말(100)은, 예를 들어, 휴대성과 이동성이 보장되는 무선 통신 장치로서, 네비게이션, PCS(Personal Communication System), GSM(Global System for Mobile communications), PDC(Personal Digital Cellular), PHS(Personal Handyphone System), PDA(Personal Digital Assistant), IMT(International Mobile Telecommunication)-2000, CDMA(Code Division Multiple Access)-2000, W-CDMA(W-Code Division Multiple Access), Wibro(Wireless Broadband Internet) 단말, 스마트폰(Smartphone), 스마트 패드(Smartpad), 타블렛 PC(Tablet PC) 등과 같은 모든 종류의 핸드헬드(Handheld) 기반의 무선 통신 장치를 포함할 수 있다.Here, the at least one
관리 서비스 제공 서버(300)는, 기관 리포지토리와 연계된 개인기록 통합 관리 서비스 웹 페이지, 앱 페이지, 프로그램 또는 애플리케이션을 제공하는 서버일 수 있다. 그리고, 관리 서비스 제공 서버(300)는, 적어도 하나의 기관 리포지토리(500)과 연계되도록 채널을 형성하는 서버일 수 있다. 또, 관리 서비스 제공 서버(300)는 사용자 단말(100)로부터 사용자 등록을 받은 후, 사용자 단말(100)에서 입력 및 수집되는 개인기록 콘텐츠를 업로드받는 서버일 수 있다. 그리고, 관리 서비스 제공 서버(300)는 사용자 단말(100)에서 지정하는 적어도 하나의 검색 단말(400)로 엑세스권을 부여할 수 있는 서버일 수 있다. 또한, 관리 서비스 제공 서버(300)는, 적어도 하나의 검색 단말(400)에서 사용자의 이름이 포함된 부고 문자가 발송되는 경우 적어도 하나의 검색 단말(400)에서 사용자의 사망을 확인받고 업데이트되지 않은 개인기록 콘텐츠를 사용자 단말(100)로부터 추출하는 서버일 수 있다. 그리고, 관리 서비스 제공 서버(300)는, 개인기록 콘텐츠를 기 설정된 구조화된 포맷에 재배치 및 편집한 후, 사용자의 얼굴이 피사체로 포함된 사진을 추출하여 2D로부터 3D 모델링을 실시하며, VR 또는 AR 콘텐츠를 생성하는 서버일 수 있다. 또, 관리 서비스 제공 서버(300)는 개인기록 콘텐츠를 학습 데이터셋으로 생성하여 챗봇을 학습시키고, 사용자와 같은 말투로 검색 단말(400)과 채팅을 할 수 있도록 하는 서버일 수 있다.The management
여기서, 관리 서비스 제공 서버(300)는, 네트워크를 통하여 원격지의 서버나 단말에 접속할 수 있는 컴퓨터로 구현될 수 있다. 여기서, 컴퓨터는 예를 들어, 네비게이션, 웹 브라우저(WEB Browser)가 탑재된 노트북, 데스크톱(Desktop), 랩톱(Laptop) 등을 포함할 수 있다.Here, the management
적어도 하나의 검색 단말(400)은, 기관 리포지토리와 연계된 개인기록 통합 관리 서비스 관련 웹 페이지, 앱 페이지, 프로그램 또는 애플리케이션을 이용하는 사용자의 직계가족 또는 방계가족의 단말일 수 있다. 이때, 검색 단말(400)은 사용자가 엑세스권을 부여한 경우, 가족이 아닌 지인의 단말일 수도 있다. 그리고, 검색 단말(400)은, 애플리케이션 또는 키오스크(600)를 통하여 사용자의 개인기록 콘텐츠를 조회 및 열람할 수 있는 단말일 수 있다. 검색 단말(400)은 키오스크(600)를 이용할 때, 적어도 하나의 기관 리포지토리(500)와 연계된 키오스크(600)로 QR 코드와 같은 식별코드로 검색자를 식별시키고, 키오스크(600)로부터 개인기록 콘텐츠를 수신하여 출력하는 단말일 수 있다. 이때, 검색 단말(400)은, 키오스크(600)에서 개인기록 콘텐츠가 출력되도록 할 수도 있다. 개인기록 콘텐츠가 증강현실로 출력될 때에는 검색 단말(400)의 전면 또는 후면 카메라가 동작할 수도 있고, 카메라 실행화면 상에 3D로 모델링된 사용자의 모습이 출력될 수도 있다.The at least one
여기서, 적어도 하나의 검색 단말(400)은, 네트워크를 통하여 원격지의 서버나 단말에 접속할 수 있는 컴퓨터로 구현될 수 있다. 여기서, 컴퓨터는 예를 들어, 네비게이션, 웹 브라우저(WEB Browser)가 탑재된 노트북, 데스크톱(Desktop), 랩톱(Laptop) 등을 포함할 수 있다. 이때, 적어도 하나의 검색 단말(400)은, 네트워크를 통해 원격지의 서버나 단말에 접속할 수 있는 단말로 구현될 수 있다. 적어도 하나의 검색 단말(400)은, 예를 들어, 휴대성과 이동성이 보장되는 무선 통신 장치로서, 네비게이션, PCS(Personal Communication System), GSM(Global System for Mobile communications), PDC(Personal Digital Cellular), PHS(Personal Handyphone System), PDA(Personal Digital Assistant), IMT(International Mobile Telecommunication)-2000, CDMA(Code Division Multiple Access)-2000, W-CDMA(W-Code Division Multiple Access), Wibro(Wireless Broadband Internet) 단말, 스마트폰(Smartphone), 스마트 패드(Smartpad), 타블렛 PC(Tablet PC) 등과 같은 모든 종류의 핸드헬드(Handheld) 기반의 무선 통신 장치를 포함할 수 있다.Here, the at least one
적어도 하나의 기관 리포지토리(500)는, 기관 리포지토리와 연계된 개인기록 통합 관리 서비스 관련 웹 페이지, 앱 페이지, 프로그램 또는 애플리케이션을 이용하여 관리 서비스 제공 서버(300)에서 분산저장한 개인기록 콘텐츠를 저장 및 관리하는 서버나 장치 또는 데이터베이스 시스템(Database Management Systems)일 수 있다. 이때, 리포지토리란, 일반적으로 대학이나 기관 등에 소속된 구성원들이 생산한 디지털 자료를 관리 및 배포하는 이용자 대상의 서비스로, 디지털 자료의 관리부터 보존까지의 모든 사항을포함하여 학술 콘텐츠를 수집·배포하는 기능을 갖는다. 온라인과 오프라인 자료를 모두 수집하는 일반적인 기록관과는 달리 리포지토리는 온라인으로만 정보를 제공하며, 리포지토리는 오픈 엑세스(Open Access) 운동의 영향을 받아 활성화되어 왔다. 일반적으로 리포지토리는 적용하는 분야 및 목적에 따라 교육 리포지토리와 기관별 리포지토리, 지식 리포지토리 등의 다양한 용어로 사용되고 있다. 이때, 기관 리포지토리(500)는 기관에서 생산된 지적 생산물을 보존·공개하는 것을 목적으로 하는 전자아카이브 시스템인데, 본 발명의 일 실시예에서는 민간기록 중 개인기록 콘텐츠를 기관에서 보존 및 공개하는 것으로 정의한다. The at least one
여기서, 적어도 하나의 기관 리포지토리(500)는, 네트워크를 통하여 원격지의 서버나 단말에 접속할 수 있는 컴퓨터로 구현될 수 있다. 여기서, 컴퓨터는 예를 들어, 네비게이션, 웹 브라우저(WEB Browser)가 탑재된 노트북, 데스크톱(Desktop), 랩톱(Laptop) 등을 포함할 수 있다. 이때, 적어도 하나의 기관 리포지토리(500)는, 네트워크를 통해 원격지의 서버나 단말에 접속할 수 있는 단말로 구현될 수 있다. 적어도 하나의 기관 리포지토리(500)는, 예를 들어, 휴대성과 이동성이 보장되는 무선 통신 장치로서, 네비게이션, PCS(Personal Communication System), GSM(Global System for Mobile communications), PDC(Personal Digital Cellular), PHS(Personal Handyphone System), PDA(Personal Digital Assistant), IMT(International Mobile Telecommunication)-2000, CDMA(Code Division Multiple Access)-2000, W-CDMA(W-Code Division Multiple Access), Wibro(Wireless Broadband Internet) 단말, 스마트폰(Smartphone), 스마트 패드(Smartpad), 타블렛 PC(Tablet PC) 등과 같은 모든 종류의 핸드헬드(Handheld) 기반의 무선 통신 장치를 포함할 수 있다.Here, the at least one
키오스크(600)는, 기관 리포지토리와 연계된 개인기록 통합 관리 서비스 관련 웹 페이지, 앱 페이지, 프로그램 또는 애플리케이션을 이용하여 적어도 하나의 기관 리포지토리(500)와 연계되어 검색 단말(400)을 식별하고, 식별된 검색자에게 부여된 엑세스권, 즉 사용자의 개인기록 콘텐츠를 검색하고 출력할 수 있도록 하는 장치일 수 있다.The
여기서, 키오스크(600)는, 네트워크를 통하여 원격지의 서버나 단말에 접속할 수 있는 컴퓨터로 구현될 수 있다. 여기서, 컴퓨터는 예를 들어, 네비게이션, 웹 브라우저(WEB Browser)가 탑재된 노트북, 데스크톱(Desktop), 랩톱(Laptop) 등을 포함할 수 있다. 이때, 키오스크(600)는, 네트워크를 통해 원격지의 서버나 단말에 접속할 수 있는 단말로 구현될 수 있다. 키오스크(600)는, 예를 들어, 휴대성과 이동성이 보장되는 무선 통신 장치로서, 네비게이션, PCS(Personal Communication System), GSM(Global System for Mobile communications), PDC(Personal Digital Cellular), PHS(Personal Handyphone System), PDA(Personal Digital Assistant), IMT(International Mobile Telecommunication)-2000, CDMA(Code Division Multiple Access)-2000, W-CDMA(W-Code Division Multiple Access), Wibro(Wireless Broadband Internet) 단말, 스마트폰(Smartphone), 스마트 패드(Smartpad), 타블렛 PC(Tablet PC) 등과 같은 모든 종류의 핸드헬드(Handheld) 기반의 무선 통신 장치를 포함할 수 있다.Here, the
도 2는 도 1의 시스템에 포함된 통합 관리 서비스 제공 서버를 설명하기 위한 블록 구성도이고, 도 3 및 도 4는 본 발명의 일 실시예에 따른 기관 리포지토리와 연계된 개인기록 통합 관리 서비스가 구현된 일 실시예를 설명하기 위한 도면이다.FIG. 2 is a block diagram for explaining the integrated management service providing server included in the system of FIG. 1, and FIGS. 3 and 4 are implementations of the integrated management service for personal records linked to the institutional repository according to an embodiment of the present invention. It is a diagram for explaining an embodiment.
도 2를 참조하면, 관리 서비스 제공 서버(300)는, 수신부(310), 입력부(320), 구조화부(330), 분산부(340), 챗봇부(350), 수집부(360), 모델링부(370), 유언관리부(380) 및 매크로봇(390)을 포함할 수 있다.Referring to FIG. 2 , the management
본 발명의 일 실시예에 따른 관리 서비스 제공 서버(300)나 연동되어 동작하는 다른 서버(미도시)가 적어도 하나의 사용자 단말(100), 적어도 하나의 검색 단말(400), 적어도 하나의 기관 리포지토리(500) 및 적어도 하나의 키오스크(600)로 기관 리포지토리와 연계된 개인기록 통합 관리 서비스 애플리케이션, 프로그램, 앱 페이지, 웹 페이지 등을 전송하는 경우, 적어도 하나의 사용자 단말(100), 적어도 하나의 검색 단말(400), 적어도 하나의 기관 리포지토리(500) 및 적어도 하나의 키오스크(600)는, 기관 리포지토리와 연계된 개인기록 통합 관리 서비스 애플리케이션, 프로그램, 앱 페이지, 웹 페이지 등을 설치하거나 열 수 있다. 또한, 웹 브라우저에서 실행되는 스크립트를 이용하여 서비스 프로그램이 적어도 하나의 사용자 단말(100), 적어도 하나의 검색 단말(400), 적어도 하나의 기관 리포지토리(500) 및 적어도 하나의 키오스크(600)에서 구동될 수도 있다. 여기서, 웹 브라우저는 웹(WWW: World Wide Web) 서비스를 이용할 수 있게 하는 프로그램으로 HTML(Hyper Text Mark-up Language)로 서술된 하이퍼 텍스트를 받아서 보여주는 프로그램을 의미하며, 예를 들어 넷스케이프(Netscape), 익스플로러(Explorer), 크롬(Chrome) 등을 포함한다. 또한, 애플리케이션은 단말 상의 응용 프로그램(Application)을 의미하며, 예를 들어, 모바일 단말(스마트폰)에서 실행되는 앱(App)을 포함한다.At least one
도 2를 참조하면, 수신부(310)는, 사용자 단말(100)로부터 개인기록 콘텐츠를 주기적 또는 실시간으로 업로드받을 수 있다. 이때, 사용자 단말(100)은, 민간기록 중 개인업무나 개인사와 관련하여 생산 및 수집된 텍스트, 이미지 및 동영상을 포함하는 개인기록 콘텐츠를 주기적 또는 실시간으로 업로드할 수 있다. 또는, 사용자가 설정한 범위라면 그 어느 것도 가능하다. 사용자가 그린 그림이나, 책, 일기, 편지, 소셜미디어에 업로드한 개인기록 등 다양할 수 있으며 나열된 것들로 한정되지 않고 열거되지 않은 이유로 배제되지 않는다. 이때, 수신부(310)는, 사용자의 계정, 예를 들어, 이메일, 클라우드, 웹하드 등에 접근하여 사용자의 자료를 모으는 것도 가능하다.Referring to FIG. 2 , the receiving
입력부(320)는, 사용자 단말(100)로부터 개인기록 콘텐츠에 접근가능한 엑세스권을 부여할 대상을 입력받을 수 있다. 엑세스권은 개인기록 콘텐츠를 열람할 수 있는 자격으로, 사용자가 자신의 개인기록인 개인기록 콘텐츠를 열람할 수 있는 대상을 설정하는 것이다. 직계가족이나 방계혈족 등과 같이 가족 위주로 설정할 수도 있고, 가족 및 지인으로 설정할 수도 있으며, 전부 공개로 설정하여 일반인도 볼 수 있도록 모두에게 공개를 할 수도 있다. The
구조화부(330)는, 개인기록 콘텐츠를 메타데이터 또는 태그로 분류 및 카테고리화하여 기 설정된 구조화된 포맷에 맞게 재배치 및 편집할 수 있다. 디지털 아카이브(Digital Archive)는 다양한 도메인 및 매체에 저장된 자료들을 디지털 형식으로 변환하여 저장하며, 이를 통해 자료를 영구적으로 보관하고 효율적인 검색 및 관리를 가능하게 하는 기반 기술인데, 디지털로 변환된 자료를 저장하는 것은 자료의 효율적 검색 및 관리와 높은 관련성을 가진다. 정보 기술의 발전으로 디지털 정보의 생산과 유통이 증가하면서 다양한 자료를 정리해야 하기 때문에, 개인기록 콘텐츠를 구조화하기 위하여 일단 개인기록 콘텐츠를 식별 및 분류를 할 수 있어야 한다. The
사진이나 동영상과 같은 시각 데이터들은 표준 메타데이터를 설계하고 이를 적용하는 경우, 기록물 호환성을 높이고 사진의 기본 정보와 특성을 나타낼 수 있는 요소들을 메타데이터 항목에 포함하여 개인기록 콘텐츠의 효율적인 관리, 더 나아가 재배치 및 편집까지 가능하게 한다. 또한, 본 발명의 일 실시예에서는 광학식 문자 인식 기술인 OCR(Optical Character Recognition)과 딥러닝 기반 객체 인식(Deep Learning-based Object Detection) 알고리즘인 Faster R-CNN(Regions-CNN)을 사용하여 사진이나 동영상에서 텍스트와 객체를 추출함으로써 사진이나 동영상을 저장할 때 중요 메타데이터를 자동으로 저장하도록 한다. 이렇게 저장된 사진의 텍스트와 객체는 사진의 특성을 나타내는 주요 정보로써 활용되어, 보다 체계적인 구조화가 가능해지고 검색의 편의성을 높일 수 있다.When standard metadata is designed and applied to visual data such as photos and videos, compatibility of records is improved, and elements that can represent basic information and characteristics of photos are included in the metadata item to efficiently manage personal record contents, and further Relocation and even editing are possible. In addition, in one embodiment of the present invention, an optical character recognition technology OCR (Optical Character Recognition) and a deep learning-based object detection algorithm Faster R-CNN (Regions-CNN) are used to take photos or videos. By extracting text and objects from , it automatically saves important metadata when saving photos or videos. The text and objects of the stored photo are utilized as main information representing the characteristics of the photo, enabling more systematic structuring and enhancing the convenience of searching.
예를 들어, 기록물을 정리할 때에는 시계열순이나 중요 사건 순 등으로 정리할 수 있는데, 기 설정된 포맷이 존재하고, 각 레이아웃이 고정되어 있으며, 레이아웃 내 각 프레임 영역에 어떠한 사진이나 동영상 또는 텍스트가 들어가야 한다는 템플릿(Template)이 존재하는 경우, 각 영역에 수동으로 사람이 하나하나 각 사진과 동영상 또는 텍스트 등을 배치하여 편집을 수행할 수도 있지만, 태그나 메타데이터로 각 사진이나 동영상이 분류가 되어 있고, 각 프레임 영역에 태그나 메타데이터가 설정되어 있다면 매칭되는 프레임 영역에 이에 대응하는 사진이나 동영상을 자동으로 삽입 및 배치할 수 있기 때문에 자동으로도 정리가 가능하다. 예를 들어, 시계열순으로 정리하는 포맷이라면, 10대, 20대 등으로 연대기순으로 1 페이지, 2 페이지가 마련되어 있고, 1 페이지의 (x1, y1)에는 중학교 입학 사진, (x2, y2)에는 고등학교 입학 사진이 배치되어야 한다면, 각각의 사진 중 중학교 입학 사진과 고등학교 입학 사진을 추출하여 해당 영역에 자동으로 삽입할 수 있다.For example, when organizing records, you can organize them in chronological order or order of important events. A template stating that a preset format exists, each layout is fixed, and that any photo, video, or text should be placed in each frame area within the layout. If (Template) exists, a person can manually place each photo, video, or text in each area and edit it, but each photo or video is classified with tags or metadata, and each If tags or metadata are set in the frame area, the corresponding photo or video can be automatically inserted and placed in the matching frame area, so it can be organized automatically. For example, if the format is arranged in chronological order, pages 1 and 2 are provided in chronological order for teenagers, 20s, etc. If high school entrance pictures are to be placed, middle school entrance pictures and high school entrance pictures among each picture can be extracted and automatically inserted into the corresponding area.
이때, 메타데이터는 미디어 기록물 메타데이터 표준인 IPTC(International Press Telecommunications Council), 사진 기록물 파일 형식인 EXIF(EXchangable Image File format)의 메타데이터 항목 등을 이용할 수 있지만 이에 한정되지는 않는다. 먼저 IPTC는 텍스트, 사진, 다른 미디어 타입에 적용할 수 있는 메타데이터 속성의 집합이다. IPTC는 사진에 적용할 수 있는 IIM(Infromation Interchange Model) 메타데이터 속성 표준을 정의하였으며, 이후 어도비(Adobe)는 포토샵(Photoshop)에 IIM을 채택하고 IRB(Image Resource Block) 메타데이터 저장 기술을 개발하여 사진 파일에 IIM 메타데이터를 사용하였으며, XML/RDF 기반의 XMP(Extensible Metadata Platform)를 개발하였다. 그 후 IPTC와 Adobe가 공동으로 XMP 용 IPTC 코어 스키마(IPTC Core Schema for XMP)를 개발하였으며, IPTC는 사진 촬영 분야의 필요 속성을 반영한 IPTC 확장 스키마(IPTC Extension Schema)를 개발하고 IPTC 코어 스키마를 수정하였다. 이후, 두 사양 모두 IPTC 사진 메타데이터 표준(IPTC Photo Metadata Standard)이라는 단일 문서로 발표되었다In this case, the metadata may use, but not limited to, a metadata item of an International Press Telecommunications Council (IPTC), a media record metadata standard, and an EXIF (EXchangeable Image File format), a photo record file format. First, IPTC is a set of metadata properties that can be applied to text, photos, and other media types. IPTC defined IIM (Information Interchange Model) metadata attribute standard that can be applied to photos, and after that, Adobe adopted IIM to Photoshop and developed IRB (Image Resource Block) metadata storage technology. IIM metadata was used for photo files, and XML/RDF-based XMP (Extensible Metadata Platform) was developed. After that, IPTC and Adobe jointly developed the IPTC Core Schema for XMP, and IPTC developed the IPTC Extension Schema reflecting the required properties of the photography field and modified the IPTC Core Schema. did Later, both specifications were published in a single document called the IPTC Photo Metadata Standard.
IPTC 코어 스키마는 총 23개의 메타데이터 항목을 가지고 있다. 이를 모두 사용할 수도 있고 선택적으로 사용할 수도 있다. 먼저, 코어 스키마 메타데이터 항목에서 ‘City(도시)’, ‘Country(나라)’, ‘Country Code(나라 코드)’, ‘Province or State(지방 혹은 주)’는 사진에 있는 특정 도시, 나라, 지방, 주와 같은 요소들이 입력되는 메타데이터 항목이며, 해당 항목들은 사진의 세부적인 요소들을 설명하기에 적합하다. GPS 태그가 부착된 사진은 상술한 메타데이터를 추출하기가 용이하지만 만약 없다면 이를 삭제해도 무방하다. ‘Title(제목)’, ‘Creator(촬영자)’, ‘Date Created(촬영일)’, ‘Sublocation(설명 장소)’, ‘Description (설명)’은 지자체가 다루는 사진 기록물의 메타데이터 범위에서 벗어나지 않고 사진에서 필요한 가장 기본적인 메타데이터 항목이다. 또한, ‘Keywords(키워드)’는 코어 스키마에서 사진 기록물의 주제, 내용 등을 나타낼 수 있는 일반적인 단어들을 포함하므로, 메타데이터 항목으로 선정할 수 있다. IPTC Core Schema has a total of 23 metadata items. You can use all of them, or you can use them selectively. First, in the core schema metadata item, 'City', 'Country', 'Country Code', 'Province or State' is a specific city, country, It is a metadata item in which elements such as provinces and states are input, and these items are suitable for describing detailed elements of a photo. It is easy to extract the above-mentioned metadata from a photo with a GPS tag, but if it does not exist, it is okay to delete it. 'Title', 'Creator', 'Date Created', 'Sublocation (place of description)', 'Description (description)' are within the scope of metadata of photo records handled by local governments. This is the most basic metadata item required for photos. In addition, 'Keywords' includes general words that can represent the subject, content, etc. of a photographic record in the core schema, so it can be selected as a metadata item.
또, ‘Person Shown in the Image(사진 속 사람)’는 사진에 포함된 사람을 저장하는 항목으로, 사진 기록물에 포함된 사용자와 같이 특정이 가능한 사람을 저장하기 위한 메타데이터 항목으로써 이용할 수 있고, 마찬가지로‘Artwork/Object in the Image(사진 속 아트워크/객체)’는 사진에 포함된 사용자를 제외한 객체를 저장하는 항목으로, 책상, 동물, 건물 등 사진의 특성을 반영하는 정보를 나타낼 수 있는 메타데이터 항목으로 선정할 수 있다. 사용자와 객체 모두 딥러닝 기반 객체 인식 알고리즘으로 자동으로 메타데이터나 태그가 태깅될 수 있다.In addition, 'Person Shown in the Image' is an item that stores a person included in a photo, and can be used as a metadata item to store a specific person, such as a user included in a photo record, Similarly, 'Artwork/Object in the Image' is an item that stores objects excluding the user included in the photo, and it is a meta that can represent information reflecting the characteristics of the photo, such as desks, animals, and buildings. Data items can be selected. Both users and objects can be automatically tagged with metadata or tags with a deep learning-based object recognition algorithm.
<OCR 텍스트 자동 인덱싱><Automatic indexing of OCR text>
만약 사진 내에 글자가 포함되어 있다면 이를 추출하여 메타데이터에 포함시킬 수도 있다. 예를 들어, GPS 태그가 없는데, "쌍용캠핑장"이라는 단어가 포함되어 있다면, 이를 추출하여 장소 메타데이터로 설정할 수 있다. 이처럼 사진 기록물 내에 포함된 텍스트는 사진 속 사건을 나타내는 유의미한 정보가 되기 때문에, OCR 라이브러리를 사용하여 사진 기록물에 포함된 전체 텍스트를 추출할 수 있다. OCR은 PDF, 출력된 스캔 문서나 아날로그 자료, 상품 카탈로그 사진, 혹은 사진에서 텍스트가 있는 영역을 인식하고, 이미지 처리(Image Processing), 딥러닝(Deep Learning) 기술을 사용하여 디지털화 가능한 텍스트를 추출하는 기술이다.If text is included in the photo, it can be extracted and included in the metadata. For example, if there is no GPS tag and the word "Ssangyong Camping Site" is included, it can be extracted and set as location metadata. Since the text included in the photographic record becomes meaningful information representing the event in the photograph, the entire text included in the photographic record can be extracted using the OCR library. OCR recognizes areas with text in PDFs, printed scanned documents or analog materials, product catalog photos, or photos, and extracts digitizable text using image processing and deep learning technologies. it is technology
OCR은 Tesseract, 구글 OCR, 마이크로소프트 OCR, Abbyy OCR 등 다른 성능을 가진 여러 회사의 라이브러리가 존재한다. 먼저 많이 활용되는 OCR 라이브러리로 Tesseract가 있는데, Tesseract는 아파치(Apache) 라이센스로 릴리즈된 무료 OCR 라이브러리이다. 다른 라이브러리인 구글 OCR은 구글 클라우드 비전 API(Google Cloud Vision API)의 여러 기능 중 OCR 기능을 제공하고 있으며, 무료 API 호출 횟수는 월 1,000건으로 제한되어있다. 또한, 마이크로소프트 OCR은 구글과 마찬가지로 마이크로소프트 컴퓨터 비전 API(Microsoft Computer Vision API)의 여러 기능 중 OCR 기능을 제공하고 있으며, 무료 API 호출 건수는 월 5,000건으로 제한된다. 마지막으로, 사진 혹은 PDF 파일을 편집 가능 문서로 변환하는 OCR 소프트웨어인 Abbyy OCR이 있다. 이 중 어느 것을 사용해도 무방하지만 한글에 강인한 특성을 보이는 Tesseract와 구글 OCR 라이브러리를 고려하는 것도 바람직하다.For OCR, there are libraries from several companies with different capabilities, such as Tesseract, Google OCR, Microsoft OCR, and Abbyy OCR. First, Tesseract is a widely used OCR library. Tesseract is a free OCR library released under the Apache license. Another library, Google OCR, provides OCR function among several functions of Google Cloud Vision API, and the number of free API calls is limited to 1,000 per month. Also, like Google, Microsoft OCR provides OCR function among several functions of Microsoft Computer Vision API, and the number of free API calls is limited to 5,000 per month. Finally, there is Abbyy OCR, an OCR software that turns photos or PDF files into editable documents. It is okay to use any of these, but it is also desirable to consider Tesseract and Google OCR library, which show strong characteristics for Hangul.
이 중 구글에서 제공하는 OCR 라이브러리는 사진이 입력되었을 때, 사진의 픽셀을 그룹핑하는 과정에서 텍스트로 추정되는 영역을 바운딩 박스(Bounding Box)로 설정하고 텍스트를 감지하여 추출하며, 이렇게 추출된 텍스트는 JSON 형태로 반환된다. 텍스트는 띄어쓰기가 된 단어 단위로 추출되는데, 텍스트를 그대로 인식하여 정상 단어로 구성할 수 없는 글자들도 포함되어있다. 이러한 텍스트들은 메타데이터로 바로 저장하여 활용하기에는 어려움이 있기에, 형태소 분석 라이브러리를 사용하여 OCR 라이브러리에 의해 추출된 텍스트에서 명사 단위의 단어들을 다시 추출하는 과정을 수행할 수 있다. 이렇게 추출된 단어들은 사진 기록물의 메타데이터로 저장되는데, 사진 기록물 검색 시 해당 단어들을 활용하기 위해서, 사진 기록물 메타데이터 항목 중 ‘키워드(Keywords)’ 항목에 추출한 단어들을 저장할 수 있다.Among them, the OCR library provided by Google sets the area estimated as text as a bounding box in the process of grouping the pixels of the photo when a photo is input and detects and extracts the text. It is returned in JSON format. The text is extracted in units of words with spaces, and there are also characters that cannot be composed as normal words by recognizing the text as it is. Since it is difficult to directly store and utilize these texts as metadata, a process of re-extracting words in the noun unit from the text extracted by the OCR library can be performed using the morpheme analysis library. The extracted words are stored as metadata of the photo record, and in order to use the words when searching for the photo record, the extracted words may be stored in the ‘Keywords’ item among the photo record metadata items.
<객체 인식 알고리즘 기반 자동 인덱싱><Automatic indexing based on object recognition algorithm>
사진 기록물에 포함된 객체는 사진 기록물이 속한 카테고리의 특성을 나타내는 유의미한 정보가 될 수 있기 때문에, 딥러닝 기반 객체 인식 알고리즘을 사용하여 사진 기록물에 포함된 객체들을 추출할 수 있다. 객체 인식은 디지털 사진과 영상에서 특정 클래스의 의미 객체 인스턴스를 감지하는 컴퓨터 비전 및 이미지 처리와 관련된 기술로써, 딥러닝 알고리즘을 사용한 여러 객체 인식 알고리즘들이 활용되고 있다. 본 발명의 일 실시예에서는, 사진 기록물의 객체 인식을 위해 특히 많이 활용되는 딥러닝 기반 객체 인식 알고리즘인 Faster R-CNN(Regions-CNN), YOLO(You Only Look Once), SSD(Single Shot Detector)를 이용할 수 있다..Since the objects included in the photographic records can be meaningful information indicating the characteristics of the category to which the photographic records belong, objects included in the photographic records can be extracted using a deep learning-based object recognition algorithm. Object recognition is a technology related to computer vision and image processing that detects instances of a specific class of semantic objects in digital photos and images, and various object recognition algorithms using deep learning algorithms are being used. In an embodiment of the present invention, Faster R-CNN (Regions-CNN), YOLO (You Only Look Once), SSD (Single Shot Detector), which are deep learning-based object recognition algorithms that are particularly widely used for object recognition of photographic records is available..
Faster R-CNN(Regions-CNN)은 슬라이딩 윈도우(Sliding Window) 방식을 사용하여 특징(Feature)을 추출하는 RPN(Region Proposal Network)으로 사진 파일을 변형하여 객체를 인식하는 알고리즘이다. 하나의 사진을 여러 샘플로 분할하고, 분할한 각 샘플을 네트워크에 입력하여 검출하기 때문에 낮은 인식 속도를 가지며, 높은 인식 정확도를 가진다. 다른 객체 인식 알고리즘인 YOLO(You Only Look Once)는 단일 컨볼루션 네트워크(Single Convolutional Network)를 사용하여 여러 바운딩 박스에 대한 클래스 분류 가능성(Class Probability)을 계산하는 방식을 사용한다. 바운딩 박스의 예측 분류 점수와 바운딩 박스에 실제 객체의 포함을 나타내는 신뢰도, 두 개의 출력 값을 결합하여 바운딩 박스 안에 객체가 있을 확률을 계산한다. YOLO는 전체 사진을 고려하여 클래스를 예측하기 때문에 거짓 양성(False Positive) 오류를 피할 수 있지만, 작은 객체에 대해 인식 정확도가 떨어지는 문제점을 가진다. 마지막으로, 또 다른 객체 인식 알고리즘 SSD(Single Shot Detector)는 사진의 변형 없이 입력 사진에 대해 CNN을 실행하고 특징 맵(Feature Map)을 계산할 수 있다. Faster R-CNN (Regions-CNN) is an algorithm for recognizing objects by transforming a photo file into an RPN (Region Proposal Network) that extracts features using a sliding window method. It has a low recognition speed and high recognition accuracy because one picture is divided into several samples, and each divided sample is input to the network and detected. Another object recognition algorithm, You Only Look Once (YOLO), uses a single convolutional network to calculate class probability for multiple bounding boxes. By combining the predicted classification score of the bounding box, the reliability indicating the inclusion of an actual object in the bounding box, and the two output values, the probability that an object is in the bounding box is calculated. YOLO can avoid false positive errors because it predicts classes by considering the entire picture, but has a problem in that recognition accuracy for small objects is lowered. Finally, another object recognition algorithm, Single Shot Detector (SSD), can run CNNs on input photos and compute feature maps without photo transformation.
YOLO의 문제점을 개선하기 위해 멀티스케일 특징 맵(Multi-scale Feature Map)이라는 보조 수단을 사용할 수도 있는데, 특징 맵을 여러 크기로 나누어 큰 맵에서는 작은 객체를, 작은 맵에서는 큰 객체를 인식할 수 있도록 설정한다. 만약 동영상과 같이 여러 사진 프레임이 빠르게 변환되는 영상이 아닌 사진 기록물을 대상으로 하는 경우에는, 객체 인식 속도보다 인식 정확도를 기준으로 Faster R-CNN을 사용 모델을 선정할 수 있다. 하지만, 동영상과 같은 경우에는 화면전환이 빠르게 되는 경우도 있으므로 객체 인식 속도가 가장 빠른 YOLO를 이용할 수 있다. 이때, SSD와 YOLO는 Faster R-CNN에 비하여 작은 크기의 객체에 대해 낮은 인식 정확도를 가지므로, 객체가 기 설정된 픽셀 이하인 경우에는 Faster R-CNN을 사진 기록물 객체 인식을 위한 모델로 선정하는 것이 바람직하다.To improve the problem of YOLO, an auxiliary tool called a multi-scale feature map can be used. The feature map is divided into several sizes so that small objects can be recognized in large maps and large objects in small maps. set In the case of a photographic record rather than an image in which several photo frames are rapidly converted, such as a video, the Faster R-CNN can be selected based on the recognition accuracy rather than the object recognition speed. However, in the case of a video, the screen can be switched quickly, so YOLO, which has the fastest object recognition speed, can be used. At this time, since SSD and YOLO have lower recognition accuracy for small-sized objects compared to Faster R-CNN, it is preferable to select Faster R-CNN as a model for recognizing objects in photographic records when the object is less than a preset pixel. Do.
사진 기록물에서 특정화된 객체 인스턴스를 인식하는 것이 아닌, ‘사람’, ‘책상’과 같은 일반적인 객체를 정확하게 인식하는 것이 목적이므로, 사전에 COCO(Common Objects in Context) 데이터 셋으로 학습된 Faster R-CNN 모델을 사용할 수도 있다. COCO 데이터 셋은 총 122,218장의 사진에서 80개의 객체 클래스로 구성되어있는 학습 데이터이다. COCO 데이터 셋의 객체 클래스는 사람, 물품(Accessory), 동물(Animal), 탈것(Vehicle), 음식(Food), 가구(Furniture), 가전제품(Appliance)과 같은 상위 카테고리 밑에 다양한 클래스로 구성되어 사진 기록물에 포함된 객체를 인식하기에 적합하다.Faster R-CNN trained with COCO (Common Objects in Context) data set in advance because the purpose is to accurately recognize general objects such as 'person' and 'desk' rather than recognizing specific object instances in photographic records. You can also use models. The COCO data set is training data that consists of 80 object classes in a total of 122,218 photos. The object class of the COCO data set consists of various classes under the parent category such as people, accessories, animals, vehicles, food, furniture, and appliances. It is suitable for recognizing objects included in records.
이렇게 Faster R-CNN 모델을 사용하여 사진 기록물에서 객체들을 전부 추출하는 경우, 추출된 객체들은 사진 기록물의 메타데이터로 저장되는데, 사진 기록물 검색 시 해당 객체들을 활용하기 위해서 사진 기록물 메타데이터 항목 중‘사진 속 객체(Object in the Image)’ 항목에 추출한 객체들을 저장할 수 있다.In this way, when all objects are extracted from the photographic record using the Faster R-CNN model, the extracted objects are stored as metadata of the photographic record. You can save the extracted objects in the 'Object in the Image' item.
분산부(340)는, 적어도 하나의 기관 리포지토리(500)에 개인기록 콘텐츠를 분산저장할 수 있다. 이때, 적어도 하나의 기관 리포지토리(500)는, 개인기록 콘텐츠를 식별코드의 입력으로 출력되도록 하고, 개인기록 콘텐츠의 관리 및 보존할 수 있다. 이때, 개인기록 콘텐츠는 사용자의 고향의 기관 리포지토리(500)에 분산저장할 수 있다. 여기서, S/W 시스템, 인프라, 플랫폼 등 모든 ICT 개발 산출물에 핵심적인 역할을 하는 것은 DB(Database) 이다. 어떠한 시스템을 만든다는 것은 즉, 데이터를 어떻게 보여줄 것이며, 데이터를 어떤 형태로 저장, 관리할 것이며, 데이터를 어떠한 방법으로 획득할 것인지를 만드는 것이라 해도 과언이 아닐 것이다. 이처럼 시스템에서 핵심적인 역할을 하는 것은 데이터 이며, 이를 관리하는 것이 DBMS(Data Base Management System) 이다. 이러한 DBMS에는 다양한 종류의 것들이 있다. 전 세계적으로 가장 많이 쓰이는 오라클에서부터 MySQL, Microsoft SQL Server, MongoDB, PostgreSQL 등 다양한 DBMS가 존재한다. 시스템을 운영할 때의 실시예에 따라 상술한 DBMS나 또는 다른 종류의 DBMS를 선택하여 이용할 수 있다. The
이때, 적어도 하나의 기관 리포지토리(500) 중 사용자 단말(100)의 사용자 고향 또는 사용자 단말(100)에서 선택한 위치를 관할하는 기관의 기관 리포지토리(500)에, 개인기록 콘텐츠가 저장될 수 있다. 예를 들어, 사용자의 고향이 서울이라면, 서울 관할 지자체나 박물관 또는 도서관 등에 개인기록 콘텐츠가 저장될 수도 있다. 적어도 하나의 검색 단말(400)은, 적어도 하나의 기관 리포지토리(500)에 식별코드를 입력하여 개인기록 콘텐츠에 엑세스할 수 있다. 이때, 식별코드는 적어도 하나의 검색 단말(400)을 식별하는 1차원 바코드 또는 2차원 바코드를 포함할 수 있다. 또, 적어도 하나의 키오스크(600)는, 적어도 하나의 기관 리포지토리(500)와 연동되고, 식별코드의 스캔 또는 리딩으로 엑세스권이 부여된 대상인지의 여부를 확인하며, 엑세스권이 부여된 대상에게 식별코드에 기 매핑되어 저장된 개인기록 콘텐츠를 전송할 수 있다. In this case, the personal record content may be stored in the user's hometown of the
이때, 적어도 하나의 기관 리포지토리(500)에서 개인기록 콘텐츠를 출력되도록 할 때의 개인기록 콘텐츠는, 가상현실(Virtual Reality) 또는 증강현실(Augment Reality) 콘텐츠일 수 있다. 이때, 개인기록 콘텐츠는 2차원 기록물이다. 예를 들어, 사진도 2차원 평면이고 동영상도 마찬가지로 2차원 평면 기록물이다. 이때, 2D 이미지에서 3D 데이터를 획득해야 상술한 가상현실 및 증강현실 콘텐츠의 제작이 가능해진다. 이는 이하 모델링부(370)를 통하여 후술한다.In this case, the personal record content when the personal record content is output from the at least one
또는, 슈도 홀로그램(Pseudo Hologram)을 더 포함할 수 있다. 슈도홀로그램이란 디지털 콘텐츠를 투명한 특수 스크린으로 프로젝터 혹은 디스플레이를 통해 간접 투영하여 홀로그램 영상을 가시화할 수 있는 기술로써 유사 홀로그램으로도 불린다. 예를 들어, 목업(Mock-up) 위에 디지털 콘텐츠를 투영하는 3D 슈도 홀로그램을 이용할 수도 있고, 2차원 평면에 2차원 이미지를 맵핑(Mapping)하는 2D-2D 프로젝션 맵핑 과정이나, 3차원 목업에 2차원 이미지를 맵핑하는 2D-3D 프로젝션 맵핑 과정을 수행할 수 있다. 또한, 현재의 홀로그램 영상은 정적인 이미지를 사용하거나 디자이너가 제작한 이미지들을 사용하기 때문에 콘텐츠의 사실적인 표현이 불가능하다. 따라서 이를 극복하기 위해 대상 콘텐츠의 표면 거칠기를 효과적으로 가시화할 수 있는 광원 보간법(Light interpolation) 과정을 수행함으로써 콘텐츠의 사실감과 동적 효과들을 향상시킬 수도 있다.Alternatively, a pseudo hologram may be further included. Pseudo-hologram is a technology that can visualize holographic images by indirectly projecting digital contents through a projector or display on a special transparent screen. It is also called pseudo-hologram. For example, a 3D pseudo hologram that projects digital content on a mock-up may be used, a 2D-2D projection mapping process that maps a two-dimensional image on a two-dimensional plane, or a 3D mock-up A 2D-3D projection mapping process of mapping a dimensional image may be performed. In addition, since current holographic images use static images or images created by designers, realistic expression of content is impossible. Therefore, in order to overcome this problem, realism and dynamic effects of the content may be improved by performing a light interpolation process that can effectively visualize the surface roughness of the target content.
3차원 홀로그램을 위해서는 3차원 프로젝션 맵핑 기술과 콘텐츠에 3차원 효과를 극대화 할 수 있는 기술이 필요하다. 이러한 3차원 프로젝션 맵핑은 디지털 콘텐츠와 같은 크기의 목업을 제작하고 프로젝터를 이용해 콘텐츠를 3차원 목업에 직접 투사하게 된다. 하지만 2차원 평면이 아닌 3차원 물체에 프로젝션 맵핑을 할 경우에는 많은 왜곡이 발생하기 때문에 이러한 왜곡을 최소화하기 위한 연구가 계속해서 진행되고 있다. 프로젝터와 투사면 사이의 왜곡 보정을 위해서는 우선 프로젝터-카메라 시스템을 구축하고 프로젝터와 카메라 간의 픽셀 대응관계가 정의 되어야 한다. 이를 위해 구분적 선형근사(Piecewise linear approximation)를 이용할 수 있고, 구분적 2차 다항식(Piecewise second-order polynomials), 베지어 패치(Bezier patch)를 사용하여 프로젝터와 투사면 사이의 왜곡을 보정할 수 있다. 이 외에도 다양한 방법이 이용될 수 있으며, 홀로그램을 제공하는데 필요한 장비(프로젝터 등)이 더 필요할 수 있다. 물론, 홀로그램을 제공하는데 상술한 방법에 한정되지 않고 다양한 공지기술이 이용될 수 있음은 자명하다 할 것이다.For 3D hologram, 3D projection mapping technology and technology that can maximize 3D effect on contents are required. This 3D projection mapping produces a mockup of the same size as the digital content and projects the contents directly onto the 3D mockup using a projector. However, when projection mapping is performed on a 3D object rather than a 2D plane, many distortions occur, so research to minimize such distortion is continuously being conducted. In order to correct the distortion between the projector and the projection surface, first, a projector-camera system should be established and the pixel correspondence between the projector and the camera should be defined. For this, piecewise linear approximation can be used, and the distortion between the projector and the projection surface can be corrected using piecewise second-order polynomials and Bezier patches. there is. In addition to this, various methods may be used, and equipment (such as a projector) required to provide the hologram may be further required. Of course, it will be apparent that various known techniques can be used to provide the hologram without being limited to the above-described method.
챗봇부(350)는, 개인기록 콘텐츠를 입력 데이터셋(DataSet)으로 챗봇(Chatbot)을 훈련 및 테스트할 수 있다. 챗봇(Chatbot)은 사람과 기계가 자연어로 대화를 주고 받는 시스템을 말한다. 페르소나(Persona) 챗봇이란 일반적인 응답을 생성하는 기존 챗봇과 다르게 개인 특성을 의미하는 페르소나를 반영하여 답변을 생성하는 챗봇을 말한다. 예를 들어, 돌아가신 어머니와 대화를 하고 싶다고 하면, 어머니가 딸과 대화를 하던 문자, 메신저, 이메일, 전화 등을 이용하여 페르소나 챗봇을 훈련시키면, 어머니가 하던 말투를 자주 사용하던 말뭉치(Corpus) 구축으로 사용하도록 하고, 어머니의 음성발화를 학습하여 목소리를 흉내낼 수도 있다. 이렇게 사용자가 원하는 페르소나를 반영한 챗봇과 대화를 하게 되면 더욱 친근한 대화가 가능하다. 이때, 페르소나를 반영한 챗봇 연구에 필수적인 요소 중 하나는 개인 특성 반영 여부에 대한 성능 측정 방법이다. 하지만 페르소나를 반영한 챗봇의 개인 특성 반영 여부를 측정할 수 있는 방법은 정성평가 외에 찾아보기 어렵다. 따라서 본 발명의 일 실시예에서는, 페르소나 챗봇의 성능 평가를 위해 챗봇의 발화에 대하여 페르소나 반영 여부에 대한 성능을 자동으로 평가하는 과정을 더 진행할 수 있다.The
우선 페르소나 챗봇은, 디코더(Decoder)가 단어를 생성할 때 매 단계(Step)마다 학습 가능한 페르소나 벡터를 같이 반영하여 페르소나 정보를 반영한 모델과 페르소나 데이터를 구축하여 디코더의 매 단계마다 해당 정보를 반영한 모델 등이 이용될 수 있다. 다만, 해당 모델들은 페르소나 반영 여부에 대한 성능 평가가 진행되지 않았거나 정성평가로만 진행됐다. 페르소나 챗봇에서 개인 특성을 반영했는지 여부는 매우 중요한 문제이지만 뚜렷한 기준이 없기 때문에 해당 성능을 평가하기가 어렵다. 따라서, 이하의 과정을 거쳐 특성의 반영 여부를 확인할 수 있다.First, the persona chatbot is a model that reflects the persona information by reflecting the learnable persona vector at every step when the decoder creates a word, and a model that reflects the information at every step of the decoder by building persona data etc. may be used. However, the performance evaluation of whether or not the persona was reflected in the relevant models was not carried out, or only a qualitative evaluation was carried out. Whether the persona chatbot reflects individual characteristics is a very important issue, but it is difficult to evaluate its performance because there is no clear criterion. Therefore, it can be checked whether the characteristics are reflected through the following process.
<개인 특성 반영 여부 분류기><Classifier whether or not to reflect personal characteristics>
페르소나 챗봇에 대한 개인 특성 반영 여부 측정을 위하여 복수의 문장 인코더(Sentence Encoder)가 연결되고, 복수의 문장 인코더의 출력은 소프트맥스 분류기(Softmax Classifier)로 입력되는 기본 모델 구조를 이용할 수 있다. A plurality of sentence encoders are connected in order to measure whether individual characteristics are reflected in the persona chatbot, and the output of the plurality of sentence encoders may use a basic model structure input to a Softmax Classifier.
이때, 문장 인코더 (Sentence Encoder)는, GRU(Gated Recurrent Unit)으로 이루어진 순환 신경망(Recurrent Neural Networks : RNN)일 수 있다. 이때, 두 가지의 다른 다른 인코더 구조에 대하여, 즉, RNN-STATE는, 순방향 순환 신경망의 마지막 은닉 상태(Hidden State) 정보를 분류기의 입력으로 제공하도록 설정하고, Bi-RNN-STATE 그순방향 순환 신경망 대신 양방향 순환 신경망(Bi-directional Neural Networks)을 사용하여 신경망의 마지막 은닉 상태들을 연결(Concatenate)한 정보를 분류기의 입력으로 제공하도록 한다.In this case, the sentence encoder may be a recurrent neural network (RNN) composed of a Gated Recurrent Unit (GRU). At this time, for two different encoder structures, that is, RNN-STATE is set to provide the last hidden state information of the forward recurrent neural network as an input to the classifier, and Bi-RNN-STATE the forward recurrent neural network Instead, information obtained by concatenating the last hidden states of the neural network using Bi-directional Neural Networks is provided as an input to the classifier.
두 번째로 분류 모델, 즉 소프트맥스 분류기는, 분류 모델의 일종인데, 문장 인코더에 의해 인코딩된 입력 문장이 어떤 페르소나를 가진 인물의 발화인지 분류하는 역할을 한다. 모델 구조는 기본적인 소프트맥스(Softmax) 분류 모델의 구조를 사용하지만, 다른 분류기를 사용하는 것도 가능하다.Second, the classification model, that is, the softmax classifier, is a kind of classification model, and serves to classify the utterances of the persona whose input sentence encoded by the sentence encoder is. The model structure uses the structure of the basic Softmax classification model, but it is possible to use other classifiers.
수학식 1에서 H는 순환 신경망의 마지막 은닉 상태 벡터이고 W와 B는 각각 가중치(Weight)와 편향(Bias)을 의미한다.In Equation 1, H is the last hidden state vector of the recurrent neural network, and W and B mean weight and bias, respectively.
수학식 2에서 다중 분류를 수행하기 위해 수학식 1에서 구한 K에 소프트맥스 함수를 취하여 입력을 확률값으로 변환한다.In Equation 2, in order to perform multiple classification, a softmax function is applied to K obtained in Equation 1 and the input is converted into a probability value.
상술한 구성을 바탕으로, 사용자인 어머니가 사망하기 전, 자녀들이 어머니께서 돌아가신 후에도 어머니와 채팅을 하고 싶어 챗봇 서비스를 신청했다고 가정하자. 이때, 챗봇부(350)는, 사용자 단말(100)로부터 음성발화로 녹음된 음성 파일, 이메일, 문자, 카카오톡과 같은 메신저 등을 수집하고 정제할 수 있다. 어머니에 대한 페르소나는, 어머니의 인적사항, 성격 등으로 이루어질 수 있으며, 발화 데이터를 이용함으로써 어머니가 자주 쓰는 표현(Expression)이나 단어(Corpus)와 같은 어투 데이터셋을 구축할 수 있다. 그리고 수집한 데이터를 학습 데이터셋, 검증 데이터셋 및 평가 데이터셋으로 각각 나누어 진행하며, 만약 부족한 경우 사용자 단말(100)로부터 더 수집하거나 만약 사용자가 사망한 후라면 이미 구축된 발화 데이터로 자가증식시켜 더 만들 수도 있다. 이때, 임베딩(Embedding)은 미 등록어에 강건한 복합 표현 단위 임베딩을 이용할 수 있는데, 복합 표현 단위 임베딩은 형태소 단위의 임베딩과 열린 단어(고유 명사, 미등록어 형태소)에 대해 음절 단위로 합성곱 신경망(Convolutional Neural Networks : CNN)을 적용하여 형태소 단위 임베딩을 보완하는 역할을 한다.Based on the above configuration, it is assumed that before the death of the user's mother, and after the mother's death, the children apply for the chatbot service because they want to chat with the mother. In this case, the
어머니 페르소나를 가지는 챗봇이 완성되었으면, 성능을 평가해보아야 한다. 이때, 성능 평가 지표로 정확도(Accuracy)를 사용할 수 있으나 이에 한정되는 것은 아니다. 복수의 클래스의 발화 데이터에 대해 분류 정확도를 측정할 수 있고, 순환 신경망의 은닉층 크기(Hidden Size)롤 조절하여 설정할 수 있다. 이는 성능 평가때마다 달라질 수 있으므로 어느 하나의 숫자로 제한하지는 않는다. 페르소나 생성에 있어서 중요한 특성인 어투 정보는 문장의 끝 부분에 많이 등장하기 때문에 인코더의 마지막 은닉 상태를 입력으로 사용한 모델이 가장 성능이 좋을 수 있다. 이때 성능 평가에서 기준값을 넘지 못하는 경우 사용자가 아직 살아있는 경우에는 계속하여 음성발화를 수집하고 메신저나 이메일 등에서 새로운 데이터셋을 더 얻어 지속적으로 재학습을 진행할 수도 있다. 각 개인마다 사용하는 어휘나 단어가 어느 정도 고정되어 있고 문장을 만드는 방법도 각 패턴이 대부분 일정하기 때문에 충분한 데이터셋의 확보만 가능하다면 "어머니"와 똑같이 묻고 말하며 대답하는 챗봇의 설계가 가능하다.Once the chatbot with mother persona is complete, it is time to evaluate its performance. In this case, Accuracy may be used as a performance evaluation index, but is not limited thereto. Classification accuracy can be measured for utterance data of a plurality of classes, and can be set by adjusting the size of the hidden layer of the recurrent neural network. Since this can be different for each performance evaluation, it is not limited to any one number. Since tone information, which is an important characteristic in persona generation, appears at the end of sentences a lot, a model using the last hidden state of the encoder as an input may have the best performance. At this time, if the performance evaluation does not exceed the reference value, if the user is still alive, voice utterances are continuously collected, and new data sets are obtained from messengers or e-mails, etc., so that re-learning can be performed continuously. Since the vocabulary or words used by each individual are fixed to some extent and the method of making sentences is mostly constant, as long as a sufficient data set is secured, it is possible to design a chatbot that asks, speaks, and answers just like “mother”.
수집부(360)는, 사용자 단말(100)을 부모 노드로, 엑세스권을 획득한 대상을 자식 노드로 하는 이진트리를 생성하고, 자식 노드에 대응하는 적어도 하나의 검색 단말(400)에 저장된 적어도 하나의 사진 또는 동영상 중 사용자의 얼굴이 피사체로 포함된 사진 또는 동영상을 주기적 또는 실시간으로 업로드받을 수 있다. 개인기록은 지금이 아니면 나중에는 수집할 수 없거나 수집할 가능성이 낮아지게 된다. 이에 따라, 수집부(360)는, 사용자가 예를 들어, 어머니라면, 어머니의 자녀들의 스마트폰, 즉 검색 단말(400)에서 어머니의 사진을 찍거나, 녹음을 하거나 동영상을 촬영한 것들을 실시간으로 수집할 수 있다. 이때, 어머니라는 것을 파악하기 위하여, 안면인식 알고리즘을 이용할 수도 있다. 피사체 내에 어머니의 얼굴 특징점이 인식되는 경우, 해당 사진을 수집부(360)에서 수집할 수 있다. 문자나 메신저와 같은 경우에는 상호 간 메세지가 표시되기 때문에 사용자 단말(100) 단(End)에서 수집가능하므로 이는 검색 단말(400)에서 수집하지 않는다.The
얼굴을 인식할 때에는 크게 세 가지 단계를 거치게 된다. 첫 번째는 얼굴 정렬(줄맞춤), 두 번째는 얼굴 인식, 세 번째는 검출이다. 첫 번째 과정은 두 눈 양측의 점에 1 개씩 총 4개의 점(눈의 좌측점 및 우측점)과, 코 중심 부분과 인중 사이의 경계선에 1 개의 점과 같이, 총 5 개의 얼굴 랜드마크를 기준으로 얼굴을 줄맞춤하게 된다. 두 눈이 동일한 가로선에 위치하도록 얼굴을 회전시키고, 두 눈의 위치와 코 사이의 거리가 48 픽셀이 되도록 사진 크기를 조정하며, 마지막으로 눈 위와 코 아래로 40 픽셀 거리만 남기고 잘라내면 얼굴 세트, 즉 기준값으로 작용할 얼굴 데이터가 얻어진다. When recognizing a face, it goes through three main steps. The first is face alignment (alignment), the second is face recognition, and the third is detection. The first process is based on a total of 5 facial landmarks, such as 4 points (left and right points of the eyes), 1 on both sides of the eyes, and 1 point on the boundary line between the center of the nose and the pharynx. to align the face with Rotate the face so that both eyes are on the same horizontal line, resize the photo so that the distance between the position of the two eyes and the nose is 48 pixels, and finally crop the face set, leaving only 40 pixels above the eyes and below the nose. That is, face data to serve as a reference value is obtained.
인식 과정에서는 후보 얼굴과 등록된 얼굴 세트를 매칭시키는 방향으로 진행된다. 실제적으로는 특정 각도에서 등록된 얼굴과 다른 각도로 검출된 후보 얼굴이 비교되는데, 이런 경우 허위양성 또는 허위음성의 오류가 발생할 수 있다. 따라서, 사람의 얼굴을 등록할 때 3x3 배열로 총 9 개의 얼굴을 등록하여 같은 각도의 얼굴을 비교할 확률을 높일 수 있다. 이를 통하여, 인식 과정은 인식률에 종속된다. 이에 따라, 얼굴 데이터를 등록할 때, 각 방향을 바라보도록 얼굴 세트를 구성할 수도 있는데, 예를 들어, 가운데 얼굴은 0 도의 각도로 정면에 얼굴면과 직각 위치에 있는 카메라로 촬영될 수 있고, 다른 사진의 경우 정면 45도의 각도로 상, 하, 좌, 우 그리고 대각선 방향으로 촬영될 수 있다.The recognition process proceeds in the direction of matching the candidate face and the registered face set. In reality, a face registered at a specific angle and a candidate face detected at a different angle are compared. In this case, false positives or false negatives may occur. Therefore, when registering a human face, it is possible to increase the probability of comparing faces at the same angle by registering a total of 9 faces in a 3x3 array. Through this, the recognition process is dependent on the recognition rate. Accordingly, when registering face data, face sets can be configured to look in each direction, for example, the middle face can be photographed with a camera positioned at right angles to the face in front at an angle of 0 degrees, In the case of other photos, it can be taken in the up, down, left, right and diagonal directions at an angle of 45 degrees from the front.
세 번째 단계는 검출 단계인데, 개인기록 콘텐츠 중 피사체가 사용자인 동영상이나 사진을 검출하는 것이다. 추적중에 각 트랙렛에서 얼굴 이미지 셋을 추출하여 인식 과정에 넘겨줄 수 있고, 얼굴은 평가되어 가장 확률이 높은 얼굴이 투표 시스템을 통하여 뽑히게 된다. 각 얼굴은 매칭 방식을 통하여 인식될 수 있다. 각 얼굴은 등록 과정과 같은 방법으로 전처리(줄맞춤)될 수 있고, SeqFace를 이용하여 각 얼굴의 특징점을 512-D 벡터 형태로 추출한다. 이후, 매칭 단계에서 후보 얼굴들은 등록된 얼굴과 벡터의 코사인 유사도를 계산 후 비교하여 후보와 제일 높은 점수를 갖는, 즉 부합하는(Matched) 얼굴이 선택된다. The third step is the detection step, which detects a video or photo whose subject is the user among the personal record contents. During tracking, a set of face images can be extracted from each tracklet and passed to the recognition process, the faces are evaluated, and the face with the highest probability is selected through the voting system. Each face may be recognized through a matching method. Each face can be preprocessed (aligned) in the same way as in the registration process, and feature points of each face are extracted in the form of a 512-D vector using SeqFace. Thereafter, in the matching step, the candidate faces are compared with the registered face after calculating the cosine similarity of the vector, and the face having the highest score with the candidate, that is, the matched face is selected.
다만, 후보의 얼굴 크기, 환경조건 및 각도에 따라 매칭 과정에서 의도치 않은 결과를 낼 수도 있다. 따라서, 투표자(Voter)에게 점수와 발생 빈도를 기반으로 모든 부합하는(Matched) 얼굴을 평가하도록 설계할 수 있다. 첫 째로, 각 부합하는 얼굴의 발생횟수를 카운트하여 빈도순으로 정리한다. 두 번째로, 코사인 유사도 점수가 가장 높은 얼굴이 가장 부합하는(Matched) 얼굴이 되도록 한다. 만일, 발생빈도가 가장 높은 얼굴이 2 개 이상일 경우, 코사인 유사도 점수에 기반하여 가장 부합하는 얼굴을 결정한다. 결론적으로, 최종 결과는, 가장 많이 검출된 얼굴과, 가장 높은 점수로 결정된다.However, the matching process may produce unintended results depending on the candidate's face size, environmental conditions, and angle. Therefore, it can be designed to evaluate all matched faces based on the score and frequency of occurrence to the Voter. First, the number of occurrences of each matching face is counted and arranged in order of frequency. Second, the face with the highest cosine similarity score becomes the most matched face. If there are two or more faces with the highest frequency of occurrence, the most matching face is determined based on the cosine similarity score. In conclusion, the final result is determined by the face detected the most and the highest score.
모델링부(370)는, 사용자 단말(100)로부터 수신한 개인기록 콘텐츠 내 사진 또는 동영상을 추출하고, 사진 또는 동영상 내 사용자가 피사체인 사진 또는 동영상으로부터 2D 피사체를 3D 모델링할 수 있다. 2D 이미지에서 3D 데이터 획득을 위한 블록 알고리즘을 이용하여, 2D 이미지를 이용하여 회색의 이미지(Gray Scale)로 변형한 뒤 엣지(Edge) 검출 처리를 한다. 이는 이미지의 외각라인만을 위하여 3D 데이터를 만들기 위해 사용할 수 있고, 3D의 공간적인 면을 위해 앞면과 뒷면의 면을 생성하고 3D 이미지를 완성한다.The
<세그멘테이션><Segmentation>
2D 이미지에서 3차원 데이터로 변환하기 위한 첫번째 단계로 세그멘테이션 과정을 거치게 된다. 세그멘테이션(Segmentation)은 개인기록 콘텐츠에서 얻은 2D 이미지에서 3D 모델로 변환 시 2D 이미지의 객체 영역을 찾아 그것을 이미지 배경 부분과 전경 부분을 분리하는 것이다. 단순한 모형의 전경과 배경의 분리는 비교적 단순한 방법에 의하여 분리가 가능하다. 하지만 다소 복잡한 외곽선을 갖는 도형은 전경과 배경 분리 작업 시 다소 복잡한 연산이 필요하다. 전경과 배경을 분리하는 방법은 매우 다양한 방법이 있는데, 피사체가 사용자, 즉 사람이므로, 이에 강건하도록 에지를 검출하고 Waterfront 알고리즘을 이용하여 객체(피사체) 영역을 검출하도록 한다.Segmentation is the first step to transform a 2D image into 3D data. Segmentation is to find the object area of the 2D image and separate it from the background part and the foreground part when converting the 2D image obtained from the personal record content into a 3D model. Separation of foreground and background of a simple model is possible by a relatively simple method. However, a figure with a rather complicated outline requires a rather complicated operation when separating the foreground and background. There are many different methods for separating the foreground and the background. Since the subject is a user, that is, a person, an edge is detected to be robust to the subject, and an object (subject) area is detected using the Waterfront algorithm.
이때, 3D 모델링 제작을 위해 사용하는 2D 이미지는 전경 이미지 분리를 비교적 쉽게 하기 위하여 중심 도형의 외부에 여백이 있는 이미지를 이용할 수 있다. 만일 여백이 없는 경우에는 임의로 여백을 만들어 전경과 배경을 분리한다. 이런 가정 하에 배경 부분에는 정보가 없음으로 에지(Edge)를 검출하여 경계 영역을 검출할 수 있다. 에지 탐지(Edge Detection) 기법은 데이터 크기를 줄이며, 의미없는 자료를 없애주고, 영상의 구조적 정보 보존 측면에 영상처리에 많이 사용되는 기법이다. 대부분의 에지추출 마스크는 잡음에 대해 민감하므로, 작은 잡음이라도 그것을 에지로 간주하여 추출하는 경우가 많다. 이러한 부분의 단점을 보완하기 위한 방법이 캐니 마스크를 이용한 에지추출기법으로 실제로 잡음에 민감하지 않게 하며 효과적인 에지추출을 할 수 있다. In this case, as a 2D image used for 3D modeling production, an image having a blank space outside the central figure may be used in order to relatively easily separate the foreground image. If there is no blank space, a blank space is randomly created to separate the foreground and the background. Under this assumption, since there is no information in the background part, an edge may be detected to detect a boundary region. The edge detection technique is a technique widely used in image processing in terms of reducing the data size, removing meaningless data, and preserving the structural information of the image. Since most edge extraction masks are sensitive to noise, even a small noise is considered as an edge and extracted in many cases. The method to compensate for the shortcomings of this part is the edge extraction technique using the Canny mask, which makes it insensitive to noise and allows effective edge extraction.
<Waterfront 알고리즘><Waterfront Algorithm>
Waterfront 알고리즘은 배경 이미지를 바다로 표현한다면 전경 이미지는 섬으로 간주될 수 있으며 바다와 섬 사이의 경계 부분을 검출하는 알고리즘이다. 예를 들어, 바닷물이 가로축과 세로축으로만 흐른다는 가정 하에 최상단에서 부터 수평 오른쪽 방향과 수직 아래쪽 방향으로만 물이 흐를 때 에지(Edge)를 만나는 부분에서 물의 흐름이 멈추게 된다. 이때 물이 지나가는 자리는 배경으로 분류한다. 다음은 배경이 아닌 최하단 위치를 찾아 수평 왼쪽 방향과 수직 방향으로 물이 흐를 때 에지를 만날 때까지 배경으로 분류한다. 여기까지를 한 사이클(Cycle)이라고 하고 더 이상 배경이 검출되지 않는 사이클이 되면 알고리즘이 종료된다. 한 사이클 연산에 대부분의 배경이 분류되며 일부 영역만 아직 전경으로 분류된 경우에는 여러 사이클을 거치는 동안 전경과 배경이 정확히 분류될 수 있다.If the background image is expressed as the sea, the waterfront algorithm can be regarded as an island, and the waterfront algorithm detects the boundary between the sea and the island. For example, assuming that seawater flows only in the horizontal and vertical axes, when water flows only in the horizontal right direction and the vertical downward direction from the top, the water flow stops at the part where the edge meets. At this time, the place where the water passes is classified as a background. Next, find the lowermost position, not the background, and classify it as the background until it meets the edge when water flows in the horizontal left and vertical directions. This is called one cycle, and the algorithm is terminated when the background is no longer detected. If most of the background is classified in one cycle operation and only some areas are still classified as foreground, the foreground and background can be accurately classified over several cycles.
<전경영역 세그먼테이션><Foreground area segmentation>
Waterfront 알고리즘을 이용하여 배경과 분리된 전경 영역은 전경영역 세그멘테이션 방법에 의해 라벨링을 한다. 이는 복잡한 도형을 3D 모델로 만들기 위해서는 비교적 단순한 모델의 조합에 의해 전체 3D 모델을 구성하기 위함이다. 전경영역 세그멘테이션은 Waterfront 알고리즘과 유사하다. 라벨링이 적용되지 않은 부분의 최상단 수평 우측 방향과 수직 우측 방향으로 이동 시 배경영역과 접점까지의 영역이 같은 라벨링 영역이 된다. The foreground region separated from the background using the Waterfront algorithm is labeled by the foreground region segmentation method. This is to compose the entire 3D model by combining relatively simple models in order to make a complex figure into a 3D model. Foreground segmentation is similar to the Waterfront algorithm. When moving in the horizontal right direction and the vertical right direction at the top of the part to which no labeling is applied, the background area and the area to the contact point become the same labeling area.
그 다음으로 버텍스(Vertex) 분배인데, 같은 라벨 별로 3D 모델을 각각 따로 작성하고 최종 모델은 이들을 조합하여 전체를 구성하게 된다. 이런 방법을 이용하면 복잡한 도형의 모델도 구성할 수 있다. 버텍스의 분배는 라벨링 영역을 일정한 구획으로 세분화를 하는데, 예를 들어, 수평축을 기준으로 같은 수평 축에는 같은 개수의 버텍스를 할당한다. 영역이 작으면 버텍스의 간격이 작아지고 영역이 넓어지면 버텍스 간격도 벌이지게 된다. 같은 수평축에 할당되는 버텍스 수가 많아질수록 고해상도의 3D 모델이 된다. 물론, 이렇게 3D 모델을 완성하고 나서도 사람의 개입으로 3D 모델을 변경하거나 변형하는 과정이 더 필요할 수도 있다. 자연스럽지 않거나 변형이 필요한 부분에 대하여 각 담당자가 수동으로 작업을 더 진행할 수도 있다.The next is vertex distribution, where 3D models are created separately for each same label, and the final model is composed of the whole by combining them. Using this method, it is possible to construct a model of a complex figure. The distribution of vertices subdivides the labeling area into a certain section. For example, the same number of vertices is assigned to the same horizontal axis with respect to the horizontal axis. When the region is small, the vertex spacing becomes smaller, and when the region is wide, the vertex spacing becomes wider. The higher the number of vertices allocated to the same horizontal axis, the higher the 3D model becomes. Of course, even after completing the 3D model in this way, the process of changing or transforming the 3D model with human intervention may be further required. For parts that are not natural or need to be modified, each person in charge may manually proceed with further work.
유언관리부(380)는, 사용자 단말(100)로부터 수집된 개인기록 콘텐츠 중 유언에 대응하는 키워드가 포함된 텍스트 또는 유언에 대응하는 키워드를 음성발화하는 동영상이 존재하는 경우, 유언 카테고리로 분류하여 시간순으로 정렬하여 저장할 수 있다. 한국의 친족상속법에 의하면 배우자는 1.5, 자녀들은 균등하게 1 씩 분배된다. 다만, 본 발명의 일 실시예에 따른 유언은 장례의 방법이나 부동산과 같이 등기가 되지 않은 동산 등의 처분을 사용자가 생전에 말하는 것을 녹음해두었다가 이를 분배하는 것을 의미할 수 있다. 또는, 부동산을 한 사람에게 주고 싶다고 가정하면, 이는 부동산은 한 자녀 앞으로 등기하고 나머지 상속인들이 동의서를 작성하거나 만약 다툼이 있다면 부동산을 모두 받은 자녀가 상속인들에게 보상을 하는 방법으로 이루어져 사용자의 사망 후 자녀나 형제 간 유산상속에 다툼이 없도록 한다.The
장례식에서는 늘 해당 부동산이나 동산을 누가 가질 것인지에 대해 다툼이 많다. 서로 고인을부터 들은 이야기가 다르고 이를 판가름해줄 고인은 이미 사망 후이기 때문에 고인의 뜻을 서로 추측하는 동안 싸움은 심해지고 감정의 골은 깊어진다. 이에 따라, 유언이 포함되는 키워드, 예를 들어, 부동산 명이나 동산 명과, 이를 받을 "사람"의 이름이 함께 등장하고, "누구에게 준다"와 같은 동사 및 어미로 종결되면 이를 유언 콘텐츠로 분류하고 이를 장례가 시작하면 상속인들에게 배포하는 것일 수 있다. 그럼에도 불구하고 유언의 앞뒤가 맞지 않거나 서로 대치되는 내용이 있는 경우에는 다툼이 여전히 존재할 수 있지만, 아무런 증거가 없는 것보다는 이후 분쟁이 발생할 소지가 훨씬 줄어든다.There is always a lot of contention at funerals about who will own the real estate or personal property. Because the stories they hear from each other are different, and the deceased who will decide this is already after death, the fight intensifies while they guess the meaning of the deceased, and the emotional rift deepens. Accordingly, if a keyword containing a will, for example, the name of real estate or movable property, and the name of the “person” who will receive it appear together, and end with a verb and ending such as “to give to someone,” it is classified as will content and This could be distributed to heirs when the funeral begins. Nevertheless, if there is disagreement or contradiction in the will, a dispute may still exist, but it is far less likely to arise in the future than if there is no evidence at all.
매크로봇(390)은, 사용자 단말(100)에서 정보접근에 승인하는 경우, 사용자 단말(100)의 사용자 계정으로 가입된 적어도 하나의 소셜미디어, 이메일 및 사이트와, 사용자 단말(100)로 수발신된 호(Call), 문자(SMS/MMS) 및 메신저에 접근하여 업로드된 데이터를 수집할 수 있다. 이때, 매크로 프로그램은 단순/반복적 작업을 자동으로 프로그램화하여 처리하는 소프트웨어로 통상 수작업을 통해 이루어지는 키보드 및 마우스 입력값, 입력순서 등의 작업을 사전에 입력하여 자동적, 반복적으로 실행하도록 함으로써 컴퓨터를 이용한 단순작업의 효율성을 증대시키는 데 사용된다. 매크로 프로그램을 이용하여 단순/반복적 작업을 자동화하는 것 자체는 효율적인 업무처리를 위하여 필요하기 때문에, 허용된 명령을 자동화하는 방식으로 구성될 수 있다. 또는 매크로 봇과 유사한 웹 크롤러를 이용할 수도 있다. 다만, 웹 크롤러는 공개된 데이터만 수집할 수 있기 때문에 키보드나 마우스 입력값을 넣을 수가 없다. 따라서, 소셜미디어, 예를 들어, 페이스북이나 인스타그램에 전체공개가 아닌 나에게만 공개(Only Me)로 설정된 것들은 계정 정보, 예를 들어, 아이디와 패스워드를 매크로 봇이 입력하여 수집하는 것으로 설정할 수 있다.The
이하, 상술한 도 2의 통합 관리 서비스 제공 서버의 구성에 따른 동작 과정을 도 3 및 도 4를 예로 들어 상세히 설명하기로 한다. 다만, 실시예는 본 발명의 다양한 실시예 중 어느 하나일 뿐, 이에 한정되지 않음은 자명하다 할 것이다.Hereinafter, an operation process according to the configuration of the integrated management service providing server of FIG. 2 will be described in detail with reference to FIGS. 3 and 4 as an example. However, it will be apparent that the embodiment is only one of various embodiments of the present invention and is not limited thereto.
도 3을 참조하면, (a) 관리 서비스 제공 서버(300)는 사용자 단말(100)에서 국민행복 기록관(본 발명의 일 실시예에 따른 페이지나 애플리케이션 명칭)에 접속하여 사용자 등록을 한 후, 엑세스권을 가진 대상자를 정하는 경우 이를 저장하면서 사용자 단말(100)의 등록을 완료한다. 그리고, (b) 관리 서비스 제공 서버(300)는 이메일, 문자, 메신저, 소셜미디어, 사진, 녹음, 영상 등 다양한 종류의 개인기록 콘텐츠를 수집하고, 클라우드에 저장된 자료나 사진 또는 동영상도 모두 수집한 후 메타데이터나 태그로 분류를 시작하고 구조화된 포맷에 재배치 및 편집할 수 있다. 이때, 사용자의 얼굴 특징점을 학습한 후에는, 적어도 하나의 검색 단말(400)로부터도 사용자의 얼굴이 포함된 사진이나 동영상은 모두 수집한다. Referring to FIG. 3 , (a) the management
(c) 그리고 관리 서비스 제공 서버(300)는 적어도 하나의 검색 단말(400)에서 사용자의 이름이 포함된 부고 문자가 발송되는 경우, 사용자의 사망으로 간주하고 업데이트되지 못했던 잔존 콘텐츠를 사용자 단말(100)로부터 모두 독출하여 업로드받는다. (d) 이렇게 수집되어 분류 및 구조화된 자료들은 도서관, 국가기록원, 박물관 등 연계된 기관 리포지토리(500)에 분산되어 저장될 수 있다.(c) and the management
도 4의 (a)와 같이 사용자가 할머니이고 검색자가 손자 또는 손녀인 경우, 검색 단말(400)에서 엑세스권을 받은 대상자임을 알리는 QR 코드를 출력하고, 키오스크(600)는 이를 인식하여 관리 서비스 제공 서버(300)로 QR 코드에 매핑된 정보가 엑세스권이 있는 정보인지 확인받은 후 (b)와 같이 AR 또는 VR로 할머니의 모습을 보여주거나, 저장된 동영상 또는 사진 등을 보여줄 수 있다. 이때 출력 주체는 키오스크(600)일 수도 있고 검색 단말(400)일 수도 있다. (c)와 같이 사용자 단말(100)에서 유언을 의미하는 음성발화, 동영상 또는 글 등이 존재하는 경우, 이를 수집하여 검색 단말(400)에서 부고 문자를 발송할 때, 관리 서비스 제공 서버(300)는 검색 단말(400)로 유언을 전송할 수 있다. 이때, 부고 문자는 모친상, 부친상 등 사용자의 이름이 포함되지 않지만, 이미 부모노드-자식노드와 같이 이진트리로 가족 관계를 저장했으므로, 모친상, 부친상 등으로부터도 사용자의 부고인지 아닌지를 파악할 수 있다.As shown in (a) of Figure 4, when the user is a grandmother and the searcher is a grandson or granddaughter, the
또, 관리 서비스 제공 서버(300)는 개인기록 콘텐츠를 이용하여 챗봇을 학습 및 테스트함으로써 사용자와 같이 말하거나 채팅을 하도록 훈련시킬 수 있고, 사용자의 사후에 검색 단말(400)에서 대화를 나눌 수 있도록 서비스할 수 있다.In addition, the management
이와 같은 도 2 내지 도 4의 기관 리포지토리와 연계된 개인기록 통합 관리 서비스 제공 방법에 대해서 설명되지 아니한 사항은 앞서 도 1을 통해 기관 리포지토리와 연계된 개인기록 통합 관리 서비스 제공 방법에 대하여 설명된 내용과 동일하거나 설명된 내용으로부터 용이하게 유추 가능하므로 이하 설명을 생략하도록 한다.The matters not described for the method of providing an integrated personal record management service linked to the institutional repository of FIGS. 2 to 4 are described above with respect to the method of providing the integrated personal record management service linked with the institutional repository through FIG. 1 and Since it can be easily inferred from the same or described content, the following description will be omitted.
도 5는 본 발명의 일 실시예에 따른 도 1의 기관 리포지토리와 연계된 개인기록 통합 관리 서비스 제공 시스템에 포함된 각 구성들 상호 간에 데이터가 송수신되는 과정을 나타낸 도면이다. 이하, 도 5를 통해 각 구성들 상호간에 데이터가 송수신되는 과정의 일 예를 설명할 것이나, 이와 같은 실시예로 본원이 한정 해석되는 것은 아니며, 앞서 설명한 다양한 실시예들에 따라 도 5에 도시된 데이터가 송수신되는 과정이 변경될 수 있음은 기술분야에 속하는 당업자에게 자명하다.5 is a diagram illustrating a process in which data is transmitted/received between components included in the system for providing an integrated personal record management service linked to the institutional repository of FIG. 1 according to an embodiment of the present invention. Hereinafter, an example of a process in which data is transmitted and received between each component will be described with reference to FIG. 5, but the present application is not limited to such an embodiment, and the example shown in FIG. 5 according to the various embodiments described above will be described. It is apparent to those skilled in the art that the data transmission/reception process may be changed.
도 5를 참조하면, 통합 관리 서비스 제공 서버는, 사용자 단말로부터 개인기록 콘텐츠를 주기적 또는 실시간으로 업로드받는다(S5100).Referring to FIG. 5 , the integrated management service providing server receives the personal record content periodically or in real time from the user terminal ( S5100 ).
그리고, 통합 관리 서비스 제공 서버는, 사용자 단말로부터 개인기록 콘텐츠에 접근가능한 엑세스권을 부여할 대상을 입력받고(S5200), 개인기록 콘텐츠를 메타데이터 또는 태그로 분류 및 카테고리화하여 기 설정된 구조화된 포맷에 맞게 재배치 및 편집한다(S5300).Then, the integrated management service providing server receives an input from the user terminal to grant an access right to the personal record content (S5200), and classifies and categorizes the personal record content into metadata or tags in a preset structured format Rearrange and edit accordingly (S5300).
마지막으로, 통합 관리 서비스 제공 서버는, 적어도 하나의 기관 리포지토리에 개인기록 콘텐츠를 분산저장한다(S5400).Finally, the integrated management service providing server distributes and stores the personal record content in at least one institutional repository (S5400).
상술한 단계들(S5100~S5400)간의 순서는 예시일 뿐, 이에 한정되지 않는다. 즉, 상술한 단계들(S5100~S5400)간의 순서는 상호 변동될 수 있으며, 이중 일부 단계들은 동시에 실행되거나 삭제될 수도 있다.The order between the above-described steps ( S5100 to S5400 ) is merely an example and is not limited thereto. That is, the order between the above-described steps ( S5100 to S5400 ) may be mutually changed, and some of these steps may be simultaneously executed or deleted.
이와 같은 도 5의 기관 리포지토리와 연계된 개인기록 통합 관리 서비스 제공 방법에 대해서 설명되지 아니한 사항은 앞서 도 1 내지 도 4를 통해 기관 리포지토리와 연계된 개인기록 통합 관리 서비스 제공 방법에 대하여 설명된 내용과 동일하거나 설명된 내용으로부터 용이하게 유추 가능하므로 이하 설명을 생략하도록 한다.As such, the matters not described for the method of providing the integrated personal record management service linked to the institutional repository of FIG. 5 are those described above with respect to the method of providing the integrated personal record management service linked with the institutional repository through FIGS. 1 to 4, and Since it can be easily inferred from the same or described content, the following description will be omitted.
도 5를 통해 설명된 일 실시예에 따른 기관 리포지토리와 연계된 개인기록 통합 관리 서비스 제공 방법은, 컴퓨터에 의해 실행되는 애플리케이션이나 프로그램 모듈과 같은 컴퓨터에 의해 실행가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체를 모두 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다. The method of providing an integrated personal record management service associated with an institution repository according to an embodiment described with reference to FIG. 5 is in the form of a recording medium including instructions executable by a computer, such as an application or program module executed by a computer. can also be implemented. Computer-readable media can be any available media that can be accessed by a computer and includes both volatile and nonvolatile media, removable and non-removable media. Also, computer-readable media may include all computer storage media. Computer storage media includes both volatile and nonvolatile, removable and non-removable media implemented in any method or technology for storage of information such as computer readable instructions, data structures, program modules or other data.
전술한 본 발명의 일 실시예에 따른 기관 리포지토리와 연계된 개인기록 통합 관리 서비스 제공 방법은, 단말기에 기본적으로 설치된 애플리케이션(이는 단말기에 기본적으로 탑재된 플랫폼이나 운영체제 등에 포함된 프로그램을 포함할 수 있음)에 의해 실행될 수 있고, 사용자가 애플리케이션 스토어 서버, 애플리케이션 또는 해당 서비스와 관련된 웹 서버 등의 애플리케이션 제공 서버를 통해 마스터 단말기에 직접 설치한 애플리케이션(즉, 프로그램)에 의해 실행될 수도 있다. 이러한 의미에서, 전술한 본 발명의 일 실시예에 따른 기관 리포지토리와 연계된 개인기록 통합 관리 서비스 제공 방법은 단말기에 기본적으로 설치되거나 사용자에 의해 직접 설치된 애플리케이션(즉, 프로그램)으로 구현되고 단말기에 등의 컴퓨터로 읽을 수 있는 기록매체에 기록될 수 있다.The method of providing an integrated personal record management service linked to an institutional repository according to an embodiment of the present invention described above may include an application basically installed in a terminal (which may include a program included in a platform or an operating system basically installed in the terminal) ), and may be executed by an application (ie, a program) installed directly on the master terminal by a user through an application providing server such as an application store server, an application, or a web server related to the corresponding service. In this sense, the method for providing an integrated personal record management service linked to the institutional repository according to an embodiment of the present invention described above is implemented as an application (ie, program) installed by default in a terminal or directly installed by a user, and is implemented in a terminal, etc. It may be recorded on a computer-readable recording medium of
전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다. The above description of the present invention is for illustration, and those of ordinary skill in the art to which the present invention pertains can understand that it can be easily modified into other specific forms without changing the technical spirit or essential features of the present invention. will be. Therefore, it should be understood that the embodiments described above are illustrative in all respects and not restrictive. For example, each component described as a single type may be implemented in a dispersed form, and likewise components described as distributed may also be implemented in a combined form.
본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.The scope of the present invention is indicated by the following claims rather than the above detailed description, and all changes or modifications derived from the meaning and scope of the claims and their equivalent concepts should be interpreted as being included in the scope of the present invention. do.
Claims (10)
상기 개인기록 콘텐츠를 식별코드의 입력으로 출력되도록 하고, 상기 개인기록 콘텐츠의 관리 및 보존하는 적어도 하나의 기관 리포지토리(Repository); 및
상기 사용자 단말로부터 개인기록 콘텐츠를 주기적 또는 실시간으로 업로드받는 수신부, 상기 사용자 단말로부터 상기 개인기록 콘텐츠에 접근가능한 엑세스권을 부여할 대상을 입력받는 입력부, 상기 개인기록 콘텐츠를 메타데이터 또는 태그로 분류 및 카테고리화하여 기 설정된 구조화된 포맷에 맞게 재배치 및 편집하는 구조화부, 상기 적어도 하나의 기관 리포지토리에 상기 개인기록 콘텐츠를 분산저장하는 분산부를 포함하는 관리 서비스 제공 서버;
를 포함하는 기관 리포지토리와 연계된 개인기록 통합 관리 서비스 제공 시스템.
a user terminal for periodically or real-time uploading of personal record contents including texts, images and videos produced and collected in relation to personal work or personal history among private records;
at least one institutional repository that outputs the personal record content as an input of an identification code, and manages and preserves the personal record content; and
A receiving unit for periodically or real-time uploading of personal record content from the user terminal, an input unit for receiving an object to be granted access to access to the personal record content from the user terminal, classifying the personal record content into metadata or tags, and A management service providing server comprising: a structuring unit for categorizing and rearranging and editing according to a preset structured format; and a distribution unit for distributing and storing the personal record content in the at least one institutional repository;
A system for providing integrated management services for personal records linked to institutional repositories, including
상기 기관 리포지토리와 연계된 개인기록 통합 관리 서비스 제공 시스템은,
상기 적어도 하나의 기관 리포지토리에 상기 식별코드를 입력하여 상기 개인기록 콘텐츠에 엑세스하는 적어도 하나의 검색 단말;
을 더 포함하고,
상기 식별코드는 상기 적어도 하나의 검색 단말을 식별하는 1차원 바코드 또는 2차원 바코드를 포함하는 것을 특징으로 하는 기관 리포지토리와 연계된 개인기록 통합 관리 서비스 제공 시스템.
The method of claim 1,
The system for providing integrated personal record management service linked to the institutional repository,
at least one search terminal for accessing the personal record content by inputting the identification code into the at least one institutional repository;
further comprising,
The identification code comprises a one-dimensional barcode or a two-dimensional barcode that identifies the at least one search terminal.
상기 기관 리포지토리와 연계된 개인기록 통합 관리 서비스 제공 시스템은,
상기 적어도 하나의 기관 리포지토리와 연동되고, 상기 식별코드의 스캔 또는 리딩으로 상기 엑세스권이 부여된 대상인지의 여부를 확인하며, 상기 엑세스권이 부여된 대상에게 상기 식별코드에 기 매핑되어 저장된 개인기록 콘텐츠를 전송하는 적어도 하나의 키오스크;
를 더 포함하는 것을 특징으로 하는 기관 리포지토리와 연계된 개인기록 통합 관리 서비스 제공 시스템.
The method of claim 1,
The system for providing integrated personal record management service linked to the institutional repository,
A personal record that is linked to the at least one institutional repository, checks whether the object to which the access right is granted by scanning or reading the identification code, and is pre-mapped to the identification code and stored in the object to which the access right is granted at least one kiosk for transmitting content;
Personal record integrated management service providing system linked to the institutional repository, characterized in that it further comprises.
상기 적어도 하나의 기관 리포지토리에서 상기 개인기록 콘텐츠를 출력되도록 할 때의 상기 개인기록 콘텐츠는, 가상현실(Virtual Reality) 또는 증강현실(Augment Reality) 콘텐츠인 것을 특징으로 하는 기관 리포지토리와 연계된 개인기록 통합 관리 서비스 제공 시스템.
The method of claim 1,
The personal record content when outputting the personal record content from the at least one institutional repository is a personal record integration linked with an institution repository, characterized in that it is virtual reality or augmented reality content Management service delivery system.
상기 관리 서비스 제공 서버는,
상기 개인기록 콘텐츠를 입력 데이터셋(DataSet)으로 챗봇(Chatbot)을 훈련 및 테스트하는 챗봇부;
를 더 포함하는 것을 특징으로 하는 기관 리포지토리와 연계된 개인기록 통합 관리 서비스 제공 시스템.
The method of claim 1,
The management service providing server,
a chatbot unit for training and testing a chatbot using the personal record content as an input dataset;
Personal record integrated management service providing system linked to the institutional repository, characterized in that it further comprises.
상기 관리 서비스 제공 서버는,
상기 사용자 단말을 부모 노드로, 상기 엑세스권을 획득한 대상을 자식 노드로 하는 이진트리를 생성하고, 상기 자식 노드에 대응하는 적어도 하나의 검색 단말에 저장된 적어도 하나의 사진 또는 동영상 중 상기 사용자의 얼굴이 피사체로 포함된 사진 또는 동영상을 주기적 또는 실시간으로 업로드받는 수집부;
를 더 포함하는 것을 특징으로 하는 기관 리포지토리와 연계된 개인기록 통합 관리 서비스 제공 시스템.
The method of claim 1,
The management service providing server,
A binary tree is generated using the user terminal as a parent node and the target for which the access right is obtained as a child node, and the face of the user among at least one photo or video stored in at least one search terminal corresponding to the child node a collection unit for periodically or real-time uploading of photos or videos included as the subject;
Personal record integrated management service providing system linked to the institutional repository, characterized in that it further comprises.
상기 관리 서비스 제공 서버는,
상기 사용자 단말로부터 수신한 개인기록 콘텐츠 내 사진 또는 동영상을 추출하고, 상기 사진 또는 동영상 내 사용자가 피사체인 사진 또는 동영상으로부터 2D 피사체를 3D 모델링하는 모델링부;
를 더 포함하는 것을 특징으로 하는 기관 리포지토리와 연계된 개인기록 통합 관리 서비스 제공 시스템.
The method of claim 1,
The management service providing server,
a modeling unit for extracting a photo or moving picture in the personal record content received from the user terminal and 3D modeling a 2D subject from a photo or moving picture in which the user in the photo or moving picture is a subject;
Personal record integrated management service providing system linked to the institutional repository, characterized in that it further comprises.
상기 적어도 하나의 기관 리포지토리 중 상기 사용자 단말의 사용자 고향 또는 상기 사용자 단말에서 선택한 위치를 관할하는 기관의 기관 리포지토리에, 상기 개인기록 콘텐츠가 저장되는 것을 특징으로 하는 기관 리포지토리와 연계된 개인기록 통합 관리 서비스 제공 시스템.
The method of claim 1,
Among the at least one institutional repository, the personal record content is stored in the user hometown of the user terminal or the institutional repository of an institution that has jurisdiction over the location selected by the user terminal. delivery system.
상기 관리 서비스 제공 서버는,
상기 사용자 단말로부터 수집된 개인기록 콘텐츠 중 유언에 대응하는 키워드가 포함된 텍스트 또는 상기 유언에 대응하는 키워드를 음성발화하는 동영상이 존재하는 경우, 유언 카테고리로 분류하여 시간순으로 정렬하여 저장하는 유언관리부;
를 더 포함하는 것을 특징으로 하는 기관 리포지토리와 연계된 개인기록 통합 관리 서비스 제공 시스템.
The method of claim 1,
The management service providing server,
If there is a text containing a keyword corresponding to the will or a video uttering the keyword corresponding to the will among the personal record contents collected from the user terminal, a will management unit for classifying it into a will category and arranging it in chronological order;
Personal record integrated management service providing system linked to the institutional repository, characterized in that it further comprises.
상기 관리 서비스 제공 서버는,
상기 사용자 단말에서 정보접근에 승인하는 경우, 상기 사용자 단말의 사용자 계정으로 가입된 적어도 하나의 소셜미디어, 이메일 및 사이트와, 상기 사용자 단말로 수발신된 호(Call), 문자(SMS/MMS) 및 메신저에 접근하여 업로드된 데이터를 수집하는 매크로(Macro) 봇;
을 더 포함하는 것을 특징으로 하는 기관 리포지토리와 연계된 개인기록 통합 관리 서비스 제공 시스템.The method of claim 1,
The management service providing server,
When the user terminal approves access to information, at least one social media, e-mail, and site subscribed to the user account of the user terminal, and calls, texts (SMS/MMS) and messengers sent to and received from the user terminal A macro bot that accesses and collects uploaded data;
Personal record integrated management service providing system linked to the institutional repository, characterized in that it further comprises.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200119350A KR102467616B1 (en) | 2020-09-16 | 2020-09-16 | Personal record integrated management service connecting to repository |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200119350A KR102467616B1 (en) | 2020-09-16 | 2020-09-16 | Personal record integrated management service connecting to repository |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20220036772A true KR20220036772A (en) | 2022-03-23 |
| KR102467616B1 KR102467616B1 (en) | 2022-11-15 |
Family
ID=80963743
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020200119350A KR102467616B1 (en) | 2020-09-16 | 2020-09-16 | Personal record integrated management service connecting to repository |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102467616B1 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102596260B1 (en) * | 2022-11-23 | 2023-10-31 | 망고클라우드 주식회사 | System for enterprise content management |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20140038759A (en) * | 2012-09-21 | 2014-03-31 | 삼성전자주식회사 | Method for transmitting for image and an electronic device thereof |
| KR20140042052A (en) * | 2012-09-27 | 2014-04-07 | 주식회사 엔티씨 | System and method for providing digital contents on-line services |
| KR20150007403A (en) * | 2013-07-10 | 2015-01-21 | 삼성전자주식회사 | Apparatus and method for operating information searching data of persons and person recognizes method using the same |
| KR20150055577A (en) * | 2013-11-11 | 2015-05-21 | (주)제이넷 | System and method for providing contents in communication system |
| KR20150063494A (en) * | 2012-09-27 | 2015-06-09 | 구글 인코포레이티드 | System and method for recommending media programs and notifying a user before programs start |
| KR20180135171A (en) * | 2017-06-12 | 2018-12-20 | (주)오렌지디지트코리아 | System for posting of social media contents, and operating method thereof |
| KR20190043304A (en) * | 2017-10-18 | 2019-04-26 | 헤라비스 주식회사 | Family remembrance service system and method using VR(virtual reality) |
| KR102106309B1 (en) * | 2018-10-25 | 2020-05-28 | 주식회사 인솔엠앤티 | Methtd and apparatus for managing contents |
-
2020
- 2020-09-16 KR KR1020200119350A patent/KR102467616B1/en active IP Right Grant
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20140038759A (en) * | 2012-09-21 | 2014-03-31 | 삼성전자주식회사 | Method for transmitting for image and an electronic device thereof |
| KR20140042052A (en) * | 2012-09-27 | 2014-04-07 | 주식회사 엔티씨 | System and method for providing digital contents on-line services |
| KR20150063494A (en) * | 2012-09-27 | 2015-06-09 | 구글 인코포레이티드 | System and method for recommending media programs and notifying a user before programs start |
| KR20150007403A (en) * | 2013-07-10 | 2015-01-21 | 삼성전자주식회사 | Apparatus and method for operating information searching data of persons and person recognizes method using the same |
| KR20150055577A (en) * | 2013-11-11 | 2015-05-21 | (주)제이넷 | System and method for providing contents in communication system |
| KR20180135171A (en) * | 2017-06-12 | 2018-12-20 | (주)오렌지디지트코리아 | System for posting of social media contents, and operating method thereof |
| KR20190043304A (en) * | 2017-10-18 | 2019-04-26 | 헤라비스 주식회사 | Family remembrance service system and method using VR(virtual reality) |
| KR102106309B1 (en) * | 2018-10-25 | 2020-05-28 | 주식회사 인솔엠앤티 | Methtd and apparatus for managing contents |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102596260B1 (en) * | 2022-11-23 | 2023-10-31 | 망고클라우드 주식회사 | System for enterprise content management |
Also Published As
| Publication number | Publication date |
|---|---|
| KR102467616B1 (en) | 2022-11-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| AU2019222819B2 (en) | Method for scaling object detection to a very large number of categories | |
| Bandi et al. | The power of generative ai: A review of requirements, models, input–output formats, evaluation metrics, and challenges | |
| Arnold et al. | Distant viewing: analyzing large visual corpora | |
| US11095594B2 (en) | Location resolution of social media posts | |
| Chen et al. | Using social media images as data in social science research | |
| US11409791B2 (en) | Joint heterogeneous language-vision embeddings for video tagging and search | |
| Graham et al. | Exploring big historical data: the historian’s macroscope | |
| Mukhiddinov et al. | Smart glass system using deep learning for the blind and visually impaired | |
| US11405344B2 (en) | Social media influence of geographic locations | |
| Journet et al. | Doccreator: A new software for creating synthetic ground-truthed document images | |
| CN111615706A (en) | Analysis of spatial sparse data based on sub-manifold sparse convolutional neural network | |
| US20180260698A1 (en) | Recurrent neural network architectures which provide text describing images | |
| CN113378815B (en) | Scene text positioning and identifying system and training and identifying method thereof | |
| CN114596566A (en) | Text recognition method and related device | |
| Wagenpfeil et al. | Fast and effective retrieval for large multimedia collections | |
| Kim et al. | Multimedia vision for the visually impaired through 2d multiarray braille display | |
| CN117235605B (en) | Sensitive information classification method and device based on multi-mode attention fusion | |
| KR102467616B1 (en) | Personal record integrated management service connecting to repository | |
| Kapitanov et al. | Slovo: Russian Sign Language Dataset | |
| CN114579876A (en) | False information detection method, device, equipment and medium | |
| Guimarães et al. | A review of recent advances and challenges in grocery label detection and recognition | |
| Beera et al. | The Yolo V5 Based Smart Cell phone Detector | |
| Nagy | Document analysis systems that improve with use | |
| Zhu et al. | Image Splicing Location Based on Illumination Maps and Cluster Region Proposal Network | |
| Mackenzie | ‘This is a House’: Large Image Collections and Their Platform Embeddings |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |