KR20200092858A - 영상 변형 방법 및 장치 - Google Patents
영상 변형 방법 및 장치 Download PDFInfo
- Publication number
- KR20200092858A KR20200092858A KR1020190152399A KR20190152399A KR20200092858A KR 20200092858 A KR20200092858 A KR 20200092858A KR 1020190152399 A KR1020190152399 A KR 1020190152399A KR 20190152399 A KR20190152399 A KR 20190152399A KR 20200092858 A KR20200092858 A KR 20200092858A
- Authority
- KR
- South Korea
- Prior art keywords
- image
- video
- target
- deformation
- area
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 77
- 230000009466 transformation Effects 0.000 title claims description 48
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 48
- 238000009499 grossing Methods 0.000 claims description 21
- 230000001131 transforming effect Effects 0.000 claims description 21
- 238000004364 calculation method Methods 0.000 claims description 16
- 238000006073 displacement reaction Methods 0.000 claims description 11
- 230000009467 reduction Effects 0.000 claims description 10
- 230000011218 segmentation Effects 0.000 claims description 8
- 238000011426 transformation method Methods 0.000 claims description 6
- 230000004048 modification Effects 0.000 claims description 5
- 238000012986 modification Methods 0.000 claims description 5
- 238000011946 reduction process Methods 0.000 claims 1
- 230000008569 process Effects 0.000 abstract description 14
- 230000000694 effects Effects 0.000 description 15
- 238000010586 diagram Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 6
- 238000004891 communication Methods 0.000 description 4
- 230000033001 locomotion Effects 0.000 description 4
- 238000010801 machine learning Methods 0.000 description 3
- 238000002715 modification method Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 210000003128 head Anatomy 0.000 description 2
- 238000003709 image segmentation Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000001050 lubricating effect Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/18—Image warping, e.g. rearranging pixels individually
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
-
- G06K9/00362—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/40—Filling a planar surface by adding surface attributes, e.g. colour or texture
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/20—Linear translation of whole images or parts thereof, e.g. panning
-
- G06T5/002—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Image Processing (AREA)
- Processing Or Creating Images (AREA)
- Studio Devices (AREA)
Abstract
본 발명은, 영상 또는 동영상을 획득하고, 영상 또는 동영상에서 변형될 사람 이미지의 적어도 하나의 타겟 부위를 식별하고，미리 설정된 변형 알고리즘을 사용하여 타겟 부위에 대해 확대, 축소 또는 변위 중 적어도 하나의 처리를 포함하는 변형 처리하여， 영상 또는 동영상 중의 사람 이미지에 대하여 자동으로 미화하고, 사용자가 영상에 대하여 수동으로 미화할 필요가 없고, 미화 방식이 더욱 지능적이고 간단하여 사용자 체험을 향상할 수 있는 영상 변형 방법 및 장치를 제공한다. 그리고 본 발명에 따른 방법은 영상 또는 동영상에 대하여 실시간 온라인으로 변형 처리할 수 있고, 또한 저장된 영상 또는 동영상에 대하여 오프라인으로 변형 처리할 수 있기에, 영상 변형 방법이 더욱 광범위하게 사용될 수 있도록 한다.
Description
본 발명은 영상 처리 기술분야에 관련한 것으로, 구체적으로는 영상 변형 방법 및 장치에 관련한 것이다.
일상 생활에서, 사람들은 핸드폰 테플렛 PC 혹은 카메라를 이용하여 생활중의 아름다운 순간을 기록하는데 습관되어 있고, 영상과 동영상은 사람들의 생활, 사교 및 업무상에 극대적인 편리와 흥취를 가져다준다.
종래기술에는, 미관을 위하여 통상적으로 영상에 대하여 필요시마다 혹은 오프라인으로 관련된 영상 처리 소프트웨어(예를 들면, photoshop, ACDSee, metushow 등)를 사용하여 미화 처리를 하는데, 예를 들어, 영상 중의 사람의 얼굴을 갸름하게, 다리를 슬림하게 키를 크게 하는 등 미화 처리한다. 영상 처리 소프트웨어를 사용하여 영상에 대하여 처리할 때, 미화될 부위에 대하여 만족할만한 효과에 도달할 때까지 사람이 수동으로 반복적으로 조정하여, 만족스러운 효과를 달성한다.
종래의 영상 미화 방법은，많은 시간이 필요하고 미화 프로세스도 복잡하였다.
본 발명은 자동으로 영상 또는 동영상 중의 사람 이미지에 대하여 미화처리하고, 미화 방식이 더욱 지능적이고 간단하고 사용자의 체험을 향상할 수 있는 영상 변형 방법 및 장치를 제공한다.
본 발명의 제1 양태에서, 영상 또는 동영상을 획득하는 단계； 상기 영상 또는 동영상에서 변형될 사람 이미지의 적어도 하나의 타겟 부위를 식별하는 단계； 미리 설정된 변형 알고리즘을 사용하여 상기 타겟 부위에 대해 확대, 축소 또는 변위 중 적어도 하나의 처리를 포함하는 변형 처리하는 단계를 포함하는 영상 변형 방법을 제공한다.
선택적으로, 상기 영상 또는 동영상에서 변형될 사람 이미지의 적어도 하나의 타겟 부위를 식별하는 단계는，
상기 영상 또는 상기 동영상 중의 각 프레임 혹은 키 프레임의 상기 변형될 사람 이미지를 식별하는 단계;
상기 변형될 사람 이미지의 타겟 부위의 윤곽점을 추출하는 단계;를 포함하고,
미리 설정된 변형 알고리즘을 사용하여 상기 타겟 부위에 대해 변형 처리하는 단계는,
상기 변형 알고리즘을 사용하여 상기 타겟 부위의 윤곽점이 위치하는 영역에 대하여 변형 처리하는 단계를 포함할 수 있다.
선택적으로，상기 영상 또는 동영상에서 변형될 사람 이미지의 적어도 하나의 타겟 부위를 식별하는 단계는,
상기 영상 또는 상기 동영상 중의 각 프레임 혹은 키 프레임의 상기 변형될 사람 이미지를 식별하는 단계； 및
상기 변형될 사람 이미지에 대하여 분할하여 상기 타겟 부위를 획득하는 단계를 포함할 수 있다.
선택적으로，상기 미리 설정된 변형 알고리즘을 사용하여 상기 타겟 부위에 대해 변형 처리하는 단계는,
상기 영상 또는 동영상을 2차원 격자로 구분하는 단계;
상기 변형 알고리즘을 사용하여 상기 타겟 부위중에서 상기 2차원 격자의 꼭지점에 위치한 픽셀점에 대하여 변형 계산하여, 상기 2차원 격자의 꼭지점의 픽셀점의 변형후의 위치정보를 획득하는 단계;
상기 2차원 격자의 꼭지점의 픽셀점 변형전과 변형후의 위치정보에 따라，상기 타겟 부위 중 상기 2차원 격자의 꼭지점의 픽셀점을 제외한 기타 픽셀점에 대하여 인터폴레이션 계산을 진행하여, 상기 기타 픽셀점의 변형후의 위치 정보를 획득하는 단계； 및
상기 타겟 부위의 각 픽셀점의 픽셀값을 변형후의 위치에 채워넣는 단계를 포함할 수 있다.
선택적으로，상기 영상 중의 상기 타겟 부위에 축소 처리를 할 때，상기 방법은,
배경 분할 기술을 이용하여 상기 영상 중의 사람 이미지와 배경 영역를 분할하는 단계;
상기 영상의 배경 영역의 픽셀값에 따라 상기 타겟 부위가 축소되어 형성된 공백 영역을 채워넣는 단계; 또는，
상기 변형 알고리즘을 사용하여 상기 배경 영역을 변형 처리하여, 상기 배경 영역을 확대하되，확대 영역을 상기 타겟 부위가 축소되어 형성된 공백 영역에 채워넣는 단계를 더 포함할 수 있다.
선택적으로，상기 동영상 중의 상기 타겟 부위에 대해 축소처리를 할 때，상기 방법은,
배경 분할 기술을 사용하여 상기 동영상에 포함된 복수의 프레임중의 각 프레임의 영상의 사람 이미지와 배경 영역을 분할하는 단계;
상기 복수의 프레임의 영상의 배경 영역의 픽셀값에 따라 상기 타겟 부위가 축소되어 형성된 공백 영역을 채워넣거나, 또는，
상기 변형 알고리즘을 사용하여 각 프레임의 영상의 배경 영역을 변형 처리하여, 상기 각 프레임의 영상의 배경 영역을 확대하고，확대 영역을 상기 타겟 부위가 축소되어 형성된 공백 영역에 채워넣는 단계를 더 포함할 수 있다.
선택적으로，상기 변형 알고리즘을 사용하여 상기 타겟 부위의 윤곽점이 위치하는 영역에 대하여 변형 처리하는 단계 전에,
상기 동영상에 포함되는 복수의 프레임의 영상 중에서 추출된 동일 타겟 부위의 윤곽점에 대해 스무딩(smoothing) 처리하는 단계를 더 포함할 수 있다.
선택적으로，미리 설정된 변형 알고리즘을 사용하여 상기 타겟 부위에 대해 변형 처리하는 단계 후에,
상기 동영상에 포함된 복수의 프레임의 영상 중의 동일 타겟 부위의 변형 결과에 대하여 스무딩 처리하는 단계를 더 포함할 수 있다.
선택적으로，영상 또는 동영상을 획득하는 단계는,
카메라를 사용하여 상기 영상 또는 동영상을 촬영하는 단계; 또는
저장 공간으로부터 상기 영상 또는 동영상을 획득하는 단계를 포함할 수 있다.
본 발명의 제2 양태에서,
영상 또는 동영상을 획득하는 획득 모듈;
상기 영상 또는 동영상에서 변형될 사람 이미지의 적어도 하나의 타겟 부위를 식별하는 식별 모듈;
미리 설정된 변형 알고리즘을 사용하여 상기 타겟 부위에 대해 확대, 축소 또는 변위 중의 적어도 하나의 처리를 포함하는 변형 처리하는 변형 모듈을 포함하는 영상 변형 장치를 제공한다.
선택적으로，상기 식별 모듈은 구체적으로,
상기 영상 또는 상기 동영상 중의 각 프레임 혹은 키 프레임의 상기 변형될 사람 이미지를 식별하고;
상기 변형될 사람 이미지의 타겟 부위의 윤곽점을 추출하며,
상기 변형 모듈은 구체적으로,
상기 변형 알고리즘을 사용하여 상기 타겟 부위의 윤곽점이 위치하는 영역에 대하여 변형 처리할 수 있다.
선택적으로，상기 식별 모듈은 구체적으로,
상기 영상 또는 상기 동영상 중의 각 프레임 혹은 키 프레임의 상기 변형될 사람 이미지를 식별하고;
상기 변형될 사람 이미지에 대하여 분할하여 상기 타겟 부위를 획득할 수 있다.
선택적으로，상기 변형 모듈은 구체적으로,
상기 영상 또는 동영상을 2차원 격자로 구분하고;
상기 변형 알고리즘을 사용하여 상기 타겟 부위중에서 상기 2차원 격자의 꼭지점에 위치한 픽셀점에 대하여 변형 계산하여, 상기 2차원 격자의 꼭지점의 픽셀점의 변형후의 위치정보를 획득하고;
상기 2차원 격자의 꼭지점의 픽셀점 변형전과 변형후의 위치정보에 따라，상기 타겟 부위 중 상기 2차원 격자의 꼭지점의 픽셀점을 제외한 기타 픽셀점에 대하여 인터폴레이션 계산을 진행하여, 상기 기타 픽셀점의 변형후의 위치 정보를 획득하고;
상기 타겟 부위의 각 픽셀점의 픽셀값을 변형후의 위치에 채워넣는다.
선택적으로, 상기 장치는,
상기 변형 모듈이 상기 영상 중의 상기 타겟 부위에 대해 축소 처리시, 배경 분할 기술을 이용하여 상기 영상 중의 사람 이미지와 배경 영역를 분할하는 분할 모듈;
상기 영상의 배경 영역의 픽셀값에 따라 상기 타겟 부위가 축소되어 형성된 공백 영역을 채워넣거나 또는，
상기 변형 알고리즘을 사용하여 상기 배경 영역을 변형 처리하여 ，상기 배경 영역을 확대하고，그 중, 확대 영역을 상기 타겟 부위가 축소되어 형성된 공백 영역에 채워넣는 충전 모듈;을 더 포함할 수 있다.
선택적으로, 상기 장치는,
상기 변형 모듈이 상기 동영상 중의 상기 타겟 부위에 대하여 축소 처리시, 배경 분할 기술을 사용하여 상기 동영상에 포함된 복수의 프레임중의 각 프레임의 영상의 사람 이미지와 배경 영역을 분할하는 분할 모듈;
상기 복수의 프레임의 영상의 배경 영역의 픽셀값에 따라 상기 타겟 부위가 축소되어 형성된 공백 영역을 채워넣는 충전 모듈; 또는，
상기 변형 알고리즘을 사용하여 각 프레임의 영상의 배경 영역을 변형 처리하여, 상기 각 프레임의 영상의 배경 영역을 확대하되, 확대 영역을 상기 타겟 부위가 축소되어 형성된 공백 영역에 채워넣는 것을 더 포함할 수 있다.
선택적으로, 상기 장치는,
상기 동영상에 포함되는 복수의 프레임의 영상 중에서 추출된 동일 타겟 부위의 윤곽점에 대해 스무딩 처리하는 스무딩 모듈을 더 포함할 수 있다.
선택적으로, 상기 장치는,
상기 동영상에 포함된 복수의 프레임의 영상 중의 동일 타겟 부위의 변형 결과에 대하여 스무딩 처리하는 스무딩 모듈을 더 포함할 수 있다.
선택적으로，상기 획득 모듈은 구체적으로,
카메라를 사용하여 상기 영상 또는 동영상을 촬영하거나, 또는
저장 공간으로부터 상기 영상 또는 동영상을 획득한다.
본 발명의 제3 양태에서, 프로세서, 저장 장치와 송수신기를 포함하고, 상기 저장 장치는 명령을 저장하고, 상기 송수신기는 기타 장치와 통신하고，상기 프로세서는 상기 저장 장치에 저장된 명령을 실행하여，상기 전자 장치가 본 발명의 제1 양태 및 각 실시 가능한 방식의 상기 방법을 수행하는 전자 장치를 제공한다.
본 발명의 제4 양태에서, 컴퓨터 판독 가능한 저장 매체를 제공하고, 상기 컴퓨터 판독 가능한 저장 매체는 명령을 저장하고, 상기 명령이 실행될 때, 컴퓨터가 본 발명의 제1 양태 및 각 실시 가능한 방식의 상기 방법을 수행하도록 한다.
본 발명에서 제공하는 영상 변형 방법 및 장치는 영상 또는 동영상을 획득하고, 영상 또는 동영상에서 변형될 사람 이미지의 적어도 하나의 타겟 부위를 식별하고, 미리 설정된 변형 알고리즘을 사용하여 타겟 부위에 대해 확대, 축소 또는 변위 중 적어도 하나의 처리를 포함하는 변형 처리함으로써, 영상 또는 동영상 중의 사람 이미지에 대하여 자동으로 미화함으로써, 사용자가 수동으로 미화할 필요가 없기에 미화방식이 더욱 지능적이고 간단하며, 사용자의 사용감을 향상시킬 수 있다. 또한 본 발명의 방법은 영상 또는 동영상에 대하여 실시간 온라인에서 변형 처리할 수 있고, 저장된 영상 또는 동영상에 대하여 오프라인으로 변형 처리할 수 있기에 영상 변형 방법을 더욱 광범위하게 사용할 수 있다.
아래 첨부된 도면은 명세서에 통합되어 본 명세서의 일부분을 구성하고, 본 발명의 실시예에 부합하고，명세서와 함께 본 발명의 원리를 도시한다.
도 1은 본 발명의 제 1실시예에서 제공되는 영상 변형 방법의 흐름도이다.
도 2는 본 발명의 제 2실시예에서 제공되는 영상 변형 장치의 구조도이다.
도 3은 본 발명의 제 3실시예에서 제공되는 영상 변형 장치의 구조도이다.
도 4는 본 발명은 제 4실시예에서 제공되는 전자 장치의 구조도이다.
도 1은 본 발명의 제 1실시예에서 제공되는 영상 변형 방법의 흐름도이다.
도 2는 본 발명의 제 2실시예에서 제공되는 영상 변형 장치의 구조도이다.
도 3은 본 발명의 제 3실시예에서 제공되는 영상 변형 장치의 구조도이다.
도 4는 본 발명은 제 4실시예에서 제공되는 전자 장치의 구조도이다.
상기 도면을 통하여, 본 발명의 명확한 실시예를 도시하였으며, 아래에 더욱 상세하게 설명할 것이다. 이런 도면과 문자 설명은 임의의 방식으로도 본 발명 사상의 범위를 한정하고자 하는 것이 아니라, 특정 실시예를 참조하여 당업자에게 본 발명의 개념을 설명하고자 하는 것이다.
본 발명의 목적, 기술 방안 및 장점을 더욱 명확히 설명하기 위해, 이하에서는 본 발명의 첨부한 도면을 결합하여 본 발명의 기술 방안에 대해 명확하고 완정하게 설명하고자 한다. 다만, 설명되는 실시예는 본 발명의 일부분 실시예이며 모든 실시예인 것은 아니다. 당업자는 본 발명의 실시예를 기반으로 창의적인 노력을 거치지 않고 획득한 다른 모든 실시예는 모두 본 발명의 보호범위에 속한다.
도 1은 본 발명의 제 1실시예에서 제공되는 영상 변형 방법의 흐름도이고, 본 실시예의 방법은 영상 또는 동영상을 플레이하는 전자 장치에 적용 가능하고, 해당 전자 장치는 PC, 테블렛 PC, 핸드폰, 차량 탑재 장치 등 일 수 있고, 도 1에 도시된 바와 같이 본 실시예에서 제공하는 방법은 아래와 같은 단계를 포함한다.
단계(S101), 영상 또는 동영상을 획득한다.
해당 영상 또는 동영상은 전자 장치의 카메라를 통해 실시간으로 촬영한 것이거나, 기타 전자 장치에 의해 해당 전자 장치로 실시간으로 전송된 것일 수 있으며, 예를 들어, 영상 통화 과정에서 영상 상대방 장치가 발송한 대방 사용자의 동영상일 수 있다. 그러므로 본 실시예의 방법은 영상 또는 동영상에 대하여 온라인에서 실시간으로 변형 처리할 수 있다.
그리고 해당 전자 장치에 미리 저장된 영상 또는 동영상일 수 있으며, 그 장치는 저장 장치로부터 처리될 영상 또는 동영상을 판독할 수 있다. 해당 전자 장치에 미리 저장된 영상 또는 동영상은 해당 전자 장치의 카메라에 의해 촬영되어 저장된 것일 수 있고, 기타 전자 장치가 해당 전자 장치로 전송한 것일 수 있다. 그러므로 본 실시예의 방법은 오프라인 영상 또는 동영상에 대하여 변형 처리할 수 있다.
단계(S102), 영상 또는 동영상에서 변형될 사람 이미지의 적어도 하나의 타겟 부위를 식별한다.
해당 적어도 하나의 타겟 부위는 다리, 허리, 얼굴, 눈, 팔 등 사람 이미지 부위일 수 있다. 사람 이미지의 어느 부위에 대하여 변형할 것인지는 시스템에 의해 미리 배치할 수 있고, 사용자가 지정할 수도 있다.
아래와 같은 방식으로 영상 또는 동영상에서 변형될 사람 이미지의 적어도 하나의 타겟 부위를 식별할 수 있다.
방식 1: 영상 또는 동영상에서 각 프레임 또는 키 프레임 중 변형될 사람 이미지를 식별하고, 사람 이미지의 타겟 부위의 윤곽점을 추출한다.
한 장의 영상 또는 하나의 동영상에는 다수의 사람 이미지가 포함될 수 있고, 영상 또는 동영상 중의 각 사람 이미지에 대하여 변형 처리할 수 있다. 또한 영상 또는 동영상 중부분적으로 타겟이 되는 사람 이미지에 대하여 변형 처리할 수 있기에, 영상 또는 동영상 중에서 변형될 사람 이미지를 확정해야 한다.
일 예시적인 방식에서, 영상 또는 동영상에 다수의 사람 이미지가 포함될 때, 사람 이미지의 면적의 크기에 따라 변형될 사람 이미지를 확정하고, 예를 들어，사람 이미지의 면적이 미리 설정한 제1 역치보다 큰 사람 이미지를 변형될 사람 이미지로 확정한다. 만약 사람 이미지가 차지하는 면적이 작을 때, 사람 이미지의 타겟 부위를 변형한 후 효과가 명확하지 않을 수 있다. 물론, 기타 방식을 통하여 변형될 사람 이미지를 확정할 수도 있으므로, 더 이상 부수적으로 설명하진 않겠다.
머신 러닝 방법을 사용하여，영상 중의 사람 이미지의 타겟 부위의 윤곽점을 추출할 수 있고, 해당 머신 러닝 방법은 딥 러닝 방법일 수 있다. 물론, 머신 러닝 방법으로 한정하는 것은 아니며，기존의 윤곽점 추출 알고리즘을 사용하여 추출할 수 있다.
동영상에 있어서, 해당 동영상은 복수의 프레임의 영상을 포함하고, 각 프레임의 영상 중의 사람 이미지의 타겟 부위의 윤곽점을 각각 추출할 수 있으며, 동영상 중의 키 프레임중의 사람 이미지의 타겟 부위의 윤곽점을 추출할 수도 있다. 본 실시예에서, 키 프레임은 사람 이미지의 운동 또는 변화 중의 타겟동작이 위치하는 프레임을 가리키며, 키 프레임과 키 프레임 사이의 에니메이션은 소프트웨어로 구축할 수 있으며, 이를 과도 프레임 혹은 중간 프레임이라고 한다.
여기서, 동영상 프레임 중의 영상에 대해 타겟 부위 윤곽점을 추출하는 방식은 영상의 것과 동일하기에 여기에서 관련 설명을 생략한다.
방식 2: 영상 또는 동영상 중의 각 프레임 또는 키 프레임 중의 사람 이미지를 식별하고, 사람 이미지에 대하여 분할하여 타겟 부위를 획득한다.
종래의 사람 이미지 분할 알고리즘을 사용하여 사람 이미지에 대해 분할하고，사람 이미지의 각 부위를 획득하여 타겟 부위를 획득할 수 있다.
방식 3: 영상 또는 동영상 각 프레임 또는 키 프레임 중의 사람 이미지를 인식하여，사람 이미지 전체를 하나의 타겟 부위로 한다.
설명하고자 하는 것은, 서로 다른 영상 또는 동영상에서 사람 이미지의 동작이 서로 다르기에 서로 다른 영상 또는 동영상에서 식별 가능한 사람 이미지 타겟 부위도 서로 다르다.
가령, 다리, 허리, 얼굴, 눈, 팔과 가슴 등 6가지 타겟 부위를 미리 정의하였다고 한다. 사람 이미지에 사람의 뒷 모습만 촬영되었을 때, 다리, 허리 팔만 식별될 수 있고, 사람 이미지의 얼굴, 눈, 가슴은 식별될 수 없다. 사람 이미지에서 사람이 머리를 숙이고 있을 때, 사람의 얼굴과 눈은 식별되지 않는다. 사람 이미지에 사람의 머리(셀프 촬영) 혹은 상반신만 촬열되었을 때, 사람 이미지의 다리와 허리는 식별되지 않는다.
단계(S103), 미리 설정된 변형 알고리즘을 사용하여 타겟 부위에 대해 확대, 축소 또는 변위 중 적어도 하나의 처리를 포함하는 변형 처리한다.
영상 변형(image warping)은 영상을 특정 형태로 변형하고, 영상 전체 또는 일부에 대하여 확대, 축소, 변위 및 각 조작의 조합을 진행하는 것을 의미한다. 해당 변형 알고리즘은 이동 최소 제곱(Moving Least Squares)、평균값 좌표법(Mean Value Coordinates)등 일 수 있다.
영상은 매우 많은 픽셀점의 집합으로 볼 수 있고, 영상 변형은 픽셀점의 위치에 대하여 변환하는 것으로 이해할 수 있다.
단계(S102)에서 타겟 부위의 윤곽점을 추출했을 때, 변형 알고리즘을 사용하여 타겟 부위의 윤곽점이 위치하는 영역에 대하여 변형 처리한다.
본 실시예에서，타겟 부위에 대하여 해당 변형 알고리즘을 사용하여 확대, 축소 또는 변위 중의 적어도 한가지 변형 처리를 진행한다. 타겟 부위가 다수개 있을 때, 서로 다른 타겟 부위의 변형 처리는 서로 다를 수 있다.
예를 들어, 다리에 대한 변형 처리는 종방향으로는 확대하고, 횡방향으로는 축소하는 것을 포함하며, 이는 다리를 종방향으로 확대하여 다리를 연장하는 효과를 달성하고, 다리를 횡방향으로 축소하여 다리를 슬림하게 하는 효과를 달성한다.
마찬가지로, 팔에 대한 변형 처리는 종방향으로는 확대하고, 횡방향으로는 축소하는 것을 포함하며, 이로부터 팔을 슬림하고, 연장하는 효과를 달성한다.
또 예를 들어, 눈에 대한 변형 처리는 눈을 확대하는 것을 포함한다. 얼굴에 대한 변형 처리는 얼굴을 축소하는 것을 포함하여 얼굴을 작게하는 효과를 달성할 수 있다. 허리에 대한 변형 처리는 허리에 대하여 횡방향으로 축소하는 것을 포함하여, 허리를 가늘게 하는 효과를 달성단다. 가슴에 대한 변형 처리는 가슴에 대하여 확대하는 것을 포함하여 가슴을 풍만하게 하는 효과를 달성한다.
이상 실시예에서는 사람 이미지의 일부분의 타겟 부위에 대해 변형 처리하는 것을 예로 설명하였고, 사람 이미지 전체를 하나의 타겟 부위로 하여, 사람 이미지 전체에 대하여 변형 처리할 수 있다. 사람 이미지 전체에 대하여 사람 이미지에 대하여 횡방향으로 등비례로 확대하여 키를 키우는 효과를 달성하고; 사람 이미지를 횡방향으로 축소하여 몸체를 슬림하게 하는 효과를 달성하고; 사람 이미지 전체를 변위하여 영상의 지정위치로 이동한다.
타겟 부위에 대해 변형 시, 타겟 부위 중의 모든 픽셀점에 대해 변형 계산을 해야 하고 계산량이 많다. 선택적으로，아래의 방식으로 영상에 대한 변형을 가속화할 수 있다.
영상 또는 동영상을 2차원 격자로 구분하고, 변형 알고리즘을 사용하여 타겟 부위중에서 2차원 격자의 꼭지점에 위치한 픽셀점에 대하여 변형 계산하여, 2차원 격자의 꼭지점의 픽셀점의 변형 후의 위치 정보를 획득하고, 2차원 격자의 꼭지점의 픽셀점 변형전과 변형후의 위치정보에 따라, 타겟 부위중의 2차원 격자의 꼭지점의 픽셀점 이외의 기타 픽셀점에 대하여 인터폴레이션 계산을 진행하여, 해당 기타 픽셀점의 변형 후의 위치 정보를 획득하고, 타겟 부위의 각 픽셀점의 픽셀값을 변형 후의 위치에 채워 넣음으로써, 타겟 부위의 완정한 변형 결과를 얻을 수 있다.
선택적으로, 일반적으로 직사각형의 격자를 사용하고, 격자의 각 꼭지점의 픽셀점은 모두 영상 변형 알고리즘을 거쳐 변형 전과 변형 후의 위치 차이(즉, 좌표차)를 구하여 획득하고，이때，격자의 기타 위치의 픽셀점은 바이 리니어 인터포레션 방식으로 자신의 위치 차이를 산출하여 획득할 수 있다. 이로부터, 타겟 부위의 모든 픽셀점의 변형 후의 위치를 구하여 타겟 부위를 업데이트 할 수 있다.
이 중, 상기 언급된 픽셀점의 위치 정보는 픽셀점의 좌표값，위치 차이, 즉 변형 전과 변형 후의 좌표값의 차이값을 의미한다.
2차원 격자 중의 격자의 크기는 미리 정의할 수 있고, 격자의 크기는 적절해야 하며, 이로서 변형의 속도를 가속함과 동시에 변형의 효과에 영향을 주지 않도록 한다. 2차원 격자의 꼭지점의 픽셀점에 대해서만 변형 계산이 필요하고, 타겟 부위의 기타 픽셀점에 대하여 인터폴레이션 계산을 사용하여 변형 후의 결과를 획득하기에, 변형 계산의 계산량은 감소하고, 변형 과정을 가속화한다.
2차원 격자의 꼭지점의 픽셀점에 대하여 변형 계산하여, 변형 후의 결과를 획득하며，해당 변형 후의 결과는 2차원 격자의 꼭지점의 픽셀점의 변형후 영상에서의 위치이다. 타겟 부위 중의 기타 픽셀점에 대해 인터폴레이션 계산을 사용하여，변형 후의 결과를 획득한다.
영상 중의 타겟 부위를 축소할 때, 타겟 부위가 축소된 후 공백 영역이 형성될 수 있고，해당 공백 영역은 채워넣어야 한다. 선택적으로，배경 분할 기술을 이용하여 영상 중의 사람 이미지와 배경 영역을 분할할 수 있으며, 영상의 배경 영역의 픽셀값을 타겟 부위가 축소된 후 형성된 공백 영역에 채워 넣을 수 있다.
선택적으로，변형 알고리즘을 사용하여 배경 영역에 대하여 변형 처리하여, 배경 영역을 확대하고, 여기서，확대 영역은 타겟 부위가 축소되어 형성된 공백 영역을 채워넣기 위한 것이다. 여기서，타겟 부위와 배경 영역이 변형될 때 사용된 변형 알고리즘은 같거나 다를 수 있고, 본 실시예에서는 이에 대해 한정하지 않는다.
선택적으로，영상의 배경 중에서 타겟 부위에 가까운 픽셀값에 따라 충전 픽셀을 생성하고, 충전 픽셀을 사용하여 공백 영역을 채울 수 있으며, 충전 픽셀은 공백 영역이 기타 배경과 서로 조회되도록 해야 한다.
동영상 중의 타겟 부위에 대하여 축소 시, 타겟 부위가 축소된 후 공백 영역이 형성될 수 있다. 동영상에 있어서, 배경 분할 기술을 사용하여 동영상에 포함된 복수의 프레임의 영상 중의 각 영상의 사람 이미지와 배경 영역을 분할한다. 해당 방식에서 복수의 프레임의 영상의 배경 영역의 픽셀값을 결합하여 충전 픽세을 생성하고, 타겟 부위가 축소되어 형성된 공백 영역을 채워 넣으며，만약 복수의 프레임의 영상의 배경 영역이 동일할 때, 충전 픽셀을 한번만 계산할 수 있다.
선택적으로，각 프레임의 영상의 배경 영역에 대하여 변형 알고리즘을 사용하여 변형 처리하여 각 프레임의 영상의 배경 영역을 확대할 수 있고, 여기서 확대 영역은 타겟 부위가 축소되어 형성된 공백 영역을 채워 넣기 위한 것이다. 여기서, 타겟 부위와 배경 영역에 대하여 변형 시, 사용되는 변형 알고리즘은 같을 수도 다를 수도 있고, 본 실시예에서는 이에 대하여 한정하지 않는다.
동영상에 포함되는 복수의 프레임의 영상에 대하여 각 프레임마다 변형 처리할 때, 변형 후에도 여전히 동영상의 연속성을 구비하도록 하기 위하여, 즉, 흔들림과 불연속 등 갑작스러운 효과가 나타나지 않도록 아래와 같은 2가지 방식으로 동영상에 대하여 스무딩 처리를 진행할 수 있다.
(1)동영상에 포함된 복수의 프레임의 영상 중에서 동일 타겟 부위의 윤곽점에 대하여 스무딩 처리를 한다.
동일 타겟 부위의 윤곽점은 보통 연속적인 복수의 프레임의 영상에서 변화량이 크지 않고, 만약 추출된 어느 한 프레임의 영상 중의 타겟 부위의 하나 또는 몇개의 윤곽점의 위치가 인접된 전후 프레임의 영상의 것과 비교할 때 변위가 비교적 클때, 선택적으로，이 몇개의 윤곽점은 이전의 몇개의 프레임의 윤곽점을 제약 조건으로 사용하여 스무딩 계산을 하여 새로운 윤곽점을 획득하고, 계산하여 획득한 해당 새로운 윤곽점은 가능한한 프레임 사이에서 변동폭이 작고, 변동이 비교적 스무딩한 특점을 유지해야 한다. 물론, 윤관점에 대하여 기타 스무딩 방식을 사용하여 스무딩 처리할 수도 있고, 프레임 사이에서 윤곽점의 연속성을 확보할 수 있으면 된다.
(2)동영상에 포함된 복수의 프레임의 영상 중의 동일 타겟 부위의 변형 결과에 대하여 스무딩 처리한다.
선택적으로，프레임 사이의 제약 관계를 이용하여 배경중의 물체 가능한한 프레임 사이의 연속성을 유지하고, 정지된 물체가 움직이지 않고, 운동하는 물체의 운동 궤적이 비교적 스무딩하도록 확보할 수 있다. 그리고 영상 변형의 영역은 프레임 사이의 관계를 이용하여 채워넣거나, 또는 연속 프레임 사의의 관계를 제약으로 이용하여 변형 결과 프레임 사이의 연속성이 비교적 좋도록 한다.
본 실시예의 방법은 사람 이미지가 더욱 아름답도록 영상 또는 동영상 중의 사람 이미지에 대하여 전체 또는 일부분 변형 처리할 수 있다. 해당 방법은 영상 또는 동영상에 대하여 실시간으로 처리할 수 있는데, 예를 들어, 사용자가 촬영 시 카메라를 오픈한 후 사람 이미지는 미리 보기 박스에 나타나고, 이때 미리 보기 박스 내의 사람 이미지에 대하여 미화할 수 있고, 사용자는 미리 보기 박스에서 변형 후의 사람 이미지를 볼 수 있으며, 사용자는 자신이 만족할 때까지 자신의 촬영 자세를 조정한 후, 촬영 버턴을 눌러 촬영하며, 촬영하여 얻은 영상은 변형 후의 영상이 된다.
선택적으로，촬영한 후, 저장하기 전에 영상에 대하여 변형 처리할 수 있고, 이때 저장된 영상은 변형 후의 영상이다.
선택적으로，저장된 사진에 대하여 오프라인으로 변형 처리할 수도 있다.
본 실시예의 방법은 동영상에 대하여 실시간으로 처리할 수 있기에, 동영상을 라이브 방송에 적용할 수 있고, 영상 통화 기능을 구비한 사교 소프트웨어에도 적용할 수 있으며, 사용자가 사교 소프트웨어로 영상 통화시 동영상 중의 사람 이미지에 대하여 변형 처리할 수 있다.
본 실시예의 방법은 동영상에 대하여 오프라인으로 처리하여 영화 특수효과 등도 제작할 수 있다.
본 실시예에는 영상 또는 동영상을 획득하고, 영상 또는 동영상에서 변형될 사람 이미지의 적어도 하나의 타겟 부위를 식별하고，미리 설정된 변형 알고리즘을 사용하여 타겟 부위에 대해 확대, 축소 또는 변위 중 적어도 하나의 처리를 포함하는 변형 처리하여，영상 또는 동영상 중의 사람 이미지에 대하여 자동으로 미화 처리함으로써, 사용자가 수동으로 미화할 필요가 없기에 미화 방식이 더욱 지능적이고 간단하며 사용자의 체험사용감을 향상키신다. 그리고 본 실시예의 방법은 영상 또는 동영상에 대하여 실시간 온라인으로 변형 처리할 수 있고, 저장된 영상 또는 동영상에 대하여 오프라인으로 변형 처리할 수 있어, 영상 변형 방법을 더욱 광범위하게 응용할 수 있다.
도 2는 본 발명의 제 2실시예에서 제공되는 영상 변형 장치의 구조도이다. 도 2에 도시된 바와 같이，본 실시예에서 제공하는 장치는,
영상 또는 동영상을 획득하는 획득 모듈(11);
상기 영상 또는 동영상에서 변형될 사람 이미지의 적어도 하나의 타겟 부위를 식별하는 식별 모듈(12); 및
미리 설정된 변형 알고리즘을 사용하여 상기 타겟 부위에 대해 확대, 축소 또는 변위 중 적어도 하나의 처리를 포함하는 변형 처리하는 변형 모듈(13)을 포함한다.
선택적으로，상기 식별 모듈(12)은 구체적으로,
상기 영상 또는 상기 동영상 중의 각 프레임 혹은 키 프레임의 상기 변형될 사람 이미지를 식별하고;
상기 변형될 사람 이미지의 타겟 부위의 윤곽점을 추출한다.
상기 변형 모듈(13)은 구체적으로,
상기 변형 알고리즘을 사용하여 상기 타겟 부위의 윤곽점이 위치하는 영역에 대하여 변형 처리한다.
선택적으로，상기 식별 모듈(12)은 구체적으로,
상기 영상 또는 상기 동영상 중의 각 프레임 혹은 키 프레임의 상기 변형될 사람 이미지를 식별하고;
상기 변형될 사람 이미지에 대하여 분할하여 상기 타겟 부위를 획득한다.
선택적으로，상기 변형 모듈(13)은 구체적으로,
상기 영상 또는 동영상을 2차원 격자로 구분하고;
상기 변형 알고리즘을 사용하여 상기 타겟 부위중에서 상기 2차원 격자의 꼭지점에 위치한 픽셀점에 대하여 변형 계산하여, 상기 2차원 격자의 꼭지점의 픽셀점의 변형후의 위치정보를 획득하고;
상기 2차원 격자의 꼭지점의 픽셀점 변형전과 변형후의 위치정보에 따라, 상기 타겟 부위 중 상기 2차원 격자의 꼭지점의 픽셀점을 제외한 기타 픽셀에 대하여 인터폴레이션 계산하여, 상기 기타 픽셀점의 변형후의 위치 정보를 획득하고;
상기 타겟 부위의 각 픽셀점의 픽셀값을 변형후의 위치에 채워넣는다.
선택적으로，상기 획득 모듈(14)은 구체적으로,
카메라를 사용하여 상기 영상 또는 동영상을 촬영하거나; 또는
저장 공간으로부터 상기 영상 또는 동영상을 획득한다.
도 3은 본 발명의 제 3실시예에서 제공되는 영상 변형 장치의 구조도이다. 도 3에 도시된 바와 같이, 본 실시예의 장치는 도 2에 도시된 장치의 기초상에서,
상기 변형 모듈이 상기 영상 중의 상기 타겟 부위에 대하여 축소 처리 시, 배경 분할 기술을 이용하여 상기 영상 중의 사람 이미지와 배경 영역을 분할하는 분할 모듈(14);
상기 배경 영역의 픽셀값에 따라 상기 타겟 부위가 축소되어 형성된 공백 영역을 채워넣거나, 또는，
상기 변형 알고리즘을 사용하여 상기 배경 영역을 변형 처리하여 ，상기 배경 영역을 확대하고，확대 영역을 상기 타겟 부위가 축소되어 형성된 공백 영역에 채워넣는 충전 모듈(15)을 더 포함한다.
또는，상기 변형 모듈이 상기 동영상 중의 상기 타겟 부위에 대하여 축소처리 시, 배경 분할 기술을 사용하여 상기 동영상에 포함된 복수의 프레임중의 각 프레임의 영상의 사람 이미지와 배경 영역을 분할하는 분할 모듈(14);
상기 복수의 프레임의 영상의 배경 영역의 픽셀값에 따라 상기 타겟 부위가 축소되어 형성된 공백 영역을 채워넣는 충전 모듈(15); 또는,
상기 변형 알고리즘을 사용하여 각 프레임의 영상의 배경 영역을 변형 처리하여, 상기 각 프레임의 영상의 배경 영역을 확대하되, 여기서 확대 영역을 상기 타겟 부위가 축소되어 형성된 공백 영역에 채워넣는 것을 더 포함한다.
선택적으로, 상기 장치는,
상기 동영상에 포함되는 복수의 프레임의 영상 중에서 추출된 동일 타겟 부위의 윤곽점에 대해 스무딩 처리하는 스무딩 모듈을 더 포함한다.
선택적으로, 상기 장치는,
상기 동영상에 포함된 복수의 프레임의 영상 중의 동일 타겟 부위의 변형 결과에 대하여 스무딩 처리하는 스무딩 모듈을 더 포함한다.
상기 실시예의 장치는 제1 실시예의 방법을 실행할 수 있고，구체적인 구현 방식과 기술효과는 유사하기에 여기에서는 중복적인 설명을 생략한다.
도 4는 본 발명은 제 4실시예에서 제공되는 전자 장치의 구조도이다. 도 4에 도시된 바와 같이, 본 실시예에 제공된 전자 장치(200)는 프로세서(21), 저장 장치(22)와 송수신기(23)를 포함하고, 저장 장치(22), 송수신기(23)는 버스를 통해 프로세서(21)와 연결되어 통신하고, 상기 저장 장치(22)는 명령을 저장하고, 상기 송수신기(23)는 기타 장치와 통신하고, 상기 프로세서(21)는 상기 저장 장치(22)에 저장된 명령을 실행하여 상기 전자 장치(200)가 제1실시예의 상기 방법을 실행하도록 하며, 여기에서는 더 이상 중복하여 설명하지 않는다.
여기서, 해당 프로세서(21)는 MCU(Microcontroller Unit)일 수 있고, MCU는 SCM(Single Chip Microcomputer)또는 마이크로 컨트롤러라고도 부르며, 해당 프로세서(21)는 CPU(Central Process Unit), DSP(digital signal processor), ASIC(application specific integrated circuit), FPGA(field programmable gate array) 또는 기타 프로그램 가능한 로직 소자, 이산 게이트 또는 트랜지스터 로직일 수 있다.
저장 장치(22)는 정적 램(static random access memory, SRAM), 이이피롬(electrically erasable programmable read only memory, EEPROM), 피롬(Programmable Read-Only Memory, PROM), 롬(ROM), 자기 메모리, 플래시 메모리, 디스크 또는 광학 디스크 등과 같은 임의의 유형의 휘발성 또는 비 휘발성 저장 장치 또는 그 조합에 의해 구현될 수 있다.
송수신기(23)는 스마트 장치가 통신표준에 기반한 WiFi, 2G 또는 3G, 또는 이들의 조합과 같은 무선 네트워크의 접속할 수 있도록 기타 장치와 유선 또는 무선 통신 링크를 구축할 수 있다. 일 예시적인 실시예에서, 송수신기(23)는 근거리 통신을 촉진하도록 근거리 통신(NFC) 모듈을 더 포함한다. 예를 들어, NFC 모듈은 무선 주파수 인식(RFID)기술, 적외선 데이터협회(IrDA)기술, 초광대역(UWB)기술, 블루투스(BT)기술과 기타 기술을 기반으로 구현할 수 있다.
버스는 산업 표준 아키텍처(Industry Standard Architecture, ISA)버스, 주변 장치 상호 연결(Peripheral Component, PCI)버스 또는 확장 기술 표준 구조(Extended Industry Standard Architecture, EISA) 버스 등일 수 있다. 버스는 어드레스 버스, 데이터 버스, 제어 버스 등으로 구분될 수 있다. 표시의 편리를 위해, 본 발명의 첨부 도면 중의 버스는 단지 하나 또는 단지 한가지 유형의 버스로 표시하였으나 이에 한정되는 것이 아니다.
제5실시예에서 컴퓨터 판독 가능한 저장 매체를 제공하고, 상기 컴퓨터 판독 가능한 저장 매체는 명령을 저장하고, 상기 명령이 실행될 때，컴퓨터가 제1실시예의 상기 방법을 실행하도록 한다.
마지막으로, 상기 각 실시예는 단지 본 발명의 기술 방안을 설명하기 위한 것으로서 본 발명을 한정하는 것이 아니며, 비록 상기 각 실시예를 참조하여 본 발명에 대해 상세하게 설명하였지만, 본 발명의 기술 분야의 통상의 지식을 가진 자라면 상기 각 실시예에서 설명된 기술 방안에 대해 수정하거나 일부분 또는 모든 기술적 특징에 대해 균등한 대체를 실시할 수 있으며, 상기와 같은 수정 또는 대체는 상응 기술 방안의 본질이 본 발명의 각 실시예의 기술방안의 범위로부터 벗어나지 않는다는 것을 이해할 수 있을 것이다.
11: 획득 모듈 12: 식별 모듈
13: 변형 모듈 14: 분할 모듈
15: 충전 모듈 21: 프로세서
22: 저장 장치 23: 송수신기
13: 변형 모듈 14: 분할 모듈
15: 충전 모듈 21: 프로세서
22: 저장 장치 23: 송수신기
Claims (20)
- 영상 또는 동영상을 획득하는 단계;
상기 영상 또는 동영상에서 변형될 사람 이미지의 적어도 하나의 타겟 부위를 식별하는 단계;
미리 설정된 변형 알고리즘을 사용하여 상기 타겟 부위에 대해 확대, 축소 또는 변위 중 적어도 하나의 처리를 포함하는 변형 처리하는 단계를 포함하는 것을 특징으로 하는 영상 변형 방법.
- 제1항에 있어서,
상기 영상 또는 동영상에서 변형될 사람 이미지의 적어도 하나의 타겟 부위를 식별하는 단계는，
상기 영상 또는 상기 동영상 중의 각 프레임 혹은 키 프레임의 상기 변형될 사람 이미지를 식별하는 단계;
상기 변형될 사람 이미지의 타겟 부위의 윤곽점을 추출하는 단계;를 포함하고,
미리 설정된 변형 알고리즘을 사용하여 상기 타겟 부위에 대해 변형 처리하는 단계는,
상기 변형 알고리즘을 사용하여 상기 타겟 부위의 윤곽점이 위치하는 영역에 대하여 변형 처리하는 단계를 포함하는 것을 특징으로 하는 영상 변형 방법.
- 제1항에 있어서,
상기 영상 또는 동영상에서 변형될 사람 이미지의 적어도 하나의 타겟 부위를 식별하는 단계는,
상기 영상 또는 상기 동영상 중의 각 프레임 혹은 키 프레임의 상기 변형될 사람 이미지를 식별하는 단계； 및
상기 변형될 사람 이미지에 대하여 분할하여 상기 타겟 부위를 획득하는 단계를 포함하는 것을 특징으로 하는 영상 변형 방법.
- 제1항 내지 제3항 중 임의의 한 항에 있어서,
상기 미리 설정된 변형 알고리즘을 사용하여뚤상기 타겟 부위에 대해 변형 처리하는 단계는,
상기 영상 또는 동영상을 2차원 격자로 구분하는 단계;
상기 변형 알고리즘을 사용하여 상기 타겟 부위중에서 상기 2차원 격자의 꼭지점에 위치한 픽셀점에 대하여 변형 계산하여, 상기 2차원 격자의 꼭지점의 픽셀점의 변형후의 위치정보를 획득하는 단계;
상기 2차원 격자의 꼭지점의 픽셀점 변형전과 변형후의 위치정보에 따라，상기 타겟 부위 중 상기 2차원 격자의 꼭지점의 픽셀점을 제외한 기타 픽셀점에 대하여 인터폴레이션 계산을 진행하여, 상기 기타 픽셀점의 변형후의 위치 정보를 획득하는 단계； 및
상기 타겟 부위의 각 픽셀점의 픽셀값을 변형후의 위치에 채워넣는 단계를 포함하는 것을 특징으로 하는 영상 변형 방법.
- 제1항 내지 제3항 중 임의의 한 항에 있어서,
상기 영상 중의 상기 타겟 부위에 축소 처리를 할 때，상기 방법은,
배경 분할 기술을 이용하여 상기 영상 중의 사람 이미지와 배경 영역를 분할하는 단계;
상기 영상의 배경 영역의 픽셀값에 따라 상기 타겟 부위가 축소되어 형성된 공백 영역을 채워넣는 단계; 또는，
상기 변형 알고리즘을 사용하여 상기 배경 영역을 변형 처리하여, 상기 배경 영역을 확대하되，확대 영역을 상기 타겟 부위가 축소되어 형성된 공백 영역에 채워넣는 단계를 더 포함하는 것을 특징으로 하는 영상 변형 방법.
- 제1항 내지 제3항 중 임의의 한 항에 있어서,
상기 동영상 중의 상기 타겟 부위에 대해 축소처리를 할 때，상기 방법은,
배경 분할 기술을 사용하여 상기 동영상에 포함된 복수의 프레임중의 각 프레임의 영상의 사람 이미지와 배경 영역을 분할하는 단계;
상기 복수의 프레임의 영상의 배경 영역의 픽셀값에 따라 상기 타겟 부위가 축소되어 형성된 공백 영역을 채워넣는 단계; 또는，
상기 변형 알고리즘을 사용하여 각 프레임의 영상의 배경 영역을 변형 처리하여, 상기 각 프레임의 영상의 배경 영역을 확대하되，확대 영역을 상기 타겟 부위가 축소되어 형성된 공백 영역에 채워넣는 단계를 더 포함하는 것을 특징으로 하는 영상 변형 방법.
- 제2항에 있어서,
상기 변형 알고리즘을 사용하여 상기 타겟 부위의 윤곽점이 위치하는 영역에 대하여 변형 처리하는 단계전에,
상기 동영상에 포함되는 복수의 프레임의 영상 중에서 추출된 동일 타겟 부위의 윤곽점에 대해 스무딩 처리하는 단계를 더 포함하는 것을 특징으로 하는 영상 변형 방법.
- 제1항 내지 제3항 중 임의의 한 항에 있어서,
미리 설정된 변형 알고리즘을 사용하여 상기 타겟 부위에 대해 변형 처리하는 단계 후에,
상기 동영상에 포함된 복수의 프레임의 영상 중의 동일 타겟 부위의 변형 결과에 대하여 스무딩 처리하는 단계를 더 포함하는 것을 특징으로 하는 영상 변형 방법.
- 제1항 내지 제3항 중 임의의 한 항에 있어서,
영상 또는 동영상을 획득하는 단계는,
카메라를 사용하여 상기 영상 또는 동영상을 촬영하는 단계; 또는
저장 공간으로부터 상기 영상 또는 동영상을 획득하는 단계를 포함하는 것을 특징으로 하는 영상 변형 방법.
- 영상 또는 동영상을 획득하는 획득 모듈;
상기 영상 또는 동영상에서 변형될 사람 이미지의 적어도 하나의 타겟 부위를 식별하는 식별 모듈;
미리 설정된 변형 알고리즘을 사용하여 상기 타겟 부위에 대해 확대, 축소 또는 변위 중의 적어도 하나의 처리를 포함하는 변형 처리하는 변형 모듈을 포함하는 것을 특징으로 하는 영상 변형 장치.
- 제10항에 있어서,
상기 식별 모듈은 구체적으로,
상기 영상 또는 상기 동영상 중의 각 프레임 혹은 키 프레임의 상기 변형될 사람 이미지를 식별하고;
상기 변형될 사람 이미지의 타겟 부위의 윤곽점을 추출하며,
상기 변형 모듈은 구체적으로,
상기 변형 알고리즘을 사용하여 상기 타겟 부위의 윤곽점이 위치하는 영역에 대하여 변형 처리하는 것을 특징으로 하는 영상 변형 장치.
- 제10항에 있어서,
상기 식별 모듈은 구체적으로,
상기 영상 또는 상기 동영상 중의 각 프레임 혹은 키 프레임의 상기 변형될 사람 이미지를 식별하고;
상기 변형될 사람 이미지에 대하여 분할하여 상기 타겟 부위를 획득하는 것을 특징으로 하는 영상 변형 장치.
- 제10항 내지 제 12항 중 임의의 한 항에 있어서,
상기 변형 모듈은 구체적으로,
상기 영상 또는 동영상을 2차원 격자로 구분하고;
상기 변형 알고리즘을 사용하여 상기 타겟 부위중에서 상기 2차원 격자의 꼭지점에 위치한 픽셀점에 대하여 변형 계산하여, 상기 2차원 격자의 꼭지점의 픽셀점의 변형후의 위치정보를 획득하고;
상기 2차원 격자의 꼭지점의 픽셀점 변형전과 변형후의 위치정보에 따라，상기 타겟 부위 중 상기 2차원 격자의 꼭지점의 픽셀점을 제외한 기타 픽셀점에 대하여 인터폴레이션 계산을 진행하여, 상기 기타 픽셀점의 변형후의 위치 정보를 획득하고;
상기 타겟 부위의 각 픽셀점의 픽셀값을 변형후의 위치에 채워넣는 것을 특징으로 하는 영상 변형 장치.
- 제10항 내지 제 12항 중 임의의 한 항에 있어서,
상기 변형 모듈이 상기 영상 중의 상기 타겟 부위에 대해 축소 처리시, 배경 분할 기술을 이용하여 상기 영상 중의 사람 이미지와 배경 영역를 분할하는 분할 모듈;
상기 영상의 배경 영역의 픽셀값에 따라 상기 타겟 부위가 축소되어 형성된 공백 영역을 채워넣거나, 또는，
상기 변형 알고리즘을 사용하여 상기 배경 영역을 변형 처리하여 ，상기 배경 영역을 확대하되，확대 영역을 상기 타겟 부위가 축소되어 형성된 공백 영역을 채워넣는 충전 모듈; 을 더 포함하는 것을 특징으로 하는 영상 변형 장치.
- 제10항 내지 제 12항 중 임의의 한 항에 있어서,
상기 변형 모듈이 상기 동영상 중의 상기 타겟 부위에 대하여 축소 처리시, 배경 분할 기술을 사용하여 상기 동영상에 포함된 복수의 프레임중의 각 프레임의 영상의 사람 이미지와 배경 영역을 분할하는 분할 모듈;
상기 복수의 프레임의 영상의 배경 영역의 픽셀값에 따라 상기 타겟 부위가 축소되어 형성된 공백 영역을 채워넣거나, 또는，
상기 변형 알고리즘을 사용하여 각 프레임의 영상의 배경 영역을 변형 처리하여, 상기 각 프레임의 영상의 배경 영역을 확대하되, 확대 영역을 상기 타겟 부위가 축소되어 형성된 공백 영역에 채워넣는 충전 모듈을 더 포함하는 것을 특징으로 하는 영상 변형 장치.
- 제11항에 있어서,
상기 동영상에 포함되는 복수의 프레임의 영상 중에서 추출된 동일 타겟 부위의 윤곽점에 대해 스무딩 처리하는 스무딩 모듈을 더 포함하는 것을 특징으로 하는 영상 변형 장치.
- 제10항 내지 제 12항 중 임의의 한 항에 있어서,
상기 동영상에 포함된 복수의 프레임의 영상 중의 동일 타겟 부위의 변형 결과에 대하여 스무딩 처리하는 스무딩 모듈을 더 포함하는 것을 특징으로 하는 영상 변형 장치.
- 제10항 내지 제 12항 중 임의의 한 항에 있어서,
상기 획득 모듈은 구체적으로,
카메라를 사용하여 상기 영상 또는 동영상을 촬영하거나, 또는
저장 공간으로부터 상기 영상 또는 동영상을 획득하는 것을 특징으로 하는 영상 변형 장치.
- 전자 장치에 있어서,
프로세서, 저장 장치와 송수신기를 포함하고,
상기 저장 장치는 명령을 저장하고, 상기 송수신기는 기타 장치와 통신하고，상기 프로세서는 상기 저장 장치에 저장된 명령을 실행하여，상기 전자 장치가 제1항 내지 제3항 및 제7항 중 임의의 한 항에 따른 방법을 수행하도록 하는 것을 특징으로 하는 전자 장치.
- 컴퓨터 판독 가능한 저장 매체에 있어서,
상기 컴퓨터 판독 가능한 저장 매체는 명령을 저장하고, 상기 명령이 실행될 때, 컴퓨터가 본 발명의 제1항 내지 제 3항 및 제7항 중 임의의 한 항에 따른 방법을 수행도록 하는 것을 특징으로 하는 컴퓨터 판독 가능한 저장 매체.
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910073701.0 | 2019-01-25 | ||
| CN201910073701.0A CN109903217B (zh) | 2019-01-25 | 2019-01-25 | 图像变形方法和装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20200092858A true KR20200092858A (ko) | 2020-08-04 |
| KR102279813B1 KR102279813B1 (ko) | 2021-07-19 |
Family
ID=66944189
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020190152399A KR102279813B1 (ko) | 2019-01-25 | 2019-11-25 | 영상 변형 방법 및 장치 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US11263723B2 (ko) |
| EP (1) | EP3686834A1 (ko) |
| JP (1) | JP6875488B2 (ko) |
| KR (1) | KR102279813B1 (ko) |
| CN (1) | CN109903217B (ko) |
Families Citing this family (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110288552A (zh) * | 2019-06-29 | 2019-09-27 | 北京字节跳动网络技术有限公司 | 视频美化方法、装置及电子设备 |
| CN110264431A (zh) * | 2019-06-29 | 2019-09-20 | 北京字节跳动网络技术有限公司 | 视频美化方法、装置及电子设备 |
| CN110264430B (zh) * | 2019-06-29 | 2022-04-15 | 北京字节跳动网络技术有限公司 | 视频美化方法、装置及电子设备 |
| CN110288551B (zh) * | 2019-06-29 | 2021-11-09 | 北京字节跳动网络技术有限公司 | 视频美化方法、装置及电子设备 |
| CN110929628A (zh) * | 2019-11-18 | 2020-03-27 | 北京三快在线科技有限公司 | 一种人体识别的方法及装置 |
| CN113380204B (zh) * | 2020-03-10 | 2022-08-12 | 咸阳彩虹光电科技有限公司 | 改善视角色偏的方法、装置及显示面板 |
| CN111968050B (zh) * | 2020-08-07 | 2024-02-20 | Oppo（重庆）智能科技有限公司 | 人体图像处理方法及相关产品 |
| CN111918089A (zh) * | 2020-08-10 | 2020-11-10 | 广州繁星互娱信息科技有限公司 | 视频流处理方法、视频流显示方法、装置及设备 |
| CN112004020B (zh) * | 2020-08-19 | 2022-08-12 | 北京达佳互联信息技术有限公司 | 图像处理方法、装置、电子设备及存储介质 |
| CN113034406B (zh) * | 2021-04-27 | 2024-05-14 | 中国平安人寿保险股份有限公司 | 扭曲文档恢复方法、装置、设备及介质 |
| US11989854B2 (en) | 2021-06-23 | 2024-05-21 | Apple Inc. | Point-of-view image warp systems and methods |
| CN113961746B (zh) * | 2021-09-29 | 2023-11-21 | 北京百度网讯科技有限公司 | 视频生成方法、装置、电子设备及可读存储介质 |
| CN116524436A (zh) * | 2023-05-04 | 2023-08-01 | 南京补天科技实业有限公司 | 基于深度ai智能学习算法的治安视频监管的方法 |
| CN117315099A (zh) * | 2023-10-30 | 2023-12-29 | 深圳市黑屋文化创意有限公司 | 一种用于三维动画的画面数据处理***及方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100764130B1 (ko) * | 2005-03-29 | 2007-10-05 | (주)제니텀 엔터테인먼트 컴퓨팅 | 자동 얼굴 추출 기반 가상 얼굴 성형 방법 및 시스템 |
| US20160328825A1 (en) * | 2014-06-19 | 2016-11-10 | Tencent Technology (Shenzhen) Company Limited | Portrait deformation method and apparatus |
| KR20170047167A (ko) * | 2015-10-22 | 2017-05-04 | 한국과학기술연구원 | 전자 장치가 동영상의 얼굴의 인상을 변형하는 방법 및 그 전자 장치 |
Family Cites Families (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6208360B1 (en) * | 1997-03-10 | 2001-03-27 | Kabushiki Kaisha Toshiba | Method and apparatus for graffiti animation |
| JP5115398B2 (ja) * | 2008-08-27 | 2013-01-09 | セイコーエプソン株式会社 | 画像処理装置、画像処理方法および画像処理プログラム |
| US8374462B2 (en) * | 2008-11-14 | 2013-02-12 | Seiko Epson Corporation | Content-aware image and video resizing by anchor point sampling and mapping |
| JP2011053942A (ja) | 2009-09-02 | 2011-03-17 | Seiko Epson Corp | 画像処理装置、画像処理方法および画像処理プログラム |
| US8599238B2 (en) * | 2009-10-16 | 2013-12-03 | Apple Inc. | Facial pose improvement with perspective distortion correction |
| JP5240795B2 (ja) * | 2010-04-30 | 2013-07-17 | オムロン株式会社 | 画像変形装置、電子機器、画像変形方法、および画像変形プログラム |
| US9323438B2 (en) * | 2010-07-15 | 2016-04-26 | Apple Inc. | Media-editing application with live dragging and live editing capabilities |
| KR101832406B1 (ko) * | 2011-03-30 | 2018-02-27 | 삼성전자주식회사 | 임의 형태의 스크린에 사진을 표시하기 위한 방법 및 장치 |
| JP5712385B2 (ja) * | 2012-04-27 | 2015-05-07 | 株式会社アクセル | 画像表示処理装置及び画像表示処理方法 |
| US10095917B2 (en) * | 2013-11-04 | 2018-10-09 | Facebook, Inc. | Systems and methods for facial representation |
| US10101891B1 (en) * | 2015-03-27 | 2018-10-16 | Google Llc | Computer-assisted image cropping |
| US10460509B2 (en) * | 2017-11-07 | 2019-10-29 | Dolby Laboratories Licensing Corporation | Parameterizing 3D scenes for volumetric viewing |
| CN108492247A (zh) * | 2018-03-23 | 2018-09-04 | 成都品果科技有限公司 | 一种基于网格变形的眼妆贴图方法 |
| CN108830200A (zh) * | 2018-05-31 | 2018-11-16 | 北京市商汤科技开发有限公司 | 一种图像处理方法、装置和计算机存储介质 |
| CN108961283A (zh) * | 2018-06-05 | 2018-12-07 | 北京邮电大学 | 基于特征对应的图像变形方法及装置 |
| US10810700B2 (en) * | 2019-03-05 | 2020-10-20 | Aspeed Technology Inc. | Method of adjusting texture coordinates based on control regions in a panoramic image |
| US11055381B1 (en) * | 2020-06-12 | 2021-07-06 | Nvidia Corporation | Estimating product integrals using a composition of warps |
-
2019
- 2019-01-25 CN CN201910073701.0A patent/CN109903217B/zh active Active
- 2019-10-29 US US16/666,795 patent/US11263723B2/en active Active
- 2019-11-05 JP JP2019200536A patent/JP6875488B2/ja active Active
- 2019-11-22 EP EP19211028.6A patent/EP3686834A1/en active Pending
- 2019-11-25 KR KR1020190152399A patent/KR102279813B1/ko active IP Right Grant
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100764130B1 (ko) * | 2005-03-29 | 2007-10-05 | (주)제니텀 엔터테인먼트 컴퓨팅 | 자동 얼굴 추출 기반 가상 얼굴 성형 방법 및 시스템 |
| US20160328825A1 (en) * | 2014-06-19 | 2016-11-10 | Tencent Technology (Shenzhen) Company Limited | Portrait deformation method and apparatus |
| KR20170047167A (ko) * | 2015-10-22 | 2017-05-04 | 한국과학기술연구원 | 전자 장치가 동영상의 얼굴의 인상을 변형하는 방법 및 그 전자 장치 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109903217A (zh) | 2019-06-18 |
| JP6875488B2 (ja) | 2021-05-26 |
| JP2020119499A (ja) | 2020-08-06 |
| US20200242728A1 (en) | 2020-07-30 |
| EP3686834A1 (en) | 2020-07-29 |
| KR102279813B1 (ko) | 2021-07-19 |
| CN109903217B (zh) | 2023-05-02 |
| US11263723B2 (en) | 2022-03-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102279813B1 (ko) | 영상 변형 방법 및 장치 | |
| JP6636154B2 (ja) | 顔画像処理方法および装置、ならびに記憶媒体 | |
| JP6864449B2 (ja) | イメージの明るさを調整する方法及び装置 | |
| US10559062B2 (en) | Method for automatic facial impression transformation, recording medium and device for performing the method | |
| KR102304674B1 (ko) | 얼굴 표정 합성 방법과 장치, 전자 기기, 및 저장 매체 | |
| KR102146398B1 (ko) | 3차원 컨텐츠 생성 장치 및 그 3차원 컨텐츠 생성 방법 | |
| CN110072046B (zh) | 图像合成方法和装置 | |
| CN111583154A (zh) | 图像处理方法、肤质美化模型训练方法及相关装置 | |
| KR102187143B1 (ko) | 3차원 컨텐츠 생성 장치 및 그 3차원 컨텐츠 생성 방법 | |
| KR20200095873A (ko) | 인물 영역 추출 방법, 이를 이용하는 영상 처리 장치 및 인물 영역 추출 시스템 | |
| KR20160030037A (ko) | 닮은얼굴그림 생성 장치, 닮은얼굴그림 생성 방법 | |
| CN110493512B (zh) | 摄影构图方法、装置、摄影设备、电子装置及存储介质 | |
| US11138743B2 (en) | Method and apparatus for a synchronous motion of a human body model | |
| CN113850726A (zh) | 图像变换方法和装置 | |
| WO2023066120A1 (zh) | 图像处理方法、装置、电子设备及存储介质 | |
| CN114007099A (zh) | 一种视频处理方法、装置和用于视频处理的装置 | |
| CN110910512B (zh) | 虚拟物体自适应调整方法、装置、计算机设备和存储介质 | |
| KR102389457B1 (ko) | 이미지 변환 장치, 방법 및 컴퓨터 판독 가능한 기록매체 | |
| CN109361850B (zh) | 图像处理方法、装置、终端设备及存储介质 | |
| KR102459851B1 (ko) | 이미지의 밝기를 조절하는 방법 및 장치 | |
| US20240013358A1 (en) | Method and device for processing portrait image, electronic equipment, and storage medium | |
| CN110310318B (zh) | 一种特效处理方法及装置、存储介质与终端 | |
| WO2022258013A1 (zh) | 图像处理方法、装置、电子设备及可读存储介质 | |
| CN112204945A (zh) | 图像处理方法、设备、拍摄装置、可移动平台及存储介质 | |
| CN115908120A (zh) | 图像处理方法和电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| AMND | Amendment | ||
| E601 | Decision to refuse application | ||
| AMND | Amendment | ||
| X701 | Decision to grant (after re-examination) | ||
| GRNT | Written decision to grant |