KR100943548B1 - 촬영 장치의 포즈 가이드 방법 및 장치 - Google Patents

촬영 장치의 포즈 가이드 방법 및 장치 Download PDF

Info

Publication number
KR100943548B1
KR100943548B1 KR1020080048450A KR20080048450A KR100943548B1 KR 100943548 B1 KR100943548 B1 KR 100943548B1 KR 1020080048450 A KR1020080048450 A KR 1020080048450A KR 20080048450 A KR20080048450 A KR 20080048450A KR 100943548 B1 KR100943548 B1 KR 100943548B1
Authority
KR
South Korea
Prior art keywords
subject
pose
image
guide
pose guide
Prior art date
Application number
KR1020080048450A
Other languages
English (en)
Other versions
KR20090122572A (ko
Inventor
홍윤표
변성찬
김락용
박운기
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to KR1020080048450A priority Critical patent/KR100943548B1/ko
Publication of KR20090122572A publication Critical patent/KR20090122572A/ko
Application granted granted Critical
Publication of KR100943548B1 publication Critical patent/KR100943548B1/ko

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2621Cameras specially adapted for the electronic generation of special effects during image pickup, e.g. digital cameras, camcorders, video cameras having integrated special effects capability
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30244Camera pose

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)

Abstract

본 발명은 촬영 장치의 포즈 가이드 방법 및 장치에 관한 것으로, 구체적으로 영상 표시부에 포즈 가이드(pose guide)를 표시하여 피사체 촬영 시 다양한 포즈를 용이하게 촬영할 수 있도록 하는 촬영 장치의 포즈 가이드 방법 및 장치에 관한 것이다.
포즈 가이드, 피사체, 촬영

Description

촬영 장치의 포즈 가이드 방법 및 장치{Method and apparatus for pose guide of photographing device}
본 발명은 촬영 장치의 포즈 가이드 방법 및 장치에 관한 것으로, 보다 구체적으로 영상 표시부에 포즈 가이드(pose guide)를 표시하여 피사체 촬영 시 다양한 포즈를 용이하게 촬영할 수 있도록 하는 촬영 장치의 포즈 가이드 방법 및 장치에 관한 것이다.
종래의 필름 카메라를 대신하여 디지털 카메라가 저렴한 가격으로 소비자에게 제공되면서 카메라의 보급이 확대되었다. 카메라의 보급이 확대되면서 사진 촬영은 일반인들에게 있어 하나의 취미 생활로 발전하였다. 디지털 카메라는 필름 없이 전자 센서를 이용하여 영상을 감지하여, 상기 영상의 정보를 JPEG, TIFF, RAW 또는 GIF 등의 디지털 이미지 파일 형식이나 MPEG, DV 또는 MJPEG 등의 디지털 동영상 파일 형식으로 저장하는 카메라이다. 동영상 촬영을 주 기능으로 하는 카메라는 디지털 비디오 카메라로 불리고, 정지 영상 촬영을 주 기능으로 하는 카메라는 디지털 스틸 카메라로 불린다.
디지털 스틸 카메라는 종래의 필름 카메라와 달리 사진 촬영 후 결과물을 즉 시 확인할 수 있으며 편집과 전송이 용이하고, 복사본을 용이하게 제작할 수 있는 장점이 있다. 또한, 컴팩트한 크기로 카메라를 제조할 수 있으며, 감광 속도를 변경할 수 있으며, 디지털 이미지 센서의 경우 종래의 필름에 비해 양자 효율이 매우 높다는 장점이 있다.
현재에는 디지털 스틸 카메라보다는 고가이지만 디지털 일안 반사식 사진기(Digital Single Lens Reflex, DSLR) 역시 대중에게 급속도로 보급되고 있다. DSLR은 높은 감광 속도에서 종래의 필름 카메라에 비해 화질이 월등하게 뛰어나며, 촬상 면적이 동일한 디지털 스틸 카메라와 비교했을 경우 해상도 및 화질에서 우수하다. 이와 같은 카메라 기술의 발전으로 저렴하고 우수한 품질의 카메라가 일반인에게 널리 보급되었으며, 그 결과 일반인이 일반인을 상대로 작품성 높은 사진을 촬영하는 경우가 증가하였다.
종래에는 전문 모델이 아닌 일반인을 상대로 촬영을 하는 경우, 일반인인 피사체는 다양한 포즈를 취하기 어려웠으며, 카메라의 사용자도 일반인인 경우 다양한 포즈를 요구하기 어려운 문제점이 발생하였다. 따라서, 카메라 사용자는 제한된 포즈에 대해서만 피사체를 촬영할 수 있었으며, 촬영된 피사체의 포즈는 자연스럽지 못하거나 사용자의 기대를 만족시킬 수 없었다.
또한, 사용자 및 피사체 모두 특정 포즈를 인식하고 있는 경우에도, 종래의 카메라는 피사체가 정확한 포즈를 취하는데 참조할 기준을 제시하지 못하여 사용자 및 피사체 모두에게 불편함을 초래하였다.
본 발명은 상술한 문제점을 해결하기 위한 것으로, 사용자가 피사체 촬영 시 다양한 포즈를 용이하게 촬영할 수 있도록 하는 촬영 장치의 포즈 가이드 방법 및 장치를 제공하는 것을 목적으로 한다.
또한, 본 발명은 피사체의 영상에서, 상기 피사체의 얼굴 크기, 얼굴 위치 또는 표정 등을 검출하여 이에 대응하는 적절한 포즈 가이드를 제공하는 촬영 장치의 포즈 가이드 방법 및 장치를 제공하는 것을 목적으로 한다.
또한, 본 발명은 상기 포즈 가이드와 상기 피사체의 포즈의 유사도를 계산하여 사용자에게 제공하는 촬영 장치의 포즈 가이드 방법 및 장치를 제공하는 것을 목적으로 한다.
본 발명의 일 실시예에 따른 촬영 장치의 포즈 가이드 방법은 피사체의 영상을 수집하고 표시하는 단계; 포즈 가이드(pose guide)를 표시하는 단계; 및 상기 피사체를 촬영하는 단계;를 포함한다.
본 발명의 일 실시예에 따른 촬영 장치의 포즈 가이드 장치는 피사체의 영상을 수집하는 영상 수집부; 포즈 가이드를 저장하는 저장부; 상기 피사체의 영상 또는 상기 포즈 가이드를 표시하는 영상 표시부; 및 상기 저장부에 저장된 상기 포즈 가이드를 상기 영상 표시부에 표시하도록 제어하는 제어부;를 포함한다.
본 발명에 따르면, 영상 표시부에 포즈 가이드를 표시하여 사용자가 피사체 촬영 시 다양한 포즈를 용이하게 촬영할 수 있다.
본 발명에 따르면, 사용자가 직접 포즈 가이드를 선택할 필요 없이, 상기 피사체의 영상에서 상기 피사체의 얼굴 크기, 얼굴 위치 등을 기반으로 이에 대응하는 적절한 포즈 가이드가 선택되도록 할 수 있다.
본 발명에 따르면, 상기 포즈 가이드와 상기 피사체의 포즈의 유사도가 제공되어 사용자 및 피사체가 보다 정확한 포즈를 형성할 수 있는 기준을 제공할 수 있다.
이하 첨부한 도면을 참조하여 본 발명의 일 실시예를 보다 상세하게 설명한다.
도 1은 본 발명의 일 실시예에 따른 촬영 장치의 포즈 가이드 방법을 설명하는 흐름도이다.
도 1에 도시된 바와 같이 본 발명의 일 실시예에 따른 촬영 장치의 포즈 가이드 방법은 피사체의 영상을 수집하고 표시하는 단계(S11), 선택된 포즈 가이드를 표시하는 단계(S22), 표시된 포즈 가이드를 줌인, 줌아웃, 회전 또는 위치 이동 하는 단계(S13), 표시된 포즈 가이드를 기반으로 피사체의 포즈 변경을 가이드하는 단계(S14), 피사체의 포즈와 선택된 포즈 가이드의 유사도를 표시하는 단계(S15), 상기 유사도가 기설정된 값 이상인지 판단하는 단계(S16) 및 상기 유사도가 기설정된 값 이상인 경우 피사체를 촬영하는 단계(S17)를 포함한다.
상기 촬영 장치의 포즈 가이드 방법은 피사체를 촬영하는 장치인 카메라, 캠코더 또는 휴대용 단말의 카메라 모듈에 적용될 수 있으나, 이에 제한되지 않고 상기 피사체의 영상을 수집하여 표시 및 출력하는 촬영 장치에 적용 가능하다.
상기 단계(S11)에서는 상기 포즈 가이드가 적용되는 촬영 장치, 예컨대 카메라의 영상 수집부에서 피사체의 영상을 수집하고, 상기 피사체의 영상을 상기 카메라의 영상 표시부에 표시한다.
상기 영상 수집부는 피사체에서 반사되는 빛을 감광하여 전기적 신호로 변환하고, 변환된 전기적 신호는 상기 영상 표시부에 전송되어 영상으로 표시된다.
상기 단계(S12)에서는 카메라에 기저장된 포즈 가이드 중에서 사용자가 선택한 포즈 가이드를 카메라의 영상 표시부에 표시한다. 상기 카메라에는 상기 포즈 가이드에 대한 데이터를 저장하는 저장부, 예컨대 메모리 등이 포함되어 상기 카메라의 사용자는 저장된 데이터 중에서 원하는 포즈 가이드를 선택할 수 있다.
이하 영상 표시부에 표시되는 영상을 도시한 도면과 함께 단계별 동작을 상세히 설명한다.
도 2a는 본 발명의 일 실시예에 따른 포즈 가이드가 표시된 카메라의 영상 표시부를 나타낸다.
도 2a에 도시된 바와 같이 상기 영상 표시부(63)에는 다수의 포즈 가이드(21,23,24,25)가 표시될 수 있다. 사용자는 상기 카메라에 장착된 버튼, 터치 스크린 등의 사용자 입력부를 통해 특정 포즈 가이드를 선택할 수 있다. 도 2a에서는 선택 상자(22)로 특정 포즈 가이드(21)를 활성화하고 선택하였다.
본 발명의 다른 실시예에서는 상기 영상 표시부(63)에는 하나의 포즈 가이드만이 표시될 수 있다. 이 경우, 사용자는 상기 사용자 입력부를 통해 상기 영상 표시부(63)에 표시되는 포즈 가이드를 변경하며 원하는 포즈 가이드를 선택할 수 있다.
사용자는 피사체가 특정 포즈를 취하게 하여 촬영하고자 한다. 상기 영상 표시부에 표시된 포즈 가이드로부터 피사체가 취할 포즈에 대응하는 특정 포즈 가이드가 선택된다.
상기 포즈 가이드는 상기 피사체가 한 명인 경우 외에 다수의 인물인 경우에도 적용될 수 있다. 상기 피사체가 다수의 인물인 경우에는 다수의 인물 각각이 취할 포즈에 대한 포즈 가이드가 상기 영상 표시부(63)에 표시될 수 있다.
상기 다수의 인물에 대한 포즈 가이드는 그 자체가 상기 카메라의 저장부에 저장될 수 있고, 한 명의 인물에 대한 포즈 가이드에 다른 포즈 가이드를 추가하여 다수의 인물에 대한 포즈 가이드를 사용자가 직접 구성할 수 있다.
도 2b는 본 발명의 일 실시예에 따른 피사체가 두 명인 경우 피사체의 영상 및 포즈 가이드를 표시한 영상 표시부를 나타낸다.
도 2b와 같이 상기 피사체가 두 명인 경우에는 상기 카메라의 저장부에 기저장된 포즈 가이드 중 두 명의 포즈에 대한 포즈 가이드를 선택하여 상기 영상 표시부에 표시할 수 있다.
상기 포즈 가이드 선택 시, 사용자가 포즈 가이드를 직접 선택하도록 하는 대신 상기 피사체의 영상에서, 상기 피사체의 얼굴 크기, 얼굴 위치 또는 표정을 검출하여, 상기 검출된 얼굴 크기, 얼굴 위치 또는 표정에 해당하는 포즈 가이드를 자동으로 선택할 수 있다.
도 3a 및 도 3b는 본 발명의 일 실시예에 따른 피사체의 얼굴 크기를 통해 임의의 포즈 가이드를 선택하는 단계를 설명하는 영상 표시부의 도면이다.
카메라의 영상 수집부는 상기 피사체의 영상을 수집하며, 상기 카메라의 영상 표시부(63)에는 피사체의 영상(32)이 표시될 수 있다. 사용자는 상기 카메라의 사용자 입력부를 통해 상기 피사체의 얼굴 크기, 얼굴 위치 또는 표정으로부터 포즈 가이드를 제공하는 모드, 예컨대 포즈 가이드 추천 모드를 설정할 수 있다.
상기 포즈 가이드 추천 모드에서 상기 카메라는 상기 피사체의 영상(32)에서 상기 피사체의 얼굴 크기, 얼굴 위치 또는 표정을 검출할 수 있다. 도 2a에서는 검출된 상기 피사체의 얼굴을 영역 표시 상자(31)로 구분하였다. 상기 피사체의 영상(32)에서 상기 피사체의 얼굴 크기는 상기 카메라와 상기 피사체와의 거리에 따라 변경될 수 있다. 상기 카메라와 상기 피사체의 거리가 가까울수록 상기 피사체의 영상(32)에서 상기 피사체의 얼굴 크기는 커지고, 멀어질수록 상기 작아질 수 있다.
상기 카메라의 제어부에서는 상기 피사체의 얼굴 크기를 상기 피사체의 영상(32)과 비교하여 상기 피사체의 위치 또는 상태에서 가장 유사한 포즈 가이드를 선택할 수 있다. 예를 들면, 상기 피사체의 영상(32)의 면적과 비교하여 상기 피사체의 얼굴 크기가 기설정된 비율 이상인 경우에는 상반신 포즈 가이드가 선택되고, 기설정된 비율 이하인 경우에는 전신 포즈 가이드가 선택될 수 있다.
또한, 상기 피사체의 얼굴 위치가 상기 피사체의 영상(32)과 비교하여 상기 피사체의 몸통과 같은 높이에 위치하는 경우, 누워 있는 포즈 가이드가 선택될 수 있다. 이와 같이, 상기 피사체의 얼굴 크기 또는 위치를 통해 상기 피사체가 취한 포즈와 가장 유사하거나 적절한 포즈 가이드를 선택할 수 있다.
본 발명의 다른 실시예에 따르면, 상기 피사체의 표정을 검출하여 적절한 포즈 가이드를 선택할 수도 있다. 상기 피사체의 표정을 다수 개로 구분하여, 예컨대 웃는 표정 또는 찡그린 표정을 구분하여 각 표정에 대한 샘플 이미지를 저장부에 저장할 수 있다. 상기 카메라의 제어부는 상기 피사체의 영상(32)에서 상기 피사체의 얼굴 영역을 검출하고, 상기 검출된 얼굴 영역을 상기 저장된 샘플 이미지와의 비교 과정을 통해 각 표정의 기본 이미지에 대한 일치도를 계산할 수 있다.
상기 비교 과정은 샘플 이미지와 검출된 얼굴 영역의 이미지 정합을 통해 수행될 수 있으며, 이미지 정합 과정은 각 이미지 사이의 가능한 오버랩 위치를 파악하고, 해당 오버랩 위치에 대한 오버래핑 화소의 일치 정도에 따른 스코어를 결정하는 방식 등의 종래 기술을 사용할 수 있다.
그 결과, 상기 각 표정의 기본 이미지에 대한 일치도를 비교하여 가장 높은 일치도를 가지는 표정을 선택할 수 있다. 상기 선택된 표정과 연계된 기설정된 포즈 가이드를 상기 카메라의 영상 표시부에 표시할 수 있다.
도 3a는 상기 영상 표시부(63)에 전신 포즈 가이드(21)가 표시된 상태를 나타낸다. 상기 카메라의 제어부는 상기 피사체의 영상(32)에서 상기 피사체의 얼굴을 검출하고, 검출된 얼굴 영상의 크기를 상기 피사체의 영상(32)의 크기와 비교할 수 있다. 또는, 상기 피사체의 영상(32)에서 피사체의 얼굴 위치를 상기 포즈 가이드(21)의 얼굴 위치와 비교하여 검출할 수 있다.
도 3b와 같이, 도 3a에서 검출된 상기 피사체의 얼굴 크기 또는 위치를 기반으로 기설정된 포즈 가이드(33)를 상기 영상 표시부(63)에 표시할 수 있다. 사용자는 상기 영상 표시부(63)에 표시된 기설정된 포즈 가이드(33)를 참고로 피사체, 즉 촬영되는 사람에게 해당 포즈를 취하도록 가이드한 다음 촬영할 수 있다.
상기 피사체가 다수의 인물인 경우에도 상기 카메라의 제어부는 각 피사체의 얼굴 크기, 얼굴 위치 또는 표정 등을 검출할 수 있다.
도 2b에 도시된 바와 같이, 상기 피사체가 두 명인 경우에도 각 피사체의 얼굴 영역을 검출할 수 있으며, 상기 각 피사체의 얼굴 영역은 각각 제 1 얼굴 영역 상자(33) 및 제 2 얼굴 영역 상자(34)로 구분될 수 있다.
도 4는 도 2a에서 선택된 포즈 가이드(21)가 피사체의 영상(32)과 동시에 표시된 영상 표시부(63)를 나타낸다.
본 발명의 일 실시예에 따르면 상기 선택된 포즈 가이드(21)는 사용자에 의해 상기 영상 표시부(63) 내에서 이동할 수 있다. 사용자는 상기 카메라의 사용자 입력부를 통해 카메라의 동작 모드를 상기 포즈 가이드(21)를 이동시킬 수 있는 모드(이하 "포즈 가이드 이동 모드"라 함)로 설정할 수 있다. 상기 포즈 가이드 이동 모드에서 사용자는 상기 사용자 입력부를 통해 상기 포즈 가이드(21)를 상기 영상 표시부(63) 내에서 자유롭게 이동시킬 수 있다.
단계(S13)에서는 상기 포즈 가이드(21)를 줌인, 줌아웃, 회전 또는 위치 이 동을 할 수 있다. 상기 피사체가 카메라에 근접하게 위치하여 상기 피사체의 영상이 상기 포즈 가이드보다 큰 경우, 사용자는 포즈 가이드 이동 모드를 선택하여 상기 포즈 가이드(21)를 줌인하여 확대시킬 수 있다.
이와 마찬가지로, 상기 피사체가 카메라로부터 원거리에 위치하여 상기 피사체의 영상이 상기 포즈 가이드보다 작은 경우, 사용자는 포즈 가이드(21)를 줌아웃하여 축소시킬 수 있다. 이와 같이, 피사체와 카메라 간의 거리에 제약되지 않고 포즈 가이드를 자유롭게 적용할 수 있다.
또한, 포즈 가이드를 임의의 기준점을 중심으로 회전시킬 수도 있다. 예를 들면, 사용자는 상기 영상 표시부(63) 내의 임의의 기준점을 선택한다. 선택된 기준점을 중심으로 사용자는 포즈 가이드를 시계 방향 또는 반시계 방향으로 회전시켜 포즈 가이드의 위치 및 상태를 자유롭게 변경할 수 있다.
본 발명의 일 실시예에 따르면 상기 선택된 포즈 가이드(21)는 도 4에 도시된 바와 같이, 상기 피사체가 취할 포즈의 윤곽선으로 제공될 수 있다.
본 발명의 다른 실시예에 따르면 상기 선택된 포즈 가이드(21)는 상기 피사체가 취할 포즈의 영상으로 표시될 수 있다. 바람직하게, 상기 선택된 포즈 가이드는 상기 피사체가 취할 포즈의 반투명한 영상으로 표시되어, 사용자가 용이하게 상기 피사체의 영상(32)과 상기 포즈 가이드를 비교할 수 있도록 할 수 있다. 또한 상기 포즈 가이드가 반투명 영상으로 제공되면 상기 피사체의 영상과 오버랩되어도 상기 포즈 가이드 및 상기 피사체의 영상 둘 모두를 확인할 수 있는 장점이 있다.
본 발명의 다른 실시예에서는, 상기 포즈 가이드는 상기 피사체가 취할 포즈 의 영상을 3D로 표시할 수 있다. 이 경우, 상기 포즈 가이드에 대한 2D 정보 외에 3D 정보가 카메라의 저장부에 저장되어야 하며, 사용자가 3D 포즈 가이드를 선택한 경우, 상기 영상 표시부(63)는 저장부로부터 3D 포즈 가이드 정보를 수신하여 영상으로 표시한다.
상기 포즈 가이드가 3D로 표시되는 경우에도 상기 포즈 가이드를 줌인, 줌아웃, 회전 또는 위치 이동할 수 있다. 이 경우, 상기 포즈 가이드의 회전 시 회전축을 설정하여 공간적으로 회전이 가능하다. 따라서, 2D로 표시된 포즈 가이드에서는 확인할 수 없었던 신체의 특정 부위의 모습까지도 확인이 가능하다.
상기 단계(S14)는 상기 선택된 포즈 가이드(21)를 기반으로 상기 피사체에게 포즈 변경을 가이드한다. 사용자가 특정 포즈 가이드를 선택하고, 상기 선택된 포즈 가이드(21)가 상기 영상 표시부(63)에 표시된 상태에서는 상기 피사체의 영상(32)은 상기 포즈 가이드(21)와 일치하지 않은 상태이다.
사용자는 상기 영상 표시부(63)를 통해 상기 피사체의 영상(32)과 상기 포즈 가이드(21)를 비교하면서 상기 피사체의 포즈를 상기 포즈 가이드(21)와 일치시키도록 가이드할 수 있다. 이 과정에서, 상기 카메라는 상기 피사체의 포즈를 상기 포즈 가이드(21)와 일치시키기 위해 상기 피사체의 움직임을 가이드할 수 있다. 셀프 카메라의 경우에는 상기 사용자와 피사체가 동일할 것이므로 촬영자가 직접 포즈를 바꿀 수 있다.
본 발명의 일 실시예에 따르면, 상기 포즈 변경 가이드는 음성으로 상기 피사체 또는 사용자에게 제공될 수 있다. 상기 카메라에는 스피커 등의 음성 출력부 가 포함되어, 상기 피사체 또는 사용자는 음성으로 상기 피사체의 움직임 가이드를 확인할 수 있다.
도 4를 참조하면, 상기 피사체의 영상(32)은 상기 포즈 가이드(21)와 비교하여, 상기 피사체를 기준으로 얼굴, 팔 및 몸통은 오른쪽으로 떨어져 있고, 다리는 왼쪽으로 떨어져 있다. 이 경우, 상기 카메라의 제어부는 상기 피사체의 얼굴, 팔, 몸통 및 다리를 검출하고 위치를 파악하여 상기 포즈 가이드(21)와 일치하기 위해 어느 방향으로 얼마의 거리만큼 이동해야 하는지 계산할 수 있다. 또한, 상기 카메라의 음성 출력부는 상기 카메라의 제어부로부터 상기 방향 및 거리를 수신하고, 그것을 음성으로 출력할 수 있다.
이동할 거리의 계산은 상기 영상 표시부에 표시된 피사체의 영상과 실제 피사체의 1차원적 길이의 비를 이용하여, 상기 영상 표시부 상에서의 상기 피사체와 상기 포즈 가이드 간의 거리 차를 실제 거리 차로 환산하는 등 종래 기술을 사용할 수 있다.
예를 들어, 영상 표시부에 표시된 피사체의 영상이 5cm이고 실제 피사체는 150cm의 신장인 경우, 피사체의 영상과 실제 피사체의 길이의 비는 1:30이다. 따라서, 상기 영상 표시부 상에서 상기 피사체와 상기 포즈 가이드 간의 거리 차가 1cm라고 측정되는 경우, 피사체가 이동할 거리는 30cm라고 할 수 있다.
본 발명의 다른 실시예에 따르면, 상기 포즈 변경 가이드 단계는 상기 카메라의 영상 표시부(63)를 통해 상기 피사체가 포즈를 수정하도록 가이드할 수 있다.
도 4를 참조하면, 상기 영상 표시부(63)에 화살표(41)를 표시하여 상기 피사 체의 영상이 이동해야 할 방향 및 거리 정보를 확인할 수 있다. 상기 화살표(41)가 가리키는 방향은 피사체가 이동할 방향이며, 상기 화살표(41)의 길이는 상기 피사체가 이동할 거리일 수 있다. 본 발명의 다른 실시예에서는 상기 피사체가 이동할 거리는 상기 영상 표시부(63)의 일부 영역에 수치로 표시될 수 있다.
본 발명의 일 실시예에 따르면, 상기 포즈 가이드(21)는 상기 얼굴 각도에 대한 정보를 포함하여 상기 피사체의 얼굴 각도를 수정하도록 가이드할 수 있다. 상기 카메라의 저장부에 저장된 상기 포즈 가이드(21)는 얼굴 각도에 대한 정보를 저장할 수 있다. 상기 카메라의 제어부는 상기 포즈 가이드(21)를 선택하여 상기 포즈 가이드(21)에 대한 정보를 상기 저장부로부터 수신하는 경우, 얼굴 각도에 대한 정보도 수신할 수 있다.
상기 제어부는 상기 피사체의 영상(32)에서 얼굴 영역을 검출하고 얼굴 각도를 계산할 수 있다. 상기 얼굴 각도 계산은 상기 저장부에 기저장된 정면 얼굴에 대한 이미지로부터 이미지 정합 과정을 통해 수행될 수 있다. 상기 정면 얼굴에 대한 이미지와 상기 피사체의 얼굴 이미지의 이미지 정합으로 계산된 각도는 상기 영상 표시부(63)에 표시될 수 있다. 따라서, 사용자는 상기 얼굴 각도를 통해 상기 피사체의 얼굴 각도를 움직도록 가이드하여 정확한 포즈를 형성하게 할 수 있다.
단계(S15)에서는 상기 피사체의 포즈와 상기 포즈 가이드의 유사도를 표시한다. 본 발명의 일 실시예에 따르면, 상기 카메라의 제어부는 상기 피사체의 포즈와 상기 포즈 가이드(21)의 유사도를 계산하고 상기 계산 결과를 상기 영상 표시부(63)로 전송한다. 상기 영상 표시부(63)는 상기 전송된 계산 결과를 상기 영상 표시부(63)의 일부 영역에 표시하여 사용자가 보다 용이하게 상기 피사체의 포즈와 상기 포즈 가이드(21)를 비교할 수 있도록 한다.
본 발명의 일 실시예에 따르면, 상기 유사도는 상기 피사체의 영상(32)과 상기 포즈 가이드(21) 간의 거리를 기반으로 계산될 수 있다. 상기 피사체의 영상(32)과 상기 포즈 가이드(21)를 얼굴, 몸체, 팔, 다리 또는 얼굴 각도 등의 각 부분으로 구분하여 상기 피사체의 영상(32)과 상기 포즈 가이드(21)의 각 부분 별 이격 거리를 계산할 수 있다. 계산된 각 부분 별 거리는 유사도의 파라미터로 설정될 수 있으며, 거리를 파라미터로 한 유사도 함수를 카메라의 제어부에 프로그래밍할 수 있다.
여기서, 거리가 가까울수록 각 부위의 유사도는 증가하고, 거리가 멀수록 각 부위의 유사도는 감소하게 설정할 수 있다. 그 결과, 계산된 각 부위의 유사도의 평균값 등을 산출하여 전체 피사체의 영상(32)과 전체 포즈 가이드(21)의 유사도를 계산할 수 있다.
상기 유사도는 상기 영상 표시부(63)의 일부 영역에 수치로 표시될 수 있다. 상기 유사도는 상기 영상 표시부(63)의 일측에 막대 그래프 형식으로 표시될 수 있다. 사용자는 그래프를 보고 피사체의 포즈가 상기 포즈 가이드와 어느 정도 일치하는지 여부를 직관적으로 확인할 수 있다. 상기 그래프는 상기 피사체의 얼굴, 팔, 다리, 몸통 등의 신체 각 부위 또는 얼굴 표정마다 각각 표시되어 각 부위별 유사도를 확인할 수도 있다.
이 경우, 각 부위 별로 가중치를 다르게 부여하여 유사도 판단 시 특정 부위 를 보다 중점적으로 고려하도록 할 수 있다. 가중치가 부여되는 부위 또는 구체적인 가중치는 실시예에 따라 달라질 수 있다.
실시예에 따라서는, 상기 포즈 가이드의 색깔 변화로 유사도를 표시할 수 있다. 예를 들면, 상기 피사체의 포즈와 상기 포즈 가이드의 유사도가 높아질수록 푸른 색으로 변하고, 유사도가 낮아질수록 붉은 색으로 변하게 설정할 수 있다.
실시예에 따라서는, 상기 유사도를 음성으로 나타낼 수 있다. 예를 들면, 상기 유사도가 높아질수록 카메라의 음성 출력부가 출력하는 음성의 주파수가 높아지고 상기 유사도가 낮아질수록 음성의 주파수가 낮아지도록 설정할 수 있다.
실시예에 따라서는, 상기 유사도는 문자로 표시될 수 있다. 상기 유사도를 다수 개의 범위로 구분하여, 각 범위마다 유사도를 대표할 수 있는 문자를 카메라의 영상 표시부에 표시할 수 있다. 예를 들면, 상기 유사도의 최저값이 1이고 최대값이 100인 경우, 상기 유사도가 1 이상 20 미만인 경우에는 '매우 불일치', 상기 유사도가 20 이상 40 미만인 경우에는 '불일치', 상기 유사도가 40 이상 60 미만인 경우에는 '보통', 상기 유사도가 60 이상 80 미만인 경우에는 '일치' 및 상기 유사도가 80 이상 100 이하인 경우에는 '매우 일치'의 문자가 영상 표시부에 표시될 수 있다.
단계(S16)에서는 상기 피사체의 포즈가 상기 선택된 포즈 가이드(21)의 유사도가 기설정된 값 이상인지 판단한다. 상기 카메라의 제어부는 상기 단계(S15)에서 계산된 유사도가 시스템에 기설정된 값 이상인지 여부를 판단한다.
이 경우, 상기 기설정된 값은 사용자에 의해 조절될 수 있으며, 카메라 제조 시 시스템에 입력된 값으로 고정될 수 있다.
상기 단계(S17)에서는 상기 단계(S16)에서 상기 피사체의 영상(32)과 상기 포즈 가이드(21)의 유사도가 기설정된 값 이상인 경우 상기 피사체를 촬영한다. 본 발명의 일 실시예에 따르면, 상기 포즈 가이드(21)와 상기 피사체의 포즈의 유사도가 기설정된 값 이상인 경우 상기 카메라에 의해 자동으로 상기 피사체를 촬영하도록 구성할 수 있다.
이 경우, 카메라가 자동으로 촬영하기 전에 촬영을 알리는 신호를 사용자 또는 피사체에게 제공할 수 있다. 상기 신호는 식별이 용이한 빛(예컨대 붉은 빛) 또는 음성(예컨대 "찍습니다")일 수 있다.
도 5는 상기 피사체의 영상(32)과 상기 포즈 가이드(21)가 일치하는 경우의 영상 표시부(63)의 도면이다. 상기 피사체가 상기 단계(S14)의 포즈 변경 가이드를 통해 이동하여 상기 피사체의 영상(32)이 상기 포즈 가이드(21)와 일치하는 경우, 상기 카메라가 자동으로 상기 피사체를 촬영하게 할 수 있다.
상기 피사체를 촬영한 후, 촬영된 피사체의 영상은 저장부에 저장될 수 있다. 본 발명의 다른 실시예에서는 촬영된 피사체의 영상은 카메라의 출력 포트를 통해 외부로 전송될 수 있다.
이 경우, 저장부에 저장되거나 외부로 전송되는 피사체의 영상에는 상기 포즈 가이드가 포함되지 않는다. 상기 포즈 가이드는 촬영 시 상기 피사체가 용이하게 포즈를 취할 수 있도록 가이드하는 기능을 가지며, 최종 출력 영상에는 포함되지 않는다.
도 6은 본 발명의 일 실시예에 따른 포즈 가이드 장치의 구조를 나타낸다.
도 6에 도시된 바와 같이, 본 발명의 일 실시예에 따른 포즈 가이드 장치는 피사체의 영상을 수집하는 영상 수집부(61), 포즈 가이드를 저장하는 저장부(62), 상기 피사체의 영상 또는 상기 포즈 가이드를 표시하는 영상 표시부(63), 상기 저장부(62)에 저장된 상기 포즈 가이드를 상기 영상 표시부(63)에 표시하도록 제어하는 제어부(64), 상기 표시된 포즈 가이드를 기반으로 음성으로 피사체의 움직임을 가이드하는 음성 출력부(65) 및 사용자로부터 상기 피사체의 촬영 또는 상기 포즈 가이드의 조작을 입력받는 사용자 입력부(66)를 포함한다.
상기 영상 수집부(61)는 상기 피사체의 영상을 수집하여 상기 영상 표시부(63)에 표시하게 한다. 상기 영상 수집부(61)는 빛을 감광하여 전기적 신호로 변환하는 장치를 포함하며, CCD 또는 CMOS 이미지 센서일 수 있다.
상기 저장부(62)는 포즈 가이드에 대한 데이터를 저장한다. 상기 저장부(62)는 다양한 포즈 가이드에 대한 데이터를 저장하고, 상기 제어부(64)로부터 상기 포즈 가이드에 대한 데이터 전송 요청을 받는 경우 상기 포즈 가이드에 대한 데이터를 전송한다.
상기 영상 표시부(63)는 상기 피사체의 영상 또는 상기 포즈 가이드를 표시한다. 상기 영상 표시부(63)는 상기 영상 수집부(61)가 수집한 상기 피사체의 영상 또는 상기 저장부(62)에 저장된 상기 포즈 가이드를 상기 제어부(64)의 제어를 통해 수신하여 디스플레이에 표시한다. 상기 영상 표시부(63)에는 터치 스크린 패널을 장착하여 사용자가 터치 스크린을 통해 포즈 가이드에 대한 각종 조작을 가능하 게 할 수 있다.
본 발명의 일 실시예에 따른 상기 영상 표시부(63)는 상기 포즈 가이드를 상기 피사체가 취할 포즈의 윤곽선으로 표시할 수 있다.
본 발명의 일 실시예에 따른 상기 영상 표시부(63)는 상기 포즈 가이드를 상기 피사체가 취할 포즈의 영상으로 표시할 수 있으며, 바람직하게, 상기 피사체가 취할 포즈의 영상은 반투명하게 표시되어 사용자가 상기 피사체의 영상과 상기 피사체가 취할 포즈의 영상을 용이하게 구별되도록 할 수 있다.
본 발명의 다른 실시예에서 상기 영상 표시부(63)는 상기 포즈 가이드를 상기 피사체가 취할 포즈의 3D 영상으로 표시할 수 있다.
상기 제어부(64)는 상기 저장부에 저장된 상기 포즈 가이드를 상기 영상 표시부에 표시하도록 제어한다.
또한, 본 발명의 일 실시예에 따르면 상기 제어부(64)는 상기 영상 수집부(61)가 수집한 상기 피사체의 영상에서, 상기 피사체의 얼굴 크기, 얼굴 위치 또는 표정을 검출할 수 있다. 상기 검출된 얼굴 크기, 얼굴 위치 또는 표정을 기반으로 이에 대응하는 포즈 가이드를 선택할 수 있다.
상기 제어부(64)는 상기 피사체의 영상의 크기와 상기 피사체의 얼굴의 크기를 비교하여 상기 피사체의 위치 또는 자세에 가장 유사한 포즈 가이드를 선택할 수 있다. 예를 들어, 상기 피사체의 영상의 크기에 대한 상기 피사체의 얼굴의 크기의 비율이 기설정된 비율 이상인 경우 상반신 포즈 가이드가 선택될 수 있고, 기설정된 비율 이하인 경우 전신 포즈 가이드가 선택될 수 있다. 상기 선택된 포즈 가이드는 다수 개일 수 있으며, 이 중에서 사용자는 별도의 선택을 통해 하나의 포즈 가이드를 선택할 수 있다. 또는, 상기 피사체의 얼굴 위치에 대한 포즈 가이드를 추가로 선택하여 포즈 가이드의 선택을 더욱 구체적으로 할 수 있다.
상기 제어부(64)는 상기 영상 표시부(63)에 표시된 포즈 가이드를 줌인, 줌아웃, 회전 또는 위치 이동하도록 더 구성될 수 있다. 상기 저장부(62)에 저장된 포즈 가이드의 정보를 기반으로 크기를 확대 또는 축소하도록 구성될 수 있으며, 상기 포즈 가이드가 상기 영상 표시부(63) 상의 임의의 기준점을 중심으로 회전이 가능하도록 구성될 수 있다.
또한, 상기 제어부(64)는 상기 포즈 가이드와 상기 피사체의 포즈의 유사도를 계산할 수 있다. 상기 유사도는 상기 포즈 가이드와 상기 피사체의 포즈의 이미지 정합을 통해 계산될 수 있다.
상기 유사도는 상기 피사체의 얼굴, 몸통, 팔, 다리 또는 얼굴 각도 등의 각 부위 별로 계산될 수 있다. 예를 들어, 상기 피사체의 각 부위 별로 상기 피사체의 포즈와 상기 포즈 가이드 간의 거리를 측정하여 거리가 멀어질수록 유사도는 작아지고, 가까워질수록 유사도는 증가하도록 프로그램될 수 있다. 그 결과, 각 부위별로 계산된 유사도는 평균값 산출 등을 통해 전체 피사체 포즈 및 전체 포즈 가이드의 유사도를 계산할 수 있다. 상기 제어부(64)는 계산된 유사도를 상기 영상 표시부(63)로 전송하고, 상기 영상 표시부(63)는 상기 전송된 유사도를 수치, 막대 그래프 등으로 표시할 수 있다.
상기 음성 출력부(65)는 상기 영상 표시부(63)에 표시된 포즈 가이드를 기반 으로 상기 피사체의 포즈 변경을 음성으로 가이드한다. 상기 피사체의 영상이 상기 표시된 포즈 가이드와 일치하지 않은 경우, 상기 피사체는 위치를 이동하거나 자세를 변경하여 상기 포즈 가이드와 일치하도록 포즈 변경을 가이드할 수 있다.
상기 음성 출력부(65)는 상기 피사체의 얼굴, 몸통, 팔 또는 다리 등의 각 부위 별로 상기 포즈 가이드의 대응하는 각 부위에 일치하기 위한 포즈 변경 방향 및 거리를 음성으로 가이드할 수 있다.
상기 사용자 입력부(66)는 사용자로부터 상기 피사체의 촬영 또는 상기 포즈 가이드의 조작을 입력받는다. 사용자는 상기 사용자 입력부(66)의 셔터를 조작함으로써 상기 피사체를 촬영할 수 있고, 상기 사용자 입력부(66)의 방향키를 조작함으로써 상기 영상 표시부(63)에 표시된 커서 또는 선택 상자를 이동할 수 있다.
이상 실시예를 통해 본 발명을 설명하였으나, 위 실시예는 단지 본 발명의 사상을 설명하기 위한 것이며, 이에 한정되지 않는다. 당업자는 위에 설명한 실시예에 다양한 변형이 가해질 수 있음을 이해할 것이다. 본 발명의 범위는 첨부된 특허청구범위의 해석을 통해서만 정해진다.
도 1은 본 발명의 일 실시예에 따른 포즈 가이드 방법을 설명하는 흐름도이다.
도 2a는 본 발명의 일 실시예에 따른 포즈 가이드가 표시된 카메라의 영상 표시부를 나타낸다.
도 2b는 본 발명의 일 실시예에 따른 피사체가 두 명인 경우 피사체의 영상 및 포즈 가이드를 표시한 영상 표시부를 나타낸다.
도 3a 및 도 3b는 본 발명의 일 실시예에 따른 피사체의 얼굴 크기를 통해 임의의 포즈 가이드를 선택하는 단계를 설명하는 영상 표시부를 나타낸다.
도 4는 도 2에서 선택된 포즈 가이드(21)가 피사체의 영상(32)과 동시에 표시된 영상 표시부(63)를 나타낸다.
도 5는 상기 피사체의 영상(32)과 상기 포즈 가이드(21)가 일치하는 경우의 영상 표시부(63)를 나타낸다.
도 6은 본 발명의 일 실시예에 따른 포즈 가이드 장치의 구조 블록도이다.

Claims (10)

  1. 피사체의 영상을 수집하고 표시하는 단계;
    포즈 가이드(pose guide)를 표시하는 단계;
    상기 표시된 포즈 가이드를 상기 피사체의 영상에 맞도록 영상 표시부 상에서 줌인, 줌아웃, 회전 또는 위치 이동하는 단계; 및
    상기 피사체를 촬영하는 단계;
    를 포함하는 촬영 장치의 포즈 가이드 방법.
  2. 제 1항에 있어서,
    상기 포즈 가이드는 상기 피사체가 취할 포즈의 윤곽선, 반투명의 2차원 영상 또는 반투명의 3차원 영상으로 표시되는 촬영 장치의 포즈 가이드 방법.
  3. 삭제
  4. 제 1항에 있어서,
    상기 표시된 포즈 가이드를 기반으로 피사체의 포즈 변경을 음성 또는 영상으로 가이드하는 단계를 더 포함하는 촬영 장치의 포즈 가이드 방법.
  5. 제 1항에 있어서,
    상기 포즈 가이드와 상기 피사체의 포즈의 유사도를 표시하는 단계를 더 포함하는 촬영 장치의 포즈 가이드 방법.
  6. 제 5항에 있어서,
    상기 유사도는 수치, 그래프, 음성, 문자 또는 색깔로 표시되는 단계를 포함하는 촬영 장치의 포즈 가이드 방법.
  7. 제 5항에 있어서, 상기 촬영 단계는
    상기 유사도가 기설정된 값 이상인 경우 상기 피사체를 자동으로 촬영하는 단계를 포함하는 촬영 장치의 포즈 가이드 방법.
  8. 피사체의 영상을 수집하는 영상 수집부;
    포즈 가이드를 저장하는 저장부;
    상기 피사체의 영상 또는 상기 포즈 가이드를 표시하는 영상 표시부; 및
    상기 저장부에 저장된 상기 포즈 가이드를 상기 영상 표시부에 표시하고, 상기 표시된 포즈 가이드를 상기 피사체의 영상에 맞도록 상기 영상 표시부 상에서 줌인, 줌아웃, 회전 또는 위치 이동하도록 제어하는 제어부;
    를 포함하는 촬영 장치의 포즈 가이드 장치.
  9. 삭제
  10. 제 8항에 있어서,
    상기 제어부는 상기 포즈 가이드와 상기 피사체의 포즈의 유사도를 계산하도록 더 구성되고,
    상기 영상 표시부는 상기 계산된 유사도를 표시하는 촬영 장치의 포즈 가이드 장치.
KR1020080048450A 2008-05-26 2008-05-26 촬영 장치의 포즈 가이드 방법 및 장치 KR100943548B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020080048450A KR100943548B1 (ko) 2008-05-26 2008-05-26 촬영 장치의 포즈 가이드 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020080048450A KR100943548B1 (ko) 2008-05-26 2008-05-26 촬영 장치의 포즈 가이드 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20090122572A KR20090122572A (ko) 2009-12-01
KR100943548B1 true KR100943548B1 (ko) 2010-02-22

Family

ID=41685030

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020080048450A KR100943548B1 (ko) 2008-05-26 2008-05-26 촬영 장치의 포즈 가이드 방법 및 장치

Country Status (1)

Country Link
KR (1) KR100943548B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10165199B2 (en) 2015-09-01 2018-12-25 Samsung Electronics Co., Ltd. Image capturing apparatus for photographing object according to 3D virtual object
US10630896B1 (en) 2019-02-14 2020-04-21 International Business Machines Corporation Cognitive dynamic photography guidance and pose recommendation

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101140506B1 (ko) * 2010-05-06 2012-04-30 엔에이치엔(주) 포즈 템플릿을 제공하는 촬영 장치 및 방법
KR101762769B1 (ko) 2011-04-18 2017-08-07 삼성전자주식회사 촬영 장치에서 피사체를 촬영하기 위한 장치 및 방법
CN103220466B (zh) * 2013-03-27 2016-08-24 华为终端有限公司 图片的输出方法及装置
KR102365393B1 (ko) 2014-12-11 2022-02-21 엘지전자 주식회사 이동단말기 및 그 제어방법
KR102228663B1 (ko) * 2020-10-23 2021-03-16 주식회사 포즈 촬영 가이드 제공 방법 및 이를 수행하는 시스템

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20070077247A (ko) * 2006-01-23 2007-07-26 장수동 디지털방식 촬영도구에서의 인물포즈에 대한 정보 표시
KR20080044132A (ko) * 2006-11-15 2008-05-20 삼성테크윈 주식회사 구도 가이드 기능을 구비한 디지털 영상 처리 장치의 동작방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20070077247A (ko) * 2006-01-23 2007-07-26 장수동 디지털방식 촬영도구에서의 인물포즈에 대한 정보 표시
KR20080044132A (ko) * 2006-11-15 2008-05-20 삼성테크윈 주식회사 구도 가이드 기능을 구비한 디지털 영상 처리 장치의 동작방법

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10165199B2 (en) 2015-09-01 2018-12-25 Samsung Electronics Co., Ltd. Image capturing apparatus for photographing object according to 3D virtual object
US10630896B1 (en) 2019-02-14 2020-04-21 International Business Machines Corporation Cognitive dynamic photography guidance and pose recommendation

Also Published As

Publication number Publication date
KR20090122572A (ko) 2009-12-01

Similar Documents

Publication Publication Date Title
JP5206095B2 (ja) 構図判定装置、構図判定方法、プログラム
US8638372B2 (en) Image capture unit with changeable image capture direction
KR100943548B1 (ko) 촬영 장치의 포즈 가이드 방법 및 장치
CN110536069B (zh) 变焦控制装置、变焦控制装置的控制方法和记录介质
JP5389697B2 (ja) 高品質な合成パノラマ画像のイン・カメラ生成
TWI433530B (zh) 具有立體影像攝影引導的攝影系統與方法及自動調整方法
US9025044B2 (en) Imaging device, display method, and computer-readable recording medium
JP5434339B2 (ja) 撮像制御装置、撮像システム、撮像方法、プログラム
JP2001357404A (ja) 画像抽出装置
JP2016516369A (ja) 写真出力方法および装置
WO2018094648A1 (zh) 拍摄构图引导方法及装置
KR20140121695A (ko) 촬영 장치 및 촬영 제어 방법
US8896670B2 (en) Image processing device, image processing method, and program
JP2019067312A (ja) 画像処理装置、撮像装置、画像処理装置の制御方法およびプログラム
CN102739954A (zh) 能够合成图像的摄像装置
KR20120118144A (ko) 촬영 장치에서 피사체를 촬영하기 위한 장치 및 방법
JP6257260B2 (ja) 撮像装置及びその制御方法
KR101009832B1 (ko) 디지털 카메라에서 이미지 합성 장치 및 방법
JP6376753B2 (ja) 撮像装置、表示制御装置の制御方法、記録装置の制御方法
JP5967422B2 (ja) 撮像装置及び撮像処理方法並びにプログラム
JP5098917B2 (ja) 構図判定装置、構図判定方法、プログラム
JP5380833B2 (ja) 撮像装置、被写体検出方法及びプログラム
JP4771524B2 (ja) 撮像装置及びそのプログラム
JP5181806B2 (ja) 撮影装置
WO2016157406A1 (ja) 画像取得装置および画像ファイル生成方法ならびに画像ファイル生成プログラム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130128

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20140124

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20150128

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20160122

Year of fee payment: 7

LAPS Lapse due to unpaid annual fee