KR100818989B1 - Apparatus for video photography with image compensation and operating method for the same - Google Patents

Apparatus for video photography with image compensation and operating method for the same Download PDF

Info

Publication number
KR100818989B1
KR100818989B1 KR1020060084321A KR20060084321A KR100818989B1 KR 100818989 B1 KR100818989 B1 KR 100818989B1 KR 1020060084321 A KR1020060084321 A KR 1020060084321A KR 20060084321 A KR20060084321 A KR 20060084321A KR 100818989 B1 KR100818989 B1 KR 100818989B1
Authority
KR
South Korea
Prior art keywords
image
unit
correction
area
correcting
Prior art date
Application number
KR1020060084321A
Other languages
Korean (ko)
Other versions
KR20070033883A (en
Inventor
박태서
김연배
박민규
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to EP06076754.8A priority Critical patent/EP1768387B1/en
Priority to US11/525,055 priority patent/US8842935B2/en
Priority to JP2006257543A priority patent/JP4377399B2/en
Priority to CN2006101392956A priority patent/CN1937716B/en
Publication of KR20070033883A publication Critical patent/KR20070033883A/en
Application granted granted Critical
Publication of KR100818989B1 publication Critical patent/KR100818989B1/en

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • H04N23/611Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person
    • G06T2207/30201Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)

Abstract

본 발명은 이미지 보정 기능을 구비한 화상 촬영 장치 및 그 동작 방법에 관한 것으로서, 더욱 상세하게는 카메라의 위치에 따라 왜곡되는 사용자 얼굴 이미지를 보정할 수 있는 이미지 보정 기능을 구비한 화상 촬영 장치 및 그 동작 방법에 관한 것이다.The present invention relates to an image capturing apparatus having an image correction function and an operation method thereof, and more particularly, to an image capturing apparatus including an image correction function capable of correcting a user's face image distorted according to the position of the camera. It relates to a method of operation.

본 발명의 실시예에 따른 이미지 보정 기능을 구비한 화상 촬영 장치는, 소정의 피사체에 대한 이미지를 획득하는 이미지 획득부, 상기 피사체에 대한 상기 이미지 획득부의 기울기를 판단하는 기울기 판단부, 및 상기 판단된 기울기에 따라 상기 획득된 이미지를 보정하는 보정부를 포함한다.An image capturing apparatus having an image correction function according to an exemplary embodiment of the present invention may include an image obtaining unit obtaining an image of a predetermined subject, a tilt determining unit determining an inclination of the image obtaining unit with respect to the subject, and the determination. And a correction unit for correcting the obtained image according to the inclined slope.

이미지, 카메라, 기울기, 영상 보정, 화상 촬영 Image, camera, tilt, image correction, image shooting

Description

이미지 보정 기능을 구비한 화상 촬영 장치 및 그 동작 방법{Apparatus for video photography with image compensation and operating method for the same}Apparatus for video photography with image compensation and operating method for the same}

도 1은 일반적인 화상 촬영 장치에 의해 획득된 이미지가 도시된 도면.1 is a diagram showing an image obtained by a general image photographing apparatus.

도 2는 본 발명의 제 1실시예에 따른 이미지 보정 기능을 구비한 화상 촬영 장치가 도시된 도면.2 is a diagram showing an image photographing apparatus having an image correction function according to a first embodiment of the present invention.

도 3은 본 발명의 실시예에 따른 기울기 감지부가 도시된 도면.3 is a view showing a tilt detection unit according to an embodiment of the present invention.

도 4는 본 발명의 실시예에 따른 이미지 획득부 및 기울기 감지부가 도시된 도면.4 is a view showing an image acquisition unit and a tilt detection unit according to an embodiment of the present invention.

도 5는 본 발명의 실시예에 따라 피사체의 이미지를 촬영하는 휴대용 통신 기기가 도시된 도면.5 illustrates a portable communication device for capturing an image of a subject according to an embodiment of the present invention.

도 6은 본 발명의 실시예에 따라 획득된 이미지 및 보정된 이미지가 도시된 도면. 6 illustrates an image acquired and a corrected image according to an embodiment of the invention.

도 7은 본 발명의 실시예에 따른 보정전 이미지의 형태가 도시된 도면.7 is a view showing the shape of the image before correction according to an embodiment of the present invention.

도 8은 본 발명의 실시예에 따른 보정된 이미지의 형태가 도시된 도면.8 is a diagram illustrating the shape of a corrected image according to an embodiment of the present invention.

도 9는 본 발명이 실시예에 따른 디스플레이 영역에서의 잉여 영역이 도시된 도면.9 illustrates a redundant area in a display area according to an embodiment of the present invention.

도 10a 내지 도 10d는 본 발명의 실시예에 따른 디스플레이 영역의 잉여 영 역 처리 방법이 도시된 도면.10A to 10D are diagrams illustrating a method of processing a surplus area of a display area according to an embodiment of the present invention.

도 11은 본 발명의 제 2실시예에 따른 이미지 보정 기능을 구비한 화상 촬영 장치가 도시된 도면.Fig. 11 is a diagram showing an image photographing apparatus having an image correction function according to a second embodiment of the present invention.

도 12은 도 2에 사용자 보정부가 추가된 이미지 보정 기능을 구비한 화상 촬영 장치가 도시된 도면.FIG. 12 is a diagram illustrating an image photographing apparatus having an image correction function added with a user correction unit in FIG. 2.

도 13는 도 10에 사용자 보정부가 추가된 이미지 보정 기능을 구비한 화상 촬영 장치가 도시된 도면.FIG. 13 is a diagram illustrating an image photographing apparatus having an image correction function added with a user correction unit in FIG. 10.

도 14은 본 발명의 제 1실시예에 따른 이미지 보정 기능을 구비한 화상 촬영 장치의 동작 방법이 도시된 도면.FIG. 14 is a diagram showing a method of operating an image photographing apparatus with an image correction function according to a first embodiment of the present invention; FIG.

도 15는 본 발명의 제 2실시예에 다른 이미지 보정 기능을 구비한 화상 촬영 장치의 동작 방법이 도시된 도면.Fig. 15 is a diagram showing an operation method of an image photographing apparatus having an image correction function according to a second embodiment of the present invention.

<도면의 주요 부분에 관한 부호의 설명><Explanation of symbols on main parts of the drawings>

110: 이미지 획득부 120: 기울기 감지부110: image acquisition unit 120: tilt detection unit

130: 기울기 판단부 140: 보정부130: tilt determination unit 140: correction unit

150: 제 1저장부 160: 제 2저장부150: first storage unit 160: second storage unit

170: 전송부170: transmission unit

본 발명은 이미지 보정 기능을 구비한 화상 촬영 장치 및 그 동작 방법에 관 한 것으로서, 더욱 상세하게는 카메라의 위치에 따라 왜곡되는 사용자의 얼굴 이미지를 보정할 수 있는 이미지 보정 기능을 구비한 화상 촬영 장치 및 그 동작 방법에 관한 것이다.The present invention relates to an image capturing apparatus having an image correction function and an operation method thereof, and more particularly, to an image capturing apparatus including an image correction function capable of correcting a user's face image distorted according to a camera position. And a method of operation thereof.

최근 휴대용 통신 기기의 보급과 함께 이미지를 획득할 수 있는 카메라가 부착된 휴대용 통신 기기가 널리 사용되고 있다. 따라서, 사용자는 휴대용 통신 기기를 이용하여 자신의 얼굴 등을 촬영하여 획득한 이미지를 휴대용 통신 기기의 화면에 설정하거나 무선 네트워크를 통해 다른 사용자에게 송신할 수 있어 사용자간의 커뮤니케이션을 도모하고 있다. 최근 등장한 차세대 이동통신 서비스인 IMT-2000 서비스는 한 걸음 더 나아가 카메라가 부착된 휴대용 통신 기기 사용자간의 화상 통화 기능을 제공하고 있다.Recently, portable communication devices with cameras capable of acquiring images with the spread of portable communication devices have been widely used. Therefore, a user can set an image obtained by photographing his or her face using a portable communication device on a screen of the portable communication device or transmit it to another user through a wireless network, thereby promoting communication between users. IMT-2000, a next-generation mobile communication service that has recently emerged, goes a step further and provides a video call function between users of a portable communication device equipped with a camera.

그러나, 사용자는 화상 통화시 상대방의 얼굴 영상을 계속 주시하면서 수분 혹은 수십분 이상 사용해야 하는 화상 통화 기능의 특성상 손에 쥔 휴대용 통신 기기를 내려다보는 자세를 취하게 된다. 다시 말해서, 휴대용 통신 기기에 부착된 카메라가 사용자의 하측에 위치하여 사용자의 얼굴을 촬영하게 된다. 이런 각도에서 3차원 객체인 사용자의 얼굴은 턱이 강조되고 이마쪽으로 갈수록 좁게 보이는 원근 현상(Perspective)가 발생하게 되는데, 이와 같이 왜곡된 얼굴 이미지는 일반적으로 낯설고 사용자들에게 미적 기준에서 받아들여지기 힘든 것으로 간주되며, 일부에서는 화상 통화 기능의 보급이 지연되는 주된 심리적 원인으로 간주하기도 한다.However, the user is in a position to look down on the portable communication device held in his hand due to the nature of the video call function that must be used for several minutes or tens of minutes while continuously watching the face image of the other party during the video call. In other words, the camera attached to the portable communication device is located under the user to photograph the user's face. At this angle, the user's face, which is a three-dimensional object, has a chin that is accentuated and appears to be narrower toward the forehead. This distorted face image is generally unfamiliar and difficult for users to accept in aesthetic standards. It is considered to be a major psychological cause of delay in the spread of video call function.

구체적으로, 도 1의 (a)에 도시된 바와 같이, 휴대용 통신 기기가 사용자의 하측에 위치하거나 도 1의 (b)에 도시된 바와 같이, 휴대용 통신 기기가 사용자의 정면에 위치하거나 도 1의 (c)에 도시된 바와 같이, 휴대용 통신 기기가 사용자의 상측에 위치하여 사용자의 얼굴을 촬영할 경우, 촬영되는 사용자의 얼굴 이미지는 촬영하는 각도에 따라 달라지게 된다. 이때, 사용자가 휴대용 통신 기기를 내려다보는 자세, 즉 휴대용 통신 기기가 사용자의 하측에 위치하여 사용자의 얼굴을 촬영할 경우에는 전술한 바와 같이, 사용자의 턱이 강조되고 이마쪽으로 갈수록 좁게 보이는 것이다. 다시 말해서, 사용자의 턱 부분은 넓어지고 이마 부분은 좁아지게 된다.Specifically, as shown in FIG. 1A, the portable communication device is located below the user, or as shown in FIG. 1B, the portable communication device is located in front of the user, or as shown in FIG. As shown in (c), when the portable communication device is located above the user and photographs the user's face, the image of the user's face to be photographed varies according to the photographing angle. At this time, when the user looks down on the portable communication device, that is, when the portable communication device is located at the lower side of the user and photographs the user's face, the user's chin is emphasized and narrower toward the forehead. In other words, the user's jaw is widened and the forehead is narrowed.

휴대용 통신 기기에서 이미 보정 방법에 관하여, 한국 공개 특허 2004-0107890은 사용자와 휴대폰 디스플레이간의 상대적인 회전각 차이에 따라 휴대폰의 화면내의 영상 기울기를 자동으로 보정하여 영상이 사용자의 눈과 평행하게 되도록 하는 휴대폰의 영상 표시 보정 방법을 개시하고 있으나, 이는 휴대폰을 통해 보여지는 영상의 회전각을 보정하여 사용자의 움직임과 무관하게 항상 눈과 영상이 평행하게 하여 화면 정보를 보다 손쉽고 자연스럽게 인식하는 것에 관한 것으로, 아직까지 화상 통화를 상정하여 카메라를 내려다보는 사용자의 얼굴 이미지 획득 과정에서 발생하는 3차원적 왜곡을 보정하는 사례는 보고되지 않고 있다.Regarding the correction method in the portable communication device, Korean Laid-Open Patent 2004-0107890 automatically corrects the tilt of the image in the screen of the mobile phone according to the difference in the relative rotation angle between the user and the mobile phone display so that the image is parallel to the user's eyes. The present invention discloses a method of correcting image display, but it is related to correcting the rotation angle of the image displayed through the mobile phone so that the eye and the image are always parallel so that the screen information can be recognized more easily and naturally. Until now, a case of correcting a three-dimensional distortion occurring in the process of acquiring a face image of a user looking down at a camera has not been reported.

본 발명은 휴대용 통신 기기를 이용한 화상 통화시, 피사체의 이미지를 획득하는 기기의 자세를 판단하고, 판단된 자세에 따라 획득된 이미지의 보정을 수행하여 사용자가 원하는 이미지를 얻을 수 있는 이미지 보정 기능을 구비한 화상 촬영 장치 및 그 동작 방법을 제공하는데 그 목적이 있다.The present invention provides an image correction function for determining a posture of a device that acquires an image of a subject and performing a correction of the acquired image according to the determined posture during a video call using a portable communication device. It is an object of the present invention to provide an image photographing apparatus and its operation method.

본 발명의 목적은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.The object of the present invention is not limited to the above-mentioned object, and other objects that are not mentioned will be clearly understood by those skilled in the art from the following description.

상기 목적을 달성하기 위하여, 본 발명의 실시예에 따른 이미지 보정 기능을 구비한 화상 촬영 장치는, 소정의 피사체에 대한 이미지를 획득하는 이미지 획득부, 상기 피사체에 대한 상기 이미지 획득부의 기울기를 판단하는 기울기 판단부, 및 상기 판단된 기울기에 따라 상기 획득된 이미지를 보정하는 보정부를 포함한다.In order to achieve the above object, the image pickup device having an image correction function according to an embodiment of the present invention, the image acquisition unit for obtaining an image for a predetermined subject, the image acquisition unit for determining the inclination of the image acquisition unit with respect to the subject A tilt determining unit, and a correcting unit correcting the obtained image according to the determined tilt.

또한, 상기 목적을 달성하기 위하여, 본 발명의 실시예에 따른 이미지 보정 기능을 구비한 화상 촬영 장치의 동작 방법은, 소정의 피사체에 대한 이미지를 획득하는 단계, 상기 피사체에 대한 상기 이미지 획득부의 기울기를 판단하는 단계, 및 상기 판단된 기울기에 따라 상기 획득된 이미지를 보정하는 단계를 포함한다.In addition, in order to achieve the above object, the operation method of the image photographing apparatus with an image correction function according to an embodiment of the present invention, the step of obtaining an image for a predetermined subject, the inclination of the image acquisition unit relative to the subject And determining the corrected image according to the determined slope.

기타 실시예들의 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.Specific details of other embodiments are included in the detailed description and the drawings.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범수를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.Advantages and features of the present invention and methods for achieving them will be apparent with reference to the embodiments described below in detail with the accompanying drawings. However, the present invention is not limited to the embodiments disclosed below, but can be implemented in various different forms, and only the embodiments make the disclosure of the present invention complete, and the general knowledge in the art to which the present invention belongs. It is provided to fully inform the person having the scope of the invention, the invention is defined only by the scope of the claims. Like reference numerals refer to like elements throughout.

이하, 본 발명의 실시예들에 의하여 이미지 보정 기능을 구비한 화상 촬영 장치 및 그 동작 방법을 설명하기 위한 블록도 또는 처리 흐름도에 대한 도면들을 참고하여 본 발명에 대해 설명하도록 한다. 이 때, 처리 흐름도 도면들의 각 블록과 흐름도 도면들의 조합들은 컴퓨터 프로그램 인스트럭션들에 의해 수행될 수 있음을 이해할 수 있을 것이다. 이들 컴퓨터 프로그램 인스트럭션들은 범용 컴퓨터, 특수용 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서에 탑재될 수 있으므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서를 통해 수행되는 그 인스트럭션들이 흐름도 블록(들)에서 설명된 기능들을 수행하는 수단을 생성하게 된다. 이들 컴퓨터 프로그램 인스트럭션들은 특정 방식으로 기능을 구현하기 위해 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 지향할 수 있는 컴퓨터 이용 가능 또는 컴퓨터 판독 가능 메모리에 저장되는 것도 가능하므로, 그 컴퓨터 이용가능 또는 컴퓨터 판독 가능 메모리에 저장된 인스트럭션들은 흐름도 블록(들)에서 설명된 기능을 수행하는 인스트럭션 수단을 내포하는 제조 품목을 생산하는 것도 가능하다. 컴퓨터 프로그램 인스트럭션들은 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에 탑제되는 것도 가능하므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에서 일련의 동작 단계들이 수행되어 컴퓨터로 실행되는 프로세스를 생성해서 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 수행하는 인스트럭션들은 흐름도 블록(들)에서 설명된 기능들을 실행하기 위한 단계들을 제공하는 것도 가능하다. Hereinafter, the present invention will be described with reference to the drawings of a block diagram or a processing flowchart for explaining an image photographing apparatus having an image correction function and an operation method thereof according to embodiments of the present invention. At this point, it will be understood that each block of the flowchart illustrations and combinations of flowchart illustrations may be performed by computer program instructions. Since these computer program instructions may be mounted on a processor of a general purpose computer, special purpose computer, or other programmable data processing equipment, those instructions executed through the processor of the computer or other programmable data processing equipment may be described in flow chart block (s). It will create means to perform the functions. These computer program instructions may be stored in a computer usable or computer readable memory that can be directed to a computer or other programmable data processing equipment to implement functionality in a particular manner, and thus the computer usable or computer readable memory. It is also possible for the instructions stored in to produce an article of manufacture containing instruction means for performing the functions described in the flowchart block (s). Computer program instructions It is also possible to mount on a computer or other programmable data processing equipment, so that a series of operating steps are performed on the computer or other programmable data processing equipment to create a computer-implemented process to perform the computer or other programmable data processing equipment. It is also possible for the instructions to provide steps for performing the functions described in the flowchart block (s).

또한, 각 블록은 특정된 논리적 기능(들)을 실행하기 위한 하나 이상의 실행 가능한 인스트럭션들을 포함하는 모듈, 세그먼트 또는 코드의 일부를 나타낼 수 있다. 또, 몇 가지 대체 실행예들에서는 블록들에서 언급된 기능들이 순서를 벗어나서 발생하는 것도 가능함을 주목해야 한다. 예컨대, 잇달아 도시되어 있는 두 개의 블록들은 사실 실질적으로 동시에 수행되는 것도 가능하고 또는 그 블록들이 때때로 해당하는 기능에 따라 역순으로 수행되는 것도 가능하다.In addition, each block may represent a portion of a module, segment, or code that includes one or more executable instructions for executing a specified logical function (s). It should also be noted that in some alternative implementations, the functions noted in the blocks may occur out of order. For example, the two blocks shown in succession may in fact be executed substantially concurrently, or the blocks may sometimes be executed in the reverse order, depending on the corresponding function.

본 발명의 실시예에 따른 이미지 보정 기능을 구비한 화상 촬영 장치는, 카메라 및 카메라가 부착된 휴대용 통신 기기(예를 들어, 휴대폰 및 PDA(Personal Digital Assistant) 등과 같은 기기를 포함하는 경우를 예를 들어 설명하고 있으나, 이에 한정되지 않고 데스크탑 및 노트북 등의 PC에 연결되어 사용되는 카메라 등에도 적용될 수 있다. 또한, 본 발명의 실시예에 따른 이미지 보정은 피사체의 이미지를 획득하는 모듈의 위치에 따라 획득된 이미지를 보정하는 것에 관한 것으로, 본 발명의 실시예에서 이미지를 획득하는 모듈의 위치를 판단하기 위한 방법으로 각도 센서(Tilt Sensor) 및 가속도계(Accelerometer) 등과 같이 소정의 기준면에 대하여 기울기를 감지할 수 있는 장치를 사용하거나 사전 지정된 기울기를 사용할 수 있다.An image capturing apparatus having an image correction function according to an exemplary embodiment of the present invention may include a camera and a portable communication device (for example, a mobile phone and a personal digital assistant) equipped with a camera. For example, the present invention is not limited thereto, and may be applied to a camera connected to a PC such as a desktop and a notebook computer, etc. In addition, the image correction according to an embodiment of the present invention may be performed according to the position of a module for acquiring an image of a subject. The present invention relates to correcting an acquired image, and to detect a tilt with respect to a predetermined reference plane such as an angle sensor and an accelerometer as a method for determining a position of a module for acquiring an image in an embodiment of the present invention. Can be used or a predetermined slope can be used.

도 2는 본 발명의 제 1실시예에 따른 이미지 보정 기능을 구비한 화상 촬영 장치가 도시된 도면이다.2 is a diagram illustrating an image photographing apparatus having an image correction function according to a first embodiment of the present invention.

도시된 바와 같이, 본 발명의 제 1실시예에 따른 이미지 보정 기능을 구비한 화상 촬영 장치(100)는, 소정의 피사체에 대한 이미지를 획득하는 이미지 획득 부(110), 소정의 기준면에 대하여 이미지 획득부(110)가 설치된 기기의 기울기를 감지하는 기울기 감지부(120), 감지된 기울기에 따라 이미지 획득부(110)의 기울기를 판단하는 기울기 판단부(130) 및 판단된 기울기에 따라 획득된 이미지의 보정을 수행하는 보정부(140)를 포함할 수 있다.As shown in the drawing, the image capturing apparatus 100 having an image correction function according to the first embodiment of the present invention includes an image acquisition unit 110 for acquiring an image of a predetermined subject and an image with respect to a predetermined reference plane. The tilt detector 120 detects the tilt of the device in which the acquirer 110 is installed, the tilt determiner 130 determines the tilt of the image acquirer 110 according to the detected tilt, and is obtained according to the determined tilt. It may include a correction unit 140 for performing the correction of the image.

또한, 획득된 이미지 및 보정된 이미지를 저장하는 제 1저장부(150), 기울기 감지부(120)에 의해 감지된 기울기 및 기울기 판단부(130)에 의해 판단된 기울기를 저장하는 제 2저장부(160), 보정된 이미지를 소정의 인터페이스를 통해 외부로 전송하는 전송부(170)를 더 포함할 수 있다.In addition, the first storage unit 150 for storing the acquired image and the corrected image, the second storage unit for storing the tilt determined by the tilt and the tilt determination unit 130 detected by the tilt detection unit 120 160 may further include a transmission unit 170 for transmitting the corrected image to the outside through a predetermined interface.

이때, 본 발명의 실시예에서 피사체는 인물 피사체인 경우의 예를 들어 설명하고 있으나, 이에 한정되지 않는다. 또한, 본 발명의 실시예에서 이미지 획득부(110)의 위치는 피사체를 올려다보는 위치, 다시 말해서 피사체가 위치하며 중력의 작용 방향과 수직인 면의 하측에 위치하는 경우의 예를 들어 설명하기로 한다. 따라서, 본 발명의 실시예에서 이미지 획득부(110)는 피사체의 하측에서 촬영을 하게 된다.At this time, in the embodiment of the present invention, the subject is described as an example of a human subject, but is not limited thereto. In addition, in the embodiment of the present invention, the position of the image acquisition unit 110 will be described by taking an example of a case where the subject looks up, that is, when the subject is located below the surface perpendicular to the direction of gravity action. do. Therefore, in the embodiment of the present invention, the image acquisition unit 110 takes a picture under the subject.

또한, 이미지 획득부(110)는 휴대용 통신 기기에 장착된 CCD(Charge Coupled Device) 카메라 등으로 이해될 수 있으며, 이미지 획득부(110)에 의해 획득된 이미지는 전술한 제 1저장부(150)에 저장될 수 있다. 본 발명의 실시예에서 제 1저장부(150)는 캐시, ROM, PROM, EPROM, EEPROM, 플래시, SRAM 및 SRAM 등과 같은 형태의 장치들이 사용될 수 있으나, 이에 한정되지 않는다. 본 발명의 실시예에서는 제 1저장부(150)로 비휘발성 저장 매체인 플래시 메모리가 사용된 경우를 예를 들어 설명하기로 한다.In addition, the image acquisition unit 110 may be understood as a CCD (Charge Coupled Device) camera mounted in a portable communication device, the image obtained by the image acquisition unit 110 is the first storage unit 150 described above Can be stored in. In the embodiment of the present invention, the first storage unit 150 may be a device such as a cache, a ROM, a PROM, an EPROM, an EEPROM, a flash, an SRAM, and an SRAM, but is not limited thereto. In the embodiment of the present invention, a case in which a flash memory as a nonvolatile storage medium is used as the first storage unit 150 will be described.

이때, 본 발명의 실시예에서는 이미지 획득부(110)가 휴대용 통신 기기에 장착된 경우를 예를 들어 설명하고 있으나, 이는 본 발명의 이해를 돕기 위한 일 예에 불과한 것으로, 이에 한정되지 않고 이미지 획득부(110)가 장착될 수 있으며 피사체를 촬영할 수 있는 모든 기기에 적용될 수 있다.At this time, in the embodiment of the present invention has been described a case in which the image acquisition unit 110 is mounted on a portable communication device by way of example, this is only one example to help the understanding of the present invention, is not limited to this image acquisition The unit 110 may be mounted and may be applied to any device capable of photographing a subject.

한편, 기울기 감지부(120)는 각도 센서(Tilt Sensor) 및 가속도계(Accelerometer) 등과 같이 소정의 기준면에 대하여 기울기를 감지할 수 있는 장치를 사용하여 소정의 기준면에 대하여 이미지 획득부(110)가 설치된 기기의 기울기를 감지할 수 있다. 다시 말해서, 기울기 감지부(120)는 피사체가 인물 피사체인 경우, 이미지 획득부(110)가 획득된 이미지를 이용하여 인물 피사체의 안면 특징점 간의 상대 위치로부터 인물 피사체와 이미지 획득부간의 기울기를 감지할 수 있다. 이때, 기준면은 측정 수단으로서 전술한 센서들을 전제할 때 중력의 작용방향과 수직한 면으로 이해될 수 있으며, 본 발명의 실시예에서는 지면인 경우를 예를 들어 설명하기로 한다.On the other hand, the tilt detection unit 120 is an image acquisition unit 110 is installed with respect to a predetermined reference plane using a device capable of detecting a tilt with respect to a predetermined reference plane, such as an angle sensor (Tilt Sensor) and an accelerometer (Accelerometer). It can detect the tilt of the device. In other words, when the subject is a person subject, the tilt detector 120 detects the tilt between the person subject and the image acquirer from the relative position between the facial feature points of the person subject using the acquired image. Can be. In this case, the reference plane may be understood as a plane perpendicular to the direction of action of gravity under the assumption of the above-described sensors as the measuring means. In the embodiment of the present invention, a case of the ground will be described as an example.

본 발명의 실시예에서는 기울기 감지부(120)가 크게 본체 및 디스플레이 장치로 나뉘어진 휴대용 통신 기기의 본체 내부에 설치된 경우를 예를 들어 설명하기로 하고, 지면에 대하여 휴대용 통신 기기 본체의 기울기를 감지하는 경우를 예를 들어 설명하기로 한다.In the exemplary embodiment of the present invention, a case in which the tilt detection unit 120 is installed inside the main body of the portable communication device divided into the main body and the display device will be described by way of example, and the tilt of the main body of the portable communication device is detected with respect to the ground. The case will be described with an example.

도 3은 본 발명의 실시예에 따라 지면으로부터 휴대용 통신 기기 본체의 기울기를 감지하는 기울기 감지부가 도시된 개략도이다.3 is a schematic diagram illustrating a tilt detection unit for detecting a tilt of a portable communication device main body from the ground according to an embodiment of the present invention.

도시된 바와 같이, 휴대용 통신 기기의 본체(210) 내부에 기울기 감지부(120)가 설치된다. 이때, 기울기 감지부(120)는 지면(220)과 평행한 면으로부터 휴대용 통신 기기의 본체(210)가 기울어진 기울기를 감지할 수 있다. 감지된 기울기는 전술한 제 2저장부(160)에 저장될 수 있다. 이때, 제 2저장부(160) 또한 전술한 제 1저장부(150)와 마찬가지로 캐시, ROM, PROM, EPROM, EEPROM, 플래시, SRAM 및 SRAM 등과 같은 형태의 장치들이 사용될 수 있으나, 이에 한정되지 않는다. 또한, 본 발명의 실시예에서는 제 1저장부(150) 및 제 2저장부(160)가 하드웨어적으로 각각 구성되는 경우를 예를 들어 설명하고 있으나, 이에 한정되지 않고 하드웨어적으로 통합되어 구성될 수도 있다.As shown, the tilt detection unit 120 is installed inside the main body 210 of the portable communication device. In this case, the tilt detection unit 120 may detect a tilt of the body 210 of the portable communication device inclined from the plane parallel to the ground 220. The sensed slope may be stored in the second storage unit 160 described above. In this case, the second storage unit 160 may also be a device such as cache, ROM, PROM, EPROM, EEPROM, flash, SRAM and SRAM like the first storage unit 150 described above, but is not limited thereto. . In addition, in the exemplary embodiment of the present invention, a case in which the first storage unit 150 and the second storage unit 160 are configured by hardware is described as an example, but is not limited thereto. It may be.

이하, 본 발명의 실시예에서 휴대용 통신 기기 본체(210)가 지면(220)과 평행한 면에 대해 기울어진 기울기를 'θ1'칭하기로 한다. 이때, 기울기 감지부(120)에서 감지되는 기울기의 기준을 지면(220)을 사용한 것은 본 발명의 이해를 돕기 위한 것으로 기울기 감지부(120)에서 감지되는 기울기의 기준면은 이미지를 획득하는 환경에 따라 변경될 수 있다. 또한, 전술한 도 2에서 θ1은 지면(220)에 대하여 음의 값을 가지는 것으로 이해될 수 있다.Hereinafter, in the exemplary embodiment of the present invention, the tilt of the portable communication device main body 210 with respect to the plane parallel to the ground 220 will be referred to as 'θ 1 '. In this case, the use of the ground 220 as the reference of the tilt detected by the tilt detecting unit 120 is to help the understanding of the present invention. The reference plane of the tilt detected by the tilt detecting unit 120 depends on an environment for acquiring an image. can be changed. In addition, in FIG. 2 described above, θ 1 may be understood to have a negative value with respect to the ground 220.

기울기 판단부(130)는 기울기 감지부(120)을 기준으로 하여 기울기 감지부(120)와 이미지 획득부(110)의 광축(111) 사이의 각도를 고려하여 이미지 획득부(110)의 기울기를 산출할 수 있다. 이때, 기울기 판단부(130)에 의해 판단된 기울기는 기울기 감지부(120)에서 감지된 기울기와 마찬가지로 제 2저장부(160)에 저 장될 수 있으며, 전술한 기울기 감지부(120)에서 감지된 기울기와 더불어 기울기 감지부(120)와 이미지 획득부(110)의 각도를 고려하여 이미지 획득부(110)의 기울기를 산출함으로써, 소정의 피사체를 기준으로 휴대용 통신 기기가 어느 곳에 위치하는지를 판단할 수 있는 척도가 될 수 있다. 구체적으로, 기울기 판단부(130)는 도 4와 같이, 휴대폰 통신 기기의 본체(210)에 설치된 기울기 감지부(120)와 이미지 획득부(110)의 광축(111) 사이의 각도를 판단하고, 판단된 각도와 기울기 감지부(120)에서 감지된 기울기를 통해 이미지 획득부(110)의 기울기를 판단할 수 있다. 이하, 본 발명의 실시예에서 이미지 획득부(110)와 기울기 감지부(120) 사이의 각도를 'θ2'라 칭하기로 한다. 또한, 전술한 도 4에서 θ2는 기울기 감지부(120)에 대하여 양의 값을 가지는 것으로 이해될 수 있다. 따라서, 기울기 판단부(130)에서 판단되는 기울기는 'θ12'가 될 수 있다.The tilt determining unit 130 may adjust the tilt of the image obtaining unit 110 in consideration of the angle between the tilt detecting unit 120 and the optical axis 111 of the image obtaining unit 110 based on the tilt detecting unit 120. Can be calculated. In this case, the inclination determined by the inclination determination unit 130 may be stored in the second storage unit 160, similarly to the inclination detected by the inclination detection unit 120, and may be detected by the inclination detection unit 120 described above. By calculating the inclination of the image acquisition unit 110 in consideration of the inclination of the tilt detection unit 120 and the image acquisition unit 110, it is possible to determine where the portable communication device is located based on a predetermined subject. It can be a measure. Specifically, the tilt determination unit 130 determines the angle between the tilt detection unit 120 installed in the main body 210 of the mobile phone communication device and the optical axis 111 of the image acquisition unit 110, as shown in FIG. The inclination of the image acquisition unit 110 may be determined based on the determined angle and the inclination detected by the inclination detection unit 120. Hereinafter, in the embodiment of the present invention, the angle between the image acquisition unit 110 and the tilt detection unit 120 will be referred to as 'θ 2 '. In addition, in FIG. 4 described above, θ 2 may be understood to have a positive value with respect to the tilt detection unit 120. Therefore, the slope determined by the tilt determination unit 130 may be 'θ 1 + θ 2 '.

보정부(140)는 기울기 판단부(130)에서 판단된 기울기인 'θ12'를 통해 현재 이미지 획득부(110)가 피사체로부터 상측에 위치하는지 또는 하측에 위치하는지의 여부를 판단할 수 있다. 예를 들어, 전술한 도 3 및 도 4에서 지면(220)을 0도라고 가정할 경우, 'θ12'가 0도라면 이미지 획득부(110)의 광축(111)이 지면(220)과 평행한 것으로 판단될 수 있다. 다른 실시예로, 기울기 감지부(120)가 이미지 획득부(110)의 광축(111)과 평행하게 설치된다면, 기울기 감지부(120)에서 감지된 기울기가 곧 지표면 기준 카메라의 기울기로 간주될 수 있다. 따라서, 도 5 에 도시된 바와 같이, 판단된 기울기인 'θ12'가 음의 값이면 이미지 획득부(110)가 피사체(300)의 상측, 판단된 기울기인 'θ12'가 양의 값이면 이미지 획득부(110)가 피사체(300)의 하측에 위치한 것으로 판단될 수 있다.The correction unit 140 may determine whether the current image acquisition unit 110 is located above or below the subject through 'θ 1 + θ 2 ', which is the slope determined by the tilt determination unit 130. Can be. For example, in the above-described FIGS. 3 and 4, when the surface 220 is 0 degrees, if 'θ 1 + θ 2 ' is 0 degrees, the optical axis 111 of the image acquisition unit 110 is the ground 220. It can be judged to be parallel to. In another embodiment, if the tilt detector 120 is installed in parallel with the optical axis 111 of the image acquirer 110, the tilt detected by the tilt detector 120 may be regarded as the tilt of the ground reference camera. have. Therefore, as shown in FIG. 5, when the determined inclination 'θ 1 + θ 2 ' is a negative value, the image acquisition unit 110 is located on the upper side of the subject 300 and the determined inclination 'θ 1 + θ 2'. If 'is a positive value, it may be determined that the image acquisition unit 110 is located under the subject 300.

이때, 본 발명의 실시예에서 피사체는 사용자 자신의 얼굴이고, 사용자가 원하는 이미지는 사용자 자신의 얼굴을 기준으로 이미지 획득부(110)가 상측에 위치한 경우에 획득된 경우를 예를 들어 설명하기로 한다. 또한, 본 발명의 실시예에서 이미지 획득부(110)의 광축(111)이 사용자를 향하고 있는 경우를 예를 들어 설명하고 있으나, 이에 한정되지 않고 사용자 이외에 다른 피사체를 향할 수 있다. 따라서, 전술한 'θ12'에 따라 판단되는 이미지 획득부(110)의 위치는 이미지 획득부(110)에 광축(111)에 의해 변경될 수 있다.In this case, in the exemplary embodiment of the present invention, the subject is the user's own face, and the image desired by the user will be described by taking an example where the image acquisition unit 110 is acquired based on the user's face. do. In addition, although the optical axis 111 of the image acquisition unit 110 is directed toward the user in the embodiment of the present invention, for example, the present invention is not limited thereto. Therefore, the position of the image acquisition unit 110 determined according to the aforementioned 'θ 1 + θ 2 ' may be changed by the optical axis 111 in the image acquisition unit 110.

이때, 보정부(140)는 이미지 획득부(110)가 사용자 자신의 얼굴 하측에서 사용자의 얼굴을 획득한 경우, 즉 'θ12'가 양의 값인 경우 획득한 이미지는 사용자가 원하는 이미지가 아니므로 보정부(140)는 획득한 이미지의 보정을 수행하게 된다. 이때, 보정부(140)는 사용자가 사전에 지정된 위치나 디폴트로 설정된 위치와 전술한 기울기 판단부(130)에 의해 판단된 기울기를 비교하여 사용자가 원하는 이미지의 획득 여부를 판단하게 되고, 판단 결과에 따라 보정 수행 여부를 결정하게 된다. 다시 말해서, 판단된 기울기가 사용자가 원치 않은 얼굴 이미지에서의 원근 왜곡을 유발하는 각도라고 판단되면, 보정부(140)는 발생된 왜곡을 보정하는 것이다.In this case, the corrector 140 acquires a user's face under the user's own face, that is, when 'θ 1 + θ 2 ' is a positive value, the acquired image is an image desired by the user. Since the correction unit 140 does not correct the obtained image. In this case, the correction unit 140 compares the inclination determined by the inclination determination unit 130 with a position previously set or defaulted by the user to determine whether the user acquires the desired image. It is determined whether to perform the correction according to. In other words, if it is determined that the determined inclination is an angle causing the perspective distortion in the unwanted face image, the correction unit 140 corrects the generated distortion.

구체적으로, 사용자 자신의 얼굴 하측에서 이미지 획득부(110)가 사용자의 얼굴 이미지를 획득한 경우에는 도 6의 (a)에 도시된 바와 같이, 사용자가 원하는 이미지와는 달리 턱부분(310)이 강조되고, 이마 부분이(320)이 작게 나오는 왜곡된 이미지를 획득하게 된다. 따라서, 보정부(140)는 전술한 도 6의 (a)의 이미지에 대한 원근 현상 보정을 수행하여 도 6의 (b)에 도시된 바와 같이, 턱부분(310)을 전술한 도 6의 (a)에 비하여 줄이고, 이마 부분을(320)을 넓혀 도 6의 (a)의 왜곡된 이미지를 사용자가 원하는 이미지로 보정을 수행할 수 있다. 예를 들어, 도 6의 (a)의 턱부분(310)의 너비를 A라 하고, 도 6의 (b)의 턱부부(310)의 너비를 B라 가정하면, A>B인 관계를 가지는 것이다.Specifically, when the image acquisition unit 110 acquires the face image of the user under the user's own face, as shown in FIG. 6A, the jaw portion 310 is different from the image desired by the user. The distorted image is emphasized and the forehead portion 320 is smaller. Therefore, the correction unit 140 performs perspective correction on the image of FIG. 6A, and thus, the jaw portion 310 as shown in FIG. 6B. Compared to a), the forehead portion 320 is widened to correct the distorted image of FIG. 6A to an image desired by the user. For example, assuming that the width of the jaw portion 310 of FIG. 6 (a) is A, and the width of the jaw portion 310 of FIG. 6 (b) is B, it has a relationship of A> B. will be.

또한, 본 발명의 실시예에서의 이미지 보정은, 전술한 도 6과 같이 이미지의 변형하는 것과 아울러, 촬영시 카메라 플래시의 강제 발광이나 이미지의 밝기를 높혀 음영 효과를 감소시키는 등의 다양한 보정이 함께 수행될 수 있다. In addition, the image correction in the embodiment of the present invention, as shown in Figure 6 described above, in addition to various corrections such as reducing the shadow effect by forcibly firing the camera flash or increasing the brightness of the image when shooting Can be performed.

이러한 이미지의 보정을 보다 상세하게 살펴보면, 도 7에 도시된 바와 같이, 보정부(140)는 획득된 이미지의 가로방향을 x축, 세로 방향을 y축이라 하고, 획득된 이미지를 가로방향 및 세로방향으로 등간격을 가지는 격자로 나누었을 때, (x, y)가 (0, 0)인 지점을 기준으로 y가 증가함에 따라 이미지의 폭(W) 및 세로방향의 격자간격(d)가 감소되도록 보정이 수행될 수 있다. 따라서, 보정부(140)는 이미지 획득부(110)가 사용자 자신의 얼굴 하측에서 획득한 이미지를 이미지 보정을 통해 도 8에 도시된 바와 같이, 이미지의 상측을 넓히고, 이미지의 하측을 좁히며, 세로 방향의 격자 간격(d)을 줄여 사용자가 원하는 이미지를 얻게 된다. 다시 말해서, 보정부(140)는 보정전 이미지에서 형태와 면적이 동일하고 상하 방향으로 위치를 달리하는 소정의 두 영역(Region)을 정했을 때, 보정 후 크기와 형상이 변화한 두 이미지를 비교할 경우, 두 영역 중 상대적으로 하측에 위치한 영역이 상측에 위치한 영역보다 면적이 작아지도록 보정하는 것이다.Looking at the correction of such an image in more detail, as shown in FIG. 7, the correction unit 140 is referred to as the x-axis and the y-axis as the horizontal direction of the acquired image. When dividing into grids with equal spacing in the direction, the width (W) and the vertical grid spacing (d) of the image decrease as y increases with respect to the point where (x, y) is (0, 0). Correction may be performed so as to. Accordingly, the correction unit 140 widens the upper side of the image and narrows the lower side of the image, as shown in FIG. 8 through image correction of the image acquired by the image acquisition unit 110 under the user's own face, The grid spacing d in the vertical direction is reduced to obtain the desired image. In other words, the corrector 140 determines two regions having the same shape and area in the pre-correction image and different positions in the vertical direction. In this case, the area of the two regions, which is located on the lower side, is relatively smaller than the area of the upper side.

이때, 보정부(140)에 의해 획득된 이미지의 보정이 수행된 후, 보정된 이미지가 디스플레이되는 영역과 보정된 이미지의 영역이 다를 경우, 즉 보정된 이미지의 영역이 디스플레이 영역보다 작거나 위치가 일치하지 않을 경우,디스플레이 영역에 보여줄 이미지가 없는 빈 영역으로 인해 사용자가 거부감이 일어나게 되는 것을 사전에 방지하기 위하여, 보정부(140)는 빈 영역에 대한 처리를 수행할 수 있다. 예를 들어, 전술한 도 7 및 도 8에 따른 보정이 수행된 경우, 보정된 이미지의 하측은 상측에 비하여 그 폭이 좁게 된다. 따라서, 디스플레이 영역이 사각형 형태인 경우, 보정된 이미지의 상측은 디스플레이 영역의 폭과 같으나 보정된 이미지의 하측은 디스플레이 영역의 폭보다 작게 되어 보정된 이미지 양측으로 빈 영역이 발생될 수 있는 것이다.In this case, after the correction of the image acquired by the correction unit 140 is performed, if the region where the corrected image is displayed and the region of the corrected image are different, that is, the region of the corrected image is smaller than the display region or the position of the corrected image is different. If it does not match, in order to prevent the user from being rejected due to a blank area where there is no image to be displayed in the display area, the correction unit 140 may perform processing on the blank area. For example, when the correction according to FIGS. 7 and 8 described above is performed, the lower side of the corrected image is narrower than the upper side. Therefore, when the display area has a rectangular shape, the upper side of the corrected image is equal to the width of the display area, but the lower side of the corrected image is smaller than the width of the display area, so that blank areas may be generated on both sides of the corrected image.

다시 말해서, 도 9와 같이, 보정부(140)는 디스플레이 영역(410) 및 보정된 이미지 영역(420)의 크기가 서로 달라 발생되는 빈 영역(430)에 대한 처리를 수행할 수 있다. In other words, as shown in FIG. 9, the correction unit 140 may perform processing on the blank area 430 generated due to the different sizes of the display area 410 and the corrected image area 420.

본 발명의 실시예에서 빈 영역(430)에 대한 처리 방법으로는, 도 10a와 같이, 빈 영역(430)을 보정전 이미지(440)에 빈 영역(430)을 구성하는 픽셀값으로 채우거나 도 10b와 같이, 빈 영역(430)을 빈 영역(430)의 소정 픽셀을 기준으로 같은 행 내에서 가장 가까운 위치에 존재하는 보정된 이미지(420)의 픽셀값으로 채우거나 도 10c와 같이, 빈 영역(430)이 가려지도록 디스플레이 영역(410) 둘레에 소정 프레임(450)(예를 들어, 액자형 프레임 등)을 오버레이시킬 수 있다. 이때, 전술한 바와 같은 오버레이 및 픽셀값을 이용하는 방법은 보정된 이미지의 상측 폭이 디스플레이 영역(410)의 폭과 동일한 경우의 일 예로 이해될 수 있다. 또한, 도 10d와 같이, 획득된 이미지가 디스플레이 영역(410)보다 충분히 큰 경우, 획득된 이미지 보정 후 디스플레이 영역(410)의 크기에 맞게 보정된 이미지를 절단하는 방법이 사용될 수 있으나, 이에 한정되지 않는다. 이때, 획득된 이미지가 디스플레이 영역(410)보다 큰 경우는 일반적으로 이미지 획득부(110)에서 획득되는 이미지의 해상도는 디스플레이 영역(410)의 해상도보다 높다는 것을 고려한 것으로, 이미지 보정 후에 디스플레이 영역(410)을 벗어나는 이미지 영역을 제거하는 것이다.In the exemplary embodiment of the present invention, the empty region 430 may be processed by filling the empty region 430 with pixel values constituting the empty region 430 in the pre-correction image 440 as shown in FIG. 10A. Fill the blank area 430 with the pixel values of the corrected image 420 that are in the closest position within the same row with respect to the predetermined pixel of the blank area 430, as in 10b, or as shown in FIG. 10C. A predetermined frame 450 (eg, a framed frame, etc.) may be overlaid around the display area 410 so that the 430 is hidden. In this case, the method using the overlay and the pixel value as described above may be understood as an example when the upper width of the corrected image is the same as the width of the display area 410. In addition, as shown in FIG. 10D, when the acquired image is sufficiently larger than the display area 410, a method of cutting the corrected image according to the size of the display area 410 after correcting the obtained image may be used, but is not limited thereto. Do not. In this case, when the acquired image is larger than the display area 410, it is generally considered that the resolution of the image acquired by the image acquisition unit 110 is higher than the resolution of the display area 410. To remove the image area outside

또한, 전술한 도 10a 내지 도 10d을 통한 빈 영역(430)에 대한 처리 방법 이외에도, 보정된 이미지(420)에서 빈 영역(430)을 제외한 안쪽의 온전한 사각형 이미지를 잘라낸다음, 잘라진 이미지를 디스플레이 영역(410)에 채울 수 있는 크기로 확대 처리하는 방법도 사용될 수 있다.Also, in addition to the processing method for the blank area 430 through FIGS. 10A to 10D described above, the intact rectangular image except for the blank area 430 is cut out of the corrected image 420, and then the cropped image is displayed. A method of enlarging the image to fill the size 410 may also be used.

이와 같이, 디스플레이 영역(410)과 보정된 이미지(420)의 크기가 일치하지 않아 빈 영역(430)이 발생되는 것에 대한 처리 방법으로, 전술한 도 10a 내지 도 10d를 예를 들어 설명하고 있으나, 이에 한정되지 않는다.As described above, FIGS. 10A to 10D have been described as a processing method for generating the blank area 430 because the size of the display area 410 and the corrected image 420 do not match. It is not limited to this.

한편, 보정부(140)는 이미지 보정시, 기하 변환(Geometric transform) 기법 및 기하 변환의 한 종류인 원근 변환(Perspective transform) 기법 등을 사용하여 이미지의 보정을 수행할 수 있으나, 이는 본 발명의 이해를 돕기 위한 일 예에 불과하며, 이미지 보정시 사용되는 다양한 기법을 사용할 수 있다.Meanwhile, when the image is corrected, the correction unit 140 may correct the image by using a geometric transform technique and a perspective transform technique, which is a type of geometric transformation. This is only an example to help understand, and various techniques used for image correction may be used.

참고로, 원근변환 기법은 통상의 행렬기반 영상 변환 알고리즘으로서, 예를 들어 식 1에 따라 이미지의 보정이 이루어질 수 있으며, 식 1에서 x 및 y는 보정전 이미지의 소정 지점을 의미하고, x' 및 y'는 x 및 y에 따른 지점이 원근변환 기법에 의해 위치가 변경되어 보정된 지점을 의미하고, w는 가중치를 의미한다. 본 발명의 실시예에서는 기울기 판단부(130)에 의해 최종 판단된 이미지 획득부(110)의 지면 기준 기울기에 근거하여 식 1의 변환 행렬 계수인 m00, m01, m02, m10, m11, m12, m20, m21, m22의 값을 조절한다.For reference, the perspective transformation technique is a conventional matrix-based image transformation algorithm, for example, an image may be corrected according to Equation 1, where x and y denote a predetermined point of the image before correction, and x ' And y 'denotes a point where a position according to x and y is corrected by changing a position by a perspective transformation technique, and w denotes a weight. In the exemplary embodiment of the present invention, m00, m01, m02, m10, m11, m12, and m20 which are transformation matrix coefficients of Equation 1 based on the ground reference slope of the image acquisition unit 110 finally determined by the gradient determination unit 130. Adjust the values of m21 and m22.

[식 1][Equation 1]

Figure 112006063529195-pat00001
Figure 112006063529195-pat00001

Figure 112006063529195-pat00002
Figure 112006063529195-pat00002

Figure 112006063529195-pat00003
Figure 112006063529195-pat00003

Figure 112006063529195-pat00004
,
Figure 112006063529195-pat00005
Figure 112006063529195-pat00004
,
Figure 112006063529195-pat00005

이때, 식 1에서 x 및 y는 보정전 이미지의 좌표이고, x' 및 y'는 보정된 이미지의 좌표를 의미한다. 또한, 식 1에서는 3×3 행렬을 사용하는 경우를 예를 들 어 설명하고 있으나, 이에 한정되지 않고 2×2 행렬이 사용될 수도 있다. 이때, 사용자는 사용자 보정부(190)를 통해 사용자가 실제로 변경할 있는 파라미터는 가로방향 값(horizontal magnitude)인 m00 및 세로방향 값(Vertical magnitude)인 m11를 변경하여 보정부(140)에 의해 보정된 이미지를 재보정할 수 있다.In this case, x and y are the coordinates of the image before correction, and x 'and y' means the coordinates of the corrected image. Also, in Equation 1, a case of using a 3x3 matrix has been described as an example. However, the present invention is not limited thereto, and a 2x2 matrix may be used. In this case, the user may change the parameter actually changed by the user corrector 190 by correcting the corrector 140 by changing m00, which is a horizontal magnitude, and m11, which is a vertical magnitude. You can recalibrate the image.

전송부(170)는 제 1저장부(150)에 저장된 이미지를 이더넷(Ethernet), USB(Universal Serial Bus) 등의 유선 네트워크나 CDMA, TDMA, GSM 등의 휴대 전화망 혹은 블루투스, 802.11a/b/g 등의 무선 네트워크 등을 통해 다른 사용자나 외부 기기로 전송할 수 있다. 이때, 전송부(170)는 제 1저장부(150)에 저장된 이미지를 소정의 처리 과정을 거치거나 또는 거치치 않은 상태로 전송할 수 있으며, 제 1저장부(150)에 저장된 이미지를 소정의 처리 과정을 거치지 않고 직접 전송하는 경우에는 빠른 전송이 요구되는 경우로, 이를 위한 버퍼(미도시) 등에 보정된 이미지가 저장되고, 버퍼에 저장된 이미지를 외부로 전송할 수 있다.The transmission unit 170 transmits the image stored in the first storage unit 150 to a wired network such as Ethernet, Universal Serial Bus (USB), a cellular phone network such as CDMA, TDMA, GSM, or Bluetooth, 802.11a / b /. It can be transmitted to other users or external devices through a wireless network such as g. In this case, the transmission unit 170 may transmit the image stored in the first storage unit 150 with or without a predetermined process, and process the image stored in the first storage unit 150 with a predetermined process. In the case of direct transmission without a process, fast transmission is required, and a corrected image is stored in a buffer (not shown) for this purpose, and the image stored in the buffer can be transmitted to the outside.

도 11은 본 발명의 제 2실시예에 따른 이미지 보정 기능을 구비한 화상 촬영 장치가 도시된 도면이다.11 is a diagram showing an image photographing apparatus having an image correction function according to a second embodiment of the present invention.

도시된 바와 같이, 본 발명의 제 2실시예에 따른 이미지 보정 기능을 구비한 화상 촬영 장치(100)는, 소정의 피사체에 대한 이미지를 획득하는 이미지 획득부(110), 사전 지정된 이미지 획득부(110)의 기울기에 대한 정보를 저장하는 기울기 저장부(180), 저장된 기울기에 대한 정보에 따라 이미지 획득부(110)의 기울기를 판단하는 기울기 판단부(130) 및 판단된 기울기에 따라 획득된 이미지의 보정을 수행하는 보정부(140)를 포함할 수 있다. As shown in the drawing, the image capturing apparatus 100 having an image correction function according to the second embodiment of the present invention includes an image obtaining unit 110 for obtaining an image of a predetermined subject, and a predetermined image obtaining unit ( Gradient storage unit 180 for storing information about the tilt of the 110, the tilt determination unit 130 to determine the slope of the image acquisition unit 110 according to the information on the stored slope and the image obtained according to the determined slope It may include a correction unit 140 for performing the correction.

이때, 도 11의 이미지 보정 기능을 구비한 화상 촬영 장치(100)는, 전술한 도 2의 이미지 보정 기능을 구비한 화상 촬영 장치(100)와 달리, 기울기를 감지하는 것이 아닌 사전 지정된 기울기를 사용하는 것을 알 수 있다. 다시 말해서, 기울기 저장부(180)에 저장되는 기울기에 대한 정보는 이미지 획득부(110)가 포함된 장치 사용시에 통상 취하여지는 자세로부터 실험적으로 구해진 것으로 이해될 수 있다. 또한, 기울기 저장부(180)에 저장되는 기울기에 대한 정보는 제품 생산 공정에서 저장되거나 차후에 펌웨어 업그레이드 등을 통해 저장될 수 있으나, 이에 한정되지 않는다.In this case, unlike the image capturing apparatus 100 having the image correction function of FIG. 2 described above, the image capturing apparatus 100 having the image correction function of FIG. 11 uses a predetermined tilt rather than detecting a tilt. I can see that. In other words, it may be understood that the information about the tilt stored in the tilt storage unit 180 is experimentally obtained from a posture normally taken when using the device including the image acquisition unit 110. In addition, the information on the slope stored in the tilt storage unit 180 may be stored in the product production process or later through firmware upgrade, but is not limited thereto.

한편, 도 11의 각 구성 요소 중 전술한 도 2와 동일한 참조 번호를 사용하는 구성 요소는 서로 동일한 기능을 사용하는 것으로 이해될 수 있으며, 그에 따라 도 9의 구성 요소 중 전술한 도 2와 중복되는 구성 요소에 대한 설명은 생략하기로 한다.Meanwhile, among the components of FIG. 11, components using the same reference numerals as those of FIG. 2 described above may be understood to use the same functions, and accordingly, overlapped with the above-described FIG. 2 among the components of FIG. 9. The description of the components will be omitted.

다만, 도 11의 기울기 판단부(130)는 전술한 도 2의 기울기 판단부(130)와는 달리 기울기 저장부(180)에 저장된 기울기에 대한 정보를 사용하여 이미지 획득부(110)의 기울기를 판단한다는 점에서 차이가 있다고 할 수 있다.However, unlike the inclination determination unit 130 of FIG. 2, the inclination determination unit 130 of FIG. 11 determines the inclination of the image acquisition unit 110 using information on the inclination stored in the inclination storage unit 180. There is a difference in that.

이와 같이, 전술한 도 2 및 도 11에서는 기울기 판단부(130)에 의해 판단된 기울기에 따라 보정부(140)가 이미지 획득부(110)에 의해 획득된 이미지의 보정을 수행하는 경우를 예를 들어 설명하고 있으나, 보정부(140)에 의해 보정이 수행된 후에도, 사용자의 성향 및 취향에 따라 사용자가 직접 보정을 수행할 수도 있다. As described above, in FIGS. 2 and 11, an example in which the corrector 140 performs correction of an image acquired by the image acquirer 110 according to the inclination determined by the tilt determiner 130 is described. For example, although the correction is performed by the correction unit 140, the user may directly perform the correction according to the user's disposition and taste.

이를 위해, 도 12 및 도 13과 같이 전술한 도 2 및 도 11에 사용자가 직접 보정을 수행할 수 있는 사용자 보정부(190)가 더 포함될 수 있다. 이때, 도 12 및 도 13에서 사용자 보정부(190)는 본 발명의 실시예에 따른 이미지 보정 기능을 구비한 화상 촬영 장치(100)가 휴대용 통신 기기인 경우에는 휴대용 통신 기기에 설치된 버튼 등으로 이해될 수 있다. 따라서, 사용자는 사용자 보정부(190)를 통해 보정부(140)에 의해 보정된 이미지를 재보정하여 자신에게 맞는 이미지를 얻을 수 있게 된다. 이때, 사용자가 사용자 보정부(190)를 통해 전술한 식 1의 파라미터인 m00 및 m11를 변경하여 보정부(140)에 의해 보정된 이미지를 재보정할 수 있다.To this end, as described with reference to FIGS. 12 and 13, the above-described FIGS. 2 and 11 may further include a user corrector 190 that may directly perform correction by the user. 12 and 13, when the image capturing apparatus 100 having an image correction function according to an embodiment of the present invention is a portable communication device, the user correction unit 190 is understood as a button installed in the portable communication device. Can be. Therefore, the user can recalibrate the image corrected by the corrector 140 through the user corrector 190 to obtain an image suitable for the user. In this case, the user may recalibrate the image corrected by the corrector 140 by changing the parameters m00 and m11 of the above-described formula 1 through the user corrector 190.

예를 들어, 피사체가 인물 피사체인 경우, 기울기 판단부(130)에 의해 판단된 기울기에 따른 m00=0.7인 상태에서 인물의 얼굴이 더 갸름하게 보이기 원하는 경우 사용자 보정부(190)를 통해 m00=0.8으로 변경할 수 있으며, 사용자가 대부분의 사용자보다 휴대용 통신 기기를 상측으로 올린 상태에서 사용한다면, 기울기 판단부(130)에 의해 판단된 기울기에 따른 m11=0.90을 사용자 보정부(190)를 통해 m11=0.95로 변경할 수 있는 것이다.For example, when the subject is a human subject, when the subject's face looks thinner in a state where m00 = 0.7 according to the tilt determined by the tilt determining unit 130, the user's correcting unit 190 may display m00 =. Can be changed to 0.8, and if the user is used in a state in which the portable communication device upwards than most users, m11 = 0.90 according to the slope determined by the tilt determination unit 130 through the user correction unit 190 m11 It can be changed to = 0.95.

도 14는 본 발명의 제 1실시예에 따른 이미지 보정 기능을 구비한 화상 통화 장치의 동작 방법이 도시된 도면이다.14 is a diagram illustrating a method of operating a video call device with an image correction function according to a first embodiment of the present invention.

도시된 바와 같이, 본 발명의 제 1실시예에 따른 이미지 보정 기능을 구비한 화상 촬영 장치의 동작 방법은, 먼저 기울기 감지부(120)에서 이미지 획득부(110)가 설치된 기기의 기울기를 감지한다(S110). 본 발명의 실시예에서는 이미지 획득부(110)가 휴대용 통신 기기에 설치된 카메라인 경우를 예를 들어 설명하고, 기울기 감지부(120)는 휴대용 통신 기기의 본체(210)에 설치된 경우를 예를 들어 설명 하고 있다. 따라서, 기울기 감지부(120)는 전술한 지면(220)에 대하여 휴대용 통신 기기 본체(210)의 기울기를 감지하게 되고, 감지된 기울기는 제 2저장부(160)에 저장된다.As shown, the operating method of the image capturing apparatus with an image correction function according to the first embodiment of the present invention, first, the tilt detection unit 120 detects the tilt of the device in which the image acquisition unit 110 is installed; (S110). In the exemplary embodiment of the present invention, a case where the image acquisition unit 110 is a camera installed in the portable communication device will be described as an example, and the tilt detection unit 120 is installed in the main body 210 of the portable communication device as an example. Explained. Accordingly, the inclination detector 120 detects the inclination of the portable communication device main body 210 with respect to the above-described ground 220, and the detected inclination is stored in the second storage unit 160.

또한, 기울기 판단부(130)는 기울기 감지부(120)와 이미지 획득부(110)의 광축 사이의 각도를 고려하여 이미지 획득부(110)의 기울기를 판단한다(S120). 판단된 기울기를 전술한 기울기와 마찬가지로 제 2저장부(160)에 저장될 수 있다.In addition, the tilt determination unit 130 determines the inclination of the image acquisition unit 110 in consideration of the angle between the tilt detection unit 120 and the optical axis of the image acquisition unit 110 (S120). The determined slope may be stored in the second storage unit 160 similarly to the aforementioned slope.

이후, 보정부(140)는 이미지 획득부(110)를 통해 이미지가 획득되었는지의 여부를 판단한다(S130). 다시 말해서, 사용자의 조작에 의해 이미지 획득부(110)에서 획득한 이미지가 제 1저장부(150)에 저장되었는지의 여부를 판단하게 된다.Thereafter, the corrector 140 determines whether an image is acquired through the image acquirer 110 (S130). In other words, it is determined whether the image acquired by the image acquisition unit 110 is stored in the first storage unit 150 by a user's manipulation.

또한, 보정부(140)는 전술한 이미지 획득부(110)의 기울기를 통해 획득된 이미지에 왜곡이 발생하였는지를 판단한다(S140). 다시 말해서, 본 발명의 실시예에서는 사용자가 이미지 획득부(110)를 통해 피사체의 상측 이미지를 획득하기를 원하는 경우를 예를 들어 설명하고 있기 때문에 전술한 이미지 획득부(110)의 기울기를 근거로 피사체의 상측에 위치하였는지 또는 하측에 위치하였는지를 판단한 것이다.In addition, the correction unit 140 determines whether distortion occurs in the image acquired through the inclination of the image acquisition unit 110 described above (S140). In other words, in the exemplary embodiment of the present invention, a case in which the user wants to acquire an upper image of the subject through the image acquisition unit 110 is described as an example, based on the inclination of the image acquisition unit 110 described above. It is determined whether it is located above or below the subject.

판단 결과 획득된 이미지가 사용자가 원하는 위치에서 획득되지 않은 경우, 보정부(140)는 전술한 원근 기법 등을 사용하여 제 1저장부(150)에 저장된 이미지의 보정을 수행하게 된다(S150). 예를 들어, 사용자는 자신으로부터 상측에서 이미지를 획득하길 원하지만, 전술한 도 6의 (a)와 같이 자신의 하측에서 이미지가 획득한 경우에는 전술한 원근 기법 등을 사용하여 전술한 도 6의 (b)와 같이 제 1저 장부(150)에 저장된 이미지를 보정하는 것이다.If the obtained image is not obtained at a desired position by the user, the correction unit 140 may correct the image stored in the first storage unit 150 using the above-described perspective technique (S150). For example, the user wants to acquire an image from the upper side of the user, but when the image is acquired from the lower side of the user as shown in FIG. As shown in (b), the image stored in the first storage book 150 is corrected.

보정부(140)는 이미지의 보정이 완료되면, 보정된 이미지를 제 1저장부(150)에 다시 저장하게 된다(S160).When the correction of the image is completed, the correction unit 140 stores the corrected image in the first storage unit 150 again (S160).

이후, 사용자는 보정된 이미지를 통해 자신의 휴대용 통신 기기의 화면을 설정하거나 다른 사용자에게 자신의 이미지를 송신하여 커뮤니케이션을 도모하게 된다.Thereafter, the user sets the screen of his portable communication device through the corrected image or transmits his image to another user for communication.

이때, 사용자가 보정부(140)에 의해 보정된 이미지를 재보정하기를 원하는 경우(S170), 사용자는 사용자 보정부(190)를 통해 보정부(140)에 의해 보정된 이미지를 재보정하게 된다(S180).In this case, when the user wants to recalibrate the image corrected by the corrector 140 (S170), the user recalibrates the image corrected by the corrector 140 through the user corrector 190. (S180).

도 15는 본 발명의 제 2실시예에 따른 이미지 보정 기능을 구비한 화상 촬영 장치의 동작 방법이 도시된 도면이다.15 is a diagram illustrating an operation method of an image photographing apparatus having an image correction function according to a second embodiment of the present invention.

도시된 바와 같이, 본 발명의 제 2실시예에 따른 이미지 보정 기능을 구비한 화상 촬영 장치의 동작 방법은, 먼저, 기울기 판단부(130)는 기울기 저장부(180)에 저장된 기울기에 대한 정보를 참조하여 이미지 획득부(110)의 기울기를 판단한다(S210).As shown, the operation method of the image capturing apparatus with an image correction function according to the second embodiment of the present invention, first, the tilt determination unit 130 is to receive information about the slope stored in the tilt storage unit 180 The tilt of the image acquisition unit 110 is determined with reference to (S210).

이후, 보정부(140)는 이미지 획득부(110)를 통해 이미지가 획득되었는지의 여부를 판단한다(S220). 다시 말해서, 사용자의 조작에 의해 이미지 획득부(110)에서 획득한 이미지가 제 1저장부(150)에 저장되었는지의 여부를 판단하게 된다.Thereafter, the corrector 140 determines whether an image is acquired through the image acquirer 110 (S220). In other words, it is determined whether the image acquired by the image acquisition unit 110 is stored in the first storage unit 150 by a user's manipulation.

이미지 획득부(110)에 의해 피사체의 이미지가 획득된 경우, 보정부(140)는 판단된 기울기를 참조하여 획득된 이미지에 대한 보정을 수행한다(S230).When the image of the subject is obtained by the image acquisition unit 110, the correction unit 140 performs correction on the obtained image by referring to the determined inclination (S230).

보정부(140)는 이미지의 보정이 완료되면, 보정된 이미지를 제 1저장부(150)에 다시 저장하게 된다(S240).When the correction of the image is completed, the correction unit 140 stores the corrected image in the first storage unit 150 again (S240).

이때, 사용자가 보정부(140)에 의해 보정된 이미지를 재보정하기를 원하는 경우(S250), 사용자는 사용자 보정부(190)를 통해 보정부(140)에 의해 보정된 이미지를 재보정하게 된다(S260).In this case, when the user wants to recalibrate the image corrected by the corrector 140 (S250), the user recalibrates the image corrected by the corrector 140 through the user corrector 190. (S260).

이러한 본 발명의 실시예에 따른 이미지 보정 기능을 구비한 화상 촬영 장치 및 그 동작 방법에 있어서, 상기 '부'는 소프트웨어 또는 Field Programmable Gate Array(FPGA) 또는 주문형 반도체(Application Specific Integrated Circuit, ASIC)과 같은 하드웨어 구성요소를 의미하며, 부는 어떤 역할들을 수행한다. 그렇지만 부는 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. 부는 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 실행시키도록 구성될 수도 있다. 따라서, 일 예로서 부는 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들, 및 변수들을 포함한다. 구성요소들과 부들에서 제공되는 기능은 더 작은 수의 구성요소들 및 부들로 결합되거나 추가적인 구성요소들과 부들로 더 분리될 수 있다.이상과 같이 본 발명에 따른 이미지 보정 기능을 구비한 화상 통화 장치 및 이를 이용한 이미지 보정 방법을 예시된 도면을 참조로 하여 설명하였으나, 본 명세서에 개시된 실시예와 도면에 의해 본 발명은 한정되지 않으며 그 발명의 기술사상 범위내에서 당업자에 의해 다양한 변형이 이루어질 수 있음은 물론이다.In the image photographing apparatus having an image correction function and an operation method thereof according to an exemplary embodiment of the present invention, the 'unit' may include software or a field programmable gate array (FPGA) or an application specific integrated circuit (ASIC). Refers to the same hardware component, and wealth plays certain roles. But wealth is not meant to be limited to software or hardware. The unit may be configured to be in an addressable storage medium and may be configured to execute one or more processors. Thus, as an example, a wealth of components, such as software components, object-oriented software components, class components, and task components, and processes, functions, properties, procedures, subroutines, etc. , Segments of program code, drivers, firmware, microcode, circuitry, data, databases, data structures, tables, arrays, and variables. The functionality provided by the components and parts may be combined into a smaller number of components and parts or further separated into additional components and parts. Video call with image correction function according to the present invention as described above. Although the apparatus and the image correction method using the same have been described with reference to the illustrated drawings, the present invention is not limited by the embodiments and drawings disclosed herein, and various modifications may be made by those skilled in the art within the scope of the technical idea of the present invention. Of course.

상기한 바와 같은 본 발명의 이미지 보정 기능을 구비한 화상 촬영 장치 및 그 동작 방법에 따르면, 휴대용 통신 기기를 통해 화상 통화시, 자연스러운 자세에서 사용하여도 카메라의 촬영 각도에 의한 얼굴 이미지의 왜곡이 보정되므로 상대방에게 보여지는 얼굴 이미지에 대한 심리적인 거부감을 최소화하여 화상 통화의 보급이 촉진될 수 있는 효과가 있다.According to the image capturing apparatus with an image correction function of the present invention as described above and an operation method thereof, the distortion of the face image due to the photographing angle of the camera is corrected even when using a natural posture during a video call through a portable communication device. Therefore, there is an effect that the dissemination of a video call can be promoted by minimizing the psychological rejection of the face image shown to the other party.

Claims (41)

소정의 피사체에 대한 이미지를 상기 피사체를 올려다보는 위치에서 획득하는 이미지 획득부;An image acquisition unit for acquiring an image of a predetermined subject at a position of looking up at the subject; 상기 피사체에 대한 상기 이미지 획득부의 기울기를 판단하는 기울기 판단부; 및An inclination determination unit determining an inclination of the image acquisition unit with respect to the subject; And 상기 판단된 기울기에 따라 상기 획득된 이미지를 보정하는 보정부를 포함하는 이미지 보정 기능을 구비한 화상 촬영 장치.And an image correction function including a correction unit for correcting the obtained image according to the determined tilt. 제 1 항에 있어서,The method of claim 1, 상기 피사체는, 인물 피사체인 이미지 보정 기능을 구비한 화상 촬영 장치.And the subject has an image correction function that is a human subject. 삭제delete 제 1 항에 있어서,The method of claim 1, 상기 이미지 획득부가 설치된 기기의 기울기를 감지하는 기울기 감지부를 더 포함하는 이미지 보정 기능을 구비한 화상 촬영 장치.And an inclination detector for detecting an inclination of a device in which the image acquisition unit is installed. 제 4 항에 있어서,The method of claim 4, wherein 상기 기울기 감지부는, 상기 이미지 획득부가 획득한 이미지를 이용하여 인물 피사체의 안면 특징점 간의 상대 위치로부터 상기 피사체와 상기 이미지 획득부 간의 기울기를 감지하는 이미지 보정 기능을 구비한 화상 촬영 장치.And the tilt detection unit is configured to detect an inclination between the subject and the image acquisition unit from a relative position between facial feature points of a human subject using the image obtained by the image acquisition unit. 제 4 항에 있어서,The method of claim 4, wherein 상기 이미지 획득부에 의해 획득된 이미지를 저장하는 제 1저장부; 및A first storage unit which stores an image acquired by the image acquisition unit; And 상기 감지된 기울기와 상기 판단된 기울기에 대한 정보를 저장하는 제 2저장부를 더 포함하는 이미지 보정 기능을 구비한 화상 촬영 장치.And a second storage unit which stores the detected tilt and information on the determined tilt. 제 4 항에 있어서,The method of claim 4, wherein 상기 기울기 감지부는, 관성 센서를 이용하여 중력의 작용방향과 수직한 면에 대해 상기 이미지 획득부가 설치된 기기의 기울기를 감지하는 이미지 보정 기능을 구비한 화상 촬영 장치.And the tilt detection unit is configured to detect an inclination of a device in which the image acquisition unit is installed with respect to a plane perpendicular to the direction of action of gravity using an inertial sensor. 제 1 항에 있어서,The method of claim 1, 상기 피사체에 대하여 사전 지정된 상기 이미지 획득부의 기울기를 저장하는 기울기 저장부를 더 포함하는 이미지 보정 기능을 구비한 화상 촬영 장치.And an inclination storage unit for storing inclination of the image acquiring unit predetermined with respect to the subject. 제 8 항에 있어서,The method of claim 8, 상기 기울기 판단부는, 상기 저장된 기울기를 상기 이미지 획득부의 기울기 로 판단하는 이미지 보정 기능을 구비한 화상 촬영 장치.And the tilt determining unit includes an image correction function for determining the stored tilt as the tilt of the image obtaining unit. 제 1 항에 있어서,The method of claim 1, 상기 보정부는, 상기 기울기 판단부에 의해 판단된 기울기에 따라 상기 획득된 이미지의 보정 여부 및 보정 수준을 결정하는 이미지 보정 기능을 구비한 화상 촬영 장치.And the correcting unit is configured to determine whether to correct the acquired image and a correction level according to the tilt determined by the tilt determining unit. 제 10 항에 있어서,The method of claim 10, 상기 보정부는, 상기 획득된 이미지를 기하 변환(Geometric transform) 기법을 통해 보정하는 이미지 보정 기능을 구비한 화상 촬영 장치.The correction unit, an image photographing apparatus having an image correction function for correcting the obtained image through a geometric transform technique. 제 11 항에 있어서,The method of claim 11, 상기 보정부는, 상기 판단된 기울기에 따라 상기 이미지 보정에 사용되는 변환 행렬 계수를 조절하는 이미지 보정 기능을 구비한 화상 촬영 장치.And the correction unit includes an image correction function for adjusting a conversion matrix coefficient used for the image correction according to the determined slope. 제 11 항에 있어서,The method of claim 11, 상기 보정부는, 상기 획득된 이미지의 기하 변환 기법 중 원근 변환(Perspective transform) 기법을 사용하는 이미지 보정 기능을 구비한 화상 촬영 장치.The correction unit is an image photographing apparatus having an image correction function using a perspective transform method of the geometric transformation of the obtained image. 제 11 항에 있어서,The method of claim 11, 상기 보정부는, 상기 획득된 이미지를 상기 기하 변환 기법을 통해 보정하는 경우, 보정전 이미지에서 형태와 면적이 동일하고 상하 방향으로 위치를 달리하는 소정의 두 영역(Region)을 정했을 때 보정 후 상기 두 영역 중 상대적으로 하측에 위치한 영역의 면적이 상측에 위치한 영역의 면적보다 작아지도록 보정을 수행하는 이미지 보정 기능을 구비한 화상 촬영 장치.When the corrected image is corrected through the geometric transformation technique, the correcting unit determines two predetermined regions that have the same shape and area and change positions in the vertical direction in the corrected image. An image photographing apparatus having an image correction function for performing correction so that an area of a region located on a lower side of a region is smaller than an area of an region located on an upper side. 제 1 항에 있어서,The method of claim 1, 사용자가 상기 판단된 기울기 또는 상기 보정부에서 결정된 보정 수준을 변경하여 상기 보정부에 의해 이미지가 보정되는 정도를 조정하기 위한 사용자 보정부를 더 포함하는 이미지 보정 기능을 구비한 화상 촬영 장치.And a user correction unit for adjusting a degree to which the image is corrected by the correction unit by changing the determined tilt or the correction level determined by the correction unit. 제 11 항에 있어서,The method of claim 11, 상기 보정부에 의해 보정된 이미지를 디스플레이하는 디스플레이부를 더 포함하고,Further comprising a display unit for displaying the image corrected by the correction unit, 상기 보정부는, 상기 보정된 이미지의 영역이 상기 디스플레이부의 디스플레이 영역보다 작거나 위치가 일치하지 않아 상기 디스플레이부에서 보여줄 이미지가 없는 빈 영역이 발생할 경우, 상기 빈 영역에 대한 처리를 수행하는 이미지 보정 기능을 구비한 화상 촬영 장치.The correction unit may perform an image correction function when the blank area without an image to be displayed on the display unit is generated because an area of the corrected image is smaller than the display area of the display unit or the position does not match. An image photographing apparatus having a. 제 16 항에 있어서,The method of claim 16, 상기 보정부는, 상기 빈 영역을 보정전 이미지에서 해당 영역을 구성하는 이미지 픽셀값으로 채우는 이미지 보정 기능을 구비한 화상 촬영 장치.And the correction unit includes an image correction function for filling the empty area with image pixel values constituting the corresponding area in the pre-correction image. 제 16 항에 있어서,The method of claim 16, 상기 보정부는, 상기 빈 영역을 상기 빈 영역 내의 소정 픽셀을 기준으로 같은 행에서 가장 가까운 위치에 존재하는 보정된 이미지의 픽셀값으로 채우는 이미지 보정 기능을 구비한 화상 촬영 장치.And the correcting unit fills the empty area with pixel values of a corrected image existing at a position closest to the same row based on a predetermined pixel in the empty area. 제 16 항에 있어서,The method of claim 16, 상기 보정부는, 상기 빈 영역이 가려지도록 상기 디스플레이 영역 둘레에 걸쳐 소정 프레임을 오버레이시키는 이미지 보정 기능을 구비한 화상 촬영 장치.And the correction unit includes an image correction function for overlaying a predetermined frame around the display area so that the blank area is covered. 제 16 항에 있어서,The method of claim 16, 상기 보정부는, 상기 이미지 획득부에서 상기 디스플레이 영역에 비하여 큰 이미지를 획득한 경우, 보정을 수행한 후, 상기 디스플레이 영역에 맞게 상기 보정된 이미지를 절단하는 이미지 보정 기능을 구비한 화상 촬영 장치.And the corrector, when the image acquisition unit acquires a larger image than the display area, corrects the corrected image according to the display area after performing correction. 제 16 항에 있어서,The method of claim 16, 상기 보정부는, 상기 보정된 이미지에서 상기 빈 영역을 제외한 영역을 사각 형 형태로 잘라낸 다음, 상기 디스플레이 영역을 채울 수 있는 크기로 확대 처리하는 이미지 보정 기능을 구비한 화상 촬영 장치.And the correction unit cuts out an area excluding the blank area in the corrected image into a rectangular shape, and enlarges the image to a size that can fill the display area. 소정의 피사체에 대한 이미지를 상기 피사체를 올려다보는 위치에서 획득하는 단계;Acquiring an image of a predetermined subject at a position looking up at the subject; 상기 피사체에 대한 상기 이미지 획득부의 기울기를 판단하는 단계; 및Determining an inclination of the image acquisition unit with respect to the subject; And 상기 판단된 기울기에 따라 상기 획득된 이미지를 보정하는 단계를 포함하는 이미지 보정 기능을 구비한 화상 촬영 장치의 동작 방법.And correcting the obtained image according to the determined inclination. 제 22 항에 있어서,The method of claim 22, 상기 피사체는, 인물 피사체인 이미지 보정 기능을 구비한 화상 촬영 장치의 동작 방법.The subject is an operation method of an image photographing apparatus having an image correction function which is a human subject. 삭제delete 제 22 항에 있어서,The method of claim 22, 상기 이미지를 획득하는 모듈이 설치된 기기의 기울기를 감지하는 단계를 더 포함하는 이미지 보정 기능을 구비한 화상 촬영 장치의 동작 방법.And detecting an inclination of a device in which the module for acquiring the image is installed. 제 25 항에 있어서,The method of claim 25, 상기 기울기를 감지하는 단계는, 상기 모듈에 의해 획득된 이미지를 이용하여 인물 피사체의 안면 특징점 간의 상대 위치로부터 상기 피사체와 상기 모듈 간의 기울기를 감지하는 단계를 포함하는 이미지 보정 기능을 구비한 화상 촬영 장치의 동작 방법.The detecting of the tilt may include detecting an inclination between the subject and the module from a relative position between facial feature points of a human subject by using the image acquired by the module. Method of operation. 제 25 항에 있어서,The method of claim 25, 상기 이미지 획득부에 의해 획득된 이미지를 저장하는 단계; 및Storing an image acquired by the image acquisition unit; And 상기 감지된 기울기와 상기 판단된 기울기에 대한 정보를 저장하는 단계를 더 포함하는 이미지 보정 기능을 구비한 화상 촬영 장치의 동작 방법.And storing information on the detected tilt and the determined tilt. 제 25 항에 있어서,The method of claim 25, 상기 기울기를 감지하는 단계는, 관성 센서를 이용하여 중력의 작용방향과 수직한 면에 대해 상기 이미지를 획득하는 모듈이 설치된 기기의 기울기를 감지하는 단계를 포함하는 이미지 보정 기능을 구비한 화상 촬영 장치의 동작 방법.The detecting of the tilt may include detecting an inclination of a device in which a module for acquiring the image is installed with respect to a plane perpendicular to the direction of action of gravity using an inertial sensor. Method of operation. 제 22 항에 있어서,The method of claim 22, 상기 기울기를 판단하는 단계는, 사전에 지정되어 저장된 기울기를 참조하여 상기 이미지를 획득하는 모듈의 기울기를 판단하는 단계를 포함하는 더 포함하는 이미지 보정 기능을 구비한 화상 촬영 장치의 동작 방법.The determining of the inclination may further include determining inclination of a module for acquiring the image by referring to a previously designated and stored inclination. 제 22 항에 있어서,The method of claim 22, 상기 획득된 이미지를 보정하는 단계는, 상기 판단된 기울기에 따라 상기 획득된 이미지의 보정 여부 및 보정 수준을 결정하는 단계를 포함하는 이미지 보정 기능을 구비한 화상 촬영 장치의 동작 방법.The correcting of the acquired image includes determining whether to correct the acquired image and a level of correction according to the determined inclination. 제 30 항에 있어서,The method of claim 30, 상기 획득된 이미지를 보정하는 단계는, 상기 획득된 이미지를 기하 변환(Geometric transform) 기법을 통해 보정하는 단계를 포함하는 이미지 보정 기능을 구비한 화상 촬영 장치의 동작 방법.The correcting of the acquired image includes correcting the acquired image by using a geometric transform technique. 제 31 항에 있어서,The method of claim 31, wherein 상기 획득된 이미지를 보정하는 단계는, 상기 판단된 기울기에 따라 상기 이미지 보정에 사용되는 변환 행렬 계수를 조절하는 단계를 포함하는 이미지 보정 기능을 구비한 화상 촬영 장치의 동작 방법.And correcting the obtained image comprises adjusting a conversion matrix coefficient used to correct the image according to the determined slope. 제 31 항에 있어서,The method of claim 31, wherein 상기 획득된 이미지를 보정하는 단계는, 상기 획득된 이미지의 기하 변환 기법 중 원근 변환(Perspective transform) 기법을 통해 보정하는 단계를 포함하는 이미지 보정 기능을 구비한 화상 촬영 장치의 동작 방법.The correcting of the acquired image may include correcting through a perspective transform technique among geometric transformation techniques of the acquired image. 제 31 항에 있어서,The method of claim 31, wherein 상기 획득된 이미지를 보정하는 단계는, 상기 획득된 이미지를 상기 기하 변환 기법을 통해 보정하는 경우, 보정전 이미지에서 형태와 면적이 동일하고 상하 방향으로 위치를 달리하는 소정의 두 영역(Region)을 정했을 때 보정 후 상기 두 영역 중 상대적으로 하측에 위치한 영역의 면적이 상측에 위치한 영역의 면적보다 작아지도록 보정을 수행하는 단계를 포함하는 이미지 보정 기능을 구비한 화상 촬영 장치의 동작 방법.The correcting of the acquired image may include correcting two regions (Region) having the same shape and area and changing positions in the vertical direction when correcting the acquired image through the geometric transformation technique. And correcting such that an area of a relatively lower area of the two areas is smaller than an area of an upper area after the correction. 제 22 항에 있어서,The method of claim 22, 사용자가 상기 판단된 기울기 또는 상기 결정된 보정 수준을 변경하여 상기 보정된 이미지가 보정되는 정도를 조정하는 단계를 더 포함하는 이미지 보정 기능을 구비한 화상 촬영 장치의 동작 방법.And adjusting the degree to which the corrected image is corrected by changing the determined inclination or the determined correction level. 제 31 항에 있어서,The method of claim 31, wherein 상기 획득된 이미지를 보정하는 단계는, 상기 보정된 이미지의 영역이 상기 보정된 이미지가 디스플레이되는 디스플레이 영역보다 작거나 위치가 일치하지 않아서 상기 디스플레이 영역에서 보여줄 이미지가 없는 빈 영역이 발생할 경우, 상기 빈 영역에 대한 처리를 수행하는 단계를 포함하는 이미지 보정 기능을 구비한 화상 촬영 장치의 동작 방법.The correcting of the acquired image may include: when the blank area without an image to be displayed in the display area occurs because the area of the corrected image is smaller than the display area where the corrected image is displayed or does not coincide with the location, A method of operating an image photographing apparatus having an image correction function comprising performing a process on an area. 제 36 항에 있어서,The method of claim 36, 상기 획득된 이미지를 보정하는 단계는, 상기 빈 영역을 보정전 이미지에서 해당 영역을 구성하는 이미지 픽셀값으로 채우는 단계를 포함하는 이미지 보정 기능을 구비한 화상 촬영 장치의 동작 방법.And correcting the acquired image comprises filling the empty area with image pixel values constituting the corresponding area in the pre-correction image. 제 36 항에 있어서,The method of claim 36, 상기 획득된 이미지를 보정하는 단계는, 상기 빈 영역을 상기 빈 영역 내의 소정 픽셀을 기준으로 같은 행에서 가장 가까운 위치에 존재하는 보정된 이미지의 픽셀값으로 채우는 단계를 포함하는 이미지 보정 기능을 구비한 화상 촬영 장치의 동작 방법.Compensating the obtained image, the image correction function comprising the step of filling the empty area with the pixel value of the corrected image present in the closest position in the same row with respect to a predetermined pixel in the empty area; Operation method of the imaging device. 제 36 항에 있어서,The method of claim 36, 상기 획득된 이미지를 보정하는 단계는, 상기 빈 영역이 가려지도록 상기 디스플레이 영역 둘레에 걸쳐 소정 프레임을 오버레이시키는 단계를 포함하는 이미지 보정 기능을 구비한 화상 촬영 장치의 동작 방법.And correcting the acquired image comprises overlaying a predetermined frame around the display area so that the blank area is covered. 제 36 항에 있어서,The method of claim 36, 상기 획득된 이미지를 보정하는 단계는, 상기 디스플레이 영역에 비하여 큰 이미지가 획득된 경우, 보정을 수행한 후, 상기 디스플레이 영역에 맞게 상기 보정된 이미지를 절단하는 단계를 포함하는 이미지 보정 기능을 구비한 화상 촬영 장치의 동작 방법.The correcting of the obtained image includes: correcting the corrected image according to the display area after performing the correction when a larger image is obtained than the display area. Operation method of the imaging device. 제 36 항에 있어서,The method of claim 36, 상기 획득된 이미지를 보정하는 단계는, 상기 보정된 이미지에서 상기 빈 영역을 제외한 영역을 사각형 형태로 잘라낸 다음, 상기 디스플레이 영역을 채울 수 있는 크기로 확대 처리하는 단계를 포함하는 이미지 보정 기능을 구비한 화상 촬영 장치의 동작 방법.The correcting of the acquired image may include cutting an area excluding the blank area into a quadrangular shape from the corrected image, and then enlarging the display area to a size that can fill the display area. Operation method of the imaging device.
KR1020060084321A 2005-09-22 2006-09-01 Apparatus for video photography with image compensation and operating method for the same KR100818989B1 (en)

Priority Applications (4)

Application Number Priority Date Filing Date Title
EP06076754.8A EP1768387B1 (en) 2005-09-22 2006-09-20 Image capturing apparatus with image compensation and method therefor
US11/525,055 US8842935B2 (en) 2005-09-22 2006-09-22 Image capturing apparatus with image compensation and method thereof
JP2006257543A JP4377399B2 (en) 2005-09-22 2006-09-22 Image photographing apparatus having image correction function and operation method thereof
CN2006101392956A CN1937716B (en) 2005-09-22 2006-09-22 Image capturing apparatus with image compensation and method therefor

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020050088356 2005-09-22
KR20050088356 2005-09-22

Publications (2)

Publication Number Publication Date
KR20070033883A KR20070033883A (en) 2007-03-27
KR100818989B1 true KR100818989B1 (en) 2008-04-04

Family

ID=41641019

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020060084321A KR100818989B1 (en) 2005-09-22 2006-09-01 Apparatus for video photography with image compensation and operating method for the same

Country Status (1)

Country Link
KR (1) KR100818989B1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10460443B2 (en) 2016-07-28 2019-10-29 Samsung Electronics Co., Ltd. Electronic device and method for applying correction scheme(s) to an image

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100901862B1 (en) * 2007-07-09 2009-06-09 (주)케이티에프테크놀로지스 Method and Device of Measuring Position of Terminal

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10210349A (en) 1997-01-27 1998-08-07 Matsushita Electric Ind Co Ltd Digital still image camera and image-processing method
JP2002247446A (en) 2001-02-16 2002-08-30 Minolta Co Ltd Digital image pickup device, image pickup device, image processor and recording medium
JP2004242208A (en) * 2003-02-07 2004-08-26 Nec Saitama Ltd Mobile communication terminal device and image correction program
KR20040107890A (en) * 2003-06-14 2004-12-23 엘지전자 주식회사 Image slope control method of mobile phone

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10210349A (en) 1997-01-27 1998-08-07 Matsushita Electric Ind Co Ltd Digital still image camera and image-processing method
JP2002247446A (en) 2001-02-16 2002-08-30 Minolta Co Ltd Digital image pickup device, image pickup device, image processor and recording medium
JP2004242208A (en) * 2003-02-07 2004-08-26 Nec Saitama Ltd Mobile communication terminal device and image correction program
KR20040107890A (en) * 2003-06-14 2004-12-23 엘지전자 주식회사 Image slope control method of mobile phone

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10460443B2 (en) 2016-07-28 2019-10-29 Samsung Electronics Co., Ltd. Electronic device and method for applying correction scheme(s) to an image

Also Published As

Publication number Publication date
KR20070033883A (en) 2007-03-27

Similar Documents

Publication Publication Date Title
JP4377399B2 (en) Image photographing apparatus having image correction function and operation method thereof
US10334153B2 (en) Image preview method, apparatus and terminal
JP5124372B2 (en) Image processing apparatus, image processing method, and digital still camera
JP4717863B2 (en) Calibration method and apparatus for compound eye imaging apparatus and calibration chart used therefor
JP2004062565A (en) Image processor and image processing method, and program storage medium
JP5843454B2 (en) Image processing apparatus, image processing method, and program
JP6398457B2 (en) Imaging apparatus, imaging method, and program
JP5846172B2 (en) Image processing apparatus, image processing method, program, and imaging system
US20040062434A1 (en) Image processing apparatus, image processing method, and storage medium
KR100818989B1 (en) Apparatus for video photography with image compensation and operating method for the same
JP6222205B2 (en) Image processing device
JP5645255B2 (en) Image processing apparatus and image processing method
WO2018196854A1 (en) Photographing method, photographing apparatus and mobile terminal
JP5196178B2 (en) Image correction system, image correction server, image correction method, and image correction program
JP2006318151A (en) Digital image display device and digital image display method
JP2007165947A (en) Imaging device, backlight correcting device for object image, target image detecting device, and control method of these
KR101822169B1 (en) Electronic device for providing panorama image and control method thereof
JP5341655B2 (en) Imaging apparatus and control method thereof
JP2009206584A (en) Camera system
JP5103984B2 (en) Image processing apparatus, imaging apparatus, and image processing program
JP6834556B2 (en) Shooting equipment, shooting method and program
JP6439845B2 (en) Image processing device
JP6759018B2 (en) Imaging device and exposure control method
JP5293427B2 (en) Imaging apparatus and imaging control program
JP2004120600A (en) Digital binoculars

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130227

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20140227

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20150226

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20160226

Year of fee payment: 9

FPAY Annual fee payment

Payment date: 20170224

Year of fee payment: 10

FPAY Annual fee payment

Payment date: 20180227

Year of fee payment: 11

FPAY Annual fee payment

Payment date: 20190227

Year of fee payment: 12

FPAY Annual fee payment

Payment date: 20200227

Year of fee payment: 13