WO2016136462A1 - カメラ撮影で取得した画像から被写体部分を切り抜く方法および装置 - Google Patents

カメラ撮影で取得した画像から被写体部分を切り抜く方法および装置 Download PDF

Info

Publication number
WO2016136462A1
WO2016136462A1 PCT/JP2016/053818 JP2016053818W WO2016136462A1 WO 2016136462 A1 WO2016136462 A1 WO 2016136462A1 JP 2016053818 W JP2016053818 W JP 2016053818W WO 2016136462 A1 WO2016136462 A1 WO 2016136462A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
subject
camera
background
focal length
Prior art date
Application number
PCT/JP2016/053818
Other languages
English (en)
French (fr)
Inventor
愼一 駒井
恵一 駒井
直人 竹田
康昭 宿院
順平 金地
Original Assignee
愼一 駒井
株式会社扶桑プレシジョン
恵一 駒井
直人 竹田
康昭 宿院
順平 金地
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 愼一 駒井, 株式会社扶桑プレシジョン, 恵一 駒井, 直人 竹田, 康昭 宿院, 順平 金地 filed Critical 愼一 駒井
Publication of WO2016136462A1 publication Critical patent/WO2016136462A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
    • H04N5/275—Generation of keying signals

Definitions

  • the present invention relates to a method and apparatus for clipping a subject portion from an image acquired by camera photography.
  • Some of these automatic photography devices use chroma key technology to cut out the subject portion from the image of the user's subject and combine the cut-out subject portion with the background image selected by the user to form a composite image.
  • a composite image is printed on photographic paper and output (for example, see Patent Documents 1 to 3).
  • This type of automatic photography apparatus includes a box or a frame having a photographing space inside, and a camera, a strobe, and a touch panel display for operation by a user are arranged in the photographing space. ing.
  • a subject is photographed with a background of a specific uniform color such as green or blue.
  • the wall behind the subject of the box is colored green or blue, and
  • a sheet of green or blue is suspended from the frame behind the subject.
  • an object of the present invention is to make it possible to easily realize a chroma key at a low cost without using a large-scale device configuration.
  • a camera is placed at a fixed position, (2) an image is taken by the camera, and at least one background image is obtained, Save it in relation to the focal length at the time of shooting, (3) place a subject in front of the camera, take a picture, obtain an image of the subject, and (4) save it in step (2) Extracting only the background image captured at the focal length that matches the focal length at the time of shooting of the subject or the closest focal length from the background only image, and (5) the extracted background-only image and the subject.
  • a camera is arranged at a fixed position, and (2) a plurality of images of only the background are captured at different focal lengths by the camera and acquired. Each of the images is stored, (3) an image of the subject is obtained by arranging and photographing the subject in front of the camera, and (4) the background-only image stored in step (2) is acquired.
  • image processing by a background subtraction method is performed using an image of only the background and the image of the subject, the subject portion is cut out from the image of the subject, and the subject portion in the image of the subject is captured
  • the area other than the above is filled with a predetermined color, the area of the filled area is calculated, and (5) an image in which the area of the filled area is maximum is obtained from the image in which the subject is captured. Wherein selecting a frequency as trimmed image is provided.
  • the camera, the camera holding unit for arranging the camera at a fixed position, and the camera or the camera holding unit are provided, A range finder that measures the focal length of the camera, and a storage unit that stores at least one background-only image acquired by shooting with the camera at the fixed position in relation to the focal length at the time of shooting;
  • a range finder that measures the focal length of the camera
  • a storage unit that stores at least one background-only image acquired by shooting with the camera at the fixed position in relation to the focal length at the time of shooting
  • an image extraction unit that extracts an image of only the background acquired at the closest focal length, an image showing the subject, and an image of only the background extracted by the image extraction unit
  • An image is output by performing image processing using a background subtraction method using an image, cutting out a subject portion from an image in which the subject is captured, and painting an area other than the subject portion in the image in which the subject is captured with a predetermined color And a processing unit.
  • images were taken at different focal lengths by a camera, a camera holding unit for placing the camera in a fixed position, and the camera in the fixed position.
  • a storage unit storing images of only a plurality of backgrounds, and when a subject is placed in front of the camera at the fixed position and shooting is performed, and an image showing the subject is acquired, the storage unit stores For each of the stored background-only images, image processing by the background subtraction method is performed using the background-only image and the image of the subject, and the subject portion is cut out from the image of the subject, The area other than the subject portion in the image showing the subject is filled with a predetermined color, the area of the filled area is calculated, and the area of the filled area is maximized.
  • An image and wherein there is provided that an image processing section for outputting as an image cut out the object portion from the image in which the subject is captured, and has a.
  • the subject portion is cut out from the image in which the subject is captured by the image processing based on the background subtraction method using the image in which the subject is captured and the image with only the background, so that a natural background photographed by the camera can be obtained.
  • a specific uniform color background such as green or blue.
  • an image of only the background is acquired and stored in advance, and when the image showing the subject is captured, an image most suitable for image processing by the background subtraction method is extracted from the stored image, Therefore, it is not necessary to shoot an image of only the background each time a subject is photographed.
  • an image of only the background is stored in advance in relation to the focal length at the time of shooting, and only the stored background is stored. Images obtained at the same or closest focal length at the time of shooting of the subject are extracted from the image of the subject, image processing by the background subtraction method is performed, and the subject portion is cut out from the image in which the subject is photographed. Since the region other than the subject portion is painted with a predetermined color, the processing can be performed at a high speed and the subject portion can be cut out accurately.
  • the background only image and the subject image are used. Performs image processing using the difference method, cuts out the subject from the image of the subject, fills the area other than the subject in the image of the subject with a predetermined color, calculates the area of the filled area, and fills The image having the maximum area is selected as an image obtained by cutting out the subject portion from the image showing the subject. This is because it is assumed that the greater the area of the painted area, the higher the identity of the area other than the subject part between the two images that have taken the background difference. In this way, using only an image of the background optimal for image processing by the background subtraction method, the subject portion can be accurately cut out from the image in which the subject is captured, and the region other than the subject portion in the image can be filled with a specific color. it can.
  • the present invention When the present invention is applied to an automatic photography apparatus, the conventional box and frame are not required, and the apparatus becomes very simple and compact, so that the apparatus can be reduced in cost and installed. Since it does not take up much space, the place where the device can be installed is expanded.
  • FIG. 6 is a diagram illustrating an example of an image in which a subject portion is cut out from a region and a region other than the subject portion is filled with a specific color.
  • FIG. 2 is a block diagram of an apparatus suitable for using the method of FIG. It is a flowchart of the method of cutting out a to-be-photographed part from the image acquired by camera imaging
  • FIG. 5 is a block diagram of an apparatus suitable for using the method of FIG.
  • FIG. 1 is a flowchart of a method for clipping a subject portion from an image acquired by camera shooting according to a first embodiment of the present invention.
  • a camera is first placed at a fixed position (step S1 in FIG. 1).
  • the camera may be capable of acquiring either a color image or a monochrome image.
  • step S2 at least one image of only the background is captured by the camera, and the image is stored in association with the focal length at the time of capturing (step S2 in FIG. 1).
  • a subject is placed in front of the camera and photographing is performed, and an image showing the subject (see FIG. 2A) is acquired (step S3 in FIG. 1).
  • a background-only image (see FIG. 2B) acquired with a focal length that matches the focal length at the time of shooting of the subject or the closest focal length is extracted from the stored background-only image (see FIG. 1).
  • image processing by the background subtraction method is performed using the extracted background-only image and the image showing the subject, and the subject portion is cut out from the image showing the subject, so that A region other than the subject portion is filled with a predetermined color (see step S5 in FIG. 1 and FIG. 2C).
  • any of various known methods can be used.
  • gray scales of an image showing a subject and an image of only a background are used, and the scale of each pixel of the image showing the subject is shown.
  • the tone value is subtracted from the tone value of each corresponding pixel in the background-only image, and if the result of the subtraction is within a certain numerical range (for example, within a range of 0 to 5), the tone value is used as the background region. If all values are set to 0 and other values are used, there is a method of setting the gradation value before subtraction as the subject portion.
  • the subject portion is cut out from the image in which the subject is photographed by the image processing based on the background subtraction method using the image in which the subject is photographed and the image of only the background, so that the photograph is taken by the camera.
  • a natural background may be used, and it is not necessary to prepare a background of a specific uniform color such as green or blue.
  • an image of only the background is stored in advance, and when the subject is photographed, an image most suitable for image processing by the background subtraction method is extracted from the stored image of only the background, and image processing is performed using the extracted image. Therefore, it is not necessary to shoot an image of only the background each time a subject is shot.
  • FIG. 3 is a block diagram of an apparatus suitable for using the method of FIG.
  • the device is configured as an automatic photography device.
  • this apparatus includes a camera 1 and a camera holding unit 2 for placing the camera 1 at a fixed position.
  • the camera holding unit 2 is composed of a housing of the apparatus, and the camera 1 is fitted and fixed in an opening provided in the upper front portion of the housing.
  • the camera 1 is provided with a rangefinder (not shown) that measures the focal length at the time of photographing with the camera 1.
  • the distance meter may be provided in the camera holding unit (housing) 2 separately from the camera 1.
  • the apparatus also includes a storage unit 3 in which at least one background image captured by the camera 1 is stored in relation to the focal length at the time of shooting, and a person (utilization) as a subject in front of the camera 1.
  • a storage unit 3 in which at least one background image captured by the camera 1 is stored in relation to the focal length at the time of shooting, and a person (utilization) as a subject in front of the camera 1.
  • an image showing a person is acquired, only the background acquired from the storage unit 3 with the focal length that matches the focal length at the time of shooting the person or the closest focal length is acquired.
  • an image extraction unit 4 for extracting an image.
  • the storage unit 3 may be configured as a database.
  • the apparatus further performs image processing by the background subtraction method using the image showing the person and the background-only image extracted by the image extraction unit 4, and cuts out the person portion from the image showing the person,
  • the image processing unit 5 outputs an image in which an area other than a person in an image showing a person is painted with a predetermined color.
  • the camera 1, the storage unit 3, the image extraction unit 4 and the image processing unit 5 are controlled by the control unit 6.
  • the apparatus includes a touch panel display 7 for a user to operate the apparatus.
  • this automatic photography apparatus When taking a picture, it is assumed that the user will stand within the reach of the device housing 2 (that is, within a range of about 0.5 to 1 m from the front of the device housing 2). Images are taken by the camera 1, for example, while changing the focal length at an interval of 10 cm within a range of 0.2 m to 1.5 m from the front surface of the housing 2 of the apparatus. It is registered in the database 3 in relation to the focal length.
  • the operation of storing the background-only image in the storage unit 3 is automatically performed at regular time intervals while the apparatus is not being used, based on a time table stored in advance in the memory of the control unit 6. . In this case, every time an image storage operation is performed in the storage unit 3, an image previously stored in the storage unit 3 is replaced with a newly taken image. Therefore, when the apparatus is used, The latest image (image of only the background) is always used.
  • the automatic image capturing by the apparatus is stopped, and the image registered in the storage unit 3 by the previous automatic image capturing is used in the image processing.
  • the user stands in front of the housing 2, operates the device via the touch panel display 7, and takes a picture facing the camera 1.
  • an image showing a person (user) is acquired, and at the same time, focal length data at the time of shooting is sent to the image extraction unit 4 from a distance meter built in the camera 1.
  • the image acquired by the camera 1 is sent to the image processing unit 5.
  • the image extraction unit 4 extracts from the storage unit 3 an image of only the background acquired at the focal length that matches the focal length at the time of shooting or the closest focal length.
  • the extracted image is sent to the image processing unit 5.
  • the image processing unit 5 performs image processing by the background subtraction method using an image showing a person (user) and an image of only the background, and cuts the person portion from the image showing the person (user).
  • the region other than the person portion in the image where the person (user) is extracted is filled with the color specified by the user.
  • the image in which the area other than the person portion is filled with the specified color is displayed on the touch panel display 7 and is confirmed by the user and necessary corrections are made. Then, the processed image is printed on photographic paper and discharged from the apparatus.
  • the conventional box and frame are not required, and the apparatus becomes very simple and compact, so that the cost of the apparatus can be reduced.
  • the automatic photography apparatus of this invention does not take much installation space, it can install in the place where the automatic photography apparatus could not be installed conventionally.
  • the apparatus of the present invention is configured as an automatic photography apparatus, but it goes without saying that the present invention can be applied to other apparatuses than the automatic photography apparatus.
  • FIG. 3 is a flowchart of a method for cutting out a subject portion from an image acquired by camera shooting according to the second embodiment of the present invention.
  • the embodiment of FIG. 3 and the embodiment of FIG. 1 can measure the focal length at the time of image capturing in the embodiment of FIG. 1, whereas the embodiment of FIG. They differ from each other in that they cannot be measured.
  • a camera is first placed at a fixed position (step S1 in FIG. 3).
  • a plurality of images of only the background are photographed at different focal lengths by the camera, and the acquired images are stored (step S2 in FIG. 3).
  • the subject is placed in front of the camera and shot, and an image showing the subject is acquired (step S3 in FIG. 3).
  • step S4 in FIG. 3 image processing by the background subtraction method is performed using the background-only image and the image of the subject, the subject portion is cut out from the image of the subject, and the subject A region other than the subject portion in the image in which is shown is painted with a predetermined color, and the area of the painted region is calculated (step S4 in FIG. 3).
  • the image having the largest area of the filled area is selected as an image obtained by cutting out the subject portion from the image in which the subject is captured (step S5 in FIG. 3). This is because it is assumed that the greater the area of the painted area, the higher the identity of the area other than the subject part between the two images that have taken the background difference.
  • the subject portion is accurately cut out from the image in which the subject is captured using only the background image most suitable for image processing by the background subtraction method.
  • a region other than the subject portion inside can be filled with a specific color.
  • FIG. 4 is a block diagram of an apparatus suitable for using the method of FIG.
  • this apparatus is configured as an automatic photography apparatus as in the embodiment of FIG. 2, and includes a camera 1 'and a camera holding unit 2 for arranging the camera 1' at a fixed position.
  • the camera holding unit 2 is composed of a housing of the apparatus, and a camera 1 ′ is fitted and fixed in an opening provided in the upper front portion of the housing.
  • a rangefinder for measuring the focal length at the time of photographing is not provided.
  • the apparatus also arranges a storage unit 3 ′ in which images of only a plurality of backgrounds photographed at different focal lengths by the camera 1 ′ are stored, and a person (user) as a subject in front of the camera 1 ′.
  • a background subtraction method is used for each of the background-only images stored in the storage unit 3 ′ using the background-only image and an image showing the person.
  • An image processing unit 5 ′ that outputs an image having the largest area as an image obtained by cutting out a person portion from an image showing a person is provided.
  • the camera 1 ′, the storage unit 3, and the image processing unit 5 ′ are controlled by the control unit 6 ′.
  • the apparatus includes a touch panel display 7 for a user to operate the apparatus.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)
  • Studio Circuits (AREA)
  • Image Analysis (AREA)

Abstract

　大掛かりな装置構成を用いることなく低コストかつ簡単に、クロマキーが実現できるようにする。定位置にカメラを配置する（Ｓ１）。カメラによって背景のみの画像を取得し、当該画像をその撮影時の焦点距離と関係づけて保存する（Ｓ２）。カメラの前方に被写体を配置して撮影し、被写体が写った画像を取得する（Ｓ３）。保存した背景のみの画像から、被写体の撮影時の焦点距離に一致する焦点距離または最も近い焦点距離で取得した背景のみの画像を抽出する（Ｓ４）。抽出した背景のみの画像と被写体が写った画像を用いて背景差分法による画像処理を行って、被写体が写った画像から被写体部分を切り抜き、被写体が写った画像中の被写体部分以外の部分を所定の色で塗りつぶす（Ｓ５）。

Description

カメラ撮影で取得した画像から被写体部分を切り抜く方法および装置
　本発明は、カメラ撮影によって取得した画像から被写体部分を切り抜く方法および装置に関するものである。
　パスポートの申請書や履歴書等に必要な証明用写真を撮影し、あるいは、ゲームセンター等において娯楽写真や遊戯用写真を撮影するための自動写真撮影装置が従来より知られている。
　これらの自動写真撮影装置の中には、クロマキー技術を用いて利用者たる被写体が写った画像から被写体部分を切り抜き、切り抜いた被写体部分を利用者が選択した背景画像と合成して合成画像を形成し、合成画像を印画紙にプリントして出力するものがある（例えば、特許文献１～３参照）。
　そして、この種の自動写真撮影装置は、内部に撮影空間を有するボックスまたはフレームを備えており、撮影空間内には、カメラと、ストロボと、利用者が操作するためのタッチパネル式ディスプレイが配置されている。
　また、クロマキーにおいては、被写体をグリーンやブルー等の特定の均一な色の背景で撮影するので、これらの自動写真撮影装置においては、ボックスの被写体背後の壁面がグリーンやブルー等に着色され、また、装置がフレームを備えている場合には、被写体の背後において、グリーンやブルー等のシートがフレームから吊下げられる。
　しかし、このような構成では、ボックスまたはフレームを備える必要があり、装置が大掛かりなものとなり、設置場所が限られ、しかも装置の製造コストがかかるという問題があった。
特開２０１２－２３５３１４号公報 特開２０１４－２１６７２４号公報 特開２０１５－８５４０号公報
　したがって、本発明の課題は、大掛かりな装置構成を用いることなく、低コストで簡単にクロマキーが実現できるようにすることにある。
　上記課題を解決するため、第１発明によれば、（１）定位置にカメラを配置し、（２）前記カメラによって撮影を行い、背景のみの画像を少なくとも１枚取得して、当該画像をその撮影時の焦点距離と関係づけて保存し、（３）前記カメラの前方に被写体を配置して撮影を行い、当該被写体が写った画像を取得し、（４）ステップ（２）で保存した前記背景のみの画像のうち、前記被写体の撮影時の焦点距離に一致する焦点距離または最も近い焦点距離で撮影した背景のみの画像を抽出し、（５）抽出した前記背景のみの画像と前記被写体が写った画像を用いて背景差分法による画像処理を行って、前記被写体が写った画像から被写体部分を切り抜き、前記被写体が写った画像中の被写体部分以外の領域を所定の色で塗りつぶすことを特徴とする方法が提供される。
　上記課題を解決するため、また、第２発明によれば、（１）定位置にカメラを配置し、（２）前記カメラによって、背景のみの画像を異なる焦点距離で複数枚撮影し、取得した画像をそれぞれ保存し、（３）前記カメラの前方に被写体を配置して撮影することによって、前記被写体が写った画像を取得し、（４）ステップ（２）で保存した前記背景のみの画像のそれぞれについて、当該背景のみの画像と前記被写体が写った画像を用いて背景差分法による画像処理を行って、前記被写体が写った画像から被写体部分を切り抜き、前記被写体が写った画像中の被写体部分以外の領域を所定の色で塗りつぶし、その塗りつぶした領域の面積を算出し、（５）前記塗りつぶした領域の面積が最大となる画像を、前記被写体が写った画像から被写体部分を切り抜いた画像として選択することを特徴とする方法が提供される。
　また、上記課題を解決するため、第３発明によれば、カメラと、前記カメラを定位置に配置するためのカメラ保持ユニットと、前記カメラまたは前記カメラ保持ユニットに備えられ、前記カメラによる撮影時の焦点距離を測定する測距計と、前記定位置にある前記カメラによる撮影で取得された少なくとも１枚の背景のみの画像が、その撮影時の焦点距離と関係づけて格納された記憶部と、前記定位置にある前記カメラの前方に被写体を配置して撮影がなされて、当該被写体が写った画像が取得されたとき、前記記憶部から前記被写体の撮影時の焦点距離に一致する焦点距離または最も近い焦点距離で取得された背景のみの画像を抽出する画像抽出部と、前記被写体が写った画像と、前記画像抽出部によって抽出された前記背景のみの画像とを用いて背景差分法による画像処理を行って、前記被写体が写った画像から被写体部分を切り抜き、前記被写体が写った画像中の被写体部分以外の領域を所定の色で塗りつぶした画像を出力する画像処理部と、を有するものであることを特徴とする装置が提供される。
　上記課題を解決するため、また、第４発明によれば、カメラと、前記カメラを定位置に配置するためのカメラ保持ユニットと、前記定位置にある前記カメラによって、異なる焦点距離で撮影された複数の背景のみの画像が格納された記憶部と、前記定位置にある前記カメラの前方に被写体を配置して撮影がなされて、当該被写体が写った画像が取得されたとき、前記記憶部に格納された前記背景のみの画像のそれぞれについて、当該背景のみの画像と前記被写体が写った画像を用いて背景差分法による画像処理を行って、前記被写体が写った画像から被写体部分を切り抜き、前記被写体が写った画像中の前記被写体部分以外の領域を所定の色で塗りつぶし、その塗りつぶした領域の面積を算出し、前記塗りつぶした領域の面積が最大となる画像を、前記被写体が写った画像から被写体部分を切り抜いた画像として出力する画像処理部と、を有するものであることを特徴とする装置が提供される。
　本発明によれば、被写体が写った画像と背景のみの画像とを用いて、背景差分法による画像処理によって、被写体が写った画像から被写体部分を切り抜くので、カメラによって撮影される自然な背景を用いればよく、グリーンやブルー等の特定の均一な色の背景を用意する必要はない。
　さらに、背景のみの画像を予め取得して保存しておき、被写体が写った画像が撮影された時に、保存しておいた画像から背景差分法による画像処理に最も適した画像を抽出し、それを用いて画像処理を行うので、被写体の撮影時にその都度背景のみの画像を撮影する必要はない。
　また、第１および第３の発明によれば、撮影時の焦点距離が測定可能な場合に、背景のみの画像をその撮影時の焦点距離と関係づけて予め保存しておき、保存した背景のみの画像から被写体の撮影時の焦点距離と同じかまたは最も近い焦点距離で取得したものを抽出し、背景差分法による画像処理を行って、被写体が写った画像から被写体部分を切り抜き、当該画像中の被写体部分以外の領域を所定の色で塗りつぶすので、処理が高速で行え、被写体部分の切り抜きも正確に行うことができる。
　また、第２および第４発明によれば、撮影時の焦点距離が測定不能な場合に、予め保存した背景のみの画像のそれぞれについて、当該背景のみの画像と被写体が写った画像を用いて背景差分法による画像処理を行い、被写体が写った画像から被写体部分を切り抜き、被写体が写った画像中の被写体部分以外の領域を所定の色で塗りつぶし、その塗りつぶした領域の面積を算出し、塗りつぶした領域の面積が最大となる画像を、被写体が写った画像から被写体部分を切り抜いた画像として選択する。
　これは、塗りつぶした領域の面積が大きいほど、背景差分をとった２つの画像間において、被写体部分以外の領域の同一性が高いと想定されるからである。
　こうして、背景差分法による画像処理に最適の背景のみの画像を用いて、被写体が写った画像中から被写体部分を正確に切り抜き、当該画像中の被写体部分以外の領域を特定の色で塗りつぶすことができる。
　そして、本発明を自動写真撮影装置に適用した場合には、従来のようなボックスやフレームが不要となって、装置が非常に簡単かつコンパクトになり、そのため装置を低コスト化でき、また、設置スペースをあまりとらないので装置を設置可能な場所が広がる。
本発明の第１実施例による、カメラ撮影で取得した画像から被写体部分を切り抜く方法のフロー図である。 （Ａ）は、被写体として利用者が写った画像の１例を示した図であり、（Ｂ）は、背景のみの画像の１例を示した図であり、（Ｃ）は、（Ａ）から被写体部分を切り抜き、被写体部分以外の領域を特定の色で塗りつぶした画像の１例を示した図である。 図１の方法を使用するのに適した装置のブロック図である。 本発明の第２実施例による、カメラ撮影で取得した画像から被写体部分を切り抜く方法のフロー図である。 図４の方法を使用するのに適した装置のブロック図である。
　以下、添付図面を参照しつつ、本発明の構成を好ましい実施例に基づいて説明する。
　図１は、本発明の第１実施例による、カメラ撮影で取得した画像から被写体部分を切り抜く方法のフロー図である。図１を参照して、本発明によれば、まず、定位置にカメラが配置される（図１のステップＳ１）。カメラは、カラー画像およびモノクロ画像のいすれを取得できるものでもよい。
　次いで、カメラによって背景のみの画像が少なくとも１枚撮影され、当該画像がその撮影時の焦点距離と関係づけて保存される（図１のステップＳ２）。そして、カメラの前方に被写体を配置して撮影がなされ、被写体が写った画像（図２（Ａ）参照）が取得される（図１のステップＳ３）。
　背景のみの画像の撮影に関しては、被写体が撮影されるときのカメラおよび被写体間の一般的な距離と、カメラの被写界深度とを考慮して、当該一般的な距離を挟んだ前後の一定距離の範囲内の、等間隔をあけた複数の位置のそれぞれに焦点を合わせて撮影がなされ、複数の画像が取得されることが好ましいが、撮影時の被写体の位置が常に固定されるような場合には、背景のみの画像は、当該被写体の撮影時の焦点距離で取得されたものが１枚あれば足りる。
　また、被写体部分の切り抜きの精度を上げる観点から、保存されるべき背景のみの画像は、被写体が写った画像が撮影される際の撮影条件（照明の明るさ等）とできるだけ同じ撮影条件で撮影されていることが好ましい。
　次に、保存された背景のみの画像から、被写体の撮影時の焦点距離に一致する焦点距離または最も近い焦点距離で取得した背景のみの画像（図２（Ｂ）参照）が抽出され（図１のステップＳ４）、その抽出された背景のみの画像と、被写体が写った画像を用いて背景差分法による画像処理がなされ、被写体が写った画像から被写体部分が切り抜かれ、被写体が写った画像中の被写体部分以外の領域が所定の色で塗りつぶされる（図１のステップＳ５、図２（Ｃ）参照）。
　背景差分法としては、公知の種々の手法のいずれも使用することができ、具体例としては、被写体が写った画像および背景のみの画像をグレースケール化し、被写体が写った画像の各画素の階調値を、背景のみの画像の対応する各画素の階調値から減算し、減算の結果が一定の数値範囲内（例えば０～５の範囲内）にあれば、背景領域として階調値を全て０とし、それ以外の数値であれば、被写体部分として減算前の階調値とする方法がある。
　こうして、本発明の方法によれば、被写体が写った画像と背景のみの画像とを用いて、背景差分法による画像処理によって、被写体が写った画像から被写体部分を切り抜くので、カメラによって撮影される自然な背景を用いればよく、グリーンやブルー等の特定の均一な色の背景を用意する必要はない。
　また、背景のみの画像を予め保存しておき、被写体が撮影された時に、保存した背景のみの画像から背景差分法による画像処理に最も適した画像を抽出し、それを用いて画像処理を行うので、被写体の撮影時に、その都度背景のみの画像を撮影する必要はない。
　図３は、図１の方法を使用するに適した装置のブロック図である。図３の実施例では、装置は自動写真撮影装置として構成されている。
　図３を参照して、この装置は、カメラ１と、カメラ１を定位置に配置するためのカメラ保持ユニット２を有している。カメラ保持ユニット２は、この実施例では、装置のハウジングからなっており、ハウジングの前面上部に設けられた開口に、カメラ１が嵌め込まれて固定されている。
　また、カメラ１には、カメラ１による撮影時の焦点距離を測定する測距計（図示はしない）が備えられている。測距計は、カメラ１とは別個にカメラ保持ユニット（ハウジング）２に備えられていてもよい。
　装置は、また、カメラ１によって撮影された少なくとも１枚の背景のみの画像が、その撮影時の焦点距離と関係づけて格納された記憶部３と、カメラ１の前方に被写体としての人物（利用者）を配置して撮影がなされて、人物が写った画像が取得されたとき、記憶部３から当該人物撮影時の焦点距離に一致する焦点距離または最も近い焦点距離で取得された背景のみの画像を抽出する画像抽出部４とを有している。
　この場合、記憶部３はデータベースとして構成されていてもよい。
　装置は、さらに、人物が写った画像と、画像抽出部４によって抽出された背景のみの画像とを用いて、背景差分法による画像処理を行って、人物が写った画像から人物部分を切り抜き、人物が写った画像中の人物以外の領域を所定の色で塗りつぶした画像を出力する画像処理部５を有している。
　カメラ１、記憶部３、画像抽出部４および画像処理部５は、制御部６によって制御される。また、装置には、利用者が装置を操作するためのタッチパネル式ディスプレイ７が備えられている。
　次に、この自動写真撮影装置の動作について説明する。
　写真撮影の際、利用者が装置のハウジング２に手が届く範囲内（すなわち、装置のハウジング２の前面から約０．５～１ｍの範囲内）に立つであろうとの想定で、背景のみの画像が、カメラ１によって、例えば、装置のハウジング２の前面から０．２ｍ～１．５ｍの範囲内において１０ｃｍの間隔で焦点距離を変化させつつ撮影され、取得された画像のそれぞれが撮影時の焦点距離と関係づけてデータベース３に登録される。
　この背景のみの画像の記憶部３への格納の動作は、制御部６のメモリに予め格納されたタイムテーブルに基づき、装置の利用がなされない間に、一定の時間間隔で自動的になされる。
　この場合、この記憶部３への画像格納動作がなされる毎に、その前に記憶部３に格納されていた画像が新たに撮影された画像によって置き換えられ、よって、装置が利用されるときには、常に、最新の画像（背景のみの画像）が使用されるようになっている。
　こうして、照明や天候の変化等によって撮影条件が変動したとしても、装置の利用時の直前に撮影された背景のみの画像を使用することで、ほぼ同じ撮影条件で取得された、人物（利用者）が写った画像と背景のみの画像に基づいて、背景差分法による画像処理を行うことができ、よって、人物（利用者）が写った画像から人物部分を正確に切り抜くことができる。
　なお、装置による画像の自動撮影の間に、装置の利用が開始されたときは、装置による自動撮影が停止せしめられ、前回の自動撮影によって記憶部３に登録された画像が画像処理で使用される。
　装置が利用されるとき、利用者がハウジング２の前に立ち、タッチパネル式ディスプレイ７を介して装置を作動させ、カメラ１の方を向いて撮影を行う。それによって、人物（利用者）が写った画像が取得され、それと同時に、カメラ１に内蔵された測距計から撮影時の焦点距離のデータが画像抽出部４に送られる。また、カメラ１によって取得された画像は画像処理部５に送られる。
　次いで、記憶部３から、画像抽出部４によって、当該撮影時の焦点距離に一致する焦点距離または最も近い焦点距離で取得された背景のみの画像が抽出される。抽出された画像は画像処理部５に送られる。
　そして、画像処理部５によって、人物（利用者）が写った画像と、背景のみの画像を用いて背景差分法による画像処理が行われ、人物（利用者）が写った画像から人物部分が切り抜かれ、人物（利用者）が写った画像中の人物部分以外の領域が、利用者によって指定された色で塗りつぶされる。
　この人物部分以外の領域が指定色で塗りつぶされた画像は、タッチパネル式ディスプレイ７に表示され、利用者による確認および必要な修正が加えられる。そして、処理が完了した画像が印画紙にプリントされて装置から排出される。
　こうして、本発明の自動写真撮影装置によれば、従来のようなボックスやフレームが不要となって、装置が非常に簡単かつコンパクトになり、そのため装置を低コスト化できる。そして、本発明の自動写真撮影装置は設置スペースをあまりとらないので、従来は自動写真撮影装置が設置できなかった場所にも設置できる。
　なお、この実施例では、本発明の装置を自動写真撮影装置として構成したが、本発明が自動写真撮影装置以外にも適用可能であることは言うまでもない。
　図３は、本発明の第２実施例による、カメラ撮影で取得された画像から被写体部分を切り抜く方法のフロー図である。図３の実施例と図１の実施例とは、図１の実施例では、画像撮影時の焦点距離が測定可能であるのに対し、図３の実施例では、画像撮影時の焦点距離が測定不能である点で互いに異なっている。
　図３を参照して、この実施例では、まず、定位置にカメラが配置される（図３のステップＳ１）。次いで、カメラによって、背景のみの画像が異なる焦点距離で複数枚撮影され、取得された画像がそれぞれ保存される（図３のステップＳ２）。そして、カメラの前方に被写体を配置して撮影がなされ、被写体が写った画像が取得される（図３のステップＳ３）。
　次に、保存された背景のみの画像のそれぞれについて、当該背景のみの画像と被写体が写った画像を用いて背景差分法による画像処理がなされ、被写体が写った画像から被写体部分が切り抜かれ、被写体が写った画像中の被写体部分以外の領域が所定の色で塗りつぶされ、塗りつぶされた領域の面積が算出される（図３のステップＳ４）。
　そして、塗りつぶした領域の面積が最大となる画像が、被写体が写った画像から被写体部分を切り抜いた画像として選択される（図３のステップＳ５）。
　これは、塗りつぶした領域の面積が大きいほど、背景差分をとった２つの画像間において、被写体部分以外の領域の同一性が高いと想定されるからである。
　こうして、画像撮影時の焦点距離が不明な場合であっても、背景差分法による画像処理に最も適した背景のみの画像を用いて、被写体が写った画像中から被写体部分を正確に切り抜き、画像中の被写体部分以外の領域を特定の色で塗りつぶすことができる。
　図４は、図３の方法を使用するのに適した装置のブロック図である。
　図４を参照して、この装置は、図２の実施例と同様に自動写真撮影装置として構成されており、カメラ１’と、カメラ１’を定位置に配置するためのカメラ保持ユニット２を有している。カメラ保持ユニット２は、図２の実施例と同様、装置のハウジングからなっており、ハウジングの前面上部に設けられた開口部にカメラ１’が嵌め込まれ、固定されている。
　なお、この実施例では、撮影時の焦点距離を測定するための測距計は備えられていない。
　装置は、また、カメラ１’によって異なる焦点距離で撮影された複数の背景のみの画像が格納された記憶部３’と、カメラ１’の前方に被写体としての人物（利用者）を配置して撮影がなされて、人物が写った画像が取得されたとき、記憶部３’に格納された背景のみの画像のそれぞれについて、当該背景のみの画像と人物が写った画像を用いて背景差分法による画像処理を行って、人物が写った画像から人物部分を切り抜き、人物が写った画像中の人物部分以外の領域を所定の色で塗りつぶし、その塗りつぶした領域の面積を算出し、塗りつぶした領域の面積が最大となる画像を、人物が写った画像から人物部分を切り抜いた画像として出力する画像処理部５’を有している。
　カメラ１’、記憶部３および画像処理部５’は、制御部６’によって制御される。また、装置には、利用者が装置を操作するためのタッチパネル式ディスプレイ７が備えられている。
１、１’　カメラ
２　カメラ保持ユニット
３、３’　記憶部
４　画像抽出部
５、５’　画像処理部
６、６’　制御部
７　タッチパネル式ディスプレイ

Claims (4)

  1. （１）定位置にカメラを配置し、
    （２）前記カメラによって撮影を行い、背景のみの画像を少なくとも１枚取得して、当該画像をその撮影時の焦点距離と関係づけて保存し、
    （３）前記カメラの前方に被写体を配置して撮影を行い、当該被写体が写った画像を取得し、
    （４）ステップ（２）で保存した前記背景のみの画像のうち、前記被写体の撮影時の焦点距離に一致する焦点距離または最も近い焦点距離で撮影した背景のみの画像を抽出し、
    （５）抽出した前記背景のみの画像と前記被写体が写った画像を用いて背景差分法による画像処理を行って、前記被写体が写った画像から被写体部分を切り抜き、前記被写体が写った画像中の被写体部分以外の領域を所定の色で塗りつぶすことを特徴とする方法。
  2. （１）定位置にカメラを配置し、
    （２）前記カメラによって、背景のみの画像を異なる焦点距離で複数枚撮影し、取得した画像をそれぞれ保存し、
    （３）前記カメラの前方に被写体を配置して撮影することによって、前記被写体が写った画像を取得し、
    （４）ステップ（２）で保存した前記背景のみの画像のそれぞれについて、当該背景のみの画像と前記被写体が写った画像を用いて背景差分法による画像処理を行って、前記被写体が写った画像から被写体部分を切り抜き、前記被写体が写った画像中の被写体部分以外の領域を所定の色で塗りつぶし、その塗りつぶした領域の面積を算出し、
    （５）前記塗りつぶした領域の面積が最大となる画像を、前記被写体が写った画像から被写体部分を切り抜いた画像として選択することを特徴とする方法。
  3. 　カメラと、
    　前記カメラを定位置に配置するためのカメラ保持ユニットと、
    　前記カメラまたは前記カメラ保持ユニットに備えられ、前記カメラによる撮影時の焦点距離を測定する測距計と、
    　前記定位置にある前記カメラによる撮影で取得された少なくとも１枚の背景のみの画像が、その撮影時の焦点距離と関係づけて格納された記憶部と、
    　前記定位置にある前記カメラの前方に被写体を配置して撮影がなされて、当該被写体が写った画像が取得されたとき、前記記憶部から前記被写体の撮影時の焦点距離に一致する焦点距離または最も近い焦点距離で取得された背景のみの画像を抽出する画像抽出部と、
    　前記被写体が写った画像と、前記画像抽出部によって抽出された前記背景のみの画像とを用いて背景差分法による画像処理を行って、前記被写体が写った画像から被写体部分を切り抜き、前記被写体が写った画像中の被写体部分以外の領域を所定の色で塗りつぶした画像を出力する画像処理部と、を有するものであることを特徴とする装置。
  4. 　カメラと、
    　前記カメラを定位置に配置するためのカメラ保持ユニットと、
    　前記定位置にある前記カメラによって、異なる焦点距離で撮影された複数の背景のみの画像が格納された記憶部と、
    　前記定位置にある前記カメラの前方に被写体を配置して撮影がなされて、当該被写体が写った画像が取得されたとき、前記記憶部に格納された前記背景のみの画像のそれぞれについて、当該背景のみの画像と前記被写体が写った画像を用いて背景差分法による画像処理を行って、前記被写体が写った画像から被写体部分を切り抜き、前記被写体が写った画像中の前記被写体部分以外の領域を所定の色で塗りつぶし、その塗りつぶした領域の面積を算出し、前記塗りつぶした領域の面積が最大となる画像を、前記被写体が写った画像から被写体部分を切り抜いた画像として出力する画像処理部と、を有するものであることを特徴とする装置。
PCT/JP2016/053818 2015-02-25 2016-02-09 カメラ撮影で取得した画像から被写体部分を切り抜く方法および装置 WO2016136462A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015035451A JP2016158155A (ja) 2015-02-25 2015-02-25 カメラ撮影で取得した画像から被写体部分を切り抜く方法および装置
JP2015-035451 2015-02-25

Publications (1)

Publication Number Publication Date
WO2016136462A1 true WO2016136462A1 (ja) 2016-09-01

Family

ID=56789575

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/053818 WO2016136462A1 (ja) 2015-02-25 2016-02-09 カメラ撮影で取得した画像から被写体部分を切り抜く方法および装置

Country Status (2)

Country Link
JP (1) JP2016158155A (ja)
WO (1) WO2016136462A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108076290A (zh) * 2017-12-20 2018-05-25 维沃移动通信有限公司 一种图像处理方法及移动终端
CN112235520A (zh) * 2020-12-07 2021-01-15 腾讯科技（深圳）有限公司 一种图像处理方法、装置、电子设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1127577A (ja) * 1997-06-30 1999-01-29 Hitachi Ltd 仮想視点画像システム
JP2003179811A (ja) * 2001-12-10 2003-06-27 Cta Co Ltd 画像合成装置
WO2008126371A1 (ja) * 2007-04-02 2008-10-23 M.Soft Co., Ltd. 映像合成方法、映像合成システム
JP2013024534A (ja) * 2011-07-26 2013-02-04 Panasonic Corp 状況認識装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1127577A (ja) * 1997-06-30 1999-01-29 Hitachi Ltd 仮想視点画像システム
JP2003179811A (ja) * 2001-12-10 2003-06-27 Cta Co Ltd 画像合成装置
WO2008126371A1 (ja) * 2007-04-02 2008-10-23 M.Soft Co., Ltd. 映像合成方法、映像合成システム
JP2013024534A (ja) * 2011-07-26 2013-02-04 Panasonic Corp 状況認識装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108076290A (zh) * 2017-12-20 2018-05-25 维沃移动通信有限公司 一种图像处理方法及移动终端
CN108076290B (zh) * 2017-12-20 2021-01-22 维沃移动通信有限公司 一种图像处理方法及移动终端
CN112235520A (zh) * 2020-12-07 2021-01-15 腾讯科技（深圳）有限公司 一种图像处理方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
JP2016158155A (ja) 2016-09-01

Similar Documents

Publication Publication Date Title
CN105635593B (zh) 多重曝光成像***及其白平衡方法
CN103366352B (zh) 用于产生背景被虚化的图像的设备和方法
CN106507087B (zh) 一种终端成像方法及***
JP4567618B2 (ja) 撮像装置およびその制御方法
TWI389559B (zh) 前景影像分離方法
CN111182217B (zh) 一种图像白平衡的处理方法和装置
EP3614659B1 (en) Image processing method, electronic apparatus, and computer-readable storage medium
WO2016165488A1 (zh) 照片处理方法及装置
CN109118581A (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
JP6027581B2 (ja) 画像合成装置，画像合成方法，画像合成装置の制御プログラムおよびそのプログラムを格納した記録媒体
JP2008502970A (ja) デジタル画像からの色の不具合を補正するためにカメラおよび／またはディスプレイデバイスを色較正するための方法およびデバイス
KR101046041B1 (ko) 촬상 장치
CN109190533A (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
WO2016145831A1 (zh) 图像的获取方法及装置
CN107920205B (zh) 图像处理方法、装置、存储介质和电子设备
WO2016136462A1 (ja) カメラ撮影で取得した画像から被写体部分を切り抜く方法および装置
CN107547789B (zh) 影像获取装置及其摄影构图的方法
WO2016194646A1 (ja) 撮像補助装置および撮像装置
CN108289170B (zh) 能够检测计量区域的拍照装置、方法及计算机可读介质
JP6115024B2 (ja) 撮像装置及び撮像処理方法並びにプログラム
WO2016202073A1 (zh) 图像处理的方法和装置
JP2009141951A5 (ja)
CN103312965A (zh) 摄像装置以及摄像方法
WO2016180221A1 (zh) 一种拍照的方法及装置
CN109582811B (zh) 图像处理方法、装置、电子设备和计算机可读存储介质

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16755209

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 16755209

Country of ref document: EP

Kind code of ref document: A1