JP2019201397A - Imaging apparatus and program - Google Patents
Imaging apparatus and program Download PDFInfo
- Publication number
- JP2019201397A JP2019201397A JP2018217118A JP2018217118A JP2019201397A JP 2019201397 A JP2019201397 A JP 2019201397A JP 2018217118 A JP2018217118 A JP 2018217118A JP 2018217118 A JP2018217118 A JP 2018217118A JP 2019201397 A JP2019201397 A JP 2019201397A
- Authority
- JP
- Japan
- Prior art keywords
- image
- unit
- subject
- control unit
- imaging device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 93
- 238000005286 illumination Methods 0.000 claims abstract description 58
- 238000000034 method Methods 0.000 claims description 60
- 230000008569 process Effects 0.000 claims description 58
- 230000008859 change Effects 0.000 claims description 10
- 238000005520 cutting process Methods 0.000 claims description 8
- 238000000605 extraction Methods 0.000 claims description 4
- 238000010586 diagram Methods 0.000 description 14
- 239000000203 mixture Substances 0.000 description 13
- 230000036544 posture Effects 0.000 description 10
- 230000006870 function Effects 0.000 description 8
- 230000000694 effects Effects 0.000 description 6
- 230000015572 biosynthetic process Effects 0.000 description 5
- 238000003786 synthesis reaction Methods 0.000 description 5
- 238000013135 deep learning Methods 0.000 description 4
- 239000000284 extract Substances 0.000 description 3
- 230000000295 complement effect Effects 0.000 description 2
- 239000002131 composite material Substances 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 230000011514 reflex Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Images
Landscapes
- Image Input (AREA)
- Studio Devices (AREA)
- Stroboscope Apparatuses (AREA)
Abstract
Description
本発明は、撮影装置及びプログラムに関する。 The present invention relates to a photographing apparatus and a program.
昨今、ディープラーニングの技術を用いて、入力画像を判別することが行われている。ディープラーニングとは、コンピュータによる機械学習で、人間の脳神経回路を模したニューラルネットワークを多層的にすることで、コンピュータ自らがデータに含まれる潜在的な特徴をとらえ、より正確で効率的な判断を実現させる技術である。ディープラーニングでは、様々な条件下で撮影した様々な画像を、コンピュータに入力させることで、コンピュータが学習して、識別器を生成する。そして、入力画像を識別器により判定させると、入力画像に対する学習結果が出力される。
ディープラーニングの精度を向上させるには、様々な条件での画像を学習させる必要がある。そのため、大量の画像が必要になる。
そこで、大量の画像を生成する学習サンプル撮影装置が開示されている（例えば、特許文献１）。
また、ある画像から大量の画像を生成する学習装置が開示されている（例えば、特許文献２）。
Recently, an input image is discriminated using a deep learning technique. Deep learning is machine learning by a computer, and by making a neural network that mimics the human brain neural circuit in multiple layers, the computer itself captures the potential features contained in the data and makes more accurate and efficient decisions. It is a technology to be realized. In deep learning, various images taken under various conditions are input to a computer, and the computer learns to generate a discriminator. When the input image is determined by the classifier, a learning result for the input image is output.
In order to improve the accuracy of deep learning, it is necessary to learn images under various conditions. Therefore, a large amount of images are required.
Therefore, a learning sample photographing device that generates a large amount of images is disclosed (for example, Patent Document 1).
Further, a learning device that generates a large amount of images from a certain image is disclosed (for example, Patent Document 2).
特許文献１は、被写体をモニタ上に載置し、モニタに背景画像を表示させた状態で被写体を撮影するものである。そのため、特許文献１では、モニタに、被写体の影が入り込んでしまい、自然な被写体の画像を取得できなかった。
また、特許文献２は、被写体の画像から３次元形状を復元して、復元した３次元形状に基づいて、被写体を描出した画像を生成するものであり、処理が煩雑であった。
Japanese Patent Application Laid-Open No. 2004-228561 shoots a subject while placing the subject on a monitor and displaying a background image on the monitor. Therefore, in Patent Document 1, the shadow of the subject enters the monitor, and a natural subject image cannot be acquired.
Further,
そこで、本発明は、自然な被写体の画像であって撮影条件が異なる大量の画像を取得することが可能な撮影装置及びプログラムを提供することを目的とする。 SUMMARY An advantage of some aspects of the invention is that it provides a photographing apparatus and a program capable of acquiring a large number of images of natural subjects and different photographing conditions.
本発明は、以下のような解決手段により、前記課題を解決する。
第１の発明は、被写体を保持する保持部と、前記保持部により保持された前記被写体を撮影する撮影部と、前記被写体に対して直接的又は間接的に照明光を照射する照明部と、制御部と、を備え、前記制御部は、前記保持部及び前記撮影部の少なくとも一方を制御し、前記保持部により保持された前記被写体の姿勢及び前記撮影部の撮影位置の少なくとも一方を変化させて前記撮影部による前記被写体の全方位からの撮影を可能にする撮影位置制御手段と、前記照明部から照射される照明光の照明条件を制御する照明制御手段と、前記撮影位置制御手段によって前記被写体の姿勢及び前記撮影部の撮影位置の少なくとも一方が変化されるか、又は、前記照明制御手段による前記照明部の照明条件が変更される度に、前記撮影部を制御して撮影を行わせる撮影制御手段と、前記撮影部により撮影された画像を、画像記憶部に記憶させる記憶制御手段と、を備えること、を特徴とする撮影装置である。
第２の発明は、第１の発明の撮影装置において、前記撮影部から見て、前記被写体の背面になる位置に背景部材を備え、前記背景部材は、前記被写体とは異なる色の部材であり、前記制御部は、前記撮影部により撮影された前記背景部材の画像に対して画像処理を行う背景処理手段を備え、前記制御部の前記記憶制御手段は、さらに前記背景処理手段による画像処理後の画像を、前記画像記憶部に記憶させること、を特徴とする撮影装置である。
第３の発明は、第１の発明又は第２の発明の撮影装置において、前記制御部の前記記憶制御手段は、前記画像に、前記画像に関する情報を対応付けて前記画像記憶部に記憶させること、を特徴とする撮影装置である。
第４の発明は、第３の発明の撮影装置において、前記画像に関する情報は、前記画像の撮影条件を示す撮影情報及び前記画像に含まれる前記被写体の画像に関する画像情報のうち少なくとも一方であること、を特徴とする撮影装置である。
第５の発明は、第１の発明から第４の発明までのいずれかの撮影装置において、撮影条件の指定を受け付ける指定受付部を備え、前記制御部は、前記指定受付部が受け付けた前記撮影条件に従って、前記撮影位置制御手段、前記照明制御手段及び前記撮影制御手段による処理を行うこと、を特徴とする撮影装置である。
第６の発明は、第１の発明から第５の発明までのいずれかの撮影装置において、異なる位置に配置された複数の前記照明部を備え、前記制御部の前記照明制御手段は、各照明部を制御すること、を特徴とする撮影装置である。
第７の発明は、第１の発明から第５の発明までのいずれかの撮影装置において、前記制御部は、前記照明部の前記被写体に対する照明光の照射方向を変更する照射方向変更手段を備え、前記制御部の前記撮影制御手段は、前記照射方向変更手段による照射方向の変更が行われる度に、前記撮影部を制御して撮影を行わせること、を特徴とする撮影装置である。
第８の発明は、第１の発明から第７の発明までのいずれかの撮影装置において、異なる位置から前記被写体を撮影可能に配置された複数の前記撮影部を備え、前記制御部の前記撮影制御手段は、各撮影部を制御して撮影を行わせること、を特徴とする撮影装置である。
第９の発明は、第１の発明から第８の発明までのいずれかの撮影装置において、前記保持部は、前記被写体を把持する把持部材であること、を特徴とする撮影装置である。
第１０の発明は、第１の発明から第８の発明までのいずれかの撮影装置において、前記保持部は、前記被写体を載置する載置台であること、を特徴とする撮影装置である。
第１１の発明は、第１の発明から第１０の発明までのいずれかの撮影装置において、前記制御部は、前記撮影部により撮影された前記画像に写り込んだ前記保持部の画像に対して補間処理を行う補間処理手段を備えること、を特徴とする撮影装置である。
第１２の発明は、第１の発明から第１１の発明までのいずれかの撮影装置において、前記制御部は、前記撮影部のズームレンズを制御するズーム制御手段を備え、前記撮影制御手段は、前記ズーム制御手段により前記ズームレンズが制御された場合に、前記撮影部を制御して撮影を行わせること、を特徴とする撮影装置である。
第１３の発明は、第１の発明から第１１の発明までのいずれかの撮影装置において、前記制御部は、前記撮影部と前記被写体との距離を変更する距離変更手段を備え、前記撮影制御手段は、前記距離変更手段により前記距離が変更された場合に、前記撮影部を制御して撮影を行わせること、を特徴とする撮影装置である。
第１４の発明は、第１の発明から第１３の発明までのいずれかの撮影装置において、前記制御部は、前記撮影部により撮影された前記画像から前記被写体の画像を抽出する被写体画像抽出手段と、前記被写体画像抽出手段により抽出した前記被写体の画像を囲む形状又は前記被写体の画像の形状に、前記画像を切り出す画像切出手段と、を備え、前記記憶制御手段は、前記画像切出手段により切り出された画像を、前記画像記憶部に記憶させること、を特徴とする撮影装置である。
第１５の発明は、第１の発明から第１４の発明までのいずれかの撮影装置の前記制御部としてコンピュータを機能させるためのプログラムである。
The present invention solves the above problems by the following means.
The first invention includes a holding unit that holds a subject, a photographing unit that photographs the subject held by the holding unit, and an illumination unit that directly or indirectly illuminates the subject with illumination light, A control unit, wherein the control unit controls at least one of the holding unit and the photographing unit, and changes at least one of a posture of the subject held by the holding unit and a photographing position of the photographing unit. The photographing position control means that enables photographing of the subject from all directions by the photographing section, the illumination control means that controls the illumination condition of the illumination light emitted from the illumination section, and the photographing position control means Each time at least one of the posture of the subject and the shooting position of the shooting unit is changed, or the lighting condition of the lighting unit is changed by the lighting control unit, the shooting unit is controlled to take a picture. And imaging control means for causing the image captured by the imaging unit, be provided with a storage control means for storing in the image storage unit, a photographing apparatus according to claim.
According to a second aspect of the present invention, in the photographing apparatus of the first aspect, a background member is provided at a position on the back of the subject as seen from the photographing unit, and the background member is a member having a color different from that of the subject. The control unit includes a background processing unit that performs image processing on the image of the background member captured by the imaging unit, and the storage control unit of the control unit further performs image processing by the background processing unit. The image is stored in the image storage unit.
According to a third aspect of the present invention, in the photographing apparatus according to the first aspect or the second aspect, the storage control unit of the control unit causes the image storage unit to store information relating to the image in association with the image. The imaging device characterized by the above.
4th invention is the imaging device of 3rd invention, The information regarding the said image is at least one among the imaging information which shows the imaging conditions of the said image, and the image information regarding the image of the said subject contained in the said image The imaging device characterized by the above.
According to a fifth aspect of the present invention, in any one of the photographing apparatuses from the first aspect to the fourth aspect of the present invention, the photographing apparatus includes a designation receiving unit that accepts designation of photographing conditions, and the control unit receives the photographing received by the designation receiving unit According to a condition, the photographing apparatus is characterized by performing processing by the photographing position control means, the illumination control means, and the photographing control means.
A sixth aspect of the present invention is the imaging apparatus according to any one of the first to fifth aspects, further comprising a plurality of the illumination units arranged at different positions, wherein the illumination control means of the control unit includes each illumination unit A photographing apparatus characterized by controlling a unit.
In a seventh aspect based on any one of the first to fifth aspects, the control unit includes an irradiation direction changing unit that changes an irradiation direction of the illumination light to the subject of the illumination unit. The imaging control unit of the control unit is an imaging apparatus that controls the imaging unit to perform imaging whenever the irradiation direction is changed by the irradiation direction changing unit.
An eighth aspect of the present invention is the photographing apparatus according to any one of the first to seventh aspects, further comprising a plurality of the photographing units arranged so as to be capable of photographing the subject from different positions, and the photographing of the control unit The control means is a photographing apparatus characterized by controlling each photographing unit to perform photographing.
A ninth invention is an imaging apparatus according to any one of the first to eighth inventions, wherein the holding portion is a holding member that holds the subject.
A tenth aspect of the present invention is the photographing apparatus according to any one of the first to eighth aspects of the present invention, wherein the holding unit is a placing table on which the subject is placed.
According to an eleventh aspect of the present invention, in any one of the photographing apparatuses from the first aspect to the tenth aspect, the control unit applies the image of the holding unit reflected in the image photographed by the photographing unit. An imaging apparatus comprising an interpolation processing means for performing an interpolation process.
In a twelfth aspect based on any one of the first to eleventh aspects, the control unit includes a zoom control unit that controls a zoom lens of the photographing unit, and the photographing control unit includes: When the zoom lens is controlled by the zoom control unit, the photographing unit controls the photographing unit to perform photographing.
In a thirteenth aspect of the present invention, in any one of the photographing apparatuses according to the first to eleventh aspects, the control unit includes a distance changing unit that changes a distance between the photographing unit and the subject, and the photographing control is performed. The means is a photographing apparatus characterized in that when the distance is changed by the distance changing means, the photographing unit is controlled to perform photographing.
In a fourteenth aspect of the present invention, in the photographing apparatus according to any one of the first to thirteenth aspects, the control section extracts subject image extraction means for extracting the subject image from the image photographed by the photographing section. And an image cutout means for cutting out the image into a shape surrounding the subject image extracted by the subject image extraction means or a shape of the subject image, and the storage control means includes the image cutout means. The image capturing apparatus is characterized in that the image cut out by the image storage unit is stored in the image storage unit.
A fifteenth aspect of the invention is a program for causing a computer to function as the control unit of any one of the photographing apparatuses according to the first to fourteenth aspects of the invention.
本発明によれば、自然な被写体の画像であって撮影条件が異なる大量の画像を取得することが可能な撮影装置及びプログラムを提供することができる。 According to the present invention, it is possible to provide a photographing apparatus and a program capable of acquiring a large number of images that are natural subject images and have different photographing conditions.
以下、本発明を実施するための形態について、図を参照しながら説明する。なお、これは、あくまでも一例であって、本発明の技術的範囲はこれに限られるものではない。
（第１実施形態）
図１は、第１実施形態に係る撮影装置１００の全体概要を示す図である。
図２は、第１実施形態に係る制御装置４の機能ブロック図である。
図１に示す撮影装置１００は、カメラ１（撮影部）と、２台のライト２（照明部）と、被写体Ａを把持するアーム３（保持部）と、背景板７（背景部材）とを備える。そして、撮影装置１００は、ライト２の異なる照明条件の中で、様々な姿勢の被写体Ａを、カメラ１に撮影させることで、撮影条件が異なる大量の被写体Ａの画像を得るシステムである。
DESCRIPTION OF EMBODIMENTS Hereinafter, embodiments for carrying out the present invention will be described with reference to the drawings. This is merely an example, and the technical scope of the present invention is not limited to this.
(First embodiment)
FIG. 1 is a diagram illustrating an overall outline of an
FIG. 2 is a functional block diagram of the control device 4 according to the first embodiment.
An
＜カメラ１＞
カメラ１は、被写体Ａを撮影する装置である。カメラ１は、制御装置４に接続されており、制御装置４の制御により、シャッターが押されて被写体Ａを撮像する。カメラ１は、被写体Ａの方向にレンズが向くように、予め位置が固定されている。なお、カメラ１は、どのような性能のものであってもよい。カメラ１は、例えば、一眼レフカメラであってもよいし、スマートフォン等の携帯端末が備えるものであってもよい。
<Camera 1>
The camera 1 is a device that photographs the subject A. The camera 1 is connected to the control device 4, and the subject A is imaged by pressing the shutter under the control of the control device 4. The position of the camera 1 is fixed in advance so that the lens faces the direction of the subject A. The camera 1 may have any performance. For example, the camera 1 may be a single-lens reflex camera, or may be provided in a mobile terminal such as a smartphone.
＜ライト２＞
ライト２は、被写体Ａに対して直接的に、又は、間接的に照明光を照射する装置である。ライト２は、制御装置４に接続されており、制御装置４の制御により、照明条件を変更する。図１において、ライト２は、２つのみであるが、撮影装置１００は、例えば、被写体Ａを取り囲むように、複数のライト２を有してもよいし、１台のライト２であってもよい。
<
The
＜アーム３＞
アーム３は、被写体Ａを把持する部材である。アーム３は、制御装置４に接続されており、制御装置４の制御によりアーム３を各軸方向に回転させて、把持する被写体Ａの姿勢を変化させる。
<
The
＜制御装置４＞
制御装置４は、カメラ１、ライト２及びアーム３を制御する。制御装置４は、例えば、パーソナルコンピュータ（ＰＣ）や、タブレット等の装置である。
図２に示すように、制御装置４は、制御部４０と、記憶部５０と、タッチパネルディスプレイ５６と、インタフェース部５９とを備える。
制御部４０は、制御装置４の全体を制御する中央処理装置（ＣＰＵ）である。制御部４０は、記憶部５０に記憶されているオペレーティングシステム（ＯＳ）や、各種のアプリケーションプログラムを適宜読み出して実行することにより、上述したハードウェアと協働し、各種機能を実行する。
<Control device 4>
The control device 4 controls the camera 1, the
As shown in FIG. 2, the control device 4 includes a
The
制御部４０は、撮影位置制御部４１（撮影位置制御手段）と、照明制御部４２（照明制御手段）と、カメラ制御部４４（撮影制御手段）と、画像処理部４５とを備える。
撮影位置制御部４１は、アーム３を制御して、アーム３に保持された被写体Ａの姿勢を変化させる。撮影位置制御部４１による制御の結果、カメラ１による被写体Ａの全方位からの撮影が可能になる。
照明制御部４２は、ライト２から照射される照明光の照明条件を制御する。照明制御部４２は、複数のライト２の各々について、照明条件を制御する。照明条件とは、例えば、照明光の強さや、色等に関するものである。
カメラ制御部４４は、カメラ１を制御してカメラ１に撮像させる。また、カメラ制御部４４は、カメラ１を制御して、カメラ１から撮影画像を送信させる。
The
The photographing
The
The
画像処理部４５は、カメラ１から取得した撮影画像について、画像処理を行う。画像処理部４５は、背景処理部４６（背景処理手段）と、補間処理部４７（補間処理手段）と、記憶処理部４８（記憶制御手段）とを備える。
背景処理部４６は、カメラ１から取得した撮影画像に、背景画像を合成する。
補間処理部４７は、カメラ１から取得した撮影画像の少なくとも一部に対して、補間用画像を用いて補間処理を行う。
記憶処理部４８は、カメラ１から取得した撮影画像を、撮影情報に対応付けて撮影画像記憶部５２（画像記憶部）に記憶させる。ここで、撮影情報は、撮影条件を示す情報であり、例えば、被写体Ａとの距離情報を含む位置に関する情報や、照明条件等の照明光に関する情報を含む。また、記憶処理部４８は、背景処理部４６による処理や、補間処理部４７による処理により得た処理後の画像を、生成画像記憶部５４（画像記憶部）に記憶させる。
The
The
The
The
記憶部５０は、制御部４０を実行するために必要なプログラム、データ等を記憶するためのハードディスク、半導体メモリ素子等の記憶領域である。
記憶部５０は、プログラム記憶部５１と、撮影画像記憶部５２と、合成用画像記憶部５３と、生成画像記憶部５４とを備える。
プログラム記憶部５１は、制御プログラム５１ａを記憶している。制御プログラム５１ａは、制御部４０の各種機能を実行するためのプログラムである。
撮影画像記憶部５２は、カメラ１から取得した撮影画像を記憶する記憶領域である。
The
The
The
The captured
合成用画像記憶部５３は、撮影画像の被写体Ａの背景として合成する合成用画像を記憶する記憶領域である。また、合成用画像記憶部５３は、撮影画像の被写体Ａの一部に対して合成する合成用画像を記憶する。合成用画像は、背景画像と、補間用画像とを含む。
生成画像記憶部５４は、画像処理部４５による画像処理で生成された処理後の画像を記憶する記憶領域である。
The composition
The generated
タッチパネルディスプレイ５６は、例えば、撮影装置１００を使用するユーザが撮影条件の指定を入力するための（指定受付部である）入力装置としての機能と、例えば、入力された撮影条件を、確認のために表示させる等の表示装置としての機能とを有する。
インタフェース部５９は、カメラ１、ライト２及びアーム３に対して、信号やデータ等を送受信するためのインタフェースである。
For example, the
The
＜背景板７＞
図１の背景板７は、カメラ１の側から見て、被写体Ａの背面になる位置に設けられたボードである。
背景板７は、撮影画像に対してクロマキーを行うのに好適な色をしており、例えば、単色のボードである。背景板７の色は、被写体Ａの色と補色の関係にある色、つまり、互いの色を最も目立たせる色であることが望ましい。よって、背景板７は、被写体Ａの色によって、異なる色のものに変更してもよい。また、背景板７は、その他、背景として用いる絵柄等を有していてもよい。
背景板７は、カメラ１による撮影で背面を構成するものであるため、そのサイズは、カメラ１の画角より大きい。
<
The
The
Since the
＜被写体Ａ＞
被写体Ａは、コンピュータによる学習に使用したい撮影対象物である。図１に示す被写体Ａは、ボトル型の物体である。被写体Ａは、物体に限定されるものではない。被写体Ａは、例えば、動物や植物等であってもよい。
<Subject A>
A subject A is a subject to be photographed that is to be used for learning by a computer. A subject A shown in FIG. 1 is a bottle-shaped object. The subject A is not limited to an object. The subject A may be, for example, an animal or a plant.
＜撮影装置１００の設営＞
被写体Ａの画像を取得するにあたり、撮影装置１００の設営について、図１に基づき説明する。
図１に示すように、撮影装置１００を構成するカメラ１の位置及び各ライト２の位置は、固定されている。
そして、背景板７は、被写体Ａの色とは補色の関係になる色をしたものを用意し、カメラ１の撮影方向であって、アーム３より遠い位置に配置する。
ユーザは、図１に示すように、撮影装置１００を構成する各装置を設営した後、被写体Ａをアーム３に保持させる。
<Installation of the photographing
In obtaining the image of the subject A, the setting of the photographing
As shown in FIG. 1, the position of the camera 1 and the position of each light 2 constituting the photographing
A
As shown in FIG. 1, the user holds the subject A on the
＜撮影装置１００の処理＞
次に、撮影装置１００での処理について説明する。
図３は、第１実施形態に係る制御装置４の撮影処理を示すフローチャートである。
図４は、第１実施形態に係るカメラ１により撮影された撮影画像の例を示す図である。
制御装置４の制御プログラム５１ａが起動されると、制御装置４の制御部４０は、図３の処理を開始する。
<Processing of
Next, processing in the photographing
FIG. 3 is a flowchart showing a photographing process of the control device 4 according to the first embodiment.
FIG. 4 is a diagram illustrating an example of a captured image captured by the camera 1 according to the first embodiment.
When the
図３のステップＳ（以下、「ステップＳ」を、単に「Ｓ」という。）１０において、制御部４０は、タッチパネルディスプレイ５６を介して撮影条件の指定を受け付ける。撮影条件は、例えば、撮影する枚数や、被写体Ａの撮影角度等をいう。
また、制御部４０は、撮影条件として、照明条件を受け付けてもよい。
なお、制御装置４は、記憶部５０に、予め撮影条件を記憶しておいてもよい。その場合、制御部４０は、ユーザによる撮影条件の指定があった場合には、指定された撮影条件を用い、ユーザによる撮影条件の指定がなかった場合には、記憶部５０に記憶された撮影条件を用いてもよい。
In step S (hereinafter, “step S” is simply referred to as “S”) 10 in FIG. 3, the
In addition, the
Note that the control device 4 may store shooting conditions in the
Ｓ１１において、制御部４０（撮影位置制御部４１、照明制御部４２）は、撮影条件に基づいて、各装置（各ライト２及びアーム３）を制御する。具体的には、制御部４０は、撮影条件に基づいて、各ライト２による照明光の明るさや色を制御する。また、制御部４０は、撮影条件に基づいて、アーム３を回転動作させ、被写体Ａの姿勢を変化させる。
In S11, the control unit 40 (shooting
Ｓ１２において、制御部４０は、各装置を制御したことで、Ｓ１０で受け付けた撮影条件を満たすか否かを判断する。撮影条件を満たす場合（Ｓ１２：ＹＥＳ）には、制御部４０は、処理をＳ１３に移す。他方、撮影条件を満たさない場合（Ｓ１２：ＮＯ）には、制御部４０は、撮影条件を満たすまで、本処理に留まる。
Ｓ１３において、制御部４０（カメラ制御部４４）は、カメラ１を制御して、カメラ１に被写体Ａを撮像させる。
In S12, the
In S <b> 13, the control unit 40 (camera control unit 44) controls the camera 1 to cause the camera 1 to image the subject A.
Ｓ１４において、制御部４０は、カメラ１から撮影画像を取得し、撮影情報に対応付けて撮影画像を撮影画像記憶部５２に記憶させる。
図４（Ａ）は、図１に示す状態でカメラ１が取得した撮影画像６０の例である。撮影画像６０は、被写体Ａを、Ｚ方向上から撮影した画像である。撮影画像６０は、部分画像６０ａと、部分画像６０ｂとを含む。部分画像６０ａは、被写体Ａの画像であり、被写体Ａの上側を撮影したものである。また、部分画像６０ｂは、アーム３の画像である。
図３のＳ１５において、制御部４０は、後述する画像編集処理（図５参照）を行う。
In S <b> 14, the
FIG. 4A shows an example of a captured
In S15 of FIG. 3, the
Ｓ１６において、制御部４０は、全ての撮影条件について処理を行ったか否かを判断する。全ての撮影条件について処理を行った場合（Ｓ１６：ＹＥＳ）には、制御部４０は、処理をＳ１７に移す。他方、全ての撮影条件について処理を行っていない場合（Ｓ１６：ＮＯ）には、制御部４０は、処理をＳ１１に移す。そして、制御部４０（撮影位置制御部４１、照明制御部４２）は、撮影条件に基づいて、各装置（ライト２及びアーム３）を制御して、その後、カメラ１に被写体Ａを撮影させるという処理を繰り返す。
In S16, the
図４（Ｂ）から図４（Ｄ）までは、異なる撮影条件に基づいて被写体Ａを撮影した画像の例である。この例で説明する異なる撮影条件は、被写体Ａの姿勢の変化によるものである。
図４（Ｂ）は、アーム３を、Ｘ軸を中心に９０度回転させて、被写体Ａを撮影した撮影画像６１である。撮影画像６１は、部分画像６１ａと、部分画像６１ｂとを含む。部分画像６１ａは、被写体Ａの側面を撮影したものである。また、部分画像６１ｂは、アーム３の画像である。
図４（Ｃ）は、アーム３を、Ｘ軸を中心にさらに９０度回転させて、被写体Ａを撮影した撮影画像６２である。撮影画像６２は、部分画像６２ａと、部分画像６２ｂとを含む。部分画像６２ａは、被写体Ａの下側を撮影したものである。
図４（Ｄ）は、アーム３を、Ｘ軸を中心にさらに９０度回転させて、被写体Ａを撮影した撮影画像６３である。撮影画像６３は、部分画像６３ａと、部分画像６３ｂとを含む。部分画像６３ａは、図４（Ｂ）とは反対側の被写体Ａの側面を撮影したものである。
FIG. 4B to FIG. 4D are examples of images obtained by shooting the subject A based on different shooting conditions. The different shooting conditions described in this example are due to a change in the posture of the subject A.
FIG. 4B shows a photographed
FIG. 4C shows a photographed
FIG. 4D is a photographed
なお、全ての撮影条件について処理を行った場合とは、撮影条件として指定した被写体Ａの撮影角度にしたがって、指定した枚数の撮影をした場合をいう。
また、図には示していないが、被写体Ａの姿勢が同じであっても、照明条件が異なる場合に、撮影条件を満たすものとしてカメラを制御して撮影画像を取得してもよい。
Ｓ１７において、制御部４０は、制御プログラム５１ａの実行を終了し、本処理を終了する。
Note that the case where processing is performed for all shooting conditions refers to the case where a specified number of images are shot according to the shooting angle of the subject A specified as the shooting conditions.
Further, although not shown in the figure, even if the subject A has the same posture, the captured image may be acquired by controlling the camera as satisfying the photographing condition when the illumination conditions are different.
In S17, the
次に、画像編集処理について説明する。
図５は、第１実施形態に係る制御装置４の画像編集処理を示すフローチャートである。
図６及び図７は、第１実施形態に係る撮影装置１００での画像処理例を示す図である。
図５のＳ２０において、制御部４０は、撮影画像に対して補間処理を行うか否かを判断する。制御部４０は、補間処理を行うか否かを、ユーザからの入力によって判断してもよい。また、制御部４０は、撮影画像に対して公知の技術である画像認識処理を行うことによって、補間処理を行うか否かを判断してもよい。具体的には、画像認識処理によって、例えば、アーム３の画像があると確認された場合に、制御部４０は、補間処理を行うと判断してもよい。補間処理を行う場合（Ｓ２０：ＹＥＳ）には、制御部４０は、処理をＳ２１に移す。他方、補間処理を行わない場合（Ｓ２０：ＮＯ）には、制御部４０は、処理をＳ２２に移す。
Next, the image editing process will be described.
FIG. 5 is a flowchart showing image editing processing of the control device 4 according to the first embodiment.
6 and 7 are diagrams illustrating an example of image processing in the photographing
In S20 of FIG. 5, the
Ｓ２１において、制御部４０（補間処理部４７）は、補間処理を行う。具体的には、制御部４０は、例えば、合成用画像記憶部５３に記憶された補間用画像を用いて、補間処理を行う。また、制御部４０は、例えば、撮影画像記憶部５２に記憶された他の撮影画像を用いて、補間処理を行ってもよい。そして、制御部４０は、補間処理後の画像を、生成画像記憶部５４に記憶させる。
なお、制御部４０は、補間処理後の画像と、元の撮影画像に対応付けられた撮影情報とを、生成画像記憶部５４に対応付けて記憶してもよい。その際、補間処理を行った旨をさらに記憶するようにしてもよい。また、制御部４０は、補間処理後の画像を、元の撮影画像に対応付けて生成画像記憶部５４に記憶してもよい。
In S21, the control unit 40 (interpolation processing unit 47) performs an interpolation process. Specifically, the
The
ここで、補間処理の具体例を説明する。
図６（Ａ）は、図１に示す撮影装置１００によってカメラ１が取得した撮影画像８０の一例であり、補間処理を行う前の画像である。
図６（Ｂ）は、補間処理後の画像８１を示す。画像８１は、撮影画像８０からアーム３の画像である部分画像８０ｂを補間処理によって削除し、被写体Ａの全体画像である部分画像８１ａにしたものである。部分画像８１ａは、例えば、撮影画像記憶部５２に記憶された他の撮影画像を用いて、部分画像８０ｂが占めた部分を追加する加工処理を行って生成できる。
Here, a specific example of the interpolation processing will be described.
FIG. 6A is an example of a captured
FIG. 6B shows the
このように、制御部４０は、アーム３の画像を削除する補間処理を行うことで、アーム３の画像がない被写体Ａを示す部分画像８１ａを得ることができる。よって、部分画像８１ａを含む画像８１は、コンピュータによる学習に用いる画像として適切なものにできる。
As described above, the
図６（Ｃ）は、補間処理後の画像８２を示す。画像８２は、例えば、画像８１に、手の部分画像８２ｃを加工したものである。手の部分画像８２ｃは、例えば、合成用画像記憶部５３に記憶された補間用画像である手の画像を用いて加工したものであってよい。
このように、制御部４０は、手の画像を加える補間処理を行うことによって、被写体Ａを手に持っているという自然な画像８２を得ることができる。よって、部分画像８２ａ及び８２ｃを含む画像８２は、コンピュータによる学習に用いる画像として適切なものにできる。
FIG. 6C shows the
In this way, the
図５のＳ２２において、制御装置４の制御部４０（画像処理部４５）は、合成用画像記憶部５３から背景画像を取得する。
Ｓ２３において、制御部４０（背景処理部４６）は、取得した背景画像を、被写体Ａの画像に合成し、生成画像記憶部５４に合成後の画像を記憶させる。ここで、被写体Ａの画像とは、補間処理を行った場合には、補間処理後の画像をいい、補間処理を行っていない場合には、撮影画像をいう。
なお、制御部４０は、合成処理後の画像と、元の撮影画像に対応付けられた撮影情報とを、生成画像記憶部５４に対応付けて記憶してもよい。その際、合成処理を行った旨をさらに記憶するようにしてもよい。また、制御部４０は、合成処理後の画像を、元の撮影画像に対応付けて生成画像記憶部５４に記憶してもよい。
In S <b> 22 of FIG. 5, the control unit 40 (image processing unit 45) of the control device 4 acquires a background image from the composition
In S23, the control unit 40 (background processing unit 46) combines the acquired background image with the image of the subject A, and causes the generated
The
ここで、背景画像の合成に関する具体例を説明する。
図７（Ａ）は、背景合成前の画像８１の例を示す。画像８１は、図６（Ｂ）に示すものと同じであり、補間処理によって、アーム３の画像が削除されたものである。
図７（Ｂ）は、画像８１に背景画像８５ｄを合成した合成後の画像８５の例を示す。画像８５は、被写体Ａの画像である部分画像８５ａが、タイル柄の背景画像８５ｄの前景に配置された画像である。
このように、制御部４０は、背景画像を合成する処理を行うことによって、被写体Ａが、より自然な状態にある画像８５を得ることができる。よって、部分画像８５ａ及び背景画像８５ｄを含む画像８５は、コンピュータによる学習に用いる画像として適切なものにできる。
Here, a specific example regarding the synthesis of the background image will be described.
FIG. 7A shows an example of an
FIG. 7B shows an example of the combined
As described above, the
図５のＳ２４において、制御部４０は、全ての背景画像を使用して処理を行ったか否かを判断する。この画像編集処理は、制御部４０は、合成用画像記憶部５３に記憶された全ての背景画像を用いて順番に合成するものである。全ての背景画像を使用して処理を行った場合（Ｓ２４：ＹＥＳ）には、制御部４０は、本処理を終了する。他方、全ての背景画像を使用して処理を行っていない場合（Ｓ２４：ＮＯ）には、制御部４０は、処理をＳ２２に移し、未使用の背景画像による合成処理を繰り返す。
In S24 of FIG. 5, the
このように、第１実施形態によれば、撮影装置１００は、以下のような効果がある。
（１）被写体Ａを保持するアーム３によって被写体Ａの姿勢を変化させる度に被写体Ａを撮影するので、様々な姿勢の被写体Ａの撮影画像を取得できる。よって、コンピュータによる学習に用いる画像として、被写体Ａに関する異なる多くの画像を、簡単に取得できる。
（２）背景板７を背景にして被写体Ａの撮影画像を得るので、背景画像の合成がしやすいものにできる。
（３）撮影画像に、撮影情報を対応付けて記憶するので、コンピュータによる学習の際に、撮影情報をも用いることができる。
Thus, according to 1st Embodiment, the
(1) Since the subject A is shot every time the posture of the subject A is changed by the
(2) Since the captured image of the subject A is obtained with the
(3) Since shooting information is stored in association with a shot image, shooting information can also be used during learning by a computer.
（４）複数のライト２によって照明条件を変化させるので、より自然な光がある条件で被写体Ａの画像を得ることができる。
（５）撮影画像に対して補間処理をするので、補間処理後の画像を、例えば、アーム３が入らない自然なものにできる。よって、補間処理後の画像を、コンピュータによる学習に用いる画像として適切なものにできる。
（６）撮影画像に対して合成処理をするので、合成処理後の画像を、より自然な状態の画像にできる。よって、合成処理後の画像を、コンピュータによる学習に用いる画像として適切なものにできる。
(4) Since the illumination conditions are changed by the plurality of
(5) Since the captured image is subjected to interpolation processing, the image after the interpolation processing can be made natural, for example, without the
(6) Since the composite process is performed on the photographed image, the image after the composite process can be made a more natural image. Therefore, the image after the synthesis process can be made appropriate as an image used for learning by the computer.
（第２実施形態）
第２実施形態では、被写体が固定され、カメラの撮影位置が変わるものを説明する。なお、以降の説明において、上述した第１実施形態と同様の機能を果たす部分には、同一の符号又は末尾に同一の符号を付して、重複する説明を適宜省略する。
(Second Embodiment)
In the second embodiment, a case where the subject is fixed and the shooting position of the camera changes will be described. In the following description, parts that perform the same functions as those in the first embodiment described above are given the same reference numerals or the same reference numerals at the end, and redundant descriptions are omitted as appropriate.
図８は、第２実施形態に係る撮影装置２００の全体概要を示す図である。
図９は、第２実施形態に係る制御装置２０４の機能ブロック図である。
図８に示す撮影装置２００は、カメラ１と、ライト２と、被写体Ａを把持するアーム２０３と、背景板７との他、カメラ１の撮影位置を変更する可動部材２０５と、ライト２の照射方向を変更する可動部材２０６と、背景板７の位置を変更する可動部材２０８とを備える。そして、撮影装置２００は、ライト２の異なる照明条件及び照射方向の中で、様々な方向から被写体Ａを、カメラ１に撮影させることで、撮影条件が異なる大量の被写体Ａの画像を得るシステムである。
FIG. 8 is a diagram illustrating an overall outline of an
FIG. 9 is a functional block diagram of the
8 includes a camera 1, a
＜カメラ１＞
カメラ１は、可動部材２０５によって、被写体Ａに対する位置が変更可能になっている。可動部材２０５は、カメラ１を被写体Ａに対して全方位からの撮影が可能なように、カメラ１の位置を変更可能な部材である。
＜ライト２＞
ライト２は、可動部材２０６によって、照明光の照射方向が変更可能になっている。
＜アーム２０３＞
アーム２０３は、被写体Ａを把持する部材である。アーム２０３は、予め位置が固定されている。
<Camera 1>
The position of the camera 1 with respect to the subject A can be changed by the
<
In the
<Arm 203>
The
＜制御装置２０４＞
制御装置２０４は、カメラ１及びライト２の他、可動部材２０５、２０６、２０８を制御する。
図９に示すように、制御装置２０４は、制御部２４０と、記憶部２５０と、タッチパネルディスプレイ５６と、インタフェース部５９とを備える。
制御部２４０は、撮影位置制御部２４１と、照明制御部４２と、照射方向変更部２４３（照射方向変更手段）と、カメラ制御部４４と、画像処理部４５とを備える。
撮影位置制御部２４１は、可動部材２０５を制御することで、カメラ１の撮影位置を変化させる。また、撮影位置制御部２４１は、カメラ１の撮影位置を変化させることに応じて、可動部材２０８を制御し、背景板７の位置を変化させる。具体的には、可動部材２０５及び可動部材２０８によって、カメラ１の側から見て、被写体Ａの背面になる位置に、常に背景板７が設けられるようにする。
照射方向変更部２４３は、可動部材２０６を制御することで、ライト２による照明光の照射方向を変更する。
<
The
As shown in FIG. 9, the
The
The shooting position control unit 241 changes the shooting position of the camera 1 by controlling the
The irradiation
記憶部２５０は、プログラム記憶部２５１と、撮影画像記憶部５２と、合成用画像記憶部５３と、生成画像記憶部５４とを備える。プログラム記憶部２５１は、制御部２４０の各種機能を実行するためのプログラムである制御プログラム２５１ａを記憶している。
The
＜背景板７＞
図８の背景板７は、可動部材２０８によって、被写体Ａに対する位置が変更可能になっている。
<
The position of the
＜撮影装置２００の処理＞
撮影装置２００の処理については、第１実施形態（図３）とＳ１１に対応する処理を除いて同じである。
図３のＳ１１に対応する処理において、制御部２４０（撮影位置制御部２４１、照明制御部４２、照射方向変更部２４３）は、撮影条件に基づいて、各装置（ライト２、可動部材２０５、２０６及び２０８）を制御する。具体的には、制御部２４０は、撮影条件に基づいて、ライト２及び可動部材２０６を制御して、ライト２による照明光の明るさ、色及び照射方向を制御する。また、制御部２４０は、撮影条件に基づいて、可動部材２０５及び２０８を制御して、被写体Ａに対するカメラ１及び背景板７の位置を変化させる。
<Processing of
The processing of the
In the processing corresponding to S11 in FIG. 3, the control unit 240 (the imaging position control unit 241, the
このように、第２実施形態によれば、撮影装置２００は、以下のような効果がある。
（１）カメラ１の位置を変化させる度に被写体Ａを撮影するので、様々な方向から被写体Ａの撮影画像を取得できる。よって、コンピュータによる学習に用いる画像として、被写体Ａに関する異なる多くの画像を、簡単に取得できる。
（２）カメラ１の位置を変化させることに応じて、背景板７の位置を変化させるので、カメラ１の位置が変わっても、背景板７を背景として被写体Ａが撮影できる。
（３）ライト２の照射方向が変更される度に被写体Ａを撮影するので、同じ方向からの被写体Ａの撮影画像でも、照明条件が異なる撮影画像を得ることができる。よって、コンピュータによる学習に用いる画像として、異なるライティングの画像を、簡単に取得できる。
Thus, according to 2nd Embodiment, the
(1) Since the subject A is captured every time the position of the camera 1 is changed, captured images of the subject A can be acquired from various directions. Therefore, many different images related to the subject A can be easily acquired as images used for learning by the computer.
(2) Since the position of the
(3) Since the subject A is photographed every time the irradiation direction of the
（第３実施形態）
第３実施形態では、被写体の大きさが様々である画像を取得するものを説明する。
図１０は、第３実施形態に係る撮影装置３００の全体構成図及び制御装置３０４の機能ブロック図である。
第３実施形態で説明する撮影装置３００の各機器の設置状況は、第１実施形態（図１）と同様である。
撮影装置３００は、カメラ３０１のズームレンズを制御することで、被写体Ａの大きさを拡大及び縮小させた様々な画像を撮影する。また、撮影装置３００は、撮影画像に含まれる被写体画像に関する画像情報を、撮影画像に関連付ける。ここで、画像情報や撮影情報は、撮影画像のメタデータであり、ラベル付けによって撮影画像に関連付けができる。そうすることで、メタデータがラベル付けされた画像は、機械学習に用いる際の教師データになり得る。
(Third embodiment)
In the third embodiment, a description will be given of obtaining images with various subject sizes.
FIG. 10 is an overall configuration diagram of an
The installation status of each device of the photographing
The
＜カメラ３０１＞
カメラ３０１は、ズームレンズ（図示せず）を備える。そして、カメラ３０１は、ズームレンズの制御によって、画角に占める被写体Ａの大きさを変更することができ、様々な大きさの被写体を画角に有する画像を撮影可能である。
<
The
＜制御装置３０４＞
制御装置３０４は、制御部３４０と、記憶部３５０と、タッチパネルディスプレイ５６と、インタフェース部５９とを備える。
制御部３４０は、撮影位置制御部４１と、照明制御部４２と、カメラ制御部３４４（撮影制御手段、ズーム制御手段）と、画像処理部３４５とを備える。
カメラ制御部３４４は、カメラ３０１のズームレンズを制御してカメラ３０１に撮像させる。また、カメラ制御部３４４は、カメラ３０１を制御して、カメラ３０１から撮影画像を送信させる。
<Control device 304>
The control device 304 includes a
The
The
画像処理部３４５は、背景処理部４６と、補間処理部４７と、切出処理部３４７ａ（被写体画像抽出手段、画像切出手段）と、記憶処理部３４８とを備える。
切出処理部３４７ａは、カメラ３０１によって取得した撮影画像から被写体Ａの画像を抽出する。そして、切出処理部３４７ａは、抽出した被写体Ａの画像を囲む矩形領域を設定して、被写体Ａの画像を切り出す。また、切出処理部３４７ａは、被写体の画像に関する画像情報を取得する。切出処理部３４７ａは、撮影画像に対して公知の物体認識処理を行うことによって、被写体Ａの画像に関する画像情報を取得できる。また、切出処理部３４７ａは、ユーザによってタッチパネルディスプレイ５６を介して入力された画像情報を取得してもよい。ここで、画像情報は、撮影画像に含まれる被写体Ａの名称を含み、被写体Ａが製品の場合には、メーカ名や製品名を含んでもよい。
The
The cut-
記憶処理部３４８は、カメラ３０１から取得した撮影画像に、メタデータをラベル付けして撮影画像記憶部５２に記憶させる。また、記憶処理部３４８は、背景処理部４６による処理や、補間処理部４７による処理、さらには切出処理部３４７ａによる処理により得た処理後の画像に、メタデータをラベル付けして、生成画像記憶部３５４に記憶させる。
The
記憶部３５０は、プログラム記憶部３５１と、撮影画像記憶部５２と、合成用画像記憶部５３と、生成画像記憶部３５４とを備える。
プログラム記憶部３５１は、制御部３４０の各種機能を実行するためのプログラムである制御プログラム３５１ａを記憶している。
生成画像記憶部３５４は、画像処理部３４５による画像処理で生成された処理後の画像を記憶する記憶領域である。
The
The
The generated
＜撮影装置３００の処理＞
次に、撮影装置３００での処理について説明する。
図１１は、第３実施形態に係る制御装置３０４の撮影処理を示すフローチャートである。
図１１のＳ３１０において、制御部３４０は、タッチパネルディスプレイ５６を介して撮影条件の指定を受け付ける。撮影条件には、例えば、ズームレンズの倍率等をさらに含む。
Ｓ３１１において、制御部３４０（撮影位置制御部４１、照明制御部４２、カメラ制御部３４４）は、撮影条件に基づいて、各装置（各ライト２、アーム３及びカメラ３０１）を制御する。カメラ３０１を制御するものとして、具体的には、制御部３４０は、撮影条件に基づいて、ズームレンズの倍率を変化させる。
<Processing of
Next, processing in the
FIG. 11 is a flowchart showing the photographing process of the control device 304 according to the third embodiment.
In S <b> 310 of FIG. 11, the
In S311, the control unit 340 (the shooting
Ｓ３１２からＳ３１５までの処理は、第１実施形態（図３）のＳ１２からＳ１５までの処理と同様である。
Ｓ３１５ａにおいて、制御部３４０（画像処理部３４５）は、後述する画像切出処理（図１２参照）を行う。
Ｓ３１６及びＳ３１７の処理は、第１実施形態（図３）のＳ１６及びＳ１７の処理と同様である。
The processing from S312 to S315 is the same as the processing from S12 to S15 in the first embodiment (FIG. 3).
In S315a, the control unit 340 (image processing unit 345) performs an image cut-out process (see FIG. 12) described later.
The processes of S316 and S317 are the same as the processes of S16 and S17 of the first embodiment (FIG. 3).
次に、画像切出処理について説明する。
図１２は、第３実施形態に係る制御装置３０４の画像切出処理を示すフローチャートである。
図１２のＳ３３０において、制御部３４０（切出処理部３４７ａ）は、画像を解析して、被写体Ａの画像を抽出する。具体的には、制御部３４０は、例えば、物体認識処理を行うことで、撮影画像に含まれる被写体Ａを認識する。ここで、処理を行う画像は、撮影画像の他、画像編集処理による処理後の画像を含む。
Ｓ３３１において、制御部３４０（切出処理部３４７ａ）は、抽出した被写体Ａの画像に関する画像情報を取得する。画像情報は、被写体Ａの名称等であり、例えば、物体認識処理において取得してもよいし、手入力によって取得してもよい。
Next, the image cutting process will be described.
FIG. 12 is a flowchart showing image cutout processing of the control device 304 according to the third embodiment.
In S330 of FIG. 12, the control unit 340 (
In step S331, the control unit 340 (
Ｓ３３２において、制御部３４０（記憶処理部３４８）は、取得した画像情報を、画像に対応付けて記憶する。ここで、制御部３４０は、取得した画像情報を、撮影画像記憶部５２に記憶された撮影画像に対応付ける。また、制御部３４０は、取得した画像情報を、生成画像記憶部３５４に記憶された補間処理後の画像や合成処理後の画像に対応付ける。
Ｓ３３３において、制御部３４０（切出処理部３４７ａ）は、被写体Ａの画像を切り出す。
Ｓ３３４において、制御部３４０（記憶処理部３４８）は、切り出した被写体Ａの画像に、取得した画像情報を対応付ける。そして、制御部３４０は、被写体Ａの画像を、生成画像記憶部３５４に記憶させる。その後、制御部３４０は、処理を図１１のＳ３１６に処理を移す。
In S332, the control unit 340 (storage processing unit 348) stores the acquired image information in association with the image. Here, the
In step S333, the control unit 340 (
In step S334, the control unit 340 (storage processing unit 348) associates the acquired image information with the cut image of the subject A. Then, the
このように、第３実施形態によれば、撮影装置３００は、以下のような効果がある。
（１）カメラ３０１のズーム倍率を変化させる度に被写体Ａを撮影するので、様々な大きさの被写体Ａを含む撮影画像を取得できる。よって、コンピュータによる学習に用いる画像として、被写体Ａに関する異なる多くの画像を、簡単に取得できる。
（２）物体認識処理によって被写体Ａの画像情報を取得し、撮影画像や、撮影画像を加工（補間、背景付加、切出）した画像に画像情報を対応付ける。よって、コンピュータによる学習に最適な情報を有する画像を、簡単に取得できる。
Thus, according to the third embodiment, the
(1) Since the subject A is shot every time the zoom magnification of the
(2) Image information of the subject A is acquired by object recognition processing, and the image information is associated with a captured image or an image obtained by processing (interpolating, adding a background, or cutting out) a captured image. Therefore, an image having information optimal for learning by a computer can be easily acquired.
以上、本発明の実施形態について説明したが、本発明は上述した実施形態に限定されるものではない。また、実施形態に記載した効果は、本発明から生じる最も好適な効果を列挙したに過ぎず、本発明による効果は、実施形態に記載したものに限定されない。なお、上述した実施形態及び後述する変形形態は、適宜組み合わせて用いることもできるが、詳細な説明は省略する。 As mentioned above, although embodiment of this invention was described, this invention is not limited to embodiment mentioned above. In addition, the effects described in the embodiments are merely a list of the most preferable effects resulting from the present invention, and the effects of the present invention are not limited to those described in the embodiments. In addition, although embodiment mentioned above and the deformation | transformation form mentioned later can also be used combining suitably, detailed description is abbreviate | omitted.
（変形形態）
（１）各実施形態では、アームによって把持された被写体を撮影して画像を取得するものを例に説明したが、これに限定されない。例えば、被写体を回転台に載置して撮影するものであってもよい。
図１３は、変形形態に係る撮影装置４００の全体概要を示す図である。
図１３に示す撮影装置４００は、カメラ１と、ライト２と、制御装置４０４と、被写体Ａを載置する台４０９（載置台）と、背景板７との他、台４０９を回転させる可動部材４０８を備える。そして、撮影装置４００は、制御装置４０４が、カメラ１と、ライト２と、可動部材４０８とを制御して、様々なライト２の照明条件の中で、台４０９が回転されることによって様々な方向の被写体Ａを、カメラ１に撮影させる。そのようにすることで、撮影装置４００は、撮影条件が異なる大量の被写体Ａの画像を得ることができる。
(Deformation)
(1) In each of the embodiments, an example has been described in which a subject held by an arm is photographed to acquire an image, but the present invention is not limited to this. For example, the subject may be placed on a turntable and photographed.
FIG. 13 is a diagram illustrating an overall outline of an
13 includes a camera 1, a
（２）各実施形態では、１台のカメラによる撮影を例に説明したが、これに限定されない。配置位置の異なる複数のカメラを用いて、被写体を撮影してもよい。その場合、撮影画像に他のカメラの画像を含むことがあるが、その際には、補間処理によって、他のカメラを削除すればよい。
（３）各実施形態では、背景板を用いるものとして説明したが、これに限定されない。背景板を用いなくてもよい。その場合には、現実の背景が入った画像になるが、これもコンピュータによる学習に用いる画像にすることができる。
(2) Although each embodiment has been described by taking an image with one camera as an example, the present invention is not limited to this. The subject may be photographed using a plurality of cameras having different arrangement positions. In that case, an image of another camera may be included in the captured image. In this case, the other camera may be deleted by interpolation processing.
(3) In each embodiment, although it demonstrated as using a background board, it is not limited to this. The background plate may not be used. In that case, an image with a real background is included, which can also be used for learning by a computer.
（４）本実施形態では、撮影画像を取得した後に、撮影処理の中で画像編集処理や画像切出処理を行うものとして説明したが、これに限定されない。撮影処理とは別に、画像編集処理や画像切出処理を行ってもよい。
（５）本実施形態では、全ての背景画像を用いて合成するものを例に説明したが、これに限定されない。使用する１以上の背景画像を、例えば、ユーザが選択することで、タッチパネルディスプレイを介して受け付け、選択された背景画像を用いて合成するものであってもよい。
(4) In the present embodiment, the image editing process and the image cutting process are performed in the shooting process after the captured image is acquired. However, the present invention is not limited to this. In addition to the shooting process, an image editing process or an image cutting process may be performed.
(5) In the present embodiment, description has been made by taking as an example what is synthesized using all background images, but the present invention is not limited to this. For example, one or more background images to be used may be received by the user through a touch panel display and synthesized using the selected background image.
（６）第３実施形態では、カメラのズームレンズによって被写体の大きさが様々な画像を取得するものを説明したが、これに限定されない。制御装置が有する距離変更手段がカメラと被写体との距離を変更して、被写体が拡大及び縮小させた様々な画像を取得するものであってもよい。
（７）第３実施形態では、被写体を含む矩形領域を切り出すものを例に説明したが、これに限定されない。被写体のシルエットに沿って切り出すものであってもよい。また、矩形に限らず、円形や楕円形等の形状に切り出すものであってもよい。
(6) In the third embodiment, the description has been given of the case where images with various subject sizes are acquired by the zoom lens of the camera. However, the present invention is not limited to this. The distance changing means included in the control device may change the distance between the camera and the subject and acquire various images in which the subject is enlarged and reduced.
(7) In the third embodiment, the example of cutting out a rectangular region including a subject has been described as an example, but the present invention is not limited to this. You may cut out along the silhouette of a to-be-photographed object. Moreover, not only a rectangle but the thing cut out in shapes, such as circular and an ellipse, may be sufficient.
１、３０１ カメラ
２ ライト
３、２０３ アーム
４、２０４、３０４、４０４ 制御装置
７ 背景板
４０、２４０、３４０ 制御部
４１、２４１ 撮影位置制御部
４２ 照明制御部
４４、３４４ カメラ制御部
４５、３４５ 画像処理部
４６ 背景処理部
４７ 補間処理部
４８、３４８ 記憶処理部
５０、２５０、３５０ 記憶部
５１ａ、２５１ａ、３５１ａ 制御プログラム
５２ 撮影画像記憶部
５３ 合成用画像記憶部
５４、３５４ 生成画像記憶部
５６ タッチパネルディスプレイ
１００、２００、３００、４００ 撮影装置
２０５、２０６、２０８、４０８ 可動部材
２４３ 照射方向変更部
３４７ａ 切出処理部
４０９ 台
Ａ 被写体
DESCRIPTION OF SYMBOLS 1,301
Claims (15)
前記保持部により保持された前記被写体を撮影する撮影部と、
前記被写体に対して直接的又は間接的に照明光を照射する照明部と、
制御部と、
を備え、
前記制御部は、
前記保持部及び前記撮影部の少なくとも一方を制御し、前記保持部により保持された前記被写体の姿勢及び前記撮影部の撮影位置の少なくとも一方を変化させて前記撮影部による前記被写体の全方位からの撮影を可能にする撮影位置制御手段と、
前記照明部から照射される照明光の照明条件を制御する照明制御手段と、
前記撮影位置制御手段によって前記被写体の姿勢及び前記撮影部の撮影位置の少なくとも一方が変化されるか、又は、前記照明制御手段による前記照明部の照明条件が変更される度に、前記撮影部を制御して撮影を行わせる撮影制御手段と、
前記撮影部により撮影された画像を、画像記憶部に記憶させる記憶制御手段と、
を備えること、
を特徴とする撮影装置。 A holding unit for holding the subject;
A photographing unit for photographing the subject held by the holding unit;
An illumination unit that directly or indirectly illuminates the subject with illumination light;
A control unit;
With
The controller is
Control at least one of the holding unit and the photographing unit, and change at least one of the posture of the subject held by the holding unit and the photographing position of the photographing unit from the omnidirectional direction of the subject by the photographing unit. Photographing position control means for enabling photographing;
Illumination control means for controlling illumination conditions of illumination light emitted from the illumination unit;
The photographing unit is changed each time at least one of the posture of the subject and the photographing position of the photographing unit is changed by the photographing position control unit, or the lighting condition of the lighting unit by the lighting control unit is changed. Shooting control means for controlling and shooting;
Storage control means for storing an image captured by the imaging unit in an image storage unit;
Providing
An imaging device characterized by the above.
前記撮影部から見て、前記被写体の背面になる位置に背景部材を備え、
前記背景部材は、前記被写体とは異なる色の部材であり、
前記制御部は、前記撮影部により撮影された前記背景部材の画像に対して画像処理を行う背景処理手段を備え、
前記制御部の前記記憶制御手段は、さらに前記背景処理手段による画像処理後の画像を、前記画像記憶部に記憶させること、
を特徴とする撮影装置。 The imaging device according to claim 1,
A background member is provided at a position to be behind the subject as seen from the photographing unit,
The background member is a member of a different color from the subject,
The control unit includes background processing means for performing image processing on the image of the background member imaged by the imaging unit,
The storage control unit of the control unit further causes the image storage unit to store an image after the image processing by the background processing unit;
An imaging device characterized by the above.
前記制御部の前記記憶制御手段は、前記画像に、前記画像に関する情報を対応付けて前記画像記憶部に記憶させること、
を特徴とする撮影装置。 In the imaging device according to claim 1 or 2,
The storage control means of the control unit causes the image storage unit to store information related to the image in association with the image;
An imaging device characterized by the above.
前記画像に関する情報は、前記画像の撮影条件を示す撮影情報及び前記画像に含まれる前記被写体の画像に関する画像情報のうち少なくとも一方であること、
を特徴とする撮影装置。 In the imaging device according to claim 3,
The information about the image is at least one of shooting information indicating a shooting condition of the image and image information about the image of the subject included in the image;
An imaging device characterized by the above.
撮影条件の指定を受け付ける指定受付部を備え、
前記制御部は、前記指定受付部が受け付けた前記撮影条件に従って、前記撮影位置制御手段、前記照明制御手段及び前記撮影制御手段による処理を行うこと、
を特徴とする撮影装置。 In the imaging device according to any one of claims 1 to 4,
Provided with a specification reception unit that receives specification of shooting conditions,
The control unit performs processing by the shooting position control unit, the illumination control unit, and the shooting control unit according to the shooting condition received by the designation receiving unit;
An imaging device characterized by the above.
異なる位置に配置された複数の前記照明部を備え、
前記制御部の前記照明制御手段は、各照明部を制御すること、
を特徴とする撮影装置。 In the imaging device according to any one of claims 1 to 5,
A plurality of the illumination units arranged at different positions;
The illumination control means of the control unit controls each illumination unit;
An imaging device characterized by the above.
前記制御部は、前記照明部の前記被写体に対する照明光の照射方向を変更する照射方向変更手段を備え、
前記制御部の前記撮影制御手段は、前記照射方向変更手段による照射方向の変更が行われる度に、前記撮影部を制御して撮影を行わせること、
を特徴とする撮影装置。 In the imaging device according to any one of claims 1 to 5,
The control unit includes an irradiation direction changing unit that changes an irradiation direction of illumination light with respect to the subject of the illumination unit,
The imaging control unit of the control unit controls the imaging unit to perform imaging whenever the irradiation direction is changed by the irradiation direction changing unit.
An imaging device characterized by the above.
異なる位置から前記被写体を撮影可能に配置された複数の前記撮影部を備え、
前記制御部の前記撮影制御手段は、各撮影部を制御して撮影を行わせること、
を特徴とする撮影装置。 In the imaging device according to any one of claims 1 to 7,
A plurality of the photographing units arranged so that the subject can be photographed from different positions;
The photographing control means of the control unit controls each photographing unit to perform photographing;
An imaging device characterized by the above.
前記保持部は、前記被写体を把持する把持部材であること、
を特徴とする撮影装置。 In the imaging device according to any one of claims 1 to 8,
The holding part is a gripping member for gripping the subject;
An imaging device characterized by the above.
前記保持部は、前記被写体を載置する載置台であること、
を特徴とする撮影装置。 In the imaging device according to any one of claims 1 to 8,
The holding unit is a mounting table for mounting the subject;
An imaging device characterized by the above.
前記制御部は、前記撮影部により撮影された前記画像に写り込んだ前記保持部の画像に対して補間処理を行う補間処理手段を備えること、
を特徴とする撮影装置。 In the imaging device according to any one of claims 1 to 10,
The control unit includes an interpolation processing unit that performs an interpolation process on the image of the holding unit captured in the image captured by the imaging unit;
An imaging device characterized by the above.
前記制御部は、前記撮影部のズームレンズを制御するズーム制御手段を備え、
前記撮影制御手段は、前記ズーム制御手段により前記ズームレンズが制御された場合に、前記撮影部を制御して撮影を行わせること、
を特徴とする撮影装置。 In the imaging device according to any one of claims 1 to 11,
The control unit includes zoom control means for controlling the zoom lens of the photographing unit,
The shooting control unit controls the shooting unit to perform shooting when the zoom lens is controlled by the zoom control unit;
An imaging device characterized by the above.
前記制御部は、前記撮影部と前記被写体との距離を変更する距離変更手段を備え、
前記撮影制御手段は、前記距離変更手段により前記距離が変更された場合に、前記撮影部を制御して撮影を行わせること、
を特徴とする撮影装置。 In the imaging device according to any one of claims 1 to 11,
The control unit includes a distance changing unit that changes a distance between the photographing unit and the subject.
The imaging control means controls the imaging unit to perform imaging when the distance is changed by the distance changing means;
An imaging device characterized by the above.
前記制御部は、
前記撮影部により撮影された前記画像から前記被写体の画像を抽出する被写体画像抽出手段と、
前記被写体画像抽出手段により抽出した前記被写体の画像を囲む形状又は前記被写体の画像の形状に、前記画像を切り出す画像切出手段と、
を備え、
前記記憶制御手段は、前記画像切出手段により切り出された画像を、前記画像記憶部に記憶させること、
を特徴とする撮影装置。 In the imaging device according to any one of claims 1 to 13,
The controller is
Subject image extraction means for extracting an image of the subject from the image photographed by the photographing unit;
Image cutout means for cutting out the image into a shape surrounding the subject image extracted by the subject image extraction means or a shape of the subject image;
With
The storage control unit stores the image cut out by the image cutout unit in the image storage unit;
An imaging device characterized by the above.
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018093443 | 2018-05-15 | ||
| JP2018093443 | 2018-05-15 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2019201397A true JP2019201397A (en) | 2019-11-21 |
| JP7310123B2 JP7310123B2 (en) | 2023-07-19 |
Family
ID=68612576
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2018217118A Active JP7310123B2 (en) | 2018-05-15 | 2018-11-20 | Imaging device and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7310123B2 (en) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2021177234A1 (en) * | 2020-03-05 | 2021-09-10 | サインポスト株式会社 | Information processing device |
| JPWO2021245813A1 (en) * | 2020-06-02 | 2021-12-09 | ||
| JP7058367B1 (en) | 2021-09-30 | 2022-04-21 | 東京瓦斯株式会社 | Learning model generation method, program and air ratio estimator |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000035607A (en) * | 1998-07-17 | 2000-02-02 | Casio Comput Co Ltd | Photographing auxiliary device |
| JP2002374454A (en) * | 2001-06-14 | 2002-12-26 | Synergy:Kk | Photographing system and multidirectional photographing method |
| JP2003337940A (en) * | 2002-05-17 | 2003-11-28 | Synergy:Kk | Three-dimensional panoramic image editing method and three-dimensional panoramic image display device |
| JP2004096780A (en) * | 2003-10-20 | 2004-03-25 | Casio Comput Co Ltd | Photographing control device and recording medium |
| JP2004248231A (en) * | 2002-12-19 | 2004-09-02 | Meta Corporation Japan | Image-photographing system and image display system |
| JP2012101320A (en) * | 2010-11-10 | 2012-05-31 | Canon Inc | Image generation apparatus, image generation method and program |
-
2018
- 2018-11-20 JP JP2018217118A patent/JP7310123B2/en active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000035607A (en) * | 1998-07-17 | 2000-02-02 | Casio Comput Co Ltd | Photographing auxiliary device |
| JP2002374454A (en) * | 2001-06-14 | 2002-12-26 | Synergy:Kk | Photographing system and multidirectional photographing method |
| JP2003337940A (en) * | 2002-05-17 | 2003-11-28 | Synergy:Kk | Three-dimensional panoramic image editing method and three-dimensional panoramic image display device |
| JP2004248231A (en) * | 2002-12-19 | 2004-09-02 | Meta Corporation Japan | Image-photographing system and image display system |
| JP2004096780A (en) * | 2003-10-20 | 2004-03-25 | Casio Comput Co Ltd | Photographing control device and recording medium |
| JP2012101320A (en) * | 2010-11-10 | 2012-05-31 | Canon Inc | Image generation apparatus, image generation method and program |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2021177234A1 (en) * | 2020-03-05 | 2021-09-10 | サインポスト株式会社 | Information processing device |
| JPWO2021245813A1 (en) * | 2020-06-02 | 2021-12-09 | ||
| WO2021245813A1 (en) * | 2020-06-02 | 2021-12-09 | 日本電気株式会社 | Processing device, processing method, and program |
| JP7452647B2 (en) | 2020-06-02 | 2024-03-19 | 日本電気株式会社 | Processing equipment, processing method and program |
| JP7058367B1 (en) | 2021-09-30 | 2022-04-21 | 東京瓦斯株式会社 | Learning model generation method, program and air ratio estimator |
| JP2023050291A (en) * | 2021-09-30 | 2023-04-11 | 東京瓦斯株式会社 | Learning model generation method, program and air ratio estimation device |
Also Published As
| Publication number | Publication date |
|---|---|
| JP7310123B2 (en) | 2023-07-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5871862B2 (en) | Image blur based on 3D depth information | |
| JP6263623B2 (en) | Image generation method and dual lens apparatus | |
| US8264583B2 (en) | Information processing apparatus, method and computer program product | |
| CN102547090B (en) | Digital photographing apparatus and the method that photo is provided thereof | |
| CN107018316B (en) | Image processing apparatus, image processing method, and storage medium | |
| JP7310123B2 (en) | Imaging device and program | |
| CN109934931B (en) | Method and device for collecting image and establishing target object recognition model | |
| US20140092272A1 (en) | Apparatus and method for capturing multi-focus image using continuous auto focus | |
| JP6942940B2 (en) | Image processing equipment, image processing methods and programs | |
| CN103716534B (en) | The method of photographic device and composograph | |
| US11496661B2 (en) | Image processing apparatus and image processing method | |
| CN108900764A (en) | Image pickup method and electronic device and filming control method and server | |
| CN103533212A (en) | Image synthesizing method and apparatus | |
| US20050251741A1 (en) | Methods and apparatus for capturing images | |
| JP6594666B2 (en) | Imaging auxiliary device, imaging device, and imaging auxiliary method | |
| KR102000960B1 (en) | Method for implementing augmented reality image using vector | |
| CN105847658A (en) | Multipoint focus method, device and intelligent terminal | |
| US20210133937A1 (en) | Method and system for creating, storing, sharing, and displaying multiple perspectives of an image | |
| CN114390219B (en) | Shooting method, shooting device, electronic equipment and storage medium | |
| JP2018014572A (en) | Information processing apparatus, image processing system, and program | |
| JP2004265237A (en) | Image composition method and device, microphotographing system and image composition program | |
| JP6213470B2 (en) | Image processing apparatus, imaging apparatus, and program | |
| CN108317954B (en) | Laser guide scanning system and method | |
| KR101754993B1 (en) | Photo zone photographing apparatus using Augmented Reality | |
| CN109714522A (en) | The recording medium of image processing apparatus, image processing method and image processing program recorded thereon |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210928 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220714 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220726 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220823 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230110 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230209 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230606 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230619 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7310123 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |