JP2020126434A - Image processing device, control method thereof, program, and storage media - Google Patents
Image processing device, control method thereof, program, and storage media Download PDFInfo
- Publication number
- JP2020126434A JP2020126434A JP2019018256A JP2019018256A JP2020126434A JP 2020126434 A JP2020126434 A JP 2020126434A JP 2019018256 A JP2019018256 A JP 2019018256A JP 2019018256 A JP2019018256 A JP 2019018256A JP 2020126434 A JP2020126434 A JP 2020126434A
- Authority
- JP
- Japan
- Prior art keywords
- main subject
- image
- learning
- determined
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012545 processing Methods 0.000 title claims abstract description 53
- 238000000034 method Methods 0.000 title claims description 49
- 238000004364 calculation method Methods 0.000 claims description 4
- 238000004891 communication Methods 0.000 claims description 3
- 230000008569 process Effects 0.000 description 30
- 210000004027 cell Anatomy 0.000 description 19
- 230000006870 function Effects 0.000 description 19
- 210000002569 neuron Anatomy 0.000 description 18
- 230000008878 coupling Effects 0.000 description 16
- 238000010168 coupling process Methods 0.000 description 16
- 238000005859 coupling reaction Methods 0.000 description 16
- 238000001514 detection method Methods 0.000 description 16
- 238000003384 imaging method Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 8
- 238000012360 testing method Methods 0.000 description 7
- 230000004913 activation Effects 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 4
- 239000000872 buffer Substances 0.000 description 4
- 230000010354 integration Effects 0.000 description 4
- 230000002787 reinforcement Effects 0.000 description 4
- 238000012937 correction Methods 0.000 description 3
- 230000007717 exclusion Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000001143 conditioned effect Effects 0.000 description 1
- 230000006837 decompression Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
Images
Landscapes
- Focusing (AREA)
- Automatic Focus Adjustment (AREA)
- Studio Devices (AREA)
- Image Analysis (AREA)
Abstract
Description
本発明は、画像処理装置における主被写体領域を決定する技術に関するものである。 The present invention relates to a technique for determining a main subject area in an image processing device.
従来より、撮像装置や画像処理装置において、ユーザが何らかの操作をすることなく、装置が画像を識別し、自動で主被写体を選定する機能が知られている。この機能では、開発者が予め想定する画像群を用意し、各々の画像において主被写体とすべき正解を設定しており、それらに基づいて決定器のパラメータが調整されている。例えば、特許文献１には、予め用意された学習データ群を用いてニューラルネットワークを用いた物体の決定を行う方法が開示されている。 2. Description of the Related Art Conventionally, in image pickup apparatuses and image processing apparatuses, a function is known in which the apparatus identifies an image and automatically selects a main subject without the user performing any operation. In this function, a developer prepares an image group that is supposed in advance and sets a correct answer to be the main subject in each image, and the parameters of the determiner are adjusted based on these. For example, Patent Document 1 discloses a method of determining an object using a neural network using a learning data group prepared in advance.
また、予め学習した決定器に加え、決定時に決定領域から得られた情報を用いて、追加の学習を行う方法も提案されている。例えば、特許文献２には、予め学習した固定識別機と固定識別機の決定領域から得られた情報とを辞書データに追加した学習識別機を用いて物体を決定する方法が開示されている。
In addition to a pre-learned determinator, a method of performing additional learning using information obtained from a decision area at the time of decision has been proposed. For example,
ここで、ユーザが頻繁に撮影する画像は、それぞれのユーザによって異なるのが一般的である。また同じ画像であっても主被写体とすべき正解はユーザによって異なる。従って、主被写体の自動選択を行う機能においても、各ユーザの好みに応じた調整がなされるべきである。 Here, the image taken by the user frequently is different for each user. Even if the images are the same, the correct answer to be the main subject differs depending on the user. Therefore, even the function of automatically selecting the main subject should be adjusted according to the preference of each user.
しかしながら、上述の特許文献１では予め用意された学習データ群から学習しているだけであり、上述の特許文献２では、固定識別機の決定領域から得られた情報を辞書データに追加しているだけである。そのため、いずれの技術においても、ユーザの好みに応じた調整がなされているとは言えない。
However, in Patent Document 1 described above, only learning is performed from a learning data group prepared in advance, and in
本発明は上述した課題に鑑みてなされたものであり、画像から主被写体を選択する場合に、ユーザの所望する被写体を適切に選択することができる画像処理装置を提供することである。 The present invention has been made in view of the above-described problems, and an object of the present invention is to provide an image processing apparatus capable of appropriately selecting a subject desired by a user when a main subject is selected from an image.
本発明に係わる画像処理装置は、取得した画像から主被写体を決定する決定手段を用いて主被写体が決定された画像の中から、前記決定手段のための学習において負の報酬を与えるデータとして用いる画像を、ユーザの入力に基づいて選別する選別手段を有することを特徴とする。 The image processing apparatus according to the present invention is used as data for giving a negative reward in learning for the determining means from among images whose main subject is determined by using the determining means for determining the main subject from the acquired image. It is characterized by having a selecting means for selecting an image based on an input by a user.
本発明によれば、画像から主被写体を選択する場合に、ユーザの所望する被写体を適切に選択することができる画像処理装置を提供することが可能となる。 According to the present invention, it is possible to provide an image processing apparatus capable of appropriately selecting a subject desired by a user when a main subject is selected from an image.
以下、添付図面を参照して実施形態を詳しく説明する。尚、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。 Hereinafter, embodiments will be described in detail with reference to the accompanying drawings. The following embodiments do not limit the invention according to the claims. Although a plurality of features are described in the embodiment, not all of the plurality of features are essential to the invention, and the plurality of features may be arbitrarily combined. Further, in the accompanying drawings, the same or similar components are designated by the same reference numerals, and duplicated description will be omitted.
（撮像装置の構成）
図１は、本発明の一実施形態に係わる画像処理装置としての撮像装置１００の構成を示すブロック図である。
(Structure of imaging device)
FIG. 1 is a block diagram showing the arrangement of an
図１において、撮像装置１００は、被写体を撮影して、動画や静止画のデータを、テープ、固体メモリ、光ディスク、磁気ディスクなどの各種メディアに記録可能なデジタルスチルカメラやビデオカメラなどである。しかし、本発明はこれらに限定されるものではなく、カメラ付き携帯電話やタブレット端末等の撮影機能を有する他の装置にも適用可能である。撮像装置１００内の各ユニットは、バス１６０を介して接続されている。また各ユニットは、ＣＰＵ１５１（中央演算処理装置）により制御される。
In FIG. 1, the
レンズユニット１０１は、固定１群レンズ１０２、ズームレンズ１１１、絞り１０３、固定３群レンズ１２１、および、フォーカスレンズ１３１を備えて構成される。絞り制御回路１０５は、ＣＰＵ１５１の指令に従い、絞りモータ１０４（ＡＭ）を介して絞り１０３を駆動することにより、絞り１０３の開口径を調整して撮影時の光量調節を行う。ズーム制御回路１１３は、ズームモータ１１２（ＺＭ）を介してズームレンズ１１１を駆動することにより、焦点距離を変更する。フォーカス制御回路１３３は、レンズユニット１０１のピントのずれ量に基づいてフォーカスモータ１３２（ＦＭ）を駆動する駆動量を決定する。加えてフォーカス制御回路１３３は、フォーカスモータ１３２（ＦＭ）を介してフォーカスレンズ１３１を駆動することにより、焦点調節状態を制御する。フォーカス制御回路１３３およびフォーカスモータ１３２によるフォーカスレンズ１３１の移動制御により、ＡＦ制御が実現される。フォーカスレンズ１３１は、焦点調節用レンズであり、図１には単レンズで簡略的に示されているが、通常複数枚のレンズで構成される。
The
レンズユニット１０１を介して撮像素子１４１上に結像された被写体像は、撮像素子１４１により電気信号に変換される。撮像素子１４１は、被写体像（光学像）を電気信号に変換する光電変換素子である。撮像素子１４１は、横方向にｍ画素、縦方向にｎ画素の受光素子が配置されている。撮像素子１４１上に結像されて光電変換された画像は、撮像信号処理回路１４２により画像信号（画像データ）として整えられる。
The subject image formed on the
撮像信号処理回路１４２から出力される画像データは、撮像制御回路１４３に送られ、一時的にＲＡＭ（ランダム・アクセス・メモリ）１５４に蓄積される。ＲＡＭ１５４に蓄積された画像データは、画像圧縮解凍回路１５３において圧縮された後、画像記録媒体１５７に記録される。これと並行して、ＲＡＭ１５４に蓄積された画像データは、画像処理回路１５２に送られる。画像処理回路１５２は、画像信号を処理し、画像データに対して最適なサイズへの縮小・拡大処理や画像データ同士の類似度算出処理等を行う。最適なサイズに処理された画像データを、適宜モニタディスプレイ１５０に送って表示することによりプレビュー画像表示やスルー画像表示を行うことができる。また、主被写体決定回路１６２の主被写体決定結果を画像データに重畳表示することもできる。また、ＲＡＭ１５４をリングバッファとして用いることにより、所定期間内に撮像された複数の画像データと、画像データ毎に対応した主被写体決定回路１６２の決定結果をバッファリングすることができる。また同様に、主被写体決定回路１６２の学習に用いた画像データと、画像データに対応した主被写体決定結果とをバッファリングすることができる。
The image data output from the image pickup
操作スイッチ１５６は、タッチパネルやボタンなどを含む入力インターフェイスであり、モニタディスプレイ１５０に表示される種々の機能アイコンを選択操作することなどにより、様々な操作を行うことができる。例えば、ユーザは、モニタディスプレイ１５０に表示されたスルー画像を見ながら、主被写***置をマニュアル指定したり、既に指定されている主被写体をキャンセルしたりすることができる。
The
ＣＰＵ１５１は、操作スイッチ１５６から入力されたユーザからの指示、あるいは、一時的にＲＡＭ１５４に蓄積された画像データの画素信号の大きさに基づき、撮像素子１４１の蓄積時間、撮像素子１４１から撮像信号処理回路１４２へ信号を出力する際のゲインの設定値等を決定する。撮像制御回路１４３は、ＣＰＵ１５１から蓄積時間、ゲインの設定値の指示を受け取り、撮像素子１４１を制御する。
The
主被写体決定回路１６２は、画像信号を用いて主被写体が存在する領域を決定する。主被写体決定回路１６２における主被写体決定処理は、ＣＮＮ（Convolutinal Neural Networks）による特徴抽出処理により実現される。主被写体決定回路１６２は、ＧＰＵ（Ｇｒａｐｈｉｃ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）で構成される。ＧＰＵは、元々は画像処理用のプロセッサであるが、複数の積和演算器を有し、行列計算を得意としているため、学習用の処理を行うプロセッサとしても用いられることが多い。そして、深層学習を行う処理においても、ＧＰＵが用いられることが一般的であるが、ＦＰＧＡ（ｆｉｅｌｄ−ｐｒｏｇｒａｍｍａｂｌｅ ｇａｔｅ ａｒｒａｙ）やＡＳＩＣ（ａｐｐｌｉｃａｔｉｏｎ ｓｐｅｃｉｆｉｃ ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔ）などを用いてもよい。
The main
フォーカス制御回路１３３は、特定の被写体領域に対するＡＦ制御を行う。絞り制御回路１０５は、特定の被写体領域の輝度値を用いた露出制御を行う。画像処理回路１５２は、被写体領域に基づいたガンマ補正、ホワイトバランス処理などを行う。モニタディスプレイ１５０は、画像や主被写体決定結果を矩形などで表示する。バッテリ１５９は、電源管理回路１５８により適切に管理され、撮像装置１００の全体に安定した電源供給を行う。
The
フラッシュメモリ１５５には、撮像装置１００の動作に必要な制御プログラムや、各部の動作に用いるパラメータ等が記録されている。ユーザの操作により撮像装置１００が起動されると（電源ＯＦＦ状態から電源ＯＮ状態へ移行すると）、フラッシュメモリ１５５に格納された制御プログラム及びパラメータがＲＡＭ１５４の一部に読み込まれる。ＣＰＵ１５１は、ＲＡＭ１５４にロードされた制御プログラム及び定数に従って撮像装置１００の動作を制御する。
The
（全体処理フロー）
図２は、本実施形態の撮像装置１００における全体動作の流れを示すフローチャートである。図２に示すフローチャートは、撮像装置がライブビュー表示をしている状態で、例えば、ライブビューの１フレーム期間ごとに繰り返される。
(Overall processing flow)
FIG. 2 is a flowchart showing the flow of the overall operation in the
撮像装置１００がライブビュー表示を開始すると、まず、Ｓ２０１において、撮像制御回路１４３は、レンズユニット１０１、撮像素子１４１を用いて取得された入力画像を撮像装置１００の各部へ供給する。
When the
Ｓ２０２においては、主被写体決定回路１６２は、入力画像に対して主被写体決定を行う。主被写体決定処理の詳細は後述する。また主被写体決定回路１６２には予め必要な学習がなされているものとし、学習処理の詳細は後述する。
In S202, the main
Ｓ２０３においては、ＣＰＵ１５１は、Ｓ２０２において主被写体決定回路１６２から主被写体決定結果が出力されたか否かを判定する。出力されていればＳ２０４へ進み、出力されていなければＳ２０５へ進む。
In S203, the
Ｓ２０４においては、モニタディスプレイ１５０は、入力画像を表示すると共に主被写体決定結果を重畳表示する。Ｓ２０５においては、モニタディスプレイ１５０は、入力画像のみを表示する。
In S204, the
Ｓ２０６においては、ＣＰＵ１５１は、Ｓ２０４でライブビュー表示した入力画像、主被写体決定結果および表示時刻を、１組のデータセットとしてＲＡＭ１５４にバッファリングする。Ｓ２０７においては、ＣＰＵ１５１は、ＲＡＭ１５４にバッファリングされたデータセットから、ポジティブ学習、あるいは、ネガティブ学習に用いるための入力画像を選択する。この処理については後述する。
In S206, the
Ｓ２０８においては、ＣＰＵ１５１は、ユーザから撮影指示があったか否かを判定し、撮影指示がある場合にはＳ２０９に進み、撮影指示がない場合にはＳ２１１に進む。なお、撮影指示とは、記録のための静止画の撮影を開始するための指示、あるいは、記録のための動画の撮影を開始するための指示である。ユーザがレリーズボタンを全押ししたり、タッチパネルを操作することによって、ユーザは撮影指示を与えることができる。
In S208, the
Ｓ２０９において、ＣＰＵ１５１は静止画あるいは動画の撮影処理を行い、撮影が終了するとＳ２１０に進む。
In S209, the
Ｓ２１０において、ＣＰＵ１５１は、ＲＡＭ１５４にバッファリングされたデータセットから、ポジティブ学習、あるいは、ネガティブ学習に用いるためのデータセットを選択する。この処理については後述する。
In S210, the
Ｓ２１１において、ＣＰＵ１５１は、Ｓ２０７およびＳ２１０にて選択された入力画像の数が閾値以上であるか否かを判定し、閾値以上であればＳ２１２に進み、閾値未満であればＳ２１３に進む。
In S211, the
Ｓ２１２において、主被写体決定回路１６２は、追加学習処理を行う。追加学習処理の詳細は後述する。
In S212, the main
Ｓ２１３においては、ＣＰＵ１５１は、操作スイッチ１５６からの終了指示があるか否かを判定する。終了指示があれば処理を終了し、終了指示がなければＳ２０１に戻り、一連の処理を繰り返す。
In S213, the
（主被写体決定結果の例）
図３は、図２のＳ２０４において表示される主被写体決定結果の例を示す図である。図３（ａ）はＳ２０７における追加学習を行っていない場合の主被写体決定結果の例を示している。図３（ｂ）は、花を好み、頻繁に撮影するユーザの操作により、Ｓ２０７において追加学習を行った後の主被写体決定結果の例を示している。図３（ｃ）は、鳥を好み、頻繁に撮影するユーザの操作により、Ｓ２０７における追加学習を行った後の主被写体決定結果の例を示している。
(Example of main subject determination result)
FIG. 3 is a diagram showing an example of the main subject determination result displayed in S204 of FIG. FIG. 3A shows an example of the main subject determination result when the additional learning in S207 is not performed. FIG. 3B shows an example of a main subject determination result after additional learning is performed in S207 by an operation of a user who likes flowers and frequently photographs. FIG. 3C shows an example of the main subject determination result after the additional learning in S207 is performed by the operation of the user who likes birds and frequently photographs.
（主被写体決定回路の説明）
本実施形態では、主被写体決定回路１６２をＣＮＮ（Convolutinal Neural Networks）で構成する。ＣＮＮの基本的な構成について、図４および図５を用いて説明する。
(Description of main subject determination circuit)
In this embodiment, the main
図４は、入力された２次元画像データおよび位置マップから主被写体を決定するＣＮＮの基本的な構成を示す図である。処理の流れは、左端を入力とし、右方向に処理が進んでいく。ＣＮＮは、特徴検出層（Ｓ層）と特徴統合層（Ｃ層）と呼ばれる２つの層をひとつのセットとし、それが階層的に構成されている。 FIG. 4 is a diagram showing a basic configuration of the CNN that determines the main subject from the input two-dimensional image data and the position map. In the processing flow, the left end is input, and the processing proceeds to the right. The CNN has two layers called a feature detection layer (S layer) and a feature integration layer (C layer) as one set, and is configured hierarchically.
ＣＮＮでは、まずＳ層において前段階層で検出された特徴に基づいて次の特徴を検出する。またＳ層において検出した特徴をＣ層で統合し、その階層における検出結果として次の階層に送るように構成されている。このＣＮＮに入力される情報としてはさまざまなものが考えられる。例えば、ＲＧＢ画像、あるいは現像処理前の画素単位の撮像画像信号（ＲＡＷ画像）や画像のデプス情報、物体検出器による物体検出スコアのマップ、画像の局所領域における分散値から得られるコントラストマップ、などが挙げられる。 In CNN, first, the next feature is detected in the S layer based on the feature detected in the previous layer. Further, the features detected in the S layer are integrated in the C layer and are sent to the next layer as the detection result in that layer. Various information can be considered as the information input to the CNN. For example, an RGB image, or a captured image signal (RAW image) in pixel units before development processing, image depth information, a map of an object detection score by an object detector, a contrast map obtained from a variance value in a local region of the image, etc. Is mentioned.
Ｓ層は特徴検出細胞面からなり、特徴検出細胞面ごとに異なる特徴を検出する。また、Ｃ層は、特徴統合細胞面からなり、前段の特徴検出細胞面での検出結果をプーリングする。以下では、特に区別する必要がない場合、特徴検出細胞面および特徴統合細胞面を総称して特徴面と呼ぶ。本実施形態では、最終段階層である出力層は、Ｃ層は用いずＳ層のみで構成されている。 The S layer is composed of a feature-detecting cell surface, and detects different features for each feature-detecting cell surface. In addition, the layer C is composed of the feature-integrated cell surface, and pools the detection result on the feature-detected cell surface in the previous stage. In the following, the feature-detecting cell surface and the feature-integrating cell surface are generically referred to as a feature surface unless it is necessary to distinguish them. In the present embodiment, the output layer, which is the final stage layer, is composed of only the S layer without using the C layer.
図５は、特徴検出細胞面での特徴検出処理、および特徴統合細胞面での特徴統合処理について説明する図である。 FIG. 5 is a diagram for explaining the feature detection processing on the feature-detected cell surface and the feature integration processing on the feature-integrated cell surface.
特徴検出細胞面は、複数の特徴検出ニューロンにより構成され、特徴検出ニューロンは前段階層のＣ層に所定の構造で結合されている。また特徴統合細胞面は、複数の特徴統合ニューロンにより構成され、特徴統合ニューロンは同階層のＳ層に所定の構造で結合されている。図５に示した、Ｌ階層目Ｓ層のＭ番目細胞面内において、位置（ξ，ζ）の特徴検出ニューロンの出力値をｙM LS(ξ,ζ)、Ｌ階層目Ｃ層のＭ番目細胞面内において、位置（ξ，ζ）の特徴統合ニューロンの出力値をｙM LC(ξ,ζ)と表記する。その場合、それぞれのニューロンの結合係数をｗM LS(n,u,v)、ｗM LC(u,v)とすると、各出力値は以下のように表すことができる。 The feature-detecting cell plane is composed of a plurality of feature-detecting neurons, and the feature-detecting neurons are connected to the C layer of the preceding stage layer with a predetermined structure. The feature-integrated cell plane is composed of a plurality of feature-integrated neurons, and the feature-integrated neurons are connected to the S layer of the same hierarchy with a predetermined structure. In the Mth cell plane of the Lth layer S layer shown in FIG. 5, the output value of the feature detection neuron at the position (ξ, ζ) is y M LS (ξ, ζ), and the Mth layer of the Lth layer C layer. In the cell plane, the output value of the feature integration neuron at the position (ξ, ζ) is expressed as y M LC (ξ, ζ). In that case, assuming that the coupling coefficient of each neuron is w M LS (n,u,v) and w M LC (u,v), each output value can be expressed as follows.
式（１）のｆは活性化関数であり、ロジスティック関数や双曲正接関数などのシグモイド関数であれば何でもよく、例えばtanh関数で実現してよい。ｕM LS(ξ,ζ)は、Ｌ階層目Ｓ層のＭ番目細胞面における、位置(ξ,ζ)の特徴検出ニューロンの内部状態である。式（２）は活性化関数を用いず単純な線形和をとっている。式（２）のように活性化関数を用いない場合は、ニューロンの内部状態ｕM LC(ξ,ζ)と出力値ｙM LC(ξ,ζ)は等しい。また、式（１）のｙn (L-1C)(ξ+u,ζ+v)、式（３）のｙM LS(ξ+u,ζ+v)をそれぞれ特徴検出ニューロン、特徴統合ニューロンの結合先出力値と呼ぶ。
F in Expression (1) is an activation function, and may be any sigmoid function such as a logistic function or a hyperbolic tangent function, and may be realized by, for example, a tanh function. u M LS (ξ, ζ) is the internal state of the feature detection neuron at the position (ξ, ζ) on the Mth cell plane of the S layer of the Lth layer. Expression (2) is a simple linear sum without using the activation function. When the activation function is not used as in Expression (2), the internal state u M LC (ξ, ζ) of the neuron is equal to the output value y M LC (ξ, ζ). In addition, y n (L-1C) (ξ+u, ζ+v) in the equation (1) and y M LS (ξ+u, ζ+v) in the equation (3) are the feature detection neuron and the feature integrated neuron, respectively. It is called a combined output value of.
ここで、式（１）及び式（２）中のξ，ζ，ｕ，ｖ，ｎについて説明する。位置（ξ，ζ）は、入力画像における位置座標に対応しており、例えばｙM LS(ξ,ζ)が高い出力値である場合は、入力画像の画素位置（ξ，ζ）に、Ｌ階層目Ｓ層Ｍ番目細胞面において検出する特徴が存在する可能性が高いことを意味する。またｎは式（２）において、Ｌ−１階層目Ｃ層ｎ番目細胞面を意味しており、統合先特徴番号と呼ぶ。基本的にＬ−１階層目Ｃ層に存在する全ての細胞面についての積和演算を行う。（ｕ，ｖ）は、結合係数の相対位置座標であり、検出する特徴のサイズに応じて有限の範囲（ｕ，ｖ）において積和演算を行う。このような有限な（ｕ，ｖ）の範囲を受容野と呼ぶ。また受容野の大きさを、以下では受容野サイズと呼び、結合している範囲の横画素数×縦画素数で表す。 Here, ξ, ζ, u, v, and n in the equations (1) and (2) will be described. The position (ξ, ζ) corresponds to the position coordinate in the input image. For example, when y M LS (ξ, ζ) is a high output value, the pixel position (ξ, ζ) of the input image is L It means that there is a high possibility that there is a feature to be detected in the cell surface of the Mth cell in the S layer of the hierarchy. Further, n in the formula (2) means the nth cell plane of the L-1th layer C layer, and is referred to as an integration destination feature number. Basically, the sum of products operation is performed for all cell planes existing in the L-1th layer C layer. (U, v) are relative position coordinates of the coupling coefficient, and the sum of products operation is performed in a finite range (u, v) according to the size of the detected feature. Such a finite (u,v) range is called a receptive field. The size of the receptive field is hereinafter referred to as the receptive field size, and is represented by the number of horizontal pixels in the combined range×the number of vertical pixels.
また式（１）において、Ｌ＝１つまり一番初めのＳ層では、ｙn (L-1C)(ξ+u,ζ+v)は、入力画像ｙin_image (ξ+u,ζ+v)または、入力位置マップｙin_posi_map (ξ+u,ζ+v)となる。ちなみに、ニューロンや画素の分布は離散的であり、結合先特徴番号も離散的なので、ξ，ζ，ｕ，ｖ，ｎは連続な変数ではなく、離散的な値をとる。ここでは、ξ，ζは非負整数、ｎは自然数、ｕ，ｖは整数とし、何れも有限な範囲となる。 Further, in the equation (1), in L=1, that is, in the first S layer, y n (L-1C) (ξ+u, ζ+v) is the input image y in_image (ξ+u, ζ+v) Alternatively , the input position map is y in_posi_map (ξ+u, ζ+v). By the way, since the distribution of neurons and pixels is discrete and the feature number of the connection destination is also discrete, ξ, ζ, u, v, and n are not continuous variables but take discrete values. Here, ξ and ζ are non-negative integers, n is a natural number, and u and v are integers, and both are in a finite range.
式（１）中のｗM LS(n,u,v)は、所定の特徴を検出するための結合係数分布であり、これを適切な値に調整することによって、所定の特徴を検出することが可能になる。この結合係数分布の調整が学習であり、ＣＮＮの構築においては、さまざまなテストパターンを提示して、ｙM LS(ξ,ζ)が適切な出力値になるように、結合係数を繰り返し徐々に修正していくことにより結合係数の調整を行う。 W M LS (n,u,v) in Expression (1) is a coupling coefficient distribution for detecting a predetermined feature, and the predetermined feature can be detected by adjusting this to an appropriate value. Will be possible. The adjustment of this coupling coefficient distribution is learning, and in constructing CNN, various coupling test patterns are presented and the coupling coefficient is gradually and gradually repeated so that y M LS (ξ, ζ) becomes an appropriate output value. The coupling coefficient is adjusted by making corrections.
次に、式（２）中のｗM LC(u,v)は、２次元のガウシアン関数を用いており、以下の式（３）のように表すことができる。 Next, w M LC (u,v) in the equation (2) uses a two-dimensional Gaussian function and can be expressed as the following equation (3).
ここでも、（ｕ，ｖ）は有限の範囲としているので、特徴検出ニューロンの説明と同様に、有限の範囲を受容野といい、範囲の大きさを受容野サイズと呼ぶ。この受容野サイズは、ここではＬ階層目Ｓ層のＭ番目特徴のサイズに応じて適当な値に設定すればよい。式（３）中の、σは特徴サイズ因子であり、受容野サイズに応じて適当な定数に設定しておけばよい。具体的には、受容野の一番外側の値がほぼ０とみなせるような値になるように設定するのがよい。
Since (u, v) is also a finite range here, the finite range is called a receptive field, and the size of the range is called a receptive field size, similarly to the description of the feature detection neuron. This receptive field size may be set to an appropriate value here according to the size of the Mth feature of the Lth layer S layer. In equation (3), σ is a feature size factor, which may be set to an appropriate constant according to the receptive field size. Specifically, it is preferable that the outermost value of the receptive field is set to a value that can be regarded as almost zero.
上述のような演算を各階層で行うことにより、最終階層のＳ層において、主被写体決定を行うのが、本実施形態におけるＣＮＮの構成である。 The configuration of the CNN in this embodiment is to determine the main subject in the S layer, which is the final layer, by performing the above-described calculation in each layer.
（追加学習処理の流れ）
図６は、図２のＳ２０７における画像の選択処理の流れを示すフローチャートである。なお、以下では、入力画像の所定の領域を主被写体を決定すべきテストパターンとして学習することをポジティブ（肯定的）学習と記載する。また所定の領域を主被写体を決定すべきではないテストパターンとして学習することをネガティブ（否定的）学習と記載する。また各学習における詳細は後述する。
(Flow of additional learning process)
FIG. 6 is a flowchart showing the flow of image selection processing in S207 of FIG. In the following, learning a predetermined area of the input image as a test pattern for determining the main subject will be referred to as positive learning. Learning a predetermined area as a test pattern in which the main subject should not be determined is referred to as negative learning. The details of each learning will be described later.
まず、Ｓ６０１において、ＣＰＵ１５１は、操作スイッチ１５６からマニュアル指示があったか否かを判定する。マニュアル指示があった場合にはＳ６０２に進み、マニュアル指示がない場合はＳ６０５に進む。ここでマニュアル指示とは、ユーザが操作スイッチ１５６をマニュアル操作し、画像に対する主被写体領域を指定する操作（選択指示）を指す。Ｓ６０１でマニュアル指示があったということは、図２のＳ２０２において決定された主被写体がユーザが所望する主被写体と異なることを意味するため、Ｓ６０２以降の処理に進む。
First, in S601, the
Ｓ６０２においては、Ｓ６０１でユーザがマニュアルで指示した被写体が正しい主被写体と考えられる。そのため、ＣＰＵ１５１は、図２のＳ２０１で取得した入力画像と、Ｓ６０１でマニュアル指示された主被写体領域をポジティブ学習のためのデータセットとして選別する。
In S602, the subject manually instructed by the user in S601 is considered to be the correct main subject. Therefore, the
Ｓ６０３においては、ＣＰＵ１５１は、図２のＳ２０２で決定した主被写体領域と、Ｓ６０１でマニュアル指定された主被写体領域が異なる被写体であるか否かを判定する。例えば、図２のＳ２０２で決定した主被写体領域と、Ｓ６０１でマニュアル指定された主被写体領域が所定間隔以上離れている場合、２つの領域が異なる被写体であると判定する。所定間隔以上離れていればＳ６０４に進み、離れていなければこのフローチャートを終了する。なおここでの所定間隔は十分大きければ何でもよいが、例えば入力画像の画角に対する割合で決定してもよい。より具体的には、入力画像が６４０×４８０画素の画像である場合、例えば、水平サイズの６４０に対する１０％である６４画素を所定間隔としてもよい。なお、顔検出、人体検出、あるいは、物体検出などの結果により、Ｓ２０２で決定した主被写体領域とＳ６０１でマニュアル指定された主被写体領域が異なる被写体であることが明らかであれば、２つの領域の間の距離を判定する必要はない。
In S603, the
Ｓ６０４においては、ＣＰＵ１５１は、図２のＳ２０１で取得した入力画像と、Ｓ２０２で決定した主被写体領域をネガティブ学習のためのデータセットとして選別する。そして、このフローチャートを終了する。
In S604, the
Ｓ６０５においては、ＣＰＵ１５１は、操作スイッチ１５６からキャンセル指示があったか否かを判定する。キャンセル指示があった場合にはＳ６０６に進み、キャンセル指示がない場合にはこのフローチャートを終了する。ここでキャンセル指示とは、図２のＳ２０４で出力した主被写体決定結果を削除し、撮像装置１００を主被写体の決定がされていない状態にする操作を指す。例えば、主被写体領域の決定をやり直すことをユーザが指示できる機能が搭載されている場合には、その指示が、キャンセル指示に相当する。あるいは、焦点調節の対象とする被写体を確定するための操作である、レリーズボタンの半押しがユーザによってやり直された場合には、この半押しのやり直しが、キャンセル指示に相当する。Ｓ６０５でキャンセル指示があったということは、図２のＳ２０２において決定された主被写体がユーザが所望する主被写体と異なることを意味するため、Ｓ６０６の処理に進む。
In S605, the
Ｓ６０６においては、ＣＰＵ１５１は、図２のＳ２０１で取得した入力画像と、Ｓ２０２で決定した主被写体領域をネガティブ学習のためのデータセットとして選別する。そして、このフローチャートを終了する。
In S606, the
図７は、図２のＳ２１０における画像の選択処理の流れを示すフローチャートである。 FIG. 7 is a flowchart showing the flow of image selection processing in S210 of FIG.
Ｓ７０１においては、ＣＰＵ１５１は、ＲＡＭ１５４にバッファリングされたデータセット群のそれぞれについて、撮影指示があったときと同じ被写体が、主被写体として決定されたデータセットであるか否かを判定する。撮影指示があったときと同じ被写体が主被写体として決定されているデータセットであればＳ７０２に進み、そうでなければＳ７０３に進む。撮影指示よりも前に、撮影指示があったときに主被写体として決定されていた被写体とは別の被写体が、主被写体として決定されていたのであれば、先の主被写体の決定は誤りである可能性が高い。そのため、別の被写体が主被写体として決定されていたときのデータセットは、ネガティブ学習のためのデータセットとして有効である。
In step S<b>701, the
Ｓ７０２においては、ＣＰＵ１５１は、撮影指示があったときと同じ被写体が主被写体として決定されているデータセット群から、ポジティブ学習条件を満たすデータセットを選別する。ここでのポジティブ学習条件とは、データセットのうち表示時刻と本ステップの実行時刻の差が所定時間未満であることである。なお、ここでの所定時間は、ユーザが図２のＳ２０４でモニタディスプレイ１５０に出力された主被写体決定結果を確認してから、Ｓ６０７で操作スイッチ１５６を用いて撮影指示を行うまでのタイムラグに基づいて決定してもよい。より具体的には、例えば所定時間を２秒とする。また１度に複数のデータセットが条件を満たす場合には、各々のデータセットに含まれる入力画像同士の類似度を算出し、類似度が所定値以上の場合には、類似する何れかのデータセットを選別対象から除外する。除外処理においては、データセットに含まれる表示時刻と本ステップの実行時刻の差が大きいデータを優先的に除外してもよい。ここでの類似度には、ＳＡＤ値やヒストグラム差分等を用いることができる。
In step S<b>702, the
Ｓ７０３においては、ＣＰＵ１５１は、撮影指示があったときと別の被写体が主被写体として決定されているデータセット群から、ネガティブ学習条件を満たすデータセットを選別する。また１度に複数のデータセットが条件を満たす場合には、Ｓ６０８と同様に除外処理を行う。ＣＰＵ１５１は、Ｓ７０２およびＳ７０３の少なくともいずれかの処理が行われると、このフローチャートを終了する。
In step S703, the
そして、図２のＳ２１２において、主被写体決定回路１６２は、Ｓ２１０およびＳ２１２で選別したデータセットを用いて、強化学習を行う。
Then, in S212 of FIG. 2, the main
なお、Ｓ２１２においては、ＣＰＵ１５１は、図２のＳ２０６でＲＡＭ１５４にバッファリングしたデータセットの全削除を行う。
In S212, the
以上説明したように、ユーザ操作に基づいて追加学習を行うことにより、ユーザの嗜好に応じて主被写体決定回路１６２のパラメータを調整することができる。またデータセット選別時に類似度の高いデータセットを除外しているため、特定のシーンに対する過学習を抑制できる。
As described above, by performing additional learning based on the user operation, the parameters of the main
（学習方法）
次に、具体的な学習方法について説明する。本実施形態では教師ありの学習により、結合係数の調整を行う。教師ありの学習では、テストパターンを与えて実際にニューロンの出力値を求め、その出力値と教師信号（そのニューロンが出力すべき望ましい出力値）の関係から結合係数ｗM LS(n,u,v)の修正を行えばよい。本実施形態の学習においては、最終層の特徴検出層は最小二乗法を用い、中間層の特徴検出層は誤差逆伝搬法を用いて結合係数の修正を行う（最小二乗法や、誤差逆伝搬法等の、結合係数の修正手法の詳細は、非特許文献１を参照）。
(Learning method)
Next, a specific learning method will be described. In this embodiment, the coupling coefficient is adjusted by learning with a teacher. In supervised learning, an output value of a neuron is actually obtained by giving a test pattern, and the coupling coefficient w M LS (n,u, from the relationship between the output value and the teacher signal (desired output value that the neuron should output). v) should be corrected. In the learning of the present embodiment, the feature detection layer of the final layer uses the least squares method, and the feature detection layer of the middle layer uses the error back propagation method to correct the coupling coefficient (least squares method or error back propagation). See Non-Patent Document 1 for details of the correction method of the coupling coefficient such as the method).
本実施形態では、予め学習する場合には、学習用のテストパターンとして、検出すべき特定パターンと、検出すべきでないパターンを多数用意し、追加学習する場合には、前述の方法で学習すべきテストパターンをバッファから選定する。各テストパターンは、画像および教師信号を１セットとする。ポジティブ学習のために選別されたデータセットが、検出すべき特定パターンとして用いられ、ネガティブ学習のための選別されたデータセットが、検出すべきでないパターンとして用いられる。 In the present embodiment, when learning in advance, a large number of specific patterns to be detected and patterns not to be detected are prepared as test patterns for learning, and in the case of additional learning, learning should be performed by the above-described method. Select a test pattern from the buffer. Each test pattern has one set of an image and a teacher signal. The selected data set for positive learning is used as the specific pattern to be detected, and the selected data set for negative learning is used as the undetectable pattern.
活性化関数にtanh関数を用いる場合は、検出すべき特定パターンを提示した場合は、最終層の特徴検出細胞面の、特定パターンが存在する領域のニューロンに対し、出力が１となるように教師信号を与える。すなわち、正の報酬を与える。逆に、検出すべきでないパターンを提示した場合は、そのパターンの領域のニューロンに対し、出力が−１となるように教師信号を与えることになる。すなわち、負の報酬を与える。 When using the tanh function as the activation function, when a specific pattern to be detected is presented, the output is set to 1 for neurons in the region where the specific pattern exists on the feature detection cell surface of the final layer. Give a signal. That is, it gives a positive reward. On the contrary, when a pattern that should not be detected is presented, a teacher signal is given to the neurons in the area of the pattern so that the output becomes -1. That is, it gives a negative reward.
以上の方法により、２次元画像から主被写体を決定するためのＣＮＮが構築される。実際の決定においては、学習により構築した結合係数ｗM LS(n,u,v)を用いて演算を行い、最終層の特徴検出細胞面上のニューロン出力が、所定値以上であれば、そこに主被写体が存在すると判定する。 By the above method, the CNN for determining the main subject from the two-dimensional image is constructed. In the actual determination, an operation is performed using the coupling coefficient w M LS (n,u,v) constructed by learning, and if the neuron output on the feature detection cell surface of the final layer is a predetermined value or more, then It is determined that the main subject exists in.
なお、本実施形態では、撮像装置１００が主被写体決定回路１６２を有し、学習のためのデータセットの選別および強化学習も行う構成を例に挙げて説明を行ったが、これに限られるものではない。
In the present embodiment, the configuration in which the
例えば、カメラ機能を有するスマートフォンやタブレット端末を、サーバあるいはエッジコンピュータなどの外部装置と無線通信により接続するシステムにおいても、本発明を適用することが可能である。 For example, the present invention can be applied to a system in which a smartphone or a tablet terminal having a camera function is connected to an external device such as a server or an edge computer by wireless communication.
図８は、スマートフォンとサーバからなるシステムを示す。スマートフォン８０１が内部のＲＡＭにバッファリングされたデータセットをサーバ８０２に送信し、サーバ８０２が強化学習を行って、スマートフォン８０１の内部の主被写体決定回路の結合係数を求める。そして、サーバ８０２が求めた結合係数をスマートフォン８０１に送信し、スマートフォン８０１は受信した結合係数を主被写体決定回路に設定する。このとき、スマートフォン８０１のＲＡＭにバッファリングされたデータセットからポジティブ学習、および、ネガティブ学習のためのデータセットを選別する処理は、スマートフォン８０１とサーバ８０２のいずれが行っても構わない。スマートフォン８０１がデータセットの選別を行うのであれば、選別後のデータセットを、スマートフォン８０１からサーバ８０２に送信すればよい。サーバ８０２がデータセットの選別を行うのであれば、スマートフォン８０１はＲＡＭにバッファリングされた全てのデータセットと、そのデータセットに対して関連付けて記憶されたユーザ操作の情報を、サーバ８０２に送信する。データセットに含まれる画像と、ユーザ操作の情報は時間軸上の対応付けがされているものとする。このような構成であれば、スマートフォン８０１は、データセットとユーザ操作情報をサーバ８０２に送信することで、サーバ８０２がデータセットの選別を行うことができる。
FIG. 8 shows a system including a smartphone and a server. The
また、スマートフォン８０１が主被写体決定回路を備えておらず、サーバ８０２が主被写体決定回路を備えるように構成してもよい。スマートフォン８０１はリアルタイムで入力画像をサーバに送信し、サーバ８０２が主被写体の決定を行い、その結果をスマートフォン８０１に送信する。この場合、サーバ８０２が強化学習を行い、サーバの主被写体決定回路の結合係数を更新することになる。この場合も、スマートフォン８０１のＲＡＭにバッファリングされたデータセットからポジティブ学習、および、ネガティブ学習のためのデータセットを選別する処理は、スマートフォン８０１とサーバ８０２のいずれで行っても構わない。
Further, the
さらに、ポジティブ学習のためのデータセットについては、撮影指示の前にＲＡＭ１５４にバッファリングされたデータセットに代えて、撮影によって得られた入力画像を用いても構わない。これは、撮影時には主被写体が正しく選定されている可能性が高いためである。この場合、ポジティブ学習のためのデータセットは、撮影によって記録された画像を含むデータセットであるのに対して、ネガティブ学習のためのデータセットは、撮影指示の前にバッファリングされたデータセットとなる。
Further, as for the data set for positive learning, the input image obtained by shooting may be used instead of the data set buffered in the
以上説明したように、本実施形態によれば、通常のカメラ操作を繰り返すことにより、ユーザの嗜好に応じた主被写体決定を行うことが可能となる。さらに、撮影指示を行う前の主被写体決定の結果と、そのときのユーザの操作の関係を判定することで、ユーザが意図しない主被写体決定の結果であることが識別できるようになり、効率的にネガティブ学習のためのデータを選別することが可能となる。 As described above, according to the present embodiment, it is possible to determine the main subject according to the taste of the user by repeating the normal camera operation. Furthermore, by determining the relationship between the result of the main subject determination before the shooting instruction and the operation of the user at that time, it is possible to identify the result of the main subject determination not intended by the user, which is efficient. It is possible to select data for negative learning.
（他の実施形態）
また本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現できる。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現できる。
(Other embodiments)
Further, the present invention supplies a program that implements one or more functions of the above-described embodiments to a system or apparatus via a network or a storage medium, and one or more processors in a computer of the system or apparatus read the program. It can also be realized by executing processing. It can also be realized by a circuit (for example, ASIC) that realizes one or more functions.
発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。 The invention is not limited to the above-described embodiments, and various changes and modifications can be made without departing from the spirit and scope of the invention. Therefore, the following claims are attached to open the scope of the invention.
１００：撮像装置、１０１：レンズユニット、１４１：撮像素子、１４２：撮像信号処理回路、１４３：撮像制御回路、１５１：ＣＰＵ、１５２：画像処理回路、１６２：主被写体決定回路 100: imaging device, 101: lens unit, 141: imaging device, 142: imaging signal processing circuit, 143: imaging control circuit, 151: CPU, 152: image processing circuit, 162: main subject determination circuit
Claims (16)
前記選別手段は、前記算出手段により算出された類似度が所定値以上の複数の画像については、該複数の画像から選択された画像のみを、前記負の報酬を与えるデータとして選別することを特徴とする請求項１乃至７のいずれか１項に記載の画像処理装置。 Further comprising calculation means for calculating the similarity of a plurality of images,
With respect to a plurality of images whose similarity calculated by the calculating unit is a predetermined value or more, the selecting unit selects only an image selected from the plurality of images as the data for giving the negative reward. The image processing apparatus according to any one of claims 1 to 7.
前記学習手段は、前記選別手段が選別した前記負の報酬を与えるデータを用いて学習を行うことを特徴とする請求項１乃至９のいずれか１項に記載の画像処理装置。 A learning means for carrying out learning for the determining means,
10. The image processing apparatus according to claim 1, wherein the learning unit performs learning by using the data that gives the negative reward selected by the selection unit.
前記学習手段は、前記選別手段が選別した前記負の報酬を与えるデータを用いて学習を行うことを特徴とする請求項９に記載の画像処理装置。 The determining means uses the result of learning acquired by wireless communication from a learning means of an external device that performs learning for the determining means,
The image processing apparatus according to claim 9, wherein the learning unit performs learning using the data that gives the negative reward selected by the selection unit.
前記学習手段は、前記選別手段が選別した前記負の報酬を与えるデータを用いて学習を行うことを特徴とする請求項１乃至８のいずれか１項に記載の画像処理装置。 An external device capable of wireless communication with the image processing device has the determining means and a learning means for performing learning for the determining means,
9. The image processing apparatus according to claim 1, wherein the learning unit performs learning by using the data that gives the negative reward selected by the selection unit.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019018256A JP7286330B2 (en) | 2019-02-04 | 2019-02-04 | Image processing device and its control method, program, storage medium |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019018256A JP7286330B2 (en) | 2019-02-04 | 2019-02-04 | Image processing device and its control method, program, storage medium |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2020126434A true JP2020126434A (en) | 2020-08-20 |
| JP7286330B2 JP7286330B2 (en) | 2023-06-05 |
Family
ID=72084931
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2019018256A Active JP7286330B2 (en) | 2019-02-04 | 2019-02-04 | Image processing device and its control method, program, storage medium |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7286330B2 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2023210334A1 (en) * | 2022-04-28 | 2023-11-02 | キヤノン株式会社 | Image processing device, imaging device, and control method therefor |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009055432A (en) * | 2007-08-28 | 2009-03-12 | Sony Corp | Photographing apparatus, photographing method and program |
| JP2015215741A (en) * | 2014-05-09 | 2015-12-03 | キヤノン株式会社 | Subject detection device, subject detection method and program |
-
2019
- 2019-02-04 JP JP2019018256A patent/JP7286330B2/en active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009055432A (en) * | 2007-08-28 | 2009-03-12 | Sony Corp | Photographing apparatus, photographing method and program |
| JP2015215741A (en) * | 2014-05-09 | 2015-12-03 | キヤノン株式会社 | Subject detection device, subject detection method and program |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2023210334A1 (en) * | 2022-04-28 | 2023-11-02 | キヤノン株式会社 | Image processing device, imaging device, and control method therefor |
Also Published As
| Publication number | Publication date |
|---|---|
| JP7286330B2 (en) | 2023-06-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102574141B1 (en) | Image display method and device | |
| US9911067B2 (en) | Image processing apparatus, method of processing image, and program | |
| JP6800628B2 (en) | Tracking device, tracking method, and program | |
| KR101679290B1 (en) | Image processing method and apparatus | |
| CN104243796B (en) | Camera, method for imaging, template creating device and template establishment method | |
| JP7403995B2 (en) | Information processing device, control method and program | |
| JP2019186911A (en) | Image processing apparatus, image processing method, and imaging apparatus | |
| KR20150026123A (en) | Method for proccessing digital image and apparatus of the same | |
| JP2016123044A (en) | Subject tracking device, and control method and program therefor | |
| JP5147670B2 (en) | Image processing apparatus, image processing method, and imaging apparatus | |
| JP2021128537A (en) | Image processing device, image processing method, program and storage medium | |
| JP7286330B2 (en) | Image processing device and its control method, program, storage medium | |
| CN114882576B (en) | Face recognition method, electronic device, computer-readable medium, and program product | |
| JP4818997B2 (en) | Face detection device and face detection program | |
| CN113507549B (en) | Camera, photographing method, terminal and storage medium | |
| US11575841B2 (en) | Information processing apparatus, imaging apparatus, method, and storage medium | |
| JP2009010828A (en) | Imaging device and imaging program | |
| CN111724300A (en) | Single picture background blurring method, device and equipment | |
| JP6063680B2 (en) | Image generation apparatus, image generation method, imaging apparatus, and imaging method | |
| JP2013179614A (en) | Imaging apparatus | |
| JP2017130106A (en) | Data processing apparatus, imaging apparatus and data processing method | |
| JP7483352B2 (en) | Photographing device, its control method, and program | |
| US20240257498A1 (en) | Electronic apparatus for classifying object region and background region and operating method of the electronic apparatus | |
| WO2024111246A1 (en) | Image processing device, method for controlling same, imaging device, and program | |
| US20230139034A1 (en) | Image capturing apparatus and method for controlling image capturing apparatus |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20210103 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210113 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220120 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230117 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230127 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230327 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230425 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230524 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 7286330 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |