JP2020061761A - 画像処理装置、画像処理方法、プログラム - Google Patents
画像処理装置、画像処理方法、プログラム Download PDFInfo
- Publication number
- JP2020061761A JP2020061761A JP2019231955A JP2019231955A JP2020061761A JP 2020061761 A JP2020061761 A JP 2020061761A JP 2019231955 A JP2019231955 A JP 2019231955A JP 2019231955 A JP2019231955 A JP 2019231955A JP 2020061761 A JP2020061761 A JP 2020061761A
- Authority
- JP
- Japan
- Prior art keywords
- image
- learning
- shooting
- captured
- teacher
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012545 processing Methods 0.000 title claims abstract description 129
- 238000003672 processing method Methods 0.000 title claims description 4
- 238000003384 imaging method Methods 0.000 claims abstract description 61
- 230000006854 communication Effects 0.000 claims description 82
- 238000004891 communication Methods 0.000 claims description 80
- 238000000034 method Methods 0.000 description 161
- 230000008569 process Effects 0.000 description 117
- 238000001514 detection method Methods 0.000 description 76
- 238000013528 artificial neural network Methods 0.000 description 50
- 230000008859 change Effects 0.000 description 24
- 230000005236 sound signal Effects 0.000 description 22
- 230000001133 acceleration Effects 0.000 description 20
- 230000033001 locomotion Effects 0.000 description 19
- 230000006870 function Effects 0.000 description 15
- 230000000694 effects Effects 0.000 description 10
- 238000003860 storage Methods 0.000 description 10
- 230000004913 activation Effects 0.000 description 9
- 210000002569 neuron Anatomy 0.000 description 8
- 238000012937 correction Methods 0.000 description 6
- 230000007613 environmental effect Effects 0.000 description 6
- 230000005540 biological transmission Effects 0.000 description 5
- 238000006243 chemical reaction Methods 0.000 description 5
- 238000013434 data augmentation Methods 0.000 description 5
- 238000010801 machine learning Methods 0.000 description 5
- 230000007547 defect Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000008921 facial expression Effects 0.000 description 4
- 230000007246 mechanism Effects 0.000 description 4
- 239000000203 mixture Substances 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 230000017531 blood circulation Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 238000005070 sampling Methods 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 241000282326 Felis catus Species 0.000 description 2
- 206010039740 Screaming Diseases 0.000 description 2
- 230000003111 delayed effect Effects 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 238000007689 inspection Methods 0.000 description 2
- 238000003825 pressing Methods 0.000 description 2
- 238000010079 rubber tapping Methods 0.000 description 2
- 238000009966 trimming Methods 0.000 description 2
- 208000033748 Device issues Diseases 0.000 description 1
- 241000135164 Timea Species 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000004397 blinking Effects 0.000 description 1
- 229920001940 conductive polymer Polymers 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000009432 framing Methods 0.000 description 1
- 238000011478 gradient descent method Methods 0.000 description 1
- 230000001678 irradiating effect Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000004091 panning Methods 0.000 description 1
- 238000001454 recorded image Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000006641 stabilisation Effects 0.000 description 1
- 238000011105 stabilization Methods 0.000 description 1
- 230000001502 supplementing effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
- G06F18/24133—Distances to prototypes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/56—Extraction of image or video features relating to colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/61—Control of cameras or camera modules based on recognised objects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/61—Control of cameras or camera modules based on recognised objects
- H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/62—Control of parameters via user interfaces
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/64—Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/65—Control of camera operation in relation to power supply
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Signal Processing (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Human Computer Interaction (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Bioinformatics & Computational Biology (AREA)
- Software Systems (AREA)
- Databases & Information Systems (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Medical Informatics (AREA)
- Evolutionary Biology (AREA)
- General Engineering & Computer Science (AREA)
- Studio Devices (AREA)
- Details Of Cameras Including Film Mechanisms (AREA)
- Image Analysis (AREA)
- Exposure Control For Cameras (AREA)
Abstract
Description
<撮像装置の構成>
図1は、第1の実施形態の撮像装置を模式的に示す図である。
図3は、撮像装置101と外部装置301との無線通信システムの構成例を示す図である。撮像装置101は撮影機能を有するデジタルカメラであり、外部装置301はBluetooth通信モジュール、無線LAN通信モジュールを含むスマートデバイスである。
図5は、撮像装置101と通信可能である外部装置501との構成例を示す図である。撮像装置101は撮影機能を有するデジタルカメラであり、外部装置501は、例えばBluetooth通信モジュールなどにより撮像装置101と通信可能である各種センシング部を含むウエアラブルデバイスである。
図7は、本実施形態における撮像装置101の第1制御回路223が受け持つ動作の例を説明するフローチャートである。
(1)電源ボタンが手動で押下されて電源起動
(2)外部機器(例えば301)からの外部通信(例えばBLE通信)による指示で電源起動
(3)Subプロセッサ(第2制御回路211)から、電源起動
ここで、(3)のSubプロセッサから電源起動の場合は、Subプロセッサ内で演算された起動条件が読み込まれることになるが、詳細は後述する図8で説明する。
[モード判定条件]
後述する学習により設定された各検出情報(画像、音、時間、振動、場所、身体の変化、環境変化)や、自動撮影モードに移行してからの経過時間や、過去の撮影情報などから、自動撮影を行うべきと判定されると、自動撮影モードに設定される。
自動撮影モード処理(S710)では、各検出情報(画像、音、時間、振動、場所、体の変化、環境変化)に基づいて、パン・チルトやズームを駆動して被写体を自動探索する。そして、ユーザの好みの撮影が行えるタイミングであると判定されると、静止画一枚撮影、静止画連続撮影、動画撮影、パノラマ撮影、タイムラプス撮影など様々な撮影方法の中から、撮影方法の判定処理が行われ、自動で撮影が行われる。
[モード判定条件]
前回学習処理を行ってからの経過時間と、学習に使用することのできる画像に対応付けられた情報や学習データの数などから、自動学習を行うべきと判定されると、自動学習モードに設定される。または、スマートデバイス301からの通信を介して学習データが設定されるように指示があった場合も本モードに設定される。
自動学習モード処理(S712)では、ユーザの好みに合わせた学習を行う。スマートデバイス301での各操作、スマートデバイス301からの学習情報通知などの情報を基にニューラルネットワークを用いて、ユーザの好みに合わせた学習が行われる。スマートデバイス301での各操作の情報としては、例えば、撮像装置からの画像取得情報、専用アプリケーションを介して手動による編集指示がされた情報、撮像装置内の画像に対してユーザが入力した判定値情報がある。
ユーザが撮像装置101を例えば指先などで叩いた状態(タップ状態)を、撮像装置101に取り付けられた加速度センサの出力値より検出することが可能である。3軸の加速度センサの出力を所定サンプリング周期で特定の周波数領域に設定したバンドパスフィルタ(BPF)に通すことで、タップによる加速度変化の信号領域を抽出することができる。BPF後の加速度信号を所定時間TimeA間に、所定閾値ThreshAを超えた回数が、所定回数CountAであるか否かにより、タップ検出を行う。ダブルタップの場合は、CountAは2に設定され、トリプルタップの場合は、CountAは3に設定される。
撮像装置101の揺れ状態を、撮像装置101に取り付けられたジャイロセンサや加速度センサの出力値より検出することが可能である。ジャイロセンサや加速度センサの出力をHPFで高周波成分をカットし、LPFで低周波成分をカットした後、絶対値変換を行う。算出した絶対値が所定時間TimeB間に、所定閾値ThreshBを超えた回数が、所定回数CountB以上であるか否かにより、振動検出を行う。例えば撮像装置101を机などに置いたような揺れが小さい状態か、ウエアラブルで撮像装置101を装着し歩いているような揺れが大きい状態かを判定することが可能である。また、判定閾値や判定のカウント数の条件を複数もつことで、揺れレベルに応じた細かい揺れ状態を検出することも可能である。
特定の音声コマンドを検出する。音声コマンドは事前に登録されたいくつかのコマンドの他、ユーザが特定音声を撮像装置に登録できる。
予め大量の音声データを基に機械学習により学習させたネットワークにより音シーン判定を行う。例えば、「歓声が上がっている」、「拍手している」、「声を発している」などの特定シーンを検出する。
所定時間の間で、音レベルの大きさがレベル所定値を超えている時間を加算するなどの方法によって、音レベル判定による検出を行う。
複数のマイクが設置された平面上の音の方向を検出することができ、所定の大きさの音レベルに対して、音の方向を検出する。
(1)特定揺れ検出の判定条件
(2)特定音検出の判定条件
(3)時間経過判定の判定条件
それぞれ、S803での特定揺れ状態検出処理により、特定揺れ検出の判定条件に入ったか否かを判定できる。また、S804での特定音検出処理により、特定音検出の判定条件に入ったか否かを判定できる。また、S806での時間経過検出処理により、時間経過検出の判定条件に入ったか否かを判定できる。したがって、何れか一つ以上の条件に入っていれば、低消費電力モード解除を行うような判定が行われる。
図9を用いて、自動撮影モード処理の詳細を説明する。前述したように、以下の処理は、本実施形態における撮像装置101の第1制御回路223が制御を受け持つ。
図11を用いて、エリア分割を説明する。図11(a)のように撮像装置(原点Oが撮像装置位置とする。)位置を中心として、全周囲でエリア分割を行う。図11(a)の例においては、チルト方向、パン方向それぞれ22.5度で分割している。図11(a)のように分割すると、チルト方向の角度が0度から離れるにつれて、水平方向の円周が小さくなり、エリア領域が小さくなる。よって、図11(b)のように、チルト角度が45度以上の場合、水平方向のエリア範囲は22.5度よりも大きく設定している。図11(c)、(d)に撮影画角内でのエリア分割された例を示す。軸1101は初期化時の撮像装置101の方向であり、この方向角度を基準位置としてエリア分割が行われる。1102は、撮像されている画像の画角エリアを示しており、そのときの画像例を図11(d)に示す。画角に写し出されている画像内ではエリア分割に基づいて、図11(d)の1103〜1118のように画像分割される。
前記のように分割した各エリアについて、エリア内に存在する被写体やエリアのシーン状況に応じて、探索を行う優先順位を示す重要度レベルを算出する。被写体の状況に基づいた重要度レベルは、例えば、エリア内に存在する人物の数、人物の顔の大きさ、顔向き、顔検出の確からしさ、人物の表情、人物の個人認証結果に基づいて算出する。また、シーンの状況に応じた重要度レベルは、例えば、一般物体認識結果、シーン判別結果(青空、逆光、夕景など)、エリアの方向からする音のレベルや音声認識結果、エリア内の動き検知情報等である。また、撮像装置の状態判定(S903)で、撮像装置の振動状態が検出されており、振動状態に応じても重要度レベルが変化するようにもすることができる。例えば、「置き撮り状態」と判定された場合、顔認証で登録されている中で優先度の高い被写体(例えば撮像装置のユーザである)を中心に被写体探索が行われるように、特定人物の顔認証を検出すると重要度レベルが高くなるように判定される。また、後述する自動撮影も上記顔を優先して行われることになり、撮像装置のユーザが撮像装置を身に着けて持ち歩き撮影を行っている時間が多くても、撮像装置を取り外して机の上などに置くことで、ユーザが写った画像も多く残すことができる。このときパン・チルトにより探索可能であることから、撮像装置の置き角度などを考えなくても、適当に設置するだけでユーザが写った画像やたくさんの顔が写った集合写真などを残すことができる。なお、上記条件だけでは、各エリアに変化がない限りは、最も重要度レベルが高いエリアが同じとなり、その結果探索されるエリアがずっと変わらないことになってしまう。そこで、過去の撮影情報に応じて重要度レベルを変化させる。具体的には、所定時間継続して探索エリアに指定され続けたエリアは重要度レベルを下げたり、後述するS910にて撮影を行ったエリアでは、所定時間の間重要度レベルを下げたりしてもよい。
前記のように各エリアの重要度レベルが算出されたら、重要度レベルが高いエリアを探索対象エリアとして決定する。そして、探索対象エリアを画角に捉えるために必要なパン・チルト探索目標角度を算出する。
自動撮影を行うかどうかの判定は以下の2つの判定に基づいて行う。1つは、S904にて得られたエリア別の重要度レベルに基づき、重要度レベルが所定値を超えている場合、自動撮影を実施する判定を下す。2つめは、機械学習の1つであるニューラルネットワークに基づく判定である。ニューラルネットワークの一例として、多層パーセプトロンによるネットワークの例を図10に示す。ニューラルネットワークは、入力値から出力値を予測することに使用されるものであり、予め入力値と、その入力に対して模範となる出力値とを学習しておくことで、新たな入力値に対して、学習した模範に倣った出力値を推定することができる。なお、学習の方法は後述する。図10の1001およびその縦に並ぶ丸は入力層のニューロンであり、1003およびその縦に並ぶ丸は中間層のニューロンであり、1004は出力層のニューロンである。1002のような矢印は各ニューロンを繋ぐ結合を示している。ニューラルネットワークに基づく判定では、入力層のニューロンに対して、現在の画角中に写る被写体や、シーンや撮像装置の状態に基づいた特徴量を入力として与え、多層パーセプトロンの順伝播則に基づく演算を経て出力層から出力された値を得る。そして、出力の値が閾値以上であれば、自動撮影を実施する判定を下す。なお、被写体の特徴は、現在のズーム倍率、現在の画角における一般物体認識結果、顔検出結果、現在画角に写る顔の数、顔の笑顔度・目瞑り度、顔角度、顔認証ID番号、被写体人物の視線角度、シーン判別結果、特定の構図の検出結果等を使用する。また、前回撮影時からの経過時間、現在時刻、GPS位置情報および前回撮影位置からの変化量、現在の音声レベル、声を発している人物、拍手、歓声が上がっているか否か等を使用してもよい。また、振動情報(加速度情報、撮像装置の状態)、環境情報(温度、気圧、照度、湿度、紫外線量)等を使用してもよい。更に、ウエアラブルデバイス501からの情報通知がある場合、通知情報(ユーザの運動情報、腕のアクション情報、心拍などの生体情報など)も特徴として使用してもよい。この特徴を所定の範囲の数値に変換し、特徴量として入力層の各ニューロンに与える。そのため、入力層の各ニューロンは上記使用する特徴量の数だけ必要となる。
撮影方法の判定では、S901乃至S904において検出した、撮像装置の状態や周辺の被写体の状態に基づいて、静止画撮影、動画撮影、連写、パノラマ撮影などの内どれを実行するかの判定を行う。例えば、被写体(人物)が静止している場合は静止画撮影を実行し、被写体が動いている場合は動画撮影または連写を実行する。また、被写体が撮像装置を取り囲むように複数存在している場合や、前述したGPS情報に基づいて景勝地であることが判断できた場合には、パン・チルトを操作させながら順次撮影した画像を合成してパノラマ画像を生成するパノラマ撮影処理を実行してもよい。
次に、本実施形態におけるユーザの好みに合わせた学習について説明する。
自動撮影に対する学習について説明する。自動撮影では、ユーザの好みに合った画像の撮影を自動で行うための学習を行う。図9のフローを用いた説明で上述したように、撮影後(S912)に学習情報生成処理が行われている。後述する方法により学習させる画像を選択させ、画像に含まれる学習情報を基に、ニューラルネットワークの重みを変化させることで学習する。学習は、自動撮影タイミングの判定を行うニューラルネットワークの変更と、撮影方法(静止画撮影、動画撮影、連写、パノラマ撮影など)の判定をニューラルネットワークの変更で行われる。
自動編集に対する学習について説明する。自動編集は、図9のS911での撮影直後の編集に対して学習が行われる。撮影直後の編集について説明する。後述する方法により学習させる画像を選択させ、画像に含まれる学習情報を基に、ニューラルネットワークの重みを変化させることで学習する。撮影或いは撮影直前の情報により得られた各種検出情報をニューラルネットワークに入力し、編集方法(トリミング処理、画像の回転処理、HDR(ハイダイナミックレンジ)効果、ボケ効果、色変換フィルタ効果など)の判定を行う。
被写体探索に対する学習について説明する。被写体探索では、ユーザの好みに合った被写体の探索を自動で行うための学習を行う。図9のフローを用いた説明で上述したように、被写体探索処理(S904)において、各エリアの重要度レベルを算出し、パン・チルト、ズームを駆動し、被写体探索を行っている。学習は撮影画像や探索中の検出情報によって学習され、ニューラルネットワークの重みを変化させることで学習する。探索動作中の各種検出情報をニューラルネットワークに入力し、重要度レベルの算出を行い、重要度レベルに基づきパン・チルトの角度を設定することで学習を反映した被写体探索を行う。また、重要度レベルに基づくパン・チルト角度の設定以外にも、例えば、パン・チルト駆動(速度、加速度、動かす頻度)の学習も行う。
被写体登録に対する学習について説明する。被写体登録では、ユーザの好みに合った被写体の登録やランク付けを自動で行うための学習を行う。学習として、例えば、顔認証登録や一般物体認識の登録、ジェスチャーや音声認識、音によるシーン認識の登録を行う。認証登録は人と物体に対する認証登録を行い、画像取得される回数や頻度、手動撮影される回数や頻度、探索中の被写体の現れる頻度からランク設定を行う。登録された情報は、各ニューラルネットワークを用いた判定の入力として登録されることになる。
図9のS907乃至S913で説明したとおり、本実施形態においては、撮像装置101は、手動撮影と自動撮影の2つの撮影を行うことができる。S907で手動操作による撮影指示(上記説明したとおり、3つの判定に基づいて行う。)があった場合は、S912において、撮影画像は手動で撮影された画像であるとの情報が付加される。また、S909にて自動撮影ONと判定されて撮影された場合においては、S912において、撮影画像は自動で撮影された画像であると情報が付加される。
被写体探索動作中において、個人認証登録されている被写体が、どんな人物、物体、シーンと同時に写っているかを判定し、同時に画角内に写っている時間比率を演算しておく。
図3で説明したとおり、撮像装置101と外部機器301は、通信302、303の通信手段を有している。主に通信302によって画像の送受信が行われ、外部機器301内の専用のアプリケーションを介して、撮像装置101内の画像を外部機器301に通信取得することができる。また、撮像装置101内の保存されている画像データのサムネイル画像を外部機器301内の専用のアプリケーションを介して、閲覧可能な構成である。これにより、ユーザはサムネイル画像の中から、自分が気に入った画像を選択して、画像確認し、画像取得指示を操作することで外部機器301に画像取得できる。
上記で説明したとおり、撮像装置101と外部機器301は、通信手段を有しており、撮像装置101内の保存されている画像を外部機器301内の専用のアプリケーションを介して、閲覧可能な構成である。ここで、ユーザは、各画像に対して点数付を行う構成にしてもよい。ユーザが好みと思った画像に対して高い点数(例えば5点)を付けたり、好みでないと思った画像に対して低い点数(例えば1点)を付けることができ、ユーザの操作によって、撮像装置が学習していくような構成にする。各画像の点数は、撮像装置内で学習情報と共に再学習に使用する。指定した画像情報からの特徴データを入力にした、ニューラルネットワークの出力がユーザが指定した点数に近づくように学習される。
上記で説明したとおり、撮像装置101と外部機器301は、通信手段を有しており、撮像装置101内に現在設定されている学習パラメータを外部機器301に通信し、外部機器301の記憶回路404に保存することができる。学習パラメータとしては、例えば、ニューラルネットワークの重みや、ニューラルネットワークに入力する被写体の選択などが考えられる。また、外部機器301内の専用のアプリケーションを介して、専用のサーバにセットされた学習パラメータを公衆回線制御回路406を介して取得して、撮像装置101内の学習パラメータに設定することもできる構成とする。これにより、ある時点でのパラメータを外部機器301に保存しておいて、撮像装置101に設定することで学習パラメータを戻すこともできるし、他のユーザが持つ学習パラメータを専用のサーバを介して取得し自身の撮像装置101に設定することもできる。
また本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現できる。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現できる。
Claims (21)
- 撮像手段により撮影された撮影画像に関する教師データを取得する取得手段と、
前記教師データに基づいて、画像を評価するための学習モデルを生成する学習手段と、を有し、
前記学習手段は、ユーザの指示に応じて撮影された記録用の画像に基づく教師データと、前記ユーザの指示に応じて撮影された前記記録用の画像に対して連続して撮影された学習用の画像に基づく教師データとを用いて、前記学習モデルを生成することを特徴とする画像処理装置。 - 前記記録用の画像における教師値と、前記学習用の画像における教師値が異なること特徴とする請求項1に記載の画像処理装置。
- 前記記録用の画像における教師値よりも、前記学習用の画像における教師値が小さいこと特徴とする請求項2に記載の画像処理装置。
- 前記記録用の画像と前記学習用の画像の撮影条件の差が大きくなるほど、前記記録用の画像における教師値と、前記学習用の画像における教師値の差が大きくなることを特徴とする請求項2または3に記載の画像処理装置。
- 前記記録用の画像の撮影のタイミングと前記学習用の画像の撮影のタイミングの差が大きくなるほど、前記記録用の画像における教師値と、前記学習用の画像における教師値の差が大きくなること特徴とする請求項2または3に記載の画像処理装置。
- 前記学習手段は、前記学習用の画像の少なくとも一部を、負の教師データとして用いて前記学習モデルを生成することを特徴とする請求項1乃至5のいずれか1項に記載の画像処理装置。
- 前記学習手段は、前記学習用の画像のうち、前記記録用の画像との類似度が閾値より低い画像を、負の教師データとして用いて前記学習モデルを生成することを特徴とする請求項6に記載の画像処理装置。
- 前記学習用の画像は、前記記録用の画像の撮影条件と、少なくとも、フォーカス、露出、ホワイトバランス、ストロボ発光、ズームのいずれかの条件を変えて撮影された画像であることを特徴とする請求項1乃至7のいずれか1項に記載の画像処理装置。
- 前記学習用の画像は、前記記録用の画像の撮影の直前または直後に撮影された動画から生成された画像、または、前記記録用の画像の撮影の直前または直後に撮影された連写画像であることを特徴とする請求項1乃至8のいずれか1項に記載の画像処理装置。
- 前記学習手段が生成した前記学習モデルを、外部機器に送信する通信手段をさらに有することを特徴とする請求項1乃至9のいずれか1項に記載の画像処理装置。
- 撮像手段により撮影された撮影画像から教師データを生成する生成手段と、
前記生成手段が生成した教師データを、学習モデルを生成する学習手段に送信する通信手段と、を有し、
前記生成手段は、ユーザの指示に応じて撮影された記録用の画像から教師データを生成するとともに、前記ユーザの指示に応じて撮影された前記記録用の画像に対して連続して撮影された学習用の画像からも教師データを生成し、
前記通信手段は、前記記録用の画像から生成された教師データと、前記学習用の画像から生成された教師データを、前記学習手段に送信することを特徴とする画像処理装置。 - 前記生成手段は、前記記録用の画像における教師値と、前記学習用の画像における教師値とを異ならせること特徴とする請求項11に記載の画像処理装置。
- 前記生成手段は、前記記録用の画像における教師値よりも、前記学習用の画像における教師値を小さくすること特徴とする請求項12に記載の画像処理装置。
- 前記生成手段は、前記記録用の画像の撮影条件と前記学習用の画像の撮影条件の差が大きくなるほど、前記記録用の画像における教師値と、前記学習用の画像における教師値の差が大きくなるように、前記学習用の画像における教師値を決定すること特徴とする請求項12または13に記載の画像処理装置。
- 前記生成手段は、前記記録用の画像の撮影のタイミングと前記学習用の画像の撮影のタイミングの差が大きくなるほど、前記記録用の画像における教師値と、前記学習用の画像における教師値の差が大きくなるように、前記学習用の画像における教師値を決定すること特徴とする請求項12または13に記載の画像処理装置。
- 前記生成手段は、前記学習用の画像の少なくとも一部を、負の教師データとして生成することを特徴とする請求項11乃至15のいずれか1項に記載の画像処理装置。
- 前記学習用の画像は、前記記録用の画像の撮影の直前または直後に撮影された動画から生成されることを特徴とする請求項11乃至16のいずれか1項に記載の画像処理装置。
- 前記学習用の画像は、前記記録用の画像の撮影の直前または直後に撮影された連写画像であることを特徴とする請求項11乃至16のいずれか1項に記載の画像処理装置。
- 撮像手段により撮影された撮影画像に関する教師データを取得する取得工程と、
前記教師データに基づいて、画像を評価するための学習モデルを生成する生成工程と、を有し、
前記生成工程では、ユーザの指示に応じて撮影された記録用の画像に基づく教師データと、前記ユーザの指示に応じて撮影された前記記録用の画像に対して連続して撮影された学習用の画像に基づく教師データとを用いて、前記学習モデルを生成することを特徴とする画像処理方法。 - 撮像手段により撮影された撮影画像から教師データを生成する生成工程と、
前記生成工程において生成した教師データを、学習モデルを生成する学習手段に送信する通信工程と、を有し、
前記生成工程では、ユーザの指示に応じて撮影された記録用の画像から教師データを生成するとともに、前記ユーザの指示に応じて撮影された前記記録用の画像に対して連続して撮影された学習用の画像からも教師データを生成し、
前記通信工程では、前記記録用の画像から生成された教師データと、前記学習用の画像から生成された教師データを、前記学習手段に送信することを特徴とする画像処理方法。 - 請求項19または20に記載の画像処理方法の各工程をコンピュータに実行させるためのプログラム。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017250104 | 2017-12-26 | ||
JP2017250104 | 2017-12-26 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018203255A Division JP6641447B2 (ja) | 2017-12-26 | 2018-10-29 | 撮像装置及びその制御方法、プログラム、記憶媒体 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020061761A true JP2020061761A (ja) | 2020-04-16 |
JP6799660B2 JP6799660B2 (ja) | 2020-12-16 |
Family
ID=67305454
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018203255A Active JP6641447B2 (ja) | 2017-12-26 | 2018-10-29 | 撮像装置及びその制御方法、プログラム、記憶媒体 |
JP2019231955A Active JP6799660B2 (ja) | 2017-12-26 | 2019-12-23 | 画像処理装置、画像処理方法、プログラム |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018203255A Active JP6641447B2 (ja) | 2017-12-26 | 2018-10-29 | 撮像装置及びその制御方法、プログラム、記憶媒体 |
Country Status (2)
Country | Link |
---|---|
JP (2) | JP6641447B2 (ja) |
GB (1) | GB2582197B (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2022201810A1 (ja) * | 2021-03-24 | 2022-09-29 | 富士フイルム株式会社 | 制御装置、制御方法、及びプログラム |
Families Citing this family (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11580724B2 (en) * | 2019-07-23 | 2023-02-14 | Toyota Research Institute, Inc. | Virtual teach and repeat mobile manipulation system |
JP7374430B2 (ja) * | 2019-07-26 | 2023-11-07 | 株式会社オレンジテクラボ | 動画像処理装置、動画像処理方法及び動画像処理プログラム |
JP2021057816A (ja) * | 2019-09-30 | 2021-04-08 | キヤノン株式会社 | 撮像装置及びその制御方法、プログラム、記憶媒体 |
EP3843378A1 (en) * | 2019-12-20 | 2021-06-30 | Canon Kabushiki Kaisha | Image processing apparatus, image capturing apparatus and image processing method |
US11924589B2 (en) | 2019-12-27 | 2024-03-05 | Semiconductor Energy Laboratory Co., Ltd. | Imaging system |
US20230199299A1 (en) | 2020-03-27 | 2023-06-22 | Sony Group Corporation | Imaging device, imaging method and program |
WO2021229926A1 (ja) * | 2020-05-15 | 2021-11-18 | ソニーグループ株式会社 | 情報処理装置及び情報処理方法、コンピュータプログラム、並びに撮像装置 |
WO2022014306A1 (ja) * | 2020-07-16 | 2022-01-20 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ | 学習方法、画像識別方法、学習装置、及び画像識別システム |
US11893668B2 (en) | 2021-03-31 | 2024-02-06 | Leica Camera Ag | Imaging system and method for generating a final digital image via applying a profile to image information |
JPWO2023286360A1 (ja) * | 2021-07-12 | 2023-01-19 | ||
US11895368B2 (en) * | 2022-03-04 | 2024-02-06 | Humane, Inc. | Generating, storing, and presenting content based on a memory metric |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015026894A (ja) * | 2013-07-24 | 2015-02-05 | 富士通株式会社 | 撮像プログラム、撮像方法および情報処理装置 |
JP2019009660A (ja) * | 2017-06-26 | 2019-01-17 | カシオ計算機株式会社 | 撮像制御装置、撮像制御方法及び撮像制御プログラム |
JP2019109577A (ja) * | 2017-12-15 | 2019-07-04 | オムロン株式会社 | データ生成装置、データ生成方法及びデータ生成プログラム |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
GB2404511B (en) * | 2003-07-26 | 2007-08-22 | Hewlett Packard Development Co | Image capture device having a learning function |
-
2018
- 2018-10-29 JP JP2018203255A patent/JP6641447B2/ja active Active
- 2018-12-18 GB GB1919386.1A patent/GB2582197B/en active Active
-
2019
- 2019-12-23 JP JP2019231955A patent/JP6799660B2/ja active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015026894A (ja) * | 2013-07-24 | 2015-02-05 | 富士通株式会社 | 撮像プログラム、撮像方法および情報処理装置 |
JP2019009660A (ja) * | 2017-06-26 | 2019-01-17 | カシオ計算機株式会社 | 撮像制御装置、撮像制御方法及び撮像制御プログラム |
JP2019109577A (ja) * | 2017-12-15 | 2019-07-04 | オムロン株式会社 | データ生成装置、データ生成方法及びデータ生成プログラム |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2022201810A1 (ja) * | 2021-03-24 | 2022-09-29 | 富士フイルム株式会社 | 制御装置、制御方法、及びプログラム |
Also Published As
Publication number | Publication date |
---|---|
GB201919386D0 (en) | 2020-02-05 |
JP6799660B2 (ja) | 2020-12-16 |
JP2019118098A (ja) | 2019-07-18 |
GB2582197A (en) | 2020-09-16 |
JP6641447B2 (ja) | 2020-02-05 |
GB2582197B (en) | 2021-12-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6799660B2 (ja) | 画像処理装置、画像処理方法、プログラム | |
JP7077376B2 (ja) | 撮像装置およびその制御方法 | |
CN109981976B (zh) | 摄像设备及其控制方法和存储介质 | |
JP6641446B2 (ja) | 画像処理方法、画像処理装置、撮像装置、プログラム、記憶媒体 | |
CN111294488B (zh) | 摄像设备及其控制方法和存储介质 | |
JP7233162B2 (ja) | 撮像装置及びその制御方法、プログラム、記憶媒体 | |
US20200314330A1 (en) | Image capturing apparatus, control method therefor, and storage medium | |
JP2022070684A (ja) | 撮像装置およびその制御方法、プログラム | |
JP7348754B2 (ja) | 画像処理装置及びその制御方法、プログラム、記憶媒体 | |
JP7267686B2 (ja) | 撮像装置及びその制御方法 | |
WO2019065454A1 (ja) | 撮像装置およびその制御方法 | |
JP6852141B2 (ja) | 情報処理装置、撮像装置、情報処理装置の制御方法、および、プログラム | |
JP7403218B2 (ja) | 撮像装置及びその制御方法、プログラム、記憶媒体 | |
US11463617B2 (en) | Information processing apparatus, information processing system, image capturing apparatus, information processing method, and memory | |
JP2023057157A (ja) | 撮像装置及びその制御方法、プログラム | |
JP6896818B2 (ja) | 情報処理装置、情報処理方法、及び、プログラム | |
JP7199808B2 (ja) | 撮像装置およびその制御方法 | |
JP2021057815A (ja) | 撮像装置及びその制御方法、プログラム、記憶媒体 | |
JP2020145556A (ja) | 撮像装置及びその制御方法、プログラム、記憶媒体 | |
JP7393133B2 (ja) | 画像処理装置及び画像処理方法、撮像装置、プログラム、記憶媒体 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20191223 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200930 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20201023 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20201120 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6799660 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |