JP2012100173A - 撮像装置撮像装置、撮像システム、及び撮像装置の制御方法 - Google Patents

撮像装置撮像装置、撮像システム、及び撮像装置の制御方法 Download PDF

Info

Publication number
JP2012100173A
JP2012100173A JP2010247859A JP2010247859A JP2012100173A JP 2012100173 A JP2012100173 A JP 2012100173A JP 2010247859 A JP2010247859 A JP 2010247859A JP 2010247859 A JP2010247859 A JP 2010247859A JP 2012100173 A JP2012100173 A JP 2012100173A
Authority
JP
Japan
Prior art keywords
shooting
information
shooting scene
imaging
image data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2010247859A
Other languages
English (en)
Other versions
JP5733952B2 (ja
Inventor
Tetsuya Hata
哲也 秦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2010247859A priority Critical patent/JP5733952B2/ja
Priority to US13/280,620 priority patent/US9225855B2/en
Priority to CN201110346288.4A priority patent/CN102457665B/zh
Publication of JP2012100173A publication Critical patent/JP2012100173A/ja
Application granted granted Critical
Publication of JP5733952B2 publication Critical patent/JP5733952B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00127Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
    • H04N1/00204Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a digital computer or a digital computer system, e.g. an internet server
    • H04N1/00244Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a digital computer or a digital computer system, e.g. an internet server with a server, e.g. an internet server
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00127Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
    • H04N1/00249Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a photographic apparatus, e.g. a photographic printer or a projector
    • H04N1/00251Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a photographic apparatus, e.g. a photographic printer or a projector with an apparatus for taking photographic images, e.g. a camera
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00127Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
    • H04N1/00323Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a measuring, monitoring or signaling apparatus, e.g. for transmitting measured information to a central location
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/64Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2101/00Still video cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/0008Connection or combination of a still picture apparatus with another apparatus
    • H04N2201/001Sharing resources, e.g. processing power or memory, with a connected apparatus or enhancing the capability of the still picture apparatus
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/0077Types of the still picture apparatus
    • H04N2201/0084Digital still camera
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/32Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N2201/3201Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N2201/3225Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of data relating to an image, a page or a document
    • H04N2201/3253Position information, e.g. geographical position at time of capture, GPS data
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/32Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N2201/3201Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N2201/3278Transmission

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Studio Devices (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

【課題】 本発明の目的は、入力画像の撮影シーンをより精度良く判別することが可能な撮像装置を提供することである。
【解決手段】 被写体像を撮像し、画像データを出力する撮像手段と、前記画像データに基づいて前記撮像手段から出力される画像データの撮影シーンを判別する判別処理を行う判別手段と、を備えた撮像装置であって、前記撮像装置の位置情報を含む、前記画像データの撮影条件に関する撮影情報を取得する取得手段と、前記撮影情報を外部装置に送信し、前記撮影情報に対応する前記画像データの撮影シーンの判別を補助する補助情報を、前記外部装置から受信する通信手段と、を備え、前記判別手段は、前記通信手段により受信した前記補助情報に基づいて、前記判別処理を行うことを特徴とする。
【選択図】 図1

Description

本発明は、撮像装置入力画像データと外部の情報処理装置に蓄積された情報とに基づいて撮像装置撮像されるシーンのシーン判別を行う撮像装置に関するものである。
従来、入力された画像データの特徴に基づいて、画像の撮影シーン(被写体の種類)を判別し、判別した撮影シーンに応じた画像処理を行う撮像装置があった。例えば、特許文献1では、風景、夕景、夜景等の複数の候補から、自動で現在の撮影シーンを判別することが可能なカメラにおいて、自動で判別する場合とユーザが手動で撮影モードを設定する場合とで、画像処理の内容を異ならせる技術が開示されている。
一方、撮影シーンに応じた画像処理の制御を、外部の情報処理装置上に蓄積された補助的な情報に基づいて行うことが可能な撮像装置の技術が知られている。例えば、特許文献2では、撮影時のプレビュー画像に類似した参照画像を外部データベースから検索し、その参照画像を撮影した際のカメラ設定パラメータを取得し、設定することが可能なカメラの技術が開示されている。
特開2003−018453号公報 特開2009−077157号公報
しかしながら、画像データの特徴に応じて撮影シーンを判別する従来技術では、撮影シーンを誤判別する場合があった。例えば、色温度の低い照明で照らされた室内を、同じ色味を持つ夕焼け空と誤判別してしまう場合があった。
また、外部の情報処理装置に蓄積された参照画像に基づき撮影シーンを判別する従来技術では、ユーザが撮影しようとする画像によく類似した参照画像が存在しない場合には、撮影シーンの判別を精度良く行うことが困難であるという問題があった。
そこで、本発明の目的は、入力画像の撮影シーンを精度良く判別することが可能な撮像装置を提供することである。
上記の課題を解決するために、本発明の撮像装置は、請求項1に記載のとおり、被写体像を撮像し、画像データを出力する撮像手段と、前記画像データに基づいて前記撮像手段から出力される画像データの撮影シーンを判別する判別処理を行う判別手段と、を備えた撮像装置であって、前記撮像装置の位置情報を含む、前記画像データの撮影条件に関する撮影情報を取得する取得手段と、前記撮影情報を外部装置に送信し、前記撮影情報に対応する前記画像データの撮影シーンの判別を補助する補助情報を、前記外部装置から受信する通信手段と、を備え、前記判別手段は、前記通信手段により受信した前記補助情報に基づいて、前記判別処理を行うことを特徴とする。
また、本発明の撮像システムは、請求項13に記載のとおり、撮像装置と情報処理装置からなる撮像システムであって、被写体を撮像し、画像データを取得する撮像手段と、前記画像データに基づいて、前記画像データの撮影シーンを判別する判別処理を行う判別手段と、前記撮像装置の位置情報を含む、前記画像データの撮影条件に関する撮影情報を取得する取得手段と、前記撮像装置と前記情報処理装置との間の通信を行う通信手段と、前記撮影情報と対応付けが可能な複数のデータを記憶する記憶手段と、前記記憶手段に記憶された前記複数のデータと前記撮影情報とに基づいて、前記撮影情報に対応する撮影シーンの判別を補助する補助情報を生成する生成手段と、を備え、前記判別手段は、前記生成手段により生成された前記補助情報に基づいて、前記判別処理を行うことを特徴とする。
また、本発明の撮像装置の制御方法は、請求項16に記載のとおり、被写体像を撮像し、画像データを出力する撮像手段と、前記画像データに基づいて前記撮像手段から出力される画像データの撮影シーンを判別する判別処理を行う判別手段と、を備えた撮像装置の制御方法であって、前記撮像装置の位置情報を含む、前記画像データの撮影条件に関する撮影情報を取得する取得ステップと、前記撮影情報を外部装置に送信し、前記撮影情報に対応する前記画像データの撮影シーンの判別を補助する補助情報を、前記外部装置から受信する通信ステップと、を備え、前記判別手段は、前記通信ステップにて受信した前記補助情報に基づいて、前記判別処理を行うことを特徴とする。
本発明によれば、入力画像の撮影シーンの判別を、より精度良く行うことが可能な撮像装置を提供することができる。
本発明の第1の実施形態に係る撮像装置の構成を示すブロック図である。 本発明の第1の実施形態に係る撮像システムの構成を示す図である。 本発明の第1の実施形態に係る撮像システムの処理動作を表すシーケンス図である。 本発明の第1の実施形態に係る画像データの概要を示す図である。 本発明の第1の実施形態に係る撮影シーン判別処理の流れを示すフローチャートである。 本発明の第1の実施形態に係る撮影シーン判別処理の内容を表す図である。 本発明の第1の実施形態に係る撮影シーン判別処理の制御の流れを示すフローチャートである。 本発明の第2の実施形態に係る撮像システムの処理動作を表すシーケンス図である。 本発明の第3の実施形態に係る撮像システムの処理動作を表すシーケンス図である。 本発明の第3の実施形態に係る画像データの概要を示す図である。
以下に、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。
以下の実施形態では、本発明の撮像装置を備えたデジタルカメラを用いる撮像システムの場合を例に取り、説明する。また、撮影シーンとして、人物を含むシーンを撮影する「ポートレート」、夕焼け空を含むシーンを撮影する「夕焼け空」、青空を含むシーンを撮影する「青空」、夜景を撮影する「夜景」、風景を撮影する「風景」の5種類の撮影シーンを判別する場合で説明する。しかし、本発明を用いて判別するシーンはこれらに限られない。
[第1の実施形態]
以下、図1〜図7を参照して、本発明の第1の実施形態による撮像装置について説明する。
図2に示したのは、第1の実施形態に係る撮影システムの構成の概要を示した図である。図2において、201は、GPS(Global Positioning System)衛星であり、測位のためのGPS信号を出力する。101は、カメラであり、画像を撮影する。また、カメラ101は、アクセスポイント202、及び、ネットワーク203を介して、画像サーバ204(情報処理装置)と通信する。画像サーバ204は、画像サーバ制御部205、画像データベース(DB)206、画像DB検索部207を備える。画像サーバ制御部205は、画像サーバ204内の各部の処理を制御する。画像DB206は、画像ファイルや後述する撮影シーン判別補助情報を記憶した記憶装置からなる。画像DB検索部207は、画像DB206内のデータを指定された条件で検索する。
次に、図1を参照して、カメラ101の構成と動作を説明する。
図1に示したのは、カメラ101の主要な構成を示したブロック図である。図1において、102は、被写体の光束を結像する撮像光学系であり、不図示のレンズや絞り等で構成される。103は入射した光束を光電変換し、電気信号として出力する撮像素子である。104は、撮像素子103で生成された電気信号を画像信号に変換する画像信号生成部である。画像信号は、輝度信号(Y)、及び色信号(R、G、B)から成る。105は、後述する撮影シーン判別結果を受け、画像信号に対して判別された撮影シーンに対応するホワイトバランス補正、ガンマ処理、色相・彩度補正、エッジ強調などの補正処理を行う画像信号補正部である。106は、画像データを記録する記録部である。
107は、ユーザが撮影動作を制御するためのシャッタ釦である。108は、シャッタスイッチ(SW1)であり、シャッタ釦107の半押し状態でONとなり、AF(オートフォーカス)処理、AE(自動露出)処理などの動作開始を指示する。109はシャッタスイッチ(SW2)であり、シャッタ釦107の全押し状態でONとなり、画像信号の読み出しから画像を記録するまでの一連の撮影動作の開始を指示する。
110は、カメラ101の各構成要素の動作を制御するカメラ制御部である。111は、画像信号に基づいて撮影シーンを判別する撮影シーン判別部である。112は、撮影シーン判別部111での撮影シーン判別を制御する撮影シーン判別制御部である。113は、ユーザの操作を受け付ける操作部である。114は、ユーザにプレビュー画像などを表示する表示部である。115は、GPS衛星からのGPS信号を受信するGPSセンサである。116は、アクセスポイント202とネットワーク203を介して、画像サーバ204と通信する通信部である。117は、画像信号に基づいて、画像中の人物の顔を検出する顔検出部である。
次に、図1の撮像装置の処理動作について説明する。
撮像光学系102を通過した被写体像は撮像素子103上に結像される。撮像素子103は、入射された光束を電気信号に変換した後、画像信号生成部104に出力する。画像信号生成部104は、輝度信号(Y)、及び色信号(R,G,B)を生成し、画像信号補正部105、及び、撮影シーン判別部111へ出力する。撮影シーン判別部111は、入力された画像信号に基づいて撮影シーンの判別を行い、判別結果をカメラ制御部110を介して、画像信号補正部105へ出力する。撮影シーン判別部111での撮影シーン判別処理の詳細は後述する。
画像信号補正部105は、撮影シーン判別部111での撮影シーン判別結果に基づき、入力された画像信号に対する補正を行い、表示部114、及び記録部106に出力する。表示部114は、入力された画像信号を、プレビュー画像としてユーザに提示する。
ユーザは、プレビュー画像を確認した後、シャッタ釦107を操作し、SW1(108)をONにする。SW1(108)がONにされると、カメラ制御部110がカメラ101の各部を制御し、AF処理、AE処理などを開始させる。次に、ユーザが、SW2(109)をONにすると、カメラ制御部110が、カメラ101の各部を制御し、撮像素子103より画像信号を読み出してから記録部106へ記録するまでの一連の処理を実行する。
次に、本実施形態の特徴部分である撮影シーン判別処理に関る撮影システムの動作について図3のフローチャートを用いて説明する。以下のカメラ101による一連の処理は、カメラ制御部110の制御に従って、画像プレビュー中に実行されるものである。
まず、ステップS301では、カメラ制御部110が、カメラの状態(撮影条件)を表す情報であるカメラ情報(撮影情報)の取得を行う。本実施形態では、カメラ情報として撮影場所を表す位置情報、及び撮影時刻、時間帯を表す時間情報を用いる場合で説明する。カメラ情報を取得するために、カメラ制御部110は、GPSセンサ115に対して位置情報と時間情報の取得要求を送信する。GPSセンサ115は、取得要求を受信すると、GPS衛星201からのGPS信号を受信し、現在の日時、及び位置の情報を算出して、カメラ制御部110へ出力する。
ステップS302では、カメラ制御部110が、通信部116を介して、位置情報と時間情報をカメラ情報として画像サーバ204へ送信し、加えてカメラ情報に対応する撮影シーン判別補助情報を要求する。
ステップS303では、画像サーバ204の画像DB検索部207が、受信したカメラ情報に対応する撮影シーン判別補助情報の検索を行う。ここで、撮影シーン判別補助情報とは、画像DB206に蓄積された情報に基づいて生成され、後述する撮影シーンの判別に際して補助的に用いられる情報を指す。
本実施形態では、画像DB206に蓄積された画像データのうち、カメラ101のカメラ情報と合致、又は所定の誤差範囲内の類似したカメラ情報を持つ画像データを検索する。そしてそれらの画像データの撮影された撮影シーンに対して評価を行った評価情報を撮影シーン判別補助情報として用いる。具体的には、撮影頻度の高い撮影シーン(第1の撮影シーン)を撮影頻度の低いシーン(第2の撮影シーン)よりも評価の高い撮影シーンと見なし、最も撮影頻度の高い撮影シーンの情報を撮影シーン判別補助情報として用いる。
図4を参照しながら、撮影シーン判別補助情報の検索について具体的に説明する。
図4は、画像DB206に蓄積されている画像データの概略を表した図である。図に示したように、参照画像ファイルのそれぞれに対して、対応するカメラ情報、撮影シーンのデータが関連付けられて記録されている。ここで、参照画像ファイルの撮影シーンのデータは、参照画像撮影時に参照画像の撮影者がカメラに設定した撮影モード情報あるいはカメラが判別したシーン情報を記録したものである。例えば、参照画像撮影時に夕焼け空モードが設定されていた場合、撮影シーンを夕焼け空と判断し、記録する。なお、画像DB206に記憶されるデータとしてはカメラ情報と対応付けが行えるデータを持つものであればよく、必ずしも画像データは必要としない。しかし、現在撮影しようとしている撮影条件で撮影された画像の見本となる画像データも記憶されていることで、ユーザが当該画像データを見本として自分でカメラ設定を行うなどということもできるようになる。
画像DB検索部207は、カメラ101よりカメラ情報と撮影シーン判別補助情報の検索要求を受信すると、画像DB206の中から、カメラ101より送信されたカメラ情報の規定する条件、あるいは類似した条件の下で撮影されている画像データを検索する。具体的には、カメラ101より送信された位置情報、時間情報と一致、又は、近い位置情報、時間情報を持つ画像データを検索し、抽出する。画像DB検索部207は、抽出した画像データを画像サーバ制御部205へ出力する。
画像サーバ制御部205は、抽出された画像データに基づいて、カメラ101へ送信する撮影シーン判別補助情報を決定する。具体的には、抽出された画像データについて撮影頻度の最も高い撮影シーンを判定し、その撮影シーンの情報をカメラ101へ送信する。例えば、緯度35度39分、経度139度44分の撮影場所で15:00に撮影されているというカメラ情報がカメラから送られているとすると、画像DB検索部207によって図4のような複数の画像データが抽出される。抽出された6件のデータのうち、夕焼け空シーンとして撮影された画像データが4件あり、最も撮影頻度が高い。この場合、画像サーバ制御部205は、最も撮影頻度が高い撮影シーンが夕焼け空シーンであることを表す情報を、撮影シーン判別補助情報として決定する。
ステップS304では、画像サーバ制御部205が、決定した撮影シーン判別補助情報を、カメラ101へ送信する。
ステップS305では、撮影シーン判別制御部112が、通信部116を介して画像サーバ204より受信した撮影シーン判別補助情報に基づき、撮影シーン判別処理に用いる撮影シーン判別閾値を算出し、撮影シーン判別部111へ出力する。ここでの撮影シーン判別閾値の算出方法については、後で詳しく説明する。
ステップS306では、撮影シーン判別部111が、撮影シーン判別制御部112より受信した撮影シーン判別閾値と、画像信号生成部104より受信した画像信号とに基づき、撮影シーンの判別処理を行う。ここでの撮影シーン判別処理の内容については、後で詳しく説明する。撮影シーン判別部111は、撮影シーン判別結果をカメラ制御部110へ送信する。
ステップS307では、カメラ制御部110が、受信した撮影シーン判別結果に基づき、撮影シーンに最適な画質となるようカメラ101の各部の動作を制御する。
例えば、撮影シーン判別結果が夕焼け空であれば、カメラ制御部110は、画像信号補正部105を制御して画像信号の赤色成分にゲインをかけ、撮像光学系102を制御して露出をややアンダーに設定し、夕焼け空の撮影に適するようカメラ101の各部を制御する。
同様に、撮影シーン判別結果が青空であれば、画像信号の青色成分に対してゲインをかけ、青空の色を強調するようカメラ101の各部を制御する。撮影シーン判別結果がポートレートであれば、人物の顔に対して適正な露出となるよう露出を設定し、人物の撮影に適するようカメラ101の各部を制御する。撮影シーン判別結果が夜景であれば、合焦位置を遠方、又は無限遠に設定し、露光時間を長くすることで、夜景の撮影に適するようカメラ101の各部を制御する。撮影シーン判別結果が風景であれば、画像信号に対して彩度方向にゲインをかけ、風景の撮影に適した設定となるようカメラ101の各部を制御する。以上が、撮影シーン判別処理に関る撮影システムの処理動作の概要である。
次に、図5を用いて、ステップS306における撮影シーン判別処理の内容について説明し、その後、図7を用いて、ステップS305における撮影シーン判別閾値の算出方法について説明する。撮影された画像が各シーンの条件を満たすかどうかを判定するために、画像データからシーンに応じた画像特徴量を算出し、それを判別閾値と比較して、シーン判別を行う。
図5に示したのは、撮影シーン判別部111が行う撮影シーン判別処理の流れを表すフローチャートである。
ステップS501では、撮影シーン判別部111が顔検出部117に対して顔検出処理を行うよう要求する。顔検出部117は、検出要求に応じて、画像中の人物の顔を検出する。具体的には、顔検出部117は、種々の顔パターンをテンプレートとして予め用意しておき、入力された画像データとの間でパターンマッチングを行うことにより、人物の顔を検出する。顔検出部117は、画像中に人物の顔が検出されたか否かを、検出された場合には顔の位置や大きさの情報を撮影シーン判別部111へ出力する。
ステップS502では、撮影シーン判別部111が、顔検出部117において顔が検出されており、かつ、そのサイズが所定の顔サイズ閾値より大きいか否かを判定する。条件が満たされる場合はステップS508へ進み、条件が満たされない場合はステップS503へ進む。
ステップS503では、撮影シーン判別部111が、画像をブロック(例えば、8×8ブロック)に分割し、ブロック毎の色差信号(R−Y,B−Y)の平均値を算出する。
次に、ステップS504では、撮影シーン判別部111が、各画像ブロックを、その画像信号に基づいて夕日色、青空色、夜景、その他のブロックの4種類に分類する。
以下、ブロックの分類方法を説明する。
夕日色ブロック、及び青空色ブロックは、その輝度信号、及び、色差信号が所定の範囲内の値であるか否かによって判定する。図6に色差平面上における、夕日色ブロックの定義域(SunsetArea)、青空色ブロックの定義域(SkyArea)を示した。例えば、各画像ブロックのうち、輝度信号が所定の輝度閾値以上であり、かつ、色差信号が図6のSunsetArea(SkyArea)に含まれるブロックは、夕日色ブロック(青空色ブロック)に分類される。
また、夜景ブロックは、各画素の輝度信号に基づいて判定する。具体的には、各ブロックのうち、その平均輝度が所定の輝度閾値以下であり、かつ、高輝度画素が所定の閾値以上の数含まれるブロックは、夜景ブロックに分類される。
また、上記のどの条件も満たさないブロックは、その他のブロックに分類される。
撮影シーン判別部111は、各ブロックを上述のように分類した後、種類毎にブロックの存在割合を算出する。具体的には、全ブロックのうち夕日色ブロックに分類されたブロックの割合を夕日色ブロック割合として算出する。同様にして、撮影シーン判別部111は、青空色ブロック割合、夜景ブロック割合を算出する。
次に、撮影シーン判別部111は、算出したブロック割合に基づいて撮影シーンの判別を行う。
まず、ステップS505では、撮影シーン判別部111が、夕日色ブロック割合を所定の夕日色ブロック割合閾値と比較する。夕日色ブロック割合が夕日色ブロック割合閾値より高い場合にはステップS509へ進み、低い場合にはステップS506へ進む。
ステップS506では、撮影シーン判別部111が、青空色ブロック割合を所定の青空色ブロック割合閾値と比較する。青空色ブロック割合が青空色ブロック割合閾値より高い場合にはステップS510へ進み、低い場合にはステップS507へ進む。
ステップS507では、撮影シーン判別部111が、夜景ブロック割合を所定の夜景ブロック割合閾値と比較する。夜景ブロック割合が所定の夜景ブロック割合閾値より高い場合にはステップS511へ進み、低い場合にはステップS512へ進む。
ステップS508では、撮影シーン判別部111が、現在の撮影シーンをポートレートと判別する。
ステップS509では、撮影シーン判別部111が、現在の撮影シーンを夕焼け空と判別する。
ステップS510では、撮影シーン判別部111が、現在の撮影シーンを青空と判別する。
ステップS511では、撮影シーン判別部111が、現在の撮影シーンを夜景と判別する。
ステップS512では、撮影シーン判別部111が、現在の撮影シーンを風景と判別する。
ステップS513では、撮影シーン判別部111が、撮影シーンの判別結果をカメラ制御部110へ出力する。
以上が、図3のステップS306で行われる撮影シーン判別処理である。
次に、図3のステップS305での、撮影シーン判別制御部112が行う撮影シーン判別閾値の算出方法について説明する。撮影シーン判別制御部112は、画像サーバ204より受信した撮影シーン判別補助情報に基づいて、撮影シーン判別に用いる閾値の値を算出し、撮影シーン判別部111に出力する。本実施形態では、撮影シーン判別補助情報として受信した撮影頻度の高い撮影シーンについて、対応する撮影シーン判別閾値を通常より低い値に設定する場合で説明する。
以下、図7のフローチャートを用いて、撮影シーン判別制御部112が行う処理の流れを説明する。
ステップS701では、撮影シーン判別制御部112が、予め設定された各撮影シーンに対する判別閾値の基準値を、不図示のメモリより読み出す。
ステップS702では、撮影シーン判別制御部112が、画像サーバ204より受信した撮影シーン判別補助情報の撮影シーンがポートレートであるか否かを判定する。ポートレートである場合はステップS706へ進み、そうでない場合はステップS703へ進む。
ステップS703では、撮影シーン判別制御部112が、撮影シーン判別補助情報の撮影シーンが夕焼け空であるか否かを判定する。夕焼け空である場合はステップS707へ進み、そうでない場合はステップS704へ進む。
ステップS704では、撮影シーン判別制御部112が、撮影シーン判別補助情報の撮影シーンが青空であるか否かを判定する。青空である場合はステップS708へ進み、そうでない場合はステップS705へ進む。
ステップS705では、撮影シーン判別制御部112が、撮影シーン判別補助情報の撮影シーンが夜景であるか否かを判定する。夜景である場合はステップS709へ進み、そうでない場合はステップS710へ進む。
ステップS706では、撮影シーン判別制御部112が、顔サイズ閾値を、ステップS701で読み出した基準値より所定の量だけ低い値に決定する。
ステップS707では、撮影シーン判別制御部112が、夕日色ブロック割合閾値を、ステップS701で読み出した基準値より所定の量だけ低い値に決定する。
ステップS708では、撮影シーン判別制御部112が、青空色ブロック割合閾値を、ステップS701で読み出した基準値より所定の量だけ低い値に決定する。
ステップS709では、撮影シーン判別制御部112が、夜景ブロック割合閾値を、ステップS701で読み出した基準値より所定の量だけ低い値に決定する。
ステップS710では、撮影シーン判別制御部112が、決定した各撮影シーンの撮影シーン判別閾値を撮影シーン判別部111へ出力する。
したがって、撮影シーン判別補助情報の撮影シーンに対応する撮影シーン判別閾値は、基準値より所定の量だけ低い値が、それ以外の撮影シーン判別閾値は基準値が、撮影シーン判別部111へ出力されることとなる。
以上、説明したように、本発明では、画像信号に基づいて撮影シーンを判別する撮像装置において、外部データベースから撮影シーン判別に用いる補助情報を取得し、その補助情報に基づいて撮影シーン判別処理を制御した。具体的には、撮影場所、撮影時間帯が一致、または近い状況において撮影頻度の高い撮影シーンに対する撮影シーン判別閾値を低い値に設定した。これにより、撮影頻度の高い、すなわち評価の高い撮影シーンは、撮影シーン判別結果として選択されやすくなり、撮影シーンの判別精度をより向上させることが可能となる。
また、外部データベース中の参照画像の撮影シーンを、そのまま現在の撮影シーンとして使用する方法では、入力画像と合致する参照画像が存在しない場合に撮影シーンの判別が適切に行えないという問題があった。これに対し、本実施形態の方法では、外部から取得した情報を補助的に用いながら、入力画像信号の特徴を解析して撮影シーンを判別する。これにより、入力画像と合致する参照画像が存在しない場合でも、撮影シーンの判別を適切に行うことが可能となる。
なお、上記実施形態では、撮影シーンをポートレート、夕焼け空、青空、夜景、風景の5種類とする場合で説明したが、本発明は撮影シーンの内容をこれに限定するものではない。すなわち、画像信号の特徴に基づき、撮影シーンや被写体の種類を判別するものであれば、どのような撮影シーンに対する判別を行っても構わない。例えば、画像信号の彩度の高い領域の面積などを特徴量として、撮影シーンがあざやかなシーンであるか否かを判別するようにしても良い。この場合、上記実施形態の場合と同様にして、撮影頻度の高い撮影シーンがあざやかなシーンである場合に、あざやかなシーンに対する判別閾値を低く設定するようにする。このように、様々な撮影シーンに対して、ユーザの知覚や意図にあったシーン判別を行うことが可能となる。
また、上記実施形態では、各撮影シーンの判別方法として、人物の顔の有無、及び、画像をブロックに分割し、分類した結果とに基づいて判別する場合で説明したが、本発明は撮影シーンの判別方法をこれに限定するものではない。すなわち、画像信号の特徴に基づき、撮影シーンを判別する方法であれば、どのような方法を用いても構わない。例えば、夕焼け空を判別する際に、画素単位で画像信号の分布を判定し、夕焼け空色の領域が画像全体に占める割合を算出するようにしても良い。この場合、夕焼け空色の領域の割合に対する閾値を、シーン判別補助情報に基づいて制御すれば良い。このように判別条件を追加することにより、撮影シーンの判別精度をより向上させることが可能となる。
また、上記実施形態では、カメラ情報として時間情報、位置情報を用いる場合で説明したが、本発明はカメラ情報の内容をこれに限定するものではない。すなわち、撮影時のカメラの状態(撮影条件)を表す情報であれば、どのようなものを用いても構わない。例えば、カメラの機種情報、撮影時の日付を表す日付情報、撮影方向を表す方位情報、撮影範囲を表す画角情報、撮影季節を表す季節情報、撮影場所の天候を表す天候情報などをカメラ情報に含めるようにしても良い。これにより、撮影シーン判別補助情報の抽出の精度を向上させることが可能となる。
また、上記実施形態では、撮影シーン判別処理、及び撮影シーン判別閾値の設定を画像プレビュー中に繰り返し行う場合で説明したが、本発明は、撮影シーン判別処理、及び撮影シーン判別閾値の設定を行うタイミングをこれに限定するものではない。例えば、ユーザがシャッタ釦107を操作し、SW1(108)をONにしたことを検知したタイミングで、撮影シーン判別処理、及び撮影シーン判別閾値の設定を開始するようにしても良い。これにより、撮影シーンの判別処理に関る撮像装置の処理負荷を低減することが可能となる。
また、上記実施形態では、撮影頻度の最も高い撮影シーンを、撮影シーン判別補助情報として用いる場合で説明したが、本発明は、撮影シーン判別補助情報の内容をこれに限定するものではない。例えば、撮影頻度の高いものから順に3種類の撮影シーンを抽出し、その情報を撮影シーン判別情報として用いるようにしても良い。この場合、抽出した3種類の撮影シーンに対応する撮影シーン判別閾値を通常より低い値に設定すれば良い。
また、上記実施形態では、撮影シーンに対する評価値として撮影頻度を用いる場合で説明したが、本発明は、撮影シーンの評価方法をこれに限定するものではない。例えば、画像撮影後に、撮影者が撮影シーン判別の結果が適切であったか否かを判断し、その結果を画像サーバ上で記録するようにしても良い。この場合、撮影者により適切であると判断された回数の最も多い撮影シーンを、評価の高い撮影シーンとみなし、撮影シーン判別補助情報として用いる。これにより、撮影者の意図や知覚をより適切に撮影シーン判別の制御に反映させることが可能となる。
また、上記実施形態では、撮影頻度の最も高い撮影シーンの判定処理を、画像サーバ上で行う場合で説明したが、本発明は、撮影シーン判別補助情報の生成方法をこれに限定するものではない。例えば、カメラ情報に対応した画像データの検索までを画像サーバ上で行い、抽出された画像データをカメラへ送信し、カメラ101のカメラ制御部110において撮影頻度の高い撮影シーンを判断するようにしても良い。これにより、画像サーバの処理負荷を低減することが可能となる。
また、上記実施形態では、撮影シーン判別結果に応じて、画像信号に対する補正処理を制御する場合で説明したが、本発明は、撮影シーン判別結果の出力方法をこれに限定するものではない。例えば、撮影シーン判別結果を表示部においてユーザに提示するようにしても良い。また、画像信号に対する補正処理の制御に、撮影シーン判別補助情報も用いるようにしても良い。具体的には、撮影シーン判別補助情報に応じて、画像信号に対する補正量を制御する。例えば、撮影シーン判別結果が、撮影シーン判別補助情報の撮影シーンと一致しない場合には、撮影シーンの誤判別の可能性がある。撮影シーンを誤判別している場合に、撮影シーン判別結果に従って画像信号を補正すると、撮影画像の画質を悪化させてしまう。これを防ぐために、撮影シーン判別結果が、撮影シーン判別補助情報の撮影シーンと一致しなかった場合は、一致した場合に比べて、画像信号に対する補正量を小さい値に設定するよう制御しても良い。これにより、撮影シーンの誤判別の可能性がある場合には撮影画像の画質が著しく悪化することを防ぐと共に、誤判別の可能性が低い場合には撮影シーンに最適な補正処理を行うことが可能となる。
また、上記実施形態では、撮影シーン判別処理の制御として、撮影頻度の高い撮影シーンの撮影シーン判別閾値を低く設定する場合で説明したが、本発明は撮影シーン判別処理の制御内容をこれに限定するものではない。例えば、撮影頻度の低い撮影シーンの撮影シーン判別閾値を基準値より高く設定するようにしてもよい。すなわち、撮影頻度の低い撮影シーンは、現在の撮影環境に適していない可能性があるので、撮影シーン判別結果として選択され難くする。これにより、撮影シーン判別結果が、撮影環境に対して適さない撮影シーンとなることを抑えることが可能となる。
また、撮影シーン間の優先順位を制御するようにしても良い。具体的には、撮影シーン間の優先度を予め設定しておき、1つでなく複数の撮影シーン判別条件が満たされた場合には、撮影シーン判別条件が満たされた撮影シーンの中で、最も優先度の高い撮影シーンを現在の撮影シーンとして選択する。この時、撮影シーン判別補助情報として受信した撮影シーンに対しては、その優先度を予め設定された優先度より高く設定するようにする。これにより、評価の高い撮影シーンが選択されやすくなり、ユーザの意図に合った撮影シーン判別を行うことが可能となる。
また、プレビュー中に順次、入力されるフレーム画像のそれぞれに対して撮影シーン判別処理を行い、それらの複数のフレーム画像に対する撮影シーン判別結果を総合して現在の撮影シーンを決定することとし、その場合の判別条件を制御するようにしても良い。例えば、所定のフレーム数に対して同一の撮影シーン判別結果が連続した場合にのみ現在の撮影シーンを特定するものとし、上述のフレーム数に対する条件を制御するようにしても良い。すなわち、撮影シーン判別補助情報として受信した撮影シーンを特定する際には、フレーム数に対する閾値を通常より低く設定するようにしても良い。これにより、評価の高い撮影シーンが選択されやすくなり、ユーザの意図に合った撮影シーン判別を行うことが可能となる。
[第2の実施形態]
第1の実施形態では、評価の高い撮影シーンの情報を、撮影シーン判別補助情報として外部の画像サーバから取得する場合について説明した。
以下、本発明の第2の実施形態として、カメラ設定パラメータ(撮像制御パラメータ)から撮影シーン判別補助情報を生成する場合について説明する。
本実施形態の撮影システム、及び撮像装置の構成はそれぞれ図2、図1に示した第1の実施形態の場合と同様であるため、ここでは詳しい説明は省略する。
次に、第2の実施形態に関る撮像装置の処理動作について説明する。図8に、本実施形態における撮影シーン判別処理に関る処理動作の流れを示すフローチャートを示した。図3に示した第1の実施形態の場合と比べて、ステップS805での高評価撮影シーンの判別処理が追加されている。
ステップS801、S802における一連の処理は、図3のステップS301、S302に示した第1の実施形態の場合と同様であるため、ここでは説明は省略する。
ステップS803では、ステップS303と同様にして、画像サーバ204の画像DB検索部207が、受信したカメラ情報に対応する撮影シーン判別補助情報の検索を行う。
図9(a)に、画像DB206に記録されている画像データの形式の例を示した。図4に示した第1の実施形態の場合では、カメラ情報と撮影シーンの情報が対応付けられていたが、図9(a)に示した本実施形態の場合では、カメラ情報とカメラ設定パラメータとが対応付けられている。ここでのカメラ設定パラメータとは、参照画像を撮像した時点でカメラに設定されていたパラメータを指す。
画像DB検索部207は、カメラ101よりカメラ情報と、撮影シーン判別補助情報の検索要求を受信すると、画像DB206の中から、カメラ101より受信したカメラ情報に対応する画像データを検索する。具体的には、カメラ101より受信した位置情報、時間情報と一致、又は、近い位置情報、時間情報を持つ画像データを検索し、抽出する。画像DB検索部207は、抽出した画像データを画像サーバ制御部205へ出力する。
画像サーバ制御部205は、抽出された画像データに基づいて、カメラ101へ送信する撮影シーン判別補助情報を決定する。具体的には、抽出された画像データについて、使用頻度の高いカメラ設定パラメータを判定し、そのカメラ設定パラメータの評価情報をカメラ101へ送信する。すなわち、使用頻度の高いカメラ設定パラメータ(第1の撮像制御パラメータ)には、使用頻度の低いカメラ設定パラメータ(第2の撮像制御パラメータ)に比べて高い評価を与えて、カメラ設定パラメータの評価情報とする。例えば、図9(a)が、あるカメラ情報に基づいて抽出された画像データであるとすると、抽出された6件のデータのうち、ホワイトバランスの設定は太陽光モードで撮影された画像データが3件であり、最も使用頻度が高く、評価が高い。同様に、合焦位置については、遠方に設定された画像データが4件であり、最も使用頻度が高く評価高い。又は、使用頻度の高いカメラ設定パラメータの範囲を判定しても良い。例えば、露出時間については、1/250〜1/500の範囲が使用頻度が高く評価の高い範囲となっている。絞り値については、7.1〜8.0の範囲が使用頻度が高く評価の高い範囲となっている。このようにして抽出したカメラ設定パラメータの例を図9(b)に示した。
ステップS804では、画像サーバ制御部205が、決定した撮影シーン判別補助情報を、カメラ101へ送信する。
ステップS805では、撮影シーン判別制御部112が、撮影シーン判別補助情報として受信したカメラ設定パラメータに基づいて、評価の高い撮影シーンの推定を行う。このため、撮影シーン判別制御部112は、各撮影シーンについて、その撮影シーンに適したカメラ設定パラメータをカメラ制御部110より読み出す。読み出したカメラ設定パラメータの例を図9(c)に示した。次に、各撮影シーンの中から、図9(b)に示した使用頻度の高いカメラ設定パラメータと合致、又は近い値のカメラ設定パラメータを持つ撮影シーンを抽出する。例えば、図9(c)の場合であれば、夕焼け空、青空の2つの撮影シーンが、使用頻度の高いカメラ設定パラメータと合致している。このことから、撮影頻度が高い撮影シーンは、夕焼け空、又は青空であると判断することができる。
撮影シーン判別制御部112は、上述のように撮影頻度の高い撮影シーンを推定した後、その結果に基づいて、撮影シーン判別処理に用いる撮影シーン判別閾値を算出する。ここでの撮影シーン判別閾値の算出、及び、この後のステップS806〜S808における処理内容は、図3のステップS305〜S307に示した第1の実施形態の場合と同様であるため、ここではその詳細な説明は省略する。
以上、説明したように、本発明では、画像信号に基づいて撮影シーンを判別する撮像装置において、外部データベースから撮影シーン判別に用いる補助情報を取得し、その補助情報に基づいて撮影シーン判別処理を制御した。特に本実施形態では、撮影シーン判別補助情報として、使用頻度の高いカメラ設定パラメータの情報を受信し、その情報に基づいて評価の高い撮影シーンを推定し、撮影シーン判別の制御に用いるようにした。これにより、外部データベースに蓄積された情報に、撮影シーン(撮影モード)の情報が含まれない場合でも、精度の良い撮影シーン判別を行うことが可能となる。
[第3の実施形態]
第1、第2の実施形態では、画像プレビュー中に、撮影シーン判別処理の制御を繰り返し行う場合について説明した。以下、本発明の第3の実施形態として、外部の画像サーバへの撮影シーン判別補助情報の問い合わせを行うか否かを判断する場合について説明する。
本実施形態の撮影システム、及び撮像装置の構成はそれぞれ図2、図1に示した第1の実施形態の場合と同様であるため、ここでは説明は省略する。
次に、第3の実施形態に関る撮像装置の処理動作について説明する。
図10に、本実施形態における撮影シーン判別処理に関る処理動作の流れを示すフローチャートを示した。これら一連の動作はカメラ制御部110の制御に従って、画像プレビュー中に繰り返し実行される。
まず、ステップS1001では、撮影シーン判別制御部112が、予め設定された各撮影シーンに対する判別閾値の基準値を、不図示のメモリより読み出し、撮影シーン判別部111へ出力する。
ステップS1002では、撮影シーン判別部111が、入力された撮影シーン判別閾値を用いて、撮影シーン判別処理を行う。ここでの判別処理の内容は、図5で説明した第1の実施形態の場合と同様であるため、ここではその詳細な説明は省略する。
ステップS1003では、撮影シーン判別部111が、撮影シーン判別の信頼度を表す撮影シーン判別信頼度を算出し、カメラ制御部110へ出力する。撮影シーン判別信頼度の算出方法は後述する。
ステップS1004では、カメラ制御部110が、算出された撮影シーン判別信頼度と予め設定された撮影シーン判別信頼度閾値とを比較する。撮影シーン判別信頼度が閾値より高い場合はステップS1005へ進み、低い場合はステップS1006へ進む。
ステップS1005では、図3のステップS307と同様にして、カメラ制御部110が撮影シーン判別結果に応じた画像信号に対する補正処理を実行するようカメラ101の各部へ指示する。
ステップS1006〜S1010では、カメラ101が、画像サーバより撮影シーン判別補助情報を取得し、撮影シーン判別の制御を実行する。ここでの一連の処理動作は、図3のステップS301〜S305における一連の処理動作と同様であるため、ここではその詳細な説明は省略する。
この後、ステップS1002へ戻り、それ以降の一連の処理動作を繰り返し実行する。したがって、2回目以降の撮影シーン判別処理においては、撮影シーン判別補助情報に基づいて決定された撮影シーン判別閾値が用いられる。
次に、撮影シーン判別部111による撮影シーン判別に対する信頼度の算出方法について説明する。本実施形態では、画像の特徴量と撮影シーン判別閾値との比較に基づいて撮影シーン判別信頼度を算出する。例えば、撮影シーン判別結果が夕焼け空である場合に、夕日色ブロックが画像全体を占めているならば、撮影シーン判別への信頼度は高いと考えられる。他の撮影シーンについても同様に考え、信頼度を以下の式で定義する。
信頼度(夕焼け空) = 夕日色ブロック割合 ― 夕日色ブロック割合閾値
信頼度(青空)= 青空色ブロック割合 ― 青空色ブロック割合閾値
信頼度(夜景)= 夜景ブロック割合 ― 夜景ブロック割合閾値
信頼度(ポートレート)= 主顔サイズ ― 顔サイズ閾値
撮影シーン判別部111は、上述の式を用いて、ステップS1002で選択された撮影シーンに対する信頼度を算出し、カメラ制御部110へ出力する。
以上、説明したように、本発明では、画像信号に基づいて撮影シーンを判別する撮像装置において、外部データベースから撮影シーン判別に用いる補助情報を取得し、その補助情報に基づいて撮影シーン判別処理を制御した。加えて本実施形態では、撮影シーン判別の信頼度を算出し、信頼度が所定の閾値より低い場合にのみ、外部サーバとの通信や撮影シーン判別処理の制御を実行するようにした。これにより、外部サーバや撮像装置の処理負荷を低減することが可能となる。
なお、本実施形態では、撮影シーン判別に対する信頼度の算出方法を、ブロック割合に基づいて行う場合で説明したが、本発明は信頼度の算出方法をこれに限定するものではない。すなわち、画像の特徴に応じて行う撮影シーン判別処理の信頼度を評価するものであればどのようなものを用いても構わない。例えば、ある撮影シーンを判別する際に、複数個の判別条件を用いている場合には、条件が満たされた判別条件の個数に応じて信頼度を算出するようにしても良い。この場合、条件が満たされる判別条件の数が多いほど、信頼度を高く算出する。
又は、複数種類の被写体や複数種類の撮影シーンの特徴が検出された場合に、撮影シーン判別信頼度を低く算出するようにしてもよい。例えば、撮影シーン判別結果が夕焼け空である場合に、同時に青空色ブロックも存在する場合や、顔サイズ閾値より小さい人物の顔が検出された場合には、撮影シーン判別結果を夕焼け空と判別したことへの信頼度は低いと考えられる。したがって、上述の条件が満たされる場合に、信頼度を低く算出するようにしても良い。これにより、撮影シーン判別に対する信頼度の算出をより精度良く行うことが可能となる。
(他の実施形態)
本発明の目的は以下のようにしても達成できる。すなわち、前述した各実施形態の機能を実現するための手順が記述されたソフトウェアのプログラムコードを記録した記憶媒体を、システムまたは装置に供給する。そしてそのシステムまたは装置のコンピュータ(またはCPU、MPU等)が記憶媒体に格納されたプログラムコードを読み出して実行するのである。
この場合、記憶媒体から読み出されたプログラムコード自体が本発明の新規な機能を実現することになり、そのプログラムコードを記憶した記憶媒体およびプログラムは本発明を構成することになる。
また、プログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスクなどが挙げられる。また、CD−ROM、CD−R、CD−RW、DVD−ROM、DVD−RAM、DVD−RW、DVD−R、磁気テープ、不揮発性のメモリカード、ROM等も用いることができる。
また、コンピュータが読み出したプログラムコードを実行可能とすることにより、前述した各実施形態の機能が実現される。さらに、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているOS(オペレーティングシステム)等が実際の処理の一部または全部を行い、その処理によって前述した各実施形態の機能が実現される場合も含まれる。
更に、以下の場合も含まれる。まず記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。その後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるCPU等が実際の処理の一部または全部を行う。
101 カメラ
102 撮像光学系
103 撮像素子
104 画像信号生成部
105 画像信号補正部
110 カメラ制御部
111 撮影シーン判別部
112 撮影シーン判別制御部
115 GPSセンサ撮影情報
116 通信部

Claims (18)

  1. 被写体像を撮像し、画像データを出力する撮像手段と、前記画像データに基づいて前記撮像手段から出力される画像データの撮影シーンを判別する判別処理を行う判別手段と、を備えた撮像装置であって、
    前記撮像装置の位置情報を含む、前記画像データの撮影条件に関する撮影情報を取得する取得手段と、
    前記撮影情報を外部装置に送信し、前記撮影情報に対応する前記画像データの撮影シーンの判別を補助する補助情報を、前記外部装置から受信する通信手段と、を備え、
    前記判別手段は、前記通信手段により受信した前記補助情報に基づいて、前記判別処理を行うことを特徴とする撮像装置。
  2. 前記撮影情報は、前記画像データの撮影場所を表す位置情報を含むことを特徴とする請求項1に記載の撮像装置。
  3. 前記撮影情報は、前記撮像装置による画像データの撮影方向を表す方位情報、撮影された日付を表す日付情報、撮影された時間を表す時間情報、撮影範囲を表す画角情報のうち少なくとも1つを含むことを特徴とする請求項1または2に記載の撮像装置。
  4. 前記補助情報は、前記撮影情報に対応する撮影シーンの評価情報を含むことを特徴とする請求項1乃至3のいずれか1つに記載の撮像装置。
  5. 前記撮影シーンの評価情報とは、前記外部装置に記憶されている前記撮影情報に対応する複数のデータに基づいて、前記撮影情報の規定する条件の下で撮影されている頻度が高い第1の撮影シーンに、前記第1の撮影シーンより撮影されている頻度の低い第2の撮影シーンよりも高い評価が与えられているような情報であることを特徴とする請求項4に記載の撮像装置。
  6. 前記補助情報は、前記撮影情報に対応する前記撮像手段の撮像制御パラメータの評価情報を含むことを特徴とする請求項1乃至5のいずれか1つに記載の撮像装置。
  7. 前記撮像制御パラメータの評価情報とは、前記撮影情報の規定する条件の下で撮影されている頻度が高い第1の撮像制御パラメータに、前記第1の撮像制御パラメータより撮影されている頻度の低い第2の撮像制御パラメータよりも高い評価が与えられるような情報であることを特徴とする請求項6に記載の撮像装置。
  8. 前記判別手段は、前記撮影シーンの評価情報で評価の高い撮影シーンが選択されやすくなるよう前記判別処理の判別条件を補正することを特徴とする請求項4または5に記載の撮像装置。
  9. 前記判別手段は、前記画像データから画像特徴量を算出し、当該画像特徴量と所定の判別閾値とを比較して前記画像データの撮影シーンを判別する際に、前記補助情報で評価の高い撮影シーンが選択されやすくなるように、当該評価の高い撮影シーンに対応する判別閾値あるいは画像特徴量を補正することを特徴とする請求項1乃至8のいずれか1つに記載の撮像装置。
  10. 前記判別手段は、予め設定された撮影シーンの優先度に基づき撮影シーンを判別し、
    前記制御手段は、前記補助情報で評価の高い撮影シーンが選択されやすくなるように、当該評価の高い撮影シーンに対応する撮影シーンの優先度を上げることを特徴とする請求項1乃至8のいずれか1つに記載の撮像装置。
  11. 前記判別手段は、前記判別処理での判別結果に対する信頼度を算出し、
    前記通信手段は、前記信頼度が所定の信頼度閾値より低い場合に、前記外部装置と通信を行い、前記補助情報を取得することを特徴とする請求項1乃至10のいずれか1つに記載の撮像装置。
  12. 前記判別手段の判別結果に応じて前記画像データを補正する補正手段を備え、
    前記補正手段による前記画像データへの補正量は、前記補助情報に基づいて決定されることを特徴とする請求項1乃至7のいずれか1つに記載の撮像装置。
  13. 撮像装置と情報処理装置からなる撮像システムであって、
    被写体を撮像し、画像データを取得する撮像手段と、
    前記画像データに基づいて、前記画像データの撮影シーンを判別する判別処理を行う判別手段と、
    前記撮像装置の位置情報を含む、前記画像データの撮影条件に関する撮影情報を取得する取得手段と、
    前記撮像装置と前記情報処理装置との間の通信を行う通信手段と、
    前記撮影情報と対応付けが可能な複数のデータを記憶する記憶手段と、
    前記記憶手段に記憶された前記複数のデータと前記撮影情報とに基づいて、前記撮影情報に対応する撮影シーンの判別を補助する補助情報を生成する生成手段と、を備え、
    前記判別手段は、前記生成手段により生成された前記補助情報に基づいて、前記判別処理を行うことを特徴とする撮像システム。
  14. 前記複数のデータはそれぞれが、撮影場所を表す位置情報、及び撮影時刻を表す時間情報と撮影シーンが関連付けられて記憶されているデータであることを特徴とする請求項12に記載の撮像システム。
  15. 前記複数のデータはそれぞれが、画像データ、当該画像データが撮影された場所を表す位置情報、撮影時刻を表す時間情報、及び当該画像データの撮影時に判定された撮影シーンが関連付けられて記憶されているデータであることを特徴とする請求項12に記載の撮像システム。
  16. 被写体像を撮像し、画像データを出力する撮像手段と、前記画像データに基づいて前記撮像手段から出力される画像データの撮影シーンを判別する判別処理を行う判別手段と、を備えた撮像装置の制御方法であって、
    前記撮像装置の位置情報を含む、前記画像データの撮影条件に関する撮影情報を取得する取得ステップと、
    前記撮影情報を外部装置に送信し、前記撮影情報に対応する前記画像データの撮影シーンの判別を補助する補助情報を、前記外部装置から受信する通信ステップと、を備え、
    前記判別手段は、前記通信ステップにて受信した前記補助情報に基づいて、前記判別処理を行うことを特徴とする撮像装置の制御方法。
  17. 請求項16に記載の撮像装置の制御方法の手順が記述されたコンピュータで実行可能なプログラム。
  18. 請求項16に記載の撮像装置の制御方法の手順が記述されたプログラムが記憶されたコンピュータが読み取り可能な記憶媒体。
JP2010247859A 2010-11-04 2010-11-04 撮像装置、撮像システム、及び撮像装置の制御方法 Expired - Fee Related JP5733952B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2010247859A JP5733952B2 (ja) 2010-11-04 2010-11-04 撮像装置、撮像システム、及び撮像装置の制御方法
US13/280,620 US9225855B2 (en) 2010-11-04 2011-10-25 Imaging apparatus, imaging system, and control method for increasing accuracy when determining an imaging scene based on input image data and information stored in an external information processing apparatus
CN201110346288.4A CN102457665B (zh) 2010-11-04 2011-11-04 摄像设备、摄像***和摄像设备的控制方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010247859A JP5733952B2 (ja) 2010-11-04 2010-11-04 撮像装置、撮像システム、及び撮像装置の制御方法

Publications (2)

Publication Number Publication Date
JP2012100173A true JP2012100173A (ja) 2012-05-24
JP5733952B2 JP5733952B2 (ja) 2015-06-10

Family

ID=46019286

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010247859A Expired - Fee Related JP5733952B2 (ja) 2010-11-04 2010-11-04 撮像装置、撮像システム、及び撮像装置の制御方法

Country Status (3)

Country Link
US (1) US9225855B2 (ja)
JP (1) JP5733952B2 (ja)
CN (1) CN102457665B (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140023705A (ko) * 2012-08-17 2014-02-27 삼성전자주식회사 단말의 촬영 제어 방법 및 그 단말
US10303983B2 (en) 2015-06-05 2019-05-28 Canon Kabushiki Kaisha Image recognition apparatus, image recognition method, and recording medium

Families Citing this family (154)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8554868B2 (en) 2007-01-05 2013-10-08 Yahoo! Inc. Simultaneous sharing communication interface
IL306019A (en) 2011-07-12 2023-11-01 Snap Inc Methods and systems for delivering editing functions to visual content
CN103188423A (zh) * 2011-12-27 2013-07-03 富泰华工业(深圳)有限公司 摄像装置及摄像方法
US11734712B2 (en) 2012-02-24 2023-08-22 Foursquare Labs, Inc. Attributing in-store visits to media consumption based on data collected from user devices
US8972357B2 (en) 2012-02-24 2015-03-03 Placed, Inc. System and method for data collection to validate location data
US10155168B2 (en) 2012-05-08 2018-12-18 Snap Inc. System and method for adaptable avatars
WO2014031899A1 (en) 2012-08-22 2014-02-27 Goldrun Corporation Augmented reality virtual content platform apparatuses, methods and systems
US8775972B2 (en) 2012-11-08 2014-07-08 Snapchat, Inc. Apparatus and method for single action control of social network profile access
TWI504253B (zh) 2013-01-10 2015-10-11 Realtek Semiconductor Corp 使用場景偵測之白平衡調整方法及其裝置
CN103929631B (zh) * 2013-01-15 2016-12-28 瑞昱半导体股份有限公司 使用场景检测的白平衡调整方法及其装置
CN103945088B (zh) * 2013-01-21 2017-06-27 华为终端有限公司 场景识别方法及装置
US10439972B1 (en) 2013-05-30 2019-10-08 Snap Inc. Apparatus and method for maintaining a message thread with opt-in permanence for entries
US9742713B2 (en) 2013-05-30 2017-08-22 Snap Inc. Apparatus and method for maintaining a message thread with opt-in permanence for entries
US9705831B2 (en) 2013-05-30 2017-07-11 Snap Inc. Apparatus and method for maintaining a message thread with opt-in permanence for entries
CN104284074B (zh) * 2013-07-04 2019-12-24 联想(北京)有限公司 成像方法和成像设备
US20150085145A1 (en) * 2013-09-20 2015-03-26 Nvidia Corporation Multiple image capture and processing
US9083770B1 (en) 2013-11-26 2015-07-14 Snapchat, Inc. Method and system for integrating real time communication features in applications
US9402018B2 (en) * 2013-12-17 2016-07-26 Amazon Technologies, Inc. Distributing processing for imaging processing
CA2863124A1 (en) 2014-01-03 2015-07-03 Investel Capital Corporation User content sharing system and method with automated external content integration
US9628950B1 (en) 2014-01-12 2017-04-18 Investment Asset Holdings Llc Location-based messaging
US10082926B1 (en) 2014-02-21 2018-09-25 Snap Inc. Apparatus and method for alternate channel communication initiated through a common message thread
US8909725B1 (en) 2014-03-07 2014-12-09 Snapchat, Inc. Content delivery network for ephemeral objects
US9276886B1 (en) 2014-05-09 2016-03-01 Snapchat, Inc. Apparatus and method for dynamically configuring application component tiles
US9396354B1 (en) 2014-05-28 2016-07-19 Snapchat, Inc. Apparatus and method for automated privacy protection in distributed images
US9537811B2 (en) 2014-10-02 2017-01-03 Snap Inc. Ephemeral gallery of ephemeral messages
US11625443B2 (en) 2014-06-05 2023-04-11 Snap Inc. Web document enhancement
US9113301B1 (en) 2014-06-13 2015-08-18 Snapchat, Inc. Geo-location based event gallery
US9225897B1 (en) 2014-07-07 2015-12-29 Snapchat, Inc. Apparatus and method for supplying content aware photo filters
US10055717B1 (en) 2014-08-22 2018-08-21 Snap Inc. Message processor with application prompts
US10423983B2 (en) 2014-09-16 2019-09-24 Snap Inc. Determining targeting information based on a predictive targeting model
US10824654B2 (en) 2014-09-18 2020-11-03 Snap Inc. Geolocation-based pictographs
US11216869B2 (en) 2014-09-23 2022-01-04 Snap Inc. User interface to augment an image using geolocation
US10284508B1 (en) 2014-10-02 2019-05-07 Snap Inc. Ephemeral gallery of ephemeral messages with opt-in permanence
US9015285B1 (en) 2014-11-12 2015-04-21 Snapchat, Inc. User interface for accessing media at a geographic location
US9854219B2 (en) 2014-12-19 2017-12-26 Snap Inc. Gallery of videos set to an audio time line
US9385983B1 (en) 2014-12-19 2016-07-05 Snapchat, Inc. Gallery of messages from individuals with a shared interest
US10311916B2 (en) 2014-12-19 2019-06-04 Snap Inc. Gallery of videos set to an audio time line
US9754355B2 (en) 2015-01-09 2017-09-05 Snap Inc. Object recognition based photo filters
US11388226B1 (en) 2015-01-13 2022-07-12 Snap Inc. Guided personal identity based actions
US10133705B1 (en) 2015-01-19 2018-11-20 Snap Inc. Multichannel system
US9521515B2 (en) 2015-01-26 2016-12-13 Mobli Technologies 2010 Ltd. Content request by location
US10223397B1 (en) 2015-03-13 2019-03-05 Snap Inc. Social graph based co-location of network users
EP3272078B1 (en) 2015-03-18 2022-01-19 Snap Inc. Geo-fence authorization provisioning
US9692967B1 (en) 2015-03-23 2017-06-27 Snap Inc. Systems and methods for reducing boot time and power consumption in camera systems
US10135949B1 (en) 2015-05-05 2018-11-20 Snap Inc. Systems and methods for story and sub-story navigation
US9881094B2 (en) 2015-05-05 2018-01-30 Snap Inc. Systems and methods for automated local story generation and curation
CN105827902B (zh) * 2015-06-19 2019-01-11 维沃移动通信有限公司 一种夜景检测方法及终端
US10993069B2 (en) 2015-07-16 2021-04-27 Snap Inc. Dynamically adaptive media content delivery
US10817898B2 (en) 2015-08-13 2020-10-27 Placed, Llc Determining exposures to content presented by physical objects
US10484598B2 (en) 2015-08-20 2019-11-19 Sony Corporation System and method for controlling capture of images
US9652896B1 (en) 2015-10-30 2017-05-16 Snap Inc. Image based tracking in augmented reality systems
US10474321B2 (en) 2015-11-30 2019-11-12 Snap Inc. Network resource location linking and visual content sharing
US9984499B1 (en) 2015-11-30 2018-05-29 Snap Inc. Image and point cloud based tracking and in augmented reality systems
US10354425B2 (en) 2015-12-18 2019-07-16 Snap Inc. Method and system for providing context relevant media augmentation
US11023514B2 (en) 2016-02-26 2021-06-01 Snap Inc. Methods and systems for generation, curation, and presentation of media collections
US10285001B2 (en) 2016-02-26 2019-05-07 Snap Inc. Generation, curation, and presentation of media collections
US10679389B2 (en) 2016-02-26 2020-06-09 Snap Inc. Methods and systems for generation, curation, and presentation of media collections
US10339365B2 (en) 2016-03-31 2019-07-02 Snap Inc. Automated avatar generation
US11900418B2 (en) 2016-04-04 2024-02-13 Snap Inc. Mutable geo-fencing system
US10334134B1 (en) 2016-06-20 2019-06-25 Maximillian John Suiter Augmented real estate with location and chattel tagging system and apparatus for virtual diary, scrapbooking, game play, messaging, canvasing, advertising and social interaction
US11785161B1 (en) 2016-06-20 2023-10-10 Pipbin, Inc. System for user accessibility of tagged curated augmented reality content
US10805696B1 (en) 2016-06-20 2020-10-13 Pipbin, Inc. System for recording and targeting tagged content of user interest
US11876941B1 (en) 2016-06-20 2024-01-16 Pipbin, Inc. Clickable augmented reality content manager, system, and network
US11044393B1 (en) 2016-06-20 2021-06-22 Pipbin, Inc. System for curation and display of location-dependent augmented reality content in an augmented estate system
US10638256B1 (en) 2016-06-20 2020-04-28 Pipbin, Inc. System for distribution and display of mobile targeted augmented reality content
US11201981B1 (en) 2016-06-20 2021-12-14 Pipbin, Inc. System for notification of user accessibility of curated location-dependent content in an augmented estate
US9681265B1 (en) 2016-06-28 2017-06-13 Snap Inc. System to track engagement of media items
US10430838B1 (en) 2016-06-28 2019-10-01 Snap Inc. Methods and systems for generation, curation, and presentation of media collections with automated advertising
US10387514B1 (en) 2016-06-30 2019-08-20 Snap Inc. Automated content curation and communication
US10348662B2 (en) 2016-07-19 2019-07-09 Snap Inc. Generating customized electronic messaging graphics
KR102420857B1 (ko) 2016-08-30 2022-07-15 스냅 인코포레이티드 동시 로컬화 및 매핑을 위한 시스템 및 방법
US10432559B2 (en) 2016-10-24 2019-10-01 Snap Inc. Generating and displaying customized avatars in electronic messages
KR102257909B1 (ko) 2016-11-07 2021-05-28 스냅 인코포레이티드 이미지 변경자들의 선택적 식별 및 순서화
US10203855B2 (en) 2016-12-09 2019-02-12 Snap Inc. Customized user-controlled media overlays
US11616745B2 (en) 2017-01-09 2023-03-28 Snap Inc. Contextual generation and selection of customized media content
US10454857B1 (en) 2017-01-23 2019-10-22 Snap Inc. Customized digital avatar accessories
US10915911B2 (en) 2017-02-03 2021-02-09 Snap Inc. System to determine a price-schedule to distribute media content
US10319149B1 (en) 2017-02-17 2019-06-11 Snap Inc. Augmented reality anamorphosis system
US11250075B1 (en) 2017-02-17 2022-02-15 Snap Inc. Searching social media content
US10074381B1 (en) 2017-02-20 2018-09-11 Snap Inc. Augmented reality speech balloon system
US10565795B2 (en) 2017-03-06 2020-02-18 Snap Inc. Virtual vision system
US10523625B1 (en) 2017-03-09 2019-12-31 Snap Inc. Restricted group content collection
US10582277B2 (en) 2017-03-27 2020-03-03 Snap Inc. Generating a stitched data stream
US10581782B2 (en) 2017-03-27 2020-03-03 Snap Inc. Generating a stitched data stream
US11170393B1 (en) 2017-04-11 2021-11-09 Snap Inc. System to calculate an engagement score of location based media content
US10387730B1 (en) 2017-04-20 2019-08-20 Snap Inc. Augmented reality typography personalization system
US11893647B2 (en) 2017-04-27 2024-02-06 Snap Inc. Location-based virtual avatars
US11409407B2 (en) 2017-04-27 2022-08-09 Snap Inc. Map-based graphical user interface indicating geospatial activity metrics
US10212541B1 (en) 2017-04-27 2019-02-19 Snap Inc. Selective location-based identity communication
US10467147B1 (en) 2017-04-28 2019-11-05 Snap Inc. Precaching unlockable data elements
US10803120B1 (en) 2017-05-31 2020-10-13 Snap Inc. Geolocation based playlists
CN109151426B (zh) 2017-06-28 2020-05-22 杭州海康威视数字技术股份有限公司 一种白平衡调整方法、装置、相机及介质
JP7024239B2 (ja) * 2017-07-25 2022-02-24 オムロン株式会社 画像処理システム、画像処理装置および画像処理プログラム
US11475254B1 (en) 2017-09-08 2022-10-18 Snap Inc. Multimodal entity identification
US10740974B1 (en) 2017-09-15 2020-08-11 Snap Inc. Augmented reality system
US10499191B1 (en) 2017-10-09 2019-12-03 Snap Inc. Context sensitive presentation of content
US10425593B2 (en) * 2017-10-19 2019-09-24 Paypal, Inc. Digital image filtering and post-capture processing using user specific data
US10573043B2 (en) 2017-10-30 2020-02-25 Snap Inc. Mobile-based cartographic control of display content
US11265273B1 (en) 2017-12-01 2022-03-01 Snap, Inc. Dynamic media overlay with smart widget
US11017173B1 (en) 2017-12-22 2021-05-25 Snap Inc. Named entity recognition visual context and caption data
US10678818B2 (en) 2018-01-03 2020-06-09 Snap Inc. Tag distribution visualization system
US11507614B1 (en) 2018-02-13 2022-11-22 Snap Inc. Icon based tagging
US10979752B1 (en) 2018-02-28 2021-04-13 Snap Inc. Generating media content items based on location information
US10885136B1 (en) 2018-02-28 2021-01-05 Snap Inc. Audience filtering system
US10327096B1 (en) 2018-03-06 2019-06-18 Snap Inc. Geo-fence selection system
EP3766028A1 (en) 2018-03-14 2021-01-20 Snap Inc. Generating collectible items based on location information
US11163941B1 (en) 2018-03-30 2021-11-02 Snap Inc. Annotating a collection of media content items
US10219111B1 (en) 2018-04-18 2019-02-26 Snap Inc. Visitation tracking system
US10896197B1 (en) 2018-05-22 2021-01-19 Snap Inc. Event detection system
CN108848306B (zh) * 2018-06-25 2021-03-02 Oppo广东移动通信有限公司 图像处理方法和装置、电子设备、计算机可读存储介质
US10679393B2 (en) 2018-07-24 2020-06-09 Snap Inc. Conditional modification of augmented reality object
US10997760B2 (en) 2018-08-31 2021-05-04 Snap Inc. Augmented reality anthropomorphization system
US10698583B2 (en) 2018-09-28 2020-06-30 Snap Inc. Collaborative achievement interface
US10778623B1 (en) 2018-10-31 2020-09-15 Snap Inc. Messaging and gaming applications communication platform
US11199957B1 (en) 2018-11-30 2021-12-14 Snap Inc. Generating customized avatars based on location information
US10939236B1 (en) 2018-11-30 2021-03-02 Snap Inc. Position service to determine relative position to map features
US11032670B1 (en) 2019-01-14 2021-06-08 Snap Inc. Destination sharing in location sharing system
US10939246B1 (en) 2019-01-16 2021-03-02 Snap Inc. Location-based context information sharing in a messaging system
US11294936B1 (en) 2019-01-30 2022-04-05 Snap Inc. Adaptive spatial density based clustering
US11972529B2 (en) 2019-02-01 2024-04-30 Snap Inc. Augmented reality system
US10936066B1 (en) 2019-02-13 2021-03-02 Snap Inc. Sleep detection in a location sharing system
US10838599B2 (en) 2019-02-25 2020-11-17 Snap Inc. Custom media overlay system
US10964082B2 (en) 2019-02-26 2021-03-30 Snap Inc. Avatar based on weather
US10852918B1 (en) 2019-03-08 2020-12-01 Snap Inc. Contextual information in chat
US11868414B1 (en) 2019-03-14 2024-01-09 Snap Inc. Graph-based prediction for contact suggestion in a location sharing system
US11852554B1 (en) 2019-03-21 2023-12-26 Snap Inc. Barometer calibration in a location sharing system
US11249614B2 (en) 2019-03-28 2022-02-15 Snap Inc. Generating personalized map interface with enhanced icons
US10810782B1 (en) 2019-04-01 2020-10-20 Snap Inc. Semantic texture mapping system
US10560898B1 (en) 2019-05-30 2020-02-11 Snap Inc. Wearable device location systems
US10582453B1 (en) 2019-05-30 2020-03-03 Snap Inc. Wearable device location systems architecture
US10893385B1 (en) 2019-06-07 2021-01-12 Snap Inc. Detection of a physical collision between two client devices in a location sharing system
US11307747B2 (en) 2019-07-11 2022-04-19 Snap Inc. Edge gesture interface with smart interactions
US11821742B2 (en) 2019-09-26 2023-11-21 Snap Inc. Travel based notifications
US11218838B2 (en) 2019-10-31 2022-01-04 Snap Inc. Focused map-based context information surfacing
US10880496B1 (en) 2019-12-30 2020-12-29 Snap Inc. Including video feed in message thread
US11128715B1 (en) 2019-12-30 2021-09-21 Snap Inc. Physical friend proximity in chat
US11429618B2 (en) 2019-12-30 2022-08-30 Snap Inc. Surfacing augmented reality objects
US11343323B2 (en) 2019-12-31 2022-05-24 Snap Inc. Augmented reality objects registry
US11169658B2 (en) 2019-12-31 2021-11-09 Snap Inc. Combined map icon with action indicator
US11228551B1 (en) 2020-02-12 2022-01-18 Snap Inc. Multiple gateway message exchange
US11516167B2 (en) 2020-03-05 2022-11-29 Snap Inc. Storing data based on device location
US11619501B2 (en) 2020-03-11 2023-04-04 Snap Inc. Avatar based on trip
US10956743B1 (en) 2020-03-27 2021-03-23 Snap Inc. Shared augmented reality system
US11430091B2 (en) 2020-03-27 2022-08-30 Snap Inc. Location mapping for large scale augmented-reality
US11290851B2 (en) 2020-06-15 2022-03-29 Snap Inc. Location sharing using offline and online objects
US11314776B2 (en) 2020-06-15 2022-04-26 Snap Inc. Location sharing using friend list versions
US11503432B2 (en) 2020-06-15 2022-11-15 Snap Inc. Scalable real-time location sharing framework
US11483267B2 (en) 2020-06-15 2022-10-25 Snap Inc. Location sharing using different rate-limited links
US11308327B2 (en) 2020-06-29 2022-04-19 Snap Inc. Providing travel-based augmented reality content with a captured image
US11349797B2 (en) 2020-08-31 2022-05-31 Snap Inc. Co-location connection service
US11606756B2 (en) 2021-03-29 2023-03-14 Snap Inc. Scheduling requests for location data
US11645324B2 (en) 2021-03-31 2023-05-09 Snap Inc. Location-based timeline media content system
US11829834B2 (en) 2021-10-29 2023-11-28 Snap Inc. Extended QR code
US12001750B2 (en) 2022-04-20 2024-06-04 Snap Inc. Location-based shared augmented reality experience system

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004054201A (ja) * 2002-05-28 2004-02-19 Fuji Photo Film Co Ltd 撮影装置の制御装置、撮影装置及びプログラム
JP2004120277A (ja) * 2002-09-26 2004-04-15 Fuji Photo Film Co Ltd 電子カメラ
WO2006028109A1 (ja) * 2004-09-07 2006-03-16 Nec Corporation 撮影システム及びその撮影条件の設定方法と、それに用いられる端末及びサーバ
JP2008228086A (ja) * 2007-03-14 2008-09-25 Seiko Epson Corp 情報処理方法、情報処理装置及びプログラム
JP2010057168A (ja) * 2008-07-29 2010-03-11 Fujifilm Corp 撮像装置及び撮像方法

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5086314A (en) 1990-05-21 1992-02-04 Nikon Corporation Exposure control apparatus for camera
JP3468231B2 (ja) 2001-07-02 2003-11-17 ミノルタ株式会社 画像処理装置、画質制御方法、プログラム及び記録媒体
JP2003087815A (ja) 2001-09-06 2003-03-20 Canon Inc 画像処理装置、画像処理システム、画像処理方法、記憶媒体、及びプログラム
JP2003244709A (ja) 2002-02-19 2003-08-29 Fuji Photo Film Co Ltd デジタルカメラ
JP3920184B2 (ja) * 2002-09-26 2007-05-30 富士フイルム株式会社 画像補正処理装置及びプログラム
JP3912369B2 (ja) 2003-12-05 2007-05-09 セイコーエプソン株式会社 画像データに関連付けられた情報を用いた画像処理
WO2005065283A2 (en) * 2003-12-24 2005-07-21 Walker Digital, Llc Method and apparatus for automatically capturing and managing images
JP2005328271A (ja) 2004-05-13 2005-11-24 Canon Inc 撮像装置
US7929796B2 (en) * 2004-09-07 2011-04-19 Nec Corporation Image processing system and method, and terminal and server used for the same
JP5170961B2 (ja) * 2006-02-01 2013-03-27 ソニー株式会社 画像処理システム、画像処理装置および方法、プログラム、並びに記録媒体
EP2003611A2 (en) * 2006-03-31 2008-12-17 Olympus Corporation Information presentation system, information presentation terminal, and server
JP5076695B2 (ja) * 2006-09-29 2012-11-21 カシオ計算機株式会社 画像補正装置及び画像補正方法とプログラム
US7831141B2 (en) * 2007-03-29 2010-11-09 Sony Ericsson Mobile Communications Ab Mobile device with integrated photograph management system
WO2009013850A1 (ja) * 2007-07-23 2009-01-29 Panasonic Corporation 撮像装置
JP2009077157A (ja) 2007-09-20 2009-04-09 Fujifilm Corp 撮影制御方法、撮像装置、撮影意図判定装置、及び撮影システム
US20090175551A1 (en) * 2008-01-04 2009-07-09 Sony Ericsson Mobile Communications Ab Intelligent image enhancement
US8264585B2 (en) * 2008-01-31 2012-09-11 Panasonic Corporation Imaging apparatus capable of readily specifying undesirable photographing parameters form auto photographing parameters
EP2148499B1 (en) * 2008-07-25 2018-01-17 FUJIFILM Corporation Imaging apparatus and method
US8520979B2 (en) * 2008-08-19 2013-08-27 Digimarc Corporation Methods and systems for content processing
JP5159756B2 (ja) * 2009-12-25 2013-03-13 キヤノン株式会社 画像処理方法、画像処理装置、及び撮像装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004054201A (ja) * 2002-05-28 2004-02-19 Fuji Photo Film Co Ltd 撮影装置の制御装置、撮影装置及びプログラム
JP2004120277A (ja) * 2002-09-26 2004-04-15 Fuji Photo Film Co Ltd 電子カメラ
WO2006028109A1 (ja) * 2004-09-07 2006-03-16 Nec Corporation 撮影システム及びその撮影条件の設定方法と、それに用いられる端末及びサーバ
JP2008228086A (ja) * 2007-03-14 2008-09-25 Seiko Epson Corp 情報処理方法、情報処理装置及びプログラム
JP2010057168A (ja) * 2008-07-29 2010-03-11 Fujifilm Corp 撮像装置及び撮像方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140023705A (ko) * 2012-08-17 2014-02-27 삼성전자주식회사 단말의 촬영 제어 방법 및 그 단말
KR101977703B1 (ko) * 2012-08-17 2019-05-13 삼성전자 주식회사 단말의 촬영 제어 방법 및 그 단말
US10303983B2 (en) 2015-06-05 2019-05-28 Canon Kabushiki Kaisha Image recognition apparatus, image recognition method, and recording medium

Also Published As

Publication number Publication date
CN102457665A (zh) 2012-05-16
JP5733952B2 (ja) 2015-06-10
US9225855B2 (en) 2015-12-29
US20120113272A1 (en) 2012-05-10
CN102457665B (zh) 2015-08-05

Similar Documents

Publication Publication Date Title
JP5733952B2 (ja) 撮像装置、撮像システム、及び撮像装置の制御方法
US7761000B2 (en) Imaging device
US8106961B2 (en) Image processing method, apparatus and computer program product, and imaging apparatus, method and computer program product
US7893969B2 (en) System for and method of controlling a parameter used for detecting an objective body in an image and computer program
JP6521776B2 (ja) 画像処理装置、画像処理方法
JP2007020104A (ja) 撮像装置、撮影枚数管理方法及び撮影枚数管理プログラム
JP2009060195A (ja) 撮像装置および方法並びにプログラム
JP2006345254A (ja) 撮影装置及びその制御方法及びプログラム及び記憶媒体
JP2008236101A (ja) 撮像装置および撮像方法
US9055212B2 (en) Imaging system, image processing method, and image processing program recording medium using framing information to capture image actually intended by user
KR20090034748A (ko) 화상 처리 장치 및 화상 처리 방법
JP5361502B2 (ja) 焦点検出装置および方法、撮像装置
JP4842919B2 (ja) 表示装置、撮影装置、および表示方法
JP4807582B2 (ja) 画像処理装置、撮像装置及びそのプログラム
CN112514376B (zh) 图像处理装置、图像处理方法、记录介质和成像装置
JP2005086271A (ja) 電子カメラ
JP2012085228A (ja) 撮影条件設定装置、撮像装置、画像処理装置および撮影条件設定プログラム
JP2010124258A (ja) 撮像装置およびその制御方法
JP2016085248A (ja) 露出演算装置
JP4789776B2 (ja) 撮像装置及び撮像方法
JP2007201679A (ja) 撮像装置、画像処理方法、及び画像処理プログラム
JP5004876B2 (ja) 撮像装置
JP2009077175A (ja) 電子カメラ
JP2007243556A (ja) 撮像装置、画像処理方法及び画像処理プログラム
JP2017188854A (ja) 画像処理装置、画像処理装置の制御方法及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20131022

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20140509

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140610

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140731

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150317

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150414

R151 Written notification of patent or utility model registration

Ref document number: 5733952

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

LAPS Cancellation because of no payment of annual fees