JP2013183233A - 画像処理装置、画像処理方法、及びプログラム - Google Patents

画像処理装置、画像処理方法、及びプログラム Download PDF

Info

Publication number
JP2013183233A
JP2013183233A JP2012044754A JP2012044754A JP2013183233A JP 2013183233 A JP2013183233 A JP 2013183233A JP 2012044754 A JP2012044754 A JP 2012044754A JP 2012044754 A JP2012044754 A JP 2012044754A JP 2013183233 A JP2013183233 A JP 2013183233A
Authority
JP
Japan
Prior art keywords
interface
data
information
image data
imaging
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2012044754A
Other languages
English (en)
Other versions
JP5821699B2 (ja
Inventor
Tomohiro Asami
知弘 浅見
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
JVCKenwood Corp
Original Assignee
JVCKenwood Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by JVCKenwood Corp filed Critical JVCKenwood Corp
Priority to JP2012044754A priority Critical patent/JP5821699B2/ja
Priority to PCT/JP2013/053707 priority patent/WO2013129139A1/ja
Publication of JP2013183233A publication Critical patent/JP2013183233A/ja
Priority to US14/472,250 priority patent/US9509906B2/en
Application granted granted Critical
Publication of JP5821699B2 publication Critical patent/JP5821699B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/765Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H04N5/772Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera the recording apparatus and the television camera being placed in the same enclosure
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/62Control of parameters via user interfaces
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/91Television signal processing therefor
    • H04N5/92Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • H04N9/80Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Studio Devices (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

【課題】撮像状況に応じて撮像画像データにタグを入力するためのインターフェイス画像の変更を自動的に行うこと
【解決手段】撮像部100は、撮像画像データを取得する。メインメモリ206は、撮像画像データに付与するタグを指定させるための一つ以上のインターフェイスデータを記憶する。撮像状況情報取得部401は、撮像画像データの撮像状況に関する情報を取得する。インターフェイス特定部403は、撮像状況情報取得部401が取得した撮像状況に関する情報に基づいて、メインメモリ206が記憶したインターフェイスデータの中から少なくとも一つのインターフェイスデータを特定する。表示用画像生成部404は、インターフェイス特定部403が特定したインターフェイスデータからインターフェイス画像データを生成し、そのインターフェイス画像データと撮像画像データから表示用画像データを生成する。
【選択図】図3

Description

本発明は画像処理装置、画像処理方法、及びプログラムに関する。
ビデオカメラ等の撮像装置を用いて動画や静止画を撮像する場合に、ユーザが自動ないし手動で撮像画像データに対して、その撮像画像を識別したり検索したりするためのタグ(例えば撮像場所、撮像者、又は被写体等の情報)を付与する技術が知られている。これらのタグを用いることにより、ユーザは、撮像された画像データの整理や検索を容易に行うことができる。
例えば、特許文献1には、撮像装置の位置と地図データから導出される周辺キーワードを、撮像中の画像フレームにタグとして付与する技術が開示されている。特許文献2には、表示画面上に人物アイコン列とタグに関するジャンル別アイコン列を表示し、アイコンを選択することにより撮像中の画像にタグを容易に付与できるデジタルスチルカメラを開示している。
特開2010−21638号公報 特開2007−228608号公報
しかし、上記特許文献1に記載の撮像装置、ないし上記特許文献2に記載のデジタルスチルカメラでは、ユーザが撮像の状況等に応じて、多種多様なタグの中から、その撮像の状況等に適したものを容易に選択し、撮像画像データに付与することができないという問題がある。例えば、撮像するスポーツの種類(野球、サッカー、又はバスケットボール等)に応じて、ユーザが付与したいと考えるタグの種類や内容は異なると考えられる。しかし、上記特許文献1に記載の撮像装置、ないし上記特許文献2に記載のデジタルスチルカメラでは、これらスポーツの種類に応じたタグを多種多様なタグの中から容易に選択し付与することができない。
本発明は、上述の課題に鑑みてなされたものであり、撮像状況に応じて撮像画像データにタグを入力するためのインターフェイス画像の変更を自動的に行うことができる画像処理装置、画像処理方法、及びプログラムを提供することを目的とする。
そこで、本発明は、撮像画像データを取得する撮像画像データ取得部(撮像部100、通信I/F310、入出力I/F303)と、撮像画像データに付与するタグを指定させるための一つ以上のインターフェイスデータを記憶する記憶部(メインメモリ206または任意の記憶装置)と、前記撮像画像データの撮像状況に関する情報を取得する撮像状況情報取得部(401)と、前記撮像状況情報取得部(401)が取得した撮像状況に関する情報に基づいて、前記記憶部(メインメモリ206または任意の記憶装置)が記憶したインターフェイスデータの中から少なくとも一つのインターフェイスデータを特定するインターフェイス特定部(403)と、前記インターフェイス特定部(403)が特定したインターフェイスデータからインターフェイス画像データを生成し、そのインターフェイス画像データと前記撮像画像データから表示用画像データを生成する表示用画像生成部(404)とを備えることを特徴とする画像処理装置(撮像装置1)を提供する。
上記画像処理装置(撮像装置1)において、前記記憶部(メインメモリ206または任意の記憶装置)はさらに、前記インターフェイスデータと位置情報との対応関係を示す対応情報(位置−UI対応情報208)を記憶し、前記撮像状況情報取得部(401)は、前記撮像状況に関する情報として前記画像処理装置(撮像装置1)の位置情報を取得し、前記インターフェイス特定部(403)は、前記位置情報及び前記対応情報に基づいて前記インターフェイスデータを特定してもよい。
上記画像処理装置(撮像装置1)において、前記記憶部(メインメモリ206または任意の記憶装置)はさらに、施設情報とその施設の位置情報との対応関係を示す地図情報(209)を記憶し、前記インターフェイス特定部(403)はさらに、前記地図情報(209)に基づいて前記インターフェイスデータを特定してもよい。
上記画像処理装置(撮像装置1)において、前記記憶部(メインメモリ206または任意の記憶装置)はさらに、前記インターフェイスデータと撮像対象となる人物又は人物のグループとの対応関係を示す人物対応情報(グループUI対応情報210)を記憶し、前記撮像状況情報取得部(401)は、撮像対象者又は撮像対象者のグループに関する対象者情報を取得し、前記インターフェイス特定部(403)は、前記対象者情報及び前記人物対応情報(グループ−UI対応情報210)に基づいて前記インターフェイスデータを特定してもよい。
上記画像処理装置(撮像装置1)において、前記対応情報(位置−UI対応情報208)は、過去の撮像地点、その過去の撮像地点において使用した前記インターフェイスデータ、及び撮像日時を対応付けたデータ列を備えた履歴情報であり、前記インターフェイス特定部(403)は、前記位置情報と、前記履歴情報とに基づいて前記インターフェイスデータを特定してもよい。
上記画像処理装置(撮像装置1)において、前記撮像状況情報取得部(401)は、撮像画像データ内の物体の動きの量、音声、所定撮像対象の有無の少なくとも一つに関する情報を備えた画像解析情報を生成し、前記インターフェイス特定部(403)は、前記画像解析情報に基づいて、前記インターフェイスデータを特定すればよい。
本願発明にかかる撮像方法の一態様は、撮像画像データを取得するステップと、前記撮像画像データの撮像状況に関する情報を取得するステップと、前記取得された撮像状況に関する情報に基づいて、予め記憶された前記撮像画像データに付与するタグを入力するための一つ以上のインターフェイスデータの中から少なくとも一つのインターフェイスデータを特定するステップと、前記特定されたインターフェイスデータからインターフェイス画像データを生成し、そのインターフェイス画像データと前記撮像画像データから表示用画像データを生成するステップとからなることを特徴とする。
本願発明にかかるプログラムの一態様は、コンピュータに、撮像画像データを取得するステップと、前記撮像画像データの撮像状況に関する情報を取得するステップと、前記取得された撮像状況に関する情報に基づいて、予め記憶された前記撮像画像データに付与するタグを入力するための一つ以上のインターフェイスデータの中から少なくとも一つのインターフェイスデータを特定するステップと、前記特定されたインターフェイスデータからインターフェイス画像データを生成し、そのインターフェイス画像データと前記撮像画像データから表示用画像データを生成するステップとを実行させることを特徴とする。
本願発明にかかる画像処理装置(撮像装置1)の一態様は、撮像画像データに付与するタグを指定させるための一つ以上のインターフェイスデータを記憶する記憶部(メインメモリ206または任意の記憶装置)と、前記撮像画像データの撮像状況に関する情報を取得する撮像状況情報取得部(401)と、前記撮像状況情報取得部(401)が取得した撮像状況に関する情報に基づいて、前記記憶部(メインメモリ206または任意の記憶装置)が記憶したインターフェイスデータの中から少なくとも一つのインターフェイスデータを特定するインターフェイス特定部(403)と、前記インターフェイス特定部(403)が特定したインターフェイスデータを出力する出力部(入出力I/F303、通信I/F310、または無線I/F308)とを有することを特徴とする。
本発明によれば、撮像状況に応じて撮像画像データにタグを入力するためのインターフェイス画像の変更を自動的に行うことができる画像処理装置、画像処理方法、及びプログラムを提供することができる。
本発明の実施の形態1にかかる撮像装置の外観構成を示す図である。 本発明の実施の形態1にかかる撮像装置の構成を示すブロック図である。 本発明の実施の形態1にかかる中央制御部の構成を示すブロック図である。 本発明の実施の形態1にかかる各インターフェイスの具体例を示す概念図である。 本発明の実施の形態1にかかる位置−UI対応情報の構成を示す概念図である。 本発明の実施の形態1にかかる表示用画像の具体例を示す概念図である。 本発明の実施の形態1にかかる撮像装置の動作を示すフローチャートである。 本発明の実施の形態2にかかる中央制御部の構成を示すブロック図である。 本発明の実施の形態2にかかるグループ−UI対応情報の具体例を示す概念図である。 本発明の実施の形態2にかかる撮像装置の動作を示すフローチャートである。 本発明の実施の形態3にかかる位置−UI対応情報の構成を示す概念図である。
<実施の形態1>
以下、図面を参照して本発明の実施の形態について説明する。図1は、本実施の形態にかかる撮像装置1の外観図である。撮像装置1は、スマートフォン等の携帯端末装置である。図1(a)は撮像装置1の正面図であり、図1(b)は撮像装置1の背面図である。撮像装置1は、背面に画像を撮像するための撮像部100を有し、静止画及び動画を撮像することができる。また、正面に撮像部100が撮像した静止画及び動画を表示する表示部としての液晶モニタ304を有する。なお、本発明に係る撮像装置1は、静止画または動画像を撮像でき、表示部(たとえば液晶ディスプレイ)を有するものであれば、その形状、及び構成は特に限定されるものではない。すなわち、撮像装置1は、携帯端末装置に限らず、撮像部及び表示部を有する電子機器(たとえばデジタルビデオカメラ)であればよい。
次に、撮像装置1の構成について図1及び図2を参照して説明する。図2は、本実施の形態にかかる撮像装置1の内部構成を示すブロック図である。
中央制御部400はCPU(Central Processing Unit)、各種プログラムが格納されたROM(Read Only Memory)、及びワークエリアとしてのRAM(Random Access Memory)等を含む半導体集積回路により構成され、撮像、各種画像の表示、及びユーザが撮像画像データにタグを入力するために、撮像状況に応じて使用されるタグの種類等に対応したアイコン画像を適切に配置したGUI(Graphic User Interface)に係る画像(以下、「インターフェイス画像」という。)の特定等の撮像装置1全体の処理を統括的に制御する。中央制御部400の内部構成は、図3を参照して後述する。
撮像装置1は、ズームレンズ101、フォーカスレンズ102、絞り103、及び撮像素子104で構成される撮像部100を有する。ズームレンズ101は図示しないズームアクチュエータによって光軸LAに沿って移動する。同様に、フォーカスレンズ102は、図示しないフォーカスアクチュエータによって光軸LAに沿って移動する。絞り103は、図示しない絞りアクチュエータに駆動されて動作する。撮像素子104は、CCD(Charge Coupled Device)やCMOS(Complementary Metal Oxide Semiconductor)等で構成される。
撮像部100を用いた撮像は以下の手順で行われる。撮像素子104はズームレンズ101、フォーカスレンズ102、及び絞り103を通過した光を光電変換して、被写体のアナログ画像信号を生成する。
アナログ画像信号処理部105が、このアナログ画像信号を増幅した後、画像A/D変換部106が、その増幅された信号をデジタル画像データに変換する。画像入力コントローラ107は、画像A/D変換部106から出力されたデジタル画像データを撮像画像データとして取り込んで、バス200を介してメインメモリ206に格納する。
デジタル信号処理部108は、バス200を介して中央制御部400からの指令に基づき、メインメモリ206に格納された撮像画像データを取り込み、所定の信号処理を施して輝度信号と色差信号とからなるデータを生成する。デジタル信号処理部108はまた、オフセット処理、ホワイトバランス調整処理、ガンマ補正処理、RGB補完処理、ノイズ低減処理、輪郭補正処理、色調補正処理、光源種別判定処理等の各種デジタル補正を行う。
マイク109は撮像時の周囲の音声を周音し、アナログ音声信号を生成する。アナログ音声信号処理部110がそのアナログ音声信号を増幅した後、音声A/D変換部111が、その増幅された信号をデジタル音声データに変換する。音声入力コントローラ112は、音声A/D変換部111から出力されたデジタル音声データを撮像画像データと併せてメインメモリ206に格納する。
多重化部113は、メインメモリ206に格納された撮像画像データ及びデジタル音声データを多重化しストリームデータを生成する。
圧縮・伸長処理部201は、バス200を介して中央制御部400からの指示に従い、メインメモリ206に格納されたストリームデータに所定の圧縮処理を施し、圧縮データを生成する。また、中央制御部400からの指令に従い、メインメモリ206等に格納された圧縮データに所定形式の伸張処理を施し、非圧縮データを生成する。
なお、本実施の形態の撮像装置1では、静止画像に対してはJPEG規格に準拠した圧縮方式が、動画像に対してはMPEG2規格やAVC/H.264規格に準拠した圧縮方式が採用される。
音声・画像処理部202は、バス200を介して中央制御部400の指示に従い、メインメモリ206から読み出したデジタルデータに所定の画像処理を施す。例えばメニュー画像やOSD画像等、各種処理のための画像データを生成し、その画像データをメインメモリ206から読み出されたオリジナルの撮像画像データに重畳させて液晶モニタ304に出力する。この出力によって、液晶モニタ304に表示される画像は各種画像データが合成ないし重畳されたものとなる。また、この音声・画像処理部202が、液晶モニタ304に表示する撮像画像にインターフェイス画像を重畳ないし合成して表示する。詳細は後述する。なお、液晶モニタ304の代わりに有機EL(Electro - Luminescence)モニタ等の他のモニタを用いることも可能である。
ROM203はバス200を介して中央制御部400に接続されており、中央制御部400が実行する制御プログラム及び制御に必要な各種データ等を格納している。フラッシュROM204は、ユーザの設定情報等、撮像装置1の動作に関する各種設定情報を格納している。
VRAM205は、表示用の画像データの一時記憶領域として使用される。メインメモリ206は、各種画像データの一時記憶領域として使用されるとともに、中央制御部400の演算作業領域としても使用される。
ジャイロセンサ211は、3軸の加速度及び角速度の変化を検出する。そして、ジャイロセンサ211の検出結果に応じて、液晶モニタ304の表示向きを変える。時計212は、撮像画像データの取得日時の情報を生成し、生成された情報はタグとして利用される場合もある。
液晶モニタ304、スピーカ305、操作部306及び入出力端子307は入出力I/F303に接続されている。液晶モニタ304は、例えばVRAM205やメインメモリ206に一時記録された撮像画像データ、又はインターフェイス画像データや各種メニュー画像データ等、各種画像データから生成された画像を表示する。ここで、液晶モニタ304に出力される撮像画像データは、ユーザが操作部306の図示しない録画ボタンをONにしてカード型記録媒体等の図示しない記録媒体に記録するものだけでなく、ユーザが撮像する内容を確認するために液晶モニタ304に表示される、いわゆるスルー画像に係るデータも含まれるのは勿論である。スピーカ305は、例えばメインメモリ206に一時記録された音声を出力する。操作部306は、操作ボタン、又は液晶モニタ304上に設けられたタッチパネル等から構成されており、ユーザの撮像装置1への操作入力を受け付ける。入出力端子307は、図示しないテレビモニタやPC(Personal Computer)等に接続される。
無線モジュール309は、バス200及び無線I/F308を介して、各データを他の装置との間で送受信する。各種情報及び撮像画像データ等の無線通信はIEEE802.11規格に準拠した方式で行われる。より具体的には、無線モジュール309は、Wi−Fi等の無線LAN規格に準拠した通信処理を行う。
通信モジュール311は、バス200及び通信I/F310を介して、他の通信端末とのメールの送受信、インターネット接続などを行う。これらの無線通信は、例えば、W−CDMAやCDMA2000等の通信規格に準拠した方式で行われる。これにより、基地局との通信が可能になる。もちろん、通信モジュール311での通信による通信規格は特に限定されるものではない。通信モジュール311は、無線モジュール309と異なる通信方式で無線通信を行う。
続いて、中央制御部400の内部構成、及び関連構成について図3を参照して説明する。なお、図3では、バス200、入出力I/F303等の記載は適宜省略している。中央制御部400は、撮像状況情報取得部401と、インターフェイス特定部403と、表示用画像生成部404とを備える。
撮像状況情報取得部401は、撮像装置1の撮像の状況に関する情報を取得する。ここで、撮像状況とは、撮像位置、撮像時間、撮像者、撮像対象者(被写体)及びその人数、撮像時の天候、撮像している画像(静止画、動画)の解析状態(たとえば動きの大きい対象物を撮像している等)等を含む概念である。本実施の形態においては、撮像状況情報取得部401が、撮像状況として撮像位置に関する情報を取得する場合を例にあげて説明する。
撮像状況情報取得部401は、位置情報取得部402を備える。位置情報取得部402は、撮像装置1の存在する現在位置を取得する。例えば、位置情報取得部402は、GPS(Global Positioning System)機能を有する処理部である。位置情報取得部402は、撮像開始時等の際に、現在位置の情報を取得し、取得した現在位置をインターフェイス特定部403に供給する。
メインメモリ206には、タグを入力するためのインターフェイスに関する情報(以下、「インターフェイスデータ」という。)が予め複数記憶されており、インターフェイス特定部403は、予め記憶されている複数のインターフェイスデータの中から、撮像状況情報取得部401が取得した撮像の状況に関する情報に適したインターフェイスデータを選択し特定する。なお、メインメモリ206に予め記憶されているインターフェイスデータが一つであった場合は、撮像撮像状況情報取得部401が取得した撮像の状況に関する情報に適していれば、その記憶されているインターフェイスデータが特定されることになる。
表示画像生成部404は、特定されたインターフェイスデータに係るインターフェイス画像データを生成する。そして、インターフェイス画像が、液晶モニタ304上に撮像画像データと共に表示される。
ここで、タグとは、画像の識別、又は検索に用いる情報である。例えば、野球に関する動画像に対するタグとして、開催場所、スコア情報、対戦相手情報、開催日時、大会名等の情報が挙げられる。
撮像装置1は、タグの種類及び内容について、予め作成されているものを使用することもできるし、ユーザが別途作成したものを使用することもできる。例えば、野球に関するタグとして、「ストライク」、「ボール」、「アウト」、或は「チェンジ」といった審判による宣告、「N回の表裏」というイニング、又は「1点毎に加算される」という得点形式等、野球に共通して使用される情報は予め作成されたタグとして使用される。一方、大会の名称や自他チーム名称等はユーザが別途作成するタグとして使用される。同様に、例えばバスケットボールに関するタグでは、「ファウル」や「バイオレーション」等の審判による宣告、「第1〜第4」というピリオド、又は「1〜3点毎に加算される」という得点形式等、バスケットボールに共通して使用される情報は予め作成されたタグとして使用され、大会の名称や自他チーム名称等はユーザが別途作成するタグとして使用される。
タグの種類及び内容は、例えば予めメインメモリ206内に格納されていてもよく、図示しないサーバや撮像装置1に着脱可能な任意の記憶装置(いわゆるUSBメモリ等)から取得しても良い。中央制御部400内の各処理部は、必要に応じてこのタグの種類や内容を適宜取得する。撮像装置1のユーザは、動画像の撮像中にこれらのタグを適宜入力する。そして撮像終了後に、付与されたタグを用いて撮像画像データを識別ないし検索することにより、撮像画像データを整理したり、所望の場面の再生や編集をすることができる。なお、タグは、静止画にも付与できる。
インターフェイスデータは、格納されたタグの中から、関連するタグを特定する情報等で構成されており、メインメモリ206に記憶されている。
インターフェイス特定部403は、予め生成され記憶されているUI管理情報207、位置−UI対応情報208、及び地図情報209、をメインメモリ206から読み出す。UI管理情報207は、記憶されている一つ以上のインターフェイスデータについて、インターフェイスデータ毎に関連づけられた識別子や用途(たとえば、「野球」、「サッカー」、「バスケットボール」等)からなる管理情報である。インターフェイスデータ、インターフェイスデータに係るインターフェイス画像、及びUI管理情報の例を図4に示す。
図4(A)は、バスケットボールの撮像中にタグを入力するためのインターフェイスデータに基づいて生成されるインターフェイス画像(識別子="バスケットボールUI")である。図示するように、当該インターフェイス画像は、タグとしてチーム名の情報や得点経過等を入力できる構成である。同様に、図4(B)は、サッカーの撮像中にタグを入力するためのインターフェイスデータに基づいて生成されるインターフェイス画像(識別子="サッカーUI")である。
なお、同一スポーツに対して、異なる種類及び内容のタグを付与するために、複数のインターフェイスデータが用意されていても良い。例えば、試合用のインターフェイスデータと、練習用のインターフェイスデータ(例えば練習メニューをタグとして入力可能なインターフェイスデータ)が別の構成となっていても良い。さらに、スポーツに限らず、演劇や音楽コンサートの撮像用のインターフェイスデータ等が存在しても良いことは勿論である。
位置−UI対応情報208は、位置情報と、液晶モニタ304に表示されるインターフェイス画像に係るインターフェイスデータと関連付けられたUI管理情報との対応関係を示す情報である。図5は、位置−UI対応情報208の構成を示す図である。図5の例では、A野球場(緯度35.XX、経度139.XX)では識別子「野球UI」のインターフェイスを使うこと、B体育館(緯度36.YY、経度139.YY)では識別子「バスケットボールUI」のインターフェイスを使うことが規定されている。
ユーザが位置−UI対応情報208内の対応関係を手動で設定しても良く、ネットワーク上からダウンロードした情報であっても良い。または、ユーザがインターフェイスの選択画面から手動で選択したインターフェイスデータと、その選択操作を行ったときの位置の情報と、が位置−UI対応情報208に逐次反映される構成であっても良い。説明及び理解の容易のため、本実施の形態では、位置−UI対応情報208における位置と、インターフェイスデータとは、一対一で対応付けられているものとする。
地図情報209は、位置情報とその位置にある施設(たとえばスポーツ施設)との関係を示す情報である。なお、地図情報209は、予めメインメモリ206内に備えられている必要はなく、ネットワーク上の任意のサーバからダウンロードしても良い。
インターフェイス特定部403は、現在位置の情報を基に、表示すべきインターフェイスデータを選択して特定する。詳細には、インターフェイス特定部403は、UI管理情報207及び位置−UI対応情報208に基づいて、現在位置に対応するインターフェイスデータが設定されているかを検索する。対応するインターフェイスデータがある場合、インターフェイス特定部403は、当該インターフェイスデータを表示画像生成部404に通知する対象として特定する。対応するインターフェイスデータが無い場合、インターフェイス特定部403は、地図情報209内に現在位置に対応する施設があるかを検索する。対応する施設がある場合、インターフェイス特定部403は、施設の用途から表示すべきインターフェイスデータを特定する。例えば、インターフェイス特定部403は、地図情報209の検索により現在位置がサッカー場と把握できた場合、用途がサッカーであり、サッカーの識別子と関連付けられたインターフェイスデータを表示画像生成部404に通知する。対応する施設が無い場合やインターフェイスデータを一意(一つ)に決められない場合、インターフェイス特定部403は、インターフェイスデータとして無効な値(無効値)を表示画像生成部404に通知する。
なお、インターフェイス特定部403は、現在位置との比較処理において、一定程度の物理的位置の近さが認められる場合には位置が対応すると判定しても良い。例えば、同じサッカー場のメインスタンドとバックスタンド程度の距離の違いであれば同一地点と判定しても良い。
表示画像特定部404には、撮像画像データ(静止画、または動画)、及びインターフェイス特定部403からのインターフェイスデータが入力される。表示画像生成部404は、通知されたインターフェイスデータを基に、表示されるアイコン画像に係るアイコン画像データや表示されるアイコン画像の配列に関するデータから構成されるインターフェイス画像データを生成する。そして、表示画像生成部404は、撮像画像データとインターフェイス画像データを合成した表示用画像データを生成する。
なお、インターフェイスデータとして無効値が通知された場合、表示画像生成部404は、液晶モニタ304に撮像画像のみを表示させる。または、表示画像生成部404は、ユーザにインターフェイスの選択を促す画面を液晶モニタ304に表示する。ユーザがインターフェイスを選択した場合、現在位置の情報を撮像状況情報取得部401から取得し、現在位置と選択されたインターフェイスデータのUI管理情報との組を位置−UI対応情報208の新規データとして登録すればよい。
表示画像生成部404が生成した表示用画像データは、入出力I/F303から液晶モニタ304に出力される。液晶モニタ304は、供給された表示用画像データに係る表示用画像を表示する。図6は、液晶モニタ304に表示された表示用画像の一例を示す図である。図6に示すように、液晶モニタ304には、現在撮像中の撮像画像と関連するインターフェイス画像を合成した表示用画像が表示される。ユーザは撮像画像エリアに表示される撮像画像を確認しながら、タグ入力用インターフェースエリアに表示されるインターフェイス画像を使用して撮像画像データにタグを適宜付与する。例えば、ユーザがヒットボタン501をタッチすると、その時刻情報と「ヒット」というタグが関連付けられてメインメモリ206(または任意の記憶装置)に保存される。アウトボタン502、フォアボールボタン503、チェンジボタン504についても同様である。同様に、得点が入った場合には得点ボタン505〜508をタッチする(たとえば満塁ホームランを打った場合には4得点を示す得点ボタン508をタッチする)ことにより、その時刻と得点経過がメインメモリ206(または任意の記憶装置)に保存される。なお、インターフェイス画像は、液晶モニタ304の表示画面中の下部に表示される必要はなく、任意の位置、及び大きさに配置することが可能である。また、メニュー画像等の他の画像も併せて表示されても良い。
続いて、図7に示すフローチャートを参照して、本実施の形態にかかる撮像装置1による、撮像状況に応じて撮像画像にタグを入力するためのインターフェイス画像の設定動作について説明する。はじめに、撮像開始等のタイミングにおいて、位置情報取得部402は、現在位置の情報を取得し、撮像状況に係る情報として当該現在位置の情報をインターフェイス特定部403に供給する(S11)。
インターフェイス特定部403は、現在位置の情報、位置−UI対応情報208、地図情報209を基に表示すべきインターフェイス画像に係るインターフェイスデータを特定し、特定したインターフェイスデータを表示画像生成部404に通知する(S12)。インターフェイス特定部403は、インターフェイスデータを一つに特定できない場合、インターフェイスデータとして無効な値を表示画像生成部404に通知する(S12)。
表示画像生成部404は、インターフェイスデータが無効値であるか否かを判定する(S13)。無効値ではない場合(S13:No)、表示画像生成部404は、インターフェイスデータに対応するインターフェイス画像データと、撮像画像データと、を合成した表示用画像データを生成し、当該表示用画像データを液晶モニタ304に供給する(S14)。液晶モニタ304は、表示用画像を表示する。一方、通知されたインターフェイスデータが無効値である場合(S13:Yes)、表示画像生成部404は、撮像画像データのみを液晶モニタ304に供給する。液晶モニタ304は撮像画像をそのまま表示する(S15)。なお、S15において、表示画像生成部404は、インターフェイスの選択画面データを生成し、生成した選択画面データに係る選択画面を液晶モニタ304に表示させても良い。
本実施の形態にかかる撮像装置1は、撮像状況に応じてインターフェイスを自動的に選択し、撮像画像と選択されたインターフェイスデータを基に作成されたインターフェイス画像を合成した表示用画像を液晶モニタ304に表示している。つまり、ユーザが撮像状況を変更して撮像操作を行う場合であっても、ユーザ自身がインターフェイスの選択を行うことなく、適切なインターフェイスが表示された表示用画像を用いて撮像及びタグ入力処理を行うことができる。インターフェイスが撮像状況に応じて自動的に選択されるため、ユーザがインターフェイスを選択する手間を省くことができる。
本実施の形態では、撮像状況として撮像位置の情報を取得し、当該位置に応じてインターフェイスを選択している。一般に、撮像位置が定まると、撮像対象も定まることが多い。インターフェイス特定部403は、位置とインターフェイスの関係を規定した位置−UI対応情報208を参照し、現在位置に最適なインターフェイスを選択するため、精度良くインターフェイスを選択することができる。
さらに、インターフェイス特定部403は、現在位置に対応するインターフェイスが位置−UI対応情報208内に規定されていない場合であっても、地図情報209を参照して現在位置に対応するインターフェイスを選択できる。これにより、ユーザが普段撮像を行わないような場所(たとえば遠方地のスポーツ競技場)で撮像を行った場合であっても、適切なインターフェイスを選択することができる。
なお、説明及び理解の容易のため、上述の実施の形態では、位置−UI対応情報208における位置情報と、インターフェイスデータとは、一対一で対応付けられており、インターフェイス特定部403は、一つのインターフェイスデータを特定する場合について述べたが、インターフェイス特定部403は一つの位置情報から複数のインターフェイスデータを特定することもできる。
この場合は、位置−UI対応情報208において位置情報と、インターフェイスデータとが一対多で関連付けられたテーブルを記録する等し、特定された複数のインターフェイスデータについて、ユーザが事前に設定した優先順位に基づいて最終的に使用するものを選ぶことができる、或は出力されるインターフェイス画像データの表示サイズを小さくする等により特定されたものに係るインターフェイス画像を複数表示する等の処理をすることになる。
<実施の形態2>
次に、本発明の実施の形態2について説明する。本実施の形態においては、撮像対象者(被写体)や撮像対象者のグループ構成に応じて、適切なインターフェイスを選択することを特徴とする。
本実施の形態にかかる撮像装置の構成は、図2に示す実施の形態1の構成と同様であるが、撮像対象となる人物又は人物のグループ(以下、単に「撮像対象グループ」と言う。なお、撮像対象グループは、一人の人物から構成されても良い。)に関する情報を撮像の状況に関する情報として使用する点で異なる。図8は、本実施の形態にかかる中央制御部400の構成(及びその周辺構成)を示すブロック図である。
撮像状況情報取得部401は、グループ情報取得部405を備える。メインメモリ206は、UI管理情報207及びグループ対応情報210を記憶する。
グループ情報取得部405は、例えば以下の手法により、撮像対象者のグループに関する情報(以下、単に「対象者情報」という。)を取得する。グループ情報取得部405は、取得した対象者情報をインターフェイス特定部403に供給する。
例えば、各ユーザの保持する撮像装置1は、図示しないサーバに「地点Xで撮像を開始する」、「これからAさん、Bさんを撮像する」等を適宜通知する。サーバは、各撮像装置1から送信された情報を集計し、各撮像装置1に対してこれから撮像を行うグループの情報を送信する。グループ情報取得部405は、この情報に基づいて対象者情報を取得する。例えば、Aさん、Bさん、Cさんがそれぞれの撮像装置1から「地点Xで撮像を開始する」ことをサーバに個別に通知した場合、サーバはそれぞれの撮像装置1に対して「Aさん、Bさん、Cさん」という撮像対象グループが撮像を開始することを通知する。また、Aさん、Bさん、Cさんがそれぞれの撮像装置1から「Y競技大会で撮像を開始する」ことをサーバに個別に通知した場合、サーバはそれぞれの撮像装置1に対して「Aさん、Bさん、Cさん」という撮像対象グループが撮像を開始することを通知する。
または、ユーザは、液晶パネル304に一般的なアドレス帳インターフェイス画像を表示させ、撮像対象となるユーザを適宜選択することもできる。グループ情報取得部405は、このアドレス帳インターフェイス画像の操作により選択されたユーザを対象者情報として取得する。なお、上述の撮像対象グループの特定方法はあくまで一例であり、その他の任意の手法を用いて撮像対象グループを特定し、対象者情報を取得しても良い。
次に、グループ−UI対応情報210について説明する。グループ−UI対応情報210は、撮像対象となる人物又は人物のグループと、表示するインターフェイス画像に係るインターフェイスデータと関連付けられたUI管理情報との対応関係を示す人物対応情報である。図9(A)は、グループ情報210の一例を示す図である。図9(A)では、"Aさん、Bさん"が撮像対象となる人物のグループである場合には「テニスUI」を使用すること、"Bさん"が撮像対象となる人物のグループである場合には「バイクUI」を使用すること等が規定されている。
グループ−UI対応情報210には、グループに関する詳細な対応関係が規定されていても良い。図9(B)に一例を示す。図9(B)では、「撮像対象者がAさん、Bさんを含むグループである場合、テニスUIを使用する」、「撮像対象者がBさんのみである場合、バイクUIを使用する」、「撮像対象者がCさん、Dさん、Eさん、Fさん、Gさん、Hさんの一部を含み、かつ全体で10人未満の場合、フットサルUIを使用する」、「撮像対象者がCさん、Dさん、Eさん、Fさん、Gさん、Hさんの一部を含み、かつ全体で10人以上の場合、サッカーUIを使用する」、といった対応関係が規定されている。なお、グループ情報210は、ユーザが適宜作成ないし編集可能な構成であっても良い。
図8を再び参照し、インターフェイス特定部403の動作について説明する。インターフェイス特定部403には、グループ情報取得部405から対象者情報が入力される。インターフェイス特定部403は、メインメモリ206からグループ−UI対応情報210を読み出す。インターフェイス特定部403は、対象者情報と、グループ−UI対応情報210との比較に応じてインターフェイスデータを特定する。インターフェイス特定部403は、選択したインターフェイスデータを表示画像生成部404に通知する。撮像対象グループと対応するインターフェイスデータがグループ−UI対応情報210内に規定されていない場合、インターフェイス特定部403は、インターフェイスデータとして無効な値を表示画像生成部404に通知する。
続いて、図10に示すフローチャートを参照して、本実施の形態にかかる撮像装置1による、撮像状況に応じて撮像画像にタグを入力するためのインターフェイス画像の設定動作について説明する。はじめに、グループ情報取得部405は、対象者情報を取得し、取得した対象者情報をインターフェイス特定部403に供給する(S21)。
インターフェイス特定部403は、対象者情報、UI管理情報207、及びグループ−UI対応情報210を基に表示すべきインターフェイスデータを特定し、特定したインターフェイスデータを表示画像生成部404に通知する(S22)。インターフェイス特定部403は、インターフェイスデータを一つに特定できない場合、インターフェイスデータとして無効な値を表示画像生成部404に通知する(S22)。
以降の処理(S13〜S15)は、図7のS13〜S15と略同一であるため、詳細な説明は省略する。なお、上述の例では、撮像の状況に関する情報として撮像対象グループに関する情報のみを使用する場合を説明したが、上述の位置情報を併せて使用してもよい。この場合、S22の処理においてインターフェイスデータを一つに特定できない場合、インターフェイス特定部403は、現在位置、UI管理情報207、位置−UI対応情報208、及び地図情報209を基に表示すべきインターフェイス画像データを特定しても良い。
さらに、撮像状況情報取得部401内に位置情報取得部402が存在する構成である場合、グループ情報210において、位置情報と対象者情報の双方を考慮した対応付けを行っても良い。例えば、図9(C)に示すように、「撮像対象者がIさん、Jさん、Kさん、Lさん、Mさん、Nさんの一部を含み、かつ地点Cで撮像する場合、フットサルUIを使用する」、「撮像対象者がIさん、Jさん、Kさん、Lさん、Mさん、Nさんの一部を含み、かつ地点Dで撮像する場合、ビーチサッカーUIを使用する」といったように、位置情報と対象者情報の双方を考慮した対応関係が規定されても良い。
また、撮像装置1は、撮像処理の終了後に、撮像対象グループに含まれる各ユーザの撮像装置(または画像表示装置)に対して、タグ付与済みの撮像画像データを電子メールに添付して自動的に送信しても良い。これにより、タグが入力された画像を共有することができる。
本実施の形態においては、撮像対象グループのメンバーを考慮し、当該メンバーに応じたインターフェイスを選択する。これにより、所定のグループの行動に最適なインターフェイスを自動的に選択することができる。さらに、図9(B)に示すように、撮像対象グループとインターフェイスとの対応関係は、グループメンバーの一部一致(たとえば「C〜Hさんの一部を含む」)も考慮して設定することができる。そのため、いつものメンバーに新しいメンバーを誘ってスポーツを楽しむような場合であっても、適切なインターフェイスを自動的に選択することができる。
なお、説明及び理解の容易のため、上述の実施の形態では、グループ−UI対応情報210における対象者情報と、インターフェイスデータとは、一対一で対応付けられており、インターフェイス特定部403は、一つのインターフェイスデータを特定する場合について述べたが、インターフェイス特定部403は一つの対象者情報から複数のインターフェイスデータを特定することもできる。
この場合は、グループ−UI対応情報210において、対象者情報と、インターフェイスデータとが一対多で関連付けられたテーブルを記録する等し、特定された複数のインターフェイスデータについて、ユーザが事前に設定した優先順位に基づいて最終的に使用するものを選ぶことができる、或は出力されるインターフェイス画像データの表示サイズを小さくする等により特定されたものに係るインターフェイス画像を複数表示する等の処理をすることになる。
<実施の形態3>
次に、本発明の実施の形態3について説明する。実施の形態3に係る撮像装置1は、インターフェイスの使用履歴を基に、最適なインターフェイスを選択することを特徴とする。本実施の形態にかかる撮像装置1の構成は、図2、図3に示す構成と略同一であるであるため、重複箇所については適宜説明を省略する。
図11は、本実施の形態にかかる位置−UI対応情報208の構成を示す図である。上述のように、位置−UI対応情報208は、位置情報とインターフェイスデータとの対応関係を示す情報である。本実施の形態では、位置−UI対応情報208は、当該対応関係がインターフェイスの使用履歴から構成される。この際、位置−UI対応情報208には、撮像日時も併せて登録される。すなわち、位置−UI対応情報208は、図11に示すように、撮像地点と、当該撮像地点で使用したインターフェイスと、撮像日時と、が対応付けられたデータ列から構成される履歴情報である。
ユーザがタグ入力用のインターフェイスを使用して撮像する度に、位置−UI対応情報208に新たなデータ列が追加される。たとえば、2011年4月9日(日)18時からの「緯度35.XX,経度139.XX」(以下、地点Aとも記載する)での撮像に「野球UI」を使った場合、その使用履歴がデータ列として追加される。そのため、同一位置(たとえば地点A)に対して異なるインターフェイス(「野球UI」、「野球練習UI」等)が対応付けられている場合(一対多対応である場合)がある。
インターフェイス特定部403は、位置−UI対応情報208内に、現在位置と対応するデータがあるか否かを判定する。現在位置と対応するデータ列がない場合、インターフェイス特定部403は、実施の形態1と同様にインターフェイスデータとして無効な値を表示画像生成部404に通知する。現在位置と対応するデータ列が1つだけある場合、インターフェイス特定部403は、実施の形態1と同様に、当該データ列のインターフェイスデータを表示画像生成部404に通知する。
現在位置と対応するデータ列が複数ある場合、インターフェイス特定部403は、複数のデータ列を解析し、解析結果に応じて表示画像生成部404に通知するインターフェイスデータを一つに特定する。以下、データ解析例を説明する。
第1の例として、インターフェイス特定部403は、使用日時が最も新しいインターフェイスデータを特定すればよい。図11の例では、インターフェイス特定部403は、地点Aに対応するインターフェイスデータとして「野球UI」に係るデータを特定する(2011年4月9日(日)の使用が最新であるため)。
第2の例として、インターフェイス特定部403は、現在位置について最も頻繁に使用しているインターフェイスを特定すればよい。図11の例では、インターフェイス特定部403は、地点Aに対応するインターフェイスデータとして「野球練習UI」に係るデータを特定する。
また、インターフェイス特定部403は、日時(日付、曜日、時間帯等)の規則性を検出し、検出した規則性に応じてインターフェイスデータを特定してもよい。たとえば、インターフェイス特定部403は、現在位置におけるインターフェイスの使用パターンを解析する。図11の例では、地点Aでは平日(月曜日〜金曜日)には「野球練習UI」が使用され、土曜日には「野球練習試合UI」が使用され、日曜日には「野球UI」が使用されている。インターフェイス特定部403は、日時(日付、曜日、時間帯等)を考慮した解析結果と、現在日時を比較し、比較結果に応じて最適なインターフェイスデータを特定する。たとえば、撮像を開始する際の日時が日曜日である場合、インターフェイス特定部403は、地点Aに対応するインターフェイスデータとして「野球UI」に係るデータを選択する。
なお、処理の流れは、図7に示すフローチャートと同様であるため、その詳細な説明は省略する(図7S12におけるインターフェイス特定部403の選択処理の詳細が異なる)。
本実施の形態においては、以前のインターフェイスの使用履歴を参照し、使用履歴の解析結果を基にインターフェイスを選択している。実際のユーザの使用パターンに応じたインターフェイスの選択ができるため、ユーザにとって使用したいインターフェイスを精度よく選択することができる。
特に、ユーザは、日時(日付、曜日、時間帯等)に応じて定期的な行動を行うケースが多い。本実施の形態では、日時(日付、曜日、時間帯等)を基にユーザが規則的な撮像を行っているかを解析することにより、ユーザの行動に即したインターフェイスの選択を精度よく行うことができる。
<その他の実施例>
撮像状況情報取得部401は、撮像中の画像を解析し、当該解析結果に応じてインターフェイス特定部403がインターフェイスデータを特定する構成であっても良い。以下、具体例を示す。
撮像状況情報取得部401には、メインメモリ206から撮像画像データ(動画像)が供給される。撮像状況情報取得部401は、位置情報取得部402等に加えて、供給された動画像内の撮像対象物、撮像対象物の動きの量、音声等を解析する画像解析部を備える構成であっても良い。例えば、画像解析部は、メインメモリ206内に保存されているテニスラケットやテニスボールの画像を読み出し、動画像内に一致する対象物があるか否か(すなわち、テニスラケット、テニスボールがあるか否か)を判定する。テニスボールやテニスを検出した場合、インターフェイス特定部403は、テニスに関するインターフェイスデータを特定すればよい。
同様に、画像解析部は、動画像の音声内に、ある特定のスポーツ(または演劇)に関連するワード(サッカーであれば、「オフサイド」、「センタリング」、「スライディング」、「ボレーシュート」等)が検出されたか否かを解析する。関連ワードが検出されたか否かを示す解析結果に応じて、インターフェイス特定部403は、インターフェイスデータを特定してもよい。
さらに、画像解析部は、動画像内の撮像対象物の動きの量を検出し、動きの量が大きいか否かを判定する。インターフェイス特定部403は、撮像対象物の動きの量が大きい動画像を撮像している場合、頻繁に使用するスポーツに関するインターフェイスデータを特定し、撮像対象物の動きが小さい動画像を撮像している場合、スポーツ以外で最も頻繁に使用するインターフェイスデータを特定しても良い。
画像解析部を備える構成により、現在位置や撮像対象グループによってインターフェイスが特定できないような場合であっても、撮像対象に応じた適切なインターフェイスを自動的に選択することができる。
なお、動画像の解析結果や現在位置等は、撮像状況の一例であり、撮像に関するその他の任意の情報(たとえば天候)を基にインターフェイスを選択しても良い。また、画像解析部は、動画像の解析だけではなく、静止画像の解析を行っても良いことは言うまでもない。
以上、本発明を上記実施形態に即して説明したが、上記実施形態の構成にのみ限定されるものではなく、本願発明の範囲内で当業者であればなし得る各種変形、修正、組み合わせを含むことは勿論である。
例えば、メインメモリ206内に記憶する情報の一部は、撮像装置1に着脱可能な記憶装置(例えばUSBメモリ)に記憶されても良いことは言うまでもない。また、撮像装置1は、ネットワーク上からメインメモリ206内に保持すべき情報を適宜ダウンロードしても良い。また、メインメモリ206内に記憶されている情報の少なくとも一部は、中央演算装置400内の記憶部(図示せず)に記憶されていても良い。
また、上述の中央演算装置400の任意の処理は、CPU(Central Processing Unit)にコンピュータプログラムを実行させることにより実現することも可能である。この場合、コンピュータプログラムは、様々なタイプの非一時的なコンピュータ可読媒体(non-transitory computer readable medium)を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体(tangible storage medium)を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体(例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ)、光磁気記録媒体(例えば光磁気ディスク)、CD−ROM(Read Only Memory)、CD−R、CD−R/W、半導体メモリ(例えば、マスクROM、PROM(Programmable ROM)、EPROM(Erasable PROM)、フラッシュROM、RAM(random access memory))を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体(transitory computer readable medium)によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。
また、コンピュータが上述の実施の形態の機能を実現するプログラムを実行することにより、上述の実施の形態の機能が実現される場合だけでなく、このプログラムが、コンピュータ上で稼動しているOS(Operating System)もしくはアプリケーションソフトウェアと共同して、上述の実施の形態の機能を実現する場合も、本発明の実施の形態に含まれる。さらに、このプログラムの処理の全てもしくは一部がコンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットによって行われて、上述の実施の形態の機能が実現される場合も、本発明の実施の形態に含まれる。
なお、上述の説明では、撮像装置を対象として本発明を説明したが、本発明を撮像能力の無い装置に応用することも可能である。以下、撮像能力の無い装置を含む応用システムについて説明する。
当該応用システムは、静止画及び動画を撮像可能な撮像装置(以下、ビデオカメラであるものとする)と、当該撮像装置と通信可能な任意の通信装置(以下、携帯端末装置であるものとする)を備える。当該応用システムは、例えばユーザがスポーツの試合を試合会場で観戦しながら雲台等を用いてビデオカメラで撮像を行い、撮像画像データに適宜入力するようなケースに応用できる。ここで、ユーザは、雲台をセットしてビデオカメラで自動的に撮影を行い、肉眼で試合状況を把握しながら把持しやすい携帯端末装置等を操作してタグの入力操作を行う。
携帯端末装置は、前述の中央制御部400内のインターフェイス特定部403や液晶ディスプレイ304を備えるものの、撮像能力は有さなくても良い。ここで、携帯端末装置とビデオカメラは、物理的に近い位置にあることを想定している。そのため、スマートフォン内に撮像状況情報取得部401が存在し、上述の撮影状態を検出した場合であっても、検出した状態をビデオカメラの撮像状況と同視することができる。なお、ビデオカメラ内にのみ撮像状況情報取得部401があり、携帯端末装置がビデオカメラ内の撮像状況情報取得部401から撮像の状況に関する情報を適宜取得する構成であっても良い。
携帯端末装置内のインターフェイス特定部403は、取得した撮像状況に応じて前述の手法によりインターフェイスを選択し、液晶ディスプレイ304に選択したインターフェイス画像を表示する。ユーザは、携帯端末装置の操作により適宜タグを入力する。携帯端末装置は、入力されたタグと時刻情報を関連付けて任意の記憶装置に保存する。この記憶装置に記憶された各タグと、ビデオカメラの撮像画像データを関連付けることにより、タグの付与された撮像画像データを得ることができる。なおこの場合には、ビデオカメラの時刻情報と携帯端末装置の時刻情報は、同期しているものとする。
また、携帯端末装置は、タグが入力される毎に入力内容をビデオカメラに送信しても良い。通信時間が無視できる程度に小さい場合、タグの付与された撮像画像データを得ることができる。
上記の構成であっても、携帯端末装置は、撮像状況に応じてインターフェイスデータを自動的に特定し、特定したインターフェイスデータを基に生成したインターフェイス画像を液晶モニタに表示できる。すなわち、インターフェイスデータが撮像状況に応じて自動的に特定されるため、ユーザがインターフェイスを選択する手間を省くことができる。
当該応用システムにおいても、通信装置(上述の例では携帯端末装置)内の中央演算装置400の任意の処理は、CPU(Central Processing Unit)にコンピュータプログラムを実行させることにより実現することが可能である。
また、撮像装置ないし携帯端末装置が、無線通信を始めとしたネットワーク通信を外部サーバと行い、各種のデータをそれらの機器間で送受信しあうシステムにおいては、本発明をその外部のサーバに応用することも可能である。
すなわち外部のサーバは、撮像装置等の位置情報等の撮像状況に関する情報を、自ら導出する、又は撮像装置等から受信するなどして取得し、取得された撮像状況に関する情報に基づいて、サーバ内に記憶されているインターフェイスデータの中から、その撮像状況に応じたインターフェイスデータを特定する。そして、特定したインターフェイスデータもしくは特定したインターフェイスデータから生成したインターフェイス画像データを、ネットワーク通信を介して撮像装置等に送信出力する。
以上のようにすることで、撮像装置等の各種処理負担を軽減した上で、ユーザは撮像状況に応じて自動的に変更された撮像画像データにタグを入力するためのインターフェイス画像を使用することができる。
1 撮像装置
100 撮像部
101 ズームレンズ
102 フォーカスレンズ
103 絞り
104 撮像素子
105 アナログ画像信号処理部
106 画像A/D変換部
107 画像入力コントローラ
108 デジタル信号処理部
109 マイク
110 アナログ音声信号処理部
111 音声A/D変換部
112 音声入力コントローラ
113 多重化部
200 バス
201 圧縮・身長処理部
202 音声・画像処理部
203 ROM
204 フラッシュROM
205 VRAM
206 メインメモリ
207 UI管理情報
208 位置−UI対応情報
209 地図情報
210 グループ情報
211 ジャイロセンサ
212 時計
303 入出力I/F
304 液晶モニタ
305 スピーカ
306 操作部
307 入出力端子
308 無線I/F
309 無線モジュール
310 通信I/F
311 通信モジュール
400 中央制御部
401 撮像状況情報取得部
402 位置情報取得部
403 インターフェイス特定部
404 表示画像生成部
405 グループ情報取得部
501 ヒットボタン
502 アウトボタン
503 フォアボールボタン
504 チェンジボタン
505〜508 得点ボタン

Claims (9)

  1. 撮像画像データを取得する撮像画像データ取得部と、
    撮像画像データに付与するタグを指定させるための一つ以上のインターフェイスデータを記憶する記憶部と、
    前記撮像画像データの撮像状況に関する情報を取得する撮像状況情報取得部と、
    前記撮像状況情報取得部が取得した撮像状況に関する情報に基づいて、前記記憶部が記憶したインターフェイスデータの中から少なくとも一つのインターフェイスデータを特定するインターフェイス特定部と、
    前記インターフェイス特定部が特定したインターフェイスデータからインターフェイス画像データを生成し、そのインターフェイス画像データと前記撮像画像データから表示用画像データを生成する表示用画像生成部とを備えることを特徴とする画像処理装置。
  2. 前記記憶部はさらに、前記インターフェイスデータと位置情報との対応関係を示す対応情報を記憶し、
    前記撮像状況情報取得部は、前記撮像状況に関する情報として前記画像処理装置の位置情報を取得し、
    前記インターフェイス特定部は、前記位置情報及び前記対応情報に基づいて前記インターフェイスデータを特定することを特徴とする請求項1に記載の画像処理装置。
  3. 前記記憶部はさらに、施設情報とその施設の位置情報との対応関係を示す地図情報を記憶し、
    前記インターフェイス特定部はさらに、前記地図情報に基づいて前記インターフェイスデータを特定することを特徴とする請求項2に記載の画像処理装置。
  4. 前記記憶部はさらに、前記インターフェイスデータと撮像対象となる人物又は人物のグループとの対応関係を示す人物対応情報を記憶し、
    前記撮像状況情報取得部は、撮像対象者又は撮像対象者のグループに関する対象者情報を取得し、
    前記インターフェイス特定部は、前記対象者情報及び前記人物対応情報に基づいて前記インターフェイスデータを特定することを特徴とする請求項1〜3のいずれか1項に記載の画像処理装置。
  5. 前記対応情報は、過去の撮像地点、その過去の撮像地点において使用した前記インターフェイスデータ、及び撮像日時を対応付けたデータ列を備えた履歴情報であり、
    前記インターフェイス特定部は、前記位置情報と、前記履歴情報とに基づいて前記インターフェイスデータを特定することを特徴とする請求項2または請求項3に記載の画像処理装置。
  6. 前記撮像状況情報取得部は、撮像画像データ内の物体の動きの量、音声、所定撮像対象の有無の少なくとも一つに関する情報を備えた画像解析情報を生成し、
    前記インターフェイス特定部は、前記画像解析情報に基づいて、前記インターフェイスデータを特定することを特徴とする請求項1〜5のいずれか1項に記載の画像処理装置。
  7. 撮像画像データを取得するステップと、
    前記撮像画像データの撮像状況に関する情報を取得するステップと、
    前記取得された撮像状況に関する情報に基づいて、予め記憶された前記撮像画像データに付与するタグを入力するための一つ以上のインターフェイスデータの中から少なくとも一つのインターフェイスデータを特定するステップと、
    前記特定されたインターフェイスデータからインターフェイス画像データを生成し、そのインターフェイス画像データと前記撮像画像データから表示用画像データを生成するステップとからなることを特徴とする画像処理方法。
  8. コンピュータに、
    撮像画像データを取得するステップと、
    前記撮像画像データの撮像状況に関する情報を取得するステップと、
    前記取得された撮像状況に関する情報に基づいて、予め記憶された前記撮像画像データに付与するタグを入力するための一つ以上のインターフェイスデータの中から少なくとも一つのインターフェイスデータを特定するステップと、
    前記特定されたインターフェイスデータからインターフェイス画像データを生成し、そのインターフェイス画像データと前記撮像画像データから表示用画像データを生成するステップとを実行させることを特徴とするプログラム。
  9. 撮像画像データに付与するタグを指定させるための一つ以上のインターフェイスデータを記憶する記憶部と、
    前記撮像画像データの撮像状況に関する情報を取得する撮像状況情報取得部と、
    前記撮像状況情報取得部が取得した撮像状況に関する情報に基づいて、前記記憶部が記憶したインターフェイスデータの中から少なくとも一つのインターフェイスデータを特定するインターフェイス特定部と、
    前記インターフェイス特定部が特定したインターフェイスデータを出力する出力部とを有することを特徴とする画像処理装置。

JP2012044754A 2012-02-29 2012-02-29 画像処理装置、画像処理方法、及びプログラム Active JP5821699B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2012044754A JP5821699B2 (ja) 2012-02-29 2012-02-29 画像処理装置、画像処理方法、及びプログラム
PCT/JP2013/053707 WO2013129139A1 (ja) 2012-02-29 2013-02-15 画像処理装置、画像処理方法、及びプログラム
US14/472,250 US9509906B2 (en) 2012-02-29 2014-08-28 Image processing apparatus, method for processing image, and computer program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012044754A JP5821699B2 (ja) 2012-02-29 2012-02-29 画像処理装置、画像処理方法、及びプログラム

Publications (2)

Publication Number Publication Date
JP2013183233A true JP2013183233A (ja) 2013-09-12
JP5821699B2 JP5821699B2 (ja) 2015-11-24

Family

ID=49082341

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012044754A Active JP5821699B2 (ja) 2012-02-29 2012-02-29 画像処理装置、画像処理方法、及びプログラム

Country Status (3)

Country Link
US (1) US9509906B2 (ja)
JP (1) JP5821699B2 (ja)
WO (1) WO2013129139A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018007018A (ja) * 2016-07-01 2018-01-11 富士ゼロックス株式会社 画像処理装置及び画像処理プログラム
JP2019032448A (ja) * 2017-08-09 2019-02-28 キヤノン株式会社 制御装置、制御方法、及びプログラム
JPWO2019187493A1 (ja) * 2018-03-26 2021-04-22 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
US11526250B2 (en) 2019-06-07 2022-12-13 Canon Kabushiki Kaisha Information processing apparatus, method for controlling the same, and storage medium

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000217060A (ja) * 1999-01-22 2000-08-04 Ricoh Co Ltd 録画装置
JP2006295889A (ja) * 2005-03-16 2006-10-26 Fuji Photo Film Co Ltd 撮像装置、撮像方法、アルバム作成装置、アルバム作成方法、アルバム作成システム、及びプログラム
JP2010050552A (ja) * 2008-08-19 2010-03-04 Canon Inc 撮像装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4126665B2 (ja) 2007-03-27 2008-07-30 富士フイルム株式会社 デジタルスチルカメラ及びその制御方法
JP4866396B2 (ja) 2008-07-08 2012-02-01 株式会社デンソーアイティーラボラトリ タグ情報付加装置、タグ情報付加方法及びコンピュータプログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000217060A (ja) * 1999-01-22 2000-08-04 Ricoh Co Ltd 録画装置
JP2006295889A (ja) * 2005-03-16 2006-10-26 Fuji Photo Film Co Ltd 撮像装置、撮像方法、アルバム作成装置、アルバム作成方法、アルバム作成システム、及びプログラム
JP2010050552A (ja) * 2008-08-19 2010-03-04 Canon Inc 撮像装置

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018007018A (ja) * 2016-07-01 2018-01-11 富士ゼロックス株式会社 画像処理装置及び画像処理プログラム
JP2019032448A (ja) * 2017-08-09 2019-02-28 キヤノン株式会社 制御装置、制御方法、及びプログラム
JPWO2019187493A1 (ja) * 2018-03-26 2021-04-22 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
US11749309B2 (en) 2018-03-26 2023-09-05 Sony Corporation Information processor, information processing method, and program
US11526250B2 (en) 2019-06-07 2022-12-13 Canon Kabushiki Kaisha Information processing apparatus, method for controlling the same, and storage medium

Also Published As

Publication number Publication date
US9509906B2 (en) 2016-11-29
JP5821699B2 (ja) 2015-11-24
US20140368693A1 (en) 2014-12-18
WO2013129139A1 (ja) 2013-09-06

Similar Documents

Publication Publication Date Title
KR101680714B1 (ko) 실시간 동영상 제공 방법, 장치, 서버, 단말기기, 프로그램 및 기록매체
JP6379424B2 (ja) 画像記録装置
JP5821699B2 (ja) 画像処理装置、画像処理方法、及びプログラム
WO2015159775A1 (ja) 画像処理装置、通信システム及び通信方法並びに撮像装置
CN107710731B (zh) 摄像装置以及图像处理方法
KR20180043712A (ko) 영상 표시 방법 및 그 전자장치
JP2014123908A (ja) 画像処理装置、画像切り出し方法、及びプログラム
JP2011166314A (ja) 表示装置及びその制御方法、プログラム、並びに、記録媒体
JP2011066717A (ja) 画像撮影表示装置およびそのプログラム
JP7235098B2 (ja) 情報配信装置、情報配信方法、情報配信プログラム
JP2013021473A (ja) 情報処理装置、情報取得方法およびコンピュータプログラム
WO2020095648A1 (ja) 画像処理装置、画像処理方法、コンピュータプログラム及び記憶媒体
JP2010161547A (ja) 構図選択装置及びプログラム
JP2020057329A (ja) ガイドシステム
JP7282519B2 (ja) 画像処理装置または画像処理サーバー
JP6089988B2 (ja) 撮像システム、撮像装置、及びプログラム
JP2004274735A (ja) 撮像装置及び画像処理装置
JP6146162B2 (ja) 画像処理装置、撮像装置、画像処理方法、撮像方法、及び画像処理プログラム
KR20180053221A (ko) 전자 장치 및 그의 제어 방법
JP6424945B2 (ja) 撮像装置、撮像方法、及び撮像プログラム
JP5370577B2 (ja) 構図選択装置及びプログラム
JP7233887B2 (ja) 画像処理装置
JP2010074437A (ja) アノテーション付与方法及び装置及びプログラム及びコンピュータ読み取り可能な記録媒体
JP2017228828A (ja) 撮像装置、表示装置、及び撮像表示システム
JP2014131155A (ja) 撮像装置、画像処理装置、撮像方法、画像処理方法、及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140731

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150602

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150730

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150908

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150921

R150 Certificate of patent or registration of utility model

Ref document number: 5821699

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150