JP7233886B2 - 画像処理装置 - Google Patents
画像処理装置 Download PDFInfo
- Publication number
- JP7233886B2 JP7233886B2 JP2018209480A JP2018209480A JP7233886B2 JP 7233886 B2 JP7233886 B2 JP 7233886B2 JP 2018209480 A JP2018209480 A JP 2018209480A JP 2018209480 A JP2018209480 A JP 2018209480A JP 7233886 B2 JP7233886 B2 JP 7233886B2
- Authority
- JP
- Japan
- Prior art keywords
- information
- player
- specific target
- server
- image processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Automatic Focus Adjustment (AREA)
- Closed-Circuit Television Systems (AREA)
- Studio Devices (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Exposure Control For Cameras (AREA)
- Focusing (AREA)
Description
特許文献2には、撮像された画像から取得したAF評価値に基づいてフォーカスレンズを駆動し、自動焦点検出制御を行う自動焦点検出装置が記載されている。
同様に、競技場や自宅の端末で競技をモニターしている一般ユーザーにとっても特定の選手を見失ったり競技の状況がわからなくなったりする場合が多かった。同様にカーレースや飛行機レースや競馬などにおいても特定の車両や飛行機や馬などの対象を見失ってしまうことがあった。更には特定の人物を街角で追跡する場合においても雑踏の中にその特定の人物が紛れてしまい見失うことがあった。また、そのような、注目している特定の対象を目視で追いかけることに専念しているとその対象に対する撮影やピント合わせや露出調整などをスムーズにできないという問題があった。
本発明は、上記、課題を解決し、撮影者や観察者にとって注目している対象を見失いにくく、その対象に対する撮影やフォーカス調整や露出調整などをスムーズにできる画像処理装置を提供することを目的とする。
画像を表示する表示手段、
前記表示手段に表示された画面の中から特定の対象を選択する選択手段、
前記選択手段によって選択された前記特定の対象に関する指定情報を生成する指定情報生成手段、
前記指定情報生成手段によって生成された前記指定情報をサーバーに送信する送信手段、
前記サーバーが前記指定情報に基づき生成した前記特定の対象の位置情報を、前記サーバーから取得する取得手段、
前記取得手段によって取得された前記特定の対象の位置情報に基づき前記特定の対象の露出調整またはフォーカス調整の少なくとも一方を制御する制御手段、を有し、
前記制御手段は、前記位置情報に基づき前記表示手段の表示画面内または表示画面外における前記特定の対象の位置を付加情報として表示することを特徴とする。
最初に撮影や映像モニターを支援するための、画像処理装置を用いたシステムの全体像について図1を用いて説明する。
従って、そのような各ユーザーには見えない、わかりにくい情報をサーバーが把握して配信することによって観客に対するサービスを大幅に向上することができる。
105は有線/無線などによるLANやインターネットであり、106は、入力手段111から出力された情報をサーバー110で入力するための接続線である。107は、基地局112への信号を送受信するための接続線、108は、基地局の無線通信を実行するためのアンテナ部である。
すなわち、上記の100番台のブロックは、プロカメラマンや一般観客などによる映像撮影等をサポートするためのブロックである。
201は、イーサネット(登録商標)コントローラであり、204は選手の役割(所謂ポジション)に応じたプレイ位置を検出する検出部である。ここで選手の役割(ポジション)は予め登録等によって設定される。例えば、ラグビーの場合の役割(ポジション)としては、1、3はプロップ、2はフッカー、4、5はロック、6、7はフランカー、8はナンバー8と呼ばれ、9はスクラムハーフ、10はスタンドオフと呼ばれる。また、11、14はウィング、12、13はセンター、15はフルバックと呼ばれる。
これらの選手のいる場所は、セットプレイの時などは、フォワードは、攻撃している前方にいて、バックスは、攻撃している後方にいることが多い。
なお、通常は、背番号から、選手の役割は認識できることが多い。しかしながら、場合によっては、10番の選手が怪我をして、15番の選手がスタンドオフ(10番の位置に入り)、リザーブ選手が、15番に入ることなどがある。ここで、リザーブ選手の背番号は、16から23である。しかし、背番号だけからポジションが確定するわけではない。従って204の検出部では選手の予め設定された役割に応じたプレイ位置を検出し、この検出したプレイ位置の情報は、サーバー110内のCPU211に取り込まれるが、上記の予め設定された役割は競技中に選手交代などによって変更になる場合もある。
207は選手の体格認識部であり、注目選手の予め登録された体格写真情報に基づき前記のような画像認識技術を用いて選手を見つける。
210は各端末401~403から送られてくる各端末の位置情報と方角情報と画角情報から、各端末の位置と各端末のカメラの向いている方角と画角を検出するカメラ位置情報、方角検出部である。
1101はサーバー110内のデータバスラインである。
図3、図4に示されるデジタルカメラは、動画および静止画の撮影、並びに、撮影情報の記録が可能である。また、図3、図4において、CPU(Central Processing Unit)318、プログラムメモリ319、データメモリ320は重複して示すが、これらは同一のブロックでありそれぞれ1つだけ内蔵されている。
図3において、301はイーサネット(登録商標)コントローラである。302は記憶媒体であり、デジタルカメラで撮影した動画、静止画が所定のフォーマットで格納される。
さらに、操作部入力手段306において、注目選手をサーバーからの位置情報に基づき自動追尾するか否かを選択/設定できる。どの選手を注目選手(特定の対象)に指定するか、注目選手の自動追尾をサーバーからの位置情報に基づき実行するか否かなどの情報は、選択手段としての操作部入力手段306によって生成される。即ち操作部入力手段306は特定の対象に関する指定情報を生成する指定情報生成手段として機能している。
313は選手の背番号検出部であり、注目選手の背番号(もちろん前側の番号でもよい)から前述のような画像認識技術によって選手を見つけるものである。314は端末のレンズの向いている方角を検出する方角検出部である。315は端末の位置情報を例えばGPSなどを用いて検出する位置検出部である。
データメモリ320は、デジタルカメラの設定条件を格納したり、撮影した静止画、動画、さらには、静止画、動画の属性情報などを格納したりするためのものである。
371は、デジタルカメラ自身で注目選手の追跡を行うための追跡部である。ここでいう追跡とは例えば注目選手を囲む枠表示を画面内で移動させるとともに、前記枠によって追尾される注目選手にフォーカスを合わせたり、露出を合わせたりする。
カメラ500からサーバー110には、注目選手指定情報(背番号、選手名などのID情報)を通知する。その際ユーザーは端末の画面上で注目選手の位置をタッチしてもよいし、指を画面にタッチしたまま注目選手の周りを指で囲んでもよい。あるいはメニューで画面上に複数の選手のリストを表示し、その中の注目選手名をタッチしたりしてもよいし、あるいは画面上に文字入力画面を表示し選手名や選手の背番号を入力してもよい。その際、注目選手の画面上の顔位置をタッチすると顔を画像認識したり背番号を画像認識して選手名や背番号などを送ったりしてもよい。あるいは、画像認識せずに顔画像そのものをサーバーに送って、サーバー側で画像認識してもよい。またこの時あらかじめ決まったパスワードがあればそれもサーバーに送る。サーバー側では、映像を撮影することをサポートするブロックにより、注目選手指定情報(背番号、選手名等のID情報)に基づいて、選手のいる絶対値的な位置に関する情報をカメラに送る。パスワードもカメラから送られてくればそれに応じてカメラに送る情報の内容を変更する。
また、本実施例は撮影アシストの例を用いて説明しているが、端末が家庭用のTVであってもよい。即ち、TVを見ている観客が注目選手を指定したら、サーバーがその注目選手の位置情報などをTVに送って注目選手を枠表示等により目立つように表示してもよい。なお、枠だけでなく、カーソル(例えば矢印など)で注目選手を示してもよいし、注目選手位置の領域の色や輝度を他の部分と異ならせてもよい。注目選手が端末の画面外にいる場合には、端末の画面に対してどの方向にずれているかを矢印や文字で表示してもよい。また表示画面外にいる場合に端末が現在見ている角度からどのくらい離れているか(ずれているか)、どのくらい端末を回転しないと注目選手が表示画面内に入らないかなどを矢印の長さや太さや、数字や目盛りなどで表示してもよい。
更に、画面内に注目選手がいる場合には付加情報を画面に表示するように制御し、画面外に注目選手が移動した場合には、矢印等で画面外にいることを表示しないようにユーザーが選択できるようにしてもよい。
あるいは競技の状況を自動的に判断して、注目選手がベンチに下がった場合等には、画面外に注目選手が移動しても、画面外にいることを矢印等で表示しないようにしてもよい。そのように自動的に付加情報の表示を消すモードと消さないモードをユーザーが選択できるようにすると更に使い勝手が向上する。
図7(A)においてS101は初期化を表している。S102で写真撮影が選択されたか否かが判断され、写真撮影が選択されるとS103に進み、写真撮影が選択されていないとS101に進む。S103ではカメラの設定情報を入手する。S104では注目選手の撮影(指定)が選択されたか否かが判断され、注目選手の撮影が選択されているとS105に進み、注目選手の撮影が選択されていないとS110に進みその他の処理をする。S105は注目選手情報(注目選手のID情報等)とパスワードがあればそれをカメラからサーバーに送る。これによってサーバー側は注目選手の位置情報を検出してカメラに送信する。S106ではサーバーから注目選手の位置情報等をサーバーから受けとる。
S109では注目選手の撮影が終了したか否かが判断され、注目選手の撮影が終了するとS101に進む。注目選手の撮影が継続している場合には、S105に進み、再度、注目選手の情報をサーバーに送り、S106で、注目選手の情報をサーバーから受け取り、再度、注目選手の位置を認識して、注目選手の撮影を継続する。即ち、追跡が失敗した場合はS108でNoとなり、その場合追跡を継続するならS105に戻ってサーバーに位置情報のリクエストを行う。
図7(B)は、カメラ側におけるS107-2の注目選手マーク表示のフロー例を示している。S120ではサーバーから受け取った位置情報に基づき、表示部における注目選手の相対位置を計算して求める。S121では画像表示部にイメージセンサーからのライブビュー画像を表示している状態において、注目選手に位置を示すマークなどを重畳する。
また、プロカメラマンや観客のカメラ等の端末は、サーバーから選手の絶対位置情報を受信するとこの絶対位置情報と今撮影あるいはモニターしている映像とのマッピングが可能になる。なお、例えばサーバーからの注目選手のフィールド内での絶対位置情報を(X、Y)とする。この絶対位置情報を個々のカメラの位置情報に従い、カメラから見たときの相対的な位置情報(X´、Y´)に変換する必要がある。上記の絶対位置情報から相対位置情報への変換は、S120のようにカメラ側で実施してもよいし、サーバー側で変換した後に個々の端末(カメラなど)に相対位置情報を送ってもよい。
一方、サーバーで上記変換を実行する場合は、サーバーは、絶対位置情報(X、Y)から個々のカメラのGPS等を用いた位置情報に従い、個々のカメラの相対的な位置情報(X´、Y´)に変換する。サーバーは、個々のカメラに対して、この相対的な位置情報を送り、この相対的な位置情報を受信したカメラは、この相対的な位置情報を個々のカメラ側の表示画面内での位置情報とする。
なお、図8はカメラ等の端末側の注目選手表示追跡制御フローの他の例を表している。図8において、S101、S102、S103、S104、S105、S106、S107、S107-2、S110は、図7と同一の制御であり説明は省略する。
図9はデジタルカメラの追跡部371の機能構成例を示すブロック図である。追跡部371は、照合部3710と特徴抽出部3711と距離マップ生成部3712からなる。特徴抽出部3711はサーバーから送られた位置情報に基づき、追跡すべき画像領域(被写体領域)を特定する。そしてこの被写体領域の画像から特徴量を抽出する。一方、照合部3710は継続して供給される個々のフレームの撮像画像内で、前記の抽出した特徴量を参照して、前フレームの被写体領域と類似度の高い領域を被写体領域として探索する。なお距離マップ生成部3712により撮像素子からの1対の視差画像(A像とB像)から被写体までの距離情報を取得し、照合部3710における被写体領域の特定精度を上げることもできる。ただし距離マップ生成部3712は必ずしもなくても構わない。
照合部3710が、特徴抽出部3711から供給される画像内の被写体領域の特徴量に基づいて被写体領域と類似度の高い領域を被写体領域として探索する際には例えばテンプレートマッチングやヒストグラムマッチングなどを用いる。
カメラ等の端末から送られてきた注目選手のID情報等に基づき、サーバーは注目選手の画像認識を行う。サーバーはサーバー用の複数台のカメラ(固定されたカメラや移動カメラなど)からの映像をもとに選手の位置情報を検出して、プロカメラマンや観客のカメラ端末などに選手の位置情報を送る。特に、プロカメラマンや観客が撮影を行う際に、サーバーからの注目選手の位置情報があれば注目選手を間違えることなく確実に撮影できる。さらに、カメラでも注目選手の追跡を実施している際に、死角となって選手を見失ったときなどにおいても同様に、サーバーからの情報は重要になる。なお、サーバー側ではサーバー用の複数台のカメラからの映像をもとに選手の位置情報を検出し続ける。
図10において、最初にS201で初期化を行う。次にS202でカメラにおいて写真撮影が選択されたか否かが判断され、写真撮影が選択されるとS203に進み、カメラの設定情報を入手する。このときカメラの設定情報の中にパスワードがあればそれも入手する。写真撮影が選択されていないとS201に進む。S204では、注目選手の撮影(指定)が選択されたか否かが判断され、注目選手の撮影が選択されているとS205に進み、サーバーは、カメラから注目選手のID情報(例えば選手名、背番号など)を受信する。S204で注目選手の撮影が選択されていないとS210に進みその他の処理をする。
図11は背番号情報を用いた注目選手検出制御フローを示す。図11において、S401で、サーバーは注目選手のID情報に基づきデータメモリ213から背番号を取得し、サーバー用の複数台のカメラの映像情報の中からこの背番号を画像認識で探し、その背番号の選手の位置情報を取得する。S402において、更にサーバー用の複数台のカメラの画像から取得された位置情報を総合することにより、注目選手の絶対位置情報を取得する。このようにサーバー用の複数台のカメラの情報を総合することによって、ある背番号の選手の絶対位置情報の精度が向上する。S403では、S402で検出した注目選手の絶対位置をプロカメラマンや観客の保有するカメラ等の端末に対して送信する。S404では、注目選手の追跡が継続しているか否かが判断され、注目選手の追跡が継続しているとS401に戻り、注目選手の追跡が継続していないと図11のフローを終了する。
よって、サーバーには選手の情報に対応してポジションを登録しておけば、背番号16から背番号23の選手に対しても役割が明確になる。
その場合の、リザーブ選手を含めた選手検出制御フローの例を図12に示す。
複数台のカメラの中の各カメラの映像は、リザーブ選手を含めた注目選手の顔情報を見つけると、見えている大きさ、角度、さらには、背景(フィールド)の情報を入力することにより、リザーブ選手を含めた注目選手の位置情報を取得できる。また複数台のカメラの映像で、同様に、リザーブ選手を含めた注目選手の顔情報を見つけると、見えている大きさ、角度、さらには、背景(フィールド)の情報を入力することにより、リザーブ選手を含めた注目選手の位置情報の精度が向上する。
ここでもボールの位置に応じて、試合や競技の状況(あるチームが攻撃しているか守備をしているか)を判断したが、たとえば、試合(競技)状況に基づいた制御としては、ボールの位置に限定されない。たとえば、あるチームが反則をすると相手のチームに、ペナルティキックなどが与えられる。この場合、試合では、ペナルティキックを得たチームが、現在のボール位置より、前進する可能性が高い。よって、この前進することを予測した試合状況に基づいた制御が可能になる。このようにボールの位置を反則という状況から予測しても良い。
図13を用いて、リザーブ選手の検出制御をベースにして、選手交代での選手検出を補助する方法を説明する。選手交代時における選手の役割(ポジション)を考慮した顔認識情報を用いたリザーブ選手を含めた着目選手検出制御フローを図13に示す。
S905では、注目選手の追跡が継続しているか否かが判断され、注目選手の追跡が継続しているとS906に進み、注目選手の追跡が継続していないとこの制御を終了する。S906では、選手交代が行われたかが判断され、選手交代があれば、S907に進み、選手交代がなければ、S901に進む。S907は、サーバーは、選手交代を認識し、試合に出場している選手情報一覧をアップデートする。
図13の例では、複数台のカメラの映像から、選手交代の情報を認識して、フィールドから出ていく選手とフィールドに入る選手(これらの選手のポジションも含む)の情報を認識する。そして、サーバーは、これらの情報をプロカメラマンや一般観客が保有するカメラ端末に送る。選手交代の際にフィールドに入る選手は、どこの位置から入っていくかを追いかけて、同時に、プロカメラマンや一般観客が保有するカメラ端末に通知している。
それ以外にも、審判他のコールを音声情報として認識して検出する方法がある。また、大型スクリーンに表示される反則情報から検出するようにしてもよい。
図16において、S3807では、注目選手の位置情報に基づき、カメラ自身で注目選手の追跡を実施する。その際、注目選手には、表示部にマークを付けた上で、注目選手へのAF(オートフォーカス)をする。S3808では、注目選手の追跡継続に成功しているか否かが判断され、注目選手の追跡継続に成功していれば、S3807に進み継続してカメラ自身で注目選手の追跡を実施し、注目選手の追跡継続に成功していないと、S109に進む。
以上の制御によって、プロカメラマンや一般観客のカメラ端末では、注目選手の認識が可能になるだけでなく注目選手へのAFやAEも速やかに実行されるのでタイムリーな写真撮影が可能になる。
図18には、自動追いかけ時のカメラ表示部の表示例が示されている。
図18において、3901は、カメラの表示部を表している。3901においては、プロカメラマンや一般観客のカメラには、A、B、C、D、E、F、G、Hの7名の選手が撮影のエリアに入っている。ここで、注目選手は、Kであるが、カメラの撮影エリアから外れている。
図20、図21には、カメラ側の着目選手表示追跡制御フロー、即ち注目選手の自動追いかけモード時のフローが示されている。
図20において図7と同じ符番は同じステップを示し説明は省略する。図20において、S4007では、カメラ自身で注目選手の追跡を実施する。なお、操作部により自動追いかけモードが選択されている時には、注目選手の自動追いかけを実施し、選択されていない場合には自動追いかけは行わない。プロカメラマンや一般観客が保有するカメラ端末での注目選手の自動追いかけは、カメラのエリア内に選手がいない時に、ズームアウトしてカメラの表示部の画面内に選手が入るようにズーム倍率を自動制御する。このS4007の制御の詳細は図21に示されており後述する。
S4008では、注目選手の追跡継続に成功しているか否か(OKか否か)が判断され、注目選手の追跡継続に成功していれば、S4007に進み継続してカメラ自身で注目選手の追跡を実施し、注目選手の追跡継続に成功していないと、S109に進む。
さらに、AF(オートフォーカス)に加えて、AE(Automatic Exposure:自動露出調整)を自動的に実行しているのでユーザーの調整を待たずに最適な画像が得られる。なお、AFをせずにAEだけをしてもよい。更にユーザーは不図示の選択スイッチによって上記AFやAEの一方の制御を選択的にオフできるようにしてもよい。
予測機能の一具体例として、選手交代の先読みをする場合について説明する。
この例においては、選手自身がユニフォーム等のウエアに位置センサーを内蔵させるか、選手が位置センサーを腕や腰や脚などにベルト等を用いて装着しているものとする。そしてこの位置センサーからの情報をサーバー側へ通信手段により無線で送ることで選手の位置センサーからの信号をサーバーが認識して、位置情報を生成し、サーバーからプロカメラマンや観客が保有するカメラ等の端末へ知らせる。
図23において、S4201では、サーバーは、複数台のカメラから、注目選手の位置センサー情報を取得する。前記複数台のカメラには位置センサーからの電波を受信し、受信している電波の方向、受信している電波のレベルを検出して位置センサー情報として出力するための検出手段がそれぞれ含まれている。S4202では、複数台のカメラからの位置センサー情報から注目選手を絶対位置を検出する。S4203では、注目選手の絶対位置の情報をプロカメラマンや一般観客が保有するカメラ端末に送信する。S4204では、注目選手が怪我しているか否かが判断され、注目選手が怪我しているとS4206に進み、注目選手が怪我をしていることをデータメモリ213等の記憶手段に記憶する。注目選手が怪我していないとS4205に進む。S4205では、注目選手の追跡が継続しているか否かが判断され、注目選手の追跡が継続しているとS4201に進み、注目選手の追跡が継続していないと図23のフローを終了する。
図24において、S4301では、サーバーは、複数台のカメラで、リザーブ選手の位置センサー情報を取得する。位置センサー情報の中には、受信している電波の方向、受信している電波のレベルも含まれている。S4302では、複数台のカメラの位置センサー情報からリザーブ選手の絶対位置を検出する。S4303では、リザーブ選手の動きに着目する。特に注目選手がリザーブの場合にはその動きに注目する。S4304では、リザーブ選手の動きがあるか否かが判断され、リザーブ選手の動きがあると図24のフローを終了し、リザーブ選手の動きがないとS4301に進む。
また、例えば野球においては、打ち込まれたときに、投手交代の可能性は高くなるなどの統計データを基に、選手の交代を予測しても良い。
選手の動きをビッグデータとしてサーバーに格納しておいて、このビッグデータをもとに、AIにより選手の動き予測を行っても良い。
以上において、注目選手は1人の例で、説明したが、注目選手は複数選手でも良い。また、注目選手は、途中で切り替えができるものとする。
また以上において、映像には、動画だけでなくて、静止画も含むものとする。
なお、注目選手の指定は、途中で切り替えができるものとする。注目選手として、試合に出場している選手全員でも良い。また、映像や画像としては、動画だけでなくて、静止画も含むものとする。また、注目選手を追い追跡することをメインに説明をしてきた。しかしながら、注目選手だけを追いかけないで、ボールを持っている、あるいは、ボールを受ける選手についての情報をプロカメラマンや観客に送信し表示させるようにしてもよい。また、実施例ではラグビー選手などを追跡する例を用いて説明したが、他のスポーツ選手であってもよいし、特定の犯人などの人物を複数の監視カメラなどを使って追跡するシステムに適用できることは言うまでもない。あるいは人物に限らずカーレーシングなどにおいて特定の車などを追跡するシステムや競馬等において馬を追跡するシステムに適用することもできる。なお、実施例では注目選手をカメラ端末などで指定する例を説明したが、サーバー側が注目選手を指定できるようにしてもよい。
また、本発明における制御の一部または全部を上述した実施例の機能を実現するコンピュータプログラムをネットワーク又は各種記憶媒体を介して撮像装置や情報処理装置に供給するようにしてもよい。そしてその撮像装置や情報処理装置におけるコンピュータ(又はCPUやMPU等)がプログラムを読み出して実行するようにしてもよい。その場合、そのプログラム、及び該プログラムを記憶した記憶媒体は本発明を構成することとなる。
401,402,403・・・・端末
110・・・・サーバー
371・・・・追跡部
380・・・・画像表示部
Claims (30)
- 画像を表示する表示手段、
前記表示手段に表示された画面の中から特定の対象を選択する選択手段、
前記選択手段によって選択された前記特定の対象に関する指定情報を生成する指定情報生成手段、
前記指定情報生成手段によって生成された前記指定情報をサーバーに送信する送信手段、
前記サーバーが前記指定情報に基づき生成した前記特定の対象の位置情報を、前記サーバーから取得する取得手段、
前記取得手段によって取得された前記特定の対象の位置情報に基づき前記特定の対象の露出調整またはフォーカス調整の少なくとも一方を制御する制御手段、を有し、
前記制御手段は、前記位置情報に基づき前記表示手段の表示画面内または表示画面外における前記特定の対象の位置を付加情報として表示することを特徴とする画像処理装置。 - 前記サーバーは、映像の中の前記特定の対象を認識し、認識結果に基づき前記特定の対象の位置情報を生成して前記画像処理装置に送信することを特徴とする請求項1に記載の画像処理装置。
- 前記サーバーは、前記特定の対象を画像認識した結果に基づき位置情報を生成して前記画像処理装置に送信することを特徴とする請求項1又は2に記載の画像処理装置。
- 画像を表示する表示手段、
前記表示手段に表示された画面の中から特定の対象を選択する選択手段、
前記選択手段によって選択された前記特定の対象に関する指定情報を生成する指定情報生成手段、
前記指定情報生成手段によって生成された前記指定情報をサーバーに送信する送信手段、
前記サーバーが前記指定情報に基づき生成した前記特定の対象の位置情報を、前記サーバーから取得する取得手段、
前記取得手段によって取得された前記特定の対象の位置情報に基づき前記特定の対象の露出調整またはフォーカス調整の少なくとも一方を制御する制御手段、を有し、
前記サーバーは、前記特定の対象が有する位置センサーからの信号を認識し、認識した結果に基づき前記特定の対象の位置情報を生成することを特徴とする画像処理装置。 - 前記付加情報は枠、カーソル、色や輝度の異なる領域の少なくとも一つを含むことを特徴とする請求項1に記載の画像処理装置。
- 前記付加情報は前記特定の対象が画面外にいる場合には画面から見てどの方向にいるかを示すものであることを特徴とする請求項1または5に記載の画像処理装置。
- 前記付加情報は前記特定の対象がどのくらい画面外にずれているかを示すものであることを特徴とする請求項5または6に記載の画像処理装置。
- 前記付加情報は前記特定の対象がどのくらい画面外にずれているかを矢印の長さまたは太さによって示すものであることを特徴とする請求項7に記載の画像処理装置。
- 前記付加情報は前記特定の対象がどのくらい画面外にずれているかを数字または目盛りによって示すものであることを特徴とする請求項7に記載の画像処理装置。
- 前記サーバーは、前記特定の対象が装着している番号、前記特定の対象の一部または全体の形状を画像認識することを特徴とする請求項3に記載の画像処理装置。
- 前記サーバーは、複数のカメラからの映像の中の前記特定の対象を画像認識し、認識した結果に基づき前記特定の対象の位置情報を生成して前記画像処理装置に送信することを特徴とする請求項1から10のいずれか1項に記載の画像処理装置。
- 前記取得手段によって前記特定の対象の位置情報を取得した後に、前記特定の対象の追跡を行う追跡手段を有することを特徴とする請求項1から請求項11のいずれか1項に記載の画像処理装置。
- 画像を表示する表示手段、
前記表示手段に表示された画面の中から特定の対象を選択する選択手段、
前記選択手段によって選択された前記特定の対象に関する指定情報を生成する指定情報生成手段、
前記指定情報生成手段によって生成された前記指定情報をサーバーに送信する送信手段、
前記サーバーが前記指定情報に基づき生成した前記特定の対象の位置情報を、前記サーバーから取得する取得手段、
前記取得手段によって取得された前記特定の対象の位置情報に基づき前記特定の対象の露出調整またはフォーカス調整の少なくとも一方を制御する制御手段、
前記取得手段によって前記特定の対象の位置情報を取得した後に、前記特定の対象の追跡を行う追跡手段を有し、
前記追跡手段は、前記特定の対象の位置情報をサーバーから取得後に、前記特定の対象の追跡を実行し、追跡に失敗したときには、前記サーバーへ位置情報の送信をリクエストすることを特徴とする画像処理装置。 - 前記サーバーは、前記特定の対象が存在するフィールド全体の映像をあらかじめ取得して前記位置情報の生成をすることを特徴とする請求項1から13のいずれか1項に記載の画像処理装置。
- 前記サーバーは前記フィールドにおける前記特定の対象の位置情報に基づき、前記画像処理装置から前記特定の対象を見たときの相対的な位置情報を生成することを特徴とする請求項14に記載の画像処理装置。
- 前記サーバーは前記フィールドにおける前記特定の対象の第1の位置情報を前記画像処理装置に送信し、前記画像処理装置は前記第1の位置情報に基づき前記画像処理装置から前記特定の対象を見たときの相対的な位置情報を生成することを特徴とする請求項14に記載の画像処理装置。
- 前記選択手段は複数の特定の対象を選択することを特徴とする請求項1から請求項16のいずれか1項に記載の画像処理装置。
- 画像を表示する表示手段、
前記表示手段に表示された画面の中から特定の対象を選択する選択手段、
前記選択手段によって選択された前記特定の対象に関する指定情報を生成する指定情報生成手段、
前記指定情報生成手段によって生成された前記指定情報をサーバーに送信する送信手段、
前記サーバーが前記指定情報に基づき生成した前記特定の対象の位置情報を、前記サーバーから取得する取得手段、
前記取得手段によって取得された前記特定の対象の位置情報に基づき前記特定の対象の露出調整またはフォーカス調整の少なくとも一方を制御する制御手段、を有し、
前記特定の対象は所定の競技における特定の選手であって、前記特定の選手の予め設定された役割から前記特定の選手のいる位置を推定する推定手段を有することを特徴とする画像処理装置。 - 前記推定手段は、リザーブ選手の役割も参照して前記特定の選手の位置を推定することを特徴とする請求項18に記載の画像処理装置。
- 前記推定手段は競技状況を分析した結果に基づき前記特定の選手の位置を推定することを特徴とする請求項18または19に記載の画像処理装置。
- 前記推定手段は選手交代を認識して前記特定の選手の位置を推定することを特徴とする請求項18から20のいずれか一項に記載の画像処理装置。
- 前記制御手段は、前記特定の対象の露出調整またはフォーカス調整の少なくとも一方を前記取得手段によって取得された前記特定の対象の位置情報に基づき制御するモードと、前記取得手段によって取得された前記特定の対象の位置情報に基づかずに制御するモードとを選択可能であることを特徴とする請求項1から21のいずれか一項に記載の画像処理装置。
- 前記制御手段は、前記特定の対象の位置が前記表示手段の表示画面外にある場合に前記付加情報を表示するモードと表示しないモードを選択可能であることを特徴とする請求項1項に記載の画像処理装置。
- 前記特定の対象は所定の競技における特定の選手であって、前記制御手段は、競技状況を分析した結果に基づき、前記付加情報を表示するモードと表示しないモードを選択可能であることを特徴とする請求項1項に記載の画像処理装置。
- 画像を表示する表示手段、
前記表示手段に表示された画面の中から特定の対象を選択する選択手段、
前記選択手段によって選択された前記特定の対象に関する指定情報を生成する指定情報生成手段、
前記指定情報生成手段によって生成された前記指定情報をサーバーに送信する送信手段、
前記サーバーが前記指定情報に基づき生成した前記特定の対象の位置情報を、前記サーバーから取得する取得手段、
前記取得手段によって取得された前記特定の対象の位置情報に基づき前記特定の対象の露出調整またはフォーカス調整の少なくとも一方を制御する制御手段、
前記取得手段によって前記特定の対象の位置情報を取得した後に、前記特定の対象の追跡を行う追跡手段を有し、
前記制御手段は、前記特定の対象の位置が前記表示手段の画面外にある場合に前記追跡手段を動作させるか否かを選択可能であることを特徴とする画像処理装置。 - 画像を表示する表示手段、
前記表示手段に表示された画面の中から特定の対象を選択する選択手段、
前記選択手段によって選択された前記特定の対象に関する指定情報を生成する指定情報生成手段、
前記指定情報生成手段によって生成された前記指定情報をサーバーに送信する送信手段、
前記サーバーが前記指定情報に基づき生成した前記特定の対象の位置情報を、前記サーバーから取得する取得手段、
前記取得手段によって取得された前記特定の対象の位置情報に基づき前記特定の対象の露出調整またはフォーカス調整の少なくとも一方を制御する制御手段、
前記取得手段によって前記特定の対象の位置情報を取得した後に、前記特定の対象の追跡を行う追跡手段を有し、
前記特定の対象は所定の競技における特定の選手であって、前記制御手段は、競技状況に基づき、前記追跡手段を動作させるか否かを選択可能としたことを特徴とする画像処理装置。 - 画像を表示する表示ステップ、
前記表示ステップにより表示された画像の中から特定の対象を選択する選択ステップ、
前記選択ステップによって選択された前記特定の対象に関する指定情報を生成する指定情報生成ステップ、
前記指定情報生成ステップによって生成された前記指定情報をサーバーに送信する送信ステップ、
前記サーバーが前記指定情報に基づき生成した前記特定の対象の位置情報を、前記サーバーから取得する取得ステップ、
前記取得ステップで取得された前記特定の対象の位置情報に基づき前記特定の対象の露出調整またはフォーカス調整の少なくとも一方を制御する制御ステップ、
を有し、
前記制御ステップは、前記位置情報に基づき前記表示ステップの表示画面内または表示画面外における前記特定の対象の位置を付加情報として表示することを特徴とする画像処理方法。 - 画像を表示する表示ステップ、
前記表示ステップにより表示された画像の中から特定の対象を選択する選択ステップ、
前記選択ステップによって選択された前記特定の対象に関する指定情報を生成する指定情報生成ステップ、
前記指定情報生成ステップによって生成された前記指定情報をサーバーに送信する送信ステップ、
前記サーバーが前記指定情報に基づき生成した前記特定の対象の位置情報を、前記サーバーから取得する取得ステップ、
前記取得ステップで取得された前記特定の対象の位置情報に基づき前記特定の対象の露出調整またはフォーカス調整の少なくとも一方を制御する制御ステップ、
前記取得ステップによって前記特定の対象の位置情報を取得した後に、前記特定の対象の追跡を行う追跡ステップを有し、
前記追跡ステップは、前記特定の対象の位置情報をサーバーから取得後に、前記特定の対象の追跡を実行し、追跡に失敗したときには、前記サーバーへ位置情報の送信をリクエストすることを特徴とする画像処理方法。 - 請求項1から26のうちいずれか一項に記載の画像処理装置の各手段としてコンピュータを機能させるためのコンピュータプログラム。
- 請求項29に記載のコンピュータプログラムを記憶したコンピュータで読み取り可能な記憶媒体。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018209480A JP7233886B2 (ja) | 2018-11-07 | 2018-11-07 | 画像処理装置 |
PCT/JP2019/040874 WO2020095647A1 (ja) | 2018-11-07 | 2019-10-17 | 画像処理装置、画像処理サーバー、画像処理方法、コンピュータプログラム及び記憶媒体 |
CN201980088091.XA CN113273171A (zh) | 2018-11-07 | 2019-10-17 | 图像处理装置、图像处理服务器、图像处理方法、计算机程序和存储介质 |
US17/307,582 US20210258496A1 (en) | 2018-11-07 | 2021-05-04 | Image processing device, image processing server, image processing method, and storage medium |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018209480A JP7233886B2 (ja) | 2018-11-07 | 2018-11-07 | 画像処理装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020077952A JP2020077952A (ja) | 2020-05-21 |
JP7233886B2 true JP7233886B2 (ja) | 2023-03-07 |
Family
ID=70724472
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018209480A Active JP7233886B2 (ja) | 2018-11-07 | 2018-11-07 | 画像処理装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7233886B2 (ja) |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008227877A (ja) | 2007-03-13 | 2008-09-25 | Hitachi Ltd | 映像情報処理装置 |
JP2009010967A (ja) | 2001-09-28 | 2009-01-15 | Fujifilm Corp | 撮影支援装置 |
JP2009239733A (ja) | 2008-03-27 | 2009-10-15 | Sony Corp | 撮像装置、撮像方法及びプログラム |
JP2010198104A (ja) | 2009-02-23 | 2010-09-09 | Nec Corp | 映像表示システム、携帯端末システム、携帯端末装置及びサーバ並びにその映像表示方法 |
JP2012015642A (ja) | 2010-06-29 | 2012-01-19 | Sanyo Electric Co Ltd | 撮像装置 |
JP2012209943A (ja) | 2011-03-29 | 2012-10-25 | Sony Corp | アノテーション方法、アノテーション装置、および携帯電話機 |
JP2013168854A (ja) | 2012-02-16 | 2013-08-29 | Nikon Corp | 撮影装置、サーバ装置及び管理システム |
JP2015032910A (ja) | 2013-07-31 | 2015-02-16 | キヤノン株式会社 | 遠隔操作装置およびその制御方法、撮像装置およびその制御方法、システム、並びにプログラム |
WO2016017121A1 (ja) | 2014-07-28 | 2016-02-04 | パナソニックIpマネジメント株式会社 | 拡張現実表示システム、端末装置および拡張現実表示方法 |
JP2017228082A (ja) | 2016-06-22 | 2017-12-28 | キヤノン株式会社 | 追跡装置、追跡方法、及びプログラム |
-
2018
- 2018-11-07 JP JP2018209480A patent/JP7233886B2/ja active Active
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009010967A (ja) | 2001-09-28 | 2009-01-15 | Fujifilm Corp | 撮影支援装置 |
JP2008227877A (ja) | 2007-03-13 | 2008-09-25 | Hitachi Ltd | 映像情報処理装置 |
JP2009239733A (ja) | 2008-03-27 | 2009-10-15 | Sony Corp | 撮像装置、撮像方法及びプログラム |
JP2010198104A (ja) | 2009-02-23 | 2010-09-09 | Nec Corp | 映像表示システム、携帯端末システム、携帯端末装置及びサーバ並びにその映像表示方法 |
JP2012015642A (ja) | 2010-06-29 | 2012-01-19 | Sanyo Electric Co Ltd | 撮像装置 |
JP2012209943A (ja) | 2011-03-29 | 2012-10-25 | Sony Corp | アノテーション方法、アノテーション装置、および携帯電話機 |
JP2013168854A (ja) | 2012-02-16 | 2013-08-29 | Nikon Corp | 撮影装置、サーバ装置及び管理システム |
JP2015032910A (ja) | 2013-07-31 | 2015-02-16 | キヤノン株式会社 | 遠隔操作装置およびその制御方法、撮像装置およびその制御方法、システム、並びにプログラム |
WO2016017121A1 (ja) | 2014-07-28 | 2016-02-04 | パナソニックIpマネジメント株式会社 | 拡張現実表示システム、端末装置および拡張現実表示方法 |
JP2017228082A (ja) | 2016-06-22 | 2017-12-28 | キヤノン株式会社 | 追跡装置、追跡方法、及びプログラム |
Also Published As
Publication number | Publication date |
---|---|
JP2020077952A (ja) | 2020-05-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11860511B2 (en) | Image pickup device and method of tracking subject thereof | |
US10848662B2 (en) | Image processing device and associated methodology for determining a main subject in an image | |
CN103369234B (zh) | 服务器、客户终端和*** | |
JP4121974B2 (ja) | 画像撮影システムおよび画像撮影方法 | |
JP2020086983A (ja) | 画像処理装置、画像処理方法、及びプログラム | |
JP2008005208A (ja) | スポーツ競技におけるカメラ自動制御システム、カメラ自動制御方法、カメラ自動制御装置、およびプログラム | |
JP2014050022A (ja) | 画像処理装置、撮像装置、およびプログラム | |
US20210258505A1 (en) | Image processing apparatus, image processing method, and storage medium | |
WO2021200184A1 (ja) | 情報処理装置、情報処理方法、及び、プログラム | |
US20210258496A1 (en) | Image processing device, image processing server, image processing method, and storage medium | |
JP7233886B2 (ja) | 画像処理装置 | |
JP7282519B2 (ja) | 画像処理装置または画像処理サーバー | |
JP7233887B2 (ja) | 画像処理装置 | |
JP7289630B2 (ja) | 画像処理装置 | |
JP4849330B2 (ja) | 表示制御装置および方法、撮像装置、情報処理装置および方法、並びにプログラム | |
JP7235098B2 (ja) | 情報配信装置、情報配信方法、情報配信プログラム | |
JP2014123853A (ja) | 撮影機器、画像表示装置 | |
US20240179408A1 (en) | Image processing apparatus, image capture apparatus, and image processing method | |
CN115334241B (zh) | 对焦控制方法、装置、存储介质及摄像设备 | |
JP2023124598A (ja) | 主被写体判定装置、撮像装置、主被写体判定方法、及びプログラム | |
JP2023084461A (ja) | 主被写体判定装置、撮像装置、主被写体判定方法、及びプログラム | |
JP2003125389A (ja) | 映像配信装置及びその方法 | |
JP2021040225A (ja) | 制御装置、撮像装置、撮像システム、制御方法、および、プログラム | |
JP2021010088A (ja) | 画像提供システム、画像提供装置、その制御方法、及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20211102 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220927 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221121 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230124 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230222 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7233886 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |