JP7289630B2 - 画像処理装置 - Google Patents
画像処理装置 Download PDFInfo
- Publication number
- JP7289630B2 JP7289630B2 JP2018209469A JP2018209469A JP7289630B2 JP 7289630 B2 JP7289630 B2 JP 7289630B2 JP 2018209469 A JP2018209469 A JP 2018209469A JP 2018209469 A JP2018209469 A JP 2018209469A JP 7289630 B2 JP7289630 B2 JP 7289630B2
- Authority
- JP
- Japan
- Prior art keywords
- information
- specific target
- server
- player
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Exposure Control For Cameras (AREA)
- Focusing (AREA)
- Automatic Focus Adjustment (AREA)
- Closed-Circuit Television Systems (AREA)
- Studio Devices (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Description
特許文献2には、撮像された画像から取得したAF評価値に基づいてフォーカスレンズを駆動し、自動焦点検出制御を行う自動焦点検出装置が記載されている。
同様に、競技場や自宅の端末で競技をモニターしている一般ユーザーにとっても特定の選手を見失ったり競技の状況がわからなくなったりする場合が多かった。同様にカーレースや飛行機レースや競馬などにおいても特定の車両や飛行機や馬などの対象を見失ってしまうことがあった。更には特定の人物を街角で追跡する場合においても雑踏の中にその特定の人物が紛れてしまい見失うことがあった。また、そのような、注目している特定の対象を目視で追いかけることに専念しているとその対象に対する撮影やピント合わせや露出調整などをスムーズにできないという問題があった。
本発明は、上記、課題を解決し、撮影者や観察者にとって有益な情報をタイムリーに表示できる画像処理装置を提供することを目的とする。
画像を表示する表示手段、
前記表示手段に表示された画像の中から特定の対象を選択する選択手段、
前記選択手段によって選択された前記特定の対象に関する指定情報を生成する指定情報生成手段、
前記指定情報生成手段によって生成された前記指定情報をサーバーに送信する送信手段、
前記サーバーから前記指定情報に基づく前記特定の対象の位置情報を取得する取得手段、
前記取得手段によって取得された前記特定の対象の位置情報に基づき付加情報を前記表示手段に表示する制御手段、
前記取得手段によって前記特定の対象の位置情報を取得した後に、前記特定の対象の追跡を行う追跡手段、を有し、
前記制御手段は、前記位置情報に基づき前記表示手段の表示画面内における前記特定の対象の位置を前記付加情報として表示することを特徴とする。
最初に撮影や映像モニターを支援するための、画像処理装置を用いたシステムの全体像について図1を用いて説明する。
従って、そのような各ユーザーには見えない、わかりにくい情報をサーバーが把握して配信することによって観客に対するサービスを大幅に向上することができる。
105は有線/無線などによるLANやインターネットであり、106は、入力手段111から出力された情報をサーバー110で入力するための接続線である。107は、基地局112への信号を送受信するための接続線、108は、基地局の無線通信を実行するためのアンテナ部である。
すなわち、上記の100番台のブロックは、プロカメラマンや一般観客などによる映像撮影等をサポートするためのブロックである。
201は、イーサネット(登録商標)コントローラであり、204は選手の役割(所謂ポジション)に応じたプレイ位置を検出する検出部である。ここで選手の役割(ポジション)は予め登録等によって設定される。例えば、ラグビーの場合の役割(ポジション)としては、1、3はプロップ、2はフッカー、4、5はロック、6、7はフランカー、8はナンバー8と呼ばれ、9はスクラムハーフ、10はスタンドオフと呼ばれる。また、11、14はウィング、12、13はセンター、15はフルバックと呼ばれる。
これらの選手のいる場所は、セットプレイの時などは、フォワードは、攻撃している前方にいて、バックスは、攻撃している後方にいることが多い。
なお、通常は、背番号から、選手の役割は認識できることが多い。しかしながら、場合によっては、10番の選手が怪我をして、15番の選手がスタンドオフ(10番の位置に入り)、リザーブ選手が、15番に入ることなどがある。ここで、リザーブ選手の背番号は、16から23である。しかし、背番号だけからポジションが確定するわけではない。従って204の検出部では選手の予め設定された役割に応じたプレイ位置を検出し、この検出したプレイ位置の情報は、サーバー110内のCPU211に取り込まれるが、上記の予め設定された役割は競技中に選手交代などによって変更になる場合もある。
207は選手の体格認識部であり、注目選手の予め登録された体格写真情報に基づき前記のような画像認識技術を用いて選手を見つける。
210は各端末401~403から送られてくる各端末の位置情報と方角情報と画角情報から、各端末の位置と各端末のカメラの向いている方角と画角を検出するカメラ位置情報、方角検出部である。
1101はサーバー110内のデータバスラインである。
図3、図4に示されるデジタルカメラは、動画および静止画の撮影、並びに、撮影情報の記録が可能である。また、図3、図4において、CPU(Central Processing Unit)318、プログラムメモリ319、データメモリ320は重複して示すが、これらは同一のブロックでありそれぞれ1つだけ内蔵されている。
図3において、301はイーサネット(登録商標)コントローラである。302は記憶媒体であり、デジタルカメラで撮影した動画、静止画が所定のフォーマットで格納される。
さらに、操作部入力手段306において、注目選手をサーバーからの位置情報に基づき自動追尾するか否かを選択/設定できる。どの選手を注目選手(特定の対象)に指定するか、注目選手の自動追尾をサーバーからの位置情報に基づき実行するか否かなどの情報は、選択手段としての操作部入力手段306によって生成される。即ち操作部入力手段306は特定の対象に関する指定情報を生成する指定情報生成手段として機能している。
313は選手の背番号検出部であり、注目選手の背番号(もちろん前側の番号でもよい)から前述のような画像認識技術によって選手を見つけるものである。314は端末のレンズの向いている方角を検出する方角検出部である。315は端末の位置情報を例えばGPSなどを用いて検出する位置検出部である。
データメモリ320は、デジタルカメラの設定条件を格納したり、撮影した静止画、動画、さらには、静止画、動画の属性情報などを格納したりするためのものである。
371は、デジタルカメラ自身で注目選手の追跡を行うための追跡部である。ここでいう追跡とは例えば注目選手を囲む枠表示を画面内で移動させるとともに、前記枠によって追尾される注目選手にフォーカスを合わせたり、露出を合わせたりする。
カメラ500からサーバー110には、注目選手指定情報(背番号、選手名などのID情報)を通知する。その際ユーザーは端末の画面上で注目選手の位置をタッチしてもよいし、指を画面にタッチしたまま注目選手の周りを指で囲んでもよい。あるいはメニューで画面上に複数の選手のリストを表示し、その中の注目選手名をタッチしたりしてもよいし、あるいは画面上に文字入力画面を表示し選手名や選手の背番号を入力してもよい。その際、注目選手の画面上の顔位置をタッチすると顔を画像認識したり背番号を画像認識して選手名や背番号などを送ったりしてもよい。あるいは、画像認識せずに顔画像そのものをサーバーに送って、サーバー側で画像認識してもよい。またこの時あらかじめ決まったパスワードがあればそれもサーバーに送る。サーバー側では、映像を撮影することをサポートするブロックにより、注目選手指定情報(背番号、選手名等のID情報)に基づいて、選手のいる絶対値的な位置に関する情報をカメラに送る。パスワードもカメラから送られてくればそれに応じてカメラに送る情報の内容を変更する。
また、本実施例は撮影アシストの例を用いて説明しているが、端末が家庭用のTVであってもよい。即ち、TVを見ている観客が注目選手を指定したら、サーバーがその注目選手の位置情報などをTVに送って注目選手を枠表示等により目立つように表示してもよい。なお、枠だけでなく、カーソル(例えば矢印など)で注目選手を示してもよいし、注目選手位置の領域の色や輝度を他の部分と異ならせてもよい。注目選手が端末の画面外にいる場合には、端末の画面に対してどの方向にずれているかを矢印や文字で表示してもよい。また表示画面外にいる場合に端末が現在見ている角度からどのくらい離れているか(ずれているか)、どのくらい端末を回転しないと注目選手が表示画面内に入らないかなどを矢印の長さや太さや、数字や目盛りなどで表示してもよい。
あるいは競技の状況を自動的に判断して、注目選手がベンチに下がった場合等には、画面外に注目選手が移動しても、画面外にいることを矢印等で表示しないようにしてもよい。そのように自動的に付加情報の表示を消すモードと消さないモードをユーザーが選択できるようにすると更に使い勝手が向上する。
図7(A)においてS101は初期化を表している。S102で写真撮影が選択されたか否かが判断され、写真撮影が選択されるとS103に進み、写真撮影が選択されていないとS101に進む。S103ではカメラの設定情報を入手する。S104では注目選手の撮影(指定)が選択されたか否かが判断され、注目選手の撮影が選択されているとS105に進み、注目選手の撮影が選択されていないとS110に進みその他の処理をする。S105は注目選手情報(注目選手のID情報等)とパスワードがあればそれをカメラからサーバーに送る。これによってサーバー側は注目選手の位置情報を検出してカメラに送信する。S106ではサーバーから注目選手の位置情報等をサーバーから受けとる。
S109では注目選手の撮影が終了したか否かが判断され、注目選手の撮影が終了するとS101に進む。注目選手の撮影が継続している場合には、S105に進み、再度、注目選手の情報をサーバーに送り、S106で、注目選手の情報をサーバーから受け取り、再度、注目選手の位置を認識して、注目選手の撮影を継続する。即ち、追跡が失敗した場合はS108でNoとなり、その場合追跡を継続するならS105に戻ってサーバーに位置情報のリクエストを行う。
図7(B)は、カメラ側におけるS107-2の注目選手マーク表示のフロー例を示している。S120ではサーバーから受け取った位置情報に基づき、表示部における注目選手の相対位置を計算して求める。S121では画像表示部にイメージセンサーからのライブビュー画像を表示している状態において、注目選手に位置を示すマークなどを重畳する。
また、プロカメラマンや観客のカメラ等の端末は、サーバーから選手の絶対位置情報を受信するとこの絶対位置情報と今撮影あるいはモニターしている映像とのマッピングが可能になる。なお、例えばサーバーからの注目選手のフィールド内での絶対位置情報を(X、Y)とする。この絶対位置情報を個々のカメラの位置情報に従い、カメラから見たときの相対的な位置情報(X´、Y´)に変換する必要がある。上記の絶対位置情報から相対位置情報への変換は、S120のようにカメラ側で実施してもよいし、サーバー側で変換した後に個々の端末(カメラなど)に相対位置情報を送ってもよい。
一方、サーバーで上記変換を実行する場合は、サーバーは、絶対位置情報(X、Y)から個々のカメラのGPS等を用いた位置情報に従い、個々のカメラの相対的な位置情報(X´、Y´)に変換する。サーバーは、個々のカメラに対して、この相対的な位置情報を送り、この相対的な位置情報を受信したカメラは、この相対的な位置情報を個々のカメラ側の表示画面内での位置情報とする。
なお、図8はカメラ等の端末側の注目選手表示追跡制御フローの他の例を表している。図8において、S101、S102、S103、S104、S105、S106、S107、S107-2、S110は、図7と同一の制御であり説明は省略する。
図9はデジタルカメラの追跡部371の機能構成例を示すブロック図である。追跡部371は、照合部3710と特徴抽出部3711と距離マップ生成部3712からなる。特徴抽出部3711はサーバーから送られた位置情報に基づき、追跡すべき画像領域(被写体領域)を特定する。そしてこの被写体領域の画像から特徴量を抽出する。一方、照合部3710は継続して供給される個々のフレームの撮像画像内で、前記の抽出した特徴量を参照して、前フレームの被写体領域と類似度の高い領域を被写体領域として探索する。なお距離マップ生成部3712により撮像素子からの1対の視差画像(A像とB像)から被写体までの距離情報を取得し、照合部3710における被写体領域の特定精度を上げることもできる。ただし距離マップ生成部3712は必ずしもなくても構わない。
照合部3710が、特徴抽出部3711から供給される画像内の被写体領域の特徴量に基づいて被写体領域と類似度の高い領域を被写体領域として探索する際には例えばテンプレートマッチングやヒストグラムマッチングなどを用いる。
カメラ等の端末から送られてきた注目選手のID情報等に基づき、サーバーは注目選手の画像認識を行う。サーバーはサーバー用の複数台のカメラ(固定されたカメラや移動カメラなど)からの映像をもとに選手の位置情報を検出して、プロカメラマンや観客のカメラ端末などに選手の位置情報を送る。特に、プロカメラマンや観客が撮影を行う際に、サーバーからの注目選手の位置情報があれば注目選手を間違えることなく確実に撮影できる。さらに、カメラでも注目選手の追跡を実施している際に、死角となって選手を見失ったときなどにおいても同様に、サーバーからの情報は重要になる。なお、サーバー側ではサーバー用の複数台のカメラからの映像をもとに選手の位置情報を検出し続ける。
図10において、最初にS201で初期化を行う。次にS202でカメラにおいて写真撮影が選択されたか否かが判断され、写真撮影が選択されるとS203に進み、カメラの設定情報を入手する。このときカメラの設定情報の中にパスワードがあればそれも入手する。写真撮影が選択されていないとS201に進む。S204では、注目選手の撮影(指定)が選択されたか否かが判断され、注目選手の撮影が選択されているとS205に進み、サーバーは、カメラから注目選手のID情報(例えば選手名、背番号など)を受信する。S204で注目選手の撮影が選択されていないとS210に進みその他の処理をする。
図11は背番号情報を用いた注目選手検出制御フローを示す。図11において、S401で、サーバーは注目選手のID情報に基づきデータメモリ213から背番号を取得し、サーバー用の複数台のカメラの映像情報の中からこの背番号を画像認識で探し、その背番号の選手の位置情報を取得する。S402において、更にサーバー用の複数台のカメラの画像から取得された位置情報を総合することにより、注目選手の絶対位置情報を取得する。このようにサーバー用の複数台のカメラの情報を総合することによって、ある背番号の選手の絶対位置情報の精度が向上する。S403では、S402で検出した注目選手の絶対位置をプロカメラマンや観客の保有するカメラ等の端末に対して送信する。S404では、注目選手の追跡が継続しているか否かが判断され、注目選手の追跡が継続しているとS401に戻り、注目選手の追跡が継続していないと図11のフローを終了する。
図12のフローでは、複数台のカメラの映像に基づき、例えばラグビーにおけるシンビンなどの反則を判定して、一時的退出する選手の情報も検出して、サーバーは、この情報をプロカメラマンや一般観客の保有するカメラ等の端末に送る。なお、シンビンとみなされた選手は、10分間、試合に出られなくなる。選手が反則をした場合、反則の重さによっても異なるが、即座に退場というレッドカードに対して、10分間試合に出場できないシンビンという反則は、選手が少なくとも一時的にフィールドからでていくものである。
注目選手が反則をしたかを検出する注目選手検出制御フロー(サーバー側)が図12に示されている。
なお、選手の役割=ポジションとしてボールの位置に応じて、試合の状況(あるチームが攻撃しているか守備をしているか)を判断したが、たとえば、試合状況(競技状況)に基づいた制御としては、ボールの位置に限定されない。
それ以外にも、審判他のコールを音声情報として認識して検出する方法がある。また、大型スクリーンに表示される反則情報から検出するようにしてもよい。
以上のように、プロカメラマンや観客は、判定状況がリアルタイムでわかれば、次のボールの位置を予測することも可能になる。またこの反則の情報をカメラの表示部に表示すれば、カメラ端末側では、この表示を見ることで、次に考えられるボールの位置を予測でき、より良いシャッターチャンスの写真を撮ることができる。
トライ判定制御フロー(サーバー側)が図13に図示されている。
図13において、S1101は、初期化を表している。ここで、TRYジャッジフラグは、クリアする。S1102では、写真撮影が選択されたか否かが判断され、写真撮影が選択されるとS1103に進み、写真撮影が選択されていないとS1101に進む。S1103では、カメラの設定情報を入手する。S1104では、複数台のカメラの映像から、試合で使用しているボールを追いかける。
図14(A)、(B)、図15(A)、(B)、図16に、トライの判定を行う具体例が図示されており、これについては後述する。
以上は、トライの有無を判定する制御である。しかしながら、CPUはこの制御のみを実行するのではなく、例えば、図10に示した注目選手の検出制御と同時並行して実行しても良い。
サーバー側でボールの動きからのトライの有無を判定するフローを図14(A)に示す。
図14(A)において、S1201では、サーバーは、複数台のカメラの画像からボールのある場所を検出する。S1202では、複数台のカメラの画像からトライと思われるシーンでトライがあったかをボールの動きから認識する。
複数台のカメラの映像を分析して、トライが行われたと思われるプレイがあった時には、複数台のカメラの映像から、その後の注目選手の周囲にいる審判のルール上の動作を分析し画像認識して、審判の動作からトライであったか否かを認識してもよい。サーバーは、認識したこの審判の動作からトライであったか否かの分析結果に関する情報(動作認識結果)を選手情報とともにプロカメラマンや一般観客の保有するカメラ等の端末に対して送る。
図14(B)において、S1301では、サーバーは、複数台のカメラの映像からトライ判定をしているような動きの近くの審判の動作を検出する。S1302では、複数台のカメラの映像からトライと思われるシーンでトライがあったかを審判の動作から認識する。
図21には、トライ有無判定の審判動作が、図示されている。図21において、図21(A)は、トライが成立した時に、審判の動作である。図21(B)は、トライが成立しない時の審判の動作である。
複数台のカメラの映像を分析して、トライが行われたと思われるプレイがあった時には、複数台のカメラで、競技場の大型スクリーンに映し出される情報を入力して、このスクリーンの情報からトライであったか否かを認識する。サーバーは、認識したこのスクリーンの情報からトライであったか否かの情報を選手情報とともにプロカメラマンや一般観客の保有するカメラ等の端末に対して送る。
サーバー側における、スクリーン表示の判定結果からのトライの有無を判定するフローを図15(A)に示す。図15(A)において、S1401では、サーバーは、複数台のカメラからの画像からトライのような動きの後のスクリーンに表示される判定結果の情報を検出する。S1402では、複数台のカメラの画像からトライと思われるシーンでトライがあったかをスクリーンに表示される判定結果から認識する。
複数台のカメラの映像を分析して、トライが行われたと思われるプレイがあった時には、複数台のカメラの画像に基づき、スクリーンに映し出される得点情報を入力して、このスクリーンの得点情報からトライであったか否かを認識する。サーバーは、認識したこのスクリーンの得点情報からトライであったか否かの情報を選手情報とともにプロカメラマンや一般観客の保有するカメラ等の端末に対して送る。トライをすると得点は5点入り、その後のコンバージョンキックが成功すると得点は2点入る。また、ペナルティキック、あるいは、ドロップゴールに成功すると得点は3点入る。トライが行われたと思われる前の得点とトライが行われた後の得点を比較することでトライが成功したかを認識できる。
スクリーンの得点情報からサーバーがトライの有無を判定するフローを図15(B)に示す。
複数台のカメラ(固定カメラや移動カメラ)についているマイクから入力される音声情報を分析し、トライが行われたと思われるプレイがあった時には、上記マイクからの音声情報からトライであったか否かを認識する。サーバーは、認識したこの音声情報からトライであったか否かの情報を選手情報とともにプロカメラマンや一般観客の保有するカメラ等の端末に対して送る。
サーバーによる、音声情報からトライの有無を判定する具体的なフローを図16に示す。図16において、S1601では、サーバーは、複数台のカメラのマイクからトライのような動きの後の音声情報を検出する。S1602では、複数台のカメラのマイクからトライと思われるシーンでトライがあったかを音声情報に基づき認識する。
なお、トライが行われたかどうかのサーバー側の検出フローは、図13に図示されているが、トライが行われたかどうかに関するカメラ等の端末側の制御について説明する。
図17はカメラ等の端末側のトライ判定制御フローを示している。図17においてS101からS107-2、S109、S110は、図8のステップと同一であるので説明を省略する。
なお、S1620で注目選手の追跡継続に成功していないとS109に進み、注目選手の撮影が終了したか否かを判断し、終了していなければS105に戻る。終了していればS1623に進み、サーバーからトライ判定結果が送られたか否かが判断され、サーバーからトライ判定結果が送られているとS1624に進みカメラ端末の表示部にトライの判定結果を表示する。サーバーからトライ判定結果が送られていないとS101に戻る。
反則が行われたかどうかの検出方法の例を説明する
サーバー側での選手の反則判定の制御フローを図18に示す。
図18において、S1701は初期化を表している。ここで、ジャッジフラグをクリアする。S1702では、写真撮影が選択されたか否かが判断され、写真撮影が選択されるとS1703に進みカメラの設定情報を入手する。写真撮影が選択されていないとS1701に戻る。S1704では、複数台のカメラで、試合に出場している選手全員を追いかける。S1705では、ジャッジフラグが0であるか否かが判断され、ジャッジフラグが0であるとS1706に進み、ジャッジフラグが0でないとS7107に進む。
S1712では、ゲームが終了したか否かが判断され、ゲームが終了しているとS1701に進み、ゲームが終了していないとS1704に進む。
サーバー側における、審判動作からの選手の反則判定フローの例を図19(A)に示す。図19(A)において、S1801では、サーバーは、複数台のカメラの映像から選手の反則のような動きの審判の動作を検出する。S1802では、複数台のカメラの映像から選手の反則と思われるシーンで選手の反則があったかを審判の動作から認識する。
複数台のカメラについているマイクから入力される音声情報を分析して、反則が行われたと思われるプレイがあった時には、上記マイクからの音声情報を分析して、音声情報から反則であったか否かを認識する。そしてサーバーは、認識したこの音声情報から反則であったか否かの情報を選手情報とともにプロカメラマンや一般観客の保有するカメラ等の端末に対して送る。
サーバー側における、音声情報からの選手の反則を判定するフローを図19(B)に示す。図19(B)において、S1901では、サーバーは、複数台のカメラのマイクから選手の反則のような動きの後の音声情報を検出する。S1902では、複数台のカメラのマイクから選手の反則と思われるシーンで選手の反則があったかと、選手に反則があった場合、その反則のレベルを音声情報から認識する。
ここでは、図20にカメラ側の反則判定制御フローが図示されており、カメラ側でのトライ判定制御フローがベースになっており、カメラ側に反則の状況を表示する。
図20において、図17とはS7421~S7424のみが異なる。即ち、図17におけるS1621、S1622、S1623、S1624は、S7421、S7422、S7423、S7424に置き換わり、それぞれ、の「トライ判定」が「反則判定」になっている点のみ異なる。
また、本発明における制御の一部または全部を上述した実施例の機能を実現するプログラム(ソフトウェア)をネットワーク又は各種記憶媒体を介して撮像装置や情報処理装置に供給するようにしてもよい。そしてその撮像装置や情報処理装置におけるコンピュータ(又はCPUやMPU等)がプログラムを読み出して実行するようにしてもよい。その場合、そのプログラム、及び該プログラムを記憶した記憶媒体は本発明を構成することとなる。
401,402,403 ・・・・ 端末
110 ・・・・ サーバー
371 ・・・・ 追跡部
380 ・・・・ 画像表示部
Claims (21)
- 画像を表示する表示手段、
前記表示手段に表示された画像の中から特定の対象を選択する選択手段、
前記選択手段によって選択された前記特定の対象に関する指定情報を生成する指定情報生成手段、
前記指定情報生成手段によって生成された前記指定情報をサーバーに送信する送信手段、
前記サーバーから前記指定情報に基づく前記特定の対象の位置情報を取得する取得手段、
前記取得手段によって取得された前記特定の対象の位置情報に基づき付加情報を前記表示手段に表示する制御手段、
前記取得手段によって前記特定の対象の位置情報を取得した後に、前記特定の対象の追跡を行う追跡手段、を有し、
前記制御手段は、前記位置情報に基づき前記表示手段の表示画面内における前記特定の対象の位置を前記付加情報として表示することを特徴とする画像処理装置。 - 画像を表示する表示手段、
前記表示手段に表示された画像の中から特定の対象を選択する選択手段、
前記選択手段によって選択された前記特定の対象に関する指定情報を生成する指定情報生成手段、
前記指定情報生成手段によって生成された前記指定情報をサーバーに送信する送信手段、
前記サーバーから前記指定情報に基づく前記特定の対象の位置情報を取得する取得手段、
前記取得手段によって取得された前記特定の対象の位置情報に基づき付加情報を前記表示手段に表示する制御手段、
前記取得手段によって前記特定の対象の位置情報を取得した後に、前記特定の対象の追跡を行う追跡手段、を有し、
前記サーバーは、複数台のカメラからの映像を分析して、前記特定の対象の位置情報を生成して外部に送信可能なものであることを特徴とする画像処理装置。 - 画像を表示する表示手段、
前記表示手段に表示された画像の中から特定の対象を選択する選択手段、
前記選択手段によって選択された前記特定の対象に関する指定情報を生成する指定情報生成手段、
前記指定情報生成手段によって生成された前記指定情報をサーバーに送信する送信手段、
前記サーバーから前記指定情報に基づく前記特定の対象の位置情報を取得する取得手段、
前記取得手段によって取得された前記特定の対象の位置情報に基づき付加情報を前記表示手段に表示する制御手段、
前記取得手段によって前記特定の対象の位置情報を取得した後に、前記特定の対象の追跡を行う追跡手段、を有し、
前記サーバーは、カメラからの映像を分析して、前記特定の対象の動作を認識して動作認識結果を生成して外部に送信可能なものであることを特徴とする画像処理装置。 - 前記動作認識結果は所定のスポーツにおける前記特定の対象による所定のルール上の動作を判定した結果を含むことを特徴とする請求項3に記載の画像処理装置。
- 前記動作認識結果は所定のスポーツにおける得点に関する動作の認識結果を含むことを特徴とする請求項3に記載の画像処理装置。
- 前記動作認識結果は所定のスポーツにおける反則に関する動作の認識結果を含むことを特徴とする請求項3に記載の画像処理装置。
- 画像を表示する表示手段、
前記表示手段に表示された画像の中から特定の対象を選択する選択手段、
前記選択手段によって選択された前記特定の対象に関する指定情報を生成する指定情報生成手段、
前記指定情報生成手段によって生成された前記指定情報をサーバーに送信する送信手段、
前記サーバーから前記指定情報に基づく前記特定の対象の位置情報を取得する取得手段、
前記取得手段によって取得された前記特定の対象の位置情報に基づき付加情報を前記表示手段に表示する制御手段、
前記取得手段によって前記特定の対象の位置情報を取得した後に、前記特定の対象の追跡を行う追跡手段、を有し、
前記サーバーはカメラからの映像に基づき、前記特定の対象以外の周囲の情報を分析して分析結果を外部に送信可能なものであることを特徴とする画像処理装置。 - 前記サーバーは、映像を分析して、前記特定の対象以外の対象の動作を認識した結果に基づき動作認識結果を生成して前記画像処理装置に送信することを特徴とする請求項7に記載の画像処理装置。
- 前記動作認識結果は所定の競技における審判の動作に関する認識結果を含むことを特徴とする請求項8に記載の画像処理装置。
- 画像を表示する表示手段、
前記表示手段に表示された画像の中から特定の対象を選択する選択手段、
前記選択手段によって選択された前記特定の対象に関する指定情報を生成する指定情報生成手段、
前記指定情報生成手段によって生成された前記指定情報をサーバーに送信する送信手段、
前記サーバーから前記指定情報に基づく前記特定の対象の位置情報を取得する取得手段、
前記取得手段によって取得された前記特定の対象の位置情報に基づき付加情報を前記表示手段に表示する制御手段、
前記取得手段によって前記特定の対象の位置情報を取得した後に、前記特定の対象の追跡を行う追跡手段、を有し、
前記サーバーは、映像に伴う音声に基づき前記特定の対象以外の周囲の情報を分析して分析結果を外部に送信可能なものであることを特徴とする画像処理装置。 - 画像を表示する表示手段、
前記表示手段に表示された画像の中から特定の対象を選択する選択手段、
前記選択手段によって選択された前記特定の対象に関する指定情報を生成する指定情報生成手段、
前記指定情報生成手段によって生成された前記指定情報をサーバーに送信する送信手段、
前記サーバーから前記指定情報に基づく前記特定の対象の位置情報を取得する取得手段、
前記取得手段によって取得された前記特定の対象の位置情報に基づき付加情報を前記表示手段に表示する制御手段、
前記取得手段によって前記特定の対象の位置情報を取得した後に、前記特定の対象の追跡を行う追跡手段、を有し、
前記選択手段は、表示手段に表示された画像の中からユーザーが特定の対象の画像を選択することによって画像認識によって前記特定の対象を選択することを特徴とする画像処理装置。 - 前記指定情報生成手段は選択手段によって選択された前記特定の対象の画像を画像認識した結果に基づき前記特定の対象に関する指定情報を生成することを特徴とする請求項11に記載の画像処理装置。
- 画像を表示する表示手段、
前記表示手段に表示された画像の中から特定の対象を選択する選択手段、
前記選択手段によって選択された前記特定の対象に関する指定情報を生成する指定情報生成手段、
前記指定情報生成手段によって生成された前記指定情報をサーバーに送信する送信手段、
前記サーバーから前記指定情報に基づく前記特定の対象の位置情報を取得する取得手段、
前記取得手段によって取得された前記特定の対象の位置情報に基づき付加情報を前記表示手段に表示する制御手段、
前記取得手段によって前記特定の対象の位置情報を取得した後に、前記特定の対象の追跡を行う追跡手段、を有し、
前記制御手段は、前記取得手段によって取得された前記特定の対象の位置情報に基づき、前記表示手段の表示画面内における前記特定の対象の位置を示す付加情報を表示することを特徴とする画像処理装置。 - 前記付加情報は枠、カーソル、色や輝度の異なる領域、前記特定の対象が画面外にいる場合にはどの方向にいるか、どのくらい離れているかを示すものであることを特徴とする請求項13に記載の画像処理装置。
- 画像を表示する表示手段、
前記表示手段に表示された画像の中から特定の対象を選択する選択手段、
前記選択手段によって選択された前記特定の対象に関する指定情報を生成する指定情報生成手段、
前記指定情報生成手段によって生成された前記指定情報をサーバーに送信する送信手段、
前記サーバーから前記指定情報に基づく前記特定の対象の位置情報を取得する取得手段、
前記取得手段によって取得された前記特定の対象の位置情報に基づき付加情報を前記表示手段に表示する制御手段、
前記取得手段によって前記特定の対象の位置情報を取得した後に、前記特定の対象の追跡を行う追跡手段、を有し、
前記サーバーは、複数台のカメラからの映像の中の所定の基準指標に基づき、前記特定の対象の位置に関する情報を生成して外部に送信可能なものであることを特徴とする画像処理装置。 - 前記基準指標は競技場にあらかじめ設けられたポールまたはラインを含むことを特徴とする請求項15に記載の画像処理装置。
- 画像処理装置から送られてくる特定の対象に関する指定情報を受信する受信手段、
前記受信手段によって受信された指定情報に基づき、前記特定の対象を映像の中から探して前記特定の対象の位置に関するデータを生成するとともに、映像を分析して、前記特定の対象の動作を認識して動作認識結果を生成する生成手段、
前記生成手段によって生成された前記特定の対象の位置情報と前記動作認識結果に関する情報を前記画像処理装置に送信する送信手段、を有することを特徴とする画像処理サーバー。 - 請求項1から16のうちいずれか一項に記載の画像処理装置の各手段としてコンピュータを機能させるためのコンピュータプログラム。
- 請求項18に記載のコンピュータプログラムを記憶したコンピュータで読み取り可能な記憶媒体。
- 請求項17に記載の画像処理サーバーの各手段としてコンピュータを機能させるためのコンピュータプログラム。
- 請求項20に記載のコンピュータプログラムを記憶したコンピュータで読み取り可能な記憶媒体。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018209469A JP7289630B2 (ja) | 2018-11-07 | 2018-11-07 | 画像処理装置 |
PCT/JP2019/040874 WO2020095647A1 (ja) | 2018-11-07 | 2019-10-17 | 画像処理装置、画像処理サーバー、画像処理方法、コンピュータプログラム及び記憶媒体 |
CN201980088091.XA CN113273171A (zh) | 2018-11-07 | 2019-10-17 | 图像处理装置、图像处理服务器、图像处理方法、计算机程序和存储介质 |
US17/307,582 US20210258496A1 (en) | 2018-11-07 | 2021-05-04 | Image processing device, image processing server, image processing method, and storage medium |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018209469A JP7289630B2 (ja) | 2018-11-07 | 2018-11-07 | 画像処理装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020077951A JP2020077951A (ja) | 2020-05-21 |
JP7289630B2 true JP7289630B2 (ja) | 2023-06-12 |
Family
ID=70724473
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018209469A Active JP7289630B2 (ja) | 2018-11-07 | 2018-11-07 | 画像処理装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7289630B2 (ja) |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008227877A (ja) | 2007-03-13 | 2008-09-25 | Hitachi Ltd | 映像情報処理装置 |
JP2009010967A (ja) | 2001-09-28 | 2009-01-15 | Fujifilm Corp | 撮影支援装置 |
JP2010198104A (ja) | 2009-02-23 | 2010-09-09 | Nec Corp | 映像表示システム、携帯端末システム、携帯端末装置及びサーバ並びにその映像表示方法 |
JP2012015642A (ja) | 2010-06-29 | 2012-01-19 | Sanyo Electric Co Ltd | 撮像装置 |
JP2012209943A (ja) | 2011-03-29 | 2012-10-25 | Sony Corp | アノテーション方法、アノテーション装置、および携帯電話機 |
JP2013168854A (ja) | 2012-02-16 | 2013-08-29 | Nikon Corp | 撮影装置、サーバ装置及び管理システム |
WO2016017121A1 (ja) | 2014-07-28 | 2016-02-04 | パナソニックIpマネジメント株式会社 | 拡張現実表示システム、端末装置および拡張現実表示方法 |
JP2017228082A (ja) | 2016-06-22 | 2017-12-28 | キヤノン株式会社 | 追跡装置、追跡方法、及びプログラム |
-
2018
- 2018-11-07 JP JP2018209469A patent/JP7289630B2/ja active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009010967A (ja) | 2001-09-28 | 2009-01-15 | Fujifilm Corp | 撮影支援装置 |
JP2008227877A (ja) | 2007-03-13 | 2008-09-25 | Hitachi Ltd | 映像情報処理装置 |
JP2010198104A (ja) | 2009-02-23 | 2010-09-09 | Nec Corp | 映像表示システム、携帯端末システム、携帯端末装置及びサーバ並びにその映像表示方法 |
JP2012015642A (ja) | 2010-06-29 | 2012-01-19 | Sanyo Electric Co Ltd | 撮像装置 |
JP2012209943A (ja) | 2011-03-29 | 2012-10-25 | Sony Corp | アノテーション方法、アノテーション装置、および携帯電話機 |
JP2013168854A (ja) | 2012-02-16 | 2013-08-29 | Nikon Corp | 撮影装置、サーバ装置及び管理システム |
WO2016017121A1 (ja) | 2014-07-28 | 2016-02-04 | パナソニックIpマネジメント株式会社 | 拡張現実表示システム、端末装置および拡張現実表示方法 |
JP2017228082A (ja) | 2016-06-22 | 2017-12-28 | キヤノン株式会社 | 追跡装置、追跡方法、及びプログラム |
Also Published As
Publication number | Publication date |
---|---|
JP2020077951A (ja) | 2020-05-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20240069412A1 (en) | Image pickup device and method of tracking subject thereof | |
JP7132730B2 (ja) | 情報処理装置および情報処理方法 | |
CN108259921B (zh) | 一种基于场景切换的多角度直播***及切换方法 | |
JP4389901B2 (ja) | スポーツ競技におけるカメラ自動制御システム、カメラ自動制御方法、カメラ自動制御装置、およびプログラム | |
JP4835898B2 (ja) | 映像表示方法および映像表示装置 | |
JP2005100367A (ja) | 画像生成装置、画像生成方法、及び画像生成プログラム | |
CN113873174A (zh) | 用于自动电视制作的方法和*** | |
JP4121974B2 (ja) | 画像撮影システムおよび画像撮影方法 | |
JP2020086983A (ja) | 画像処理装置、画像処理方法、及びプログラム | |
US20210258505A1 (en) | Image processing apparatus, image processing method, and storage medium | |
JP2024001268A (ja) | 制御装置 | |
JP5370380B2 (ja) | 映像表示方法および映像表示装置 | |
US20210258496A1 (en) | Image processing device, image processing server, image processing method, and storage medium | |
JP4121973B2 (ja) | シーン抽出システムおよびシーン抽出方法 | |
JP7282519B2 (ja) | 画像処理装置または画像処理サーバー | |
JP2020042407A (ja) | 情報処理装置、情報処理方法及びプログラム | |
JP7289630B2 (ja) | 画像処理装置 | |
JP7233887B2 (ja) | 画像処理装置 | |
JP7235098B2 (ja) | 情報配信装置、情報配信方法、情報配信プログラム | |
JP7233886B2 (ja) | 画像処理装置 | |
JP2015217122A (ja) | 画像報知装置、撮像装置、画像報知方法及び画像報知プログラム | |
JP2010141764A (ja) | 撮像装置、撮像方法、画像信号再生装置および画像信号再生方法 | |
JP2014123853A (ja) | 撮影機器、画像表示装置 | |
JP7304747B2 (ja) | 画像処理装置、制御方法及び制御プログラム | |
KR101164895B1 (ko) | 주자관점의 야구경기 영상 생성 장치 및 그 방법의 기록매체 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20211101 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220927 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221122 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230124 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230323 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230502 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230531 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7289630 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |