JP2023044735A - 情報処理装置、映像表示システム、および映像表示方法 - Google Patents

情報処理装置、映像表示システム、および映像表示方法 Download PDF

Info

Publication number
JP2023044735A
JP2023044735A JP2020038037A JP2020038037A JP2023044735A JP 2023044735 A JP2023044735 A JP 2023044735A JP 2020038037 A JP2020038037 A JP 2020038037A JP 2020038037 A JP2020038037 A JP 2020038037A JP 2023044735 A JP2023044735 A JP 2023044735A
Authority
JP
Japan
Prior art keywords
information
event
display
time
information processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2020038037A
Other languages
English (en)
Inventor
健太郎 土場
Kentaro Tsuchiba
厚史 泉原
Atsushi Izumihara
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Group Corp
Original Assignee
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Group Corp filed Critical Sony Group Corp
Priority to JP2020038037A priority Critical patent/JP2023044735A/ja
Priority to PCT/JP2021/005194 priority patent/WO2021176991A1/ja
Publication of JP2023044735A publication Critical patent/JP2023044735A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00Special procedures for taking photographs; Apparatus therefor
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/18Timing circuits for raster scan displays
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/39Control of the bit-mapped memory
    • G09G5/391Resolution modifying circuits, e.g. variable screen formats
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/66Transforming electric information into light information

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Hardware Design (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Transforming Electric Information Into Light Information (AREA)
  • Studio Devices (AREA)

Abstract

【課題】本開示は、映像の視聴者が感じる酔いを軽減するために、当該映像の表示速度に関する決定を行う装置などを提供する。【解決手段】本開示の一側面の情報処理装置は、生成部と、決定部と、を備える。前記生成部は、映像を撮影する機器の動きに関する事象の発生に関する第1情報を生成する。前記決定部は、前記第1情報に基づき、映像の表示速度を下げる時点を決定する。【選択図】図1

Description

本開示は、情報処理装置、映像表示システム、および映像表示方法に関する。
遠隔地にあるロボットなどの移動体を操縦し、当該移動体を介して現地の映像および音声を取得する技術の開発が盛んに行われている。さらに、近年の自動運転に関する技術の発展に伴い、タッチパネルなどを用いて目的地を指定することにより、移動体を当該目的地に自動で移動させることが可能となっている。これにより、移動体の操縦者は、操縦以外の行為に注意を割くことが可能となった。例えば、移動体からの映像を注視する、移動体を介したコミュニケーションに集中するといった行為が行えるようになった。
しかしながら、自動運転によって操縦者の意思と無関係に移動体が移動すると、移動体からの映像が、操縦者以外はもちろんのこと、操縦者にも酔いを誘発する。特に、ヘッドマウントディスプレイを介して映像を視聴した場合は、当該映像以外の視覚情報が遮断されているため、その傾向が顕著である。ゆえに、酔いの誘発を抑える方法が求められている。
中川千鶴、他1名、「VE酔い研究および関連分野における研究の現状」、TVRSJ、Vol.3、No.2、31-39頁、1998年
酔いを誘発する要因の一つは、映像のぶれである。そのため、例えば、移動体に取り付けられた撮影のためのセンサの振動を、ダンパなどを用いて抑制することが行われている。しかし、ダンパでは回転運動による映像のブレを抑えることはできない。また、映像をそのまま表示せず、複数の時点の映像に基づいてブレのない映像を合成する方法もあるが、合成された映像に欠損が生じるなどの問題が生じ、期待されるほどの効果を得ることができていない。そのため、新たな手法が求められている。
本開示は、映像の視聴者が感じる酔いを軽減するために、当該映像の表示速度に関する決定を行う装置などを提供する。
本開示の一側面の情報処理装置は、事象情報生成部と、決定部と、を備える。前記事象情報生成部は、映像を撮影する機器の動きに関する事象の発生に関する第1情報を生成する。前記決定部は、前記第1情報に基づき、前記映像の表示速度を下げる時点を決定する。
これにより、前記映像を表示する表示装置が、前記時点における映像から、表示速度を下げることが可能となり、映像の視聴者が感じる酔いが軽減される。
なお、映像を表示する装置は、前記情報処理装置と同一でもよいし、前記情報処理装置とは別の装置でもよい。すなわち、映像を下げる時点を決定する装置と、決定された時点において映像速度を遅くしつつ映像を表示する装置と、が同じであってもよいし、別々でであってもよい。
また、前記事象情報生成部は、前記事象の発生時点を予測して予測された発生時点を前記第1情報に含める予測部を備え、前記決定部は、前記予測された発生時点に基づき、前記表示速度を下げる時点を決定する、といった構成も取り得る。なお、前記決定部は、前記予測された発生時点を、前記表示速度を下げる時点としてもうよい。
また、前記事象情報生成部は、検知部を備えていてもよい。前記検知部は、前記事象の発生を検知して前記事象の発生の検知時点を前記第1情報に含めてもよい。そして、前記決定部は、前記検知時点を、前記表示速度を下げる時点としてもよい。
また、前記事象情報生成部は、前記事象の発生を検知して前記事象の発生の検知時点を前記第1情報に含める検知部を備え、前記決定部は、前記検知時点を、前記表示速度を下げる時点とする、といった構成も取り得る。
また、前記事象情報生成部は、前記事象または前記事象とは別の事象の発生を検知する検知部をさらに備え、前記決定部は、前記検知に基づき、前記表示速度を下げる時点を修正する、といった構成も取り得る。
また、前記検知部は、前記機器または前記機器が取り付けられた物体の振動、旋回、および加速度の少なくともいずれかの発生を検知し、前記決定部は、前記振動、旋回、および加速度の少なくともいずれかの検知に基づき、前記表示速度を下げる時点を修正する、といった構成も取り得る。
また、前記予測部は、前記機器または前記機器が取り付けられた物体の移動予定経路に関する第2情報に基づき、前記事象の発生時点を予測する、といった構成も取り得る。
また、前記事象は、前記機器または前記機器が取り付けられた物体が受ける振動であり、前記予測部は、前記第2情報に含まれる前記移動予定経路の路面状態に基づき、前記事象の発生時点を予測する、といった構成も取り得る。
また、前記予測部は、前記事象の終息時点をさらに予測し、前記決定部は、前記予測された発生時点から予測された終息時点までの期間を、前記表示速度の低下期間と決定し、前記低下期間以外において、前記表示速度の上昇期間を決定する、といった構成も取り得る。
また、前記上昇期間における表示速度の標準速度に対する増減率が、前記低下期間における表示速度の前記標準速度に対する増減率の絶対値よりも小さい、といった構成も取り得る。
また、前記事象情報生成部は、前記事象または前記事象とは別の事象の発生を検知する検知部をさらに備え、前記決定部は、前記検知に基づき、前記低下期間および前記上昇期間の少なくともいずれかを修正する、といった構成も取り得る。
また、前記検知部は、声をさらに検知し、前記決定部は、前記声の検知時点に基づき、前記表示速度または前記映像に対応する音声の出力速度を上げる時点を決定する、といった構成も取り得る。
また、前記決定部は、前記第1情報に基づき、前記映像の表示に関する設定のうちの視認性に関する設定の少なくとも一つを前記視認性が劣化する方向に変更する時点をさらに決定する、といった構成も取り得る。
また、前記機器または前記機器が取り付けられた物体の実際の位置と、前記機器または前記物体の移動予定経路と、の乖離に関する第4情報を受信する受信部をさらに備え、前記決定部は、前記第4情報に基づき、前記表示速度を下げる時点をさらに決定する、といった構成も取り得る。
また、前記機器をさらに備え、前記機器が、前記第1情報に基づき、前記映像を撮影するレートを上げる、といった構成も取り得る。
また、前記機器と、自身の位置および周囲の状況に関する第5情報に基づき、与えられた目的地までの移動予定経路を決定する経路決定部と、前記移動予定経路を移動する移動制御部と、をさらに備える構成も取り得る。
また、本開示の他の一態様では、映像を撮影するイメージセンサが取り付けられた移動装置と、情報処理装置と、記映像を表示する第1および第2の表示装置と、を備えた映像表示システムが提供される。前記情報処理装置は、前記映像を撮影する機器の動きに関する事象の発生に関する第1情報を生成する事象情報生成部と、前記第1情報に基づいて映像の表示速度を下げる時点を決定する決定部と、決定された時点に関する情報を、少なくとも前記第1の表示装置に送信する送信部と、を備えており、前記第1の表示装置は、前記映像の表示中に、前記映像の表示速度を、前記時点において下げ、前記第2の表示装置は、前記映像の表示中に、前記映像の表示速度を前記時点の前後において一定とする。といった構成が取り得る。
また、本開示の他の一態様では、映像を撮影する機器の動きに関する事象の発生に関する第1情報を生成するステップと、前記第1情報に基づき、前記映像の表示速度を下げる時点を決定するステップと、前記映像の表示を開始するステップと、前記映像の表示速度を、前記時点において下げるステップと、を備える映像表示方法が提供される。
第1の実施形態に係る映像表示システムの構成例を示す図。 第1の実施形態に係る映像表示について説明する図。 経路状態の推定について説明する図。 環境地図の一例を示す図。 予測に基づく表示速度の決定処理のフローチャート。 検知に基づく表示速度の更新処理のフローチャート。 第2の実施形態に係る映像表示システムの構成例を示す図。
以下、図面を参照して、本開示の実施形態について説明する。
(第1の実施形態)
図1は、第1の実施形態に係る映像表示システムの構成例を示す図である。図1の例の映像表示システムは、情報処理装置100と、表示装置200と、を備える。情報処理装置100は、受信部110と、センサ120と、移動情報生成部130と、移動制御部140と、事象情報生成部150と、表示情報生成部(決定部)160と、送信部170と、を備える。表示装置200は、入力受付部210と、送信部220と、受信部230と、表示制御部240と、を備える。
本開示における映像表示システムは、映像を撮影するセンサ120によって撮影された映像を表示するシステムである。センサ120は、イメージセンサなどが想定され、映像を撮影する機器とも言える。センサ120は、移動体に内蔵または外部に取り付けられており、撮影が当該移動体の移動中にも行われることを想定する。ゆえに、表示される映像には移動によって生じたぶれなどが含まれることがある。
そのような映像をそのまま表示すると、当該映像の視聴者に酔いを誘発しやすい。そのため、本映像表示システムは、映像の表示速度(再生速度とも言える)を調整することにより、視聴者の酔いを抑える。
第1の実施形態では、映像表示システムが、情報処理装置100と、表示装置200と、から構成されている例を示す。第1の実施形態では、情報処理装置100が移動体であって、映像を撮影するセンサ120を備え、映像を撮影しながら移動する。ゆえに、第1の実施形態の情報処理装置100は、移動装置および撮影装置とも言える。表示装置200は、情報処理装置100とは離れており、無線通信などを介して情報処理装置100からの映像を受信して表示する。
例えば、移動可能なロボットによって撮影された映像を遠隔地のモニタ、ヘッドマウントディスプレイなどで表示するシステムは、第1の実施形態に係る映像表示システムに該当する。
図2は、第1の実施形態に係る映像表示について説明する図である。移動可能なロボットである情報処理装置100が、障害物300を避けて移動することが示されている。情報処理装置100の移動予定経路は矢印401にて示されている。また、表示装置200は、ヘッドマウントディスプレイとして示されている。表示装置200の右側に配置された複数のバー500は、表示装置200に表示されていく映像のフレームを概念的に表している。
矢印401から分かるように、情報処理装置100が、障害物300を避けるために大きく曲がって移動する。この大きく曲がって移動する期間において撮影された映像には酔いの要因である歪みが含まれる。そのため、当該期間において撮影された映像を表示する際に表示速度を下げることにより、当該映像の視聴者の酔いを防ぐ。そのため、図2の例では、当該期間に該当するフレーム(図2の第1時点から第2時点までのフレーム)の間隔が、当初よりも広くされている。
なお、映像の表示速度は、表示速度を下げる時点よりも前の表示速度よりも低くされてもよいし、所定の標準速度よりも低くされてもよい。例えば、当該時点の前において表示速度が1.5倍速であったときは、当該時点からは表示速度を1.2倍速としてもよい。あるいは、当該時点からは標準速度である等倍速(1.0倍速)よりも遅い0.8倍速としてもよい。このように、表示速度の下げる量は適宜に定めてよい。
障害物300を避けた後は、情報処理装置100が大きく曲がらずに移動する。そのため、撮影された映像の視聴者が表示速度に対して違和感を感じないように、表示速度が戻される。そのため、図2の例では、大きく曲がって移動する期間の後のフレーム(第2時点より後のフレーム)の間隔が、当初の間隔に戻されている。図2の例では、表示速度が低下している期間を表示遅延期間と表している。
なお、図2の例では、表示速度を戻すとしたが、表示速度は、一度に戻す必要はなく、徐々に戻すといったことも想定される。すなわち、表示速度が徐々に上げられていき、標準速度に戻されてもよい。表示速度を上げる1回分の量も適宜に定めてよい。
なお、何回も映像の表示速度を下げると、撮影された映像が表示されるまでの遅延が徐々に膨大となる。これにより、リアルタイムで視聴している場合に不具合が生じ得る。例えば、撮影された映像をリアルタイムで視聴し、視聴した映像に基づいて指示を行う場合に、指示が遅れてしまい、所望の行動が実現されないといった不具合が起こりうる。例えば、情報処理装置100に一時停止の指示を出したが、停止したい位置を超えてしまうといった事態が起こりうる。また、経路途中にある物体を撮影するためにセンサ120の向きを変える指示を出したが、センサ120の向きが当該物体を通り過ぎてから変更されるという事態も起こりうる。ゆえに、表示速度を低下させたことにより生じた遅延を解消させるため、表示速度を上昇させる期間を決定してもよい。
表示遅延期間における遅延がなくなるように、表示速度を戻した時点から暫く後に、映像の表示速度が上げられる。図2の例では、表示速度を上げた時点から戻した時点までをリカバリ期間と記載している。リカバリ期間は、表示速度の上昇期間とも言える。表示速度が上昇しているため、リカバリ期間におけるフレーム(第3時点より後のフレーム)の間隔が、当初の間隔よりも狭められている。この場合も、表示速度の上げる量は適宜に定めてよい。
但し、表示速度の上げる量が多いと、ユーザに不快感を与える恐れがある。そのため、表示速度の上げる量が、表示速度を下げた量よりも少ないことが好ましい。言い換えると、リカバリ期間における表示速度の標準速度に対する増減率が、表示遅延期間における表示速度の標準速度に対する増減率の絶対値よりも小さいことが好ましい。例えば、表示遅延期間において表示速度を0.8倍速とした場合、表示遅延期間における表示速度の標準速度に対する増減率は-0.2である。そのため、リカバリ期間における表示速度の標準速度に対する増減率は0.2よりも抑えたほうが好ましく、等倍速から1.2倍速までの間に設定することが好ましい。このように、表示速度の低下期間によって生じた映像の遅れを取り戻すために、表示速度を急激に上げることは避け、表示遅延期間よりもリカバリ期間のほうが長くするほうが好ましい。あるいは、複数のリカバリ期間を設けてもよい。
なお、図2の例では、ロボットを用いたが、撮影と移動が別の機器に担当されてもよく、ロボットの代わりに、イメージセンサを搭載した自動車、自転車、バイク、または遊具といったものが用いられてもよい。また、情報処理装置100の動きの予測および検知が可能であるならば、撮影を担当する情報処理装置100を人が担いで移動してもよい。
映像の表示速度を調整するためには、表示速度を変更する時点を決定する必要がある。本実施形態では、情報処理装置100が当該時点を決定し、表示装置200が当該時点の映像を表示する際に表示速度を調整する。具体的には、表示装置200の受信部230が映像とともに決定された時点を示す情報を受信し、表示装置200の表示制御部240が映像を表示する際に当該情報に基づいて映像の表示速度を調整する。
例えば、情報処理装置100が、撮影開始から10秒が経過した時点において表示速度を下げると決定したとする。この場合、受信部230は、映像の始めから10秒後の時点において表示速度を下げるという情報を、映像と共に受信する。表示制御部240は、映像の表示を開始し、映像の始めから10秒後の時点において表示速度を下げる。このようにして、映像の表示速度が変更される。なお、表示速度を下げる時点に関する情報を受信する前に、映像の表示が開始される場合もあり得る。
なお、映像表示システムは、図1の構成に限られるわけではない。装置の性能、設置環境、コスト、安全性、用途などを考慮して、情報処理装置100の処理が、表示装置200によって実施される場合もあり得るし、図示されていない装置に分散される場合もあり得る。
情報処理装置100の処理を、図1に示した内部構成とともに説明する。なお、前述の通り、本実施形態では、情報処理装置100は移動装置でもあるが、図1の例では、目的地を受信して当該目的地まで自律的に移動することが可能な自律移動型の移動装置の構成としている。
なお、情報処理装置100および表示装置200内の構成要素は、集約されてもよいし、さらに分散されてもよい。また、図示または説明されていない構成要素も情報処理装置100および表示装置200には存在し得る。例えば、処理に必要な情報を記憶しておく、一つ以上のメモリまたはストレージが情報処理装置100および表示装置200に存在してもよい。
受信部110は、情報処理装置100の外部の装置から、情報処理装置100の処理に必要な情報を受信する。例えば、情報処理装置100が存在する周辺の地図、移動の目的地の座標などといった情報処理装置100が移動するために必要な情報を受信し得る。
なお、受信される情報は、特に限られるものではない。例えば、表示装置200を利用するユーザが、情報処理装置100の近辺にいる人と、情報処理装置100を介して、音声通信を行うことも考えられる。そのような場合、表示装置200の入力受付部210が音声を受けつけて、表示装置200の送信部220が音声に関するパケットを送信する。受信部110は、当該パケットを受信すればよい。また、外部の装置から、情報処理装置100の実際の位置を受信してもよい。
センサ120は、情報処理装置100に搭載されたセンサ120である。RGB(Red,Green,and Blue)センサなどといった撮影のためのイメージセンサがセンサ120に少なくとも含まれる。また、移動のための情報を収集する、または、情報処理装置100の機体の動きを検知するために、イメージセンサ以外のセンサが、センサ120に含まれてもよい。例えば、ToF(Time of Flight)センサ、LiDAR(Light Detection and Ranging)、レーダー、ソナー、IMU(Inertial measurement unit)、GPS(Global Positioning System)、オドメータなどがセンサ120として含まれていてもよい。
移動情報生成部130は、情報処理装置100が移動するための情報を生成する。本開示では、当該情報を移動情報と記載する。移動情報は、移動装置の周辺の物体、周辺環境の状態などに関する情報を含む。本開示では、当該情報を環境地図と記載する。また、移動情報は、情報処理装置100が移動する予定の経路に関する情報も含む。
移動情報生成部130は、センサ120からの情報に基づいて移動装置の周辺の環境について推定し、当該推定結果を時系列に組み合わせることによって移動装置の周辺の環境地図を作成する。環境地図は一から作成されてもよいし、受信部を介して受信した移動装置の周辺の地図に基づいて環境地図を作成してもよい。例えば、移動装置の周辺の地図上に、検出された障害物を配置してもよい。
図1の例では、環境地図を作成するために、移動情報生成部130は、物体検出部131と、環境状態推定部132と、自己位置推定部133と、環境地図作成部134と、を備えている。
物体検出部131は、センサ120からの情報などによって移動装置の周辺の物体、つまりは、移動装置にとっての障害物を検知する。例えば、センサ120から距離画像を取得して障害物を検知してもよい。環境地図には、これらの障害物が示され、移動する際の経路を決定するために用いられる。なお、本実施形態では、障害物の移動にも対応できるように、環境地図は、移動装置の移動中にも更新されることを想定する。
環境状態推定部132は、センサ120からの映像などによって移動装置の周辺の環境を推定する。例えば、映像に移された路面の凹凸を検出してもよい。あるいは、路面の傾きを検出してもよい。
なお、移動情報は、情報処理装置100が移動するために用いられるだけでなく、映像のずれの発生および終息の予測にも用いられる。例えば、路面の状態が悪いと移動装置が振動して映像のずれにつながる。ゆえに、状態の悪い路面を移動している間に撮影された映像を表示する際は、表示速度を下げることが好ましい。したがって、状態の悪い路面を移動している期間を予測するために、路面の状態などが移動情報に含まれていることが好ましい。
図3は、経路状態の推定について説明する図である。図には、路面の画像が示されている。点線の四角は、当該四角に囲まれた位置に、所定値以上の凹凸があることを示している。このように、画像に映された物体の表面の凹凸の程度を見分ける技術は公知であり、このような技術を用いてもよい。
例えば、路面の画像を入力データとして用い、当該画像の路面を移動した際の振動のデータを正解データとして用いて機械学習を行うことにより、路面の画像から振動を予測可能な、ニューラルネットワークに基づくモデルを生成することが可能である。環境状態推定部132は、このようなモデルを用いて、路面の画像から状態を推定してもよい。
自己位置推定部133は、センサ120からの情報に基づき、自己の位置について推定する。例えば、自身の周囲を写した画像を用いて、地図上の位置を割り出す技術が知られている。このような技術を用い、センサ120からの画像が得られると想定される位置を環境地図において割り出せばよい。
環境地図作成部134は、これらの情報に基づき、環境地図を作成する。図4は環境地図の一例を示す図である。図4の点線は実際の地図を示し、実線が情報処理によって割り出された部分を示す。また、二重丸が自己の位置を示す。このように、環境地図は実際の地図の一部を示すものであってもよく、移動することによって割り出された部分が増えていってもよい。また、図4では示されていないが、図3で示した路面状態が環境地図にも含まれている。
経路決定部135は、環境地図と、目的地と、に基づき、移動予定経路を決定する。図4の例では、矢印によって移動予定経路402が示されている。なお、移動によって環境地図が更新されると、新たに割り出された部分が増えるため、移動予定経路も更新されてよい。
なお、目的地は、受信部110を介して、外部から指定されてもよいが、目的地が予め定められていてもよい。例えば、監視ロボットなどが決まった場所を往復する場合は、目的地が固定されているが、障害物の位置、周辺環境の状況などは都度異なり得るため、移動予定経路も都度異なり得るからである。
なお、作成された環境地図は、送信部170を介して表示装置200に送信され、表示装置200が環境地図を表示してもよい。それにより、ユーザは、表示装置200を介して、目的地を環境地図上で指定することもできる。
移動制御部140は、移動情報に基づき、実際に移動するための制御を行う。具体的には、行動決定部141が、自己位置が示された環境地図と、経路情報と、に基づき、自身の行動内容を決定する。機体制御部142が、機体を制御して、決定された行動内容を実行する。なお、自律移動に関する処理については公知であり、公知の技術を用いればよく、映像の表示の調整に関係する処理はないため、移動制御部140の詳細な説明は省略する。
事象情報生成部150は、映像を撮影する機器の動きに関する事象の発生に関する情報を生成する。また、当該事象の終息に関する情報を生成する。表示情報生成部160は、これらの情報に基づき、表示速度が変更される時点を決定する。決定された時点を示す情報を、表示情報と記載する。
本実施形態では、事象情報生成部150は、予測部151と、検知部152と、を備える。予測部151は、移動情報に基づき、登録された事象を予測する。言い換えれば、予測部151は、撮影のためのセンサ120または当該センサ120が取り付けられた物体の移動によって生じる可能性がある事象を、環境地図、移動予定経路などに基づいて予測する。例えば、図4の移動予定経路402の一部を囲う一点破線の枠の領域においては、カーブが急なため、イメージセンサが急旋回すると予測される。すなわち、予測部151は、当該領域を走行中において事象が発生すると予測する。このように、予測部151は、当該移動予定経路に基づいて、急旋回、振動の発生などといった酔いの要因を生み出す、センサ120の動きに関する事象の発生を予測する。
検知部152は、当該センサ120または当該物体の移動中にセンサ120から得られた情報に基づき、登録された事象を検知する。言い換えれば、検知部152は、移動中に実際に生じた事象を検知する。
なお、装置の性能、設置環境、コスト、安全性、用途などに応じて、予測部151および検知部152のいずれか一方のみを備えている場合もあり得る。
なお、予測部151によって予測される事象と、検知部152によって検知される事象と、は、異なっていてもよい。すなわち、予測部151によって予測されるが、検知部152によって検知されない事象があってもよい。予測部151によって予測されないが、検知部152によって検知される事象があってもよい。また、予測部151によって予測され、かつ、検知部152によって検知される事象もあってもよい。
予測または検知が可能であって酔いの要因である事象が予測または検知の対象として登録される。例えば、移動によってセンサ120が振動を受けて映像がぶれると、酔いを誘発する。ゆえに、振動は、酔いの要因であり、予測または検知の対象として登録され得る。また、移動によってセンサ120が旋回すると映像が揺れるため、酔いを誘発する。ゆえに、旋回も酔いの要因であり、予測または検知の対象として登録され得る。また、急な加速および減速中の映像も酔いを引き起こすことが知られている。ゆえに、一定値以上の加速および減速も、酔いの要因であり、予測または検知の対象として登録され得る。本実施形態では、このように、センサ120の動きに関する事象を対象として、事象の発生および終息に関する情報が生成される。
なお、センサ120が取り付けられた物体が動いた場合、センサ120も動く。そのため、センサ120が取り付けられた物体の動きを予測または検知した場合、センサ120の動きを予測または検知したと言える。また、センサ120を内蔵する物体、センサ120を搭載した物体も、センサ120が取り付けられた物体と言える。
例えば、振動の発生時点および終息時点は、移動予定経路の路面状態に基づいて予測することができる。路面状態が悪い経路区間において振動が発生するため、路面状態が悪い経路区間に入る時点と出る時点とを予測すればよい。
例えば、旋回の発生時点および終息時点は、移動予定経路の形状に基づき、予測することができる。移動予定経路の曲がり具合が急であると旋回も急激になるため、移動予定経路の曲がり具合を示す値(例えば、曲率など)が大きい区間に入る時点と出る時点とを予測すればよい。
例えば、加速度の絶対値が一定値以上であるという事象の発生時点および終息時点は、移動予定経路に基づき、予測することができる。例えば、進行方向に対する移動予定経路の傾きが大きいと加速度も急に増減するため、当該傾きが大きい位置に到達する時点を予測すればよい。
また、これらの事象に対する検知は、映像解析によって行われてもよいし、加速度センサ120によって検知することもできる。
なお、映像の視聴者が不快感をなるべく感じないように、表示速度を調整したほうが好ましい。そのため、酔いの要因となる事象以外も、予測または検知の対象としてもよい。例えば、検知部152は、センサ120の移動中に生じた事象を検知するため、検知対象は、センサ120の移動によって生じた事象に限られない。例えば、検知部152は、声を検知する機器であってもよい。
声が検知されても映像を遅らせたままにすると、声が聞き取りにくい。そこで、声が検知された場合に映像の表示速度を上げると決定してもよい。すなわち、その場合、決定部は、声が検知された時点を、映像の表示速度を上げる時点と決定する。なお、この場合も上げる量は適宜に定めてよい。標準速度に戻してもよいし、標準速度よりも遅い速度に上げてもよい。
なお、映像には音声が含まれていてもよい。また、映像の表示速度と、音声の出力速度と、を別々に制御できる場合は、映像の表示速度は下げたままにし、音声の出力速度を標上げてもよい。すなわち、その場合、決定部は、声が検知された時点を、音声の出力速度を上げる時点と決定する。
声に含まれる周波数成分は、雑音とは異なり独特であることが知られている。また、声の周期的な成分と非周期的な成分との比も、雑音とは異なり独特であることが知られている。これらを利用して、声と雑音を区別することが可能である。また、物体検出によって、機体から所定距離以内の人間も検知することができる。また、複数のマイクを備えていれば、各マイクに声が到着する時間差から、声が到来した方角を推定することができる。これらを組み合わせることにより、マイクよって取得された音が、所定距離以内の人間からの声であるかどうかを判定することができる。このようにして、人間が情報処理装置100に話しかけていることを検知してもよい。
また、受信部を介して表示装置200などから音を受信し、当該音に人の声が含まれているかを検知してもよい。また、単に声を検知するだけでなく言葉を検知してもよい。検知された言葉が予め定められたキーワードである場合に、当該キーワードが検知された時点を表示速度の変更時点としてもよい。キーワードを検知する手法は、スマートフォン、携帯型自動翻訳機などで活用されており、当該手法を用いればよい。
表示情報生成部(決定部)160は、予測または検知の対象とした事象の発生に関する情報に基づき、映像の表示速度を下げる時点を決定する。例えば、表示情報生成部160は、当該情報によって示された、予測された発生時点または発生の検知時点を、映像の表示速度を下げる時点としてもよい。なお、必ずしも同じ時点でなくてもよく、例えば、予測時点または検知時点よりも一つ前の時点としてもよい。
また、表示情報生成部160は、当該事象の終息に関する情報に基づき、映像の表示速度を上げる時点を決定する。例えば、表示情報生成部160は、当該情報によって示された、事象の予測された終息時点または終息の検知時点を、映像の表示速度を標準速度に戻す時点としてもよい。なお、必ずしも同じ時点でなくてもよく、例えば、予測された終息時点または終息の検知時点よりも一つ後の時点としてもよい。
表示情報生成部160により決定された表示速度の変更に係る時点は、表示情報として、送信部170を介して表示装置200に送信される。これにより、表示装置200が表示速度を変更可能になる。
なお、本実施形態では、表示情報生成部160は、変更決定部161と、変更更新部162と、を備える。また、本実施形態では、変更決定部161は、予測部151の予測結果に基づいて変更する時点を決定する。つまり、事象が実際には発生していないが、発生することを予測して、予め変更する時点を決定する。変更更新部162は、検知部152の検知結果に基づいて変更する時点を決定する。つまり、事象が実際に発生したことを検知してから、変更する時点を決定する。
本実施形態では、変更決定部161によって決定された時点が変更更新部162によって修整されることを想定する。例えば、予測部151によって振動が発生すると予測されたが、検知部152によって検知された振動の大きさが所定基準値よりも小さかった場合もあり得る。このような場合に、変更決定部161によって決定された時点が変更更新部162によって削除されてもよい。また、センサ120の実際の位置、または、当該実際の位置と移動予定経路との乖離、に関する情報を受信した場合は、当該情報に基づいて、変更決定部161によって決定された時点が変更更新部162によって修整されてよい。また、変更決定部161によって変更時点と決定されなかった時点が、変更更新部162によって変更時点と決定されることもあり得る。このように、予測結果に基づいて決定された変更時点が、検知結果に基づいて更新(修整)されるため、変更更新部162と名付けている。なお、検知結果に基づいて予測部151が再予測を行うとしてもよい。また、予測および検知のいずれか一方しか実行しない場合は、変更更新部162はなくてもよい。
また、変更決定部161は、前述の表示速度を上げる期間を決定してもよい。ただし、再生速度を上昇させている間に事象が発生して表示を下げることになると、表示速度の差が大きくなるため、酔いを誘発する恐れがある。そのため、そのようなリスクをなるべく回避するために、事象が発生しないと予測された期間において、表示速度を上げることが好ましい。
ゆえに、予測部151が、事象の発生時点および終息時点を予測して変更決定部161に通知し、変更決定部161は、予測された発生時点および終息時点に基づいて事象が発生していない期間を特定し、特定された期間以内において表示速度を上げることを決定することが好ましい。言い換えれば、予測された発生時点から予測された終息時点までの期間以外において、表示速度の上昇期間を決定することが好ましい。
なお、表示情報生成部160は、映像の視聴者の酔いを抑えるために、表示速度以外にも映像の表示に関する設定の変更を決定してもよい。例えば、映像の視認性が悪いほうが、酔いが起こりにくいことが知られている。そのため、表示情報生成部160は、映像の表示に関する設定のうちの視認性に関する設定の少なくとも一つを視認性が劣化する方向に変更することを決定してもよい。例えば、映像の明るさ、コントラストなどを、表示速度を下げる時点において同時に下げると決定してもよい。
また、映像の表示速度を下げたことによる視聴者の違和感を抑えるために、表示速度を下げる期間において、撮影のレートを上げたほうが好ましい。そのため、センサ120は、予測または検知された発生時点から撮影のレートを上げてもよい。
次に、映像の表示速度の変更時点を決定する処理の流れについて説明する。図5は、予測に基づく表示速度の決定処理のフローチャートである。本フローは、撮影中に一定間隔で実行されることを想定する。
移動情報生成部130は、新たなセンサ120情報を取得し、当該センサ120情報に基づいて環境地図を更新(S101)する。また、移動情報生成部130は、更新された環境地図に基づいて移動予定経路を更新する(S102)。なお、環境地図および移動予定経路がまだ作成されていない場合は、環境地図および移動予定経路が生成される。
予測部151が、環境地図と移動予定経路に基づき、所定時間内の事象の発生および終息を予測する(S103)。所定時間は、適宜に調整されてよい。事象が発生している期間(以降、事象発生期間と記載する)が存在する場合(S104のYES)は、変更決定部161が事象発生期間の表示速度を低下させることを決定し、予測された発生時点を下げる時点とし、予測された終息時点を戻す時点とする(S105)。また、変更決定部161が事象発生期間の時間長を総遅延時間に加算する(S106)。総遅延時間は、映像速度を下げたことによる映像の表示の遅れの総時間を意味する。
S106の処理の後、または、事象発生期間が存在しない場合(S104のNO)は、表示速度を速めるか否かを判定するためのリカバリ条件について確認される。リカバリ条件は、複数あってよい。遅延が存在しない場合は、表示速度を速める必要がないため、総遅延時間が0ではないという条件がリカバリ条件の一つとして少なくとも含まれる。また、リカバリ条件として、事象が発生しない期間の時間長が所定長以上であるという条件が含まれていてもよい。表示速度の変動が短期間において繰り返されて、視聴者に不快感を与えるのを防ぐためである。
リカバリ条件を満たす場合(S107のYES)は、変更決定部161は、事象が発生しない期間内において、リカバリ予定期間を決定する(S108)。リカバリ予定期間は、表示速度を上げる予定の時点から、速くした表示速度を戻す予定の時点までを意味する。そして、変更決定部161がリカバリ予定期間の時間長を総遅延時間から減算する(S109)。S109の処理の後、または、リカバリ条件を満たさない場合(S107のNO)は、本フローは終了する。
このようにして、本フローが撮影期間中に繰り返し実行されることにより、映像の表示速度の変更時点が決定されていく。
図6は、検知に基づく表示速度の更新処理のフローチャートである。本フローは、図5のフローとは独立して行われる。そのため、本フローは、図5のフローと並行して行われてもよい。
検知部152がセンサ120データに基づき事象が発生しているかどうかを検知する(S201)。すなわち、発生していると検知する場合もあれば、発生していないと検知する場合もあり得る。変更更新部162が、検知結果に基づき、現時点における予測が正しいかを判定する(S202)。当該判定結果に基づいてフローが分岐する。
判定結果が予測通りであった場合(S203の条件分岐1)は、本フローは終了する。つまり、予測も検知も現時点において事象が発生しているという結果であった場合と、予測も検知も現時点において事象が発生していないという結果であった場合と、では、表示速度は更新されない。
判定結果が予測通りでなく、予測されなかった事象の発生が検知された場合は、(S203の条件分岐2)は、変更更新部162が検知された発生時点を下げる時点に決定する(S204)。そして、総遅延時間の加算を開始する(S205)。
また、リカバリの見直し条件を満たすかどうかが確認される。例えば、リカバリ実施中、または、リカバリ予定期間の直前において、予測されなかった事象が発生した場合は、リカバリを正常に実施することができない恐れがある。そのような場合にリカバリを実施しないとするための、リカバリの見直し条件を予め定めておく。リカバリの見直し条件を満たす場合(S206のYES)は、変更更新部162がリカバリ予定期間に基づき決定された変更時点を削除する(S207)。また、変更更新部162は、リカバリ予定期間の決定時においてリカバリ予定期間の時間長を総遅延時間から減算していたため、総遅延時間から削除されたリカバリ予定期間の時間長を加算する(S208)。リカバリの見直し条件を満たさない場合(S206のNO)は、S207およびS208の処理は実施されない。
判定結果が予測通りでなく、予測発生時点において予測されなかった事象が続いている場合、または、予測された事象の発生を検知しなかった場合(S203の条件分岐3)は、変更更新部162は、予測に基づいて決定された変更時点を削除する(S209)。すなわち、予測によって定められた表示遅延期間をなかったことにする。
なお、予測時点と検知時点は、必ずしも一致せず、タイムラグが生じ得る。そのため、予測時点と検知時点との乖離が所定閾値以内であった場合は、予測通りとみなしてよい。
予測によって定められた表示遅延期間をなかったことにした場合、リカバリを実施する必要がなくなることもある。そのため、処理S209の後は、S203の条件分岐2と同様、リカバリの見直し条件を満たすかどうかが確認され、リカバリの見直し条件を満たす場合(S206のYES)は、前述の処理S207とS208が実施される。
判定結果が予測通りでなく、予測されなかった事象の終息を検知した場合(S203の条件分岐4)は、変更更新部162が事象の終息時点を、表示速度を上げる時点を決定する(S210)。また、S203の条件分岐2において、総遅延時間の加算が開始されているため、総遅延時間の加算を停止する(S211)。これにより、予測されなかった事象による遅延の時間長が総遅延時間に加算される。
このようにして、本フローが撮影期間中に繰り返し実行されることにより、映像の表示速度の変更時点が修整される。
なお、本開示のフローチャートは一例であり、各処理が上記フローの通りに必ず行われる必要はない。例えば、総遅延時間の加算は予測処理で行わずに検知処理のみで行うとしてもよい。
以上のように、本実施形態によれば、予め定められた酔いの要因である事象の発生について予測、検知またはその両方が行われる。そして、当該事象の発生時点に基づいて映像の表示速度を下げる時点が決定される。この決定された時点における映像の表示速度を表示装置200が下げることにより、当該映像の視聴者が受ける酔いを抑えることが可能になる。
また、映像の表示速度を下げる時点が決定された場合に、当該事象が発生していない期間内において、映像の表示速度を上げる時点が決定される。これにより、映像の表示速度を遅くしたことによって生じる遅延を回復することができ、徐々に遅延が膨大になってしまうことを防ぐことができる。これにより、例えば、撮影された映像をリアルタイムで視聴し、視聴した映像に基づいて指示を送信する場合に、当該指示が遅れるといったことを防ぐことができる。
また、人の声を検知した場合など、表示速度を調整しないほうがよい場合に、表示速度を標準速度に戻すといったことも行うことができる。
また、前述の通り、映像表示システムは、図1の構成に限られるわけではない。情報処理装置100の移動情報生成部130、事象情報生成部150、および表示情報生成部160は、表示装置200、または、インターネットなどの通信ネットワーク上に存在する構成も取り得る。例えば、監視センサなどを有する建物の内部を移動して撮影する場合、移動装置が移動するために必要な情報が、当該建物の管理システムなどから移動装置に送信されるといった構成もあり得る。
(第2の実施形態)
図7は、第2の実施形態に係る映像表示システムの構成例を示す図である。図7の例では、図1の情報処理装置100が、映像を撮影するセンサ100Aと、通信ネットワーク上に存在するサーバ100Bと、移動装置100Cと、に別れている。第2の実施形態では、第1の実施形態の情報処理装置100が担う機能が上記三つに分離したことを明確にするため、センサ100Aと記載したが、第2の実施形態のセンサ100Aは、第1の実施形態のセンサ120と同じでよい。
センサ100Aは、移動装置100Cに内蔵されていないが、移動装置100Cに搭載されていて、移動装置100Cと一緒に移動する。センサ100Aによるセンサ情報は、サーバ100Bに送られる。サーバ100Bは、第1の実施形態で示した、移動情報生成部130と、事象情報生成部150と、表示情報生成部160と、を備えている。そのため、サーバ100Bは、センサ情報に基づき、移動情報と、事象情報と、表示情報と、を生成することができる。移動装置100Cは、移動制御部140を備えており、移動情報をサーバ100Bから受信することにより、移動することができる。
図7の例では、第1表示装置200Aと、第2表示装置200Bという2台の表示装置200が存在する。図7の例では、第1表示装置200Aは、一般の視聴者のためのものであり、第2表示装置200Bは、移動装置100Cを操縦する操縦者のためのものである。第1表示装置200Aは、センサ100Aから映像を受信し、サーバ100Bから表示情報を受信する。これにより、第1表示装置200Aは、図1の例と同様、表示情報生成部160に決定された時点における映像を標準速度よりも遅くして表示変更することができる。第2表示装置200Bは、センサ100Aから映像を受信するが、サーバ100Bから表示情報を受信しない。そのため、第2表示装置200Bは、表示情報生成部160に決定された時点における映像を標準速度のままで表示する。
このように、第2の実施形態に係る映像表示システムでは、映像の視聴者に合わせて、表示速度を変えることができる。なお、第2の実施形態の各処理は、実施される主体が第1の実施形態と異なるが、その内容およびフローは、第1の実施形態と同じであるため、説明は省略する。
本開示の実施形態における装置の処理は、CPU(Central Processing Unit)またはGPU(Graphics Processing Unit)などが実行するソフトウェア(プログラム)により実現できる。なお、当該装置の全ての処理をソフトウェアで実行するのではなく、一部の処理が、専用の回路などのハードウェアにより実行されてもよい。
なお、上述の実施形態は本開示を具現化するための一例を示したものであり、その他の様々な形態で本開示を実施することが可能である。例えば、本開示の要旨を逸脱しない範囲で、種々の変形、置換、省略またはこれらの組み合わせが可能である。そのような変形、置換、省略などを行った形態も、本開示の範囲に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。
なお、本開示は以下のような構成を取ることもできる。
[1]
映像を撮影する機器の動きに関する事象の発生に関する第1情報を生成する事象情報生成部と、
前記第1情報に基づき、前記映像の表示速度を下げる時点を決定する決定部
を備える情報処理装置。
[2]
前記事象情報生成部は、前記事象の発生時点を予測して予測された発生時点を前記第1情報に含める予測部を備え、
前記決定部は、前記予測された発生時点に基づき、前記表示速度を下げる時点を決定する
[1]に記載の情報処理装置。
[3]
前記決定部は、前記予測された発生時点を、前記表示速度を下げる時点とする
[2]に記載の情報処理装置。
[4]
前記事象情報生成部は、前記事象の発生を検知して前記事象の発生の検知時点を前記第1情報に含める検知部を備え、
前記決定部は、前記検知時点を、前記表示速度を下げる時点とする
[1]に記載の情報処理装置。
[5]
前記事象情報生成部は、前記事象または前記事象とは別の事象の発生を検知する検知部をさらに備え、
前記決定部は、前記検知に基づき、前記表示速度を下げる時点を修正する
[2]または[3]のいずれか一項に記載の情報処理装置。
[6]
前記検知部は、前記機器または前記機器が取り付けられた物体の振動、旋回、および加速度の少なくともいずれかの発生を検知し、
前記決定部は、前記振動、旋回、および加速度の少なくともいずれかの検知に基づき、前記表示速度を下げる時点を修正する
[5]に記載の情報処理装置。
[7]
前記予測部は、前記機器または前記機器が取り付けられた物体の移動予定経路に関する第2情報に基づき、前記事象の発生時点を予測する
[2]、[3]、[5]、または[6]に記載の情報処理装置。
[8]
前記事象は、前記機器または前記機器が取り付けられた物体が受ける振動であり、
前記予測部は、前記第2情報に含まれる前記移動予定経路の路面状態に基づき、前記事象の発生時点を予測する
[7]に記載の情報処理装置。
[9]
前記事象は、前記機器または前記機器が取り付けられた物体の旋回であり、
前記予測部は、前記第2情報に含まれる前記移動予定経路の形状に基づき、前記事象の発生時点を予測する
[7]に記載の情報処理装置。
[10]
前記予測部は、前記事象の終息時点をさらに予測し、
前記決定部は、
前記予測された発生時点から予測された終息時点までの期間を、前記表示速度の低下期間と決定し、
前記低下期間以外において、前記表示速度の上昇期間を決定する
[2]ないし[9]のいずれか一項に記載の情報処理装置。
[11]
前記上昇期間における表示速度の標準速度に対する増減率が、前記低下期間における表示速度の前記標準速度に対する増減率の絶対値よりも小さい
[10]に記載の情報処理装置。
[12]
前記事象情報生成部は、前記事象または前記事象とは別の事象の発生を検知する検知部をさらに備え、
前記決定部は、前記検知に基づき、前記低下期間および前記上昇期間の少なくともいずれかを修正する
[10]に記載の情報処理装置。
[13]
前記検知部は、声をさらに検知し、
前記決定部は、前記声の検知時点に基づき、前記表示速度または前記映像に対応する音声の出力速度を上げる時点を決定する
[4]ないし[12]のうち、前記検知部を備える一項に記載の情報処理装置。
[14]
前記決定部は、前記第1情報に基づき、前記映像の表示に関する設定のうちの視認性に関する設定の少なくとも一つを前記視認性が劣化する方向に変更する時点をさらに決定する
[1]ないし[13]のいずれか一項に記載の情報処理装置。
[15]
前記機器または前記機器が取り付けられた物体の実際の位置と、前記機器または前記物体の移動予定経路と、の乖離に関する第4情報を受信する受信部
をさらに備え、
前記決定部は、前記第4情報に基づき、前記表示速度を下げる時点をさらに決定する
[1]ないし[14]のいずれか一項に記載の情報処理装置。
[16]
前記機器をさらに備え、
前記機器が、前記第1情報に基づき、前記映像を撮影するレートを上げる
[1]ないし[15]のいずれか一項に記載の情報処理装置。
[17]
前記機器と、
自身の位置および周囲の状況に関する第5情報に基づき、与えられた目的地までの移動予定経路を決定する経路決定部と、
前記移動予定経路を移動する移動制御部と、
をさらに備える[16]に記載の情報処理装置。
[18]
前記映像を表示する予定の表示装置に、前記表示速度を下げる時点を示す情報を送信する送信部
[1]ないし[17]のいずれか一項に記載の情報処理装置。
[19]
映像を撮影する機器が取り付けられた移動装置と、情報処理装置と、前記映像を表示する第1および第2の表示装置と、を備えた映像表示システムであって、
前記情報処理装置は、
前記移動装置の動きに関する事象の発生に関する第1情報を生成する事象情報生成部と、
前記第1情報に基づき、映像の表示速度を下げる時点を決定する決定部と、
決定された時点に関する情報を、少なくとも前記第1の表示装置に送信する送信部と、
を備え、
前記第1の表示装置は、前記映像の表示中に、前記映像の表示速度を、前記時点において下げ、
前記第2の表示装置は、前記映像の表示中に、前記映像の表示速度を前記時点の前後において一定とする
映像表示システム。
[20]
映像を撮影する機器の動きに関する事象の発生に関する第1情報を生成するステップと、
前記第1情報に基づき、前記映像の表示速度を下げる時点を決定するステップと、
前記映像の表示を開始するステップと、
前記映像の表示速度を、前記時点において下げるステップと、
を備える映像表示方法。
100 情報処理装置
100A 第2の実施形態のセンサ
100B サーバ
100C 移動装置
110 情報処理装置の受信部
120 第1の実施形態のセンサ
130 移動情報生成部
131 物体検出部
132 環境状態推定部
133 自己位置推定部
134 環境地図作成部
135 経路決定部
140 移動制御部
141 行動決定部
142 機体制御部
150 事象情報生成部
151 予測部
152 検知部
160 表示情報生成部
161 変更決定部
162 変更更新部
170 情報処理装置の送信部
200 表示装置
200A 第1表示装置
200B 第2表示装置
210 入力受付部
220 送信部
230 受信部
240 表示制御部
300 障害物
401、402 矢印(移動予定経路)
500 バー(映像フレーム)

Claims (20)

  1. 映像を撮影する機器の動きに関する事象の発生に関する第1情報を生成する事象情報生成部と、
    前記第1情報に基づき、前記映像の表示速度を下げる時点を決定する決定部
    を備える情報処理装置。
  2. 前記事象情報生成部は、前記事象の発生時点を予測して予測された発生時点を前記第1情報に含める予測部を備え、
    前記決定部は、前記予測された発生時点に基づき、前記表示速度を下げる時点を決定する
    請求項1に記載の情報処理装置。
  3. 前記決定部は、前記予測された発生時点を、前記表示速度を下げる時点とする
    請求項2に記載の情報処理装置。
  4. 前記事象情報生成部は、前記事象の発生を検知して前記事象の発生の検知時点を前記第1情報に含める検知部を備え、
    前記決定部は、前記検知時点を、前記表示速度を下げる時点とする
    請求項1に記載の情報処理装置。
  5. 前記事象情報生成部は、前記事象または前記事象とは別の事象の発生を検知する検知部をさらに備え、
    前記決定部は、前記検知に基づき、前記表示速度を下げる時点を修正する
    請求項2に記載の情報処理装置。
  6. 前記検知部は、前記機器または前記機器が取り付けられた物体の振動、旋回、および加速度の少なくともいずれかの発生を検知し、
    前記決定部は、前記振動、旋回、および加速度の少なくともいずれかの検知に基づき、前記表示速度を下げる時点を修正する
    請求項5に記載の情報処理装置。
  7. 前記予測部は、前記機器または前記機器が取り付けられた物体の移動予定経路に関する第2情報に基づき、前記事象の発生時点を予測する
    請求項2に記載の情報処理装置。
  8. 前記事象は、前記機器または前記機器が取り付けられた物体が受ける振動であり、
    前記予測部は、前記第2情報に含まれる前記移動予定経路の路面状態に基づき、前記事象の発生時点を予測する
    請求項7に記載の情報処理装置。
  9. 前記事象は、前記機器または前記機器が取り付けられた物体の旋回であり、
    前記予測部は、前記第2情報に含まれる前記移動予定経路の形状に基づき、前記事象の発生時点を予測する
    請求項7に記載の情報処理装置。
  10. 前記予測部は、前記事象の終息時点をさらに予測し、
    前記決定部は、
    前記予測された発生時点から予測された終息時点までの期間を、前記表示速度の低下期間と決定し、
    前記低下期間以外において、前記表示速度の上昇期間を決定する
    請求項2に記載の情報処理装置。
  11. 前記上昇期間における表示速度の標準速度に対する増減率が、前記低下期間における表示速度の前記標準速度に対する増減率の絶対値よりも小さい
    請求項10に記載の情報処理装置。
  12. 前記事象情報生成部は、前記事象または前記事象とは別の事象の発生を検知する検知部をさらに備え、
    前記決定部は、前記検知に基づき、前記低下期間および前記上昇期間の少なくともいずれかを修正する
    請求項10に記載の情報処理装置。
  13. 前記検知部は、声をさらに検知し、
    前記決定部は、前記声の検知時点に基づき、前記表示速度または前記映像に対応する音声の出力速度を上げる時点を決定する
    請求項5に記載の情報処理装置。
  14. 前記決定部は、前記第1情報に基づき、前記映像の表示に関する設定のうちの視認性に関する設定の少なくとも一つを前記視認性が劣化する方向に変更する時点をさらに決定する
    請求項1に記載の情報処理装置。
  15. 前記機器または前記機器が取り付けられた物体の実際の位置と、前記機器または前記物体の移動予定経路と、の乖離に関する第4情報を受信する受信部
    をさらに備え、
    前記決定部は、前記第4情報に基づき、前記表示速度を下げる時点をさらに決定する
    請求項1に記載の情報処理装置。
  16. 前記機器をさらに備え、
    前記機器が、前記第1情報に基づき、前記映像を撮影するレートを上げる
    請求項1に記載の情報処理装置。
  17. 前記機器と、
    自身の位置および周囲の状況に関する第5情報に基づき、与えられた目的地までの移動予定経路を決定する経路決定部と、
    前記移動予定経路を移動する移動制御部と、
    をさらに備える請求項16に記載の情報処理装置。
  18. 前記映像を表示する予定の表示装置に、前記表示速度を下げる時点を示す情報を送信する送信部
    をさらに備える請求項1に記載の情報処理装置。
  19. 映像を撮影する機器が取り付けられた移動装置と、情報処理装置と、前記映像を表示する第1および第2の表示装置と、を備えた映像表示システムであって、
    前記情報処理装置は、
    前記移動装置の動きに関する事象の発生に関する第1情報を生成する事象情報生成部と、
    前記第1情報に基づき、映像の表示速度を下げる時点を決定する決定部と、
    決定された時点に関する情報を、少なくとも前記第1の表示装置に送信する送信部と、
    を備え、
    前記第1の表示装置は、前記映像の表示中に、前記映像の表示速度を、前記時点において下げ、
    前記第2の表示装置は、前記映像の表示中に、前記映像の表示速度を前記時点の前後において一定とする
    映像表示システム。
  20. 映像を撮影する機器の動きに関する事象 の発生に関する第1情報を生成するステップと、
    前記第1情報に基づき、前記映像の表示速度を下げる時点を決定するステップと、
    前記映像の表示を開始するステップと、
    前記映像の表示速度を、前記時点において下げるステップと、
    を備える映像表示方法。
JP2020038037A 2020-03-05 2020-03-05 情報処理装置、映像表示システム、および映像表示方法 Pending JP2023044735A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2020038037A JP2023044735A (ja) 2020-03-05 2020-03-05 情報処理装置、映像表示システム、および映像表示方法
PCT/JP2021/005194 WO2021176991A1 (ja) 2020-03-05 2021-02-12 情報処理装置、映像表示システム、および映像表示方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020038037A JP2023044735A (ja) 2020-03-05 2020-03-05 情報処理装置、映像表示システム、および映像表示方法

Publications (1)

Publication Number Publication Date
JP2023044735A true JP2023044735A (ja) 2023-04-03

Family

ID=77613373

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020038037A Pending JP2023044735A (ja) 2020-03-05 2020-03-05 情報処理装置、映像表示システム、および映像表示方法

Country Status (2)

Country Link
JP (1) JP2023044735A (ja)
WO (1) WO2021176991A1 (ja)

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4407549B2 (ja) * 2005-03-17 2010-02-03 カシオ計算機株式会社 撮影装置、動画再生装置、動画記録再生プログラム
JP2007218655A (ja) * 2006-02-15 2007-08-30 Matsushita Electric Ind Co Ltd ナビゲーション装置
JP2008041161A (ja) * 2006-08-04 2008-02-21 Denso Corp 記憶装置用保護装置
JP2009260442A (ja) * 2008-04-11 2009-11-05 Panasonic Corp 車載撮像装置
JP2011101300A (ja) * 2009-11-09 2011-05-19 Konica Minolta Opto Inc 撮影装置および遠隔作業支援システム
JP2012009984A (ja) * 2010-06-23 2012-01-12 Nikon Corp 撮像装置
JP2013005423A (ja) * 2011-06-22 2013-01-07 Nec Casio Mobile Communications Ltd 映像再生装置、映像再生方法およびプログラム
JP6909286B2 (ja) * 2017-05-18 2021-07-28 株式会社ソニー・インタラクティブエンタテインメント 画像生成装置、画像表示システム、および画像生成方法

Also Published As

Publication number Publication date
WO2021176991A1 (ja) 2021-09-10

Similar Documents

Publication Publication Date Title
JP6469932B2 (ja) 自動ズームを実施するためのシステムおよび方法
JP6753405B2 (ja) 情報処理装置及び情報処理方法
WO2015003270A1 (en) Telepresence method and system for supporting out of range motion
JP2013255168A (ja) 撮像装置、および撮像方法
JPWO2019116784A1 (ja) 情報処理装置、移動体、制御システム、情報処理方法及びプログラム
JP5393927B1 (ja) 映像生成装置
WO2017212958A1 (ja) 情報処理装置、情報処理方法、およびプログラム
US20180101782A1 (en) Systems and methods for determining predicted risk for a flight path of an unmanned aerial vehicle
WO2018179305A1 (ja) 走行経路提供システムおよびその制御方法、並びにプログラム
JP5360004B2 (ja) 画像処理装置及び画像処理方法
WO2019188390A1 (ja) 露光制御装置、露光制御方法、プログラム、撮影装置、及び、移動体
JP2013109639A (ja) 画像処理装置、サーバ、携帯端末装置、及び画像処理方法
JP2023044735A (ja) 情報処理装置、映像表示システム、および映像表示方法
US20230154106A1 (en) Information processing apparatus, information processing method, and display apparatus
JP2015141155A (ja) 虚像表示装置、制御方法、プログラム、及び記憶媒体
WO2018163492A9 (ja) 運転モード切替制御装置、方法、及びプログラム
JP2015163943A (ja) 撮像装置
JP7180457B2 (ja) データ取得装置、データ取得システム、データ取得方法およびプログラム
US20150015707A1 (en) Telepresence method and system for tracking head movement of a user
JP5950205B2 (ja) 車両用近接警報音出力装置管理システム
EP3174281A1 (en) Display control device, image capturing apparatus and display control method
US11826648B2 (en) Information processing apparatus, information processing method, and recording medium on which a program is written
US20220244726A1 (en) Information processing apparatus, information processing method, and program
US9619714B2 (en) Device and method for video generation
CN110585696A (zh) 一种车载虚拟现实内容显示的方法、***、控制平台