KR101972496B1 - 듀얼 디스플레이 시스템 - Google Patents

듀얼 디스플레이 시스템 Download PDF

Info

Publication number
KR101972496B1
KR101972496B1 KR1020167028247A KR20167028247A KR101972496B1 KR 101972496 B1 KR101972496 B1 KR 101972496B1 KR 1020167028247 A KR1020167028247 A KR 1020167028247A KR 20167028247 A KR20167028247 A KR 20167028247A KR 101972496 B1 KR101972496 B1 KR 101972496B1
Authority
KR
South Korea
Prior art keywords
display
user
delete delete
cameras
way
Prior art date
Application number
KR1020167028247A
Other languages
English (en)
Other versions
KR20160132094A (ko
Inventor
듀안 콰이어트
테리 라우어
리치몬드 힉스
Original Assignee
인텔 코포레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 인텔 코포레이션 filed Critical 인텔 코포레이션
Publication of KR20160132094A publication Critical patent/KR20160132094A/ko
Application granted granted Critical
Publication of KR101972496B1 publication Critical patent/KR101972496B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/213—Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/24—Constructional details thereof, e.g. game controllers with detachable joystick handles
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/30—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers
    • A63F13/31—Communication aspects specific to video games, e.g. between several handheld game devices at close range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1615—Constructional details or arrangements for portable computers with several enclosures having relative motions, each enclosure supporting at least one I/O or computing function
    • G06F1/1616—Constructional details or arrangements for portable computers with several enclosures having relative motions, each enclosure supporting at least one I/O or computing function with folding flat displays, e.g. laptop computers or notebooks having a clamshell configuration, with body parts pivoting to an open position around an axis parallel to the plane they define in closed position
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1615—Constructional details or arrangements for portable computers with several enclosures having relative motions, each enclosure supporting at least one I/O or computing function
    • G06F1/1616—Constructional details or arrangements for portable computers with several enclosures having relative motions, each enclosure supporting at least one I/O or computing function with folding flat displays, e.g. laptop computers or notebooks having a clamshell configuration, with body parts pivoting to an open position around an axis parallel to the plane they define in closed position
    • G06F1/1618—Constructional details or arrangements for portable computers with several enclosures having relative motions, each enclosure supporting at least one I/O or computing function with folding flat displays, e.g. laptop computers or notebooks having a clamshell configuration, with body parts pivoting to an open position around an axis parallel to the plane they define in closed position the display being foldable up to the back of the other housing with a single degree of freedom, e.g. by 360° rotation over the axis defined by the rear edge of the base enclosure
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1615—Constructional details or arrangements for portable computers with several enclosures having relative motions, each enclosure supporting at least one I/O or computing function
    • G06F1/1616—Constructional details or arrangements for portable computers with several enclosures having relative motions, each enclosure supporting at least one I/O or computing function with folding flat displays, e.g. laptop computers or notebooks having a clamshell configuration, with body parts pivoting to an open position around an axis parallel to the plane they define in closed position
    • G06F1/162—Constructional details or arrangements for portable computers with several enclosures having relative motions, each enclosure supporting at least one I/O or computing function with folding flat displays, e.g. laptop computers or notebooks having a clamshell configuration, with body parts pivoting to an open position around an axis parallel to the plane they define in closed position changing, e.g. reversing, the face orientation of the screen with a two degrees of freedom mechanism, e.g. for folding into tablet PC like position or orienting towards the direction opposite to the user to show to a second user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1637—Details related to the display arrangement, including those related to the mounting of the display in the housing
    • G06F1/1641—Details related to the display arrangement, including those related to the mounting of the display in the housing the display being formed by a plurality of foldable display components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1686—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being an integrated camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1423—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1423—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display
    • G06F3/1431—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display using a single graphics controller
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H04N5/23238—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/142—Constructional details of the terminal equipment, e.g. arrangements of the camera and the display
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/214—Input arrangements for video game devices characterised by their sensors, purposes or types for locating contacts on a surface, e.g. floor mats or touch pads
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00—Aspects of interface with display user

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Hardware Design (AREA)
  • Signal Processing (AREA)
  • Mathematical Physics (AREA)
  • Computer Security & Cryptography (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Studio Devices (AREA)

Abstract

본 발명은 모든 부분이 내부에 배치된 통합된 케이스를 포함하는 장치에 관련된다. 장치는 프로세서와, 적어도 두 개의 디스플레이와, 적어도 두 개의 카메라와, 저장 시스템을 포함한다. 저장 시스템은 적어도 두 개의 카메라로부터 입력을 획득하고 적어도 두 개의 디스플레이에 디스플레이 정보를 제공하도록 프로세서에 지시하는 코드를 포함한다.

Description

듀얼 디스플레이 시스템{DUAL DISPLAY SYSTEM}
본 기술은 일반적으로 듀얼 디스플레이 디바이스(dual display device)에 관련된다. 더욱 구체적으로, 본 기법은 게이밍(gaming), 원격회의(teleconferencing) 및 파노라마 비디오(panoramic video) 능력이 있는 듀얼 디스플레이 디바이스에 관련된다.
로컬(local) 또는 네트워크 연결 제한이 있는 두 개의 백투백(back to back) 디바이스를 사용하는 것은 게이밍, 원격회의 및 파노라마 비디오 캡처(capture) 동안 사용자 경험에 지장을 줄 수 있다. 흔히, 사용자 대향 카메라(user facing camera)들은 게이밍 동안에 테이블 상의 손 제스처를 캡처하도록 똑바른 각도에서 최적화되지 않고, 하나의 랩톱(laptop) 뒤의 손 제스처는 다른 사용자가 쉽게 볼 수 있다. 또한, 네트워크 또는 로컬 연결이 존재하지 않을 수 있다.
도 1은 듀얼 디스플레이 및 카메라 입력을 위해 사용될 수 있는 컴퓨팅 시스템의 블록도이고,
도 2는 듀얼 디스플레이 게이밍 및 협력 시스템(dual display gaming and collaboration system)의 개략도이며,
도 3은 듀얼 디스플레이 게이밍 및 협력 시스템의 블록도이고,
도 4는 게이밍 경험(gaming experience) 중인 두 사용자의 개략도이며,
도 5는 종적 게이밍 및 협력 경험(vertical gaming and collaboration experience)을 위해 구성된 시스템(500)의 그림이고,
도 6은 단일 사용자를 대상으로 한(targeted) 단일 디스플레이 및 카메라 디바이스를 가지는 시스템의 그림이며,
도 7(a) 및 도 7(b)는 도 6의 하드웨어 구성을 사용하여 성취될 수 있는 화이트 보드(white board) 특징의 최소 구현의 그림이고,
도 8은 제1 카메라를 통한 화상회의(video conferencing) 및 제2 카메라를 통한 화이트보드의 관측 양자 모두를 가능케 하는 컴퓨팅 시스템의 그림이며,
도 9는 회의 시스템(conferencing system)의 그림이고,
도 10은 화상 회의를 위해 셋업된(setup) 방의 그림이며,
도 11(a) 및 도 11(b)는 파노라마 비디오 애플리케이션(panoramic video application)을 수용할 수 있는 파노라마 시스템(panoramic system)의 그림이고,
도 12는 사용자가 카메라를 사용하고 제스처 입력 시스템(gesture input system)에 손 제스처를 사용하여 입력을 제공하는 것의 개략도이며,
도 13은 제스처 입력 시스템을 제어하는 데에 사용될 수 있는 상이한 움직임들의 개략도이고,
도 14는 게이밍 및 협력 모드(gaming and collaboration mode)를 구현하기 위한 방법의 블록도이며,
도 15는 컴퓨팅 디바이스 상에서 애플리케이션을 실행하기 위한 방법의 블록도이고,
도 16은 화상회의를 위한 방법의 블록도이며,
도 17은 손 움직임으로부터 입력을 획득하기 위한 방법의 블록도이다.
비슷한 컴포넌트 및 특징을 참조하기 위해 개시 및 도면 도처에서 동일한 번호가 사용된다. 100 계열에서의 번호는 원래 도 1에서 발견되는 특징을 나타내고, 200 계열에서의 번호는 원래 도 2에서 발견되는 특징을 나타내며, 기타 등등이다.
위에서 지적된 바와 같이, 로컬 또는 네트워크 연결 제한이 있는 두 개의 백투백 디바이스를 사용하는 것은 게이밍, 원격회의 및 파노라마 비디오 캡처 동안 사용자 경험에 지장을 줄 수 있다. 또한, 개선된 힌지(hinge), 디스플레이, 터치, 카메라 및 유사한 것과 함께 PC 및 태블릿 폼 팩터(form factor)가 진화하면서, 제조업자들은 새로운 폼 팩터에 의거해서 새로운 용도 및 경험을 가능하게 하려고 시도하고 있고, 따라서 사용자가 이 경험들을 얻기 위해서 새로운 시스템을 구입하기를 촉발하고 있다.
본 문서 내에 기술된 실시예에서, 컴퓨팅 시스템을 위한 폼 팩터는 마주 대하는 게이밍 경험(across the table gaming experience)을 가능하게 하기 위해 디스플레이, 터치, 힌지 및 카메라 기술을 사용할 수 있다. 몇몇 경우에, 컴퓨팅 시스템은 적어도 두 개의 디스플레이(힌지에 의해 나뉘어 그 시스템으로 하여금 "A" 프레임 자세(position)로 셋업될 수 있게 하되 그 디스플레이들은 외부를 향함)를 포함한다. 이들 시스템에서, 2D 또는 3D 카메라들이 각각의 디스플레이에 인접하여(adjacent) 놓이니 그 시스템으로 하여금 어느 쪽 디스플레이든 보고 있는 사용자를 촬상할(image) 수 있게 한다. 다른 응용에서, "뒤집힌 텐트 모드"(upside down tent mode)로 그 디스플레이들을 열어 두기 위해 메커니즘(mechanism)이 사용될 수 있다. 이것은 사용자의 디스플레이 상의 정보를 다른 사용자로부터 가리고(shield), 힌지 각도에 기반하여, 손 제스처를 위한 개인 영역(private area)을 생성한다. 또한, 대칭적인 인체공학적 이중 손 제스처(symmetrical, ergonomic dual hand gestures)를 위한 기법이 본 문서 내에 기술된다.
시스템은 다양한 멀티플레이어(multi-player) 게이밍 및 협력 애플리케이션을 위해 사용될 수 있다. 현재의 시스템들은 일반적으로 단일 사용자를 대상으로 한 단일한 디스플레이 및 인터페이스 디바이스를 가진다. 동일한 경험을 가능하게 하는 것은 두 시스템이 케이블에 의해서든 또는 무선으로든 통신하는 것을 요구할 것이다. 동일한 시스템 내에 디스플레이 및 카메라 양자 모두를 갖는 것은 게이밍 또는 협력 경험의 더 나은 조정(coordination)을 허용하며 또 물론 단일 시스템 상에서 그 경험을 가능하게 한다.
시스템은 두 사용자(시스템의 각 측에 한 명)로 하여금 경쟁적으로든(competitively) 또는 협조적으로든(cooperatively) 서로 상호작용할 수 있게 하는 게이밍 애플리케이션을 포함할 수 있다. 카메라는 플레이어의 제스처와 신체를 모니터링하고 각각의 플레이어는 그가 작업에 대한 정보를 모니터링하는 데에 사용할 수 있는 스크린을 가진다. 하나의 예에서, 두 사용자는 단일 컴퓨팅 디바이스를 공유할(share) 수 있으나, 각각의 사용자는 자기 자신의 디스플레이는 물론, 입력 제스처를 위한 개인(private)/가려진(shielded) 입력 영역을 가질 수 있는데, 본 문서 내에 기술된 바와 같다. 각각의 사용자는 단지 그의 또는 그녀의 디스플레이와 자신의 손 움직임을 볼 수 있다. 각각의 사용자는 손 제스처를 행하고 독립적으로 자기 자신의 디스플레이와 상호작용하되 다른 사용자가 모르게 할 수 있다. 이 게이밍 모드를 사용하면서 어떤 로컬 또는 네트워크 연결도 요구되지 않는다.
이하의 설명 및 청구항에서, 용어 "커플링된"(coupled) 및 "연결된"(connected), 더불어 그것들의 파생물들이 사용될 수 있다. 이 용어들은 서로에 대한 동의어로서 의도되지 않음이 이해되어야 한다. 오히려, 특정한 실시예에서, "연결된"은 둘 이상의 구성요소가 서로 직접적인 물리적 또는 전기적 접촉이 됨을 나타내는 데에 사용될 수 있다. "커플링된"은 둘 이상의 구성요소가 직접적인 물리적 또는 전기적 접촉이 됨을 의미할 수 있다. 그러나, "커플링된"은 둘 이상의 구성요소가 서로 직접적인 접촉이 되지 않으나, 그래도 여전히 서로 협동하거나 상호작용함을 또한 의미할 수 있다.
도 1은 듀얼 디스플레이 및 카메라 입력을 위해 사용될 수 있는 컴퓨팅 시스템(100)의 블록도이다. 컴퓨팅 시스템(100)은 단일 케이스 내에 카메라 시스템(102) 및 듀얼 디스플레이 시스템(104)이 있는 통합된(integrated) 시스템일 수 있다. 컴퓨팅 시스템은 무엇보다도 올인원(all-in-one) 컴퓨터 또는 랩톱일 수 있다. 덜 휴대가능한 디바이스와 함께 외부 디스플레이 및 카메라가 사용될 수 있는바, 시스템은 이 구현에 한정되지 않는다. 예컨대, 컴퓨팅 시스템(100)은 무엇보다도 랩톱 컴퓨터, 데스크톱 컴퓨터, 태블릿 컴퓨터, 모바일 디바이스, 서버 또는 셀룰러 전화일 수 있다.
듀얼 디스플레이 시스템(104)은 컴퓨팅 시스템(100)으로 하여금 상이한 디스플레이된 정보를 서로를 위해 제공할 수 있게 한다. 본 문서에서 논의된 바와 같이, 제1 사용자의 디스플레이 상의 정보는 제2 사용자가 볼 수 없을 수 있고 거꾸로도 마찬가지이다. 또한 카메라 시스템(102)은 각각의 사용자로 하여금 다른 사용자에게 가시적(visible)이지 않은 방식으로 컴퓨팅 시스템(100)에 독립적인 입력을 제공할 수 있게 한다. 게이밍 플랫폼(gaming platform)을 제공하는 것에 더하여, 카메라 시스템(102)은 다수의 다른 기능을 제공하기 위해 사용될 수 있다. 예컨대, 카메라 시스템은 화상회의를 위해 듀얼 카메라(dual camera)를 제공할 수 있는데, 여기서 하나의 카메라는 제1 사용자에 정향되고(pointed) 제2 카메라는 다른 사용자에 정향된다. 또한, 카메라 시스템(102)은 또한 사용자로 하여금 각 손으로부터 컴퓨터 시스템에 독립적인 입력을 제공할 수 있게 할 수 있으니, 현재의 포인팅 디바이스로써 가능한 것보다 데이터의 더 복잡한 조작을 가능하게 한다.
컴퓨팅 시스템(100)은 저장된 명령어를 실행하도록 적응된 프로세서(106)는 물론, 프로세서(106)에 의해 실행가능한 명령어를 저장하는 메모리 디바이스(108)를 포함할 수 있다. 프로세서(106)는 단일 코어 프로세서(single core processor), 다중 코어 프로세서(multi-core processor), 컴퓨팅 클러스터(computing cluster) 또는 임의의 개수의 다른 구성일 수 있다. 프로세서(106)는 복합 명령어 세트 컴퓨터(Complex Instruction Set Computer: CISC) 또는 축소 명령어 세트 컴퓨터(Reduced Instruction Set Computer: RISC) 프로세서, x86 명령어 세트 호환가능 프로세서, 다중 코어 또는 임의의 다른 마이크로프로세서 또는 중앙 처리 유닛(Central Processing Unit: CPU)으로서 구현될 수 있다. 몇몇 실시예에서, 프로세서(106)는 듀얼 코어(dual-core) 프로세서(들), 듀얼 코어 모바일 프로세서(들) 또는 유사한 것을 포함한다.
메모리 디바이스(108)는 랜덤 액세스 메모리(random access memory)(가령, SRAM, DRAM, 제로 커패시터 RAM(zero capacitor RAM), SONOS, eDRAM, EDO RAM, DDR RAM, RRAM, PRAM 등등), 판독 전용 메모리(read only memory)(가령, 마스크 ROM(Mask ROM), PROM, EPROM, EEPROM 등등), 플래시 메모리(flash memory), 또는 임의의 다른 적합한 메모리 시스템을 포함할 수 있다. 메모리 디바이스(108) 내에 저장되고 프로세서(106)에 의해 실행되는 명령어는 별개의 디스플레이들에 디스플레이 정보를 제공하고 상이한 사용자들로부터 입력을 획득하는 등등을 위해 사용될 수 있다.
프로세서(106)는 키보드(keyboard)(114) 또는 포인팅 디바이스(pointing device)(116)로부터 입력을 획득하도록 적응된 입력/출력(Input/Output: I/O) 디바이스 인터페이스(112)에 시스템 버스(110)(가령, PCI, ISA, PCI 익스프레스(PCI-Express), 하이퍼트랜스포트(HyperTransport®), 누버스(NuBus) 등등)를 통해 연결될 수 있다. 포인팅 디바이스는 예컨대 가상 키보드를 제공하기 위해 디스플레이 디바이스와 협조하여 사용되는 터치패드 또는 터치스크린를 포함할 수 있다. 몇몇 경우에, I/O 디바이스 인터페이스(112)는 외부 카메라, 입력 활성 화이트보드(input active whiteboard) 및 유사한 것과 같은 주변 디바이스(118)를 컴퓨팅 디바이스(118)에 접속하기(attach) 위한 포트를 포함하는 USB 서브시스템이다. 주변 디바이스들(118)은 USB 서브시스템 내의 PD 제어기를 공유할 수 있다.
프로세서(106)는 또한 디스플레이 인터페이스(120)에 커플링되는 듀얼 디스플레이 시스템(104)에 시스템 버스(110)를 통해 링크될(linked) 수 있다. 디스플레이 인터페이스(120)는 컴퓨팅 시스템(100) 내에 통합될 수 있는 두 개의 디스플레이(122 및 124)를 구동하도록(drive) 적응될 수 있다. 그러나, 컴퓨팅 시스템(100)은 통합된 디스플레이(122 및 124)에 한정되지 않으며, 외부 디스플레이, 프로젝터, 텔레비전 및 유사한 것이, 예컨대 디스플레이 포트(126)를 통해, 디스플레이 인터페이스(120)에 연결될 수 있다.
컴퓨팅 시스템(100)은 또한 저장 디바이스(128)를 포함할 수 있다. 저장 디바이스(128)는 하드 드라이브, 광학 드라이브, 플래시 드라이브, 드라이브의 어레이(array) 또는 이들의 임의의 조합과 같은 물리적 메모리를 포함할 수 있다. 저장 디바이스(128)는 또한 원격 저장 드라이브를 포함할 수 있다. 저장 디바이스(128)는 또한 본 문서 내에 기술된 기법을 구현하도록 적응된 소프트웨어 모듈을 포함할 수 있다. 예컨대, 운영 체제(operating system)(130)는 본 문서 내에 기술된 바와 같이, 여러 사용자로부터 입력을 획득하도록 적응된 코드를 포함하는 카메라 입력 시스템(132)을 포함할 수 있다. 카메라 입력 시스템(132)은 또한, 예컨대 카메라 시스템(102)을 통해, 사용자의 상이한 손들로부터 입력을 획득하도록 적응된 코드를 포함할 수 있다. 또한, 저장 디바이스(128)는 컴퓨팅 시스템(100)의 상이한 디스플레이(122 또는 124)에 상이한 이미지를 제공하고, 운영 체제(130)의 카메라 입력 시스템(132)을 사용하여 카메라 시스템(102)으로부터 별개의 사용자들로부터의 입력을 획득하도록 설계된 다중사용자 게이밍 시스템(multiuser gaming system)(134)을 포함할 수 있다. 컴퓨팅 시스템(100)은 다중사용자 게이밍 시스템(134)에 한정되지 않는다. 다중사용자 게이밍 시스템(134) 대신에, 또는 이에 더하여, 저장 디바이스(128)는 화상회의 시스템, 이미지 처리 소프트웨어, 센서로부터 3차원 포지션을 판정하기 위한 코드, 그리고 유사한 것을 가질 수 있다.
본 문서 내에 기술된 기능을 가능하게 하기 위하여, 카메라 시스템(102)은 시스템 버스(110)를 통해 프로세서(106)에 커플링된 카메라 인터페이스(136)를 포함할 수 있다. 카메라 인터페이스(136)는 시스템 내에 통합된 다수의 카메라(138 내지 144)에 커플링될 수 있다. 이들 카메라(138 내지 144) 각각은 시계(field of view) 내의 객체, 예를 들어 손의 위치를 맵핑하기(mapp) 위해 비과시간(time-of-flight) 판정을 사용하는 광학 카메라, 3차원 광학 카메라 또는 적외선 카메라로부터 개별적으로 선택될 수 있다. 시스템은 케이스 내에 통합된 4개의 카메라(138 내지 144)를 가지는 것에 한정되지 않는다. 예컨대, 본 문서 내에 기술된 기능 중 단지 몇몇을 구현하기 위해 컴퓨팅 디바이스(100) 내에 더 적은 카메라가 통합될 수 있다. 카메라(138 내지 144) 외에, 더 많은 카메라가 또한 시스템 내에 통합될 수 있다. 또한, 외부 연결을 통해, 예를 들어 외부 카메라 포트(146)를 통해, 또는 I/O 디바이스 인터페이스(112)를 통해 추가적인 카메라가 추가될 수 있다.
도 2는 듀얼 디스플레이 게이밍 및 협력 시스템(200)의 개략도이다. 제1 사용자(202) 및 제2 사용자(204) 둘 다 자기 자신의 디스플레이(206 및 208)를 가진다. 힌지(212)의 각도(210)로 인해, 제1 사용자(202)는 단지 제1 디스플레이(206) 상의 정보를 볼 수 있고, 제2 사용자(204)는 단지 제2 디스플레이(208) 상의 정보를 볼 수 있다.
아래쪽으로 사용자의 손(218)에 정향되고 사용자의 제스처를 검출하는 것이 가능한 카메라(214 및 216)가 각각의 반대되는 디스플레이(206 및 208) 밑에 있다. 제스처 카메라(214 및 216)는 각각의 사용자(202 및 204)를 위한 "개인 입력" 영역을 제공하는데, 여기서 그들은 손 제스처를 행하거나 증강 현실(augmented reality)을 위한 플레이할 거리(playing piece)를 사용할 수 있다.
도 1에 관해서 기술된 바와 같이, 듀얼 디스플레이 게임 및 협력 시스템(200)은 두 개의 대향 디스플레이(206 및 208), 손 제스처 입력을 캡처하기 위한 두 개의 카메라(214 및 216), 그리고 그 디스플레이들을 열어 "뒤집힌 텐트 모드"로 두기 위한 메커니즘을 가지는 단일 컴퓨팅 디바이스(100), 예를 들어 랩톱일 수 있다. 사용 중에, 컴퓨팅 디바이스(100)는 테이블 위에 열려 정지되어 있다. 개인 입력 영역은 힌지 각도(210)에 기반하여 디스플레이(206 및 208) 각각에 의해 생성되는 가려진 영역 내에서 손 제스처가 수행되는 곳이다.
도 3은 듀얼 디스플레이 게이밍 및 협력 시스템(200)의 블록도이다. 비슷한 번호 표시된 항목은 도 2에 관해서 기술된 바와 같다. 각각의 사용자는 그 사용자가 그저 그의 또는 그녀의 디스플레이(206 또는 208)를 볼 수 있는 시야각(angle of viewing)(302 및 304)을 가진다. 불투명 시스템 부분 및 카메라 배치 각도의 조합은 각각의 사용자를 위한 개인 입력 영역(306 및 308)을 생성한다. 컴퓨팅 디바이스(100)를 위치시키고 컴퓨팅 디바이스(100)를 제자리에 고착시키는(lock) 데에 기계적 홀더(mechanical holder)(310)가 사용될 수 있다. 기술된 바와 같이, 컴퓨팅 디바이스(100)는 각각의 사용자를 위한 개인 입력 영역(306 및 308) 내의 제스처를 판정하기 위해 복수의 이미지 캡처 디바이스(214 및 216)를 포함할 수 있다.
도 4는 게이밍 경험(400) 중인 두 사용자(202 및 204)의 개략도이다. 비슷한 번호 표시된 항목은 도 2 및 도 3에 관해서 논의된 바와 같다. 상호작용적인 게이밍 및 협력 애플리케이션이 단일 컴퓨팅 디바이스(100)에 걸쳐서 작동되는데 이로써, 데이터가 하나의 시스템에서 로컬이어서 무결절 상호작용(seamless interaction)을 가능하게 한다. 각각의 사용자(202 및 204)는 각자의 개별 디스플레이(208 및 206)와, 카메라(402 및 404)를 가진다.
도 5는 종적 게이밍 및 협력 경험을 위해 구성된 시스템(500)의 그림이다. 비슷한 번호 표시된 항목은 이전에 논의된 바와 같다. 이 시스템에서, 전통적인 접기식(folding) 컴퓨팅 시스템의 키보드는 제2 디스플레이, 가령 디스플레이(208)로 대체된다. 전통적인 PC 애플리케이션을 위해 사용되는 경우, 이차적 디스플레이(208)는, 가령 키를 디스플레이하는 터치스크린을 가짐으로써, 키보드로서 사용될 수 있다. 잠금 힌지(locking hinge)(502)를 사용하여, 시스템은 텐트형 모드(tented mode)로 구성될 수 있는데 - 이는 단일 디스플레이와 함께 일반적인 컨버터블(convertible)을 사용하여 가능하지는 않다. 추가로, 시스템은 적어도 두 개의 카메라(402 및 404)를 가지는데, 카메라는 각각의 디스플레이(206 및 208)와 같은 장소에 위치된다(co-located). 본 문서 내에 기술된 바와 같이, 카메라(402 및 404)는 전통적인 화상회의 카메라일 수 있거나, RGB 데이터 외에 깊이 정보(depth information)를 제공하는 고급 3D 카메라일 수 있다. 더 작은 제스처를 구별하는 시스템(500)의 능력은 일반적으로, 사용되는 카메라(402 및 404)의 품질과 상관될 것이다.
맞대면(face to face) 액션 게이밍에서, 두 사용자가 단일 컴퓨팅 시스템(100)을 공유한다. 사용자 각각은 컴퓨팅 시스템(100)으로부터 약 1미터보다 더 큰 거리(504)에 있을 수 있다. 힌지 및 디스플레이 각도들은 각각의 사용자를 위한 별개의 증강 현실 디스플레이를 생성할 수 있다. 각각의 사용자의 디스플레이는 그들 자신의 콘텍스트(context)에 관해서 그들의 진행 및 액션을 보여줄 수 있다. 몇몇 경우에, 사용자들은, 가령 복싱(boxing) 또는 반사반응(reflex) 게임 내에서, 커다란 빠른 제스처를 행할 수 있다. 제스처를 따라가고 정보를 디스플레이하기 위하여, 전통적인 2D 및 새로운 3D 카메라들에 의해 배경 대비(background contrast), 실내 조명(room lighting), 고속 움직임 제스처(fast motion gestures), 그리고 캡처 영역(capture area)(키가 큰 사용자와 키가 작은 사용자)이 최적화될 수 있다. 높은 동적 범위(High Dynamic Range: HDR) 및 초저조도 광(Ultra-Low Light: ULL) 애플리케이션들을 이용해 명광(bright light) 및 미광(low light) 민감도(sensitivity)가 다루어질 수 있다. 시계(Field Of View: FOV) 및 최적 거리가 기하학적 왜곡 정정(geometric distortion correction)과 함께 더 넓은 FOV를 가능하게 하는 데에 사용될 수 있다.
카메라(402 및 404)의 배치는 대상이 되고 있는 용도, 가령 게임, 화상회의 등등의 우선순위에 기반하여 최적화될 수 있다. 예컨대, 작업그룹들이 갖가지 위치에 흩어짐에 따라, 화상회의는 계속해서 더욱 더 중요하게 된다. 그러나, 화상회의에 있어서의 공통적인 문제는, 같은 장소에 위치된 사람들이 논의를 진척시키기 위해 화이트 보드를 사용하는 것(이는 그 방 외부의 사람들을 단절시킬 수 있음)이 편리하다는 것을 흔히 발견한다는 점이다.
도 6은 단일 사용자를 대상으로 한 단일 디스플레이(602) 및 카메라 디바이스(604)를 가지는 시스템(600)의 그림이다. 동일한 경험을 가능하게 하는 것은 두 개의 시스템 또는 적어도 하나의 추가적인 카메라를 요구할 것이다. 추가로, 화상회의 애플리케이션은 사람들의 출현을 최적화하기 위해서 카메라를 제어한다. 특별한 화이트 보드 캡처 모드를 가지는 것은, 가령 텍스트 및 스케치가 판독가능(readable)하게끔 하고, 사용자 및 움직이는 객체를 스크린으로부터 제거하며, 다른 불필요한 객체를 장면으로부터 제거하기 위해, 이 용도를 위한 이미지 캡처 및 후처리의 최적화를 가능하게 할 것이다.
도 7(a) 및 도 7(b)는 도 6의 하드웨어 구성을 사용하여 성취될 수 있는 화이트 보드 특징의 최소 구현의 그림이다. 비슷한 번호 표시된 항목은 도 6에 관해서 기술된 바와 같다. 도 7(a)는 사용자에 정향된 시스템을 도시하는 반면, 도 7(b)는 카메라를 화이트 보드(702)에 정향시키기 위해 회전된(swiveled) 시스템을 도시한다. 도 7(a) 및 도 7(b)에서 사용자로 하여금 스크린(604)과 카메라(604)를 도 7(b)에 도시된 바와 같이 화이트 보드(702)를 마주보도록 회전할 수 있게 하기 위해 카메라 노출 및 후처리 알고리즘에 대해 개선이 이루어진다. 그 캡처 및 처리 알고리즘이 최적화될 수 있으나, 카메라(604)는 여전히 화상 및 화이트 보드(702) 용도들 간에 공유되어야 한다. 그 용도들 간의 주요한 차이는 카메라 하드웨어에서의 변경이다. 화이트 보드의 사진을 찍기 위한 요구사항과 비교할 때 화상회의 카메라는 비교적 낮은 해상도(resolution) 및 이미지 품질을 가진다. 이것은 파노라마 촬상(panoramic imaging)을 적용하는 것, 가령 여러 이미지의 지능적인 결합(assembly) 또는 평균화(averaging)에 의해 보상될 수 있다. 그 경험은 분리가능 시스템(detachable system)의 세상 대향 카메라(world facing camera)를 도 8에 도시된 바와 같이 도킹된(docked) 동안 사용함으로써 추가로 개선될 수 있다.
도 8은 제1 카메라(802)를 통한 화상회의 및 제2 카메라(804)를 통한 화이트보드(702)의 관측 양자 모두를 가능케 하는 컴퓨팅 시스템(800)의 그림이다. 비슷한 번호 표시된 항목은 도 7에 도시된 바와 같다. 제2 카메라(804)는 화이트보드(702)를 관측하도록 설계될 수 있다. 도 8 내의 컴퓨팅 시스템(800)의 구성은 더 높은 성능의 카메라(804)를 이용하고, 컴퓨팅 시스템(800) 앞의 사용자로 하여금, 예컨대 디스플레이(806) 상에 보여진 윈도우(window)를 통해, 화이트 보드(702)의 캡처를 모니터링할 수 있게 한다. 그러나, 카메라의 사각(angle of view)은 이 용도를 위해 화이트보드 쪽에서 최적이지 않다. 이것은 더 넓은 시계(field-of-view)를 사용하여, 그러나 왜곡을 대가로, 수용될 수 있다. 왜곡은 해상도의 어떤 손실을 대가로 하지만, 정정될 수 있다. 더 유리한 구성은 도 9에 도시된 바와 같이, 듀얼 디스플레이 시스템을 사용한다.
도 9는 회의 시스템(900)의 그림이다. 비슷한 번호 표시된 항목은 도 1 내지 도 7에 관해서 기술된 바와 같다. 이 모드에서, 사용자는 화상 통화(video call)의 중단(interruption) 없이 필요한 대로 화이트 보드(702) 그림의 사진을 캡처할 수 있다. 회의 시스템(900)은 두 개의 카메라를 포함하는데, 제1 카메라(902)는 사용자에 정향되는 반면, 제2 카메라(904)는 화이트보드(702)의 방향으로 정향된다. 디스플레이(906 및 908)는 회의 시스템(900)의 각 측의 사용자가 화상 회의를 볼 수 있게 하기 위해 각각의 카메라(902 및 904)에 인접한다. 카메라(902 및 904) 및 디스플레이(906 및 908)의 각도(910)는, 그 디스플레이들이 외부를 향하면서 회의 시스템(900)이 "A" 프레임 자세로 셋업될 수 있게 하는 힌지(912)에 의해 조절된다.
회의 시스템(900)은 여러 사용자로 하여금 네트워크를 가로질러 상호작용할 수 있게 하는 화상회의 애플리케이션을 포함한다. 추가로, 사용자로부터 벗어나게 향하는 카메라(904)는 화이트 보드(702)가 이미지를 요구되는 대로 캡처하고 업데이트하는 것을 모니터링하는 데에 사용될 수 있다. 화이트 보드 이미지가 업데이트되는 경우, 화이트 보드를 위해 최적으로 노출된(exposed) 고해상도 이미지가 캡처되고 비교적 적은 압축과 함께 발신되며, 따라서 수신측이 화이트 보드(702)의 고품질 판독가능 이미지를 가질 수 있게 한다. 제2 스크린(908) 및 카메라(904)는 화상 회의에 참여하기를 또한 바라는 제2 사용자를 모니터링하는 데에 또한 사용될 수 있다. 또, 화이트 보드(702) 상에 작성 중인 사람은 화상 통화의 다른 측이나, 아니면 화이트 보드(702) 상의 자기 작업을 또한 관측할 수 있는데 도 10에 관해서 기술된다.
도 10은 화상 회의를 위해 셋업된 방(1000)의 그림이다. 비슷한 번호는 도 7 내지 도 9에 관해서 기술된 바와 같다. 제1 사용자(1002)는 디스플레이(906) 상에서 회의를 지켜보면서, 후방 카메라(rear camera)(902)가 보이는 곳에, 회의 시스템(900) 뒤에 앉아 있을 수 있다. 전방 카메라(front camera)(904)는 제2 사용자(1004) 및 화이트 보드(702)를 향할 수 있다. 회의 시스템(900)은, 예컨대 화이트 보드(702)의 내용을 추적할 수 있는데, 가령 화이트 보드(702) 앞에 서 있는 사용자(1004)를 편집해 잘라내는 것(editing out)과, 이전에 촬상된(imaged) 데이터로써 임의의 폐색(occlusion)을 바로잡는 것(repairing)이다. 카메라(902 및 904)는 동일한 표준 품질의 것일 수 있거나, 어느 쪽이든 하나, 또는 양쪽 모두, 더 나은 촬상을 위해 더 높은 품질의 카메라일 수 있다. 예컨대, 어느 쪽 카메라(902 또는 904)든 640x480 카메라이거나, 1920x1080 HD 카메라이거나, 그 사이의 임의의 해상도의 것일 수 있다. 카메라(902 또는 904)를 위해 사용되는 해상도 및 유형은 스토리지(storage), 용도 또는 네트워크 대역폭을 기반으로 선택될 수 있다. 또한, 카메라의 해상도는 조절가능한 설정치(setpoint)일 수 있다.
몇몇 실시예에서, 사용자(1002 또는 1004)는 화상 회의 내에 여전히 있는 동안 화이트 보드(702)로부터 정보를 선택적으로 캡처할 수 있다. 예컨대, 만약 사용자(1004)가 안건을 명확히 하기 위해 화이트 보드(702) 상에 복잡하거나 큰 그림을 그리는 경우, 사용자(1004)는 그가 그의 그림을 바꿀 때마다 화이트 보드(702)의 고품질 파노라마 이미지를 보낼 수 있는바, 화상 회의의 다른 이들 쪽의 분심(distraction)을 제한한다. 큰 캡처 영역, 안 좋은 각도, 고르지 않은 조명, 반사 및 열악한 대비(contrast)는 특수화된 캡처 및 처리 알고리즘을 사용하여 다루어질 수 있다.
카메라의 개수는 2에 한정되지 않는다. 카메라의 개수 및 배치는, 예컨대 비용 고려와, 원하는 사용자 경험을 비롯하여, 시스템 설계에 달려 있을 수 있다. 예컨대, 사용자는 디바이스의 움직임을 용인하지 않을 수 있다. 이 예에서, 더 넓은 시계(Field-Of-View: FOV)를 갖는 카메라를 선택하거나 추가적인 카메라를 선택함으로써, 추가적인 비용이 들지만, 시스템은 개선될 수 있다. 받아들일 만한 화이트보드 정보를 얻기 위한 최소 카메라 해상도는 또한 시스템 설계, 비용 고려 및 사용자 경험에 의존적(dependent)일 수 있다. 예컨대, 시스템은 2미터에서 1" 글자를 인식할 수 있다. 언어 및 폰트가 또한 고려될 수 있다. 몇몇 경우에, 긴 노출(long exposure)은 미광을 보상할 수 있다. 회의 시스템(900)은 또한 지능적인 스티칭(stitching) 및 안정화(stabilization)를 포함할 수 있다.
파노라마 스틸 이미지(panoramic still image)가 대다수의 스마트폰 상에 디스플레이될 수 있고 사용자에게 꽤 인기가 있다. 비디오를 사용하여 움직이는 장면을 녹화하는(recording) 경우 이 능력을 갖는 것은 자연스러운 확장일 것이다. 그러나, 전통적인 파노라마 기술(panoramic technology)은 비디오를 사용하여 움직이는 장면을 녹화하는 것을 지원하지 않는다. 대안은 비싸고 크며, 내재적인 렌즈 왜곡을 정정하기 위한 상당한 후처리를 요구하는 넓은 FOV 카메라이다.
도 11(a) 및 도 11(b)는 파노라마 비디오 애플리케이션을 수용할 수 있는 파노라마 시스템(1100)의 그림이다. 도 11(a)는 파노라마 시스템(1100)의 정면도(front view)인 반면, 도 11(b)는 시스템의 평면도(top view)이다. 컴퓨터 시스템(1100)은 두 디스플레이(1106 및 1108) 각각으로부터 반대 편에 마운팅된(mounted) 공칭(nominal) FOV의 두 전통적인 카메라(1102 및 1104)를 포함할 수 있다. 디스플레이(1106 및 1108)는 사용자(1112)가 나란히 두 디스플레이(1106 및 1108)를 보는 경우 카메라(1102 및 1104)가 그에게서 떨어진 곳으로 정향되도록 힌지(1110)에 의해 연결된다. 그 디스플레이들(1106 및 1108)을 연결하는 힌지(1110)는 캡처되고 있는 장면의 폭에 따라 FOV 내의 부분적인 중첩(overlap)을 최적화하기 위해 카메라(1102 및 1104) 간의 각도(1114)를 제어하는 데에 사용된다. 비디오 촬영(video shooting)의 편의를 향상시키기 위해 적절한 위치에서 각도(1114)를 고착시키는 메커니즘이 포함될 수 있다. 시스템은 그러면 카메라(1102 및 1104)로부터의 이미지들을 단일 비디오 스트림(video stream)으로 조합한다. 이미지들이 별개의 카메라들(1102 및 1104)에 의해 캡처되기 때문에, 실시간 비디오(real time video)가 가능하다.
전통적으로, 파노라마 이미지를 생성하기 위하여, 사용자는 캡처되고 있는 장면(1116)에 걸쳐서 카메라를 팬(pan)할 것이다. 후처리에서, 장면의 중첩 영역은 매치되어(matched) 비중첩(non-overlapping) 영역이 원래의 이미지에 접합될 수 있게 할 것이다. 이것은 원하는 장면이 캡처될 때까지 추가적인 캡처과 함께 반복될 것이다. 결과적으로, 장면 내의 움직임은 제대로 캡처되지 않았고, 따라서, 그 기법은 비디오 녹화에 적용가능하지 않았다.
전통적인 파노라마 이미지 캡처 기법과는 대조적으로, 파노라마 시스템(1100)은 장면(1116) 내의 움직임을 포함할 수 있는 파노라마를 장면(1116)으로부터 생성하기 위한 더욱 사용자 친화적인 시스템을 제공한다. 또한, 향상된 또는 단순한 파노라마 스틸을 생성하기 위해 두 개의 넓은 FOV 카메라로부터의 이미지가 조합될 수 있다. 사용자는 카메라의 적절한 분리 및 안정적인 플랫폼을 만들기 위해 디바이스를 초상 모드(portrait mode)로 놓아둘 수 있다. 몇몇 경우에, 사용자는 대상체에 대한 올바른 각도 및 정렬(alignment)을 확실히 하기 위해 디스플레이(1106 및 1108)를 살펴본다. 사용자(1112)는 어떤 각도로 되어 있는 두 개의 디스플레이(1106 및 1108)를 살펴볼 수 있다. 밝은 햇빛에서의 사용자 정렬은 시스템 디스플레이 및 하드웨어에 의해 다루어질 수 있다. 추가적으로, 카메라(1102 및 1104)의 개수 및 배치와 더불어 FOV 및 최적 거리는 디바이스의 설계에 달려 있을 수 있다. 몇몇 경우에, 카메라(1102 및 1104)는 조절가능할 수 있으니, 예컨대 디스플레이(1106 및 1108)에 대한 각도들을 허용한다.
몇몇 경우에, 파노라마 시스템(1100)은 증강 현실 모드에서 사용될 수 있다. 예컨대, 사용자(1112)는 주로 실내에서, 추가적인 콘텐트와 상호작용할 수 있다. 사용자(1112)는 그의 큰 스크린에 추가적인 정보와 선택사항을 얻기 위해 광학 마커(optical marker)에 카메라(1102 및 1104)를 정향시킬 수 있다. 추가의 예로서, 사용자(1112)는 더 많은 정보를 액세스하기 위해 박물관에서 사진을 찍을 수 있다. 증강 현실은 본 문서 내에 기술된 본 기법과 더불어 사용될 수 있다. 도 1에 기술된 컴퓨팅 시스템(100)은 다른 입력 또는 상호작용 기법, 예를 들어 도 12 및 도 13에 관해서 기술된 양손 입력 기법(two handed input technique)을 구현하는 데에 사용될 수 있다.
도 12는 사용자(1202)가 제스처 입력 시스템(1200)에 손 제스처를 사용하여 입력을 제공하기 위해 카메라(1204 및 1206)를 사용하는 것의 개략도이다. 제스처 입력 시스템(1200)은 도 1에 관해서 기술된 컴퓨팅 시스템(100)에 기반할 수 있다. 사용자의 왼손 움직임 (X, Y, Z)는 좌측 카메라(1204)에 의해 캡처되고 오른손 움직임 (X, Y, Z)는 우측 카메라(1206)에 의해 캡처된다. 손 제스처는 게임을 동작시키도록 또는 다른 애플리케이션과 상호작용하도록 구성될 수 있다. 오른손 제스처, 왼손 제스처 또는 조합된 제스처를 비롯하여, 상이한 유형의 입력이 상이한 목적을 위해 구성될 수 있다. 다른 카메라, 예를 들어 화상회의 카메라(1208)가 또한 존재할 수 있다.
더욱 전통적인 제스처 입력 시스템에서, 제스처는 흔히 비인체공학적인(non-ergonomic) 위아래 스와이프(up and down swipes), 가령 디스플레이에 평행한 것인데, 이는 하나 이상의 움직임 카메라(motion camera)를 사용하여 검출된다. 키보드를 증강하기(augment) 위해 손 제스처를 캡처하는 기법조차 사용자가 어색한 각도로 디스플레이에 평행하게 위아래로 스와이프하도록 강요한다. 이것은 부자연스러운 움직임으로 인해 금방 힘들게 된다.
비교해보면, 본 문서 내에 기술된 제스처 입력 시스템(1200)은, 키보드(1210)에 수직인 두 개의 상향(upwardly facing) 카메라(1204 및 1206)가 있는 단일 컴퓨팅 디바이스(100), 예를 들어 랩톱을 포함한다. 카메라(1204 및 1026)는, 가령 키보드(1210)의 어느 쪽에든 놓임으로써, 거리를 두고 분리되어(separated in distance), 편안하고 인체공학적인 손 간격을 제공한다. 따라서, 제스처 카메라(1204 및 1206)는 키보드(1210)에 평행한 매끄러운 완화된 움직임을 가능하게 할 수 있되, 키보드(1210)에 수직으로 움직이는 경우 깊이 입력을 역시 가능하게 할 수 있다. 본 기법이 두 개의 카메라(1204 및 1206)로써 기술되나, 키보드(1210)를 증강하기 위해 임의의 개수의 이미지 캡처 디바이스가 사용될 수 있다.
제스처 입력 시스템(1200)은 입력 제스처를 놓치지 않고서 천장 및 주변 조명을 취급하도록 구성될 수 있다. 또한, 제스처 입력 시스템(1200)은 또한 응답 시간을 정할 수 있고 이미지 크기로부터 깊이를 추론할 수 있다. 키보드(1210) 주위의 카메라(1204 및 1206)의 배치 또는 격리는 고정되거나 조절가능할 수 있다. 또한, 카메라(1204 및 1206)의 해상도 및 프레임율(frame-rate)은 고정되거나 조절가능할 수 있다.
도 13은 제스처 입력 시스템(1200)을 제어하는 데에 사용될 수 있는 상이한 움직임들의 개략도이다. 몇몇 경우에, 사용자는 어느 쪽이든 한 손으로 (또는 양손으로써) 카메라(1204 및 1206) 상에서 스와이프할 수 있다. 제스처는 게임 또는 애플리케이션 내의 명령, 예를 들어 "발포하라"(fire a gun) 또는 "새 무기를 선택하라"(select new weapon)에 대응할 수 있다. 또한, 사용자의 위/아래 움직임은 가상 버튼(button), 드럼(drum) 또는 총 거리(gross distance) 제스처를 시뮬레이션할(simulate) 수 있다. 오른손 및 왼손 제어는 모터사이클 제어의 예에서와 같이 상호의존적(interdependent)일 수 있다. 오른손 및 왼손 제어는 또한 독립적(independent)일 수 있다. 예컨대, 오른손 및 왼손 제어는 두 개의 상이한 가상 버튼으로서 기능할 수 있다.
도 14는 게이밍 및 협력 모드를 구현하기 위한 방법(1400)의 블록도이다. 방법(1400)은 제1 사용자 및 제2 사용자에 의해 단일 컴퓨팅 디바이스를 공유하는 것으로 블록(1402)에서 시작한다. 블록(1404)에서, 컴퓨팅 디바이스의 각도를 변화시킴으로써 제1 사용자 및 제2 사용자를 위해 디바이스에 의해 다수의 입력 영역이 가려진다.
도 15는 컴퓨팅 디바이스 상에서 애플리케이션을 실행하기 위한 방법(1500)의 블록도이다. 블록(1502)에서 애플리케이션은 단일 플랫폼(single platform) 상에서 실행된다. 단일 플랫폼은 제1 디스플레이 및 제2 디스플레이를 포함하는데, 제1 디스플레이는 제1 사용자에 대응하고 제2 디스플레이는 제2 사용자에 대응하며, 플랫폼은 제1 사용자가 제2 디스플레이를 볼 수 없고 제2 사용자가 제1 디스플레이를 볼 수 없도록 위치된다. 단일 플랫폼은 또한 복수의 이미지 캡처 메커니즘과, 디바이스를 뒤집힌 텐트 모드로 고정시키는 메커니즘을 포함한다.
도 16은 화상회의를 위한 방법(1600)의 블록도이다. 방법(1600)은 제1 사용자 및 로컬 이미지(local image) 사이에 듀얼 디스플레이를 갖는 단일 컴퓨팅 디바이스를 위치시킴으로써 블록(1602)에서 시작한다. 블록(1604)에서 로컬 이미지는 컴퓨팅 디바이스의 복수의 카메라를 통하여 제1 사용자에 의해 선택적으로 캡처된다.
도 17은 손 움직임으로부터 입력을 획득하기 위한 방법(1700)의 블록도이다. 방법(1700)은 복수의 이미지 캡처 메커니즘으로써 키보드를 증강하는 것으로 블록(1702)에서 시작한다. 블록(1704)에서, 사용자의 손 제스처를 캡처하기 위해 적어도 두 개의 이미지 캡처 메커니즘이 위치되는데, 이미지 캡처 메커니즘들은 각 손을 위한 별개의 입력 영역을 제공하도록 거리를 두고 분리된다.
예 1
장치가 여기에 기술된다. 위 장치는 제1 디스플레이 및 제2 디스플레이를 포함하는데, 위 제1 디스플레이 및 위 제2 디스플레이는 제1 사용자가 제2 사용자의 디스플레이를 볼 수 없고 위 제2 사용자가 위 제1 사용자의 디스플레이를 볼 수 없도록 위치된다. 위 장치는 또한 복수의 이미지 캡처 메커니즘과, 그 디바이스를 뒤집힌 텐트 모드로 고정시키는 메커니즘을 포함한다.
위 장치는 컴퓨팅 디바이스일 수 있다. 위 복수의 이미지 캡처 메커니즘은 테이블 상의 제1 사용자와 제2 사용자의 손 제스처를 캡처하는 데에 사용될 수 있다. 위 제1 사용자의 손 제스처는 위 장치에 의해 위 제2 사용자의 시야(view)로부터 가려질 수 있다. 위 제2 사용자의 손 제스처는 위 장치에 의해 위 제1 사용자의 시야로부터 가려질 수 있다. 위 장치는 입력 제스처를 위한 개인 입력 영역(private input area)을 가능하게 할 수 있다.
위 제1 디스플레이는 제1 사용자에 대응할 수 있고, 위 제2 디스플레이는 제2 사용자에 대응할 수 있다. 위 제1 사용자는 위 제2 사용자가 모르게 위 제1 디스플레이와 상호작용할 수 있다. 위 제2 사용자는 위 제1 사용자가 모르게 위 제2 디스플레이와 상호작용할 수 있다. 위 장치는 로컬 또는 네트워크 연결 없이 게이밍 및 협력 모드를 가능하게 할 수 있다.
예 2
게이밍 및 협력 모드를 구현하기 위한 방법이 여기에 기술된다. 위 방법은 제1 사용자 및 제2 사용자에 의해 단일 컴퓨팅 디바이스를 공유하는 단계와, 위 컴퓨팅 디바이스의 각도를 변화시킴으로써 위 제1 사용자 및 위 제2 사용자를 위해 위 디바이스에 의해 복수의 입력 영역을 가리는 단계를 포함한다.
위 컴퓨팅 디바이스의 위 각도는 힌지에 의해 제어될 수 있다. 위 컴퓨팅 디바이스는 복수의 카메라를 포함할 수 있고, 위 복수의 카메라는 위 복수의 입력 영역이 개인용(private)이도록 배치될 수 있다. 위 컴퓨팅 디바이스는 스탠드(stand)에 의해 고정될 수 있다. 위 스탠드는 기계적 홀더일 수 있다. 위 게이밍 모드는 증강 현실을 포함할 수 있다. 위 컴퓨팅 디바이스는 복수의 디스플레이를 포함할 수 있고, 위 제1 사용자는 위 제2 사용자의 디스플레이를 보는 것이 가능하지 않을 수 있고, 위 제2 사용자는 위 제1 사용자의 디스플레이를 보는 것이 가능하지 않을 수 있다. 위 제1 사용자의 손 제스처는 위 컴퓨팅 디바이스에 의해 위 제2 사용자의 시야로부터 가려질 수 있다. 위 제2 사용자의 손 제스처는 위 컴퓨팅 디바이스에 의해 위 제1 사용자의 시야로부터 가려질 수 있다. 위 컴퓨팅 디바이스는 입력 제스처를 위한 개인 입력 영역을 가능하게 할 수 있다.
예 3
시스템이 여기에 기술된다. 위 시스템은 A 프레임 자세(A-frame position)와, 듀얼 디스플레이(dual display)를 포함하는데, 위 듀얼 디스플레이는 위 A 프레임으로부터 외부로 대향하는 적어도 두 개의 디스플레이를 포함한다. 위 시스템은 또한 위 적어도 두 개의 디스플레이에 인접하여 위치된 복수의 카메라를 포함한다.
위 복수의 카메라는 위 시스템으로 하여금 위 적어도 두 개의 디스플레이 각각에 대응하는 복수의 사용자를 촬상할 수 있게 할 수 있다. 복수의 사용자가 위 시스템을 사용하여 상호작용하는 것이 가능할 수 있다. 복수의 사용자가 위 시스템을 사용하여 경쟁적으로(competitively) 상호작용하는 것이 가능할 수 있다. 복수의 사용자가 위 시스템을 사용하여 협조적으로(cooperatively) 상호작용하는 것이 가능할 수 있다. 위 복수의 카메라는 복수의 사용자의 신체와 임의의 제스처를 모니터링할 수 있다. 위 복수의 사용자는 위 시스템으로부터 2미터 이상 떨어져 있을 수 있다. 위 A 프레임 자세를 유지하기 위해 힌지가 사용될 수 있다. 위 시스템은 듀얼 디스플레이 2미터 게이밍 경험(dual display, two meter gaming experience)을 가능하게 할 수 있다. 위 시스템은 기계적 홀더를 포함할 수 있다.
예 4
방법이 여기에 기술된다. 위 방법은 컴퓨팅 디바이스 상에서 애플리케이션을 실행하는 단계를 포함하는데, 위 애플리케이션은 단일 플랫폼 상에서 실행된다. 위 단일 플랫폼은 제1 디스플레이 및 제2 디스플레이를 포함하는데, 위 제1 디스플레이는 제1 사용자에 대응하고 위 제2 디스플레이는 제2 사용자에 대응하며, 위 플랫폼은 위 제1 사용자가 위 제2 디스플레이를 볼 수 없고 위 제2 사용자가 위 제1 디스플레이를 볼 수 없도록 위치된다. 위 단일 플랫폼은 또한 복수의 이미지 캡처 메커니즘과, 위 디바이스를 뒤집힌 텐트 모드로 고정시키는 메커니즘을 포함한다.
위 애플리케이션은 게이밍 애플리케이션(gaming application)일 수 있다. 위 애플리케이션은 경쟁적 게이밍 애플리케이션(competitive gaming application)일 수 있다. 위 애플리케이션은 협력적 게이밍 애플리케이션(collaborative gaming application)일 수 있다. 위 컴퓨팅 디바이스는 게이밍/협력 경험이 단일 시스템에 의해 가능하게 되도록 복수의 사용자를 대상으로 할 수 있는 게이밍 및 협력 시스템이다. 위 애플리케이션은 맞대면 액션 게이밍(face to face action gaming)을 포함할 수 있다. 두 사용자가 위 컴퓨팅 디바이스를 공유할 수 있는데 각각은 위 디바이스로부터 1미터 넘게 떨어진 거리에 있을 수 있다. 위 컴퓨팅 디바이스의 힌지 및 디스플레이 각도가 각각의 사용자를 위한 별개의 증강 현실 디스플레이를 가능하게 할 수 있다. 위 방법은 기하학적 왜곡 정정(geometric distortion correction) 및 넓은 시계(wide field of view)를 포함할 수 있다. 위 애플리케이션은 HDR 및 ULL 애플리케이션으로써 명광 및 미광 민감도(bright and low-light sensitivity)를 제공할 수 있다.
예 5
장치가 여기에 기술된다. 위 장치는 제1 디스플레이 및 제2 디스플레이를 포함하는데, 위 제1 디스플레이 및 위 제2 디스플레이는 외부로 향하고 있다. 위 장치는 또한 복수의 이미지 캡처 메커니즘과, 화상 회의(video conference) 동안 위 장치를 뒤집힌 텐트 모드로 고정시키는 메커니즘을 포함한다. 위 제1 디스플레이는 제1 사용자에 대응하고, 위 장치는 제1 이미지 캡처 메커니즘이 로컬 이미지를 캡처하고 제2 이미지 캡처 메커니즘이 위 제1 사용자를 캡처하도록 위치된다.
위 로컬 이미지는 화이트 보드 이미지(white board image)일 수 있다. 위 로컬 이미지는 이미지 캡처 동안에 수정될 수 있다. 위 로컬 이미지는 위 이미지를 그리거나 지움으로써 수정될 수 있다. 제2 사용자가 위 로컬 이미지를 수정하고 위 화상 회의를 위 제2 디스플레이를 사용하여 관측하는 것이 가능할 수 있다. 위 제1 사용자 또는 제2 사용자는 위 화상 회의의 중단 없이 위 로컬 이미지를 캡처할 수 있다. 위 제1 사용자는 위 화상 회의 동안 계속 생산적(productive)이면서 위 로컬 이미지를 선택적으로 캡처할 수 있다. 위 로컬 이미지는 고대비 하이메가픽셀 파노라마 스틸(high contrast, high megapixel, panoramic still)일 수 있다.
위 복수의 캡처 메커니즘 중의 다수의 이미지 캡처 메커니즘은 긴 노출(long exposure)을 포함할 수 있다. 캡처 및 처리 알고리즘을 사용하여 큰 캡처 영역(large capture area), 안 좋은 각도(bad angle), 고르지 않은 조명(uneven lighting), 반사(reflections) 및 열악한 대비(poor contrast)가 다루어질 수 있다.
예 6
화상회의를 위한 방법이 여기에 기술된다. 위 방법은 제1 사용자 및 로컬 이미지 사이에 듀얼 디스플레이를 갖는 단일 컴퓨팅 디바이스를 위치시키는 단계와, 위 컴퓨팅 디바이스의 복수의 카메라를 통하여 위 제1 사용자에 의해 위 로컬 이미지를 선택적으로 캡처하는 단계를 포함한다.
제2 사용자가 위 로컬 이미지를 수정하고 위 화상 회의를 위 컴퓨팅 디바이스의 디스플레이를 사용하여 관측할 수 있다. 위 복수의 카메라 중의 카메라가 미광(low light)을 보상하기 위한 긴 노출을 가질 수 있다. 위 컴퓨팅 디바이스는 스탠드에 의해 고정될 수 있다. 위 스탠드는 기계적 홀더일 수 있다. 위 컴퓨팅 디바이스는 지능적 스티칭(intelligent stitching)을 포함할 수 있다. 위 컴퓨팅 디바이스는 안정화(stabilization)를 포함할 수 있다. 위 화상 회의 동안의 로컬 이미지 캡처 사용 및 비디오 사용은 별개의 카메라를 사용할 수 있다. 위 컴퓨팅 디바이스는 화상 회의 모드를 포함할 수 있다. 위 컴퓨팅 디바이스는 여러 사용자로 하여금 위 회상 회의에 참여할 수 있게 할 수 있다.
예 7
장치가 여기에 기술된다. 위 장치는 듀얼 디스플레이와, 복수의 이미지 캡처 메커니즘을 포함하는데, 적어도 두 개의 이미지 캡처 메커니즘이 힌지에 의해 분리된다. 위 장치는 또한 위 적어도 두 개의 이미지 캡처 메커니즘의 시계(field of view)를 확장하기 위한 자리에 위 장치를 고착시키는 메커니즘과, 위 적어도 두 개의 이미지 캡처 메커니즘으로부터의 데이터를 단일 데이터 스트림(data stream)으로 조합하는 서브시스템을 포함한다.
위 데이터 스트림은 이미지를 포함할 수 있다. 위 데이터 스트림은 비디오를 포함할 수 있다. 위 데이터 스트림은 실시간 비디오 스트림(real time video stream)일 수 있다. 위 힌지는 위 적어도 두 개의 이미지 캡처 메커니즘을 위한 위 시계를 최적화하는 데에 사용될 수 있다. 위 이미지 캡처 메커니즘은 카메라일 수 있다. 위 이미지 캡처 메커니즘은 센서일 수 있다. 위 듀얼 디스플레이는 이미지 캡처를 위해 위 장치를 위치시키는 데에 사용될 수 있다. 위 장치는 복수의 디스플레이를 포함할 수 있다. 위 장치는 파노라마 비디오 녹화 및 전송을 가능하게 할 수 있다.
예 8
손 움직임으로부터 입력을 획득하기 위한 방법이 여기에 기술된다. 위 방법은 복수의 이미지 캡처 메커니즘으로써 키보드를 증강하는 단계와, 사용자의 손 제스처를 캡처하기 위해 적어도 두 개의 이미지 캡처 메커니즘을 위치시키는 단계를 포함한다. 위 적어도 두 개의 이미지 캡처 메커니즘은 각 손을 위한 별개의 입력 영역을 제공하도록 거리를 두고 분리된다.
위 적어도 두 개의 이미지 캡처 메커니즘은 위쪽으로 초점이 맞춰진(upward focused) 제스처 카메라일 수 있다. 위 적어도 두 개의 이미지 캡처 메커니즘은 위 키보드에 수직인 깊이 입력(depth input)과 함께 위 키보드에 평행한 움직임을 가능하게 할 수 있다. 사용자의 왼손 움직임이 좌측 이미지 캡처 메커니즘에 의해 캡처될 수 있고, 사용자의 오른손 움직임이 우측 이미지 캡처 메커니즘에 의해 캡처될 수 있다. 위 이미지 캡처 메커니즘들은 조절가능할 수 있다. 위 방법에서, 오른손 제어 및 왼손 제어가 의존적일 수 있다. 위 방법에서, 오른손 제어 및 왼손 제어가 독립적일 수 있다. 위 이미지 캡처 디바이스의 해상도 및 프레임율은 조절가능할 수 있다. 위 복수의 이미지 캡처 디바이스의 설정은 조절가능할 수 있다. 위 설정은 노출 시간(exposure time)을 포함할 수 있다.
예 9
장치가 여기에 기술된다. 위 장치는 모든 부분이 내부에 배치된 통합된 케이스(integrated case)와, 프로세서와, 적어도 두 개의 디스플레이와, 적어도 두 개의 카메라와, 저장 시스템을 포함한다. 위 저장 시스템은 위 적어도 두 개의 카메라로부터 입력을 획득하고 위 적어도 두 개의 디스플레이에 디스플레이 정보를 제공하도록 위 프로세서에 지시하는 코드를 포함한다.
위 저장 시스템은 위 적어도 두 개의 카메라 중 적어도 하나로부터 제어 입력을 획득하도록 위 프로세서에 지시하는 코드를 포함할 수 있다. 위 저장 시스템은 위 적어도 두 개의 카메라 각각에서 상이한 사용자들로부터 제어 입력을 획득하고 위 적어도 두 개의 디스플레이 각각에서 위 상이한 사용자들 각각을 위해 별개의 출력을 제공하도록 위 프로세서에 지시하는 코드를 포함할 수 있다. 위 장치 상의 키보드의 맞은편들을 따라 두 개의 카메라가 배치될 수 있고, 위 저장 시스템은 위 두 개의 카메라 각각을 사용하여 상이한 손으로부터 제어 입력을 획득하도록 위 프로세서에 지시하는 코드를 포함할 수 있다.
위 디스플레이를 고정된 구성(fixed configuration)으로 두기 위해 잠금 힌지(locking hinge)가 사용될 수 있다. 위 고정된 구성은 지지 표면(supporting surface)과 삼각형을 형성할 수 있는데, 상이한 디스플레이 및 상이한 카메라가 위 장치의 각 측으로부터 외부로 정향된다. 위 장치를 V 구성(V configuration)으로 지지하기 위해 마운팅 디바이스(mounting device)가 사용될 수 있는데, 상이한 디스플레이가 위 V의 각 측으로부터 가시적이다.
몇몇 실시예는 하드웨어, 펌웨어 및 소프트웨어 중 하나 또는 이들의 조합으로 구현될 수 있다. 몇몇 실시예는 또한 머신 판독가능 매체(machine-readable medium) 상에 저장된 명령어로서 구현될 수 있는데, 이는 본 문서 내에 기술된 동작을 수행하기 위해 컴퓨팅 플랫폼에 의해 판독되고 실행될 수 있다. 머신 판독가능 매체는 머신, 가령 컴퓨터에 의해 판독가능한 형태로 정보를 저장하거나 송신하기 위한 임의의 메커니즘을 포함할 수 있다. 예컨대, 머신 판독가능 매체는, 무엇보다도, 판독 전용 메모리(Read Only Memory: ROM), 랜덤 액세스 메모리(Random Access Memory: RAM), 자기 디스크 저장 매체, 광학 저장 매체, 플래시 메모리 디바이스, 또는 전기적, 광학적, 청각적 또는 다른 형태의 전파 신호(propagated signal), 가령 반송파, 적외선 신호, 디지털 신호, 또는 신호를 송신하고/하거나 수신하는 인터페이스를 포함할 수 있다.
일 실시예는 한 구현 또는 예이다. "일 실시예", "하나의 실시예", "몇몇 실시예", "다양한 실시예" 또는 "다른 실시예"에 대한 명세서 내의 언급은 실시예와 관련하여 기술된 특정한 특징, 구조 또는 특성이 본 기법의 반드시 모든 실시예는 아니지만 적어도 몇몇 실시예 내에 포함됨을 의미한다. "일 실시예", "하나의 실시예" 또는 "몇몇 실시예"의 여러 출현은 반드시 모두 동일한 실시예를 나타내고 있는 것은 아니다. 일 실시예로부터의 구성요소 또는 양상은 다른 실시예의 구성요소 또는 양상과 조합될 수 있다.
본 문서 내에 기술되고 예시된 모든 컴포넌트, 특징, 구조, 특성 등등이 특정한 실시예 또는 실시예들 내에 포함될 필요가 있는 것은 아니다. 만약 예컨대 컴포넌트, 특징, 구조 또는 특성이 포함"될 수 있다"거나 포함"되는 수도 있다"거나 포함"될 수가 있다"거나 포함"될 수도 있다"고 명세서가 진술하는 경우, 그 특정한 컴포넌트, 특징, 구조 또는 특성이 포함되도록 요구되는 것은 아니다. 만약 명세서 또는 청구항이 "한" 또는 "일" 구성요소를 언급하는 경우, 그것은 그 구성요소가 단 하나 있음을 의미하지 않는다. 만약 명세서 또는 청구항이 "추가적인" 구성요소를 언급하는 경우, 그것은 그 추가적인 구성요소가 하나보다 많이 있는 것을 배제하지 않는다.
특정한 구현을 참조하여 몇몇 실시예가 기술되었으나, 몇몇 실시예에 따라 다른 구현이 가능함에 유의하여야 한다. 추가적으로, 도면 내에 예시되고/되거나 본 문서 내에 기술된 회로 요소 또는 다른 특징의 배열 및/또는 순서는 예시되고 기술된 특정한 방식으로 배열될 필요는 없다. 몇몇 실시예에 따라 많은 다른 배열이 가능하다.
도면에 도시된 각각의 시스템에서, 몇몇 경우의 구성요소들은 표현된 구성요소들이 상이하고/하거나 유사할 수 있음을 시사하기 위해 각각 동일한 참조 번호 또는 상이한 참조 번호를 가질 수 있다. 그러나, 구성요소는 상이한 구현을 가지고 본 문서 내에 도시되거나 기술된 시스템 중 일부 또는 전부와 함께 작동하도록 충분히 융통성 있을 수 있다. 도면 내에 도시된 다양한 구성요소는 동일하거나 상이할 수 있다. 어느 것이 제1 구성요소로 지칭되고 어느 것이 제2 구성요소로 칭해지는지는 임의적이다.
앞서 언급된 예들 내의 상세사항은 하나 이상의 실시예에서 어디서나 사용될 수 있음이 이해되어야 한다. 예를 들면, 위에서 기술된 컴퓨팅 디바이스의 모든 선택적인 특징은 본 문서 내에 기술된 방법에 대해서든 또는 컴퓨터 판독가능 매체에 대해서든 또한 구현될 수 있다. 나아가, 실시예를 기술하기 위해 본 문서 내에서 흐름도 및/또는 상태도가 사용되었을 수 있지만, 본 기법은 그 도해들에 또는 본 문서 내의 대응하는 설명에 한정되지 않는다. 예컨대, 흐름은 각각의 예시된 박스(box) 또는 상태(state)를 거치거나 본 문서 내에 예시되고 기술된 바와 정확히 동일한 순서로 나아갈 필요가 없다.
본 기법은 본 문서 내에 나열된 특정한 세부사항에 제한되지 않는다. 사실, 이 개시의 이득을 보는 당업자는 전술한 설명 및 도면으로부터의 많은 다른 변이가 본 기법의 범주 내에서 행해질 수 있음을 인식할 것이다. 따라서, 본 기법의 범주를 정의하는 것은 이하의 청구항(이에 대한 임의의 보정을 포함함)이다.

Claims (87)

  1. 장치로서,
    제1 디스플레이 및 제2 디스플레이 - 상기 제1 디스플레이 및 상기 제2 디스플레이는 제1 사용자가 제2 사용자의 디스플레이를 볼 수 없고 상기 제2 사용자가 상기 제1 사용자의 디스플레이를 볼 수 없도록 위치됨 - 와,
    복수의 이미지 캡처 메커니즘과,
    상기 장치를 상기 제1 디스플레이 및 상기 제2 디스플레이 사이의 특정 각도를 유지시키는 뒤집힌 텐트 모드(upside down tent mode)로 고정시키는 메커니즘과,
    프로세서로 하여금 상기 복수의 이미지 캡처 메커니즘으로부터 입력을 획득하고, 상기 복수의 이미지 캡처 메커니즘 중 적어도 하나 이미지 캡처 메커니즘의 사각이 최적이 아닌 경우 넓은 시계(wide field of view)와 기하학적 왜곡 정정(geometric distortion correction)을 제공하기 위한 정보를 포함하는 디스플레이 정보를 상기 제1 디스플레이 및 상기 제2 디스플레이에 제공하게 하는 코드를 포함하는 저장 시스템
    을 포함하는
    장치.
  2. 제1항에 있어서,
    상기 장치는 컴퓨팅 디바이스인
    장치.
  3. 제1항에 있어서,
    상기 복수의 이미지 캡처 메커니즘은 테이블 상의 상기 제1 사용자와 상기 제2 사용자의 손 제스처를 캡처하는
    장치.
  4. 제3항에 있어서,
    상기 제1 사용자의 손 제스처는 상기 장치에 의해 상기 제2 사용자의 시야(view)로부터 가려지는(shielded)
    장치.
  5. 제3항에 있어서,
    상기 제2 사용자의 손 제스처는 상기 장치에 의해 상기 제1 사용자의 시야로부터 가려지는
    장치.
  6. 제1항에 있어서,
    상기 장치는 입력 제스처를 위한 개인 입력 영역(private input area)을 가능하게 하는
    장치.
  7. 제1항에 있어서,
    상기 제1 디스플레이는 상기 제1 사용자에 대응하고, 상기 제2 디스플레이는 상기 제2 사용자에 대응하는
    장치.
  8. 제7항에 있어서,
    상기 제1 사용자는 상기 제2 사용자가 모르게 상기 제1 디스플레이와 상호작용하는
    장치.
  9. 제7항에 있어서,
    상기 제2 사용자는 상기 제1 사용자가 모르게 상기 제2 디스플레이와 상호작용하는
    장치.
  10. 제1항에 있어서,
    상기 장치는 로컬 또는 네트워크 연결 없이 게이밍 및 협력 모드(gaming and collaboration mode)를 가능하게 하는
    장치.
  11. 삭제
  12. 삭제
  13. 삭제
  14. 삭제
  15. 삭제
  16. 삭제
  17. 삭제
  18. 삭제
  19. 삭제
  20. 삭제
  21. A 프레임 포지션(A-frame position)과,
    듀얼 디스플레이(dual display) - 상기 듀얼 디스플레이는 상기 A 프레임으로부터 외부로 대향하는 적어도 두 개의 디스플레이를 포함함 - 와,
    상기 적어도 두 개의 디스플레이에 인접하여 위치된 복수의 카메라와,
    프로세서로 하여금 상기 복수의 카메라로부터 입력을 획득하고, 상기 복수의 카메라 중 적어도 하나의 카메라의 사각이 최적이 아닌 경우 넓은 시계와 기하학적 왜곡 정정을 제공하기 위한 정보를 포함하는 디스플레이 정보를 상기 적어도 두 개의 디스플레이에 제공하게 하는 코드를 포함하는 저장 시스템
    을 포함하는
    시스템.
  22. 제21항에 있어서,
    상기 복수의 카메라는 상기 시스템으로 하여금 상기 적어도 두 개의 디스플레이 각각에 대응하는 복수의 사용자를 촬상할(image) 수 있게 하는
    시스템.
  23. 제21항에 있어서,
    복수의 사용자가 상기 시스템을 사용하여 상호작용할 수 있는
    시스템.
  24. 제21항에 있어서,
    복수의 사용자가 상기 시스템을 사용하여 경쟁적으로(competitively) 상호작용할 수 있는
    시스템.
  25. 제21항에 있어서,
    복수의 사용자가 상기 시스템을 사용하여 협조적으로(cooperatively) 상호작용할 수 있는
    시스템.
  26. 제21항에 있어서,
    상기 복수의 카메라는 복수의 사용자의 신체 제스처 및 임의의 제스처를 모니터링하는
    시스템.
  27. 제21항에 있어서,
    복수의 사용자가 상기 시스템으로부터 2미터 이상 떨어져 있는
    시스템.
  28. 제21항에 있어서,
    상기 A 프레임 포지션을 유지할 힌지를 포함하는
    시스템.
  29. 제21항에 있어서,
    상기 시스템은 듀얼 디스플레이의 2미터 게이밍 경험(dual display, two meter gaming experience)을 가능하게 하는
    시스템.
  30. 제21항에 있어서,
    기계적 홀더를 포함하는
    시스템.
  31. 컴퓨팅 디바이스 상에서 애플리케이션을 실행하는 단계를 포함하는 방법으로서, 상기 애플리케이션은 단일 플랫폼 상에서 실행되고, 상기 단일 플랫폼은
    제1 디스플레이 및 제2 디스플레이 - 상기 제1 디스플레이는 제1 사용자에 대응하고 상기 제2 디스플레이는 제2 사용자에 대응하며, 상기 플랫폼은 상기 제1 사용자가 상기 제2 디스플레이를 볼 수 없고 상기 제2 사용자가 상기 제1 디스플레이를 볼 수 없도록 위치됨 - 와,
    복수의 이미지 캡처 메커니즘과,
    상기 디바이스를 뒤집힌 텐트 모드로 고정시키는 메커니즘과,
    프로세서로 하여금 상기 복수의 이미지 캡처 메커니즘으로부터 입력을 획득하고, 상기 복수의 이미지 캡처 메커니즘 중 적어도 하나 이미지 캡처 메커니즘의 사각이 최적이 아닌 경우 상기 제1 디스플레이 및 상기 제2 디스플레이 상에 넓은 시계와 기하학적 왜곡 정정을 제공하기 위한 정보를 포함하는 디스플레이 정보를 제공하게 하는 코드를 포함하는 저장 시스템을 포함하는
    방법.
  32. 제31항에 있어서,
    상기 애플리케이션은 게이밍 애플리케이션(gaming application)인
    방법.
  33. 제31항에 있어서,
    상기 애플리케이션은 경쟁적 게이밍 애플리케이션(competitive gaming application)인
    방법.
  34. 제31항에 있어서,
    상기 애플리케이션은 협력적 게이밍 애플리케이션(collaborative gaming application)인
    방법.
  35. 제31항에 있어서,
    상기 컴퓨팅 디바이스는 게이밍 또는 협력 경험이 단일 시스템에 의해 가능하게 되도록 복수의 사용자를 대상으로 한 게이밍 및 협력 시스템인
    방법.
  36. 제31항에 있어서,
    대면 액션 게이밍(face-face action gaming)을 포함하는
    방법.
  37. 제31항에 있어서,
    두 사용자가 상기 디바이스로부터 1미터 넘게 떨어진 거리에서 상기 컴퓨팅 디바이스를 공유하는
    방법.
  38. 제31항에 있어서,
    상기 컴퓨팅 디바이스의 힌지 및 디스플레이 각도가 각각의 사용자를 위한 별개의 증강 현실 디스플레이를 가능하게 하는
    방법.
  39. 삭제
  40. 제31항에 있어서,
    HDR 및 ULL 애플리케이션을 사용하여 명광 및 미광 민감도(bright and low-light sensitivity)를 다루는
    방법.
  41. 장치로서,
    제1 디스플레이 및 제2 디스플레이 - 상기 제1 디스플레이 및 상기 제2 디스플레이는 외부로 향하고 있음 - 와,
    복수의 이미지 캡처 메커니즘과,
    화상 회의(video conference) 동안 상기 장치를 뒤집힌 텐트 모드로 고정시키는 메커니즘- 상기 제1 디스플레이는 제1 사용자에 대응하고, 상기 장치는 제1 이미지 캡처 메커니즘이 로컬 이미지(local image)를 캡처하고 제2 이미지 캡처 메커니즘이 상기 제1 사용자를 캡처하도록 위치됨 -과,
    프로세서로 하여금 상기 복수의 이미지 캡처 메커니즘으로부터 입력을 획득하고, 상기 복수의 이미지 캡처 메커니즘 중 적어도 하나 이미지 캡처 메커니즘의 사각이 최적이 아닌 경우 넓은 시계와 기하학적 왜곡 정정을 제공하기 위한 정보를 포함하는 디스플레이 정보를 상기 제1 디스플레이 및 상기 제2 디스플레이에 제공하게 하는 코드를 포함하는 저장 시스템
    을 포함하는
    장치.
  42. 제41항에 있어서,
    상기 로컬 이미지는 화이트 보드 이미지(white board image)인
    장치.
  43. 제41항에 있어서,
    상기 로컬 이미지는 이미지 캡처 동안에 수정되는
    장치.
  44. 제41항에 있어서,
    상기 로컬 이미지는 상기 이미지를 그리거나 지움으로써 수정되는
    장치.
  45. 제41항에 있어서,
    제2 사용자가 상기 로컬 이미지를 수정하고 상기 화상 회의를 상기 제2 디스플레이를 사용하여 관측할 수 있는
    장치.
  46. 제41항에 있어서,
    상기 제1 사용자 또는 제2 사용자는 상기 화상 회의의 중단 없이 상기 로컬 이미지를 캡처할 수 있는
    장치.
  47. 제41항에 있어서,
    상기 제1 사용자는 상기 화상 회의 동안 상기 로컬 이미지를 선택적으로 캡처하는
    장치.
  48. 제41항에 있어서,
    상기 로컬 이미지는 고대비 하이메가픽셀 파노라마 스틸(high contrast, high megapixel, panoramic still)인
    장치.
  49. 제41항에 있어서,
    상기 복수의 이미지 캡처 메커니즘 중의 다수의 이미지 캡처 메커니즘은 미광(low light)에 대한 보상으로 긴 노출(long exposure)을 포함하는
    장치.
  50. 제41항에 있어서,
    큰 캡처 영역(large capture area), 안 좋은 각도(bad angle), 및 열악한 대비(poor contrast)를 다루기 위해, 캡처 및 처리 알고리즘을 사용하는
    장치.
  51. 화상회의를 위한 방법으로서,
    제1 사용자와 로컬 이미지 사이에 듀얼 디스플레이를 갖는 단일 컴퓨팅 디바이스를 위치시키는 단계와,
    상기 컴퓨팅 디바이스의 복수의 카메라를 통하여 상기 제1 사용자에 의해 상기 로컬 이미지를 선택적으로 캡처하는 단계와,
    프로세서로 하여금 상기 복수의 카메라로부터 입력을 획득하고, 상기 복수의 카메라 중 적어도 하나의 카메라의 사각이 최적이 아닌 경우 넓은 시계와 기하학적 왜곡 정정을 제공하기 위한 정보를 포함하는 디스플레이 정보를 상기 듀얼 디스플레이에 제공하게 하는 코드를 이용하는 단계
    를 포함하는
    방법.
  52. 제51항에 있어서,
    제2 사용자가 상기 로컬 이미지를 수정하고 상기 화상 회의를 상기 컴퓨팅 디바이스의 디스플레이를 사용하여 관측하는
    방법.
  53. 제51항에 있어서,
    상기 복수의 카메라 중의 카메라가 미광을 보상하기 위한 긴 노출을 가지는
    방법.
  54. 제51항에 있어서,
    상기 컴퓨팅 디바이스는 스탠드에 의해 고정되는
    방법.
  55. 제54항에 있어서,
    상기 스탠드는 기계적 홀더인
    방법.
  56. 제51항에 있어서,
    상기 컴퓨팅 디바이스는 지능적 스티칭(intelligent stitching)을 포함하는
    방법.
  57. 제51항에 있어서,
    상기 컴퓨팅 디바이스는 안정화(stabilization)를 포함하는
    방법.
  58. 제51항에 있어서,
    상기 화상 회의 동안의 로컬 이미지 캡처 사용 및 비디오 사용은 별개의 카메라를 사용하는
    방법.
  59. 제51항에 있어서,
    상기 컴퓨팅 디바이스는 화상 회의 모드를 포함하는
    방법.
  60. 제51항에 있어서,
    상기 컴퓨팅 디바이스는 여러 사용자로 하여금 상기 회상 회의에 참여할 수 있게 하는
    방법.
  61. 삭제
  62. 삭제
  63. 삭제
  64. 삭제
  65. 삭제
  66. 삭제
  67. 삭제
  68. 삭제
  69. 삭제
  70. 삭제
  71. 삭제
  72. 삭제
  73. 삭제
  74. 삭제
  75. 삭제
  76. 삭제
  77. 삭제
  78. 삭제
  79. 삭제
  80. 삭제
  81. 모든 부분이 내부에 배치된 통합된 케이스(integrated case)와,
    프로세서와,
    적어도 두 개의 디스플레이와,
    적어도 두 개의 카메라와,
    상기 적어도 두 개의 카메라로부터 입력을 획득하고, 상기 복수의 카메라 중 적어도 하나의 카메라의 사각이 최적이 아닌 경우 상기 적어도 두 개의 디스플레이에 넓은 시계와 기하학적 왜곡 정정을 제공하기 위한 정보를 포함하는 디스플레이 정보를 제공하도록 상기 프로세서에 지시하는 코드를 포함하는 저장 시스템을 포함하는
    장치.
  82. 제81항에 있어서,
    상기 저장 시스템은 상기 적어도 두 개의 카메라 중 적어도 하나로부터 제어 입력을 획득하도록 상기 프로세서에 지시하는 코드를 포함하는
    장치.
  83. 제81항에 있어서,
    상기 저장 시스템은 상기 적어도 두 개의 카메라 각각에서 상이한 사용자들로부터 제어 입력을 획득하고 상기 적어도 두 개의 디스플레이 각각에서 상기 상이한 사용자들 각각을 위해 별개의 출력을 제공하도록 상기 프로세서에 지시하는 코드를 포함하는
    장치.
  84. 제81항에 있어서,
    상기 장치 상의 키보드의 맞은편들을 따라 두 개의 카메라가 배치되고, 상기 저장 시스템은 상기 두 개의 카메라 각각을 사용하여 상이한 손으로부터 제어 입력을 획득하도록 상기 프로세서에 지시하는 코드를 포함하는
    장치.
  85. 제81항에 있어서,
    상기 디스플레이를 고정된 구성(fixed configuration)으로 두는 잠금 힌지(locking hinge)를 포함하는
    장치.
  86. 제85항에 있어서,
    상기 고정된 구성은 지지 표면(supporting surface)과 삼각형을 형성하되, 상이한 디스플레이 및 상이한 카메라가 상기 장치의 각 측으로부터 외부로 정향된(points outward)
    장치.
  87. 제85항에 있어서,
    상기 장치를 V 구성(V configuration)으로 지지하는 마운팅 디바이스(mounting device)를 포함하되, 상이한 디스플레이가 상기 V의 각 측으로부터 가시적(visible)인
    장치.
KR1020167028247A 2014-05-12 2015-04-08 듀얼 디스플레이 시스템 KR101972496B1 (ko)

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
US201461992064P 2014-05-12 2014-05-12
US61/992,064 2014-05-12
US14/498,489 2014-09-26
US14/498,589 2014-09-26
US14/498,589 US10222824B2 (en) 2014-05-12 2014-09-26 Dual display system
PCT/US2015/024958 WO2015175113A1 (en) 2014-05-12 2015-04-08 Dual display system

Publications (2)

Publication Number Publication Date
KR20160132094A KR20160132094A (ko) 2016-11-16
KR101972496B1 true KR101972496B1 (ko) 2019-08-16

Family

ID=54480400

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020167028247A KR101972496B1 (ko) 2014-05-12 2015-04-08 듀얼 디스플레이 시스템

Country Status (6)

Country Link
US (1) US10222824B2 (ko)
EP (1) EP3143493A4 (ko)
JP (1) JP2017527833A (ko)
KR (1) KR101972496B1 (ko)
CN (1) CN106164844B (ko)
WO (1) WO2015175113A1 (ko)

Families Citing this family (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10409541B2 (en) * 2015-05-29 2019-09-10 Legends Attractions, Llc Thematic interactive attraction
TWI630472B (zh) * 2015-06-01 2018-07-21 仁寶電腦工業股份有限公司 可攜式電子裝置及其操作方法
KR102660947B1 (ko) * 2016-10-05 2024-04-25 삼성전자주식회사 양면 디스플레이를 갖는 전자 장치 및 어플리케이션 제어 방법
US10503457B2 (en) 2017-05-05 2019-12-10 Nvidia Corporation Method and apparatus for rendering perspective-correct images for a tilted multi-display environment
US10015442B1 (en) * 2017-05-12 2018-07-03 Microsoft Technology Licensing, Llc Three-way video calling on hinged multi-screen device
US10567630B2 (en) * 2017-05-12 2020-02-18 Microsoft Technology Licensing, Llc Image capture using a hinged device with multiple cameras
US10481856B2 (en) 2017-05-15 2019-11-19 Microsoft Technology Licensing, Llc Volume adjustment on hinged multi-screen device
US10339700B2 (en) 2017-05-15 2019-07-02 Microsoft Technology Licensing, Llc Manipulating virtual objects on hinged multi-screen device
US10748340B1 (en) * 2017-07-31 2020-08-18 Apple Inc. Electronic device with coordinated camera and display operation
CN107551550A (zh) * 2017-09-06 2018-01-09 湖北卡游科技有限公司 基于网络的麻将游戏界面更换***及方法
US11409336B2 (en) * 2017-10-04 2022-08-09 Hewlett-Packard Development Company, L.P. Camera lenses at computer devices
CN111133426A (zh) 2017-12-01 2020-05-08 惠普发展公司，有限责任合伙企业 协作装置
US20190171309A1 (en) * 2017-12-05 2019-06-06 Sandra Delory Mims Themed electronic tablet with front and back screen
WO2019157344A1 (en) 2018-02-12 2019-08-15 Avodah Labs, Inc. Real-time gesture recognition method and apparatus
US10489639B2 (en) * 2018-02-12 2019-11-26 Avodah Labs, Inc. Automated sign language translation and communication using multiple input and output modalities
US10289903B1 (en) 2018-02-12 2019-05-14 Avodah Labs, Inc. Visual sign language translation training device and method
US10304208B1 (en) 2018-02-12 2019-05-28 Avodah Labs, Inc. Automated gesture identification using neural networks
CN108470323B (zh) * 2018-03-13 2020-07-31 京东方科技集团股份有限公司 一种图像拼接方法、计算机设备及显示装置
US20200217948A1 (en) * 2019-01-07 2020-07-09 Ainstein AI, Inc Radar-camera detection system and methods
US11347367B2 (en) 2019-01-18 2022-05-31 Dell Products L.P. Information handling system see do user interface management
US11009907B2 (en) 2019-01-18 2021-05-18 Dell Products L.P. Portable information handling system user interface selection based on keyboard configuration
WO2020154318A1 (en) * 2019-01-25 2020-07-30 Leia Inc. Multi-directional backlight, multi-user multiview display, and method
US10869000B2 (en) 2019-02-07 2020-12-15 Salvatore Erna System and method for providing wide-area imaging and communications capability to a handheld device
TWI739069B (zh) * 2019-03-04 2021-09-11 仁寶電腦工業股份有限公司 遊戲裝置與辨識遊戲裝置的方法
KR20200112094A (ko) * 2019-03-20 2020-10-05 삼성전자주식회사 듀얼 디스플레이 및 키보드를 포함하는 전자 장치
US11281419B2 (en) * 2020-06-29 2022-03-22 Microsoft Technology Licensing, Llc Instruction color book painting for dual-screen devices
CN115150578A (zh) * 2021-03-31 2022-10-04 摩托罗拉移动有限责任公司 双显示双面相机视频呼叫***
CN114404059B (zh) * 2022-01-07 2024-03-12 中国医学科学院北京协和医院 急诊远程诊疗带教督导***

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130021265A1 (en) 2011-07-21 2013-01-24 Imerj LLC Second view
JP2013047924A (ja) 2011-08-29 2013-03-07 Kyocera Corp 表示機器
US20150241978A1 (en) 2014-02-27 2015-08-27 Motorola Mobility Llc Electronic Device Having Multiple Sides with Gesture Sensors

Family Cites Families (45)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5438357A (en) * 1993-11-23 1995-08-01 Mcnelley; Steve H. Image manipulating teleconferencing system
US6295038B1 (en) * 1998-04-16 2001-09-25 Carlton S. Rebeske Laptop computer
US6094341A (en) * 1998-07-08 2000-07-25 Lin; Hui Notebook computer
US6816625B2 (en) * 2000-08-16 2004-11-09 Lewis Jr Clarence A Distortion free image capture system and method
US20030160862A1 (en) * 2002-02-27 2003-08-28 Charlier Michael L. Apparatus having cooperating wide-angle digital camera system and microphone array
US7710391B2 (en) * 2002-05-28 2010-05-04 Matthew Bell Processing an image utilizing a spatially varying pattern
US8648825B2 (en) * 2010-10-01 2014-02-11 Z124 Off-screen gesture dismissable keyboard
US9213365B2 (en) * 2010-10-01 2015-12-15 Z124 Method and system for viewing stacked screen displays using gestures
US7136282B1 (en) 2004-01-06 2006-11-14 Carlton Rebeske Tablet laptop and interactive conferencing station system
JP4462942B2 (ja) 2004-01-30 2010-05-12 シャープ株式会社 表示制御装置
JP4440079B2 (ja) 2004-11-10 2010-03-24 京セラ株式会社 通信端末
EP1689164B1 (en) * 2005-02-03 2007-12-19 Sony Ericsson Mobile Communications AB Method and device for creating enhanced picture by means of several consecutive exposures
US20150121287A1 (en) * 2006-07-03 2015-04-30 Yoram Ben-Meir System for generating and controlling a variably displayable mobile device keypad/virtual keyboard
US7612805B2 (en) * 2006-07-11 2009-11-03 Neal Solomon Digital imaging system and methods for selective image filtration
US20080024388A1 (en) 2006-07-29 2008-01-31 Oscar Bruce Two-sided display monitor apparatus
JP4714174B2 (ja) * 2007-03-27 2011-06-29 富士フイルム株式会社 撮像装置
MY154070A (en) * 2007-07-19 2015-04-30 Choy Heng Kah Dual screen presentation notebook computer
US9177368B2 (en) * 2007-12-17 2015-11-03 Nvidia Corporation Image distortion correction
US8289688B2 (en) * 2008-04-01 2012-10-16 Litl, Llc Portable computer with multiple display configurations
JP2010045539A (ja) 2008-08-11 2010-02-25 Canon Inc 情報処理装置及びその制御方法
US8933874B2 (en) * 2008-09-08 2015-01-13 Patrik N. Lundqvist Multi-panel electronic device
US8836611B2 (en) * 2008-09-08 2014-09-16 Qualcomm Incorporated Multi-panel device with configurable interface
US20100321275A1 (en) 2009-06-18 2010-12-23 Microsoft Corporation Multiple display computing device with position-based operating modes
US8907894B2 (en) * 2009-10-20 2014-12-09 Northridge Associates Llc Touchless pointing device
US8400548B2 (en) * 2010-01-05 2013-03-19 Apple Inc. Synchronized, interactive augmented reality displays for multifunction devices
US9901828B2 (en) * 2010-03-30 2018-02-27 Sony Interactive Entertainment America Llc Method for an augmented reality character to maintain and exhibit awareness of an observer
US8400564B2 (en) * 2010-05-03 2013-03-19 Microsoft Corporation Image capture
US8885978B2 (en) * 2010-07-05 2014-11-11 Apple Inc. Operating a device to capture high dynamic range images
US20140375530A1 (en) * 2010-08-10 2014-12-25 Stephen E. Delaporte Reconfigurable touch screen computing device
US9235828B2 (en) * 2010-11-17 2016-01-12 Z124 Email client display transition
KR101757477B1 (ko) * 2010-12-09 2017-07-12 삼성전자주식회사 휴대용 통신 장치
JP2012168618A (ja) 2011-02-10 2012-09-06 Kyocera Corp 電子機器
JP2012175456A (ja) 2011-02-22 2012-09-10 Brother Ind Ltd 画像処理装置、画像処理方法、および画像処理プログラム
US8810533B2 (en) * 2011-07-20 2014-08-19 Z124 Systems and methods for receiving gesture inputs spanning multiple input devices
US8842057B2 (en) * 2011-09-27 2014-09-23 Z124 Detail on triggers: transitional states
WO2013169384A1 (en) * 2012-05-11 2013-11-14 Intel Corporation Systems, methods, and computer program products for compound image demosaicing and warping
KR101951228B1 (ko) 2012-10-10 2019-02-22 삼성전자주식회사 멀티 디스플레이 장치 및 그 촬상 방법
KR101984683B1 (ko) 2012-10-10 2019-05-31 삼성전자주식회사 멀티 디스플레이 장치 및 그 제어 방법
KR102063952B1 (ko) 2012-10-10 2020-01-08 삼성전자주식회사 멀티 디스플레이 장치 및 멀티 디스플레이 방법
US20140118257A1 (en) * 2012-10-29 2014-05-01 Amazon Technologies, Inc. Gesture detection systems
US9332167B1 (en) * 2012-11-20 2016-05-03 Amazon Technologies, Inc. Multi-directional camera module for an electronic device
US20140191998A1 (en) * 2013-01-07 2014-07-10 Eminent Electronic Technology Corp. Ltd. Non-contact control method of electronic apparatus
US9727134B2 (en) * 2013-10-29 2017-08-08 Dell Products, Lp System and method for display power management for dual screen display device
US9402018B2 (en) * 2013-12-17 2016-07-26 Amazon Technologies, Inc. Distributing processing for imaging processing
KR101632008B1 (ko) * 2014-04-30 2016-07-01 엘지전자 주식회사 이동단말기 및 그 제어방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130021265A1 (en) 2011-07-21 2013-01-24 Imerj LLC Second view
JP2013047924A (ja) 2011-08-29 2013-03-07 Kyocera Corp 表示機器
US20150241978A1 (en) 2014-02-27 2015-08-27 Motorola Mobility Llc Electronic Device Having Multiple Sides with Gesture Sensors

Also Published As

Publication number Publication date
KR20160132094A (ko) 2016-11-16
JP2017527833A (ja) 2017-09-21
US10222824B2 (en) 2019-03-05
WO2015175113A1 (en) 2015-11-19
US20150324002A1 (en) 2015-11-12
CN106164844B (zh) 2022-04-05
EP3143493A4 (en) 2018-01-03
CN106164844A (zh) 2016-11-23
EP3143493A1 (en) 2017-03-22

Similar Documents

Publication Publication Date Title
KR101972496B1 (ko) 듀얼 디스플레이 시스템
US9961337B2 (en) Flexible display device and computer with sensors and control approaches
US11005982B2 (en) Information processing terminal
US11477413B2 (en) System and method for providing wide-area imaging and communications capability to a handheld device
JP4991458B2 (ja) 画像表示装置及びその制御方法
US20180367732A1 (en) Visual cues for managing image capture
US8638354B2 (en) Immersive video conference system
US8395655B2 (en) System and method for enabling collaboration in a video conferencing system
JP5839427B2 (ja) アイコンタクトが可能な３次元遠隔会議装置およびこれを用いた方法
US8996974B2 (en) Enhancing video presentation systems
US20160077422A1 (en) Collaborative synchronized multi-device photography
EP2804372A1 (en) Information processing device and information processing method, as well as computer program
JP2018046430A (ja) 情報処理装置および方法、並びにプログラム
CN110392144A (zh) 具有全显示屏的双屏智能电话和便携式设备
EP2802978A1 (en) Information processing apparatus, information processing method, and computer program
CN110365896B (zh) 一种控制方法及电子设备
EP4322520A1 (en) Photographing method and apparatus, and electronic device
Pece et al. Panoinserts: mobile spatial teleconferencing
EP3206082A1 (en) System, method and computer program for recording a non-virtual environment for obtaining a virtual representation
Chu et al. Design of a motion-based gestural menu-selection interface for a self-portrait camera
US20150062354A1 (en) Method and system for capturing images with a front-facing camera
WO2022226745A1 (zh) 拍摄方法、控制装置、拍摄设备及存储介质
US20240244128A1 (en) Information processing terminal

Legal Events

Date Code Title Description
A201 Request for examination
AMND Amendment
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)