KR20240021563A

KR20240021563A - 미디어 서비스를 위한 ai 모델 기술 방법 및 장치

Info

Publication number: KR20240021563A
Application number: KR1020220100029A
Authority: KR
Inventors: 에릭 입; 양현구
Original assignee: 삼성전자주식회사
Priority date: 2022-08-10
Filing date: 2022-08-10
Publication date: 2024-02-19
Also published as: WO2024035010A1

Abstract

본 개시는 보다 높은 데이터 전송률을 지원하기 위한 5G 또는 6G 통신 시스템에 관련된 것이다.
본 개시의 일 실시예에 따르면, IMS를 통해 AI 모델 데이터를 전송하는 방법이 제공된다. 상기 방법은 적어도 하나의 AI 모델을 지시하는 제1 어트리뷰트를 포함하는 SDP offer 메시지를 UE에게 전송하는 동작; 상기 제1 어트리뷰트를 포함하는 SDP answer 메시지를 상기 UE로부터 수신하는 동작; 및 상기 제1 어트리뷰트에 기반하여 AI 모델 데이터를 상기 UE에게 전송하는 동작을 포함하되, 상기 제1 어트리뷰트는 상기 적어도 하나의 AI 모델에 상응하는 적어도 하나의 파라미터 셋을 포함하고, 상기 파라미터 셋은 상기 적어도 하나의 AI 모델이 부분 AI 모델인지 아닌지를 지시하는 제1 파라미터를 포함한다.

Description

미디어 서비스를 위한 AI 모델 기술 방법 및 장치{Method and apparatus of AI model descriptions for media services}

본 개시는 미디어 서비스들을 위한 AI 모델 디스크립션(description)들의 방법 및 장치에 관한 것이다. 특히, 본 개시는 5G를 통한 AI/ML 모델 전송 및 전달을 위한 멀티미디어, 아키텍처들, 및 절차들을 위한 5G 네트워크 시스템들에 관한 것이다.

5G 이동 통신 기술들은 높은 송신 레이트들과 새로운 서비스들이 가능하도록 넓은 주파수 대역들을 정의하고 있으며, 3.5GHz와 같은 "Sub 6GHz" 대역들뿐만 아니라 28GHz및 39GHz를 포함하여 mmWave라고 칭해지는 "Above 6GHz" 대역들에서도 구현될 수 있다. 또한, 5G 이동 통신 기술들보다 50배 빠른 송신 레이트들 및 5G 이동 통신 기술들의 10분의 1 수준인 초 저 지연들을 달성하기 위해 테라헤르츠 대역들(예를 들어, 95GHz 내지 3THz 대역들)에서 6세대 이동 통신 기술들(Beyond 5G 시스템이라고 칭해짐)을 구현하는 것이 고려되어 왔다.

상기 5G 이동 통신 기술들의 개발 초기 단계에서, eMBB (enhanced Mobile BroadBand), URLLC (Ultra Reliable Low Latency Communications), mMTC (massive Machine-Type Communications)와 관련된 서비스들을 지원하고, 성능 요구 사항들을 충족시키기 위해서, mmWave에서 전파 경로 손실을 완화하고 전파 송신 거리들을 증가시키기 위한 빔포밍 및 매시브(massive) MIMO에 관한 표준화가 진행 중이며, 이는 mmWave 자원들을 효율적으로 사용하는 뉴머럴러지(numerology)들(예를 들어, 복수의 서브캐리어 스페이싱(subcarrier spacing) 동작시키는) 및 슬롯 포맷들의 다이나믹한 동작, 멀티-빔 송신 및 광대역들을 지원하는 초기 액세스 기술들, 대역폭 파트(BandWidth Part: BWP)의 정의 및 동작, 많은 양의 데이터 송신을 위한 저밀도 패리티 체크(Low Density Parity Check: LDPC) 코드 및 제어 정보의 신뢰성 높은 송신을 위한 폴라 코드와 같은 새로운 채널 코딩 방법들, L2 사전 프로세싱, 및 특정 서비스에 특화된 전용 네트워크를 제공하기 위한 네트워크 슬라이싱(network slicing)을 지원한다.

현재 5G 이동 통신 기술들에 의해 지원될 서비스들의 측면에서 초기 5G 이동 통신 기술들의 개선 및 성능 향상에 대한 논의들이 진행 중에 있으며, 또한 차량들에 송신되는 상기 차량들의 위치들 및 상태들에 관한 정보에 기반하여 자율 주행 차량들의 주행 판단을 돕고, 사용자 편의성을 향상시키기 위한 V2X (Vehicle-to-everything), 비면허 대역들에서 다양한 규제-관련 요구 사항들을 준수하는 시스템 동작들을 목표로 하는 NR-U(New Radio Unlicensed), NR UE Power Saving, 지상 네트워크들과의 통신이 유용하지 않은 영역에서의 커버리지 및 측위(positioning)를 제공하기 위한 UE-위성 직접 통신인 비-지상 네트워크(Non-Terrestrial Network: NTN)와 같은 기술들에 관한 물리 계층 표준화가 진행 중에 있다.

또한, 다른 산업들과의 연동 및 융합을 통해 새로운 서비스들을 지원하기 위한 IIoT(Industrial Internet of Things), 무선 백홀 링크와 액세스 링크를 통합 방식으로 지원함으로써 네트워크 서비스 영역 확장을 위한 노드를 제공하는 IAB(Integrated Access and Backhaul), 조건부 핸드오버 및 듀얼 액티브 프로토콜 스택(Dual Active Protocol Stack: DAPS) 프로토콜을 포함하는 이동성 향상, 랜덤 액세스 절차들을 간략화하기 위한 2-단계 랜덤 액세스(NR을 위한 2-단계 RACH)와 같은 기술들에 관한 에어 인터페이스 아키텍처/프로토콜에서의 표준화가 진행되고 있다. 또한, UE 위치들에 기반하는 서비스들을 수신하기 위해, NFV(Network Functions Virtualization) 및 SDN(Software-Defined Networking) 기술들 및 MEC(Mobile Edge Computing)를 결합하는 5G 기본 아키텍처(예를 들어, 서비스 기반 아키텍처 또는 서비스 기반 인터페이스)에 관한 시스템 아키텍처/서비스의 표준화가 진행되고 있다.

5G 이동 통신 시스템들이 상용화되면서, 기하급수적으로 증가하고 있는 커넥티드 디바이스(connected device)들이 통신 네트워크들로 연결될 것이며, 이에 따라 5G 이동 통신 시스템들의 향상된 기능들 및 성능들과 커넥티드 디바이스들의 통합 운용이 필요로 될 것으로 예상된다. 이를 위해, 증강 현실(Augmented Reality: AR), 가상 현실(Virtual Reality: VR), 혼합 현실(Mixed Reality: MR) 등을 효율적으로 지원하기 위한 확장 현실(eXtended Reality: RX), 인공 지능(Artificial Intelligence: AI) 및 머신 학습(Machine Learning: ML)을 사용하는 5G 성능 향상 및 복잡도 감소, AI 서비스 지원, 메타버스 서비스 지원, 및 드론 통신과 연계한 새로운 연구가 예정되어 있다.

또한, 이러한 5G 이동 통신 시스템들의 개발은 6G 이동 통신 기술들의 테라헤르츠 대역들에서 커버리지를 제공하는 새로운 파형들, 전차원 MIMO(Full Dimensional MIMO: FD-MIMO), 어레이 안테나들 및 대규모 안테나들, 테라헤르츠 대역 신호들의 커버리지를 향상시키기 위한 메타물질-기반 렌즈들 및 안테나들과 같은 멀티-안테나 송신 기술들, OAM (Orbital Angular Momentum)을 사용하는 고차원 공간 다중화 기술, 및 RIS (Reconfigurable Intelligent Surface) 뿐만 아니라, 6G 이동 통신 기술들의 주파수 효율을 증가시키고 시스템 네트워크들을 개선하기 위한 풀-듀플렉스(full-duplex) 기술, 설계 단계부터 위성들과 AI를 사용하여 시스템 최적화를 구현하고 엔드-대-엔드(end-to-end) AI 지원 기능들을 구현하는 AI-기반 통신 기술, 및 초고성능 통신 및 컴퓨팅 자원들을 사용하여 UE 동작 능력의 한계를 뛰어넘는 복잡도 수준의 서비스들을 구현하기 위한 차세대 분산 컴퓨팅 기술을 개발하는 것의 기반이 될 것이다.

본 개시는 멀티미디어를 위한 5G 네트워크 시스템들, 5G를 통한 AI/ML 모델 전송 및 전달을 위한 아키텍처들 및 절차들, AI 향상된 멀티미디어 서비스들을 위한 5G를 통한 AI/ML 모델 전송 및 전달, IP 멀티미디어 서브시스템(IP multimedia subsystem: IMS)을 통한 AI/ML 모델 선택 및 전송, IMS를 통한 AI/ML 향상된 대화형 서비스들에 관한 것이다. AI/ML 모델 전달 및 AI 멀티미디어를 위한 SDP 시그널링.

AI는 다음의 두 가지 주요 조건들에 기반하여 동작하는 시스템에 대한 능력을 정의하는 일반적인 개념이다:

- 다른 입력 파라미터들의 값 또는 상태를 의미하는, 태스크(task)가 수행되어야만 하는 컨텍스트(context).

- 다른 파라미터 값들로 동일한 태스크를 성취한 과거 경험 및 각 파라미터 값을 사용한 잠재적인 성공의 기록.

ML은 종종 애플리케이션이 상기 과거 경험으로부터 학습하는 능력을 가지는 AI의 부분 집합으로 설명된다. 이 학습 특징은 일반적으로 ML이 서비스에 배치될 때 최소 레벨의 성능을 보장하기 위해 초기 트레이닝 단계(initial training phase)에서 시작된다.

최근, AI/ML은 이미지 분류, 음성/얼굴 인식과 같은 레거시 애플리케이션들로부터 비디오 품질 향상과 같은 최신 애플리케이션들에 이르기까지 미디어 관련 애플리케이션들에 도입되고 일반화되었다. 또한, AR/VR을 위한 AI 애플리케이션들은 특히 안면(facial) 3D 모델링과 관련된 사진처럼 사실적인 아바타(avatar)들의 향상과 관련된 애플리케이션들 또는 유사한 애플리케이션들에서 더욱 인기를 얻고 있다. 이 분야에 대한 연구가 성숙해짐에 따라, 더 높은 연산 프로세싱을 필요로 하는 점점 더 복잡한 AI/ML-기반 애플리케이션들이 예상될 수 있다: 그와 같은 프로세싱은 상기 AI/ML 모델들에 대한 입력들 및 출력들뿐만 아니라 상기 AI/ML 모델들 자체의 증가하는 데이터 사이즈 및 복잡도에 대한 상당한 양의 데이터의 처리를 수반한다. 이렇게 AI/ML 관련 데이터의 증가하는 양은, 프로세싱 집약적인 이동(mobile) 애플리케이션들(VR, AR/MR, 게이밍, 등과 같은)을 지원해야 할 필요성과 함께, 다양한 애플리케이션들의 요구되는 레이턴시 요구 사항들을 충족시키기 위해, 5G 시스템을 통한 상기 서버에 의한 AI/ML 프로세싱의 특정 측면들을 핸들링하는 것이 중요함을 강조한다.

상기의 정보는 본 개시의 이해를 돕기 위한 배경 정보로만 제시된다. 상기와 같은 내용 중 어느 것이 본 개시와 관련하여 종래 기술로 적용 가능할 수 있는지 여부에 대해서는, 어떠한 결정도 이루어지지 않았으며 어떠한 주장도 이루어지지 않았다.

AI/ML의 현재 구현들은 주로 독점(proprietary) 솔루션들이며, 다른 마켓 솔루션들과의 호환성을 가지지 않는 애플리케이션들을 통해 가능해진다. 5G를 통해 멀티미디어 애플리케이션들에 대한 AI/ML을 지원하기 위해서, AI/ML 모델들은 UE 디바이스들과, 다른 이동 네트워크 운영자(mobile network operator: MNO)들로부터의 애플리케이션 제공자들 간의 호환성을 지원해야만 한다. 이 뿐만 아니라, 상기 AI/ML 미디어 서비스들을 위한 AI/ML 모델 전달은 미디어 컨텍스트(media context), UE 상태, 및 상기 AI/ML 모델의 네트워크 상태 기반 및 전달을 지원해야만 한다. AR과 같은 차세대 미디어 서비스들은 일반적으로 AR 안경과 같이, 긴 배터리 수명이 주요 설계 장애물/제한인, 가볍고, 낮은 프로세싱 전력 디바이스들에서 소비되기 때문에, 상기 UE 디바이스들의 프로세싱 전력은 AI/ML 미디어 서비스들의 한계이기도 하다. 현재 기술의 다른 한계는 두 개의 지원 클라이언트들(두 개의 UE들 또는 UE와 멀티미디어 자원 기능(Multimedia Resource Function: MRF) 간에서) 간에서 IMS를 통해 상기 AI/ML 모델들 및 그의 연관 데이터의 송신을 구성하는 적합한 방법이다.

IMS를 통해 AI/ML 모델들을 전달하고, 적합한 AI 추론 설정들 및 상응하는 AI/ML 모델들의 선택을 가능하게 하고, 두 개의 클라이언트들 간의 부분 추론(또는 부분 AI 추론, 또는 스플릿 추론(split inferencing), 또는 스플릿 AI 추론)을 수행할 때 IMS를 통해 매개(intermediate) AI/ML 데이터를 전달하는 예시적인 방법 및 장치가 본 개시에서 제공된다.

본 개시는 대화형 비디오 및 오디오에 대한 AI/ML 모델들 및 연관되는 데이터의 전달을 소개한다. SDP 시그널링에 대한 새로운 파라미터들을 정의함으로써, 수신기는 당면한 대화형 서비스에 대해 요구되는, 상기 요구되는 AI/ML 모델들만 요청할 수 있다. 추가적으로, 상기 선택된 AI/ML 모델(들)에 따라, 상기 송신 클라이언트(예를 들어, MRF)와 상기 수신 클라이언트(UE) 간에는 스플릿 추론(split inferencing) 역시 구성될 수 있으며, 이는 상기 두 개의 클라이언트들간의 부분적인, 분할 AI 추론을 활성화할 수 있다. 상기 송신기와 수신기 간의 제안 및 요청이 협상되기 때문에, 상기 서비스 요구 사항들 및 클라이언트 능력들에 따라 적합한 AI 추론 설정들 및 상응하는 AI/ML 모델들이 선택되어 상기 클라이언트들 간에 전달될 수 있다.

본 개시의 일 실시 예에 따르면, IP 멀티미디어 서브시스템(IP multimedia subsystem: IMS)을 통해 인공 지능(artificial intelligence: AI) 모델 데이터를 송신하는 멀티미디어 자원 기능(multimedia resource function: MRF)의 방법이 제공된다. 상기 방법은, 적어도 하나의 AI 모델을 지시하는 제1 어트리뷰트(attribute)를 포함하는 세션 디스크립션 프로토콜(session description protocol: SDP) 제안 메시지를 사용자 장비(user equipment: UE)로 송신하는 단계; 상기 제1 어트리뷰트를 포함하는 SDP 응답 메시지를 상기 UE로부터 수신하는 단계; 및 상기 제1 어트리뷰트에 기반하여 상기 UE로 AI 모델 데이터를 송신하는 단계를 포함하며, 상기 제1 어트리뷰트는 적어도 상기 적어도 하나의 AI 모델에 상응하는 파라미터들의 집합을 포함하고, 상기 파라미터들의 집합은 상기 적어도 하나의 AI 모델이 부분 AI 모델인지 여부를 지시하는 제1 파라미터를 포함한다.

본 개시의 일 실시 예에 따르면, IP 멀티미디어 서브시스템(IP multimedia subsystem: IMS)을 통해 인공 지능(artificial intelligence: AI) 모델 데이터를 수신하는 사용자 장비(user equipment: UE)의 방법이 제공된다. 상기 방법은, 멀티미디어 자원 기능(multimedia resource function: MRF)으로부터, 적어도 하나의 AI 모델을 지시하는 제1 어트리뷰트(attribute)를 포함하는 세션 디스크립션 프로토콜(session description protocol: SDP) 제안(offer) 메시지를 수신하는 단계; 상기 제1 어트리뷰트를 포함하는 SDP 응답(answer) 메시지를 상기 MRF로 송신하는 단계; 및 상기 제1 어트리뷰트에 기반하여 상기 MRF로부터 AI 모델 데이터를 수신하는 단계를 포함하며, 상기 제1 어트리뷰트는 적어도 상기 적어도 하나의 AI 모델에 상응하는 파라미터들의 집합을 포함하고, 및 상기 파라미터들의 집합은 상기 적어도 하나의 AI 모델이 부분 AI 모델인지 여부를 지시하는 제1 파라미터를 포함한다.

본 개시의 일 실시 예에 따르면, IP 멀티미디어 서브시스템(IP multimedia subsystem: IMS)을 통해 인공 지능(artificial intelligence: AI) 모델 데이터를 송신하는 멀티미디어 자원 기능(multimedia resource function: MRF) 장치가 제공된다. 상기 장치는, 송수신기; 및 상기 송수신기가: 적어도 하나의 AI 모델을 지시하는 제1 어트리뷰트(attribute)를 포함하는 세션 디스크립션 프로토콜(session description protocol: SDP) 제안 메시지를 사용자 장비(user equipment: UE)로 송신하고; 상기 제1 어트리뷰트를 포함하는 SDP 응답 메시지를 상기 UE로부터 수신하고; 및 상기 제1 어트리뷰트에 기반하여 상기 UE로 AI 모델 데이터를 송신하는 것을 제어하도록 구성되는 프로세서를 포함하며, 상기 제1 어트리뷰트는 적어도 상기 적어도 하나의 AI 모델에 상응하는 파라미터들의 집합을 포함하고, 상기 파라미터들의 집합은 상기 적어도 하나의 AI 모델이 부분 AI 모델인지 여부를 지시하는 제1 파라미터를 포함한다.

본 개시의 일 실시 예에 따르면, IP 멀티미디어 서브시스템(IP multimedia subsystem: IMS)을 통해 인공 지능(artificial intelligence: AI) 모델 데이터를 수신하는 사용자 장비(user equipment: UE) 장치가 제공된다. 상기 장치는, 송수신기; 및 상기 송수신기가: 멀티미디어 자원 기능(multimedia resource function: MRF)으로부터, 적어도 하나의 AI 모델을 지시하는 제1 어트리뷰트(attribute)를 포함하는 세션 디스크립션 프로토콜(session description protocol: SDP) 제안 메시지를 수신하고, 상기 제1 어트리뷰트를 포함하는 SDP 응답 메시지를 상기 MRF로 송신하고; 및 상기 제1 어트리뷰트에 기반하여 상기 MRF로부터 AI 모델 데이터를 수신하는 것을 제어하도록 구성되는 프로세서를 포함하며, 상기 제1 어트리뷰트는 적어도 상기 적어도 하나의 AI 모델에 상응하는 파라미터들의 집합을 포함하고, 및 상기 파라미터들의 집합은 상기 적어도 하나의 AI 모델이 부분 AI 모델인지 여부를 지시하는 제1 파라미터를 포함한다.

본 개시의 다른 측면들, 이점들 및 두드러진 특징들은 첨부된 도면들과 함께 본 개시의 다양한 실시 예들을 개시하는 다음의 상세한 설명으로부터 해당 기술 분야의 당업자들에게 명백해질 것이다.

UE 능력(capability), 서비스 요구 사항 기반 AI/ML 모델 선택, IMS (MTSI)를 사용하는 대화형 멀티미디어 전화 서비스들을 위한 네트워크(MRF)와 UE 간의 전달 및 추론이 본 개시에 의해 가능해진다.

본 개시의 특정 실시 예들의 상기와 같은, 그리도 다른 측면들, 특징들, 및 이점들은 첨부된 도면들과 함께 취해진 다음의 설명으로부터 보다 명백해질 것이다:
도 1은 사용자 장비(User Equipment: UE), 기지국(NodeB), 무선 네트워크 제어기(Radio Network Controller: RNC) 및 이동 교환 센터(Mobile Switching Center: MSC)로 구성된 3G 네트워크의 예시적인 구조를 도시하고 있다.
도 2는 롱 텀 에볼루션(long term evolution: LTE) 네트워크의 예시적인 구조를 도시하고 있다.
도 3은 VoLTE(over LTE) 지원 단말기 및 실시간 전송 프로토콜(Realtime Transport Protocol: RTP)/사용자 데이터그램 프로토콜(user datagram protocol: UDP)/IP 프로토콜의 음성 및 비디오 코덱의 예시적인 구조를 도시하고 있다.
도 4는 5G 네트워크를 사용하여 이동 전화 UE로부터, 그리고 이동 전화 UE로 미디어가 송신되는 예시적인 상황을 도시하고 있다.
도 5는 송신 단말기(UE A)와 수신 단말기(UE B)가 IP 멀티미디어 서브시스템(IP multimedia subsystem: IMS)을 사용하여 대화형 서비스의 송신 방법을 협상하는 예시적인 절차를 도시하고 있다.
도 6은 송신 단말기에 의해 송신된 SDP 제안으로부터 SDP 응답을 수립(establish)하기 위한 수신 단말기의 예시적인 절차를 도시하고 있다.
도 7은 사이에 MRF가 있는, 두 개의 UE들 간의 AI 기반 대화형 서비스에 대한 예시적인 기본 사용자 평면 플로우를 도시하고 있다.
도 8은 UE와 네트워크(예를 들어, MRF) 간의 스플릿 AI 추론에 대한 예시적인 서비스 아키텍처를 도시하고 있다.
도 9는 AI 모델 및 매개 데이터 관련 미디어 프로세싱 기능들 뿐만 아니라 음성 및 비디오 코덱들, 그리고 데이터 채널 뿐만 아니라 RTP / UDP / IP 프로토콜을 각각 지원하는 5G AI 미디어 클라이언트 단말기의 예시적인 구조를 도시하고 있다.
도 10은 본 개시의 일 실시 예에 따른 위성의 구조를 도시하고 있는 블록도이다.
도 11은 본 개시의 일 실시 예에 따라 IMS를 통해 AI 모델 데이터를 송신하는 MRF의 방법을 도시하고 있다.
도 12는 본 개시의 일 실시 예에 따라 IMS를 통해 AI 모델 데이터를 수신하는 UE의 방법을 도시하고 있다.

첨부된 도면들을 참조하는 다음의 설명은 청구항들 및 그 균등들에 의해 정의되는 본 개시의 다양한 실시 예들의 포괄적인 이해를 돕기 위해 제공된다. 이는 그 이해를 돕기 위해 다양한 특정 세부 사항들을 포함하지만 이는 단지 예시로 간주될 것이다. 따라서, 해당 기술 분야의 당업자들은 여기에서 설명되는 다양한 실시 예들의 다양한 변경들 및 수정들이 본 개시의 범위 및 사상을 벗어남이 없이 이루어질 수 있음을 인식할 것이다. 또한, 공지 기능들 및 구성들에 대한 설명은 명확성과 간결성을 위하여 생략될 수 있다.

다음의 설명 및 청구항들에서 사용되는 용어들 및 단어들은 서지적 의미들로 제한되지 않으며, 본 개시를 명확하고 일관되게 이해하는 것이 가능하도록 발명자에 의해 사용한 것일 뿐이다. 따라서, 본 개시의 다양한 실시 예들에 대한 다음의 설명은 첨부된 청구항들 및 그들의 균등들에 의해 정의되는 바와 같이 본 개시를 제한할 목적이 아니라 예시 목적으로만 제공된다는 것이 해당 기술 분야의 당업자들에게 명백해야만 한다.

단수 형태들 "한(a)", "한(an)" 및 "상기(the)"는 문맥상 명백하게 달리 지시하지 않는 한 복수의 대상들을 포함하는 것으로 이해될 것이다. 따라서, 예를 들어, "컴포넌트"에 대한 언급은 그와 같은 컴포넌트들 중 하나 또는 그 이상에 대한 언급을 포함한다.

본 개시는 2차원(two dimensional: 2D) 비디오, 360 비디오, 포인트 클라우드(point cloud)들과 메쉬(mesh)들로 표현되는 3차원(three dimensional: 3D) 미디어를 포함하는, 가상 현실, 혼합 현실, 및 증강 현실의 콘텐트들의 멀티미디어 콘텐트 프로세싱 저작, 사전 프로세싱, 사후 프로세싱, 메타데이터 전달, 전달, 디코딩, 및 렌더링에 관한 것일 수 있다. 본 개시는 또한 가상 현실(virtual reality: VR) 디바이스들, 확장 현실(eXtended Reality: XR) 디바이스들, 세션 디스크립션 프로토콜(session description protocol: SDP) 협상에 관한 것일 수 있다. 본 개시는 또한 원격 단말기들을 위한 몰입형 원격 회의(immersive teleconferencing) 및 텔레프레즌스(telepresence)의 지원에 관한 것일 수 있다. 본 개시는 또한 대화형 360 비디오 VR 캡처, 프로세싱, 렌더링, 페칭(fetching), 전달, 렌더링에 관한 것일 수 있다.

도 1은 사용자 장비(User Equipment: UE), 기지국(NodeB), 무선 네트워크 제어기(Radio Network Controller: RNC) 및 이동 교환 센터(Mobile Switching Center: MSC)로 구성된 3G 네트워크의 예시적인 구조를 도시하고 있다.

상기 네트워크는 다른 이동 통신 네트워크 및 공중 교환 전화 네트워크(public switched telephone network: PSTN)에 연결되어 있다. 이러한 3G 네트워크에서, 음성은 AMR(Adaptive Multi-Rate) 코덱으로 압축/복원되고, 상기 AMR 코덱은 단말기(100)와 MSC(110)에 설치되어 양방향 콜 서비스를 제공한다. 상기 MSC(110)는 상기 AMR 코덱으로 압축된 음성을 펄스 코드 변조(pulse code modulation: PCM) 포맷으로 변환하고, 상기 음성을 상기 PSTN으로 송신하거나, 또는 그 반대로, 상기 PSTN에서 상기 PCM 포맷의 음성을 송신하고, 상기 음성을 AMR 코덱으로 압축하고, 상기 음성을 상기 기지국(102)으로 송신한다. 상기 RNC(104)는 코덱 모드 제어(Codec Mode Control: CMC) 메시지를 사용하여 상기 UE(100) 및 MSC(110)에 설치되어 있는 상기 음성 코덱의 콜 비트 레이트(call bit rate)를 시간으로 제어할 수 있다.

도 2는 롱 텀 에볼루션(long term evolution: LTE) 네트워크의 예시적인 구조를 도시하고 있다.

4G에서 패킷 교환 네트워크가 도입되면서, 음성 코덱은 단말기(100)에만 설치되고, 20ms 간격으로 압축된 음성 프레임은 상기 송신 경로의 중간에 위치되어 있는 기지국(200, 202), 또는 상기 네트워크 노드(204)에서 복원되지 않고 상대 단말기로 송신된다.

상기 음성 코덱은 상기 UE(100)에만 설치되며, 각 단말기는 코덱 모드 요청(Codec Mode Request: CMR) 메시지를 사용하여 상기 상대 단말기의 음성 비트 레이트를 조정할 수 있다. 도 2에서, 기지국인 상기 eNodeB는 무선 주파수(radio frequency: RF) 기능들에 전용인 원격 무선 헤드(Remote Radio Head: RRH)(200)와 모뎀 디지털 신호 프로세싱에 대해 전용인 디지털 유닛(Digital Unit: DU)(202)으로 분할된다. 상기 eNodeB는 상기 서빙 게이트웨이(Serving Gateway: S-GW)와 패킷 데이터 네트워크 게이트웨이(Packet Data Network Gateway: P-GW)(204)를 통해 상기 인터넷 프로토콜(Internet protocol: IP) 백본 네트워크에 연결된다. 상기 IP 백본 네트워크는 상기 이동 통신 네트워크 또는 다른 서비스 제공자들의 인터넷에 연결된다.

도 3은 VoLTE(over LTE) 지원 단말기 및 실시간 전송 프로토콜(Realtime Transport Protocol: RTP)/사용자 데이터그램 프로토콜(user datagram protocol: UDP)/IP 프로토콜의 음성 및 비디오 코덱의 예시적인 구조를 도시하고 있다.

이 구조의 맨 아래에 위치되는 상기 IP 프로토콜은 상기 프로토콜 구조의 맨 위에 위치되는 패킷 데이터 컨버젼스 프로토콜(Packet Data Convergence Protocol:(PDCP)에 연결된다. 상기 RTP / UDP / IP 헤더는 상기 음성 및 비디오 코덱에서 상기 압축된 미디어 프레임에 첨부되어 상기 LTE 네트워크를 통해 상기 상대 단말기로 송신된다. 또한, 상기 상대 단말기는 상기 네트워크로부터 압축되어 송신되는 미디어 패킷을 수신하고, 상기 미디어를 복원하고, 상기 스피커와 디스플레이를 청취하고, 상기 미디어를 시청한다. 이때, 상기 압축된 음성 및 비디오 패킷이 동시에 도착하지 않을 지라도, 상기 RTP 프로토콜 헤더의 타임스탬프(Timestamp) 정보는 상기 두 개의 미디어를 동기화하여 청취하고 볼 수 있도록 사용된다.

도 4는 5G 네트워크를 사용하여 이동 전화 UE로부터, 그리고 이동 전화 UE로 미디어가 송신되는 예시적인 상황을 도시하고 있다.

상기 LTE의 eNodeB, S-GW, P-GW에 상응하는 5G 노드들은 gNB(400, 402), 사용자 평면 기능(User Plane Function: UPF)(406), 및 데이터 네트워크(Data Network: DN)이다. 이 경우, 비디오 및 오디오를 포함하는 대화형 미디어가 상기 5G 네트워크를 사용하여 송신될 수 있다. 본 개시와 관련하여, 추가적으로 AI 모델 관련 데이터(관련 중간(intermediate) 데이터 뿐만 아니라 모델 데이터 등)가 상기 5G 네트워크를 사용하여 송신될 수 있다.

도 5는 송신 단말기(UE A)와 수신 단말기(UE B)가 IP 멀티미디어 서브시스템(IP multimedia subsystem: IMS)을 사용하여 대화형 서비스의 송신 방법을 협상하는 예시적인 절차를 도시하고 있다.

상기 IMS는 도 4에 도시되어 있을 수 있다. 도 5는 UE A와 UE b가 유선 및 무선 송신 경로의 서비스 품질(quality of service: QoS)을 확보하는 예시적인 절차를 도시할 수 있다. 상기 송신 단말기(100)는 상기 송신 단말기(100)에 할당된 IMS 노드를 가지는 프록시 콜 세션 제어 기능(Proxy Call Session Control Function: P-CSCF)(502)에게, 상기 세션 개시 프로토콜(Session Initiation Protocol: SIP) 초대 메시지(520) 내에서, 상기 세션 디스크립션 프로토콜(Session Description Protocol: SDP) 요청(request) 메시지(예를 들어, SDP 제안(Offer))를 송신한다. 이 메시지(520)는 상대 단말기(500)에 연결되어 있는 IMS로 송신되는데, 한 서비스 제공자의 세션 콜 세션 제어 기능(Session Call Session Control Function: S-CSCF)(504), 다른 서비스 제공자의 I-CSCF(Interrogating Call Session Control Function)(506), S-CSCF (508), 및 P-CSCF (510), 그리고 최종적으로 상기 수신 단말기(500)와 같은 노드들로 전송될 수 있다.

상기 수신 단말기(500)는 상기 송신 단말기(100)에 의해 제안된 비트 레이트들 중에서 수용 가능한 비트 레이트 및 송신 방법을 선택할 수 있다. AI 기반 대화형 서비스에 대해서, 상기 수신 단말기(500)는 또한 상기 송신 단말기(100)로 상기 SDP 응답 메시지를 송신하기 위해, 상기 SIP 183 메시지(522) 내의 SDP 응답 메시지 내에 포함되는, 상기 송신 단말기(100)에 의해 제안(offer)되는 것에 따라 AI 추론의 원하는 설정(configuration) (요구되는 AI 모델들 및 가능한 매개 데이터와 함께)을 선택할 수 있다. 이 경우, 상기 송신 단말기는 UE 디바이스가 아니라 멀티미디어 자원 기능(Multimedia Resource Function: MRF)일 수 있다. 상기 MRF는 네트워크 엔티티(network entity)일 수 있으며, 상기 IMS에서 상기 송신 단말기(100)와 상기 수신 단말기(500) 사이에 존재할 수 있다. 상기 MRF는 상기 송신 단말기(100)와 상기 수신 단말기(500)를 중개(intermediate)할 수 있다.

이 메시지(522)를 상기 송신 단말기(100)로 송신하는 과정에서, 각 IMS 노드는 이 서비스에 대해 요구되는 상기 유선 및/또는 무선 네트워크들의 송신 자원들을 예약하기 시작하며, 추가적인 절차들(524, 526)을 통해 상기 세션의 모든 조건들이 동의된다. 모든 송신 섹션(section)들의 송신 자원들이 확보될 수 있음을 확인한 송신 단말기는 상기 수신 단말기(500)로 미디어 플로우(530)(예를 들어, 이미지 비디오들)를 송신할 수 있다.

도 6은 송신 단말기에 의해 송신된 SDP 제안으로부터 SDP 응답을 수립(establish)하기 위한 수신 단말기의 예시적인 절차를 도시하고 있다.

예시적인 세부 절차는 다음과 같다:

601에서, UE#1(100)은 코덱(들)을 SDP 페이로드에 삽입할 수 있다. 상기 삽입된 코덱(들)은 상기 UE#1의 단말 능력(UE capabilities) 및 이 세션을 지원할 수 있는 세션에 대한 사용자 선호도(user preference)들을 반영할 수 있다. UE#1(100)은 미디어 파라미터들(예를 들어, 각각의 대역폭 요구 사항들 및/또는 특성들)을 포함하는 SDP를 생성할 수 있고, 각각의 가능한 미디어 플로우에 대한 로컬 포트 번호(local port number)들을 할당할 수 있다. 복수의 미디어 플로우들이 제안될 수 있으며, 각 미디어 플로우(예를 들어, SDP에서 "m=" 라인)에 대해, 복수의 제안된 코덱 선택들이 존재할 수 있다.

602에서, UE#1(100)은 이 SDP를 포함하는 초기 INVITE 메시지를 P-CSCF#1(502)로 송신할 수 있다.

603에서, P-CSCF#1(502)은 상기 미디어 파라미터들을 검사할 수 있다. P-CSCF#1(502)이 IMS 세션 내에서 사용이 허락되지 않는 미디어 파라미터들을 찾을 경우(P-CSCF 로컬 정책들에 기반하여, 또는 정책 및 과금 규칙들 기능(Policy and Charging Rules Function: PCRF)/ 정책 제어 기능(Policy Control Function: PCF)으로부터 입력되는 대역폭 허가 제한 정보에 기반하여), P-CSCF#1(502)는 상기 세션 개시 시도(attempt)를 거절할 수 있다. 이 거절은 상기 발신(originating) UE(100)가 P-CSCF#1의 네트워크의 로컬 정책에 의해 허락되는 미디어 파라미터들로 세션 개시를 재시도(re-attempt)하기 위한 충분한 정보를 포함할 수 있다. (예를 들어, IETF(Internet Engineering Task Force) RFC 3261에 명시되어 있는 절차들에 따라). 도 6에서 설명되는 이 플로우에서, 상기 P-CSCF#1(502)은 상기 초기 세션 개시 시도가 계속되는 것을 허락할 수 있다.

주의 1: 이 단계에서 상기 P-CSCF가 PCRF/PCF와 상호 작용해야만 하는지 여부는 운영자 정책에 기반한다.

604에서, P-CSCF#1(502)은 상기 INVITE 메시지를 S-CSCF#1(504)로 포워드할(forward) 수 있다.

605에서, S-CSCF#1(504)은 상기 미디어 파라미터들을 검사할 수 있다. 로컬 정책 또는 상기 발신 사용자의 가입자 프로파일에 의해 IMS 세션 내에서의 사용이 허락되지 않는 미디어 파라미터들을 S-CSCF#1이 찾을 경우, S-CSCF#1(504)은 상기 세션 시작 시도를 거절할 수 있다. 이 거절은 상기 발신 UE(100)가 상기 발신 사용자의 가입자 프로파일 및 S-CSCF#1의 네트워크의 로컬 정책에 의해 허락되는 미디어 파라미터들로 세션 개시를 재시도하기 위해 충분한 정보를 포함할 수 있다 (예를 들어, IETF RFC 3261에 명시되어 있는 절차들에 따라). 도 6에서 설명되는 이 플로우에서, 상기 S-CSCF#1(504)은 상기 초기 세션 개시 시도가 계속되는 것을 허락할 수 있다.

606에서, S-CSCF#1(504)은 S-S 세션 플로우 절차들을 통해 상기 INVITE를 S-CSCF#2(508)로 포워드할 수 있다. 상기 S-S 세션 플로우 절차들은 상기 S-CSCF#1(504)과 S-CSCF#2(508) 사이의 초대 시퀀스 정보 플로우(invite sequence information flow) 절차일 수 있다.

607에서, S-CSCF#2(508)는 상기 미디어 파라미터들을 검사할 수 있다. S-CSCF#2(508)가 로컬 정책 또는 상기 종료 사용자의 가입자 프로파일에 의해 IMS 세션 내에서 사용이 허락되지 않는 미디어 파라미터들을 찾을 경우, S-CSCF#2(508)는 상기 세션 시작 시도를 거절할 수 있다. 이 거절은 상기 발신 UE(100)가 상기 종료 사용자의 가입자 프로파일 및 S-CSCF#2의 네트워크의 로컬 정책에 의해 허락되는 미디어 파라미터들로 세션 개시를 재시도하기 위한 충분한 정보를 포함할 수 있다. (예를 들어, IETF RFC 3261에 명시되어 있는 절차들에 따라). 도 6에서 설명되는 이 플로우에서, 상기 S-CSCF#2(508)는 상기 초기 세션 개시 시도가 계속되는 것을 허락할 수 있다.

608에서, S-CSCF#2(508)는 상기 INVITE 메시지를 P-CSCF#2(510)로 포워드할 수 있다.

609에서, P-CSCF#2(510)는 상기 미디어 파라미터들을 검사할 수 있다. P-CSCF#2(510)가 IMS 세션 내에서 사용되는 것이 허락되지 않는 미디어 파라미터들을 찾을 경우(P-CSCF 로컬 정책들에 기반하여, 또는 상기 PCRF/PCF에서 입력되는 대역폭 인가 제한 정보에 기반하여), P-CSCF#2 (510)은 상기 세션 개시 시도를 거절할 수 있다. 이 거절은 상기 발신 UE(100)가 P-CSCF#2의 네트워크의 로컬 정책에 의해 허락되는 미디어 파라미터들로 세션 개시를 재시도하기 위한 충분한 정보를 포함할 수 있다. (예를 들어, IETF RFC 3261에 명시되어 있는 절차들에 따라). 도 6에서 설명되는 이 플로우에서, 상기 P-CSCF#2(510)는 상기 초기 세션 개시 시도가 계속되는 것을 허락할 수 있다.

주의 2: 이 단계에서 상기 P-CSCF가 PCRF/PCF와 상호 작용해야만 하는지 여부는 운영자 정책에 기반한다.

610에서, P-CSCF#2(510)는 상기 INVITE 메시지를 UE#2(500)로 포워드할 수 있다.

611에서, UE#2(500)는 이 세션을 지원할 수 있는 코덱들의 전체(complete) 집합을 결정할 수 있다. UE#2(500)는 상기 INVITE 메시지에서 상기 SDP에서 나타나는 것들과의 교집합을 결정할 수 있다. 지원되지 않는 각 미디어 플로우에 대해서, UE#2(500)는 'port=0'인 미디어('m= ' 라인)에 대한 SDP 엔트리(entry)를 삽입할 수 있다. 지원되는 각 미디어 플로우에 대해서, UE#2(500)는 할당된 포트 및 UE#1(100)로부터의 상기 SDP에 존재하는 것들과 공통인 코덱들을 가지는 SDP 엔트리를 삽입할 수 있다.

612에서, UE#2(500)는 공통 미디어 플로우들 및 코덱들을 리스트하는 SDP 응답(예를 들어, SDP Answer)을 P-CSCF#2(510)로 리턴할 수 있다.

613에서, P-CSCF#2(510)는 나머지 미디어 플로우들 및 코덱 선택들에 대한 QoS 자원들을 인가(authorize)할 수 있다.

614에서, P-CSCF#2(510)는 상기 SDP 응답을 S-CSCF#2(508)로 포워드할 수 있다.

615에서, S-CSCF#2(508)는 상기 SDP 응답을 S-CSCF#1(504)로 포워드할 수 있다.

616에서, S-CSCF#1(504)은 상기 SDP 응답을 P-CSCF#1(502)로 포워드할 수 있다.

617에서, P-CSCF#1(502)은 상기 나머지 미디어 플로우들 및 코덱 선택들에 대한 상기 QoS 자원들을 인가할 수 있다.

618에서, P-CSCF#1(502)은 상기 SDP 응답을 UE#1(100)로 포워드할 수 있다.

619에서, UE#1(100)은 이 세션에 대해 어떤 미디어 플로우들이 사용되어야만 하는지, 그리고 상기 미디어 플로우들 각각에 대해 어떤 코덱들이 사용되어야만 하는지를 결정할 수 있다. 하나를 초과하는 미디어 플로우가 존재하거나, 또는 하나의 미디어 플로우에 대한 코덱의 하나를 초과하는 선택이 존재할 경우, UE#1은 코덱을 1개로 감소시키기 위해 다른 제안을 송신함으로써 UE#2 (500)와 상기 코덱들을 재협상할 필요가 있다(예를 들어, 하나의 코덱을 선택하고 상기 선택된 코덱을 다른(another) 제안 메시지에 남겨둠(remail)으로써 재협상할 수 있다).

620-624에서, UE#1은 상기 INVITE 요청에 의해 수립(establish)된 상기 시그널링 경로를 따라 UE#2(500)로 상기 "SDP Offer" 메시지를 송신할 수 있다. 상기 협상이 미디어 별 단일 코덱을 이끌어 낼 경우, 상기 멀티미디어 세션의 나머지 부분은 단일 미디어/단일 코덱 세션과 동일하게 완료될 수 있다.

도 7은 사이에 MRF가 있는, 두 개의 UE들 간의 AI 기반 대화형 서비스에 대한 예시적인 기본 사용자 평면 플로우를 도시하고 있다.

대화형 오디오 및 비디오 데이터는, 상기 MRF(700)를 통해, 2개의 UE들(100, 500) 간에 교환될 수 있으며, 상기 MRF(700)는 상기 미디어 데이터에 대한 임의의 필요한 미디어 프로세싱을 수행할 수 있다. AI가 상기 대화형 서비스에 도입될 때(예를 들어, 아바타를 생성하기 위한, 또는 3D 포인트 클라우드를 재생성하기 위한 프로세싱과 같이, 상기 수신된 대화형 비디오가 상기 UE(100, 500)에서 AI 모델을 사용하여 프로세싱될 필요가 있을 때), 상기 MRF(700)는 또한 상기 상응하는 서비스에 대해 상기 UE들(100, 500)에 의해 필요로 되는 상기 필수적인 AI 모델(들) 데이터(702, 704)를 전달할 수 있다.

본 개시에서, AI 인퍼런스(AI inference), AI 추론 (AI inferencing), 또는 AI 모델 추론은 결과들을 산출하기 위해, 신경 네트워크에 입력 데이터를 공급하여 결론적으로 출력 결과들을 리턴하는 트레이닝된 AI 신경 네트워크를 사용하는 방식 또는 방법을 나타낸다. AI 트레이닝 단계 동안, 상기 신경 네트워크는 지능을 개발하기 위해 복수의 데이터 집합들로 트레이닝되며, 일단 트레이닝되면, 입력 데이터를 상기 신경 네트워크에 공급함으로써, 상기 신경 네트워크가 실행되거나 또는 추론 엔진을 사용하여 "추론된다(inferenced)". 학습 단계(learning stage)에서 상기 트레이닝된 신경 네트워크에서 수집되고 저장된 지능은 그와 같은 새로운 입력 데이터를 이해하기 위해 사용된다. 멀티미디어 애플리케이션들에 대한 AI 추론의 일반적인 예들은 다음을 포함할 수 있다:

- 저해상도 비디오를 트레이닝된 AI 신경 네트워크에 공급하는 것, 이는 고해상도 비디오를 출력하도록 추론됨(AI 업스케일링(AI upscaling))

- 비디오를 트레이닝된 AI 신경 네트워크에 공급하는 것, 이는 상기 비디오에서의 안면 인식을 위한 레이블(label)들을 출력하도록 추론됨(AI 안면 인식)

멀티미디어 애플리케이션들에 대한 많은 AI는 객체 인식(object recognition)이 상기 AI 추론의 출력 결과의 핵심 부분인 머신 비전 기반 시나리오(machine vision based scenario)들을 수반한다.

스플릿 AI 추론 경우에서, AI 추론(미디어 프로세싱을 위한) 역시 상기 UE와 MRF 간에서 스플릿될 수 있으며, 그와 같은 경우에서는, 상기 MRF(700)에서 상기 추론의 출력의 매개(intermediate) 데이터(706, 708) 역시 상기 UE(100, 500)로 전달되어 상기 UE에서 상기 추론에 대한 입력으로서 사용될 필요가 있다. 상기 매개 데이터(또는 매개 AI 데이터)는 상기 스플릿 AI 추론의 경우에서, 부분/스플릿 AI 모델의 추론으로부터 출력된 데이터일 수 있다. 상기 매개 데이터는 일반적으로 스플릿 AI 모델 데이터 및 상응하는 미디어 데이터 입력에 기반하여 추론 엔진에 의해 생성된 데이터 스트림일 수 있다. 이 스플릿 추론 케이스에 대해서, 상기 MRF(700)로부터 상기 UE(100, 500)로 전달된 상기 AI 모델(702, 704)은 일반적으로 스플릿 부분(partial) AI 모델이다.

도 8은 UE와 네트워크(예를 들어, MRF) 간의 스플릿 AI 추론에 대한 예시적인 서비스 아키텍처를 도시하고 있다.

스플릿 AI 추론에서, AI 모델 데이터와 매개 데이터는 별도로 전달될 수 있다. 여기서, 상기 필요한 AI 모델들은 상기 AI 모델 리포지토리(repository)(800)로부터 상기 UE(100)의 추론 엔진(850), 및 상기 네트워크(700)의 추론 엔진(802)으로 각각 전달된다.

상기 네트워크(700)의 데이터 소스(804)는 상기 네트워크(700)의 추론 엔진(802)에 대한 입력으로서 공급되고, 상기 매개 데이터 출력(806)은 상기 5G 시스템(808, 852)을 통해 상기 UE(100)로 송신된다. 상기 UE가 상기 부분 AI 모델(810)과 또한 상기 매개 데이터(806)를 둘 다 수신하면, 상기 수신된 매개 데이터(806)는 추론을 위해, 상기 수신된 부분 AI 모델(810)을 사용하는 추론 엔진(850)에 입력으로 공급된다.

도 9는 AI 모델 및 매개 데이터 관련 미디어 프로세싱 기능들 뿐만 아니라 음성 및 비디오 코덱들, 그리고 데이터 채널 뿐만 아니라 RTP / UDP / IP 프로토콜을 각각 지원하는 5G AI 미디어 클라이언트 단말기의 예시적인 구조를 도시하고 있다.

이 구조의 맨 아래에 위치되어 있는 상기 IP 프로토콜(900)은 상기 NR 모뎀의 프로토콜 구조의 맨 위에 위치되어 있는 상기 PDCP(910)에 연결된다. 상기 RTP(904)/UDP(902)/IP(900) 헤더는 음성 및 비디오 코덱에서 상기 압축된 미디어 프레임에 첨부(attach)되어 상기 5G 네트워크를 통해 상기 상대 단말기로 송신된다. 기존의 대화형 비디오 및 오디오는 미디어 코덱들을 통해 전달(pass)되고 상응하는 페이로드 포맷들(906)으로 인캡슐레이트되어(encapsulated) RTP(904)/UDP(902)/IP(900)를 통해 전달(deliver)되는 반면, AI 모델 데이터(810) 및 매개 데이터(806)(상기 스플릿 추론의 경우에서 필요할 경우)는 스트림 제어 송신 프로토콜(Stream Control Transmission Protocol: SCTP)/데이터그램 전송 계층 보안(Datagram Transport Layer Security: DTLS) (922)을 통해 웹 실시간 통신(Web Real-Time Communication: WebRTC) 데이터 채널들(930)을 통해 전달된다.

표 1은 AI 모델 데이터 전달을 위한 예시적인 SDP 제안/응답 협상을 나타낸다.

새로운 SDP 어트리뷰트(attribute) '3gpp_AImodel'은 AI 모델 데이터를 전달하는 데이터 채널 스트림을 식별하기 위해 정의된다.

AI 모델 추론을 지원하는 AI4Media 클라이언트 (MRF 내)는, '3gpp_AImodel' 서브 프로토콜을 지시하는 데이터 채널을 갖는 AI 모델 데이터 채널을 제안할 수 있다. AI 모델 추론을 지원하는 AI4Media 수신 클라이언트는AI 모델 데이터 채널을 승인하고 응답할 수 있다. (An AI4Media client (in the MRF) that supports AI model inferencing, may offer a AI model data channel with a data channel indicating the '3gpp_AImodel' sub-protocol. Receiving AI4Media clients that support AI model inferencing may answer by accepting the AI model data channel.)
상기 제안이 승인되면, MRF는 AI 모델을 생성하고 데이터 채널 수립 시 제안자(offerer)에게 전송할 수 있다.(If the offer is accepted, the MRF may generate and send the AI model to the offerer upon establishment of the data channel.)
MRF가 '3gpp_AImodel' 서브 프로토콜의 데이터 채널을 포함하지 않는 offer를 수신하면, 수신 클라이언트가 AI 모델 추론을 지원하지 않는다고 가정할 수 있다. 이 경우, 대화형 미디어가 AI 추론 없이 전달되고 수신될 수 있다. (If the MRF receives an offer that does not contain a data channel with the '3gpp_AImodel' sub-protocol, it may assume that the receiving client does not support AI model inferencing.　 In such case, conversational media may be delivered and received without any AI inferencing. )

표 2는 상기 AI 모델 데이터 전달의 상기 SDP 시그널링에 대한 신택스(syntax: 문법) 및 시맨틱(semantic: 의미)들 뿐만 아니라 예시적인 절차들을 나타낸다.

SDP 어트리뷰트 3gpp_AImodel 는 WebRTC 데이터 채널을 이용하여 전송되는 AI 모델 데이터 스트림을 지시하는데 사용될 수 있다. (The SDP attribute 3gpp_AImodel may be used to indicate an AI model data stream sent using a WebRTC data channel.)
AI 모델 추론을 지원하는 AI4Media 클라이언트는 3gpp_AImodel 어트리뷰트를 지원하고 다음의 절차를 지원할 수 있다(AI4Media clients supporting AI model inferencing may support the 3gpp_AImodel attribute and may support the following procedures:)
-　　　　　　SDP offer 를 전송할 때, 송신 클라이언트는 WebRTC 데이터 채널에 상응하는 SDP DCSA(data channel subprotocol attribute) 아래의 서브프로토콜 어트리뷰트로 3gpp_AImodel 어트리뷰트를 SDP offer 내에 포함시킬 수 있다. (when sending an SDP offer, the sending client may include the 3gpp_AImodel attribute as a subprotocol attribute under the SDP data channel subprotocol attribute (DCSA) for the corresponding WebRTC data channel in the SDP offer )
-　　　　　　SDP answer 를 전송할 때, 3gpp_AImodel 어트리뷰트가 SDP offer 에서 수신되었으면 수신 클라이언트는 SDP DCSA 아래의 서브프로토콜 어트리뷰트로 3gpp_AImodel 어트리뷰트를 SDP answer 내에 포함시킬 수 있다. (when sending an SDP answer, the receiving client may include the 3gpp_AImodel attribute as a subprotocol attribute under the SDP DCSA attribute in the SDP answer if the 3gpp_AImodel attribute was received in an SDP offer )
-　　　　　SDP 내의 3gpp_AImodel 어트리뷰트의 성공적 협상 후, MTSI 클라이어느는 WebRTC 데이터 채널 AI 모델 데이터를 교환할 수 있다.　(after successful negotiation of the 3gpp_AImodel attribute in the SDP, the MTSI clients may exchange a WebRTC data channel AI model data.)
SDP 어트리뷰트를 위한 신택스는: (The syntax for the SDP attribute is: )
　　　　　　　　a=3gpp_AImodel: <models> <model-info> <dynamic>
-　　　　　　<models>: 송신 클라이언트에서 AI/ML 모델의 총 개수 (Total number of AI/ML models at the sending client.)
　　　　　　　송신 클라이언트와 수신 클라이언트의 프로세싱 설정 및 수신 클라이언트의 AI 프로세싱 능력에 따라, 송신 클라이언트는 주어진 서비스에 대해 복수 개의 AI/ML 모델을 수신 클라이언트에게 제안할 수 있다. 복수 개의 AI/ML 모델로부터 수신 클라이언트는 수신하기에 적절한 AI/ML 모델을 선택할 수 있다. 　(Depending on the processing configuration of the sending and receiving clients, and the AI processing capability of the receiving client, the sending client may offer multiple AI/ML models to the receiving client for a given service, from which the receiving client can select a suitable AI/ML model to receive)
-　　　　　　송신 클라이언트에 의해 전송되는 SDP offer 내의 이 파라메터는 송신 클라이언트에서 사용 가능한 AI/ML 모델의 총 개수를 지시한다.(this parameter inside an SDP offer sent by a sending client indicates the total number of AI/ML models available at the sending client.)
-　　　　　　<model-info>: AI/ML 모델 정보 정적 파라미터(AI/ML model information static parameters.)
　　　　　　　　SDP 협상 동안 수신 클라이언트가 원하는 AI/ML 모델의 선택을 가능하게 하기 위해, 다음의 정적 파라미터가 AI/ML 모델 각각에 대해 정의된다. (In order to enable the selection of desired AI/ML models by the receiving client during SDP negotiation, the following static parameters are defined for each AI/ML model.　 )
-　　　　　　<model-info> = <model-info-1> ... <model-info-N>
-　　　　　　<model-info-X> =　[<id-X> <type> <layers> <targetdelay> <accuracy> <split>] for 1 ≤ X ≤ N here:
-　　　　　　<id>: AI/ML 모델의 식별자(an identifier for the AI/ML model. )
-　　　　　　<type>: AI/ML (DNN) 모델의 타입을 특정함, 가능한 타입은 MLP (multi-layer perceptrons), CNN (convolutional neural network), 및 RNN (recurrent neural network)을 포함 (specifies the type of AI/ML (DNN) model, possible types include MLP (multi-layer perceptrons), CNN (convolutional neural network) and RNN (recurrent neural network). )
-　　　　　　< layers>: 뉴럴 네트워크 내 존재하는 레이어의 개수를 특정함 (specifies the number of layers present in the neural network. )
-　　　　　　< targetdelay>: 미디어 프로세싱에 사용을 의도하는 AI/ML 모델에 대해 타겟 추론 지연을 특정함(specifies the target inference delay for the AI/ML model, for which the model is intended to be used for media processing. )
-　　　　　　< accuracy>: AI/ML 모델의 정확도를 특정함 (specifies the accuracy of the AI/ML model.)
-　　　　　　< split>: AI/ML 모델이 전체 모델(0으로 설정될 때)인지 부분 AI/ML 모델(1로 설정될 때)인지 특정하는 플래그, 부분 AI/ML 모델은 송신 클라이언트에서 구분 부분 추론을 요구함. 이 플래그가 1로 설정되면 상응하는 매개 데이터 스트림은 필수이고, 수신 클라이언트에 의해 수신되고, Table 3 및 Table 4에 정의되는 것처럼 offer/answer 협상과 SDP 시그널링을 통해 SDP 어트리뷰트 3gpp_AIdata 에 의해 지시된다. (a flag specifying whether the AI/ML model is a complete model (when set to 0), or a partial AI/ML model (when set to 1), which requires a separate partial inference at the sending client. If this flag is set to 1, a corresponding intermediate data stream is mandatory, to be received by the receiving client, indicated by the SDP attribute 3gpp_AIdata, through the offer/answer negotiations and SDP signalling as specified in Table 3 and Table 4.)
-　　　　　　<dynamic>: AI/ML 모델이 동적인지 정적인지 (Whether the AI/ML model is dynamic or static. )
　　　　　　　　서비스 타입과 시나리오에 따라, AI/ML 모델은 미디어 서비스 동안 동적으로 바뀔 수 있다. (Depending on the service type and scenario, AI/ML models may change dynamically during the media service. )
-　　　　　　송신 클라이언트에 의해 전송되는 SDP offer 내의 이 파라미터는 AI/ML 모델이 미디어 서비스 동안 동적으로 바뀌는지 아닌지를 지시한다. AI/ML 모델이 동적이면, 모델의 구조 또는 파라미터(예, 가중치 및 성향)가 미디어 서비스 동안 바뀔 수 있다. (this parameter inside an SDP offer sent by a sending client indicates whether the AI/ML model changes dynamically or not during the media service. If an AI/ML model is dynamic, either the structure or parameters (i.e. weights and biases) of the model may change during time of the media service.)

표 3은 AI 스플릿 추론 매개 데이터 전달을 위한 예시적인 SDP 제안/응답 협상을 나타낸다.

새로운 SDP 어트리뷰트 '3gpp_AIdata'가 매개 데이터를 전달하는 데이터 채널 스트림을 식별하기 위해 정의된다.

스플릿 AI 추론을 지원하는 AI4Media 클라이언트 (MRF 내)는, '3gpp_AIdata' 서브 프로토콜을 지시하는 데이터 채널을 갖는 매개 데이터 채널을 제안할 수 있다. 스플릿 AI 추론을 지원하는 AI4Media 수신 클라이언트는 매개 데이터 채널을 승인하고 응답할 수 있다. (An AI4Media client (in the MRF) that supports split AI inferencing, may offer an intermediate data channel with a data channel indicating the '3gpp_AIdata' sub-protocol. Receiving AI4Media clients that support split AI inferencing may answer by accepting the intermediate data channel. )
상기 제안이 승인되면, MRF는 매개 데이터를 (부분 AI 추론을 통해) 생성하고 데이터 채널 수립 시 제안자(offerer)에게 전송할 수 있다.(If the offer is accepted, the MRF may generate (via partial AI inferencing) and send the intermediate data to the offerer upon establishment of the data channel. )
MRF가 '3gpp_AIdata' 서브 프로토콜의 데이터 채널을 포함하지 않는 offer 를 수신하면, 수신 클라이언트가 스플릿 AI 추론을 지원하지 않거나 요구하지 않는다고 가정할 수 있다. 이 경우, 매개 데이터는 수신 클라이언트에게 전송되지 않고, AI 추론은 두 클라이언트들 사이에서 스플릿되지 않는다. (If the MRF receives an offer that does not contain a data channel with the '3gpp_AIdata' sub-protocol, it may assume that the receiving client does not support, or does not require split AI inferencing.　 In such case, intermediate data is not delivered to the receiving client, and AI inferencing is not split between the two clients. )

표 4는 상기 스플릿 AI 추론 매개 데이터 전달의 SDP 시그널링을 위한 신택스 및 시맨틱들 뿐만 아니라 예시적인 절차들을 나타낸다.

SDP 어트리뷰트 3gpp_AIdata 는 WebRTC 데이터 채널을 이용하여 전송되는 매개 AI 데이터 스트림을 지시하는데 사용될 수 있다. (The SDP attribute 3gpp_AIdata may be used to indicate an intermediate AI data stream sent using a WebRTC data channel. )
스플릿 AI 추론을 지원하는 클라이언트는 3gpp_AIdata 어트리뷰트를 지원하고 다음의 절차를 지원할 수 있다. (Clients supporting split AI inferencing may support the 3gpp_AIdata attribute and may support the following procedures: )
-　　　　　　SDP offer 를 전송할 때, 송신 클라이언트는 WebRTC 데이터 채널에 상응하는 SDP DCSA(data channel subprotocol attribute) 아래의 서브프로토콜 어트리뷰트로 3gpp_AIdata 어트리뷰트를 SDP offer 내에 포함시킬 수 있다. (when sending an SDP offer, the sending client may include the 3gpp_AIdata attribute as a subprotocol attribute under the SDP DCSA attribute for the corresponding WebRTC data channel in the SDP offer )
-　　　　　　SDP answer 를 전송할 때, 3gpp_AIdata 어트리뷰트가 SDP offer 에서 수신되었으면 수신 클라이언트는 SDP DCSA 아래의 서브프로토콜 어트리뷰트로 3gpp_AIdata 어트리뷰트를 SDP answer 내에 포함시킬 수 있다. (when sending an SDP answer, the receiving client may include the 3gpp_AIdata attribute as a subprotocol attribute under the SDP DCSA attribute in the SDP answer if the 3gpp_AIdata attribute was received in an SDP offer )
-　　　　　　SDP 내의 3gpp_AIdata 어트리뷰트의 성공적 협상 후, MTSI 클라이어느는 WebRTC 데이터 채널 매개 AI 데이터를 교환할 수 있다.　(after successful negotiation of the 3gpp_AIdata attribute in the SDP, the MTSI clients may exchange WebRTC data channel intermediate AI data. )
매개 AI 데이터가 UE 클라이언트로 전송되었는지 UE 클라이언트로부터 전송되었는지에 따라, 상응하는 매개 AI 데이터 m-line은 sendonly 또는 recvonly 로 설정될 수 있다. SDP offer 또는 SDP answer 내에 이 어트리뷰트의 포함에 따라서. (Depending on whether the intermediate AI data is sent to, or from the UE client, the corresponding intermediate AI data m-line may be set to either sendonly or recvonly, depending on the inclusion of this attribute in either an SDP offer or answer. )
SDP 어트리뷰트를 위한 신택스는: (The syntax for the SDP attribute is: )
　　　　　　　　a=3gpp_AIdata: <modelid> <properties>
-　　　　　　<modelid>: 수신 클라이언트에서 스플릿 추론에 사용될 상응하는 (부분) AI/ML 모델 ( The corresponding (partial) AI/ML model which should be used for split inferencing on the receiving client.)
　　　　　　　　서비스에 따라, 수신 클라이언트는 스플릿 추론 AI 미디어 프로세스의 일부로써 복수 개의 매개 데이터 스트림을 수신할 수 있다. 각 매개 데이터 스트림은 수신 클라이언트에서 추론 프로세스에서 정확하게 완성되도록 상응하는 부분 AI/ML 모델과 매칭될 수 있다.　(Depending on the service, a receiving client may receive multiple intermediate data streams, each as part of one split inference AI media process. Each intermediate data stream should be matched with its corresponding partial AL/ML model in order to correctly complete the inference process on the receiving client. )
-　　　　　　SDP offer 또는 SDP answer 내의 이 파라미터는 (상응하는 매개 AI 데이터의 m-line 아래의) 매개 AI 데이터 스트림이 입력으로 제공되어야 하는 AI/ML 모델의 ID를 지시한다 (this parameter inside an SDP offer or answer, under an m-line corresponding to intermediate AI data, indicates the identifier of the AI/ML model for which the intermediate AI data stream should be fed into as an input. )
-　　　　　　<properties>: 매게 데이터 속성 정보(Intermediate data property information. )
　　　　　　　　하위의 프로토콜을 사용하여 관련있는 QoS를 매개 AI 데이터 스트림에게 할당하기 위하여, 매개 데이터의 속성 정보가 properties 어트리뷰트를 이용하여 시그널 된다. In order to assign the relevant QoS to the intermediate AI data stream using the underlying protocol, property information of the intermediate data is signaled using the properties attribute.　
-　　　　　　<properties> =　[<split-point> <bitrate> <compression> <burst-size> <latency>] where:
-　　　　　　<split-point>: 매개 데이터가 추출되고 송신 클라이언트와 수신 클라이언트 사이에서 전달되는 스플릿 포인트를 특정한다. 스플릿 포인트는 송신 클라이언트에서 추론된 마지막 레이어의 개수를 이용하여 특정된다. (specifies the split point at which the intermediate data was extracted and delivered between the sender and receiver clients. The split point is specified using the number of the last layer which was inferenced at the sending client. )
-　　　　　　<bitrate>: 매개 데이터 스트림을 위한 평균 요구 비트레이트를 Mbps 단위로 특정한다. (specifies the average required bitrate for the intermediate data stream in Mbps )
-　　　　　　<compression>: 존재한다면, 매개 데이터 스트림을 압축하는데 사용되는 타입 압축을 특정한다. (specifies the type compression used to compress the intermediate data stream, if any. )
-　　　　　　<burst-size>: 매개 데이터 스트림의 최대 버스트 크기를 특정한다. (specifies the maximum burst size of the intermediate data stream.)
-　　　　　　<latency>: 데이터가 데이터 채널로 전송되기 전 송신 클라이언트에서의 부분 추론의 지연을 특정한다. (specifies the latency of the partial inference at the sender client before the data is sent via the data channel. )

도 10은 본 개시의 일 실시 예에 따른 장치의 구조를 도시하고 있는 블록도이다.

도 10을 참조하면, 상기 장치는 UE, 기지국 또는 네트워크 엔티티(예를 들어, P-CSCF, S-CSCF, I-CSCF 또는 MRF)일 수 있다. 상기 장치는 본 개시에서의 일 실시 예에 따른 동작을 수행하기 위해 상기 장치의 전반적인 동작을 제어하는 프로세서(1010), 및 무선 통신을 위한 수신기(1030) 및 송신기(1050)를 포함할 수 있다. 상기 수신기(1030) 및 송신기(1050)는 송수신기(transceiver)라고 칭해질 수 있다.

도 11은 본 개시의 일 실시 예에 따라 IMS를 통해 AI 모델 데이터를 송신하는 MRF의 방법을 도시하고 있다.

상기 MRF는 적어도 하나의 AI 모델을 지시하는 제1 어트리뷰트를 포함하는 SDP 제안 메시지를 UE로 송신할 수 있다(1100).

상기 제1 어트리뷰트(예를 들어, 3gpp_AImodel)은 적어도 상기 적어도 하나의 AI 모델에 상응하는 파라미터들의 집합을 포함할 수 있다. 상기 파라미터들의 집합은 상기 적어도 하나의 AI 모델이 부분 AI 모델인지 여부를 지시하는 제1 파라미터를 포함한다. 상기 제1 파라미터는 < split>으로 나타내질 수 있다. 상기 파라미터들의 집합은 상기 적어도 하나의 AI 모델에 대한 식별자(예를 들어, <id>), 상기 적어도 하나의 AI 모델의 타입(예를 들어, < type >), 계층들의 개수(예를 들어, < layers >), 상기 적어도 하나의 AI 모델에 대한 타겟 추론 지연(예를 들어, < targetdelay >), 및 상기 적어도 하나의 AI 모델의 정확도(예를 들어, < accuracy >)를 더 포함할 수 있다.

상기 제1 파라미터 < split>이 상기 적어도 하나의 AI 모델이 부분 AI 모델임을 지시할 경우, 상기 SDP 응답 메시지는 상기 적어도 하나의 AI 모델에 상응하는 매개 AI 데이터를 지시하는 제2 어트리뷰트(예를 들어, 3gpp_AIdata)을 더 포함할 수 있다. 상기 제2 어트리뷰트는 상기 적어도 하나의 AI 모델의 식별자(예를 들어, < modelid >) 및 상기 매개 AI 데이터의 속성 정보(예를 들어, < properties >)를 포함하는 파라미터들의 집합을 포함할 수 있다.

상기 MRF는 상기 제1 어트리뷰트를 포함하는 SDP 응답 메시지를 상기 UE로부터 수신할 수 있다(1105).

상기 MRF는 상기 제1 어트리뷰트에 기반하여 AI 모델 데이터를 상기 UE로 송신할 수 있다(1110).

상기 SDP 응답 메시지가 상기 제2 어트리뷰트를 더 포함할 경우, 상기 MRF는 상기 AI 모델 데이터에 상응하는 상기 매개 AI 데이터를 상기 UE로 송신할 수 있다(1115).

도 12는 본 개시의 일 실시 예에 따라 IMS를 통해 AI 모델 데이터를 수신하는 UE의 방법을 도시하고 있다.

상기 UE는 적어도 하나의 AI 모델을 지시하는 제1 어트리뷰트를 포함하는 SDP 제안 메시지를 MRF로부터 수신할 수 있다(1200).

상기 UE는 상기 MRF로 상기 제1 어트리뷰트를 포함하는 SDP 응답 메시지를 송신할 수 있다(1205).

상기 UE는 상기 MRF로부터 상기 제1 어트리뷰트에 기반하여 AI 모델 데이터를 수신할 수 있다(1210).

상기 SDP 응답 메시지가 상기 제2 어트리뷰트를 더 포함할 경우, 상기 UE는 상기 MRF로부터 상기 AI 모델 데이터에 상응하는 상기 매개 AI 데이터를 수신할 수 있다(1215).

본 개시에 설명되어 있는 실시 예에 따른 방법은 하드웨어, 소프트웨어 또는 하드웨어와 소프트웨어의 조합으로 구현될 수 있다.

여기에서 설명되는 예제 실시예의 적어도 일부는 전용 특수 목적 하드웨어를 사용하여 부분적으로 또는 전체적으로 구성될 수 있다. 여기에서 사용되는 '구성요소', '모듈', 또는 '유닛'과 같은 용어들은 개별 또는 통합된 컴포넌트들의 형태의 회로, FPGA(Field Programmable Gate Array), 또는 특정 태스크들을 수행하거나 상기 연관되는 기능성을 제공하는 ASIC(Application Specific Integrated Circuit)와 같은 하드웨어 디바이스를 포함할 수 있으며, 그렇다고 이로 제한되지는 않는다. 일부 실시 예들에서, 상기 설명된 엘리먼트들은 유형적이고, 영구적이며, 어드레서블(addressable) 저장 매체에 상주하도록 구성될 수 있으며 하나 또는 그 이상의 프로세서들에서 실행되도록 구성될 수 있다. 이러한 기능적 엘리먼트들은 일부 실시 예들에서, 예로서 소프트웨어 컴포넌트들, 객체 지향 소프트웨어 컴포넌트들, 클래스 컴포넌트들 및 태스크 컴포넌트들, 프로세스, 기능들, 어트리뷰트들, 절차들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로 코드, 회로, 데이터, 데이터베이스들, 데이터 구조들, 표들, 어레이들, 및 변수들과 같은 컴포넌트들을 포함할 수 있다. 예제 실시 예들이 여기에서 논의된 컴포넌트들, 모듈들, 및 유닛들을 참조하여 설명되었을 지라도, 그와 같은 기능적 엘리먼트들은 더 적은 개수의 엘리먼트들로 조합될 수 있거나, 또는 추가적인 엘리먼트들로 분할될 수 있다. 선택적인 특징들의 다양한 조합들이 여기에서 설명되었고, 설명된 특징들이 임의의 적합한 조합으로 조합될 수 있다는 것이 인식될 것이다. 특히, 임의의 하나의 예제 실시 예의 특징들은 그와 같은 조합들이 상호 배타적인 경우를 제외하고 적절하게 임의의 다른 실시 예의 특징들과 조합될 수 있다. 본 명세서 전체에서, 용어 "포함하는" 또는 "포함한다"는 명시된 컴포넌트(들)을 포함하지만, 다른 컴포넌트들의 존재를 배제하지 않는 것을 의미한다.

본 출원과 관련하여 본 명세서와 동시에 또는 이전에 제출되고 본 명세서와 함께 대중이 열람하도록 공개되어 있는 모든 서류들 및 문서들에 주의를 기울여야 하며, 이러한 모든 서류들 및 문서들의 내용은 참조로 여기에 포함된다.

본 명세서에 개시된 모든 특징들(임의의 첨부되는 청구항들, 요약서, 및 도면들을 포함하는) 및/또는 그렇게 개시된 임의의 방법 또는 프로세스의 모든 동작들은 그와 같은 기능들 및/또는 동작들 중 적어도 일부가 상호 배타적인 조합들을 제외하고, 임의의 조합으로 조합될 수 있다.

다르게 언급되지 않는 한, 본 명세서에 개시된 각 특징(임의의 첨부되는 청구항들, 요약서, 및 도면들을 포함하는)은 동일하거나, 균등하거나, 또는 유사한 목적을 제공하는 대안적 특징들로 대체될 수 있다. 따라서, 다르게 언급되지 않는 한, 개시된 각 특징은 균등하거나 또는 유사한 특징들의 일반적인 시리즈의 일 예일 뿐이다.

본 개시가 그의 다양한 실시 예들을 참조하여 도시하고 설명되어 있을 지라도, 첨부되는 청구항들 및 그의 균등들에 의해 정의되는 바와 같은, 본 개시의 사상 및 범위를 벗어나지 않는 범위 내에서 그 형태 및 세부 사항들의 다양한 변경들이 이루어질 수 있음은 해당 기술 분야의 당업자들에 의해 이해될 것이다.

Claims

IP 멀티미디어 서브시스템(IP multimedia subsystem: IMS)을 통해 인공 지능(artificial intelligence: AI) 모델 데이터를 송신하는 멀티미디어 자원 기능(multimedia resource function: MRF)의 방법에 있어서,
적어도 하나의 AI 모델을 지시하는 제1 어트리뷰트(attribute)를 포함하는 세션 디스크립션 프로토콜(session description protocol: SDP) 제안 메시지를 사용자 장비(user equipment: UE)로 송신하는 단계;
상기 제1 어트리뷰트를 포함하는 SDP 응답 메시지를 상기 UE로부터 수신하는 단계; 및
상기 제1 어트리뷰트에 기반하여 상기 UE로 AI 모델 데이터를 송신하는 단계를 포함하며,
상기 제1 어트리뷰트는 적어도 상기 적어도 하나의 AI 모델에 상응하는 파라미터들의 집합을 포함하고, 및
상기 파라미터들의 집합은 상기 적어도 하나의 AI 모델이 부분 AI 모델인지 여부를 지시하는 제1 파라미터를 포함하는 방법.
제1항에 있어서,
상기 제1 파라미터가 상기 적어도 하나의 AI 모델이 부분 AI 모델임을 지시할 경우, 상기 SDP 응답 메시지는 상기 적어도 하나의 AI 모델에 상응하는 매개 AI 데이터를 지시하는 제2 어트리뷰트를 더 포함하는 방법.
제2항에 있어서,
상기 SDP 응답 메시지가 상기 제2 어트리뷰트를 더 포함할 경우, 상기 AI 모델 데이터에 상응하는 상기 매개 AI 데이터를 상기 UE에게 송신하는 단계를 더 포함하는 방법.
제1항에 있어서,
상기 파라미터들의 집합은, 상기 적어도 하나의 AI 모델에 대한 식별자, 상기 적어도 하나의 AI 모델의 타입, 계층들의 개수, 상기 AI 모델에 대한 타겟 추론 지연(target inference delay), 및 상기 적어도 하나의 AI 모델의 정확도를 포함하는 파라미터들 중 적어도 하나를 더 포함하는 방법.
제2항에 있어서,
상기 제2 어트리뷰트는 상기 적어도 하나의 AI 모델의 식별자 및 상기 매개 AI 데이터의 속성(property) 정보를 포함하는 파라미터들의 집합을 포함하는 방법.
IP 멀티미디어 서브시스템(IP multimedia subsystem: IMS)을 통해 인공 지능(artificial intelligence: AI) 모델 데이터를 수신하는 사용자 장비(user equipment: UE)의 방법에 있어서,
멀티미디어 자원 기능(multimedia resource function: MRF)으로부터, 적어도 하나의 AI 모델을 지시하는 제1 어트리뷰트(attribute)를 포함하는 세션 디스크립션 프로토콜(session description protocol: SDP) 제안 메시지를 수신하는 단계;
상기 제1 어트리뷰트를 포함하는 SDP 응답 메시지를 상기 MRF로 송신하는 단계; 및
상기 제1 어트리뷰트에 기반하여 상기 MRF로부터 AI 모델 데이터를 수신하는 단계를 포함하며,
상기 제1 어트리뷰트는 적어도 상기 적어도 하나의 AI 모델에 상응하는 파라미터들의 집합을 포함하고, 및
상기 파라미터들의 집합은 상기 적어도 하나의 AI 모델이 부분 AI 모델인지 여부를 지시하는 제1 파라미터를 포함하는 방법.
제6항에 있어서,
상기 제1 파라미터가 상기 적어도 하나의 AI 모델이 부분 AI 모델임을 지시할 경우, 상기 SDP 응답 메시지는 상기 적어도 하나의 AI 모델에 상응하는 매개 AI 데이터를 지시하는 제2 어트리뷰트를 더 포함하는 방법.
제7항에 있어서,
상기 SDP 응답 메시지가 상기 제2 어트리뷰트를 더 포함할 경우, 상기 AI 모델 데이터에 상응하는 상기 매개 AI 데이터를 상기 MRF로부터 수신하는 단계를 더 포함하는 방법.
제6항에 있어서,
상기 파라미터들의 집합은, 상기 적어도 하나의 AI 모델에 대한 식별자, 상기 적어도 하나의 AI 모델의 타입, 계층들의 개수, 상기 AI 모델에 대한 타겟 추론 지연(target inference delay), 및 상기 적어도 하나의 AI 모델의 정확도를 포함하는 파라미터들 중 적어도 하나를 더 포함하는 방법.
제7항에 있어서,
상기 제2 어트리뷰트는 상기 적어도 하나의 AI 모델의 식별자 및 상기 매개 AI 데이터의 속성(property) 정보를 포함하는 파라미터들의 집합을 포함하는 방법.
IP 멀티미디어 서브시스템(IP multimedia subsystem: IMS)을 통해 인공 지능(artificial intelligence: AI) 모델 데이터를 송신하는 멀티미디어 자원 기능(multimedia resource function: MRF) 장치에 있어서,
송수신기; 및
상기 송수신기가:
적어도 하나의 AI 모델을 지시하는 제1 어트리뷰트(attribute)를 포함하는 세션 디스크립션 프로토콜(session description protocol: SDP) 제안 메시지를 사용자 장비(user equipment: UE)로 송신하고;
상기 제1 어트리뷰트를 포함하는 SDP 응답 메시지를 상기 UE로부터 수신하고; 및
상기 제1 어트리뷰트에 기반하여 상기 UE로 AI 모델 데이터를 송신하는 것을 제어하도록 구성되는 프로세서를 포함하며,
상기 제1 어트리뷰트는 적어도 상기 적어도 하나의 AI 모델에 상응하는 파라미터들의 집합을 포함하고, 및
상기 파라미터들의 집합은 상기 적어도 하나의 AI 모델이 부분 AI 모델인지 여부를 지시하는 제1 파라미터를 포함하는 장치.
제11항에 있어서,
상기 제1 파라미터가 상기 적어도 하나의 AI 모델이 부분 AI 모델임을 지시할 경우, 상기 SDP 응답 메시지는 상기 적어도 하나의 AI 모델에 상응하는 매개 AI 데이터를 지시하는 제2 어트리뷰트를 더 포함하는 장치.
제12항에 있어서,
상기 SDP 응답 메시지가 상기 제2 어트리뷰트를 더 포함할 경우, 상기 프로세서는 상기 송수신기가 상기 AI 모델 데이터에 상응하는 상기 매개 AI 데이터를 상기 UE에게 송신하도록 더 구성되는 장치.
제11항에 있어서,
상기 파라미터들의 집합은, 상기 적어도 하나의 AI 모델에 대한 식별자, 상기 적어도 하나의 AI 모델의 타입, 계층들의 개수, 상기 AI 모델에 대한 타겟 추론 지연(target inference delay), 및 상기 적어도 하나의 AI 모델의 정확도를 포함하는 파라미터들 중 적어도 하나를 더 포함하는 장치.
제12항에 있어서,
상기 제2 어트리뷰트는 상기 적어도 하나의 AI 모델의 식별자 및 상기 매개 AI 데이터의 속성(property) 정보를 포함하는 파라미터들의 집합을 포함하는 장치.
IP 멀티미디어 서브시스템(IP multimedia subsystem: IMS)을 통해 인공 지능(artificial intelligence: AI) 모델 데이터를 수신하는 사용자 장비(user equipment: UE) 장치에 있어서,
송수신기; 및
상기 송수신기가:
멀티미디어 자원 기능(multimedia resource function: MRF)으로부터, 적어도 하나의 AI 모델을 지시하는 제1 어트리뷰트(attribute)를 포함하는 세션 디스크립션 프로토콜(session description protocol: SDP) 제안 메시지를 수신하고,
상기 제1 어트리뷰트를 포함하는 SDP 응답 메시지를 상기 MRF로 송신하고; 및
상기 제1 어트리뷰트에 기반하여 상기 MRF로부터 AI 모델 데이터를 수신하는 것을 제어하도록 구성되는 프로세서를 포함하며,
상기 제1 어트리뷰트는 적어도 상기 적어도 하나의 AI 모델에 상응하는 파라미터들의 집합을 포함하고, 및
상기 파라미터들의 집합은 상기 적어도 하나의 AI 모델이 부분 AI 모델인지 여부를 지시하는 제1 파라미터를 포함하는 장치.
제16항에 있어서,
상기 제1 파라미터가 상기 적어도 하나의 AI 모델이 부분 AI 모델임을 지시할 경우, 상기 SDP 응답 메시지는 상기 적어도 하나의 AI 모델에 상응하는 매개 AI 데이터를 지시하는 제2 어트리뷰트를 더 포함하는 장치.
제17항에 있어서,
상기 SDP 응답 메시지가 상기 제2 어트리뷰트를 더 포함할 경우, 상기 프로세서는 상기 송수신기가 상기 AI 모델 데이터에 상응하는 상기 매개 AI 데이터를 상기 MRF로부터 수신하는 것을 제어하도록 더 구성되는 장치.
제16항에 있어서,
상기 파라미터들의 집합은, 상기 적어도 하나의 AI 모델에 대한 식별자, 상기 적어도 하나의 AI 모델의 타입, 계층들의 개수, 상기 AI 모델에 대한 타겟 추론 지연(target inference delay), 및 상기 적어도 하나의 AI 모델의 정확도를 포함하는 파라미터들 중 적어도 하나를 더 포함하는 장치.
제17항에 있어서,
상기 제2 어트리뷰트는 상기 적어도 하나의 AI 모델의 식별자 및 상기 매개 AI 데이터의 속성(property) 정보를 포함하는 파라미터들의 집합을 포함하는 장치.