Audio / video transition for wireless communication

Abstract

Techniques are described to transition a device between two communication modes. An example wireless communication method comprises selectively operating, based on a decision, a first communication device in a first communication mode or a second communication mode for communication with a second communication device, where, in the first communication mode, the first communication device performs audio or video communication with the second communication device, where, in the second communication mode, the first communication device communicates with the second communication device via a first function, and where, in the second communication mode, the first communication device transmits to the first function a data indicative of a user that causes a representation of the user to be transmitted to the second communication device.

Description

AUDIO / VIDEO TRANSITION FOR WIRELESS COMMUNICATIONTECHNICAL FIELD

[0001] This document is directed generally to digital wireless communications.BACKGROUND

[0002] Mobile telecommunication technologies are moving the world toward an increasingly connected and networked society. In comparison with the existing wireless networks, next generation systems and wireless communication techniques will need to support a much wider range of use-case characteristics and provide a more complex and sophisticated range of access requirements and flexibilities.

[0003] Long-Term Evolution (LTE) is a standard for wireless communication for mobile devices and data terminals developed by 3rd Generation Partnership Project (3GPP) . LTE Advanced (LTE-A) is a wireless communication standard that enhances the LTE standard. The 5th generation of wireless system, known as 5G, advances the LTE and LTE-Awireless standards and is committed to supporting higher data-rates, large number of connections, ultra-low latency, high reliability and other emerging business needs.SUMMARY

[0004] Techniques are disclosed for providing a transition between a first communication mode (e.g., audio / video communication mode) and a second communication mode (e.g., Avatar communication mode) . In an example scenario, two user equipment (UEs) may communicate with each other through either audio / video communication mode or Avatar communication mode. In this example scenario, a first UE may want to switch from one communication mode to another. Thus, the first UE may trigger a negotiation with Data Channel (DC) Function and a second UE for the Avatar media and may establish a Data Channel. The Avatar Media Function may fetch Avatar representation from Avatar Repository. The first UE may capture sensing data of a user or a person and may send Avatar data (e.g., sensing data) to the Avatar Media Function through the Data Channel. The Avatar Media Function may render the Avatar representation for user based on the Avatar data received and may send the rendered Avatar representation to the second UE. The second UE may display the rendered Avatar representation to the user of the second UE. The second UE may also send its Avatar representative to the first UE through the  Avatar Media Function. In some example implementation, a video media exchange between the two UEs is stopped.

[0005] A first example wireless communication method includes selectively operating, based on a decision, a first communication device in a first communication mode or a second communication mode for communication with a second communication device, where, in the first communication mode, the first communication device performs audio or video communication with the second communication device, where, in the second communication mode, the first communication device communicates with the second communication device via a first function, and where, in the second communication mode, the first communication device transmits to the first function a data indicative of a user that causes a representation of the user to be transmitted to the second communication device.

[0006] In some embodiments, the method further comprises sending, by the first communication device to a second function, a first message that causes a first data channel to be established between the first communication device and the first function and a second data channel between the first function and the second communication device, where the first message is sent in response to the decision to operate the first communication device in the second communication mode. In some embodiments, the second function includes a data channel function. In some embodiments, the representation of the user is sent to the second communication device via a media resource function. In some embodiments, the method further comprises stopping, by the first communication device, the video communication in response to transitioning from the first communication mode to the second communication mode. In some embodiments, the method further comprises stopping, by the first communication device, a transmission of the data indicative of the user in response to transitioning from the second communication mode to the first communication mode.

[0007] In some embodiments, in the second communication mode, the first communication device sends to the second communication device, a second message that indicates the decision to operate the first communication device in the first communication mode. In some embodiments, the method further comprises sending, by the first communication device to a data channel function, a third message that causes the data channel to be released, wherein the third message indicates to stop exchanging data related to representations of users of the first communication device and the second communication device. In some embodiments, the data  indicative of the user includes a facial expression data that describes a face of the user, or the data indicative of the user includes a motion data that describes a motion of a body of the user. In some embodiments, the representation of the user includes an avatar representation of the user. In some embodiments, the first function includes an avatar media function.

[0008] A second example wireless communication method includes establishing a first data channel between a first communication device and a first function and a second data channel between a second communication device and the first function; and receiving, by the first function from the first communication device, a data indicative of a user that causes a representation of the user to be transmitted to a second communication device.

[0009] In some embodiments, the method further comprises receiving, by the first function from a repository, an avatar representation of the user; and rendering the representation based on the data indicative of the user received from the first communication device and based on the avatar representation received from the repository. In some embodiments, the method further comprises sending, by the first function to the second communication device, the avatar representation and the data indicative of the user. In some embodiments, the data indicative of the user includes a facial expression data that describes a face of the user, or the data indicative of the user includes a motion data that describes a motion of a body of the user. In some embodiments, the first function includes an avatar media function.

[0010] A third example wireless communication method includes receiving, by a media resource function from an avatar media function, a representation of a user to be transmitted to a second communication device, where the representation of the user is rendered based on a data indicative of the user received from a first communication device and based on an avatar representation of the user; and sending, by the media resource function to the second communication device, the representation of the user. In some embodiments, the data indicative of the user includes a facial expression data that describes a face of the user, or the data indicative of the user includes a motion data that describes a motion of a body of the user.

[0011] In yet another exemplary aspect, the above-described methods are embodied in the form of processor-executable code and stored in a non-transitory computer-readable storage medium. The code included in the computer readable storage medium when executed by a processor, causes the processor to implement the methods described in this patent document.

[0012] In yet another exemplary embodiment, a device that is configured or operable to perform the above-described methods is disclosed.

[0013] The above and other aspects and their implementations are described in greater detail in the drawings, the descriptions, and the claims.

[0014] BRIEF DESCRIPTION OF THE DRAWING

[0015] FIG. 1 shows an example procedure for transition from a first communication mode (e.g., an audio / video communication mode) to a second communication mode (e.g., Avatar communication mode) .

[0016] FIG. 2 shows another example procedure for transition from a first communication mode (e.g., an audio / video communication mode) to a second communication mode (e.g., Avatar communication mode) .

[0017] FIG. 3 shows an example procedure for transitioning from a second communication mode (e.g., Avatar communication mode) to a first communication mode (e.g., audio / video communication mode) .

[0018] FIG. 4 shows an exemplary flowchart for operating a communication device in a communication mode.

[0019] FIG. 5 shows an exemplary block diagram of a hardware platform that may be a part of a network device or a communication device.

[0020] FIG. 6 shows an example of wireless communication including a base station (BS) and user equipment (UE) based on some implementations of the disclosed technology.

[0021] FIG. 7 shows an exemplary flowchart for operating an avatar media function.

[0022] FIG. 8 shows an exemplary flowchart for operating a media resource function.DETAILED DESCRIPTION

[0023] Avatar communication provides users with digital representations to express themselves to communicate with other users. These Avatar digital representations can take on many forms, from realistic human-like portraits to cartoon characters. During the communication, the UE may capture sensing data of the users (e.g., facial expressions data) to animate the Avatar representations. An Avatar communication may be preferable for a number  of reasons -a user may not feel presentable, may want to make a specific impression, or may have to communicate when only limited data rate communication is possible.

[0024] The legacy audio / video communication can provide users with visual experience between the calling parties. However, comparing to legacy audio / video communication, the Avatar communication can provide users with personalized impressions and can use a constrained or limited data rate. For some reasons, such as the change of willing for using real video, or the change of data rate condition, the user devices may execute the transition between these two communication modes (e.g., from audio / video communication to Avatar communication, or vice versa) . One of the technical issues with current technology is how to perform a transition between audio / video communication and Avatar communication.

[0025] The example headings for the various sections below are used to facilitate the understanding of the disclosed subject matter and do not limit the scope of the claimed subject matter in any way. Accordingly, one or more features of one example section can be combined with one or more features of another example section. Furthermore, 5G terminology is used for the sake of clarity of explanation, but the techniques disclosed in the present document are not limited to 5G technology only, and may be used in wireless systems that implemented other protocols.

[0026] I. Example Embodiments

[0027] Two UEs may communicate with each other through either audio / video communication mode or Avatar communication mode. One of UEs may want to switch from one of the communication modes to another for some reasons, such as a willingness of a user to change from using real video of a user to an Avatar of that user, or the change of data rate condition of a UE operated by the user. Then the UE triggers the negotiation with Data Channel (DC) Function and peer UE for the Avatar media and establishes Data Channel. Avatar Media Function fetches Avatar representation from Avatar Repository. As an optional procedure, Avatar Media Function sends Avatar representation to peer UE when peer UE is responsible for the rendering of Avatar representation.

[0028] UE may capture sensing data of the user e.g., facial expressions data, body motion data and sends Avatar data (also known as sensing data) to Avatar Media Function through Data Channel. In some implementation, the Avatar data or sensing data may include real-time data that describes real-time biological information about user. For example, the Avatar data may  include data indicative of position of the eyes as a function of time, data indicative of movement of the lip when speaking as a function of time, or data indicative of movement of a hand as a function of time. Avatar Media Function renders the Avatar representation for user based on the Avatar data received and sends rendered Avatar representation to peer UE. Or when peer UE is responsible for the rendering of Avatar representation, Avatar Media Function transfers Avatar data to peer UE; and peer UE renders the Avatar representation.

[0029] Peer UE displays rendered Avatar representation to user. Peer UE may also send its Avatar representative to UE through Avatar Media Function; and the video media exchange between two UEs is stopped.

[0030] Avatar Media Function can be deployed as a standalone entity or co-locates with Media Resource Function or other media function which is responsible for media handling.

[0031] FIG. 1 shows an example procedure for transition from a first communication mode (e.g., an audio / video communication mode) to a second communication mode (e.g., Avatar communication mode) .

[0032] Step. 0 UE A has audio / video communication with UE B.

[0033] Step. 1 UE A exchanges audio / video media with UE B through a Media Resource Function (MRF) .

[0034] Step. 2 UE A decides to switch the communication from audio / video to Avatar communication mode.

[0035] Step. 3 UE A interacts with DC Function and UE B to negotiate the Avatar media and establish Data Channel. In some implementations, UE A may send a message to the DC Function, where the message indicates to the DC Function that the UE A wants to establish a Data Channel for Avatar communication. The Data Channel is established between UE A and Avatar Media Function, and between Avatar Media Function and UE B.

[0036] Step. 4 Avatar Media Function fetches Avatar representation from Avatar Repository. Avatar representation is specific for the user of UE A; it can be pre-configured in Avatar Repository or uploaded by the user. In an example, an Avatar representation of a user may be a user portrait, cartoon character, or an avatar of that user.

[0037] Step. 4' Avatar Media Function sends Avatar representation to UE B. This step (4') may be optional. For example, Step 4' may be performed only when UE B is responsible for the rendering of Avatar representation. The Avatar representation may be a raw Avatar representation sent from Avatar Media Function to UE B. The raw Avatar representation sent by the Avatar Media Function and received by UE B may be a static representation (e.g., user portrait or cartoon character) of the user.

[0038] Step. 5 UE A captures sensing data of the user e.g., facial expressions data, body motion data.

[0039] Step. 6 UE A sends Avatar data (i.e. sensing data) to Avatar Media Function through Data Channel.

[0040] Step. 7a Avatar Media Function uses the Avatar representation received at Step 4 to render the Avatar representation for user based on the Avatar data received.

[0041] Step. 8a Avatar Media Function sends rendered Avatar representation to UE B.

[0042] In embodiments where Step 4'is performed, Step 7a and 8a may not be performed because UE B may render the Avatar representation of the user based on the Avatar data (which the Avatar Media Function can send to UE B as part of Step 6) and based on the raw Avatar representation received by UE B at Step 4'.

[0043] Or when UE B is responsible for the rendering of Avatar representation and Step. 4'is performed:

[0044] Step. 7b Avatar Media Function transfers Avatar data to UE B.

[0045] Step. 8b UE B renders the Avatar representation for user based on the Avatar data received.

[0046] Step. 9 UE B displays rendered Avatar representation to user.

[0047] Step. 10 UE B may also send its Avatar representative to UE A through Avatar Media Function; and the video between two UEs is stopped.

[0048] FIG. 2 shows another example procedure for transition from a first communication mode (e.g., an audio / video communication mode) to a second communication mode (e.g., Avatar communication mode) . The difference between the procedures in FIG. 1 and 2 is that in FIG. 2, the rendered Avatar representation is transferred to UE B from Media Resource Function through video media channel.

[0049] Step. 0～7: Are same as the steps from 0 to 7a in FIG. 1.

[0050] Step. 8 Avatar Media Function sends rendered Avatar representation to Media Resource Function. In some embodiments, if the Avatar Media Function is co-located (or mayu  be included in a same computer / server) with Media Resource Function, Step 8 may not be necessary.

[0051] Step. 9 Media Resource Function transfers Avatar representation to UE B as video media through video channel.

[0052] Step. 10 UE B displays rendered Avatar representation to user.

[0053] Step. 11 UE B may also send its Avatar data to Avatar Media Function, and Avatar Media Function sends rendered Avatar representation to Media Resource Function. The video channel between UE A and Media Resource Function is reused to deliver rendered Avatar representation.

[0054] FIG. 3 shows an example procedure for transitioning from a second communication mode (e.g., Avatar communication mode) to a first communication mode (e.g., audio / video communication mode) .

[0055] Step. 0 UE A has Avatar communication with UE B.

[0056] Step. 1a UE A exchanges Avatar media (i.e. Avatar representative) with UE B transferred by Avatar Media Function through Data Channel.

[0057] Step. 1b Alternatively Avatar media is sent to MRF and MRF sends it as video media to UE through video channel.

[0058] Step. 2 UE A decides to switch the communication from Avatar to audio / video mode.

[0059] Step. 3 UE A negotiates with UE B for exchanging video media. In some implementations, UE A may send a message to indicates that UE A wants to switch from communicating in Avatar mode to communicating in audio / video mode.

[0060] Step. 4 UE A exchanges video media with UE B through MRF.

[0061] The video media in step. 3 and 4 is the real video of users and is captured by the camera of UEs, rather than Avatar media.

[0062] Step. 5 UE A negotiates with DC Function and UE B to stop exchanging Avatar media and may release Data Channel. In some implementations, UE A may send a message to the DC function, where the message indicates to the DC function that the UE wants to stop communicating avatar media or stop communicating in Avatar communication mode.

[0063] The Data Channel may be released when it is not used in the communication.

[0064] FIG. 4 shows an exemplary flowchart for operating a communication device in a communication mode. Operation 402 includes selectively operating, based on a decision, a first  communication device in a first communication mode or a second communication mode for communication with a second communication device, where, in the first communication mode, the first communication device performs audio or video communication with the second communication device, where, in the second communication mode, the first communication device communicates with the second communication device via a first function, and where, in the second communication mode, the first communication device transmits to the first function a data indicative of a user that causes a representation of the user to be transmitted to the second communication device.

[0065] In some embodiments, the method further comprises sending, by the first communication device to a second function, a first message that causes a first data channel to be established between the first communication device and the first function and a second data channel between the first function and the second communication device, where the first message is sent in response to the decision to operate the first communication device in the second communication mode. In some embodiments, the second function includes a data channel function. In some embodiments, the representation of the user is sent to the second communication device via a media resource function. In some embodiments, the method further comprises stopping, by the first communication device, the video communication in response to transitioning from the first communication mode to the second communication mode. In some embodiments, the method further comprises stopping, by the first communication device, a transmission of the data indicative of the user in response to transitioning from the second communication mode to the first communication mode.

[0066] In some embodiments, in the second communication mode, the first communication device sends to the second communication device, a second message that indicates the decision to operate the first communication device in the first communication mode. In some embodiments, the method further comprises sending, by the first communication device to a data channel function, a third message that causes the data channel to be released, wherein the third message indicates to stop exchanging data related to representations of users of the first communication device and the second communication device. In some embodiments, the data indicative of the user includes a facial expression data that describes a face of the user, or the data indicative of the user includes a motion data that describes a motion of a body of the user.  In some embodiments, the representation of the user includes an avatar representation of the user. In some embodiments, the first function includes an avatar media function.

[0067] FIG. 7 shows an exemplary flowchart for operating an avatar media function. Operation 702 includes establishing a first data channel between a first communication device and a first function and a second data channel between a second communication device and the first function. Operation 704 includes receiving, by the first function from the first communication device, a data indicative of a user that causes a representation of the user to be transmitted to a second communication device.

[0068] In some embodiments, the method further comprises receiving, by the first function from a repository, an avatar representation of the user; and rendering the representation based on the data indicative of the user received from the first communication device and based on the avatar representation received from the repository. In some embodiments, the method further comprises sending, by the first function to the second communication device, the avatar representation and the data indicative of the user. In some embodiments, the data indicative of the user includes a facial expression data that describes a face of the user, or the data indicative of the user includes a motion data that describes a motion of a body of the user. In some embodiments, the first function includes an avatar media function.

[0069] FIG. 8 shows an exemplary flowchart for operating a media resource function. Operation 802 includes receiving, by a media resource function from an avatar media function, a representation of a user to be transmitted to a second communication device, where the representation of the user is rendered based on a data indicative of the user received from a first communication device and based on an avatar representation of the user. Operation 804 includes sending, by the media resource function to the second communication device, the representation of the user. In some embodiments, the data indicative of the user includes a facial expression data that describes a face of the user, or the data indicative of the user includes a motion data that describes a motion of a body of the user.

[0070] FIG. 5 shows an exemplary block diagram of a hardware platform 500 that may be a part of a network device (e.g., base station) or a communication device (e.g., a user equipment (UE) ) . The hardware platform 500 includes at least one processor 510 and a memory 505 having instructions stored thereupon. The instructions upon execution by the processor 510 configure the hardware platform 500 to perform the operations described in FIGS. 1 to 4 and 6 to 8 in the  various embodiments described in this patent document. The transmitter 515 transmits or sends information or data to another device. For example, a network device transmitter can send a message to a user equipment. The receiver 520 receives information or data transmitted or sent by another device. For example, a user equipment can receive a message from a network device.

[0071] The implementations as discussed above will apply to a wireless communication. FIG. 6 shows an example of a wireless communication system (e.g., a 5G or NR cellular network) that includes a base station 620 and one or more user equipment (UE) 611, 612 and 613. In some embodiments, the UEs access the BS (e.g., the network) using a communication link to the network (sometimes called uplink direction, as depicted by dashed arrows 631, 632, 633) , which then enables subsequent communication (e.g., shown in the direction from the network to the UEs, sometimes called downlink direction, shown by arrows 641, 642, 643) from the BS to the UEs. In some embodiments, the BS send information to the UEs (sometimes called downlink direction, as depicted by arrows 641, 642, 643) , which then enables subsequent communication (e.g., shown in the direction from the UEs to the BS, sometimes called uplink direction, shown by dashed arrows 631, 632, 633) from the UEs to the BS. The UE may be, for example, a smartphone, a tablet, a mobile computer, a machine to machine (M2M) device, an Internet of Things (IoT) device, and so on.

[0072] In this document the term “exemplary” is used to mean “an example of” and, unless otherwise stated, does not imply an ideal or a preferred embodiment.

[0073] Some of the embodiments described herein are described in the general context of methods or processes, which may be implemented in one embodiment by a computer program product, embodied in a computer-readable medium, including computer-executable instructions, such as program code, executed by computers in networked environments. A computer-readable medium may include removable and non-removable storage devices including, but not limited to, Read Only Memory (ROM) , Random Access Memory (RAM) , compact discs (CDs) , digital versatile discs (DVD) , etc. Therefore, the computer-readable media can include a non-transitory storage media. Generally, program modules may include routines, programs, objects, components, data structures, etc. that perform particular tasks or implement particular abstract data types. Computer-or processor-executable instructions, associated data structures, and program modules represent examples of program code for executing steps of the methods disclosed herein. The particular sequence of such executable instructions or associated data  structures represents examples of corresponding acts for implementing the functions described in such steps or processes.

[0074] Some of the disclosed embodiments can be implemented as devices or modules using hardware circuits, software, or combinations thereof. For example, a hardware circuit implementation can include discrete analog and / or digital components that are, for example, integrated as part of a printed circuit board. Alternatively, or additionally, the disclosed components or modules can be implemented as an Application Specific Integrated Circuit (ASIC) and / or as a Field Programmable Gate Array (FPGA) device. Some implementations may additionally or alternatively include a digital signal processor (DSP) that is a specialized microprocessor with an architecture optimized for the operational needs of digital signal processing associated with the disclosed functionalities of this application. Similarly, the various components or sub-components within each module may be implemented in software, hardware or firmware. The connectivity between the modules and / or components within the modules may be provided using any one of the connectivity methods and media that is known in the art, including, but not limited to, communications over the Internet, wired, or wireless networks using the appropriate protocols.

[0075] While this document contains many specifics, these should not be construed as limitations on the scope of an invention that is claimed or of what may be claimed, but rather as descriptions of features specific to particular embodiments. Certain features that are described in this document in the context of separate embodiments can also be implemented in combination in a single embodiment. Conversely, various features that are described in the context of a single embodiment can also be implemented in multiple embodiments separately or in any suitable sub-combination. Moreover, although features may be described above as acting in certain combinations and even initially claimed as such, one or more features from a claimed combination can in some cases be excised from the combination, and the claimed combination may be directed to a sub-combination or a variation of a sub-combination. Similarly, while operations are depicted in the drawings in a particular order, this should not be understood as requiring that such operations be performed in the particular order shown or in sequential order, or that all illustrated operations be performed, to achieve desirable results.

[0076] Only a few implementations and examples are described and other implementations, enhancements and variations can be made based on what is described and illustrated in this disclosure.

Claims

1.A wireless communication method, comprising:selectively operating, based on a decision, a first communication device in a first communication mode or a second communication mode for communication with a second communication device,wherein, in the first communication mode, the first communication device performs audio or video communication with the second communication device,wherein, in the second communication mode, the first communication device communicates with the second communication device via a first function, andwherein, in the second communication mode, the first communication device transmits to the first function a data indicative of a user that causes a representation of the user to be transmitted to the second communication device.2.The method of claim 1, further comprising:sending, by the first communication device to a second function, a first message that causes a first data channel to be established between the first communication device and the first function and a second data channel between the first function and the second communication device,wherein the first message is sent in response to the decision to operate the first communication device in the second communication mode.3.The method of claim 2, wherein the second function includes a data channel function.4.The method of claim 1, wherein the representation of the user is sent to the second communication device via a media resource function.5.The method of claim 1, further comprising:stopping, by the first communication device, the video communication in response to transitioning from the first communication mode to the second communication mode.6.The method of claim 1, further comprising:stopping, by the first communication device, a transmission of the data indicative of the user in response to transitioning from the second communication mode to the first communication mode.7.The method of claim 1,wherein, in the second communication mode, the first communication device sends to the second communication device, a second message that indicates the decision to operate the first communication device in the first communication mode.8.The method of claim 7, further comprising:sending, by the first communication device to a data channel function, a third message that causes the data channel to be released, wherein the third message indicates to stop exchanging data related to representations of users of the first communication device and the second communication device.9.The method of any one of claims 1 to 8,wherein the data indicative of the user includes a facial expression data that describes a face of the user, orwherein the data indicative of the user includes a motion data that describes a motion of a body of the user.10.The method of any one of claims 1 to 8, wherein the representation of the user includes an avatar representation of the user.11.The method of any one of claims 1 to 8, wherein the first function includes an avatar media function.12.A wireless communication method, comprising:establishing a first data channel between a first communication device and a first function and a second data channel between a second communication device and the first function;receiving, by the first function from the first communication device, a data indicative of a user that causes a representation of the user to be transmitted to a second communication device.13.The method of claim 12, further comprising:receiving, by the first function from a repository, an avatar representation of the user; andrendering the representation based on the data indicative of the user received from the first communication device and based on the avatar representation received from the repository.14.The method of claim 13, further comprising:sending, by the first function to the second communication device, the avatar representation and the data indicative of the user.15.The method of any one of claims 12 to 14,wherein the data indicative of the user includes a facial expression data that describes a face of the user, orwherein the data indicative of the user includes a motion data that describes a motion of a body of the user.16.The method of any one of claims 12 to 14, wherein the first function includes an avatar media function.17.A wireless communication method, comprising:receiving, by a media resource function from an avatar media function, a representation of a user to be transmitted to a second communication device,wherein the representation of the user is rendered based on a data indicative of the user received from a first communication device and based on an avatar representation of the user; andsending, by the media resource function to the second communication device, the representation of the user.18.The method of claim 17,wherein the data indicative of the user includes a facial expression data that describes a face of the user, orwherein the data indicative of the user includes a motion data that describes a motion of a body of the user.19.An apparatus for wireless communication comprising a processor, configured to implement a method recited in one or more of claims 1 to 18.20.A non-transitory computer readable program storage medium having code stored thereon, the code, when executed by a processor, causing the processor to implement a method recited in one or more of claims 1 to 18.

Images