Audio processing method, apparatus, system, and medium

Abstract

The present disclosure relates to the technical field of audio processing technology, and in particular to an audio processing method, apparatus, system, and medium. The audio processing method on an encoder side including: encoding an audio signal to generate a first data chunk(110); encoding metadata needed for at least one audio application task corresponding to the audio signal to generate a second data chunk（120）; and transmitting a bitstream comprising the first data chunk and the second data chunk to a decoder(130).

Description

AUDIO PROCESSING METHOD, APPARATUS, SYSTEM, AND MEDIUMCROSS-REFERENCE TO RELATED APPLICATIONS

[0001] This application claims priority to PCT Patent Application No. PCT / CN2024 / 127033, and filed on October 24, 2024. The entire disclosure of the prior application is hereby incorporated by reference in its entirety.TECHNICAL FIELD

[0002] The present disclosure relates to the technical field of audio processing, in particular to an audio processing method, an audio processing system, an audio processing apparatus, an electronic device, a computer-readable medium, and computer program product.BACKGROUND

[0003] Audio Codec methods aim for the best audio under certain bit-rate constraint for human consumption usually. However, with the rise of machine learning applications, along with the abundance of sensors, many intelligent platforms have been implemented with massive data requirements including scenarios such as connected vehicles, audio surveillance, machine diagnostics and smart city. In many of these applications the spatial distribution of audio contains important information. Medical data, like those coming from Electroencephalogram (EEG) and Electrocardiogram (EKG) measurements, while not inherently audio, often have a similar structure and similar requirements as audio data. Spatial audio and medical data will be referenced as multi-dimensional streams.

[0004] The sheer quantity of data being produced constantly leads previous methods with a human in the pipeline to be inefficient, and unrealistic in terms of latency and scale. There are additional concerns in transmission and archive systems which require a more compact data representation and low latency solution. In view of this, Audio Coding for Machines (ACoM) is introduced in related art.SUMMARY

[0005] According to some embodiments of the present disclosure, there is provided an audio processing method on an encoder side, the method including: encoding an audio signal to generate a first data chunk including an encoded audio signal; encoding metadata needed for at least one audio application task corresponding to the audio signal to generate a second data chunk; and transmitting a bitstream including the first data chunk and the second data chunk to a decoder to complete the audio application task based on the metadata.

[0006] In some embodiments, the at least one audio application task includes a plurality of audio application tasks, the second data chunk includes a plurality of sub-data chunks, and different sub-data chunks store different metadata needed for different audio application tasks.

[0007] In some embodiments, each sub-data chunk of the plurality of sub-data chunks includes a first component for storing identification information of an audio application task corresponding to the each sub-data chunk, different audio application tasks corresponding to different identification information.

[0008] In some embodiments, the each sub-data chunk includes a second component for storing size information of the each sub-data chunk, and the each sub-data chunk includes a third component for storing metadata needed for the audio application task corresponding to the each sub-data chunk.

[0009] In some embodiments, the second data chunk includes a component for storing an amount of the plurality of sub-data chunks.

[0010] In some embodiments, the second data chunk is configured after the first data chunk.

[0011] In some embodiments, the metadata includes at least one of relevant information of a sensor, relevant information of a measurement condition, or annotation information of content included in the audio signal.

[0012] In some embodiments, the relevant information of the sensor includes at least one of a type, a position, or time information of the sensor, and the relevant information of the measure condition includes at least one of temperature, humidity, or air pressure.

[0013] In some embodiments, the audio application task includes at least one of creation, analysis, recognition, monitoring, detection, or control.

[0014] In some embodiments, the second data chunk includes a component for storing a size of the second data chunk and / or a component for storing an identifier of the second data chunk.

[0015] In some embodiments, the encoding the audio signal to generate the first data chunk including the encoded audio signal includes: performing a lossless encoding processing on the audio signal to obtain a lossless encoded audio signal.

[0016] According to some other embodiments of the present disclosure, there is provided an audio processing method applied on a decoder side, including: parsing a bitstream of an audio signal transmitted from an encoder, wherein the bitstream includes a first data chunk and a second data chunk, the first data chunk including an encoded audio signal, and the second data chunk including metadata required for at least one audio application task corresponding to the audio signal; and obtaining the metadata based on a parsing result, for processing the audio signal according to the metadata to complete the audio application task.

[0017] In some embodiments, the at least one audio application task includes a plurality of audio application tasks, the second data chunk includes a plurality of sub-data chunks, and different sub-data chunks store different metadata needed for different audio application tasks.

[0018] In some embodiments, each sub-data chunk of the plurality of sub-data chunks includes a first component for storing identification information of an audio application task corresponding to the each sub-data chunk, different audio application tasks corresponding to different identification information.

[0019] In some embodiments, the each sub-data chunk includes a second component for storing size information of the each sub-data chunk, and the each sub-data chunk includes a third component for storing metadata needed for the audio application task corresponding to the each sub-data chunk.

[0020] In some embodiments, the second data chunk includes a component for storing an amount of the plurality of sub-data chunks.

[0021] In some embodiments, the second data chunk is configured after the first data chunk.

[0022] In some embodiments, the metadata includes at least one of relevant information of a sensor, relevant information of a measurement condition, or annotation information of content included in the audio signal.

[0023] In some embodiments, the relevant information of the sensor includes at least one of a type, a position, or time information of the sensor, and the relevant information of the measure condition includes at least one of temperature, humidity, or air pressure.

[0024] In some embodiments, the audio application task includes at least one of creation, analysis, recognition, monitoring, detection, or control.

[0025] In some embodiments, the second data chunk includes a component for storing a size of the second data chunk and / or a component for storing an identifier of the second data chunk.

[0026] In some embodiments, the encoding the audio signal to generate the first data chunk including the encoded audio signal includes: performing a lossless encoding processing on the audio signal to obtain a lossless encoded audio signal.

[0027] In some embodiments, the encoded audio signal is a lossless encoded audio signal.

[0028] According to still other embodiments of the present disclosure, there is provided an audio processing system including: an encoder configured to perform an audio processing method on an encoder side according to any one of the above embodiments; and a decoder configured to perform an audio processing method on a decoder side according to any one of the above embodiments.

[0029] According to still other embodiments of the present disclosure, there is provided an audio processing apparatus configured on an encoder side, including: a first encoding unit configured to encode an audio signal to generate a first data chunk including an encoded audio signal; a second encoding unit configured to encode metadata needed for at least one audio application task corresponding to the audio signal to generate a second data chunk; and a transmitting unit configured to transmit a bitstream including the first data chunk and the second data chunk to a decoder to complete the audio application task based on the metadata.

[0030] In some embodiments, the at least one audio application task includes a plurality of audio application tasks, the second data chunk includes a plurality of sub-data chunks, and different sub-data chunks store different metadata needed for different audio application tasks.

[0031] In some embodiments, each sub-data chunk of the plurality of sub-data chunks includes a first component for storing identification information of an audio application task corresponding to the each sub-data chunk, different audio application tasks corresponding to different identification information.

[0032] In some embodiments, the each sub-data chunk includes a second component for storing size information of the each sub-data chunk, and the each sub-data chunk includes a third component for storing metadata needed for the audio application task corresponding to the each sub-data chunk.

[0033] In some embodiments, the second data chunk includes a component for storing an amount of the plurality of sub-data chunks.

[0034] In some embodiments, the second data chunk is configured after the first data chunk.

[0035] In some embodiments, the metadata includes at least one of relevant information of a sensor, relevant information of a measurement condition, or annotation information of content included in the audio signal.

[0036] In some embodiments, the relevant information of the sensor includes at least one of a type, a position, or time information of the sensor, and the relevant information of the measure condition includes at least one of temperature, humidity, or air pressure.

[0037] In some embodiments, the audio application task includes at least one of creation, analysis, recognition, monitoring, detection, or control.

[0038] In some embodiments, the second data chunk includes a component for storing a size of the second data chunk and / or a component for storing an identifier of the second data chunk.

[0039] In some embodiments, the first encoding unit performs a lossless encoding processing on the audio signal to obtain a lossless encoded audio signal.

[0040] According to still other embodiments of the present disclosure, there is provided an audio processing method apparatus configured on a decoder side, including: a parsing unit configured to parse a bitstream of an audio signal transmitted from an encoder, wherein the bitstream includes a first data chunk and a second data chunk, the first data chunk including an encoded audio signal, and the second data chunk including metadata required for at least one audio application task corresponding to the audio signal; and an obtaining unit configured to obtain the metadata based on a parsing result, for processing the audio signal according to the metadata to complete the audio application task.

[0041] In some embodiments, the at least one audio application task includes a plurality of audio application tasks, the second data chunk includes a plurality of sub-data chunks, and different sub-data chunks store different metadata needed for different audio application tasks.

[0042] In some embodiments, each sub-data chunk of the plurality of sub-data chunks includes a first component for storing identification information of an audio application task corresponding to the each sub-data chunk, different audio application tasks corresponding to different identification information.

[0043] In some embodiments, the each sub-data chunk includes a second component for storing size information of the each sub-data chunk, and the each sub-data chunk includes a third component for storing metadata needed for the audio application task corresponding to the each sub-data chunk.

[0044] In some embodiments, the second data chunk includes a component for storing an amount of the plurality of sub-data chunks.

[0045] In some embodiments, the second data chunk is configured after the first data chunk.

[0046] In some embodiments, the metadata includes at least one of relevant information of a sensor, relevant information of a measurement condition, or annotation information of content included in the audio signal.

[0047] In some embodiments, the relevant information of the sensor includes at least one of a type, a position, or time information of the sensor, and the relevant information of the measure condition includes at least one of temperature, humidity, or air pressure.

[0048] In some embodiments, the audio application task includes at least one of creation, analysis, recognition, monitoring, detection, or control.

[0049] In some embodiments, the second data chunk includes a component for storing a size of the second data chunk and / or a component for storing an identifier of the second data chunk.

[0050] In some embodiments, the encoding the audio signal to generate the first data chunk including the encoded audio signal includes: performing a lossless encoding processing on the audio signal to obtain a lossless encoded audio signal.

[0051] In some embodiments, the encoded audio signal is a lossless encoded audio signal.

[0052] According to still other embodiments of the present disclosure, there is provided an electronic device, including: a memory; and a processor coupled to the memory, the processor being configured to perform, based on instructions stored in the memory, an audio processing method on an encoder side according to any one of the above embodiments, or an audio processing method on a decoder side according to any one of the above embodiments.

[0053] According to still other embodiments of the present disclosure, there is provided a computer-readable medium having thereon stored instructions which, when executed by a processor, implement an audio processing method on an encoder side according to any one of the above embodiments, or an audio processing method on a decoder side according to any one of the above embodiments.

[0054] According to still other embodiments of the present disclosure, there is provided a computer program product, including: instructions that, when executed by a processor, cause the processor to implement an audio processing method on an encoder side according to any one of the above embodiments, or an audio processing method on a decoder side according to any one of the above embodiments.BRIEF DESCRIPTION OF THE DRAWINGS

[0055] The above and other features, advantages and aspects of embodiments of the present disclosure will become more apparent by referring to the following preferred embodiments in conjunction with the accompanying drawings. Throughout the drawings, identical or similar reference numerals denote identical or similar elements. It should be understood that the drawings are schematic, and units and elements are not necessarily drawn to scale.

[0056] Fig. 1 is a schematic diagram of a pipeline for ACoM according to some embodiments of the present disclosure.

[0057] Fig. 2 is a schematic diagram of ACoM architecture according to some embodiments of the present disclosure.

[0058] Fig. 3a is a flow diagram of an audio data processing method according to some embodiments of the present disclosure.

[0059] Fig. 3b is a schematic diagram of a file format according to some embodiments of the present disclosure.

[0060] Fig. 3c is a schematic diagram of a file format according to some other embodiments of the present disclosure.

[0061] Fig. 4 is a flow diagram of an audio data processing method according to some other embodiments of the present disclosure.

[0062] Fig. 5 is a structural schematic diagram of an electronic device provided by some embodiments of the present disclosure. DETAILED DESCRIPTION OF PREFERRED EMBODIMENTS

[0063] Embodiments of the present disclosure will be described in more detail below with reference to the accompanying drawings. Although some embodiments of the present disclosure are shown in the drawings, it should be understood that the present disclosure can be embodied in various forms and should not be construed as limited to the embodiments set forth here, but rather, these embodiments are provided for a more thorough and complete understanding of the present disclosure. It should be understood that the drawings and embodiments of the present disclosure are used only for illustrative purposes, and are not used to limit the protection scope of the present disclosure.

[0064] It should be understood that steps described in the method embodiments of the present disclosure may be executed in different sequences and / or in parallel. Further, method embodiments may include additional steps and / or omit execution of illustrated steps. Scope of the present disclosure is not limited in this respect.

[0065] As used herein, the term "comprising" and its variants are open-ended including, that is, "including but not limited to" . The term "based on" is "at least partially based on" . The term "one embodiment" means "at least one embodiment" ; the term "another embodiment" means "at least one other embodiment" ; the term "some embodiments" means "at least some embodiments" . Related definitions of other terms will be given in the below description.

[0066] It should be noted that such concepts as "first" , "second" etc. mentioned in the present disclosure are only used to distinguish different devices, modules or units, and are not used to limit the order or interdependence of functions performed by these devices, modules or units.

[0067] It should be noted that such modifiers as "a" and "a plurality" mentioned in this disclosure are schematic rather than limiting, and those skilled in the art should understand that unless the context clearly indicates otherwise, they should be understood as "one or more" .

[0068] Names of messages or information exchanged among multiple devices in the embodiments of the present disclosure are only used for illustrative purposes, and are not used to limit the scope of these messages or information.

[0069] Terms and abbreviations are explained as follows.

[0070] ACoM: Audio Coding for Machine

[0071] Bitstream: A sequence of binary digits (0s and 1s)

[0072] Metadata: Data about data. It provides descriptive information and context for a particular set of data

[0073] Lossless: A state or process where there is no loss of data or quality

[0074] Mono: short for 'monophonic'. It refers to a sound reproduction or recording that uses a single audio channel

[0075] WAVE: short for Waveform Audio File Format, is a standard audio file format developed by Microsoft and IBM

[0076] PCM: short for Pulse Code Modulation. It is a method of converting an analog signal into a digital signal

[0077] RIFF: short for Resource Interchange File Format is a file format used for storing multimedia data such as audio, video, and images;

[0078] fmt: Format

[0079] The method can be executed by a data processing device, wherein the device can be implemented by software and / or hardware, and can be generally integrated in an electronic apparatus.

[0080] For ACoM mentioned above, in some cases, machines may communicate amongst themselves to perform tasks without a human in the loop, while in others there may be a need for additional human consumption of the decompressed stream. This scenario is possible in surveillance use cases (i.e. surveillance application task) , where a human “supervisor” may occasionally search for a designated sound, or scene in the audio. In other cases, the corresponding bitstream may be used for both human and machine consumption. In the case of cars, the features may be used to overcome the good sound insulation of modern cars ( “detection of ambulance sirens” ) and for monitoring failure of components (including predicted maintenance) .

[0081] Any use cases (UCs) in which audio features need to be transmitted for additional processing which may potentially be used for machine or human end users could benefit from a standard in the coded features (shared backbone) . Interoperability is crucial where different manufacturers and platforms need communication to achieve a common goal.

[0082] Additionally, the feature stream must be efficient for both transmission and archive concerns for both latency and space. A standard for the compressed coding of this feature stream may establish an efficient protocol for machines to communicate.

[0083] MPEG (Moving Picture Experts Group) -ACoM aims to define a bitstream and data format for compressing audio, multi-dimensional streams, or features extracted from such signals that is efficient in terms of bitrate and size and can be used by a network of machines after decompression to perform multiple tasks without significantly degrading task performance. The decoded audio, multi-dimensional streams or features can be used for machine consumption or hybrid machine and human consumption. In addition to the essence the format must also contain metadata describing how the data audio or multi-dimensional stream is captured.

[0084] The first phase of the MPEG-ACoM should be application agnostic: Data is encoded near-lossless enabling the training of feature extraction schemes. The result from this phase is already useful for industry simplifying the exchange of data using this standardized format.

[0085] In a second phase of the MPEG-ACoM, feature extraction schemes are added. These features may be optimized for different applications.

[0086] Fig. 1 is a schematic diagram of a pipeline for ACoM according to some embodiments of the present disclosure.

[0087] As shown in Fig. 1, the generic system architecture contains a pair of ACoM encoder and decoder. The input of the ACoM system could be metadata describing the input and either of: audio signals (one or multi-dimensional) ; multi-dimensional streams (e.g. medical data) ; extracted features (the second phase only) .

[0088] In case of a feature stream, the type and format of feature should be designated, features may take different forms depending on the application. Feature extraction and coding is not in the first phase but in the second phase.

[0089] The decompressed bitstream of audio and / or multi-dimensional streams and / or features may then be used for post-processing tasks (i.e. audio application task) , which may include machine consumption tasks or hybrid machine and human consumption tasks. The encoder can be optimized for either a single task or multiple, and the size of the compressed stream should compare favorably to coding techniques on the unprocessed audio or medical data in the related art.

[0090] The MPEG activity on ACoM aims to standardize a bitstream format generated by compressing a previously extracted feature stream or data stream.

[0091] Fig. 2 is a schematic diagram of ACoM architecture according to some embodiments of the presentdisclosure

[0092] Fig 2 shows an example of potential ACoM architecture. The ACoM codec could be an audio codec or a feature codec, or both. In case of a feature codec, the ACoM feature encoding is consisting of feature extraction, feature conversion and feature coding. There may be an interface to an external neural network (NN) for the feature extraction and the task specific networks. Not shown in the Fig. 2 is the path for metadata encoding and decoding.

[0093] The following embodiments in Table 1-3 illustrate a plurality of audio application tasks (which may be referred to as use cases) and the metadata needed for different audio application tasks. Table 1 Table 2 Table 3

[0094] Summary of Proposed Sub-tasks (for the first phase) is as Table 4. Table 4

[0095] As mentioned above, in addition to the audio signal itself, different audio application tasks often need different additional data. It is evident that the transmission method of the audio signal and the corresponding additional data affects the efficiency of audio processing.

[0096] In view of this, a bitstream for compressing audio along with its metadata is required. This bitstream can be divided into two parts, audio and metadata. Audio is encoded using near lossless audio codec while metadata is stored in key-value format. This format can also be extended to multi-channel audio with additional information about the microphone array.

[0097] For example, in the first phase, a lossless audio file format with metadata is required. The addition of metadata makes various machine tasks (i.e. audio application tasks) possible. The lossless audio file format ensures that the performance of machine tasks is not affected. The data format is divided into two parts, the first part is about coding of audio, the second part is about coding of metadata.

[0098] In this way, metadata needed for an audio application task corresponding to the audio signal is added to the bitstream. This enables the decoder to obtain the metadata along with the audio signal to complete the audio application task, thereby improving audio processing efficiency.

[0099] The following embodiments are provided to illustrate the technical solutions of the present disclosure.

[0100] Fig. 3a is a flow diagram of an audio data processing method according to some embodiments of the present disclosure.

[0101] As shown in Fig. 3a, in step 110, encoding an audio signal to generate a first data chunk including an encoded audio signal.

[0102] For example, performing a lossless encoding processing on the audio signal to obtain a lossless encoded audio signal. In this way, the encoded audio signal ensures that the performance of the audio application task is not be affected, thereby improving audio processing effects.

[0103] In step 120, encoding metadata needed for at least one audio application task corresponding to the audio signal to generate a second data chunk.

[0104] In some embodiments, the audio application task includes at least one of creation, analysis, recognition, monitoring, detection, or control. For example, the audio application task may include the UCs in Table 1-3, and the coding of metadata may be expected by the UCs.

[0105] In some embodiments, the metadata includes at least one of relevant information of a sensor, relevant information of a measurement condition, or annotation information of content included in the audio signal. For example, the relevant information of the sensor includes at least one of a type, a position, or time information of the sensor, and the relevant information of the measure condition includes at least one of temperature, humidity, or air pressure.

[0106] In step 130, transmitting a bitstream including the first data chunk and the second data chunk to a decoder to complete the audio application task based on the metadata.

[0107] In the above embodiments, metadata needed for an audio application task corresponding to the audio signal is added to the bitstream. This enables the decoder to obtain the metadata along with the audio signal to complete the audio application task, thereby improving audio processing efficiency.

[0108] The following embodiments illustrate the generation of the first data chunk.

[0109] For simplicity, according to the disclosure, PCM format is chosen for data storage so the signal can be reconstructed as is. WAVE uses PCM format for lossless audio coding and is a good choice since most training data set for audio tasks is stored using this format. The configuration of the first data block is illustrated using WAVE as an example, based on the embodiments shown in Fig. 3b.

[0110] Fig. 3b is a schematic diagram of a file format according to some embodiments of the present disclosure.

[0111] As shown in Fig. 3b, WAVE is an application of the RIFF bitstream format for storing data in chunks. For the proposed ACoM audio codec, the only chunk worth caring about is the 'WAVE'chunk, which requires two sub-chunks: 'fmt' and 'data' . The 'fmt' sub-chunk contains basic information of the audio like num_channels, sample_rate, bits_per_samples, etc. And the 'data' sub-chunk (i.e. the first data chunk) contains the size of data and raw audio data.

[0112] For example, ACoM file format without metadata is a canonical WAVE file format, and it should be fully compatible with WAVE file format, even there is some metadata attached to an ACoM file, lossless audio signal can still be decoded with a WAVE decoder. Thus, backward compatibility of the data format is ensured, thereby improving the effectiveness of audio processing.

[0113] The following embodiments illustrate the generation of the second data chunk.

[0114] In some embodiments, the at least one audio application task includes a plurality of audio application tasks, the second data chunk includes a plurality of sub-data chunks, and different sub-data chunks store different metadata needed for different audio application tasks.

[0115] For example, the audio signal corresponds to 2 audio application tasks including an analysis task and a recognition task. In this case, 2 sub-data chunks are provided in the second data chunk, one for storing the metadata of the analysis task and the other for storing the metadata of the analysis task.

[0116] In this way, metadata needed for a plurality of tasks can be provided in a single bitstream transmission, thereby improving the efficiency of audio processing.

[0117] In some embodiments, each sub-data chunk of the plurality of sub-data chunks includes a first component for storing identification information of an audio application task corresponding to the each sub-data chunk, different audio application tasks corresponding to different identification information. For example, for the audio application task of Voice Activity Detection, the identification information may be VAD; for the audio application task of Background Sound Activity Detection, the identification information may be BSAD. In this way, the metadata stored for which audio application task can be parsed by the identification information in the sub-data chunk, thereby improving audio processing efficiency.

[0118] In some embodiments, the each sub-data chunk includes a second component for storing size information of the each sub-data chunk, and the each sub-data chunk includes a third component for storing metadata needed for the audio application task corresponding to the each sub-data chunk.

[0119] In some embodiments, the second data chunk includes a component for storing an amount of the plurality of sub-data chunks.

[0120] In some embodiments, the second data chunk includes a component for storing a size of the second data chunk and / or a component for storing an identifier of the second data chunk.

[0121] In the above embodiments, by adding relevant information about each sub-data chunk within the data chunk, the decoder can quickly and accurately parse the metadata needed for the task, thereby improving audio processing efficiency.

[0122] In some embodiments, the second data chunk is configured after the first data chunk. For example, WAVE is a RIFF bitstream and the RIFF specification requires that applications ignore chunks they do not recognize and applications may not necessarily use this extra information. A new chunk with label not recognizable by WAVE file format may be added to create a data format for ACoM. The real difference of ACoM files and WAVE files is that ACoM has a special chunk where metadata may be stored. The chunk for metadata can be appended to the tail of the 'data' sub-chunk to ensure the compatibility with the canonical WAVE file format.

[0123] The configuration of the second data chunk is illustrated using WAVE as an example, based on the embodiments shown in Fig. 3c.

[0124] Fig. 3c is a schematic diagram of a file format according to some other embodiments of the present disclosure.

[0125] As shown in Fig. 3c, in the encoded data, the second data chunk corresponding to the metadata is located after the chunk corresponding to the audio signal. In some embodiments, description of components in the chunk of metadata may be set as Table 5. Description of the chunk corresponding to metadata can be defined in the relevant files of the encoder and / or decoder. Table 5

[0126] According to those UCs mentioned above, several metadata can be extracted, and their ID (identification information) can be set. In some embodiments, the description of the ID may be set as Table 6. Table 6

[0127] For example, predefined IDs for metadata may become inappropriate as time goes by, it is quite necessary to enable the adding of user defined ID and the registration of its parsing function. Users should not use predefined IDs and other users should not be affected if an unknown ID appears in their data. The definitions provided above are merely examples and can be defined as needed.

[0128] In some embodiments, the pseudo code to parse meta data in the chunk of metadata is as follows.

[0129] In some embodiments, pseudo code to add meta data in the chunk of metadata is as follows.

[0130] Fig. 4 is a flow diagram of an audio data processing method according to some other embodiments of the present disclosure.

[0131] As shown in Fig. 4, in step 210, parsing a bitstream of an audio signal transmitted from an encoder, wherein the bitstream includes a first data chunk and a second data chunk, the first data chunk including an encoded audio signal, and the second data chunk including metadata required for at least one audio application task corresponding to the audio signal.

[0132] In step 220, obtaining the metadata based on a parsing result, for processing the audio signal according to the metadata to complete the audio application task.

[0133] In some embodiments, the at least one audio application task includes a plurality of audio application tasks, the second data chunk includes a plurality of sub-data chunks, and different sub-data chunks store different metadata needed for different audio application tasks.

[0134] In some embodiments, each sub-data chunk of the plurality of sub-data chunks includes a first component for storing identification information of an audio application task corresponding to the each sub-data chunk, different audio application tasks corresponding to different identification information.

[0135] In some embodiments, the each sub-data chunk includes a second component for storing size information of the each sub-data chunk, and the each sub-data chunk includes a third component for storing metadata needed for the audio application task corresponding to the each sub-data chunk.

[0136] In some embodiments, the second data chunk includes a component for storing an amount of the plurality of sub-data chunks.

[0137] In some embodiments, the second data chunk is configured after the first data chunk.

[0138] In some embodiments, the metadata includes at least one of relevant information of a sensor, relevant information of a measurement condition, or annotation information of content included in the audio signal.

[0139] In some embodiments, the relevant information of the sensor includes at least one of a type, a position, or time information of the sensor, and the relevant information of the measure condition includes at least one of temperature, humidity, or air pressure.

[0140] In some embodiments, the audio application task includes at least one of creation, analysis, recognition, monitoring, detection, or control.

[0141] In some embodiments, the second data chunk includes a component for storing a size of the second data chunk and / or a component for storing an identifier of the second data chunk.

[0142] In some embodiments, the encoding the audio signal to generate the first data chunk including the encoded audio signal includes: performing a lossless encoding processing on the audio signal to obtain a lossless encoded audio signal.

[0143] In some embodiments, the encoded audio signal is a lossless encoded audio signal.

[0144] According to still other embodiments of the present disclosure, there is provided an audio processing apparatus configured on an encoder side, including: a first encoding unit configured to encode an audio signal to generate a first data chunk including an encoded audio signal; a second encoding unit configured to encode metadata needed for at least one audio application task corresponding to the audio signal to generate a second data chunk; and a transmitting unit configured to transmit a bitstream including the first data chunk and the second data chunk to a decoder to complete the audio application task based on the metadata.

[0145] In some embodiments, the at least one audio application task includes a plurality of audio application tasks, the second data chunk includes a plurality of sub-data chunks, and different sub-data chunks store different metadata needed for different audio application tasks.

[0146] In some embodiments, each sub-data chunk of the plurality of sub-data chunks includes a first component for storing identification information of an audio application task corresponding to the each sub-data chunk, different audio application tasks corresponding to different identification information.

[0147] In some embodiments, the each sub-data chunk includes a second component for storing size information of the each sub-data chunk, and the each sub-data chunk includes a third component for storing metadata needed for the audio application task corresponding to the each sub-data chunk.

[0148] In some embodiments, the second data chunk includes a component for storing an amount of the plurality of sub-data chunks.

[0149] In some embodiments, the second data chunk is configured after the first data chunk.

[0150] In some embodiments, the metadata includes at least one of relevant information of a sensor, relevant information of a measurement condition, or annotation information of content included in the audio signal.

[0151] In some embodiments, the relevant information of the sensor includes at least one of a type, a position, or time information of the sensor, and the relevant information of the measure condition includes at least one of temperature, humidity, or air pressure.

[0152] In some embodiments, the audio application task includes at least one of creation, analysis, recognition, monitoring, detection, or control.

[0153] In some embodiments, the second data chunk includes a component for storing a size of the second data chunk and / or a component for storing an identifier of the second data chunk.

[0154] In some embodiments, the first encoding unit performs a lossless encoding processing on the audio signal to obtain a lossless encoded audio signal.

[0155] According to still other embodiments of the present disclosure, there is provided an audio processing method apparatus configured on a decoder side, including: a parsing unit configured to parse a bitstream of an audio signal transmitted from an encoder, wherein the bitstream includes a first data chunk and a second data chunk, the first data chunk including an encoded audio signal, and the second data chunk including metadata required for at least one audio application task corresponding to the audio signal; and an obtaining unit configured to obtain the metadata based on a parsing result, for processing the audio signal according to the metadata to complete the audio application task.

[0156] In some embodiments, the at least one audio application task includes a plurality of audio application tasks, the second data chunk includes a plurality of sub-data chunks, and different sub-data chunks store different metadata needed for different audio application tasks.

[0157] In some embodiments, each sub-data chunk of the plurality of sub-data chunks includes a first component for storing identification information of an audio application task corresponding to the each sub-data chunk, different audio application tasks corresponding to different identification information.

[0158] In some embodiments, the each sub-data chunk includes a second component for storing size information of the each sub-data chunk, and the each sub-data chunk includes a third component for storing metadata needed for the audio application task corresponding to the each sub-data chunk.

[0159] In some embodiments, the second data chunk includes a component for storing an amount of the plurality of sub-data chunks.

[0160] In some embodiments, the second data chunk is configured after the first data chunk.

[0161] In some embodiments, the metadata includes at least one of relevant information of a sensor, relevant information of a measurement condition, or annotation information of content included in the audio signal.

[0162] In some embodiments, the relevant information of the sensor includes at least one of a type, a position, or time information of the sensor, and the relevant information of the measure condition includes at least one of temperature, humidity, or air pressure.

[0163] In some embodiments, the audio application task includes at least one of creation, analysis, recognition, monitoring, detection, or control.

[0164] In some embodiments, the second data chunk includes a component for storing a size of the second data chunk and / or a component for storing an identifier of the second data chunk.

[0165] In some embodiments, the encoding the audio signal to generate the first data chunk including the encoded audio signal includes: performing a lossless encoding processing on the audio signal to obtain a lossless encoded audio signal.

[0166] In some embodiments, the encoded audio signal is a lossless encoded audio signal.

[0167] According to still other embodiments of the present disclosure, there is provided an electronic device, including: a memory; and a processor coupled to the memory, the processor being configured to perform, based on instructions stored in the memory, an audio processing method on an encoder side according to any one of the above embodiments, or an audio processing method on a decoder side according to any one of the above embodiments.

[0168] According to still other embodiments of the present disclosure, there is provided a computer-readable medium having thereon stored instructions which, when executed by a processor, implement an audio processing method on an encoder side according to any one of the above embodiments, or an audio processing method on a decoder side according to any one of the above embodiments.

[0169] According to still other embodiments of the present disclosure, there is provided a computer program product, including: instructions that, when executed by a processor, cause the processor to implement an audio processing method on an encoder side according to any one of the above embodiments, or an audio processing method on a decoder side according to any one of the above embodiments.

[0170] Fig. 5 is a structural schematic diagram of an electronic device provided by some embodiments of the present disclosure. Referring specifically to Fig. 5, there is shown a structural schematic diagram of an electronic device 500 adapted for implementing some embodiments of the present disclosure. The electronic device 500 in the embodiments of the present disclosure may include, but is not limited to, a mobile terminal such as a mobile phone, a notebook computer, a digital broadcast receiver, a PDA (Personal Digital Assistant) , a PAD (Tablet Computer) , a PMP (Portable Multimedia Player) , a vehicle-mounted terminal (such as a vehicle-mounted navigation terminal) and the like, and a fixed terminal such as a digital TV, a desktop computer and the like. The electronic apparatus shown in Fig. 5 is only an example, and should not be construed to limit function and application scope of the embodiments of the present disclosure.

[0171] As shown in Fig. 5, an electronic device 500 may include a processing device (e.g., a central processor, a graphics processor, etc. ) 501, which may perform various appropriate actions and processes according to a program stored in a read-only memory (ROM) 502 or a program loaded into a random access memory (RAM) 503 from a storage device 508. In the RAM 503, various programs and data required for operation of the electronic device 500 are also stored. The processing device 501, the ROM 502 and the RAM 503 are connected to each other through a bus 504. An input / output (I / O) interface 505 is also connected to the bus 504.

[0172] Generally, the following devices can be connected to the I / O interface 505: an input device 506 including, for example, a touch screen, a touch pad, a keyboard, a mouse, a camera, a microphone, an accelerometer, a gyroscope, etc. ; an output device 507 including, for example, a liquid crystal display (LCD) , a speaker, a vibrator, etc. ; a storage device 508 including, for example, a magnetic tape, a hard disk, etc. ; and a communication device 509. The communication device 509 may allow the electronic device 500 to communicate wirelessly or wired with other devices to exchange data. Although Fig. 5 shows an electronic device 500 with various devices, it should be understood that it is not required to implement or have all the devices shown. More or fewer devices may alternatively be implemented or provided.

[0173] In particular, according to some embodiments of the present disclosure, the process described above with reference to the flowchart can be implemented as a computer software program. For example, the embodiments of the present disclosure include a computer program product including a computer program carried on a non-transient computer-readable medium, the computer program including program code for executing the method shown in the flow chart. In some embodiments, the computer program can be downloaded and installed from the network through the communication device 509, or installed from the storage device 508, or installed from the ROM 502. When the computer program is executed by the processing device 501, the above function defined in the audio data processing method of the embodiments of the present disclosure is performed.

[0174] It should be noted that the computer-readable medium mentioned above in this disclosure can be a computer-readable signal medium or a computer-readable storage medium or any combination thereof. The computer-readable storage medium can be, for example, but not limited to, an electrical, magnetic, optical, electromagnetic, infrared, or semiconductor system, device or unit, or any combination of the above. More examples of computer-readable storage media may include, but are not limited to, an electrical connection with one or more wires, a portable computer disk, a hard disk, a random access memory (RAM) , a read-only memory (ROM) , an erasable programmable read-only memory (EPROM or flash memory) , an optical fiber, a portable compact disk read-only memory (CD-ROM) , an optical storage device, a magnetic storage device, or any suitable combination of the above. In the present disclosure, a computer-readable storage medium can be any tangible medium containing or storing a program, which program can be used by or in combination with an instruction execution system, device or unit. In the present disclosure, a computer-readable signal medium may include a data signal propagated in baseband or as part of a carrier wave, in which computer-readable program code is carried. This propagated data signal can take many forms, including but not limited to an electromagnetic signal, an optical signal or any suitable combination of the above. A computer-readable signal medium can also be any computer-readable medium other than a computer-readable storage medium, which can send, propagate or transmit a program for use by or in connection with an instruction execution system, device or unit. Program code contained in the computer-readable medium can be transmitted by any suitable medium, including but not limited to: a wire, an optical cable, a RF (radio frequency) and the like, or any suitable combination of the above.

[0175] In some embodiments, the client and the server can communicate by using any currently known or future developed network protocol such as HTTP (HyperText Transfer Protocol) , and can be interconnected with digital data communication in any form or medium (for example, communication network) . Examples of communication network include a local area network ( "LAN" ) , a wide area network ( "WAN" ) , an internet (for example, the Internet) and an end-to-end network (for example, ad hoc end-to-end network) , as well as any currently known or future developed network.

[0176] The computer-readable medium may be included in the electronic device; or it can exist independently without being assembled into the electronic device.

[0177] The computer-readable medium carries one or more programs that, when executed by the electronic apparatus, cause the electronic apparatus to: based on the position moving track of the control object, obtain a moving track of display positions mapped into the target area of the original video; generate a render texture according to the moving track of display positions; determine a rendering area according to a preset sticker base image above the target area and the render texture; display sticker content in the sticker base image within the rendering area to generate a target video.

[0178] Computer program codes for performing operations of the present disclosure may be written in one or more programming languages or their combinations, including but not limited to object-oriented programming languages, such as Java, Smalltalk, C++, and conventional procedural programming languages, such as "C" language or similar programming languages. The program code can be completely executed on the user's computer, partially executed on the user's computer, executed as an independent software package, partially executed on the user's computer and partially executed on a remote computer, or completely executed on a remote computer or server. In the case involving a remote computer, the remote computer may be connected to a user computer through any kind of network, including a local area network (LAN) or a wide area network (WAN) , or may be connected to an external computer (for example, through the Internet using an Internet service provider) .

[0179] The flowcharts and block diagrams in the drawings illustrate the architecture, functions and operations of possible implementations of systems, methods and computer program products according to various embodiments of the present disclosure. In this regard, each block in the flowchart or block diagram may represent a module, a program segment, or part of codes that contains one or more executable instructions for implementing a specified logical function. It should also be noted that in some alternative implementations, the function noted in the block may occur in a different order than that noted in the drawing. For example, two blocks shown in succession may actually be executed substantially in parallel, and they may sometimes be executed in the reverse order, depending on the functions involved. It should also be noted that each block in the block diagrams and / or flowcharts, and combinations of blocks in the block diagrams and / or flowcharts, can be implemented by a dedicated hardware-based system that performs specified functions or operations, or by a combination of dedicated hardware and computer instructions.

[0180] Units involved in the embodiments described in the present disclosure can be realized by software or hardware. Names of units do not constitute limitation of the units themselves in some cases.

[0181] Functions described above herein may be at least partially performed by one or more hardware logic components. For example, without limitation, exemplary types of hardware logic components that can be used include: Field Programmable Gate Array (FPGA) , Application Specific Integrated Circuit (ASIC) , Application Specific Standard Product (ASSP) , System on Chip (SOC) , Complex Programmable Logic Device (CPLD) and so on.

[0182] In the context of the present disclosure, a machine-readable medium may be a tangible medium that may contain or store a program for use by or in connection with an instruction execution system, device or apparatus. The machine-readable medium may be a machine-readable signal medium or a machine-readable storage medium. A machine-readable medium may include, but is not limited to, an electronic, magnetic, optical, electromagnetic, infrared, or semiconductor system, device or apparatus, or any suitable combination of the above. More specific examples of the machine-readable storage medium may include an electrical connection based on one or more lines, a portable computer disk, a hard disk, a random access memory (RAM) , a read-only memory (ROM) , an erasable programmable read-only memory (EPROM or flash memory) , an optical fiber, a convenient compact disk read-only memory (CD-ROM) , an optical storage apparatus, a magnetic storage apparatus, or any suitable combination of the above.

[0183] According to some embodiments of the present disclosure, there is provided a computer program, including an instruction that, when executed by a processor, causes the processor to implement the audio data processing method according to any one of the embodiments of the present disclosure.

[0184] The above description is only the preferred embodiments of the present disclosure and the explanation of the applied technical principles. It should be understood by those skilled in the art that the disclosed scope involved in the present disclosure is not limited to technical solutions formed by specific combinations of the above technical features, but also covers other technical solutions formed by any combinations of the above technical features or their equivalent features without departing from the above disclosed concept, such as technical solutions formed by replacing the above features with (but not limited to) technical features with similar functions disclosed in the present disclosure.

[0185] Furthermore, although operations are depicted in a particular order, this should not be understood as requiring that these operations be performed in the particular order shown or in a sequential order. In a determined circumstance, multitasking and parallel processing may be advantageous. Likewise, although several specific implementation details are contained in the above discussion, these should not be construed as limiting the scope of the present disclosure. Some features described in the context of separate embodiments can also be combined in a single embodiment. On the contrary, various features described in the context of a single embodiment can also be implemented in multiple embodiments individually or in any suitable sub-combination.

[0186] Although the subject matter has been described in language specific to structural features and / or methodological logical actions, it should be understood that the subject matter defined in the appended claims is not necessarily limited to the specific features or actions described above. On the contrary, specific features and actions described above are only exemplary forms of implementing the claims.

Claims

1.An audio processing method applied on an encoder side, comprising:encoding an audio signal to generate a first data chunk comprising an encoded audio signal;encoding metadata needed for at least one audio application task corresponding to the audio signal to generate a second data chunk; andtransmitting a bitstream comprising the first data chunk and the second data chunk to a decoder to complete the audio application task based on the metadata.2.The audio processing method according to claim 1, wherein the at least one audio application task comprises a plurality of audio application tasks, the second data chunk comprises a plurality of sub-data chunks, and different sub-data chunks store different metadata needed for different audio application tasks.3.The audio processing method according to claim 2, wherein each sub-data chunk of the plurality of sub-data chunks comprises a first component for storing identification information of an audio application task corresponding to the each sub-data chunk, different audio application tasks corresponding to different identification information.4.The audio processing method according to claim 2 or 3, wherein the each sub-data chunk comprises a second component for storing size information of the each sub-data chunk, and the each sub-data chunk comprises a third component for storing metadata needed for the audio application task corresponding to the each sub-data chunk.5.The audio processing method according to any one of claims 2 to 4, wherein the second data chunk comprises a component for storing an amount of the plurality of sub-data chunks.6.The audio processing method according to any one of claims 1 to 5, wherein the second data chunk is configured after the first data chunk.7.The audio processing method according to any one of claims 1 to 6, wherein the metadata comprises at least one of relevant information of a sensor, relevant information of a measurement condition, or annotation information of content comprised in the audio signal.8.The audio processing method according to claim 7, wherein the relevant information of the sensor comprises at least one of a type, a position, or time information of the sensor, and the relevant information of the measure condition comprises at least one of temperature, humidity, or air pressure.9.The audio processing method according to any one of claims 1-8, wherein the audio application task comprises at least one of creation, analysis, recognition, monitoring, detection, or control.10.The audio processing method according to any one of claims 1-9, wherein the second data chunk comprises a component for storing a size of the second data chunk and / or a component for storing an identifier of the second data chunk.11.The audio processing method according to any one of claims 1-10, wherein the encoding the audio signal to generate the first data chunk comprising the encoded audio signal comprises:performing a lossless encoding processing on the audio signal to obtain a lossless encoded audio signal.12.An audio processing method applied on a decoder side, comprising:parsing a bitstream of an audio signal transmitted from an encoder, wherein the bitstream comprises a first data chunk and a second data chunk, the first data chunk comprising an encoded audio signal, and the second data chunk comprising metadata required for at least one audio application task corresponding to the audio signal; andobtaining the metadata based on a parsing result, for processing the audio signal according to the metadata to complete the audio application task.13.An audio processing system comprising:an encoder configured to perform an audio processing method according to any one of claims 1 to 11; anda decoder configured to perform an audio processing method according to claim 12.14.An audio processing apparatus configured on an encoder side, comprising:a first encoding unit configured to encode an audio signal to generate a first data chunk comprising an encoded audio signal;a second encoding unit configured to encode metadata needed for at least one audio application task corresponding to the audio signal to generate a second data chunk; anda transmitting unit configured to transmit a bitstream comprising the first data chunk and the second data chunk to a decoder to complete the audio application task based on the metadata.15.An audio processing method apparatus configured on a decoder side, comprising:a parsing unit configured to parse a bitstream of an audio signal transmitted from an encoder, wherein the bitstream comprises a first data chunk and a second data chunk, the first data chunk comprising an encoded audio signal, and the second data chunk comprising metadata required for at least one audio application task corresponding to the audio signal; andan obtaining unit configured to obtain the metadata based on a parsing result, for processing the audio signal according to the metadata to complete the audio application task.16.An electronic device, comprising:a memory; anda processor coupled to the memory, the processor being configured to perform, based on instructions stored in the memory, an audio processing method according to any of claims 1 to 11, or an audio processing method according to claim 12.17.A computer-readable medium having thereon stored instructions which, when executed by a processor, implement an audio processing method according to any of claims 1 to 11, or an audio processing method according to claim 12.18.A computer program product, comprising:instructions that, when executed by a processor, cause the processor to implement an audio processing method according to any of claims 1 to 11, or an audio processing method according to claim 12.

Images