Method and electronic device for processing multiple audio data

Abstract

The present disclosure provides a method and electronic device for processing multiple audio data. A method for processing multiple audio data performed by an electronic device is provided, comprising: obtaining a first audio data, a second audio data, and a ration data to adjust a balance between the first audio data and the second audio data; adjusting the first audio data and the second audio data based on the ratio data to obtain the adjusted first audio data and the adjusted second audio data; generating a mixed audio signal with a physical sound card based on the adjusted first audio data and the adjusted second audio data.

Description

METHOD AND ELECTRONIC DEVICE FOR PROCESSING MULTIPLE AUDIO DATATECHNICAL FIELD

[0001] The present disclosure relates to audio field, and in particular, to a method and electronic device for processing multiple audio data.BACKGROUND

[0002] Traditionally, an audio device (such as a headphone) can be required to receive and play multiple audio signals of multiple physical downstream audio channels. For example, an audio device for a game can be required to receive and play a first audio signal of a first physical downstream audio channel related to game sounds and a second audio signal of a second physical downstream audio channel related to user communication. To adjust a balance between the multiple audio signals of the physical downstream audio channels, a knob is generally provided on the audio device so that a user of the audio device can achieve a desired audio effect by twisting the knob, which further requires components (such as a microcontroller unit (MCU) ) in the audio device to process the multiple audio signals as desired. This may increase the cost and weight of the audio device and may impose many restrictions on design of the audio device.

[0003] Also, an electronic device (such as a personal computer (PC) ) couplable to the audio device and configurable to provide the multiple audio signals can be required to comprise a corresponding number of components (such as multiple physical sound cards) to process multiple audio data to generate multiple audio signals and provide the corresponding number of physical audio channels via which the multiple audio signals are transmitted to the audio device. When the audio device connects with the electronic device, the electronic device will initialize the audio device as a corresponding number of physical devices respectively for the multiple audio signals. This may also increase the cost of the electronic device.

[0004] Therefore, there is a need to provide a simplified manner for processing the multiple audio data.

[0005] SUMMARY OF THE DISCLOSURE

[0006] The following presents a simplified summary relating to one or more aspects  disclosed herein. Thus, the following summary should not be considered as an extensive overview relating to all contemplated aspects, nor should the following summary be considered to identify key or critical elements relating to all contemplated aspects or to delineate the scope associated with any particular aspect. Accordingly, the following summary has the sole purpose of presenting certain concepts relating to one or more aspects relating to the mechanisms disclosed herein in a simplified form to precede the detailed description presented below.

[0007] In order to overcome the defects in the prior art, the disclosure provides a method and device for processing multiple audio data.

[0008] According to a first aspect of the disclosure, a method for processing multiple audio data performed by an electronic device is provided, comprising: obtaining a first audio data, a second audio data, and a ration data to adjust a balance between the first audio data and the second audio data; adjusting the first audio data and the second audio data based on the ratio data to obtain the adjusted first audio data and the adjusted second audio data; generating a mixed audio signal with a physical sound card based on the adjusted first audio data and the adjusted second audio data.

[0009] According to embodiments of the present disclosure, the first audio data is adjusted with a first virtual sound card and the second audio data is adjusted with a second virtual sound card, wherein the first virtual sound card and the second virtual sound card are associated with the physical sound card.

[0010] According to embodiments of the present disclosure, the ratio data is: received from an audio device coupled to the electronic device; or generated in response to the electronic device receiving user input.

[0011] According to embodiments of the present disclosure, the method further comprises outputting the mixed audio signal to an audio device via a single physical audio channel.

[0012] According to embodiments of the present disclosure, adjusting the balance comprises: adjusting a volume ratio between the first audio data and the second audio data.

[0013] According to embodiments of the present disclosure, the first audio data is the audio data for chat and the second audio data is the audio data for game.

[0014] According to a second aspect of the present disclosure, an electronic device for  processing multiple audio data is provided, comprising one or more processors and one or more memories storing computer program instructions executable by the one or more processors to: generate a first virtual sound card and a second virtual sound card, obtain a first audio data, a second audio data, and a ration data to adjust a balance between the first audio data and the second audio data, and adjust the first audio data and the second audio data with the first virtual sound card and the second virtual sound card based on the ratio data to obtain the adjusted first audio data and the adjusted second audio data; and a physical sound card configured to generate a mixed audio signal based on the adjusted first audio data and the adjusted second audio data.

[0015] According to embodiments of the present disclosure, the physical sound card is further configured to: output the mixed audio signal to an audio device via a single physical audio channel.

[0016] According to embodiments of the present disclosure, the ratio data is: received from an audio device coupled to the electronic device; or generated in response to the electronic device receiving user input.

[0017] According to embodiments of the present disclosure, adjusting the balance comprises: adjusting a volume ratio between the first audio signal and the second audio signal.

[0018] According to embodiments of the present disclosure, the first audio data is the audio data for chat and the second audio data is the audio data for game.

[0019] According to a third aspect of the present disclosure, an audio device couplable to the electronic device of the second aspect of the present disclosure is provided, the audio device is configured to: transmit ratio data to the electronic device; and receive and play the mixed audio signal.

[0020] The method and device can remove unnecessary hardware components of the audio device and the electronic device couplable to the audio device and thus can reduce the cost of the audio device and the electronic device, reduce the weight of the audio device, and get rid of the restrictions imposed on the design of the audio device.BRIEF DESCRIPTION OF THE DRAWINGS

[0021] The accompanying drawings are presented to aid in the description of various aspects of the disclosure and are provided solely for illustration of the aspects and not limitation thereof.

[0022] FIG. 1 illustrates a graphic user interface of Windows resource manager for a traditional audio device that supports two different physical audio channels;

[0023] FIG. 2 illustrates an exemplary structure of an electronic device couplable to the traditional audio device;

[0024] FIG. 3 illustrates an exemplary structure of an electronic device for processing multiple audio data according to embodiments of the present disclosure;

[0025] FIG. 4 illustrates a flow chart of a method for processing multiple audio data according to embodiments of the present disclosure;

[0026] FIG. 5 illustrates an exemplary structure of an electronic device for processing multiple audio data according to embodiments of the present disclosure; and

[0027] FIG. 6 illustrates an electronic device for processing multiple audio data according to embodiments of the present disclosure.

[0028] DESCRIPTION OF THE EMBODIMENTS

[0029] Aspects of the disclosure are provided in the following description and related drawings directed to various examples provided for illustration purposes. Alternate aspects may be devised without departing from the scope of the disclosure. Additionally, well-known elements of the disclosure will not be described in detail or will be omitted so as not to obscure the relevant details of the disclosure.

[0030] Traditionally, an audio device can support multiple physical audio channels. For example, a traditional gaming headphone can support two different physical channels, one related to game sounds, and the other related to user communication. When the traditional gaming headphone connects with a PC through a USB cable or Bluetooth connection, the PC can initialize the traditional gaming headphone as two devices, one as a default speaker for the game sounds and the other as a default user communication device. FIG. 1 illustrates a graphic user interface (GUI) of Windows resource manager for a traditional audio device that supports two different physical audio channels. As illustrated in FIG. 1, as the audio device is coupled to the PC, the user can identify that two devices are initialized, one called “Headset Earphone” and functioning as a default communication device and the other called “Speakers” and functioning as a default game sound device, through the GUI of Windows resource manager.

[0031] FIG. 2 illustrates an exemplary structure 200 of an electronic device couplable to the traditional audio device. In the electronic device, an audio player (for example, a player invoked by a gaming application) can call the playing application programming interface (API) , and the playing API can utilize the two physical sound cards 202 and 204 for processing two audio data to generate two audio signals of two physical audio channels. The two processed signals are respectively provided to the audio device via an audio channel 206 for game and an audio channel 208 for chat. Once the two audio signals are received, the audio device can adjust a balance between the two audio signals. In particular, according to the settings provided by a knob provided on the audio device, the audio device can further process the received audio signals to provide a desired effect of sound. For example, the knob can set a volume ratio (such as 60%: 40%, 60%of the volume for game and 40%of the volume for chat) between the first audio signal and the second audio signal, and the audio device can thus adjust the volume of the first audio signal and the volume of the second audio signal by utilizing the MCU provided in the audio device, mix the adjusted audio signals and play the mixed audio signals to the user (or respectively play the adjusted and unmixed audio signals) . This scheme requires two physical sound cards and two physical audio channels provided by the PC as well as the knob and the MCU provided by the audio device.

[0032] The present disclosure provides a method and electronic device for processing multiple audio data. In particular, in the present disclosure, multiple virtual sound cards instead of multiple physical sound cards can be provided to process the multiple audio data, and the multiple processed audio data can be mixed in a physical sound card associated with the multiple virtual sound cards. Since the multiple audio data is processed and mixed into a single audio signal by the single physical sound card, the mixed audio signal can be transferred from the electronic device to the audio device via only one physical audio channel. Furthermore, instead of a knob provided on the audio device, an application installed on the electronic device couplable to the audio device can be provided for the user to adjust the balance between the multiple audio data. The application can be integrated with the gaming application, can be integrated in the operating system of the electronic system, or can be installed for the audio device.

[0033] FIG. 3 illustrates an exemplary structure of an electronic device 300 for processing multiple audio data according to embodiments of the present disclosure. As  illustrated in FIG. 3, the electronic device 300 can comprise a first virtual sound card 302 and a second virtual sound card 304. The electronic device 300 can further comprise a physical sound card 306 associated with and coupled to the first virtual sound card 302 and the second virtual sound card 304. The first and second virtual sound cards can refer to software modules integrated into the electronic device that can process the audio data, for example, to adjust the balance between the first and second audio data. The physical sound card can refer to hardware modules integrated into the electronic device that can process the audio data, for example, to mix the processed first and second audio data into a single audio signal and provide the mixed audio signal to the audio device coupled to the electronic device for playing via a single physical audio channel 308.

[0034] According to embodiments of the present disclosure, the electronic device can be configured with the first virtual sound card and the second virtual sound card when the application as described above is installed on the electronic device, and the first virtual sound card and the second virtual sound card can be invoked once the gaming application is executed in the electronic device and / or the audio device is coupled to the electronic device. After the application is installed on the electronic device, the electronic device can utilize the first and second virtual sound cards to process the first and second audio data.

[0035] FIG. 4 illustrates a flow chart of method 400 for processing multiple audio data according to embodiments of the present disclosure. As illustrated in FIG. 4, in step 410, an electronic device (for example, a PC) can obtain a first audio data, a second audio data and a ratio data to adjust a balance between the first audio data and the second audio data. Next, in step 420, the electronic device can adjust the first audio data and the second audio data based on the ratio data to obtain the adjusted first audio data and the adjusted second audio data.

[0036] According to embodiments of the present disclosure, adjusting the balance between the first audio data and the second audio data can be performed with a first virtual sound card and a second virtual sound card of the electronic device. In particular, the first audio data can be processed by a first virtual sound card of the electronic device and the second audio data can be processed by a second virtual sound card of the electronic device. The first and second virtual sound cards are both associated with one physical sound card.

[0037] To obtain parameters for adjusting the balance between the first audio data and the second audio data in the first and second virtual sound cards of the electronic device, a knob  provided on the audio device can be utilized. For example, the knob can set a volume ratio between the first audio data and the second audio data once twisted by a user of the audio device. The settings provided by the knob on the audio device can be transmitted from the audio device to the electronic device that the audio device is coupled to, and the first and second virtual sound cards can respectively process the first and second audio data according to the settings provided by the knob. As a non-limiting example, once the knob is twisted clockwise, the volume ratio between the first audio data and the second audio data can be increased from e.g. 60%: 40%to e.g. 70%: 30%between the first audio data and the second audio data, and the first virtual audio card can increase the volume of the first audio data from 60%to 70%of the original volume of the first audio data and the second virtual audio card can decrease the volume of the second audio data from 40%to 30%of the original volume of the second audio data. Once the knob is twisted anticlockwise, the volume ratio between the first audio data and the second audio data can be decreased from e.g. 60%: 40%to 50%: 50%between the first audio data and the second audio data , and the first virtual card can decrease the volume of the first audio data from 60%to 50%of the original volume of the first audio data and the second virtual audio card can increase the volume of the second audio data from 40%to 50%of the original volume of the second audio data. In this way, the electronic device can process the first and second audio data with the first and second virtual audio cards and provide a single mixed audio signal by a single physical sound card to the audio device via a single audio channel, and there is no need for the audio device to receive first and second audio signals via two separated physical downstream audio channels and utilize the MCUs in the audio device to process and mix the received first and second audio signals.

[0038] It is to be understood that other means provided on the audio device can be utilized. As a non-limiting example, “+” and “-” buttons provided on the audio device can also be utilized to adjust the balance between the first audio data and the second audio data in the first and second virtual sound card of the electronic device. For example, once the “+” button is pressed, the volume of the first audio data can be increased and the volume of the second audio data can be decreased; and once the “-” button is pressed, the volume of the first audio data can be decreased and the volume of the second audio data can be increased.

[0039] As an alternative embodiment, to obtain parameters for adjusting the balance between the first audio data and the second audio data in the first and second virtual sound  cards of the electronic device, an application installed on the electronic device can be utilized. As mentioned above, the application can be integrated with the gaming application, can be integrated in the operating system of the electronic system, or can be installed for the audio device. For example, the user of the electronic device can utilize the application to set the volume ratio between the first audio data and the second audio data. As a non-limiting example, the user can set a 60%: 40%ratio between the first audio data and the second audio data via the application, and the first virtual sound card can adjust the volume of the first audio data to 60%of the original volume of the first audio data and the second virtual sound card can adjust the volume of the second audio device to 40%of the original volume of the second audio device. According to embodiments of the present disclosure, the application can be the application dedicated to adjusting the balance between the first audio data and the second audio data. According to embodiments of the present disclosure, the application can be the application configured to provide setting parameters to the audio device. As a non-limiting example, in addition to adjusting the balance between the first audio data and the second audio data, the application can be configured to set the volume of the audio device, the lighting effects of the audio device, the equalizer (EQ) effects of the audio device, the active noise cancellation (ANC) of the audio device, the head tracking effects of the audio device, and so on. In this way, there is no need for the audio device to provide the knob, the buttons, and so on, which will decrease the weight of the audio device and avoid restrictions imposed on design of the audio device.

[0040] According to embodiments of the present disclosure, instead of obtaining parameters for adjusting the balance between the first audio signal and the second audio signal outputted from two physical sound cards, adjusting the balance between the first audio data and the second audio data can be automatically performed by a single physical audio card and its associated two virtual sound cards. In particular, the electronic device can detect the original volume corresponding to the first audio data and the original volume corresponding to the second audio data. The first and second virtual sound cards can adjust the volume corresponding to the first audio data equal to the volume of the processed second audio data, and thus the mixed sound signal, with a 50%: 50%ratio between the first audio data and the second audio data, can be outputted from the single physical sound card. It is to be understood that the ratio between the volume of the first audio data and the volume of the second audio  data can be adjusted to any default value.

[0041] According to embodiments of the present disclosure, the first audio data can be the audio data generated for chat and the second audio data can be the audio signal generated for game.

[0042] It is to be understood that the present disclosure is not limited to adjusting the volume ratio between the first audio data and the second audio data. For example, the application installed on the electronic device can be configured to adjust the sound equalizer balance (such as the tone) between the first audio data and the second audio data.

[0043] In step 430, the electronic device can generate a mixed audio signal with a physical sound card based on the adjusted first audio data and the adjusted second audio data. The step 430 can be performed with a physical audio card. The physical audio card herein can refer to a hardware module configurable to generate the mixed audio signal and provide the mixed audio signal to the audio device.

[0044] According to embodiments of the present disclosure, the method 400 can further comprise the step 440 of outputting the mixed audio signal to the audio device via a single physical audio channel.

[0045] It is to be understood that the present application is not limited to adjusting the balance between two audio data. For example, the electronic device can provide three or more audio signals, and a corresponding number of virtual sound cards can be initialized and configured to process the three or more audio data to adjust the balance between the three or more audio data.

[0046] FIG. 5 illustrates an exemplary structure of an electronic device for processing multiple audio data according to embodiments of the present disclosure.

[0047] In the user mode of the electronic device as illustrated in FIG. 5, the user can configure setting parameters for the electronic device itself and peripheral devices wired to, or wirelessly connected to, the electronic device. In the environment subsystem operating in the user mode as illustrated in FIG. 5, the user of the electronic device can set parameters (such as the ratio between the volume of the first and second audio data) for adjusting the balance between the first and second audio data via the application installed on the electronic device, and thus the parameters can be written to the registry table of the electronic device (such as registry table of WIN32 environment) .

[0048] In the kernel mode of the electronic device as illustrated in FIG. 5, the kernel mode driver of the electronic device can be implemented. A device manager operating in the kernel mode as illustrated in FIG. 5 can manage the electronic device itself and the peripheral devices. In particular, in the present disclosure, the device manager can be configured to manage the first virtual sound card 502, the second virtual sound card 504, and the physical sound card 506. According to embodiments of the present disclosure, the device manager can be configured to bind the first virtual sound card 502 and the second virtual sound card 504 to the physical sound card 506. The first virtual sound card 502 and the second virtual sound card 504 can be configured to digitally process the first audio data and the second audio data and provide the processed first audio data and the processed second audio data to the associated physical sound card 506. After receiving the processed first audio data and the processed second audio data, the physical sound card 506 can generate a mixed audio signal based on the received first and second audio data and provide the mixed audio signal to the single physical audio channel 508 for transferring to the audio device connected to the electronic device.

[0049] FIG. 6 illustrates a schematic diagram for an electronic device 600 for playing preselected multimedia according to embodiments of the present disclosure. As shown in FIG. 6, the electronic device 600 can include a processor 602, a memory 604 and a physical sound card 606. In particular, the processor 602 can be coupled with the memory 604 and configured to perform the method described herein, for example, the method 400 as shown in FIG. 4. In particular, computer program instructions can be stored in the memory, and can be executed by the processor 602 to generate a first virtual sound card and a second virtual sound card, obtain a first audio data, a second audio data, and a ration data to adjust a balance between the first audio data and the second audio data, and adjust the first audio data and the second audio data with the first virtual sound card and the second virtual sound card based on the ratio data to obtain the adjusted first audio data and the adjusted second audio data. The physical sound card 606 can be configured to generate a mixed audio signal based on the adjusted first audio data and the adjusted second audio data. The processor 602 can be any device with processing power capable of implementing the functions of the embodiments of the present disclosure, such as a general-purpose processor, digital signal processor (DSP) , Application Specific Integrated Circuit (ASIC) , field programmable gate array signal (FPGA) or programmable logic device (PLD) , discrete gate or transistor logic, discrete hardware  components, or any combination thereof designed to perform the functions described herein The memory 604 can include computer system readable multimedia in the form of volatile memory, such as random access memory (RAM) and / or cache memory, as well as other removable or non-removable, volatile or non-volatile memory, such as hard disk drives, floppy disks, CD-ROM, DVD-ROM, or any other optical storage multimedia. It should be understood that the processor 602 can refer to one or more processors and the memory 604 can refer to one or more memories.

[0050] In conclusion, in the present disclosure, multiple virtual sound cards instead of multiple physical sound cards can be provided to process the multiple audio data to adjust the balance between the multiple audio data, and the multiple processed audio data can be mixed in a physical sound card. Since the multiple audio data are processed and mixed into a single audio signal, the mixed audio signal can be transferred to the audio device via only one physical audio channel. Furthermore, instead of a knob provided on the audio device, an application installed on the electronic device couplable to the audio device can be provided for the user to adjust the balance between the multiple audio data. The method and electronic device can remove unnecessary components, reduce the cost, and provide a better user experience.

[0051] An expression such as “according to” , “based on” , “dependent on” , and so on as used in the disclosure does not mean “according only to” , “based only on” , or “dependent only on” unless it is explicitly otherwise stated. In other words, such expression generally means “according at least to” , “based at least on” , or “dependent at least on” in the disclosure.

[0052] Any reference in the disclosure to an element using the designation “first” , “second” and so forth is not intended to comprehensively limit the number or order of such elements. These expressions can be used in the disclosure as a convenient method for distinguishing two or more units. Thus, a reference to a first unit and a second unit does not imply that only two units can be employed or that the first unit must precede the second unit in some form.

[0053] The term “determining” used in the disclosure can include various operations. For example, regarding “determining” , calculating, computing, processing, deriving, investigating, looking up (e.g., looking up in tables, databases, or other data structures) , ascertaining, and so forth are regarded as "determination" . In addition, regarding “determining” , receiving (for example, receiving information) , transmitting (for example,  transmitting information) , input, output, accessing (for example, access to data in the memory) , and so forth, are also regarded as “determining” . In addition, regarding “determining” , resolving, selecting, choosing, establishing, comparing, and so forth can also be regarded as “determining” . That is, regarding "determining" , several actions can be regarded as “determining” .

[0054] The terms such as “connected” , “coupled” or any of their variants used in the disclosure refer to any connection or combination, direct or indirect, between two or more units, which can include the following situations: between two units that are “connected” or “coupled” with each other, there are one or more intermediate units. The coupling or connection between the units can be physical or logical or can also be a combination of the two. As used in the disclosure, two units can be considered to be electrically connected through the use of one or more wires, cables, and / or printed, and as a number of non-limiting and non-exhaustive examples, and are “connected” or “coupled” with each other through the use of electromagnetic energy with wavelengths in a radio frequency region, the microwave region, and / or in the light (both visible and invisible) region, and so forth.

[0055] When used in the disclosure or the claims ‘including” , “comprising” , and variations thereof, these terms are as open-ended as the term “having” . Further, the term “or” used in the disclosure or in the claims is not an exclusive-or.

[0056] The present disclosure has been described in detail above, but it is obvious to those skilled in the art that the present disclosure is not limited to the embodiments described in the disclosure. The present disclosure can be implemented as a modified and changed form without departing from the spirit and scope of the present disclosure defined by the description of the claims. Therefore, the description in the disclosure is for illustration and does not have any limiting meaning to the present disclosure.

Claims

1.A method for processing multiple audio data performed by an electronic device, comprising:obtaining a first audio data, a second audio data, and a ration data to adjust a balance between the first audio data and the second audio data;adjusting the first audio data and the second audio data based on the ratio data to obtain the adjusted first audio data and the adjusted second audio data; andgenerating a mixed audio signal with a physical sound card based on the adjusted first audio data and the adjusted second audio data.2.The method of claim 1, wherein the first audio data is adjusted with a first virtual sound card and the second audio data is adjusted with a second virtual sound card, the first virtual sound card and the second virtual sound card are associated with the physical sound card.3.The method of claim 1, wherein the ratio data is:received from an audio device coupled to the electronic device; orgenerated in response to the electronic device receiving user input.4.The method of claim 1, further comprising:outputting the mixed audio signal to an audio device via a single physical audio channel.5.The method of claim 1, wherein adjusting the balance comprises:adjusting a volume ratio between the first audio data and the second audio data.6.The method of claim 1, wherein the first audio data is the audio data for chat and the second audio data is the audio data for game.7.An electronic device for processing multiple audio data, comprising:one or more processors;one or more memories storing computer program instructions executable by the one or more processor to:generate a first virtual sound card and a second virtual sound card,obtain a first audio data, a second audio data, and a ration data to adjust a balance between the first audio data and the second audio data, andadjust the first audio data and the second audio data with the first virtual sound card and the second virtual sound card based on the ratio data to obtain the adjusted first audio data and the adjusted second audio data; anda physical sound card configured to generate a mixed audio signal based on the adjusted first audio data and the adjusted second audio data.8.The electronic device of claim 7, wherein the physical sound card is further configured to:output the mixed audio signal to an audio device via a single physical audio channel.9.The electronic device of claim 7, wherein adjusting the balance comprises:adjusting a volume ratio between the first audio signal and the second audio signal.10.The electronic device of claim 7, wherein the first audio data is the audio data for chat and the second audio data is the audio data for game.11.The electronic device of claim 7, wherein the ratio data is:received from an audio device coupled to the electronic device; orgenerated in response to the electronic device receiving user input.12.An audio device couplable to the electronic device of any of claims 7-10 and configured to:transmit the ratio data to the electronic device; andreceive and play the mixed audio signal transmitted from the electronic device.

Images