Audio system, and audio management method

Abstract

An audio system and an audio management method are provided. The audio system includes: a plurality of speaker devices and an audio management apparatus. The speaker devices are placed in a listening environment, and each speaker device includes at least one transducer unit. The audio management apparatus is configured to: receive an audio signal, wherein the audio signal is adapted to a standard arrangement, and the audio signal includes information of respective audio component signals corresponding to respective standard locations in the standard arrangement; determine currently connected speaker devices in the listening environment in response to determining a change in speaker behavior in the listening environment, and acquires audio playback control parameters in the listening environment; and process, based on the audio playback control parameters, the audio signal to obtain speaker feed singals for input to the currently connected speaker devices.

Description

AUDIO SYSTEM, AND AUDIO MANAGEMENT METHODTECHNICAL FIELD

[0001] The present disclosure relates to spatial audio processing technology, and more particularly, to an audio system and a method for audio management.BACKGROUND

[0002] Currently, audio in various multichannel, immersive or other spatial formats require that users must place a plurality of speakers strictly in a symmetrical way and / or according to a standard arrangement adaptive to the audio with a specific format, for the best experience.

[0003] For example, on Dolby website, every speaker setup guideline has a very detailed description of angles for all speakers in an audio system. The guide tries to persuade users to re-create a set-up in a predetermined space (e.g., professional studio where contents are made) .

[0004] However, for general home set-up of users, the physical space of the home set-up may not support such an optimal speaker arrangement. For example, users might not have equipment to measure precise angles of speakers, and the locations where the speakers are placed might deviate from the locations as indicated in the guide. Sometimes, there might be asymmetrical room designs which makes it impossible to locate speakers as indicated in the guideline.

[0005] Similarly, current spatial audio systems require all the speakers in the set-up to be present. If one of the speakers is off-line, the systems will either break and stop playing, or play with one channel missing and suffer a critically reduced performance.

[0006] For all current spatial audio systems, as mentioned above, speakers are very restricted and there’s no prior art for management of changes in systems regarding a change in locations of the speakers and in number of speakers.SUMMARY

[0007] The embodiments of present disclosure provide a solution for management of  changes in spatial audio systems regarding a change in locations of the speakers and in number of speakers.

[0008] According to an aspect of present disclosure, there is provided an audio system comprising: a plurality of speaker devices placed in a listening environment, and each speaker device includes at least one transducer unit; and an audio management apparatus configured to: receive an audio signal, wherein the audio signal is adapted to a standard arrangement, and the audio signal includes information of respective audio component signals corresponding to respective standard locations in the standard arrangement; determine currently connected speaker devices in the listening environment in response to determining a change in speaker behavior in the listening environment, and acquires audio playback control parameters in the listening environment, wherein the speaker behavior is associated with an actual arrangement and / or status of the plurality of speaker devices; and process, based on the audio playback control parameters, the audio signal to obtain speaker feed singals for input to the currently connected speaker devices, so that audio output signals of transducer units included in the currently connected speaker devices are capable of providing a desired sound effect corresponding to the audio signal at a target listening location and listening orientation.

[0009] In an example, the change in speaker behavior includes one or more of the following: first connection of the plurality of speaker devices and the audio management apparatus in the listening environment; removal or addition of one or more speaker devices in the listening environment; low battery alarm of one or more speaker devices in the plurality of speaker devices in the listening environment; or the change in location and / or postures of one or more speaker devices of the plurality of speaker devices in the listening environment or the detected displacement thereof.

[0010] In an example, the audio playback control parameters include: parameters related to a physical location and alignment of each speaker device currently connected in the listening environment; a target listening location and a target listening orientation in the listening environment; speaker device characteristics of each currently connected speaker device; spatial characteristics of the listening environment; and / or spatial audio format of audio for playback in the listening environment.

[0011] In an example, to process the audio signal, the audio management apparatus is  configured to: determine, based on the audio playback control parameters, one or more transducer units which each audio component signal of the audio signal is to be transmitted to and transmission parameters of each path, where the transmission parameters at least include gain, delay and filter parameters; for each audio component signal, apply to the audio component signal the transmission parameters corresponding to each path for the audio component signal; and mix, for each speaker device of the currently connected speaker devices, the audio component signals after being applied the transmission parameters and destined to the speaker device, so as to obtain the speaker feed signal for the speaker device.

[0012] In an example, to process the audio signal, the audio management apparatus is configured to: determine, based on the audio playback control parameters, transmission parameters of each path of each audio component signal of the audio signal according to the assumption that each audio component signal is to be transmitted to all the transducer units, where the transmission parameters at least include gain, delay and filter parameters; for each audio component signal, apply to the audio component signal the transmission parameters corresponding to each path for the audio component signal; and mix, for each speaker device of the currently connected speaker devices, the audio component signals after being applied the transmission parameters and destined to the speaker device, so as to obtain the speaker feed signal for the speaker device.

[0013] In an example, a first speaker device comprises two or more transducer units, the speaker feed signal for the first speaker device is a mixed signal of audio component signals which have been applied with the transmission parameters and are destined to the two or more transducer units, and wherein the mixed signal is distributed, at the first speaker device, to each transducer unit in the first speaker device for processing and playback.

[0014] In an example, the plurality of speaker devices include a first speaker device, a second speaker device and a third speaker device, wherein: the first speaker device comprises a first set of transducer units corresponding to different firing directions; the second speaker device is a portable speaker device and includes a second set of transducer units comprising one or more tweeter transducer units and a woofer transducer unit; and the third loudspeaker device comprises a dedicated woofer transducer unit, wherein, when the first loudspeaker device, the second loudspeaker device and the third loudspeaker device are all in standard  working status, the desired sound effect corresponding to the audio signal is generated at the target listening position and listening orientation.

[0015] In an example, the first set of transducer units include multiple transducer units physically placed in a same device and two sub-devices arranged at any position as required, each sub-device including two transducer units, wherein the multiple transducer units correspond to a horizontal firing direction and an upward firing direction, and one of the two transducer units in each sub-device corresponds to one horizontal firing direction and the other corresponds to one upward firing direction.

[0016] In an example, an audio signal on the upward firing direction reaches the target listening position through reflection by an upper wall of the listening environment.

[0017] In an example, the audio management apparatus determines that the speaker behavior changes in response to determining a low-power status of the dedicated woofer transducer unit, and re-processes the audio signal so that at least a part of the audio component signals destined to the dedicated woofer transducer unit is processed and transmitted to the woofer transducer unit included in the second speaker device.

[0018] According to an aspect of present disclosure, there is provided an audio management method for a listening environment, wherein there are a plurality of speaker devices within the listening environment, and each speaker device includes at least one transducer unit, and the audio management method comprises: acquiring an audio signal, wherein the audio signal is adapted to a standard arrangement, and the audio signal includes information of respective audio component signals corresponding to respective standard locations in the standard arrangement; determining currently connected speaker devices in the listening environment in response to determining a change in speaker behavior in the listening environment, and acquires audio playback control parameters in the listening environment, wherein the speaker behavior is associated with an actual arrangement and / or status of the plurality of speaker devices; and processing, based on the audio playback control parameters, the audio signal to obtain speaker feed singals for input to the currently connected speaker devices, so that audio output signals of transducer units included in the currently connected speaker devices are capable of providing a desired sound effect corresponding to the audio signal at a target listening location and listening orientation.

[0019] In present disclosure, the audio system described will enable several speaker devices which each includes one or more transducer unit and provide an unevenly placed transducer unit arrangement (different from the standard arrangement) work together, such that the overall sound field and sound image will sound like that of the standard arrangement, therefore, the audio system may be less restricted in terms of the arrangement of the speaker devices, may be used in many scenarios and adapted to listening environment with different characteristics, and the selection of the speaker devices can be more flexible, and once the audio playback control parameters are acquired, speaker devices with different shapes and arrangements can easily be used to playback the audio signal, for example, the soundbar with a strip shape and any portable speakers can be used for playback of the Dolby Atmos.BRIEF DESCRIPTION OF THE DRAWINGS

[0020] These and / or other aspects, features and advantages of the present disclosure will become more definite and easier to understand from the following description of the embodiments taken in conjunction with the accompanying drawings, in which:

[0021] FIG. 1 shows a schematic diagram of an audio system in one or more examples of the present disclosure;

[0022] FIG. 2 shows a standard arrangement corresponding to the 7.1.4 multi-channel audio signal;

[0023] FIGS. 3A-3B show examples of signal tranmsssion paths within the audio sytem in one or more examples of the present disclosure;

[0024] FIG. 4A shows the transmission of an audio component signal A2 to speaker devices 10-1 and 10-2;

[0025] FIG. 4B shows the transmission of audio component signals A2 and A3 to speaker device 10-2;

[0026] FIG. 5 shows a specific implementation of the transducer unit arrangement in one or more examples of the present disclosure; and

[0027] FIG. 6 shows a flow chart of an audio management method for a listening environment according to another aspect of present disclosure.DETAILED DESCRIPTION

[0028] The present disclosure will be described in detail below with reference to exemplary embodiments thereof. However, the present disclosure is not limited to the embodiments described herein, and it can be implemented in many different forms. The described embodiments are only used to make this disclosure thorough and complete, and fully convey the concept of the disclosure to those skilled in the art. Features of the described embodiments may be combined or substituted with each other unless explicitly excluded or should be excluded according to the context.

[0029] Unless otherwise defined, technical terms or scientific terms used in this disclosure shall have their ordinary meanings as understood by people with ordinary skills in the field to which this disclosure belongs. The terms "first" , "second" and the like used in this disclosure do not indicate any order, quantity or importance, but are only used to distinguish different components.

[0030] For purposes of the present description, the following terms have the associated meanings. The term “listening environment” means any open, partially enclosed, or fully enclosed area, such as a room that can be used for playback of audio content alone or with video or other content, and can be embodied in a home, cinema, theater, auditorium, studio, game console, and the like. Such an area may have one or more surfaces disposed therein, such as walls or baffles that can directly or diffusely reflect sound waves. The term “speaker device” , “speaker” or “loudspeaker” means a device including one or more transducer units in a unitary enclosure, and the terms “cabinet” or “housing” mean the unitary enclosure that encloses one or more transducer units. The term “transducer unit” means a single electroacoustic transducer that produces and transmits sound in response to an input electrical audio signal, and can be referred to as “a driver” . The term “speaker feed signal” may mean an audio signal sent from an audio management apparatus to a speaker device for sound playback through one or more transducer units included in the speaker device.

[0031] The term “firing direction” may mean a sound transmission direction of the output audio signal that corresponds to one transducer unit, often realized with acoustic design such as a waveguide, or digital signal processor (DSP) -based parametric sub-arrays. The types of the “firing direction” may include a horizontal firing direction, and an upward  firing direction and so on, and the sound transmission channel from the transducer unit is accordingly referred to as horizontal channel, and an upward channel (to be used as the height channel) .

[0032] FIG. 1 shows a schematic diagram of an audio system in one or more examples of the present disclosure. Optionally, the audio system may be used in a home entertainment environment (home theater, home television, etc. ) .

[0033] As shown in FIG. 1, the audio system 100 may include a plurality of speaker devices 10 (10-1, 10-2, …, 10-N, N is an integer greater than 1) (as a speaker system) and an audio management apparatus 20. The plurality of speaker devices 10 can be placed in a listening environment, and each speaker device 10 can include one or more transducer units. Each speaker device receives a managed audio signal from the audio management apparatus 20, e.g., via wireless communication connection. Usually, the speaker device is a separate entity from the audio management apparatus, while the audio management apparatus could be part of and housed in one of the speaker devices too. In an example, the audio system may also include a user interface (e.g, a display or a touch-display screen, etc. ) which may be coupled to the audio management apparatus 20 or as a part of the audio management apparatus 20.

[0034] The audio management apparatus 20 may include one or more processors, which may be communicatively connected with the plurality of speaker devices 10 in the listening environment, so that the plurality of speaker devices 10 may obtain the managed audio signals for playback. In addition, the audio management apparatus 20 may also communicates with the plurality of speaker devices 10 for example via the wireless communication interfaces, for exchanging information and signals between each other.

[0035] Each of the plurality of speaker devices 10 has only standard inputs like mono, stereo, 5.1, 7.1, ATMOS (with height channels) , and so on, and may be of any appropriate size and configuration, such as soundbar, floor-standing, bookshelf, satellite format, and so on. In addition to the transducer units, each speaker device may also include one or more sensors, one or more memories and one or more processors therein, so that the status of the speaker device can be detected and transmitted, the locations of the plurality of speaker devices can be mapped out, and the received managed audio signal from the audio  management apparatus can be locally processed for playback at the speaker device or for distribution to the transducer units for playback if any, and so on.

[0036] The transducer units may each be individually addressable and pointing in different directions (e.g., forward, upward, sideward, etc. ) for the purposes of reproducing for example the immersive audio, and each transducer unit can be regarded as a single sound producing unit. The transducer units can be classified into low-frequency woofers, tweeters and mid-range transducer units, and a low-frequency woofer may be implemented to support signal content with low frequency effect (LFE) channels. In some cases, the speaker device with both side-firing and upward-firing transducer units may be used in immersive audio applications using reflected signal.

[0037] Normally, as statusd before, if speakers are placed in the standard locations of the standard arrangement as guided, the sound effect at the standard listening location and listening orientation can be achieved as desired. However, in many cases, as mentioned before, the standard arrangement may not be satisfied. For example, even if all the speaker devices can be operated normally, more than 1 transducer units may be included within an enclosure as one speaker device (e.g., the transducer units in the main body of the soundbar as shown in FIG. 2) , the locations of the transducer units are determined by the location of the speaker device, therefore, due to the shape of the speaker device, the transducer units may not be placed at each standard location.

[0038] In FIG. 2, assuming that the 7.1.4 multi-channel audio signal is to be played back, in normal cases, these transducer units should be arranged according to each standard location in the standard arrangement corresponding to the 7.1.4 multi-channel audio signal, for example, for the seven transducer units correspondingto the horizontal channels, one transducer unit needs to be arranged respectively in front, front-left, front-right, left-side, right-side, back-left and back-right of the listening position relative to the listening orientation (as shown by the dotted-line circles in FIG. 2) .

[0039] In FIG. 2, the actual arrangement of the plurality of speaker devices are shown by solid-line boxes, where each speaker device may include one or more transducer units (not shown) , so the actual arrangement of the speaker devices mentioned in the context of this application may refer to the arrangement of these transducer units (also called “transducer  unit arrangement” ) . As shown in the solid-line box in FIG. 2, it can be seen that the speaker device in front (relative to the listening position and listening orientation) is a soundbar which includes multiple transducer units (not shown) , and there are no front-left and front-right transducer units (relative to the listening position and listening orientation) overlapping with the dotted circles, and the right-side transducer unit does not overlap with the dotted circle, that is, not all the actual locations of these transducer units are at the standard locations according to the 7.1.4 multi-channel audio signal, so the listening experience at the listening position will be reduced.

[0040] Therefore, the solution of present disclosure can make the unevenly arranged speakers (including transducer units) as shown in the solid-line boxes in FIG. 2 work together, so that the whole sound field and sound image sound like the evenly arranged transducer units for the 7.1.4 multi-channel audio signal as shown in the dotted-line circles in FIG. 2.

[0041] The existing speaker devices in each application scenario may be identical to one another, but also may be generally of different speaker device types and with different locations. In general, speaker devices are usually placed in the listening environment with no strict location restricts, but that may correspond at least roughly to any appropriate surround sound or immersive audio standard arrangement (e.g., as guided in the established 7.1.4 placement guideline) . That is, even if the standard arrangement cannot be satisfied, the available speaker devices may be arranged as similar as the standard arrangement.

[0042] Note that, in present disclosure, the target listening location may change when it is represented by an absolute location. However, the location of each speaker device and each transducer unit may be represented or defined with reference to the target listening location and listening orientation (as a reference location and orientation, e.g., the origin and positive direction of a coordinate system) , therefore, each target listening location with the target listening orientation may be regarded as a fixed location with a fixed listening orientation, and the present disclosure focuses on the locations of the speaker devices and the transducer units relative to each other and relative to the fixed location and the fixed listening orientation.

[0043] In this regard, the audio management apparatus 20 in present disclosure may be configured to perform the following operations so as to realize the desired sound effect at  the target listening location and listening orientation even if the actual arrangement (locations of the speaker devices (and / or its transducer units) and number of the speaker devices) are different from the standard arrangement.

[0044] The audio management apparatus 20 may acquire an audio signal, where the audio signal is adapted to the standard arrangement (the standard locations, standard listening location and standard listening orientation) , and the audio signal includes information of respective audio component signals corresponding to respective standard locations in the standard arrangement. For example, the audio signal may be a multi-channel audio signal, an immersive audio signal, Dolby Atmos, or an audio signal with other spatial format, which has or can be decoded to have different audio component signals for the speaker devices to playback. Whether object-based like Dolby Atmos, Higher Order Ambisonics (HOA, scene-based) to recreate the sound field experience or any other formats introduced in the future, the audio management apparatus 20 needs to understand the incoming format and decode in an optimized way for rendering and processing. The audio signal may be acquired from an external device or from the internal memory which stores the audio signal

[0045] Then the audio management apparatus 20 may determine currently connected speaker devices in the listening environment in response to determining a change in speaker behavior in the listening environment, and acquires audio playback control parameters in the listening environment, where the speaker behavior is associated with the actual arrangement of the plurality of speaker devices and / or status of the plurality of speaker devices. The audio management apparatus 20 may further process, based on the audio playback control parameters, the audio signal to obtain speaker feed singals for input to the currently connected speaker devices, so that audio output signals of transducer units included in the currently connected speaker devices are capable of providing a desired sound effect corresponding to the audio signal at a target listening location and listening orientation.

[0046] The target of audio management is that when the speaker devices with any arrangement and characteristics output sound based on the speaker feed signals, the user can experience a basically same sound effect at the target listening location and listening orientation as in the standard arragement.

[0047] For example, the audio management apparatus 20 may include or be coupled  to a codec that receives the audio signal from the audio source, decodes the signal and transmit the decoded signal to a processing and adjustment unit (e.g., implemented by hardware, software, or combination thereof) that generates speaker feed signals to be transmitted to individual speaker devices in the listening environment.

[0048] In an example embodiment, the change in speaker behavior may include one or more of the following: first connection of the plurality of speaker devices and the audio management apparatus in the listening environment; removal or addition of one or more speaker devices in the listening environment; low battery alarm of one or more speaker devices in the plurality of speaker devices in the listening environment; or the change in locations and / or postures of one or more of the plurality of speaker devices in the listening environment or the detected displacement thereof, e.g., detected by the sensors such as gravity sensor. That is, the audio management apparatus 20 may receive information from speaker devices in the listening environment, to check their connection status, their locations, battery status, etc.

[0049] In an example embodiment, the audio playback control parameters include: i) parameters related to the physical location and alignment of each speaker device currently connected in the listening environment; ii) a target listening location and a target listening orientation in the listening environment; iii) speaker device characteristics of each currently connected speaker device; iv) spatial characteristics of the listening environment; and / or v) spatial audio format of audio for playback in the listening environment; and so on.

[0050] The parameters related to the physical location and alignment may include horizontal angle, alignment angle and vertical elevation (if applicable) of each speaker device and distance to each other, etc. The parameters can be manually obtained through visual estimations, or measurements with tools like a laser angle and distance tool. Alternatively, the plurality of speaker devices (as a speaker system) can also run an automatic detection process or a calibration process through e.g. test tones, infrared sensor and other means, to locate the speaker devices and assess their alignments. As one example, each speaker device can have a dual-microphone built in, and through playing sine sweeps one at a time on each speaker device, relative angles between any three speaker devices can be calculated, and combining all the triangulation information, speaker device locations and / or the directions they are  facing in this listening environment can be mapped out. In some cases, the speaker device and / or its transducer unit (s) may be regarded as a point sound source, and the direction thereof may not be needed. In addition, according to the locations of each speaker device and transducer unit configuration of the speaker device, the locations of the transducer units therein can also be mapped out. The mapped locations of the speaker system can be sent to the audio management apparatus 20 via the wireless communication interface. In some cases, the user interface of the audio system may include a display for displaying the arrangement of the speaker devices (and the transducer units) and the listening location.

[0051] The target listening location and the target listening orientation in the listening environment may be designated by the user through a user interface. In other cases, the user may input other audio playback control parameters through the user interface. The user interface can be of any existing type, for example, a touch-display screen so that the user can input the information. For example, if a user chooses to manually input information, then the location determined from the input information is assumed to be the origin of spatial vectors and the target listening location, and the orientation determined from the input information is assumed to be 0 degree and the target listening orientation. If the speaker devices’ physical locations are determined through the automatic detection process or the calibration process by the speaker system, then the target listening orientation (user orientation) can be intelligently defined given what’s most likely to be the front. Of course, users can always manually define their target listening location in a plot of the system and specify the target listening orientation (orientation they are facing) . For another example, the users could designate the orientation they are facing, e.g. by setting any speaker device as in the “front” , or by clearly designate which speaker device corresponds to the front-left channel, or through other interactions like, touch the front-left speaker device, or using NFC, UWB technology to designate one speaker device’s role in the audio system. There are many methods for the user to designate one speaker device, and once it’s done, the rest speaker devices are mapped out easily. It is even possible, given that the audio system has a camera sensor, it may detect where the user’s face is facing at the moment, and define a front orientation for the whole system.

[0052] Speaker device characteristics of each speaker device represent local  information of the speaker device, including battery status and technical specifications (if metadata of tech specs is shared through protocols) . This, for example, let the audio management apparatus know about the playtime left for a certain speaker device (if battery powered) . The audio management apparatus also obtains characteristics of speaker device channels like woofer, horn and beam status. If not specified, the speaker devices will be treated as single source pointing at the orientation that speaker device faces.

[0053] For example, speaker device characteristics of each speaker device may include: i. transducer (transducer unit) configuration of the speaker device, such as size, power, number, relative mechanical position, and characteristics of the transducer units, crossover frequency if any; ii. acoustic structures, such as wave guide, horn; iii. channel configuration, such as stereo, multi-channel; iv. algorithm integrated, such as beamforming, up mix algorithm; v. battery performance, such as playtime; vi. acoustic performance, such as frequency response, max loudness.

[0054] Further, if the apparatus management apparatus supports the calibration algorithm for the listening environment, which allows detection on spatial information like room size, reflection time and gain, or even a detailed room configuration. Combined with speaker device channel capabilities, the apparatus management apparatus can further improve listener experience with the help of speaker device characteristics like side and up-firing speaker devices or beam forming.

[0055] That is, each time the behavior of the plurality of speaker devices changes, the audio management apparatus 20 will perform reconfiguration based on the above audio playback control parameters, to manage the playback of the audio signal using current connected speaker devices.

[0056] After the audio management apparatus 20 acquires information on the audio playback control parameters (e.g., arrangement of speaker devices (and transducer units) , further details on acoustic characteristics, power and so on) , the apparatus management apparatus 20 will process the audio signal to output to each speaker device.

[0057] When the audio management apparatus processes the audio signal, it determines, based on the audio playback control parameters, one or more transducer units which each audio component signal of the audio signal is destined to and transmission  parameters of each path, where the transmission parameters at least include gain, delay and filter parameters. Optionally, the transmission parameters may further include the phases, etc. Then, for each audio component signal, the audio management apparatus applies, to the audio component signal, the transmission parameters corresponding to each path for the audio component signal, and mixes, for each speaker device of the currently connected speaker devices, the audio component signals destined to the speaker device (and / or its transducer unit) and after being applied the corresponding transmission parameters, so as to obtain the speaker feed signal for the speaker device.

[0058] For example, the application of transmission parameters of each path to the audio component signal can be implemented by hardware circuits in the audio management apparatus, or by software programs, or combination thereof.

[0059] In another example, generally, it may be assumed that each audio component signal will be output through all the speaker units in all speaker device for faciliating calculation (e.g., matrix computation) and / or speed up the determination, so for each audio component signal, the transmission parameters on the paths to each transducer unit can be calculated, that is, the determination of the one or more transducer units which each audio component signal of the audio signal is destined to can be omited. In specific, the audio management apparatus 20 determines, based on the audio playback control parameters, transmission parameters of each path of each audio component signal of the audio signal according to the assumption that each audio component signal is destined to all the transducer units in all speaker devices, where the transmission parameters at least include gain, delay and filter parameters; for each audio component signal, applies to the audio component signal the transmission parameters corresponding to each path for the audio component signal; and mix, for each speaker device of the currently connected speaker devices, the audio component signals after being applied the transmission parameters and destined to the speaker device, so as to obtain the speaker feed signal for the speaker device.

[0060] FIGS. 3A-3B shows the examples of signal tranmsssion paths within the audio sytem in one or more examples of the present disclosure. It should be undertood that the structures in FIGS. 3A-3B are only explemary and should be not be interpretated as limitation to the audio system of present disclosure.

[0061] As shown in FIGS. 3A, after decoding the audio signal into the audio component signals (as shown as A1, A2, …, AM) , the signal processing and adjustment unit determines the transmission parameters of each path (M*P paths in total, P is the quantity of transducer units in the N speaker devices) , and performs the delay, scaling, and filtering of the audio component signals according to the related transmission parameters (e.g., using the hardware circuit (e.g., buffer, amplifier, and / or filters, etc. ) and optionally in combination with the software) . For example, if a gain on a path is 0, it means that the corresponding audio component signal is not transmittd on the path in fact. Then, at the interface towards a speaker device, the audio component signals (A1-AM) after being applied the transmission parameters can be gathered and mixed at the interface, as the mixed signal destined to the speaker device. Note, at leat a part of the signal processing unit and adjustment unit and the codec and processor as shown FIG. 3A can be communicated with each other and may be functionally and physically integrated together.

[0062] As mentioned before, in some cases, the one or more transducer units which each audio component signal of the audio signal is destined to can be determined first. In such case, as an example, FIG. 3B shows different audio component signals are transmitted on different paths, e.g., audio component signal A1 is from port D1 to the interface 1 towards speaker device 10-1, while audio component signal A2 is from port D2 to the interface 1 towards speaker device 10-1 and from D2 to the interface 2 towards speaker device 10-2…. The signal processing unit and adjustment unit (e.g., including processor, buffer, amplifier, and / or filters, etc. ) determines paths for each audio component signal and related transmission parameters of each path, and performs the delay, scaling and filtering of the audio component signal according to the related transmission parameters, then at the interface towards a speaker device, the audio component signals after being applied the transmission parameters can be gathered and mixed at the interface, as the mixed signal destined to the speaker device.

[0063] Optionally, the audio management apparatus determines a transducer unit arrangement of the currently connected speaker devices based on the audio playback control parameters, and determines transmission parameters of each path, based on the transducer unit arrangement and characteristics of the currently connected speaker devices (e.g.,  transducer unit configuration, sound transmission distances to the target listening position, locations of speaker devices or relected sound sources, etc. ) .

[0064] For example, when determining the transmission parameters of each path based on transducer unit arrangement, the distance of each speaker and / or its transducer units to the target listening location needs to be considered, and delays and gains can be applied to the audio component signal sent to each speaker device and it transducer units if any, so sound played back from each transducer unit to arrive at the target listening location at the same time and roughly with the same sound pressure. In addition, equators (EQs) can be included in the processing and adjustment unit or applied to each speaker device, so that sound at the target listening location from each speaker device will have matched power and frequency response (spectral balance, or timbre) .

[0065] A vector-based amplitude panning (VBAP) algorithm can be used to calculate the transmission parameters. Here VBAP is used as an example, and the details are well known in the prior art and the same as the prior art, and will not be described herein. Other algorithms should be chosen based on target sound quality and implementation efficiency, and not limited to just VBAP. For example, for an audio component signal for a given source audio channel (for example the side-left audio channel in a 7.1.4 setup indicated by ATMOS standard guideline) , the audio component signal can be virtualized using the VBAP algorithm, where the delay, gain and / or filter parameters corresponding to each participating transducer units may be calculated with a target that when they play together, a virtualized sound can be made at the standard location in the standard arrangement, and contribute to the total sound effect at the target listening positon and listening orientation. All transducer units of horizontal or height channels can participate, and given the sound localization characteristics, usually tweeters and mid-range transducer units are included, not the low-frequency woofers.

[0066] For example, based on the structure shown in FIG. 3B, FIG. 4A shows the transmission of an audio component signal A1 to speaker devices 1 and 2, and FIG. 4B shows the transmission of audio component signals A1 and A2 to speaker device 1. It should be undertood that the structures in FIGS. 4A-4B are only explemary and should be not be interpretated as limitation to the audio system of present disclosure. For example, each audio component signal may be destined to the transducer units in the any number of speaker  devices, respectively; and the transmission parameters for application may further include filter parameters and / or phases.

[0067] As shown in FIG. 4A, the audio management apparatus determines, using and VBAP algorithm and based on the transducer unit arrangement, that the audio component signal A2 is destined to the transducers in the speaker devices 10-1 and 10-2, and determines the transmission parameters P1 (e.g., gain-80%and delay-2ms) and P2 (e.g., gain-110%and delay-1ms) for the path destined to the speaker device 1 and speaker device 2, respectively. Then the audio management apparatus applies the transmission parameters P1 to the audio component signal A1, and applies the transmission parameters P2 to the audio component signal A2, to obtain the managed (processed) audio signal on the routing path destined to the speaker device 1 and the managed audio signal on the routing path destined to the speaker device 2.

[0068] As shown in FIG. 4B, the audio management apparatus determines, using and VBAP algorithm and based on the transducer unit arrangement, that the audio component signal A2 is destined to the transducers in the speaker devices 1 and 2, and the audio component signal A3 is destined to the transducer in the speaker devices 2 and 3, that is, the audio component signal A2 and the audio component signal A3 will be transmitted to the speaker device 2, that is, the managed audio signals obtained from the audio component signal A2 and audio component signal A3 are mixed and fed to the speaker device 10-2, to be included in the audio feed signal at the speaker device 2.

[0069] In addition, as mentioned before, each speaker device may have more than 1 transducer units, and in this case, for the speaker device, a speaker feed signal of the speaker device is a mixed signal of each processed audio component signal for transducer units included in the speaker device, where the mixed signal is to be distributed to each transducer unit in the speaker device for processing and playback, for example, via an audio frequency divider (e.g., crossover) in the speaker device.

[0070] In the above description, the transducer unit may transmit the sound directly to the listener at the listening location, however, according to the acoustic structures and characteristics of the speaker devices (or transducer units) , some speaker devices (or transducer units) may transmit the sound to the listener by reflection. In this case, since the  audio management apparatus knows the locations of each transducer unit of each speaker device, and their acoustic structures and characteristics, the audio management apparatus can conduct further computation and assignments for the transmission parameters. For example, in the soundbar shown in FIG. 5 (the same as the soundbar in FIG. 2) , its left-most and right-most transducer units may be housed in a specially designed waveguide to shoot to the side locations. This is exemplified in FIG. 5, where locations p1 and p6 are reflection points resulted by these two beams (used for transmitting the sound) shooting to the walls or reflection surfaces in this listening environment, forming some secondary sound sources caused by the sound reflection. When using the algorithm such as the VBAP, the audio management apparatus should not use the physical location of each transducer unit, but instead consider the locations of these secondary sources corresponding to some transducer units. Similarly, for transducer units with horn or waveguide shooting upward for height channels or relying on ceiling reflections, the audio management apparatus should consider those secondary sound sources or alike. In the example of FIG. 5, there are 7 direct and secondary sound sources (the transmission parameters can be calculated based on the distances of the 7 sound sources to the target listening location) , and the target is still to achieve the desired sound effect at the target listening location.

[0071] From the above description, it can be seen that, since each speaker device (including one or more transducer units) has only a standard input like mono, stereo, 5.1, 7.1, or ATMOS (with height channels) , etc., when because of the different speaker device arrangement from the standard arrangement, the overall audio system requires the speaker device to utilize its transducer units differently than a simple crossover x-way audio system as in the standard arrangement, a special mix of managed audio component signals is designed and delivered by the audio management apparatus as feed to this particular speaker device. For example, as shown in FIG. 5, the soundbar has nine transducer units with two detachable speaker sub-devices in roughly back-left and side-right locations, each detachable speaker sub-device will produce sound designated by the audio management apparatus according to this overall topology (transducer unit arrangement) . Locally, the soundbar won’t have knowledge of such topology, for example, it will receive a special 5.0.4 signal mixed from nine managed audio component signals for the nine transducer units by the audio  management apparatus, where it’s “surround left” and “surround right” is not what a standard 5.0.4 soundtrack typically output, but what’s required by the overall audio system both spatially and frequency-wise, in concert with all other speaker devices (and transducer units) managed by the audio management apparatus.

[0072] For a specific implementation, the plurality of speaker devices may include a first speaker device, a second speaker device and a third speaker device. The first speaker device comprises a first set of transducer units corresponding to different firing directions. The second speaker device is a portable speaker device and includes a second set of transducer units comprising one or more tweeter transducer units (e.g., two for the stereo channel) and a woofer transducer unit. The third speaker device includes a dedicated woofer transducer unit. When the first speaker device, the second speaker device and the third speaker device are all in the speaker device standard working status (e.g., full charged and properly connected) , the desired sound effect corresponding to the audio signal is generated at the target listening position and target listening orientation.

[0073] Further, the first speaker device, the second speaker device and the third speaker device can be chosen and arranged as shown in FIG. 5. In specific, the first set of transducer units include multiple transducer units physically placed in a same device (within a same housing or enclosure) and two sub-devices arranged at any location as required, each sub-device includes two transducer units. The multiple transducer units correspond to the horizontal firing direction and the upward firing direction, and one of the two transducer units in each sub-device corresponds to one horizontal firing direction and the other corresponds to one upward firing direction. The audio signal via the upward firing direction is reflected by the upper wall or the ceiling in the listening environment to reach the target listening location.

[0074] Further, as further shown in the FIG. 5, which illustrates a generalized soundbar product that could support a maximum of 5.0.4 playback with the help of 9 transducer units: 3 horizontal transducer units (with horizontal firing direction) labelled 1, 2 and 3 in the front and 2 horizontal transducer units labelled 4 and 5 in the side and back respectively, plus 4 height transducer units (with upward firing direction) labelled 6, 7, 8 and 9. The main body of the soundbar includes 3 horizontal transducer units and 2 height transducer units and 2 SODs (SOD stands for Surround On Demand, which is a detachable  transducer unit, designed for acting as a surround satellite speaker device when detached, and part of the bar when attached) with upward firing direction as the height transducer units. A fake 5.0.4 signal is fed to the soundbar. With room characteristics detection made possible by the soundbar self-calibration, the left-most and right-most transducer units can provide a wide sound image. The height transducer units can take over the height information in original audio signal (e.g., in a format of Dolby Atmos) . Two horizontal transducer units in SODs are also contributing to horizontal sound field. The audio management apparatus tricked the soundbar into playing a, in regular scenario, unlistenable 5.0.4 channel signal, but works together well with all the speaker devices.

[0075] Also refer to the FIG. 5, the third speaker device including a large woofer transducer unit with its specialized strong bass performance, will may be used to contribute to manage all the low frequency audio signals. The other transducer unit in the third speaker device may also simply act as a single transducer unit facing front of the third speaker device. The woofer transducer unit on this portable speaker device and the third speaker device are both capable of transmitting the low frequency audio signal. Normally the woofer transducer unit on this portable speaker device wouldn’t take full effect because the audio management apparatus will recognize that the dedicated woofer transducer unit is significantly stronger than the ones on the portable speaker device. However, when the power status drops low on the dedicated woofer transducer unit, the audio management apparatus will trigger a reconfiguration and the woofer transducer unit on the portable speaker device will take over more responsibilities on low frequencies. That is, the audio management apparatus determines that the speaker behavior changes in response to determining the low-power status of the dedicated woofer transducer unit, and re-processes the audio signal so that at least a part of the audio component signals destined to the dedicated woofer transducer unit is processed and transmitted to the woofer transducer unit included in the second speaker device.

[0076] In addition, the third speaker device may also include one or more tweeter transducer units. For example, the third speaker device generally has a strong woofer transducer unit with frequency division at 150 Hertz while the tweeter transducer units don’t usually have a strong stereo performance.

[0077] According to the above description, the audio system described with reference to the FIGS. 2-5 will enable several speaker devices which each includes one or more transducer unit and provide an unevenly placed transducer unit arrangement (different from the standard arrangement) work together, such that the overall sound field and sound image will sound like that of the standard arrangement, therefore, the audio system may be less restricted in terms of the arrangement of the speaker devices, may be used in many scenarios and adapted to listening environment with different characteristics, and the selection of the speaker devices can be more flexible, for example, the soundbar with a strip shape and any portable speakers can be used for playback of the Dolby Atmos.

[0078] According to another aspect of present disclosure, there is provided an audio management method for a listening environment. There are a plurality of speaker devices in the listening environment, and each speaker device may include one or more transducer units.

[0079] FIG. 6 illustrates a flow chart of an audio management method for a listening environment according to another aspect of present disclosure.

[0080] As shown in FIG. 6, in step 610, an audio signal is acquired, where the audio signal is adapted to a standard arrangement, and the audio signal includes information of respective audio component signals corresponding to respective standard locations in the standard arrangement.

[0081] In step 620, currently connected speaker devices in the listening environment are determined in response to determining a change in speaker behavior in the listening environment, and audio playback control parameters in the listening environment are acquired, where the speaker behavior is associated with an actual arrangement of the plurality of speaker devices and / or status of the plurality of speaker devices.

[0082] In step 630, based on the audio playback control parameters, the audio signal is processed to obtain speaker feed singals for input to the currently connected speaker devices, so that audio output signals of transducer units included in the currently connected speaker devices are capable of providing a desired sound effect corresponding to the audio signal at a target listening location and listening orientation.

[0083] More details of each step are described with reference to FIGS. 2 to 6, and will not be described here.

[0084] The audio management method can be implemented by one or more processors in combination with one or more memories on which instructions are stored. The one or more processors herein (e.g., as included in the audio management apparatus) may include one or more intelligent hardware devices, e.g., a central processing unit (CPU) , a microcontroller, an application specific integrated circuit (ASIC) , etc. The one or more processors may comprise multiple processors including a general-purpose / application processor, a Digital Signal Processor (DSP) , a modem processor. One or more of the processors may comprise multiple devices (e.g., multiple processors) . In addition, the method may also be implemented in combination with electrical circuits (e.g., buffer, delay circuit and / or amplifier, etc. ) . Each memory herein may be a non-transitory storage medium that may include random access memory (RAM) , flash memory, disc memory, and / or read-only memory (ROM) , etc.

[0085] As used herein, the singular forms “a, ” “an, ” and “the” include the plural forms as well, unless the context clearly indicates otherwise. For example, “a processor” may include one processor or multiple processors. The terms “comprises, ” “comprising, ” “includes, ” and / or “including, ” as used herein, specify the presence of statusd features, integers, steps, operations, elements, and / or components, but do not preclude the presence or addition of one or more other features, integers, steps, operations, elements, components, and / or groups thereof.

[0086] Also, as used herein, “or” as used in a list of items prefaced by “at least one of” or prefaced by “one or more of” indicates a disjunctive list such that, for example, a list of “at least one of A, B, or C, ” or a list of “one or more of A, B, or C” means A or B or C or AB or AC or BC or ABC (i.e., A and B and C) , or combinations with more than one feature (e.g., AA, AAB, ABBC, etc. ) .

[0087] The block diagram involved in this disclosure is not intended to require or imply that the connections and arrangements must be made in the manner shown in the block diagram. It should be understood by those skilled in the art that the above-mentioned specific embodiments are only examples rather than limitations, and various modifications, combinations, partial combinations and substitutions can be made to the embodiments of the disclosure according to design requirements and other factors, as long as they are within the  scope of the appended claims or their equivalents, they belong to the scope to be protected by this disclosure.

Claims

1.An audio system comprising:a plurality of speaker devices placed in a listening environment, and each speaker device includes at least one transducer unit; andan audio management apparatus configured to:acquire an audio signal, wherein the audio signal is adapted to a standard arrangement, and the audio signal includes information of respective audio component signals corresponding to respective standard locations in the standard arrangement;determine currently connected speaker devices in the listening environment in response to determining a change in speaker behavior in the listening environment, and acquire audio playback control parameters in the listening environment, wherein the speaker behavior is associated with an actual arrangement and / or status of the plurality of speaker devices; andprocess, based on the audio playback control parameters, the audio signal to obtain speaker feed singals for input to the currently connected speaker devices, so that audio output signals of transducer units included in the currently connected speaker devices are capable of providing a desired sound effect corresponding to the audio signal at a target listening location and listening orientation.2.The audio system according to claim 1, wherein the change in speaker behavior includes one or more of the following:first connection of the plurality of speaker devices and the audio management apparatus in the listening environment;removal or addition of one or more speaker devices in the listening environment;low battery alarm of one or more speaker devices in the plurality of speaker devices in the listening environment; orthe change in location and / or postures of one or more speaker devices of the plurality of speaker devices in the listening environment or the detected displacement thereof.3.The audio system according to claim 1, wherein the audio playback control parameters include:parameters related to a physical location and alignment of each speaker device currently connected in the listening environment;a target listening location and a target listening orientation in the listening environment;speaker device characteristics of each currently connected speaker device;spatial characteristics of the listening environment; and / orspatial audio format of audio for playback in the listening environment.4.The audio system according to claim 1, wherein, to process the audio signal, the audio management apparatus is configured to:determine, based on the audio playback control parameters, one or more transducer units which each audio component signal of the audio signal is to be transmitted to and transmission parameters of each path, where the transmission parameters at least include gain, delay and filter parameters;for each audio component signal, apply to the audio component signal the transmission parameters corresponding to each path for the audio component signal; andmix, for each speaker device of the currently connected speaker devices, the audio component signals after being applied the transmission parameters and destined to the speaker devicedestined to, so as to obtain the speaker feed signal for the speaker device.5.The audio system according to claim 1, wherein, to process the audio signal, the audio management apparatus is configured to:determine, based on the audio playback control parameters, transmission parameters of each path of each audio component signal of the audio signal according to the assumption that each audio component signal is to be transmitted to all the transducer units, where the transmission parameters at least include gain, delay and filter parameters;for each audio component signal, apply to the audio component signal the transmission parameters corresponding to each path for the audio component signal; andmix, for each speaker device of the currently connected speaker devices, the audio component signals after being applied the transmission parameters and destined to the speaker device, so as to obtain the speaker feed signal for the speaker device.6.The audio system according to claim 5, wherein a first speaker device comprises two or more transducer units,the speaker feed signal for the first speaker device is a mixed signal of audio component signals which have been applied with the transmission parameters and are destined to the two or more transducer units, andwherein the mixed signal is distributed, at the first speaker device, to each transducer unit in the first speaker device for processing and playback.7.The audio system according to claim 1, wherein the plurality of speaker devices include a first speaker device, a second speaker device and a third speaker device, wherein:the first speaker device comprises a first set of transducer units corresponding to different firing directions;the second speaker device is a portable speaker device and includes a second set of transducer units comprising one or more tweeter transducer units and a woofer transducer unit; andthe third loudspeaker device comprises a dedicated woofer transducer unit,wherein, when the first loudspeaker device, the second loudspeaker device and the third loudspeaker device are all in standard working status, the desired sound effect corresponding to the audio signal is generated at the target listening position and listening orientation.8.The audio system according to claim 7, wherein the first set of transducer units include multiple transducer units physically placed in a same device and two sub-devices arranged at any position as required, each sub-device including two transducer units,wherein the multiple transducer units correspond to a horizontal firing direction and an upward firing direction, and one of the two transducer units in each sub-device corresponds to one horizontal firing direction and the other corresponds to one upward firing direction.9.The audio system according to claim 8, wherein an audio signal on the upward firing direction reaches the target listening position through reflection by an upper wall of the listening environment.10.The audio system according to claim 7, wherein the audio management apparatus determines that the speaker behavior changes in response to determining a low-power status of the dedicated woofer transducer unit, and re-processes the audio signal so that at least a part of the audio component signals destined to the dedicated woofer transducer unit is processed and transmitted to the woofer transducer unit included in the second speaker device.11.An audio management method for a listening environment, wherein there are a plurality of speaker devices within the listening environment, and each speaker device includes at least one transducer unit, the audio management method comprising:acquiring an audio signal, wherein the audio signal is adapted to a standard arrangement, and the audio signal includes information of respective audio component signals corresponding to respective standard locations in the standard arrangement;determining currently connected speaker devices in the listening environment in response to determining a change in speaker behavior in the listening environment, and acquires audio playback control parameters in the listening environment, wherein the speaker behavior is associated with an actual arrangement and / or status of the plurality of speaker devices; andprocess, based on the audio playback control parameters, the audio signal to obtain speaker feed singals for input to the currently connected speaker devices, so that audio output signals of transducer units included in the currently connected speaker devices are capable of providing a desired sound effect corresponding to the audio signal at a target listening location and listening orientation.12.The audio management method according to claim 11, wherein the change in speaker behavior includes one or more of the following:first connection of the plurality of speaker devices and the audio management apparatus in the listening environment;removal or addition of one or more speaker devices in the listening environment;low battery alarm of one or more speaker devices in the plurality of speaker devices in the listening environment; orthe change in location and / or postures of one or more speaker devices of the plurality of speaker devices in the listening environment or the detected displacement thereof.13.The audio management method according to claim 11, wherein the audio playback control parameters include:parameters related to a physical location and alignment of each speaker device currently connected in the listening environment;a target listening location and a target listening orientation in the listening environment;speaker device characteristics of each currently connected speaker device;spatial characteristics of the listening environment; and / orspatial audio format of audio for playback in the listening environment.14.The audio management method according to claim 11, wherein processing the audio signal comprises:determining, based on the audio playback control parameters, one or more transducer units which each audio component signal of the audio signal is to be transmitted to and transmission parameters of each path, where the transmission parameters at least include gain, delay and filter parameters;for each audio component signal, applying to the audio component signal the transmission parameters corresponding to each path for the audio component signal; andmixing, for each speaker device of the currently connected speaker devices, the audio component signals after being applied the transmission parameters and destined to the speaker device, so as to obtain the speaker feed signal for the speaker device.15.The audio management method according to claim 14, wherein processing the audio  signal comprises:determining, based on the audio playback control parameters, transmission parameters of each path of each audio component signal of the audio signal according to the assumption that each audio component signal is to be transmitted to all the transducer units, where the transmission parameters at least include gain, delay and filter parameters;for each audio component signal, applying to the audio component signal the transmission parameters corresponding to each path for the audio component signal; andmixing, for each speaker device of the currently connected speaker devices, the audio component signals after being applied the transmission parameters and destined to the speaker device, so as to obtain the speaker feed signal for the speaker device.

Images