An audio device and method for improving the listening experience for a far-end user

Description

AN AUDIO DEVICE AND METHOD FOR IMPROVING THE LISTENING EXPERIENCE FOR A FAR-END USERFIELD

[0001] The present invention relates to audio devices and methods performed in audio devices. More specifically, the disclosure relates to an audio device and a method thereof, the audio device comprising a millimeter wave antenna array, a millimeter wave transducer, a millimeter wave processor, an audio processor and a communication management device.BACKGROUND

[0002] Using audio device for conference calls or teleconference can have several disadvantages that may result in a decline in audio quality, especially for a far-end user participating in the conference call. Some of the common issues associated with audio device usage in conference call include echo and feedback, background noise, decreased audio clarity and speech intelligibility. To mitigate these issues, beamforming has been applied on the received audio signal, but this has proven not to be sufficient to provide the desired overall quality of conference call. Thus, there is a need for an improved audio device and for an improved method performed in the audio device.SUMMARY

[0003] Disclosed is an audio device for improving the listening experience for a far-end user. The audio device comprises a millimeter wave (denoted MMW hereafter) antenna array comprising two or more MMW antennas. The MMW antenna array is configured for receiving and transmitting MMW signals. The audio device comprises a MMW transducer comprising a MMW transmitter and a MMW receiver. The MMW transducer is interconnected with the MMW antenna array. The MMW transmitter is configured for transmitting a first MMW signal into a spatial environment. The MMW receiver is configured for receiving a second MMW signal. The second MMW signal is a reflected version of the first MMW signal caused by one or more objects in the spatial environment. The audio device comprises a MMW processor configured for determining an acoustic reverberation timing based on the second MMW signal. The audio device comprises one or more microphones configured for receiving a first audio signal from the spatial environment. The audio device comprises an audio processor configured for performing adaptive noise suppression on the first audio signal. The adaptive noise suppression is based on the acoustic reverberation timing. The audio device comprises a communication management device configured for transmitting a second audio signal to one or more external devices. The second audio signal comprises an adaptive noise suppressed representation of the first audio signal. The one or more external devices are configured to be used by far-end users outside the spatial environment.

[0004] It is an advantage that at least some of the above-mentioned issues are resolved or at least attenuated or mitigated by the present invention. It is an advantage that the disclosed invention provides improved audio quality and may thereby provide an improved user experience for the far-end user. It is an advantage that suppressing noise originating from reverberation may provide improved speech intelligibility or clarity.

[0005] The audio device is for improving the listening experience for a far-end user. The audio device may be an audio-conferencing device, a meeting room device or a speakerphone device. The audio device may be used by both near-end users and far-end users. In this regard, near-end users are the one or more users provided in the same spatial environment as the audio device. Normally, the listening experience refers to the quality and satisfaction derived from the use of audio devices. Although the listening experience may typically be based on a subjective evaluation according to the user’s preference, the listening experience depends on objective and technical parameter such as clarity, depth, and fidelity of the audio signal provided to the far-end user. The far-end user may comprise more than one far-end user. Thus, the far-end user may be one person or may be two or more persons. The one person far-end user may use a hearing device, such as a headset, or may use an audio device, such as an audio-conferencing device, meeting room device or speakerphone device. The one person far-end user may use audio equipment comprised in or connected to an electronic device, such as a laptop or a smart phone. The two or more persons far-end users may use similar hearing device, audio devices or audio equipment, or any combination of these, and the two or more persons far-end users may share a same spatial environment, for example, they may be in the same meeting room, or they may be in separate spatial environments, for example, they may sit in separate rooms.

[0006] The audio device comprises a MMW antenna array comprising two or more MMW antennas. The MMW antenna array is configured for receiving and transmitting MMW signals. In this regard, MMW signals may be defined as electromagnetic signals with frequencies between 26.5 GHz and 300 GHz and / or electromagnetic signals with wavelengths between 1 mm and 11 mm. The relatively high frequency of the MMW signals may provide that a compact antenna array is provided, which may easily fit into the audio device. MMW signals are sensitive to obstacles, and the use of MMW communication normally requires line-of-sight communication to be effective. However, this is an advantage because this also means that the MMW signals are sensitive to detecting the one or more objects in the spatial environment. The two or more MMW antennas in or of the MMW antenna array may be arranged in a specific configuration, such as a phased antenna array, to enable beamforming and directional control of the transmitted or received MMW signals.

[0007] The audio device comprises a MMW transducer comprising a MMW transmitter and a MMW receiver. The MMW transducer is interconnected with the MMW antenna array. The MMW transmitter is configured for transmitting a first MMW signal into a spatial environment. The MMW receiver is configured for receiving a second MMW signal. The second MMW signal is a reflected version of the first MMW signal caused by one or more objects in the spatial environment. The second MMW signal may comprise a second frequency and / or a second amplitude and / or a second phase. The MMW transmitter may comprise components such as power amplifiers to boost a signal strength of the first MMW signal before transmission. The MMW receiver may comprise components such as low-noise amplifiers to amplify the second MMW signal. The MMW receiver may also comprise filtering and down-conversion components to extract and process information carried by the second MMW signal. The spatial environment or space may be an environment that the audio is located or provided in, such as a room or a meeting room. It may be a small and / or confined environment or a large and / or open environment. The one or more objects may be furniture, walls, etc. but also humans or animals.

[0008] The audio device comprises a MMW processor configured for determining an acoustic reverberation timing based on the second MMW signal. The MMW processor may be digital signal processor (DSP) . The MMW processor may be configured for processing the MMW signals, such as the first MMW signal and the second MMW signal. The MMW processor may be configured for generating the first MMW signal. The audio device may further comprise a MMW generator, the MMW generator being configured for generating the first MMW signal. The MMW generator may be comprised in the MMW processor. The first MMW signal may be generated to comprise a first frequency and / or a first amplitude and / or a first phase. The MMW processor may comprise a MMW generator unit configured for generating the first MMW signal, or alternatively, the MMW generator unit may be a separate unit from the MMW processor, the MMW generator unit may be comprised in the audio device. The MMW processor may be configured for providing various signal processing known to the skilled person such as signal modulation and / or demodulation and / or error correction, etc. Acoustic reverberation is typically described as a phenomenon in which sound waves reflect off surfaces in an enclosed space or environment, leading to a persistence of sound even after the original sound source has stopped producing sound. In other words, it's often described as the continuation of sound in a space due to multiple reflections. The reverberation timing is a parameter which may be used to quantify the duration of the reverberant sound in a space, and may be measured as the time it takes for the sound level to decrease by 60 decibels after the sound source stops. There are multiple factors that may affect the reverberation timing, such as a size or extend of the spatial environment, such as surface materials, furniture and objects in the spatial environment.

[0009] The audio device comprises one or more microphones configured for receiving a first audio signal from the spatial environment. The one or more microphones or one or more input transducers may be configured for converting an acoustic signal from the spatial environment into the first audio signal. The first audio signal may be an electric signal. The first audio signal may be an analogue signal. The first audio signal may be a digital signal. The one or more microphones may be coupled to one or more analogue-to-digital converters configured for converting the analogue signal into the digital signal.

[0010] The audio device comprises an audio processor configured for performing adaptive noise suppression on the first audio signal. The adaptive noise suppression is based on the acoustic reverberation timing. The adaptive noise suppression may then eliminate, correct for, or at least diminish the effects of reverberation.

[0011] The audio device comprises a communication management device configured for transmitting a second audio signal to one or more external devices. The communication management device may be configured for providing a communication link with the one or more external devices. The communication management device may be configured for transmitting and / or receiving communication from the one or more external devices. The communication may be using any protocol or standard as known for a person skilled in the art, including BT, BLE, WIFI, USB, DECT, ZigBee, PoE etc.

[0012] The second audio signal comprises an adaptive noise suppressed representation of the first audio signal. The second audio signal may be a modified signal, such as a modified version of the first audio signal. The audio processor may be configured for providing the second audio signal.

[0013] The one or more external devices are configured to be used by far-end users outside the spatial environment. Thus, the one or more external devices may be used my one or more far-end users.

[0014] According to an aspect, disclosed is a method performed in an audio device for improving the listening experience for a far-end user. The method comprises transmitting, via a millimeter wave -MMW -transmitter interconnected with a MMW antenna array, a first MMW signal into a spatial environment. The method comprises receiving, via a MMW receiver interconnected with the MMW antenna array, a second MMW signal. The second MMW signal is a reflection of the first MMW signal caused by the spatial environment. The method comprises determining, via the MMW processor, an acoustic reverberation timing based on the second MMW signal. The method comprises receiving, via one or more microphones, a first audio signal from the spatial environment. The method comprises performing, via an audio processor, adaptive noise suppression on the first audio signal. The adaptive noise suppression is based on the acoustic reverberation timing. The method comprises transmitting, via a communication management device, a second audio signal to one or more external devices. The second audio signal comprises an adaptive noise suppressed representation of the first audio signal. The one or more external devices are configured to be used by far-end users outside the spatial environment.

[0015] In some embodiments, the audio device further comprises one or more speakers or one or more output transducers. Alternatively, the one or more speakers may be provided separately from the audio device but interconnected with the audio device, such as interconnected via a wire or a wireless connection. The communication management device may be further configured for receiving one or more third audio signals from the one or more external devices. The one or more speakers may be configured for outputting the one or more third audio signals. The one or more speakers may be configured for converting the one or more third audio signals into acoustic signals. The one or more speakers may be configured for providing the one or more third audio signals into the spatial environment.

[0016] In some embodiments, the MMW processor is further configured for determining an echo path based on the second MMW signal. The audio processor may be further configured for performing adaptive echo cancellation on the first audio signal. The adaptive echo cancellation may be based on the echo path. The second audio signal may further comprise an adaptive echo cancelled representation of the first audio signal. The echo path may be described as sound or acoustic signals travelling from the one or more speakers to the one or more microphones and thereby erroneously being picked up and re-transmitted from the audio device to the far-end user or users thereby giving an echo of his / her own voice. The adaptive echo cancellation may then eliminate, correct for, or at least diminish the effects of echo.

[0017] In some embodiments, where the audio processor is configured for performing both adaptive noise suppression and adaptive echo cancellation, the adaptive echo cancellation is to be performed on the first audio signal prior to or before the adaptive noise suppression is performed. Thus, in some embodiments, the adaptive noise suppression is performed on the adaptive echo cancelled representation of the first audio signal.

[0018] In some embodiments, the MMW processor is further configured for determining a spatial environment model based on the second MMW signal and one or more MMW beamforming filters. The MMW processor may be configured for determining or providing the spatial environment model. In some embodiments, the spatial environment model is a room 3D model. The one or more MMW beamforming filters may be digital filters.

[0019] The audio device, or more specifically the MMW processor, may comprise a filter bank unit comprising the one or more MMW beamforming filters. The MMW may be configured for applying the one or more MMW beamforming filters on the second MMW signal. It is an advantage because this may provide a beamforming pattern based on timing and amplitude difference from the MMW antenna array. It is an advantage because this may provide spatial selectivity with regards to the second MMW signal. The one or more MMW beamforming filters may comprises one or more MMW beamforming filter coefficients. The one or more MMW beamforming filter coefficients may be updated adaptively or may be updated at specific times or events, such as if the audio device is more or a meeting is initiated. In some embodiments, at least one of the one or more MMW beamforming filters is an adaptive MMW beamforming filter. The at least one adaptive MMW beamforming filter of the one or more MMW beamforming filters may be configured for adapting to the one or more objects in the spatial environment via an adaptation algorithm. Such adaptation algorithm is well known in the field of MMW antenna arrays and typically involves solving an optimization problem. It is an advantage that the at least one MMW beamforming filter may be an adaptive MMW beamforming filter because this may provide maximizing the power of desired parts of the second MMW signal and minimizing the power of undesired parts of the second MMW signal.

[0020] In some embodiments, the spatial environment model comprises directional data of the one or more objects in the spatial environment. Additionally, or alternatively, the spatial environment model may comprise positional data of the one or more objects in the spatial environment. Additionally, or alternatively, the spatial environment model may comprise movement data of the one or more objects in the spatial environment.

[0021] In other words, the spatial environment model may comprise one or more of the following data or information of / for the one or more objects in the spatial environment, such as a distance, location, direction, type and movement etc. The data or information regarding the one or more objects may be obtained by the MMW antenna array, such as based on properties measured in an electromagnetic field of the second MMW signal.

[0022] The distance may be measured by using time-of-flight calculations, where the MMW processor may measure a time it takes from the first MMW signal to be transmitted to the second MMW signal being received. The distance may be determined accordingly. The timing measurement can be done with picosecond accuracy with the MMW processor.

[0023] The direction may be measured by using Angle of Arrival calculations, where an angle may be calculated based on a phase difference from one MMW antenna to the other one or more MMW antennas of the two or more MMW antennas. The direction may be determined accordingly, and this can be measured with 1° accuracy with the MMW processor.

[0024] The type may be predicted by Return Loss calculations, where, upon determining distance and direction, a power loss may be calculated based on the difference between a power of the first MMW signal and a power of the second MMW signal. The type of object may be predictable using dielectric properties.

[0025] The movement may be measured using Doppler spectrum calculation, where, upon determining distance and direction, the first MMW signal may be a fixed frequency MMW. A frequency deviation may then be measured in the second MMW signal and the movement may then be identified and determined based on this frequency deviation.

[0026] In some embodiments, the MMW processor is further configured for determining a sound field 3D model based on the spatial environment model. In some embodiments, the sound field 3D model is determined using a first transfer function. In other words, the sound field 3D model may be created based on the spatial environment model by the MMW processor using the first transfer function transforming the spatial environment model from a RF millimeter wave domain into the sound field 3D model in an audio domain, which then runs in the audio processor. The term transfer function may typically be described as a mathematical representation of a relationship between an input and an output of a system, and may describe how the system responds to different frequencies.

[0027] In some embodiments, the second audio signal may be modified or processed based on the sound field 3D model, such as the second audio signal may be a modified version or a processed version of the first audio signal based on the sound field 3D model. The audio processor may be configured for providing the second audio signal based on the sound field 3D model.

[0028] The sound field 3D model may be an acoustic environmental model, which may be predicted and transferred, via the first transfer function, from the spatial environment model. The sound field 3D model may comprise reverberation timing estimation, echo path estimation, sound source localization etc. The audio processor may be configured for using audio processing algorithms and techniques to render spatial sound effects based on data comprised in the sound field 3D model. This may comprise simulating the direction, distance and other spatial properties in the room or spatial environment.

[0029] It is an advantage that the sound field 3D model may be used to implement spatial sound rendering in the audio processing for echo cancellation and / or dereverberation algorithms and / or noise suppression and / or spatial sound effects to the far-end users.

[0030] In some embodiments, the sound field 3D model comprises sound reflection models associated with the directional, positional and / or movement data of the one or more objects in the spatial environment. Additionally, or alternatively, the sound field 3D model may comprise loss transfer functions associated with the directional, positional and / or movement data of the one or more objects in the spatial environment. A loss function may typically be described as a function measuring a difference between a predicted value and an actual value, wherein the goal of the loss function may be to minimize this difference. A sound reflection model may typically be described as a model for how sound waves interact with surfaces and how these sound waves are reflected, thereby including the laws of physics related to wave propagation, such as e.g. reflection, absorption, diffusion, etc.

[0031] In some embodiments, the echo path is further based on the sound field 3D model. The echo adaptive cancellation may be performed using one or more adaptive echo cancellation filters. Thus, the echo cancellation may be adapted to the echo path that may be estimated by the sound field 3D model. The one or more adaptive echo cancellation filters may be digital filters. The one or more adaptive echo cancellation filters may comprise filter coefficients. The sound field 3D model may be used as input for the filter coefficients.

[0032] The echo path may be based on the directional, positional and / or movement data of the one or more objects in the spatial environment, which may be comprised in the sound field 3D model. This is an advantage because the adaptive echo cancellation may take the directional, positional and / or movement data of the one or more objects in the spatial environment into account.

[0033] In some embodiments, the acoustic reverberation timing is further based on the sound field 3D model. The adaptive noise suppression may be performed using one or more adaptive noise suppression filters. Thus, ambient noise may be reduced or further reduced by the adaptive noise suppression after the echo cancellation has been applied. The one or more adaptive noise suppression filters may be digital filters. The one or more adaptive noise suppression filters may comprise filter coefficients. The sound field 3D model may be used as input for the filter coefficients. The acoustic reverberation timing may be based on the directional, positional and / or movement data of the one or more objects in the spatial environment, which may be comprised in the sound field 3D model. This is an advantage because the adaptive noise suppression may take the directional, positional and / or movement data of the one or more objects in the spatial environment into account.

[0034] The one or more adaptive echo cancellation filters and / or the one or more adaptive noise suppression filters may comprise an input signal, typically denoted as x (n) , where n represents discrete time samples. The input signal may be the first audio signal. In some embodiments, where the audio processor is configured for performing both adaptive noise suppression and adaptive echo cancellation, the adaptive echo cancellation is to be performed on the first audio signal prior to or before the adaptive noise suppression is performed. Thus, in some embodiments, the adaptive noise suppression is performed on an adaptive echo cancelled representation of the first audio signal. Thus, in some embodiments, the input signal may be the adaptive echo cancelled representation of the first audio signal.

[0035] The one or more adaptive echo cancellation filters and / or the one or more adaptive noise suppression filters may comprise a desired signal, typically as denoted d (n) . The desired signal may be the modified version of the first audio signal, such as the adaptive noise suppressed representation of the first audio signal and / or the adaptive echo cancelled representation of the first audio signal. The one or more adaptive echo cancellation filters and / or the one or more adaptive noise suppression filters may comprise a filtered output, typically denoted y (n) , the filtered output may represent a response of the one or more adaptive filters to the input signal. The filter coefficients of the one or more adaptive echo cancellation filters and / or the one or more adaptive noise suppression filters may be configured for being updated to minimize an error between the desired output and the filtered output. The one or more adaptive echo cancellation filters and / or the one or more adaptive noise suppression filters may comprise an error signal, typically denoted as e (n) , the error signal may be configured for providing feedback for updating the filter coefficients. The sound field 3D model may be used as further input for the filter coefficients.

[0036] In some embodiments, the audio device further comprises a pre-processor. The pre-processor may be configured for providing front-end signal processing on the first audio signal prior to or before the adaptive echo cancellation. Additionally, or alternatively, the pre-processor may be configured for providing front-end signal processing on the first audio signal prior to or before the adaptive noise suppression. The pre-processor may be an audio pre-processor. The front-end signal processing may comprise estimating noise and speech, Direction of Arrival (DOA) , Voice Activated Detection (VAD) , adaptive beamforming etc. The pre-processor may be comprised in the audio processor.

[0037] In some embodiments, the pre-processor is further configured for determining an initial first estimation of filter coefficients for the one or more adaptive echo cancellation filters. Additionally, or alternatively, the pre-processor may be further configured for determining an initial first estimation of filter coefficients for the one or more adaptive noise suppression filters.

[0038] In some embodiments, the audio processor is further configured for embedding and synchronizing the first audio signal into the sound field 3D model. This is an advantage because the first audio signal may be loaded into the sound field 3D model with aligned timing (phase) and amplitude spectrum.

[0039] In some embodiments, the one or more microphones comprise at least two microphones. The first audio signal may be provided by the at least two microphones. The audio processor may be further configured for applying one or more audio beamforming filters on the first audio signal. It is an advantage because this may provide a beamforming pattern based on timing and amplitude difference from the at least two microphones. It is an advantage because this may provide spatial selectivity with regards to the first audio signal. The one or more audio beamforming filters may be digital filters. The one or more audio beamforming filters may comprise one or more audio beamforming filter coefficients. The one or more audio beamforming filter coefficients may be updated adaptively or may be updated at specific times or events, such as if the audio device is moved or a meeting is initiated.

[0040] In some embodiments, at least one of the one or more audio beamforming filters is an adaptive audio beamforming filter. The adaptive audio beamforming filter may be configured for adapting to the one or more objects in the spatial environment via an adaptation algorithm. Such adaptation algorithm is well known in the field of audio beamforming and typically involves solving an optimization problem. It is an advantage that the at least one audio beamforming filter may be an adaptive audio beamforming filter because this may provide maximizing the power of desired parts of the first audio signal and minimizing the power of undesired parts of the first audio signal.

[0041] In some embodiments, the at least one adaptive audio beamforming filter of the one or more audio beamforming filters is based on the sound field 3D model. This is an advantage because the at least one adaptive audio beamforming filter of the one or more audio beamforming filters may take the directional, positional and / or movement data of the one or more objects in the spatial environment, which may be comprised in the sound field 3D model, into account. This is an advantage because the at least one adaptive audio beamforming filter of the one or more audio beamforming filters may be adapted according to the information obtained using the second MMW signal, such as the second MMW signal and the subsequent processing and modelling thereon.

[0042] In some embodiments, the audio device further comprises a spatial sound generator configured for determining a spatial sound image based on the sound field 3D model using a second transfer function. This is an advantage because the spatial sound image may provide a sense of direction and / or distance to a sound source in the spatial environment for the far-end user. The spatial sound generator may be comprised in the audio processor. Alternatively, the audio processor in itself is further configured for determining the spatial sound image based on the sound field 3D model using a second transfer function.

[0043] In some embodiments, the second transfer function is a Head Related Transfer Function (HRTF) . In this regard, the HRTF may be described as a mathematical representation of how sound is filtered by a listener's head, ears, and torso. This is an advantage because the HRTF may provide directional cues that help the far-end user perceive sound in three-dimensional space. The HRTF may be a typical or average HRTF.

[0044] In some embodiments, the second audio signal may be modified or processed further based on the spatial sound image, such as the second audio signal may be a modified version or a processed version of the first audio signal further based on the spatial sound image. The audio processor may be configured for providing the second audio signal based on the spatial sound image. The audio processor may be configured for providing the second audio signal based on both the sound field 3D model and the spatial sound image.

[0045] In some embodiments, the audio device further comprises a power management unit. The power management unit may be configured for managing and / or distributing power to the various parts and components comprised in the audio device.

[0046] In some embodiments, the second audio signal is transmitted to the one or more external devices via one or more audio channels.

[0047] In some embodiments, the method further comprises determining, via the MMW processor, an echo path based on the second MMW signal. The method may further comprise performing, via the audio processor, adaptive echo cancellation on the first audio signal. The adaptive echo cancellation may be based on the acoustic echo path. The second audio signal further comprises an adaptive echo cancelled representation of the first audio signal.

[0048] In some embodiments, the method further comprises determining, via the MMW processor, a spatial environment model based on the second MMW signal and one or more MMW beamforming filters. The method may further comprise determining, via the MMW processor and using a first transfer function, a sound field 3D model based on the spatial environment model. The echo path may be further based on the sound field 3D model. Additionally, or alternatively, the acoustic reverberation timing may be further based on the sound field 3D model.

[0049] In some embodiments, the method further comprises determining, via a spatial sound generator, a spatial sound image based on the sound field 3D model using a second transfer function.

[0050] In some embodiments, the acoustic reverberation timing is further based on a sound field 3D model. The sound field 3D model may be determined via the MMW processor.

[0051] The present invention relates to different aspects including the audio device and the method described above and in the following, and corresponding device parts, each yielding one or more of the benefits and advantages described in connection with the first mentioned aspect, and each having one or more embodiments corresponding to the embodiments described in connection with the first mentioned aspect and / or disclosed in the appended claims.BRIEF DESCRIPTION OF THE DRAWINGS

[0052] The above and other features and advantages will become readily apparent to those skilled in the art by the following detailed description of exemplary embodiments thereof with reference to the attached drawings, in which:

[0053] Fig. 1 schematically illustrates an exemplary audio device.

[0054] [Corrected under Rule 26, 26.02.2024]Fig. 2a-Fig. 2b schematically illustrates an exemplary audio device.

[0055] Fig. 3 schematically illustrates an exemplary adaptive filter.

[0056] Fig. 4 shows a flowchart for an exemplary method.DETAILED DESCRIPTION

[0057] Various embodiments are described hereinafter with reference to the figures. Like reference numerals refer to like elements throughout. Like elements will, thus, not be described in detail with respect to the description of each figure. It should also be noted that the figures are only intended to facilitate the description of the embodiments. They are not intended as an exhaustive description of the claimed invention or as a limitation on the scope of the claimed invention. In addition, an illustrated embodiment needs not have all the aspects or advantages shown. An aspect or an advantage described in conjunction with a particular embodiment is not necessarily limited to that embodiment and can be practiced in any other embodiments even if not so illustrated, or if not so explicitly described.

[0058] Fig. 1 schematically illustrates an exemplary audio device 2 for improving the listening experience for a far-end user. The audio device 2 comprises a MMW antenna array 4 comprising two or more MMW antennas. In the figure, the MMW antenna array 4 is schematically illustrated to comprise eight MMW antennas. The MMW antenna array 4 is configured for receiving and transmitting MMW signals. The audio device 2 comprises a MMW transducer 6 comprising a MMW transmitter 8 and a MMW receiver 10. The MMW transducer 6 is interconnected with the MMW antenna array 4. The MMW transmitter 8 is configured for transmitting a first MMW signal into a spatial environment (not shown) . The MMW receiver 10 is configured for receiving a second MMW signal. The second MMW signal is a reflected version of the first MMW signal caused by one or more objects (not shown) in the spatial environment. The audio device 2 comprises a MMW processor 12 configured for determining an acoustic reverberation timing based on the second MMW signal. The audio device 2 comprises one or more microphones 14 configured for receiving a first audio signal from the spatial environment. In the figure, the audio device 2 is schematically illustrated to comprise one microphone 14. The audio device 2 comprises an audio processor 16 configured for performing adaptive noise suppression on the first audio signal. The adaptive noise suppression is based on the acoustic reverberation timing. The audio device 2 comprises a communication management device 18 configured for transmitting a second audio signal to one or more external devices (not shown) . The second audio signal comprises an adaptive noise suppressed representation of the first audio signal. The one or more external devices are configured to be used by far-end users outside the spatial environment.

[0059] [Corrected under Rule 26, 26.02.2024]Fig. 2a-Fig. 2b schematically illustrate an exemplary audio device 2 for improving the listening experience for a far-end user. The audio device 2 comprises one or more microphones 14. Figs. 2a-b show similar features, however Fig. 2b schematically illustrates that the one or more microphones 14 comprises at least two microphones.

[0060] The audio device 2 comprises a MMW antenna array 4 comprising two or more MMW antennas. The MMW antenna array 4 is schematically illustrated to comprise eight MMW antennas. The MMW antenna array 4 is configured for receiving and transmitting MMW signals. The audio device 2 comprises a MMW transducer 6 comprising a MMW transmitter 8 and a MMW receiver 10. The MMW transducer 6 is interconnected with the MMW antenna array 4. The MMW transmitter 8 is configured for transmitting a first MMW signal into a spatial environment (not shown) . The MMW receiver 10 is configured for receiving a second MMW signal. The second MMW signal is a reflected version of the first MMW signal caused by one or more objects (not shown) in the spatial environment. The audio device 2 comprises a MMW processor 12 configured for determining an acoustic reverberation timing based on the second MMW signal. The one or more microphones 14 are configured for receiving a first audio signal from the spatial environment. The audio device 2 comprises an audio processor 16 configured for performing adaptive noise suppression on the first audio signal. The adaptive noise suppression is based on the acoustic reverberation timing. The audio device 2 comprises a communication management device 18 configured for transmitting a second audio signal to one or more external devices (not shown) . The second audio signal comprises an adaptive noise suppressed representation of the first audio signal. The one or more external devices are configured to be used by far-end users outside the spatial environment.

[0061] In some embodiments, the MMW processor 12 is further configured for determining an echo path based on the second MMW signal. The audio processor 16 may be further configured for performing adaptive echo cancellation on the first audio signal. The adaptive echo cancellation may be based on the echo path. The second audio signal may further comprise an adaptive echo cancelled representation of the first audio signal. In some embodiments, the MMW processor 12 is further configured for determining a spatial environment model based on the second MMW signal and one or more MMW beamforming filters. In some embodiments, the spatial environment model comprises directional data of the one or more objects in the spatial environment. Additionally, or alternatively, the spatial environment model may comprise positional data of the one or more objects in the spatial environment. Additionally, or alternatively, the spatial environment model may comprise movement data of the one or more objects in the spatial environment. In some embodiments, at least one of the one or more MMW beamforming filters is an adaptive MMW beamforming filter.

[0062] In some embodiments, the MMW processor 12 is further configured for determining a sound field 3D model based on the spatial environment model. In some embodiments, the sound field 3D model is determined using a first transfer function. In some embodiments, the sound field 3D model comprises sound reflection models associated with the directional, positional and / or movement data of the one or more objects in the spatial environment. Additionally, or alternatively, the sound field 3D model may comprise loss transfer functions associated with the directional, positional and / or movement data of the one or more objects in the spatial environment.

[0063] In some embodiments, the acoustic reverberation timing is further based on the sound field 3D model. The adaptive noise suppression may be performed using one or more adaptive noise suppression filters. See Fig. 3 for an example of such an adaptive filter.

[0064] In some embodiments, the echo path is further based on the sound field 3D model. The adaptive echo cancellation may be performed using one or more adaptive echo cancellation filters. See Fig. 3 for an example of such an adaptive filter.

[0065] The audio device 2 is schematically illustrated to further comprise a pre-processor 20. The pre-processor 20 may be configured for providing front-end signal processing on the first audio signal prior to or before the adaptive echo cancellation. Additionally, or alternatively, the pre-processor 20 may be configured for providing front-end signal processing on the first audio signal prior to or before the adaptive noise suppression. In some embodiments, the pre-processor 20 is further configured for determining an initial first estimation of filter coefficients for the one or more adaptive echo cancellation filters. Additionally or alternatively, the pre-processor 20 may be further configured for determining an initial first estimation of filter coefficients for the one or more adaptive noise suppression filters. In some embodiments, the audio processor 16 is further configured for embedding and synchronizing the first audio signal into the sound field 3D model. In some embodiments, the audio device 2 further comprises a spatial sound generator 22 configured for determining a spatial sound image based on the sound field 3D model using a second transfer function. In some embodiments, the second transfer function is a Head Related Transfer Function. In some embodiments, the second audio signal is transmitted to the one or more external devices via one or more audio channels.

[0066] In some embodiments, the audio device 2 further comprises one or more speakers 24. The audio device 2 is schematically illustrated to comprise one speaker 24. The communication management device 18 may be further configured for receiving one or more third audio signals from the one or more external devices. The one or more speakers 24 may be configured for outputting the one or more third audio signals.

[0067] Fig. 2b shows similar features as Fig. 2a, however Fig. 2b schematically illustrate that the one or more microphones 14 comprise at least two microphones. In Fig. 2b, the audio processor 16 may be further configured for applying one or more audio beamforming filters on the first audio signal. In some embodiments, at least one of the one or more audio beamforming filters is an adaptive audio beamforming filter. In some embodiments, the at least one adaptive audio beamforming filter of the one or more audio beamforming filters is based on the sound field 3D model.

[0068] [Corrected under Rule 26, 26.02.2024]Fig. 3 schematically illustrates an exemplary adaptive filter 30 for adaptive noise suppression or adaptive echo cancellation as described for example in relation to the audio device in Fig. 2a-Fig. 2b. The adaptive filter 30 comprises an input signal 32, typically denoted as x (n) , where n represents discrete time samples. The input signal 32 may be a first audio signal. In some embodiments, where an audio processor is configured for performing both adaptive noise suppression and adaptive echo cancellation, the adaptive echo cancellation is to be performed on the first audio signal prior to or before the adaptive noise suppression is performed. Thus, in some embodiments, the adaptive noise suppression is performed on an adaptive echo cancelled representation of the first audio signal. Thus, in some embodiments, the input signal 32 may be the adaptive echo cancelled representation of the first audio signal.

[0069] [Corrected under Rule 26, 26.02.2024]

[0070] The adaptive filter 30 comprises a desired signal 34, typically as denoted d (n) . The desired signal 34 may be a modified version of the first audio signal, such as an adaptive noise suppressed representation of the first audio signal and / or the adaptive echo cancelled representation of the first audio signal. The adaptive filter 30 comprises a filtered output 36, typically denoted y (n) , the filtered output 36 representing a response of the adaptive filter 30 to the input signal 32. The adaptive filter 30 comprises filter coefficients 38, the filter coefficients 38 being configured for being updated to minimize an error between the desired output 34 and the filtered output 36. The adaptive filter 30 comprises an error signal 40, typically denoted as e (n) , the error signal 40 being configured for providing feedback for updating the filter coefficients 38. A sound field 3D model is used as further input 42 for the filter coefficients 38.

[0071] Fig. 4 shows a flowchart for an exemplary method 100 performed in an audio device for improving the listening experience for a far-end user. The method 100 comprises transmitting 102, via a MMW transmitter interconnected with a MMW antenna array, a first MMW signal into a spatial environment. The method comprises receiving 104, via a MMW receiver interconnected with the MMW antenna array, a second MMW signal. The second MMW signal is a reflection of the first MMW signal caused by the spatial environment. The method 100 comprises determining 106, via the MMW processor, an acoustic reverberation timing based on the second MMW signal. The method 100 comprises receiving 108, via one or more microphones, a first audio signal from the spatial environment. The method 100 comprises performing 110, via an audio processor, adaptive noise suppression on the first audio signal. The adaptive noise suppression is based on the acoustic reverberation timing. The method 100 comprises transmitting 112, via a communication management device, a second audio signal to one or more external devices. The second audio signal comprises an adaptive noise suppressed representation of the first audio signal. The one or more external devices are configured to be used by far-end users outside the spatial environment.

[0072] Although particular features have been shown and described, it will be understood that they are not intended to limit the claimed invention, and it will be made obvious to those skilled in the art that various changes and modifications may be made without departing from the scope of the claimed invention. The specification and drawings are, accordingly to be regarded in an illustrative rather than restrictive sense. The claimed invention is intended to cover all alternatives, modifications and equivalents.

[0073] ITEMS:

[0074] 1. An audio device for improving the listening experience for a far-end user, the audio device comprising:

[0075] -a millimeter wave -MMW -antenna array comprising two or more MMW antennas, the MMW antenna array being configured for receiving and transmitting MMW signals;

[0076] -a MMW transducer comprising a MMW transmitter and a MMW receiver, wherein the MMW transducer is interconnected with the MMW antenna array, and wherein:

[0077] ● the MMW transmitter is configured for transmitting a first MMW signal into a spatial environment, and

[0078] ● the MMW receiver is configured for receiving a second MMW signal, the second MMW signal being a reflected version of the first MMW signal caused by one or more objects in the spatial environment;

[0079] -a MMW processor configured for determining an acoustic reverberation timing based on the second MMW signal;

[0080] -one or more microphones configured for receiving a first audio signal from the spatial environment;

[0081] -an audio processor configured for performing adaptive noise suppression on the first audio signal, wherein the adaptive noise suppression is based on the acoustic reverberation timing; and

[0082] -a communication management device configured for transmitting a second audio signal to one or more external devices, wherein the second audio signal comprises an adaptive noise suppressed representation of the first audio signal, and wherein the one or more external devices are configured to be used by far-end users outside the spatial environment.

[0083] 2. The audio device according to the preceding item, wherein the MMW processor is further configured for determining an echo path based on the second MMW signal; wherein the audio processor is further configured for performing adaptive echo cancellation on the first audio signal, the adaptive echo cancellation is based on the echo path; and wherein the second audio signal further comprises an adaptive echo cancelled representation of the first audio signal.

[0084] 3. The audio device according to any one of the preceding items, wherein the MMW processor is further configured for determining a spatial environment model based on the second MMW signal and one or more MMW beamforming filters.

[0085] 4. The audio device according to any one of the preceding items, wherein the spatial environment model comprises directional, positional and / or movement data of the one or more objects in the spatial environment.

[0086] 5. The audio device according to any one of the preceding items, wherein at least one of the one or more MMW beamforming filters is an adaptive MMW beamforming filter.

[0087] 6. The audio device according to any one of the preceding items, wherein the MMW processor is further configured for determining a sound field 3D model based on the spatial environment model.

[0088] 7. The audio device according to any one of the preceding items, wherein the sound field 3D model is determined using a first transfer function.

[0089] 8. The audio device according to any one of the preceding items wherein the sound field 3D model comprises sound reflection models and / or loss transfer functions associated with the directional, positional and / or movement data of the one or more objects in the spatial environment.

[0090] 9. The audio device according to any one of the preceding items, wherein the acoustic reverberation timing is further based on the sound field 3D model and wherein the adaptive noise suppression is performed using one or more adaptive noise suppression filters.

[0091] 10. The audio device according to any one of the preceding items, wherein the echo path is further based on the sound field 3D model and wherein the echo cancellation is performed using one or more adaptive echo cancellation filters.

[0092] 11. The audio device according to any one of the preceding items, wherein the audio device further comprises a pre-processor and wherein the pre-processor is configured for providing front-end signal processing on the first audio signal prior to the adaptive echo cancellation and / or adaptive noise suppression.

[0093] 12. The audio device according to any one of the preceding items, wherein the pre-processor is further configured for determining an initial first estimation of filter coefficients for the one or more adaptive echo cancellation filters and / or the one or more adaptive noise suppression filters.

[0094] 13. The audio device according to any one of the preceding items, wherein the audio processor is further configured for embedding and synchronizing the first audio signal into the sound field 3D model.

[0095] 14. The audio device according to any one of the preceding items, wherein the one or more microphones comprise at least two microphones and wherein the audio processor is further configured for applying one or more audio beamforming filters on the first audio signal.

[0096] 15. The audio device according to any one of the preceding items, wherein at least one of the one or more audio beamforming filters is an adaptive audio beamforming filter.

[0097] 16. The audio device according to any one of the preceding items, wherein the at least one adaptive audio beamforming filter of the one or more audio beamforming filters is based on the sound field 3D model.

[0098] 17. The audio device according to any one of the preceding items, wherein the audio device further comprises a spatial sound generator configured for determining a spatial sound image based on the sound field 3D model using a second transfer function.

[0099] 18. The audio device according to any one of the preceding items, wherein the second transfer function is a Head Related Transfer Function.

[0100] 19. The audio device according to any one of the preceding items, wherein the second audio signal is transmitted to the one or more external devices via one or more audio channels.

[0101] 20. The audio device according to any one of the preceding items, wherein the audio device further comprises one or more speakers, wherein the communication management device is further configured for receiving one or more third audio signals from the one or more external devices, and wherein the one or more speakers is configured for outputting the one or more third audio signals.

[0102] 21. A method performed in an audio device for improving the listening experience for a far-end user, the method comprising:

[0103] -transmitting, via a millimeter wave -MMW -transmitter interconnected with a MMW antenna array, a first MMW signal into a spatial environment;

[0104] -receiving, via a MMW receiver interconnected with the MMW antenna array, a second MMW signal, wherein the second MMW signal is a reflection of the first MMW signal caused by the spatial environment;

[0105] -determining, via the MMW processor, an acoustic reverberation timing based on the second MMW signal;

[0106] -receiving, via one or more microphones, a first audio signal from the spatial environment;

[0107] -performing, via an audio processor, adaptive noise suppression on the first audio signal, wherein the adaptive noise suppression is based on the acoustic reverberation timing; and

[0108] -transmitting, via a communication management device, a second audio signal to one or more external devices, wherein the second audio signal comprises an adaptive noise suppressed representation of the first audio signal, and wherein the one or more external devices are configured to be used by far-end users outside the spatial environment.

[0109] 22. The method according to the preceding item, wherein the method further comprises:

[0110] -determining, via the MMW processor, an echo path based on the second MMW signal;

[0111] -performing, via the audio processor, adaptive echo cancellation on the first audio signal, wherein the adaptive echo cancellation is based on the acoustic echo path; and wherein the second audio signal further comprises an adaptive echo cancelled representation of the first audio signal.

[0112] 23. The method according to any one of the preceding items 21-22, wherein the method further comprises:

[0113] -determining, via the MMW processor, a spatial environment model based on the second MMW signal and one or more MMW beamforming filters;

[0114] -determining, via the MMW processor and using a first transfer function, a sound field 3D model based on the spatial environment model; and

[0115] wherein the echo path and / or the acoustic reverberation timing is further based on the sound field 3D model.

[0116] 24. The method according to any one of the preceding items 21-23, wherein the method further comprises:

[0117] -determining, via a spatial sound generator, a spatial sound image based on the sound field 3D model using a second transfer function.

[0118] 25. The method according to any one of the preceding items 21-24, wherein the acoustic reverberation timing is further based on a sound field 3D model, the sound field 3D model being determined via the MMW processor.

[0119] LIST OF REFERENCES

[0120] 2 audio device

[0121] 4 MMW antenna array

[0122] 6 MMW transducer

[0123] 8 MMW transmitter

[0124] 10 MMW receiver

[0125] 12 MMW processor

[0126] 14 one or more microphones

[0127] 16 audio processor

[0128] 18 communication management device

[0129] 20 pre-processor

[0130] 22 spatial sound generator

[0131] 24 one or more speakers

[0132] 30 adaptive filter

[0133] 32 input signal

[0134] 34 desired signal

[0135] 36 filtered output

[0136] 38 filter coefficients

[0137] 40 error signal

[0138] 42 further input from sound field 3D model

[0139] 100 method

[0140] 102 transmitting a first MMW signal

[0141] 104 receiving a second MMW signal

[0142] 106 determining an acoustic reverberation timing

[0143] 108 receiving a first audio signal

[0144] 110 performing adaptive noise suppression on the first audio signal

[0145] 112 transmitting a second audio signal to one or more external devices

Claims

1.An audio device (2) for improving the listening experience for a far-end user, the audio device (2) comprising:- a millimeter wave -MMW -antenna array (4) comprising two or more MMW antennas, the MMW antenna array (4) being configured for receiving and transmitting MMW signals;- a MMW transducer (6) comprising a MMW transmitter and a MMW receiver, wherein the MMW transducer is interconnected with the MMW antenna array, and wherein:· the MMW transmitter (8) is configured for transmitting a first MMW signal into a spatial environment, and· the MMW receiver (10) is configured for receiving a second MMW signal, the second MMW signal being a reflected version of the first MMW signal caused by one or more objects in the spatial environment;- a MMW processor (12) configured for determining an acoustic reverberation timing based on the second MMW signal;- one or more microphones (14) configured for receiving a first audio signal from the spatial environment;- an audio processor (16) configured for performing adaptive noise suppression on the first audio signal, wherein the adaptive noise suppression is based on the acoustic reverberation timing; and- a communication management device (18) configured for transmitting a second audio signal to one or more external devices, wherein the second audio signal comprises an adaptive noise suppressed representation of the first audio signal, and wherein the one or more external devices are configured to be used by far-end users outside the spatial environment.2.The audio device (2) according to claim 1, wherein the MMW processor (12) is further configured for determining an echo path based on the second MMW signal; wherein the audio processor (16) is further configured for performing adaptive echo cancellation on the first audio signal, the adaptive echo cancellation is based on the echo path; and wherein the second audio signal further comprises an adaptive echo cancelled representation of the first audio signal.3.The audio device (2) according to any one of the preceding claims, wherein the MMW processor (12) is further configured for determining a spatial environment model based on the second MMW signal and one or more MMW beamforming filters.4.The audio device (2) according to any one of the preceding claims, wherein the spatial environment model comprises directional, positional and / or movement data of the one or more objects in the spatial environment.5.The audio device (2) according to any one of the preceding claims, wherein the MMW processor (12) is further configured for determining a sound field 3D model based on the spatial environment model.6.The audio device (2) according to claim 5, wherein the sound field 3D model is determined using a first transfer function.7.The audio device (2) according to any one of claims 5 -6, wherein the sound field 3D model comprises sound reflection models and / or loss transfer functions associated with the directional, positional and / or movement data of the one or more objects in the spatial environment.8.The audio device (2) according to any one of claims 5 -7, wherein the acoustic reverberation timing is further based on the sound field 3D model; and wherein the adaptive noise suppression is performed using one or more adaptive noise suppression filters.9.The audio device (2) according to any one of the preceding claims, wherein the audio device (2) further comprises a pre-processor (20) ; and wherein the pre-processor (20) is configured for providing front-end signal processing on the first audio signal prior to the adaptive echo cancellation and / or adaptive noise suppression.10.The audio device (2) according to any one of claims 5 -9, wherein the audio processor (16) is further configured for embedding and synchronizing the first audio signal into the sound field 3D model.11.The audio device (2) according to any one of the preceding claims, wherein the one or more microphones (14) comprise at least two microphones; and wherein the audio  processor (16) is further configured for applying one or more audio beamforming filters on the first audio signal.12.The audio device (2) according to claim 11, wherein at least one of the one or more audio beamforming filters is an adaptive audio beamforming filter.13.The audio device (2) according to claim 12 as depended on any one of claims 5 -10, wherein the at least one adaptive audio beamforming filter of the one or more audio beamforming filters is based on the sound field 3D model.14.The audio device (2) according to any one of claims 5 -13, wherein the audio device (2) further comprises a spatial sound generator configured for determining a spatial sound image based on the sound field 3D model using a second transfer function.15.A method (100) performed in an audio device for improving the listening experience for a far-end user, the method (100) comprising:-transmitting (102) , via a millimeter wave -MMW -transmitter interconnected with a MMW antenna array, a first MMW signal into a spatial environment;-receiving (104) , via a MMW receiver interconnected with the MMW antenna array, a second MMW signal, wherein the second MMW signal is a reflection of the first MMW signal caused by the spatial environment;-determining (106) , via the MMW processor, an acoustic reverberation timing based on the second MMW signal;-receiving (108) , via one or more microphones, a first audio signal from the spatial environment;-performing (110) , via an audio processor, adaptive noise suppression on the first audio signal, wherein the adaptive noise suppression is based on the acoustic reverberation timing; and-transmitting (112) , via a communication management device, a second audio signal to one or more external devices, wherein the second audio signal comprises an adaptive noise suppressed representation of the first audio signal, and wherein the one or more external devices are configured to be used by far-end users outside the spatial environment.

Images