Sound systems, apparatuses, and methods with improved sound intelligibility, and non-transitory computer-readable storage media therefor

Abstract

A computerized method has the steps of: estimating one or more characteristics of background noise, generating a plurality of sound-reshaping parameters based on the one or more characteristics, and modifying a voice frame based on the plurality of sound-reshaping parameters for outputting the reshaped voice frame for playing via one or more speakers, wherein said modifying the voice frame includes: adjusting at least a first portion of a voice frame and converting at least a second portion of a voice frame to a Lombard version thereof, based on the plurality of sound-reshaping parameters.

Description

SOUND SYSTEMS, APPARATUSES, AND METHODS WITH IMPROVED SOUND INTELLIGIBILITY, AND NON-TRANSITORY COMPUTER-READABLE STORAGE MEDIA THEREFORFIELD OF THE DISCLOSURE

[0001] The present disclosure relates generally to sound systems, and apparatuses, methods, and non-transitory computer-readable storage media therefor, and in particular to sound systems, apparatuses, and methods with improved sound intelligibility, and non-transitory computer-readable storage media therefor.BACKGROUND

[0002] Large language models (LLMs) and hence voice user interfaces (VUIs) using LLMs are increasingly integrated into many daily-life devices and applications, demanding an ever-increased user engagement. As a result, open-concept earables such as smart glasses and open earphones are becoming increasingly popular due to improved user comport. Open-concept earables also allow ambient sound to pass through, as they rest outside ear canal rather than inside it. However, this makes them susceptible to background noise, as sound quality degrades by higher background activity level. Specifically, a louder background noise leads to compromised speech intelligibility (SI) , that is the user struggles to perceive the content of the target speech in the presence of loud background noise.SUMMARY

[0003] According to one aspect of this disclosure, there is provided a computerized method comprising: estimating one or more characteristics of background noise; generating a plurality of sound-reshaping parameters based on the one or more characteristics; and reshaping a voice frame based on the plurality of sound-reshaping parameters for outputting the reshaped voice frame for playing via one or more speakers; wherein said reshaping the voice frame comprises: adjusting at least a first portion of a voice frame based on the plurality of sound-reshaping parameters.

[0004] In some embodiments, said adjusting the at least first portion of the voice frame comprises: modifying frequency-time characteristics of the at least first portion of the voice frame.

[0005] In some embodiments, said adjusting the at least first portion of the voice frame comprises: modifying a volume, a pitch, and / or an articulation of the at least first portion of the speech frame.

[0006] In some embodiments, said adjusting the at least first portion of the voice frame comprises: modifying a distribution of energy of the at least first portion of the voice frame in a frequency domain; modifying an amplitude of the at least first portion of the voice frame; amplifying the at least first portion of the voice frame and attenuating one or more high-energy segments of the at least first portion of the voice frame; changing a text-to-speech (TTS) voice of the at least first portion of the voice frame; replacing the at least first portion of the voice frame with a paraphrase thereof; repeating the at least first portion of the voice frame for one or more times; modifying an utterance speed of the at least first portion of the voice frame; or a combination thereof.

[0007] In some embodiments, said generating the plurality of sound-reshaping parameters comprises: after said generating the plurality of sound-reshaping parameters, revising the plurality of sound-reshaping parameters based on a plurality of previously generated sound-reshaping parameters.

[0008] In some embodiments, said revising the plurality of sound-reshaping parameters comprises: smoothing the plurality of sound-reshaping parameters by averaging the plurality of sound-reshaping parameters with the plurality of previously generated sound-reshaping parameters.

[0009] In some embodiments, said generating the plurality of sound-reshaping parameters based on the one or more characteristics comprises: generating the plurality of sound-reshaping parameters based on the one or more characteristics and one or more user preference parameters.

[0010] In some embodiments, the one or more user preference parameters comprise: a sensitivity parameter; indication of one or more preferred text-to-speech (TTS) voices; or a combination thereof.

[0011] In some embodiments, the plurality of sound-reshaping parameters comprise: an output volume level; a Lombardness intensity; an utterance speed; a TTS voice selection; an indication of lost-speech segment; or a combination thereof.

[0012] In some embodiments, the method further comprises: generating the voice frame from an input text; and adjusting a speed of utterance of the reshaped voice frame.

[0013] In some embodiments, the one or more characteristics comprise: background noise level; background noise type; speech intelligibility index (SII) ; time / location information of the one or more speakers; or a combination thereof.

[0014] In some embodiments, the method further comprises: if the SII is smaller than a threshold, generating a paraphrase of a segment of the voice frame indicated by the indication of lost-speech segment, and combining the paraphrase with the reshaped voice frame.

[0015] In some embodiments, said generating the paraphrase of the segment of the voice frame comprises: generating, using a large language model (LLM) , the paraphrase of the segment of the voice frame indicated by the indication of lost-speech segment.

[0016] In some embodiments, said adjusting at least a first portion of a voice frame comprises: adjusting one or more characteristics of the at least first portion of a voice frame such that an amplitude of the at least first portion of the voice frame is modified within a predefined or preconfigured limit.

[0017] According to one aspect of this disclosure, there is provided a system or apparatus comprising: one or more circuits such as one or more processors; and one or more non-transitory computer-readable storage devices comprising computer-executable instructions; wherein the instructions, when executed, cause the one or more circuits to perform any of above-described methods and / or any methods disclosed herein.

[0018] According to one aspect of this disclosure, there is provided one or more non-transitory computer-readable storage devices comprising computer-executable instructions, wherein the instructions, when executed, cause one or more circuits to perform any of above-described methods and / or any methods disclosed herein.

[0019] According to one aspect of this disclosure, there is provided an apparatus comprising one or more processors functionally connected to one or more memories storing instructions; the one or more processors are configured to execute the instructions to perform any of the above-described methods and / or any of the methods disclosed herein.

[0020] According to one aspect of this disclosure, there is provided one or more memories storing instructions; the instructions, when executed, cause one or more processors to perform any of the above-described methods and / or any of the methods disclosed herein.

[0021] In another aspect, embodiments of this disclosure provide an apparatus, wherein the apparatus comprises a function or unit to perform any of the above-described methods and / or any of the methods disclosed herein.

[0022] In another aspect, embodiments of this disclosure provide a computer readable storage medium, comprising one or more instructions, wherein when the one or more instructions are run on a computer, the computer performs any of the above-described methods and / or any of the methods disclosed herein.

[0023] In another aspect, embodiments of this disclosure provide a non-transitory computer-readable medium storing instruction the instructions causing a processor in a device to implement any of the above-described methods and / or any of the methods disclosed herein.

[0024] In another aspect, embodiments of this disclosure provide a device configured to perform any of the above-described methods and / or any of the methods disclosed herein.

[0025] In another aspect, embodiments of this disclosure provide a processor, configured to execute instructions to cause a device to perform any of the above-described methods and / or any of the methods disclosed herein.

[0026] In another aspect, embodiments of this disclosure provide an integrated circuit configure to perform any of the above-described methods and / or any of the methods disclosed herein.

[0027] According to one aspect of this disclosure, there is provided a module comprising: one or more circuits for performing any of the above-described methods and / or any of the methods disclosed herein.

[0028] According to one aspect of this disclosure, there is provided one or more processors functionally connected to one or more memories for performing any of the above-described methods and / or any of the methods disclosed herein.

[0029] According to one aspect of this disclosure, there is provided an apparatus comprising: one or more processors functionally connected to one or more memories for performing any of the above-described methods and / or any of the methods disclosed herein.

[0030] According to one aspect of this disclosure, there is provided an apparatus configured to perform any of the above-described methods and / or any of the methods disclosed herein.

[0031] In some embodiments the apparatus comprises one or more units configured to perform any of the above-described methods and / or any of the methods disclosed herein.

[0032] According to one aspect of this disclosure, there is provided one or more non-transitory, computer-readable storage media comprising computer-executable instructions, wherein the instructions, when executed, cause at least one processing unit, at least one processor, or at least one circuits to perform any of the above-described methods and / or any of the methods disclosed herein.

[0033] According to one aspect of this disclosure, there is provided one or more computer-readable storage media storing a computer program, wherein, when the computer program is executed by an apparatus, the apparatus is enabled to implement any of the above-described methods and / or any of the methods disclosed herein.

[0034] According to one aspect of this disclosure, there is provided a computer program product including one or more instructions, wherein, when the instructions are executed by an apparatus, the apparatus is enabled to implement any of the above-described methods and / or any of the methods disclosed herein.

[0035] According to one aspect of this disclosure, there is provided a computer program, wherein, when the computer program is executed by a computer, an apparatus is enabled to implement any of the above-described methods and / or any of the methods disclosed herein.

[0036] According to one aspect of this disclosure, there is provided a system comprising a node for performing any of the above-described methods and / or any of the methods disclosed herein.

[0037] According to one aspect of this disclosure, there is provided an apparatus for implementing any of the above-described methods and / or any of the methods disclosed herein in any possible implementation of the foregoing aspects.

[0038] Thus, in various embodiments, the system and methods disclosed herein provide a technical solution with various advantageous effects such as: · benefits from a combinatorial response map based on various techniques to maintain SI by continuously monitoring  background noise activity, such as ○ automatic volume adjustment, ○ inducing Lombard effect in the output voice, including automatic speed of utterance adjustment, to improve SI, ○ paraphrasing and repeating lost speech segment, and / or ○ automatically changing smart assistant voice; · providing a smooth and seamless transition between different output states, thereby delivering a pleasant user experience  while maintaining SII; · monitoring the output quality of an uttered TTS segment, and generating and playing a paraphrase of the lost speech  segment when the SII falls below an average human auditory threshold even after applying the response map (for example, due to intense non-stationary background noise, or a competing speaker) ; · automatically switching between a set of TTS voices (such as female and male voices, and / or the like) to deliver the best  SII given a specific acoustic background activity; · maintaining SI at the same volume level, which lowers power consumption in noisy environments, while helping protect  hearing health by avoiding too high volume; · only amplifying the input speech for higher SNR environments, which maintains signal fidelity, and inducing varying  Lombard effect for lower SNR depending on the severity of the background noise. · suitable for use with the voice interfaces in the low SNR acoustic environment of vehicle cabin.BRIEF DESCRIPTION OF THE DRAWINGS

[0039] For a more complete understanding of the disclosure, reference is made to the following description and accompanying drawings, in which:

[0040] FIG. 1 is a schematic diagram of a sound system, according to some embodiments of this disclosure.

[0041] FIG. 2 is a schematic diagram showing a simplified hardware structure of the controller of the sound system shown in FIG. 1.

[0042] FIG. 3 is a schematic diagram showing a simplified software architecture of the controller of the sound system shown in FIG. 1.

[0043] FIG. 4 is a schematic diagram showing an artificial intelligence (AI) engine used by the sound system shown in FIG. 1 according to some embodiments of this disclosure, wherein the AI engine comprises a large language model (LLM) .

[0044] FIGs. 5A to 5C are schematic diagrams showing different types of the LLMs shown in FIG. 4, wherein FIG. 5A is a schematic diagram showing an encoder-based LLM, FIG. 5B is a schematic diagram showing a decoder-based LLM, and FIG. 5C is a schematic diagram showing an encoder-decoder-based LLM.

[0045] FIG. 6 is a schematic diagram showing the sound system for performing a sound intelligibility improvement method, according to some embodiments of this disclosure.

[0046] FIG. 7 is schematic diagram showing the detail of the response map module of the sound system shown in FIG. 6, according to some embodiments of this disclosure.

[0047] FIG. 8 is schematic diagram showing the detail of speech-reshaping module of the sound system shown in FIG. 6, according to some embodiments of this disclosure.

[0048] FIG. 9 is a schematic diagram showing an example of the sound system for performing a sound intelligibility improvement method, according to some embodiments of this disclosure.

[0049] FIG. 10 is a schematic diagram showing another example of the sound system for performing a sound intelligibility improvement method, according to some embodiments of this disclosure.

[0050] FIG. 11 is a schematic diagram showing yet another example of the sound system for performing a sound intelligibility improvement method, according to some embodiments of this disclosure.

[0051] FIG. 12 is a schematic diagram showing still another example of the sound system for performing a sound intelligibility improvement method, according to some embodiments of this disclosure.DETAILED DESCRIPTIONA. SYSTEM STRUCTURE

[0052] Turning now to FIG. 1, a sound system is shown and is generally identified using reference numeral 100. In various embodiments, the sound system 100 may be a wearable sound apparatus such as a headset, an earable apparatus (which is a sound device wearable in, on, or around one or more ears of a user) having one or more earphones, a pair of smart glasses, earbuds, headphones, a computing system with a headset or earpieces, or the like.

[0053] As shown, the sound system 100 comprises one or more speakers 102 and one or more microphones 104 functionally connecting to one or more controlling circuits 106 (such as one or more controllers) via suitable wired and wireless connections, for playing sound to a user.

[0054] The controller 106 may be any suitable portable and / or non-portable computing device such as laptop computer, tablet, smartphone, personal digital assistant (PDA) , virtual reality (VR) headset, augmented reality (AR) goggle, desktop computer, computer server, and / or the like. FIG. 2 is a schematic diagram showing the structure of the controller 106.

[0055] As shown, the controller 106 comprises a processing structure 122, a controlling structure 124, one or more non-transitory computer-readable memory or storage devices or media 126, an input interface 128, and an output interface 130, functionally interconnected by a system bus 138. The controller 106 may also comprise a network interface 132 and / or other components 134 coupled to the system bus 138.

[0056] The processing structure 122 may be one or more single-core or multiple-core computing processors, generally referred to as central processing units (CPUs) , such as microprocessors (INTEL is a registered trademark of Intel Corp., Santa Clara, CA, USA) ,  microprocessors (AMD is a registered trademark of Advanced Micro Devices Inc., Sunnyvale, CA, USA) ,  microprocessors (ARM is a registered trademark of Arm Ltd., Cambridge, UK) manufactured by a variety of manufactures such as Qualcomm of San Diego, California, USA, under the architecture, NVIDIA processor, or the like. When the processing structure 122 comprises a plurality of processors, the processors thereof may collaborate via a specialized circuit such as a specialized bus or via the system bus 138.

[0057] The processing structure 122 may also or alternatively comprise one or more real-time processors, programmable logic controllers (PLCs) , microcontroller units (MCUs) , μ-controllers (UCs) , specialized / customized processors, hardware accelerators, and / or controlling circuits (also denoted “controllers” ) using, for example, field-programmable gate array (FPGA) or application-specific integrated circuit (ASIC) technologies, and / or the like. In some embodiments, the processing structure includes a CPU (otherwise referred to as a host processor) and a specialized hardware accelerator which includes circuitry configured to perform computations of neural networks such as tensor multiplication, matrix multiplication, and the like. The host processor may offload some computations to the hardware accelerator to perform computation operations of neural network. Examples of a hardware accelerator include a graphics processing unit (GPU) , Neural Processing Unit (NPU) , and Tensor Process Unit (TPU) . In some embodiments, the host processors and the hardware accelerators (such as the GPUs, NPUs, and / or TPUs) may be generally considered processors.

[0058] Generally, the processing structure 122 comprises necessary circuitries implemented using technologies such as electrical and / or optical hardware components for executing one or more processes, as the design purpose and / or the use case maybe. For example, the processing structure 122 may comprise logic gates implemented by semiconductors to perform various computations, calculations, and / or processings. Examples of logic gates include AND gate, OR gate, XOR (exclusive OR) gate, and NOT gate, each of which takes one or more inputs and generates or otherwise produces an output therefrom based on the logic implemented therein. For example, a NOT gate receives an input (for example, a high voltage, a state with electrical current, a state with an emitted light, or the like) , inverts the input (for example, forming a low voltage, a state with no electrical current, a state with no light, or the like) , and output the inverted input as the output.

[0059] While the inputs and outputs of the logic gates are generally physical signals and the logics or processing thereof are tangible operations with physical results (for example, outputs of physical signals) , the inputs and outputs thereof are generally described using numerals (for example, numerals “0” and “1” ) and the operations thereof are generally described as “computing” (which is how the “computer” or “computing device” is named) or “calculation” , or more generally, “processing” , for generating or producing the outputs from the inputs thereof.

[0060] Sophisticated combinations of logic gates in the form of a circuitry of logic gates, such as the processing structure 122, may be formed using a plurality of AND, OR, XOR, and / or NOT gates. Such combinations of logic gates may be implemented using individual semiconductors, or more often be implemented as integrated circuits (ICs) .

[0061] A circuitry of logic gates may be “hard-wired” circuitry which, once designed, may only perform the designed functions. In this example, the processes and functions thereof are “hard-coded” in the circuitry.

[0062] With the advance of technologies, it is often that a circuitry of logic gates such as the processing structure 122 may be alternatively designed in a general manner so that it may perform various processes and functions according to a set of “programmed” instructions implemented as firmware and / or software and stored in one or more non-transitory computer-readable storage devices or media. In this example, the circuitry of logic gates such as the processing structure 122 is usually of no use without meaningful firmware and / or software.

[0063] Of course, those skilled the art will appreciate that a process or a function (and thus the processor 122) may be implemented using other technologies such as analog technologies.

[0064] Referring back to FIG. 2, the controlling structure 124 comprises one or more controlling circuits, such as graphic controllers, input / output chipsets and the like, for coordinating operations of various hardware components and modules of the controller 106.

[0065] The memory 126 comprises one or more storage devices or media accessible by the processing structure 122 and the controlling structure 124 for reading and / or storing instructions for the processing structure 122 to execute, and for reading and / or storing data, including input data and data generated by the processing structure 122 and the controlling structure 124. The memory 126 may be volatile and / or non-volatile, non-removable or removable memory such as RAM, ROM, EEPROM, solid-state memory, hard disks, CD, DVD, flash memory, or the like.

[0066] The input interface 128 comprises one or more input modules for one or more users to input data via, for example, touch-sensitive screen, touch-sensitive whiteboard, touchpad, keyboards, computer mouse, trackball, microphone 104, scanners, cameras, and / or the like. The input interface 128 may be a physically integrated part of the controller 106 (for example, the touchpad of a laptop computer or the touch-sensitive screen of a tablet) , or may be a device physically separate from, but functionally coupled to, other components of the controller 106 (for example, a computer mouse) . The input interface 128, in some implementation, may be integrated with a display output to form a touch-sensitive screen or touch-sensitive whiteboard.

[0067] The output interface 130 comprises one or more output modules for output data to a user. Examples of the output modules comprise displays (such as monitors, LCD displays, LED displays, projectors, and the like) , speaker 102, speaker port, printers, virtual reality (VR) headsets, augmented reality (AR) goggles, and / or the like. The output interface 130 may be a physically integrated part of the controller 106 (for example, the display of a laptop computer or tablet) , or may be a device physically separate from but functionally coupled to other components of the controller 106 (for example, the monitor of a desktop computer) .

[0068] The controller 106 may also comprise a network interface 132, which comprises one or more network modules for connecting to other computing devices or networks by using suitable wired or wireless communication technologies such as Ethernet,   (WI-FI is a registered trademark of Wi-Fi Alliance, Austin, TX, USA) ,   (BLUETOOTH is a registered trademark of Bluetooth Sig Inc., Kirkland, WA, USA) , Bluetooth Low Energy (BLE) , Z-Wave, Long Range (LoRa) ,  (ZIGBEE is a registered trademark of ZigBee Alliance Corp., San Ramon, CA, USA) , wireless broadband communication technologies such as Global System for Mobile Communications (GSM) , Code Division Multiple Access (CDMA) , Universal Mobile Telecommunications System (UMTS) , Worldwide Interoperability for Microwave Access (WiMAX) , CDMA2000, Long Term Evolution (LTE) , 3GPP, fifth-generation New Radio (5G NR) and / or other 5G networks, fifth-generation (6G) networks, and / or the like. In some embodiments, parallel ports, serial ports, USB connections, optical connections, or the like may also be used for connecting other computing devices or networks although they are usually considered as input / output interfaces for connecting input / output devices.

[0069] The controller 106 may also comprise other components 134 such as one or more positioning modules, temperature sensors, barometers, inertial measurement unit (IMU) , and / or the like.

[0070] The system bus 138 interconnects various components 122 to 134 enabling them to transmit and receive data and control signals to and from each other.

[0071] In various embodiments, the one or more speakers 102 may be connected to the controller 106 using a wired connection via the speaker port, or wirelessly via Bluetooth or other suitable wireless technologies.

[0072] FIG. 3 shows a simplified software architecture of the controller 106. On the software side, the controller 106 comprises one or more application programs 164, an operating system 166, a logical input / output (I / O) interface 168, and a logical memory 172. The one or more application programs 164, operating system 166, and logical I / O interface 168 are generally implemented as computer-executable instructions or code in the form of software programs or firmware programs stored in the logical memory 172 which may be executed by the processing structure 122.

[0073] The one or more application programs 164 executed by or run by the processing structure 122 for performing various tasks.

[0074] The operating system 166 manages various hardware components of the controller 106 via the logical I / O interface 168, manages the logical memory 172, and manages and supports the application programs 164. The operating system 166 is also in communication with other computing devices (not shown) via the network 108 to allow application programs 164 to communicate with those running on other computing devices. As those skilled in the art will appreciate, the operating system 166 may be any suitable operating system such as  (MICROSOFT and WINDOWS are registered trademarks of the Microsoft Corp., Redmond, WA, USA) ,  OS X,  iOS (APPLE is a registered trademark of Apple Inc., Cupertino, CA, USA) , Linux,   (ANDROID is a registered trademark of Google LLC, Mountain View, CA, USA) , or the like.

[0075] The logical I / O interface 168 comprises one or more device drivers 170 for communicating with respective input and output interfaces 128 and 130 for receiving data therefrom and sending data thereto. Received data may be sent to the one or more application programs 164 for being processed by one or more application programs 164. Data generated by the application programs 164 may be sent to the logical I / O interface 168 for outputting to various output devices (via the output interface 130) .

[0076] The logical memory 172 is a logical mapping of the physical memory 126 for facilitating the application programs 164 to access. In this embodiment, the logical memory 172 comprises a storage memory area that may be mapped to a non-volatile physical memory such as hard disks, solid-state disks, flash drives, and the like, generally for long-term data storage therein. The logical memory 172 also comprises a working memory area that is generally mapped to high-speed, and in some implementations volatile, physical memory such as RAM, generally for application programs 164 to temporarily store data during program execution. For example, an application program 164 may load data from the storage memory area into the working memory area, and may store data generated during its execution into the working memory area. The application program 164 may also store some data into the storage memory area as required or in response to a user’s command. B. SOUND INTELLIGIBILITY IMPROVEMENT

[0077] In the sound system 100, the controller 106 may execute a program for controlling the speaker to improve sound intelligibility.

[0078] Various sound intelligibility improvement methods have been used in prior art. For example, the Airbuds Pro offered by Apple Inc., Cupertino, CA, USA provides a function of Personalized Volume, which automatically adjusts volume based on ambient conditions. As another example, Huawei FreeClip offered by Huawei Technologies Co., Ltd., Shenzhen, China provides a Big Volume function, wherein, when the user continues pushing up the volume button while it is at maximum, the output volume will be amplified by a certain decibel (dB) together with some spectral boosting.

[0079] However, increasing volume may not always enhance intelligibility, especially when the background noise spectrum overlaps with the speech. Furthermore, in some extreme scenarios, speech is unintelligible even with maximum volume level. On the other hand, higher volume level leads to higher battery consumption, as well as potential damage to hearing. Finally, FreeClip’s Big Volume is not an automatic feature and only triggers for the rare case of maximum volume output.

[0080] US Patent No. 6, 993, 480 to Klayman discloses a voice intelligibility enhancement system, wherein speech intelligibility (SI) is improved by a speech enhancer which uses an aural filter (inversely proportional to Fletcher-Munson curves) in combination with a speech expander. When the speech signal is operating at a low volume level, the speech enhancer provides a transfer function that is relatively flatter than the transfer function at high volume levels. Conversely, for high volume levels, the speech enhancer provides a transfer function that produces relatively more gain in the middle frequency ranges than in the low and high frequency ranges. Intelligibility of the speech is enhanced because it is the middle frequencies that contribute most to the intelligibility of speech. At higher volume levels, the lower and higher frequencies merely contribute to the overall sound volume level and thus tend to increase listener discomfort and feedback rather than intelligibility.

[0081] However, there is no feedback mechanism in the disclosed solution, and depending on the pre-specified volume level, a fixed frequency equalizer is applied.

[0082] US Patent No. 10, 636, 433 to Stylianou discloses a speech processing system for enhancing speech to be outputted in a noisy environment, which applies a spectral shaping filter to the speech received via spoken speech input, and utilizes dynamic range compression to the output of the spectral shaping filter. Furthermore, it adjusts spectral shaping filter and dynamic range compressions by a parameter update module, which can be updated in real-time according to the measured signal to noise ratio.

[0083] However, the spectral shaping filter is a fixed frequency filter, boosting higher frequency components while maintaining the signal energy level. No speech intelligibility (SI) feedback is used to ensure improved perceived intelligibility.

[0084] US Patent No. 9, 842, 607 to Shiga discloses a speech intelligibility improving apparatus capable of generating highly intelligible speech in various environments without unnecessarily amplifying sound volume. The idea is to modify speech spectrum based on measured ambient sound spectrum.

[0085] However, no details are given regarding the transition manner for dynamic environments. Furthermore, no SI feedback is gathered from the environment.

[0086] EP Patent No. 3,573,059 B1 to Alan, et al. discloses dialog enhancement by applying a fixed frequency response curve that amplifies all contents in the frequency range of dialog (applicable for hearing aids) . Dialog enhancement is also implemented based on metadata included in the audio stream, such as when to activate dialog enhancement or frequency content of the dialog to adapt the amplification frequency response.

[0087] However, frequency boosting is performed according to the frequency content of dialog and no feedback from the ambient sound is considered.

[0088] Academic paper entitled “An automatic volume control for preserving intelligibility, ” by Felber, published in 34th IEEE Sarnoff Symposium (pp. 1-5) , May 2011, discloses automatic volume control for preserving intelligibility, which adjusts volume using measured background noise level to preserve speech intelligibility.

[0089] Academic paper entitled “Deep learning based automatic volume control and limiter system, ” by Yang, et al., published in 2017 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP) (pp. 2177-2181) , March 2017, discloses a deep learning-based automatic volume control (AVC) approach, which utilizes machine learning (ML) to train an efficient processing system for AVC and limiter.

[0090] Academic paper entitled “Speech signal modification to increase intelligibility in noisy environments, ” by Yoo, et al., published in the Journal of the Acoustical Society of America 122.2 (2007) : 1138-1149, discloses a method to decompose speech into quasi-steady-state (QSS) and transient components. According to this paper, although most of speech energy falls in QSS component, transient component has almost the same intelligibility as original speech. Therefore, amplifying transient components is proposed.

[0091] Academic paper entitled “Speech-in-noise intelligibility improvement based on spectral shaping and dynamic range compression, ” by Zorila, et al., published in Proceedings of the Thirteenth Annual Conference of the International Speech Communication Association, Portland, OR, USA (pp. 9-13) , September 2012, and academic paper entitled “On spectral and time domain energy reallocation for speech-in-noise intelligibility enhancement, ” by Zorila, et al., published in INTERSPEECH (pp. 2050-2054) , 2014, disclose a method for speech-in-noise intelligibility improvement based on spectral shaping and dynamic range compression (SSDRC) , which is a normal speech to partial Lombard speech convertor, with no utterance speed change.

[0092] Academic paper entitled “Enhancing speech intelligibility in text-to-speech synthesis using speaking style conversion, ” by Paul, et al., published in arXiv preprint arXiv: 2008.05809, 2020, discloses enhancing speech intelligibility in text-to-speech synthesis using speaking style conversion, which combines SSDRC convertor and ML-based Lombard generator.

[0093] Academic paper entitled “Whispered and Lombard neural speech synthesis, ” by Hu, et al., published in 2021 IEEE Spoken Language Technology Workshop (SLT) (pp. 454-461) , January 2021, discloses an ML-based Lombard / whisper speech generator, which is suitable for increasing SI in speech synthesizers.

[0094] Academic paper entitled “Speech-in-noise enhancement using amplification and dynamic range compression controlled by the speech intelligibility index, ” by Schepker, et al., published in the Journal of the Acoustical Society of America, 138 (5) , 2692-2706, 2015, discloses AdaptDRC, which applies adaptive DRC depending on measured speech intelligibility index (SII) , to increase speech intelligibility under an equal-power constraint.

[0095] Academic paper entitled “Amachine speech chain approach for dynamically adaptive Lombard TTS in static and dynamic noise environments, ” by Novitasari, et al., published in IEEE / ACM Transactions on Audio, Speech, and Language Processing, 30, 2673-2688, 2022, discloses a machine speech chain approach for dynamically adaptive Lombard text-to-speech (TTS) to synthesize speech with dynamic adaptation depending on a feedback from ASR.

[0096] However, the solutions disclosed in these academic papers have at least one of the following drawbacks: · relying only on volume adjustment to improve speech intelligibility; · being applicable to only synthesized speech, not spoken speech; · no consideration of speech intelligibility in a feedback loop to ensure audibility; · machine speech chain approaches requires TTS / ASR pair for adaptation which is computationally expensive and only  applicable for synthetic speech; furthermore, improved ASR performance does not necessarily guarantee higher speech intelligibility by human ear; · ML-based Lombard generators cannot adapt to custom assistant voice.

[0097] Clearly, addressing speech intelligibility loss in the presence of background noise is a difficult question, and there only exist a limited number of solutions therefor. For example, in prior art, in order to improve intelligibility in open-concept earables in the presence of background noise, one needs to either use improved hardware (such as bulky and costly directional speakers) , or make some changes in the sound output. Increasing volume level is a trivial solution which degrades user experience and is not effective in many real-world scenarios.

[0098] In the following, various embodiments of sound intelligibility improvement methods are disclosed. The sound intelligibility improvement methods disclosed herein provide dynamic content (including synthesized and / or spoken speech) reshaping using a feedback mechanism, to maintain intelligibility of the speech in the presence of dynamic ambient noise.

[0099] Potential applications of the sound intelligibility improvement methods disclosed herein include scenarios where the background noise cannot be controlled or eliminated, and hence conventional noise cancellers (such as open-concept earables and devices, including smart glasses, open-ear earbuds, smart watches, smart phones, smart speakers, and / or the like) would not work. In such scenarios, instead of decreasing noise, the sound signal such as the speech signal is reshaped in order to increase the signal-to-noise ratio (SNR) and hence the SI at the listener’s ear.

[0100] In some embodiments, the sound system 100 uses an artificial intelligence (AI) engine (for example, in the form of one or more software programs) for sound intelligibility improvement. As shown in FIG. 4, the AI engine 202 comprises a foundation model (FM; such as a LLM 204, which is used as an example in the following description) for processing input 206 (also called “prompt” ; for example, natural language input in the form of text, voice, images, and / or the like) , recognizing and interpreting the input 206 for generating the output 208 in suitable forms (for example, in form of text, image, audio, video, and / or the like) as the response to the prompt 206. As those skilled in the art will appreciate, foundation models such as LLMs are neural network models that learn the semantics and syntax of language by encoding (sub) words into vector representations. LLMs use transformer models and are trained using massive datasets.

[0101] FIGs. 5A to 5C are schematic diagrams showing different types of LLM 204. These figures are simplified diagrams for showing the different types of LLM 204 only, and those skilled in the art will understand that the LLM 204 may also comprise other functional modules that are not shown in these figures.

[0102] FIG. 5A shows an encoder-based LLM 204 comprising an encoder 222 which processes the input tokens 224 (which are the units (for example, words or characters partitioned from the prompt 206) and generates embeddings 226 (which are then used to generate the output 208) . As those skilled in the art understand, embeddings are high-dimensional vectors encoding semantic contexts and relationships of data tokens.

[0103] Most popular LLMs 204 are decoder-based (or “decoder-only” ) models. As shown in FIG. 5B, the LLM 204 may be a LLM comprising a decoder 232 which processes the input tokens 224 and generates output tokens 236 (which are then used to generate the output 208) .

[0104] As shown in FIG. 5C, the LLM 204 may be an encoder-decoder-based LLM comprising an encoder 222 which processes the input tokens 224 and generates embeddings 226, and a decoder 232 which generates output tokens 236 based on the embeddings 226 (which are then used to generate the output 208) .

[0105] FIG. 6 is a schematic diagram showing the sound system 100 for performing a sound intelligibility improvement method, according to some embodiments of this disclosure. As shown, the sound system 100 comprises a microphone 104 to receive sound frames 262, which is sent to a background noise estimation module 264 for estimating one or more characteristics of background noise such as the background noise level, background noise type, SII, time and / or location information of the sound system (such as time and / or location information of one or more speakers) , and / or the like. The estimation is then sent to a response map module 266.

[0106] Herein, the background noise type may be defined under any suitable categorization method. For example, in some embodiments, background noise may be categorized into stationary and non-stationary background noise. Examples of stationary noise are white noise, colored noise, AC noise, Airplane cabin noise, and / or the like. While examples of non-stationary noise are interfering human speech, babble noise (like crowded restaurant noise) , dog barking, car honking, and / or the like.

[0107] Herein, any suitable methods of estimating SII may be used. For example, in some embodiments, SII may be measured or otherwise estimated by using the method disclosed in academic paper entitled “An Instrumental Intelligibility Metric Based on Information Theory, ” by Van Kuyk, et al., published in IEEE Signal Processing Letters, Volume: 25, Issue: 1, January 2018, the content of which is incorporated herein by reference in its entirety.

[0108] The response map module 266 uses the estimation received from the background noise estimation module 264 and one or more user preference parameters 268 such as sensitivity, assistant voices, and / or the like (which may be predefined, preconfigured, or adjustable by the user) , to generate a set of one or more sound-adjustment or sound-reshaping parameters, which are sent to a sound-reshaping module 270 (which in these embodiments is a speech-reshaping module) for use to revise, modify, or otherwise reshape at least a portion of the input sound or voice frame (which may be the input content 272 in the form of a speech frame, or a speech frame synthesized from the input content 272 when the input content is not in voice form) .

[0109] In some embodiments, the response map module 266 uses an AI engine such as an LLM engine for generating the set of one or more sound-reshaping parameters. In some other embodiments, the response map module 266 may not use any AI engine for generating the set of one or more sound-reshaping parameters.

[0110] The speech-reshaping module 270 reshapes the input content 272 (such as text, speech, or the like) according to the set of parameters generated by the response map module 266, and generates the reshaped signal 274 (such as reshaped speech frames) , which is then converted to a reshaped audio signal by one or more speakers 102 for output. In this way, the sound system 100 continuously monitors and approximated background noise activity and maps them to corresponding parameters to maintain SI of the speech played by the speakers 102.

[0111] In some embodiments wherein the speaker 102 and the microphone 104 are co-located (for example, the speaker 102 and microphone 104 are on the same device such as smart phone, smart glasses, earbuds, TV, or the like, or the speaker 102 and microphone 104 are on different devices but located close to each other) , the audio or voice speech played by the speaker 102 may propagate (278) through the acoustic environment and be received by the microphone 104. In these embodiments, this audio propagation path 278 forms a feedback loop such that the background noise estimation module 264 may measure or monitor the quality of the audio played via the speaker 102, for use by the response map module 266 and subsequently the speech-reshaping module 270 to improve sound intelligibility.

[0112] Those skilled in the art will appreciate that the use of feedback of the audio or voice speech played by the speaker 102 is optional. For example, in some embodiments or scenarios wherein the played audio cannot be received by the microphone 104 (for example, the background noise is too strong, the microphone 102 is far away from the speaker 104, and / or the like) , the sound system 100 does not need any feedback of the audio or voice speech played by the speaker 102 to improve sound intelligibility.

[0113] FIG. 7 is schematic diagram showing the detail of the response map module 266, according to some embodiments of this disclosure. As shown, the response map module 266 comprises a response mapper 300 receiving a plurality of inputs 310, such as the background (B / G) noise level 312, the background noise type 314, the SII 316, and the time and / or location information 318 of the sound system 100 (all of which are received from the background noise estimation module 264) , and user preference parameters 268 such as a sensitivity parameter 320 and user’s one or more preferred text-to-speech (TTS) voices 222 (when the input content 272 is text) . The sensitivity parameter 320 controls the sensitivity of the sound system 100 (such as the response time thereof) , and may be, for example, a positive number between zero (0) and one (1) , with zero (0) indicating the slowest response time and one (1) indicating the fastest adaptation time.

[0114] The response mapper 300 then maps the input parameters 310 to a plurality of output parameters 340 such as the output volume level 342, Lombardness intensity and utterance speed 344, TTS voice selection 346 (such as male voice, female voice, and / or the like) , indication of lost-speech segment 348 (which may be used for generating a paraphrase of the content of a speech frame, if the SII of the speech frame falls below a predefined or preconfigured threshold such as an average human hearing threshold; described in more detail later) .

[0115] The output parameters 340 are sent to a smooth transition adaptation block 364, which combines the output parameters 340 with their past values 362 (that is, the output parameters 340 of a previous sound frame 262) to obtain a smoothed estimate 370 of the output parameters 340 (also denoted “smoothed output parameters 370” ) by using, for example, a moving average window with the length of window being controlled by the sensitivity parameter 320. The smoothed output parameters 370 are then output to the speech-reshaping module 270.

[0116] FIG. 8 is schematic diagram showing the detail of speech-reshaping module 270, according to some embodiments of this disclosure. Depending on specific embodiments, the sound system 100 may be used to process TTS (that is, synthetic speech generated from text content) and / or spoken speech. Accordingly, the blocks 402 and 408 (rendered in dashed lines) are only for reshaping TTS output.

[0117] As shown in FIG. 8, when the input content 272 is text, the speech-reshaping module 270 first synthesize a speech frame (step 402) using the input content 272 and the selected TTS voice 412 (selected based on the selected TTS voice parameter 346) . Step 402 is omitted when the input content 272 is already a speech frame.

[0118] At step 404, the volume of the speech frame is adjusted (for example, amplified) based on the output volume level parameter 342.

[0119] Then, the speech frame is converted to a Lombard version (step 406) according to the Lombard intensity parameter 344. At this step, any suitable real-time Lombard generator may be used to convert normal speech to Lombard (which may be based on a set of normal-to-Lombard conversion formulas or rules, or based on ML) .

[0120] Step 406 generally modifies the frequency-time characteristics of the speech frame, or in other words, modifies the volume, pitch, and articulation of the speech frame, to make the speech frame more intelligible. For example, step 406 may boost speech intelligibility by changing the distribution of the energy of the speech frame in the frequency domain (that is, spectral shaping) , boosting or amplifying low energy speech frames, boosting or amplifying low energy segments of the speech frame and compressing or attenuating high energy (loud) segments thereof (that is, dynamic range compression) , and / or the like.

[0121] For example, in some embodiments, wav-to-wav Lombard conversion may be used in real-time (for example, frame by frame) using the SSDRC method described in academic paper entitled “Speech-in-noise intelligibility improvement based on spectral shaping and dynamic range compression, ” by Zorila, et al., published in Proceedings of the Thirteenth Annual Conference of the International Speech Communication Association, Portland, OR, USA (pp. 9-13) , September 2012, the content of which is incorporated herein by reference in its entirety, wherein the Lombard intensity is controlled by a combination of g, β, and boost / attenuation amounts of non-adaptive spectral shaping.

[0122] When the input content 272 is text, the speed of utterance of the Lombard speech is adjusted (step 408; also called “warp frame” ) using a suitable time-warping algorithm based on the utterance speed parameter 344.

[0123] The Lombard speech generated at step 406 (when the input content is speech) or the warped Lombard speech generated at step 408 (when the input content is text) is output to the speakers 102 as the output speech frame 274.

[0124] FIG. 9 is a schematic diagram showing an example of the sound system 100 for performing a sound intelligibility improvement method. The sound system 100 in this example is similar to that shown in FIG. 6. However, in this example, output speech of a voice assistant is reshaped in order to maintain SI measured dynamically for speech frames. Thus, in this example, the input content 272 is text, which is fed to the speech-reshaping module 270 for adjusting the volume, Lombard intensity, and utterance speed according to the parameters output from the response map module 266 (that is, based on the background noise activity (estimated by the background noise estimation module 264) and the user preferences 268 such as the sensitivity and preferred assistance voices set) .

[0125] FIG. 10 is a schematic diagram showing an example of the sound system 100 for performing a sound intelligibility improvement method. In this example, the sound system 100 addresses the problem with short-time non-stationary intense background noise, when there is no enough time to respond to the changes in the background activity (for example, when a car honking happens while communicating with voice assistant, or someone interrupts while listening to news highlights from a voice assistant) .

[0126] As shown, the sound system 100 in this example is similar to that shown in FIG. 6. However, in this example, while the response map module 266 sends the sound-reshaping parameters to a speech-reshaping module 270, the response map module 266 also checks, based on the background noise estimates of the speech frame obtained by the background noise estimation module 264, whether the SI of any segment of the speech frame is below a predefined or preconfigured threshold, or equivalently, whether the SII of any segment of the speech frame is smaller than a predefined or preconfigured threshold thr (such as an average human hearing threshold) (step 442) .

[0127] If the SII of the speech frame is always greater than the threshold thr, no additional action is needed for the response map module 266.

[0128] If the SII of one or more segments of the speech frame is smaller than the threshold thr, the one or more segments are considered one or more lost-speech segments or salient parts of the speech frame, and the response map module 266 uses a foundation model (FM) such as an LLM 204 (which may be integrated with the voice assistant) to process the input content 272 and paraphrase each salient part of the speech frame (step 444) . The one or more paraphrased salient parts of the speech frame is then sent to the speech-reshaping module 270 and merged into or otherwise combined with the reshaped speech frame to play to the user via the speaker 102, to ensure that no important information in the speech frame is lost.

[0129] In some embodiments, the response map module 266 checks, based on the background noise estimates of the speech frame obtained by the background noise estimation module 264, whether the SI or equivalently the SII of any segment of the speech frame is below a predefined or preconfigured threshold (step 442) .

[0130] If the SII of the speech frame is always greater than the threshold thr, no additional action is needed for the response map module 266.

[0131] If the SII of one or more segments of the speech frame is smaller than the threshold thr, the one or more segments are considered one or more lost-speech segments or salient parts of the speech frame, and the response map module 266 uses the indication of lost-speech segment 348 to indicate the one or more lost-speech segments. The speech-reshaping module 270 performs step 444 (that is, using an FM such as an LLM 204 to process the input content 272 and paraphrase each salient part of the speech frame) , and then merges the one or more paraphrased salient parts of the speech frame into the reshaped speech frame to play to the user via the speaker 102, thereby ensuring that no important information in the speech frame is lost.

[0132] An example of the use scenario of the sound system 100 shown in FIG. 10 is that the user asks a voice assistant about tomorrow’s schedule while driving. The voice assistant then replies with a synthesized speech: “You have a meeting with the CBG team tomorrow at 2: 00 PM in the Victoria meeting room” . However, when the voice assistant is replying, a nearby car honks covering the time of the meeting mentioned in the voice assistant’s speech. The sound system 100 detects the potential lost segment in the voice assistant’s speech, and generates a paraphrased salient part (such as “The meeting is at 2: 00 PM” ) of the voice assistant’s speech frame, which is then played via the speakers 102.

[0133] FIG. 11 is a schematic diagram showing an example of the sound system 100 for performing a sound intelligibility improvement method. In this example, the sound system 100 is a phone device (such as a cellphone) for use in a phone call with a remote user, wherein the speech of the remote user is processed by the sound system 100 as shown in FIG. 11 being played via the speaker 102.

[0134] The sound system 100 in this example is similar to that shown in FIG. 6. However, in this example, the speech-reshaping module 270 only comprises volume and Lombard intensity adjustments 404 and 406, as voice and speech utterance change 402 and 408 are neither possible nor desirable in terms of user experience, for real-time human-to-human communication.

[0135] FIG. 12 is a schematic diagram showing an example of the sound system 100 for performing a sound intelligibility improvement method, which may be used in machine-to-human and / or human-to-human scenarios.

[0136] The sound system 100 in this example is similar to that shown in FIG. 6. However, in this example, the sound system 100 may require a wide range of automatic volume adjustment in response to a changing background noise activity. Such a wide range of automatic volume adjustment may compromise user experience in some applications, because most existing automatic volume adjustment methods only allow to alter the volume by a maximum of ± δ%of the preset volume level by the user.

[0137] Therefore, in this example, the sound system 100 compensates for reduced SI in noisy environments by taking measures such as inducing Lombardness and using the most suitable assistant voice (if applicable) , while maintaining the user’s preferred volume level within ± δ%deviation (indicated by the arrow 462) . As a result, if increasing volume by δ%of the original preset volume by the user is not enough to maintain the SII (for example, maintaining the SII greater than the threshold thr) , the speech-reshaping module 270 then compensates for the SII loss by inducing Lombardness (that is, performing normal-to-Lombardness conversion) without changing the energy of the signal, and / or (if applicable) changing the voice of the assistant to a TTS voice that is more intelligible in the current noisy acoustic environment.

[0138] Thus, the sound system 100 disclosed herein deals with maintaining SI in scenarios where the background noise cannot be controlled (for example, cannot be reduced or cancelled out) . More specifically, the sound system 100 disclosed herein maintains SI by dynamically changing the waveform of speech signal in time-frequency domain (such as those described above in relation to step 406 of FIG. 8) in order to ensure audibility by the listener.

[0139] In various embodiments, the sound system 100 disclosed herein provides various technical features such as: · dynamic reshaping of speech signal in time-frequency domain by a combination of volume adjustment and Lombard  effect in order to maintain SII by continuously monitoring background activity; · smoothly reshaping speech segments frame-by-frame according to the current and previous valued of the reshaping  parameters, to maintain a continuous, seamless, and smooth transition while responding to changes in the background activity level in order to provide a desirable user experience; · paraphrasing the content of the speech segment and replay the salient content when the SII of an uttered speech segment  falls below a specific threshold (such as an average human hearing threshold) ; · automatically changing the voice of voice assistant (such as between male and female TTS voices) in order to best fit the  background noise content to enhance speech intelligibility; and / or · compensating for reduced speech intelligibility in noisy environments by taking measures such as inducing Lombardness  and using the most suitable assistant voice (if applicable) , while maintaining the user’s preferred volume level within ±δ%deviation.

[0140] Due to prevalence of LLMs in our daily lives, and hence an increasing growth in demand for voice user interfaces (VUIs) , maintaining an efficient communication quality with VUIs in real-world acoustic environments is extremely necessary in order to successfully integrate VUIs into our daily lives. For example, for communications in an open space, where noise cancellers fail, the sound system 100 disclosed herein may deliver enhanced SI to the users. Therefore, any device capable of implementing voice-based communication either human-to-human or human-to-machine, such as smart phones, earbuds, smart watches, smart speakers, TVs, and / or the like, may benefit from the sound system 100 disclosed herein. As another example, the sound system 100 disclosed herein may be used in various scenarios such as indoor / outdoor voice communications, in-vehicle voice assistants, phone calls, VUIs on smart glasses, open-ear earphones, and / or the like.

[0141] For example, in some embodiments, the the sound system 100 disclosed herein continuously monitors spoken speech quality in the presence of background noise and uses it as a feedback mechanism to maintain SI by reshaping speech in spectral-temporal domain or replaying specific speech content for which SII falls below an average human hearing threshold.

[0142] In some embodiments, the response map may be used to assign an output state to each specific combination of acoustic environment profiles, such as background noise level, background noise type, SII, time and location information, user’s preferences, and / or the like.

[0143] In some embodiments, smooth transition adaptation is achieved by using the response map, which enables seamless transition between different states of response map output.

[0144] In some embodiments, user may control responsiveness of the sound system 100 disclosed herein by determining the sensitivity (such as the adaptation speed to a dynamic environment, which is the responsiveness (or response speed) of the sound system 100 with respect to the dynamic environment; for example, if the background noise characteristics is changing over time, how fast the sound system 100 may respond to this change; preferably, the adaptation speed should not be too fast nor too slow) , aggressiveness (such as the Lombardness intensity) , and / or the like.

[0145] In some embodiments, the the sound system 100 disclosed herein may be used with a voice assistant, and may automatically switch between predefined or preconfigured voice-assistant TTS voices (such as male and female voices) , in order to adapt to a specific acoustic environment to maximize SII.

[0146] In some embodiments, the the sound system 100 disclosed herein may adapt the speed of voice assistant utterance to the background noise level to ensure SI.

[0147] In some embodiments, the the sound system 100 disclosed herein may recognize extreme acoustic interference and extract unintelligible segment of the spoken speech by the voice assistant and replays a paraphrase of its salient content.

[0148] In some embodiments, the the sound system 100 disclosed herein may repeat one or more lost-speech segments in some scenarios where paraphrasing is not possible. For example, if the lost-speech segment is too short, paraphrase it may not improve the sound intelligibility. In these scenarios, the sound system 100 disclosed herein may repeat the lost-speech segment for one or more times.

[0149] In some embodiments, the the sound system 100 disclosed herein may reshape speech frames in real-time (for example, based on wav-to-wav Lombard generator) , to ensure SI in phone calls.

[0150] In some embodiments, the the sound system 100 disclosed herein may adapt to constrained volume adjustment by maintaining speech intelligibility in noisy environments, while changing the user’s preferred volume level to within a ± δ%deviation.

[0151] Thus, in various embodiments, the sound system 100 disclosed herein provides a technical solution with various advantageous effects such as: · benefits from a combinatorial response map based on various techniques to maintain SI by continuously monitoring  background noise activity, such as ○ automatic volume adjustment, ○ inducing Lombard effect in the output voice, including automatic speed of utterance adjustment, to improve SI, ○ paraphrasing and / or repeating the lost speech segment, and / or ○ automatically changing smart assistant voice; · providing a smooth and seamless transition between different output states, thereby delivering a pleasant user experience  while maintaining SII; · monitoring the output quality of an uttered TTS segment, and generating and playing a paraphrase of the lost speech  segment when the SII falls below an average human auditory threshold even after applying the response map (for example, due to intense non-stationary background noise, or a competing speaker) ; · automatically switching between a set of TTS voices (such as female and male voices, and / or the like) to deliver the best  SII given a specific acoustic background activity; · maintaining SI at the same volume level, which lowers power consumption in noisy environments, while helping protect  hearing health by avoiding too high volume; · only amplifying the input speech for higher SNR environments, which maintains signal fidelity, and inducing varying  Lombard effect for lower SNR depending on the severity of the background noise. · suitable for use with the voice interfaces in the low SNR acoustic environment of vehicle cabin. C. ACRONYMS, ABBREVIATIONS, AND DEFINITION OF SOME TERMS

[0152] Herein, the term “Lombard effect” refers to a phenomenon in which speakers involuntarily increase their vocal effort when speaking in a noisy environment. This includes raising the volume, changing pitch, and altering the articulation of speech to make it more intelligible. The effect occurs naturally as people adjust their speech to compensate for background noise, helping the listener understand them better. Some examples include: talking in a crowded restaurant, speaking on the phone in a busy street, and / or the like.

[0153] The term “speech intelligibility” refers to how clearly and easily speech can be understood by a listener. It measures the effectiveness of communication, indicating the degree to which spoken words are recognized correctly. Factors that affect speech intelligibility include the speaker's articulation, the clarity of sound, background noise, and the listener's hearing ability. High intelligibility means speech is easy to comprehend, while low intelligibility implies that words are difficult to distinguish.

[0154] The term “speech intelligibility index” refers to a numerical measure that predicts the clarity and understanding of speech under specific listening conditions. It ranges, for example, from zero (0) to one (1) , where zero (0) indicates no intelligibility and one (1) represents perfect intelligibility. The SII considers factors such as the loudness of speech, background noise, the listener’s hearing capabilities, and / or the like. It is commonly used to evaluate how well someone with normal or impaired hearing can understand speech in various environments or with different hearing aids.

[0155] Herein, the term “predefined” (for example, a “predefined” item such as a “predefined” parameter) refers to an item defined before the method disclosed herein is performed (for example, defined as a system design parameter such as defined by relevant standards) .

[0156] Herein, the term “preconfigured” (for example, a “preconfigured” item such as a “preconfigured” parameter) refers to an item configured by a suitable apparatus before a certain even occurs.

[0157] Herein, use of language such as “at least one of X, Y, and Z, ” “at least one of X, Y, or Z, ” “at least one or more of X, Y, and Z, ” “at least one or more of X, Y, and / or Z, ” or “at least one of X, Y, and / or Z, ” is intended to be inclusive of both a single item (e.g., just X, or just Y, or just Z) and multiple items (e.g., {X and Y} , {X and Z} , {Y and Z} , or {X, Y, and Z} ) . The phrase “at least one of” and similar phrases are not intended to convey a requirement that each possible item must be present, although each possible item may be present.

[0158] In some embodiments, the methods disclosed herein may be implemented as computer-executable instructions stored in one or more non-transitory computer-readable storage devices (in the form of software, firmware, or a combination thereof) such that, the instructions, when executed, may cause one or more physical components such as one or more circuits to perform the methods disclosed herein.

[0159] For example, in some embodiments, an apparatus comprising one or more processors functionally connected to one or more non-transitory computer-readable storage devices or media may be used to perform the methods disclosed herein, wherein the one or more non-transitory computer-readable storage devices or media store the computer-executable instructions of the methods disclosed herein, and the one or more processors may read the computer-executable instructions from the one or more non-transitory computer-readable storage devices or media, and executes the instructions to perform the methods disclosed herein.

[0160] In some embodiments, an apparatus may not have any processors or computer-readable storage devices or media. Rather, the apparatus may comprise any other suitable physical or virtual (explained below) components for implementing the methods disclosed herein.

[0161] In some embodiments, the computer-executable instructions that implement the methods disclosed herein may be one or more computer programs, one or more program products, or a combination thereof.

[0162] In some embodiments, the methods disclosed herein may be implemented as one or more circuits, one or more components, one or more units, one or more modules, one or more integrated-circuit (IC) chips, one or more chipsets, one or more devices, one or more apparatuses, one or more systems, and / or the like.

[0163] The one or more circuits, one or more components, one or more units, one or more modules, one or more IC chips, one or more chipsets, one or more devices, one or more apparatuses, or one or more systems may be physical, virtual, or a combination thereof. Herein, the term “virtual” (such as a “virtual apparatus” ) refers to a circuit, component, unit, module, chipset, device, apparatus, system, or the like that is simulated or emulated or otherwise formed using suitable software or firmware such that it appears as if it is “real” or physical) .

[0164] The present disclosure encompasses various embodiments, including not only method embodiments, but also other embodiments such as apparatus embodiments and embodiments related to non-transitory computer readable storage media. Embodiments may incorporate, individually or in combinations, the features disclosed herein.

[0165] Although this disclosure refers to illustrative embodiments, this is not intended to be construed in a limiting sense. Various modifications and combinations of the illustrative embodiments, as well as other embodiments of the disclosure, will be apparent to persons skilled in the art upon reference to the description.

[0166] Features disclosed herein in the context of any particular embodiments may also or instead be implemented in other embodiments. Method embodiments, for example, may also or instead be implemented in apparatus, system, and / or computer program product embodiments. In addition, although embodiments are described primarily in the context of methods and apparatus, other implementations are also contemplated, as instructions stored on one or more non-transitory computer-readable media, for example. Such media could store programming or instructions to perform any of various methods consistent with the present disclosure.

[0167] Those skilled in the art will appreciate that the various embodiments and / or features disclosed herein may be customized and / or combined as needed or desired. Moreover, although embodiments have been described above with reference to the accompanying drawings, those of skill in the art will appreciate that variations and modifications may be made without departing from the scope thereof as defined by the appended claims.

Claims

1.A computerized method comprising:estimating one or more characteristics of background noise;generating a plurality of sound-reshaping parameters based on the one or more characteristics; andmodifying a voice frame based on the plurality of sound-reshaping parameters for outputting the reshaped voice frame for playing via one or more speakers;wherein said modifying the voice frame comprises:adjusting at least a first portion of a voice frame based on the plurality of sound-reshaping parameters.2.The method of claim 1, wherein said adjusting the at least first portion of the voice frame comprises:modifying frequency-time characteristics of the at least first portion of the voice frame.3.The method of claim 1, wherein said adjusting the at least first portion of the voice frame comprises:modifying a volume, a pitch, and / or an articulation of the at least first portion of the speech frame.4.The method of claim 1, wherein said adjusting the at least first portion of the voice frame comprises:modifying a distribution of energy of the at least first portion of the voice frame in a frequency domain;modifying an amplitude of the at least first portion of the voice frame;amplifying the at least first portion of the voice frame and attenuating one or more high-energy segments of the at least first portion of the voice frame;changing a text-to-speech (TTS) voice of the at least first portion of the voice frame;replacing the at least first portion of the voice frame with a paraphrase thereof;repeating the at least first portion of the voice frame for one or more times;modifying an utterance speed of the at least first portion of the voice frame; ora combination thereof.5.The method of any one of claims 1 to 4, wherein said generating the plurality of sound-reshaping parameters comprises:after said generating the plurality of sound-reshaping parameters, revising the plurality of sound-reshaping parameters based on a plurality of previously generated sound-reshaping parameters.6.The method of claim 5, wherein said revising the plurality of sound-reshaping parameters comprises:smoothing the plurality of sound-reshaping parameters by averaging the plurality of sound-reshaping parameters with the plurality of previously generated sound-reshaping parameters.7.The method of any one of claims 1 to 6, wherein said generating the plurality of sound-reshaping parameters based on the one or more characteristics comprises:generating the plurality of sound-reshaping parameters based on the one or more characteristics and one or more user preference parameters.8.The method of claim 7, wherein the one or more user preference parameters comprise:a sensitivity parameter;indication of one or more preferred text-to-speech (TTS) voices; ora combination thereof.9.The method of any one of claims 1 to 8, wherein the plurality of sound-reshaping parameters comprise:an output volume level;a Lombardness intensity;an utterance speed;a TTS voice selection;an indication of lost-speech segment; ora combination thereof.10.The method of any one of claims 1 to 9 further comprising:generating the voice frame from an input text; andadjusting a speed of utterance of the reshaped voice frame.11.The method of any one of claims 1 to 10, wherein the one or more characteristics comprise:background noise level;background noise type;speech intelligibility index (SII) ;time and / or location information of the one or more speakers; ora combination thereof.12.The method of claim 11 further comprising:if the SII is smaller than a threshold,generating a paraphrase of a segment of the voice frame indicated by the indication of lost-speech segment, andcombining the paraphrase with the reshaped voice frame.13.The method of claim 12, wherein said generating the paraphrase of the segment of the voice frame comprises:generating, using a large language model (LLM) , the paraphrase of the segment of the voice frame indicated by the indication of lost-speech segment.14.The method of any one of claims 1 to 13, wherein said adjusting at least a first portion of a voice frame comprises:adjusting one or more characteristics of the at least first portion of a voice frame such that an amplitude of the at least first portion of the voice frame is modified within a predefined or preconfigured limit.15.A system comprising:one or more circuits; andone or more non-transitory computer-readable storage devices comprising computer-executable instructions;wherein the instructions, when executed, cause the one or more circuits to perform the method of any one of claims 1 to 14.16.One or more non-transitory computer-readable storage devices comprising computer-executable instructions, wherein the instructions, when executed, cause one or more circuits to perform the method of any one of claims 1 to 14.

Images