Music visualization method and music visualization device

Abstract

The present disclosure provides a music visualization method and a music visualization device. The music visualization method comprises acquiring a current frame signal of a target audio signal, and determining current frame parameter information based on the current frame signal; determining a target representation mode of the current frame signal based on the current frame parameter information; generating a visual representation of the current frame signal based on the target representation mode.

Description

MUSIC VISUALIZATION METHOD AND MUSIC VISUALIZATION DEVICEFIELD OF INVENTION

[0001] The present disclosure relates to music processing, and more particularly, to an music visualization method and a music visualization device.BACKGROUND ART

[0002] With the development of music processing technology, the music processing is widely used in commercial fields. Music processing process is also faced with higher requirements.

[0003] Currently, when performing a music visualization processing, it is usually based on the MIDI (Musical Instrument Digital Interface) signal of music to form music visualization or based on the processing of frequency spectrum bands of the music signal. However, MIDI signal is not a common audio signal source, which usually needs music producers to upload or perform complex processing on music to achieve, thus its application range is limited, and is not conducive to users' convenient application. Visualization processing based on frequency spectrum bands band usually only pay attention to some key parts of the music content in order to ensure real-time, which can't present all the music characteristics well, and can't give consideration to high real-time and good comprehensive presentation of music characteristics.

[0004] Therefore, there is a need for a music visualization method, which has good real-time performance on the basis of realizing the visualization of music, and can present the characteristics of music at different times in an all-round way, and the music visualization method has high reliability.SUMMARY OF THE INVENTION

[0005] According to one aspect of the present disclosure, a music visualization method is disclosed, the music visualization method comprises: acquiring a current frame signal of a target audio signal, and determining current frame parameter information based on the current frame signal; determining a target representation mode of the current frame signal based on the current frame parameter information; generating a visual representation of the current frame  signal based on the target representation mode.

[0006] In one embodiment of the present disclosure, wherein the current frame parameter information includes at least one of current frame frequency distribution information and current frame energy amplitude information.

[0007] In another embodiment of the present disclosure, wherein determining the target representation mode of the current frame signal based on the current frame parameter information comprises: determining audio feature information corresponding to the current frame signal based on the current frame parameter information; determining, based on the audio feature information, a target representation mode corresponding to the audio feature information among a plurality of preset representation modes.

[0008] In another embodiment of the present disclosure, wherein the audio feature information comprises at least one of overall frequency distribution information, audio feature information in low frequency range and audio feature information in high frequency range.

[0009] In another embodiment of the present disclosure, wherein the audio feature information in the low-frequency range comprises at least one of low-frequency beat information and low-frequency energy ratio information.

[0010] In another embodiment of the present disclosure, wherein the method further comprises: acquiring historical frame parameter information of the target audio signal, and wherein the determining the target representation mode of the current frame signal based on the current frame parameter information comprises: determining the audio feature information corresponding to the current frame signal based on the current frame parameter information and the historical frame parameter information; determining, based on the audio feature information, a target representation mode corresponding to the audio feature information among a plurality of preset representation modes.

[0011] In another embodiment of the present disclosure, wherein determining, based on the audio feature information, the target representation mode corresponding to the audio feature information among the plurality of preset representation modes comprises: comparing the audio feature information with the ranges of feature information corresponding to the plurality of preset representation modes respectively, and forming a comparison result; determining, based on the comparison result, the preset representation mode corresponding to the audio feature information as the target representation mode.

[0012] In another embodiment of the present disclosure, wherein generating a visual representation of the current frame signal based on the target representation mode comprises: determining a visual representation parameter corresponding to the current frame signal according to the target representation mode and the audio feature information; performing visual representation of the current frame signal based on the visual representation parameter.

[0013] In another embodiment of the present disclosure, wherein the visual representations corresponding to the plurality of preset representation modes are different from each other in at least one of pattern type, pattern color, pattern brightness and pattern shape.

[0014] According to an aspect of the present disclosure, a music visualization device is disclosed, the music visualization device comprises: an audio frame parameter information determination module, which is configured to acquire a current frame signal of a target audio signal and determine current frame parameter information based on the current frame signal; a target representation mode determination module, which is configured to determine a target representation mode of the current frame signal based on the current frame parameter information; a visual representation generation module, which is configured to generate a visual representation of the current frame signal based on the target representation mode.

[0015] In an embodiment of the present disclosure, wherein the current frame parameter information comprises at least one of current frame frequency distribution information and current frame energy amplitude information.

[0016] In another embodiment of the present disclosure, wherein the target representation mode determination module comprises: an audio feature extraction module, which is configured to determine audio feature information corresponding to the current frame signal based on the current frame parameter information; a target representation mode generation module, which is configured to determine a target representation mode corresponding to the audio feature information among a plurality of preset representation modes based on the audio feature information.

[0017] In another embodiment of the present disclosure, wherein the audio feature information comprises at least one of overall frequency distribution information, audio feature information in low frequency range and audio feature information in high frequency range.

[0018] In another embodiment of the present disclosure, wherein the audio feature information in the low-frequency range comprises at least one of low-frequency beat information and  low-frequency energy ratio information.

[0019] According to an aspect of the present disclosure, there is provided a computer-readable storage medium having stored thereon computer-readable instructions, the method as previously described is executed when the instructions executed by a computer.

[0020] The significance and benefits of the present disclosure will be clear from the following description of the embodiments. However, it should be understood that those embodiments are merely examples of how the disclosure can be implemented, and the meanings of the terms used to describe the disclosure are not limited to the specific ones in which they are used in the description of the embodiments.

[0021] Others systems, method, features and advantages of the disclosure will be, or will become, apparent to one with skill in the art upon examination of the following figures and detailed description. It is intended that all such additional systems, methods, features and advantages be included within this description, be within the scope of the disclosure, and be protected by the appended claims.BRIEF DESCRIPTION OF THE DRAWINGS

[0022] The disclosure can be better understood with reference to the flowing drawings and description. Moreover, in the figures, like reference numerals designate corresponding parts throughout the different views.

[0023] FIG. 1 illustrates a schematic diagram of a music visualization method 100 according to an embodiment of the present disclosure;

[0024] Fig. 2 illustrates a schematic diagram of process S102 according to an embodiment of the present disclosure;

[0025] Fig. 3 illustrates a schematic diagram of low-frequency beat information according to an embodiment of the present disclosure;

[0026] Fig. 4 illustrates a schematic diagram of music visualization method 100 according to another embodiment of the present disclosure;

[0027] FIG. 5 illustrates an exemplary flowchart of the process S103 of generating a visual representation of the current frame signal based on the target representation mode according to an embodiment of the present disclosure;

[0028] FIG. 6 shows a structural block diagram of the music visualization device 200 according to an embodiment of the present disclosure.

[0029] BRIEF DESCRIPTION OF THE PREFERRED EMBODIMENTS

[0030] Hereinafter the structure and concept of the present disclosure will be described more detailed with reference to the drawings. The details and examples are only provided to facilitate understanding of the present disclosure, and should not limit the present disclosure in any way.

[0031] FIG. 1 illustrates a schematic diagram of a music visualization method 100 according to an embodiment of the present disclosure.

[0032] Wherein music visualization refers to transforming the sound signal of music into visual graphics or animation effects through computer technology, so as to show the rhythm, melody and emotion of music more intuitively.

[0033] As shown in FIG. 1, according to the music visualization method 100, firstly, in step S101, a current frame signal of a target audio signal is acquired, and current frame parameter information is determined based on the current frame signal.

[0034] The target audio signal refers to the audio signal of the target music to be visualized. According to actual needs, for example, the target audio signal can be compressed waveform audio formats like AAC and MP3 for simplicity in streaming.

[0035] The current frame signal of a target audio signal refers to the target audio signal captured at the current moment. The frame length of the current frame in the audio signal may be around 15-30ms, however, it should be understood that the embodiment of the present disclosure is not limited by the frame length of the current frame of the audio signal.

[0036] The current frame parameter information refers to information that can reflect the characteristics of the current frame of the audio signal, for example, it can include the characteristic information of the current frame of the audio signal in time-frequency domain.

[0037] The parameter information of the current frame can be obtained by, for example, performing time domain analysis and frequency domain analysis on the current frame, however, the embodiment of the present disclosure is not limited to this.

[0038] For example, the current frame parameter information may include current frame frequency distribution information and / or current frame energy amplitude information. However, the embodiment of the present disclosure is not limited to this.

[0039] Then, in step S102, a target representation mode of the current frame signal is determined based on current frame parameter information.

[0040] The target representation mode refers to the visual representation mode corresponding to the current frame of the audio signal. It should be understood that the target representation mode can correspond to a specific representation pattern type, color, brightness, and the like.

[0041] For example, the representation mode of the current frame signal can be determined based on the audio feature information corresponding to the current frame signal, which is calculated by the current frame parameter information.

[0042] Then, in step S103, a visual representation of the current frame signal is generated based on the target representation mode.

[0043] The generation of the visual representation of the current frame signal can be described in detailed. For example, the corresponding visual pattern can be presented on the display interface according to the target representation mode, or the presentation can be realized by a plurality of LED light groups located on the sound box, which may flash at the corresponding frequency, with different colors, or form corresponding pattern / shape according to the target representation mode. Embodiments of the present disclosure are not limited by the specific manifestation of the visual representation.

[0044] It should be understood that the music visualization method and its steps in this disclosure can be realized in multiple AI (artificial intelligence) method (for example by trained neural networks) , or preset comprehensive algorithms, and also through a system combining software and hardware. Embodiments of the present disclosure are not limited thereto.

[0045] Based on the above, in this application, the current frame parameter information of each current frame of the target audio signal is determined, and the corresponding target representation mode is determined for visual display based on the current frame parameter information, thus the characteristics of each frame of the target audio signal can be well extracted, and the display mode most suitable for the current frame can be flexibly determined based on the characteristics, so that on the basis of realizing good and reliable real-time performance, the characteristics of each frame of the target audio signal are presented, and good music characteristics presentation and high real-time performance are also taken into account.

[0046] In some embodiments, wherein the current frame parameter information includes at least one of current frame frequency distribution information and current frame energy amplitude information.

[0047] The current frame frequency distribution information is intended to represent the distribution characteristic information of the current frame of the audio signal at different frequencies. For example, the current frame can be processed in frequency domain to obtain its frequency spectrums in multiple different frequency / frequency ranges (such as low frequency range 50Hz～200Hz; intermediate frequency range 200 Hz～4000 Hz; High frequency range ≥4000 Hz) , which can be used as the current frame frequency distribution information of the current frame.

[0048] However, it should be understood that the current frame frequency distribution information is not limited to the above form.

[0049] The current frame energy amplitude information refers to the amplitude value of the current frame of the audio signal. For example, the current frame of the audio signal can be processed in time domain to obtain the amplitude value in the current frame.

[0050] Based on the above, in this application, by setting the current frame parameter information to include at least one of the current frame frequency distribution information and the current frame energy amplitude information, the current frame parameter information can well reflect the characteristics of the current frame of the audio signal in the time domain and / or the frequency domain, which is beneficial to well determine its target representation mode and accurately present the characteristics of the current frame.

[0051] In some embodiments, wherein the process S102 of determining the target representation mode of the current frame signal based on the current frame parameter information can be described in more detail. Fig. 2 illustrates a schematic diagram of process S102 according to an embodiment of the present disclosure.

[0052] Referring to Fig. 2, the above process S102 comprises: firstly, in step S1021, an audio feature information corresponding to the current frame signal is determined based on the current frame parameter information.

[0053] The audio feature information refers to information representing the musical characteristics of the current frame of the audio signal. For example, it represents the beat characteristics, volume characteristics, frequency response characteristics and frequency  distribution characteristics of the current frame. It should be noted that the embodiments of the present disclosure are not limited by the specific composition of the audio feature information.

[0054] For example, the current frame parameter information can be directly used as audio feature information, or the current frame parameter information can be further processed and analyzed to obtain audio feature information.

[0055] Then, in step S1022, based on the audio feature information, a target representation mode corresponding to the audio feature information is determined among a plurality of preset representation modes.

[0056] For example, the preset representation modes can be pre-imported by the system or manually set by the user. The preset representation mode may include a plurality of different representation modes, for example, silence mode, clean music mode, strong beat mode, complicated music mode, climax mode, transition mode.

[0057] For example, the above modes can be described in detail as follows.

[0058] The silence mode (Mode A) represents a condition wherein little or no sound is present in music. Silence audio signal in introduction and ending usually fall into this category.

[0059] The clean music mode (Mode B) represents a condition wherein the music is mainly composed of the singer's voice, without too much other instruments or strong beats.

[0060] The strong beat mode (Mode C) represents a condition wherein strong beats (bass or drum kicks) are detected on simple melodies.

[0061] The complicated music mode (Mode D) represents a condition wherein music without strong bass, but the information is complicated. For example, when a choir is singing alongside the main voice.

[0062] The climax mode (Mode E) represents a condition wherein both of the strong beat and very complicated music information are shown in music, it usually indicates the strongest parts in music.

[0063] The transition mode (Mode F) implies that music is currently undergoing changes in properties. Mode might fall back to where it started, or switch to another mode, or arriving at a new Climax. Transition Mode is only a temporary mode.

[0064] It should be understood that the above only gives some examples of representation modes. The embodiment of the present disclosure is not limited by the specific composition of the preset representation modes.

[0065] For example, the determination process of the target representation mode can be achieved by: comparing the audio feature information with the ranges of feature information corresponding to the plurality of preset representation modes respectively; and determining, based on a comparison result, the preset representation mode corresponding to the audio feature information as the target representation mode. However, the determination process of the target representation mode is not limited to this.

[0066] For example, if the overall frequency distribution information is in a uniform distribution state (for example, the uniform distribution state indicates that both of the proportion of low-frequency signals and the proportion of high-frequency signals in the overall frequency distribution information are less than the first proportion threshold) , and the audio feature information in the low-frequency range (low-frequency beat information and low-frequency energy ratio information) is less than the low-frequency preset first threshold, and the audio feature information in the high-frequency range is less than the high-frequency preset first threshold, it is determined as the silence mode (Mode A) .

[0067] For example, if the overall frequency distribution information is in a uniform distribution state, and the audio feature information in the low-frequency range is greater than the low-frequency preset first threshold, and the audio feature information in the high-frequency range is greater than the high-frequency preset first threshold, it is determined as the clean music mode (Mode B) .

[0068] For example, if the overall frequency distribution information is in the low-frequency dominant distribution state (for example, the low-frequency dominant distribution state indicates that the proportion of low-frequency signals in the overall frequency distribution information are greater than the second proportion threshold, wherein the second proportion threshold is greater than the above first proportion threshold) , and the audio feature information in the low-frequency range is greater than the low-frequency preset second threshold (which is larger than the low-frequency preset first threshold) , and the audio feature information in the high-frequency range is less than the high-frequency preset second threshold (which is larger than the high-frequency preset first threshold) , it is determined as the strong beat mode (Mode C) .

[0069] For example, if the overall frequency distribution information is in a high-frequency dominant distribution state (for example, the high-frequency dominant distribution state  indicates that the proportion of high-frequency signals in the overall frequency distribution information are greater than the second proportion threshold, wherein the second proportion threshold is greater than the above first proportion threshold) , and the audio feature information in the low-frequency range is less than the low-frequency preset second threshold, and the audio feature information in the high-frequency range is greater than the high-frequency preset second threshold, it is determined as the complicated music mode (Mode D) .

[0070] For example, if the overall frequency distribution information is in a special uniform distribution state (for example, the special uniform distribution state indicates that both of the proportion of high-frequency signals in the overall frequency distribution information and the proportion of low-frequency signals in the overall frequency distribution information are greater than the second proportion threshold, wherein the second proportion threshold is greater than the above first proportion threshold) , and the audio feature information in the low-frequency range is greater than the low-frequency preset second threshold, and the audio feature information in the high-frequency range is also greater than the high-frequency preset second threshold, it is determined as the climax mode (Mode E) .

[0071] It should be noted that only an exemplary determination process of the target representation mode has been given above, and the embodiments of the present disclosure are not limited to this.

[0072] Based on the above, by determining the audio feature information corresponding to the current frame signal based on the current frame parameter information, and further determining the target representation mode corresponding to the audio feature information among a plurality of preset representation modes based on the audio feature information, the application can flexibly select an appropriate representation mode according to the audio characteristics of the current frame, thereby fully and comprehensively realizing the visualization process of the audio characteristics of the current frame, realizing more accurate and comprehensive visual display and improving the user experience.

[0073] In some embodiments, wherein the audio feature information comprises at least one of overall frequency distribution information, audio feature information in low frequency range and audio feature information in high frequency range.

[0074] The overall frequency distribution information is intended to characterize the frequency characteristics of the current frame of the audio signal. For example, the frequency distribution  information of the current frame can be directly used as overall frequency distribution information, or the frequency distribution information of the current frame can be further processed to generate overall frequency distribution information.

[0075] The audio feature information in low frequency range aims to characterize the characteristics of the current frame of the audio signal in the low frequency range. For example, the audio feature information in low frequency range may include low-frequency beat information and low-frequency energy ratio information.

[0076] Specifically, for example, usually, 50Hz～200Hz is considered as low frequencies, usually covers strong drum kicks and other bass instruments. Drum kicks are featured in this band, therefore a beat feature with rather large gap will be extracted from those frequencies.

[0077] The audio feature information in high frequency range aims to characterize the characteristics of the current frame of the audio signal in the high frequency range.

[0078] Specifically, for example, 4000Hz and higher frequencies are considered as high frequencies, they covers some essential overtones of sound, which will be recognized as texture of sound, or timbre. The music visualization method may focus on even higher frequencies as they contain percussive noise generated by certain instruments. For example, it may compute the standing out high frequency noise produced by percussive instruments like the metallic sounds from metal strings in snare drums.

[0079] In some embodiments, the audio feature information comprises all of overall frequency distribution information, audio feature information in low frequency range and audio feature information in high frequency range, in order to better illustrate the characteristics of the current frame of the audio signal.

[0080] In some embodiments, the audio feature information further comprises audio feature information in mid frequency range, which aims to characterize the characteristics of the current frame of the audio signal in the mid frequency range.

[0081] For example, 200Hz～4000Hz are considered as mid frequencies, which cover fundamental frequencies and major harmonics of human voice and other instrument. These frequencies would be processed to smooth, continuous energy over time. Filters will be used to suppress unexpected attacks. With filters suppressing steep changes in energy, the system can preserve details of human voice while reducing the presence of percussive instruments.

[0082] It should be understood that the audio feature information can also include other contents according to actual needs, and the embodiment of the present disclosure is not limited to this.

[0083] Based on the above, by setting the audio feature information to include at least one of overall frequency distribution information, audio feature information in the low frequency range and audio feature information in the high frequency range, the characteristics of the current frame of the audio signal in one or more aspects of overall frequency distribution characteristics, low frequency characteristics and high frequency characteristics can be reflected through the audio feature information, thus facilitating subsequent corresponding visual display based on the audio feature information.

[0084] In some embodiments, wherein the audio feature information in the low-frequency range comprises at least one of low-frequency beat information and low-frequency energy ratio information.

[0085] The low-frequency beat information refers to the beat characteristics of the current frame of the audio signal in the low-frequency range.

[0086] Specifically, for example, the energy amplitude information of the current frame of the audio signal corresponding to the low frequency range can be obtained, and the low-frequency beat information can be determined based on the energy amplitude information in the low frequency range. For example, the local maximum value in the energy amplitude information in the low frequency range can be found, and the single-point beat position can be assigned, and then, for example, output shaping can be performed to make the energy amplitude of the beat in a unified value or within a preset amplitude range, and the generated low-frequency beat information (such as beat energy amplitude-time diagram) can be generated.

[0087] Fig. 3 illustrates a schematic diagram of low-frequency beat information according to an embodiment of the present disclosure. Wherein the low-frequency beat information is in the form of beat energy amplitude-time diagram. Specifically, the x-axis in the Fig. 3 represents time, and the y-axis in the Fig. 3 represents energy amplitude. The dashed line shows the current frame energy amplitude information in the low frequency range diagram F1, and the solid line shows the beat energy amplitude-time diagram F2. Wherein the process algorithm will find local maximum and assign a single point beat position and reshape the beat output to uniform decay pattern. And a minimum gap between beats is also set to avoid unwanted consecutive triggering of bass beat parameter due to data noise.

[0088] The low-frequency energy ratio information refers to the ratio of the audio energy in the low-frequency range to the total audio energy. The low frequency energy proportion information can be determined based on the current frame frequency distribution information.

[0089] Based on the above, by setting the audio feature information in the low-frequency range to include at least one of low-frequency beat information and low-frequency energy ratio information, the obtained audio feature information in the low-frequency range can well reflect the characteristics of the current frame in low-frequency beat and low-frequency ratio, which is beneficial to determine the corresponding representation mode based on this characteristic.

[0090] Fig. 4 illustrates a schematic diagram of music visualization method 100 according to another embodiment of the present disclosure.

[0091] Referring to Fig. 4, in some embodiments, the music visualization method further comprises the steps S101’ of acquiring historical frame parameter information of the target audio signal.

[0092] Wherein the historical frame parameter information of the target audio signal represents the parameter information of the audio signal in the preset multiple frames before the current frame, which aims to reflect the audio characteristics of audio frames adjacent to the current frame. For example, it may include the respective parameter information of multiple historical frames, or it may be the comprehensive parameter information obtained by processing the parameters information of multiple historical frames.

[0093] It should be understood that operations of steps S101 and S101’ may be performed in parallel, or performed sequentially, which is by no means limited herein.

[0094] Wherein the process S102 of determining the target representation mode of the current frame signal based on the current frame parameter information may comprises: firstly, in step S1021’, the audio feature information corresponding to the current frame signal is determined based on the current frame parameter information and the historical frame parameter information. Then, in step S1022, a target representation mode corresponding to the audio feature information is determined among a plurality of preset representation modes based on the audio feature information.

[0095] The process of determining the audio feature information corresponding to the current frame signal based on the current frame parameter information and the historical frame parameter information can be described in detailed. For example, the current frame parameter  information may include current frame energy amplitude information, and the historical frame parameter information may include historical frame energy amplitude information which represents the average energy amplitude of historical frames. In addition, the current frame parameter information may include audio feature information in high frequency range (such as high frequency energy change rate information) , wherein the high frequency energy change rate information can be calculated by the current frame energy amplitude information and the historical frame energy amplitude information. However, it should be understood that the embodiments of the present disclosure are not limited thereto.

[0096] The process of step S1022 has been described in detail before, and will not be repeated here.

[0097] Based on the above, in the application, by acquiring the historical frame parameter information of the target audio signal, and determining the audio feature information corresponding to the current frame based on the current frame parameter information and the historical frame parameter information, the determined audio feature signal can take into account the characteristics of the current frame and the characteristics of the historical frame adjacent to the current frame at the same time, so that the representation form suitable for the current frame can be determined more accurately, and the visual representation can take into account the consistency with the historical frames and the characteristics of the current frame.

[0098] In some embodiments, the above process S1022 of determining, based on the audio feature information, the target representation mode corresponding to the audio feature information among the plurality of preset representation modes can be described more specifically. FIG. 4 illustrates an exemplary flowchart of the process 1022 of determining the target representation mode corresponding to the audio feature information among the plurality of preset representation modes according to an embodiment of the present disclosure.

[0099] As shown in FIG. 4, first, in step S1022-1, the audio feature information is compared with the ranges of feature information corresponding to the plurality of preset representation modes respectively, and a comparison result is formed.

[0100] The feature information range corresponding to the preset representation mode refers to the preset information value range of related feature information corresponding to the preset representation mode.

[0101] For example, the process of comparing the audio feature information with the ranges of the feature information corresponding to the plurality of preset representation modes respectively can be described in details. For example, the audio feature information may include a plurality of sub-feature information. For example, for each preset representation mode, the sub-feature information may be compared with a preset sub-feature information range corresponding to the preset representation mode, and the situation that the sub-feature information falls into the preset sub-feature information range may be counted, for example, the number of sub-feature information falling into the corresponding sub-feature information range may be counted, and the number value may be taken as the comparison result.

[0102] However, it should be understood that the above only gives an example of comparison and comparison result, and the embodiments of the present disclosure are not limited to this.

[0103] Then, in step S1022-2, based on the comparison result, the preset representation mode corresponding to the audio feature information is determined as the target representation mode.

[0104] For example, if the comparison result indicates the number of sub-feature information falling into the corresponding sub-feature information range, then, based on the comparison results corresponding to each preset representation mode, the preset representation mode with the largest value in the comparison result (that is, the preset representation mode most consistent with the audio feature information of current frame) is determined as the target representation mode.

[0105] Based on the above, by comparing the audio feature information with the feature information ranges corresponding to the preset representation modes; and determining, based on the comparison result, the preset representation mode corresponding to the audio feature information as the target representation mode, so that the determined target representation mode can be well adapted to the audio feature information, thereby accurately and reliably showing the characteristics of the current frame of the audio signal and improving the accuracy and reliability of the music visualization.

[0106] In some embodiments, the process S103 of generating a visual representation of the current frame signal based on the target representation mode can be described more specifically.

[0107] FIG. 5 illustrates an exemplary flowchart of the process S103 of generating a visual representation of the current frame signal based on the target representation mode according to an embodiment of the present disclosure.

[0108] As shown in FIG. 5, first, in step S1031, a visual representation parameter corresponding to the current frame signal is determined according to the target representation mode and the audio feature information.

[0109] The visual representation parameter refer to related parameter used to generate the music visualization. Depending on the actual performance, the representation parameter can be screen display parameter information (such as the shape, pattern and color to be displayed) , or it can also be lighting control information (such as lighting color, lighting pattern and lighting frequency) that controls the LED array to emit light.

[0110] The process of determining the visual representation parameter corresponding to the current frame signal according to the target representation mode and the audio feature information may include, for example: firstly, the representation form (such as pattern, color, etc. ) corresponding to the target representation mode is determined. For example, in quiet mode, its musical characteristics are represented by solid color lines; in the strong beat mode, for example, the beats point is represented by an impact waveform, or the beats is represented by a circular pattern flashing at a fixed frequency. Then, based on the representation form and audio feature information, the visual representation parameter is generated, for example, the beat point is determined by impact waveform based on the strong beat mode, and the specific display frequency and amplitude of the beat points are determined based on the specific audio feature information (low-frequency beat information) .

[0111] Secondly, in step S1032, a visual representation of the current frame signal is performed based on the visual representation parameter.

[0112] It should be understood that the embodiments of the present disclosure are not limited by specific display device.

[0113] Based on the above, in this application, by the arrangement of determining a visual representation parameter corresponding to the current frame signal according to the target representation mode and the audio feature information, and performing visual representation of the current frame signal based on the visual representation parameter, so that the target representation mode and audio feature information corresponding to the current frame are  considered at the same time when displaying, so that comprehensive and reliable display can be realized.

[0114] In some embodiment, wherein the visual representations corresponding to the plurality of preset representation modes are different from each other in at least one of pattern type, pattern color, pattern brightness and pattern shape.

[0115] The pattern type is intended to characterize the type that the visualization pattern has, and the pattern type can be, for example, a single point, a dot array, a single line, a plurality of lines, or one or more closed graphs.

[0116] The pattern color is intended to characterize the color that the visualization pattern has, which can be a single color or a combination of one or more preset colors.

[0117] The pattern brightness is intended to characterize the brightness that the visualization pattern has, it can be set by the system and preset by the user.

[0118] The pattern shape is intended to characterize the shape that the visualization pattern has, for example, if the pattern type is a single line, the pattern shape can be solid line, dashed line or dotted line. In addition, if the pattern type is closed graph, the pattern shape can be rectangular, square, round, oval, etc.

[0119] Based on the above, by the arrangement that the visual representations corresponding to the plurality of preset representation modes are different from each other in at least one of pattern type, pattern color, pattern brightness and pattern shape, the presentation forms of music visualization in the application are more diverse, and each different representation mode can select the presentation form which is most beneficial to display its audio characteristics, thus improving the richness of music visualization and improving the user experience.

[0120] According to another aspect of the present disclosure, there is provided music visualization device. FIG. 6 shows a structural block diagram of the music visualization device 200 according to an embodiment of the present disclosure.

[0121] As shown in the FIG. 6, the music visualization device 200 provided by the embodiment of the present disclosure includes: an audio frame parameter information determination module 210, a target representation mode determination module 220, and a visual representation generation module 230. The music visualization device 200 can execute the method shown in FIG. 1.

[0122] The audio frame parameter information determination module 210 is configured to  perform the operation of the step S101 in FIG. 1, which may acquire a current frame signal of a target audio signal and determine current frame parameter information based on the current frame signal.

[0123] The target audio signal refers to the audio signal of the target music to be visualized. According to actual needs, for example, the target audio signal can be compressed waveform audio formats like AAC and MP3 for simplicity in streaming.

[0124] The current frame signal of a target audio signal refers to the target audio signal captured at the current moment. The frame length of the current frame in the audio signal may be around 15-30ms, however, it should be understood that the embodiment of the present disclosure is not limited by the frame length of the current frame of the audio signal.

[0125] The current frame parameter information refers to information that can reflect the characteristics of the current frame of the audio signal, for example, it can include the characteristic information of the current frame of the audio signal in time-frequency domain.

[0126] The parameter information of the current frame can be obtained by, for example, performing time domain analysis and frequency domain analysis on the current frame, however, the embodiment of the present disclosure is not limited to this.

[0127] For example, the current frame parameter information may include current frame frequency distribution information and / or current frame energy amplitude information. However, the embodiment of the present disclosure is not limited to this.

[0128] The target representation mode determination module 220 is configured to perform the operation of the step S102 in FIG. 1, which may determine a target representation mode of the current frame signal based on the current frame parameter information.

[0129] The target representation mode refers to the visual representation mode corresponding to the current frame of the audio signal. It should be understood that the target representation mode can correspond to a specific representation pattern type, color, brightness, and the like.

[0130] For example, the representation mode of the current frame signal can be determined based on the audio feature information corresponding to the current frame signal, which is calculated by the current frame parameter information.

[0131] The visual representation generation module 230 is configured to perform the operation of the step S103 in FIG. 1, which may generate a visual representation of the current frame signal based on the target representation mode.

[0132] The generation of the visual representation of the current frame signal can be described in detailed. For example, the corresponding visual pattern can be presented on the display interface according to the target representation mode, or the presentation can be realized by a plurality of LED light groups located on the sound box, which may flash at the corresponding frequency, with different colors, or form corresponding pattern / shape according to the target representation mode. Embodiments of the present disclosure are not limited by the specific manifestation of the visual representation.

[0133] Based on the above, in this application, the current frame parameter information of each current frame of the target audio signal is determined, and the corresponding target representation mode is determined for visual display based on the current frame parameter information, thus the characteristics of each frame of the target audio signal can be well extracted, and the display mode most suitable for the current frame can be flexibly determined based on the characteristics, so that on the basis of realizing good and reliable real-time performance, the characteristics of each frame of the target audio signal are presented, and good music characteristics presentation and high real-time performance are also taken into account.

[0134] In some embodiments, wherein the current frame parameter information comprises at least one of current frame frequency distribution information and current frame energy amplitude information.

[0135] The current frame frequency distribution information is intended to represent the distribution characteristic information of the current frame of the audio signal at different frequencies. For example, the current frame can be processed in frequency domain to obtain its frequency spectrums in multiple different frequency / frequency ranges, which can be used as the current frame frequency distribution information of the current frame. However, it should be understood that the current frame frequency distribution information is not limited to the above form.

[0136] The current frame energy amplitude information refers to the amplitude value of the current frame of the audio signal. For example, the current frame of the audio signal can be processed in time domain to obtain the amplitude value in the current frame.

[0137] Based on the above, in this application, by setting the current frame parameter information to include at least one of the current frame frequency distribution information and the current  frame energy amplitude information, the current frame parameter information can well reflect the characteristics of the current frame of the audio signal in the time domain and / or the frequency domain, which is beneficial to well determine its target representation mode and accurately present the characteristics of the current frame.

[0138] In some embodiments, wherein the target representation mode determination module 220 comprises: an audio feature extraction module 221 and a target representation mode generation module 222.

[0139] Wherein the audio feature extraction module 221 is configured to perform the operation of the step S1021 in FIG. 2, which may determine audio feature information corresponding to the current frame signal based on the current frame parameter information.

[0140] The audio feature information refers to information representing the musical characteristics of the current frame of the audio signal. For example, it represents the beat characteristics, volume characteristics, frequency response characteristics and frequency distribution characteristics of the current frame. It should be noted that the embodiments of the present disclosure are not limited by the specific composition of the audio feature information.

[0141] For example, the current frame parameter information can be directly used as audio feature information, or the current frame parameter information can be further processed and analyzed to obtain audio feature information.

[0142] Wherein the target representation mode generation module 222 is configured to perform the operation of the step S1022 in FIG. 2, which may determine a target representation mode corresponding to the audio feature information among a plurality of preset representation modes based on the audio feature information.

[0143] For example, the preset representation modes can be pre-imported by the system or manually set by the user. The preset representation mode may include a plurality of different representation modes, for example, silence mode, clean music mode, strong beat mode, complicated music mode, climax mode, transition mode. The embodiment of the present disclosure is not limited by the specific composition of the preset representation mode.

[0144] For example, the determination process of the target representation mode can be achieved by: comparing the audio feature information with the ranges of feature information corresponding to the plurality of preset representation modes respectively; and determining, based on a comparison result, the preset representation mode corresponding to the audio  feature information as the target representation mode. However, the determination process of the target representation mode is not limited to this.

[0145] Based on the above, by determining the audio feature information corresponding to the current frame signal based on the current frame parameter information, and further determining the target representation mode corresponding to the audio feature information among a plurality of preset representation modes based on the audio feature information, the application can flexibly select an appropriate representation mode according to the audio characteristics of the current frame, thereby fully and comprehensively realizing the visualization process of the audio characteristics of the current frame, realizing more accurate and comprehensive visual display and improving the user experience.

[0146] In some embodiments, wherein the audio feature information comprises at least one of overall frequency distribution information, audio feature information in low frequency range and audio feature information in high frequency range.

[0147] The overall frequency distribution information is intended to characterize the frequency characteristics of the current frame of the audio signal. For example, the frequency distribution information of the current frame can be directly used as overall frequency distribution information, or the frequency distribution information of the current frame can be further processed to generate overall frequency distribution information.

[0148] The audio feature information in low frequency range aims to characterize the characteristics of the current frame of the audio signal in the low frequency range. For example, the audio feature information in low frequency range may include low-frequency beat information and low-frequency energy ratio information.

[0149] The audio feature information in high frequency range aims to characterize the characteristics of the current frame of the audio signal in the high frequency range.

[0150] In some embodiments, the audio feature information comprises all of overall frequency distribution information, audio feature information in low frequency range and audio feature information in high frequency range, in order to better illustrate the characteristics of the current frame of the audio signal.

[0151] It should be understood that the audio feature information can also include other contents according to actual needs, and the embodiment of the present disclosure is not limited to this.

[0152] Based on the above, by setting the audio feature information to include at least one of  overall frequency distribution information, audio feature information in the low frequency range and audio feature information in the high frequency range, the characteristics of the current frame of the audio signal in one or more aspects of overall frequency distribution characteristics, low frequency characteristics and high frequency characteristics can be reflected through the audio feature information, thus facilitating subsequent corresponding visual display based on the audio feature information.

[0153] In some embodiments, wherein the audio feature information in the low-frequency range comprises at least one of low-frequency beat information and low-frequency energy ratio information.

[0154] The low-frequency beat information refers to the beat characteristics of the current frame of the audio signal in the low-frequency range.

[0155] The low-frequency energy ratio information refers to the ratio of the audio energy in the low-frequency range to the total audio energy. The low frequency energy proportion information can be determined based on the current frame frequency distribution information.

[0156] Based on the above, by setting the audio feature information in the low-frequency range to include at least one of low-frequency beat information and low-frequency energy ratio information, the obtained audio feature information in the low-frequency range can well reflect the characteristics of the current frame in low-frequency beat and low-frequency ratio, which is beneficial to determine the corresponding representation mode based on this characteristic.

[0157] In some embodiments, the music visualization device may execute the method as described above, and implement the functions described above.

[0158] According to another aspect of the present disclosure, there is also provided a non-volatile computer-readable storage medium having stored thereon computer-readable instructions that, when executed by a computer, perform the method as described above.

[0159] Program portions of the technology may be considered to be “product” or “article” that exists in the form of executable codes and / or related data, which are embodied or implemented by a computer-readable medium. A tangible, permanent storage medium may include an internal memory or a storage used by any computers, processors, or similar devices or associated modules. For example, various semiconductor memories, tape drivers, disk drivers, or any similar devices capable of providing storage functionality for software.

[0160] All software or parts of it may sometimes communicate over a network, such as the  internet or other communication networks. Such communication can load software from one computer device or processor to another. For example, loading from one server or host computer to a hardware environment of one computer environment, or other computer environment implementing the system, or a system having a similar function associated with providing information needed for image processing. Therefore, another medium capable of transmitting software elements can also be used as a physical connection between local devices, such as light waves, electric waves, electromagnetic waves, etc., to be propagated through cables, optical cables, or air. Physical medium used for carrying the waves such as cables, wireless connections, or fiber optic cables can also be considered as medium for carrying the software. In usage herein, unless a tangible “storage” medium is defined, other terms referring to a computer or machine “readable medium” mean a medium that participates in execution of any instruction by the processor.

[0161] While various embodiments of the disclosure have been described, it will be apparent to those of ordinary skill in the art that many more embodiments and implementations are possible that are within the scope of the disclosure. Accordingly, the disclosure is not to be restricted except in light of the attached claims and their equivalents.

Claims

1.A music visualization method, comprising:acquiring a current frame signal of a target audio signal, and determining current frame parameter information based on the current frame signal;determining a target representation mode of the current frame signal based on the current frame parameter information;generating a visual representation of the current frame signal based on the target representation mode.2.The music visualization method according to claim 1, wherein the current frame parameter information includes at least one of current frame frequency distribution information and current frame energy amplitude information.3.The music visualization method according to claim 1, wherein determining the target representation mode of the current frame signal based on the current frame parameter information comprises:determining audio feature information corresponding to the current frame signal based on the current frame parameter information;determining, based on the audio feature information, a target representation mode corresponding to the audio feature information among a plurality of preset representation modes.4.The music visualization method according to claim 3, wherein the audio feature information comprises at least one of overall frequency distribution information, audio feature information in low frequency range and audio feature information in high frequency range.5.The music visualization method according to claim 4, wherein the audio feature information in the low-frequency range comprises at least one of low-frequency beat information and low-frequency energy ratio information.6.The music visualization method according to claim 1, further comprising: acquiring historical frame parameter information of the target audio signal, andwherein the determining the target representation mode of the current frame signal based on the current frame parameter information comprises:determining the audio feature information corresponding to the current frame signal based on the current frame parameter information and the historical frame parameter information;determining, based on the audio feature information, a target representation mode corresponding to the audio feature information among a plurality of preset representation modes.7.The music visualization method according to claim 3, wherein, determining, based on the audio feature information, the target representation mode corresponding to the audio feature information among the plurality of preset representation modes comprises:comparing the audio feature information with the ranges of feature information corresponding to the plurality of preset representation modes respectively, and forming a comparison result;determining, based on the comparison result, the preset representation mode corresponding to the audio feature information as the target representation mode.8.The music visualization method according to claim 3, wherein generating a visual representation of the current frame signal based on the target representation mode comprises:determining a visual representation parameter corresponding to the current frame signal according to the target representation mode and the audio feature information;performing visual representation of the current frame signal based on the visual representation parameter.9.The music visualization method according to claim 1, wherein the visual representations corresponding to the plurality of preset representation modes are different from each other in at least one of pattern type, pattern color, pattern brightness and pattern shape.10.A music visualization device, comprising:an audio frame parameter information determination module, which is configured to acquire a current frame signal of a target audio signal and determine current frame parameter information based on the current frame signal;a target representation mode determination module, which is configured to determine a target representation mode of the current frame signal based on the current frame parameter information;a visual representation generation module, which is configured to generate a visual representation of the current frame signal based on the target representation mode.11.The music visualization device according to claim 10, wherein the current frame parameter information comprises at least one of current frame frequency distribution information and current frame energy amplitude information.12.The music visualization device according to claim 10, wherein the target representation mode determination module comprises:an audio feature extraction module, which is configured to determine audio feature information corresponding to the current frame signal based on the current frame parameter information;a target representation mode generation module, which is configured to determine a target representation mode corresponding to the audio feature information among a plurality of preset representation modes based on the audio feature information.13.The music visualization device according to claim 12, wherein the audio feature information comprises at least one of overall frequency distribution information, audio feature information in low frequency range and audio feature information in high frequency range.14.The music visualization device according to claim 13, wherein the audio feature information in the low-frequency range comprises at least one of low-frequency beat information and low-frequency energy ratio information.15.A computer-readable storage medium, characterized in that computer-readable  instructions are stored thereon, and when the instructions are executed by a computer, the method according to any one of claims 1-9 is executed.

Images