Enhanced diagnostic data capture

Abstract

A method for analyzing cause of a system failure. The method includes detecting a triggering event; in response to detecting the triggering event, retrieving a video recorded, by a baseboard management controller (BMC) embedded in a server, from a video surveillance system; storing the retrieved video record in a storage device; and extracting data corresponding to the retrieved video record from the storage device in the server for analyzing the triggering event.

Description

ENHANCED DIAGNOSTIC DATA CAPTURETECHNICAL FIELD

[0001] The present disclosure relates to the field of enterprise and service systems, and in particular relates to identification of the cause of a system failure by implementing a diagnostic data capture process.BACKGROUND

[0002] The process to isolate potential issues that stem from external manipulation of the system is manual and involves accessing devices, such as network switches or intelligent power distribution units (PDUs) , to identify if there is connectivity on ports. However, identifying connectivity issues at an edge site may be difficult because of limited access to the site. Further, when components are removed and mistakenly placed into an adjacent system, it is helpful to monitor inventory change events and utilize the aggregated log to create the informational view that may reveal the cause of the problem. These methods require additional data collection steps that are not easily automated to report system errors.SUMMARY

[0003] One aspect of the present disclosure provides a method for analyzing cause of a system failure. The method includes detecting a triggering event; in response to detecting the triggering event, retrieving a video recorded, by a baseboard management controller (BMC) embedded in a server, from a video surveillance system; storing the retrieved video record in a storage device; and extracting data corresponding to the retrieved video record from the storage device in the server for analyzing the triggering event.

[0004] Another aspect of the present disclosure provides a system for identifying fault data of a server by diagnostic data processing is provided. The system includes a baseboard management controller (BMC) embedded in the server; a camera disposed outside the server, connected to the BMC, and being configured to record video of a triggering event; a user interface connected to the BMC, the user interface being configured to set up configurations of the BMC. The BMC is configured to detect the triggering event; in response to detecting the triggering event, retrieve a video record from a video surveillance system including the camera; and store the retrieved video record in a diagnostic data log file.

[0005] Another aspect of the present disclosure provides a method for analyzing cause of a system failure. The method includes configuring a management unit to enable retrieving and storing video record in a storage device, wherein the management unit is disposed inside a server; selecting a triggering event; in response to detecting an occurrence of the triggering event, retrieving a video recorded by the management unit from a video surveillance system; identifying an action in the video record corresponding to the triggering event; and request to extract data corresponding to the retrieved video record from the storage device in the server to analyze the triggering event.BRIEF DESCRIPTION OF THE DRAWINGS

[0006] A more particular description of the embodiments briefly described above will be rendered by reference to specific embodiments that are illustrated in the appended drawings. Understanding that these drawings depict only some embodiments and are not therefore to be considered to be limiting of scope, the embodiments will be described and explained with additional specificity and detail through the use of the drawings below.

[0007] FIG. 1 is a schematic diagram of a network of a data center and a remote administrator according to some embodiments of the present disclosure;

[0008] FIG. 2 is a flowchart illustrating a process of configuring a BMC according to some embodiments of the present disclosure;

[0009] FIG. 3 is a block diagram of an interconnection between a BMC and other components inside and outside the server according to some embodiments of the present disclosure;

[0010] FIG. 4 is a is a flowchart illustrating a process of repairing the system after detecting the triggering event according to some embodiments of the present disclosure; and

[0011] FIG. 5 is a block diagram illustrating different modules contained in a video surveillance system according to some embodiments of the present disclosure.DETAILED DESCRIPTION

[0012] It will be readily understood that the components of the embodiments, as generally described and illustrated in the figures herein, may be arranged and designed in a wide variety of different configurations in addition to the described example embodiments. Thus, the following more detailed description of the example embodiments, as represented in the figures, is not intended to limit the scope of the embodiments, as claimed, but is merely representative of example embodiments.

[0013] Reference throughout this specification to “some embodiments” means that a particular feature, structure, or characteristic described in connection with the embodiments is included in at least one embodiment. Thus, the appearance of the phrases “in some embodiments” in various places throughout this specification is not necessarily all referring to the same embodiment.

[0014] First failure data capture or diagnostic data capture refers to capturing diagnostic data as soon as a system failure occurs, including the moment prior to the failure occurring. Diagnostic data captured at the time of the system failure may provide more clue to the root cause than the large amount of data that can be captured after the system failure, such as the automatic crash dump or manual system dump data. However, systems should not be run in debug mode over a long period of time to capture useful data at the moment of the system failure. An external video surveillance system thus may provide supplemental information to system failure data because it may record the moment prior to and during the system failure. For example, a video file may show whether a system failure was caused by an external physical action.

[0015] Video cameras are devices that are widely used for surveillance and monitoring purposes. Cameras are used in places such as a data center, a road intersection, a building hallway, etc. In a data center, a video camera may be used in a surveillance system for management purposes. For example, certain computer systems in the data center may receive and process sensitive information, thus, it is necessary to install the video surveillance system to protect such computer systems from unauthorized accesses or unauthorized transfers of data stored in the systems.

[0016] On the other hand, the video surveillance system installed in the data center can also monitor authorized personnel’s actions in order to manage the systems in the data center. According to the present disclosure, any data center personnel can cause mis-operations of the facility by inadvertent physical actions. Often, the data center contains numerous equipment racks for storing a large number of servers in a high-density configuration, mis-operations may take place in a narrow space. For example, an on-site personnel may inadvertently dislodge a cable or  a connector, i.e., pull out a power plug without recognizing having done so. However, in most servers, there are two power supplies. Thus, the server would not stop operating when one power cord is accidentally pulled out. When the server has lost one of the two power supplies, the server may send out an alert indicating that its current power state is no longer a redundant state.

[0017] FIG. 1 is a schematic diagram of a network of a data center and a remote administrator. According to some embodiments of the present disclosure, a data center 100 includes a plurality of servers 102, 104, 106 108, etc., and each server inside the data center 100 is embedded with a baseboard management controller (BMC) (e.g., a BMC 110, a BMC 112, a BMC 114, a BMC 116, etc. ) . A camera is connected to a BMC via a wired or wireless network, e.g., a local area network (LAN) , and each BMC corresponds to a camera to monitor a specific location in the data center 100. For example, a camera 118 may be connected to the BMC 110 via LAN, and a camera 120 may be connected to the BMC 116 via LAN. The correspondence between a BMC and a camera may be modified as needed. For example, a camera 122 instead of the camera 118 may be connected to the BMC 110, and a camera 124 instead of the camera 120 may be connected to the BMC 116. In some embodiment, one BMC may be connected to more than one camera. For example, the BMC 110 may be connected to both the camera 118 and the camera 122, to monitor different locations of the data center 100. A data center administrator 126 may monitor the servers remotely by connecting a monitoring device to the servers via the LAN or Internet, a cloud server, etc. In some embodiments, the data center administrator 126 can monitor the alerts received from the BMCs embedded in the servers. Based on the alerts sent from the BMCs, the data center administrator 126 may be able to diagnose an event that caused a system failure, i.e., an unplugged cable, a loss of power supply, etc., as such an event is automatically  captured by the video surveillance system. In some embodiments, a specific instruction, time, or operating condition may be set up for the video cameras to start a video recording.

[0018] In the foregoing example, if the on-site personnel accidentally walked by a rack which stores the severs, and bumped into the power cord by her elbow and pulled out the power plug, the remote data center administrator can diagnose this series of events by analyzing the video footage. Accordingly, because the triggering event can be easily reversed without a formal on-site inspection, there is no need to immediately transport a new power supply to the data center, or seek support from a server maintenance for on-site checking.

[0019] In some embodiments, as shown in FIG. 1, a plurality of video cameras may be installed in the data center, to monitor different locations within the data center. The BMC may be configured with information about one or more cameras connected to the BMC, so that the BMC can track one or more video cameras and monitor different locations of the data center. For example, a first camera may be installed at an aisle near the door, a second camera may be installed in front of a machine room, a third camera may be installed at one corner, and a fourth camera may be installed behind a server, etc.

[0020] The configuration of the BMC may be implemented from a user interface of a terminal device connected to the local network via the LAN or Internet, or may be pre-configured at the factory as part of manufacturing process. When a user, such as a system administrator sets up the BMC, the system administrator may set up a specific triggering event so that the BMC can capture video data for that triggering event. In some embodiments, the triggering event includes but is not limited to a loss of network, a loss of power, a server operating at a high temperature, etc.

[0021] According to some embodiments of the present disclosure, a system administrator can configure a BMC with a preferred triggering event, set up a camera for capturing the preferred triggering event, and a process of retrieving and storing the video record corresponding to the triggering event. FIG. 2 is a flowchart illustrating a process of configuring a BMC by a system administrator.

[0022] 201: Configuring a BMC to enable retrieving and storing a video from a surveillance system in a diagnostic data capture log file.

[0023] In some embodiment, the system administrator may configure the BMC to enable retrieving and storing a video from the surveillance system in the diagnostic data log file. The diagnostic data log file is a file located in the BMC of the server. The diagnostic data log file contains the event log, which includes the history of all events that happened during a system failure. The amount of the event data stored in the diagnostic data log file depends on the capacity of the storage.

[0024] The diagnostic data log file may also contain a state information of the current state of the system. The BMC may read the state information and static data about the system, i.e., serial number, identifying information, and measured parameters of the system from all sensors connected to the BMC. The information contained in the diagnostic data log file may be enough to represent the information about the state of the server. The administrator may be able to diagnose the cause of the triggering event, without actually visiting the site or seeking external service support. Without storing the data in the diagnostic data log file, the administrator may not have enough information to fully understand the cause for the system failure.

[0025] According to some embodiments, a block diagram of an interconnection between a BMC and other components inside and outside the server is shown in FIG. 3. As shown in FIG. 3, inside a server 300, there may be a BMC 302, a sensor 314, a processor 304, and a storage 306. An diagnostic data log file 308 may be stored in the BMC 302 within the server 300. The BMC may retrieve video from a camera 310 of a video surveillance system 312 and save the video record in the diagnostic data file 308. In some embodiments, the BMC 302 may also be connected to a sensor 314 for collecting data from the sensor 314. For example, the sensor 314 may be a humidity sensor or a temperature sensor. The BMC may be configured to collect humidity data or temperature data of the server. Some servers 300 may have several temperature sensors at various places. Some edge servers 300 may also have vibration sensors and accelerometers. Further, many components may have their own respective sensors.

[0026] 202: Selecting a trigging event for retrieving and storing the video record.

[0027] The system administrator may configure the BMC by selecting a trigging event for retrieving and storing the video record. The system administrator may classify the type of the triggering event for the camera to capture, to make efficient use of the limited storage in the BMC. In one example, a temperature threshold may be set up as a triggering event. When the temperature of the server reaches the temperature threshold, the camera 310 may start to record video at a corresponding location. In another example, a humidity threshold may be set up as a triggering event. When the humidity of the data center reaches the humidity threshold, the camera 310 may start to record video at a corresponding location. A user interface 316 may be connected to the server via the LAN or Internet to allow a remote system administrator to configure the BMC at a local or remote terminal device.

[0028] 203: Configuring a video camera number, a location of each camera to retrieve the video record.

[0029] Each video camera is connected to the BMC in charge of the video recorded by the camera. The system administrator may configure each video camera to be represented by an identifier such as a number. The system administrator may specify a location of each camera to retrieve the video record captured by the corresponding camera.

[0030] 204: Configuring a duration for the retrieved video record to be saved.

[0031] The system administrator may configure the BMC to set a duration for a retrieved video record that corresponds to the triggering event. The system administrator may decide how much time prior to the triggering event the video record may start, and how much time subsequent to the triggering event the video record may end. Sometimes, there may be other events occurring after the triggering event. Such information may also be useful for a data center administrator to diagnose the failure data and figure out the cause for the failure. The configuration of the duration of the video record is a balance of the storage capacity in the BMC and value of the information for analyzing the cause for failure. The longer the duration of the video record is, the more contexts the remote administrator receives for diagnosing the problem, but at the same time, the more storage will be required for saving that information.

[0032] In some embodiments, depending on the type of triggering event, the system administrator may set longer duration for the retrieved video record if the triggering event is more critical (e.g., loss of power) , and the system administrator may set shorter duration for the retrieved video record if the triggering event is less critical (e.g., slow operating speed) . In another embodiment, the system administrator may set longer duration for the retrieved video  record if the data center is farther away from the physical location of the system administrator may set longer duration for the retrieved video record.

[0033] Once the system administrator completes the configurations of the BMC, the system operates normally until one of the triggering events is generated at the BMC. According to some embodiments of the present disclosure, when the triggering event takes place, the BMC automatically captures video data from the surveillance system, and appends the data to the diagnostic data log file. The remote administrator can then download and analyze the data from the diagnostic data log file. FIG. 4 is a flowchart illustrating a process of repairing the system after detecting the triggering event.

[0034] 401: Determining whether or not one of the triggering events has taken place.

[0035] In step 401, the BMC determines whether or not one of the triggering events has happened. As mentioned in step 202, an event type for the triggering event may be configured in the BMC by the system administrator, and the BMC is connected to a camera that is configured to record the video at a specific location. A triggering event can be many types of environment-caused fault events. For example, a trigger event may be network cable being pulled out. The BMC may determine whether the network cables have been pulled out from the servers.

[0036] 402a: In response to detecting a configured triggering event, connecting the BMC to the video surveillance system to retrieve a video record from a pre-configured camera at a pre-configured duration.

[0037] 402b: In response to not detecting a configured triggering event, restarting from configuring the BMC to enable retrieving and storing surveillance system video in the diagnostic data log file.

[0038] According to some embodiments of the present disclosure, based on the configuration of the BMC, when a sensor detects a triggering event, the BMC may automatically connect to the video surveillance system outside the server to retrieve the video record from a pre-configured camera in a pre-configured duration. In the foregoing-described embodiments, in step 203, a video camera number and the location of the camera is pre-configured by the system administrator to connect to a corresponding BMC. In step 204, a duration is pre-configured for the retrieved video record to be saved. Accordingly, when the sensor detects the triggering event, the BMC may automatically collect data corresponding to the triggering event from the video camera.

[0039] In some embodiments, in response to the sensor not detecting the configured triggering event, the system administrator may restart from configuring the BMC to enable retrieving and storing surveillance system video in the diagnostic data log file as needed. Alternatively, the system administrator need not restart the configuration of the BMC and wait till the triggering event takes place.

[0040] 403: Storing the retrieved video in the diagnostic data log file.

[0041] Once the BMC retrieves the video record from the camera data, it appends the data to the diagnostic data log file in the BMC.

[0042] 404: Downloading and analyzing the diagnostic data log file corresponding to the retrieved video.

[0043] Since the BMC is embedded within the server, the data center personnel may enter the site and take the server to the lab to analyze the diagnostic data log file data. Alternatively, as mentioned, the remote administrator can monitor the data center via the LAN or Internet from a  monitoring device. Thus, the remote administrator may download the diagnostic data log file and analyze the data in the downloaded file.

[0044] 405: Checking physical action on site to find out cause of the triggering event.

[0045] After the remote administrator conducts data analysis, she may decide to check the physical actions on site to figure out the cause for the triggering event. For example, if a physical action, i.e., a bump by the elbow of an on-site personnel, caused the disconnection of a cable, or a power cord, the remote administrator can figure out such an act associated with the cause for the loss of network or the loss of the power.

[0046] 406: Discarding the diagnostic data log file.

[0047] After the remote administrator downloads and saves the diagnostic data log file, the diagnostic data log file may be discarded. The limited storage of the BMC can then be used for the next set of data retrieval and storage for analyzing the cause for another triggering event. Usually, after a set number of days, these diagnostic data files are automatically deleted from the system.

[0048] At the time of the first moment of the system failure (or prior to the first moment) , the information in the video record is captured in the diagnostic data log file for analysis of the cause for the first moment of the failure. This practice can save system administration costs by reducing the need to visit the site and ensure the efficiency of solving the problems.

[0049] In some embodiments, the video record data may not be saved in the diagnostic data log file, but rather stored in a separate storage. In this situation, the remote administrator may collect the video data from the separate storage and merge it to the diagnostic data log file into a  common view for further analysis. The storage software may be a hyperconverged storage software.

[0050] In the foregoing embodiment, the BMCs may be embedded in servers. In some embodiments consistent with the present disclosure, a video surveillance system may include a plurality of modules as shown in FIG. 5. The video surveillance system may include a receiving module 610 configured to receiving a request for video record of a triggering event, a video retrieval module 620 configured to retrieve a video record covering the triggering event, and a video storage module 630 configured to store data corresponding to the retrieved video record.

[0051] In some embodiments, the BMCs may not be located at the data center. Rather, the BMC may be disposed at a different place. For example, a BMC may be disposed outside the data center and be connected to a server located inside the data center via the Internet, and the BMC may control the performance of the server inside the data center.

[0052] In embodiments consistent with the present disclosure, the BMC enables a remote administrator to manage hardware like software. The remote administrator may monitor the system through a computer that is connected to the data center. The remote administrator’s computer may be connected server through any type of network, including a LAN or a wide area network (WAN) , or the connection may be made to an external computer (for example, through the Internet using an Internet Service Provider) .

[0053] From a user interface showing the management interface by the BMC, there may be a couple of sections reflecting the information about the system, i.e., a system health summary such as a CPU, memory, local storage, power supply, fan and system board, system information giving more details about the system being accessed, utilization of the system such as power utilization  and system utilization, temperature of the CPU, etc. The administrator can navigate the events, inventory, utilization, remote console, server configuration, firmware state and BMC configuration, etc., and to oversee changes in the system. A system administrator may also track the health of the system from a user terminal device, i.e., a laptop, a desktop, a tablet, a mobile device, etc.

[0054] A person skilled in the art should recognize, however, that the embodiments of the present disclosure may also be implemented in a computer program product disposed upon a computer-readable storage medium having computer readable program instructions for causing the server to carry out the foregoing described method.

[0055] The computer-readable storage medium can be a tangible device for storing instructions. The computer-readable storage medium includes flash drive, movable hard disks, read-only memory (ROM) , random-access memory (RAM) , magnetic disks or optical disks, and other mediums that can store program codes.

[0056] Computer-readable program instructions described herein can be downloaded to respective computing / processing devices from the computer-readable storage medium or to an external computer or external storage device via a network, for example, the Internet, a LAN, a WAN, or a wireless network.

[0057] Computer-readable program instructions for carrying out the method embodiment of the present disclosure may be assembler instructions, instruction-set architecture (ISA) instructions, machine instructions, machine dependent instructions, microcode, firmware instructions, state-setting data, or other source code or object code written in any combination of one or more programming languages.

[0058] The computer-readable program instructions may execute entirely or partially on the remote administrator’s computer.

[0059] These computer-readable program instructions may be provided to a processor of a general purpose computer, special purpose computer, or other programmable data processing apparatus such that the instructions, when executed, can implement the foregoing method.

[0060] The above description of the disclosed embodiments of the present disclosure can enable those skilled in the art to implement or use the present disclosure. Thus, although illustrative example embodiments have been described herein with reference to the accompanying figures, it is to be understood that this description is not limiting, and that various other changes and modifications may be affected therein by one skilled in the art without departing from the scope or spirit of the disclosure.

Claims

1.A method for analyzing cause of a system failure, comprising:detecting a triggering event;in response to detecting the triggering event, retrieving a video recorded, by a baseboard management controller (BMC) embedded in a server, from a video surveillance system;storing the retrieved video record in a storage device; andextracting data corresponding to the retrieved video record from the storage device in the server for analyzing the triggering event.2.The method according to claim 1, further comprising:storing the triggering event in the BMC corresponding to the video record to be retrieved;storing a video camera number and a video camera location in the BMC corresponding to the triggering event, the video camera number being representative of the video camera; andstoring a duration for the retrieved video record in the storage device.3.The method according to claim 2, further comprising:storing a classification of one or more triggering events in the BMC.4.The method according to claim 2, wherein before storing the video  camera number and the video camera location in the storage device, the method further comprises:connecting a video camera to the BMC for monitoring the video camera.5.The method according to claim 2, further comprising:setting a start time prior to the moment of recording the video;setting an end time after recording the video; andretrieving a clip of the video record between the start time and the end time, and storing the retrieved clip of the video record in the storage device.6.The method according to claim 2, wherein the BMC is disposed inside a server.7.The method according to claim 2, wherein the storage device is a BMC.8.The method according to claim 2, wherein the storage device is a data drive.9.The method according to claim 7, wherein the BMC stores a diagnostic data log file, the diagnostic data log file being configured to store the retrieved video record.10.The method according to claim 6, wherein the BMC sends an alert when a sensor connected to the BMC detects the triggering event.11.A system for identifying fault data of a server by a diagnostic data capture process, comprising:a baseboard management controller (BMC) embedded in the server;a camera disposed outside the server, connected to the BMC, and being configured to record video of a triggering event;a user interface connected to the BMC, the user interface being configured to set up configurations of the BMC; wherein the BMC is configured to:detect the triggering event;in response to detecting the triggering event, retrieve a video record from a video surveillance system including the camera; andstore the retrieved video record in a diagnostic data log file.12.The system according to claim 11, wherein the configuration of the BMC comprises:the triggering event;a camera number representative of the camera connected to the BMC; anda camera location corresponding to the camera connected to the BMC.13.The system according to claim 12, wherein the configurations of the  BMC further comprises:a start time prior to the moment of recording the video; andan end time after recording the video.14.The system according to claim 11, wherein:The retrieved video stored in the diagnostic data log file being indicative of a cause for the triggering event.15.A method for analyzing cause of a system failure, comprising:configuring a management unit to enable retrieving and storing video record in a storage device, wherein the management unit is disposed inside a server;selecting a triggering event;in response to detecting an occurrence of the triggering event, retrieving a video recorded by the management unit from a video surveillance system;identifying an action in the video record corresponding to the triggering event; andrequest to extract data corresponding to the retrieved video record from the storage device in the server to analyze the triggering event.16.The method according to claim 15, further comprising:configuring a video camera number and a video camera location in the management unit corresponding to the triggering event; andconfiguring a duration from a start of the retrieved video record in the storage device.17.The method according to claim 15, wherein configuring the management unit to enable retrieving and storing video record in the storage device further comprises:classifying types of one or more triggering events in the management unit.18.The method according to claim 17, wherein configuring a duration from a start of the retrieved video record in the storage device comprises setting different durations for retrieved video record based on the types of triggering events.19.The method according to claim 15, wherein configuring the duration from the start of the retrieved video record in the storage device comprises:configuring a start time prior to the moment of recording the video; andconfiguring an end time after recording the video.20.The method according to claim 15, wherein the management unit is a BMC, the BMC being configured to store a diagnostic data capture log file, the diagnostic data log file being configured to store the retrieved video record.

Images