案例背景
某大学校园网内部的数据中心最近一段时间通过流量监控设备发现流量比以前高很多,校内及校外均有人反映访问数据中心服务器的速度比较慢。根据用户介绍前段时间在数据中心与校园网核心交换机之间部署了一台流量分流设备,用于IDS及其他安全设备采集网络数据。用户怀疑是该设备问题导致的异常,但并没有有力的证据。
根据故障现象我们在用户网络中部署了科来回溯分析系统,分别镜像流量异常的两端(校园网核心交换、数据中心汇聚交换机)的流量进行数据包级分析。
案例分析
1. 校园网核心交换采集数据分析
在校园网核心交换处通过科来回溯分析系统采集的数据包,我们通过TCP会话视图可以看到从数据中心发过来的数据包的TCP序列号两两重复,而且间隔时间非常短,从核心交换发往数据中心的数据包则没有出现这种情况。这一现象可以排除TCP重传的可能性,因为超时重传需要等待两倍RTT延时,发送方不可能如此短的时间间隔重传数据包。
通过数据包IP Identification字段的比对,我们可以看到数据中心发到核心交换的数据包的IP Identification字段的值会重复两次,如下图所示。
IP Identification字段是鉴别IP报文是否重复的重要指标,发送方短时间不会构造两个IP Identification字段相同的报文,因此我们可以断定这些报文是在到达校园网核心交换这段链路上被中间设备额外复制了一份。
初步怀疑有以下几种可能:
- 数据中心内部网络设备问题;
- 位于数据中心与核心交换中间的流量分流设备在复制流量时发生异常;
- 校园网核心交换镜像功能异常;
由于数据中心原本流量就比较高,数据包被重复发送导致了链路流量过高出现了拥塞。要准确定位原因需要在数据中心汇聚交换机采集出口链路的流量才能够进一步判断问题点。
2. 数据中心出口采集数据分析
在数据中心出口采集到的数据包,其现象与核心交换处的现象正好相反:从核心发过来的数据包会重复两次,发往核心的数据包没有重复。
由于在数据中心并未看到数据中心发出的报文有重复现象,而在核心交换也未看到核心发往数据中心的报文重复,我们可以排除数据中心内部网络设备和核心交换机镜像异常的可能性。
案例分析结论
通过数据比对,我们可以看到单一的数据包在经过流量分流设备到达另外一端后就会出现重复一次的现象,可以判断很可能是流量分流设备导致的问题。
用户将这一信息告知流量分流设备厂商后,厂商技术人员经过仔细核查确认配置存在错误,进行了调整后网络回复正常。