tcpcopy流量复制

  • tcpcopy流量复制已关闭评论
  • 260 views
  • A+
所属分类:系统运维

tcpcopy 详细介绍

tcpcopy是一种应用请求复制(基于tcp的packets)工具,其应用领域较广,目前已经应用于国内各大互联网公司。

总体说来,tcpcopy主要有如下功能:

  1. 分布式压力测试工具,利用在线数据,可以测试系统能够承受的压力大小(远比ab压力测试工具真实地多),也可以提前发现一些bug
  2. 普通上线测试,可以发现新系统是否稳定,提前发现上线过程中会出现的诸多问题,让开发者有信心上线
  3. 对比试验,同样请求,针对不同或不同版本程序,可以做性能对比等试验
  4. 利用多种手段,构造无限在线压力,满足中小网站压力测试要求
  5. 实战演习(架构师必备)

tcpcopy可以用于实时和离线回放领域,并且tcpcopy支持mysql协议的复制,开源二年以来,功能上越来越完善。

如果你对上线没有信心,如果你的单元测试不够充分,如果你对新系统不够有把握,如果你对未来的请求压力无法预测,tcpcopy可以帮助你解决上述难题。

 

系统架构

tcpcopy流量复制

如图中所示,tcpcopy包括两部分:tcpcopy(client)和intercept(server)(后文中统一将tcpcopy-client称为tcpcopy,将tcpcopy-server称为intercept),当tcpcopy运行在生产服务器并从生产服务器抓取请求时,inteceptor运行在辅助服务器上进行一些辅助工作,例如,响应tcpcopy。切记,测试应用程序应该运行在测试服务器上。

tcpcopy默认情况下使用socket输入技术在网络层抓取线上的数据包,做一些基本处理(包括:模拟TCP交互,网络控制,以及模拟传输层和应用层),使用socket输出技术发送数据包到测试服务器(如粉色箭头所示)

tcpcopy的测试服务器需要做的唯一操作是:设置适当的参数使响应信息发送到辅助服务器中(装intercept的服务器)(如绿色箭头所示)

intercept(默认)将响应信息传送给tcpcopy。通过抓取响应包,intercept提取响应头信息,并使用一个特殊的通道将响应头信息发送给tcpcopy(如紫色箭头所示)。当tcpcopy接受到响应头信息,它利用头信息修改在线打包器的属性并继续发送另一个包。应当注意,来自测试服务器的响应被路由到应该充当黑洞的辅助服务器。

四、快速开始

1、获取intercept的两种方式:

    1)Download the latest intercept release.
    2)clone git://github.com/session-replay-tools/intercept.git

2、获取tcpcopy的两种方式

    1)Download the latest tcpcopy release.
    2)clone git://github.com/session-replay-tools/tcpcopy.git

五、获取安装在辅助服务器上的intercept

    1)cd intercept
    2)./configure
    3)选择适当的配置参数
    4)make
    5)make install

六、intercept的配置参数

    --single            intercept运行在单机情况下
    --with-pfring=PATH  将路径设置为PF_RING库源
    --with-debug        以debug模式编译intercept(保存在日志文件中)

七、获取安装在生产服务器上的tcpcopy

    1)cd tcpcopy
    2)./configure
    3)选择适当的配置参数
    4)make
    5)make install

八、tcpcopy的配置参数

    --offline 从pcap文件重放TCP流
    --pcap-capture 在数据链路层抓包(默认在网络层)
    --pcap-send 在数据链路层发包(默认在网络层)
    --with-pfring=PATH 将路径设置为PF_RING库源
    --set-protocol-module=PATH 设置tcpcopy为外部协议模块工作
    --single 如果intercept和tcpcopy都设置为单机模式,只有一个tcpcopy和一个intercept一起工作,将会获得更好的性能
    --with-debug 以debug模式编译tcpcopy(保存在日志文件中)

九、运行tcpcopy

确保tcpcopy和intercept都配置为“./configure”

1)在运行应用程序的测试服务器上,正确设置路由命令以将响应数据包发送到辅助服务器上

例如:

假设61.135.233.161是辅助服务器的IP地址。 我们设置以下route命令将所有对62.135.200.x的的响应路由到辅助服务器。

    route add -net 62.135.200.0 netmask 255.255.255.0 gw 61.135.233.161

2)在运行intercept的辅助服务器上(需要root权限或者能使用socket通信的权限)

    ./intercept -F <filter> -i <device,>

请注意,过滤器格式与pcap过滤器相同。
例如:./intercept -i eth0 -F 'tcp and src port 8080' -d

intercept将捕获基于TCP应用的响应,该应用监听在设备的8080端口上

3)生产服务器中(需要root权限或者能使用socket通信的权限)

./tcpcopy -x localServerPort-targetServerIP:targetServerPort -s <intercept server,>  [-c <ip range,>]

例如(假设61.135.233.160是目标服务器的IP地址):

./tcpcopy -x 80-61.135.233.160:8080 -s 61.135.233.161 -c 62.135.200.x

tcpcopy将抓取当前服务器上80端口的数据包,修改客户端IP地址为62.135.200.x,将这些数据包发送到ip地址为61.135.233.160,端口为8080的测试服务器,并且连接61.135.233.161,告诉intercept将响应数据包发送给它(tcpcopy)
虽然“-c”参数是可选的,但在此设置以便简化路由命令。

十、注意

  1. 只能在linux上测试(kernal 2.6 or above)
  2. tcpcopy可能丢包,因此丢失请求
  3. root权限或socket权限是必须的(例如 setcap CAP_NET_RAW = ep tcpcopy)
  4. TCPCopy现在只支持客户端启动的连接
  5. TCPCopy不支持使用SSL / TLS的服务器应用程序的重放
  6. 对于MySQL会话重放,请参考 https://github.com/session-replay-tools
  7. 不应该在辅助服务器上设置ip转发
  8. 请执行“./tcpcopy -h”或“./intercept -h”以获取更多详细信息

十一、影响因素

有几个因素可能影响TCPCopy,将在以下部分中详细介绍:

1)抓包接口

tcpcopy默认使用套接字输入接口在网络层抓取生产服务器的数据包。在系统忙时,系统内核可能会丢包。

如果你配置tcpcopy的参数“--pcap-capture”,tcpcopy将在数据链路层抓包,也可以过滤内核中的数据包。在PF_RING资源中,当使用pcap捕获时,tcpcopy将丢失更少的数据包。

或许抓请求包的最好方式是通过交换机镜像入口的数据包,然后通过负载均衡器将巨大的流量划分到几台机器

2)发送接口

tcpcopy默认使用套接字输出接口在网络层发送数据包到测试服务器。如果你想避免IP连接跟踪问题或者获得更好的性能表现,配置tcpcopy的参数“--pcap-send”,设置适当的参数,tcpcopy可以在数据链路层发送数据包到测试服务器。

3)数据包在通往测试服务器的路上

当一个数据包被tcpcopy发送时,它可能在到达测试服务器前遭到很多挑战。由于数据包中的源IP地址依然是终端用户的IP地址(默认情况下)而不是生产服务器的IP地址,一些安全设备可能将该包削弱或当做伪造的包丢弃它。这种情况下,你在测试服务器使用tcp抓包工具,可能抓取不到期望的终端用户的数据包。要确定你是否正处于这种情况下,你可以使用同一网段下的测试服务器做个小测试。如果数据包能被成功的发送到同一网段的测试服务器,而不能发送到不同网段的测试服务器,那么证明你的数据包在半路被丢弃了。

为了解决这个问题,我们建议将tcpcopy、测试服务器、intercept部署在同一个网段内。在同一网段中有一个代理的帮助下还有另一个解决方案,tcpcopy可以向代理发送数据包,然后代理会将相应的请求发送到另一个网段中的测试服务器。

注意,在同一网段中的一个虚拟机上部署目标服务器应用程序可能面临上述问题

4)测试服务器的路由

测试服务器可能设置了反向过滤技术,可以检查包中源IP地址是否是被伪造的。如果是,则该包在网络层被丢弃。

如果在测试服务器中能用tcp抓包工具抓到包,但是测试服务器上的应用程序接收不到任何请求,你应该检查你是否有类似反向过滤技术的设置。如果设置了,你不得不移除相关的设置来让数据包通过网络层。

也有些其他原因可能导致tcpcopy不能正常工作,例如防火墙设置问题。

5)测试服务器上的应用程序

测试服务器上的应用程序可能不能及时处理所有的请求。一方面,应用中的bug导致请求很长时间得不到响应;另一方面,一些TCP层以上的协议只处理socket缓冲中的第一个请求,将剩下的请求留在socket缓冲中不处理。

6)辅助服务器的路由

你不应该设置ip转发为true或者辅助服务器不能作为一个黑洞工作。

  • 安卓客户端下载
  • 微信扫一扫
  • weinxin
  • 微信公众号
  • 微信公众号扫一扫
  • weinxin
avatar