海运的博客

之前有介绍OpenWrt下ADSL多拨使用nexthop负载均衡，负载不是很理想，本次使用iptable标记数据包并配合策略路由实现负载均衡。
WAN1数据标记：

iptables -t mangle -N WAN1
#标记数据包
iptables -t mangle -A WAN1 -j MARK --set-mark 1 
#把数据包中的mark设置到整个连接中
iptables -t mangle -A WAN1 -j CONNMARK --save-mark 

WAN2数据标记：

iptables -t mangle -N WAN2
iptables -t mangle -A WAN2 -j MARK --set-mark 1 
iptables -t mangle -A WAN2 -j CONNMARK --save-mark 

把已存在连接中的mark设置到数据包中，实现同个连接同个宽带IP出：

iptables -t mangle -N RESTORE
iptables -t mangle -A RESTORE -j CONNMARK --restore-mark
iptables -t mangle -A PREROUTING -m state --state ESTABLISHED,RELATED -j RESTORE

使用NTH模块公平分发新数据包到WAN1和WAN2：

iptables -t mangle -A PREROUTING -m state --state NEW -m statistic --mode nth --every 2 --packet 0 -j WAN1
iptables -t mangle -A PREROUTING -m state --state NEW -m statistic --mode nth --every 2 --packet 1 -j WAN2

设置路由表：

cat /etc/iproute2/rt_tables 
#https://www.haiyun.me
255    local
254    main
253    default
0    unspec
252 WAN1
251 WAN2

设置路由表默认路由：

ip route flush table WAN1
ip route add table WAN1 default via 2.2.2.2 dev ppp0
ip route flush table WAN2
ip route add table WAN2 default via 1.1.1.1 dev ppp1

根据iptables标记应用路由：

ip rule del from all fwmark 2 2>/dev/null
ip rule del from all fwmark 1 2>/dev/null
ip rule add fwmark 1 table my_wan0
ip rule add fwmark 2 table my_wan1
ip route flush cache

禁用源地址验证：

cat /etc/sysctl.conf 
net.ipv4.conf.default.rp_filter = 0

Fprobe通过libpcap监听数据并输出NetFlow格式到分析端，极大方便网络管理及监控。
所需组件安装：

yum install libpcap-devel

Fprobe安装：

wget http://sourceforge.net/projects/fprobe/files/fprobe/1.1/fprobe-1.1.tar.bz2
tar jxvf fprobe-1.1.tar.bz2
cd fprobe-1.1/
./configure 
make
make install

Fprobe监听eth0数据并输出NetFlow到127.0.0.1:9995：

fprobe -i eth0 127.0.0.1:9995

NetFlow分析端可使用Nfsen，测试下是否有Netflow数据输出：

tcpdump -i lo -nn port 9995
tcpdump: verbose output suppressed, use -v or -vv for full protocol decode
listening on lo, link-type EN10MB (Ethernet), capture size 96 bytes
14:49:33.004041 IP 127.0.0.1.57368 > 127.0.0.1.9995: UDP, length 1464
14:49:43.006334 IP 127.0.0.1.57368 > 127.0.0.1.9995: UDP, length 1464
14:49:48.003252 IP 127.0.0.1.57368 > 127.0.0.1.9995: UDP, length 264
14:49:53.002271 IP 127.0.0.1.57368 > 127.0.0.1.9995: UDP, length 744
14:49:58.002295 IP 127.0.0.1.57368 > 127.0.0.1.9995: UDP, length 456

之前有介绍Nfsen和Nfdump安装，本次记录下Nfsen端口查看插件PortTracker安装。
重编译Nfdump开启nftrack：

cd /usr/local/src/nfdump-1.6.6/
./configure --enable-nfprofile --enable-nftrack --with-rrdpath=/usr/bin
make
cp bin/nftrack /usr/local/bin/

新建PortTracker数据存放目录：

mkdir /usr/local/nfsen/ports-db
chown -R apache:apache /usr/local/nfsen/ports-db/

编辑PortTracker.pm修改$PORTSDBDIR目录：

vim /usr/local/src/nfsen-1.3.6p1/contrib/PortTracker/PortTracker.pm
my $PORTSDBDIR = "/usr/local/nfsen/ports-db";

复制PortTracker插件至相应目录：

cp PortTracker.pm /usr/local/nfsen/plugins/
cp PortTracker.php /var/www/html/nfsen/plugins/

修改Nfsen配置文件添加插件信息：

vim /usr/local/nfsen/etc/nfsen.conf 
#https://www.haiyun.me
@plugins = (
[ 'live',   'PortTracker'], 
);

生成PortTracker数据：

sudo -u apache nftrack -I -d /usr/local/nfsen/ports-db/

重新加载Nfsen：

/usr/local/nfsen/bin/nfsen reload

等5分钟左右访问Nfsen界面选择Plugins即可看到相应信息：

Openwrt使用默认的ntfs模块挂载ntfs分区只有读权限，安装ntfs-3g替代：

opkg update
opkg install ntfs-3g

挂载NTFS分区：

#https://www.haiyun.me
mount -t ntfs-3g /dev/sda4 /mnt/

Linux下统计当前TCP连接状态：

netstat -ant | awk '{print $NF}' | grep -v '[a-z]' | sort | uniq -c
33 ESTABLISHED
3 FIN_WAIT2
7 LISTEN
221 TIME_WAIT

TCP连接状态说明：

#https://www.haiyun.me
LISTEN：服务器正在监听的端口
SYN_SENT：客户发出新连线请求后，还未收到服务器回应；
SYN_RECV：服务器接收到新连线请求；
ESTABLISED：已建立数据连接；
FIN_WAIT1：客户端主动断开请求，等待服务端ack确认
FIN_WAIT2：收到服务器端断开ack确认，等待服务端FIN；
TIME_WAIT：主动断开方发送最后ack后等待2MSL时间。

TCP的状态变迁图：

TCP连接建立和终止所对应的状态图：