使用负载均衡技术建设高负载的网络站点

Internet的快速增长使多媒体网络服务器,特别是Web服务器,面对的访问者数量快速增加,网络服务器需要具备提供大量并发访问服务的能力。例如 Yahoo每天会收到数百万次的访问请求,因此对于提供大负载Web服务的服务器来讲,CPU、 I/O处理能力很快会成为瓶颈。

简单的提高硬件性能并不能真正解决这个问题,因为单台服务器的性能总是有限的,一般来讲,一台PC服务器所能提供的并发访问处理能力大约为1000个,更 为高档的专用服务器能够支持3000-5000个并发访问,这样的能力还是无法满足负载较大的网站的要求。尤其是网络请求具有突发性,当某些重大事件发生 时,网络访问就会急剧上升,从而造成网络瓶颈,例如在网上发布的克林顿弹劾书就是很明显的例子。必须采用多台服务器提供网络服务,并将网络请 求分配给这些服务器分担,才能提供处理大量并发服务的能力。

当使用多台服务器来分担负载的时候,最简单的办法是将不同的服务器用在不同的方面。按提供的内容进行分割时,可以将一台服务器用于提供新闻页面,而另一台 用于提供游戏页面;或者可以按服务器的功能进行分割,将一台服务器用于提供静态页面访问,而另一些用于提供CGI等需要大量消耗资源的动态页面访问。然而 由于网络访问的突发性,使得很难确定那些页面造成的负载太大,如果将服务的页面分割的过细就会造成很大浪费。事实上造成负载过大的页面常常是在变化中的, 如果要经常按照负载变化来调整页面所在的服务器,那么势必对管理和维护造成极大的问题。因此这种分割方法只能是大方向的调整,对于大负载的网站,根本的解 决办法还需要应用负载均衡技术。

负载均衡的思路下多台服务器为对称方式,每台服务器都具备等价的地位,都可以单独对外提供服务而无须其他服务器的辅助。然后通过某种负载分担技术,将外部 发送来的请求均匀分配到对称结构中的某一台服务器上,而接收到请求的服务器都独立回应客户机的请求。由于建立内容完全一致的Web服务器并不复杂,可以使 用服务器同步更新或者共享存储空间等方法来完成,因此负载均衡技术就成为建立一个高负载Web站点的关键性技术。 Continue reading 使用负载均衡技术建设高负载的网络站点

FreeBSD下配置ADSL共享上网

利用FreeBSD用户级的PPP做FreeBSD下的ADSL共享上网,可以使用较低的设备配置,实现局域网的稳定的网络链路共享。同时还可以增加Squid做上网的代理,进一步增加局域网上网的速度。

FreeBSD可以对PPP提供两种不同方式的支持,一种是内核级PPP,它将PPP协议代码编译进内核,并运行一个PPP守护进程pppd,提供对PPP的支持,这是比较传统的方法,但配置比较困难。另一种为用户级PPP,使用一个应用程序PPP,通过通用tunnel设备传递PPP数据,配置较为容易。一般情况下可以使用用户级的PPP来建立拨号方式的Internet连接。

准备

安装基本的FreeBSD环境。然后确认在/etc/ppp目录中是否存在ppp.conf 或者ppp.conf.sample文件。

安装设置

要让整个局域网上的用户都可以访问 Internet ,您的机器必须有两张网卡,一张连接ADSL设备,一张连接局域网的HUB或者交换机。此外,重新编译一次内核是必须的,因为我们需要在内核中加入对IP转发的支持,客户机将IP数据包发到FreeBSD,然后FreeBSD作为网关,将这些数据包转发到指定的地址,这就是整个局域网上网的基本原理。

实例

视ADSL Modem只是一个拨号器,它不带任何附加功能(如路由)。使用FreeBSD自带的ppp来达到PPPoE拨号功能,实现最基本的目的:供内部网络中所有客户机通过FreeBSD网关用nat方式(透明网关)连接到Internet,这种方式最大的好处是内部网络的客户机不需特殊配置就能连接到外部网络。

一、服务器IP设定:

第一块网卡
IP:192.168.1.1
子网掩码:255.255.255.0
网关:NONE

第二块网卡
IP:192.168.2.1
子网掩码:255.255.255.0
网关:NONE

二、设置一个使用PPPoE的ppp呼出

将/etc/ppp/ppp.conf进行备份,以下是修改后的ppp.conf内容(除标签名为,以下每行前面都必须空一格):

default:
set device PPPoE:eth0 #eth01为连接ADSL Modem的网卡名称,应替换成你使用的设备名
enable dns #自动获取DNS
adsl: #标签名,可任意命名
set mru 1492
set mtu 1492
set authname myadslusername #ADSL用户名
set authkey myadslpassword #ADSL密码
set dial
set login
add default HISADDR

以上只有三处需要进行修改,即连接ADSL Modem的网卡名称、上网用户名上密码。如果你不知道自己的网卡名称,可以通过ifconfig -a命令得到。

三、设置启动时自动连接

将下面这些行加到/etc/rc.conf文件中:

getway_enable=”YES”

ppp_enable=”YES”
ppp_mode=”ddial” #断线重拨
ppp_profile=”adsl” #这里的adsl对应的是/etc/ppp/ppp.conf中的标签名
ppp_nat=”YES”

如果你想手动连接,则可以通过以下命令实现:

ppp -nat -ddial adsl

这样,FreeBSD网关服务器端已经设置完成,设置客户端的网关为192.168.1.1即可上网,如果需要自动分配IP地址,可另行安装dhcpd,如果需要进行网络的加速,可另行安装squid。

syslogd config

在比较大规模的网络应用或者对安全有一定要求的应用中,通常需要对系统的日志进行记录分类并审核,默认情况下,每个系统会在本地硬盘上记录自己的日志,这样虽然也能有日志记录,但是有很多缺点:首先是管理不便,当服务器数量比较多的时候,登陆每台服务器去管理分析日志会十分不便,其次是安全问题,一旦有入侵者登陆系统,他可以轻松的删除所有日志,系统安全分析人员不能得到任何入侵信息。因此,在网络中安排一台专用的日志服务器来记录系统日志是一个比较理想的方案。下面我们以FreeBSD下的syslog为例介绍如何利用syslogd记录来自Unix和windows的logs。

A:记录类Unix主机的log:

首先需要对Freebsd的syslog进行配置,使它允许接收来自其他服务器的log信息。
在/etc/rc.conf中加入:
syslogd_flags=”-4 -a 0/0:*”

配置说明:freebsd的syslogd参数设置放在/etc/rc.conf文件的syslogd_flags变量中,Freebsd对syslogd的默认设置参数是syslogd_flags=”-s”,(可以在默认配置/etc/defaults/rc.conf中看到),默认的参数-s表示打开UDP 514端口监听,但是只监听本机的UDP 514端口,拒绝接收来自其他主机的log信息。如果是两个ss,即-ss,表示不打开任何端口,只在本机/dev/log设备记录。

参数说明:
-4 只监听IPv4端口,如果你的网络是IPv6协议,可以换成-6。

-a 0/0:* 接受来自所有网段所有端口发送过来的log信息。

-a 192.168.1.0/24:514或者-a 192.168.1.0/24表示仅接收来自局域网该网段514端口的log信息,这也是freebsd的syslogd进程默认设置,也就是说freebsd 在接收来自其他主机的log信息的时候会判断对方发送信息的端口,如果对方不是用514端口发送的信息,那么freebsd的syslogd会拒绝接收信息。在默认情况下必须:远程IP的UDP 514端口发送到本地IP的UDP 514端口。

在参数中加入*,表示允许接收来自任何端口的log信息。这点,在记录类Unix主机信息的时候感觉不到加不加有什么区别,因为类Unix主机都是用 514端口发送和接收syslog信息的。但是在接收windows信息的时候就非常重要了。因为windows的syslog软件不用514端口发送信息,这会让默认配置的syslogd拒绝接收信息。

修改好syslogd参数后,我们需要修改一下/etc/syslog.conf文件,指定log信息的存放路径,
比如你要记录其他系统的远程登陆登出信息并指定日志存放路径,则需要修改以下行:

authpriv.* /var/log/otherslog
这表示把系统的登入登出日志(包括本机系统登陆登出日志)存放到/var/log/otherslog文件中。
当然,这是最简陋的做法,因为这样会把所有服务器的登陆登出信息存放在一个文件中,察看的时候很不方便,通常的做法是用一个脚本,对接收到的信息进行简单的分拣,再发送到不同的文件。

如下设置:
authpriv.* |/var/log/filter_log.sh

在记录目标前面加上“|”表示把接收到的信息交给后面的程序处理,这个程序可以是一个专门的日志处理软件,也可以是一个自己编写的小的脚本,举例:

#!/bin/sh
stuff=/var/log/auth.log
read stuff
SERVER=`echo $stuff |awk’{print $4}’`
echo $stuff >> /usr/logs/login_log/$SERVER.log

这个简单的脚本以IP作为分类依据,先用read读取log信息,用awk取出第四字段(即IP地址或者主机名所在的字段),以该字段为文件名存放该主机的日志。
这样一来,来自192.168.1.1的log会记录到192.168.1.1.log文件中,来自192.168.1.2的log会被记录在 192.168.1.2.log文件中,分析和归类就比较方便了。当然这是一个最简单的例子,可以根据自己的需求写出更合适的脚本,可以按照日期每天,每周,每月分目录存储,甚至把log信息分类后插入数据库中,这样日志的管理和分析就更方便了。

重启一下syslogd服务,让配置生效:
/etc/rc.d/syslogd restart

OK,服务端的配置完成。现在配置一下客户端:
这里所说的客户端,就是发送自己的日志到远程日志服务器上的主机。

修改/etc/syslog.conf文件:

如果你只需要记录系统登入登出日志到远程日志服务器上,那么只需要修改以下一行:
authpriv.* @192.168.1.100
这里的192.168.1.100就是log服务器的IP,“@”符号表示发送到远程主机。

重启一下syslog服务:
/etc/rc.d/syslogd restart

用logger测试一下是否配置成功:
logger -p authpriv.notice “Hello,this is a test”

到log服务器上去看看,“Hello,this is a test”应该已经被记录下了。最后在客户机上登陆登出几次,看看真实的authpriv信息是否也被成功的记录下。

B: Windows日志的记录

对于类Unix主机之间记录日志,由于协议、软件和日志信息格式等都大同小异,因此实现起来比较简单,但是windows的系统日志格式不同,日志记录软件,方式等都不同。因此,我们需要第三方的软件来将windows的日志转换成syslog类型的日志后,转发给syslog服务器。
一个第三方软件evtsys (全称是evntlog to syslog)
这是一个非常小巧而且免费的第三方日志记录软件:
https://engineering.purdue.edu/ECN/Resources/Documents/UNIX/evtsys/
文件才几十K大小,非常小巧,解压后是两个文件evtsys.dll和evtsys.exe
把这两个文件拷贝到 c:\windows\system32目录下。

打开CMD
C:\>evtsys –i –h 192.168.1.100
-i 表示安装成系统服务
-h 指定log服务器的IP地址
如果要卸载evtsys,则:
net stop evtsys
evtsys -u

启动该服务:
C:\>net start evtsys

打开windows组策略编辑器 (开始->运行 输入 gpedit.msc)

在windows 设置-> 安全设置 -> 本地策略->审核策略中,打开你需要记录的windows日志。evtsys会实时的判断是否有新的windows日志产生,然后把新产生的日志转换成syslogd可识别的格式,通过UDP 3072端口发送给syslogd服务器。

OK,所有的配置windows端配置完成,现在配置一下syslogd的配置文件.
参数的配置和上面相同,
所不同的是evtsys是以daemon设备的方式发送给 syslogd log信息的。
因此,需要在/etc/syslog.conf中加入:
daemon.notice |/var/log/filter_log.sh
关于syslog 记录设备和记录等级方面的知识可以参考syslog文档。

C:网络设备日志的记录

各种不同的中高档路由器都有日志记录的选项,且多使用嵌入式Linux上的syslogd,只需要在路由器GUI或CLI中设置即可,将NAT信息,防火墙信息,以及DHCP等等信息发送到日志服务器备查,这个机器型号太多了,不作赘述。

OK,所有配置设置完成。这下所有服务器上的系统日志都可以统一记录到一台日志服务器上轻松管理了。