`
jacky2007
  • 浏览: 167239 次
  • 性别: Icon_minigender_1
  • 来自: 广州
社区版块
存档分类
最新评论

基于nginx的tomcat负载均衡和集群(超简单)

    博客分类:
  • JAVA
阅读更多

 

今天看到"基于apache的tomcat负载均衡和集群配置 "这篇文章成为javaEye热点。

略看了一下,感觉太复杂,要配置的东西太多,因此在这里写出一种更简洁的方法。

 

要集群tomcat主要是解决SESSION共享的问题,因此我利用memcached来保存session,多台TOMCAT服务器即可共享SESSION了。

 

你可以自己写tomcat的扩展来保存SESSION到memcached。

这里推荐使用memcached-session-manager这个开源项目(http://code.google.com/p/memcached-session-manager/ ),下面简称msm。


如何安装nginx、memcached、tomcat这些就不多说了。


先说明一下测试环境:

tomcat1、nginx、memcached安装在192.168.1.11

tomcat2安装在192.168.1.101


下面分步实现基于nginx的tomcat负载均衡和集群配置

 

一,tomcat集群

    1,先下载msm及其依赖包

    http://memcached-session-manager.googlecode.com/files/memcached-session-manager-1.3.0.jar

 

    http://memcached-session-manager.googlecode.com/files/msm-javolution-serializer-jodatime-1.3.0.jar

 

http://memcached-session-manager.googlecode.com/files/msm-javolution-serializer-cglib-1.3.0.jar

 

http://spymemcached.googlecode.com/files/memcached-2.4.2.jar


http://memcached-session-manager.googlecode.com/files/javolution-5.4.3.1.jar

 

2,将这5个包放到$TOMCAT_HOME/lib目录下


3,修改$TOMCAT_HOME/conf/server.xml

 

<Context docBase="E:/java_codes/TestSession/WebContent" path="" reloadable="true" >
<Manager className="de.javakaffee.web.msm.MemcachedBackupSessionManager"
    memcachedNodes="n1:localhost:11211"
    requestUriIgnorePattern=".*\.(png|gif|jpg|css|js)$"
    sessionBackupAsync="false"
    sessionBackupTimeout="100"
    transcoderFactoryClass="de.javakaffee.web.msm.serializer.javolution.JavolutionTranscoderFactory"
    copyCollectionsForSerialization="false"
    />
</Context>

 这里的memcachedNodes是填写memcached节点,多个节点时可以以空隔分开,如:

 n1:localhost:11211 n2:localhost:11212


 sessionBackupTimeout的单位为分钟

 

 E:/java_codes/TestSession/WebContent 替换成你的WEB目录

 

  修改后重启两个TOMCAT即可,这个时候已经解决SESSION的共享问题.


二,配置nginx实现负载均衡

   以我的nginx.conf为例

#user  nobody;
worker_processes  1;

error_log  logs/error.log;

events {
    worker_connections  1024;
}


http {
    include       mime.types;
    default_type  application/octet-stream;

    sendfile        on;
    keepalive_timeout  65;

    #gzip  on;
    upstream  www.docyeah.com   {
              server   192.168.1.11:8080;
              server   192.168.1.101:8080;
    }
    server {
        listen       80;
        server_name  www.docyeah.com;
        charset utf-8;
        location / {
            root   html;
            index  index.html index.htm;
            proxy_pass        http://www.docyeah.com;
            proxy_set_header  X-Real-IP  $remote_addr;
            client_max_body_size  100m;
        }


        location ~ ^/(WEB-INF)/ { 
	    deny all; 
        } 

        error_page   500 502 503 504  /50x.html;
        location = /50x.html {
            root   html;
        }

    }
}

 

将www.docyeah.com替换成你的域名

192.168.1.11和192.168.1.101替换成你服务器的IP

 

OK,已经完成。启动nginx即可。


这是我采用的负载均衡及集群方案,希望大家拍砖.

 

ps:javaeye的编辑器有问题,代码里加颜色后居然变乱了

分享到:
评论
29 楼 qiliannujian 2014-06-06  
[flash=200,200][url][img][list]
[*]
引用
[u][i][b][/b][/i][/u]
[/list][/img][/url][/flash]
28 楼 sunnyfun 2013-12-05  
dongcb678 写道
sunnyfun 写道
楼主有没有遇到这种情况:
使用 memcached-session-manager 后,tomcat之间的session值只会在第一次同步,当一个tomcat的session值变掉的话,不会同步到另一台

简单的两个测试页面:
set.jsp
引用

<%@ page language="java" contentType="text/html; charset=utf-8"
    pageEncoding="utf-8"%>
<!DOCTYPE html PUBLIC "-//W3C//DTD HTML 4.01 Transitional//EN" "http://www.w3.org/TR/html4/loose.dtd">
<html>
<head>
<meta http-equiv="Content-Type" content="text/html; charset=utf-8">
<title>set page</title>
</head>
<body>

<br/>

<%
session.setAttribute("id", request.getParameter("id"));
%>

<%
System.out.println("set id to " + request.getParameter("id"));
%>

set id to <%=request.getParameter("id")%>

</body>
</html>


get.jsp
引用

<%@ page language="java" contentType="text/html; charset=utf-8"
    pageEncoding="utf-8"%>
<!DOCTYPE html PUBLIC "-//W3C//DTD HTML 4.01 Transitional//EN" "http://www.w3.org/TR/html4/loose.dtd">
<html>
<head>
<meta http-equiv="Content-Type" content="text/html; charset=utf-8">
<title>get page</title>
</head>
<body>
get id is
<%=session.getAttribute("id")%>
<%
System.out.println(session.getAttribute("id"));
%>
</body>
</html>


先对一个tomcat打开set.jsp页面,跟上参数id=1 ,即 http://.../set.jsp?id=1
然后分别打开两个tomcat的get.jsp页面,即 http://.../get.jsp
可以看到session中的值是一样的

接着再对一个tomcat打开set.jsp页面,跟上参数id=2 ,即 http://.../set.jsp?id=2
然后分别打开两个tomcat的get.jsp页面,即 http://.../get.jsp
可以发现一个输出的是1,一个输出的是2

请问这种情况如何解决?


大哥 看看主题 你这完全违背了楼主的意思 都用memcached缓存了 都是在它上面取 怎么就不一致了

我的意思是理论上是统一从memcached上统一取,实际出现节点间不同步的现象
27 楼 dongcb678 2012-05-14  
楼主在吗?请教个问题,今天没事测试了一下,遇到了和25楼同样的问题,session不能及时共享,要重启tomcat才行。望解答...

cheng888qi 写道
我用lz方法在tomcat-6、nginx-0.8.51
memcache-session-manager用的lz给出的jar包,测试session不能及时共享,tomcat重启时才行。
请问下lz配置成功的环境是什么?是否是tomcat6?

26 楼 dongcb678 2011-03-18  
sunnyfun 写道
楼主有没有遇到这种情况:
使用 memcached-session-manager 后,tomcat之间的session值只会在第一次同步,当一个tomcat的session值变掉的话,不会同步到另一台

简单的两个测试页面:
set.jsp
引用

<%@ page language="java" contentType="text/html; charset=utf-8"
    pageEncoding="utf-8"%>
<!DOCTYPE html PUBLIC "-//W3C//DTD HTML 4.01 Transitional//EN" "http://www.w3.org/TR/html4/loose.dtd">
<html>
<head>
<meta http-equiv="Content-Type" content="text/html; charset=utf-8">
<title>set page</title>
</head>
<body>

<br/>

<%
session.setAttribute("id", request.getParameter("id"));
%>

<%
System.out.println("set id to " + request.getParameter("id"));
%>

set id to <%=request.getParameter("id")%>

</body>
</html>


get.jsp
引用

<%@ page language="java" contentType="text/html; charset=utf-8"
    pageEncoding="utf-8"%>
<!DOCTYPE html PUBLIC "-//W3C//DTD HTML 4.01 Transitional//EN" "http://www.w3.org/TR/html4/loose.dtd">
<html>
<head>
<meta http-equiv="Content-Type" content="text/html; charset=utf-8">
<title>get page</title>
</head>
<body>
get id is
<%=session.getAttribute("id")%>
<%
System.out.println(session.getAttribute("id"));
%>
</body>
</html>


先对一个tomcat打开set.jsp页面,跟上参数id=1 ,即 http://.../set.jsp?id=1
然后分别打开两个tomcat的get.jsp页面,即 http://.../get.jsp
可以看到session中的值是一样的

接着再对一个tomcat打开set.jsp页面,跟上参数id=2 ,即 http://.../set.jsp?id=2
然后分别打开两个tomcat的get.jsp页面,即 http://.../get.jsp
可以发现一个输出的是1,一个输出的是2

请问这种情况如何解决?


大哥 看看主题 你这完全违背了楼主的意思 都用memcached缓存了 都是在它上面取 怎么就不一致了
25 楼 cheng888qi 2011-03-09  
我用lz方法在tomcat-6、nginx-0.8.51
memcache-session-manager用的lz给出的jar包,测试session不能及时共享,tomcat重启时才行。
请问下lz配置成功的环境是什么?是否是tomcat6?
24 楼 jacky2007 2010-10-12  
不知道你的方案是怎么样。但我的方法是不需要同步的,所有SESSION都统一保存的MSM中,共享SESSION,不需要从一台TOMCAT COPY到另一台。
23 楼 xuzhfa123 2010-10-12  
请问楼主,你做tomcat集群时,session同步了没有啊?我用apache+tomcate+msm,使用是session粘住模式。关掉其中一个tomcat再点击页面功能,会话丢失,也就是说session没有同步。不知道楼主是否解决这个问题?
22 楼 abettor 2010-08-11  
strongkill 写道
192.168.1.11和192.168.1.101,有通信的嗎?

如果沒有,192.168.1.11突然down了,正在訪問的用戶如何處理??

这位仁兄提出的问题是HA的问题,不是负载均衡的问题,请不要把这两个概念搞混。
21 楼 abettor 2010-08-11  
linliangyi2007 写道
对session同步的必要性和性能表示极大怀疑,试过几千人同时在线的情况吗?!

如果不做session同步,就必须解决访问粘滞的问题,否则用户状态难以可靠的维持或安全的验证。
顺便说一下,如果是Apache+php做后端,利用php中的回调功能,session可以持久到数据库中,也能达到session同步的效果。
20 楼 jxsgy 2010-08-06  
首先nginx用的是linux2.6内核的epoll,如果windows,那就不能用到epoll了,那么最大的性能优势就没有了,
楼主的这种配置方式是有效的,能在实际生产环境使用的。
并且可以做到web这部分的横向扩展能力
如果在数据库这部分在加上横向扩展能力,就更完善了
19 楼 lovit 2010-06-12  
changcheng_1982 写道
ngnix是不是只有在Linux上用,有没有windows下的版本
Linux上,效率更高。
18 楼 myreligion 2010-06-02  
181054867 写道
nginx在配置upstream时,有两个参数:
ip_hash(同一IP一直使用同一台server服务)
weight(server的使用权重,数值越大,nginx分发的请求越多)

通过配合这两个参数,能粗糙地解决session共享的问题。
对于一些不是太依赖session的应用,或者只有用户登录时保存,那么我认为可以用Cookies代替。
即使真的要Session共享,我认为手动写代码保存到Memcached比为Tomcat加插件好,这样能获得更好的可控性。
而且我不用Tomcat,用Resin,这个msm就用不上啦,不过我会按照我的思想实现session共享,呵呵,个人愚见!!

如果有多台nginx,可以确保每台都将同一个IP分配到同一个tomcat吗?
17 楼 sunnyfun 2010-06-02  
楼主有没有遇到这种情况:
使用 memcached-session-manager 后,tomcat之间的session值只会在第一次同步,当一个tomcat的session值变掉的话,不会同步到另一台

简单的两个测试页面:
set.jsp
引用

<%@ page language="java" contentType="text/html; charset=utf-8"
    pageEncoding="utf-8"%>
<!DOCTYPE html PUBLIC "-//W3C//DTD HTML 4.01 Transitional//EN" "http://www.w3.org/TR/html4/loose.dtd">
<html>
<head>
<meta http-equiv="Content-Type" content="text/html; charset=utf-8">
<title>set page</title>
</head>
<body>

<br/>

<%
session.setAttribute("id", request.getParameter("id"));
%>

<%
System.out.println("set id to " + request.getParameter("id"));
%>

set id to <%=request.getParameter("id")%>

</body>
</html>


get.jsp
引用

<%@ page language="java" contentType="text/html; charset=utf-8"
    pageEncoding="utf-8"%>
<!DOCTYPE html PUBLIC "-//W3C//DTD HTML 4.01 Transitional//EN" "http://www.w3.org/TR/html4/loose.dtd">
<html>
<head>
<meta http-equiv="Content-Type" content="text/html; charset=utf-8">
<title>get page</title>
</head>
<body>
get id is
<%=session.getAttribute("id")%>
<%
System.out.println(session.getAttribute("id"));
%>
</body>
</html>


先对一个tomcat打开set.jsp页面,跟上参数id=1 ,即 http://.../set.jsp?id=1
然后分别打开两个tomcat的get.jsp页面,即 http://.../get.jsp
可以看到session中的值是一样的

接着再对一个tomcat打开set.jsp页面,跟上参数id=2 ,即 http://.../set.jsp?id=2
然后分别打开两个tomcat的get.jsp页面,即 http://.../get.jsp
可以发现一个输出的是1,一个输出的是2

请问这种情况如何解决?
16 楼 jacky2007 2010-05-29  
有的,http://nginx.org/en/download.html
15 楼 changcheng_1982 2010-05-29  
ngnix是不是只有在Linux上用,有没有windows下的版本
14 楼 sunney2010 2010-05-28  
好文章。谢谢。以后备用。
13 楼 shuiguozheng 2010-05-28  
  很感兴趣,来学习的
12 楼 181054867 2010-05-28  
jiopi 写道
lnaigg 写道
jiopi 写道
前提:以下论述不包含 服务器 宕机 的有效处理

其实同步session只是为了保证一个用户在访问时,无论访问到哪台服务器,session都要一致,那为什么要让一个用户去访问1台以上的服务器呢?

ngnix做基于访问IP地址的分发策略 跟 session的策略不太一致,session 的 key一般是保存在cookie中,而 一个用户却可能改变IP,但cookie不变,session就应当保持

所以我做了nginx的基于cookie中某个值的分发策略,在基于IP的策略中,nginx可以保证IP相同的必定访问同一台机器,基于cookie中某个值的分发策略则可以保证只要cookie不丢,就可以访问同一台机器,避免因为同一用户可能在集群环境中访问多台服务器而必须考虑session共享的复杂问题


同意,基于IP分发的策略已经能解决绝大部分需求。


基于IP分发的策略 在用户IP变更后(比如断线重连),就存在访问 跟 前一台服务器 不同的 服务器的风险,这样session还是丢了的,nginx 可以配置成 基于 session-key 的 分发策略,保证只要 session-key不变,这个用户就访问同一台服务器,因此,只要 应用服务器不 宕机,就没问题

不过这个不是基于nginx提供的标准负载均衡做的,而是一种变通的做法

基于session-key怎么做,请赐教!!
11 楼 jiopi 2010-05-28  
lnaigg 写道
jiopi 写道
前提:以下论述不包含 服务器 宕机 的有效处理

其实同步session只是为了保证一个用户在访问时,无论访问到哪台服务器,session都要一致,那为什么要让一个用户去访问1台以上的服务器呢?

ngnix做基于访问IP地址的分发策略 跟 session的策略不太一致,session 的 key一般是保存在cookie中,而 一个用户却可能改变IP,但cookie不变,session就应当保持

所以我做了nginx的基于cookie中某个值的分发策略,在基于IP的策略中,nginx可以保证IP相同的必定访问同一台机器,基于cookie中某个值的分发策略则可以保证只要cookie不丢,就可以访问同一台机器,避免因为同一用户可能在集群环境中访问多台服务器而必须考虑session共享的复杂问题


同意,基于IP分发的策略已经能解决绝大部分需求。


基于IP分发的策略 在用户IP变更后(比如断线重连),就存在访问 跟 前一台服务器 不同的 服务器的风险,这样session还是丢了的,nginx 可以配置成 基于 session-key 的 分发策略,保证只要 session-key不变,这个用户就访问同一台服务器,因此,只要 应用服务器不 宕机,就没问题

不过这个不是基于nginx提供的标准负载均衡做的,而是一种变通的做法
10 楼 huatu122 2010-05-28  
怎么不用lvs

相关推荐

Global site tag (gtag.js) - Google Analytics