JavaWeb项目架构之Redis分布式日志队列

架构、分布式、日志队列，标题自己都看着唬人，其实就是一个日志收集的功能，只不过中间加了一个Redis做消息队列罢了。

前言

为什么需要消息队列？

当系统中出现“生产“和“消费“的速度或稳定性等因素不一致的时候，就需要消息队列，作为抽象层，弥合双方的差异。

比如我们系统中常见的邮件、短信发送，把这些不需要及时响应的功能写入队列，异步处理请求，减少响应时间。

如何实现？

成熟的JMS消息队列中间件产品市面上有很多，但是基于目前项目的架构以及部署情况，我们采用Redis做消息队列。

为什么用Redis？

Redis中list数据结构，具有“双端队列”的特性，同时redis具有持久数据的能力，因此redis实现分布式队列是非常安全可靠的。

它类似于JMS中的“Queue”，只不过功能和可靠性(事务性)并没有JMS严格。Redis本身的高性能和”便捷的”分布式设计(replicas,sharding),可以为实现”分布式队列”提供了良好的基础。

提供者端

项目采用第三方redis插件spring-data-redis，不清楚如何使用的请自行谷歌或者百度。

redis.properties：

1. #redis 配置中心
2. redis.host=192.168.1.180
3. redis.port=6379
4. redis.password=123456
5. redis.maxIdle=100
6. redis.maxActive=300
7. redis.maxWait=1000
8. redis.testOnBorrow=true
9. redis.timeout=100000

redis配置：

1. <!-- redis 配置 -->
2. <bean id="jedisPoolConfig" class="redis.clients.jedis.JedisPoolConfig" />
3. <bean id="jedisConnectionFactory"
4. class="org.springframework.data.redis.connection.jedis.JedisConnectionFactory">
5. <property name="hostName" value="${redis.host}" />
6. <property name="port" value="${redis.port}" />
7. <property name="password" value="${redis.password}" />
8. <property name="timeout" value="${redis.timeout}" />
9. <property name="poolConfig" ref="jedisPoolConfig" />
10. <property name="usePool" value="true" />
11. </bean>
12. <bean id="redisTemplate" class="org.springframework.data.redis.core.StringRedisTemplate">
13. <property name="connectionFactory" ref="jedisConnectionFactory" />
14. </bean>

切面日志配置(伪代码)：

1. /**
2. * 系统日志，切面处理类
3. * 创建者 张志朋
4. * 创建时间 2018年1月15日
5. */
6. @Component
7. @Scope
8. @Aspect
9. public class SysLogAspect {
11. @Autowired
12. private RedisTemplate<String, String> redisTemplate;
13. //注解是基于swagger的API，也可以自行定义
14. @Pointcut("@annotation(io.swagger.annotations.ApiOperation)")
15. public void logPointCut() {
17. }
19. @Around("logPointCut()")
20. public Object around(ProceedingJoinPoint point) throws Throwable {
21. Object result = point.proceed();
22. //把日志消息写入itstyle_log频道
23. redisTemplate.convertAndSend("itstyle_log","日志数据，自行处理");
24. return result;
25. }
26. }

消费者端

Redis配置：

1. <!-- redis 配置 -->
2. <bean id="jedisPoolConfig" class="redis.clients.jedis.JedisPoolConfig" />
4. <bean id="jedisConnectionFactory"
5. class="org.springframework.data.redis.connection.jedis.JedisConnectionFactory">
6. <property name="hostName" value="${redis.host}" />
7. <property name="port" value="${redis.port}" />
8. <property name="password" value="${redis.password}" />
9. <property name="timeout" value="${redis.timeout}" />
10. <property name="poolConfig" ref="jedisPoolConfig" />
11. <property name="usePool" value="true" />
12. </bean>
14. <bean id="redisTemplate" class="org.springframework.data.redis.core.RedisTemplate"
15. p:connection-factory-ref="jedisConnectionFactory">
16. <property name="keySerializer">
17. <bean class="org.springframework.data.redis.serializer.StringRedisSerializer" />
18. </property>
19. <property name="hashKeySerializer">
20. <bean class="org.springframework.data.redis.serializer.StringRedisSerializer" />
21. </property>
22. </bean>
24. <!-- 监听实现类 -->
25. <bean id="listener" class="com.itstyle.market.common.listener.MessageDelegateListenerImpl"/>
26. <bean id="stringRedisSerializer" class="org.springframework.data.redis.serializer.StringRedisSerializer" />
27. <redis:listener-container connection-factory="jedisConnectionFactory">
28. <!-- topic代表监听的频道，是一个正规匹配 其实就是你要订阅的频道-->
29. <redis:listener ref="listener" serializer="stringRedisSerializer" method="handleLog" topic="itstyle_log"/>
30. </redis:listener-container>

监听接口：

1. public interface MessageDelegateListener {
2. public void handleLog(Serializable message);
3. }

监听实现：

1. public class MessageDelegateListenerImpl implements MessageDelegateListener {
2. @Override
3. public void handleLog(Serializable message) {
4. if(message == null){
5. System.out.println("null");
6. }else {
7. //处理日志数据
8. }
9. }
10. }

Q&A

• 【问题一】为什么使用Redis？
  上面其实已经有做说明，尽管市面上有许多很稳定的产品，比如可能大家会想到的Kafka、RabbitMQ以及RocketMQ。但是由于项目本身使用了Redis做分布式缓存，基于省事可行的原则就选定了Redis。
• 【问题二】日志数据如何存储？
  原则上是不建议存储到关系数据库的，比如MySql，毕竟产生的日志数量是巨大的，建议存储到Elasticsearch等非关系型数据库。
• 【问题三】切面日志收集是如何实现的？
  切面日志需要引入spring-aspects相关Jar包，并且配置使Spring采用CGLIB代理 。

开源项目源码(参考)：https://gitee.com/52itstyle/spring-boot-mail