不为有趣之事,何遣有涯之生
不失其所者久,死而不亡者寿

技术架构指导原则

hzqiuxm阅读(357)评论(0)

技术架构设计原则

1 大道至简

避免过度设计

  • 努力把代码写得通俗易懂
  • 一个工程师好不好就看他能多快简化一个复杂问题,并构建易于理解的解决方案
  • 方案好不好的一个检验标准就是看其他人理解的快不快

DID设计方法

  • Design设计20倍的容量
  • Implement 实施3倍的容量
  • Deploy部署1.5倍的容量

三步简化方案 how to DiD?

  • 采用帕累托原则(2-8)简化范围(如何简化方案)

    先做那能产生80%效益的20%产品功能

  • 结合成本与可扩展性简化设计(如何简化设计)

    例如不需要的数据列就不要查询出来

  • 依靠专家经验简化部署(如何简化部署)

    使用成熟的开源解决方案

减少域名解析

  • 网站域名资源不要太多,合理利用各级缓存

减少页面目标

  • 合并CSS JS 图片
  • 压缩各种资源
  • 不同资源分配在不同的域名上

采用同构网络

  • 确保交换机和路由器源于同一供应商

2 分轴扩展

三维坐标扩展法,X,Y,X轴

X轴扩展

X轴:水平扩展:WEB集群,读写分离

实施速度快,研发成本低,事务处理扩展效果好,运营成本高

Y轴拆分

Y轴:垂直扩展:模块化,分库

从两个维度去分析扩展:功能或资源,一般团队逐渐变大后,业务比重增加,技术比重下降,生产力下降,所以采用专人负责专门模块可以减少业务比重投入,提升生产力

Z轴拆分

Z轴:又称分片:分表,SOA,微服务

一般根据一些独特属性:ID,位置,基础服务等进行拆分

水平扩展(向外扩展)

  • 拆分或复制服务与数据库来扩展系统,而不是向上扩展(利用更好的服务器性能)
  • 摩尔定律VS安迪比尔定律
  • 利用三维坐标扩展法为指导

金鱼而非汗血宝马

  • 使用普通PC服务器即可,不要使用性能成本很高的商业服务器
  • 金鱼便宜,可以轻易丢弃不用修复;宝马太贵维护成本过高

托管方案扩展

  • 系统部署到三个或更多的数据中心
  • 三个数据中心是最成本最优的方案
  • 避免拥有自己的数据中心,直到公司的规模大到可以通过建设和运行自己的数据中心来节省成本变为可能

利用云服务

  • 有效利用云服务,提升系统可伸缩性,节省成本

3 先对其器

不要陷入马斯洛锤子陷阱中:当你只有一个锤子时,任何东西看起来都像是钉子

适当使用数据库

  • 当需要ACID属性来保持数据之间的关系和一致性时才选择关系型数据库
  • 不要用关系数据库存储所有数据,利用不同NoSql综合存储

慎重使用防火墙

  • 不要让防火墙成为系统瓶颈
  • 对值得使用防火墙的内容上使用

积极使用日志文件

  • 打造完善的日志系统(比如ELK),使其成为追踪,预防,监控,自动化修复重要工具
  • 一个好的日志体系,生产环境问题将会越来越少,且越快解决

4 奥卡姆剃刀

避免画蛇添足

  • 不要在无需同步的地方一定采用同步
  • 利用好缓存技术,不要去查询刚刚入库的数据

停止重定向

  • 尽量避免重定向
  • 使用服务器配置来实现正确的重定向

放宽时间约束

  • 不要过分考虑响应及时性,系统无法扩展而停止服务比让用户有些失望相比更严重

5 缓存为王

利用CDN缓存

  • 利用CDN缓存解决区域化响应速度问题
  • 注意成本与效率之间的平衡

正确管理缓存

  • 正确使用HTTP头来管理缓存(什么头在什么场景下适用,不要生搬硬套)
  • 使用HTTP响应头确保Ajax请求响应可缓存

静态资源缓存

  • 利用nginx,varnish组合对静态资源,甚至某些动态内容进行缓存

应用数据缓存

  • 对热点业务数据采用memcached,redis等技术进行缓存,其可扩展性也可以参考三维坐标法
  • 如果是和用户有关的数据,注意分布式缓存扩展性问题(通过哈希一致性算法或数据预热方式来防止雪崩或穿透)

DAO缓存

  • 利用数据库持久化工具(如:mybatis)或本地缓存工具(Ecached)做数据持久层的一级缓存和二级缓存

6 前车之鉴

组织必须在深度和广度上学习
有些知识可以培训获得,有些知识必须从外部获得

失败乃成功之母

  • 拥有学习文化的组织更易于实现病毒式增长
  • 从客户中学习(出的问题,解决的需求)
  • 从业务技术的运营中学习
  • 关注失败,拒绝简化,牛人心态,谦卑态度

不要依赖QA发现错误

  • 做好自动化测试
  • 当测试活动获得超过一个工程师的价值时,应该招聘一个QA人员

不能回滚注定失败

  • 让每一次上线都具备快速的回滚能力

7 重中之重

从事务处理中清除商务智能

  • 尽早使用Nosql
  • 不要在关系数据库中使用存储过程,触发器,外键等约束与业务逻辑绑定

设计之初就考虑扩展性

  • 特别是关系性数据库结构的设计,提前考虑到其扩展性
  • 不要局限于数据库范式设计

正确使用数据库锁

  • 注意暗锁 、明锁、行锁、页锁、区间锁、表锁、数据库锁使用正确姿势

禁用分阶段提交

  • 最好的方式就是不要使用

慎用Select for Update

  • 避免在业务中使用

避免选择所有列

  • 遵循用到什么拿什么的原则

8 有备无患

用分布式(泳道)来隔离故障

  • 道理就和不要把鸡蛋放在一个篮子里一样
  • 不同的服务不要互相影响

拒绝单点故障

  • 在分布式系统的各层都要考虑单点故障问题

避免系统串联

  • 不要因为某个模块或服务问题,影响整个系统的运行

启用和禁用功能

  • 通过缓存刷新,可配置化等方式启用和禁用产品功能

9 超然物外

力求无状态

  • 无状态是一些系统可扩展性的基石

在浏览器中保存会话

  • 使用H5本地存储,JWT,cookie技术

用分布式缓存处理状态

  • 用集中的分布式缓存来保存,使得应用和web服务无状态化

10 意犹未尽

警惕第三方方案

  • 不要依赖供应商解决方案来实现可扩展性
  • 自己的命运自己来掌控

梯级存储策略

  • 做到存储成本与数据价值相匹配

异步通信

  • 非实时性响应需求建议采用异步通信方式

分类处理不同负载

  • 确保解决方案支持四种基本类型工作负载:归纳(数据形成),演绎(数据使用),批处理,用户交互
  • 彼此隔离
  • 不要因为非关键性业务影响到关键性业务

保持竞争力

  • 保持公司所有岗位人员的竞争力,不仅仅某一个

注:(本文根据《架构真经》内容结合作者本身经验整理修改而得)更加详细的解释会在本人《架构之道》课程里讲述

Gradle简明教程(5)

hzqiuxm阅读(423)评论(0)

模块化项目构建

规划好自己项目的模块
  • 根据高内聚低耦合的设计思想,设计符合自己项目的模块
  • 一般会有web层,控制层,服务层,数据层
  • 每个层下面的路径可以自定义,只后在构建文件build.gradle中说明就行

    建议采用默认的就行

大概的结构图如下:
项目结构示意图
每个模块下都有一个build.gradle文件,项目根目录下有一个 setting.gradle文件

理解setting文件
  • 对项目根目录下的setting.gradle文件进行配置多模块项目
rootProject.name = 'ziniuxiaozhu'
include 'common'
include 'service'
include 'webapp'
  • setting文件的执行是在初始化阶段
    回顾下gradle的三个生命周期
    构建生命周期

  • 初始化的时候先从本模块下的setting文件中寻找,再到根目录下去寻找

    也可以通过命令行参数控制setting搜索行为

  • 支持分层布局和扁平布局,当然个人推荐分层的,能够更细粒度控制组件的建模
配置build文件
  • build文件中包含了项目的插件配置,版本控制,依赖管理等
    一个根目录下build.gradle文件例子:
plugins{
    id 'org.springframework.boot' version '1.5.9.RELEASE'
}

allprojects{
    group = 'com.znxz'
    version = '1.0'

    apply plugin: 'org.springframework.boot'
}

subprojects{
    apply plugin: 'java'
    apply plugin: 'idea'

    // JVM 版本号要求
    sourceCompatibility = 1.8
    targetCompatibility = 1.8

    ext {
        springBootVersion = '1.5.10.RELEASE'
        springloadedVersion = '1.2.8.RELEASE'
    }

    idea {
        module {
            inheritOutputDirs = false
            outputDir = file("$buildDir/classes/main/")
            testOutputDir = file("$buildDir/classes/test/")
        }
    }


    [compileJava, compileTestJava, javadoc]*.options*.encoding = 'UTF-8'

    repositories {
        mavenLocal()
        maven{ url 'http://maven.aliyun.com/nexus/content/groups/public' }
        maven{ url 'http://www.ziniuxiaozhu.com:8081/nexus/content/groups/public' }
        mavenCentral()
        jcenter()
    }
    dependencies{
        compile ("org.hibernate.validator:hibernate-validator:6.0.7.Final")
        compile group: 'javax.validation', name: 'validation-api', version: '2.0.1.Final'

    }

}
  • 子模块的build.gradle文件一般是指名该模块的名称以及依赖的其他模块或第三方jar包
    例子如下:
project(':control'){

    dependencies{
        compile project(':service')
        //WEB服务
        compile("org.springframework.boot:spring-boot-starter-data-rest"){
            exclude group : 'org.hibernate', module :'hibernate-validator'
            exclude group : 'javax.validation', module :'validation-api'
        }
        //JWT
        compile("io.jsonwebtoken:jjwt:0.9.0")
        //SpringSecurity
        compile("org.springframework.boot:spring-boot-starter-security")
    }
}

Gradle简明教程(4)

hzqiuxm阅读(317)评论(0)

依赖管理概述

Gradle摒弃了Ivy和Maven依赖管理工具的一切缺点,更注重性能、构建可靠性以及可重复性

  • 通常开发都需要依赖一些流行的开源框架包,避免自己重复发明轮子
  • 随着项目的增大,依赖的模块和第三方类库会越来越多,如何组织与管理就显得尤为重要
  • 自动化依赖管理可以解决传递性依赖,版本管理等问题
  • 搭建内部仓库解决中央仓库的单点依赖 Sonatype Nexus, JFrog, Artifactory
  • Gradle提供了很有价值的依赖报告

一个自动化依赖结构图
自动化依赖管理

依赖配置

  • 通过project实例添加和访问配置
  • 每个项目都有一个ConfigurationContainer类的容器来管理相应的配置
  • 定义一个Cargio类配置的例子
configurations{
        cagro {
            description = 'classpath for cargo Ant tasks'
            visible = false
        }
    }

声明依赖

  • 外部模块依赖
  • 项目依赖
  • 文件依赖
  • 客户端模块依赖
  • Gradle运行时依赖

每个Gradle项目都有依赖处理器实例,由DependencyHandler接口来表示

外部依赖
依赖属性
  • group 通常用来标示一个组织,公司或者项目
  • name 唯一标识
  • version 版本号 一般都包含主版本和次版本
  • classifier 用来区分相同group,name,version工件,但使用环境上有所区别

例子:
依赖属性例子

依赖标记

有两种标识方式
- 使用map结构形式,显示标记出group,name,version

cargo group: cargoGroup,name:' cargo-core-uberjar', vewrsion: cargoVersion
  • 使用字符串简写形式,类似上一节Hibernate的例子

使用gradle dependencise 命令来查看详细依赖报告

排除传递依赖

由于Gradle会自动管理传递依赖,如果你需要可以主动排除一些自动的依赖

  • 排除一个传递依赖
dependencies{
    cargo('org.codehaus.cargo:cargo-ant:1.3.1'){
        exclude(group:'xml-apis', module:'xml-apis')
    }
    cargo 'xml-apis:xml-apis:2.0.2'
}
  • 排除所有传递依赖
dependencies{
    cargo('org.codehaus.cargo:cargo-ant:1.3.1'){
        transitive = false
    }
}

Gradle还支持最新版本依赖,又叫动态版本依赖,当然正式环境下还是不要用这个功能了

文件依赖

适用于从现有Ant或者Maven管理方式转变到Gradle时,或者本地稳定的开发包依赖

dependencies{
    cargo fileTree(dir: "lib路径" ,include: ' *.jar ')
}

使用和配置仓库

  • 定义仓库的接口类 RepositoryHandler
  • 支持Maven仓库,Ivy仓库,扁平的目录仓库
Maven仓库
  • 中央仓库 mavenCentral()
  • 本地仓库 mavenLocal() 慎用
  • 自定义仓库 maven() 和mavenRepo()
dependencies{
    mavenCentral()
    maven{
        name  'Custom Maven Repository'
        url 'http://ziniuxiaozhu.com/nexus/public'
    }
}
Ivy仓库
  • 相对Maven来说可以自定义布局
  • 仓库依赖元数据存储在ivy.xml中

具体语法可参考官方文档

扁平目录仓库
  • 只有JAR文件,没有元数据
  • 适合经常手动维护项目中的类库,或者项目迁移的时候
  • 声明依赖智能使用name和version这两个属性

一个从falt目录仓库取Cargo依赖声明例子:


repositories{ flatDir(dir: " ${System.properties['user.home']}/libs/cargo", name: 'Local libs directory') } dependencies{ cargo name : 'activetion', version:'1.1' catgo name: 'ant', version:'1.7.1' cargo ':xml-apis:1.3.1', ' : jaxen:1.0-FCS' }

本地依赖缓存

  • Gradle会缓存从仓库下载的二进制文件,该目录根据不同的版本,路径可能不同
  • 存储依赖来源,当来源发生变化,能够保证构建的可靠
  • 减少到远程仓库的传输
  • 比较本地仓库和远程仓库,减少工件的下载
  • 支持离线模式,在你无法联网时采用本地缓存来构建

常见依赖问题

如果你项目有很多依赖,而且你选择自动解决传递性依赖,那么版本冲突几乎是不可避免的
- 应对版本冲突
设置当遇到版本冲突时,构建失败

 configuration.cargo.resolutionStrategy{
    failOnVersionConfilct()
}
  • 强制制定一个版本
 configuration.cargo.resolutionStrategy{
   force ' org.codehaus.cargo:cargo:cargo-ant:1.3.0'
}
  • 使用依赖观察报告
  • 刷新缓存

可以手动刷新,可以不缓存快照版本的依赖包

Gradle简明教程(3)

hzqiuxm阅读(302)评论(0)

快速牵手JAVA

  • Gradle将把你从传统的构建流程中解放出来,针对不同的语言它有着各种不同的插件,通过插件封装了基本流程

  • 如何使用JAVA插件?只要一行代码

apply plugin: 'java'

这就定义了一个java项目的全部,自动添加很多task
Gradle 会在 src/main/java 目录下寻找产品代码,在 src/test/java 寻找测试代码 。

另外在 src/main/resources 包含了资源的 JAR 文件, src/test/resources 包含了运行测试。
所有的输出都在 build 目录下,JAR 在 build/libs 目录下

  • 外部依赖
    和Maven一样,我们也可以使用maven repository
apply plugin: 'java'

repositories {
    mavenCentral()
}

dependencies {
        compile group: 'org.springframework', name: 'spring-core', version: '4.2.5.RELEASE'
        compile group: 'org.hibernate', name: 'hibernate-core', version: '3.6.7.Final'
        testCompile group: 'junit', name: 'junit', version: '4.+'
    }

Maven respository网站上已经提供了各种工具包的依赖,稍微改变下格式描述就可以了
(下面将会介绍到Groovy插件,它更强大是java插件的扩展)

获取依赖

执行 gradle build

bulid结果

  • 需要注意的是一个groovy项目也是一个java项目
apply plugin: 'groovy'

repositories {
    mavenCentral()
}

dependencies {
        compile 'org.codehaus.groovy:groovy-all:2.3.6'
        compile 'commons-logging:commons-logging:1.2'
        compile 'org.springframework:spring-core:4.2.5.RELEASE'
        testCompile 'junit:junit:4.11'
    }

比之前的java插件更强大哦, 而且依赖的描述也更简单了,从respository中直接copy就行了

快速开始Web应用

构建WAR文件
  • 使用war插件来构建war文件
apply plugin: 'war'

当运行 gradle build时就会编译、测试、打包工程一个war文件

  • 运行应用插件
apply plugin: 'jetty'

当你运行 gradle jettyRun 的时候,应用将会运行在一个内嵌的jetty web容器中

gradle的Task执行规则
  • 同个构建可以执行多个task,但每个task只能被执行一次,不管它是在哪个阶段被执行
    task compile << {
        println 'compiling source'
    }

    task compileTest(dependsOn: compile) << {
        println 'compiling unit tests'
    }

    task test(dependsOn: [compile, compileTest]) << {
        println 'running unit tests'
    }

    task dist(dependsOn: [compile, test]) << {
        println 'building the distribution'
    }

执行 gradle dist结果如下

任务执行规则

Gradle简明教程(2)

hzqiuxm阅读(297)评论(0)

下载与安装

  • 官方下载地址: https://gradle.org/gradle-download/
  • 安装就是配置环境变量,增加GRADLE_HOME环境变量,值为gradle-2.12\bin所在目录

    windows下直接在环境变量对话框中定义,类linux系统
    export GRADE_HOME = xxxx/xxxx
    export PATH=$PATH:$GRADLE_HOME/bin

  • 验证是否安装成功

check install
- 来一个gradle的hello world

新建一个文件 build.gradle

task helloWorld{

    task startSession << {
        println 'Welcome to gradle world!'
    }

    3.times {
        task "genGradle$it" << {
            println 'genGradle rocks'
        }
    }

    genGradle0.dependsOn startSession
    genGradle2.dependsOn genGradle1, genGradle0

    task groupGradles(dependsOn: genGradle2)

}
  • 执行:gradle -q groupGradles

run helloworld

程序简单说明

  • 这里的task和Ant的targets是对等的
  • << 符号是doLast的alias,doFirst 和 doLast 可以多次执行调用。他们在开始或结束的 task 动作清单中添加动作。task 执行时,按动作列表的顺序执行的动作。操作符 << 仅仅是 doLast 的别名。
  • -q是代表quiet模式,不生成构建编译过程的日志信息

其他技巧

  • 列出项目中所有的task
gradle -q tasks --all
  • 在执行时排除一个任务
gradle groupGradles -x genGradle0
  • 任务名字采用缩写
gradle groupHello 等价于  gradle gH
gradle groupGradle0 等价于 gradle gG0
  • 常用的命令行选项
-b 指定构建脚本名字,某人build.gradle
-i 执行时候输出详细日志信息
-q 减少构建出错时打印的日志信息
--help 打印出所有可用的命令行选项
  • 以后台守护进行方式运行gradle
gradle groupGradles --daemon

看看灵活的Groovy例子

  • 编写脚本build.gradle
task upper << {
    println '---- Begin in upper ----'
    String strSome = 'my_nAme'
    println 'Original: ' + strSome
    println 'Upper: ' + strSome.toUpperCase()
    println '---- End in upper ----'
}   

task hello(dependsOn: upper) << {
    println " I'm dependsOn upper"
}

执行下 gradle -q hello

执行结果

defaultTasks 'clean', 'run'

task upper << {
    println '---- Begin in upper ----'
    String strSome = 'my_nAme'
    println 'Original: ' + strSome
    println 'Upper: ' + strSome.toUpperCase()
    println '---- End in upper ----'
}   

task hello(dependsOn: upper) << {
    println " I'm dependsOn upper"
}

task clean << {
    println 'This is a default task clean '
}

task run << {
    println 'This is a default task run '
}

执行 gradle -q 结果
执行结果

  • DAG配置
task destribution <<{
    println "We build the zip with version = $version "
}

task release(dependsOn:'destribution') << {
    println 'We release now ......'
}

gradle.taskGraph.whenReady{
    taskGraph -> 
    if (taskGraph.hasTask(release)) {
        version = '1.0'
    }else{
        version = '1.0-SNAPSHOT'
    }
}

注意执行不同的TASK,输出结果是不一样的
执行结果

Gradle简明教程(1)

hzqiuxm阅读(342)评论(0)

构建工具剖析

四大组成部分
  • 构建文件

    使用脚本语言来表达构建逻辑 最常见的是xml、json格式

  • 构建输入输出

    输入是指构建任务需要的任务或数据,输出是指构建任务的产出结果

  • 构建引擎

    用来解析执行构建文件指令或规则的工具用来解析执行构建文件指令或规则的工具

  • 依赖管理器

    管理构建任务所要依赖的第三方或公共类库

蚂蚁式构建 Ant

发音: [ænt] 蚂蚁的意思

  • Apache Ant是一个用Java编写的开源构建工具
  • 构建文件使用XML来表示的,可以在任何环境下使用
  • 不提供依赖管理器,自行管理
  • 结合Ivy可以实现依赖管理器
  • Ant构建术语

    project、target、task

  • 没有对如何定义构建的结构强加任何限制,对源码、输出目录、target拥有完全灵活的选择

  • 缺点

XML本身较为臃肿与啰嗦
没有建设项目标准,build文件常常会随着项目开发而变得繁杂重复
无法量化被编译的类或执行的TASK
没有Ivy情况下,Ant很难管理依赖

专家构建 Maven

发音:['mevn] 内行,专家的意思(我接触的人中大部分都读错了)
- 使用约定优于配置的思想,规定了标准的目录布局
- 基于生命周期的思想,通过三套生命周期来管理构建过程
- 构建文件也是使用XML来表示的,可以在任何环境下使用
- 核心功能可以通过开发定制的插件来扩展,社区插件很丰富
- 脚本中可以定义外部依赖库,一般会搭建Nexus结合maven中心仓库来管理
- 缺点

默认的结构和生命周期可能会不适合你的项目
自己定制扩展比较复杂,需要了解Mojos(内部扩展API)

我们想要的构建
  • 具有表达式、声明式、可维护的构建语言
  • 标准化的项目布局和生命周期,但是具有完全的灵活性和对默认值的完全可配置性
  • 定制逻辑灵活易用
  • 支持构建多个项目组成的项目结构
  • 支持依赖管理
  • 可以很好的和Ant、Maven集成
  • 高效且有良好的扩展性

是的它就是Gradle,下一代的构建工具

AMQ简明教程(9)

hzqiuxm阅读(309)评论(0)

AMQ消息存储持久化

概述

ActiveMQ不仅支持persistent和non-persistent两种方式,还支持消息的恢复( recovery )方式。

PTP

Queue的存储是很简单的,就是一个FIFO的Queue

PUB/SUB

对于持久化订阅主题,每一个消费者将获得一个消息的复制。

ActiveMQ提供了一个插件式的消息存储,类似于消息的多点传播,主要实现了如下几种:
1:AMQ消息存储-基于文件的存储方式,是以前的默认消息存储
2:KahaDB消息存储-提供了容量的提升和恢复能力,是现在的默认存储方式
3:JDBC消息存储-消息基于JDBC存储的
4:Memory 消息存储-基于内存的消息存储

KahaDB Message Store概述

KahaDB是目前默认的存储方式,可用于任何场景,提高了性能和恢复能力。消息存储使用一个事务日志和仅仅用一个索引文件来存储它所有的地址。

KahaDB是一个专门针对消息持久化的解决方案,它对典型的消息使用模式进行了优化。

在Kaha中,数据被追加到data logs中。当不再需要log文件中的数据的时候,log文件会被丢弃。

KahaDB基本配置例子

<persistenceAdapter>
<kahaDB directory="${activemq.data}/kahadb"/>
</persistenceAdapter>

可用的属性有:
1:director:KahaDB存放的路径,默认值activemq-data
2:indexWriteBatchSize: 批量写入磁盘的索引page数量,默认值1000
3:indexCacheSize:内存中缓存索引page的数量,默认值10000
4:enableIndexWriteAsync:是否异步写出索引,默认false
5:journalMaxFileLength:设置每个消息data log的大小,默认是32MB
6:enableJournalDiskSyncs:设置是否保证每个没有事务的内容,被同步写入磁盘,JMS持久化的时候需要,默认为true
7:cleanupInterval:在检查到不再使用的消息后,在具体删除消息前的时间,默认30000
8:checkpointInterval:checkpoint的间隔时间,默认5000
9:ignoreMissingJournalfiles:是否忽略丢失的消息日志文件,默认false
10:checkForCorruptJournalFiles:在启动的时候,将会验证消息文件是否损坏,默认false
11:checksumJournalFiles:是否为每个消息日志文件提供checksum,默认false
12:archiveDataLogs: 是否移动文件到特定的路径,而不是删除它们,默认false
13:directoryArchive:定义消息已经被消费过后,移动data log到的路径,默认null
14:databaseLockedWaitDelay:获得数据库锁的等待时间(used by shared master/slave),默认10000
15:maxAsyncJobs:设置最大的可以存储的异步消息队列,默认值10000,可以和concurrentMessageProducers 设置成一样的值
16:concurrentStoreAndDispatchTransactions:是否分发消息到客户端,同时事务存储消息,默认true
17:concurrentStoreAndDispatchTopics:是否分发Topic消息到客户端,同时进行存储,默认true
18:concurrentStoreAndDispatchQueues:是否分发queue消息到客户端,同时进行存储,默认true

在Java中内嵌使用Broker,使用KahaDB的例子

public class EmbeddedBrokerUsingKahaDBStoreExample {
BrokerService createEmbeddedBroker() throws Exception {
BrokerService broker = new BrokerService();
File dataFileDir = new File("target/amq-in-action/kahadb");
KahaDBStore kaha = new KahaDBStore();
kaha.setDirectory(dataFileDir);
// Using a bigger journal file
kaha.setJournalMaxFileLength(1024*100);
// small batch means more frequent and smaller writes
kaha.setIndexWriteBatchSize(100);
// do the index write in a separate thread
kaha.setEnableIndexWriteAsync(true);
broker.setPersistenceAdapter(kaha);
//create a transport connector
broker.addConnector("tcp://localhost:61616");
//start the broker
broker.start();
return broker;
}
}

AMQ Message Store概述

AMQ Message Store是ActiveMQ5.0缺省的持久化存储,它是一个基于文件、事务存储设计为快速消息存储的一个结构,该结构是以流的形式来进行消息交互的。

这种方式中,Messages被保存到data logs中,同时被reference store进行索引以提高存取速度。

Date logs由一些单独的data log文件组成,缺省的文件大小是32M,如果某个消息的大小超过了data log文件的大小,那么可以修改配置以增加
data log文件的大小。如果某个data log文件中所有的消息都被成功消费了,那么这个data log文件将会被标记,以便在下一轮的清理中被删除或者归档。

AMQ Message Store配置示例:

<broker brokerName="broker" persistent="true" useShutdownHook="false">
<persistenceAdapter>
<amqPersistenceAdapter directory="${activemq.base}/data"
maxFileLength="32mb"/>
</persistenceAdapter>
</broker>

使用JDBC来持久化消息

ActiveMQ支持使用JDBC来持久化消息,预定义的表如下:
1:消息表,缺省表名为ACTIVEMQ_MSGS,queue和topic都存在里面,结构如下:

2:ACTIVEMQ_ACKS表存储持久订阅的信息和最后一个持久订阅接收的消息ID,结构如下:

3:锁定表,缺省表名为ACTIVEMQ_LOCK,用来确保在某一时刻,只能有一个
ActiveMQ broker实例来访问数据库,结构如下:

使用JDBC来持久化消息的配置示例:

<beans>
<broker brokerName="test-broker" persistent=true
xmlns="http://activemq.apache.org/schema/core">
<persistenceAdapter>
<jdbcPersistenceAdapter dataSource=“#mysql-ds"/>
</persistenceAdapter>
</broker>
<bean name="mysql-ds" class="org.apache.commons.dbcp.BasicDataSource" destroy-method="close">
<property name="driverClassName"><value>org.gjt.mm.mysql.Driver</value></property>
<property
name="url"><value>jdbc:mysql://192.168.1.100:3306/test?useUnicode=true&characterEncodi
ng=UTF-8</value></property>
<property name="username"> <value>root</value> </property>
<property name="password" value="cc"/>
</bean>

JDBC Message Store with ActiveMQ Journal

这种方式克服了JDBC Store的不足,使用快速的缓存写入技术,大大提高了性能。配置示例如下:
<beans>
<broker brokerName="test-broker" xmlns="http://activemq.apache.org/schema/core">
<persistenceFactory>
<journalPersistenceAdapterFactory
journalLogFiles="4"
journalLogFileSize="32768"
useJournal="true"
useQuickJournal="true"
dataSource="#derby-ds"
dataDirectory="activemq-data" />
</persistenceFactory>
</broker>
</beans>

JDBC Store和JDBC Message Store with ActiveMQ Journal的区别
1:Jdbc with journal的性能优于jdbc
2:Jdbc用于master/slave模式的数据库分享
3:Jdbc with journal不能用于master/slave模式
4:一般情况下,推荐使用jdbc with journal

Memory Message Store

内存消息存储主要是存储所有的持久化的消息在内存中。这里没有动态的缓存存在,所以
你必须注意设置你的broker所在的JVM和内存限制

Memory Message Store配置示例:

<beans>
<broker brokerName="test-broker" persistent="false"
xmlns="http://activemq.apache.org/schema/core">
<transportConnectors>
<transportConnector uri="tcp://localhost:61635"/>
</transportConnectors>
</broker>
</beans>

在Java中内嵌使用Broker,使用Memory的例子:

public void createEmbeddedBroker() throws Exception {
BrokerService broker = new BrokerService();
broker.setPersistent(false);
broker.addConnector("tcp://localhost:61616");
broker.start();
}

AMQ简明教程(8)

hzqiuxm阅读(319)评论(0)

AMQ传输协议

连接到ActiveMQ

Connector:ActiveMQ提供的,用来实现连接通讯的功能。包括:client-tobroker、broker-to-broker。ActiveMQ允许客户端使用多种协议来连接
配置Transport Connector,在conf/activemq.xml里面,大致如下:

<transportConnectors>
<transportConnector name="openwire" uri="tcp://localhost:61616"
discoveryUri="multicast://default"/>
<transportConnector name="ssl" uri="ssl://localhost:61617"/>
<transportConnector name="stomp" uri="stomp://localhost:61613"/>
<transportConnector name="xmpp" uri="xmpp://localhost:61222"/>
</transportConnectors>

ActiveMQ支持的client-broker通讯协议如下:
1:TCP:这个也是缺省使用的协议
2:NIO
3:UDP
4:SSL
5:Http(s)
6:VM:如果客户端和broker在一个虚拟机内的话,通过VM协议通讯在VM内通讯,从而减少网络传输的开销

Transmission Control Protocol (TCP)

1:这是默认的Broker配置,TCP的Client监听端口是61616。
2:在网络传输数据前,必须要序列化数据,消息是通过一个叫wire protocol的来序列化成字节流。

默认情况下,ActiveMQ把wire protocol叫做OpenWire,它的目的是促使网络上的效率和数据快速交互。

3:TCP连接的URI形式:tcp://hostname:port?key=value&key=value,加粗部分是必须的
4:TCP传输的优点:
(1) TCP协议传输可靠性高,稳定性强
(2)高效性:字节流方式传递,效率很高
(3)有效性、可用性:应用广泛,支持任何平台
5:所有关于Transport协议的可配置参数,可以参见:
http://activemq.apache.org/configuring-version-5-transports.html

New I/O API Protocol(NIO)

1:NIO协议和TCP协议类似,但NIO更侧重于底层的访问操作。它允许开发人员对同一资源可有更多的client调用和服务端有更多的负载。
2:适合使用NIO协议的场景:

(1)可能有大量的Client去链接到Broker上一般情况下,大量的Client去链接Broker是被操作系统的线程数所限制的。因此,NIO的实现比TCP需要更少的线程去运行,所以建议使用NIO协议
(2)可能对于Broker有一个很迟钝的网络传输NIO比TCP提供更好的性能

3:NIO连接的URI形式:nio://hostname:port?key=value
4:Transport Connector配置示例:

<transportConnectors>
<transportConnector
name="tcp"
uri="tcp://localhost:61616?trace=true" />
<transportConnector
name="nio"
uri="nio://localhost:61618?trace=true" />
</transportConnectors>

上面的配置,示范了一个TCP协议监听61616端口,一个NIO协议监听61618端口

User Datagram Protocol(UDP)

1:UDP和TCP的区别
(1)TCP是一个原始流的传递协议,意味着数据包是有保证的,换句话说,数据包是不会被复制和丢失的。UDP,另一方面,它是不会保证数据包的传递的
(2)TCP也是一个稳定可靠的数据包传递协议,意味着数据在传递的过程中不会被丢失。这样确保了在发送和接收之间能够可靠的传递。相反,UDP仅仅是一个链接协议,所以它没有可靠性之说
2:从上面可以得出:TCP是被用在稳定可靠的场景中使用的;UDP通常用在快速数据传递和不怕数据丢失的场景中,还有ActiveMQ通过防火墙时,只能用UDP
3:UDP连接的URI形式:udp://hostname:port?key=value
4:Transport Connector配置示例:

<transportConnectors>
<transportConnector
name="udp"
uri="udp://localhost:61618?trace=true" />
</transportConnectors>

Secure Sockets Layer Protocol (SSL)

1:连接的URI形式:ssl://hostname:port?key=value
2:Transport Connector配置示例:

<transportConnectors>
<transportConnector name="ssl" uri="ssl://localhost:61617?trace=true"/>
</transportConnectors>

Hypertext Transfer Protocol (HTTP/HTTPS)

1:像web和email等服务需要通过防火墙来访问的,Http可以使用这种场合
2:连接的URI形式:http://hostname:port?key=value或者https://hostname:port?key=value
3:Transport Connector配置示例:

<transportConnectors>
<transportConnector name="http"
uri="http://localhost:8080?trace=true" />
</transportConnectors>

VM Protocol(VM)

1:VM transport允许在VM内部通信,从而避免了网络传输的开销。这时候采用的连接不是socket连接,而是直接的方法调用。
2:第一个创建VM连接的客户会启动一个embed VM broker,接下来所有使用相同的
broker name的VM连接都会使用这个broker。当这个broker上所有的连接都关闭的时候,这个broker也会自动关闭。
3:连接的URI形式:vm://brokerName?key=value
4:Java中嵌入的方式:
vm:broker:(tcp://localhost:6000)?brokerName=embeddedbroker&persistent=false ,
定义了一个嵌入的broker名称为embededbroker以及配置了一个tcptransprotconnector在监听端口6000上
5:使用一个加载一个配置文件来启动broker
vm://localhost?brokerConfig=xbean:activemq.xml

总结

一般就用于中间件,所以只会在TCP和NIO中选用,VM的使用常见有限,一般是为了一次性大量发送消息,所以和客户端部署在一起

AMQ简明教程(7)

hzqiuxm阅读(299)评论(0)

AMQ结合spring

Spring提供了对JMS的支持,需要添加Spring支持jms的包,如下:

<dependency>
    <groupId>org.springframework</groupId>
    <artifactId>spring-jms</artifactId>
    <version>4.1.6.RELEASE</version>
</dependency>
<dependency>
    <groupId>org.apache.activemq</groupId>
    <artifactId>activemq-pool</artifactId>
    <version>5.11.1</version>
</dependency>

然后需要在Spring的配置文件中,配置jmsTemplate,示例如下:

<?xml version="1.0" encoding="UTF-8"?>
<beans xmlns="http://www.springframework.org/schema/beans"
       xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
       xsi:schemaLocation="http://www.springframework.org/schema/beans http://www.springframework.org/schema/beans/spring-beans.xsd">

    <bean id="jmsFactory" class="org.apache.activemq.pool.PooledConnectionFactory"
          destroy-method="stop">
        <property name="connectionFactory">
            <bean class="org.apache.activemq.ActiveMQConnectionFactory">
                <property name="brokerURL">
                    <value>tcp://192.168.1.55:61616</value>
                </property>
            </bean>
        </property>
        <property name="maxConnections" value="100"></property>
    </bean>
    <bean id="jmsTemplate" class="org.springframework.jms.core.JmsTemplate">
        <property name="connectionFactory" ref="jmsFactory" />
        <property name="defaultDestination" ref="destination" />
        <property name="messageConverter">
            <bean class="org.springframework.jms.support.converter.SimpleMessageConverter" />
        </property>
    </bean>
    <bean id="destination" class="org.apache.activemq.command.ActiveMQQueue">
        <constructor-arg index="0" value="spring-queue" />
    </bean>

</beans>

queue消息发送

package com.qiuxm.myweb.service.jms;

import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.context.ApplicationContext;
import org.springframework.context.support.ClassPathXmlApplicationContext;
import org.springframework.jms.core.JmsTemplate;
import org.springframework.jms.core.MessageCreator;
import org.springframework.stereotype.Service;

import javax.jms.JMSException;
import javax.jms.Message;
import javax.jms.Session;
import javax.jms.TextMessage;

/**
 * Created by Administrator on 2015/6/2.
 */

@Service
public class QueueSender {

    @Autowired
    private JmsTemplate jt = null;

    public static void main(String[] args)  throws Exception{
        ApplicationContext ctx = new ClassPathXmlApplicationContext("applicationContext.xml");
        QueueSender ct = (QueueSender)ctx.getBean("queueSender");
        ct.jt.send(new MessageCreator() {
            public Message createMessage(Session s) throws JMSException {
                TextMessage msg = s.createTextMessage("Spring msg===");
                return msg;
            }
        });
    }

}

queue消息接收

package com.qiuxm.myweb.service.jms;

import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.context.ApplicationContext;
import org.springframework.context.support.ClassPathXmlApplicationContext;
import org.springframework.jms.core.JmsTemplate;
import org.springframework.stereotype.Service;

/**
 * Created by Administrator on 2015/6/2.
 */

@Service
public class QueueReceive {

    @Autowired
    private JmsTemplate jt = null;
    public static void main(String[] args) throws Exception {
        ApplicationContext ctx = new ClassPathXmlApplicationContext("applicationContext.xml");
        QueueReceive ct = (QueueReceive)ctx.getBean("queueReceive");

        String msg = (String)ct.jt.receiveAndConvert();

        System.out.println("msg==="+msg);
    }
}

如果topic的话,首先需要修改spring的配置:
先添加topic的配置,当然,需要修改jmsTemplate配置里面的defaultDestination,如果不想修改这个配置,那么直接把Destination注入程序,在程序里面选择发送的Destination也可以配置其他的客户端发送和接收跟队列基本是一样的。

如果想要在Spring中配置消费者的话,就不需要再启动接收的客户端了
当然,需要写一个类来实现消息监听
这样测试的时候,只需要启动消息生产者就好了

<?xml version="1.0" encoding="UTF-8"?>
<beans xmlns="http://www.springframework.org/schema/beans"
       xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
       xsi:schemaLocation="http://www.springframework.org/schema/beans http://www.springframework.org/schema/beans/spring-beans.xsd">

    <bean id="jmsFactory" class="org.apache.activemq.pool.PooledConnectionFactory"
          destroy-method="stop">
        <property name="connectionFactory">
            <bean class="org.apache.activemq.ActiveMQConnectionFactory">
                <property name="brokerURL">
                    <value>tcp://192.168.1.55:61616</value>
                </property>
            </bean>
        </property>
        <property name="maxConnections" value="100"></property>
    </bean>
    <bean id="jmsTemplate" class="org.springframework.jms.core.JmsTemplate">
        <property name="connectionFactory" ref="jmsFactory" />
        <property name="defaultDestination" ref="destinationTopic" />
        <property name="messageConverter">
            <bean class="org.springframework.jms.support.converter.SimpleMessageConverter" />
        </property>
    </bean>

    <bean id="destination" class="org.apache.activemq.command.ActiveMQQueue">
        <constructor-arg index="0" value="spring-queue" />
    </bean>

    <bean id="destinationTopic" class="org.apache.activemq.command.ActiveMQTopic">
        <constructor-arg index="0" value="spring-topic" />
    </bean>

    <bean id="jmsContainer" class="org.springframework.jms.listener.DefaultMessageListenerContainer">
        <property name="connectionFactory" ref="jmsFactory" />
        <property name="destination" ref="destinationTopic" />
        <property name="messageListener" ref="messageListener" />
    </bean>

    <bean id="messageListener"
          class="com.qiuxm.myweb.web.controller.lister.MyMessageListener">
    </bean>

</beans>
package com.qiuxm.myweb.web.controller.lister;

import javax.jms.JMSException;
import javax.jms.Message;
import javax.jms.MessageListener;
import javax.jms.TextMessage;

/**
 * Created by Administrator on 2015/6/2.
 */
public class MyMessageListener implements MessageListener {
    public void onMessage(Message arg0) {
        TextMessage msg = (TextMessage)arg0;
        try {
            System.out.println("receive txt msg==="+msg.getText());
        } catch (JMSException e) {
            e.printStackTrace();
        }
    }
}

ActiveMQ结合Spring开发最佳实践和建议
1:Camel框架支持大量的企业集成模式,可以大大简化集成组件间的大量服务和复杂的消息流。而Spring框架更注重简单性,仅仅支持基本的最佳实践。

2:Spring消息发送的核心架构是JmsTemplate,隔离了像打开、关闭Session和Producer的繁琐操作,因此应用开发人员仅仅需要关注实际的业务逻辑。但是
JmsTemplate损害了ActiveMQ的PooledConnectionFactory对session和消息producer的缓存机制而带来的性能提升。

3:新的Spring里面,可以设置org.springframework.jms.connection.CachingConnectionFactory的sessionCacheSize ,或者干脆使用ActiveMQ的PooledConnectionFactory

4:不建议使用JmsTemplate的receive()调用,因为在JmsTemplate上的所有调用都是同步的,这意味着调用线程需要被阻塞,直到方法返回,这对性能影响很大

5:请使用DefaultMessageListenerContainer,它允许异步接收消息并缓存session和消息consumer,而且还可以根据消息数量动态的增加或缩减监听器的数量

AMQ简明教程(6)

hzqiuxm阅读(372)评论(0)

ActiveMQ构建应用

Broker介绍

Broker:相当于一个ActiveMQ服务器实例
命令行启动参数示例如下:
1:activemq start :使用默认的activemq.xml来启动
2:activemq start xbean:file:../conf/activemq-2.xml :使用指定的配置文件来启动
3:如果不指定file,也就是xbean:activemq-2.xml,那么xml必须在classpath下面

用ActiveMQ来构建Java应用
这里主要将用ActiveMQ Broker作为独立的消息服务器来构建JAVA应用。
ActiveMQ也支持在vm中通信基于嵌入式的broker,能够无缝的集成其它java应用

嵌入式Broker启动

1:Broker Service启动broker ,示例如下:

BrokerService broker = new BrokerService();
broker.setUseJmx(true);
broker.addConnector("tcp://localhost:61616");
broker.start();

2:BrokerFactory启动broker ,示例如下:

String Uri = "properties:broker.properties";
BrokerService broker1 = BrokerFactory.createBroker(new URI(Uri));
broker1.addConnector("tcp://localhost:61616");
broker1.start();

broker.properties的内容示例如下:

useJmx=true
persistent=false
brokerName=Cheese 

利用Spring集成Broker

Spring的配置文件如下:

<beans>
<bean id="admins" class="org.apache.activemq.security.AuthenticationUser">
<constructor-arg index="0" value="admin" />
<constructor-arg index="1" value="password" />
<constructor-arg index="2" value="admins,publisher,consumers" />
</bean>
<bean id="publishers" class="org.apache.activemq.security.AuthenticationUser">
<constructor-arg index="0" value="publisher" />
<constructor-arg index="1" value="password" />
<constructor-arg index="2" value="publisher,consumers" />
</bean>
<bean id="consumers" class="org.apache.activemq.security.AuthenticationUser">
<constructor-arg index="0" value="consumer" />
<constructor-arg index="1" value="password" />
<constructor-arg index="2" value="consumers" />
</bean>
<bean id="guests" class="org.apache.activemq.security.AuthenticationUser">
<constructor-arg index="0" value="guest" />
<constructor-arg index="1" value="password" />
<constructor-arg index="2" value="guests" />
</bean>
<bean id="simpleAuthPlugin" class="org.apache.activemq.security.SimpleAuthenticationPlugin">
<property name="users">
<util:list>
<ref bean="admins" />
<ref bean="publishers" />
<ref bean="consumers" />
<ref bean="guests" />
</util:list>
</property>
</bean>
<bean id="broker" class="org.apache.activemq.broker.BrokerService" init-method="start" destroy-method="stop">
<property name="brokerName" value="myBroker" />
<property name="persistent" value="false" />
<property name="transportConnectorURIs">
<list>
<value>tcp://localhost:61616</value>
</list>
</property>
<property name="plugins">
<list>
<ref bean="simpleAuthPlugin"/>
</list>
</property>
</bean>
</beans>

或者配置BrokerFactoryBean,示例如下:

<beans>
<bean id="broker" class="org.apache.activemq.xbean.BrokerFactoryBean">
<property name="config" value="resources/activemq-simple.xml"/>
<property name="start" value="true" />
</bean>
</beans>

ActiveMQ的启动:

1:可以通过在应用程序中以编码的方式启动broker,例如: broker.start();
如果需要启动多个broker,那么需要为broker设置一个名字。例如:

BrokerService broker = new BrokerService();
broker.setName("fred");
broker.addConnector("tcp://localhost:61616");
broker.start();

2:还可以通过spring来启动,前面已经演示过了

欢迎加入紫牛小筑

进入小筑关于作者