chenchangqun的博客
chenchangqun · 共 25 篇文章
netty源码分析-server启动-initAndRegister
本文包括以下内容 ** 1. initAndRegister-createChannel分析 2. initAndRegister-createChannel分析 3. ChannelInitializer分析** 创建channel-server端bind()调用链如下 sever端启动主要处理都在bind()处理中,其中主要代码如下 AbstractBootstrap private ChannelFuture doBind(final SocketAddress localAddress) { final ChannelFuture regFuture = initAndRegiste…
2018-12-29 16:32 · netty源码分析 · 评论(0)
大话分布式事务-方案篇
how to fix distributed transation 分布式事务中的概念众多,解决方案也很多。 怎么样去理解, 怎么使用 知识点 硬性事务:单机数据库事务,分布式数据库事务。如 OceanBase,TiDB. 柔性事务:针对 硬性事务而言,规避硬性事务实现的难度和问题,可以达到最终一致性的解决方案。如 XA多阶段提交, Sags长事务, 本地事务表, 外部事务表(可靠消息)。 最近在公司 SOA化的过程中,遇到了分布式事务的问题,分布式事务中涉及概念众多,如ACID,CAP,BASE。 解决方案: XA多阶段提交, Sags长事务, 本地事务表, 外部事务表(可靠消息)。 但是…
2018-01-22 13:54 · 分布式事务 · 评论(0)
大话分布式事务-概念篇
how to understand CAP CAP不好理解, 常规解释 C: 一致性 A: 可用性 P:分区容忍性 虽然搞不清CAP的意思,可以知道他们之间是相互影响的。 try to understand CAP OK 我们试着从CAP的出生理解,我觉得这样理解能更加的透彻。 CAP的出生在那?, sorry我没有看过原论文,只能靠想象。 CAP既然是分布式理论,那么肯定是在分布式的演变过程中产生,那么这个点就是:单机->分布式,那么 我们从CAP的父母 应该可以找到答案 那么CAP在是单机中是否存在,答案:是的 。只不过 CAP中的P特性被掩盖了。 来回忆一下单机程序设计时代。 在单机程…
2018-01-22 11:40 · 分布式事务 · 评论(1)
otter源码分析-(1)debug node源码
想解决一个源码的疑问,需要debug otter node模块。 开启同步任务后,local node 的 mainstem一直 显示:定位中,数据更改后,同步功能不可用。 bug信息如下 pid:8 nid:3 exception:canal:test_cancal_debug:java.lang.NullPointerException at com.alibaba.otter.canal.parse.inbound.mysql.MysqlConnection.loadBinlogChecksum(MysqlConnection.java:284) at com.alibaba.otte…
2017-02-24 17:14 · 评论(0)
rocketMq实战(6)-1机多broker-bug追踪
目前的机器资源还是很紧张, 单个虚拟机上只部署一个broker有点浪费.希望能实现交叉部署,如图 在配置文件 中配置好了 listenPort后 当一台虚拟机启动第二个 broker,报出如下异常 java.net.BindException: Address already in use: bind at sun.nio.ch.Net.bind0(Native Method) at sun.nio.ch.Net.bind(Unknown Source) at sun.nio.ch.Net.bind(Unknown Source) at sun.nio.ch.ServerSocketChan…
2016-12-15 18:47 · rocketmq · 评论(0)
rocketMq实战(5)-本地调试broker源码
源码下载地址: https://github.com/alibaba/RocketMQ 配置好的项目如下图 broker 的启动类 : com.alibaba.rocketmq.broker.BrokerStartup broker启动 需要加载配置文件,如下 broker-c.properties brokerClusterName=DefaultCluster brokerName=broker-c brokerId=0 listenPort=10911 deleteWhen=04 fileReservedTime=48 brokerRole=ASYNC_MASTER flushDisk…
2016-12-15 17:55 · rocketmq · 评论(0)
rocketMq实战(4)-集群配置
rocketmq的安装和配置请参照下文,附件中的电子书 用户指南3.2.4第44页有相关内容 http://chenchangqun.iteye.com/admin/blogs/2341749 这里讲多主多重异步复制 模式的配置,假设2主2从,2个nameserver,且环境已经配置好, nameserver都已经启动。 则命令如下 /opt/ali-rocketmq/devenv 是安装 rocketmq 的目录。注意 多个nameserver使用分号 分割 master1启动 nohup sh mqbroker -n "10.103.16.77:9876;10.103.16.15:987…
2016-11-29 18:03 · rocketmq · 评论(0)
rocketMq实战(3)-console和运维
rocketmq这么复杂的东西,没有运维工具可搞不定啊。 哈哈,别急,官方提供了一个WEB项目,可以查看rocketmq数据和执行一些操作。 而且我自己也添加了一些功能 官网:https://github.com/rocketmq/rocketmq-console 运行修改一下namesers的地址,注意多个地址用 分号 分割 下面是成功页面,cluster查询broker集群的tps和出队入队情况。 topic查询生产和消费信息 connection查询生产则和消费者的连接信息。 其他的不讲了,多试试就明白了。 注意consumer这一项,可以查询消息积压,这是我们最关心的。 首先更正一个…
2016-11-29 15:03 · rocketmq · 评论(0)
rocketMq实战(2)-客户端集成
rocketmq的配置和demo搞定后,离上线运用 还有很多问题要解决 如: 怎样集成 到项目中,并做到规范,易用。使用中有哪些问题是需要考虑的,监控运维问题怎么解决。 本文先解决 客户端集成,下面贴出我经过反复试验后的最终代码和配置。 本文贴出的代码和配置都是经过反复测试和验证,并在实际项目中使用的,目前只使用几个重要的参数,更精细的配置请参考官方文档。 pom.xml <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:sc…
2016-11-29 11:25 · rocketmq · 评论(0)
惭愧,惭愧
工作多年,做过和学习过不少东西 搞过ORM框架,读过 spring ,struts2,mina ,proxool,源码。 研究过spring mvc 搞过 IM架构和实现,搞过 hive和hadoop. 遗憾都没有完整的记录下来,仅有的记录都是碎片,零星的东西,不成体系。 更悲催的是 其中大部分都已经淡忘,真是惨痛的教训。 决定梳理并记录所学,痛下决心,发奋图强。
2016-11-28 18:26 · 生活感悟 · 评论(0)
rocketMq实战-1安装和配置
由于项目需求,要上RocketMq,经过一帆折腾终于成功搞定 期间遇到一些坑,并收集了一些文章,做个分享 希望对大家有帮助。 我主要是参照下面文章安装 http://blog.csdn.net/loongshawn/article/details/51086876 安装期间遇到一些问题 (1)安装包从哪里搞 (2)com.alibaba.rocketmq.client.exception.MQClientException: No route info of this topic 这个异常怎么解决? 问题(1)从githup 上download下来后编译生成,生成后存放在targe目录,生成…
2016-11-28 17:40 · rocketmq · 评论(0)
ssh 远程执行异常
因为项目要求,需要远程执行命令,maven配置和代码如下 <dependency> <groupId>ch.ethz.ganymed</groupId> <artifactId>ganymed-ssh2</artifactId> <version>build209</version> </dependency> public class InvokeShellTest { public static void main(String[] args) { String hostname = "10.103.16.16"; String username = "sa"; String passw…
2016-11-15 12:00 · 评论(0)
mysql 'Too many connections'
server端运行一段时间以后,数据库异常 Caused by: com.mysql.jdbc.exceptions.jdbc4.MySQLNonTransientConnectionException: Data source rejected establishment of connection, message from server: "Too many connections" 原因:连接池中的连接没有关闭。 解决:我这里是 dao层的调用没有被事务管理,导致连接没有关闭。
2014-07-28 16:42 · 评论(0)
hive shell脚本生成大量测试数据
背景:接到老大的指示,要为hive生成2000W条测试数据,这可愁死偶了,苦思之后,想到我写文章 hive 快速插入测试数据 ,可以在此基础上扩展。思路是用shell 脚本生成包含大量数据的data文件,然后导入hive中。 生成 测试数据的shell脚本 data_create.sh rm -rf ./data.txt touch data.txt for((i=0;i<20000000;i++)) do str=',name'; name=${i}${str}${i} #echo $name echo $name>> data.txt done echo 'show testdata' …
2014-06-06 10:31 · 评论(0)
hive 快速插入测试数据
vi /root/data.txt 1,sss 2,dfdf 3,dfdf 4,changqun data.txt中不要有空行,空行也是一条数据. $ hive 创建一个表 hive>create table test(id int,name string) row format delimited fields terminated by ','; 加载数据 hive>LOAD DATA LOCAL INPATH '/root/data.txt' OVERWRITE INTO TABLE test; 查询即可看到结果 hive> select * from test; OK 1 sss 2…
2014-05-20 17:52 · 评论(0)