MaxWell的学习

目录

什么是MaxWell？

MaxWell守护进程是读取MySQL的二进制日志，将更新操作写入到消息队列，例如Kafka，RabbitMQ，Redis的订阅发布的应用。

官网上的示例1，在数据库test的表maxwell插入了一条数据，那么你在名为maxwell的topics会接收到一条消息，含有数据库、表、时间戳、更新类型等字段。

mysql> insert into `test`.`maxwell` set id = 1, daemon = 'Stanislaw Lem';
  maxwell: {
    "database": "test",
    "table": "maxwell",
    "type": "insert",
    "ts": 1449786310,
    "xid": 940752,
    "commit": true,
    "data": { "id":1, "daemon": "Stanislaw Lem" }
  }

示例2,更新语句也是类似的。不同的是，更新的消息会多一个字段old，记录字段尚未被更新之前的数据。

 mysql> update test.maxwell set daemon = 'firebus!  firebus!' where id = 1;
  maxwell: {
    "database": "test",
    "table": "maxwell",
    "type": "update",
    "ts": 1449786341,
    "xid": 940786,
    "commit": true,
    "data": {"id":1, "daemon": "Firebus!  Firebus!"},
    "old":  {"daemon": "Stanislaw Lem"}
  }

生产者

MaxWell支持多种生产者，官网自带配置文档。以Kafka为例，默认会把消息发送到名为maxwell的topics，你也可以自定义配置。

踩坑

在MaxWell启动后，Kafka的生产者可以进行高性能的配置。如果添加以下的配置

kafka.acks = 1
kafka.compression.type = snappy
kafka.retries=0

消息会以snappy的方式进行压缩。什么是snappy压缩方式 在采用Composer包nmred/kafka-php消费消息时，遇到MaxWell生产的消息无法读取。 后来定位到是该Composer包不支持snappy压缩的消息，更换为php-rdkafka的扩展即可。

参考链接

  1. Kafka 0.9 Configuration Best Practices
  2. Manually Installing the extension

img