失眠网,内容丰富有趣,生活中的好帮手!
失眠网 > maxwell deamon 监听mysql binlog 二进制文件实现数据同步到

maxwell deamon 监听mysql binlog 二进制文件实现数据同步到

时间:2024-07-28 13:51:18

相关推荐

maxwell deamon 监听mysql binlog 二进制文件实现数据同步到

1:首先下载maxwell/zendesk/maxwell/releases/download/v1.24.1/maxwell-1.24.1.tar.gz

(这玩意下的很慢,建议去论坛找)

2:下载安装mysql (安装mysql比较简单自行查找)

3:给你的mysql配置文件里加上 binlog配置

[mysqld]server_id=1log-bin=masterbinlog_format=row

还有一种配置方式,在mysql启动后执行以下命令:

mysql> set global binlog_format=ROW;mysql> set global binlog_row_image=FULL;

4:maxwell读取binlog需要一个账号,那么我们就在mysql里面为maxwell配置一个账号

mysql> CREATE USER 'maxwell'@'%' IDENTIFIED BY 'XXXXXX';mysql> GRANT ALL ON maxwell.* TO 'maxwell'@'%';mysql> GRANT SELECT, REPLICATION CLIENT, REPLICATION SLAVE ON *.* TO 'maxwell'@'%';

5:运行你的maxwell

进入到你下载解压的maxwell文件夹里执行下面的命令

bin/maxwell --user='maxwell' --password='XXXXXX' --host='127.0.0.1' --producer=stdout

注意:如果你是mysql8.0,会报出以下错误:com.github.shyiko.work.AuthenticationException: Client does not support authentication protocol requested by server; consider upgrading MySQL client

出现上述问题的原因是:mysql8 之前的版本中加密规则是mysql_native_password,而在mysql8之后,加密规则是caching_sha2_password把mysql用户登录密码加密规则还原成mysql_native_password

解决方案:在mysql中执行以下命令

alter user 'maxwell'@'%' identified with mysql_native_password by 'XXXXXX'; 修改认证规则

flush privileges; 刷新权限

之后重新运行一遍

bin/maxwell --user='maxwell' --password='XXXXXX' --host='127.0.0.1' --producer=stdout

--user mysql数据库用户名

--password mysql数据库密码

--host mysql 数据库服务器

--producer 指定数据输出到哪里

# 以上为必须要的,以下的kafka相关的是以kafka方式启动时需要的参数,kafka相关分区参数在此未指定

--kafka.bootstrap.servers 指定kafka地址

--kafka_topic 指定kakfa的topic是哪一个

# 以下可选

--daemon 守护进程 后台运行

--filter 过滤条件,可以过滤数据库,表,列等等

6:出现binlog cennected 你会发现maxwell启动成功

7:我在mysql创建了一个表

再看maxwell的控制台

教程到此完结!

如果觉得《maxwell deamon 监听mysql binlog 二进制文件实现数据同步到》对你有帮助,请点赞、收藏,并留下你的观点哦!

本内容不代表本网观点和政治立场,如有侵犯你的权益请联系我们处理。
网友评论
网友评论仅供其表达个人看法,并不表明网站立场。