数据库中间件——MyCat部署安装
关于mycat的链接:
Mycat官网
Mycat下载链接
Mycat官方文档,百度网盘官方文档下载链接,提取码:f9nq。
Mycat简略文档
可以在开始之前,阅读Mycat简略文档,对其有个大概了解。
注:MyCAT 支持多种数据库接入,分别有:mongodb、oracle、sqlserver 、hive 、db2 、 postgresql。
mycat应用场景如下:单纯的读写分离,此时配置最为简单,支持读写分离,主从切换;分表分库,对于超过 1000 万的表进行分片,最大支持 1000 亿的单表分片;多租户应用,每个应用一个库,但应用程序只连接 Mycat,从而不改造程序本身,实现多租户化;报表系统,借助于 Mycat 的分表能力,处理大规模报表的统计;替代 Hbase,分析大数据;作为海量数据实时查询的一种简单有效方案,比如 100 亿条频繁查询的记录需要在 3 秒内查询出来结果,除了基于主键的查询,还可能存在范围查询或其他属性查询,此时 Mycat 可能是最简单有效的选择。在mycat中有以下三个比较重要的专业术语,这里简单写一下:
Schema:逻辑库,与MySQL中的databases(数据库)对应,一个逻辑库中定义了所包括的table。table:逻辑表,就是物理数据库中存储的某一张表,与传统的数据库不同,这里的表格要声明其所存储的逻辑数据节点datanode,再次可以指定表的分片规则。datanode:mycat的逻辑数据节点,是存放table的具体物理节点,也称之为分片节点,通过datasource来关联到后端某个具体数据库上。datasource:定义某个物理库的访问地址,用于捆绑到datanode上。
本博文实现功能如下:
MySQL服务器两台,用来做主从复制;mycat服务器一台,针对两台MySQL服务器做读写分离。上述环境类似于web群集,前端nginx代理(这里是mycat),后端两个MySQL服务,slave服务器用来读数据,master服务器用来写数据。
1、准备mycat部署环境mycat的安装部署需要jdk1.7及以上版本,mysql建议是5.5及以上版本。
自行部署两台MySQL的主从,可以参考博文:MySQL高可用方案——双主(注:只需要参考博文做出主从效果即可,并不需要双主,也不需要keepalived来做高可用)。
2、安装jdk[root@mycat ~]# java -version #查看jdk版本是否合适openjdk version "1.8.0_161"OpenJDK Runtime Environment (build 1.8.0_161-b14)OpenJDK 64-Bit Server VM (build 25.161-b14, mixed mode)#如果上述指令返回错误,可以执行下面的命令安装jdk环境[root@mycat ~]# yum -y install java
3、部署mycat
下载的mycat包,直接解压即可使用。
#下载并解压[root@mycat src]# wget http://dl.mycat.io/1.6-RELEASE/Mycat-server-1.6-RELEASE-20161028204710-linux.tar.gz[root@mycat src]# tar zxf Mycat-server-1.6-RELEASE-20161028204710-linux.tar.gz -C /usr/local/#查看解压后的目录结构[root@mycat src]# tree -L 1 /usr/local/mycat//usr/local/mycat/├── bin├── catlet├── conf├── lib├── logs└── version.txt
其中:
bin:启动目录;lib:mycat自身的jar包或依赖的jar包的存放目录;logs:mycat日志的存放目录,日志存放在logs/log中,每天一个文件;conf:配置目录,用于存放配置文件--server.xml:是Mycat服务器参数调整和用户授权的配置文件。--schema.xml:是逻辑库定义和表以及分片定义的配置文件。--rule.xml: 是分片规则的配置文件,分片规则的具体一些参数信息单独存放为文件,也在这个目录下,配置文件修改需要重启MyCAT。--log4j.xml: 日志存放在logs/log中,每天一个文件,日志的配置是在conf/log4j.xml中,根据自己的需要可以调整输出级别为debug debug级别下,会输出更多的信息,方便排查问题。--autopartition-long.txt,partition-hash-int.txt,sequence_conf.properties, sequence_db_conf.properties 分片相关的id分片规则配置文件
下面的图片描述了mycat最重要的3大配置文件:
4、修改mycat配置文件,以便针对后端数据库实现读写分离1)修改server.xml文件#指定client连接mycat的用户名及密码,此处的账号密码与MySQL数据库无关[root@mycat mycat]# vim conf/server.xml #定位到80行左右,修改如下 <user name="mycat" defaultAccount="true"> #mycat为用户名 <property name="password">pwd@123</property> #此处为密码 <property name="schemas">teset_mycat</property> #此处为逻辑库名 <!-- 表级 DML 权限设置 --> <!-- <privileges check="false"> <schema name="TESTDB" dml="0110" > <table name="tb01" dml="0000"></table> <table name="tb02" dml="1111"></table> </schema> </privileges> --> </user>
2)修改schema.xml文件
<?xml version="1.0"?><!DOCTYPE mycat:schema SYSTEM "schema.dtd"><mycat:schema xmlns:mycat="http://io.mycat/"><!--下面的schema必须和第一个文件中的schema name(逻辑库名)一致。--> <schema name="teset_mycat" checkSQLschema="false" sqlMaxLimit="100" dataNode="dn1"> </schema> <dataNode name="dn1" dataHost="host1" database="test" /> <!--这里的database是指定要连接后端的哪个数据库,这里连接的是test库--> <!--下面是指定后端真实的MySQL主机,关于下面的balance值,有三个可选值,将在下面写下来--> <dataHost name="host1" maxCon="1000" minCon="10" balance="3" writeType="0" dbType="mysql" dbDriver="native" switchType="1" slaveThreshold="100"> <heartbeat>select user()</heartbeat> <!-- can have multi write hosts --> <!--指定后端哪台主机用来写数据--> <writeHost host="hostM1" url="192.168.20.2:3306" user="root" password="123.com"> <!-- can have multi read hosts --> <!--指定后端哪台主机用来读数据--> <readHost host="hostS2" url="192.168.20.3:3306" user="root" password="123.com" /> </writeHost> </dataHost></mycat:schema>
3)测试mycat主机是否可以登录到后端两个数据库注:上面提到的dataHost字段balance负载均衡类型,目前的取值有以下4 种:
balance="0", 不开启读写分离机制,所有读操作都发送到当前可用的 writeHost 上(默认值)。balance="1",全部的 readHost 与 stand by writeHost 参与 select 语句的负载均衡,简单的说,当双主双从模式(M1->S1,M2->S2,并且 M1 与 M2 互为主备),正常情况下,M2,S1,S2 都参与 select 语句的负载均衡。balance="2",所有读操作都随机的在 writeHost、readhost 上分发。balance="3",所有读请求随机的分发到 wiriterHost 对应的 readhost 执行,writerHost 不负担读压力,注意 balance=3 只在 1.4 及其以后版本有,1.3 没有。writeTyep字段有以下3中取值:
1、writeType="0", 所有写操作发送到配置的第一个 writeHost,第一个挂了切到还生存的第二个 writeHost,重新启动后已切换后的为准,切换记录在配置文件中:dnindex.properties 。
-1 表示不自动切换。1 默认值,自动切换。2 基于 MySQL 主从同步的状态决定是否切换。
2、writeType="1",所有写操作都随机的发送到配置的 writeHost,1.5 以后废弃不推荐。switchType 属性
#复制一个mysql命令[root@mycat mycat]# scp root@192.168.20.2:/usr/local/mysql/bin/mysql /usr/local/bin/#对后端两台数据库进行登录测试[root@mycat mycat]# mysql -uroot -p123.com -h 192.168.20.2[root@mycat mycat]# mysql -uroot -p123.com -h 192.168.20.3#确保执行上述指令登录数据库时,可以登录成功。#如果没有登录成功,则要考虑数据库的root用户是否有远程登录的权限,或者防火墙的问题。
4)由于上述配置文件中,要删除一些配置,如果不删除,则会造成启动失败,所以这里附上修改后的完整配置文件
server.xml文件内容如下:
<?xml version="1.0" encoding="UTF-8"?><!DOCTYPE mycat:server SYSTEM "server.dtd"><mycat:server xmlns:mycat="http://io.mycat/"> <system> <property name="useSqlStat">0</property> <!-- 1为开启实时统计、0为关闭 --> <property name="useGlobleTableCheck">0</property> <!-- 1为开启全加班一致性检测、0为关闭 --> <property name="sequnceHandlerType">2</property> <property name="processorBufferPoolType">0</property> <property name="handleDistributedTransactions">0</property> <property name="useOffHeapForMerge">1</property> <property name="memoryPageSize">1m</property> <property name="spillsFileBufferSize">1k</property> <property name="useStreamOutput">0</property> <property name="systemReserveMemorySize">384m</property> <property name="useZKSwitch">true</property><!--以上内容中,只是删除了一些注释行的内容,主要是下面--> </system> <user name="mycat" > <property name="password">pwd@123</property> <property name="schemas">teset_mycat</property> </user></mycat:server>
conf/schema.xml文件内容如下:
<?xml version="1.0"?><!DOCTYPE mycat:schema SYSTEM "schema.dtd"><mycat:schema xmlns:mycat="http://io.mycat/"> <schema name="teset_mycat" checkSQLschema="false" sqlMaxLimit="100" dataNode="dn1"> </schema> <dataNode name="dn1" dataHost="host1" database="test" /> <dataHost name="host1" maxCon="1000" minCon="10" balance="3" writeType="0" dbType="mysql" dbDriver="native" switchType="1" slaveThreshold="100"> <heartbeat>select user()</heartbeat> <!-- can have multi write hosts --> <writeHost host="hostM1" url="192.168.20.2:3306" user="root" password="123.com"> <!-- can have multi read hosts --> <readHost host="hostS2" url="192.168.20.3:3306" user="root" password="123.com" /> </writeHost> </dataHost></mycat:schema>
5、启动mycat
./mycat start 启动./mycat stop 停止 ./mycat console 前台运行./mycat install 添加到系统自动启动(暂未实现) ./mycat remove 取消随系统自动启动(暂未实现)./mycat restart 重启服务./mycat pause 暂停./mycat status 查看启动状态
#创建命令软连接[root@mycat mycat]# ln -sf /usr/local/mycat/bin/mycat /usr/local/bin/#启动mycat[root@mycat mycat]# mycat start #更建议使用mycat console前台启动,如果有错误,就会直接输出到屏幕,方便排错#待调试正常后,再使用mycat start后台启动即可。Starting Mycat-server...[root@mycat conf]# ss -lnp | grep 8066 #如果端口没有在监听,则表示启动失败,自行查看日志排查吧。tcp LISTEN 0 100 :::8066 :::* users:(("java",pid=62070,fd=78))#使用server.xml文件中定义的用户名及密码进行登录查看[root@mycat conf]# mysql -umycat -ppwd@123 -h 192.168.20.4 -P 8066mysql> show databases; #下面的teset_mycat库对应的就是后端的test库+-------------+| DATABASE |+-------------+| teset_mycat |+-------------+1 row in set (0.00 sec)mysql> use teset_mycat#库中所有的表数据和后端数据库是对应的mysql> show tables;+----------------+| Tables_in_test |+----------------+| t1 |+----------------+1 row in set (0.00 sec)mysql> select * from t1;+------+------+| id | name |+------+------+| 1 | a || 2 | b || 3 | c || 4 | d |+------+------+
至此,已经成功接入了mycat来连接后端数据库,但是mycat的主要功能还没有展示,我将继续更新后面的内容。其实更推荐去阅读Mycat官方文档。官方文档也比较通俗易懂。
声明:本站所有文章资源内容,如无特殊说明或标注,均为采集网络资源。如若本站内容侵犯了原著者的合法权益,可联系本站删除。