数据库连接配置的策略和实践是怎样的
今天就跟大家聊聊有关数据库连接配置的策略和实践是怎样的,可能很多人都不太了解,为了让大家更加了解,小编给大家总结了以下内容,希望大家根据这篇文章可以有所收获。
一 前言
应用执行SQL请求完成的过程中,数据库连接占很重要一部分。尤其是涉及到流量瞬间暴涨,需要创建大量连接,或者网络异常导致重连时,从业务端来看,sql执行缓慢的问题,此时sql执行并非真的慢。本文是基于我们自己的生产环境的Durid实践,仅供各位参考,当然不同公司的链路/业务压力可能不一样。
二 具体实践
从整体系统的角度,我们要考虑几个点 ,数据库连接数配置多少合适,针对空闲连接,网络异常的超时时间,如何高效复用连接,druid 版本选择这几个方面来介绍。
2.1 如何设置连接池大小
合适的连接池大小和业务请求的 QPS 和 单个请求的 RT(单位为毫秒)。基本公式:
连接数 = QPS /(1000/RT) + N = QPS * RT /1000 + N
注意: 此处 QPS 和 RT 为单个应用端统计。假定随连接数量增加,客户端能处理的请求数线性增加。
举个例子
比如一个请求的耗时rt=2ms,每个连接能处理的请求数量S=1000/2=500,业务层总请求量是M=5000,那么合理的连接数为M/S=5000/500=10为了避免连接数被占满,我们会在上面的连接数的基础上再加上N,最终的连接数为10+N.
统计平时的最大 QPS 和此时的 RT,以此计算 minIdle,并设置 initialSize = minIdle。
统计峰值时的 QPS 和此时的 RT,以此计算 maxActive。
可以通过以下方法,通过 jmx 观察 Druid 实际的连接池状况,重点关注 ActiveCount:活动连接数,PoolingCount:池子中的连接数。并根据实际情况考虑调整。
java-XX:+UseConcMarkSweepGC-XX:+CMSClassUnloadingEnabled-XX:+TieredCompilation-XX:TieredStopAtLevel=1-Xverify:none-client-jar/PATH/cmdline-jmxclient-0.10.3.jar-127.0.0.1:7777'com.alibaba.druid:type=DruidDataSourceStat'DataSourceList|&grep-E'ActiveCount|PoolingCount'
2.2 如何设置超时时间
连接池中的超时时间主要有:
connectTimeout 建立 TCP 连接的超时时间
maxWait 从连接池获取连接的最长等待时间
socketTimeout 发送请求后等待响应的超时时间
其中,connectTimeout 建议不要小于 1200ms。TCP 在建立连接时,SYN 包的超时重传时间为 1s。connectTimeout 设置过短,很可能造成应用发布时,初始化连接池过程中由于网络抖动,或中间网络设备需要初始化状态发生丢包触发超时,从而造成连接池初始化失败而导致发布失败。
socketTimeout 可以根据应用最长的查询返回时间设置。过长会造成生网络问题,或数据库服务有问题时雪崩;过短也会造成频繁请求超时。不要短于 300ms。TCP 的最小 RTO 为 200ms,并根据延迟动态调整。过短的超时时间会造成单个丢包就造成请求超时。生产环境数据库都配置有 SQL Killer,会自动杀死执行时间过长的请求。因此,设置过长的 socketTimeout 也是没有意义的。
maxWait 可以根据应用期待的等待时间设置。为避免在发生网络问题,或数据库服务有问题时雪崩,这个时间设置不要过大。下面的默认值 800ms 是个保守的设置。应用可以设置一个更短的时间,如 300ms。过短的时间也会造成在连接池中连接数不足,需要新建连接时造成大量超时。建议不要低于 100ms。
2.3 如何设置连接保持时间
设置连接保持活跃的时间需要考虑是直连还是通过数据库中间件proxy连接。一般现在的生产环境大多为:
App->LVS->Proxy->DB
其中应用到 RDS 的访问路径为 App -> LVS -> Proxy 。
其中,LVS 空闲连接保留时间为 90s。Proxy 为了避免访问到已被关闭的连接,自身的空闲连接保留时间为 [70, 85) s。因此,应用程序为了避免从连接池获取到已被关闭的连接,应当设置自身保留空闲连接时间不能超过70s。打开KeepAlive之后的效果
初始化连接池时会填充到minIdle数量。
连接池中的minIdle数量以内的连接,空闲时间超过
minEvictableIdleTimeMillis,则会执行keepAlive操作。
当网络断开等原因产生的由ExceptionSorter检测出来的死连接被清除后,自动补充连接到minIdle数量。
timeBetweenEvictionRunsMillis=10000,minEvictableIdleTimeMillis=44000,maxEvictableIdleTimeMillis=55000。
2.4 必选配置项
以下默认配置可以根据实际情况调整。
<beanid="cartDataSource"class="com.alibaba.druid.pool.DruidDataSource"init-method="init"destroy-method="close"><propertyname="url"value="${cluster.jdbc.url}"/><propertyname="username"value="${cluster.jdbc.username}"/><propertyname="password"value="${cluster.jdbc.password}"/><propertyname="connectionInitSqls"value="setnamesutf8mb4"/><!--连接池初始连接数--><propertyname="initialSize"value="5"/><!--允许的最大同时使用中(在被业务线程持有,还没有归还给druid)的连接数--><propertyname="maxActive"value="20"/><!--允许的最小空闲连接数,空闲连接超时踢除过程会最少保留的连接数--><propertyname="minIdle"value="5"/><!--从连接池获取连接的最大等待时间800毫秒;业务方根据可以自行调整--><propertyname="maxWait"value="800"/><!--一条物理连接的最大存活时间120分钟--><propertyname="phyTimeoutMillis"value="7200000"/><!--强行关闭从连接池获取而长时间未归还给druid的连接(认为异常连接)--><propertyname="removeAbandoned"value="true"/><!--异常连接判断条件,超过180秒则认为是异常的,需要强行关闭--><propertyname="removeAbandonedTimeout"value="180"/><!--从连接池获取到连接后,如果超过被空闲剔除周期,是否做一次连接有效性检查--><propertyname="testWhileIdle"value="true"/><!--从连接池获取连接后,是否马上执行一次检查--><propertyname="testOnBorrow"value="false"/><!--归还连接到连接池时是否马上做一次检查--><propertyname="testOnReturn"value="false"/><!--连接有效性检查的SQL--><propertyname="validationQuery"value="SELECT1"/><!--连接有效性检查的超时时间1秒--><propertyname="validationQueryTimeout"value="1"/><!--周期性剔除长时间呆在池子里未被使用的空闲连接,10秒一次--><propertyname="timeBetweenEvictionRunsMillis"value="10000"/><!--空闲多久可以认为是空闲太长而需要剔除44秒--><propertyname="minEvictableIdleTimeMillis"value="44000"/><!--如果空闲时间太长即使连接池所剩连接<minIdle也会被剔除55秒--><propertyname="maxEvictableIdleTimeMillis"value="55000"/><!--是否设置自动提交,相当于每个语句一个事务--><propertyname="defaultAutoCommit"value="true"/><!--记录被判定为异常的连接--><propertyname="logAbandoned"value="true"/><!--网络读取超时,网络连接超时socketTimeout:对于线上业务小于5s,对于BI等执行时间较长的业务的SQL,需要设置大一点--><propertyname="connectionProperties"value="socketTimeout=3000;connectTimeout=1200"/><propertyname="proxyFilters"><list><refbean="log-filter"/></list></property></bean>
1.0.28版本之后,新加入keepAlive配置,缺省关闭。使用keepAlive功能,建议使用1.1.16或者更高版本。一般业务无需打开,除非分钟请求量在个位数或者启动时间超长导致初始连接都过期。
2.5 druid版本
建议使用最新版本,不要使用太老的版本,以免遇到 bug。
e.g. Maven 配置:
<dependency><groupId>com.alibaba</groupId><artifactId>druid</artifactId><version>1.0.27</version></dependency>
看完上述内容,你们对数据库连接配置的策略和实践是怎样的有进一步的了解吗?如果还想了解更多知识或者相关内容,请关注亿速云行业资讯频道,感谢大家的支持。
声明:本站所有文章资源内容,如无特殊说明或标注,均为采集网络资源。如若本站内容侵犯了原著者的合法权益,可联系本站删除。