SpringBatch的使用方法

2025-02-13 技术教程

SpringBatch是什么？一般大家对SpringBatch了解可能停留在概念的层面上，而对于SpringBatch的应用场景和使用方法了解相对较少。今天就跟大家聊聊SpringBatch的应用。

1、概念

Spring Batch 是一款轻量级地适合企业级应用的批处理框架，值得注意的是，不同于其他调度框架，Spring Batch不提供调度功能。

2、批处理过程

批处理可以分为以下几个步骤：

读取数据按照业务处理数据归档数据的过程3、Spring Batch给我们提供了什么？统一的读写接口丰富的任务处理方式灵活的事务管理及并发处理日志、监控、任务重启与跳过等特性4、基础组件名称用途JobRepository用于注册和存储Job的容器JobLauncher用于启动JobJob实际要执行的作业，包含一个或多个stepstep步骤，批处理的步骤一般包含ItemReader, ItemProcessor, ItemWriterItemReader从给定的数据源读取itemItemProcessor在item写入数据源之前进行数据整理ItemWriter把Chunk中包含的item写入数据源。Chunk数据块，给定数量的item集合，让item进行多次读和处理，当满足一定数量的时候再一次写入。TaskLet子任务表， step的一个事务过程，包含重复执行，同步/异步规则等。5、job, step, tasklet 和 chunk 关系

一个job对应至少一个step，一个step对应0或者1个TaskLet，一个taskLet对应0或者1个Chunk

6、实战：批处理excel插入数据库

6.1：定义数据仓库

   <batch:job-repository id="jobRepository" data-source="dataRepDruidDataSource" isolation-level-for-create="SERIALIZABLE" transaction-manager="transactionManager" table-prefix="BATCH_" max-varchar-length="1000" />6.2：定义启动器

 <bean id="jobLauncher" class="org.springframework.batch.core.launch.support.SimpleJobLauncher"> <property name="jobRepository" ref="jobRepository"/> </bean>6.3：定义JOB

<batch:job id="userBatchJobName" restartable="true"> <batch:step id="userStep"> <batch:tasklet allow-start-if-complete="false" start-limit="1" task-executor="taskExecutor" throttle-limit="5"> <batch:chunk reader="userReader" writer="userWriter" processor="userProcessor" commit-interval="5" retry-limit="10"> <batch:retryable-exception-classes> <batch:include class="org.springframework.dao.DuplicateKeyException"/> <batch:include class="java.sql.BatchUpdateException"/> <batch:include class="java.sql.SQLException"/> </batch:retryable-exception-classes> </batch:chunk> </batch:tasklet> </batch:step> </batch:job> <bean id="taskExecutor" class="org.springframework.scheduling.concurrent.ThreadPoolTaskExecutor">  <property name="corePoolSize" value="100"/>  <property name="keepAliveSeconds" value="30000"/>  <property name="maxPoolSize" value="300"/>  <property name="queueCapacity" value="100"/> </bean>6.4：定义ItemReader

<bean id="userReader" class="org.springframework.batch.item.file.FlatFileItemReader"> <property name="lineMapper" ref="lineMapper"/> <property name="resource" value="classpath:message/batch-data-source.csv"/> </bean>

<bean id="lineMapper" class="org.springframework.batch.item.file.mapping.DefaultLineMapper"> <property name="lineTokenizer"> <bean class="org.springframework.batch.item.file.transform.DelimitedLineTokenizer"> <property name="delimiter" value=","/> <property name="names" value="id,name" /> </bean> </property> <property name="fieldSetMapper"> <bean class="com.hcw.core.batch.UserFieldSetMapper" /> </property> </bean>6.5：定义ItemWriter

<bean id="userWriter" class="com.hcw.core.batch.MyBatchItemWriter" scope="step"> <property name="statementId" value="com.hcw.core.batch.dao.UserToMapper.batchInsert"/> <property name="sqlSessionFactory" ref="sqlSessionFactoryTo"/> </bean>6.6：定义ItemProcessor

<bean id="userProcessor" class="com.hcw.core.batch.UserItemProcessor"/>6.7: 定义jobRepository的数据源

<bean id="dataRepDruidDataSource" class="com.alibaba.druid.pool.DruidDataSource" init-method="init" destroy-method="close"> <property name="url" value="${jdbc.mysql.rep.connection.url}" /> <property name="username" value="${jdbc.mysql.rep.connection.username}" /> <property name="password" value="${jdbc.mysql.rep.connection.password}" /> <property name="filters" value="${jdbc.mysql.rep.connection.filters}" /> <property name="maxActive" value="${jdbc.mysql.rep.connection.maxActive}" /> <property name="initialSize" value="${jdbc.mysql.rep.connection.initialSize}" /> <property name="maxWait" value="${jdbc.mysql.rep.connection.maxWait}" /> <property name="minIdle" value="${jdbc.mysql.rep.connection.minIdle}" /> <property name="timeBetweenEvictionRunsMillis" value="${jdbc.mysql.rep.connection.timeBetweenEvictionRunsMillis}" /> <property name="minEvictableIdleTimeMillis" value="${jdbc.mysql.rep.connection.minEvictableIdleTimeMillis}" /> <property name="validationQuery" value="${jdbc.mysql.rep.connection.validationQuery}" /> <property name="testWhileIdle" value="${jdbc.mysql.rep.connection.testWhileIdle}" /> <property name="testOnBorrow" value="${jdbc.mysql.rep.connection.testOnBorrow}" /> <property name="testOnReturn" value="${jdbc.mysql.rep.connection.testOnReturn}" /> <property name="poolPreparedStatements" value="${jdbc.mysql.rep.connection.poolPreparedStatements}" /> <property name="maxPoolPreparedStatementPerConnectionSize" value="${jdbc.mysql.rep.connection.maxPoolPreparedStatementPerConnectionSize}" /> </bean>6.8: 启动JOB

启动tomcat,打开启动页面

看完上述内容，你们对SpringBatch有进一步的了解吗？如果还想学到更多技能或想了解更多相关内容，欢迎关注亿速云行业资讯频道，感谢各位的阅读！