Spring Batchの紹介
1. 前書き
この記事では、SpringBatchの実用的でコードに焦点を当てたイントロに焦点を当てます。 Spring Batchは、ジョブの堅牢な実行のために設計された処理フレームワークです。
これは、Spring4とJava8をサポートする現在のバージョン3.0です。 また、バッチ処理用の新しいJava仕様であるJSR-352にも対応しています。
Here areは、フレームワークのいくつかの興味深い実用的なユースケースです。
2. ワークフローの基本
Springバッチは、ジョブリポジトリがジョブのスケジューリングと対話を行う従来のバッチアーキテクチャに従います。
ジョブには複数のステップを含めることができます。通常、各ステップはデータの読み取り、処理、書き込みの順序に従います。
そしてもちろん、フレームワークは、ジョブリポジトリにsqliteを使用して、ここでの面倒な作業のほとんどを実行します。特に、ジョブを処理する低レベルの永続化作業に関してはそうです。
2.1. ユースケースの例
ここで取り組む簡単なユースケースは、いくつかの金融取引データをCSVからXMLに移行することです。
入力ファイルの構造は非常に単純です。ユーザー名、ユーザーID、トランザクションの日付、および金額で構成される、行ごとのトランザクションが含まれています。
username, userid, transaction_date, transaction_amount
devendra, 1234, 31/10/2015, 10000
john, 2134, 3/12/2015, 12321
robin, 2134, 2/02/2015, 234113. MavenPOM
このプロジェクトに必要な依存関係は、Spring Core、Spring Batch、およびsqlitejdbcコネクタです。
4.0.0
org.example
spring-batch-intro
0.1-SNAPSHOT
jar
spring-batch-intro
http://maven.apache.org
UTF-8
4.2.0.RELEASE
3.0.5.RELEASE
3.8.11.2
org.xerial
sqlite-jdbc
${sqlite.version}
org.springframework
spring-oxm
${spring.version}
org.springframework
spring-jdbc
${spring.version}
org.springframework.batch
spring-batch-core
${spring.batch.version}
4. Spring BatchConfig
最初に行うことは、XMLを使用してSpringBatchを構成することです。
もちろん、Java構成も利用できます。
@Configuration
@EnableBatchProcessing
public class SpringConfig {
@Value("org/springframework/batch/core/schema-drop-sqlite.sql")
private Resource dropReopsitoryTables;
@Value("org/springframework/batch/core/schema-sqlite.sql")
private Resource dataReopsitorySchema;
@Bean
public DataSource dataSource() {
DriverManagerDataSource dataSource = new DriverManagerDataSource();
dataSource.setDriverClassName("org.sqlite.JDBC");
dataSource.setUrl("jdbc:sqlite:repository.sqlite");
return dataSource;
}
@Bean
public DataSourceInitializer dataSourceInitializer(DataSource dataSource)
throws MalformedURLException {
ResourceDatabasePopulator databasePopulator =
new ResourceDatabasePopulator();
databasePopulator.addScript(dropReopsitoryTables);
databasePopulator.addScript(dataReopsitorySchema);
databasePopulator.setIgnoreFailedDrops(true);
DataSourceInitializer initializer = new DataSourceInitializer();
initializer.setDataSource(dataSource);
initializer.setDatabasePopulator(databasePopulator);
return initializer;
}
private JobRepository getJobRepository() throws Exception {
JobRepositoryFactoryBean factory = new JobRepositoryFactoryBean();
factory.setDataSource(dataSource());
factory.setTransactionManager(getTransactionManager());
factory.afterPropertiesSet();
return (JobRepository) factory.getObject();
}
private PlatformTransactionManager getTransactionManager() {
return new ResourcelessTransactionManager();
}
public JobLauncher getJobLauncher() throws Exception {
SimpleJobLauncher jobLauncher = new SimpleJobLauncher();
jobLauncher.setJobRepository(getJobRepository());
jobLauncher.afterPropertiesSet();
return jobLauncher;
}
}5. Spring Batch JobConfig
次に、CSVからXMLへの作業の職務記述書を書いてみましょう。
org.example.spring_batch_intro.model.Transaction
そしてもちろん、同様のJavaベースのジョブ設定：
public class SpringBatchConfig {
@Autowired
private JobBuilderFactory jobs;
@Autowired
private StepBuilderFactory steps;
@Value("input/record.csv")
private Resource inputCsv;
@Value("file:xml/output.xml")
private Resource outputXml;
@Bean
public ItemReader itemReader()
throws UnexpectedInputException, ParseException {
FlatFileItemReader reader = new FlatFileItemReader();
DelimitedLineTokenizer tokenizer = new DelimitedLineTokenizer();
String[] tokens = { "username", "userid", "transactiondate", "amount" };
tokenizer.setNames(tokens);
reader.setResource(inputCsv);
DefaultLineMapper lineMapper =
new DefaultLineMapper();
lineMapper.setLineTokenizer(tokenizer);
lineMapper.setFieldSetMapper(new RecordFieldSetMapper());
reader.setLineMapper(lineMapper);
return reader;
}
@Bean
public ItemProcessor itemProcessor() {
return new CustomItemProcessor();
}
@Bean
public ItemWriter itemWriter(Marshaller marshaller)
throws MalformedURLException {
StaxEventItemWriter itemWriter =
new StaxEventItemWriter();
itemWriter.setMarshaller(marshaller);
itemWriter.setRootTagName("transactionRecord");
itemWriter.setResource(outputXml);
return itemWriter;
}
@Bean
public Marshaller marshaller() {
Jaxb2Marshaller marshaller = new Jaxb2Marshaller();
marshaller.setClassesToBeBound(new Class[] { Transaction.class });
return marshaller;
}
@Bean
protected Step step1(ItemReader reader,
ItemProcessor processor,
ItemWriter writer) {
return steps.get("step1"). chunk(10)
.reader(reader).processor(processor).writer(writer).build();
}
@Bean(name = "firstBatchJob")
public Job job(@Qualifier("step1") Step step1) {
return jobs.get("firstBatchJob").start(step1).build();
}
} さて、設定全体ができたので、それを分解して議論を始めましょう。
5.1. データの読み取りとItemReaderを使用したオブジェクトの作成
最初に、record.csvからデータを読み取り、それをTransactionオブジェクトに変換するcvsFileItemReaderを構成しました。
@SuppressWarnings("restriction")
@XmlRootElement(name = "transactionRecord")
public class Transaction {
private String username;
private int userId;
private Date transactionDate;
private double amount;
/* getters and setters for the attributes */
@Override
public String toString() {
return "Transaction [username=" + username + ", userId=" + userId
+ ", transactionDate=" + transactionDate + ", amount=" + amount
+ "]";
}
}そのためには、カスタムマッパーを使用します。
public class RecordFieldSetMapper implements FieldSetMapper {
public Transaction mapFieldSet(FieldSet fieldSet) throws BindException {
SimpleDateFormat dateFormat = new SimpleDateFormat("dd/MM/yyyy");
Transaction transaction = new Transaction();
transaction.setUsername(fieldSet.readString("username"));
transaction.setUserId(fieldSet.readInt(1));
transaction.setAmount(fieldSet.readDouble(3));
String dateString = fieldSet.readString(2);
try {
transaction.setTransactionDate(dateFormat.parse(dateString));
} catch (ParseException e) {
e.printStackTrace();
}
return transaction;
}
} 5.2. ItemProcessorでデータを処理する
独自のアイテムプロセッサCustomItemProcessorを作成しました。 これは、トランザクションオブジェクトに関連するものは何も処理しません。実行するのは、リーダーからの元のオブジェクトをライターに渡すことだけです。
public class CustomItemProcessor implements ItemProcessor {
public Transaction process(Transaction item) {
return item;
}
} 5.3. ItemWriterを使用してFSにオブジェクトを書き込む
最後に、このtransactionをxml/output.xmlにあるxmlファイルに保存します。
5.4. バッチジョブの構成
したがって、必要なのは、batch:job構文を使用してドットをジョブに接続することだけです。
commit-intervalに注意してください。これは、バッチをitemWriterにコミットする前にメモリに保持されるトランザクションの数です。その時点まで（または入力データの終わりに到達するまで）、トランザクションをメモリに保持します。
5.5. バッチジョブの実行
以上です。すべてを設定して実行しましょう。
public class App {
public static void main(String[] args) {
// Spring Java config
AnnotationConfigApplicationContext context = new AnnotationConfigApplicationContext();
context.register(SpringConfig.class);
context.register(SpringBatchConfig.class);
context.refresh();
JobLauncher jobLauncher = (JobLauncher) context.getBean("jobLauncher");
Job job = (Job) context.getBean("firstBatchJob");
System.out.println("Starting the batch job");
try {
JobExecution execution = jobLauncher.run(job, new JobParameters());
System.out.println("Job Status : " + execution.getStatus());
System.out.println("Job completed");
} catch (Exception e) {
e.printStackTrace();
System.out.println("Job failed");
}
}
}6. 結論
このチュートリアルでは、how to work with Spring Batchの基本的な考え方と、それを簡単なユースケースで使用する方法について説明します。
バッチ処理パイプラインを簡単に開発する方法と、読み取り、処理、書き込みのさまざまな段階をカスタマイズする方法を示します。
このチュートリアルのfull implementationは、the github projectにあります。これはEclipseベースのプロジェクトであるため、そのままインポートして実行するのは簡単です。