Apache Twill 入门

Posted on | Edited on | In | Views:

Apache Twill 介绍

Apache Twill 抽象了 Apache Hadoop® Yarn 开发的编程接口，减少了开发分布式应用程序的复杂性，让开发者将更多的注意力放在他们的应用程序的业务逻辑上。
Apache Twill 允许您通过Yarn的分布式编程模型运行类似于的单机的线程开发。

Apache Twill 开发

  • 创建Maven工程并添加依赖

    主要是Hadoop和Twill相关依赖

  • 添加Hadoop配置文件

    core-default.xml、hdfs-default.xml、yarn-default.xml

  • 编写业务程序

    继承AbstractTwillRunnable，实现run方法，写业务逻辑

  • 编写运行程序

    初始化配置信息，主要是Zookeeper信息和资源配置信息，通过TwillRunnerService方式运行程序

  • 运行测试代码

    需配置HADOOP_HOME或hadoop.home.dir

相关链接：Apache Twill、
Apache Twill Getting Started、
Apache Twill—YARN上应用程序开发包