Skip to content
coderplay edited this page Jul 27, 2012 · 18 revisions

#Plan

ISSUE 描述 人员 工作日
#71 删除/修改与DAG相关的客户端及Master端代码 吉剑南 基本完成
#73 将EventProcessor改成Mapper和Reducer接口 周忱 基本完成
#74 添加LRU Cache类, 为Reducer存临时状态 辰战 完成
#76 Job/Task/Attempt三个级别的web页面显示,用来跟踪作业状态 辰战 8d
#77 Dragon Event文件格式设计与实现 周忱 2d
#79 默认的Event Producer实现 周忱 2d
#80 默认的Event Writer实现 吉剑南 3d
#43 Map端与Reduce端的数据Shuffle实现 周忱, 吉剑南 8d
#81 客户端命令行接口实现 辰战 4d
#54 Slave端log4j配置 吉剑南 0.5d
#82 Child端执行器,调用Mapper/Reducer的接口 周忱, 吉剑南 8d
#44 Check Point实现 周忱, 吉剑南 5d(可选)
联调测试 周忱, 吉剑南,辰战 5d
摘要
  1. Storm: 本周四, 吉剑南在追风堂开设了《Storm编程入门及内部原理介绍》课程
  2. Dragon: HDFS sync基准测试完毕; 客户端杀死Dragon作业的命令行接口类编写完毕; Child端流程基本理顺
产品线 目标 本周进度 下周计划 人员 备注
Storm实时计算框架 支持客户,保证稳定性 本周四, 吉剑南在追风堂开设了《Storm编程入门及内部原理介绍》课程 吉剑南
Dragon实时计算框架 8月27日完成开发Dragon的demo版本,可以跑实时作业
  1. #73 添加了Mapper, Reducer和Partitioner接口以及相关的类实现
  2. 重新设计了EventProducer和EventEmitter
  3. #81 客户端杀死Dragon作业的命令行接口类编写完毕
  4. #82 添加了两种ChildExecutor, 分别能执行map和reduce任务
  5. 修改了客户端的job接口,让用户可以定义Mapper和Reducer的相关配置项
  6. 客户端杀死Dragon作业的命令行接口类编写完毕
  7. #86 完成了Event的序列化接口, 默认使用kryo
  8. 修正了Child向Master更新状态的协议
  9. HDFS sync基准测试完毕, 测试结果显示基本能满足Dragon做checkpoint以及实时数据刷新的性能需要, 以后再做优化
周忱, 辰战, 吉剑南
Clone this wiki locally