Releases · edp963/wormhole

15 Aug 09:59

Liuwenli11

0.5.1-beta

e685dff

wormhole-0.5.1-beta release 更新

wormhole-0.5.1-beta release更新, 欢迎下载试用~~

链接:https://pan.baidu.com/s/1rRAXOvGLG8KyKjqGCkRGwA 密码:gcqs

wormhole用户手册https://edp963.github.io/wormhole

注意：升级至0.5.1-beta版本，须将Kafka版本由0.10.0.0升级至0.10.2.2，0.10.2.2以上版本须自行测试

具体步骤及使用步骤请参考用户手册

新功能:

（1）flinkx支持多种sink，包括cassandra/oracle/mysql/vertica/es/hbase/kafka/kudu/mongodb/phoenix
（2）flinkx支持用户自定义数据格式ums_extension
（3）flinx cep支持设置event time（使用ums_ts_时间，原只支持processing time）
（4）解决flink sql的where条件不生效问题
（5）一些小问题调整等

Assets 2

01 Aug 04:17

swallowjy

0.5.0-beta

cfe7f0c

wormhole-0.5.0-beta release

wormhole-0.5.0-beta release更新, 欢迎下载试用~~

链接:https://pan.baidu.com/s/1VmkhSCQ77ga-6GmVquUXoQ 密码:j4hz

wormhole用户手册https://edp963.github.io/wormhole

注意：升级至0.5.0-beta版本，须将Kafka版本由0.10.0.0升级至0.10.2.2，0.10.2.2以上版本须自行测试

wormhole 0.4.2升级至0.5.0-beta需手动执行以下步骤

stream表中增加function_type字段，原stream_type值赋值给function_type，stream_type值改为"spark"

alter table stream add column function_type VARCHAR(100) NOT NULL after stream_type;

update stream a join stream b on a.id = b.id set a.function_type = b.stream_type;

update stream set stream_type = "spark";

具体部署及使用步骤请参考用户手册

新功能:

stream新增flink引擎
flink flow支持lookup sql/flink sql/cep配置
spark stream支持配置用户自定义topic，可直接对接DBus独立拉全量功能

Assets 2

12 Jun 10:31

swallowjy

0.4.2

4ade6c0

wormhole-0.4.2 release更新

wormhole-0.4.2 release更新, 欢迎下载试用~~

链接:https://pan.baidu.com/s/1nYATEEtH05cbx-fwd3Zb-Q 密码:em8w

wormhole用户手册https://edp963.github.io/wormhole

注意wormhole 0.4.1升级至0.4.2需手动执行以下两步

删除原Elasticsearch wormhole_feedback index

curl -XDELETE 'localhost:9200/wormhole_feedback'
修改数据库中原wormhole job字段名及值

alter table job change column source_type job_type VARCHAR(30);

update job set job_type = "1";

新功能:

Flow支持lookup kudu, sink kudu
Flow sink Mongodb时, 支持嵌套类型数据自动写入
flow sink cassandra支持设置联合主键
Job支持ums类型数据backfill至源sourceNamespace topic
Flow支持批量生效功能
支持LDAP接入

优化:

兼容ums类型无key消息
Stream默认spark参数中增加spark.streaming.kafka.consumer.cache.enabled=false, 解决消费Kafka速度不稳定问题
get all Streams/Flows接口优化
Stream启动失败检测优化
deploy/start脚本添加部署和启动检查项
wormhole消费feedback topic优化
wormhole取消定时删除mysql中feedback offset/error/heartbeat历史数据
......

Bug修复：

ums_extension source schema多层嵌套rename无效修复
grafana/es数据展示时区问题修复
flow lookup/sink cassandra问题修复
routing类型stream问题修复
自定义 transformtion class支持Scala/Java语言实现
sparkx pom去除hortonworks依赖
UI自适应问题修复
Flow页面复制时sink_config不存在问题修复
Flow列表按照StreamId过滤后，点击修改按钮无法正常显示问题修复
Database mongodb页面必填user/password问题修复
routing类型stream添加process feedback
......

Assets 3

15 Dec 10:48

swallowjy

0.4.0

7fcabf0

wormhole-0.4.0 release

wormhole-0.4.0 release更新，欢迎下载试用~~

链接:https://pan.baidu.com/s/1pKAqp31 密码:4azr

新功能：
支持用户自定义JSON数据格式，可以在Namespace页面粘贴JSON数据样例，wormhole会推断每个字段的类型，用户可在此基础上调整类型，支持嵌套类型，可无缝对接filebeat/logstash输出的数据；
Flow Lookup支持KV类型，如redis/hbase；
支持Job管理，Stream/Flow/Job结合使用可支持Lambda/Kappa架构；
支持UDF管理；
支持Stream注册和注销UDF；

优化：
Flow 选择某些字段输出的逻辑优化；
Stream与Topic注册及注销逻辑优化；
Flow sink 配置项修改；
Flow sink至mongoDB/es优化；
定时删除feedback历史数据逻辑优化;
wormhole消费Kafka feedback topic 参数调整。

bug修复：
Stream/Flow状态转换；
Flow注册Stream时发送的指令bug修复；
Flow SQL语句中有双引号或换行符导致的页面回显问题；
Stream动态调整offset bug修复；
wormhole后台服务消费反馈的kafka数据bug修复；
grafana dashboard模板修复；
wormhole后台服务启动时初始化建表bug修复。

Assets 3