王尘宇王尘宇

研究百度干SEO做推广变成一个被互联网搞的人

datax、datax_web环境搭建

datax、datax_web环境搭建

运行成功后如下图:

datax、datax_web环境搭建

    注意:python2环境python3环境运行适配的脚本版本有所不同,可在官网下载。  官网python3脚本下载路径 datax-web/doc/datax-web/datax-python3 at master · WeiYe-Jing/datax-web · GitHub

 2 datax_web项目

 2.1 修改配置 

    D:\IdeaProjects\datax-web\datax-admin\src\main\resources\application.yml

    修改数据源配置

    修改邮箱配置(可选)

    修改打印日志配置

datax、datax_web环境搭建

datax、datax_web环境搭建

    D:\IdeaProjects\datax-web\datax-executor\src\main\resources\application.yml

    修改端口、日志路径等相关配置

datax、datax_web环境搭建

    D:\IdeaProjects\datax-web\datax-admin\src\main\resources\bootstrap.properties

datax、datax_web环境搭建

2.2 需要启动两个Application

    DataXAdminApplication    DataXExecutorApplication

2.3 打开网址

    打开 http://10.1.28.108:8080/index.html  即可访。    

    成功运行如图:

datax、datax_web环境搭建

四 任务从开始到运行

1 项目管理中创建项目

datax、datax_web环境搭建

2 执行器管理中新建执行器(建议采用手动录入的方式)

datax、datax_web环境搭建

3 数据源管理中新建数据源

datax、datax_web环境搭建

4 任务管理中Datax任务模板创建

datax、datax_web环境搭建

5 任务构建

datax、datax_web环境搭建

datax、datax_web环境搭建

datax、datax_web环境搭建

datax、datax_web环境搭建

构建成功后会自动在任务管理中添加一个任务。 这时候可以打开进行编辑,内容如下

datax、datax_web环境搭建

没啥问题就点击操作按钮

datax、datax_web环境搭建

点击执行一次,之后点击查询日志即可看job的运行情况。

datax、datax_web环境搭建

注意:如果重复执行会报存在脏数据,主键唯一。执行到一半停止再次执行的情况,正在测试。

6 任务批量构建

datax、datax_web环境搭建

datax、datax_web环境搭建

datax、datax_web环境搭建

点击下一步就会批量创建完成。之后也可在任务管理中进行job的调整等。

五 datax性能优化和job中的参数说明

datax、datax_web环境搭建

                                                                                                            全剧终。

                                                                                                                                                                                                                   谢谢观看。

    未完待续

datax的性能优化

https://www.infoq.cn/article/rlQy_c79DH3B7HXFcrbF

相关文章

评论列表

发表评论:
验证码

◎欢迎参与讨论,请在这里发表您的看法、交流您的观点。