datax安装需要的环境

JDK(1.8以上,推荐1.8)
Python(推荐Python2.7.X)
Apache Maven 3.x (Compile DataX)

这里只讲下python的安装和配置


python

python官网下载

https://www.python.org/downloads/windows/

我这里下载的是2.7,傻瓜式安装(默认C盘,注意修改安装路径)

安装成功后,配置环境变量(3.0版本以上的会自动配置)

在path中新增python的安装路径(例:C:python27

 

测试是否安装成功

cmd ==> 输入python,出现版本号即配置成功



datax安装

 1.datax安装包

下载地址:

http://datax-opensource.oss-cn-hangzhou.aliyuncs.com/datax.tar.gz

下载后解压至本地某个目录,进入bin目录

我本地解压的路径(E:dataxdataxin)


2.测试datax

windows+R ==> 输入cmd,回车进入命令提示符界面

依次输入

e:

cd E:dataxdataxin  (cd后是自己解压datax的bin路径)

自检脚本

python  datax.py  ../job/job.json


 最后出现以下页面即表明安装成功


 

 如果出现乱码

 在自检脚本前运行 CHCP 65001


 再次执行 python  datax.py  ../job/job.json 即不再乱码

 


3.问题修复

在执行 python  datax.py  ../job/job.json 时可能会出现以下报错:

 

2022-04-01 23:22:10.153 [main] WARN  ConfigParser - 插件[streamreader,streamwriter]加载失败,1s后重试... Exception:Code:[Common-00], Describe:[您提供的配置文件存在错误信息,请检查您的作业配置 .] - 配置信息错误,
您提供的配置文件[/opt/datax/plugin/reader/._drdsreader/plugin.json]不存在. 请检查您的配置文件.
2022-04-01 23:22:11.157 [main] ERROR Engine -

经DataX智能分析,该任务最可能的错误原因是:
com.alibaba.datax.common.exception.DataXException: Code:[Common-00], Describe:[您提供的配置文件存在错误信息,请检查您的作业配置 .] - 配置信息错误,您提供的配置文件[/opt/datax/plugin/reader/._drdsreader/plugin.json]不存在. 请检查您的配置文件.
        at com.alibaba.datax.common.exception.DataXException.asDataXException(DataXException.java:26)
        at com.alibaba.datax.common.util.Configuration.from(Configuration.java:95)
        at com.alibaba.datax.core.util.ConfigParser.parseOnePluginConfig(ConfigParser.java:153)
        at com.alibaba.datax.core.util.ConfigParser.parsePluginConfig(ConfigParser.java:125)
        at com.alibaba.datax.core.util.ConfigParser.parse(ConfigParser.java:63)
        at com.alibaba.datax.core.Engine.entry(Engine.java:137)
        at com.alibaba.datax.core.Engine.main(Engine.java:204)

 

解决办法

删除reader文件和writer文件夹下的 ._xxx 文件

 

删除reader目录下的部分文件


 执行下面的命令

del ._hdfsreader
del ._otsstreamreader
del ._otsreader
del ._txtfilereader
del ._ftpreader
del ._streamreader
del ._odpsreader
del ._cassandrareader
del ._hbase11xreader
del ._oraclereader
del ._postgresqlreader
del ._mysqlreader
del ._rdbmsreader
del ._mongodbreader
del ._ossreader
del ._sqlserverreader
del ._hbase094xreader
del ._drdsreader

 

删除writer目录下的部分文件


 执行下面的命令

del ._hbase11xsqlwriter
del ._ocswriter
del ._adswriter
del ._drdswriter
del ._hbase11xwriter
del ._hbase094xwriter
del ._sqlserverwriter
del ._osswriter
del ._mongodbwriter
del ._rdbmswriter
del ._mysqlwriter
del ._postgresqlwriter
del ._oraclewriter
del ._cassandrawriter
del ._odpswriter
del ._streamwriter
del ._ftpwriter
del ._txtfilewriter
del ._otswriter
del ._hdfswriter

 

此时进入bin目录执行自检脚本,可正常启动

python  datax.py  ../job/job.json

想了解更多关于datax在win10中的安装的内容,请扫微信
或微信搜索jiemingpan


版权说明:本文版权由作者自行负责,如有侵权请联系本站删除。