最新公告
  • 欢迎您光临陌佑网,提供代搭建与我们一样的资源站,近期增加新内容,改良内容,敬请期待。立即加入我们
  • 同步任务可以支持ODPS的数据列、分区列、常量列,但_不支持函数列_ 

    • ODPS分区配置支持linux shell通配符,* 表示0个或多个字符,? 代表任意一个字符
    • 默认情况下,读取的分区需要存在,如果分区不存在任务会报错。 如果您希望分区不存在时任务仍然成功,您可以转换为脚本模式,在odps的parameter端下面配置successOnNoPartition参数,即 \\\”successOnNoPartition\\\”: true

    例如:分区表 test存在 pt=1,ds=hangzhou pt=1,ds=shanghai pt=2,ds=hangzhou pt=2,ds=beijing 四个分区,如果你想读取 pt=1,ds=shanghai 这个分区的数据,分区信息中配置: pt=1,ds=shanghai;

    如果你想读取 pt=1下的所有分区,分区信息中配置 :pt=1,ds=;如果你想读取整个 test 表的所有分区的数据,分区信息中配置 :pt=,ds=*

    • 如果需要指定最大分区,可以配置如下信息:

    /query/ ds=(select MAX(ds) from DataXODPSReaderPPR)

    • 如果需要按条件过滤,可以配置如下信息:

    /query/ pt>=20170101 and pt<20170110,表示pt分区大于等于20170101且小于20170110的所有数据

    ODPS写插件指定分区技巧

    • 需要写入数据表的分区信息,必须指定到最后一级分区。把数据写入一个三级分区表,必须配置到最后一级分区

    例如:pt=20150101/type=1/biz=2

    • 不支持写入多个分区

    DataWorks百问百答历史记录 请点击这里查看>>

    更多DataWorks技术和产品信息,欢迎加入【DataWorks钉钉交流群】


    陌佑网 » DataWorks百问百答33:数据同步怎么配置ODPS分区?

    常见问题FAQ

    免费下载或者VIP会员专享资源能否直接商用?
    本站所有资源版权均属于原作者所有,这里所提供资源均只能用于参考学习用,请勿直接商用。若由于商用引起版权纠纷,一切责任均由使用者承担。更多说明请参考 VIP介绍。
    提示下载完但解压或打开不了?
    最常见的情况是下载不完整: 可对比下载完压缩包的与网盘上的容量,若小于网盘提示的容量则是这个原因。这是浏览器下载的bug,建议用百度网盘软件或迅雷下载。若排除这种情况,可在对应资源底部留言,或 联络我们.。
    找不到素材资源介绍文章里的示例图片?
    对于PPT,KEY,Mockups,APP,网页模版等类型的素材,文章内用于介绍的图片通常并不包含在对应可供下载素材包内。这些相关商业图片需另外购买,且本站不负责(也没有办法)找到出处。 同样地一些字体文件也是这种情况,但部分素材会在素材包内有一份字体下载链接清单。
    • 647会员总数(位)
    • 58968资源总数(个)
    • 456本周发布(个)
    • 1 今日发布(个)
    • 205稳定运行(天)

    提供最优质的资源集合

    立即查看 了解详情