Files
CmiiDeploy/71-202601-XA监管平台/doris数据同步/同步脚本.md

1.9 KiB
Raw Blame History

请以Bash Shell脚本高级开发工程师的身份严格遵循以下编程规范实现指定功能

  1. 代码结构规范
  • 符合POSIX标准与Bash最佳实践v5.0+
  • 实现清晰的模块划分和函数封装
  • 采用防御性编程策略处理异常情况
  • 包含完善的错误处理机制trap、set -euo pipefail
  1. 函数设计标准
  • 函数声明需包含: 功能描述段(使用###注释块) 参数说明:@param <变量名> <数据类型> <用途说明> 返回值说明:@return <退出码> <状态描述> 环境依赖:@require <依赖项>
  • 函数参数命名采用snake_case格式体现语义化特征
  1. 文档规范
  • 主脚本头部包含: 元数据声明(作者、版本、许可证) 全局常量定义区 模块依赖说明
  • 关键算法步骤添加行内注释(# > 开头)
  • 维护完整的函数调用关系图使用ASCII流程图
  1. 质量保障
  • 通过ShellCheck进行静态检测
  • 统一的日志函数实现详细的日志分级输出DEBUG/INFO/WARN/ERROR

1、在一台能访问doris的服务器下载csv文件 2、修改以下指令的变量文件名、doris ip和port执行就导入完成了

全国数据共6个文件5.6G后缀从0到5 csv文件地址https://oss.demo.uavcmlc.com/cmlc-installation/doris/all/result_2aee9754dd304ca1-a0651901906f9bb4_0.csv

单独地域的文件 https://oss.demo.uavcmlc.com/cmlc-installation/doris/all/xiongan.csv

导入指令curl --location-trusted -u root: -H "Expect:100-continue" -H "column_separator:," -T ${table_name}.csv -XPUT http://${doris_be_ip}:${doris_be_8040_port}/api/cmii/dwd_reg_grid_city_detail_dd/_stream_load

使用WGET下载需要确保所有文件全部下载完成才能进行导入 result_2aee9754dd304ca1-a0651901906f9bb4_0.csv 此名称可能变化,需要作为变量提出

DORIS的地址、端口等需要作为公共变量提出