完成 72绵阳项目 71雄安集团监管平台 大量优化更新

71-202601-XA监管平台/doris数据同步/同步脚本.md

@@ -0,0 +1,37 @@
+请以Bash Shell脚本高级开发工程师的身份，严格遵循以下编程规范实现指定功能：
+
+1. 代码结构规范
+- 符合POSIX标准与Bash最佳实践（v5.0+）
+- 实现清晰的模块划分和函数封装
+- 采用防御性编程策略处理异常情况
+- 包含完善的错误处理机制（trap、set -euo pipefail）
+2. 函数设计标准
+- 函数声明需包含： 功能描述段（使用###注释块） 参数说明：@param <变量名> <数据类型> <用途说明> 返回值说明：@return <退出码> <状态描述> 环境依赖：@require <依赖项>
+- 函数参数命名采用snake_case格式，体现语义化特征
+3. 文档规范
+- 主脚本头部包含： 元数据声明（作者、版本、许可证） 全局常量定义区 模块依赖说明
+- 关键算法步骤添加行内注释（# > 开头）
+- 维护完整的函数调用关系图（使用ASCII流程图）
+4. 质量保障
+- 通过ShellCheck进行静态检测
+- 统一的日志函数，实现详细的日志分级输出（DEBUG/INFO/WARN/ERROR）
+
+
+
+
+1、在一台能访问doris的服务器下载csv文件
+2、修改以下指令的变量文件名、doris ip和port，执行就导入完成了
+
+全国数据共6个文件，5.6G，后缀从0到5
+csv文件地址：https://oss.demo.uavcmlc.com/cmlc-installation/doris/all/result_2aee9754dd304ca1-a0651901906f9bb4_0.csv
+
+单独地域的文件 https://oss.demo.uavcmlc.com/cmlc-installation/doris/all/xiongan.csv
+
+
+导入指令：curl --location-trusted -u root: -H "Expect:100-continue" -H "column_separator:," -T ${table_name}.csv -XPUT http://${doris_be_ip}:${doris_be_8040_port}/api/cmii/dwd_reg_grid_city_detail_dd/_stream_load
+
+使用WGET下载，需要确保所有文件全部下载完成才能进行导入
+result_2aee9754dd304ca1-a0651901906f9bb4_0.csv 此名称可能变化，需要作为变量提出
+
+DORIS的地址、端口等需要作为公共变量提出
+