Skip to main content

数据处理

数据处理模块提供强大的数据处理能力，可对数据仓库中的数据进行统一聚合处理，提升数据质量和可用性，满足不同业务场景的数据分析需求。 本模块提供二种数据处理方式：可视化处理、SQL 处理，以满足不同业务场景下的数据处理需求。

功能入口​

访问路径：我的应用 > 数据集成 > 数据处理

数据处理详解​

可视化处理​

通过直观易用的界面配置方式，无需编写复杂的代码，即可完成数据处理流程的定义。
用户可在界面上选择数据来源、处理操作（如数据清洗、转换、过滤、分组聚合等）和输出目标。例如，通过拖放操作选择需要处理的字段，设置过滤条件筛选符合要求的数据，配置聚合函数（如求和、平均值、计数等）对数据进行分组统计。可视化处理方式降低了数据处理的技术门槛，使非技术人员也能轻松完成数据处理任务。

节点功能说明​

节点名称功能说明
横向连接将两个或多个数据表按照指定的关联字段进行横向合并（类似SQL的JOIN操作）。
追加合并将多个数据结构相同的数据表纵向堆叠合并（类似SQL的UNION ALL操作）。
分组汇总按照指定字段分组，并对其他字段进行聚合计算（如求和、平均值等统计操作）。
数据筛选根据条件过滤数据行（类似SQL的WHERE子句），只保留满足条件的记录。
字段设置对字段进行重命名、删除、保留或类型转换等操作，调整输出字段的结构。
行转列将行数据转换为列数据（类似SQL的PIVOT操作），用于数据透视或行列转换场景。
去重根据指定字段或全部字段去除重复数据行（类似SQL的DISTINCT或GROUP BY去重操作）。

SQL 处理​

为具备 SQL 编程能力的用户提供灵活的数据处理方式。用户可直接编写 SQL 语句，对数据仓库中的数据进行复杂的查询、转换和计算操作。支持标准 SQL 语法和扩展的函数库，满足高级数据处理需求。
例如，通过编写 JOIN 语句实现多表关联查询，使用子查询和窗口函数进行复杂的数据计算和分析。SQL 处理方式适用于处理逻辑复杂、个性化需求高的数据处理任务。

SQL语法示例​

SQL 语句示例功能说明
简单查询
SELECT * FROM employees; 查询 employees 表中的所有字段和所有记录
SELECT name, salary FROM employees WHERE department = ' 技术部 '; 从 employees 表中查询部门为 “技术部” 的员工的姓名和薪资
SELECT department, AVG(salary) AS avg_salary FROM employees GROUP BY department; 按部门分组，计算每个部门的平均薪资，并将结果字段命名为 avg_salary
关联查询
SELECT e.name, d.department_name FROM employees e INNER JOIN departments d ON e.department_id = d.id; 内连接 employees 表和 departments 表，查询员工姓名及其所属部门名称（只显示两表中 department_id 匹配的记录）
SELECT e.name, o.order_number FROM employees e LEFT JOIN orders o ON e.id = o.employee_id; 左连接 employees 表和 orders 表，查询所有员工的姓名及其对应的订单编号（即使员工没有订单也会显示该员工信息，订单编号为 NULL）
子查询
SELECT name FROM employees WHERE salary > (SELECT AVG(salary) FROM employees); 查询薪资高于公司平均薪资的员工姓名，子查询用于计算平均薪资
SELECT * FROM orders WHERE employee_id IN (SELECT id FROM employees WHERE department = ' 销售部 '); 查询由销售部员工处理的所有订单，子查询用于获取销售部员工的 ID 列表
合并查询
SELECT name, ' 员工 ' AS type FROM employees UNION SELECT name, ' 客户 ' AS type FROM customers; 合并 employees 表中的员工姓名和 customers 表中的客户姓名，并添加 type 字段区分类型（UNION 会去除重复记录）
SELECT name FROM employees WHERE department = ' 技术部 ' UNION ALL SELECT name FROM temporary_staff WHERE department = ' 技术部 '; 合并技术部正式员工和临时员工的姓名（UNION ALL 会保留重复记录）

👇文档问题反馈​