piflow

Πflow is a big data flow engine with spark support

npx skills add cas-bigdatalab/piflow -g -y

40 skills

Bdbe Homo

根据多维度筛选条件检索单细胞测序相关的预训练数据集，支持分页查询，返回符合条件的数据集详情，并格式化展示查询结果。

cas-bigdatalab/piflow541

Bdbe Scnorm

用于单细胞测序数据预处理的专用技能，对单细胞表达矩阵进行标准化处理，以消除技术偏差，为聚类、差异表达分析提供可靠的数据基础。

cas-bigdatalab/piflow541

Bdbe Sexdetermine

本skill是用于单细胞样本性别判定的专用技能，首先需要用户上传需要处理的单细胞样本数据，再判定未标注性别的样本，或纠正标注错误的性别信息，生成最后的修正文件。

cas-bigdatalab/piflow541

Chinese Convert Mapper

在繁体中文、简体中文和日语汉字之间转换中文。当用户提到中文繁简转换、中文转换、简体转繁体、繁体转简体、中日文转换等需求时使用此skill。...

cas-bigdatalab/piflow541

Clean HTML Mapper

清理文本示例中的HTML代码。当用户提到清理HTML、去除HTML标签、HTML转文本、提取网页文本等需求时使用此skill。...

cas-bigdatalab/piflow541

Clean Ip Mapper

清除文本示例中的IPv4和IPv6地址。当用户提到清理IP、删除IP地址、去除IP、清理网络地址等需求时使用此skill。...

cas-bigdatalab/piflow541

Cross Field Comparison Check

跨字段比较校验工具。读取结构化数据文件（CSV、TSV、Excel等），检查两个字段之间的逻辑约束关系是否满足（如 start < end、min ≤ max、price...

cas-bigdatalab/piflow541

Data Splitter

JSONL比例切分工具。读取JSONL数据集，按给定比例拆成多个子集，支持随机切分和按字段分层切分。...

cas-bigdatalab/piflow541

DOCX Pack

将解压的XML目录重新打包为DOCX文件

cas-bigdatalab/piflow541

Duplicate Detector Exact

精确去重工具。使用pandas精确匹配检测并处理数据集中的完全重复记录，速度快、无额外依赖。当用户提到精确去重、完全重复检测、数据去重等需求时使用此skill。

cas-bigdatalab/piflow541

Gaussian Executor

使用 Gaussian 软件执行量子化学计算，包括 DFT 结构优化、频率分析和单点能计算。生成 .log 和 .chk 文件，并将所有输出打包为 zip 压缩包。

cas-bigdatalab/piflow541

Gully Slop Operator

沟道坡度特征计算算子。用户提到沟道坡度、DEM地形坡度预处理、沟道地形分析时优先调用。

cas-bigdatalab/piflow541

Image Face Ratio Filter

图像人脸面积比例过滤器。过滤以保持面面积比在特定范围内的样本。...

cas-bigdatalab/piflow541

Image Size Filter

图像文件大小过滤器。保留图像大小 (以字节/KB/MB/...

cas-bigdatalab/piflow541

Image Text Similarity Filter

图像文本相似度过滤器。过滤器将图像和文本之间的相似性保持在特定范围内。...

cas-bigdatalab/piflow541

Ingest Archive Zip Extractor

ZIP 压缩包解压工具。递归扫描目录内 .zip 文件及分卷（.z01/.z02 等），合并分卷后解压并输出解压清单。当用户需要批量解压 zip 或分卷 zip 时使用此...

cas-bigdatalab/piflow541

Keyword Extractor

关键词提取标注工具。读取包含文本字段的表格或JSONL语料，为每条记录提取核心关键词并写入新增关键词字段。...

cas-bigdatalab/piflow541

Local Formatter

本地格式化器。类用于从本地文件或本地目录加载数据集。...

cas-bigdatalab/piflow541

Missing Value Remover

缺失值删除工具。读取结构化表格或 JSONL 数据，删除包含缺失值的行或删除缺失比例过高的列；不负责缺失值填充。...

cas-bigdatalab/piflow541

Mojibake Repairer

乱码修复工具。自动检测并修复因编码错误解释导致的乱码文本（Mojibake），支持 GBK/UTF-8、Latin-1/UTF-8、 Big5、Shift_JIS 等 11...

cas-bigdatalab/piflow541

Multiwfn Skill

使用 Multiwfn 波函数分析程序读取 Gaussian 生成的 .fchk 文件，提取 HOMO/LUMO、原子电荷、分子表面分析等信息。

cas-bigdatalab/piflow541

Naive Reverse Grouper

将批处理的样本拆分为独立样本。当用户提到样本拆分、拆分批次、批处理展开、反向分组等需求时使用此skill。...

cas-bigdatalab/piflow541

Numeric Distribution Check

字段分布校验工具。读取结构化数据文件（CSV、TSV、Excel等），按模式检查数值字段统计特征或分类字段频率分布是否合理。...

cas-bigdatalab/piflow541

Overlap Dam Select Operator

淤地坝候选叠加筛选算子。用户提到淤地坝识别、坝体候选筛选、叠加过滤时优先调用。

cas-bigdatalab/piflow541

Parquet Formatter

Parquet格式化器。用于加载和格式化parquet类型的文件。...

cas-bigdatalab/piflow541

PDF Split

将PDF按指定页码范围拆分为独立的PDF文件。当用户需要拆分PDF文档时使用此skill。

cas-bigdatalab/piflow541

PDF Table Extract

从PDF文件中提取表格数据，输出为JSON格式。当用户需要从PDF中提取表格时使用此skill。

cas-bigdatalab/piflow541

PDF Text Extract

从PDF文件中提取文本内容，保存为txt文件。当用户需要从PDF中提取文字时使用此skill。

cas-bigdatalab/piflow541

Perplexity Filter

困惑度过滤器。过滤以保留困惑度分数小于特定最大值的样本。...

cas-bigdatalab/piflow541

Piflow Skill Generator

PiFlow 技能生成器。当用户完成了一次完整并成功的数据处理任务时调用，根据当前 skills/generated 的本地约定和...

cas-bigdatalab/piflow541

Pipeline Add

将用户输入的整数加10并返回结果。当用户提到「流水线」关键词时并提供数字时使用，并且此方法是「流水线」系列技能之一，能与其他技能之间传递结果。

cas-bigdatalab/piflow541

Pipeline Minus

将用户输入的整数减去5并返回结果。当用户提到「流水线」关键词时并提供数字时使用，并且此方法是「流水线」系列技能之一，能与其他技能之间传递结果。

cas-bigdatalab/piflow541

Pipeline Multiply

将用户输入的数字乘以10并返回结果。当用户提到「流水线」关键词时并提供数字时使用，并且此方法是「流水线」系列技能之一，能与其他技能之间传递结果。

cas-bigdatalab/piflow541

QC10 TimeConsistency

时间一致性检查工具。读取被检验表，按时间序列检查数据的时间一致性，判断相邻时间点的数据变化是否在合理范围内，识别并标记异常数据，最后输出为相同格式的文件。...

cas-bigdatalab/piflow541

QC11 FieldNullValueCheck

字段空值检查工具。读取被检验表，检查指定字段是否存在空值（NULL/NA），识别并标记存在空值的数据点，最后输出为相同格式的文件。...

cas-bigdatalab/piflow541

QC14 TimePeakValue

尖峰检验（连续剧烈变化检测）工具。读取时间序列数据，识别在连续N次的相邻读数之间的差值（变化量）的绝对值都高于预设阈值的异常数据，最后输出为相同格式的文件。...

cas-bigdatalab/piflow541

QC15 TimeChangeRange

最大变化范围检验工具。读取时间序列数据，检查在特定时间窗口内，数据是否出现了异常剧烈波动，...

cas-bigdatalab/piflow541

QC16 TimeMissing

数据时序完整性检查工具。读取时间序列数据，设定数据记录频率（如每2分钟、30分钟或60分钟），...

cas-bigdatalab/piflow541

QC2 EnumerationFieldCheck

公共基础项枚举校验工具。读取被检验表和标准词典文件，将被检验表中的属性项值与标准词典进行比对，...

cas-bigdatalab/piflow541

QC4 AssociationRuleCheck

数值关联规则校验工具。读取被检验表，根据用户自定义的条件表达式（类似Hive SQL规则）进行数据校验，...

cas-bigdatalab/piflow541