Clean HTML Mapper

清理文本示例中的HTML代码。当用户提到清理HTML、去除HTML标签、HTML转文本、提取网页文本等需求时使用此skill。...

npx skills add cas-bigdatalab/piflow --skill clean_html_mapper -g -a claude-code -y

Press to copy:C Claude CodeX CodexU CursorA Ask your agent

What it does

清理文本示例中的HTML代码。当用户提到清理HTML、去除HTML标签、HTML转文本、提取网页文本等需求时使用此skill。即使用户没有明确说出"HTML"，只要任务涉及从HTML代码中提取纯文本，就应该使用此skill。

清理文本中的HTML代码，提取纯文本内容。

本SKILL使用依赖data_juicer，请在调用前安装好python环境并安装data_juicer，你可用同以下指令进行安装：

pip install py-data-juicer

参数	类型	必填	默认值	说明
input_path	string	是	-	输入JSON文件路径
output_path	string	是	-	输出JSON文件路径

python scripts/run_clean_html_mapper.py --input_path <input_path> --output_path <output_path>

参照测试代码 test_clean_html_mapper.py 中的 _run_helper 函数：

# 1. 初始化算子（无参数）
op = CleanHtmlMapper()

# 2. 将数据转为Dataset，使用 op.run(dataset) 处理
dataset = Dataset.from_list(samples)
result_dataset = op.run(dataset)

[
  {"text": "<p>这是段落</p>"},
  {"text": "<li>列表项1</li><li>列表项2</li>"}
]

[
  {"text": "这是段落"},
  {"text": "\n*列表项1\n*列表项2"}
]

输入：

[
  {"text": "<p>这是测试</p>"},
  {"text": "<div><p>Hello World</p></div>"}
]

执行：

python scripts/run_clean_html_mapper.py --input_path example_input.json --output_path output.json

输出：

[
  {"text": "这是测试"},
  {"text": "Hello World"}
]