Content Parser

Documents

content_parser

Content Parser is an Agent Skill for documents published in the cas-bigdatalab/piflow repository on GitHub: a SKILL.md instruction file an AI agent can load to do this task.

内容解析预处理工具。读取采集后的 JSONL、JSON 或 TXT 文本记录，执行轻量内容解析，输出带标题、段落结构和内容类型的统一解析记录文件。当用户提到接入内容解析、采集后预处理、提取标题和段落、识别 plain/markdown/html 内容结构等需求时使用此 skill。即使用户没有明确说出"内容解析"，只要任务涉及把已采集文本内容解析成统一结构，就应该使用此 skill。不负责文件采集、表格抽取、内容清洗、质量校验、过滤筛选或格式转换。

View on GitHub ↗

QUICK START

How to use this skill

Bring this guide into your coding agent with a prompt tailored to the tool you use.

Open your project in Codex.
Copy and paste the prompt below.
Review files and risks before approving any action.

Prompt to paste

Inspect the Agent Skill at https://github.com/cas-bigdatalab/piflow/blob/HEAD/workspace/skills/content_parser/SKILL.md and all supporting files. Report provenance, permissions, scripts, dependencies, and security risks. Propose an exact installation into .agents/skills/content-parser, but wait for my approval before writing files or running scripts.

Copying this prompt does not install or run the skill. Review third-party files before use.

Content Parser 内容解析预处理 Skill

功能概述

本 skill 用于读取采集后的文本记录，对 text 字段做轻量内容解析，识别 plain、markdown、html 内容类型，并输出标题、段落结构、字符数、词数等解析结果。

触发条件

当用户请求以下任务时，应使用此 skill：

接入内容解析
采集后预处理
提取文本标题和段落结构
识别 plain、markdown、html 内容类型
将已采集文本内容转为统一解析记录

不适用于文件采集、表格抽取、内容清洗、质量校验、过滤筛选或格式转换；这些任务需要使用对应的采集、清洗、校验、过滤或转换 skill。

核心参数说明

必需参数

参数	说明
`--input`	输入文件路径，支持 jsonl/json/txt
`--output`	输出文件路径

可选参数

参数	说明	默认值
`--parse_mode`	解析模式，支持 `auto`、`plain`、`markdown`、`html`	`auto`
`--extract_title`	是否提取标题	`True`
`--extract_paragraphs`	是否提取段落列表	`True`
`--output_format`	输出格式，支持 `jsonl`、`json`、`auto`	`jsonl`

输入文件格式

输入可以是 JSONL、JSON 或 TXT 文件。JSONL/JSON 中每条记录应包含 text 字段；TXT 文件会整体作为一条文本记录处理。

{"text": "# Research Note\n\nFirst paragraph..."}
{"text": "<html><title>Report</title><p>HTML paragraph.</p></html>"}

使用方法

自动识别内容类型并输出 JSONL

python scripts/run_content_parser.py \
  --input ./content_records.jsonl \
  --output ./content_parser_output.jsonl \
  --parse_mode auto \
  --extract_title true \
  --extract_paragraphs true \
  --output_format jsonl

按纯文本模式解析 TXT 文件

python scripts/run_content_parser.py \
  --input ./note.txt \
  --output ./content_parser_output.json \
  --parse_mode plain \
  --output_format json

处理示例

输入内容	参数效果	预期结果
Markdown 标题和段落	`--parse_mode auto`	`content_type=markdown`，提取标题和段落
HTML title 和 p 标签	`--parse_mode auto`	`content_type=html`，提取标题和段落
普通文本	`--parse_mode auto`	`content_type=plain`，首个非空行作为标题
空 `text` 字段	任意模式	输出 `_parsed.error`，不崩溃

输出示例

{"_parsed": {"raw_text": "# Research Note...", "content_type": "markdown", "title": "Research Note", "paragraphs": ["Research Note", "First paragraph..."], "paragraph_count": 2, "char_count": 42, "word_count": 5, "parsed_at": "2026-06-12 14:00:00"}, "text": "# Research Note..."}

环境要求

使用仓库内 Python 环境运行；Windows bash 下建议加 PYTHONIOENCODING=utf-8 避免中文控制台编码问题。HTML 解析优先使用 beautifulsoup4，缺少依赖时脚本会退回正则清理。

注意事项

parse_mode=auto 会根据内容特征识别 plain、markdown 或 html。
输入 JSONL/JSON 记录中缺少 text 或 text 为空时，输出 _parsed.error。
本 skill 只做轻量解析，不做清洗、过滤或质量判定。