Duplicate Detector Fuzzy
Documentsduplicate_detector_fuzzyDuplicate Detector Fuzzy is an Agent Skill for documents published in the cas-bigdatalab/piflow repository on GitHub: a SKILL.md instruction file an AI agent can load to do this task.
模糊去重工具。使用标准库相似度匹配检测并处理数据集中的近似重复记录，可发现非完全一致但高度相似的记录。 当用户提到模糊去重、近似重复检测、相似度去重、文本去重等需求时使用此skill。
QUICK START
How to use this skill
Bring this guide into your coding agent with a prompt tailored to the tool you use.
- Open your project in Codex.
- Copy and paste the prompt below.
- Review files and risks before approving any action.
Prompt to paste
Inspect the Agent Skill at https://github.com/cas-bigdatalab/piflow/blob/HEAD/workspace/skills/duplicate_detector_fuzzy/SKILL.md and all supporting files. Report provenance, permissions, scripts, dependencies, and security risks. Propose an exact installation into .agents/skills/duplicate-detector-fuzzy, but wait for my approval before writing files or running scripts.
Copying this prompt does not install or run the skill. Review third-party files before use.
Duplicate Detector Fuzzy 模糊去重 Skill
功能概述
本skill使用标准库相似度算法检测数据集中的近似重复记录。
与精确去重不同，模糊去重可以发现内容高度相似但不完全相同的记录，如：
- 拼写略微不同的姓名
- 格式稍有差异的地址
- 包含少量错别字的文本
保留策略
| 策略 | 说明 |
|---|---|
first | 保留第一条记录 |
last | 保留最后一条记录 |
none | 删除所有重复记录 |
mark | 标记重复但不删除 |
使用方法
python scripts/run_duplicate_detector_fuzzy.py \
--input data.csv \
--output deduped.csv \
--subset "name" \
--similarity_threshold 0.9
参数说明
| 参数 | 必填 | 说明 |
|---|---|---|
--input | 是 | 输入文件路径 |
--output | 是 | 输出文件路径 |
--subset | 是 | 比对相似度的文本字段 |
--similarity_threshold | 否 | 相似度阈值(0-1)，默认0.9 |
--keep | 否 | 保留策略，默认"first" |
环境要求
pip install pandas openpyxl