Spelling Variant Normalizer

Documents

spelling_variant_normalizer

Spelling Variant Normalizer is an Agent Skill for documents published in the cas-bigdatalab/piflow repository on GitHub: a SKILL.md instruction file an AI agent can load to do this task.

拼写变体标准化工具。统一英美拼写差异（colour→color、analyse→analyze 等），内置 153 词条（含屈折形式 covered/covering 等），支持自定义词典扩展。当用户提到英美拼写统一、拼写变体、 British/American spelling 等需求时使用此skill。

View on GitHub ↗

QUICK START

How to use this skill

Bring this guide into your coding agent with a prompt tailored to the tool you use.

Open your project in Codex.
Copy and paste the prompt below.
Review files and risks before approving any action.

Prompt to paste

Inspect the Agent Skill at https://github.com/cas-bigdatalab/piflow/blob/HEAD/workspace/skills/spelling_variant_normalizer/SKILL.md and all supporting files. Report provenance, permissions, scripts, dependencies, and security risks. Propose an exact installation into .agents/skills/spelling-variant-normalizer, but wait for my approval before writing files or running scripts.

Copying this prompt does not install or run the skill. Review third-party files before use.

spelling_variant_normalizer 拼写变体标准化Skill

功能概述

统一英美拼写差异，内置 153 词条覆盖 8 大类：(1) -our→-or；(2) -re→-er；(3) -ise→-ize；(4) -yse→-yze；(5) -ce→-se；(6) -ogue→-og；(7) 双写 L→单 L；(8) -ae/-oe→-e 及杂项。自动保持原文大小写。

触发条件

英美拼写统一 / 拼写变体标准化
British to American / American to British
多来源英语语料规整
拼写一致性处理

支持的文件格式

CSV (.csv) / TSV (.tsv) / Excel (.xls, .xlsx) / SPSS (.sav)

使用方法

python scripts/spelling_variant_normalizer.py \
    --input_path <输入文件> \
    --output_path <输出文件> \
    [--text_columns col1,col2] \
    [--direction american_to_british] \
    [--custom_dict my_dict.json]

参数说明

参数	必填	说明
`--input_path`	是	输入文件路径
`--output_path`	是	输出文件路径
`--text_columns`	否	处理的文本列
`--direction`	否	british_to_american（默认）或反向
`--custom_dict`	否	JSON/CSV/TSV 自定义词典

输出示例

[OK] 拼写变体规范化完成 -> output.csv
   文本列: ['text']
   方向: british_to_american, 词条数: 153

colour centre analysed → color center analyzed

注意事项

使用 \b 单词边界匹配，不会误伤包含拼写变体的长单词
自动保持全大写（COLOUR→COLOR）和首字母大写
词典通过 JSON/CSV/TSV 扩展，前两列为英→美映射