Documents skills

Browse reusable Agent Skills, each with a clear purpose and practical guidance.

language_id_score_filter

语言识别分数过滤器。过滤器以保留置信度得分大于特定最小值的特定语言的样本。本SKILL使用依赖data_juicer，请在调用前安装好python环境并安装data_juicer，你可用以下指令进行安装： pip install py-data-juicer 当用户提到语言识别过滤、语言检测、文本语言筛选、按语言过滤等需求时使用此skill。

541 repo starsObserved in 1 repos

Documents

GitHub

llm_file_transform_stop

LLM 文件转换算子。用于读取一个文本文件，按照给定指令调用大模型进行内容转换，并输出新的文本文件。

541 repo starsObserved in 1 repos

Documents

GitHub

local_formatter

本地格式化器。类用于从本地文件或本地目录加载数据集。本SKILL使用依赖data_juicer，请在调用前安装好python环境并安装data_juicer，你可用以下指令进行安装： pip install py-data-juicer 当用户提到加载本地数据集、读取本地文件、格式化本地数据、数据集加载等需求时使用此skill。

541 repo starsObserved in 1 repos

Documents

GitHub

低信息量过滤工具。读取结构化数据文件，对指定文本列同时校验字符总数与行数是否落在阈值区间内，输出过滤后的合规行。当用户提到低信息量过滤、字符数筛选、短文本过滤、超长文本过滤、行数过滤、信息量阈值等需求时使用此skill。即使用户没有明确说出"低信息量"，只要任务涉及同时按字符数和行数两个维度过滤文本行，就应该使用此skill。不负责按单词数过滤（用words_num_filter）、按token数过滤（用token_num_filter）、按最长单行长度过滤（用maximum_line_length_filter）或按平均行长度过滤（用average_line_length_filter）。与这些skill的关键区别在于：本skill同时校验字符总数与行数两个维度，且原生支持CSV/TSV/Excel多列输入、不依赖data_juicer。

541 repo starsObserved in 1 repos

Documents

GitHub

markdown_stripper

Markdown标记清除工具。读取Markdown文件，去除Markdown语法标记（标题#、加粗**、斜体*、链接[]()、代码块```、引用>、列表标记等），输出纯文本文件。当用户提到Markdown清洗、去除MD标记、MD转纯文本等需求时使用此skill。适用于Markdown文件的语法净化，不负责CSV/表格数据的结构清洗。

541 repo starsObserved in 1 repos

Documents

GitHub

maximum_line_length_filter

最大行长度过滤器。过滤器将最大行长度的样本保持在特定范围内。支持对JSONL格式数据指定字段进行过滤。本SKILL使用依赖data_juicer，请在调用前安装好python环境并安装data_juicer，你可用以下指令进行安装： pip install py-data-juicer 当用户提到最大行长度过滤、文本行长筛选、最长行过滤、按行长度过滤等需求时使用此skill。

541 repo starsObserved in 1 repos

Documents

GitHub