text-splitter

What problem does it solve?

将文本分割成指定大小的块，保持语义完整性。适用于长文本批处理、将文本分割为可处理的片段。

Core Features & Use Cases

• 语义完整性优先: 在分割时尽量避免截断句子或段落，优先在自然边界处分割，确保每个块的语义完整性。
• 可定制分割策略: 支持按句子、按段落或按自定义策略分割，确保输出块大小可控。
• 应用场景广泛: 文本预处理、长文档分析、下游 NLP 模型输入分块等。

Quick Start

将输入文本按指定大小分割为若干块，优先在句子边界处断开，同时尽量保持语义完整。