vllm-mindspore-post-process

What problem does it solve?

后处理阶段对计算结果进行优化处理，包括缓存、并行化、向量化等，提升推理速度与资源利用效率。

Core Features & Use Cases

• Penalty optimization: 在后处理阶段应用重复惩罚、频率惩罚和存在惩罚的高效实现，降低生成重复和无关输出的概率。
• Temperature and sampling control: 通过温度控制改写概率分布，提升输出多样性与稳定性。
• Top-K/Top-P filtering: 实现高效的 Top-K 与 Top-P 过滤，降低候选 token 集合大小，提升推理吞吐。
• Performance-oriented workflow: 支持按需计算、范围缩减、非就地操作等优化模式，提升整体性能。

Quick Start

Run the vllm-mindspore-post-process pipeline on your model outputs to apply penalties, temperature scaling, and Top-K/Top-P filtering.