MInference
Million-Tokens Prompt Inference for Long-context LLMs
工具
加载中…
MInference: Accelerating Pre-filling for Long-context LLMs via Dynamic Sparse Attention
2024年5月
MInference 1.0 leverages the dynamic spa…
Million-Tokens Prompt Inference for Long-context LLMs
2024年5月
MInference 1.0 leverages the dynamic spa…