BitDistill：LLM权重从FP16量化到1.58-bit，精度基本无损，内存消耗下降显著，推理速度提升
论文BitNet Distillation提出 BitNet Distillation（BitDistill） […]
BitDistill：LLM权重从FP16量化到1.58-bit，精度基本无损，内存消耗下降显著，推理速度提升 Read More »
大语言模型LLM
LLM 脑腐化（Brain Rot）：碎片化、吸睛但低信息的内容会在持续预训练中“腐蚀”模型的思考链条与长程记忆，且很难被事后微调完全补救
论文LLMs Can Get “Brain Rot”!提出并实证验证“LLM 脑腐化（
LLM 脑腐化（Brain Rot）：碎片化、吸睛但低信息的内容会在持续预训练中“腐蚀”模型的思考链条与长程记忆，且很难被事后微调完全补救 Read More »
DeepSeek-OCR：不是“一目十行”，而是“百行”乃至“千行”的上下文理解
当今大模型在处理长文本时，注意力计算随长度二次增长，算力与显存压力巨大。DeepSeek的最新模型DeepSe
DeepSeek-OCR：不是“一目十行”，而是“百行”乃至“千行”的上下文理解 Read More »
用于自驱动实验室（self-driving laboratories, SDL）的AI智能体
大型语言模型（LLM）正被用于构建“自驱动实验室（self-driving laboratories, SDL
用于自驱动实验室（self-driving laboratories, SDL）的AI智能体 Read More »
Reducto 与 RAG-Anything 的比较与分析
Reducto 和 RAG-Anything 都利用视觉-语言模型（VLM）来增强对多模态文档的理解，确保图像
Reducto 与 RAG-Anything 的比较与分析 Read More »