订阅

阅读量:

Kimi智能助手:国产大模型重要进步,长文本处理能力引人瞩目

2024年3月25日
  • 编辑:Betty
  • 中国半导体出海网

Kimi 智能助手是月之暗面科技有限公司(Moonshot AI)研发的产品,于2023年10月发布,是国产大模型的代表作之一,有多种方便快捷的使用方式,包括网页版、APP、和微信小程序。Kimi智能助手拥有着优秀的长文本处理能力,能够支持20万左右汉字的上下文输入,具备明显的中文优势,能够为不同人群用户提供多样化的帮助,例如:对于科研人员,Kimi可以快速阅读并深入理解大量文献,掌握文献的主要内容,解释复杂学术概念并分析研究结果。对于大学生,Kimi 可以帮助处理学习资料,提供学习指导,激发创作灵感,辅助写作和研究。对于互联网从业者,Kimi 可以高效搜集不同渠道的信息,辅助从业者进行竞品分析、运营策划等方案撰写等等;内容丰富,功能强大。

就在上周,距离Kimi发布不到半年的时间,这款智能助手再次迎来了技术上的突破:官方宣布支持200万字上下文的Kimi已启动内测。这一突破性的技术升级意味着Kimi将在长文本处理领域再上一个台阶,为用户提供更加全面、深入的服务。其长文本处理能力让长文献论文总结、会议纪要变得更具可用性,加上联网搜索功能,对于需要查阅大量信息和处理会议纪要的办公人群有极大助力,未来办公类AI应用或将收益。

图1:kimi 智能助手支持200万字上下文

根据月之暗面科技团队透露,从20万字到200万字的跨越并没有采取常规的渐进式提升路线,这遇到的技术难度也是指数级增加的。为了实现更好的长窗口无损压缩性能,月之暗面的研发和技术团队对模型与训练、对齐、推理等环节进行了全方位的重新设计和开发,在这个过程中,月之暗面团队不采用“滑动窗口”、“降采样”等技术捷径,而是攻克了许多底层技术难点,这意味着他们需要重新审视和改造现有的技术框架,以适应更大规模的文本处理需求。