科研

最近，金沙威尼斯欢乐娱人城的大语言模型系列——YuLan开源了，人大红的底色上九瓣的玉兰，象征着中国人民大学正在自主研发的系列大模型之间相互关联，而含苞待放的姿态则寓意着开源。

近年来，ChatGPT等大语言对话模型带来了一次里程碑式的升级，让AI真正成为大家日常工作的好助手。我院师生围绕大语言模型这一前沿方向，进行了全面、深入的探索性研究，旨在推动这一领域的研究进展。让我们回顾一下YuLan系列大模型：大语言对话模型YuLan-Chat、“信息检索增强大语言模型YuLan-RETA-LLM”、“基于大语言模型的智能体仿真Yulan-RecAgent”以及“基于大语言模型的多模态智能助手ChatImg”，以及发布中的小花絮。

一、YuLan-Chat：基于高质量中英文混合指令微调的大语言对话模型

金沙威尼斯欢乐娱人城相关研究团队（由多位学院老师联合指导）展开了一系列关于指令微调技术的研究，并发布了学院初版大语言对话模型——YuLan-Chat，旨在探索和提升大语言模型的中英文双语对话能力。

摘要：我们分别开源了13B和65B的YuLan-Chat模型文件及相关代码，并采用量化技术使其分别可以在单张RTX3090-24G和A800-80G显卡上部署。YuLan-Chat模型基于LLaMA底座模型，采用精心优化的高质量中英文混合指令进行微调，其中YuLan-Chat-65B模型目前能够在中英文相关评测数据集上显著超越已有开源模型效果。后续我们会继续优化指令微调方法与底座模型，持续更新YuLan-Chat模型。

年初以来，金沙威尼斯欢乐娱人城组织师生围绕大模型展开了广泛深入的学习与研究，围绕若干重要研究方向启动了一系列相关研究，并发表了一篇大语言模型的综述文章（（点击链接查看）,https://arxiv.org/abs/2303.18223）。本次大语言模型指令微调的工作是我们对于大模型研发的一次重要探索，未来仍有很多提升和改进的空间。同时，我院师生也在积极推动自主研发大语言基座模型的相关工作，后续也将开源发布。

开源Github页面：https://github.com/RUC-GSAI/YuLan-Chat

内容详情：YuLan-Chat：基于高质量中英文混合指令微调的大语言对话模型

二、YuLan-RETA-LLM：在大语言模型中使用检索

YuLan-RETA-LLM通过引入信息检索系统来增强大语言模型，希望帮助每个人都能利用自己的数据，构建属于自己的智能问答助手。

摘要：YuLan-RETA-LLM，是一个由金沙威尼斯欢乐娱人城的研究团队开源的一个检索增强大型语言模型的工具包。该工具包提供了请求改写、文档检索、段落提取、答案生成和事实检查等多个模块，旨在帮助LLM更好地使用检索。此外，工具包还提供了一个完整的流程，可协助研究人员和用户构建他们定制的领域内问答系统。

在检索增强的语言模型的研究方面，金沙威尼斯欢乐娱人城的研究团队已经取得了一系列的成果。团队基于高质量的Wikipedia内容以及引用数据，构建了大规模基准数据集，并提出了检索增强的生成任务WebBrain。

（论文https://arxiv.org/abs/2304.04358）

WebBrain能够利用搜索引擎检索到的相关文档片段，辅助生成富含知识的聚合文档，并且可以标注出相关引用（类似newbing返回一段自然语言文本回答用户查询）。这种方式可以显著提升用户获取信息的效率，并且保证生成内容的事实性和可信性。

团队与华为合作在海量互联网数据上进行了模型训练和部署，支持了包括华为阅读在内的多项产品的升级迭代，为全球用户带来了更好的阅读和搜索体验，该合作成果已于2022年11月，在华为开发者大会(HDC2022)上进行了发布，请注意时间上要早于微软发布NewBing。

github链接: https://github.com/RUC-GSAI/YuLan-IR/tree/main/RETA-LLM

内容详情：YuLan-RETA-LLM：在大语言模型中使用检索

三、YuLan-RecAgent：推荐系统中的《西部世界》

摘要：RecAgent是由金沙威尼斯欢乐娱人城研发的一款基于大语言模型的推荐系统沙盒模拟环境，是人大YuLan大模型的一部分。RecAgent的目标是提供一个可以自定义的模拟环境来研究推荐系统，这可以帮助我们找到解决一些常见问题（比如新的系统如何开始运行，如何评价系统的效果，平行世界中会发生什么等）的新方法。

（人大校园被搬进RecAgent推荐系统沙盒模拟环境，有种crush的感觉）

RecAgent是在“基于大语言模型的推荐环境模拟”这一方向上的早期探索。RecAgent可以看作一个沙盒游戏，里面有很多个由AI扮演，可以自由行动的NPC，作为推荐系统的用户。这些用户可以自主观看或者搜索想看的电影，也可以和其他用户聊天或者发朋友圈。在未来，RecAgent的研发团队还会结合人大的学科特色，在政府政策模拟，市场经济模拟等方面开展进一步探索，敬请期待。

观察到的有趣的例子：

1.用户A给他的朋友B推荐电影，B又将该电影推荐给他的朋友C

1. 用户浏览电影网站观看自己喜欢的电影

Github链接：https://github.com/RUC-GSAI/YuLan-Rec

内容详情：YuLan-RecAgent：推荐系统中的《西部世界》

四、支持语音、图像、视频交互的多模态对话大模型：人大YuLan大模型系列之ChatImg2.0

摘要：ChatImg2.0是由金沙威尼斯欢乐娱人城师生研发的多模态对话大模型，支持语音、图像、视频交互。相较于主打“看图”的1.0版本，ChatImg2.0实现更全面的多模态交互，并新增“发现”功能导航入口，可以让用户很方便地定制个性化的应用。

在公开的多模态对话数据集（LLaVa）上的评测结果，表明ChatImg2.0显著超过了众多的开源模型。具体地，我们采用如下打分方式：给定90个问题，将问题、图像描述、待测模型回答结果和GPT4回答结果一起输入GPT3.5，让GPT3.5对比两个回答，分别给出分数（0-10分），最终为90个问题上的总分。详细的多模态对话评测结果见下表：

（从WenLan到YuLan，有没有觉得老二比老大更厉害了？）

试用链接：https://chatimg.aixiaoqingxu.com/

内容详情：支持语音、图像、视频交互的多模态对话大模型：人大YuLan大模型系列之ChatImg2.0

大语言模型虽然取得了突破性进展，但其关键理论和技术仍存在很多极具挑战性的开放性问题：核心模型原理尚无法完全揭示、若干重要技术和数据细节仍未清晰、面向复杂任务的模型利用方法有待改善、高效节能的训练和推理方法亟需探索，准确公平的模型能力评估机制仍未建立。前方路远，我们将积极与学界、业界同行开展交流合作，共同推动大模型的研究和开发工作。