-
Llama 2- Open Foundation and Fine-Tuned Chat Models＜3＞
3.4 RLHF 结果 3.4.1 基于模型的评估 评估LLMs是一个具有挑战性的开放研究问题。人类评估虽然是黄金标准，但可能会因各种 HCI 考虑因素而变得复杂（Clark 等人，2021；Gehrmann 等人，2023），并且并不总是可扩展的...
-
2024年人工智能领域十大预测
2023年人工智能领域如果只能筛选一个关键词的话，恐怕非“大模型”莫属。大模型的发展在过去一年中，让各行各业发生了天翻地覆的变化，有企业因大模型而新生，有企业因大模型而消亡。企业的变迁跟技术迭代息息相关，而大模型就是新一代人工智能技术下的产物，大模型已经...
-
甲骨文的 OCI 生成式 AI 服务现已推出
Oracle 宣布了 Oracle Cloud Infrastructure（OCI）Generative AI 服务的普遍可用性，以及使企业更轻松地利用生成 AI 的最新进展的新创新。 OCI Generative AI 服务是一项完全托管的服务，无缝集...
-
LLM会写代码≠推理+规划！AAAI主席揭秘：代码数据质量太高｜LeCun力赞
自从ChatGPT发布后，各种基于大模型的产品也快速融入了普通人的生活中，但即便非AI从业者在使用过几次后也可以发现，大模型经常会胡编乱造，生成错误的事实。 不过对于程序员来说，把GPT-4等大模型当作「代码辅助生成工具」来用的效果明显要比「事实检索工具...
-
LLaMa 原理+源码——拆解 (KV-Cache, Rotary Positional Embedding, RMS Norm, Grouped Query Attention, SwiGLU)
原理 Vanilla Transformer 与 LLaMa 的区别 Embedding RMS Norm Rotary Positional Encodding SwiGLU Function KV-Cache Grouped Mult...
-
针对特定领域较小的语言模型是否与较大的模型同样有效?
经过2023年的发展，大语言模型展示出了非常大的潜力，训练越来越大的模型成为有效性评估的一个关键指标，论文《A Comparative Analysis of Fine-Tuned LLMs and Few-Shot Learning of LLMs f...
-
“AI学会欺骗，人类完蛋了”？看完Anthropic的论文，我发现根本不是这回事啊
AGI若到来，人类是否会受到威胁，是一个大众热衷讨论同时研究者们也很关注的问题，从各个角度对此的研究几乎都会引发人们的讨论。最新的一个重磅研究来自今天最重要的大模型公司之一Anthropic。 1月9号他们发布了一篇论文，提出关于“Sleeper Agen...
-
AI助力全球最大科技公司总市值突破10万亿美元 Nvidia超越Facebook、微软超越苹果领先
全球最大的科技巨头估值已超过1万亿美元，部分归功于生成式人工智能的投资和进步，估值总计超过10万亿美元，其中Nvidia超越Facebook成为新秀，而Microsoft则取代苹果领先。 目前，包括Microsoft、Apple、Google、Amazon...
-
一文读懂Llama 2（从原理到实战）
文章目录 简介 实战：微调Llama 2 在线体验 参考 简介 Llama 2，是Meta AI正式发布的最新一代开源大模型。 Llama 2训练所用的token翻了一倍至2万亿，同时对于使用大模型最重要的上下文长度限制，Lla...
-
AIGC周报｜30秒定制一个文生图模型；60美元让AI玩转《我的世界》；手机版“文生图”模型：2秒不到出一张图
AIGC（AI Generated Content）即人工智能生成内容。近期爆火的 AI 聊天机器人 ChatGPT，以及 Dall·E 2、Stable Diffusion 等文生图模型，都属于 AIGC 的典型案例，它们通过借鉴现有的、人类创造的内容来...
-
AIGC 3D即将爆发，混合显示成为产业数字化的生产力平台
2023年，大语言模型与生成式AI浪潮席卷全球，以文字和2D图像生成为代表的AIGC正在全面刷新产业数字化。而容易为市场所忽略的是，3D图像生成正在成为下一个AIGC风口，AIGC 3D宇宙即将爆发。所谓AIGC 3D宇宙，即由文本生成3D图像或由2D图像...
-
AI游戏设计的半年度复盘；大模型+智能音箱再起波澜；昇思大模型技术公开课第2期；出海注册经验分享；如何使用LoRA微调Llama 2 | ShowMeAI日报
👀日报&周刊合集 | 🎡生产力工具与行业应用大全 | 🧡 点赞关注评论拜托啦！ 🔥 进步or毁灭：Nature 调研显示 1600+ 科学家对AI的割裂态度 国际顶级期刊 Nature 最近一项调研很有意思，全球 1600 多名科...
-
AI爆款设备Rabbit R1将接收Perplexity AI的实时信息
Rabbit 在2024年 CES 展上备受瞩目，并宣布与 Perplexity 达成合作伙伴关系，将 “对话式 AI 动力回答引擎” 与 R1相连。 R1是一款售价199美元的由 Teenage Engineering 设计的 AI 设备，已经通过了5...
-
新AI框架 AboutMe：用网页中自我描述来记录英语预训练数据过滤器的效果
随着自然语言处理和自然语言生成的进步，大型语言模型（LLMs）在实际应用中得到了广泛使用。由于它们能够模仿人类行为，并具有通用性，这些模型已经涉足各个领域。 虽然这些模型引起了相当大的关注，但它们代表了一组受限和偏向的人类观点和知识。预训练数据的组成是造成...
-
2023-12-30 AIGC-LangChain介绍
摘要: 2023-12-30 AIGC-LangChain介绍 LangChain介绍 1. https://youtu.be/Ix9WIZpArm0?t=353 2. https://www.freecodecamp.org/news/la...
-
Data-Copilot: 大语言模型做你最贴心省事的数据助手
Data-Copilot: Bridging Billions of Data and Humans with Autonomous Workflow 无需繁琐操作,只需要输入一句话, Data-Copilot自动帮你完成查数据,分析数据,管理数据,预测趋...
-
苹果AIM自回归视觉模型验证性能与模型规模有关
苹果公司的研究者通过自回归图像模型（AIM）验证了视觉模型“参数越多性能越强”的规律，进一步证明随着容量或预训练数据量的增加，模型能不断提升性能。AIM能有效利用大量未经整理的图像数据，训练方法和稳定性与最近的大型语言模型(LLM 类似。这一观察结果与之前...
-
LLaMA Pro: Progressive LLaMA with Block Expansion
Q: 这篇论文试图解决什么问题？ A: 这篇论文试图解决大型语言模型（LLMs）在特定领域（如编程、数学、生物医学或金融）能力不足的问题。尽管LLMs在多种现实世界任务中表现出色，但在某些特定领域仍然存在局限性，这阻碍了开发通用语言代理以应用于更广泛场景...
-
全新免费编程神器！比Copilot快两倍，准确率高20% | 非十科技发布
一款国产编程神器，秒杀了微软GitHub Copilot。 有多快？ 比GitHub Copilot快两倍的同时，准确度还提高了约20%。 不仅如此，在做到“快”、“准”的情况下，功能上也是比较全面，包括： 代码自动补全、自然语言生成代码、自动添加注释、...
-
公司如何使用GenAI来防范ChatGPT泄漏数据
根据哈佛大学最近的一项研究，公司员工的工作效率提高了40%，这要归功于基于哈佛大学的一项研究。麻省理工学院的另一项研究发现，ChatGPT减少了技能不平等，加快了文档创建时间，同时使公司员工能够更高效地利用时间。ChatGPT正在帮助公司员工在更短的时...
-
AI战争迫近，ChatGPT解除军用禁令
上周末，人工智能领头羊企业OpenAI悄悄从ChatGPT使用政策中删除了禁止应用于军事用途的条款，这标志着人工智能武器化的潘多拉盒子已经打开。 值得注意的是，在OpenAI新政策曝光前不到一个月，美国国防部副部长希克斯在访问加州期间曾宣称，美国军方与...
-
Transformer的无限之路：位置编码视角下的长度外推综述
在自然语言处理（Natural Language Processing，NLP）领域，Transformer 模型因其在序列建模中的卓越性能而受到广泛关注。然而，Transformer 及在其基础之上的大语言模型（Large Language Model...
-
AI视野：阿里推ReplaceAnything框架；OpenAI取消军用禁令；Pika推视频画面扩充功能；SD推图生视频插件I2V-Adapter
欢迎来到【AI视野】栏目!这里是你每天探索人工智能世界的指南，每天我们为你呈现AI领域的热点内容，聚焦开发者，助你洞悉技术趋势、了解创新AI产品应用。 新鲜AI产品点击了解：https://top.aibase.com/ 👨💻💡🎯聚焦开发者 阿里推Rep...
-
LLM AutoEval:AI平台自动评估Google Colab中的LLM
在自然语言处理领域，语言模型的评估对于开发人员推动语言理解和生成的边界至关重要。LLM AutoEval是一款旨在简化和加速语言模型（LLMs）评估过程的工具，专为寻求快速高效评估LLM性能的开发者定制。 LLM AutoEval具有以下关键特点: 1....
-
【网安AIGC专题10.11】论文1：生成式模型GPT\CodeX填充式模型CodeT5\INCODER+大模型自动程序修复(生成整个修复函数、修复代码填充、单行代码生产、生成的修复代码排序和过滤)
论文1：Automated Program Repair in the Era of Large Pre-trained Language Models 写在最前面 论文总结 背景知识介绍 语言模型 双向语言模型 单向语言模型 自动程序修复（...
-
如何高效部署大模型？CMU最新万字综述纵览LLM推理MLSys优化技术
在人工智能（AI）的快速发展背景下，大语言模型（LLMs）凭借其在语言相关任务上的杰出表现，已成为 AI 领域的重要推动力。然而，随着这些模型在各种应用中的普及，它们的复杂性和规模也为其部署和服务带来了前所未有的挑战。LLM 部署和服务面临着密集的计算强...
-
LLMs之LLaMA-2：LLaMA-2的简介(技术细节)、安装、使用方法(开源-免费用于研究和商业用途)之详细攻略
LLMs之LLaMA-2：LLaMA-2的简介(技术细节 、安装、使用方法(开源-免费用于研究和商业用途 之详细攻略 导读：2023年7月18日，Meta重磅发布Llama 2！这是一组预训练和微调的大型语言模型（LLM），规模从70亿到700亿个...
-
继copilot之后，又一款免费帮你写代码的插件
继copilot之后，又一款免费帮你写代码的插件 写在前面 一、CodeGeex简介 二、插件安装 三、帮你写代码 四、帮你添加注释 五、帮你翻译成其他语言 六 小结 写在前面 在之前的文章中推荐过一款你写注释，它就能帮你写代码的...
-
一文讲清大模型AI应用架构
本文转载自微信公众号「 产品二姐」，作者产品二姐。转载本文请联系产品二姐公众号。 如果说 2023 年是大模型大爆发的一年，这一年的机会主要给了大厂或者拿到大笔融资的创业者；那么 2024 年将是 AI 应用大爆发的一年，也意味着普通人有更多的机会加入这...
-
小红书搜索团队提出全新框架：验证负样本对大模型蒸馏的价值
大语言模型（LLMs）在各种推理任务上表现优异，但其黑盒属性和庞大参数量阻碍了它在实践中的广泛应用。特别是在处理复杂的数学问题时，LLMs 有时会产生错误的推理链。传统研究方法仅从正样本中迁移知识，而忽略了那些带有错误答案的合成数据。 在 AAAI 2...
-
LLMs之RAG：LangChain-Chatchat(一款中文友好的全流程本地知识库问答应用)的简介(支持 FastChat 接入的ChatGLM-2/LLaMA-2等多款主流LLMs+多款embe
LLMs之RAG：LangChain-Chatchat(一款中文友好的全流程本地知识库问答应用 的简介(支持 FastChat 接入的ChatGLM-2/LLaMA-2等多款主流LLMs+多款embedding模型m3e等+多种TextSplitter分词...
-
专为数据库打造：DB-GPT用私有化LLM技术定义数据库下一代交互方式
2023 年 6 月，蚂蚁集团发起了数据库领域的大模型框架 DB-GPT。DB-GPT 通过融合先进的大模型和数据库技术，能够系统化打造企业级智能知识库、自动生成商业智能（BI）报告分析系统（GBI），以及处理日常数据和报表生成等多元化应用场景。DB-G...
-
对2024年大数据及其相关领域的预测
数据分析 随着全渠道商务的发展，广告分析的格局即将发生巨变。线上和线下消费者互动之间的传统竖井正在瓦解，为真正的全渠道消费者铺平了道路。虽然实体/数字墙在消费者的旅程中正在倒塌，但消费者隐私仍使分析变得复杂，这种全渠道消费者的增长将要求重新调整营销衡量...
-
人工智能可以像人类一样拥有创造力吗？
创造力是人类的一种独特的能力，它使我们能够创造出新颖、有价值、有意义的作品，如艺术、文学、科学、技术等。创造力也是人类社会的一种重要的驱动力，它促进了文化、经济、教育等领域的发展和进步。创造力到底是什么？它是如何产生的？它又如何被评估和提升的？这些问题一...
-
AI平台：Introduction - Danswer Documentation
Introduction - Danswer DocumentationDanswer Documentation home pageSearch...Ctrl Kdanswer-ai/danswer5978602danswer-ai/danswer597...
-
专补大模型短板的RAG有哪些新进展？这篇综述讲明白了
大型语言模型（LLMs）已经成为我们生活和工作的一部分，它们以惊人的多功能性和智能化改变了我们与信息的互动方式。 然而，尽管它们的能力令人印象深刻，但它们并非无懈可击。这些模型可能会产生误导性的 “幻觉”，依赖的信息可能过时，处理特定知识时效率不高，缺乏...
-
大模型中幻觉缓解技术的综合调查
大型语言模型（LLMs）是具有大量参数和数据的深度神经网络，能够在自然语言处理（NLP）领域实现多种任务，如文本理解和生成。近年来，随着计算能力和数据规模的提升，LLMs取得了令人瞩目的进展，如GPT-4、BART、T5等，展现了强大的泛化能力和创造力。...
-
文心一言接入Promptulate，开发复杂LLM应用程序
简介 最近在尝试将文心一言的LLM能力接入Promptulate，故写了一篇博客记录一下，Promptulate 是 Promptulate AI 旗下的大语言模型自动化与应用开发框架，旨在帮助开发者通过更小的成本构建行业级的大模型应用，其包含了LLM...
-
从模型、数据和框架三个视角出发，这里有份54页的高效大语言模型综述
大规模语言模型（LLMs）在很多关键任务中展现出显著的能力，比如自然语言理解、语言生成和复杂推理，并对社会产生深远的影响。然而，这些卓越的能力伴随着对庞大训练资源的需求（如下图左）和较长推理时延（如下图右）。因此，研究者们需要开发出有效的技术手段去解决其...
-
【网安AIGC专题10.19】论文4：大模型（CODEX 、CodeGen 、INCODER ）+自动生成代码评估：改进自动化测试方法、创建测试输入生成器、探索新的评估数据集扩充方法
Is Your Code Generated by ChatGPT Really Correct? 写在最前面 主要贡献 这篇论文的创新点，为之后的论文提供了一些的启发 未来研究的方向：改进自动化测试方法、创建测试输入生成器、探索新的评估数...
-
Mistral 欧洲最强模型团队的野望；国内大模型都是套壳LLaMA？Claude官方提示词教程-中英双语；AI原生应用难产了；AI Agents实践经验 | ShowMeAI日报
?日报&周刊合集 | ?生产力工具与行业应用大全 | ? 点赞关注评论拜托啦！ ? 看热闹不嫌事大！马斯克：OpenAI首席科学家 Ilya 应该跳槽到xAI https://www.businessinsider.com/...
-
聊聊拉长LLaMA的一些经验
Sequence Length是指LLM能够处理的文本的最大长度，越长，自然越有优势： 更强的记忆性。更多轮的历史对话被拼接到对话中，减少出现遗忘现象 长文本场景下体验更佳。比如文档问答、小说续写等 当今开源LLM中的当红炸子鸡——LLaMA...
-
LLM之RAG实战（七）| 使用llama_index实现多模态RAG
一、多模态RAG OpenAI开发日上最令人兴奋的发布之一是GPT-4V API（https://platform.openai.com/docs/guides/vision）的发布。GPT-4V是一个多模态模型，可以接收文本/图像，并可以...
-
图灵奖得主Yann LeCun最新专访：AI将接管世界，但不会征服人类！
当他的前合作者 Geoffrey Hinton和 Yoshua Bengio 宣称 AI 灭绝论时，LeCun 并没有参与。相反，他签署了一封公开信，呼吁拥抱开源 AI，并称 AI不应由少数几家企业控制。 那么，AI 到底是会给人类带来毁灭性灾难，还是会...
-
微软推大模型整合性工具库PromptBench
微软最近推出了一个专门用于评估大语言模型的整合性工具库，名为PromptBench。该工具库提供了一系列工具，包括创建不同类型的提示、进行数据集和模型加载、执行对抗性提示攻击等，以支持研究人员从不同方面对LLMs进行评估和分析。 项目地址:https:/...
-
Conversate AI官网体验入口 AI聊天机器人软件app免费下载地址
Conversate AI是一个提供GPT- 4 驱动聊天机器人服务的平台，专门为网站提供快速、定制化的聊天机器人解决方案。这个服务允许用户在几秒钟内构建并立即将聊天机器人嵌入到任何网站中。Conversate AI 支持最新的大型语言模型（LLMs），并...
-
你的云网络准备好拥抱生成式人工智能了吗?
生成式人工智能(AI 有可能为企业释放数万亿美元的价值，并从根本上改变我们的工作方式。这项突破性的技术已经进入了全球经济的几乎每个领域，以及我们生活的许多方面，人们已经使用人工智能来查询其银行账单，甚至要求医疗处方。当前的预测表明，生成式人工智能可以自动...
-
苹果开放 AI 研究成果，发布多模态 LLM 模型 Ferret
IT之家 12 月 25 日消息，苹果公司于 2023 年 10 月与哥伦比亚大学的研究人员合作发布了名为 Ferret（雪貂）的开源多模态 LLM，但当时并没有引起太多关注。 许多人工智能社区的人士都错过了 Ferret 的发布，他们对苹果意想不到地...
-
baichuan-7B-chat微调报错及解决记录 使用的仓库：LLaMA-Factory 2023年11月27日
我所使用的代码仓库是LLaMA-Factoryhiyouga/LLaMA-Factory: Easy-to-use LLM fine-tuning framework (LLaMA, BLOOM, Mistral, Baichuan, Qwen, Chat...
-
LLMs-入门二：基于google云端Colab部署Llama 2
LLMs-入门二：基于google云端Colab部署Llama 2 1、访问网址 2、基础概念 3、选择最适合您的 Colab 方案 4、基于Colab部署开源模型Llama 2 1）在Colab上安装huggingface套件 2）申请调用...