-
ChatGPT模型在神经学考试中表现出色，超越人类学生水平
近期发表在JAMA Network Open期刊的一项研究中，研究人员评估了两个ChatGPT大型语言模型（LLMs）在回答美国精神病学和神经学委员会问题库的问题时的表现。他们比较了这两个模型在低阶和高阶问题上的结果与人类神经学生的表现。研究发现，其中一个...
-
像调鸡尾酒一样调制多技能大模型，智源等机构发布LM-Cocktail模型治理策略
随着大模型技术的发展与落地，「模型治理」已经成为了目前受到重点关注的命题。只不过，在实践中，研究者往往感受到多重挑战。 一方面，为了高其在目标任务的性能表现，研究者会收集和构建目标任务数据集并对大语言模型（LLM）进行微调，但这种方式通常会导致除目标任务...
-
外包数据注释服务如何增强人工智能模型？
在人工智能(AI 和机器学习(ML 领域，基础在于数据，数据的质量、准确性和深度直接影响人工智能系统的学习和决策能力。数据有助于丰富机器学习算法数据集的数据注释服务，对于教导AI系统识别模式、做出预测和提高整体性能至关重要。 通过高质量数据注释为ML模...
-
大语言模型之十六-基于LongLoRA的长文本上下文微调Llama-2
增加LLM上下文长度可以提升大语言模型在一些任务上的表现，这包括多轮长对话、长文本摘要、视觉-语言Transformer模型的高分辨4k模型的理解力以及代码生成、图像以及音频生成等。 对长上下文场景，在解码阶段，缓存先前token的Key和Value（K...
-
“大海捞针”实验验证RAG+GPT-4 Turbo模型卓越性能 只需4%的成本
近期的“大海捞针”实验揭示了RAG+GPT-4Turbo模型的卓越性能，只需4%的成本，便能在生成响应时实现卓越的准确性。这标志着大型模型领域的一次重要突破。 在这个实验中，研究者使用了三种基本技术，包括上下文窗口填充、RAG（检索增强生成）和微调，以使L...
-
高考测试成绩接近满分！夸克自研大模型通过备案
快科技12月8日消息，据国内媒体报道，日前，阿里智能信息事业群自研的夸克大模型已通过备案，将陆续在通识、健康、创作等领域升级内容产品与智能工具，落地一系列 AIGC 应用。 夸克相关负责人表示，夸克大模型是面向搜索、生产力工具和资产管理助手的应用型大模型。...
-
视觉CV-AIGC一周最新技术精选(2023-11)
PG-Video-LLaVA: Pixel Grounding Large Video-Language Models https://github.com/mbzuai-oryx/Video-LLaVA 将基于图像的大型多模态模型（LMM）扩...
-
确定数据分布正态性的11种基本方法
在数据科学和机器学习领域，许多模型都假设数据呈现正态分布，或者假设数据在正态分布下表现更好。例如，线性回归假设残差呈正态分布，线性判别分析（LDA）基于正态分布等假设进行推导。 因此，了解如何测试数据正态性的方法对于数据科学家和机器学习从业者至关重要。...
-
思维链提出者Jason Wei：关于大模型的6个直觉
还记得 Jason Wei 吗?这位思维链的提出者还曾共同领导了指令调优的早期工作，并和 Yi Tay、Jeff Dean 等人合著了关于大模型涌现能力的论文。目前他正在 OpenAI 参与 ChatGPT 的开发工作。机器之心曾经报道过他为年轻 AI 研...
-
思维链提出者Jason Wei：关于大模型的六个直觉
还记得 Jason Wei 吗？这位思维链的提出者还曾共同领导了指令调优的早期工作，并和 Yi Tay、Jeff Dean 等人合著了关于大模型涌现能力的论文。目前他正在 OpenAI 参与 ChatGPT 的开发工作。机器之心曾经报道过他为年轻 AI...
-
大语言模型分布式训练的量化分析与优秀实践,以 GPT-175B 为例
一、Transformer 大语言模型的 SOTA 训练技术 1、大语言模型的发展背景与挑战 首先和大家分享下大语言模型的发展背景。过去的几年内，无论从数据量的维度还是从模型规模的维度，语言模型规模都扩大了非常多的数量级。随着数据量和模型规模的扩大，也...
-
颠覆Transformer霸权！CMU普林斯顿推Mamba新架构，解决致命bug推理速度暴增5倍
深度学习进入新纪元，Transformer的霸主地位，要被掀翻了？ 2017年6月12日横空出世，让NLP直接变天，制霸自然语言领域多年的Transformer，终于要被新的架构打破垄断了。 Transformer虽强大，却有一个致命的bug：核心注意力...
-
大模型版“5年高考3年模拟”来了！6141道数学题，还是多模态的那种
大模型的“5年高考3年模拟”数学题来了，还是加强强强版！ 微软、加州大学洛杉矶分校（UCLA）、华盛顿大学（UW）联合打造全新多模态数学推理基准数据集。 名为“MathVista”。 涵盖各种题型共6141个问题，来源于28个现有的多模态数据集和3个新标...
-
GPT-4 未通过图灵测试，GPT-3.5 还败给六十年前的老 AI 系统，最新研究出炉！
过去一年间，能说会道的ChatGPT、最新的 GPT-4大模型，其能力也已超乎很多人的想象，一场由 OpenAI 引领推动的 AIGC 浪潮席卷全球各大科技公司。但是从学术研究的角度来看，其表现力距离人类智能究竟还有多远? 近日，一篇由加州大学圣迭戈分校的...
-
性能直追GPT-4，5000个H100训成！DeepMind联创发全新一代大模型
最近，InflectionAI发布了全新的一款AI模型。 更炸裂的是InfectionAI对这款模型的评价——性能直超谷歌和Meta开发的两款模型，紧随OpenAI的GPT-4之后。 到底是什么样的表现让InflectionAI能夸下如此海口呢？ 在介绍...
-
【极客技术】真假GPT-4？微调 Llama 2 以替代 GPT-3.5/4 已然可行！
近日小编在使用最新版GPT-4-Turbo模型（主要特点是支持128k输入和知识库截止日期是2023年4月）时，发现不同商家提供的模型回复出现不一致的情况，尤其是模型均承认自己知识库达到2023年4月，但当我们细问时，Fake GPT4-Turbo（暂且这...
-
微调语言大模型选LoRA还是全参数？基于LLaMA 2深度分析
本文对比了全参数微调和LoRA，并分析了这两种技术各自的优势和劣势。作者使用了三个真实用例来训练LLaMA 2模型，这提供了比较特定任务的性能、硬件要求和训练成本的基准。本文证明了使用LoRA需要在serving效率和模型质量之间做出权衡，而这...
-
不是大模型全局微调不起，只是LoRA更有性价比，教程已经准备好了
增加数据量和模型的参数量是公认的提升神经网络性能最直接的方法。目前主流的大模型的参数量已扩展至千亿级别，「大模型」越来越大的趋势还将愈演愈烈。 这种趋势带来了多方面的算力挑战。想要微调参数量达千亿级别的大语言模型，不仅训练时间长，还需占用大量高性能的内存资...
-
机器学习 - 混淆矩阵：技术与实战全方位解析
本文深入探讨了机器学习中的混淆矩阵概念，包括其数学原理、Python实现，以及在实际应用中的重要性。我们通过一个肺癌诊断的实例来演示如何使用混淆矩阵进行模型评估，并提出了多个独特的技术洞见。文章旨在为读者提供全面而深入的理解，从基础到高级应用。...
-
文字序顺不响影GPT-4阅读理解，别的大模型都不行
研表究明，汉字序顺并不定一影阅响读（对于英文来说，则是每一个单词中的字母顺序）。 现在，日本东京大学的一项实验发现，这个“定理”居然也适合GPT-4。 比如面对这样一段“鬼画符”，几乎里面每一个单词的每一个字母都被打乱： oJn amRh wno het...
-
一言不合就跑分，国内AI大模型为何沉迷于“刷榜”
“不服跑个分”这句话，相信关注手机圈的朋友一定不会感到陌生。诸如安兔兔、GeekBench等理论性能测试软件，由于能够在一定程度上反映手机的性能，因此备受玩家的关注。同理在PC处理器、显卡上，同样也有相应的跑分软件来衡量它们的性能。 既然“万物皆可跑分”，...
-
AIGC时代，大模型微调如何发挥最大作用？
人工智能的快速发展推动了大模型的广泛应用，它们在语言、视觉、语音等领域的应用效果已经越来越好。但是，训练一个大模型需要巨大的计算资源和时间，为了减少这种资源的浪费，微调已经成为一种流行的技术。微调是指在预训练模型的基础上，通过在小数据集上的训练来适应新的任...
-
北大最新多模态大模型开源：在混合数据集上训练，无需修改直接用到图像视频任务
训完130亿参数通用视觉语言大模型，只需3天！ 北大和中山大学团队又出招了——在最新研究中，研究团队提出了一种构建统一的图片和视频表征的框架。 利用这种框架，可以大大减少VLM（视觉语言大模型）在训练和推理过程中的开销。 具体而言，团队按照提出的新框架...
-
斯坦福华人博士文生视频Pika 1.0爆火！4人公司估值2亿，OpenAI联创参投
【新智元导读】仅有四人的初创公司，已经融资5500万美元，融资名单几乎集齐了硅谷的半壁江山，半年用户超50万，今天，Pika1.0闪亮登场，电影级特效震撼全网。 Runway Gen-2最强竞品Pika，暌违半年忽然放出大招——Pika1.0正式发布! 仅...
-
【LLM系列之LLaMA2】LLaMA 2技术细节详细介绍！
Llama 2 发布！ Meta 刚刚发布了 LLaMa 2，它是 LLaMA 的下一代版本，具有商业友好的许可证。?? LLaMA 2 有 3 种不同的尺寸：7B、13B 和 70B。 7B & 13B 使用与 LLaMA 1 相同的架构，并且是...
-
AI视野：Azure AI新增40种大模型；Yi-34B-Chat微调模型开源；GPT-4在图灵测试中成功率超过41%；微软谷歌推出AI入门课程
???AI新鲜事 微软Azure AI新增40种大模型 微软宣布在Azure AI云开发平台中新增40个大模型，包括Whisper V3、Stable Diffusion、Phi、Falcon、SAM、CLIP、Code Llama等，支持文本生成、图像处...
-
看百度文心一言实力，再聊ChatGPT触类旁通的学习能力如何而来？
图文原创：亲爱的数据 美国大模型水平领先，国内大模型蓄势而发。 国内大模型参与者众多，百度文心一言第一个有勇气站出来发布。 此处应有掌声。 事前事后，中国网友的呐喊声不绝于耳：“文心一言到底什么水平啊？” 其实网友更想知道：国内A...
-
Llama 2 论文《Llama 2: Open Foundation and Fine-Tuned Chat Models》阅读笔记
文章目录 Llama 2: Open Foundation and Fine-Tuned Chat Models 1.简介 2.预训练 2.1 预训练数据 2.2 训练详情 2.3 LLAMA 2 预训练模型评估 3. 微调 3.1 s...
-
GPT成熟之路官方笔记 | OpenAI开发者日
ChatGPT产品打造的细节，现在OpenAI自己交了个底。 并且这波干货分享真是信息量满满，包括但不限于： ChatGPT背后的产品和研发团队如何协作 大模型应用如何从原型走向成熟 OpenAI如何优化大模型性能…… 以上信息，依然来自今年的新晋...
-
【网安AIGC专题11.1】11 Coreset-C 主动学习：特征选择+11种采样方法+CodeBERT、GraphCodeBERT+多分类(问题分类)二元分类(克隆检测)非分类任务(代码总结)
Active Code Learning: Benchmarking Sample-Efficient Training of Code Models 写在最前面 论文名片 先验知识的补充 主动学习 采样函数 benchmark基准和base...
-
AI生成视频入局新卷王，上线不到48小时，网友“大片”刷屏X
AI视频生成工具卷起来了! 本周二，Stability AI低调发布了首个开源AI视频模型Stable Video Diffusion（以下简称SVD），同时还晒出测试数据称，SVD的模型性能碾压RunwayML、Pika Labs等领先的闭源商业模型。...
-
历数5年89篇研究，这篇综述告诉我们深度学习中的代码数据增强怎么样了
当今深度学习以及大模型的飞速发展，带来了对创新技术的不断追求。在这一进程中，代码数据增强技术显现出其不可忽视的价值。 最近，由蒙纳士大学、新加坡管理大学、华为诺亚方舟实验室、北京航空航天大学以及澳大利亚国立大学联合进行的对近 5 年的 89 篇相关研究调...
-
新的生图模型DeepFloyd IF来了，可以拳打Stable Diffusion，脚踢Dall-E？
简介： Stability AI与它的多模式AI研究实验室DeepFloyd共同宣布研究版本DeepFloyd IF的发布,这是一款强大的文text-to-image级联像素扩散模型（cascaded pixel diffusion model），复现了...
-
教你如何使用PyTorch解决多分类问题
本文分享自华为云社区《使用PyTorch解决多分类问题：构建、训练和评估深度学习模型》，作者： 小馒头学Python。 引言 当处理多分类问题时，PyTorch是一种非常有用的深度学习框架。在这篇博客中，我们将讨论如何使用PyTorch来解决多分类...
-
Stable Video Diffusion来了，代码权重已上线
AI 画图的著名公司 Stability AI，终于入局 AI 生成视频了。 本周二，基于 Stable Diffusion 的视频生成模型 Stable Video Diffusion 来了，AI 社区马上开始了热议。 很多人都表示「我们终于等到了」...
-
计算机视觉中目标检测的数据预处理
本文涵盖了在解决计算机视觉中的目标检测问题时，对图像数据执行的预处理步骤。 首先，让我们从计算机视觉中为目标检测选择正确的数据开始。在选择计算机视觉中的目标检测最佳图像时，您需要选择那些在训练强大且准确的模型方面提供最大价值的图像。在选择最佳图像时，考...
-
UC伯克利研究人员推出Ghostbuster:用于检测 LLM 生成文本的最先进 AI 方法
LLM，如 ChatGPT，可以轻松地产生各种流利的文本，但是它们的准确性有多高呢?语言模型容易产生事实错误和幻觉，这让读者在决定是否相信一个信息来源时知道是否使用了这些工具来做新闻文章或其他信息文本的幽灵写作。这些模型的发展也引发了对文本的真实性和原创性...
-
开源社区有望成为OpenAI人事震动的最大赢家
美国当地时间11月20日上午，微软出人意料地聘请了OpenAI前CEO奥特曼和OpenAI总裁格雷格·布罗克曼，这一战略决定似乎是微软试图尽其所能摆平由OpenAI的董事会解雇奥特曼造成的混乱局面。 OpenAI政变的剧情一直在发展，几名研究人员已经辞...
-
大语言模型之七- Llama-2单GPU微调SFT
（T4 16G）模型预训练colab脚本在github主页面。详见Finetuning_LLama_2_0_on_Colab_with_1_GPU.ipynb 在上一篇博客提到两种改进预训练模型性能的方法Retrieval-Augmented Gener...
-
中科大联合封神榜团队发布中文医疗领域大模型ChiMed-GPT
中科大和 IDEA 研究院封神榜团队合作开发了一款名为 ChiMed-GPT 的中文医疗领域大语言模型（LLM）。该模型基于封神榜团队的 Ziya2-13B 模型构建，拥有130亿个参数，并通过全方位的预训练、监督微调和人类反馈强化学习来满足医疗文本处理的...
-
OpenAI安全系统负责人长文梳理：大模型的对抗攻击与防御
随着 ChatGPT 的发布，大型语言模型应用正在加速大范围铺开。OpenAI 的安全系统团队已经投入了大量资源，研究如何在对齐过程中为模型构建默认的安全行为。但是，对抗攻击或 prompt 越狱依然有可能让模型输出我们不期望看到的内容。 目前在对抗攻击...
-
13B模型全方位碾压GPT-4？这背后有什么猫腻
一个参数量为 13B 的模型竟然打败了顶流 GPT-4？就像下图所展示的，并且为了确保结果的有效性，这项测试还遵循了 OpenAI 的数据去污方法，更关键的是没有发现数据污染的证据。 如果你细细查看图中的模型，发现只要带有「rephraser」这个单词...
-
文心一言、讯飞星火与GPT-4/3.5在回答中文历史问题的表现
最近，随着备受关注的文心一言正式免费向全社会开放，再次引起了社会层面对国产大模型的兴趣。 以文心一言为代表的国产大模型性能究竟如何？如果将它们相互比较，并且和GPT系列模型等国际前沿水平的LLM进行比较，会得到什么样的结果呢？笔者对此...
-
AI重塑媒体行业，凤凰卫视重磅入场AI数据赛道
媒体人在2023年或多或少都有点“失业”焦虑——媒体人被认为是最可能被ChatGPT取代的高危职业之一。 面对人工智能的冲击，部分媒体选择以防御之态应对，保护自己的内容不受大语言模型的“侵略”。根据《卫报》的报道，CNN、纽约时报和路透社等多个媒体巨头在...
-
Vicuna Makers打造小型AI模型Llama-rephraser，130亿参数、性能媲美GPT-4
Vicuna Makers的研究团队在构建Vicuna语言模型的基础上，成功推出了一款新型的小型人工智能模型（LLM），该模型在性能上与OpenAI的GPT-4相媲美，仅包含130亿个参数。 这一新模型被命名为Llama-rephraser，由LMSYS...
-
如何有效减少 AI 模型的数据中心能源消耗？
在让人工智能变得更好的竞赛中，麻省理工学院（MIT）林肯实验室正在开发降低功耗、高效训练和透明能源使用的方法。 在 Google 上搜索航班时，您可能已经注意到，现在每个航班的碳排放量估算值都显示在其成本旁边。这是一种告知客户其对环境影响的方式，并让他...
-
掰开安卓手机，满屏都是三个字：大模型丨模力时代
这年头，安卓厂商没个大模型，都不敢开手机发布会了。 前脚OPPO刚用大模型升级了语音助手，后脚vivo就官宣自研手机AI大模型; 小米发布会则直接将大模型当场塞进手机系统……其竞争激烈程度，不亚于抢芯片首发。 到底是怎么回事? 究其原因，还是智能终端已经成...
-
AIGC的发展与机遇
陈老老老板? ??本文专栏：赠书活动专栏（为大家争取的福利，免费送书）试一下文末赠书，讲一些科普类的知识 ??本文简述：本篇内容的引用都已征得人民邮电出版社的同意，讲一下AIGC的发展与机遇 ??上一篇文章： 【陈老板赠书活动...
-
戳穿人工智能的六个谎言：辨别真伪
译者 | 布加迪 审校 | 重楼 人工智能（AI）无疑是我们这个时代的流行语。特别是随着ChatGPT等生成式AI应用程序的出现，AI大受欢迎，成为了技术大辩论的核心话题。 所有人都在谈论像ChatGPT这样的生成式AI应用程序的影响以及利用它们的能力...
-
阿里发布自研夸克大模型：整体能力已超GPT-3.5
快科技11月14日消息，阿里巴巴智能信息事业群今日正式发布全栈自研、千亿级参数夸克大模型。 据介绍，在CMMLU权威大模型性能评测中，夸克大模型成绩位列榜首，根据评测显示，夸克大模型整体能力已经超过GPT-3.5，在写作、考试等部分场景中优于GPT-4。...