-
Fine-Tuning Vs RAG ，该如何选择？
Hello folks，我是 Luga，今天我们来聊一下人工智能(AI 生态领域相关的技术 - LLM 构建块：向量、令牌和嵌入 。 随着技术的不断进步，LLM 带来了前所未有的机遇，吸引了开发者和组织纷纷尝试利用其强大的能力构建应用程序。然而，当预训...
-
力压Transformer？首篇Mamba综述来了！
本文经自动驾驶之心公众号授权转载，转载请联系出处。 写在前面&笔者的个人理解 Mamba是一种新的选择性结构状态空间模型，在长序列建模任务中表现出色。Mamba通过全局感受野和动态加权，缓解了卷积神经网络的建模约束，并提供了类似于Transfo...
-
超越ORB-SLAM3！SL-SLAM：低光、严重抖动和弱纹理场景全搞定
本文经自动驾驶之心公众号授权转载，转载请联系出处。 写在前面 今天我们探讨下深度学习技术如何改善在复杂环境中基于视觉的SLAM（同时定位与地图构建）性能。通过将深度特征提取和深度匹配方法相结合，这里介绍了一种多功能的混合视觉SLAM系统，旨在提高在诸如低...
-
最详细人脑3D地图登Science！GPT-4参数只相当于人类0.2%
芝麻粒大小的人脑组织，突触规模就相当于一个GPT-4！ 谷歌与哈佛联手，对局部人脑进行了纳米级建模，论文已登Science。 这是迄今为止最大、最详细的人脑复制品，首次展示出了大脑中的突触连接网络。 凭借超高分辨率，这个名为H01的重建，已经揭示了一些...
-
SIGGRAPH'24 | 太逆天了！利用分层3D GS，实时渲染超大规模场景！
本文经自动驾驶之心公众号授权转载，转载请联系出处。 近年来，新视角合成取得了重大进展，3D Gaussian splatting提供了出色的视觉质量、快速训练和实时渲染。然而，训练和渲染所需的资源不可避免地限制了可以以良好视觉质量表示的场景大小。本文引入...
-
优秀Agent智能体必学的几种设计模式，一学就会
大家好，我是老渡。 昨天在公司听了清华大学智能产业研究院现场分享的AI医院小镇。 图片 这是一个虚拟世界，所有的医生、护士、患者都是由LLM驱动的Agent智能体，可以自主交互。它们模拟了整个诊病看病的过程，在涵盖主要呼吸道疾病的MedQA数据集子集上，...
-
企业如何管理生成式人工智能安全风险
事实表明，尽管有很多好处，但生成式人工智能也给企业带来了许多安全挑战，而且可能代价高昂。而企业需要审查可能的威胁和最佳实践以降低风险。 在ChatGPT推出之后，生成式人工智能模型的迅速采用有望从根本上改变企业开展业务以及与客户和供应商互动的方式。 生...
-
太酷了！手机上部署最新AI大模型！只需两步！
在当前的AI革命中，大模型扮演着至关重要的角色，而这背后的基础便是Scaling Law。简而言之，随着数据、参数和计算能力的不断提升，大模型的能力也随之增强，展现出小规模模型所无法比拟的“涌现能力”。越来越多的AI企业纷纷推出开源大模型，按照扩展定律实...
-
万字长文超全总结Pytorch核心操作！
在深度学习与人工智能领域，PyTorch已成为研究者与开发者手中的利剑，以其灵活高效的特性，不断推动着新技术的边界。对于每一位致力于掌握PyTorch精髓的学习者来说，深入了解其核心操作不仅是提升技能的关键，也是迈向高级应用与创新研究的必经之路。本文精心...
-
原作者带队，LSTM真杀回来了！
20 世纪 90 年代，长短时记忆（LSTM）方法引入了恒定误差选择轮盘和门控的核心思想。三十多年来，LSTM 经受住了时间的考验，并为众多深度学习的成功案例做出了贡献。然而，以可并行自注意力为核心 Transformer 横空出世之后，LSTM 自身所...
-
DriveWorld：一个预训练模型大幅提升检测+地图+跟踪+运动预测+Occ多个任务性能
本文经自动驾驶之心公众号授权转载，转载请联系出处。 写在前面 以视觉为中心的自动驾驶技术近期因其较低的成本而引起了广泛关注，而预训练对于提取通用表示至关重要。然而，当前的以视觉为中心的预训练通常依赖于2D或3D预训练任务，忽视了自动驾驶作为4D场景理解...
-
AlphaGo核心算法增强，7B模型数学能力直逼GPT-4，阿里大模型新研究火了
把AlphaGo的核心算法用在大模型上，“高考”成绩直接提升了20多分。 在MATH数据集上，甚至让7B模型得分超过了GPT-4。 一项来自阿里的新研究引发关注： 研究人员用蒙特卡洛树搜索（MCTS）给大语言模型来了把性能增强，无需人工标注解题步骤，也能...
-
时间序列概率预测的共形预测
前面我们介绍了用于时间序列概率预测的分位数回归，今天继续学习基于概率预测的时间序列概率预测方法--共形预测。 现实世界中的应用和规划往往需要概率预测，而不是简单的点估计值。概率预测也称为预测区间或预测不确定性，能够提供决策者对未来的不确定性状况有更好的认...
-
Stack Overflow 大规模封禁账号：只因大量用户反对与 OpenAI 的合作
编译丨诺亚 出品 | 51CTO技术栈（微信号：blog51cto） 久负盛名的开发者论坛Stack Overflow最近宣布其与OpenAI达成合作，ChatGPT 将使用 Stack Overflow 的数据，而 OpenAI...
-
理论+实践，带你了解分布式训练
本文分享自华为云社区《大模型LLM之分布式训练》，作者： 码上开花_Lancer。 随着语言模型参数量和所需训练数据量的急速增长，单个机器上有限的资源已无法满足大语言模型训练的要求。需要设计分布式训练（Distributed Training）系统来解决...
-
LLM全搞定！OmniDrive：集3D感知、推理规划于一体（英伟达最新）
本文经自动驾驶之心公众号授权转载，转载请联系出处。 写在前面&笔者的个人理解 这篇论文致力于解决当前多模态大语言模型 (MLLMs 在自动驾驶应用中存在的关键挑战，尤其是将MLLMs从2D理解扩展到3D空间的问题。由于自动驾驶车辆 (AVs ...
-
清华首个AI医院小镇来了！AI医生自进化击败人类专家，数天诊完1万名患者
斯坦福AI小镇曾火遍了全网，25个智能体生活交友，堪称现实版的「西部世界」。 而现在，AI「医院小镇」也来了！ 最近，来自清华团队的研究人员开发了一个名为「Agent Hospital」的模拟医院。 论文地址：https://arxiv.org/pdf...
-
港大开源图基础大模型OpenGraph 增强图学习泛化能力
香港大学数据智能实验室主任黄超团队开发了一款名为 OpenGraph 的图基础大模型，专注于在多种图数据集上进行零样本预测。该模型通过学习通用的图结构模式，仅通过前向传播即可对全新数据进行预测，有效缓解了图学习领域的数据饥荒问题。 关键特点: 强泛化能...
-
LidaRF：研究用于街景神经辐射场的激光雷达数据（CVPR'24）
本文经自动驾驶之心公众号授权转载，转载请联系出处。 光真实感模拟在自动驾驶等应用中发挥着关键作用，其中神经辐射场（NeRFs）的进步可能通过自动创建数字3D资产来实现更好的可扩展性。然而，由于街道上相机运动的高度共线性和在高速下的稀疏采样，街景的重建质...
-
港大开源图基础大模型OpenGraph: 强泛化能力，前向传播预测全新数据
图学习领域的数据饥荒问题，又有能缓解的新花活了！ OpenGraph，一个基于图的基础模型，专门用于在多种图数据集上进行零样本预测。 背后是港大数据智能实验室的主任Chao Huang团队，他们还针对图模型提出了提示调整技术，以提高模型对新任务的适应性。...
-
探索生成式人工智能的版权清算问题
想了解更多AIGC的内容，请访问： 51CTO AI.x社区 https://www.51cto.com/aigc/ 法院正在探讨并决定生成式人工智能是否侵犯版权。本文中，让我们来谈谈这到底意味着什么。 美国的版权法是一件复杂的事情。我们这些不是律师的...
-
绿色智能：人工智能驱动的全球环境解决方案创新
在我们寻求克服当今世界紧迫的环境挑战的过程中，人工智能(AI 脱颖而出，成为一股变革力量。被称为“绿色智能”的人工智能驱动技术，不仅重塑了我们在全球范围内解决污染、废物管理和自然资源保护的方式，而且正在彻底改变这种方式。通过利用人工智能的力量，我们可以...
-
Agent Hospital：一个先进的虚拟AI医院模拟平台
Agent Hospital是一个创新的虚拟AI医院平台，它通过模拟医院中的所有真实医疗流程，为医疗教育和临床决策提供了一个高效的训练和研究环境。该平台涵盖了从疾病发生到治疗与康复的整个医疗过程，包括分诊、挂号、咨询、检查、诊断、治疗和随访等关键环节。...
-
2024年，端到端自动驾驶在国内是否会有实质性的突破和进展？
本文经自动驾驶之心公众号授权转载，转载请联系出处。 毫不意外，随着Tesla V12在北美大范围推送以及凭借其良好的表现开始获得越来越多用户的认同，端到端自动驾驶也成为了自动驾驶行业里大家最为关注的技术方向。最近有机会和很多行业中的一流工程师，产品经理，...
-
一览Occ与自动驾驶的前世今生！首篇综述全面汇总特征增强/量产部署/高效标注三大主题
本文经自动驾驶之心公众号授权转载，转载请联系出处。 写在前面&笔者的个人理解 近年来，自动驾驶因其在减轻驾驶员负担和提高驾驶安全方面的潜力而越来越受到关注。基于视觉的三维占用预测是一种新兴的感知任务，适用于具有成本效益的自动驾驶感知系统，它可以...
-
OpenAI 打造媒体管理工具，让内容创作者可以选择退出 AI 训练
人工智能公司 OpenAI 近日表示，他们正在研发一款名为媒体管理（Media Manager）的工具，旨在让内容创作者更好地控制其作品在生成式人工智能训练中的使用。这一工具将允许创作者和内容所有者向 OpenAI 确认其作品，并指定希望这些作品是否包含在...
-
7262篇提交，ICLR 2024爆火，两篇国内论文获杰出论文提名
ICLR 全称为国际学习表征会议（International Conference on Learning Representations），今年举办的是第十二届，于 5 月 7 日至 11 日在奥地利维也纳展览会议中心举办。 在机器学习社区中，ICLR...
-
使用LLMLingua-2压缩GPT-4和Claude提示
想了解更多AIGC的内容，请访问： 51CTO AI.x社区 https://www.51cto.com/aigc/ 缩短发送给大型语言模型(LLM 的提示的长度可以减少推理时间并降低成本。这是提示压缩成为LLM研究的一个热门领域的原因。 清华大学和微...
-
微调和量化竟会增加越狱风险！Mistral、Llama等无一幸免
大模型又又又被曝出安全问题！ 近日，来自Enkrypt AI的研究人员发表了令人震惊的研究成果：量化和微调竟然也能降低大模型的安全性！ 论文地址：https://arxiv.org/pdf/2404.04392.pdf 在作者的实际测试中，Mistra...
-
LeCun转发，AI让失语者重新说话！纽约大学发布全新「神经-语音」解码器
脑机接口（BCI）在科研和应用领域的进展在近期屡屡获得广泛的关注，大家通常都对脑机接口的应用前景有着广泛的畅享。 比如，由于神经系统的缺陷造成的失语症不仅严重阻碍患者的日常生活，还可能限制他们的职业发展和社交活动。随着深度学习和脑机接口技术的迅猛发展，...
-
大数据和人工智能是如何合作的?
在当今数据驱动的世界中，大数据和人工智能之间的合作，对于希望获得竞争优势的组织变得越来越重要。大数据的特点是产生的数据量大、种类多、速度快，为人工智能算法提供了提取有价值见解和推动明智决策的原材料。总之，这两种变革性技术有可能彻底改变全球的行业。让我们...
-
用于时间序列概率预测的分位数回归
分位数回归满足这一需求，提供具有量化机会的预测区间。它是一种统计技术，用于模拟预测变量与响应变量之间的关系，特别是当响应变量的条件分布令人感兴趣时。与传统的回归方法不同，分位数回归侧重于估计响应变量的条件量值，而不是条件均值。 图(A : 分位数回归 分...
-
手机可跑，3.8B参数量超越GPT-3.5！微软发布Phi-3技术报告：秘密武器是洗干净数据
过去几年，借助Scaling Laws的魔力，预训练的数据集不断增大，使得大模型的参数量也可以越做越大，从五年前的数十亿参数已经成长到今天的万亿级，在各个自然语言处理任务上的性能也越来越好。 但Scaling Laws的魔法只能施加在「固定」的数据源上，...
-
硬核解决Sora的物理bug！美国四所顶尖高校联合发布：给视频生成器装个物理引擎
Sora刚发布后没多久，火眼金睛的网友们就发现了不少bug，比如模型对物理世界知之甚少，小狗在走路的时候，两条前腿就出现了交错问题，让人非常出戏。 对于生成视频的真实感来说，物体的交互非常重要，但目前来说，合成真实3D物体在交互中的动态行为仍然非常困难。...
-
AI教母李飞飞初创AI公司，开启最前沿AI算法研
最近的AI领域，又出现了大动作。 根据路透社5月4日消息，著名华人计算机科学家李飞飞正在建立一家初创公司。这家公司会利用类似人类对视觉数据的处理，使 AI 能够进行高级推理。这种AI算法使用的概念被称为“空间智能”。至于新公司的名字，还没有向外界披露。 一...
-
微调大语言模型的七个步骤
译者 | 布加迪 审校 | 重楼 在最近一年半的时间里，自然语言处理（NLP）领域发生了显著的变化，这主要得益于OpenAI的GPT系列等大语言模型（LLM）的兴起。 这些功能强大的模型已彻底改变了我们处理自然语言任务的方法，在翻译、情绪分析和文本自动...
-
人工智能如何帮助人类的可持续发展
人工智能是人类发展的重要组成部分，为实现可持续发展提供人工智能技术驱动的解决方案。人工智能系统的出现促进了对一些普遍存在的世界问题的方法和反应，如气候变化、资源管理和环境保护。人工智能的目标从最大限度地提高能源使用效率到提高环境监测绩效。一些人工智能驱...
-
人工智能会对网络安全造成严重破坏吗？
当人工智能领导者们争论什么是安全的人工智能以及这是否意味着我们正走上毁灭之路时，网络安全社区仍在努力思考如何才能最好地保护我们的企业和客户。人工智能带来了巨大的挑战和机遇、大量新应用和快速发展的威胁。这使得网络安全社区合作领先于不良行为者比以往任何时候...
-
MLP一夜被干掉！MIT加州理工等革命性KAN破记录，发现数学定理碾压DeepMind
一夜之间，机器学习范式要变天了！ 当今，统治深度学习领域的基础架构便是，多层感知器（MLP）——将激活函数放置在神经元上。 那么，除此之外，我们是否还有新的路线可走？ 就在今天，来自MIT、加州理工、东北大学等机构的团队重磅发布了，全新的神经网络结构...
-
12年前上手深度学习，Karpathy掀起一波AlexNet时代回忆杀，LeCun、Goodfellow等都下场
没想到，自 2012 年 AlexNet 开启的深度学习革命已经过去了 12 年。 而如今，我们也进入了大模型的时代。 近日，知名 AI 研究科学家 Andrej Karpathy 的一条帖子，让参与这波深度学习变革的许多大佬们陷入了回忆杀。从图灵奖得主...
-
关于人工智能，专家不愿透露的秘密!
如今，人工智能(AI 已经成为我们生活中不可分割的一部分。专家们通常会指出人工智能的优势，但可能不会很快提到这项技术的问题。本文将深入挖掘人工智能专家不愿意透露的隐藏秘密。 1.人工智能并非万无一失 虽然人工智能系统可以使数字更精确的许多倍,但并非完美...
-
看透物体的3D表示和生成模型：NUS团队提出X-Ray
项目主页：https://tau-yihouxiang.github.io/projects/X-Ray/X-Ray.html 论文地址：https://arxiv.org/abs/2404.14329 代码地址：https://github.com...
-
苹果 AI 计划曝光：更智能的 Siri 即将到来
苹果在人工智能领域看似起步较晚，但最近的传闻和报告表明，苹果一直在等待时机，准备迈出重要一步。 据报道，苹果正在与 OpenAI 和谷歌合作，同时也在研发自己的模型 Ajax 从苹果公布的 AI 研究来看，公司的 AI 战略逐渐清晰。近期有消息称，苹果计划...
-
AI可以改写人类基因组吗？首次由AI从头设计的基因编辑器成功编辑人类细胞中DNA
生成式 AI 可以对话、写诗、画图、做视频、作曲、写代码...... 那么，AI 可以改写人类基因组吗？ 现在，新的 AI 技术正在为可编辑 DNA 的微观生物机制绘制蓝图，这预示着未来科学家将以更高的精度和速度对抗疾病。 近日，美国 AI 蛋白质设计初...
-
AI学会隐藏思维暗中推理！不依赖人类经验解决复杂任务，更黑箱了
AI做数学题，真正的思考居然是暗中“心算”的? 纽约大学团队新研究发现，即使不让AI写步骤，全用无意义的“……”代替，在一些复杂任务上的表现也能大幅提升! 一作Jacab Pfau表示:只要花费算力生成额外token就能带来优势，具体选择了什么token无...
-
终于有人调查了小模型过拟合：三分之二都有数据污染，微软Phi-3、Mixtral 8x22B被点名
当前最火的大模型，竟然三分之二都存在过拟合问题？ 刚刚出炉的一项研究，让领域内的许多研究者有点意外。 提高大型语言模型的推理能力是当前研究的最重要方向之一，而在这类任务中，近期发布的很多小模型看起来表现不错，比如微软 Phi-3、Mistral 8x2...
-
专利大模型的实践与知识问答探索
一、专利大模型背景介绍 智慧芽一直致力于为科技创新和知识产权领域提供信息服务。在小型模型时代（如 Bert），参数量较少，智能理解方面存在局限性。因此，在着手开发大模型之前，智慧芽深入思考了领域聚焦的重要性。在知识产权领域，专利检索、专利对比、标引工作...
-
斯坦福李飞飞首次创业：学术休假两年，瞄准「空间智能」
没想到，在大模型时代，知名「AI 教母」李飞飞也要「创业」了，并完成了种子轮融资。 据路透社独家报道，著名计算机科学家李飞飞正在创建一家初创公司。该公司利用类似人类的视觉数据处理方式，使人工智能能够进行高级推理。 知情人士透露称，李飞飞最近为这家公司进行...
-
美国酝酿AI「登月计划」，陶哲轩领衔62页报告重磅发布！
就在刚刚，陶哲轩领衔的一份62页报告出炉了，总结和预测了AI对半导体、超导体、宇宙基础物理学、生命科学等领域带来的巨大改变。如果这些预测在几十年后能够实现，美国酝酿的AI「登月计划」就将成真。 就在刚刚，陶哲轩领衔的一份AI技术对全球研究潜在影响的技术报告...
-
神秘GPT模型引爆社区，GPT-4.5、GPT-5谣言满天飞，奥特曼在线围观
这场等待「GPT-5」的游戏啥时候才能结束? GPT-5啥时候来?估计是 AI 领域最关心的问题之一了。是像 Sora 一样毫无预兆的发布，还是我们可以从边角料的爆料中得知一点点信息，大家对未来将要发布的这一模型充满了期待。 但奥特曼在一次访谈中表示，Op...