-
GPT-2能监督GPT-4，Ilya带头OpenAI超级对齐首篇论文来了：AI对齐AI取得实证结果
人类无法监督超级人工智能，但人工智能可以。 过去一年，以「预测下一个 Token」为本质的大模型已经横扫人类世界的多项任务，展现了人工智能的巨大潜力。 在近日的一次访谈中，OpenAI 首席科学家 Ilya Sutskever 大胆预言，如果模型能够很好地...
-
扩散模型训练太难？来看看Meta AI最新提出的KNN-Diffusion
原文链接：https://www.techbeat.net/article-info?id=4323 作者：seven_ 最近AIGC社区中有趣的工作可谓是层出不穷，这都得益于扩散模型（Diffusion Models）的成功，扩散模型作为生成式AI...
-
当GPT-4V充当机器人大脑，可能你都没AI会规划
GPT-4V 已经能帮我们设计网站代码，控制浏览器，这些应用集中在虚拟数字世界中。假如我们把 GPT-4V 带入现实世界，让它作为控制机器人的大脑，会有什么有趣的结果呢？ 最近，来自清华大学交叉信息研究院的研究者提出「ViLa」算法，实现了让 GPT-4...
-
【多模态】5、BLIP | 统一理解与生成任务 为图像生成更高质量的文本描述
文章目录 一、背景 二、方法 2.1 模型结构 2.2 Pre-training Objectives 2.3 CapFilt 三、效果 3.1 训练细节 3.2 CapFilt 的效果 3.3 样本多样性是文本合成器的关键 3.4 参数...
-
ChatGPT唤醒AI游戏：AIGC持续走深，游戏或成AI最佳抓手
随着人工智能技术的不断发展，AI在游戏行业的应用日益深入。本文将详细探讨ChatGPT在AI游戏领域的应用，以及游戏如何成为AI技术的最佳抓手。让我们一起探讨这个有趣且充满潜力的领域。 一、引言 人工智能在各行各业都取得了巨大的成功，而游戏行业更是展...
-
田渊栋团队最新论文解决大模型部署难题 推理系统吞吐量提高近30倍！
田渊栋团队最新发表的论文解决了大型语言模型在实际部署中遇到的内存和输入长度限制的问题，将推理系统的吞吐量提高了近30倍。论文提出了一种实现KV缓存的新方法，通过识别和保留重要的tokens，显著减少了内存占用，并在长输入序列的任务中表现良好。 这篇论文的研...
-
吞吐量提升近30倍！田渊栋团队最新论文解决大模型部署难题
大型语言模型 （LLM） 在今年可谓是风光无限。不过惊艳的效果背后是一个巨大的模型以及夸张的硬件资源。 LLM在现实中部署时通常会面临两个难题：昂贵的KV缓存成本，以及对长序列的泛化能力差。 近日，田渊栋团队发表了一篇论文，成功解决以上两个难题，并将推理...
-
AI绘画后面的论文——ControlNet:Adding Conditional Control to Text-to-Image Diffusion Models
AI绘画后面的论文——ControlNet:Adding Conditional Control to Text-to-Image Diffusion Models 代码：lllyasviel/ControlNet: Let us control di...
-
向“创新者”升阶，程序员当下如何应对 AI 的挑战 | 京东云技术团队
随着 AI 技术的飞速发展，特别是大模型的出现，传统的程序员角色正在经历深刻的变革，我们不得不重新对自己进行审视和思考。 通用领域大模型的“泛化能力” 在过去的二十年内，AI 领域的大部分研究和应用都集中在完成一项特定的任务中，例如：分类图片、总结...
-
21Dak攻击：计算机顶会PLDI‘23 针对语义依附代码模型的对抗攻击方法：Destroyer篡改输入程序，Finder寻找关键特征，Merger关键特征注入【网安AIGC专题11.22】
Discrete Adversarial Attack to Models of Code 写在最前面 一些对关系抽取和事件抽取相关的启发和思考 摘要 总结与展望 课堂讨论 研究背景与意义 对抗攻击 针对代码模型的对抗攻击 Semanti...
-
AI震撼材料学！谷歌DeepMind新研究登Nature，一口气预测220万种新材料
只用一个AI，就获取了人类接近800年才能搞出来的知识成果！ 这是谷歌DeepMind新研究的一种材料发现工具，论文已经发表在Nature上。 仅凭这个AI工具，他们发现了220万种理论上稳定的新晶体材料，不仅将预测材料稳定性的准确率从50%拉高到80...
-
深度强化学习：智能机器中的头号玩家
Labs 导读 你是否想象过机器人也可以成为游戏领域的超级高手？是时候让你的幻想成为现实，深度强化学习这位头号玩家来啦！这是一个令人兴奋又神秘的领域，简单来说，它就是让计算机像人类一样学习和玩游戏。深度强化学习的学习过程就像是一场盛大的冒险，只不过主角...
-
腾讯牵头制定全球首个金融风控大模型国际标准
据腾讯云智能官方消息，11月30日，由腾讯主导发起的全球首个金融风险控制领域的大模型国际标准在深圳召开的 IEEE 金融风控大模型标准启动会上正式发布。这个标准旨在为金融机构的风控建模环节中应用 AI 大模型技术提供参考和指引，使金融机构能够在日益复杂和数...
-
AI颠覆材料学！DeepMind重磅研究登Nature，预测220万晶体结构赢人类800年
陶哲轩一直看好，ChatGPT将颠覆数学证明，而如今，AI在化学领域的潜力同样深不可测。 今天，220万种晶体结构完全被AI预测出来了。 这是什么概念？相当于近800年的知识价值。 谷歌DeepMind开发全新AI工具GNoME，能够预测新材料的稳定性，...
-
视频版ContorlNet来了！SparseCtrl增强AI生成视频可控性
在文本到视频（T2V）领域的最新研究中，SparseCtrl技术通过引入时间稀疏信号实现了对视频结构的灵活控制。传统的文本提示在空间不确定性方面存在问题，容易导致模糊的帧组合。 为了提高可控性，SparseCtrl采用了密集结构信号，如逐帧深度/边缘序列，...
-
机器学习 - 似然函数：概念、应用与代码实例
本文深入探讨了似然函数的基础概念、与概率密度函数的关系、在最大似然估计以及机器学习中的应用。通过详尽的定义、举例和Python/PyTorch代码示例，文章旨在提供一个全面而深入的理解。 关注TechLead，分享AI全维度知识。作者拥有10+...
-
LLaMA 的学习笔记
LLaMA 是一种用于自然语言处理的深度学习模型，它的全称是 Language Learning with Adaptive Multi-task Architecture。它的主要特点是能够根据不同的任务自适应地调整模型结构和参数，从而提高模型的泛化能力...
-
AI测试｜史上最全，细数AIGC在测试领域落地的困难点
一、引言&背景 自2022年由横空出世的ChatGPT引发的各类AIGC（Generative AI）爆发以来，人们对其在各个领域的应用潜力产生了极大的兴趣。在研发领域，各种研究已经证明了Github Copilot在研发效能提高上的积极作用。...
-
机器学习中常用的几种回归算法及其特点
回归是统计学中最有力的工具之一，机器学习监督学习算法分为分类算法和回归算法两种。回归算法用于连续型分布预测，可以预测连续型数据而不仅仅是离散的类别标签。 在机器学习领域，回归分析应用非常广泛，例如商品的销量预测问题，交通流量预测问题、预测房价、未来的天气...
-
【城南】如何识别AI生成图？视觉AIGC伪造检测技术综述
图片无法加载可参考阅读：知乎文章 [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-Ry2Qw8uO-1685675351028 (https://r3mu87a8e6.feishu.cn/space/api/box/stre...
-
Open Vocabulary Detection 开放世界目标检测竞赛 2023获胜团队方案分享
OVD技术简介 目标检测是计算机视觉领域中的一项核心任务，其主要目标是让计算机能够自动识别图片中目标的类别，并准确标示每个目标的位置。目前，主流的目标检测方法主要针对闭集目标的开发，即在任务开始之前需要对待检测目标进行类别定义，并进行人工数据标注，通...
-
Distil-Whisper：比Whisper快6倍，体积小50%的语音识别模型
内容来源：@xiaohuggg Distil-Whisper：比Whisper快6倍，体积小50%的语音识别模型 该模型是由Hugging Face团队开发，它在Whisper核心功能的基础上进行了优化和简化，体积缩小了50%。速度提高了6倍。并...
-
Grounding dino + segment anything + stable diffusion 实现图片编辑
目录 总体介绍 总体流程 模块介绍 目标检测： grounding dino 目标分割：Segment Anything Model (SAM 整体思路 模型结构： 数据引擎 图片绘制 集成 样例 其他问题 附录 总体介绍...
-
揭秘百度文心一言大模型：设计、应用与实战
导言 在当今的深度学习领域，大型预训练模型如GPT、BERT等已经取得了显著的进展。而百度公司的文心一言大模型，作为一款基于Transformer结构的巨型模型，也在自然语言处理领域产生了重大影响。本文将详细介绍文心一言大模型的设计原理、特点以及应用场...
-
「无需配对数据」就能学习！浙大等提出连接多模态对比表征C-MCR
多模态对比表示（multi-modal contrastive representation, MCR）的目标是将不同模态的输入编码到一个语义对齐的共享空间中。 随着视觉-语言领域中CLIP模型的巨大成功，更多模态上的对比表征开始涌现出来，并在诸多下游任...
-
什么是 AIGC，只能用于 AI 绘画吗？
2023 年，像是技术井喷的一年，在上半年的时间里，尤其是人工智能领域，大模型 ChatGPT 的爆火，随之让普罗大众了解到 AIGC（Artificial Intelligence Generated Content，生成式人工智能），但对于 AIGC...
-
Insight量子位智库 ✪ AIGC/Al生成内容产业展望报告
AIGC全称为 Al-Generated Content，指基于生成对抗网络GAN、大型预训练模型等人工智能技术，通过已有数据寻找规律，并通过适当的泛化能力生成相关内容的技术。与之相类似的概念还包括Synthetic media，合成式媒体，主要指基...
-
CVPR 2023 | 去雨去噪去模糊，图像low-level任务，视觉AIGC系列
Learning A Sparse Transformer Network for Effective Image Deraining 基于Transformer的方法在图像去雨任务中取得了显著的性能，因为它们可以对重要的非局部信息进行建模，这对...
-
一招分辨刷榜作弊大模型，博士小哥开源AI数学“照妖镜”
如今很多大模型都声称擅长数学，谁有真才实学？谁是靠背测试题“作弊”的？ 有人在今年刚刚公布题目的匈牙利全国数学期末考试上做了一把全面测试。 很多模型一下子就“现原形”了。 先看绿色部分，这些大模型在经典数学测试集GSM8k和全新卷子上取得的成绩差不多，...
-
实时文生图速度提升5-10倍，清华LCM/LCM-LoRA爆火，浏览超百万
文生图、图生图已经不是什么新鲜事。但在使用这些工具的过程中，我们发现它们通常运行缓慢，导致我们要等一段时间才能拿到生成结果。 但最近，一种名叫「LCM」的模型改变了这种情况，它甚至能做到实时的连续生图。 图源：https://twitter.com/...
-
北大全新「机械手」算法：辅助花式抓杯子，GTX 1650实现150fps推断
手是人类与世界交互的重要部分，手的缺失（如上肢残障）会大大影响人类的正常生活。 北京大学董豪团队通过将扩散模型和强化学习结合，使机械手能根据人手腕部的移动轨迹，自适应的抓取物体的不同部位，满足人类多样化的抓取需求，目前该工作已被NeurIPS 2023接...
-
基于LLaMA却改张量名，李开复公司大模型引争议，官方回应来了
前段时间，开源大模型领域迎来了一个新的模型 —— 上下文窗口大小突破 200k，能一次处理 40 万汉字的「Yi」。 这个大模型由创新工场董事长兼 CE0 李开复创立的大模型公司「零一万物」构建，包括了 Yi-6B 和 Yi-34B 两个版本。 根据 H...
-
微软AI研究提出AI模型HMD-NeMo：可基于部分手部动作准确生成全身动作
在混合现实场景中，生成准确和真实的全身虚拟角色动作一直是一个持久性的挑战。传统解决方案通常使用头戴式设备（HMDs），依赖有限的输入信号，如头部和手部的6自由度(DoF 。然而，最近的进展在从头部和手部信号生成全身动作方面取得了令人印象深刻的表现。然而，它...
-
通用异常检测新曙光：华科大等揭秘GPT-4V的全方位异常检测表现
异常检测任务旨在识别明显偏离正常数据分布的异常值，在工业检验、医学诊断、视频监控和欺诈检测等多个领域都发挥了重要作用。传统的异常检测方法主要依赖于描述正常数据分布以进行正异常样本的区分。然而，对于实际的应用而言，异常检测也需要理解数据的高层语义，从而深入...
-
AIGC实战——卷积神经网络(Convolutional Neural Network, CNN)
AIGC实战——卷积神经网络 0. 前言 1. 卷积神经网络 1.1 卷积层 1.2 叠加卷积层 1.3 检查模型 2. 批归一化 2.1 协变量漂移 2.2 使用批归一化进行训练 2.3 使用批归一化进行预测 3. Dropout 4...
-
让AI模型成为GTA五星玩家，基于视觉的可编程智能体Octopus来了
电子游戏已经成为如今现实世界的模拟舞台，展现出无限可能。以游戏《侠盗猎车手》（GTA）为例，在 GTA 的世界里，玩家可以以第一人称视角，在洛圣都(游戏虚拟城市 当中经历丰富多彩的生活。然而，既然人类玩家能够在洛圣都里尽情遨游完成若干任务，我们是否也能有一...
-
李飞飞团队新作：脑控机器人做家务，让脑机接口具备少样本学习能力
未来也许只需动动念头，就能让机器人帮你做好家务。斯坦福大学的吴佳俊和李飞飞团队近日提出的 NOIR 系统能让用户通过非侵入式脑电图装置控制机器人完成日常任务。 NOIR 能将你的脑电图信号解码为机器人技能库。它现在已能完成例如烹饪寿喜烧、熨衣服、磨奶酪、...
-
UniPAD：通用自动驾驶预训练模式！各类感知任务都可支持
本文经自动驾驶之心公众号授权转载，转载请联系出处。 最近，新论文推陈出新的速度着实太快有点读不过来的感觉。可以看到的是，语言视觉多模态大模型融合已经是业界共识了，UniPad 这篇文章就比较有代表性，多模态的输入，类世界模型的预训练基座模型，同时又方便扩...
-
用语言对齐多模态信息，北大腾讯等提出LanguageBind，刷新多个榜单
在现代社会，信息传递和交流不再局限于单一模态。我们生活在一个多模态的世界里，声音、视频、文字和深度图等模态信息相互交织，共同构成了我们丰富的感知体验。这种多模态的信息交互不仅存在于人类社会的沟通中，同样也是机器理解世界所必须面对的挑战。 如何让机器像人类...
-
大模型勇闯洛圣都，加封「GTA五星好市民」！南洋理工、清华等发布视觉可编程智能体Octopus：打游戏、做家务全能干
随着游戏制作技术的不断发展，电子游戏已然成为现实世界的模拟舞台。 以游戏《侠盗猎车手》（GTA）为例，在GTA的世界里，玩家可以以第一人称视角，在洛圣都（游戏虚拟城市）当中经历丰富多彩的生活。 然而，既然人类玩家能够在洛圣都里尽情遨游完成若干任务，我们...
-
知识图谱与大模型相结合的3种方法，1+1>2
本文分享自华为云社区《知识图谱与大模型结合方法概述》，作者： DevAI 。 《Unifying Large Language Models and Knowledge Graphs: A Roadmap》总结了大语言模型和知识图谱融合的三种路线：1）K...
-
语音识别技术发展的驱动力：语音数据的采集和处理
语音识别技术是一项基于人工智能的技术，通过计算机对人的语音进行分析和处理，将语音转化成文字，以此达到自动化处理的目的。语音识别技术的应用广泛，包括智能助手、语音导航、语音搜索、电话自动语音应答等等。但是要实现高质量的语音识别，一个非常重要的因素就是语音数据...
-
马毅、沈向洋联手，首届CPAL开奖！16人获新星奖，华人学者占据半壁江山
就在昨天，首届CPAL简约学术会议，正式公布了新星奖获奖者名单！ CPAL专注于解决机器学习、信号处理、优化等领域中普遍存在的简约、低维结构问题，并探索低维结构在智能硬件与系统、交叉科学和工程等新兴方向的应用。 创办这个会议的出发点，就是将其设计为一个...
-
让大模型自主探索开放世界，北大&智源提出训练框架LLaMA-Rider
大语言模型因其强大而通用的语言生成、理解能力，展现出了成为通用智能体的潜力。与此同时，在开放式的环境中探索、学习则是通用智能体的重要能力之一。因此，大语言模型如何适配开放世界是一个重要的研究问题。 北京大学和北京智源人工智能研究院的团队针对这个问题提出了...
-
北大&智源提出训练框架LLaMA-Rider 让大模型自主探索开放世界
北京大学和北京智源人工智能研究院的团队提出了名为LLaMA-Rider的训练框架，旨在让大型语言模型在开放世界中具备自主探索和学习任务的能力。这个框架通过反馈-修改机制来实现主动探索，使模型在环境中接收反馈信息，不断调整决策，从而逐渐适应开放环境。 项目...
-
交叉验证太重要了！
首先需要搞明白，为什么需要交叉验证？ 交叉验证是机器学习和统计学中常用的一种技术，用于评估预测模型的性能和泛化能力，特别是在数据有限或评估模型对新的未见数据的泛化能力时，交叉验证非常有价值。 那么具体在什么情况下会使用交叉验证呢？ 模型性能评估：交叉...
-
谷歌DeepMind力证：GPT-4终局是人类智慧总和！Transformer模型无法超越训练数据进行泛化
Transformer模型是否能够超越预训练数据范围，泛化出新的认知和能力，一直是学界争议已久的问题。 最近谷歌DeepMind的3位研究研究人员认为，要求模型在超出预训练数据范围之外泛化出解决新问题的能力，几乎是不可能的。 LLM的终局就是人类智慧总和...
-
北大具身智能新成果：无需训练，听指令就能灵活走位
北京大学董豪团队具身导航最新成果来了： 无需额外建图和训练，只需说出导航指令，如： Walk forward across the room and walk through the panty followed by the kitchen. Stan...
-
什么是机器学习中的正则化？
1. 引言 在机器学习领域中，相关模型可能会在训练过程中变得过拟合和欠拟合。为了防止这种情况的发生，我们在机器学习中使用正则化操作来适当地让模型拟合在我们的测试集上。一般来说，正则化操作通过降低过拟合和欠拟合的可能性来帮助大家获得最佳模型。 在本文...
-
大模型: 模型大了难在哪里？
大家好，我是Tim。 自从GPT模型诞生以来，其参数规模就在不停的扩大。但模型并非简单的直接变大，需要在数据、调度、并行计算、算法和机器资源上做相应的改变。 今天就来总结下，什么是大模型，模型变大的难在哪里以及对于CV/NLP或者搜推广场景上有什么应对策...