-
OpenAI与开源多语言嵌入模型，你选择哪一家？
译者 | 朱先忠 审校 | 重楼 出品 | 51CTO技术栈（微信号：blog51cto） 本文对OpenAI的多个嵌入模型与多家开源的多语言嵌入模型进行了综合比较，帮助你最终选择最适合自己的大数据开发模型。 1.引言 OpenAI最近发布了他们的...
-
7B模型超越GPT4-V！港科大等发布「图推理问答」数据集GITQA：视觉图可提升推理能力
图神经网络（GNNs）擅长利用图的结构信息进行推理，但它们通常需要特定于领域的调优才能达到峰值性能，这阻碍了它们在不同任务之间的泛化性。 相比之下，基于大型语言模型（LLM）的图推理具有更强的跨任务和泛化能力，但它们在特定任务上的性能往往逊色于专用的图...
-
复旦等发布AnyGPT：任意模态输入输出，图像、音乐、文本、语音都支持
最近，OpenAI 的视频生成模型 Sora 爆火，生成式 AI 模型在多模态方面的能力再次引起广泛关注。 现实世界本质上是多模态的，生物体通过不同的渠道感知和交换信息，包括视觉、语言、声音和触觉。开发多模态系统的一个有望方向是增强 LLM 的多模态感知...
-
Meta AI提出MobileLLM:为在移动设备上部署LLM提供新思路
Meta AI 研究团队推出的 MobileLLM 标志着大语言模型（LLMs）朝着模拟人类理解和生成自然语言迈出了革命性的一步。LLMs 在处理和分析大量数据集方面的能力已经显著影响了自动化客户服务、语言翻译和内容创作等多个领域。然而，由于传统 LLMs...
-
从AI推理性能优化角度看LLaMA的模型结构和源码
本篇文章讲讲LLaMA的结构，已经有很多文章已经对LLaMA在一些结构上任务表现上做了一些解析，本文主要从优化的角度、实现kernel的角度解析一下LLaMA，读者事先对transformer的结构有基本认识最好。本文首发于我的公众号“AI不止算法”，文章...
-
李飞飞，最火AI女王
黄仁勋又出手了。 最近，英伟达宣布成立一个新研究部门——通用具身智能体研究实验室GEAR。令人意外的是，该实验室的领导者是两位华人90后博士——范麟熙（Jim Fan）和朱玉可(Yuke Zhu 。 范麟熙和朱玉可身上标签很多，但最为鲜明还是一点:李飞飞的...
-
清华、哈工大把大模型压缩到了1bit，把大模型放在手机里跑的愿望就快要实现了！
自从大模型火爆出圈以后，人们对压缩大模型的愿望从未消减。这是因为，虽然大模型在很多方面表现出优秀的能力，但高昂的的部署代价极大提升了它的使用门槛。这种代价主要来自于空间占用和计算量。「模型量化」 通过把大模型的参数转化为低位宽的表示，进而节省空间占用。目...
-
北大发起复现Sora，框架已搭！袁粒田永鸿领衔，AnimateDiff大神响应
重磅： 北大团队联合兔展发起了一项Sora复现计划——Open Sora。 框架、实现细节已出： 初始团队一共13人： 带队的是北大信息工程学院助理教授、博导袁粒和北大计算机学院教授、博导田永鸿等人。 为什么发起这项计划？ 因为资源有限，团队希望集结...
-
ControlNet作者又出新作：百万数据训练，AI图像生成迎来图层设计
尽管用于生成图像的大模型已经成为计算机视觉和图形学的基础，但令人惊讶的是，分层内容生成或透明图像（是指图像的某些部分是透明的，允许背景或者其他图层的图像通过这些透明部分显示出来）生成领域获得的关注极少。这与市场的实际需求形成了鲜明对比。大多数视觉内容编辑...
-
模型偏好只与大小有关？上交大全面解析人类与32种大模型偏好的定量组分
在目前的模型训练范式中，偏好数据的的获取与使用已经成为了不可或缺的一环。在训练中，偏好数据通常被用作对齐（alignment）时的训练优化目标，如基于人类或 AI 反馈的强化学习（RLHF/RLAIF）或者直接偏好优化（DPO），而在模型评估中，由于任务...
-
【视觉AIGC识别】误差特征、人脸伪造检测、其他类型假图检测
视觉AIGC识别——人脸伪造检测、误差特征 + 不可见水印 前言 视觉AIGC识别 【误差特征】DIRE for Diffusion-Generated Image Detection 方法 扩散模型的角色 DIRE作为检测指标 实验结果...
-
给AI Agent完整的一生！港大NYU谢赛宁等最新智能体研究：虚拟即现实
【新智元导读】近日，来自香港大学的Jihan Yang和纽约大学的谢赛宁等人发表了新的成果，将真实世界的地图、街景等各种信息融入Agent所在的虚拟世界，为智能体的未来赋予了无限可能。 怎样能构建更强大的AI Agent? 答案是给他们一个完整而真实的世界...
-
Meta AI 发布 MMCSG数据集：使用 Project Aria 捕获的 25 小时以上的双向对话
Meta AI 最近发布了 MMCSG 数据集，该数据集包含使用 Project Aria 录制的25小时以上的双向对话。CHiME-8MMCSG 任务的重点是转录使用智能眼镜录制的对话，这些眼镜配备了多个传感器，包括麦克风、摄像头和惯性测量单元（IMUs...
-
微软推出付费版Copilot
关注卢松松，会经常给你分享一些我的经验和观点。 微软已经超越苹果，成了全球市值最高的公司，其他公司都因为AI大裁员，而微软正好相反，当然这个原因很简单：就是微软强制把AI全面接入到系统里来了。而Copilot首当其冲！ 微软推出了付费版Cop...
-
ControlNet作者新作：AI绘画能分图层了，项目未开源就斩获660 Star
“绝不是简单的抠图。” ControlNet作者最新推出的一项研究受到了一波高度关注—— 给一句prompt，用Stable Diffusion可以直接生成单个或多个透明图层（PNG）! 例如来一句: 可以看到，AI不仅生成了符合prompt的完整图像...
-
基于大型语言模型和向量数据库开发新闻推荐系统
译者 | 朱先忠 审校 | 重楼 近年来，随着诸如ChatGPT、Bard等生成式人工智能工具的发布，大型语言模型（LLM）在机器学习社区引起了全球热议。这些解决方案背后的核心思想之一是计算非结构化数据（如文本和图像）的数字表示，并找出这些表示之间的相似...
-
企业如何管理生成式人工智能风险？
去年，生成式人工智能的采用率急剧上升。虽然该技术有望实现创新和生产力，但数据安全和泄露的风险却困扰着组织。与生成式人工智能相关的一些风险包括数据滥用、数据泄露和数据中毒。这是因为生成式人工智能是一种大型语言模型(LLM ，它依赖于大量数据来产生输出。随...
-
Stable Diffusion官网体验入口 AI图像生成工具网页版免费使用地址
Stable Diffusion是一个深度学习模型，可根据用户输入的文本描述生成高质量的逼真图像。用户可以免费在线使用 Stable Diffusion，生成各种类型的艺术图像。 点击前往Stable Diffusion官网体验入口 谁可以从Stable...
-
VPR 2024 满分论文！Meta提出EfficientSAM：快速分割一切！
本文经自动驾驶之心公众号授权转载，转载请联系出处。 EfficientSAM 这篇工作以5/5/5满分收录于CVPR 2024！作者在某社交媒体上分享了该结果，如下图所示： LeCun 图灵奖得主也强烈推荐了该工作！ 在最近的一项研究中，Meta...
-
对抗「概念飘逸」难题！谷歌发布全新时间感知框架：图像识别准确率提升15%
在机器学习领域，概念漂移（concept drift）问题长期困扰着研究者，即数据分布随时间发生变化，使得模型难以持续有效。 一个显著的例子是CLEAR非稳态学习基准的图像展示，它揭示了物体视觉特征在十年间发生的显著变化。 这种现象被称为「缓慢的概念漂移...
-
一文搞懂：AI、机器学习与深度学习的联系与区别
在当今科技日新月异的浪潮中，人工智能（Artificial Intelligence, AI）、机器学习（Machine Learning, ML）与深度学习（Deep Learning, DL）如同璀璨星辰，引领着信息技术的新浪潮。这三个词汇频繁出现在...
-
微软与前谷歌CEO支持AI对齐初创公司Synth Labs，让AI系统按人类预期工作
在人工智能软件领域，系统并不总是按照其开发者的意愿行动，这一潜在危险已经引起了一些科技巨头的关注。近期，微软与前谷歌CEO埃里克·施密特（Eric Schmidt）联手支持了一家名为Synth Labs的初创公司，致力于解决这一对齐问题。 Synth L...
-
AI在工业领域中的关键作用
对于许多维护和控制工程师来说，人工智能(AI 并不是一个新概念。那些在数字化转型之路上走得更远的人已经非常熟悉机器学习(ML 技术，该技术通过分析来自众多来源的大型数据集来制定预测性维护策略，以帮助企业做出更明智的决策。 同样，在一系列应用中使用大型情...
-
英伟达CEO呼吁建立主权AI基础设施
人工智能(AI 热潮将英伟达(Nvidia 的股价推至历史新高。英伟达的GPU是支持人工智能工作负载的重要硬件。该公司的崛起也使得英伟达创始人兼首席执行官黄仁勋在人工智能市场上的影响力更大。 在最近的迪拜世界政府峰会上，黄仁勋分享了他的观点，即每个国家...
-
【AIGC】AutoKeras 进行 RNN 循环神经网络训练
由于最近这些天都在人工审查之前的哪些问答数据，所以迟迟都没有更新 AutoKeras 的训练结果。现在那部分数据都已经整理好了，20w+ 的数据最后能够使用的高质量数据只剩下 2k+。这 2k+ 的数据已经经过数据校验并且对部分问题的提问方式和答案内容进行...
-
ControlNet作者新作：AI绘画能分图层了！项目未开源就斩获660 Star
“绝不是简单的抠图。” ControlNet作者最新推出的一项研究受到了一波高度关注—— 给一句prompt，用Stable Diffusion可以直接生成单个或多个透明图层（PNG）！ 例如来一句： 头发凌乱的女性，在卧室里。Woman with me...
-
如何使用小型自动生成的数据集训练编码LLM
译者 | 李睿 审校 | 重楼 虽然像GPT-4这样的大型语言模型(LLM 在编写软件代码方面非常精通，但是这些模型的成本和不透明性激发了人们对更加经济、规模更小的编码LLM的兴趣。 这些替代方案可以针对特定任务进行微调，并且成本很低。开发这些LLM的...
-
使用Rust的Linfa和Polars库进行机器学习：线性回归
在这篇文章中，我们将使用Rust的Linfa库和Polars库来实现机器学习中的线性回归算法。 Linfa crate旨在提供一个全面的工具包来使用Rust构建机器学习应用程序。 Polars是Rust的一个DataFrame库，它基于Apache Ar...
-
Lighthouse推出智能摘要，利用生成式AI为酒店提供日常业绩简报
Lighthouse（前身为OTA Insight）日前宣布推出智能摘要，这是一项利用生成AI技术的新功能，旨在为酒店业提供更便捷、易读的日常业绩简报。作为旅行和酒店行业的领先商业平台，Lighthouse通过此次创新进一步巩固了其在行业中的领导地位。...
-
陈丹琦团队新作：Llama-2上下文扩展至128k，10倍吞吐量仅需1/6内存
陈丹琦团队刚刚发布了一种新的LLM上下文窗口扩展方法： 它仅用8k大小的token文档进行训练，就能将Llama-2窗口扩展至128k。 最重要的是，在这个过程中，只需要原来1/6的内存，模型就获得了10倍吞吐量。 除此之外，它还能大大降低训练成本：...
-
Magika:基于AI支持的文件类型检测工具，依靠深度学习提供准确的检测
数字化时代，对我们所遇到的文件进行准确识别至关重要，这涉及到用户安全和信息保护的方方面面。然而，在处理众多文件格式时，如何准确迅速地检测文件内容成为一项挑战。现有方法可能并不总是高效或准确，可能导致潜在风险或误分类。 Magika作为一种创新的文件类型检测...
-
英伟达发布Nemotron-4:150亿参数通用大模型，目标单张A100/H100可跑
英伟达最新推出的Nemotron-4语言模型引起广泛关注。这一通用大模型拥有150亿参数，经过在8T token上的训练，在英语、多语言和编码任务中表现出色。具体而言，Nemotron-4在7个评估基准上的15B模型表现优异，超越同等参数规模的模型，甚至击...
-
研究人员开发AI攻击方法BEAST：可在一分钟内绕过LLM防护栏
研究人员在美国马里兰大学成功开发了一种高效的方法，可以在一分钟内诱导大型语言模型（LLM）产生有害反应，他们将这一技术命名为BEAST(BEAm Search-based adversarial aTtack 。BEAST技术利用Nvidia RTX A6...
-
英伟达最强通用大模型Nemotron-4登场！15B击败62B，目标单张A100/H100可跑
最近，英伟达团队推出了全新的模型Nemotron-4，150亿参数，在8T token上完成了训练。 值得一提的是，Nemotron-4在英语、多语言和编码任务方面令人印象深刻。 论文地址：https://arxiv.org/abs/2402.1681...
-
金融分析多模态LLM FinTral:基于Mistral-7B模型 得分接近GPT-4
近日，来自不列颠哥伦比亚大学和Invertible AI的研究人员推出了一款具有突破性的大型语言模型（LLM）——FinTral，专为金融领域量身定制。FinTral采用了多模态方法，能够处理文本、数字、表格和视觉数据，以应对金融文件的复杂性。该模型引入了...
-
解锁SLAM新纪元！基于NeRF和3D GS方法综述
本文经自动驾驶之心公众号授权转载，转载请联系出处。 写在前面&笔者的个人理解 在过去的二十年里，SLAM领域的研究经历了重大的发展，突出了其在实现未知环境的自主探索方面的关键作用。这种演变从手工制作的方法到深度学习时代，再到最近专注于神经辐射场...
-
视频生成模型Sora的全面解析：从AI绘画、ViT到ViViT、DiT、VDT、NaViT、VideoPoet
前言 真没想到，距离视频生成上一轮的集中爆发(详见《Sora之前的视频生成发展史：从Gen2、Emu Video到PixelDance、SVD、Pika 1.0》 才过去三个月，没想OpenAI一出手，该领域又直接变天了 自打2.16日OpenAI发...
-
AIGC专栏9——Scalable Diffusion Models with Transformers （DiT）结构解析
AIGC专栏9——Scalable Diffusion Models with Transformers （DiT）结构解析 学习前言 源码下载地址 网络构建 一、什么是Diffusion Transformer (DiT 二、DiT的组成...
-
AI技术的发展，对数字经济到底有什么用？
人工智能(AI 产业是数字经济的重要组成部分。企业在数字化转型的早期实践中，比较关心基础类数据应用，比如基于查数、用数的管理支持或流程支持。 数据本身即产品，这是不少从事数字化工作者的直观逻辑。当数据治理完成后，能够看到这些数据并清楚地知道这些数据的真...
-
远超 IVF_FLAT、HNSW，ScaNN 索引算法赢在哪？
Faiss 实现的 ScaNN，又名 FastScan，它使用更小的 PQ 编码和相应的指令集，可以更为友好地访问 CPU 寄存器，展示出优秀的索引性能。 Milvus 从 2.3 版本开始，在 Knowhere 中支持了 ScaNN 算法，在各项 be...
-
千卡利用率超98%，详解JuiceFS在权威AI测试中的实现策略
2023 年 9 月，AI 领域的权威基准评测 MLPerf 推出了 Storage Benchmark。该基准测试通过模拟机器学习 I/O 负载的方法，在不需要 GPU 的情况下就能进行大规模的性能压测，用以评估存储系统的在 AI 模型训练场景的适用性。...
-
GenAI步步紧逼，数据治理如何进化？
作者 | Isaac Sacolick 编辑 | 言征 出品 | 51CTO技术栈（微信号：blog51cto） 数据治理涵盖一系列学科，包括数据安全、管理、质量和编目。这种做法需要定义使用策略、创建主数据源、分析数据集、记录字典以及监督数据生命周期...
-
谷歌开源大模型Gemma带来了什么，原来“中国制造”的机会早已到来
谷歌罕见open的AI，给开源大模型到底带来了什么？ Gemma从发布到现在已经时过四日，谷歌久违的这次开源，可谓是给全球科技圈投下了一枚重磅炸弹。 在最初发布之际，不论是从谷歌官方还是Jeff Dean的发文来看，都强调的是Gemma 7B已经全面超越...
-
【AIGC】Stable Diffusion的模型微调
为什么要做模型微调 模型微调可以在现有模型的基础上，让AI懂得如何更精确生成/生成特定的风格、概念、角色、姿势、对象。Stable Diffusion 模型的微调方法通常依赖于您要微调的具体任务和数据。 下面是一个通用的微调过程的概述： 准备数据集：...
-
与人类贴身热舞！人形机器人进阶到街头耍宝，6华人组团出品
注意看，小帅一个转身，卫衣帽子里面居然 空 无 一 头： 好啦，这不是惊悚恐怖片，而是来自UCSD（加州大学圣地亚哥分校）全华人团队的最新研究成果。 他们提出一种特别的全身控制策略（ExBody），能对人形机器人进行全身控制。策略主要训练人形机器人上半...
-
直接干上车！DriveVLM：首个Orin部署的快慢双系统智驾大模型
本文经自动驾驶之心公众号授权转载，转载请联系出处。 写在前面&笔者的个人理解 在目前自动驾驶领域，传统的感知（perception）-预测（prediction）-规划（planning）的常规端到端自动驾驶在处理常规场景时表现尚可，但在面对复...
-
谷歌发布基础世界模型：11B参数，能生成可交互虚拟世界
Sora 问世才不到两个星期，谷歌的世界模型也来了，能力看起来更强大：它生成的虚拟世界「自主可控」。 刚刚，谷歌定义了生成式 AI 的全新范式 —— 生成式交互环境（Genie，Generative Interactive Environments）。G...
-
微软发布PyRIT，用于识别生成式AI系统中的风险
2月26日消息，据外媒报道，微软发布了一个名为PyRIT的开放访问自动化框架，用于主动识别生成式AI系统中的风险。 微软人工智能红色团队负责人Ram Shankar Siva Kumar表示，红色团队工具旨在“使全球每个组织都能利用最新的人工智能进步进...
-
AIGC实战——扩散模型(Diffusion Model)
AIGC实战——扩散模型 0. 前言 1. 去噪扩散概率模型 1.1 Flowers 数据集 1.2 正向扩散过程 1.3 重参数化技巧 1.4 扩散规划 1.5 逆向扩散过程 2. U-Net 去噪模型 2.1 U-Net 架构 2.2...
-
MATRIX：社会模拟推动大模型价值自对齐，比GPT4更「体贴」
模型如 ChatGPT 依赖于基于人类反馈的强化学习（RLHF），这一方法通过鼓励标注者偏好的回答并惩罚不受欢迎的反馈，提出了一种解决方案。然而，RLHF 面临着成本高昂、难以优化等问题，以及在超人类水平模型面前显得力不从心。为了减少乃至消除对人类监督的...