-
ChatGPT参数规模被扒：只有7B
ChatGPT惨遭攻击，参数规模终于被扒出来了—— 很可能只有7B（70亿）。 消息来自南加州大学最新研究，他们使用一种攻击方法，花费不到1000美元就把最新版gpt-3.5-turbo模型的机密给挖了出来。 果然，OpenAI不Open，自有别人帮他...
-
如何把大量物理知识塞给AI？EIT和北大团队提出「规则重要性」概念
深度学习模型因其能够从大量数据中学习潜在关系的能力而「彻底改变了科学研究领域」。然而，纯粹依赖数据驱动的模型逐渐暴露出其局限性，如过度依赖数据、泛化能力受限以及与物理现实的一致性问题。 例如，美国OpenAI公司开发的文本到视频模型Sora因深刻理解事物...
-
新智元 | Stable Diffusion 3技术报告流出，Sora构架再立大功！生图圈开源暴打Midjourney和DALL·E 3？
本文来源公众号“新智元”，仅用于学术分享，侵权删，干货满满。 原文链接：Stable Diffusion 3技术报告流出，Sora构架再立大功！生图圈开源暴打Midjourney和DALL·E 3？ 【新智元导读】Stability AI放出了号称能暴...
-
自适应剪枝让多模态大模型加速2-3倍，哈工大等推出SmartTrim
基于 Transformer 结构的视觉语言大模型（VLM）在各种下游的视觉语言任务上取得了巨大成功，但由于其较长的输入序列和较多的参数，导致其相应的计算开销地提升，阻碍了在实际环境中进一步部署。为了追求更为高效的推理速度，前人提出了一些针对 VLM 的...
-
WhisperKit官网体验入口 iOS和macOS语音AI识别工具包下载地址
WhisperKit是一个基于Whisper项目的推理工具包，由Argmax公司推出。它允许在iOS和macOS应用程序中进行语音识别和转录。该项目的目标是收集开发者反馈，并在几周内发布一个稳定的候选版本，以加速设备上推理的生产化。 点击前往Whispe...
-
Stable Diffusion 3 架构细节大揭秘
在众多前沿成果都不再透露技术细节之际，Stable Diffusion 3 论文的发布显得相当珍贵。 Stable Diffusion 3 的论文终于来了！ 这个模型于两周前发布，采用了与 Sora 相同的 DiT（Diffusion Transf...
-
1.3ms耗时！清华最新开源移动端神经网络架构 RepViT
论文地址：https://arxiv.org/abs/2307.09283 代码地址：https://github.com/THU-MIG/RepViT 可以看出，RepViT 相比于其它主流的移动端 ViT 架构确实时很优异。接下来让我们来看下本工...
-
ChatGPT每年电费2亿？！日耗电量≈1.7万个家庭，网友：挺值！
ChatGPT居然这么费电？ 最新的等式出现了： ChatGPT日耗电量≈1.7万家庭日耗电量。 什么概念？一年光电费就要花2亿！ 美国普通家庭平均单日用电29千瓦时，而ChatGPT的单日用电量超过了50万千瓦时。 （美国商业用电一度约为0.147美元...
-
最新综述！扩散模型与图像编辑的爱恨情仇
本文经自动驾驶之心公众号授权转载，转载请联系出处。 针对图像编辑中的扩散模型，中科院联合Adobe和苹果公司的研究人员发布了一篇重磅综述。 全文长达26页，共1.5万余词，涵盖297篇文献，全面研究了图像编辑的各种前沿方法。 同时，作者还提出了全新的be...
-
ADMap：抗干扰在线高精地图新思路
本文经自动驾驶之心公众号授权转载，转载请联系出处。 写在前面&笔者的个人理解 大家好，很开心能够受邀来到自动驾驶之心分享我们的在线重建矢量化高精度地图的抗扰动方法ADMap。我们的代码已经发布在https://github.com/hht199...
-
消费级显卡可用！李开复零一万物发布并开源90亿参数Yi模型，代码数学能力史上最强
李开复旗下AI公司零一万物，又一位大模型选手登场： 90亿参数Yi-9B。 它号称Yi系列中的“理科状元”，“恶补”了代码数学，同时综合能力也没落下。 在一系列类似规模的开源模型（包括Mistral-7B、SOLAR-10.7B、Gemma-7B、De...
-
中科院等万字详解：最前沿图像扩散模型综述
针对图像编辑中的扩散模型，中科院联合Adobe和苹果公司的研究人员发布了一篇重磅综述。 全文长达26页，共1.5万余词，涵盖297篇文献，全面研究了图像编辑的各种前沿方法。 同时，作者还提出了全新的benchmark，为研究者提供了便捷的学习参考工具。...
-
Stable Diffusion 3论文终于发布，架构细节大揭秘，对复现Sora有帮助？
Stable Diffusion 3 的论文终于来了！ 这个模型于两周前发布，采用了与 Sora 相同的 DiT（Diffusion Transformer）架构，一经发布就引起了不小的轰动。 与之前的版本相比，Stable Diffusion 3 生成...
-
Stable Diffusion 3技术报告流出，Sora构架再立大功！生图圈开源暴打Midjourney和DALL·E 3？
Stability AI在发布了Stable Diffusion 3之后，今天公布了详细的技术报告。 论文深入分析了Stable Diffusion 3的核心技术——改进版的Diffusion模型和一个基于DiT的文生图全新架构！ 报告地址： http...
-
Stable Diffusion 3 发布及其重大改进
1. 引言 就在 OpenAI 发布可以生成令人瞠目的视频的 Sora 和谷歌披露支持多达 150 万个Token上下文的 Gemini 1.5 的几天后，Stability AI 最近展示了 Stable Diffusion 3 的预览版。 闲话少...
-
逆天UniVision：BEV检测和Occ联合统一框架，双SOTA！
本文经自动驾驶之心公众号授权转载，转载请联系出处。 写在前面&个人理解 最近这几年以视觉为中心的3D感知在自动驾驶中得到了快速发展。尽管3D感知模型在结构和概念上有许多相似之处，但在特征表示、数据格式和目标方面仍存在差距，这对统一高效的3D感知...
-
清华、哈工大把大模型压缩到了1bit，把大模型放在手机里跑的愿望就快要实现了！
自从大模型火爆出圈以后，人们对压缩大模型的愿望从未消减。这是因为，虽然大模型在很多方面表现出优秀的能力，但高昂的的部署代价极大提升了它的使用门槛。这种代价主要来自于空间占用和计算量。「模型量化」 通过把大模型的参数转化为低位宽的表示，进而节省空间占用。目...
-
一文搞懂：AI、机器学习与深度学习的联系与区别
在当今科技日新月异的浪潮中，人工智能（Artificial Intelligence, AI）、机器学习（Machine Learning, ML）与深度学习（Deep Learning, DL）如同璀璨星辰，引领着信息技术的新浪潮。这三个词汇频繁出现在...
-
知名AI研究者深挖谷歌Gemma：参数不止70亿，设计原则很独特
就在几天前，开源大模型领域迎来了重磅新玩家：谷歌推出了全新的开源模型系列「Gemma」。相比 Gemini，Gemma 更加轻量，同时保持免费可用，模型权重也一并开源了，且允许商用。 谷歌发布了包含两种权重规模的模型：Gemma 2B 和 Gemma...
-
大模型也有“漂移（Drift）”现象？应引起AI应用开发者警惕
熟悉数据中心机器学习项目开发的读者应该知道，数据漂移和概念漂移是导致机器学习模型效果衰退的一个常见原因。漂移产生的关键原因是因为模型会随着时间而衰退，因此为了对抗这样的问题就必须要定期优化训练方案及定期重训模型。 那么大模型会不会有“漂移”现象呢，答案是...
-
马斯克震怒：微软拿Windows给AI收集数据，不注册不给用
马斯克发的一条 X 动态，让微软 Windows 站上了风口浪尖。 事情的起因是这样的： 马斯克买了一台新的笔记本电脑，他发现：「除非我创建一个微软账户，否则它不让我使用，这意味着要让他们的人工智能访问我的电脑！真是一团糟。以前有一个选项可以跳过登录...
-
机器学习如何提高欺诈预防能力
在线欺诈是许多国家的严重问题，存在网络钓鱼攻击、身份盗窃和假冒电子商务网站等各种诈骗行为。一份报告显示，很大一部分欺诈交易发生在晚上10点至凌晨4点之间，其中60岁以上的信用卡持有者是主要受害者。 机器学习有助于预防欺诈，使组织能够实时检测和防止可疑活...
-
VideoPrism官网体验入口 AI视频理解编码器使用介绍
VideoPrism是一个通用的视频编码模型，可在各种视频理解任务上取得领先的性能，包括分类、定位、检索、字幕生成和问答等。其创新点在于预训练的数据集非常大且多样，包含 3600 万高质量的视频-文本对，以及5. 82 亿带有嘈杂文本的视频剪辑。预训练采用...
-
人工智能、机器学习、深度学习，到底是个啥？
说到近些年的火热名词，“人工智能”必须榜上有名。随着去年ChatGPT爆火出圈，“AI（Artificial Intelligence，人工智能）”屡次霸屏热搜榜，并被英国词典出版商柯林斯评为2023年的年度词。 除了“人工智能”，我们还经常听到“机器学...
-
补齐Transformer规划短板，田渊栋团队的Searchformer火了
最近几年，基于 Transformer 的架构在多种任务上都表现卓越，吸引了世界的瞩目。使用这类架构搭配大量数据，得到的大型语言模型（LLM）等模型可以很好地泛化用于真实世界用例。 尽管有如此成功，但基于 Transformer 的架构和 LLM 依然难...
-
目标检测新SOTA：YOLOv9问世，新架构让传统卷积重焕生机
继 2023 年 1 月 YOLOv8 正式发布一年多以后，YOLOv9 终于来了！ 我们知道，YOLO 是一种基于图像全局信息进行预测的目标检测系统。自 2015 年 Joseph Redmon、Ali Farhadi 等人提出初代模型以来，领域内的研...
-
【AIGC】Stable Diffusion之模型微调工具
推荐一款好用的模型微调工具，cybertron furnace 是一个lora训练整合包，提供训练 lora 模型的工具集或环境。集成环境包括必要的依赖项和配置文件、预训练脚本，支持人物、二次元、画风、自定义lora的训练，以简化用户训练 lora 模型...
-
【AIGC】警惕大模型的原创性稀释
目录 一、学习素材重复引用的隐患 二、涉及到的问题 三、缓解的办法 四、进一步的技术干预 味同嚼蜡。 如果大模型的学习素材，反复被使用，拉出来又吃回去，如此往复，会怎么样？ 我在前面已经讨论过了，有大模型A接了大模型B，来训练自己的数据...
-
Gemini 1.5实测：我看Sora一眼假；还有更多惊艳功能
谷歌の“反击”来了！ Gemini被Sora抢走的风头，现在有抢回来的势头了。 在最新实测中，Gemini 1.5能分析Sora视频是否AI生成。 是直接给出当中关键因素的那种。 比如这个经典的猫猫视频，Gemini 1.5直言： 它的眼睛和毛都看起来都...
-
逆天了！UniVision：BEV检测和Occ联合统一框架，双任务SOTA！
本文经自动驾驶之心公众号授权转载，转载请联系出处。 写在前面&个人理解 最近这几年以视觉为中心的3D感知在自动驾驶中得到了快速发展。尽管3D感知模型在结构和概念上有许多相似之处，但在特征表示、数据格式和目标方面仍存在差距，这对统一高效的3D感知...
-
【AIGC】大语言模型
大型语言模型，也叫大语言模型、大模型（Large Language Model，LLM；Large Language Models，LLMs） 什么是大型语言模型 大型语言模型（LLM）是指具有数千亿（甚至更多）参数的语言模型，它们是通过在大规模文本数...
-
扩展说明: 指令微调 Llama 2
这篇博客是一篇来自 Meta AI，关于指令微调 Llama 2 的扩展说明。旨在聚焦构建指令数据集，有了它，我们则可以使用自己的指令来微调 Llama 2 基础模型。 目标是构建一个能够基于输入内容来生成指令的模型。这么做背后的逻辑是，模型如此...
-
一图揽尽全球LLM崛起之路；LLM概念速查清单；DALL·E提示词红宝书·在线版；fast.ai新课带你从零实现Stable Diffusion | ShowMeAI日报
?日报&周刊合集 | ?生产力工具与行业应用大全 | ? 点赞关注评论拜托啦！ ? LLM 崛起之路：全球大语言模型「规模增长」可视化交互图 https://informationisbeautiful.net/visual...
-
ChatGPT论文：大语言模型LLM之战:Dolly、LLaMA 、Vicuna、Guanaco、Bard、ChatGPT--在自然语言转SQL(NL2SQL、Text-to-SQL)的比较（二）
3 评价结果 3.1 Spider 数据集 表 2 列出了各种提示策略和模型组合的执行准确性 (EX 和测试套件 (TS 的准确性。我们的主要发现是： 开源模型在 Spider 数据集上遇到了困难：尽管参数数量和模型性能之间存在正相关关系...
-
【AIGC】Stable Diffusion的采样器入门
在 Stable Diffusion 中，采样器（Sampler）是指用于生成图像的一种技术或方法，它决定了模型如何从潜在空间中抽样并生成图像。采样器在生成图像的过程中起着重要作用，影响着生成图像的多样性、质量和创造性。以下是对 Stable Diffus...
-
微软开源 SliceGPT:大模型体量压缩25%左右，性能保持不变
微软和苏黎世联邦理工学院的研究人员联合开源了 SliceGPT，该技术可以极限压缩大模型的权重矩阵，将模型体量压缩25% 左右，同时保持性能不变。实验数据显示，在保持零样本任务性能的情况下，SliceGPT 成功应用于多个大型模型，如 LLAMA-270B...
-
羊驼2:开放的基础和微调聊天模型--Llama 2论文阅读
论文地址：https://arxiv.org/pdf/2307.09288.pdfd 代码地址：GitHub - facebookresearch/llama-recipes: Examples and recipes for Llama 2 model...
-
llama/llama2论文解读
llama 摘要 llama在约1.4T的token上，训练出参数量7B到65B的模型，其模型规模如下 在仅使用开源数据集的情况下，llama-13B在多数benchmarks上与GPT-3效果相当；llama-65B也与最好的模型（Chin...
-
通义千问团队发布Qwen1.5 聊天模型性能大幅提升
在近期几个月的深入探索之后，通义千问团队终于迎来了其开源系列Qwen的下一个重要版本——Qwen1.5。 Qwen1.5的亮点之一是其丰富的模型系列，涵盖了从0.5B到72B的六种不同大小的基础和聊天模型。此外，团队还开源了包括Int4和Int8的GPTQ...
-
AI视野：通义千问发布Qwen1.5；背景分割开源模型RMBG v1.4来了；OpenAI 为 DALL-E3添加新水印；苹果图片项目MGIE上线试玩
欢迎来到【AI视野】栏目!这里是你每天探索人工智能世界的指南，每天我们为你呈现AI领域的热点内容，聚焦开发者，助你洞悉技术趋势、了解创新AI产品应用。 新鲜AI产品点击了解：https://top.aibase.com/ ???AI应用 通义千问团队发布...
-
AIGC知识速递——Google的Bert模型是如何fine-tuning的？
Look！?我们的大模型商业化落地产品 ?更多AI资讯请??关注 Free三天集训营助教在线为您火热答疑??? 选择合适的预训练模型： 从预训练的BERT模型开始，例如Google 提供的BERT-base 或 BERT-large。这些模型已经...
-
「天工2.0」MoE大模型发布
2月6日，昆仑万维正式发布新版MoE大语言模型「天工2.0」与新版「天工AI智能助手」APP，这是国内首个搭载MoE架构并面向全体C端用户免费开放的千亿级参数大语言模型AI应用。用户即日起可在各手机应用市场下载「天工AI智能助手」APP，体验昆仑万维「天...
-
两亿参数时序模型替代LLM？谷歌突破性研究被批「犯新手错误」
最近，谷歌的一篇论文在 X 等社交媒体平台上引发了一些争议。 这篇论文的标题是「A decoder-only foundation model for time-series forecasting（用于时间序列预测的仅解码器基础模型）」。 简而言之，...
-
苹果研究团队揭示WRAP技术：用合成数据进行预训练大模型 成本低准确性高
近几个月来，大型语言模型（LLMs）在人工智能社区中引起了极大的关注和流行。这些模型在文本摘要、问答、代码完成、内容生成等任务中展示出了强大的能力。 然而，LLMs通常在不充分的网络抓取数据上进行训练。这些数据通常杂乱、无结构，表达不清晰。按照现有的扩展原...
-
图感知对比学习提升多变量时间序列分类效果
今天给大家介绍一篇AAAI 2024中，由新加坡科技研究局（A*STAR）和新加坡南洋理工大学联合发表的时间序列分类工作，通过图感知对比学习改善多变量时间序列分类，取得了非常显著的效果提升。 图片 论文标题：Graph-Aware Contrasting...
-
不分割成token，直接从字节中高效学习，Mamba原来还能这样用
在定义语言模型时，通常会使用一种基本分词方法，把句子分为词（word）、子词（subword）或字符（character）。其中，子词分词法一直是最受欢迎的选择，因为它在训练效率和处理词汇表外单词的能力之间实现了自然的折中。然而，一些研究指出了子词分词法...
-
一文搞懂使用 Arthur Bench 进行 LLM 评估
Hello folks，我是 Luga，今天我们来聊一下人工智能(AI 生态领域相关的技术 - LLM 评估 。 一、传统文本评估面临的挑战 近年来，随着大型语言模型(LLM 的快速发展和改进，传统的文本评估方法在某些方面可能已经不再适用。在文本评估领...
-
打破MoE训练效率与性能瓶颈，华为盘古稀疏大模型全新架构LocMoE出炉
2023 年 12 月，首个开源 MoE 大模型 Mixtral 8×7B 发布，在多种基准测试中，其表现近乎超越了 GPT-3.5 和 LLaMA 2 70B，而推理开销仅相当于 12B 左右的稠密模型。为进一步提升模型性能，稠密 LLM 常由于其参数...
-
开源版GPTs人人免费用！Hugging Face发布定制个人助手，点两下轻松创建
去年，OpenAI发布GPTs之后，短短几个月，全网诞生了300万+个GPT。 而现在，「开源低配版」的GPTs来了！ 最近，世界最大的开源社区Hugging Face推出了开源、可定制的AI 助手——Hugging Chat Assistants。 图...
-
像人类一样在批评中学习成长，1317条评语让LLaMA2胜率飙升30倍
现有的大模型对齐方法包括基于示例的监督微调（SFT）和基于分数反馈的强化学习（RLHF）。然而，分数只能反应当前回复的好坏程度，并不能明确指出模型的不足之处。相较之下，我们人类通常是从语言反馈中学习并调整自己的行为模式。就像审稿意见不仅仅是一个分数，还包...