-
又被 OpenAI 截胡，Google推出开源视觉语言模型：PaliGemma
前言 该模型结合了 SigLIP 视觉模型和 Gemma 语言模型，这两种模型都是开放组件，使得PaliGemma在处理视觉与语言结合的任务上表现出色。 PaliGemma的使用场景包括图像字幕、图像标签和视觉问答等。这些应用场景利用了PaliGemm...
-
力压Transformer？首篇Mamba综述来了！
本文经自动驾驶之心公众号授权转载，转载请联系出处。 写在前面&笔者的个人理解 Mamba是一种新的选择性结构状态空间模型，在长序列建模任务中表现出色。Mamba通过全局感受野和动态加权，缓解了卷积神经网络的建模约束，并提供了类似于Transfo...
-
OpenAI Preparedness团队首席Aleksander Madry：机器学习模型的内部计算如何将输入转化为预测？
考虑一个标准的ResNet50模型，该模型经过训练用于图像分类任务。我们是否能够理解这个模型中的卷积滤波器如何将输入图像转换为其预测的标签？或者，GPT-3中的注意力头如何contribute到下一个标记的预测？理解这些模型组件——包括滤波器或头等架构...
-
AI辅助式数据分类分级
引言 在信息爆炸的时代，数据已经成为企业最宝贵的资产之一。然而，大量的数据如果不能被有效地分类和分级，就会变得无序混乱，数据安全无法得到有效保障，也无法发挥其真正的数据价值。因此，数据分类分级无论是对于数据安全还是对于数据价值都变得至关重要。本文将探讨...
-
Transformer引领AI百花齐放：从算法创新到产业应用，一文读懂人工智能的未来
一、引言 近年来，人工智能技术取得了举世瞩目的成果，其中，自然语言处理（NLP）和计算机视觉等领域的研究尤为突出。在这些领域，一种名为Transformer的模型逐渐成为研究热点，以其为核心的创新成果层出不穷。本文将从Transformer的原理、应用和...
-
人工智能是否被高估了？
毫无疑问，人工智能已经成为近年来最热门的话题之一，吸引着技术专家、企业家和公众的想象力。然而，在围绕人工智能的炒作和兴奋中，关于人工智能是否被高估的争论越来越多。一些批评人士认为，人工智能只是一种先进的曲线拟合，而不是所描绘的革命性技术。 人工智能的核...
-
上海交大新框架解锁CLIP长文本能力，多模态生成细节拿捏，图像检索能力显著提升
CLIP长文本能力被解锁，图像检索任务表现显著提升！ 一些关键细节也能被捕捉到。上海交大联合上海AI实验室提出新框架Long-CLIP。 △棕色文本为区分两张图的关键细节 Long-CLIP在保持CLIP原始特征空间的基础上，在图像生成等下游任务中即插...
-
全面综述！大模型到底微调个啥？或者说技术含量到底有多大？
本文经自动驾驶之心公众号授权转载，转载请联系出处。 写在前面&笔者的个人理解 大型模型代表了多个应用领域的突破性进展，能够在各种任务中取得显著成就。然而，它们前所未有的规模带来了巨大的计算成本。这些模型通常由数十亿个参数组成，需要大量的计算资源才...
-
Stable Diffusion——文生图界面参数讲解与提示词使用技巧
Clip终止层数 什么是Clip CLIP（Contrastive Language-Image Pretraining）是由OpenAI于2021年开发的一种语言图像对比预训练模型。其独特之处在于，CLIP模型中的图像和文本嵌入共享相同的潜在...
-
“羊驼“入侵CV，美团&浙大沈春华团队将LLaMA向CV扩展，构建全新基础模型VisionLLaMA
本文首发:AIWalker https://arxiv.org/abs/2403.00522 https://github.com/Meituan-AutoML/VisionLLaMA 本文概述 大型语言模型构建在基于Transf...
-
VPR 2024 满分论文！Meta提出EfficientSAM：快速分割一切！
本文经自动驾驶之心公众号授权转载，转载请联系出处。 EfficientSAM 这篇工作以5/5/5满分收录于CVPR 2024！作者在某社交媒体上分享了该结果，如下图所示： LeCun 图灵奖得主也强烈推荐了该工作！ 在最近的一项研究中，Meta...
-
如何使用TensorFlow和Cleanvision检测大堡礁的海星威胁？
澳大利亚的大堡礁美不胜收，是全球最大的珊瑚礁，也是多种多样的海洋生物栖息的家园。不幸的是，珊瑚礁面临蚕食珊瑚的棘冠海星（COTS）的威胁。为了控制COTS爆发，珊瑚礁管理人员使用一种名为Manta Tow勘查的方法，将潜水员拖在船后，目测评估珊瑚礁的各...
-
什么是预训练Pre-training—— AIGC必备知识点，您get了吗？
Look！👀我们的大模型商业化落地产品 📖更多AI资讯请👉🏾关注 Free三天集训营助教在线为您火热答疑👩🏼🏫 随着人工智能(AI 不断重塑我们的世界，其发展的一个关键方面已经成为现代机器学习模型的支柱:预训练。在本篇文章中，我们将探讨预训练的概...
-
如何使用AIGC进行图像生成和编辑
1.背景介绍 图像生成和编辑是计算机视觉领域的重要应用，随着人工智能技术的发展，AIGC(Artificial Intelligence Generative Convolutional 已经成为了图像生成和编辑的主流方法。在本文中，我们将详细介...
-
分享AIGC场景应用及泰迪AIGC大模型师资培训内容
什么是AIGC? AIGC是内容生产方式的进阶，实现内容和资产的再创造。AIGC（AI-Generated Content）本质上是一种内容生产方式，即人工智能自动生产内容，是基于深度学习技术，输入数据后由人工智能通过寻找规律并适当泛化从而生成内...
-
【多模态】13、Vision-Language 模型在视觉任务中的调研
文章目录 一、简介 二、基础知识 2.1 视觉任务的训练策略 2.2 VLM 基础 2.2.1 网络结构 2.2.2 预训练目标函数 2.2.3 评估和下游任务 2.3 数据集 三、迁移学习 3.1 使用 prompt tunin...
-
大家都在用的AI作画Python几行代码就可实现
一、通过openai实现的作品： 要想快速实现功能，咱们先了解一下OpenAI,OpenAI是一家人工智能公司，专注于开发强化学习、机器学习、自然语言处理等技术。OpenAI的主要目标是创造一套安全的人工智能系统，以帮助人们在各行各业中利用这项技术.接...
-
检测路在何方？YOLOv8终极指南
本文经自动驾驶之心公众号授权转载，转载请联系出处。 YOLOv8是计算机视觉领域的最新发展，它是一种用于目标检测、实例分割和分类的最新先进模型。除了对模型架构本身的改进之外，YOLOv8通过一个用于使用YOLO模型的PIP包为开发者提供了一个新的友好界...
-
Apple：使用语言模型的自回归方式进行图像模型预训练
1、背景 在GPT等大模型出现后，语言模型这种Transformer+自回归建模的方式，也就是预测next token的预训练任务，取得了非常大的成功。那么，这种自回归建模方式能不能在视觉模型上取得比较好的效果呢？今天介绍的这篇文章，就是Apple近期发...
-
人工智能数学基础 - 线性代数之矩阵篇
本文将从矩阵的本质、矩阵的原理、矩阵的应用三个方面，带您一文搞懂人工智能数学基础-线性代数之矩阵。 一、矩阵的本质 点积（Dot Product）：点积作为向量间的一种基本运算，通过对应元素相乘后求和来刻画两向量的相似度和方向关系。 点积（Dot Pr...
-
[论文精读] 自条件图像生成 - 【恺明大神新作，AIGC 新基准】
论文导读: 论文背景: 2023年8月，AI大神何恺明在个人网站宣布，2024年将加入MIT担任教职，回归学术界。这篇论文是其官宣加盟MIT后首度与MIT师生合著的公开论文，论文一作本科毕业于清华姚班，二作为MIT电气工程与计算机科学系教授，今年的斯...
-
纪念碑谷式错觉图像都被「看穿」，港大、TikTok的Depth Anything火了
人类有两只眼睛来估计视觉环境的深度信息，但机器人和 VR 头社等设备却往往没有这样的「配置」，往往只能靠单个摄像头或单张图像来估计深度。这个任务也被称为单目深度估计（MDE）。 近日，一种可有效利用大规模无标注图像的新 MDE 模型 Depth Any...
-
GPT-4V惨败！CV大神谢赛宁新作：V*重磅「视觉搜索」算法让LLM理解力逼近人类
Sam Altman最近在世界经济论坛上发言，称达到人类级别的AI很快就会降临。 但是，正如LeCun一直以来所言，如今的AI连猫狗都不如。现在看来的确如此。 GPT-4V、LLaVA等多模态模型图像理解力足以让人惊叹。但是，它们并非真的能够做的面面俱到。...
-
【AI接口】语音版、文心一言大模型和AI绘图、图片检测API
文章目录 一、语音版大模型AI 1、接口 2、请求参数 3、请求参数示例 4、接口返回示例 二、AI图片鉴黄合规检测API 1、接口 2、请求参数 3、请求参数示例 4、接口返回示例 5、报错说明 6、代码开源 三、人工智能AI绘画AP...
-
视觉Mamba来了：速度提升2.8倍，内存能省87%
号称「全面包围 Transformer」的 Mamba，推出不到两个月就有了高性能的视觉版。 本周四，来自华中科技大学、地平线、智源人工智能研究院等机构的研究者提出了 Vision Mamba（Vim）。 论文地址：https://arxiv.or...
-
AIGC必备知识点：你不可不知的CNN（卷积神经网络）-知识全解析！
Look！👀我们的大模型商业化落地产品 📖更多AI资讯请👉🏾关注 Free三天集训营助教在线为您火热答疑👩🏼🏫 大家在谈论的卷积神经网络究竟是什么？(Convolutional Neural Network，CNN 是一类主要用于计算机视觉领域的...
-
ConvNet与Transformer谁更强？Meta评测4个领先视觉模型，LeCun转赞
如何根据特定需求选择视觉模型？ ConvNet/ViT、supervised/CLIP模型，在ImageNet之外的指标上如何相互比较？ 来自MABZUAI和Meta的研究人员发表的最新研究，在「非标准」指标上全面比较了常见的视觉模型。 论文地址：ht...
-
实战AI大模型：AIGC及经典模型
今天，人工智能技术的快速发展和广泛应用已经引起了大众的关注和兴趣，它不仅成为技术发展的核心驱动力，更是推动着社会生活的全方位变革。特别是作为AI重要分支的深度学习，通过不断刷新的表现力已引领并定义了一场科技革命。大型深度学习模型（简称AI大模型）以其强大的...
-
谷歌DeepMind最新研究：对抗性攻击对人类也有效，人类和AI都会把花瓶认成猫！
【新智元导读】神经网络由于自身的特点而容易受到对抗性攻击，然而，谷歌DeepMind的最新研究表明，我们人类的判断也会受到这种对抗性扰动的影响 人类的神经网络（大脑）和人工神经网络(ANN 的关系是什么? 有位老师曾经这样比喻:就像是老鼠和米老鼠的关系。...
-
突破Pytorch核心点，CNN ！！！
哈喽，我是小壮！ 创建卷积神经网络（CNN），很多初学者不太熟悉，今儿咱们来大概说说，给一个完整的案例进行说明。 CNN 用于图像分类、目标检测、图像生成等任务。它的关键思想是通过卷积层和池化层来自动提取图像的特征，并通过全连接层进行分类。 原理 1.卷...
-
Hyena成下一代Transformer？StripedHyena-7B开源：最高128k输入，训练速度提升50%
最近几年发布的AI模型，如语言、视觉、音频、生物等各种领域的大模型都离不开Transformer架构，但其核心模块「注意力机制」的计算复杂度与「输入序列长度」呈二次方增长趋势，这一特性严重限制了Transformer在长序列下的应用，例如无法一次性处理一...
-
大模型被偷家！CNN搞多模态不弱于Transfromer（腾讯&港中文）
本文经自动驾驶之心公众号授权转载，转载请联系出处。 腾讯AI实验室与港中文联合团队提出了一种新的CNN架构，图像识别精度和速度都超过了Transformer架构模型。 切换到点云、音频、视频等其他模态，也无需改变模型结构，简单预处理即可接近甚至超越SO...
-
秒懂AI-深度学习四种常用激活函数：Sigmoid、Tanh、ReLU和Softmax
深度学习中的激活函数是神经网络中至关重要的组成部分，它们为神经网络引入非线性特性，使其能够更好地学习和模拟复杂的输入输出关系。激活函数的选择和使用对于神经网络的性能和训练效果具有重要影响。 本文将介绍四种常用的激活函数：Sigmoid、Tanh、ReLU...
-
大模型被偷家！腾讯港中文新研究修正认知：CNN搞多模态不弱于Transfromer
在Transformer占据多模态工具半壁江山的时代，大核CNN又“杀了回来”，成为了一匹新的黑马。 腾讯AI实验室与港中文联合团队提出了一种新的CNN架构，图像识别精度和速度都超过了Transformer架构模型。 切换到点云、音频、视频等其他模态，也无...
-
Google AI Studio官网体验入口 AI应用部署开发软件app免费下载地址
Google AI Studio是一个基于Vertex AI在Google Cloud上构建和部署AI应用程序的平台。它提供了一个无代码界面，使开发人员、数据科学家和业务分析师能够快速构建、部署和管理AI模型。想要体验Google AI Studio吗?下...
-
随意指定CLIP关注区域！上交复旦等发布Alpha-CLIP：同时保持全图+局部检测能力
CLIP是目前最流行的视觉基座模型，其应用场景包括但不限于： 与LLM大语言模型结合成为视觉多模态大模型； 作为图像生成(Stable Diffusion 、点云生成(Point-E 的condition model，实现image-to-3D； 用于...
-
神经网络是如何工作的？ | 京东云技术团队
作为一名程序员，我们习惯于去了解所使用工具、中间件的底层原理，本文则旨在帮助大家了解AI模型的底层机制，让大家在学习或应用各种大模型时更加得心应手，更加适合没有AI基础的小伙伴们。 一、GPT与神经网络的关系 GPT想必大家已经耳熟能详，当我们与它...
-
把检测器加进来，YOLOv8部署实战！
本文经自动驾驶之心公众号授权转载，转载请联系出处。 0 把检测器加进来 本文是我在学习韩博《CUDA与TensorRT部署实战课程》第六章的课程部分输出的个人学习笔记，欢迎大家一起讨论学习！ 1 导出onnx需要注意的地方 不要pip instal...
-
你真的看懂扩散模型(diffusion model)了吗？(从DALL·E 2讲起，GAN、VAE、MAE都有)
本文全网原创于CSDN：落难Coder ，未经允许，不得转载！ 扩散模型简单介绍 我们来讲一下什么是扩散模型，如果你不了解一些工作，你可能不清楚它究竟是什么。那么我举两个例子说一下：AI作画（输入一些文字就可以得到与你描述相符的图像）和抖音大火的...
-
奥特曼宫斗戏新爆料：自己投芯片公司，让OpenAI签下3.6亿订购意向书
奥特曼又惹上事了。 一份订购意向书曝光，奥特曼任CEO期间，OpenAI承诺从一家初创公司订购芯片，金额高达5100万美元（约合人民币3.6亿元）。 关键问题在于，这家公司Rain AI是奥特曼自己参与投资的。 图片 两家公司总部都在旧金山，相距不到一公...
-
21Dak攻击：计算机顶会PLDI‘23 针对语义依附代码模型的对抗攻击方法：Destroyer篡改输入程序，Finder寻找关键特征，Merger关键特征注入【网安AIGC专题11.22】
Discrete Adversarial Attack to Models of Code 写在最前面 一些对关系抽取和事件抽取相关的启发和思考 摘要 总结与展望 课堂讨论 研究背景与意义 对抗攻击 针对代码模型的对抗攻击 Semanti...
-
用GPT-4V和人类演示训练机器人：眼睛学会了，手也能跟上
如何将语言 / 视觉输入转换为机器人动作？ 训练自定义模型的方法已经过时，基于最近大语言模型（LLM）和视觉语言模型（VLM）的技术进展，通过 prompt 工程使用 ChatGPT 或 GPT-4 等通用模型才是时下热门的方法。 这种方法绕过了海量数据...
-
研究称：生成一张AI图像所消耗能源相当于给手机充满电
根据 AI 初创公司 Hugging Face 和卡内基梅隆大学的研究人员进行的一项新研究，每次使用 AI 生成图像、撰写电子邮件或向聊天机器人提问，都会对地球造成一定的负担。 实际上，使用强大的 AI 模型生成一张图像所消耗的能源相当于给手机充满电，该研...
-
微软推出跨平台框架 ML.NET 3.0 版本：强化深度学习功能、加强 AI 计算效率
IT之家 11 月 29 日消息，微软日前宣布推出跨平台机器学习框架 ML.NET 3.0，主要强化了深度学习功能，改进 ML.NET 数据处理能力，并添加了英特尔 oneDAL 加速训练技术，以及自动机器学习等功能。 ▲ 图源微软 IT之家注意到，M...
-
加速人工智能任务，同时保护数据安全
麻省理工学院的研究人员开发了一种搜索引擎 SecureLoop，可以有效地识别深度神经网络加速器的最佳设计，在提高性能的同时保护数据安全。 随着计算密集型机器学习应用程序（例如执行实时语言翻译的聊天机器人）的激增，设备制造商通常会采用专门的硬件组件来...
-
【多模态】3、CLIP | OpenAI 出品使用 4 亿样本训练的图文匹配模型
文章目录 一、背景 二、方法 2.1 使用自然语言来监督训练 2.2 建立一个超大数据集 2.3 选择预训练的方式——对比学习而非预测学习 2.4 模型缩放和选择 三、效果 四、思考 论文：Learning Transferabl...
-
基于Stable Diffusion的图像合成数据集
当前从文本输入生成合成图像的模型不仅能够生成非常逼真的照片，而且还能够处理大量不同的对象。 在论文“评估使用稳定扩散生成的合成图像数据集”中，我们使用“稳定扩散”模型来研究哪些对象和类型表现得如此逼真，以便后续图像分类正确地分配它们。 这使我们能够根据现实...
-
教你如何使用PyTorch解决多分类问题
本文分享自华为云社区《使用PyTorch解决多分类问题：构建、训练和评估深度学习模型》，作者： 小馒头学Python。 引言 当处理多分类问题时，PyTorch是一种非常有用的深度学习框架。在这篇博客中，我们将讨论如何使用PyTorch来解决多分类...
-
【CVHub】《万字长文带你解读AIGC》系列之入门篇
本文来源“CVHub”公众号，侵权删，干货满满。 作者丨派派星 来源丨CVHub 原文链接：《万字长文带你解读AIGC》系列之入门篇 0. 导读 图0 随着ChatGPT的病毒式传播，生成式人工智能(AIGC, a.k.a AI-gener...
-
【AIGC】深入理解 LORA模型
深入理解 LORA模型 LORA模型是一种神经网络模型，它通过学习可以自动调整神经网络中各层之间的权重，以提高模型的性能。本文将深入探讨LORA模型的原理、应用场景、优缺点等方面。 1. LORA模型的原理 LORA模型的全称为Learnable...