-
LLaMA- Adapter: Efficient Fine-tuning of Language Models with Zero-init Attention
发表时间：14 Jun 2023 论文链接：https://arxiv.org/pdf/2303.16199 作者单位：Shanghai Artificial Intelligence Laboratory Motivation：最近，指令跟踪模型取...
-
专用于理解游戏场景的开源大模型-VideoGameBunny
大模型在游戏开发领域扮演了重要角色，从AI机器人生成到场景搭建覆盖各个领域。但在游戏场景理解、图像识别、内容描述方面很差。 为了解决这些难题，加拿大阿尔伯塔的研究人员专门开源了一款针对游戏领域的大模型VideoGameBunny（以下简称“VGB”）。 V...
-
【八股文】算法岗位八股文、深度学习、AIGC八股文面试经验（一）
1. 请解释一下Batch Normalization的原理及其在训练深度神经网络中的作用。 Batch Normalization（批归一化）是一种在训练深度神经网络时常用的技术，旨在提高训练速度、稳定性和性能。 2. 在图像预处理过程中，如何选择合适...
-
LLaMA-Adapter：零初始注意机制的语言模型高效微调
23年6月来自上海AI实验室，香港中文大学和UCLA的论文“LLaMA-Adapter: Efficient Fine-tuning of Language Models with Zero-init Attention“。 LLaMA-Adapter是...
-
论文笔记：Pixel-Aware Stable Diffusion for Realistic Image Super-Resolution and Personalized Stylization
CVPR2024 论文代码：yangxy/PASD (github.com 论文地址：[2308.14469v3] Pixel-Aware Stable Diffusion for Realistic Image Super-resolution a...
-
AIGC——ComfyUI使用SDXL双模型的工作流（附件SDXL模型下载）
SDXL算法概述 SDXL（Stable Diffusion XL）是Stable Diffusion公司发布的一款图像生成大模型。在以往的模型基础上，SDXL进行了极大的升级，其base模型参数数量达到了35亿，refiner模型参数数量达到了66亿...
-
Stable Diffusion XL（未待完续）
模型介绍 Stable Diffusion XL 是一种基于人工智能的图像生成模型，由Stability AI开发。它是Stable Diffusion系列模型中的一员，专门设计用来生成更高质量的图像。这个模型在原有的Stable Diffusion模型...
-
Diffusion Model, Stable Diffusion, Stable Diffusion XL 详解
文章目录 Diffusion Model 生成模型 DDPM概述 向前扩散过程 前向扩散的逐步过程 前向扩散的整体过程 反向去噪过程 网络结构 训练和推理过程 训练过程 推理过程 优化目标 详细数学推导 数学基础 向前扩散过程 反向...
-
实时局部建图的深入思考 | MapTR继往开来的18篇论文剖析！
本文经自动驾驶之心公众号授权转载，转载请联系出处。 实时局部建图领域自从端到端方案MapTR(2023.1 [1]问世后已经又涌现出非常多优秀的工作,基本是在MapTR基本框架的基础上进行一系列改进,包括原班人马的升级作品MapTRv2(2023.8 ...
-
每日AIGC最新进展(7)：频域引导的超分扩散模型、同时生成自然的说话面孔和语音输出Text-to-Speaking Face、4D全景场景图生成、语义感知的协同语音手势合成
Diffusion Models专栏文章汇总：入门与实战 Frequency-Domain Refinement with Multiscale Diffusion for Super Resolution http://arxiv.org/abs...
-
AIGC视频生成-CameraCtrl
0. 资源链接 论文: CameraCtrl: Enabling Camera Control for Text-to-Video Generation 项目: https://hehao13.github.io/projects-CameraC...
-
MonoDETRNext：下一代准确高效的单目3D检测方法！
本文经自动驾驶之心公众号授权转载，转载请联系出处。 写在前面&笔者的个人理解 基于单目视觉的3D目标检测在各个领域都至关重要，但现有方法在准确性和计算效率方面面临着重大挑战。在2D检测和深度估计的成功策略的基础上，本文提出了MonoDETRNe...
-
Yolov10：详解、部署、应用一站式齐全！
一、前言 在过去的几年里，YOLOs由于其在计算成本和检测性能之间的有效平衡，已成为实时目标检测领域的主导范式。研究人员探索了YOLO的架构设计、优化目标、数据扩充策略等，取得了显著进展。然而，依赖非极大值抑制（NMS）进行后处理阻碍了YOLO的...
-
用于精确目标检测的多网格冗余边界框标注
本文经计算机视觉研究院公众号授权转载，转载请联系出处。 一、前言 现在领先的目标检测器是从基于深度CNN的主干分类器网络重新调整用途的两级或单级网络。YOLOv3就是这样一种众所周知的最先进的单级检测器，它接收输入图像并将其划分为大小相等的网格矩阵。具...
-
高亮反光终结者？谷歌NeRF-Casting：光线追踪就能搞定！
NeRF不再“畏惧”近处高光反射 早期的NeRF变体使用多层感知器（MLPs）从三维坐标映射到体积密度和视点相关的颜色，但是表示详细的三维几何和颜色所需的大型MLPs训练和评估速度极慢。最近的工作专注于通过用类似体素网格的数据结构或网格和小型MLPs的组...
-
AI绘图Stable Diffusion中关键技术：U-Net的应用
你好，我是郭震 引言 在人工智能和深度学习的迅猛发展下，图像生成技术已经取得了令人瞩目的进展。特别是，Stable Diffusion模型以其文本到图像的生成能力吸引了广泛关注。本文将深入探讨Stable Diffusion中一个关键技术——...
-
基于分层自监督学习将视觉Transformer扩展到千兆像素图像
本文经计算机视觉研究院公众号授权转载，转载请联系出处。 Vision Transformers (ViT 及其多尺度和分层变体已成功地捕获图像表示，但它们的使用通常被研究用于低分辨率图像（例如256×256、384×384）。 1 概括 对于计算病...
-
PVTransformer: 可扩展3D检测的点到体素Transformer
本文经自动驾驶之心公众号授权转载，转载请联系出处。 原标题：PVTransformer: Point-to-Voxel Transformer for Scalable 3D Object Detection 论文链接：https://arxiv.org...
-
CVPR'24 Oral | 一览纯稀疏点云检测器SAFDNet的前世今生！
写在前面&笔者的个人理解 3D点云物体检测对自动驾驶感知至关重要，如何高效地从稀疏点云数据中学习特征表示是3D点云物体检测面临的一个关键挑战。我们在本文中将会介绍团队发表在NeurIPS 2023的HEDNet和CVPR 2024的SAFDNet...
-
FisheyeDetNet：首个基于鱼眼相机的目标检测算法
本文经自动驾驶之心公众号授权转载，转载请联系出处。 目标检测在自动驾驶系统当中是一个比较成熟的问题，其中行人检测是最早得以部署算法之一。在多数论文当中已经进行了非常全面的研究。然而，利用鱼眼相机进行环视的近距离的感知相对来说研究较少。由于径向畸变较大，标...
-
自回归超越扩散！北大、字节 VAR 范式解锁视觉生成 Scaling Law
新一代视觉生成范式「VAR: Visual Auto Regressive」视觉自回归来了！使 GPT 风格的自回归模型在图像生成首次超越扩散模型，并观察到与大语言模型相似的 Scaling Laws 缩放定律、Zero-shot Task General...
-
CLIP-BEVFormer：显式监督BEVFormer结构，提升长尾检测性能
本文经自动驾驶之心公众号授权转载，转载请联系出处。 写在前面&笔者的个人理解 目前，在整个自动驾驶系统当中，感知模块扮演了其中至关重要的角色，行驶在道路上的自动驾驶车辆只有通过感知模块获得到准确的感知结果后，才能让自动驾驶系统中的下游规控模块做...
-
深度估计SOTA！自动驾驶单目与环视深度的自适应融合
本文经自动驾驶之心公众号授权转载，转载请联系出处。 写在前面&个人理解 多视图深度估计在各种基准测试中都取得了较高性能。然而，目前几乎所有的多视图系统都依赖于给定的理想相机姿态，而这在许多现实世界的场景中是不可用的，例如自动驾驶。本工作提出了一...
-
优于所有方法！HIMap：端到端矢量化HD地图构建
本文经自动驾驶之心公众号授权转载，转载请联系出处。 矢量化高清（HD）地图构建需要预测地图元素的类别和点坐标（例如道路边界、车道分隔带、人行横道等）。现有技术的方法主要基于点级表示学习，用于回归精确的点坐标。然而，这种pipeline在获得elemen...
-
DECO: 纯卷积Query-Based检测器超越DETR！
本文经自动驾驶之心公众号授权转载，转载请联系出处。 标题：DECO: Query-Based End-to-End Object Detection with ConvNets 论文：https://arxiv.org/pdf/2312.13735...
-
实时加SOTA一飞冲天！FastOcc：推理更快、部署友好Occ算法来啦！
本文经自动驾驶之心公众号授权转载，转载请联系出处。 写在前面&笔者的个人理解 在自动驾驶系统当中，感知任务是整个自驾系统中至关重要的组成部分。感知任务的主要目标是使自动驾驶车辆能够理解和感知周围的环境元素，如行驶在路上的车辆、路旁的行人、行驶过...
-
OccFusion：一种简单有效的Occ多传感器融合框架（性能SOTA）
本文经自动驾驶之心公众号授权转载，转载请联系出处。 对3D场景的全面理解在自动驾驶中至关重要，最近的3D语义占用预测模型已经成功地解决了描述具有不同形状和类别的真实世界物体的挑战。然而，现有的3D占用预测方法在很大程度上依赖于全景相机图像，这使得它们容...
-
ADMap：抗干扰在线高精地图新思路
本文经自动驾驶之心公众号授权转载，转载请联系出处。 写在前面&笔者的个人理解 大家好，很开心能够受邀来到自动驾驶之心分享我们的在线重建矢量化高精度地图的抗扰动方法ADMap。我们的代码已经发布在https://github.com/hht199...
-
EfficientViT-SAM：精度不变原地起飞！
作者提出了EfficientViT-SAM，这是一系列加速的SAM模型。在保留SAM轻量级的提示编码器和 Mask 解码器的同时，作者用EfficientViT替换了沉重的图像编码器。在训练方面，首先从SAM-ViT-H图像编码器向EfficientV...
-
超越AF2？Iambic、英伟达、加州理工学院开发多尺度深度生成模型，进行状态特异性蛋白质-配体复合物结构预测
由蛋白质和小分子配体形成的结合复合物无处不在，对生命至关重要。虽然最近科学家在蛋白质结构预测方面取得了进展，但现有算法无法系统地预测结合配体结构及其对蛋白质折叠的调节作用。 为了解决这种差异，AI 制药公司 Iambic Therapeutics、英伟达...
-
【AIGC】Stable Diffusion的插件入门
一、上文中作者使用插件包的方式下安装插件，用户也可以从Stable Diffusion的界面安装插件，如下图所示，在相应的插件后面点安装按钮。 二、介绍一些比较好用的插件 “adetailer” 插件是 Stable Diffusion 中的一个增强...
-
上海人工智能实验室发布LLaMA-Adapter | 如何1小时训练你的多模态大模型用于下游任务
本文首发于微信公众号 CVHub，未经授权不得以任何形式售卖或私自转载到其它平台，违者必究！ Title: LLaMA-Adapter: Efficient Fine-tuning of Language Models with Zero-...
-
【AIGC-图片生成视频系列-6】SSR-Encoder：用于主题驱动生成的通用编码器
目录 一. 贡献概述 二. 方法详解 a 训练阶段 b 推理生成阶段： 三. 综合结果 四. 注意力可视化 五. 选择性主题驱动图像生成 六. 人体图像生成 七. 可推广到视频生成模型 八. 论文 九. 个人思考 稳定扩散（S...
-
【AI绘画】stable diffusion原理解读，通俗易懂，直接喂到你嘴里！！！
手把手教你入门绘图超强的AI绘画，用户只需要输入一段图片的文字描述，即可生成精美的绘画。给大家带来了全新保姆级教程资料包 （文末可获取） 文章目录 一、前言（可跳过） 二、stable diffusion 1.clip 2...
-
AIGC面经大全（持续更新）
目录 DDPM算法原理部分： DDIM算法原理部分： ⾼阶采样⽅案： 特征编码篇： Stable Diffusion篇： SDXL篇： ⼤模型微调篇： 控制模型篇： 适配器篇： DDPM算法原理部分： 简述DDP...
-
【AIGC-图片生成视频系列-3】AI视频随心而动：MotionCtrl的相机运动控制和物体运动控制
目录 一. 项目简介 二. 主要贡献 三. 摘要 四. 实现方法和管线 五. 基于 LVDM [1] / VideoCrafter1 [2]的结果 (A 相机运动控制 (B 物体运动控制 (C 相机+物体运动控制 (D 与Vide...
-
最强开源多模态生成模型MM-Interleaved：首创特征同步器
想象一下，AI 不仅会聊天，还长了「眼睛」，能看懂图片，甚至还会通过画画来表达自己！这意味着，你可以和它们谈天说地，分享图片或视频，它们也同样能用图文并茂的方式回应你。 最近，上海人工智能实验室联合香港中文大学多媒体实验室（MMLab）、清华大学、商汤科...
-
Stable Diffusion XL总结
Stable Diffusion XL是一个二阶段的级联扩散模型，包括Base模型和Refiner模型。其中Base模型的主要工作和Stable Diffusion一致，具备文生图，图生图，图像inpainting等能力。在Base模型之后，级联了Refi...
-
ADMap：用于重建在线矢量化高精地图的抗干扰框架
本文经自动驾驶之心公众号授权转载，转载请联系出处。 论文链接：https://arxiv.org/pdf/2401.13172.pdf 代码链接：https://github.com/hht1996ok/ADMap 摘要 本文介绍了ADMap：用...
-
Camera or Lidar？如何实现鲁棒的3D目标检测？最新综述！
本文经自动驾驶之心公众号授权转载，转载请联系出处。 0. 写在前面&&个人理解 自动驾驶系统依赖于先进的感知、决策和控制技术，通过使用各种传感器（如相机、激光雷达、雷达等）来感知周围环境，并利用算法和模型进行实时分析和决策。这使得车辆...
-
Stable Diffusion - 扩展 SegmentAnything 和 GroundingDINO 实例分割算法 插件的配置与使用
欢迎关注我的CSDN：https://spike.blog.csdn.net/ 本文地址：https://blog.csdn.net/caroline_wendy/article/details/131918652 Paper and GitHub：...
-
迈向分割的大一统！OMG-Seg：一个模型搞定所有分割任务
本文经自动驾驶之心公众号授权转载，转载请联系出处。 写在前面&笔者个人思考 图像分割已经从单任务分割走到了语义分割、实例分割、全景分割三种分割任务的统一；大模型以及多模态的发展又带来了文本和图像统一，使得跨模态端到端成为可能；追求更高级、更全面...
-
最近读的AIGC相关论文思路解读
AIGC之SD可控生成论文阅读记录 提示：本博客是作者本人最近对AIGC领域相关论文调研后，临时记录所用，所有观点都是来自作者本人局限理解，以及个人思考，不代表对。如果你也正好看过相关文章，发现作者的想法和思路有问题，欢迎评论区留言指正！ 既然是论...
-
【stable diffusion原理解读通俗易懂，史诗级万字爆肝长文，喂到你嘴里】
文章目录 一、前言（可跳过） 二、stable diffusion 1.clip 2.diffusion model forward diffusion （前向扩散） 逆向扩散（reverse diffusion） 采样图 阶段小结 3....
-
扩散模型图像理解力刷新SOTA！字节复旦团队提出全新「元提示」策略
Text-to-image（T2I）扩散模型在生成高清晰度图像方面显示出了卓越的能力，这一成就得益于其在大规模图像-文本对上的预训练。 这引发了一个自然的问题：扩散模型是否可以用于解决视觉感知任务？ 近期，来自字节跳动和复旦大学的技术团队提出了一种简单...
-
Stable Diffusion XL（SDXL）核心基础知识
文章目录 一、Stable Diffusion XL基本概念 二、SDXL模型架构上的优化 （一）SDXL的整体架构 （二）VAE （三）U-Net （四）text encoder （五）refiner model 三、SDXL在训练上的技...
-
RoboFusion：通过SAM实现稳健的多模态3D检测
本文经自动驾驶之心公众号授权转载，转载请联系出处。 论文链接：https://arxiv.org/pdf/2401.03907.pdf 多模态3D检测器致力于探索安全可靠的自动驾驶感知系统。然而，尽管在干净的基准数据集上实现了最先进的（SOTA）性能，...
-
只需1080ti，即可在遥感图像中对目标进行像素级定位！代码数据集已开源！
太长不看版 这篇论文介绍了一项新的任务 —— 指向性遥感图像分割（RRSIS），以及一种新的方法 —— 旋转多尺度交互网络（RMSIN）。RRSIS 旨在根据文本描述实现遥感图像中目标对象的像素级定位。为了解决现有数据集规模和范围的限制，本文构建了一个新...
-
数据闭环！DrivingGaussian：逼真环视数据，驾驶场景重建SOTA
本文经自动驾驶之心公众号授权转载，转载请联系出处。 写在前面&笔者的个人理解 北大王选计算机研究所的最新工作，提出了DrivingGaussian，一个高效、有效的动态自动驾驶场景框架。对于具有移动目标的复杂场景，首先使用增量静态3D高斯对整个...
-
LLaMA-Adapter: Efficient Fine-tuning of Language Models with Zero-init Attention
Paper name LLaMA-Adapter: Efficient Fine-tuning of Language Models with Zero-init Attention Paper Reading Note Paper URL: htt...