-
CVPR'24 Oral | 一览纯稀疏点云检测器SAFDNet的前世今生！
写在前面&笔者的个人理解 3D点云物体检测对自动驾驶感知至关重要，如何高效地从稀疏点云数据中学习特征表示是3D点云物体检测面临的一个关键挑战。我们在本文中将会介绍团队发表在NeurIPS 2023的HEDNet和CVPR 2024的SAFDNet...
-
FisheyeDetNet：首个基于鱼眼相机的目标检测算法
本文经自动驾驶之心公众号授权转载，转载请联系出处。 目标检测在自动驾驶系统当中是一个比较成熟的问题，其中行人检测是最早得以部署算法之一。在多数论文当中已经进行了非常全面的研究。然而，利用鱼眼相机进行环视的近距离的感知相对来说研究较少。由于径向畸变较大，标...
-
自回归超越扩散！北大、字节 VAR 范式解锁视觉生成 Scaling Law
新一代视觉生成范式「VAR: Visual Auto Regressive」视觉自回归来了！使 GPT 风格的自回归模型在图像生成首次超越扩散模型，并观察到与大语言模型相似的 Scaling Laws 缩放定律、Zero-shot Task General...
-
CLIP-BEVFormer：显式监督BEVFormer结构，提升长尾检测性能
本文经自动驾驶之心公众号授权转载，转载请联系出处。 写在前面&笔者的个人理解 目前，在整个自动驾驶系统当中，感知模块扮演了其中至关重要的角色，行驶在道路上的自动驾驶车辆只有通过感知模块获得到准确的感知结果后，才能让自动驾驶系统中的下游规控模块做...
-
深度估计SOTA！自动驾驶单目与环视深度的自适应融合
本文经自动驾驶之心公众号授权转载，转载请联系出处。 写在前面&个人理解 多视图深度估计在各种基准测试中都取得了较高性能。然而，目前几乎所有的多视图系统都依赖于给定的理想相机姿态，而这在许多现实世界的场景中是不可用的，例如自动驾驶。本工作提出了一...
-
优于所有方法！HIMap：端到端矢量化HD地图构建
本文经自动驾驶之心公众号授权转载，转载请联系出处。 矢量化高清（HD）地图构建需要预测地图元素的类别和点坐标（例如道路边界、车道分隔带、人行横道等）。现有技术的方法主要基于点级表示学习，用于回归精确的点坐标。然而，这种pipeline在获得elemen...
-
DECO: 纯卷积Query-Based检测器超越DETR！
本文经自动驾驶之心公众号授权转载，转载请联系出处。 标题：DECO: Query-Based End-to-End Object Detection with ConvNets 论文：https://arxiv.org/pdf/2312.13735...
-
实时加SOTA一飞冲天！FastOcc：推理更快、部署友好Occ算法来啦！
本文经自动驾驶之心公众号授权转载，转载请联系出处。 写在前面&笔者的个人理解 在自动驾驶系统当中，感知任务是整个自驾系统中至关重要的组成部分。感知任务的主要目标是使自动驾驶车辆能够理解和感知周围的环境元素，如行驶在路上的车辆、路旁的行人、行驶过...
-
OccFusion：一种简单有效的Occ多传感器融合框架（性能SOTA）
本文经自动驾驶之心公众号授权转载，转载请联系出处。 对3D场景的全面理解在自动驾驶中至关重要，最近的3D语义占用预测模型已经成功地解决了描述具有不同形状和类别的真实世界物体的挑战。然而，现有的3D占用预测方法在很大程度上依赖于全景相机图像，这使得它们容...
-
ADMap：抗干扰在线高精地图新思路
本文经自动驾驶之心公众号授权转载，转载请联系出处。 写在前面&笔者的个人理解 大家好，很开心能够受邀来到自动驾驶之心分享我们的在线重建矢量化高精度地图的抗扰动方法ADMap。我们的代码已经发布在https://github.com/hht199...
-
EfficientViT-SAM：精度不变原地起飞！
作者提出了EfficientViT-SAM，这是一系列加速的SAM模型。在保留SAM轻量级的提示编码器和 Mask 解码器的同时，作者用EfficientViT替换了沉重的图像编码器。在训练方面，首先从SAM-ViT-H图像编码器向EfficientV...
-
超越AF2？Iambic、英伟达、加州理工学院开发多尺度深度生成模型，进行状态特异性蛋白质-配体复合物结构预测
由蛋白质和小分子配体形成的结合复合物无处不在，对生命至关重要。虽然最近科学家在蛋白质结构预测方面取得了进展，但现有算法无法系统地预测结合配体结构及其对蛋白质折叠的调节作用。 为了解决这种差异，AI 制药公司 Iambic Therapeutics、英伟达...
-
【AIGC】Stable Diffusion的插件入门
一、上文中作者使用插件包的方式下安装插件，用户也可以从Stable Diffusion的界面安装插件，如下图所示，在相应的插件后面点安装按钮。 二、介绍一些比较好用的插件 “adetailer” 插件是 Stable Diffusion 中的一个增强...
-
上海人工智能实验室发布LLaMA-Adapter | 如何1小时训练你的多模态大模型用于下游任务
本文首发于微信公众号 CVHub，未经授权不得以任何形式售卖或私自转载到其它平台，违者必究！ Title: LLaMA-Adapter: Efficient Fine-tuning of Language Models with Zero-...
-
【AIGC-图片生成视频系列-6】SSR-Encoder：用于主题驱动生成的通用编码器
目录 一. 贡献概述 二. 方法详解 a 训练阶段 b 推理生成阶段： 三. 综合结果 四. 注意力可视化 五. 选择性主题驱动图像生成 六. 人体图像生成 七. 可推广到视频生成模型 八. 论文 九. 个人思考 稳定扩散（S...
-
【AI绘画】stable diffusion原理解读，通俗易懂，直接喂到你嘴里！！！
手把手教你入门绘图超强的AI绘画，用户只需要输入一段图片的文字描述，即可生成精美的绘画。给大家带来了全新保姆级教程资料包 （文末可获取） 文章目录 一、前言（可跳过） 二、stable diffusion 1.clip 2...
-
AIGC面经大全（持续更新）
目录 DDPM算法原理部分： DDIM算法原理部分： ⾼阶采样⽅案： 特征编码篇： Stable Diffusion篇： SDXL篇： ⼤模型微调篇： 控制模型篇： 适配器篇： DDPM算法原理部分： 简述DDP...
-
【AIGC-图片生成视频系列-3】AI视频随心而动：MotionCtrl的相机运动控制和物体运动控制
目录 一. 项目简介 二. 主要贡献 三. 摘要 四. 实现方法和管线 五. 基于 LVDM [1] / VideoCrafter1 [2]的结果 (A 相机运动控制 (B 物体运动控制 (C 相机+物体运动控制 (D 与Vide...
-
最强开源多模态生成模型MM-Interleaved：首创特征同步器
想象一下，AI 不仅会聊天，还长了「眼睛」，能看懂图片，甚至还会通过画画来表达自己！这意味着，你可以和它们谈天说地，分享图片或视频，它们也同样能用图文并茂的方式回应你。 最近，上海人工智能实验室联合香港中文大学多媒体实验室（MMLab）、清华大学、商汤科...
-
Stable Diffusion XL总结
Stable Diffusion XL是一个二阶段的级联扩散模型，包括Base模型和Refiner模型。其中Base模型的主要工作和Stable Diffusion一致，具备文生图，图生图，图像inpainting等能力。在Base模型之后，级联了Refi...
-
ADMap：用于重建在线矢量化高精地图的抗干扰框架
本文经自动驾驶之心公众号授权转载，转载请联系出处。 论文链接：https://arxiv.org/pdf/2401.13172.pdf 代码链接：https://github.com/hht1996ok/ADMap 摘要 本文介绍了ADMap：用...
-
Camera or Lidar？如何实现鲁棒的3D目标检测？最新综述！
本文经自动驾驶之心公众号授权转载，转载请联系出处。 0. 写在前面&&个人理解 自动驾驶系统依赖于先进的感知、决策和控制技术，通过使用各种传感器（如相机、激光雷达、雷达等）来感知周围环境，并利用算法和模型进行实时分析和决策。这使得车辆...
-
Stable Diffusion - 扩展 SegmentAnything 和 GroundingDINO 实例分割算法 插件的配置与使用
欢迎关注我的CSDN：https://spike.blog.csdn.net/ 本文地址：https://blog.csdn.net/caroline_wendy/article/details/131918652 Paper and GitHub：...
-
迈向分割的大一统！OMG-Seg：一个模型搞定所有分割任务
本文经自动驾驶之心公众号授权转载，转载请联系出处。 写在前面&笔者个人思考 图像分割已经从单任务分割走到了语义分割、实例分割、全景分割三种分割任务的统一；大模型以及多模态的发展又带来了文本和图像统一，使得跨模态端到端成为可能；追求更高级、更全面...
-
最近读的AIGC相关论文思路解读
AIGC之SD可控生成论文阅读记录 提示：本博客是作者本人最近对AIGC领域相关论文调研后，临时记录所用，所有观点都是来自作者本人局限理解，以及个人思考，不代表对。如果你也正好看过相关文章，发现作者的想法和思路有问题，欢迎评论区留言指正！ 既然是论...
-
【stable diffusion原理解读通俗易懂，史诗级万字爆肝长文，喂到你嘴里】
文章目录 一、前言（可跳过） 二、stable diffusion 1.clip 2.diffusion model forward diffusion （前向扩散） 逆向扩散（reverse diffusion） 采样图 阶段小结 3....
-
扩散模型图像理解力刷新SOTA！字节复旦团队提出全新「元提示」策略
Text-to-image（T2I）扩散模型在生成高清晰度图像方面显示出了卓越的能力，这一成就得益于其在大规模图像-文本对上的预训练。 这引发了一个自然的问题：扩散模型是否可以用于解决视觉感知任务？ 近期，来自字节跳动和复旦大学的技术团队提出了一种简单...
-
Stable Diffusion XL（SDXL）核心基础知识
文章目录 一、Stable Diffusion XL基本概念 二、SDXL模型架构上的优化 （一）SDXL的整体架构 （二）VAE （三）U-Net （四）text encoder （五）refiner model 三、SDXL在训练上的技...
-
RoboFusion：通过SAM实现稳健的多模态3D检测
本文经自动驾驶之心公众号授权转载，转载请联系出处。 论文链接：https://arxiv.org/pdf/2401.03907.pdf 多模态3D检测器致力于探索安全可靠的自动驾驶感知系统。然而，尽管在干净的基准数据集上实现了最先进的（SOTA）性能，...
-
只需1080ti，即可在遥感图像中对目标进行像素级定位！代码数据集已开源！
太长不看版 这篇论文介绍了一项新的任务 —— 指向性遥感图像分割（RRSIS），以及一种新的方法 —— 旋转多尺度交互网络（RMSIN）。RRSIS 旨在根据文本描述实现遥感图像中目标对象的像素级定位。为了解决现有数据集规模和范围的限制，本文构建了一个新...
-
数据闭环！DrivingGaussian：逼真环视数据，驾驶场景重建SOTA
本文经自动驾驶之心公众号授权转载，转载请联系出处。 写在前面&笔者的个人理解 北大王选计算机研究所的最新工作，提出了DrivingGaussian，一个高效、有效的动态自动驾驶场景框架。对于具有移动目标的复杂场景，首先使用增量静态3D高斯对整个...
-
LLaMA-Adapter: Efficient Fine-tuning of Language Models with Zero-init Attention
Paper name LLaMA-Adapter: Efficient Fine-tuning of Language Models with Zero-init Attention Paper Reading Note Paper URL: htt...
-
PillarNeSt：如何进一步提升基于Pillar的3D目标检测性能？
写在前面 && 笔者的个人理解 目前在自动驾驶领域中，一辆自驾汽车会配备多种传感器，如：激光雷达传感器采集点云数据、相机传感器采集图像数据等。由于激光雷达传感器可以更加准确的获取待检测物体的几何和位置信息，所以基于点云的感知算法模型在快速...
-
HumanGaussian开源：基于Gaussian Splatting，高质量 3D 人体生成新框架
在 3D 生成领域，根据文本提示创建高质量的 3D 人体外观和几何形状对虚拟试穿、沉浸式远程呈现等应用有深远的意义。传统方法需要经历一系列人工制作的过程，如 3D 人体模型回归、绑定、蒙皮、纹理贴图和驱动等。为了自动化 3D 内容生成，此前的一些典型工作...
-
视觉CV-AIGC一周最新技术精选(2023-11)
PG-Video-LLaVA: Pixel Grounding Large Video-Language Models https://github.com/mbzuai-oryx/Video-LLaVA 将基于图像的大型多模态模型（LMM）扩...
-
NeuRAD: 用于自动驾驶的神经渲染（多数据集SOTA）
论文"NeuRAD: Neural Rendering for Autonomous Driving"，来自Zenseact，Chalmers科技大学，Linkoping大学和Lund大学。 神经辐射场（NeRF）在自动驾驶（AD）社区中越来越受欢迎。最...
-
北大提出统一的视觉语言大模型Chat-UniVi 3天训练成果惊艳众人
近日，北京大学和中山大学等机构的研究者提出了一种名为Chat-UniVi的视觉语言大模型，实现了统一的视觉表征，使其能够同时处理图片和视频任务。这一框架的独特之处在于，它不仅在深度学习任务中表现卓越，而且仅需短短三天的训练时间，就能够训练出具有130亿参数...
-
北大最新多模态大模型开源：在混合数据集上训练，无需修改直接用到图像视频任务
训完130亿参数通用视觉语言大模型，只需3天！ 北大和中山大学团队又出招了——在最新研究中，研究团队提出了一种构建统一的图片和视频表征的框架。 利用这种框架，可以大大减少VLM（视觉语言大模型）在训练和推理过程中的开销。 具体而言，团队按照提出的新框架...
-
训练130亿大模型仅3天，北大提出Chat-UniVi统一图片和视频理解
论文地址：https://arxiv.org/pdf/2311.08046.pdf GitHub 地址：https://github.com/PKU-YuanGroup/Chat-UniVi Huggingface 地址：https://huggi...
-
Open Vocabulary Detection 开放世界目标检测竞赛 2023获胜团队方案分享
OVD技术简介 目标检测是计算机视觉领域中的一项核心任务，其主要目标是让计算机能够自动识别图片中目标的类别，并准确标示每个目标的位置。目前，主流的目标检测方法主要针对闭集目标的开发，即在任务开始之前需要对待检测目标进行类别定义，并进行人工数据标注，通...
-
CVPR 2023 | 去雨去噪去模糊，图像low-level任务，视觉AIGC系列
Learning A Sparse Transformer Network for Effective Image Deraining 基于Transformer的方法在图像去雨任务中取得了显著的性能，因为它们可以对重要的非局部信息进行建模，这对...
-
Yolo V8：深入探讨其高级功能和新特性
Yolo是一种计算机视觉模型，被广泛认为是目前最强大和最知名的模型之一。这一突破性技术被称为Yolo，它是“You Only Look Once”的缩写，是一种以几乎瞬间处理速度检测物体的方法。Yolo V8技术是这一技术的最新版本，也是对之前版本的一种...
-
一篇学会大模型浪潮下的时间序列预测
今天跟大家聊一聊大模型在时间序列预测中的应用。随着大模型在NLP领域的发展，越来越多的工作尝试将大模型应用到时间序列预测领域中。这篇文章介绍了大模型应用到时间序列预测的主要方法，并汇总了近期相关的一些工作，帮助大家理解大模型时代时间序列预测的研究方法。...