-
CVPR'24 Oral | 一览纯稀疏点云检测器SAFDNet的前世今生！
写在前面&笔者的个人理解 3D点云物体检测对自动驾驶感知至关重要，如何高效地从稀疏点云数据中学习特征表示是3D点云物体检测面临的一个关键挑战。我们在本文中将会介绍团队发表在NeurIPS 2023的HEDNet和CVPR 2024的SAFDNet...
-
又被 OpenAI 截胡，Google推出开源视觉语言模型：PaliGemma
前言 该模型结合了 SigLIP 视觉模型和 Gemma 语言模型，这两种模型都是开放组件，使得PaliGemma在处理视觉与语言结合的任务上表现出色。 PaliGemma的使用场景包括图像字幕、图像标签和视觉问答等。这些应用场景利用了PaliGemm...
-
SIGGRAPH'24 | 太逆天了！利用分层3D GS，实时渲染超大规模场景！
本文经自动驾驶之心公众号授权转载，转载请联系出处。 近年来，新视角合成取得了重大进展，3D Gaussian splatting提供了出色的视觉质量、快速训练和实时渲染。然而，训练和渲染所需的资源不可避免地限制了可以以良好视觉质量表示的场景大小。本文引入...
-
一览Occ与自动驾驶的前世今生！首篇综述全面汇总特征增强/量产部署/高效标注三大主题
本文经自动驾驶之心公众号授权转载，转载请联系出处。 写在前面&笔者的个人理解 近年来，自动驾驶因其在减轻驾驶员负担和提高驾驶安全方面的潜力而越来越受到关注。基于视觉的三维占用预测是一种新兴的感知任务，适用于具有成本效益的自动驾驶感知系统，它可以...
-
还在YOLO-World？DetCLIPv3出手！性能大幅度超出一众SOTA！
本文经自动驾驶之心公众号授权转载，转载请联系出处。 现有的开词汇目标检测器通常需要用户预设一组类别，这大大限制了它们的应用场景。在本文中，作者介绍了DetCLIPv3，这是一种高性能检测器，不仅在开词汇目标检测方面表现出色，同时还能为检测到的目标生成...
-
FisheyeDetNet：首个基于鱼眼相机的目标检测算法
本文经自动驾驶之心公众号授权转载，转载请联系出处。 目标检测在自动驾驶系统当中是一个比较成熟的问题，其中行人检测是最早得以部署算法之一。在多数论文当中已经进行了非常全面的研究。然而，利用鱼眼相机进行环视的近距离的感知相对来说研究较少。由于径向畸变较大，标...
-
谷歌AI提出MathWriting:整合人工书写和合成数据集等改变手写数学表达式识别
近年来，在线文本识别模型取得了显著进展，但数学表达（ME）识别作为更为复杂的任务仍未得到足够关注。 谷歌研究团队推出了 MathWriting，一个专注于在线手写数学表达的数据集，包含230k 人工编写和400k 合成样本，超越了类似 IM2LATEX-1...
-
CVPR 2024 | 面向真实感场景生成的激光雷达扩散模型
本文经自动驾驶之心公众号授权转载，转载请联系出处。 原标题：Towards Realistic Scene Generation with LiDAR Diffusion Models 论文链接：https://hancyran.github.io/a...
-
如何利用Transformer有效关联激光雷达-毫米波雷达-视觉特征？
本文经自动驾驶之心公众号授权转载，转载请联系出处。 笔者个人理解 自动驾驶的基础任务之一是三维目标检测，而现在许多方法都是基于多传感器融合的方法实现的。那为什么要进行多传感器融合?无论是激光雷达和相机融合，又或者是毫米波雷达和相机融合，其最主要的目的就是...
-
效率狂增16倍！VRSO：纯视觉静态物体3D标注，打通数据闭环！
本文经自动驾驶之心公众号授权转载，转载请联系出处。 标注之殇 静态物体检测（Static object detection，SOD），包括交通信号灯、导向牌和交通锥，大多数算法是数据驱动深度神经网络，需要大量的训练数据。现在的做法通常是对大量的训练样本...
-
多个SOTA ！OV-Uni3DETR：提高3D检测在类别、场景和模态之间的普遍性（清华&港大）
本文经自动驾驶之心公众号授权转载，转载请联系出处。 这篇论文聚焦于3D目标检测的领域，特别是Open-Vocabulary的3D目标检测。在传统的3D目标检测任务中，系统旨在预测真实场景中物体的定向3D边界框和语义类别标签，这通常依赖于点云或RGB图像...
-
80M参数打平GPT-4！苹果发超强上下文理解模型ReALM，聪明版Siri马上就来
【新智元导读】苹果公司发布了一款参数量仅为80M的最新模型——ReALM，能够将各种形式的上下文转换为文本进行理解，包括解析屏幕、多轮对话以及上下文引用，提升了Siri等智能助手的反应速度和智能程度。 会读心的Siri想不想要? 今天，苹果发布了自家的最新...
-
80M参数打平GPT-4！苹果发超强上下文理解模型，聪明版Siri马上就来
想了解更多AIGC的内容，请访问： 51CTO AI.x社区 https://www.51cto.com/aigc/ 会读心的Siri想不想要？ 今天，苹果发布了自家的最新模型ReALM，仅需80M参数，就能在上下文理解能力上打平甚至超越GPT-4！...
-
让Siri不再智障！苹果定义新的端侧模型，“大大优于GPT-4，摆脱文本，可视化模拟屏幕信息，最小参数模型相较基线系统仍提升5%
撰稿丨诺亚 出品 | 51CTO技术栈（微信号：blog51cto） 总被用户吐槽“有点智障”的Siri有救了！ Siri自诞生以来就是智能语音助手领域的代表之一，但很长一段时间里，其表现并不尽如人意。然而，苹果的人工智能团队最新...
-
苹果AI放大招？新设备端模型超过GPT-4，有望拯救Siri
在最近的一篇论文中，苹果的研究人员宣称，他们提出了一个可以在设备端运行的模型，这个模型在某些方面可以超过 GPT-4。 具体来说，他们研究的是 NLP 中的指代消解（Reference Resolution）问题，即让 AI 识别文本中提到的各种实体...
-
15个推荐开源免费图像标注工具
图像标注是向图像添加标签或注释的元数据，使图像上的内容具有上下文含义。这个过程在机器学习中具有重要意义，助于在训练视觉模型过程中准确地识别图像中的元素。 视觉模型最终的用途也非常广泛，例如，帮助车辆识别道路上的不同物体或障碍物、通过对医学图像的识别帮助疾...
-
3D版Sora来了？UMass、MIT等提出3D世界模型，具身智能机器人实现新里程碑
在最近的研究中，视觉-语言-动作（VLA，vision-language-action）模型的输入基本都是2D数据，没有集成更通用的3D物理世界。 此外，现有的模型通过学习「感知到动作的直接映射」来进行动作预测，忽略了世界的动态性，以及动作和动态之间的关...
-
零样本6D物体姿态估计框架SAM-6D，向具身智能更进一步
物体姿态估计在许多现实世界应用中起到至关重要的作用，例如具身智能、机器人灵巧操作和增强现实等。 在这一领域中，最先受到关注的任务是实例级别 6D 姿态估计，其需要关于目标物体的带标注数据进行模型训练，使深度模型具有物体特定性，无法迁移应用到新物体上。后来...
-
为自动驾驶而生，Lightning NeRF：速度提升10倍
本文经自动驾驶之心公众号授权转载，转载请联系出处。 写在前面&笔者的个人理解 最近的研究强调了NeRF在自动驾驶环境中的应用前景。然而室外环境的复杂性，加上驾驶场景中的视点受限，使精确重建场景几何体的任务变得复杂。这些挑战往往会导致重建质量下降...
-
全球首个基于大语言模型的自动驾驶语言控制模型
Arxiv论文链接：https://arxiv.org/abs/2312.03543项目主页：https://github.com/Petrichor625/Talk2car_CAVG 近年来，工业界和学术界都争先恐后地研发全自动驾驶汽车（AVs）。尽...
-
实时加SOTA一飞冲天！FastOcc：推理更快、部署友好Occ算法来啦！
本文经自动驾驶之心公众号授权转载，转载请联系出处。 写在前面&笔者的个人理解 在自动驾驶系统当中，感知任务是整个自驾系统中至关重要的组成部分。感知任务的主要目标是使自动驾驶车辆能够理解和感知周围的环境元素，如行驶在路上的车辆、路旁的行人、行驶过...
-
Stable Diffusion ———LDM、SD 1.0, 1.5, 2.0、SDXL、SDXL-Turbo等版本之间关系现原理详解
一、简介 2021年5月，OpenAI发表了《扩散模型超越GANs》的文章，标志着扩散模型（Diffusion Models，DM）在图像生成领域开始超越传统的GAN模型，进一步推动了DM的应用。 然而，早期的DM直接作用于像素空间，这意味着要优化一...
-
如何只用两个Python函数在几分钟内创建完整的计算机视觉应用程序
译者 | 李睿 审校 | 重楼 本文首先概述典型的计算机视觉应用程序的要求。然后，介绍Pipeless这一为嵌入式计算机视觉提供无服务器开发体验的开源框架。最后，提供一个详细的步骤指南，介绍如何创建和执行一个简单的对象检测应用程序，该应用程序只需采用几...
-
华人CV宗师黄煦涛高徒离职特斯拉，加入OpenAI！专攻多模态模型研究
OpenAI又迎来一位AI大将。 最近，华人科学家程博文官宣离职特斯拉，即将加入OpenAI专攻多模态模型的研究。 图片 今天是我在特斯拉自动驾驶部门的最后一天，这一年半的经历真的很棒：有机会与才华横溢的同事们共事，学习了如何开发出色的产品等等。但我向通...
-
CLRNet：一种用于自动驾驶车道检测的分层细化网络算法
车道是具有高级语义的交通标志，特别是在视觉导航系统中尤其重要。检测车道可以使许多应用受益，例如自动驾驶和高级驾驶员辅助系统（ADAS）中的视觉导航就是一个典型的应用，它可以帮助智能车辆更好地进行自车定位并更安全地行驶。 然而，车道检测拥有特定的局部模式，...
-
EfficientViT-SAM：精度不变原地起飞！
作者提出了EfficientViT-SAM，这是一系列加速的SAM模型。在保留SAM轻量级的提示编码器和 Mask 解码器的同时，作者用EfficientViT替换了沉重的图像编码器。在训练方面，首先从SAM-ViT-H图像编码器向EfficientV...
-
被字节辟谣的中文版Sora，究竟厉害在哪里？
撰稿 | 云昭 出品 | 51CTO技术栈（微信号：blog51cto） 近日，市场有消息称，在Sora引爆文生视频赛道之前，国内的字节跳动也推出了一款新型视频模型Boximator，与Gen-2、Pink1.0等既有模型相比，Boximator的独特...
-
如何使用TensorFlow和Cleanvision检测大堡礁的海星威胁？
澳大利亚的大堡礁美不胜收，是全球最大的珊瑚礁，也是多种多样的海洋生物栖息的家园。不幸的是，珊瑚礁面临蚕食珊瑚的棘冠海星（COTS）的威胁。为了控制COTS爆发，珊瑚礁管理人员使用一种名为Manta Tow勘查的方法，将潜水员拖在船后，目测评估珊瑚礁的各...
-
如何探索和可视化用于图像中物体检测的 ML 数据
近年来，人们越来越认识到深入理解机器学习数据（ML-data）的必要性。不过，鉴于检测大型数据集往往需要耗费大量人力物力，它在计算机视觉（computer vision）领域的广泛应用，尚有待进一步开发。 通常，在物体检测（Object Detectio...
-
挖掘BEV潜力的边界！DA-BEV：无监督BEV SOTA新方案！
本文经自动驾驶之心公众号授权转载，转载请联系出处。 写在前面&笔者的个人理解 今天和大家探讨3D视觉感知领域中的一个特定问题：针对纯视觉的鸟瞰图（BEV）的无监督领Domain Adaptation（Unsupervised Domain Ad...
-
Segment Anything论文翻译，SAM模型，SAM论文，SAM论文翻译；一个用于图像分割的新任务、模型和数据集；SA-1B数据集
【论文翻译】- Segment Anything / Model / SAM论文 论文链接： https://arxiv.org/pdf/2304.02643.pdf https://ai.facebook.com/research/publica...
-
数据为王！如何通过数据一步步构建高效的自动驾驶算法？
本文经自动驾驶之心公众号授权转载，转载请联系出处。 写在前面&笔者的个人理解 下一代自动驾驶技术期望依赖于智能感知、预测、规划和低级别控制之间的专门集成和交互。自动驾驶算法性能的上限一直存在巨大的瓶颈，学术界和业界一致认为，克服瓶颈的关键在于以...
-
近200+自动驾驶数据集全面调研！一览如何数据闭环全流程
写在前面&个人理解 自动驾驶技术在硬件和深度学习方法的最新进展中迅速发展，并展现出令人期待的性能。高质量的数据集对于开发可靠的自动驾驶算法至关重要。先前的数据集调研试图回顾这些数据集，但要么集中在有限数量的数据集上，要么缺乏对数据集特征的详细调查...
-
Camera or Lidar？如何实现鲁棒的3D目标检测？最新综述！
本文经自动驾驶之心公众号授权转载，转载请联系出处。 0. 写在前面&&个人理解 自动驾驶系统依赖于先进的感知、决策和控制技术，通过使用各种传感器（如相机、激光雷达、雷达等）来感知周围环境，并利用算法和模型进行实时分析和决策。这使得车辆...
-
买个机器人端茶倒水有希望了？Meta、纽约大学造了一个OK-Robot
「xx，去把电视柜上的遥控器帮我拿过来。」在一个家庭环境中，很多家庭成员都不免被支使干这种活儿。甚至有时候，宠物狗也难以幸免。但人总有支使不动的时候，宠物狗也并不一定都能听懂。帮人类干活儿的终极梦想还是寄托在机器人身上。 最近，纽约大学、Meta 研发出...
-
画个框、输入文字，面包即刻出现：AI开始在3D场景「无中生有」了
现在，通过文本提示和一个2D 边界框，我们就能在3D 场景中生成对象。 看到下面这张图了没?一开始，盘子里是没有东西的，但当你在托盘上画个框，然后在文本框中输入文本「在托盘上添加意大利面包」，魔法就出现了:一个看起来美味可口的面包就出现在你的眼前。 房间...
-
万字总结 | 2023大模型与自动驾驶论文走马观花
本文经自动驾驶之心公众号授权转载，转载请联系出处。 2023年已经匆匆过去大半，不知各位自动驾驶小伙伴今年的工作生活情况是否顺利呢？高阶ADAS方案量产了吗？新的文章和实验进展又是否顺利呢？今天给大家总结了2023年前后的一些自动驾驶结合大模型的开创性...
-
大模型 Dalle2 学习三部曲（一）Latent Diffusion Models学习
引言 Diffusion model大获成功，但是它的短板也很明显，需要大量的计算资源，并且推理速度比较慢。如何才能提升Diffusion model的计算效率。业界有各种各样的改进，无疑Latent Diffusion Models（潜在扩散模...
-
Agent触摸汉堡辨冷热，首次拥有类人感官！UCLA等发布3D多模态交互具身智能大模型
具身智能，是大模型未来应用的一个重要方向。 现在，大模型加持下的智能体，能够参与3D环境，不仅有了听觉视觉，还有了触觉等多种感官能力。 卧室里有什么物体，一眼辨认。 听到门铃响了，LLM便会告诉你家里来客人了。 大模型加持的NPC，在触摸桌子的香蕉后，...
-
AIGC必备知识点：你不可不知的CNN（卷积神经网络）-知识全解析！
Look！👀我们的大模型商业化落地产品 📖更多AI资讯请👉🏾关注 Free三天集训营助教在线为您火热答疑👩🏼🏫 大家在谈论的卷积神经网络究竟是什么？(Convolutional Neural Network，CNN 是一类主要用于计算机视觉领域的...
-
ReSimAD：如何在没有真实数据的情况下，提升感知模型的泛化性能
本文经自动驾驶之心公众号授权转载，转载请联系出处。 写在前面&笔者的个人理解 自动驾驶车辆传感器层面的域变化是很普遍的现象，例如在不同场景和位置的自动驾驶车辆，处在不同光照、天气条件下的自动驾驶车辆，搭载了不同传感器设备的自动驾驶车辆，上述这些...
-
超越BEVFusion！又快又好的极简BEV融合部署方案
本文经自动驾驶之心公众号授权转载，转载请联系出处。 写在前面&笔者的个人理解 在算法开发中，激光雷达-相机3D目标检测遇到了过度拟合问题，这是由于违反了一些基本规则。在数据集构建的数据标注方面，本文参考了理论补充，并认为回归任务预测不应涉及来自...
-
实战AI大模型：AIGC及经典模型
今天，人工智能技术的快速发展和广泛应用已经引起了大众的关注和兴趣，它不仅成为技术发展的核心驱动力，更是推动着社会生活的全方位变革。特别是作为AI重要分支的深度学习，通过不断刷新的表现力已引领并定义了一场科技革命。大型深度学习模型（简称AI大模型）以其强大的...
-
放射科医生再临危机！国外五大机构联合发布「胸部X光」最新基准
胸部X光（CXR）检查是一种广泛应用于各种疾病的筛查、诊断检查的临床成像方式。 临床诊断中，不仅包括常见的疾病类型，往往还会描述相应严重程度和不确定性，目前的医学图像数据库往往满足于预测疾病类型，而忽视了具有重大临床意义的后者。 最近，德州州立阿灵顿分校...
-
软硬约束下的轨迹如何生成，理论&代码详解！
本文经自动驾驶之心公众号授权转载，转载请联系出处。 本项目代码： github.com/liangwq/robot_motion_planing 轨迹约束中的软硬约束 前面的几篇文章已经介绍了，轨迹约束的本质就是在做带约束的轨迹拟合。输入就是waypo...
-
AI视野：ComfyUI Lora训练节点来了；“ChatGPT之父”结婚；Topazlabs推视频高清放大工具Topaz Video AI4；阿里云推出第八代企业级实例g8i
欢迎来到【AI视野】栏目!这里是你每天探索人工智能世界的指南，每天我们为你呈现AI领域的热点内容，聚焦开发者，助你洞悉技术趋势、了解创新AI产品应用。 新鲜AI产品点击了解:https://top.aibase.com/ 📰🤖📢AI新鲜事 ComfyUI...
-
告别逐一标注，一个提示实现批量图片分割，高效又准确
Segment Anything Model (SAM 的提出在图像分割领域引起了巨大的关注，其卓越的泛化性能引发了广泛的兴趣。然而，尽管如此，SAM 仍然面临一个无法回避的问题：为了使 SAM 能够准确地分割出目标物体的位置，每张图片都需要手动提供一...
-
超逼真！实时高质量渲染，用于动态城市场景建模的Street Gaussians
本文经自动驾驶之心公众号授权转载，转载请联系出处。 不得不说，技术更新太快了，Nerf在学术界慢慢被替换下去了。Gaussians登场了，浙江大学的工作 论文：Street Gaussians for Modeling Dynamic Urban Sc...
-
只需1080ti，即可在遥感图像中对目标进行像素级定位！代码数据集已开源！
太长不看版 这篇论文介绍了一项新的任务 —— 指向性遥感图像分割（RRSIS），以及一种新的方法 —— 旋转多尺度交互网络（RMSIN）。RRSIS 旨在根据文本描述实现遥感图像中目标对象的像素级定位。为了解决现有数据集规模和范围的限制，本文构建了一个新...
-
攻克图像「文本生成」难题，碾压同级扩散模型！两代TextDiffuser架构深度解析
近年来，文本生成图像领域取得了显著进展，尤其是基于扩散（Diffusion）的图像生成模型在细节层面上展现出逼真的效果。 然而，一个挑战仍然存在：如何将文本准确地融入图像。 生活中存在大量的「含文本图像」，从广告海报到书籍封面，再到路牌指示，都包含了重要...