-
十个大型语言模型(LLM)常见面试问题和答案解析
今天我们来总结以下大型语言模型面试中常问的问题 一、哪种技术有助于减轻基于提示的学习中的偏见? A.微调 Fine-tuning B.数据增强 Data augmentation C.提示校准 Prompt calibration D.梯度裁剪 Gra...
-
基于Stable Diffusion的智能绘画大模型
随着人工智能技术的不断发展，AI艺术也在逐渐崭露头角。其中，基于Stable Diffusion的智能绘画大模型更是成为了AI艺术领域的一大亮点。那么，什么是Stable Diffusion？它又是如何应用于智能绘画大模型中的呢？本文将为您一一解答。 首...
-
AI语音识别工具Universal-1：38秒可以处理60分钟音频 比fast Whisper更快
AssemblyAI 最新研究成果展示了他们的 Universal-1模型在多语言环境中的表现，该模型在准确性和鲁棒性方面均取得了行业领先地位。先说结果，Universal-1比Whisper Large-v3更准确，比fast Whisper更快，38秒...
-
“真假难辨”！巧用NeRF生成的自动驾驶仿真数据
本文经自动驾驶之心公众号授权转载，转载请联系出处。 写在前面&笔者的个人理解 神经辐射场（NeRF）已成为推进自动驾驶（AD）重新搜索的有前途的工具，提供可扩展的闭环模拟和数据增强功能。然而，为了信任模拟中获得的结果，需要确保AD系统以相同的方式...
-
何恺明新作：消除数据集偏差的十年之战
MIT新晋副教授何恺明，新作新鲜出炉： 瞄准一个横亘在AI发展之路上十年之久的问题：数据集偏差。 该研究为何恺明在Meta期间与刘壮合作完成，他们在论文中指出： 尽管过去十多年里业界为构建更大、更多样化、更全面、偏差更小的数据集做了很多努力，但现代神经...
-
UniPAD：一种通用的自动驾驶预训练模式
本文经自动驾驶之心公众号授权转载，转载请联系出处。 写在前面&笔者的个人理解 UniPAD研究了一个关键问题：如何有效地利用大量未标记的3D点云数据进行自监督学习，以增强其在3D目标检测和语义分割等下游任务中的应用效率。这个问题之所以重要，是...
-
首次攻克「图基础模型」三大难题！港大开源OpenGraph：零样本学习适配多种下游任
图学习（Graph Learning）技术能够对复杂的关系数据进行挖掘和学习，在推荐系统、社交网络分析、引用网络和交通网络等多个领域都显示出了巨大的应用价值。 图神经网络（Graph Neural Networks, GNNs）基于迭代的消息传递机制，能...
-
扩散模型如何构建新一代决策智能体？超越自回归，同时生成长序列规划轨迹
设想一下，当你站在房间内，准备向门口走去，你是通过自回归的方式逐步规划路径吗？实际上，你的路径是一次性整体生成的。 近期的研究表明，采用扩散模型的规划模块能够同时生成长序列的轨迹规划，这更加符合人类的决策模式。此外，扩散模型在策略表征和数据合成方面也能为...
-
【ICCV】AIGC时代下的SOTA人脸表征提取器TransFace，FaceChain团队出品
一、论文 本文介绍被计算机视觉顶级国际会议ICCV 2023接收的论文 "TransFace: Calibrating Transformer Training for Face Recognition from a Data-Centric Persp...
-
研究人员推新AI框架CyberDemo:通过视觉观察让机器人模仿学习
加利福尼亚大学圣地亚哥分校（UCSD）和南加利福尼亚大学(USC 的研究人员最近推出了一种名为 CyberDemo 的新型人工智能框架，旨在通过视觉观察进行机器人模仿学习。 传统的模仿学习方法通常需要大量高质量的示范数据来教导机器人完成复杂任务，特别是对...
-
Anything in Any Scene：逼真物体插入（助力各类驾驶数据合成）
原标题：Anything in Any Scene: Photorealistic Video Object Insertion 论文链接：https://arxiv.org/pdf/2401.17509.pdf 代码链接：https://github....
-
逆天UniVision：BEV检测和Occ联合统一框架，双SOTA！
本文经自动驾驶之心公众号授权转载，转载请联系出处。 写在前面&个人理解 最近这几年以视觉为中心的3D感知在自动驾驶中得到了快速发展。尽管3D感知模型在结构和概念上有许多相似之处，但在特征表示、数据格式和目标方面仍存在差距，这对统一高效的3D感知...
-
7B模型超越GPT4-V！港科大等发布「图推理问答」数据集GITQA：视觉图可提升推理能力
图神经网络（GNNs）擅长利用图的结构信息进行推理，但它们通常需要特定于领域的调优才能达到峰值性能，这阻碍了它们在不同任务之间的泛化性。 相比之下，基于大型语言模型（LLM）的图推理具有更强的跨任务和泛化能力，但它们在特定任务上的性能往往逊色于专用的图...
-
厦门大学、Intel、大疆联合出品，从网络视频中学习零样本图像匹配大模型
图像匹配是计算机视觉的一项基础任务，其目标在于估计两张图像之间的像素对应关系。图像匹配是众多视觉应用如三维重建、视觉定位和神经渲染 (neural rendering 等的基础和前置步骤，其精确度和效率对于后续处理十分重要。 传统算法（SIFT）在面临...
-
动手实践丨轻量级目标检测与分割算法开发和部署(RK3568)
本文分享自华为云社区《自动驾驶(AIOT - 轻量级目标检测与分割算法开发和部署(RK3568 【玩转华为云】》，作者：HouYanSong。 本文将在ModelArts平台上开发轻量级目标检测与分割算法，并使用ModelBox框架在RK3568开发板...
-
逆天了！UniVision：BEV检测和Occ联合统一框架，双任务SOTA！
本文经自动驾驶之心公众号授权转载，转载请联系出处。 写在前面&个人理解 最近这几年以视觉为中心的3D感知在自动驾驶中得到了快速发展。尽管3D感知模型在结构和概念上有许多相似之处，但在特征表示、数据格式和目标方面仍存在差距，这对统一高效的3D感知...
-
大型多视角高斯模型LGM：5秒产出高质量3D物体，可试玩
为满足元宇宙中对 3D 创意工具不断增长的需求，三维内容生成（3D AIGC）最近受到相当多的关注。并且，3D 内容创作在质量和速度方面都取得了显著进展。 尽管当前的前馈式生成模型可以在几秒钟内生成 3D 对象，但它们的分辨率受到训练期间所需密集计算的限...
-
2024年IT行业“龙抬头”：AI和网络安全是最大热点
IDC指出，2024年的IT市场充满机遇，尽管通胀和经济等因素带来隐忧，但整体增长势头强劲。数字化的浪潮推动着对结构化数据和人工智能(AI 的需求，企业逐渐意识到数据带来的巨大价值，以及利用AI和自动化管理数据、进行高级数据处理的重要性。 IDC市场研...
-
如何使用TensorFlow和Cleanvision检测大堡礁的海星威胁？
澳大利亚的大堡礁美不胜收，是全球最大的珊瑚礁，也是多种多样的海洋生物栖息的家园。不幸的是，珊瑚礁面临蚕食珊瑚的棘冠海星（COTS）的威胁。为了控制COTS爆发，珊瑚礁管理人员使用一种名为Manta Tow勘查的方法，将潜水员拖在船后，目测评估珊瑚礁的各...
-
AI读心术再升级！一副眼镜直接控制波士顿机器狗，脑控机器人成真
还记得之前的AI读心术吗？最近，「心想事成」的能力再次进化， ——人类可以通过自己的想法直接控制机器人了！ 来自麻省理工的研究人员发表了Ddog项目，通过自己开发的脑机接口（BCI）设备，控制波士顿动力的机器狗Spot。 狗狗可以按照人类的想法，移动到特...
-
ChatLaw：基于LLaMA微调的法律大模型
文章目录 动机 数据组成 模型框架 模型评估 北大团队发布首个的中文法律大模型落地产品ChatLaw，为大众提供普惠法律服务。模型支持文件、语音输出，同时支持法律文书写作、法律建议、法律援助推荐。 github地址：https://g...
-
首个环视世界模型DrivingDiffusion: BEV数据和仿真新思路！
本文经自动驾驶之心公众号授权转载，转载请联系出处。 笔者的一些个人思考 在自动驾驶领域，随着BEV-based子任务/端到端方案的发展，高质量的多视图训练数据和相应的仿真场景构建愈发重要。针对当下任务的痛点，“高质量”可以解耦成三个方面： 不同维度...
-
【思路合集】talking head generation+stable diffusion
1 以DiffusionVideoEditing为baseline： 改进方向 针对于自回归训练方式可能导致的漂移问题： 训练时，在前一帧上引入小量的面部扭曲，模拟在生成过程中自然发生的扭曲。促使模型查看身份帧以进行修正。 在像VoxCeleb或L...
-
Depth Anything：释放大规模无标注数据的深度估计
本文经自动驾驶之心公众号授权转载，转载请联系出处。 24年1月论文“Depth Anything: Unleashing the Power of Large-Scale Unlabeled Data“，来自香港大学、字节、浙江实验室和浙江大学。 这项...
-
Stable Diffusion完整入门指南，保姆级教程！
SD 保姆教程，从原理功能到案例输出展示，最后简述 ControlNet 的使用技巧。 Stable Diffusion 的基本介绍 首先官方给出的解释是： 这和 MJ 有什么区别？为了更方便理解我们将 Stable Diff...
-
Stable Diffusion XL总结
Stable Diffusion XL是一个二阶段的级联扩散模型，包括Base模型和Refiner模型。其中Base模型的主要工作和Stable Diffusion一致，具备文生图，图生图，图像inpainting等能力。在Base模型之后，级联了Refi...
-
米塔体验入口 AI社区平台创作工具软件教程使用地址
米塔是一个连接全球创作者的AI社区平台，为作家、设计师、编剧、诗人等创意工作者以及对AI创作感兴趣的普通用户提供创作工具。通过米文、米画等功能，用户只需输入文字提示，即可利用AI技术生成小说大纲、文章、画作等创意内容。米塔不仅具有写作辅助、图像生成、智能对...
-
【刻削生千变，丹青图“万相”】阿里云AI绘画创作模型 “通义万相”测评
刻削生千变，丹青图“万相 4月7日，阿里大模型“通义千问”开始邀请用户测试体验。现阶段该模型主要定向邀请企业用户进行体验测试，用户可通过官网申请（tongyi.aliyun.com），符合条件的用户可参与体验。 随后，在2023云峰会上，阿里巴巴集团董事...
-
迈向分割的大一统！OMG-Seg：一个模型搞定所有分割任务
本文经自动驾驶之心公众号授权转载，转载请联系出处。 写在前面&笔者个人思考 图像分割已经从单任务分割走到了语义分割、实例分割、全景分割三种分割任务的统一；大模型以及多模态的发展又带来了文本和图像统一，使得跨模态端到端成为可能；追求更高级、更全面...
-
纪念碑谷式错觉图像都被「看穿」，港大、TikTok的Depth Anything火了
人类有两只眼睛来估计视觉环境的深度信息，但机器人和 VR 头社等设备却往往没有这样的「配置」，往往只能靠单个摄像头或单张图像来估计深度。这个任务也被称为单目深度估计（MDE）。 近日，一种可有效利用大规模无标注图像的新 MDE 模型 Depth Any...
-
[AI绘图教程]stable-diffusion webui加载模型与插件. 实战AI绘画
之前讲了stable diffusion webui搭建,这里主要介绍使用方法以及模型,扩展等. 模型下载 主要下载网址 HuggingFace：Stable Diffusion、ControlNet的官方仓库。 Civitai：里面多是Lo...
-
逆天了！UniVision：BEV检测和Occupancy联合统一框架，双任务SOTA！
本文经自动驾驶之心公众号授权转载，转载请联系出处。 写在前面&个人理解 最近这几年以视觉为中心的3D感知在自动驾驶中得到了快速发展。尽管3D感知模型在结构和概念上有许多相似之处，但在特征表示、数据格式和目标方面仍存在差距，这对统一高效的3D感知...
-
Llama 2打败GPT-4！Meta让大模型自我奖励自迭代，再证合成数据是LLM终局
Llama 2-70B一夜之间打败GPT-4，让整个AI社区为之震惊！ 甚至，在AlpacaEval 2.0排行榜中，微调后的模型胜率完全碾压Claude 2、Gemini Pro等模型。 Meta和NYU研究团队究竟提出了什么秘制配方，才能让Llam...
-
最近读的AIGC相关论文思路解读
AIGC之SD可控生成论文阅读记录 提示：本博客是作者本人最近对AIGC领域相关论文调研后，临时记录所用，所有观点都是来自作者本人局限理解，以及个人思考，不代表对。如果你也正好看过相关文章，发现作者的想法和思路有问题，欢迎评论区留言指正！ 既然是论...
-
20源代码模型的数据增强方法：克隆检测、缺陷检测和修复、代码摘要、代码搜索、代码补全、代码翻译、代码问答、问题分类、方法名称预测和类型预测对论文进行分组【网安AIGC专题11.15】
Data Augmentation Approaches for Source Code Models: A Survey 写在最前面 对nlp领域其他方向的启发 英文版： 论文名片 论文总结 一个有意思的表 1.背景Background...
-
AIGC：使用生成对抗网络GAN实现MINST手写数字图像生成
1 生成对抗网络 生成对抗网络（Generative Adversarial Networks, GAN）是一种非常经典的生成式模型，它受到双人零和博弈的启发，让两个神经网络在相互博弈中进行学习，开创了生成式模型的新范式。从 2017 年以后，GAN相...
-
【论文笔记 · PFM】Lag-Llama: Towards Foundation Models for Time Series Forecasting
Lag-Llama: Towards Foundation Models for Time Series Forecasting 摘要 本文提出Lag-Llama，在大量时间序列数据上训练的通用单变量概率时间序列预测模型。模型在分布外泛化能力上取...
-
OpenAI开源全新解码器和语音识别模型Whisper-v3
在11月7日OpenAI的首届开发者大会上，除了推出一系列重磅产品之外，还开源了两款产品，全新解码器Consistency Decoder（一致性解码器）和最新语音识别模型Whisper v3。 据悉，Consistency Decoder可以替代Sta...
-
Stable Diffusion五问
一，什么是Stable diffusion？ Stable Diffusion" 是一种基于扩散模型的深度学习框架，用于生成高质量的图像。它是一种生成模型，通过模拟物理扩散过程，从随机噪声中逐步生成详细和结构化的图像。Stable Diffusion因其...
-
超越BEVFusion！又快又好的极简BEV融合部署方案
本文经自动驾驶之心公众号授权转载，转载请联系出处。 写在前面&笔者的个人理解 在算法开发中，激光雷达-相机3D目标检测遇到了过度拟合问题，这是由于违反了一些基本规则。在数据集构建的数据标注方面，本文参考了理论补充，并认为回归任务预测不应涉及来自...
-
深挖RLHF潜力，复旦语言和视觉团队创新奖励模型优化，让大模型更对齐
继第一份大模型对齐技术报告（Secrets of RLHF in Large Language Models Part I）获 NeurIPS 2023 workshop best paper 后，第二份报告强势归来，复旦语言和视觉团队联合推出的第二...
-
五种资源类别，如何提高大语言模型的资源效率，超详细综述来了
近年来，大型语言模型（LLM）如 OpenAI 的 GPT-3 在人工智能领域取得了显著进展。这些模型，具有庞大的参数量（例如 1750 亿个参数），在复杂度和能力上实现了飞跃。随着 LLM 的发展趋势朝着不断增大的模型规模前进，这些模型在从智能聊天机器...
-
【计算机视觉 | 目标检测】术语理解9：AIGC的理解，对比学习，解码器，Mask解码器，耦合蒸馏，半耦合，图像编码器和组合解码器的耦合优化
文章目录 一、AIGC的理解 二、对比学习 三、解码器 四、Mask解码器 五、耦合蒸馏 六、半耦合 七、图像编码器和组合解码器的耦合优化 一、AIGC的理解 AIGC指的是使用人工智能技术自动生成的各类数字内容,包括文本、图像、...
-
图解tinyBERT模型——BERT模型压缩精华
译者 | 朱先忠 审校 | 重楼 简介 近年来，大型语言模型的发展突飞猛进。BERT成为最受欢迎和最有效的模型之一，可以高精度地解决各种自然语言处理（NLP）任务。继BERT模型之后，一组其他的模型也先后出现并各自展示出优秀的性能。 不难看到一个明显趋势...
-
人工智能利用深度学习技术增强高级驾驶辅助系统(ADAS)
译者 | 李睿 审校 | 重楼 人工智能和机器学习利用深度学习技术的优势，使高级驾驶辅助系统(ADAS 发生了重大变革。ADAS在很大程度上依赖深度学习来分析和解释从各种传感器获得的大量数据。摄像头、激光雷达(光探测和测距 、雷达和超声波传感器都是传感器...
-
Stable Diffusion (持续更新)
引言 本文的目的为记录stable diffusion的风格迁移，采用diffusers example中的text_to_image和textual_inversion目录 2023.7.11 收集了6张水墨画风格的图片，采用textual_...
-
使用 Stable Diffusion Img2Img 生成、放大、模糊和增强
在线工具推荐： Three.js AI纹理开发包 - YOLO合成数据生成器 - GLTF/GLB在线编辑 - 3D模型格式在线转换 - 3D数字孪生场景编辑器 Stable Diffusion...
-
基于Python的图像预处理完整指南
你是否曾在机器学习或计算机视觉项目中遇到过质量较差的图像问题？图像是许多AI系统的生命线，但并非所有图像都是相同的。在训练模型或运行算法之前，通常需要对图像进行一些预处理以获得最佳结果。在Python中进行图像预处理将成为您的新伙伴。 在本指南中，您将...
-
MonoLSS：用于视觉3D检测训练中的样本选择
本文经自动驾驶之心公众号授权转载，转载请联系出处。 MonoLSS: Learnable Sample Selection For Monocular 3D Detection 论文链接：https://arxiv.org/pdf/2312.14474...
-
处理不平衡数据的过采样技术对比总结
在不平衡数据上训练的分类算法往往导致预测质量差。模型严重偏向多数类，忽略了对许多用例至关重要的少数例子。这使得模型对于涉及罕见但高优先级事件的现实问题来说不切实际。 过采样提供了一种在模型训练开始之前重新平衡类的方法。通过复制少数类数据点，过采样平衡了训...