-
给AI公司“打杂”，95后华人把估值做到138亿美元
在旧金山的 Showplace 广场，一栋曾经属于Airbnb的商业大楼最近迎来了新主人。在大部分科技公司都在业务收缩的当下，Scale AI，这家由95后华人创立的人工智能数据标注公司，大手一挥租下了旧金山市中心约18万平英尺的办公室。 就在不久前，Sc...
-
使用 GaLore 预训练LLaMA-7B
项目代码： https://github.com/jiaweizzhao/galorehttps://github.com/jiaweizzhao/galore 参考博客： https://zhuanlan.zhihu.com/p/686686751...
-
陶哲轩全网悬赏「最强大脑」！AI+人类颠覆数学难题？凡尔赛网友已下场
【新智元导读】最近，陶哲轩向广大网友和数学爱好者发起了挑战:大众数学爱好者、证明助理、自动化助手和AI联合起来，是否可以证明扩展几个数量级的数学问题? 想参加陶哲轩发起的「众包」数学研究项目吗? 机会来了! AI辅助证明数学研究，越来越可行了 在传统上，...
-
3天把Llama训成Mamba，性能不降，推理更快！
近日，Mamba方面又搞出了有意思的研究：来自康奈尔、普林斯顿等机构的研究人员成功将Llama提炼成了Mamba模型，并且设计了新的推测解码算法，加速了模型的推理。\ 先来看一张其乐融融的图片（一眼AI）： 右边的小羊驼代表Llama，而左边的蛇（...
-
LlaMa-Factory源码解析之预训练LLaMA-Factory/src/llamafactory/train/pt/workflow.py -＞ run_pt()
LLaMA-Factory/src/llmtuner/train/pt/workflow.py at main · hiyouga/LLaMA-Factory · GitHub 截止至2024年7月，该框架workflow.py目录从LLaMA-Fact...
-
Copilot,Cursor和通义灵码：到底谁才是你的最强代码助手？
近期基于大语言模型诞生的代码辅助助手可谓层出不穷，从一开始的github copilot, tabnine到现如今的cursor大火，到底谁才是代码辅助的最强王者呢？我希望就我近期的体验带大家初步认识一下他们（仅代表个人见解） 本文将介绍以下几个工具：...
-
Datawhale训练营AIGC方向 第二期
Datawhale训练营AIGC方向 第二期 AI生图模型 概念 AI生图模型属于多模态机器学习模型，通过海量的图库和文本描述的深度神经网络学习，最终的目标是可以根据输入的指示(不管是文本还是图片还是任何 生成符合语义的图片。 通俗来说...
-
Datawhale X 魔搭 AI夏令营-AIGC文生图方向Task3笔记
#目录# 一、ComfyUI安装及实践 （一）什么是ComfyUI （二）ComfyUI核心模块 （三）ComfyUI图片生成流程 ...
-
AIGC提示词（3）：AI的创造力之谜：相同提示词，不同内容
引言 在这个数字化的时代，人工智能生成内容（AIGC）已经变得无处不在。想象一下，只需输入几个关键词，AI就能创作出各种内容，无论是文字、图片，还是其他形式。但这里有个有趣的问题：如果我们给AI相同的提示词，它们生成的内容会一样吗？这个问题触及了AI内...
-
DataWhale Task02：从零预训练一个tiny-llama 20923
DataWhale Task02：从零预训练一个tiny-llama 20923 原文link：https://github.com/KMnO4-zx/tiny-llm 开源内容：https://github.com/datawhalechina/t...
-
【记录贴 | 持续更新】搜广推/aigc 面试题记录
目录 nlp/搜广推 transformer结构？ 位置编码的作用？ 解释 self-attention？ attention中 /√(d_k 的作用是什么？ 解释Multi-Head Attention？ FeedForward的作用...
-
Datawhale X 魔塔 AI夏令营第四期-AIGC文生图方向 Task3笔记
一、工具初探——ComfyUI应用场景探索 1、什么是ComfyUI 在介绍ComfyUI之前，我们先来回顾一下我们熟悉的GUI。 GUI 是 "Graphical User Interface"（图形用户界面）的缩写。简单来说，GUI 就是在电脑屏...
-
Datawhale X 魔搭 第四期AI夏令营-AIGC方向 task3笔记
最后一个阶段——task3，本次AI夏令营终于也是要完结了，那么话不多说让我们直接进入笔记部分吧。本次的学习内容是:ComfyUI和Lora微调的讲解 Part 1：Hello ComfyUI 什么是ComfyUI呢？根据学习手册的介绍，它是主...
-
每日AIGC最新进展(56)：当下最强开源图片/视频理解模型CogVLM2发布
Diffusion Models专栏文章汇总：入门与实战 随着大型语言模型和多模态对齐技术的发展，视频理解模型在一般开放领域也取得了重大进展。然而，目前大多数视频理解模型使用帧平均和视频令牌压缩方法，导致时间信息的丢失和无法准确回答与时间相关的问题。...
-
DataWhale夏令营第四期魔搭- AIGC方向 task03笔记
文章目录 前言 一、ComfyUI的了解 1.认识ComfyUI 2. GUI的图片生成流程 二、Lora微调 1. Lora和微调简介 2.Lora微调的优势和详细内容 3.Lora实例详解 三，训练集的get 总结 前...
-
使用Stable Diffusion生成的图像合成数据集
使用Stable Diffusion生成图像合成数据集 相关论文Stable DiffusionDALL-E seriesDALL-E seriesImagen 一、Stable Diffusion的原理 Stable Diffusion是一种基...
-
LLaMA-Factory使用指南：快速训练专属大模型，打造定制化AI解决方案！
本文聊聊 LLama-Factory，它是一个开源框架，这里头可以找到一系列预制的组件和模板，让你不用从零开始，就能训练出自己的语言模型（微调）。不管是聊天机器人，还是文章生成器，甚至是问答系统，都能搞定。而且，LLama-Factory 还支持多种框架和...
-
LLaMA-Factory源码分析
搭建远程容器调试环境 docker-compose部署 使用LLaMA-Factory源码中的docker/docker-cuda下的Dockerfile和docker-compose.yml构建镜像，启动其服务。Dockerfile使用官方默认，只需...
-
【Datawhale X 魔搭AI夏令营】AIGC方向 Task 1+2
目录 写在前面 Task 1 赛题解读——可图Kolors-LoRA风格故事挑战赛 文生图 文生图基础知识 提示词 LoRA ComfyUI 参考图控制 Task 2 前沿探索：了解AI生图技术的能力和局限 Deepfake 必要...
-
LLaMA 数据集
LLaMA的训练数据集来源多样，涵盖了多个不同的数据集和预处理步骤。以下是详细的描述： 公开数据来源和预处理 CommonCrawl [67%]： 使用CCNet管道（Wenzek等人，2020年）对2017年至2020年间的五个Comm...
-
在线教程丨超大模型部署无压力！一键运行 Llama 3.1 405B 和 Mistral Large 2
作者：李宝珠 编辑：xixi、李宝珠 HyperAI超神经为大家上线了 Llama 3.1 405B 和 Mistral Large 2407 的一键部署教程，无需输入任何命令，只需点击「克隆」即可体验。 当地时间 7 月 23 日...
-
Whisper-CPP：CPU-AI语音识别的天才，CosyVoice - 阿里最新开源语音克隆、文本转语音项目 一键整合包下载，GPT-4o实时语音方案Livekit开源voice agent音视频
Whisper-CPP：CPU-AI语音识别的天才，CosyVoice - 阿里最新开源语音克隆、文本转语音项目 一键整合包下载，GPT-4o实时语音方案Livekit开源voice agent音视频。 使用Streamlit和wheaster.CP...
-
万字长文｜LLM大模型基础入门（非常详细）从入门到精通系列之：（三）Transformer 架构
...
-
AI日报：OpenAI官方账号被黑;腾讯推“养老”机器人小五；中科大推人像视频编辑神器PortraitGen
欢迎来到【AI日报】栏目!这里是你每天探索人工智能世界的指南，每天我们为你呈现AI领域的热点内容，聚焦开发者，助你洞悉技术趋势、了解创新AI产品应用。 新鲜AI产品点击了解:https://top.aibase.com/ 1、OpenAI 官方账号被黑，竟...
-
Datawhale X 魔搭 AI夏令营第四期 AIGC方向 task03笔记
模型微调 模型微调 文生图的工作流平台工具ComfyUI 什么是ComfyUI ComfyUI核心模块 魔搭安装ComfyUI LoRA微调 Lora详解 UNet、VAE和文本编码器的协作关系 如何准备一个高质量的数据集 明确需求...
-
stable-diffusion-xl_pytorch生成高质量的图像的AIGC模型
stable-diffusion-xl_pytorch 论文 SDXL: Improving Latent Diffusion Models for High-Resolution Image Synthesis https://arxiv.org/...
-
Learning Multi-dimensional Human Preference for Text-to-Image Generation
Paper name Learning Multi-dimensional Human Preference for Text-to-Image Generation Paper Reading Note Paper URL: https://arx...
-
单GPU一分钟生成16K高清图像！新加坡国立发布LinFusion:无缝兼容Stable Diffusion插件
论文链接：https://arxiv.org/pdf/2409.02097 Git链接：https://lv-linfusion.github.io/ 亮点直击 本文研究了Mamba的非因果和归一化感知版本，并提出了一种新颖的线性注意力机制...
-
使用SageMaker对Whisper模型进行微调及部署教程
使用SageMaker对Whisper模型进行微调及部署教程 amazon-sagemaker-finetune-deploy-whisper-huggingface This is a demo project showing how to fi...
-
GPT-4o能玩《黑神话》！精英怪胜率超人类，无强化学习纯大模型方案
AI玩黑神话，第一个精英怪牯护院轻松拿捏啊。 有方向感，视角也没有问题。 躲闪劈棍很丝滑。 甚至在打鸦香客和牯护院时，AI的胜率已经超过人类。 而且是完全使用大模型玩，没有使用强化学习。 阿里巴巴的研究人员们提出了一个新型VARP（视觉动作角色扮演...
-
【Stable Diffusion 炼丹教程】Text Inversion: 比 Lora 更简单地训练人脸
前言 Stable Diffusion的最大魅力体现在其DIY的能力上。它不是什么图都能画出来，但是我们可以根据自己的需求，训练它成为我们想要的样子。 其中，Text Inversion 就是一种最简单有效的训练方式。它比 Lora 训练更简单，对数...
-
Lag-Llama：时间序列大模型开源了！
之前我们介绍过TimeGPT，它是第一个时间序列的大模型，具有零样本推理、异常检测等能力。TimeGPT引发了对时间序列基础模型的更多研究，但是它是一个专有模型，只能通过API访问。 如今，终于出现一个用于时间序列预测的开源大模型：Lag-Llama...
-
11、LLaMA-Factory自定义数据集微调
1、数据集定义 针对实际的微调需求，使用专门针对业务垂直领域的私有数据进行大模型微调才是我们需要做的。因此，我们需要探讨如何在LLaMA-Factory项目及上述创建的微调流程中引入自定义数据集进行微调。**对于LLaMA-Factory项目，目前...
-
【AIGC】InstructPixPix:基于文本引导的图像编辑技术
github:diffusers/examples/instruct_pix2pix/train_instruct_pix2pix_sdxl.py at main · huggingface/diffusers · GitHub 论文：https://a...
-
速通LLaMA2：《Llama 2: Open Foundation and Fine-Tuned Chat Models》全文解读
文章目录 概览 LLaMA和LLaMA2的区别 Abstract Introduction Pretraining Fine-tuning 1. 概括 2、Supervised Fine-Tuning（SFT） 3、⭐Reinforcemen...
-
24全网最全stable diffusion模型讲解！快来！！新手必收藏！！
前言 手把手教你入门绘图超强的AI绘画程序Stable Diffusion，用户只需要输入一段图片的文字描述，即可生成精美的绘画。给大家带来了全新Stable Diffusion保姆级教程资料包（文末可获取） AI模型最新展现出的图像生成能力远远超出...
-
使用LLaMA-Factory快速训练自己的专用大模型
本文聊聊 LLama-Factory，它是一个开源框架，这里头可以找到一系列预制的组件和模板，让你不用从零开始，就能训练出自己的语言模型（微调）。不管是聊天机器人，还是文章生成器，甚至是问答系统，都能搞定。而且，LLama-Factory 还支持多种框架和...
-
【大模型理论篇】生成式模型算法原理深入浅出（涉及Stable Diffusion、生成对抗网络、高斯混合模型、隐马尔可夫模型、朴素贝叶斯等算法原理分析及生成式模型解释）
1. 背景介绍 随着大模型的推出，“生成式AI”这个名词一夜之间席卷大江南北。甚至很多人的概念里，“生成式AI”等同于人工智能。但事实上，人工智能(Artificial Intelligence 涵盖的范围要广的多，生成式AI只是其中的...
-
Llama Factory ：百种以上语言模型的统一高效微调框架
人工智能咨询培训老师叶梓 转载标明出处 大模型适应到特定下游任务时，传统的全参数微调方法成本高昂，因此，研究者们一直在探索更高效的微调技术。由北京航空航天大学和北京大学的研究团队提出了一个名为Llama Factory的统一框架，旨在解决大模型高效微调的...
-
详聊LLaMa技术细节：LLaMA大模型是如何炼成的？
本文介绍来自 Meta AI 的 LLaMa 模型，类似于 OPT，也是一种完全开源的大语言模型。LLaMa 的参数量级从 7B 到 65B 大小不等，是在数万亿个 token 上面训练得到。值得一提的是，LLaMa 虽然只使用公共的数据集，依然取得了强悍...
-
LLAMA-FACTORY：100+语言模型的统一高效微调框架
24年3月来自北航和北大的论文“LLAMA-FACTORY: Unified Efficient Fine-Tuning of 100+ Language Models”。 高效的微调对于将大语言模型 (LLM 适应下游任务至关重要。然而，在不同模型上...
-
AIGC-初体验
线性分类 提问，目的试图让AI自动线性分类 A类：(10,21 ,（3,7）,(9,20）(121,242 B类：(3,9 ,(5,11 ,(70,212 ,(11,34 根据线性关系分类 请问 (100,300 ，（100，201）属于哪一类 下...
-
如何微调 Llama 3 进行序列分类？
节前，我们星球组织了一场算法岗技术&面试讨论会，邀请了一些互联网大厂朋友、参加社招和校招面试的同学. 针对算法岗技术趋势、大模型落地项目经验分享、新手如何入门算法岗、该如何准备、面试常考点分享等热门话题进行了深入的讨论。 汇总合集： 《大模...
-
使用LLaMA-Factory进行模型微调（LLama3-8B-instruct）
1.使用环境 Linux -Ubuntu20.04 RTX3090 24GB， LORA+sft 训练微调 2. 下载项目，虚拟环境创建及安装： git clone https://github.com/hiyouga/LLaMA-Factor...
-
【AIGC】MimicMotion：姿态引导的高质量人体运动视频生成技术
资源 论文：https://arxiv.org/pdf/2406.19680 github:https://github.com/Tencent/MimicMotion comfyui:https://github.com/kijai/ComfyUI...
-
AIGC时代，仅用合成数据训练模型到底行不行？来一探究竟 | CVPR 2024
首个针对使用合成数据训练的模型在不同稳健性指标上进行详细分析的研究，展示了如SynCLIP和SynCLR等合成克隆模型，其性能在可接受的范围内接近于在真实图像上训练的对应模型。这一结论适用于所有稳健性指标，除了常见的图像损坏和OOD（域外分布）检测。另一方...
-
DataWhaleX魔搭AI夏令营第四期AIGC方向task03笔记
目录 ComfyUI 简介 ComfyUI核心模块 ComfyUI图片生成流程 优势 速通安装ComfyUI 使用ComfyUI Lora微调 简介 原理 参数详情 高质量的数据集的准备 明确需求和目标 数据集来源 ta...
-
使用微调神器LLaMA-Factory轻松改变大语言模型的自我认知
一、引言 在本地化部署大语言模型时，为了能够改变大语言模型的自我认知，最简单的方式，就是使用系统提示词（system_prompt）的方式，譬如在与大模型进行对话时，首先将这段话作为message发送给大模型——{"role":"system","con...
-
火山引擎数智平台：高性能ChatBI的技术解读和落地实践
客观而言，从 2018 年开始开发的抖音集团内部 BI 平台起步较晚。 因此其直接跳过了 BI 平台早期发展阶段，从立项之初，它的目标便是成为能够满足公司内部几乎所有数据分析需求的数据分析平台。 在抖音集团内部，BI 平台建设分为以下几个阶段...
-
rfid box ai写作
RFID Box：重塑物流仓储与资产管理的智能容器 在物联网技术浪潮的推动下，RFID（无线射频识别）技术已逐渐渗透到我们生活的方方面面，而RFID Box作为这一技术的创新应用之一，正以其独特的优势在物流仓储与资产管理领域掀起一场智能化革命。本文旨...