-
数仓项目之用户行为数据采集
一、什么是数据仓库 数据仓库是为企业制定决策，提供数据支持的。可以帮助企业改进业务流程，提高产品质量。 数据仓库的输入数据通常包括：业务数据、用户行为数据和爬虫数据等。 二、项目需求分析 1、用户行为数据采集平台搭建 2、业务数据采集平台...
-
云原生应用 Kubernetes 监控与弹性实践
前言 云原生应用的设计理念已经被越来越多的开发者接受与认可，而Kubernetes做为云原生的标准接口实现，已经成为了整个stack的中心，云服务的能力可以通过Cloud Provider、CRD Controller、Operator等等的方式从K...
-
python爬虫 - 代理ip正确使用方法
主要内容：代理ip使用原理，怎么在自己的爬虫里设置代理ip，怎么知道代理ip是否生效，没生效的话哪里出了问题，个人使用的代理ip(付费）。 目录 代理ip原理 输入网址后发生了什么呢？ 代理ip做了什么呢？ 为什么要用代理呢？...
-
网络爬虫是否合法？
网络爬虫合法吗？ 网络爬虫领域目前还属于早期的拓荒阶段，虽然互联网世界已经通过自身的协议建立起一定的道德规范（Robots协议），但法律部分还在建立和完善中。从目前的情况来看，如果抓取的数据属于个人使用或科研范畴，基本不存在问题；而如果数据属于商业盈利...
-
为什么要学网络爬虫？我来告诉你！
在数据量爆发式增长的互联网时代，网站与用户的沟通本质上是数据的交换：搜索引擎从数据库中提取搜索结果，将其展现在用户面前；电商将产品的描述、价格展现在网站上，以供买家选择心仪的产品；社交媒体在用户生态圈的自我交互下产生大量文本、图片和视频数据等。这些数据如果...
-
常用数据采集手段
常用数据采集手段 埋点——用户行为数据采集 埋点方式 埋点采集数据的过程 常规埋点示例 埋点方案应具备四个要素 常用埋点APP数据分析工具 ETL——系统业务数据整合 常用的ETL工具 网络爬虫——互联网数据采集 网络爬虫工作流程 网络爬...
-
Rancher 2.6 全新 Logging 快速入门
作者简介 袁振，SUSE Rancher 技术支持经理，负责订阅客户售后技术支持团队，为订阅客户提供技术支持服务。2016 年开始接触容器、Kubernetes 技术，对自动化运维、Devops、Kubernetes、prometheus 和其他云原生相关...
-
phpQuery—基于jQuery的PHP实现
Query的选择器之强大是有目共睹的，phpQuery 让php也拥有了这样的能力，它就相当于服务端的jQuery。 先来看看官方简介： phpQuery is a server-side, chainable, CSS3 selector dr...
-
如何实现车联网的灵活数据采集
随着车联网与 5G 技术的融合以及车辆智能化的发展，车联网的数据采集需求呈现爆发式增长。传统的车辆数据采集主要用于车辆的远程监测和故障诊断。随着车辆应用的丰富和智能化水平的提高，车辆数据采集逐渐应用到更多的场景，如研发用数据采集、数据统计和分析、规则引擎与...
-
SpiderFlow(图形化爬虫)
SpiderFlow(图形化爬虫 url https://github.com/ssssssss-team/spider-flow 官网 https://www.spiderflow.org 0.简介 spider-flow 是一个爬...
-
视觉感知未来，高德数据采集模型部署实践！
1. 导读 作为DAU过亿的国民出行服务平台，高德地图每天为用户提供海量的检索、定位和导航服务，实现这些服务需要有精准的道路信息，比如电子眼位置、路况信息、交通标识位置信息等。读者是否会好奇，高德是如何感知到现实世界的道路信息，并提供这些数据给用户呢？...
-
抖音视频评论采集
总结一下现在采集抖音评论的方法，根据不同的业务可以选择不同的采集方式。 需要代码可查看第4部分网页版评论采集。 文章内容仅供参考学习，如有侵权请联系作者进行删除。 文章目录 1、自动化工具采集 2、第三方平台采集 3、APP...
-
如何读取并采集动态增长的日志文件
推荐zhimaq的问答 想抓取一个Linux应用的日志文件，采集里面的有用信息。但由于日志文件是动态增长的，且增长相对较快，有没有什么好的方法只抓取最新的内容。 抄自 David M. Beazley: import timedef follow...
-
从零开始入门 K8s | 可观测性：监控与日志
作者 | 莫源 阿里巴巴技术专家 一、背景 监控和日志是大型分布式系统的重要基础设施，监控可以帮助开发者查看系统的运行状态，而日志可以协助问题的排查和诊断。 在 Kubernetes 中，监控和日志属于生态的一部分，它并不是核心组件，因此大部分的能...
-
如何高效训练？综述汇总：大型深度学习训练的并行分布式系统
本文经自动驾驶之心公众号授权转载，转载请联系出处。 23年1月论文“Systems for Parallel and Distributed Large-Model Deep Learning Training“， 来自UCSD。 深度学习（DL）已经...
-
李开复领队开源大模型 Yi，40万字上下文窗口破纪录
由李开复博士亲自下场创办的零一万物（01.ai），自3月底官宣成立后，于近日发布并开源了两个版本的中英文大模型 Yi-6B 和 Yi-34B。 在线上发布环节，李开复博士重点介绍了 Yi 系列大模型的三处性能亮点: 全球最长200K 上下文窗口，免费开...
-
马斯克版ChatGPT爆火来袭！不用Python，11人爆肝两个月
马斯克突然出手截胡，抢在OpenAI开发者大会前发布大模型Grok。 与其他ChatGPT类产品不同，Grok可以实时从?推文中获取最新知识，比如马斯克刚刚与Joe Rogan的最新访谈。 图片 巨量、实时且独特的?数据构成了Grok的最大护城河，早在7...
-
李开复称其创立的AI公司零一万物估值已超10亿美元 发布大模型Yi-34B
此前，李开复成立了一家初创公司，名为零一万物（01.AI），旨在为中国市场开发本土大型语言模型（LLM）。日前，李开复在接受采访时解释了创建零一万物的动机:“我认为需求是创新之母，在中国显然存在巨大的需求。与世界其他地方不同，中国无法使用OpenAI和Go...
-
GitHub黑市曝光，高档刷星6元一颗，最奇葩开源项目97%都是刷的
在黑市买GitHub星星多少钱？ 最贵的高达6元一颗。 有创业者Yassin Eldeeeb自掏腰包测试了一把。他足足花20欧元（约156人民币），只买到25颗“高级星星”。 没错，在黑市上刷GitHub星星也是分高低贵贱的。 高级的都是注册一年以上的...
-
大模型: 模型大了难在哪里？
大家好，我是Tim。 自从GPT模型诞生以来，其参数规模就在不停的扩大。但模型并非简单的直接变大，需要在数据、调度、并行计算、算法和机器资源上做相应的改变。 今天就来总结下，什么是大模型，模型变大的难在哪里以及对于CV/NLP或者搜推广场景上有什么应对策...
-
使用Ray创建高效的深度学习数据管道
用于训练深度学习模型的GPU功能强大但价格昂贵。为了有效利用GPU，开发者需要一个高效的数据管道，以便在GPU准备好计算下一个训练步骤时尽快将数据传输到GPU。使用Ray可以大大提高数据管道的效率。 1、训练数据管道的结构 首先考虑下面的模型训练伪代码。...
-
生成式AI迫使Stack Overflow裁员28%
作者丨Anirban Ghoshal 编译丨诺亚 出品 | 51CTO技术栈（微信号：blog51cto） 面向开发人员的问答门户网站Stack Overflow将裁员近三分之一，取而代之的是生成式人工智能驱动的编程助手，比如微软的...
-
人工智能教程（一）：基础知识
如今，计算机科学领域的学生和从业者绝对有必要了解人工智能artificial intelligence、数据科学data science、机器学习machine learning、深度学习deep learning方面的基本知识。但是应该从哪里开始呢？...
-
AI基础软件：如何自主构建大+小模型？
一、公司介绍 九章云极DataCanvas以创造智能探索平台为使命，怀揣着助力全球企业智能升级的愿景，是中国人工智能基础软件领域的佼佼者。公司专注于自主研发的人工智能基础软件产品系列和解决方案，为用户提供全面的人工智能基础服务，旨在帮助用户在数智化转...
-
适合初学者的一些常用的机器学习库
在人工智能项目开发的过程中，我们通常会使用到很多机器学习、深度学习框架、各种数据处理库和一些工具。好用的库很多，但对于初学者来说先聚焦在一些比较常用的框架、库或者工具，有利于提高效率。下面主要分享一些常用的人工智能相关的内容，包括：模型训练、数据处理、参...
-
深度学习科研，如何高效进行代码和实验管理？
回答一 作者：叶小飞 链接：https://www.zhihu.com/question/269707221/answer/2281374258 我之前在北美奔驰落地时，曾有段时间为了测试不同的结构和参数，一周能训练一百来个不同的模型，为此我结合公司前...
-
首个软件专利获得者离世，享年93岁，他为软件争得知识产权法保护
拥有世界上第一个软件专利的人，离世了。 他叫马丁·格茨（Martin Alvin Goetz），被誉为“第三方软件之父”。 他将软件从硬件“捆绑销售”的状态中解放出来，并创办了第一家软件产品公司，开发出第一个商业软件产品。 曾经不受任何知识产权法保护的软...
-
AI视频后期制作神器ProPainter 一键即可完成视频抠图
最近，出现了一种新的视频修复技术，叫做ProPainter，它可以用画家风格的笔触来填补视频中的缺失区域。 ProPainter是一个基于深度学习的端到端的网络，它由两个模块组成:Recurrent Flow Completion Network和Pain...
-
一文读懂全新深度学习库Rust Burn
一、什么是Rust Burn？ Rust Burn是一个全新的深度学习框架，完全使用Rust编程语言编写。创建这个新框架而不是使用现有框架（如PyTorch或TensorFlow）的动机是为了构建一个适应多种用户需求的通用框架，包括研究人员、机器学习工程...
-
机器人学会转笔、盘核桃了！GPT-4加持，任务越复杂，表现越优秀
大数据文摘出品 家人们，继人工智能（AI）攻占象棋、围棋、Dota之后，转笔这一技能也被 AI 机器人学会了。 上面这个笔转的贼溜的机器人，得益于名叫Eureka的智能体（Agent），是来自英伟达、宾夕法尼亚大学、加州理工学院和得克萨斯大学奥斯汀分...
-
AMD Ryzen AI 暂仅支持 Windows，Linux 系统有望后续支持
10 月 22 日消息，最新的 AMD Ryzen 7040 系列笔记本电脑配备了基于 Xilinx IP 的专用 AI 引擎，名为“Ryzen AI”，可以加速 PyTorch 和 TensorFlow 等机器学习框架的运行。不过目前这个 Ryz...