-
KubeSphere 多行日志采集方案深度探索
作者：大飞哥，视源电子运维工程师，KubeSphere 用户委员会广州站站长 采集落盘日志 日志采集，通常使用 EFK 架构，即 ElasticSearch,Filebeat,Kibana，这是在主机日志采集上非常成熟的方案，但在容器日志采集方面，...
-
干货：一文看懂网络爬虫实现原理与技术（值得收藏）
01 网络爬虫实现原理详解 不同类型的网络爬虫，其实现原理也是不同的，但这些实现原理中，会存在很多共性。在此，我们将以两种典型的网络爬虫为例（即通用网络爬虫和聚焦网络爬虫），分别为大家讲解网络爬虫的实现原理。 1. 通用网络爬虫...
-
基于python爬虫的论文的开题报告_基于python的新闻网站网络爬虫设计与实现开题报告...
1.研究背景及其意义 互联网从发展到至今，已经深入到人们的日常生活中，并且不论老人还是小孩，多少都会接触到互联网。在这个越来越信息化的社会，互联网上的信息量更是爆炸式的增长，但是在如此巨大的信息量中，我们想要找到我们需要的价值信息就非常困难了。国...
-
监控数据从哪来？（入门篇）
本文作者：AIOps智能运维 作者简介 运小羴 百度云高级研发工程师 负责百度云Noah智能监控产品数据采集子系统相关研发工作，在分布式监控系统架构、服务器客户端研发等方向有着较为广泛的实践经验。 干货概览 在百度云Noah智能...
-
python爬虫招聘网站（智联）
2021年10月7日爬取，爬虫代码不知道是否失效 文章目录 爬虫目标 具体过程 源码 爬虫目标 要求：搜索“大数据”专业，爬相关公司的招聘信息。列数不少于10列，行数不少于3000 。 目标：搜索“大数据”，爬取智联招聘...
-
第03期：Prometheus 数据采集（二）
本期作者：罗韦 爱可生上海研发中心成员，研发工程师，主要负责 DMP 平台监控告警功能的相关工作。 上篇文章（第02期：数据采集一）介绍了 Prometheus 数据采集的格式和分类，本文会对采集过程进行详细的介绍。 Prometheus 数据采集过...
-
网络爬虫的好处
爬虫有利有弊 爬虫的好处： 俗话说，活到老学到老。人如果想进步，就需要不断的学习。近年来互联网中的网络爬虫越来越受到欢迎，学习爬虫的人也越来越多，那么学习爬虫会给我们带来什么好处呢？ 首先，学习爬虫可以对搜索引擎的工作原理进行更深层次地了解。有的朋友想...
-
网络爬虫获取数据的步骤【重点】
? 作者简介：大学机械本科，野生程序猿，学过C语言，玩过前端，还鼓捣过嵌入式，设计也会一点点，不过如今痴迷于网络爬虫，因此现深耕Python、数据库、seienium、JS逆向、安卓逆向等等，，目前为全职爬虫工程师，学习的过程喜欢记录，目前已经写下15W字...
-
Linux系统日志采集
Linux系统日志采集 一、 任务描述 二、 任务目标 三、 任务环境 四、 任务分析 五、 任务实施 步骤1、操作步骤 未经许可，禁止以任何形式转载，若要引用，请标注链接地址 全文共计1821字，阅读大概需要3分钟 一、...
-
数据采集之全埋点数据采集分析方法的一些整理
数据采集之全埋点数据采集分析方法的一些整理，包含一些思路、方法逻辑的整理分析，供数据采集分析爱好者参考。 埋点的定义： 埋点分析，是网站分析的一种常用的数据采集方法。数据埋点分为初级、中级、高级三种方式。数据埋点是一种良好的私有化部署数据采集...
-
网络代理技术：隐私安全与数据采集的双赢
在数字化时代，网络代理技术已经不再是陌生名词。Socks5代理、IP代理等代理技术正在为用户和开发者提供了隐私保护和数据采集的强大工具。本文将深入探讨这些技术的原理和应用，揭示它们在网络安全、爬虫开发以及HTTP通信中的关键作用。 1. Socks5代理...
-
python爬虫代码运行之后不报错也没有结果_看完！一小时带你入门Python爬虫
一、什么叫爬虫 爬虫，又名“网络爬虫”，就是能够自动访问互联网并将网站内容下载下来的程序。它也是搜索引擎的基础，像百度和GOOGLE都是凭借强大的网络爬虫，来检索海量的互联网信息的然后存储到云端，为网友提供优质的搜索服务的。 二、爬虫有什么用...
-
什么是网络爬虫？有什么用？怎么爬？终于有人讲明白了
【导读】网络爬虫也叫做网络机器人，可以代替人们自动地在互联网中进行数据信息的采集与整理。在大数据时代，信息的采集是一项重要的工作，如果单纯靠人力进行信息采集，不仅低效繁琐，搜集的成本也会提高。 此时，我们可以使用网络爬虫对数据信息进行自动采集，比如应用于...
-
浅谈爬虫工程师的前景
前言： 接触了python这门语言后，我发现了它许多的优点以及便利的地方。最近想通过python来做一些数据获取以及数据处理，所以就开始学起了python爬虫。用requests库来爬取一个网页是非常简单的，短短几行代码就可以实现，但...
-
你知道程序员再过几年会没落？
《Computer World》杂志曾经写过一篇文章，说“编程到1960年就会消失”，因为IBM开发了一种新语言FORTRAN，这种新语言可以让工程师写出他们所需的数学公式，然后提交给计算机运行，所以编程就会终结。 图片 又过了几年，我们听到了一种新...
-
给大模型评分的基准靠谱吗？Anthropic来了次大评估
现阶段，大多数围绕人工智能 （AI）对社会影响的讨论可归结为 AI 系统的某些属性，例如真实性、公平性、滥用的可能性等。但现在面临的问题是，许多研究人员并没有完全意识到建立稳健可靠的模型评估是多么困难。当今许多现有的评估套件在各个方面的表现都很有限。 A...
-
网络安全行业需要借鉴“马斯克算法”
今天，我们已经进入一个人工智能和数字化转型驱动的颠覆式创新时代，网络安全不再是企业IT的“成本和摩擦”，相反，网络安全是构建下一代数字基础设施和信息秩序的支点，也是所有科技创新（从药品研发到军工智造）的要素。这意味着传统网络安全技术研发、方案实施、防御体...
-
招聘公司采用 AI 技术提高效率和候选人数量
招聘公司正在采用生成型人工智能技术来寻找候选人和提高效率，这是应对就业市场冷却的一种方式。 全球招聘公司 ManpowerGroup 的首席创新官、商业心理学教授和招聘技术专家 Tomas Chamorro-Premuzic 表示:“由于人才市场一直很紧张...
-
LeCun、吴恩达等370多人签联名信：严格控制AI是危险的，开放才是解药
近几日，关于如何监督 AI 的讨论越来越热烈，各位大佬们意见非常不统一。 比如图灵奖三巨头 Geoffrey Hinton、Yoshua Bengio、Yann LeCun 就出现了两种观点。Hinton、Bengio 为一队，他们强烈呼吁加强对 AI...
-
索尼互动娱乐公司收购基于 AI 的视频处理解决方案公司 iSIZE
索尼公司今天宣布已经签署协议，将收购总部位于英国的公司 iSIZE，该公司专注于「为视频交付提供深度学习技术。iSIZE 为媒体和娱乐行业构建了基于 AI 的解决方案，以实现比特率的节省和质量的改善，」该公司解释说。由于合同承诺，购买的费用尚未透露。 图...
-
西门子携手微软即将推出用于制造业的AI助手——西门子工业Copilot
微软和西门子日前宣布，即将推出用于制造业的西门子工业Copilot。西门子正在与微软合作，致力将更多的AI系统引入制造业。西门子工业Copilot是这两家公司共同开发的AI助手，旨在改善制造工厂的人机协作。 西门子携手微软将推出用于制造业的AI助手——西...
-
NTU华科等最新研究：全自动化「提示越狱」，能打败大模型的只有大模型！登安全顶会NDSS
今年，被网友戏称为「奶奶漏洞」的大语言模型「越狱」方法，可以说是火了火。 简单来说，对于那些会被义正言辞拒绝的需求，包装一下话术，比如让ChatGPT「扮演已经过世的祖母」，它大概率就会满足你了。 不过，随着服务提供商不断地更新和强化安全措施，越狱攻击...
-
特斯拉 Optimus 机器人项目招兵买马，聘请强化学习等领域工程师
11 月 1 日消息，特斯拉正在加速招聘人形机器人项目 Optimus 的工程师，包括一些强化学习方面的专家。 很多人对这个项目并不看好，认为它只是一个噱头。然而，特斯拉却非常认真地推进这个项目。最近，特斯拉展示了 Optimus 的最新原型，表现...
-
英伟达ChipNeMo大模型可以用于哪些芯片设计的应用场景
英伟达新发布的ChipNeMo大模型可以用户辅助芯片设计，那么这个大模型可以在哪些应用场景使用呢，我们来一起了解下。 （ChipNeMo更多详细介绍） 工程助理聊天机器人：ChipNeMo可以作为一个智能的聊天机器人，回答工程师关于GPU架构和设计的问题...
-
OpenAI潜入黑客群聊！盗用ChatGPT被换成“喵喵GPT”，网友：绝对的传奇
当ChatGPT被黑客“入侵”时，OpenAI会如何应对? 掐断API，不让他们用?不不不。 这帮极客们采取的做法可谓是剑走偏锋——反手一记《无间道》。 图源备注：图片由AI生成，图片授权服务商Midjourney 故事是这样的。 OpenAI虽然在发布...
-
利用AI辅助工具Userdoc定义软件需求
Userdoc是一个AI辅助服务，可以帮助创建软件需求文档。在最近举行的AI工程师峰会上，笔者与Userdoc的创始人Chris Rickard进行了交流。 译自 AI for Dev Tools: Create Software Requirement...
-
英伟达发布430亿参数大模型ChipNeMo
英伟达最新发布的430亿参数大语言模型ChipNeMo专注于辅助芯片设计，旨在提高工程师的工作效率。这一大语言模型的应用范围广泛，包括问答、EDA脚本生成和Bug总结等任务，使芯片设计变得更加便捷。 英伟达首席科学家Bill Dally强调，即使提高生产率...
-
人工智能如何增强可观测性
当前的时代背景下，理解怀念过去是可以理解的，但我们正处在这样的环境里，因此，可观测性永远不会和从前一样了。 译自 How AI Can Supercharge Observability 。 最近，可观测性变得越来越复杂，肯定比IT监控的早期阶段要复杂得...
-
MLCommons宣布成立人工智能安全工作组
人工智能基准组织MLCommons宣布成立人工智能安全（AIS：AI Safety）工作组。AIS将开发一个平台和来自许多贡献者的测试库，以支持不同用例的人工智能安全基准。 人工智能系统为社会提供了巨大利益的潜力，但它们并非没有风险，如有害性、错误信息...
-
人工智能教程（一）：基础知识
如今，计算机科学领域的学生和从业者绝对有必要了解人工智能artificial intelligence、数据科学data science、机器学习machine learning、深度学习deep learning方面的基本知识。但是应该从哪里开始呢？...
-
海洋工程中的生成式AI：专有数据集不足正限制其实际应用
现代计算正显著改进造船与海洋工程的设计与建造流程，但相当数据集的捉襟见肘正在阻碍其进一步融合。 造船与海洋工程（NAME）这一学科名称可能只有几百年的历史，但其起源却可以追溯至几千年之前的古代文明，当时人类就已经在建造船只来探索世界、开展商业活动。包括...
-
全世界1/3博士后每天使用ChatGPT，不用AI工具影响找工作
在《Nature》对全球的博士后进行的调查表明，有三分之一的的受访者正在使用AI聊天机器人来帮助自己修改文字、生成或编辑代码、整理相关领域的文献等工作。 最近《Nature》刊发了一篇文章，从来自世界各地的博士后科研工作者的角度，描述了ChatGPT如何...
-
对比GPU，使用FPGA创建神经网络
当代的CPU按照一维方式进行计算，顺序执行指令，并将算法分解为逐条加载和执行的指令。然而，未来的计算发展趋势表明，我们将越来越多地依赖硬件加速器来支持并行执行，这将成为计算的常态。这种发展趋势将统一算法和硬件结构的利用，从而实现更快、更高效的解决方案。...
-
陶哲轩论文漏洞竟被AI发现，，看定理名猜出研究方向，大神直呼AI能力惊人
最近，热衷于用GPT-4、Copilot做研究的数学大神陶哲轩，又在AI的帮助下发现了自己论文中的一处隐藏bug！ 陶哲轩表示，自己在用Lean4形式化第6页论点的过程中发现，表达式在n=3,k=2时，实际上是发散的。 这个不太容易看出的bug能被及时...
-
传谷歌同意向OpenAI竞争对手Anthropic至多投资20亿美元
10月28日消息，据知情人士透露，谷歌已经同意在此前投资的基础上，再向OpenAI竞争对手Anthropic至多投资20亿美元。此举可能促使人工智能领域的初创公司加剧竞争，以争取首先取得下一个重大突破。 知情人士说，谷歌同意先期向Anthropic投资...
-
波士顿动力推出 AI 集成的机器人狗 Spot：打造未来互动导游
波士顿动力公司近日推出了其新一代机器人狗 Spot，这是一种配备了聊天机器人技术的智能导游机器人。Spot 不仅能走动和交谈，还能以其独特的英国口音为游客提供场所导游服务。通过与 ChatGPT 及其他开源大型语言模型（LLMs）的集成，Spot 能够精准...
-
利用 ChatGPT 等大模型训练，波士顿动力将 Spot 机器狗变成“会说话的导游”
▲ 图源波士顿动力公司 YouTube 视频截图 10 月 27 日消息，波士顿动力公司于数小时前在其官方 YouTube 频道上传了一段视频，展示了波士顿动力机器狗的“语言能力”。视频中，波士顿动力机器狗化身“导游”带领工作人员参观自家公司的各种设施。...
-
AI基础软件：如何自主构建大+小模型？
一、公司介绍 九章云极DataCanvas以创造智能探索平台为使命，怀揣着助力全球企业智能升级的愿景，是中国人工智能基础软件领域的佼佼者。公司专注于自主研发的人工智能基础软件产品系列和解决方案，为用户提供全面的人工智能基础服务，旨在帮助用户在数智化转...
-
Nature：神经网络“举一反三”能力甚至超人类
神经网络具有类似人的“举一反三”能力，甚至超过人类水平？？？ 最近刊于Nature的一篇论文表示找到了证据。 “举一反三”的能力更专业点叫做系统性泛化能力。像小孩子一样，一旦学会了如何“跳”，他们就可以理解如何“向后跳”、“绕锥体跳过两次”。 要知道...
-
微软更新 Skype 应用：改进通话界面、优化相机体验、增强必应聊天
10 月 25 日消息，微软近日更新了 iOS 和安卓版 Skype 应用，邀请 Skype Insider 项目成员，测试安装 Build 8.106.76.206。本次版本更新重点改善了通话界面，优化了相机体验，修复了多处错误。 IT之家在此附上...
-
明年IT投资前景看好：增速比GDP高三倍！75%的CIO要为AI多花钱
如今全球复苏依旧缓慢，根据国际货币基金组织（IMF）最近发布的《世界经济展望报告》，预计全球经济增速将从2022年的3.5%放缓至2023年的3.0%和2024年的2.9%。然而，Gartner的IT支出数据却与此呈现出鲜明的对比：2024年全球IT支...
-
美国码农疯狂求职，狂投250份简历！揭秘潜规则：网申填完就战胜92%对手
经济下行，科技行业各大公司降薪的降薪，裁员的裁员。 但是就业市场中最惨的却永远是那些还在找工作的人。 美国的一名软件工程师Shikhar Sachdev因为自己在找工作时被连续不断拒绝，却激发出了他不断尝试找各种工作的兴趣。 在他找到工作已经入职之后，...
-
口型几乎完美、还能卡点，霉霉说地道中文的视频火了，背后AI工具原来是它
这两天，美国女歌星霉霉（泰勒・斯威夫特）一则说中文的短视频在各社交平台火了起来。有的播放量已经达到了 600 多万。 在视频里，霉霉操着一口流利、地道的中文，神情自若，几乎没有早期译制片女主角的那种腔调，口型也能对得上。 图源：微博 @会火 还没有看过...
-
国外科学家开发出“AI 中医”：舌诊系统看病准确率高达 94%
10 月 23 日消息，两千多年以来，中医就通过观察人们舌头的颜色和形状来诊断疾病，这种方法现在正在通过人工智能和机器学习技术得到增强。 伊拉克和澳大利亚研究人员之间的一项合作研究表明，计算机辅助舌头诊断系统可以准确识别 94% 的糖尿病和肾衰竭等疾病...
-
云安全中的生成式AI：雷声大雨点小？！
译者 | 晶颜 审校 | 重楼 人工智能是云安全领域的下一个热点吗？ 如果您关注了过去一年左右关于生成式人工智能技术的头条新闻，您可能也会有此疑问。根据GenAI技术拥护者的说法，云安全将会是被基于GenAI的工具所改变的诸多领域之一。 对此，其他一些...
-
自动驾驶传感器融合面临的三大挑战
随着越来越多的自动驾驶汽车难题出现，挑战的难度越来越大。 汽车工业正在将传感器融合作为应对日益增加的自动驾驶汽车所需的复杂性和可靠性的最佳选择，为汽车内部如何管理和利用来自多个设备的数据的另一转变奠定了基础。 事实证明，向更大的自治迈进比起初所期望的要复...
-
外媒：英伟达正设计基于Arm架构的PC芯片 最早于2025年开售
10月24日消息，芯片巨头英伟达已经在人工智能（AI）计算芯片市场占据主导地位。现在，它正在个人电脑领域向英特尔发起新的挑战。 据知情人士透露，英伟达正悄悄利用英国芯片设计公司Arm的技术，设计可运行微软Windows操作系统的中央处理器（CPU）。这...
-
NVIDIA发布AI系统Eureka：支持机器人编程
快科技10月23日消息，NVIDIA官方消息显示，一款名为 Eureka 的 AI 系统正式发布，该系统以GPT-4提供支持，可以让机器人实现三十多种复杂的动作。 在一次内部评估中，NVIDIA使用Eureka教10个模拟机器人29种不同的动作。 工程师通...
-
2023年人工智能的六大预测
根据当前的人工智能热潮及前景，以下是专家们对2023年人工智能的六项预测。 多种因素的结合，如小尺寸的强大计算、边缘计算、IT和运营技术(OT 的集成、5G，甚至COVID-19大流行，推动了人工智能在各行业的应用。Market View Resear...
-
一文读懂全新深度学习库Rust Burn
一、什么是Rust Burn？ Rust Burn是一个全新的深度学习框架，完全使用Rust编程语言编写。创建这个新框架而不是使用现有框架（如PyTorch或TensorFlow）的动机是为了构建一个适应多种用户需求的通用框架，包括研究人员、机器学习工程...