全国旗舰校区

不同学习城市 同样授课品质

北京

深圳

上海

广州

郑州

大连

武汉

成都

西安

杭州

青岛

重庆

长沙

哈尔滨

南京

太原

沈阳

合肥

贵阳

济南

下一个校区
就在你家门口
+
当前位置:首页  >  技术干货

什么是网络爬虫

发布时间:2022-09-05 14:10:00
发布人:wjy

  网络爬虫,英文名为Spider,又称为网页蜘蛛,网络机器人,在数据分析应用中,更多的将爬虫称为数据采集程序,是一种按照一定的规则,自动地抓取网络信息的程序或者脚本。

什么是网络爬虫

  • 原则上,只要是客户端(浏览器)能做的事情,爬虫都能够做

  • 爬虫也只能获取客户端(浏览器)所展示出来的数据

  网络中的数据可以是由web服务器【Nginx/Apache】,数据库服务【MySQL/Redis/MongoDB】,索引库,大数据,视频/图片库,云存储【阿里云的OSS】等提供的,最主要的来源是Web服务器

  不过,大家一定要注意哦,可爬取的数据必须是公开的,非盈利的,如:如果侵入人家非公开的网络,人家会通过ip定位到你,属于违法行为的哦,再或者,一些理财的网站,如果爬取数据,肯定是不可以的,如果小伙伴们不听话,非要去爬取,那任何人都是保护不了你的哦,狗头保命~~~

  有名的爬虫案件:简历大数据公司“巧达科技”被一锅端、“车来了”涉嫌偷数据被警方立案等

相关文章

ITSS各级别之间有什么联系?

ITSS各级别之间有什么联系?

2023-10-14
什么是软件定义存储(SDS)?

什么是软件定义存储(SDS)?

2023-10-14
DeepMind和OpenAI身后的两大RL流派有什么具体的区别?

DeepMind和OpenAI身后的两大RL流派有什么具体的区别?

2023-10-14
软件开发管理流程中会出现哪些问题?

软件开发管理流程中会出现哪些问题?

2023-10-14

最新文章

常见网络安全面试题:Windows常用的命令有哪些?

常见网络安全面试题:Windows常用的命令有哪些?

2023-10-09
常见网络安全面试题:根据设备告警如何展开排查?

常见网络安全面试题:根据设备告警如何展开排查?

2023-10-09
常见网络安全面试题:mysql加固呢?(数据库加固)

常见网络安全面试题:mysql加固呢?(数据库加固)

2023-10-09
常见网络安全面试题:windows和linux加固?(操作系统加固)

常见网络安全面试题:windows和linux加固?(操作系统加固)

2023-10-09
在线咨询 免费试学 教程领取