什么是网络爬虫
网络爬虫，英文名为Spider,又称为网页蜘蛛，网络机器人，在数据分析应用中，更多的将爬虫称为数据采集程序，是一种按照一定的规则，自动地抓取网络信息的程序或者脚本。
2022年it行业的就业方向及前景分析
在2022年it主流就业方向包括前端开发、数据库管理、大数据开发、后台开发、嵌入式开发、AI智能和UI设计这七大方向，每个方向所需要的技能都会有所区别。想要进入it行业的小伙伴可以了解下下面的2022年it行业的就业方向及前景分析，以便提前进行准备工作。
云计算很难学吗？工资高吗
云计算很难学吗？工资高吗？云计算是近几年的热词，大家都在讨论要不要学云计算技术。云计算技术主要学习计算机网络技术、Mysql数据库、Linux操作系统、Shell编程、虚拟化技术等相关技术。其实云计算同传统的网络工程相比，难度会有所提升，但是只要有坚定的学习毅力，学起来并不难。
Hive调优（重点）
map任务数量优化： 实际业务中往往存在大量的分区表，每个分区表都实际存储一定量的文件，其中必然有些分区的数据量很少。
存储格式和压缩格式
一般选择ORC+bzip/gzip作为数据源的存储，选择则ORC+Snappy作为中间数据的存储，分区表单文件不大可以采用gzip压缩，桶表需要用bzip或lzo支持分片的方式压缩。设置压缩建表时指定"stored as orc tblproperties ("orc.compress"="gzip")"
