Spark Structured Streaming 优势
增量查询模型(Incremental query model)：Structured Streaming 将会在新增的流式数据上不断执行增量查询，同时代码的写法和批处理 API (基于 Dataframe 和 Dataset API)完全一样，而且这些 API 非常的简单。
Spark读取MySQL大表超时问题
场景为Spark读取一张MySQL表(innodb引擎)， 数据量8000万，无自增ID，业务中一个字段为(订单ID)主键。要将该表数据读取后写入到HDFS。
Spark 数据倾斜调优10策（二）
Spark通过 textFile(path, minPartitions) 方法读取文件时，使用 TextInputFormat。对于不可切分的文件，每个文件对应一个 Split 从而对应一个 Partition。此时各文件大小是否一致，很大程度上决定了是否存在数据源侧的数据倾斜。
凯哥
原普科国际科技有限公司培训主管，曾任国内航运业高级研发经理。多年软件开发经验和教学经验，形成了一整套的成熟的教学体系。主持了金融信息大数据平台系统搭建、用户智能推荐系统、参与了医疗大数据平台管理系统开发。
Mill
原某软件、软通公司项目高级开发工程师，有5年以上研发经验，多年教学经验，拥有多年的离线和实时开发经验及项目实施经验，精通Spark、Hadoop、Flink等生态技术栈，对项目优化及其源码有深入研究，授课逻辑清晰，言简意赅，多注重于学员的自我解决问题能力。
