一、什么是结构化数据、非结构化数据、半结构化数据

结构化数据是指有固定的数据模型，一组特定数据类型的数据组合，比如数据库表。非结构化数据是没有固定的数据结构和类型，没有固定的数据模型schema；并且都是小文件为主。半结构化数据则是有格式但没有固定的数据模型Schema，具备自描述的属性信息表达数据内容。

结构化数据是指按照一定的规则或格式组织存储的数据，例如数据库中的表格、电子表格、XML文件等。结构化数据具有以下特点：

易于查询和分析。由于结构化数据有明确的字段、类型和关系，可以使用标准的语言（如SQL）或工具（如Excel）进行快速有效的查询和分析。占用空间较小。由于结构化数据避免了重复和冗余的信息，可以节省存储空间。需要预定义模式。为了实现结构化存储，需要事先定义好数据的模式（schema），即确定好每个字段的名称、类型、长度等属性。这样做可以保证数据的一致性和完整性，但也限制了数据的灵活性和扩展性。

非结构化数据是指没有固定格式或规则组织存储的数据，例如文本、图像、音频、视频等。非结构化数据具有以下特点：

难以查询和分析。由于非结构化数据没有统一的字段、类型和关系，不能直接使用标准的语言或工具进行查询和分析。需要使用特定的方法（如自然语言处理、计算机视觉等）提取出有效信息。占用空间较大。由于非结构化数据包含了大量无关或冗余信息，占用了更多存储空间。不需要预定义模式。非结构化数据不受任何模式约束，可以随意添加或修改任何内容。这样做可以提高了灵活性和扩展性，但也降低了一致性和完整性。

半结构化数据是一种介于结构化数据和非结构化数据之间的数据类型，它不符合传统的关系型数据库或表格的格式，但是有一定的组织和规则，可以用标记、标签、键值对等方式表示数据的层次和语义。半结构化数据在现实生活中很常见，例如XML、JSON、HTML等文件格式，以及日志、电子邮件、社交媒体等文本信息。

半结构化数据相比于结构化数据，具有更大的灵活性和可扩展性，可以适应不同的场景和需求，不受固定模式或架构的限制。半结构化数据也相比于非结构化数据，具有更高的可读性和可处理性，可以通过一些工具或方法提取出有用的信息和知识，进行分析和挖掘。