原来用 Java 和 Python 实现过 Avro 转换成 Parquet 格式，所以 Schema 都是在 Avro 中定义的。这里要尝试的是如何定义 Parquet 的 Schema, 然后据此填充数据并生成 Parquet 文件。
本文将演示两个例子，一个是没有层级的两个字段，另一个是含于嵌套级别的字段，将要使用到的 Python 模块有 pandas 和 pyarrow
用 Python 定义 Schema 并生成 Parquet 文件
Tag: Schema
XML 的中阶知识巩固之 XML Schema 其一
用过 XML 的人都知道可用 DTD(Document Type Definition) 来验证语法，不过微软主导了新一代验证语法的 XML Schema，并且风头正劲，大有一统江湖之势。看看我们身边的几个变化就明白了。
web.xml 从 web-app_2_3.dtd 到 web-app_2_4.xsd
spring 配置文件从 spring-beans.dtd 到 spring-beans-2.0.dtd 到 spring-beans-2.0.xsd，直至灵活的自定义 Schema
quartz_jobs.xml 配置文件从 job_scheduling_data_1_5.dtd 到 job_scheduling_data_1_5.xsd
XML Schema 简介
XML Schema 是一个比 DTD 具有更细致描述语法功能的验证技术，并且它本身也是一个 XML 文件，不像 DTD 用是是独有的语法。既然 XML Schema 和 DTD 都是用来验证 XML 的，并能大抢风头，固然有它值得称道的地方。所以先说说 DTD 的的不足和 XML Schema 的特点。 阅读全文 >>