• 用 Python 定义 Schema 并生成 Parquet 文件

    calendar Sep 24, 2021   ---   · 2 min read · Schema Parquet  ·
    Share on: linkedin copy
    用 Python 定义 Schema 并生成 Parquet 文件
    原来用 Java 和 Python 实现过 Avro 转换成 Parquet 格式，所以 Schema 都是在 Avro 中定义的。这里要尝试的是如何定义 Parquet 的 Schema, 然后据此填充数据并生成 Parquet 文件。

    本文将演示两个例子，一个是没有层级的两个字段，另一个是含于嵌套级别的字段，将要使用到的 Python 模块有 pandas 和 pyarrow

    简单字段定义

    定义 Schema 并生成 Parquet 文件

    Read More

  • XML 的中阶知识巩固之 XML Schema 其一

    calendar Aug 25, 2008   ---   · 2 min read · xml Schema  ·
    Share on: linkedin copy
    用过 XML 的人都知道可用 DTD(Document Type Definition) 来验证语法，不过微软主导了新一代验证语法的 XML Schema，并且风头正劲，大有一统江湖之势。看看我们身边的几个变化就明白了。


    web.xml 从 web-app_2_3.dtd 到 web-app_2_4.xsd
    spring 配置文件从 spring-beans.dtd 到 spring-beans-2.0.dtd 到 spring-beans-2.0.xsd，直至灵活的自定义 Schema
    quartz_jobs.xml 配置文件从 job_scheduling_data_1_5.dtd 到 job_scheduling_data_1_5.xsd

    XML Schema 简介

    XML Schema 是一个比 DTD 具有更细致描述语法功能的验证技术，并且它本身也是一个 XML 文件，不像 DTD 用是是独有的语法。既然 XML Schema 和 DTD 都是用来验证 XML 的，并能大抢风头，固然有它值得称道的地方。所以先说说 DTD 的的不足和 XML Schema 的特点。 Read More