Avro 和 Parquet 是处理数据时常用的两种编码格式，它们同为 Hadoop 大家庭中的成员。这两种格式都是自我描述的，即在数据文件中带有 Schema。Avro 广泛的应用于数据的序列化，如 Kafka，它是基于行的格式，可被流式处理，而 Parquet 是列式存储格式的，适合于基于列的查询，不能用于流式处理。
既然是一个系统中可能同时用到了这两种数据存储格式，那么就可能有它们之间相互转换的需求。本文探索如何从 Avro 转换为 Parquet 格式数据，以 Java 语言为例，所涉及到的话题有
本文例子中所选择 Avro 版本是当前最新的 1.10.1 阅读全文 >>
管理一个远程机器最常规的做法是 SSH(Unix/Linux, Mac) 或 PowerShell/RDP(Windows)，这就要求远端机器要开通相应的访问端口及打开防火墙，配置好登陆用的用户名密码或 SSH Key。当选择一个 EC2 实例的时候，可以点击 "Connect" 按，它提供有三种连接选择：
ec2-instance-connect(如安装命令 sudo yum install ec2-instance-connect)AWS 的 Session Manager 提供了通过浏览器或 AWS CLI 来访问 EC2 实例，甚至是本地机房的机器或虚拟机(需 advanced-instances tier 的支持)，不再依赖于 SSH。 阅读全文 >>
自去年 10 月底搬家后就基本没再写日志了，其间常登陆后台看到 WordPress 及其插件不停的有提示升级，每次都是能升就就升，至少前台的页面显示没多大问题。只有过一个小问题，左边最新评论的 Widget 显示不出东西来，把最后更新日期为 8 年前的 WP-RecentComments 插件变成了 Decent Comments 后解决。
昨天才开始琢磨着写一篇关于 Mockito Mock 静态方法的日志，才意识到一直以来不知拒绝的跟风似的升级 WordPress 主体和插件给后台带来了不得不面对的问题。
首先，传文件总是失败，在 Media 或 Add Media 时也无法浏览图片，翻看 Apache2 的错误日志也没找到问题。无奈，手工通过 SCP 上传吧，一登陆到服务器上却发现即使界面提示失败，但文件实际上是在已上传到了服务器上了的。先这么着吧，切换编辑器到文本模式手工写 <img> 标签来引用图片。 阅读全文 >>
Java 单元测试最趁手的 Mock 组件当属 Mockito，虽然它最初是基于继承来实现 Mock 的，所以对私有方法，私有属性，静态方法，final 类，final 方法，构造函数无能为力。于是有时不得不引入 JMockit 或 PowerMockit 来辅助。不过现在的 Mockito 功力有所增强。
首先是 Mockito 2.1.0 开始可以 Mock final 类和 final 方法，要在 classpath 下创建个文件 mockito-extensions/org.mockito.plugins.MockMaker, 内容为 mock-maker-inline。之前写过一篇介绍：Mockto 也能 Mock final 类和 final 方法了，其中也探索了它的实现细节，使用到了 ByteBuddy 修改字节码。
从 Mockito 3.4.0 通过类似的 mockto-extensions 扩展的方式，实现了对静态方法的 Mock。所有使用到的接口是 org.mockito.MockedStatic，它当前在 Mockito 3.7.7 中还是一个试验性方法 @Incubating，能拿来用就行。 阅读全文 >>
又一月有半未落下一个符号了，越来越喜爱用 Python 来高效的辅助日常工作了。先前在 Shell 下使用 Python 代码，因为 Vim 可以配置 Kite 进行代码的自动完成。很早就知道 Jupyter Notebook, 但觉得它还不够漂亮，又没代码提示，也就一直没理会它，后来看到 Kite 可以支持 JupyterLab, 一启动 JupyterLab 的那一瞬间，果然比 Notebook 高大上了许多。有了 Kite 加持，写代码更是顺畅的多，当然还飞不起来。Notebook 应该是一个更经典的工具，它的一系列插件还得稍稍移植到 JupyterLab 上去才能用。
本文快速体验一下 JupyterLab, 从自身到几个基本插件的安装。本人使用的操作系统是 Mac OS X, 刚开始用 python -m venv jupyterlab-venv 创建的虚拟环境中用 pip 来安装，后来发现不知何时在我的 Python 3.8 的 bin 目录中居然安装有 jupyter 和 jupyter-lab 命令，pip install jupyterlab 后 jupyter-lab --version 和 jupyter lab --version 显示的是不同版本 阅读全文 >>
在 Python 使用用 json.dumps(data) 时突然发现特别慢，data 本身不大，但是一个包含很多元素的列表，所以促使本人寻找一个替代的 JSON 处理库。大概对比了一个 ujson(UtltraJSON), python-rapidjson(RapidJSON) 和 Python 自带的 json 库。还有一个 simplejson 是为兼容 Python 2.6 以前用的(json 是 Python 2.6 新加入的 API)，性能有些差。
基本上姜还是老的辣，想要收获更好的性能，还得仰赖传统的 C/C++ 语言，ujson 是用纯 C 写的，RapidJSON 是 C++ 写的，后者还是十美分的开源产品。json, ujson, rapidjson 三者 loads() 方法的性能差别不太明显，但 dumps() 大对象时 Python 自带的 json 库就要考验用户的耐心了。
注：最开始本来认定了 ujson 为最佳选择, 所以先从 usjon 和 rapidjson 切入的，后来写作本文的过程中，从 usjon 的自我介绍中发现了 Rust 写的 orjson 很显眼，才加入了 orjson 的测试，看来 orjson 更值得拥有。
Java 虚拟机分析工具用 JDK 自带的 jconsole, jvisualvm, 和 jmc(Java Mission Control) 就已经非常好了，还真极少情况下(甚至没有)非得用商业的 Profiler 工具如 YourKit Java Profiler 或 JProfiler 的情况。用于实时观察 JVM 的内存, CPU, 线程等运行状况，对比 Heap 快照，发现线程死锁的应用情景，我比较喜欢用 jvisualvm(VisualVM)。
有很长一段时间，因为在家办公司，只要连接到公司的 VPN 后再执行 jvisualvm 来打开 VisualVM 时，会有很长的时间(可能长达 10 几分钟)卡在窗口右下角状态栏的 Computing description...，要等到它消失后才能开始连接 JVM，这时候我的 Java 应用可能早就退出了。要是本地不连 VPN 的话就正常，启动 VisualVM 是正常的，但调试有些工作项目又必须连接公司的 VPN。
这种使用 VisualVM 的体验有如恶梦一般，还是有经常要用到 VisualVM 的需求，所以再也不能忍受这种无谓的等待。依然是 Google + StackOverflow 的模式，找到原来罪魁祸首是 /etc/hosts 中的 127.0.0.1 这个条目。 阅读全文 >>
使用了一段时间的 Vue.js 以后，其中有大量的 ES6 的 export/import 用法，如
import axios from 'axios';
import Home from '../views/Home.vue';
export default {
data() { .... }
因为目前对 ES6 的 export/import 用法是一知半解的，所以基本上都是基于 vue-cli 创建的项目上依葫芦画瓢，更是不太理解 vue 的项目是如何由 main.js -> App.vue 把所有的 router, views, 和 components 串联起来的。为了进一步理清 Vue.js 项目的初步运行机制，现在开始着手试图通过一个例子来尽可能多的理解 ES6 的 export/import 用法。
我不是标题党，所以不可能命名如：理解 export/import 一篇就够了，全网最全诸如此类的。且本人博客主要是记录自己学习过程的，而非为了招人眼球。所以尽力吧，在一个代码例子中尽可能多的展示 export/import 的用法，为不增加代码的复杂性，有些技巧在代码后进行解释。 阅读全文 >>
记录一下在 Vue.js 项目中使用 vue-prism-editor 进行语法高亮显示代码，并兼具代码编辑功能。JavaScript 中有几个比较典型的语法高亮显示的代码库，例如 SHJS, SyntaxHighlighter, Rainbow, highlight.js。本博客曾经使用过 SyntaxHighlighter 来显示日志中的示例代码，现今所采用的是基于 PHP 的 Crayon Syntax Highlighter。除了只为了高亮显示代码外，有时候还需处理在线编辑代码，许多年前试用过 CodeMirror, 而今天要上手 Prism.js 也能够支持代码编辑。
官方 Demo: prism-editor.netlify.com
Codesandbox: https://codesandbox.io/s/61yrlnlnmn。
为了给 Vue.js 项目提供方便，有人专门做了一个 Vue.js 的插件 vue-prism-editor，本文直接使用该插件，而非直接使用 Prism.js。并且项目蓝本用 @vue/cli 4.4.6 的命令
$ vue create vue-prism-editor-demo
创建的，创建过程可参考 Flask 和 Vue.js 开发及整合部署实例 的 创建 Vue 项目一节，此文简单些，就只选择 default (babel, eslint) 默认项来创建 阅读全文 >>
一年半以前写了关于 Python 包管理及虚拟环境系列
其中历数了 virtualenv, python3 -m venv, pipenv, 并提到了 pyenv 和 conda。但对 pyenv 和 conda 未作介绍，其中 conda 似乎不该错过。 Anaconda 着力于为数据分析提供支撑，并与 Jupyter Notebook 有更完美的结合，而且 PyCharm 中对它也有很好支持。因此本文来了解一下 conda 以及 Anaconda。
首先 Anaconda 是什么，它是一个用于科学计算的，跨平台的包管理与 Python 环境的工具，它方便的解决了多版本 Python 并存，切换及第三方包安装的问题。所以 Anaconda 不只是像 venv, pipenv 那样的创建管理 Python 虚拟环境，还承担了系统软件的安装管理，像 Mac 下的 brew 那样的功能。一般来说我们没有必要安装 Anaconda, 只需要安装 Miniconda 获得 conda 这个命令行工具即可。 阅读全文 >>