• 开启 Python 组件 Boto3 在 IDE 中的智能提示

    calendar Jul 13, 2019   ---   · 3 min read · autocomplete Python boto3  ·
    Share on: linkedin copy
    开启 Python 组件 Boto3 在 IDE 中的智能提示

    在用 Python 编写 AWS 服务时，要用到 Boto 3 组件，而像 boto3.client('s3') 获得的对象只能被 IDE 识别为一个 BaseClient, 具体包含什么操作方法是在运行时由参数 s3 指示的基于 JSON 文件所描述的。因此 IDE 对 s3 = boto3.client('s3') 的 s3 对象无法提供有效的智能提示，每次用 Boto 3 时不得不打开 Boto 3 的在线 API 文档来对照。长此以往，总觉麻烦且效率低下，有种一直摸着石头过河的感觉。那么，是否有办法让 IDE 智能提示出各种 boto3.client('<service>') 的实际操作呢？网上找了找，确实有这个需求，解决办法有

    1. botostubs: 与 boto3 API 保持更新(每三天)，并支持众多 IDE, 试过在 IntelliJ IDEA 和 Visual Studio Code 中可用
    2. pyboto3: 上次更新在两年前, https://github.com/wavycloud/pyboto3, 只在 Python 2.7 下测试过
    3. autoboto: 需有智能提示，但改变了应用 Boto 3 组件的方式，不建议使用

    本文重点推荐 botostubs, 下面会叙说具体理由，在进入正是之前，不妨来回顾一下直接使用 Boto 3 时没有好的智能提示的问题 Read More

  • 转换 Iterator 为 Java 8 的 Stream

    calendar Jul 3, 2019   ---   · 3 min read · Stream Iterator  ·
    Share on: linkedin copy
    转换 Iterator 为 Java 8 的 Stream

    Java 中有关抽象的可遍历的对象有 Iterator, Iterable 和 Java 8 的 Stream, Iterable 可简单的用如下代码转换为 Stream

    StreamSupport.stream(iterable.spliterator(), false)

    再回过头来，为什么要把 Iterator 或 Iterable 转换为 Stream, 因为 Iterator 和 Iterable 只提供有限的遍历操作，如 Iterator 接口的全部四个方法

    hasNext()
    next()
    forEachRemaining(consumer)
    remove()

    同样 Iterable 也只有 iterator(), forEach(consumer), 和 spliterator() 方法。而 Java 8 的 Stream 就大不一样的，带有大量的链式操作方法，如 filter, map, flatMap, collect 等。

    因此如果我们已有一个 Iterator 类型，能够被转换为 Stream 类型的话将会大大简化后续的转换，处理操作。具体的从 Iterator 到 Stream 的转换方式有两种 Read More

  • 试手 RxJava 2.x 及对线程的初步理解

    calendar Jun 19, 2019   ---   · 3 min read · Java Stream  ·
    Share on: linkedin copy
    试手 RxJava 2.x 及对线程的初步理解
    在进行数据流处理过程中，需要一个高效苗条的流处理组件，比如对输入流能进行分组(窗口)，能进行流量控制(Back Pressure - 背压)，这也就涉及到响应式编程，流处理框架。这方面如果直接基于 Akka actor 来构建 Akka ActorSystem 也是比较复杂，依赖的组件也不少。还有构筑在 Akka actor 之上的 Akka Streams，再往上的 Flink Streaming，它们都有像滑动，滚动窗口的概念，但是依赖更不得了。一个基本的 Flink Streaming 的项目会依赖到 45 M 以上的第三方组件，如果用它来写一个数据流处理的共享组件，那真是要命。Spring 5 也开始带上了自己的 Reactive-Streams 实现 Spring Reactor, 想要把它从 Spring 中单独抽离出也非易事。

    Flink Streaming 组件依赖：org.apache.fling:flink-streaming-java_2.12:1.80, 会依赖于其他诸如 akka-stream, akka-actor, flink-core, flink-clients, scala-library 等非常多的东西
    而另一个著名的响应式框架 RxJava 2 就清爽多了，完全没有第三方依赖，要说有也就是定义了四个接口的 reactive-streams(2 KB 大小)，就自身那个  rxjava-2.2.9.jar 包只有 2.3 M，这才叫轻量级。因为它设计来是能被应用于 Android 客户端应用的，Andriod 上的 rxandriod-1.2.1.aar 只有 9 K。所以 RxJava 2.x 太适合用来写一些小的共享组件了。 Read More

  • Java 与'嵌入式' PostgreSQL 数据库的单元测试

    calendar Jun 3, 2019   ---   · 3 min read · Java PostgreSQL  ·
    Share on: linkedin copy
    Java 与&#39;嵌入式&#39; PostgreSQL 数据库的单元测试

    在我们对数据库 DAO 类进行单元测试时，通常不应该依赖于一个外部数据库，所以会选用特定比较接近于真实数据库类型的内存或嵌入式数据库，如 HSQLDB(HyperSQL), H2, Derby 等。但总难免会用到特定数据库的特性，这时候就无法用前述各种数据库进行测试了。非要单元测试中覆盖到所用的数据库特性的话可以选择用 docker，如 Testcontainers, 经过模块扩展，它可以由 docker 来启动许多种类型的数据库，MySQL, Postgres, Oracle-XE, MS SQL Server, Couchbase 等等，详情见 Database containers。刚了解到的是它的模块化的无限可能，像支持 Kafka Containers 和 Localstack Module 等。

    这里就不走 Testcontainers 那条路 -- 要求构建服务器上也要有 docker。早先希望能找到一种嵌入式或内存 PostgreSQL 数据库，后来发现 PostgreSQL 未能提供 In-Process 和 In-Memory 的启动方式，好在 PostgreSQL 是开源，有人可以把它改造为小型的可由测试代码启停的本地数据库。有两个具有代表性的组件，分别是 OpenTable Embedded PostgreSQL Component 和 Embedded PostgreSQL Server，它们都号称是 Embedded，所谓嵌入式，其实是进测试进程外的数据库。

    下面简单体验下两个组件的用法 Read More

  • 使用 Google Guava Striped 实现基于 Key 的并发锁

    calendar Jun 2, 2019   ---   · 4 min read · Concurreent Striped  ·
    Share on: linkedin copy
    写 Java 代码至今，在应对可能冲突的共享资源操作时会尽量用 JDK 1.5 开始引入的并发锁(如 Lock 的各类实现类, ReentrantLock 等) 进行锁定，而不是原来的 synchronized 关键字强硬低性能锁。

    这里是应用 JDK 1.5  的 Lock 的基本操作步骤
    private Lock lock = new ReentrantLock(); private void operate() {
        // 安全操作 ....
        lock.lock();
        try {
            // 对共享资源的操作 ...
        } finally {
            lock.unlock();
        }
    }
    如此，operate() 就是一个线程安全的方法，任何对它的调用都安排到了一个队列里等着。但有时候上锁需要考虑更细的粒度，下面是一个演示案例，引出第一个问题
    Read More

  • Java 元注解及 Spring 组合注解应用

    calendar May 18, 2019   ---   · 4 min read · Spring meta-annotation  ·
    Share on: linkedin copy
    Java 元注解及 Spring 组合注解应用

    Java 1.5(Tiger) 个人认为最为激动人心的两个特性是泛型与注解(Java Versions, Features and History)。泛型自然是不必说了，注解对 Java 世界的改变比泛型伟大的多(现在框架的注解配置)，在 Java 1.5 之前我们只能在 Javadoc 注释中做文章，于是只能用 XDoclet 那样不伦不类的东西。Java 的注解发展到现在几乎可以使用在书写代码时的任何地方，见 java.lang.annotation.ElementType 中的类型，囊括了 TYPE, FIELD, METHOD, PARAMETER, CONSTRUCTOR, LOCAL_VARIABLE, ANNOTATION_TYPE, PACKAGE, TYPE_PARAMETER(since 1.8), TYPE_USE(since 1.8)。

    Java 1.5 基本确定了注解的基本框架，包括元注解(meta-annotation); 直到 Java 8 又扩展了注解的使用范围，列举如下：

    创建类实例

    new@Interned MyObject();

    类型映射

    myString = (@NonNull String) str;

    implements 语句中

    class UnmodifiableList<T> implements@Readonly List<@Readonly T> { ... }

    throw exception声明

    void monitorTemperature() throws@Critical TemperatureException { ... }

    解析前面 ElementType Java 8 增加的 TYPE_PARAMETER和 TYPE_USE 注解使用新场合。ElementType.TYPE_PARAMETER 表示该注解能写在类型变量的声明语句中。ElementType.TYPE_USE 表示该注解能写在使用类型的任何语句中(如: 声明语句、泛型和强制转换语句中的类型) Read More

  • Python 常用日期处理 -- calendar 与 dateutil 模块

    calendar May 1, 2019   ---   · 3 min read · Calendar  ·
    Share on: linkedin copy
    Python 常用日期处理 -- calendar 与 dateutil 模块

    本文紧承上一篇 Python 常用日期处理，因制于篇幅的大小需求才临时分立新篇，这里要简单提到 calendar 和 dateutil 模块的使用，其中 calendar 是 Python 内置的。相比于上一篇而言，此处主旨会更明确一些，只记录三个应用案例，分别是

    1. 用 dateutil 灵活的解析 datetime 字符串
    2. 给定起始日期后的连续日期
    3. 给定起始日期后连续的月末日期

    dateutil 灵活的解析 datetime 字符串

    使用 Python 内容的  date 或 datetime, 构造它们的实例时需要逐个的传入年月日或时分秒，或者要调用  fromisoformat() 方法解析严格的字符串表示格式。而 dateutil.parser 的 parse() 方法就显得特别的聪明和随意，它可以智能的解析更丰富的字符串表示方式。详细的支持格式请参考官方文档的 parse examples，恐怕官方文档也未列举完全，只要觉得合理的时间字符串就可以尝试去解析。下方是一些例子 Read More

  • Python 常用日期处理 -- 内置模块 datetime

    calendar Apr 24, 2019   ---   · 3 min read · Date Calendar  ·
    Share on: linkedin copy
    Python 常用日期处理 -- 内置模块 datetime

    仅以此篇记录一下个人常用的 Python 处理日期的库与函数，主要涉及的类库有 Python 自带的 datetime, time 和 calendar，以及第三方的 dateutil。说到日期处理基本上要覆盖的概念有 date, time, datetime, timezone, calendar, 时间的比较与差值，解析与格式化显示等。

    在 datetime 模块中类之间的继承关系如下：

    object
    ├── date
    │      └── datetime
    ├── time
    ├── timedelta
    └── tzinfo
             └── timezone

    我们着重体验一下前面粗体显示的 datetime, date, time, timedelta 对象, timezone 也不是不重要，有时候也可能只需要处理本地时间。 Read More

  • Spring ServiceLocator 介绍及应用

    calendar Apr 2, 2019   ---   · 3 min read · Spring ServiceLocation  ·
    Share on: linkedin copy
    Spring ServiceLocator 介绍及应用

    在 Spring 中应用 ServiceLocator 方式来获取 Spring Bean 的介绍参考了那么多，其实还是数官方的 ServiceLocatorFactoryBean JavaDoc 文档最言简意该了。Spring 的 ServiceLocator 仿佛用处不大，说到底就是类似于下方找寻某个 Spring Bean 一样：

    ApplicationContext context = ...; Service service = context.getBean(ServiceImpl.class); Service service = context.getBean("myService");

    只是有了 ServiceLocatorFactoryBean(它本质上就是一个 FactoryBean) 后我们不需要直接与 ApplicationContext 打交道，且多个的 Spring Bean 可以从相关的一个 FactoryBean 获得。下面用两个例子来演示(代码中刨去了 package 和 import 部分的代码)

    一：实现类只有一个 Spring Bean 时

    接口类 Parser(我们要定位就是它的实现类) Read More

  • Spring 中 FactoryBean 的使用

    calendar Mar 7, 2019   ---   · 3 min read · FactoryBean  ·
    Share on: linkedin copy
    Spring 中 FactoryBean 的使用

    许久没记录笔记了，这回来重新熟悉一下 Spring 中 FactoryBean 的使用，顾名思义，它是用来获得相应 Bean 的工厂的。它与另一个 Spring 中的接口 BeanFactory 的作用不一样的，不能多说了。FactoryBean 和 BeanFactory 都是在 org.springframework.beans.factory 包中，谁能一看类名搞清楚它们的差别？

    1. FactoryBean: 用于创建某个特定的 Spring bean 的工厂类
    2. BeanFactory: Spring 上下文的最顶层接口，如 ApplicationContext 就继承了该接口，它可称之为所有 Spring bean 的工厂

    这儿说的是第一个 FactoryBean, 它的接口声明是

    1public interface FactoryBean<T> {
2    T getObject() throws Exception;
3    Class<?> getObjectType();
4    boolean isSingleton();
5}

    它最终的效果是，Spring 容器中注册一个名称为 abcFactoryBean 的 AbcFactoryBean 实例，通后名称 abcFactoryBean 获得的实际上是相应 AbcFactoryBean.getObject() 返回的对象，类型为 getObjectType(), isSingleton() 是否是单例。 Read More