• mvn 命令上传文件到 Maven 仓库

    calendar Nov 13, 2021   ---   · 4 min read · nexus deploy  ·
    Share on: linkedin copy
    针对一个 Maven 的 Java 项目，我们执行 mvn deploy 命令时想要把生成的 jar 包上传到 Maven 仓库(本文将使用私有的 Nexus 仓库)中去。所要用到的插件 Maven Deploy Plugin，本文实际就是讲述如何用该插件上传 jar 包到 Maven  仓库，更多用法请参考该插件的官方文档。

    本文关键性的两个配置文件是 pom.xml 和 settings.xml。前者配置仓库的地址，后者中配置用户名和密码。要确定 Maven 使用了哪个 settings.xml 文件，用 mvn -X 查看，比如下面的输出
    [DEBUG] Reading global settings from /usr/local/Cellar/maven/3.8.3/libexec/conf/settings.xml
    [DEBUG] Reading user settings from /Users/yanbin/.m2/settings.xml
    Maven 还允许在执行 mvn 命令时用  -s 或 --settings 参数指定 settings.xml 文件，如 mvn deploy --settings settings.xml

    所以对于 settings.xml 文件的修改，可修改全局的，用户的或参数 --settings 指定的。 Read More

  • 如何调试 ECR Docker 镜像

    calendar Sep 4, 2021   ---   · 2 min read · Docker ECR 容器  ·
    Share on: linkedin copy
    如何调试 ECR Docker 镜像

    常常因为在 AWS 上部署的 ECS 或 EKS 服务，甚至是使用了 ECR 镜像的 Lambda 服务这样或那样的原因无法启动，或其他莫名的异常，这时候最好能直接调试 ECR 上的 Docker 镜像，比调试用于打包 Docker 的源代码更接近真实环境。

    要调试 Docker 镜像需要先从 ECR 中下载到 AWS 服务用的镜像，下面以运行 Java 的 Docker 为例，同时用 IntelliJ IDEA 关联源代码进行远程调试。

    从 ECR 下载 Docker 镜像部分可参考 推送 Docker 镜像到 Amazon ECR 仓库, 那篇文章写作之时可能与现在略有不同。具体需直接进到 ECR 的页面，如 https://console.aws.amazon.com/ecr/repositories/private/<aws_account_id>/<ecr_name>?region=<region>，点击 View push commands 可看到用 AWS CLI 如何登陆 ECR，现在看到的在 macOS/Linux 下的命令是(假设 AWS AccountId 是 123456789, region 是 us-east-1)

    aws ecr get-login-password --region us-east-1 | docker login --username AWS --password-stdin 123456789.dkr.ecr.us-east-1.amazonaws.com

    假如 ECR 仓库名是 test-java, 那么要下载 tag 1.0.1 的命令是 Read More

  • 为 Java 注册 classpath: 协议用 URL 读取文件

    calendar Jun 17, 2021   ---   · 3 min read · protocol URLStreamHandler  ·
    Share on: linkedin copy
    为 Java 注册 classpath: 协议用 URL 读取文件
    本文为 Java 注册 classpath 协议读取文件的目的就是要让下面的代码能工作起来

    1String text = IOUtils.toString(new URL("classpath:/db.properties"), "UTF-8");
2System.out.println(text);

    假设在 classpath 下有个文件 db.properties, 比如在 Maven 项目的 src/main/resources 目录中，或是在某个 jar 包的根位置。如果我们直接执行上面的代码将会得到异常
    Exception in thread "main" java.net.MalformedURLException: unknown protocol: classpath
        at java.net.URL.<init>(URL.java:617)
        at java.net.URL.<init>(URL.java:507)
    说是不认识的 classpath 协议。

    前面代码是有实际用途的，比如说我们使用 XML 时就能支持远程协议
    1Document document = DocumentBuilderFactory.newInstance().newDocumentBuilder()
2    .parse("https://www.w3schools.com/xml/note.xml");
3System.out.println(document.getDocumentElement().getTagName());

    Read More

  • Java 10 ~ 16 一路向前冲(新特性一箩筐)

    calendar May 8, 2021   ---   · 15 min read · Java new features  ·
    Share on: linkedin copy
    Java 10 ~ 16 一路向前冲(新特性一箩筐)
    Java 一路突突突， 版本 16 在 2021-03-16 都发布了, 而我们一直碍于 Java 9 的大改还在 Java 8 上原地踏步, 以往每当有新版本 JDK 发布后都是很快就验证，立马升级。Java SE versions history) 列出了所有 Java 的历史版本的发布日期。在今天(2021-05-04) 网站 Java SE Downloads 上直接提供下载的 Java SE 版本有以下三
    1. Java SE 16.0.1
    2. Java SE 11.0.11(LTS)
    3. Java SE 8u291

    两个 LTS(长期支持) 版 8 和  11，外加一个目前最新的非  LTS 版本 16, 其他的版本都被归档到了 Java Archive. 查看一下 Java 支持的 roadmap, 几个 LTS 版本的服务支持年限
    版本本      发布日       原定支持至      延期支持至
    Java 8      2014/3       2022/3             2030/12
    Java 11     2018/9      2023/9              2026/9
    Java 17     2021/9      2026/9              2029/9
    注意到 Java 8 将比 Java 11 和将来的 Java 17 生命力还顽强，一下就觉得这么久坚守在 Java 8 的阵地上不应觉得有什么好害羞的。眼看着下一个 LTS 版本的 Java 17 就要在今年 9 月份发布了，Java 11 看来是要错过了，等准备好和 Java 8 告别时要直接跳到 Java 17 了。 Read More

  • 探索 Apache, Tomcat, SpringBoot 对请求数据的解压缩

    calendar May 4, 2021   ---   · 7 min read · http Spring Content-Encoding  ·
    Share on: linkedin copy
    通常我们都会配置 Web 服务端对响应数据进行压缩，如用 Apache 的 mod_deflate 模块，或配置 Tomcat connector 启用压缩，又或者是在 Java Web 项目中加 Web Filter 来压缩特定的响应数据。这样客户端发送 HTTP 请求时在头中声明如 Accept-Encoding: gzip，服务端就可能会对响应数据进行压缩，同时带上 Content-Encoding: gzip 响应头。

    有时候 HTTP Post 的数据太大同样会要求客户端在传输数据之前对请求数据进行压缩，本文主要关注服务端如何自动解压客户端发出的压缩数据。

    先以 Apache2 为例，以 Ubuntu 20.04 为例，用命令 apt-get install apache2 安装 Apache 2.4.41, 它自动启用了 mod_deflate 模块。mod_deflate 模块的配置文件 /etc/apache2/modes-enabled/deflate.conf 内容如下
    1<IfModule mod_deflate.c>
2    <IfModule mod_filter.c>
3        AddOutputFilterByType DEFLATE text/html text/plain text/xml text/css
4        AddOutputFilterByType DEFLATE application/x-javascript application/javascript application/ecmascript
5        AddOutputFilterByType DEFLATE application/rss+xml
6        AddOutputFilterByType DEFLATE application/xml
7    </IfModule>
8</IfModule>

    它表示只对以上特定的响应数据类型进行压缩，下面来测试下对 html 内容的压缩 Read More

  • 使用 Java 转换 Apache Avro 为 Parquet 数据格式(依赖更新)

    calendar Feb 25, 2021   ---   · 3 min read · Avro Parquet Hadoop  ·
    Share on: linkedin copy
    使用 Java 转换 Apache Avro 为 Parquet 数据格式(依赖更新)
    在上篇 使用 Java 转换 Apache Avro 为 Parquet 数据格式 实现把 Avro 数据转换为 Parquet 文件或内存字节数组，并支持 LogicalType。其中使用到了 hadoop-core 依赖，注意到它传递的依赖都非常老旧， 到官方 Maven 仓库一看才发现还不是一般的老


    长时间无人问津的项目，那一定有它的替代品。对啦，据说 hadoop-core 在 2009 年 7 月份更名为 hadoop-common 了，没找到官方说明，只看到 StackOverflow 的 Differences between Hadoop-coomon, Hadoop-core and Hadoop-client? 是这么说的。 应该是这么个说法，不然为何 hadoop-core 一直停留在  1.2.1 的版本， 而且原来 hadoop-core 中的类在 hadoop-common 中可以找到，如类 org.apache.hadoop.fs.Path。不过在 hadoop-core-1.2.1 中的 fs/s3 包不见， 这么重要的 s3 文件系统没了。 Read More

  • Mockito 3.4.0 开始可 Mock 静态方法

    calendar Feb 3, 2021   ---   · 3 min read · mockito UnitTest  ·
    Share on: linkedin copy
    Mockito 3.4.0 开始可 Mock 静态方法
    Java 单元测试最趁手的 Mock 组件当属 Mockito，虽然它最初是基于继承来实现 Mock 的，所以对私有方法，私有属性，静态方法， final 类，final 方法，构造函数无能为力。于是有时不得不引入 JMockit 或 PowerMockit 来辅助。不过现在的 Mockito 功力有所增强。

    首先是 Mockito 2.1.0 开始可以 Mock final 类和 final 方法，要在 classpath 下创建个文件 mockito-extensions/org.mockito.plugins.MockMaker, 内容为 mock-maker-inline。 之前写过一篇介绍：Mockto 也能 Mock final 类和 final 方法了，其中也探索了它的实现细节，使用到了 ByteBuddy 修改字节码。

    从 Mockito 3.4.0 通过类似的 mockto-extensions 扩展的方式，实现了对静态方法的 Mock。所有使用到的接口是 org.mockito.MockedStatic， 它当前在 Mockito 3.7.7 中还是一个试验性方法 @Incubating，能拿来用就行。 Read More

  • Mockito 的 anyString(), any(Foo.class) 等不能匹配 null 值

    calendar Jun 24, 2020   ---   · 2 min read · mockito  ·
    Share on: linkedin copy
    Mockito 的 anyString(), any(Foo.class) 等不能匹配 null 值
    使用 Mockito Mock 方法式，一直以为可以用 anyString(), any(Foo.class) 等匹配 null 值，其实不行，null 值必须显式的用 null, 或 eq(null) 来匹配。anyString(), anyInt() 等只能匹配非 null 值，查看它们的返回值实际是 "" 和 0 等, 而更为特别的是 any(Foo.class) 看到的是 null, 仍然不能匹配 null 值。进一步用 Mockito.mockingDetails(mock).printInvocations() 打印出的内容，anyString(), any(Foo.class) 都会显示为 null 值。


    说的有点罗嗦，看下面的例子, 被测试类 UserDao，sql 和 sqlArguments 由各自的 setter 方法来控制，默认它们都为 null Read More

  • Java 普通线程池与 ForkJoinPool 的效果对比

    calendar Apr 8, 2020   ---   · 2 min read · multithread  ·
    Share on: linkedin copy
    Java 普通线程池与 ForkJoinPool 的效果对比
    Java 多线程编程常用的一个接口是 ExecutorService, 其实就一个线程池的接口，一般由两种方式创建线程池，一为 Executors 的工厂方法，二则创建 ForkJoinPool 实例，当然也有直接使用 ThreadPoolExecutor 的。


    关于什么时候用 ForkJoinPool 或普通的线程池(如 Executors.newFixedThreadPool(2) 或 new ThreadPoolExecutor(...)) 不过多的述说。如果要运用到 ForkJoinTask 的话就要用 ForkJoinPool, 它是 Java7 新引入的线程池类型。

    关于 Java7 的 fork-join 框架可参考很多年前的一篇 Java 的 fork-join 框架实例备忘。ForkJoinPool 的一个典型特征是能够进行 Work stealing。它也是 Akka actor 效率高效的一个有力保证。

    本文只能某一种情形下在选择普通线程池与 ForkJoinPool 的区别，直接说吧，普通线程更容易造成死锁，而 ForkJoinPool 却能应对相同的状况。 Read More

  • 用 Java 把内存中的表格数据合并到 SQL Server 表中

    calendar Sep 26, 2019   ---   · 2 min read · merge into  ·
    Share on: linkedin copy
    用 Java 把内存中的表格数据合并到 SQL Server 表中

    承接近两年前的 用 PreparedStatement 向 SqlServer 中一次性插入多条记录，其文后用 User-Defined Type 可用下面简单的代码把 Java 本地内存中表格数据一股脑的刷入到 SQL Server 数据库表格中

    String sql = "INSERT INTO Customers SELECT * FROM ?";
    SQLServerPreparedStatement pstmt = (SQLServerPreparedStatement) conn.prepareStatement(sql);
    SQLServerDataTable dataTable = ..... // 生成好的本地表格数据
    pstmt.setStructured(1, "CustomersTableType", dataTable);
    pstmt.execute();

    上面的 dataTable 本地表格类型变量容易生成，关键是必须在正式数据库数须预先用 CREATE TYPE 创建好 CustomersTableType 这个用户自定义类型，这会受权限的约束。如果由 DBA 预先完全依照目标表来创建好这个用户自定义类型，又无法确定是否总是要操作该目标表的所有字段。

    数据库是允许我们创建临时的用户自定义类型 Read More