Yanbin | 隔叶黄莺 Yanbin Blog

用 C++ 写一个 AWS Lambda Hello World

2024-06-08 | 阅读(49)

AWS 自 2014 年推出 Lambda 时仅支持 Node.js，而后添加了对 Python, Ruby, Java, C#, F#, PowerShell 的支持，再来到 2018 年可以自定义运行时了，比如用性能较好的 C, C++, Rust, Go 等语言。见 AWS Lambda Now Supports Custom Runtimes and Enables Sharing Common Code Between Functions.

如果使用 Python, Java 写 Lambda 时觉得还不得快，不想要明显的预热过程，也许 1000 毫秒的任务只想要 600 毫秒就能完成，内存还希望再压缩一些，那着实能在每月千百万次 Lambda 调用的情况下节省一笔可观的支出，那么可以试一试 C, C++, Rust, Go 等编译成了机器指令的语言，况且前三者没有 GC, 执行效率会更高。

本日志记录一下如何用 C++ 创建一个 AWS Lambda, 以及可如何应付 Lambda 的复用。本文主要参考自下面两处

Introducing the C++ Lambda Runtime
GitHub 项目 aws-lambda-cpp

自定义运行时可选择 X86_64 或 arm64 的 Amazon Linux 2023 或 Amazon Linux 2。部署时可选择的 runtime 相应有 provided.al2023, provided.al2, 推荐使用 provided.al2023。runtime provided 不被支持了。

C++ 代码可选择用 GCC 或 Clang 来编译，既然 AWS Lambda 实际的运行时会用到 Amazon Linux 2023，那我们就直接选择 Docker 镜像 amazonlinux:2023 作为我们的编译环境。阅读全文 >>

创建可直接用 root 用户 ssh 登陆的 Docker 镜像

2024-06-06 | 阅读(66)

有时候我们在 Mac OS X 或 Windows 平台下需要开发以 Linux 为运行时的应用，IDE 或可直接使用 Docker 容器，或 SSH 远程连接。本地命令行下操作虽然可以用 docker exec 连接正在运行的容器，但 IDE 远程连接的话 SSH 总是一种较为通用的连接方式，所以我们希望做一个能进行 SSH 连接的 Docker 容器。因为是本地运行的 Docker，我们想直接用 root 连接，以获得在容器中最大的运行权限。下面以 ubuntu:2004 基础镜像为例，看如何安装启用 ssh 服务以及允许 root 连接。

创建允许 root + 密码登陆的镜像

我们创建一个基本的 Dockerfile 文件，内容为阅读全文 >>

C 语言静态库与动态库的生成和使用

2024-05-31 | 阅读(25)

在 YouTube 上找到一个视频动态链接库静态链接库的生成和使用，它把用 GCC 生成静态库和动态库，以及如何使用他们说的很明白，有条件的可以直接看那个视频。本文就是一个观后的实操和笔记，加添了更多如何查看动态库，静态库，目标文件，执行文件的过程。

为什么要了解静态库和动态库呢？这有助于我们理解多模块的 C/C++ 代码是如何联合工作的。我们多数时候使用的 IDE, 一个 Build 帮我们做了太多的事情，反而使我们眼前一抹黑，这背后有怎么把一个个源文件编译成目标文件(*.o) 文件，或生成静态库/动态库，又如何连接静态库/动态库生成可执行文件，等等。

试验中使用的平台是 Linux, 如果没有 Linux 可通过 Docker 容器得到一个，如

$ docker run -it -v $(pwd):/work -w /work rust:1.78-buster bash

为什么使用 rust:1.78 镜像，其实也没什么特别的，因为当前在学习 Rust, 而正好该镜像中有 GCC 编译器。启动该容器后，为编辑需要，最好安装一个 vim，在容器中运行阅读全文 >>

Rust 调用 C/Rust 生成的动态库

2024-05-30 | 阅读(71)

在始终是 C/C++ 有着更优越性能的情况下，因而之前介绍过多种其他不同的语言如何加载使用 C/C++ 写的动态库，有 Go, Python, Java 和 C#。在学习 Rust 之时也有类似的需求。本文的做法是要用到第三方库 libloading，这里将参考官方的例子。

先来创建一个动态库，使用和 Go 调用 C 写的动态库完整例子(Linux版) 一文中相同的例子，add.c 代码内容如下

#include <string.h>
#include <stdio.h>
#include <stdlib.h>

char* add(char* src, int n)
{
    char str[20];
    sprintf(str, "%d", n);
    char *result = malloc(strlen(src)+strlen(str)+1);
    strcpy(result, src);
    strcat(result, str);
    return result;
}

#include <string.h>

#include <stdio.h>

#include <stdlib.h>

char* add(char* src, int n)

{

char str[20];

sprintf(str, "%d", n);

char *result = malloc(strlen(src)+strlen(str)+1);

strcpy(result, src);

strcat(result, str);

return result;

}

在 Linux 中使用如下命令编译出 libadd.so 动态库文件阅读全文 >>

Java 线程池有限大小工作队列 - 不丢弃任务的实现

2024-05-09 | 阅读(78)

我们在创建 Java 线程池，无论是用 Executors, ThreadPoolExecutor, 还是 Spring 的 ThreadPoolTaskExecutor, 如果不指定工作队列的大小的话，默认为 Integer.MAX_VALUE(2147483647), 基本不会把它爆满，但是在许多的任务要执行时大量 Runnable 对象的创建却足以把内存撑爆掉。所以才有必要使用一个有限大小的工作队列，如 5000, 再配上 RejectedExecutionHandler(DiscardOldestPolicy, DiscardPolicy, 或 CallerRunsPolicy)。前两种策略会主动放弃最旧最新的任务，一般不是我们想要的，CallerRunsPolicy 还能主动发挥任务提交者的计算能力，是一种不错的选择(只可能会发生工作队列太小且提交者执行的任务太忙时产生线程池一时的空闲。

所以总结起来我们可以有以下几种实现

直接使用 CallerRunsPolicy

在工作队列满时有效利用提交任务的线程，不让它闲着，这种实现最简单, 像下面那样声明线程池

var threadPool = new ThreadPoolExecutor(2, 5, 0L, TimeUnit.SECONDS, new LinkedBlockingQueue<>(10),
   new ThreadPoolExecutor.CallerRunsPolicy());

1 2	var threadPool = new ThreadPoolExecutor(2, 5, 0L, TimeUnit.SECONDS, new LinkedBlockingQueue<>(10), new ThreadPoolExecutor.CallerRunsPolicy());

阅读全文 >>

JDBC 设置 PostgreSQL 查询中 any(?) 的参数

2024-05-01 | 阅读(51)

这段时间都纠缠于 Java 如何操作 PostgreSQL 数据库上，千方百计的为求得更好的性能。为此我们用上了 Batch, 或用 id = any(?) 这种更 PostgreSQL 化的数组参数操作。其实它还有更多数组方面的花样可以玩，毕竟 PostgreSQL 数据库有一种广纳百川的胸怀，总有好的新特性能在 PostgreSQL 中首先体验到。

回到之前的一篇 postgres in (?,?) 和 =any(?) 用法/性能对比，其中关于如何向查询语句中 id = any(?) 占位符传入数组参数的代码是

Connection conn = datasource.getConnection();

String query = "select * from users where id = any(?)";
PreparedStatement pstmt = conn.prepareStatement(query);
Object[] params = new Object[]{1, 2, 3};
pstmt.setArray(1, conn.createArrayOf("int", params));
ResultSet rs = pstmt.executeQuery();

Connection conn = datasource.getConnection();

String query = "select * from users where id = any(?)";

PreparedStatement pstmt = conn.prepareStatement(query);

Object[] params = new Object[]{1, 2, 3};

pstmt.setArray(1, conn.createArrayOf("int", params));

ResultSet rs = pstmt.executeQuery();

在 PreparedStatement(PgPreparedStatement) 中设置数组参数的函数是用阅读全文 >>

JDBC 批量调用数据库 SQL, 函数与存储过程

2024-04-26 | 阅读(67)

继续上一篇数据库相关操作的话题，在有大量的数据操作时(如增删改，甚至调用函数或存储过程)，我们应该尽可能的采用批量化操作(先摆下结论，后面我们会看到原由)。想像一下我们要向数据库插入 10 万条记录，如果逐条插入的话，客户端与数据库之间将会有 10 万网络请求响应来回; 而假如以 1000 条记录为一个 batch, 客户端与数据库之间的网络请求响应次数将缩小到 100。业务数据的内容总量未变，但 Batch 操作除了可重用预编译的 Statement 外还, 可避免每次请求中重复的元数据，所以从 100,000 到 100 的缩减在时效上的表现是非常可观的，有时就是 60 分钟与 1 分钟的区别(在最后面测试结果显示这一差异更为恐怖)。

当然, JDBC 的批处理功能具体还要相应驱动的支持，通过数据库连接的 conn.getMetaData().supportsBatchUpdates() 可探知是否支持批量操作。

API 方面, 在 Statement 接口中定义了如下 batch 相关的操作方法

void addBatch(String sql): 将显式的 SQL 语句编入到当前 Batch 中
void clearBatch(): 清除当前 Batch 列表，以便于建立新的 Batch
int[] executeBatch(): 执行当前 Batch 列表中的语句，返回每条语句受影响行数组成的数组。0 可能表示执行语句无法确知受影响的行
long[] executeLargeBatch(): 当 Batch 中语句受影响行数可能会超过整数最大值时用这个

阅读全文 >>

PostgreSQL 函数与存储过程及调用

2024-04-10 | 阅读(131)

PostgreSQL 随着云服务的盛行，越发被广泛的应用，免费开源且有丰富的特性支持，加上性能也很不错，因而备受青睐。PostgreSQL 的函数与存储过程区别并不太大，不像某些数据库的函数与存储过程必须是无副作用或有副作用，在 PostgreSQL 的函数和存储过程中可以进行任何的 SQL 操作。简单列举下 PostgreSQL 的函数与存储过程的区别主要如下：

函数

return 或 out 参数返回值，return 可返回单个值或一系列值(return setof 或 return table), 或返回光标(cursor). 函数 return void 就和存储过程差不多了
函数因其有返回值，所以可通过 select, insert, updata 或 delete 语句来调用，如 select fn1(), delete * from test1 where fn2(c1)=0
可以用 execute 执行动态 sql, 如 execute 'delete * from ' || 't1'

存储过程

IN, OUT 或 INOUT 参数，但不直接返回值
不能用 select, insert 等语句使用
不能用 execute 执行动态 sql

接下来我们来体验一下 PostgreSQL 的函数与存储过程阅读全文 >>

Java 9 前/后使用 JAXB (包括支持 javax.* 或 jakarta.*)

2024-03-22 | 阅读(133)

使用 Java 处理 Object 与 XML 之间的转换时 JAXB(Java Architecture for XML Binding) 仍然被广泛使用。但随着 Java 9 模块化后把 JAXB 从标准 JDK 中移除后，和 Java EE 8(Jakarta EE 8) 到 Jakarta EE 9 的变迁时命名空间由 javax.* 变成了 jakarta.*，我们在使用 JAXB 时需作出相应的适配。

本文分别使用 Java 1.8, 17，通过 Maven 插件 jaxb2-maven-plugin 的 xjc (从 xsd 文件生成 Java 类), 和如何切换 jakarta.* 命名空间，由此可给我们对使用了 JAXB 的项目升级 JDK 时指明方向。从而不致于因不了解每部分组件的具体功效而在 pom.xml 中胡乱配置，比如之前对 jaxb2-maven-plugin 插件本身配置了多余的 org.glassfish.jaxb:jaxb-xjc 和 org.glassfish.jaxb:jaxb-runtime 依赖，也未能理解 jaxb2-maven-plugin 与 org.glassfish.jaxb:jaxb-runtime 之间的版本对应关系。

实验准备，创建简单的 Maven 项目，并在路径 src/main/xsd/ 下新建 Schema 文件 sample.xsd，内容为阅读全文 >>

Windows 安装使用 GCC(mingw-w64)

2024-03-11 | 阅读(329)

本人近十来年来本地用 Mac OS 开发, 服务器为 Linux, 为什么又要涉及到 Windows 的 GCC 呢？因为有个跨平台的东西用的是 C++, 需要分别编译出目标平台为 Linux 和 Windows 的二进制文件. 然而 C++ 并没有像 Rust 那样一出生就含着 Cargo 那样的工具链，完美的支持跨平台开发，构建。对于 C++ 代码不得不在 Linux 下用 GCC 编译器(Makefile), 而 Windows 下使用的 Visual Studio 的 MSBuild, 为了能统一用 Makefile 文件 + GCC 的方式编译 C++ 项目, 可选择 Windows 平台下也安装 GCC。

GCC 又是什么呢？它是 GNU 的编译工具集，包括对 C, C++, Objective-C, Foratran, Ada, Go 和 D 等一众语言的支持，和它类似的工具集有 LLVM。GCC 支持多操作系统平台，怎么找到它的各种二进制安装包呢？我们循着官网去找, 打开 GCC 首页 https://gcc.gnu.org/，从页面的右边栏可找到阅读全文 >>

天天下载 on 用 C++ 写一个 AWS Lambda Hello World感谢分享！！！！！！！！
Yanbin on Java 线程池有限大小工作队列 - 不丢弃任务的实现没明白你想要实现什么
bbbush on Java 线程池有限大小工作队列 - 不丢弃任务的实现can the submitter thread refresh outstanding SQS messages, rather than...
ddd on postgres in (?,?) 和 =any(?) 用法/性能对比好文章
Perry Conn on Java 9 前/后使用 JAXB (包括支持 javax.* 或 jakarta.*)Your writing has a way of making even the most complex topics accessib...