AWS Java Lambda 与环境变量 | 隔叶黄莺 Yanbin Blog

2017-03-28 | 阅读(877)

一句话概要：对 Lambda 环境变量的任何改动都会引起一次 Lambda 的冷启动，大可放心在 handleRequest(...) 方法外使用环境变量。

从 AWS 上 Java Lambda 应用记要中，我学到了 Lambda 的实例是跨请求共享的，所以为使用 Lambda 配置的环境变量时曾写出了下面复杂而多余的 AWS Lambda 代码:

public class Handler implements RequestHandler<SNSEvent, String> {

    private int threadPoolSize = getThreadPoolSizeFromEnv();
    private ExecutorService threadPool = Executors.newFixedThreadPool(threadPoolSize);

    @Override
    public String handleRequest(SNSEvent snsEvent, Context context) {

        int configuredThreadPoolSize = getThreadPoolSizeFromEnv();
        if(configuredThreadPoolSize != threadPoolSize) {
            threadPoolSize = configuredThreadPoolSize;
            threadPool = Executors.newFixedThreadPool(threadPoolSize);
        }

        return "Hello Lambda";
    }

    private int getThreadPoolSizeFromEnv() {
        return Integer.parseInt(System.getenv().getOrDefault("threadpool_size", "50"));
    }
}

这段代码看起来很在理，既然 Lambda 实例是共享的，那么在必变环境变量之后就可能不会重新初始始化实例，所以在每次的请求方法中对比如果环境变量值改动了就重新用最新的配置值来初始化线程池。然而上面的代码结结实实是多余的，真是把 Lambda 想得太简单了，如果是很多环境变量岂不是逐一判断。

那要怎么改上面的代码呢？给出答案之前先了解一下 Lambda 什么时候会冷启动(即得到新的 Lambda 实例)，有几下几种情况

有段时间 Lambda 没被调用了会被 AWS 关掉相应的微服务，再次请求时会冷启动
重新部署了代码，当然要冷启动
任何环境变量的改动都会引起冷启动(测试用途，产品版本的环境变量是不可变的)。对环境变量有变动时，会显示出 Save and test 按钮来，相当于是一次无代码更新的重新部署，所以也会引起冷启动。

基于上面的第三点，前面的代码只需要按常规书写方式即可

public class Handler implements RequestHandler<SNSEvent, String> {

    private ExecutorService threadPool = Executors.newFixedThreadPool(
        Integer.parseInt(System.getenv().getOrDefault("threadpool_size", "50")));

    @Override
    public String handleRequest(SNSEvent snsEvent, Context context) {

        //使用线程池 threadPool
        return "Hello Lambda";
    }
}

public class Handler implements RequestHandler<SNSEvent, String> {

private ExecutorService threadPool = Executors.newFixedThreadPool(

Integer.parseInt(System.getenv().getOrDefault("threadpool_size", "50")));

@Override

public String handleRequest(SNSEvent snsEvent, Context context) {

//使用线程池 threadPool

return "Hello Lambda";

}

在每次修改环境配置后即会重新初始化 Lambda 实例以应用新的环境变量。

得到这个结果可不是 Google 搜来的，而是经过自己的试验而来。实验中有一个误导人的地方就是，当在 handleRequest(...) 方法中写上

System.out.println("Lambda instance: " + this);

只要 Lambda 部署了，再怎么重新部署或修改环境变量，上面的输出都是一样的，类似

Lambda instance com.serverless.Handler@614ddd49

根据以往的经验是 @614ddd49 不变的话就代码是同一个 Handler 实例，可对于 AWS Lambda 不是那么回事，仿佛是只要 Lambda 部署了, Handler.toString() 方法的返回值是个常量，所以我们不能以 Handler.this 的输出 Hash 值来分辨是否同一个 Lambda 实例了。

于是我们引入了一个实例变量来识别是否当前例，本次测试代码如下：

public class Handler implements RequestHandler<SNSEvent, String> {

    private int count = 0;
    private String bucket = System.getenv("bucket_name");

    public Handler() {
        System.out.println("Initialize Handler");
    }

    @Override
    public String handleRequest(SNSEvent snsEvent, Context context) {
        System.out.println("Lambda instance " + this.toString() + ", bucket: " + bucket);
        System.out.println("Running on: " + getHostname() + ", count: " + (++count));

        return context.getFunctionName();
    }

    private String getHostname() {
        try {
            return InetAddress.getLocalHost().getCanonicalHostName();
        } catch (UnknownHostException e) {
            return null;
        }
    }
}

public class Handler implements RequestHandler<SNSEvent, String> {

private int count = 0;

private String bucket = System.getenv("bucket_name");

public Handler() {

System.out.println("Initialize Handler");

}

@Override

public String handleRequest(SNSEvent snsEvent, Context context) {

System.out.println("Lambda instance " + this.toString() + ", bucket: " + bucket);

System.out.println("Running on: " + getHostname() + ", count: " + (++count));

return context.getFunctionName();

}

private String getHostname() {

try {

return InetAddress.getLocalHost().getCanonicalHostName();

} catch (UnknownHostException e) {

return null;

}

在 Lambda 的管理界面连续的点击 Test 按钮，我们可以看到 count 一直在累加，而且运行的主机不会变，执行也很快，下面是从 CloudWatch 上某一个 Log Stream 中抓下来的日志

Initialize Handler
START RequestId: ef3b6a59-1371-11e7-9891-4598f05eb0df Version: $LATEST
Lambda instance com.serverless.Handler@614ddd49, bucket: bucket_10880
Running on: ip-10-18-140-183.ec2.internal, count: 1
END RequestId: ef3b6a59-1371-11e7-9891-4598f05eb0df
REPORT RequestId: ef3b6a59-1371-11e7-9891-4598f05eb0df Duration: 61.90 ms Billed Duration: 100 ms Memory Size: 1024 MB    Max Memory Used: 44 MB
START RequestId: f1e024ac-1371-11e7-9b87-95c1c6f8d21c Version: $LATEST
Lambda instance com.serverless.Handler@614ddd49, bucket: bucket_10880
Running on: ip-10-18-140-183.ec2.internal, count: 2
END RequestId: f1e024ac-1371-11e7-9b87-95c1c6f8d21c
REPORT RequestId: f1e024ac-1371-11e7-9b87-95c1c6f8d21c Duration: 1.17 ms   Billed Duration: 100 ms Memory Size: 1024 MB    Max Memory Used: 44 MB
START RequestId: f2541c69-1371-11e7-a085-13d13aed510a Version: $LATEST
Lambda instance com.serverless.Handler@614ddd49, bucket: bucket_10880
Running on: ip-10-18-140-183.ec2.internal, count: 3
END RequestId: f2541c69-1371-11e7-a085-13d13aed510a
REPORT RequestId: f2541c69-1371-11e7-a085-13d13aed510a Duration: 0.98 ms   Billed Duration: 100 ms Memory Size: 1024 MB    Max Memory Used: 44 MB

构造函数只调用了一次，第一次是冷启动(时间较长), 同一个实例(计数在不断的累加)

现在我们在 Environment variables 配置界面修改环境变量 bucket_name 的值后点击 Save and test 按钮，再点击 Test 按钮，我们会发现日志输出到了一个新的 Log Stream 上去了

Initialize Handler
START RequestId: c9501e6b-1372-11e7-b753-47a8db4486ee Version: $LATEST
Lambda instance com.serverless.Handler@614ddd49, bucket: test_bucket_11
Running on: ip-10-34-15-169.ec2.internal, count: 1
END RequestId: c9501e6b-1372-11e7-b753-47a8db4486ee
REPORT RequestId: c9501e6b-1372-11e7-b753-47a8db4486ee Duration: 47.17 ms Billed Duration: 100 ms Memory Size: 1024 MB    Max Memory Used: 64 MB
START RequestId: cc6a091c-1372-11e7-8c38-fb47cf5f9672 Version: $LATEST
Lambda instance com.serverless.Handler@614ddd49, bucket: test_bucket_11
Running on: ip-10-34-15-169.ec2.internal, count: 2
END RequestId: cc6a091c-1372-11e7-8c38-fb47cf5f9672
REPORT RequestId: cc6a091c-1372-11e7-8c38-fb47cf5f9672 Duration: 2.77 ms   Billed Duration: 100 ms Memory Size: 1024 MB    Max Memory Used: 64 MB
START RequestId: cd243120-1372-11e7-9d5d-bb808f11a3d8 Version: $LATEST
Lambda instance com.serverless.Handler@614ddd49, bucket: test_bucket_11
Running on: ip-10-34-15-169.ec2.internal, count: 3
END RequestId: cd243120-1372-11e7-9d5d-bb808f11a3d8
REPORT RequestId: cd243120-1372-11e7-9d5d-bb808f11a3d8 Duration: 13.98 ms Billed Duration: 100 ms Memory Size: 1024 MB    Max Memory Used: 64 MB

CloudWatch 的每个 Log Stream 也是对就于一个 Lambda 实例, 从上面也看到了修改环境变量后调用了 Handler 的构造函数，运行主机也变了(也可能不变)，计数器被复位了，同样的第一次是冷启动，慢。

从上面两个输出结果的对比，在 handleRequest(...) 中的 this 总是输出为

com.serverless.Handler@614ddd49

其实它们是两个不同的 Lambda 实例。相对于 Handler.this.toString() 的值, context.getLogStreamName() 能更准确的标示出 Lambda 的实例来，输出是

2017/03/28/[$LATEST]94f1d47fbbc84f9aa3d54eb176d3a168

不仅是对用到的 bucket_name 的修改会引起 Lambda 的冷启动，而是任何环境变量的变动都会引起同样的效果。注意到一有环境变量的改动，那个 Save and test 就会蹦出来，我们应该这样思考: 只要是需要 Save 的情况就代表是 Lambda 有变，接下来需要一个冷启动。

本文链接 https://yanbin.blog/aws-java-lambda-environment-variable/, 来自隔叶黄莺 Yanbin Blog

ddd on postgres in (?,?) 和 =any(?) 用法/性能对比好文章
Perry Conn on Java 9 前/后使用 JAXB (包括支持 javax.* 或 jakarta.*)Your writing has a way of making even the most complex topics accessib...
Yanbin on Windows 安装使用 GCC(mingw-w64)是的，像 Rust 和 dotnet core 一样，都可以支持 Cross compile. Rust 和 g++ 在 Linux 下编译...
MerrickZ on Windows 安装使用 GCC(mingw-w64)我记得G++/GCC都是支持交叉编译的，你可以在linux/macos下面编译出windows平台的二进制PE文件……
Jack on 从 Rust 官方文档理解 Ownership哈哈，年纪大了才会下垂