help('modules')    # 或
help('modules package')

在用 Python 编写 AWS 服务时，要用到 Boto 3 组件，而像 boto3.client('s3') 获得的对象只能被 IDE 识别为一个 BaseClient, 具体包含什么操作方法是在运行时由参数 s3 指示的基于 JSON 文件所描述的。因此 IDE 对 s3 = boto3.client('s3') 的 s3 对象无法提供有效的智能提示，每次用 Boto 3 时不得不打开 Boto 3 的在线 API 文档来对照。长此以往，总觉麻烦且效率低下，有种一直摸着石头过河的感觉。那么，是否有办法让 IDE 智能提示出各种 boto3.client('<service>') 的实际操作呢？网上找了找，确实有这个需求，解决办法有

1. botostubs: 与 boto3 API 保持更新(每三天)，并支持众多 IDE, 试过在 IntelliJ IDEA 和 Visual Studio Code 中可用
2. pyboto3: 上次更新在两年前, https://github.com/wavycloud/pyboto3, 只在 Python 2.7 下测试过
3. autoboto: 需有智能提示，但改变了应用 Boto 3 组件的方式，不建议使用

本文重点推荐 botostubs, 下面会叙说具体理由，在进入正是之前，不妨来回顾一下直接使用 Boto 3 时没有好的智能提示的问题 Read More

Java 中有关抽象的可遍历的对象有 Iterator, Iterable 和 Java 8 的 Stream, Iterable 可简单的用如下代码转换为 Stream

StreamSupport.stream(iterable.spliterator(), false)

再回过头来，为什么要把 Iterator 或 Iterable 转换为 Stream, 因为 Iterator 和 Iterable 只提供有限的遍历操作，如 Iterator 接口的全部四个方法

hasNext()
next()
forEachRemaining(consumer)
remove()

同样 Iterable 也只有 iterator(), forEach(consumer), 和 spliterator() 方法。而 Java 8 的 Stream 就大不一样的，带有大量的链式操作方法，如 filter, map, flatMap, collect 等。

因此如果我们已有一个 Iterator 类型，能够被转换为 Stream 类型的话将会大大简化后续的转换，处理操作。具体的从 Iterator 到 Stream 的转换方式有两种 Read More

继续阅读 《Python Tricks: The Book》，书中说到 "Objects Can Behave Like Functions", 就是把对象当成函数来调用，在普通对象后加个括号就能调用相应的 __call__ 函数。下面是书中的例子

class Adder:
    def __init__(self, n):
        self.n = n

    def __call__(self, x):
        return self.n + x

然后是应用类 Adder 的代码

plus_3 = Adder(3)
plus_3(4)  # 普通对象 plus_3 当成函数来用

上面 plus_3 是一个普能的对象，并非一个函数，但如果把它当成函数来看待，那么 plus_3(4) 就会去寻找相应的 __call__ 函数。 Read More

目前我们在 AWS 上把密钥，API Key  等信息是存储在  AWS Systems Manager 的 Parameter Store 中，它只提供了用 KMS Key 加密存储字符串的功能，最大字符串大小是 4096 个字符，它是免费的。

最近发现 AWS 上有一个新的服务 AWS Secrets Manager(2018 年 4 月发布的)，听起来用它来存储密钥信息更高大上些。它同样提供了用 KMS Key 加密存储字符串的功能，字符串最大也是 4096 个字符。从 AWS Web 控制台上看可配置用 Key/Value 的形式，其实本质也是存储为一个 JSON 字符串。

Secrets Manager 与 Parameter Store 更多的功能是能与 RDS 集成 -- 选择数据库收集数据库的配置信息(主机名，端口，实例等), 还有就是可配置定期更新密钥，这对一个安全的系统定期改密码很重要。对于定期更新密钥的未作深入研究，AWS Secrets Manager 本身知道如何轮换 RDS 数据库的密钥，其他的需要一个 Lambda 来支持。 Read More

Web 程序我还是喜欢用 Apache 来作为入口，因为我用的系统是 Mac OS, Apache 它就静静的躺上那儿了。最好是都像 PHP 那样的程序，无需启动额外的服务，这种使用方式的缺陷是不太适合于做微服务。

这儿呢，我也是来探索如何在 Apache 中运行 Python 的 CGI 程序，这主要是涉及了 Apache 与 Python 的集成。集成方式有直接集成(mod_python)，CGI，FastCGI, WSGI 和 uWSGI。本文主要是讲如何运行一个简单的 Python CGI。

直接集成(mod_python)

虽然由于多方面的安全因素，这已经成为历史了，但还是提一下。参见

1. Apache HTTP Server/mod_python(它推荐使用 mod_wsgi, 以下该节相关内容摘在本链接，没有亲自尝试)
2. mod_python 官网(最后的更新是 2013-11-13)

需要安装模块 mod_python.so，并在 httpd.conf 加上相关的配置 Read More

Amazon 在 2018 年 6 月份宣布可以设置用 SQS 来触发 Lambda，SQS 不再是单纯用于 ECS 服务中，或用于伸缩控制的。这儿就来亲自尝试一下用 SQS 驱动的 Lambda，以及要注意的要素。

首先使用 Java 编写 Lambda 的话，AWS 在 com.amazonaws:aws-lambda-java-events:2.20 版本开始加入了 com.amazonaws.services.lambda.runtime.events.SQSEvent 类，可是这个版本的 aws-lambda-java-events 是有所限的，因为 SQSEvent.SQSMessage 类是私有的，这就造成不能获取到 SQSEvent 中的记录数据。

//下面的操作代码无法编译，因为 SQSEvent.SQSMessage 是私有的，不可访问
SQSEvent.SQSMessage sqs = sqsEvent.getRecords().get(0); 
sqsEvent.getRecords().get(0).getBody();

Java 使用 SQS 来驱动 Lambda 的话，至少需要 com.amazonaws:aws-lambda-java-events:2.2.1 版本，从此 SQSEvent.SQSMessage 变成 public 了。该版本是于  2018 年 6 月传到 Maven 官方中央仓库的，这就是那时才能真正用来写 Java 的 SQS 触发的 Lambda.

同时此篇也是作为上文 AWS Lambda 重试与死信队列(DLQ) 的一个很重要的补充。在此也会验证 SQS 触发的 Lambda 的重试机制以及 DLQ 相关的内容。 Read More

AWS Lambda 允许设置 Debugging and error handling, 在 Lambda 出现异常，达到最大的重试次数后，把以下信息放到选择的 SNS 或 SQS 主题作为死信队列(DLQ - Dead Letter Queue)，包括

1. 原始 Lambda 接收到的消息(基于 SNS 和 SQS 消息的总大小，可能会被截取，本人猜测，尤其是 Kinesis 的消息会比较大)
2. 原始 Lambda 的 RequestId
3. ErrorCode（三位数字的 HTTP 错误码）
4. ErrorMessage, 即原 Lambda 抛出 Exception 的 getMessage() 信息，截取 1 KB 字符串

并且 Lambda 要使用 DLQ 的话还必须设置当前 Lambda 的 IAM role 有对于 SNS/SQS 主题相应的 sns:Publish 和 sqs:SendMessage 权限。

AWS Lambda 基本重试规则：对于 Kinesis 消息会无限重试直至消息过期，对于 SNS 或 SQS 的消息出现异常后会再重试两次。参考：AWS Lambda Retry Behavior。

而在重试次数用完后仍然失败，并且设置了 DLQ 的话就会发送消息到 DLQ 中去。 Read More

1public class OrderService {
2    private PriceInquiry priceInquiry = new PriceInquiry();
3    .........
4
5    public double totalPrice() {
6      return priceInquiry.retrieve(....);
7    }
8}

new OrderService();

1. 服务器端加密后的 S3 文件有何不同
2. 不启用 Bucket 的默认加密如何进行服务端数据加密(含 AWS CLI 和  Java 代码操作)
3. 启用及应用 Bucket 的默认加密
4. 上传与下载文件的 IAM role 需要的权限

服务器端加密后的 S3 文件有何不同

Server-side encryption
AWS-KMS KMS key ID
arn:aws:kms:us-east-1:123456789012:key/e4ce859b-786b-4b8e-8b73-4968adb6e4ed