使用 Python 就难免要应对到不同数据库连接的问题，Python 目前也没有 Java 使用 JDBC 瘦客户端驱动那么方便。本人在用 Python 连接 SQL Server 时经常还是会有些问题，此文只着力于如何用 Python 连接 DB2 和 Oracle 数据库。
从本文中我们将会学到
连接 DB2 数据库要简单的多，只要安装 ibm-db 库 阅读全文 >>
在使用 DB2 的 Community 版本的 Docker 镜像 ibmcom/db2 进行测试，启动 Docker 容器的命令是
$ docker run -name db2server --privileged=true -p 50000:50000 \
-e LICENSE=accept \
-e DB2INSTANCE=db2user \
-e DB2INST1_PASSWORD=password123 \
-e DBNAME=test \
ibmcom/db2
当使用多线程以及 JDBC 的 Batch Update 时，出现 "The transaction log for the database is full" 问题，一旦出现这个问题时，用数据库客户端连接后即使执行一条简单的 insert/update 语句也会报同样的错误。于是只能减少线程数和 Batch Update 时的记录来勉强过关，但性能上与其他数据库就有很大的差别了。 阅读全文 >>
在 Mac OS X 或各个 Linux 发行版都有自己的软件包管理工具，如
基于现代的远程服务器管理，还总是用 RDP(远程桌面)来连接就显得有点那个了，效率上与命令行终端连接方式也无法企及，更不消说同时管理多台服务器。所以在命令行下或 PowerShell 中的 Windows 包管理工具也应运而生，让我们也能用远程 SSH 或 PowerShell 来管理 Windows 服务器，进行安装配置 阅读全文 >>
因为平常主要是使用 EC2 的 Linux 实例，所以之前写过的一篇关于 UserData 的日志 创建 AWS EC2 实例时 userdata 的一些知识 默认就是讲的有关 Linux 实例的 UserData。本文补充上 Windows 的 EC2 实例 UserData 的基本使用，参考自 AWS 官方文档 Run commands on your Windows instance at launch。
Windows 的 UserData 被谁执行，依据所选择 AMI 的不同有以下三种方式
用了一段时间的 Python, 觉得还是有必要读一下《流畅的Python》这本书，它虽然是基于 Python 3.4 的，但 Python 自身的很多特性希望了解的更多，更深，或巩固，或扫扫死角。
对于少量属性的对象可以用 collections.namedtuple 快速构建一个类 Card = collections.namedtuple('Card', ['rank', 'suit']), 用 type(Card) 看到的就是一个 class, 第一个参数 Card 是类名，第二个参数列表里是属性名，然后用 card = Card('7', 'diamonds') 创建一个实例。PyCharm 也能正确识别出 Card 构建与使用对象时的属性 rank 和 suit.
现代从 Python 3.7 开始引入了 @dataclasses.dataclass 比 namedtuple 要方便些
@dataclasses.dataclass
class Card:
rank: str
suit: str = None
card = Card(rank='7', suit='diamonds')
或者用 pydantic 的 BaseModel 都比先前的 namedtuple 好用 阅读全文 >>
在步入到 AWS 后，设计一个典型的分布式计算任务模式是
用 ECS 的好处是可以基于 SQS 的消息数进行 AutoScaling 配置，决定 Worker 的规模; 用 Lambda 适当的用 Concurrency 数来限定 Lambda 的实例数。
而 Python 的 Celery 让这一切变得更简单，它其实就是以上设计的一个集成方案。它以配置的方式选择使用任务队列(Broker), 结果存储方式(Backend), 让任务提交与 Worker 的代码实现简单化。 阅读全文 >>
之前工作中用过 JMS 的 IBM MQSeries, 自己试玩过 ActiveMQ, 再就是 Kafka, 再到 AWS 上的 SQS 等消息队列。打算调教一下 Python 的 Celery，它首推用 RabbitMQ 作为它的消息，当然也可选择 Redis 或 AWS 的 SQS，首先感觉有必要体验一下 RabbitMQ。
RabbitMQ 是一个 AMQP(Advanced Message Queuing Protocol) 的开源实现, 相关的实现产品还有 OpenAMQ, StormMQ, Apache Qpid, Red Hat Enterprise MRG, Microsoft Azure Service Bus 等，AMQP 与 JMS 还存在一些交集。
本文不打算介绍太多的 RabbitMQ 的一些概念，主要是体验一下如何安装，怎么发送和接受消息，初次体验就不直接上 Docker 了，用 Docker 根本不知道 RabbitMQ 是个什么东西，所以用一个 Ubuntu 20.04 虚拟机来一步步安装。
先用 Vagrant 准备一个虚拟机，Vagrantfile 文件内容如下 阅读全文 >>
学习了函数实现的 Python 装饰器后，关于装饰器的内容还没完。Python 装饰器还是属于元编程的范畴，一谈到元(Meta), 元编程，往往能用简单的方式实现比较神奇的效果 -- 小渣男的非死不可除外。Python 还允许用类来实现装饰器，原理上就是能让 Python 对象函数用，见之前的一篇 Python 对象当函数使用及动态添加方法。关键就是类实现 __call__ 函数，对象就变成 callable, 与函数的装饰器实现归纳起来就是：一个 Python 类型能不能用 @ 当作装饰器来用只需看它是否是 callable。
|
1 2 3 4 5 6 7 |
class Duck: def __call__(self): print('quack') duck = Duck() print(callable(duck)) # True duck() |
而且因为有了类，带属性的装饰器也会更简单，装饰器的属性就是构造函数的参数。还是来看怎么用类重新实现前面的 my_decorator 装饰器 阅读全文 >>
关于 AWS API Gateway V1, 写过一篇笔记 Lambda + API Gateway 创建需 API Key 验证的 API。 AWS 又推出了 API Gateway V2(服务管理/理解层面), 它同样可以用来作 HTTP-PROXY 调用 REST API, WebSocket; AWS-PROXY 调用 Lambda, 还能直接调用 AWS 的其他服务，如 StepFunction, SQS 等。
但是 API Gateway V2 把 V1 中的 API Key 验证功能去掉了，这有点为了赚钱耍无赖了，先前是 API Key 验证不过时不会调用 Lambda, 现在可用 Lambda 来验证 API 调用，也就是不管 API Key 对与不对，都会去调用 Lambda 从而实现从你的帐户上扣钱的功能。
在 V1 中创建整套服务的过程基本是 Resource -> Method -> Integration -> Stage。而在 V2 中的过程是 Integration -> Route -> Stage, 把 Resource 和 Method 合而为一，比如 Route Key 写成 GET /users.
下面照旧以 Terraform 的方式来叙述使用 API Gateway V2 如何实现 HTTP 代理，调用 Lambda, 及使用 AWS 服务(以 SQS 为例)，或与 VPC 内部的服务集成。首先是一个基本的框架，含 API 本身和 Stage 阅读全文 >>
向数据库中插入 CLOB 或 BLOB 类型的数据，Oracle 总是比其他类型的数据库操作上要麻烦多了。当然，对于不大于 4K 长度的 CLOB 字符串在 JDBC 中可简单的用 PreparedStatement.setString(idx, "short string") 。如果要插入大于 4K 长度的内容，网上找来的例子许多都是分两步走
FOR UPDATE, 再更新先前插入的记录这就存在两个问题，含 CLOB/BLOB 的表必需要有主键，还有因为 FOR UPDATE 的使用我们需要开启事物，不能采用自动提交。
其实还有更简单的方法可直接插入大的 CLOB/BLOB 数据，要用到 Oracle JDBC 驱动的 setStringForClob(), CLOB.createTemporary(), 或 BLOB.createTemporary() 方法。来看下面的例子，例子中只演示 CLOB, 类似的方法可应用于 BLOB, NCLOB。
本文中所使用的 Oracle JDBC 驱动比较老，是 ojdbc:ojdbc:5。Docker 启动一个本地的 Oracle 11G 作为测试数据库
$ docker run -d -p 1521:1521 -p 8080:8080 wnameless/oracle-xe-11g-r2
默认的 SID 是 xe, 数据库用户名和密码分别是 system/oracle 阅读全文 >>