Author: Yanbin

使用原生的 Windows Docker 容器

2022-02-25 | 阅读(3,666)

一谈到 Docker 容器，按照以往的惯性思维，那就是 Linux 容器(LXC)，和 Windows 没多大关系，顶多也就是在 Windows 的 Linux 虚拟机中跑 Docker 容器。

不过自从 Windows Server 2016 开始，出现了 Windows 原生的 Docker 容器，它再也不只是 Linux 下的专利了。Docker 容器中可以运行 Windows 系统了, 每个 Windows 容器共享宿主机的 Windows 内核(--isolation=process,)，或使用一个高度优化虚拟机中的 Windows 内核(--isolation=hyperv)。

我们说自 Windows Server 2016 开始，包括现在的 Windows Server 2019, Windows Server 2022, 还有桌面系统的 Windows 10 和  11 上 借助于 Docker Desktop 也能跑 Windows 容器。

原本在 Windows 桌面版上安装 Docker Desktop 就能用来运行 Linux 容器，由此可知在 Windows 桌面版上(如 Windows 7, 10, 11) 可运行两种类型的容器

  1. Linux 容器: 每个容器运行的是 Linux 实例，用 cgcroups 命名空间隔离资源。默认的，使用 Docker Desktop 的 LinuxEngine
  2. Windows 容器：容器中运行的是 Windows 实例，进程隔离模式是容器共享主 机的 Windows 内核，Hyper-V 隔离模式是容器使用高度优化虚拟机的内核。需启用 Windows 的 Hyper-V 特性，并切换 Docker Desktop 使用 WindowsEngine

阅读全文 >>

Python 连接和操作 DB2 和 Oracle 数据库

2022-02-22 | 阅读(828)

使用 Python 就难免要应对到不同数据库连接的问题，Python 目前也没有 Java 使用 JDBC 瘦客户端驱动那么方便。本人在用 Python 连接 SQL Server 时经常还是会有些问题，此文只着力于如何用 Python 连接 DB2 和 Oracle 数据库。

从本文中我们将会学到

  1. Python 围绕着 ibm_db 来操作 DB2
  2. 以 Python DB-API 2.0 规范来操作 DB2
  3. cx_Oracle Python 库 + Oracle Instant Client 操作 Oracle
  4. 用 Oracle 的  SID 还是 Service Name 来连接数据库
  5. Python 中借助 JayDeBeApi 使用 JDBC 驱动来操作数据库(以 Oracle 为例)
  6. 从 JayDeBeApi 中我们了解到 JPype 有助于我们在 Python 中调用 Java 

Python 操作 DB2

连接 DB2 数据库要简单的多，只要安装 ibm-db 库 阅读全文 >>

DB2 "The transaction log for the database is full" 问题的解决

2022-02-16 | 阅读(718)

在使用 DB2 的 Community 版本的 Docker 镜像 ibmcom/db2 进行测试，启动 Docker 容器的命令是

$ docker run -name db2server --privileged=true -p 50000:50000 \
    -e LICENSE=accept \
    -e DB2INSTANCE=db2user \
    -e DB2INST1_PASSWORD=password123 \
    -e DBNAME=test \
    ibmcom/db2

当使用多线程以及 JDBC 的 Batch Update 时，出现 "The transaction log for the database is full" 问题，一旦出现这个问题时，用数据库客户端连接后即使执行一条简单的 insert/update 语句也会报同样的错误。于是只能减少线程数和 Batch Update 时的记录来勉强过关，但性能上与其他数据库就有很大的差别了。 阅读全文 >>

Windows 下的软件包管理(Chocolatey)

2022-02-14 | 阅读(325)

在 Mac OS X 或各个 Linux 发行版都有自己的软件包管理工具，如

  1. Mac OS X: brew,  MacPorts 已鲜有人使用了
  2. Debian 系列: apt, 或 apt-get, 还有用 snap 的
  3. RedHat 系列: yum, 或 dnf
  4. Arch 系: pacman
  5. SUSE 系: YaST 或  Zypper
  6. Alpine 系: apk, 如 apk add openssh

基于现代的远程服务器管理，还总是用 RDP(远程桌面)来连接就显得有点那个了，效率上与命令行终端连接方式也无法企及，更不消说同时管理多台服务器。所以在命令行下或 PowerShell 中的 Windows  包管理工具也应运而生，让我们也能用远程 SSH 或 PowerShell 来管理 Windows 服务器，进行安装配置 阅读全文 >>

AWS Windows EC2 实例的 userdata 应用笔记

2022-02-14 | 阅读(568)

因为平常主要是使用 EC2 的 Linux 实例，所以之前写过的一篇关于 UserData 的日志 创建 AWS EC2 实例时 userdata 的一些知识 默认就是讲的有关 Linux 实例的 UserData。本文补充上 Windows 的 EC2 实例 UserData 的基本使用，参考自 AWS 官方文档 Run commands on your Windows instance at launch。

Windows 的 UserData 被谁执行，依据所选择 AMI 的不同有以下三种方式

  1. EC2Launch v2: 最新方式，只是被当前预览版的 AMI 所支持，它支持 YAML 配置的脚本
  2. EC2Launch: 当前方式，Windows Server 2016 及更新版
  3. EC2Cofnig: 旧有方式， Windows Sever 2012 R2 及旧版本

阅读全文 >>

流畅的 Python 读书笔记(四)

2022-02-08 | 阅读(209)

Python 的函数是一等对象

因为它符合编程语言理论家对 "一等对象 -- first-class object" 的定义

  1. 运行时创建
  2. 可赋值给变量或数据结构的属性
  3. 能作为函数参数
  4. 能被函数返回 

依据这种定义，还有我们最为熟悉的 JavaScript 的函数也是一等对象，Java 的函数都是依附于类或对象存在的，不是一等对象。

Python 的文档字符串(docstring) 是放在模块，函数，类中的第一个纯字符串。可用单个引号(单引号或双引)，通常因为有大段的文字会用三引号的字符串，比如

def foo():
    '''doing nathing'''
    pass

代码中用 foo.__doc__ 能查看到到 docstring，或用 help(foo), doc(foo) 都能输出包含 docstring 的信息 阅读全文 >>

流畅的 Python 读书笔记(三)

2022-02-04 | 阅读(223)

书中的数据结构还差文本和字节序列那一章未阅读完。Python 的 str 是 unicode 类型，编码在应用方面基本上就是 .decode(), .encode() 方法的调用，默认编解码时用 UTF-8 就行，差不多就不用太深入了。

Python 的 bytes 和 bytearray 中的元素都是介于 0 ~ 255(含) 之间的整数，即一个字节，bytes 的切片是 bytes, bytearray 的切片还是 bytearray。bytes 和 bytearray 的输出(__repl__) 

  1. 可打印的 ASCII 码以 ASCII 字符贵
  2. 特殊字转义，如 \r, \n, \r, 和 \\
  3. 其他字符以十六进制转义输出，如 \xc3

像 endswith, replace, strip, translate, upper 等函数可以直接用来处理 bytes,如 阅读全文 >>

JDBC 连接串中指定当前 schema(含 Oracle, DB2, PostgreSQL 和 SQLServer)

2022-02-03 | 阅读(6,837)

现在流行数据都有 Schema 的概念，一般作为数据库对象(表，函数，存储过程等)的命名空间。所以在数据库端往往存在 实例/数据库/Schema 这样层级划分。对于 DB2 和 Oracle 用客户端创建一个新的数据库并非易事，灵活的在数据库中较轻量的划分隔离空间的办法因数据库类型而异

  1. MySQL:  创建数据库(create database), create schema 是 create database 的别名
  2. PostgreSQL: create database 创建新的数据库，或在当前数据库下用 create schema 创建 schema
  3. SQLServer: 和 PostgreSQL 一样的自由，create database 创建新的数据库，或在当前数据库下用 create schema 创建 schema
  4. DB2： 用 create schema 创建新的 schema, 或创建数据库对象时直接加上前缀，create table abc.test1..., 没有 abc schema 则会自动创建
  5. Oracle: create schema 较麻烦，涉及到 authorization. 但可以通过 create user 创建新用户后就有了对应的新 schema

下面我们来了解下在 PostgreSQL/SQLServer 中创建新的 schema，如何在 JDBC 连接字串中指定默认 schema, 同时也涉及到 database/schema/user 的创建以及在 SQL 中如何切换。 阅读全文 >>

流畅的 Python 读书笔记(二)

2022-01-27 | 阅读(337)

继续啃这本略微有些旧的书，《Fluent Python》第二版出版在即，预计今年四月份，它将会讲解到更新版本 Python 的特性，书中有提到 Python 3.10。第一版读下来也不会是浪费时间的。

还是数据结构，现在来到字典，dict 是 Python 语言的基石，在它内部也被广泛应用，比如 type(globals()) 是个  dict, globals() 的内容有我们能调用的全局函数。如果在编程中不想创建新对象的话，dict 几乎能表述需要的数据结构。

dict 就是一个 hash 表，它是 collections.abc 下 Mapping 和 MutableMapping 的子类。和其他语言中的字典一样，dict 的 key 必须实现了 __hash__() 和 __qe__() 方法，否则不能作为 key，比如 list 是不能作 key 的。两个key 的 hash() 相等的话，那么  key1 == key2, 反之不一定。所以当 __eq__ 依赖于可变状态就不要去实现 __hash__ 方法. 阅读全文 >>

配置 AWS Lambda Python Logging

2022-01-25 | 阅读(541)

通常在 Python 应用中简单的配置使用内置的 logging 是这样的

假如文件名为 test.py, 用 python test.py 执行后输出

2022-01-25 21:02:47,231 - INFO - test(<module>:6) - hello world

在 Lambda 中的现象

可是这同样的代码放到 AWS Lambda Python 代码中却不灵验了，logging.info() 将得不到任何输出。 阅读全文 >>