Python | 隔叶黄莺 Yanbin Blog - 软件编程实践

Celery(分布式任务队列)入门学习笔记

2022-01-17 | 阅读(673)

在步入到 AWS 后，设计一个典型的分布式计算任务模式是

提交任务的客户端把一组组待计算任务的输入编制成消息发送到 SQS 或 SNS 队列中
SQS 消息可被 ECS 或 Lambda 处理, SNS 消息还能触发 Lambda，ECS/Lambda 完成实际的计算任务
结果可以保存到 Redis, S3 或别处, 如果提交任务端想要获取计算结果，可用 ID 来追踪

用 ECS 的好处是可以基于 SQS 的消息数进行 AutoScaling 配置，决定 Worker 的规模; 用 Lambda 适当的用 Concurrency 数来限定 Lambda 的实例数。

而 Python 的 Celery 让这一切变得更简单，它其实就是以上设计的一个集成方案。它以配置的方式选择使用任务队列(Broker), 结果存储方式(Backend), 让任务提交与 Worker 的代码实现简单化。阅读全文 >>

小心 Python 函数默认参数的陷阱

2022-01-14 | 阅读(510)

Python 的函数参数支持默认值，这是本人一直喜欢的特性，Python 不支持方法重载，但默认参数可起到类似的效果，还不用写多个函数。现在支持默认参数的语言普遍的，像 C++, C#, Ruby, Groovy, PHP, Scala, JavaScript 等，Java 还不行。

但是特别要小心，Python 的函数默认值与其他的语言是不同的，直接违反了最直观的常识 -- 默认参数应该是省略就每次用同样的默认值，传的话就用传入的值。

当我在 IntelliJ IDEA 中写类似如下的代码

def foo(a, b=[]):
    b.append(1)
    return b

def foo(a, b=[]):

b.append(1)

return b

我的 SonarLint 插件就要抱怨了

说是

SonarLint: Change this default value to "None" and initialize this parameter inside the function/method
Default argument value is mutable

阅读全文 >>

学习了函数实现的 Python 装饰器后，关于装饰器的内容还没完。Python 装饰器还是属于元编程的范畴，一谈到元(Meta), 元编程，往往能用简单的方式实现比较神奇的效果 -- 小渣男的非死不可除外。Python 还允许用类来实现装饰器，原理上就是能让 Python 对象函数用，见之前的一篇 Python 对象当函数使用及动态添加方法。关键就是类实现 __call__ 函数，对象就变成 callable, 与函数的装饰器实现归纳起来就是：一个 Python 类型能不能用 @ 当作装饰器来用只需看它是否是 callable。

class Duck:
    def __call__(self):
        print('quack')
        
duck = Duck()
print(callable(duck))  # True
duck()

class Duck:

def __call__(self):

print('quack')

duck = Duck()

print(callable(duck)) # True

duck()

而且因为有了类，带属性的装饰器也会更简单，装饰器的属性就是构造函数的参数。还是来看怎么用类重新实现前面的 my_decorator 装饰器阅读全文 >>

Python 中带属性的装饰器

2022-01-01 | 阅读(328)

刚刚完成由 Python 的 Ellipsis 到 *, /, *args, **kwargs 函数参数, 又回想起在熟悉和应用 Python 的装饰器，关于带属性的装饰器一直未交代，安心不下来，Python 中带属性的装饰器用得非常普遍，如 Flask 的 @app.route('/')。

我们一看到 Python 的装饰器(Decorator) 会很直截的与 Java 的注解(Annotation) 联系起来，其实除了都用 @ 符号外是存在很大区别的。正如它们被翻译成的中文名那样，Java 的注解在一定程度上就是一个注释，只要没有注解处理器处理它们就可以被忽略，Java 要用反射来处理注解。而 Python 的装饰器更象是代理，函数一旦被装饰后，调用目标函数时是无法挣脱装饰器函数的控制的，是硬核的。阅读全文 >>

由 Python 的 Ellipsis 到 , /, args, **kwargs 函数参数

2021-12-31 | 阅读(420)

早先对 Python *args, **kwargs 参数有所了解，也知道参数列表中的 / 表示 Positional Only， * 很少见。然而在使用 FastAPI 时看到路由函数中表示默认值采用了 ... 的方式又重新激发起我对 Python 函数参数的 *, /, *args, 和 **kwargs 的兴趣。

如 FastAPI 官方文档 Request Forms and Files 中的

@app.post("/files/")
async def create_file(file: bytes = File(...), fileb: UploadFile = File(...), token: str = Form(...)):

默认值的 File(...), Form(...)，起初还以为 ... 只是真正意义上的省略号，使用时需传入适当的参数，后来发现 ... 居然是一个 Python 实实在在的内置对象。阅读全文 >>

FastAPI - 一款新型的 Python Web 框架(对比 Flask)

2021-12-20 | 阅读(1,634)

近日曾想尽办法为 Flask 实现 Swagger UI 文档功能，找到的实现方式基本上是 Flask + Flasgger, 记录在 Flask 应用集成 Swagger UI。然而不断的 Google 过程中偶然发现了一款集成了 Swagger UI 的比 Flask 还好的 Python Web 框架 -- FastAPI 。起初想要在标题中表达的意思大概是 Flask + Swagger = FastAPI, 后来发现 FastAPI 的闪亮点不仅如此，于是乎又找了些 Flask 与 FastAPI 对比的文章读一读，在文后附有链接。

本文不对 Flask 与 FastAPI 的各个方面对进行对比，本人兴趣依然还是在 FastAPI 的 Swagger UI 功能，以及与 Flask 的 Blueprint 类似的特性。如果要拿 Flask 与 FastAPI 比较的话，应该用 Flask 2.x, 因为它开始支持类似 @app.get 的装饰器，并引入了 async 路由函数。

Flask 是在 2010 年发布的，它构建于 WSGI(Python Web Server Gateway Interface) 之上的，产品环境中运行需与 uWSGI, Gunicorn 搭配，或用 mod_wsgi 模块与 Apache 集成。因发布较早，所以目前应该有较多的使用者。Flask 2.0 需要 Python 3.6+ 的支持，如果支持 async, 需 Python 3.7+

FastAPI 发布于 2018 年，构建于 ASGI(Asynchronous Server Gateway Interface) 之上，在 IO 密集型的应用中有更优越的性能。生成环境中配合 ASGI 服务器，如 Uvicorn 或 Hypercorn. FastAPI 最为亮丽的特性是集成了 Swagger UI -- 外加一个福利 ReDoc。FastAPI 需 Python 3.6+ 版本。阅读全文 >>

Python async, await 的理解与使用

2021-12-17 | 阅读(2,397)

关于 Python 中 async, await 关键字的一些知识在去年的一篇探索 Flask 对 asyncio 的支持有讲到，一直没在实际上用过它们，所以基本上也就忘干净了。随着 Flask 2 加入了 async 的特性，以及 FastAPI 从一开始支持 async, 又觉得有必要重新温习一下 Python 中如何使用 async, await 关键字了。

注：由于 Flask 支持了 async, 号称 async 化 Flask 的 Quart 项目开始变得无足轻重了。

本文主要的学习材料是在 YouTube 上的一个视频 Fear and Awaiting in Async (Screencast), 其中用 Python REPL 以 Live 的形式展示，对 async, await 关键字循序渐进的讲解。

如今不少语言都支持 async, await 关键字，如 C#, JavaScript, Kotlin, Rust 等，还有今天的主角 Python。而 Java 仍然很重视函数返回值的意义，未支持 async, 只能显式的返回 Future/CompletableFuture, 而且自己控制如何在线程池中执行。阅读全文 >>

Flask 应用集成 Swagger UI

2021-12-07 | 阅读(4,624)

成熟的 Web API 框架总有一款 API 文档与之伴随，当前最知名的莫过于支持 Open API 的 Swagger 了。Python 的 Flask 框架支持 Swagger UI 也有几条路子

Flasgger : 好像是 flask-swagger 的 fork
flask-swagger: 许久未更新了，不用考虑
flask-restful-swagger: 到目前也两年未更新了
Flask-RESTPlus 的 Swagger 特性: 真需要用到 Flask-RESTPlus 就可以用它

单纯用 Flask 构建 API 的话，细数起来也就 Flasgger 比较合适，如果甩开 Flask 而用 FastAPI 的话，就不用操心 Swagger 了，因为 FastAPI 原生的支持 Swagger。

本文中我们将体验如何使用 Flasgger, 关于使用方法，在它源码的 README.md 已经描述的很清楚了。Flasgger 提供了以下几种主要的使用方式阅读全文 >>

逐步理解 Flask 的 Blueprint(蓝本)

2021-12-06 | 阅读(825)

Python 的 Flask 框架能让我们快速的建立一个轻量级的 Web 或 REST API。对于小应用由一个 @app 装饰一撸到底就行，当项目稍具规模或要更清晰就要考虑模块化，于是来到了我们今天的话题，首先是

为什么需要 Blueprint?

比如说我们一定超级简单的 Flask 应用 main.py 的代码如下：

from flask import Flask

app = Flask(__name__)


@app.route('/', methods=['GET'])
def hello():
    return "hello world!"

from flask import Flask

app = Flask(__name__)

@app.route('/', methods=['GET'])

def hello():

return "hello world!"