理解 AWS Lambda 运行时环境
在 aws lambda 中开发 python 函数时，一个常见的问题是本地开发环境中安装的库版本与 lambda 运行时环境中预装的库版本可能存在差异。例如，如果本地使用了 urllib3 的较新版本（如 2.x），其中 httpresponse 对象可能包含 json() 方法，但在 lambda 的 python 3.12 运行时中，可能预装的是 urllib3 的旧版本（如 1.26.x），该版本不提供 json() 方法，从而导致 attributeerror。为了避免这种情况，并充分利用 lambda 预装的库，了解其具体版本至关重要。
AWS Lambda 运行时通常会预装一些常用的库，例如 boto3、botocore、urllib3 等。这些库的版本会随着 Lambda 运行时的更新而变化，但不会总是与最新版本同步。因此，开发者需要一种可靠的方式来查询当前运行时的具体配置。
动态查询 Lambda 预装模块及版本
为了解决上述问题，我们可以利用 Python 标准库中的 importlib.metadata 模块。这个模块提供了一种查询已安装包元数据（包括版本信息）的机制。通过在 Lambda 函数内部执行此查询，我们可以获取到当前运行时环境中所有可用的 Python 模块及其对应的版本号。
以下是一个简单的 AWS Lambda Python 函数示例，用于实现这一功能：
import json
from importlib.metadata import packages_distributions, version
def lambda_handler(event, context):
"""
Lambda 处理函数，用于查询当前运行时中所有预装的 Python 模块及其版本。
"""
installed_modules = []
# packages_distributions() 返回一个字典，键是包名，值是该包包含的模块列表。
# 我们遍历所有模块，并使用 version() 函数获取其版本。
for pkg_name, modules in packages_distributions().items():
for module_name in modules:
try:
# 尝试获取模块的版本
mod_version = version(module_name)
installed_modules.append({"name": module_name, "version": mod_version})
except Exception as e:
# 某些情况下，packages_distributions 列出的可能不是直接可查询版本的包，
# 或者存在其他异常，这里捕获并跳过。
print(f"无法获取模块 {module_name} 的版本: {e}")
# 移除重复项，因为 packages_distributions 可能会列出多个模块对应同一个包
# 更好的做法是直接查询包名，但这里为了演示，先去重。
unique_modules = {}
for mod in installed_modules:
unique_modules[mod["name"]] = mod["version"]
final_list = [{"name": name, "version": ver} for name, ver in unique_modules.items()]
return {
'statusCode': 200,
'body': json.dumps(final_list, indent=2) # 使用 json.dumps 格式化输出
}
代码解析：
立即学习“Python免费学习笔记（深入）”；
- import json: 用于将结果格式化为 JSON 字符串输出。
-
from importlib.metadata import packages_distributions, version: 导入核心模块和函数。
- packages_distributions(): 返回一个字典，其中键是分发包的名称（例如 pip、boto3），值是该分发包包含的模块列表（例如 ['pip']、['boto3', 'botocore']）。
- version(module_name): 接收一个模块名作为参数，返回该模块的安装版本字符串。
- 循环遍历并收集信息: 代码遍历 packages_distributions() 返回的字典，对每个模块尝试获取其版本，并将其作为字典 ({"name": "...", "version": "..."}) 添加到 installed_modules 列表中。
- 去重处理: 由于 packages_distributions 可能会返回同一个包下的多个模块，或者同一个包名被列出多次，这里通过 unique_modules 字典进行简单的去重，确保每个模块只出现一次。
- 返回结果: 函数最终返回一个包含状态码和 JSON 格式的模块列表的字典。
示例输出
将上述 Lambda 函数部署到 AWS Lambda 的 Python 3.12 运行时并执行后，你将获得一个 JSON 格式的响应，其中列出了该运行时中所有预装的 Python 模块及其版本。以下是一个精简的示例输出片段：
{
"statusCode": 200,
"body": [
{
"name": "pip",
"version": "23.2.1"
},
{
"name": "simplejson",
"version": "3.17.2"
},
{
"name": "awslambdaric",
"version": "2.0.10"
},
{
"name": "botocore",
"version": "1.34.42"
},
{
"name": "boto3",
"version": "1.34.42"
},
{
"name": "s3transfer",
"version": "0.10.0"
},
{
"name": "jmespath",
"version": "1.0.1"
},
{
"name": "python-dateutil",
"version": "2.8.2"
},
{
"name": "six",
"version": "1.16.0"
},
{
"name": "urllib3",
"version": "1.26.18"
}
]
}从这个输出中，我们可以清晰地看到 urllib3 的版本是 1.26.18。这个版本确实不包含 HTTPResponse.json() 方法（该方法通常在 urllib3 2.x 或更高版本中引入），这解释了原始问题中遇到的 AttributeError。
注意事项与最佳实践
- 版本差异: 不同的 AWS Lambda Python 运行时（例如 Python 3.8、3.9、3.10、3.11、3.12）预装的模块集合及其版本都会有所不同。因此，每次切换运行时版本时，都应重新检查。
-
兼容性: 当你发现本地代码依赖的模块版本高于 Lambda 运行时预装的版本时，你有两种选择：
- 调整代码: 修改代码以兼容 Lambda 运行时中的旧版本库（例如，将 response.json() 改为 json.loads(response.data)）。
-
打包依赖: 将你需要的特定版本库作为 Lambda 部署包的一部分上传。这通常通过 pip install -t .
命令实现，然后将所有依赖文件与你的代码一起打包。
- 避免不必要的打包: 优先使用 Lambda 运行时中已有的库，可以减小部署包大小，加快冷启动时间。只有当预装库的版本不满足需求时，才考虑打包自定义依赖。
- 定期检查: AWS 会不定期更新 Lambda 运行时环境，包括预装库的版本。建议在关键部署前或遇到运行时问题时，使用此方法进行快速检查。
- importlib.metadata 的可用性: importlib.metadata 模块在 Python 3.8 及更高版本中是标准库的一部分。对于更早的 Python 版本，可能需要安装 importlib_metadata 兼容包。不过，AWS Lambda 目前支持的 Python 运行时版本均已高于 3.8，因此可以直接使用。
总结
了解 AWS Lambda Python 运行时中预装模块的具体版本对于确保代码兼容性和优化部署至关重要。通过利用 importlib.metadata 模块，我们可以轻松地在 Lambda 函数内部动态查询这些信息，从而避免因版本不匹配导致的运行时错误。这种方法提供了一种直接、高效且无需额外工具的解决方案，帮助开发者更好地管理其 Lambda 应用程序的依赖。
