大家好！本文将指导您构建一个利用openweathermap api和aws服务进行天气数据分析的完整数据管道。该项目涵盖数据获取、s3存储、aws glue数据编目以及amazon athena查询等步骤，实现可扩展高效的天气数据处理。
项目概述
本项目旨在创建一个可扩展、高效的数据管道，用于收集多个城市的天气数据，将其存储在AWS S3中，并利用AWS Glue进行数据编目，最终通过Amazon Athena执行查询分析。
架构设计
系统架构
项目结构
先决条件
开始之前，请确保您已安装以下软件和配置好相关账户：
- Docker: 已安装在您的本地机器上。
- AWS账户: 具备创建S3存储桶、Glue数据库和Glue爬虫的权限。
- OpenWeatherMap API密钥: 从OpenWeatherMap网站获取您的API密钥。
配置步骤
步骤1：克隆代码仓库
首先，克隆代码仓库并进入项目目录：
git clone https://github.com/rene-mayhrem/weather-insights.git cd weather-data-analytics
步骤2：创建.env文件
在项目根目录下创建一个名为.env的文件，并填写您的AWS凭证和OpenWeatherMap API密钥：
AWS_ACCESS_KEY_ID=<您的AWS访问密钥ID> AWS_SECRET_ACCESS_KEY=<您的AWS密钥> AWS_REGION=us-east-1 S3_BUCKET_NAME=<您的S3存储桶名称> OPENWEATHER_API_KEY=<您的OpenWeatherMap API密钥>
步骤3：创建city.json文件
在项目根目录下创建一个名为city.json的文件，其中包含您需要分析的城市列表：
{
"cities": [
"london",
"new york",
"tokyo",
"paris",
"berlin"
]
}
步骤4：使用Docker Compose运行
使用Docker Compose构建并运行服务：
docker compose run terraform init docker compose run python
使用方法
Docker容器运行后，请按照以下步骤进行验证和操作：
验证基础设施
确认Terraform已成功创建必要的AWS资源（S3存储桶、Glue数据库和Glue爬虫）。您可以在AWS管理控制台中进行验证。
验证数据上传
检查Python脚本是否已成功获取指定城市的天气数据并将其上传到S3存储桶。通过AWS管理控制台检查S3存储桶中的JSON文件。
运行Glue爬虫
如果配置正确，Glue爬虫应该会自动运行，对S3存储桶中的数据进行编目。在Glue控制台中验证爬虫的运行状态和数据编目结果。
使用Athena查询数据
使用Amazon Athena查询Glue编目的数据。通过AWS管理控制台访问Athena并运行SQL查询。
核心组件
- Docker: 提供一致的环境来运行脚本和基础设施代码（Python和Terraform）。
- Terraform: 配置和管理AWS资源（S3、AWS Glue、AWS Athena等）。
- Python: 获取天气数据，创建JSON文件并将其上传到Terraform创建的S3存储桶。
- Glue: 扫描S3数据，进行数据编目并创建数据模式。
- Athena: 查询数据并进行分析。
总结
通过以上步骤，您可以利用AWS服务和OpenWeatherMap API构建一个强大的天气数据分析管道。该管道可以根据需要扩展，以支持更多城市或其他数据源。
