Pipeline de dados do twitter

• Pipeline de dados feito com spark e aws com os dados extraídos do twitter
• Dados salvos na AWS
• Dados dos principais assuntos do momento

1. No projeto vai ser montada uma pipeline de dados do twitter extraídas por um aws lambda

• um lambda ea API
• O outro sao dados de diversos lugaress

1. Em seguida os dados vao ser armazenados em um S3
2. O tratamento de dados sera com o apache spark e Glue
3. Logo apos serão armazenados em um redshift
4. E depois a montagem de um dashboard e uma nuvem de palavras

AWS Core

• S3
• Glue
• lambda
• step functions
• redshift
• Athena

Dashboard

• Print tempalte

Oque falta ?

• Incluir terraform
• Subir para AWS