[Manutenção] Novo raspador para Coruripe-AL

[LucasAlvws]

AO ABRIR uma Pull Request de um novo raspador (spider), marque com um X cada um dos items da checklist abaixo. Caso algum item não seja marcado, JUSTIFIQUE o motivo.

Layout do site publicador de diários oficiais

Marque apenas um dos itens a seguir:

• O layout não se parece com nenhum caso da lista de layouts padrão
• É um layout padrão e esta PR adiciona a spider base do padrão ao projeto junto com alguns municípios que fazem parte do padrão.
• É um layout padrão e todos os municípios adicionados usam a classe de spider base adequada para o padrão.

Código da(s) spider(s)

• O(s) raspador(es) adicionado(s) tem os atributos de classe exigidos.
• O(s) raspador(es) adicionado(s) cria(m) objetos do tipo Gazette coletando todos os metadados necessários.
• O atributo de classe start_date foi preenchido com a data da edição de diário oficial mais antiga disponível no site.
• Explicitar o atributo de classe end_date não se fez necessário.
• Não utilizo custom_settings em meu raspador.

Testes

• Uma coleta-teste da última edição foi feita. O arquivo de .log deste teste está anexado na PR.
• Uma coleta-teste por intervalo arbitrário foi feita. Os arquivos de .loge .csv deste teste estão anexados na PR.
• Uma coleta-teste completa foi feita. Os arquivos de .log e .csv deste teste estão anexados na PR.

Verificações

• Eu experimentei abrir alguns arquivos de diários oficiais coletados pelo meu raspador e verifiquei eles conforme a documentação não encontrando problemas.
• Eu verifiquei os arquivos .csv gerados pela minha coleta conforme a documentação não encontrando problemas.
• Eu verifiquei os arquivos de .log gerados pela minha coleta conforme a documentação não encontrando problemas.

Descrição

Closes #1238

[LucasAlvws]

Uma coleta-teste por intervalo arbitrário
al_coruripe_outubro2024.csv
log_al_coruripe_outubro2024.log

[LucasAlvws]

Uma coleta-teste da última edição
log_al_coruripe_last_edition.log
al_coruripe_last_edition.csv

[LucasAlvws]

Rodei a consulta completa e houve alguns erros, mas não consegui entender exatamente o que são. Precisaria de uma ajuda para saber se posso resolve-los.
al_coruripe.csv
log_al_coruripe.log

[trevineju]

Boa, Lucas

Rodei a consulta completa e houve alguns erros, mas não consegui entender exatamente o que são. Precisaria de uma ajuda para saber se posso resolve-los.

Conferiu essa seção da documentação? https://docs.queridodiario.ok.org.br/pt-br/latest/contribuindo/raspadores.html#explorando-o-log

[LucasAlvws]

Olá, após verificar a documetação e fiz mais alguns testes e modificações, mas não consigo fazer o download dessas duas edições
2024-11-03 22:26:48 [scrapy.downloadermiddlewares.retry] ERROR: Gave up retrying <GET https://diario.coruripe.al.gov.br/diarios/732/download> (failed 3 times): 500 Internal Server Error
2024-11-03 22:26:48 [scrapy.core.engine] DEBUG: Crawled (500) <GET https://diario.coruripe.al.gov.br/diarios/732/download> (referer: None)
2024-11-03 22:26:48 [scrapy.pipelines.files] WARNING: File (code: 500): Error downloading file from <GET https://diario.coruripe.al.gov.br/diarios/732/download> referred in
2024-11-03 22:26:48 [scrapy.core.scraper] WARNING: Dropped: Validation failed!
{'_validation': defaultdict(<class 'list'>, {'files': ['Field too short']}),
'date': '2024-07-04',
'edition_number': '727',
'file_urls': ['https://diario.coruripe.al.gov.br/diarios/732/download'],
'files': [],
'is_extra_edition': False,
'power': 'executive',
'scraped_at': '2024-11-04T01:22:19.541734Z',
'territory_id': ''}

2024-11-03 22:35:46 [scrapy.downloadermiddlewares.retry] ERROR: Gave up retrying <GET https://diario.coruripe.al.gov.br/diarios/128/download> (failed 3 times): 500 Internal Server Error
2024-11-03 22:35:46 [scrapy.core.engine] DEBUG: Crawled (500) <GET https://diario.coruripe.al.gov.br/diarios/128/download> (referer: None)
2024-11-03 22:35:46 [scrapy.pipelines.files] WARNING: File (code: 500): Error downloading file from <GET https://diario.coruripe.al.gov.br/diarios/128/download> referred in
2024-11-03 22:35:46 [scrapy.core.scraper] WARNING: Dropped: Validation failed!
{'_validation': defaultdict(<class 'list'>, {'files': ['Field too short']}),
'date': '2022-05-02',
'edition_number': '124',
'file_urls': ['https://diario.coruripe.al.gov.br/diarios/128/download'],
'files': [],
'is_extra_edition': False,
'power': 'executive',
'scraped_at': '2024-11-04T01:29:37.820665Z',
'territory_id': ''}

mesmo tentando fazer o download na mão eu não estou conseguindo. Vocês conseguiriam testar os links para mim?

edição 124

edição 727

[firefueled]

Boa @LucasAlvws,

Um erro 500 ao não conseguir baixar arquivos do site não necessariamente impede a integração do raspador.
Precisamos saber se a causa dos erros é o raspador ou o site que simplesmente falha para alguns diários.
Caso o problema seja no site, o raspador pode ser integrado caso todo o resto esteja OK.

Darei uma olhada nos erros 500 que encontrou para tentar entender. Enquanto isso, por favor considere os comentários que fiz.

[firefueled]

O TERRITORY_ID é obrigatório. Note que o campo vazio aqui resulta numa coluna vazia correspondente no csv.
Veja na documentação tudo o que precisa fazer para garantir que o raspador seja integrado.

[firefueled]

Nota pro futuro: Os valores que definiu para method e callback são os padrões, então não precisava ter passado eles explicitamente :)

[firefueled]

@LucasAlvws Sobre os links dos diários com erro, consegui baixá-los uma vez mas todas as outras tentativas falharam pelo link e navegando pelo site.
Estes arquivos são relativamente grandes, um tem ~2MB e outro ~5MB, e eles demoraram para baixar aqui.
Talvez uma instabilidade no servidor deles seja a causa.
Isto significa que o problema não é conosco, e a integração do raspador pode prosseguir.

Para prosseguirmos, por favor veja os comentários que deixei.

[firefueled]

Outra coisa,
O layout do site não se parece com nenhum da lista dos conhecidos e portanto deve marcar o item a seguir na descrição da sua PR.
"O layout não se parece com nenhum caso [da lista de layouts padrão]"