Adiciona coleta e indexação de artigos SciELO via ArticleMeta by samuelveigarangel · Pull Request #733 · scieloorg/scms-oca

samuelveigarangel · 2026-07-06T14:24:37Z

O que esse PR faz?

Adiciona suporte completo à coleta de artigos SciELO no módulo harvest, integrando a API ArticleMeta ao pipeline já existente (preprints, books, SciELO Data).

Principais entregas:

Modelos e persistência: HarvestedArticle, HarvestErrorLogArticle e migration 0004
Coleta: serviço em harvest_articles.py com paginação incremental, busca de identificadores e detalhes por artigo, tratamento de falhas e registro de datestamp
Tasks Celery: harvest_scielo_articles (coleta), retry_failed_articles (reprocessamento) e reindex_failed_articles (reindexação)
Indexação raw: signals de pre_save/post_save, suporte em indexing.py e configuração OS_INDEX_RAW_ARTICLE
OpenSearch: mapping bronze (mapping_bronze_articles.py) e extensão dos commands create_raw_indices e create_bronze_indices para o tipo article
Admin Wagtail: snippet HarvestedArticle no grupo Harvest
Testes: cobertura de coleta, persistência, incremental por datestamp e get_index_name
O fluxo segue o padrão dos demais tipos de documento: coleta → persistência no Postgres → indexação automática no índice raw via signal.

Onde a revisão poderia começar?

Sugestão de ordem:

harvest/harvests/harvest_articles.py — lógica central da coleta (API ArticleMeta, paginação, persistência e tratamento de erros)
harvest/tasks.py — integração Celery (harvest_scielo_articles, retry_failed_articles, reindex_failed_articles, reconciliação)
harvest/signals.py e harvest/indexing.py — indexação automática no OpenSearch
harvest/mapping_bronze_articles.py e commands em harvest/management/commands/ — estrutura dos índices raw/bronze
harvest/tests.py — cenários cobertos e comportamento esperado

Como este poderia ser testado manualmente?

Pré-requisitos

make django_migrate

Variáveis de ambiente (ex.: .envs/.local/.django):

ARTICLEMETA_BASE_URL=https://articlemeta.scielo.org
OS_INDEX_RAW_ARTICLE=raw_scielo_article

Criar índices OpenSearch

docker compose -f local.yml run --rm django python manage.py create_raw_indices --index article
docker compose -f local.yml run --rm django python manage.py create_bronze_indices --index article

Executar coleta (lote pequeno para teste)

Via shell Django/Celery:

from django.contrib.auth import get_user_model
from harvest.tasks import harvest_scielo_articles

user = get_user_model().objects.first()
harvest_scielo_articles(
    username=user.username,
    limit=5,
    offset=0,
    from_date="2021-01-01",
    until_date="2021-12-31",
    collection="scl",
)

Validar persistência

Admin Wagtail → Harvest → Articles
Conferir harvest_status, index_status, identifier, datestamp e raw_data
4. Validar indexação raw

Verificar documentos no índice raw_scielo_article no OpenSearch
Confirmar que artigos com harvest_status=success têm index_status=success
5. Testar retry e reindex

from harvest.tasks import retry_failed_articles, reindex_failed_articles

retry_failed_articles(username=user.username)
reindex_failed_articles()

Rodar testes automatizados

make django_test
# ou focado:
docker compose -f local.yml run --rm django python manage.py test harvest.tests.HarvestArtic

Algum cenário de contexto que queira dar?

Indique um contexto onde as modificações se fazem necessárias ou passe informações que contextualizam
o revisor a fim de facilitar o entendimento da funcionalidade.

Screenshots

Quando aplicável e se fizer possível adicione screenshots que remetem a situação gráfica do problema que o pull request resolve.

Quais são tickets relevantes?

CLOSED #631

Referências

Indique as referências utilizadas para a elaboração do pull request.

Expõe harvest_scielo_articles com suporte a paginação, filtros de data e coleção. Co-authored-by: Cursor <cursoragent@cursor.com>

Inclui reprocessamento de coletas com falha, reindexação e suporte a article na reconciliação. Co-authored-by: Cursor <cursoragent@cursor.com>

Cria as tabelas necessárias para persistir artigos coletados via ArticleMeta. Co-authored-by: Cursor <cursoragent@cursor.com>

Define ARTICLEMETA_BASE_URL e OS_INDEX_RAW_ARTICLE para a coleta SciELO. Co-authored-by: Cursor <cursoragent@cursor.com>

Adiciona suporte a HarvestedArticle em get_index_name e signals de save/pre_save. Co-authored-by: Cursor <cursoragent@cursor.com>

Inclui comandos de criação de índices raw/bronze e melhora log de erro na transformação. Co-authored-by: Cursor <cursoragent@cursor.com>

Cobre paginação ArticleMeta, persistência, retry incremental e get_index_name. Co-authored-by: Cursor <cursoragent@cursor.com>

Expõe artigos coletados no grupo Harvest com listagem e filtros de status. Co-authored-by: Cursor <cursoragent@cursor.com>

pitangainnovare

Há alguns ajustes finos que podem melhorar a legibilidade. Senti falta da fixture de TransformationScript para já testar a transformação dos dados até o Bronze (ou isso está fora do escopo deste PR?).

pitangainnovare · 2026-07-14T17:01:15Z

+        return
+
+    for identifier in failed_identifiers:
+        article = HarvestedArticle.objects.filter(identifier=identifier).first()


Não seria melhor usar o .get no lugar do .filter.first? Ou isso é uma defesa para o caso de existir mais de um article com o mesmo identifier?

pitangainnovare · 2026-07-14T17:09:09Z



+@celery_app.task(name="Retry failed articles")
+def retry_failed_articles(username, user_id=None):


pelo que entendi, ha duas etapas

harvest

index

o nome dessa task nao deveria ser algo como harvest_failed_articles? Assim fica mais facil de entender e diferencia bem da outra que é chamada de reindex_failed_articles.

pitangainnovare · 2026-07-14T17:12:31Z

+                "verbose_name_plural": "Dados de artigos SciELO",
+            },
+        ),
+        migrations.CreateModel(


Não seria melhor indexar os erros no índice harverst_errors (opensearch) em lugar de termos um modelo pra isso?

pitangainnovare · 2026-07-14T17:14:16Z

+        params["collection"] = collection
+    url = _build_url("/api/v1/article/", params)
+    payload = fetch_data(url, headers=headers, json=True, timeout=60, verify=True)
+    payload.pop("citations", None)


pitangainnovare · 2026-07-14T17:18:48Z

+    value = (
+        raw_data.get("processing_date")
+        or article_data.get("processing_date")
+        or raw_data.get("updated_at")
+        or article_data.get("updated_at")
+        or raw_data.get("created_at")
+        or article_data.get("created_at")
+    )
+    if not value:
+        return None


Diria que apenas o campo processing_date é necessário. Se raw_data for a resposta do articlemeta, então esse campo sempre vai existir.

pitangainnovare · 2026-07-14T17:23:57Z

+                    },
+                },
+            },
+            "type": {"type": "keyword"},


Precisa confirmar se tbm está assim nos outros casos (book, dataset, preprint), quero dizer, sem subtipo type.keyword.

pitangainnovare · 2026-07-14T17:24:53Z

+                "analyzer": "multilingual",
+                "fields": {"keyword": {"type": "keyword", "ignore_above": 256}},
+            },
+            "title_with_lang": {


Não faltou o copy_to? Ou aqui não é necessário pois fazemos isso no silver?

pitangainnovare · 2026-07-14T17:28:01Z

    )


+class HarvestErrorLogArticle(BaseHarvestErrorLog):


Pode ser mais interessante logar no índice harvest_errors no OpenSearch. É só uma ideia que já conversamos, mas nada que impeça a aprovação. No caso do articles, isso pode ser mais chato de ver os erros via DB Postgres, pois são milhares de registros (pode ser ruim ver via tela Wagtail).

pitangainnovare · 2026-07-14T17:33:03Z

+                exc_context.save_to_db()
+                exc_context.mark_status_harvest()


Está meio estranho de ler, pois primeiro salva e depois marca o status. Olhando o código do ExceptionContext, entendi o porquê.

samuelveigarangel and others added 9 commits July 6, 2026 10:34

Add HarvestedArticle e HarvestErrorLogArticle

0f47192

Adiciona task Celery para coleta de artigos SciELO.

b86c1f5

Expõe harvest_scielo_articles com suporte a paginação, filtros de data e coleção. Co-authored-by: Cursor <cursoragent@cursor.com>

Adiciona tasks Celery de retry e reindex para artigos SciELO.

339f69e

Inclui reprocessamento de coletas com falha, reindexação e suporte a article na reconciliação. Co-authored-by: Cursor <cursoragent@cursor.com>

Adiciona migration de HarvestedArticle e HarvestErrorLogArticle.

9078947

Cria as tabelas necessárias para persistir artigos coletados via ArticleMeta. Co-authored-by: Cursor <cursoragent@cursor.com>

Adiciona configurações de ArticleMeta e índice raw de artigos.

143e07a

Define ARTICLEMETA_BASE_URL e OS_INDEX_RAW_ARTICLE para a coleta SciELO. Co-authored-by: Cursor <cursoragent@cursor.com>

Integra indexação automática de artigos SciELO no pipeline raw.

587e832

Adiciona suporte a HarvestedArticle em get_index_name e signals de save/pre_save. Co-authored-by: Cursor <cursoragent@cursor.com>

Adiciona índices OpenSearch e mapping bronze para artigos SciELO.

a2e6393

Inclui comandos de criação de índices raw/bronze e melhora log de erro na transformação. Co-authored-by: Cursor <cursoragent@cursor.com>

Adiciona testes de coleta e indexação de artigos SciELO.

8792eef

Cobre paginação ArticleMeta, persistência, retry incremental e get_index_name. Co-authored-by: Cursor <cursoragent@cursor.com>

Registra HarvestedArticle no admin Wagtail.

5fa77db

Expõe artigos coletados no grupo Harvest com listagem e filtros de status. Co-authored-by: Cursor <cursoragent@cursor.com>

samuelveigarangel changed the title ~~Issue 631~~ [WIP] Issue 631 Jul 6, 2026

samuelveigarangel changed the title ~~[WIP] Issue 631~~ [WIP] Adiciona coleta e indexação de artigos SciELO via ArticleMeta Jul 6, 2026

samuelveigarangel requested a review from pitangainnovare July 13, 2026 23:48

samuelveigarangel assigned samuelveigarangel and pitangainnovare Jul 13, 2026

pitangainnovare reviewed Jul 14, 2026

View reviewed changes

samuelveigarangel changed the title ~~[WIP] Adiciona coleta e indexação de artigos SciELO via ArticleMeta~~ Adiciona coleta e indexação de artigos SciELO via ArticleMeta Jul 17, 2026

Provide feedback

Saved searches

Use saved searches to filter your results more quickly

Uh oh!

Adiciona coleta e indexação de artigos SciELO via ArticleMeta#733

Adiciona coleta e indexação de artigos SciELO via ArticleMeta#733
samuelveigarangel wants to merge 9 commits into
scieloorg:mainfrom
samuelveigarangel:issue-631

samuelveigarangel commented Jul 6, 2026 •

edited

Loading

Uh oh!

pitangainnovare left a comment

Uh oh!

pitangainnovare Jul 14, 2026

Uh oh!

pitangainnovare Jul 14, 2026

Uh oh!

pitangainnovare Jul 14, 2026

Uh oh!

pitangainnovare Jul 14, 2026

Uh oh!

pitangainnovare Jul 14, 2026

Uh oh!

pitangainnovare Jul 14, 2026

Uh oh!

pitangainnovare Jul 14, 2026

Uh oh!

pitangainnovare Jul 14, 2026

Uh oh!

pitangainnovare Jul 14, 2026

Uh oh!

Reviewers

Assignees

Labels

Projects

Milestone

Development

Uh oh!

2 participants



		@celery_app.task(name="Retry failed articles")
		def retry_failed_articles(username, user_id=None):

		)


		class HarvestErrorLogArticle(BaseHarvestErrorLog):

Uh oh!

Conversation

samuelveigarangel commented Jul 6, 2026 • edited Loading Uh oh! There was an error while loading. Please reload this page.

Uh oh!

O que esse PR faz?

Onde a revisão poderia começar?

Como este poderia ser testado manualmente?

Algum cenário de contexto que queira dar?

Screenshots

Quais são tickets relevantes?

Referências

Uh oh!

pitangainnovare left a comment

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Reviewers

Assignees

Labels

Projects

Milestone

Development

Uh oh!

2 participants

samuelveigarangel commented Jul 6, 2026 •

edited

Loading