2 · Curadoria e limpeza

Decisões que transformam a coleta em uma base analisável

Tratamento dos registros coletados sobre a Sessão da Tarde.

A listagem bruta inclui datas sem filme, títulos ausentes e linhas com exibições diferentes por região. Aqui essas situações são identificadas e tratadas de forma explícita.

Posição no estudo: esta etapa recebe datasets/whole_century.csv e produz datasets/cleanedcentury.csv.

Importação dos dados

import pandas as pd
import numpy as np
import re

df = pd.read_csv('datasets/whole_century.csv')
df.head(3)

	date	title	comments
0	2023-01-02	Não Houve Exibição	velório de Pelé, intitulada Rei Pelé: Cobertura
1	2023-01-03	A Nova Cinderela	exibição às 15h55
2	2023-01-04	Agente 86	2008

Registros sem filme

df_example = df.dropna(subset='title')
df_example[df_example['title'].str.contains('Não Houve', regex= False, case= False)].head(3)

	date	title	comments
0	2023-01-02	Não Houve Exibição	velório de Pelé, intitulada Rei Pelé: Cobertura
26	2023-02-07	Não Houve Exibição - Mundial de Clubes: Flamen...	NaN
28	2023-02-09	Não Houve Exibição - Supercopa Feminina de Fut...	NaN

A inspeção mostra dois casos que não representam uma exibição analisável:

• dias descritos como “Não Houve Exibição”;
• linhas sem informação de título.

Esses registros são retirados da base limpa.

df.dropna(subset=['title'], inplace=True)

rows_to_delete = df.loc[df['title'].str.contains('Não Houve', case=False, regex=False)].index

df.drop(rows_to_delete, inplace=True)

Exibições regionais

Quando uma linha reúne mais de um título, separados por |, o processo original mantém o primeiro. Essa regra simplifica a unidade de análise, mas também é uma limitação: variações regionais posteriores ao primeiro título deixam de aparecer.

df[df['title'].str.contains('|', case=False, regex=False)].head(3)

	date	title	comments
482	2021-04-12	Intocáveis | Meu Pai, Meu Herói	somente para o ES
750	2020-04-20	Homem-Aranha | Tainá 2: A Aventura Continua	2002
958	2019-02-04	Soul Surfer: Coragem de Viver | Kung Fu Panda 2	somente para as afiliadas da Globo

df['title'] = df['title'].str.split('|').str[0].str.strip()

Exportação

df.to_csv('datasets/cleanedcentury.csv', index = False)

A base limpa conserva data, título e observações. O enriquecimento posterior — já preservado nos CSVs do repositório — acrescenta identificador, título original, lançamento, avaliação e elenco.

Continuar para a análise exploratória →