Estatística e probabilidade

Inferência ecológica conc.

Tentar dizer algo sobre indivíduos tendo em mãos apenas totais de grupos. “Ecológica” no sentido antigo de relativo ao agregado, nada a ver com meio ambiente.

O caso-padrão é eleitoral: você sabe, por seção, quantos votos cada candidato teve e qual a composição demográfica da área — e não sabe, nem pode saber, como ninguém votou. A pergunta “como votou o grupo X?” não tem resposta direta no dado; o que o dado responde é “como votaram os lugares onde X é mais numeroso”.

Métodos: regressão de Goodman, o método dos limites de Duncan e Davis (1953), e a família iniciada por King (1997), que junta os dois.

Falácia ecológica armad.

Concluir sobre o indivíduo a partir da correlação entre agregados. A correlação do agregado pode ser diferente da individual — e pode ter o sinal trocado.

O exemplo original é de Robinson (1950), com o Censo americano de 1930. Por estado, a correlação entre proporção de nascidos no exterior e alfabetização era +0,53. No nível individual era −0,11.

Os dois números estavam certos: os imigrantes se instalavam nos estados mais alfabetizados, então o estado ficava bem na foto e a pessoa não.

Regressão de Goodman mét.

Leo Goodman, 1953: o jeito mais direto de fazer inferência ecológica. Para cada unidade, com Y = proporção de votos no candidato A e X = proporção do grupo B:

Y = β_b · X + β_w · (1 − X)

… que rearranjado é uma regressão linear simples:

Y = β_w + (β_b − β_w) · X

O intercepto estima a taxa no grupo não-B (quando X = 0); intercepto + inclinação estima a taxa no grupo B (quando X = 1). Você ajusta uma reta no meio e lê o comportamento dos dois grupos nas pontas.

A suposição que quebra: exige que o grupo se comporte igual em toda unidade, e que esse comportamento não varie com a própria proporção do grupo. O chamado efeito de contexto — gente vota diferente sendo maioria ou minoria no bairro — viola isso o tempo todo.

O que ele ignora: os dados impõem limites determinísticos. Se numa seção o grupo B é 90% do eleitorado e o candidato A teve 10% dos votos, no máximo 11% do grupo B votou em A — por aritmética, sem estimar nada. A interseção de milhares desses limites costuma apertar muito a resposta, e é o que King (1997) soma ao modelo.

Paradoxo de Simpson armad.

Uma tendência que aparece em todos os subgrupos se inverte quando os subgrupos são somados. Não é paradoxo de verdade: é o que acontece quando os grupos têm tamanhos muito diferentes e a variável que os separa afeta o resultado.

O caso clássico é a admissão à pós-graduação em Berkeley, 1973. No agregado, a taxa de admissão de homens era visivelmente maior. Departamento por departamento, a diferença sumia ou se invertia levemente a favor das mulheres — porque elas se candidatavam em maior número aos departamentos mais concorridos.

MAUP armad.

Modifiable Areal Unit Problem: quando os dados são agregados por área, o resultado muda conforme o recorte — e muda de duas maneiras independentes: pela escala (bairro, município, estado) e pelo desenho (onde exatamente passam as fronteiras, mantido o tamanho).

As mesmas pessoas, reagrupadas, produzem correlações diferentes e às vezes opostas. Não existe recorte neutro, e isso é anterior a qualquer modelo: é propriedade do dado agregado.

É o mecanismo que o gerrymandering explora deliberadamente. E é um problema prático sério quando duas fontes usam malhas diferentes — voto por seção eleitoral e demografia por setor censitário, por exemplo: o cruzamento exige um mapeamento, e o mapeamento introduz erro antes de a estatística começar.

Confundidor conc.

Uma terceira variável que causa as duas que você está comparando, criando uma associação entre elas sem que uma cause a outra. Sorvete e afogamento sobem juntos; quem causa os dois é o calor.

Controlar por um confundidor é separar os casos por ele e olhar dentro de cada grupo. É exatamente a operação que revela um Simpson.

Correlação × causalidade conc.

A frase é batida e quase sempre citada pela metade. O que ela de fato diz: observar que A e B andam juntos é compatível com pelo menos cinco explicações — A causa B, B causa A, um confundidor causa os dois, há viés de seleção na amostra, ou foi acaso.

O trabalho não é desconfiar da correlação: é eliminar as outras quatro. Experimento com sorteio elimina as quatro de uma vez — é por isso que ele vale tanto.

E o reverso também é verdade e menos lembrado: ausência de correlação não é ausência de causa. Dois efeitos opostos podem se cancelar, e uma relação forte mas não linear aparece como correlação quase zero.

Regressão à média armad.

Medidas extremas tendem a ser seguidas por medidas menos extremas, sem que nada tenha acontecido no meio. Se o resultado tem qualquer componente de acaso, o recordista de hoje tende a estar pior amanhã, e o pior tende a melhorar.

É a explicação mais barata para quase toda intervenção que “funcionou” porque foi aplicada no pior momento: tratamento começado na crise, treinador trocado na pior sequência, reforço dado ao aluno que foi mal na prova.

Viés de sobrevivência armad.

Olhar só para o que chegou até você, e concluir sobre o conjunto que incluía o que não chegou.

A história clássica é de Abraham Wald, na Segunda Guerra. Pediram-lhe para indicar onde blindar os bombardeiros, mostrando o mapa dos furos nos aviões que voltavam — concentrados nas asas e na fuselagem. A resposta foi blindar onde não havia furo: os aviões atingidos no motor eram justamente os que não voltavam para ser medidos.

Versões cotidianas: “fundadores que largaram a faculdade deram certo” (não se contam os que largaram e sumiram); “prédio antigo era melhor construído” (os ruins caíram); e toda análise de clientes que ignora quem cancelou.

Viés de seleção armad.

A amostra entra na conta por um processo que tem relação com o que se quer medir. O viés de sobrevivência é um caso particular.

O exemplo que mais se repete em produto: perguntar satisfação dentro do app. Quem está insatisfeito a ponto de não abrir mais não responde, e o resultado é sistematicamente melhor que a realidade — não por fraude, por desenho.

Taxa-base armad.

A frequência da coisa na população, antes de qualquer teste. Ignorá-la é o erro de leitura mais comum em resultado de exame, detecção de fraude e alerta de segurança.

Um teste com 99% de acerto para uma doença que atinge 1 em 10.000:

10.000 pessoas
      1 doente      → o teste acha ~1
  9.999 saudáveis   → 1% de falso positivo ≈ 100

positivos totais ≈ 101, dos quais 1 é real

Cerca de 1% dos positivos são verdadeiros, com um teste de 99% de acerto. O número do teste está certo; a pergunta que ele responde não é a que a pessoa fez. Ver Bayes.

O denominador armad.

Quase toda taxa que engana engana no denominador, não no numerador. “20% de crescimento” sobre o quê; “3 usuários” contados como conta, pessoa ou aparelho; “taxa de erro de 0,1%” sobre requisições ou sobre sessões.

A regra prática: ao receber uma proporção, pergunte primeiro o que está embaixo, e só depois discuta o valor. O numerador costuma ser fácil de definir; o denominador é onde mora a decisão.

Corolário: duas medições honestas do mesmo sistema, no mesmo minuto, podem diferir várias vezes só por usarem denominadores diferentes — e as duas estarem certas.

Média, mediana e moda med.

• Média — soma dividida pelo número de casos. Usa todos os valores, e por isso um valor extremo a desloca.
• Mediana — o valor do meio, com metade acima e metade abaixo. Não se importa com o tamanho dos extremos, só com a ordem.
• Moda — o valor mais frequente. O único que faz sentido em dado categórico.

Numa distribuição assimétrica as três se separam, e a distância entre média e mediana é, por si só, a medida da assimetria. Renda é o exemplo canônico: a média é sempre maior que a mediana, e quem usa a média descreve um país onde quase ninguém mora.

Desvio-padrão e variância med.

A variância é a média dos quadrados das distâncias até a média. O desvio-padrão é a raiz quadrada dela — e existe para voltar à unidade original: variância de altura vem em centímetros ao quadrado, que não quer dizer nada; o desvio vem em centímetros.

Numa distribuição normal, ~68% dos casos ficam a um desvio da média, ~95% a dois e ~99,7% a três. Esses números valem para a normal e só para ela — citá-los sobre dado assimétrico é erro comum.

Percentil e quartil med.

O percentil k é o valor abaixo do qual estão k% dos casos. A mediana é o percentil 50; os quartis são 25, 50 e 75.

É o resumo honesto para dado assimétrico, porque não tem média para ser arrastada. Em desempenho de sistema a convenção é relatar p50, p95 e p99: a mediana diz como é o dia normal, e o p99 diz como é para o centésimo usuário — que existe, reclama, e some da média.

Os Core Web Vitals são avaliados no percentil 75 justamente por isso: passar significa que 75% das visitas passaram, aparelho fraco incluído.

Distribuição conc.

A descrição completa de quais valores aparecem e com que frequência. Toda medida resumo (média, desvio, percentil) é uma compressão com perda da distribuição — e a pergunta útil é sempre o que se perdeu.

Olhar o histograma antes de calcular qualquer coisa evita a maior parte dos enganos deste glossário. Distribuições com duas corcovas, com piso em zero, ou com um valor absurdamente repetido (o “0” que na verdade é “não medido”) se denunciam na hora e somem em qualquer resumo.

Assimetria e cauda longa conc.

Uma distribuição é assimétrica quando se estende muito mais para um lado. O caso comum tem piso natural em zero e nenhum teto: renda, tempo de resposta, tamanho de arquivo, número de compras por cliente.

Nessas, a cauda carrega o peso: uma fração pequena dos casos responde por boa parte do total. Resumir com média engana; resumir com percentis funciona.

Quando a cauda é muito pesada (lei de potência), até a média pode ser instável — o valor dela muda conforme você coleta mais dados, em vez de convergir. Aí a lei dos grandes números deixa de ajudar no prazo que você tem.

Outlier conc.

Um valor muito distante dos demais. A tentação é removê-lo; a pergunta certa é por que ele existe, e há três respostas com destinos diferentes:

• erro de medição — remover, e registrar que removeu;
• caso legítimo e raro — manter: é a cauda, e às vezes é o assunto;
• outra população misturada — separar, não remover.

Probabilidade condicional conc.

P(A | B) — a probabilidade de A dado que B aconteceu. Lê-se “A dado B”.

A ordem importa, e é o engano mais frequente de todos: P(doente | positivo) e P(positivo | doente) são números diferentes, às vezes por duas ordens de grandeza. A bula do exame informa o segundo; o paciente quer o primeiro. Ver taxa-base e Bayes.

Na promotoria esse engano tem nome próprio — falácia do promotor: confundir “a chance de a prova aparecer se o réu for inocente” com “a chance de o réu ser inocente dada a prova”.

Independência conc.

A e B são independentes quando saber de um não muda a probabilidade do outro — e aí, e só aí, P(A e B) = P(A) · P(B).

É a suposição mais usada e menos verificada da estatística aplicada. Multiplicar probabilidades de eventos correlacionados subestima o risco conjunto drasticamente, e é a mecânica por trás de boa parte das surpresas financeiras e de confiabilidade: componentes que falham juntos porque compartilham causa.

Teorema de Bayes teor.

A regra que inverte a condicional — e portanto a única maneira correta de ir do que o teste diz para o que você quer saber.

P(A | B)  =  P(B | A) · P(A)
             ─────────────────
                   P(B)

Em palavras: a crença depois dos dados é a crença antes (a priori) corrigida pela evidência. E é a presença do P(A) no numerador que torna a taxa-base inescapável: quando a condição é rara, nenhum teste bom o bastante salva um positivo isolado.

A forma mais fácil de usar na prática não é a fórmula: é imaginar 10.000 casos e contar, como no exemplo da taxa-base. A conta dá igual e o erro fica visível.

Odds e razão de chances med.

Odds é p / (1 − p): probabilidade de acontecer dividida pela de não acontecer. 20% de chance são odds de 1 para 4.

A razão de chances (odds ratio) compara as odds de dois grupos, e é o que sai de uma regressão logística.

Distribuição normal dist.

A curva em sino, definida por média e desvio-padrão. Aparece naturalmente quando o resultado é a soma de muitas causas pequenas e independentes — altura, erro de medição, ruído.

Sua centralidade não vem de ser comum na natureza, e sim do teorema central do limite: mesmo que o dado não seja normal, a média amostral tende a ser.

Distribuição binomial dist.

O número de sucessos em n tentativas independentes, cada uma com a mesma probabilidade p. Quantos caras em 10 lançamentos; quantas conversões em 500 visitas.

Média n·p, desvio √(n·p·(1−p)). É a base da conta de margem de erro em pesquisa, e a distribuição certa para quase todo teste A/B.

Distribuição de Poisson dist.

O número de ocorrências de um evento raro num intervalo fixo, quando elas acontecem a uma taxa média constante e de forma independente: chamados por hora, gols por partida, falhas por mês.

Tem um só parâmetro, a taxa média — e a propriedade útil de que a variância é igual à média. Quando o dado real tem variância bem maior (superdispersão), isso é sinal de que a suposição de independência ou de taxa constante está errada — por exemplo, chamados que chegam em rajada.

Lei dos grandes números teor.

À medida que a amostra cresce, a média observada converge para a média verdadeira. É o que garante que simular muitas vezes dá a resposta certa, e é o alicerce do Monte Carlo.

Teorema central do limite teor.

A distribuição da média amostral se aproxima de uma normal à medida que a amostra cresce, qualquer que seja a distribuição original (desde que ela tenha variância finita).

É o que permite calcular intervalos de confiança sem conhecer a distribuição dos dados — e é a razão de tanta coisa em estatística clássica assumir normalidade sem pedir desculpas.

População e amostra conc.

População é o conjunto sobre o qual se quer afirmar algo; amostra é a parte efetivamente medida. Toda a inferência consiste em quantificar o quanto a segunda autoriza falar da primeira.

O passo que mais se pula é escrever a população. “Usuários” é ambíguo; “contas criadas até ontem, com ao menos uma sessão nos últimos 30 dias” é uma população. Sem isso, o número não tem sujeito.

E a amostra precisa ser aleatória em relação ao que se mede — não grande. Ver viés de seleção.

Margem de erro med.

A metade da largura do intervalo de confiança de uma proporção. Para 95% e o pior caso (p = 50%), aproxima-se bem por 1 / √n.

   400 respostas  →  ±5,0%
 1.000 respostas  →  ±3,1%
 4.000 respostas  →  ±1,6%

Quadruplicar a amostra reduz o erro pela metade — o que explica por que pesquisa eleitoral quase nunca passa de uns poucos milhares: o próximo ponto percentual custa quatro vezes mais.

Intervalo de confiança conc.

Uma faixa construída a partir da amostra, com um procedimento que acerta numa dada proporção das vezes em que é usado.

A frase intuitiva é legítima — mas para o intervalo de credibilidade bayesiano, que é outro objeto. Ver bayesiano × frequentista. Essa é a diferença mais prática entre as duas escolas: uma responde a pergunta que você fez, a outra responde uma pergunta sobre o método.

p-valor conc.

A probabilidade de observar um resultado ao menos tão extremo quanto o observado, supondo que a hipótese nula seja verdadeira.

Toda a dificuldade está na condicional: ele parte de supor a nula verdadeira e mede quão estranho o dado ficaria nesse mundo. É um P(dado | hipótese), e quase todo mundo o lê como P(hipótese | dado).

O 0,05 não tem nada de especial: é uma convenção, atribuída a Fisher, que virou fronteira moral sem nunca ter sido proposta como tal.

Hipótese nula conc.

A hipótese de que não há efeito — as duas versões do produto convertem igual, o remédio não muda nada. É o cenário que o teste tenta derrubar.

A assimetria é deliberada: o teste pode rejeitar a nula, nunca aceitá-la. Não encontrar evidência de efeito não é encontrar evidência de ausência de efeito — e a diferença entre as duas frases é o que separa um estudo honesto de uma manchete.

Erro tipo I e tipo II conc.

• Tipo I (α) — rejeitar a nula sendo ela verdadeira: ver efeito onde não há. Falso positivo.
• Tipo II (β) — não rejeitar sendo ela falsa: não ver efeito que existe. Falso negativo.

Fixado o tamanho da amostra, reduzir um aumenta o outro. Escolher α = 0,05 é escolher tolerar 5% de falsos positivos — uma decisão sobre qual erro custa mais caro no seu caso, não uma verdade estatística.

Em teste de fraude, falso positivo incomoda cliente e falso negativo perde dinheiro. Em triagem médica, a conta é outra. O número vem do custo, não do costume.

Poder estatístico conc.

A probabilidade de detectar um efeito de dado tamanho, se ele existir — isto é, 1 − β. Depende do tamanho do efeito, do tamanho da amostra e do α escolhido.

Calcular o poder antes de coletar responde a única pergunta que importa no planejamento: quantos casos preciso para que este teste consiga enxergar o que estou procurando? Rodar um teste sem isso é arriscar descobrir, no fim, que ele nunca teve chance.

Significância × relevância armad.

Significância estatística diz que o efeito provavelmente não é zero. Relevância prática diz se ele é grande o bastante para mudar alguma decisão. São perguntas independentes.

Com amostra grande o suficiente, qualquer diferença não nula vira significativa — inclusive 0,01% de conversão, que não paga a reunião onde foi discutido.

O antídoto é relatar o tamanho do efeito com seu intervalo, e decidir antes qual diferença mínima interessaria. Um resultado “significativo” cujo intervalo vai de 0,1% a 9% não autoriza decisão nenhuma.

Múltiplas comparações armad.

Cada teste a 5% tem 5% de chance de falso positivo. Vinte testes independentes têm 64% de chance de ao menos um:

1 − 0,95²⁰  ≈  0,64

Olhar a mesma base por vinte recortes e anunciar o que “deu significativo” é, na prática, garantir um achado falso. Correções existem (Bonferroni, Benjamini-Hochberg), mas a correção honesta começa por contar quantos testes foram feitos — inclusive os que não viraram slide.

p-hacking e o jardim dos caminhos que se bifurcam armad.

p-hacking é mexer nas escolhas da análise até o p-valor passar: incluir ou excluir casos, trocar a variável de controle, parar a coleta quando ficou bom, testar subgrupos.

A versão sutil — e muito mais comum — é o jardim dos caminhos que se bifurcam, de Gelman e Loken: o pesquisador não testa muitas hipóteses, mas teria testado outras se os dados fossem outros. Mesmo com uma única análise rodada, a liberdade de escolha estava lá, e o p-valor não a leva em conta. Ninguém precisa agir de má-fé para o resultado ficar inflado.

É o motivo de pré-registro existir, e de “análise exploratória” e “teste confirmatório” precisarem ser rotulados como coisas diferentes.

Pré-registro prát.

Escrever, antes de olhar os dados, qual é a hipótese, qual a métrica principal, qual o tamanho da amostra e como a análise será feita — e deixar isso registrado em lugar que não se possa editar depois.

Não melhora a análise: torna verificável que ela não foi escolhida depois do resultado. É o que separa um teste do relato de uma busca.

Versão caseira, e que já resolve a maior parte: antes de rodar o teste A/B, escrever num arquivo com data qual métrica decide, qual diferença mínima interessa e quando a coleta para. Se depois der vontade de olhar outra coisa, está permitido — desde que seja chamado de exploração.

Bayesiano × frequentista conc.

Duas maneiras de definir o que “probabilidade” significa, com consequências práticas diretas.

• Frequentista — o parâmetro é fixo e desconhecido; o que varia é o dado. Probabilidade é frequência no longo prazo. Daí o intervalo de confiança falar do procedimento, e não do parâmetro.
• Bayesiano — o parâmetro tem uma distribuição que representa o que se sabe sobre ele, atualizada pelos dados via Bayes. Daí o intervalo de credibilidade poder ser lido como “95% de probabilidade de estar aqui”.

O preço do segundo é ter de declarar uma a priori, o que obriga a explicitar o que se supunha antes — para alguns é a maior fraqueza, para outros a maior virtude.

Na prática moderna a disputa esfriou: usa-se o que responde a pergunta. E boa parte do que roda hoje é bayesiano por computação — ver MCMC.

Monte Carlo mét.

Responder uma pergunta difícil simulando o processo muitas vezes e contando os resultados, em vez de resolvê-la analiticamente. O nome vem do cassino, e o método nasceu em Los Alamos nos anos 1940, com Ulam, von Neumann e Metropolis.

Serve bem quando o processo é fácil de simular e difícil de integrar: probabilidade de título num campeonato com regras de desempate, risco de uma carteira, propagação de incerteza por várias etapas.

E o limite mais importante não é o número de rodadas: é que a simulação só sabe o que o modelo lhe contou. Se as partidas são simuladas como independentes e na realidade um time cansa na sequência de jogos, nenhuma quantidade de rodadas corrige isso.

Semente e PRNG conc.

Computador não sorteia: calcula. Um PRNG (gerador pseudoaleatório) produz uma sequência determinística que passa nos testes de aleatoriedade, e a semente é o número de onde ela parte.

Mesma semente, mesma sequência, mesmo resultado — e isso é a melhor propriedade, não um defeito: é o que torna uma simulação reproduzível. Registrar a semente junto do resultado é o equivalente, aqui, a versionar o código.

Convergência conc.

O ponto em que acrescentar simulações deixa de mudar a resposta de forma relevante. Não é um evento: é uma decisão, e precisa de critério declarado.

O jeito honesto de verificar é plotar a estimativa contra o número de rodadas e ver a curva achatar — e não escolher um número redondo porque pareceu grande. Rodar várias cadeias de sementes diferentes e comparar entre elas é o teste mais forte.

Bootstrap mét.

Estimar a incerteza de uma medida reamostrando a própria amostra, com reposição, milhares de vezes, e olhando como a medida varia entre as reamostras. De Efron, 1979.

O que o torna precioso: funciona para estatísticas em que não há fórmula fechada de erro — mediana, razão entre dois percentis, qualquer coisa que você inventar. Você troca álgebra por computação.

O nome vem de “puxar-se pelos próprios cadarços”, e a desconfiança é justa: não cria informação. Se a amostra for enviesada, o bootstrap reproduz o viés com precisão — ele mede variabilidade, nunca corrige seleção.

Cadeia de Markov conc.

Um processo em que o próximo estado depende apenas do estado atual, não de como se chegou nele. É a propriedade de “não ter memória”.

Modela bem fila, desgaste de equipamento, navegação entre páginas e texto gerado por frequência. Muitas cadeias, rodando bastante, chegam a uma distribuição estacionária — a fração do tempo gasta em cada estado, independente de onde começaram. É essa propriedade que o MCMC explora.

A suposição de falta de memória é forte e quase sempre falsa em parte. Vale perguntar o que se perde ao assumi-la: num campeonato, ignora sequência de jogos e cansaço acumulado.

MCMC mét.

Markov Chain Monte Carlo: construir uma cadeia de Markov cuja distribuição estacionária é exatamente a distribuição que você quer amostrar — e então deixá-la caminhar e colher os estados visitados.

É o que tornou a estatística bayesiana praticável: permite amostrar distribuições a posteriori que não têm forma fechada. Metropolis-Hastings, Gibbs e, hoje, Hamiltoniano (o Stan e o PyMC).

Regressão linear mét.

Ajustar uma reta (ou um plano, com várias variáveis) que descreva como Y muda com X. Cada coeficiente responde: mantidas as demais variáveis constantes, quanto Y muda quando X sobe uma unidade?

É o canivete da estatística aplicada, e a base da regressão de Goodman, que é uma regressão linear com uma leitura específica das pontas.

Mínimos quadrados mét.

O critério que escolhe a reta: aquela que minimiza a soma dos quadrados das distâncias verticais entre os pontos e a reta.

Elevar ao quadrado tem uma consequência prática que se esquece: um ponto duas vezes mais distante pesa quatro vezes mais. Por isso a reta é sensível a outliers, e por isso existem alternativas robustas (minimizar o valor absoluto, por exemplo), que custam mais e se deslocam menos.

R² med.

A proporção da variação de Y que o modelo explica. Vai de 0 a 1, e é o número que todo mundo cita.

Olhar os resíduos rende mais que olhar o R². Se eles tiverem padrão — curva, funil, degrau —, o modelo está errado de um jeito que o R² não mostra.

Overfitting armad.

O modelo aprende também o ruído da amostra, não só o padrão. Acerta quase tudo nos dados em que foi treinado e erra feio em dados novos — que são os únicos que importam.

Quanto mais flexível o modelo e menor a amostra, mais fácil acontecer. O sinal clássico é a distância entre o desempenho dentro e fora da amostra.

O oposto, underfitting, é o modelo simples demais para o padrão existente. Entre os dois há um ponto ótimo, e achá-lo é o que a validação cruzada faz.

Validação cruzada mét.

Partir os dados em k pedaços, treinar em k−1 e testar no que sobrou, rodando k vezes para que cada pedaço seja o teste uma vez. A média dos k resultados estima o desempenho fora da amostra.

Em série temporal, partir aleatoriamente é treinar com o futuro para prever o passado. Ali a partição tem de respeitar o tempo.

Colinearidade armad.

Duas ou mais variáveis explicativas muito correlacionadas entre si. O modelo não consegue separar a contribuição de cada uma, e os coeficientes ficam instáveis: trocam de sinal, incham, mudam muito com pequenas alterações nos dados.

O detalhe que confunde: a previsão continua boa. O que se perde é a interpretação — e é exatamente a interpretação que costuma ser o motivo de ter feito o modelo.