Inferência

O que vamos ver nesse curso?

• Probabilidade
• Variável aleatória
• Distribuições Binomial e Distribuição Normal
• Uma população:
  • Intervalo de confiança \(z\) para proporção de sucesso
  • Teste de hipóteses \(t\) para a média
• Duas populações:
  • Intervalo de confiança \(z\) para a diferença das proporções de sucesso
  • Teste de confinaç \(t\) para a diferença de médias

Alguns conceitos

Controlamos o erro da generalização usando probabilidade.

Alguns conceitos
Exemplo

• Fenômeno ou Experimento aleatório: lançamento de um dado de seis faces.
• Espaço amostral: \(\Omega=\{\) face 1, face 2, face 3, face 4, face 5, face 6 \(\}\).
• Ponto amostral: face 1.
• Evento: \(A =\{\) face par \(\}\) = \(\{\) face 2, face 4, face 6 \(\}\).
• Probabilidade de um evento A - \(P(A)\): 0,5.

• Fenômeno determinístico: soltar pedra da mão.
• Resultado: pela leis da gravidade, a pedra irá em direção ao chão.

Função

O que é uma variável aleatória?

• Variável aleatória é uma função \(X: \Omega \rightarrow \mathbb{R}\) com:
  • Domínio: espaço amostra
  • Contradomínio: números
  • Suporte: conjunto de números do contradomínio associados a um ponto amostral do domínio.
    • Notação matemática: \(\chi\)
    • Na prática, \(\chi\) é o conjunto de valores possíveis para uma variável aleatória

Ideia: associar números (ou intervalo de números) a probabilidade.

Variável aleatória.

Classificação de variável aleatória

Variável aleatória discreta

• Suporte tem apenas números inteiros.
• Geralmente, é resultado de contagem.
• Calculamos probabilidade para números individuais.

Exemplo: número de propostas previstas no edital.

Variável aleatório contínua

• Suporte é um intervalo de números reais.
• Calculamos probabilidade para intervalo de números reais.

Exemplo: montante do edital.

Exemplo ingênio para fixação

• Fenômeno aleatório: lançamento de um dado de seis faces.
• Espaço amostral: \(\Omega = \{\) face 1, face 2, face 3, face 4, face 5, face 6 \(\}\).
• Variável aleatória: \(X\)(face 1) = 1; \(X\)(face 2) = 2; \(X\)(face 3) = 3; \(X\)(face 4) = 4; \(X\)(face 5) = 5; \(X\)(face 6) = 6.
• Suporte: \(\chi=\{\) 1, 2, 3, 4, 5, 6 \(\}\).
• Variável aleatória discreta: \(P(X=1)=\frac{1}{6}\); \(P(X=2)=\frac{1}{6}\); \(P(X=3)=\frac{1}{6}\); \(P(X=4)=\frac{1}{6}\); \(P(X=5)=\frac{1}{6}\); \(P(X=6)=\frac{1}{6}\).

Calculando probabilidades
Variável aleatória discreta

• Probabilidade de um número:
  • Função de probabilidade (fp): \(f(a) = P(X = a)\).
• Probabilidade para o intervalo \((-\infty, a]\):
  • Função de distribuição acumulada (fda): \(F(a) = P(X \leq a)\).
• Quantil de ordem proba: Q(proba)
  • Quantil populacional de ordem proba.

Distribuição Binomial

Quando usar

• Temos \(n\) casos em análise.
• Cada caso pode ser sucesso ou fracasso.
• Probabilidade de sucesso \(p\).
• \(X\): número de sucessos em \(n\) casos.
• Sucesso: foco da análise.
• Suporte: \(\chi = \{1, 2, 3, \cdots, n\}\).

Parâmetro

Probabilidade sucesso: \(p\).

No Google Planilha

=BINOM.DIST(x; n; p; cumulativa)

=BINOM.INV(n; p; prob)

Distribuição Binomial

Exemplo:

• Casos: cidades do Recôncavo Baiano - 20 cidades.
• Sucesso: cidade tem cinema.
• Probabilidade de sucesso: 75%.
• \(X\): número de sucessos.
• \(X\): número de cidades do Recôncavo Baiano com cinema.
• Suporte: \(\chi = \{0, 1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11, 12, 13, 14, 15, 16, 17, 18, 19, 20\}\).

Probabilidade de 11 cidades do Recôncavo Baiano ter cinema:

=BINOM.DIST(11; 20; 75/100; 0)

Resultado: 0,03 (3%).

Probabilidade de até 11 cidades terem cinema:

=BINOM.DIST(11; 20; 75/100; 1)

Resultado: 0,04 (4%).

Quantil de ordem 90%:

=BINOM.DIST(20; 0,75; 90/100)

Resultado: 17
Resultado: até 17 cidades têm cinema.

Distribuição Bernoulli

Distribuição binomial quando \(n=1\) (apenas um caso).

Exemplo

• Caso: uma cidade.
• Sucesso: cidade tem plano de cultura.
• Probabilidade de sucesso: 95%.
• Suporte: \(\chi=\{0, 1\}\).

Probabilidade da cidade tem plano de cultura:

=BINOM.DIST(1;1;0,95;0)

Resultado: 0,95.

Probabilidade de fracasso:

=BINOM.DIST(1;1;0,05;0)

Resultado: 0,05.

Calculando probabilidades
Variável aleatória contínua

• Probabilidade para o intervalo \((-\infty, a]\):
  • Função de distribuição acumulada (fda): \(F(a) = P(X \leq a)\).
• Probabilidade de um intervalo:
  • \(P(a < X < b) = F(b) - F(a)\).
• Quantil de ordem proba: Q(proba)
  • Quantil populacional de ordem proba.

Distribuição Normal

Quando usar

Parâmetros

• média (populacional): centro da Curva Gaussiana.
• desvio padrão (populacional): abertura da Curva Gaussiana.

No Google Planilha

=NORM.DIST(x; média; desvio padrão; 1)

=NORM.INV(proba; média; desvio padrão)

Distribuição normal

Exemplo:

• Variável: montante dos editais com recursos próprios de um ente.
• Média: um milhão de reais.
• Desvio padrão: 100 mil reais.

No Google Planilha

=NORM.DIST(9E+5;1E+6;1E+5;1) - NORM.DIST(8E+5;1E+6;1E+5;1)

=NORM.INV(99/100; 1E+6; 1E+5)

Intervalo de Confiança
proporção de sucesso \(p\)

Ideia: Encontrar \(LI\) e \(LS\) tal que

\[ LI \leq p \leq LS \]

\((LI, LS)\) é chamado de Intervalo de Confiança (IC).

Interpretação

Impossível sempre produzir um resultado correto!

• Às vezes, o IC está correto.
• Às vezes, o IC está errado.

Interpretação
Intervalo de Confiança

• \(\gamma\) dos Intervalos de Confiança estarão corretos.
• \(\gamma\): coeficiente de confiança. Geralmente, \(\gamma=95\)%.

Intervalo de Confiança \(t\)

Intervalo de Confiança para média populacional.

• \(\epsilon\): margem de erro.
• \(\bar{x}\): média da amostra.

No Google Planilha

Margem de erro

=MARGINOFERROR(intervalo; coeficiente de confiança)

Intervalo de confiança \(t\)
Exemplo

=MARGINOFERROR(editais_proprios_capitais[v_1_5];0,95)

=MÉDIA(editais_proprios_capitais[v_1_5];0,95)

Intervalo de confiança \(t\)

Exercício

Nos exercícios abaixo, use \(\gamma=95\%\).

• Construa o Intervalo de Confiança para o número médio de propostas previstas (v_1_7) nos editais com recursos próprios das capitais.
• Construa o Intervalo de Confiança para o número médio de páginas (n_page) nos editais com recursos próprios das capitais.

Intervalo de Confiança \(z\) para proporção

• \(\epsilon\): margem de erro.
• \(\hat{p}\): proporção amostral de sucesso.

No Google Planilha

Proporção de sucesso

=PROP_SUCESSO(intervalo, sucesso)

• intervalo: células com os dados categóricos.
• sucesso: categoria que indica sucesso.

Margem de erro

=MARGEM_ERRO_PROP_1POP(intervalo;sucesso; conf)

• intervalo: células com os dados categóricos.
• sucesso: categoria que indica sucesso.
• conf: Coeficiente de Confiança.

Intervalo de Confiança \(z\)
Exemplo

IC para a proporção de cidades com plano de cultura com coeficiente de confiança 99%.

Proporção de sucesso

=PROP_SUCESSO(respostas_cidades[plano_cultura];"sim")

Resposta: 0,57

Margem de erro

=MARGEM_ERRO_PROP_1POP(respostas_cidades[plano_cultura];"sim"; 0,99)

• Margem de erro: 0,13
• \(LI\): 0,54 - 0,13=0,44
• \(LS\): 0,54 + 0,13=0,70

A proporção de cidades com plano de cultura no Brasil está entre 44% e 70%, com coeficiente de confiança 99%.

Intervalo de Confiança \(z\)
Exercício

• Construa o Intervalo de Confiança para a proporção de entes federativos que apoiam o audiovisual (linguagens_orgao___2). Use \(\gamma=95\)%.
• Construa o Intervalo de Confiança para a proporção de entes federativos que apoiam a literatura (linguagens_orgao___5). Use \(\gamma=90\)%.

Use o arquivo respostas.xlsx.

Definindo o contexto

Objetivo:

Decidir entre \(H_0\) (hipótese nula) e \(H_1\) (hipótese alternativa) usando as evidências da amostra.

• \(H_0\) é a negação de \(H_1\) e vice-versa
• \(H_1\) é aquilo que desejamos provar que é verdade
  • a hipótese alternativa é afirmação extraordinária que precisa de evidências para acreditarmos
• \(H_0\) é o padrão, senso comum ou benchmark
  • a hipótese nula é afirmação ordinária que assumimos como verdade na ausência de evidências

Decisão usando amostra

Decisão usando evidência na amostra:

• Decisão embasada com evidência \(\Longrightarrow\) hipótese alternativa \(H_1\)
• Decisão sem evidência ou na dúvida \(\Longrightarrow\) hipótese nula \(H_0\)

Como temos uma tendência de continuar em \(H_0\) na ausência de evidências,escrevemos:

• Decisão por \(H_0\): Não rejeitamos \(H_0\);
• Decisão por \(H_1\): Rrejeitamos \(H_0\).

Erros

Podemos cometer dois erros ao decidir:

• Falso positivo (ou Erro Tipo I): Rejeitamos \(H_0\), mas \(H_0\) é a verdade. Erro mais grave!
  • \(\alpha\): proporção de amostras no qual o Falso Positivo ocorreu
• Falso negativo: Não rejeitamos \(H_0\), mas \(H_1\) é a verdade
  • \(\beta\): proporção de amostras no qual o Falso Negativo ocorreu

Não existe uma regra (estratégia) de decisão que minimiza \(\alpha\) e \(\beta\) simultaneamente.

Escândalo falso positivo na Colômbia

\(\alpha\) e \(\beta\) são erros concorrentes.

Tradeoff entre \(\alpha\) e \(\beta\).

Encontrar regra de decisão satisfazendo:

• \(\alpha\) fixo em um valor pequeno (geralmente 5%)
• menor valor possível para \(\beta\)

\(\alpha\) é chamado de nível de significância.

Como decidir?

• \(H_0\): o montante médio dos editais é menor or igual que um milhão de reais
  • \(H_0: \mu - \mu_0 \leq 0\), com \(\mu_0 = 1.000.000\)
• \(H_1\): o montante médio dos editais é maior que um milhão de reais
  • \(H_1: \mu - \mu_0 > 0\), com \(\mu_0 = 1.000.000\)

Amostras com 10 editais.

Calculamos uma distância entre a média amostral e \(\mu_0\):

• Se a distância for extrema \(\Longrightarrow\) rejeitamos \(H_0\)
• Se a distância não for extra \(\Longrightarrow\) não rejeitamos \(H_0\)

Esta distância é chamada de estatística de teste.

Valor-p

\(p\): proporção de amostras com estatística de teste mais extrema que a estatística de teste observada.

Teste t

Estatística de teste

Equação matemática

\[ t_0 = \frac{(\bar{x}-\mu_0) \cdot \sqrt{n}}{s} \]

Google Planilha

=ESTATISTICA_TESTE_T_MEDIA_1POP(intervalo;mu)

• intervalo: intervalo para calcular a estatística de teste.
• mu: número que compõe as hipóteses.

Valor-p

Equação matemática

Google Planilha

=VALOR_P_TESTE_T_MEDIA_1POP(intervalo;tipo;mu)

• intervalo: intervalo para calcular a estatística de teste.
• tipo: um dos valores: “less”, “greater”, e “two_sided”.
• mu: número que compõe as hipóteses.

Teste \(t\)
Exemplo

Existe evidência que o montante médio dos editais próprios das capitais em 2023 ultrapassou o limiar de um milhão de reais, ao nível de significância 5%?

=ESTATÍSTICA_TESTE_T_MÉDIA_1POP(editais_proprios_capitais[v_1_5];1000000)

=VALOR_P_TESTE_T_MÉDIA_1POP(editais_proprios_capitais[v_1_5];1000000;"greater")

Teste \(t\)
Exercício

• Existe evidência que o número médio de páginas (n_page) dos editais das capitais é superior a 50, ao nível significância 1%?
• Existe evidência que o número de propostas previstas (v_1_7) dos editais com recursos próprios das capitais é inferior a 10, em média, ao nível significância 5%?

Teste \(z\) para proporção de sucesso

Estatística de teste

Equação matemática

\[ z_0 = \frac{(\hat{p}-p_0) \cdot \sqrt{n}}{\sqrt{p_0 - p_0^2}} \]

Google Planilha

=ESTATÍSTICA_TESTE_T_PROP_1POP(intervalo;prop;sucesso)

• intervalo: intervalo para calcular a estatística de teste.
• prop: número que compõe as hipóteses.
• sucesso: categoria que indica o sucesso.

Valor-p

Equação matemática

Google Planilha

=VALOR_P_TESTE_Z_PROP_1POP(intervalo;prop;sucesso;tipo)

• intervalo: intervalo para calcular a estatística de teste.
• prop: número que compõe as hipóteses.
• sucesso: categoria que indica o sucesso.
• tipo: um dos valores: “less”, “greater”, e “two_sided”.

Teste \(z\) para proporção
Exemplo

Existe evidência que mais de 50% dos municípios brasileiros têm Plano de Cultura ao nível de significância 5%?

=ESTATÍSTICA_TESTE_Z_PROP_1POP(respostas[plano_cultura]; 0,5;"sim")

=VALOR_P_TESTE_Z_PROP_1POP(respostas[plano_cultura];0,5;"sim";"greater")

Teste \(z\) para proporção
Exercício

• Existe evidência para afirmamos que mais de 10% dos municípios têm Planos Setoriais (planos_setoriais) para as artes? Use \(\alpha=5\%\).
• Existe evidência para afirmarmos que maioria dos entes federativos no Brasil apoiam a Literatura (variavel linguagens_orgao___5 com sucesso igual a Checked)? Use \(\alpha=1\%\).

Duas populações

• Dois grupos (chamados de populações) complementamente independentes.
• Experimento complementamente aleatório.
• Se decidirmos por \(H_1\), dizemos que temos uma relação de causa e efeito.

Neste curso

• Intervalo de confiança para a diferença de médias (populacionais).
• Intervalo de confiança para a diferença de proporções de sucesso (populacionais).
• Teste de Hipóteses para a diferença de médias (populacionais).
• Teste de Hipóteses para a diferença de proporções de sucesso (populacionais).

Intervalo de Confiança \(t\) para diferença das médias

Intervalo de Confiança para a diferença de médias.

• \(\mu_1\): média da população 1
• \(\mu_2\): média da população 2
• \(\bar{x}_1\): média da amostra da população 1
• \(\bar{x}_2\): média da amostra da população 2
• \(\epsilon\): margem de erro

No Google Planilha

=MARGEM_ERRO_MÉDIA_2POP(intervalo1;intervalo2;conf)

• intervalo1: células com os dados da população 1.
• intervalo2: células com os dados da população 2.
• conf: coeficiente de confiança.

Intervalo de Confiança \(t\) para \(\mu_1-\mu_2\)
Exemplo

Margem de erro

=MARGEM_ERRO_MÉDIA_2POP(editais_proprios_capitais_norte[v_1_5];editais_proprios_capitais_sul[v_1_5];0,95)

• Cálculo da média da população 1: A1
• Cálculo da média da população 2: A2
• Margem de erro: A3

Intervalo de confiança

=A1 - A2 - A3

=A1 - A2 + A3

• LI: -R$ 3.394.943,72
• LS: -R$ 570.488,11

A diferença entre o montante médio dos editais das capitais das regiões Norte, Nordeste e Centro-Oeste e o montante médio dos editais das capitais das região Sul e Sudeste está entre -R$ 3.394.943,72 e -R$ 570.488,11, com coeficiente de confiança 95%.

Intervalo de Confiança \(t\) para \(\mu_1-\mu_2\)
Exercício

• Construa um intervalo de confiança para a diferença entre o número médio de páginas (n_page) dos editais próprios das capitais das regiões Norte, Norte e Centro-Oeste e montante médio dos PNAB das capitais das regiões Sul e Suldeste. Use \(\gamma=99\%\).
• Construa um intervalo de confiança para a diferença entre o número médio de propostas previstas (v_1_7) dos editais próprios das capitais das regiões Norte, Norte e Centro-Oeste e número médio de propostas previstas dos PNAB das capitais das regiões Sul e Suldeste. Use \(\gamma=95\%\).

Intervalo de Confiança \(Z\) para a diferença de proporções

Intervalo de Confiança para a diferença de proporções populacionais de sucesso.

• \(p_1\): proporção de sucesso da população 1
• \(p_2\): proporção de sucesso população 2
• \(\hat{p}_1\): média da amostra da população 1
• \(\hat{p}_2\): média da amostra da população 2
• \(\epsilon\): margem de erro

No Google Planilha

=MARGEM_ERRO_PROP_2POP(intervalo1;intervalo2;sucesso;conf)

• intervalo1: células com os dados da população 1.
• intervalo2: células com os dados da população 2.
• sucesso: categoria que indica sucesso.
• conf: coeficiente de confiança.

Intervalo de Confiança \(Z\) para \(p_1-p_2\)

IC para a diferença entre a proporção de entes que apoiam Circo (linguagens_orgao__3) entre cidades de pequeno porte (menos de 100 mil habitantes) e cidades de grande porte (mais de 100 mil habitantes).

=MARGEM_ERRO_PROP_2POP(cidade_pequena[linguagens_orgao___3];cidade_grande[linguagens_orgao___3];"Checked";0,95)

• Cálculo da proporção de sucesso da população 1: A1
• Cálculo da proporção de sucesso da população 2: A2
• Margem de erro: A3

=A1-A2-A3

=A1-A2+A3

• LI: -60,32%
• LS: -24,29%

A diferença entre a porcentagem de cidades pequenas que apoiam o circo e a porcentagem de cidades grandes que apoiam circo está etnre -60,32% e -24,29%, com coeficiente de confiança 95%.

Intervalo de Confiança \(Z\) para \(p_1 - p2\)

Exercício

• Construa um Intervalo de Confiança para a diferença entre a proporção de editais com recursos próprios das capitais que preveem apoio ao circo (v_3_2__3) entre as capitais das regiões Norte, Nordeste e Centro-Oeste e as capitais das regiões Sul e Sudeste. Use \(\gamma=95\%\).
• Construa um Intervalo de Confiança para a diferente entre a proporção de entes que apoiam literatura (linguagens_orgao__4) entre cidades de pequeno porte (menos de 100 mil habitantes) e grande porte (mais de 100 mil habitantes). Use \(\gamma=99\%\).

Teste \(t\) para \(\mu_1-\mu_2\)

Estatística de teste

Equação matemática

\[ t_0 = \frac{\bar{x}_1 - \bar{x_2}}{\sqrt{\frac{s_1^2}{n_1} + \frac{s_2^2}{n_2}}} \]

• \(\bar{x_1}\) e \(s_1\): média e desvio padrão da amostra da população 1;
• \(\bar{x_2}\) e \(s_2\): média e desvio padrão da amostra da população 2.

Google planilha

=ESTATÍSTICA_TESTE_T_MÉDIA_2POP(intervalo1; intervalo2)

• intervalo1: dados da população 1.
• intervalo2: dados da população 2.

Valor-p

Equação matemática

\(\mu_1\) é a média populacional da população 1, \(\mu_2\) é a média populacional da população 2, e \(\nu\) é grau de liberdade pela correção de Welch.

Google Planilha

=TESTET(intervalo1; intervalo2; cauda; 3)

• intervalo1: células com dados da população 1.
• intervalo2: células com dados da população 2.
• cauda: 1 - cauda unilateral, 2 - cada bilateral·

Teste \(t\) para \(\mu_1 - \mu_2\)

Exemplo

Existe diferença entre o valor complementado nos editais LAB e LPG para as cidades brasileiras? Use \(\alpha=5\%\).

Estatística de teste

=ESTATÍSTICA_TESTE_T_MÉDIA_2POP(editais_proprios_capitais_norte[v_1_5];editais_proprios_capitais[v_1_5])

Respostas: -2,18

Valor-p

=TESTET(editais_proprios_capitais_norte[v_1_5];editais_proprios_capitais_sul[v_1_5];1;3)

Respostas: 0,00

Em média, o montante dos editais próprios das capitais das regiões Norte, Nordeste e Centro-Oeste é menor que o montante dos editais próprios das capitais das regiões Sul e Sudeste, ao nível de significância 1%.

Teste \(t\) para \(\mu_1-\mu_2\)
Exercício

• Ao nível de significância 1%, existe evidência que o número de página (n_page) os chamamentos públicos com recursos próprios das capitais das regiões Sul e Sudeste é maior que o valor total dos editais das capitais das regiões Norte, Nordeste e Centro-Oeste?
• Ao nível de significância 5%, existe evidência que o número de propostas (v_1_7) previsto no editais nas capitais das regiões Sul e Sudeste é menor que o total de propostas previstas nos chamamentos públicos das regiões Sul, Sudeste e Centro-Oeste?

Teste \(Z\) para \(p_1-p_2\)

Estatística de teste

Equação matemática

\[ z_0 = \frac{\hat{p}_1 - \hat{p}_2}{\sqrt{ \frac{\hat{p}(1-\hat{p})}{n_1} + \frac{\hat{p}(1-\hat{p})}{n_2} }} \]

• \(\hat{p}_1\) é a proporção de sucesso na população 1 e \(n_1\) é o tamanho da amosta da população 1;
• \(\hat{p}_2\) é a proporção de sucesso na população 2 e \(n_2\) é o tamanho da amosta da população 2;
• \(\hat{p}\) é a proporção de sucesso nas duas populações.

Equação matemática

• \(p_1\) é a proporção populacional de sucesso da população 1
• \(p_2\) é a proporção populacional de sucesso da população 2

Google Planilha

=VALOR_P_TESTE_Z_PROP(intervalo1;intervalo2;sucesso;tipo)

• intervalo1: células com dados da população 1.
• intervalo2: células com dados da população 2.
• sucesso: categoria que indica sucesso.
• tipo: “less”, “greater” ou “two_sided”.

Teste \(Z\) para \(p_1 - p_2\)

Exemplo

Ao nível de significância 5%, existe evidência que as cidades de grande porte (mais de 100 mil habitantes) apoiam, proporcionalmente, mais o circo (linguagens_orgao__3) do que cidade de pequeno porte (100 mil habitantes ou menos)?

Estatística de teste

=ESTATÍSTICA_TESTE_Z_PROP_2POP(cidade_grande[linguagens_orgao___3];cidade_pequena[linguagens_orgao___3];"Checked")

Respostas: 4,17

Valor-p

=VALOR_P_TESTE_Z_PROP_2POP(cidade_grande[linguagens_orgao___3];cidade_pequena[linguagens_orgao___3];"Checked";"greater")

Resposta: 0,00

Ao nível de significância 5%, cidades de grande apoiam proporcionalmente mais o circo do que cidades de pequeno porte.

Teste \(Z\) para \(p_1 - p_2\)

Exercício

• Existe evidência de que as capitais das regiões Sul e Sudeste apoiam, proporcionalmente, mais o Circo (v_3_2__3) com recursos próprios do que as capitais das regiões Norte, Nordeste e Centro-Oeste? Use \(\alpha=5\%\) e utilize o conjunto de dados pnab-capitais.xlsx.
• Existe evidência de cidades de grande porte apoiam, proporcionalmente, mais a Literatura (linguagens_orgao__4) do que as cidades de pequeno porte. Use \(\alpha=1\%\) e utilize o conjunto de dados respostas.xlsx.