class: center, middle, inverse, title-slide # Case: Câmaras Criminais ## <hr/> --- # Objetivos de aprendizagem de hoje #### Compreender o case das __câmaras criminais__. -- #### Compreender o que é uma distribuição de __probabilidades__, e o que é distribuição __aleatória__. -- #### Compreender como transcrever uma __pergunta jurídica__ em uma __pergunta jurimétrica__. --- class: middle # Guia para os slides #### Slides sobre o case: __<span style="color:#3B0F70;">marca azul</span>__ #### Slides sobre pesquisa/ciência: __<span style="color:#7AD151;">marca verde</span>__ #### Slides sobre estatística: __<span style="color:#DE4968;">marca rosa</span>__ --- class: center, middle, inverse # Fluxo de uma pesquisa --- class: jurimetrics # Definição de hipóteses <img src="img/metodologia.png" width="100%" style="display: block; margin: auto;" /> --- class: jurimetrics # Coleta de dados .pull-left[ #### Download <img src="img/download_esaj.png" width="100%" style="display: block; margin: auto;" /> ] -- .pull-right[ #### Arrumação <img src="img/tidy_esaj.png" width="100%" style="display: block; margin: auto;" /> ] -- .center[ #### Visualização / Modelagem ] <img src="img/model_esaj.png" width="50%" style="display: block; margin: auto;" /> --- class: center, middle, inverse # Sobre o case --- class: case # Base de dados __Recorte regional__: Tribunal de Justiça de São Paulo __Recorte temporal__: Acórdãos publicados entre 01 de janeiro e 31 de dezembro de 2013. __Recorte de escopo__: apenas acórdãos relativos a recursos de pessoas contra o Ministério Público, nas 16 câmaras criminais e 4 câmaras extraordinárias. No final, ficaram 57.625 decisões a serem analisadas. --- class: case # Taxa de reforma A taxa de reforma é calculada pela proporção de decisões em que o resultado é __favorável__. No entanto, existem algumas nuances - O que fazer com os casos parcialmente favoráveis? - O que fazer com casos que não foram conhecidos? Para os fins do estudo: não conhecidos e negados foram considerados como __não-reforma__. Todos os outros casos foram considerados como reforma, seja parcial ou total. --- class: case # Taxa de reforma por câmara <div id="htmlwidget-915090ec439cf374261d" style="width:100%;height:504px;" class="plotly html-widget"></div> <script type="application/json" data-for="htmlwidget-915090ec439cf374261d">{"x":{"data":[{"orientation":"v","width":[0.00787401574803148,0.00579290369297614,0.0142857142857142,0.00610004066693781,0.00696864111498252,0.00349854227405255,0.00684931506849318,0.00405770964833185,0.00216825672159582,0.00736335315774572,0.00683670786221402,0.00452488687782804,0.00981546917942677,0.00509716470213439,0.00799467021985345,0.00401978973407546],"base":[9.55,10.55,15.55,7.55,8.55,11.55,12.55,13.55,14.55,4.55,0.55,2.55,1.55,5.55,6.55,3.55],"x":[0.996062992125984,0.997103548153512,0.992857142857143,0.996949979666531,0.996515679442509,0.998250728862974,0.996575342465753,0.997971145175834,0.998915871639202,0.996318323421127,0.996581646068893,0.997737556561086,0.995092265410287,0.997451417648933,0.996002664890073,0.997990105132962],"y":[0.899999999999999,0.899999999999999,0.899999999999999,0.899999999999999,0.899999999999999,0.899999999999999,0.899999999999999,0.899999999999999,0.899999999999999,0.9,0.9,0.9,0.9,0.9,0.9,0.9],"text":["0.79%","0.58%","1.43%","0.61%","0.70%","0.35%","0.68%","0.41%","0.22%","0.74%","0.68%","0.45%","0.98%","0.51%","0.80%","0.40%"],"type":"bar","marker":{"autocolorscale":false,"color":"rgba(59,15,112,1)","line":{"width":1.88976377952756,"color":"transparent"}},"name":"Outros","legendgroup":"Outros","showlegend":true,"xaxis":"x","yaxis":"y","hoverinfo":"text","frame":null},{"orientation":"v","width":[0.105511811023622,0.124185372918175,0.307722007722008,0.0821472143147621,0.142566782810685,0.147521865889213,0.168348954578226,0.186654643823264,0.215958369470945,0.106202209005947,0.0504864580594268,0.0707013574660633,0.0639968590498625,0.129659127110545,0.192871419053964,0.0677179962894249],"base":[9.55,10.55,15.55,7.55,8.55,11.55,12.55,13.55,14.55,4.55,0.55,2.55,1.55,5.55,6.55,3.55],"x":[0.939370078740158,0.932114409847936,0.831853281853282,0.952826352175681,0.921747967479675,0.922740524781341,0.908976207642394,0.902614968440036,0.889852558542932,0.939535542339281,0.967920063108073,0.96012443438914,0.958186101295642,0.930073271742593,0.895569620253165,0.962121212121212],"y":[0.899999999999999,0.899999999999999,0.899999999999999,0.899999999999999,0.899999999999999,0.899999999999999,0.899999999999999,0.899999999999999,0.899999999999999,0.9,0.9,0.9,0.9,0.9,0.9,0.9],"text":["10.55%","12.42%","30.77%","8.21%","14.26%","14.75%","16.83%","18.67%","21.60%","10.62%","5.05%","7.07%","6.40%","12.97%","19.29%","6.77%"],"type":"bar","marker":{"autocolorscale":false,"color":"rgba(140,41,129,1)","line":{"width":1.88976377952756,"color":"transparent"}},"name":"Provido","legendgroup":"Provido","showlegend":true,"xaxis":"x","yaxis":"y","hoverinfo":"text","frame":null},{"orientation":"v","width":[0.408188976377953,0.405865314989138,0.518918918918919,0.379015860105734,0.328977932636469,0.403498542274052,0.463590483056957,0.540126239855726,0.54683434518647,0.236760124610592,0.131738101498817,0.21210407239819,0.138201806046329,0.283848359350111,0.245169886742172,0.244588744588745],"base":[9.55,10.55,15.55,7.55,8.55,11.55,12.55,13.55,14.55,4.55,0.55,2.55,1.55,5.55,6.55,3.55],"x":[0.68251968503937,0.66708906589428,0.418532818532819,0.722244814965433,0.685975609756098,0.647230320699708,0.593006488824802,0.539224526600541,0.508456201214224,0.768054375531011,0.876807783328951,0.818721719457014,0.857086768747546,0.723319528512265,0.676548967355097,0.805967841682127],"y":[0.899999999999999,0.899999999999999,0.899999999999999,0.899999999999999,0.899999999999999,0.899999999999999,0.899999999999999,0.899999999999999,0.899999999999999,0.9,0.9,0.9,0.9,0.9,0.9,0.9],"text":["40.82%","40.59%","51.89%","37.90%","32.90%","40.35%","46.36%","54.01%","54.68%","23.68%","13.17%","21.21%","13.82%","28.38%","24.52%","24.46%"],"type":"bar","marker":{"autocolorscale":false,"color":"rgba(222,73,104,1)","line":{"width":1.88976377952756,"color":"transparent"}},"name":"Parcialmente","legendgroup":"Parcialmente","showlegend":true,"xaxis":"x","yaxis":"y","hoverinfo":"text","frame":null},{"orientation":"v","width":[0.478425196850394,0.46415640839971,0.159073359073359,0.532736884912566,0.521486643437863,0.445481049562682,0.361211247296323,0.269161406672678,0.235039028620989,0.649674313225715,0.810938732579543,0.712669683257919,0.787985865724382,0.581395348837209,0.553964023984011,0.683673469387755],"base":[9.55,10.55,15.55,7.55,8.55,11.55,12.55,13.55,14.55,4.55,0.55,2.55,1.55,5.55,6.55,3.55],"x":[0.239212598425197,0.232078204199855,0.0795366795366795,0.266368442456283,0.260743321718931,0.222740524781341,0.180605623648161,0.134580703336339,0.117519514310494,0.324837156612858,0.405469366289771,0.356334841628959,0.393992932862191,0.290697674418605,0.276982011992005,0.341836734693878],"y":[0.899999999999999,0.899999999999999,0.899999999999999,0.899999999999999,0.899999999999999,0.899999999999999,0.899999999999999,0.899999999999999,0.899999999999999,0.9,0.9,0.9,0.9,0.9,0.9,0.9],"text":["47.84%","46.42%","15.91%","53.27%","52.15%","44.55%","36.12%","26.92%","23.50%","64.97%","81.09%","71.27%","78.80%","58.14%","55.40%","68.37%"],"type":"bar","marker":{"autocolorscale":false,"color":"rgba(254,159,109,1)","line":{"width":1.88976377952756,"color":"transparent"}},"name":"Negaram","legendgroup":"Negaram","showlegend":true,"xaxis":"x","yaxis":"y","hoverinfo":"text","frame":null}],"layout":{"margin":{"t":23.3059360730594,"r":7.30593607305936,"b":37.2602739726027,"l":84.0182648401827},"font":{"color":"rgba(0,0,0,1)","family":"","size":14.6118721461187},"xaxis":{"domain":[0,1],"automargin":true,"type":"linear","autorange":false,"range":[-0.05,1.05],"tickmode":"array","ticktext":["0%","25%","50%","75%","100%"],"tickvals":[0,0.25,0.5,0.75,1],"categoryorder":"array","categoryarray":["0%","25%","50%","75%","100%"],"nticks":null,"ticks":"","tickcolor":null,"ticklen":3.65296803652968,"tickwidth":0,"showticklabels":true,"tickfont":{"color":"rgba(77,77,77,1)","family":"","size":11.689497716895},"tickangle":-0,"showline":false,"linecolor":null,"linewidth":0,"showgrid":true,"gridcolor":"rgba(235,235,235,1)","gridwidth":0.66417600664176,"zeroline":false,"anchor":"y","title":{"text":"Proporção","font":{"color":"rgba(0,0,0,1)","family":"","size":14.6118721461187}},"hoverformat":".2f"},"yaxis":{"domain":[0,1],"automargin":true,"type":"linear","autorange":false,"range":[0.4,16.6],"tickmode":"array","ticktext":["4ª Câmara","6ª Câmara","5ª Câmara","9ª Câmara","3ª Câmara","7ª Câmara","8ª Câmara","13ª Câmara","14ª Câmara","10ª Câmara","11ª Câmara","15ª Câmara","16ª Câmara","1ª Câmara","2ª Câmara","12ª Câmara"],"tickvals":[1,2,3,4,5,6,7,8,9,10,11,12,13,14,15,16],"categoryorder":"array","categoryarray":["4ª Câmara","6ª Câmara","5ª Câmara","9ª Câmara","3ª Câmara","7ª Câmara","8ª Câmara","13ª Câmara","14ª Câmara","10ª Câmara","11ª Câmara","15ª Câmara","16ª Câmara","1ª Câmara","2ª Câmara","12ª Câmara"],"nticks":null,"ticks":"","tickcolor":null,"ticklen":3.65296803652968,"tickwidth":0,"showticklabels":true,"tickfont":{"color":"rgba(77,77,77,1)","family":"","size":11.689497716895},"tickangle":-0,"showline":false,"linecolor":null,"linewidth":0,"showgrid":true,"gridcolor":"rgba(235,235,235,1)","gridwidth":0.66417600664176,"zeroline":false,"anchor":"x","title":{"text":"Órgão Julgador","font":{"color":"rgba(0,0,0,1)","family":"","size":14.6118721461187}},"hoverformat":".2f"},"shapes":[{"type":"rect","fillcolor":null,"line":{"color":null,"width":0,"linetype":[]},"yref":"paper","xref":"paper","x0":0,"x1":1,"y0":0,"y1":1}],"showlegend":true,"legend":{"bgcolor":null,"bordercolor":null,"borderwidth":0,"font":{"color":"rgba(0,0,0,1)","family":"","size":11.689497716895},"y":-0.2,"orientation":"h"},"annotations":[{"text":"Decisão","x":1.02,"y":1,"showarrow":false,"ax":0,"ay":0,"font":{"color":"rgba(0,0,0,1)","family":"","size":14.6118721461187},"xref":"paper","yref":"paper","textangle":-0,"xanchor":"left","yanchor":"bottom","legendTitle":true}],"hovermode":"closest","barmode":"relative"},"config":{"doubleClick":"reset","showSendToCloud":false},"source":"A","attrs":{"21f563b4228c":{"x":{},"y":{},"fill":{},"text":{},"type":"bar"}},"cur_data":"21f563b4228c","visdat":{"21f563b4228c":["function (y) ","x"]},"highlight":{"on":"plotly_click","persistent":false,"dynamic":false,"selectize":false,"opacityDim":0.2,"selected":{"opacity":1},"debounce":0},"shinyEvents":["plotly_hover","plotly_click","plotly_selected","plotly_relayout","plotly_brushed","plotly_brushing","plotly_clickannotation","plotly_doubleclick","plotly_deselect","plotly_afterplot","plotly_sunburstclick"],"base_url":"https://plot.ly"},"evals":[],"jsHooks":[]}</script> --- class: case # Insegurança jurídica? Partindo-se da premissa de que a distribuição dos recursos é __aleatória__, o fato de câmaras diferentes apresentarem uma diferença significativa nas taxas de reforma é um indício de insegurança jurídica? -- Pode ser que sim, mas existem alguns pontos que precisamos checar duas coisas. 1. O que é distribuição aleatória? 1. As câmaras apresentam diferenças de competência (julgam assuntos diferentes)? --- # Resumo: introdução - Para realizar uma pesquisa jurimétrica, precisamos definir nossas perguntas de pesquisa antes de realizar a coleta. - Os parâmetros da coleta precisam ser bem especificados. - Algumas perguntas podem surgir durante a análise dos dados. --- class: center, middle # Quiz 1 <img src="img/cat.gif" width="40%" style="display: block; margin: auto;" /> ## https://forms.office.com/r/26ZzqdH1Sh --- class: center, middle, inverse # Conceitos estatísticos --- class: stats # Probabilidade Probabilidade é uma __função matemática__ que mede um __evento__. A função matemática da probabilidade deve atender a dois axiomas, denominados axiomas de Kolmogorov: 1. A probabilidade é um número maior ou igual a zero. 2. A probabilidade do todo é igual a um. 3. A probabilidade da união de eventos disjuntos é a probabilidade da soma destes eventos. .pull-left[ <img src="img/disjoint_0.gif" width="80%" style="display: block; margin: auto;" /> ] .pull-right[ <img src="img/intersect.gif" width="80%" style="display: block; margin: auto;" /> ] Fonte: [Math goodies](https://www.mathgoodies.com/lessons/vol6/mutually_exclusive). --- class: stats # Interpretação da probabilidade A função matemática da probabilidade é algo imutável. Mas a interpretação da probabilidade pode variar! .panelset[ .panel[ .panel-name[Interpretação frequentista] A probabilidade de um evento é o limite de uma frequência relativa. <img src="02-camaras_files/figure-html/unnamed-chunk-9-1.gif" width="90%" style="display: block; margin: auto;" /> ] .panel[ .panel-name[Interpretação bayesiana] A probabilidade é a medida da sua incerteza a respeito da ocorrência de um evento. <img src="img/bayesian-statistics.jpg" width="30%" style="display: block; margin: auto;" /> ] ] --- class: stats # Distribuição de probabilidades .panelset[ .panel[ .panel-name[O que vai acontecer?] <img src="02-camaras_files/figure-html/unnamed-chunk-11-1.gif" width="90%" style="display: block; margin: auto;" /> Fonte: [O segredo da meritocracia](https://www.youtube.com/watch?v=YINTTVjBrY4) ] .panel[ .panel-name[Resultado] <img src="img/atila.gif" width="90%" style="display: block; margin: auto;" /> Fonte: [O segredo da meritocracia](https://www.youtube.com/watch?v=YINTTVjBrY4) ] ] --- class: case # Distribuição aleatória No nosso caso, pela leitura da estrutura do TJSP, [__não existe__](https://www.tjsp.jus.br/SecaoDireitoPrivado/SecaoDireitoPrivado/ComposicaoGruposCamaras) uma diferença de competência entre as câmaras criminais ordinárias. Além disso, os recursos são distribuidos aleatoriamente entre câmaras. -- Como o algoritmo de aleatorização do TJSP é __fechado__, não conseguimos garantir com certeza de que o (ver [este artigo](https://arxiv.org/abs/2008.06709) para uma solução aberta). -- __Possível solução__: forçamos as __distribuições de assuntos__ (furto, roubo, etc) a serem parecidas em todas as câmaras, e verificamos o impacto na taxa de reforma. --- class: case # Simulação no nosso caso 1. Pegamos a distribuição dos assuntos considerando todos os dados. Ou seja, temos a probabilidade de cada assunto ocorrer. 2. Em cada câmara, fizemos uma __reamostragem__, utilizando as probabilidades obtidas em (1). Dessa forma, garantimos que todas as câmaras têm a mesma proporção de processos de cada assunto. --- class: stats # Resumo: conceitos estatísticos - Probabilidade é uma função matemática que mede eventos no intervalo entre zero e um. - Reamostragem é uma técnica utilizada para obter amostras dos dados que estamos analisando, mantendo ou não a mesma distribuição de probabilidades. - No nosso caso, utilizamos reamostragem para balancear a distribuição dos assuntos em cada câmara. --- class: center, middle # Quiz 2 <img src="img/cat.gif" width="40%" style="display: block; margin: auto;" /> # https://forms.office.com/r/93Xhda1SdV --- class: case # Resultados Mesmo com a reamostragem, os resultados se mantêm. Ou seja, a variabilidade nas taxas de reforma entre câmaras não pode ser explicada pelos tipos de processos que estão sendo julgados. Então o que explica a variabilidade taxa de reforma? -- Hipótese mais provável: magistrados se agrupam por afinidade, gerando câmaras com __alta unanimidade__. __Unanimidade__: gira em torno de 95% nas câmaras criminais. --- class: case # Insegurança jurídica: revisited A insegurança jurídica, no nosso caso, reside no fato da câmara de julgamento ser um fator importante para predizer qual será o resultado do processo, e que isso não tem a ver com os fatos do processo. Isso é um comportamento indesejado? -- <hr/> .center[ #### Insegurança jurídica x produtividade judiciária #### Necessidade da decisão colegiada ] <hr/> --- class: case # Próximos passos ### Análise dos votos O que aconteceria se os magistrados fossem __alocados aleatoriamente__ entre câmaras? A taxa de unanimidade cairia ou os magistrados sempre seguem o relator? -- ### Procedência parcial A definição de reforma/não reforma poderia ser aprofundada a partir da análise do que está sendo reformado. Pode ser que a diferença entre as taxas esteja na __forma de negar__ um recurso, não no que está sendo decidido. --- class: center, middle, inverse # Obrigado! ### [Julio Trecenti](mailto:jaztrecenti@pucsp.br)