Seu histórico da Web deve afetar sua pontuação de crédito? O FMI pensa assim

Views: 393

Um grupo de pesquisadores publicou uma postagem no blog no site do Fundo Monetário Internacional, na qual pedem uma mudança significativa na forma como as pontuações de crédito são avaliadas. Em vez de se basear em métricas tradicionais, o grupo acredita que os bancos devem começar a incorporar informações adicionais, incluindo o histórico do seu navegador.

A ascensão dos serviços de fintech e criptomoedas mudou o banco moderno de várias maneiras, e os bancos enfrentam um número crescente de desafios à medida que vários processadores de pagamentos terceirizados se interpõem entre instituições financeiras e seus clientes tradicionais. Os sistemas de pontuação de crédito usados amplamente nos EUA e na Europa são baseados nas chamadas informações “duras” — pagamentos de contas, recibos de pagamento e quanto do seu limite de crédito atual você está aproveitando.

Os pesquisadores apontam que as chamadas pontuações de crédito “duras” têm dois problemas significativos. Primeiro, os bancos tendem a reduzir a disponibilidade de crédito durante uma recessão, que é quando as pessoas mais precisam de ajuda. Em segundo lugar, pode ser difícil para empresas e indivíduos sem histórico de crédito começarem a criar um. Há um pouco de catch-22 no sistema, na medida em que o que você precisa para persuadir uma instituição a emprestar dinheiro é um histórico de crédito que você não tem, porque ninguém lhe emprestará dinheiro.

Tendo identificado duas falhas no sistema existente, os autores escrevem:

O surgimento da internet permite o uso de novos tipos de dados não financeiros de clientes, como históricos de navegação e comportamento de compras on-line de indivíduos, ou classificações de clientes para fornecedores on-line.

A literatura sugere que esses dados não financeiros são valiosos para a tomada de decisões financeiras. Berg et al. (2019) mostram que informações fáceis de coletar, como a chamada “pegada digital” (provedor de e-mail, operadora de celular, sistema operacional, etc.), funcionam bem como as pontuações de crédito tradicionais na avaliação do risco do mutuário. Além disso, existem complementaridades entre dados financeiros e não financeiros: combinar pontuações de crédito e pegada digital melhora ainda mais as previsões de inadimplência do empréstimo. Assim, a incorporação de dados não financeiros pode levar a ganhos significativos de eficiência na intermediação financeira.

Em uma postagem no blog publicada no site do FMI, os autores também escrevem: “Documentos de pesquisa recentes que, antes alimentados por inteligência artificial e aprendizado de máquina, essas fontes de dados alternativas geralmente são superiores aos métodos tradicionais de avaliação de crédito”.

Por mais que os autores deste artigo saibam sobre sistemas bancários e finanças, eles claramente não estão atualizados sobre as últimas pesquisas de IA. Esta é uma má ideia em geral, mas é uma ideia realmente terrível agora.

O primeiro grande problema com esta proposta é que não há evidências de que a IA seja capaz dessa tarefa ou de que será em breve. Em uma entrevista ao The Guardian no início deste verão, a pesquisadora de IA da Microsoft Kate Crawford fez algumas observações duras sobre a realidade atual da inteligência artificial, apesar de trabalhar para um dos líderes no campo: “A IA não é artificial nem inteligente. É feito de recursos naturais e são as pessoas que estão realizando as tarefas para fazer com que os sistemas pareçam autônomos.”

Quando perguntado sobre o problema específico de viés na IA, Crawford disse:

Várias vezes, vemos esses sistemas produzindo erros – as mulheres ofereceram menos crédito por algoritmos de credibilidade, rostos negros rotulados incorretamente – e a resposta tem sido: “Só precisamos de mais dados”. Mas eu tentei olhar para essas lógicas mais profundas de classificação e você começa a ver formas de discriminação, não apenas quando os sistemas são aplicados, mas em como eles são construídos e treinados para ver o mundo. Conjuntos de dados de treinamento usados para software de aprendizado de máquina que categorizam casualmente as pessoas em apenas um dos dois gêneros; que rotulam as pessoas de acordo com sua cor de pele em uma das cinco categorias raciais e que tentam, com base na aparência das pessoas, atribuir caráter moral ou ético. A ideia de que você pode fazer essas determinações com base na aparência tem um passado sombrio e, infelizmente, a política de classificação tornou-se incorporada aos substratos da IA.

Esta não é apenas a opinião de uma única pessoa. A Gartner já projetou que 85% dos projetos de IA até 2022 “entregarão resultados errôneos devido a viés de dados, algoritmos ou equipes responsáveis por gerenciá-los”. Um Hackathon recente do Twitter encontrou provas de que o algoritmo de corte de fotos do site era implicitamente tendencioso contra pessoas idosas, pessoas com deficiência, negros e muçulmanos, e frequentemente os cortava de fotografias. Desde então, o Twitter interrompeu o uso do algoritmo porque esses tipos de problemas de viés não são do melhor interesse de ninguém.

Embora minha própria pesquisa esteja longe da fintech, passei os últimos 18 meses experimentando ferramentas de upscaling alimentadas por IA, como os leitores regulares da ExtremeTech sabem. Eu usei muito o Topaz Video Enhance AI e experimentei algumas outras redes neurais também. Embora essas ferramentas sejam capazes de oferecer melhorias notáveis, é um vídeo raro que pode simplesmente ser jogado no TVEAI com a expectativa de que o ouro chegue pelo outro lado.

Este quadro não é fabuloso, mas também não é tão ruim em relação ao material de origem original. Se você não estivesse prestando atenção, talvez não percebesse o quão mal Dax é renderizado em segundo plano (ela é a mulher sentada no console na parte de trás).

Aqui está o quadro 8829 do episódio “Defiant” de Star Trek: Deep Space Nine. A qualidade do quadro é razoável, dado o ponto de partida da fonte, mas temos um erro gritante diante de Jadzia Dax. Esta é a saída de um único modelo e eu misturo a saída de vários modelos para melhorar as primeiras temporadas do DS9. Nesse caso, todos os modelos que eu tentei estavam quebrando nesta cena de uma forma ou de outra. Estou mostrando a saída da Artemis Medium Quality neste caso.

Isso é o que acontece quando ampliamos. Dax não é nem um Navi nem tradicionalmente traduzido no estilo de arte do Antigo Egito.

Essa distorção específica acontece uma vez em todo o episódio. A maioria dos modelos Topaz (e todos os modelos não Topázios que testei) tiveram esse problema e se mostraram resistentes ao reparo. Não há muitos pixels representando o rosto dela e a qualidade MPEG-2 original é baixa. Não há um único modelo de IA que trate um episódio inteiro de S1 – S3 corretamente que eu já encontrei, mas essa é de longe a pior distorção em todo o episódio. Também fica na tela apenas alguns segundos antes que ela se mova e a situação melhore.

A melhor saída de reparo que gerenciei é assim, usando o modelo Proteus da TVEAI:

Usando um modelo diferente, podemos semi-reparar o dano — mas não completamente. Muita IA é assim atualmente. Capaz, mas limitado, e dependente da supervisão humana.

Há uma razão pela qual estou usando a edição de vídeo para falar sobre problemas em fintech: a IA ainda não está nem perto de ser perfeita, em qualquer campo de estudo. A “conserto” acima é imperfeita, mas são necessárias horas de testes cuidadosos para serem alcançadas. Nos bastidores do que várias empresas presunçosamente chamam de “IA” há muitos humanos realizando muito trabalho. Isso não significa que não haja progresso real sendo feito, mas esses sistemas não estão nem de longe tão infalíveis quanto o ciclo de hype os fez parecer.

No momento, estamos em um ponto em que os aplicativos podem produzir alguns resultados surpreendentes, até o ponto de fazer descobertas científicas genuínas. Os seres humanos, no entanto, ainda estão profundamente envolvidos em todas as etapas do processo. Mesmo assim, há erros. Corrigir esse erro em particular requer substituir a saída de um modelo totalmente diferente pela duração desta cena. Se eu não estivesse assistindo ao episódio com cuidado, poderia ter perdido completamente o problema. A IA tem um problema semelhante em geral. As empresas que lutaram com preconceitos em suas redes de IA não tinham intenção de colocá-lo lá. Foi criado devido a vieses nos próprios conjuntos de dados subjacentes. E o problema com esses conjuntos de dados é que, se você não examiná-los com cuidado, pode acabar pensando que sua saída é composta inteiramente de quadros como o abaixo, em oposição à cena de danos acima:

Isso é mais típico da saída final; a qualidade absoluta é limitada pela fonte original. Não há distorções flagrantes ou outros problemas. A supervisão humana desses processos é necessária porque as ferramentas de IA ainda não são boas o suficiente para sempre acertar 100% do tempo. As ferramentas Fintech também não são.

Mesmo que o componente de IA desta equação estivesse pronto para confiar, as questões de privacidade são outra grande preocupação. As empresas podem estar experimentando rastrear vários aspectos do comportamento “suave” do consumidor, mas a ideia de vincular sua pontuação de crédito ao seu histórico na web é muito semelhante à pontuação de crédito social agora atribuída a todos os cidadãos pela China. Naquele país, dizer as coisas erradas ou visitar os sites errados pode resultar na negação de empréstimos ou acesso a certos eventos sociais aos membros da família. Embora o sistema contemplado não seja tão draconiano, ainda é um passo na direção errada.

Os Estados Unidos não têm nenhum quadro legal que seria necessário para implantar um sistema de monitoramento de crédito como este. Qualquer banco ou instituição financeira que deseje usar a IA para tomar decisões sobre a credibilidade dos candidatos com base em seu navegador e histórico de compras precisa ser auditada regularmente quanto a preconceitos contra qualquer grupo. Os pesquisadores que escreveram este documento para o FMI falam sobre acumular os históricos de compras das pessoas sem considerar que muitas pessoas usam a internet para comprar coisas que têm vergonha de entrar em uma loja e comprar. Quem decide quais lojas e fornecedores contam e quais não contam? Quem cuida dos dados para garantir que informações intensamente embaraçosas não vazem, seja de propósito ou por hackers em geral?

O fato de que instituições financeiras não bancárias podem estar jonesing para usar alguns desses dados (ou já usá-los) não é motivo para permitir isso. É uma razão para ficar o mais longe possível dessas organizações. A IA não está pronta para isso. Nossas leis de privacidade não estão prontas para isso. A mensagem consistente de pesquisadores respeitáveis e sóbrios que trabalham no campo é que não estamos longe de estar prontos para transformar tais considerações vitais em uma caixa preta. Os autores que escreveram este artigo podem ser assistentes absolutos do setor bancário, mas seu otimismo sobre o estado de curto prazo das redes de IA está deslocado.

Poucas coisas são mais importantes na vida moderna do que o histórico financeiro e de crédito, e isso é motivo suficiente para se mover excepcionalmente devagar no que diz respeito à IA. Dê uma ou duas décadas e verifique então, ou passaremos as próximas décadas limpando injustiças infligidas contra vários indivíduos literalmente sem culpa própria.

FONTE: EXTREME TECH