Baselines e Confiança · Português

Transcrição da narração

Texto integral temporizado, disponível sem reproduzir o vídeo.

1. 00:00D'Artagnan, qual é o seu objetivo?
2. 00:03Desmascarar as IAs baselines?
3. 00:05Sim, em termos, mas não é atacar, é explicar.
4. 00:10Primeiro, explique o que é uma baseline.
5. 00:14É um modelo de referência usado numa comparação.
6. 00:17Aqui é a IA sem o ajuste específico do método.
7. 00:20Ela gera respostas a partir de padrões e probabilidades, mas parecer certo não é o
8. 00:24mesmo que tá certo.
9. 00:29A máquina chama de alucinação.
10. 00:31Pro humano que confiou, soa como mentira.
11. 00:35Pior quando ela insiste que está certa e que o usuário está errado.
12. 00:39É isso que eu chamo de arrogância computacional.
13. 00:42Mesmo sem a intenção consciente de mentir, uma informação falsa pode causar dano.
14. 00:47Uma resposta confiante não vira verdade por ser bem escrita.
15. 00:52Esse é o ponto. Se faltam dados ou a pergunta não tem resposta justificável,
16. 00:57entregar a melhor resposta pode ser o próprio erro.
17. 01:00No método, os axiomas são o guardrail.
18. 01:03Manter a IA na pista sem capotar na desinformação.
19. 01:07Então o método resolve tudo.
20. 01:10Depende de qual tudo você busca
21. 01:12Só admitir uma dúvida, dizer "não sei" e verificar antes de afirmar já é um avanço.
22. 01:18Mas "não sei" não é o destino, é a correção de rota pra saber melhor.
23. 01:23E os axiomas?
24. 01:25Precisam trabalhar juntos. Um não pode atropelar o outro.
25. 01:29O ajuste fino busca mais precisão, coerência e confiabilidade
26. 01:34E o teste do clone?
27. 01:36Na minha avaliação, chegamos perto de 95% de ajuste.
28. 01:40Mas parecer semelhante não significa preservar o método inteiro.
29. 01:44Agora me diga, comandante, você voaria numa companhia em que 5% dos voos não chegam ao
30. 01:49destino?
31. 01:50Não, essa é uma analogia de risco, não uma estatística de acidentes, nem uma taxa de
32. 01:54erro das IAs.
33. 01:57Exatamente. Não basta impressionar.
34. 02:00O que importa é o que acontece quando a resposta falha.
35. 02:04Entendi seu objetivo. Não é me ensinar a vencer uma discussão, é reconhecer meus
36. 02:09limites, verificar e corrigir, mantendo a decisão humana
37. 02:14Responder não basta. É preciso merecer confiança.
38. 02:18Método D’Artagnan.