A inteligência artificial é "muito diferente" das armas nucleares, pois estas últimas "só podem ser usadas para fazer coisas ruins", mas isso não significa que não haja riscos de a tecnologia nos exterminar, mesmo que ela não queira isso 'conscientemente', afirma Hinton, um engenheiro de IA veterano cujo trabalho remonta à década de 70.
Suponha que eu dissesse a um agente de IA muito inteligente: 'faça tudo o que puder para reduzir a quantidade de dióxido de carbono na atmosfera'. Bem, um agente moderadamente inteligente descobriria que a melhor coisa a fazer é simplesmente se livrar das pessoas, e então elas parariam de queimar carbono”, explicou ele numa entrevista.
Uma "IA realmente inteligente" provavelmente entenderia o que queremos dizer, "mas a preocupação é que ela faça" outras "coisas que não queremos e, em particular, coisas relacionadas à sua própria sobrevivência, porque ela terá um forte objetivo secundário de sobreviver, e já vimos isso acontecer."
O problema é equilibrar as IAs atuais - cujo objetivo principal é "realizar tarefas" - com a criação de uma "IA altamente inteligente" que realmente se preocupe "com o nosso bem-estar mais do que com o seu próprio".
Isso se complica pelo fato de as empresas de IA serem administradas por bilionários obcecados com a sua riqueza e com o medo de "ficar para trás da China", o que aumenta a tolerância ao risco, diz Hinton.
@geopolitics_prime