Na interseção de AI/ML e HCI com Dogulas Eck do Google (MongoDB Podcast)
Avalie esse Podcast
Doug Eck é o principal cientista do Google e diretor de pesquisa da Brain Team. Ele criou o projeto de pesquisa em andamento, Magenta, que se concentra no papel do aprendizado de máquina no processo de criação de arte e música. Ele está se juntando a Anaiya Raisinghani, Michael Lynne Nic Raboy hoje para discutir todas as coisas de inteligência artificial, aprendizado de máquina e para nos dar algumas dicas sobre seu papel no Google.
Vamos mergulhar de cabeça na HCI (Human Computer Interaction), o novo modelo de linguagem GPT-3 do Google, e discutir alguns dos problemas difíceis com a combinação de bancos de dados e aprendizado profundo. Com todo o hype em torno da AI, você pode ter algumas dúvidas sobre seu passado e futuro potencial, portanto, fique atento para ouvir um dos melhores do Google.
Doug Eck :[00:00:00] Olá a todos. Meu nome é Doug Eck e bem-vindo ao podcast do MongoDB.
Michael Lynn : [00:00:08] Bem-vindo ao show. Hoje estamos conversando com Doug Eck. Ele é o principal cientista do Google e diretor de pesquisa da Brain Team. Ele também criou e ajuda a liderar a equipe Magenta, um projeto de pesquisa em andamento que explora o papel do aprendizado de máquina e o processo de criação de arte e música. O episódio de hoje foi produzido e a entrevista conduzida por Anaiya Raisinghani. Ela é estagiária de verão aqui no MongoDB. Ela está fazendo um trabalho fantástico. Espero que você goste deste episódio.
Temos alguns convidados hoje e nosso primeiro convidado é um estagiário de verão no MongoDB.
Anaiya Rashinghani : [00:00:55] Olá a todos. Meu nome é Anaiya Raraisinghani e estou o estagiário de apoio do desenvolvedor aqui no MongoDB.
michael lynn : [00:01:01] Bem, bem-vindo ao programa. É ótimo ter você no podcast. Antes de começarmos, por que você não conta ao pessoal um pouco sobre você?
Anaiya Rashinghani : [00:01:08] Sim, é claro. I'm da área da baia. Cresci aqui e Go na Universidade do Sul daCalifórniaem L.A. Meu curso de graduação é em Linguística Computacional, que é meio CS, meio linguística. E gostaria de dizer que meu interesse geral por AI vem mesmo das aulas legais que tenho a oportunidade única de fazer, como reconhecimento de voz, processamento de linguagem natural, e apenas a possibilidade de usar bibliotecas de aprendizado de máquina como o TensorFlow em alguns dos meus cursos projetos. Então, me sentido muito sortudo por ter sido exposto à AI mais cedo do que a maioria.
michael lynn : [00:01:42] Bem, ótimo. E entender que você Trouxe um convidado com você hoje. Você quer falar um pouco sobre quem é e o que vamos discutir hoje?
Anaiya Raisinghani : [00:01:48] Sim, com certeza. Então, hoje temos um convidado muito, muito especial, Doug Eck, que é o principal cientista do Google, diretor de pesquisa da Equipe do Cérebro e criador do Magenta, então hoje vamos conversar sobre aprendizado de máquina, AI e alguns outros tópicos divertidos. Muito obrigado, Doug, por estar aqui hoje.
Doug Eck :[00:02:07] Estou muito feliz por estar aqui, Anaiya.
michael lynn : [00:02:08] Bem, Doug, é ótimo ter você no programa. Muito obrigado por dedicar um tempo para falar conosco. E, neste ponto, gostaria de entregá-lo a Anaiya. Ela tem algumas perguntas preparadas. Este é o seu campo de trabalho, e ela tem alguma paixã o e interesse por ele. Então, vamos abordar alguns tópicos realmente interessantes no espaço de aprendizado de máquina. E Anaiya, direi para você.
Anaiya Rashinghani : [00:02:30] Ideal. Muito obrigado, mike. Só para começar, Doug, você poderia nos contar um pouco sobre o que você faz no Google?
Doug Eck :[00:02:36]Claro, obrigado, Anaiya. Bem, agora na minha carreia, eu Go a muitas reunioes. Com isso, significa que estou administrando uma grande equipe de pesquisas na equipe de pesquisa do Google e estou tentando ajudar a manter as coisas andando. Às vezes, parece que você está guiando gatos porque contratamos Pesquisadores muito talentosos e auto- dissociados que estão fazendo pesquisas fundamentais em aprendizado de máquina. Retornando um pouco, estou fazendo algo assim, meu deus, é aterrorizador de pensar, mas quase 30 anos. Em uma vida anterior quando eu era novo, como você Anaiya, eu tocou muita músicas, tocou viola. Eu era um major inglês como uma graduação, escrevendo muito e apenas continuei sendo puxado para a tecnologia. E quando terminei minha graduação, trabalhei como programador de banco de dados.
Bem, bem antes do MongoDB. E, uh, eu fez isso por alguns anos e realmente aproveitei. E então concluí que minha paixão estava em algum lugar na sobreposição entre músicas e inteligência artificial. E, naquele ponto da minha vida, não tinha certeza se poderia ter fornecido uma definição precisa de inteligência artificial, mas saberia que queria fazer isso.
Eu queria ver se poderíamos fazer com que computadores inteligentes nos ajudassem a fazer música. E então eu voltei para a pós-graduação. De alguma forma, enganei um departamento de ciência da computação para permitir que um estudante de inglês fizesse um doutorado em ciência da computação com muita matemática extra. E entrei em uma área da AI chamada aprendizado de máquina, em que nosso objetivo é criar programas de computador que aprendam a resolver problemas, em vez de tentarmos escrever a receita nós mesmos.
E, nos últimos 20 anos, participo do aprendizado de máquina como pós-doutorando, fazendo uma estágio de pós-doutorado na Suíça. E então me mudei para o Canadá e me tornei professora lá e trabalhei com ótimas pessoas na Universidade de Montreal, assim como mudei minha carreira a cada poucos anos.
Então, uh, depois de sete anos lá, mudei e vim para a Califórnia e me tornei um cientista pesquisador do Google. E tenho trabalhado muito feliz aqui no Google. Desde então, durante 11 anos, me sinto muito sortuda por ter tido a chance de fazer parte do crescimento e, eu acho, do renascimento das redes neurais e do aprendizado de máquina em várias disciplinas realmente importantes e por ter liderado um pouco de interesse em AI e criatividade.
Anaiya Raraisinghani : [00:04:45] Isso é ótimo. Muito obrigado. Atualmente, há muito sucesso em torno apenas da AI em geral e do aprendizado de máquina, mas para alguns de nossos ouvintes que podem não saber o que é, como você a descreveria da maneira que a entende?
Doug Eck : [00:04:56] Eu estava com medo de que você perguntasse isso porque eu disse, você sabe, 30 anos atrás, eu não poderia ter lhe dado uma definição nítida de AI e não tenho certeza se posso agora sem recorrer à Wikipedia e trapacear, eu definiria inteligência artificial como a tarefa de construir software que se comporta de forma inteligente. E tradicionalmente houve duas abordagens básicas para a AI no passado, no passado distante, nos anos oitenta e noventa, chamamos isso de puro versus desalinhado. Onde legal era a ideia de escrever conjuntos de regras, escrever uma receita que definisse um comportamento complexo, como traduzir uma tradução, talvez, ou escrever um livro, e depois ter programas de computador que pudessem executar essas regras. Compare isso com desalinhado, porque é um pouco mais bagunçado. Hum, em vez de pensar que conhecemos as regras, em vez disso, construímos programas que podem examinar dados e analisar grandes conjuntos de dados. Às vezes, conjuntos de dados que têm rótulos, como esta é uma imagem, esta é uma imagem de um orangotango. Esta é a imagem de uma banana, etc., e aprenda a relação entre esses rótulos e esses dados. E esse é um tipo de aprendizado de máquina em que nosso objetivo é ajudar a máquina a aprender, a resolver um problema, em vez de construir a resposta.E pelo menos a longo prazo, a evidência atual em que estamos agora em 2021, é que, para muitas, muitas tarefas difíceis, provavelmente a maioria delas, é melhor ensinar a máquina a aprender do que tentar fornecer a solução para o problema. E é assim que eu definiria um aprendizado de máquina é escrever um software que aprende a resolver problemas processando informações como conjuntos de dados, uh, o que pode sair de uma câmera, o que pode sair de um microfone. E então aprenda a aproveitar o que aprendeu com esses dados, uh, para resolver subproblemas específicos, como tradução ou, ou rotulagem, ou você os escolhe. Existem milhares de exemplos possíveis.
Anaiya Rashinghani : [00:06:51] Isso é demais. Muito obrigado. Então, eu também queria perguntar, porque você disse que de 30 anos atrás, você não teria conhecido essa definição. Como foi ver como o aprendizado de máquina melhorou ao longo dos anos? Ainda mais agora, de uma perspectiva interna do Google.
Doug Eck :[00:07:07] Pense que subestimei consistentemente a rapidez com que podemos nos mover. Talvez essa seja a natureza humana. Notei uma estatística de que, não se trata de aprendizado de máquina, mas de algo menos de 70 anos, 60, 61 anos se passaram entre o primeiro voo, os irmanos Wright e o desembarque na lua. E tipo 60 anos, não é muito longo. É impactante a rapidez com que nos mudamos. E então eu suponha que não devesse estar em retrospectiva, uma surpreendo que nós, nos movemos tão rápido. Criei uma retrospectiva em que observo a qualidade da geração de imagens. Estou certo de que todos já ouviram essas expressões hiperrealistas que na verdade não são expressões de face, ou talvez já tenham escutado uma músicas que soam muito realistas, ou talvez já tenham visto um algoritmo de aprendizado de máquina capaz de gerar um texto realmente realista, e esse tudo estava acontecer. Você sabe, nos últimos cinco anos, realmente, quer dizer, o trabalho esteve lá e as ideias estão lá e os esforço estão lá há pelo menos duas décadas, mas de alguma forma eu acha que a combinação de escala, então ter muito grande conjuntos de dados e também poder de processamento, com um computador grande ou um computador grande ou muitos computadores conectados, geralmente executando uma CPU, ou TPU é o que você pensa em uma placa de vídeo, dando-nos o poder de processamento para dimensionar muito mais informações. E, uh, eu não sabe. Foi muito legal. Quer dizer, todo ano me surpreendo por levanto de manha na segunda-feira de manha e não temo ir trabalhar, o que me faz sentir extremamente sortudo. E, uh, estou muito orgu
michael lynn : [00:08:40] Então, Doug, gostaria de perguntar a você e você meio que aludiu a isso, mas estou interessado em saber os progressos que fizemos. E ignoro que estamos nos apoiando nos Omos de Gigis e na Taxa Exponencial na qual Aumentamos os Avanços. Estou preocupado com a sua perspectiva, se você acha que é software ou hardware e talvez o que, você sabe, qual é a sua perspectiva em ambas as via em que estamos avançando.
Doug Eck : [00:09:08] Acho que é uma troca. É uma troca muito clara. Quando você tem hardware lento ou insuficiente, precisa ser muito, muito mais inteligente com seu software. Então, sem dúvida, os modelos, as abordagens que estávamos usando no final dos anos 1990, se você gosta de terminologia, se seu público gosta de suporte a chavões, máquinas vetoriais, florestas aleatórias, reforço, tudo isso é especialmente máquinas de vetores de suporte SVM são relativamente complicados. Há muitas máquinas lá. E para conjuntos de dados muito pequenos e para poder de processamento limitado, eles podem superar abordagens mais simples, uma abordagem mais simples, pode não parecer simples porque tem um nome chique, uma rede neural, o mecanismo subjacente é realmente muito simples e é tudo sobre ter uma regra muito simples para atualizar alguns números. Nós os chamamos de parâmetros, ou talvez os chamemos de pesos e redes neurais não funcionam muito bem para pequenos conjuntos de dados e para pequenas redes neurais em comparação com outras soluções. Então, nos anos 1980e 1990, parecia que eles não eram realmente muito bons.Se você escalá-los e executar uma rede neural simples e muito simples com muitos pesos, muitos parâmetros que você pode ajustar e tiver muitos dados que permitem que o modelo tenha algumas informações, para realmente se agarrar, eles funcionam surpreendentemente bem e parecem continuar funcionando cada vez melhor à medida que você aumenta os conjuntos de dados e adiciona mais poder de processamento. E isso pode ser porque eles são simples. Há um argumento a ser feito de que há algo tão simples que se adapta a diferentes conjuntos de dados, tamanhos e diferentes poderes de processamento. Podemos falar sobre cálculo, se você quiser. Podemos mergulhar na regra da cadeia. São apenas duas aplicações na regra da cadeia para chegar ao backprop.
michael lynn : [00:10:51] Grato por sua perspectiva. Eu gostaria de fazer mais uma pergunta sobre, você sabe, todos nós viemos deste digital convencional, você sabe, background de computação binária e coisas surpreendentes estão ocorrendo no espaço quático. Estou preocupado, você sabe, há algo acontecer no Google que você possa falar nesse espaço?
Doug Eck : [00:11:11] Bem, absolutamente. Temos. Então, primeira ressalva, não sou um especialista em quântica. Temos um grupo quântico de primeira linha em Santa Bárbara e eles fizeram alguns. Ele estava fazendo um grande progresso ao longo de alguns avanços no ano passado, minha compreensão da situação de que há uma certa classe de problemas que são extraordinariamente difíceis de resolver com o computador tradicional, mas que um computador quântico resolverá com relativa facilidade. E que, de fato, alguns desses problemas centrais podem formar a base para resolver uma classe muito mais ampla de problemas se você reescrever esses outros problemas como um desses problemas centrais, como fatorar números primos, etc. E eu tenho que admitir, eu simplesmente não sou um especialista quântico. Estou tão fascinado quanto você, estamos investidos. Acho que o grande ponto de interrogação é se a classe de problemas que importam para nós é grande o suficiente para justificar o investimento e, basicamente, subestimei todas as outras revoluções tecnológicas. Certo. Você sabe, como se eu não achasse que chegaríamos onde estamos agora. Então eu acho, você sabe, meu ceticismo sobre o quantum é apenas, essa é a minha personalidade, mas estou super animado com o que poderia ser.Também é possível que estejamos em uma situação em que a Quantum produza alguns avanços que nos ofereçam alguns desafios, especialmente no que diz respeito à segurança e criptografia. Se encontrarmos novas maneiras de resolver problemas massivos que levam indiretamente a sermos capazes de resolver quebra-cabeças criptográficos. Mas se houver alguma pessoa quântica na platéia e você estiver encolhendo os ombros e ficar tipo, esse cara não sabe do que está falando. Esse cara admite que realmente não sabe do que está falando.
michael lynn : [00:12:44] Eu aprecio isso. Então, eu meio que descarrei a conversa. Anaiya, você pode retomar se quiser.
Anaiya Rashinghani : [00:12:51] Ideal. Obrigado. Hm, gostaria de perguntar um pouco sobre o HCI, que é a interação ser humano com o computador, e o que você faz nesse espaço. Muitas pessoas podem não ter escutado sobre a interação ser humano-computador e os ouvintes. Posso obter um pouco de background se você quiser, então é realmente apenas um campo que se concentra no design de tecnologia de computação e na maneira como humanos e computadores interagem. E parece que, quando as pessoas pensa em inteligência artificial, a primeira coisa em que refletem são, você sabe, em bots ou grandes espaços. Então, gostaria de perguntar o que você tem feito no Google. Você acredita que o aprendizado de máquina pode realmente ajudar a avançar a interação ser humano com o computador e a forma como os humanos e as máquinas interagem eticamente?
Doug Eck :[00:13:36]Obrigado por isso. Essa é uma pergunta incrivelmente importante. Então, primeiro um pouco de prefato. Mas parece que cometemos um erro grave na forma como conversamos sobre IA e aprendizado de máquina. E, especificamente, estou realmente desativada com a personificação da IA. Como se a IA fosse buscar você, certo? Como se fosse uma coisa ciente que tivesse vontade e queira ajudá-lo ou prejudicá-lo. E essa ligação com IA e robória, e eu estou muito cético em relação a este tipo de pessoal tecno-utópico que acredita que podemos resolver todos os problemas do mundo construindo uma IA sensível. Tipo, há muitos problemas reais à nossa frente para resolver. E acha que podemos usar a tecnologia para nos ajudar a resolvê-los. Mas estou muito mais interessado em resolver os problemas que estão bem à nossa frente, no planeta, em vez de pensar em superinteligente ou AGI, que é inteligência geral artificial, ou seja, algo mais inteligentes do que nós. Então, o que isso significa para a interação humano-computador da HCI? Eu considero fundamentalmente. Usamos a tecnologia para nos ajudar a resolver problemas. Sempre temos, desde o início da humanos com coisas como dicas de setas e disparos, correto. E, fundamentalmente, não vejo IA e aprendizado de máquina como diferentes. Pense que o que estamos tentando fazer é usar a tecnologia para resolver problemas como tradução ou, você sabe, talvez identificação automática de objetos e imagens e coisas assim. Idealmente, muitos problemas mais interessantes do que isso. E um dos grandes bloqueios vem de pegar uma rede causal e, na verdade, fazer algo útil com ela. E, muitas vezes, há uma distância muito, muito, muito grande entre um modelo e um laboratório que pode, seja qual for, tirar uma imagem e identificar se há um or exclusivo ou uma bananeira e construir algo realmente útil, como talvez algum tipo de software médico que nos ajudá-lo a identificar o recnâc de . Correto. E isso, essa distância termina sendo cada vez mais sobre como realmente fazer o software funcionar para as pessoas lidarem com as restrições confusas do mundo real que existem em nosso real, você sabe, em nosso mundo real. E, você sabe, isso significa que, como eu, pessoalmente, e nossa equipe em geral, a equipe de estudos em que nos tornamos muito mais interessados em HCI. E eu não direi,Acho que da forma como você escreveu, o aprendizado de máquina pode ajudar a redefinir a HCI ou ajudar a HCI ou ajudar a mover a HCI. É da direção errada que precisamos lá como precisamos da ajuda da HCI. Então, nós nos tornamos honrados, mas pela nossa incapacidade de aceitar nossos algoritmos sofisticados e realmente fazer com que eles sejam importantes na vida das pessoas. E acha que em parte é porque não nos envolvemos o suficiente na última década com a comunidade HCI. E, você sabe, eu, pessoalmente, e várias pessoas no meu, no meu mundo, estamos tentando muito resolver isso. Ao lidar com problemas com pontos de vista conjuntos, esse ponto de vista de como o pesquisado de IA matematicamente orientado, se importando com quais são os dados. E então o pessoal da HCI e da interface do usuário disse: espere, que problema você está tentando resolver? E como você vai realmente pegar o que esse modelo pode fazer e colocá-lo nas mãos dos usuários e como você fará isso de uma forma que seja Ética de acordo com seu comentário Anaiya? E torcer para que alguém tenha aproveitado a similaridade de passar de um algoritmo de reconhecimento de imagem para a identificação de tipos de cncer. Este tem sido um tópico, por exemplo, gerado muita discussão porque os tipos de cncer de cutne e a cor da pela estão correlacionados com a corrida e a capacidade de esses algoritmos trabalharem em um variedade de cores de pela pode diferir, um, e nossa capacidade de construir confiança com os médicas que desejam usar o software e os pacientes, eles acreditam que podem confiar no software. Como essas questões são tão, tão complicadas e é tão importante para nós corrigi-las. Então, você pode perceber que meu pai é um destemido. Suponha que devo encerrar isso, que é o mesmo que dizer que me converti. Talvez tenha o ardor de um convertido que não costumava pensar muito em HCI há cinco ou seis anos. Comece a ver à medida que esses modelos se tornam cada vez mais poderosos que o fator limitante é realmente como os usamos, como os implementamos e como os fazem funcionar para nós, humanos. Nós somos os personalizado, não o software, não a IA.
Anaiya Rashinghani : [00:17:37] Isso é demais. Muito obrigado por responder à minha pergunta, foi ótimo. E aprecio todos os pontos que você mencionou porque considero que eles precisam ser mencionados muito mais, especialmente na comunidade de AI . Eu gostaria de girar um pouco e participar do que você disse e falar sobre alguns dos problemas que surgem com o aprendizado profundo e a AI, e meio que conectá-los com redes generativas e bancos de dados, porque eu gostaria muito de ouvir sobre alguns das coisas que apareceram no passado quando se tentou integrar o aprendizado profundo a bancos de dados. E eu saiba que pode haver muitos problemas com aprendizado profundo e bancos de dados tabulares, mas e os bancos de dados baseados em coleção de documentos? E se os documentos forem análogos a registros ou linhas em um banco de dados relacional, você acha que o aprendizado de máquina pode funcionar ou você acredita que os mesmos problemas podem surgir?
Doug Eck :[00:18:24] Outra ótima pergunta. Então, primeiro para colocar tudo isso em conteúdo, sem dúvida um pesquisado em aprendizado de máquina. quem está realmente escrevendo código dia após dia, o que eu fez no passado e agora estou fazendo mais trabalho de gerenciamento, mas você está, você sabe, você está escrevendo código dia-a-dia, você está tentando resolver um problema difícil. Talvez 70 ou 80% do seu tempo seja gasto lidando com dados e como gerenciar dados e como garantir que você não tenha erros de dados e como mover os dados pelo sistema. provavelmente como em outras áreas da ciência da computação, você sabe, temos a tendência de chamá-lo de encanamento. Você passa muito tempo trabalhando em encanamento. E esta é uma tarefa gerenciável. Quando você tem um conjunto de dados do tipo com o qual poderíamos ter trabalhando 15 anos atrás, 10,000, 28 por 28 imagens de pixels ou algo parecido. Espera ter os pixels certos. Algo chamado eminência, um grupo de dígitos escritos. Se começarmos a ver conjuntos de dados que são todos da web básicamente representados de uma forma ou de outra, todos os livros da biblioteca do Senado como um, como uma imagem hipotética, massiva, conjuntos de dados, massivos conjuntos de dados de vídeo, correto? A capacidade de apenas meio que simular. Correto, escreva um pouco de código Python que processe seus dados e os jogue em um arquivo simples de algum tipo se torna, você sabe, se torna praticamente não rastreável. E então, parece que estamos em um ponto de inflexão agora, talvez estejamos nesse ponto de inflexão um ou dois anos atrás. Onde muitos pesquisas de aprendizado de máquina estão considerando maneiras escaláveis de lidar com dados. Então essa é a primeira coisa. A segunda questão é que também estamos especificamente em relação a redes mentais muito grandes, desejando que as estimativas sejam reais. Se tivermos um bot de bate-papo que conversa com você e esse bot de bate-papo for guiado por uma rede causal e você perguntar a ele qual é a capital de Iowa, meu estado de origem. Esperemos que diz Distribuidores todas as vezes. Uh, não queremos que isso seja um rolar de dados. Não queremos que seja um modelo probabilístico que rola os dados e dizIndianoális, você sabe, 50 vezes, mas 51 vez que 51st vez, em vez disso, diz Springfield. Portanto, há essa área de pesquisa muito, muito ativa e rica de ponte entre bancos de dados e redes generativas, que são probabilísticas e encontram maneiras de pousar no banco de dados e realmente obter a resposta certa. E é a resposta certa porque verificamos que é a resposta certa. Temos uma equipe separada trabalhando com esse banco de dados e entendemos como relacional isso com algum algoritmo de tomada de decisão que pode fazer uma pergunta: devo ir paraIndianoális? Talvez seja uma questão probabilística. Talvez seja o papel como um dado. Talvez todos não queiram vir para Index. Depende de você, mas estou tentando fazer a distinção entre, entre estes dois tipos de, de decisões. Dois tipos de informações. Um deles é probabilístico. Cada frase é única. Podemos descrever a mesma imagem com um milhão de frases diferentes. Mas não queremos perder os detalhes, especialmente se queremos resolver problemas difíceis. E então há um desafio aberto. Não tenho uma resposta para isso. Há muitas, muitas pessoas mais inteligentes do que eu trabalhando em maneiras de preencher a lacuna entre produtos como MongoDB e aprendizado de máquina. Não demora muito para perceber que há muitas pessoas refletindo sobre isso. Se você fizer uma pesquisa no Google e limitar ao site reddit.com e colocá-las no MongoDB e no aprendizado de máquina, verá muitas discussões sobre como podemos apoiar algoritmos de aprendizado de máquina com bancos de dados. Então, é sem dúvidas um tópico aberto. Finalmente. Terceiro, você mencionou algo sobre linhas e colunas e a estrutura real de um banco de dados relacional. Isso também é muito interessante porque algoritmos que são sensíveis, Digo algoritmo, quer dizer, uma rede causal, ou algum outro programa de modelo projetado para resolver um problema. Você sabe, esses algoritmos podem realmente aproveitar essa estrutura. Não apenas como lidar com isso, mas realmente entender de algumas maneiras como, de maneiras que está aprendendo como aproveitar a estrutura do banco de dados para facilitar a resolução de determinados problemas. E há pesquisas fora de bancos de dados para aprendizado de máquina em geral para acreditar que isso é possível. Então, por exemplo, no trabalho, por exemplo, prevendo a estrutura de proteí nas e outras moléculas, temos o que poderíamos chamar de informação prévia estrutural, temos uma ideia sobre a geometria de como as moléculas devem ser. E há maneiras de aproveitar essa geometria para limitar o espaço de predições que o modelo faria. É meio que dado essa estrutura como, como base para, para, para as produçãos, as projeções estão sendo feitas de forma que provavelmente não fará projeções que violem essa estrutura. Por exemplo, crie gráficos de redes generativas que realmente funcionam em um gráfico. Você pode anotar uma estrutura de banco de dados como um gráfico, se quiser, e aproveitar esse gráfico para resolver problemas difíceis. Foi como uma resposta 10 minutos. Tentarei torná-las mais curtas da próxima vez, Anaiya, mas essa é a minha resposta.
Anaiya Rashinghani : [00:23:03] Sim. Porque eu, bem, eu estava pesquisando por isso e, também quando obtive o trabalho, muitas das perguntas durante a entrevis caminho de volta para os primeiros dois milésimos de texto explicando como a aplicação de redes generativas artificial e ANNs a grandes bancos de dados modernos parece uma ótima ideia em teoria, porque você sabe que, como elas, elas oferecem tolerância a falhas potenciais, são inerentemente paralelas . Um, e a interseção entre eles parece realmente superatraente. Mas encontrou este artigo sobre isso e tipo, a data era 2000 e então procurei outras coisas e tudo a partir daí eram problemas entre conectar bancos de dados e o aprendizado profundo. Então, muito obrigado pela sua resposta. Eu realmente aprecio isso. Sinta que, especialmente neste podcast, foi uma resposta ótima para uma pergunta difícil.
Doug Eck : [00:23:57] Posso jogar, posso jogar mais uma coisa antes de você seguir em frente? Existem também alguns como o que chamo de frutas mais fáceis. Como um monte de problemas mais simples que podemos resolver. Portanto, uma das grandes áreas de aprendizado de máquina em que tenho trabalhado é a de modelos de linguagem de texto. Certo? E então pense na tradução, você digita uma string em um idioma e nós a traduzimos para outro idioma ou se, e se, se seus ouvintes prestaram atenção a alguns, alguns novos modelos de aprendizado de máquina que podem, você pode conversar com eles como chatbots, como o Lambda do Google ou alguns grandes modelos de linguagem que podem escrever histórias. Estamos percebendo que podemos usá-los para aumento de dados e, talvez, indiretamente para verificação de dados. Portanto, podemos usar redes neurais para prever entradas de dados incorretas. Podemos, por exemplo, digamos que seu banco de dados esteja tentando fornecer mil maneiras diferentes de descrever uma cena. Podemos ajudar a automatizar isso. E então você teria um humano que está chegando. Como os humanos sempre precisam estar lá, eu acho que para ser responsável, você sabe, dizendo, ok, aqui está como, você sabe, 20 maneiras diferentes de descrever essa cena em diferentes níveis de complexidade, mas usamos a rede neural para ajudar a tornar seu trabalho muito, muito mais rápido.E então, se formos além de tentar resolver todo o problema de como, o que é um banco de dados e como o geramos, ou como o mantemos nele? Tipo, isso é uma coisa que é como o Santo Graal, mas podemos estar pensando em usar redes neurais em modelos de linguagem específicos para, basicamente, sobrecarregar dados humanos, pessoas de qualidade de dados de maneiras que eu acho que vão varrer o campo e nos ajudar a fazer um trabalho muito, muito melhor de, desse tipo de validação. E até eu me lembro de muito tempo atrás, quando eu fazia bancos de dados, a validação de dados é uma dor, certo? Todo mundo odeia dados ruins. É lixo entra, lixo sai. Portanto, se pudermos criar dados melhores e mais limpos, todos venceremos.
Anaiya Rashinghani : [00:25:39] Sim. E, sobre o assunto de modelos de linguagem, também queria falar sobre a GPT 3 e vi um artigo do MIT recentemente sobre como eles estão achando que ela pode substituir a classificação de página do Google. E eu gostaria muito de ouvir sua visão sobre o que você acha que pode acontecer no futuro e se os modelos de linguagem realmente podem substituir a indexação.
Doug Eck :[00:25:58] Então, para deixar claro, ainda precisaremos fazer a indexação, certo? Ainda precisamos indexar os documentos e precisamos ter alguma ideia do que eles significam. Esta é a melhor maneira de pensar sobre isso. Então, conversamos com a IO este ano sobre o uso de alguns modelos de linguagem grandes para melhorar nossa pesquisa em nossos produtos. E já conversamos sobre isso em outros blogs. Não gostaria de me colocar em apuros declarando mal o que já foi afirmado. Eu o indicaria lá porque você sabe, alguém quer, alguém quer ter que falar com o gerente depois que o podcast for lançado e diz: Por que você disse isso? Você sabe, mas aqui está a questão. Isso me chama a atenção. E esta é apenas a minha visão. Classificação da página do Google. Para aqueles que não sabe o que é classificação de página, a ideia básica é, em vez de examinar um documento e o que ele contém. Decidimos o valor do documento por outros documentos vinculados a esse documento e quanto confiamos nos outros documentos. Portanto, se vários sites de renome estiverem vinculados a um documento que por acaso seja sobre automóveis, confiaremos que esse documento seja sobre automóveis, certo? Um, e então é, é um problema de gráfico onde atribuímos confiança e a propagamos, a partir de links de entrada. Um, obrigado, Lary e Sergei. Por trás disso está essa falta de confiança fundamental de ser capaz de descobrir o que está em um documento. Correto, como toda a ideia é dizer, realmente não sabemos o que há neste documento. Então, vamos criar um truque que nos permita avaliar este documento com base no que outros documentos pensa sobre ele. Correto. E uma maneira de pensar sobre essa rotação e os grandes modelos de linguagem, um, como o GPT-3 , que veio da IA aberta e, um, que é baseado em alguma tecnologia central que veio do nosso grupo chamado transformação. Esse é o T no GPT-3 , com sempre concorrência amigável, que o pessoal da Open AI é ótimo. E também considero nossa equipe ótima. Vamos meio que aumentar quem pode, quem pode se mover mais rápido, um, saúde para Open AI. Agora temos algumas boas maneiras de levar um documento cheio de palavras. E se você quiser pensar sobre isso abstratamente, projetando-o em outro espaço de números. Então, talvez para esse documento, que pode ter quantas palavras você precisar para o documento, digamos que esteja entre 500 e 2,000 palavras, certo. Pegamos uma rede causal e executamos essa sequência através dela. E obtemos esse vetor de números, esse vetor, essa sequência de números talvez sejam mil números certos, agora, graças à rede causal desses mil números, na verdade, faz um bom trabalho ao descrever o que está no documento. Não podemos ler com os nossos olhos, porque é apenas uma sequência de números. Mas se pegarmos esse vetor e compará-lo com outros vetores, o que descobriremos é que vetores semelhantes na verdade contêm documentos que contêm informações muito semelhantes e podem ser escritos de forma completamente diferente. Correto. Mas topicamente eles são semelhantes. E então, o que obtemos é a capacidade de entender conjuntos de dados massivos, massivos de texto em relação ao que se trata, o que significa e para quem é. E agora temos um trabalho muito melhor do que há em um documento e podemos usar essas informações para aumentar o que sabemos sobre como as pessoas usam documentos, como se vinculam a eles e o quanto confiam neles. E isso nos dá uma maneira melhor de exibir documentos relevantes para as pessoas. E esse é o ponto crucial em minha mente, ou pelo menos em minha visão de por que um modelo de idioma grande pode ser importante para uma empresa de pesquisa. Isso nos ajuda a entender a linguagem e, fundamentalmente, a maior parte da pesquisa é sobre linguagem.
Anaiya Raisinghani : [00:29:11] Eu também queria falar com você sobre isso, porque a linguagem é uma das grandes coisas da AI, mas agora tem havido muito movimento em direção à arte e à música. E eu sei que você gosta muito disso. Então, eu queria perguntar aos ouvintes se vocês poderiam explicar um pouco por trás do Magenta, e também queria falar com vocês sobre o Yacht porque ouvi dizer que eles usavam Magenta para sim. Para seu novo álbum. E então, o que você acha sobre a utilização da AI para continuar com os legados da arte e da música e apenas da criação?
Doug Eck : [00:29:45] Ok, legal. Bem, esta é uma pergunta divertida para mim. Uh, então primeiro o que é Magenta? Magenta é um projeto de código aberto que tenho muito orgulho de dizer que criei inicialmente há cerca de seis anos. E nosso objetivo com o Magenta é explorar o papel do aprendizado de máquina como uma ferramenta no processo criativo. Se você quiser encontrá-lo, está em g.co/magenta. Estamos lá há muito tempo. Você também pode simplesmente pesquisar o Google Magenta e nos encontrará, hum, tudo o que fazemos é de código aberto basicamente fornece ferramentas para músicos e artistas, principalmente músicos baseados na equipe. Somos músicos de coração. Isso você pode usar para estender seu musical, uh, seu eu musical. Você pode gerar novas melodias, você pode mudar a forma como as coisas soam, você pode entender mais, uh, a tecnologia. Você pode nos usar para aprender JavaScript ou Python, mas tudo o que fazemos é sobre estender as pessoas e sua criação musical. Então, uma das primeiras coisas que eu sempre digo é que eu acho que seria, é legal que possamos gerar melodias realistas que, você sabe, talvez soem como Bach ou soem como outro compositor, mas esse não é o ponto. Isso não é divertido. Tipo, eu acho que a música é sobre pessoas se comunicando com pessoas.E então estamos realmente mais na herança de, você sabe, Les Paul, que inventou foi um dos inventores da guitarra elétrica ou as pessoas legais que inventaram pedais ou amplificadores de guitarra, ou escolher sua tecnologia favorita que usamos para fazer um novo tipo de música. Nossa verdadeira questão é se podemos construir um novo tipo de instrumento musical ou um novo tipo de experiência de criação de música usando aprendizado de máquina. E passamos muito tempo fazendo pesquisas fundamentais neste espaço, publicadas em conferências e periódicos do tipo que todos os cientistas da computação fazem. E então fizemos muito trabalho de código aberto em JavaScript para que você possa fazer coisas muito rápido no navegador. Também plugins para software popular para músicos como Ableton e, em seguida, uma espécie de aprendizado de máquina hardcore em Python, e fizemos alguns trabalhos experimentais com alguns artistas. Então, tentamos entender melhor no lado da HCI, como tudo isso funciona para artistas reais. E um dos primeiros grupos com os quais trabalhamos é, na verdade, obrigado por perguntar a um grupo chamado Yacht. Eles são fenomenais na minha mente, uma banda pop fenomenal. Acho que algum sistema de som LCD parcial. Não sei mais quem acrescentar. Eles são de Los Angeles, sua pessoa de frente. Não dizemos frontman, porque é Claire é Claire Evans. Ela é uma cantora incrível, uma presença absolutamente surpreendente no palco. Ela também é uma pessoa de tecnologia, uma escritora de tecnologia, e ela tem um ótimo livro que todos deveriam ler, especialmente todas as mulheres em tecnologia, Anaiya, chamou BroadBand a história de, hum, de mulheres na internet. Quer dizer, não me lembro se tenho a legenda, certo. De qualquer forma, pessoas muito interessantes e o que elas fizeram foi vir até nós e trabalhar com um monte de outras pessoas de IA, não apenas com o Google. Como se fôssemos um dos cinco ou seis colaboradores e eles simplesmente mergulharam de cabeça e lutaram com a tecnologia e tentaram fazer algo interessante. E o que eles fizeram foi tirar de nós, eles pegaram um modelo de aprendizado de máquina. Isso é capaz de gerar variações sobre um tema. Então, e eles usam música pop. Então, você sabe, você dá certo. E então, de repente, o modelo está gerando muitas variações diferentes e eles podem navegar pelo espaço e brincar e encontrar coisas diferentes. E então eles tinham isso como uma ligeira extensão de IA de si mesmos. Certo. E o que eles fizeram foi absolutamente fascinante. Eu acho que é importante. Hum, eles, eles primeiro mergulharam e tecnicamente lidaram com os problemas que tínhamos. Nosso jogo HCI era muito baixo, então, tipo, estamos tipo, literalmente, primeiro digite esse profissional, digite esse comando em, em, em um console. E então ele gerará alguns arquivos midi e, você sabe, há músicos como se eles fossem tecnicamente bons, mas outro conjunto de músicos do tipo que é uma linha de comando. Certo. Você sabe, como o que é terminal. Então, você sabe, você tem essas pessoas que não trabalham com nossas ferramentas, então não tínhamos nada parecido com fantasia para elas. Mas então eles também estabelecem restrições. Então, uh, Jona e Rob, as outras duas pessoas da banda, eles criaram uma espécie de livro de regras, o que eu acho muito interessante. Eles disseram, por exemplo, que se pegarmos uma melodia gerada pelo modelo Magenta, não a editaremos nunca, nunca, nunca. Certo. Podemos rejeitá-lo. Certo. Podemos ouvir um monte deles, mas não vamos editá-los. E então, em certo sentido, eles se forçam a gostar, e acho que se não fizessem isso, isso se tornaria apenas um mingau. Como eles, eles não saberiam o que a IA realmente fez no final. Certo. Então eles fizeram isso e fizeram o mesmo com outra, uh, algumas outras pessoas, uh, gerando letras, a mesma ideia. Eles geraram muitas e muitas letras. E então Claire os curou. Portanto, a curadoria era importante para eles. E, uh, esse processo de curadoria provou ser realmente valioso para eles. Acho que resumiria como curadoria, sem edição. Eles também gostaram dos erros. Eles gostavam quando as redes não faziam a coisa certa. Então eles gostavam de quebras como essa ideia de que, oh, isso não fazia o que deveria. Eu gosto disso. E então essa combinação de trabalho de curiosidade que eles disseram que era um trabalho muito difícil. Hum, e no sentido de construir algumas regras, construir uma espécie do que eu chamaria, gramática em torno do que eles estão fazendo da mesma forma que os cineastas têm uma gramática de como você conta uma história. Eles contaram uma história muito bonita, e eu não sei. Eu realmente amo Chain Tripping. Esse é o álbum. Se você ouviu, cada linha de base foi escrita por um modelo magenta. As letras foram escritas por, uh, uma rede LSTM por outro grupo. A arte da capa é feita por esse brilhante, uh, artistas na Austrália, Tom White, você sabe, é um álbum muito legal no geral.
Anaiya Raraisinghani : [00:35:09] Sim, eu escutei. É ótimo. Me parece que isso só faz alusão a quão longe a tecnologia chegou.
Doug Eck :[00:35:16] Estou de acordo. Oh, a propósito que o, as batidas do percalço, as batimentos do percalço vêm do mesmo modelo. Mas na verdade não temos um modelo de bateria. Então eles simplesmente jogaram fora as notas e manteram as durações, você sabe, e as linhas de base vêm de um modelo que foi formado em teclado, onde ambos, Rob e Mona tocam baixo, mas Rob, o cara que geralmente joga o baixo na banda gera essas linhas de base que são realmente difíceis de reproduzir. Então você tem essa ideia de que a AI é como se estivesse gerando coisas que eles apenas não estão familiarizados com o palco. E então eu tambémadoro essa ideia, de que é como empurrá-los, mesmo de maneiras que, como no palco, eles tenham que fazer as coisas com as mãos de forma um pouco diferente do que teriam que fazer. Um, então isso meio que os empurra para fora.
michael lynn : [00:35:54] Então, estou interessado em saber o processo de autoria com o Manager e, talvez até especificamente pela maneira como Yatch montou esse disco, quais são os arquivos de entrada? O que treinar o sistema.
Doug Eck :[00:36:07] Então, neste caso, isso foi ótimo. Nós demos a eles o software, eles forneceram suas próprias derivações médias a partir de seu próprio trabalho. Então, eles realmente controlaram o processo. Você sabe, nosso software foi lançado e está licenciada para, você sabe, é uma licença Apache, mas não temos nenhuma reivindicação sobre o que está sendo criado. Eles colocam seus próprios dados, eles possuem tudo. E isso realmente tornou o processo muito mais interessante. Eles não eram como trabalhar com alguns conjuntos de dados de Piano estranhos, como músicas clássicas. Eles estavam como trabalhar com seus próprios talos de, um, suas próprias gravações anteriores.
Michael Lynn : [00:36:36] Fantástico.
Anaiya Rashinghani : [00:36:38] ótimo. Para minha última pergunta, para completar isso, eu só queria perguntar: o que você vê de impactante e interessante sobre o futuro do aprendizado de máquina.
Doug Eck :[00:36:49] Sou muito ruim com bola de cristal. Hum,
Michael Lynn : [00:36:53] Mas adorei a pergunta.
Doug Eck :[00:36:56] Sim. Então, então aqui, eu considero, eu considero primeiro, que devemos ser sempre Habilidosos sobre o que alcançamos. Se você procurar, saberá que os humanos são muito inteligentes, muito mais inteligentes do que as máquinas. E se você observar os materiais gerados a partir do aprendizado profundo, por exemplo, face, quando eles aparecem pela primeira vez, qualquer que seja o novo modelo lançado pela primeira vez, tipo, oh meu deus, não posso diferenciá-los dos humanos. E então, se você joga com eles por um tempo, você está tipo, oh sim, eles não estão certos. Eles não estão certos. E isso sempre foi verdade. Recordo-me de ler sobre como quando o fonográfico foi lançado pela primeira vez e eles o fariam, eles o fariam, como um palco de um teatro. E isto é como um, com um cilínulo de Cera, sabe? As pessoas dirão que soa exatamente como uma orquestra. Não posso diferenciá-lo. Correto. Eles apenas não estão familiarizados com isso. Correto. E então, como primeiro, acha que devemos ser um pouco Habilidosos sobre o que alcançamos. Pense que, especialmente com GPT-3, como modelos, modelos de linguagem grandes, alcançamos um tipo de fluent que nunca alcançamos antes. Então, o modelo parece que está fazendo algo, mas como se não fosse a lugar nenhum. Correto. E é por isso que, de modo geral, considero que as novas e impactantes descobertas surgirão quando pensarmos em como tornar esses modelos controláveis, para que um usuário possa realmente moldar a saída de um desses modelos? Um criador de políticas pode adicionar camadas ao modelo que o tornem mais seguro? Correto. Então, podemos realmente usar essa rede causal, você sabe, como um dispositivo de aprendizado para aprender o que é necessário para definir padrões em dados, mas para fornecer aos usuários muito mais controle sobre como esses padrões são usados em um produto. E é aqui que julgo que vamos ver as verdadeiras vitórias, a capacidade de aproveitar isto para resolver problemas da forma correta.
Anaiya Rashinghani : [00:38:33] Ideal. Doug, muito obrigado por ter ido hoje. Foi ótimo ouvir você.
Doug Eck :[00:38:39] Isso foi ótimo. Obrigado por todas as ótimas perguntas, Anaiya, foi fantástico
michael lynn : [00:38:44] Repetirei isso. Muito obrigado, Doug. Foi ótimo conversar com você. Obrigado por ouvir. Se você leu este capítulo, por favor, curta e se inscreva, tem uma pergunta ou sugestão para o programa? Visite-nos na MongoDB Community em community.Mongodb.com.
Muito obrigado por tirar um tempo para ouvir nosso capítulo de hoje. Se você quiser saber mais sobre o trabalho de Doug no Google, poderá encontrá-lo por meio de seu perfil no LinkedIn ou em seu perfil noGoogle Research. Se você tiver alguma dúvida ou comentário sobre o capítulo, fique à vontade para entrar em contato com Anaiya Raraisinghani,Michael Linn ou Nic RaBoy.
Você também pode encontrar isso e todos os capítulos do MongoDB Podcast em sua rede de podcast favorita.