Na interseção de AI/ML e HCI com Dogulas Eck do Google (MongoDB Podcast)
Avalie esse podcast
Doug Eck é cientista principal do Google e diretor de pesquisa da Brain Team. Ele criou o projeto de pesquisa em andamento, Magenta, que se concentra no papel do aprendizado de máquina no processo de criação de arte e música. Ele está se juntando a Anaiya Raisinghani, Michael Lynne Nic Raboy hoje para discutir todas as coisas de inteligência artificial, aprendizado de máquina e para nos dar algumas dicas sobre seu papel no Google.
Vamos mergulhar de cabeça na HCI (Human Computer Interaction), o novo modelo de linguagem GPT-3 do Google, e discutir alguns dos problemas difíceis com a combinação de bancos de dados e aprendizado profundo. Com todo o hype em torno da AI, você pode ter algumas dúvidas sobre seu passado e futuro potencial, portanto, fique atento para ouvir um dos melhores do Google.
Doug Eck :[::]00 0000Olá a todos. Meu nome é Doug Eck e bem-vindo ao podcast MongoDB .
Michael Lynn : [00:00:08] Welcome to the show. Today we're talking with Doug Eck. He's a principal scientist at Google and a research director on the Brain Team. He also created and helps lead the Magenta team, an ongoing research project exploring the role of machine learning and the process of creating art and music. Today's episode was produced and the interview was led by Anaiya Raisinghani She's a summer intern here at MongoDB. She's doing a fantastic job. I hope you enjoy this episode.
Temos alguns convidados hoje e nosso primeiro convidado é um estagiário de verão no MongoDB.
Anaiya Raisinghani : [00:00:55] Hi everyone. My name is Anaiya Raisinghani and I am the developer advocacy intern here at MongoDB.
michael lynn : [::]00 0101Bem, bem-vindo ao programa. É ótimo ter você no podcast. Antes de começarmos, por que você não conta ao pessoal um pouco sobre você?
Anaiya Raisinghani : [00:01:08] Yeah, of course. I'm from the Bay Area. I grew up here and I go to school in LA at the University of Southern California. My undergrad degree is in Computational Linguistics, which is half CS, half linguistics. And I want to say my overall interest in artificial intelligence, really came from the cool classes I have the unique opportunity to take, like speech recognition, natural language processing, and just being able to use machine learning libraries like TensorFlow in some of my school projects. So I feel very lucky to have had an early exposure to AI than most.
michael lynn : [::]00 0142Bem, ótimo. E entender que você Trouxe um convidado com você hoje. Você quer falar um pouco sobre quem é e o que vamos discutir hoje?
Anaiya Raraisinghani : [::]00 0148Sim, com certeza. Então, hoje temos um convidado muito, muito especial Doug Eck, que é Cientista Principal do Google, diretor de Pesquisa da Equipe Científica e Criador do MongoDB, então hoje vamos conversar sobre aprendizado de máquina, IA, e alguns outros tópicos interessantes. Muito obrigado, Doug, por estar aqui hoje.
Doug Eck :[::]00 0207Estou muito satisfeita por estar aqui, Anaiya.
michael lynn : [::]00 0208Bem, Doug, é ótimo ter você no programa. Muito obrigado por dedicar um tempo para falar conosco. E, neste ponto, gostaria de entregá-lo a Anaiya. Ela tem algumas perguntas preparadas. Este é o seu campo de trabalho, e ela tem alguma paixã o e interesse por ele. Então, vamos abordar alguns tópicos realmente interessantes no espaço de aprendizado de máquina. E Anaiya, direi para você.
Anaiya Rashinghani : [::]00 0230Ideal. Muito obrigado, mike. Só para começar, Doug, você poderia nos contar um pouco sobre o que você faz no Google?
Doug Eck :[::]Claro,00 0236obrigado, Anaiya. Bem, agora mesmo na minha carreia, eu participo de muitas eventos. Com isso, média que estou administrando uma grande equipe de pesquisas na equipe de pesquisa do Google e estou tentando ajudar a manter as coisas funcionando. Às vezes, parece que você está guiando gatos porque contratamos Pesquisadores muito talentosos e auto- dissociados que estão fazendo pesquisas fundamentais em aprendizado de máquina. Retornando um pouco, estou fazendo algo assim, meu deus, é aterrorizador de pensar, mas quase 30 anos. Em uma vida anterior quando eu era novo, como você Anaiya, eu tocou muita músicas, tocou viola. Eu era um major inglês como uma graduação, escrevendo muito e apenas continuei sendo puxado para a tecnologia. E quando terminei minha graduação, trabalhei como programador de banco de dados de dados.
Bem, bem antes do MongoDB. E, uh, eu fez isso por alguns anos e realmente aproveitei. E então concluí que minha paixão estava em algum lugar na sobreposição entre músicas e inteligência artificial. E, naquele ponto da minha vida, não tinha certeza se poderia ter fornecido uma definição precisa de inteligência artificial, mas saberia que queria fazer isso.
Eu queria ver se poderíamos fazer com que computadores inteligentes nos ajudassem a fazer música. E então eu voltei para a pós-graduação. De alguma forma, enganei um departamento de ciência da computação para permitir que um estudante de inglês fizesse um doutorado em ciência da computação com muita matemática extra. E entrei em uma área da AI chamada aprendizado de máquina, em que nosso objetivo é criar programas de computador que aprendam a resolver problemas, em vez de tentarmos escrever a receita nós mesmos.
E, nos últimos 20 anos, participo do aprendizado de máquina como pós-doutorando, fazendo uma estágio de pós-doutorado na Suíça. E então me mudei para o Canadá e me tornei professora lá e trabalhei com ótimas pessoas na Universidade de Montreal, assim como mudei minha carreira a cada poucos anos.
Então, uh, depois de sete anos lá, mudei e vim para a Califórnia e me tornei um cientista pesquisador do Google. E tenho trabalhado muito feliz aqui no Google. Desde então, durante 11 anos, me sinto muito sortuda por ter tido a chance de fazer parte do crescimento e, eu acho, do renascimento das redes neurais e do aprendizado de máquina em várias disciplinas realmente importantes e por ter liderado um pouco de interesse em AI e criatividade.
Anaiya Rashinghani : [::]00 0445Isso é ótimo. Muito obrigado. Atualmente, há muito sucesso em torno apenas da IA em geral e do aprendizado de máquina, mas para alguns de nossos ouvintes que podem não saber o que é, como você a descreveria da maneira que a entende?
Doug Eck :[::]00 0456Eu estava com temor que você perguntasse isso porque eu disse, você sabe, 30 anos atrás, eu não poderia ter lhe dado uma definição precisa de IA e não estou certo de que possa agora sem recorrer à Wikipedia e ao engano, eu definiria a inteligência artificial como a tarefa de construir software que se comporta de forma inteligente. E Tradicionalmente, houve duas abordagens básicas para a IA no passado, no passado distante, nos anos 80 e 90, chamamos isso de limpo versus desalinhado. Por outro lado, a ideia de escrever conjuntos de regras, escrever uma receita que definisse comportamentos complexos, como traduzir uma tradução, talvez, ou escrever um livro, e depois ter programas de computador que possam executar essas regras. Compare isso com desalinhado, porque é um pouco mais sujo. Um, em vez de pensar que reconhecemos as regras, em vez disso, construímos programas que podem examinar dados que podem examinar grandes conjuntos de dados. Às vezes, conjuntos de dados que têm rótulos, como esta é uma imagem, esta é uma imagem de um orangutan. Esta é uma imagem de uma bananeira, etc., e aprenda a relacionamento entre esses rótulos e esses dados. E esse é um tipo de aprendizado de máquina em que nosso objetivo é ajudar a máquina a aprender a resolver um problema, em vez de construir a resposta. E a longo prazo, pelo menos, a prova atual em que estamos agora em 2021 é que, para muitas, muitas tarefas difíceis, provavelmente a maioria delas, é melhor Ensinar a máquina a aprender do que tentar fornecer a solução para o problema. E é assim que eu definiria um aprendizado de máquina é escrever software que aprenda a resolver problemas processando informações como conjuntos de dados, uh, o que pode sair de uma c E, em seguida, aprender a aproveitar o que aprenderam com esses dados, uh, para resolver subproblemas específicos, como tradução ou, ou rotulagem, ou você escolhe. Existem milhares de exemplos possíveis.
Anaiya Rashinghani : [::]00 0651Isso é demais. Muito obrigado. Então, eu também queria perguntar porque você disse que há 30 anos, você não teria conhecido essa definição. Como foi ver como o aprendizado de máquina melhorou ao longo dos anos? Ainda mais agora, de uma perspectiva interna do Google.
Doug Eck :[::]Acho00 0707que subestimei consistentemente a rapidez com que podemos nos mover. Talvez essa seja a natureza humana. Notei uma estatística de que, não se trata de aprendizado de máquina, mas de algo menos de 70 anos,, 60 61 anos se passaram entre o primeiro voo, os irmanos Write e o pousar na lua. E 60 anos não é muito longo. É impactante a rapidez com que nos mudamos. E então eu suponha que não devesse estar em retrospectiva, uma surpreendo que nós, nos movemos tão rápido. Criei uma retrospectiva em que observo a qualidade da geração de imagens. Estou certo de que todos já ouviram essas expressões hiperrealistas que na verdade não são expressões de face, ou talvez já tenham escutado uma músicas que soam muito realistas, ou talvez já tenham visto um algoritmo de aprendizado de máquina capaz de gerar um texto realmente realista, e esse tudo estava acontecer. Você sabe, nos últimos cinco anos, realmente, média, o trabalho esteve lá e as ideias estão lá e os esforço estão lá há pelo menos duas décadas, mas de alguma forma eu acha que a combinação de escala, então ter muito grande conjuntos de dados e também poder de processamento, com um computador grande ou um computador grande ou muitos computadores conectados, geralmente executando uma CPU, ou TPU é o que você pensa em uma placa de vídeo, dando-nos o poder de processamento para dimensionar muito mais informações. E, uh, eu não sabe. Foi muito legal. Quer média, todo ano me surpreendo por levanto na segunda-feira de manhã e não temo ir para o trabalho, o que me faz sentir extremamente sortudo. E, uh, estou muito orgu
michael lynn : [::]00 0840Então, Doug, gostaria de perguntar a você e você meio que aludiu a isso, mas estou interessado em saber os progressos que fizemos. E ignoro que estamos nos apoiando nos Omos de Gigis e na Taxa Exponencial na qual Aumentamos os Avanços. Estou preocupado com a sua perspectiva, se você acha que é software ou hardware e talvez o que, você sabe, qual é a sua perspectiva em ambas as via em que estamos avançando.
Doug Eck :[::]00 0908Isso é uma troca. É uma troca muito clara. Quando você tem hardware lento ou hardware insuficiente, precisa ser muito, muito mais habilidoso com seu software. Então, sem dúvida, os modelos, as abordagens que usávamos no final dos 1990s, se você curte terminologia, se seu público curte palavras-chave suporte, máquinas vetoriais, matas aleatórias, impulso, todas elas são especialmente máquinas de vetor de suporte SVM são tudo relativamente complicado. Há muitas máquinas lá. E para conjuntos de dados muito pequenos e para poder de processamento limitado, eles podem superar o desempenho de abordagens mais simples, uma abordagem mais simples; uma regra muito simples para atualizar alguns números. Nós os chamamos de parâmetros, ou talvez os chamemos de pesos, e as redes generativas não funcionam muito bem para pequenos conjuntos de dados e para pequenas redes generativas em comparação com outras soluções. Então,1980nos s e 1990s, parece que eles não eram realmente muito bons. Se você escalar isso e executar uma rede causal simples, muito simples, com muitos pesos, muitos parâmetros que pode ajustar e tem muitos dados, permitindo que o modelo tenha algumas informações para realmente se apegar a eles funcionam surpreendentemente bem e parecem continuar funcionando cada vez melhor à medida que você torna os conjuntos de dados maiores e adiciona mais poder de processamento. E isso pode ser porque são simples. Há um argumento a ser feito lá de que há algo tão simples que é dimensionado para diferentes conjuntos de dados, tamanhos e poder de processamento diferente. Podemos conversar sobre cálculo, se você quiser. Podemos mergulhar na regra da cadeia. São apenas duas aplicações na regra da cadeia para obter o backprop.
michael lynn : [::]00 1051Grato por sua perspectiva. Eu gostaria de fazer mais uma pergunta sobre, você sabe, todos nós viemos deste digital convencional, você sabe, background de computação binária e coisas surpreendentes estão ocorrendo no espaço quático. Estou preocupado, você sabe, há algo acontecer no Google que você possa falar nesse espaço?
Doug Eck :[::]00 1111Bem, com certeza. Nós temos. Então, primeira ressalva, não SOU especialista em quântica. Temos um grupo quático de primeira linha em Sta. Bárbara e eles criaram alguns. Ele estava fazendo um grande progresso ao longo de alguns progressos no ano passado, meu entendimento da situação de que há uma certa classe de problemas que são extraordinariamente difíceis de resolver com o computador tradicional, mas que um computador quântica resolverá com relativa facilidade. E que, de fato, alguns desses problemas centrais podem formar a base para resolver uma classe muito mais ampla de problemas se você reescrever esses outros problemas como um desses problemas centrais, como fatoração de números primários, etc. E devo reconhecer que simplesmente não ser um especialista em quântica. Estou tão familiarizado com isso quanto você, estamos comprometidos. “Acho que o grande ponto de interrogação é se a classe de problemas que importa para nós é grande o suficiente para garantir o inves- timento e, essencialmente, subestimei todas as outras revoluções tecnologia. Correto. Você sabe, como eu não esperei chegar onde estamos agora. Então, eu suponha, você sabe, meu ceticismo sobre quântica é apenas, esta é a minha Personalidade, mas estou super ansioso com o que poderia ser. Você também sabe, é possível que estejamos em uma situação em que a Quantum produza algumas descobertas que nos coloquem alguns desafios, especialmente no que diz respeito à segurança e criptografia. Se encontrarmos novas maneiras de resolver problemas enormes que nos levarão indiretamente a resolver quebra-cabeças criptográficos. Mas se houver alguma pessoa quântica na arquibancada e você estiver dando de volta e age assim, esse sujeito não sabe do que está falando. Esse sujeito reconhece que não sabe do que está falando.
michael lynn : [::]00 1244Grato. Então, eu meio que descarrei a conversa. Anaiya, você pode retomar se quiser.
Anaiya Rashinghani : [::]00 1251Ideal. Obrigado. Hm, gostaria de perguntar um pouco sobre o HCI, que é a interação ser humano com o computador, e o que você faz nesse espaço. Muitas pessoas podem não ter escutado sobre a interação ser humano-computador e os ouvintes. Posso obter um pouco de background se você quiser, então é realmente apenas um campo que se concentra no design de tecnologia de computação e na maneira como humanos e computadores interagem. E parece que, quando as pessoas pensa em inteligência artificial, a primeira coisa em que refletem são, você sabe, em bots ou grandes espaços. Então, gostaria de perguntar o que você tem feito no Google. Você acredita que o aprendizado de máquina pode realmente ajudar a avançar a interação ser humano com o computador e a forma como os humanos e as máquinas interagem eticamente?
Doug Eck :[00:13:36] Thank you for that. That's an amazingly important question. So first a bit of a preface. I think we've made a fairly serious error in how we talk about AI and machine learning. And specifically I'm really turned off by the personification of AI. Like the AI is going to come and get you, right?
Like it's a conscious thing that has volition and wants to help you or hurt you. And this link with AI and robotics, and I'm very skeptical of this sort of techno-utopian folks who believe that we can solve all problems in the world by building a sentient AI. Like there are a lot of real problems in front of us to solve.
And I think we can use technology to help help us solve them. But I'm much more interested in solving the problems that are right in front of us, on the planet, rather than thinking about super intelligence or AGI, which is artificial general intelligence, meaning something smarter than us. So what does this mean for HCI human computer interaction?
I believe fundamentally. We use technology to help us solve problems. We always have, we have from the very beginning of humanity with things like arrowheads and fire, right. And I fundamentally don't see AI and machine learning as any different. I think what we're trying to do is use technology to solve problems like translation or, you know, maybe automatic identification of objects and images and things like that.
Ideally many more interesting problems than that. And one of the big roadblocks comes from taking a basic neural network or some other model trained on some data and actually doing something useful with it. And often it's a vast, vast, vast distance between a model and a lab that can, whatever, take a photograph and identify whether there's an orangutan or a banana in it and build something really useful, like perhaps some sort of medical software that will help you identify skin cancer. Right. And that, that distance ends up being more and more about how to actually make the software work for people deal with the messy real-world constraints that exist in our real, you know, in our actual world.
And, you know, this means that like I personally and our team in general, the brain team we've become much more interested in HCI. And I wouldn't say, I think the way you worded it was can machine learning help revolutionize HCI or help HCI or help move HCI along. It's the wrong direction we need there like we need HCI's help. So, so we've, we've been humbled, I think by our inability to take like our fancy algorithms and actually have them matter in people's lives. And I think partially it's because we haven't engaged enough in the past decade or so with the HCI community. And, you know, I personally and a number of people on my, in my world are trying really hard to address that.
By tackling problems with like joint viewpoints, that viewpoint of like the mathematically driven AI researcher, caring about what the data is. And then the HCI and the user interface folks were saying, wait, what problem are you trying to solve? And how are you going to actually take what this model can do and put it in the hands of users and how are you going to do it in a way that's ethical per your comment Anaiya?
And I hope someone grabbed the analogy of going from an image recognition algorithm to identifying skincancers. This has been one topic, for example, this generated a lot of discussion because skin cancers and skin color correlates with race and the ability for these algorithms to work across a spectrum of skin colors may differ, um, and our ability to build trust with doctors so that they want to use the software and patients, they believe they can trust the software.
Like these issues are like so, so complicated and it's so important for us to get them right. So you can tell I'm a passionate about this. I guess I should bring this to a close, which is to say I'm a convert. I guess I have the fervor of a convert who didn't think much about HCI, maybe five, six years ago.
I just started to see as these models get more and more powerful that the limiting factor is really how we use them and how we deploy them and how we make them work for us human beings. We're the personified ones, not the software, not the AI.
Anaiya Rashinghani : [::]00 1737Isso é demais. Muito obrigado por responder à minha pergunta, foi ótimo. E aprecio todos os pontos que você mencionou porque considero que eles precisam ser mencionados muito mais, especialmente na comunidade de IA. Eu gostaria de girar um pouco e participar do que você disse e falar sobre alguns dos problemas que surgem com o aprendizado profundo e a IA, e meio que conectá-los com redes generativas e bancos de dados, porque eu gostaria muito de ouvir sobre alguns das coisas que apareceram no passado quando se tentou integrar o aprendizado profundo a bancos de dados. E eu saiba que pode haver muitos problemas com aprendizado profundo e bancos de dados tabulares, mas e os bancos de dados baseados em coleção de documento ? E se os documentos forem análogos a registros ou linhas em um banco de banco de dados relacional, você acha que o aprendizado de máquina pode funcionar ou você acredita que os mesmos problemas podem surgir?
Doug Eck :[00:18:24] Another great question.
So, so first to put this all in content, arguably a machine learning researcher. Who's really writing code day to day, which I did in the past and now I'm doing more management work, but you're, you know, you're writing code day-to-day, you're trying to solve a hard problem. Maybe 70 or 80% of your time is spent dealing with data and how to manage data and how to make sure that you don't have data errors and how to move the data through your system.
Probably like in, in other areas of computer science, you know, we tend to call it plumbing. You spend a lot of time working on plumbing. And this is a manageable task. When you have a dataset of the sort we might've worked with 15 years ago, 10,000, 28 by 28 pixel images or something like that. I hope I got the pixels, right. Something called eminence, a bunch of written digits.
If we start looking at datasets that are all of the web basically represented in some way or another, all of the books in the library of Congress as a, as a hypothetical massive, massive image, data sets, massive video data sets, right? The ability to just kind of fake it.
Right, write a little bit of Python code that processes your data and throws it in a flat file of some sort becomes, you know, becomes basically untraceable. And so I think we're at an inflection point right now maybe we were even at that inflection point a year or two ago. Where a lot of machine learning researchers are thinking about scalable ways to handle data.
So that's the first thing. The second thing is that we're also specifically with respect to very large neural networks, wanting predictions to be factual. If we have a chat bot that chats with you and that chat bot is driven by a neural network and you ask it, what's the capital of Indiana, my home state.
We hope it says Indianapolis every time. Uh, we don't want this to be a roll of the dice. We don't want it to be a probabilistic model that rolls the dice and says Indianapolis, you know, 50 times, but 51 time that 51st time instead says Springfield. So there's this very, very active and rich research area of bridging between databases and neural networks, which are probabilistic and finding ways to land in the database and actually get the right answer.
And it's the right answer because we verify that it's the right answer. We have a separate team working with that database and we understand how to relate that to some decision-making algorithm that might ask a question: should I go to Indianapolis? Maybe that's a probabilistic question. Maybe it's role as a dice.
Maybe you all don't want to come to Indianapolis. It's up to you, but I'm trying to make the distinction between, between these two kinds of, of decisions. Two kinds of information. One of them is probabilistic. Every sentence is unique. We might describe the same scene with a million different sentences.
But we don't want to miss on facts, especially if we want to solve hard problems. And so there's an open challenge. I do not have an answer for it. There are many, many smarter people than me working on ways in which we can bridge the gap between products like MongoDB and machine learning. It doesn't take long to realize there are a lot of people thinking about this.
If you do a Google search and you limit to the site, reddit.com and you put them on MongoDB and machine learning, you see a lot of discussion about how can we back machine learning algorithms with, with databases. So, um, it's definitely an open topic. Finally. Third, you mentioned something about rows and columns and the actual structure of a relational database.
I think that's also very interesting because algorithms that are sensitive, I say algorithm, I mean a neural network or some other model program designed to solve a problem. You know, those algorithms might actually take advantage of that structure. Not just like cope with it, but actually understand in some ways how, in ways that it's learning how to leverage the structure of the database to make it easier to solve certain problems.
And then there's evidence outside of, of databases for general machine learning to believe that's possible. So, for example, in work, for example, predicting the structure of proteins and other molecules, we have some what we might call structural prior information we have some idea about the geometry of what molecules should look like.
And there are ways to leverage that geometry to kind of limit the space of predictions that the model would make. It's kind of given that structure as, as foundation for, for, for the productions, predictions is making such that it won't likely make predictions that violate that structure. For example, graph neural networks that actually work on a graph.
You can write down a database structure as a graph if you'd like, and, and take advantage of that graph for solving hard problems. Sorry, that was, it's like a 10 minute answer. I'll try to make them shorter next time, Anaiya, but that's my answer.
Anaiya Raraisinghani : [::]00 2303Sim. Porque eu, bem, eu estava pesquisando por isso e, também quando aceitei o tarefa, muitas das perguntas durante a pesquisa foram: como você usaria o aprendizado de máquina, uh, durante meu estágio e vi artigos como estender todo o caminho de volta para os primeiros dois milésimos de texto explicando como a aplicação de redes generativas artificial e ANNs a grandes bancos de dados modernos parece uma ótima ideia em teoria, porque você sabe que, como elas, elas oferecem tolerância a falhas potenciais, são inerentemente paralelas . Um, e a interseção entre eles parece realmente superatraente. Mas Encontrei este artigo sobre isso e tipo, a data era 2000 e então procurei outras coisas e tudo a partir daí eram problemas entre conectar bancos de dados e o aprendizado profundo. Então, muito obrigado pela sua resposta. Eu realmente aprecio isso. Sinta que, especialmente neste podcast, foi uma resposta ótima para uma pergunta difícil.
Doug Eck :[::]00 2357Posso jogar, posso jogar mais uma coisa antes de você seguir em frente? Há também alguns como o que eu chamei de baixos resultados. Como um grupo de problemas mais simples que podemos resolver. Portanto, uma das grandes áreas do aprendizado de máquina em que estou trabalhando é a de modelos de linguagem de texto. Correto? Pense em tradução, você digita uma string em um idioma e nós a traduzimos para outro idioma ou se, e se, seus ouvintes pagaram atenção a alguns, algum novo um, modelos de aprendizado de máquina que podem, você pode chat com eles como chatbots, como o Lambda do Google ou alguns modelos de linguagem grandes que podem escrever histórias. Estamos realizando que podemos usá-los para aumento de dados e, talvez indiretamente, para verificação de dados. Assim, podemos usar redes generativas para prever entradas de dados incorretas. Podemos ser capazes de, por exemplo, digamos que seu banco de dados de dados esteja tentando fornecer mil maneiras diferentes de descrever uma cenário. Podemos ajudar a automatizar isso. E então você teria um ser humano que está chegando. Como os humanos sempre precisam estar lá, parece que devo ser responsável, você sabe, dizendo, tudo bem, aqui está como, você sabe, 20 maneiras diferentes de descrever essa cenário em diferentes níveis de complexidade, mas usamos a rede Neural para ajudar a tornar seu trabalho muito, muito mais rápido. E então, se formos além de tentar resolver todo o problema, tipo, o que é um banco de dados de dados e como o geramos, ou como o mantemos? Tipo, isso é algo que é como o SANTO Graal, mas podemos estar considerando o uso de redes ureiais em particular modelos de linguagem para, tipo, dados humanos, pessoas de qualidade de dados, de maneiras que, na verdade, só vão varrer o campo e nos ajuda a fazer um tarefa muito, muito melhor desse tipo de validação. E até eu me lembrar de há muito tempo, quando criei bancos de dados, a validação de dados é uma preocupação, certo? Todo mundo odeia dados podres. É lixo para dentro, lixo para fora. Portanto, se pudermos obter dados melhores e mais limpos, todos ganhamos.
Anaiya Raraisinghani : [::]00 2539Sim. E, sobre o assunto de modelos de linguagem, também queria falar sobre a GPT 3 e vi um artigo do MIT recentemente sobre como eles estão achando que ela pode substituir a classificação de página do Google. E eu gostaria muito de ouvir sua visão sobre o que você acha que pode acontecer no futuro e se os modelos de linguagem realmente podem substituir a indexação.
Doug Eck :[::]00 2558Então, para deixar claro, ainda precisaremos fazer a indexação, certo? Ainda precisamos indexar os documentos e precisamos ter alguma ideia do que eles média. Esta é a melhor maneira de pensar sobre isso. Então, conversamos com a IO este ano sobre o uso de alguns modelos de linguagem grandes para melhorar nossa pesquisa em nossos produtos. E já conversamos sobre isso em outros blogs. Não gostaria de me colocar em apuros declarando mal o que já foi afirmado. Eu o indicaria lá porque você sabe, alguém quer, alguém quer ter que falar com o gerente depois que o podcast for lançado e diz: Por que você disse isso? Você sabe, mas aqui está a questão. Isso me chama a atenção. E esta é apenas a minha visão. Classificação da página do Google. Para aqueles que não sabe o que é classificação de página, a ideia básica é, em vez de examinar um documento e o que ele contém. Decidimos o valor do documento por outros documentos vinculados a esse documento e quanto confiamos nos outros documentos. Portanto, se vários sites de renome estiverem vinculados a um documento que por acaso seja sobre automóveis, confiaremos que esse documento seja sobre automóveis, certo? Um, e então é, é um problema de gráfico onde atribuímos confiança e a propagamos, a partir de links de entrada. Um, obrigado, Lary e Sergei. Por trás disso está essa falta de confiança fundamental de ser capaz de descobrir o que está em um documento. Correto, como toda a ideia é dizer, não sabemos realmente o que há neste documento. Então, vamos criar um truque que nos permita avaliar este documento com base no que outros documentos pensa sobre ele. Correto. E uma maneira de pensar sobre essa volta e os grandes modelos de linguagem, um, como3 o GPT-, que veio da IA aberta e, um, que é baseado em alguma tecnologia central que veio do nosso grupo chamado Transformer. Esse é o T no GPT-3 com sempre há concorrência de amigos que o pessoal da Open AI é ótimo. E também considero nossa equipe ótima. Vamos meio que aumentar quem pode, quem pode se mover mais rápido, um, saúde para Open AI. Agora temos algumas boas maneiras de levar um documento cheio de palavras. E se você quiser pensar sobre isso abstratamente, projetando-o em outro espaço de números. Então, talvez para esse documento, que pode ter quantas palavras você precisar para o documento, digamos que esteja entre e, palavras, correto. Pegamos uma 500 rede 2 causal000 e executamos essa sequência através dela. E obtemos esse vetor de números, esse vetor, essa sequência de números talvez sejam mil números certos, agora, graças à rede causal esses mil números realmente fazem um bom tarefa ao descrever o que está no documento. Não podemos ler com os nossos olhos, porque é apenas uma sequência de números. Mas se pegarmos esse vetor e compará-lo com outros vetores, o que descobriremos é que vetores semelhantes na verdade contêm documentos que contêm informações muito semelhantes e podem ser escritos de forma completamente diferente. Correto. Mas topicamente eles são semelhantes. E então, o que obtemos é a capacidade de entender conjuntos de dados massivos, massivos de texto em relação ao que se trata, o que significa e para quem é. E agora temos um tarefa muito melhor do que há em um documento e podemos usar essas informações para aumentar o que sabemos sobre como as pessoas usam documentos, como se vinculam a eles e o quanto confiam neles. E isso nos dá uma maneira melhor de exibir documentos relevantes para as pessoas. E esse é o ponto crucial em minha mente, ou pelo menos em minha visão de por que um grandes modelos de linguagem pode ser importante para uma empresa de pesquisa. Isso nos ajuda a entender a linguagem e, fundamentalmente, a maior parte da pesquisa é sobre linguagem.
Anaiya Rashinghani : [::]00 2911Eu também queria falar com você sobre, porque a linguagem é uma das grandes coisas com IA, mas agora tem havido muito movimento em direção à arte e à músicas. E eu seis que você é realmente grande nisso. Então, eu queria perguntar sobre para os ouvintes, se você pudesse explicar um pouco por trás do Manager, e então também gostaria de falar com você sobre o Yatch, porque tinha notado que eles usaram o MongoDB para sim. Para o novo disco. E então, quais são seus comentários sobre a utilização da IA para continuar os legados na arte, na músicas e apenas na criação?
Doug Eck :[00:29:45] Okay, cool. Well, this is a fun question for me. Uh, so first what's Magenta? Magenta is an open source project that I'm very proud to say I created initially about six years ago. And our goal with Magenta is to explore the role of machine learning as a tool in the creative process. If you want to find it, it's at g.co/magenta.
We've been out there for a long time. You could also just search for Google Magenta and you'll find us, um, everything we do goes in open source basically provide tools for musicians and artists, mostly musicians based upon the team. We are musicians at heart. That you can use to extend your musical, uh, your musical self.
You can generate new melodies, you can change how things sound you can understand more, uh, the technology. You can use us to learn JavaScript or Python, but everything we do is about extending people and their music making. So one of the first things I always say is I think it would be, it's kind of cool that we can generate realistic sounding melodies that, you know, maybe sound like Bach or sound like another composer, but that's just not the point. That's not fun. Like, I think music is about people communicating with people. And so we're really more in the, in the heritage of, you know, Les Paul who invented was one of the inventors of the electric guitar or the cool folks that invented guitar pedals or amplifiers, or pick your favorite technology that we use to make a new kind of music.
Our real question is can we like build a new kind of musical instrument or a new kind of music making experience using machine learning. And we've spent a lot of time doing fundamental research in this space, published in conferences and journals of the sort that all computer scientists do. And then we've done a lot of open source work in JavaScript so that you can do stuff really fast in the browser.
Also plugins for popular software for musicians like Ableton and then sort of core hardcore machine learning in Python, and we've done some experimental work with some artists. So we've tried to understand better on the HCI side, how this all works for real artists. And one of the first groups we worked with is in fact, thank you for asking a group called Yacht.
They're phenomenal in my mind, a phenomenal pop band. I think some part LCD sound system. I don't know who else to even add. They're from LA their front person. We don't say front man, because it's Claire is Claire Evans. She's an amazing singer, an utterly astonishing presence on stage. She's also a tech person, a tech writer, and she has a great book out that everybody should read, especially every woman in tech, Anaiya, called BroadBand the story of, um, of women in the internet. I mean, I don't remember if I've got the subtitle, right. So anyway very interesting people and what they did was they came to us and they worked with a bunch of other AI folks, not just Google at all. Like we're one of like five or six collaborators and they just dove in headfirst and they just wrestled with the technology and they tried to do something interesting.
And what they did was they took from us, they took a machine learning model. That's able to generate variations on a theme. So, and they use pop music. So, you know, you give it right. And then suddenly the model is generating lots of different variations and they can browse around the space and they can play around and find different things.
And so they had this like a slight AI extension of themselves. Right. And what they did was utterly fascinating. I think it's important. Um, they, they first just dove in and technically dealt with the problems we had. Our HCI game was very low then like we're like quite, quite literally first type this pro type this command into, into, into a console.
And then it'll generate some midi files and, you know, there are musicians like they're actually quite technically good, but another set of musicians of like what's a command line. Right. You know, like what's terminal. So, you know, you have these people that don't work with our tooling, so we didn't have anything like fancy for them.
But then they also set constraints. So, uh, Jona and Rob the other two folks in the band, they came up with kind of a rule book, which I think is really interesting. They said, for example, if we take a melody generated by the Magenta model, we won't edit it ever, ever, ever. Right. We might reject it. Right. We might listen to a bunch of them, but we won't edit it.
And so in some sense, they force themselves to like, and I think if they didn't do that, it would just become this mush. Like they, they wouldn't know what the AI had actually done in the end. Right. So they did that and they did the same with another, uh, some other folks, uh, generating lyrics, same idea.
They generated lots and lots of lyrics. And then Claire curated them. So curation was important for them. And, uh, this curation process proved to be really valuable for them. I guess I would summarize it as curation, without editing. They also liked the mistakes. They liked when the networks didn't do the right thing.
So they liked breakage like this idea that, oh, this didn't do what it was supposed to. I like that. And so this combination of like curiosity work they said it was really hard work. Um, and in a sense of kind of building some rules, building a kind of what I would call it, grammar around what they're doing the same way that like filmmakers have a grammar for how you tell a story.
They told a really beautiful story, and I don't know. I'm I really love Chain Tripping. That's the album. If you listened to it, every baseline was written by a magenta model. The lyrics were written by, uh, an LSTM network by another group. The cover art is done by this brilliant, uh, artists in Australia, Tom white, you know, it's just a really cool album overall.
Anaiya Raraisinghani : [::]00 3509Sim, eu escutei. É ótimo. Me parece que isso só faz alusão a quão longe a tecnologia chegou.
Doug Eck :[::]00 3516Estou de acordo. Oh, a propósito que o, as batidas do percalço, as batimentos do percalço vêm do mesmo modelo. Mas na verdade não temos um modelo de bateria. Então eles simplesmente jogaram fora as notas e manteram as durações, você sabe, e as linhas de base vêm de um modelo que foi formado em teclado, onde ambos, Rob e Mona tocam baixo, mas Rob, o cara que geralmente joga o baixo na banda gera essas linhas de base que são realmente difíceis de reproduzir. Então você tem essa ideia de que a IA é como se estivesse gerando coisas que eles apenas não estão familiarizados com o palco. E então eu tambémadoro essa ideia, de que é como empurrá-los, mesmo de maneiras que, como no palco, eles tenham que fazer as coisas com as mãos de forma um pouco diferente do que teriam que fazer. Um, então isso meio que os empurra para fora.
michael lynn : [::]00 3554Então, estou interessado em saber o processo de autoria com o Manager e , talvez até especificamente devido à maneira como Yatch montou esse disco, quais são os arquivos de entrada? O que treinar o sistema.
Doug Eck :[::]00 3607Então, neste caso, isso foi ótimo. Nós demos a eles o software, eles forneceram suas próprias derivações médias a partir de seu próprio trabalho. Então, eles realmente controlaram o processo. Você sabe, nosso software foi lançado e está licenciada para, você sabe, é uma licença Apache, mas não temos nenhuma reivindicação sobre o que está sendo criado. Eles colocam seus próprios dados, eles possuem tudo. E isso realmente tornou o processo muito mais interessante. Eles não eram como trabalhar com alguns conjuntos de dados de Piano estranhos, como músicas clássicas. Eles estavam como trabalhar com seus próprios talos de, um, suas próprias gravações anteriores.
michael lynn : [::]00 3636Incrível.
Anaiya Rashinghani : [::]00 3638ótimo. Para minha última pergunta, para completar isso, eu só queria perguntar: o que você vê de impactante e interessante sobre o futuro do aprendizado de máquina.
Doug Eck :[::]00 3649Estou tão ruim na esfera decristal. Um,
michael lynn : [::]00 36No53 entanto,adoro a pergunta.
Doug Eck :[::]00 3656Sim. Então, então aqui, eu considero, eu considero primeiro, que devemos ser sempre Habilidosos sobre o que alcançamos. Se você procurar, saberá que os humanos são muito inteligentes, muito mais inteligentes do que as máquinas. E se você observar os materiais gerados a partir do aprendizado profundo, por exemplo, os caras, quando aparecem pela primeira vez, qualquer que seja o novo modelo lançado primeiro, tipo, oh meu deus, não dá para diferenciá-los dos humanos. E então, se você joga com eles por um tempo, você está tipo, oh sim, eles não estão certos. Eles não estão certos. E isso sempre foi verdade. Recordo-me de ler sobre como quando o fonográfico foi lançado pela primeira vez e eles o fariam, eles o fariam, como um palco de um teatro. E isto é como um, com um cilínulo de Cera, sabe? As pessoas dirão que soa exatamente como uma orquestra. Não posso diferenciá-lo. Correto. Eles apenas não estão familiarizados com isso. Correto. E então, como primeiro, acha que devemos ser um pouco Habilidosos sobre o que alcançamos. Pense que, especialmente com modelos como GPT-,3 como modelos, modelos de linguagem grandes, alcançamos um tipo de fluent que nunca hav{ alcançado antes. Então, o modelo parece que está fazendo algo, mas como se não fosse a lugar nenhum. Correto. E é por isso que, de modo geral, considero que as novas e impactantes descobertas surgirão quando pensarmos em como tornar esses modelos controláveis, para que um usuário possa realmente moldar a saída de um desses modelos? Um criador de políticas pode adicionar camadas ao modelo que o tornem mais seguro? Correto. Então, podemos realmente usar essa rede causal, você sabe, como um dispositivo de aprendizado para aprender o que é necessário para definir padrões em dados, mas para fornecer aos usuários muito mais controle sobre como esses padrões são usados em um produto. E é aqui que julgo que vamos ver as verdadeiras vitórias, a capacidade de aproveitar isto para resolver problemas da forma correta.
Anaiya Rashinghani : [::]00 3833Ideal. Doug, muito obrigado por ter ido hoje. Foi ótimo ouvir você.
Doug Eck :[::]00 3839Foi ótimo. Graças por todas as ótimas perguntas, Anaiya, foi fantástico
michael lynn : [::]00 3844Repetirei isso. Muito obrigado, Doug. Foi ótimo conversar com você. Obrigado por ouvir. Se você leu este capítulo, por favor, curta e se inscreva, tem uma pergunta ou sugestão para o programa? Visite-nos nos fóruns da comunidade MongoDB em community.Mongodb.com.
Muito obrigado por reservar um tempo para ouvir nosso episódio de hoje. Se quiser saber mais sobre o trabalho de Doug no Google, você pode encontrá-lo por meio de seu perfil no LinkedIn ou no perfil do Google Research. Se você tiver alguma dúvida ou comentário sobre o episódio, sinta-se à vontade para entrar em contato com Anaiya Raisinghani, Michael Lynn ou Nic Raboy.
Você também pode encontrar isso e todos os capítulos do MongoDB Podcast em sua rede de podcast favorita.