Gemini e Node.js: integrando sua aplicação com a API do Google

Conhecendo o Google AI Studio - Apresentação

Boas-vindas a mais um curso! Sou a Jacqueline Oliveira, engenheira de software e instrutora aqui na Alura.

Audiodescrição: Jacqueline se declara uma mulher branca, de cabelos loiros e longos. Veste uma blusa rosa escura e lisa. Está nos estúdios da Alura, onde a iluminação de fundo apresenta tons de azul e roxo.

O que vamos aprender?

1. Documentação e a utilização da ferramenta
2. Integrar o código com a API do Gemini
3. Conhecer os recursos de multimodalidade
4. Manipular a engenharia de prompt

Neste curso, vamos explorar o Gemini, a solução de inteligência artificial desenvolvida pelo Google. Essa IA generativa é capaz de criar conteúdos impressionantes com base na nossa interação. Por exemplo, ao pedirmos informações sobre um destino específico, o Gemini pode gerar textos e imagens relevantes, além de fornecer uma variedade de dados sobre o assunto.

Para entender melhor o funcionamento do Gemini, começaremos dando uma analisada no Google AI Studio. Lá, poderemos conhecer os modelos disponíveis, aprender como utilizar os prompts, entender o papel dos tokens, conhecer os limites de uso, os custos envolvidos e ter acesso a toda a documentação necessária para utilizar essa ferramenta de forma eficiente.

Após isso, iremos avançar para a etapa de integração do nosso código com a API do Gemini, utilizando o Node.js e o JavaScript. Nesse processo de integração, exploraremos a funcionalidade multimodal da IA.

Vamos trabalhar com a integração de textos provenientes de um arquivo de texto, além de incluir imagens para análise pela API. Também vamos explorar recursos como a contagem de tokens, a engenharia de prompts e outras funcionalidades interessantes disponíveis.

Todo esse conhecimento adquirido será aplicado no nosso projeto Jornada Viagens, um site dedicado à venda de pacotes de viagens e passagens aéreas. Essa jornada promete ser enriquecedora, com recursos fascinantes que permitirão tornar as suas aplicações ainda mais inteligentes e atrativas ao público.

Pré-requisitos

Para aproveitar ao máximo este curso, é recomendável possuir conhecimentos básicos de JavaScript e familiaridade com o uso do Node.js. Além disso, é útil ter um entendimento prévio sobre o conceito de IA generativa, pois não abordaremos detalhes sobre essa tecnologia aqui.

Nosso foco será conhecer e utilizar os recursos disponíveis, desenvolvendo todo o código utilizando JavaScript.

Esperamos você, pegue um café ou um suco e venha conosco!

Conhecendo o Google AI Studio - Modelos e ambiente de teste

Configuração Inicial e Acesso ao Gemini

Para começar a usar o Gemini, primeiro você precisa estar logado na sua conta do Google. Durante o primeiro acesso, é provável que você seja solicitado a aceitar alguns termos e concordar com algumas condições. Depois disso, você poderá utilizar tanto a parte do AI Studio, onde você pode interagir e testar o que precisar para usar a API, quanto a própria tela de pesquisa.

Por exemplo, a URL que estou vendo agora é gemini.google.com/app. Se você digitar gemini.google.com, será redirecionado para a tela que estou vendo. Nessa tela, podemos fazer perguntas na caixa de texto na parte inferior da mensagem "Hello, Jacqueline. How Can I help you today?" (Em português, "Olá, Jacqueline. Como posso te ajudar hoje?").

Analisando a Resposta do Gemini

Como estamos discutindo a Jornada Viagens, vamos perguntar sobre um destino que gostaríamos de conhecer. Então, digitamos:

Me fale sobre El Calafate

Teclamos "Enter" para enviar a pergunta.

Na formulação da pergunta, é importante ser direto e objetivo, evitando formalidades desnecessárias.

O retorno abaixo foi parcialmente transcrito.

El Calafate: Portal para a Maravilha Glacial da Patagônia

El Calafate, aninhada às margens do Lago Argentino na Argentina, é a porta de entrada para o espetacular Parque Nacional Los Glaciares, lar da icônica geleira Perito Moreno. Mais do que um ponto de partida para aventuras glaciais, a cidade em si oferece um charme singular e uma variedade de atividades para encantar viajantes de todos os gostos.

Explorando os Gigantes de Gelo:

• Perito Moreno: A geleira mais famosa, Perito Moreno ostenta uma grandiosidade impressionante, com seus 7 km de largura e 30 metros de altura. Caminhadas pelas passarelas oferecem vistas deslumbrantes, enquanto navegações pelo lago permitem observar os icebergs à deriva.

// Conteúdo textual e visual suprimido

O texto já fornece informações sobre El Calafate, incluindo imagens e links para empresas de viagem. Além disso, assim como outras inteligências artificiais generativas que facilitam a pesquisa rápida, temos uma ferramenta que permite testar antes de integrar com nossa API.

Para isso, basta acessar o site ai.google.dev em outra aba do navegador para utilizar o* Google AI for Developers*, focado em inteligência artificial para pessoas desenvolvedoras.

Ao abrir a tela no navegador, de imediato encontramos a opção de construir com o Gemini ("Build with Gemini"), a ferramenta de inteligência artificial desenvolvida pelo Google. Ela já apresenta botões e links úteis, como acesso para obter a chave de API ("Get API key in Google AI Studio") e a documentação correspondente ("Read API docs"), embora estes detalhes não sejam necessários no momento.

Ao descer a página, é informado que a versão atual em preview é a 1.5 Pro do Gemini, que oferece diversos recursos, porém ainda está em fase de teste, possuindo algumas limitações que serão discutidas ao longo do curso. No final da página, são fornecidos exemplos em Python para as plataformas Android, Go e Node, sendo esta última a que utilizaremos aqui. Portanto, na parte superior do código, selecionamos a aba "Node.js".

Ao clicar no botão "Get Started", seremos direcionados para a página de documentação. Nessa primeira página, temos o título "Começar a usar a API Gemini". Descendo um pouco, na seção "Google AI Studio", temos um outro botão chamado "Inicie o Google AI Studio". Desejamos justamente iniciar o Google AI Studio, para começarmos a fazer testes.

Ao clicar nesse botão, seremos direcionados para a tela que chamamos de Google AI Studio Playground, onde fazemos os testes na nossa API. Depois, quando já tiver com a conta toda configurada, pode-se favoritar esse endereço, que é o aistudio.google.com. Digitando o aistudio.google.com, já somos direcionados diretamente para esse prompt.

Neste prompt, vamos replicar uma ação que realizamos anteriormente: fazer uma pergunta e entender como a aplicação responde. Examinaremos o comportamento e determinaremos as etapas necessárias para que a aplicação responda à pergunta. Em seguida, vamos revisar todas as configurações. Apesar da tela estar atualmente sobrecarregada, vamos examinar cada item para discutirmos sobre os modelos, a parte direita e a parte esquerda.

Analisando a Resposta no Google AI Studio

Portanto, vamos digitar a mesma pergunta: "Me fale sobre El Calafate", para verificar como a resposta é formulada. No canto inferior da tela, no prompt, inserimos a pergunta e aguardamos a resposta.

Me fale sobre El Calafate

Podemos observar um processo interessante enquanto ele cria suas respostas. Se subirmos a barra de rolagem do lado direito para o início do prompt, podemos visualizar no canto superior direito que ele categoriza minha pergunta como "User", representando o usuário que faz a pergunta, e a resposta como "Model", representando o modelo que gera a resposta.

Assim, temos o user e o model como termos fundamentais que utilizaremos frequentemente em nossa API. Precisaremos indicar o que o user está perguntando e qual comportamento esperamos do model.

El Calafate: Un portal a la magia glacial

El Calafate, ubicado en la provincia de Santa Cruz, Argentina, es un destino turístico reconocido mundialmente por su cercanía al majestuoso Glaciar Perito Moreno y por ser la puerta de entrada al Parque Nacional Los Glaciares.

Qué puedes esperar en El Calafate:

• Experiencias glaciares inolvidables:

• Visitas al Glaciar Perito Moreno: Puedes admirar este gigante de hielo desde las pasarelas, navegar frente a su imponente pared o incluso caminar sobre el con crampones en una excursión de trekking.

• Navegaciones por el Lago Argentino: Descubre otros glaciares como Upsala y Spegazzini, rodeados de paisajes de ensueño. 

• Actividades al aire libre:

• Senderismo y trekking: Explora las diversas rutas que ofrecen vistas

Ele respondeu, mas de forma bastante simples em espanhol. Solicitamos para ele nos falar sobre El Calafate em português. Parece que alguma configuração do navegador está em espanhol, mas vamos insistir para que ele se expresse em português.

Me fale sobre El Calafate em português

Ele já começou a responder em português.

El Calafate: Um portal para a magia glacial

El Calafate, localizado na província de Santa Cruz, Argentina, é um destino turístico mundialmente reconhecido por sua proximidade ao majestoso Glaciar  Perito Moreno e por ser a porta de entrada para o Parque Nacional Los Glaciares.

O que você pode esperar em El Calafate:

• Experiências glaciares inesquecíveis:

• Visitas ao Glaciar Perito Moreno: Você pode admirar este gigante de gelo a partir das passarelas, navegar em frente à sua imponente parede ou até mesmo caminhar sobre ele com grampos em uma excursão de trekking.

• Navegações pelo Lago Argentino: Descubra outras geleiras como Upsala e Spegazzini, rodeadas por paisagens de sonho.

• Atividades ao ar livre:

• Caminhadas e trekking: Explore as diversas trilhas que oferecem vistas

Comparando com a resposta mais detalhada que obtivemos usando o Gemini completo na primeira aba do navegador, esta foi mais sucinta. No canto superior direito, observamos que ele está usando o modelo Gemini 1.5 Pro, que ainda está em preview, mas oferece várias opções que podemos ajustar.

Focaremos no primeiro item, que é o multimodal. Em vez de dar atenção ao texto agora, concentraremos na imagem. No caso anterior, houve uma resposta com imagem; será que consigo obter o mesmo nesta interação com a API? Para isso, já separamos uma imagem no Google Drive.

Agora, clicaremos na opção "image", localizada na parte superior da tela, e selecionaremos a imagem do ponto turístico na Argentina. Em seguida, pediremos para ele descrever a imagem e falar sobre sua localização. Vamos verificar se ele será capaz de reconhecer a imagem, já que a resposta anterior não veio acompanhada de uma imagem.

Descreva essa imagem e me fale sobre a localização dela

Ele conseguiu reconhecer a imagem rapidamente; identificou como a Casa Rosada, o Palácio Presidencial Argentino. Foi ágil em interpretar a imagem e fornecer informações sobre esse ponto turístico.

A Casa Rosada: O Palácio Presidencial Argentino

A imagem mostra um edifício imponente de cor rosa, com arquitetura clássica e detalhes ornamentados. Trata-se da Casa Rosada, sede do poder executivo da Argentina e residência oficial do Presidente da República.

Localização:

A Casa Rosada está localizada na cidade de Buenos Aires, capital da Argentina, mais precisamente na Plaza de Mayo, um importante ponto histórico e político do país.

Detalhes da imagem:

• O edifício apresenta uma fachada simétrica com vários andares.
• A cor rosa é uma característica marcante, com detalhes em branco nas molduras das janelas e portas.
• Um grande arco central serve como entrada principal, com um pórtico sustentado por colunas.
• Acima do arco, vemos um relógio e o brasão nacional argentino.
• A praça em frente ao palácio possui um calçamento e está cercada por grades.
• Pessoas podem ser vistas caminhando pela praça, demonstrando que é um local público e acessível.
• A iluminação amarelada dos postes confere um ar acolhedor à cena, possivelmente indicando que a foto foi tirada ao entardecer
ou amanhecer.

A Casa Rosada é um símbolo importante da Argentina e um ponto turístico popular, atraindo visitantes de todo o mundo que desejam conhecer mais sobre a história e a cultura do país.

Agora, para analisarmos mais a fundo o histórico deste primeiro conteúdo no Playground, vamos verificar se ele consegue manter esse histórico. Vamos verificar se ele entender que perguntamos sobre El Calafate e em seguida adicionamos uma imagem dentro do mesmo prompt.

Todas essas interações ocorreram no mesmo prompt, sem que tivéssemos limpado ou excluído nada, apenas adicionamos a imagem no mesmo contexto. Agora, vamos pedir para ele calcular a distância entre os dois pontos. Digitamos:

Me diga a distância entre esses dois lugares

Assim, veremos se ele consegue conectar as informações e entender que estávamos falando sobre El Calafate e a localização da Casa Rosada.

Distância entre El Calafate e Buenos Aires (Casa Rosada) A distância entre El Calafate, na província de Santa Cruz, e Buenos Aires, capital da Argentina onde se encontra a Casa Rosada, é considerável.

Por via aérea:

• A maneira mais rápida de viajar entre as duas cidades é de avião.

• O voo direto tem uma duração aproximada de 3 horas e 30 minutos.

• Diversas companhias aéreas oferecem voos regulares entre os aeroportos internacionais de El Calafate (FTE) e Buenos Aires (EZE ου ΑΕΡ).

…

Ele compreendeu a questão e nos forneceu a distância entre El Calafate e Buenos Aires. A resposta foi que a distância é considerável e que é possível viajar de avião ou por via terrestre, além de nos dar algumas informações sobre esses dois locais. Portanto, todas as informações estão conectadas dentro do mesmo contexto.

Conclusão e Próximos Passos

Existem diversas configurações que podemos ajustar para garantir que as respostas e o funcionamento ocorram da maneira desejada, alinhada com nosso tipo de negócio. No caso específico aqui, estamos lidando com um site de viagens, o Jornada Viagens.

A seguir, vamos explorar alguns itens que podem ser configurados para obter respostas mais adequadas, criativas ou sucintas. Vamos analisar isso em breve!

Conhecendo o Google AI Studio - Testando outros parâmetros

Exploramos previamente algumas interações com o prompt da Gemini, que é multimodal e suporta imagem, vídeo e áudio. Isso se deve ao fato de estarmos usando a versão 1.5, ainda em fase de preview. Percebemos que ao fazer a mesma pergunta no site gemini.google.com, a resposta gerada foi diferente.

Isso acontece porque a Inteligência Artificial Generativa é uma tecnologia que cria conteúdo novo, como texto e imagem, usando grandes conjuntos de dados para aprender padrões e gerar novos conteúdos com base nessas análises.

Podemos programar e realizar medições de temperatura e contagens de tokens. Podemos também manipular como essas respostas serão apresentadas, o que será explorado a seguir.

Para realizar novos testes no Google AI Studio, basta clicarmos em "Create New" no lado esquerdo e solicitar um novo "Chat prompt". Será exibida uma janela na parte central perguntado se desejamos salvar o chat atual; clicamos em "OK" e começamos do zero, criando um novo modelo de chat para testar algumas funcionalidades.

No lado superior direito, onde está selecionado o modelo "Gemini 1.5 Pro", podemos trocar para o "Gemini 1.0 Pro", que será utilizado em nossa API, já que, no momento desta gravação, o 1.5 ainda está em fase de preview.

Explorando os critérios de modificação

Temperatura

Vamos explorar alguns critérios de modificação, como a temperatura do lado direito. Observamos um campo denominado temperatura, atualmente configurado como 0.9.

A temperatura influencia o nível de aleatoriedade na seleção de um token durante a geração de respostas.

Mas o que é esse token? Um token é um conjunto de caracteres, geralmente entre 4 a 6 caracteres, que formam uma unidade básica de significado, não necessariamente uma palavra completa.

Tokens são unidades de informação utilizadas pelo modelo para processar um texto

Este modelo permite a geração de até 30 mil tokens, conforme indicado no canto inferior da tela. Ao utilizar o Gemini 1.5, esse número aumenta para 1 milhão de tokens. Esse aumento representa uma melhoria significativa na qualidade, complexidade e criatividade das respostas, pois haverá muito mais recursos disponíveis para a geração e envio de informações.

Vamos retornar ao modelo 1.0 e ajustar a temperatura para controlar o nível de aleatoriedade desejado. Vamos configurá-lo com a temperatura máxima, que é 1, e fazer uma pergunta específica, com:

Quais são os 5 principais motivos para visitar o Canadá?

Assim, poderemos observar a resposta gerada, avaliando se ela é criativa ou não.

5 Principais Motivos para Conhecer o Canadá

1. Paisagens de tirar o fôlego: O Canadá ostenta algumas das paisagens mais impressionantes do mundo, desde as majestosas Montanhas Rochosas até os lagos cristalinos e a vasta tundra do norte.

2. Cultura diversificada: O Canadá é um caldeirão de culturas, com pessoas de todas as origens do mundo contribuindo para sua rica tapeçaria cultural. Desfrute de uma miríade de festivais, culinárias internacionais e arte diversificada.

3. Grande vida selvagem: O Canadá abriga uma vida selvagem abundante, incluindo muitos animais icônicos, como ursos, alces, castores e baleias. Testemunhe essas criaturas incríveis em seu habitat natural através de parques nacionais, safáris e cruzeiros de observação de baleias.

4. Qualidade de vida excepcional: O Canadá é consistentemente classificado entre os melhores países para se viver no mundo. Ele oferece um sistema de saúde universal de alta qualidade, educação acessível e um ambiente geralmente seguro e pacífico.

5. Cidades vibrantes: O Canadá abriga cidades cosmopolitas, como Toronto, Vancouver e Montreal, que oferecem uma gama incomparável de atrações culturais, culinárias e de entretenimento. Mergulhe na energia contagiante, explore bairros histórico

Temos "Paisagens de tirar o fôlego", "Cultura diversificada", "Grande vida selvagem", "Qualidade de vida excepcional" e "Cidades vibrantes". Portanto, a IA selecionou alguns tokens para gerar essa resposta. Na parte inferior, observamos que foi gerada uma resposta com 321 tokens.

Vamos explorar o que acontece quando removemos a influência da temperatura, tornando a resposta mais genérica e menos criativa. Ao configurarmos a temperatura para zero, realizaremos a mesma pergunta para observar as alterações.

5 Principais Motivos para Conhecer o Canadá

1. Paisagens de tirar o fôlego: O Canadá é um país de beleza natural incomparável, com paisagens que variam de montanhas imponentes a lagos cristalinos e vastas florestas boreais. Explore parques nacionais deslumbrantes, como Banff e Jasper, e testemunhe a aurora boreal dançando no céu noturno.

2. Cultura diversificada e acolhedora: O Canadá é um mosaico cultural, com pessoas de todas as origens do mundo chamando-o de lar. Experimente uma mistura vibrante de tradições, culinárias e festivais, e seja recebido com a lendária hospitalidade canadense.

3. Vida selvagem abundante: O Canadá abriga uma vida selvagem diversificada, incluindo animais icônicos como ursos, alces, baleias e águias. Embarque em safáris, cruzeiros de observação de baleias ou caminhadas na natureza para testemunhar essas criaturas magníficas em seu habitat natural.

4. Cidades vibrantes e cosmopolitas: O Canadá possui cidades de classe mundial como Toronto, Vancouver e Montreal, que oferecem uma gama incomparável de atrações culturais, culinárias e de entretenimento. Explore museus de renome, assista a apresentações teatrais de ponta e desfrute de uma cena gastronômica próspera.

5. Alto padrão de vida: O Canadá é consistentemente classificado entre os melhores países para se viver no mundo. Ele oferece um sistema de saúde universal de alta qualidade, educação acessível e um ambiente geralmente seguro e pacífico. Desfrute de um equilíbrio saudável entre vida profissional e pessoal e aproveite as muitas oportunidades de lazer que o Canadá tem a oferecer.

Podemos notar que o modelo agora oferece uma resposta mais determinística, com maior probabilidade de ser consistente em diferentes situações ao ser usado com temperatura zero. Ao lermos, observamos que é mais objetivo: "…é um país de beleza natural incomparável, com paisagens que variam de montanhas imponentes a lagos cristalinos e vastas florestas boreais.".

Na resposta anterior, temos mais criatividade na descrição: "…ostenta algumas das paisagens mais impressionantes do mundo, desde as majestosas Montanhas Rochosas até os lagos cristalinos e a vasta tundra do norte.". Ou seja, temos uma maior criatividade da descrição para se obter mais propriedade sobre o assunto.

Não existe uma abordagem única ou uma fórmula definitiva para isso. Ajustamos esses parâmetros gradualmente até encontrarmos um equilíbrio adequado para a forma como desejamos que as respostas sejam geradas.

Portanto, a temperatura é o fator que influencia a aleatoriedade na escolha do token. Quanto menor a temperatura, maior a probabilidade de a resposta ser repetida.

Se enviarmos novamente "Quais são os 5 principais motivos para visitar o Canadá?", observamos que praticamente a mesma resposta será gerada, pegando a sequência mais prevista dos tokens.

Podemos usar uma analogia com a temperatura do banho: algumas pessoas preferem a água fria, outras morna e outras quente. Da mesma forma, a temperatura na geração de respostas depende do tipo de resultado desejado.

Add stop sequence

Analisaremos o Add stop sequence, um item nas configurações localizado logo abaixo da temperatura no menu da direita. Essa função permite definir uma sequência de parada durante a execução de tarefas.

Por exemplo, ao solicitar a enumeração dos principais pontos turísticos do Canadá.

Enumere os principais pontos turísticos do Canadá.

Após enviar a solicitação de enumeração, teremos diversos tópicos.

Principais Pontos Turísticos do Canadá

• Cataratas do Niágara: Uma das cachoeiras mais famosas do mundo, localizada na fronteira entre Ontário, Canadá, e Nova York, EUA.

• CN Tower: Uma torre de comunicação e observação icônica em Toronto, Ontário, oferecendo vistas panorâmicas da cidade e do Lago Ontário.

…

Agora, solicitamos uma enumeração mais sucinta.

Enumere de forma sucinta

Obtemos, como resposta:

Principais Pontos Turísticos do Canadá

• Cataratas do Niágara

• CN Tower

• Montanhas Rochosas

• Parque Nacional Banff

• Cidade Velha de Quebec

• Ilha de Vancouver

• Stanley Park

• Butchart Gardens

• Museu Real de Ontário

• Ponte da Confederação

Podemos solicitar os números para enumerar cada ponto turístico:

Enumere com números

Temos como resposta do model:

Principais Pontos Turísticos do Canadá

1. Cataratas do Niágara

2. CN Tower

3. Montanhas Rochosas

4. Parque Nacional Banff

5. Cidade Velha de Quebec

6. Ilha de Vancouver

7. Stanley Park

8. Butchart Gardens

9. Museu Real de Ontário

10. Ponte da Confederação

Todo esse processo está relacionado com a qualidade do prompt. É necessário especificar claramente o que desejamos no prompt para receber como retorno o tipo de resposta desejado. Falaremos mais sobre o prompt engineer posteriormente.

Observe que temos 10 tópicos. Do lado direito, em "Add stop sequence", podemos especificar que desejamos que o sistema pare na sexta entrada, em vez de continuar até o décimo item. Podemos reenviar a seguinte solicitação:

Enumere os principais pontos turísticos do Canadá com números.

Obtemos como resposta do Model:

Principais Pontos Turísticos do Canadá

1. Cataratas do Niágara

2. CN Tower

3. Montanhas Rochosas

4. Parque Nacional Banff

5. Cidade Velha de Quebec

Observe que parou no número cinco.

O stop sequence interrompe a geração de texto em um determinado ponto.

O stop sequence é uma maneira de interrompermos a resposta em algum momento específico. Mas por que queremos fazer isso? Porque isso implica na contagem dos tokens. Cada pergunta que fazemos, cada resposta que recebemos e enviamos, tudo isso contribui para o consumo desses tokens.

Muitas vezes, o custo associado ao uso de nossa API pode ser medido pela contagem de tokens ou pelo número de requisições por minuto, entre outras formas de cobrança que precisamos entender melhor.

Talvez seja interessante limitarmos o número de respostas ali. Imagine se ele retornar 30 pontos turísticos? Isso não é ideal; preferimos que ele retorne, no máximo, 5.

Conclusão e Próximos Passos

Com isso, percebemos que temos muitas opções para manipular nossa resposta aqui. Combinando o conteúdo do prompt que escrevemos com as configurações que podemos alterar, podemos fazer várias modificações. A seguir, vamos explorar algumas delas, que são bastante relevantes para o nosso caso.

Sobre o curso Gemini e Node.js: integrando sua aplicação com a API do Google

O curso Gemini e Node.js: integrando sua aplicação com a API do Google possui 140 minutos de vídeos, em um total de 46 atividades. Gostou? Conheça nossos outros cursos de IA para Programação em Inteligência Artificial, ou leia nossos artigos de Inteligência Artificial.

Matricule-se e comece a estudar com a gente hoje! Conheça outros tópicos abordados durante o curso:

• Conhecendo o Google AI Studio
• Integração via Node
• Aprimorando o prompt e as pesquisas
• Custos, modelos e tokens
• Modelo multimodal