Bolsista Mestre [LLM, Model Evaluation, Python, Prompt Engineering] ICT Itaú
Projeto de inovação do ICT Itaú em parceria com Inova Talentos
Pré-Requisitos:
- Formação: Mestre
- Cursos: Ciência da Computação, Engenharia da Computação, Sistemas de Informação, Ciência de Dados, Estatística, Matemática Aplicada, áreas correlatas à Computação, Inteligência Artificial, Machine Learning.
Atividades:
- Desenvolver e executar experimentos para descobrir novas formas de avaliação de Large Language Models (LLMs) e agentes, investigando métricas de qualidade, factualidade, segurança e aderência a requisitos específicos. Desenvolver pipelines experimentais de LLM-as-a-Judge, incluindo construção de prompts, rubricas e protocolos de avaliação automática para análise escalável de respostas geradas por modelos de IA, misturando conceitos de Reinforcement Learning e Preference Optimization.
- Investigar e aplicar técnicas de otimização por preferências e aprendizado por reforço para melhoria contínua de modelos de linguagem, analisando impactos em qualidade, robustez e alinhamento.
- Realizar análises quantitativas dos resultados experimentais, documentando descobertas, propondo melhorias metodológicas e contribuindo para a definição de boas práticas em avaliação e otimização de LLMs
Conhecimentos Necessários:
- Programação em Python.
- Conhecimento dos fundamentos de Machine Learning e Deep Learning.
- Familiaridade com Large Language Models (LLMs) e IA Generativa.
- Experiência com bibliotecas de desenvolvimento de modelos de IA (PyTorch e/ou Hugging Face Transformers).
- Capacidade de leitura e compreensão de artigos científicos em inglês.
- Conhecimentos básicos de experimentação, análise de resultados e avaliação de modelos.
Requisitos técnicos desejáveis/ diferencial:
- Experiência com LLM Evaluation / LLM-as-a-Judge.
- Experiência com RLHF, DPO ou otimização por preferências.
- Participação em pesquisa científica/publicações em IA ou Machine Learning.
- Experiência com Agentes de Código (claude code, copilot, codex e afins).
Informações adicionais:
- Disponibilidade: 40h semanais;
- Duração: 12 meses;
- Bolsa Auxílio: R$ 9.000,00
- Atuação: Remota
- Local da empresa: Bairro do Jabaquara, SP
Conheça o INOVA TALENTOS
https://vimeo.com/676464243/165a0bf5f5
https://vimeo.com/fabrikafilmes/review/680121344/b5b3c6e91d
(1344072096)
Requisitos
Estudos
Sobre IEL
Desde 1969, ano em que nosso instituto foi criado pela Confederação Nacional da Indústria (CNI), e especialmente a partir da década de 90, com a abertura do mercado brasileiro à concorrência externa, a dinâmica do mercado mundial ganhou celeridade impulsionada pela tecnologia.
É nesse novo horizonte de desafios que nosso instituto assume o papel de conectar indústria e centros de conhecimento, com atuação estratégica e integrada em frentes emergentes para o desenvolvimento industrial.
Aqui no IEL, nos dedicamos a orientar a liderança do presente e moldar a do futuro. Apostamos na formação de competências desde o estágio, etapa inicial da carreira, e nos posicionamos como uma instituição parceira e essencial na jornada profissional de estudantes, pesquisadores, executivos e gestores industriais.
Conhecemos os desafios e papéis da indústria do futuro. Como resultado, apostamos em programas de desenvolvimento de lideranças capazes de inovar e impulsionar a competitividade industrial.
Seguimos comprometidos em aprimorar a eficiência, a gestão de empresas parceiras e encorajar a diversificação de serviços e produtos adaptados aos desafios de mercado.
No âmbito da pesquisa, desenvolvimento e inovação (PD&I), apostamos na conexão entre indústrias e pesquisadores por meio da oferta de bolsas de pesquisa no Brasil e no exterior.
O desenvolvimento de programas e soluções voltados para PD&I está entre nossos investimentos por serem essenciais para o futuro da indústria brasileira.
Temos ciência de que, ao investir no desenvolvimento de talentos, formação de líderes, gestão eficiente e inovação, é possível construir uma indústria mais forte, competitiva e sustentável para o futuro.
Com quase seis décadas de dedicação à indústria, hoje estamos presentes em todas as regiões do país. É por meio da estrutura nacional do Sistema Indústria que estimulamos a autonomia das nossas unidades, núcleos regionais e multiplicadores de nossos negócios.