Certificado inteiro com leitura progressiva em bits
Ler primeiro os 4 bits altos de cada linha int8, excluir com certeza quem não pode vencer e ler os 4 bits baixos só dos sobreviventes.
Ler maisUm espaço dedicado ao estudo, à pesquisa e à aplicação prática de aprendizado de máquina, com foco na eficiência de embeddings, tokens e modelos de linguagem de grande escala (LLMs).
Percursos estruturados para evoluir do básico ao avançado.
Hebb, perceptron e as primeiras regras de aprendizagem.
Índices, vetores, poda exata e limites de quantização.
Tokens, atenção, cache, cabeça de saída e eficiência.
Álgebra linear, probabilidade e otimização.
Ler primeiro os 4 bits altos de cada linha int8, excluir com certeza quem não pode vencer e ler os 4 bits baixos só dos sobreviventes.
Ler mais
Centralizar a tabela e reescalar cada coluna pela sua faixa. Foi o único ganho claro medido até aqui.
Ler mais
Trocar a folga de raiz de d do limite determinístico por uma taxa de falha explícita.
Ler mais
AutoGPT & BabyAGI: autonomous AI Agents for LLMs explained Explicação do AutoGPT e do BabyAGI, os primeiros agentes autônomos que geravam e priorizavam as próprias tarefas em loop para resolver objetivos complexos. Discover AI
Backpropagation, intuitively | Deep Learning Chapter 3 A intuição da retropropagação: como o erro da saída volta pela rede e ajusta cada peso. 3Blue1Brown
FlashAttention - Tri Dao | Stanford MLSys #67 Seminário em que Tri Dao, autor do FlashAttention, explica como reorganizar o cálculo da atenção em blocos para explorar a SRAM e reduzir leituras na HBM, obtendo atenção exata mais rápida e com menos memória. Stanford MLSys Seminars