Google AI Research y DeepMind han lanzado VaultGemma, un modelo de lenguaje de código abierto con 1.000 millones de parámetros enfocado en la privacidad, que representa un importante avance en inteligencia artificial diferencialmente privada. El modelo, anunciado por el Director Científico de Google, Jeff Dean, es el LLM de mayor tamaño con pesos abiertos entrenado completamente desde cero con privacidad diferencial, estableciendo nuevos estándares para el desarrollo de IA que preserva la privacidad.
VaultGemma aborda preocupaciones críticas sobre ataques de memorización en modelos de IA, donde información sensible puede ser extraída de sistemas entrenados con conjuntos de datos a escala web. Según Google Research, el modelo fue desarrollado utilizando técnicas avanzadas de privacidad diferencial que añaden ruido calibrado durante el entrenamiento para evitar que cualquier punto de datos individual influya significativamente en el modelo final.
VaultGemma aborda preocupaciones críticas sobre ataques de memorización en modelos de IA, donde información sensible puede ser extraída de sistemas entrenados con conjuntos de datos a escala web. Según Google Research, el modelo fue desarrollado utilizando técnicas avanzadas de privacidad diferencial que añaden ruido calibrado durante el entrenamiento para evitar que cualquier punto de datos individual influya significativamente en el modelo final.
Innovación técnica y garantías de privacidad
El modelo emplea DP-SGD (Descenso Estocástico de Gradiente Diferencialmente Privado) con recorte de gradientes y adición de ruido gaussiano, logrando una garantía formal de privacidad de (ε ≤ 2.0, δ ≤ 1.1e-10) a nivel de secuencia. VaultGemma fue entrenado con el mismo conjunto de datos de 13 billones de tokens utilizado para Gemma 2, compuesto principalmente de texto en inglés proveniente de documentos web, código y artículos científicos.
El equipo de investigación de Google desarrolló nuevas leyes de escalado específicamente para modelos de lenguaje diferencialmente privados, proporcionando un marco integral para comprender los compromisos entre cómputo, privacidad y utilidad. Estas leyes de escalado permitieron predecir con precisión el rendimiento del modelo y asignar recursos de manera eficiente durante el entrenamiento en un cluster de 2048 chips TPUv6e.
Foto de Mitchell Luo en Unsplash
