He estado pensando mucho en las auditorías. Específicamente, en las auditorías de plantas de alimentos.

Porque aquí existe un fenómeno bastante curioso que seguro te hará sentido el detalle. Una planta de procesamiento de alimentos puede pasar su auditoría de un tercero (o incluso una auditoría regulatoria) con una puntuación casi perfecta. Digamos un 98 sobre 100. Los registros están impecables, manuales actualizados, paredes limpias. La gerencia recibe una placa para colgar en el vestíbulo.

Seis semanas después, esa misma planta inicia un retiro de mercado masivo de producto por contaminación con Listeria.

La explicación habitual se divide en dos campos. El primer campo culpa a la auditoría: «El auditor era flojo, poco detallista, solo miró los papeles». El segundo campo culpa a la planta: Fueron buenos para el «teatro de la inocuidad», pero en el fondo carecían de limpieza real.

Ambas cosas pueden ser ciertas. Aun así, ninguna explica el fondo del asunto. La pregunta más interesante es… ¿Cómo es posible que un sistema entero, lleno de gente inteligente y (presumiblemente) no malvada, se organice para volverse tan bueno en pasar la auditoría y tan malo en producir comida segura?

Porque el fenómeno es ubicuo.

Pasa en seguridad laboral, donde las plantas exhiben récords perfectos de «días sin accidentes reportados» justo hasta que una explosión masiva revela que los «casi accidentes» simplemente se ocultaban. Pasa en los bancos, que trabajaban con modelos de riesgo impecables justo hasta el momento en que las variables macroeconómicas empezaron a fallar.

Parece que el acto de medir algo con la intención de mejorarlo termina creando una simulación perfecta de la cosa que queríamos medir.

Hace bastantes años ya escribí sobre los «silos» en las empresas (aquí y aquí). La palabra se usa para describir esos feudos internos donde un departamento trabaja de espaldas al otro. Ventas odia a marketing, operaciones piensa que finanzas solo le pone trabas.

La solución estándar para los silos «son los talleres». Traes a un consultor, hacen ejercicios de confianza, pegan notas en la pared y elaboran un nuevo «manual de colaboración interdepartamental».

Y por su puesto que eso no funciona (al menos no en el mediano ni largo plazo).

Un año después, los mismos silos siguen ahí. Quizás con nombres nuevos, pero la lógica subyacente permanece intacta. La explicación habitual culpa a la inercia humana y a la resistencia al cambio.

¿Y si la gente simplemente sigue el camino de menor resistencia que el sistema les traza?

Recuerdo el caso de una empresa de telecomunicaciones hace un par de años. Querían ser más ágiles y modernos. Iniciaron un gran programa de «mejora continua». Llenaron las paredes con diagramas y tableros. Todo muy prometedor. Pero en el fondo nada cambió realmente.

¿Por qué? Porque al investigar a fondo, descubrías que el sistema de presupuestos seguía siendo anual y rígido. Un gerente de proyectos requería diez firmas para mover 100mil pesos de «viajes» a «software». Los jefes intermedios eran evaluados por «cumplimiento de plazos» y jamás por «impacto en el negocio».

Si miramos ese escenario con detalle, la «mejora continua» era solo una decoración. El sistema real, el que pagaba los sueldos, premiaba una sola cosa: cumplir el plan original, independientemente de si estaba equivocado. Los silos entre departamentos se mantuvieron porque el presupuesto estaba dividido en silos. El comportamiento de la gente respondía perfectamente a los incentivos reales, ignorando los carteles en la pared.

El sistema seguía premiando el comportamiento antiguo.

Esto me lleva de vuelta a la planta de alimentos.

Existe un concepto llamado la Ley de Goodhart que seguro has escuchado por ahí (y que generalmente lo uso en mis ensayos porque es uno de los orígenes de todos los males). La versión corta es: «Cuando una medida se convierte en un objetivo, deja de ser una buena medida».

Esto es exactamente lo que le pasó a la planta de alimentos.

El objetivo real es «producir comida segura». Ese objetivo es difícil de medir directamente. Es un estado deseado, una nube. No puedes ponerle un número diario.

Así que para gestionarlo, lo descomponemos en «medidas» o «proxies». Y luego, cometemos el error fatal: convertimos esas medidas en el objetivo.[1]

Veamos cómo funciona.

Medida Proxy 1: la capacitación.

El objetivo real es que los empleados entiendan la microbiología y la importancia de lavarse las manos.

La medida proxy es: «Porcentaje de empleados que completaron el curso de capacitación anual». El objetivo se convierte en: «Lograr el 100% de firmas en la hoja de asistencia».

El resultado: Los gerentes obligan a todos a ir a una sala por una hora. Los empleados firman la hoja y miran sus teléfonos. El objetivo (100% de asistencia) se cumple. La medida se vuelve inútil. El objetivo real (comprensión) fracasa.

Medida Proxy 2: los registros.

El objetivo real es asegurar que un punto crítico de control (como la temperatura del pasteurizador) se mantenga siempre dentro del límite seguro.

La medida proxy es: «Un registro de temperatura firmado por el operador cada 30 minutos».

El objetivo se convierte en: «Tener una carpeta con todos los espacios firmados al final del turno».

Aquí nos topamos con una realidad física inquebrantable. El diseño del trabajo impone una cinemática imposible. Si el tiempo de ciclo de la línea exige que el operador empaquete cada 10 segundos y caminar al panel a revisar y firmar toma 15 segundos, existe una restricción de capacidad insoluble. El operador enfrenta una imposibilidad física.

Al exigir esta codificación explícita y rígida, el sistema destruye el conocimiento tácito. El operador veterano sabe que la máquina suena distinto cuando la temperatura baja, o percibe la humedad en el ambiente. Esa intuición biológica y física se evapora al ser reemplazada por la obligación de llenar una planilla.

La falsificación de los registros llega de forma gradual. El operador empieza firmando cinco minutos antes de la hora real. A la semana siguiente, se salta una lectura. La desviación se normaliza en la cultura del turno hasta que la planilla llena se convierte en la nueva realidad operativa, completamente desconectada del proceso físico.

El objetivo (registros completos) se cumple. La medida se vuelve una ficción. El objetivo real (controlar la temperatura) fracasa.

Medida Proxy 3: la auditoría.

El objetivo real es tener una planta que esté perpetuamente limpia y operando bajo control.

La medida proxy es: «el puntaje de la auditoría semestral».

El objetivo se convierte en: «obtener más del 95% en la auditoría».

El resultado: La semana antes de la auditoría, la planta entra en pánico. Se detiene la producción para una «limpieza profunda». Se «cocinan» todos los registros. Se pinta lo que está oxidado. El auditor llega y ve una planta perfecta. Otorga el 98%.

La semana siguiente, todo vuelve a la normalidad. El objetivo (pasar la auditoría) se cumple. La medida se vuelve un teatro. El objetivo real (limpieza perpetua) fracasa.

En este escenario, nadie es malvado. El gerente de planta que organiza el «teatro de la limpieza» lo hace porque su bono está ligado al puntaje de la auditoría.

La gente está respondiendo racionalmente a los incentivos y métricas que les hemos dado. La Ley de Goodhart ha corrompido todo el sistema. Hemos construido una máquina perfecta para pasar auditorías, en lugar de una máquina para hacer comida segura.

Así que si los talleres de «cultura de inocuidad» no funcionan y las métricas de «cumplimiento» tampoco, qué queda?

Aquí es donde volvemos al pensamiento del gerente de la telco. Si el problema es el diseño del sistema, la solución tiene que estar en el rediseño del sistema.

Si la Ley de Goodhart es el veneno, el antídoto tiene que ser diseñar métricas que sean mucho más difíciles de «jugar». O, mejor aún, diseñar métricas que, incluso si se juegan, produzcan el resultado deseado.

Pensemos en esto. ¿Qué pasaría si cambiamos las métricas?

Alternativa 1: medir el reporte, no la ausencia de problemas.

La métrica habitual es «cero no conformidades». Este es un objetivo terrible. Es una invitación directa a esconder problemas.

Nueva métrica: número de casi accidentes (near misses) reportados y resueltos.

Si el objetivo del supervisor ahora es «reportar al menos 5 near misses esta semana», empezará a cazar activamente pequeños problemas.

El fallo de esta métrica radica en un efecto de segundo orden. Los agentes del sistema aprenden a jugar contra el diseñador de la métrica.

Al exigir cinco reportes, la métrica deja de registrar la seguridad física de la planta y pasa a cuantificar la ansiedad del supervisor por cumplir la cuota administrativa… El supervisor descubre que es más fácil esconder los desvíos graves (que son caros y difíciles de arreglar) y fabricar hallazgos triviales (como un cartel torcido) para maximizar su recompensa. El sistema termina optimizando el proxy en contra del objetivo real.[2]

Alternativa 2: alinear las estructuras de poder a un óptimo global.

En muchas plantas, calidad reporta al gerente de planta. El error de diseño radica en evaluar a ambos departamentos con métricas locales en competencia: uno medido por cuota de producción y el otro por cero defectos. Esta configuración garantiza que ambos optimicen su propio feudo a expensas del objetivo global.

Nuevo diseño: Subordinar los incentivos locales a una única métrica global: el volumen de producto seguro entregado. El gerente de calidad y el gerente de planta comparten el mismo KPI de resultado final.

Pero aquí acecha el fantasma de la falla de agencia.

Si este bono compartido se liquida a fin de mes, ambos gerentes tienen el incentivo conjunto de ocultar el riesgo de cola gorda hoy para cobrar mañana. Para que este óptimo global funcione, el «skin in the game» (piel en el juego) debe ser retardado: el bono compartido se pone en un fondo de garantía que solo se libera tiempo despues, sujeto a la ausencia de retiros de mercado. Sin esta demora temporal, el KPI compartido solo organiza la colusión en lugar de la colaboración.

Alternativa 3: diseñar para el fallo (ingeniería).

La métrica del registro de temperatura falla porque depende de que un humano ocupado se acuerde de hacer algo.

Nuevo diseño: instalar una sonda de temperatura digital conectada a un sistema de alarma. Si la temperatura baja del límite, una válvula de desvío automática se activa y envía el producto de vuelta.

El sistema hace imposible que el producto no pasteurizado continúe. Hemos hecho que el camino seguro sea el camino automático.

Esto suena bien en el papel…. Quizás demasiado bien.

Cualquiera que haya intentado implementar cambios como estos sabe que cada solución crea su propio conjunto de problemas. El sistema reacciona.

El fallo de la automatización

Este es mi favorito: la «paradoja de la automatización».

Instalamos la válvula de desvío automática. Funciona perfectamente. Durante dos años, no hay un solo incidente de temperatura. Los operadores confían ciegamente en ella. Tan ciegamente, que el monitoreo humano, que antes era débil pero existía, ahora desaparece por completo. Nadie mira el manómetro.

Entonces, un día el sensor falla. Se descalibra. O una capa de sedimento lo aísla. El sensor ahora cree que la temperatura es correcta, pero no lo es. El sistema automático, confiando en su sensor roto, deja pasar producto mal pasteurizado durante ocho horas seguidas.

El desastre es mucho peor que antes, precisamente porque el sistema parecía infalible.[3]

Pero hay un problema incluso más profundo que el fallo de las soluciones. Es un problema que explica por qué ni siquiera intentamos implementar estas soluciones (costosas y defectuosas) en primer lugar.

Es el costo.

Las soluciones que propuse (rediseñar métricas, alinear estructuras de poder, instalar automatización) requieren una inversión enorme de capital político y financiero.

El «nuevo diseño 2» requiere que el director general alinee los esquemas de compensación de toda la directiva con cláusulas de retroactividad, un desgaste político mayúsculo. Y el «nuevo diseño 3», la automatización, cuesta dinero contante y sonante. Millones.

Aquí es donde nos topamos con la pregunta más difícil, la que define la estrategia del negocio: ¿vale la pena?

El gerente de planta que prioriza la «cuota de producción» responde a una realidad económica inmediata. Esa cuota paga los sueldos. Si la planta deja de ser rentable porque se detiene la línea ante cada desviación trivial, la empresa quiebra.

La inocuidad alimentaria es un ejercicio de gestión de riesgo. La pregunta es «¿Cuánto riesgo podemos aceptar para seguir siendo viables?».

Hagamos el cálculo que la industria suele hacer. Digamos que el riesgo real de un brote de Listeria por una falla de proceso es bajísimo, 1 en 10 millones de unidades. Y el costo de ese brote es de $20 millones. El costo esperado del riesgo es de solo $2 por unidad.

El costo de montar el «teatro de la limpieza» para pasar la auditoría es de solo $50.000.

Bajo esta matemática, la decisión estratégica parece ser: montar el «teatro» e ignorar la automatización.

Esta matemática es una ilusión estadística fatal. Aplica un modelo de valor esperado lineal a un evento de cola gorda con riesgo de ruina.

En los sistemas donde existe la posibilidad de absorción total (pérdida de licencia, quiebra por demandas, daño reputacional irreversible), el valor esperado a largo plazo carece de sentido. La planta asume un riesgo de ruina matemática para ahorrarse el costo del rediseño.

La decisión de ignorar la automatización obedece a una falla de agencia estructural. El gerente está externalizando el riesgo de ruina hacia los accionistas para asegurar su propio beneficio a corto plazo.

El teatro opera como un mecanismo de parasitismo racional dentro de la estructura corporativa. Y es una co-producción simbiótica: la planta necesita la ficción para ocultar el riesgo, y la industria auditora necesita la ficción porque su propio modelo de negocio depende de estandarizar la evaluación de riesgos singulares en checklists baratos y repetibles.

El sistema responde a los incentivos externos del mercado, que exigen la apariencia de control mucho más enérgicamente de lo que castigan el riesgo real de bajo porcentaje.

Dado que la Ley de Goodhart garantiza que toda medida preventiva terminará corrompiéndose, y la automatización crea desastres peores por ceguera operativa, el diseño sistémico debe abandonar la ilusión de la prevención infalible.

La arquitectura debe orientarse hacia la resiliencia y el fallo elegante. El punto no es evitar que el sensor mienta (porque eventualmente lo hará), sino de acotar el radio de explosión de esa mentira.

Significa diseñar sistemas de trazabilidad por «lotes intradía» y barreras de contención físicas que, al detectar la anomalía en la etapa final, permitan destruir 500 kilos de producto en el sitio, en lugar de descubrir la falla tres semanas después e iniciar un retiro de mercado de dos millones de kilos.

El objetivo final es construir una máquina que asuma su propia ceguera y diseñe sus propios límites de contención (no es construir una máquina perfecta que nunca falle).

Un sistema donde el deseo intrínseco de la gente por hacer lo correcto sea el camino de menor resistencia, y donde, cuando la realidad se desvíe del proxy, el daño se detenga antes de alcanzar al consumidor.


Notas al margen

[1] Piensa en la evolución biológica. Nuestro cerebro aprendió a buscar azúcar y grasa porque en la sabana africana esos sabores nos garantizaban supervivencia. El sabor dulce era el proxy de las calorías necesarias. Hoy tenemos Coca-Cola y donas del dunkin donuts. El proxy se separó de la realidad biológica y nos dejó con obesidad y diabetes… Las corporaciones sufren exactamente este mismo desajuste evolutivo. El «entorno ancestral» de una empresa era el taller del artesano, donde el dueño olía la leche agria y tocaba la maquinaria. El «entorno moderno» es un directorio en un piso 40 mirando dashboards de excel. La auditoría externa actúa igual que el jarabe de maíz de alta fructosa en nuestra dieta… toma un atajo sensorial útil en su origen y lo vuelve letal al escalarlo a nivel industrial.

[2] En el aprendizaje automático hay un fenómeno alucinante llamado «ejemplos adversarios». Si entrenas una máquina para identificar pandas y le añades a la foto un filtro de ruido estático imperceptible al ojo humano, la red clasificará al panda como un gibón con un 99% de certeza matemática. La máquina optimiza los píxeles exactos que le pediste, quedando totalmente ciega a lo que realmente significa un animal. Las burocracias corporativas ejecutan este mismo truco sin necesidad de hackers…. Un supervisor estresado buscando cumplir su cuota de reportes encuentra el camino de menor resistencia. El sistema se vuelve hiper sensible a la métrica administrativa y totalmente ciego a la realidad física del piso de planta.

[3] El economista Gerald Wilde estudió qué pasaba cuando obligaban a los taxistas a usar cinturones de seguridad. Descubrió que la cantidad de accidentes no bajaba en absoluto. Los conductores, al sentirse más seguros dentro de la cabina, simplemente pisaban el acelerador con más fuerza. Su «presupuesto de riesgo» mental se mantenía intacto; la tecnología solo movía las consecuencias letales desde el conductor hacia los peatones en la calle. En la planta de alimentos ocurre exactamente lo mismo. Al instalar la válvula de desvío automática, el cerebro del operador reasigna su cuota de atención hacia otras tareas. La seguridad global del sistema no crece; el peligro simplemente se traslada a un punto ciego (la calibración del sensor), esperando pacientemente para cobrar su tributo.