He estado pensando mucho en las auditorías. Específicamente, en las auditorías de plantas de alimentos.
Porque aquí existe un fenómeno bastante curioso que seguro te hará sentido el detalle. Una planta de procesamiento de alimentos puede pasar su auditoría de un tercero (o incluso una auditoría regulatoria) con una puntuación casi perfecta. Digamos un 98 sobre 100. Los registros están impecables. Los manuales están actualizados. Las paredes están limpias. La gerencia recibe una placa para colgar en el vestíbulo.
Seis semanas después, esa misma planta inicia un retiro de mercado masivo de producto por contaminación con Listeria.
La explicación habitual se divide en dos campos. El primer campo culpa a la auditoría: «El auditor era flojo, poco detallista, solo miró los papeles». El segundo campo culpa a la planta: Fueron buenos para el “teatro de la inocuidad, pero en el fondo no eran tan limpios.”
Ambas cosas pueden ser ciertas… Pero ninguna de las dos me parece que explique el fondo del asunto. La pregunta más interesante es: ¿Cómo es posible que un sistema entero, lleno de gente inteligente y (presumiblemente) no malvada, se organice para volverse tan bueno en pasar la auditoría y tan malo en producir comida segura?
Porque no es un caso aislado. Pasa todo el tiempo y no solo con la comida.
Pasa en seguridad laboral, donde las plantas tienen récords perfectos de «días sin accidentes reportados» justo hasta que una explosión masiva revela que los «casi-accidentes» simplemente no se reportaban. Pasa en los bancos, que tenían modelos de riesgo perfectos justo hasta el momento en que las cosas empiezan a colapsar.
Parece que el acto de medir algo con la intención de mejorarlo, generalmente termina creando una simulación perfecta de la cosa que queríamos medir.
Hace bastantes años ya escribí sobre los «silos» en las empresas. La palabra se usa para describir esos feudos internos donde un departamento no colabora con otro. Ventas odia a marketing, operaciones piensa que finanzas solo le pone trabas.
La solución estándar para los silos son los talleres. Traes a un consultor, hacen ejercicios de confianza, pegan notas en la pared y elaboran un nuevo «manual de colaboración interdepartamental».
Y por su puesto que eso no funciona (al menos no en el mediano ni largo plazo).
Un año después, los mismos silos siguen ahí. Quizás con nombres nuevos, pero la lógica es la misma. La explicación habitual es que «la gente se resiste al cambio». Se culpa a la inercia humana.
Pero ¿y si la gente no se resiste a nada? ¿Y si la gente simplemente sigue el camino de menor resistencia que el sistema les traza?
Recuerdo el caso de una empresa de telecomunicaciones hace un par de años. Querían ser más ágiles y modernos. Iniciaron un gran programa de «mejora continua». Llenaron las paredes con diagramas y tableros. Todo muy prometedor. Pero en el fondo nada cambió realmente.
¿Por qué? Porque cuando investigabas, descubrías que el sistema de presupuestos seguía siendo anual y rígido. Un gerente de proyecto no podía mover 100mil pesos de «viajes» a «software» sin diez firmas. Los jefes intermedios eran evaluados por «cumplimiento de plazos» y no por «impacto en el negocio».
Si miramos ese escenario con detalle, la «mejora continua» era solo una decoración. El sistema real, el que pagaba los sueldos, premiaba una cosa: cumplir el plan original, sin importar si estaba equivocado. Los silos entre departamentos se mantuvieron porque el presupuesto estaba dividido en silos. El comportamiento de la gente era perfectamente racional. Estaban respondiendo a los incentivos reales, no a los carteles en la pared.
El problema era que el sistema seguía premiando el comportamiento antiguo (y no era la gente).
Esto me lleva de vuelta a la planta de alimentos.
Existe un concepto llamado la Ley de Goodhart que seguro los has escuchado por ahí. La versión corta es: «Cuando una medida se convierte en un objetivo, deja de ser una buena medida».
Esto es lo que le pasó a la planta de alimentos.
El objetivo real es «producir comida segura». Pero ese es un objetivo difícil de medir directamente. Es un estado deseado, una nube. No puedes ponerle un número diario.
Así que para gestionarlo, lo descomponemos en «medidas» o «proxies». Y luego, cometemos el error fatal: convertimos esas medidas en el objetivo.
Veamos cómo funciona.
Medida Proxy 1: la capacitación.
El objetivo real es que los empleados entiendan la microbiología y la importancia de lavarse las manos.
La medida proxy es: «Porcentaje de empleados que completaron el curso de capacitación anual».
El objetivo se convierte en: «Lograr el 100% de firmas en la hoja de asistencia».
El resultado: Los gerentes obligan a todos a ir a una sala por una hora. Los empleados firman la hoja y miran sus teléfonos. El objetivo (100% de asistencia) se cumple. La medida se vuelve inútil. El objetivo real (comprensión) no se logra.
Medida Proxy 2: los registros.
El objetivo real es asegurar que un punto crítico de control (como la temperatura del pasteurizador) se mantenga siempre dentro del límite seguro.
La medida proxy es: «Un registro de temperatura firmado por el operador cada 30 minutos».
El objetivo se convierte en: «Tener una carpeta con todos los espacios firmados al final del turno».
El resultado: El operador está increíblemente ocupado tratando de cumplir la cuota de producción (esa sí es una métrica dura, directa e inmediata). Olvida revisar la temperatura. Al final del turno, para evitar problemas con su supervisor, toma el bolígrafo y rellena toda la hoja de memoria. «Pencil-whipping» en inglés, en español chileno «cocinar registros».
El objetivo (registros completos) se cumple. La medida se vuelve una ficción. El objetivo real (controlar la temperatura) fracasa.
Medida Proxy 3: la auditoría.
El objetivo real es tener una planta que esté perpetuamente limpia y operando bajo control.
La medida proxy es: «el puntaje de la auditoría semestral».
El objetivo se convierte en: «obtener más del 95% en la auditoría».
El resultado: La semana antes de la auditoría, la planta entra en pánico. Se detiene la producción para una «limpieza profunda». Se «cocinan» todos los registros. Se pinta lo que está oxidado. El auditor llega y ve una planta perfecta. Otorga el 98%.
La semana siguiente, todo vuelve a la normalidad. El objetivo (pasar la auditoría) se cumple. La medida se vuelve un teatro. El objetivo real (limpieza perpetua) fracasa.
En este escenario, nadie es malvado. El operador que falsifica el registro lo hace porque el sistema le grita que la «cuota de producción» es lo que define si tiene un buen día o un mal día, mientras que el «registro de temperatura» es solo papeleo.
El gerente de planta que organiza el «teatro de la limpieza» lo hace porque su bono está ligado al puntaje de la auditoría.
La gente está respondiendo racionalmente a los incentivos y métricas que les hemos dado. La Ley de Goodhart ha corrompido todo el sistema. Hemos construido una máquina perfecta para pasar auditorías, no para hacer comida segura.
Así que si los talleres de «cultura de inocuidad» no funcionan y las métricas de «cumplimiento» tampoco, ¿qué queda?
*****
Aquí es donde volvemos al pensamiento del gerente de la telco. Si el problema es el diseño del sistema, la solución tiene que estar en el rediseño del sistema.
Si la Ley de Goodhart es el veneno, el antídoto tiene que ser diseñar métricas que sean mucho más difíciles de «jugar». O, mejor aún, diseñar métricas que, incluso si se juegan, produzcan el resultado deseado.
Pensemos en esto. ¿Qué pasaría si cambiamos las métricas?
Alternativa 1: medir el reporte, no la ausencia de problemas.
La métrica habitual es «cero no-conformidades». Este es un objetivo terrible. Es una invitación directa a esconder problemas.
Nueva métrica: número de casi-accidentes (near-misses) reportados y resueltos.
Si el objetivo del supervisor ahora es «reportar al menos 5 near-misses esta semana», empezará a cazar activamente pequeños problemas. Al «jugar» esta nueva métrica, el supervisor realmente estará mejorando el sistema.
Alternativa 2: cambiar las estructuras de poder.
En muchas plantas chilenas, calidad reporta al gerente de planta (medido por producción).
Nuevo diseño: El gerente de calidad no reporta al gerente de planta. Reporta directamente al director general. Y tiene la autoridad unilateral para detener la línea.
Ahora el poder de la inocuidad es superior al poder de la producción. Esto es un rediseño frío de la estructura (no es «colaboración»).
Alternativa 3: diseñar para el fallo (ingeniería).
La métrica del registro de temperatura falla porque depende de que un humano ocupado se acuerde de hacer algo.
Nuevo diseño: instalar una sonda de temperatura digital conectada a un sistema de alarma. Si la temperatura baja del límite, una válvula de desvío automática se activa y envía el producto de vuelta.
El sistema hace imposible que el producto no pasteurizado continúe. Hemos hecho que el camino seguro sea el camino automático.
****
Esto suena bien en el papel…. Quizás demasiado bien.
Cualquiera que haya intentado implementar cambios como estos sabe que cada solución crea su propio conjunto de problemas. El sistema reacciona.
Miremos de nuevo nuestras tres «soluciones», pero esta vez preguntemos cómo pueden fallar.
El fallo de la métrica de «near-miss»:
El nuevo objetivo es «reportar 5 near-misses». ¿Qué impide que un supervisor inteligente simplemente reporte 5 trivialidades cada semana? «Encontré un tornillo suelto en una barandilla no crítica, lo apreté». «El cartel de lavado de manos estaba ligeramente torcido, lo enderecé».
Cumple la métrica perfectamente. El supervisor es recompensado por su «proactividad». Mientras tanto, el problema sistémico real (digamos, la presión de agua insuficiente en las estaciones de limpieza) sigue oculto porque es difícil, caro de arreglar y requiere admitir una falla de diseño. El sistema es «jugado» de nuevo.
El fallo de la estructura de poder:
Hemos creado un gerente de calidad todopoderoso que puede detener la línea. ¿Qué impide que esto genere una nueva «guerra fría» interna?
Producción ahora ve a calidad como un adversario que tiene un «botón nuclear» y no entiende la presión del negocio. El incentivo de producción ya no es solo «cumplir la cuota», es «cumplir la cuota y asegurarse de que calidad no se entere de los problemas».
En lugar de mejorar la comunicación, la hemos roto. Producción empieza a ocultar información de formas mucho más sofisticadas. Calidad responde instalando más vigilancia. Ambos silos se vuelven más fuertes, no más débiles.
El fallo de la automatización:
Este es mi favorito: la «paradoja de la automatización».
Instalamos la válvula de desvío automática. Funciona perfectamente. Durante dos años, no hay un solo incidente de temperatura. Los operadores confían ciegamente en ella. Tan ciegamente, que el monitoreo humano, que antes era débil pero existía, ahora desaparece por completo. Nadie mira el manómetro.
Entonces, un día, el sensor falla. Se descalibra. O una capa de sedimento lo aísla. El sensor ahora cree que la temperatura es correcta, pero no lo es. El sistema automático, confiando en su sensor roto, deja pasar producto mal pasteurizado durante ocho horas seguidas.
El desastre es mucho peor que antes, precisamente porque el sistema parecía infalible.
Pero hay un problema incluso más profundo que el fallo de las soluciones. Es un problema que explica por qué ni siquiera intentamos implementar estas soluciones (costosas y defectuosas) en primer lugar.
Es el costo.
Las soluciones que propuse (rediseñar métricas, cambiar estructuras de poder, instalar automatización) no son gratis. Son increíblemente caras y no solo en dinero.
El «nuevo diseño 2», donde el gerente de calidad obtiene autoridad para detener la línea, no es un simple cambio de organograma. Es una guerra política interna.
Cuesta una cantidad enorme de capital político del director general. El gerente de planta, que ahora es medido por su cuota y al mismo tiempo castigado por el «botón nuclear» de calidad, tiene todos los incentivos para sabotear pasivamente al departamento de calidad. La fricción resultante puede consumir a la organización.
Y el «nuevo diseño 3», la automatización, cuesta dinero contante y sonante. Millones…
Aquí es donde nos topamos con la pregunta más difícil, la que define la estrategia del negocio: ¿vale la pena?
El gerente de planta que prioriza la «cuota de producción» no está loco. Esa cuota paga los sueldos. Si la planta deja de ser rentable porque el gerente de calidad (ahora todopoderoso) detiene la línea cada vez que hay una posible desviación trivial, la empresa quiebra o queda muy cerca de ese límite.
La inocuidad alimentaria no es un absoluto moral. Es un ejercicio de gestión de riesgo. La pregunta no es «¿Cómo elimino el 100% del riesgo?». La pregunta es «¿Cuánto riesgo podemos aceptar para seguir siendo viables?».
Esto nos lleva a una conclusión que seguramente te resultará incomoda de aceptar: ¿Qué pasa si el «teatro de la inocuidad» es la decisión económicamente más racional?
Hagamos un cálculo rápido.
Digamos que el riesgo real de un brote de Listeria por una falla de proceso es bajísimo, 1 en 10 millones de unidades. Y el costo de ese brote (retiros, juicios) es de $20 millones. El costo esperado del riesgo es de solo $2 por unidad.
Ahora, supongamos que el costo de la «Solución 3» (automatización) para mitigar ese riesgo es de $1 millón.
Pero el auditor de nuestro cliente más grande viene cada seis meses. Si fallamos esa auditoría, perdemos el contrato mañana. Ese es un riesgo del 100% de perder $15 millones al año.
El costo de montar el «teatro de la limpieza» para pasar la auditoría es de solo $50.000.
Bajo este cálculo, la decisión estratégica correcta es: montar el «teatro» (para neutralizar el riesgo inmediato y seguro de la auditoría) e ignorar la automatización (para aceptar el riesgo de 1 en 10 millones).
El sistema no está «roto». Está respondiendo perfectamente a los incentivos externos del mercado, que exigen la apariencia de control (la auditoría) mucho más enérgicamente de lo que castigan el riesgo real de bajo porcentaje.
Aquí es donde mi propia analogía de la «máquina» empieza a fallar. Las organizaciones no son solo máquinas impersonales de incentivos.
Están llenas de gente… Y la gente no solo responde racionalmente a los bonos. Mucha gente tiene orgullo profesional. Tienen un deseo intrínseco de hacer un buen trabajo. Quieren irse a su casa sintiendo que no pusieron en riesgo a nadie.
El verdadero problema de un mal sistema (como el que se basa en auditorías-teatro) no es solo que crea malos resultados. Es que activamente agota, castiga y expulsa a la gente con motivación intrínseca, a gente buena.
Pensemos en el operador que sí se preocupa. El que ve el problema de temperatura y quiere detener la línea. En el sistema de la «cuota de producción», esa persona es un problema. Es castigado por sus compañeros por «retrasar a todos». Es visto por su supervisor como «no apto para el trabajo». Aprende a callarse o se va. El sistema selecciona naturalmente a los que están dispuestos a falsificar el registro.
Un buen sistema entonces es uno que asume que la motivación intrínseca es valiosa y escasa, y la diseña para protegerla, no es uno que asume que todos son engranajes racionales.
Un buen sistema libera a esa gente. Les da el poder (como la autoridad de calidad) y las herramientas (como la automatización) para que su deseo de hacer lo correcto sea el camino más fácil.
No hay un diseño final perfecto. No hay una solución que no pueda ser «jugada» por la Ley de Goodhart. El rediseño del sistema es un proceso y no un evento. Es un juego constante de observar cómo la gente responde a las reglas actuales y luego ajustar las reglas.
El objetivo es construir una máquina que ayude a la gente buena a ganar y no es construir una máquina perfecta que funcione sola.