Puntuar empresas es la parte de este sistema que parece aritmética y se comporta como pronóstico del clima. Cada señal que podemos recolectar barato es poco fiable de una manera específica y documentada, y la respuesta útil no es salir a buscar insumos más limpios sino ponderar los sucios según cómo falla cada uno. Lo que sigue es el esquema de ponderación en el que quedamos, el razonamiento detrás de cada regla, y un puntuador que publicamos que devolvía el mismo número para cada empresa y parecía, durante cosa de una semana, estar funcionando.
01Cada señal barata miente a su manera
Una lectura es una candidata que devolvió una fuente. Antes de poder calificar tiene que superar filtros, y los filtros necesitan evidencia. La evidencia disponible para nosotros sin un contrato ni una tarjeta registrada viene en más o menos cuatro tipos, y cada tipo falla de una manera que podemos nombrar.
- Las vacantes se vuelven viejas y siguen publicadas. Los sistemas de seguimiento de candidatos casi nunca podan, así que un puesto cubierto en enero suele seguir anunciado en junio, y una republicación es indistinguible de una publicación original. Contratar a tres ingenieros de datos es una afirmación fuerte sobre la empresa que escribió el anuncio. Es una afirmación débil sobre la empresa de hoy.
- Los changelogs mienten por omisión. Un equipo que publica versiones todo el tiempo y no escribe nada parece dormido. Un equipo con un changelog a cargo de mercadotecnia parece incansable con cuatro entradas por trimestre. La ausencia de un changelog no le dice casi nada sobre la presencia de ingeniería.
- Los datos de inversión llegan tarde. El anuncio no es la fecha de la transferencia, la transferencia no es el cierre, y el cierre solía ser un trimestre antes de que alguien publicara. Para cuando una ronda aparece en una base pública, las decisiones de gasto que pagó muchas veces ya se tomaron.
- La detección de stack reporta una visita a una página. Una etiqueta que se dispara en el sitio de mercadotecnia no dice nada sobre el producto. Una etiqueta que dejó un proveedor que se fue hace dos años se dispara con exactamente la misma convicción que una que pertenece a un cliente que renovó la semana pasada.
Nada de eso es razón para tirar una señal. Es razón para ser preciso sobre qué mide la señal, que por lo general no es lo que el nombre del campo sugiere. Una columna llamada job_posted_at mide cuándo se tocó por última vez una fila en el sistema de seguimiento de candidatos de otra persona. Pondérela como eso y vuelve a ser útil.
El problema de segundo orden es la correlación. Tres de esas cuatro están río abajo del mismo acto de publicar, así que una empresa con un equipo de mercadotecnia activo emite más de todas ellas y una empresa que trabaja en silencio emite menos. Sumarlas no le da tres vistas de un negocio. Le da una vista de un presupuesto de comunicación, contada tres veces, y rechaza sistemáticamente a las empresas calladas y lideradas por ingeniería que tienden a ser las mejores cuentas.
02Cómo ponderamos las señales al puntuar empresas
Cuatro reglas, en el orden en que importan.
- Prefiera señales con una fecha en la que pueda confiar. La fecha de un commit, una etiqueta de versión, un registro de dominio y una entrada de directorio que anota cuándo se agregó cargan todas un tiempo que nadie tuvo que inferir. Cualquier cosa donde la fecha es una suposición recibe una fracción del peso de cualquier cosa donde la fecha es un hecho, y preferimos tener una señal fechada a cuatro sin fecha.
- Haga decaer todo por antigüedad, con una vida media por clase de señal en lugar de una constante global. Una ronda de inversión gana peso despacio y lo conserva cerca de un año. Una vacante vale lo máximo en sus primeras tres semanas y casi nada después de cuatro meses. Pasar ambas por la misma curva es la forma en que un tablero de empleo viejo le gana a uno fresco.
- Nunca deje que una sola señal califique a una empresa. Nada llega a calificada con un solo insumo, por fuerte que sea ese insumo. Una empresa supera el filtro cuando coinciden señales de al menos dos familias independientes, donde independiente significa que las dos no estarían equivocadas por el mismo motivo. Dos entradas de directorio son una familia. Una entrada de directorio más un SDK de la competencia importado en un repositorio público son dos.
- Trate la ausencia de una señal como desconocido y no como negativo. No detectamos un SDK de scraping es una afirmación distinta de esta empresa no hace scraping, y casi todo lo que no vemos es consecuencia de dónde miramos. Una señal faltante sale tanto del numerador como del denominador.
Esa cuarta regla es la razón por la que aquí una puntuación son dos números en lugar de uno. Cada empresa carga una puntuación y una confianza, porque una señal faltante tiene que reducir la certeza sin pretender ser un hallazgo. Una empresa con poca superficie pública termina con una puntuación de baja confianza en lugar de una puntuación baja, y las dos se manejan distinto: la baja confianza devuelve la empresa a más investigación, la puntuación baja la rechaza con un motivo escrito en el registro. Colapsarlas en un solo número rechaza en silencio a todo negocio que no escriba un blog.
03El puntuador que le daba a toda empresa la misma respuesta
Durante cosa de una semana, nuestro puntuador devolvió en la práctica el mismo valor para cada lectura del lote. No parecía roto. La fila tenía un orden, el orden era estable entre corridas, y las empresas de arriba eran plausibles, porque eran las que la fuente de directorio devolvía primero y esa fuente se inclina hacia los proveedores más grandes. Quienes revisaban bajaban por la lista, aprobaban borradores, y nada en la experiencia sugería que la puntuación no estuviera haciendo trabajo alguno.
La causa fue ordinaria. Un paso de normalización recortaba cada factor a un techo antes de dividir entre el máximo del lote, y el techo era lo bastante bajo como para que casi todo insumo llegara ya pegado a él. Divida una columna de números casi idénticos entre su propio máximo y obtiene una columna de números cercanos a uno. La aritmética fue correcta todo el tiempo. La salida era una constante con ruido de redondeo al final.
Lo encontramos graficando la distribución, cosa que nunca habíamos hecho ni una vez. Un pico, nada a ninguno de los dos lados. Un histograma que toma cuatro minutos en producirse habría atrapado esto el primer día, y la razón por la que nadie lo produjo es que el ranking se leía razonable cuando uno lo miraba como lista. Las listas esconden la forma. Una lista ordenada de valores idénticos sigue siendo una lista ordenada, y conservará su orden para siempre.
La lección más amplia es sobre qué prueba en realidad un artefacto plausible. Una fila ordenada es evidencia de que algo produjo un orden. No es evidencia de que lo que lo produjo haya sido el puntuador. Dondequiera que un consumidor río abajo imponga estructura propia, y una fila impone orden por definición, usted puede perder el cómputo entero de río arriba sin que la salida cambie de forma. El orden de inserción, el orden alfabético y un modelo roto se presentan todos como una lista ordenada.
04Sobre qué nos negamos a puntuar
No compramos datos de intención que no podamos explicar. Esto nos cuesta alcance, y aceptamos el costo.
La oferta es conocida. Un proveedor vende un flujo de cuentas que supuestamente están mostrando interés en temas cercanos a su categoría, tomado de un panel de publicaciones que solo describirá a grandes rasgos. La señal bien puede ser real. El problema es que es infalsificable de nuestro lado: no podemos decirle qué página leyó nadie, en qué fecha, ni si quien leyó trabaja a menos de tres pisos de una decisión de compra.
Eso rompe dos cosas de las que dependemos. El registro de rechazos anota un motivo escrito para cada empresa que rechazamos, y un motivo tiene que ser verificable por quien lo lee. Un flujo de terceros dijo que no es un motivo, es la cita de una caja negra. Y la pantalla de revisión pone cada borrador junto a la evidencia de la que se escribió, así que un factor que no se puede mostrar ahí no lo puede discutir la persona cuyo trabajo entero es discutirlo.
Una puntuación cuyo razonamiento no se puede mostrar no se puede discutir, y una puntuación que nadie puede discutir estará equivocada durante meses antes de que alguien lo note. Ese es el puntuador plano otra vez, con mejor traje. La diferencia es que al puntuador plano lo atrapamos con un histograma, y no hay histograma que atrape un número comprado cuya procedencia es un secreto comercial.
Así que la ponderación se queda aburrida: fechas en las que confiamos, decaimiento por antigüedad, dos familias independientes antes de calificar nada, y la ausencia registrada como ausencia. La puntuación ordena la fila y no hace nada más. No abre una puerta, no escribe un borrador, y desde luego no entrega un envío. Una persona aprueba cada mensaje antes de que salga a ningún lado, y la puntuación es una de las cosas con las que tiene permitido estar en desacuerdo.