Esta herramienta mide el acuerdo entre codificadores más allá del azar. Dos codificadores pueden coincidir a menudo simplemente porque una categoría domina: si el 90 por ciento de los segmentos son “neutros”, dos codificadores descuidados coinciden el 81 por ciento de las veces adivinando neutro siempre. Kappa corrige eso comparando el acuerdo observado con el acuerdo esperado por azar dadas las distribuciones marginales de cada codificador. El kappa de Cohen maneja dos evaluadores; el kappa de Fleiss generaliza a tres o más. La herramienta informa kappa y una banda en lenguaje claro de pobre a casi perfecto, siguiendo la guía ampliamente usada de Landis y Koch.
Cómo usarla
- Elige Cohen (2 evaluadores) o Fleiss (3+ evaluadores).
- Para Cohen, pega las listas de códigos de ambos evaluadores en el mismo orden.
- Para Fleiss, pega una fila por sujeto con recuentos por categoría.
- Pulsa Calcular kappa.
- Lee kappa y su banda, y luego discute los desacuerdos.
Ejemplo resuelto
Dos codificadores etiquetan seis segmentos. El evaluador A dice sí, sí, no, no, sí, no; el evaluador B dice sí, no, sí, no, sí, no. El acuerdo bruto es 4 de 6, o 67 por ciento, respetable hasta considerar el azar. Ambos evaluadores dicen sí la mitad de las veces, así que el acuerdo por azar es 50 por ciento, y kappa sale alrededor de 0,33, solo un acuerdo aceptable. La pareja revisa entonces los dos desacuerdos, descubre que una definición de código es ambigua, la reescribe y recodifica: el acuerdo sube y el libro de códigos mejora. Kappa hizo aquí su verdadero trabajo: inició una conversación sobre definiciones, no solo produjo un número.
Límites honestos
Kappa tiene peculiaridades conocidas. Con categorías muy sesgadas, un alto acuerdo bruto aún puede dar un kappa bajo (la paradoja de kappa), así que informa siempre el acuerdo bruto junto a kappa. Kappa trata todos los desacuerdos como iguales, lo cual es erróneo para escalas ordenadas donde “de acuerdo” frente a “muy de acuerdo” es un fallo menor que “de acuerdo” frente a “en desacuerdo”: el kappa ponderado se ajusta mejor a datos ordenados. Y kappa mide fiabilidad, no validez: dos codificadores pueden coincidir perfectamente en una interpretación errónea. Informa kappa, acuerdo bruto, número de ítems con doble codificación y cómo se resolvieron los desacuerdos.
Para quién es
Esta herramienta es para investigadores cualitativos con doble codificación de una muestra, estudiantes que aprenden fiabilidad y equipos que deciden si un libro de códigos está listo para codificación completa. Una regla común: codifica doblemente al menos 10–20 por ciento del material, alcanza un acuerdo sustancial (kappa por encima de 0,6) y solo entonces codifica el resto de forma independiente.
Para ir más allá
No persigas un kappa alto colapsando categorías hasta que todo coincida: fusionar códigos distintos para inflar el acuerdo esconde distinciones reales y debilita el análisis. En cambio, trata el desacuerdo persistente como dato: registra qué ítems disputan los codificadores, busca patrones en las disputas y deja que esos patrones refinen el libro de códigos o incluso generen un tema nuevo. Informa el recorrido de kappa, no solo el valor final: kappa inicial, qué cambió en el libro y kappa final dicen a los lectores que el proceso de codificación fue realmente interrogado. Si el acuerdo sigue bajo tras dos revisiones del libro, el problema puede ser el propio material — datos ambiguos, no codificadores descuidados — y ese hallazgo pertenece a la sección de limitaciones, dicho con claridad. Informa quiénes fueron los codificadores y cómo se formaron, no solo el número kappa. Dos codificadores que construyeron juntos el libro de códigos coincidirán más que dos codificadores independientes que lo aplican en frío, y los lectores necesitan ese contexto para juzgar qué significa el kappa. Indica también la unidad de codificación — segmento, frase o respuesta completa — porque el acuerdo en segmentos largos es más fácil que en límites exactos, y un kappa sin su unidad es difícil de comparar con el de otros. La transparencia sobre el proceso convierte una estadística desnuda en evidencia creíble.
Herramientas relacionadas
English version · Centro de Codificación Cualitativa · Herramientas gratis en español.
Inserta esta herramienta en tu web — gratis
Copia el código de abajo para añadir esta herramienta funcional a tu propia página. Solo pedimos que mantengas el pequeño enlace de crédito que la acompaña.