La mayoría de las cabezas de atención no hacen nada

Midiendo la entropía por capas en un transformer pequeño

He estado analizando un transformer de 6 capas. La entropía de atención se desploma después de la capa 4.