Si tenemos interés en las técnicas de detección de spam, este es un fichero interesante de analizar y permite realizar fácilmente pruebas de diferentes algoritmos de detección.

El formato del fichero es el siguiente:

[0xFEEDFACE]
[number good messages][number bad messages]
[number good tokens]
[count][length of word]word
...
[number bad tokens]
[count][length of word]word
...

Donde los valores están guardados con 4 bytes en formato Big Endian.

Dejo aquí un ejemplo de lectura del fichero que nos muestra los 10 tokens de spam con un valor más alto. El resultado con mi training.dat es el siguiente:

[2071, mime-version:1.0]
[1592, and]
[1435, for]
[1117, with]
[1017, have]
[959, envelope-to:madelman@unservidor.com]
[913, our]
[864, x-scaned-fib:antivirus/antispam en otroservidor.es]
[812, not]
[757, will]
[724, x-original-to:e9999999@otroservidor.es]
[684, more]

Si quereis podeis enviarme vuestros resultados para comparar diferentes valores y los subiré en una próxima nota.

File Attachment: read_training.cpp (3 KB)

File Attachment: read_training.exe (428 KB)

Esta lista de palabras se guarda en nuestro directorio de profile (en mi caso “c:\Documents and Settings\madelman\Datos de programa\Thunderbird\Profiles\default.ph9″) en el fichero training.dat. Este fichero no es directamente visible ni editable, pero podemos tratarlo gracias a Bayes Junk Tool, una herramienta en Java que permite realizar modificaciones del fichero.

Una vez nos hayamos bajado Bayes Junk Tool lo ejecutamos (necesita un runtime de Java) con:

set classpath=bayesjunktool-0.2.1.jar
java mozilla_training_analyzer.Analyzer

Desde el programa seleccionamos nuestro fichero training.dat, el cual cargará y nos lo mostrará por pantalla.

Con este programa podemos ver todas las palabras con las que Thunderbird intentará clasificar nuestro correo, el número de veces que han aparecido tanto en mensajes ham como en mensajes spam y la probabilidad de cada una. También permite modificar este fichero, añadir y quitar palabras e incluso modificar el número de apariciones.

El algoritmo está implementado en el fichero mozilla\mailnews\extensions\bayesian-spam-filter\src\nsBayesianFilter.cpp concretamente en la función classifyMessage. Para hacerlo más sencillo de entender lo pasaré a pseudo-código y lo simplificaré. En primer lugar debemos ver cuales son las variables que utiliza:

• mGoodCount: número de mensajes ham clasificados
• mBadCount: número de mensajes spam clasificados
• mGoodTokens: tabla de hash de tokens ham con el número de veces que han aparecido
• mBadTokens: tabla de hash de tokens spam con el número de veces que han aparecido

Por defecto:

si (mGoodCount == 0 || mGoodTokens.count() == 0)
	suponemos que el mensaje es spam
si (mBadCount == 0 || mBadTokens.count() == 0)
	suponemos que el mensaje es ham

Seguidamente vemos el algoritmo principal (copiado del bugzilla):

para cada token {
	hamcount = numero de veces que el token aparece en mensajes ham
	spamcount = numero de veces que el token aparece en mensajes spam
	hamratio = hamcount / nGoodCount
	spamratio = spamcount / nBadCount

	prob = spamratio / (hamratio + spamratio)

	n = hamcount +  spamcount
	prob = (0.225 + n * prob) / (.45 + n)

	distance = abs(prob - 0.5)
	if (distance > = .1) {
		token.distance = distance
		token.prob = prob
	}
}

Con esto calculamos y guardamos la probabilidad de cada token. Una vez calculadas las probabilidades, ordenamos este array por distancias (tomando como distancia la diferencia entre las probabilidades de cada token) y cogemos los 150 primeros elementos. Utilizando una distribución de probabilidad chi², de la cual ahorraremos el código para una mayor brevedad.

Una vez calculada esta distribución de probabilidad debemos comparar el valor resultante con el límite que tenemos establecido que, por defecto, es 0.9. Si la probabilidad es mayor o igual que esta, el mensaje será clasificado como spam.

Para poder utilizar estos métodos, en primer lugar es necesario tener un conjunto de mensajes de ejemplo, tanto de spam como de correo ordinario (que él denomina ham, jamón, en contraposición a spam, que además de correo basura también es una carne en lata). Estos mensajes deberán ser trozeados en tokens, trozos de texto, habitualmente palabras. Esta partición del texto es muy importante, ya que dependiendo de como la hagamos el algoritmo funcionará mejor o peor.

Una vez partido el texto en tokens determinaremos la probabilidad de que un email que contenga ese token sea spam, mediante la siguiente fórmula (código Lisp):

(let ((g (* 2 (or (gethash word good) 0)))
      (b (or (gethash word bad) 0)))
   (unless (< (+ g b) 5)
     (max .01
          (min .99 (float (/ (min 1 (/ b nbad))
                             (+ (min 1 (/ g ngood))
                                (min 1 (/ b nbad)))))))))

Mmmm, la cosa parece que se complica. No vamos a preocuparnos demasiado de esta fórmula y pasamos a ver como calcula si un correo es spam o no. Cuando llega un correo nuevo, coge los 15 tokens más interesantes (lo que tienen una probabilidad más alejada de 0.5) y guarda esas probabilidades en una lista llamada probs.

(let ((prod (apply #'* probs)))
  (/ prod (+ prod (apply #'* (mapcar #'(lambda (x)
                                         (- 1 x))
                                     probs)))))

Si esta fórmula da como resultado un valor mayor de 0.9 entonces consideraremos que ese correo es spam, sino lo consideraremos como ham.

Thunderbird utiliza este mismo algoritmo, aunque ligeramente modificado, para clasificar el correo recibido. Veremos en un próximo post como funciona.

Una vez tengamos ejemplos de como es cada uno de los tipos de spam, estudiaremos el algoritmo de clasificación e intentaremos ver porque estos correos no se están clasificando correctamente.

Un ejemplo de spam detectado correctamente:

Autumn sale on V i agra and other drugs.

You won`t find better prices anywhere!

V alium - 180 PiIls - 370$
X anax - 180 PiIls - 316$
A mbien - 180 PiIls - 388$
S oma - 160 PiIls - 145$
V iagra - 100 PilIs - 209.99$
C ialis - 90 PiIls - 324$
U ltram - 120 PilIs - 155$
P hentermine - 90 PiIls - 261$
and many more...

Please click below and check out our offer.

[link]

rd explode pluggable cookie americanism stimulus ogre exultation sunnyvale prompt
slop stub curfew minion clout avow plain anaglyph point
orthoclase coach thorstein gravy closeup passer adhere hammerhead trounce aaa derbyshire
varsity degeneracy people ryder unimodular inductance sock crystalline
apathy daybed progenitor protestation darpa trundle wreak soliton
derive dianne bedimmed radiometer betelgeuse divestiture heroin dockyard

Podemos ver que hay una gran cantidad de faltas de ortografía, palabras mal escritas expresamente (piIls en lugar de pills, dependiendo del tipo de letra hay que fijarse mucho para notar la diferencia) y el nombre de los medicamentos está escrito con la primera letra separada. Además, hay una serie de palabras, al parecer, sin sentido debajo del mensaje principal. Veremos por que están estas palabras cuando estudiemos los algoritmos de detección de spam.

Veamos ahora un ejemplo de spam no detectado:

Den

Hey Dude, This has you written all over it. I assumed I had better send it
to you.

Kira

 -------Original Message-------

From: Hong [mailto:pvhfnc@fpvo.com]
Sent: Wed, 23 Nov 2005 21:40:32 -0100
To: Bianca
Subject: Georgie Cool fashion item that is at reasonable price. Topmost
fashion item.

Sweet Michel,

 Today you do not need to worry about the regular noise of life. You only
need to worry about choosing the one you like best. Choose anyone of the
time pieces at this internet-site. It is your surprise.
[LINK]

You are going to look terrific in it. 

You are going to be very happy to know you can track your package.

My deepest love,

Anton

Una técnica bastante utilizada ultimamente es enviar el spam como si fuera no mensaje reenviado por alguien. Además, el texto escrito suena, digamos, raro, un poco forzado , aunque está escrito correctamente. Estudiaremos en próximos post cual puede ser el problema de la detección.