Twoing

Nell'apprendimento automatico di alberi di decisione, il criterio del twoing è una misura utilizzata nell'algoritmo CART ^[1] per selezionare in ogni nodo la migliore partizione degli oggetti contenuti. Il criterio di divisione in ${\displaystyle X_{1},X_{0}\subseteq U}$ (partizione con esito del test positivo, risp. negativo), definito in base alla variabile predittiva o feature ${\displaystyle f}$, è calcolato come segue

${\displaystyle {\textrm {Twoing}}_{f}(X|X_{1},X_{0})={\frac {|X_{1}|\cdot |X_{0}|}{4}}\left(\sum _{{\text{classe}}\ i}|p_{1}^{i}-p_{0}^{i}|\right)^{2}}$

dove ${\displaystyle p_{j}^{i}}$ è la frazione di oggetti della i-esima classe nell'insieme ${\displaystyle X_{j},\ j\in \{0,1\}}$. L'algoritmo CART seleziona le feature che massimizzano la regola di partizionamento del twoing sopra indicata.

Le principali differenze tra i due criteri di partizionamento possono essere riassunte come segue:^[2]

• Il twoing fornisce una suddivisione binaria per ogni nodo, mentre l'entropia può fornire partizioni multiple a seconda delle variabili. Per questo motivo, la complessità in termini di altezza dell'albero prodotto quando si utilizza il twoing nel processo di costruzione dell'albero di decisione è maggiore rispetto all'utilizzo dell'entropia.
• Con il twoing si gestiscono sia valori categorici sia numerici, mentre con l'entropia si gestiscono solo valori categorici.

Alcune altre differenze fra l'utilizzo del twoing o dell'entropia come criteri di divisione sono: ^[3]

• che il primo è in grado di gestire i valori anomali, mentre l'entropia è sensibile ai valori anomali
• Inoltre, il twoing gestisce i dati mancanti meglio della misura di entropia.