Classificazione nell'apprendimento automatico: un'introduzione

La classificazione è il processo di previsione della classe di determinati punti dati. Le classi sono talvolta chiamate obiettivi, etichette o categorie. La modellazione predittiva di classificazione è il compito di approssimare una funzione di mappatura (f) dalle variabili di input (X) alle variabili di output discrete (y.)

Ad esempio, il rilevamento dello spam nei fornitori di servizi di posta elettronica può essere identificato come un problema di classificazione. Si tratta di una classificazione binaria poiché esistono solo due classi contrassegnate come “spam” e “non spam”. Un classificatore utilizza alcuni dati di training per comprendere come determinate variabili di input si riferiscono alla classe. In questo caso, come dati di addestramento è necessario utilizzare le e-mail di spam noto e non di spam. Quando il classificatore viene addestrato in modo accurato, può essere utilizzato per rilevare un'e-mail sconosciuta.

La classificazione appartiene alla categoria dell'apprendimento supervisionato in cui agli obiettivi vengono forniti anche i dati di input. La classificazione può essere applicata a un'ampia varietà di compiti, tra cui l'approvazione del credito, la diagnosi medica e il marketing mirato, ecc.

Ci sono due tipi di studenti nella classificazione: studenti pigri e studenti desiderosi.

Gli studenti pigri memorizzano i dati di formazione e aspettano finché non vengono visualizzati i dati di test. In tal caso, la classificazione viene condotta in base ai dati di allenamento memorizzati più correlati. Rispetto agli studenti entusiasti, gli studenti pigri dedicano meno tempo alla formazione ma più tempo alle previsioni.

Esempi:K-vicino più vicino e ragionamento basato sui casi.

Gli studenti desiderosi costruiscono un modello di classificazione basato sui dati di formazione forniti prima di ricevere i dati per la classificazione. Deve essere in grado di impegnarsi in una singola ipotesi che copra l'intero spazio dell'istanza. Per questo motivo, gli studenti desiderosi impiegano molto tempo per la formazione e meno tempo per le previsioni.

Esempi:Albero decisionale, Bayes ingenuo e reti neurali artificiali.

Maggiori informazioni sull'apprendimento automatico: i 10 migliori algoritmi di apprendimento automatico che ogni principiante dovrebbe conoscere

Ci sono molti algoritmi di classificazione tra cui scegliere. La scelta di quello giusto dipende dall'applicazione e dalla natura del set di dati disponibile. Ad esempio, se le classi sono separabili linearmente, i classificatori lineari come la regressione logistica e il discriminante lineare di Fisher possono sovraperformare i modelli sofisticati e viceversa.

Un albero decisionale costruisce modelli di classificazione o regressione sotto forma di struttura ad albero. Utilizza un insieme di regole "se-allora" che si escludono a vicenda ed esaustive per la classificazione. Le regole vengono apprese in sequenza utilizzando i dati di training uno alla volta. Ogni volta che viene appresa una regola, le tuple coperte dalle regole vengono rimosse. Questo processo continua finché non soddisfa una condizione di terminazione.

L'albero è costruito in modo top-down, ricorsivo, divide et impera. Tutti gli attributi dovrebbero essere categorici. Altrimenti, dovrebbero essere discretizzati in anticipo. Gli attributi nella parte superiore dell'albero hanno un impatto maggiore nella classificazione e vengono identificati utilizzando il concetto di guadagno di informazioni.

Un albero decisionale può essere facilmente sovradimensionato generando troppi rami e potrebbe riflettere anomalie dovute a rumore o valori anomali. Un modello eccessivamente adattato si traduce in prestazioni molto scarse sui dati invisibili, anche se fornisce prestazioni impressionanti sui dati di addestramento. Puoi evitare questo problema con la pre-potatura, che interrompe anticipatamente la costruzione dell'albero, o con la post-potatura, che rimuove i rami dall'albero completamente cresciuto.

Naive Bayes è un classificatore probabilistico ispirato al teorema di Bayes che presuppone che gli attributi siano condizionatamente indipendenti.

La classificazione viene condotta derivando il massimo a posteriori, che è il massimo P(Ci|X), applicando l'ipotesi di cui sopra al teorema di Bayes. Questa ipotesi riduce notevolmente il costo computazionale contando solo la distribuzione delle classi. Anche se il presupposto non è valido nella maggior parte dei casi poiché gli attributi sono dipendenti, sorprendentemente, l'ingenuo Bayes è in grado di esibirsi in modo impressionante.

Naive Bayes è un algoritmo semplice da implementare e può produrre buoni risultati nella maggior parte dei casi. Può essere facilmente adattato a set di dati più grandi poiché richiede tempo lineare, anziché la costosa approssimazione iterativa utilizzata da altri tipi di classificatori.