Novità dal Mondo della Statisticahttp://www.stat-project.com/itStatistica.ning (la Comunità Italiana dedicata alla Statistica). In un solo mese si sono registrati 36 membri, sono stati creati 14 gruppi, sono state aperte 4 discussioni nel forum, ed infine sono stati pubblicati 7 post sul blog.
Nei prossimi cercherò di ampliare ulteriormente la gamma di servizi e contenuti offerti dalla piattaforma, contando nella collaborazione di tutti coloro che desiderano far parte integrante della comunità.

Un saluto a tutti DS]]>“The Visual Dislay of Quantitative Information” di Edward Tufte a chiunque entro il 17 di Gennaio 2010 contribuirà in maggior misura ad arricchire i contenuti della Comunità Statistica (statistica.ning.com) attraverso:
L’inserimento di discussioni all’interno dei diversi Gruppi
La risposta a domande inserite nei diversi Forum
L’inserimento di post sul Blog
Naturalmente lo spam nonché i contenuti ritenuti inutili, ricopiati da altre sorgenti o fuori tema non saranno considerati al fine dell’assegnazione del “premio”.

Accorrete numerosi!]]> Spero però che il lavoro speso in questo periodo, e quindi sottratto a Stat Project, potrà essere di vs. gradimento. Mi sono infatti occupato della definizione di un vero e proprio Social Network su piattaforma Ning, a cui spero aderirete tutti al più presto.
Personalmente, dopo avere definito le impostazioni basilari di un Social Network – chiamato semplicemente STATISTICA (http://statistica.ning.com/) -, ho deciso di raccogliere poco a poco all’interno di esso tutti i post e le risorse da me postate su Stat Project in più di 3 anni di attività. Non trasferirò tutto il contenuto dei suoi database, bensì solo quanto riterrò indispensabile e veramente essenziale per qualunque appassionato di statistica.
Presto invierò a tutti gli iscritti alla Newsletter di Stat Project un invito affinché possano registrarsi e costruirsi una propria pagina personale. Naturalmente chiunque è invitato a registrarsi e a partecipare anche se non invitato.
In STATISTICA potrete creare Gruppi per gestirli come amministratori, aprire discussioni sui Forum, allacciare rapporti con altri appassionati, e molto altro. Spero utilizzerete questo Social Network come una sorta di Facebook dedicato alla statistica. Godetene e fruitene tutti, quindi.
Io, da parte mia, cercherò di vestire i panni di semplice coordinatore, e magari proseguire con i miei propositi informativi.

Per cui godetevi STATISTICA (http://statistica.ning.com/). Iscrivetevi e contribuite ad una reale condivisione della conoscenza.]]>Caos Pragmatico di Bellkor e l’Ensemble, i team che sono giunti rispettivamente primo e secondo dopo la prima tornata della competizione, hanno unito le loro forze per offrire ognuno un proprio contributo significativo.
Invito tutti quanti siano interessati a sbirciare tra le documentazioni allegate ai lavori di ricerca ed ospitate sul forum dedicato al concorso.
L’immagine che potete osservare sopra è l’equazione documentata da Yehuda Koren, che ha consentito ai primi due team di vincere il premio.
In definitiva, secondo quanto dichiarato dai vincitori gli aspetti che è stato necessario considerare per ottenere il maggior miglioramento possibile dell’algoritmo sono stati molteplici. Prima di tutto è stato osservato che le modalità di giudizio dei clienti di Netflix invitati a dare una valutazione sui film noleggiati differisce notevolmente a seconda che il film sia stato visto recentemente o molto tempo fa. Dopodiché è stato rilevato come i giudizi espressi al Venerdì presentassero delle differenze sistematiche rispetto ai giudizi espressi al Lunedì, e come certi clienti fossero maggiormente propensi a fornire voti più positivi in giorni festivi come la Domenica.
Potete trovare altre notizie sul Netflix
Qui
Qui
Qui
E qui

]]>Esercizi di statistica descrittiva e di verifica delle ipotesi risolti e commentati con R. Questo il sottotitolo di un blog scritto in italiano ed esaustivo in ognuna delle spiegazioni pubblicate sull’utilizzo di R.
L’Indice degli esercizi può risultare molto utile soprattutto per gli utenti meno esperti che desiderano ottenere immediatamente un aiuto. Estremamente utili sono i due manuali segnalati nella sezione link:
Formulario di statistica con R, realizzato da Fabio Frascati, ed
Esercitazioni di statistica biomedica, realizzato da Matteo Dell’Omodarme.]]>idea quella di Gregory Piatetsky-Shapiro di fare un sondaggio su quale delle soluzioni/società di data mining verrà acquisita secondo i lettori di KDnuggets nei prossimi 12 mesi.
Nella sostanza la corsa delle big company ad accaparrarsi questo tipo di strumenti è tale da far pensare che tra breve qualcun altro si possa muovere per acquisire qualcuno dei pochi “gioielli” ancora rimasti invenduti (ricordiamo che è da poco avvenuta l’acquisizione di SPSS da parte di IBM).

Secondo i lettori di KDnuggets, la prossima compagnia che verrà venduta a qualche grosso big (Oracle? Microsoft? Adobe?) entro un anno sarà KXEN.
La cosa curiosa però è rappresentata dal commento aggiunto da Piatetsky-Shapiro circa rumori su un possibile interessamento di SAP nei confronti di Tibco. In questo caso si tratterebbe di una sorta di rivalsa di SAP nei confronti di IBM, in quanto dopo anni durante i quali SAP ha cercato di sviluppare integrazioni efficaci con SPSS, potrebbe aver deciso di acquisire indirettamente una soluzione concorrente.
Ricordiamo infatti che nel giugno dello scorso anno Tibco ha acquisito S-PLUS per 25 milioni di dollari.]]> Ebbene ciò che dovrete procuravi sarà uno strumento e/o un servizio di analisi.

Partendo dal presupposto che le vs. banche dati siano di grandi dimensioni, e che le problematiche da affrontare possano essere di diversa natura (segmentazione/classificazione, previsione, analisi delle serie storiche), è chiaro che dovrete ricorrere ad opportune tecniche di data mining, dalle più tradizionali alle ultime ritrovate.
Immagino tra l’altro lo spaesamento di chi, in mancanza di soluzioni analitiche interne, si trova a dover scegliere tra una schiera numerosissima di fornitori di soluzioni, di servizi e di prodotti.

Il mio modesto suggerimento è allora quello di fare la seguente cosa: fatevi suggerire da qualcuno più esperto di voi come strutturare una vostra base dati di cui disponete già tutti i valori, sia per le variabili indipendenti (predittori) che per le variabili dipendenti (si tratterà presumibilmente di dati storici). Dopodiché “oscurate” opportunamente i valori delle variabili dipendenti.

Una volta fatto ciò sottoponete la base dati alle diverse aziende di consulenza o ai fornitori di soluzioni analitiche, invitandoli ad eseguire una previsione dei valori della variabile dipendente sulla base dello specifico obiettivo di analisi e sulla base ovviamente dei valori noti delle variabili indipendenti (predittori).
Una volta che tutti gli interpellati avranno eseguito la loro analisi sulla medesima base dati, non vi rimarrà che confrontare i valori previsti da ognuno con i valori della variabile dipendente noti SOLTANTO a voi.
(La procedura è semplice: ad esempio nel caso della classificazione si ricorrere ad una matrice di confusione per il confronto tra classificazioni attese e classificazioni osservate. In questo caso sarà sufficiente osservare i tassi di errata classificazione. Per quanto invece riguarda i problemi di previsione/regressione sarà sufficiente osservare l’andamento dei residui).
A questo punto, saranno i numeri a parlare e a suggerirvi chi o quale software ha prodotto la previsione migliore.

Diffidate sempre di chi si riempie la bocca di grandi parole e vanta collaborazioni od esperienze passate di grande prestigio. Basatevi sull’osservazione dei risultati concreti, ottenuti sui VOSTRI DATI, e giudicate l’accuratezza e l’esaustività delle spiegazioni ad essi allegati.]]>Focus economia di Radio24 condotto da Sebastiano Barisoni per avermi messo a conoscenza di un’inattesa relazione temporale tra due elementi dell’economia apparentemente molto distanti.
In una trasmissione dedicata agli indicatori economici ed in particolare agli strumenti tradizionali – e non - utilizzati dagli economisti per la previsione dei cicli di espansione e recessione economica, è stata commentata non senza qualche ironia una relazione verificata tra vendite di rossetti e gli andamenti recessivi dell’economia.
Nella sostanza risulterebbe che nei momenti di recessione, le vendite di rossetti registrano un aumento, addirittura a partire da un numero imprecisato di step temporali precedenti rispetto all’inizio della recessione.
L’evidenza empirica di questo fenomeno è verificabile anche attraverso l’osservazione dei risultati di ricerca associati alle parole lipstick e recession cercate tramite Google. Nell’immagine sopra potete infatti osservare l’analisi comparativa compiuta tramite Google Trends.
In realtà esisterebbe un vero e proprio Lipstick index, coniato da Leonard Lauder, che secondo il suo inventore consentirebbe abbastanza agevolmente di descrivere l’incremento di vendite di rossetti durante i periodi di recessione successivi al 2001.]]> Le caratteristiche di maggiore rilievo sono certamente:
1. Il nuovo Do-file Editor
2. Una nuova sintassi per le operazioni di unione
3. L’introduzione del comando mi (multiple imputation)
4. Una nuova gestione dei fattori-effetti principali e delle interazioni
Personalmente apprezzo che nell’ultima versione di Stata sia stata inclusa la possibilità di analizzare via GMM sia modelli lineari che non-lineari. Nello stesso modo ho apprezzato la presenza della nuova suite per l’analisi degli effetti marginali e dei root test per l’analisi dei dati panel.
Per gli appassionati di Serie Storiche è bene sapere che sono stati introdotti nuovi modelli spaziali così come nuovi modelli fattoriali dinamici ed un numero di nuovi elementi GARCH.

Per maggiori informazioni si visiti http://www.stata.com/stata11/]]>mloss.org è un archivio di software open source per l’esecuzione di algoritmi di apprendimento automatico (machine learning).
La quantità ospitata di algoritmi e software è smisurato, sia per obiettivo di analisi che per tipo di linguaggio utilizzato (C, C#, C++, Java, Matlab, Perl, Python, R, ecc.). Inoltre per facilitare la comprensione dei contenuti sono disponibili un Forum, un Blog, nonché una serie di funzioni di ordinamento per giudizio espresso dagli utenti.
Apprezzabile inoltre la specificazione del tipo di licenza che caratterizza ogni progetto ospitato (Gpl, Lgpl, Gnu, Bsd, ecc.).

Risorsa squisita per chiunque si dedichi frequentemente al data mining.]]>