• Accueil
  • > Recherche : algorithme data mining

Résultats de votre recherche

Les neuf algorithmes datamining existant dans SQL server

Posté par wissemhabboub le 2 janvier 2012

SQL Server Analysis services comprend neuf algorithmes. En outre, SSIS comprend deux transformations de text mining. la liste ci-dessous résument les algorithmes SSAS neuf et leur usage commun.

Arbres de décision : est l’algorithme de DM le plus populaire, il est utilisé pour prédire les variables discrètes et continues. Les résultats sont très faciles à comprendre, c’est la principale raison qui rend l’algorithme si populaire. Si vous souhaitez prédire des variables continues, vous obtenez des de morceaux formule de régression linéaire multiple avec une formule distincte dans chaque nœud d’arbre. L’algorithme utilise les variables d’entrée discrètes pour décomposer l’arbre en nœuds. Un arbre qui prédit les variables continues est un arbre de régression.

Régression linéaire : La Régression linéaire prédit des variables continues seulement, à l’aide d’une seule formule de régression linéaire multiple. Ainsi, les variables d’entrée doivent être continues. La Régression linéaire est un cas simple d’un arbre de régression, mais c’est un arbre sans  fractionnements.

Naive Bayes : Compte tenu de chaque État de l’attribut prévisible, l’algorithme Naive Bayes calcule les probabilités pour chaque État possible de l’attribut d’entrée. Vous pouvez par la suite utiliser ces probabilités pour prédire l’issue de l’attribut cible que vous prédisent basé sur les attributs d’entrée connus. Parce que cet algorithme est assez simple, il construit des modèles très rapidement. Par conséquent, vous pouvez utiliser cet algorithme comme point de départ dans votre tâche de prédiction. L’algorithme Naive Bayes ne supporte pas les attributs continus.

Réseau de neurone: L’algorithme Neural Network vient de l’intelligence artificielle. Vous pouvez utiliser cet algorithme pour les prédictions ainsi. Les Réseaux de neurone recherche des dépendances fonctionnels non linéaires. Ils effectuent des transformations non linéaires sur les données dans les couches, provenant de la couche d’entrée grâce à des couches cachées vers la couche de sortie. Parce qu’ils sont difficiles à interpréter que les algorithmes linéaires comme les arbres de décision, les réseaux de neurone ne sont pas utilisés habituellement en affaires comme le sont les algorithmes linéaires.

Régression logistique : Comme une régression linéaire qui est un arbre de régression simple, une régression logistique est un réseau de neurone sans les couches cachées.

Clustering : L’algorithme de Clustering regroupe des cas un DataSet en groupes contenant des caractéristiques similaires. En utilisant ces groupes, vous pouvez explorer les données et en apprendre davantage sur les relations entre vos cas. En outre, vous pouvez créer des prédictions du modèle clustering créé par l’algorithme. Vous pouvez utiliser la méthode de Clustering pour vos clients de groupe pour votre application de gestion de la relation client (CRM), par exemple. En outre, vous pouvez utiliser Clustering pour rechercher des anomalies dans vos données. Un cas qui n’est pas partie d’un cluster est un cas qui mérite davantage d’inspection. Ceci est utile pour la détection de la fraude ; une opération qui ne correspond pas à un cluster découvert pourrait être une transaction frauduleuse.

Sequence Clustering : L’algorithme Sequence Clustering recherche des groupes basés sur un modèle, plutôt que sur la similitude des cas. Il construit des modèles à partir de séquences d’événements à l’aide de chaînes de Markov. Vous pouvez utiliser cet algorithme séquentiel de données. Utilisation typique serait une analyse de l’utilisation de site Web. de votre société

Règles d’association : L’algorithme de règles d’Association est conçu pour l’analyse de panier.L’algorithme définit un jeu d’éléments comme la combinaison d’éléments dans une seule opération. L’algorithme scanne le dataset et compte le nombre de fois où les Jeux d’éléments apparaît dans les transactions. Vous devez utiliser cet algorithme pour détecter les opportunités de vente croisée.

Séries chronologiques : L’algorithme de séries chronologiques est créé pour la prévision des variables continues. En interne, l’algorithme utilise les arbres régression sur les données transformées automatiquement ; Il est aussi appelé Auto-régression arbres (ART).

Publié dans Analysis Services, SQL 2008 | 2 Commentaires »

Données non structurés (Unstructured Data) & TextMining

Posté par wissemhabboub le 2 mai 2008

La combinaison des composants SSIS de texte mining et de traitement des données non structurées : file import, Fuzzy groupping, fuzzy lookup, term extraction et term lookup et les algorithmes de DataMining offrent une maniabilité et un traitement des données non structuré impressionnante. Dans ce qui suit, je vais introduire quelques scénarios d’utilisation de données non structurées. 

Supposant que vous avez des données textes stockés dans des fichiers différents rapatriés à partir des sites internet ou à partir des données d’un call center sur un thème données (commentaires sur un produit, Assistance Clientèle,…), et vous désirez analyser ces données. 

Nettoyage de données : 

L’utilisation de Fuzzy groupping pour nettoyer vos données et trouver des lignes canonique (exemple: si vous avez une table contenant des lignes en double mais avec quelque différence et vous voulez avoir une table nettoyée) 

Association des fichiers à des entités métiers : 

Utiliser File import pour importer les fichiers dans une colonne de table pour pouvoir bénéficier des traitements possibles sur les tables et associer vos fichiers texte à des entités métiers (produits, client,….) : chaque fichier texte peut correspondre un produit ou autre entité métier. 

Utilisation des dictionnaires métiers : 

Si vous avez des dictionnaires métier, vous pouvez utiliser le composant recherche de terme (term lookup) pour chercher la fréquence d’apparition des termes du dictionnaire dans votre colonne texte (exemple: analyser le contenu de vos fichiers textes pour évaluer l’appréciation des clients sur des produits en utilisant un dictionnaire contenant les noms les termes utilisés pour apprécier ou non un produit). 

Création de dictionnaire /Extraire des noms, phrases,… : 

Si vous ne possédez pas des dictionnaires métiers et vous voulez en créer ou si vous voulez extraire des noms, des phrases,… a partir du texte utilisez extraction de terme (Term extraction). 

Recherche des correspondances non exactes (Recherche floue) : 

L’utilisation de Fuzzy lookup pour trouver la correspondance non exacte entre une colonne texte dans une table et une autre dans une table de référence en utilisant la logique floue avec degré de similitude (exemple: a partir d’une table contenant les noms de vos produits saisie d’une manière non homogène, on veut faire le mappage avec la table produit de notre BDD; fuzzy lookup reconnait les noms de produits même s’ils ne sont pas écrit exactement de la même manière tel que :micro ordinateur & ordinateur par exemple, Fuzzy Lookup offre la possibilité aussi de paramétrer le degré de similitude entre le texte à mapper et le texte de référence). 

La combinaison de ces composants avec les algorithmes de datamining de SQL server Analysis services clustering pour faire la segmentation (classer les appels d’un call center par fréquence de répétition de certain de termes) ou l’association pour trouver les phrases/ les mots qui se répètent souvent ensemble qui peuvent être utiles pour améliorer les performances des agents d’un call center par exemple. 

Liens utiles: 

http://www.microsoft.com/technet/prodtechnol/sql/2005/intro2is.mspx
http://msdn.microsoft.com/fr-fr/library/ms141809.aspx
http://msdn.microsoft.com/fr-fr/library/ms137850.aspx 

 

 

Publié dans Analysis Services, Integration Services | 2 Commentaires »

Analysis Services

Posté par wissemhabboub le 13 mars 2008

Microsoft SQL Server 2005 Analysis Services propose le traitement analytique en ligne (OLAP) et l’exploration de données pour les applications d’aide à la décision.

Analysis Services prend en charge l’OLAP en vous permettant de concevoir, de créer et de gérer des structures multidimensionnelles contenant des données agrégées à partir d’autres sources de données, comme les bases de données relationnelles.

Pour les applications d’exploration de données, Analysis Services vous permet de concevoir, de créer et de visualiser des modèles d’exploration de données construits à partir d’autres sources de données, en utilisant une large gamme d’algorithmes standard d’exploration de données (DataMining)

Pour plus d’informations sur Analysis Services, consultez les sections suivantes dans la documentation en ligne de SQL Server.

Section Description
Concepts et objets de Analysis Services Décrit les concepts des fonctionnalités OLAP et d’exploration de données de Analysis Services, et présente les objets utilisés en cas de traitement OLAP et d’exploration de données.
Modèle dimensionnel unifié (UDM) Décrit la méthode de conception UDM permettant d’utiliser Analysis Services comme portail d’accès à une solution décisionnelle complète.
Développement de solutions et de projets Analysis Services Décrit l’utilisation des projets et des solutions pour gérer les objets Analysis Services.
Utilisation des bases de données Analysis Services Décrit les concepts sous-jacents à une conception et à une création fructueuses de bases de données Analysis Services.
Utilisation de OLAP (Online Analytical Processing) Décrit l’intégration des cubes et des fonctionnalités OLAP dans les solutions décisionnelles.
Utilisation de l’exploration de données Décrit le processus d’exploration de données, notamment les outils et les fonctionnalités mis à la disposition des applications d’exploration de données, dans Analysis Services.
Sécurisation d’Analysis Services Explique comment Analysis Services protège les données et les métadonnées à tous les niveaux d’une solution décisionnelle.
Déploiement de systèmes de développement et de production Analysis Services Décrit comment préparer des projets Analysis Services sur des instances Analysis Services de développement, puis les déployer sur des instances de production.
Considérations sur la prise en charge internationale de Analysis Services Explique comment Analysis Services assure le stockage et la manipulation de données multilingues.
Administration de Microsoft Analysis Services Décrit les processus de gestion et de configuration nécessaires à une administration réussie de Analysis Services.
Rubriques Procédure : Analysis Services Fournit des informations détaillées et spécifiques pour réaliser certaines tâches dans Analysis Services.
Utilitaire Microsoft.AnalysisServices.Deployment Décrit l’utilitaire de ligne de commande qui vous permet d’exécuter le moteur de déploiement de Analysis Services.
Aide (F1) sur Analysis Services (SSAS) Fournit des informations détaillées sur chaque page et boîte de dialogue de Analysis Services.
Référence MDX (Multidimensional Expressions) Fournit des informations détaillées sur MDX, le langage de script utilisé pour définir, gérer et extraire les données des objets multidimensionnels dans Analysis Services.
Guide de référence du langage DMX (Data Mining Extensions) Fournit des informations détaillées sur DMX, le langage de script utilisé pour créer et utiliser des modèles d’exploration de données dans Analysis Services.
Analysis Services Data Access Interfaces (SSAS) Décrit les différentes technologies utilisées pour accéder aux données et aux métadonnées stockées dans une instance de Analysis Services.
Analysis Services Administration Programming (SSAS) Décrit les différentes technologies utilisées pour réaliser des tâches administratives dans une instance de Analysis Services.
Didacticiels sur les services d’analyse Fournit une série de leçons qui vous expliquent, pas à pas, comment créer un projet Analysis Services, définir différents objets de Analysis Services, traiter le projet et finalement le déployer.
Didacticiels sur l’exploration de données Fournit une série de leçons qui vous expliquent, pas à pas, comment créer une solution d’exploration de données et développer trois modèles différents d’exploration de données.

  Les améliorations :

Microsoft SQL Server 2005 Analysis Services (SSAS) fournit une prise en charge supplémentaire pour les solutions Business Intelligence, offrant ainsi une évolutivité, une disponibilité et une sécurité accrues à ces solutions, tout en facilitant leur création, leur déploiement et leur gestion. De nombreuses fonctionnalités nouvelles, mais aussi des fonctionnalités améliorées, ont été ajoutées à Analysis Services.

Le tableau suivant décrit les rubriques de cette section.

Rubrique Description
Améliorations apportées au niveau de la pratique utilisateur (SSAS) Décrit les nouveaux environnements de développement et d’administration pour Analysis Services.
Améliorations du serveur (SSAS) Décrit en détail les améliorations et les nouvelles fonctionnalités ajoutées au service Analysis Services, parmi lesquelles la création de scripts, l’instanciation multiple et la prise en charge de sessions.
Améliorations apportées aux cubes (Analysis Services) Fournit des informations sur les améliorations et les nouvelles fonctionnalités ajoutées pour les cubes dans Analysis Services, telles que les indicateurs de performances clé, les perspectives et la prise en charge de plusieurs tables de faits.
Améliorations apportées (Analysis Services) Décrit les nouvelles fonctionnalités et les améliorations apportées aux dimensions dans Analysis Services, parmi lesquelles une structure d’attributs et la prise en charge de dimensions plusieurs-à-plusieurs et de dimensions de référence.
Améliorations apportées à l’exploration de données (SSAS) Décrit les nouvelles fonctionnalités et les améliorations apportées à l’exploration de données dans Analysis Services, y compris les nouveaux algorithmes, la prise en charge du modèle d’exploration amélioré et la visualisation.
Améliorations apportées au développement (SSAS) Décrit les nouveaux modèles d’objet, l’intégration de Microsoft .NET Framework et la prise en charge améliorée du développement que propose Analysis Services.
Améliorations de la gestion (SSAS) Décrit les nouvelles fonctionnalités et les améliorations apportées à l’administration dans Analysis Services telles que le déploiement et l’intégration de Générateur de profils SQL Server

Publié dans | 1 Commentaire »

 

Mémoire Professionnel : L'a... |
nxtisi |
Cours informatique PC |
Unblog.fr | Créer un blog | Annuaire | Signaler un abus | Affichage exterieur
| club informatique Gessien
| Les Hackers de Sherwood !*!*!