CDC : Change Data Capture – SQL Server 2008

Posté par wissemhabboub le 22 mai 2012

Change Data Capture (CDC) est une nouvelle fonctionnalité intégrée à SQL Server 2008 et qui permet de détecter et récupérer les changements effectués sur une base de données. Cette fonction, en la combinant avec proactive-caching et les nouveautés Datawarehousing de SQL Server 2008, ouvre les portes à une BI en temps réel avec synchronisation des changements à partir des bases opérationnelles vers le datawarehouse.

Comment CDC fonctionne ?

On peut activer CDC pour récupérer les changements effectués sur une table donnée dans une table spécifique qui contient le type de changement (insertion, modification ou suppression) et le changement réellement effectué (l’enregistrement et les colonnes modifiées).

Activer CDC :

Avant d’activer CDC sur une table, il faudra activer CDC pour  la base de données :

USE AdventureWorks

GO

EXECUTE sys.sp_cdc_enable_db_change_data_capture;

GO

Voici un exemple d’un script permettant l’activation du CDC sur la table SalesPerson de AdventureWorks

USE AdventureWorks

EXEC sys.sp_cdc_enable_table_change_data_capture

      @source_schema = ‘Sales’,

      @source_name = ‘SalesPerson’,

      @supports_net_changes = 1,

      @role_name = NULL

Dés que ce script est exécuté une table sera automatiquement crée dans le schéma CDC, dans notre cas cdc.Sales_Salespeople_CT cette table en plus des colonnes de la table SalesPerson elle contient un ensemble d’autre colonnes identifiant et décrivant le changement. Des fonctions sont aussi ajouté pour permettre de requêter la table des changements cdc.Sales_Salespeople_CT.

Vous pouvez après faire une simulation en faisant des insertions/modification/suppression et voir les effets  que vos modifications auront sur la table cdc.Sales_Salespeople_CT :

INSERT INTO [AdventureWorks].[Sales].[SalesPerson]

        ([SalesPersonID],[TerritoryID],[SalesQuota],[Bonus],[CommissionPct],[SalesYTD])

     VALUES(1,9,250000,5650,0.01,225000)

GO

UPDATE [AdventureWorks].[Sales].[SalesPerson]

   SET [TerritoryID] = 10

 WHERE [SalesPersonID]=290

GO

DELETE FROM [AdventureWorks].[Sales].[SalesPerson]

WHERE [SalesPersonID]=1

GO

Notter qu’on a insérer puis supprimer l’enregistrement (1,9,250000,5650,0.01,225000).

Comment récupérer les changements ?

On peut récupérer les changement tout simplement avec une requette Select sur la table cdc.Sales_Salespeople_CT ou en utilisant les fonctions crées.

Exemple :

DECLARE @from_lsn binary(10);

DECLARE @to_lsn Binary(10);

SELECT @from_lsn = sys.fn_cdc_map_time_to_lsn(‘smallest greater than or equal’, ’03-01-2008′);

SELECT @to_lsn = sys.fn_cdc_map_time_to_lsn(‘largest less than or equal’, ’03-12-2008′);

SELECT * FROM cdc.fn_cdc_get_all_changes_Sales_SalesPerson

((SELECT MIN(HRCDC.__$start_lsn) from cdc.Sales_SalesPerson_CT HRCDC WHERE __$start_lsn>=@from_lsn ),

 (SELECT MAX(HRCDC.__$start_lsn) from cdc.Sales_SalesPerson_CT HRCDC WHERE __$start_lsn

Ce script récupère les changement effectués sur notre table du 01 au 12 mars 2008. La fonction fn_cdc_get_all_changes_…. permet de récupérer l’ensemble des modifications effectuées, dans notre exemple les trois opérations qu’on effectués sur la table SalesPerson.

Par contre fn_cdc_get_net_changes_….permet de récupérer les changement nettes (effectives). Dans notre exemple le changement effective est une seule modification car on a insérer puis supprimer l’enregistrement dont le SalesPersonID=1.

http://channel9.msdn.com/posts/ashishjaiman/CDC-Change-Data-Capture-SQL-Server-2008/

Publié dans SQL 2008 | 3 Commentaires »

Les neuf algorithmes datamining existant dans SQL server

Posté par wissemhabboub le 2 janvier 2012

SQL Server Analysis services comprend neuf algorithmes. En outre, SSIS comprend deux transformations de text mining. la liste ci-dessous résument les algorithmes SSAS neuf et leur usage commun.

Arbres de décision : est l’algorithme de DM le plus populaire, il est utilisé pour prédire les variables discrètes et continues. Les résultats sont très faciles à comprendre, c’est la principale raison qui rend l’algorithme si populaire. Si vous souhaitez prédire des variables continues, vous obtenez des de morceaux formule de régression linéaire multiple avec une formule distincte dans chaque nœud d’arbre. L’algorithme utilise les variables d’entrée discrètes pour décomposer l’arbre en nœuds. Un arbre qui prédit les variables continues est un arbre de régression.

Régression linéaire : La Régression linéaire prédit des variables continues seulement, à l’aide d’une seule formule de régression linéaire multiple. Ainsi, les variables d’entrée doivent être continues. La Régression linéaire est un cas simple d’un arbre de régression, mais c’est un arbre sans  fractionnements.

Naive Bayes : Compte tenu de chaque État de l’attribut prévisible, l’algorithme Naive Bayes calcule les probabilités pour chaque État possible de l’attribut d’entrée. Vous pouvez par la suite utiliser ces probabilités pour prédire l’issue de l’attribut cible que vous prédisent basé sur les attributs d’entrée connus. Parce que cet algorithme est assez simple, il construit des modèles très rapidement. Par conséquent, vous pouvez utiliser cet algorithme comme point de départ dans votre tâche de prédiction. L’algorithme Naive Bayes ne supporte pas les attributs continus.

Réseau de neurone: L’algorithme Neural Network vient de l’intelligence artificielle. Vous pouvez utiliser cet algorithme pour les prédictions ainsi. Les Réseaux de neurone recherche des dépendances fonctionnels non linéaires. Ils effectuent des transformations non linéaires sur les données dans les couches, provenant de la couche d’entrée grâce à des couches cachées vers la couche de sortie. Parce qu’ils sont difficiles à interpréter que les algorithmes linéaires comme les arbres de décision, les réseaux de neurone ne sont pas utilisés habituellement en affaires comme le sont les algorithmes linéaires.

Régression logistique : Comme une régression linéaire qui est un arbre de régression simple, une régression logistique est un réseau de neurone sans les couches cachées.

Clustering : L’algorithme de Clustering regroupe des cas un DataSet en groupes contenant des caractéristiques similaires. En utilisant ces groupes, vous pouvez explorer les données et en apprendre davantage sur les relations entre vos cas. En outre, vous pouvez créer des prédictions du modèle clustering créé par l’algorithme. Vous pouvez utiliser la méthode de Clustering pour vos clients de groupe pour votre application de gestion de la relation client (CRM), par exemple. En outre, vous pouvez utiliser Clustering pour rechercher des anomalies dans vos données. Un cas qui n’est pas partie d’un cluster est un cas qui mérite davantage d’inspection. Ceci est utile pour la détection de la fraude ; une opération qui ne correspond pas à un cluster découvert pourrait être une transaction frauduleuse.

Sequence Clustering : L’algorithme Sequence Clustering recherche des groupes basés sur un modèle, plutôt que sur la similitude des cas. Il construit des modèles à partir de séquences d’événements à l’aide de chaînes de Markov. Vous pouvez utiliser cet algorithme séquentiel de données. Utilisation typique serait une analyse de l’utilisation de site Web. de votre société

Règles d’association : L’algorithme de règles d’Association est conçu pour l’analyse de panier.L’algorithme définit un jeu d’éléments comme la combinaison d’éléments dans une seule opération. L’algorithme scanne le dataset et compte le nombre de fois où les Jeux d’éléments apparaît dans les transactions. Vous devez utiliser cet algorithme pour détecter les opportunités de vente croisée.

Séries chronologiques : L’algorithme de séries chronologiques est créé pour la prévision des variables continues. En interne, l’algorithme utilise les arbres régression sur les données transformées automatiquement ; Il est aussi appelé Auto-régression arbres (ART).

Publié dans Analysis Services, SQL 2008 | 2 Commentaires »

Microsoft est Numéro 1 sur le Gartner 2011- BI platform

Posté par wissemhabboub le 22 mars 2011

Microsoft a été classé Numéro 1 sur les plateformes BI devancant oracle, microstrategy et IBM. La plateforme Microsoft composée de SQL Server 2008 R2 et SHarePoint 2010 avec PowerPivot représente selon le Gartner une offre classé numéro 1 en terme d’abilité à l’exécution, point fort de Microsoft avec une mise en place plus rapide de plateforme décisionnel, et numéro 2 après IBM en terme de complétude de la vision de son offre.

L’équipe BI de Microsoft s’est félicitée de cette reconnaissance que représente cette étude  : « nous sommes heureux de voir ce type de reconnaissance de notre approche et des forces de nos technologies par Gartner ».

Microsoft est Numéro 1 sur le Gartner 2011- BI platform dans Marché BI Blog-Gartner-2011

Publié dans Marché BI, PerformancePoint, SQL 2008 | Pas de Commentaire »

SQL Server 2008 R2 Feature Pack

Posté par wissemhabboub le 25 mai 2010

Microsoft SQL Server 2008 R2 Feature Pack est une collection de packages autonomes qui apportent une valeur ajoutée à SQL Server 2008 R2. Il comprend les dernières versions de :

- Composants redistribuables pour MS SQL Server R2 

- Add-on pour les providers de Microsoft SQL Server 2008 R2.

Liste des composants du Feature Pack:

Microsoft® SQL Server Report Builder 3.0 pour Microsoft® SQL Server 2008 R2 

Site de téléchargement 

 

Microsoft® SQL Server® PowerPivot pour Microsoft® Excel 

Télécharger PowerPivot 

Complément Microsoft® SQL Server® 2008 R2 Reporting Services pour Microsoft® SharePoint® Technologies 2010

 Site de téléchargement 

Complément Microsoft® SQL Server® 2008 Reporting Services pour Microsoft® SharePoint® Technologies 2007

 Site de téléchargement 

Stratégies Microsoft® SQL Server® 2008 R2

 Package (SQLServerBestPracticesPolicies.msi) -1 291 Ko 

 

Kit de développement logiciel (SDK) Microsoft® Sync Framework 2.0

 Site de téléchargement 

Microsoft® SQL Server® Compact 3.5 SP2

 Site de téléchargement 

Microsoft® SQL Server® Compact 3.5 SP2 pour Windows Mobile

Site de téléchargement 

Outils serveur Microsoft® SQL Server ®Compact 3.5 SP2 

Site de téléchargement 

 

Documentation en ligne de Microsoft® SQL Server® Compact 3.5 SP2

Site de téléchargement 

Microsoft® SQL Server® JDBC Driver 3.0

Site de téléchargement 

Microsoft® Connect 1.1 pour SAP BW pour SQL Server® 2008 R2 

Package X86(SapBI.msi) – 33 301 Ko
Package X64 (SAPBI.msi) – 3 421 Ko
Package IA64(SAPBI.msi) – 5 315 Ko 

Types CLR du système Microsoft® pour SQL Server® 2008 R2 

Package X86(SQLSysClrTypes.msi) – 33 301 Ko
Package X64 (SQLSysClrTypes.msi) – 3 421 Ko
Package IA64(SQLSysClrTypes.msi) – 5 315 Ko

Page de la documentation en ligne de Types CLR du système SQL Server 2008 R2  

 

Magasin d’objets blob distants Microsoft® SQL Server® 2008 R2 

Package X86 (RBS.msi) – 3 636 Ko
Package X64 (RBS.msi) – 4 710 Ko
Package IA64 (RBS.msi) – 7 126 Ko

Page des exemples de code du portail CodePlex SQL RBS Blogs RBS  

Documentation en ligne de Microsoft® SQL Server® 2008 R2 

Site de téléchargement 

Conseiller de mise à niveau Microsoft® SQL Server® 2008 R2 

Package X86 (SQLUA.msi) – 3 690 Ko
Package X64 (SQLUA.msi) – 4 764 Ko
Package IA64 (SQLUA.msi) – 7 178 Ko 

Microsoft® SQL Server® 2008 R2 Native Client  Package X86 (sqlncli.msi) – 4 592 Ko
Package X64 (sqlncli.msi) – 7 941 Ko
Package IA64 (sqlncli.msi) – 11 093 Ko 

Microsoft® Core XML Services (MSXML) 6.0 SP 1 

Site de téléchargement 

 

Fournisseur Microsoft® OLEDB pour DB2 

Package (DB2OLEDB.exe) – 44 607 Ko 

 

Utilitaires de ligne de commande de Microsoft® SQL Server® 2008 R2 

Package X86(SqlCmdLnUtils.msi) – 7 076 Ko
Package X64 (SqlCmdLnUtils.msi) – 12 087 Ko
Package IA64(SqlCmdLnUtils.msi) – 16 415 Ko 

Microsoft® SQL Server® Service Broker External Activator pour SQL Server® 2008 R2 

 Package X86(SSBEAS.msi) – 2077 Ko
Package X64 (SSBEAS.msi) – 2 651 Ko
Package IA64(SSBEAS.msi) – 4 777 Ko 

Microsoft® Windows PowerShell Extensions pour SQL Server® 2008 R2

Package X86 (PowerShellTools.msi) – 1 658 Ko
Package X64 (PowerShellTools.msi) – 2 163 Ko
Package IA64 (PowerShellTools.msi) – 3 934 Ko 
 

Microsoft® SQL Server® 2008 R2 Shared Management Objects 

Package X86 (SharedManagementObjects.msi) – 10 566 Ko
Package X64 (SharedManagementObjects.msi) – 15 880 Ko
Package IA64 (SharedManagementObjects.msi) – 20 518 Ko 

Microsoft® SQL Server® 2008 R2 ADOMD.NET 

Package X86(SQLSERVER2008_ASADOMD10.msi) – 4 476 Ko
Package X64 (SQLSERVER2008_ASADOMD10.msi) – 6 966 Ko
Package IA64(SQLSERVER2008_ASADOMD10.msi) – 9 478 Ko 

Fournisseur OLE DB pour Microsoft® Analysis Services pour Microsoft® SQL Server 2008 R2 

Package X86(SQLServer2008_ASOLEDB10.msi) – 21 890 Ko
Package X64 (SQLServer2008_ASOLEDB10.msi) – 50 629 Ko
Package IA64(SQLServer2008_ASOLEDB10.msi) – 576 873 Ko 

Microsoft® SQL Server® 2008 R2 Analysis Management Objects 

Package X86(SQLSERVER2008_ASAMO10.msi) – 2841 Ko
Package X64 (SQLSERVER2008_ASAMO10.msi) – 4 529 Ko
Package IA64(SQLSERVER2008_ASAMO10.msi) – 6 300 Ko 

Compléments d’exploration de données Microsoft® SQL Server® 2008 pour Microsoft® Office 2007 

Site de téléchargement 

Microsoft® Datamining Viewer Controls pour Microsoft® SQL Server® 2008

 Package X86(SQLSERVER2008_ DMViewer.msi) – 9 385 Ko 

Pilote Microsoft® SQL Server® pour PHP 1.1 

 Site de téléchargement 

Conseiller de migration Microsoft® SQL Server® 

SQL Server Migration Assistant (SQL Server 2005) pour MySQL v1.0 CTP1
SQL Server Migration Assistant (SQL Server 2008) pour MySQL v1.0 CTP1
SQL Server Migration Assistant (SQL Server 2005) pour Access v4.0
SQL Server Migration Assistant (SQL Server 2008) pour Access v4.0
SQL Server Migration Assistant (SQL Server 2005) pour Oracle v4.0
SQL Server Migration Assistant (SQL Server 2008) pour Oracle v4.0
SQL Server Migration Assistant (SQL Server 2005) pour Sybase ASE v4.0
SQL Server Migration Assistant (SQL Server 2008) pour Sybase ASE v4.0
SQL Server Migration Assistant (SQL Server 2008) pour Sybase PowerBuilder Applications v1.0 

Microsoft® SQL Server® 2008 R2 Best Practices Analyzer 

Site de téléchargement

 

Publié dans SQL 2008 | Pas de Commentaire »

SQL Server 2008 R2 est RTM

Posté par wissemhabboub le 24 avril 2010

Enfin SQL server 2008 R2 est mis sur le marché ….

Parmi les nouveautés de la R2 :

  • Report Builder 3.0 avec beaucoup de nouveautés graphiques et possibilités de visualisation géospatiale.
  • Centraliser et facliliter la gestion multi-instance.
  • SQL Server R2 Master Data Management
  • Parallal Datawarehousing
  • Dashboard viewpoints pour un aperçu rapide sur l’utilisation des instances et des applications.
  • Le moteur de la technologie StreamInsight : Moteur d’analyse d’évenement et de flux.
  • ………

Télécharger la version d’évaluation de SQL Server 2008 R2 sur technet :

http://technet.microsoft.com/fr-fr/sqlserver/ee315247(en-us).aspx 

Pour plus de ressources sur SQL server R2 :

http://www.microsoft.com/sqlserver/tour/en/default.aspx 

Publié dans SQL 2008 | Pas de Commentaire »

Data management avec SQL server 2008 Integration services

Posté par wissemhabboub le 22 octobre 2009

Cette vidéo décrit brièvement les avantages de l’utilisation de SQL Server 2008 Integration servcies pour Gérer le patrimoine informationnel de l’entreprise (Data Management)

Image de prévisualisation YouTube

 

Publié dans BI Theorie, Integration Services, SQL 2008 | 1 Commentaire »

Architecture de l’Offre BI Microsoft

Posté par wissemhabboub le 15 septembre 2009

Cette vidéo de 3 minutes décrit rapidement l’architecture de l’offre BI microsoft et ITAlgeria.

Image de prévisualisation YouTube

Publié dans BI Theorie, SQL 2008 | Pas de Commentaire »

SQL Server 2008 Service pack 1 est disponible

Posté par wissemhabboub le 9 avril 2009

depuis deux jours, SQL server service pack1 est diponible pour téléchargement, des améliorations ont été apportées pour donner plus de possibilités à la gestion des services pack SQL server,  vous pouvez maintenant désinstaller le service pack  et revenir vers votre première instance.

beaucoup de corrections ont été apportés à différents niveaux : RDBMS, SSIS, SSAS, SSRS.

le Lien pour télécharger le service pack1 de SQL server 2008:

http://www.microsoft.com/downloads/details.aspx?displaylang=fr&FamilyID=66ab3dbb-bf3e-4f46-9559-ccc6a4f9dc19 

le lien vers la note de publication contenant la procédure d’installation et la liste des correctifs intégrés au service pack 1 :

http://download.microsoft.com/download/5/5/8/55820375-92D3-4C8C-82F0-9B6750F1CC3B/ReleaseNotes.htm 

 

Publié dans SQL 2008 | 3 Commentaires »

SQL Server 2008 RTM disponible pour télechargement

Posté par wissemhabboub le 8 octobre 2008

La version complète de SQL server 2008 est disponible pour téléchargement en version française (évaluation 180 jours) sur le lien suivant: 

http://technet.microsoft.com/fr-fr/bb851668.aspx  

Avant d’installer jetez un coup d’œil sur la note de publication  qui décrit les problèmes connus que vous devez examiner avant d’installer SQL Server 2008: 

http://download.microsoft.com/download/d/0/c/d0c82291-f680-443f-8197-7c5fe4cdfd25/ReleaseNotesSQLServer2008_FRA.htm  

 

Publié dans SQL 2008 | Pas de Commentaire »

Data Profiling avec SQL Server 2008 Integration services

Posté par wissemhabboub le 12 juillet 2008

Un nouveau composant a été ajouté à la barre d’outils SSIS qui permet d’auditer les données (Data Profilling) d’une table/requêtte ce qui offre aux développeurs la possibilité de connaitre mieux et de comprendre très rapidement ces données.

DataProfilling ToolBar

Le composant nous permet d’avoir pour chaque colonne : la distribution des valeurs, le pourcentage des nulls, divers statistiques (min, max, moyenne,…), retrouver les colonnes clés candidates, …. Ect.

On fourni au composant la connexion à notre base de données et la table/vue à auditer, et on configure quels sont les types d’audit désirés. Le résultat de l’audit est un fichier xml qui peut être visualisé  via le DataProfile Viewer.

DataProfilling Configuration

Voici quelques prises d’écran sur quelque type d’audit de données :

 DataProfilling 1

Distribution de taille de la colonne (43% des valeurs de la colonne Education ont la taille de 15 caractères).

DataProfilling 2

Modèles (pattern) retrouvés (Partial college représente 27% des valeurs de la colonne Education)

Publié dans SQL 2008 | Pas de Commentaire »

12
 

Mémoire Professionnel : L'a... |
nxtisi |
Cours informatique PC |
Unblog.fr | Créer un blog | Annuaire | Signaler un abus | Affichage exterieur
| club informatique Gessien
| Les Hackers de Sherwood !*!*!