Analyser gratuitement les logs de votre site avec Power BI

Si vous êtes dans le monde du webmarketing, et plus particulièrement dans le monde du SEO, vous savez que l’analyse des logs de votre site web peut très vite se rendre intéressant. Dans cet article, nous allons voir comment rapidement et simplement, nous allons pouvoir mettre en scène les logs, l’outil Power BI. Et sans dépenser un seul centime. 

Rappel sur les logs serveur

Un log serveur, c’est tout simplement un enregistrement d’une visite sur votre site. Cela est valable pour un simple visiteur (comme vous ou moi), ou un robot/crawler (Google, Yahoo, Majestic, etc…).

Dans chaque enregistrement, vous y retrouvez les informations suivantes:

  • la date et l’heure de la tentative d’accès,
  • l’adresse IP du client,
  • l’URL visitée,
  • le système d’exploitation utilisé,
  • le navigateur,
  • la réponse du serveur à cette requête (200, 3XX, 4XX etc…)
  • Et bien plus encore…

Ces « traces » sont enregistrées dans un fichier log, sur votre serveur. Aujourd’hui presque tous vos hébergeurs vous permettent d’y accéder. C’est donc le moyen idéal pour comprendre :

  • les pages visitées par des robots comme Google,
  • leurs pages les plus visitées,
  • leurs fréquences de passages,
  • découvrir des pages qui seraient en erreur (404).
  • Etc…

Analyse d’un exemple de log

Voici un simple enregistrement proposé :

crawl-66-249-66-204.googlebot.com – – [09/Oct/2016:04:40:22 +0100] « GET /blog/not-provided-solution-intellitraffic-launch/ HTTP/1.1 » 200 10406 « – » « Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html) » 5s 5645981us

Traduction :

  • la date et l’heure de la tentative d’accès : 09/Oct/2016:04:40:22 +0100
  • l’adresse IP du client : elle n’est pas vraiment indiquée. Mais on peut voir que c’est le robot de Google qui est passé sur votre site (Googlebot/2.1).
  • l’URL visitée : /blog/not-provided-solution-intellitraffic-launch
  • le navigateur : Mozilla/5.0
  • la réponse du serveur à cette requête : 200

Lors de l’analyse des logs, on se retrouve, généralement, confronté à deux problèmes majeurs.

  • La quantité des données à gérer. Des fichiers logs faisant plusieurs Giga-octets sur une simple période de 30 jours, on peut se retrouver avec des millions de lignes à analyser.
  • Il faut retravailler les données brutes. En effet, comme vous l’avez vu plus haut, vos serveurs ne vous donneront que de la data non « nettoyée ».

Des logiciels d’analyse de logs spécialisées existent. Comme Botify ou Oncrawl pour ne citer qu’eux. Mais comme toutes bonnes solutions efficaces, elles ont un coût. Voyons comment avec Power BI, on peut déjà gratuitement et simplement faire une première analyse.

Analyser vos logs avec PowerBI

Je ne vais pas vous expliquer comment extraire les logs de vos serveurs. Vous trouverez sur la toile de très bons articles à ce sujet. Il y a ensuite deux méthodes pour intégrer la donnée dans Power BI.

Soit on créé un petit script qui va lire le fichier, ne prendre que les informations pertinentes, et les mettre ensuite dans une base de données. On connectera finalement la base de données à Power BI.

Soit on connecte directement le fichier à Power Bi. Puis on le « nettoie » directement dans l’éditeur de requêtes.

Personnellement, je suis parti dans la première solution (via un script PHP et une base MySQL) car cela me permettra plus facilement de rajouter d’autres fichiers logs à analyser. Mais pour des raisons de simplicité, je vais rapidement vous montrer comment les intégrer avec la deuxième solution.

Intégration de la donnée

Premièrement, il vous faudra choisir comme type de données « texte ».

source de données power bi texte

L’aperçu proposé permet déjà de faire un premier gros nettoyage. J’ai décidé de segmenter dès qu’un espace se trouve à chaque ligne.

fractionner données power bi

Nettoyage de la donnée

Une fois les données importées, nous utilisons ensuite la fonctionnalité « Fractionner la colonne ». Dans l’exemple ci-dessous, j’ai pris la colonne date, et j’ai supprimé le « [ » au début de la colonne.

Screen Shot 2016-11-04 at 19.25.32

Screen Shot 2016-11-04 at 19.26.39 fractionner analyse de logs power bi

La logique étant comprise, à vous de faire la même chose pour toutes les autres colonnes. Et pour ne garder que la donnée que souhaitez exploiter.

Exemple de dashboard Power BI

Voici un premier jet sur les 15 premiers jours d’octobre. Penser à bien naviguer entre les onglets/pages. Pensez aussi à vous mettre en plein écran.

Ce n’est qu’un simple exemple de dashboard Power BI. L’ideal est ensuite de coupler avec des données de crawl et avec les données Google Analytics par exemple (visites, revenu etc…).

A vous de jouer !

Pour aller plus loin:

Passionné, curieux et toujours ouvert aux nouvelles technologies web, je passe mon temps entre ma famille & le monde du web. N’hésitez pas à me contacter pour échanger et partager

Une réponse sur “Analyser gratuitement les logs de votre site avec Power BI”

Laisser un commentaire