Google BigQuery

En alternative à Elasticsearch, Cyberwatch supporte l’export de données vers Google BigQuery. Les données BigQuery peuvent ensuite être réutilisées par différentes solutions de visualisation de données. Les tables exportées ont le même nom et les mêmes données que les index Elasticsearch exportés par Cyberwatch.

Configurer l’environnement Google Cloud Platform

Tout d’abord, il faut créer un ensemble de données destiné à recevoir les données Cyberwatch :

  1. Aller sur la console Google Cloud Platform.
  2. Sélectionner le projet auquel sera associé les données Cyberwatch.
  3. Aller dans l’Espace de travail SQL du produit BigQuery.
  4. Dans l’Explorateur, cliquer sur les 3 points à droite du projet, et cliquer sur « Créer un ensemble de données ».
  5. Compléter le formulaire, et noter l’ID de l’ensemble de données.

Vous devez ensuite avoir un compte de service pour Cyberwatch et lui attribuer à minima les rôles suivants :

  • Éditeur de données BigQuery,
  • Utilisateur de tâche BigQuery.

Cette attribution peut être effectuée à la création du compte, ou bien à posteriori depuis le produit IAM et administration, menu IAM.

Si un compte de service pour Cyberwatch n’existe pas déjà :

  1. Aller dans le menu Comptes de service du produit IAM et administration.
  2. Créer un compte de service avec les rôles décrits ci-dessus.
  3. Ajouté une clé d’API JSON au compte et l’enregistrer.
  4. Dans Cyberwatch, aller dans le menu Réglages > Identifiants enregistrés.
  5. Cliquer sur Ajouter, puis sélectionner le type Google Cloud Platform.
  6. Coller le contenu du fichier JSON, et sauvegarder.

Configurer Cyberwatch pour exporter dans BigQuery

  1. Aller dans la section Administration, menu Configurations, sous-menu Google BigQuery.
  2. Compléter le formulaire avec la clé du compte de service GCP, l’identifiant du projet, et l’identifiant de l’ensemble de données précédemment créés.

À l’enregistrement de la configuration, l’export de données sera immédiatement déclenché. L’export peut prendre quelques dizaines de minutes, selon la quantité de données à exporter.

Tant qu’une configuration est présente, l’export se déclenchera quotidiennement. Pour désactiver l’export BigQuery, cliquer sur le bouton Supprimer de la page de configuration.

Retour en haut