
Intégration et qualité des données
Pagination et synchronisation : importer un catalogue sans perdre des fiches
La première page d’une API n’est pas le catalogue. Construisez une importation qui reprend après interruption, distingue les suppressions des absences temporaires et conserve la provenance de chaque champ.
Lire le contrat de pagination avant de compter
Mews décrit une pagination par curseur. Demand utilise différents modes suivant les endpoints, notamment des jetons et des mises à jour incrémentales. Ces contrats impliquent des stratégies de reprise différentes. Une liste de vingt résultats ne peut pas être présentée comme exhaustive sans atteindre le signal de fin documenté.
Relevez ordre, taille maximale, curseur suivant, expiration et règles de modification pendant la lecture. Ne déduisez pas la fin d’un catalogue du seul fait qu’une page est moins remplie, sauf si la documentation le garantit.
Enregistrer un point de reprise après validation
Stockez l’identité de l’import, la page ou le curseur traité et la date de dernière validation. Avancez le point de reprise seulement après écriture cohérente des données. Une interruption entre téléchargement et écriture doit permettre de rejouer la page sans créer de doublons.
Associez chaque entrée à l’identifiant du fournisseur et au système d’origine. Un changement de nom ne doit pas créer un nouvel établissement si l’identité est conservée ; deux sources partageant un nom ne doivent pas être fusionnées automatiquement.
Traiter les modifications et suppressions explicitement
Une importation incrémentale doit préciser le champ qui représente une modification, son fuseau et sa précision. Utilisez une fenêtre de recouvrement adaptée au contrat pour rattraper les enregistrements à la frontière, puis dédupliquez. Conservez les versions utiles plutôt que d’écraser la preuve de provenance.
Une absence dans une page n’est pas une suppression. Traitez les marqueurs de retrait prévus par le fournisseur ou rapprochez un instantané complet validé. Lorsqu’un import est incomplet, gardez les fiches existantes et signalez l’incertitude.
Rapprocher le résultat et la couverture attendue
| Mesure | Interprétation |
|---|---|
| Pages terminées | Le signal de fin a été atteint. |
| Identifiants distincts | Les relectures ne gonflent pas le corpus. |
| Entrées rejetées | Le motif et l’action de reprise sont connus. |
| Suppressions | Une preuve distincte de l’absence temporaire existe. |
Un total stable peut cacher des remplacements ou pertes compensées par des doublons. Comparez les identités, les catégories et les champs obligatoires, puis examinez les variations inhabituelles.
Tester arrêt, expiration et relecture
- Interrompre un import entre deux pages dans un environnement de test.
- Reprendre à partir du point enregistré sans doublon.
- Simuler l’expiration d’un curseur et utiliser la reprise prévue.
- Relire une page puis modifier une entrée à la frontière.
- Retirer une fiche avec le mécanisme documenté et vérifier les liens internes.
L’exercice doit conserver les anciennes données jusqu’à validation du nouvel état. Les résultats rejetés doivent rester comptables dans le rapport.
Publier la fraîcheur réelle des données
Distinguez date de collecte, date producteur, dernière modification et dernière lecture documentaire. Un import effectué aujourd’hui peut contenir une description ancienne. Pour chaque champ important, notez source, transformation et règle de priorité si plusieurs fournisseurs divergent.
Le registre de contenus doit expliquer les données manquantes et les corrections manuelles. Dans une API ou un export, utilisez une valeur inconnue explicite plutôt que zéro, une chaîne inventée ou une date artificiellement récente.
Une absence n’est pas toujours une suppression
Un flux différentiel peut omettre un élément parce qu’il n’a pas changé ; un import interrompu peut manquer la page qui le contient. Ne retirez une fiche qu’à partir d’un signal de suppression documenté ou d’un contrôle d’exhaustivité du jeu complet. Notez pour chaque collecte si elle est complète, partielle ou différentielle.
Préservez le dernier état exploitable pendant une collecte incomplète et isolez les nouveaux résultats jusqu’à validation des relations. Une suppression confirmée peut laisser une trace minimale de l’identifiant et de la date de retrait : elle permet d’empêcher une ancienne mise à jour de ressusciter la fiche. Décidez séparément du sort des réservations et liens existants qui pointaient vers cette entrée.
Testez une interruption avant la dernière page, un élément supprimé puis un événement ancien reçu en retard. Le résultat attendu doit distinguer contenu retiré, contenu conservé en attente et donnée réellement réapparue sur une source actuelle. Le total de lignes seul ne prouve pas que les bonnes fiches ont été importées.
Identifier le périmètre de chaque page
Scénario fictif : Un import change de langue au milieu du catalogue. Rapprochez les validateurs des représentations correspondantes et rejouez les pages du périmètre convenu.
| Point | Preuve | Contrôle proposé |
|---|---|---|
| Contrat à conserver | Langue, filtre et page | Faire préciser ce qui est fourni et ce que le traitement peut conclure. |
| Résultat à rapprocher | Liste finale et représentation de référence | Comparer le résultat effectivement observé à celui attendu pour ce cas. |
| Décision de reprise | Une étiquette ne prouve pas la complétude de tout le catalogue. | Attribuer la suite et garder l’inconnue visible tant que la preuve manque. |
Une étiquette ne prouve pas la complétude de tout le catalogue.
Cadre documentaire : IETF HTTP Working Group : RFC 9110, HTTP Semantics — référence consultée le . Sémantique HTTP documentée ; présence des ETag et prise en charge de ces conditions à confirmer pour chaque endpoint.
Rapprocher ce sujet du dossier suivant
Une synchronisation peut produire un fichier complet ou un delta dont l’intégrité doit être contrôlée avant application. Conservez version de base, périmètre et preuve du transfert. Un objet intact mais rattaché au mauvais catalogue ne doit pas devenir une mise à jour autorisée.
Intégrité des fichiers : contrôler la livraison d’un catalogue · Vérifier les preuves de ce dossier
Cas à rapprocher : Archives de catalogue : contrôler le contenu extrait et ses limites
Une synchronisation par paquet demande de rapprocher structure extraite, version de base et limites du traitement. Une archive complète peut viser le mauvais catalogue ou contenir une table manquante pour le delta. Conservez la décision avant toute application partielle.
Archives de catalogue : contrôler le contenu extrait et ses limites · Vérifier les preuves de ce dossier
Mews : fenêtres de synchronisation et références de canal
La version d’opération 2023-06-06 sépare les identifiants de réservation des références reçues d’un canal OTA, GDS ou CRS.
| Point documenté | Ce que la source précise | Conséquence pour votre contrôle |
|---|---|---|
| ReservationIds | Le filtre accepte au maximum 1 000 identifiants de réservation. | Fractionner une reprise de références sans tronquer silencieusement la liste. |
| ChannelNumbers | Les références de canal ont leur propre filtre, limité à 100 éléments. | Conserver le type de référence ; une chaîne OTA n’est pas automatiquement l’Id Mews. |
| CreatedUtc et UpdatedUtc | Les intervalles de ces filtres sont limités à trois mois. | Découper un historique plus long et suivre les bornes réellement traitées. |
| Accès | Les réservations retournées sont limitées au périmètre de l’AccessToken. | Un résultat vide ne démontre pas l’absence de réservation dans les établissements hors périmètre. |
| Version de l’opération | ChannelNumbers accepte 1 000 éléments dans la version 2017-04-12, contre 100 dans la version 2023-06-06. | Conserver le chemin versionné avec la limite avant de construire les lots. |
Limites propres à cette opération documentée ; elles ne décrivent pas toutes les API Mews ni les droits d’un contrat particulier.
Mews Connector API — reservations/getAll/2023-06-06 · consultée le . Les contrôles proposés sont une lecture éditoriale de cette référence.
Hostaway : lire le compteur atteint, pas seulement le code 429
Une limite peut dépendre du compte, de l’adresse IP ou de l’opération. Une seule cadence globale ne décrit donc pas tous les traitements Hostaway.
| Point documenté | Ce que la source précise | Conséquence pour votre contrôle |
|---|---|---|
| Limites générales | Pour les autres endpoints du tableau, Hostaway indique 200 requêtes par dix secondes, par compte et par adresse IP. | Des comptes distincts derrière une même IP peuvent partager cette contrainte ; répartir les comptes ne suffit pas à écarter le compteur IP. |
| Envoi de message | POST /v1/conversations/{id}/messages possède un compteur distinct de 30 requêtes par minute et par compte. | Séparez la file des messages des lectures de réservation ; ne lui appliquez pas le budget général par dix secondes. |
| Fenêtre glissante | Les compteurs portent sur les dix dernières secondes ou la dernière minute, sans remise à zéro à une frontière d’horloge fixe. | Passer à la minute suivante n’efface pas automatiquement la charge des dernières secondes. |
| Origine du blocage | Sur une réponse 429, X-RateLimit-Applied indique notamment endpoint, account, ip ou provider. | Conservez cet en-tête pour diagnostiquer le compteur atteint, avec l’échéance documentée du prochain essai. |
Relire deux rafales fictives
Comptages simplifiés pour comprendre les limites standard ; aucun trafic n’est envoyé.
Deux comptes distincts partagent la même adresse IP
Les deux traitements appellent des endpoints relevant des limites générales.
Compte A : 150 requêtes dans les dix secondes
Compte B : 80 requêtes dans les mêmes dix secondes
Même IP : 230 requêtes au totalLecture du cas. Chaque compte reste sous 200 dans le cas fictif, mais la somme sur l’IP dépasse 200. Examinez le compteur IP plutôt que de multiplier les nouvelles tentatives depuis la même sortie réseau.
Un envoi de message utilise le budget des lectures
Un programme prévoit 40 messages dans une minute sur le même compte.
Opération : envoi de message de conversation
Demandes fictives : 40 dans une minute
Budget standard documenté : 30 par minuteLecture du cas. Le compteur des messages est distinct. Une cadence admissible pour un autre endpoint ne rend pas cette rafale admissible ; gardez les messages en file avec leur suivi propre.
Limites standard de Hostaway Public API consultées le 23 octobre 2026. D’autres opérations ont leur propre ligne de limite et des augmentations peuvent être accordées ; relisez les paramètres du compte.
Hostaway Public API — Rate limits · consultée le . Les contrôles proposés sont une lecture éditoriale de cette référence.
Sources et périmètre des faits documentés
La date de consultation figure avec chaque référence. Les méthodes d’essai et recommandations de ce guide sont éditoriales ; les conditions d’accès et d’usage se vérifient dans la documentation actuelle.
- Mews Connector : pagination : Pagination par curseur et limitation du nombre de résultats. (consultée le )
- Booking.com Demand : pagination et mises à jour : Différents modes selon les endpoints ; durée des jetons à vérifier. (consultée le )
- IETF HTTP Working Group : RFC 9110, HTTP Semantics : Sémantique HTTP documentée ; présence des ETag et prise en charge de ces conditions à confirmer pour chaque endpoint. (consultée le )
- Mews Connector API — reservations/getAll/2023-06-06 : Limites propres à cette opération documentée ; elles ne décrivent pas toutes les API Mews ni les droits d’un contrat particulier. (consultée le )
- Hostaway Public API — Rate limits : Limites standard de Hostaway Public API consultées le 23 octobre 2026. D’autres opérations ont leur propre ligne de limite et des augmentations peuvent être accordées ; relisez les paramètres du compte. (consultée le )
Questions fréquentes
Questions utiles avant de décider
Une page courte prouve-t-elle la fin ?
Seulement si le contrat de l’API le prévoit. Utilisez le signal de fin documenté.
Faut-il supprimer une fiche absente d’un import ?
Pas à partir d’un import incomplet. Cherchez un marqueur de suppression ou un instantané complet validé.
Comment éviter les doublons à la reprise ?
Écrivez par identité stable et rendez la relecture d’une page sans effet supplémentaire.
Quelle date afficher pour la fraîcheur ?
Distinguez collecte et mise à jour producteur. Une collecte récente ne rend pas le contenu récent.
Identifier le périmètre de chaque page : quelle preuve conserver ?
Conservez langue, filtre et page, liste finale et représentation de référence et la décision attribuée. Une étiquette ne prouve pas la complétude de tout le catalogue.
Simulation locale
Estimer le volume théorique d’un import
Le budget suppose des pages pleines et un débit constant. Il exclut reprises, latence, contrôles et limites propres au fournisseur.
| Résultat illustré | Exemple |
|---|---|
| Pages théoriques | 100 |
| Budget de traitement au débit saisi | 1,67 min |
Calcul : pages = plafond(enregistrements / taille) ; budget = pages / débit.
Hypothèses de l’exemple
- Enregistrements attendus : 10000
- Taille de page supposée : 100
- Appels par minute supposés : 60
Aucun accès à vos dossiers ou à un fournisseur. Les calculs restent dans cet onglet, sans envoi ni sauvegarde par ce module.





