Problème d'importation des fichiers Enedis...

[Ghizmo34]

Après un import depuis Enedis, j'ai une erreur de nombre de colonne en fin de fichier.
Si je supprime les trois dernières lignes, j'ai une autre erreur "TypeError: Cannot read properties of undefined (reading 'date')"
Que faire ?
Merci ;)

[bokub]

Salut,

Il va falloir que tu me donnes un exemple ou que tu me partages ton fichier
Les infos que tu m'as donné ne sont pas assez précises pour que je puisse en faire quelque chose

[Sylv1F]

De mon coté testé import des données disponibles depuis 08/03/2022 à ce jour, pas de probleme (@bokub top ! ).
Le fichier fait 1021ko

• Les 3 premieres lignes :
  Identifiant PRM;Type de donnees;Date de debut;Date de fin;Grandeur physique;Grandeur metier;Etape metier;Unite;Pas en minutes
  XXXXXXXXXXXX;Courbe de charge;08/03/2022;26/02/2024;Energie active;Consommation;Comptage Brut;W;
  Horodate;Valeur

• L'avant derniere ligne contient une mesure, dans mon cas : 2024-02-26T00:00:00+01:00;264

• La derniere ligne est vide

[bokub]

Oui j'ai pareil que toi @Sylv1F , si j'ouvre mon CSV avec un éditeur de texte j'ai ça et tout fonctionne bien

D'où ma demande de préciser la phrase énigmatique de @Ghizmo34

j'ai une erreur de nombre de colonne en fin de fichier.

[lildadou]

@bokub Je rencontre les même problème que @Ghizmo34 .
Le premier problème, relatif au nombre de colonne en fin de fichier, s'est résolu de mon côté en supprimant ces 3 dernières lignes (je laisse une ligne de data pour te situer):

2024-03-01T00:00:00+01:00;Arrêté quotidien;36175380;;;;;;;;;;29095364;2504020;1357047;3218949;36175380
Periode;Identifiant calendrier fournisseur;Libelle calendrier fournisseur;Identifiant classe temporelle 1;Libelle classe temporelle 1;Cadran classe temporelle 1;Identifiant classe temporelle 2;Libelle classe temporelle 2;Cadran classe temporelle 2;Identifiant classe temporelle 3;Libelle classe temporelle 3;Cadran classe temporelle 3;Identifiant classe temporelle 4;Libelle classe temporelle 4;Cadran classe temporelle 4;Identifiant classe temporelle 5;Libelle classe temporelle 5;Cadran classe temporelle 5;Identifiant classe temporelle 6;Libelle classe temporelle 6;Cadran classe temporelle 6;Identifiant classe temporelle 7;Libelle classe temporelle 7;Cadran classe temporelle 7;Identifiant classe temporelle 8;Libelle classe temporelle 8;Cadran classe temporelle 8;Identifiant classe temporelle 9;Libelle classe temporelle 9;Cadran classe temporelle 9;Identifiant classe temporelle 10;Libelle classe temporelle 10;Cadran classe temporelle 10;Identifiant calendrier distributeur;Libelle calendrier distributeur;Identifiant classe temporelle distributeur 1;Libelle classe temporelle distributeur 1;Cadran classe temporelle distributeur 1;Identifiant classe temporelle distributeur 2;Libelle classe temporelle distributeur 2;Cadran classe temporelle distributeur 2;Identifiant classe temporelle distributeur 3;Libelle classe temporelle distributeur 3;Cadran classe temporelle distributeur 3;Identifiant classe temporelle distributeur 4;Libelle classe temporelle distributeur 4;Cadran classe temporelle distributeur 4
Du 2022-03-01T00:00:00+01:00 au 2022-10-11T01:00:00+02:00;FC008124;Base;BASE;Base;EAS F1;;;EAS F2;;;EAS F3;;;EAS F4;;;EAS F5;;;EAS F6;;;EAS F7;;;EAS F8;;;EAS F9;;;EAS F10;DI000001;Sans différenciation temporelle;BASE;Base;EAS D1;;;EAS D2;;;EAS D3;;;EAS D4
Du 2022-10-11T01:00:00+02:00 au;FC000063;Base;BASE;Base;EAS F1;;;EAS F2;;;EAS F3;;;EAS F4;;;EAS F5;;;EAS F6;;;EAS F7;;;EAS F8;;;EAS F9;;;EAS F10;DI000003;Avec différenciation temporelle et saisonniäre;HCB;Heures Creuses Saison Basse;EAS D1;HPB;Heures Pleines Saison Basse;EAS D2;HCH;Heures Creuses Hiver / Saison Haute;EAS D3;HPH;Heures Pleines Hiver / Saison Haute;EAS D4

En plus de ces lignes qui cause problème, j'ai du supprimer ces 2 premières lignes du fichier CSV pour que l'import réussisse :

Identifiant PRM;Type de donnees;Date de debut;Date de fin;Grandeur physique;Grandeur metier;Etape metier;Unite
54654656898953;Index;28/02/2022;01/03/2024;Energie active;Consommation;Comptage Brut;Wh
Horodate;Type de releve;EAS F1;EAS F2;EAS F3;EAS F4;EAS F5;EAS F6;EAS F7;EAS F8;EAS F9;EAS F10;EAS D1;EAS D2;EAS D3;EAS D4;EAS T
2022-03-01T00:00:00+01:00;Arrêté quotidien;24628934;;;;;;;;;;24628934;;;;24628934

En espérant avoir pu t'éclaircir.

PS: Manifestement, des lignes sont ajoutées à la fin du fichier lorsque les données chevauchent 2 périodes temporelles où les données étaient structurées différemment. Pour que tu parviennes à reproduire, il te faudra probablement exporter un intervale qui contient la date du 2022-10-11 (ou aux alentours)

[bokub]

il te faudra probablement exporter un intervale qui contient la date du 2022-10-11

Mon compteur ne remonte pas aussi loin malheureusement

[Ju-life]

Bonjour,
De mon côté je n'ai pas réussi à importer les données... On ne peut plus faire un export de chez Enedis comme c'est indiqué dans le wiki ici. Je n'ai pu extraire que la consommation journalière et non horaire car c'est grisé (mon souci vient peut-être de là).

En enlevant les mêmes lignes @lildadou je n'ai pas d'erreur quand je lance l'import, mais je n'ai pas non plus mes datas d'importées.

Voici les logs :
HA Linky is starting
Connection with Home Assistant established
PRM xxxxxxxxxxxxxxxxxxx (masqué :) ) found in configuration for consumption
[02/05 16:34] New PRM detected, historical consumption data import is starting
Found 1 CSV file in /addon_configs/cf6b56a3_linky
Successfully retrieved consumption load curve from 2024-04-25 to 2024-05-02
Successfully retrieved daily consumption data from 2023-10-29 to 2024-04-25
Successfully retrieved daily consumption data from 2023-05-03 to 2023-10-29
Data import returned 526 data points from 03/05/2023 to 01/05/2024
Data synchronization planned every day at 06:39:31 and 09:39:31
Connection with Home Assistant closed

Il y a les données depuis 2021 dans le fichier que je cherche à importer.

Un exemple de l'erreur avant retrait des dernières lignes :
Found 1 CSV file in /addon_configs/cf6b56a3_linky
Importing historical data from Enedis_Conso_Jour_20210720-20240430.csv
Error: Invalid Record Length: columns length is 17, got 47 on line 1019

Un exemple d'erreur avant le retrait des deux premières lignes :
Found 1 CSV file in /addon_configs/cf6b56a3_linky
Importing historical data from Enedis_Conso_Jour_20210720-20240430.csv
TypeError: Cannot read properties of undefined (reading 'date')

[bokub]

@Ju-life Il te faut un fichier de données horaires, mon add-on n'est pas conçu pour parser un fichier de données journalières

Ton problème n'est pas un problème d'import de fichiers Enedis (contrairement à la personne qui a créé l'issue), ton problème c'est que tu ne fournis pas le fichier attendu.

[Ju-life]

Ok, c'est donc bien ce que je pensais. Ça faisait un mois que je patientais pour que enedis remette en fonction leur système de téléchargement, malheureusement ils n'ont pas dû tout remettre puisque j'ai l'option de l'export horaires qui est grisé.

Merci beaucoup pour ton retour rapide en tout cas et également pour tout ce travail effectué.

[bokub]

Tu as bien pensé à activer la collecte horaire ? Si oui peut-être que tu peux essayer de contacter Enedis pour leur demander de l'aide 🤷‍♂️

[mehdichaouch]

Bonjour @bokub,

Primo, BRAVO pour l'addon, cela fonctionne très bien 👏.

Après la première sync j'ai voulu les données d'avant septembre 2023.
Comme @Ju-life je n'ai pu exporter que des données journalières (sur l'intervalle 20210914-20230913), car la collecte horaire n'avait jamais été activée.

Du coup, ma question, serait-il possible d'avoir un import qui gère aussi les données journalières ?(je peux te faire une nouvelle issue si besoin 😉).

Merci