Asustor Package Duplicati

[cyrilP]

Et pour cause, /usr/local/AppCentral/duplicati/tmp n'existe même pas.

En effet, il n'était pas créé dans les premières versions. Je vais corriger le script de démarrage pour le créer systématiquement s'il n'existe pas.

De mon côté, Duplicati continue à écrire quelques rares fichiers dans /tmp. Tu peux forcer la valeur via les différentes options. Tu peux également exporter la configuration du travail sous forme de ligne de commande pour voir les options liées.

 

[cyrilP]

J'ai essayé d'obtenir un nouveau code OAuth à plusieurs reprises, relancé Duplicati, ça ne change rien. Du coup, je suis bloqué

Information pour Hawaga et tous ceux qui souaitent mettre à jour Duplicati : Les mises à jours intégrées doivent fonctionner (pas testé).
Pour cela, dans les paramètres, vous pouvez choisir le canal de mise à jour "Canary" qui est actualisé plusieurs fois par semaine.
Le canal "Default (Experimental)" reçoit quand à lui des mises à jours moins fréquentes, une fois par mois environ.

 

[Hawaga]

J'ai essayé d'obtenir un nouveau code OAuth à plusieurs reprises, relancé Duplicati, ça ne change rien. Du coup, je suis bloqué

Information pour Hawaga et tous ceux qui souaitent mettre à jour Duplicati : Les mises à jours intégrées doivent fonctionner (pas testé).
Pour cela, dans les paramètres, vous pouvez choisir le canal de mise à jour "Canary" qui est actualisé plusieurs fois par semaine.
Le canal "Default (Experimental)" reçoit quand à lui des mises à jours moins fréquentes, une fois par mois environ.

Suite de mon problème. Hier matin j'efface toutes mes tâches de sauvegarde, je clean le backup sur ACD en effaçant tout les fichiers, je désinstalle Duplicati de mon Nas, puis je le réinstalle en prenant soin de le passer en mode Canary avec la mise à jour sur les conseils de Cyril.

Je crée une toute nouvelle tâche de sauvegarde, que je lance à 20h, ça fonctionne nickel. A 1h du mat après 24,1 Go transferés la tâche s'arrête toute seule, alors que le Nas est toujours allumé (toutes les options de mise en veille du Nas et des disques sont désactivées). J'arrive au bureau ce matin, je veux relancer la tâche, j'ai la même erreur OAuth qu'avant-hier qui revient, et rebelote je suis bloqué

Bref, de mon expérience pas encore très stable comme solution...

 

[Hawaga]

Suite de mon problème. Hier matin j'efface toutes mes tâches de sauvegarde, je clean le backup sur ACD en effaçant tout les fichiers, je désinstalle Duplicati de mon Nas, puis je le réinstalle en prenant soin de le passer en mode Canary avec la mise à jour sur les conseils de Cyril.

Je crée une toute nouvelle tâche de sauvegarde, que je lance à 20h, ça fonctionne nickel. A 1h du mat après 24,1 Go transferés la tâche s'arrête toute seule, alors que le Nas est toujours allumé (toutes les options de mise en veille du Nas et des disques sont désactivées). J'arrive au bureau ce matin, je veux relancer la tâche, j'ai la même erreur OAuth qu'avant-hier qui revient, et rebelote je suis bloqué

Bref, de mon expérience pas encore très stable comme solution...

OK Je viens de retenter toute la procédure décrite ci-dessus. Fresh reinstall de Duplicati (cette fois en mode Experimental de base), lancement d'une nouvelle tâche de sauvegarde de 164 Go) à 16:30, tout se passe bien avec 5,6 Go uploadés sur ACD jusqu'à ce que ça plante à nouveau de la même manière à 17:55. Message d'erreur: Connexion perdue. Tentative de reconnexion dans ... (compte à rebours) en boucle.

Je réactualise la page de Duplicati, je ne peux plus accéder à l'interface, message du navigateur: "impossible de se connecter au serveur".

Je dois aller dans AppCentral, désactiver Duplicati, le réactiver, et j'ai de nouveau accès à l'interface de Duplicati.

RAS du côté de mon NAS (ADM à jour, Mono également). En gros, a priori et sauf erreur de ma part c'est bien le package Duplicati qui plante.

 

[Hawaga]

OK Je viens de retenter toute la procédure décrite ci-dessus. Fresh reinstall de Duplicati (cette fois en mode Experimental de base), lancement d'une nouvelle tâche de sauvegarde de 164 Go) à 16:30, tout se passe bien avec 5,6 Go uploadés sur ACD jusqu'à ce que ça plante à nouveau de la même manière à 17:55. Message d'erreur: Connexion perdue. Tentative de reconnexion dans ... (compte à rebours) en boucle.

Je réactualise la page de Duplicati, je ne peux plus accéder à l'interface, message du navigateur: "impossible de se connecter au serveur".

Je dois aller dans AppCentral, désactiver Duplicati, le réactiver, et j'ai de nouveau accès à l'interface de Duplicati.

RAS du côté de mon NAS (ADM à jour, Mono également). En gros, a priori et sauf erreur de ma part c'est bien le package Duplicati qui plante.

Et rebelote, relancé à 18:24, c'est bien le package qui semble planter à nouveau après 3 Go supplémentaires uploadés à 18:59 avec le même message (connexion perdue), vu que je dois aller dans AppCentral, le désactiver et le réactiver à nouveau pour avoir accès à l'interface et pouvoir relancer la sauvegarde. En l'état c'est juste pas viable pour un long backup.

 

[maerlin]

Alors quelques news de mon côté.
Après 3 jours de fonctionnement sans problème mon backup est en erreur depuis samedi

Quelques extraits de log:
Cannot access a disposed object. Object name: 'System.Net.Sockets.NetworkStream'.

Failed disposing index volume
{"ClassName":"System.InvalidOperationException","Message":"Attempted to dispose an index volume that was being written","Data":null,"InnerException":null,"HelpURL":null,"StackTraceString":" at Duplicati.Library.Main.Volumes.IndexVolumeWriter.Dispose () [0x00016] in <54974545e0184c8fa11b54d8d57d094f>:0 \n at Duplicati.Library.Main.Operation.BackupHandler.Dispose () [0x00045] in <54974545e0184c8fa11b54d8d57d094f>:0 ","RemoteStackTraceString":null,"RemoteStackIndex":0,"ExceptionMethod":null,"HResult":-2146233079,"Source":"Duplicati.Library.Main"}

Je ne sais pas s'il y a un rapport avec le restore partiel que j'ai fait sur une autre machine, qui au demeurant s'est très bien passé.

Snif!

On y est presque

 

[Dami1]

@Cyril
la mise à jour via le canal Canary, sur mon NAS, est bien proposée mais elle ne s'installe pas.
As-tu une idée?

 

[maerlin]

Alors quelques news de mon côté.
Après 3 jours de fonctionnement sans problème mon backup est en erreur depuis samedi

Quelques extraits de log:
Cannot access a disposed object. Object name: 'System.Net.Sockets.NetworkStream'.

Failed disposing index volume
{"ClassName":"System.InvalidOperationException","Message":"Attempted to dispose an index volume that was being written","Data":null,"InnerException":null,"HelpURL":null,"StackTraceString":" at Duplicati.Library.Main.Volumes.IndexVolumeWriter.Dispose () [0x00016] in <54974545e0184c8fa11b54d8d57d094f>:0 \n at Duplicati.Library.Main.Operation.BackupHandler.Dispose () [0x00045] in <54974545e0184c8fa11b54d8d57d094f>:0 ","RemoteStackTraceString":null,"RemoteStackIndex":0,"ExceptionMethod":null,"HResult":-2146233079,"Source":"Duplicati.Library.Main"}

Je ne sais pas s'il y a un rapport avec le restore partiel que j'ai fait sur une autre machine, qui au demeurant s'est très bien passé.

Snif!

On y est presque

Bon alors ça ne veut plus marcher.
J'ai tenté:
* un nouveau OAuth
* nouveau set de backup, avec le même contenu
* taille de chunks à 50Mo
* canal Canary

Rien ne marche, j'ai maintenant toujours la même erreur Cannot access a disposed object. Object name: 'System.Net.Sockets.NetworkStream'.

Je guette pour voir si ça s'arrange ou si quelqu'un a une idée.

 

[cyrilP]

En gros, a priori et sauf erreur de ma part c'est bien le package Duplicati qui plante.

C'est donc le service Duplicati qui ne répond plus, probablement planté. Il faudrait valider si le processus mono apparait toujours dans le gestionnaire des tâches du NAS (et que ce soit bien le seul processus mono sur ton NAS).
La mise à jour vers Canary s'est bien faite ?

 

[cyrilP]

@Cyril
la mise à jour via le canal Canary, sur mon NAS, est bien proposée mais elle ne s'installe pas.
As-tu une idée?

Non, je viens de tester la màj en Canary et elle s'est bien faite sur mon NAS.

 

[cyrilP]

Bon alors ça ne veut plus marcher.
J'ai tenté:
* un nouveau OAuth
* nouveau set de backup, avec le même contenu
* taille de chunks à 50Mo
* canal Canary

Rien ne marche, j'ai maintenant toujours la même erreur Cannot access a disposed object. Object name: 'System.Net.Sockets.NetworkStream'.

Je guette pour voir si ça s'arrange ou si quelqu'un a une idée.

Dans ton cas, ça ressemble à une problématique de connexion à ton espace de stockage... Tout de même bizarre toutes ces erreurs. Je n'en ai pas de mon côté alors que je sauvegarde plus de 70 Go... mais en FTP !
Quels backend(s) utilisez vous ?

Pour rappel, le canal Canary est vraiment le canal de dev avec une nouvelle version tous les 2 jours. Je vous conseille de rester sur experimental si ça fonctionne de la sorte.

Je vais repackager une nouvelle version qui créée bien le sous-répertoire tmp, ce sera toujours ça de corrigé.

 

[Hawaga]

C'est donc le service Duplicati qui ne répond plus, probablement planté. Il faudrait valider si le processus mono apparait toujours dans le gestionnaire des tâches du NAS (et que ce soit bien le seul processus mono sur ton NAS).
La mise à jour vers Canary s'est bien faite ?

Le processus mono est le seul sur mon NAS et apparaît bien dans le GDT.

Quels backend(s) utilisez vous ?

? Qu'est ce que tu veux dire par "backend"? J'utilise mon compte Amazon Cloud Drive.

EDIT: En revanche, mon NAS vient de planter.Il est resté allumé toute la nuit avec duplicati qui tourne uniquement (pour info j'ai 3Go de RAM sur le NAS) et là il ne répond plus, plus accessible, ni via le navigateur, ni via Control Center ni via l'appli, la led ne s'allume plus quand j'appuie sur les boutons physiques en façade, obligé de faire un hard reset. Je soupçonne fortement le package d'en être la cause. Ca fait la deuxième fois, il m'a fait exactement la même chose avant-hier dans les mêmes circonstances.

 

[maerlin]

Quels backend(s) utilisez vous ?

Pour rappel, le canal Canary est vraiment le canal de dev avec une nouvelle version tous les 2 jours. Je vous conseille de rester sur experimental si ça fonctionne de la sorte.

Je vais repackager une nouvelle version qui créée bien le sous-répertoire tmp, ce sera toujours ça de corrigé.

Je suis sur Hubic.
Côté canal, canary ou experimental, l'erreur est la même.

 

[maerlin]

Quels backend(s) utilisez vous ?

Pour rappel, le canal Canary est vraiment le canal de dev avec une nouvelle version tous les 2 jours. Je vous conseille de rester sur experimental si ça fonctionne de la sorte.

Je vais repackager une nouvelle version qui créée bien le sous-répertoire tmp, ce sera toujours ça de corrigé.

Je suis sur Hubic.
Côté canal, canary ou experimental, l'erreur est la même.

Ahh j'ai trouvé!
C'est le paramètre throttle-upload qui faisait planter! je l'avais utilisé pour limiter à 90kB/s
Une fois enlevé l'upload a l'air de bien se dérouler. Je vous tiens au jus.

 

[cyrilP]

? Qu'est ce que tu veux dire par "backend"? J'utilise mon compte Amazon Cloud Drive.

EDIT: En revanche, mon NAS vient de planter.Il est resté allumé toute la nuit avec duplicati qui tourne uniquement (pour info j'ai 3Go de RAM sur le NAS) et là il ne répond plus, plus accessible, ni via le navigateur, ni via Control Center ni via l'appli, la led ne s'allume plus quand j'appuie sur les boutons physiques en façade, obligé de faire un hard reset. Je soupçonne fortement le package d'en être la cause. Ca fait la deuxième fois, il m'a fait exactement la même chose avant-hier dans les mêmes circonstances.

Oui, par backend j'entendais le type de stockage pour la sauvegarde. Quelle est la taille de chunk ("Taille du volume téléversé").
Un plantage complet pourrait bien être lié à une saturation du /tmp (qui rappelons-le est en RAM sur un Asustor).
Il faudrait créer ce fameux répertoire, il faut se connecter en ssh et lancer la commande suivante :

mkdir /usr/local/AppCentral/duplicati/tmp

 

[Dami1]

@Cyril
la mise à jour via le canal Canary, sur mon NAS, est bien proposée mais elle ne s'installe pas.
As-tu une idée?

Non, je viens de tester la màj en Canary et elle s'est bien faite sur mon NAS.

je reteste et reviens vers toi si souci.
au besoin je peux te donner un accès ssh à mon NAS
Merci encore pour ton travail sur cette app !!!

 

[maerlin]

Quels backend(s) utilisez vous ?

Pour rappel, le canal Canary est vraiment le canal de dev avec une nouvelle version tous les 2 jours. Je vous conseille de rester sur experimental si ça fonctionne de la sorte.

Je vais repackager une nouvelle version qui créée bien le sous-répertoire tmp, ce sera toujours ça de corrigé.

Je suis sur Hubic.
Côté canal, canary ou experimental, l'erreur est la même.

Ahh j'ai trouvé!
C'est le paramètre throttle-upload qui faisait planter! je l'avais utilisé pour limiter à 90kB/s
Une fois enlevé l'upload a l'air de bien se dérouler. Je vous tiens au jus.

En tout cas ça y est, ça marche bien maintenant. J'avais donc donc bien un soucis avec la variable throttle-upload. Je n'en ai pas un besoin impérieux donc je m'en passerai.

En tout cas merci pour le package, c'est une super app.

 

[Hawaga]

Salut Cyril et salut à tous.

J'ai créé le répertoire tmp comme indiqué par Cyril et pour l'instant ça semble tenir la route, donc ça devait être la solution.

Mon seul souci désormais, c'est la vitesse d'upload sur ACD. En gros duplicati envoie un paquet de 150 Mo toutes les 2 minutes, à une vitesse d'environ 84,5 Mbps. Je ne sais pas si c'est du au cryptage AES 256 bits, mais du coup c'est relativement lent je trouve, surtout que je suis fibré avec 250 Mb/s en upload en plein Paris. Est-ce normal? Pour ceux qui testent le package quel débit obtenez-vous?

Merci d'avance pour vos réponses!

 

[Hawaga]

J'ai créé le répertoire tmp comme indiqué par Cyril et pour l'instant ça semble tenir la route, donc ça devait être la solution.
!

Bon j'ai crié victoire trop vite, re-plantage du Nas cette nuit dans les même conditions que les précédents après avoir uploadé environ 20 Go.

J'ai pourtant bien crée le répertoire tmp comme préconisé par Cyril.

Toujours le même problème, obligé de hard reset le NAS :? puis de désactiver/réactiver Duplicati dans AppCentral...

Serait ravi de trouver une solution.

EDIT: @cyril@pawelko.net

Impossible de faire la dernière mise à jour Canary, voici le message d'erreur:

System.Net.WebException: Error: TrustFailure (The authentication or decryption has failed.) ---> System.IO.IOException: The authentication or decryption has failed. ---> System.IO.IOException: The authentication or decryption has failed. ---> Mono.Security.Protocol.Tls.TlsException: Invalid certificate received from server. Error code: 0xffffffff800b010a
at Mono.Security.Protocol.Tls.RecordProtocol.EndReceiveRecord (System.IAsyncResult asyncResult) [0x00040] in <e220be0b0a364427860ee43376ab6f2b>:0
at Mono.Security.Protocol.Tls.SslClientStream.SafeEndReceiveRecord (System.IAsyncResult ar, System.Boolean ignoreEmpty) [0x00000] in <e220be0b0a364427860ee43376ab6f2b>:0
at Mono.Security.Protocol.Tls.SslClientStream.NegotiateAsyncWorker (System.IAsyncResult result) [0x00071] in <e220be0b0a364427860ee43376ab6f2b>:0
--- End of inner exception stack trace ---
at Mono.Security.Protocol.Tls.SslClientStream.EndNegotiateHandshake (System.IAsyncResult result) [0x0003b] in <e220be0b0a364427860ee43376ab6f2b>:0
at Mono.Security.Protocol.Tls.SslStreamBase.AsyncHandshakeCallback (System.IAsyncResult asyncResult) [0x0000c] in <e220be0b0a364427860ee43376ab6f2b>:0
--- End of inner exception stack trace ---
at Mono.Security.Protocol.Tls.SslStreamBase.EndRead (System.IAsyncResult asyncResult) [0x00057] in <e220be0b0a364427860ee43376ab6f2b>:0
at Mono.Net.Security.Private.LegacySslStream.EndAuthenticateAsClient (System.IAsyncResult asyncResult) [0x00011] in <59be416de143456b88b9988284f43350>:0
at Mono.Net.Security.Private.LegacySslStream.AuthenticateAsClient (System.String targetHost, System.Security.Cryptography.X509Certificates.X509CertificateCollection clientCertificates, System.Security.Authentication.SslProtocols enabledSslProtocols, System.Boolean checkCertificateRevocation) [0x0000e] in <59be416de143456b88b9988284f43350>:0
at Mono.Net.Security.MonoTlsStream.CreateStream (System.Byte[] buffer) [0x00044] in <59be416de143456b88b9988284f43350>:0
--- End of inner exception stack trace ---
at System.Net.WebClient.DownloadFile (System.Uri address, System.String fileName) [0x000c9] in <59be416de143456b88b9988284f43350>:0
at System.Net.WebClient.DownloadFile (System.String address, System.String fileName) [0x00019] in <59be416de143456b88b9988284f43350>:0
at (wrapper remoting-invoke-with-check) System.Net.WebClientownloadFile (string,string)
at Duplicati.Library.AutoUpdater.UpdaterManager.CheckForUpdate (Duplicati.Library.AutoUpdater.ReleaseType channel) [0x00104] in <ce303623ae204e12bee6b72a7d2e022b>:0

 

[cyrilP]

Bon j'ai crié victoire trop vite, re-plantage du Nas cette nuit dans les même conditions que les précédents après avoir uploadé environ 20 Go.

J'ai pourtant bien crée le répertoire tmp comme préconisé par Cyril.

Toujours le même problème, obligé de hard reset le NAS :? puis de désactiver/réactiver Duplicati dans AppCentral...

Serait ravi de trouver une solution.

Hum, toujours pas plus d'idée de mon côté. Surement une saturation RAM due à Duplicati, mais difficile à déterminer.
Tu as des messages dans les journaux du NAS ?
Je vais tenter de finaliser un package avec la création systématique du répertoire temp, ça évitera peut-être ces erreurs.

EDIT: @cyril@pawelko.net

Impossible de faire la dernière mise à jour Canary, voici le message d'erreur:

Là c'est clairement une erreur de certificat.
Peux-tu relancer une mise à jour des certificats de mono ?

/volume1/.@plugins/AppCentral/mono/bin/mozroots --sync
/volume1/.@plugins/AppCentral/mono/bin/mozroots --sync --machine

Puis restester la mise à jour ?