cerhu > comp.os.* > comp.os.linux.configuration

O.L. (14/07/2007, 11h06)
Bonjour,

J'ai voulu transférer un gros fichier tar (3.5 Go) entre deux serveurs
Linux, mais j'ai rencontré des problèmes : au milieu du transfert le
comptage du nombre d'octets transférés s'est retrouvé négatif (pb de
variable qui ne supporte pas les grands nombres ?).
Et un peu plus tard, ça a carrément planté :

HTTP request sent, awaiting response... 200 OK
Length: unspecified [application/x-tar]

[ <=> ] -937,947,136 9.73M/s

wget: retr.c:292: calc_rate: Assertion `bytes >= 0' failed.
Aborted

Une idée ?

Merci d'avance,
Olivier
Fabien LE LEZ (14/07/2007, 11h19)
On Sat, 14 Jul 2007 11:06:59 +0200, O.L. <null>:

>J'ai voulu transférer un gros fichier tar (3.5 Go) entre deux serveurs
>Linux, mais j'ai rencontré des problèmes : au milieu du transfert le
>comptage du nombre d'octets transférés s'est retrouvé négatif


Il ne serait pas un peu vieux, ton wget ?
Il me semble avoir rencontré le problème avec une vieille version ;
passer à la 1.10 l'a résolu.
sansflotusspam (14/07/2007, 12h27)
O.L. a commis :

[..]
> wget: retr.c:292: calc_rate: Assertion `bytes >= 0' failed.
> Aborted
>> Une idée ?

> Merci d'avance,
> Olivier


es-tu sûr que le FS supporte des fichiers de + de 2 GO ?
ça expliquerait que le compte devienne négatif au-desus de 2GO
Nicolas George (14/07/2007, 13h26)
sansflotusspam wrote in message
<4698a3c5$0$25716$426a74cc>:
> es-tu sûr que le FS supporte des fichiers de + de 2 GO ?
> ça expliquerait que le compte devienne négatif au-desus de 2GO


Non, certainement pas. Ça ferait une erreur en écriture, mais en aucun cas
un affichage fantaisiste.
Nicolas S. (14/07/2007, 14h07)
O.L. a écrit :
> Bonjour,


Bonjour,

> J'ai voulu transférer un gros fichier tar (3.5 Go) entre deux serveurs
> Linux, mais j'ai rencontré des problèmes : au milieu du transfert le
> comptage du nombre d'octets transférés s'est retrouvé négatif (pb de
> variable qui ne supporte pas les grands nombres ?).


> Une idée ?


split?
O.L. (14/07/2007, 17h50)
Fabien LE LEZ avait prétendu :
> On Sat, 14 Jul 2007 11:06:59 +0200, O.L. <null>:
>> J'ai voulu transférer un gros fichier tar (3.5 Go) entre deux serveurs
>> Linux, mais j'ai rencontré des problèmes : au milieu du transfert le
>> comptage du nombre d'octets transférés s'est retrouvé négatif

> Il ne serait pas un peu vieux, ton wget ?


Apparament non :

GNU Wget 1.9.1

Copyright (C) 2003 Free Software Foundation, Inc.
This program is distributed in the hope that it will be useful,
but WITHOUT ANY WARRANTY; without even the implied warranty of
MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE. See the
GNU General Public License for more details.

Originally written by Hrvoje Niksic <hniksic>.
Nicolas George (14/07/2007, 18h12)
O.L. wrote in message <mn.742e7d770cce03a9.68583>:
> Apparament non :
> GNU Wget 1.9.1


C'est pas tout jeune quand même, mais ça devrait aller.

Tu l'as installé comment ?
O.L. (14/07/2007, 20h03)
Nicolas George avait prétendu :
> O.L. wrote in message <mn.742e7d770cce03a9.68583>:
>> Apparament non :
>> GNU Wget 1.9.1

> C'est pas tout jeune quand même, mais ça devrait aller.
> Tu l'as installé comment ?


Je l'ai pas installé :D

C'est la distrib de base des serveurs dédiés chez Sivit (enfin en tout
cas de celui que j'ai ...)
Fabien LE LEZ (14/07/2007, 22h24)
On Sat, 14 Jul 2007 17:50:01 +0200, O.L. <null>:

>GNU Wget 1.9.1


Il me semble bien que c'est avec cette version que je n'avais pas pu
télécharger un fichier de plus de 2 Go, ce qui m'a forcé à installer
la 1.10.
David LE BOURGEOIS (15/07/2007, 11h50)
Le 14/07/2007 à 09:06:59, O.L a écrit :
> Bonjour,


Bonjour.

> J'ai voulu transférer un gros fichier tar (3.5 Go) entre deux serveurs
> Linux, mais j'ai rencontré des problèmes : au milieu du transfert le
> comptage du nombre d'octets transférés s'est retrouvé négatif (pb de
> variable qui ne supporte pas les grands nombres ?).
> Et un peu plus tard, ça a carrément planté :
> Length: unspecified [application/x-tar]
> [ <=> ] -937,947,136 9.73M/s
> wget: retr.c:292: calc_rate: Assertion `bytes >= 0' failed.
> Aborted


Je n'ai jamais rencontré cette erreur avec wget. Mais quand il s'agit de
télécharger un fichier dont la taille est de l'ordre du Go, je me tourne
plutôt vers curl.

En effet, j'ai eu une ou deux fois le problème des 2 Go avec wget. J'ai
dû recommencer avec curl pour réussir.

D'un autre côté, il est possible aussi de découper ce gros fichiers en
de plus petits, avec split par exemple. Il suffit de les télécharger un
par un et de les recoller avec cat.

Et puis, on peut créer des données supplémentaires de réparation avec
par2, pour corriger d'éventuelles erreurs durant le transfert.
C'est très utile pour ne pas avoir à refaire le téléchargement en
entier, pour quelques octets erronés.

Enfin, préférer le protocole FTP au HTTP pour les fichiers de cette
taille est de bon usage.

> Merci d'avance,


Pas de problème.
Nicolas George (15/07/2007, 12h51)
David LE BOURGEOIS wrote in message
<4699edca$0$14490$426a74cc>:
> Et puis, on peut créer des données supplémentaires de réparation avec
> par2, pour corriger d'éventuelles erreurs durant le transfert.
> C'est très utile pour ne pas avoir à refaire le téléchargement en
> entier, pour quelques octets erronés.
> Enfin, préférer le protocole FTP au HTTP pour les fichiers de cette
> taille est de bon usage.


Bof. Si on en est là, il y a _une_ chose à faire : man rsync.
Fabien LE LEZ (15/07/2007, 13h54)
On 15 Jul 2007 09:50:02 GMT, David LE BOURGEOIS :

>En effet, j'ai eu une ou deux fois le problème des 2 Go avec wget.


Avec quelle version ?

>Et puis, on peut créer des données supplémentaires de réparation avec
>par2, pour corriger d'éventuelles erreurs durant le transfert.


Attention, je crois me souvenir avoir eu des soucis avec par2 sur des
fichiers de plus de 2 Go.

>Enfin, préférer le protocole FTP au HTTP pour les fichiers de cette
>taille est de bon usage.


Pourquoi ?
Y a-t-il encore, en 2007, une raison valable à cette règle ?
David LE BOURGEOIS (15/07/2007, 16h05)
Le 15/07/2007 à 11:54:20, Fabien LE LEZ a écrit :
> On 15 Jul 2007 09:50:02 GMT, David LE BOURGEOIS :
>>En effet, j'ai eu une ou deux fois le problème des 2 Go avec wget.

> Avec quelle version ?


GNU Wget 1.9.1

Je devais sûrement être dans le cas annoncé sur
[..] :
« [...]
Veuillez utiliser à la place un outil qui permet la reprise des
téléchargements interrompus. Sous Unix, vous pouvez utiliser « wget -c
lien » ou « curl -C - lien ». Veuillez noter que certaines versions de
wget ne gère pas le téléchargement d'images de la taille d'un dévédérom.
[...] ».

>>Et puis, on peut créer des données supplémentaires de réparation avec
>>par2, pour corriger d'éventuelles erreurs durant le transfert.

> Attention, je crois me souvenir avoir eu des soucis avec par2 sur des
> fichiers de plus de 2 Go.


Oui, c'est pour ça aussi que je conseille entre autres de découper les
gros fichiers.

>>Enfin, préférer le protocole FTP au HTTP pour les fichiers de cette
>>taille est de bon usage.

> Pourquoi ?
> Y a-t-il encore, en 2007, une raison valable à cette règle ?


Je viens de faire le test de téléchargement entre un serveur FTP
(proftpd 1.2.9) et un serveur Web (apache 2.0.51), installés sur la même
machine.
Le fichier de test est l'iso du premier CD de la Debian Sarge.
Le transfert avec wget par FTP a mis 00:01:16 et celui par HTTP
00:01:51, soit un écart de 00:00:35.

Lorsque que j'ai le choix entre un lien HTTP et un lien FTP, je choisis
toujours celui en FTP. Pour quelle raison devrai-je, aujourd'hui plutôt
qu'hier, privilégier HTTP au lieu de FTP pour le transfert de fichier ?
David LE BOURGEOIS (15/07/2007, 16h35)
Le 15/07/2007 à 14:05:01, David LE BOURGEOIS a écrit :
> Je viens de faire le test de téléchargement entre un serveur FTP
> (proftpd 1.2.9) et un serveur Web (apache 2.0.51), installés sur la même
> machine.
> Le fichier de test est l'iso du premier CD de la Debian Sarge.
> Le transfert avec wget par FTP a mis 00:01:16 et celui par HTTP
> 00:01:51, soit un écart de 00:00:35.


Oups, j'oubliais la question.

D'où vient cet écart ?
Fabien LE LEZ (15/07/2007, 16h48)
On 15 Jul 2007 14:35:04 GMT, David LE BOURGEOIS :

>> Le transfert avec wget par FTP a mis 00:01:16 et celui par HTTP
>> 00:01:51, soit un écart de 00:00:35.

>Oups, j'oubliais la question.
>D'où vient cet écart ?


C'est justement ce que j'allais te demander.
Lance un top sur les deux machines en même temps, histoire de voir si
c'est Apache qui prend trop de processeur.

Si Apache ne se mêle pas de réencoder les données transmises,
l'overhead d'HTTP est négligeable, donc le nombre d'octets transmis
est quasiment le même.

Discussions similaires
Mise à jour de fichiers aspirés avec wget : possible ? sinon comment faire ?

Téléchargement de gros fichiers avec IE

Pb imprimante avec gros fichiers

Pb avec BINMODE sur les gros fichiers


Fuseau horaire GMT +2. Il est actuellement 21h27. | Privacy Policy