allpackages.txt.gz имеет два разных размера файла?

allpackages.txt.gz имеет два разных размера файла?

Я виделhttp://linux.koolsolutions.com/2008/12/19/counting-number-of-packages-under-debian-linux/и я хотел подсчитать количество пакетов, находящихся в тестировании.

Я попробовал, как там описано:-

http://packages.debian.org/testing/allpackages?format=txt.gz
Resolving packages.debian.org (packages.debian.org)... 5.153.231.3, 2001:41c8:1000:21::21:3, 2001:8d8:880:901::1a1:4
Connecting to packages.debian.org (packages.debian.org)|5.153.231.3|:80... connected.
HTTP request sent, awaiting response... 302 Found
Location: https://packages.debian.org/testing/allpackages?format=txt.gz [following]
--2014-10-08 01:52:54--  https://packages.debian.org/testing/allpackages?format=txt.gz
Connecting to packages.debian.org (packages.debian.org)|5.153.231.3|:443... connected.
HTTP request sent, awaiting response... 200 OK
Length: 1039782 (1015K) [text/plain]
Saving to: ‘allpackages?format=txt.gz’

100%[======================================================================================================>] 10,39,782   64.0KB/s   in 13s    

$ mv allpackages\?format=txt.gz allpackages.txt.gz

$ gunzip allpackages.txt.gz

$ ll -h allpackages.txt 
-rw-r--r-- 1 shirish shirish 4.9M Oct  7 23:53 allpackages.txt

Однако если я попытаюсь получить allpackages без сжатия, я получу следующее:-

$ wget http://packages.debian.org/testing/allpackages
--2014-10-08 01:52:11--  http://packages.debian.org/testing/allpackages
Resolving packages.debian.org (packages.debian.org)... 5.153.231.3, 2001:41c8:1000:21::21:3, 2001:8d8:880:901::1a1:4
Connecting to packages.debian.org (packages.debian.org)|5.153.231.3|:80... connected.
HTTP request sent, awaiting response... 302 Found
Location: https://packages.debian.org/testing/allpackages [following]
--2014-10-08 01:52:11--  https://packages.debian.org/testing/allpackages
Connecting to packages.debian.org (packages.debian.org)|5.153.231.3|:443... connected.
HTTP request sent, awaiting response... 200 OK
Length: 10110498 (9.6M) [text/html]
Saving to: ‘allpackages’

 9% [========>                                                                                              ] 9,49,116    55.5KB/s  eta 1m 48s 
Terminated

Есть идеи, почему разница в размерах байтов между этими двумя подсчетами составляет более 100%? Один 4,9 МБ, а другой 9,6 МБ?

Редактировать: Дополнительный вопрос наКак найти количество уникальных «приложений» в Debian jessie

решение1

[text/html]Обратите внимание, что во втором случае говорится не[text/plain] не . Вы не получаете список пакетов, вы получаете веб-страницу, котораясодержитсписок пакетов, а также множество других форматирований.

Но на самом деле вы хотите получить сжатую версию; это сэкономит и вам, и Debian время и деньги. Вы можете сделать это одной командой:

wget 'http://packages.debian.org/testing/allpackages?format=txt.gz' -O - | gunzip > allpackages.txt

Или подсчитайте количество строк напрямую (но учтите, что это немного не так из-за дополнительных строк в начале файла):

wget 'http://packages.debian.org/testing/allpackages?format=txt.gz' -O - | gunzip | wc -l

Связанный контент