Проекты Отдела прикладных сетевых исследований НЦЧ РАН и Группы по вычислительной физике и сетевым исследованиям ИТФ им Л.Д. Ландау РАН

Контактная информация

Адрес:

Лесная улица, д. 9, ком. 202  
г. Черноголовка, Московской обл, 142432, Россия

тел: (495) 993-48-44

факс: (495) 993-58-17

e-mail: adm@chg.ru 

Этот e-mail адрес защищен от спам-ботов, для его просмотра у Вас должен быть включен Javascript

 
Главная Публикации FTP.Chg.RU - 10-летняя история крупнейшего в России архива свободнораспространяемого программного обеспечения и дальнейшие перспективы, С.А. Крашаков, Л.Н. Щур, 2004
Печать

FTP.Chg.RU - 10-летняя история крупнейшего в России архива свободнораспространяемого программного обеспечения и дальнейшие перспективы

С.А. Крашаков, Л.Н. Щур

Тр. Всероссийской научной конференции "Научный сервис в сети Интернет ' 04" (Новороссийск, 20-25 сентября 2004 г.), стр. 250-254

Power Point Presentation

Тезисы:

1. История

10 лет назад, в апреле 1994 года в Интернете появился домен RU и началось бурное развитие Российского интернета, а уже в октябре 1994 был зарегистрирован домен CHG.RU Научного центра РАН в Черноголовке. Примерно в это же время коллективом сотрудников ИТФ им. Ландау РАН в рамках проекта создания и развития сети НЦЧ РАН (проект РФФИ 93-07-22858, и последующие проекты - 96-07-89226, 99-07-90084 и 02-07-90421) началось создание сервера ftp.chg.ru для обеспечения нужд Научного центра в программном обеспечении, прежде всего ОС FreeBSD, Linux, TeX и другом свободном ПО.

Несмотря на то, что пропускная способность канала на Москву в то время составляла всего 19.2 кбит/с, уже в конце 1995 объем архива достиг 5 Гб. После ввода в эксплуатацию 2 Мбит/с канала Черноголовка-Москва во второй половине 1997 г. он стал известным широкой общественности и сразу же занял (по данным поисковой системы www.filesearch.ru) первое место среди российских ftp-архивов. Уже тогда разрыв в объеме хранимой информации от следующих за ним серверов ftp.nsu.ru и ftp.raduo-msu.net составил 2.25-2.5 раза [1]. С тех пор вот уже почти 7 лет он является крупнейшим ftp-архивом в России с практически постоянным 2-2.5-кратным отрывом от ftp-сервера, занимающего 2 место [2].

Начиная с 1998 г. он стал доступен для пользователей также и через Web-интерфейс как http://ftp.chg.ru/. В конце ноября 2000 года ftp.chg.ru переехал в центр управления ЮМОС (ул. Косыгина, Москва) и вначале имел 10 Мбит/сек подключение к MSK-IX, а с мая 2002 года - 100 Мбит/сек.

2. Объем информации

Объем информации на сервере, в среднем, ежегодно удваивается: в декабре 1997 г. он насчитывал около 30 Гб, октябрь 1998 - около 110 Гб, ноябрь 1999 - около 170 Гб, ноябрь 2000 - около 350 Гб, июнь 2001 - 450-460 Гб, май 2002 - 740 Гб, в декабре 2002 перешел рубеж 1 Тбайт и на 31.12.2002 составил 1.03 Тб, январь 2004 - 1.73 Тб, май 2004 - 2.1 Тб, и после запланированной на конец 2004 года модернизации может подойти к рубежу в 3 Тб.

Вот уже несколько лет (по крайней мере, с 2001 года, когда мы начали постоянный мониторинг) ftp.chg.ru стабильно входит во мировую десятку крупнейших ftp-архивов свободного ПО.

К сожалению, в Интернет отсутствуют данные по всем публичным ftp-серверам с анонимным доступом, существующим в мире. Так, уже упоминавшийся www.filesearch.ru по состоянию на май 2004 г. охватывает всего 2700 серверов, в списке которых мы занимаем 2 место после ftp.dna.affrc.go.jp - сервера генетических данных. Поисковая система www.filewatcher.com охватывает несколько больше - 5593 сервера (согласно последнему списку на www.ftp-sites.org от 02.11.2003). К сожалению, наш сервер не индексируется этой системой, однако по опубликованным www.ftp-sites.org данным на 02.11.2003 наш сервер занял бы 4 место после ftp.giga.net.tw, ftp.freshrpms.net и ftp.heanet.ie.

По нашим собственным данным в мире насчитывается около 15000 публичных ftp-серверов с анонимным доступом [3] и на 9 января 2004 года десятка крупнейших ftp-архивов ПО выглядела так: ftp.kddlabs.co.jp (3.143 Tb), ftp.heanet.ie (2.305 Tb), ftp.sunet.se (2.170 Tb), ftp.netlab.is.tsukuba.ac.jp (2.135 Tb), ftp.tku.edu.tw (1.852 Tb), ftp.chg.ru (1.73 Тб), ftp.mirror.ac.uk (1.663 Tb), gd.tuwien.ac.at (1.558 Tb), ftp.nluug.nl (1.528 Tb), mirror.cac.psu.edu (1.404 Tb).

Среди российских серверов объем нашего сервера, конечно, меньше, чем у известного российского архива нелицензионных MP3 музыкальных файлов ftp.recordings.ru (3.434 Тб), но он в 2 с лишним раза раз больше всех других российских архивов свободного ПО ftp.rmt.ru (770 Гb), ftp.gamma.ru (386 Гб), linux4u.jinr.ru (190 Гб), ftp.itep.ru (155 Гб) (данные на 9.01.2004).

3. Содержимое архива

Архив ftp.chg.ru имеет назначением обеспечение доступа пользователей учреждений науки и образования к свободно распространяемому ПО, которое необходимо для выполнения научной деятельности с помощью ЭВМ. Сюда входят:

- операционные системы (Linux, FreeBSD, NetBSD, OpenBSD и т.д.)
- компиляторы с языков программирования (C/C++, Фортран)
- системы подготовки научных статей (TeX, LaTeX и т.п.)
- системы подготовки графической информации (gnuplot, xfig, и т.п.)
- системы навигации в сети Интернет (Netscape, Mozilla, Opera и т.д.)
- системы параллельных рассчетов на кластере ЭВМ (MPI, PVM, Globus и т.д.)
- и т.д. и т.п.

По состоянию на 1.06.2004, объем архива составлял около 2.1 Тб, из которых большую часть - около трети архива составляют различные дистрибутивы Linux (734 Гб) - Debian (155.4 Гб), Fedora Linux (90.3 Гб), Mandrake (80.5 Гб), RedHat (66.6 Гб), SuSE (56.2 Гб), Gentoo (54.6 Гб), российские дистрибутивы ALTLinux (40.6 Гб) и ASPLinux (36.9 Гб) и другие. Более четверти объема составляет зеркало проекта свободного ПО Sourceforge.NET (605 Гб). Остальную часть архива составляют дистрибутивы FreeBSD (164 Гб), NetBSD (110 Гб), OpenBSD (41.5 Гб), дистрибутивы различных серверов, клиентов и утилит для WWW (60.1 Гб), оконная система X11, оконные менеждеры, библиотеки и приложения для X11 (67.8 Гб) и многое другое свободное ПО. Кроме того, архив содержит зеркала коллекций freeware/shareware и демонстрационных программ для Windows - ftp.winsite.com (56.8 Гб), ftp.simtel.net (58.8 Гб) и ряда других.

С конца 1997 г. он зарегистрирован как официальное зеркало архива ftp.freebsd.org (ftp3.ru.freebsd.org), в 1998 - как зеркало архива NetBSD (ftp.ru.netbsd.org) и OpenBSD. С 1998-1999 он является зеркалом основных дистрибутивов Linux - Debian (ftp.ru.debian.org), Slackware, RedHat, Fedora, SuSE, Mandrake, Mandrake RE, ALTLinux, ASPLinux и др., зеркалом GNU, xEmacs (ftp.ru.xemacs.org), XFree86, KDE, GNOME, CTAN, CPAN, SimTelNet, WinSite, Mozilla и многих других.  

4. Статистика запросов

За 2003 год сервер обработал 12852269 запросов по FTP-протоколу и 13259238 запросов (3322809 файлов) по http-протоколу и выдал пользователям 14.157 Тб и 10.165 Тб данных, соответственно. Среднее количество запрашиваемых файлов - 36566 в день (ftp) и 7213 в день (http), объем данных - 41.173 Гб в день и 22.596 Гб в день, соответственно. В мае 2004 года среднестатистическая загрузка сервера составила около 200 Гб в день, в среднем поровну по протоколам ftp и http. Абсолютный максимум трафика - 12.2 Мб/сек (98% загрузка 100 Мбитного канала) наблюдался 18-19 мая 2004, примерно через час после выхода нового релиза Fedora Core Linux. Это соответствовало около 800 Гб в день, из которых 270 Гб составил трафик ftp, и 530 Гб - http.

Хотя основными пользователями сервера являются пользователи компьютеров, зарегистрированных в домене RU, следует с сожалением упомянуть, что из года в года их доля снижается, и он становится все более популярным за рубежом.

Таблица 1. Статистика запросов по протоколу ftp среди пользователей различных доменов (по объему трафика, в %)

-------------------------------------
Домен	 март	 март	12 мес	 май 
	2001[4]	 2002	 2003	 2004
-------------------------------------
RU	56.93	39.50	32.95	23.43
unres	25.18	20.95	28.23	28.62
SU	 7.78	 0.98	 1.79	 1.12
NET	 5.63	 8.26	13.41	13.22
COM	 1.89	 4.17	 6.30	 8.18
UA	 0.27	 1.28	 0.97	 0.73
FR	 0.22	 9.57	 1.10	 1.56
DE	 0.20	 0.24	 1.04	 1.54
UK	 0.17	 0.10	 0.31	 0.91
IL	 0.14	 0.17	 0.77	 1.25
EDU	 0.13	 0.71	 0.54	 0.75
IT	 0.10	 0.17	 0.87	 2.05
EE	 0.10	 0.19	 0.83	 1.17
CA	 0.10	 5.30	 1.06	 1.25
BY	 0.08	 0.07	 0.23	 0.34
BE	 0.07	 2.86	 0.54	 0.91
FI	 0.05	 0.03	 0.59	 1.59
AU	 0.04	 0.07	 0.13	 0.27
AT	 0.04	 0.56	 0.17	 0.09
ES	 0.04	 0.57	 0.25	 0.24
SE	 0.04	 0.77	 0.33	 0.45
PL	 0.04	 0.17	 1.03	 2.10
NL	 0.03	 0.39	 1.00	 1.07
LT	 0.03	 0.76	 0.53	 0.46
BR	 0.02	 0.93	 0.57	 1.34
CH	 0.01	 0.28	 0.87	 0.23
HU	 0.01	 0.02	 0.21	 0.52
JP	 0.01	 0.12	 0.66	 0.74
-------------------------------------

В этой таблице компьютеры, не зарегистрированные в DNS, обозначены как unres.

Выборочный анализ таких IP-адресов показывает, что большая часть из них принадлежит зарубежным провайдерам. Среди пользователей, работающих по протоколу HTTP, в 2003 году лидируют домены: незарегистрированные в DNS - 3.112 Tb за год (30.62%), RU - 1.880 Tb за год (18.50%), NET - 1.566 Tb за год (15.41%). Далее идут пользователи из доменов COM (961 Гб, 9.45%), DE (264 Гб, 2.60%), IL (207 Гб, 2.05%), PL (183 Гб, 1.81%), NL (174 Гб, 1.71%), UA (140 Гб, 1.38%), EE (136 Гб, 1.34%), IT (95 Гб, 0.94%), FR (94 Гб, 0.93%), CA (88 GB, 0.87%).

То, что сервер популярен не только (и даже не столько) в России, а за ее пределами, по-видимому следует объяснить его уникальным наполнением, известном всему миру (сервер зарегистрирован как официальное зеркало популярных пакетов и дистрибутивов), а также тем, что он хорошо доступен для большинства зарубежных научных сетей.

Таблица 2. Статистика трафика по протоколу ftp по различным дистрибутивам (в Гб, в скобках - в %)

 янв-май
		   2001		  2002		2003	     2004
Linux		4076 (58.72)   12200(73.39)  9219(65.12)  6163(71.88)
FreeBSD		 679 (9.78)     1621 (9.79)  1692(11.95)   625 (7.22)
sourceware	 100 (1.44)	 516 (3.11)   775 (5.47)   623 (7.25)	
games		 500 (7.20)	 913 (5.52)   468 (3.30)   169 (1.97)
simtelnet	 250 (3.60)	37.5 (0.23)   305 (2.15)   113 (1.31)
sourceforge		-	 215 (1.30)   282 (1.99)   170 (1.98)
winsite		76.5 (1.10)	69.2 (0.42)   204 (1.44)  78.9 (0.92)
TeX		62.1 (0.89)	 180 (1.09)   176 (1.24)  46.8 (0.55)
NetBSD		 108 (1.55)	14.2 (0.09)   136 (0.96)  26.1 (0.30)
pc		 184 (2.65)	 101 (0.61)   121 (0.85)  43.1 (0.50)
X11		 132 (1.89)	 184 (1.11)   108 (0.76)  47.9 (0.56)
OpenOffice		-	82.0 (0.50)   101 (0.72)   136 (1.59)
lang		 223 (3.22)	82.6 (0.50)  78.7 (0.56)  25.1 (0.29)
hamradio		-	30.5 (0.18)  68.0 (0.48)  18.5 (0.22)
hurd-iso		-	13.2 (0.08)  67.7 (0.48)  55.7 (0.65)
gnu		53.4 (0.77)	58.9 (0.36)  61.9 (0.44)   116 (1.35)
OpenBSD		 103 (1.48)	23.3 (0.14)  58.8 (0.42)  7.01 (0.08)
WWW		81.8 (1.18)	59.6 (0.36)  54.7 (0.39)  15.6 (0.18)
databases	90.7 (1.31)	57.6 (0.35)  49.7 (0.35)  30.8 (0.36)
Solaris		29.7 (0.43)	6.34 (0.04)  27.3 (0.19)  12.4 (0.14)
BeOS		32.9 (0.47)	20.6 (0.12)  19.4 (0.14)  7.51 (0.09)
networking	6.79 (0.10)	16.5 (0.10)  14.5 (0.10)  11.4 (0.13)
XFree86		71.5 (1.03)	37.2 (0.22)  13.6 (0.10)  7.53 (0.09)
emacs		7.29 (0.11)	14.4 (0.09)  11.2 (0.08)  4.69 (0.05)
security	25.9 (0.37)	15.2 (0.09)  10.8 (0.08)  3.83 (0.04)
doc		6.27 (0.09)	8.03 (0.05)  9.85 (0.07)  2.06 (0.02)
multimedia	4.06 (0.06)	2.42 (0.01)  6.33 (0.04)  8.58 (0.10)
math		5.22 (0.08)	4.20 (0.03)  6.07 (0.03)  1.73 (0.02)
graphics	0.27		0.53         4.12 (0.03)  0.91 (0.01)
prog		25.9 (0.37)	19.5 (0.12)  3.68 (0.03)  6.60 (0.08)
benchmark	0.14		1.33 (0.01)  2.17 (0.02)  1.41 (0.02)
science		1.76 (0.03)	0.43         1.67 (0.01)  0.94 (0.01)
unix		2.39 (0.03)	2.79 (0.02)  1.63 (0.01)  0.60 (0.01)
Total		6.941 Tb	16.564 Tb    14.157 Tb	  8.574 Тб

Из дистрибутивов Linux наиболее популярны Mandrake, Fedora, ALTLinux, SuSE, RedHat, KNOPPIX. По протоколу http в 2003 году был наиболее популярен Linux - 8.199 Tb (80.66%), среди разных дистрибутивов Linux - ALTLinux (2.641 Tb, 25.99%), Knoppix (2.133 Tb, 20.99%), BLin (622 Гб, 6.12%), Caldera (617 Гб, 6.08%), RedHat (498 Гб, 5.63%), Debian Linux (412 Гб, 4.11%), Mandrake (223 Гб, 2.20%), ASPLinux (197 Гб, 1.95%). Из других категорий ПО наиболее популярны SimtelNet (434 Гб, 4.27%) и FreeBSD (280 Гб, 2.76%).

Число одновременно работающих пользователей - в среднем около 300-400, максимум - до 500-750 FTP и 1000 HTTP (ограничено настройкой в конфигурации).

5. Архитектура сервера

За прошедшие 10 лет архитектура сервера постоянно совершенстовалась и в различные годы была различной. Первоначально ftp.chg.ru базировался на центральном сервере ИТФ им. Л.Д. Ландау вместе с сервером itp.ac.ru. Примерно в конце 1995 года он вместе с www.chg.ru переехал на новый сервер и лишь в конце 1997 года выделился в отдельный сервер.

С самого начала в качестве операционной системы сервера использовалась FreeBSD и на первом этапе (1994-1997 гг.) для хранения информации в основном использовались SCSI-диски, причем в отдельные периоды часть дискового пространства монтировалась по NFS с нескольких рабочих станций.

На сегодня сервер ftp.chg.ru построен на основе ПК под управлением FreeBSD. Оновной дисковый массив состоит из 8 ATA (UDMA100/133) дисков емкостью 200-250 Гб, кроме того несколько дисков меньшей емкости (100-120 Гб) монтируются по NFS со вспомогательного сервера. Наш опыт работы показывает, что такая конфигурация сервера вполне подходит для серверов с объемом трафика 2-3 Тб в месяц.

6. Проблемы и перспективы

За время эксплуатации обнаружились следующие слабые места:
- дисковая система ATA является узким местом производительности сервера
- существующая архитектура сервера обладает ограниченной масштабируемостью и вряд ли позволит увеличить объем хранимой информации свыше 2-3 Тбайт.
- сложно обеспечить необходимый температурный режим в стандартном корпусе ПК, содержащем 9 дисков
- существующие на сегодня серийные ATA-диски большой емкостью весьма критичны к температурному режиму и имеют тенденцию к самопроизвольному отключению из-за перегрева при высокой нагрузке (особенно это относится к дискам Western Digital).

К сожалению, существующие SCSI диски имеют существенно меньшую емкость (в 5-10 раз ниже), и поэтому приобретение надежного дискового RAID массива требует значительных затрат.

Кроме того, в связи с тем, что уже достигнут предел пропускной способности 100 Мбитного канала, следует рассмотреть возможность организации более скоростного, гигабитного подключения к MSK-IX.

К существенной проблеме следует отнести снижение интереса к архиву у Российских пользователей. С одной стороны, это является следствием растущей пропускной способности зарубежных каналов российских сетей, в результате чего многие российские пользователи скачивают необходимое ПО непосредственно с оригинальных сайтов из-за рубежа, и в то же время растет доступность сервера для зарубежных пользователей. С другой стороны, по личному мнению авторов, это является следствием широкого распространения в России нелицензионного ПО, и прежде всего продуктов Microsoft, в результате чего рядовому пользователю дешевле купить пиратский (к сожалению!) диск, нежели тратить время и деньги на получение, установку и изучение свободного ПО.

7. Литература

1. П.Д. Юнихов. Лучше нету Chg-netу. Черноголовская газета, N20(363), 16-22 мая 1998. http://www.chg.ru/Newspaper/363/Content.html
2. http://www.filesearch.ru/top100.html, а также snapshots за предудущие годы на http://web.archive.org/web/*/http://www.filesearch.ru/
3. С.А. Крашаков. - в стадии подготовки.
4. С.А. Крашаков, Л.Н. Щур. FTP.CHG.RU - Опыт создания и поддержки крупнейшего в России архива свободно распространяемого программного обеспечения. Труды Всерос. научной конф. "Научный сервис в сети ИНТЕРНЕТ 2001", Новороссийск, 24-29 сент. 2001, с. 170-171.

 
(c) Department of applied network research SCC RAS
Slideshow is powered by phatfusion / Design by Next Level Design / Script by Joomla!
XXX Porn Tube