---
authors:
  - 
    author: 'Jun Kuriyama'
    email: kuriyama@FreeBSD.org
  - 
    author: 'Valentino Vaschetto'
    email: logo@FreeBSD.org
  - 
    author: 'Daniel Lang'
    email: dl@leo.org
  - 
    author: 'Ken Smith'
    email: kensmith@FreeBSD.org
description: 'Полное руководство по зеркалированию веб-сайта FreeBSD, FTP-серверов и многого другого'
tags: ["Mirroring", "FreeBSD", "Hub"]
title: 'Поддержка зеркал FreeBSD'
trademarks: ["freebsd", "general"]
---

= Поддержка зеркал FreeBSD
:doctype: article
:toc: macro
:toclevels: 1
:icons: font
:sectnums:
:sectnumlevels: 6
:source-highlighter: rouge
:experimental:
:images-path: articles/hubs/

ifdef::env-beastie[]
ifdef::backend-html5[]
include::shared/authors.adoc[]
include::shared/mirrors.adoc[]
include::shared/releases.adoc[]
include::shared/attributes/attributes-{{% lang %}}.adoc[]
include::shared/{{% lang %}}/teams.adoc[]
include::shared/{{% lang %}}/mailing-lists.adoc[]
include::shared/{{% lang %}}/urls.adoc[]
:imagesdir: ../../../images/{images-path}
endif::[]
ifdef::backend-pdf,backend-epub3[]
include::../../../../shared/asciidoctor.adoc[]
endif::[]
endif::[]

ifndef::env-beastie[]
include::../../../../../shared/asciidoctor.adoc[]
endif::[]

[.abstract-title]
Аннотация

Рабочий вариант статьи, описывающей процесс создания и поддержки зеркала FreeBSD и адресованной администраторам зеркал.

'''

toc::[]

[NOTE]
====
На текущий момент заявки на подключение новых зеркал не принимаются.
====

[[mirror-contact]]
== Контактная информация

Координаторы системы зеркал доступны по электронной почте по адресу mailto:mirror-admin@FreeBSD.org[mirror-admin@FreeBSD.org]. Помимо этого, существует {freebsd-hubs}.

[[mirror-requirements]]
== Требования к зеркалам FreeBSD

[[mirror-diskspace]]
=== Дисковое пространство

Одним из наиболее важных требований является дисковое пространство. В зависимости от набора релизов, архитектур и степени полноты зеркала вам может потребоваться огромный объем диска. Не лишним будет помнить, что _официальное_ зеркало, скорее всего, должно быть полным. Веб-страницы всегда должны зеркалироваться полностью. Кроме того, учтите, что приводимые оценки объема относятся к состоянию на момент последнего редактирования данной статьи ({rel120-current}-RELEASE/{rel113-current}-RELEASE). Дальнейший процесс разработки и последующие релизы только увеличат требуемый объем. Кроме того, разумно будет зарезервировать некоторое (10-20%) дополнительное пространство спокойствия ради. Вот некоторые оценки объема:

* Полное зеркало FTP: 1.4 TB
* Комплект изменений CTM: 10 GB
* Веб-страницы: 1 GB

Текущее использование диска зеркалом FTP можно посмотреть на link:ftp://ftp.FreeBSD.org/pub/FreeBSD/dir.sizes[ftp://ftp.FreeBSD.org/pub/FreeBSD/dir.sizes].

[[mirror-bandwidth]]
=== Требования к сетевой связности и пропускной способности

Разумеется, у вас должно быть подключение к интернет. Требуемая пропускная способность ваших каналов зависит от предполагаемого профиля использования вашего зеркала. Если вы собираетесь копировать некоторые части FreeBSD для локального использования на вашей машине или в интранете, требования могут быть много мягче, чем для публичного зеркала. Для официального зеркала необходимая пропускная способность увеличивается еще больше. Мы можем дать лишь очень грубые оценки:

* Зеркало для локального доступа: фактически минимум не определен, но канал шириной менее 2 Mbps может сделать процесс обновления мучительно медленным.
* Неофициальное публичное зеркало: 34 Mbps выглядит неплохо для начала.
* Официальное зеркало: рекомендуется канал шириной более 100 Mbps; кроме того, ваша машина должна стоять как можно ближе к граничным маршрутизаторам вашей сети.

[[mirror-system]]
=== Системные требования, процессор и память

Эти требования в первую очередь определяются максимальным ожидаемым количеством клиентов (устанавливается администратором сервера). Также, на требуемые ресурсы влияет список сервисов, которые вы будете предоставлять. Зеркала FTP и/или HTTP не требуют особенно много ресурсов. Будьте на чеку, если планируете предоставлять rsync. Выбор rsync может иметь огромное влияние на требования к аппаратным ресурсам, поскольку rsync признан "прожорливым" по памяти. Вот некоторые советы по конфигурации аппаратной части сервера.

Для умеренно посещаемого сайта, предоставляющего rsync, можно использовать процессор с частотой 800MHz - 1 GHz и по крайней мере 512MB памяти. Скорее всего, данная конфигурация может считаться минимальной для _официального_ зеркала.

Для регулярно посещаемого сайта вам потребуется больше памяти (хорошим стартом будет 2GB) и больше процессорной мощности, что может означать требование многопроцессорной (SMP) платформы.

Кроме того, вам потребуется быстрая дисковая подсистема, в первую очередь, для работы с репозиторием SVN (крайне рекомендуем RAID). Контроллер SCSI, оборудованный собственной памятью, также может ощутимо ускорить процесс, поскольку большая часть сервисов связана с большим количеством дисковых запросов небольшого размера.

[[mirror-services]]
=== Предоставляемые сервисы

Всякое зеркало должно предоставлять набор основных сервисов. Помимо требуемого минимального набора, существуют дополнительные сервисы, которые администратор сервера может пожелать предоставлять. Этот раздел описывает, какие сервисы вы можете предоставлять, и какие действия для этого потребуются от вас.

[[mirror-serv-ftp]]
==== FTP (требуется для FTP зеркала)

Это один из наиболее базовых сервисов; его предоставление требуется для каждого зеркала, распространяющего файлы FreeBSD по FTP. Доступ по FTP должен быть анонимным, и не должны применяться какие-либо ограничения по соотношению объема передано/принято (что вообще является, на наш взгляд, странным подходом). Закачка (upload) файлов на сервер не требуется (и _должна_ быть запрещена в разделе FreeBSD). Кроме того, архив файлов FreeBSD должен быть доступен с путем [.filename]#/pub/FreeBSD#.

Для предоставления анонимного FTP доступа может быть использован целый ряд программ (перечислены в алфавитном порядке).

* `/usr/libexec/ftpd`: базовый FTP-даемон FreeBSD. Не забудьте прочитать man:ftpd[8].
* package:ftp/ncftpd[]: коммерческий пакет, свободен для использования в учебных целях.
* package:ftp/oftpd[]: FTP-даемон, написанный в основном с точки зрения защищенности.
* package:ftp/proftpd[]: Модульный и очень гибкий FTP-даемон.
* package:ftp/pure-ftpd[]: Еще один FTP-даемон, разработанный с позиций защищенности.
* package:ftp/twoftpd[]: См. предыдущий пункт.
* package:ftp/vsftpd[]: "очень защищенный" ("very secure") ftpd.

ftpd, proftpd и, возможно, ncftpd являются наиболее часто встречающимися FTP серверами. Прочие распространены среди существующих зеркал в существенно меньшей степени. Дополнительным поводом для рассмотрения может являться возможность гибко ограничивать количество одновременных соединений, что поможет вам удержать в нужных рамках потребление пропускной способности ваших каналов и машинные ресурсы.

[[mirror-serv-rsync]]
==== Rsync (необязательный сервис для FTP зеркала)

rsync часто используется для предоставления доступа к FTP-области FreeBSD, чтобы другие зеркала могли синхронизироваться по вашему. Протокол rsync во многом отличается от FTP, в частности, он гораздо гуманнее с точки зрения пропускной способности каналов, поскольку не требует передачи измененного файла целиком (передаются лишь различия). Взамен rsync требует значительных объемов памяти. Размер каждого процесса зависит от размера синхронизируемого модуля (в основном от количества каталогов и файлов). rsync может использовать в качестве транспортного протокола `rsh` или `ssh` (по умолчанию); также, может использоваться внутренний протокол rsync (этот метод предпочтителен для публичных rsync-серверов). Поддерживается авторизация клиентов и различные ограничения. Для протокола rsync существует единственный пакет:

* package:net/rsync[]

[[mirror-serv-http]]
==== HTTP (требуется для веб-страниц, дополнителен для FTP зеркал)

Если вы хотите поддерживать зеркало веб-страниц FreeBSD, вам потребуется установить веб-сервер. Дополнительно, вы можете предоставлять HTTP доступ к FTP-набору файлов FreeBSD. Выбор веб-сервера остается на усмотрение администратора зеркала. Некоторые из наиболее популярных веб-серверов перечислены ниже:

* package:www/apache24[]: Apache - самый широко распространённый в Интернете веб-сервер, активно используемый проектом FreeBSD.
* package:www/boa[]: Boa - это однозадачный HTTP-сервер. В отличие от традиционных веб-серверов, он не создает отдельные процессы для каждого входящего соединения и не запускает множество копий самого себя для обработки множества соединений. Тем не менее, он должен обеспечивать значительно более высокую производительность для чисто статического контента.
* package:www/cherokee[]: Cherokee — это очень быстрый, гибкий и простой в настройке веб-сервер. Он поддерживает распространённые современные технологии: FastCGI, SCGI, PHP, CGI, SSL/TLS-шифрование соединений, виртуальные хосты, аутентификацию пользователей, динамическое кодирование и балансировку нагрузки. Также он генерирует журналы, совместимые с Apache.
* package:www/lighttpd[]: lighttpd — это безопасный, быстрый, совместимый и очень гибкий веб-сервер, оптимизированный для высокопроизводительных сред. По сравнению с другими веб-серверами, он имеет очень низкое потребление памяти и эффективно распределяет нагрузку на процессор.
* package:www/nginx[]: nginx — это высокопроизводительный веб-сервер с низким потреблением памяти и ключевыми функциями для построения современной и эффективной веб-инфраструктуры. Возможности включают HTTP-сервер, обратный прокси для HTTP и почты, кэширование, балансировку нагрузки, сжатие, ограничение запросов, мультиплексирование и повторное использование соединений, выгрузку SSL и потоковую передачу HTTP-медиа.
* package:www/thttpd[]: Если вам необходимо обслуживать большое количество статического контента, вы можете обнаружить, что использование приложения, такого как thttpd, более эффективно по сравнению с другими. Оно также оптимизировано для отличной производительности в FreeBSD.

[[mirror-howto]]
== Как вести зеркало FreeBSD

Теперь вам известно, какая потребуется машина и как предоставлять сервисы, но не как получить их самому. :-) В этом разделе описывается процесс ведения зеркала и поддержания его в актуальном состоянии, в том числе какие инструменты использовать и какие сайты выбирать в качестве источников для синхронизации.

[[mirror-ftp-rsync]]
=== Зеркалирование FTP-области

Файлы, доступные по FTP, составляют большую часть зеркала. Они включают __дистрибутивные наборы__, необходимые для установки по сети, __ветви (branches)__, в которых отражено текущее состояние исходных текстов, _образы ISO_ для записи компакт-дисков с дистрибутивами для установки, образами "живых" файловых систем и пакетами, дерево портов, исходные дистрибутивы для сборки портов и кучу готовых пакетов. И, разумеется, все вышеописанное - для разных версий FreeBSD и различных архитектур.

Наиболее эффективным будет синхронизация FTP-области при помощи rsync. Для этого следует установить пакет package:net/rsync[], который был описан в разделе <<mirror-serv-rsync>>. Поскольку доступ по протоколу rsync не является обязательным, выбранный вами сайт может его не поддерживать. Возможно, вам придется немного поискать в сетевой окрестности зеркало, поддерживающее rsync.

[NOTE]
====
Поскольку от количества клиентов rsync ощутимо зависит загрузка сервера, большинство администраторов вводят ограничения доступа. Для поддержания зеркала вам следует связаться с администратором сайта, с которым вы будете синхронизироваться, для уточнения локальных правил и, возможно, для внесения в них исключения для вас (поскольку вы также поддерживаете зеркало).
====

Строка для синхронизации FreeBSD по rsync выглядит примерно так:

[source, shell]
....
% rsync -vaHz --delete rsync://ftp4.de.FreeBSD.org/FreeBSD/ /pub/FreeBSD/
....

Загляните в документацию по rsync, также доступную по адресу http://rsync.samba.org/[http://rsync.samba.org/] за дополнительной информацией по различным опциям rsync. Обратите внимание, что в случае синхронизации модуля целиком (а не отдельного каталога) необходимо явно указать результирующий каталог, потому что каталог с именем модуля (в данном случае "FreeBSD") не создается. Для поддержания актуальности вам потребуется создать скрипт для запуска подобной команды из man:cron[8].

[[mirror-www]]
=== Зеркалирование страниц WWW

[WARNING]
====
После перевода документации на Hugo/Asciidoctor 2021-01-25, зеркалирование веб-сайта с помощью rsync больше не работает.
====

Ведутся исследования по реализации зеркала веб-сайта с использованием extref:{handbook}mirrors/[официальной инфраструктуры].

Для прежних зеркал веб-сайтов способ достичь зеркалирования сегодня — это собрать веб-сайт локально с соответствующим адресом, на котором он будет размещён.

[source, shell]
....
% cd website && env HUGO_baseURL="https://www.XX.freebsd.org/" make
....

Проверьте дополнительные сведения о инструментах сборки в extref:{fdp-primer}overview/[Проект документации FreeBSD: введение для новых участников, overview-quick-start].

////
[source,shell]
....
% rsync -vaHz --delete rsync://bit0.us-west.freebsd.org/FreeBSD-www-data/ /usr/local/www/
....
////

[NOTE]
====
Обратите внимание, что сайт был разделён на www.FreeBSD.org и docs.FreeBSD.org, и между ними есть ссылки; кроме того, на данный момент переменная `HUGO_baseURL` не охватывает все ссылки, поэтому зеркалирование сайта не рекомендуется.
====

[[mirror-pkgs]]
=== Зеркалирование пакетов

Из-за очень высоких требований к пропускной способности, хранилищу и администрированию проект FreeBSD принял решение не разрешать публичные зеркала пакетов. Для сайтов с большим количеством машин может быть выгодно запустить кэширующий HTTP-прокси для процесса man:pkg[8]. Или конкретные пакеты и их зависимости можно загрузить, выполнив что-то вроде следующего:

[source, shell]
....
% pkg fetch -d -o /usr/local/mirror vim
....

После загрузки этих пакетов необходимо сгенерировать метаданные репозитория, выполнив:

[source, shell]
....
% pkg repo /usr/local/mirror
....

После загрузки пакетов и генерации метаданных репозитория предоставьте пакеты клиентским машинам через HTTP. Дополнительную информацию можно найти на man-страницах man:pkg[8], в частности на странице man:pkg-repo[8].

[[mirror-how-often]]
=== Как часто синхронизироваться?

Каждое зеркало должно обновляться как минимум раз в день. Конечно, потребуется скрипт с блокировкой, чтобы предотвратить одновременный запуск нескольких копий, который будет запускаться из man:cron[8]. Поскольку почти каждый администратор делает это по-своему, конкретные инструкции предоставить невозможно. Это может работать примерно так:

[.procedure]
====
. Создайте скрипт с командой, которая запустит нужное приложение для обновления зеркала. Рекомендуем использовать скрипт на языке обычного `/bin/sh`.
. Добавьте команд перенаправления вывода, чтобы записать диагностику работы в файл.
. Попробуйте, как ваш скрипт работает. По завершении проверьте журналы.
. При помощи утилиты man:crontab[1] добавьте ваш скрипт в таблицу регулярных заданий man:crontab[5] соответствующего пользователя. Это должен быть пользователь, отличный от пользователя FTP-даемона, чтобы файлы в FTP-области без атрибута "чтение для всех" не были доступны анонимным FTP-пользователям. Данное свойство используется для тестирования перед выходом новых релизов, для того чтобы удостовериться, что все официальные зеркала содержат все необходимые файлы к моменту официального объявления релиза.
====

Некоторые рекомендуемые установки частоты обновления:

* FTP-набор: раз в сутки
* WWW-страницы: раз в сутки

[[mirror-where]]
== С какого сервера синхронизироваться

Это важный вопрос, так что мы попытаемся пояснить, откуда берутся ответы. Для начала повторим еще несколько раз: _никогда не синхронизируйтесь с ftp.FreeBSD.org_.

[[mirror-where-organization]]
=== Организация системы зеркал

Зеркала организуются по странам. Имена хостов всех официальных зеркал построены по принципу `ftpN.CC.FreeBSD.org`, где _CC_ (country code) - домен верхнего уровня страны, где расположено зеркало, _N_ - номер зеркала в данной стране. Этот же принцип применим к именам хостов `wwwN.CC.FreeBSD.org` и т.п. Кроме того, есть зеркала без доменной части, обозначающей страну. Все они имеют очень хорошие внешние каналы и обслуживают большое число одновременных соединений. Имя `ftp.FreeBSD.org` на самом деле указывает на две машины, одна из которых в настоящее время находится в Дании, а другая в США. Ни одна из этих машин _НЕ_ является основным сайтом, и потому не должна использоваться для синхронизации. Масса документации для "живых" пользователей указывает на `ftp.FreeBSD.org`, так что автоматическим системам ведения зеркал следует выбирать другие источники синхронизации.

Кроме того, существует иерархия зеркал в терминах их удаленности от центра, или __слоях__. Основные сайты могут быть описаны как __Зеркала нулевого слоя__. Зеркала, синхронизирующиеся по ним, считаются __слоем 1__, следующие - _слоем 2_ и т.д. Официальные сайты приглашаются на низкие слои, однако следует помнить, что чем меньше номер слоя, тем выше требования к зеркалу, как было описано в <<mirror-requirements>>. Помимо того, доступ к зеркалам 1 слоя может быть ограничен; безусловно ограничен доступ к основным сайтам. Иерархия _слоев_ не отражается в DNS и, вообще говоря, нигде (кроме мастер-сайтов) не документирована. Тем не менее, официальные зеркала с малыми (1-4, как правило) номерами обычно представляют первый слой. (Это грубая оценка, и ни в коем случае не правило).

[[mirror-where-where]]
=== Так откуда же мне синхронизироваться?

Главное - НЕ с `ftp.FreeBSD.org`. Короткий ответ: с зеркала, которое расположено недалеко от вас в терминах Интернет, и/или доступ к которому наилучший.

[[mirror-where-simple]]
==== Я хочу получить копию зеркала хоть откуда-нибудь!

Если у вас нет особых намерений или требований, применимо утверждение в crossref:hubs[mirror-where-where, Так откуда же мне синхронизироваться?]. Это означает:

[.procedure]
====
. Выберите те из них, с которыми вам работать быстрее всего (меньшее число промежуточных узлов и время отклика), и которые предоставляют нужные вам сервисы (такие как rsync).
. Свяжитесь с администраторами выбранного сервера, опишите ваши запросы и уточните их правила.
. Сконфигурируйте ваше зеркало, как описывалось выше.
====

[[mirror-where-official]]
==== Я поддерживаю официальное зеркало, какой сайт мне выбрать?

В основном, правила, описанные в crossref:hubs[mirror-where-simple, Я хочу получить копию зеркала хоть откуда-нибудь!], применимы. Дополнительно можно убедиться, что выбранный сайт принадлежит низкому слою. Другие соображения относительно _официальных_ зеркал описаны в <<mirror-official>>.

[[mirror-where-master]]
==== Мне нужен доступ к основным сайтам!

При наличии достаточных причин вы можете получить доступ к одному из основных сайтов. Доступ к ним ограничен; существуют специальные правила их использования. Наличие у вас статуса _официального_ зеркала, безусловно, является хорошим подспорьем. В противном случае убедитесь, что ваша страна действительно нуждается еще в одном зеркале. Если их уже три или более, сначала свяжитесь с администратором соответствующей зоны DNS (mailto:hostmaster@CC.FreeBSD.org[hostmaster@CC.FreeBSD.org]) или напишите в {freebsd-hubs}.

Тот, кто помог вам стать _официальным_ зеркалом, должен был помочь вам получить доступ к соответствующему вышестоящему хосту — либо к одному из основных сайтов, либо к подходящему сайту уровня Tier-1. Если этого не произошло, вы можете отправить письмо по адресу mailto:mirror-admin@FreeBSD.org[mirror-admin@FreeBSD.org], чтобы запросить помощь в этом вопросе.

Существует один основной сайт для синхронизации набора файлов FTP.

[[mirror-where-master-ftp]]
===== ftp-master.FreeBSD.org

Это основной сервер для синхронизации FTP набора.

В дополнение к FTP, `ftp-master.FreeBSD.org` поддерживает доступ по rsync. Использование этих протоколов описано в crossref:hubs[mirror-ftp-rsync, Mirroring the FTP Site].

Приветствуется предоставление зеркалами _1 уровня_ доступа к FTP-области по протоколу rsync.

[[mirror-official]]
== Официальные зеркала

Официальные зеркала обладают следующим свойствами

* a) имеют запись в домене `FreeBSD.org` (обычно типа CNAME).
* b) присутствуют в списке официальных зеркал в Руководстве по FreeBSD и другой документации.

На настоящий момент это все, что отличает их от прочих зеркал. Официальные зеркала не обязательно принадлежат к __Первому уровню__, однако, вряд ли можно найти зеркало __уровня 1__, не являющееся официальным.

[[mirror-official-requirements]]
=== Отдельные требования к официальным зеркалам 1 уровня

Описать требования для всех официальных зеркал не так просто, поскольку проект FreeBSD достаточно мягок в этом отношении. Несколько проще указать, что требуется от __официальных зеркал уровня 1__. Прочие официальные зеркала должны рассматривать этот список как __настойчивые пожелания__.

Зеркала 1 уровня должны:

* поддерживать полный список файлов
* предоставлять доступ для других зеркал
* обеспечивать доступ по протоколам ftp и rsync

Кроме того, администратор такого зеркала должен быть подписан на {freebsd-hubs}. См. extref:{handbook}eresources[здесь, eresources-mail] для дополнительной информации о подписке.

[IMPORTANT]
====
Очень важно для администратора хаба, особенно администраторов хаба уровня Tier-1, проверять https://www.FreeBSD.org/releng/[график выпусков] следующего релиза FreeBSD. Это важно, потому что это позволит вам узнать, когда запланирован выход следующего релиза, и, таким образом, даст вам время подготовиться к большому всплеску трафика, который последует за ним.

Кроме того, важно поддерживать актуальность зеркал (в особенности зеркал уровня 1). Если Зеркало1 не синхронизировалось в течение длительного времени, то зеркала следующего уровня будут синхронизироваться по устаревшей информации и т.д. Поддерживайте актуальность ваших зеркал!
====

[[mirror-official-become]]
=== Как стать официальным зеркалом?

Обратитесь к администраторам кластера, как указано в документации по адресу https://www.FreeBSD.org/administration/#t-clusteradm.

[[mirror-statpages]]
== Статистика некоторых зеркал

Вот ссылки на страницы статистики ваших любимых зеркал (иначе говоря, единственных, кто предоставляет такую статистику).

[[mirror-statpagesftp]]
=== Статистика FTP сайтов

* ftp.is.FreeBSD.org - mailto:hostmaster@is.FreeBSD.org[hostmaster@is.FreeBSD.org] - http://www.rhnet.is/status/draupnir/draupnir.html[ (Bandwidth)] http://www.rhnet.is/status/ftp/ftp-notendur.html[(FTP processes)] http://www.rhnet.is/status/ftp/http-notendur.html[(HTTP processes)]
* ftp2.ru.FreeBSD.org - mailto:mirror@macomnet.ru[mirror@macomnet.ru] - http://mirror.macomnet.net/mrtg/mirror.macomnet.net_195.128.64.25.html[(Bandwidth)] http://mirror.macomnet.net/mrtg/mirror.macomnet.net_proc.html[(HTTP and FTP users)]
