Описание
Год Выпуска: 2025 Версия: 18.2.4 Build Reef
Разработчик: Ceph.com
Системные требования:
- Core i3-5xxx+, 16 Gb RAM, 64+ Gb на NVMe-диске - рекомендуемые
- Core 2 Duo, 4 Gb RAM, 12 Gb на любом диске как самый минимум
- Навыки продвинутого Linux-администва
- Готовность курить тонны мануалов =)
Архитектура: x86, amd64
Таблэтка: не требуется
Язык интерфейса: Английский
MD5: a0bb9a91061561cb71ac0733350fde2a
SHA256: 48f3fc67908851675a44c69c77d0c5e2e6b7e6ef6eef3ac3fe971ad2457db71b
2.7 Gb OVA -> 8 Гб на диске (+ возможен рост до 18-20 Гб)
Описание: Готовый для запуска VirtualBox-шаблон *.ova (разворачивает 13 ВМ разом в 5 группах) полностью настроенного и готового к опытам цеф-кластера с ключевыми сервисами - MON+MGR / OSD / RGW / MDS, с разделением на публичную и кластерную сети, поднятый на весьма минималистичном линуксе, который вообще может быть применён для такой зловещей софтины.
Это один из самых сложных в настройке сервисов. Конфиг системы содержит порядка 2000 параметров, существенная часть которых документирована только исходным кодом. Документация между версиями совместима частично.
Используется для организации масштабируемых блочных / S3 хранилищ петабайтного масштаба.
Первый запуск и настройка
- импортируйте OVA-файл, дождитесь завершения импорта, но сразу НЕ СТАРТУЙТЕ.
- Для VM Ceph-18.2.4-Admin желательно настроить сеть на первой сетевухе с доступом в интернет.
Тут целых три варианта :
- вместо виртуальной сети Ceph-18-2-4-ExternalNetсделать сетевой мост с той физической сетевой картой, где у вас домашняя сеть
- поднять виртуальный роутер на базе вспомогательной ВМ TinyGate, соединив её LAN-порт #2 с виртуальной сетью Ceph-18-2-4-ExternalNet
- прописать адрес статикой на внутреннийeth0.
ВАЖНО !! Данный сетап Ceph использует внутренние статические адреса 10.67.(67|89).*!! Изменения - на вашу смелость.
Это облегчит синхронизацию времени в кластере.
- Адреса в Ceph-18-2-4-ExternalNet могут быть любые, главное, чтобы не из 10.67.(67|89).*
- Запустите все ВМ. Если запуск всех ВМ разом затруднителен, то запускать можно группами/частями.
Несколько моментов:
- MON-ы запускайте либо все сразу в группе, либо хотя бы два одновременно. Кластер жив и управляем при любых двух активных MON. Без кворума будет грузиться дольше и сложнее.
- OSD лучше пускануть все разом, ну или минимум 3 в группе. При запуске по одному кластер может какое-то время поколбасить, особенно если стенд с медленными дисками.
- MDS и RGW можете не запускать вообще, если не планируете играться с CephFS / S3. Их работа не обязательна.
- Админ-ВМка Ceph-18.2.4-Adminсделана для удобства доступа извне и тоже в принципе не обязательна, но она также несёт на себе настроенный сервер NTP, который используют все остальные ВМ кластера.
- Если вам нужен доступ по SSH, его имеет смысл делать через VM Ceph-Admin, включить надо в конфиге sshdи настройках iptables!!
P. S. Подразумевается, что линукс-консоль для вас родная, а доступ по ключам в ссш вы настраиваете с завязанными глазами, даже если вас разбудить 1 января после новогоднего корпоратива =)
Безопасность, вот прям ОЧЕНЬ важно
Соблюдение минималистичности при сохранении относительной простоты сетапа требует жертв. Одна из таких жертв - отказ от авто-деплоя (таких манов вагон в интернете, разной степени мутности).
Поэтому все ключи, что SSH, что Ceph - прописаны в скриптах и конфигах, а значит, скомпрометированы по умолчанию.
Поэтому:
НИКОГДА НЕ ИСПОЛЬЗУЙТЕ ПОДОБНЫЕ УЧЕБНЫЕ / ТЕСТОВЫЕ СТЕНДЫ В ПРОДАКШЕНЕ.
ЗАПУСКАТЬ ТАКОЕ МОЖНО ТОЛЬКО В ДОВЕРЕННЫХ, ИЗОЛИРОВАННЫХ СЕТЯХ.
P. S. Либо меняйте все ключи, что SSH, что кластерные из ceph auth, и будьте готовы править конфиги файервола внутри ВМ.
Однако если вы готовы это делать, то этот совет к вам скорее всего не относится.
На каждой ВМ написан конфиг файервола, который нужен в основном для оценки объёмов траффика.
Фильтруется по умолчанию только SSH-доступ к VM Admin + VM RGW из сети Ceph-18-2-4-ExternalNet ( см. /etc/iptables )
Доп. информация
Тестовый стенд / учебный кластер для запуска в условиях минимума ресурсов (я запускал всё это на древнем ноуте из 2013 года и даже на ещё более древнем ПК из 2009-го).
Состав кластера:
- 1x ADMIN ( управление кластером + доступ по SSH-ключам на остальные ноды )
- 3x MON+MGR ( Админство с них доступно )
- 5x OSD ( данные на /dev/sdb, том LVM c ceph_bluestore )
- 2x RGW ( для S3-доступа )
- 2x MDS ( для CephFS )
+ внешняя сеть (Ceph-18-2-4-ExternalNet) - настройка по DHCP, ожидаются адреса по DHCP
+ центральная (Ceph-18-2-4-CentralNet) основная сеть 10.67.89.* ("public" в терминах цефа, все ноды включены в неё)
+ внутренняя (Ceph-18-2-4-Internal-OSD-Backbone) кластерная сеть 10.67.67.* только для OSD-репликаций
+ в этой версии OSD разных размеров - по 3 и по 4 Гб.
Тип хранилища - BlueStore, с размещением данных в LVM, все части OSD в одном диске /dev/sdb.
На одной ВМ совместно размещены только MONx + MGRx, всё остальное отдельно.
Статус кластера:
Код:
ceph-MON-0:~# ceph -s
cluster:
id: 8be60d80-6770-4e5a-ad20-48e4cea593f3
health: HEALTH_OK
services:
mon: 3 daemons, quorum ceph-MON-0,ceph-MON-1,ceph-MON-2 (age 23m)
mgr: ceph-MON-1(active, since 23m), standbys: ceph-MON-2, ceph-MON-0
osd: 5 osds: 5 up (since 14s), 5 in (since 4w)
mds: 1/1 daemons up, 1 standby
rgw: 2 daemons active (2 hosts, 1 zones)
data:
volumes: 1/1 healthy
pools: 5 pools, 129 pgs
objects: 223 objects, 453 KiB
usage: 231 MiB used, 18 GiB / 18 GiB avail
pgs: 129 active+clean
! Узлы mds и блок volumes появляются в статусе только при создании хотя бы одной файловой системы CephFS !
Некоторые справочные материалы и шпаргалки, максимально актуальные для этой версии, приложены к раздаче, см. /manuals
Примеры скриптов и команд лежат на Ceph-Admin, а также отдельно приложены в составе раздачи, см. /opt
Зачем и почему
Настройка кластера цефа весьма сложна (особенно первый раз :D), а настройка в минималистичном линукс-окружениии без ceph-deploy / cephadm - изнурительно сложна, глубокая оптимизация индивидуальна для каждого сетапа и относится к высокому админскому искусству. Значительная часть мануалов по сетапу цефа полагает, что у вас дома есть как минимум половина современной инфраструктуры, и готовые средства для масс-менеджмента и развертывания. Мне же хотелось иметь возможность экспериментов без привязки к стороннему инструментарию.
Данный сетап идеально подходит для самых опасных экспериментов, которые вы никогда не рискнёте сделать на продакшене. Размер крохотный, опорная кластерная сеть не затрагивает физические интерфейсы, сами ВМ-ки легковесны и их можно склонировать сколько вам надо.
Всем изучающим сложные распределённые системы хранения может быть полезно.
[ Регистрация | Вход ]