Хочу кластер!

[hse]

Кластер будую вперше Не можу вибрати між двома технологіями

1. Load-balancing Cluster http://openmosix.org

+ GPL! Супер лоадбалансінг навіть в гетерогенних мережах, необов'язково однакові компи (архітектура в кластері одна), компи можуть залишати і приєднуватись до кластера без проблем, кластер діє на рівні ядра і тому всі проги працюють без проблем просто для них кластер виглядає як багатопроцесорний супер комп'ютер з Linux, дуже легкий в встановленні та використанні, юзер може вибрати при завантаженні не кластерне ядро і працювати на своєму звичайному компі (як для школи, дому, роботи ідеальний варіант).

- відсутній паралелізм виконання програми (для наукових досліджені, взлому це суттєвий недолік), я ненавиджу fork(), бачу тільки версію для 2.4.28-r2 (моє залізо і я хочемо 2.6.*), для 2.6.7 лежить на CVS - брати страшнувато... якісь вимоги до компіляції дивні
PS: щось вони його повільно розвивають, відстають від ядра...

2. High Performance Computing Cluster - Beowulf спеціально сконфігурена машина, яка надає свою потужність обчислювальним серверам що її потребують.

+ акцент на паралелізм, спеціально розроблений для наукових досліджень, несильний лоадбалансінг

2.1 mpich -- найбільш розповсюджена реалізація MPI http://www-unix.mcs.anl.gov/mpi/mpich/

2.2 lam-mpi -- хороший ман великий плюс, можна будувати кластер над кластерами, потужний виглядає привабливо. http://www.lam-mpi.org/mpi/

2.3 pvm --  гетерогенна в плані платформ, мережі, програм! юзер створює віртуальну машину з пулу компів де запускає свої програми http://www.csm.ornl.gov/pvm/pvm_home.html

- непрозорі для юзера, програм   ; який з них кращий lam-mpi чи pvm ?

Хто мав якийсь досвід побудови кластерів поділіться.
Наперед дякую.

[tech]

Якщо є можливість, спробуйте їх всі. Будете одним із небагатьох спеціалістів в цій області в Україні

[Володимир Лісівка]

Ще є проект подібний до MOSIX, але, нажаль, не вільний:

http://www.cs.wisc.edu/condor/

Він має клієнтів для Linux та Windows, так що ви можете задіяти всю техніку, яка у вас є. Ядро 2.6 підтримується (але треба встановлювати спеціальні змінні середовища для того, щоб воно вело себе як 2.4, у ЧАПах написано).

[Євгеній Мещеряков]

Працював колись наш кластер (http://www.cluster.kiev.ua) під openMosix. Система може й непогана для однопроцесорних машин, але на багатопроцесорних часто висла (і чим більша версія oM, тим частіше висла). Але це було з версіями для 2.4. Далі ми вирішили не використовувати oM та поставили систему черг (OpenPBS, потім Torque). Зараз хоча й немає автоматичного балансування навантаження (під час роботи програм), працює нормально.
Для паралельних програм використовуємо найчастіше LAM. PVM теж встановлений, але ним майже ніхто не користується.

[Євгеній Мещеряков]

А ще на основі openMosix зроблений ClusterKnoppix - навіть Linux на машину непотрібно встановлювати.

[hse]

openMosix:
Чудова (штук 10) колекція бутових спеціалізованих (Live FD, CD, DVD) кластерів на основі openMosix. Від мініатюрних 1.44Mb, які дозволяють тимчасово додати CPU/Memory компа до існуючого кластера до великих DVD для математико-наукових досліджень.


LAM/PVM:
ParallelKnoppix  Опис

BCCD Кластерна суміш   LAM/MPICH/PVM/openMosix (Warewulf, OSCAR, ClusterKnoppix) з gar (сумішшю BSD's ports, Linux from scratch, and gentoo portage) -- виглядає дуже-дуже привабливо!!!

Всі вище згадані дистри підіймають кластери (PXE мережева) за 5-15 хвилин (залежить від того, як швидко Ви зможете включати компи в розетку )

warewulf  Чудовий УНІВЕРСАЛЬНИЙ надзвичайно гнучкий інструментарій для встановлення та супроводу ЛЮБИХ кластерів (вирішує проблему абгрейдів і управління на залежних нодах)! Яка в нього ліцензія???

Поклав око на BCCD + warewulf ...

[hse]

Працював колись наш кластер (http://www.cluster.kiev.ua) під openMosix. Система може й непогана для однопроцесорних машин, але на багатопроцесорних часто висла (і чим більша версія oM, тим частіше висла).

Кластер Київського нацiонального унiверситету iменi Тараса Шевченка належить до гетерогенних кластерiв типу MOSIX. Система складається iз 14 двопроцесорних вузлiв на базi Intel® Pentium-III 933MГц та 1ГГц i Intel® Xeon® 2.0ГГц та 2.4ГГц. У ролi службової сiтки використовується Gigabit Ethernet.

Однозначно оМ тільки для дешевих пісюків: ніяких hiperthreeding, Xeon і тим більше багатопроцесорних машин. Правда AMD їм зараз забашляло і вони під IA64 пишуть...

[Nick]

Цiкаво, на якому залiзi будуєте та де?
Яку мету переслідуєте - тобто для чого?

[Валерій]

Добродії.
Скажіть будь ласка: Як можна на системі АСП Лінукс 10 зробити кластер???

Чи є якась система на ядрах старших за 2,4, ща робить кластер?

[Володимир Лісівка]

Добродії.
Скажіть будь ласка: Як можна на системі АСП Лінукс 10 зробити кластер???

Чи є якась система на ядрах старших за 2,4, ща робить кластер?

Кластерів є багато з різним призначенням - для балансування навантаження або для розподілених обчислень.

Для деяких потрібно латати ядро, для інших - тип операційки на вузлі не має значення.

Для чого він вам потрібен?

[hse]

Добродії.
Скажіть будь ласка: Як можна на системі АСП Лінукс 10 зробити кластер???

Чи є якась система на ядрах старших за 2,4, що робить кластер?

Я думаю що Ви будете дуже задоволені з OpenMosix, але він не паралельний... Версія з CVS чудово підходить для нових ядер 2.6.11.*і в мене працює стабільно!

Для паралельних я вибрав torque який реалізовує лоадбалансінг між кластерами OpenMosix та пріорітети, а поверху пускаю lam-mpi для власне паралелізму. Тут за рахунок torque кластер дуже зіпсувався є невирішені проблеми при включені виключені нодів..., а голий lam-mpi не дає лоадбалансингу на 2-гому рівні та системи пріорітетів

Ще цікава штука sys-cluster/drbd, робить дзеркало вінта через мережу. Дуже надійно, при рейдах може здохнути контролер мамка і тоді сльози, а так розніс по різних серверних і навіть при взриві однієї серверної дані все одно зберігаються і є доступні...  

Треба би статейку на вікі забацати...

[id]

Я думаю що Ви будете дуже задоволені з OpenMosix, але він не паралельний... Версія з CVS чудово підходить для нових ядер 2.6.11.*і в мене працює стабільно!

Добродію Hse, підкажіть будь ласка з якого саме CVS ви брали openmosix і чи дійсно він працює стабільно? Я користувався як Mosix, так і OpenMosix. Mosix ще й досі не підтримує 2.6 і тому я вирішив спробувати таки OpenMosix з ЦВС. Але якось сташнувато. І чи не могли б ви поділитися наприклад по пошті тим дистрибутивом OpenMosix`a, який працює у вас? Наперед джуе дякую.

[hse]

Я робив так: зтягнув OpenMosix з його рідного cvs.sourceforge.net , на http://openmosix.org є туди зсилка.
Взяв ванільне ядро 2.6.11.12 і все вмістиме що зтягнув з cvs просто скопіював поверху сирців ядра.
Включив необхідні опції і зібрав без проблем. Що до стабільності то це навіть не альфа реліз, але в мене глюків не було... Проблема не з ядром - OpenMosix користувацькі утиліти для ядра 2.6 "глючні" тобто процеси самостійно не мігруватимуть...

[id]

Автоміграція процесів для мене найголовніша, отже щиро дякую, що попередили. Та й сам я вже почав будувати на "старому" 2.4.31 ядрі звичний для мене MOSIX-кластер, часу вобмаль. Вчора натрапив на документацію від розробників OpenMosix-linux2.6, в якій зазначено, що ядро для нього не можна збирати з опцію preemteble_kernel. ну щож, будемо чекати хоча б на альфа-реліз.