Automated System to build beowulf parallel computing clusters ABC GNU/Linux

[elix545]

Only the external network connections of cluster need security because of encryption processing.

[thesharingmaster]

@hackercasta hello!

I'm an Student and i am interesting to your Linux Distro.

I am looking for be a Students network based on this system and i am really interesting of this tecnology.

Can we be a discussion? tnx

[hackercasta]

NEWS:

The new version of ABC GNU / Linux will be published within a few days.

NOTICIA:

La nueva version de ABC GNU/Linux sera publicada en unos dias.

Iker Castaños

[VDMpeniel]

ok. gracias por la explicacion, por el email te explico lo que pretendo hacer y me dices si estoy chiflao, o solo casi.

[VDMpeniel]

Por cierto si quieres te podemos ayudar con diseno! nada mas hazme saber si te interesa y que querrias hacer, hace poco te anadi en Facebook! Gracias! y disculpa la lata! vic

[hackercasta]

Hola. No se puede construir un cluster que sirva para ambas cosas, es decir, Si usamos un cluster Beowulf (como ABC) podremos usar todos los procesadores para ejecutar una unica aplicacion pero la aplicacion debera ser paralelizada. Si usamos un mosix con muchas aplicaciones sera eficiente pero ejecutando una solo usaremos una unica maquina. Los beowulf se usan en entornos de investigacion y los mosix en empresas.

[hackercasta]

Los clusters que estan en el top500 de supercomputadores son todos beowulf. Marenostrum, BlueGene..etc. La tecnologia que usan es la misma que se utliza con abc. Cuando se ejecuta una aplicacion se envian mensajes a las maquinas que forman el cluster a traves de conexiones SSH. Estos mensajes son enviados gracias a las librerias MPI que son utilizadas en la implementacion de los programas paralelizados.

Mandame un e-mail a la cuenta que hay en la web de ABC y hablaremos tranquilamente.

[VDMpeniel]

De que quisiera aportarle al menos desde el punto de vista estetico y funcional, para lo que estoy preparando una distro que sobre todo sea agradable y mistosa al usuario final. Me parece que seria fantastico que como dynebolic las diferentes pcs fueran capaces de anadirse unas a otras aumentando el poder de computo!! como un xbox o algo asi!!!

[VDMpeniel]

Muy valiosa la info que nos dejas aqui. Aunque no soy informatico (al menos no del todo) sino disenador estoy metido en el mundo de la informatica desde pequeno y ahora en el negocio de la reparacion de pcs a domicilio y dado que me facina el mundo linux no pierdo tiempo qn proponerselo a los clientes que titubean en comprar una copia de windows,

[VDMpeniel]

a ver si entendi, para hacer que las pc se nadan de modo que todas contribuyan al poder de computo, como si de una sola se tratara tengo que usar algo mo mosix?

[VDMpeniel]

gracias muchas gracias!!!

[hackercasta]

Podria hacer un script que sobre una Debian o una Ubuntu construya un cluster pero lo mas compeljo fue que funcionara live e instalable a la vez y es una pena. Estoy preparando una nueva release que estara basada en Ubuntu 10.04 LTS. La nueva version va a tener mejoras importantes en la latencia de las interconexiones de las maquinas y en el arranque de los nodos.Ademas estoy escribiendo un manual pq es algo que me lo piden y que lo he ido dejando a un lado debido a lo facil que es usar ABC.

[VDMpeniel]

otra pregunta estupida,

al usar este cluster, las maquinas conectadas entre si por una LAN y corriendo el mismo OS vienen a ser como una sola? es decir mis aplicaciones en una de ellas van a correr mas rapido al tener mas nodos?

Muchas gracias por su tiempo

VD.

[hackercasta]

@VDMpeniel No. En los clusters Beowulf se ejecutan aplicaciones que hayan sido paralizadas, es decir que su codigo haya sido modificado para que se ejecuten mediante el envio de mensajes a otras maquinas. Las aplicaciones que corren en procesadores con varios nucleos tambien se escriben para que se ejecuten de esa manera. En clusters de tipo Mosix se migran procesos enteros a distintas maquinas pero son utilizados en entornos empresariales en los que corren muchos procesos.

[VDMpeniel]

hola es hackercasta Iker?

Bueno solo en el caso, GRACIAS!!!!!

Hacia un siglo que estaba buscando una manera de hacer un cluster basado en ubuntu, solo que soy nuevo en el tema y nunca hubiese podido hacerlo por mi mismo.

Ahora bien me pregunto amigo mio si habra alguna menera de hacer lo mismo en ubuntu, no se te ha ocurrido hacer un paquete o algo asi que se pueda instalar y darle esta capacidad a ubuntu????

De verdad muchisimas gracias por su exelente trabajo, nos ha sido muy util por aca!!!

[hackercasta]

@VDMpeniel Si y de nada, me alegra que haya sido de utilidad. La distribucion PelicanHPC permite contruir clusters en modo live y existen scripts basados en ella que son aplicables sobre una instalacion previa de Ubuntu o de Debian.

El cluster resultante en mi opinion es mas complejo para el usuario para llevar acabo la integracion de los nodos. Pense en el proyecto ABC pq no existia ninguna distribucion que fuera live e instalable.

[ivalo007]

Me parece muy interesante todo esto...el semestre pasado intente en la universidad hacer un cluster beowulf, pero no tube exito baje tu proyecto ABC/GNU Linux pero no he encontrado un manual de lo que has hecho no se si me puedas explicar saludos desde Mexico!

[hackercasta]

Hola. Estoy escribiendo el manual y preparando la proxima version de ABC. Conecta los pcs a un switch, no uses un router. Mete el disco en uno de los pcs. Podras instalarlo o arrancar en modo "live". Si lo instalas el usuario tiene que llamarse master, password tb master y hostname master.en el resto de pc espefica desde la bios q arranquen a traves de la red. Podras ejecutar las aplicaciones en paralelo como en el video, en un cluster beowulf.

[5ome1]

very nice, I'll try it this week

[kyrosfalc]

Casta for president!

Después de la chapa que nos has dado con el proyecto, y a pesar de los problemas que te iban apareciendo y te desquiciaban, te ha ido todo genial, así que me alegro. :D

[joshuadayhab]

This is incredible! Thank you. I am emailing now.