Automated System to build beowulf parallel computing clusters ABC GNU/Linux

This Ubuntu GNU/Linux based distribution alaws to automatically build Beowulf clusters either live or installing the software in the frontend. All nodes run diskless. Connect your computers with a switch and insert the DVD on one of them.
The system is beeing suported sporadically and you may contact technical support at abclinuxsupport@gmail.com
ABC has been presented at the symposium ICAT2009 and published a research paper in the IEEE.
The developer is Iker Castaños at the EUITI of Bilbao, University of the Basque Country (Spain)... and looking for a job so job offers are wellcome

The proyect website:

http://www.ehu.es/AC/ABC.htm

Category:

Science & Technology

Tags:

• Automated
• System
• to
• build
• beowulf
• HPC
• parallel
• computing
• clusters
• ABC
• GNU/Linux
• ICAT
• 2009
• IEEE
• ACM
• ehu
• AC
• upv
• ubuntu
• iker
• castaños
• cluster
• MPI
• C++
• Fortran

[hackercasta]

NEWS:

The new version of ABC GNU / Linux will be published within a few days.

NOTICIA:

La nueva version de ABC GNU/Linux sera publicada en unos dias.

Iker Castaños

[VDMpeniel]

Por cierto si quieres te podemos ayudar con diseno! nada mas hazme saber si te interesa y que querrias hacer, hace poco te anadi en Facebook! Gracias! y disculpa la lata! vic

[hackercasta]

Hola. No se puede construir un cluster que sirva para ambas cosas, es decir, Si usamos un cluster Beowulf (como ABC) podremos usar todos los procesadores para ejecutar una unica aplicacion pero la aplicacion debera ser paralelizada. Si usamos un mosix con muchas aplicaciones sera eficiente pero ejecutando una solo usaremos una unica maquina. Los beowulf se usan en entornos de investigacion y los mosix en empresas.

[hackercasta]

Los clusters que estan en el top500 de supercomputadores son todos beowulf. Marenostrum, BlueGene..etc. La tecnologia que usan es la misma que se utliza con abc. Cuando se ejecuta una aplicacion se envian mensajes a las maquinas que forman el cluster a traves de conexiones SSH. Estos mensajes son enviados gracias a las librerias MPI que son utilizadas en la implementacion de los programas paralelizados.

Mandame un e-mail a la cuenta que hay en la web de ABC y hablaremos tranquilamente.

[hackercasta]

Podria hacer un script que sobre una Debian o una Ubuntu construya un cluster pero lo mas compeljo fue que funcionara live e instalable a la vez y es una pena. Estoy preparando una nueva release que estara basada en Ubuntu 10.04 LTS. La nueva version va a tener mejoras importantes en la latencia de las interconexiones de las maquinas y en el arranque de los nodos.Ademas estoy escribiendo un manual pq es algo que me lo piden y que lo he ido dejando a un lado debido a lo facil que es usar ABC.

[VDMpeniel]

otra pregunta estupida,

al usar este cluster, las maquinas conectadas entre si por una LAN y corriendo el mismo OS vienen a ser como una sola? es decir mis aplicaciones en una de ellas van a correr mas rapido al tener mas nodos?

Muchas gracias por su tiempo

VD.

[hackercasta]

@VDMpeniel No. En los clusters Beowulf se ejecutan aplicaciones que hayan sido paralizadas, es decir que su codigo haya sido modificado para que se ejecuten mediante el envio de mensajes a otras maquinas. Las aplicaciones que corren en procesadores con varios nucleos tambien se escriben para que se ejecuten de esa manera. En clusters de tipo Mosix se migran procesos enteros a distintas maquinas pero son utilizados en entornos empresariales en los que corren muchos procesos.

[kyrosfalc]

Casta for president!

Después de la chapa que nos has dado con el proyecto, y a pesar de los problemas que te iban apareciendo y te desquiciaban, te ha ido todo genial, así que me alegro. :D

[joshuadayhab]

This is incredible! Thank you. I am emailing now.

[elix545]

Only the external network connections of cluster need security because of encryption processing.

[thesharingmaster]

@hackercasta hello!

I'm an Student and i am interesting to your Linux Distro.

I am looking for be a Students network based on this system and i am really interesting of this tecnology.

Can we be a discussion? tnx

[VDMpeniel]

ok. gracias por la explicacion, por el email te explico lo que pretendo hacer y me dices si estoy chiflao, o solo casi.

[VDMpeniel]

De que quisiera aportarle al menos desde el punto de vista estetico y funcional, para lo que estoy preparando una distro que sobre todo sea agradable y mistosa al usuario final. Me parece que seria fantastico que como dynebolic las diferentes pcs fueran capaces de anadirse unas a otras aumentando el poder de computo!! como un xbox o algo asi!!!

[VDMpeniel]

Muy valiosa la info que nos dejas aqui. Aunque no soy informatico (al menos no del todo) sino disenador estoy metido en el mundo de la informatica desde pequeno y ahora en el negocio de la reparacion de pcs a domicilio y dado que me facina el mundo linux no pierdo tiempo qn proponerselo a los clientes que titubean en comprar una copia de windows,

[VDMpeniel]

a ver si entendi, para hacer que las pc se nadan de modo que todas contribuyan al poder de computo, como si de una sola se tratara tengo que usar algo mo mosix?