Site-uri

Yahoo ajută IIT Bombay înființat Hadoop Cluster Lab

What is Hadoop Cluster? Hadoop Cluster Setup and Architecture | Hadoop Training | Edureka

What is Hadoop Cluster? Hadoop Cluster Setup and Architecture | Hadoop Training | Edureka
Anonim

Yahoo a ajutat Institutul Indian de Tehnologie din Bombay să înființeze un laborator de cluster Hadoop în Mumbai prin donarea unui cluster de servere care rulează software-ul open-source Hadoop.

Apache Hadoop este un proiect open-source distribuit de calcul al Apache Software Foundation, pe care o susține Yahoo.

Yahoo conduce un număr mare de operațiuni critice folosind Hadoop și nu poate face toate cercetările necesare în jurul companiei Hadoop, a declarat Prabhakar Raghavan, senior vice president și șef al laboratoarelor Yahoo un interviu telefonic joi

Yahoo a anuntat in luna iunie a anului trecut distributia proprie a lui Hadoop, citand interesul comunitatii Apache Hadoop ca publica versiunea Hadoop pe care o testeaza si o desfasoara pe propriile grupuri mari. laborator la M umbai va ajuta cercetătorii de la institut să studieze domenii cum ar fi tehnici de căutare și clasificare, extragere de informații și prelucrare a limbajului natural.

Cercetătorii academici care doresc să studieze problemele legate de Web, de obicei nu au putut avea acces la resursele de calcul și terabiți datele care sunt necesare pentru cercetarea problemelor la scară Web, a spus Raghavan.

Începând cu furnizarea de cercetători Hadoop de la Universitatea Carnegie Mellon cu un supercomputer de 4000 de procesoare în 2007, Yahoo a ajutat alte universități din SUA să înființeze Hadoop clustere, a spus el

Raghavan nu a dat mai multe detalii despre cluster-ul instalat la IIT, spunând doar că servere cu sute de procesoare și capacitatea de a gestiona terabytes de date au fost instalate acolo

Pe lângă IIT Bombay, Yahoo ajută la înființarea de grupuri similare la instituții academice din Germania și Singapore, a declarat Raghavan. Acestea sunt primele trei instituții academice din afara S.U.A., unde Yahoo ajută la crearea unor astfel de grupuri, a adăugat el.

Yahoo intenționează să redea mai târziu unele grupuri din întreaga lume pentru a crea o "utilitate mai mare". Inainte de aceasta, capabilitatile de administrare a sistemului Hadoop trebuie consolidate pentru a preveni ca un student dintr-o institutie sa se prabuseasca la o alta institutie, a spus Raghavan.

Yahoo a colaborat in 2008 cu Laboratoarele de Cercetare Computationala (CRL) Tata Group, pentru a oferi facilități de supercomputare gratuite instituțiilor academice din India care cercetează computerele la scară largă, în special în jurul lui Hadoop. Aceasta colaborare continua, dar se concentreaza pe supercomputing de inalta performanta, a spus Raghavan.

Parteneriatul cu institutiile academice de la Hadoop ajuta Yahoo sa construiasca o echipa de ingineri familiarizati cu platforma Hadoop, potrivit lui Raghavan. Unii dintre ei au fost chiar angajați de Yahoo, a adăugat el.

Yahoo a beneficiat și de idei care au venit de la instituții academice care efectuează cercetări folosind Hadoop, a spus Raghavan. Cu toate acestea, el nu a dat anumite exemple de idei care au fost luate din această colaborare cu instituțiile academice.