Android

Yahoo va lansa Hadoop cu lansarea versiunii interne

Hadoop. Основы

Hadoop. Основы
Anonim

Pentru a avansa adoptarea tehnologiei Hadoop pentru prelucrarea seturilor masive de date, Yahoo va lansa o versiune a software-ului pe care la perfecționat pentru a-și executa multe dintre site-urile și serviciile sale principale.

Anunțul a fost miercuri la al doilea an consecutiv Hadoop Summit-ul, organizat de Yahoo și sponsorizat de mai mulți furnizori importanți care susțin această tehnologie, inclusiv IBM, Sun și Amazon.com.

Motoarele de căutare Yahoo, sistemele de anunțuri și serviciul de webmail utilizează Hadoop, o implementare open source a modelului de programare MapReduce pentru prelucrarea seturilor mari de date în clustere de procesoare.

La Yahoo, Hadoop rulează pe mai mult de 25.000 de servere pentru a cronometra datele despre zeci de miliarde de pagini Web, zeci de animale de companie uri de stocare și miliarde de înregistrări în fiecare zi.

Prin lansarea codului sursă al distribuției sale Hadoop, Yahoo speră să stimuleze dezvoltarea acestui proiect al Fundației Apache Software

Yahoo, care angajează fondatorul companiei Hadoop, Doug Cutting, contribuie înapoi Îmbunătățirile Hadoop la proiectul Apache, dar acum își lansează implementarea completă Hadoop, care este cea mai mare din lume și a fost testată și perfecționată pe scară largă pentru utilizarea în sisteme de producție live. Codul Yahoo nu are restricții asupra utilizării sale comerciale.

"A fost foarte interesat de faptul că dacă am face acest lucru, ar fi util și pentru alți utilizatori", a declarat Shelton Shugar, vicepreședinte al cloud computing la Yahoo

Yahoo consolidează din ce în ce mai mult platformele de procesare a clusterelor Hadoop, deoarece acestea pot scala mai bine și pot oferi prelucrarea pe scară largă a site-urilor și serviciilor companiei, a spus el. "Amazon.com a lansat recent un serviciu găzduit, proiectat pentru a simplifica pentru dezvoltatori utilizarea Hadoop numit Amazon Elastic MapReduce, în timp ce companii cum ar fi distribuțiile comerciale Hadoop de pe piața Cloudera, concepute pentru implementări de întreprinderi.