Hotmail primește un nou sistem de stocare - face mai repede!

Hotmail primește în fiecare zi miliarde de mesaje de e-mail și acestea trebuie stocate în siguranță și trebuie să să fie ușor accesibile în mod eficient. Sistemul de stocare bazat pe cloud al sistemului Hotmail suportă peste un miliard de cutii poștale și sute de petabytes de date (un petabyte este de un milion de gigabytes). Și pentru a gestiona eficient sute de mii de tranzacții simultane la această scară este o provocare de inginerie. Sistemul de stocare este construit folosind tehnologia Microsoft, inclusiv Windows Server și Microsoft SQL Server.

Microsoft lucrează la un upgrade major la acest sistem de stocare. De la începutul acestui an, un nou sistem bazat pe tehnologiile dezvoltate la Hotmail funcționează pe un cluster pilot care folosește conturile personale ale angajaților Microsoft. Iar după testarea riguroasă, noul sistem a fost certificat, oferind o fiabilitate mai bună la un preț semnificativ mai mic.

Să vedem câteva dintre aceste noi tehnologii utilizate de Hotmail

Implementarea JBOD înlocuind RAID:

"RAID Array of Discs Inexpensive) este o tehnologie care permite ca mai multe unități de hard disk să fie atașate la o singură placă de control, ceea ce le face să pară ca o unitate de hard disk mai mare și mult mai fiabilă (uneori numită "unitate logică") software-ului sistem de stocare ".

Hotmail utilizează RAID mult timp. E-mailurile au fost păstrate pe mai multe grupuri RAID, astfel încât chiar și atunci când întregul RAID eșuează, mesajele pot fi restaurate. Hotmail a studiat perspectiva de fiabilitate a unităților cu o capacitate mai mare de 1 terabyte și a constatat că nu merită banii din punctul de vedere al fiabilității. Deoarece sistemele RAID tratează cu ușurință problemele care afectează sistemul unic, dar nu și atunci când întreaga mașină sau controlerul RAID se confruntă cu probleme. Hotmail a constatat că a avea copii pe o mașină diferită care nu a împărțit controlerul a fost nu numai mai fiabilă, dar și mai ieftină decât cea a RAID.

Astfel, ei au dezvoltat JBOD (doar o grămadă de discuri) drive-urile, controlorii și mașinile. Astfel, controlerul unității de hard disk aproape complet a ieșit din cale și a predat software-ul pentru control. Acest software de sistem JBOD a fost dezvoltat de Hotmail.

Acest software JBOD monitorizează constant eșecurile și ridică o alertă atunci când se găsește astfel declanșând un proces de reparații. Acest proces de reparație poate reporni o mașină sau poate reporni un proces, la fixarea corupției datelor sau chiar implicând intervenția umană, dacă este necesar. Principalul avantaj al utilizării software-ului este faptul că poate menține copiile bune ale mesajelor de poștă electronică prioritizând acțiunea de reparații dacă găsește mai puține copii. Folosind acest software, replicarea însăși a fost simplificată

"Sistemul de stocare constă dintr-un set de mașini, fiecare dintre ele având copia unui mesaj de poștă electronică și un jurnal de înregistrare a mesajelor care au sosit, organizate după data sosirii. Mașinile vorbesc între ele din când în când, compară jurnalele și copiază mesajele pe care le înțeleg că nu au fost copiate pe toate mașinile. "

Implementarea SSD-urilor în loc de unitățile de hard disk

Știm că SSD-urile sunt mult mai rapide decât hard-urile. Hard disk-urile, deși mai mari și mai ieftine, sunt greu de manevrat în ceea ce privește rata de solicitări.

"Un hard disk normal poate efectua mai mult de o sută de operații de citire / scriere pe secundă, în timp ce unele dintre cele mai rapide SSD-uri o suta de mii de operatii pe secunda. "

Desi aceasta viteza vine la un pret mult mai scump / gigabyte decat hard drive-urile.

SSD-urile manipuleaza eficienta schimbarii. Acest lucru poate fi explicat prin faptul că Hotmail nu numai că stochează mesajele de e-mail, dar, de asemenea, ține evidența diferitelor metadate în continuă schimbare, cum ar fi lista de mesaje din mesajele primite, starea de citire / nerecunoaștere a mesajelor, filetarea convorbirilor etc. Această metadate ocupă o mică parte din spațiul de stocare pune sarcina maximă pe hard-discuri din cauza naturii în continuă schimbare. Deci, folosind SSD-uri pentru stocarea metadatelor și Hard discuri pentru mesaje, este o combinație mai bună și mai eficientă.

În afară de aceste îmbunătățiri, Hotmail va dezvălui mai multe în posturile viitoare. Desfășurarea noului sistem de stocare a început deja, iar noile clustere vor fi bazate pe JBOD. Deja 30 de milioane de utilizatori sunt pe JBOD, în timp ce alte 100 de milioane vor fi în mișcare în timp.

Dacă ați observat, Hotmail a devenit foarte rapid. Dacă nu ați încercat-o acum.