Straipsnyje „ Big Data Apdorojimo technologijos: Hadoop ir Spark “ išsamiai išnagrinėsime dvi populiarias ir galingas apdorojimo technologijas big data: Hadoop ir Spark.
Čia pateikiama išsami kiekvienos technologijos apžvalga ir pavyzdžiai, iliustruojantys, kaip jos veikia.
Hadoop
Hadoop yra sukurtas remiantis paskirstytu duomenų apdorojimo modeliu, vadinamu MapReduce. Jis padalija apdorojimo užduotis į mažesnes dalis ir paskirsto jas keliuose tinklo mazguose. Kiekvienas mazgas apdoroja savo duomenų dalį ir tada siunčia rezultatus atgal į pagrindinį mazgą, kad būtų galima juos galutinai apibendrinti. Tai pagerina duomenų apdorojimo greitį ir sistemos mastelį.
Pavyzdys: panagrinėkime didelį duomenų rinkinį, kuriame yra finansinių operacijų informacija. Naudodami Hadoop, galime padalinti duomenų rinkinį į mažesnius gabalus ir paskirstyti juos apdorojimo mazgams. Kiekvienas apdorojimo mazgas apskaičiuoja bendrą pinigų sumą savo duomenų dalyje. Tada kiekvieno mazgo rezultatai siunčiami atgal į pagrindinį mazgą, kur jie sujungiami, kad būtų sukurta galutinė bendra suma iš viso duomenų rinkinio.
Spark
Spark suteikia interaktyvią ir realaus laiko duomenų apdorojimo aplinką su greitomis duomenų apdorojimo galimybėmis. Jame naudojama atsparių paskirstytų duomenų rinkinių(RDD), kurie yra nekintantys ir paskirstyti objektų rinkiniai, koncepcija, skirta duomenų apdorojimui keliuose tinklo mazguose. RDD įgalina lygiagretų duomenų apdorojimą ir savaiminį atkūrimą gedimų atveju.
Pavyzdys: panagrinėkime scenarijų, pagal kurį turime analizuoti duomenis iš daiktų interneto jutiklių, kad galėtume numatyti oro sąlygas. Naudodami Spark galime sukurti RDD iš jutiklių duomenų ir pritaikyti RDD transformacijas bei operacijas, kad apskaičiuotume oro rodiklius, tokius kaip temperatūra, drėgmė ir slėgis. Šie skaičiavimai atliekami lygiagrečiai skirtinguose apdorojimo mazguose, pagreitinant skaičiavimą ir įgalinant duomenų apdorojimą realiuoju laiku.
Ir Hadoop „Spark“ yra efektyvios apdorojimo priemonės big data. Pasirinkimas tarp dviejų technologijų priklauso nuo konkrečių projekto reikalavimų ir atliekamų duomenų apdorojimo užduočių tipo.