Fl-artikolu " Big Data Teknoloġiji tal-ipproċessar: Hadoop u Spark ," se nesploraw fid-dettall żewġ teknoloġiji popolari u qawwija għall-ipproċessar big data: Hadoop u Spark.
Hawnhekk hawn ħarsa ġenerali komprensiva ta 'kull teknoloġija flimkien ma' eżempji biex juru kif jaħdmu.
Hadoop
Hadoop hija mibnija fuq il-mudell tal-ipproċessar tad-dejta distribwit imsejjaħ MapReduce. Taqsam il-kompiti tal-ipproċessar f'partijiet iżgħar u tqassamhom f'nodi multipli f'netwerk. Kull nodu jipproċessa l-parti tiegħu tad-dejta u mbagħad jibgħat ir-riżultati lura lin-nodu prinċipali għall-aggregazzjoni finali. Dan itejjeb il-veloċità tal-ipproċessar tad-dejta u l-iskalabbiltà tas-sistema.
Eżempju: Ejja nikkunsidraw sett ta' dejta kbir li fih informazzjoni dwar tranżazzjonijiet finanzjarji. Billi tuża Hadoop, nistgħu naqsmu s-sett tad-dejta f'biċċiet iżgħar u nqassmuhom lin-nodi tal-ipproċessar. Kull nodu tal-ipproċessar jikkalkula l-ammont totali ta 'flus fil-porzjon tad-dejta tiegħu. Ir-riżultati minn kull nodu mbagħad jintbagħtu lura lin-node prinċipali, fejn huma kkombinati biex jiġġeneraw l-ammont totali finali mis-sett tad-dejta kollu.
Spark
Spark jipprovdi ambjent tal-ipproċessar tad-data interattiv u f'ħin reali b'kapaċitajiet ta 'proċessar ta' data veloċi. Jutilizza l-kunċett ta 'Settijiet ta' Data Distributi Reżiljenti(RDDs), li huma kollezzjonijiet ta 'oġġetti immutabbli u mqassma, għall-ipproċessar tad-dejta f'nodi multipli f'netwerk. L-RDDs jippermettu l-ipproċessar parallel tad-data u l-awto-irkupru f'każ ta' fallimenti.
Eżempju: Ejja nikkunsidraw xenarju fejn għandna bżonn nanalizzaw dejta mis-sensuri tal-IoT biex inbassru l-kundizzjonijiet tat-temp. Bl-użu ta 'Spark, nistgħu noħolqu RDDs minn data tas-sensuri u napplikaw trasformazzjonijiet u operazzjonijiet fuq RDDs biex nikkalkulaw indikaturi tat-temp bħat-temperatura, l-umdità u l-pressjoni. Dawn il-komputazzjonijiet jitwettqu b'mod parallel fuq nodi ta' pproċessar differenti, li jħaffu l-komputazzjoni u jippermettu l-ipproċessar tad-dejta f'ħin reali.
Kemm Hadoop u Spark jipprovdu mezzi effiċjenti ta 'proċessar big data. L-għażla bejn iż-żewġ teknoloġiji tiddependi fuq ir-rekwiżiti speċifiċi tal-proġett u t-tip ta 'kompiti tal-ipproċessar tad-dejta involuti.