San alt " Big Data Teicneolaíochtaí Próiseála: Hadoop agus Spark, " déanfaimid iniúchadh mionsonraithe ar dhá theicneolaíocht a bhfuil tóir orthu agus cumhachtach le haghaidh próiseála big data: Hadoop agus Spark.
Seo forbhreathnú cuimsitheach ar gach teicneolaíocht mar aon le samplaí chun an chaoi a n-oibríonn siad a léiriú.
Hadoop
Hadoop Tá sé bunaithe ar an tsamhail próiseála sonraí dáilte ar a dtugtar MapReduce. Roinneann sé tascanna próiseála i gcodanna níos lú agus dáileann sé iad thar nóid iolracha i líonra. Próiseálann gach nód a chuid de na sonraí agus ansin cuireann sé na torthaí ar ais chuig an máistir nód le haghaidh comhiomlánú deiridh. Feabhsaíonn sé seo luas próiseála sonraí agus scalability an chórais.
Sampla: Déanaimis machnamh ar thacar sonraí mór ina bhfuil faisnéis faoi idirbhearta airgeadais. Trí úsáid a bhaint as Hadoop, is féidir linn an tacar sonraí a roinnt ina smután níos lú agus iad a dháileadh ar nóid phróiseála. Ríomhann gach nód próiseála an méid iomlán airgid ina chuid sonraí. Ansin seoltar na torthaí ó gach nód ar ais chuig an máistir nód, áit a gcuirtear le chéile iad chun an méid iomlán deiridh a ghiniúint ón tacar sonraí iomlán.
Spark
Spark soláthraíonn sé timpeallacht phróiseála sonraí idirghníomhach agus fíor-ama le cumais phróiseála sonraí tapa. Úsáideann sé an coincheap de Thacair Sonraí Dáilte Athléimneach(RDDs), ar bailiúcháin do-athraithe agus dáilte réad iad, chun sonraí a phróiseáil thar nóid iolracha i líonra. Cumasaíonn RDDanna próiseáil sonraí comhthreomhara agus féin-aisghabháil i gcás teipeanna.
Sampla: Déanaimis machnamh ar chás ina gcaithfimid anailís a dhéanamh ar shonraí ó bhraiteoirí IoT chun coinníollacha aimsire a thuar. Ag baint úsáide as Spark, is féidir linn RDDs a chruthú ó shonraí braite agus claochluithe agus oibríochtaí a chur i bhfeidhm ar RDDanna chun táscairí aimsire a ríomh mar teocht, taise agus brú. Déantar na ríomhanna seo go comhthreomhar ar nóid phróiseála éagsúla, rud a bhrosnaíonn an ríomh agus a chumasaíonn próiseáil sonraí fíor-ama.
Soláthraíonn an dá Hadoop agus Spark modhanna éifeachtacha próiseála big data. Braitheann an rogha idir an dá theicneolaíocht ar cheanglais shonracha an tionscadail agus ar an gcineál tascanna próiseála sonraí atá i gceist.