Hva er forskjellen mellom Hadoop og Spark
Share
De hovedforskjell mellom Hadoop og Spark er det Hadoop er et Apache open source rammeverk som tillater distribuert behandling av store datasett på tvers av datamaskinkluster ved hjelp av enkle programmeringsmodeller mens Spark er et klyngeberegningsramme designet for rask Hadoop-beregning.
Store data refererer til samling av data som har et stort volum, hastighet og variasjon. Det er derfor ikke mulig å bruke tradisjonelle datalagrings- og behandlingsmetoder for å analysere store data. Hadoop er en programvare for å lagre og håndtere store data effektivt og effektivt. Men, Spark, derimot, er et Apache-rammeverk for å øke Hadops databehandling. Den kan håndtere både batch- og sanntidsanalyser og databehandlingsbelastninger.
Nøkkelområder dekket
1. Hva er Hadoop
- Definisjon, funksjonalitet
2. Hva er Spark
- Definisjon, funksjonalitet
3. Hva er forskjellen mellom Hadoop og Spark
- Sammenligning av nøkkelforskjeller
Nøkkelord
Big Data, Hadoop, Spark
Hva er Hadoop
Hadoop er et open source rammeverk utviklet av Apache Software Foundation. Det brukes til å lagre store data i et distribuert miljø for å kunne behandle dem samtidig. Det gir også distribuert lagring og beregning på tvers av datamaskinklynger. Videre er det fire hovedkomponenter i Hadoop-arkitekturen. De er; Hadoop File Distributed System (HDFS), Hadoop MapReduce, Hadoop felles og Hadoop YARN.
HDFS er Hadoop lagringssystem. Det fungerer i henhold til master-slave arkitekturen. Masternoden administrerer filsystemmetadataene. De andre datamaskinene fungerer som slave noder eller data noder. Også dataene er delt mellom disse data noder. På samme måte inneholder Hadoop MapReduce algoritmen til å behandle data. Her kjører hovednoden kart-redusere jobber på slave noder. Og slave node fullfører oppgavene og sender resultatene tilbake til hovedknutepunktet. I tillegg tilbyr Hadoop Common Java-biblioteker og verktøy for å støtte de andre komponentene. På den annen side utfører Hadoop YARN klynge ressursforvaltning og jobbplanlegging.
Hva er Spark
Gnist er et Apache-rammeverk for å øke Hadops databehandling. Det hjelper Hadoop å redusere ventetiden mellom spørringer og for å minimere ventetiden for å kjøre programmet.
Gnist SQL, Spark Streaming, MLib, GraphX og Apache Spark Core er de viktigste komponentene i Spark.
Gnistkjerne - Alle funksjonalitetene er bygget på Spark Core. Det er den generelle utførelsesmotor for gnistplattform. Den gir datainnsamling i minne og refererer til datasett i eksterne lagringssystemer.
Gnist SQL - Gir SchemaRDD som støtter strukturert og halvstrukturert data.
Gnist Streaming - Gir muligheter til å utføre streaminganalyse.
MLib - En distribuert maskin læringsramme. Gnist MLib er raskere enn Hadoop diskbasert versjon av Apache Mahout.
GraphX - Et distribuert grafbehandlingsramme. Den gir en API for å uttrykke grafberegning som kan modellere brukerdefinerte grafer ved hjelp av Pregel abstraction API.
Forskjellen mellom Hadoop og Spark
Definisjon
Hadoop er et Apache open source rammeverk som tillater distribuert behandling av store datasett på tvers av datamaskiner via enkle programmeringsmodeller. Apache Spark er et open-source distribuert generelt-basert klynge-databehandling rammeverk. Dermed forklarer dette hovedforskjellen mellom Hadoop og Spark.
Hastighet
Hastighet er en annen forskjell mellom Hadoop og Spark. Gnisten utfører raskere enn Hadoop.
Feiltoleranse
Hadoop bruker replikering av data i flere kopier for å oppnå feiltoleranse. Spark bruker elastisk distribuert datasett (RDD) for feiltoleranse.
API
En annen forskjell mellom Hadoop og Spark er at Spark gir en rekke APIer som kan brukes med flere datakilder og språk. De er også mer utvidbare enn Hadoop APIer.
bruk
Hadoop brukes til å håndtere datalagring og behandling av store dataprogrammer som kjører i klyngesystemer. Spark brukes til å øke Hadoop beregnings prosessen. Derfor er dette også en viktig forskjell mellom Hadoop og Spark.
Konklusjon
Til slutt er forskjellen mellom Hadoop og Spark at Hadoop er en Apache open source rammeverk som tillater distribuert behandling av store datasett på tvers av datamaskiner via enkle programmeringsmodeller mens Spark er et klyngebasert rammeverk, designet for rask Hadoop-beregning. Begge kan brukes til applikasjoner basert på prediktiv analyse, datautvinning, maskinlæring og mange flere.
Henvisning:
1. "Hadoop - Introduksjon til Hadoop." Www.tutorialspoint.com, Tutorials Point, tilgjengelig her.
2. "Apache Spark Introduksjon." Www.tutorialspoint.com, Tutorials Point, tilgjengelig her.
Bilde Courtesy:
1. "Apache Hadoop Elephant" av Intel Free Press (CC BY-SA 2.0) via Flickr
2. "Gnist Java Logo" Av David Åse - Eget arbeid (CC BY-SA 4.0) via Commons Wikimedia
