Hadoop 2 big data in een stroomversnelling

Het nieuwe Hadoop, dat eerder deze week gelanceerd werd, legt een geheel nieuwe basis voor de manier waarop big data kan worden opgeslagen, doorgeplozen en verwerkt.

Hadoop 2.0 stimuleert niet alleen de manier waarop apps voor het big data-platform worden geschreven, maar maakt ook geheel nieuwe methodologieën van datacrunching mogelijk die eerder ondenkbaar waren vanwege architecturale beperkingen. Kort gezegd, dit is allemaal heel positief.

Maar waarom is Apache hier niet eerder mee gekomen? En misschien belangrijker, wat is Hadoop in de toekomst verder van plan?

Kritiek op Hadoop heeft zich in het verleden veelal geconcentreerd rond de beperkingen qua schaalbaarheid, maar de grootste doorn in het oog was de taakverwerking. Alle taken in Hadoop worden als batchprocessen gedraaid via een enkele daemon met de naam JobTracker. Juist hierin zit de bottleneck met schaalbaarheid en verwerkingssnelheid.

Binnen Hadoop 2 is de JobTracker op de schop gegaan. In plaats van de JobTracker draait Hadoop op een heel nieuw taakverwerkingsraamwerk waarin twee daemons worden gebruikt: ResourceManager, de beheerder van alle taken voor het systeem en NodeManager, dat op iedere Hadoop-node draait en de ResourceManager op de hoogte houdt van de taakverwerking op de desbetreffende node. (Iedere draaiende applicatie kent ook zijn eigen beheerder, de ApplicationMaster.)

Deze opstelling wijkt zo sterk van de methode af die MapReduce hanteerde, dat Apache met een nieuwe naam op de proppen kwam: YARN, oftewel Yet Another Resource Negiotiator. Binnen YARN is MapReduce één van de vele mogelijke componenten. Op YARN kan elke gedistribueerde applicatie, mits correct gepoort, probleemloos draaien, belooft Apache. De organisatie houdt een lijst bij met YARN-compatible applicaties en weet te melden dat er binnenkort nog veel meer software aan deze lijst wordt toegevoegd.

YARN maakt een geheel nieuwe manier van het omgaan met big data mogelijk, maar gelukkig blijven de bestaande API’s backwards compatible, zodat je bestaande taken alleen opnieuw hoeft te compileren voor Hadoop 2 om goed te kunnen werken zonder allerlei andere systemen opnieuw te configureren.

De grootste winst van YARN is dat het MapReduce reduceert tot één van de manieren waarop data via Hadoop doorzocht kan worden. Apache’s eigen Spark is voor sommige taken een betere kandidaat dan MapReduce. Het voordeel van Hadoop 2 is dat je zelf kunt kiezen welke engine het beste past.

Hadoop-partners Cloudera en Hortonworks hebben zich al achter de nieuwe versie geschaard en zullen hun producten aanpassen aan het nieuwe YARN-raamwerk. Het feit dat deze commerciële bedrijven geen fork van het product hebben gecreëerd of vast blijven houden aan de eerdere versie, getuigt van zeer veel vertrouwen in het product en vroege volwassenheid.

9 manieren om vrijdag π-dag te vieren

Iedereen die een beetje met wiskunde te maken krijgt - en zeg nou zelf, dat zijn we allemaal - viert morgen een belangrijke feestdag: π- of pi-dag. Uiteraard omdat het morgen volgens de Amerikaanse notatie 3/14 is, oftewel pi tot twee cijfers achter de komma. Maar wat gaan we doen? Koekhappen ligt natuurlijk voor de hand, want we kunnen deze dag natuurlijk niet zomaar aan ons voorbij gaan. Negen pi-manieren om pi te vieren.

1. Neem het op voor pi

Aangezien we vrijwel overal over ruziën, zal het je misschien niet verbazen dat er ook pi-haters zijn. En deze boosaardige genieën zien liever dat we tau vieren in plaats van pi. Deze dubbele waarde van pi zou een logischere manier zijn om een cirkel te meten. Zie de uitleg hieronder. Mocht je hierna overtuigd zijn en besluiten pi in de steek te laten; tau-dag is op 28 juni.

2. Leer pi uit het hoofd

Ook jij kunt pi tot x-cijfers achter de komma uit het hoofd leren en het enige wat je daarvoor hoeft te doen is oefenen, oefenen, oefenen. Er zijn apps in de App Store en Google Play die je helpen het rijtje in je kop te stampen. Deze app voor iOS bevat ook een kaart met getallen achter de komma, een oefenmodus en een overhoormodus. Voor Android zijn er diverse apps met soortgelijke functies.

3. Noem pi hardop

Je bent natuurlijk al een tijdje aan de slag met de netgenoemde apps. Hoeveel cijfers kun jij inmiddels uit het blote hoofd opdreunen? De toentertijd twaalfjarige Benjamin Most kon er in 2010 maar liefst 2422 noemen. Twee jaar geleden verbeterde hij zijn eigen record en als 14-jarige wist hij er 4030 uit her hoofd. Nu jij.

Hotel Management School Maastricht wint aanbesteding provincie Noord-Brabant

De Hotel Management School Maastricht gaat een grootschalig hospitality-traject opzetten voor de provincie Noord-Brabant. Het voorstel van de hotelschool werd als beste gekozen uit verschillende aanbiedingen.

Het hospitality-traject omvat het opzetten van een trainingsprogramma voor de circa 125 medewerkers van het facilitair bedrijf van de provincie Noord-Brabant. Ton Stekelenburg, manager Hospitality Consultancy van de Hotel Management School Maastricht: “Het facilitair bedrijf van de provincie Noord-Brabant beschikt over uitstekende voorzieningen, maar wil de hospitality optimaliseren door de mindset van de medewerkers nadrukkelijk te richten op gastvrijheid. Hun doelstelling is ambitieus: de hospitality van het facilitair bedrijf krijgt nu een 7,5; dat moet een 10 worden.”

Het traject zal opgezet en uitgevoerd worden door het team Hospitality Consultancy van de Hotel Management School Maastricht. Hoewel dit team zijn kennis over gastvrijheid veelvuldig deelt met andere organisaties, was het de eerste keer dat het meedeed aan een aanbesteding. Naast manager Ton Stekelenburg bestaat het team uit zes hospitality consultants. Drie van die consultants werken 50 procent van hun tijd voor het hospitality-team, de andere 50 procent geven zij onderwijs. Ton Stekelenburg: “De gedachte is dat zij de praktijkkennis en ervaring die ze opdoen in dergelijk projecten meenemen naar het onderwijs en zo de kwaliteit van het onderwijs verbeteren.”