Immer mehr Unternehmen setzen das Hadoop-MapReduce-Framework, um ihre strategische Entscheidungsfindung zu verbessern und die einzigartigen Geschäftschancen, die in großen Datenmengen verborgen liegen, zu nutzen. Die Entwicklung und Wartung von Hadoop-Implementierungen bei gleichzeitiger Einhaltung der Performance-SLAs stellt jedoch eine Herausforderung dar, die das Risiko erhöhen und der Einführung von Hadoop im Wege stehen kann.
- Für die Skalierung müssen aufgrund des hohen CPU- und Speicherbedarfs mehr Knoten hinzugefügt werden.
- Die Feinabstimmung erfolgt über Hunderte konfigurierbarer Parameter, wodurch die Erzielung der optimalen Performance erschwert wird.
- Für die Entwicklung und Wartung von MapReduce-Jobs sind erfahrene Fachleute erforderlich.
- Neue Funktionen wie das umgekehrte Sortieren müssen manuell programmiert werden.
Beschleunigung von Hadoop mit DMExpress
Syncsort hat eine spezielle DMExpress Hadoop Edition seiner hochleistungsfähigen Software für die Data Integration Acceleration eingeführt. Damit können Unternehmen Hadoop-Bereitstellungen beschleunigen, die Gesamtbetriebskosten senken und eine schnellere Amortisierung erreichen.Diese neue Lösung baut auf mehr als 40 Jahren Erfahrung im Bereich Datenintegration und -Performance auf und vereinfacht die Entwicklung von MapReduce-Jobs erheblich, da sie alle Vorteile der verteilten Plattform und die einzigartige Performance und Effizienz von DMExpress in sich vereint.
- Höhere Performance bei großen Datenmengen: Verringerung der Hardware um bis zu 50 %, so dass keine unmittelbaren Hardware-Investitionen notwendig sind, Performance-SLAs jedoch sogar übertroffen werden können
- Funktionen für die automatische Feinabstimmung: weniger Arbeitsaufwand für IT-Mitarbeiter bei der Wartung vorhandener Hadoop-Implementierungen
- Intuitiv bedienbare grafische Benutzeroberfläche: einfache Einbindung in die bestehenden IT-Prozesse im Unternehmen, dadurch größere Produktivität und schnellere Implementierung strategischer Projekte
DMExpress Hadoop Edition ist vorerst nur als Teil einer eingeschränkten Beta-Version erhältlich, die allgemeine Markteinführung ist für Ende 2011 geplant. Wenn Sie weitere Informationen zu unserer Beta-Version wünschen, können Sie sich gerne an uns wenden.
„Der Benchmark-Test, den wir für Hadoop mit Syncsort durchgeführt haben, hat unsere Erwartungen übertroffen. Wir sehen ein großes Potenzial in der Verwendung schlanker, einfach zu implementierender Tools wie DMExpress in MapReduce-Verfahren, um diese zu beschleunigen und effizienter zu gestalten.“
-- Michael Brown, Chief Technology Officer von comScore, Inc. |
comScore erzielt doppelte Performance durch die Beschleunigung von Hadoop
comScore ist ein führender Marktforschungsanbieter im Bereich digitaler Medien und prägt den Markt durch die Verarbeitung riesiger Datenmengen, um den Kunden eine bessere Grundlage für ihre Entscheidungsfindung zu geben. Das Unternehmen überwacht, sammelt und analysiert täglich mehr als 20 Milliarden Datensätze, d. h. Datenmengen im Terabyte-Bereich, und bietet spezielle Einblicke in das Anwenderverhalten online und offline.
comScore wählte Syncsort für die Beschleunigung seiner Hadoop-Prozesse aus und erzielte in Benchmark-Tests eine beinahe doppelt so schnelle Performance mit DMExpress, ohne zusätzliche Hardware und mit minimalem Aufwand für Programmierung und Feinabstimmung.*
* The benchmark testing was completed on a 6 node cluster on Cloudera’s Distribution for Hadoop Version 3 (CDH3) and involved terabytes of data.