Fast Data in 2017: adoptie van ‘high velocity’ processing platforms

door Alex van Koutrik - 17 oktober 2017

Steeds meer organisaties krijgen het besef van de mogelijkheden van een nieuwe generatie technologie als Fast data. Dit heeft blijvende impact op de manier waarop de business georganiseerd wordt. ‘Digital’ zorgt namelijk voor nieuwe mogelijkheden, nog hogere efficiency in processen, kwaliteit en user experience. Met de snelheid waarin zich dit ontwikkelt, neemt ook behoefte exponentieel toe om te begrijpen hoe de markt verandert, klanten reageren en systemen presteren. In deze blog krijg je voorbeelden van fast data en leer je wat de uitdagingen zijn voor de business. Hoe kunnen organisaties in retail, finance, public en healthcare sneller en beter inzicht krijgen in de specifieke en veranderende behoeften van de business waarin ze zich begeven?

De status van fast data

OpsClarity heeft in dat kader de resultaten van het onderzoek ‘State of Fast Data’ gepresenteerd. Opmerkelijke uitkomst van dit onderzoek is dat 92% van de professionals, zowel business als technology, aangeven dat er een opmerkelijke groei is te zien in de adoptie van ‘high velocity’ data processing platforms. (Let wel: dit gaat om respondenten van Amerikaanse organisaties.)

Het verschil tussen fast data en big data

Voor een goed begrip van fast data is het goed om even terug te gaan naar het begrip als big data. Kenmerkend hierin is een (mini)batchgewijze verwerking en een offline karakter. In veel opzichten kan dit bijvoorbeeld een DataWareHouse 2.0 genoemd worden. Waarbij ook ongestructureerde data als clickstreams, opgeslagen en geanalyseerd kunnen worden.


Big data

Big data gaat voor het overgrote deel over historische data die ergens opgeslagen moet worden om vervolgens binnen een bepaalde tijd geanalyseerd te worden.


 

Behoefte aan realtime data

Steeds vaker ontstaat er echter een behoefte om realtime data streams in grote volumes te kunnen gebruiken. Er moeten real time besluiten genomen worden en real time gereageerd worden op gebeurtenissen. Denk aan een voorbeeld als realtime analyse van wereldwijde creditcard betalingen om fraude patronen te ontdekken en direct in te kunnen grijpen. Deze nieuwe behoeften zorgen ervoor dat er binnen de software industrie een beweging op gang komt. Hierbij wordt zwaar ingezet op nieuwe architectuur, nieuwe generatie tools en frameworks waarmee software applicaties worden gebouwd.

Voorbeelden van fast data en stream processen

Uitgangspunten zijn ‘data driven’ software applicaties die ‘fast data streams’, realtime kunnen vertalen naar inzichten. Fast Data gaat over nieuwe, realtime data. Dit wordt verwerkt op het moment dat deze ontstaat. Deze data wordt ingezet voor business kritische processen (denk opnieuw aan het voorbeeld van creditcard fraude). Het helpt bedrijven om processen verder te optimaliseren en nieuwe business opportunities te ontdekken. Denk bijvoorbeeld ook aan realtime sensor data in auto’s (snelheid, acceleratie, temperatuur, weer). Deze data kan weer gebruikt worden voor conditie afhankelijke premieberekening.

Een kort overzicht van voorbeelden van de inzet van fast data en stream processing technologie:

  • (realtime) aanbevelingen op een website kunnen doen om de conversie te verbeteren;
  • (realtime) fraude detectie zodat actie ondernomen kan worden op het moment dat het zich voordoet;
  • (realtime) process informatie van IoT devices op basis waarvan besluiten genomen kunnen worden;
  • Verdere verbetering van efficiency in high frequency trading;
  • (realtime) foutdetectie zorgt dat er eerder gereageerd kan worden.

De uitdagingen van streaming applications

De uitdagingen van bovenstaande toepassingen komen sterk overeen. Realtime verwerking en analyse van zeer grote hoeveelheden data vraagt om andere oplossingen en principes. Uit het onderzoek komt naar voren dat:

  • 32% van de organisaties behoefte heeft om de ‘customer facing’ processen beter te kunnen managen.
  • 29% van de deelnemers geeft aan een behoefte te hebben om doorlopend key processen te optimaliseren.
  • 39% van de organisaties geeft aan beide te willen doen en ziet de behoefte aan ‘streaming applications’ hieruit ontstaan.

Streaming applications zijn software applicaties die de business processen ondersteunen. Ze zijn zo ontworpen dat ze doorlopend en realtime data leveren ten behoeve van sturing en optimalisatie.

fast data

Uitdagingen voor de adopting van fast data

De adoptie van de benodigde vaardigheden, kennis en ervaring wordt gezien als een belangrijk issue. Ondanks het feit dat organisaties een beweging maken van batch naar stream processing. Deels wordt dit veroorzaakt door de complexiteit van de data frameworks die voor dit doel worden ingezet.

Maar liefst 92% van de organisaties geeft aan van plan te zijn de investeringen in streaming data technologie te verhogen. Professionals van betreffende organisaties (data architecten, data scientists, developers) maken zich zorgen over het vermogen van de organisaties om de technologie ook effectief in te kunnen zetten. Een van de grootste uitdagingen lijkt, voor 68% van de ondervraagden, gebrek aan ervaring in combinatie met de complexiteit van de data processing frameworks en tools.

 

fast data

Fast data platformen voor realisatie, deployment, monitoring en management

De bevindingen uit het rapport geven tenslotte aan dat er behoefte is aan kennis, expertise. Maar ook tooling en frameworks die het eenvoudiger maken. Denk aan monitoring en denk aan ondersteuning op het gebied van deployment, continuous integration ter ondersteuning van de ‘DevOps’ teams. Onderstaand vindt je een top 4 van uitdagingen.

fast data

Open source in de praktijk

Binnen Trivento maken we gebruik van een op Open Source componenten gebaseerd platform. Deze componenten helpt bij realisatie, deployment, monitoring en management van streaming applicaties, de basis voor fast data oplossingen. Denk daarbij aan op Open Source gebaseerde producten als Elastic, Kafka, Cassandra, Vamp.

Met behulp van deze ‘fast data’ platformen kunnen organisaties in retail, finance, public en healthcare sneller en beter inzicht krijgen in de specifieke en veranderende behoeften van de business waarin ze zich begeven.

Wil je hier meer over weten? Trivento heeft onder Nederlandse organisaties een gelijkend onderzoek uitgevoerd. Wil je weten welke waarde fast en streaming data toepassingen voor jouw organisatie kunnen toevoegen? Download onderstaande whitepaper voor alle in’s en outs over Fast data in Nederland.

Hoe kunnen fast & streaming data businesswaarde toevoegen?

bekijk nu de gratis whitepaper