Workshop: Maak je eigen scraper in een namiddag

Journalisten vinden regelmatig nuttige informatie op internet, maar daar staat lang niet altijd een download-knop bij. Hoe kun je die gestructureerde informatie in een spreadsheet krijgen? Juist, met een scraper. Maar daarvoor moet je leren programmeren.
Op vrijdag 20 december kun je binnen een paar uur leren hoe je zo’n scraper maakt. Voortaan heb je als journalist een flink aantal extra bronnen om artikelen mee te maken.
Jerry Vermanen (datajournalist NU.nl) geeft een korte inleiding, waarna Erik Willems (programmeur LocalFocus) je binnen anderhalf uur een scraper leert maken in PHP. Rond 16:00 uur beginnen we. We hopen rond 18:00 klaar te zijn.
Deelnemers moeten hun eigen laptop meenemen. Installeer van tevoren het volgende (zodat we meteen aan de slag kunnen):
Er is plaats voor maximaal 20 deelnemers. Wil je daarbij zijn? Mail dan naar jerryvermanen@gmail.com.
De workshop wordt georganiseerd bij LocalFocus aan de Nieuwe Uilenburgerstraat 14-16 in Amsterdam. Wat vragen we van jullie? Een vrijwillige bijdrage voor avondeten en wat te drinken. We gaan ‘s avonds met de pet rond of zetten een pot neer.
Deze aankondiging verscheen eerder ook op de website van Jerry.

Update LocalFocus-platform: interactief en beter responsive

Deze afgelopen weken heeft het team van LocalFocus hard gewerkt aan coole nieuwe mogelijkheden voor het LocalFocus-platform. Vandaag is de nieuwe versie gelanceerd. Vragen of interesse? Mail met erik@localfocus.nl.
Maak zelf interactieve infographics
Met het platform van LocalFocus kan je binnen enkele minuten zelf een interactieve infographic samenstellen. De onderstaande voorbeelden zijn gemaakt met LocalFocus.
Beter responsive
De widgets die zijn gemaakt met het LocalFocus-Platform zijn beter responsive en passen zich automatisch aan aan verschillende (mobiele) devices en browsers. Het opgeven van een vaste afmetingen voor de widgets en het schrijven van een titels en bijschriften zijn optioneel geworden.
Overige aanpassingen
Verder zijn er nog tientallen wijzigingen doorgevoerd, waaronder:
  • Betere schaalverdeling bij alle soorten infographics.
  • Divergente kleurenschaal voor kaarten.

LocalFocus-pilot van start!

Na bijna vijf maanden aan ons platform te hebben gesleuteld, is vandaag de dag dat versie 1.0 het licht ziet en we met de pilot gaan beginnen. Het is erg gaaf om te zien dat iets dat zolang slechts een idee was nu daadwerkelijk vorm heeft gekregen. Bovendien heeft het idee zich de afgelopen maanden ook steeds verder ontwikkeld. Juist door er in de praktijk mee bezig te zijn en geregeld ook op problemen te stuiten, kom je weer tot nieuwe inzichten.
Toch kun je eigenlijk wel zeggen dat het echte werk nu pas begint. Het LocalFocus-platform is immers zo goed als de data die we erin stoppen. Tijdens de pilot gaan we met onze mediapartners hiermee aan de slag. Een maand lang gaan we relevante datasets verzamelen die verhalen moeten gaan opleveren voor de regio. Dit doen we in samenwerking met Dichtbij.nl, Omroep West en Omroep Flevoland. Daarnaast willen we ook alvast inventariseren wat ons platform voor landelijke media kan betekenen. Hiervoor hebben we Het Financieele Dagblad bereid gevonden om mee te doen aan de pilot.
Om de pilot soepel te laten verlopen, hebben we de afgelopen weken videotutorials voor het platform gemaakt. Naast de eerste gebruikers alvast een eindje op weg te helpen, geven de video’s ook een mooie impressie van ons platform en de verschillende functionaliteiten. Neem dus vooral een kijkje als je geïnteresseerd bent.

Polygonenkaart en eigen data toevoegen: update 0.5

 

Wij hebben in stilte doorgewerkt aan het dataplatform van LocalFocus, na een periode van bètatesten. Wat is er de laatste weken toegevoegd?

Polygonenkaart

We werken hard aan polygonenkaarten, die perfect passen bij het uiterlijk van de overige infographicsoorten. Met enkele muisklikken is het nu al mogelijk om elke dataset om te toveren in kaarten van Nederland, in de eigen huisstijl van het mediamerk.

Eigen data toevoegen

We kregen veel vragen of het ook mogelijk wordt om zelf onderwerpen aan te maken en data in ons platform te importeren. Hierbij het antwoord: ja! We werken hard aan een makkelijke functie voor het toevoegen van eigen datasets. Het programma probeert je hierbij zo veel mogelijk te helpen. Je kan dus straks in enkele minuten kaarten en grafieken maken met jouw eigen data, in de eigen huisstijl van jouw mediabedrijf.

Andere nieuwe snufjesVoorkeurslocaties en onderwerpen

Laat het platform weten in welke onderwerpen en locaties jij geïnteresseerd bent. Het programma probeert hierna jou zo veel mogelijk te helpen met het vinden van de interessante datasets en het maken van de grafieken en kaarten. Ook krijg je automatische updates via de mail als er voor jou relevante nieuwe data wordt toegevoegd.

Infographics maken: klik en sleep

We willen het zo makkelijk mogelijk maken, dus nu kan je de infographics naar jouw wensen aanpassen met een paar eenvoudige ‘klik-en-sleep’-bewegingen.

Data downloaden als spreadsheet

Van jouw dataselecties kon je al kaart- en grafiekvormen maken en embedden. Nu kan je de data ook downloaden in .csv-formaat voor ander hergebruik.

Vlak voor het weekend: eerste update LocalFocus

Afgelopen maandag is het platform live gegaan voor de eerste test-gebruikers. Donderdag hebben we de eerste update doorgevoerd, een klein feestje, naar versie 0.4.1. De belangrijkste wijzigingen:
  • In grafieken worden maanden (02-2012) omgezet in afkortingen als (Feb 2012).
  • ‘Inline editing’ voor de tekstvlakken in de embed-modus
  • Admins kunnen data met als tijdnotatie kwartalen (2011 IV) en halve jaren toevoegen.
  • Ondersteuning voor meerdere soorten waarden (absoluut, procentueel, etc.) in één dataset
  • Een betere ‘samenwerking’ tussen het zoeken van locaties en de locaties die als eerste worden getoond in de grafieken
  • Tooltips in de lijngrafiek springen naar de voorgrond als de cursor nabij is
  • Ontbrekende waardes worden in de lijngrafiek weergegeven met een stippellijn.
En nog enkele kleine wijzigingen achter de schermen.
Waar we komende week aan gaan werken:
  • Kaarten met polygonen, dat ongeveer eruit moet zien als hier.

Bèta-test gestart! Versie 0.4 gelanceerd.

Tientallen deelnemers hebben toegang gekregen tot de bèta-test van het platform van LocalFocus. In de toekomst zal LocalFocus verzamelde data met dit platform publiceren, voor hergebruik door mediabedrijven. Op dit moment is een eerste (redelijk) stabiele versie klaar. Daarom horen graag wat je ervan vindt. Zo kunnen wij het platform zo snel mogelijk verbeteren, want het is nog niet af!
De test loopt tot 28 juli. Daarna zullen we alle suggesties zo veel mogelijk toepassen. In de tussentijd zullen wij updates doorvoeren en enkele nieuwe datasets toevoegen.

Reageren

Ideeën of opmerkingen? Reageer hier, met het wachtwoord dat wordt gegeven op de hoofdpagina van het platform.

Vragen en antwoorden

Waarom zitten er maar enkele datasets in het platform?
Wij testen nu slechts de functionaliteit van het platform. Pas als dit is afgerond, zal de nieuwsdienst van LocalFocus meer data toevoegen.
Waarom kan ik de verhoudingen bij het ’embedden’ niet aanpassen?
In de toekomst moeten gebruikers van tevoren al aangeven in welke verhoudingen zij willen embedden, zodat deze objecten gelijk klaar zijn voor het publiceren in de eigen huisstijl.
Waarom is de provincie Utrecht altijd mijn beginlocatie?
Het kiezen en opslaan van een voorkeurslocatie is nog niet beschikbaar. Daarom wordt de provincie Utrecht gekozen.
De embed’s verwijzen naar localfocusnederland.appspot.com. Wat is dat?
Dat is de ‘cloud’ van Google. Alle embed’s worden daar opgeslagen voor maximale snelheid en stabiliteit.

ToDo-lijst

Dit staat onder andere nog op onze lijst om toe te voegen aan het platform:
  • Polygonen voor kaarten, zoals hier.
  • Instelbare voorkeurslocaties voor gebruikers, met updates via de mail als er nieuwe data beschikbaar is.
  • Data downloaden als spreadsheet (.csv) en als schaalbare afbeelding (.svg).
  • Betere ondersteuning voor mobiele browsers.

Journalism++ Amsterdam is geboren!

In onze eerste blog gaven we al aan dat samenwerken essentieel wordt, willen we al onze mooie plannen kunnen uitvoeren. Daarom zijn we nu ook blij aan te kunnen kondigen dat LocalFocus onderdeel wordt van Journalism++, een internationaal netwerk van onafhankelijke bedrijfjes en freelancers die een gemeenschappelijke visie op datajournalistiek delen. Journalism++ Amsterdam is geboren!
Het in 2011 opgerichte collectief heeft verder afdelingen in Parijs, Berlijn en Stockholm. Journalism++ was eerder betrokken bij de ontwikkeling van de visualisatietool Datawrapper en ook werkte het collectief aan producties voor onder andere AFP, WikiLeaks en LeMonde. Zowel bij het ontwikkelen van onze tools als bij het uitwerken verhalen denken we veel aan elkaars expertise te hebben.
Insteek
De insteek van LocalFocus blijft ongewijzigd: wij bieden een data-driven nieuwsservice waaruit regionale- en lokale media verhalen kunnen putten. Daarbij zorgen we voor gemakkelijk te embedden grafieken en kaarten in de huisstijl van onze afnemers. Maatwerk is ook mogelijk; van (data)research tot interactieve visualisaties. Zowel regionale tv-, print- als onlineredacties kunnen met onze diensten aan de slag. Daarnaast gaan we vanaf heden ook trainingsessies en workshops organiseren, om zo binnen het Nederlandse medialandschap de mogelijkheden die datajournalistiek biedt beter onder de aandacht te brengen.

LocalFocus zoekt jou!

Journalist of gewoon geïnteresseerd? LocalFocus zoekt testers voor de bètaversie van het digitale dataplatform. Maar wat kun je verwachten van deze eerste testversie en waar gaan we heen?
Het platform
In Nederland en daarbuiten zijn bergen van data te vinden. Allemaal potentiële nieuwsbronnen, maar toch te lastig en te technisch. De datajournalisten van LocalFocus verzamelen en verwerken deze data en brengen het via het digitale platform hapklaar naar de journalist. Ons doel is dat iedere journalist ermee kan werken en met data nieuwe verhalen kan vertellen en visualiseren.
Het platform krijgt al vorm, maar het is absoluut nog geen eindproduct. We willen slechts de functionaliteit testen. Dus heb je verbeterpunten, ideeën, vind je ‘bugs’? Laat het weten.
Wat zit er in de bèta?
Zoeken binnen een beperkte hoeveelheid data, op plaats (provincie, gemeente etc.) en trefwoorden. Eenvoudig filteren binnen datasets en het resultaat bekijken op kaarten, in grafieken of diagrammen. Met een druk op de magische knop de visualisatie klaarmaken om te embedden voor op de eigen website.
Waar gaan we heen?
Als het platform voltooid is zal LocalFocus er zeer regelmatig data in publiceren, waarvan wij denken dat er nieuws in zit. Dat doen we handmatig of met de permanente datascrapers. Journalisten geven aan wat hun interessegebieden zijn en worden gewaarschuwd als er relevante data is toegevoegd. Bij nieuwe data geeft LocalFocus aanwijzingen wat mogelijk de interessante verhalen zijn, toegespitst op regio’s.
Journalisten kunnen alle visualisaties in de huisstijl van hun mediabedrijf embedden op hun eigen site. Zonder technische kennis toch professionele interactieve infographics publiceren. Verder wordt de ’embed-tool’ uitgebreid: het zal steeds meer een middel worden om verhalen te vertellen, met tabbladen en speciale tekstkaders… nieuwe manieren om data voor het publiek te duiden!
De datascrapers zullen steeds meer evolueren tot echte robots die constant interessante databronnen afgrazen, altijd zoekend naar de laatste informatie. Op de tekentafel ligt nog meer, maar dat volgt 🙂
Meedoen met het testen? Meld je aan en stuur een mailtje naar erik@localfocus.nl.