Kamil Wais on Kamil Wais

shinyEventLogger

Wed, 23 Jan 2019 21:07:14 +0000

Logging Events in Shiny Apps

R package shinyEventLogger is a logging framework dedicated for complex shiny apps. Different types of events can be logged (character string, value of a variable, multi-line output of a function, result of a unit test, custom error, warning, or diagnostic message). Each event can be logged with a list of parameters that are event-specific, common for a group of events, or common for all app events. Logging can be done simultaneously to R console, browser JavaScript console, a file log, and a database (currently MongoDB). Log data can be further analyzed with the help of process-mining techniques from bupaR package.

Documentation

Demo Shiny Apps

DemoApp – demo shiny app logging different types of events.
DashboardApp – demo dashboard showing examples how logged events from the DemoApp can be analyzed

Both apps are available in the package and can be run with run_demo() and run_demo_dashboard() functions. See also README.

BigSurv18: Big Data Meets Survey Science Conference and Supercomputing Center in Barcelona

Mon, 05 Nov 2018 00:00:00 +0100

Conference

Recently, I was representing 7N on BigSurv18 Conference in Barcelona . The conference title was Big Data Meets Survey Science and this was the first conference with the aim of exploring new statistical frontiers at the intersection of Survey Science and Big Data. The conference was organized by The European Survey Research Association (ESRA) and was held at the Research and Expertise Center of Survey Methodology at the Universitat Pompeu Fabra in Barcelona.

The participants represented major academic centers, global companies, and governmental agencies, for example: Colombia University, University of Chicago, University of Maryland, University of Michigan, University of Mannheim, University of Essex, NYU, Australian National University, University of Illinois, University of Southampton, RTI International, Kantar Public, GESSIS, CentERdata/Tilburg University, Max Planck Institute, SurveyMonkey, Qualtrics, Uber, Gallup, Gfk, Ipssos, Google, YouTube, Facebook, Civis Analytics, U.S. Census Bureau, Statistics Canada, Office for National Statistics UK, Statistics Netherlands, Statistics Finland, Statistics Norway, EUSTAT, OECD, and others.

The conference gathered many participants and presenters who are well-known in the worlds of Survey Science and/or Big Data. In attendance were, for example: Julia Lane (Professor at New York University, the recipient of more than 70 million USD in grants) whose current research focuses on Big Data’s role in government and public policies. Additionally, there was strong representation of R users - one of the presenters was Maciej Beręsewicz, who was the main organizer of first eRum: European R User Conference in Poznań, Poland.

Conference Topics

Nowadays, there are more and more barriers for conducting survey research projects. The major ones are decreasing response rates and increasing costs of gathering declarative data from respondents. Therefore, many survey methodologists are looking towards Data Science and Big Data trying to supplement or even replace traditional surveys with new methods and technologies and still gain useful insights. There are many challenges to overcome (like methodological issues, low data quality, privacy concerns, etc.), yet some approaches seem to be particularly promising. Therefore, some trending topics at the conference were:

ethical and privacy challenges and considerations,
using Big Data in Official Statistics,
using new technologies for passive data collection,
using data from Social Media (text-mining, process-mining, targeting recruitment),
merging data from different sources (survey data, administrative data, big data, passive data, web-scraped data),
using Big Data to improve surveys and vice versa.

Interestingly, there is no consensus about how to approach ethical and privacy challenges in Survey Data & Big Data world. For many, the EU General Data Protection Regulation (GDPR) is far from being the optimal solution. Some claim that the responsibility for protecting privacy should be moved from data-producers towards those who are using the data for different purposes. Nevertheless, many speakers seemed to agree that the problem is not a binary one. It is more a continuum between full privacy on the one side and full utility from data on the other. However, it was highlighted that the problem is far more complex, because what brings full utility for most people, can be harmful for a few, and even those few should be protected in some way. To sum it up, one is certain - much more discussion is still needed on this topic in many countries, both in US and Europe, and among various professions (including lawyers, politicians, social, computer, and data scientists, philosophers, and people who are concerned about their privacy).

New Paradigms in On-line Declarative Data Collection

At the conference I had a talk about new paradigms in on-line declarative data collection. I was arguing that off-line research paradigms are still dominant, even in the world of on-line research techniques, because most on-line surveys are mainly off-line questionnaires converted into more or less advanced on-line HTML forms. We need to seek, and to be willing to accept, new paradigms in social science research techniques that will allow us to develop new, native on-line research tools designed to build long-term relationships with our respondents. Although, even now almost all attention is focused on more traditional approaches to current problems in Survey Science, in my opinion the change already has started. These days, Social Scientists, Data Scientists, and Computer Scientists more often than ever are working together to find new, interdisciplinary, and innovative methods and tools for conducting important research projects with aim to benefit whole societies.

Barcelona Supercomputing Center

Aside the main conference, visiting „the most beautiful data center in the World” - Barcelona Supercomputing Center - was one of the main attractions of the conference. Created in 2005, the center has now one of the most powerful supercomputers in Europe based on MareNostrum 4 (described by experts as „the world’s most diverse supercomputer” due to the heterogeneity of its architecture). MareNostrum is known for allocating 32 million core hours to the Nobel Prize for detecting gravitational waves. Currently, MareNostrum can perform at 13.7 petaflops (13700 trillion floating-point operations per second). Every four years the supercomputers are upgraded to achieve the European Commission goal to develop exascale supercomputers. The Center has more than 500 employees from 45 countries. The total budget for 2017 was almost 37 million EUR. Supercomputing enables scientific experiments that could not be performed in the real world, because they would be too expensive, too dangerous or simply impossible.

New Paradigms in Online Declarative Data Collection

Fri, 26 Oct 2018 00:00:00 +0200

Biographical articles in scientific literature: analysis of articles indexed in Web of Science

Fri, 05 Oct 2018 00:00:00 +0200

Towards Native Declarative Data Collection with Question and Survey Instant Feedback in R&Shiny

Sun, 13 May 2018 00:00:00 +0200

Notes from eRum 2018: European R User Conference in Budapest

Sat, 05 May 2018 00:00:00 +0200

The second eRum was organized this year in Budapest (Hungary) and gathered ~500 participants (mostly, but not only, from Europe). It was a great event and a worthy successor of the first eRum organized in Poznań (Poland) two years ago.

In the Workskop Day I participated in two workshops:

Efficient R programming by Colin Gillespie (author of the Efficient R Programming book by O’Reilly)
Building a package that lasts by Colin Fay.

Both workshops were great for someone who wants to refresh knowledge about up-to-date good practices in developing and optimizing R packages (including package structure, unit testing, roxygen documentation, pkgdown, continuous integration, code coverage, banchmarking, version control, parallel computing, byte complier etc.).

In the next two Conference Days, there were a number of inspiring talks, but I would like to highlight at least some of them:

Martin Mächler and Roger Bivand (R Core Team members) both had great and illuminating talks about R (coding good practicies, history and future of R).
Olga Mierzwa-Sulima introduced two new packages from Appsilon that provides logging of user activities and managing users of shiny apps. Unfortunately, these packages are not open source, and are not yet available for other developers. However, you can taste their flavor here.
Matthias Templ had a great talk about robCompositions package and a proper way for analyzing compositional data which are present in almost any field of research (for example concentration of chemical elements, time budget data, expenditures, percentages and ratios reported in various tables).
Przemysław Biecek introduced a toolkit for interpreting machine learning models. Great toolkit and great talk, which is always the case when Prof. Biecek gives a talk.
Heather Turner introduced new PlackettLuce package for analyzing rankings data. This could be very useful tool, applicable in many different fields. I’m looking forward to trying it myself.
Henring Bengtsson had a great talk about the impactful future package. I’ve used his package for one of my shiny app for refreshing the data in the background process, even without using brand new package promises. The future package is, in my opinion, indeed a future for parallel and distributed processing in R. It has multi-platform, well-designed API that allows for very easy code adaptation to different parallel infrastructure backends. Development of the project is currently sponsored by R Consortium.
Achim Zeileis presented R/exams package for generating exams tests. Everyone working with students may find it interesting tool for teaching and knowledge checking.
Mark van der Loo had a talk about lumberjack package and Edwin de Jonge about validatetools package. Both packages can be very useful if someone needs to validate correctness of data in datasets or log changes done to the raw data.

Other notes:

If you have never used interactive plots before, try ggplotly() - a function that converts a ggplot2 object to a plotly interactive object, so you can rapidly make your static plot interactive.
If you like use Hadley’s purrr package for functional programming, you need to check new furrr package, which was recently published on CRAN. In this package you can find implementations of map() functions that can be run in parallel or on distributed cluster.

Debt Literacy and Debt Literacy Self‐Assessment: The Case of Poland

Wed, 02 May 2018 00:00:00 +0000

Wrażenia z pobytu na Uniwersytecie Notre Dame (USA)

Tue, 28 Nov 2017 00:00:00 +0100

Center for Research Computing (CRC)

Od 1 sierpnia do 31 października 2017 r. miałem możliwość i ogromną satysfakcję gościć na Uniwersytecie Notre Dame w stanie Indiana. Pojechałem tam zaproszony przez dyrektora Center for Research Computing (CRC) prof. Jarka Nabrzyskiego, którego poznałem w Tokio rok wcześniej na konferencji plenarnej Research Data Alliance. W USA spędziłem trzy miesiące jako wizytujący assistant professor, przyglądając się pracy CRC, które jest jednym z kilku wydzielonych Centrów, działających na Uniwersytecie Notre Dame. W szczególności blisko współpracowałem z Center for Social Research (CRS). CRS jest jednostką blisko zintegrowaną z CRC i kierowaną przez Kate E. Mueller. CRS składa się z grupy osób specjalizujących się w analizie danych (Data Science) w badaniach społecznych. W sumie w całym CRC pracuje około 50 osób. Oprócz CRS w CRC działają też inne grupy: High Performance Computing Group, Software Development Group i CyberInfrastructure Development Group. Taka struktura pozwala CRC na sprawną realizację misji, którą jest, między innymi, ułatwienie współpracy interdyscyplinarnej pomiędzy badaczami nauk społecznych i informatycznych. CRC zapewnia dostęp do rozbudowanej infrastruktury informatycznej i może np. zapewnić dostęp do mocy obliczeniowej ponad 30 000 rdzeni procesorowych, pozwalając m.in. na rozwój tzw. obliczeniowych nauk społecznych (Computational Social Science). CRC jest uznawane za jedno z najlepszych akademickich centrów obliczeniowych w Stanach. Notre Dame dysponuje obecnie w sumie dwudziestoma światowej klasy ośrodkami/centrami badawczymi (tzw. core facilities).

CRS z kolei zapewnia wsparcie pracownikom naukowym Uniwersytetu w zakresie gromadzenia, przechowywania, analizy, interpretacji i wizualizacji danych badawczych. W skład Centrum wchodzą osoby specjalizujące się w różnych obszarach i narzędziach. Cześć z tych osób pracuje nad doktoratami (pierwszymi lub kolejnymi). Nie mają oni obowiązków dydaktycznych. Oferowane są natomiast warsztaty dla chętnych studentów i pracowników naukowych. Podstawowym narzędziem analitycznym jest język programowania statystycznego R; wykorzystywany jest również Python. Mam bardzo pozytywne wrażenia z pracy w tym międzynarodowym środowisku osób (w składzie zespołu znajdowały się osoby pochodzące z Chin, Irlandii, czy Nepalu), zajmujących się Data Science w naukach społecznych. Niezwykle wartościowe było również różnorodne, interdyscyplinarne przygotowanie tych osób, często wychodzące daleko poza tylko nauki społeczne, np. podwójne studia z filozofii i informatyki, doktoraty z prawa oraz fizyki i statystyki, bioinformatyka, systemy GIS, czy formalna matematyka. CRS rozwija się coraz intensywniej, zatrudnia nowych konsultantów, rozbudowuje ofertę usługową. Plany rozwoju są ambitne, a potencjał duży również dzięki bliskiej integracji z CRC. Podczas swoich kontaktów z CRC/CRS byłem pod ogromnym wrażeniem dużej życzliwości i otwartości kadry zarządzającej, nie tylko w stosunku do mnie, ale i do wszystkich pracowników. To wszystko budowało od początku bardzo dobrą atmosferę do zespołowej pracy, współodpowiedzialność za projekty, lojalność i zaangażowanie ze strony pracowników. Dodać też trzeba, że ogromne wsparcie było również widoczne ze strony wszystkich wydziałów administracyjnych, jakie miałem okazję poznać (w moim przypadku szczególnie w sprawach formalno-wizowych).

Charakterystyka Uniwersytetu Notre Dame

Uniwersytet Notre Dame został ufundowany w 1842 r. jako uniwersytet katolicki i od 175 lat nieprzerwanie zachowuje ten religijny charakter. Nie przeszkadza to jednak w tym, że zarówno pracownicy, jak i studenci reprezentują różne kraje, kultury i religie. Władze Uczelni jednoznacznie i otwarcie sprzeciwiają się wszelkim tendencjom rasistowskim czy antysemickim. Wolność słowa czy wyznania to wartości powszechnie akceptowane i pilnowane przez wszystkie strony. Podkreślana jest przez władze uczelni konieczność dialogu niezależnie od dzielących różnic, także światopoglądowych czy politycznych.

Kadra i studenci

Na uniwersytecie pracuje około 1200 pełnoetatowych pracowników akademickich (nie licząc administracyjnych) i studiuje prawie 12 400 studentów, co daje stosunek ok. 10 studentów na jednego pracownika naukowego. Z tego też powodu grupy dydaktyczne liczące 12 osób uważane są za duże. Na około 20 000 podań w 2016 roku przyjęto na studia 3 655 osób, czyli 18.7% aplikujących. Składana jest duża liczba aplikacji z całego świata, mimo że czesne należy do jednego z wyższych w USA (średniorocznie ok. 50 tys. dolarów). Jednocześnie prawie ³⁄₄ studentów pierwszych lat otrzymuje jakąś formę pomocy finansowej — w ²⁰¹⁵⁄₁₆ było to w sumie ponad 233 miliony dolarów. Na 2200 studentów poziomu graduate, 73% zdobywa doktoraty w 32 dyscyplinach. Około 97% otrzymuje pełne stypendia (full-tuition scholarships). Ponad połowa studentów pierwszych lat studiuje również za granicą: w Australii, Brazylii, Chile, Chinach, Francji, Niemczech, Grecji, Irlandii, Izraelu, we Włoszech, Japonii, Jordanii, Meksyku, Rosji, Senegalu, Singapurze, Południowej Korei, Hiszpanii, Szwajcarii, Ugandzie i Wielkiej Brytanii. Na Notre Dame studiuje 1300 studentów międzynarodowych z 100 krajów. Dodatkowo, uczelnia gości każdego roku około 350 naukowców z różnych krajów. Na uczelni działa ponad 500 klubów studenckich i organizacji. 95% studentów kończy uczelnie z dyplomem, co daje Notre Dame miejsce w pierwszej piątce rankingu dla uczelni badawczych. Na świecie aktywnie działa największa w szkolnictwie wyższym sieć 270 klubów absolwentów Notre Dame.

Rankingi

Krajowe rankingi dają Notre Dame miejsce (w zależności od konstrukcji) w pierwszej 25-tce, 15-tce lub nawet 10-tce najlepszych uniwersytetów w Stanach Zjednoczonych. Uczelnia jest też w ścisłej czołówce rankingu uniwersytetów, w którym rodzicie wybierają uczelnie, na jakich chcieliby, żeby studiowały ich dzieci (24% obecnych studentów to dzieci absolwentów Notre Dame). Uniwersytet jest również na pierwszym miejscu w rankingu instytucji szkolnictwa wyższego o charakterze katolickim. Wśród absolwentów Notre Dame są nobliści, senatorowie, pracownicy NASA, astronauci, kardynałowie czy osoby ze świata polityki, jak np. była Sekretarz Stanu Condoleezza Rice. Absolwenci Notre Dame pełnią najwyższe funkcje zarządcze (CEO) w około 25 collegach i uniwersytetach. W skład Notre Dame wchodzą również znane college i szkoły uznawane w kraju za jedne z najlepszych (np. Notre Dame Law School czy Mendoza College of Business).

Finanse

Notre Dame dysponuje rocznym budżetem około 1.6 miliarda dolarów i obecnie może pochwalić się najwyższą ze wszystkich amerykańskich uniwersytetów sumą darowizn, wynoszącą łącznie ponad 10 miliardów dolarów. W roku ²⁰¹⁶⁄₁₇ sami absolwenci uczelni przekazali swojej Alma Mater w darowiznach 233 miliony dolarów. W ostatnim roku pozyskano również 138 milionów dolarów z samych grantów badawczych. Za pozyskanie ok. 10% tej sumy, czyli 14 mln dolarów, było współodpowiedzialne CRC.

Kampus

Kampus Uniwersytetu jest uważany za najpiękniejszy w Stanach Zjednoczonych i stanowi jedną z głównych atrakcji turystycznych w stanie Indiana. W roku akademickim ²⁰¹⁵⁄₂₀₁₆ odwiedziło go ponad 1.8 miliona gości.
Na ponad 1260 akrach zlokalizowanych jest 171 budynków uniwersyteckich, co razem daje wartość ponad 3 miliardów dolarów. Budowane są kolejne budynki, w tym nowe centra badawcze. Moje miejsce pracy mieściło się w siedzibie CRS, zlokalizowanej w nowo wybudowanym, nowoczesnym i pięknym architektonicznie Jenkins Hall. W obrębie kampusu mieszczą się boiska, pola golfowe, trasy spacerowo-biegowe wokół dwóch jezior, przystań dla żaglówek, dwie pływalnie (w tym jedna o wymiarach olimpijskich). Na kampusie zlokalizowany jest też stadion sportowy mieszczący 80 000 widzów, na którym regularnie odbywają się rozgrywki amerykańskiego footballu. W historii 150 kolejnych rozgrywek, za każdym razem, wykupione były wszystkie miejsca. Stadion od tego roku został wyposażony w największy stadionowy telebim. Kontrakt ze znaną marką amerykańską Under Armor na produkcję odzieży sportowej z logiem Notre Dame został wyceniony na prawie 100 mln dolarów, a wartość footballowej drużyny sportowej jest wyceniana na ponad 100 mln dolarów. Przy stadionie zlokalizowane jest również nowe, wyposażone w najnowszą technologię, studium telewizyjne, które przygotowuje transmisje telewizyjne wychodzące z Uniwersytetu. Główny budynek biblioteki uniwersyteckiej (a jest ich kilka) ma 14 pięter i w momencie ukończenia budowy był największą biblioteką uniwersytecką na świecie. Uniwersytet ma również własną elektrownię, straż pożarną, dwie kliniki (dla studentów i kadry naukowej) i własną policję, która posiada jurysdykcję na terenie kampusu niezależną od lokalnej policji. Wydawnictwo uniwersyteckie ma 1000 książek w druku i ponad 50 nowych tytułów rocznie. Uniwersytet Notre Dame posiada również swoje filie w Londynie, Beijing, Dublinie, Jeruzalem i Rzymie.

Eventy

Pobyt w Notre Dame to również była doskonała okazja do udziału w otwartych wykładach, seminariach, spotkaniach, warsztatach i uroczystościach. Z ciekawszych wykładów warto wspomnieć wykład prof. Anny Grzymały-Busse ze Stanford University, która odbierała jednocześnie prestiżową nagrodę z swoją książkę Nations under God, czy wykład Citizenship in a Global Age prowadzony przez Horsta Koehlera — byłego prezydenta Niemiec, obecnie przedstawiciela Narodów Zjednoczonych na zachodnią Saharę. Wartościowe było osobiste poznanie Hadley’a Wickhama (Chief Scientist w RStudio), cieszącego się ogromnym uznaniem w społeczności osób zajmujących się Data Science, który przybył do Notre Dame z gościnnym wykładem w ramach cyklu zaproszonych wykładów dla studentów kierunku Data Science. Interesujące były również spotkania z udziałem osób ze świata polityki amerykańskiej, np. z byłą Sekretarz Stanu Condoleezzą Rice, szefami sztabów Baracka Obamy i Georga Busha, czy byłym dyrektorem CIA. Brałem również udział w bardzo wartościowych i inspirujących warsztatach Writing Successful Grants prowadzonych przez Roberta Portera — byłego dyrektora Research Development na University of Tenessee.

Ogólnie swój pobyt oceniam jako bardzo udany, przekraczający znacznie moje wcześniejsze oczekiwania. O wynikach prac naukowych prowadzonych w Notre Dame będę informował w odpowiednim czasie w innym miejscu na swojej stronie WWW.

Determinants of willingness to study in Poland among members of Polish Diaspora

Wed, 01 Nov 2017 00:00:00 +0000

The Role of Data Science in Pursuit of Long-Term Relationship Between Respondents and Social Researchers

Fri, 29 Sep 2017 00:00:00 +0200

Welcome to the Tidyverse. Hadley Wickham lecture at Notre Dame University

Mon, 28 Aug 2017 00:00:00 +0200

During my research visit at Notre Dame University I had the pleasure to participate in Hadley Wickham’s lecture Welcome to the Tidyverse and meet Hadley in person. Hadley’s talks are always well-structured and worth listening.

Hadley Wickham has been a prime mover in releasing R upon the masses, enabling hordes of unsuspecting would-be researchers to process and visualize data in ways they never dreamed of. The tidyverse, the culmination of years of effort in the R language, is a universe of packages that facilitate a grammar of data, graphics, and modeling that allows even beginners to speak the language of data science fluently. Author of several books on programming and dozens(!) of R packages that are among the most widely used in the realm of data, Hadley Wickham invites you personally to experience the thrill of diving deep into data, discovering unknown treasures, and coming out on the other side with a fuller understanding of the way in which the world works! Hadley Wickham is the Chief Scientist at RStudio and an Adjunct Professor of Statistics at the University of Auckland, Stanford University, and Rice University. He builds computational and cognitive tools that make data science easier, faster, and more fun. This event was hosted by the MS-ACMS Data Science program and was co-sponsored by the Mendoza College of Business MSBA program and the Office of the Provost.

Closed Open Data

Sun, 18 Jun 2017 21:13:14 -0500

Summary

In this research project we analyze barriers and bad practices in accessing Open Administrative Data in Poland.

Środowisko fizyczne i społeczne oraz jakość funkcjonowania szkoły a zdrowie subiektywne i zachowania zdrowotne nastolatków. Raport końcowy z realizacji projektu badawczego

Sun, 04 Jun 2017 00:00:00 +0000

Raport został przedstawiony przez prof. Bogusława Śliwerskiego na jego blogu: http://sliwerski-pedagog.blogspot.com/2017/06/jakosc-szkoy-zdrowie-uczniow.html

Personal Loan Companies in Poland: Does Empirical Evidence Justify Regulatory Transition?

Tue, 09 May 2017 00:00:00 +0000

External evaluation of the school and academic achievements in relation to alcohol drinking and delinquent behaviour among secondary school students / Wyniki zewnętrznej ewaluacji szkoły i osiągnięcia w nauce a picie alkoholu i wykroczenia gimnazjalistów

Thu, 01 Dec 2016 00:00:00 +0000