The Kaggle Platform
The AI landscape is huge and there are thousands of algorithms to solve a single problem. How do you know if you can write good algorithms? One way is to participate in an AI competition. The Kaggle platform host a large number of competitions and you can choose to enter a competition that you find interesting. I choose a character recognition competition with the goal of finishing in the top 10% of the field.

The Task
The task was to write a character recognition algorithm that recognized the numbers in the Kannada script. The Kannada script is an Indian language and creating a good artificial character recognition app could help the local people. This competition was on equalized hardware so everyone had access to the same 30 hours of GPU time and the algorithm that you submitted needed to be able to finish within 2 hours.

The Starting point
I started with one of the strongest architectures for image recognition the Resnet architecture. With just the basic architecture I got a spot in the top 50%. I didn’t use transfer learning since I could train the network from scratch using Kaggles free GPUs, and I wanted to modify the network for further improvements. Kaggle offers 30 hours of free GPU time each week for members and that is a good way to train your Networks for free.

Improvements
I started adding image augmentation to increase the size of my test set by stretching and rotating and warping the characters. I was careful not to over-rotate the characters since that would make the algorithm learn features that are not part of the numbers. Finding good values for Image augmentation moved me further up on the leader board. I didn’t add noise for example since both the sample and evaluation images were noise-free.

I also change the activation function of the Network from Relu to Mish since that algorithm has shown promising results in early testing.

I also modified the skip connection to add some weights on how active the skip connection should be. I found a research paper detailing this approach but unfortunately, I have lost the source to the research paper.

What did the winners do that I didn’t
Most teams that scored higher than me used the following two techniques:
Many of them used Pseudo Labeling.

They also trained multiple networks and let the different networks vote on each number and then choose the answer with the most votes. It is possible to store and load different network parameters from a file on Kaggle.

Source-code
My code that was run in the competition can be found here:

Thanks to
Spctrm for giving me time to explore the AI/ML topic, Fast.ai community and also Kaggle for hosting the competition.This article is a follow up to a AI night hosted by Spctrm where the competition was discussed and how to start with ML without a budget.

Inlägget Att komma topp 5 i en Kaggle-tävling dök först upp på spctrm.

Vad är det som driver dig?
Utveckling, utan tvekan. Att hela tiden lära sig något nytt.

Var det detta som fick dig att starta eget? Du har ju haft många intressanta roller på stora internationella bolag.
Den största anledningen är kunna få vara med och påverka många olika branscher och bolag på samma gång, där den ena veckan inte är den andra lik. Utöver det är det ett nöje att kunna dela med sig av erfarenhet och inspirera, vilket jag verkligen får göra i detta läget.

Vad tror du behövs för att vi ska våga möta AI, utan rädsla?
Behålla vår nyfikenhet för nya saker och teknologier, då det tenderar att bli mindre med åren. Utifrån detta brukar jag säga: ”Titta på era barn och barnbarn hur de tar till sig, använder och lever med dessa nya uppfinningar“. Nyfikenheten är gratis, så det finns inga ursäkter.

Det låter enkelt när du berättar detta, men vem är då Martin som kommit till denna insikten?
En ganska enkel Dalbypåg med väldigt mycket ”rött” och ”gult”. Har varit på elitnivå inom både fotboll och innebandy. Är en fruktansvärd dålig förlorare, hatar att förlora men älskar inte att vinna. Har väldigt mycket energi och ger aldrig upp. Inget är omöjligt att fixa, vissa saker tar bara lite längre tid

Om vi fortsätter att titta på Skåne, vad tänker du när du ser näringslivet? Var är vi på väg och vad behöver göras för att bryta ny mark?
Vi har en mycket ljus framtid, då vi har en stor mångfald. Det finns en fin historia, vilket inte borgar för en bra framtid, men en plattform att ta avstamp ifrån. Vi har en stor fördel, vi är mer öppna till att samarbeta och hjälpa varandra. Vi nätverkar mycket och vi vågar än vad många andra regioner och länder gör. Inget klydd! Se på regionen med MaxLab IV och ESS i Lund som är i absoluta framkant inom forskning. Vi kan även tillsammans hjälpa SME segmentet om dem stora förstår att dem behöver bana väg. Detta kan bara ske genom nätverka.

Var tror du att vi befinner oss om 4 år, när det gäller AI?
Jag tror att merparten av företagen och organisationer använder det som ett verktyg som förenklar och hjälper till med svåra och komplexa uppgifter som vi inte klara av. Jag tror vi kommer arbeta mycket mer med Demand än Supply, där vi kommer utvärderat och förändrat många av våra gamla processer och arbetssätt. Tror till exempel inte att arbetslösheten kommer vara en faktor, utan vi kommer kunna skapa helt nya arbeten som är mer värdeskapande. Vi kan fokusera på att verkligen göra en skillnad.

Inlägget Intervju med Martin Börjesson dök först upp på spctrm.