Allerede 19. mai gikk det et brev fra Brattholmen til Bergen. I dette anga de to Geitanger-karene Hans Olsen og Hans Pedersen både Jens og Joas for å ha gått om bord i "HMS Tartar" - og framhevet at de selv hadde advart dem mot å gjøre det.
Og ganske snart gikk det rykter både i Bergen og på strilelandet om at loser og fiskere hadde gitt fienden "en hjelpende hånd". Det hele resulterte i avhør både for Nordhordland og Sunnhordland jurisdiksjon. I avhørene ble saken avdekket omtrent slik vi har fortalt den her.
Etter avhørene i de lokale ekstrarettene, ble det 2. september 1808 befalt nedsatt en kommisjon for å undersøke og påkjende en del personers forhold, som har deltatt i å inn- og utlose den engelske fregatt Tartar.
Kommisjonen fikk følgende medlemmer: Kommandørkaptein von Friess, major Otto Synnestvedt, sorenskriver J. Hansen og kst. sorenskriver Georg Jacob Bull. I tillegg ble procurator Kahrs oppnevnt som aktor og procurator Balchen, procurator Rogge og rådmann Friele oppnevnt som forsvarere for de tiltalte.
Kommisjonsskriver var Sebastian Schjeldrup.
Kommisjonen startet sitt arbeide 16. november 1808 og avsa dom 31. januar 1809.
Kommisjonen innstevnet en rekke personer og tiltalte: Johannes Hansen Geitanger, Jens Andersen Geitanger, los Ole Johannessen Stolmevågen, los Mons Larsen Nedrevåge, los Jacob Jacobsen Nedrevåge (men han døde før kommisjonssaken), Christopher Pedersen Øvrevåge, Rasmus Andersen Øvrevåge, Hans Bårdsen Nedrevåge, Svend Pedersen Nedrevåge, Johannes Johannessen Støle (Søre Årland), Johannes Andersen Nedrevåge, Ole Hansen Nedrevåge, Lars Nielsen Øvrevåge, Lars Olsen Stolmevågen og signalstasjonsbestyrer Christopher Huun.
I tillegg måtte en rekke personer fra Stolmen, Geitanger og andre møte som vitner.
Kommisjonens oppgave var å belyse hva som hadde skjedd rundt inn- og utlosingen av den engelske fregatten "HMS Tartar" 15. og 16. mai 1808.
Kommisjonen var spesielt opptatt av bakgrunnen for at losene gikk om bord i skipet og deres holninger til og betenkeligheter med å gjøre dette. I tillegg så kommisjonen ekstra strengt på holdningene og gjøremålene til de to palefiskerne i Hjeltefjorden som gikk om bord og bisto med utlosingen av "HMS Tartar" etter "slaget" ved Alvøen.
Kommisjonens dom var meget streng, og i henhold til de paragrafer i loven som den fant å måtte anvende. Men den overlot likevel de dømte til "kongens nåde". Og det kunne de ha behov for, særlig Joas Hansen som fikk dødsdom, Jens Andersen som fikk livsvarig festningsarbeid, Ole Stolmevågen som fikk to år på festningen og Mons Larsen som fikk ett år på festningen.
Til tross for at aktor i Overkriminalretten ville dømme alle fire til døden, ble straffene der betydelig redusert, unntatt for den allerede dødsdømte Joas Hansen. Men også han fikk åpenbart Kongens nåde etter hvert, slik at alle de fire straffedømte slapp ut fra festningen før livet tok slutt. Men tiden i slaveriet på Bergenhus må ha tæret på kreftene. De fleste døde på heimplassene sine forholdsvis kort tid etter at de igjen var frie menn, men ifølge kommandørkaptein Friess, ikke lenger verdige kalles nordmenn.
Her er en oversikt over alle de dømte og de straffene de fikk.
Etter "slaget" i Alvøen økte iveren i enkelte kretser i Bergen etter å gi penger til nye kanonbåter, selv om alle ikke var like ivrige. Og det ble bygget langt flere de nærmeste årene.
Det er også blitt hevdet at "slaget" satte roflotiljene i en slik respekt hos fienden at det hadde en preventiv virkning. Det kan det nok stilles spørsmålstegn ved. For norskekysten opplevde flere ganger etterpå at engelskmennene gikk langt inn mellom holmer og skjær for uskadeliggjøre både hollandske og dansk-norske skip.
De første episodene skjedde så tidlig som 21. juni og 7. juli 1808 i Kristiansund. Der prøvde fregatten "HMS Signate" først alene, siden sammen med nettopp "HMS Tartar", å ta ut noen hollandske skip. Men festningsverkene klarte å skremme dem vekk.
Den groveste episoden, derimot, skjedde i og ved Lyngør 6. juli 1812. Da styrte skotten James Stewart det britiske linjeskipet "HMS Dictator" helt inn på Lyngør havn og skjøt den dansk-norsk fregatten "Najaden" i brann, slik at 133 av skipets besetning på 315 ble drept og 102 såret.
Like fullt er den bergenske roflotiljes kjeppjaging av "HMS Tartar" ved Alvøen 16. mai 1808 blitt stående som et eksempel på hva et godt og effektivt skjærgårdsforsvar kan utrette mot en tilsynelatende stor overmakt.