Vad händer med RGD?

[Micael Frank]

Har projektet helt lagts på is och resulterat i en dubblettkontroll?

Här har DIS en möjlighet att göra en betydande insats för svensk släktforskning men det verkar som man hellre lägger kraften på annat.

[Phryxe]

Kanske är det som ordspråket ”Den som gapar efter mycket mister ofta hela stycket”. Om jag fattat det rätt ville man integrera hela det spretiga Disbyt-materialet på en gång för att få ”kritisk massa” … Undrar om det inte varit bättre att starta i liten skala (ex med en socken) och bygga ut det successivt. Jag förespråkar manuell inmatning före import och anpassning av stora mängder gammal forskning.

[Rolf Carlsson]

C-G, att, som du skriver, använda Disbyt-databasen fanns aldrig i sinnevärlden för Projektgruppen. Databasen skulle till 100 % byggas med nya bidrag från medlemmar en efter en med omfattande kontroller och korrigeringar hos medlemmen innan bidraget skarpt skulle uppdatera databasen. Även alla sidoregister som exempelvis en namndatabas och ort/församlingsdatabas skulle nyskapas för projektet.

Varför RGD inte genomfördes får en företrädare för DIS svara på.

Rolf Carlsson
Initiator av RGD

[Micael Frank]

C-G, att, som du skriver, använda Disbyt-databasen fanns aldrig i sinnevärlden för Projektgruppen. Databasen skulle till 100 % byggas med nya bidrag från medlemmar en efter en med omfattande kontroller och korrigeringar hos medlemmen innan bidraget skarpt skulle uppdatera databasen. Även alla sidoregister som exempelvis en namndatabas och ort/församlingsdatabas skulle nyskapas för projektet.

Hur långt hade ni kommit med riktlinjer och design - hur skulle personer verifieras?

[Rolf Carlsson]

Du skrev inledningsvis att OpenRGD blivit en dubblettkontroll. Detta kan stämma om du refererar till en enskild Gedcomfil. Härutöver kan du matcha två gedcomfiler med varandra och få underlag för att utreda alla differenser mellan filerna. När alla differenser är utredda kan du slå samman dessa två bidrag till en gemensam Gedcomfil, som kan läsas in i ett släktforskningsprogram.

Vill du förstå bättre hur RGD arbetar föreslår jag att du prövar matchningsfunktionen genom att läsa in två separata filer och matcha dessa mot varandra enligt menyn för OpenRGD. Det finns i princip inga begränsningar hur stora filerna kan vara men de bör ha ett relevant antal matchande individer. Välj hellre större än mindre filer för att få olika typer av differenser. Matchningar har gjorts med filer med "många" 10-tusentals individer. I Disklogen finns uppgift om supportpersoner, om du har frågor kring förfarandet.

[m17835]

Det finns en förklaring till RGD projektet och att det avbröts vid årsskiftet 2018/2019 på grund av resursbrist med att föra det vidare på sidan https://www.dis.se/rgd-projektet

[Micael Frank]

Ska jag förstå det som att projektet är dödförklarat och att föreningen prioriterar andra områden?

[Christer]

Projektet avbröts vid årsskiftet 2018/2019 pga resursbrist.

[tommypeters]

Du skrev inledningsvis att OpenRGD blivit en dubblettkontroll. Detta kan stämma om du refererar till en enskild Gedcomfil. Härutöver kan du matcha två gedcomfiler med varandra och få underlag för att utreda alla differenser mellan filerna. När alla differenser är utredda kan du slå samman dessa två bidrag till en gemensam Gedcomfil, som kan läsas in i ett släktforskningsprogram.

Vill du förstå bättre hur RGD arbetar föreslår jag att du prövar matchningsfunktionen genom att läsa in två separata filer och matcha dessa mot varandra enligt menyn för OpenRGD. Det finns i princip inga begränsningar hur stora filerna kan vara men de bör ha ett relevant antal matchande individer. Välj hellre större än mindre filer för att få olika typer av differenser. Matchningar har gjorts med filer med "många" 10-tusentals individer. I Disklogen finns uppgift om supportpersoner, om du har frågor kring förfarandet.

Denna jämförelse görs ju mellan två databaser som bearbetningen lagt in resultatet i. Hur väljs namnen på databaserna? Jag har fått ett antal olika databaser tidigare, men nu när jag vill jämföra en GEDCOM från mitt träd på Ancestry med motsvarande från Family Tree Maker så hamnar de i samma databas...

[C-J Gustafsson]

När en GEDCOM fil läses in används GEDCOM filens namn i openRGD. Läser man in en ny GEDCOM fil med samma namn ersätts den tidigare, har GEDCOM filen ett annat namn så får man två olika databaser för vidare bearbetning. Två GEDCOM hamnar aldrig i samma databas vid inläsningen.
Matchningen görs alltid mot två olika databaser som ärvt sitt namn från namnet på GEDCOM filen den skapats ifrån.
Vill man lägga ihop två stycken gör man detta i funktionen Sammanslagning, efter att de matchats mot varandra både maskinellt och manuellt.
Därefter kan man skapa en ny GEDCOM med resultatet från Sammanslagningen.

[tommypeters]

När en GEDCOM fil läses in används GEDCOM filens namn i openRGD. Läser man in en ny GEDCOM fil med samma namn ersätts den tidigare, har GEDCOM filen ett annat namn så får man två olika databaser för vidare bearbetning. Två GEDCOM hamnar aldrig i samma databas vid inläsningen.
Matchningen görs alltid mot två olika databaser som ärvt sitt namn från namnet på GEDCOM filen den skapats ifrån.
Vill man lägga ihop två stycken gör man detta i funktionen Sammanslagning, efter att de matchats mot varandra både maskinellt och manuellt.
Därefter kan man skapa en ny GEDCOM med resultatet från Sammanslagningen.

Det verkar ju inte alls stämma.

Till exempel ger GEDCOM-filen Petersson.Olsson.Cobel.ged en databas med namnet tommy_Petersson. GEDCOM-filen med ett annat namn (Petersson.Olsson.Cobel.10_2024-03-19.ged) får samma databasnamn. Jag kan absolut byta namn på någon av GEDCOM-filerna så de inte liknar varandra alls men det verkar ju inte påverka databasnamnet.

[tommypeters]

Det jag för övrigt önskar här är en lista med vilka personer som *inte* finns i bägge filerna. Det kanske den här funktionen inte kan erbjuda - känner någon då till något program som kan ta fram detta?

[Micael Frank]

Genney kan jämföra en gedcom-fil med aktuell databas och listar eventuella dubbletter. Om du importerar den gedcom-filen kommer nya personer ligga i en egen grupp där du kan manuellt ta bort dubbletterna och sen exportera listan till t.ex. excel.

[C-J Gustafsson]

Jag vet inte hur parenteser möjligen kan påverka namnsättningen men det kan i vilket fall som helst kan de inte slås ihop, antingen blir det ny databas, eller ersätts tidigare med samma namn, eller blir det ingen databas på grund av felaktigheter i GEDCOM filen. Det ser man om man kollar meddelandet när databasen skapas, om det gått bra eller om det inte gått bra.

[C-J Gustafsson]

Funktionen att hitta unika personer finns inte i openRGD. Det var en snarlik funktion på gång när utvecklingen stoppades.

[tommypeters]

Fungerar RGD överhuvud taget nu? Jag har försökt några gånger senaste veckan men när jag klickat på Starta Bearbetning hände ingenting.

[tommypeters]

Underligt nog så gick rutinen igenom just inatt... Den stod verkligen länge utan att skriva ut några prickar men sedan gick det rätt snabbt.

[DanielBerglund]

Vi uppgraderade servern nyligen - med ett enkelt test blev det cirka 4 gånger snabbare - men vad som tog tid i ditt fall vågar jag inte säga något om. Fungera ska det i alla fall göra. Vänligen återkom om det ofungerar...

[tommypeters]

Jag tror att den gamla servern hade automatisk Flush(buffer) eller liknande medan den nya inte har det. Med den gamla servern fick man se att den arbetade genom att den efter en stund började skriva ut en punkt då och då tills den var klar. Med den nya servern kommer alla punkterna på en gång när hela rutinen är färdig, när den också presenterar hela resultatet.

[C-J Gustafsson]

Kan i så fall ha med web-läsaren att göra. När jag kör Firefox kommer prickarna en efter en.

[tommypeters]

Ja, så gjorde det hos mig också innan byte till nya servern, med samma webbläsare. Så det är kombinationen av nya servern och Chrome. Nu är det ju ett mindre problem när jag vet att den arbetar trots att inga prickar skrivs ut under tiden så jag avbryter inte arbetet i tron att den hakat upp sig.

[C-J Gustafsson]

Jag ser att du har rätt. Jag förutsatte att du utnyttjat länken till version 2.3 och laddat in ditt data där.

Version 1 finns kvar för att ge möjlighet att plocka ut data eftersom det inte följer med till den nya versionen.

[tommypeters]

OK, jag har aldrig hört annat än att utvecklingen lagts ner, "Projektet avbröts vid årsskiftet 2018/2019 pga resursbrist.", aldrig hört något om en nyare version... :-) Jag vet att det nämnda projektet var själva databasprojektet, men har inte hört något om version 2.3 eller sett någon länk dit. Ska kolla och använda den i stället, har väl inget direkt behov av någon gammal data.

[tommypeters]

Ser fortfarande ingen länk till någon version 2.3. DiS hemsida länkar till 1.0.

[tommypeters]

OK, hittade en artikel som hade en länk till nya versionen, https://openrgd-drift.dis.se/login

[tommypeters]

Ska pröva igen, men första försöket var inte så lovande:

Sidan fungerar inte
openrgd-drift.dis.se skickade ingen data.
ERR_EMPTY_RESPONSE

[tommypeters]

Andra försöket, kom ett antal prickar och sedan händer inget mer.

Avvakta programmet: indataValidering.py

.................................................. ....................

[C-J Gustafsson]

Jag vet att du har rätt stor databas. Hur stor är den?

[tommypeters]

Nu gick den igenom :-) Ser att dock fortfarande namndatabasen inte är uppdaterad utan det i mitt träd mycket vanliga kvinnonamnet Botel/Bothel/Bothil/Botild/Bothild/Botill/Botild larmas för och sägs att alla de är mansnamn. Liksom det typiska namnet för första dottern, Una, eller de mer engelskklingande kvinnonamnen Lucille, Gloria, Marilyn, Doreen, Melissa, Charlene och Kristen.

[tommypeters]

Närmare 60000 personer. Tror att rutinen kanske är känslig för om det blir ett ögonblickligt avbrott i internetkontakten. Har dåligt internet här i Sunny Beach, när jag körde via mobilens internet gick rutinen igenom.

[C-J Gustafsson]

Det kan bero på dålig nätförbindelse för 60000 skall inte ge något volymproblem.

Namndatabasen är inte uppdaterad så där får du tyvärr fortfarande dras med samma felmeddelande även i denna nyare version.

[tommypeters]

Jag tycker att det finns lite felaktigheter i felkontrollerna... :rolleyes:

"False positives" gör ju att man kan missa de verkliga felen.
Jag tycker inte det är rätt att klaga på "dubbla namnförekomster" när det ena namnet kommer från en "Also known as".
På samma sätt klagas det på att personer är barn i mer än en familj, även om detta är angivet som biologiska föräldrar och fosterföräldrar.

[tommypeters]

Det kan bero på dålig nätförbindelse för 60000 skall inte ge något volymproblem.

Namndatabasen är inte uppdaterad så där får du tyvärr fortfarande dras med samma felmeddelande även i denna nyare version.

Konstigt bara att rutinen anger att så många rena kvinnonamn finns som mansnamn, men det kanske är ett felaktigt felmeddelande? I alla fall hittade jag ett par personer som hade fel kön, men det är ju mer jobb att hitta dessa bland alla felaktiga felmeddelanden.
Rutinen är ju i alla fall mycket användbar.

[C-J Gustafsson]

Namndatabasen var under pågående utveckling när utvecklingen stoppades så den var långt ifrån färdig. Någon utveckling har heller inte skett därefter.
För att försöka kompensera lite så har vi delat namnlistan så att vi kunnat flytta undan förnamn som inte är könsfel men då möjligen stavfel. Men en förbättring skulle vara önskvärd.

Varför dubbla namnförekonster listas är för att en import till ett program som bara hanterar en namn förekomst skulle bli slumpmässig. Det gäller generellt för alla kontrollerna för dubbla förekomster, att man måste försäkra sig om att ett mottagande program hanterar det på samma sätt som GEDCOM filen. Bättre att varna för mycket än för lite.

[tommypeters]

Namndatabasen var under pågående utveckling när utvecklingen stoppades så den var långt ifrån färdig. Någon utveckling har heller inte skett därefter.
För att försöka kompensera lite så har vi delat namnlistan så att vi kunnat flytta undan förnamn som inte är könsfel men då möjligen stavfel. Men en förbättring skulle vara önskvärd.

Varför dubbla namnförekonster listas är för att en import till ett program som bara hanterar en namn förekomst skulle bli slumpmässig. Det gäller generellt för alla kontrollerna för dubbla förekomster, att man måste försäkra sig om att ett mottagande program hanterar det på samma sätt som GEDCOM filen. Bättre att varna för mycket än för lite.

Jo, men bäst vore det att ha det valbart om man ska varna för korrekta dubbla förekomster eller inte. Det blir mycket svårare att hitta de "korrekta felaktigheterna" bland alla de som inte ska rättas.

[tommypeters]

Hur uppdateras namndatabasen? Det kanske jag skulle kunna hjälpa till med?

[C-J Gustafsson]

Det ´låter jättebra. Just nu har vi inga uppdateringsmöjligheter efter som namndatabasen nu ligger i en ny miljö. Men vi vill hemskt gärna få hjälp med det och verktyg går nog att få till. Kontakta Mikael Winbladh på Dis kansli så tror jag han också blir glad om du vill engagera dig.

[tommypeters]

Jag har nu uppgraderat till nya versionen av Family Tree Maker, FTM 2024, och nu verkar OpenRGD inte längre tycka om min GEDCOM. Jag har inte kvar någon gammal GEDCOM så jag kan inte se om det är någon skillnad, men programmet FTAnalyzer har inget emot nya GEDCOM. Samma fel upprepas.

"2025-05-21 19:49:50,297 - INFO importGedcom::52 - Using database 49794_Petersson importing from file ./files/49794/Petersson/Petersson.Olsson.Cobel.13_2025-05-21.ged
2025-05-21 19:50:45,631 - INFO importGedcom::63 - Reading and parsing gedcom
2025-05-21 19:50:49,048 - INFO importGedcom::85 - Time parsing 3.416900157928467
2025-05-21 19:51:12,576 - INFO importGedcom::158 - Time 26.94498109817505
2025-05-21 19:51:12,577 - INFO importGedcom::168 - Indexing 49794_Petersson in Lucene
/usr/local/lib/python3.11/dist-packages/pymongo/synchronous/collection.py:1945: UserWarning: use an explicit session with no_cursor_timeout=True otherwise the cursor may still timeout after 30 minutes, for more info see https://mongodb.com/docs/v4.4/reference/method/cursor.noCursorTimeout/#session-idle-timeout-overrides-nocursortimeout
return Cursor(self, *args, **kwargs)
2025-05-21 19:52:09,348 - INFO importGedcom::170 - Time 83.71756362915039
2025-05-21 19:52:09,367 - INFO importGedcom::174 - STATS:: Imported persons: 59733, families 18692
Parsing warnings:
LevelParsingWarning(line_number=1, line_content='\ufeff0 HEAD\n')
LevelInconsistencyWarning(line_number=2, line_content='1 GEDC\n')
LevelInconsistencyWarning(line_number=3, line_content='2 VERS 5.5.1\n')
LevelInconsistencyWarning(line_number=4, line_content='2 FORM LINEAGE-LINKED\n')
LevelInconsistencyWarning(line_number=5, line_content='3 VERS 5.5.1\n')
LevelInconsistencyWarning(line_number=6, line_content='1 CHAR UTF-8\n')
LevelInconsistencyWarning(line_number=7, line_content='1 SOUR FTM\n')
LevelInconsistencyWarning(line_number=8, line_content='2 NAME Family Tree Maker for Windows\n')
LevelInconsistencyWarning(line_number=9, line_content='2 VERS 25.0.0.1164\n')
LevelInconsistencyWarning(line_number=10, line_content='2 CORP The Software MacKiev Company\n')
LevelInconsistencyWarning(line_number=11, line_content='3 ADDR 30 Union Wharf\n')
LevelInconsistencyWarning(line_number=12, line_content='4 CONT Boston, MA 02109\n')
LevelInconsistencyWarning(line_number=13, line_content='3 PHON (617) 227-6681\n')
LevelInconsistencyWarning(line_number=14, line_content='1 DEST FTM\n')
LevelInconsistencyWarning(line_number=15, line_content='1 DATE 21 MAY 2025\n')
LevelInconsistencyWarning(line_number=16, line_content='1 FILE Petersson.Olsson.Cobel.13_2025-05-21.ged\n')
LevelInconsistencyWarning(line_number=17, line_content='1 SUBM @SUBM@\n')"


0 HEAD
1 GEDC
2 VERS 5.5.1
2 FORM LINEAGE-LINKED
3 VERS 5.5.1
1 CHAR UTF-8
1 SOUR FTM
2 NAME Family Tree Maker for Windows
2 VERS 25.0.0.1164
2 CORP The Software MacKiev Company
3 ADDR 30 Union Wharf
4 CONT Boston, MA 02109
3 PHON (617) 227-6681
1 DEST FTM
1 DATE 21 MAY 2025
1 FILE Petersson.Olsson.Cobel.13_2025-05-21.ged
1 SUBM @SUBM@
0 @SUBM@ SUBM

[C-J Gustafsson]

Vi behöver nog GEDCOM filen för att kunna se vad som är problemet.

Det jag reagerar på är \n för radbyte, det brukar CRLF. Det verkar som att openRGD bryts i skarven mellan huvud och första persone.

Vi har precis lagt version 2.4 på produktioneservern så vi är väldigt intresserade av att följa upp detta.

Den här GEDCOM filen är avsedd att importeras i FTM. Ofta finns det ett val för en "standard" GEDCOM som i så fall är att föredra.

[tommypeters]

Den är exporterad från FTM och inte avsedd för något speciellt utan så mycket standard GEDCOM FTM kan åstadkomma, och FTM har blivit bättre på att göra så mycket standard den kan av det Ancestry skickar över. Kan skicka över GEDCOM-filen. Vet att jag tidigare haft emailadressen till C-J men hittar den nog inte nu. De här gångerna körde jag för övrigt via mobildata för att ha oavbruten internet.

[tommypeters]

Jo, hittade C-J:s nyare adress. Skickar.

[m17835]

Hej Tommy

Jag är verksamhetsledaren på DIS kansli och jag försöker organisera och samordna alla ideella krafter som vill arbeta för föreningens bästa.
Jag har dock ingen ordentlig koll just nu på namndatabasen och hur den fungerar och hur vi kan göra för att uppdatera dess data. Jag ska uppdatera mig själv först och främst kring namndatabasen så kan vi försöka få kontakt med varandra om några veckor för att se vad vi kan åstadkomma kring den.