diff --git a/documentations/meeting-notes/Meeting_2023-06-09.md b/documentations/meeting-notes/Meeting_2023-06-09.md index 5570e7f..4626e57 100644 --- a/documentations/meeting-notes/Meeting_2023-06-09.md +++ b/documentations/meeting-notes/Meeting_2023-06-09.md @@ -1,6 +1,7 @@ -# Weekly *5*: 09.06.2023 +# Weekly *6*: 09.06.2023 ## Teilnehmer + - Prof. Arinir - Tristan Nolde - Tim Ronneburg @@ -12,79 +13,86 @@ ## Themen - Stepstone Projekt: - - Gewünscht wird ein initialer Austausch mit Stepstone - - Befürchtung ist, dass es zu einem Hinderniss wird - - Entscheidung liegt daher beim Projekt-Team - - Weitere Informationen sind nicht aktuell nicht vorhanden - - Vorschlag Prof. Arinir: Sollte das Thema nochmal zum Team getragen werden, wird der aktuelle Stand vorgestellt und der Link zum Repo wird geteilt. Darüber hinaus werden keine Ressourcen zugesprochen. - - Vorstellung [vorheriger Absprache](https://github.com/orgs/fhswf/projects/17?pane=issue&itemId=29707639) und Feedback: - - Ändert sich der Scope - Nein - - NDA - Nein - - Veröffentlichung - maximal Impressionen - - Was muss geleistet werden - nicht direkt an Stepstone sondern über FH als Mediator + - Gewünscht wird ein initialer Austausch mit Stepstone + - Befürchtung ist, dass es zu einem Hinderniss wird + - Entscheidung liegt daher beim Projekt-Team + - Weitere Informationen sind nicht aktuell nicht vorhanden + - Vorschlag Prof. Arinir: Sollte das Thema nochmal zum Team getragen werden, wird der aktuelle Stand vorgestellt und + der Link zum Repo wird geteilt. Darüber hinaus werden keine Ressourcen zugesprochen. + - Vorstellung [vorheriger Absprache](https://github.com/orgs/fhswf/projects/17?pane=issue&itemId=29707639) und + Feedback: + - Ändert sich der Scope - Nein + - NDA - Nein + - Veröffentlichung - maximal Impressionen + - Was muss geleistet werden - nicht direkt an Stepstone sondern über FH als Mediator - Sollen Präsentationen vorab zur Verfügung gestellt werden? - - Einige Tage vorher in das Git Repo. hochladen und Prof. Arinir benachrichtigen + - Einige Tage vorher in das Git Repo. hochladen und Prof. Arinir benachrichtigen - Rücksprache Seminarpräsentationen - - Verflechtungsanalyse: - - Graphen Theorie - - Social Network Analyse - - Erweiterung über Graphen Theorie hinaus - - Fokus auf Anwendung und Mehrwert, weniger genauer mathematischer Lösung - - Feedback: - - Präsentation scheint sehr umfangreich; Wunsch nach Reduzierung der Folienanzahl - - Formeln hinter den Analysen spannend, ggf. doch drauf eingehen, um Kennzahl in Kontext zu setzen - - Visualiserung: - - Prinzipien - - Vorteile - - Bibliotheken für Umsetzung (Network X, PyViz, ...) - - Effekt von Farbwahl - - Erste Umsetzung im Jupyter Notebook - - Feedback: - - Es werden extem viele Datenpunkte angezeigt werden müssen, wie wird dies in den Bibliotheken umgesetzt? Kann dort gefiltert werden? - - Wenn nicht direkt am Graphen (der Darstellung) gefiltert werden kann, dann frühzeitig filtern, bevor der Graph gebaut wird - - Datenspeicherung - - Erste Integration von Visualisierung mit Datenspeicherung - - Vorstellung der "Datencluster" - - Stammdaten - - Stimmungsdaten - - Social Graph - - Zeitseriendaten - - Relationales DB Modell - - Fokus ebenfalls auf Abfrage der Daten für Folge-Projekte wie Visualiserung und Mehrwert fürs Team, weniger Theorie - - Feedback: - - Es müssen Erfahrungen mit der Library und Darstellung gesammelt werden, um den Mehrwert der Lösung hervorzuheben - - Modellierung der Finzanz-Kennzahlen - - Spaltennamen sollen sprechend sein, z.B. "value" statt "sum" - - Präferenz zum Modell mit einzelnem Eintrag mit mehren Kennzahl Spalten stallt generischer Lösung über Enum - - Text Mining - - Fokus auf Sentiment Analyse - - Vergleich verschiedener Lösungen und ML Modelle - - Abschließendes Fazit, welches Tool am besten geeignet ist - - Daten Extraktion - - Fokus auf Web Mining/Scraping im Rahmen des Transparenzregisters - - Datenquellen - - API - - Websites (HTML) - - PDF - - Datenextraktion aus diesen Quellen - - Orchestrierung mit Airflow - - DevOps - - Dependency Management in Python - - Standard requirements.txt - - pip-tools - - poetry - - Vorteile von Lintern - - GitHub - - Actions - - Security - - etc. - - Feedback: - - Git wird als State-of-the-Art angesehen und muss nicht näher erläutert werden + - Verflechtungsanalyse: + - Graphen Theorie + - Social Network Analyse + - Erweiterung über Graphen Theorie hinaus + - Fokus auf Anwendung und Mehrwert, weniger genauer mathematischer Lösung + - Feedback: + - Präsentation scheint sehr umfangreich; Wunsch nach Reduzierung der Folienanzahl + - Formeln hinter den Analysen spannend, ggf. doch drauf eingehen, um Kennzahl in Kontext zu setzen + - Visualiserung: + - Prinzipien + - Vorteile + - Bibliotheken für Umsetzung (Network X, PyViz, ...) + - Effekt von Farbwahl + - Erste Umsetzung im Jupyter Notebook + - Feedback: + - Es werden extem viele Datenpunkte angezeigt werden müssen, wie wird dies in den Bibliotheken umgesetzt? + Kann dort gefiltert werden? + - Wenn nicht direkt am Graphen (der Darstellung) gefiltert werden kann, dann frühzeitig filtern, bevor + der Graph gebaut wird + - Datenspeicherung + - Erste Integration von Visualisierung mit Datenspeicherung + - Vorstellung der "Datencluster" + - Stammdaten + - Stimmungsdaten + - Social Graph + - Zeitseriendaten + - Relationales DB Modell + - Fokus ebenfalls auf Abfrage der Daten für Folge-Projekte wie Visualiserung und Mehrwert fürs Team, weniger + Theorie + - Feedback: + - Es müssen Erfahrungen mit der Library und Darstellung gesammelt werden, um den Mehrwert der Lösung + hervorzuheben + - Modellierung der Finzanz-Kennzahlen + - Spaltennamen sollen sprechend sein, z.B. "value" statt "sum" + - Präferenz zum Modell mit einzelnem Eintrag mit mehren Kennzahl Spalten stallt generischer Lösung über + Enum + - Text Mining + - Fokus auf Sentiment Analyse + - Vergleich verschiedener Lösungen und ML Modelle + - Abschließendes Fazit, welches Tool am besten geeignet ist + - Daten Extraktion + - Fokus auf Web Mining/Scraping im Rahmen des Transparenzregisters + - Datenquellen + - API + - Websites (HTML) + - PDF + - Datenextraktion aus diesen Quellen + - Orchestrierung mit Airflow + - DevOps + - Dependency Management in Python + - Standard requirements.txt + - pip-tools + - poetry + - Vorteile von Lintern + - GitHub + - Actions + - Security + - etc. + - Feedback: + - Git wird als State-of-the-Art angesehen und muss nicht näher erläutert werden ## Abgeleitete Action Items -| Action Item | Verantwortlicher | Deadline | -|-------------|------------------|-----------------| -| Folien hochladen | Projekt Team | vor Präsentationstermin | -| Absprache Abgrenzung von Verflechtungsanalyse und Visualisierung | Tim und Kim | nächster Abgleich | -| Deployment Plan aufstellen | Projekt Team | nach Seminararbeiten | +| Action Item | Verantwortlicher | Deadline | +|------------------------------------------------------------------|------------------|-------------------------| +| Folien hochladen | Projekt Team | vor Präsentationstermin | +| Absprache Abgrenzung von Verflechtungsanalyse und Visualisierung | Tim und Kim | nächster Abgleich | +| Deployment Plan aufstellen | Projekt Team | nach Seminararbeiten | diff --git a/documentations/meeting-notes/Meeting_2023-08-03.md b/documentations/meeting-notes/Meeting_2023-08-03.md index 74cb8ca..2c3199e 100644 --- a/documentations/meeting-notes/Meeting_2023-08-03.md +++ b/documentations/meeting-notes/Meeting_2023-08-03.md @@ -1,6 +1,7 @@ -# Weekly *X*: 03.08.2023 +# Weekly *7*: 03.08.2023 ## Teilnehmer + - Prof. Arinir - Tristan Nolde - Tim Ronneburg (Protokollant) @@ -9,19 +10,19 @@ ## Themen - Präsentieren der Ergebnisse der letzten Wochen: - - Named Entity Recognition - - Vorstellung Datenbank auf dem FH-Cluster: - - Mongo Connector - - Datenspeicherung auf dem Cluster + - Named Entity Recognition + - Vorstellung Datenbank auf dem FH-Cluster: + - Mongo Connector + - Datenspeicherung auf dem Cluster - Weitere Vorgehensweise: - - Idee: Kleine Workshops/Teams - - In 2er Teams die einzelnen Funktionen über Feature Branches erstellen + - Idee: Kleine Workshops/Teams + - In 2er Teams die einzelnen Funktionen über Feature Branches erstellen ## Abgeleitete Action Items -| Action Item | Verantwortlicher | Deadline | -|-------------|------------------|-----------------| -| Mergen aller Branches zu jedem neuen Termin mit Herrn Arinir | Jeder | jedes Weekly | -| Erstellen der Pipelines | Sebastian, Tristan und Tim | nächstes Weekly | -| Erstellen der Development Datenbank-Instanzen je Entwickler | Sebastian, Tristan und Tim | nächstes Weekly | -| Anlegen der relationalen Postgres DB via Script auf den FH-Cluster | Sebastian, Tristan und Tim | nächstes Weekly | +| Action Item | Verantwortlicher | Deadline | +|--------------------------------------------------------------------|----------------------------|-----------------| +| Mergen aller Branches zu jedem neuen Termin mit Herrn Arinir | Jeder | jedes Weekly | +| Erstellen der Pipelines | Sebastian, Tristan und Tim | nächstes Weekly | +| Erstellen der Development Datenbank-Instanzen je Entwickler | Sebastian, Tristan und Tim | nächstes Weekly | +| Anlegen der relationalen Postgres DB via Script auf den FH-Cluster | Sebastian, Tristan und Tim | nächstes Weekly | diff --git a/documentations/meeting-notes/Meeting_2023-08-17.md b/documentations/meeting-notes/Meeting_2023-08-17.md index 6e26352..dc2e56b 100644 --- a/documentations/meeting-notes/Meeting_2023-08-17.md +++ b/documentations/meeting-notes/Meeting_2023-08-17.md @@ -1,6 +1,7 @@ -# Weekly: 17.08.2023 +# Weekly *8*: 17.08.2023 ## Teilnehmer + - Prof. Arinir - Tristan Nolde - Tim Ronneburg @@ -12,32 +13,32 @@ - Welche Services laufen aktuell auf dem Uni-Cluster? - MongoDB und Postgres mit personalisiertem Zugang über VPN - - **Requirement:** Das Frontend bzw. Visualisierung soll auf dem Cluster laufen, wofür ein Login erwünscht ist, wie z.B. SSO - - die Services (Text Mining, NER, Sentiment) sollten auch dem Cluster laufen - - Wo sollen CI/CD laufen? - - benötigt werden 2-3 Container für Worker und Services + - **Requirement:** Das Frontend bzw. Visualisierung soll auf dem Cluster laufen, wofür ein Login erwünscht ist, wie + z.B. SSO + - die Services (Text Mining, NER, Sentiment) sollten auch dem Cluster laufen + - Wo sollen CI/CD laufen? + - benötigt werden 2-3 Container für Worker und Services - ProductionDB: - DB "transparenzregister" für Produktiveinsatz - persönliche DB "DB_*Name*" für Development - Erklärung des Postgres Connectors, welcher die SQL-Alchemy Klassen verwendet, um Tabellen zu erstellen - Erklärung wie der Connection-String mit dem JsonConfigProvider und der secret.json erzeugt wird - - UI: - - Vorstellung der ersten Visualisierung mit Plotly und Anbindung an ProductionDB - - Dash startet im Hintergrund einen http-Server, welcher über den Port 8050 erreichbar ist - - Dash wird für das Dashboarding verwendet und wird (bei Bedarf) durch weitere Komponenten erweitert - - Abschluß des PoC und Umsetzung der bestehenden Architektur - +- UI: + - Vorstellung der ersten Visualisierung mit Plotly und Anbindung an ProductionDB + - Dash startet im Hintergrund einen http-Server, welcher über den Port 8050 erreichbar ist + - Dash wird für das Dashboarding verwendet und wird (bei Bedarf) durch weitere Komponenten erweitert +- Abschluß des PoC und Umsetzung der bestehenden Architektur ## Abgeleitete Action Items -| Action Item | Verantwortlicher | Deadline | -|-------------|------------------|-----------------| -| Anfrage nach Serverressourcen für 2-3 Container bei Prof. Gawron | Prof. Arinir | nächstes Weekly | -| Repo-Struktur dokumentieren | Phillip, Tristan | nächstes Weekly | -| Anlegen von MongoDB-Instanzen für NER und Sentiment | Tristan | nächstes Weekly | -| NER für News | Sebastian | nächstes Weekly | -| Beispiel für MongoConnector | Sebastian | nächstes Weekly | -| Script um News auf Uni-Cluster zu dumpen | Tristan | nächstes Weekly | -| Finanzdaten aus Bundesanzeiger | Tristan | nächstes Weekly | -| Plotly Frontend weiterentwickeln | Kim, Tim | nächstes Weekly | -| Refactoring der SQL-Alchemy Klassen | Phillip | nächstes Weekly | +| Action Item | Verantwortlicher | Deadline | +|------------------------------------------------------------------|------------------|-----------------| +| Anfrage nach Serverressourcen für 2-3 Container bei Prof. Gawron | Prof. Arinir | nächstes Weekly | +| Repo-Struktur dokumentieren | Phillip, Tristan | nächstes Weekly | +| Anlegen von MongoDB-Instanzen für NER und Sentiment | Tristan | nächstes Weekly | +| NER für News | Sebastian | nächstes Weekly | +| Beispiel für MongoConnector | Sebastian | nächstes Weekly | +| Script um News auf Uni-Cluster zu dumpen | Tristan | nächstes Weekly | +| Finanzdaten aus Bundesanzeiger | Tristan | nächstes Weekly | +| Plotly Frontend weiterentwickeln | Kim, Tim | nächstes Weekly | +| Refactoring der SQL-Alchemy Klassen | Phillip | nächstes Weekly |