mirror of
https://github.com/fhswf/aki_prj23_transparenzregister.git
synced 2025-04-24 16:52:34 +02:00
Small fixes to the documentation. (#70)
This commit is contained in:
GitHub
parent
69039706ac
commit
011184b898
@ -1,6 +1,7 @@
|
||||
# Weekly *5*: 09.06.2023
|
||||
# Weekly *6*: 09.06.2023
|
||||
|
||||
## Teilnehmer
|
||||
|
||||
- Prof. Arinir
|
||||
- Tristan Nolde
|
||||
- Tim Ronneburg
|
||||
@ -12,79 +13,86 @@
|
||||
## Themen
|
||||
|
||||
- Stepstone Projekt:
|
||||
- Gewünscht wird ein initialer Austausch mit Stepstone
|
||||
- Befürchtung ist, dass es zu einem Hinderniss wird
|
||||
- Entscheidung liegt daher beim Projekt-Team
|
||||
- Weitere Informationen sind nicht aktuell nicht vorhanden
|
||||
- Vorschlag Prof. Arinir: Sollte das Thema nochmal zum Team getragen werden, wird der aktuelle Stand vorgestellt und der Link zum Repo wird geteilt. Darüber hinaus werden keine Ressourcen zugesprochen.
|
||||
- Vorstellung [vorheriger Absprache](https://github.com/orgs/fhswf/projects/17?pane=issue&itemId=29707639) und Feedback:
|
||||
- Ändert sich der Scope - Nein
|
||||
- NDA - Nein
|
||||
- Veröffentlichung - maximal Impressionen
|
||||
- Was muss geleistet werden - nicht direkt an Stepstone sondern über FH als Mediator
|
||||
- Gewünscht wird ein initialer Austausch mit Stepstone
|
||||
- Befürchtung ist, dass es zu einem Hinderniss wird
|
||||
- Entscheidung liegt daher beim Projekt-Team
|
||||
- Weitere Informationen sind nicht aktuell nicht vorhanden
|
||||
- Vorschlag Prof. Arinir: Sollte das Thema nochmal zum Team getragen werden, wird der aktuelle Stand vorgestellt und
|
||||
der Link zum Repo wird geteilt. Darüber hinaus werden keine Ressourcen zugesprochen.
|
||||
- Vorstellung [vorheriger Absprache](https://github.com/orgs/fhswf/projects/17?pane=issue&itemId=29707639) und
|
||||
Feedback:
|
||||
- Ändert sich der Scope - Nein
|
||||
- NDA - Nein
|
||||
- Veröffentlichung - maximal Impressionen
|
||||
- Was muss geleistet werden - nicht direkt an Stepstone sondern über FH als Mediator
|
||||
- Sollen Präsentationen vorab zur Verfügung gestellt werden?
|
||||
- Einige Tage vorher in das Git Repo. hochladen und Prof. Arinir benachrichtigen
|
||||
- Einige Tage vorher in das Git Repo. hochladen und Prof. Arinir benachrichtigen
|
||||
- Rücksprache Seminarpräsentationen
|
||||
- Verflechtungsanalyse:
|
||||
- Graphen Theorie
|
||||
- Social Network Analyse
|
||||
- Erweiterung über Graphen Theorie hinaus
|
||||
- Fokus auf Anwendung und Mehrwert, weniger genauer mathematischer Lösung
|
||||
- Feedback:
|
||||
- Präsentation scheint sehr umfangreich; Wunsch nach Reduzierung der Folienanzahl
|
||||
- Formeln hinter den Analysen spannend, ggf. doch drauf eingehen, um Kennzahl in Kontext zu setzen
|
||||
- Visualiserung:
|
||||
- Prinzipien
|
||||
- Vorteile
|
||||
- Bibliotheken für Umsetzung (Network X, PyViz, ...)
|
||||
- Effekt von Farbwahl
|
||||
- Erste Umsetzung im Jupyter Notebook
|
||||
- Feedback:
|
||||
- Es werden extem viele Datenpunkte angezeigt werden müssen, wie wird dies in den Bibliotheken umgesetzt? Kann dort gefiltert werden?
|
||||
- Wenn nicht direkt am Graphen (der Darstellung) gefiltert werden kann, dann frühzeitig filtern, bevor der Graph gebaut wird
|
||||
- Datenspeicherung
|
||||
- Erste Integration von Visualisierung mit Datenspeicherung
|
||||
- Vorstellung der "Datencluster"
|
||||
- Stammdaten
|
||||
- Stimmungsdaten
|
||||
- Social Graph
|
||||
- Zeitseriendaten
|
||||
- Relationales DB Modell
|
||||
- Fokus ebenfalls auf Abfrage der Daten für Folge-Projekte wie Visualiserung und Mehrwert fürs Team, weniger Theorie
|
||||
- Feedback:
|
||||
- Es müssen Erfahrungen mit der Library und Darstellung gesammelt werden, um den Mehrwert der Lösung hervorzuheben
|
||||
- Modellierung der Finzanz-Kennzahlen
|
||||
- Spaltennamen sollen sprechend sein, z.B. "value" statt "sum"
|
||||
- Präferenz zum Modell mit einzelnem Eintrag mit mehren Kennzahl Spalten stallt generischer Lösung über Enum
|
||||
- Text Mining
|
||||
- Fokus auf Sentiment Analyse
|
||||
- Vergleich verschiedener Lösungen und ML Modelle
|
||||
- Abschließendes Fazit, welches Tool am besten geeignet ist
|
||||
- Daten Extraktion
|
||||
- Fokus auf Web Mining/Scraping im Rahmen des Transparenzregisters
|
||||
- Datenquellen
|
||||
- API
|
||||
- Websites (HTML)
|
||||
- PDF
|
||||
- Datenextraktion aus diesen Quellen
|
||||
- Orchestrierung mit Airflow
|
||||
- DevOps
|
||||
- Dependency Management in Python
|
||||
- Standard requirements.txt
|
||||
- pip-tools
|
||||
- poetry
|
||||
- Vorteile von Lintern
|
||||
- GitHub
|
||||
- Actions
|
||||
- Security
|
||||
- etc.
|
||||
- Feedback:
|
||||
- Git wird als State-of-the-Art angesehen und muss nicht näher erläutert werden
|
||||
- Verflechtungsanalyse:
|
||||
- Graphen Theorie
|
||||
- Social Network Analyse
|
||||
- Erweiterung über Graphen Theorie hinaus
|
||||
- Fokus auf Anwendung und Mehrwert, weniger genauer mathematischer Lösung
|
||||
- Feedback:
|
||||
- Präsentation scheint sehr umfangreich; Wunsch nach Reduzierung der Folienanzahl
|
||||
- Formeln hinter den Analysen spannend, ggf. doch drauf eingehen, um Kennzahl in Kontext zu setzen
|
||||
- Visualiserung:
|
||||
- Prinzipien
|
||||
- Vorteile
|
||||
- Bibliotheken für Umsetzung (Network X, PyViz, ...)
|
||||
- Effekt von Farbwahl
|
||||
- Erste Umsetzung im Jupyter Notebook
|
||||
- Feedback:
|
||||
- Es werden extem viele Datenpunkte angezeigt werden müssen, wie wird dies in den Bibliotheken umgesetzt?
|
||||
Kann dort gefiltert werden?
|
||||
- Wenn nicht direkt am Graphen (der Darstellung) gefiltert werden kann, dann frühzeitig filtern, bevor
|
||||
der Graph gebaut wird
|
||||
- Datenspeicherung
|
||||
- Erste Integration von Visualisierung mit Datenspeicherung
|
||||
- Vorstellung der "Datencluster"
|
||||
- Stammdaten
|
||||
- Stimmungsdaten
|
||||
- Social Graph
|
||||
- Zeitseriendaten
|
||||
- Relationales DB Modell
|
||||
- Fokus ebenfalls auf Abfrage der Daten für Folge-Projekte wie Visualiserung und Mehrwert fürs Team, weniger
|
||||
Theorie
|
||||
- Feedback:
|
||||
- Es müssen Erfahrungen mit der Library und Darstellung gesammelt werden, um den Mehrwert der Lösung
|
||||
hervorzuheben
|
||||
- Modellierung der Finzanz-Kennzahlen
|
||||
- Spaltennamen sollen sprechend sein, z.B. "value" statt "sum"
|
||||
- Präferenz zum Modell mit einzelnem Eintrag mit mehren Kennzahl Spalten stallt generischer Lösung über
|
||||
Enum
|
||||
- Text Mining
|
||||
- Fokus auf Sentiment Analyse
|
||||
- Vergleich verschiedener Lösungen und ML Modelle
|
||||
- Abschließendes Fazit, welches Tool am besten geeignet ist
|
||||
- Daten Extraktion
|
||||
- Fokus auf Web Mining/Scraping im Rahmen des Transparenzregisters
|
||||
- Datenquellen
|
||||
- API
|
||||
- Websites (HTML)
|
||||
- PDF
|
||||
- Datenextraktion aus diesen Quellen
|
||||
- Orchestrierung mit Airflow
|
||||
- DevOps
|
||||
- Dependency Management in Python
|
||||
- Standard requirements.txt
|
||||
- pip-tools
|
||||
- poetry
|
||||
- Vorteile von Lintern
|
||||
- GitHub
|
||||
- Actions
|
||||
- Security
|
||||
- etc.
|
||||
- Feedback:
|
||||
- Git wird als State-of-the-Art angesehen und muss nicht näher erläutert werden
|
||||
|
||||
## Abgeleitete Action Items
|
||||
|
||||
| Action Item | Verantwortlicher | Deadline |
|
||||
|-------------|------------------|-----------------|
|
||||
| Folien hochladen | Projekt Team | vor Präsentationstermin |
|
||||
| Absprache Abgrenzung von Verflechtungsanalyse und Visualisierung | Tim und Kim | nächster Abgleich |
|
||||
| Deployment Plan aufstellen | Projekt Team | nach Seminararbeiten |
|
||||
| Action Item | Verantwortlicher | Deadline |
|
||||
|------------------------------------------------------------------|------------------|-------------------------|
|
||||
| Folien hochladen | Projekt Team | vor Präsentationstermin |
|
||||
| Absprache Abgrenzung von Verflechtungsanalyse und Visualisierung | Tim und Kim | nächster Abgleich |
|
||||
| Deployment Plan aufstellen | Projekt Team | nach Seminararbeiten |
|
||||
|
||||
@ -1,6 +1,7 @@
|
||||
# Weekly *X*: 03.08.2023
|
||||
# Weekly *7*: 03.08.2023
|
||||
|
||||
## Teilnehmer
|
||||
|
||||
- Prof. Arinir
|
||||
- Tristan Nolde
|
||||
- Tim Ronneburg (Protokollant)
|
||||
@ -9,19 +10,19 @@
|
||||
## Themen
|
||||
|
||||
- Präsentieren der Ergebnisse der letzten Wochen:
|
||||
- Named Entity Recognition
|
||||
- Vorstellung Datenbank auf dem FH-Cluster:
|
||||
- Mongo Connector
|
||||
- Datenspeicherung auf dem Cluster
|
||||
- Named Entity Recognition
|
||||
- Vorstellung Datenbank auf dem FH-Cluster:
|
||||
- Mongo Connector
|
||||
- Datenspeicherung auf dem Cluster
|
||||
- Weitere Vorgehensweise:
|
||||
- Idee: Kleine Workshops/Teams
|
||||
- In 2er Teams die einzelnen Funktionen über Feature Branches erstellen
|
||||
- Idee: Kleine Workshops/Teams
|
||||
- In 2er Teams die einzelnen Funktionen über Feature Branches erstellen
|
||||
|
||||
## Abgeleitete Action Items
|
||||
|
||||
| Action Item | Verantwortlicher | Deadline |
|
||||
|-------------|------------------|-----------------|
|
||||
| Mergen aller Branches zu jedem neuen Termin mit Herrn Arinir | Jeder | jedes Weekly |
|
||||
| Erstellen der Pipelines | Sebastian, Tristan und Tim | nächstes Weekly |
|
||||
| Erstellen der Development Datenbank-Instanzen je Entwickler | Sebastian, Tristan und Tim | nächstes Weekly |
|
||||
| Anlegen der relationalen Postgres DB via Script auf den FH-Cluster | Sebastian, Tristan und Tim | nächstes Weekly |
|
||||
| Action Item | Verantwortlicher | Deadline |
|
||||
|--------------------------------------------------------------------|----------------------------|-----------------|
|
||||
| Mergen aller Branches zu jedem neuen Termin mit Herrn Arinir | Jeder | jedes Weekly |
|
||||
| Erstellen der Pipelines | Sebastian, Tristan und Tim | nächstes Weekly |
|
||||
| Erstellen der Development Datenbank-Instanzen je Entwickler | Sebastian, Tristan und Tim | nächstes Weekly |
|
||||
| Anlegen der relationalen Postgres DB via Script auf den FH-Cluster | Sebastian, Tristan und Tim | nächstes Weekly |
|
||||
|
||||
@ -1,6 +1,7 @@
|
||||
# Weekly: 17.08.2023
|
||||
# Weekly *8*: 17.08.2023
|
||||
|
||||
## Teilnehmer
|
||||
|
||||
- Prof. Arinir
|
||||
- Tristan Nolde
|
||||
- Tim Ronneburg
|
||||
@ -12,32 +13,32 @@
|
||||
|
||||
- Welche Services laufen aktuell auf dem Uni-Cluster?
|
||||
- MongoDB und Postgres mit personalisiertem Zugang über VPN
|
||||
- **Requirement:** Das Frontend bzw. Visualisierung soll auf dem Cluster laufen, wofür ein Login erwünscht ist, wie z.B. SSO
|
||||
- die Services (Text Mining, NER, Sentiment) sollten auch dem Cluster laufen
|
||||
- Wo sollen CI/CD laufen?
|
||||
- benötigt werden 2-3 Container für Worker und Services
|
||||
- **Requirement:** Das Frontend bzw. Visualisierung soll auf dem Cluster laufen, wofür ein Login erwünscht ist, wie
|
||||
z.B. SSO
|
||||
- die Services (Text Mining, NER, Sentiment) sollten auch dem Cluster laufen
|
||||
- Wo sollen CI/CD laufen?
|
||||
- benötigt werden 2-3 Container für Worker und Services
|
||||
- ProductionDB:
|
||||
- DB "transparenzregister" für Produktiveinsatz
|
||||
- persönliche DB "DB_*Name*" für Development
|
||||
- Erklärung des Postgres Connectors, welcher die SQL-Alchemy Klassen verwendet, um Tabellen zu erstellen
|
||||
- Erklärung wie der Connection-String mit dem JsonConfigProvider und der secret.json erzeugt wird
|
||||
- UI:
|
||||
- Vorstellung der ersten Visualisierung mit Plotly und Anbindung an ProductionDB
|
||||
- Dash startet im Hintergrund einen http-Server, welcher über den Port 8050 erreichbar ist
|
||||
- Dash wird für das Dashboarding verwendet und wird (bei Bedarf) durch weitere Komponenten erweitert
|
||||
- Abschluß des PoC und Umsetzung der bestehenden Architektur
|
||||
|
||||
- UI:
|
||||
- Vorstellung der ersten Visualisierung mit Plotly und Anbindung an ProductionDB
|
||||
- Dash startet im Hintergrund einen http-Server, welcher über den Port 8050 erreichbar ist
|
||||
- Dash wird für das Dashboarding verwendet und wird (bei Bedarf) durch weitere Komponenten erweitert
|
||||
- Abschluß des PoC und Umsetzung der bestehenden Architektur
|
||||
|
||||
## Abgeleitete Action Items
|
||||
|
||||
| Action Item | Verantwortlicher | Deadline |
|
||||
|-------------|------------------|-----------------|
|
||||
| Anfrage nach Serverressourcen für 2-3 Container bei Prof. Gawron | Prof. Arinir | nächstes Weekly |
|
||||
| Repo-Struktur dokumentieren | Phillip, Tristan | nächstes Weekly |
|
||||
| Anlegen von MongoDB-Instanzen für NER und Sentiment | Tristan | nächstes Weekly |
|
||||
| NER für News | Sebastian | nächstes Weekly |
|
||||
| Beispiel für MongoConnector | Sebastian | nächstes Weekly |
|
||||
| Script um News auf Uni-Cluster zu dumpen | Tristan | nächstes Weekly |
|
||||
| Finanzdaten aus Bundesanzeiger | Tristan | nächstes Weekly |
|
||||
| Plotly Frontend weiterentwickeln | Kim, Tim | nächstes Weekly |
|
||||
| Refactoring der SQL-Alchemy Klassen | Phillip | nächstes Weekly |
|
||||
| Action Item | Verantwortlicher | Deadline |
|
||||
|------------------------------------------------------------------|------------------|-----------------|
|
||||
| Anfrage nach Serverressourcen für 2-3 Container bei Prof. Gawron | Prof. Arinir | nächstes Weekly |
|
||||
| Repo-Struktur dokumentieren | Phillip, Tristan | nächstes Weekly |
|
||||
| Anlegen von MongoDB-Instanzen für NER und Sentiment | Tristan | nächstes Weekly |
|
||||
| NER für News | Sebastian | nächstes Weekly |
|
||||
| Beispiel für MongoConnector | Sebastian | nächstes Weekly |
|
||||
| Script um News auf Uni-Cluster zu dumpen | Tristan | nächstes Weekly |
|
||||
| Finanzdaten aus Bundesanzeiger | Tristan | nächstes Weekly |
|
||||
| Plotly Frontend weiterentwickeln | Kim, Tim | nächstes Weekly |
|
||||
| Refactoring der SQL-Alchemy Klassen | Phillip | nächstes Weekly |
|
||||
|
||||
Loading…
x
Reference in New Issue
Block a user