mirror of
https://github.com/fhswf/aki_prj23_transparenzregister.git
synced 2025-04-25 00:12:35 +02:00
Small fixes to the documentation. (#70)
This commit is contained in:
GitHub
parent
69039706ac
commit
011184b898
@ -1,6 +1,7 @@
|
|||||||
# Weekly *5*: 09.06.2023
|
# Weekly *6*: 09.06.2023
|
||||||
|
|
||||||
## Teilnehmer
|
## Teilnehmer
|
||||||
|
|
||||||
- Prof. Arinir
|
- Prof. Arinir
|
||||||
- Tristan Nolde
|
- Tristan Nolde
|
||||||
- Tim Ronneburg
|
- Tim Ronneburg
|
||||||
@ -12,79 +13,86 @@
|
|||||||
## Themen
|
## Themen
|
||||||
|
|
||||||
- Stepstone Projekt:
|
- Stepstone Projekt:
|
||||||
- Gewünscht wird ein initialer Austausch mit Stepstone
|
- Gewünscht wird ein initialer Austausch mit Stepstone
|
||||||
- Befürchtung ist, dass es zu einem Hinderniss wird
|
- Befürchtung ist, dass es zu einem Hinderniss wird
|
||||||
- Entscheidung liegt daher beim Projekt-Team
|
- Entscheidung liegt daher beim Projekt-Team
|
||||||
- Weitere Informationen sind nicht aktuell nicht vorhanden
|
- Weitere Informationen sind nicht aktuell nicht vorhanden
|
||||||
- Vorschlag Prof. Arinir: Sollte das Thema nochmal zum Team getragen werden, wird der aktuelle Stand vorgestellt und der Link zum Repo wird geteilt. Darüber hinaus werden keine Ressourcen zugesprochen.
|
- Vorschlag Prof. Arinir: Sollte das Thema nochmal zum Team getragen werden, wird der aktuelle Stand vorgestellt und
|
||||||
- Vorstellung [vorheriger Absprache](https://github.com/orgs/fhswf/projects/17?pane=issue&itemId=29707639) und Feedback:
|
der Link zum Repo wird geteilt. Darüber hinaus werden keine Ressourcen zugesprochen.
|
||||||
- Ändert sich der Scope - Nein
|
- Vorstellung [vorheriger Absprache](https://github.com/orgs/fhswf/projects/17?pane=issue&itemId=29707639) und
|
||||||
- NDA - Nein
|
Feedback:
|
||||||
- Veröffentlichung - maximal Impressionen
|
- Ändert sich der Scope - Nein
|
||||||
- Was muss geleistet werden - nicht direkt an Stepstone sondern über FH als Mediator
|
- NDA - Nein
|
||||||
|
- Veröffentlichung - maximal Impressionen
|
||||||
|
- Was muss geleistet werden - nicht direkt an Stepstone sondern über FH als Mediator
|
||||||
- Sollen Präsentationen vorab zur Verfügung gestellt werden?
|
- Sollen Präsentationen vorab zur Verfügung gestellt werden?
|
||||||
- Einige Tage vorher in das Git Repo. hochladen und Prof. Arinir benachrichtigen
|
- Einige Tage vorher in das Git Repo. hochladen und Prof. Arinir benachrichtigen
|
||||||
- Rücksprache Seminarpräsentationen
|
- Rücksprache Seminarpräsentationen
|
||||||
- Verflechtungsanalyse:
|
- Verflechtungsanalyse:
|
||||||
- Graphen Theorie
|
- Graphen Theorie
|
||||||
- Social Network Analyse
|
- Social Network Analyse
|
||||||
- Erweiterung über Graphen Theorie hinaus
|
- Erweiterung über Graphen Theorie hinaus
|
||||||
- Fokus auf Anwendung und Mehrwert, weniger genauer mathematischer Lösung
|
- Fokus auf Anwendung und Mehrwert, weniger genauer mathematischer Lösung
|
||||||
- Feedback:
|
- Feedback:
|
||||||
- Präsentation scheint sehr umfangreich; Wunsch nach Reduzierung der Folienanzahl
|
- Präsentation scheint sehr umfangreich; Wunsch nach Reduzierung der Folienanzahl
|
||||||
- Formeln hinter den Analysen spannend, ggf. doch drauf eingehen, um Kennzahl in Kontext zu setzen
|
- Formeln hinter den Analysen spannend, ggf. doch drauf eingehen, um Kennzahl in Kontext zu setzen
|
||||||
- Visualiserung:
|
- Visualiserung:
|
||||||
- Prinzipien
|
- Prinzipien
|
||||||
- Vorteile
|
- Vorteile
|
||||||
- Bibliotheken für Umsetzung (Network X, PyViz, ...)
|
- Bibliotheken für Umsetzung (Network X, PyViz, ...)
|
||||||
- Effekt von Farbwahl
|
- Effekt von Farbwahl
|
||||||
- Erste Umsetzung im Jupyter Notebook
|
- Erste Umsetzung im Jupyter Notebook
|
||||||
- Feedback:
|
- Feedback:
|
||||||
- Es werden extem viele Datenpunkte angezeigt werden müssen, wie wird dies in den Bibliotheken umgesetzt? Kann dort gefiltert werden?
|
- Es werden extem viele Datenpunkte angezeigt werden müssen, wie wird dies in den Bibliotheken umgesetzt?
|
||||||
- Wenn nicht direkt am Graphen (der Darstellung) gefiltert werden kann, dann frühzeitig filtern, bevor der Graph gebaut wird
|
Kann dort gefiltert werden?
|
||||||
- Datenspeicherung
|
- Wenn nicht direkt am Graphen (der Darstellung) gefiltert werden kann, dann frühzeitig filtern, bevor
|
||||||
- Erste Integration von Visualisierung mit Datenspeicherung
|
der Graph gebaut wird
|
||||||
- Vorstellung der "Datencluster"
|
- Datenspeicherung
|
||||||
- Stammdaten
|
- Erste Integration von Visualisierung mit Datenspeicherung
|
||||||
- Stimmungsdaten
|
- Vorstellung der "Datencluster"
|
||||||
- Social Graph
|
- Stammdaten
|
||||||
- Zeitseriendaten
|
- Stimmungsdaten
|
||||||
- Relationales DB Modell
|
- Social Graph
|
||||||
- Fokus ebenfalls auf Abfrage der Daten für Folge-Projekte wie Visualiserung und Mehrwert fürs Team, weniger Theorie
|
- Zeitseriendaten
|
||||||
- Feedback:
|
- Relationales DB Modell
|
||||||
- Es müssen Erfahrungen mit der Library und Darstellung gesammelt werden, um den Mehrwert der Lösung hervorzuheben
|
- Fokus ebenfalls auf Abfrage der Daten für Folge-Projekte wie Visualiserung und Mehrwert fürs Team, weniger
|
||||||
- Modellierung der Finzanz-Kennzahlen
|
Theorie
|
||||||
- Spaltennamen sollen sprechend sein, z.B. "value" statt "sum"
|
- Feedback:
|
||||||
- Präferenz zum Modell mit einzelnem Eintrag mit mehren Kennzahl Spalten stallt generischer Lösung über Enum
|
- Es müssen Erfahrungen mit der Library und Darstellung gesammelt werden, um den Mehrwert der Lösung
|
||||||
- Text Mining
|
hervorzuheben
|
||||||
- Fokus auf Sentiment Analyse
|
- Modellierung der Finzanz-Kennzahlen
|
||||||
- Vergleich verschiedener Lösungen und ML Modelle
|
- Spaltennamen sollen sprechend sein, z.B. "value" statt "sum"
|
||||||
- Abschließendes Fazit, welches Tool am besten geeignet ist
|
- Präferenz zum Modell mit einzelnem Eintrag mit mehren Kennzahl Spalten stallt generischer Lösung über
|
||||||
- Daten Extraktion
|
Enum
|
||||||
- Fokus auf Web Mining/Scraping im Rahmen des Transparenzregisters
|
- Text Mining
|
||||||
- Datenquellen
|
- Fokus auf Sentiment Analyse
|
||||||
- API
|
- Vergleich verschiedener Lösungen und ML Modelle
|
||||||
- Websites (HTML)
|
- Abschließendes Fazit, welches Tool am besten geeignet ist
|
||||||
- PDF
|
- Daten Extraktion
|
||||||
- Datenextraktion aus diesen Quellen
|
- Fokus auf Web Mining/Scraping im Rahmen des Transparenzregisters
|
||||||
- Orchestrierung mit Airflow
|
- Datenquellen
|
||||||
- DevOps
|
- API
|
||||||
- Dependency Management in Python
|
- Websites (HTML)
|
||||||
- Standard requirements.txt
|
- PDF
|
||||||
- pip-tools
|
- Datenextraktion aus diesen Quellen
|
||||||
- poetry
|
- Orchestrierung mit Airflow
|
||||||
- Vorteile von Lintern
|
- DevOps
|
||||||
- GitHub
|
- Dependency Management in Python
|
||||||
- Actions
|
- Standard requirements.txt
|
||||||
- Security
|
- pip-tools
|
||||||
- etc.
|
- poetry
|
||||||
- Feedback:
|
- Vorteile von Lintern
|
||||||
- Git wird als State-of-the-Art angesehen und muss nicht näher erläutert werden
|
- GitHub
|
||||||
|
- Actions
|
||||||
|
- Security
|
||||||
|
- etc.
|
||||||
|
- Feedback:
|
||||||
|
- Git wird als State-of-the-Art angesehen und muss nicht näher erläutert werden
|
||||||
|
|
||||||
## Abgeleitete Action Items
|
## Abgeleitete Action Items
|
||||||
|
|
||||||
| Action Item | Verantwortlicher | Deadline |
|
| Action Item | Verantwortlicher | Deadline |
|
||||||
|-------------|------------------|-----------------|
|
|------------------------------------------------------------------|------------------|-------------------------|
|
||||||
| Folien hochladen | Projekt Team | vor Präsentationstermin |
|
| Folien hochladen | Projekt Team | vor Präsentationstermin |
|
||||||
| Absprache Abgrenzung von Verflechtungsanalyse und Visualisierung | Tim und Kim | nächster Abgleich |
|
| Absprache Abgrenzung von Verflechtungsanalyse und Visualisierung | Tim und Kim | nächster Abgleich |
|
||||||
| Deployment Plan aufstellen | Projekt Team | nach Seminararbeiten |
|
| Deployment Plan aufstellen | Projekt Team | nach Seminararbeiten |
|
||||||
|
|||||||
@ -1,6 +1,7 @@
|
|||||||
# Weekly *X*: 03.08.2023
|
# Weekly *7*: 03.08.2023
|
||||||
|
|
||||||
## Teilnehmer
|
## Teilnehmer
|
||||||
|
|
||||||
- Prof. Arinir
|
- Prof. Arinir
|
||||||
- Tristan Nolde
|
- Tristan Nolde
|
||||||
- Tim Ronneburg (Protokollant)
|
- Tim Ronneburg (Protokollant)
|
||||||
@ -9,19 +10,19 @@
|
|||||||
## Themen
|
## Themen
|
||||||
|
|
||||||
- Präsentieren der Ergebnisse der letzten Wochen:
|
- Präsentieren der Ergebnisse der letzten Wochen:
|
||||||
- Named Entity Recognition
|
- Named Entity Recognition
|
||||||
- Vorstellung Datenbank auf dem FH-Cluster:
|
- Vorstellung Datenbank auf dem FH-Cluster:
|
||||||
- Mongo Connector
|
- Mongo Connector
|
||||||
- Datenspeicherung auf dem Cluster
|
- Datenspeicherung auf dem Cluster
|
||||||
- Weitere Vorgehensweise:
|
- Weitere Vorgehensweise:
|
||||||
- Idee: Kleine Workshops/Teams
|
- Idee: Kleine Workshops/Teams
|
||||||
- In 2er Teams die einzelnen Funktionen über Feature Branches erstellen
|
- In 2er Teams die einzelnen Funktionen über Feature Branches erstellen
|
||||||
|
|
||||||
## Abgeleitete Action Items
|
## Abgeleitete Action Items
|
||||||
|
|
||||||
| Action Item | Verantwortlicher | Deadline |
|
| Action Item | Verantwortlicher | Deadline |
|
||||||
|-------------|------------------|-----------------|
|
|--------------------------------------------------------------------|----------------------------|-----------------|
|
||||||
| Mergen aller Branches zu jedem neuen Termin mit Herrn Arinir | Jeder | jedes Weekly |
|
| Mergen aller Branches zu jedem neuen Termin mit Herrn Arinir | Jeder | jedes Weekly |
|
||||||
| Erstellen der Pipelines | Sebastian, Tristan und Tim | nächstes Weekly |
|
| Erstellen der Pipelines | Sebastian, Tristan und Tim | nächstes Weekly |
|
||||||
| Erstellen der Development Datenbank-Instanzen je Entwickler | Sebastian, Tristan und Tim | nächstes Weekly |
|
| Erstellen der Development Datenbank-Instanzen je Entwickler | Sebastian, Tristan und Tim | nächstes Weekly |
|
||||||
| Anlegen der relationalen Postgres DB via Script auf den FH-Cluster | Sebastian, Tristan und Tim | nächstes Weekly |
|
| Anlegen der relationalen Postgres DB via Script auf den FH-Cluster | Sebastian, Tristan und Tim | nächstes Weekly |
|
||||||
|
|||||||
@ -1,6 +1,7 @@
|
|||||||
# Weekly: 17.08.2023
|
# Weekly *8*: 17.08.2023
|
||||||
|
|
||||||
## Teilnehmer
|
## Teilnehmer
|
||||||
|
|
||||||
- Prof. Arinir
|
- Prof. Arinir
|
||||||
- Tristan Nolde
|
- Tristan Nolde
|
||||||
- Tim Ronneburg
|
- Tim Ronneburg
|
||||||
@ -12,32 +13,32 @@
|
|||||||
|
|
||||||
- Welche Services laufen aktuell auf dem Uni-Cluster?
|
- Welche Services laufen aktuell auf dem Uni-Cluster?
|
||||||
- MongoDB und Postgres mit personalisiertem Zugang über VPN
|
- MongoDB und Postgres mit personalisiertem Zugang über VPN
|
||||||
- **Requirement:** Das Frontend bzw. Visualisierung soll auf dem Cluster laufen, wofür ein Login erwünscht ist, wie z.B. SSO
|
- **Requirement:** Das Frontend bzw. Visualisierung soll auf dem Cluster laufen, wofür ein Login erwünscht ist, wie
|
||||||
- die Services (Text Mining, NER, Sentiment) sollten auch dem Cluster laufen
|
z.B. SSO
|
||||||
- Wo sollen CI/CD laufen?
|
- die Services (Text Mining, NER, Sentiment) sollten auch dem Cluster laufen
|
||||||
- benötigt werden 2-3 Container für Worker und Services
|
- Wo sollen CI/CD laufen?
|
||||||
|
- benötigt werden 2-3 Container für Worker und Services
|
||||||
- ProductionDB:
|
- ProductionDB:
|
||||||
- DB "transparenzregister" für Produktiveinsatz
|
- DB "transparenzregister" für Produktiveinsatz
|
||||||
- persönliche DB "DB_*Name*" für Development
|
- persönliche DB "DB_*Name*" für Development
|
||||||
- Erklärung des Postgres Connectors, welcher die SQL-Alchemy Klassen verwendet, um Tabellen zu erstellen
|
- Erklärung des Postgres Connectors, welcher die SQL-Alchemy Klassen verwendet, um Tabellen zu erstellen
|
||||||
- Erklärung wie der Connection-String mit dem JsonConfigProvider und der secret.json erzeugt wird
|
- Erklärung wie der Connection-String mit dem JsonConfigProvider und der secret.json erzeugt wird
|
||||||
- UI:
|
- UI:
|
||||||
- Vorstellung der ersten Visualisierung mit Plotly und Anbindung an ProductionDB
|
- Vorstellung der ersten Visualisierung mit Plotly und Anbindung an ProductionDB
|
||||||
- Dash startet im Hintergrund einen http-Server, welcher über den Port 8050 erreichbar ist
|
- Dash startet im Hintergrund einen http-Server, welcher über den Port 8050 erreichbar ist
|
||||||
- Dash wird für das Dashboarding verwendet und wird (bei Bedarf) durch weitere Komponenten erweitert
|
- Dash wird für das Dashboarding verwendet und wird (bei Bedarf) durch weitere Komponenten erweitert
|
||||||
- Abschluß des PoC und Umsetzung der bestehenden Architektur
|
- Abschluß des PoC und Umsetzung der bestehenden Architektur
|
||||||
|
|
||||||
|
|
||||||
## Abgeleitete Action Items
|
## Abgeleitete Action Items
|
||||||
|
|
||||||
| Action Item | Verantwortlicher | Deadline |
|
| Action Item | Verantwortlicher | Deadline |
|
||||||
|-------------|------------------|-----------------|
|
|------------------------------------------------------------------|------------------|-----------------|
|
||||||
| Anfrage nach Serverressourcen für 2-3 Container bei Prof. Gawron | Prof. Arinir | nächstes Weekly |
|
| Anfrage nach Serverressourcen für 2-3 Container bei Prof. Gawron | Prof. Arinir | nächstes Weekly |
|
||||||
| Repo-Struktur dokumentieren | Phillip, Tristan | nächstes Weekly |
|
| Repo-Struktur dokumentieren | Phillip, Tristan | nächstes Weekly |
|
||||||
| Anlegen von MongoDB-Instanzen für NER und Sentiment | Tristan | nächstes Weekly |
|
| Anlegen von MongoDB-Instanzen für NER und Sentiment | Tristan | nächstes Weekly |
|
||||||
| NER für News | Sebastian | nächstes Weekly |
|
| NER für News | Sebastian | nächstes Weekly |
|
||||||
| Beispiel für MongoConnector | Sebastian | nächstes Weekly |
|
| Beispiel für MongoConnector | Sebastian | nächstes Weekly |
|
||||||
| Script um News auf Uni-Cluster zu dumpen | Tristan | nächstes Weekly |
|
| Script um News auf Uni-Cluster zu dumpen | Tristan | nächstes Weekly |
|
||||||
| Finanzdaten aus Bundesanzeiger | Tristan | nächstes Weekly |
|
| Finanzdaten aus Bundesanzeiger | Tristan | nächstes Weekly |
|
||||||
| Plotly Frontend weiterentwickeln | Kim, Tim | nächstes Weekly |
|
| Plotly Frontend weiterentwickeln | Kim, Tim | nächstes Weekly |
|
||||||
| Refactoring der SQL-Alchemy Klassen | Phillip | nächstes Weekly |
|
| Refactoring der SQL-Alchemy Klassen | Phillip | nächstes Weekly |
|
||||||
|
|||||||
Loading…
x
Reference in New Issue
Block a user