diff --git a/documentations/Ergebnisse/Abschlussbericht_und_Praesentation/PhHo/S05_C1.md b/documentations/Ergebnisse/Abschlussbericht_und_Praesentation/PhHo/S4-1.md similarity index 100% rename from documentations/Ergebnisse/Abschlussbericht_und_Praesentation/PhHo/S05_C1.md rename to documentations/Ergebnisse/Abschlussbericht_und_Praesentation/PhHo/S4-1.md diff --git a/documentations/Ergebnisse/Abschlussbericht_und_Praesentation/SaZh/S02_C1.md b/documentations/Ergebnisse/Abschlussbericht_und_Praesentation/SaZh/S02_C1.md deleted file mode 100644 index b621a19..0000000 --- a/documentations/Ergebnisse/Abschlussbericht_und_Praesentation/SaZh/S02_C1.md +++ /dev/null @@ -1,5 +0,0 @@ -## 2. Proposal -### 2.1. Projektzusammenfassung -### 2.2. Projektziele und -umfang -### 2.3. Anforderungen und Erwartungen -### 2.4. Projektzeitplan und Meilensteine diff --git a/documentations/Ergebnisse/Abschlussbericht_und_Praesentation/SaZh/S01_C1.md b/documentations/Ergebnisse/Abschlussbericht_und_Praesentation/SaZh/S1-1.md similarity index 100% rename from documentations/Ergebnisse/Abschlussbericht_und_Praesentation/SaZh/S01_C1.md rename to documentations/Ergebnisse/Abschlussbericht_und_Praesentation/SaZh/S1-1.md diff --git a/documentations/Ergebnisse/Abschlussbericht_und_Praesentation/TiRo/S03_C1.md b/documentations/Ergebnisse/Abschlussbericht_und_Praesentation/TiRo/S2-1.md similarity index 100% rename from documentations/Ergebnisse/Abschlussbericht_und_Praesentation/TiRo/S03_C1.md rename to documentations/Ergebnisse/Abschlussbericht_und_Praesentation/TiRo/S2-1.md diff --git a/documentations/Ergebnisse/Abschlussbericht_und_Praesentation/TrNo/S4-2.md b/documentations/Ergebnisse/Abschlussbericht_und_Praesentation/TrNo/S4-2.md new file mode 100644 index 0000000..7dde369 --- /dev/null +++ b/documentations/Ergebnisse/Abschlussbericht_und_Praesentation/TrNo/S4-2.md @@ -0,0 +1,7 @@ +### 4.2. Lösungsarchitektur: Docker - **Tristan || Philipp** +#### 4.2.1 Architekturmodell nach dem Präsenztermin +#### 4.2.2 Warum haben wir Docker in unserer DevOps-Umgebung eingesetzt? +#### 4.2.3 Wie haben wir Docker-Container in unserer Anwendung entwickelt und bereitgestellt? +#### 4.2.4 Welche Herausforderungen gab es bei der Verwendung von Docker in unserem Projekt? +#### 4.2.5 Lokale und verteiltes Hochfahren/Verwenden der Container +#### 4.2.6 Integration der FH Infrastruktur (Portainer, weitere Herausforderungen und Lösungen) diff --git a/documentations/index.rst b/documentations/index.rst index 419d254..32995aa 100644 --- a/documentations/index.rst +++ b/documentations/index.rst @@ -1,103 +1,229 @@ -.. Your Package Name documentation master file, created by Sphinx - -Transparenzregister Dokumentation -================================= -This is the documentation for the AKI project group on the german transparenzregister and an Analysis there of. - -On the 9th September 2023 the following current development state has been determined: - -.. drawio-figure:: project_management/Arch.-Planning.drawio - :format: png - :page-index: 1 - -The target deployment architecture should look as follows: - -.. drawio-figure:: project_management/Arch.-Planning.drawio - :format: png - :page-index: 2 - -The timeline to reach this goal is: - -.. drawio-figure:: project_management/Arch.-Planning.drawio - :format: png - :page-index: 3 - - An example diagram - -.. include:: ../README.md - :parser: myst_parser.sphinx_ -.. include:: ../CONTRIBUTING.md - :parser: myst_parser.sphinx_ +Projektdokumentation Transparenzregister .. toctree:: - :maxdepth: 3 - :caption: Project Management - - project_management/* - -.. toctree:: - :glob: :maxdepth: 1 - :caption: Meeting Notes: - meeting-notes/* + semester_1 + semester_2 + zusammenfassung_rueck_ausblick + anhang + literaturverzeichnis + +Semester 1 +=========== .. toctree:: - :glob: - :maxdepth: 3 - :caption: Research + :maxdepth: 2 - research/* + einleitung + recherche_techniken + grundlagen_basistechniken + +1. Einleitung - Sascha +------------------------ .. toctree:: - :glob: - :maxdepth: 3 - :caption: Seminararbeiten + :maxdepth: 2 - seminararbeiten/DevOps/Seminarpraesentation.ipynb - seminararbeiten/Datenspeicherung/00_Datenspeicherung + zielsetzung_projekts + projektorganisation + +1.2 Zielsetzung des Projekts +~~~~~~~~~~~~~~~~~~~~~~~~~~~~~ + +- Projektzusammenfassung +- Projektziele und -umfang +- Anforderungen und Erwartungen +- Projektzeitplan und Meilensteine + +1.3 Projektorganisation +~~~~~~~~~~~~~~~~~~~~~~~~~ + +- Weekly +- Meeting-Notes +- Github-Projects für Aufagbentracking + +2. Recherche zu benötigten Techniken - Tim +---------------------------------------------- .. toctree:: - :glob: - :maxdepth: 1 - :caption: UI Mock Ups + :maxdepth: 2 - mock_up/**/* + technische_anforderungen_loesungsansaetze + ueberblick_relevante_technologien + begruendung_technologieauswahl + proof-of-concept_jupyter_notebooks + +2.1 Technische Anforderungen und Lösungsansätze +~~~~~~~~~~~~~~~~~~~~~~~~~~~~~ + +2.2 Überblick über relevante Technologien und Werkzeuge +~~~~~~~~~~~~~~~~~~~~~~~~~~~~~ + +2.3 Begründung der Technologieauswahl +~~~~~~~~~~~~~~~~~~~~~~~~~~~~~ + +2.4 Proof-of-Concept mit Jupyter Notebooks +~~~~~~~~~~~~~~~~~~~~~~~~~~~~~ + +3. Grundlagen und Basistechniken +---------------------------------- .. toctree:: - :glob: - :maxdepth: 0 - :caption: Modules + :maxdepth: 2 - modules + devops + text_mining + datenspeicherung + sentimentanalyse + verflechtungsanalyse + visualisierung + +3.1 DevOps +~~~~~~~~~~~~~~~~~~~~~~~~~~~~~ + +3.2 Text Mining +~~~~~~~~~~~~~~~~~~~~~~~~~~~~~ + +3.3 Datenspeicherung +~~~~~~~~~~~~~~~~~~~~~~~~~~~~~ + +3.4 Sentimentanalyse +~~~~~~~~~~~~~~~~~~~~~~~~~~~~~ + +3.5 Verflechtungsanalyse +~~~~~~~~~~~~~~~~~~~~~~~~~~~~~ + +3.6 Visualisierung +~~~~~~~~~~~~~~~~~~~~~~~~~~~~~ + +Semester 2 - Umsetzungsphase des Projekts im 2. Semester +============================================================= .. toctree:: - :glob: - :maxdepth: 3 - :caption: Projektdokumentation + :maxdepth: 2 - Ergebnisse/Abschlussbericht_und_Praesentation/SaZh/S01_C1.md - Ergebnisse/Abschlussbericht_und_Praesentation/SaZh/S02_C1.md - Ergebnisse/Abschlussbericht_und_Praesentation/TiRo/S03_C1.md - Ergebnisse/Abschlussbericht_und_Praesentation/PhHo/S05_C1.md + technische_realisierung -.. automodule:: aki_prj23_transparenzregister - :members: - :undoc-members: - :show-inheritance: - :inherited-members: - :autodoc_member_order: +4. Technische Realisierung +---------------------------- -Recent Changes -============== +.. toctree:: + :maxdepth: 2 -.. git_changelog:: - :rev-list: 9c237402be27af41227f75dbb1fea4bdd9df2165..HEAD - :filename_filter: (doc/.*\.rst|poetry.lock|\.pre-commit-config.yaml|\.github/.*) + devops + loesungsarchitektur_docker + architektur_code_dokumentation + data_transformation + data_visualization -Some other test +4.1 DevOps - Philipp +~~~~~~~~~~~~~~~~~~~~~~~~~~~~~ -Indices and tables -================== -* :ref:`genindex` -* :ref:`modindex` +.. toctree:: + :maxdepth: 2 + + github + poetry + codequalitaet_automatisierung + +4.1.1 Github +~~~~~~~~~~~~~~~~~~~~~~~~~~~~~ + +- CI/CD +- Warum haben wir uns für DevOps entschieden? +- Wie beeinflusst DevOps die Softwareentwicklung? +- Wie haben wir GitHub in den Entwicklungsprozess integriert? +- Welche Vorteile bietet die Verwendung von GitHub für DevOps? +- Welche spezifischen Funktionen von GitHub haben wir verwendet? + +4.1.2 Poetry +~~~~~~~~~~~~~~~~~~~~~~~~~~~~~ + +- Warum wird Poetry für die Verwaltung von Python-Projekten eingesetzt und welche Probleme löst es? +- Warum haben wir Poetry verwendet? +- Was macht Poetry? +- Was sind die wichtigsten Eigenschaften und Befehle? + +4.1.3 Codequalität und Automatisierung +~~~~~~~~~~~~~~~~~~~~~~~~~~~~~ + +- Was sind konkrete Beispiele, welche gelöst werden? +- Wie haben wir Linter und mypy in den Entwicklungsprozess integriert? +- Welche Verbesserungen in der Codequalität und Entwicklungszeit konnten wir durch die Automatisierung erzielen? +- Gab es spezifische Codequalitätsprobleme, die wir mit diesen Werkzeugen behoben haben? +- Haben uns die Werkzeuge geholfen oder gehindert? +- Lintern und statische Codeanalyse +- Typenprüfung mit mypy +- Continuous Integration und automatisierte Tests +- Integration von Lintern und mypy in den Entwicklungsprozess + +4.2 Lösungsarchitektur: Docker - Tristan || Philipp +~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~ + +.. toctree:: + :maxdepth: 2 + + architekturmodell_praesenztermin + warum_docker_eingesetzt + entwickeln_bereitstellen_container + herausforderungen_verwendung_docker + lokale_verteiltes_hochfahren_container + integration_fh_infrastruktur + +4.2.1 Architekturmodell nach dem Präsenztermin +~~~~~~~~~~~~~~~~~~~~~~~~~~~~~ + +4.2.2 Warum haben wir Docker in unserer DevOps-Umgebung eingesetzt? +~~~~~~~~~~~~~~~~~~~~~~~~~~~~~ + +4.2.3 Wie haben wir Docker-Container in unserer Anwendung entwickelt und bereitgestellt? +~~~~~~~~~~~~~~~~~~~~~~~~~~~~~ + +4.2.4 Welche Herausforderungen gab es bei der Verwendung von Docker in unserem Projekt? +~~~~~~~~~~~~~~~~~~~~~~~~~~~~~ + +4.2.5 Lokale und verteiltes Hochfahren/Verwenden der Container +~~~~~~~~~~~~~~~~~~~~~~~~~~~~~ + +4.2.6 Integration der FH Infrastruktur (Portainer, weitere Herausforderungen und Lösungen) +~~~~~~~~~~~~~~~~~~~~~~~~~~~~~ + +4.3 Architektur-/Code-Dokumentation +~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~ + +.. toctree:: + :maxdepth: 2 + + data_ingest_datamining_web_scraping + ai_module + database_generator + +4.3.1 Data Ingest/Datamining /Web-Scraping - Tristan +~~~~~~~~~~~~~~~~~~~~~~~~~~~~~ + +- Warum haben wir Datamining und Web-Scraping in unserem Projekt verwendet? +- Welche Datenquellen haben wir gescraped und wie haben wir die Datenverarbeitung durchgeführt? +- Gab es Schwierigkeiten oder Herausforderungen beim Scrapen und bei der Datenverarbeitung? +- Beschreibung der entwickelten Module zur Erstellung strukturierter Dokumente für die Staging DB +- Erklärung der Staging-DB +- Wie und welche Informationen werden aus unstrukturierten Daten (PDFs) extrahiert (Regex)? +- Wie funktioniert der Ingest-Container? +- Beschreibung des Containers +- Konfiguration und Einsatz +- Wie funktioniert der Data-Processing Container, welche Envs/Einstellparameter gibt es? + +4.4 Data Transformation +~~~~~~~~~~~~~~~~~~~~~~~~~~~~~ + +.. toctree:: + :maxdepth: 2 + + ai_module + database_generator + +4.4.1 AI Module - Sebastian +~~~~~~~~~~~~~~~~~~~~~~~~~~~~~ + +- Erklärung NER Services, Pipeline +- Erklärung diff --git a/documentations/index_old.rst b/documentations/index_old.rst new file mode 100644 index 0000000..4423893 --- /dev/null +++ b/documentations/index_old.rst @@ -0,0 +1,104 @@ +.. Your Package Name documentation master file, created by Sphinx + +Transparenzregister Dokumentation +================================= +This is the documentation for the AKI project group on the german transparenzregister and an Analysis there of. + +On the 9th September 2023 the following current development state has been determined: + +.. drawio-figure:: project_management/Arch.-Planning.drawio + :format: png + :page-index: 1 + +The target deployment architecture should look as follows: + +.. drawio-figure:: project_management/Arch.-Planning.drawio + :format: png + :page-index: 2 + +The timeline to reach this goal is: + +.. drawio-figure:: project_management/Arch.-Planning.drawio + :format: png + :page-index: 3 + + An example diagram + +.. include:: ../README.md + :parser: myst_parser.sphinx_ +.. include:: ../CONTRIBUTING.md + :parser: myst_parser.sphinx_ + +.. toctree:: + :maxdepth: 3 + :caption: 1. Einleitung + + Ergebnisse/Abschlussbericht_und_Praesentation/SaZh/S1-1.md + +.. toctree:: + :glob: + :maxdepth: 1 + :caption: Meeting Notes: + + meeting-notes/* + +.. toctree:: + :glob: + :maxdepth: 3 + :caption: Research + + research/* + +.. toctree:: + :glob: + :maxdepth: 3 + :caption: Seminararbeiten + + seminararbeiten/DevOps/Seminarpraesentation.ipynb + seminararbeiten/Datenspeicherung/00_Datenspeicherung + +.. toctree:: + :glob: + :maxdepth: 1 + :caption: UI Mock Ups + + mock_up/**/* + +.. toctree:: + :glob: + :maxdepth: 0 + :caption: Modules + + modules + +.. toctree:: + :glob: + :maxdepth: 3 + :caption: Projektdokumentation + + + Ergebnisse/Abschlussbericht_und_Praesentation/TiRo/S2-1.md + Ergebnisse/Abschlussbericht_und_Praesentation/PhHo/S4-1.md + Ergebnisse/Abschlussbericht_und_Praesentation/TrNo/S4-2.md + + +.. automodule:: aki_prj23_transparenzregister + :members: + :undoc-members: + :show-inheritance: + :inherited-members: + :autodoc_member_order: + +Recent Changes +============== + +.. git_changelog:: + :rev-list: 9c237402be27af41227f75dbb1fea4bdd9df2165..HEAD + :filename_filter: (doc/.*\.rst|poetry.lock|\.pre-commit-config.yaml|\.github/.*) + +Some other test + +Indices and tables +================== +* :ref:`genindex` +* :ref:`modindex`