AP03_Mulltimodalinteractions_Images.ipynb

{
 "cells": [
  {
   "attachments": {},
   "cell_type": "markdown",
   "id": "4cf56921",
   "metadata": {},
   "source": [
    "# Arbeitspaket (AP) 3: Multimodal Interactions - Images"
   ]
  },
  {
   "attachments": {},
   "cell_type": "markdown",
   "id": "0f7fb22f",
   "metadata": {},
   "source": [
    "## Persönliche Angaben (bitte ergänzen)"
   ]
  },
  {
   "attachments": {},
   "cell_type": "markdown",
   "id": "94d35a25",
   "metadata": {},
   "source": [
    "<table>\n",
    "  <tr>\n",
    "    <td>Vorname:</td>\n",
    "    <td></td>\n",
    "  </tr>\n",
    "  <tr>\n",
    "    <td>Nachname:</td>\n",
    "    <td></td>\n",
    "  </tr>\n",
    "  <tr>\n",
    "    <td>Immatrikulationsnummer:</td>\n",
    "    <td></td>\n",
    "  </tr>\n",
    "  <tr>\n",
    "    <td>Modul:</td>\n",
    "    <td>Data Science</td>\n",
    "  </tr>\n",
    "  <tr>\n",
    "    <td>Prüfungsdatum / Raum / Zeit:</td>\n",
    "    <td>16.12.2024 / Raum: SF O3.54 / 8:00 – 12:30</td>\n",
    "  </tr>\n",
    "  <tr>\n",
    "    <td>Erlaubte Hilfsmittel:</td>\n",
    "    <td>w.MA.XX.DS.24HS (Data Science)<br>Open Book, Eigener Computer, Internet-Zugang</td>\n",
    "  </tr>\n",
    "  <tr>\n",
    "  <td>Nicht erlaubt:</td>\n",
    "  <td>Nicht erlaubt ist der Einsatz beliebiger Formen von generativer KI (z.B. Copilot, ChatGPT) <br> sowie beliebige Formen von Kommunikation oder Kollaboration mit anderen Menschen.</td>\n",
    "</tr>\n",
    "</table>"
   ]
  },
  {
   "attachments": {},
   "cell_type": "markdown",
   "id": "61847f62",
   "metadata": {},
   "source": [
    "## Bewertungskriterien\n",
    "\n",
    "\n",
    "Der Code für jede Aufgabe wird gemäss dem folgenden Schema bewertet. Die Gesamtpunktzahl beträgt maximal 48 Punkte, wobei jede Aufgabe bis zu 8 Punkte bzw. 4 Punkte erreichen kann.\n",
    "\n",
    "\n",
    "\n",
    "| **Kategorie**                       | **Beschreibung**                                                                                                                                          | **Punkteverteilung**                |\n",
    "|-------------------------------------|------------------------------------------------------------------------------------------------------------------------------------------------------------|-------------------------------------|\n",
    "| **Code nicht lauffähig oder Ergebnisse nicht relevant** | Der Code läuft nicht oder erfüllt nicht die Anforderungen des Aspekts (z. B. Bilder werden nicht geladen, die Textausgabe der Extraktion fehlt, Bounding Boxes werden nicht angezeigt). | **0 Punkte**                       |\n",
    "| **Code lauffähig, aber mit gravierenden Mängeln**       | Der Code läuft, jedoch fehlen zentrale Teile der Funktionalität eines Aspekts (z. B. unvollständige Extraktion von Bildinformationen oder Fehler bei der Definition eines Schemas). | **25% der max. erreichbaren Punkte** |\n",
    "| **Code lauffähig, aber mit mittleren Mängeln**          | Der Code läuft und liefert teilweise korrekte Ergebnisse für einen Aspekt, aber wichtige Details fehlen (z. B. ungenaue Bounding Boxes, unvollständige Integration der extrahierten Daten). | **50% der max. erreichbaren Punkte** |\n",
    "| **Code lauffähig, aber mit minimalen Mängeln**          | Der Code erfüllt die Anforderungen eines Aspekts weitgehend, aber kleinere Fehler oder Abweichungen (z. B. nicht robust Extraktionsdaten, kleinere Schemaabweichungen, Prompt zu wenig stringent formuliert -> teilweise unstabile Output)sind vorhanden. | **75% der max. erreichbaren Punkte** |\n",
    "| **Code lauffähig und korrekt**                         | Der Code erfüllt die Anforderungen des Aspekts vollständig und liefert die erwarteten Ergebnisse ohne Fehler (z. B. korrekte Extraktion, vollständige Bounding Boxes, saubere Integration). | **100% der max. erreichbaren Punkte** |\n",
    "\n",
    "---\n",
    "\n",
    "\n",
    "\n"
   ]
  },
  {
   "attachments": {},
   "cell_type": "markdown",
   "id": "8a8b7408",
   "metadata": {},
   "source": [
    "## **Vorbereitung (Dieser Teil wird nicht bewertet!)**\n",
    "\n",
    "1.) Starten Sie eine GitHub Codespaces Instanz auf Basis Ihres Forks von diesem Github Repository\n",
    "\n",
    "2.) Erstellen Sie eine neue  Datei .env in Ihrem Codespace, die die API-Keys als ENV-Variabel enthält, und laden Sie diese in Ihrem Code mithilfe der dotenv Library."
   ]
  },
  {
   "attachments": {},
   "cell_type": "markdown",
   "id": "df6acba0",
   "metadata": {},
   "source": [
    "## **Aufgabe (Dieser Teil wird bewertet!)**\n",
    "\n",
    "### **Hinweise zum folgenden Arbeitspaket:**\n",
    "\n",
    "Im Rahmen dieses Arbeitspakets sollen Sie eine Objekterkennung durchführen, indem Sie ein Modell Ihrer Wahl verwenden, das Texte nutzt, um Informationen aus Bildern zu extrahieren. Die folgenden zwei Bilder stehen Ihnen zur Verfügung:  \n",
    "**`prescription1.jpg`** und **`hospital_scene.jpeg`**.\n",
    "\n",
    "- **`prescription1.jpg`** zeigt ein handgeschriebenes ärztliches Rezept für einen/eine Patienten/Patientinnen. Auf dem Rezept sind neben den Informationen zu den verschriebenen Medikamenten auch der Name, das Geschlecht und das Geburtsdatum des Patienten angegeben.\n",
    "- **`hospital_scene.jpeg`** zeigt eine Krankenhauszimmerszene, in der sich zwei Patienten und einige Besucher befinden.\n",
    "\n",
    "Stellen Sie sich vor, Sie entwickeln nun ein Programm für einen medizinischen Assistenzroboter, der hypothetisch das richtige Medikament an den richtigen Patienten ausliefert. Verwenden Sie die bereitgestellten Bilder als Informationsquelle.\n",
    "\n",
    "\n",
    "**Erwartetes Ergebnis:**  \n",
    "    Das Programm sollte die Koordinaten eines Begrenzungsrahmens (Bounding Box) liefern, der die Person im Bild **`hospital_scene.jpeg`** identifiziert, die das Medikament gemäss dem Rezept erhalten soll.\n",
    "    Zeichnen Sie die Bounding Box direkt auf das Bild **`hospital_scene.jpeg`**, speichern Sie es als **`hospital_scene_patient1_identified.jpeg`**.\n",
    "\n",
    "  Verwenden Sie dasselbe Notebook mit den Bildern im Ordner **`extra_case/prescription2.jpg`**. Führen Sie das Notebook mit diesem anderen Rezept aus und prüfen Sie, ob der Code auch in diesem Fall die richtige Person korrekt identifizieren kann. Speichern Sie das finale Bild als **`hospital_scene_patient2_identified.jpeg`**.\n",
    "\n",
    "**Einreichungsdokumente:**  \n",
    "  Die Einreichung dieser Aufgabe sollte Folgendes umfassen:  \n",
    "  - Das von Ihnen bearbeiteten Notebook (dieses File).  \n",
    "  - Das erzeugte Bild **`hospital_scene_patient1_identified.jpeg`**.  \n",
    "  - Das erzeugte Bild **`hospital_scene_patient2_identified.jpeg`**.  "
   ]
  },
  {
   "attachments": {},
   "cell_type": "markdown",
   "id": "9b8df3dd",
   "metadata": {},
   "source": [
    "## Utils (Hilfsfunktionen):\n",
    "\n",
    "Hier finden Sie einige vorgefertigte Funktionen, die Ihnen helfen, Bounding Boxes zu visualisieren und zu plotten sowie verschiedene Arten von Output zu parsen. Sie könnten Diese benutzen oder neue Funktionen selbst erstellen, falls notwendig."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "2232367a",
   "metadata": {},
   "outputs": [],
   "source": [
    "import json\n",
    "from PIL import Image, ImageDraw\n",
    "from PIL import ImageColor\n",
    "import re\n",
    "\n",
    "additional_colors = [colorname for (colorname, colorcode) in ImageColor.colormap.items()]\n",
    "\n",
    "def plot_bounding_boxes(im, noun_phrases_and_positions):\n",
    "    \"\"\"\n",
    "    Plots bounding boxes on an image with markers for each noun phrase, using PIL, normalized coordinates, and different colors.\n",
    "\n",
    "    Args:\n",
    "        img_path: The path to the image file.\n",
    "        noun_phrases_and_positions: A list of tuples containing the noun phrases\n",
    "         and their positions in normalized [y1 x1 y2 x2] format.\n",
    "    \"\"\"\n",
    "\n",
    "    # Load the image\n",
    "    img = im\n",
    "    width, height = img.size\n",
    "    print(img.size)\n",
    "    # Create a drawing object\n",
    "    draw = ImageDraw.Draw(img)\n",
    "\n",
    "    # Define a list of colors\n",
    "    colors = [\n",
    "    'red',\n",
    "    'green',\n",
    "    'blue',\n",
    "    ] + additional_colors\n",
    "\n",
    "    # Iterate over the noun phrases and their positions\n",
    "    for i, (noun_phrase, (y1, x1, y2, x2)) in enumerate(\n",
    "        noun_phrases_and_positions):\n",
    "        # Select a color from the list\n",
    "        color = colors[i % len(colors)]\n",
    "\n",
    "        # Convert normalized coordinates to absolute coordinates\n",
    "        abs_x1 = int(x1/1000 * width)\n",
    "        abs_y1 = int(y1/1000 * height)\n",
    "        abs_x2 = int(x2/1000 * width)\n",
    "        abs_y2 = int(y2/1000 * height)\n",
    "\n",
    "        # Draw the bounding box\n",
    "        draw.rectangle(\n",
    "            ((abs_x1, abs_y1), (abs_x2, abs_y2)), outline=color, width=4\n",
    "        )\n",
    "\n",
    "        # Draw the text\n",
    "        draw.text((abs_x1 + 8, abs_y1 + 6), noun_phrase, fill=color)\n",
    "\n",
    "    # Display the image\n",
    "    img.show()\n",
    "\n",
    "# @title Parsing utils\n",
    "def parse_list_boxes(text):\n",
    "  result = []\n",
    "  for line in text.strip().splitlines():\n",
    "    # Extract the numbers from the line, remove brackets and split by comma\n",
    "    try:\n",
    "      numbers = line.split('[')[1].split(']')[0].split(',')\n",
    "    except:\n",
    "      numbers =  line.split('- ')[1].split(',')\n",
    "\n",
    "    # Convert the numbers to integers and append to the result\n",
    "    result.append([int(num.strip()) for num in numbers])\n",
    "\n",
    "  return result\n",
    "\n",
    "\n",
    "\n",
    "def parse_json_in_output(output):\n",
    "    \"\"\"\n",
    "    Extracts and converts JSON-like data from the given text output to a Python dictionary.\n",
    "    \n",
    "    Args:\n",
    "        output (str): The text output containing the JSON data.\n",
    "    \n",
    "    Returns:\n",
    "        dict: The parsed JSON data as a Python dictionary.\n",
    "    \"\"\"\n",
    "    # Regex to extract JSON-like portion\n",
    "    json_match = re.search(r\"\\{.*?\\}\", output, re.DOTALL)\n",
    "    if json_match:\n",
    "        json_str = json_match.group(0)\n",
    "        # Fix single quotes and ensure proper JSON formatting\n",
    "        json_str = json_str.replace(\"'\", '\"')  # Replace single quotes with double quotes\n",
    "        try:\n",
    "            # Convert the fixed JSON string into a dictionary\n",
    "            json_data = json.loads(json_str)\n",
    "            return json_data\n",
    "        except json.JSONDecodeError:\n",
    "            return \"The extracted JSON is still not valid after formatting.\"\n",
    "    else:\n",
    "        return \"No JSON data found in the given output.\""
   ]
  },
  {
   "attachments": {},
   "cell_type": "markdown",
   "id": "4c2af9ac",
   "metadata": {},
   "source": [
    "### <b>Aufgabe (1): Laden und Visualisieren von Bildern / Importing notwendige Libraries</b>\n",
    "Details zur Aufgabenstellung:\n",
    "- Laden und visualisieren Sie die Bilder `prescription1.jpg` und `hospital_scene.jpeg`\n",
    "- Die notwendige Libraries für das AP hier importieren\n",
    "\n",
    "<b style=\"color: gray;\">(max. erreichbare Punkte: 4)</b>\n",
    "\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "f1033774",
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "attachments": {},
   "cell_type": "markdown",
   "id": "c12bb41e",
   "metadata": {},
   "source": [
    "### <b>Aufgabe (2): Definition eines strukturierten Schemas für die Extraktion von Informationen</b>\n",
    "Details zur Aufgabenstellung:\n",
    "- Definierien Sie ein strukturiertes Schema (z. B. ein JSON-Schema), um die Informationen aus dem Bild `prescription1.jpg` zu organisieren. Das Schema sollte die Felder und die Struktur klar definieren, die für die Darstellung der extrahierten Daten erforderlich sind.\n",
    "\n",
    "<b style=\"color: gray;\">(max. erreichbare Punkte: 8)</b>\n",
    "\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "2dcd95f3",
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "attachments": {},
   "cell_type": "markdown",
   "id": "79185d5d",
   "metadata": {},
   "source": [
    "### <b>Aufgabe (3): Extraktion von visuellen Informationen mittels Prompting</b>\n",
    "Details zur Aufgabenstellung:\n",
    "- Extrahieren Sie strukturierte visuelle Informationen aus dem Bild `prescription1.jpg` mithilfe von textualem Prompting (z.B. mit einem Vision Language Model), um die für die Patientenidentifikation benötigten Daten zu erhalten. Dies sollte dem zuvor definierten Schema folgen. \n",
    "\n",
    "*Hinweis: Je nach dem von Ihnen gewählten Modell kann die Syntax in Bezug auf Output mit strukturieten Schemas unterschiedlich sein. Konsultieren Sie die Modellspezifikationen zu diesem Thema und beziehen Sie sich darauf .*\n",
    "\n",
    "<b style=\"color: gray;\">(max. erreichbare Punkte: 8)</b>\n",
    "\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "6a6e4a3c",
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "attachments": {},
   "cell_type": "markdown",
   "id": "2916c9a4",
   "metadata": {},
   "source": [
    "### <b>Aufgabe (4): Verarbeitung der textuellen Ausgabe der visuellen Extraktion</b>\n",
    "Details zur Aufgabenstellung:\n",
    "- Extrahieren und parsen Sie den JSON-Output der visuellen Extraktion in eine geeignete Datenstruktur.\n",
    "  \n",
    "  *Hinweis: In den Utils befindet sich eine Hilfsfunktion, die Sie benutzen können.*\n",
    "\n",
    "<b style=\"color: gray;\">(max. erreichbare Punkte: 8)</b>\n",
    "\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "e3f1c7da",
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "attachments": {},
   "cell_type": "markdown",
   "id": "572fffcd",
   "metadata": {},
   "source": [
    "### <b>Aufgabe (5): Integration der extrahierten Daten in neuem Prompt für weitere Identifizierung</b>\n",
    "Details zur Aufgabenstellung:\n",
    "- Verwenden Sie die (oder einige) in dem vorherigen Output gewonnenen Informationen, um ein Prompt zu erstellen, die benötigt wird, um den Empfänger des Medikaments in der `hospital_scene.jpeg` zu identifizieren. Integrieren Sie diese Informationen automatisch mithilfe der in den vorherigen Zellen erstellten Datenstruktur. Identifizieren Sie anschliessend den Patienten und geben Sie die Koordinaten aus, die seine/ihre Position im Bild angeben.\n",
    "\n",
    "<b style=\"color: gray;\">(max. erreichbare Punkte: 8)</b>\n",
    "\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "37af78a2",
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "attachments": {},
   "cell_type": "markdown",
   "id": "94418a6b",
   "metadata": {},
   "source": [
    "### <b>Aufgabe (6): Visualisierung von Bounding Boxes</b>\n",
    "Details zur Aufgabenstellung:\n",
    "- Plotten Sie die Bounding Boxes auf das Bild `hospital_scene.jpeg` und überprüfen Sie, ob die Erkennung plausibel ist. Speichern Sie das resultierende Bild als `hospital_scene_patient1_identified.jpeg`.\n",
    "\n",
    "*Hinweis: In den Utils befindet sich Hilfsfunktionen, die Sie benutzen können.*\n",
    "\n",
    "<b style=\"color: gray;\">(max. erreichbare Punkte: 8)</b>\n",
    "\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "64f22926",
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "attachments": {},
   "cell_type": "markdown",
   "id": "74fe7958",
   "metadata": {},
   "source": [
    "### <b>Aufgabe (7): Pipeline Validation</b>\n",
    "Details zur Aufgabenstellung:\n",
    "- Testen Sie Ihre gesamte Code-Pipeline mit einem neuen Bild aus dem Ordner `extra_case/`. Wenden Sie exakt denselben Code an, den Sie bisher verwendet haben, und prüfen Sie, ob er auch mit diesem neuen Rezept für einen anderen Patienten funktioniert. \n",
    "- Passen Sie die Prompts gegebenenfalls an, um die Robustheit (Generability) zu verbessern. Ändern Sie jedoch nicht die bestehenden Zellen, sondern kopieren Sie den bisherigen Code hierhin und modifizieren Sie ihn als neue Version, sodass die Änderungen (Delta) sichtbar bleiben.\n",
    "- Speichern Sie das resultierende Bild als `hospital_scene_patient2_identified.jpeg`.\n",
    "\n",
    "<b style=\"color: gray;\">(max. erreichbare Punkte: 4)</b>\n",
    "\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "ba49c882",
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "attachments": {},
   "cell_type": "markdown",
   "id": "61105e3d",
   "metadata": {},
   "source": [
    "### Jupyter notebook --footer info-- (please always provide this at the end of each notebook)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "04fb889e",
   "metadata": {},
   "outputs": [],
   "source": [
    "import os\n",
    "import platform\n",
    "import socket\n",
    "from platform import python_version\n",
    "from datetime import datetime\n",
    "\n",
    "print('-----------------------------------')\n",
    "print(os.name.upper())\n",
    "print(platform.system(), '|', platform.release())\n",
    "print('Datetime:', datetime.now().strftime(\"%Y-%m-%d %H:%M:%S\"))\n",
    "print('Python Version:', python_version())\n",
    "print('IP Address:', socket.gethostbyname(socket.gethostname()))\n",
    "print('-----------------------------------')"
   ]
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "dsenv",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.12.4"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 5
}