Web Scraping für Medikamente

Mithilfe von Web Scraping und RPA-Tools (robotergesteuerte Prozessautomatisierung) werden Medikamentenpreise von Websites extrahiert….. Diese Daten sind mit Informationen aus offenen Datenquellen verknüpft und füttern ein Data Warehouse mit Zeitreihen von Preisen und deren Entwicklung im Laufe der Zeit.

Ziele

• Extrahieren von Medikamentenpreisen aus verschiedenen Quellen.
• Schaffung einer Datenbank mit Zeitreihen von Medikamentenpreisen.
• Schaffung eines Preisabfragetools

Die Preise für Arzneimittel und Medizinprodukte in der Europäischen Union sind stark reguliert. Die Regierungen der einzelnen Länder und sogar der einzelnen Regionen legen die Preise je nach sozioökonomischer Situation und deren Einstufung als Generikum, Einzelprodukt oder nicht subventioniertes Produkt fest. Die Daten, die von den einzelnen Ländern veröffentlichten werden, sind oft in nur schwer zu verarbeitenden Formaten vorhanden, vor allem in PDF-Formaten.

Was wir tun

Wir erstellen einen leistungsstarken Datensatz, damit zu einem späteren Zeitpunkt weiterführende Studien mit den Daten durchgeführt werden können. Daher konzentrieren wir uns in dieser ersten Phase auf die Beschaffung und Erstellung der Datenbank, die Verbindung zu Daten, die von öffentlichen und privaten Organisationen veröffentlicht werden. In einigen Fällen geschieht dies unter Verwendung von RPA (Robotic Process Automation) und Web-Scraping-Technologien, die es uns so ermöglichen, Informationen aus fast jedem Dokument oder jeder Website zu extrahieren.

Wie wir das machen

Katalog und Klassifizierung

Die erste Phase besteht aus dem Entwurf des Datenmodellkatalogs, der die Referenzen, Länder und Klassifizierung enthalten wird.
Hier sind besonders die Arten der Informationen von Bedeutung, die zur Verfügung stehen werden, sowie der Datenumfang, der entnommen werden kann.

Entnahme

Wir entwerfen und entwickeln den Web-Scraper und die robotergestützte Preisextraktion für jede der Extraktionsquellen sowie für die Gesundheitsportale jeden Landes.
Wir installieren eine Datenbank und ein Datenmodell für die Speicherung aller identifizierten Zeitreihen.

Aufbewahrung und Anzeige.

Wir passen die Daten durch ETL-Prozesse an das Modell an und schließen den Prozess mit der Speicherung im installierten Datenspeicher ab.
Wir entwickeln und implementieren Dashboards, Berichte und KPI-Indikatoren, die die Abfrage und Auswertung der Informationen erleichtern.