Episode 39: KI bei der Holzverladung

Einblick. Zweiblick. Weitblick. Digitale Services im Gespräch ·

Show notes

PSIORI, ein auf KI-Anwendungen spezialisiertes Unternehmen, sah sich mit einer besonderen Kunden-Anforderung konfrontiert: Die unfallträchtige Holzverladung, z.B. an Sägewerken, sollte durch KI-Unterstützung so sicher werden, dass Sach- und Personenschäden in Zukunft nahezu ausgeschlossen sind.

Welche „harten Nüsse“ dieses Projekt zu bieten hatte und wie diese (auch mit Siemens-Unterstützung) schließlich doch noch geknackt wurden, das erfahren Sie im Podcast von Sascha Lange (PSIORI) und Kai Ohlig (Siemens).

Transcript

Ein Blick, Zweiblick, Weitblick Digitale Services im Gespräch. Hallo zusammen. Herzlich willkommen zu unserer neuen Podcast Episode von Einblick, Ziblick Weitblick Digitale Services im Gespräch. Mein Name ist Katja Lübke und ich begleite sie wie immer durch die Episode als Moderatorin. Schön, dass Sie heute wieder dabei sind und zuhören. Worum geht es denn heute in der Episode? Kurz gesagt, künstliche Intelligenz. und Holzverladung. Und weil ich nicht zu viel vorwegnehmen möchte, begrüße ich an dieser Stelle gleich unsere Gäste. Das sind zum einen Doktor Sascha Lange von der PSIORI GmbH und Kai Olik von Siemens. Stellt euch gerne einmal vor. Wer seid ihr? Wo arbeitet ihr genau? Und was habt ihr mit KI Kränen und Holz zu tun? Sascha, magst du einmal loslegen? Gerne. Ja, Sascha Lange. Ich bin 47 Jahre alt. Ich habe vor ganz langer Zeit mal Kognitionswissenschaft und Informatik studiert. Und mich dann im Anschluss 10 Jahre lang in der akademischen Forschung aufgehalten und da mit maschinellen Lernen und speziell neuronalen Netzen und Robotik beschäftigt. Und dann vor gut 10 Jahren habe ich gegründet. Mit der PSIIRI war die Idee, die Ergebnisse unserer Forschung in die Industrie zu tragen. Das tun wir bis heute recht erfolgreich in ganz unterschiedlichen Branchen als klassischer Dienstleister im Prinzip. Manchmal machen Auftragsentwicklung, aber halt immer speziell für KI und maschinelle Lernthemen. Und ja, man arbeitet mit uns, wenn off the Shelf Lösungen nicht oder noch nicht verfügbar sind. Und zum Beispiel, wenn irgendwie eine Erfindung benötigt wird. Und da sind wir in ganz unterschiedlichen Branchen unterwegs. Und ein Kunde hat uns so vor gut 5, 6 Jahren zu einem Problem in seinen Zellstoffwerken getragen. Und so sind wir irgendwann in dieser Holzverladung in der Anlieferung gelandet. Ja, wir bei PSIORI sind jetzt inzwischen ungefähr 40 Softwareentwickler und Ingenieure, alle mit einem Hintergrund im Bereich maschinellen Lernen oder künstliche Intelligenz. Ja, sind jetzt seit 10 Jahren aktiv, hatten gerade letztes Jahr unser Jubiläum haben Standorte vornehmlich in Hamburg und Freiburg und sind jetzt. Kunden am Anfang sehr im deutschen Raum, so Automotive Industrielle Fertigungen, aber auch in der Pharmaindustrie unterwegs gewesen. Und jetzt inzwischen in den letzten 5 Jahren mit unseren Partnern weltweit. Wir haben, ich denke, ungefähr der Hälfte unseres Arbeitsumfangs in den Industrieanlagen in unterschiedlichen Bereichen der Fertigung. Ja. Mein Name ist Kai Olik. Ich bin 27 Jahre alt und seit jetzt ungefähr 4,5 Jahren bei Siemens als Fachberater für das Thema KI. Für Siemens ist das Thema KI natürlich von großer Bedeutung. Wir hoffen uns da einiges von und glauben auch, dass das. Die Anlagen besser automatisierbar macht, vielleicht sogar vollautomatisierbar macht und wollen als Siemens unseren Beitrag dazu leisten, dass das Ganze auch robust und zuverlässig in Anlagen laufen kann. Ich bin eingestellt als Fachberater und soll dem Kunden da so ein bisschen helfen, herauszufinden. Welche Hardware brauche ich denn für meine KI? Beziehungsweise haben wir da von Siemens vielleicht auch Software, die wir bereitstellen. Und auf diese Weise bin ich dann von PSR gefragt worden, ob ich da nicht unterstützen kann. Und daraus hat sich dann grob gesagt das Projekt mit der Holzverladung dann ergeben. Wunderbar. Und da wollen wir ja jetzt genauer darüber sprechen. Was ist denn die Herausforderung, die ihr gemeinsam angeht? Weil wenn ich an Holzverladung denke, dann komme ich jetzt nicht direkt auf künstliche Intelligenz. Ich stelle mir das eher wie einen mechanischen Vorgang vor. Also wo braucht es denn hier eine KI? Ja, Katja, das ist auch so. Das ist halt hochgradig, mechanisch noch und vor allen Dingen. Komplett manuell an der Produktionsanlage, wo wir gerade arbeiten, stehen zwei riesengroße Kräne, jeder 2 Greifer, mit denen, die halt dann innerhalb von 2 Stunden den Zug entladen sollen, der da angeliefert wird mit mehreren 100 Tonnen Holz. Und das ist einfach sehr personalintensiv. Das ist auch der Flaschenhals in diesen Werken. Das heißt, das passiert wirklich rund um die Uhr an jedem Arbeitstag. Ja, und das ist ermüdend, auch nicht so interessant, dass nicht immer der Motivationsgrad hoch ist, die Aufmerksamkeit hoch ist. heißt, da gab es große Probleme mit der Effizienz und auch mit dem Unfallpotenzial, was da eben besteht. Gerade wenn die Kranführer nachts durcharbeiten, dann ist das schon eine schwierige Aufgabe. Und wo setzt ihr hier genau mit der KI an? Was wird von der KI erwartet? Tatsächlich ist es so, dass wir in dem Werk, wo wir mit den Partnern in Skandinavien jetzt gerade arbeiten, wirklich alles automatisieren. Das geht so weit, dass sogar die Züge Roboterzüge sind, die da einfahren, 900 Meter lang vor und zurückfahren an die richtige Stelle. Und dann eben auch der Kran vollautomatisch diesen Zug entlädt. Das heißt gibt es ein zentrales Steuerungssystem in der Produktionsplanung. Das sagt eigentlich nur noch wir haben jetzt diese 40 Holzbündel auf dem Zug. Die sollen an diesen Ort entweder in das Lager oder direkt auf das Lauffe zur Produktion. Und die schickt sozusagen die High Level Befehle raus an die KI, die dann diesen Kran selber steuern muss und faktisch den Kranführer die Arbeit abnimmt, im Moment eben noch unter menschlicher. Überwachung einfach aus der Sicherheit wegen. Aber im Prinzip sitzt der Kranführer nur noch da und greift ein, wenn irgendwas schieflaufen würde. Okay. Und wie kommt ihr zu dem Material, damit die KI genau das umsetzen kann und dann auch diese Ergebnisse liefert? Ich stelle mir das so vor, dass da ein Fotograf von euch steht. Tag und Nacht vor Ort mit der Kamera. Oder habt ihr eine GoPro irgendwo befestigt oder dramatisiere ich das Ganze? Und das läuft eigentlich viel besser und automatisierter. Also. Im ersten Mal war es tatsächlich so, als wir, ich glaube, 2019 geprüft haben, ob es theoretisch möglich wäre, sind wir tatsächlich mit Kamera und Laserscannern bewaffnet und im Laptop persönlich angerückt und haben mal Daten aufgenommen. Inzwischen ist da aber eine bleibende Infrastruktur. Das heißt, wenn wir so ein Projekt angehen, dann bringen wir die benötigten Kamerasysteme und Laserscanner benötigen wir und die bringen wir dauerhaft am Kran an, bringen auch die ganze Infrastruktur zur Datenaufzeichnung und Verarbeitung mit. Und können dann diese entweder mit Festplatten oder über das Internet in die Cloud hochladen, wo wir dann anfangen können zu arbeiten und eben die KI trainieren auf die Bilder und auf die Laserdaten, die in der Zeit da sind. Also das heißt, wir fahren da schon mal hin und schauen uns die Seite an. Aber in Wirklichkeit ist das alles automatisiert und wir können aus der Ferne arbeiten und die KI einrichten und optimieren. Jetzt erfolgt ja hier das Anlernen der KI über das Bildmaterial. Und da stecken ja auch jegliche erdenkliche Situationen hinter, die dann angelernt werden müssen. Wie hoch ist denn der Aufwand? Also, wie viele Kameras braucht es zum Beispiel? Ja, beim Aufwand sind ja zwei Dinge. Das, was wir anbringen müssen. Da versuchen wir möglichst wenig Sensoren zu haben für den Kunden. Das bedeutet jetzt konkret, dass wir erstens an der Stelle, wo der menschliche Kranführer sitzen würde. Das ist da in so einem Führerhaus, in einem Portalkran, der mit den Greifer mitfährt. Da bringen wir eine Kamera und einen Laserscanner an. Zusätzlich bringen wir das auch noch mal an der Katze der Kräne an. Das schaut dann senkrecht von oben nach unten. Im Falle der Kameras waren die sowieso schon da, weil das auch die Kranführer Hilfe brauchen, um über die Lkws und die Züge zu steuern. Zusätzlichen Laserscanner. Und dann haben wir noch mal was an den Beinen, um dann nachher bei der Entladung da an die richtige Stelle zu gucken zu können, dass wir richtig ins Loch greifen. So und der wirkliche Aufwand war eben erst mal die Herstellung dieser KI. Und das ist eben ein großer Teil die Softwareentwicklung gewesen, um eben erstmal die sensorische Verarbeitung zu bekriegen, ein Weltmodell zu haben und dann diesen Prozess komplett in Software abzubilden, und zwar mit allen Eventualitäten, was schiefgehen kann und wie man dann reagieren muss. Und wie wird ein Lager gehalten. Alle diese Dinge waren mehrere Personenjahre im Entwicklungsaufwand für Softwareentwickler und die KI, also das, was man oft darunter versteht. Jetzt sind die neuronalen Netze, also die Dinge, die aus den Daten wirklich lernen. Die drehen sich vor allen Dingen um die Bildverarbeitung und die Sensorverarbeitung auch der Lider. Das ist das, was wir nicht programmieren können, sondern wo wir neuronale Netze einsammeln und dann auf Basis der Daten trainieren. Und damit das gehen kann, damit so eine KI überhaupt in der Lage ist, die Welt zu verstehen und Züge und Ladung zu erkennen, brauchen wir sehr viele Trainingsdaten. Und das ist leider ein bisschen unschön, weil Trainingsdaten bei diesen neuronalen Netzen. Wir brauchen die Eingaben. Das ist einfach. Das sind die Bilder und die Laserscans. Aber wir brauchen auch die gewünschten Ausgaben. Also was soll die KI eigentlich aus diesen Bildern herausfinden? Und welche Größen oder Informationen soll sie der Software dann nachliefern, damit man dann wo hingreifen kann? Und das bedeutet in unserem Fall, dass wir Bilder segmentieren, also dass die KI verstehen soll. Welche Pixel im Bild gehören zum Zug? Welche gehören zur Ladung? Welche sind der Greifer? Und da haben wir halt Menschen sitzen, die für so 2. 20 bis 30.000 gut ausgesuchte Trainingsbilder das mal per Hand machen müssen am Computer. Die gehen dann hin und müssen für jedes Pixel, so wie beim Ausschneiden einer Person für so einen Zeitungscover wirklich markieren. Das hier ist der Greifer. Das hier ist die Ladung. Ja, und die machen das manuell so 20.000 bis 30.000 Bilder. Und damit können wir die KI dann trainieren. Jetzt hast du gerade einen Begriff genannt. Habe ich das richtig verstanden? Katze der Kräne. Erzähl uns bitte, was das ist. Ja, wir benutzen gerade übrigens nicht die korrekten Fachbegriffe. Kräne heißen nämlich gar nicht Kräne, sondern Krane. Bitte ist der korrekte Plural. Das heißt, in dieser Domäne gibt es viele Fachbegriffe. Also da sollte man Respekt vor haben. Und die Katze ist eben dieser kleine Wagen, der oben an so einem Portalkran hin und her fährt. Und an dem der Greifer runterhängt. Englisch Trolley. Das war für mich als Softwareentwickler und Cla auch so ein Ding, dass man erst mal verstehen muss. Wie wird da eigentlich gearbeitet? Wie funktioniert das System? Ja, und die Fachbegriffe haben uns alle angeeignet. Aber wir nehmen uns die Freiheit auch manchmal den historischen Plural nicht zu verwenden. Also, ich versuche es. Ich kann hier nichts versprechen. Ich versuche es. Aber das ist ein perfekter Übergang, weil ich glaube, wir müssen generell mal tiefer in dieses Thema Holzverladung reingucken. Wie können wir uns denn jetzt so eine Holzverladung, so eine Zeit überhaupt vorstellen? Wer und was kommt da außer Kranen zum Einsatz? Und das hört sich wirklich komisch an. Und wie muss man sich so eine Betriebsfläche vorstellen? Also Fläche ist ein guter Hinweis, weil es. Ist eine große Fläche. Und auch ein großteil dieser Zählstofffabriken ist dieser Holzverladebereich, weil die verarbeiten halt eine sehr große Menge Holz, also üblicherweise mehrere 100 Tonnen pro Stunde, und versuchen sich halt wirklich die Produktion für eine Woche da hinzulegen, damit, wenn irgendwie Probleme in der Lalistik geht, das Werk nahtlos weiterlaufen kann. Und das bedeutet für unsere Zeit muss jetzt lügen. Ich glaube, die ist 900 Meter lang. Da sind zwei Quartalkräne drüber. Die sind 40 Meter breit, 28 Meter hoch und. heißt, wir reden über eine wirkliche Fahrstrecke. Also Sie fahren minutenlang, um ans Ende des Lagers zu kommen und das Holz da abzulegen. Und dementsprechend ist auch die Anlieferung. Es ist eine ununterbrochene Kette von ankommenden und wegfahrenden Zügen, mehrere pro Tag und Lkws. Und das heißt, es ist wirklich absolut nahtlos. Die Betriebsgeschwindigkeit des Krans dominiert, wie viel Holz verladen wird. Da gibt es minimale Wartungspausen, aber ansonsten kommt da ein Lkw nach dem anderen an und das Holz. In Skandinavien ist kurzes dünnes Holz. Also die haben eher dünne Stämme im Vergleich zu zum Beispiel Nord oder Südamerika. Aber da werden auch pro Lkw, 40 Tonner wird voll beladen in 4 bis 5 Holzpaketen. Und die werden dann jeweils in einem einzigen Griff. Also es ist auch eine Schwierigkeit in der Aufgabe. Also man muss mit einem einzigen Griff sauber diese gesamte Holzladung greifen bis auf den letzten Stamm, damit die Produktionsziele hinsichtlich der Geschwindigkeit erreicht werden können. Du hast das jetzt ja. Schon sehr gut beschrieben. Und ich stelle mir das dementsprechend auch sehr anspruchsvoll in der Bilderkennung vor, so eine Holzverladung und Holzerkennung. Wie bringt man denn der KI bei, wie ein dicker oder dünner Holzstamm aussieht, wie ein Lkw aussieht oder auch der Zug? Also der Holzstamm ist ja nicht immer gleich. Und auch der Lkw kann ja zum Beispiel von einer verschiedenen Marke sein oder auch eine unterschiedliche Größe haben. Welche Variablen gibt es denn noch in der Umgebung draußen? Und ja, wie lernt die? A. Ja, Eigentlich hast du schon genau die Herausforderungen genannt, warum es auch bisher keine Lösungen gab und wir dazugekommen sind. Und ich glaube jetzt weltweit die ersten sind nach allem, was wir hören, die in der Lage sind, das überhaupt zu tun, weil es genauso ist, wie du gesagt hast. Also es ist leider eben nicht so, dass es ein Container ist, bei dem man die Masse vorher genau kennt und auch leicht vermessen kann, sondern nein, der Lkw ist irgendwie beladen. Das Holz sieht immer anders aus. Aber die Menschen, die da arbeiten, sind auch sozusagen ein Teil des Problems. Denn die halten sich auch nicht immer in Ladevorschriften, machen das immer dichter, mal breiter. Also es gibt eine hohe hohe Varianz. Und das ist genau der Grund, warum da KI oder die neuronalen Netze zum Einsatz kommen. Ich denke, das hätte man früher per Hand nicht programmieren können. Und mit den neuronalen Netzen haben wir überhaupt eine Chance. Und wie geht es? Also, wir sammeln diese Varianz sozusagen ein, indem wir einfach am Anfang menschlichen Kranführern Zuschauern und viele Züge aufnehmen, die Lkws aufnehmen und dann auch besonders darauf achten, dass wir nicht irgendwelche Bilder aufnehmen, sondern eben Bilder, die eine Varianz haben in der Beladung im Holz in den Lkws. Aber auch ein wichtiger Punkt. Wir sind unter freiem Himmel, Wetter, Jahreszeiten, Sonne, Schatten sind auch eine Herausforderung. Da achten wir drauf, dass unsere Software so. eingerichtet ist, genau diese Bilder herauszusuchen aus dem großen Datenstrom, um die dann zur Annotation, also zur Arbeit von diesen Menschen zu geben, die dann da einmal sagen müssen, wie dieses Bild zu verarbeiten ist und markieren müssen, was wie klassifiziert und wie verarbeitet werden soll. Und dann tun die neuronalen Netze ihr magisches Ding. Warum die KI gerade so den Durchbruch hat, dass sie dann doch in der Lage sind, wie wir Menschen ja auch aus immer noch relativ wenigen Bildern, also 20.000, 30.000 Bilder hört sich erstmal viel an. wenn man überlegt, wie viele Autos haben wir in unserem Leben gesehen, dann ist das ja sehr, sehr wenig. Und die schaffen es dann aus diesen Beispielen ausreichend gut zu generalisieren, auch auf ungesehenes Holz, dass es in der Praxis klappt und auch sehr gut klappt. Wir haben in den Projekten mit allen möglichen Dingen Probleme, zum Beispiel mit der Verfügbarkeit von IT Hardware und Zuverlässigkeit. Ein Grund, warum wir auch auf Siemens zugegangen sind. Die neuronalen Netze und die Generalisierungsfähigkeit auf neue Züge oder neue Lkw ist tatsächlich dann gar kein Problem. Das funktioniert sehr gut. Woher weiß man, ab wann die KI genug gelernt habt? Also gibt es da feste Regeln, oder ist das Learning by doing? Weil ihr dann doch irgendwie wieder Fehlgriffe seht und wisst. Ja. Okay, das hat noch nicht gereicht. Da müssen wir noch mal ran. Also tatsächlich, es war mal Learning by doing. Als wir angefangen haben, wussten wir auch nicht, wie viel wir brauchen werden. Und das haben wir gelöst, indem wir diesen gesamten Datenaufzeichnungs und Aussucheprozess und Annotationsprozess nahezu vollständig automatisiert haben, so dass. Wir darauf eingerichtet sind, wenn sich irgendwo ein Problem herausstellt, noch mal nachzuannotieren. Und jetzt durch die lange Erfahrung, die wir in 5, 6 Jahren gewonnen haben, wissen wir ziemlich genau, wie viele Bilder wir brauchen ungefähr diese Menge. Und vor allen Dingen. Wir wissen auch, welche wir brauchen, was wir abdecken müssen. Wie viel aus dem Tag, wie viel aus der Nacht. Also, die Erfahrung bringen wir halt mit. Aber es ist einfach geschaut, was es tut. Und wie testet man das, indem wir halt also sehr viel mehr als diese 20.000, 30.000 Bilder in unserer Datenbank haben. Also wir reden über Millionen Bilder, die wir von jeder Zeit haben. Und wenn wir ein neuronales Netz trainieren, dann lassen wir die auch über weitere Daten drüberlaufen und schauen uns an, wie gut sind die da? Und können wir irgendwo noch Fehler finden, bevor wir die überhaupt in die Praxis geben? Habt ihr bei den 20.000 bis 30.000 Bildern im Schnitt ja auch schon mal irgendwie Überraschungen erlebt. Also ganz unvorhergesehene Umstände. Oh, da kommt direkt ein. Oh ja, das hört sich nach einer Geschichte an. Erzählt uns. Überraschungen erleben wir immer. Also zum Beispiel hat unser neuronales Netz auch einen Spinnendetektor. Inzwischen. Das erkennt selber, wenn ein Spinnennetz vor der Kamera ist. Das war mal ein schönes Problem, warum man etwas nicht hat. Ja, und dann erlebt man schon immer wieder mal eine Überraschung, wo was nicht tut. Zum Beispiel ist man. In einem Projekt in den USA hat einen Zulieferer entschieden, dass er mit dem Pickup vorfährt, absolut verboten war außerhalb der Spezifikation. Aber da war Holz auf der Ladefläche. Wir haben geschaut, ob wir die vielleicht automatisch entladen können. Konnten wir nicht. Da haben wir aber auch nicht nachkorrigiert. Und einen anderen Fall hatten wir mal in der frühen Phase. Da hat der Kunde ein Gerüst im Sichtfeld der Kamera aufgebaut, also einfach ein Baugerüst. Und das sah halt wegen dieser dünnen Metallstreben so aus für das neuronale Netz wie die Seitenstreben von einem Lkw. Und dann war es einfach unsicher, weil es immer im Bild war, wo genau es hingreifen soll, weil es viel mehr Streben als erwartet gemacht hat. Und das zum Beispiel so ein Punkt, wo wir dann die Bilder schon in der Cloud hatten, weil wir alles aufzeichnen stetig, da konnte man dann einfach hingehen und nachtrainieren und im Netz beibringen, dass es Baugerüste gibt und dass das keine Lkw sind. Also sozusagen kann man dem neuronalen. Jetzt keinen Vorwurf machen, weil es hat ja in seiner Lebenszeit bis dahin noch nie ein Baugerüst gesehen. Was hat denn dann der Kran gemacht? Also hat er dann das Gerüst gegriffen und da zum Einsturz gebracht? Oder hat er gesagt nein, da stimmt was nicht. Mach mal lieber gar nichts. Ich bin frozen. Zum Glück hat er nichts gemacht. Das das neuronale Netz sagt dann: Oh, hier sind auch noch Lkw- Ladefläche. Hier sind noch weitere Streben. Aber unsere nachgeschaltete Software, das, was sie sagt, wo viel Arbeit reingeflossen ist, hat halt dann noch mal symbolische oder semantische Überprüfungen. Das heißt, der Software, die schaut, ob das plausibel ist. Ist das ungefähr so, wie wir warten? Macht es Sinn von dem Maß? Macht es Sinn von den Höhen? Also ist das in dem Bereich dessen, was wir verarbeiten wollen. Da gibt es auch eine technische Spezifikation zum Kunden. Also, wie sieht ein Lkw aus? Wie lange darf der sein? Wie viel Streben darf der haben? Und auch wenn das Holz jetzt zu lang wäre, dann würde die Software anhalten. …

Full transcript (WebVTT)