weniger Dateiname

Über die Befehlszeile können Sie Dateien sofort anzeigen, ohne die gesamte Datei in den Speicher zu laden.

Ich würde nicht versuchen, es zu öffnen ... Ich würde lieber tun:

1. grep - suche nach Text
2. split - Zerhacken Sie die Datei in 10-MB-Blöcke.
ol>

So etwas wie:

  grep "Absturz" My80GbFile.txt |Mehr
 

Wenn die große Datei nicht "zeilenbegrenzt" ist

  split -b 10M My80GbFile.txt
 

Wenn es sich bei der großen Datei jedoch nur um eine Ladung Zeilen handelt, wird diese (wie veröffentlicht) in diesem Fall zeilenweise aufgeteilt (100.000 pro Unterdatei).

  split -l 100000 My80GbFile.txt
 

In Bezug auf Ihre unmittelbaren Bedürfnisse ist BBEdit (verknüpft mit dem Mac App Store-Download) der beste kostenlose visuelle Editor für macOS und er leistet so viel - ein wahres Kraftpaket. Sobald Sie es haben, können Sie auch für die Pro / Automation / Out-of-Dankbarkeit-Funktionen bezahlen, aber es ist für immer kostenlos, wenn Sie diesen Preis wollen und mögen.

• https://www.barebones.com/products/bbedit/index.html
• https://apps.apple.com/us/story/id1485320067

Ich benutze auch vi , um Dinge zu bearbeiten, aber das öffnet eine Dose Würmer, um die Shell, die Terminal-App oder eine andere App zu benötigen, und einige Studien, um zu lernen, wie man den Editor verlässt (tldr; versuchen Sie es mit ZZ oder ZQ), passen Sie es an und bringen Sie Ihrem Gehirn bei, über das Bearbeiten von Text in der Zusammenfassung nachzudenken, anstatt Elemente mit der Maus auszuwählen. Ein Pager wie weniger oder mehr oder bat ist auch sehr benutzerfreundlich, um loszulegen und durch umfangreiche Dateien zu navigieren. (Und bat gibt Ihnen Flügel strike> fantastische Farben und Syntaxbewusstsein).

  brauen installieren Fledermaus
 

In Ihrem Fall ist die mit macOS gelieferte Konsolen-App möglicherweise auch einen Blick wert, wenn Sie die Suchfunktion dort verwenden können. Starten Sie die App aus dem Rampenlicht und ziehen Sie Ihre Monsterdatei auf das Fenster, um einen Blick darauf zu werfen.

Just nicht (als EINE Datei öffnen)

Gibt es einen bestimmten Grund, warum Sie es mit einem Skript nicht einfach in etwa 1 GB große Teile aufteilen können?

Ja, die Suche und ähnliche Funktionen leiden darunter, aber dies ist bereits bei einer 80-GB-Datei der Fall.

Wenn das Skript bestimmte Haltepunkte enthält (Tage im Zeitstempel, Start- / Herunterfahrmeldungen), können Sie es auch dafür aufteilen.Auf diese Weise würden Sie wahrscheinlich sogar zusätzliche Bedeutung in die Datei bekommen.

Außerdem: Sobald eine anständige IDE (wie IntelliJ IDEA oder eine andere) aufgeteilt ist, erhalten Sie Suchfunktionen über den Text zurück.

[Achtung: Dies kommt von einem Programmierer, ist also möglicherweise nicht Ihr Ansatz oder Overkill. Ich kann nur sagen, dass es am Ende funktionieren würde. Sie müssen wissen, ob es sich lohnt.]

1. Verwenden Sie less in einem Terminalfenster. Es wird Ihnen jeweils eine Seite der Datei angezeigt, es wird nur ungefähr so ​​viel in den Speicher geladen, sodass Sie mit mehreren TB-Dateien darin navigieren können, wenn Sie möchten.

   Sie sollten wahrscheinlich die Option -n hinzufügen, um zu verhindern, dass less versucht, Zeilennummern zu berechnen. Also:

     less -n / path / to / file
    

   Denken Sie daran, dass Sie less -n eingeben (das letzte Leerzeichen nicht vergessen) und die Datei per Drag & Drop aus dem Finder in das Terminalfenster ziehen können, um den Pfad zu dieser Datei hinzuzufügen.

2. Sobald Sie die Datei in less angezeigt haben, können Sie:

   • Navigieren Sie mit Aufwärts- / Abwärtspfeilen, Leerzeichen (eine Seite nach unten), b (eine Seite zurück) ...
   • Suche mit / . Sie können auch nach Zeilen suchen, die kein Muster mit /! enthalten. Bei der umgekehrten Suche wird ? verwendet. Bei allen Suchvorgängen wird jedoch die gesamte Datei gescannt. Besser auf einer SSD, wenn Sie das oft tun.
   • Navigieren Sie mit <number> zu einer bestimmten Zeile in der Datei, gefolgt von G (Großbuchstabe G)
   • Navigieren Sie mit <number> zu einem bestimmten Teil der Datei, gefolgt von % . Mit 50% gelangen Sie zur Mitte der Datei, 90% zu den letzten 10% usw.
ol>

Wenn Ihre Protokolldatei Zeitstempel enthält und Sie wissen, wann Sie suchen möchten, ist der schnellste Ansatz:

1. Öffnen Sie die Datei

2. Verwenden Sie eine "binäre Suche", um den groben Teil der Datei zu finden, an dem Sie interessiert sind:

   • Geben Sie 50% ein, um die Mitte der Datei
   anzuzeigen
   • Wenn das gewünschte Teil gesucht wird, gehen Sie zu 75% , andernfalls 25%
   • Wiederholen Sie diesen Vorgang, bis Sie sich auf den entsprechenden Teil eingegrenzt haben.

3. Verwenden Sie eine regelmäßige Suche (verwenden Sie / , um vorwärts zu gehen, oder ? , um rückwärts zu gehen), um genau die gesuchte Zeile zu finden (basierend auf beiden) Der genaue Zeitstempel oder ein bestimmtes Wort, das Sie kennen, zeigt das Problem.

ol>

Dies sollte es Ihnen ermöglichen, schnell und schnell zum relevanten Teil der Datei zu navigieren.

---

Wenn Sie der Meinung sind, dass in einer Teilmenge der Datei häufig gesucht wird, können Sie alternativ grep mit einer bestimmten Datums- oder Datums- / Uhrzeitkombination (im richtigen Format) verwenden Extrahieren Sie diese Teilmenge in eine andere kleinere Datei. Wenn Sie beispielsweise wissen, dass der Absturz heute kurz nach Mittag stattgefunden hat, während Ihr Protokoll Monate umfasst, können Sie

  grep '2020-02-17 12:' / path / to / file > extrahiert-log.txt
 

Dies würde Ihnen alle Zeilen geben, die einen Zeitstempel zwischen 12:00:00 und 12:59:59 enthalten. Das genaue Format hängt natürlich vom tatsächlichen Format ab, das für Zeitstempel verwendet wird.

grep scannt die gesamte Datei einmal, um alle relevanten Zeilen zu finden. Dies kann bei einer sehr großen Datei eine Weile dauern, aber Sie haben dann eine viel besser verwaltbare Datei.

---

Eine Alternative kann darin bestehen, einen Teil der Originaldatei mit dd zu "extrahieren", wobei Offsets und Längen verwendet werden, die in less ( Strg-G um den aktuellen Offset zu erhalten). dd ist ein sehr leistungsfähiges Tool, dessen Verwendung jedoch sehr gefährlich sein kann. Verwenden Sie es daher mit Vorsicht (und definitiv nicht als root oder mit sudo , wenn Sie sind sich nicht 100% sicher, was Sie tun):

  dd if = / path / to / original / file of = destination_file.txt bs = 1 skip = <start offset> count = <length>
 

Beachten Sie, dass dies nicht sehr effizient ist. Verwenden Sie besser eine größere Blockgröße ( bs ), idealerweise eine Potenz von 2, z. B. 1024, und teilen Sie skip und zählt nach dieser Blockgröße.

Ich bin mir ziemlich sicher, dass es andere Tools geben muss, die dasselbe tun, obwohl ich ein Leerzeichen zeichne.Ich denke, einige Versionen von cat können das, aber anscheinend nicht die unter macOS.

Bei festplattenbasierten Texteditoren wird die Datei nicht vollständig in den Speicher geladen. Auf der Benutzeroberfläche wird ein Blick in den Inhalt angezeigt, den der Editor in den Speicher geladen hat.Ich habe UltraEdit in der Vergangenheit erfolgreich für die Analyse großer Protokolldateien verwendet.Besonders nützlich sind die auf Regex basierenden Suchwerkzeuge und Standortlesezeichen.Die Datei wird schnell geladen, und Sie können nach regulären Ausdrücken suchen.Über die URL gelangen Sie zu einer Download-Seite, auf der Sie eine 30-Tage-Testversion herunterladen können.Es gibt auch andere festplattenbasierte Texteditoren.

Seit einigen Jahren habe ich UltraEdit installiert und die größte Datei geöffnet, die ich hatte.Es war eine 64-GB-Binärdatei, die sofort geöffnet wurde.Ich habe nach einem Begriff gesucht und das hat ungefähr 90 Sekunden gedauert.Ich habe die Dateigröße mit einem roten Rechteck unten rechts hervorgehoben.Der Mac ist ein MBP 2018 mit 8 GB RAM, auf dem Mojave ausgeführt wird.

Versuchen Sie es mit Glogg.Auf der Download-Seite befindet sich ein MacO:

https://glogg.bonnefon.org/download.html

Ich kenne keine 80-GB-Dateien, aber regularly hat es (unter Windos) verwendet, um Protokolldateien mit bis zu 5 GB zu öffnenist very schnell).

Ein Hinweis: Es handelt sich um einen schreibgeschützten Analysator, nicht um einen Editor.

Sie würden nicht

Selbst ein Tolkien-Fan möchte keine 82,7 GB. Sie wollen nur bestimmte Teile davon; Sie werden es wissen, wenn Sie es sehen.

Und selbst die Betrachtung eines Tools, das die gesamte Datei analysiert , ist buchstäblich Zeitverschwendung. Es wird 15 Minuten dauern, nur die Datei mit 100 MB / s durchzulesen. Viel langsamer, wenn eine Analyse der Komplexität durchgeführt wird.

Terminal ist dein Freund

Der Lebensretter hier ist, dass OS X auf Unix basiert. Das war ein großer Teil von Apples Kauf von NeXT und Steve Jobs, die zurückkamen. Das heißt, Sie können die gesamte Suite von Unix-Tools verwenden, die äußerst ausgefeilt sind und hier sehr gut unterstützt werden.

Es gibt Dutzende von Möglichkeiten, dies ohne Perl zu tun. Da Perl jedoch in MacOS integriert und unendlich erweiterbar ist, beginne ich lieber dort (anstatt es in einem einfacheren Tool zu tun, möchte ich die Abfrage etwas verbessern, klicken Sie auf Grenzen dieses Werkzeugs und müssen es in einem anderen Werkzeug neu herstellen). So etwas in einer Datei mit dem Namen "xx":

  $ len = -s "filename.log"; Die Variable # wird zur Dateilänge
 open ($ IN, "<", "filename.log");
 suchen ($ IN, $ len - 10_000_000, 0); # perl erlaubt _ in Zahlen zur besseren Lesbarkeit

 while (< $ IN>) {# <> liest eine Zeile. Die Standardvariable ist metavariable $ _
   drucken; # ohne Argument, Standard ist metavariable $ _
 }}
 

Damit wird nicht die gesamte Datei gelesen. Suchen Sie einfach den angegebenen Speicherort (10 MB vom Ende entfernt) und lesen und drucken Sie alles bis zum Ende. Es wird nur auf dem Bildschirm gedruckt. Um es an die Datei zu senden, gehen Sie folgendermaßen vor:

  perl xx > tailfile.txt
 

Jetzt haben Sie eine 10 MB große Datei tailfile.txt, die Sie mit etwas anderem öffnen können.

Es gibt einfachere Möglichkeiten, genau das zu tun, aber nehmen wir an, Sie erkennen: "Warten Sie, ich möchte mehr tun. Ich möchte nur Fehler und Warnungen." Sie ändern also den Druckbefehl in

  print if / error / i oder / warning / i;# // stimmt mit Text überein, standardmäßig $ _
 

Auch dies kann mit einfacheren Tools erreicht werden, wenn Sie genügend Zeit damit verbringen, Dokumente zu durchsuchen.Aber dann entscheiden Sie, dass Sie die drei Zeilen nach dem Fehler sehen müssen.Einfach so ... Sie sind den einfacheren Tools entwachsen, aber das ist in Perl trivial.Sie können Perl so ziemlich für immer shimmen.Es gibt dort eine vollständige Programmiersprache.Objektorientiert und alles.

Eine so große Datei ist wahrscheinlich zu 99,999999% redundant (im wahrsten Sinne des Wortes). Der Schlüssel besteht also darin, zig Mal auftretende Zeilen bis zu einem gewissen Grad an Ähnlichkeit zu entfernen und zu untersuchen, was übrig bleibt.

Unter Linux gibt es ein Dienstprogramm namens petit , mit dem große Protokolldateien analysiert werden können. Eine Beispielverwendung ist petit --hash /var/log/kern.log . Das Dienstprogramm kann wahrscheinlich für Mac gefunden oder erstellt werden.

Es verarbeitet jede Zeile der Datei, um Dinge zu entfernen, die die Zeile eindeutig machen. Entfernen Sie beispielsweise das Datum aus jeder Zeile und ersetzen Sie alle Ziffernfolgen durch ein einzelnes # -Zeichen. Jede generische Zeile wird dann gehasht, um ein Fingerabdruck zum Erkennen ähnlicher Zeilen zu werden.

Das Ergebnis ist, dass jede Zeile nur einmal mit einer Anzahl von Vorkommen ausgegeben wird, wodurch die Größe der Daten erheblich reduziert wird. Alles Ungewöhnliche wird wahrscheinlich deutlich sichtbar, und dann kann man gezielt danach suchen, indem man Dienstprogramme aus einigen der anderen Antworten hier verwendet.

Ich weiß nicht, ob dieses Dienstprogramm für etwas dieser Größe leistungsfähig genug ist. Ich würde ja wetten, da es Optionen zum Zeichnen von Diagrammen in der Größenordnung von Monaten oder Jahren der Eingabe gibt und nicht viel außer einer kleinen Anzahl von Fingerabdrücken speichern muss. Im schlimmsten Fall können Sie Ihre eigenen schreiben: Generieren Sie sie für jede Eingabezeile zu einem Fingerabdruck, hashen Sie sie und fügen Sie sie einer Datenbank mit Hash + Fingerabdruck + Anzahl hinzu, die durch Hash indiziert ist.

EDIT : petit scheint mehr CPU und Speicher zu verbrauchen als gewünscht, daher habe ich meine eigene einfache Implementierung geschrieben: https://github.com/curtmcd / Hashlog. Es macht einen Durchgang durch die Protokolldatei; Es wird mit ungefähr 6,5 Sekunden / GB auf meinem Ubuntu-Heimserver verarbeitet.

"joe", auch bekannt als Joes eigener Editor, wurde entwickelt, um nur Teile der Datei nach Bedarf zu laden.Ich habe es noch nie für eine so große Datei verwendet, aber ich bin nie auf eine Textdatei gestoßen, die zu groß ist, um sie zu öffnen.

Auf jeden Fall Hex Fiend.Es öffnet Dateien OHNE RAM.Es liest einfach von der Festplatte.Die Leistung ist absolut unglaublich.Ich habe bereits 500 GB Passwort-Dumps damit untersucht.

https://ridiculousfish.com/hexfiend/

Öffnen Sie das Terminal und öffnen Sie es mit vim

  vim filename.txt
 

P / s:

Geben Sie vim ein und ziehen Sie die Datei auf Ihr Terminal.Drücken Sie dann die Eingabetaste.

So beenden Sie vim (ohne Bearbeitung):

 : q!
 

Ich würde empfehlen, Sublime Text zu verwenden.Obwohl eine Lizenz erforderlich ist, kann sie ohne Zeit- oder Funktionseinschränkungen kostenlos heruntergeladen und ausgewertet werden.Das bedeutet, dass Sie oder Ihr Unternehmen die Möglichkeit haben, es so oft auszuprobieren, wie Sie möchten.Ich persönlich verwende es, um Protokolle mit vielleicht sogar 3-4 GB in den meisten Fällen oder SQL-Dumps mit sogar 12 GB zu untersuchen.Beim ersten Öffnen wird die gesamte Datei durchlaufen, um eine Indizierung der ersten Ebene usw. durchzuführen. Es wird jedoch ein Fortschrittsbalken angezeigt, der den Fortschritt des gesamten Prozesses anzeigt.