Command Line

Elköltöztettem a blogot. Új cím: https://commandlineblog.melda.info/

Nincs különösebb oka, de egy saját github repóba commitálni az új posztokat markdown formátumban sokkal inkább illik egy parancssorról szóló bloghoz mint a blog.hu admin felületén szerencsétlenkedni. Újabban nekem amúgy is nagyon lassan jön be a blog.hu

Vannak persze még gondok:

• Kommenteket még nem vittem át (de úgyis alig vannak).
• RSS-t még nem próbáltam (ezt sem használja már szinte senki).
• Keresés még nincs.
• Régi posztokat átvittem, de nyilván lehet, hogy valamelyik kissé olvashatatlan lesz.

Ha valaki hasonlót szeretne csinálni, annak itt a github repó: https://github.com/asalamon74/commandlineblog/

A legtöbb programban ami fájlméretet ír ki, lehetőség van arra, hogy a nyers szám helyett valami emberek számára emészhetőbb formában kapjuk az eredményt (többnyire -h, -H kapcsolókkal). Ha egy program nem támogatja ezt, numfmt-vel formázhatjuk a számokat.

A következő példa elég jól bemutatja mit is csinál a program:

$ for i in $(seq 1 6); do x=$((1024**$i)); echo -ne $x '\t'; echo $x | numfmt --to=iec; done | column -t --table-right=1
               1024 1.0K
            1048576 1.0M
         1073741824 1.0G
      1099511627776 1.0T
   1125899906842624 1.0P
1152921504606846976 1.0E

Írtam már párszor (gparted live, losetup, HDD lecserélése SSD-re) olyan eszközökről, amelyek partíciók és fájlrendszerek rendberakásánál hasznosak. Nemrég egy elrontott MBR-t kellett a kollégámnak rendberakni, végül a TestDisk segített. Bár azt a funckióját nem próbáltuk, elveszett partíciók visszaállításához is használható,

Szeretem a symlinkeket, de amikor 5 lépésen át kell követnem, hogy hol is van a linklánc vége, az elég kényelmetlen, ilyenkor hasznos a readlink.

Vegyük a következő egyszerű láncot:

a -> x
x -> y
y -> z
z

A readlink parancs alapesetben nem sokkal jobb mint az ls, de a -f kapcsolóval az egész láncot végigköveti és kiírja (teljes útvonallal) a fájl valódi helyét:

$ readlink a
x
$ readlink -f a
/tmp/links/z

Rengetegen backupolnak úgy, hogy időnként kimásolják a fontos alkönyvtárak tartalmát egy külső drive-ra egy új alkönyvtárba. A módszer nagy hátránya, hogy ha egy fájl nem változott az előző mentés óta, akkor az kétszer is ott lesz a külső drive-on, feleslegesen foglalva a helyet.

Az ilyen fájlokat persze megtalálhatjuk pl. fdupes segítségével, de ezután kézzel kell törölnünk ezeket, ráadásul akkor az egyik mentésünk hiányos lesz. Hasznosabb ilyen esetekben az rdfind.

Nézzünk két alkönyvárat:

$ ls -l *
1:
total 15980
-rw-rw-rw- 1 user live 3223592 Oct 9 1998 track11.mp3
-rw-rw-rw- 1 user live 5819536 Oct 9 1998 track13.mp3
-rw-rw-rw- 1 user live 4800970 Oct 9 1998 track15.mp3
-rw-rw-rw- 1 user live 2507210 Oct 9 1998 track1.mp3
2:
total 23036
-rw-rw-rw- 1 user live 5819536 Oct 9 1998 song13.mp3
-rw-rw-rw- 1 user live 4800970 Oct 9 1998 song15.mp3
-rw-rw-rw- 1 user live 4693238 Oct 9 1998 song3.mp3
-rw-rw-rw- 1 user live 5647437 Oct 9 1998 song4.mp3
-rw-rw-rw- 1 user live 1272140 Oct 9 1998 song5.mp3
-rw-rw-rw- 1 user live 1343611 Oct 9 1998 song7.mp3

 Bár a fájlnevek eltérnek, a fájlhosszból látszik, hogy pl. track15.mp3 és song15.mp3 ugyanazok a fájlok.

Az alkönyvárak helyfoglalása:

$ du -bs *
16355404 1
23581028 2

Kerestessük meg az azonos fájlokat rdfinddal, és cseréljük le ezeket hard linkre:

$ rdfind -makehardlinks true 1 2
Now scanning "1", found 4 files.
Now scanning "2", found 6 files.
Now have 10 files in total.
Removed 0 files due to nonunique device and inode.
Now removing files with zero size from list...removed 0 files
Total size is 39928240 bytes or 38 MiB
Now sorting on size:removed 6 files due to unique sizes from list.4 files left.
Now eliminating candidates based on first bytes:removed 0 files from list.4 files left.
Now eliminating candidates based on last bytes:removed 0 files from list.4 files left.
Now eliminating candidates based on md5 checksum:removed 0 files from list.4 files left.
It seems like you have 4 files that are not unique
Totally, 10 MiB can be reduced.
Now making results file results.txt
Now making hard links.
Making 2 links.

A listázásál sok változást nem látunk, de a linkszámlálóból látszik, hogy már hard linkjeink vannak:

1:
total 15980
-rw-rw-rw- 1 user live 3223592 Oct 9 1998 track11.mp3
-rw-rw-rw- 2 user live 5819536 Oct 9 1998 track13.mp3
-rw-rw-rw- 2 user live 4800970 Oct 9 1998 track15.mp3
-rw-rw-rw- 1 user live 2507210 Oct 9 1998 track1.mp3
2:
total 23036
-rw-rw-rw- 2 user live 5819536 Oct 9 1998 song13.mp3
-rw-rw-rw- 2 user live 4800970 Oct 9 1998 song15.mp3
-rw-rw-rw- 1 user live 4693238 Oct 9 1998 song3.mp3
-rw-rw-rw- 1 user live 5647437 Oct 9 1998 song4.mp3
-rw-rw-rw- 1 user live 1272140 Oct 9 1998 song5.mp3
-rw-rw-rw- 1 user live 1343611 Oct 9 1998 song7.mp3

Ha külön-külön nézzük a helyfoglalást, akkor nincs változás:

$ du -bs 1
16355404 1
$ du -bs 2
23581028 2

de ha egyben, akkor látszik, hogy sok helyet megspóroltunk:

$ du -bs *
16355404 1
12960522 2

 Azt azért érdemes tudni, hogy sok fájl tartalmazó alkönyvtáraknál rdfind elég lassú.

A WoeUSB-vel Windows installer iso fájlokat írhatunk pendrive-ra, hogy onnan installáljuk a Windows-t.

woeusb --device Win10_1803_Hungarian_x64.iso /dev/sdX

 a /dev/sdX helyett persze a pendrive drive-ja kell

 Azt igazából nem tudom miért nem elég egy sima dd, de annyira nem is érdekel.

Szövegfájlok sorait hasonlíthatjuk össze a comm paranncsal. Vegyünk két fájlt, ahol a sorok rendezve vannak:

$ cat file1.txt
aaa
bbb
ddd
eee
$ cat file2.txt
bbb
ccc
eee

A comm három oszlopba rendezi  sorokat. Az elsőbe azok kerülnek, amelyek csak az első fájlban vannak, a másodikba azok amelyek csak a másodikban, a harmadikba pedig azok amelyeket mindkét fájlban megtalálhatunk:

$ comm file1.txt file2.txt
aaa
                bbb
        ccc
ddd
                eee

Lehetőségünk van az egyes oszlopok elrejtésére a -1, -2, -3 kapcsolókkal. Az első két oszlopot pl. így rejthetjük el:

$ comm -12 file1.txt file2.txt
bbb
eee

A Mac OS-en elérhető homebrew linuxos forkja a Linuxbrew. Használatával Linuxra is pont úgy installálhatunk fel programokat mint Mac OS-re. Elsőre kevésbé tűnik hasznosnak, hiszen minden Linux disztribúciónak van saját csomagkezelője, de elég sokszor előfordul, hogy egy csomag kimarad a gyári csomagok közül és linuxbrew-val egyszerűen installálható.

Például Mageia disztróra elég nehéz feltenni shellcheck-et, de linuxbrew-val ez csak egy mozdulat:

$ brew install shellcheck

Még a Shell Scripts Matter cikk ajánlotta a shellchecket, de önmagában is megér egy bejegyzést.

Készítsünk egy nagyon egyszerű scriptet (test1.sh):

#!/bin/bash
echo hello $1

Ha elkezdjük használni, elég sokáig úgy viselkedik ahogy elvárjuk, de azért az utolsó két parancs közti különbség elsőre meglepő:

$ ./test1.sh a
hello a
$ ./test1.sh a b
hello a
$ ./test1.sh "a b"
hello a b
$ ./test1.sh "a* b"
hello a* b
$ ./test1.sh "t* b"
hello test1.sh test2.sh b

Egy ilyen rövid scriptben persze könnyen megtalálhatjuk a hibát, de sokkal egyszerűbb a scriptjeinket shellcheckkel ellenőriztetni:

$ shellcheck test1.sh

In test1.sh line 2:
echo hello $1
           ^-- SC2086: Double quote to prevent globbing and word splitting.

Ezután már egyértelmű  a javítás (test2.sh):

#!/bin/bash
echo hello "$1"

A script úgy működik, ahogy elvárható:

$ ./test2.sh a
hello a
$ ./test2.sh a b
hello a
$ ./test2.sh "a b"
hello a b
$ ./test2.sh "a* b"
hello a* b
$ ./test2.sh "t* b"
hello t* b

Ha Linux után MacOS-t kezdünk használni, akkor az nagyon jó hogy a shell a már jól megszokott bash, beépített editornak ott van az emacs (vi, nano, ...), de azért több jól megszokott linuxos program hiányzik. Legegyszerűben ezeket homebrew segítségével installálhatjuk.

A parallel installálása pl.ilyen egyszerű:

$ brew install parallel

Korábban írtam már az xclip parancsról, amivel parancssorból kezelhetjük a clipboardot, ha Mac OS alatt van szükségünk erre, akkor a pbcopy pbpaste párost használhatjuk:

$ echo 'alma' | pbcopy
$ echo $(pbpaste)
alma

Gyártsunk egy jelszóvédett pdf-et:

$ echo -n titok > titok.txt
$ enscript -p titok.{ps,txt}
$ ps2pdf titok.{ps,pdf}
$ pdftk titok.pdf output titok_jelszo.pdf user_pw 987654321

Ahhoz, hogy a titkosított pdf-et hashcattel feltörhessük, két dologra lesz szükségünk. Először is tudnunk kell, milyen hash-et használ a pdf titkosítás. A pdf fájl elején látszik, hogy ez egy PDF 1.4-es fájl, hashcat --help alapján ez a 10500-as hash mód. Másrészt ki kell vágnunk a pdf fájlból a hash-t. Ezt a JohnTheRipper program pdf2john.pl scriptjével tehetjük meg:

$ pdf2john.pl titok_jelszo.pdf | sed "s/^.*://" > hash_pdf.txt

Ezután hashcat már képes feltörni a jelszót brute-force módszerrel:

$ hashcat -m 10500 -a 3 -i hash_pdf.txt ?d?d?d?d?d?d?d?d?d?d?d
...
$pdf$2*3*128*-3904*1*16*35b780a117d0e708d9a5bc500c94dc31*32*5ec779d797699b837f97b6f33418f45400000000000000000000000000000000*32*240ab525f81f9d2851d51f167d556bb19f5bae85a6ca52e8c98a90fa98c2b65c:987654321

Session..........: hashcat
Status...........: Cracked
Hash.Type........: PDF 1.4 - 1.6 (Acrobat 5 - 8)
Hash.Target......: $pdf$2*3*128*-3904*1*16*35b780a117d0e708d9a5bc500c9...c2b65c
Time.Started.....: Sat Jul 28 11:29:47 2018 (1 min, 14 secs)
Time.Estimated...: Sat Jul 28 11:31:01 2018 (0 secs)
Guess.Mask.......: ?d?d?d?d?d?d?d?d?d [9]
Guess.Queue......: 9/11 (81.82%)
Speed.Dev.#2.....: 94665 H/s (28.31ms) @ Accel:16 Loops:8 Thr:64 Vec:1
Speed.Dev.#3.....: 1357.0 kH/s (68.98ms) @ Accel:640 Loops:17 Thr:64 Vec:1
Speed.Dev.#*.....: 1451.7 kH/s
Recovered........: 1/1 (100.00%) Digests, 1/1 (100.00%) Salts
Progress.........: 107274240/1000000000 (10.73%)
Rejected.........: 0/107274240 (0.00%)
Restore.Point....: 10493952/100000000 (10.49%)
Candidates.#2....: 963454321 -> 999592321
Candidates.#3....: 962478232 -> 935512321

Started: Sat Jul 28 11:28:21 2018
Stopped: Sat Jul 28 11:31:02 2018

Itt is feltételeztem persze, hogy csupa számjegyből állt a jelszó, így pár perc alatt megtalálta a program a jelszót. Enélkül persze sokkal tovább tartott volna.

A hashcat programmal jelszavak törhetünk fel, feltéve ha tudjuk, hogy milyen hash algoritmust használtunk a jelszó kódolásakor.

Tételezzük fel, hogy a már elavult md5-öt használjuk. A nem túl biztonságos (de nem is túl rövid) 98765432109 jelszó md5 hash-e e53420cce01df4edb9b01215f3733920

$ echo -n '98765432109' | md5 > hash_md5.txt
$ cat hash_md5.txt
e53420cce01df4edb9b01215f3733920

 Ezt hashcat használatával így törhetjük fel:

$ hashcat --potfile-disable -O -m 0 -a 3 -i hash_md5.txt ?d?d?d?d?d?d?d?d?d?d?d

• --potfile-disable: Alapesetben a feltört hasheket hashcat eltárolja, és később újra felhasználja. Ezt a teszt kedvéért lekapcsoltam, hogy többször újra tudjam futtatni a tesztet.
• -O: optimalizálás bekapcsolása
• -m 0: md5 hash
• -a 3: brute-force algoritmus
• -i: A maszknál rövidebb jelszavakat is ellenőrzi.
• hash_md5.txt: Ez a fájl tartalmazza a hasht.
• ?d?d?d?d?d?d?d?d?d?d?d: Ez a maszk határozza meg, milyen formátumú lehet a jelszó, ez a 11 számjegyből álló jelszó maszkja.

A program kevesebb mint 1 perc alatt találja meg a jelszót:

...
e53420cce01df4edb9b01215f3733920:98765432109

Session..........: hashcat
Status...........: Cracked
Hash.Type........: MD5
Hash.Target......: e53420cce01df4edb9b01215f3733920
Time.Started.....: Sat Jul 28 10:26:02 2018 (30 secs)
Time.Estimated...: Sat Jul 28 10:26:32 2018 (0 secs)
Guess.Mask.......: ?d?d?d?d?d?d?d?d?d?d?d [11]
Guess.Queue......: 11/11 (100.00%)
Speed.Dev.#2.....: 145.3 MH/s (7.90ms) @ Accel:16 Loops:15 Thr:256 Vec:1
Speed.Dev.#3.....: 2185.2 MH/s (8.87ms) @ Accel:128 Loops:62 Thr:256 Vec:1
Speed.Dev.#*.....: 2330.5 MH/s
Recovered........: 1/1 (100.00%) Digests, 1/1 (100.00%) Salts
Progress.........: 71073005568/100000000000 (71.07%)
Rejected.........: 0/71073005568 (0.00%)
Restore.Point....: 69697536/100000000 (69.70%)
Candidates.#2....: 16445128782 -> 68800372209
Candidates.#3....: 57136658459 -> 86274237109
Started: Sat Jul 28 10:25:50 2018
Stopped: Sat Jul 28 10:26:34 2018

Ha lehet, ne használjon senki se md5-öt, se csupa számjegyből álló jelszót.

Az ls az egyik legismertebb és legrégebbi unix parancs, az exa ennek egy modernebb változata. Ami rögtön feltűnik, hogy sokkal színesebb:

$ exa -l
.rw r--r-- 1.1k user 31 Mar  2017 COPYING
.rw-r--r-- 6.2M user  8 Apr  2016 imgp8166.png
.rw-r--r-- 8.0M user 11 Apr  2016 imgp8171.png
.rw-r--r-- 7.2M user  9 Apr  2016 imgp8171_cuta.png
.rw-r--r-- 8.8M user  9 Apr  2016 imgp8171_swa.png
.rw-r--r-- 6.6M user  7 Apr  2016 imgp8171_swa_orig.png
.rw-r--r-- 1.5k user 27 Jun 16:59 README.md
.rwxr-xr-x 2.8k user 27 Jun  8:48 solarmiddle.sh
.rwxr-xr-x 3.7k user  9 Apr  2016 solarmiddle.sh~
.rw-r--r-- 1.9k user 11 Apr  2016 solarmiddle_tutorial.md
.rwxr-xr-x 3.4k user 21 Jul  9:22 solarwind.sh
.rw-r--r-- 4.1k user 11 Apr  2016 solarwind_tutorial.md

Programozóként a --git kapcsoló tűnik nagyon hasznosnak, jelzi melyik fájl új, melyiket módosítottuk:

$ exa -l --git
.rw-r--r-- 1.1k user 31 Mar  2017 -- COPYING
.rw-r--r-- 6.2M user  8 Apr  2016 -N imgp8166.png
.rw-r--r-- 8.0M user 11 Apr  2016 -N imgp8171.png
.rw-r--r-- 7.2M user  9 Apr  2016 -N imgp8171_cuta.png
.rw-r--r-- 8.8M user  9 Apr  2016 -N imgp8171_swa.png
.rw-r--r-- 6.6M user  7 Apr  2016 -N imgp8171_swa_orig.png
.rw-r--r-- 1.5k user 27 Jun 16:59 -- README.md
.rwxr-xr-x 2.8k user 27 Jun  8:48 -- solarmiddle.sh
.rwxr-xr-x 3.7k user  9 Apr  2016 -N solarmiddle.sh~
.rw-r--r-- 1.9k user 11 Apr  2016 -- solarmiddle_tutorial.md
.rwxr-xr-x 3.4k user 21 Jul  9:22 -M solarwind.sh
.rw-r--r-- 4.1k user 11 Apr  2016 -- solarwind_tutorial.md

Arra azért érdemes odafigyelni, hogy elég sok kapcsoló más mint ls-nél volt.

Ha a terminálom színes képernyőjét block-copyval idemásolom, akkor elvesznek a színek:

$ ls
alma dir/ korte ls.htm test.zip

Az aha (Ansi HTML Adapter) használatával HTML formátumba menthetjük az outputot, így beilleszthetjük HTML oldalba:

$ ls
dir/ korte ls.htm test.zip

A következő parancsot kellett használni a HTML részlet gyártásához:

$ ls --color=always | aha --no-header > ls.htm

Írtam már egyszer korábban az animgif gyártásáról, de amikor legutóbb akartam használni az ott leírt módszert, igen csúnya lett az animgif. Egy animgifben csak 256 különböző lehet minden képben és ffmpeg alapesetben ugyanazt a palettát használja, függetlenül a videó színvilágától. Jobb eredményt lehet elérni, ha külön palettát készítünk a videó alapján:

ffmpeg -i input.mkv -vf "scale=320:-1:flags=lanczos,fps=25,palettegen" -y palette.png
ffmpeg -i input.mkv -i palette.png -lavfi "scale=320:-1:flags=lanczos,fps=25 [x]; [x][1:v]paletteuse" -y output.gif
gifsicle -i output.gif -O3 -o output_opt.gif

Az első parancsban (a többi filter mellett) a palettegen-t használjuk, ez egy 16x16 pixeles képet gyárt (palette.png) ami az optimális paletta színeit tartalmazza. Ezt használja fel a második parancs az animgif gyártásához a paletteuse filterrel. A harmadik parancs az animgifet optimalizálja gifsicle segítségével.

Egyrészt természetesen teljesen értelmetlen, másrészt viszont nagyszerűen mutatja be az ssh lehetőségeit az sshtron nevű játék, ahol egy szerverre sshzva játszhatunk tronnal (ha éppen megy a szerver):

ssh sshtron.zachlatta.com

A paste paranccsal több fájl tartalmát olvaszthatjuk egybe.

Legyen a test_1.txt tartalma:

1
2
3
4
5
6

test_2.txt tartalma:

a
b
c
d
e
f

paste soronként illeszti össze a fájlokat, az általunk megadott szeparátorkarakterrel:

$ paste -d ';' test_1.txt test_2.txt
1;a
2;b
3;c
4;d
5;e
6;f

Használhatjuk a -s kapcsolóval is egyetlen input fájl sorainak oszlopokba rendezésére:

$ paste -s -d ';' test_1.txt
1;2;3;4;5;6

Ha több szeparátorkaraktert adunk meg, akkor elérhetjük, hogy minden sorba a test_1.txt három sora kerüljön:

$ paste -s -d ';;\n' test_1.txt
1;2;3
4;5;6

Írtam már párszor bash változókról (egy, kettő, három), nemrégiben találtam egy nagyszerű cikket, ami még sokkal több trükköt bemutat: How To Use Bash Parameter Substitution Like A Pro .

A grep parancsot szinte mindenki ismeri, több mint 40 éves, több új programot készítettek már a leváltására (én is írtam már pl. az agrep nevű változatról) az egyik ilyen próbálkozás az ack, ami a grephez hasonló, programozóknak szánt eszköz.

Használata végtelenül egyszerű, ha az aktuális könyvtárban (és rekurzívan az összes alkönyvtárban) szeretnénk rákeresni egy adott regexp mintára:

ack "A.*Task"

Ha nem akarunk az összes fájlban keresni, hanem csak a java források érdekelnek:

ack --java "A.*Task"

Hasznos, hogy automatikusan kihagyja .git, .svn, ... alkönyvtárakat.

 A weboldalukon (ahol az URL is már kissé furcsa) érdemes megnézni a többi érvet is amivel megpróbálnak győzni arról, hogy ezt használjuk inkább a grep helyett.

Ha parancssort használunk megoszthatjuk a terminálunkat egy weboldalon a gotty segítségével.

A

gotty top

parancs után a http://127.0.0.1:8080 oldalon megnézhetjük a top eredményét. Az oldal szépen folyamatosan frissül, ahogy top frissíti az eredményeket.

Alapesetben a weboldal csak megmutatja az eredményeket, de a -w kapcsolóval írási jogot is kapunk, vagyis a

gotty -w emacs -nw alma.txt

segítségével weboldalon keresztül editálhatjuk az alma.txt fájlt. (A -nw-ről itt írtam).

Sőt, a

gotty -w bash

hatására a weboldalon keresztül lényegében egy terminalt kapunk, ahová tetszőleges parancsot beírhatunk.

Mondanom sem kell, csodálatos biztosági réseket lehet ezzel az eszközzel nyitni, szóval csak óvatosan.

Több módszerrel is lehet parancssorból hibernálni vagy készenléti állapotba tenni a gépet én pm-utils csomagot szoktam használni. A parancssor előnye, hogy egy este elindított hosszú folyamat után a gép magától "elalszik". Kissé mesterséges példa:

$ sleep 60 && pm-suspend

Parancssor használata közben időnként hibázik az ember. Ilyenkor némi káromkodás után beírjuk a helyes parancsot. Ebben tud segíteni a szép nevű thefuck program ami az előző elrontott parancsot próbálja megjavítani.

Ha például véletlenül annyit írunk, hogy

git stats

akkor érhető módon git jelzi, hogy nem ismeri a stats parancsot. Ha ezután kiadjuk a

fuck

parancsot, akkor thefuck javasolja

git status

használatát. Ezt egy enterrel elfogadva le is fut a parancs.

A program github oldalán egy animált gif több példát is mutat.

Elég sok olyan parancs van, ami (feltételezve, hogy egy modern terminált használunk) színeket használ. Ha viszont az eredményt less-szel nézzük, a színek elvesznek, mert a parancs érzékeli, hogy nem terminálra ír, hanem csak egy pipe-ba.

Vagyis például

git status

színes, de

git status | less

már nem színes.

Ha egyszerre szeretnénk less-t és színeket a következőképpen kell használnunk a parancsot:

unbuffer git status | less -r

Tisztában vagyok vele, hogy ez vélhetően még a többi bejegyzésnél is szűkebb réteget céloz meg, de ha valaki Corel AfterShot Pro 3-at szeretne használni, de az sajnos nem támogatja a fényképezőgépét, viszont támogat egy hasonló gépet (de nem beépítve, hanem letölthető camera profile-ként), akkor annak a valakinek érdemes lehet megnézni az afzcamCreator programom (bash script, szóval legalább nem offtopic).