TI:WTBD/Awk
Spis treści
Awk, skrócony opis
Program awk jest interpreterem prostego języka programowania, wyspecjalizowanego w kierunku dokonywania najrozmaitszych przekształceń na plikach danych, szczególnie zapisanych w postaci tekstowej. Instrukcje języka awk definiujące reguły operacji na danych mogą być zapisane w pliku (skrypcie), lub (w szczególnie prostych przypadkach) podane wprost na linii poleceń.
Istnieje szereg odmian awk-a, które na różne sposoby wzbogacają podstawową specyfikację języka zdefiniowaną w normie POSIX (gawk == GNU awk, mawk, nawk, ...). Pozostaniemy tu na poziomie ich części wspólnej. Warto jednak wiedzieć, że interpreter GNU awk jest swobodnie dostępny w postaci źródłowej (jako program w języku C) -- podobnie jak inne narzędzia z rodziny GNU, i jest programem przenośnym. Ponadto dołączony jest do niego bardzo dobry podręcznik użytkowania (w formacie texinfo), mogący doskonale służyć do nauki programowania w języku awk niezależnie od wykorzystywanej wersji interpretera. ([1])
Awk w zarysie
- Program w języku Awk składa się z ciągu instrukcji o postaci wzorzec { akcja } oraz (ewentualnie) definicji funkcji.
- Interpreter awk czyta sekwencyjnie pliki (lub strumień) wejściowy, traktując dane wejściowe jako ciąg rekordów, z których każdy składa się z pewnej liczby pól.
- Każdy przeczytany rekord danych jest kolejno dopasowywany do podanych w programie wzorców; w przypadku stwierdzenia zgodności z wzorcem, wykonywana jest podana po tym wzorcu akcja, w przeciwnym wypadku akcja ta zostaje pominięta.
- Akcją domyślną jest wypisanie zawartości aktualnego rekordu do strumienia stdout (tj. nie podanie żadnej akcji jest równoważne akcji print).
- Znaki białe są na ogół bez znaczenia, z tym że koniec linii zazwyczaj brany jest za koniec polecenia. Zaleca się użycie średnika jako końca jednostki składniowej. Bloki (polecenia złożone) ujmowane są w nawiasy klamrowe, jak w C.
- Komentarze zaczynają się od # i kończą z końcem linii.
Postać wzorców
- BEGIN, END -- wzorce specjalne, traktowane jako nie pasujące do żadnego rekordu. Efektem ich użycia jest wykonanie odp. akcji jeden raz, przed rozpoczęciem przetwarzania danych (BEGIN) lub po jego zakończeniu (END). Mogą występować w programie dowolnie wiele razy i w dowolnych pozycjach; użyteczne akcje dla tych wzorców to np. inicjalizacja zmiennych (BEGIN), wypisywanie nagłówków tabeli lub podsumowań.
- /wyrażenie regularne/ -- zgodne z nim są rekordy pasujące jako napisy do podanego wyrażenia regularnego; składnia wyrażeń regularnych jest w zasadzie analogiczna jak w przypadku stosowanych z programem (e)grep.
- dowolne wyrażenie języka Awk -- jego wartość obliczana jest na nowo dla każdego wczytanego rekordu danych, a akcja jest wykonywana gdy wartość wyrażenia jest niezerowa (dla wyrażeń arytmetycznych) lub niepusta (dla wyrażeń napisowych)
- Wzorzec1, Wzorzec2 -- para wzorców przedzielonych przecinkiem pasuje do wszystkich rekordów począwszy od pierwszego pasującego do Wzorzec1 a skończywszy na ostatnim pasującym do Wzorzec2
Składnia wyrażeń
- Wyrażenia arytmetyczne budowane są ze stałych liczbowych oraz zmiennych o wartościach liczbowych, z wykorzystaniem operatorów arytmetycznych (+, -, *, ^, /, %) (^ == potęgowanie, % == reszta z dzielenia)
- Wyrażenia przypisania oraz inkrementacji: po lewej stronie operatora przypisania wartości (=, +=, -=, *=, /=, %=, ^=) może stać nazwa zmiennej skalarnej, odwołanie do elementu tablicy (p. dalej), lub odwołanie do pola bieżącego rekordu (//$n//). Po prawej stronie: dowolne wyrażenie. Wartością wyrażenia przypisania jest wartość która zostaje przypisana. Podobnie działają operatory inkrementacji, o własnościach analogicznych jak w C (++, --).
- Wyrażenia napisowe -- stała napisowa ma postać napisu ujętego w cudzysłów ("napis"). Jedyną operacją tworzącą napis złożony jest konkatenacja (łączenie) stałych napisowych lub zmiennych o wartościach napisowych. Operator konkatenacji nie posiada oznaczenia, zaleca się jednak stosowanie nawiasów np. ("napis1" "napis2") == "napis1napis2"
- Wyrażenia logiczne buduje się z wyrażeń arytmetycznych i napisowych za pomocą operatorów porównywania (==, !=, <, <=, >=) i operatorów logicznych (&&, ||, !); operatory porównywania dla wyrażeń arytmetycznych działają analogicznie jak w języku C; napisy są porównywane leksykograficznie. Wartością wyrażenia logicznego jest liczba 1 (prawda) lub 0 (fałsz), znów podobnie jak w C. Jako argument wyrażenia logicznego, każda niezerowa liczba i każdy niepusty napis traktowane są jako równoważne 1. Napisowi pustemu odpowiada wartość logiczna fałsz (0). Innym elementem służącym do tworzenia wyrażeń logicznych są operatory dopasowania wyrażeń regularnych (~, !~); po lewej stronie przyjmują one wyrażenia o wartości napisowej, po prawej może wystąpić stałe wyrażenie regularne (/REGEXP/) lub wyrażenie o wartości napisowej, które zostanie potraktowane jako zapis wyrażenia regularnego (umożliwia to wykorzystywanie dynamicznie utworzonych wyrażeń regularnych).
- Wyrażenia warunkowe -- tworzone są za pomocą konstrukcji WYR1 ? WYR2 : WYR3 o znaczeniu analogicznym jak w C.
- Wywołania funkcji: mają postać funkcja(arg1, arg2, ...). Spacja przed otwarciem nawiasu jest niedozwolona! Awk posiada wbudowany zestaw standardowych funkcji matematycznych (sqrt, exp, log, sin, cos, atan2, rand, srand, int>/tt>). Istnieją również wbudowane funkcje operujące na napisach (index, length, match, split, sprintf, sub, gsub, gensub, substr, tolower, toupper), funkcje I/O (close, system), oraz funkcje związane z czasem (systime, strftime). Możliwe jest też definiowanie własnych funkcji w tekście programu.
- Definicja funkcji ma postać:
function NAZWA(PARAMETRY)
{
DEFINICJA
}
- W liście parametrów PARAMETRY należy uwzględnić zarówno parametry formalne funkcji, jak i jej zmienne lokalne; przy wywołaniu PARAMETRY inicjalizowane są kolejno wartościami parametrów aktualnych, a brakujące otrzymują jako wartość napis pusty. Definicje funkcji używanych w programie awk nie muszą występować przed ich użyciem.
Instrukcje sterujące
if (WARUNEK) AKCJA1 ; [ else AKCJA2 ]
while (WARUNEK) AKCJA
do AKCJA while (WARUNEK)
for (INICJALIZACJA, WARUNEK, INKREMENTACJA) AKCJA
break
continue
exit [KOD ZWRACANY]
Powyższe instrukcje sterujące działają analogicznie jak w języku C.
Uwaga: po wywołaniu exit, akcje odpowiadające wzorcom END są wykonywane.
next : powoduje przejście do przetwarzania kolejnego rekordu, z zaniechaniem dalszego przetwarzania rekordu bieżącego.
Adresowanie rekordów i pól
- $0 : zawartość bieżącego rekordu
- $n (dla n>0): zawartość n-tego pola bieżącego rekordu (jeżeli n przekracza indeks ostatniego pola w bieżącym rekordzie: napis pusty)
po znaku $ można umieścić wyrażenie arytmetyczne, niekoniecznie stałą (wyrażenia złożone należy obejmować nawiasami)
Zmienne specjalne
(podane zostaną tylko najczęściej używane)
- FS : separator pól (w danych wejściowych); napis jednoznakowy lub wyrażenie regularne. Domyślna wartość FS == " " ma specjalne znaczenie: separatorami są dowolnie długie ciągi spacji i kodów tabulacji (a więc zawartości pól nie będą miały spacji na początku ani na końcu). Wartość FS == "" (pusty napis) oznacza, że każdy znak rekordu będzie potraktowany jako pole.
- RS : separator rekordów (w danych wejściowych). Domyślna wartość: znak nowej linii. Wartość RS == "" oznacza, że rekordy są rozdzielone dowolnie długimi ciągami pustych linii.
- OFS, ORS : pełnią analogiczną rolę do FS, RS dla strumienia danych wyjściowych (wyprowadzanych instrukcją print, p. dalej).
- ARGC, ARGV : analogiczne do argc, argv w języku C, z tym, że nie uwzględniają opcji interpretowanych przez program awk (a jedynie nazwy plików podane na linii komend). Tablica ARGV indeksowana jest liczbami całkowitymi, od zera począwszy.
- NF : liczba pól w bieżącym rekordzie.
- NR/tt> : numer kolejny aktualnie przetwarzanego rekordu.
- FILENAME : nazwa aktualnie przetwarzanego pliku. FILENAME == "-" jeżeli dane pochodzą ze strumienia stdin.
Tablice
Alokacja zmiennych tablicowych w języku Awk jest automatyczna; nie istnieje deklaracja tablicy. Odwołanie do elementu tablicy ma postać NAZWA[INDEKS] i może występować zarówno po prawej, jak i po lewej stronie wyrażenia przypisania wartości zmiennej.
INDEKS może być dowolnym wyrażeniem skalarnym --- czyli o wartości liczbowej lub napisowej.
Odwołanie do nieprzypisanego elementu zwraca napis pusty (i przypisuje go jako wartość danemu elementowi tablicy).
Wyrażenie INDEKS in NAZWA zwraca prawdę (1) jeżeli NAZWA[INDEKS] posiada przypisaną wartość, fałsz (0) w wypadku przeciwnym.
Konstrukcja for (INDEKS in NAZWA) AKCJA umożliwia przeskanowanie wszystkich elementów tablicy NAZWA którym przypisano wartości.
delete NAZWA[INDEKS] usuwa element z tablicy (a nie przypisuje mu pusty napis!).
Wyprowadzanie danych
print ARG1, ARG2, ...
printf FORMAT, ARG1, ARG2, ...
== Składnia wywołania
awk OPCJE -f PLIK.PROGRAMU PLIKI ...
awk OPCJE 'tekst programu' PLIKI ...
Istnieje m. in. opcja umożliwiająca zmianę separatora pól (-F FS).
Możliwe jest ponadto przypisywanie wartości zmiennym Awk-a na linii poleceń: argumenty postaci NAZWA=WARTOSC są rozpoznawane jako wyrażenia przypisania i mają identyczny skutek jak zamieszczenie odp. przypisania jako akcji dla wzorca BEGIN (ale po wykonaniu akcji BEGIN zamieszczonych w tekście lub pliku programu). Argumenty postaci NAZWA=WARTOSC są (podobnie jak nazwy plików danych) umieszczane w tablicy ARGV.
