Obróka danych pomiarowych

Formaty danych

Efektem prawie każdego doświadczenia w laboratorium IBW są pliki z pomiarami. Program DAQUIS zapisuje pomierzone wartości w plikach binarnych o formacie INT. Ten format ma już ponad 20 lat i znacząco zmieniał się w przeciągu tych lat. Istotą tego formatu było przechowywanie danych pomiarowych w formacie danych dostarczanych przez kartę pomiarową. Jedyny wyjątek dotyczył kart pomiarowych, które nie obsługiwały wartości ze znakiem (w kodzie uzupełnienia do 2). Jeśli 12-bitowa karta pomiarowa przekazywała wartości 0 do 4095 (np. dla napięć -5V od +5V) to program odbierający dane z karty pomiarowej, odejmował od nich wartość 2048 i w pliku były zapisywane wartości w zakresie -2048 do 2047 w 16-bitowym kodzie uzupełnienia do 2. Ostatnio została zakupiona 16-bitowa karta pomiarowa firmy Advantech (PCI-1747U) i pliki pomiarowe INT zarejestrowane tą kartą będą miały wartości w zakresie -32768 do 32767.

Wspólną cechą wszystkich formatów INT jest brak wartości czasu. Te pliki zakładają stały krok czasowy a początek pomiaru zawsze w chwli czasu t=0s. Każdy plik w format INT składa się z nagłówka i danych pomiarowych. Pierwszy format INT miał bardzo prosty nagłówek:

Potem następują dane pomiarowe: kanał pierwszy od próbki pierwszej do Ns-tej, kanał drugi od próbki 1 do N-tej itd. aż do kanału o numerze Nc. Każda próbka zajmowałą 2 bajty. Bardzo łatwo było oczacować wielkość pliku w bajtach: 142 + 2*Nc*Ns. Wartość rzeczywistą pomierzonego parametry otrzymywało się mnożąc wartość próbki przez współczynnik Fact w danym kanale. Teoretycznie ten format może przechować 256 kanałów po 4294967296 próbek (plik miał by wielkość 2TB).

Następny format INT miał dane pomiarowe przechowywane w identyczny sposób. Zmienił się tylko nagłówek. Zostały dodane nagłówki poszczególnych kanałów:

Potem następują dane pomiarowe: kanał pierwszy od próbki pierwszej do Ns-tej, kanał drugi od próbki 1 do N-tej itd. aż do kanału o numerze Nc. Każda próbka zajmowałą 2 bajty. Aby oczacować wielkość pliku w bajtach należy wykonać działanie: 79 + 97*Nc + 2*Nc*Ns. Wartość rzeczywistą pomierzonego parametry otrzymywało się mnożąc wartość próbki przez współczynnik Fact(i) w danym kanale.

Krótko po opracowaniu tego formatu okazało się konieczne wzbogacenie współczynnika kalibracyjnego o wartość stałego przesunięcia. Aby nie zmieniać nagłówka wykorzystano liczbę User1 na wartość przesunięcia:

Potem następują dane pomiarowe: kanał pierwszy od próbki pierwszej do Ns-tej, kanał drugi od próbki 1 do N-tej itd. aż do kanału o numerze Nc. Każda próbka zajmowałą 2 bajty. Aby oczacować wielkość pliku w bajtach należy wykonać działanie: 79 + 97*Nc + 2*Nc*Ns. Wartość rzeczywistą pomierzonego parametry otrzymywało się mnożąc wartość próbki przez współczynnik Fact(i) i dodając wartość Const(i) w danym kanale.

W miarę rozwoju stanowisk pomiarowych okazało się, że zamiana kolejności próbek z danymi okazała się uciążliwa i czasochłonna. Wszystkie karty pomiarowe przekazują próbki w kolejności ich mierzenia, czyli Nc pomiarów w kolejnych kanałach, potem następna seria Nc pomiarów w kolejnych kanałach i tak dalej aż do serii Ns. Tą zmianę kolejności można przyrównać do transpozycji macierzy. W nagłówku pliku INT zmienił się tylko znacznik typu:

Potem następują dane pomiarowe: pierwsza seria pomiarów w kanałach od 1 do Nc, druga seria pomiarów w kanałach od 1 do Nc itd. aż do serii o numerze Ns. Każda próbka zajmowała 2 bajty. Aby oczacować wielkość pliku w bajtach należy wykonać działanie: 79 + 97*Nc + 2*Nc*Ns. Wartość rzeczywistą pomierzonego parametry otrzymywało się mnożąc wartość próbki przez współczynnik Fact(i) i dodając wartość Const(i) w danym kanale.

Program pomiarowy DAQUIS zapisuje pliki pomiarowe wyłącznie w tym ostatnim formacie INT. Na potrzeby programu WINFI32 zostały opracowane jeszcze dwa formaty danych. Mimo, że mają one rozszerzenie INT to nie przechowują wartości typu całkowitego, a wartości zmiennoprzecinkowe pojedynczej precyzji. W nagłówku pliku INT zmienił się tylko znacznik typu oraz pola Frac(i) i Const(i):

Potem następują dane pomiarowe: pierwsza seria próbek w kanałach od 1 do Nc, druga seria próbek w kanałach od 1 do Nc itd. aż do serii o numerze Ns. Każda próbka zajmowała 4 bajty. Aby oczacować wielkość pliku w bajtach należy wykonać działanie: 79 + 97*Nc + 4*Nc*Ns. W tym pliku są przechowywane wartości rzeczywiste i nie trzeba ich przez nic mnożyć i niczego dodawać.

Ostatni format INT różni się tylko o poprzedniego typem przechowywanych wartości. zamiast liczb rzeczywistych pojedynczej precyzji przechowuje liczby zespolone pojedynczej precyzji. W nagłówku pliku INT zmienił się tylko znacznik typu:

Potem następują dane pomiarowe: pierwsza seria próbek w kanałach od 1 do Nc (pary realis i imaginaris), druga seria próbek w kanałach od 1 do Nc (pary realis i imaginaris) itd. aż do serii o numerze Ns. Każda próbka zajmowała 8 bajtów. Aby oczacować wielkość pliku w bajtach należy wykonać działanie: 79 + 97*Nc + 8*Nc*Ns. W tym pliku są przechowywane wartości rzeczywiste i nie trzeba ich przez nic mnożyć i niczego dodawać.

Inne formaty danych

Program WINFI32 potrafi odczytać i zapisać jeszcze dwa inne formaty danych: format tekstowy i format M11.

Format tekstowy jest to plik tekstowy z pomiarami zapisanymi w kolumnach. W pierwszej kolumnie musi być zapisany czas, w drugiej i kolejnych, pomierzone wartości. Separatorem kolumn musi być znak tabulatora. Liczby rzeczywiste muszą mieć kropkę jako separator dziesiętny bez względu na bieżące ustawienia regionalne w komputerze. Pierwsza kolumna (z czasem) w rzeczywistości nie jest czytana z wyjątkiem dwóch pierwszych wartości. Ich rónica jest przyjmowana za krok czasowy i na tej podstawie jest przyjmowana częstotliwość próbkowania. Liczby są traktowane jako liczby rzeczywiste. Po przeczytaniu pliku, części urojone wszystkich liczb są równe zero.

Format pliku M11 jest potrzebny do generowania fali w kanale falowym. Tłok faloroba jest sterowany przez program WS, który akceptuje tylko pliki w formacie M11. Bufowa tego pliku jest rekordowa.Każdy rekord ma stałą długość 122 bajtów. Każdy rekord ma znacznik typu. Nagłówek pliku składa się z czterech rekordów o typach: 2, 5, 5, 0. Po nim następują po 3 rekordy opisujące każdy kanał (typy: 1, 3, 4). Na końcu są rekordy z danymi (po 15 wartości w każdym rekordzie). Pliki sterujące ruchem tłoka muszą mieć jeden kanał. Ogólna budowa rekordu jest następująca

Pierwszy rekord o typie 2 przechowuje informacje o długości pomiaru i kroku czasowym:

Drugi rekord o typie 5 przechowuje nazwę pomiaru:

Trzeci rekord o typie 5 przechowuje nazwę jednostki czasu:

Czwarty rekord o typie 0 przechowuje numer typu pliku i nazwę pomiaru:

Pierwszy rekord opisujący kanał o typie 1 przechowuje nazwę i statystykę sygnału zapisanego w tym kanale:

Drugi rekord opisujący kanał o typie 2 jest niewykorzystany w plikach sterowania tłokiem:

Trzeci rekord opisujący kanał o typie 3 przechowuje tylko skalę czasu:

Rekordy z danymi mają typ 7: