[嵌入式系統] Linux kernel內的資料Export到外部

在撰寫嵌入式系統的驅動程式(以linux為系統)時，我們有時候需要將kernel內的變數Export給我們自己撰寫的驅動程式，也就是我們可以在Linux的kernel內定義extern變數或函式，來給外部自己定義的module使用。
要將變數或函式Export給外部使用，必須做以下2個步驟：
1.   用EXPORT_SYMBOL()函式，將自己定義的Variable1匯出給外部使用。例如我們可以在 linux/kernel/net/netsyms.c內，將Variable1 Export出來：
//要先 #include <linux/module.h>
int Variable1 = 0;
EXPORT_SYMBOL(Variable1);
可以研究一下netsyms.c這個檔案，裡面會發現都是整理一系列的EXPORT_SYMBOL的動作。

2.   在kernel內的檔案內定義extern的變數，將剛剛Export出來的變數，直接拿來操作。
例如在for PCM7230的linux kernel內，可以在linux/kernel/net/core/dev.c內定義extern：
extern int Variable1;
接著就可以將Variable1拿來使用了。
在自己撰寫的驅動程式裡面，也可是一樣先在變數前寫上"extern"，就可以操作從kernel導出的變數。我們可以在驅動程式的程式碼內，修改從kernel Export出來的變數，也可以用create_proc_entry函式新增一個程序在linux的文件系統 /proc 裡面，並且將create_proc_entry函式回傳的指標，來將這個程序的參數，指定為在驅動程式的程式碼內自己定義的函式。

[Bug研究] Merge Sort的Bug

        我寫過很多次Merge Sort，有時寫完會有一些Bug。
以下是我這次用C++寫的一個有Bug的Merge Sort函式，這個錯誤一開始我並沒有很快找出：

---

   1: void MergeSort(int *A, int p, int r)

   2: {

   3:      int q = 0;

   4:      if(p<r)

   5:      {

   6:             q = ((p+r)/2);

   7:             MergeSort(A,p,q);

   8:             MergeSort(A,q+1,r);

   9:             Merge(A,p,q,r);

  10:      }

  11: }

  12: void Merge(int *A, int p, int q, int r)

  13: {

  14:      int n1 = q-p+1;   //number of elements of left array. Include q.

  15:      int n2 = r-q;     //number of elements of right array.

  16:      int L[n1+1];

  17:      int R[n2+1];

  18:      

  19:      for(int i=0;i<n1;i++)

  20:      {

  21:              L[i] = A[p+i];

  22:      }

  23:      for(int j=0;j<n2;j++)

  24:      {

  25:              R[j] = A[q+j];

  26:      }

  27:      L[n1] = infinite;

  28:      R[n2] = infinite;

  29:      int i = 0;  int j = 0;

  30:      

  31:      for(int k=p;k<=r;k++)

  32:      {

  33:              if(L[i]<=R[j])

  34:              {

  35:                  A[k] = L[i];

  36:                  i++;

  37:              }

  38:              else

  39:              {

  40:                  A[k] = R[j];

  41:                  j++;

  42:              }

  43:      }

  44: }

---

這個程式執行結果會是錯的，原因是第25行：

  25:              R[j] = A[q+j];

在複製陣列內容到R array時，應該要寫：

  25:              R[j] = A[q+j+1];

因為L陣列裡面已經包含index為 q 的element了。只要更改這一行，就是一個完整的Merge Sort的code了。

我將這種bug歸類為"陣列index的錯誤問題"。這種bug通常簡單，但簡單的錯誤難免發生。為了避免類似的錯誤，我之後將會使用特定格式的註解(先將此註解法則命名為Uncle註解法好了...)，來表示出陣列操作時的操作範圍，例如
，以此Merge Sort為例：
   
      R[j] = A[q+j+1];       // A[] : q+1<->q+n2 // j : 0<->n2-1 // total # : n2

上面這一行的註解中 A[] : q+1<->q+n2代表陣列A的索引值在for迴圈中從q+1一直trace到q+n2範圍，每一部分的註解描述用雙斜線 "//" 分開，j : 0<->n2-1代表j從0一直到n2-1，最後 total # : n2代表整體迴圈操作次數有n2+1次操作。

一直以來我都想定義一個共同的註解規範，能夠註解的格式統一，方便debug，我希望從現在開始實現這個願望，目前註解法的格式還在制定中。

[演算法] Loop Invariants

        Loop Invariant 是證明某個不變的條件(稱為Invariant Condition)，這個條件在程式進入迴圈前跟進入迴圈後，此條件仍不變。

通常以while迴圈為例子。
假如有一個while迴圈如下：

while( A )
{
        //Body..
}

        那麼假設一個 Invariant 條件叫做 X ，這個X條件在while檢查A條件時都維持原狀，一進入Body 時可能改變X條件，但一執行完 Body 後 X 又恢復原貌，這種條件就是一個典型的 Invariant Condition。

• 證明Loop Invariant需要三個步驟：
  1.   Initialization：描述 Invariant Condition 在迴圈執行第一個 iteration前，就成立。
  2.   Maintenance：描述 Invariant Condition 在迴圈的任一iteration執行前跟執行後都維持成立。
  3.   Termination：迴圈執行結束後，Invariant Condition 能夠展示整體演算法的正確性。

[演算法] 以UVA第10107程式題目複習Insertion Sort

首先複習一下 Insertion Sort。

Insertion Sort       
Insertion Sort的精神是當在排序一個數字陣列時，每當處理一個數字，就代表在這個數字之前的數都已經排序好了。因此只需要將這個數字跟前面排好的數字序列比較，並將目前處理的這個數字insert到之前排序好的序列中，就像一般在玩撲克牌時通常會使用的排序法。

        以下是我練習將InsertionSort的Code用C++寫出：
void InsertionSort()
{
     int key = 0;
     for(int j=1;j<size;j++)
     {
             key = data[j];
             int i = j-1;
             while(i>=0 && data[i]>key)
             {
                        data[i+1] = data[i];
                        i--;
             }
             data[i+1] = key;
     }
}
UVA #10107(What is the median)
這個題目給的Sample Input跟Sample Output如下：

Sample Input

1
3
4
60
70
50
2

Sample Output

1
2
3
3
4
27
4

        本題的目標為每從Sample Input讀進一個數字到序列中，就找出當下的中位數(median)，如果總共有奇數個數字，則將取排序好的數列的中間兩個數字相加除以2，除以2後只取整數部分。

思考方式：
        使用Insertion Sort的原因，是因為這題是每讀到一個數字就做排序，所以當讀進一個新數字時，之前的讀過的數字都已經排序好了，所以只須將新讀入的數字Insert到前面排序好的序列的適當位置，這很符合Insertion Sort的基本概念。

以下是我解決此題目的Code：(implement using C++)

//main.cpp
//The excution result is correct, and is accepted by UVA Online Judge.
//This is the code for UVA Online Judge #10107
//This code was created by Uncle on 2012/03/03
#include<iostream>
#include<sstream>
#include<fstream>
using namespace std;
int *data = NULL;
int size = 0;

int *Expand(int *arrReceive,int &s,int key)
{
    int *newArr = new int [s+1];
    for(int i=0;i<s;i++)
    {
        newArr[i] = arrReceive[i];
    }
    newArr[s] = key;
    delete []arrReceive;
    s++;
    return newArr;
}
void InsertionSort()
{
     int key = 0;
     for(int j=1;j<size;j++)
     {
             key = data[j];
             int i = j-1;
             while(i>=0 && data[i]>key)
             {
                        data[i+1] = data[i];
                        i--;
             }
             data[i+1] = key;
     }
}
int main()
{
    int key;
    ifstream inputFile;
    //inputFile.open("input.txt",ifstream::in);
    while(cin >> key)
    {
                    data = Expand(data,size,key);
                    InsertionSort();
                    if(size%2)  //total size is odd
                    {
                              cout << data[size/2] << endl;
                    }
                    else
                    {
                        int tmp = data[(size/2)-1] + data[size/2];
                        tmp = tmp/2;
                        cout << tmp << endl;
                    }
    }
    //getchar();
    return 0;
}

---

[C++] 各種文字檔的讀取方法整理

我將各種文字檔的讀取方式做整理，有想到其他的再補上來。
我寫過的作業裡，測試資料分為：
1.  文字檔案裡面第一行代表資料個數，第二行是資料的內容，例如假設要做資料排序：

5    6 7 1 3 5    3    11 7 3

    第一行的5代表下一行將會有五個數字，然後第二行給予5個數字請程式來排序。接著第三行的3代表有三個數字，並在第四行給予這三個數字的值給程式來排序。
    我讀取這樣的文字檔通常直接使用ifstream直接將資料推入int型態的變數：

int size = 0;     int *data = NULL;     ifstream inputFile(“input.txt”);     while(inputFile >> size)     {         data = new int[size];          for(int i=0;i<size;i++)         {             inputFile >> data[i];         }         //在這裡對data陣列做想要的operation.         delete[] data;         data = 0;     }

這是屬於同一系列的資料被分為許多行的情況。
2.   文字檔中同一系列的資料在同一行，例如：

2 3 9 5 11 3 6             5 4 0 7 2             ．．．

同一系列的資料在同一行，我會立刻用getline：

void readData() {      ifstream inputFile;      inputFile.open("input.txt",ifstream::in);      string line;      int lineNumber = 0;      data = new int[size];           while(getline(inputFile,line))      {          lineNumber++;          istringstream token(line);          int key;          while(token >> key)          {                      //在這裡對token做處理。          }      } } //ok

3.    遇到文字檔案內的資料不是以空白區隔，而是以其他符號區隔（例如逗號），此時可以使用我之前文章所寫的方法，使用getline：

string str = "19 82 37 55 167";       stringstream stream1(str);       string token;       while(1)       {           getline(stream1, token, ' ');   //指定用空白隔開，                                                         //可指定其他分隔字元           if (stream1.fail())           break;           istringstream forInt(token);                            int tmp = 0;           forInt >> tmp;           cout << tmp << endl;       }

4.     stringstream、istringstream、ostringstream使用上的差別：
假設建立一個 istringstream變數 iss，則可以把一個string字串塞給stream1，然後這個 iss 就可以把那個字串裡的東西再轉換給其他型態的變數，例如int或者float等等，像上面第３點的範例就是一個字串轉換成整數的例子。
　　要將字串str塞給 iss，方法有：
　　　　istringstream iss(str);
        或者
　　　　istringstream iss;
                iss.str(str);
簡單說就是字串--->送給istringstream--->送給其他型態的小變數。
　　同理，若有一個ostringstream型態的變數叫做oss，則可以將字串或者int等型態變數一直塞給oss，然後再一次將oss裡的東西設給一個新的字串。例如：
                string str = “test”;
　　　　ostringstream oss;
                oss << 2 << str;
                str = oss.str();
亦即各種型態的小變數--->送給ostringstream--->結合起來設給一個string。而stringstream則是兼具istringstream跟ostringstream的輸入及輸出功能。
另外stringstream、istringstream、ostringstream都具有clear()函式，可以清除error的狀態，也可以清空整個stream內部存的資料。

[演算法] Stupid Sort

    新的學期開學了，這學期修了高等演算法的課程，將之前學過的演算法整理複習一遍，並學更多演算法的應用。
Stupid Sort   
Stupid Sort的排序過程，雖然可視為比人類自己排序還慢，然而這種演算法的好處，是當電腦執行到一半因為某種緣故中斷執行程序後，下次要啟動排序流程時，可以直接從上一次排序到一半的那個狀態繼續執行下去，而不需要再輸入每筆資料重頭開始排序，因此在實際應用上，這種Stupid演算法有它的好處。
Stupid Sort程式碼很短，我將Stupid Sort用C++寫出來，函式如下：
void StupidSort()
{
    int i = 0;
    while(i<(size-1))
    {
           if(data[i] > data[i+1])
          {
                 int tmp = data[i];
                data[i] = data[i+1];
                data[i+1] = tmp;
                i = 0;
          }
          else
         {
               i++;
         }
     }
}
這就是我這學期寫的第一個程式，希望這學期能學到很多東西。

[演算法] LZ77壓縮技術研究與心得

以下簡單記錄我對LZ77資料壓縮技術的理解。

---

簡介
LZ77壓縮技術，是一種運用Dictionary Method的無失真壓縮技術，其基本的精神為記錄”重複性多的資料位置座標”來減低檔案大小。解壓縮過程為先讀入檔案Stream資料並記錄其位置，之後從檔案一直讀進Stream並與之前已經讀入的資料作比對，遇到之前的有重複的資料片段，就記錄下之前那筆資料與目前所處理的重複資料片段之間的相對位移量(offset)。如此解壓縮時就可以根據相對位移去從以前的已經讀過的資料去取出重複的資料，因此可壓縮檔案大小。
Sliding Window
LZ77使用Sliding Window的觀念。Sliding Window可以用一個Queue實現，如下圖所示，將一個Window分隔為兩部分，左邊部分是已經處理完的資料，稱為search buffer，右邊是仍待處理的資料串，稱為look-ahead buffer。資料從右邊一個個讀入，從左邊滑出。好像用一個Window鏡片由左到右滑過一份文件一樣：

Sliding Window示意圖

Token資料結構
LZ77建立一種token的資料結構，來維護檔案中的每筆資料。以上圖的Sliding Window為例，在look-ahead buffer裡目前處理到’A’這個字元，壓縮演算法會從左邊的search buffer裡搜尋有 'A' 這個字元所在位置，並且與look-ahead buffer中的 'A' 開頭以下接續的字元比對，盡可能找出與look-ahead buffer裡相同最長字串，也就是 "ABC" 。而token即儲存這個 "ABC" 字串位置的資料結構。
Token裡儲存著三筆資訊，分別為：位移(offset)、比對出的最大相同字串長度，以及緊接在這個相同字串後的字元。
從search buffer最右邊往左搜尋，一直往左找到 "ABC" 是最長的相同字串，而這個 "ABC" 中的A是search buffer從右數過來第8個字元，所以offset就是8， "ABC" 長度是3，於是token資料裡就儲存著：(8, 3, '_' )的訊息。接著，就將look-ahead buffer裡的 "ABC_" 四個字元往左shift到search buffer內。下一次就從 'U' 這個字元開始繼續往下處理。
因此由token內所維護的前兩筆資料( '8' 跟 '3' )，在解壓縮這個token時，就先將offset往左第八個字元( 'A' )輸出到output stream，並將那個字元以下的3個字元都輸出，且由token儲存的第三個資訊得知最後要output的字元是 '_' 。
並且LZ77壓縮演算法從search buffer中比對字元時，可以往右比對到look-ahead buffer裡的字元，最長可以比對到look-ahead buffer長度減一的位置。由上圖為例，search buffer可以往右比對到look-ahead buffer中從右數過來第一個 '0' 的位置(包括 '0' )。
因此在重複性高的文件裡，可大大壓縮資料量。然而此演算法在比對重複字串時，只能在Window範圍內比對，故控制Window範圍勢必會影響整個壓縮的效率。
心得
今年我暑假偶而會閱讀一些有趣的演算法。目前對於資料壓縮的演算法只對Huffman Code比較熟悉。據我所知ZIP壓縮技術是由Huffman Code跟LZ77一起結合改良出的演算法，希望透過學習不久就可實作出一些解壓縮的程式來玩玩。