編碼[計算機術語]:編碼是用預先規定的方法將文字、數字或其他對象編成數碼 -百科知識中文網

簡要概述

通過壓縮檔案將其轉換成另一格式檔案，或將語音或視頻模擬信號改編成數位訊號的過程。

編碼是根據一定的協定或格式把模擬信息轉換成比特流的過程。

在計算機硬體中，編碼（coding）是在一個主題或單元上為數據存儲，管理和分析的目的而轉換信息為編碼值（典型地如數字）的過程。在軟體中，編碼意味著邏輯地使用一個特定的語言如C或C++來執行一個程式。在密碼學中，編碼是指在編碼或密碼中寫的行為。

將數據轉換為代碼或編碼字元，並能譯為原數據形式。是計算機書寫指令的過程，程式設計中的一部分。在地圖自動製圖中，按一定規則用數字與字母表示地圖內容的過程，通過編碼，使計算機能識別地圖的各地理要素。

n位二進制數可以組合成2的n次方個不同的信息，給每個信息規定一個具體碼組，這種過程也叫編碼。

數字系統中常用的編碼有兩類，一類是二進制編碼，另一類是二—十進制編碼。

編碼常識

簡介

GB編碼標準中，比較常用的是GB2312和GBK兩種，GB2312是GBK的一個子集，GB2312編碼範圍是0xA1A1-0xFEFE，如果純粹的GB2312編碼，處理起來是十分簡單的，但處理GBK字元集時有些小的提示，先說說GBK編碼的標準吧：

GBK採用雙位元組表示，總體編碼範圍為8140-FEFE，首位元組在81-FE之間，尾位元組在40-FE之間，剔除xx7F一條線。總計23940個碼位，共收入21886個漢字和圖形符號，其中漢字（包括部首和構件）21003個，圖形符號883個。

編碼分類

1.漢字區。

包括：

a.GB2312漢字區。即GBK/2:B0A1-F7FE。收錄GB2312漢字6763個，按原順序排列。

b.GB13000.1擴充漢字區。包括：

(1)GBK/3:8140-A0FE。收錄GB13000.1中的CJK漢字6080個。

(2)GBK/4:AA40-FEA0。收錄CJK漢字和增補的漢字8160個。

CJK漢字在前，按UCS代碼大小排列；增補的漢字（包括部首和構件）在後，按《康熙字典》的頁碼/字位排列。

2.圖形符號區。

包括：

a.GB2312非漢字元號區。即GBK/1:A1A1-A9FE。其中除GB2312的符號外，

還有10個小寫羅馬數字和GB12345增補的符號。計符號717個。

b.GB13000.1擴充非漢字區。即GBK/5:A840-A9A0。BIG-5非漢字元號、結構符和“○”排列在此區。計符號166個。

3.用戶自定義區。

分為(1)(2)(3)三個小區。

(1)AAA1-AFFE，碼位564個。

(2)F8A1-FEFE，碼位658個。

(3)A140-A7A0，碼位672個。

第(3)區儘管對用戶開放，但限制使用，因為不排除未來在此區域增補新字元的可能性。

【這裡有幾個小技巧】

一、在php中，字元編碼是按所傳送的編碼為準的，因此使用的就是用戶輸入的編碼，不會自動改變，但在asp中，默認的編碼是unicode，這樣我們很容易就能得到gbk->unicode的編碼對照表，這樣即使在毫無基礎庫的情況下也能很容易的實現gbk到utf-8的轉換了；

二、由於GBK是高位最低數值是0x40，即是64，因此，有時候組織一些涉及中文的字串時，分割字元最好用64之前的ascii碼，這樣在任意情況下替換或分割都不會出現亂碼，比較常用的是","、";"、":"、""、""、""，這些字元永遠都不會給gb編碼添亂。

編碼種類

編碼(Encoding)在認知上是解釋傳入的刺激的一種基本知覺的過程。技術上來說，這是一個複雜的、多階段的轉換過程，從較為客觀的感覺輸入（例如光、聲）到主觀上有意義的體驗。

字元編碼(Characterencoding)是一套法則，使用該法則能夠對自然語言的字元的一個集合（如字母表或音節表），與其他東西的一個集合（如號碼或電脈衝）進行配對。

文字編碼

文字編碼(Textencoding)使用一種標記語言來標記一篇文字的結構和其他特徵，以方便計算機進行處理。

語義編碼

語義編碼(Semanticsencoding)，以正式語言乙對正式語言甲進行語義編碼，即是使用語言乙表達語言甲所有的辭彙（如程式或說明）的一種方法。

電子編碼

電子編碼(Electronicencoding)是將一個信號轉換成為一個代碼，這種代碼是被最佳化過的以利於傳輸或存儲。轉換工作通常由一個編解碼器完成。

PCM編碼

PCM脈衝編碼調製是PulseCodeModulation的縮寫。（又叫脈衝編碼調製）：數字通信的編碼方式之一。主要過程是將話音、圖像等模擬信號每隔一定時間進行取樣，使其離散化，同時將抽樣值按分層單位四捨五入取整量化，同時將抽樣值按一組二進制碼來表示抽樣脈衝的幅值。

神經編碼

神經編碼(Neuralencoding)是指信息在神經元中被如何描繪的方法。

記憶編碼

記憶編碼(Memoryencoding)是把感覺轉換成記憶的過程。

加密

加密(Encryption)是為了保密而對信息進行轉換的過程。

解碼

解碼(Transcoding)是將編碼從一種格式轉換到另一種格式的過程。

編碼體系

ASCII與Binary

我們日常接觸到的檔案分ASCII和Binary兩種。ASCII是“美國信息交換標準編碼”的英文字頭縮寫，可稱之為“美標”。美標規定了用從0到127的128個數字來代表信息的規範編碼，其中包括33個控制碼，一個空格碼，和94個形象碼。形象碼中包括了英文大小寫字母，阿拉伯數字，標點符號等。我們平時閱讀的英文電腦文本，就是以形象碼的方式傳遞和存儲的。美標是國際上大部分大小電腦的通用編碼。

然而電腦中的一個字元大都是用一個八位數的二進制數字表示。這樣每一字元便可能有256個不同的數值。由於美標只規定了128個編碼，剩下的另外128個數碼沒有規範，各家用法不一。另外美標中的33個控制碼，各廠家用法也不盡一致。這樣我們在不同電腦間交換檔案的時候，就有必要區分兩類不同的檔案。第一類檔案中每一個字都是美標形象碼或空格碼。這類檔案稱為“美標文本檔案”(ASCII Text Files)，或略為“文本檔案”，通常可在不同電腦系統間直接交換。第二類檔案，也就是含有控制碼或非美標碼的檔案，通常不能在不同電腦系統間直接交換。這類檔案有一個通稱，叫“二進制檔案”(Binary Files)。

國標、區位、“準國標”

“國標”是“中華人民共和國國家標準信息交換用漢字編碼”的簡稱。國標表（基本表）把七千餘漢字、以及標點符號、外文字母等，排成一個94行、94列的方陣。方陣中每一橫行叫一個“區”，每個區有九十四個“位”。一個漢字在方陣中的坐標，稱為該字的“區位碼”。例如“中”字在方陣中處於第５４區第４８位，它的區位碼就是5448。

其實94這個數字。它是美標中形象碼的總數。國標表沿用這個數字，本意大概是要用兩個美標形象符代表一個漢字。由於美標形象符的編碼是從33到126，漢字區、位碼如果各加上32，就會與美標形象碼的範圍重合。如上例“中”字區、位碼加上32後，得86,80。這兩個數字的十六進制放在一起得5650，稱為該字的“國標碼”，而與其相對應的兩個美標符號，VP，也就是“中”字的“國標符”了。

這樣就產生了一個如何區分國標符與美標符的問題。在一個中英文混用的檔案里，“VP”到底代表“中”字呢，還是代表某個英文字頭縮寫？電子工業部第六研究所開發CCDOS的時候，使用了一個簡便的解決方案：把國標碼的兩個數字各加上128，上升到非美標碼的位置。（改變後的國標碼，習慣上仍叫“國標”。）

這個方案固然解決了原來的問題，可是新的問題隨之產生。中文檔案成了“二進制檔案”，既不能可靠地在不同電腦系統間交換，也不與市場上大部分以美標符號為設計對象的軟體兼容。

為了區分以上兩種“國標”，我們把原與美標形象碼重合的國標碼稱為“純國標” ，而把CCDOS加上128的國標碼稱為“準國標”。

GBK碼

GBK碼是GB碼的擴展字元編碼，對多達2萬多的簡繁漢字進行了編碼，簡體版的Win95和Win98都是使用GBK作系統內碼。

從實際運用來看，微軟自win95簡體中文版開始，系統就採用GBK代碼，它包括了TrueType宋體、黑體兩種GBK字型檔（北京中易電子公司提供），可以用於顯示和列印，並提供了四種GBK漢字的輸入法。此外，瀏覽器IE4.0簡體、繁體中文版內部提供了一個GBK-BIG5代碼雙向轉換功能。此外，微軟公司為IE提供的語言包中，簡體中文支持（Simplified Chinese Language Support Kit）的兩種字型檔宋體、黑體，也是GBK漢字（珠海四通電腦排版系統開發公司提供）。其他一些中文字型檔生產廠商，也開始提供TrueType或PostScript GBK字型檔。

許多外掛式的中文平台，如南極星、四通利方（Richwin）等，提供GBK碼的支持，包括字型檔、輸入法和GBK與其他中文代碼的轉化器。

網際網路方面，許多網站網頁使用GBK代碼。

但是多數搜尋引擎都不能很好的支持GBK漢字搜尋，大陸地區的搜尋引擎有些能不完善的支持GBK漢字檢索。

其實，GBK是又一個漢字編碼標準，全稱《漢字內碼擴展規範》（Chinese Internatial Code Specification），1995年頒布。GB是國標，K是漢字“擴展”的漢語拼音第一個字母。

GBK向下與GB-2312編碼兼容，向上支持ISO 10646.1國際標準，是前者向後者過渡的一個承啟標準。

GBK規範收錄了ISO 10646.1中的全部CJK漢字和符號，並有所補充。具體包括：GB 2312中的全部漢字、非漢字元號；GB 13000.1中的其他CJK漢字。以上合計20902個GB化漢字；《簡化總表中》未收入GB 13000.1的52個漢字；《康熙字典》以及《辭海》中未被收入GB 13000.1的28個部首及重要構件；13個漢字結構符；BIG-5中未被GB 2312收入、但存在於GB 13000.1的139個圖形符號；GB 12345增補的6個拼音符號；GB 12345增補的19個豎排圖形符號（GB 12345較GB 2312增補豎排標點符號29個，其中10個未被GB 13000.1收入，故GBK亦不收）；從GB 13000.1的CJK兼容區挑選出的21個漢字；GB 13000.1收入的31個IBM OS/2專用符號。GBK亦採用雙位元組表示，總體編碼範圍為0x8140~0xFEFE之間，首位元組在0x81~0xFE之間，尾位元組在0x40~0xFE之間，剔除0x××7F一條線，總計23940個碼位，共收入21886個漢字和圖形符號，其中漢字（包括部首和構件）21003個，圖形符號883個。

BIG5碼

BIG5碼是針對繁體漢字的漢字編碼，目前在台灣、香港的電腦系統中得到普遍套用。BIG5碼的編碼範圍參考下文。

HZ碼

HZ碼是在Internet上廣泛使用的一種漢字編碼。“HZ”方案的特點，是以“純國標”的中文與美標碼混用。那么“HZ”是怎樣區分國標符和美標符的呢？答案其實也很簡單：當一串美標碼中間插入一段國標碼的時候，我們便在國標碼的前面加上~，後面加上~。這些附加碼分別叫“逃出碼”和“逃入碼”。由於這些附加碼本身也是美標形象碼，整個檔案就儼然是一個美標文本檔案，可以安然地在電腦網上傳遞，也和大部分英文文本處理軟體兼容。

ISO－2022CJK碼

ISO-2022是國際標準組織（ISO）為各種語言字元制定的編碼標準。採用二個位元組編碼，其中漢語編碼稱ISO-2022 CN，日語、韓語的編碼分別稱JP、KR。一般將三者合稱CJK碼。目前CJK碼主要在Internet網路中使用。

UCS和ISO10646

1993年，國際標準ISO10646 定義了通用字元集(Universal Character Set, UCS)。 UCS 是所有其他字元集標準的一個超集。它保證與其他字元集是雙向兼容的。就是說, 如果你將任何文本字元串翻譯到 UCS格式，然後再翻譯回原編碼, 你不會丟失任何信息。

UCS 包含了用於表達所有已知語言的字元。不僅包括拉丁語，希臘語，斯拉夫語,希伯來語,阿拉伯語,亞美尼亞語和喬治亞語的描述，還包括中文，日文和韓文這樣的象形文字，以及平假名，片假名，孟加拉語, 旁遮普語果魯穆奇字元(Gurmukhi)，泰米爾語，印.埃納德語(Kannada)，Malayalam，泰國語, 寮語，漢語拼音(Bopomofo)， Hangul，Devangari，Gujarati， Oriya，Telugu 以及其它語種。對於還沒有加入的語言, 由於正在研究怎樣在計算機中最好地編碼它們，因而最終它們都將被加入。這些語言包括Tibetian，高棉語，Runic(古代北歐文字)，衣索比亞語，其他象形文字，以及各種各樣的印-歐語系的語言，還包括挑選出來的藝術語言比如Tengwar，Cirth 和克林貢語(Klingon)。UCS 還包括大量的圖形的，印刷用的，數學用的和科學用的符號，包括所有由 TeX，Postscript， MS-DOS，MS-Windows， Macintosh， OCR 字型，以及許多其他字處理和出版系統提供的字元。

ISO 10646 定義了一個 31 位的字元集。然而, 在這巨大的編碼空間中, 迄今為止只分配了前 65534 個碼位 (0x0000 到 0xFFFD)。這個UCS的16位子集稱為基本多語言面 (Basic Multilingual Plane, BMP)。將被編碼在16位BMP以外的字元都屬於非常特殊的字元(比如象形文字), 且只有專家在歷史和科學領域裡才會用到它們。按當前的計畫, 將來也許再也不會有字元被分配到從0x000000到0x10FFFF這個覆蓋了超過100萬個潛在的未來字元的 21 位的編碼空間以外去了。ISO 10646-1標準第一次發表於1993年, 定義了字元集與 BMP 中內容的架構。定義 BMP以外的字元編碼的第二部分 ISO 10646-2 正在準備中, 但也許要過好幾年才能完成。新的字元仍源源不斷地加入到 BMP 中, 但已經存在的字元是穩定的且不會再改變了。

UCS 不僅給每個字元分配一個代碼, 而且賦予了一個正式的名字。表示一個 UCS 或 Unicode 值的十六進制數, 通常在前面加上 “U+”, 就象U+0041 代表字元“拉丁大寫字母A”。UCS字元U+0000到U+007F 與 US-ASCII(ISO 646) 是一致的， U+0000 到 U+00FF 與 ISO 8859-1(Latin-1) 也是一致的。從 U+E000 到 U+F8FF，已經BMP 以外的大範圍的編碼是為私用保留的。

1993年，ISO10646中定義的USC-4 (Universal Character Set) ，使用了4 個位元組的寬度以容納足夠多的相當可觀的空間，但是這個過於肥胖的字元標準在當時乃至現在都有其不現實的一面，就是會過分侵占存儲空間並影響信息傳輸的效率。與此同時，Unicode 組織於約 10 年前以 Universal, Unique和Uniform 為主旨也開始開發一個16位字元標準，為避免兩種16位編碼的競爭，1992年兩家組織開始協商，以期折衷尋找共同點，這就是今天的 UCS-2 (BMP，Basic Multilingual Plane，16bit) 和Unicode，但它們仍然是不同的方案。

Unicode碼

關於Unicode我們需要追溯一下它產生的源源。

當計算機普及到東亞時，遇到了使用表意字元而非字母語言的中、日、韓等國家。在這些國家使用的語言中常用字元多達幾千個，而原來字元採用的是單位元組編碼，一張代碼頁中最多容納的字元只有28=256個，對於使用表意字元的語言是在無能為力。既然一個位元組不夠，自然人們就採用兩個位元組，所有出現了使用雙位元組編碼的字元集(dbcs)。不過雙位元組字元集中雖然表意字元使用了兩個位元組編碼，但其中的ASCII碼和日文片假名等仍用單位元組表示，如此一來給程式設計師帶來了不小的麻煩，因為每當設計到DBCS字元串的處理時，總是要判斷當中的一個位元組到底表示的是一個字元還是半個字元，如果是半個字元，那是前一半還是後一半？由此可見DBCS並不是一種非常好的解決方案。

人們在不斷尋找這更好的字元編碼方案，最後的結果就是Unicode誕生了。Unicode其實就是寬位元組字元集，它對每個字元都固定使用兩個位元組即16位表示，於是當處理字元時，不必擔心只處理半個字元。

目前，Unicode在網路、Windows系統和很多大型軟體中得到套用。

字元集編碼

利用iconv函式族

在LINUX上進行編碼轉換時,既可以利用iconv函式族編程實現,也可以利用iconv命令來實現,只不過後者是針對檔案的,即將指定檔案從一種編碼轉換為另一種編碼。

iconv函式族的頭檔案是iconv.h，使用前需包含之。

#include

iconv函式族有三個函式,原型如下：

(1)iconv_t iconv_open(const char *tocode, const char *fromcode)；

此函式說明將要進行哪兩種編碼的轉換，tocode是目標編碼，fromcode是原編碼，該函式返回一個轉換句柄，供以下兩個函式使用。

(2)size_t iconv(iconv_t cd，char **inbuf，size_t *inbytesleft，char **outbuf，size_t *outbytesleft)；

此函式從inbuf中讀取字元，轉換後輸出到outbuf中，inbytesleft用以記錄還未轉換的字元數,outbytesleft用以記錄輸出緩衝的剩餘空間。 (3) int iconv_close(iconv_t cd)；

此函式用於關閉轉換句柄,釋放資源。

【例子1】

用C語言實現的轉換示例程式

/* f.c ：代碼轉換示例C程式 */

#include

#define OUTLEN 255

main()

{

char *in_utf8 = "姝ｅ?ㄥ??瑁?"；

char *in_gb2312 = "正在安裝"；

char out[OUTLEN]；

//unicode碼轉為gb2312碼

rc = u2g(in_utf8,strlen(in_utf8),out,OUTLEN)；

printf("unicode-->gb2312 out=%sn",out)；

//gb2312碼轉為unicode碼

rc = g2u(in_gb2312,strlen(in_gb2312),out,OUTLEN)；

printf("gb2312-->unicode out=%sn",out)；

}

//代碼轉換:從一種編碼轉為另一種編碼

int code_convert(char *from_charset,char *to_charset,char *inbuf,int inlen,char *outbuf,int outlen)

{

iconv_t cd;

int rc;

char **pin = &inbuf;

char **pout = &outbuf;

cd = iconv_open(to_charset,from_charset);

if (cd==0) return -1;

memset(outbuf,0,outlen);

if (iconv(cd,pin,&inlen,pout,&outlen)==-1) return -1;

iconv_close(cd);

return 0;

}

//UNICODE碼轉為GB2312碼

int u2g(char *inbuf,int inlen,char *outbuf,int outlen)

{

return code_convert("utf-8","gb2312",inbuf,inlen,outbuf,outlen);

}

//GB2312碼轉為UNICODE碼

int g2u(char *inbuf,size_t inlen,char *outbuf,size_t outlen)

{

return code_convert("gb2312","utf-8",inbuf,inlen,outbuf,outlen);

}

【例子2】

用C++語言實現的轉換示例程式

/* f.cpp : 代碼轉換示例C++程式 */

#include

#define OUTLEN 255

using namespace std;

// 代碼轉換操作類

class CodeConverter {

private:

iconv_t cd;

public:

// 構造

CodeConverter(const char *from_charset,const char *to_charset) {

cd = iconv_open(to_charset,from_charset);

}

// 析構

~CodeConverter() {

iconv_close(cd);

}

// 轉換輸出

int convert(char *inbuf,int inlen,char *outbuf,int outlen) {

char **pin = &inbuf;

char **pout = &outbuf;

memset(outbuf,0,outlen);

return iconv(cd,pin,(size_t *)&inlen,pout,(size_t *)&outlen);

}

};

int main(int argc, char **argv)

{

char *in_utf8 = "姝ｅ?ㄥ??瑁?";

char *in_gb2312 = "正在安裝";

char out[OUTLEN];

// utf-8-->gb2312

CodeConverter cc = CodeConverter("utf-8","gb2312");

cc.convert(in_utf8,strlen(in_utf8),out,OUTLEN);

cout << "utf-8-->gb2312 in=" << in_utf8 << ",out=" << out << endl;

// gb2312-->utf-8

CodeConverter cc2 = CodeConverter("gb2312","utf-8");

cc2.convert(in_gb2312,strlen(in_gb2312),out,OUTLEN);

cout << "gb2312-->utf-8 in=" << in_gb2312 << ",out=" << out << endl;

}

利用iconv命令

iconv命令用於轉換指定檔案的編碼,默認輸出到標準輸出設備,亦可指定輸出檔案。

用法： iconv [選項...] [檔案...]

有如下選項可用：

輸入/輸出格式規範：

-f, --from-code=名稱原始文本編碼

-t, --to-code=名稱輸出編碼

【信息】

-l, --list 列舉所有已知的字元集

輸出控制：

-c 從輸出中忽略無效的字元

-o, --output=FILE 輸出檔案

-s, --silent 關閉警告

--verbose 列印進度信息

-?, --help 給出該系統求助列表

--usage 給出簡要的用法信息

-V, --version 列印程式版本號

【例子】

iconv -f utf-8 -t gb2312 aaa.txt >bbb.txt

這個命令讀取aaa.txt檔案，從utf-8編碼轉換為gb2312編碼,其輸出定向到bbb.txt檔案。

小結：LINUX為我們提供了強大的編碼轉換工具,給我們帶來了方便。

傳播學辭彙

編碼[計算機術語]

基本信息

簡要概述

編碼常識

簡介

編碼分類

編碼種類

文字編碼

語義編碼

電子編碼

PCM編碼

神經編碼

記憶編碼

加密

解碼

編碼體系

ASCII與Binary

國標、區位、“準國標”

GBK碼

BIG5碼

HZ碼

ISO－2022CJK碼

UCS和ISO10646

Unicode碼

字元集編碼

利用iconv函式族

利用iconv命令

傳播學辭彙

相關詞條

物料編碼

字元編碼

編碼理論

EPC編碼

信息編碼

變換編碼

編碼[計算機術語]

霍夫曼編碼

相關搜尋

熱門詞條