什麼是bom?
BOM 是 Byte Order Mark 的縮寫。是UTF編碼方案里用於標識編碼的標準標記,在UTF-16里本來是FF FE,變成UTF-8就成了EF BB BF。這個標記是可選的,因為UTF8位元組沒有順序,所以它可以被用來檢測一個位元組流是否是UTF-8編碼的。微軟做這種檢測,但有些軟體不做這種檢測,而把它當作正常字元處理。
微軟在自己的UTF-8格式的文本檔案之前加上了EF BB BF三個位元組,windows上面的notepad等程式就是根據這三個位元組來確定一個文本檔案是ASCII的還是UTF-8的,然而這個只是微軟暗自作的標記,其它平台上並沒有對UTF-8文本檔案做個這樣的標記。
查看utf-8的方法
也就是說一個UTF-8檔案可能有BOM,也可能沒有BOM,那么怎么區分呢?
四種方法。
1,用UltraEdit-32打開檔案,切換到十六進制編輯模式,察看檔案頭部是否有EF BB BF。
2,用Dreamweaver打開,察看頁面屬性,看“包括Unicode簽名BOM”前面是否有個勾。
3,用Windows的記事本打開,選擇“另外儲存為”,看檔案的默認編碼是UTF-8還是ANSI,如果是ANSI則不帶BOM。
4:用emeditor打開,選擇“另外儲存為”,看編碼下面的
添加 unicode 簽名(bom)(G)是否勾選。如圖:
在php中套用時的問題和解決方案
注意用Convertz把gb2312檔案轉換成UTF-8檔案時,默認設定是不帶BOM的。不帶BOM可能出現上述亂碼問題,但是帶BOM,對於php的include檔案要小心,會在php位元組流前面多出EFBBBF,提前輸出到顯示器有可能會帶來程式錯誤。一個解決方案是凡是被include的檔案都保存為ANSI,主檔案可以是UTF-8。要想把一個檔案去掉BOM,使用UlterEdit打開,切換到十六進制編輯模式,把最前面三個位元組(就是那該死的EFBBBF)替換為20,保存(注意關閉保存時自動備份的功能),再切換到默認編輯模式,把最前面的三個空格去掉就可以了。
編碼小知識
另外還學到一些編碼的小知識:所謂的unicode保存的檔案實際上是utf-16,只不過恰好跟unicode的碼相同而已,但在概念上unicode與utf是兩回事,unicode是記憶體編碼表示方案,而utf是如何保存和傳輸unicode的方案。utf-16還分高位在前(LE)和高位在後(BE)兩種。官方的utf編碼還有utf-32,也分LE和BE。非unicode官方的utf編碼還有utf-7,主要用於郵件傳輸。utf-8的單位元組部分是和iso-8859-1兼容的,這主要是一些舊的系統和庫函式不能正確處理utf-16而被迫出來的,而且對英語字元來說,也節省保存的檔案空間(以非英語字元浪費空間為代價)。在iso-8859-1的時候,utf8和iso-8859-1都是用一個位元組表示的,當表示其它字元的時候,utf-8會使用兩個或三個位元組。