正文

UTF-8、Unicode、GB2312之间转换2008-07-25 15:49:00

【评论】 【打印】 【字体：大 中 小】 本文链接：http://blog.pfan.cn/miaowei/37092.html

分享到：

首先声明，这是一篇转载文章，转载自许伟群先生的文章。个人觉得这篇文章写 的比较周到。

http://blog.csdn.net/xuweiqun/archive/2006/11/07/1370420.aspx

文章如下：

特搜集了UTF-8,UNICODE,Gb2312他们3个之间的相互转换.
UTF-8:   1~3字节可变
UNICODE: 2字节一个字符
GB2312:  1字节一个字符
例子： “你”字的UTF-8编码: E4 BD A0　　　　　　　　11100100 10111101 10100000
“你”的Unicode编码: 4F 60　　　　　　　　　   01001111 01100000
按照UTF-8的编码规则，分解如下：xxxx0100 xx111101 xx100000
把除了x之外的数字拼接在一起，就变成“你”的Unicode编码了。
注意UTF-8的最前面３个1，表示整个UTF-8串是由３个字节构成的。
经过UTF-8编码之后，再也不会出现敏感字符了，因为最高位始终为1。
  1. 类定义  
  2.   
  3. class CChineseCode  
  4.   
  5. {  
  6.   
  7.    public:  
  8.   
  9.        static void UTF_8ToUnicode(wchar_t* pOut,char *pText);  // 把UTF-8转换成Unicode  
  10.   
  11.        static void UnicodeToUTF_8(char* pOut,wchar_t* pText);  //Unicode 转换成UTF-8  
  12.   
  13.        static void UnicodeToGB2312(char* pOut,wchar_t uData);  // 把Unicode 转换成 GB2312   
  14.   
  15.        static void Gb2312ToUnicode(wchar_t* pOut,char *gbBuffer);// GB2312 转换成　Unicode  
  16.   
  17.        static void GB2312ToUTF_8(string& pOut,char *pText, int pLen);//GB2312 转为 UTF-8  
  18.   
  19.        static void UTF_8ToGB2312(string &pOut, char *pText, int pLen);//UTF-8 转为 GB2312  
  20.   
  21. };  
  22.   
  23.   
  24.   
  25. 类实现  
  26.   
  27.   
  28.   
  29. void CChineseCode::UTF_8ToUnicode(wchar_t* pOut,char *pText)  
  30.   
  31. {  
  32.   
  33.     char* uchar = (char *)pOut;  
  34.   
  35.   
  36.   
  37.     uchar[1] = ((pText[0] & 0x0F) << 4) + ((pText[1] >> 2) & 0x0F);  
  38.   
  39.     uchar[0] = ((pText[1] & 0x03) << 6) + (pText[2] & 0x3F);  
  40.   
  41.   
  42.   
  43.     return;  
  44.   
  45. }  
  46.   
  47.   
  48.   
  49. void CChineseCode::UnicodeToUTF_8(char* pOut,wchar_t* pText)  
  50.   
  51. {  
  52.   
  53.     // 注意 WCHAR高低字的顺序,低字节在前，高字节在后  
  54.   
  55.     char* pchar = (char *)pText;  
  56.   
  57.   
  58.   
  59.     pOut[0] = (0xE0 | ((pchar[1] & 0xF0) >> 4));  
  60.   
  61.     pOut[1] = (0x80 | ((pchar[1] & 0x0F) << 2)) + ((pchar[0] & 0xC0) >> 6);  
  62.   
  63.     pOut[2] = (0x80 | (pchar[0] & 0x3F));  
  64.   
  65.   
  66.   
  67.     return;  
  68.   
  69. }  
  70.   
  71.   
  72.   
  73. void CChineseCode::UnicodeToGB2312(char* pOut,wchar_t uData)  
  74.   
  75. {  
  76.   
  77.     WideCharToMultiByte(CP_ACP,NULL,&uData,1,pOut,sizeof(wchar_t),NULL,NULL);  
  78.   
  79.     return;  
  80.   
  81. }       
  82.   
  83.   
  84.   
  85. void CChineseCode::Gb2312ToUnicode(wchar_t* pOut,char *gbBuffer)  
  86.   
  87. {  
  88.   
  89.     ::MultiByteToWideChar(CP_ACP,MB_PRECOMPOSED,gbBuffer,2,pOut,1);  
  90.   
  91.     return ;  
  92.   
  93. }  
  94.   
  95.   
  96.   
  97. void CChineseCode::GB2312ToUTF_8(string& pOut,char *pText, int pLen)  
  98.   
  99. {  
  100.   
  101.     char buf[4];  
  102.   
  103.     int nLength = pLen* 3;  
  104.   
  105.     char* rst = new char[nLength];  
  106.   
  107.       
  108.   
  109.     memset(buf,0,4);  
  110.   
  111.     memset(rst,0,nLength);  
  112.   
  113.       
  114.   
  115.     int i = 0;  
  116.   
  117.     int j = 0;        
  118.   
  119.     while(i < pLen)  
  120.   
  121.     {  
  122.   
  123.             //如果是英文直接复制就可以  
  124.   
  125.             if( *(pText + i) >= 0)  
  126.   
  127.             {  
  128.   
  129.                     rst[j++] = pText[i++];  
  130.   
  131.             }  
  132.   
  133.             else  
  134.   
  135.             {  
  136.   
  137.                     wchar_t pbuffer;  
  138.   
  139.                     Gb2312ToUnicode(&pbuffer,pText+i);  
  140.   
  141.                       
  142.   
  143.                     UnicodeToUTF_8(buf,&pbuffer);  
  144.   
  145.                       
  146.   
  147.                     unsigned short int tmp = 0;  
  148.   
  149.                     tmp = rst[j] = buf[0];  
  150.   
  151.                     tmp = rst[j+1] = buf[1];  
  152.   
  153.                     tmp = rst[j+2] = buf[2];      
  154.   
  155.                       
  156.   
  157.                     j += 3;  
  158.   
  159.                     i += 2;  
  160.   
  161.             }  
  162.   
  163.     }  
  164.   
  165.     rst[j] = '';  
  166.   
  167.   
  168.   
  169.     //返回结果  
  170.   
  171.     pOut = rst;               
  172.   
  173.     delete []rst;     
  174.   
  175.       
  176.   
  177.     return;  
  178.   
  179. }  
  180.   
  181.   
  182.   
  183. void CChineseCode::UTF_8ToGB2312(string &pOut, char *pText, int pLen)  
  184.   
  185. {  
  186.   
  187.     char * newBuf = new char[pLen];  
  188.   
  189.     char Ctemp[4];  
  190.   
  191.     memset(Ctemp,0,4);  
  192.   
  193.   
  194.   
  195.     int i =0;  
  196.   
  197.     int j = 0;  
  198.   
  199.       
  200.   
  201.     while(i < pLen)  
  202.   
  203.     {  
  204.   
  205.         if(pText[i] > 0)  
  206.   
  207.         {  
  208.   
  209.                 newBuf[j++] = pText[i++];                         
  210.   
  211.         }  
  212.   
  213.         else                   
  214.   
  215.         {  
  216.   
  217.                 WCHAR Wtemp;  
  218.   
  219.                 UTF_8ToUnicode(&Wtemp,pText + i);  
  220.   
  221.           
  222.   
  223.                 UnicodeToGB2312(Ctemp,Wtemp);  
  224.   
  225.               
  226.   
  227.                 newBuf[j] = Ctemp[0];  
  228.   
  229.                 newBuf[j + 1] = Ctemp[1];  
  230.   
  231.   
  232.   
  233.                 i += 3;      
  234.   
  235.                 j += 2;     
  236.   
  237.         }  
  238.   
  239.     }  
  240.   
  241.     newBuf[j] = '';  
  242.   
  243.       
  244.   
  245.     pOut = newBuf;  
  246.   
  247.     delete []newBuf;  
  248.   
  249.       
  250.   
  251.     return;   
  252. }    

阅读(4140) | 评论(0)


版权声明：编程爱好者网站为此博客服务提供商，如本文牵涉到版权问题，编程爱好者网站不承担相关责任，如有版权问题请直接与本文作者联系解决。谢谢！

评论

暂无评论
您需要登录后才能评论，请 登录 或者 注册