星期四, 11月 21, 2013

[MySQL] 與unicode的戰爭--MySQL utf8

最近爬了FB的一些資料 遇到一個字串「404325949 ++找好友 󾌸 天天用✌」
發現如果直接用Python寫進MySQL(charset=utf8),會被切斷成「404325949 ++找好友」
後面的字串都不見了,非常疑惑。 
後來發現之前的資料表中有特別設定一個欄位的charset為utf8mb4
問了一下公司前輩也看了一些資料
才發現其中牽扯到unicode和一些MySQL版本支援的問題
這邊講講我的理解

星期二, 11月 19, 2013

[Python] 你也會寫的google search crawler

最近會用到Google的搜尋解果
但是Google似乎在三年前就把web search api給deprecate了
現在用Google custom search只能對特定網站搜尋
小氣巴拉的

所以身為一個硬(ㄌㄢˇ)派(ㄉㄨㄛˋ)的工程師
當然二話不說就是自幹一個出來