分類: 技術

AI 學習小筆記

前陣子發現, 網路上不只是有很多學習資源, 而且好幾個單位都證書. 雖然這些證書把關通常很鬆散, 但是用來記錄自己學了什麼就很有幫助. 換個角度看, 畢竟我們不是被逼著上課, 已經知道的或重複的就可以跳過. 而不是像在學校裡, 不能因為聽懂就翹課或是不參加考試, 那就畢不了業了.

如果說 AI 有哪個東西要先學習, 我看起來還是 Python. 然後搭配自己的專業領域使用. 像是 audio, video, image, 或者是我以前用在 OCR. 新手可以學 Python 的地方超級多, 入門也非常簡單. 所以這應該是正確的第一步無誤. 再來介紹一下錯誤的第一步.

有些人, 像是我, 從小就對人腦很有興趣. 總是會想要用人腦的特性來做出更厲害的 AI. 比方說, 有一天我想到遺忘也是人的特性, 如果讓神經網路可以遺忘, 不就是一大突破了! 哇哈哈哈…不過我很快就發現 LSTM (Long Short-Term Memory) 已經有這招了! 我又想到, 意義相似的字應該用向量表示遠近比較好! 再一查, word embedding 已經有向量觀念….嗯, 我想得到人家也想得到.

我記錄 idea 的 Onenote 筆記

所以專家幾乎都不推薦用人腦去設計 NN. 頂多是在投影片裡, 從生醫角度切入, 使人覺得更高大上 (e.g. BERT 用上 DNA 雙螺旋來講解). 除非你就是要複製人腦, 不在乎它到底能不能實用 (make money)! 至於聽起來就沒有商機則是例外. 像是 hypothalamic-pituitary-adrenal axis [6] 和 AI 的關係就只限於  Adrenal Insufficiency (腎上腺機能不全), 表示未來讓 AI 談戀愛這個領域還有發展空間.

言歸正傳. 有了語言, 接下來要找環境. 以前我傻傻地自己開 Jupyter Notebook, 後來發現 Google Colabatory 就能直接用了. 除非需要很大的算力時, 才需要用到自己 PC 的顯卡. 若只是要練習 Python, 學 AI, 直接註冊一個免費的 Colab 帳號即可, 而且很多 Google 的網路資源都可以直接調用. 不用到處找. Colab 不開 GPU/TPU 時, 預設在 no power 等級. 設定裡面可以選柯基犬、貓咪、螃蟹模式, 我還以為有什麼差別, 原來是小動物跑來跑去~~

接下來, 我認為值得按讚是 CNN. 因為除了 CNN, 很多背景知識都跟我 30 年前學的差不多. (當然我那個時候講到 CNN, 一定是先想到 Concurrent 開頭的 CNN, 不是現在 Convolution 開頭的這個 CNN). 會強調 CNN, 主要是 CNN + DNN (deep learning) 把特徵值和絕對位置脫鉤了. 這個真的很厲害.

新 model 可以留給博士們研究, 要實做就需要學 framework. Google 主推的 tensorflow [3] 有許多教學網站. 除了 Youtube 上非常多老師在教. FreeCodeCamp [2] 也 “免費" 教很多技術, 他們在介紹 AI 相關技術時也會用到 tensorflow + Colab, 我覺得挺不錯. 其中, 講解的小哥可以快速講一些基本觀念. 當然他們沒辦法一行一行 trace code, 或是把細節講得很清楚. 講師帶我們瀏覽完大概, 細節就要自己花時間看, 最好是 Colab 開起來模擬一遍.

在 Youtube 也可以找到 FreeCodeCamp 小哥 Tim 的 7 小時學 tensorflow. 然而, 連復仇者終局之戰都沒演那麼久了, 誰能一口氣看得完這個? 所幸在 FreeCodeCamp 上, 這個影片會被分成大約每 15 分鐘一段的短片, 每個短片後面還有一個小測驗, 算是滿貼心的設計. 這樣就不需要太考驗耐心.

然而, FreeCodeCamp 不是 Google 這種大戶, 所以它需要大家自願 donate 才活得下去 (5 USD 起跳, 每個月捐 20 USD 可以讓其他人學習 1 千小時.). 畢竟 lib 或是 tool 會過時, 隔一陣子確實該更新或 debug. 像是 tensorflow 小哥影片中的 sklearn 已經可以改用新版的 scikit-learn, 或者講 DNN 的老哥在 7’51″ 這個地方線的顏色有些不對, 按圖 negative * negative 應該是 positive, 後續影片播到 10’10″ 左右這兩條線才更正為 positive. 總之, 他們值得贊助, 也需要贊助.

至於要學另一個主流 framework 是 Pytorch, 教學影片除了 Youtube, 就只找到 Microsoft [4]. Pytorch 當初是 Meta 推的, 不過 Meta 好像跟 Google, Microsoft (OpenAI) 的發展沒得比. 但是看在開源 llama2 的份上, 我對 Meta 感激不盡, 也原諒它一直偷聽我講話.

基於我們不會大改 model, 用 LoRA (Low-Rank Adaptation) [5] 可以小改. LoRA 訴求主要是在某幾層針對特定目標減少計算. 更小的修改是直接在既有模型後面再加一層 (或許幾層也是可以), 把原本的結果從新詮釋. FreeCodeCamp 的例子是從原本能分辨 10 種動物的模型, 改為只要能認貓或狗. 當然這沒省到計算量, 但是可以揀現成.

[REF]

  1. https://colab.research.google.com/
  2. https://www.freecodecamp.org/
  3. https://www.tensorflow.org/?hl=zh-tw
  4. https://learn.microsoft.com/zh-tw/shows/ai-show/pytorch-deep-dive
  5. https://d223302.github.io/AACL2022-Pretrain-Language-Model-Tutorial/lecture_material/AACL_2022_tutorial_PLMs.pdf
  6. https://www.ncbi.nlm.nih.gov/pmc/articles/PMC3181830/

少即是多, 我是說 Mesh

原本家裡裝 100mb 的 VDSL 網路, 用起來也還算順手. 家中一度有網路死角的問題, 也都用 mesh 路由器搞定了. 不過中華電信一直來推銷光纖到府, 我同意安裝之後, 裝的人說他沒辦法拉到 4 樓, 把我勸退. 隔了幾年, 我自己也考慮升級了, 又是同一位師傅被派來安裝. 這次他戳了半天電話管線, 說連 1 樓也裝不了.

雖然我不記得他, 但是他依稀記得已經來過一次, 那應該就沒錯了. 在同一個地方跌倒兩次, 師傅也受不了. 沉默了一陣子厚, 他決定破釜沉舟, 用電話線拉光纖穿牆. 就這樣從傍晚弄到天黑, 我老婆拿手機當手電筒幫他在社區路邊照明, 我在房裡聽電話施力, 或拉或送或停, 這樣搞了半天才算打通到一樓.

終於升級 400mb 了! 不過中華電信送的那支全屋通, 幾乎沒辦法傳到 4F~~ 所以我只好把原本的 mesh 路由器搬出來. 第一版網路布局用 4 支 TP-Link deco M5, 我自己在 4F 沒甚麼訊號, 女兒也抱怨網路比以前差! 這下就有點糗了, 花了更多錢結果大家網路都變慢. 雖然一樓訊號變超好, 但沒有人表示感謝! 每當大家回房間訊號都變差, 導致民怨四起!!

我想說那個 mesh 已經停產了, 不如多買幾隻新的來彌補死角. 所以買了 3 隻新的 TP-Link deco X20, 這是第二個版本. 豬 (殊 O) 不知, 死角可能少了, 但是網路不但沒有改善, 路由器常常由綠燈轉成紅燈. 這個 7 路由器版本相當失敗! 因為我 4F 房間的網路太差了, 我試著用電力線橋接器從 1 樓直接拉到 4 樓, 結果如預期中沒訊號~~~

看到路由器經常是紅燈, 我以為它壞了. 於是再買 3 隻 X20 (這玩意兒一次就要買好幾隻), 淘汰掉一隻舊的, 家裡變成有 9 隻 mesh – 這是第三版. 已經裝到幾乎沒地方可以放了. 那訊號有變好嗎? 並沒有. 反而是網路常常重啟, 自動找路徑. 有時候路由器自己找的路徑和我想得一樣, 但有時卻是悲劇的星狀 – 所有路由器連回接 modem 的那隻, 或者明顯地把我的房間連到更長的路徑去~~~網速只剩下 1~3 Mbps 了.

有時候, 我們不是不夠, 而是太多. 不是搞不定, 而是偏離了正確的道路. 週六逛完商場, 難得走了一萬多步後領悟到這點, 回到家我就把網路改裝回最初的樣子. 光纖 modem 放一樓, 用老舊的 1800 Mbps 電力線橋接器連到二樓. 以此為起點, 只留 5 顆 AX1800 (mbps) 的 mesh, 其實 4 顆應該也可以, 懶得拆了. 用簡單的接法, 就把 4 樓的網速提升到 85 Mbps 以上. 下面是還沒調校完的第五版數據, 隨便都大勝以前水準. 現在我的備用路由器都足夠換一輪了, QQ!

結論: Mesh 很好用, 但路由器不要裝太多. WIFI 6 從 1 樓傳到 4 樓基本上做不到, 傳兩層樓差不多是極限 (下行 2.45 Mbps, 上行 8.34 Mbps). Mesh 搭配電力線橋接器是跨樓層布局的好選擇.

[2023/12/13 後記]

TP-link X20 舊版 (v1.0.7) 沒有指定訊號來的功能, 但 FW 升級到 v1.1.14 之後就可以自己安排哪個路由連哪個. 我發現自己排的還是比自動選得好, 速度還可以再提升一點.

近日和電腦奮戰的小整理

前幾天研究 Stable Diffusion, 使用 Web UI 的話都很簡單, 算是好上手. 只有萬一需要安裝 matplotlib 時需要 work around. SD 預設搭配的 Python 3.10.6 版本, 在 stable-diffusion-webui\venv\Lib\site-packages\matplotlib-3.7.2.dist-info 少了 metadata. 此時要把原本 matplotlib 相關目錄都砍掉, 用 Visual Studio 編一個全新的 matplotlib 放在同一個目錄, 然後啟動 webui-user.bat 時, 它就會自己編出 metadata 來了.

Stable Diffusion 還滿好玩的. 我一開始就叫它畫兔子、貓、狗在草原上, 結果它給我這個. 可見得 prompt 有多重要!

至於先前的 llama-2, 一開放我就去申請. 不過用 Anaconda 怎麼都編不過! 我覺得環境這麼難搞定, 一定是我沒有裝 Ubuntu 的關係. 畢竟正規搞 AI 的人應該不是用 Windows. 所以我決定把電腦改成 Windows-Ubuntu dual boot. 按網路教學去做 dual boot, 基本上不難. 最大坑就是 Ubuntu 預設 nouveau 顯卡 driver 跟真正的顯卡不相容!

第一關要裝好顯卡 driver 再 reboot, 它的 driver 還不是選 Nvidia 型號, 而是 CUDA driver 版本. 我的 RTX3090 選 515 OK! 第二關就是開機後 freeze 在 splash 畫面, 圈圈轉了幾下就不動了. 放一整晚也沒開起來.

就在我打算 Google 要怎麼退坑 dual boot 時, 竟然讓我找到正解 [1] ! 原來在安裝頁面就該動手了! 重點在於按 e 開始 edit, 把 quite splash 換成 nomodeset, 然後按 F10 重新開機. 本文的作者說是要在安裝前服用, 不過我已經完成 dual boot, 選 Ubuntu 開機才卡 splash, 所幸這招依然有效! 省了我不少時間.

安裝 Ubuntu 時還走一點冤枉路, 我碰到好幾次了. 不知道能不能防範未然? 那就是第一次開機畫面幾乎是全黃的, 只有深黃淺黃之分. 我按照類似 [2] 就能解決它. 只是在找出正確按鍵在哪裡的過程中, 真是看得眼睛都快瞎了!

[REF]

  1. https://blog.csdn.net/qq_41972927/article/details/88580898
  2. https://blog.csdn.net/Eniac0/article/details/121221432

AI 搶飯碗!

本來今天打算整理一篇以前的讀書心得, 不過 AI 搶軟體工程師飯碗這件事對我還滿有衝擊的, 所以特別紀錄一下.

今天是十天連假的收假日, 不小心打開很久沒玩的數獨 (Sudoku), 發現竟然有對戰模式, 可以跟外國真人對戰! 這個比寶可夢的對戰刺激多了, 所以我馬上跟配對的老印、老法、老德殺起來! 前幾戰的對手超弱, 但後面的對手滿強的, 幾乎是分秒必爭. 稍微分心一點點就輸了. 畢竟我好久沒玩了, 反應慢很多, 只得到 16 勝 8 敗就想趕快休息. 不然萬一心臟負荷不了猝死就划不來了. 這樣以後人家問起老爸的死因, 女兒只能說死於某一波寒流這樣塘塞過去.

(對了, 此遊戲選台灣會變成中國的一部分, 所以我推薦女兒玩, 結果她選冰島籍).

接著我發現電腦的 ChatGPT 窗口還沒關, 順便就問它, “can you resolve a sudoku?", 然後奇妙的事情發生了. 我知道 ChatGPT 會寫程式, 但我只是隨 “口" 問問, 它就把程式寫好了. 看來不只是可以幫我們交訓練課程的心得報告而已. 連我們以後上機考試要更嚴格防弊了….哈!

Yes, a sudoku can be resolved using algorithms such as backtracking, constraint propagation, and search. Here’s an example of a simple backtracking solution in Python:

哇! 架構都出來了! 稍微把那多餘的 return 拿掉, 加個 class 的殼, 程式就能用了. 不求任何優化, 只要把題目的 array 輸進去, 答案立馬出來.

這有什麼啟示呢? 我想大理工時代將要隨著 AI 的興起而沒落了. 基本上, 現在電資的學生不分良窳, 幾乎都比文組有職場競爭力. 不過 AI 的程式都寫得比人類又好又快了, 那自然也就不需要這麼多就業人口了. 雖然文組可能會丟掉飯碗 – AI 當小編, AI 寫文案, AI 寫專欄, ….. 不過近年風光無限的理工同學, 真的要當心 AI 寫程式、畫 layout 這些變化. 基本上這都還算是初階. 等到它會分析 bug, 連資深同仁的工作可能都不保了. 至於 PM, …可能可以再撐一陣子, 但是前途也是堪慮. 所以…人脈很重要, 這個 AI 取代不了~~~哈!

自製 mini ChatGPT

根據 [1], 決定自製一個 mini ChatGPT. Afiz 的流程如下:

首先在 Anaconda 中 pip install openai 就失敗, 原來要用 conda install -c conda-forge openai [2].

pip install gradio 沒問題

from config open_api_key 一看就不合用! 看 [2] 裡面的說明, 要先參加 OpenAI會員. 這個我已經註冊過了. 登入後, 可以在 https://beta.openai.com/account/api-keys 產生 key. 然後把 key 設為環境變數 %OPENAI_API_KEY%.

後面照抄 [4], 可是出現 check internet connection. 暫時卡住.

這要怎麼 debug 呢? 因為是抄的, 所以有點不明就裡. 乾脆來問 ChatGPT 本人要怎麼呼叫它? 然後它就大方地給我一個 sample code. 這感覺就是 “玄 “!

import os
import openai

openai.api_key = os.getenv("OPENAI_API_KEY")
response = openai.Completion.create(
    model="text-davinci-003",
    prompt="The following is a conversation with an AI assistant. The assistant is helpful, creative, clever, and very friendly.\n\nHuman: Hello, who are you?\nAI: I am an AI created by OpenAI. How can I help you today?\nHuman: I'd like to cancel my subscription.\nAI:",

    temperature=0.9,
    max_tokens=150,
    top_p=1,
    frequency_penalty=0.0,
    presence_penalty=0.6,
    stop=[" Human:", " AI:"]
)

不過, 這段程式還是有個相容性問題. 它說 Anacoda 裡面有段 source code 開檔預設是 latin-1, 不是 UTF-8. 這…這我 debug 不了啊? 查一下午資料, 都說要改 mysql database 那邊的設定.

UnicodeEncodeError: 'latin-1' codec can't encode character '\u201c' in position 7: ordinal not in range(256)

好在我到處 Google 找到了另外一篇中文教學 [5], 它的範例不會打到上面那個 bug. 所以狗哥不用怕, 裁員一次就好, ChatGPT 暫時還不能把你幹掉. 仔細比較兩個程式, 目前認為還是 export private key 沒有成功, 所以暫時用明碼才能夠連線的關係. 這樣總算在過年假期當中, 把 OpenAI 的探索前進了一小步! 現在它可以講笑話了, 雖然要等 2~3 秒.

[REF]

  1. https://twitter.com/itsafiz/status/1610245691812741120
  2. https://anaconda.org/conda-forge/openai
  3. https://help.openai.com/en/articles/5112595-best-practices-for-api-key-safety
  4. https://github.com/afizs/chatgpt-clone/blob/main/mini_ChatGPT.ipynb
  5. https://steam.oxxostudio.tw/category/python/example/openai.html