AI技術影片:深度學習系列 – BERT 原理與模型架構

Agenda

  1. Transfer learning before BERT
  2. Transfer learning with BERT
  3. BERT – Model (including Transformer)
  4. BERT – Learning (how training is done)
  5. BERT – Inference (how testing and downstream tasks are done)

勘誤:影片中說BERT不能用來做生成的任務是不正確的。以預測[MASK]而言,其實就能逐步生成詞再組合成句子,不過目前所知(2019 June)生成能力最好的是GPT-2。


【講者簡介】 Kota, 柯達 – Head of Machine Learning in Beluga AI

擅長技術:

  1. Customer Data Platform(使用者行為分析、用戶貼標、推薦系統、銷售預測)
  2. 生理聲音事件偵測(SED)
  3. 單據識別(OCR, template matching, fuzzy match)
  4. 對話機器人(Question answering chatbot, NER, Intent detection, Multi-turn dialogue management)
  5. 語音合成(text-to-speech in mandarin)

總結

宇鯨的團隊非常看好大型語言模型這波浪潮,技術上的成熟度已經非常接近可商用,如果你本身已有產業經驗,非常容易就能透過 AI 工具來加速工作事務,甚至開始組建屬於自己企業的解決方案。OpenAI 在 2023/11 有一億個週活躍用戶, AI 工具在未來是必修課,現在不開始嘗試,以後將無法其他企業競爭。若想了解真實落地場景,歡迎找宇鯨聊聊!宇鯨在電商、法律、醫療的 AI 與自動化經驗,一定能讓你建立未來 10 年的競爭優勢!

關於宇鯨

提供全方位的 AI 解決方案:

  • 專案型技術開發合作:用戶與商品貼標、光學文字辨識 OCR、自然語言處理 NLP、音訊分析 SED、語音合成 TTS、產品概念驗證 POC
  • 宇鯨產品:CS Tagging 顧客分群貼標、LegalTech 智能書狀生成