https://kekeke29341.github.io/reading/ 実装と評価に持ち帰る一点だけの論文メモ ja https://kekeke29341.github.io/reading/note.html?slug=lost-in-the-middle https://kekeke29341.github.io/reading/note.html?slug=lost-in-the-middle Sat, 15 Aug 2026 12:00:00 +0000 長い文脈の真ん中は使われない。RAGは、根拠を先頭と末尾に置くか、文脈を短くする。 https://kekeke29341.github.io/reading/note.html?slug=wornow-shaky-foundations https://kekeke29341.github.io/reading/note.html?slug=wornow-shaky-foundations Sat, 15 Aug 2026 12:00:00 +0000 EHR基盤モデルの論文は、タスク名より先に、ラベルが請求か注釈か、分割が患者かを見る。 https://kekeke29341.github.io/reading/note.html?slug=med-palm https://kekeke29341.github.io/reading/note.html?slug=med-palm Fri, 14 Aug 2026 12:00:00 +0000 試験の点数は、院内手順の忠実さではない。医療LLMは、引用先と、出さない範囲を先に決める。 https://kekeke29341.github.io/reading/note.html?slug=degrave-covid-shortcuts https://kekeke29341.github.io/reading/note.html?slug=degrave-covid-shortcuts Fri, 14 Aug 2026 12:00:00 +0000 画像モデルは疾患ではなく、後処理の文字や装置の癖を拾う。saliencyより先に、サイトを予測できるかを見る。 https://kekeke29341.github.io/reading/note.html?slug=lehman-clinical-lms https://kekeke29341.github.io/reading/note.html?slug=lehman-clinical-lms Thu, 13 Aug 2026 12:00:00 +0000 汎用LLMが臨床タスクで勝っても、ノートを外に出せるかは別問題。要るのは、モデル名より先にデータの境界。 https://kekeke29341.github.io/reading/note.html?slug=zech-pneumonia-2018 https://kekeke29341.github.io/reading/note.html?slug=zech-pneumonia-2018 Thu, 13 Aug 2026 12:00:00 +0000 院内AUROCは、隣の病院で落ちる。肺炎検出の論文は、装置とプロトコルの記述が本文にあるかを先に見る。 https://kekeke29341.github.io/reading/note.html?slug=nori-gpt4-medical https://kekeke29341.github.io/reading/note.html?slug=nori-gpt4-medical Wed, 12 Aug 2026 12:00:00 +0000 挑戦問題の点数は、電子カルテの入力でも、責任の所在でもない。デモの上限として読む。 https://kekeke29341.github.io/reading/note.html?slug=obermeyer-bias-2019 https://kekeke29341.github.io/reading/note.html?slug=obermeyer-bias-2019 Wed, 12 Aug 2026 12:00:00 +0000 コストをリスクの代理にすると、アクセスの差を学習する。教師が何の代理かを、損失より先に書く。 https://kekeke29341.github.io/reading/note.html?slug=gatortron https://kekeke29341.github.io/reading/note.html?slug=gatortron Tue, 11 Aug 2026 12:00:00 +0000 大規模臨床LMは、ノートを施設内で学習した点が本体。重みの公開有無と、教師の定義を先に見る。 https://kekeke29341.github.io/reading/note.html?slug=futoma-generalisability https://kekeke29341.github.io/reading/note.html?slug=futoma-generalisability Tue, 11 Aug 2026 12:00:00 +0000 汎化は性質ではなく、どのシフトに耐えたかの報告である。単一AUROCを、一般化可能性と呼ばない。 https://kekeke29341.github.io/reading/note.html?slug=clinical-bert-alsentzer https://kekeke29341.github.io/reading/note.html?slug=clinical-bert-alsentzer Mon, 10 Aug 2026 12:00:00 +0000 公開臨床BERTは、MIMICの文体に寄る。自施設ノートでの再評価なしに、埋め込みを固定しない。 https://kekeke29341.github.io/reading/note.html?slug=rajkomar-ehr-2018 https://kekeke29341.github.io/reading/note.html?slug=rajkomar-ehr-2018 Mon, 10 Aug 2026 12:00:00 +0000 EHRをシーケンスにできること自体は成果ではない。予測時刻より後のイベントが混ざっていないかが本体。 https://kekeke29341.github.io/reading/note.html?slug=biobert https://kekeke29341.github.io/reading/note.html?slug=biobert Sun, 09 Aug 2026 12:00:00 +0000 PubMedの上にBERTを置く。臨床ノートではなく、論文英語である。コーパスを名前で取り違えない。 https://kekeke29341.github.io/reading/note.html?slug=mimic-iii https://kekeke29341.github.io/reading/note.html?slug=mimic-iii Sun, 09 Aug 2026 12:00:00 +0000 公開ICUデータの標準。論文を読むときは、MIMICのどの版か、患者重複、時刻のずれを先に確認する。 https://kekeke29341.github.io/reading/note.html?slug=oakden-hidden-stratification https://kekeke29341.github.io/reading/note.html?slug=oakden-hidden-stratification Sat, 08 Aug 2026 12:00:00 +0000 平均AUROCの下に、稀な亜型が沈む。層がラベルに無いなら、平均は隠す。 https://kekeke29341.github.io/reading/note.html?slug=chexpert-irvin https://kekeke29341.github.io/reading/note.html?slug=chexpert-irvin Sat, 08 Aug 2026 12:00:00 +0000 不確実ラベル（正・不明・負）が本体。陽性に潰すと、モデルは放射線科の迷いを学習しない。 https://kekeke29341.github.io/reading/note.html?slug=mimic-cxr https://kekeke29341.github.io/reading/note.html?slug=mimic-cxr Fri, 07 Aug 2026 12:00:00 +0000 画像とレポートが揃う公開セット。分割は患者。撮影時刻と記載時刻を混ぜない。 https://kekeke29341.github.io/reading/note.html?slug=saito-pr-2015 https://kekeke29341.github.io/reading/note.html?slug=saito-pr-2015 Fri, 07 Aug 2026 12:00:00 +0000 不均衡ではPRが先。AUROCは、通知のほとんどが外れでも高く見える。 https://kekeke29341.github.io/reading/note.html?slug=seyyed-underdiagnosis https://kekeke29341.github.io/reading/note.html?slug=seyyed-underdiagnosis Thu, 06 Aug 2026 12:00:00 +0000 平均AUROCの下で、underserved集団の偽陰性が増える。層を切らない胸部モデルは、採用しない。 https://kekeke29341.github.io/reading/note.html?slug=leek-batch-2010 https://kekeke29341.github.io/reading/note.html?slug=leek-batch-2010 Thu, 06 Aug 2026 12:00:00 +0000 バッチは生物学より大きいことがある。補正の前に、研究をまたぐ分割を置く。 https://kekeke29341.github.io/reading/note.html?slug=badgeley-hip-confound https://kekeke29341.github.io/reading/note.html?slug=badgeley-hip-confound Wed, 05 Aug 2026 12:00:00 +0000 骨折を当てているように見えて、病院とスキャナを当てている。交絡を、精度の前にプロットする。 https://kekeke29341.github.io/reading/note.html?slug=combat-johnson-2007 https://kekeke29341.github.io/reading/note.html?slug=combat-johnson-2007 Wed, 05 Aug 2026 12:00:00 +0000 ComBatは平均と分散のバッチを縮める。テスト研究の統計で再推定すると、評価がリークする。 https://kekeke29341.github.io/reading/note.html?slug=tripod-collins https://kekeke29341.github.io/reading/note.html?slug=tripod-collins Tue, 04 Aug 2026 12:00:00 +0000 予測モデルの報告項目が先。分割、校正、対象集団が無い論文は、再現できない。 https://kekeke29341.github.io/reading/note.html?slug=chapman-negex https://kekeke29341.github.io/reading/note.html?slug=chapman-negex Tue, 04 Aug 2026 12:00:00 +0000 臨床文の半分は「ない」。否定を扱わない抽出は、所見を倍増させる。 https://kekeke29341.github.io/reading/note.html?slug=pagedattention https://kekeke29341.github.io/reading/note.html?slug=pagedattention Mon, 03 Aug 2026 12:00:00 +0000 KVを連続確保すると穴が開く。ページで持つと、同じVRAMでバッチが乗る。 https://kekeke29341.github.io/reading/note.html?slug=vickers-dca https://kekeke29341.github.io/reading/note.html?slug=vickers-dca Mon, 03 Aug 2026 12:00:00 +0000 閾値ごとに、治療する／しないの正味を描く。AUROCが高くても、使う閾値で損なら採用しない。 https://kekeke29341.github.io/reading/note.html?slug=flashattention https://kekeke29341.github.io/reading/note.html?slug=flashattention Sun, 02 Aug 2026 12:00:00 +0000 Attentionの遅さは近似ではなく、HBMへの出し入れである。厳密なまま、タイルでIOを減らす。 https://kekeke29341.github.io/reading/note.html?slug=harutyunyan-mimic https://kekeke29341.github.io/reading/note.html?slug=harutyunyan-mimic Sun, 02 Aug 2026 12:00:00 +0000 MIMICのベンチマークは、タスク定義と分割が本体。自前タスクに、この前処理を黙ってコピーしない。 https://kekeke29341.github.io/reading/note.html?slug=gqa https://kekeke29341.github.io/reading/note.html?slug=gqa Sat, 01 Aug 2026 12:00:00 +0000 K/Vヘッドを共有すると、品質より先にKVのバイトが減る。ローカル推論のメモリ見積もりの基本。 https://kekeke29341.github.io/reading/note.html?slug=wiens-do-no-harm https://kekeke29341.github.io/reading/note.html?slug=wiens-do-no-harm Sat, 01 Aug 2026 12:00:00 +0000 医療MLの責任は、モデルカードより、誰が止めるか。導入の前に、無効化の経路を書く。 https://kekeke29341.github.io/reading/note.html?slug=roformer https://kekeke29341.github.io/reading/note.html?slug=roformer Fri, 31 Jul 2026 12:00:00 +0000 位置は足すのではなく回す。相対位置が内積に入る。コンテキスト延長は、この回転の周期の話になる。 https://kekeke29341.github.io/reading/note.html?slug=ghassemi-xai-false-hope https://kekeke29341.github.io/reading/note.html?slug=ghassemi-xai-false-hope Fri, 31 Jul 2026 12:00:00 +0000 saliencyは、汎化の証拠ではない。説明図より、外部施設と層別の失敗を先に出す。 https://kekeke29341.github.io/reading/note.html?slug=attention-sinks https://kekeke29341.github.io/reading/note.html?slug=attention-sinks Thu, 30 Jul 2026 12:00:00 +0000 窓で過去を捨てると、先頭トークンを残さない限り壊れる。sink は窓の補題である。 https://kekeke29341.github.io/reading/note.html?slug=deseq2 https://kekeke29341.github.io/reading/note.html?slug=deseq2 Thu, 30 Jul 2026 12:00:00 +0000 分散をshrinkしてから差を見る。生カウントを、そのまま学習器に渡さない。 https://kekeke29341.github.io/reading/note.html?slug=speculative-decoding https://kekeke29341.github.io/reading/note.html?slug=speculative-decoding Wed, 29 Jul 2026 12:00:00 +0000 小さいモデルで先読みし、大きいモデルは検証する。棄却が少ないときだけ、壁時計が縮む。 https://kekeke29341.github.io/reading/note.html?slug=harmony-korsunsky https://kekeke29341.github.io/reading/note.html?slug=harmony-korsunsky Wed, 29 Jul 2026 12:00:00 +0000 細胞の統合は、バッチを寄せて生物学を残す作業。テスト研究を、統合の統計に入れない。 https://kekeke29341.github.io/reading/note.html?slug=llm-int8 https://kekeke29341.github.io/reading/note.html?slug=llm-int8 Tue, 28 Jul 2026 12:00:00 +0000 8bitでも、外れ値チャネルは16bitに残す。量子化は一様に削る話ではない。 https://kekeke29341.github.io/reading/note.html?slug=luecken-theis-scrna https://kekeke29341.github.io/reading/note.html?slug=luecken-theis-scrna Tue, 28 Jul 2026 12:00:00 +0000 単細胞は、前処理の順が結果である。QC、正規化、統合、クラスタの順を、学習の前に固定する。 https://kekeke29341.github.io/reading/note.html?slug=awq https://kekeke29341.github.io/reading/note.html?slug=awq Mon, 27 Jul 2026 12:00:00 +0000 重みの重要度は、活性化の大きさで決まる。平均二乗だけでは、残すべきチャネルを外す。 https://kekeke29341.github.io/reading/note.html?slug=dentro-ith https://kekeke29341.github.io/reading/note.html?slug=dentro-ith Mon, 27 Jul 2026 12:00:00 +0000 一箇所の生検は、腫瘍の一部である。ヘテロジェニティを、その生検の多様性と、未採取への外挿に分ける。 https://kekeke29341.github.io/reading/note.html?slug=mimic-iv https://kekeke29341.github.io/reading/note.html?slug=mimic-iv Sun, 26 Jul 2026 12:00:00 +0000 IIIの後継。版とモジュールを論文に書く。IIIの前処理を、IVに黙って再利用しない。 https://kekeke29341.github.io/reading/note.html?slug=lora https://kekeke29341.github.io/reading/note.html?slug=lora Sun, 26 Jul 2026 12:00:00 +0000 低ランクの差分で足す。ランクより先に、どの行列に足すか。 https://kekeke29341.github.io/reading/note.html?slug=qlora https://kekeke29341.github.io/reading/note.html?slug=qlora Sat, 25 Jul 2026 12:00:00 +0000 4bitに載せたままLoRAを足す。フルFine-tuneのVRAMが無いときの、閉域網の既定に近い。 https://kekeke29341.github.io/reading/note.html?slug=dpo https://kekeke29341.github.io/reading/note.html?slug=dpo Sat, 25 Jul 2026 12:00:00 +0000 選好対があれば、報酬モデルを経由せずに方針を更新できる。対の質が、損失より先。 https://kekeke29341.github.io/reading/note.html?slug=gptq https://kekeke29341.github.io/reading/note.html?slug=gptq Fri, 24 Jul 2026 12:00:00 +0000 学習なしで重みを量子化する。キャリブレーション文が、ビット数より先。 https://kekeke29341.github.io/reading/note.html?slug=instructgpt https://kekeke29341.github.io/reading/note.html?slug=instructgpt Fri, 24 Jul 2026 12:00:00 +0000 SFTのあと、人間の選好でReinforcementする。今の「揃える」手順の原型。 https://kekeke29341.github.io/reading/note.html?slug=flashattention-2 https://kekeke29341.github.io/reading/note.html?slug=flashattention-2 Thu, 23 Jul 2026 12:00:00 +0000 FA1のIO削減のうえに、並列の割り方を直す。長い文の既定カーネルとして、入っているかを先に確認する。 https://kekeke29341.github.io/reading/note.html?slug=switch-transformers https://kekeke29341.github.io/reading/note.html?slug=switch-transformers Thu, 23 Jul 2026 12:00:00 +0000 トークンごとに専門家を一人選ぶ。計算は疎でも、メモリは専門家の数だけ要る。 https://kekeke29341.github.io/reading/note.html?slug=rag-lewis https://kekeke29341.github.io/reading/note.html?slug=rag-lewis Wed, 22 Jul 2026 12:00:00 +0000 生成の前に検索する。知識を重みに焼かない。評価は、検索と生成を分けて見る。 https://kekeke29341.github.io/reading/note.html?slug=mqa-shazeer https://kekeke29341.github.io/reading/note.html?slug=mqa-shazeer Wed, 22 Jul 2026 12:00:00 +0000 K/Vを1ヘッドにすると、KVバイトが激減する。GQAの前史。品質との取引を、メモリ見積もりの横に書く。 https://kekeke29341.github.io/reading/note.html?slug=alibi https://kekeke29341.github.io/reading/note.html?slug=alibi Tue, 21 Jul 2026 12:00:00 +0000 距離に線形のバイアスを足す。RoPEとは別の、長さ外挿の経路。レシピを混ぜない。 https://kekeke29341.github.io/reading/note.html?slug=dpr https://kekeke29341.github.io/reading/note.html?slug=dpr Tue, 21 Jul 2026 12:00:00 +0000 質問とパッセージを同じ空間に置く。BM25を捨てる前に、密検索が何を拾い何を落とすかを見る。 https://kekeke29341.github.io/reading/note.html?slug=yarn https://kekeke29341.github.io/reading/note.html?slug=yarn Mon, 20 Jul 2026 12:00:00 +0000 RoPEの周波数を、区間ごとに伸ばす。baseを一括で上げるより、現場ではこれを先に試すことが多い。 https://kekeke29341.github.io/reading/note.html?slug=vaswani-2017 https://kekeke29341.github.io/reading/note.html?slug=vaswani-2017 Mon, 20 Jul 2026 12:00:00 +0000 再帰を捨て、attention で距離を一定にする。今のデコーダは、この論文の片側だけを残した形。 https://kekeke29341.github.io/reading/note.html?slug=chinchilla https://kekeke29341.github.io/reading/note.html?slug=chinchilla Sun, 19 Jul 2026 12:00:00 +0000 同じ計算なら、大きすぎるモデルより、トークンを増やした方が良い。閉域の事前学習予算の見積もりに使う。 https://kekeke29341.github.io/reading/note.html?slug=adamw https://kekeke29341.github.io/reading/note.html?slug=adamw Sun, 19 Jul 2026 12:00:00 +0000 減衰を勾配から切り離す。AdamにL2を足したのとは違う。Normのγは減衰から外す。 https://kekeke29341.github.io/reading/note.html?slug=kaplan-scaling https://kekeke29341.github.io/reading/note.html?slug=kaplan-scaling Sat, 18 Jul 2026 12:00:00 +0000 損失は、規模・データ・計算のべきで落ちる。ただし最適配分は、後のChinchillaで改訂された。 https://kekeke29341.github.io/reading/note.html?slug=rmsnorm https://kekeke29341.github.io/reading/note.html?slug=rmsnorm Sat, 18 Jul 2026 12:00:00 +0000 平均を引かず、RMSだけで割る。Pre-normと組んで、今のデコーダの正規化になる。 https://kekeke29341.github.io/reading/note.html?slug=zero-deepspeed https://kekeke29341.github.io/reading/note.html?slug=zero-deepspeed Fri, 17 Jul 2026 12:00:00 +0000 状態をGPU間で分割する。閉域の学習が載るかは、パラメータ数より、ZeROの段階。 https://kekeke29341.github.io/reading/note.html?slug=preln-xiong https://kekeke29341.github.io/reading/note.html?slug=preln-xiong Fri, 17 Jul 2026 12:00:00 +0000 Pre-normは残差を恒等のまま残す。深いデコーダが学習できる理由の一つ。 https://kekeke29341.github.io/reading/note.html?slug=nucleus-sampling https://kekeke29341.github.io/reading/note.html?slug=nucleus-sampling Thu, 16 Jul 2026 12:00:00 +0000 argmaxはループする。温度だけでは足りない。核（top-p）で、尾を切る。 https://kekeke29341.github.io/reading/note.html?slug=mixed-precision https://kekeke29341.github.io/reading/note.html?slug=mixed-precision Thu, 16 Jul 2026 12:00:00 +0000 FP16で計算し、FP32のコピーで安定させる。量子化推論と、学習の混合精度を混ぜて語らない。 https://kekeke29341.github.io/reading/note.html?slug=colbert https://kekeke29341.github.io/reading/note.html?slug=colbert Wed, 15 Jul 2026 12:00:00 +0000 トークン同士を後で交互作用させる。埋め込み1ベクトルより高いが、格納も増える。社内検索の中間選択肢。 https://kekeke29341.github.io/reading/note.html?slug=hinton-distill https://kekeke29341.github.io/reading/note.html?slug=hinton-distill Wed, 15 Jul 2026 12:00:00 +0000 教師のlogitsの形を、温度付きで移す。硬ラベルだけより、関係が残る。 https://kekeke29341.github.io/reading/note.html?slug=fid-izacard https://kekeke29341.github.io/reading/note.html?slug=fid-izacard Tue, 14 Jul 2026 12:00:00 +0000 各パッセージを別エンコードし、デコーダで融合する。長い連結プロンプトより、根拠の帰属が追いやすい。 https://kekeke29341.github.io/reading/note.html?slug=guo-calibration https://kekeke29341.github.io/reading/note.html?slug=guo-calibration Tue, 14 Jul 2026 12:00:00 +0000 深くて強いネットほど、自信がずれる。ECEと、温度スケーリングを、AUROCの横に置く。 https://kekeke29341.github.io/reading/note.html?slug=llm-as-judge https://kekeke29341.github.io/reading/note.html?slug=llm-as-judge Mon, 13 Jul 2026 12:00:00 +0000 LLMの審査は、位置と自己好みで歪む。人手の一部代替であり、唯一のKPIにしない。 https://kekeke29341.github.io/reading/note.html?slug=cpc-infonce https://kekeke29341.github.io/reading/note.html?slug=cpc-infonce Mon, 13 Jul 2026 12:00:00 +0000 正例を、ノイズの中から拾う。InfoNCEは、その損失の名前になった。 https://kekeke29341.github.io/reading/note.html?slug=hh-rlhf https://kekeke29341.github.io/reading/note.html?slug=hh-rlhf Sun, 12 Jul 2026 12:00:00 +0000 役立つと害がないは、同じ報酬で伸びない。選好データに、どちらを優先したかを書く。 https://kekeke29341.github.io/reading/note.html?slug=bpe-sennrich https://kekeke29341.github.io/reading/note.html?slug=bpe-sennrich Sun, 12 Jul 2026 12:00:00 +0000 稀な語を、部分語に割る。トークナイザは前処理ではなく、モデルの一部である。 https://kekeke29341.github.io/reading/note.html?slug=constitutional-ai https://kekeke29341.github.io/reading/note.html?slug=constitutional-ai Sat, 11 Jul 2026 12:00:00 +0000 原則（constitution）を先に書き、モデルに自己批判させる。人手の対を減らす。原則が無いRLHFは、部署の好みになる。 https://kekeke29341.github.io/reading/note.html?slug=gpt3-brown https://kekeke29341.github.io/reading/note.html?slug=gpt3-brown Fri, 10 Jul 2026 12:00:00 +0000 文脈内の例で、重みを更新せずに寄せる。デモは強力だが、評価汚染と、秘密の例文に弱い。 https://kekeke29341.github.io/reading/note.html?slug=bert-devlin https://kekeke29341.github.io/reading/note.html?slug=bert-devlin Thu, 09 Jul 2026 12:00:00 +0000 双方向の理解モデル。生成のデコーダとは、マスクも、KVの増え方も違う。名前を混ぜない。 https://kekeke29341.github.io/reading/note.html?slug=mmlu https://kekeke29341.github.io/reading/note.html?slug=mmlu Wed, 08 Jul 2026 12:00:00 +0000 広い選択式は、汚染と、現場タスクの代理を同時に疑う。社内採用の唯一の数字にしない。 https://kekeke29341.github.io/reading/note.html?slug=llama2 https://kekeke29341.github.io/reading/note.html?slug=llama2 Tue, 07 Jul 2026 12:00:00 +0000 公開重みの、閉域での出発点。事前学習より、ライセンスと、chatの事後学習レシピを先に読む。 https://kekeke29341.github.io/reading/note.html?slug=mistral-7b https://kekeke29341.github.io/reading/note.html?slug=mistral-7b Mon, 06 Jul 2026 12:00:00 +0000 GQAとスライディング窓で、7Bの効率を上げる。小さい閉域モデルの、比較対象の一つ。 https://kekeke29341.github.io/reading/note.html?slug=chain-of-thought https://kekeke29341.github.io/reading/note.html?slug=chain-of-thought Sun, 05 Jul 2026 12:00:00 +0000 途中の手順を書かせると、算術と論理は上がる。医療では、手順が幻覚でも、形が正しいように見える。 https://kekeke29341.github.io/reading/note.html?slug=swiglu https://kekeke29341.github.io/reading/note.html?slug=swiglu Sat, 04 Jul 2026 12:00:00 +0000 FFNをゲートする。Llama系のMLPは、この系統。学習率を、ReLU FFNの論文から借りない。 https://kekeke29341.github.io/reading/note.html?slug=humaneval https://kekeke29341.github.io/reading/note.html?slug=humaneval Fri, 03 Jul 2026 12:00:00 +0000 単位テストで通るかが、コード生成の評価。社内コードは、そのテストが秘密情報になりうる。