https://kekeke29341.github.io/blog/ 医療×機械学習・ローカルLLM・閉域網AIのメモ ja https://kekeke29341.github.io/blog/post.html?slug=patient-level-split https://kekeke29341.github.io/blog/post.html?slug=patient-level-split Sat, 15 Aug 2026 12:00:00 +0000 同じ人の入院が訓練とテストに割れると、疾患ではなくその人を覚える。患者IDで切り、可能なら時間でも切る。 https://kekeke29341.github.io/blog/post.html?slug=ehr-temporal-leakage https://kekeke29341.github.io/blog/post.html?slug=ehr-temporal-leakage Fri, 14 Aug 2026 12:00:00 +0000 退院サマリと、転帰後の検査は、予測ではない。予測時刻を先に固定し、それ以前だけを残す。 https://kekeke29341.github.io/blog/post.html?slug=auroc-rare-events https://kekeke29341.github.io/blog/post.html?slug=auroc-rare-events Thu, 13 Aug 2026 12:00:00 +0000 有病率が小さいと、高い識別能でも通知のほとんどは外れになる。適合率と、件数を同じ表に出す。 https://kekeke29341.github.io/blog/post.html?slug=guideline-rag-clinical https://kekeke29341.github.io/blog/post.html?slug=guideline-rag-clinical Wed, 12 Aug 2026 12:00:00 +0000 例外と対象集団を同じチャンクに残す。廃版の用量を出さない。正しさより、文書への忠実さを測る。 https://kekeke29341.github.io/blog/post.html?slug=phi-hospital-llm https://kekeke29341.github.io/blog/post.html?slug=phi-hospital-llm Tue, 11 Aug 2026 12:00:00 +0000 正規表現の匿名化は再識別を残す。生ノートをSFTしない。RAGの識別子はメタデータ側。 https://kekeke29341.github.io/blog/post.html?slug=clinical-text-from-talk https://kekeke29341.github.io/blog/post.html?slug=clinical-text-from-talk Mon, 10 Aug 2026 12:00:00 +0000 流暢さは、事実の追加と欠落を隠す。教師は直後の経過記録。音声の誤りを、きれいに補正しない。 https://kekeke29341.github.io/blog/post.html?slug=ehr-missingness https://kekeke29341.github.io/blog/post.html?slug=ehr-missingness Sun, 09 Aug 2026 12:00:00 +0000 測らなかった理由が、重症度そのものになりうる。マスクと、最後の観測からの時間を残す。 https://kekeke29341.github.io/blog/post.html?slug=icd-label-noise https://kekeke29341.github.io/blog/post.html?slug=icd-label-noise Sat, 08 Aug 2026 12:00:00 +0000 疑い・既往・主病は、意図的にずれる。弱ラベルと明記し、人手スパンで落ちたら採用しない。 https://kekeke29341.github.io/blog/post.html?slug=radiology-report-nlp https://kekeke29341.github.io/blog/post.html?slug=radiology-report-nlp Fri, 07 Aug 2026 12:00:00 +0000 所見の半分は「ない」。画像タスクにレポートを入れるなら、撮影時点と記載時点を一致させる。 https://kekeke29341.github.io/blog/post.html?slug=scanner-shift-imaging https://kekeke29341.github.io/blog/post.html?slug=scanner-shift-imaging Thu, 06 Aug 2026 12:00:00 +0000 疾患差より先に、再構成とプロトコルを疑う。施設を予測できる埋め込みは、疾患モデルに使われる。 https://kekeke29341.github.io/blog/post.html?slug=rnaseq-batch-effects https://kekeke29341.github.io/blog/post.html?slug=rnaseq-batch-effects Wed, 05 Aug 2026 12:00:00 +0000 バッチは生物学より大きいことがある。補正の順と、研究をまたぐ分割を、学習の前に置く。 https://kekeke29341.github.io/blog/post.html?slug=cancer-heterogeneity-ml https://kekeke29341.github.io/blog/post.html?slug=cancer-heterogeneity-ml Tue, 04 Aug 2026 12:00:00 +0000 観測は部分である。生検内の多様性と、未採取領域への外挿は、教師が違う。患者とパネルを混ぜて切らない。 https://kekeke29341.github.io/blog/post.html?slug=moe-routing https://kekeke29341.github.io/blog/post.html?slug=moe-routing Mon, 03 Aug 2026 12:00:00 +0000 トークンごとに専門家を選ぶ。総パラメータは大きいが、偏ると疎の意味が消える。見積もりを密モデルから借りない。 https://kekeke29341.github.io/blog/post.html?slug=flashattention-io https://kekeke29341.github.io/blog/post.html?slug=flashattention-io Sun, 02 Aug 2026 12:00:00 +0000 O(T²) の注意行列をHBMに置かない。同じsoftmaxをSRAMで完結させる。効くのはdecodeより長いprefill。 https://kekeke29341.github.io/blog/post.html?slug=kv-cache-gqa https://kekeke29341.github.io/blog/post.html?slug=kv-cache-gqa Sat, 01 Aug 2026 12:00:00 +0000 同時接続と長いコンテキストでVRAMを埋めるのは重みではない。MHA / MQA / GQA で何が減るかを、メモリの式から書きます。 https://kekeke29341.github.io/blog/post.html?slug=quantization-llm https://kekeke29341.github.io/blog/post.html?slug=quantization-llm Fri, 31 Jul 2026 12:00:00 +0000 GPTQ / AWQ / FP8 はどれも情報を捨てる。捨て方の偏りと、較正分布、現場で先に壊れる固有名詞と長文の話です。 https://kekeke29341.github.io/blog/post.html?slug=sft-then-dpo https://kekeke29341.github.io/blog/post.html?slug=sft-then-dpo Thu, 30 Jul 2026 12:00:00 +0000 SFTは分布を寄せ、DPOは二つの出力に順序を付ける。順番を飛ばすとJSONが壊れ、拒否より敬語だけが残ります。 https://kekeke29341.github.io/blog/post.html?slug=rag-evaluation https://kekeke29341.github.io/blog/post.html?slug=rag-evaluation Wed, 29 Jul 2026 12:00:00 +0000 検索・利用・回答・拒否を一つの正解率に折らない。recall@k と忠実性を分け、拒否セットを正解と同じ数だけ持ちます。 https://kekeke29341.github.io/blog/post.html?slug=rag-chunking https://kekeke29341.github.io/blog/post.html?slug=rag-chunking Tue, 28 Jul 2026 12:00:00 +0000 大きすぎると平均化し、小さすぎると参照が切れる。メタデータはフィルタ、ベクトルは本文。 https://kekeke29341.github.io/blog/post.html?slug=rope https://kekeke29341.github.io/blog/post.html?slug=rope Mon, 27 Jul 2026 12:00:00 +0000 位置を足すのではなく、QueryとKeyを回す。相対位置が内積に残る理由と、長文で伸ばすときに何が壊れるかを実装寄りに書きます。 https://kekeke29341.github.io/blog/post.html?slug=attention-sink-window https://kekeke29341.github.io/blog/post.html?slug=attention-sink-window Sun, 26 Jul 2026 12:00:00 +0000 RoPEの伸ばしとは別。窓の外に出た方針は、丁寧に破られる。sinkと再注入のどちらで守るか。 https://kekeke29341.github.io/blog/post.html?slug=speculative-decoding https://kekeke29341.github.io/blog/post.html?slug=speculative-decoding Sat, 25 Jul 2026 12:00:00 +0000 小さいモデルに先を書かせ、大きいモデルが分布を保ったまま検証する。受理率が低いと、二体を載せるだけになります。 https://kekeke29341.github.io/blog/post.html?slug=sampling-beyond-temperature https://kekeke29341.github.io/blog/post.html?slug=sampling-beyond-temperature Fri, 24 Jul 2026 12:00:00 +0000 温度はsoftmaxの尖り、top-k / top-p は切る位置。評価と本番で温度を変えない。報告には T, k, p を揃えて書きます。 https://kekeke29341.github.io/blog/post.html?slug=lora-what-rank-fits https://kekeke29341.github.io/blog/post.html?slug=lora-what-rank-fits Thu, 23 Jul 2026 12:00:00 +0000 r は更新の部分空間の次元です。q,v から始め、足りなければMLP。LoRAだから忘れない、は成り立ちません。 https://kekeke29341.github.io/blog/post.html?slug=rmsnorm-prenorm https://kekeke29341.github.io/blog/post.html?slug=rmsnorm-prenorm Wed, 22 Jul 2026 12:00:00 +0000 BatchNormが系列で使いにくい理由から、平均を引かないRMSNorm、残差を恒等のまま残すPre-norm、SwiGLUまで。 https://kekeke29341.github.io/blog/post.html?slug=decoder-only https://kekeke29341.github.io/blog/post.html?slug=decoder-only Tue, 21 Jul 2026 12:00:00 +0000 学習と生成の条件を一致させ、目的関数を一つにし、箱を一つにする。理解専用はまだ双方向が勝つことがある。 https://kekeke29341.github.io/blog/post.html?slug=distillation-logits https://kekeke29341.github.io/blog/post.html?slug=distillation-logits Mon, 20 Jul 2026 12:00:00 +0000 教師のロジットをKLで渡す。ハードな拒否は残す。下書きモデルでは損失より受理率を見る。 https://kekeke29341.github.io/blog/post.html?slug=tokenizer-bpe-traps https://kekeke29341.github.io/blog/post.html?slug=tokenizer-bpe-traps Sun, 19 Jul 2026 12:00:00 +0000 語彙は単語ではない。数字・全角・固有名詞の切れ目を、パラメータより先に見る。 https://kekeke29341.github.io/blog/post.html?slug=contrastive-infonce https://kekeke29341.github.io/blog/post.html?slug=contrastive-infonce Sat, 18 Jul 2026 12:00:00 +0000 密検索もCLIPも、正例を選ぶ分類損失です。負例の質が表現を決める。生成用LLMの隠れ状態を、そのまま検索に使わない。 https://kekeke29341.github.io/blog/post.html?slug=calibration-ece https://kekeke29341.github.io/blog/post.html?slug=calibration-ece Fri, 17 Jul 2026 12:00:00 +0000 確信度と較正は別。ECEと温度スケーリング。コサインも、DPO後のロジットも、確率として使わない。 https://kekeke29341.github.io/blog/post.html?slug=eval-contamination https://kekeke29341.github.io/blog/post.html?slug=eval-contamination Thu, 16 Jul 2026 12:00:00 +0000 汚染と分布シフトは別物。採用は社内セットと、学習コーパスとの重なりを横に置いてから決める。 https://kekeke29341.github.io/blog/post.html?slug=adamw-transformers https://kekeke29341.github.io/blog/post.html?slug=adamw-transformers Wed, 15 Jul 2026 12:00:00 +0000 適応的な二次モーメントと、勾配から切り離した重み減衰。Normのγは減衰から外す。 https://kekeke29341.github.io/blog/post.html?slug=air-gapped-llm-checklist https://kekeke29341.github.io/blog/post.html?slug=air-gapped-llm-checklist Tue, 14 Jul 2026 12:00:00 +0000 外部APIを使わないLLM基盤を立てるとき、モデル選定より先に固めておきたい論点のチェックリストです。 https://kekeke29341.github.io/blog/post.html?slug=welcome https://kekeke29341.github.io/blog/post.html?slug=welcome Mon, 13 Jul 2026 12:00:00 +0000 ポートフォリオサイトに、Markdown で書けるブログを追加しました。閉域網LLMや機械学習のメモをここに残していきます。 https://kekeke29341.github.io/blog/post.html?slug=how-to-write https://kekeke29341.github.io/blog/post.html?slug=how-to-write Sun, 12 Jul 2026 12:00:00 +0000 Markdown ファイルを1つ置き、posts.json に1件足すだけで公開できます。ビルド手順は不要です。