詩と創作・思索のひろば

ドキドキギュンギュンダイアリーです!!!

git submodule をキャッシュで高速化する

目下新マシンの開発環境をセットアップ中なんだけど、clone しないといけないリポジトリがけっこうたくさんある。このリポジトリ群っていうのが git submodule によってモジュールを共有していて、つまり同じリポジトリを何度も fetch してくることになる。これって無駄じゃないですか?

というわけで submodule update 時にキャッシュを生成し、それを利用して以降の同コマンドを高速化するコマンドを書きました。

https://github.com/motemen/git-shared-submodule-update

git submodule update の代わりに使います。

# git submodule update --init の代わりに…
git shared-submodule-update --init

簡単ですね。

git submodule update の中で呼ばれる git clone には --reference <repository> というオプションがあって、これを指定すると git の持つデータの実体である object をローカルのリポジトリから借用することができます。つまり、リモートとの通信量をそのぶん減らせるわけですね。イメージ的には git 界におけるシンボリックリンクを張っているような状態です。なので借用先のリポジトリが消えたり git gc によって縮退したりすると借用元のリポジトリはぶっ壊れるわけですが、ここでさらに --dissociate というオプションを与えると、clone 後にシンボリックリンクを解消して実データを新しいリポジトリにコピーし、参照を切り離すことができます。

以上はちょっと細かい話でしたが、この仕組みを利用するために、clone 前にキャッシュ的なリポジトリを作っているだけです。実は5年くらい前に似ようなことをするやつを書いてたんだけど、ちょっと大げさすぎたので、そこから submodule 部分だけ切り出したかたちです。

以下は参考文献。

GitHub の通知メールで、クローズやマージされたものにラベルをつける

Google Apps Script でメールの自動アーカイブの続編です。

https://github.com/motemen/gas-gmail-scripts/blob/master/dist/label-github-issue-status.js

GitHub のリポジトリにやってくるイシューや Pull Request って、対応する心的コストがばかにならないので放置しがちなんだけど、すでにクローズとかマージされたものに関しては気楽に流し読みしていいはず。そういうシグナルで自分を解き放っていきます。

Gmail 本体のフィルタルールでもできそうなものだけど、"Closed" を含む〜みたいなルールだとわりと誤爆するので、GAS で書く。

こんな感じにラベルがつけられて、便利ですね。

f:id:motemen:20181211200302p:plain

メールの本文を見て処理を行うだけなら簡単なんだけど、"Closed #42." みたいなのを勝手に書いた場合と区別がつかないので、(現実的にはないことだろうとはいえ)ちょっと気持ち悪い。というか、メタデータ的なものがあってしかるべきって感もある。

そこで GitHub から届いたメールを見てみると、どうもメタデータらしきものが text/html パートに埋め込まれている様子……。

<script type="application/json" data-scope="inboxmarkup">{"api_version":"1.0","publisher":{"api_key":"********************************","name":"GitHub"},"entity":{"external_key":"github/motemen/test-repository","title":"motemen/test-repository","subtitle":"GitHub repository","main_image_url":"https://github.githubassets.com/images/email/message_cards/header.png","avatar_image_url":"https://github.githubassets.com/images/email/message_cards/avatar.png","action":{"name":"Open in GitHub","url":"https://github.com/motemen/test-repository"}},"updates":{"snippets":[{"icon":"DESCRIPTION","message":"Closed #34."}],"action":{"name":"View Issue","url":"https://github.com/motemen/test-repository/issues/34#event-2043751833"}}}</script>
{
  "api_version": "1.0",
  "publisher": {
    "api_key": "********************************",
    "name": "GitHub"
  },
  "entity": {
    "external_key": "github/motemen/test-repository",
    "title": "motemen/test-repository",
    "subtitle": "GitHub repository",
    "main_image_url": "https://github.githubassets.com/images/email/message_cards/header.png",
    "avatar_image_url": "https://github.githubassets.com/images/email/message_cards/avatar.png",
    "action": {
      "name": "Open in GitHub",
      "url": "https://github.com/motemen/test-repository"
    }
  },
  "updates": {
    "snippets": [
      {
        "icon": "DESCRIPTION",
        "message": "Closed #34."
      }
    ],
    "action": {
      "name": "View Issue",
      "url": "https://github.com/motemen/test-repository/issues/34#event-2043751833"
    }
  }
}

api_key は公開のものっぽいけど、読んでる側がビビるのでマスクしてます)

ちなみに、イシューのクローズじゃなく勝手なコメントをつけた場合は以下のようになる。

<script type="application/json" data-scope="inboxmarkup">{"api_version":"1.0","publisher":{"api_key":"********************************","name":"GitHub"},"entity":{"external_key":"github/motemen/test-repository","title":"motemen/test-repository","subtitle":"GitHub repository","main_image_url":"https://github.githubassets.com/images/email/message_cards/header.png","avatar_image_url":"https://github.githubassets.com/images/email/message_cards/avatar.png","action":{"name":"Open in GitHub","url":"https://github.com/motemen/test-repository"}},"updates":{"snippets":[{"icon":"PERSON","message":"@motemen in #34: Closed #34."}],"action":{"name":"View Issue","url":"https://github.com/motemen/test-repository/issues/34#issuecomment-449838417"}}}</script>
{
  "api_version": "1.0",
  "publisher": {
    "api_key": "********************************",
    "name": "GitHub"
  },
  "entity": {
    "external_key": "github/motemen/test-repository",
    "title": "motemen/test-repository",
    "subtitle": "GitHub repository",
    "main_image_url": "https://github.githubassets.com/images/email/message_cards/header.png",
    "avatar_image_url": "https://github.githubassets.com/images/email/message_cards/avatar.png",
    "action": {
      "name": "Open in GitHub",
      "url": "https://github.com/motemen/test-repository"
    }
  },
  "updates": {
    "snippets": [
      {
        "icon": "PERSON",
        "message": "@motemen in #34: Closed #34."
      }
    ],
    "action": {
      "name": "View Issue",
      "url": "https://github.com/motemen/test-repository/issues/34#issuecomment-449838417"
    }
  }
}

diff はこんな感じ。

   "updates": {
     "snippets": [
       {
-        "icon": "DESCRIPTION",
-        "message": "Closed #34."
+        "icon": "PERSON",
+        "message": "@motemen in #34: Closed #34."
       }
     ],
     "action": {
       "name": "View Issue",
-      "url": "https://github.com/motemen/test-repository/issues/34#event-2043751833"
+      "url": "https://github.com/motemen/test-repository/issues/34#issuecomment-449838417"
     }
   }
 }

これがまあまあ使えそうですね。名前てきには Inbox by Gmail のためのマークアップなんではないかと予想するけど、特に公式なドキュメントはないので、いつまで使えるのかは神のみぞ知るです。

Google Apps Script でメールの自動アーカイブ

メールってやつはプッシュ型のタスク生成・情報取得ツールとしてすげー便利に使ってるのですが、受信トレイを綺麗に保つのには不断の努力が必要で、放っておくとすぐに管理不能な状態にまで膨れあがってしまう(いちおう、いわゆる Inbox Zero を理想として、とはいえそこからは遠いところにいます)。

ちょっと見ないすきに溜まったメールをザザーッと処理するんだけど、毎回これアーカイブしてるよな……と思うものもある。こういうものを機械に処理させられないとしたら、それは技術の敗北である。というわけでなんとかしたい。たとえば、最新情報であったり現在のステータスを知るために受け取ってるメールってのは、定期的に増えてくる一方で、古くなったものには価値がないので、勝手に消えていってほしいわけです。

具体的には、以下のようなメールを自動で処理したい。

  • 【毎日更新】Kindle日替わりセール
    • 前日のやつは不要
  • 〇〇さんの今日の予定リスト(午前 5 時現在)
    • Google カレンダーが送ってきてくれるやつ。前日のやつは不要
  • ニュース系
    • 一週間以上ためこむと読む気にならないので読まずにアーカイブしてる
  • カレンダーの招待
    • すでに終わったイベントの招待は自動でアーカイブできるはず

つわけで Google Apps Script を書きました。リポジトリはここです。

GitHub - motemen/gas-gmail-scripts

以下のスクリプトは mainという名前の関数を定期的に実行する想定で書かれてます。script.google.com から新規スクリプトを作成して、時間ベースのトリガを設定してください。

指定日数が経ったら自動でアーカイブする

https://github.com/motemen/gas-gmail-scripts/blob/master/dist/expire.js

+expires-1d というラベルがついたメールのうち、1日以上古いものを自動でアーカイブします。1日経つと情報が古くなるようなメール(Kindle日替わりセールとか)に Gmail のフィルタでこのラベルをつけておけば OK。

実は +expires- 以降は自由で、アーカイブ対象とするメールの検索条件older_than: として渡されるだけなので、+expires-7d とか +expires-1m とかいうラベルでも有効です。かしこい。

Google カレンダーの招待で、すでに終わったものを自動でアーカイブする

https://github.com/motemen/gas-gmail-scripts/blob/master/dist/archive-stale-calendar-invitations.js

見出しのとおり。Google カレンダーの招待メールに添付されている invite.ics ファイルをかんたんに解析して、イベントの終了時刻を過ぎていたらアーカイブします。iCal 形式のファイルの解析をしてるけど、タイムゾーンの対応は面倒なので UTC で書かれているものしか対応していない。Google カレンダーは ics ファイルの中身を UTC で書いてるみたいなので、特に問題はないと思います。

書いてて思ったけど、イベントの更新があったら古い招待をアーカイブするってのがあってもいいかもしんないですね。PR 期待してます。


どうぞご利用ください。