競プロで使うBashテク

スペース -> 改行

• | xargs -n1
• | tr ' ' '\n'
• | tr \ \\n (上のものをエスケープしたもの)

改行 -> スペース

• | xargs
• | tr '\n' ' '
• | tr \\n \

行数カウント

• | wc -l
• | awk 'END{print NR}'
• | awk '$0=NR' | tail -n1

これはwc -lだけで十分ですね

先頭1行だけ取り出す

• | head -n1
• | awk 'NR==1'

head -n1はかなり使えるのでよく覚えましょう

先頭1行だけ削除

• read _ で受け取ってしまう
• | tail -n +1
• | sed -e '1d'
• | awk 'NR!=1'

末尾1行だけ取り出す

• | tail -n1
• | sed -e '$p;d'
• | awk 'END{print $0}'

sedとawkは末尾n行に対応できていないので、tailさえ覚えておけば事足りると思います

末尾1行だけ削除

これはそこそこレアケースな気がする(なぜなら上3つでだいたい事足りるため)

• | head -n -1
• | sed -e '$d'

重複をカウント

• | sort | uniq -c

各行をトリムする

• | sed -e 's/^\s*//'
• | sed -e 's/^\s*\|\s*$//'

後ろ側のトリムが必要になることはあまりないです。

ソート関連

• | sort -n 辞書順ではなく数値とみなして比較
• | sort -nk1 キー指定
• | sort -nr 降順

あまり使えないテク

• echo {A..Z}' 半角のアルファベットを列挙する
• zsh -c 'echo {Ａ..Ｚ}|tr -d " "' 全角のアルファベットを列挙する。bashはこのブレース展開をしてくれないので、zshで行う
• ruby -ne 'puts $_.tr("０-９ａ-ｚＡ-Ｚ","0-9a-zA-Z")' Rubyが使えるなら、これで全角→半角変換ができる

Vimでbashコマンドを併用するとできること7選

Vimはexコマンド(:qや:w)だけでなく、シェルコマンドを実行することができます。今回はシェルコマンドをつかってもっと便利に編集をしようという記事です。

基本: コマンドを実行したい行を指定

Vimのコマンドは、実行したい範囲を決めることができます。

• :%!sort バッファ全体をソートする
• :'<,'>!sed -e 'y/123/ABC/' 選択範囲でsedを実行する
• :.!tr -d ' ' 現在の行の空白を削除する

一番前にある記号(%や.、'<,'>)がコマンドの実行範囲を表します。たとえば%ならバッファ全体、'<,'>なら選択範囲といった具合です。そのほかに行数を使った範囲指定などもありますが、主に使うのは上の3つだと思います。

基本: 外部のコマンドを実行する

外部のコマンドの実行結果を今のカーソル位置に挿入するには、!!と入力してからコマンドを指定するとできます。たとえば!!lsならカレントディレクトリのファイルを表示します。

範囲を指定する場合は、:(範囲)!(外部コマンド)とします。

1. 連番の作成

コマンド	実行結果
!!seq 100 | tr '\n' ' '	1 2 3 ... 99 100
!!seq 100	1 2 ... 100
!!echo {1..100}	1 2 3 ... 99 100

ぼくは!!seq 100を実行してJで連結しています。

2. アルファベット26文字を列挙

コマンド	実行結果
!!echo {a..z} | tr -d ' '	abcdefghijklmnopqrstuvwxyz
!!for i in {a..z}; do echo -n $i; done	(同上)
!!echo {a..z}	a b c d e f g h i j k l m n o p q r s t u v w x y z

僕はよく!!echo {a..z}を実行したあとに:s/ //gで空白を削除しています。

3. Awk

Awkが使えると選択範囲の総和といった操作がカンタンにできるようになります。

コマンド	実行結果
:'<,'>!awk '{sum+=$0}END{print sum}'	選択範囲の総和

ABCのA問題で二度とWAしないためのツールを作りました

github.com

その名も「失敗は死(Failure is Death)」です。たぶん英語としては間違えてますが、カッコイイのでこのままで。

機能

AtCoderのコードテストをちょっと強くしたものになります。複数のテストケースを同時に試せるので、コードの書き換えをしたあとの検証などで利用できます。A問題でいちいち準備したりするのが億劫だったのでこのような形式になりました。

たとえばこの問題の場合は次のような感じで試すことができます(この問題が結構すき)。

execを押すと、以下のようにテストケースそれぞれの出力を表示します。

内部としては

1. コードとテストケースを受け取る
2. 外部コマンド(sedなりRubyなり)を呼び出す
3. 実行結果を表示する

となっているので、たとえばRubyでジャッジしたい場合はあらかじめRubyを入れる必要があります。

開発の流れ

今回はRustを使って作ってみました。GUIの開発だったので、Gtkを使いました。

作ってて思ったことをいくつか。まず、入力フォーム一つ作るのに非常に苦労しました。まず、どれがフォームを指しているのかを調べるところから始まりました。結論としてはEntryが1行のみの入力フォーム、TextViewが複数行のフォームのようです。ただし、これらはundoすらできないので、SourceViewというところのViewを使うのをおすすめします。

また、テキストボックスのサイズの設定が未だにわかりません。どうすればいいのやら…

参考資料

• プログラミング言語Rustのススメ - Qiita
• まえがき - The Rust Programming Language Rustの公式ドキュメントの日本語訳です。結構長くてまだ全部は読んでません。
• RustでGUI 〜gtk編〜 - Qiita ここを雛形として作り始めました。
• gtk - Rust めっっっっっっちゃくちゃ読み込みました。

どんな劣悪環境でも負けないためにvimrcをダウンロードできるようにした。

世の中には「gitがインストールされていない」というおぞましい環境が存在します。弊学の演習室とかね。そういった、dotfilesを使うことすらできない劣悪環境でプログラミングしなければならないとき、せめてvimrcだけでも使えるようにしておこうと思って整備しました。

今回実装したもの

必要最低限の設定を詰め込んだ1ファイルのvimrcをダウンロードできるようにしました(僕向けにカスタマイズしてあるので他の人が使うことは前提にしておりません)。このファイルを~/.vimrcとして置くだけで最低限の快適さを得ることができます。

https://pandanoir.net/vimrc

こちらからダウンロードができるようになっています。GitHubのWebhooksを使って、dotfilesが更新されるたびに生成しているので常に最新の状態になっています。

仕組み

1. dotfilesが更新されたらWebhooksが起動する
2. 指定したURLにPOSTリクエストが飛ぶ
3. Secret KeyをつかってGitHubからのリクエストか確認
4. git pullする
5. vimrcを1つのファイルにまとめる(普段は編集しやすいように複数ファイルに分かれている)

1. WebhooksにURLを登録する

まず、更新をチェックしたいリポジトリのSettingsに行きます(自分のリポジトリでないと設定できません)。すると、Webhooksという項目があるのでクリックします。

Add hookを押すと以下の画面になります。ここで入力したURLにPOSTが飛ぶので、好きなURLを設定してください。

Secret Keyは公式にも書いてありますが、ruby -rsecurerandom -e 'puts SecureRandom.hex(20)'を使うなどして生成してください。

これでGitHub上の設定は終了です。

2. 受け取るプログラムを書く

今回はPHPで書きますが、他の言語でも処理の流れは変わりません。

<?php
$SECRET_KEY = 'xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx';

$sig = array_key_exists('HTTP_X_HUB_SIGNATURE', $_SERVER) ? $_SERVER['HTTP_X_HUB_SIGNATURE'] : "";
$request_body = file_get_contents('php://input'); // シグネチャを確認するために必要
$hmac = "sha1=" . hash_hmac('sha1', $request_body, $SECRET_KEY);
if (!hash_equals($sig, $hmac)) {
    // ハッシュが一致していなかった
    echo "permission denied.";
    http_response_code(403) ;
    exit;
}
// ここで実行したい処理を行う
echo "successed!";

公式にはSecret Tokenをハードコーディングするなとありますが、めんどくさかったのでハードコーディングしました(ここ以外で使う予定も特になかったので)。

HMACを使ってhashを計算して一致しているか確認しているだけのコードです。

参考

• Securing your webhooks | GitHub Developer Guide

俺のためだけのsedまとめ

迷ったときにとりあえずこれ読めば8割くらいわかるように書きました。

sedでできること

sedは受け取った文字列を加工するためのコマンドです。パイプラインやファイルから文字列を受け取って処理します。置換や削除などができます。四則演算はできません。

sedの使い方

sedコマンドにsedスクリプトを渡す方法は2通りあります。

• 直接スクリプトを書く(sed -e 'sed-script')
• sedスクリプトを書いたファイルを指定する(sed -f sed-file)

sedスクリプト

sedの基本動作は「条件を満たす行に対してコマンドを実行する」というものです。例えば「10行目を削除する」「3、6、9が含まれている行を削除する」といったことが可能です。

処理の全体の流れは次のようになります。

1. 入力から1行読み込み、パターンスペースに格納する
2. パターンスペース内の文字列にコマンドを実行する
3. パターンスペースの内容を出力する(-nコマンドをつけていた場合は出力しない)

パターンスペースとはバッファのことです。

この流れを理解できていれば、次のコマンド意味がわかるはずです。

$ seq 1 5 | sed -e "2 a append
3 a append
4 a append"

アドレス

コマンドを実行したい行を、アドレスを用いて指定します。アドレスを指定せずにコマンドを実行すると、すべての行に対して実行されます。

アドレスは主に正規表現か、行番号で指定します。正規表現を指定した場合はパターンにマッチする行に対してコマンドが実行されます。他にも以下のような指定方法があります。

• 正規表現
• 行指定
• 範囲指定(1,10など)
• ステップつき範囲指定(3\~2なら、3行目以降を2行おきに指定する)

コマンド

sedで使用できるコマンドは以下のようなものがあります。

• y/置換前/置換後/ 後述
• s/ターゲット文字列/リプレース文字列/ ターゲット文字列をリプレース文字列で置き換えます。s/hoge/fuga/gというように、gフラグをつけることで一致するすべての箇所を置換できます。
• d 行を削除します。
• c テキスト テキストで行全体を置換をします。
• a テキスト 指定位置の1行うしろにテキストを追加します(例: 3 a appendを実行すると3行目にappendという行が追加される)
• i テキスト 指定位置にテキストを追加します(例: 3 i insertを実行すると3行目にinsertという行が追加される)

yコマンドはすこし説明が難しいので、例を交えながら説明します。

たとえば、Aをaに、Bをbに変えたいとします。そのとき、sedではsed -e 's/A/a/g' | sed -e 's/B/b/g'とする代わりにyコマンドを用いてsed -e 'y/AB/ab/'と書くことができます。

このように、ある文字と別の文字の対応づけをする(つまり換字を行う)コマンドがyコマンドになります。

アドレス例

$ seq 1 5 | sed -e " 3 d" #3行目を削除
1
2
4
5
$ seq 1 5 | sed -e "1~2 d" #1行目以降を、2行おきに削除
1
3
5
$ seq 1 5 | sed -e "2,4 d" #2行目から4行目を削除
1
5
$ seq 1 5 | sed -e "/[369]/ d" #3,6,9が含まれる行を削除
1
2
4
5

コマンド例

$ seq 1 5 | sed -e " 3 y/12345/abcde/" #1をa、2をb…とういふうに変換
a
b
c
d
e
$ seq 1 5 | sed -e " 3 y/15/51/" #1と5を入れ替える
5
2
3
4
1
$ seq 1 5 | sed -e "3 i insert" #3行目の位置にinsertと挿入
1
2
insert
3
4
5
$ seq 1 5 | sed -e "3 a append" #3行目の後ろにappendと追加
1
2
3
append
4
5
$ seq 1 5 | sed -e " 3 c hoge" 3行目をhogeで置き換える
1
2
hoge
4
5

ここまでは見やすさのためにアドレスとコマンドの間にスペースを入れていましたが、sed -e "3choge"のようにスペースを抜いてもきちんと動作します。

実はVimの置換はSedだった

実はVimの:s/target/replacement/というコマンドはSedと同じように書くことができます(相違点も多いのでVim版Sedくらいに捉えておくと扱いやすいです)。

• :1,9/hoge/fuga/ 1行目から9行目のhogeをfugaに置換する
• :/1st/s/hoge/fuga/ 1stが含まれる行を探して、hogeをfugaに置換する。ただし、複数の行に対して置換を行わない模様。
• :/OMG/d OMGが含まれる行を削除する

参考

• sed - Wikipedia
• 【 sed 】コマンド（基礎編その4）――文字列を置き換える／置換した行を出力する：Linux基本コマンドTips（56） - ＠IT
• AtCoder Beginner ContestのA問題の最短コードを読む - Qiita