jus共催 第50回記念我々は50回も何をやってるんだろうシェル芸勉強会 に参加させて頂きました!

大量データの処理って仕事でも使うからとても勉強になりました
Added by kanata 20 days ago

jus共催 第50回シェル芸勉強会リンク集 | 上田ブログ

このサイトではGoogle AdSenseやその他ソーシャルボタンのためにCookieを使用しています。もし同意いただけない場合はブラウザでクッキーを無効にして閲覧をお願いします。

jus共催 第50回記念我々は50回も何をやってるんだろうシェル芸勉強会

2020年11月7日 YouTubeで配信

大量データの処理って仕事でも使うからとても勉強になります

知見

使わないと忘れちゃって、その度にググっちゃうという…

奇数行だけ抜き出す、偶数行だけ抜き出す

大量データを並行処理するコツとして、ファイルを分割して処理する方法があると学びまして、
その分割方法の一つが偶数行と奇数行で分割する方法です。peeと組み合わせて使うと並列処理できますね。

$ seq 10|sed -n 1~2p
1
3
5
7
9
$ seq 10|sed -n 2~2p
2
4
6
8
10

横に並べる

やんないと本当に忘れる。foldとcolumnとごっちゃになる。
毎回ググってる。

$ seq 10|paste - -
1       2
3       4
5       6
7       8
9       10
$ seq 10|paste - - -
1       2       3
4       5       6
7       8       9
$ seq 10|paste - - - -
1       2       3       4
5       6       7       8
9       10

xargsの定型句

並列処理の王、xargsの真の使い方

$ seq 5|xargs -I@ -P0 bash -c 'echo xx@xx'
xx1xx
xx2xx
xx3xx
xx4xx
xx5xx
  • -P0 # 並列処理する
  • -I@ # パイプからもらう入力を表現する文字として@を使用する
  • bash -c # こう書いておくと引数にシェル芸が書けるから便利

Comments

Add picture from clipboard (Maximum size: 100 MB)