とりとめのないことを書いております。
by tempurature
カテゴリ
全体
プログラミング
scheme
verilog
未分類
以前の記事
2016年 04月
2016年 03月
2016年 02月
2016年 01月
2015年 12月
2015年 11月
2015年 10月
2015年 09月
2015年 08月
2015年 07月
2015年 06月
2015年 03月
お気に入りブログ
PHPで競技プログラミング
メモ帳
最新のトラックバック
ライフログ
検索
タグ
その他のジャンル
ブログパーツ
最新の記事
情報処理技術者試験 お疲れ様..
at 2016-04-17 18:55
基本情報技術者試験 平成27..
at 2016-04-14 04:48
基本情報技術者試験 平成27..
at 2016-04-13 23:03
苦い薬(ハーブ、サプリメント..
at 2016-04-09 14:03
「おバカ度チェックリスト」を..
at 2016-03-24 09:54
外部リンク
ファン
記事ランキング
ブログジャンル
画像一覧
タグ:シェルスクリプト ( 3 ) タグの人気記事
【Linux】テキストファイルを繰り返して出力する
テキスト処理の性能評価のため、10行程度のテキストファイルを10000回繰り返して表示させたいと思いました。catやsedでできるかなと思いましたが、そのようなオプションはなさげ。

ただ、which repeatと入力すると、そういうコマンドがあるっぽい。

$ which repeat
repeat: shell reserved word

(※もともとcsh系のコマンドらしく、bashでは使えません。zshでは使えます)

さっそく使ってみることに。

$ cat AtoZ
A
(略)
Z
$ wc AtoZ
26 26 52 AtoZ
$ repeat 10 cat AtoZ > tmp
$ wc tmp
26 26 52 tmp

おかしいなぁ もしかしてtmpが10回ファイルオープンしているとか

$ (repeat 10 cat AtoZ) > tmp
$ wc tmp
260 260 520 tmp

うまくいきました。

ところが、この時点で、なんか動作がもっさりしています。なので

$ time (repeat 10 cat AtoZ) > tmp
( repeat 10; do; cat AtoZ; done; ) > tmp 0.04s user 0.01s system 70% cpu 0.085 total
$ time (repeat 1000 cat AtoZ) > tmp
( repeat 1000; do; cat AtoZ; done; ) > tmp 1.48s user 3.86s system 80% cpu 6.638 total

1000回の繰り返しで6.6秒もかかっています(Cygwinでの実行結果です)。

しばらく考えて、繰り返した回数だけcatのプロセスを生成していることに気が付きました。根本的すぎて嫌になります。

catに代わる繰り返し出力用コマンドを作ってみました。

$ cat dog
#!/usr/bin/python

# dog command --- concatnate standard input repeatedly
# cat [file] | dog [num]

import sys

text = sys.stdin.read()
for i in range(int(sys.argv[1])):
print text,

dogを実行した結果、物凄く早く終わりました。

$ time (cat AtoZ | dog 1000) > tmp
( cat AtoZ | dog 1000; ) > tmp 0.03s user 0.01s system 78% cpu 0.058 total

dogでは標準入力しか受け付けず、しかもプログラム内のバッファに一度ためてから出力するので、長大な標準入力は受け付けられません。長大なファイルを入力する場合はプロセス生成時間よりもファイルアクセス時間のほうが長いのでrepeatを使ってくださいということです。


[PR]
by tempurature | 2015-09-12 22:57 | プログラミング
シェルスクリプトの関数を他のスクリプトで使いたいときは?
シェルスクリプト内でsourceすればいいです。

スクリプト内で、

foo.sh

と書くことは、他の言語ではsystem("foo.sh")とかに相当します。

source foo.sh

と書くことは、他の言語ではinclude foo.shとかに相当します。

また、コンソール画面上でシェルスクリプトの関数を使いたい時もsourceすれば使えますし、.bashrcなどに書いた関数はコンソール上で使用できます。

$ tail -4 .bashrc
function greet {
echo "Hello, everyone!"
}

$ bash

$ greet
Hello, everyone!


[PR]
by tempurature | 2015-09-12 14:25 | プログラミング
【verilog】スクリプトの活用について
UNIX系のEDAツールを使っている時、スクリプトが活用できるかどうかが仕事の効率アップの鍵になることが多いようです。
UNIXの作業効率を上げるためのスクリプトの活用についてまとめました。

1. まずはプログラミングをしないで済ませられないか検討しよう。

UNIXには豊富なコマンドが用意されており、プログラミングをしなくとも編集や繰り返し実行などが簡単にできるようになっています。例えば、テキストファイルの一括編集にはsedを使います。ファイルの表示にはcat, head, tailなどを使用します。また、パイプ機能を使えばテンポラリファイルを作らずに複数の作業を行うことができます。

2. 次に、シェルスクリプトで済ませられないか検討しよう。

スクリプトを書く必要がある場合にだけ書くようにします。なぜなら、シェルスクリプトのデバッグは意外に難しいからです。特にsedのような正規表現が絡むコマンドはスクリプトの中に書く前に、その1文だけをコマンドラインで思うとおりの動作をするかデバッグしましょう。
 UNIXのスクリプト作成でperlなどよりもシェルスクリプトを薦めるのは、コマンドライン上で1文デバッグできるということがあげられます。
 また、スクリプトは100行を超えないのが理想です。スクリプトが長大になると、スクリプトのテスタビリティが失われてデバッグしづらくなるためです。スクリプトが200行を超える場合は、その記述の一部を別ファイルに抜き出せないかを検討した方がいいです。

3. perl, rubyは作業環境に用意されていないコマンドを実装したり、移植性を高めたりするために使おう。

例えば、realpathというコマンドは環境によっては用意されていない場合がありますが、rubyを使うと1,2行で実装できます。また、コマンドラインやシェルスクリプト上でperl, rubyの1行実行をするのも有効な使い方です。

4. pythonは使わない。

pythonは、モジュールのコンパイルを行うのでインタプリタによるデバッグがしづらいです。また、pythonの1行実行もpython特有のインデントルールによって、あまり使い勝手がよくないです。


[PR]
by tempurature | 2015-06-21 18:30 | verilog