UNIX/common/小ネタ の履歴(No.32)

• 履歴一覧
• 差分 を表示
• 現在との差分 を表示
• ソース を表示
• UNIX/common/小ネタ へ行く。
  • 1 (2010-09-19 (日) 03:08:56)
  • 2 (2011-01-09 (日) 07:44:51)
  • 3 (2011-02-12 (土) 11:21:54)
  • 4 (2011-03-05 (土) 04:28:00)
  • 5 (2011-04-02 (土) 02:36:09)
  • 6 (2011-09-08 (木) 09:37:07)
  • 7 (2011-11-04 (金) 03:03:18)
  • 8 (2011-12-22 (木) 05:24:46)
  • 9 (2012-01-12 (木) 07:05:17)
  • 10 (2013-09-26 (木) 01:37:41)
  • 11 (2013-12-17 (火) 01:48:04)
  • 12 (2014-01-23 (木) 09:00:50)
  • 13 (2014-03-05 (水) 01:09:54)
  • 14 (2014-07-16 (水) 01:06:37)
  • 15 (2015-03-04 (水) 06:20:36)
  • 16 (2015-03-19 (木) 02:02:57)
  • 17 (2015-04-08 (水) 00:34:06)
  • 18 (2015-05-20 (水) 11:40:11)
  • 19 (2016-01-14 (木) 13:43:35)
  • 20 (2016-01-19 (火) 01:49:39)
  • 21 (2016-03-21 (月) 11:26:03)
  • 22 (2016-03-22 (火) 13:35:57)
  • 23 (2016-06-03 (金) 16:03:19)
  • 24 (2016-06-16 (木) 12:31:56)
  • 25 (2016-11-22 (火) 12:53:38)
  • 26 (2016-12-01 (木) 18:34:25)
  • 27 (2016-12-02 (金) 07:30:46)
  • 28 (2016-12-22 (木) 10:25:18)
  • 29 (2017-05-09 (火) 07:39:31)
  • 30 (2018-04-23 (月) 22:18:10)
  • 31 (2018-10-25 (木) 07:52:41)
  • 32 (2019-05-27 (月) 10:20:15)
  • 33 (2019-07-18 (木) 10:04:46)
  • 34 (2019-08-12 (月) 15:33:57)

---

• 一行完結だが、役に立つコマンド等。ほとんどLinuxで確認しているのでSolarisだと使えないかもしれない。

Telnet自動化 簡易版†

コマンド内容をシェルに書いておく。速すぎると失敗するのでスリープを入れる

#!/bin/sh
sleep 2; echo LOGIN_ACCOUNT
sleep 2; echo PASSWORD
sleep 5; echo pwd
sleep 1; echo exit

実行は以下のように行う

sh test.txt | telnet 192.168.x.x

コマンド集†

xargsで並列curl実行†

urllistにurlを入れておき、P3で３並列実行

cat urllist.txt | xargs -P3 -t -n1 curl >/dev/null

ファイルを結合(INNER JOINのような)†

join -t, a.csv b.csv > joined.csv

findで拡張子複数を検索†

find -name "*.txt" -or -name "*.dat"

findで前日に更新されたファイルを列挙†

find . -mtime +0 -mtime -2

findで60分以上１２０分以内に更新されたファイルを列挙†

find . -mmin +60 -mmin -120

findで特定の日付以内に更新されたディレクトリ列挙†

find .  -maxdepth 1 -mtime +1-type d

上記だと1日以内に更新されたディレクトリを列挙

findで見つかったファイルの合計MB単位で表示する†

 find . -name "*log" | xargs ls -la | awk '{ total +=$5 }; END { print total/1024/1024 }'

上記のさらにgzを対象にしたバージョン†

find . -name "*gz"  |  xargs gzip  -l | tail -n 1

ディレクトリ古い順に表示して6位から表示†

ls -t1 | tail -n +6 

リソース監視†

dstat -am --top-bio --top-io -n 5

ファイルを直接書き換える†

sed -i 's/hogehoge/fugafuga/' hoge.txt

findとのあわせ技

find . -name "*.css" | xargs sed -i 's/fuga//'

gzのファイルを展開せずにgrepする†

zgrep "キーワード" xxxlog.gz

• 件数を確認するだけなら以下でよい

zgrep "キーワード" xxxlog.gz | wc -l

• 結果をプレーンテキストに出力する

zgrep "キーワード" xxxlog.gz > grepresult.txt

ftp専用ユーザの作成†

useradd -s /sbin/nologin ユーザ名

ls編†

指定ディレクトリ以下の総ディスク使用量を求める。†

du -h --max-depth=1 /var/tmp

開いているポートを見る†

netstat -tpl

touchで日付時刻指定†

touch -t 200612312400 lastupdate

ファイルに基準時刻でtouchしておき、以下のコマンドでその時点以後に更新されたファイルがわかる。

find . -newer lastupdate

findで複数場所から指定のファイルを探す†

find /usr/local /usr/bin /usr/sbin -type f -print

findで見つけたファイルと.bkを持つファイルのdiffを一気に表示†

find . -name "org.txt" -print0 | xargs -0 -i diff {} {}.bk

上記でorg.txtとorg.txt.bkの比較になる。sedでの書き換えと合わせ技

findでフルパス†

探す場所をフルパスで指定すればよい。手動で入力してもよいが、pwdを使うと楽

find `pwd` -name "*" 

findで最終更新日を基準にファイルを探す†

• 50日前より古い更新日付を持つファイル

find ./ -mtime +50 -name "*.gz"

• 50日以内に更新されたファイル

find ./ -mtime -50 -name "*.gz"

• 2分以内に更新されたファイル

find . -mmin -2

• 上記を消す場合（古いファイルを消す）

find ./ -mtime +50 -name "*.gz" | xargs rm -f

危険なのでいったんリストアップしてから、|以降の処理を加えるとよいだろう

• 特定フォルダを除外してfind

find . -path "./backup" -prune -o -type f -name "*.txt"

ここではbackupフォルダを検索対象から外し、もうひとつの条件を-oオプションで付与している。

ファイル数が多すぎるフォルダから1000ファイルずつバックアップ†

rmやlsで「引数リストが長すぎます」のエラーが出てしまった時の対応でまずバックアップを取得したかったので1000ファイルずつ別のフォルダ（ここでは1_work)にコピーした。

ls --color=never | head -n 1000 | xargs -I {} mv -v {} ../1_work/

emacsのバックアップを消す†

find . -name "*~" | xargs rm

特定の関数を使っているファイルをリストアップ†

find . -name '*.php' -type f -print | xargs grep wordwrap 2>/dev/null
find . -name "*.php" -type f | xargs grep echo

自分がどのグループに所属するか等の情報を見るコマンド†

id

isoイメージをマウントする†

mount -o loop xxxx.iso iso_tmp

画面のログを取る〜script†

script ログファイル名
exitするまで画面内容をログにためてくれる。エスケープシーケンスを正しく表示させるためログはcatでみるべし

指定の行数でファイル分割〜split†

split -l ? intput.txt

psですべてを表示させる†

ps -efw

lastログのDNSホスト取得†

last  | grep "\.r" | awk '{ print $3 }'

不正侵入者のＩＰ取得(Linux限定）†

grep Did secure* | awk -F" " '{print $12}'
grep Illegal secure* | awk -F" " '{print $10}' | uniq
grep refused /var/log/secure*  | awk -F" " '{print $10}' | sort  | uniq -c | wc -l
grep refused /var/log/secure*  | awk -F" " '{print $10}' | sort  | uniq -c | sort -r -n

不正侵入者国別ランキング†

grep refused /var/log/secure*  | awk -F " " '{print $9}' |xargs -n 1  geoiplookup -f /usr/share/GeoIP/GeoIP.dat|sort|uniq -c|sort -n

CSVの特定列取得†

echo "removed,b,c,d" | awk -F"," '{print $2","$3","$4}'

n日前GET†

date --date 'n days ago' '+%y%m%d'

日付設定(Linux)†

2006/02/15 11:30
date 0215113006

特定のユーザーにのみsu - を許可†

vi /etc/pam.d/suで下記部分をアンコメント
auth       required     /lib/security/pam_wheel.so use_uid

シャットダウンする†

shutdown -h now(haltはNG)

HDDの速度調査†

hdparm -ft /dev/hda

ハードウェア情報†

lshwをインストールする。ほかにもlspciやlsusbがある

コメント除去†

grep -v ^#

コメントと空行も除去†

grep -v -e "^[ \t]*#" -e "^$" /etc/httpd/conf/httpd.conf

zipでディレクトリごと圧縮†

• 圧縮したいディレクトリの上で以下のコマンドを実行

zip -r xxxx.zip ./圧縮したいディレクトリ

改行コードをみる†

cat -v ファイル名

CRLFなら^Mが行末に出る

gzで圧縮されたファイルを解凍せずに見る†

zcat ファイル.gz | more

HOSTNAME変更†

hostname NEW_NAME
vi /etc/sysconfig/network編集
vi /etc/hosts編集
ネットワーク再起動
/etc/init.d/network restart

キーボード編†

CRL+Dでログアウト†

有名ソフトウェア†

tarで所有者情報を消す†

tar czf /var/tmp/hoge.tar.gz hoge/ --no-same-owner --no-same-permissions

AWK†

awk -F "delimiter" 'print {$1}'
grep wiki access_log | awk '{ printf("%10s,%10s\n",$1,$11)}' | grep -v "-" | grep -v 221.186.64.20

• csv処理(単純バージョン)

awk -F , '{ print $1, $3, $5; }' 対象ファイル名

ダウンロードテクニック†

正当性確認†

• ダウンロードした巨大ファイルはチェックサムで壊れてないか確認しましょう！

md5sum ファイル名
sha1sum ファイル名

ネットワークの通信量を調べる†

netstat -ic

ソースは以下のページ

http://www.math.kobe-u.ac.jp/~kodama/tips-netstatus.html

文字コード変換†

• nkfは知ってるけどiconvは使い方よくわからんかった。ともにEUC-JPのファイルをiso-2022-jpに変換するというもの。出力はコンソールなのでファイルに出したいならリダイレクトすればよい。

nkf†

nkf 

iconv†

• fは入力ファイル文字コード。-tは出力文字コード。

iconv -f EUC-JP -t iso-2022-jp 入力ファイル名