- 追加された行はこの色です。
- 削除された行はこの色です。
#author("2022-10-14T05:08:26+00:00","default:wikiadmin","wikiadmin")
#contents
*2012/04 [#yb2216ef]
*Ansible実験途中 [#u739f1d2]
さくらのVPS512から1Gへ移行。
**CentOS8 Stream [#n82f756d]
**スケジュール [#od6163e2]
-CentOS8が2021年末で終わりかつCentOS7もいろいろ古くなってきてつらいので対応開始。
-Fail2banがインストール時にエラー
-PythonはOS標準で3.9とかあるので分岐させるべし
-上記問題はあるが、一応最後まで完走した(2021/07/23)
-2012/04/04
**CentOS8 [#c60a9223]
apacheコンテンツ移行。DBインポート完了。設定まだ。wiki.rutake.com移行完了
-パッケージ名が変わりまくり、コケまくる
-minimalだとpython入ってないので手動インストール。jpロケールも入ってない(未解決)
-python3に変わったので、pipでこける
-ntpdがなくなって、chronyに(CentOS7でもあるので!)
-pipでインストールするものがコンパイルエラー!
-2012/04/05
**Mariadb 10.3 [#c348362b]
DB設定完了。cakephp,blog.rutake.com移行完了
mysqlのインポート時にuserテーブルがあるとのエラー、なんでだ?
MariaDB 5.5から10.3なので互換性がなかったのかも?一度本体をupdateしてからチャレンジ?
-2012/04/09
*再構築時に自宅サーバーを一時的に使う方法 [#p45d1ce4]
SVN移行完了。SSLはIP指定をしているのでそこを変えないといけなかった。
+comsumer停止
+slaveからmasterへ昇格
+wordpress自宅を参照するように書き換え(IP直!)
+cakephpをremoteuserに(IP直)
+動作確認
-2012/04/11
*移行後の確認 [#o5ab8332]
Cronジョブ移行。バックアップでDBパスワードが変わっていたためそれなりにシェルを変更
-各バッチファイルの実行確認(IPが変わるとJCBがこけた時があった。ブラウザで入りなおしたら、大丈夫。AUもなぜか実行失敗)
-cloudfrontのinvalidateはなくても大丈夫っぽい
-GMO遅い,KAGOYAは早い
**トラブル [#rfb3a05e]
-PostgreSQLのEUC_JPのDBを作成するときにそのままだとエラーが出るようになった。-T template1で回避
*ansible実行効率化 [#v8db077f]
-PostgreSQLの仕様変更により、date型をsubstrする場合は明示的にtext型にする必要が生じた。substr(userdate::text,4,3)
|自宅setupタスク|60分程度|
|自宅recoverタスク|DW25分程度+展開はすぐ|
-MySQLの全部のデータを移行したが、ユーザ認証のみできない。コマンドラインから権限変更もできない状態だったので、phpMyAdminから該当ユーザ削除→追加で復旧。後日flush privilegesでOKということが判明
*2013/07 自宅内サーバー移行 [#r60f5665]
**不要なダウンロードを削る [#gb413049]
一か月かけて準備。普段からrsyncでデータの同期はとっていた。
-rw-r--r--. 1 root root 6142197 8月 16 07:59 apache-tomcat-6.0.18.tar.gz
-rw-r--r--. 1 root root 118543435 8月 16 08:14 solr-4.1.0.zip
-rw-r--r--. 1 root root 996444 8月 16 08:28 mysql-connector-java-5.1.42-bin.jar
-rw-r--r--. 1 root root 8042383 8月 16 08:48 apache-maven-3.3.3-bin.tar.gz
-rw-r--r--. 1 root root 9375265 8月 16 08:48 apache-tomcat-8.5.13.tar.gz
-rw-r--r--. 1 root root 63124132 8月 16 08:53 jenkins.war
-rw-r--r--. 1 root root 413172 8月 16 08:53 pukiwiki-1_5_0_utf8.zip
-rw-r--r--. 1 root root 6773205 8月 16 08:54 wordpress-4.2.2-ja.tar.gz
-rw-r--r--. 1 root root 747520 8月 16 08:54 phpPgAdmin-5.1.tar.gz
-rw-r--r--. 1 root root 9368791 8月 16 08:55 phpMyAdmin-4.4.12-all-languages.tar.gz
-rw-r--r--. 1 root root 1509582 8月 16 08:55 cakephp-2.8.5.tar.gz
-rw-r--r--. 1 root root 67523890 8月 16 09:00 gradle-4.0-bin.zip
-rw-r--r--. 1 root root 10177671 8月 16 09:01 liquibase-3.4.2-bin.zip
**トラブル [#x95ab77f]
IP変えて再起動したら反応せず。コンソールから復旧させたが、原因不明だった。
ファイヤーウォールでSquidのポートを通していなかった。こちら設定漏れが多いので注意。Sambaのユーザー移行漏れ!
***いらないもの [#r28ece8e]
*2013/12 さくらVPS再構築 [#z9c8448e]
管理ツール入れないのならば、cakephp以外はいらぬという
**下準備 [#j9750ef5]
-solr
-jenkins(rpmのはず)
-maven,gradle(skdmanのはず)
-pukiwiki(影響ないサイズだけど、移行前提ならいらない)
まずは、それほどアクセスのないページや自分専用コンテンツなどを自作サーバーに移行する。基本的にhttpd.confとssl.confを持ってきて、SVNのアクセス制限元を変更するぐらいで動いた。ssl.conf持ってこないとSSLに強制接続になるので今後の課題。
*ansible 2018 スリム版実行状況 [#ac0a6f47]
**移行対象 [#g835d28e]
主に家向け
+tools.rutake.com以下のアプリ
+wiki.rutake.com
|Kagoya|〇|30分はかかるな|
|VMware on MACBook 2013|〇|時間かかるけど|
**要塞化 [#sa5fcb6d]
-SSHDのアクセス元制限。ポートを閉じる。
*ansible 2017年度版実行状況 [#b0b0a5ea]
**tools.rutake.comのpostgres移行 [#c056dfdb]
|AWS|〇||
|Azure|〇||
|Sakura|〇||
|Kagoya|〇|所要時間30分。mvn compileで固まる|
|GMO|〇||
|VMware on MACBook 2013|〇|時間かかるけど|
+postgres自動起動の設定
+DBインポート(DB作成必要)
+PHPツール移植(ツールは問題なしだが、DB接続で下記問題発覚)
-2Gだとzabbix,jenkins(100M),elasticsearch(1G),sonar(1G),kibana,td-agent(100M)はあきらめろ。特にelasticsearchとsonarqubeがlessも使えないほどメモリを食う
-トラブル発生
*cron 空白時間帯 [#qe9b0a58]
psql: FATAL: Ident authentication failed for user "postgres"
SQLSTATE[08006] [7] FATAL: Ident authentication failed for user "postgres"
|平日|45-00|
|土日|40-00|
-pg_hda.confを下記のように編集し再起動。ローカルからのUNIX接続をOKにした。
JavaがDNS固定なので、切り替え後まではConsumerを止めておく。
実質土日00から15分の間しかできぬ!土日の23時以降なら株式データ取得はとまっているので00分にこだわらんでもOK。
# "local" is for Unix domain socket connections only
local all all trust
|0,20,40|道路情報(HPの更新は05,20,45なのでずらし検討)|
|0,15,30,45|道路情報jpeg|
|0,15,30,45|株式情報5時に終了して7時に開始。更新間隔は10分未満・・|
|0,30|鉄道情報。4-23まで|
|15|空室情報、10-24まで|
|13:30|スキーエリア情報|
-PHPからの接続は元の設定をコメントアウトし、パスワード認証をかけるようにした。
#host all all 127.0.0.1/32 ident sameuser
host all all 127.0.0.1/32 md5
結論毎時00-15か45-00までが一番あいている時間帯。
株式情報が止まっている土日であれば40分でも作業可能。
jpegも20分単位にできないか見直す。
-12/4 toolsのpostgres部分移行完了(一部svn登録モレモジュールがあり消滅・・・)
Azureの書き込みがある場合は、そろそろ15分ではきつくなって来た。
Azure同士だと30分は必要で段階移行必須。A4にして実施したけどもやはり15分ギリギリ。I/Oが遅い!
-CakePHPをTools配下へ移植
2.4にしてみた。いつものようにhttpd.confの設定が必要。
appのみSVNからコピーして無事接続成功
*Ansible移行手順 [#w1b04009]
DB単位でエクスポート
mysqldump -u root -p MYDATABASE > /var/tmp/MYDATABASEdmp.sql
移行元のDBを消す。
[root@epox cake2.4]# mysqladmin -u root -p drop MYDATABASE
空のDBを作成
mysql> create database MYDATABASE default charset utf8;
インポート
mysql -u root -p MYDATABASE < MYDATABASEdmp.sql
-さくらの場合はsecureタスク実施後、PermitRootLogin noをyesに変更する必要がある。
-12/5 cakephpのツールを移行完了。残る大物はblogのみ
+secure
+setup
+apps(maven以外はなくてもOK)
+myapps
+cron
+移行元でS3へバックアップ
+recover(--tags=prepare,web,mysql のち postgres,svn)
+migrate(間に合わなかった場合個別DB移行)
-12/7 バックアップを実施だが、mysqlがパスワードなしでバックアップできている理由が不明。コマンドラインにもろ記載が後日判明
-起動確認を忘れて取り逃がしが過去頻発しているので注意。
-12/30 blogの移行テスト。DB移動とblog以下一括移動が一番楽とのことでそれで実施。コンテンツ領域20MとDBが2M
**移行元手作業(なくしたいが、今のところレアなので) [#c387e053]
目的のディレクトリの一階層上に移動
cd /var/www/UPPER_DIR
tar cvzf blog.tar.gz blog/
-wordpressの接続先を新サーバーに
-toolsはいったんそのまま(cronもあるので)
DBも同じようにバックアップして圧縮しておく(18Mが十分の一に)
**移行先手作業 [#h86d09ae]
受け取りサーバー側では同じく一階層上で解凍
DBもインポートしておく
空のDBを作成(utf-8でOK)
mysql> create database MYDATABASE default charset utf8;
インポート
mysql -u root -p MYDATABASE < MYDATABASEdmp.sql
-toolsを旧サーバーに向ける(デフォルトをリモートへ)
-移行後にlocalhostに戻す。
-12/31 空室情報取得バッチの移植に苦労。理由は<?phpを入れてなくてバッチ実行クラスが見つからないというなんとも初歩的なもの。翌日に移植完了とhtml形式の違いで取得できなかったものにも対応。
-1/1 テーブル移行
**移行定番作業 時間差DB移行 [#q35ac8bc]
移行元
mysqldump -u root -p --add-drop-table cakephp rooms > rooms.sql
gzip rooms.sql
移行先
gzip -d rooms.sql.gz
ansible taskにしたのでそちらを利用せよ。DBを指定して一度にexportとimportを実施できる。
***移行元 [#zebebcb5]
mysqldump -u root -p cakephp | gzip > cakephp.sql.gz
scp cakephp.sql.gz NEW_SERVER:/var/tmp
***移行先 [#z9bddd45]
drop database cakephp
create database cakephp default charset utf8;
mysql -u root -p cakephp < /var/tmp/rooms.sql
-1/1 httpdのカウントテーブル作成
mysql> CREATE TABLE httpd_count (
-> recorded DATETIME not null,
-> httpd_count int unsigned not null
-> );
mysql> LOAD DATA LOCAL INFILE '/var/log/httpd_count.log' INTO TABLE httpd_count FIELDS TERMINATED BY ',';
-1/6 svn移行
***アプリの接続先をlocalhostに変更する [#h5a7eb6f]
svnadmin dump /home/svn/repos | gzip > /var/tmp/myrepos.tar.gz
-1/6 夜移行
**移行に必要な時間 [#n044da8d]
サーバー再インストールからコンソール上がりきるまで10分は見ておいたほうがよい。DNSがなかなか切替わらず見切り発車で実施。SSLの秘密鍵のバックアップを忘れてSSL月だと起動失敗したのでSSLは後日。blogとwikiは移行完了。cronの改行コードがおかしくてエラーとなっていた。LFじゃないとNG
azureは移行元でも時間がかかるし、移行先にしても時間がかかる。(体感ではSakuraVPSの5倍!)azure同士の移行だとまず15分に収まらないので注意。
(db+svnのインポートで12分で時間オーバー!エクスポートも5分は見ておく!)
-1/16 セキュリティ設定
*残作業 [#u6ec7302]
SVN移行,hosts設定,
-KAGOYA不正アクセスログをスナップショットから復元
-Jarticをいい加減バックアップとAnsible化
-その他必要なものバックアップして4月後半までにsakuraリニューアルさせたい。
-1/17 IP設定
210.148.59.13,serverToken除去,php.iniの設定変更など
**Ansible対応状況 [#wdd67cec]
|CentOS 6 さくらのVPS|セットアップ完了。DBの移行断念|
|CentOS 6 nagoya VPS|セットアップ完了。DBの移行断念|
|Azure OpenLogic CentOS 7.1|セットアップ完了。移行も完了|
|Azure OpenLogic CentOS 7.2|セットアップ完了。Sonhrqube以外OK|
|さくら CentOS 7.2|セットアップ完了。セットアップタスクが5分程度(ほか14-15分)で終わるので、一番早い!|
|KAGOYA CentOS 7.0|セットアップ完了。TybeBだとセットアップ5分、リカバー2分で終わる|
*移行漏れ [#z9bb5946]
***チェックリスト [#zee56420]
SSL証明書,.htpasswd
+認証周りがキチンとされているか?(管理画面に入ること)
+旧コンテンツ(blog/techmemo)やwikiのリダイレクトが完璧であること。
+アクセス制限が移行されていること
*移行前の下準備 [#a93e7d30]
***postgresのユーザーに権限付与(シーケンスリード権限がなかった) [#tb2938a8]
+公開鍵のバックアップ(OK)
+blog関係バックアップ
+cron関係チェック(OK)
+yumの履歴(OK)
+SVNバックアップ(OK)
GRANT ALL ON テーブル名 TO ユーザー名;
GRANT ALL ON シーケンス名 TO ユーザー名;
-2/4 UTF-8移行
***cron移行周りのはまり(現在進行中) [#m7a684ef]
createdb homedb_uft -E UTF-8 -T template0
ダンプSQLをUTF-8に変換
SET client_encoding = 'UTF-8';
-ntpdateが見えない
フルパスに変更
-4/19 cakephp戻し
データベース移行は順調。
シンボリックリンクを介してのリライトはNGのようなのでディレクトリ名変更
DBアクセス。ユーザーを追加していなくてアクセス失敗。
simple_dom_htmlライブラリを入れてなくて失敗
-さくらでaws configureの内容が見えてない。翌日cron経由だと動かなくて発覚。
→単なる設定ミス。
-6/02 pukiwiki更新検討
aws s3 lsで設定の確認をすること
*2015/04 攻撃を受けてセキュリティ強化とアプリケーション分離と作り直し [#jf9aea84]
-未解決
**基本方針 [#w97e0c01]
/etc/cron.daily/s3_backup.shがさくらだけ上記のエラーがでる。
5分ごとに実行だとでないのに!
内部向けは自宅サーバーにおいておくか?
wikiはアクセス数が減少しているのでどうする?
旧MTのコンテンツを廃止したい。
**対象 [#ff1e215a]
*wordpressのサブディレクトリからサブドメインへ移行 [#r1f14d3d]
**作業手順 [#da913c76]
+http://blog.shun-ichiro.com/howto/move-wordpress/
**トラブル [#y09767b6]
*各VPSの特徴 [#befc41ca]
*2015/11 一部アプリケーション分離 [#r71a0eb0]
**さくらのVPS [#k08a6438]
**空白時間帯 [#qe9b0a58]
カスタムOSを入れるときはChromeじゃないと操作できない致命的な欠点はあるが、性能は一番安定している。スナップショットが取れないのがいまどき時代遅れ感。
|0,20,40|道路情報|
|0,15,30,45|道路情報jpeg|
|0,15,30,45|株式情報5時に終了して7時に開始|
|毎時10分|鉄道情報。4-23まで|
|毎時15分|空室情報、10-24まで|
|毎日13時5分|スキーエリア情報|
**Azure [#ea0ee128]
結論毎時50-00までが一番あいている時間帯。
鉄道情報は更新状況を整理して15分ヘッドにできないか見直す。jpegも20分単位にできないか見直す。
IOが遅い。あとOpenLogicのCentOS7.1を使っているが、それ以外に変えると不具合出たりしてこまったもんだ。
**Kagoya VPS [#f3efa16c]
**全体計画 [#jba4e101]
最初は何も入ってなくて苦労したけれども、ノウハウをためていくうちにAzureよりセットアップが早いので利用しまくり。スナップショット機能がお気に入りだ。
ただし保証メモリが1Gなのでメモリ不足は一番陥りやすい。
|項目|計画日|実施日|備考|
|wiki|11/16|11/16||
|S3バックアップ|11/16|11/17|バックアップスクリプト修正|
|toolsアプリのみ|11/17|11/17|cake2.6で動かしてみる。.htacessではまった|
|バッチをローカルDBにて動かす|11/17|11/17|すんなり動いた。|
|cake2.6プロビジョニング|11/18|||
|cronプロビジョニング|11/18|||
|postgres移行、tftool移植|11/18||postgresql.conf,hg_hda.conf,iptables,postgresユーザー以外での接続に変更など結構大変だったがphpモジュールは普通に動いた|
**さくらのクラウド [#f97ef0be]
***postgresのユーザーに権限付与(シーケンスリード権限がなかった) [#tb2938a8]
最低ランクだと起動までに時間がかかる(体感できるほど)。セットアップは最低ランクでもAzure以上!
GRANT ALL ON テーブル名 TO ユーザー名;
GRANT ALL ON シーケンス名 TO ユーザー名;
現実的な2Gのプランだとセットアップは5分。移行タスクは6分で完了優秀。
*pukiwiki バージョンアップ/移行手順 [#ja8d3462]
**各フォルダコピー(data,wiki,attache,counter,cacheはいらん?) [#w460b4a6]
rm -rf attach/ backup/ diff/ cache/ wiki/ counter/
cp -ir ../wiki/wiki ./
cp -ir ../wiki/attach ./
cp -ir ../wiki/backup ./
cp -ir ../wiki/diff ./
cp -ir ../wiki/cache/ ./
cp -ir ../wiki/counter ./
**pukiwiki.ini.phpの設定 [#zd6f9675]
$nowikiname = 1;
$adminpass変更
# 閲覧制限
$read_auth = 1;
$read_auth_pages = array(
// Regex Groupname or Username
'/^.*personal.*$/' => 'USER',
'#PageForAllValidUsers#' => 'valid-user',
'#HogeHoge#' => 'hoge',
'#(NETABARE|NetaBare)#' => 'foo,bar,hoge',
);
# 編集制限
/////////////////////////////////////////////////
// Edit auth (0:Disable, 1:Enable)
$edit_auth = 1;
$edit_auth_pages = array(
// Regex Username
'/^.*$/' => 'USER',
'#BarDiary#' => 'bar',
'#HogeHoge#' => 'hoge',
'#(NETABARE|NetaBare)#' => 'foo,bar,hoge',
);
# user追加
**skin/pukiwiki.ski.phpの設定 [#l742e5af]
-パンくずを有効に
define('SKIN_DEFAULT_DISABLE_TOPICPATH', 0)
**lib/html.php [#dbfdc872]
-CDN対策(閲覧ドメインと編集ドメインを分けて置き、編集時のみ別ドメインに飛ばす)
-lib/html.php
-mydomainを書き換える!
-編集URLにmydomainをつける
$mydomain = "https://wikiedit.rutake.com/wiki/";
$_LINK['edit'] = "$mydomain?cmd=edit&page=$r_page";
***20190812実行 [#kde890aa]
-CloudFrontログイン連携がうまくいかなくなった。POSTがCloudFrontへ行ってしまう。
-ログインフォームのURLが相対パスになったためである。なのでログイン画面でhttpsに飛ばさないとだめ
-ログインメニューまで相対パスになっているので、素直に打ち直しましょう。
***上記の改造対応 [#u9944189]
// この関数が呼ばれるようになった
$script = get_base_uri();
// ここを変える。
$_LINK['edit'] = "$script?cmd=edit&page=$r_page&custom=true";
#counter