■ [ネット] はてなダイアリーのデータをxoopsに移してみる

今とあるサイトを構築中で、そこの記事に今まで書いたはてなダイアリーからデータを持って行った際のメモ。ちなみに smartsection に持って行った場合です。それ以外の場合は各自データ構造を分析してから持って行ってください。

まず、はてなのデータをCSV形式でインポート。データ形式は、

date,title,body,comment,text

ってなってるので、これを smartsection のデータベース形式に変更する必要がある。smartsection は、

itemid,categoryid,title,summary,display_summary,body,uid,datesub,status,image,counter,weight,dohtml,dosmiley,doxcode,doimage,dobr,cancomment,comments,notifypub,meta_keywords,meta_description,short_url,partial_view

って感じのデータ構造でまるっきり違うため、CSVエディタを使って編集。自分の場合はエクセルだと固まったため、Cassava というフリーのCSVエディタを使った。

データ編集の際には、はてなの text カラムは body とダブっているので削除。プレーンテキストが必要なら body の方を消す。

で、あとは既に登録してある記事を参考に、各カラムの内容を埋めていく。事前に1件は記事を登録しておかないと難しいと思う。空欄でもいいのは summary meta_keywords meta_description short_url あたり。これは後から手動で入れるしかない感じ。

で、普通にその辺りの処理だけして作ったCSVの例。

"7","5","何かここ最近ハイペースな更新だ(これでも)","","0","
  <div class=""section"">
   <h3><a href=""/cruel/#p1"" name=""p1""><span class=""sanchor"">■</span></a>[<a href=""/cruel/searchdiary?word=%2a%5b%c6%c7%c5%c7%a4%ad%5d"" class=""sectioncategory"">毒吐き</a>] 日本の権利者は概して原理主義者である</h3>
   <p>原理主義者が言い過ぎなら、度を超した潔癖性でもいいけどさ。</p>
(中略)
  </div>
  <div class=""section"">
   <h3><a href=""/cruel/#p2"" name=""p2""><span class=""sanchor"">■</span></a>しかし……</h3>
   <p>書き始めたときはせいぜい10行くらいで終わると思ってたのに、何でこんな長文に。</p>
  </div>
","1","1169790000","2","blank.png","0","0","1","1","1","0","0","1","0","1","","","","0"

これでデータは一応移せるけど、はてなのリンクがそのまま残ってるのは何とかしたいということで、以下の正規表現で空白と置換。

<a href=\"\"\/cruel\/#p.+<\/a>\]
<a href=\"\"\/cruel\/#p.+<\/a>

これだと注釈とか付けたリンクなどが残るので、それも全て排除したいなら

<a href=\"\"\/cruel\/#.+<\/a>\]
<a href=\"\"\/cruel\/#.+<\/a>

とやればOK。cruel の部分は各自のIDに変更すること。

で、できあがった最終形はこんな感じ。

"7","5","何かここ最近ハイペースな更新だ(これでも)","","0","
  <div class=""section"">
   <h3>日本の権利者は概して原理主義者である</h3>
   <p>原理主義者が言い過ぎなら、度を超した潔癖性でもいいけどさ。</p>
(中略)
  </div>
  <div class=""section"">
   <h3>しかし……</h3>
   <p>書き始めたときはせいぜい10行くらいで終わると思ってたのに、何でこんな長文に。</p>
  </div>
","1","1169790000","2","blank.png","0","0","1","1","1","0","0","1","0","1","","","","0"

これを phpMyAdmin を使ってインポートすればOK。その際の設定は、フィールド区切り記号を「,」に(今回カンマ区切りなので)、行の終端記号 を「n」のみにする。あとCSVファイルの漢字コードが Shift-JIS なら、漢字コード変換を「EUC」にチェックを付ける。

以上でデータは正しくインポートできた。ただしこの事例はさくらインターネットでの事例であり、他の環境で同様にうまくいくかは不明。

■ 04/20 追記

今更ながら、これだけではちょっと分かりづらい記事なので補足と一部記事修正。

• itemid は他の記事と重ならない数字に。各記事ごとの固有IDなので。CSVエディタの連番機能を使うと楽。Cassava にももちろんあります。

• categoryid は記事を登録したいカテゴリのID。他の記事があればその記事を参考に設定。自分の場合はテンポラリー用にカテゴリを作って、そこにまとめて放り込んだ。

• datesub は記事の公開日。これはUNIX時間(1970年1月1日からの秒数)なので、以下のようにしてエクセルで変換するか、専用ソフトを使うといい。自分は面倒なので同じ日時で統一しちゃったけど。

A1セルに日付データがある場合(Windows版 Excel 2003で確認)

=A1*86400-"1970/1/1"*86400

とすれば、日時データのUNIX値が計算される。ちなみに、UNIX時間をシリアル値に直すには、

="1970/1/1"+A1/86400

とすればいい。( http://oshiete1.goo.ne.jp/kotaeru.php3?qid=1018715 より引用)

または、下記ソフトを使って変換してもいい。たくさんあると面倒かもしれないけど。(未使用なので詳細は不明)

UNIXTIME Converter

http://www.vector.co.jp/soft/win95/personal/se353603.html

あとはこの日記の例で表示したままを流用しても、特に問題は出ないはず。

■ [毒吐記] 日本の権利者は概して原理主義者である

原理主義者が言い過ぎなら、度を超した潔癖性でもいいけどさ。まー誰がとは言わないけど、だいたい想像はつくんじゃないかなと。

毛先ほどの汚れが付くのも厭い、目障りだったら叩きつぶす。無関係でも即訪問。そのくせ自分のやること棚に上げ、不透明な会計処理。そりゃあ法的には何ら問題ないにしろ、それって法律の趣旨である「文化の発展に寄与」するやり方なのかなあ、なんて思えて仕方ないんだが。

おおっぴらに不正なコピーやら犯罪に手を染めるのは論外だけど、今風に言えばオマージュやリスペクトっていうの？ あるモチーフを踏み台に別の物を作るって文化はさ、短歌の本歌取りとか見れば分かるように、日本に昔からある概念だと思うんだけどね。

MADムービーとか権利者から見れば真っ黒なんだろうけどさ、あれ見て使われてる曲に興味持って調べてCD買ったとかって例もあるんじゃないかと思うわけよ。つか、ぶっちゃけ自分がそれでThe OffspringとかNightwishとか買ったクチなんだけど。至る所で言われ尽くされたことだけど、そういう販促効果ってゼロではないはず。

権利者から見ればさ、そんな心配は要らねえよバーカ販促なら俺たちでやるからテメーら消費者は黙って俺たちの俺たちによる俺たちのための販促だけ見て買えばいいんだよ、なんて思ってるんだろうけど、今後はそれじゃ通用しないとも思うんだよな。

Web 2.0っていうワードは、今となってはちょっと前の言葉になった感があるけど、この概念の一つとして言われてるCGMとか、口コミとか。これが今後はより購買活動に大きな影響を与えると言われてる。なぜかというのは考えるまでもなく、今までの口コミは近所とか友達とかってレベルで大きな広がりはなかったけど、今はネットという、より多くの個人の意見を言ったり聞いたりできる場があるから。

で、もうみんな気づいているんだよ。どんなにCMやら広告やら打って、ここがいい、ここが素晴らしい、前の商品より何倍も性能アップ、なんて美辞麗句を書き連ねたところで、所詮は売るためのセールストークだと。嘘は言ってないだろうけれど、それが自分にとってどう役立つか、自分にフィットするのか、なんてこととは無関係って事がさ。

そんなものより、個人が書いてるブログや2chやWebページなんかの方がまだマシって思ってるんじゃないか。

もちろん、個人のフリした工作員が書いてるって可能性もあるから、全てを手放しで信用はできないし(有名な話だとソニーのゲートキーパーとか、やらせブログがあったよな)、アフィリエイトを貼りまくってるサイトなんかは、(自分も少し貼ってる手前アレだが) 売らんがためって欲が透けてしまって信用できないってのもある。

その情報の取捨選択の能力と、その結果に対する「自己責任」が今後消費者には求められてくるんだろう。今までみたいにCMを見て買って、実はこんなダメな部分もあるじゃねーかってなるか、事前に口コミとか調べて、メリットとデメリットを考えた上で選択するか。少なくとも選択するための手がかりが増えるって事は素直に歓迎したい。

で、本題に戻ると、だ。そんな風に顧客がわざわざ報酬も出ないのに苦労してMADムービーとかリミックスとかアレンジとか作ったり、ちょっとしたミニコンサートとか開いたりして楽曲を広めてくれてるのにさ、それにわざわざ水を差すって行為は長期的に見て本当に得なのかなとか思うわけ。

Youtubeの件とか見ててもそう思うし(もちろん全部が全部肯定はしないけど)、今年でインターネットやり始めて11年目に突入した俺みたいなオッサンは、草の根MIDI文化がどうして衰退したのかって理由の一端も知ってるんで、なおさらそう思う。

もっと言うならコミケ。アレだって法的にグレーな二次使用のパロディものが主流。もちろん俺はそんなコンテンツが好きなのでよく買ったりするわけだが、ああいった場から次の世代を担うクリエイターが出てきていることは事実。これは予測とか曖昧なものじゃなくて、コミケでパロディ描いてた人がメジャーで活躍している事実がある。有名どころでは「ドージンワーク」のヒロユキ氏とか。メルティブラジャー大好きです。パンツ大好き志貴君にはむちゃくちゃ笑いました。

という俺の感想はともかくとして、昨今は口コミでブームになるネタやアイテムも多くなってきたことだし、そろそろ各種権利者団体もコンテンツのフェアユースっていうか、二次使用に対し、アマチュアクリエイターには対価を取らずにある程度の利用を認めてもいいんじゃないかなと愚考する次第。

「学ぶ」は「まねぶ(真似する)」って言葉が転じたもの。結局お手本を真似たりこねくり回したりリミックスしたりアレンジしたりしてみて、新たなオリジナルコンテンツってできていくものだと思うんだけど、既得権益の蜜って美味しいですか？

■しかし……

書き始めたときはせいぜい10行くらいで終わると思ってたのに、何でこんな長文に。

■ [PC] 壊れたHDDからデータを救出する

少し前に引き受けたノートPCのHDDデータ救出と、今回引き受けたデータ救出事例を元にメモ。だらだら書くとさらに長くなるので、一応簡潔にまとめてみたつもり。

■事例 1

• 症状

40GBのHDD。BIOSから認識はするが、OSが起動しない。ブート時にXPの起動モードを選択する画面は表示されるところまではいくが(即ちブートセクタは無事)、どの選択肢を選んでもうんともすんとも言わない。

動作確認するために、SLAX及びBart’s PEで起動テストを行うが起動しない。WindowsにUSB変換アダプタを使ってHDDのみを接続するも、認識中に固まる。

• 分析

バッドセクタが大量にあると考えられたので、データリカバリーソフトによる復旧の必要がある。

BIOS認識はしているので、基板交換などのハード的な処置は不要と思われる。

• 対処

HDDをノートPCに再接続し、ノートPC上で作業を行うこととした。

まずはフロッピー起動のNorton Ghostでイメージを取ろうとしたものの、エラーを無視するオプションを付けても途中で落ちてバックアップが取れない。

Knoppix 5.01のブートは成功したので、USB変換アダプタを使ってバックアップ用HDDを接続。ITmediaのPhotoRecに関する情報 を参考に、データを抽出。無事にデータリカバリーを行うことができた。

これで全て終わったように見えたが、PhotoRecは救出したファイル名が連番の数字になってしまう＆自動生成されるディレクトリにファイルが生成されるため、今回のようにHDD1台丸ごと救出した場合は、どのデータが必要なのか分からなくなってしまう。

幸いHDD自体はまだ動いてくれたため、dd_rescueを使ったデータリカバリを試すことにした。

• 対処 2

KnoppixからRoot Shellを開き、対象となるドライブをアンマウントしてから、dd_rescueを使ってイメージを取る。

dd_rescue /dev/hda /dev/sda

このコマンドで、/dev/hdaの内容がUSB接続のバックアップHDDである/dev/sdaにコピーされる。

このバックアップHDDをWindowsマシンに装着し、R-Studio データレスキュー PRO を使ってデータ復元。かなりのデータを元のディレクトリ構造・元のファイル名のまま救出できた

• 雑感

これだけ見ると簡単に終わったように見えるが、本格的なHDDのデータ救出は初めてだったため、かなり試行錯誤していたりする。最終的にデータ救出には1週間以上かかった。dd_rescueと R-Studio データレスキュー PRO によるデータリカバリだけで丸4日以上かかったように記憶しているが、既に数ヶ月前のことなのでちょっと記憶が曖昧。

dd_rescueによると、エラーセクタの総数は 53368 だった。主にシステム領域のみで、データ領域にはほとんど無かったのがデータ救出に幸いしたと思われる。

ちなみに、救出したデータの持ち主からのお礼の言葉などは未だにない。もう二度とやってやるか、ボケ。

■事例 2

• 症状

40GBのHDD。BIOSから認識はするが、OSが起動しない。ブート画面も表示されない。

動作確認のため、Bart’s PEで起動テストを行うが起動しない。Knoppixは起動するものの、/dev/hdaとして認識されない。fdiskを行うと、

/dev/hda を開けません

というエラーメッセージが出る。

• 分析

Knoppixのdmesgを読むと、0セクタから大量のエラーが出ており、ブートセクタはおろかパーティションテーブルも壊れていることが予想される。BIOSでは認識されていてもLinux上では認識されないので、dd_rescueもdevice not foundというエラーで終了してしまう。

またUSB変換アダプタとの相性か、外付けのバックアップ用HDDが認識しないため、ノートPCでの作業続行は難しい。デスクトップPCに直接接続して、データを抜き出す必要がある。

Linuxで認識しない以上、Windowsから直接 R-Studio データレスキュー PRO でデータを抜き出すか、他の手段でイメージバックアップを行う必要がある。

• 対処

HDDをデスクトップPCに変換アダプタを用いてATAで接続し、作業を行うこととした。

Windows上で認識はしたので、R-Studio データレスキュー PRO で直接データを抜き出そうとした。しかし15時間ほど放置しても数万セクタほどしか進んでいなかったため、エラー総数が分からない現状では時間がかかりすぎるので中止。

事例 1のHDDリカバリ時にも大変参考にさせていただいた、

2004/01/22 三田(2) 「ディスクが BIOS から認識しなくても諦めるな！」

上記サイト様ではFreeBSDを使った復旧をされていたので、ダメ元で1CD BSDを使った復旧を試してみることにした。Knoppixではhdparmをいろいろ試してもHDDを認識してくれなかったためだ。

検索の結果、「FreeSBIE + ehci + dd_rescue」というリカバリに特化した1CD BSDがあったので、これを使うこととした。

このCDからだと、特に何もしなくても/dev/ad0(プライマリーマスターとして接続している)としてHDDを認識。dd_rescueでデータを抽出できた(現在実行中)。ちなみに約7時間程度で15GB程度のイメージ化に成功。エラーセクタは現在5800程度。先頭部分に大量にあったのと、15GB付近にもそれなりの数があるようだ。

• 雑感

まだデータ救出までは終わっていないが、イメージ化後は R-Studio データレスキュー PRO でおそらくデータ救出可能と思われるので、仮にまとめておく。

「FreeSBIE + ehci + dd_rescue」は、USB接続のHDDにデータをバックアップも出来るようになっているが、今回は相性のためかUSB接続のHDDにdd_rescueを行うとエラーが発生したため、全てのHDDをATA接続した。nForce 4チップ搭載PCということも影響しているかもしれない。

前回の場合も感じたが、2.5インチHDDに直接 R-Studio データレスキュー PRO のようなソフトを実行するより、3.5インチHDDに取ったイメージバックアップに対して行う方が速度が速いし、元のHDDを症状悪化させないという点でもいいだろう。当たり前の話というか、そうでなければわざわざみんなイメージバックアップを取るわけないけれど。

っていうか、相変わらず今回も赤の他人のデータ救出させられたうえ、タダ働きですかそうですか。次回からはごく親しい人間以外からは有料にしよう。電気代だってタダじゃねーんだぞ。1週間もAthlon X2マシン動かしたらさぁ。

• 参考にさせていただいたサイト様

• 2004/01/22 三田(2) 「ディスクが BIOS から認識しなくても諦めるな！」

• 故障したハードディスクからのデータ取得 – horikouの備忘録

• ITmedia エンタープライズ：ハードディスクの中身を誤って消した場合のファイル復旧方法

• 【FINALDATA】復元サルベージｿﾌﾄ総合4【ﾃﾞｰﾀﾚｽｷｭ】

あけましておめでとうございます。

とか皆さん仰られますが、私は不幸です。新年そうそう。まさに、The cruelest dream, reality(最も残酷な夢は現実) な My Life。

親は仕事をクビになり、俺は年末から歯ぐきが痛み出してまだ痛く、宝くじには外れるし、元日から冷蔵庫は壊れて冷凍食品が全滅、あきばおーの福袋に当たりはなく、BuffShopの福箱抽選販売には外れ、来るのはクレバリーのジャンク詰め合わせ不幸箱のみと来たもんだ。もちろん仕事も見つかりません。

福は逃げ、来たるは不幸ばかりなり。笑う門には中指立つ。幸せそうな奴らを皆殺しにしたい。シリアルキラーの気持ちがちょっとだけ分かったような気がする年の初め、年の瀬にあったバラバラ殺人事件が人ごとではない気分な俺です。えーと、ノコギリ買ってくればいいですかね？(そして鮮血の結末＠School Days)

友がみな自分より偉く見えるようになったら石川啄木になれるかもしれません。でもあいつには嫁さんいたけど俺にはいねえよチクショー貧乏詩人を売りにするにもあいつの方が恵まれてるよファッキューとか思いつつ、Mixiに書いたネタの転載で苛立ちをぶつけてやるぜフハハハハ！！

すべらない話　田村最強伝説ｗ

http://oreteki.org/archives/2006/12/post_501.html

思わず100万回保存した。不幸なのは俺だけじゃない、俺だけじゃないんだ、つか俺よりも不幸だよなこいつｗｗｗ ……などと思い出したらいろいろな意味で人生終了です。ありがとうございました。つーか今は俺より幸せだよな、と妬むこともお忘れなく。

本当にエロいドラえもん

http://www.kajisoku.com/archives/eid898.html

のび家の破廉恥きわまる真実。

自動車メーカー社長「なぜ車が売れないか正直言って分からない」

http://blog.livedoor.jp/dqnplus/archives/890171.html

[答] 今の好景気は、企業が従業員の給料をカットして企業だけが儲かるようにしたために起こっているものだから。また政府もそれを後押しするかのように個人増税・企業減税を推し進めたために、平均的な消費者は将来に不安を感じ、買い渋り状態が起こっているものと考えられるから。

教師の名言

http://imihu.blog30.fc2.com/blog-entry-2357.html

俺が直接聞いたわけではないが、名言と思ったのは 「人生は、運・勘・気合い」 という言葉。実力など無くても運が良ければ仕事にも就けるし出世もできる。勘が鋭ければいざというときの対処ができる。気合い＝前向きに進む気力ととらえるなら、それがあれば道は開けるような気はする。……運と勘にだけは自信があったのだが、それすらなくなった俺はもう死ぬしかないですね。(そーですねー！)

仙台のヨドバシカメラ、初売りでPS3を3000台も入荷…値下げするも在庫の山

http://blog.livedoor.jp/dqnplus/archives/890918.html

おまいらｗｗｗｗソニーが大変だｗｗｗｗｗ

http://hebiya.blog40.fc2.com/blog-entry-2810.html

他にもPS3はアキバの初売りでも絶賛売れ残り中とか、Amazonでも年末からずっと在庫ありになってて全く売れてない とか、楽しいニュースがたくさん。まあソフトもない・本体高い・ハイデフ映せるテレビがない(持ってる人もいるだろうけど)・ソニーの初物恐い、とここまで揃ったらそうそう売れなくても仕方ないと思う。既に楽天やGENOで値下げして特売してたしな。もちろん限定販売ではあるけど。

ようつべより高画質で大容量で削除もされにくいDailymotionが日本語化

http://news4vip.livedoor.biz/archives/50888201.html

次はここが来るのかしら。広告もなしらしいけど、どうやって採算を取ろうとしているのかが分からない辺りがやや不安かな。

民間企業の忘年会って・・・

http://alfalfa.livedoor.biz/archives/50794684.html

こんな楽しい、じゃなかったおかしい忘年会の話、聞いたことはあっても見たことは無いわけだが、都市伝説やネタでなくマジでやってるのなら一度覗いてみたい気はする。もちろん傍観者席から。

ギャラクシーエンジェる?んOPパロ画像スライドショー「ネットで画像は☆るるんルーン」

http://gilcrows.blog17.fc2.com/blog-entry-1038.html

このパロディ画像よく見ると思ったら、GAのOPシーンカットからだったのね。とりあえずSOS団の男性メンバーが脱いでる画像は面白かったので、既に保管してたりする。でも大半のキャラクターが分からない俺は相当ヌルいです。

2006年フリーソフト10選

http://www.tokix.net/txt/000226.html

一応一通り見たことあったり使ったりしたツールですた。センサーはまだそんなに錆び付いていないという事かしら。TAGIRIはベータ版でもそこそこ便利だったけど、ベータ版では1ドライブしかリストアップできなかったため、いろいろとデータが散らかってる俺にはイマイチ使いづらかったのが残念。

ってことで、今年こそ犯罪者になってしまうかも知れませんなと笑う年初。皆様お幸せですか？

→YES

　こんにちは、あたし、くりゅえるちゃん。今、あなたの後ろにいるの……！

　?バラバラなあなたと深紅の海に END?

→NO

　嘘だッ！！

　?ひぐらしがなく頃にあなたは眠る END?