読者です 読者をやめる 読者になる 読者になる

双六工場日誌

平凡な日常を淡々と綴ります。

【現在1433カ所】東京都のオープンデータを使って、都内自転車駐輪場マップをつくった。

タイトルの通り、東京都のオープンデータ提供の取り組みの一環として「東京都青少年・治安対策本部」が提供している駐輪場のオープンデータを使って、Google マップで見られる東京都の自転車駐輪場マップを作りました。 もともとは、僕が都内でどのぐらい自…

1年寝かせたEdisonのWi-Fi接続とFirmware(Yocto Linux)のアップデートにハマったのでメモ

ちょうど1年ぐらい前にIntel Edisonを買ったのですが、使わないまましまいこんだままになっていたので、掘り起こして動かして見ると、Wi-Fiつながらず、解決のために公式サイトの手順でFirmware(Yocto Linux)をアップデートしようとしたところ、素直に落と…

Python製クローラー「Scrapy」の始め方メモ

下書きのまま半年ぐらいほったらかしだったものからサルベージ。内容が古くなっているかもですがご容赦ください。 Python製クローラー「Scrapy」は、さくっとクローラーをつくる際に非常に便利なんですが、フレームワークの全体像を理解するところで時間がか…

MacにTensorFlowを入れようとしたら、Numpyのエラーが出たのでメモ

自分のMac (Mavericks 10.9.5) を入れようとしたら、Numpyのエラーが出て詰まったのでメモ。 TensorFlowは、公式サイトの以下の手順でインストール [https://www.tensorflow.org/versions/master/get_started/os_setup.html#pip-installation] sudo pip inst…

『プロジェクト体験ゲーム 進捗どうでしょう?』のCOMIC ZIN通販のお知らせと一緒に買いたいおすすめの薄い本たち

C88でリリースした『プロジェクト体験ゲーム 進捗どうでしょう?』は、現在COMIC ZINにて委託をお願いしています。ゲームの内容は、リンク先のブログエントリにも書いていますが、進捗報告のつらみを再現したダウト系ゲームです。 以下のリンクから通販でも…

コミケ3日目 東“O”-31b にて『プロジェクト体験ゲーム 進捗どうでしょう?』をリリースします。 #C88

サーバ擬人化ユーザ会ですが、無事に新作を入稿して、データにヘマをしていなければ出せると思うので、取り急ぎブログで告知。余裕があれば、告知ページを作りますが、どこまで頑張れるかわからないので。 頒布日程と場所は以下のとおりです。 【日程】2015…

MacBook Air(Mid 2012)のSSDを128GBから240GBに換装した。

MacBook Airの容量が足りなくなってきて、つらみが貯まってきたので、連休に合わせてSSDを換装ししました。誰かの参考になればと思い、ブログにメモを残します。 ただ、自分でSSDを換装すると保証外となるので、参考にされる場合は自己責任でお願いします。 …

データ分析基盤の「Scheme on Write」から「Scheme on Read」への転換についてのメモ(暫定版)・続き

前の記事の続きです。 データ分析基盤の「Scheme on Write」から「Scheme on Read」への転換についてのメモ(暫定版) - 双六工場日誌sechiro.hatenablog.com 前の記事では、分析対象データの加工をできるだけデータ利用に近いフェーズで行うようなアプロー…

データ分析基盤の「Scheme on Write」から「Scheme on Read」への転換についてのメモ(暫定版)

最近、データ分析基盤を設計するに当たっての考え方を整理する必要があって、要件に応じたデータ分析基盤を設計するに当たっての基本的な考え方は何かを考えています。 近年、データ分析基盤はデータ収集ソフトウェア、データストア、分析処理、分析処理の利…

【まとめ】エンジニアサポートCROSS 2015 に参加してきた #cross2015

すでに会場で書いた分を速報としてブログにもアップしていますが、1/29 に行われた「エンジニアサポートCROSS 2015」に参加してきました。 会場前に停泊していた「ASUKA 2」 CROSSは、今年で4回目になるイベントで、様々な分野のエンジニアやコミュニティが…

【速報】CROSS2015「Webアプリケーションから機械学習まで ~ PythonとPythonコミュニティの2015年大展望」のメモ

CROSS 2015、ランチセッションのあとは、Webアプリケーションから機械学習まで ~ PythonとPythonコミュニティの2015年大展望に参加してきました。 すでにTogetterがまとめられていたので、ツイートはこちら。 CROSS2015「Webアプリケーションから機械学習ま…

【速報】CROSS2015「女子大生UXデザイン概論」に参加してきたので、偏った視点でメモ

Crossの会場は、大さん橋ふ頭の最先端にある「大さん橋ホール」。 海や客船が見られたのにはテンションが上がりましたが、駅から遠くて、海風が冷たかった。 たまたま停泊していた客船 ふ頭の先端に至る果てしない道 「女子大生UXデザイン概論」の内容 セッ…

EBSボリュームにアタッチされているEC2インスタンスと同じタグを付けて、「Cost Explorer」や「Resource Group」でのグループ化を助けるスクリプトを書いた

昨年AWSから発表された「Cost Explorer」と「Resource Group」の機能を活用するに当たって、こういう需要はそこそこあると思ったので、表題の通りの簡単なスクリプトのメモっておきます。 前回のエントリと前々回のエントリの実利用例になっています。 ただ…

シェルスクリプトの中で1行ずつ変数を分割する際には、cutとかawkとか余計なプロセスを起動せずsetを使って分割した方が効率的

シェルスクリプトの中で、スペース区切りもしくはタブ区切りのレコードを扱うことがよくあると思います。 たとえば、前回のエントリ「AWS CLIとjqを使って、AWSのELBボリュームがアタッチされているEC2インスタンス名を出力するワンライナーを書いた - 双六…

AWS CLIとjqを使って、AWSのELBボリュームがアタッチされているEC2インスタンス名を出力するワンライナーを書いた

件名の通りのAWSのELBボリュームがアタッチされているEC2インスタンス名を、AWS CLIで取得しようと思ったら、ちょっと手間取ったので、その結果をワンライナーにしたメモ。 結果はこちらです。こういうワンライナーになったのは、"join"コマンドを使ってみた…

Ansibleを使い出す前に押さえておきたかったディレクトリ構成のベストプラクティス

Ansibleのディレクトリ構成を決める際、プロダクション環境、ステージング環境、開発環境といった環境ごとに異なる設定を変更する方法でしっくり来るものを思いつかず、どうしたものかと悩んでいたのですが、今日見つけたブログ記事でそれもスッキリ解消した…

構想3年、ついに『なれる! SELinux〜エピソード 0〜』をコミケ3日目・西く09bで頒布します!!!

表題の通り、3年前にネタだけ出して、2年前にプロットだけ書きなぐって放置していた『なれる! SELinux』の本文を書いて、明日12/30の冬コミ3日目で出せることになったので、遅ればせながらお知らせです。 いつか時間ができたら出すとずっと言っていたので、…

「ELBからの通信で408が多発する」件で、結局どうすべきか調べたのでまとめた

少し前にQiitaにこんなエントリが載っていました。問題としては、ELB配下に配置したApacheサーバで、レスポンスコード408で中身のないログが数秒おきに出続けるというものです。 AWS - ELBからの通信で408が多発する - Qiita AWS - ELBからの通信で408が多発…

海外に行く時に持って行って役に立ったものリスト

海外にいく際に毎回何を持っていったらいいのかわたわたするので、次の出張に備えて、最近持って行っていって役に立ったものをメモ。 「海外旅行 持ち物」とかでググると、いろいろなサイトが見つかりますが、そういうところに載っているものは割愛。ググっ…

スマホからガラケーに変えて連絡先がうまく移行できなかったので、Googleの連絡先をガラケーの電話帳に変換するスクリプトを書いた。

先日、ブログにも書いた通り、SIMフリースマホのZTE Blade Vec 4Gを買って、これまでスマホでやっていたことはおおよそそちらに移行を済ませました。 最近話題のSIMフリースマホ「ZTE Blade Vec 4G」を買って、一週間使ってみた。 - 双六工場日誌 最近話題の…

Strata + Hadoop World 2014 in NYC に参加してきた。

2014/10/15-17の日程で開催された「Strata + Hadoop World 2014」に参加してきたので、見たセッションとざっくりとした感想をメモ。 発表者の録画ビデオやスライドはこちらにあるので、詳細が知りたい方はこちらへ。現時点では、スライドやビデオがないセッ…

最近話題のSIMフリースマホ「ZTE Blade Vec 4G」を買って、一週間使ってみた。

最近、MVNOのSIMが複数リリースされ、それを使うためのSIMフリー端末も充実してきたように思います。僕もその流行に乗って「ZTE Blade Vec 4G」を購入してみたので、簡単に使用レポートを書いてみます。 写真: 開封の儀の様子 購入の経緯 これまでは、auの回…

AWS CLIで最新のAmazon LinuxのAMI IDを取得する

アニメを消化しつつ、コマンドラインから最新のAMI IDを取得を試して、Amazon Linuxの分はできたのでメモ。 ID取得からインスタンスの作成まで一発でやってしまおうと思ったけど、describe-imagesはAPIのレスポンスが遅かったので、とりあえず、一覧だけ出力…

自分が訪れた香港は、世界中から人と物と歴史が流れ込む混沌とした美しい街だった

ここ最近、香港で大規模デモが起きていて、デモの写真や映像を見ることが多いのですが、ちょうどそのデモが始まる一週間前の連休に、その香港の街を旅行してきました。 自分が見た香港は、世界各国からいろんな人や物が流れ込んでくる混沌とした街で、一方、…

クックパッドの新オフィスでitamaeによる寿司の無限プロビジョニングを体験して、Ansibleのお悩み相談してきた #infra_sushi

今日は、クックパッドの新オフィスで「Infrastructure as Code 現状確認会」があり、運良く繰り上がれたので参加してきました。 新オフィスは、恵比寿ガーデンプレイスタワーというおしゃれスポットで、オフィスにはキッチン付きのスペースがあって、そのキ…

ISUCON 4にチーム「ヤキトリ缶(タレ)」で参加したが、いまいちパッとしない感じだった #isucon

先週開催されたISUCON4に、去年に引き続き参加してきました。 チームメンバーは去年と同じ@hisayoshと@qtkmz。チーム名は、去年に引き続きチームミーティングした時に目の前にあった食べ物です。ちなみに去年のチーム名は「勝浦タンタンメン」。 参加日は1日…

Hadoop Conference Japan 2014 参加メモ(個別セッション③) #hcj2014

Hadoop Conference Japan 2014 参加メモ(キーノート) #hcj2014 と Hadoop Conference Japan 2014 参加メモ(個別セッション①) #hcj2014 と Hadoop Conference Japan 2014 参加メモ(個別セッション②) #hcj2014 の続きです。 メモはここまで。 並列SQLエ…

Hadoop Conference Japan 2014 参加メモ(個別セッション②) #hcj2014

Hadoop Conference Japan 2014 参加メモ(キーノート) #hcj2014 と Hadoop Conference Japan 2014 参加メモ(個別セッション①) #hcj2014 の続きです。 長くなったので、最後のセッションはさらに分割します。 A Deeper Understanding of Spark Internals P…

Hadoop Conference Japan 2014 参加メモ(個別セッション①) #hcj2014

Hadoop Conference Japan 2014 参加メモ(キーノート) #hcj2014 の続きです。 続いて、個別セッションの前半。先は長い。。。 個別セッション BigQuery and the world after MapReduce Speaker: 佐藤一憲 (Google) GCPサポート GCP solutions design Dock…

Hadoop Conference Japan 2014 参加メモ(キーノート) #hcj2014

久々にブログを更新しようと思ったら、この数カ月で記事らしい記事は「一人遊園地」しか書いていないことに軽い絶望を覚えたせちろーです。 今日は、Hadoop Conference Japan 2014に参加してきたので、その時に取ったメモを整理してアップ。長くなるので、ま…

溜まってきた大量の名刺やシャッツキステのポイントカードをしまうのにちょうどいい道具を調べた

最近、名刺やらシャッツキステのポイントカードが貯まってきて、カード状のものを保存するのに使えそうな道具を調べたので、その時の内容の備忘録を書いてみました。*1 自分で探せていない範囲がまだありそうなので、この用途でもっといいものがあれば、教え…

一人遊園地に行ってみた

今日は、花やしきに行ってきました。行った理由は、花やしきのローラーコースターに乗ってみたかったから。 全然下調べせずにいったので、花やしきのローラーコースターがまだやっているか不安でしたが、行ってみたところ、まだまだ現役で稼働していました!…

#qpstudy を開催して、第2セッション「アーキテクチャ設計の勘所」で発表してきた

先週の土曜日、4月19日に qpstudy 2014.04 〜俺の屍を超えて行け、でも踏まないで〜 を開催して、第2セッション「アーキテクチャ設計の勘所」で発表は、自分から発表させてもらいました。 今回は、ドワンゴさんの会議室を借りて、ドワンゴのエンジニアの方に…

第6回 Zabbix-JP勉強会は、2年の空白を埋める非常に濃い勉強会だった #zabbix_jp

今日は、第6回Zabbix-JP勉強会に参加してきました。 今回の勉強会は、約2年ぶりの開催! @ike_dai さんが『Zabbix統合監視徹底活用 ~複雑化・大規模化するインフラの一元管理』を今年の2月に出したことが開催のきっかけになっています。この本は、Zabbixを大…

Python版 AWS CLIでCloudwatchの情報を取得する

AWSを使っていると、Cloudwatchの情報を外部に取り出したくなるのが人情だと思います。 しかし、Cloudwatchの情報取得に関しては、Javaで書かれた「Amazon CloudWatch Command Line Tool」の情報やAPIを叩くツールを自作するような情報が多く、比較的新しいP…

今更ながらの #isucon 3 参加報告:「isuconに勝てる銀の弾丸などなかった」

isucon参加ブログ書こうと思いつつ、転職・引っ越しとバタバタした日々が続いて、すでにisucon3から1ヶ月経ってしまいました。。。 今更感もありますが、遅ればせながら自分なりの反省エントリを書いておきます。 予選トップで通過したのに、本戦では惨敗...…

#isucon 2013 予選をトップ通過してきた(はず)。

あとに回すと、ブログを書くハードルが上がってしまいそうなので、取り急ぎ。*1 さて、10月5日、6日と2日間の日程で開催された、isucon(いい感じにスピードアップコンテスト)の予選に参加して、なんと、総合トップで通過いたしました!!!!! 今回は、ま…

メイドカフェが気になっている人におすすめの薄い本、『メイドカフェ批評』

僕の周りを見ていると、メイド喫茶に興味があるけど、最初に一歩が踏み出せない人が一定数います。 そういう人をメイド喫茶を紹介すると、かなりの確率でお店が気に入ってリピーターになってくれるのですが、そういう紹介なしだと、今から一人でメイド喫茶に…

エンジニアのための料理教室通いのすすめ

僕は、4年前から思い立って「ベターホーム」の料理教室に通っています。 今ちょうど、11月開始の教室の申し込み時期で、体験教室が開かれていて、Twitterでも紹介したので、それをブログにもまとめておきます。 http://www.betterhome.jp/school/beginner/ex…

エクスポートしたZabbixのテンプレートのサイズが2Mを超えてしまい、インポートができなくなった人向けメモ

自宅のZabbix設定の整理をしていて、複数のテンプレートをまとめてエクスポートしたのち、インポートで戻そうとしてハマったのでメモ。 ハマった原因は非常に単純で、「エクスポートしたテンプレートファイルのサイズが2MBを超えていたから」でした。 今回は…

Zabbix 2.0 のグラフの文字化けを直す、「alternatives」での日本語フォント設定方法

今更感がありますが、Zabbix 2.0 を入れる度にフォントの名前、パス、alternativesの書式を毎回忘れるのでメモ。環境はCentOS 6です。 「alternatives」を使ってZabbix 2.0 の文字化けを直す Zabbix SIAのパッケージを使って、Zabbix 2.0 (zabbix-web)をイ…

bashのプロセス置換機能を活用して、シェル作業やスクリプト書きを効率化する

@hirose31 さんが「シェルスクリプトでハマった件→【募】ステキな回避方法」でお題を出されていて、それに回答してみました。 その内容はリンク先を見てもらうとして、回答の中で使ったbashのプロセス置換について書かれた記事をあまり見ないので、回答で使…

no_proxy にネットワークアドレスとかワイルドカードを指定しても期待通りに動かない、でどうするかというお話

世の中には、イントラなど直接インターネットに繋ぐことができず、プロキシ経由でしかインターネットに出られない環境で、検証をやっている人も多いと思います。 僕自身もそういうことが多く、検証環境を作り直す度にプロキシ設定不備で無駄にハマったりと時…

bashのブレース展開を使ってカンマ区切りリストを作る

bash操作のTipsメモです。 bashには、ブレース展開というブレース({}のカッコのこと)の中身を一定の法則で展開して、半角スペース区切りのリストにしてくれる機能があります。 例えば、以下のように使うことができます。 $ echo 192.168.1.{1,3} 192.168.1…

シェルスクリプトのコーディングスタイル・コーディング規約について考えてみる

シェルスクリプトのコーディングスタイルについて調べ物をしたので、その情報源の一覧と今の感想のメモを書いてみます。 最もよく参照されているのではないかと思われるシェルスクリプトのコーディングスタイル。 UNIX & Linux コマンド・シェルスクリプト …

「メイド喫茶愛好家の集い」は、秋葉原文化の歴史的転換点(になるはず)

最近、「エヴァンジェリスト」と言われると「メイド喫茶エヴァンジェリスト」のことを指すようになってきた気がしてならないせちろーです。さて今日、2013年5月11日はメイド喫茶クラスタにとって、非常に重要なイベントの日でした。 その名も「メイド喫茶愛…

「hbstudy #44 ベンチマーク勉強会(基礎編) 現場で役立つベンチマークのススメ」に行ってきた。

こんにちは。 最近、どんなブログを書いても「どんまいこの花嫁修業」には勝てない気がしているせちろーです。とはいえ、最近まじめにやっていない勉強会参加報告ブログを書いてみたいと思います。 さて、5月10日は「hbstudy #44 ベンチマーク勉強会(基礎編)…

Fabric で fabfile.py のコメントを使ったタスクの簡易Usage

最近、Fabric関連のエントリが流行っているようなので、ネタかぶりしない範囲で小ネタをちょっと書いて見ます。Fabricは、単純にタスクを実行するだけはなく、実行するタスクに引数を渡すことができます。 以下は引数の渡し方についてのPython製デプロイツー…

Zabbix向けのHadoopメトリクス取得用スクリプトとテンプレート

先週からZabbix向けのHadoopメトリクス取得用スクリプトとテンプレートをこっそり公開していました。プログラムとしてはかなり荒削りな状態なので、これまでGithubに上げただけにしていましたが、それだけではあまり意味が無いので、今さらブログで取り上げ…

hbstudy 43 で聞いたioDrive SDK のこと。

シャッツキステから帰るタイミングを逸したので、先週の金曜日に参加したhbstudy 43のことも書いてみます。イベントのサイトはこちら。 http://connpass.com/event/2030/ NAND Flash祭りということで、Fusion-ioとViolin Memoryの(おそらく初の)共演だった…